Основы теории информации: справочник

Рекомендовано Межрегиональным учебно-методическим советом 
профессионального образования в качестве учебного пособия 
для учебных заведений, реализующих программу среднего профессионального 
образования по специальностям 09.02.05 «Прикладная информатика (по отраслям)», 
09.02.06 «Сетевое и системное администрирование» (протокол № 1 от 20.01.2021)

Москва                                        2021

ИНФРА-М

ОСНОВЫ ТЕОРИИ 
ИНФОРМАЦИИ 
СПРАВОЧНИК

А.М. МАСКАЕВА

2-е издание, переработанное и дополненное

УЧЕБНОЕ ПОСОБИЕ

УДК [519.72+004](075.32)
ББК 32.811я723
 
М31

Маскаева А.М.
М31  
Основы теории информации: справочник : учебное пособие / 
А.М. Маскаева. — 2-е изд., перераб. и доп. — Москва : ФОРУМ : 
ИНФРА-М, 2021. — 194 с. — (Среднее профессио нальное образование). — DOI 10.12737/1072323.

ISBN 978-5-00091-761-9 (ФОРУМ)
ISBN 978-5-16-017114-2 (ИНФРА-М, print)
ISBN 978-5-16-108362-8 (ИНФРА-М, online)
Учебное пособие содержит теоретический, практический и контрольноизмерительный материалы. Может быть использовано преподавателями 
для проведения занятий по дисциплинам «Основы теории информатики» 
и «Информатика», а также студентами для подготовки к проверочным работам, к зачету и контрольным работам по данным дисциплинам. Также 
подходит для студентов, обучающихся по инклюзивной форме с помощью 
дистанционных технологий.
Соответствует требованиям федеральных государственных образовательных стандартов среднего профессионального образования последнего 
поколения.
Для студентов, обучающихся по специальностям среднего профессионального образования 09.02.05 «Прикладная информатика (по отраслям)» 
и 09.02.06 «Сетевое и системное администрирование».

УДК [519.72+004](075.32)
ББК 32.811я723

ISBN 978-5-00091-761-9 (ФОРУМ)
ISBN 978-5-16-017114-2 (ИНФРА-М, print)
ISBN 978-5-16-108362-8 (ИНФРА-М, online)

© Маскаева А.М., 2013
© Маскаева А.М., 2021, 
с изменениями
© ФОРУМ, 2021

Предисловие

Методическая разработка по учебной дисциплине «Основы 
теории информации» предназначена для студентов, обучающихся по специальностям среднего профессио нального образования 09.02.05 «Прикладная информатика (по отраслям)» 
и 09.02.06 «Сетевое и системное администрирование».
Учебная дисциплина «Основы теории информации» 
входит в профессио нальный цикл как общепрофессио нальная 
дисциплина, дающая базовый уровень знаний для освоения 
смежных общепрофессио нальных дисциплин и профессиональных модулей.
В результате освоения дисциплины обучающийся будет:
знать
 
• основные понятия теории информации;
 
• виды информации и способы представления ее в электронно-вычислительных машинах (ЭВМ);
 
• свойства информации;
 
• меры и единицы измерения информации;
 
• каналы передачи информации;
уметь
 
• применять правила недесятичной арифметики;
 
• переводить числа из одной системы счисления в другую;
 
• повышать помехозащищенность и помехоустойчивость передачи информации;
 
• кодировать информацию (символьную, числовую, графическую, звуковую, видео);
 
• сжимать и архивировать информацию;
владеть
 
• принципами кодирования и декодирования;
 
• основами передачи данных.
Методическая разработка включает в себя теоретический, 
практический и контрольно-измерительный материал. Тео

Предисловие

ретический материал включает пять основных разделов 
по курсу «Основы теории информации». Практический материал включает 13 практических занятий, построенных 
по принципу сочетания теоретического материала (опорный 
конспект темы) и практических заданий (список задач). 
Контрольно-измерительный материал содержит тест на тему 
«Информация и ее измерение», домашние задания и варианты 
контрольной работы.
Данная разработка может найти широкие применение 
на лекционных и практических занятиях по дисциплине 
«Основы теории информации», при самостоятельном и дистанционном изучении курса, подготовке к дифференцированному зачету и контрольной работе.

Введение

Согласно современным представлениям, информация, наряду с материей и энергией, является одной из исходных категорий мироздания. Эти категории взаимосвязаны между 
собой; усмотреть такие связи можно как в природных явлениях, так и в явлениях и процессах, вызванных деятельностью 
человека. Прогресс неизбежно ведет к увеличению общего 
объема информации, которым располагает человечество, 
причем с течением времени объем этот растет гораздо быстрее, 
чем население земного шара и его материальные потребности. 
Таким образом, можно утверждать, что значимость информации по сравнению с остальными категориями возрастает. 
Именно по этой причине дальнейшее развитие человечества 
связывают с построением и переходом к новой формации — 
информационному сообществу.
«Теория информации» как самостоятельная дисциплина 
возникла в ходе решения следующей задачи: обеспечить надежную и эффективную передачу информации от источника 
к приемнику при условии, что передаче этой препятствуют 
помехи. Сама формулировка этой задачи нуждается в ряде 
уточнений:
 
• надежность означает, что в процессе передачи не должно 
происходить потери информации: приемник полностью, без 
искажений, должен получить информацию, отправленную 
источником;
 
• эффективность означает, что передача должна осуществляться наиболее быстрым способом, поскольку время 
эксплуатации линии связи — экономический фактор, который требуется минимизировать;
 
• помехи присутствуют в любой реальной линии связи; таким 
образом, поставленная выше задача имеет четкую практическую направленность.

Введение

Решение этой задачи ведется по двум направлениям, которые условно можно назвать техническим и математическим. Технический поиск связан с практической разработкой 
линий связи, в которых передача может идти с большой скоростью; обеспечением защиты от помех или уменьшением 
их воздействия; созданием технических устройств, обеспечивающих быструю и надежную связь. Однако в основе этих 
разработок лежат некоторые общие законы и принципы, применимые не к какой-то конкретной линии передачи информации, а к любым (во всяком случае, многим) видам связи. 
Они определяют способы кодирования информации (в том 
числе такие, которые позволяют обнаружить и исправить 
ошибку передачи); условия надежной передачи информации; 
наконец, что очень важно, вводят величины, позволяющие количественно описывать информационные процессы. Именно 
эти методы и составляют содержательную основу теории информации.
Теория информации является математической теорией 
с высокой степенью общности. Она основывается на теории 
случайных событий, для описания которых применяются понятия «вероятность» и «энтропия». В рамках самой теории 
вводится понятие «информация» и устанавливается ее мера — 
бит.
Примеры использования теории информации можно найти 
в информатике, технике, психологии, биологии, физике, педагогике, лингвистике и т.д. Однако, как и любая иная математическая теория, теория информации применима для решения 
конкретных задач практики в той мере, в какой описываемые 
материальные системы или процессы удовлетворяют исходным положениям теории. Неприменимость ее в остальных 
случаях ни в коем случае нельзя считать недостатком теории. 
Речь, в частности, идет о том, что сам исходный термин — информация — используется не только в данной теории; однако 
если в других дисциплинах (например, в философии) ему придается иной смысл, то нельзя требовать, чтобы теория инфор

Введение

мации была в них применима. Точно так же механика Ньютона является теорией, описывающей движение, но не во всем 
многообразии значений этого термина, а как перемещение тел 
в пространстве с течением времени; другие виды движения — 
развитие растения, эволюция Вселенной, изменения в общественном устройстве и т.п. — законами Ньютона, безусловно, 
не описываются, но это не уменьшает значимости последних.
Математическое понятие информации связано с возможностью ее количественного измерения. При этом в теории информации обосновывается энтропийный подход, когда количество информации в сообщении определяется тем, насколько 
уменьшается неопределенность исхода случайного события 
(например, появления конкретной буквы в некоторой последовательности символов) после получения сообщения. Сообщение несет полную информацию о событии, если оно целиком снимает исходную неопределенность. В технических 
приложениях используется иной способ оценки количества 
информации, основанный на простом подсчете числа знаков 
в сообщении. Такой подход получил название объемного. 
В общем случае эти две меры количества информации не совпадают: в частности, в теории информации показывается, 
что энтропийная мера не превышает числа двоичных символов (бит) в сообщении. Одинаковым же в обоих подходах 
является то, что количественная мера информации не привязывается к ее семантической (т.е. смысловой) основе. С бытовой точки зрения информация, лишенная смысла, лишена 
и какой-либо ценности для получателя. Однако устройство, 
предназначенное для передачи или хранения информации, 
оценить смысл передаваемого (или сохраняемого) не может 
(да и не должно!), в этом случае главной оказывается задача 
надежной передачи и хранения информации независимо от ее 
семантической основы. Едва ли кого-либо устроила бы ситуация, если бы почтальон стал оценивать содержание писем 
и в зависимости от своего понимания их значимости и ценности решать, какие из них доставлять, а какие нет. Почтальон, 

Введение

будучи средством связи, обязан доставить пакет адресату, 
даже если в нем чистый лист бумаги. При этом важными (существенными) для передачи и хранения оказываются количественные характеристики информации и способы их оценки, 
именно их и устанавливает теория информации.
Таким образом, оказывается, что теория информации применима для решения лишь тех практических задач, в которых 
допустимо игнорирование смысловой (содержательной) стороны информации.

Глава 1. 
ИНФОРМАЦИЯ И ЕЕ ИЗМЕРЕНИЕ

1.1. ИНФОРМАЦИЯ И ЕЕ СВОЙСТВА

Любую деятельность человека можно представить как 
процесс сбора, переработки информации, принятия на ее 
основе решений и их выполнения. Понятие «информация» 
является основополагающим понятием информатики. С появлением современных средств вычислительной техники 
информация стала ресурсом научно-технического прогресса.
Информация содержится в человеческой речи, текстах 
книг, журналов и газет, сообщениях радио и телевидения, показаниях приборов и т.д. Человек воспринимает информацию 
с помощью органов чувств, хранит и перерабатывает ее с помощью мозга и центральной нервной системы. Передаваемая 
информация обычно касается каких-либо предметов или нас 
самих и связана с событиями, происходящими в окружающем 
нас мире.
Информация — это отражение реального, материального, 
предметного мира, выражаемое в сигналах и знаках. Сигналы отражают физические (физико-химические) характеристики различных процессов и объектов. Информационные 
процессы нельзя описать простыми физическими явлениями, 
и информация, наряду с материей и энергией, является одной 
из фундаментальных сущностей окружающего нас мира.
Информационные процессы — действия, выполняемые 
с информацией, которые делятся:
 
• на хранение;
 
• передачу;
 
• обработку.

Глава 1. Информация и ее измерение

С тремя составляющими информационных процессов — 
хранением, передачей и обработкой информации — люди начали иметь дело давно, задолго до появления компьютеров.
Информация для человека — это знания, которые он получает из различных источников и которые становятся сведениями, являющимися объектом осознанного хранения, 
обмена и преобразования. Лишь для человека информация, 
получаемая из внешнего мира, может становиться сведениями, являющимися объектом осознанного хранения, обмена и преобразования. Информационные процессы всегда 
играли важную роль в жизни общества. Люди обмениваются 
устными сообщениями, записками, посланиями. Они передают друг другу просьбы, приказы, отчеты о проделанной 
работе, публикуют рекламные объявления и научные статьи, 
хранят старые письма, долго размышляют над полученными 
известиями или немедленно кидаются выполнять указания 
начальства. Большое значение для сохранения и развития 
культуры имеют передача из поколения в поколение сказок, 
традиций, легенд, создание произведений живописи и т.д. Вся 
жизнь человека постоянно связана с получением, накоплением и обработкой информации. Информация является предметом интеллектуальной деятельности человека, продуктом 
этой деятельности. Информация для человека — это знания, 
которые он получает из различных источников. Все, что знает 
каждый конкретный человек, он когда-то узнал от родителей, 
учителей, из книг, личного практического опыта и сохранил 
в своей памяти. В свою очередь все, что написано в книгах, 
журналах, газетах, отражает знания авторов этих текстов, поэто му также является информацией.
Кибернетика — наука, которая объединяет и исследует понятия «информация» и «управление» и указывает на общность 
информационных процессов в технике, обществе и живых 
организмах. Объединение понятий «информация» и «управление» привело Н. Винера в 1940-х гг. к созданию кибернетики, которая, в частности, впервые указала на общность 

1.1. Информация и ее свойства

информационных процессов в технике, обществе и живых организмах. Объекты живой природы, в отличие от неживой, 
обладают свойством обмена информацией и реагирования 
на нее. В технике программно управляемые станки работают, руководствуясь заложенной в них информацией — программой их работы; так, автопилот управляет самолетом в соответствии с заложенной в него программой и т.д.
В рамках науки информация является первичным и неопределяемым понятием и предполагает наличие:
 
• материального носителя информации;
 
• источника информации;
 
• передатчика информации;
 
• приемника и канала связи между источником и приемником.
Понятие «информация» используется во всех сферах: 
науке, технике, культуре, социологии и повседневной жизни. 
Конкретное толкование элемен тов, связанных с понятием 
«информация», зависит от метода конкретной науки, цели исследования или просто от наших представлений.
Термин «информация» происходит от лат. information — 
«разъяснение, изложение, осведомленность». Более узкое 
определение дается в технике, где это понятие включает 
в себя все сведения, являющиеся объектом хранения, передачи и преобразования.
С понятием «информация» связаны такие понятия, как:
 
• сообщение — это информация, представленная в определенной форме и предназначенная для передачи;
 
• данные — это информация, представленная в формализованном виде и предназначенная для обработки ее техническими средствами, например ЭВМ;
 
• сигнал (от лат. signum — «знак») представляет собой 
любой физический процесс в природе, несущий информацию (например, процесс протекания электрического 
тока в цепи, процесс механического перемещения тела, 
процесс распространения света и т.д.). Информация