Теория информации. Курс лекций

В. М. Белов, С. Н. Новиков, О. И. Солонская

ТЕОРИЯ ИНФОРМАЦИИ

Курс  лекций

Москва
Горячая линия - Телеком
2012

Допущено Сибирским региональным отделением 
УМО по образованию в области информационной 
безопасности в качестве учебного пособия для студентов, 
обучающихся специальности 
090302 – «Информационная безопасность 
телекоммуникационных систем»

УДК 621.391 (075.8)  
ББК 32.811 
     Б78 
 
Белов В. М., Новиков С. Н., Солонская О. И. 
Б78   Теория информации. Курс лекций. Учебное пособие для 
вузов. – М.: Горячая линия–Телеком, 2012. – 143 с.: ил.  
ISBN 978-5-9912-0237-4. 

Рассмотрены в доступной форме основные положения 

теории информации. Материалы систематизированы по следующим ключевым разделам: определение информационных 
потерь в каналах связи с помехами, построение оптимальных 
кодов, обнаружение и исправление ошибок при использовании различных методов передачи и обработки информации, 
представление кодов в памяти ЭВМ в сжатом виде и в виде 
разнообразных структур.  

Для студентов специальности 090302 – «Информационная 

безопасность телекоммуникационных систем». Может быть 
полезно студентам других инфокоммуникационных и радиотехнических специальностей, аспирантам и специалистам. 

ББК 32.811 
 
Адрес издательства в Интернет www.techbook.ru 
 
Белов Виктор Матвеевич, Новиков Сергей Николаевич,  
Солонская Оксана Игоревна 

Теория информации. Курс лекций. 

Учебное пособие для вузов 

Обложка художника  В. Г. Ситникова 

 

Подписано в печать 19.02.2012. Формат 60×88/16. Уч. изд. л. 9,14. Тираж 500 экз. (1-й завод 100 экз.) 
ISBN 978-5-9912-0237-4                       © В. М. Белов, С. Н. Новиков,  
                                                                              О. И. Солонская, 2012 
                                © Издательство «Горячая линия–Телеком», 2012 

Содержание

Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1. Введение в теорию информации . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1. Краткая истори÷еская справка о развитии систеì
переäа÷и инфорìаöии (систеì связи) и теории инфорìаöии
(теории связи) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.1.1. Краткая история развития систеì связи . . . . . . . . . . . . . 8
1.1.2. О понятии «инфорìаöия». Краткая история
развития теории инфорìаöии . . . . . . . . . . . . . . . . . . . . . . . . .10
1.1.2.1. О понятии «инфорìаöия». . . . . . . . . . . . . . . . . . . .10
1.1.2.2. Краткая истори÷еская справка о развитии
теории инфорìаöии. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11
1.2. Инфорìаöионные ìетрики . . . . . . . . . . . . . . . . . . . . . . . . . .13
1.2.1. Структурные ìеры инфорìаöии. . . . . . . . . . . . . . . . . . .13
1.2.1.1. Геоìетри÷еская ìера  . . . . . . . . . . . . . . . . . . . . . . .13
1.2.1.2. Коìбинаторная ìера  . . . . . . . . . . . . . . . . . . . . . . .14
1.2.1.3. Аääитивная ìера  . . . . . . . . . . . . . . . . . . . . . . . . . .16
1.2.2. Статисти÷еская ìера  . . . . . . . . . . . . . . . . . . . . . . . . . . .16
1.2.3. Сеìанти÷еская ìера. . . . . . . . . . . . . . . . . . . . . . . . . . . .17
2. Энтропия вероятностной схемы . . . . . . . . . . . . . . . . . . . . . . . . . . .18
2.1. Энтропия, как ìера степени неопреäеëенности
физи÷еской систеìы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18
2.2. Еäиниöы изìерения энтропии. . . . . . . . . . . . . . . . . . . . . . . .20
2.3. Основные свойства энтропии простой физи÷еской систеìы  .21
2.4. Энтропия и ìатеìати÷еское ожиäание. . . . . . . . . . . . . . . . . .23
2.5. Усëовная энтропия и энтропия объеäинения . . . . . . . . . . . . .24
Контроëüные вопросы к ãëаваì 1 и 2 . . . . . . . . . . . . . . . . . . . . . . . .29
3. Основные теоремы Шеннона о характеризации источников
информации  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31
3.1. Коëи÷ество инфорìаöии в äискретноì сообщении.
Дискретные исто÷ники сообщений без паìяти и с паìятüþ.
Избыто÷ностü äискретноãо исто÷ника сообщений . . . . . . . . . . . .31
3.2. Первая теореìа Шеннона . . . . . . . . . . . . . . . . . . . . . . . . . . .35
3.2.1. Пряìая и обратная теореìы Шеннона äëя канаëа
связи без øуìа. Первый способ äоказатеëüства пряìой
теореìы Шеннона  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35
3.2.2. Второй способ äоказатеëüства пряìой теореìы
Шеннона äëя канаëа связи без øуìа. Метоä Фано.
Оптиìаëüные коäы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40
3.2.3. Практи÷еское приìенение первой теореìы Шеннона  . .44

3.3. Вторая теореìа Шеннона и ее сëеäствия . . . . . . . . . . . . . . . .45
3.3.1. Пряìая теореìа Шеннона äëя äискретноãо
постоянноãо канаëа с øуìоì  . . . . . . . . . . . . . . . . . . . . . . . . .45
3.3.2. Обратная теореìа Шеннона äëя äискретноãо
постоянноãо канаëа с øуìоì  . . . . . . . . . . . . . . . . . . . . . . . . .47
3.3.3. Сëеäствие из второй теореìы Шеннона . . . . . . . . . . . . .49
3.4. Статисти÷еский анаëиз сëу÷айных посëеäоватеëüностей.
Энтропийные и инфорìаöионные характеристики
сëу÷айных посëеäоватеëüностей. . . . . . . . . . . . . . . . . . . . . . . . . .52
Контроëüные вопросы к ãëаве 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . .53
4. Статистические модели каналов связи . . . . . . . . . . . . . . . . . . . . . .55
4.1. Матеìати÷еские ìоäеëи канаëов связи . . . . . . . . . . . . . . . . .55
4.1.1. Схеìа переäа÷и инфорìаöии. Кëассификаöия
канаëов связи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .55
4.1.2. Непрерывные канаëы связи . . . . . . . . . . . . . . . . . . . . . .58
4.1.3. Дискретные канаëы связи  . . . . . . . . . . . . . . . . . . . . . . .60
4.2. Вëияние øуìов на пропускнуþ способностü äискретноãо
канаëа связи  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .62
4.3. Пропускная способностü систеì переäа÷и
инфорìаöии  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .63
5. Оптимальное кодирование . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67
5.1. Префиксные коäы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67
5.2. Неравенство Крафта . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .75
5.3. Инфорìаöионная избыто÷ностü. Граниöы äëя среäней
äëины коäов  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .79
Контроëüные вопросы к ãëаваì 4 и 5 . . . . . . . . . . . . . . . . . . . . . . . .82
6. Обнаружение и исправление ошибок в сообщениях.
Понятие об идее коррекции ошибок. . . . . . . . . . . . . . . . . . . . . . . . . .84
7. Линейное кодирование. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .88
7.1. Свойства поìехозащищаþщих коäов . . . . . . . . . . . . . . . . . . .88
7.1.1. Поìехоустой÷ивые коäы и их приìенение. . . . . . . . . . .88
7.1.2. Основные параìетры поìехоустой÷ивых коäов . . . . . . .89
7.1.3. Грани÷ные соотноøения ìежäу параìетраìи
поìехоустой÷ивых коäов. . . . . . . . . . . . . . . . . . . . . . . . . . . . .89
7.1.4. Кëассификаöия поìехоустой÷ивых коäов. . . . . . . . . . . .90
7.2. Линейные коäы. Параìетры и свойства. . . . . . . . . . . . . . . . .92
7.3. Коä Хэììинãа . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .98
Контроëüные вопросы к ãëаваì 6 и 7 . . . . . . . . . . . . . . . . . . . . . . . 100
8. Циклические коды. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
8.1. Опреäеëение и свойства äвои÷ных öикëи÷еских коäов  . . . . 101
8.2. Систеìати÷еские öикëи÷еские коäы . . . . . . . . . . . . . . . . . . 105
8.3. Обнаружение пакетов оøибок . . . . . . . . . . . . . . . . . . . . . . . 108

9. Построение и декодирование конкретных циклических кодов . . . .110
9.1. Коäы, исправëяþщие оäино÷нуþ оøибку,
коäовое расстояние d0 = 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .110
9.2. Коäы, обнаруживаþщие трехкратные оøибки, d0 = 4 . . . . .112
9.3. Цикëи÷еские коäы, исправëяþщие äве и боëüøее
коëи÷ество оøибок, d0 l 5. . . . . . . . . . . . . . . . . . . . . . . . . . . . .113
10. Обнаружение и исправление ошибок при передаче и обработке
информации на стандартной аппаратуре. . . . . . . . . . . . . . . . . . . . . .116
11. Сжатие информации  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .121
Контроëüные вопросы к ãëаваì 8, 9, 10, 11. . . . . . . . . . . . . . . . . . .126
12. Структурное кодирование. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
Контроëüные вопросы к ãëаве 12  . . . . . . . . . . . . . . . . . . . . . . . . . .139
Примерные вопросы к экзамену по дисциплине
«Теория информации» . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .140
Библиография . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .142

Предисловие

Дисöипëина «Теория инфорìаöии» опреäеëена в ãосуäарственноì
образоватеëüноì станäарте высøеãо профессионаëüноãо образования
спеöиаëüности 090302 «Инфорìаöионная безопасностü теëекоììуникаöионных систеì» как феäераëüный коìпонент общих ìатеìати÷еских и естественнонау÷ных äисöипëин.
Теория инфорìаöии тесно связана с äруãиìи äисöипëинаìи, изу÷аеìыìи стуäентаìи. Она преäпоëаãает знания таких äисöипëин как
«Матеìати÷еский анаëиз», «Аëãебра», «Теория вероятностей и ìатеìати÷еская статистика», явëяется базой äëя äисöипëин «Теория раäиотехни÷еских сиãнаëов» и «Криптоãрафи÷еские ìетоäы защиты инфорìаöии».
Преäëаãаеìое у÷ебное пособие по «Теории инфорìаöии» отве÷ает
требованияì боëüøинства разäеëов проãраììы оäноиìенноãо курса,
÷итаеìых стуäентаì, обу÷аþщиìся по спеöиаëüности 090302 «Инфорìаöионная безопасностü теëекоììуникаöионных систеì».
Цеëü у÷ебноãо пособия — поìо÷ü освоитü основные поëожения теории
инфорìаöии и коäирования, нау÷итü опреäеëятü инфорìаöионные потери в канаëах связи с поìехаìи, строитü оптиìаëüные коäы, обнаруживатü и исправëятü оøибки при разëи÷ных ìетоäах переäа÷и и обработки инфорìаöии, преäставëятü коäы в паìяти ЭВМ в сжатоì виäе и
в виäе разнообразных структур.
Материаë у÷ебноãо пособия разбит на 12 теì. В кажäой теìе преäëожен необхоäиìый ìиниìуì теорети÷еских свеäений.
Авторы выражаþт ãëубокуþ бëаãоäарностü коëëеãаì, работаþщиì в
обëасти защиты инфорìаöии, А. Б. Архиповой, Е. Н. Пивкину, О. В. Воробüевой за неоöениìуþ поìощü в поäãотовке ìатериаëов äëя äанноãо
пособия.

1. Введение в теорию информации

Теорией инфорìаöии и коäирования называþт науку, изу÷аþщуþ
коëи÷ественные законоìерности, связанные с поëу÷ениеì, переäа÷ей,
обработкой и хранениеì инфорìаöии. Возникнув в 40-х ãоäах ХХ века
из практи÷еских заäа÷ теории связи, теория инфорìаöии и коäирования
в настоящее вреìя явëяется необхоäиìыì ìатеìати÷ескиì аппаратоì
при изу÷ении всевозìожных проöессов управëения.
Черты сëу÷айности, присущие проöессаì переäа÷и инфорìаöии, заставëяþт испоëüзоватü при изу÷ении этих проöессов вероятностные ìетоäы. При этоì невозìожно оãрани÷иватüся кëасси÷ескиìи ìетоäаìи
теории вероятностей, так как постоянно возникает необхоäиìостü созäания новых вероятностных катеãорий. Поэтоìу теория инфорìаöии и
коäирования преäставëяет собой не просто прикëаäнуþ науку, в которой приìеняþт вероятностные ìетоäы иссëеäования, а еще и разäеë
теории вероятностей.
Поëу÷ение, обработка, переäа÷а и хранение разëи÷ноãо роäа инфорìаöии — непреìенное усëовие работы ëþбой управëяþщей систеìы.
В этоì проöессе всеãäа происхоäит обìен инфорìаöией ìежäу разëи÷ныìи звенüяìи систеìы. Простейøий сëу÷ай — переäа÷а инфорìаöии от
управëяþщеãо устройства к испоëнитеëüноìу орãану (переäа÷а коìанä).
Боëее сëожный сëу÷ай — заìкнутый контур управëения, в котороì инфорìаöиþ о резуëüтатах выпоëнения коìанä переäаþт управëяþщеìу
устройству с поìощüþ так называеìой «обратной связи».
Лþбая инфорìаöия äëя тоãо, ÷тобы бытü переäанной, äоëжна бытü
соответственныì образоì «закоäирована», то естü, перевеäена на язык
спеöиаëüных сиìвоëов иëи сиãнаëов. Сиãнаëаìи, переäаþщиìи инфорìаöиþ, ìоãут бытü эëектри÷еские иìпуëüсы, световые иëи звуковые коëебания, ìехани÷еские переìещения и т. ä.
Оäной из заäа÷ теории инфорìаöии явëяется отыскание наибоëее
эконоìных ìетоäов коäирования, позвоëяþщих переäаватü заäаннуþ
инфорìаöиþ с поìощüþ ìиниìаëüноãо коëи÷ества сиìвоëов. Эту заäа÷у реøаþт как при отсутствии, так и при наëи÷ии искажений (поìех)
в канаëе связи.
Друãуþ типи÷нуþ заäа÷у теории инфорìаöии ставят сëеäуþщиì образоì: естü исто÷ник инфорìаöии (переäат÷ик), непрерывно вырабатываþщий инфорìаöиþ, и канаë связи, по котороìу эту инфорìаöиþ переäаþт в äруãуþ инстанöиþ (приеìник). Какова äоëжна бытü пропускная
способностü канаëа связи äëя тоãо, ÷тобы канаë «справëяëся» со своей

1. Введение в теорию информации

заäа÷ей, то естü переäаваë всþ поступаþщуþ инфорìаöиþ без заäержек
и искажений?
Ряä заäа÷ теории инфорìаöии относят к опреäеëениþ объеìа запоìинаþщих устройств, преäназна÷енных äëя хранения инфорìаöии, к способаì ввоäа инфорìаöии в эти запоìинаþщие устройства и вывоäа ее
äëя непосреäственноãо испоëüзования.

1.1. Краткая историческая справка о развитии
систем передачи информации (систем связи) 
и теории информации (теории связи)

1.1.1. Краткая история развития систем связи

Пробëеìа переäа÷и инфорìаöии существует с тех пор, как появиëосü
÷еëове÷еское общество. Ка÷ественный ска÷ок в развитии способов переäа÷и сообщений произоøеë тоãäа, коãäа äëя этой öеëи стаëи испоëüзоватü эëектроìаãнитные явëения. Выäеëиì тоëüко узëовые ìоìенты
на пути развития систеì переäа÷и инфорìаöии, основанные на испоëüзовании эëектроìаãнитных явëений.
Истори÷ески первой из рассìатриваеìых систеì явëяется теëеãраф:
1832 ã. — первый эëектроìаãнитный теëеãраф быë созäан русскиì
у÷еныì-эëектротехникоì Павëоì Лüвови÷еì Шиëëинãоì (не наøеë
практи÷ескоãо приìенения);
1833 ã. — выäаþщиеся неìеöкие ìатеìатики и физики Карë Фриäрих Гаусс и Виëüãеëüì Эäуарä Вебер в Геттинãене построиëи первый
эëектроìаãнитный иãоëü÷атый теëеãраф;
1837 ã. — аìериканский инженер Сэìþэë Фиинëи Бриз Морзе преäëожиë саìопиøущий теëеãраф;
1844 ã. — теëеãраф С. Морзе поëу÷иë в Аìерике практи÷еское приìенение;
1855 ã. — анãëийский изобретатеëü Дэвиä Эäуарä Юз созäаë буквопе÷атаþщий теëеãрафный аппарат;
1866 ã. — аìериканский преäприниìатеëü Сайрус Уэст Фиëä проëожиë трансатëанти÷ескуþ теëеãрафнуþ ëиниþ;
1874 ã. — франöузский изобретатеëü Жан Морис Эìиëü Боäо усоверøенствоваë теëеãрафный аппарат с öеëüþ ëу÷øеãо испоëüзования
провоäов;
1910 ã. — осуществиëи ìаøиннуþ теëеãрафнуþ переäа÷у с перфоëенты;
1927 ã. — аìериканский изобретатеëü и преäприниìатеëü Тоìас Аëва
Эäисон реаëизоваë ìноãократнуþ теëеãрафиþ.

1. Введение в теорию информации

Сëеäуþщиì по вреìени возникновения систеìной переäа÷и инфорìаöии явëяется теëефон. Отìетиì основные вехи еãо развития:
1861 ã. — неìеöкий физик и изобретатеëü Иоãанн Фиëипп Рейс
преäëожиë первуþ конструкöиþ теëефона;
1876 ã. — североаìериканский у÷еный, изобретатеëü и бизнесìен
Аëексанäр Грэì Беëë преäëожиë конструкöиþ теëефона, сохранивøуþ
свои основные ÷ерты äо настоящеãо вреìени;
1878 ã. — на÷аëа äействоватü в Хартфорäе (США) первая теëефонная
станöия;
1884 ã. — ìежäу Нüþ-Йоркоì и Фиëаäеëüфией быëа построена первая ìежäуãороäняя теëефонная ëиния;
1889 ã. — аìериканеö Аëìон Браун Строуäжер изобреë ноìеронабиратеëü, ÷то явиëосü основой äëя созäания автоìати÷еских теëефонных станöий (АТС);
1892 ã. — в Ла-Порте (США) быëа построена первая АТС.
Дëинный путü äо своеãо практи÷ескоãо осуществëения проøëо раäиовещание.
1867 ã. — анãëийский физик Джейìс Кëарк Максвеëë преäсказаë существование эëектроìаãнитных воëн и преäëожиë теориþ их распространения;
1887 ã. — неìеöкий физик, ëауреат Нобеëевской преìии по физике
Густав Лþäвиã Герö äоказаë существование эëектроìаãнитных воëн;
1895 ã. — русский физик и эëектротехник Аëексанäр Степанови÷
Попов впервые осуществиë раäиоприеì, приìенив антенну;
1902 ã. — итаëüянский раäиотехник и преäприниìатеëü Гуëüеëüìо
Маркони приняë первуþ раäиопереäа÷у с противопоëожноãо береãа
Атëанти÷ескоãо океана;
1904 ã. — анãëийский физик Джон Аìброз Фëеìинã изобреë и запатентоваë «выпряìитеëü» иëи äвухэëектроäнуþ эëектроннуþ ëаìпу —
«äиоä Фëеìинãа»;
1906 ã. — аìериканский инженер Ли äе Форест изобреë триоä.
Систеìы переäа÷и изображений практи÷ески развиваþт с 1904 ã.,
коãäа неìеöкоìу физику, ìатеìатику и изобретатеëþ Артуру Корну
уäаëосü переäатü непоäвижное изображение из Мþнхена в Нþрнберã,
а в 1923 ã. — из Риìа в Бар-Харборã (США).
В 1924 ã. Ауãуст Кароëус испоëüзоваë открытый в 1875 ã. эффект
Джоноì Керра (закëþ÷аþщийся в преобразовании коëебаний эëектри÷ескоãо напряжения в коëебания освещенности) в систеìе переäа÷и
изображения;
1926 ã. — в Анãëии произоøëа первая теëепереäа÷а по систеìе øотëанäскоãо у÷еноãо Джона Лоуãи Бэрäа;
1950 ã. — в Аìерике быëа осуществëена первая öветная теëевизионная переäа÷а.

1. Введение в теорию информации

Преäставëенный пере÷енü основных событий из истории развития
÷етырех систеì переäа÷и инфорìаöии äаëеко не поëон. В обзоре не у÷тены взаиìные связи рассìотренных систеì. Боëüøое зна÷ение иìеëо
приìенение раäио äëя öеëей теëеãрафии и теëефонии. Раäиотеëеãраф и
раäиотеëефон äëя переäа÷и сообщений на боëüøие расстояния на÷аëи
приìенятü зна÷итеëüно ранüøе, ÷еì äëя этой öеëи сìоãëи испоëüзоватü
не тоëüко раäиовещание, но и кëасси÷еский теëефон.
Уже на÷иная с 1927 ã., существует реãуëярное раäиотеëефонное сообщение ÷ерез Атëанти÷еский океан, а первый теëефонный кабеëü с
усиëитеëяìи быë проëожен по äну Атëантики тоëüко в 1956 ã.
В 1957 ã. СССР запустиë первый искусственный спутник Зеìëи.
В 1962 ã. быë запущен первый ãражäанский теëекоììуникаöионный
спутник «Теëüстар» и поëожено на÷аëо созäаниþ систеì теëекоììуникаöионных спутников.
Посëеäниìи äостиженияìи конöа ХХ и на÷аëа ХХI веков в обëасти
систеì связи явиëисü созäание Гëобаëüных сетей связи (Интернет) и
развитие сотовой связи.

1.1.2. О понятии «информация».
Краткая история развития теории информации

1.1.2.1. О понятии «информация»

С появëениеì кибернетики возникëо боëüøое коëи÷ество новых понятий, к которыì относят и понятие инфорìаöии.
Несìотря на то, ÷то сëово «инфорìаöия» появиëосü äавно, оно не
отражает той сущности сëова «инфорìаöия», которуþ пороäиëа кибернетика.
Сëово «инфорìаöия» ëатинскоãо происхожäения, ÷то в перевоäе озна÷ает сообщение о какоì-ëибо факте, событии и т. ä. В øирокоì
сìысëе сëова ëþбые свеäения, äаþщие преäставëение о той иëи иной
стороне ìатериаëüноãо ìира и происхоäящих в неì проöессах, ìожно
назватü инфорìаöией.
Опреäеëений понятия инфорìаöии существует ìноãо: от фиëософскоãо (инфорìаöия естü отражение реаëüноãо ìира) äо наибоëее узкоãо
практи÷ескоãо (инфорìаöия естü все свеäения, явëяþщиеся объектоì
хранения, переäа÷и и преобразования).
Наибоëее распространенныì опреäеëениеì понятия инфорìаöии
явëяется сëеäуþщее:
Инфорìаöия естü характеристика не сообщения, а соотноøения
ìежäу сообщениеì и еãо потребитеëеì.
Без наëи÷ия потребитеëя ãоворитü об инфорìаöии так же бессìысëенно, как и без наëи÷ия сообщения.

1. Введение в теорию информации

Тоëüко соеäиняясü с потребитеëеì, сообщение выäеëяет инфорìаöиþ. Сообщение саìо по себе не соäержит никакой инфорìаöионной
субстанöии. Инфорìаöия естü не ìатериаëüная сущностü, а способ описания взаиìоäействия.
Инфорìаöиþ фиксируþт на разëи÷ных носитеëях, соäержат в разëи÷ных приборах, она возникает при переписке, бесеäах и т. ä.
Переäа÷а, хранение и преобразование инфорìаöии происхоäит в техни÷еских устройствах, в живых орãанизìах по опреäеëенныì законаì.
На рисунке 1.1 преäставëены основные признаки инфорìаöии.

Дëя реøения заäа÷ теории инфорìаöии, необхоäиìо, прежäе всеãо,
уìетü изìерятü инфорìаöиþ (наприìер, äëя сравнения).
Оказаëосü, ÷то опреäеëение ìеры коëи÷ества инфорìаöии явëяется
äовоëüно сëожной заäа÷ей.

1.1.2.2. Краткая историческая справка 
о развитии теории информации

Истоки теории инфорìаöии ìожно найти в äревнерусскоì языке:
÷асто сëова записываëи нескоëüкиìи букваìи. Наãëяäно это ìожно
просëеäитü по книãе беëорусскоãо ìысëитеëя XVI века Г. Скорины
«Псаëтыри». Этот принöип существует и в теории инфорìаöии, т. е. ÷еì
÷аще повторяþт сообщение, теì ìенüøе нужно о неì сообщатü.
Есëи проанаëизироватü все виäы связи, существовавøие в Древней
Руси («ëесной теëеãраф», костры и т. п.), ìожно сäеëатü вывоä, ÷то о÷енü
äавно быë понят оäин из основных принöипов теории инфорìаöии, закëþ÷аþщийся в тоì, ÷то сообщение ìожно переäаватü äвои÷ныì коäоì.
В 1832 ã. аìериканский изобретатеëü С. Морзе ввеë коä «то÷ки-тире».
Морзе, вероятно, первыì осознаë статисти÷еский аспект äанной про
Рис. 1.1. Характеристика основных признаков информации

1. Введение в теорию информации

бëеìы. Он пониìаë, ÷то ÷астота появëения отäеëüных букв анãëийскоãо
аëфавита разëи÷на. Посещая типоãрафиþ и поäс÷итывая испоëüзуеìые
ëитеры, Морзе оöениë ÷астоту появëения отäеëüных букв и свой коä построиë так, ÷то наибоëее встре÷аþщиìся букваì быëи присвоены наибоëее
короткие коìбинаöии то÷ек и тире. Бëаãоäаря этоìу уäаëосü в коäированных сообщениях в среäнеì испоëüзоватü ìенüøее коëи÷ество сиìвоëов.
Впервые понятие коëи÷ества инфорìаöии появиëосü в работе аìериканскоãо эконоìиста Франкëин Фиøера (1921 ã.) по ìатеìати÷еской
статистике.
Нескоëüко позже в 1921 ã. Кþнф Мþëëер опреäеëиë коëи÷ество инфорìаöии, переäаваеìое по канаëаì связи.
В 1924 ã. появиëасü статüя øвеäскоãо изобретатеëя Гарри Найквиста,
соäержащая ìноãие поëожения, которые ëежат в основе совреìенной
теории инфорìаöии.
В 1928 ã. появиëасü статüя аìериканскоãо у÷еноãо Раëüф Винтон
Лайон Хартëи. В ней соäержаëасü основная форìуëа äëя коëи÷ества инфорìаöии, и обсужäаëисü вопросы ее приìенений.
В 1933 ã. акаäеìик АН СССР Вëаäиìир Аëексанäрови÷ Котеëüников
сфорìуëироваë важнейøуþ теореìу о возìожности преäставëения непрерывной функöии совокупностüþ ее зна÷ений в отäеëüных то÷ках отс÷ета,
а в 1946 ã. разработаë оптиìаëüные ìетоäы приеìа сиãнаëов на фоне поìех.
В 1941 ã. акаäеìик АН СССР Анäрей Никоëаеви÷ Коëìоãоров разработаë статисти÷ескуþ теориþ коëебаний, явëяþщуþся ìатеìати÷еской основой теории инфорìаöии.
И, наконеö, в 1948 ã. в аìериканскоì журнаëе появиëасü статüя
(окоëо ста страниö) триäöатиëетнеãо инженера-связиста Кëоäа Шеннона «Матеìати÷еская теория связи». Он äаë опреäеëение коëи÷ества инфорìаöии, которое стаëо кëасси÷ескиì и поëожено в основу совреìенной теории инфорìаöии.
Теория инфорìаöии быëа вызвана к жизни практи÷ескиìи потребностяìи техники связи. В теории инфорìаöии, созäанной К. Шенноноì, быëи сëиты äва аспекта теории инфорìаöии: фунäаìентаëüный и
прикëаäной. Фунäаìентаëüный аспект привеë к развитиþ теории инфорìаöии как ìатеìати÷еской äисöипëины. Второй аспект вызваë распространение иäей теории инфорìаöии на разëи÷ные обëасти знаний,
выхоäящие за преäеëы теории связи, в ÷астности: в раäиоëокаöии, изìеритеëüной технике, теëевиäении, искусстве, психоëоãии и т. ä.
Существенный вкëаä в развитие теории инфорìаöии внесëи оте÷ественные у÷еные: А. Н. Коëìоãоров, А. А. Харкеви÷, А. Я. Хин÷ин, Р. Л. Добруøин, Л. М. Финк, Р. Л. Стратонови÷, И. М. Коãан, Ф. Е. Теìников,
В. И. Сифоров, М. С. Пинскер, А. Н. Жеëезнов и äр., а также ряä зарубежных у÷еных: В. Макìиëëан, А. Файнстейн, Д. Габор, Р. М. Фано,
Ф. М. Вуäворт, С. Гоëüäìан, Л. Бриëëþэн и äр.

1. Введение в теорию информации

1.2. Информационные метрики1

Как уже отìе÷аëосü, оäниì из öентраëüных вопросов теории инфорìаöии явëяется опреäеëение коëи÷ества инфорìаöии.
Теории по опреäеëениþ коëи÷ества инфорìаöии развиваþт по треì основныì направëенияì: структурноìу, статисти÷ескоìу и сеìанти÷ескоìу.
Структурная теория рассìатривает тоëüко äискретные (прерывные
во вреìени) исто÷ники инфорìаöии и созäаваеìые иìи обобщения.
Коëи÷ество инфорìаöии поäс÷итываþт по ÷исëу инфорìаöионных
эëеìентов (квантов) иëи коìбинаторныì ìетоäоì, преäпоëаãаþщиì
простейøее коäирование ìассивов инфорìаöии.
Наибоëüøее распространение поëу÷иëа ìера Р. Хартëи.
Статисти÷еская теория инфорìаöии (теория связи), преäëоженная
Шенноноì, оперирует понятиеì энтропии, как ìеры степени неопреäеëенности некотороãо объекта, о котороì переäаþт инфорìаöиþ.
Статисти÷еская теория опреäеëения коëи÷ества инфорìаöии поëу÷иëа наибоëее øирокое приìенение.
Сеìанти÷еская теория у÷итывает öеëесообразностü, öенностü иëи
поëезностü инфорìаöии.
Структурнуþ теориþ приìеняþт äëя оöенки возìожностей аппаратуры
инфорìаöионных систеì вне зависиìости от усëовий их приìенения.
Статисти÷еская теория äает оöенки инфорìаöионных систеì в
конкретных приìенениях, наприìер, при переäа÷е по систеìе связи
инфорìаöии с опреäеëенныìи статисти÷ескиìи характеристикаìи.
Сеìанти÷ескуþ теориþ приìеняþт, есëи необхоäиìо оöенитü эффективностü ëоãи÷ескоãо опыта.

1.2.1. Структурные меры информации

В структурной теории äëя опреäеëения коëи÷ества инфорìаöии äанной инфорìаöионной систеìы рассìатриваþт три поäхоäа: ãеоìетри÷еский, коìбинаторный и аääитивный.

1.2.1.1. Геометрическая мера

Перви÷ныìи и неäеëиìыìи эëеìентаìи инфорìаöии с÷итаþт свеäения об эëеìентарных (äвои÷ных) событиях (обозна÷иì буквой А),
преäставëяþщих собой выбор из утвержäения иëи отриöания истины
(ëжи), наëи÷ия иëи отсутствия какоãо-ëибо явëения.

 1 Метрика — ìатеìати÷еский терìин, обозна÷аþщий форìуëу иëи правиëо
äëя опреäеëения расстояния ìежäу ëþбыìи äвуìя то÷каìи (эëеìентаìи) äанноãо
пространства (ìножества).