Теория информации

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ 

РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное автономное образовательное 

учреждение высшего образования

«ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ»

Инженерно-технологическая академия

В. В. КОТЕНКО

К. Е. РУМЯНЦЕВ

ТЕОРИЯ ИНФОРМАЦИИ

Учебное пособие

Ростов-на-Дону  Таганрог

Издательство Южного федерального университета

2018

УДК 621.391
ББК 32.811

К73

Печатается по решению кафедры информационной безопасности 

телекоммуникационных систем Института компьютерных технологий 
и информационной безопасности Южного федерального университета

(протокол № 12 от  14 февраля 2018 г.)

Рецензенты:

заведующий кафедрой информационной безопасности  ордена Трудового 
Красного  Знамени  ФГБОУ ВО «Московский технический  университет 

связи и информатики» (МТУСИ),  заслуженный деятель науки РФ, 

доктор технических наук, профессор О. И. Шелухин

председатель правления ЗАО «Институт информационных технологий», 

доктор технических наук, профессор И. Д. Горбенко

Котенко, В. В.

К73
Теория информации : учебное пособие / В. В. Котенко, К. Е. Ру
мянцев ; Южный федеральный университет. – Ростов-на-Дону ; Таганрог : Издательство Южного федерального университета, 2018. – 239 с.

ISBN 978-5-9275-2370-2
Содержание учебного пособия составляют результаты исследований в 

направлении развития фундаментальных основ теории информации с позиций 
обеспечения информационной безопасности.  Основу изложения материала учебного пособия составляет конкретизация модифицированной концепции теории 
информации, которая развивается на стратегии кодирования источников и кодирования для каналов, принципы информационного анализа источников и каналов, 
методы эффективного и помехоустойчивого кодирования. Книга предназначена 
для студентов направления подготовки 10.05.02 «Информационная безопасность 
телекоммуникационных систем». Может быть полезна студентам, магистрантам и 
аспирантам при освоении вопросов информационной  защиты телекоммуникаций.

УДК 621.391

ББК 32.811

ISBN 978-5-9275-2370-2

© Южный федеральный университет, 2018
© Котенко В. В., Румянцев К. Е., 2018
© Оформление. Макет. Издательство                                                                                             

Южного федерального университета, 2018

ВВЕДЕНИЕ

Понятие «информация» является базовым объектом изучения и ис
следования в области информационной безопасности. Это объясняется тем, 
что без четкого и глубокого представления объекта защиты невозможно  
эффективно обеспечить его безопасность. Таким образом, классическая 
теория информации потенциально способна обеспечить фундаментальную 
основу решения задач информационной защиты телекоммуникационных 
систем. Однако ее применение для оптимального решения этих задач сталкивается с проблемой необходимости комплексного подхода к теоретическому анализу не только процессов обработки и передачи информации, но и 
процессов защиты информации. К сожалению, до настоящего времени решение данной проблемы  не находило конструктивного отражения в научной и учебной литературе в области теории информации. Это во многом 
объясняет сложившуюся достаточно парадоксальную ситуацию, когда теория информации, обладая потенциально эффективным математическим аппаратом, как правило, не используется при решении практических задач 
информационной безопасности. 

Основная причина отмеченной ситуации во многом состоит в том, 

что попытки эффективного применения классической теории информации
для решения задач защиты телекоммуникаций сталкиваются в настоящее 
время с рядом проблем, игнорирование которых часто приводит к искаженным результатам. Во-первых, необходимо отметить, что традиционная 
теория информации, основанная К. Шенноном, изначально предназначалась только для решения задач телекоммуникации в части обработки и передачи информации. Однако её многообещающее название может создать 
иллюзию о полной универсальности аппарата теории информации и возможности его неограниченного применения в различных областях. От этого заблуждения предостерегал ещё К. Шеннон, видя в нем не только опасность легковесных и ошибочных решений, но и угрозу компрометации самой теории информации. Во-вторых, нельзя упускать из вида, что развитие 
теории информации уже достаточно длительное время носит двойственный 
характер. С одной стороны, это решение абстрактных математических задач с формальной постановкой, весьма далекой от реальной практики. С 
другой стороны, это решение прикладных задач с явно формальным математическим обоснованием. Таким образом, теория информации развивается параллельно по двум слабо взаимосвязанным направлениям, что порож

Введение

4

дает риск появления взаимоисключающих решений и выводов. Данная ситуация ещё более усложняется обоюдной иронией в оценке имеющихся достижений со стороны представителей каждого из направлений. Попытки 
ряда ведущих ученых, и в первую очередь Р. Галлагера [1], найти выход из 
этой ситуации («перекинуть мостик между математиками и инженерами»), 
к сожалению, пока кардинальных результатов так и не принесли. 
В-третьих, до сих пор не дано сколько-нибудь убедительного философского обоснования самого понятия «информация». Отсутствию единой философской системы взглядов на основополагающее понятие теории информации сопутствует неопределенность концепции самой теории и, как следствие, неопределенность ее аксиоматического базиса. Это порождает не 
только многоальтернативность взглядов на дальнейшее развитие классической теории информации, но и способствует появлению значительного 
числа так называемых «новых теорий информации» и тому подобных теорий, что в целом существенно затрудняет дальнейший научный поиск и дестабилизирует теоретические основы данной научной области, заложенные
К. Шенноном [3]. В-четвертых, пока только теория информации обладает 
апробированным специальным математическим аппаратом, позволяющим 
описать информационные процессы. Вызванная этим фактом вполне понятная потребность применения данного аппарата в других областях, в 
свою очередь, вызывает негативную и научно некорректную тенденцию 
представления теории информации как части других наук (например, кибернетики, информатики, математики). Опасность этого предвидели и от 
этого предостерегали 
К. Шеннон, А. Колмогоров, Р. Галлагер [1,3,4] и 

другие выдающиеся ученные. К сожалению, эта тенденция проявляется и в 
настоящее время.

Основу классической теории информации как фундаментальной 

науки составляет идея определяющего значения понятий кодирования и 
декодирования с точки зрения их функциональной роли в процессе обмена 
информацией, а также их поэтапного представления с позиций источника и 
канала передачи информации. Эта гениальная идея К. Шеннона определила 
разделение понятия «кодирование» в задачах телекоммуникации на понятия «кодирование источника» и «кодирование для канала». С этих позиций
основной целью кодирования источника является уменьшение объёма 
(сжатие) информации для её эффективной обработки. Данная цель достигается путём применения кодов, осуществляющих уменьшение избыточности 

Введение

5

информации. Такие коды принято называть эффективными. Основной целью кодирования для канала является увеличение объёма передаваемой 
информации для компенсации искажающего влияния помех при передаче. 
Эта цель достигается путём применения кодов, осуществляющих искусственное увеличение избыточности информации в пределах требуемой помехоустойчивости её передачи. 

Без преувеличения можно отметить, что именно эта фундаментальная

идея К. Шеннона обеспечивает тот довольно устойчивый иммунитет, которым обладает теория информации по отношению к деструктивному влиянию отмеченных выше и сопутствующих им проблем. 

Основу рассматриваемого подхода составляет определение принци
пов теоретического построения теории информации, конкретизация ее фундаментального базиса в виде аксиом и формирование модифицированной 
концепции теории информации (гл. 1). Предложенная концепция в последующем развивается на стратегии кодирования источников (гл. 2, 3, 5) и 
кодирования для каналов (гл. 7, 8, 10), принципы информационного анализа источников (гл. 3, 5) и каналов (гл. 7,10), методы эффективного (гл. 4, 6)
и помехоустойчивого кодирования (гл. 9). Главы 1–5, 7, 8, 10 написаны Котенко В. В., главы 6, 9 – Румянцевым К. Е. В учебном пособии приводятся 
оригинальные подходы к решению широкого круга задач обработки и передачи информации, теоретически подкрепленные теоремами, следствиями 
и их доказательствами.

ГЛАВА 1

ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ

1.1. Состояние и проблемы современной теории информации

Успешное освоение любой научной теории в значительной мере зави
сит от того, насколько четко понимаются ее проблемы и принципы теоретического построения. Это представляет собой своеобразный фундамент 
для дальнейшего формирования научного знания. Насколько прочен и конкретен будет этот фундамент, настолько прочны будут и полученные в последующем теоретические знания. 

Исторический опыт развития человеческого знания показывает, что 

основу любой теории обязательно составляет система научных и философских взглядов (концепция) на предмет данной теории. От того, насколько 
конкретна, понятна и научно обоснована эта концепция, во многом зависит 
как научно-практическая значимость самой теории, так и перспективы ее 
дальнейшего развития. Взгляд на современное состояние теории информации с этих позиций выявляет ряд проблем, которые обязательно следует
учитывать при ее изучении. Прежде всего, это проблема существующей 
неопределённости базового понятия теории – понятия “информация”. На 
первый взгляд конкретное и логически понятное представление информации как совокупности сведений об окружающей действительности оказывается, ни в коей мере, не раскрывает природу самого понятия. Свидетельством этого служит довольно широкий спектр взглядов на природу информации в современной научной литературе. О диапазоне этого спектра можно судить по двум полярным точкам зрения: с одной стороны – это утверждение о материальном характере понятия информации; с другой – о его 
чисто нематериальной природе. По-видимому, попыткой сгладить эти противоречия можно объяснить появившуюся в последнее время гипотезу о 
том, что информация наряду с материей и энергией является первичным 
понятием нашего мира. К сожалению, это еще больше усиливает существующую неопределенность, учитывая проблематичность самого понятия 
“энергия” в рамках общей теории относительности. Наверное, понимание 
этой неопределенности заставляет сторонников такой гипотезы делать довольно неординарный вывод о том, что информация, являясь первичным 
параметром нашего мира, не может быть в строгом смысле определена. Нетрудно предугадать последствия такого вывода, если принять во внимание, 

1.1. Состояние и проблемы современной теории информации

7

что уже сейчас неопределённость базового понятия приводит к значительной неоднозначности системы взглядов (концепции) на саму теорию информации. Многообразие концепции теории влечет за собой ряд негативных последствий. Прежде всего, это произвольная трактовка места и роли 
теории информации в общей системе научных знаний. Не может не настораживать то, с какой необоснованной легкостью эту теорию рассматривают 
как часть других наук, относя ее то к математике, то к кибернетике, а то и к 
информатике. Тем более, если учесть, что работа К. Шеннона [4], с которой, как принято считать, берет начало теория информации, называлась 
“Математическая теория связи” (1948). Это подчеркивает замысел К. Шеннона создать самостоятельную науку о передаче информации в системах 
связи. Отсюда представление ее в виде части кибернетики, информатики, 
математики или другой науки выглядит, по меньшей мере, некорректно. 
Причины такого весьма вольного обращения с замыслом автора весьма 
очевидны. Опыт развития научных знаний показывает, что любая теория 
должна опираться на вполне определенную философскую базу. Без нее она 
подобна дому, построенному без фундамента. В данном случае возможны 
два выхода: или создать и подвести фундамент, или поставить этот дом в 
качестве пристройки на уже испытанный фундамент другого строения. Если перенести этот пример в плоскость научных теорий, то второй путь оказывается значительно проще. Вполне понятно, что именно по нему и пошли авторы изданий, определяющих теорию информации, как часть других 
наук. Цена этому  потеря самобытности и дезориентация относительно 
общих задач, поставленных еще К. Шенноном. Это нетрудно заметить по 
изданиям, в которых теория информации рассматривается как часть математики. Их содержание, как правило, изобилует решениями абстрактных 
математических задач, труднопонимаемых и весьма далеких от практических приложений, связанных с передачей информации. Именно с этой 
негативной тенденцией в теории информации боролись в свое время 
К. Шеннон, А. Н. Колмогоров, Р. Галлагер [1, 3, 6] и другие ученые.

Важно отметить, что подавляющее большинство неоднозначных опре
делений, встречающихся в современной теории информации, в принципе,
являются верными. Проблема состоит в том, что они отражают только 
“грани” определяемых понятий, не давая полного представления о них.

В целом совокупность отмеченных и сопутствующих им проблем ока
зывает негативное влияние на состояние традиционной теории информа

Глава 1. Основы теории информации

8

ции. Прежде всего, это проявляется в неопределенности целей, задач и 
направлений ее развития. Так, представление теории в виде части определенной научной области приводит к вполне понятной трансформации ее 
целей в соответствии с целями этой области. Отмеченное выше многообразие попыток такого представления вполне закономерно вызывает многообразие этих трансформаций. Порождаемая, таким образом, неопределенность еще более усиливается неоднозначностью основных базовых понятий 
самой теории, что в конечном итоге значительно усложняет процесс ее 
освоения и последующего применения.

1.2. Принципы теоретического построения. Система аксиом 

и исходных определений

Основу принципов построения теории информации составляет де
дуктивный метод. Содержание дедуктивного метода построения научных 
теорий в общем виде может быть сформировано следующим образом. 
Научная теория в данном случае представляется как некая дедуктивная система, которая основывается на определенном множестве некоторых недоказуемых исходных предложений и неопределяемых исходных понятий. Из 
множества исходных предложений, которые включают аксиомы (постулаты) и исходные определения, шаг за шагом доказываются или выводятся производные предложения, называемые теоремами. Сами аксиомы не 
могут быть доказаны и представляют собой предложения, которые принимаются без доказательств в качестве первоначальных посылок. 

Определим с позиций дедуктивного метода систему аксиом и исход
ных определений, составляющих основу теории информации. Для этого 
сформулируем исходное представление понятия «информация».

Аксиома 1. Понятие «информация» формируется только в процессе 

коммуникации.

Согласно аксиоме, понятие «информация» свойственно только про
цессу коммуникации между объектом информации и человеком, которые в 
данном случае могут рассматриваться как элементы некоторой схемы коммуникации (рис. 1.1).

Объект информации здесь выступает в роли источника информации, а 

человек – в роли ее получателя. При этом в качестве канала коммуникации 
может выступать или окружающая среда, что соответствует непосред

1.2. Принципы теоретического построения. Система аксиом и исходных определений

9

ственной коммуникации, или технические средства, что определяет техническую коммуникацию (телекоммуникацию). 

Источник   

информации

Канал         

коммуникации

Получатель   
информации

Рис. 1.1. Схема коммуникации

Аксиома 2. Получение информации является важнейшей потребно
стью жизнедеятельности человека.

Получение информации человеком осуществляется через его органы 

чувств. С этой точки зрения информация может быть классифицирована 
как:

 информация, поступающая через органы слуха;
 информация, поступающая через органы зрения;
 информация, поступающая через органы осязания;
 информация, поступающая через органы обоняния.

Информация воспринимается органами чувств человека как путем 

прямого взаимодействия с окружающей средой, так и в процессе обмена 
информацией через технические средства. При этом в качестве объекта информации может выступать человек, техническое средство или сама окружающая среда во всем ее многообразии проявлений. Все это во многом 
объясняет двоякий смысл существующих в настоящее время определений 
понятия «коммуникация». С одной стороны, под коммуникацией принято 
понимать акт общения, сообщение информации одним лицом другому или 
ряду лиц; с другой стороны – форму связи с применением технических 
средств (как, например, телефон, телеграф, радио, телевидение). Это дает 
основание классифицировать информацию на информацию непосредственной коммуникации и информацию технической коммуникации.

Информация непосредственной коммуникации (ИНК) – это инфор
мация, воспринимаемая органами чувств человека (Ч) при непосредственном общении с другими людьми, техническими средствами (ТС) или при 
прямом взаимодействии с окружающей средой. Информация технической 
коммуникации (ИТК), или информация телекоммуникации – это информация, воспринимаемая органами чувств человека при общении через технические средства коммуникации (ТСК).