Теория информации. Лабораторный практикум в MATLAB


А. И. ПРИХОДЬКО





ТЕОРИЯ ИНФОРМАЦИИ


ЛАБОРАТОРНЫЙ ПРАКТИКУМ В MATLAB






Рекомендовано УМО РАЕ по классическому университетскому и техническому образованию в качестве учебного пособия для студентов высших учебных заведений, обучающихся по направлениям подготовки: 11.03.02 «Инфокоммуникационные технологии и системы связи», 11.03.01 «Радиотехника»
















Москва Вологда «Инфра-Инженерия» 2022

УДК 519.72
ББК 32.811
    П75


Рецензенты:
доктор технических наук, профессор К. С. Коротков;
доктор физико-математических наук, профессор М. X. Уртенов




     Приходько, А. И.
П75 Теория информации. Лабораторный практикум в MATLAB : учебное пособие / А. И. Приходько. - Москва ; Вологда : Инфра-Инженерия, 2022. - 108 с. : ил.
          ISBN 978-5-9729-1019-9

     Приводятся основные положения теории информации. Содержатся теоретические сведения, расчетные задания с примерами m-файлов, а также методические указания и контрольные вопросы.
     Для студентов, обучающихся по направлениям подготовки «Инфокомму-никационные технологии и системы связи» и «Радиотехника». Может быть полезно преподавателям.


УДК519.72
ББК32.811













ISBN978-5-9729-1019-9

     © Приходько А. И., 2022
     © Издательство «Инфра-Инженерия», 2022
                            © Оформление. Издательство «Инфра-Инженерия», 2022

ПРЕДИСЛОВИЕ


        Целью лабораторного практикума является изучение основных положений теории информации и приобретение практических навыков работы в системе программирования MATLAB.
        Рабочий стол (интерфейс) MATLAB содержит следующие окна:
        -      Command Window (Командное окно) - основное окно с активизированной командной строкой;
        -      Current Folder (Текущая папка) - окно, в котором показано содержимое текущей папки;
        -      Workspace (Рабочая область) - окно, в котором выводится список текущих переменных, сохраняемых в памяти во время вычислений;
        -      Command History (История команд) - в этом окне выводится история выполнения программного кода, сгруппированная по датам.
        Работа в MATLAB может проводиться либо в режиме прямых вычислений, либо в режиме выполнения заранее составленных программ.
        Режим прямых вычислений (режим диалога пользователя с системой) проводится непосредственно в командной строке окна Command Window. В верхнем левом углу окна находятся два знака >>, символизирующие начало строки. В этой строке можно набирать формулы или команды, удовлетворяющие синтаксису языка MATLAB и завершающиеся нажатием клавиши < Enter >.
        Режим программирования предполагает предварительное составление программ (m-файлов) пользователем, которые подразделяются на script-файлы и function-файлы.
        Script-файл - это создаваемый пользователем m-файл, представляющий собой основную (управляющую) программу, которая содержит построчно записанные операторы языка MATLAB.
        Программа создается в окне Editor (Редактор m-файлов), которое открывается в результате нажатия на кнопку New Script панели инструментов или сочетания клавиш < Ctrl+N >. После открытия окна операторы программы вводятся строка за строкой, причем MATLAB автоматически нумерует новую строку каждый раз, когда нажимается клавиша < Enter >.

Предисловие

     Сохранение script-файла осуществляется с помощью кнопки Save на панели инструментов после выбора команды Save As... из открывающегося меню. При сохранении MATLAB прибавляет расширение .т к имени файла. Выполнение script-файла начинается в результате нажатия кнопки Run на панели инструментов или функциональной клавиши < F5 >.
     Function-файл - это создаваемый пользователем т-файл, представляющий собой внешнюю функцию. Главная особенность файла функции - это то, что у нее есть ввод и вывод. Это означает, что вычисления в файле функции выполняются с использованием входных данных, а результаты вычислений передаются из файла функции в основную программу как результат. Для создания файла функции необходимо на панели инструментов нажать кнопку New и выбрать команду Function. Файл функции должен быть сохранен до его использования в основной программе. Это делается так же, как и со script-файлом, однако function-файл необходимо сохранять с именем, совпадающим с именем функ-ции в строке ее определения.
     В некоторых случаях оказывается удобным использование анонимной функции (anonymous function), которая определена и записана в пределах основной программы.
     Каждая лабораторная работа содержит теоретические сведения, расчетные задания с примерами m-файлов, а также методические указания и контрольные вопросы.

Лабораторная работа № 1 Количество информации и энтропия


        Цель работы: Изучить понятия количества информации и энтропии, овладеть программными средствами их расчета в MATLAB.

1.1. Теоретические сведения

        Дискретный источник информации - это источник, который вырабатывает дискретные сообщения, состоящие из конечного множества символов. Множество A = {a₁,a₂, ..., aₘ} всех возможных символов a₁,а₂, ..., aₘ называется алфавитом (ансамблем) источника, а величина m - объемом алфавита. Каждый символ ai вырабатывается с вероятностью p (ai), причем m
    ^p(ai) = 1, поскольку все символы (состояния) источника со-i =1
    ставляют полную группу случайных событий.
        Количество информации I(ai), содержащееся в любом из независимых символов ai, определяется выражением
¹  ⁽ai⁾ = ⁻ bgᵥ p⁽ai⁾,           (1.1)
    где v - основание логарифма.
        Логарифмическая мера (1.1) имеет следующие свойства.
        1.      Количество информации I(ai) - величина неотрицательная и убывающая с ростом p(ai).
        2.      Количество информации, содержащееся в достоверном символе (передаваемом с вероятностью p(ai) = 1), равно нулю
I (ai) = - logᵥ 1 = 0.
        3.      Количество информации, содержащееся в любом числе N независимых символов, равно сумме количеств информации, содержащихся в каждом из них

Лабораторная работа № 1

          I(aᵣ,a₂, ..., aN) = -logᵥp(aᵣ,a₂, ..., aN) =
NN                    N

    =⁻ logᵥ n p⁽a⁾=E logv p⁽ai⁾=E¹ ⁽ai)> i =1            i=1         i=1

                   N
где p(a₁,a₂, ..., aN) = n p⁽ai⁾ - совместная вероятность появле-i=1
ниянезависимых символов a₁,a₂, ..., aN.
     4.     Мера количества информации (1.1) не учитывает качественное содержание передаваемого сообщения (важность для получателя, эмоциональную окраску, возможные последствия и т. д.), а отражает лишь степень его неопределенности.
     5.     Единица измерения количества информации зависит от выбора основания логарифма v:
     -     при v = 10 количество информации I(aᵢ) = -lgp(aᵢ) измеряется в десятичных единицах - дитах или Хартли (эта единица сейчас практически не используется);
     -     при v = e » 2,71 количество информации I(aᵢ) = - ln p(aᵢ) измеряется в натуральных единицах - натах (эта единица обычно используется при теоретических исследованиях);
     -     при v = 2 количество информации I(aᵢ) = - log(aᵢ) измеряется в двоичных единицах - битах (от англ. bit - Binary digiT, эта единица широко используется и по умолчанию основание логарифма опускается).
     6.     Логарифмическая мера (1.1) с основанием логарифма v = 10 для случая, когда все символы равновероятны и p(aᵢ) = —, m впервые предложена английским ученым Р. Л. Хартли в 1928 г.
     Энтропия дискретного источника информации с алфавитом A = {aᵢ} - это среднее количество информации, приходящееся на один (любой) символ aᵢ, вырабатываемый источником. Энтропия H(A) находится как математическое ожидание дискретной случайной величины I(aₜ), определяющей количество информации, содержащееся в одном случайно выбранном символе
H (A) = M {I (ai)},           (1.2)

Количество информации и энтропия

7

где M {•} - знак математического ожидания, означающий усреднение стоящей в фигурных скобках случайной величины по всем ее возможным реализациям.
         Энтропия источника независимых символов согласно (1.1), (1.2) определяется по формуле
m


            H ⁽A⁾ =-^ p⁽ai ⁾¹og p⁽ai⁾.            ⁽¹³⁾


i =1
         Энтропия измеряется в единицах: бит на символ, бит на букву, бит на сообщение.
         Свойства энтропии:
         1. Энтропия есть величина, ограниченная неравенствами
О < H (А) < log m.               (1.4)
         2.      Энтропия обращается в нуль, если состояние источника полностью определено, т. е. один символ имеет вероятность, равную единице, а вероятности всех остальных символов равны нулю.
         3. Энтропия максимальна и равна
Hо(А) = logm,                    (1.5)
    если все символы источника равновероятны, т. е. для всех значений i = 1,2, .., m вероятности составляют p(ai) = 1/ m.
         4.      Энтропия двоичного источника с числом символов m = 2 при p(a₁) = p и p(a₂) = 1 -p согласно (1.3) определяется выражением
H (А) = - p log p - (1 - p )1og(1 - p).  (1.6)
         Из формулы (1.6) следует, что энтропия двоичного источника изменяется от нуля до единицы, достигая максимума при значении аргумента p = 1 - p = О,5. Таким образом, 1 бит - это количество информации, содержащееся в одном из двух равновероятных независимых символов.
         5.      Энтропия объединения (или совместная энтропия) нескольких статистически независимых источников с алфавитами А₁, А₂, ..., AN равна сумме энтропий этих источников

Лабораторная работа № 1

                                     N
H (Д, A₂,...,Aₙ ) = £ H (Aₖ).        (1.7)
                                     k=1
        6.      Энтропия характеризует среднюю неопределенность выбора одного символа из алфавита источника. При ее определении используют только вероятности символов, полностью игнорируя их содержательную сторону.
        7.      Энтропия как мера неопределенности согласуется с экспериментальными данными, полученными при изучении психологических реакций человека и, в частности, реакции выбора. Так, установлено, что время безошибочной реакции на последовательность беспорядочно чередующихся равновероятных раздражителей (например, загорающихся лампочек) растет с увеличением их количества так же, как энтропия.
        8.      Термин «энтропия» в теории информации и выражение (1.3) для ее вычисления впервые были введены в 1948 г. американским ученым К. Е. Шенноном. Им было высказано утверждение, а советским математиком Я. А. Хинчиным строго доказано, что формула (1.3) является единственным функционалом, удовлетворяющим сформулированным свойствам.

1.2. Расчетные задания

        Задание 1.1. Построить графики зависимости количества информации от вероятности символа по формуле (1.1) при различных значениях v.


   %Script_1_1
   %Построение графиков зависимости количества информации от вероятности символа clear all; close all; clc ^Значения вероятности p=0:.001:1;
   ^Значения количества информации I1=-log2(p);
   I2=-log(p);
   I3=-log10(p);
   ^Построение графиков
   plot(p,I1,p,I2,p,I3)

Количество информации и энтропия

9

   grid
   xlabel('Вероятность символа p(a)')
   ylabel('Количество информации I(a), бит')
   title('Зависимости количества информации от
   вероятности символа')
   legend('\nu = 2','\nu = e','\nu = 10')
   ylim([0 8])

        Задание 1.2. Построить график зависимости энтропии двоичного источника от вероятности символа по формуле (1.6).

   %Script_1_2
   %Построение графика энтропии двоичного источника в
   зависимости от вероятности символа
   clear all; close all; clc
   %Значения вероятности
   p=0:.001:1;
   %Значения энтропии
   H=-p.*log2(p)-(1-p).*log2(1-p);
   %Построение графика
   plot(p,H)
   grid
   xlabel('Вероятность символа p')
   ylabel('Энтропия источника H(A), бит/символ')
   title('Энтропия двоичного источника в зависимости от вероятности символа')

        Задание 1.3. Дискретный источник имеет объем алфавита m = 3. Определить энтропию источника, если:
        а) символы алфавита равновероятны;
        б) символы вырабатываются с вероятностями p(a₁) = 0,25;
   p(a2) = 0,3; p(аз) = 0,45.
        На какую величину уменьшается энтропия во втором случае?

   %Script_1_3
   %Расчет энтропии дискретного источника без памяти
   clear all; close all; clc
   %Задание анонимной функции
   %----------------------------
   fun=@(x) -x.*log2(x+(x==0));

Лабораторная работа № 1

   %----------------------------
   %3адание вероятностей символов p=[.25 .3 .45];
   disp('Вероятности символов:') disp(p)
   %Сумма вероятностей символов s=sum(p);
   disp('Cумма вероятностей:')
   disp(s)
   %Определение объема алфавита (длины вектора) m=length(p);
   disp('Объем алфавита:') disp(m)
   %Определение максимальной энтропии H0=log2(m);
   disp('Максимальная энтропия, бит/символ:')
   disp(H0)
   %Вычисление энтропии источника H=sum(fun(p));
   disp('Энтропия источника, бит/символ:')
   disp(H)
   %Определение разности энтропий
   dH=H0-H;
   disp('Разность энтропий, бит/символ:') disp(dH)

        Задание 1.4. Дискретный источник имеет объем алфавита m = 4. Определить энтропию источника, если:
        а) символы вырабатываются с одинаковыми вероятностями;
        б)     вероятности символов равны p(a₁)=0,1; p(a₂)=0,2; p(a₃) = 0,3; p(a₄) = 0,4.
        На какую величину уменьшается энтропия во втором случае?
        Указание: использовать Script_1_3.


        Задание 1.5. Дискретный источник имеет объем алфавита m = 5. Определить энтропию источника для следующих случаев:
        а) символы вырабатываются с одинаковыми вероятностями;
        б)      вероятности символов p(a₁) =0,8; p(a₂) =0,15; p(a₃) = = 0,03; p(a₄) =0,01; p(a₅) =0,01.