Тестовые задания по дисциплине «Основы теории информации»

Москва 2023

МИ НИ С Т ЕРС Т ВО НА УКИ  И  ВЫС ШЕГО ОБРА З ОВА НИ Я РФ

Университет науки и технологий МИСИС

ИНСТИТУТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И КОМПЬЮТЕРНЫХ НАУК

Кафедра автоматизированных систем управления

В.В. Куприянов

ТЕСТОВЫЕ ЗАДАНИЯ 
ПО ДИСЦИПЛИНЕ 
«ОСНОВЫ ТЕОРИИ 
ИНФОРМАЦИИ»

Учебное пособие

Рекомендовано редакционно-издательским  
советом университета

№ 4676

УДК 004.3 
 
К92

Р е ц е н з е н т 
канд. техн. наук, доц. Е.Е. Карпович

Куприянов, Вячеслав Васильевич.
К92  
Тестовые задания по дисциплине «Основы теории информации» : 
учеб. пособие / В.В. Куприянов. – Москва : 
Издательский Дом НИТУ МИСИС, 2023. – 18 с.
ISBN 978-5-907560-24-6

Предложены основные варианты тестовых заданий по дисциплине «
Основы теории информации», касающиеся использования 
энтропийной меры для оценки информационных характеристик 
автоматизированных систем обработки данных, а также исследования 
таких систем на основе теоремы Котельникова и фундаментальной 
формулы Шеннона о пропускной способности. Уделено 
внимание особенностям применения положений теории информации 
к вопросам дискретизации и кодирования случайных сообщений. 
Нашли отражение оценки избыточности информации, выбора 
элементов автоматизированной системы управления на основе 
энтропийной оценки передачи информации.
Для подготовки бакалавров техники и технологии по направлению 
09.03.01 Информатика и вычислительная техника.

УДК 004.3

 Куприянов В.В., 2023
ISBN 978-5-907560-24-6
 НИТУ МИСИС, 2023

СОДЕРЖАНИЕ

Предисловие .................................................................. 4
Тестовые задания ............................................................ 5
Заключение ................................................................. 16
Библиографический список ............................................ 17

ПРЕДИСЛОВИЕ

Для исследования автоматизированных систем недостаточно 
располагать оценками лишь амплитудно-временных свойств 
информационных процессов. Это определило необходимость 
использования более общих информационных представлений, 
что и стало основным направлением дисциплины «Основы теории 
информации».
В данном учебном пособии приведены варианты типовых 

тестовых заданий на основе материала по упомянутой выше 
дисциплине, даваемого автором на лекциях в МГГУ и НИТУ 
МИСИС. Представлены тесты, сформированные с учетом об-
щеинформационных представлений автоматизированных систем 
обработки данных на основе классической теории Шеннона, 
использующей энтропийную оценку информационных 
процессов. В частности, рассматриваются тесты, касающиеся 
энтропии объединенной системы для взаимозависимых событий 
и информативности взаимных систем, оценки различных 
систем алфавитов/кодов с позиции количества информации, 
информационных представлений дискретных и непрерывных 
случайных величин.
В тестах нашли отражение вопросы применения теории 

информации к задачам кодирования случайных сообщений, 
оценки избыточности информации, дискретизации сигналов 
с помощью теоремы В.А. Котельникова.
Учебное пособие построено так, что позволяет, опираясь 

на общие информационные представления, рассматривать 
широкий круг вопросов, с которыми бакалавр техники и технологии 
встречается при исследовании каналов передачи информации 
сетей и систем телеобработки данных. Прикладная 
сторона пособия связана с выявлением областей целесообразного 
использования методов теории информации для решения 
инженерных задач, например использование шенноновской 
пропускной способности для проектирования модемов вычислительных 
сетей, оценки характеристик трехсторонних информационных 
систем управления.

ТЕСТОВЫЕ ЗАДАНИЯ

1. Энтропия не может быть отрицательной величиной по 

причине:
а) 0 ≤ pi ≤ 1 и 

0
lim
log
0;

i
i
i
p
p
p
→
→

б) pi = 1;
в) нет понятия отрицательной неопределенности.

2. Энтропия системы, приходящаяся на n событий, при этом 

сама система состоит из m равновероятных событий, равна:
а) nlogm;
б) n;
в) 1.

3. Если в системе, описываемой схемой

 
1
2

1
2
,
n

m

x
x
x
X
p
p
p
…


=

…



где xi – состояния системы;  
pi – вероятность нахождения системы в состоянии xi,

переставить местами вероятности, то получим другое распределение 
вероятностей, но энтропия для обоих распределений 
остается одной и той же по причине того, что:
а) энтропия обладает свойством симметричности относительно 
значений p1, p2, …, pm;
б) энтропия непрерывна относительно вероятностей;
в) энтропия является средней величиной от распределения 

вероятностей в логарифмическом масштабе.

4. Пусть системы X и Y являются независимыми. В этом 

случае взаимная информация I(Y, X) равна:
а) H(X);
б) 0;
в) H(X|Y).

5. Пусть системы X и Y взаимозависимы. Взаимная информация, 
содержащаяся в этих системах, оценивается по формуле:

а) H(X) – H(X|Y);
б) H(X) + H(Y) – H(X,Y);
в) H(X) + H(Y).

6. Имеются три дискретные случайные величины x, y, z, 

энтропии которых равны H(x) = H(y) = H(z). Если H(x,y,z) = 
= H(x), то I(x, y, z) равняется:
а) H(x) + H(x|y);
б) 2H(x) – I(x,y);
в) H(z) – H(x) + H(x,y).

7. На самом деле справедливо энтропийное соотношение:
а) H(Y|X) ≤ H(Y);
б) H(Y) ≤ H(Y|X) ≥ 0;
в) H(X,Y) = H(X) – H(Y).

8. Имеем две зависимые системы X и Y. Система X имеет 

распределение вероятностей p(x). Условная энтропия H(Y|X) 
оценивается по формуле:
а) p(x1)H(Y|xi) + … + p(xm)H(Y|xm); где p(xi) – веса, усредняющие 
величину H(Y|X);
б) H(Y);
в) H(X,Y) – H(X).

9. Энтропия опыта максимальна, если:
а) одна из вероятностей pi состояний равна 1, а все остальные 
равны 0;
б) вероятности исходов/состояний равновероятны;
в) вероятность одного исхода равна 0, а вероятности остальных 
исходов равны.

10. Возможен случай, когда одной и той же энтропии отвечают 
различные распределения вероятностей системы, описываемой 
схемой с конечным числом некоррелированных состояний:

а) да;
б) нет.

11. Пусть передаются четыре равновероятных сообщения 

двоичным кодом. Сообщения отображаются кодом 00, 01, 10, 11. 
Энтропия сообщения:
а) 4 дв.ед./сообщ.;
б) 2 дв.ед./сообщ.;
в) 1 дв.ед./сообщ.;
энтропия источника:
а) 2 дв.ед./символ;
б) 1 дв.ед./символ;
в) 3 дв.ед./символ.
Причем в первом случае имеем неопределенность в осредненном 
сообщении, а во втором – неопределенность в одном 
символе кода.

12. Если y = x ± c, где c – некоторая константа, то энтропия 

H(y) равна:
а) H(x);
б) 0;
в) H(c).

13. Если y = –x, то энтропия H(y) будет равна:
а) H(x);
б) 1.

14. Пусть x и y – два алфавита; z = x + y. Условная энтропия 
H(z|x) равна:
если x и y зависимы:
а) H(y) + H(x);
б) H(y) + H(x|y);
в) H(y);
если x = y:
а) H(x);
б) H(y);
в) 0.

15. Для функций, ограниченных во времени, применение 

теоремы Котельникова сопряжено с ошибкой аппроксимации. 
Это происходит по причине того, что:

а) спектр таких функций ограничен;
б) спектр этих функций неограничен;
в) спектр этих функций несимметричен относительно wc = 0.

16. Избыточность ряда европейских языков лежит в пределах 
50–65 %. Энтропия их алфавитов:
а) 0,5logm, m – алфавит источника символов;
б) (1,50 – 1,65)logm;
в) 1.

17. Минимальное число символов, необходимых для передачи 
информации некоррелированным алфавитом, можно оценить 
как:

а) 
( )
( )

min
max
;
nH x
n
H
x
=

б) nmin = n(1 – r), r – избыточность источника информации;

в) 
( )

min
.
log
nH x
n
m
=

18. Даны значения H(x) и H(y). Информация I(x,y) при изменении 
H(x,y) от минимального до максимального значения 
может меняться в пределах:
а) H(x) – H(y) ≤ I(x,y) ≤ H(x);
б) H(x) ≤ I(x,y) ≤ H(x) + H(y);
в) 0 ≤ I(x,y) ≤ H(x).

19. Определить количество информации в сообщении о том, 

был ли вчера дождь в Москве, где X – погода в Москве:

а) 
(
)

2

2
1
дв.ед.
1
1
log
1 
2
;
2
I X


=−
=




∑

б) I(X) = 0;
в) I(X) = 0,5 дв.ед.

20. Определить число, которое с равной вероятностью может 
принимать значения от 1 до 32, задавая минимальное число 
вопросов типа «да – нет». Вопрос надо задавать так, чтобы 
в ответе мы имели максимум информации. Тогда:

а) 5;
б) 4;
в) 2.

21. Определить среднее количество информации, приходящееся 
на один символ сообщения 0100010001010010:
а) 1 бит/символ;
б) 4 бита/символ;
в) 3 бита/символ.

22. Определить среднюю взаимную информацию между 

двумя буквами алфавита, если известно, что средняя энтропия 
алфавита равна 5 бит, а энтропия на пару букв равна 8,3 бита:
а) 1,7 бита;
б) 3,3 бита;
в) 13,3 бита.

23. Определить, чему равняется I(x,x):
а) H(x);
б) H(x|x);
в) 0.

24. По заданным значениям H(x) и H(y) найти H(x|y), если 

H(y|x) = 1 бит:
а) H(x) – H(y) + 1;
б) H(y) + H(x) – 1;
в) H(y) – H(x) + 1.

25. Как оценить энтропию объединенной системы H(X,Y) 

при статистически независимых системах X и Y:
а) H(X) + H(Y);
б) H(X) + H(Y|X);
в) H(Y) + H(X|Y).

26. Определить энтропию двумерного равномерного распределения, 
заданного плотностью

 
(
)
(
) (
)
1, 
 0 1;
,
|
|
:
0, 
 01
если
если
xy
x
P
x y
p xx p yy
y
≤
≤

=
= 
≤
≤


а) 0;
б) 1;
в) 2.

27. Верно ли утверждение, что энтропийная мера по Шеннону 
увеличивает большие вероятности событий и уменьшает 
малые вероятности событий и почему:
а) да, так как энтропия «усредняет» значения вероятностей 

по закону логарифма;
б) нет.

28. Имеем сложную систему {X1,…,Xk}, где X1,…,Xk зависимы 
между собой. Энтропия системы H(X1,…,Xk) = M[–logp× 
×(X1,…,Xk)]. Найти H(X1,…,Xk) при учете, что p(X1,X2) = 
= p(X1)p(X2|X1); p(X1,X2,X3) = p(X1,X2)p(X3|X1X2); p(X1,…,Xk) = 
= p(X1,…,Xk–1)p(Xk|X1,…,Xk–1):
а) H(X1) + H(X2|X1) + H(X3|X1X2) + H(X4|X1X2X3) + … + 

+ H(Xk|X1,X2,…,Xk–1);
б) H(X1) + … + H(Xk|X1,X2,…,Xk–1);
в) H(X1) + H(X2) + H(X3) + … + H(Xk–1) + H(Xk|X1,X2,…, 

Xk–1).

29. Количество информации, которое в среднем получает 

человек, определяющий день рождения своего собеседника, 
когда последний сообщает ему месяц, в котором он родился, 
составляет:
а) logm; m = 12;
б) 1 бит;
в) 1/2log1/12, бит.

30. Определите количество информации, которое получает 
событие о положении фигуры на шахматной доске, если ее 
ставят произвольным образом:
а) 6 бит;
б) 8 бит;
в) 4 бита.

31. Дифференциальная энтропия для непрерывных величин 
записывается как:

а) 
( )
log ( )
log
;
f x
f x dx
x

∞

−∞
−
−
D
∫

б) 
( )
log ( )
.
f x
f x dx

∞

−∞
−∫

32. Элементы алфавитов x и y статистически связаны. Известно, 
что H(x) = 8 бит, H(y) = 12 бит. При изменении H(x|y) 
в максимально возможных пределах условная энтропия H(y|x) 
меняется в пределах:
а) 0 ≤ H(y|x) ≤ 12 бит при 0 ≤ H(x|y) ≤ 8 бит;
б) 0 ≤ H(y|x) ≤ 20 бит при 0 ≤ H(x|y) ≤ 8 бит;
в) 0 ≤ H(y|x) ≤ 4 бит при 0 ≤ H(x|y) ≤ 4 бит;

33. Удлинение кодовых последовательностей при использовании 
кодов Шеннона вызывает задержку в приеме информации, 
а пропускная способность:
а) снижается;
б) остается без изменения;
в) возрастает.

34. Если в формуле для пропускной способности Шеннона 

положить мощность сигнала Pc = const, а мощность помех Pn = 
= N0fc, где fc – полоса частот сигнала, что имеет место при помехах 
в виде дробовых тепловых эффектов в модеме как совокупности 
малых случайных импульсов, спектр которых постоянен 
по частоте, например дробовой ток в электролампе, зависимость 
пропускной способности от величины N0fc/Pc будет:
а) возрастающей;
б) асимптотически приближающейся к величине 1,44Pc/N0;
в) неизменяющейся.

35. В каналах связи с шумом за счет введения избыточности 
каждый элемент кода передает:
а) более 1 бита информации;
б) менее 1 бита информации;
в) ровно 1 бит информации.