Специальные главы информатики и вычислительной техники

Москва 2022

М ИНИС ТЕРС ТВО НАУКИ И ВЫСШ ЕГО О Б РА З О ВА Н И Я РФ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ
ВЫСШЕГО ОБРАЗОВАНИЯ
«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ «МИСиС»

ИНСТИТУТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И КОМПЬЮТЕРНЫХ НАУК

Кафедра автоматизированных систем управления

В.В. Куприянов

СПЕЦИАЛЬНЫЕ ГЛАВЫ 
ИНФОРМАТИКИ 
И ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ

Учебник

№ 4467

УДК 004.3 
 
К92

Р е ц е н з е н т ы : 
канд. техн. наук, доц., НИТУ «МИСиС», Е.Е. Карпович;  
канд. техн. наук, доц., зам. директора ООО «Авиньон» В.М. Уткин

Куприянов, Вячеслав Васильевич.
К92  
Специальные главы информатики и вычислительной 
техники : учебник / В.В. Куприянов. – Москва : Издательский 
Дом НИТУ «МИСиС», 2022. – 114 с.
ISBN 978-5-907227-88-0

Учебник является руководством для практического освоения 
основных положений системного анализа, теории информации, 
а также энтропийных оценок свойств информационных процессов. 
Освещены вопросы, связанные с определением количественных характеристик 
информации. Рассмотрено использование энтропийной 
меры для оценки информационных характеристик каналов 
связи и систем управления. Раскрыты вопросы дискретизации случайных 
сигналов на основе теоремы Котельникова. Описаны особенности 
применения идей Шеннона для построения модемов в сетях 
обработки данных. Рассмотрены проблемы методов измерений 
случайных физических величин с позиций получения информации 
в условиях шумов и указаны пути их решения; свойства и принципы 
системного подхода. Проанализированы современные тенденции 
формирования новых информационных технологий.
Для подготовки аспирантов по направлению 09.06.01 «Информатика 
и вычислительная техника».

УДК 004.3

 Куприянов В.В., 2022
ISBN 978-5-907227-88-0
 НИТУ «МИСиС», 2022

СОДЕРЖАНИЕ

Предисловие .................................................................. 4

Глоссарий ...................................................................... 6

1. Основные понятия теории информации .......................... 9
1.1. Определения теории информации ............................ 9
1.2. Характерные черты и некоторые свойства  
информации .............................................................. 10
1.3. Дискретная и непрерывная информация ................ 11
1.4. Теорема Котельникова ......................................... 13
1.5. Понятие о кодировании ....................................... 15
1.6. Информационные аспекты построения систем......... 21
1.7. Энтропия и ее использование для оценки 
информационных процессов и систем ........................... 26
1.8. Измерения и информация .................................... 61
Контрольные вопросы ................................................ 76

2. Основы системного подхода ........................................ 79
2.1. Появление системных концепций ......................... 79
2.2. Иерархия системности ......................................... 83
2.3. Сферы взаимодействия ........................................ 86
2.4. Классификация систем ........................................ 89
2.5. Свойства систем и принципы системного подхода .... 92
2.6. Современные тенденции и проблемы  
формирования новых информационных технологий ......100
Контрольные вопросы ...............................................109

Заключение ................................................................111

Библиографический список ...........................................112

ПРЕДИСЛОВИЕ

При проектировании современных систем управления, раз-
личных измерительных устройств все чаще применяются мето-
ды и средства информационных технологий, использующие по-
ложения классической теории информации. Непосредственное 
применение последней к задачам управления и измерений вы-
зывает значительные трудности, связанные с тем, что указан-
ные системы и приборы работают с определенной точностью. 
Для устранения этих трудностей получили развитие идеи тео-
рии информации в установлении количественных соотношений 
между потерями информации и точностью ее воспроизведения. 
Эти вопросы нашли отражение в предлагаемом учебнике.
Основу учебника составляют материалы лекций из дисци-
плины «Специальные главы информатики и вычислительной 
техники», которые в течение ряда лет читались автором в НИТУ 
«МИСиС» аспирантам, обучающимся по направлению 09.06.01 
«Информатика и вычислительная техника», профиль подготов-
ки «Системный анализ, управление и обработка информации 
(в промышленности)». Предлагаемый учебник охватывает круг 
вопросов, соответствующих теоретическим основам получения 
и преобразования информации в приборах и системах управле-
ния. Существенное внимание уделено как дискретной, так и не-
прерывной информации, снимаемой с датчиков. Рассмотрены 
методы снижения потерь информации при измерениях непре-
рывных случайных физических величин при наличии всевоз-
можных шумов и помех. Показана роль информации при лю-
бых измерениях. Приведена интерпретация работы модемов 
информационных сетей с позиций информатики. Достаточное 
внимание уделено информационному подходу к оценке точно-
сти измерений, а также свойствам и принципам системного под-
хода. Нашли свое отражение и вопросы квантования сигналов 
по уровню и времени на основе теоремы Котельникова, кодиро-
вания информации, шенновской трактовки пропускной способ-
ности системы.
Изложение материала учебника доступно для понимания 
не только аспирантами, но и студентами, обучающимися в ма-
гистратуре по направлению 09.04.01 «Информатика и вычис-

ПРЕДИСЛОВИЕ

лительная техника». По возможности приведены выводы фор-
мул, так как только в процессе их вывода можно их полностью 
понять, а это залог успешного применения формул на практике.
В каждом разделе изложены основные теоретические све-
дения, приведены решения типовых примеров, а также кон-
трольные вопросы для лучшего усвоения материала.
В библиографический список включены наиболее доступ-
ные публикации, в том числе классические литературные ис-
точники. Во избежание разночтений в вопросах терминологии 
учебник начинается с глоссария, в который включены основные 
используемые понятия и их определения.
В англоязычной научной литературе при возникновении 
терминологических споров всегда можно прибегнуть к помощи 
арбитров, каковыми являются:
 – в США и Канаде – словари Webster или IEEE Standart 
Dictionary, содержащие общепринятые и вновь введенные термины 
и определения и пополняемые ежегодно;
 – в Великобритании – Оксфордский толковый словарь английского 
языка.
Русскоязычная научная литература в большей степени 
лишена такой возможности, поэтому вопросы терминологии 
всегда являлись камнем преткновения при научном общении. 
Во избежание разночтений представляем перечень основных 
используемых определений и понятий, базирующихся на следующих 
источниках:
 – Большая советская энциклопедия, 3-е издание;
 – ГОСТы по научным исследованиям;
 – русскоязычная калька терминов, взятых из IEEE Dictio-
nary.
Некоторые термины не включены в глоссарий, их определения 
формулируются непосредственно в тексте, в первую очередь 
это относится к уточненному определению понятий «си-
стема» и «активная система».

ГЛОССАРИЙ

Автоматизация (от греч. аutomatus – самодействующий) – 
процесс, при котором функции управления и контроля пере-
даются от человека приборам и автоматическим устройствам.
Глосса (греч. glossa – язык, речь) – иноязычное или непо-
нятное слово в тексте книги с толкованием, помещенным либо 
над самим словом, либо под ним, либо рядом на полях.
Глоссарий (лат. glossarium – собрание глосс) – толкование 
слов или выражений, непонятных мест с помощью определе-
ний или переводов.
Интеллект (лат. intelectus – понимание, рассудок) – относи-
тельно устойчивая структура умственных способностей инди-
вида, способность к мышлению, рациональному пониманию.
Информатика (англ. informatics) – 1) наука, изучающая 
законы и методы накопления, передачи и обработки информа-
ции с помощью ЭВМ; 2) область человеческой деятельности, 
связанная с применением ЭВМ.
Информационная технология (составное определение) – спо-
соб, метод, процесс или программа преобразования информации, 
энергии или вещества из заданного начального состояния в за-
данное конечное состояние с помощью определенных средств ин-
форматики.
Информация (лат. information – изложение, разъяснение) – 
одно из основных понятий кибернетики, информатики, филосо-
фии и т.д., являющееся предметом их изучения, в определенном 
отношении близкое понятиям «данные», «сведения», совокуп-
ность знаний об окружающем мире.
Исследование (англ. research) – процесс выработки науч-
ных знаний, один из видов познавательной деятельности.
Менеджмент (англ. management) – управление, заведование, 
умение справляться с работой (ср.: управление). В общем случае 
менеджмент – совокупность принципов, методов, средств и форм 
управления, разработанных с целью интенсификации производ-
ства и получения прибыли.
Моделирование (англ. simulation) – исследование объектов 
познания на моделях; обычно понимается как исследование 
с помощью компьютеров.

ГЛОССАРИЙ

Принятие решений – процесс осуществления рациональ-
ного выбора из ряда альтернатив в условиях риска или неопре-
деленности.
Прогнозирование (от греч. prognosis – предвидение, пред-
сказание) – социальное научное исследование перспектив раз-
вития и выходных эффектов системы.
Проектирование (от лат. project – выдвинутый вперед) – 
процесс создания проекта – прототипа, прообраза предполага-
емого или возможного объекта, состояния, организации.
Объект (лат. objectum – предмет) – 1) философская катего-
рия, обозначающая объективную реальность, внешний мир, 
существующий вне нашего сознания и независимо от человека 
(в противоположность субъекту); 2) предмет, явление, на ко-
торое направлена человеческая деятельность.
Системный анализ – совокупность средств и методов науки 
и практики, используемых для подготовки и обоснования ре-
шения при исследовании объектов как систем.
Системный подход – методология совокупной исследова-
тельской деятельности на базе свойств и принципов, позволя-
ющих формировать новые подходы.
Системология (англ. systemology) – наука, объединяющая об-
щие закономерности описания мира (онтология), методологию на-
учного познания систем на базе системного подхода (гносеология), 
методы практической оценки поведения систем (праксеология).
Технология (от греч. techne – искусство, мастерство и logos – 
слово, учение) – 1) совокупность методов обработки, изготовле-
ния, изменения состояния, свойств, формы сырья, материала 
или полуфабриката, осуществляемых в процесс производства 
продукции, а также научное описание способов производства; 
2) способ, метод или программа преобразования вещества, энер-
гии или информационных сигналов из заданного начального 
состояния в заданное конечное состояние с помощью определен-
ных технических объектов.
Управление (англ. control) – контроль, проверка, надзор, 
регулировка, управление, руководство (ср.: менеджмент). 
В общем случае это функция систем различной природы, обе-
спечивающая сохранение их структуры, режима деятельно-
сти, реализующая цель.

СПЕЦИАЛЬНЫЕ ГЛАВЫ ИНФОРМАТИКИ И ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ

Цель (англ. purpose) – один из элементов поведения и дея-
тельности человека, который характеризует предвосхищение 
в мышлении результата деятельности и пути его реализации 
с помощью определенных средств.
Эффект (лат. effectus – исполнение, действие) – результат, 
следствие действий при достижении цели.

1. ОСНОВНЫЕ ПОНЯТИЯ 
ТЕОРИИ ИНФОРМАЦИИ

1.1. Определения теории информации

Понятие «информация» широко используется человеком. 
Это следует из того, что физические явления, воздействующие на 
человека, рассматриваются им как информация, получаемая от 
внешних источников. При оценке какого-либо события или для 
принятия решения человек преобразует (перерабатывает) ин-
формацию. Аналогичные процессы происходят в системах обра-
ботки данных, но, естественно, по более упрощенному сценарию.
В теории информации основным понятием является по-
нятие информационного процесса или информации. Для рас-
крытия их содержания проследим возникновение информа-
ционных представлений на примере взаимодействия двух 
физических элементов – А и В. В результате взаимодействия 
элемент А создает на элементе В какие-либо изменения, т.е. 
у элемента В появляются новые свойства. Предположим, что 
свойства элемента В могут быть оценены элементом В или не-
которым элементом С, который является получателем инфор-
мации. Условимся новые свойства элемента В называть инфор-
мацией, полученной элементом В от элемента А, если элемент В 
может их оценить. Если же оценку новых свойств элемента В 
осуществляет третий элемент С, то будем говорить, что эле-
мент С получает информацию от элемента В.
Развивая рассмотренные представления, выделим основ-
ные свойства информации:
1) понятие информации всегда связано с понятием физиче-
ского процесса;
2) информация, как всякое физическое явление, имеет не 
одно, а большое количество независимых свойств;
3) физическая модель информации основана на том, что 
информация, содержащаяся в физическом процессе, всегда 
связана с оценкой одного из его свойств человеком или ЭВМ/
системой. Другими словами, информационный процесс – это 
не всякий физический процесс, а лишь тот, хотя бы одному 
из свойств которого дается человеко-машинная оценка.

СПЕЦИАЛЬНЫЕ ГЛАВЫ ИНФОРМАТИКИ И ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ

Исходя из этого, информацию будем рассматривать как фи-
зический процесс, одно из свойств которого оценивается чело-
веком или ЭВМ. Отсюда следует, что важно знать, на кого фи-
зические процессы воздействуют и кто проводит их оценку.

1.2. Характерные черты и некоторые свойства 

информации

Информационный процесс имеет неограниченное число раз-
личных свойств, к которым применяют оценки, причем раз-
личные для каждого свойства. Поэтому в теории информации 
должна рассматриваться не одна какая-либо оценка, характери-
зующая лишь одно из свойств, а все равноправные независимые 
оценки, используемые в инженерных науках. Например, свойства 
процесса могут оцениваться каким-либо моментом функции 
распределения или энтропией или могут использоваться 
минимаксные оценки.
Такое расширенное понимание теории информации позволяет 
решать широкий круг инженерных задач на основе обще-
информационных представлений.
Таким образом, одну информацию можно оценивать по-
разному, давая ей различные оценки. Заметим, что результаты 
оценки какого-либо свойства информационного процесса 
можно преобразовать в новый информационный процесс с новой 
оценкой. Например, первой оценкой какого-либо свойства 
процесса может быть измерение, т.е. оценка свойства по алгоритму 
отношения. Можно провести оценку полученных результатов 
с использованием нового алгоритма, например при 
оценке достаточности объема измерений. Здесь оценкой является 
выход измеренной величины за допуск.
Иногда вводят «новые информации», отличные от энтропийной 
меры и называемые семантической информацией. Но 
это плата за стремление характеризовать большое число разных 
свойств информационного процесса какой-то одной оценкой.
Другим важным понятием при рассмотрении информационных 
процессов и систем являются их характеристики. Суть 
здесь в следующем. Каждое свойство информационного процесса 
стремятся описывать своей характеристикой относитель-

1. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ

но используемой оценки. Соответствующей характеристикой 
должна описываться и информационная система. Например, 
динамические характеристики будут рассматриваться как характеристики 
по отношению к амплитудно-временной оценке. 
По отношению к энтропийной оценке характеристиками являются 
пропускные способности системы.
Возникновение новой информации может быть обусловлено 
появлением у процесса новых свойств, которые ранее не 
были замечены, и введением новых оценок, например за счет 
появления новых гармоник в исследуемом процессе.
Приведенные свойства показывают, что информация существует 
лишь для получателей с некоторой оценки. Информационное 
рассмотрение физического процесса не исключает его 
одновременного рассмотрения и с других позиций, например 
с энергетической. В любом случае существуют простые оценки 
процесса, являющиеся физическими или математическими 
оценками. Комбинируя их, получаем алгоритмы, которые 
и назовем оценками.

1.3. Дискретная и непрерывная информация

Информационные процессы могут иметь дискретную и непрерывную 
физическую и математическую модели. Разговор 
человека – это одновременно как дискретная, так и непрерывная 
информация. Дискретность и непрерывность – некоторая 
идеализация и математически удобное представление информации.

Для передачи информации, заданной в непрерывной форме, 
необходимо представить ее в дискретной форме. Для этого 
проводят дискретизацию по аргументу и по амплитуде. Дискретизация 
по аргументу сводится к представлению непрерывной 
функции в виде импульсов во времени, ширину которых 
Dt можно варьировать (рис. 1.1, а), т.е. к формированию 
разрывной функции.
Часто применяется дискретизация при Dt → 0. Дискретизация 
по амплитуде, или квантование, означает создание ступенчатости 
функции по оси ординат.