Отказоустойчивые распределенные системы переработки информации

Москва

Горячая линия – Телеком

2016

УДК 004.046(3):629.7.018 
ББК 32.988-5+30.14 
 Б91 

Р е ц е н з е н т ы : зав. лабораторией Института проблем управления им. В. А. Трапезникова 
РАН, Заслуженный деятель науки РФ, доктор техн. наук, профессор  В. В. Кульба; 
начальник центра корпоративного обучения АО «Российские космические системы», 
чл.-корр. РАРАН, доктор техн. наук, профессор  В. В. Бетанов 

Бурый А. С. 
Б91     Отказоустойчивые распределенные системы переработки информации. – 
М.:  Горячая линия – Телеком, 2016. – 128 с.: ил. 
ISBN 978-5-9912-0608-2. 

Систематизирована обширная информация и дано общее представление о 
направлениях синтеза устойчивых распределенных систем переработки информации, 
обеспечивающих выполнение задач оценивания вектора состояния 
сложных динамических объектов (СДО). Рассмотрены вопросы обоснованности 
выбора технических и модельно-алгоритмических структур сложных систем. 
Рассмотрены методологические положения синтеза отказоустойчивых 
распределенных систем переработки информации при управлении сложными 
динамическими объектами, теоретические положения синтеза и оптимизации 
распределенных систем переработки измерительной информации (РСПИ). 
Обоснована методика трансформации (декомпозиции и интеграции) РСПИ при 
управлении СДО с учетом основных эксплуатационно-технических характери-
стик систем. 
Для научных работников и специалистов в области информационных тех-
нологий и надежности информационных систем, будет полезно аспирантам и 
студентам вузов инфокоммуникационных и радиотехнических специальностей. 

ББК 32.988-5+30.14 

Научное издание 
Бурый Алексей Сергеевич 
ОТКАЗОУСТОЙЧИВЫЕ РАСПРЕДЕЛЕННЫЕ 
СИСТЕМЫ  ПЕРЕРАБОТКИ ИНФОРМАЦИИ

Монография 

Тиражирование книги начато в 2016 г.       

Все права защищены.
Любая часть этого издания не может быть воспроизведена в какой бы то ни было форме и 
какими бы то ни было средствами без письменного разрешения правообладателя
© ООО «Научно-техническое издательство «Горячая линия – Телеком»
www.techbook.ru
© А. С. Бурый 

Предисловие

...нечего и рассчитывать на что-то большее, — но
лишь попытайтесь найти начало и направление
бесконечно долгой дороги
Георг Зиммель

Современный этап разработки сложных технических систем ха-
рактеризуется активным внедрением новых информационных науко-
емких технологий (НИТ) на этапах их жизненного цикла.
В практике испытаний сложных образцов техники остается ак-
туальным повышение качества и эффективности процесса испыта-
ний за счет сокращения сроков, повышения точности и надежнос-
ти обработки измерительных данных, сокращения энергоресурсов и
материальных затрат.
Существующий подход к методам проведения летных испыта-
ний при разработке сложных динамических объектов (СДО), фор-
мированию состава и структуры информационно-измерительных
комплексов (ИИК) практически не учитывает возможные случайные
изменения структур систем переработки (сбора, передачи, обработ-
ки) измерительной информации (ИИ). Кроме того, процедуры пере-
работки ИИ в условиях аномальных данных используются недоста-
точно широко, а их разработка строится без учета функционального
состояния аппаратных и программных средств (АПС) ИИК. В этой
связи зачастую число планируемых систем для управления назнача-
ется из соображений «все, что есть», а не из рационально необходи-
мого их количества, что ведет к значительным затратам ресурсов,
появлению узкоспециализированных измерителей, предназначенных
под конкретный объект управления (ОУ).
Методологическую основу применения методов анализа и синтеза 
сложных технических систем составляют работы ряда отечественных 
и зарубежных ученых В.В. Дружинина, Д.С. Конторова,
В.В. Кульбы,
В.И. Николаева,
А.В Петрова,
Б.А. Резникова,
А.Д. Цвиркуна, В.И. Цуркова, А.А. Яковлева, М. Месаровича, Я. Та-
кахары, Дж. Касти, Дж. Клир. В многочисленных трудах названных 
специалистов заложена общетеоретическая основа исследования
сложных систем, раскрывается многообразие подходов и многоаспектность 
практического использования.

Предисловие

Немалый вклад в развитие идей методологии системных исследований 
в прикладных задачах внесли такие ученые, как И.В. Аде-
рихин, О.А. Алексеев, В.В. Бетанов, В.Н. Брандин, В.В. Васильев,
Б.И. Глазов, Ю.А. Ерохин, Б.Ф. Жданюк, А.В. Лобан, Д.А. Ловцов,
А.В. Мячин, В.В. Омельченко, А.И. Полоус, А.И. Поцелуев, Г.Н. Ро-
заренов, С.Д. Сильвестров, Б.В. Соколов. Однако в работах по синтезу 
систем подсистем оценивания и измерения, в рамках ряда комплексных 
задач в автоматизированных системах управления (АСУ)
СДО не достаточно исследованы ситуации структурных нарушений,
информационной неустойчивости, а также сочетания влияния дестабилизирующих 
факторов на технические и программные средства
информационных систем при управлении СДО. Стремление к наиболее 
эффективному использованию современной техники привели
к широкому применению методов оптимизации [1, 2, 11, 46, 120] и
планирования их функционирования [49, 104]. Однако процесс оценивания 
состояния СДО оптимизируется без учета многоэтапности
и распределенности (территориальной и временной) обработки данных [
49] и для абсолютно надежных систем [109], когда применяемые
системные и технические показатели [5, 83, 87] (сложности, точности, 
наблюдаемости) не зависят от эксплуатационных свойств систем.
Вследствие высокой стоимости СДО и необходимости обеспечения
повышенной надежности их работы, методы оптимизации структур
построения ИИК и соответствующего программно-математического
обеспечения (ПМО) приобретают большое значение.
Эффективность решения задачи при определении параметров
движения СДО зависит от выбора типа измерителей, топологической 
структуры измерительного комплекса, алгоритмов обработки,
особенностей привлекаемых технических средств [5, 15, 109]. Ана-
лиз ряда работ по исследованию топологических структур сложных
систем [84, 120], по проблемам их декомпозиции [104, 108, 109] по-
казывает, что для характеристики и формирования окончательного
варианта структуры системы выбираются показатели, учитывающие
связи между элементами. Однако рассматриваемые проблемы тре-
буют комплексного подхода к технико-топологическим структурам
и программным (сетевые) методам. Один из комплексных подходов
реализуется на примере распределенных баз данных [68, 69].
Таким образом, целью представленных в монографии исследо-
ваний является повышение точности оценивания состояния для объ-
ектов испытаний и обоснованности выбора технических и модельно-
алгоритмических структур распределенных систем переработки из-
мерительной информации с учетом состояний и динамики функци-

Предисловие
5

онирования аппаратно-программных средств при управлении объ-
ектами, путем разработки методологии синтеза отказоустойчивых
методов, моделей и алгоритмов.
В первой главе проведен анализ проблем синтеза структур рас-
пределенных систем переработки измерительной информации. Про-
анализированы задачи декомпозиции и интеграции подсистем при
управлении СДО, в ходе получения измерительной информации, ее
оценивания и выработки управляющих воздействий. В рамках струк-
турно-информационного подхода исследованы понятия структурной
устойчивости, реконфигурации распределенных систем, математи-
ческие модели представления процесса переработки информации в
распределенных многозвенных динамических системах.
Во второй главе разработаны методологические положения син-
теза распределенных систем переработки информации, в результате
чего предложен [4, 17–19, 25, 26] и обоснован ряд системологических
показателей: условия наблюдаемости, декомпозируемости; сформу-
лированы утверждения по оценке их сложности, точности, опера-
тивности.
В третьей главе разработаны и исследуются теоретические во-
просы синтеза распределенных систем оценивания измерительных
данных на этапах переработки информации, в результате чего осу-
ществлен синтез комплексных навигационных систем и систем мно-
гоэтапного оценивания в условиях отказов аппаратных и программных 
средств [6, 28, 91]. Представлена задача планирования процесса 
оценивания для систем со случайным изменением топологии,
а также модель принятия решений в эргатических системах в условиях 
технической нестабильности, вызванных нештатными ситуациями [
22, 27, 29, 32].
В четвертой главе обосновано применение распределенных систем 
переработки информации в условиях отказов аппаратно-программных 
средств, в результате чего вводится [20, 21, 23, 24, 30,
31] понятие «техническое состояние», а возможные его случайные
изменения предлагается рассматривать как динамическую систему.
Сопоставляются понятия живучести, отказоустойчивости и особенности 
их обеспечения для структур сложных технических систем,
программно-математического обеспечения подсистем распределенных 
информационно-управляющих систем. Рассматривается задача
резервирования в условиях структурных нарушений в системе при
их декомпозиции и агрегировании, а также алгоритм максимизации
надежности с учетом индивидуальных признаков элементов, приводится 
подход к оценке надежности распределенных систем на ос-

Предисловие

нове аппарата полумарковских процессов методов фазового укрупнения.

Разделы
3.3
и
3.4
подготовлены совместно с
аспирантом
М.А. Шевкуновым.
Автор выражает искреннюю благодарность рецензентам профессору 
Владимиру Васильевичу Кульбе и профессору Владимиру
Вадимовичу Бетанову за внимательное отношение к работе, высказанные 
замечания которых были учтены и способствовали улучшению 
книги.
Выражаю глубокую признательность моему учителю
и наставнику — профессору Владимиру Владимировичу Васильеву,
за постоянное внимание и поддержку, а также коллективу кафедры
радиотехнических систем академии РВСН за плодотворное обсуждение 
представленных результатов. Отдельное почтение коллективу
кафедры МЭУ РГГУ, коллегам и сотрудникам ФГУП «Стандартин-
форм», где была написана данная работа, за теплоту и поддержку,
ценные и конструктивные замечания, способствующие улучшению
содержания представленной монографии.
Автор будет благодарен читателям, нашедшим время для ознакомления 
с книгой и приславшим свои отзывы, замечания и пожелания.

Анализ распределенных систем
переработки информации при
управлении сложными динамическими
объектами

Почему бы тебе не собрать словарь слов, кото-
рые составили бы одну книгу, и не дать возмож-
ность читателю самому построить из этих слов
свое целое?
Милорад Павич

Во многом эффективность разрабатываемых сложных динами-
ческих объектов определяется в ходе летных и летно-конструктор-
ских испытаний (ЛИ) процедуры, доведенные как до машинных про-
грамм, так и представленные в виде устройств, реализующих методы
переработки данных процессов и систем [6, 91, 92], защищенных ав-
торскими свидетельствами и патентами на изобретения. Практичес-
кое их использование позволило получить обоснованные результаты.
Оперативное, непрерывное и гибкое управление процессом пе-
реработки измерительной информации осуществляется посредством
информационных контуров в наземных автоматизированных ком-
плексах управления СДО [11, 73, 86]. Для задач испытаний и управ-
ления СДО в рамках АСУ выделим задачи переработки информации
(передачи, обработки, отображения и т. д.), решаемые распределен-
ными информационно-управляющими комплексами.
В главе рассматриваются задачи, решаемые распределенными
системами обработки информации, приводится анализ таких систем-
ных свойств, как декомпозируемость, агрегируемость и сложность.
На основе анализа структур исследуемых комплексов (информаци-
онно-измерительных, вычислительных), решаемых ими задач фор-
мируется задача синтеза в зависимости от уровня представления
комплексов и систем.

Г л а в а 1

1.1. Место распределенных систем переработки
информации при управлении СДО

Распределенная
система
переработки
информации
(РСПИ)
представляет собой совокупность пунктов наблюдения со средства-
ми измерения параметров состояния, пунктов сбора и переработ-
ки информации различного уровня со специальным программно-
математическим обеспечением. Другими словами, это информаци-
онные системы в виде взаимосвязанной совокупности программных,
аппаратных и информационных средств и персонала [52]. В качестве
пунктов наблюдения могут выступать радиотехнические и оптичес-
кие системы измерений.
Динамическими объектами (объектами испытаний) в книге рас-
сматриваются сложные объекты, например летательные аппараты
(космические аппараты, пилотируемые и беспилотные самолеты).
Пункты сбора измерительной информации, обработки, управления
и передачи данных в пункты потребления информации (региональные 
центры управления (РЦУ), центры управления полетом и т. д.)
[79, 95].
На рис. 1.1 представлена структура РСПИ, включающая измерительные 
комплексы космодромов (ИКК), где информация от
пунктов управления (ПУ) анализируется в информационно-вычислительном 
центре (ИВЦ). Распределенная переработка (сбор, обработка, 
регистрация, отображение, хранение, поиск и воспроизведение, 
распределение информации по потребителям, интерпретация,
интегрированное представление и целевое использование информации) 
осуществляется в ПУ, РЦУ, а также в Главном испытательном
центре (ГИЦ). Передача данных осуществляется как по наземным,
так и по космическим каналам связи.
Постоянное усложнение целевых задач РСПИ, повышение требований 
к значениям показателей качества функционирования (точности, 
информативности, надежности, оперативности и т. д.), появление 
новых типов объектов информационного взаимодействия привели 
к существенному усложнению их структуры и процессов функционирования.

Современные сетецентрические информационно-
управляющие системы (ИУС) представляются в виде множества
процессорных устройств, разбитых на кластеры (по региональному
или по технологическому принципу), объединенные друг с другом
[78].
Выделим следующие особенности РСПИ, позволяющие рассматривать 
их как сложные системы:
• с т р у к т у р н ы е — иерархичность построения этапов переработки 
информации; многообразие структур и многосвязность

Анализ распределенных систем переработки информации
9

Рис. 1.1. Структура РСПИ при управлении СДО

элементов в зависимости от типа объекта испытания, привлекаемых 
технических средств, числа этапов переработки данных;
• ф у н к ц и о н а л ь н ы е — априорная неопределенность состояний 
аппаратно — программных средств (АПС), снижающая
качество переработки данных; изменение состава вектора измерений 
в зависимости от этапа испытаний и привлекаемых АПС;
• ц е л е в ы е — своевременный сбор измерительных данных
и их переработка в реальных условиях (помеховая обстановка,
состояние технических средств).
Так как РСПИ является, по сути, сегментом наземного автоматизированного 
комплекса управления, то для нее характерны те же
виды обеспечения, что и для АСУ [54, 110]. Непосредственно для
задач разработки систем переработки данных, методов построения
распределенных структур в АСУ сложными динамическими объектами 
рассмотрим математическое, программное и информационное
обеспечение (рис. 1.2). Роль технического обеспечения АСУ будем
учитывать при рассмотрении надежности функционирования РСПИ
в ходе анализа вероятностно-временных характеристик процесса переработки 
информации на распределенном комплексе технических
средств.
При выполнении ряда практических операций по управлению
СДО актуальным остается организация устойчивого функционирования 
аппаратных и программных средств. Последнее относится как
к созданию специального, так и общего программного обеспечения
(ОПО), систем управления базами данных (БД).
Совершенствование математического и программного обеспече-

Г л а в а 1

Рис. 1.2. Обеспечение устойчивости видов обеспечения РСПИ

ния автоматизированных комплексов вызвано следующими требованиями 
к распределенным системам переработки информации:
• обеспечение в реальном масштабе времени (РМВ) обработки и
представления данных, многозадачный, многооконный режим
при работе со всеми ресурсами автоматизированных комплек-
сов;
• модульный принцип построения и наращивания аппаратных и
программных средств, обеспечивающих работу в РМВ, и орга-
низация, при необходимости, взаимодействия с существующими
сетями, системами, комплексами средств автоматизации;
• общие с АСУ СДО аппаратные и программные средства, при-
кладная специфика которых должна иметь общие принципы
функционирования, состоять из единого ряда программных мо-
дулей задач, моделей и экспертных систем;
• обеспечение контроля и отображения состояния РСПИ и воз-
можности управления с выделенных средств АСУ всеми про-
цессами, циркулирующими в РСПИ;
• унификация ведения баз данных, единая система доступа, теле-
коммуникационная среда, протоколы и процедуры, АПС, позво-
ляющие развивать систему, создавая новые расчетные модули в
составе модельно-алгоритмического обеспечения РСПИ;
• интегрированное использование существующих и новых кана-
лов связи и передачи данных, многоуровневая реконфигурация,
регенерация и восстановление структуры РСПИ.