Основы распределенной обработки информации

Оглавление 

1 

Министерство образования и науки Российской Федерации 
Сибирский федеральный университет 
 

Р. Ю. Царёв 

А. В. Прокопенко 
А. Ю. Никифоров 
 
 
 
ОСНОВЫ  РАСПРЕДЕЛЕННОЙ  
ОБРАБОТКИ  ИНФОРМАЦИИ 
 
 
Рекомендовано УМО РАЕ по классическому университетскому и техническому образованию в качестве учебного пособия для студентов высших учебных заведений, 
обучающихся по направлениям подготовки: 09.03.03 
«Прикладная информатика», 09.03.04 «Программная 
инженерия», 38.03.02 «Менеджмент», 38.03.05 «Бизнесинформатика» (рег. № 528 от 10.08.2015 г.) 
 
 
 
 
 
 
 
 
 
 
 
 
Красноярск  
СФУ 
2015 

Оглавление 

2 

УДК 004.032.2(07) 
ББК 32.971.3я73 
        Ц181 
 
 
 
 
 
Р е ц е н з е н т ы: 
А. Н. Антамошкин, доктор технических наук, профессор Красноярского государственного аграрного университета; 
А. А. Ступина, доктор технических наук, профессор Красноярского 
государственного аграрного университета 
 
 
 
 
 
 
 
 
Царёв, Р. Ю. 
Ц181  
Основы распределенной обработки информации : учеб. пособие / Р. Ю. Царёв, А. В. Прокопенко, А. Ю. Никифоров. – Красноярск : Сиб. федер. ун-т, 2015. – 180 с.  
ISBN 978-5-7638-3386-7 
 
Рассмотрены основы распределенной обработки информации и проблемы, 
связанные с проектированием и разработкой распределенных систем. Детально 
описаны процессы параллельной обработки данных и показаны современные 
подходы к решению возникающих при параллельной обработке информации задач. Особое внимание уделено вопросам распределенной обработки информации и управления при решении производственных задач. Представлены модели 
оценки программного обеспечения  распределенных систем.  
Предназначено для студентов, обучающихся по направлениям 09.03.03 
«Прикладная информатика», 09.03.04 «Программная инженерия», 38.03.02 «Менеджмент», 38.03.05 «Бизнес-информатика», всех форм обучения. 

 
Электронный вариант издания см.: 
http://catalog.sfu-kras.ru 
УДК 004.032.2(07) 
ББК 32.971.3я73 
 
ISBN 978-5-7638-3386-7                                                            © Сибирский федеральный  
                                                                                              университет, 2015 

Оглавление 

3 

 
ОГЛАВЛЕНИЕ 
 
ВВЕДЕНИЕ .......................................................................................................... 5 
 
1. АВТОМАТИЗАЦИЯ  МЕТОДОЛОГИЙ  МОДЕЛИРОВАНИЯ  
    И  УПРАВЛЕНИЯ  РАСПРЕДЕЛЕННЫМИ  СИСТЕМАМИ ................... 8 
1.1. Анализ задач распределенной обработки информации ....................... 8 
1.1.1. Задачи управления ресурсами ..................................................... 9 
1.1.2. Интегрированная методология планирования ресурсов ........ 10 
1.1.3. Задачи корпоративного управления .......................................... 11 
1.1.4. Интегрированные решения ........................................................ 12 
1.1.5. Проблемы информационной поддержки  
          методологии логистических цепочек ........................................ 13 
1.2. Системный анализ задач распределенной системы ........................... 15 
1.2.1. Анализ системотехнических задач управления ...................... 15 
1.2.2. Системотехнический анализ распределенной системы ......... 20 
1.3. Распределенное управление и обработка информации ..................... 25 
1.4. Структурные методологии и анализ .................................................... 31 
1.4.1. Концепция структурного анализа ............................................. 31 
1.4.2. Классификация структурных методологий ............................. 36 
1.4.3. Примеры структурных методологий ........................................ 40 
 
2. МОДЕЛЬНЫЕ  КОМПОНЕНТЫ   
    СТОХАСТИЧЕСКОЙ  СТРУКТУРЫ  АЛГОРИТМОВ 
    РАСПРЕДЕЛЕННОЙ  ОБРАБОТКИ  ИНФОРМАЦИИ ........................... 59 
2.1. Стохастическое представление моделей формирования .................. 59 
2.1.1. GERT-сетевая модель стохастической структуры .................. 59 
2.1.2. Минимизация затрат ресурсов .................................................. 62 
2.1.3. Случайные акции при реализации алгоритмов 
          распределенной обработки информации ................................. 64 
2.1.4. Многократное исполнение задач распределенной  
         обработки информации ............................................................... 67 
2.1.5. Минимизация по времени .......................................................... 68  
2.2. Стохастическая модель определения нормативных времен 
       распределенной обработки информации  
       в условиях неопределенности .............................................................. 70 
2.2.1. GERT-сетевое представление моделей процессов .................. 70 
2.2.2. Примеры применения системы GERT-моделей ...................... 81 

Оглавление 

4 

2.2.3. Определение вероятностных нормативных времен  
          для процессов, реализуемых  
          в условиях неопределенности ................................................... 84 
2.2.4. Пример реализации GERT-анализа в системах технического 
          обслуживания тягового подвижного состава .......................... 90 
2.3. Сетевые модели анализа и тестирования программного  
       обеспечения распределенных систем ............................................... 108 
2.3.1. Сетевое представление и автоматизация подготовки 
          алгоритмов  с использованием сетей Петри .......................... 110 
2.3.2. Анализ модели программного обеспечения  
          распределенной  обработки информации .............................. 119 
 
3. РАСПРЕДЕЛЕННЫЕ  СИСТЕМЫ  ОБРАБОТКИ  ИНФОРМАЦИИ  
    И  УПРАВЛЕНИЯ  НА  ПРОИЗВОДСТВЕ .............................................. 125 
3.1. Средства автоматизированного системотехнического 
       проектирования распределенных систем .......................................... 125 
3.2. Структура и средства информационной поддержки   
       компонент распределенной системы ................................................. 134 
3.2.1. Концептуальная архитектура и состав системы  
          программной  поддержки многокомпонентной модели ...... 135 
3.2.2. Функционирование системы  
          программно-алгоритмической  поддержки ........................... 138 
 
4. УПРАВЛЕНИЕ  ПРОЕКТАМИ   
    ПРИ  РАСПРЕДЕЛЕННОЙ  ОБРАБОТКЕ  ИНФОРМАЦИИ ............... 142 
4.1. Метрики измерения программного обеспечения  
       распределенной системы и процесса его разработки ...................... 146 
4.1.1. Размерно-ориентированные метрики ..................................... 146 
4.1.2. Функционально-ориентированные метрики .......................... 147 
4.1.3. Выполнение оценки проекта  
          на основе LOC- и FP-метрик ................................................... 154 
4.2. Конструктивная модель расчета стоимости  
       программного обеспечения распределенной системы .................... 156 
4.2.1. Модель композиции приложения ........................................... 157 
4.2.2. Модель раннего этапа проектирования ................................. 159 
4.2.3. Модель этапа постархитектуры .............................................. 163 
4.3. Предварительная оценка программного обеспечения ..................... 166 
4.4. Анализ чувствительности программного обеспечения ................... 170 
 
ЗАКЛЮЧЕНИЕ ............................................................................................... 176 
 
БИБЛИОГРАФИЧЕСКИЙ  СПИСОК .......................................................... 178 

Введение 

5 

 
ВВЕДЕНИЕ 
 
Современный подход к созданию распределенных систем состоит           
в объединении в единую систему или сеть множества обрабатывающих 
средств (процессоров), средств управления, хранения и обработки информации (разноплатформенные СУБД, различные учетные системы), средств 
обмена и коммутации структуры [10].  
На этапе системотехнического проектирования распределенных   
систем одной из важнейших является задача формирования алгоритмов распределенной обработки информации. На заданной структуре аппаратнопрограммных средств необходимо осуществить выбор системных и прикладных программ, структур данных и способов взаимодействия этих компонентов, обеспечивающих заданный ресурсно-временной режим реализации 
информационно-алгоритмических задач распределенной системы.  
При создании моделей и алгоритмов распределенной обработки информации необходимо учитывать, что в распределенных системах режим 
реального времени предполагает лимитирование времени ответа системы 
управления на запрос объекта [9]. Ограничение на время реакции связывается в этом случае с выполнением периодических действий. При этом, начиная с момента первоначального запроса, все будущие моменты запроса 
периодической задачи можно определить заранее путем прибавления         
к моменту начального запроса величины, кратной известному периоду.  
Таким образом, при реализации периодичных задач формирование алгоритмов распределенной обработки информации должно осуществляться        
с учетом ограничений, представленных в форме классов ресурсов, жесткого 
регламента задач и временных пределов реализации задач.  

Естественной математической интерпретацией распределенных, 

асинхронных и мультипрограммных систем являются сетевые модели, которые позволяют отражать распределенность структуры, сетевой характер 
взаимосвязей между процессами и ресурсами, а также между аппаратными 
и программными компонентами распределенных систем. В связи с этим 
для решения задач системного анализа и формирования алгоритмов распределенной обработки информации привлекается сетевой анализ, для 
реализации которого используется многокомпонентная сетевая модель. 

Общность методов построения управляющих проектирования и реа
лизации распределенных систем, выражающаяся в использовании комплекса сетевых моделей, позволяет в рамках многокомпонентной сетевой 

Введение 

6 

модели создать единые средства автоматизированного формирования алгоритмов распределенной обработки информации. 
В первой главе проведен анализ современных методологий моделирования и управления распределенными системами. Отмечается, что 
именно предпринятые сегодня расширения классических методик управления ресурсами распределенных систем дают толчок для новых витков 
развития методологий управления системами и технологий системного 
моделирования.  
Проанализированы основные направления развития методологии 
MRP, часть из которых выделилась в самостоятельные методологии автоматизированного управления, например, управление сложными проектами, 
аналогичными разработкам на заказ, где планирование ведется по совмещенным сетевым графикам. Проведен анализ системотехнических задач, 
решение которых необходимо обеспечить при проектировании распределенных систем и формировании алгоритмов распределенной обработки 
информации. 
Во второй главе в качестве формальной базы алгоритмической 
GERT-процедуры используется аппарат стохастических сетей и графического метода оценки и пересмотра планов. Рассмотрены  модели временной 
реализации распределенных алгоритмов, которые описываются детерминированными структурами GERT-сетей. Приведены процедуры для этапа 
анализа реализуемости и коррекции распределенных алгоритмов с учетом 
алгоритмически заданных ограничений, которые соответствуют общей задаче различимости и включают исследование совместных свойств алгоритмов распределенной обработки информации. Также показан способ 
представления моделей программ, реализующих алгоритмы, в виде сетей 
Петри и предложен набор элементов модели, которые позволяют описывать базовые абстракции и механизмы реализации алгоритмов распределенной обработки информации. 
Третья глава посвящена описанию формального аппарата многокомпонентной сетевой модели формирования алгоритмов распределенной обработки информации в виде программной системы, которая предоставляет 
пользователю (специалисту проблемной области) удобные средства для 
решения специфических задач в составе инструментальной системы.  
Система программно-алгоритмической поддержки многокомпонентной 
модели формирования распределенной обработки информации реализована в виде модуля «Многокомпонентная модель» ERP-системы MBS-Axapta. 
Тот факт, что язык описания моделей алгоритмов распределенной обработки информации приближен к табличной форме, позволяет использовать 
большие объемы числовых данных, реализованные на основе реляционных 
баз данных  и технологий «клиент-сервер». Это обеспечивает эффектив

Введение 

7 

ность применения высокоуровневых методов информатики и программирования и использования на их основе таких преимуществ баз данных, как 
независимость от прикладных программ; минимальную избыточность данных, так как одними и теми же данными можно пользоваться в различных 
компонентах модели при решении различных задач и т. д.  
В четвертой главе освещаются вопросы планирования проекта при 
распределенной обработке информации и оценки затрат проекта, обсуждаются размерно-ориентированные и функционально-ориентированные 
метрики затрат, методика их применения. Достаточно подробно описывается наиболее популярная современная модель оценки затрат – СОСОМО II. 
В качестве иллюстраций приводятся примеры предварительного оценивания проекта, анализа влияния на проект конкретных условий разработки. 

1. Автоматизация методологий моделирования и управления распределительными системами 

8 

 
1. АВТОМАТИЗАЦИЯ  МЕТОДОЛОГИЙ 
МОДЕЛИРОВАНИЯ  И  УПРАВЛЕНИЯ   
РАСПРЕДЕЛЕННЫМИ  СИСТЕМАМИ 
 
 
1.1. Анализ задач  
распределенной обработки информации 
 
Анализ современных методологий автоматизированного управления 
распределенными системами показывает, что предпринятые сегодня расширения классических методик управления ресурсами дают толчок для 
новых витков развития методологий управления системами и технологий 
системного моделирования. Однако на практике математическая поддержка 
процесса моделирования в рамках современных методологий используется 
явно недостаточно, что отнюдь не всегда обосновано.  
Касаясь технологий системного моделирования, можно отметить, 
что наиболее широкое применение нашли статистические методы. Однако 
формальное основание для применения указанных методов существует  
далеко не всегда. Часто используются предположения о независимости, 
одинаковой распределенности и нормальности изучаемых совокупностей 
случайных величин. Существуют ситуации, в которых данные предположения могут не выполняться, и это обстоятельство может приводить к потере точности и достоверности результатов моделирования.  
Важнейшей задачей моделирования является проверка адекватности 
модели, которая, вообще говоря, является предметом рассмотрения фундаментальных наук. В идеальной ситуации, когда известны законы, справедливые для изучаемой модели, заключения об адекватности могут быть 
сделаны по результатам проверки этих законов в процессе моделирования.  
Для сложных систем, к классу которых относятся и распределенные 
системы, возможность проведения такой проверки предоставляется редко. 
Поэтому обычно выводы об адекватности модели делают на основе проверок 
соответствий машинной и исходной математической моделей, поведений 
моделируемой и реальной  систем, а также правильности интерпретации 
результатов моделирования.  
Соответствие модели и системы, прежде всего, гарантируется структурным подобием. Проверка адекватности модели в указанном смысле 
осуществляется путем привлечения эвристик, доступной информации        

1.1. Анализ задач распределенной обработки информации 

9 

о моделируемой системе, применения статистических методов, анализа 
чувствительности модели по отношению к ее параметрам. 
 
1.1.1. Задачи управления ресурсами 

Задача управления ресурсами в распределенных системах возникла 
практически одновременно с методом Тейлора – Форда. Рассмотрим 
применение распределенных систем и управление ресурсами на производстве.  
С математической точки зрения проблема расчета потребностей для 
штучного производства не представляла особых трудностей и легко решалась интуитивно-ручными методами. Но при резком увеличении количества товаров и особенно при их замене или модификациях проблемы резко 
возрастали.  Неудивительно, что первые массовые производства испытывали значительные трудности при смене моделей. Для решения задачи 
распределенного управления была разработана методология планирования 
материальных ресурсов – MRP (Material Requirements Planning). Однако 
оказалось, что кроме методических трудностей здесь имеются и математические, которые полностью могут быть решены, только используя современные распределенные системы.  
Использование этой методологии подразумевает, как правило, применение MPS «Master planning schedule», хорошо известной под названием 
«объемно-календарное планирование», методологии, которая является базовой практически для всех планово-ориентированных методологий. 
Достаточно быстро был реализован вариант планирования  ресурсов  – 
CRP «Capacity Requirements Planning». 
Эта методология во многом похожа на MRP, но обеспечивает расчеты требуемых ресурсов, а не только материалов и компонентов. Эта задача 
существенно сложнее, поскольку требует учета большого числа параметров, а окончательный расчет обязательно включает не только объем ресурсов, но и временную последовательность.  
Стандартная задача расчета ресурсов «знает» об ограниченных мощностях обрабатывающих центров распределенной системы, но максимум, 
что она может сделать – это рассчитать «потребность» во времени обработки информации для выполнения запланированной программы при 
неограниченном горизонте планирования либо показать превышения 
(недостаток) потребных мощностей при ограниченном горизонте. Если 
результат оказывается неудовлетворительным, то требуется изменить 
программу и повторить процесс. Поскольку это весьма ресурсоемкая         
вычислительная задача, которая даже на современных распределенных 
системах выполняется часами, то очевидна ее математическая нетехнологичность. 

1. Автоматизация методологий моделирования и управления распределительными системами 

10 

1.1.2. Интегрированная методология планирования ресурсов 

Объединение рассмотренных выше методологий обеспечивает решение 
задачи MRP «второго уровня» – MRP II «Manufacturing Resource Planning». 
Ее реализация возможна только на базе интегрированной методологии 
планирования, включающей MRP/CRP. При использовании данной методологии обязательно подразумевается анализ финансовых результатов плана, 
а также применение MPS и FRP «Finance Resource/Requirements Planning» – 
планирование финансовых ресурсов (как правило, без их интеграции                 
в «динамическую систему»).  
С учетом недостаточной мощности компьютеров были разработаны 
методологии чернового планирования ресурсов – RCCP, которые позволили формировать график без проведения полной процедуры расчета, а затем 
уже производить окончательный баланс ресурсов по обеим «ветвям» планирования – как по MRP, так и по CRP. Именно на этом уровне данная         
задача предлагается на сегодняшний день в виде тиражируемых решений, 
а именно систем класса MRP II. 
Отметим, что  в таком виде задача планирования ресурсов представляет интерес только для ограниченного числа «типичных MRP (MRP II) – 
производств»: машиностроение; приборостроение; серийные сборочные  
производства. 
Для указанных типов задача расчета потребных ресурсов является 
самоценной ввиду своей вычислительной сложности. При этом модель – 
одна, а реализаций может быть много. 
Для большинства случаев «расчет чистых потребностей» оказался 
недостаточным, что привело к дальнейшему развитию «постановок» задач. 
Выделяют несколько основных направлений развития методологии MRP, 
часть из которых позже выделилась в самостоятельные методологии  
управления: 
● управление сложными проектами, аналогичными разработкам          
на заказ, где   планирование ведется по совмещенным сетевым графикам 
(такое «проектное управление» используется в тяжелом машиностроении, 
авиастроении,  космической отрасли и др.);  
● интегрированное управление для заказного и мелкосерийного производства (машиностроение, автомобилестроение и др.);  
● управление сложными структурами, включающими холдинговое 
управление, 
финансово-промышленные 
группы, 
крупные 
торговопроизводственные компании.  
Каждая из перечисленных задач имеет специфические требования         
к функциональности программного обеспечения (ПО) распределенных 
систем. Например, «финансовое управление» требует значительно более 
мощного механизма аналитического учета и бюджетного управления, чем 

1.1. Анализ задач распределенной обработки информации 

11 

это необходимо для производственного предприятия, а «управление распределенными потребностями» – специального механизма планирования  
и организации межскладских перемещений, не связанного непосредственно 
с планированием потребностей (в том числе, с технологической точки зрения, – поддержки механизма репликации, автономных транзакций и/или 
глобальных сетей). 
 
1.1.3. Задачи корпоративного управления 

Два последних направления лежат в основе методологий управления 
так называемыми компаниями типа FMCG (fast moving consumer good – 
быстродвижущиеся потребительские товары). Самостоятельность этих направлений означает возможность их первоначальной реализации в рамках 
отдельной системы и важность такой реализации для бизнеса компании. 
Естественно на каком-то шаге становится очевидно, что неинтегрированная 
задача дает только частичные или временные преимущества и требуется 
строить интегрированную систему.  
Остановимся на методах формализации постановки задачи корпоративного управления. Опыт постановки задач для реальных распределенных 
систем и анализ представленных в России реализаций распределенных 
систем позволили выделить три подхода к формальной постановке задач: 
функциональный, финансовый и «документооборотный».  
Чистых решений, основанных на одном из указанных подходов,         
не существует, однако преимущества или недостатки каждого подхода очень 
сильно сказываются на возможностях и качественных характеристиках 
систем.  
В настоящее время очевидны преимущества функционального подхода 
в области управления, типичными представителями которого являются решения от Baan и Symix. Финансовый подход проповедует компания SAP в своем 
продукте R/3. Это оказалось очень эффективно для управления предприятиями 
холдингового типа и для управления чисто финансовыми институтами. 
Исключительно популярный в России документооборотный вариант 
среди западных систем в чистом виде, по-видимому, не встречается вовсе, 
хотя его влияние сильно ощущается, например, в Oracle Application. Отмечается, что в существенной степени этот вариант встречается только                
в малых системах и в  непромышленной сфере, где мал удельный                 
вес встроенных вычислительных задач, либо они легко отчуждаются в самостоятельные модули. Важно отметить, что те или иные реализации         
документооборота все больше включаются в состав многих систем автоматизированного управления, однако их информационные задачи достаточно 
четко очерчены как внешние по отношению к основной функциональности 
системы. Также распространенным является вариант интеграции систем 

1. Автоматизация методологий моделирования и управления распределительными системами 

12 

финансово-экономического управления и системы, обеспечивающей реализацию того или иного варианта документооборота (в том числе таким, 
как Lotus Notes или Microsoft Outlook). 
Таким образом, тиражируемые MRP-системы, как правило, дополненные хотя бы элементарными системами управления складами и финансами, начали свое победное шествие в начале 80-х (заказные и уникальные 
появились значительно раньше). Но и сейчас их низкая функциональность 
приводит к необходимости существенных доработок и, следовательно,  
существенных затрат на внедрение и так называемую адаптацию продукта, 
а фактически – разработку недостающей функциональности. Это обосновывается тем, что на смену стандартным требованиям поддержки информационно-ориенитрованной методологии управления пришли требования 
поддержки информационно-алгоритмических методологий.  
 
1.1.4. Интегрированные решения 

Наибольшие проблемы возникают в случае потребности в реализации интегрированного решения хотя бы в размере стандартной функциональности «средней» системы типа Symix SyteLine или Ross Renaissance.  
В настоящее время внедрение автоматизированной системы «замораживает» ранее внедренные управленческие решения, реализованные часто 
еще в период мэйнфреймов. Кроме того, в 1980-х сформировались новые 
характеристики рынка, которые существенно изменили требования к программному обеспечению распределенных систем. Потребовалась переработка концепций, заложенных в основу автоматизации производства. 
Возникла потребность в интегрированных решениях, охватывающих          
и связывающих планирование и управление всеми сферами деятельности, 
включая производственные мощности, материальные (товарные) и финансовые ресурсы. Данный подход был подхвачен практически всеми основными поставщиками MRP II систем. Реально, однако, не предлагалось            
ничего нового, а лишь происходила констатация достигнутого уровня  постановки задач для тиражируемых решений больших систем. 
Концепция управления ресурсами – CSRP (Сustomer Synchronized 
Resource Planning) – «планирование ресурсов, синхронизированное с потребителем», была предложена компанией Symix. Сущность данной концепции состоит в том, что при планировании и управлении можно и нужно 
учитывать не только основные ресурсы, но и все те ресурсы, которые 
обычно рассматриваются как вспомогательные или накладные. Это все ресурсы, потребляемые во время маркетинговой и текущей работы с клиентом, послепродажного обслуживания проданных товаров, перевалочных        
и обслуживающих операций, а также внутрицеховых ресурсов. Это позволяет учитывать все этапы жизненного цикла товара.