Методология экспертного исследования состояний социотехнических систем

А.Г. Гузий 

Ю.А. Майорова 

МЕТОДОЛОГИЯ
ЭКСПЕРТНОГО  ИССЛЕДОВАНИЯ
СОСТОЯНИЙ
СОЦИОТЕХНИЧЕСКИХ 

СИСТЕМ

УДК 629.7.067:519.242
ББК 65.422
Г 93

Издание осуществлено при финансовой поддержке

гранта
Президента
Российской
Федерации по государственной поддержке
ведущих научных школ Российской Федерации № 
НШ-2553.2020.8

Гу з и й А. Г., М а й о р о в а Ю. А. Методология экспертного исследования 
состояний социотехнических систем. — М.: ФИЗМАТЛИТ, 2022. —
208 с. — ISBN 978-5-9221-1954-2.

В монографии изложены основные теоретические положения и методология
проведения экспертного исследования потенциально опасных состояний социо-
технических систем. Представлены примеры успешного проведения экспертного 
анализа и эффективного использования его результатов в корпоративной
социотехнической системе управления безопасностью полетов коммерческой
авиации при недостатке статистической информации об авиационных событиях
и причинных факторах, их обусловливающих.
Книга предназначена научным и инженерно-техническим работникам, специализирующимся 
в области проектирования, испытаний и эксплуатации со-
циотехнических систем, а также специалистам в области обеспечения безопасности 
полетов коммерческой авиации.

Ре це н з е н т:
заслуженный деятель науки РФ,
дважды лауреат премии Правительства РФ в области науки и техники,
доктор технических наук, профессор
Кукушкин Юрий Александрович

ISBN 978-5-9221-1954-2

c⃝ ФИЗМАТЛИТ, 2022

c⃝ А. Г. Гузий, Ю. А. Майорова, 2022

ОГЛАВЛЕНИЕ

Сокращения . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6

Предисловие . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8

Введение. .. . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. . . . . . . . . . . . . . . .
11

Г л а в а 1.
Применение экспертных методов при анализе состояний 
социотехнических систем . . . . . . . . . . . . . . . . . . .
18
1.1. Научно-практические задачи, решаемые экспертным анализом . .. . . . . . . . . . . . . . . . . . . . . .. .. .. .. . . . . . . . . . . . . . . .

18
1.2. Характерные признаки и свойства объектов экспертного исследования . .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .

21
1.3. Экспертные исследования состояний сложных динамических
систем . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
1.4. Методика экспертного исследования состояний социотехни-
ческих систем . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35
1.4.1. Планирование экспертного исследования . .. . . . . . . .
36
1.4.2. Формирование оценочных
параметров,
признаков,
критериев, характеризующих состояние исследуемой
системы . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
37
1.4.3. Формирование группы экспертов для проведения экспертных 
исследований
. .. . . . . . . . . . . . . . . . . . . . .
38
1.4.4. Этап анкетирования . .. . . . . . . . . . . . . . . . . . . . . . . .
51
1.4.5. Априорное индивидуальное и групповое экспертное
оценивание состояний социотехнических систем . .. .
52
1.5. Уточнение прогноза количественных показателей состояния
социотехнической системы по новой статистике. .. . . . . . . . .
62
1.6. Апостериорное оценивание достоверности экспертных оценок 
по фактическим показателям состояния объекта исследования. .. . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

65
1.7. Оптимизация количественного и качественного состава экспертной 
группы. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
70
1.8. Методические подходы к многопараметрическому оцениванию 
состояния социотехнических систем. .. . . . . . . . . . . . . .
73
1.9. Автоматизация процедур экспертного анализа состояний со-
циотехнических систем . .. . . . . . . . .. .. .. .. . . . . . . .. . . . . . . . .
83

Оглавление

Г л а в а 2.
Экспертный анализ уровня безопасности авиационно-
транспортной системы . . . . . . . . . . . . . . . . . . . . . . . .
86

2.1. Безопасность полетов как предмет экспертного исследования
86

2.2. Показатели уровня безопасности полетов и методы их оценивания . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

93

2.3. Экспертный анализ состояния авиационно-транспортной системы . .. . . . . . . . . . . . . . . . . . . . . .. .. .. .. . . . . . . . . .. . . . . . .

96

2.4. Методическое обеспечение экспертного анализа состояний
авиационно-транспортной системы в интересах СУБП поставщиков 
авиационных услуг. .. . . . . . . . . . . . . . . . . . . . . .
99

2.4.1. Особенности
реализации
системного
управления
уровнем безопасности полетов
. .. . . . . . . . . . . . . . .
99

2.4.2. Планирование экспертного исследования состояния
авиационно-транспортной системы
. .. . . . . . . . . . . . 101

2.4.3. Выбор показателей, отражающих уровень безопасности 
полетов
. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

2.4.4. Формирование группы экспертов . .. . . . . . . . . . . .. . . 104

2.4.5. Анкета экспертного исследования уровня безопасности 
полетов
. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

2.4.6. Экспертное оценивание уровня безопасности полетов
в авиакомпании . .. . . . . . . . . . . . . . . . . . . . . . . . . . 111

2.5. Экспертное прогнозирование количества авиационных инцидентов 
в предстоящем году с уточнением по новой статистике 
событий . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

2.6. Апостериорное оценивание достоверности результатов экспертного 
прогнозирования показателей безопасности полетов
в авиакомпании. .. .. . . . . . . . . . . . . .. .. .. .. . . . . . . . . . . . . . . . 121

2.7. Оптимизация количественного и качественного состава экспертной 
группы. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

2.8. Исследование достоверности экспертного прогнозирования
уровня безопасности полетов. .. . . . . . . . . . . . . . . . . . . . . . . 124

2.9. Методика многопараметрического контроля степени соответствия 
авиационно-транспортной системы предъявляемым
требованиям безопасности. .. . . . . . . . . .. . . . . . . . . . . . . . . . 128

2.10. Опыт применения экспертного анализа риска для безопасности 
полетов. . . . . . . . . . . . . . . . . . .. .. .. .. . . . . . . . . . . . . . . . 132

2.10.1. Основные термины и определения, используемые
при экспертном анализе риска для безопасности полетов . .. . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. .. .. . . . . 
132

Оглавление
5

2.10.2. Общая
характеристика
контура
«Управление
риском» в структуре СУБП эксплуатанта воздушных
судов . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
2.10.3. Идентификация факторов опасности . .. . . . . . . . . . . 137
2.10.4. Анализ, оценивание и управление риском для безопасности 
полетов
. .. . . . . . . . . . . . . . . . . . . . . . . . 140
2.10.5. Оценка риска для безопасности полетов в условиях
рассредоточенного базирования воздушных судов . . 147
2.10.6. Управление риском, обусловленным изменениями . . 148
2.11. Область практического применения аппарата экспертного
анализа в СУБП эксплуатантов воздушных судов и других
поставщиков авиационных услуг . .. . . . . . . . . . . . . . . . . . . . 150

Заключение. .. . . . .. . . . . . . . . . . . . . . . . .. .. .. .. . . . . . . .. .. .. .. .. . . . . 157

Приложение 1 . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

Приложение 2 . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 161

Приложение 3 . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

Приложение 4 . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

Приложение 5 . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . 165

Приложение 6 . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

Список литературы . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

Сокращения

Ав — авария

АМРИПП — архив материалов расследований инцидентов и производственных 
происшествий

АП — авиационное происшествие

АПБЧЖ — авиационное происшествие без человеческих жертв (авария)


АПЧЖ — авиационное происшествие с человеческими жертвами (катастрофа)


АТС — авиационно-транспортная система

ВС — воздушное судно

ИКАО — Международная организация гражданской авиации

ГосПБП — государственная программа по безопасности полетов

КД — корректирующее действие

МАИ — метод анализа иерархий

МО — математическое ожидание

МЭО — метод экспертных оценок

ПРАПИ — Правила расследования авиационных происшествий и инцидентов


РУБП — Руководство по управлению безопасностью полетов

СВ — случайная величина

СКО — среднее квадратичное отклонение

СППР — Система поддержки принятия решений

Ср —«Среда»

СУБП — система управления безопасностью полетов

СУРУ — Система управления риском, обусловленным утомлением

СТС — социотехническая система

УР — управленческое решение

ФАВТ — Федеральное агентство воздушного транспорта

ФАП — Федеральные авиационные правила

Сокращения
7

ФСНСТ — Федеральная служба по надзору в сфере транспорта

ЧФ —«человеческий фактор»

Эк — экипаж

ADREP — Accident/incident data reporting — система представления
данных об авиационных происшествиях/инцидентах

СFIT (Controlled Flight Into Terrain) — столкновение исправных воздушных 
судов с препятствиями (с землей или водой) в контролируемом 
полете

CRM (Cockpit Resource Management) — управление ресурсами кабины (
экипажа)

EASA (European Aviation Safety Agency) — Европейское агентство
безопасности полетов

FSF (Flight Safety Foundation) — Всемирный фонд безопасности полетов


IATA (International Air Transport Association) — Международная ассоциация 
воздушного транспорта

ICAO (International Civil Aviation Organization) — Международная
организация гражданской авиации (ИКАО)

IOSA (IATA Operational Safety Audit) — Аудит эксплуатационной безопасности 
IATA — система аудиторской проверки безопасности
полетов ИАТА — унифицированная система проверки авиакомпаний 
на соответствие стандартам безопасности

ISMS (Integrated Safety Management System) — Интегрированная
система управления безопасностью полетов

MEL (Minimum Equipment List) — Перечень необходимого исправного 
оборудования

SAG — Safety Action Groups — оперативная группа обеспечения
безопасности полетов

SARPs (Standards and Recommended Practices) — Стандарты и рекомендуемая 
практика

SMS (Safety Management System) — Система управления безопасностью 
полетов

SWOT (Strengths, Weaknesses, Opportunities and Тhreats) — сильные 
и слабые (стороны), возможности (благоприятные условия)
и угрозы

Предисловие

В процессе повседневной исследовательской деятельности человека
возникает множество задач, решение которых требует наличия некоторого 
объема информации о том или ином свойстве материального
мира (событий, явлений, процессов, веществ, объектов, конструкций,
отдельных людей или групп, ...).
Исследователи постоянно сталкиваются с новыми и новыми проблемами, 
для решение которых одновременно требуется большой объем
общенаучных и специальных знаний, практический опыт, повышенные
интеллектуальные способности, что зачастую выходит за пределы физиологических 
и психологических возможностей отдельного человека,
особо одаренного или даже гения. Известны примеры объединения
усилий группы людей для успешного коллегиального решения крайне
сложных интеллектуальных задач и/или проблем: ученые и диссертационные 
советы научных и образовательных учреждений, советы,
комитеты и коллегии по направлениям деятельности отдельных государственных 
учреждений и структур, советы и правления компаний 
и предприятий, спортивные комитеты, судейские коллегии, жюри, 
заседатели в судах, ... Правила функционирования перечисленных
структур, как правило, оговариваются заблаговременно. При решении
сложных задач руководствуются принципом, когда одна голова — хорошо, 
а две (или три?) — лучше. И чем больше, тем лучше? Какое
количество и какие специалисты требуются для успешного решения
той или иной проблемы или сложной задачи? Очевидно, что количественный 
и качественный состав исследователей (экспертов) должен
определяться уровнем сложности и спецификой решаемой проблемы.
Ясно, что состав исследователей должен быть таким, чтобы индивидуальным 
интеллектуальным потенциалом каждого в совокупности был
охвачен тот объем знаний, опыта, способностей, который необходим
для решения проблемы. При этом желательна потенциальная интеллектуальная 
избыточность, чтобы из всех возможных вариантов решения
выбрать оптимальный.
Наиболее сложные для решения и наиболее часто возникающие
проблемы — те, которые связаны с исследованием редких, в первую
очередь небезопасных состояний социотехнических систем (СТС), когда 
статистический анализ затруднен из-за недостатка статистических

Предисловие
9

данных о небезопасных (слава Богу), редких событиях. Наиболее
доступным остается экспертное исследование, в котором чрезвычайно 
сложно добиться достаточной достоверности оценивания состояния 
СТС даже на этапе эксплуатационой (практической) деятельности,
поскольку приходится решать задачу минимизации субъективной составляющей 
погрешности экспертных оценок. Требуется соответствующее 
методическое обеспечение экспертных исследований, универсальное 
по применимости, доступное как для научных работников, так
и для специалистов-эксплуатационников.
Теория экспертных исследований (как самостоятельное направление 
в науке) начала развиваться после Второй мировой войны на
основе теории вероятностей, кибернетики, теории управления, менеджмента, 
исследования операций. Существенным вкладом в теорию экспертных 
исследований стали монографии и отдельные научные статьи,
опубликованные в 70-е и в 80-е годы прошлого столетия, которые были
ориентированны на специалистов в области системного анализа [2, 13,
28, 169, 249 и др.].
Первоначально методы экспертных оценок использовались, преимущественно, 
в гуманитарных науках применительно к социальным
системам. Экспертные оценки сводились к прогнозам, а точнее, к индивидуальным 
предсказаниям известных специалистов-интеллектуалов,
с мнением которых считалось общество.
За сравнительно непродолжительный период довольно интенсивного 
развития (40–50 лет) теория и практика экспертных исследований
стала одной из наиболее востребованных, а иногда незаменимых научно-
практических дисциплин, основным предназначением которой является 
структурирование и организация процессов получения и анализа 
данных и знаний, основным источником которых служит группа высококвалифицированных 
специалистов экспертов. Методы экспертных
оценок стали основным инструментом для решения неформализуемых
задач исследования и анализа состояний сложных систем, включая
СТС. Они вобрали в себя знания из психологии, математики, статистики, 
теории измерений, теории систем, теории управления, системного, 
факторного, корреляционного и спектрального анализа. Благодаря 
ведущим зарубежным и отечественным ученым (А.Н. Анохин,
С.Д. Бешелев, В.М. Глушков, Ф.Г. Гурвич, М. Кендэлл, Е.А. Климов,
Ю.А. Кукушкин, В.Е. Овчаров, А.И. Орлов, Т. Саати, Г.П. Шибанов)
теория экспертных исследований открыла возможность с достаточной
достоверностью оценивать текущие и прогнозные состояния сложных
динамических систем, не поддающихся формализации, но реально
функционирующих и развивающихся в условиях неопределенности.

Предисловие

Однако в постсоветскую эпоху перемен отечественные теоретические 
разработки оказались не востребованы, а некоторые и вовсе преданы 
забвению. В результате дефицита специалистов, владеющих теорией 
экспертных исследований, практическое применение, если и случалось, 
то в недопустимо упрощенном, далеком от науки варианте,
который не мог привести к успешному решению научно-практических
задач. Потребовалась систематизация и интеграция наработанных теоретических 
материалов, адаптация их к практическим потребностям
потенциальных исследователей (пользователей).
Предлагаемая монография призвана в некоторой мере приблизить
наработанные ведущими учеными теоретические положения экспертных 
исследований к практике решения наиболее актуальных проблем,
в частности к практике решения проблемы управления состоянием СТС
повышенной аварийности, исходя из концепции приемлемого риска.
Предлагаемое методологическое обеспечение экспертных исследований
ориентировано на повышение безопасности полетов коммерческой авиации, 
т. е. посвящено исследованию небезопасных состояний авиационно-
транспортной системы (АТС).

Введение

В современной теории управления уровнем безопасности как состоянием 
СТС можно выделить последовательность сгруппированных
стандартизованных задач: идентификация факторов, влияющих на состояние 
СТС как объекта управления; оценивание степени влияния
факторов; оценивание текущего состояния СТС; анализ возможных
(вероятных) состояний СТС; прогнозирование состояния СТС; синтез
управляющих (регулирующих, корректирующих) воздействий; управление (
регулирование, коррекция, оптимизация) состоянием СТС; контроль 
за изменениями в состоянии СТС; априорное и апостериорное
оценивание результативности и эффективности управляющих (корректирующих) 
воздействий как по отдельным факторам влияния, так
и по их совокупности. Уровень развития точных наук предоставляет
возможность решения каждой из перечисленных задач математическим
моделированием, способствующим определению наиболее приемлемого
аппарата решения. Математическое моделирование позволяет в некотором 
приближении воспроизвести объект исследования даже с учетом 
совокупности воздействующих на него факторов, но в пределах
располагаемых знаний, определяющих степень адекватности каждой
конкретной модели. Именно неадекватностью моделирования объясняется 
недостоверность оценок состояния СТС и сложность решения
практических задач. Основными причинами недостоверного оценивания 
состояния СТС являются [4–6, 248] следующие.
Многообразие факторов влияния, их взаимосвязей и взаимозависимости. 
Моделирование состояний любой сложной динамической
системы предусматривает обязательную идентификацию конечного количества 
значимых компонентов (элементов), их свойств и факторов,
влияющих на состояние и результаты функционирования компонентов
(элементов) системы, и, как следствие, на состояние и результаты
функционирования всей системы. Естественно, что в модели могут
присутствовать не все факторы, а только учитываемые, т. е. известные
(изученные или исследованные) и значимые. Не может быть принято во
внимание влияние на состояние системы неучтенных или проигнорированных 
факторов. Особую проблему представляют факторы, обусловливающие 
зависимость состояний исследуемых систем от взаимосвязей
между компонентами (элементами) этих систем. Чем сложнее объект

Введение

(субъект) исследования, тем большее количество компонентов (элементов) 
подлежит изучению, тем от большего количества взаимосвязей,
отражающих взаимовлияние компонентов (элементов), зависит состояние 
всей системы, тем выше значимость этих взаимосвязей, сложнее
и процесс моделирования. Наиболее сложно моделировать сложные
динамические системы, особенно СТС, охватывающие человека (коллектив, 
общество) с соответствующими отношениями между людьми.

Качественная природа факторов. Причина упрощения («загрубления»), 
т. е. игнорирования некоторых факторов и свойств при моделировании 
СТС, кроется в сложности или невозможности количественного 
оценивания (измерения) степени их влияния. Следует согласиться 
с недостаточностью формализации качественных понятий,
которая может быть устранена с помощью нечетких множеств, но
при этом в оценку неизбежно вводится вероятностная составляющая
«непредсказуемости».

Случайный характер влияния факторов. Используемые нечеткие
множества и неучтенные (проигнорированные по каким-либо причинам) 
фактoры и связи обусловливают случайный характер моделируемых 
состояний СТС и всех анализируемых процессов. Для анализа 
случайных процессов разработан математический аппарат, однако 
положительный результат от использования соответствующего
математического аппарата возможен лишь при накоплении некоторого
объема статистических или экспериментальных данных об объекте
исследования. Накопление необходимого объема данных — проблема,
заслуживающая отдельного рассмотрения, если исследуется состояние
сложной динамической системы: в процессе накопления необходимого
объема информации о текущем состоянии динамической системы ранее
полученная информация теряет актуальность. По мере накопления статистической 
информации о состоянии системы ее текущее состояние
меняется, чем обусловливается накапливаемая динамическая погрешность 
оценки и увеличивающаяся степень неадекватности выбранной
модели. Более того, если исследуются редкие, к примеру, небезопасные
(аварийные) состояния СТС, то статистических данных о неблагоприятных 
событиях, необходимых для оценивания потенциально небезопасных 
состояний, может не быть вообще.

Нечеткость критериев для оценки состояний. Дефицит информации 
о состоянии СТС, о ее компонентах (элементах) и связях между 
ними, неадекватность модели обусловливают «размытость» целей.
Формализованная постановка исследовательской задачи предполагает
наличие четких критериев для определения факта достижения цели.

Введение
13

Однако сформировать четкие критерии бывает сложно, если отсутствуют 
представления о цели, если достоверность оценивания не определяется, 
если результат оценивания определяется приблизительно, т. е. решение 
исследовательской задачи не гарантируется. Сложностью формирования 
четких критериев обусловливается и оправдывается субъективный 
характер их происхождения.

Низкая эффективность (высокая стоимость достижения цели).
Большая часть отмеченных проблем может быть преодолена, но это
потребует привлечения высококвалифицированных широкопрофильных
специалистов для предварительного выполнения большого объема интеллектуальной 
работы, т. е. потребуется вложение значительных ресурсов. 
При этом результат не гарантируется.
Вышеперечисленные проблемы, связанные с реализацией математического 
моделирования СТС, полностью или частично могут быть преодолены 
привлечением специалистов (экспертов) в исследуемой области, 
обладающих необходимым запасом общепрофессиональных и специальных 
знаний, имеющих практический опыт работы. Именно человек, 
находящийся на соответствующем уровне развития, способен к:
— решению
нечетко
сформулированных
(неформализованных),
трудноструктурированных задач;
— априорному оцениванию текущих и предстоящих изменений (или
тенденций к изменению) в состоянии проблемного объекта исследования;
— 
прогнозированию (предвидению) возможных, в том числе маловероятных 
и крайне редких состояний объекта исследования,
неблагоприятных (аварийных) ситуаций, событий, исходов;
— синтезу корректирующих действий и предложений по изменению
состояния объекта исследования;
— выработке, принятию решений и даже к действиям в условиях
неопределенности, неполной, недостоверной, противоречивой информации.


Эксперт (лат. expertus — опытный, сведущий) — опытный специалист, 
привлекаемый для выдачи квалифицированного заключения
или суждения по вопросу, рассматриваемому или решаемому другими 
людьми, менее компетентными в исследуемой области [248]; это
высококвалифицированный специалист, владеющий экспертными методиками 
и дающий заключение по вопросам, требующим специальных
познаний [4, 5].
Формализованный процесс решения трудноструктурируемых задач
экспертами получил название «методы экспертных оценок» (МЭО).