Организационно-экономическое моделирование. Часть 2. Экспертные оценки

УДК 519.2:338 (075.8) 
ББК 60.6я73 
        О-66 
Рецензенты: 
заместитель директора Института проблем управления РАН 
чл.-корр. РАН Д.А. Новиков; 
заведующий кафедрой «Системы управления экономическими 
объектами» Московского авиационного института  
(Государственного технического университета) 
д-р экон. наук, проф. В.Д. Калачанов 
 
 
Орлов А. И. 
Организационно-экономическое моделирование : учебник : 
в 3 ч. / А. И. Орлов. — М. : Изд-во МГТУ им. Н.Э. Баумана, 
2011.   
ISBN 978-5-7038-3276-9 
Ч. 2 : Экспертные оценки. — 486, [2] с.: ил. 
ISBN 978-5-7038-3424-4 
Систематизированы ключевые процедуры теории и практики 
экспертных оценок, в том числе связанные с типовыми 
стадиями экспертного опроса, методами подбора экспертов, 
разработкой регламентов проведения сбора и анализа экспертных 
мнений.  
Рассмотрены основные идеи современной теории измерений, 
согласования кластеризованных ранжировок, парных 
сравнений и люсианов, аксиоматического введения расстояний, 
оптимизационного определения итогового мнения комиссии 
экспертов, теории нечеткости и других математических 
и статистических методов анализа экспертных оценок.  
Содержание учебника соответствует курсам лекций, которые 
автор читает в МГТУ им. Н.Э. Баумана. 
Для студентов, преподавателей и исследователей в области 
прикладной и математической статистики, сбора и анализа экспертных 
данных, методов оптимизации, математического и 
организационно-экономического моделирования, а также специалистов 
в области разработки и применения современных 
методов экспертных оценок и соответствующего программного 
обеспечения. 
                                                                   УДК 519.2:338 (075.8) 
                                                                               ББК 60.6я73 

                                                                     © Орлов А. И., 2011 
ISBN 978-5-7038-3424-4 (ч. 2)                  © Оформление. Издательство 
ISBN 978-5-7038-3276-9                                МГТУ им. Н.Э. Баумана, 2011 

 
О-66 

Оглавление 

Предисловие ................................................................................  
6 
Глава 1. Примеры процедур экспертных оценок .................  11 
1.1. Индивидуальные и коллективные экспертные 
            оценки.................................................................................  11 
1.2. Оценка и выбор вариантов решений с помощью 
           экспертов.............................................................................  18 
1.3. Экспертное прогнозирование ...........................................  24 
1.4. Экспертные оценки на современном этапе .....................  30 
Контрольные вопросы..............................................................  45 
Темы докладов, рефератов, исследовательских работ .........  46 
Литература ................................................................................  46 
Глава 2. Организация работы экспертной комиссии ..........  48 
2.1. Основные стадии экспертного опроса.............................  48 
2.2. Подбор экспертов ..............................................................  52 
2.3. Выбор цели экспертизы ....................................................  57 
2.4. Основания для классификации экспертных методов .....  64 
2.5. Роль интуиции эксперта  при принятии решений...........  69 
Контрольные вопросы..............................................................  76 
Темы докладов, рефератов, исследовательских работ .........  77 
Литература ................................................................................  77 
Глава 3. Теория измерений и экспертные оценки ...............  79 
3.1. Основные шкалы измерения.............................................  79 
3.2. Инвариантные алгоритмы и средние величины .............  92 
3.3. Средние величины в порядковой шкале..........................  98 
3.4. Средние по Колмогорову..................................................  101 
Контрольные вопросы и задачи...............................................  103 
Темы докладов, рефератов, исследовательских работ .........  104 
Литература ................................................................................  105 
Глава 4. Методы средних рангов ............................................  106 
4.1. Экспертные ранжировки...................................................  106 
4.2. Методы средних арифметических рангов и медиан 
           рангов ..................................................................................  109 
4.3. Метод согласования кластеризованных ранжировок.....  112 
Контрольные вопросы и задачи...............................................  121 
Темы докладов, рефератов, исследовательских работ .........  122 
Литература ................................................................................  123 
Глава 5. Принятие решений и голосование ...........................  125 
5.1. Пример задачи принятия решения комиссией 
            экспертов............................................................................  125 

5.2. Голосование как один из методов экспертных  
            оценок.................................................................................  131 
5.3. Парадокс Кондорсе............................................................  136 
5.4. Основные понятия теории принятия решений 
            и экспертные оценки.........................................................  139 
Контрольные вопросы и задачи...............................................  150 
Темы докладов, рефератов, исследовательских работ .........  152 
Литература ................................................................................  152 
Глава 6. Математические методы анализа экспертных 
                оценок ...........................................................................  153 
6.1. Основные математические задачи анализа экспертных  
            оценок.................................................................................  153 
6.2. Экспертные мнения и расстояния ....................................  163 
6.3. Свойства медианы Кемени ...............................................  178 
6.4. Коэффициенты корреляции и конкордации....................  181 
Контрольные вопросы и задачи...............................................  191 
Темы докладов, рефератов, исследовательских работ .........  193 
Литература ................................................................................  194 
Глава 7. Бинарные данные и парные сравнения .................  196 
7.1. Теоретическое обоснование «турнирного» метода 
            ранжирования вариантов..................................................  197 
7.2. Графы и бинарные данные................................................  201 
7.3. Толерантности и люсианы в экспертных оценках..........  211 
7.4. Моделирование ответов экспертов  при парных 
            сравнениях .........................................................................  240 
Контрольные вопросы и задачи...............................................  248 
Темы докладов, рефератов, исследовательских работ .........  249 
Литература ................................................................................  249 
Глава 8. Теория нечеткости и экспертные оценки ................  251 
8.1. Понятие нечеткости...........................................................  251 
8.2. Нечеткие множества..........................................................  258 
8.3. Методы анализа нечетких экспертных данных ..............  273 
8.4. Теория нечеткости как часть теории вероятностей........  281 
8.5. Нечеткий экспертный выбор в контроллинге 
            инноваций ..........................................................................  290 
Контрольные вопросы и задачи...............................................  296 
Темы докладов, рефератов, исследовательских работ .........  297 
Литература ................................................................................  297 
Глава 9. Экспертные оценки в экологии ...............................  299 
9.1. Экспертные оценки в задачах экологического 
           страхования и обеспечения экологической 
           безопасности.......................................................................  299 
9.2. Технология экологических экспертиз..............................  303 
9.3. Общественная экологическая экспертиза........................  310 

  

9.4. Проведение экологических экспертиз с правовой 
            точки зрения ......................................................................  314 
Контрольные вопросы..............................................................  326 
Темы докладов, рефератов, исследовательских работ .........  327 
Литература ................................................................................  327 
Глава 10. Экспертные технологии оценки рисков ................  329 
10.1. Бизнес-процессы инновационных проектов .................  329 
10.2. Инновационные проекты в вузах ..................................  346 
10.3. Модель инновационного проекта...................................  349 
10.4. Прогнозирование рисков.................................................  358 
10.5. Различные виды рисков...................................................  368 
10.6. Управление рисками........................................................  374 
Контрольные вопросы..............................................................  387 
Темы докладов, рефератов, исследовательских работ .........  388 
Литература ................................................................................  388 
Глава 11. Основы теории рейтингов .......................................  390 
11.1. Оперативные методы принятия решений на основе  
              экспертных оценок..........................................................  390 
11.2. Веса факторов ..................................................................  404 
11.3. Бинарные рейтинги..........................................................  418 
11.4. Сравнение рейтингов и линейные рейтинги .................  428 
Контрольные вопросы и задачи...............................................  438 
Темы докладов, рефератов, исследовательских работ .........  439 
Литература ................................................................................  440 
Глава 12. Экспертные оценки — интеллектуальные  
                  инструменты организационно-экономических  
                 исследований...............................................................  441 
12.1. Экспертные оценки в маркетинговом исследовании .....  441 
12.2. Экспертные технологии в системе «Шесть сигм»........  448 
12.3. Оценка технического уровня и качества продукции  
              на основе иерархической системы показателей ...........  453 
12.4. Применение экспертных оценок при упорядочении 
              системы государственных стандартов .........................  461 
12.5. Экспертные оценки в оценочной деятельности 
              и инвестиционном менеджменте ..................................  468 
12.6. Прогнозирование и метод сценариев.............................  477 
Контрольные вопросы..............................................................  485 
Темы докладов, рефератов, исследовательских работ .........  485 
Литература ................................................................................  486 
 

Предисловие 

Как изменится экономика через десять лет? Будут ли 
экологически безопасны города и промышленные предприятия 
или же вокруг нас возникнет рукотворная пустыня? 
Достаточно вдуматься в эти вопросы, проанализировать, как 
десять лет назад мы представляли себе сегодняшний день, 
чтобы понять, что стопроцентно надежных прогнозов просто 
не может быть. Вместо утверждений с конкретными числами 
можно ожидать лишь качественных оценок. Тем не менее 
мы должны принимать решения, например, об экологических, 
инвестиционных и других проектах, последствия которых 
станут известны через десять, двадцать и более лет.  
Бесспорно, что для принятия обоснованных решений 
необходимо опираться на опыт, знания и интуицию специалистов. 
После Второй мировой войны на основе кибернетики, 
теории управления, менеджмента и исследования 
операций стала быстро развиваться самостоятельная дисциплина — 
теория и практика экспертных оценок.  
Методы экспертных оценок — это методы организации 
работы со специалистами-экспертами и обработки мнений 
экспертов. Эти мнения обычно выражены частично в количественной, 
частично в качественной форме. Экспертные 
исследования проводят с целью подготовки информации для 
принятия решений. Для проведения работы по методу экспертных 
оценок формируют рабочую группу, которая организует 
деятельность экспертов, объединенных (формально 
или по существу) в экспертную комиссию. Лицо, принимающее 
решение, — это тоже эксперт, поэтому можно констатировать, 
что любое решение — это решение эксперта! 
Содержание учебника посвящено методам и технологиям 
сбора и анализа мнений экспертов, применению экспертных 
оценок. Учебник состоит из 12 глав.  
В главах 1–5 приведены введение в теорию и практику 
экспертных оценок, типовые процедуры экспертных оце-

нок, основные стадии экспертного опроса и примеры применения 
теории измерений для выбора способа усреднения 
мнений экспертов. Рассмотрены методы средних арифметических 
рангов и медиан рангов, согласования кластеризованных 
ранжировок, голосование как один из методов 
принятия решений. 
В главах 6–8 обсуждены математические методы анализа 
экспертных оценок. Рассмотрены подходы к аксиоматическому 
введению расстояний между ответами экспертов, 
оптимизационный подход к определению итогового 
мнения комиссии экспертов, свойства расстояния Кемени и 
медианы Кемени, использование коэффициентов корреля-
ции и конкордации. Для анализа бинарных данных и ре-
зультатов парных сравнений рекомендовано использовать 
теорию случайных толерантностей и люсианов. Рассмотре-
ны основы методологии нечеткости, сведение теории не-
четкости к теории вероятностей и ее использование в экс-
пертных технологиях. 
В главах 9–12 рассмотрены примеры применения экс-
пертных оценок. Глава 9 посвящена задачам экологическо-
го страхования и обеспечения экологической безопасности, 
технологиям экологических экспертиз. В главе 10 обсужде-
ны экспертные технологии оценки рисков и управления 
ими, в том числе при выполнении инновационных проек-
тов. В главе 11 приведена теория рейтингов (основное вни-
мание уделено бинарным и линейным рейтингам), разра-
ботанная автором. В главе 12 экспертные оценки рассмот-
рены как интеллектуальные инструменты конкретных 
организационно-экономических исследований. Обсуждено 
их применение в маркетинговых исследованиях, в системе 
«Шесть сигм», при использовании иерархической системы 
показателей технического уровня и качества продукции и 
упорядочении совокупности государственных стандартов 
по статистическим методам управления качеством, в оце-
ночной деятельности и инвестиционном менеджменте, при 
прогнозировании, в том числе методом сценариев.  

В конце каждой главы приведены контрольные вопро-
сы и задачи, темы докладов, рефератов, исследовательских 
работ. Для понимания материала достаточно знания стан-
дартных учебных курсов по высшей математике. 
Автор более 35 лет постоянно занимается экспертной 
деятельностью и как практик, и как теоретик. В учебник 
включены теоретические и практические результаты ис-
следований автора начиная с 1970-х годов и по настоящее 
время. 
Теория экспертных оценок связана с прикладной ста-
тистикой, эконометрикой, теорией принятия решений. За-
просы теории экспертных оценок стимулировали развитие 
наиболее современной области прикладной статистики — 
нечисловой статистики.  
Математические результаты нечисловой статистики, а 
также различные вопросы теории принятия решений вклю-
чены в часть 1 «Нечисловая статистика» учебника «Орга-
низационно-экономическое моделирование» и частично в 
учебники «Прикладная статистика», «Эконометрика» и 
«Теория принятия решений», выпущенные издательством 
«Экзамен» в 2004–2006 гг.  
В учебнике рассмотрены современные методы анализа 
статистических данных, полученных от экспертов. При 
этом субъективные экспертные данные не противопостав-
ляются объективным результатам измерений (наблюдений, 
испытаний, анализов, опытов), поскольку для их описания 
и анализа используются одни и те же вероятностно-
статистические методы и модели.  
Автор стремился сделать доступным широкому кругу 
читателей более чем 35-летний опыт работы междисципли-
нарного исследовательского коллектива научного семинара 
«Экспертные оценки и анализ данных». Семинар, организо-
ванный в 1973 г., работал сначала в МГУ им. М.В. Ломоно-
сова, а затем в Институте проблем управления РАН. В рам-
ках этого междисциплинарного коллектива создана отечест-
венная научная школа в области экспертных оценок. 

Учебник может быть рекомендован различным катего-
риям читателей. Студенты дневных отделений управленче-
ских и экономических специальностей, прежде всего спе-
циальности «Менеджмент высоких технологий», найдут в 
нем необходимый материал для изучения соответствующих 
разделов учебных курсов: «Организационно-экономическое 
моделирование», «Эконометрика», «Прикладная статистика», «
Управленческие решения», «Теория принятия решений», «
Экономико-математическое моделирование», «Математические 
методы в экономике», «Маркетинговые исследования», «
Математические методы оценки» и др.  
Слушатели вечерних отделений вузов, в том числе получающие 
второе образование по экономике и менеджменту, 
смогут изучить основы теории экспертных оценок и вопросы 
ее практического использования. Менеджеры, экономисты 
и инженеры, изучающие экспертные оценки и 
теорию принятия решений самостоятельно или в институтах 
повышения квалификации, по программам переподготовки 
или получения академической степени «Мастер (магистр) 
делового администрирования» (Master of Business 
Administration — МВА), смогут ознакомиться с ключевыми 
идеями.  
Учебник предназначен для широкого круга специалистов, 
заинтересованных в применении современных методов 
экспертных оценок в любой предметной области, разработчиков 
таких методов и соответствующего программного 
обеспечения. Современный взгляд на экспертные 
технологии, основные подходы и результаты в этой области 
открывает большие перспективы для дальнейших математических 
исследований в теории вероятностей и математической 
статистике. Книга представляет несомненный интерес 
для исследователей — специалистов по вопросам 
управления, в том числе по принятию решений, методам 
оптимизации и математическому моделированию, а также 
для преподавателей, включающих в курсы лекций разделы 
по экспертным оценкам. 

Материалы книги использовались при преподавании в 
МГТУ им. Н.Э. Баумана и во многих других отечественных 
и зарубежных образовательных структурах. 
Благодарности. Автор выражает благодарность своим 
многочисленным студентам и слушателям, прежде всего 
различных образовательных структур Московского государственного 
технического университета им. Н.Э. Баумана, 
участникам научных конференций и семинаров, коллегам 
по работе в научно-учебном комплексе «Инженерный бизнес 
и менеджмент», на кафедре «Экономика и организация 
производства» и в Институте высоких статистических технологий 
и эконометрики МГТУ им. Н.Э. Баумана, Российской 
ассоциации статистических методов и Российской 
академии статистических методов. 
Учебник написан в традициях отечественной вероятностно-
статистической школы. Автор выражает благодарность 
своим учителям — акад. АН УССР Б.Г. Гнеденко, 
чл.-кор. АН СССР Л.Н. Большеву, проф. В.В. Налимову.  
Автор признателен всем сотрудникам Издательства 
МГТУ им. Н.Э. Баумана за большую работу по подготовке 
рукописи к изданию. 
С текущей научной информацией по теории и практике 
экспертных оценок можно ознакомиться на сайте «Высокие 
статистические технологии» (http://orlovs.pp.ru) и его форуме (
http://forum.orlovs.pp.ru/), а также на странице Лаборатории 
экономико-математических методов в контроллинге 
(http: //www.ibm.bmstu.ru/nil/lab.html) на сайте научно-
учебного комплекса «Инженерный бизнес и менеджмент» 
МГТУ им. Н.Э. Баумана. Достаточно большой объем информации 
содержит еженедельник «Эконометрика», выпускаемый 
с июля 2000 г. (http://subscribe.ru/catalog/science. 
humanity. econometrika). Автор искренне благодарен разработчику 
сайтов и редактору электронного еженедельника 
А.А. Орлову за многолетний энтузиазм. 
Автор просит читателей присылать свои вопросы и замечания 
по адресу Издательства или непосредственно по 
электронной почте: prof-orlov@mail.ru.  

Глава 1. Примеры процедур экспертных 
                оценок 

Согласно англо-русскому словарю, expert — это специалист. 
Однако в русском языке термин «эксперт» приобрел 
дополнительные смысловые оттенки. Под экспертом понимают 
не просто специалиста (например, выпускника вуза), а 
только обладающего высокой квалификацией и умеющего 
использовать свою интуицию для решения поставленных 
перед ним задач, например, для диагностики, прогнозирования, 
выбора варианта технического или управленческого 
решения.  
Ударение в слове «эксперт», как и в словах «маркетинг» 
и «творог», можно ставить как на первом слоге, так и на втором. 
Оба варианта — норма. Ударение на первый слог соответствует 
английскому языку, на второй — больше подходит 
для русского языка.  
Рассмотрим ряд примеров процедур экспертных оценок, 
одновременно вводя необходимые для дальнейшего 
обсуждения термины. 

1.1. Индивидуальные и коллективные 
экспертные оценки 

Экспертные оценки подразделяют на индивидуальные и 
коллективные. Индивидуальные экспертные оценки — это 
оценки одного специалиста. Например, преподаватель единолично 
ставит на экзамене оценку студенту, врач ставит 
диагноз больному и назначает лечение, инспектор ГИБДД 
оценивает соблюдение правил дорожного движения водителем 
и выписывает штраф за нарушение правил. 

Но в сложных случаях заболевания или при угрозе отчисления 
студента за плохую учебу обращаются к коллективному 
мнению экспертной комиссии (ЭК) — консилиуму 
врачей или комиссии преподавателей. Классический 
пример коллективной экспертной оценки — решение 
суда присяжных. По простым делам судья принимает решение 
единолично; при рассмотрении тяжких преступлений 
законодательством предусмотрена возможность участия 
в принятии решений комиссии экспертов — присяжных 
заседателей.  
Аналогичная ситуация в армии: обычно командующий 
принимает решение единолично, но в сложных и ответственных 
ситуациях проводят военный совет. Один из наиболее 
известных примеров такого рода — военный совет 
1812 г. в Филях под председательством М.И. Кутузова, на 
котором решался вопрос: «Давать или не давать французам 
сражение под Москвой?» 
Работа экспертной комиссии может быть растянута во 
времени. Например, лечащий врач может отправить пациента 
к врачам-специалистам на обследование, дать распоряжение 
провести различные анализы, флюорографию и др. 
Собрав мнения экспертов (в данном случае — врачей-
специалистов) и проанализировав объективные данные, 
лечащий врач формулирует окончательное решение, выражающее 
мнение всей экспертной комиссии.  
Индивидуальная экспертная оценка может потребовать 
от специалиста выполнения большого объема работы. Например, 
подготовка рецензии на рукопись книги или заключения 
оппонента о диссертации, представленной к защите 
на соискание ученой степени. Обычно эксперт должен 
следовать различным правилам, приведенным в 
нормативной и методической документации по определенному 
виду экспертной деятельности, например, при оценке 
диссертации эксперт должен исходить из нормативных документов 
Высшей аттестационной комиссии (ВАК) Российской 
Федерации. 

Индивидуальная экспертная оценка научно-технических 
проектов. В структуры государственной власти 
постоянно поступают научно-технические проекты, подготовленные 
различными организациями и отдельными гражданами. 
По каждой заявке требуется принять решение о 
целесообразности осуществления проекта и необходимом 
для этого содействии со стороны структур государственной 
власти (финансировании, организационных решениях).  
Первый шаг — проект направляется на экспертизу. 
Эксперт Российского исследовательского научно-консультационного 
центра экспертизы (РИНКЦЭ) получает следующий 
документ. 

Вопросы, которые должны быть отражены 
в заключении эксперта 

1. Актуальность проекта. 
2. Краткая характеристика положения в данной области в 
стране и за рубежом. 
3. Научное значение проекта. 
4. Научная новизна предлагаемых решений. 
5. Прикладное значение проекта. 
6. Новизна предлагаемых технических (технологических) 
решений. 
7. Существующие отечественные и зарубежные аналоги 
(марка, тип, фирма, страна). 
8. В чем заключается преимущество предлагаемых решений 
по сравнению с существующими в данной области в стране 
и за рубежом. 
9. Сравнительные данные экономических показателей 
объекта и его аналогов (в сопоставимом виде). 
10. Оценка потенциала разработчика: 
 наличие научно-технического задела в данной области и 
в чем он выражается; 
 наличие научно-производственной базы. 
11. Обоснованность стоимости работ, оценка структуры 
затрат.  
12. Реальность достижения поставленных целей: 
 в предлагаемые сроки; 
 предлагаемыми способами (методами) и ресурсами.