Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета, 2013, №93
Покупка
Основная коллекция
Издательство:
Кубанский государственный аграрный университет
Наименование: Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета
Год издания: 2013
Кол-во страниц: 1533
Дополнительно
Вид издания:
Журнал
Артикул: 641147.0001.99
ББК:
УДК:
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов.
Для полноценной работы с документом, пожалуйста, перейдите в
ридер.
УДК 519.2:303.732.4 UDC 519.2:303.732.4 ТЕОРИЯ ЭКСПЕРТНЫХ ОЦЕНОК В НАШЕЙ СТРАНЕ THEORY OF EXPERT ESTIMATES IN OUR COUNTRY Орлов Александр Иванович д.э.н., д.т.н., к.ф.-м.н., профессор Orlov Alexander Ivanovich Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci., professor Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, prof-orlov@mail.ru Bauman Moscow State Technical University, Moscow, Russia Дан анализ развития экспертных оценок в нашей стране в послевоенные годы. Рассмотрено многообразие экспертных технологий, приведены основные идеи и публикации, позволяющие выявить движущие силы развития в этой перспективной научно-практической области. Is given the analysis of the development of expert estimates in our country after the war. Are presented a diversity of expert technologies, the main ideas and publications that help identify the driving forces of development in this promising scientific and practical field. Ключевые слова: ЭКСПЕРТНЫЕ ОЦЕНКИ, СТАТИСТИКА НЕЧИСЛОВЫХ ДАННЫХ, СИСТЕМНАЯ НЕЧЕТКАЯ ИНТЕРВАЛЬНАЯ МАТЕМАТИКА, ЭКСПЕРТНОЕ ПРОГНОЗИРОВАНИЕ, СТАТИСТИЧЕСКИЕ ТЕХНОЛОГИИ, АНАЛИЗ ЭКСПЕРТНЫХ ДАННЫХ Keywords: EXPERT ESTIMATES, NONNUMERICAL DATA STATISTICS, SYSTEM FUZZY INTERVAL MATHEMATICS, EXPERT PREDICTION, STATISTICAL TECHNIQUES, EXPERT DATA ANALYSIS Экспертные оценки – один из эффективных инструментов разработки и принятия управленческих решений. Они широко используются в различных отраслях народного хозяйства. Однако специалистам, применяющим экспертные оценки, зачастую известны лишь отдельные методы и технологии из этой развитой научно-практической области. Поэтому целесообразно проанализировать многообразие работ по теории экспертных оценок, выполненных в нашей стране. В настоящее время не существует научно обоснованной общепринятой классификации методов и технологий экспертных оценок и тем более однозначных рекомендаций по их применению. По нашему мнению, наиболее продвинутые результаты в рассматриваемой области были получены в результате работы неформального научного коллектива вокруг комиссии «Экспертные оценки» Научного совета АН СССР по комплексной проблеме «Кибернетика», организованной в 70-х годах. Статья подготовлена в рамках методологии, созданной этим научным коллективом. 1. Классические методы экспертных оценок Экспертные оценки активно использовались с незапамятных времен. После
Второй мировой войны в рамках мощного научного движения, на знаменах которого сверкали модные 50 лет назад термины «кибернетика», «исследование операций», «системный подход», выделилась самостоятельная научно-практическая дисциплина – экспертные оценки. Сложились методы сбора и анализа экспертных оценок, которые мы сейчас называем классическими. В 60-70-е гг. они освоены в нашей стране, доработаны и успешно применены. И только потом, в 70-е гг., начались активные самостоятельные научные исследования, была сформирована полностью оригинальная отечественная научная школа в области экспертных оценок. Нашей стране принадлежит мировой приоритет в целом ряде направлений, о некоторых из которых речь пойдет ниже. Вполне естественно, что сначала в нашей стране появились публикации о классических методах экспертных оценок (см., например, [1-3]). Речь идет о простейших методах, не требующих развитого математического аппарата. С одной стороны, такие публикации были полезны, позволив широким массам специалистов познакомиться с основными идеями экспертных оценок. До сих пор классические методы активно используются в практической работе и излагаются в учебной литературе. С другой стороны, как обычно бывает во многих областях деятельности, первоначальные достаточно тривиальные соображения широко распространились, вошли в массовое сознание инженеров и управленцев (менеджеров) и стали тормозом на пути внедрения более новых продвинутых результатов в области экспертных оценок, описанных, например, в работах [4-9]. Вспомним слова великого физика Макса Планка, создателя квантовой теории света: «Новая научная идея редко внедряется путем постепенного убеждения и обращения противников, редко бывает, что Савл становится Павлом. В действительности дело происходит так, что оппоненты постепенно вымирают, а растущее поколение с самого начала осваивается с новой идеей». Необычность рассматриваемой ситуации в области экспертных оценок состоит в том, что новые научные идеи появились всего через несколько лет после широкого распространения в нашей стране классических методов экспертных оценок. Но – головы возможных пользователей были уже оккупированы тривиальностями. В
результате многие превосходные с научной точки зрения и высокоэффективные в приложениях результаты отечественных исследователей остаются малоизвестными, хотя получены еще в 70-е годы. Центром исследований является всесоюзный (ныне всероссийский) научно-исследовательский семинар «Экспертные оценки и анализ данных». Этот семинар был организован по предложению академика А.Н. Колмогорова на механико-математическом факультете МГУ Ю.Н. Тюриным, Б.Г. Литваком и П.Ф. Андруковичем. Он работает с 1973 г., сначала в МГУ им. М.В. Ломоносова, а затем в Институте проблем управления РАН. В разные годы им руководили д.ф.-м.н. Ю.Н. Тюрин, д-ра техн. наук Б.Г. Литвак, А.И. Орлов, А.А. Дорофеюк, Ф.Т. Алескеров, Д.А. Новиков, Ю.В. Сидельников. В работе семинара участвовали сотни исследователей. 2. Научные результаты мирового уровня Участники неформального научного коллектива участников семинара обычно начинали с освоения современных зарубежных идей, переходя затем к самостоятельным исследованиям, приводящим, как правило, к новым научным результатам мирового значения. Рассмотрим несколько сюжетов. Так, освоив проблематику теории измерений, участники семинара перешли к изучению инвариантных алгоритмов. Основной полученный результат мирового уровня – характеризация средних величин шкалами измерения. Найдены необходимые и достаточные условия, выделяющие средние величины, результат сравнения которых инвариантен относительно допустимых преобразований в тех или иных шкалах. Цикл теорем о средних величинах – наиболее важное достижение в теории измерений, полученное в нашей стране. В теории нечеткости также был получен принципиально важный результат мирового уровня – найден способ сведения теории нечетких множеств к теории случайных множеств. Это – основное отечественное достижение в теории нечеткости. Большое влияние на развитие исследований в области экспертных оценок оказали работы американского математика Джона Кемени, прежде всего книга [10].
В ней был предложен подход к аксиоматическому введению расстояний между нечисловыми ответами экспертов (на примере упорядочений) и дан метод нахождения итогового мнения комиссии экспертов как решения оптимизационной задачи. Участники семинара по примеру Кемени построили аксиоматику для введения расстояний между различными объектами нечисловой природы. В обзоре [11] сведены вместе результаты более чем 150 исследований. В честь Дж. Кемени расстояния между элементами различных пространств бинарных отношений сейчас называют расстояниями Кемени, а введенные на их основе средние в этих пространствах – медианами Кемени. Необходимо добавить, что и после 1985 г., когда была выпущена обзорная работа Г.В. Раушенбаха [11] по публикациям, базирующимся на подходе Кемени к аксиоматическому введению меры близости между нечисловыми ответами экспертов, появлялись новые результаты. Так, например, в работе Ю.В. Сидельникова [12] были введены пять аксиом и доказано, что эти аксиомы на множестве векторов предпочтения однозначно определяют меру близости. Аналогичный результат был получен и на множестве ранжирований. В работе [13] аксиоматически введена метрика подобия и изучена с помощью вероятностной модели. Большое внимание уделялось различным вариантам парных и множественных сравнений. Если на Западе рассматривалась параметрическая теория (модели Льюса, Бредли-Терри, Терстоуна), то в нашей стране была построена не имеющая аналогов непараметрическая теория парных сравнений (люсианов), причем в асимптотике растущей размерности. 3. Итоги первого этапа работы семинара В 70-е гг. было выпущено три сборника статей [14 - 16], содержащих научные труды участников семинара «Экспертные оценки и анализ данных». Эти сборники до сих пор являются актуальными, включенные в них работы содержат заметно более продвинутые научные результаты, чем публикации по «классическим методам экспертных оценок», поскольку последние опираются на идеи 40-60-х гг. Прошедшие десятилетия позволили более четко выявить теоретический смысл и
прикладные возможности разработанных тогда подходов. Полученные результаты были обобщены в ряде монографий, написанных руководителями и участниками семинара [17-20], и прежде всего в неоднократно изданном программном докладе пяти наиболее активных и продуктивных исследователей [21-22]. К сожалению, этот принципиально важный доклад не был развернут в подробную монографию. «Доклад пяти» – веха в развитии отечественных исследований в области экспертных оценок. Закончился период становления самостоятельной научно-прикладной дисциплины. К концу 70-х гг. экспертные оценки получили и организационное оформление – в рамках комиссии «Экспертные оценки» Научного совета АН СССР по комплексной проблеме «Кибернетика». 4. Восьмидесятые годы Научные исследования развивались вглубь и вширь. Регулярно выпускались сборники статей [23 - 26], проводились всесоюзные конференции [27 28]. Разумеется, работы по экспертным оценкам публиковались не только в изданиях семинара, но и во многих иных. Укажем для примера на работы руководителей семинара А.А. Дорофеюка [29] и Ю.В. Сидельникова [30], на монографии по многомерному шкалированию экспертных и иных данных [31, 32]. Авторы «доклада пяти» защитили докторские (Б.Г. Литвак, А.И. Орлов, Ю.Н. Тюрин) и кандидатские (Г.А. Сатаров, Д.С. Шмерлинг) диссертации. Были выполнены многочисленные прикладные работы. В частности, разработаны комплексы нормативно-методических документов по экспертным методам управления качеством продукции (ГОСТы, методические указания и др.) и по экспертизе научно-исследовательских работ в медицине и биологии (методические рекомендации по проведению экспертной оценки планируемых и законченных научных работ в области медицины и по подготовке и проведению конкурса проектов исследований и разработок в области физико-химической биологии и биотехнологии). Исследования по экспертным оценкам шли в тесном контакте с работами в области прикладной статистики и других статистических методов [33, 34],
многокритериальной оптимизации [35, 36], математических методов в социологии [37] и т.п. В литературе экспертные оценки иногда выступают под теми или иными «псевдонимами». Например, академик РАН Н.Н. Моисеев в своих выдающихся научно-публицистических книгах [7, 38, 39] использовал термин «неформальные процедуры». 5. Экспертные оценки и статистика нечисловых данных Основным отечественным достижением последней четверти ХХ в. в области статистических методов анализа данных является создание статистики нечисловых данных (в других терминах, нечисловой статистики, статистики объектов нечисловой природы). Ныне статистика нечисловых данных – одна из четырех основных областей прикладной статистики, наряду со статистикой числовых величин, многомерным статистическим анализом и статистикой временных рядов [33, 34]. Для нас важно, что именно необходимость разработки адекватных методов анализа экспертных мнений стимулировала развитие статистики нечисловых данных. Не случайно основополагающая статья [40], излагающая программу построения новой области статистики, опубликована в одном из первых сборников трудов семинара. Кратко обсудим суть статистики нечисловых данных. Сначала напомним, что исходный объект в прикладной статистике - это выборка, т.е. совокупность независимых одинаково распределенных случайных элементов. Какова природа этих элементов? В классической математической статистике элементы выборки это числа. В многомерном статистическом анализе - вектора. А в нечисловой статистике элементы выборки - это объекты нечисловой природы, которые нельзя складывать и умножать на числа. Объекты нечисловой природы лежат в пространствах, не имеющих векторной структуры. Примеры объектов нечисловой природы: - значения качественных признаков, т.е. результаты кодировки объектов экспертизы с помощью заданного перечня категорий (градаций); - упорядочения (ранжировки) экспертами образцов продукции (при оценке
её технического уровня и конкурентоспособности)) или заявок на проведение научных работ (при проведении конкурсов на выделение грантов); - классификации, т.е. разбиения объектов экспертизы на группы сходных между собой (кластеры); - толерантности, т.е. бинарные отношения, описывающие сходство объектов между собой, например, сходства тематики научных работ, оцениваемого экспертами с целью рационального формирования экспертных советов внутри определенной области науки; - результаты парных сравнений или контроля качества продукции по альтернативному признаку («годен» - «брак»), т.е. последовательности из 0 и 1; - множества (обычные или нечеткие), например, зоны, пораженные коррозией, или перечни возможных причин аварии, составленные экспертами независимо друг от друга; - слова, предложения, составленные из них тексты; - векторы, координаты которых - совокупность значений разнотипных признаков, например, результат составления статистического отчета о научно-технической деятельности организации (т.н. форма № 1-наука) или анкета эксперта, в которой ответы на часть вопросов носят качественный характер, а на часть - количественный; - ответы на вопросы экспертной, маркетинговой или социологической анкеты, часть из которых носит количественный характер (возможно, интервальный), часть сводится к выбору одной из нескольких подсказок, а часть представляет собой тексты; и т.д. Интервальные данные тоже можно рассматривать как пример объектов нечисловой природы, а именно, как частный случай нечетких множеств. А именно, если характеристическая функция нечеткого множества равна 1 на некотором интервале и равна 0 вне этого интервала, то задание нечеткого множества эквивалентно заданию интервала. Напомним, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств [18, 19]. С 70-х гг. в основном на основе запросов теории экспертных оценок (а также технических исследований, экономики, социологии и медицины) развивались
конкретные направления статистики объектов нечисловой природы. Были установлены основные связи между конкретными видами таких объектов, разработаны для них базовые вероятностные модели. Итоги подведены в монографии [18], в предисловии к которой впервые появился термин «статистика объектов нечисловой природы». Следующий этап (80-е гг.) - выделение статистики нечисловых данных в качестве самостоятельной дисциплины, ядром которой являются методы статистического анализа данных произвольной природы. Для работ этого периода характерна сосредоточенность на внутренних проблемах нечисловой статистики. Основные результаты коллективного труда подведены в сборнике научных работ [41]. Он подготовлен совместно подкомиссией «Статистика объектов нечисловой природы» комиссии «Экспертные оценки» Научного совета АН СССР по комплексной проблеме «Кибернетика» и Институтом социологических исследований АН СССР. К 90-м гг. статистика объектов нечисловой природы с теоретической точки зрения была достаточно хорошо развита, основные идеи, подходы и методы были разработаны и изучены математически, в частности, доказано достаточно много теорем. Однако она оставалась недостаточно апробированной на практике. И в 90-е гг. наступило время перейти от математико-статистических исследований к применению полученных результатов на практике. К этому периоду относится публикация большой серии статей в рамках раздела «Математические методы исследования» журнала «Заводская лаборатория» (основного места публикации в СССР и РФ работ по прикладной статистике), посвященных теории и практике нечисловой статистики. В статистике объектов нечисловой природы одна и та же математическая схема может с успехом применяться во многих областях, а потому ее лучше всего формулировать и изучать в наиболее общем виде, для объектов произвольной природы. 6. Основные идеи статистики объектов нечисловой природы В чем принципиальная новизна нечисловой статистики? Для классической
математической статистики характерна операция сложения. При расчете выборочных характеристик распределения (выборочное среднее арифметическое, выборочная дисперсия и др.), в регрессионном анализе и других областях этой научной дисциплины постоянно используются суммы. Математический аппарат законы больших чисел, Центральная предельная теорема и другие теоремы нацелены на изучение сумм. В нечисловой же статистике нельзя использовать операцию сложения, поскольку элементы выборки лежат в пространствах, где нет операции сложения. Методы обработки нечисловых данных основаны на принципиально ином математическом аппарате - на применении различных расстояний (точнее, мер различия, близости, метрик и псевдометрик) в пространствах объектов нечисловой природы. (Псевдометрика отличается от метрики тем, что в системе из четырех аксиом метрики отбрасывается условие: если d(x, y) = 0, то x = y.) Кратко рассмотрим несколько идей, развиваемых в статистике объектов нечисловой природы для данных, лежащих в пространствах произвольного вида. Они нацелены на решение классических задач описания данных, оценивания, проверки гипотез - но для неклассических данных, а потому неклассическими методами. Первой обсудим проблему определения средних величин. В рамках теории измерений удается указать вид средних величин, соответствующих тем или иным шкалам измерения. В классической математической статистике средние величины вводят с помощью операций сложения (выборочное среднее арифметическое, математическое ожидание) или упорядочения (выборочная и теоретическая медианы). В пространствах произвольной природы средние значения нельзя определить с помощью операций сложения или упорядочения. Теоретические и эмпирические средние приходится вводить как решения экстремальных задач. Теоретическое среднее определяется как решение задачи минимизации математического ожидания (в классическом смысле) расстояния от случайного элемента со значениями в рассматриваемом пространстве до фиксированной точки этого пространства (минимизируется указанная функция от этой точки). Для эмпирического среднего математическое ожидание берется по эмпирическому
распределению, т.е. берется сумма расстояний от некоторой точки до элементов выборки и затем минимизируется по этой точке. При этом как эмпирическое, так и теоретическое средние как решения экстремальных задач могут быть не единственными элементами рассматриваемого пространства, а являться некоторыми множествами таких элементов, которые могут оказаться и пустыми. Тем не менее удалось сформулировать и доказать законы больших чисел для средних величин, определенных указанным образом, т.е. установить сходимость (в специально определенном смысле) эмпирических средних к теоретическим. Оказалось, что методы доказательства законов больших чисел допускают существенно более широкую область применения, чем та, для которой они были разработаны. А именно, удалось изучить асимптотику решений экстремальных статистических задач, к которым, как известно, сводится большинство постановок прикладной статистики. В частности, кроме законов больших чисел установлена и состоятельность оценок минимального контраста, в том числе оценок максимального правдоподобия и робастных оценок. К настоящему времени подобные оценки изучены также и в статистике интервальных данных. В статистике в пространствах произвольной природы большую роль играют непараметрические оценки плотности, используемые, в частности, в различных алгоритмах регрессионного, дискриминантного, кластерного анализов. В нечисловой статистике предложен и изучен ряд типов непараметрических оценок плотности в пространствах произвольной природы, в том числе в дискретных пространствах. В частности, доказана их состоятельность, изучена скорость сходимости и установлен примечательный факт совпадения наилучшей скорости сходимости в произвольном пространстве с той, которая имеет быть в классической теории для числовых случайных величин. Известна роль непараметрических оценок плотности при построении бинарных рейтингов. Дискриминантный, кластерный, регрессионный анализы в пространствах произвольной природы основаны либо на параметрической теории - и тогда применяется подход, связанный с асимптотикой решения экстремальных статистических задач - либо на непараметрической теории - и тогда используются алгоритмы на основе непараметрических оценок плотности.