6.6.4. Разработка регламента проведения сбора и анализа экспертных мнений

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов, “кланов” и отдельных коллег. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, принимают или отвергают аргументы друг друга, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и их усреднения позволяли принимать обоснованные решения. В других — число экспертов растет в процессе проведения экспертизы, например, при использовании метода “снежного кома” для формирования команды экспертов.

Пока не существует общепринятой научно обоснованной классификации методов экспертных оценок и однозначных рекомендаций по их применению. Попытка навязать одну из возможных точек зрения может принести лишь вред.

Однако для ориентации в экспертных оценках нужна какая- либо рабочая классификация методов. Одна из таких возможных классификаций дана ниже.

Первый из вопросов (ответ на него — основа для классификации): что именно должна представить экспертная комиссия как итог своей работы — информацию для принятия решения ЛПР

или проект самого решения? От ответа на вопрос зависит организация работы экспертной комиссии, и он служит первым основанием для разбиения методов.

Цель сбор информации для ЛПР. Тогда рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов “за” и “против” выделенных вариантов решений. Полезен метод постепенного увеличения числа экспертов: сначала первый эксперт приводит соображения по рассматриваемому вопросу -» составленный им материал передается второму эксперту, который добавляет свои аргументы -э накопленный материал поступает к третьему эксперту -э... Процедура заканчивается, когда иссякает поток новых соображений.

Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы “за” и “против”, но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового. Именно от них следует ожидать наиболее оригинальных аргументов.

Цель подготовка проекта решения для ЛПР. Математические методы в экспертных оценках применяют обычно именно для решения задач, связанных с подготовкой проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы “кочуют” из одной публикации в другую, поэтому целесообразно их обсудить.

Догма согласованности. Часто безосновательно считают, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы “диссидентов”. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Нужно бы выяснить их аргументы, предоставить им трибуну для обоснования их мнения, а нс пренебрегать этим мнением.

Часто нс учитывают еще одно чисто эконометрическое обстоятельство. Так как число экспертов обычно не превышает 20—30, то формальная статистическая согласованность мнений экспертов (установленная по критериям проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что обесценивает дальнейшие расчеты. Обратимся к расчетам коэффициентов конкордации на основе коэффициентов корреляции рангов Кендалла или Спирмена. Надо помнить: согласно эконометрической теории положительный результат проверки согласованности таким способом означает отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок.

Так проверяется нуль-гипотеза, по которой ранжировки, описывающие мнения экспертов, — это независимые случайные бинарные отношения, равномерно распределенные на множестве всех ранжировок. Отклонение нуль-гипотезы толкуется как согласованность ответов экспертов. Другими словами, аналитики падают жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. Группы экспертов с близкими методами можно выделить эконометрическими методами кластерного анализа (см. параграф 6.3).

Мнения диссидентов. Чтобы добиться согласованности, стараются снизить влияние мнений экспертов-диссидентов, то есть инакомыслящих по сравнению с большинством. Жесткий способ борьбы с диссидентами — игнорирование их мнений, то сеть исключение из состава экспертной группы. Отбраковка экспертов, как и отбраковка резко выделяющихся наблюдений (выбросов), приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели.

Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простой пример: если ответ эксперта — действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (нс достигают ЛПР) аргументы диссидентов. В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, впоследствии приводящее к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает эти ответственность и труд на плечи ЛПР.

Догма одномерности. Распространен довольно примитивный подход, согласно которому объект экспертизы всегда можно оценить одним числом.

Вместе с тем нельзя полностью отрицать саму идею поиска обобщенных показателей конкурентоспособности, технического уровня, качества и др. Так, каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по: расходу бензина на 100 км пути (в среднем); надежности (средняя стоимость ремонта за год); экологической безопасности, оцениваемой по содержанию вредных веществ в выхлопных газах; маневренности; быстроте набора скорости 100 км/ч после начала движения; максимальной достигаемой скорости; длительности сохранения в салоне положительной температуры при низкой наружной температуре (—50 градусов по Цельсию) и выключенном двигателе; дизайну (привлекательность и “модность” внешнего вида и отделки салона); весу и т.д. Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но нс имеет большого практического значения для водителя частной машины, особенно в городе с суровым ограничением на максимальную скорость. Для такого водителя важнее расход бензина, маневренность и надежность. Для машин разных государственных служб надежность важнее, чем для частника, а расход бензина — наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов — нет. Таким образом, важна конкретная постановка задачи перед экспертами. Но такой постановки часто нет. А тогда “игры” по разработке обобщенного показателя качества — например, в виде линейной функции от перечисленных переменных — не дают объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации — множества Парето и т.д.

В ряде случаев все же можно глобально сравнить объекты — например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов. Тогда можно подобрать коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало модальному упорядочению (положим, найти коэффициенты методом наименьших квадратов). Наоборот, в этих случаях не надо оценивать указанные коэффициенты с помощью экспертов.

Столь простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что те выполнить не в состоянии — указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но нс могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности.

Второе основание классификации экспертных процедур — число туров. Экспертизы могут включать один тур, некоторое фиксированное число туров (два, три,...) или неопределенное число туров. Чем больше туров, тем тщательнее оценивается ситуация, так как эксперты при этом обычно много раз возвращаются к рассмотрению предмета экспертизы. Но одновременно растет общее время на экспертизу и увеличивается ее стоимость. Можно уменьшить расходы, вводя в экспертизу нс всех экспертов сразу, а постепенно. Так, если цель состоит в сборе аргументов “за” и “против”, то первоначальный перечень аргументов может быть составлен одним экспертом. Второй добавит к нему свои аргументы.

Суммарный материал поступит к первому и третьему, которые внесут свои аргументы и контраргументы. И так далее — добавляется по одному эксперту на каждый новый тур. Наибольшие сложности вызывают процедуры с заранее неопределенным числом туров, например, “снежный ком”. Часто задают максимально возможное число туров, и тогда неопределенность сводится к тому, придется ли проводить это максимальное число туров или удастся ограничиться меньшим числом.

Третье основание классификации экспертных процедур — организация общения экспертов. Рассмотрим достоинства и недостатки каждого из элементов шкалы: отсутствие общения — заочное анонимное общение — заочное общение без анонимности — очное общение с ограничениями — очное общение без ограничений. При отсутствии общения эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим, что и хорошо, и плохо. Обычно такая ситуация соответствует однотуровой экспертизе.

Заочное анонимное общение (как в методе Дельфи) означает, что эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно их высказал. Значит, в экспертизе должно быть предусмотрено хотя бы два тура. Заочное общение без анонимности соответствует, например, общению по Интернету. Все варианты заочной экспертизы хороши тем, что нет необходимости собирать экспертов вместе, следовательно, находить для этого удобное время и место.

При очных экспертизах эксперты говорят, а не пишут, как при заочных, и потому успевают за то же время высказать существенно больше. Очная экспертиза с ограничениями весьма распространена. Это — собрание с фиксированным регламентом. Примером является военный совет в императорской русской армии, когда эксперты (офицеры и генералы) высказывались в порядке от младшего (по чину и должности) к старшему. Наконец, очная экспертиза без ограничений — это свободная дискуссия. Все очные экспертизы имеют недостатки, связанные с возможным отрицательным влиянием на их проведение социально-психологических свойств и клановых (партийных) пристрастий участников, а также неравенства их профессионального, должностного, научного статусов.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >