Меню
Главная
Авторизация/Регистрация
 
Главная arrow Техника arrow Методы организации сложных экспертиз

Глава 1. ЭКСПЕРТНЫЕ ОЦЕНКИ: ОСОБЕННОСТИ И НЕДОСТАТКИ

1.1. Методы получения и обработки экспертных оценок

Методами экспертных оценок называют группу методов, используемых для оценивания сложных систем на качественном уровне. Термин «эксперт» происходит от латинского слова expert, означающего «опытный».

При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что эго предположение нс является очевидным, но одновременно утверждается, что при соблюдении определенных требований в ряде случаев для некоторых проблем (см. ниже) групповые оценки можно сделать надежнее индивидуальных. Поэтому важно при организации экспертных опросов вводить определенные правила и использовать соответствующие методы получения и обработки экспертных оценок.

Алгоритм организации экспертных опросов и обработки оценок. Изучению особенностей и возможностей применения экспертных оценок посвящено много работ. В них рассматриваются:

  • • проблемы формирования экспертных групп, включая требования к экспертам, размеры группы, вопросы тренировки экспертов, оценки их компетентности;
  • • формы экспертного опроса (разного рода анкетирования, интервью, смешанные формы опроса) и методики организации опроса (в том числе методики анкетирования, мозговая атака, деловые тиры и т.п.);
  • • подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения, в том числе методы предпочтений, парных сравнений и др.);
  • • методы обработки экспертных оценок;
  • • способы определения согласованности мнений экспертов, достоверности экспертных оценок (в том числе статистические методы оценки дисперсии, вероятности для заданного диапазона изменений оценок, ранговой корреляции Кендалла, Спирмена, коэффициента кон- кордации и т.п.) и методы повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса.

Алгоритм организации экспертных опросов приведен на рис. 1.1.

С обзором форм и методов получения и обработки экспертных оценок можно познакомиться, например, в [6,10, 11,14, 15,16, 17 и др.].

В частности, Б.Г. Литвак [6] на основе обобщения и исследования видов шкал измерений и отношений рассматривает особенности мер близости разного рода (на неметризованных и векторных отношениях, структурные, Евклидовы); характеризует принципы и методы, основанные на выборе различных способов упорядочения и отношений предпочтения (в том числе методы ранжирования и гиперупорядочения, методы парных сравнений Черчмена—Акоффа, Терстоуна, метод «смешанной альтернативы» Нейми- на—Морген Штерна, принцип отбрасывания альтернатив Эрроу, алгоритмы отыскания медианы Кемени, метризованные ранжирования, алгоритмы выбора по принципу Парето, методы определения предпочтений на множествах многомерных альтернатив и т.п.). К наиболее употребительным процедурам экспертных измерений относят [6, 14 - 17]:: ранжирование, парное сравнивание, множественные сравнения, непосредственная оценка, последовательное сравнение, метод Терстоуна, Черчмена—Акоффа, метод фон Неймана—Моргенштерна.

Рис. 1.1

Целесообразность применения того или иного метода определяется характером анализируемой проблемы, используемой информации.

Если оправданы лишь качественные оценки объектов по тем или иным качественным признакам, то используются методы ранжирования, парного и множественного сравнения. Если характер анализируемой информации гаков, что целесообразно получить численные оценки объектов, то можно использова ть тот или иной метод, начиная от непосредственных численных оценок и кончая более тонкими методами Терстоуна и фон Неймана—Моргенштерна.

Методы экспертных оценок обладают различными качествами, но приводят в общем случае к близким результатам. Практика применения этих методов показала, что наиболее эффективно комплексное применение различных методов для решения одной и той же задачи. Сравнительный анализ результатов повышает обоснованность дслаемых выводов. При этом следует учитывать, что методом, требующим минимальных затрат, является ранжирование, а наиболее трудоемким - метод последовательного сравнения (Черчмепа—Акоффа). Метод парного сравнения без дополнительной обработки не дает полного упорядочения объектов.

При проведении социологических измерений, которые можно рассматривать как разновидность экспертных оценок (особенно в случае организации выборочного социологического исследования), используют обычно качественные шкалы разного рода, которым ставя тся в соответствие количественные оценки степени значимости («очень важно», «важно», «скорее важно, чем нет» и т.д.) или оценивается введенный в вопросе качественный признак и вопрос формулируется в виде утверждения, а при ответе на него просят выразить степень согласия или несогласия с утверждением (в форме «полностью согласен», «согласен», «не согласен», «категорически не согласен» или «да», «скорее да, чем нет», «скорее нет, чем да», «нет» и т.д.).

При этом могут применяться соответствующие методы обработки результатов. Например, при использовании шкалы Лайкерта[1] задаваемые группе лиц вопросы должны оцениваться по пятибалльной шкале (5 баллов - «полностью согласен», 4 балла - «согласен», 3 балла - «нейтральный ответ», 2 балла - «не согласен», 1 балл - «полностью не согласен») и при обработке рекомендуется применять метод суммарных оценок. Шкалограммный анализ Гуттмана сводится к построению шкал порядкового уровня измерения, представляющих собой одноместные шкалы, формируемые на основе первоначально используемой ранжированной шкалы путем исключения вопросов или факторов, посторонних по отношению к измеряемой характеристике. При применении метода «семантического» дифференциала, разработанного Ч. Осгудом[2] для измерения смысла понятий и слов и дифференциации эмоциональной стороны значения оцениваемого понятия, в качестве промежуточных методов обработки применяются графические методы, помогающие определить профиль распределения установок.

Методы согласования оценок (consensus technique). Эги методы применяются при обработке индивидуальных экспертных оценок. Методы имеют много вариантов, различающихся способами, при помощи которых из индивидуальных оценок получается обобщенная.

При этом используются также различные методы согласования оценок:

1) простейшие, основанные на получении средней вероятности

где n - число участвующих экспертов, или средневзвешенного значения вероятности

где к, - веса, приписываемые оценке каждого эксперта;

  • 2) специальные методы оценки измерения и повышения коэффициентов сог ласованности (или коэффициентов непротиворечивости) мнений экспертов;
  • 3) методы, основанные на отборе экспертной группы с высоким коэффициентом согласованности мнений. Например, метод, основанный на преобразовании первых грех ранг ов дискретной шкалы в непрерывную с последующим нормированием этой новой шкапы, отражающей мнения отобранных экспертов.

Нередко при обработ ке материалов коллективной экспертной оценки используются методы теории ранговой корреляции [6, с. 173-177, 17]. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации IV, который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0 < IV < 1. IV = 0, означает полную противоположность, a IV = 1 - полное совпадение результатов ранжирования. Практически достоверность считается хорошей, если IV = 0,7-0,8.

Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием следующих причин: в рассматриваемой совокупности экспертов действительно отсутствует общность мнений; внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны

Для наглядности представления о степени согласованности мнений двух любых экспертов Л и В служит коэффициент парной ранговой корреляции р, он принимает значения 1 < р < +1. Значение р = +1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а значение р - -1 соответствует двум взаимно противоположным результатам ранжирования важности свойств (мнение одного эксперта противоположно мнению другого).

В качестве одного из методов повышения согласованности экспертных оценок применяют метод «дельфийского оракула» или «Дельфюу метод, на основе идей которого сформировался ряд модификаций.

Выбор ггодходов и методов зависит от конкретных задач и условий проведения экспертизы. Однако существуют некоторые общие проблемы, которые необходимо понимать при проведении любых экспертных оггросов. Кратко охарактеризуем их.

  • [1] Likert,R.A. Technique for the measurement of attitudes//Archives of Psychology. 1932, voi.7 Ж140.
  • [2] Ch. Oggod, G. Suci, P. Tannenbaum. The Messurement of Menning/ Urbana, 1957.4. Оггудб Дж. Суси, П. Танненбаум. Приложение методики семантического дифференциала к исследованиям по эстетике и сложным проблемам // Семиотика и исскуствомет-рия. М.: 1972, с. 355-359.
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >
 

Популярные страницы