Методика проведения экспертного исследования

Несмотря на то что экспертиза — это способ получения информации, тем не менее она может включать в себя и ее изучение. Когда экспертная информация подвергается изучению, налицо уже не просто экспертиза, а экспертное исследование. Ее изучение осуществляется организаторами экспертизы по полному циклу (включая отбор, обработку и осмысление) или, что гораздо чаще, по неполному. Необходимость изучения экспертной информации имеет место только при коллективных и групповых формах. Индивидуальная же экспертиза по самой своей природе это исключает, так как предусматривает лишь фиксацию мнения экспертов. Групповая экспертиза, напротив, всегда включает изучение и обязательно стадию осмысления, ибо количественные результаты требуют интерпретации. Еще более вариативна в этом отношении коллективная экспертиза.

В отличие от индивидуальной экспертизы, где роль эксперта в известном смысле абсолютна, групповые и особенно коллективные формы нуждаются в тщательной организации. Соответственно, их успех или неудача зависит не только от экспертов, но и в немалой степени от организаторов. Особенно существенна роль последних при проведении экспертного исследования, где им приходится выполнять не только чисто технические, но и определенные исследовательские функции.

Как таковое, экспертное исследование состоит из трех стадий: подготовки, проведения и оценки результатов. Первая из них, стадия подготовки, является организационно наиболее сложной и трудоемкой. Допущенные на этой стадии просчеты и недоработки в дальнейшем, как правило, непоправимы. Она включает пять фаз: оценку условий, целеполагание, выбор формы, отбор экспертов и разработку необходимой документации.

В качестве основных критериев условий проведения экспертизы принято выделять: наличный ресурс времени, степень ответственности и уровень информационной обеспеченности. Ключевым является первый, так как недостаток времени практически ничем нельзя компенсировать. В сочетании с низкой информационной обеспеченностью и высокой степенью ответственности он делает условия экстремальными (крайне неблагоприятными). Они объективно порождают состояние стресса не только у организаторов, но и у экспертов, хотя у последних, естественно, в меньшей степени. Хорошо известно, что в состоянии стресса люди совершают гораздо больше ошибок, в том числе и элементарных.

Если ресурс времени значителен, то недостаток информации в принципе может быть устранен, а к высокой степени ответственности участники экспертного исследования (организаторы и эксперты) в той или иной мере адаптируются (действует эффект привыкания). И хотя высокая степень ответственности не позволяет полностью снять состояние стресса, но его влияние заметно ослабляется. Это дает основание все же рассматривать подобного рода условия как неблагоприятные, поскольку состояние стресса сохраняется, если не у всех, то у некоторого числа участников экспертного исследования. Условия экспертизы можно считать нормальными, если для стресса нет причин.

Характер условий влияет на формулирование целей экспертизы. Это делают ее организаторы, исходя из стоящих перед ними задач, но с учетом условий. Поскольку целью экспертизы является получение вторичной информации, а она может быть фактологической, аналитической, прогностической и операциональной, то и целеполагание ориентировано преимущественно на получение какого-то одного или нескольких из указанных типов. Для получения фактической информации нет, как правило, особого смысла проводить экспертное исследование, ибо достаточно эффективной в этом случае бывает индивидуальная экспертиза (эксперт-страновед узкого профиля). На практике перед экспертным исследованием выдвигаются следующие цели: информационно-аналитическая, аналитико-прогностическая и операциональная. В рамках первой преобладающей является аналитическая, второй — прогностическая, а третьей — операциональная информация. Данное преобладание не следует понимать упрощенно, поскольку любое прогностическое суждение, а тем более рекомендация требует серьезного аналитического, а зачастую и фактологического обоснования.

Информационно-аналитическая цель ставится тогда, когда у организаторов экспертизы отсутствует достаточно четкое представление о ситуации в силу ее сложности и/или отсутствия необходимой информации. Ее получение в отсутствие экспертов или вообще невозможно, или требует больших затрат и времени, ресурс которого невелик. Аналитико-прогностическая цель предполагает выявление основных тенденций развития ситуации и их оценку с точки зрения интересов организаторов (выделение благоприятных и неблагоприятных). И, наконец, операциональная цель ориентирована на определение тех конкретных мероприятий, которые могли бы подавить неблагоприятные и стимулировать благоприятные тенденции^[1].

В связи с проблематикой целеполагания нельзя не затронуть вопроса о псевдоэкспертизе. Она проводится отнюдь не для выяснения мнения экспертов, а для обоснования точки зрения организаторов, а иногда уже принятого политического решения. В этом последнем случае оно формально выступает как научно обоснованное, подкрепленное авторитетом экспертов, на плечи которых тем самым перекладывается немалая часть ответственности за него. При проведении псевдоэкспертизы главную роль играет подбор экспертов, разделяющих точку зрения организаторов. В их единодушии — залог ее успеха.

Цель псевдоэкспертизы сугубо инструментальна и, в сущности, противоречит самой природе экспертизы. Псевдоэкспертиза — это чисто пропагандистское мероприятие, что неизбежно сказывается на ее форме. Как правило, она представляет собой свободную коллективную экспертизу (круглый стол), где заранее организованное единодушие легко маскируется дискуссией по деталям, не имеющим серьезного значения. Одним из наиболее верных признаков псевдоэкспертизы является ее открытость, а тем более публичность, так как без этого ее пропагандистский эффект теряется. Реальная политическая экспертиза всегда носит закрытый характер.

Возвращаясь к целеполаганию, необходимо остановиться в самом общем виде на его связи с условиями. В экстремальных условиях, как правило, ставится операциональная цель. Для реализации других просто нет времени. Тут корреляция между условиями и целеполага- нием достаточно строгая, чего нельзя сказать о других конфигурациях условий. Однако и в других случаях предпочтение отдается все же именно операциональной цели, что объективно обусловлено нуждами политической практики. На втором месте стоит аналитико-прогностическая цель, а на третьем — информационно-аналитическая. Видимо, недооценка значения последней в немалой степени связана с психологией разработчиков политического решения, которые, осуществляя слежение за ситуацией, считают имеющуюся у них информацию достаточной.

Корреляция между целями и формами экспертизы не отличается строгостью, хотя определенная совместимость имеет место. В частности, операциональная цель слабо сочетается с групповыми формами, для которых явно предпочтительной представляется аналитико-прогностическая. Информационно-аналитическую цель перед ними ставить вовсе нецелесообразно, так как она по существу достигается при разработке соответствующей документации (анкеты, проблемные «деревья» и другие тематические разработки). Аналогичным образом обстоит дело и с коллективными формами, где полностью универсальными являются лишь свободная и регулируемая формы.

За выбором формы следует фаза отбора экспертов, которая проводится с учетом необходимости обеспечения их независимости, объективности и эффективности. Под независимостью имеется в виду способность эксперта противостоять давлению внешних сил, заинтересованных в определенном исходе экспертизы. Эксперт-ученый в принципе всегда более независим, чем эксперт-практик. Последний, даже если он этого не осознает, в большей или меньшей степени связан своим должностным статусом, а следовательно, и официальной точкой зрения, в особенности если она недвусмысленно артикулирована.

Независимость эксперта, вне всякого сомнения, есть обязательная предпосылка его объективности, но не гарантия ее. То, что зависимый эксперт не может быть в ряде случаев объективным, видимо, доказывать нет необходимости, но и независимый эксперт не всегда бывает объективен. Следует сразу же подчеркнуть, что речь может идти лишь о неумышленной необъективности. Она тем более опасна, что является латентной для самого эксперта, так как порождается объективно присущими ему социальными и/или личностными свойствами. К первым относятся национальность, социальное происхождение и т.п. Трудно, например, рассчитывать при рассмотрении Карабахского конфликта на объективность экспертных оценок армян и азербайджанцев, даже если они искренне будут стремиться к этому. Не меньшее значение в этом плане могут иметь такие личностные особенности, как идеологическая заданность или корпоративный стиль мышления.

Под идеологической заданностыо имеется в виду не наличие у эксперта тех или иных идеологических предпочтений (таковые есть всегда), а их экстремальное выражение, «зашкаливание». В этом смысле существенную роль играет характер самой идеологии. Все радикальные идеологии стимулируют формирование у человека максимальной идеологической заданное™ (фанатизма). В ходе групповой экспертизы она может быть нивелирована, но этого трудно добиться при проведении коллективной экспертизы. Там под влиянием идеологической заданности когнитивный конфликт имеет очевидную тенденцию перерастания в идеологический, а зачастую в межличностный, что фактически означает провал экспертизы. Стремление к развязыванию идеологического конфликта, как правило, присуще последователям ради кат ьных идеологий.

В отличие от идеологической заданности корпоративный стиль мышления обычно не проявляется столь ярко. Его отличительной особенностью является гипертрофированное представление о роли определенного рода деятельности для государства или общества. Зачастую и сам этот род деятельности отождествляется с определенным ведомством или организацией. Как следствие, интересы данного ведомства или организации рассматриваются как жизненно важные для государства или общества. Более того, вся картина мира видится только через их призму. Наиболее опасным является милитаристический стиль мышления, который присущ не только военным (что вполне объяснимо), но и определенной части гражданских политологов-между- народников^[2].

Наряду с независимостью и объективностью отбор экспертов должен обеспечить и эффективность, т.е. достижение той цели, которая была поставлена перед экспертным исследованием. Поскольку эта цель может быть различной, то необходимо выбирать тех экспертов, профессиональные и психологические характеристики которых в наибольшей степени отвечают данной цели. Об этом уже шла речь выше, когда давалась типология экспертов по их профессиональной специализации и интеллектуальным особенностям. Следует лишь добавить, что задача оптимизации отбора экспертов стоит в полном объеме только перед организаторами коллективного экспертного исследования, так как коллективная форма налагает достаточно жесткий лимит на число экспертов (не более 10-12 человек), с одной стороны, и требует обеспечения их психологической совместимости (включая учет межличностных отношений) — с другой.

При групповой экспертизе, где обычно число экспертов исчисляется несколькими десятками, причем их опрос является заочным и анонимным, вышеуказанная задача далеко не столь серьезна. Объясняется данное обстоятельство тем фактом, что при групповой экспертизе в принципе происходит своего рода жертва качеством во имя количества, ибо надежность статистического результата напрямую зависит от числа опрошенных. Чем меньше опрошенных, тем сомнительнее большинство.

Вообще, стремление к повышению статистической надежности за счет увеличения числа опрашиваемых, восходящее к практике массовых социологических опросов, в принципе неприемлемо для политической экспертизы. Во-первых, ввиду того что в число экспертов попадают просто специалисты, а зачастую даже дилетанты. Во-вторых, имеет место нивелировка опрашиваемых (принцип: «один человек — один голос»). Профильная специализация и особенности интеллекта остаются вне зоны внимания. О каком-либо использовании потенциала неординарных экспертов не может быть и речи, а следовательно, господствует тривиальное, а не оригинальное мышление.

В коллективных формах, где требуется достаточно строгий отбор экспертов, перед организаторами стоит проблема формирования представления о составе экспертного корпуса, т.е. о всех тех экспертах, которые действительно являются таковыми и реально могут быть использованы. Обычно в первом приближении оно формируется на основе формальных критериев (публикации, ученые звания, должностное положение и т.п.).

Сам по себе данный способ не лишен рациональности, так как позволяет в какой-то степени отделить экспертов от специалистов и выявить их профильную специализацию. О психологических особенностях по этим критериям судить весьма сложно, а они, как уже отмечалось выше, играют немалую роль.

Не случайно при индивидуальной экспертизе предпочтение отдается неформальным критериям (авторитет, личное знакомство и т.д.). Осознание недостаточности формальных критериев побудило начать разработку системы неформальных критериев и методик их применения (самооценка, взаимооценка, «снежный ком» и т.п.). Однако сколько-нибудь широкого применения они не получили, видимо, в силу чисто психологической дискомфортности и громоздкости.

Параллельно с отбором экспертов ведется разработка необходимой документации, которая подразделяется на две части: справочную и тематическую. К первой относятся справочные материалы об экспертизе. Иногда они дополняются мини-досье, содержащим последнюю информацию об исследуемой тематике. Все справочные материалы готовятся организаторами. Что касается второй части, то она включает в себя различные тематические разработки. Они готовятся экспертами с участием или без участия организаторов. Эти эксперты, как правило, в дальнейшей работе участия не принимают. Исключение в этом плане составляет эксперт — автор постановочного доклада для свободной коллективной экспертизы.

На этом завершается стадия подготовки. За ней следует стадия проведения, которая и представляет собой процесс получения экспертной информации. При групповых формах он представляет собой в сущности чисто техническую операцию (распространение и сбор анкет). Соответственно, сам термин «проведение» весьма условен. В строгом смысле слова он применим лишь к коллективным формам, где имеет место взаимодействие экспертов и их совместный творческий труд. Как таковой, для того, чтобы быть эффективным, он нуждается в управлении, а следовательно, в руководителе (руководителях). При прочих равных условиях от его способностей зависит результат совместного труда экспертов.

Руководитель коллективной экспертизы управляет ее проведением по трем основным аспектам: регламентационному, содержательному и психологическому. На первый взгляд может показаться, что соблюдение установленного регламента — дело сугубо формальное. Это не так. В условиях ограниченного лимита времени строгое соблюдение регламента есть обязательное условие сохранения элементарного порядка.

Оно обеспечивает относительно равномерное распределение ресурса времени между экспертами, не допуская тем самым доминирования одних за счет других. Особенно негативное влияние на весь ход коллективной экспертизы оказывает нарушение регламента в пользу эксперта, занимающего высокое должностное положение. Как неизбежное следствие этого у остальных участников возникает обоснованное подозрение, что экспертиза организована в сущности лишь для выяснения мнения данного должностного лица (лиц), а следовательно, их мнения организаторам малоинтересны, если не сказать больше. В этом случае эксперты теряют всякий интерес к происходящему, минимизируют свое участие и стремятся как можно быстрее завершить экспертизу. Коллективной работы, естественно, не получается.

В рамках содержательного аспекта управления основной задачей можно считать недопущение подмены обозначенной тематики. Она может иметь место как в результате действий одного из экспертов, так и в ходе стихийного развития дискуссии. В подавляющем большинстве случаев подобного рода подмена происходит либо путем неоправданного расширения рамок дискуссии и переключения внимания экспертов на вопросы, в лучшем случае лишь косвенно связанные с обозначенной тематикой, либо ее перевода с конкретного на абстрактный, доктринальный уровень. Если руководитель не сможет пресечь в зародыше подобного рода подмену, то экспертиза, как правило, оказывается сорванной.

Третьим по счету, но отнюдь не по значению, является психологический аспект управления. Едва ли не самой сложной задачей руководителя при проведении коллективной экспертизы считается (и не без оснований) поддержание нормального психологического климата среди участников дискуссии’. Его нарушение всегда в той или иной степени связано с несоблюдением этических норм и, как следствие, возникновением межличностных конфликтов, которые не только отвлекают внимание самих их участников, но и крайне негативно воздействуют на других экспертов. Неизбежные эмоциональные всплески создают общую стрессовую обстановку.

Если межличностный конфликт возникает спонтанно, то при умелом поведении руководителя он остается лишь неприятным эпизодом. В гораздо более сложном положении оказывается руководитель, если подобного рода конфликт является застарелым, имеющим немалую предысторию. Его погасить гораздо труднее, так как он в ходе экспертизы развивается волнообразно. Конечно, радикальное решение в этом случае достигается во время отбора, когда один из участников этого конфликта не приглашается для участия в экспертизе, однако для этого нужно хорошо знать межличностные отношения экспертов, что далеко не всегда возможно.

Наряду с вышеперечисленными аспектами, перед руководителем экспертизы может встать и ряд других. В частности, он должен стимулировать дискуссию в случае ее преждевременного затухания, предотвращать доминирование одного из экспертов (появление псевдолидера) и т.д. Таким образом, круг обязанностей руководителя достаточно широк и сложен, что предъявляет к его выбору весьма серьезные требования, среди которых следует особо выделить волевые качества и жизненный опыт.

После проведения экспертизы следует финальная стадия — оценка ее результатов, которая проходит на двух различных уровнях: организационном и содержательном. Предварительным условием этой последней является изучение полученной экспертной информации. ^[3]

Начальной является организационная оценка, т.е. определение того, насколько качественно осуществлена подготовка и проведена экспертиза. В случае если выявляются очевидные ошибки и недоработки, то организационная оценка оказывается отрицательной и, соответственно, содержательная оценка, как правило, теряет смысл. Например, при групповой экспертизе не удалось собрать значительную часть розданных анкет, а среди собранных многие заполнены небрежно или даже неправильно. Во время коллективной экспертизы возник идеологический конфликт, в который оказалось втянутым большинство ее участников. Такие грубые провалы достаточно редки, но менее значимые недостатки встречаются достаточно часто. Их примерная значимость и предопределяет общую организационную оценку.

В том случае, когда организационная оценка положительна, за ней должна следовать содержательная, однако это может быть сделано только после изучения полученной экспертной информации. Содержательная оценка есть результат изучения организаторами экспертизы данной информации. При групповой экспертизе она представляет собой совокупность заполненных экспертами анкет, которые подвергаются статистической обработке. Полученные количественные результаты осмысливаются, и дается более или менее развернутая их интерпретация. Следует подчеркнуть, что объектом осмысления выступает только совокупность мнений экспертов, но не тематика экспертизы. Соответственно, и интерпретация носит преимущественно поверхностный характер, ограничиваясь в основном очевидными моментами и, в частности, количественным соотношением мнений. Вопрос о степени их обоснованности, как правило, не затрагивается.

При коллективной экспертизе экспертная информация представлена в виде распечатки магнитофонных записей и — гораздо реже — стенограмм. Это гораздо более «сырой» материал по сравнению с анкетой. Он нуждается как в техническом, так и в содержательном редактировании. Последнее также осуществляется организаторами и представляет собой не что иное, как уже упоминавшуюся стадию отбора, поскольку в ее ходе происходит отбраковка нерелевантной, избыточной и отчасти ложной информации.

Если на этом работа с экспертной информацией заканчивается и она передается разработчикам или лицам, принимающим политическое решение (ЛПР), то налицо элементарное экспертное исследование. Сложным оно становится только тогда, когда отредактированная экспертная информация подвергается обработке (реферированию).

Обычно сложное экспертное исследование представляет собой реферат с более или менее развернутыми комментариями.

Экспертное исследование передается разработчикам или даже непосредственно ЛПР, которые и дают содержательную оценку проведенной экспертизе исходя из того, насколько удалось реализовать намеченные цели. Поскольку да иные цели в конечном счете основываются на практических потребностях, то содержательная оценка дается в зависимости от практической полезности экспертной информации, хотя в некоторых случаях на нее могут влиять и субъективные мотивы^[4].

Завершая на этом рассмотрение проблематики экспертного исследования, следует констатировать, что оно имеет ряд несомненных преимуществ перед содержательным. Вместе с тем ему присущ и весьма серьезный недостаток. Он заключается в сохранении относительно высокой степени неопределенности, что обусловлено различием мнений экспертов. Опора на мнение большинства, с учетом преобладания ординарных экспертов, далеко не всегда оказывается обоснованной.

Более того, когда в процессе экспертизы высказываются не два, а несколько альтернативных мнений, то неопределенность нарастает и опора на относительное большинство (если оно есть) весьма сомнительна. Зачастую бывает так, что эти мнения в общих чертах известны еще до экспертизы, а она организуется именно для выяснения степени их обоснованности (в частности, при постановке операциональной цели). Тогда отсутствие ярко выраженного большинства означает, что в целом существовавшая до экспертизы степень неопределенности осталась неизменной, т.е. значимый результат отсутствует.

Если под этим углом зрения проанализировать эволюцию форм экспертизы, то нельзя не заметить, что она была направлена именно на устранение элемента неопределенности. Однако задача снятия или минимизации данного недостатка так и не была решена. Видимо, возможности ее решения в рамках отдельно взятой экспертизы практически исчерпаны. Представляется, что этого можно добиться путем перевода развития экспертизы на другой уровень — системы экспертиз, организуемых специальной постоянно действующей экспертной службой.

• [1] Как правило, для политических руководителей (лиц, принимающих политическиерешения) особый интерес представляют именно операциональные рекомендации экспертов, так как именно они облегчают выбор оптимального решения.
• [2] В 1960-1970-х годах в американской политической науке очень влиятельной былагруппа так называемых «профессиональных стратегов», которые, будучи гражданскими,занимались разработкой проблематики ядерной войны, которую они считали в принципе допустимой.
• [3] В связи с этим организаторы экспертизы должны избегать приглашения экспертов,между которыми в силу тех или иных причин существуют неприязненные личные отношения. Сделать это не всегда удается, так как они moot быть латентными (например,скрытая ревность одного к успехам другого).
• [4] В частности, негативная содержательная оценка может быть дана ЛПР в тех случаях, когда экспертная информация противоречит ведомственным интересам, ранеевысказанному им мнению и т.п.