МЕТОДЫ ОРГАНИЗАЦИИ СЛОЖНЫХ ЭКСПЕРТИЗ ПРИ ОЦЕНКЕ СОСТАВЛЯЮЩИХ ИЕРАРХИЧЕСКИХ СТРУКТУР

Методы организации сложных экспертиз разрабатывают для повышения объективности получения оценок путем использования основной идеи системного анализа - расчленения большой первоначальной неопределенности проблемы на более обозримые составные части, лучше поддающиеся осмыслению.

В данной главе рассматриваются методы, основанные на усложненной экспертной процедуре, предложенной в методике ПАТТЕРН (раздел 2.1); метод парных (попарных) сравнений Т. Саати (раздел 2.2); метод сочетания экспертных оценок с косвенными количественными, предложенный в методике, основанной на концепции деятельности (раздел 2.3).

Рассматриваются также принципы ав томатизации обработки многокритериальных экспертных оценок относительной важности составляющих иерархических структур.

Оценка относительной важности составляющих «дерева целей» в методике ПАТТЕРН

Рассмотренные выше недостатки экспертных оценок привели к необходимости создания методов, повышающих объективность получения оценок путем расчленения большой первоначальной неопределенности проблемы, предлагаемой эксперту для оценки, на более мелкие, лучше поддающиеся осмыслению.

В качестве одного из этих методов может быть использован способ усложненной многокритериальной экспертной процедуры, предложенный в методике ПАТТЕРН [7].

Методика ПАТТЕРН (PATTERN)^[1] была первой методикой системного анализа, в которой были определены порядок, методы формирования и оценки приоритетов элементов структур целей (названных в методике «деревьями целей».

Принципиальная структура методики ПАТТЕРН приведена на рис. 2.1.

В методике ПАТТЕРН предложена усложненная экспертная процедура, в которой выделяются три группы критериев (коэффициентов):

• • относительной важности;
• • взаимной полезности;
• • состояния и сроков разработки («состояние - срок»).

Предложенные в ПАТТЕРН группы критериев применялись для оценки составляющих «дерева целей» и оценки проектов, реализующих цели. В последующем разрабатывались и применялись модификации этих видов критериев. Но основная идея многокритериальной оценки сохранялась.

Рис. 2.1

Эти группы методов рассмотрены в первоначальном варианте ПАТТЕРН следующим образом.

Оценка относительной важности с учетом нескольких критериев и их весовых коэффициентов. Оценка относительной важности анализируемых компонент осуществляется методом нормирования. Используется нескольких критериев (коэффициентов) относительной важности и учитываются их весовые коэффициенты. Составляется матрица соответствия элементов, подчиненных узлу, и критериев, принятых при их оценке (табл. 2.1).

В таблице приняты следующие обозначения: к_х - наименование критерия; q_x - вес критерия; S_JX - относительный все оцениваемого элемента (по соответствующему критерию); Гу - коэффициент относительной важности j-ro элемента i-го уровня.

Таблица 2.1

При заполнении таблицы в автоматизированной процедуре предусмотрена проверка выполнения двух нормализующих логических условий для достижения однородности результатов: нормирование весовых коэффициентов критериев

и оценок относительной важности оцениваемых компонент по каждому критерию

Результирующие оценки относительной важности j-го элемента i- го уровня подсчитываются следующим образом:

После окончания обработки оценок - производится проверка правильности полученных результирующих оценок

В многоуровневой иерархической структуре рассмотренная процедура повторяется на каждом уровне для каждого узла иерархической структуры.

В этом случае процедуру оценки начинают с верхнего уровня иерархической структуры, далее перемещаются на следующий сверху уровень, где проводится последовательно оценка по каждому из узлов, затем - на третий сверху с последовательной оценкой по каждому из узлов и т.д. Для получения оценки относительной важности элемента самого нижнего или любого элемента промежуточных уровней иерархической структуры, необходимо умножить оценку элемента Гу интересующего уровня на аналогичные оценки всех элементов-узлов, находящихся между этим элементом и вершиной иерархии.

В реальных условиях процедура оценки организуется, как правило, в форме двух-трех туров. После проведения каждого тура эксперты знакомятся с результатами оценок коллег. Тем экспертам, мнения которых существенно отличается от друг их, может быть предоставлена возможность обоснования своей точки зрения. Такая процедура может повысить объективность оценок, побудить некоторых экспертов пересмотреть свои оценки.

Объективность оценок повышается также за счет: расчленения большой неопределенности но критериям; возможности выделения сфер компетентности экспертов для ответа по разным критериям; учета коэффициентов значимости критериев.

Оценка взаимной полезности. В соответствии с идеей методики ПАТТЕРН взаимная полезность представляет собой увеличение научно- технического потенциала для создания одной подсистемы за счет знаний, накапливаемых при разработке другой подсистемы (или нескольких подсистем).

Полный перебор всех компонентов соответствующего уровня «дерева целей» весьма трудоемок. Поэтому в различных вариантах применения методики ПАТТЕРН для решения конкретных проблем предлагались различные варианты сокращения полного перебора сопоставляемых компонентов (например, предлагалось определять коэффициент взаимной полезности относительно двух стоящих справа и слева подсистем, компонентов).

Оценка состояния и сроков разработки («состояние - срок»).

Коэффициент «состояние - срок» был введен для оценки состояния разработки и возможных сроков ее завершения.

Эти коэффициенты были введены для оценки возможностей реализации разработок с учетом цикла разработки нового изделия:

теоретические исследования => поисковая разработка => перспективная разработка => техническое проектирование => производственная готовность (или изготовление опытного образца).

Цикл научные исследования - производственная готовность приведен в терминах методики ПАТТЕРН [7]. Его можно уточнять с учетом конкретных проектов и программ.

Коэффициент «состояние - срок» определялся на основе таблиц типа табл. 2.2 и 1рафиков, построенных на их основе типа приведенного на рис. 2.2, на котором по оси абсцисс расположены этапы цикла изготовления нового изделия, а по оси ординат - относительное распределение сил (ресурсов) разработчиков для завершения работ в заданный срок.

В качестве ресурсов можно рассматривать финансовые, материальные, кадровые и г.п. экономические ресурсы, необходимые для выполнения соответствующих этапов разработки.

Рис. 2.2

Кривая на рис. 2.2. построена как функция зависимости ресурсов (например, финансовых расходов, материалов) от типа разработок на соответствующем этапе. Полная площадь иод кривой характеризует суммарные затраты ресурса, для которого построена кривая, заштрихованная площадь - расходы, необходимые для завершения разработки.

Коэффициент «состояние - срок» количественно определяется следующим образом:

где - полный расход ресурса, необходимый для разработки;

- расходы, необходимые для завершения разработки.

Характер кривой зависит от конкретных проектов и в значительной степени от субъективных оценок экспертов. Но, тем нс менее, польза от построения такого графика очевидна. Появляется возможность определить нс только состояние разработки с точки зрения сроков, но и потребность в кадрах для соответствующих этапов, относительный объем финансовых и иных экономических ресурсов.

Кривые такого рода могут быть построены по каждому виду ресурсов, и на их основе можно принимать решения о распределении ресурсов по этапам разработки изделия.

В нашей стране рассматриваемый критерий обычно трактовался как оценка эффективности использования экономических ресурсов.

Практика использования системы ПАТТЕРН показала, что она позволяет проводить анализ сложных проблемных ситуаций, распределять но важности 01ромнос количество данных в любой области деятельности, исследовать взаимное соотношение постоянных и переменных факторов, на которых основываются и на которые влияют принимаемые ими решения.

Система ПАТТЕРН явилась важным инструментом анализа труднорешаемых проблем с большой неопределенностью, прогнозирования и планирования их выполнения. Основные идеи методики применялись в различных областях - научные исследования, проектирование и создание систем различной сложности в научно-исследовательских организациях и на предприятиях, расширение рынков сбыта военно-космической продукции и т.д. Методика ПАТТЕРН обеспечивала возможность прогнозирования на срок 10-15 лет, что соответствовало «жизненному циклу» становления и старения техники.

Главное достоинство методики ПАТТЕРН состоит в том, что в ней определены классы критериев оценки относительной важности, взаимной полезности, состояния и сроков разработки («состояние - срок»).

Эти классы критериев в различных модификациях используются в ряде других методик и до сих пор являются основой при определении системы оценок составляющих структур целей.

Что касается собственно формирования структуры целей, то из опубликованных материалов известно, что в различных модификациях методики разным уровням иерархии предлагается присваивать разные названия.

Логика же формирования структуры, как отмечали сами авторы, не отрабатывалась.

Не уделялось внимания разработке принципов и приемов структуризации ни в последующих вариантах методики - ПЛТТЕРН-МО, НАСА-ПАТТЕРН, ни в других зарубежных методиках - ПРОФИЛЕ, ППБ и т.п. [7,31 идр.].

Здесь же обратим внимание на то, за счет чего предлагаемая в ПАТТЕРН система критериев позволяет повысить объективность оценок, и приведем варианты ее развития.

• 1. Вводятся три группы критериев: относительной важности, взаимной полезности, «состояние-срок», и но каждой группе определяются соответствующие труппы экспертов, что обеспечивает разделение большой неопределенности на более обозримые и повышает объективность оценок.
• 2. Оценка относительной важности проводится с учетом нескольких критериев и их весовых коэффициентов.

Виды критериев и их весовые коэффициенты определяются лицом, принимающим решения, организующим экспертизу. По критериям определяются сферы компетентности экспертов, что также способствует повышению объективности оценок.

Составляется матрица соответствия элементов, подчиненных узлу, и критериев, принятых при их оценке (см. табл. 2.1).

Оценка весовых коэффициентов критериев q_x и оцениваемых составляющих Sj_X осуществляется методом нормирования. При этом проводится проверка выполнения двух условий нормирования (2.1) и (2.2).

В соответствии с (2.3) определяются результирующие оценки относительной важности у'-го элемента /-го уровня. После окончания обработки оценок - производится проверка правильности

полученных результирующих оценок согласно (2.4)

Приняты следующие обозначения: к_х - наименование критерия; <г/, вес критерия; Sj_x - относительный вес оцениваемого элемента (по соответствующему критерию); коэффициент относительной важности у-го элемента i'-го уровня. ^[2]

дится последовательно оценка по каждому из узлов, затем - на третий сверху с последовательной оценкой по каждому из узлов и г.д. Для получения нормированных оценок относительной важности элемента самого нижнего или любого элемента промежуточных уровней иерархической структуры необходимо умножить оценку элемента r_v интересующего уровня на аналогичные оценки всех элементов-узлов, находящихся между этим элементом и вершиной иерархии.

4. Процедура оценки организуется, как правило, в форме двух-трех туров, г.е. с использованием Дельфи-метода. После проведения каждого тура эксперты знакомятся с результатами оценок коллег. Тем экспертам, мнения которых существенно отличается от других, может быть предоставлена возможность обоснования своей точки зрения, что может повысить объективность оценок, побудить некоторых экспертов пересмотреть свои оценки.

Таким образом, повышение объективности оценок при использовании идей этой методики повышается за счет:

• • расчленения большой неопределенности по уровням иерархической структуры;
• • введения групп критериев и расчленения неопределенности по группам критериев;
• • введения видов критериев относительной важности и учета весовых коэффициентов критериев;
• • возможности выделения сфер компетентности экспертов для ответа по разным группам и видам критериев.

В последующем метод, предложенный в ПАТТЕРН, развивался.

При организации процедуры оценки предлагалось учитывать коэффициенты компетентности экспертов, уточняемые на каждом туре опроса с учетом их близости к усредненным оценкам. Для учета коэффициентов компетентности применялась процедура, аналогичная приведенной, только в матрице вместо критериев размещались эксперты и их коэффициенты компетентности.

Последовательность обработки результатов оценок при учете и весовых коэффициентов критериев, и коэффициентов компетентности экспертов может быть любая: можно вначале обрабатывать оценки в последовательности, изложенной выше, а можно - на втором туре вначале учесть коэффициенты компетентности экспертов и обработку вести но каждому критерию последовательно, а затем - объединить оценки но разным критериям.

При большом различии коэффициентов компетентности экспертов для обработки оценок используются более сложные алгоритмы с учетом согласованности мнений экспертов, а на их основе следует либо исключать мнения экспертов, имеющих низкую согласованность мнений с другими, либо обращать особое внимание на эти мнения, как на редкие.

Названные меры, позволяющие повысить объективность оценки, можно дополнить выделением сфер компетентности экспертов но уровням и узлам иерархической структуры.

В то же время они не решают всех проблем повышения объективности оценок.

Процедуры, учитывающие весовые коэффициенты критериев и коэффициенты компетентности экспертов, позволяют получить более объективные оценки по сравнению с простым усреднением мнений экспертов. Однако при этом сохраняется один из основных недостатков экспертных оценок - усреднение, применение итераций и введение зависимости коэффициентов компетентности экспертов от средней оценки усиливает коллективно-субъективные мнения.

Поэтому, наряду с выявлением противоречивых и редких мнений (мнений экспертов с низким коэффициентом согласованности с другими), полезно использовать косвенные количественные оценки, рассматриваемые ниже, и графические представления (рис. 2.5), позволяющие сопоставлять эти оценки и оценки экспертов. При этом целесообразно учитывать не суммарные гу, а промежуточные оценки q_x»s_jx по каждому критерию.

Результаты могут выводиться на дисплей или принтер либо в виде гистограмм, либо оценки разных экспертов и косвенные количественные оценки могут сопоставляться в одной плоскости, что удобнее для выявления противоречивых оценок.

Группа оценок взаимной полезности, выделенная в системе оценок методики ПАТТЕРН, позволяет уточнить оценки относительной важности. Однако полный перебор всех компонентов соответствующего уровня «дерева целей» весьма трудоемок. Поэтому предлагались различные варианты сокращения полного перебора сопоставляемых компонентов. В различных разработках в нашей стране оценка взаимной полезности иногда трактовалась как оценка взаимосвязанности без определения числового коэффициента силы связи.

Например, при разработке автоматизированных систем управления выбор состава подсистем осуществлялся с учетом их взаимосвязанности, и в состав структуры функциональной части АСУ на планируемый период включались подсистемы, получившие по сравнению с другими более низкие оценки относительной важности, но связанные с подсистемами, получившими высокие оценки относительной важности; а разработка подсистем, не связанных с наиболее значимыми, переносилась на последующий плановый период.

Оценки состояния и сроков разработки («состояние - срок») в варианте методики ПАТТЕРН трудно применять в реальных условиях. Требуется предварительное тщательное обоснование затрат ресурсов по этапам жизненного цикла проекта (табл. 2.2). По мере реализации проекта исходные оценки могут изменяться. На практике рассматриваемый критерий иногда трактуется как оценка эффективности использования экономических ресурсов.

В то же время для крупных дорогостоящих проектов применение идей оценки по критерию «состояние - срок») представляется полезным.

В последующем разрабатывались и применялись модификации групп и видов критериев, предложенных в методике ПАТТЕРН.

Для выполнения расчетных операций разрабатывают автоматизированные процедуры.

При разработке автоматизированной процедуры, естественно, необходимо предусмотреть рассмотренные условия нормирования и перемножения исходных оценок нижележащих элементов на оценки объединяющей их компоненты. Примеры автоматизированных процедур приведены в приложениях.

• [1] Англ, pattern - а) шаблон; б) прицел; аббревиатуру PATTERN - Planning AssistanceThrough Technical Evaluation from Relevance Number (помощь планированию посредством относительных показателей технической оценки).
• [2] В многоуровневой иерархической структуре рассмотренная процедура повторяется па каждом уровне для каждого узла иерархической структуры. Процедуру оценки начинают с верхнего уровня структуры, далее перемещаются на следующий сверху уровень, где прово-