Организация и проведение экспертизы

 

Процедура организации и проведения экспертизы включает несколько этапов.

Этап I. Создание группы управления, назначение ее руководителя и разработка руководящего документа экспертизы.

В руководящем документе экспертизы определяются цели и задачи экспертизы, обосновывается ее необходимость, определяются основные этапы и порядок осуществления экспертизы, сроки выполнения отдельных работ, указываются состав, задачи, обязанности и права группы управления; определяются источники финансового и материального обеспечения работ.

Задача группы управления состоит в решении всех вопросов, оговоренных руководящим документом.

Этап II. Подбор и формирование экспертной группы.

Основным требованием к процедуре экспертизы является надежность результатов, достигаемая в том числе и за счет качественной и количественной оптимизации состава группы экспертов.

На этом этапе устанавливают долевой состав экспертов, количество экспертов в группе, предварительный список экспертов. Затем с помощью процедуры отбора, предлагаемой группой управления, формируют группу экспертов.

Существуют два альтернативных подхода к отбору экспертов - алгебраический и статистический. Эти подходы отражают принципиальную разницу между двумя типами задач, решаемых с помощью экспертизы. Алгебраический подход применим лишь в том случае, если мнения всех экспертов рассматриваются как равноправные, а статистический - если значимость мнения эксперта зависит от его компетентности. Мнения экспертов могут быть равноправными лишь в том случае, если задачей экспертизы является не выявление некоторой объективной истины, не оценка объекта (свойства), независимо от сознания, интересов экспертов, а напротив, согласование интересов экспертов, выработка компромиссного коллективного решения, учет субъективности в суждениях эксперта. Эти различия в характере решаемых задач сказываются на процедуре формирования экспертной группы: в одном случае требуется отбор наиболее компетентных лиц, в другом - наиболее «представительных», отражающих мнения, интересы определенных социальных групп или институтов[4].

Общее требование, налагаемое на работу по подбору экспертов, - обеспечение эффективного решения проблемы. Это требование означает обеспечение высокой достоверности экспертного оценивания при заданном уровне затрат на него. Достоверность экспертного оценивания тем выше, чем большее количество экспертов мы привлекаем, чем выше их индивидуальные характеристики, чем шире представлены в экспертной группе специалисты различных областей.

Существует довольно много подходов к количественной оценке характеристик экспертов, эти подходы можно объединить в 4 группы:

• методы самооценки;

• методы оценки группой каждого специалиста;

• оценки на основе результатов прошлой деятельности экспертов;

• методы определения компетентности кандидатов.

Этап III. Разработка способа организации и методики проведения, как опроса экспертов, так и обработки данных экспертного опроса. На этом этапе устанавливают форму проведения опроса экспертов - анкетирование, интервьюирование, дискуссия, деловая игра, совещание, метод коллективной генерации идей («мозговой штурм») и т.д.; определяют место и время опроса, способ предъявления вопросов экспертам (очный, заочный, устный, письменный; вопросы - открытые (т.е. свободные по форме), закрытые (т.е. с набором возможных альтернатив), прямые, косвенные и т.п., порядок фиксации и сбора результатов опроса, информационное обеспечение работы экспертов.

Рассмотрим некоторые формы проведения опроса экспертов.

Метод комиссий состоит в открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии. Преимущества метода комиссий: возможен рост информированности экспертов за счет обсуждения обоснования экспертных оценок, а также обратная связь - под воздействием полученной информации эксперт может изменить первоначальную точку зрения. Недостатки метода комиссий: отсутствие анонимности, из-за чего дискуссия нередко приобретает характер полемики наиболее авторитетных экспертов; различная активность экспертов часто не совпадает с их компетентностью, публичность высказываний сочетается порой с нежеланием некоторых экспертов отступить от ранее высказанных мнений.

Экспертиза по методу суда характеризуется аналогией с судебным процессом.

Состав экспертов делится на две группы. Одна выступает в качестве защиты рассматриваемой альтернативы, другая группа объявляется противниками и пытается выявить ее отрицательные черты. Существует и третья группа, которая регулирует ход экспертизы и выносит окончательное решение.

Основная направленность «мозговой атаки» (по-другому этот метод называют также методом «мозгового штурма» или методом коллективной генерации идей) - выявление новых идей. Для этой цели организаторы экспертизы создают атмосферу, наиболее благоприятствующую генерированию идей (благожелательности, поддержки), освобождающую эксперта от излишней скованности. Обсуждаемая проблема должна быть четко сформулирована. Данный метод характеризуется открытым высказыванием мнений специалистов по решению конкретной задачи. При этом должны соблюдаться два условия: 1) запрещается критика чужих суждений; 2) предлагается высказывать любые идеи по решению данного вопроса без учета их сиюминутной ценности или возможности реализации. Все высказанные идеи фиксируются и после обсуждения детально прорабатываются. При этом выявляются рациональные моменты в каждом из высказываний и на основе их обобщения формируется решение. Достоинство данного метода - возможность принятия решения за сравнительно короткий срок.

Дельфийский метод является одним из основных при проведении экспертиз и имеет множество модификаций (можно сказать, что это целая группа методов, объединенных общими требованиями к организации экспертных процедур и форме получения экспертных оценок). Метод проводится в несколько туров. На первом туре экспертам сообщается цель экспертизы и формулируются вопросы непосредственно по предмету экспертизы. Во втором туре экспертам предъявляются усредненная оценка экспертной комиссии и обоснования экспертов, высказавших крайние точки зрения. Последующие туры не отличаются от второго. Характерной особенностью метода является уменьшающийся от тура к туру разброс оценок экспертов, их возрастающая согласованность (однако иногда может наблюдаться поляризация различных точек зрения). Дельфийский метод предусматривает создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии, что достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы - с другой. Метод прогнозного графа - это метод прогнозирования развития сложных систем, включающий несколько этапов (центральное место в нем занимает формирование прогнозного графа). На первом этапе составляется предварительный список промежуточных целей, достижение которых необходимо для достижения конечной цели. Эксперты указывают специалистов, способных оценить возможность реализации каждой из указанных промежуточных и конечной целей. На втором этапе анализу подвергаются промежуточные цели, сформированные экспертами на первом этапе (эксперты второго тура имеют право корректировать цели, сформулированные в первом туре). Последующие этапы экспертизы аналогичны второму. Процедура заканчивается при достижении того уровня целей, при котором не требуется проведения дополнительных исследований и разработок. Цель метода сценариев - с определенным уровнем достоверности выявить возможные тенденции развития событий, взаимосвязи между действующими факторами, сформировать картину состояний, к которым может прийти ситуация под влиянием тех или иных воздействий. Перечень возможных вариантов развития событий позволяет обнаружить критические ситуации для принятия решений, потенциальные последствия предлагаемых альтернатив и выбор на этой основе наиболее эффективной.

Этап IV. Проведение экспертного опроса.

Этап V. Обработка и анализ результатов экспертного опроса.

Цель обработки данных экспертного опроса - получение обобщенной экспертной оценки на базе индивидуальных оценок экспертов.

Задача получения обобщенной экспертной оценки может быть решена следующими методами:

) статистическими;

) алгебраическими;

) методами шкалирования;

) при помощи эвристических процедур.

Статистические методы основаны на предположении о случайности отклонения оценок экспертов от истинных значений оцениваемых параметров. Задача получения результирующих оценок ставится как задача восстановления истинного параметра на основе имеющихся оценок с наименьшей погрешностью.

Суть алгебраических методов заключается в задании расстояния на множестве оценок экспертов и определении такой результирующей оценки, сумма расстояний от которой до оценок экспертов будет минимальной.

При использовании методов шкалирования по экспертной информации о степени различия объектов определяется минимальный набор критериев и оценок по ним, устанавливающих указанные экспертом отличия.

Метод индексной группировки экспертных оценок

Примером эвристического метода обработки мнений экспертов является метод индексной группировки экспертных оценок, алгоритм которого рассмотрим подробно.

Пусть а_ij - экспертная оценка (n = , где N - количество экспертных оценок). Шаг 1. Установление средней оценки ( ):

 

  (8)

 

Где ,

Шаг 2. Расчет отклонений экспертных оценок от установленной средней величины (d_n), формирование множеств Р и М (Р - множество экспертных оценок, образовавших положительные отклонения от среднего; М - множество экспертных оценок, образовавших отрицательные отклонения от среднего) и подсчет количества элементов этих множеств (m - количество элементов множества М; р - количество элементов множества Р):

  (9)

 

Если , то

Если , то

Шаг 3. Определение сумм отрицательных (S^-) и положительных (S⁺) отклонений:

 

; (10)

 

Шаг 4. Установление значений индексов k₁ и k₂:

Если , то ; k₂=1

Если , то k₁=1;

Шаг 5. Расчет обобщенной экспертной оценки (А*):

 

  (11)

 

Пример. Имеется 7 экспертных оценок: 5, 6, 8, 9, 9, Ш, И • Необходимо получить обобщенную экспертную оценку по методу индексной группировки экспертных оценок.

Шаг 1: = (5 + 11)/2=8.

Шаг 2: 5-8 = -3;

-8 = -2;

-8 = 0;

-8 = 1;

-8 = 1;

-8 = 2;

-8 = 3.

Шаг 3:  = 7, = -5.

Шаг 4: поскольку  > | |, то  = 7 / 5 = 1, 4,  = 1.

Шаг 5:

После получения обобщенной экспертной оценки необходимо оценить качество экспертизы. Качество экспертизы определяется той надежностью, с которой можно пользоваться обобщенными (фупповыми) оценками, а они в свою очередь могут считаться надежными только при условии хорошей согласованности мнений экспертов, которая может быть оценена с помощью количественных методов (поскольку экспертные оценки могут рассматриваться как случайные переменные, распределение которых отражает суждения специалистов о вероятности того или иного исхода события, то для анализа разброса и согласованности этих оценок могут применяться обычные статистические методы).этап. Формулирование решения проблемы на основе экспертных оценок, оформление отчета и его утверждение.

Итак, на этапах II, III и V с целью повышения достоверности экспертных суждений следует уделить особое внимание грамотному использованию математических методов.

 

⇐ Предыдущая123456Следующая ⇒

Поделиться: