Ранжировка двумя экспертами пяти объектов

 

Эксперт	dt	d2	d3	d4	d5
1	5	4	3	2	1
2	1	2	3	4	5
Сумма рангов	6	6	6	6	6

352

<> приверженность экспертов позиций своей научной школы;

• отстаивание личных, ведомственных, корпоративных, нацио-¹ нальных, политических и других интересов и пр.

Если для выявления мнений экспертов использовалось ранжи­рование элементов множества предъявления, целесообразно вы­делить отдельные наиболее отличающиеся от всех остальных ран­жировки и выяснить, не распадается ли экспертная группа на несколько подгрупп, каждая из которых придерживается своей точки зрения. Если это так, то для каждой из подгрупп следует получить «среднюю» ранжировку, применив тот или иной из рас­смотренных методов.

Строго научно обоснованных методов решения задачи о выде­лении «нестандартных» ранжировок и разделении экспертной груп­пы на подгруппы пока не создано. Рекомендуется считать «не­стандартными» ранжировки, которые достаточно «далеко» нахо­дятся от групповой, а подгруппы выделять так, чтобы согласо­ванность входящих в них экспертов была достаточно высока и ран­жировки, выражающие мнения этих подгрупп, бьши далеки друг от друга. В качестве меры удаления часто используют метрику Хем-минга для соответствующих квазипорядков.

В случае использования других способов выражения предпоч­тений экспертов для выявления оригинальных (противоречивых) мнений применяют классические статистические методы, преж­де всего интервальное оценивание, определяя статистическую значимость выхода какой-либо оценки за границы заданного до­верительного интервала (как правило, для этого используют таб­лицы нормального распределения или распределения Стьюдента). При значительном расхождении мнений экспертов целесообраз­но применить комплексные экспертные процедуры (например, метод Дельфи).

В качестве примера приведем вариант выделения группы экс­пертов с оригинальными мнениями применительно к использова­нию точечных оценок. Пусть семь экспертов оценивали ожидаемую прибыль П от внедрения нового торгового оборудования (в услов­ных единицах):

Эксперт............. 12              3    4     5       6    7

Оценка............ 74    72    50  75    70     74  73

Средняя оценка прибыли для группы (П_ср) составляет 69,7 еди­ниц; среднее квадратическое отклонение (с) оценки составляет 8,845 единиц, что, очевидно, свидетельствует о значительном рас­согласовании мнений экспертов. Причина этого — оригинальное мнение эксперта 3. Статистическая проверка оценки эксперта 3 показывает, что при доверительной вероятности 0,05 данную оцен­ку можно считать аномальной (нестандартной), поскольку по таб-

353

лице распределения Стьюдента для этих условий при параметре закона

значение вероятности составляет 0,04, что меньше принятой.

Обработка мнений экспертов без оценки третьего специалиста дает следующие результаты: П_ср = 73 единицы, а = 1,8 единицы, табличное значение параметра закона Стьюдента при доверитель­ной вероятности 0,95 составляет 2,6, полуразмах доверительного интервала равен

 единицы.

Следовательно, можно считать, что по мнению шести экспер­тов истинное значение оценки ожидаемой прибыли находится в интервале от 71,09 до 74,91 единиц при весьма высокой согласо­ванности их мнений.

Окончательный результат данной экспертизы следует предста­вить заказчику таким образом:

• по мнению семи экспертов оценка ожидаемой прибыли со­ставит 69,7 единиц, причем мнения экспертов весьма существен­но расходятся (среднее квадратичное отклонение оценки состав­ляет 8,845 единиц);

• причиной столь значительного рассогласования мнений яв­ляется оригинальное мнение эксперта 3, считающего, что следу­ет ожидать прибыль в размере 50 единиц;

• по мнению шести экспертов (без учета мнения третьего) ожи­даемая прибыль с вероятностью 0,95 составит от 71,09 до 74,91 еди­ниц при высокой согласованности мнений в группе.

Подчеркнем, что ни в коем случае не следует отбрасывать ори­гинальные («аномальные») мнения каких-либо экспертов. Окон­чательное решение по результатам экспертизы может выносить только ее заказчик (возможно, для этого ему понадобится допол­нительная информация, в том числе полученная по результатам другой (повторной) экспертизы).

Оценка и учет компетентности экспертов. Пока предполагалось, что квалификация всех экспертов в группе примерно одинакова. Однако практически выполнить условие равной компетентности экспертов удается далеко не всегда. Поэтому в общем случае при обработке и анализе экспертных оценок может возникнуть необхо­димость оценки и учета компетентности опрашиваемых экспертов.

Как уже указывалось, компетентность экспертов может оцени­ваться как до проведения опроса, так и в ходе обработки полу-

354

ченных результатов экспертизы. Если тем или иным способом по­лучены коэффициенты X_t компетентности экспертов, то эти ко­эффициенты можно использовать при обработке как относитель­ный «вес» мнений соответствующих экспертов. Данный подход проиллюстрируем применительно к балльному оцениванию. В этом случае в качестве групповых балльных оценок применяют следу­ющие зависимости:

При этом предполагается, что коэффициенты компетентности нормированы:

Однако предпочтительнее оценивать компетентность экспер­тов непосредственно по результатам конкретной экспертизы в процессе обработки полученных оценок. Для задачи обработки нормированных балльных оценок, т. е. удовлетворяющих условиям

Предположим, что каждый из трех экспертов оценил значения показателя эффективности двух мероприятий d_x и d₂ для решения некоторой финансовой проблемы. Полученные нормированные балльные оценки сведем в табл. 24.10.

Алгоритм расчетов весьма схож с алгоритмом обработки оце­нок по методу попарных сравнений с градациями.

Шаг 0. Вначале считаем, что все эксперты компетентны одина­ково:

Таблица 24.10

⇐ Предыдущая50515253545556575859Следующая ⇒

Поделиться: