Методы обработки и анализа экспертных оценок

Основными задачами обработки и анализа экспертных оценок являются [12, 36, 50, 57, 69]:

1) оценка степени согласованности мнений экспертов;

337

2) получение коллективного (обобщенного) мнения эксперт­ной группы;

3) выделение подгрупп экспертов с близкими мнениями;

4) оценка и учет компетентности экспертов.

Эти задачи, кроме последней, перечислены в той последова­тельности, в которой они должны решаться на практике. Дей­ствительно, прежде чем получать обобщенное мнение, следует убедиться в достаточно высокой согласованности мнений экспер­тов. Если такая согласованность отсутствует, то «усреднение» всех мнений противоречило бы исходной предпосылке о том, что от­веты экспертов лишь случайно и независимо отклоняются от не­которой истинной единственно правильной точки зрения, кото­рую и надлежит выявить при экспертизе. При этом обобщенное мнение будет неустойчивым в том смысле, что небольшие изме­нения обрабатываемого материала (например, исключение оце­нок нескольких экспертов или добавление новых) могут его зна­чительно изменить.

Таким образом, при невысокой согласованности мнений экс­пертов вначале следует выделить наиболее оригинальные из них и разбить экспертную группу на подгруппы экспертов с близкими мнениями. Общее мнение необходимо получать для каждой из та­ких подгрупп «усреднением» мнений ее членов. После этого необ­ходимо провести содержательный анализ полученных результатов и выяснить причины наличия нескольких точек зрения. Оценку и учет компетентности экспертов следует проводить до или в про­цессе выработки решения.

Оценка степени согласованности мнений экспертов. Обработка и анализ ранжировок. Рассмотрим методы анализа экспертных оце­нок, получаемых в результате ранжирования т заданных объектов из множества предъявления (см. формулу (24.1)).

Каждый эксперт располагает эти объекты по убыванию или возрастанию интенсивности проявления некоторого признака. Как уже указывалось, полученные таким путем упорядоченные набо­ры объектов называют ранжировками. Каждой ранжировке соот­ветствует вполне определенный квазипорядок R на множестве объектов D. Этот квазипорядок можно задать одним из рассмот­ренных ранее способов. Рассмотрим случай, когда каждый эксперт все объекты ранжирует строго. В теории и практике экспертного оценивания рангом /} объекта dj при прямом ранжировании при­нято считать номер места, которое он занимает в строгай ран­жировке. Например, для ранжировки < d₂, d_}, d_x > имеют r₂ = 1, г_ъ = = 2,'/i = 3. Понятно, что ранг /}• показывает, что впереди dj стоит объект dj_ [. Сумма всех рангов г_х + г₂ + ... + г_т равна т(т + 1)/2 (как сумма арифметической прогрессии 1 + 2 + ... + т).

Оценка согласованности мнений двух экспер­тов. Ранжировки, указанные разными экспертами, редко полно-

338

стью совпадают, поэтому необходимо оценить степень соответ­ствия (согласованности, согласия) мнений двух экспертов. В ста­тистике зависимость между двумя переменными характеризуется коэффициентом корреляции. Применительно к рассматриваемо­му случаю оценки согласованности двух ранжировок такой коэф­фициент должен обладать следующими свойствами:

1) если обе ранжировки полностью совпадают, т.е. если каж­дый объект занимает в них одно и то же место, то коэффициент равен +1;

2) если одна ранжировка противоположна другой, т. е. в одной из них объекты расположены в обратном порядке по сравнению с другой, то коэффициент равен -1;

3) в остальных случаях значение коэффициента лежит между предельными значениями, причем его возрастание от -1 до +1 в некотором смысле характеризует увеличивающееся согласие меж­ду двумя ранжировками.

Вид коэффициента корреляции зависит от того, как конкрети­зируется третье из указанных требований. В практике проведения различных экспертиз наиболее распространенными являются ко­эффициенты ранговой корреляции Кендалла (х) и Спирмена (р). Выясним, как определяется первый из этих коэффициентов.

Рассмотрим ранжировки двух экспертов: <d_n, d_n, •••, d_Xm> и <d₂\, d₂2, ■■-, d_2m>. Возьмем какую-либо пару объектов (d_b d_t). Если в обеих ранжировках порядок расположения этих объектов совпа­дает (например, 1-й объект стоит впереди t -то), то пару {d_h d_t) называют согласованной. В противном случае пара является несо­гласованной.

Известно, что из т объектов можно выбрать всего

разных пар. Если обозначить через S⁺ число согласованных, а че­рез S~ — число несогласованных пар, то чем больше число S⁺, тем выше согласованность ранжировки. Заметим, что сумма со­гласованных и несогласованных пар равна их общему возможному числу, т. е. С²_т. Естественно, степень согласованности мнений экс­пертов оценивать разностью

При этом ее знак указывает, каких пар больше — согласован­ных или несогласованных. Нормирование этой разности общим числом возможных пар обеспечит выполнение третьего требова­ния к коэффициенту согласованности, т. е. его нахождения в пре­делах от -1 до +1. Первые два требования выполняются по услови-

339

ям введения коэффициента. Итак, коэффициент Кендалла рас­считывается по формуле:

В частности, если ранжировки совпадают, то S⁺ = C²_m, S~ = О и S_T = С²_т, а коэффициент т равен единице. Если же одна ранжи­ровка обратна другой, то S⁺ = О, $~ - С^г_т и S_z = -C]_m а коэффици­ент Кендалла х = -1.

В качестве примера рассмотрим две ранжировки семи эконо­мических объектов:

Выпишем все возможные пары объектов

рассортировав их по типам:

1) согласованные пары: (d{, d₂); (d_u d₄); (d\, d₅); (d_u d₆); (d_u
d-i); (d₂, d₃); (d₂, d₄); (d₂, d₅); (d₂, d₆); (d₃, d₄); (d₃, d₆); (d₃, d₇); (d₄,
d₅); (d₄, d₆); (d₄, d₇); (d₅, d₆); (d₅, d₇); (d₆, d₇);

2) несогласованные пары: (d_b d₃); (d₂, d-i); (d₃, d_s).
Следовательно, для ранжировок:

т.е. степень согласованности экспертов достаточно высокая.

Существует другой способ определения числа согласованных пар. Для тех же ранжировок ранги объектов представлены в табл. 24.2.

Таблица 24.2

Исходная таблица рангов объектов

 

Эксперт	di	d2	dz	d4	d5	d6	di
1	4	2	6	7	5	3	1
2	5	1	4	7	6	3	2

340

Таблица 24.3 Итоговая таблица рангов объектов

 

Эксперт	d7	d2	d6	dt	di	d,	d4
1	1	2	3	4	5	6	7
2	2	1	3	5	6	4	7

Переставив столбцы в табл. 24.2 таким образом, чтобы у экс­перта 1 ранги располагались по возрастанию, получим табл. 24.3.

Понятно, что S⁺ равно числу таких пар рангов (г,-, rj), где r_t < /}•, которые в последней строке табл. 24.3 расположены в возраста­ющем порядке. Первым в третьем столбце стоит ранг 2. Правее него имеется пять превосходящих его чисел. Правее ранга 1 — так­же пять чисел, каждое из которых больше единицы. Правее ранга 3 стоит четыре числа, каждое из которых больше трех. Правее ранга 5 — всего два превосходящих его числа, правее ранга 6 — одно и пра­вее ранга 4 — тоже одно. Таким образом,

В итоге получаем уже известный результат: х = 0,71.

Если мнения двух экспертов близки, то указанные ими ранжи­ровки будут мало отличаться от «истинной» и коэффициент кор­реляции окажется высоким. Однако практически рассуждения при­ходится вести в обратном порядке, т. е. о близости мнений судить по корреляции ранжировок, которые эти мнения выражают.

Для решения поставленного вопроса используется подход, свя­занный с проверкой статистических гипотез. Предположим, что хотя бы один из экспертов полностью некомпетентен и независи­мо от другого случайным образом с одинаковой вероятностью

указывает одну из т\ возможных строгих ранжировок т объектов. При справедливости этого допущения или нулевой гипотезы Щ коэффициент х оказывается случайной величиной. Распределение оказывается симметричным относительно математического ожи­дания М[т] = 0, причем чем больше по абсолютной величине воз­можное значение х, тем меньше вероятность получить это значе­ние. Поскольку нас интересует вероятность получения больших значений, то критическая область, соответствующая уровню зна­чимости а, задается неравенством х > х_а. Однако с целью некото­рого упрощения вычислений используют равносильное неравен­ство S_T > S_a.

341

Справедливость нулевой гипотезы проверяют обычным поряд­ком при помощи специальных таблиц. Эти таблицы дают значе­ния вероятности а = Р($_х > S_a) при различных значениях т и S_x. При т > 10 распределение % весьма близко к нормальному с нуле­вым математическим ожиданием и дисперсией

и можно использовать таблицы функции Лапласа F_x стандартного нормального распределения N(0, 1), так как

Для рассмотренных ранжировок было получено достаточно высокое значение х = 0,71, причем S_x = 15. Табличное значение вероятности а = P(S_X > 15) = 0,015. Эта вероятность весьма незна­чительна, поэтому можно считать, что мнения экспертов дей­ствительно хорошо согласованы (т.е. высокая согласованность мнений экспертов скорее всего неслучайна).

Коэффициент ранговой корреляции р по Спирмену определя­ется по обычно используемой в теории вероятностей формуле для расчета коэффициента корреляции дискретных случайных вели­чин:

где Kyi — корреляционный момент.

342

Для упрощения расчетов обычно используют другую формулу, полученную в результате алгебраических преобразований:

Как и всякий статистический коэффициент корреляции р из­меняется от -1 до +1. Равенство р = +1 соблюдается при полном совпадении ранжировок, а равенство р = -1 имеет место, когда ранжировки противоположны друг другу.

Проверка значимости согласованности двух ранжировок с ис­пользованием р осуществляется в том же общем порядке, кото­рый был описан ранее. При справедливости нулевой гипотезы распределение р симметрично относительно М[р] = 0, причем с ростом абсолютной величины возможного значения р вероятность его получения падает. Поэтому критическая область определяется неравенством р > р_а. При небольших т (до 10) пользуются табли­цами вероятностей Р($_р > $), учитывая, что

а при т > 10 можно исходить из того, что распределение величины

весьма близко к распределению Стьюдента с т - 2 степенями свободы. При т > 30 распределение р практически совпадает с нормальным, имеющим нулевое математическое ожидание и дис-

1
персию, равную ---- -•

Вернемся к последнему рассмотренному примеру. В табл. 24.4 приведены данные для расчета коэффициента Спирмена.

Табличное значение вероятности при уровне значимости а = 0,05, получаемой как вероятности выполнения неравенства

Суммировав значения в последней строке, получим S_p = 8 и

Таблица 24.4 Исходные ранжировки и данные для расчета коэффициента р

 

	4	2	6	7	5	3	1
	5	1	4	7	6	3	2
	-1	1	2	0	-1	0	-1
	1	1	4	0	1	0	1

343

равно 0,0062, так что гипотезу о независимости мнений экспер­тов следует отвергнуть.

Мерой согласованности двух ранжировок может служить не только тот или иной коэффициент ранговой корреляции, но и расстояние d между квазипорядками, соответствующими этим ранжировкам. Расстояние d с рассмотренными коэффициентами корреляции соотносится так:

Следовательно, если оценку согласованности ранжировок осу­ществлять при помощи расстояния d, то проверку значимости сте­пени согласованности можно проводить при помощи статистики х [59].

Оценка согласованности мнений п экспертов. Пусть перед каждым из п членов экспертной группы поставлена задача строго ранжировать т объектов из некоторого множества предъявления D. В результате опроса будет получено п строгих ранжировок этих объектов. Полученные ранжировки можно пред­ставить соответствующими последовательностями рангов:

где Гу — ранг, присвоенный объекту dj i -м экспертом.

Степень согласованности мнений всех экспертов можно выра­зить через оценки близости мнений для отдельных пар экспертов, т.е. при помощи коэффициентов ранговой корреляции х или р.

различных пар экспертов, то степень согласованности группы можно оценить средними значениями

344

Поскольку из экспертной группы можно выбрать всего

Чем выше согласованность мнений всех экспертов, тем больше значения введенных коэффициентов. В частности, если мнения экспертов полностью совпадают, т.е. каждый из них указал одну и ту же ранжировку, то т и р принимают свое наибольшее зна­чение, равное единице. Также можно вычислить и дисперсии пар­ных коэффициентов корреляции, которые также будут характе­ризовать степень групповой согласованности мнений. Однако вы­числять средние значения тир ранговых коэффициентов и, тем более, их дисперсии весьма трудоемко, поэтому для оценки со­гласованности экспертов пользуются специальными показателя­ми, называемыми коэффициентами конкордации (согласованно­сти). Наиболее известным является коэффициент конкордации Кендалла W, который вводится следующим образом:

где

По физическому смыслу коэффициент конкордации Кендалла представляет собой некоторую обобщенную дисперсию S_w раз­броса мнений экспертов относительно среднего мнения

нормированную своим наибольшим значением

Коэффициент конкордации Кендалла меняется в пределах от нуля (или близкого к нулю значения в зависимости от четности и нечетности т и п) в случае наименьшей согласованности мне­ний, до единицы в случае абсолютной согласованности. Обратите внимание, что при оценке согласованности мнений нескольких экспертов понятие «противоположность мнений» теряет свой смысл, столь характерный для возможной полярности мнений двух экспертов.

Пример. Десять экспертов ранжировали по значимости следующие четыре показателя, характеризующие эффективность инвестиционных проектов: d_x — объем инвестиций; d₂ — срок окупаемости; й_ъ — чистый

345

Таблица 24.5 Результаты ранжирования четырех показателей

 

Эксперт
1	4	2	1	3
2	3	1	2	4
3	1	2	3	4
4	3	1	2	4
5	3	2	4	1
6	3	4	1	2
7	3	1	2	4
8	2	1	3	4
9	2	4	1	3
10	3	2	J	4

дисконтированный доход; J₄ — рентабельность инвестиций. Результаты ранжирования сведены в табл. 24.5.

Поскольку S_w~ 118, то W~ 0,236. Так как число экспертов достаточно велико (больше семи), то вычислим %² = т(п - l)W= 10 ■ 3 ■ 0,236 = 7,08. При уровне значимости а = 0,05 по таблице функции %² распределение для п - 1 = 3 степеней свободы находим х²₀₀5 ~ 7,8, так что %²_0>05 > 7,08. Следовательно, нулевую гипотезу отклонять нет оснований, т. е. получе­но, что степень согласованности мнений экспертов W= 0,236 не только мала, но и незначима (это означает, что либо для решаемой задачи ин­формационная база недостаточна, либо если информационная база до­статочна, в экспертную группу включены некомпетентные специали­сты, чьи оценки показателей эффективности инвестиционных проектов по каким-то причинам весьма различаются).

Согласованность мнений экспертов можно также оценить, под­считав среднее расстояние d между парами квазипорядков Д, соответствующих полученным ранжировкам (подобно тому под­ходу, который рассматривался применительно к получению осред-ненных коэффициентов тир). Напомним, что в качестве рас­стояния d между бинарными отношениями R', R" часто исполь­зуют метрику Хемминга, определяемую как количество порязряд-ных несовпадений элементов соответствующих матриц смежно­сти этих отношений:

346

Обработка и анализ балльных и точечных оценок. Пусть перед каждым экспертом была поставлена задача: непосредственно оце­нить заданные объекты d_x, d₂, ..., d_m по установленной балльной шкале. Тогда в результате опроса экспертной группы, включа­ющей п членов, будет получена совокупность чисел:

где by — число баллов, приписанное экспертом i объекту dj.

Как уже отмечалось, балльная шкала является промежуточной между порядковой и интервальной. Специальных методов обра­ботки оценок, полученных по подобного рода промежуточным шкалам, пока не создано. Поэтому при обработке балльных оце­нок поступают следующим образом. Если имеется уверенность, что все эксперты пользуются единой балльной шкалой (одинако­во понимают цену балла), как это бывает, например, при нали­чии специальных эталонов, то балльная шкала приближается к интервальной и балльные оценки обрабатывают как количествен­ные (о чем будет сказано далее). В противном случае балльные оценки считают качественными, объекты ранжируют в соответ­ствии с оценками каждого эксперта и затем обрабатывают полу­ченные п ранжировок методами, изложенными ранее. Однако и в первом случае целесообразно дважды обработать балльные оцен­ки: как количественные и как качественные. Согласованность ре­зультатов, полученных при обоих подходах, будет свидетельство­вать о том, что эти результаты действительно основаны на исход­ных данных, а не на способах их обработки.

Если считать, что оценки количественные, то в соответствии с исходным допущением о том, что разница в ответах экспертов объясняется случайными независимыми флуктуациями относи­тельно некоторых «истинных» величин, для обработки эксперт­ных данных можно использовать обычные статистические методы точечного оценивания. Каждому объекту dj следует приписать сред­ний балл:

Эти оценки и принимаются в качестве групповых. Согласован­ность мнений экспертов можно характеризовать дисперсиями бал-

347

льных оценок, приписываемых отдельным объектам. Оценки та­ких дисперсий вычисляются по известным формулам.

При положительных балльных оценках часто используют так на­зываемые вариации (коэффициенты вариации vj) и полагают, что согласованность экспертов удовлетворительная, если все vj < 0,3, и хорошая, если все ц < 0,2.

Выделять «оригинальных» экспертов на основе их «нестандарт­ных» баллов можно известными статистическими методами про­верки аномальности результатов наблюдений.

Аналогичным образом обрабатываются и точечные оценки, полученные по различным количественным шкалам. Заметим, что для точечных оценок широко применяется интервальное оцени­вание, позволяющее по результатам обработки указать интервал изменения оцениваемого параметра, в который «истинное» зна­чение попадет с заданной вероятностью. Кроме того, аппарат ста­тистики дает возможность оценить «аномальность» оценок неко­торых экспертов, о чем речь пойдет далее.

Обработка и анализ попарных сравнений. Рассмотрим названную задачу применительно к обработке результатов попарного срав­нения с градациями. Как отмечалось, оценки попарной предпоч­тительности элементов множества предъявления из заданной (фиксированной) шкалы эксперт помещает в квадратную матри­цу оценивания размерностью тхт. Поскольку попарное сравне­ние не требует соблюдения транзитивности, для обработки при­меняют итерационный метод Зейделя, позволяющий сначала оце­нить коэффициенты относительной важности каждого элемента множества предъявления, а затем по ним установить их ранжи­ровку. Рассмотрим алгоритм метода.

Шаг 0. Все объекты считаются равноценными:

Шаг 1. Коэффициенты относительной важности пересчитыва-ются по формуле

По сути, на первом шаге оценки суммируются построчно, а каждый коэффициент относительной важности рассчитывается путем деления на «сумму сумм» — общую сумму оценок, выстав­ленных экспертом.

348

Шаг к. Коэффициенты относительной важности к-то прибли­жения рассчитываются по рекуррентной формуле:

Возможны два условия останова алгоритма: либо заданное (тре­буемое) число шагов, либо достижение заданной (требуемой) точности вычислений:

Метод Зейделя, как правило, сходится весьма быстро — за две-три итерации, поэтому чаще используют первое условие прекра­щения вычислений. Итоговую ранжировку объектов определяют путем установления двойного соответствия: сначала ранжируют коэффициенты относительной важности, начиная с самого боль­шого, ставя ранги от единицы до т; затем по полученным рангам переходят к ранжировке объектов множества предъявления. В об­щем случае таким образом определяется нестрогая ранжировка.

После вычисления значений незаполненных клеток матрицы получим:

349

Пример. Пусть эксперт оценил попарную предпочтительность пяти экономических объектов и составил матрицу оценки:

Результаты применения метода Зейделя для данного случая приведе­
ны в табл. 24.6.                                                                                 /

Таблица 24.6

Результаты по методу Зейделя

Очевидно, что уже после второй итерации коэффициенты относитель­ной важности практически остаются неизменными. На основании этих коэффициентов получаем итоговую ранжировку: d₅ > d_{ >й_ъ > d₂ >- d₄.

Подобным образом обрабатывают и результаты традиционного (классического) попарного сравнения, используя, учитывая весьма низкую точность измерения предпочтительности, только резуль­таты первой итерации. (Часто так поступают и при попарном срав­нении с градациями, особенно в условиях отсутствия вычисли­тельных задач, реализующих более точные алгоритмы.)

Обобщение мнений экспертов. К решению этой задачи можно приступать лишь при достаточно высокой и статистически значи­мой согласованности мнений членов экспертной группы. В про­тивном случае требуется дополнительная обработка (см. следу­ющий пункт).

Один из подходов к решению этой задачи состоит в том, что­бы групповой считать ранжировку, наиболее тесно коррелиро­ванную с п обрабатываемыми ранжировками. Другой подход со­стоит в том, чтобы групповую ранжировку искать как медиану индивидуальных.

Наиболее простым в вычислительном отношении является ме­тод сумм рангов, поэтому он значительно шире распространен на практике. Данный метод заключается в суммировании рангов объек­тов множества предъявления, выставленных каждым экспертом, и определении групповой (обобщенной) ранжировки на основе суммарных рангов. Групповая ранжировка может оказаться нестро­гой даже при использовании каждым экспертом строгого ранжи­рования.

Пример. Получены строгие (прямые) ранжировки пяти объектов 10 экспертами (табл. 24.7).

Рассмотрим результаты обработки этих ранжировок.

350

Таблица 24.7 Ранжировки объектов экспертами

 

Эксперт	4	d2	*	rf4	ds
1	4	3	5	1	2
2	3	4	5	1	2
3	4	3	5	2	1
4	4	5	3	1	2
5	2	5	4	3	1
6	3	5	4	1	2
7	5	2	4	3	1
8	4	3	5	2	1
9	4	3	2	5	1
10	3	5	4	2	1
Сумма рангов	36	38	41	21	14

1. Результаты расчета коэффициента конкордации Кендалла следу­
ющие:

Таким образом, степень согласованности мнений экспертов средняя.

2. Проведем статистическую проверку значимости степени согласо­
ванности мнений экспертов.

Рассчитаем значение %²:

Зададим уровень значимости а = 0,05. Тогда для числа степеней свобо­ды п - 1 = 4 пороговое значение х² распределения равно

Результаты статистической проверки показывают, что %² = 22,32 боль­ше xl = 9,49. Следовательно, степень согласованности мнений экспертов значима.

3. Выработаем коллективное мнение группы экспертов (табл. 24.8).
Групповое мнение экспертов имеет смысл только в случае высокой и

значимой степени согласованности их частных ранжировок.

Таблица 24.8 Выработка коллективного мнения

Таким образом, итоговая ранжировка имеет вид: d₅ у d₄ у d_{ у d₂ у d₃.

Заметим, что можно использовать и обратное ранжирование, но тогда групповая ранжировка, естественно, будет обратной: й_ъ у d₂ у d] у d₄ у d₅. Поэтому так важно при постановке задачи экспертной группе четко определить конкретный способ выраже­ния предпочтений каждым экспертом.

Определение групповых ранжировок при использовании дру­гих способов выражения предпочтений экспертов также основано на усреднении соответствующих оценок (балльных, точечных, непосредственных числовых) и построении на основе средних результатов обобщенной ранжировки.

Еще раз подчеркнем: подобным образом получать обобщенное мнение экспертов можно только в случае высокой (средней) и значимой согласованности мнений отдельных членов группы. При­менение такого подхода при значительном расхождении частных мнений может привести к абсурдным результатам. Проиллюстри­руем это таким примером. Пусть два эксперта выдали строгие ран­жировки пяти объектов (табл. 24.9).

Поскольку, очевидно, эти ранжировки свидетельствуют о про­тивоположности мнений экспертов, оба ранговых коэффициента корреляции равны -1. Если же, несмотря на это, попытаться ис­пользовать суммарные ранги, то результат должен быть интерпре­тирован так: «оба эксперта считают все объекты равными по пред­почтению». Но это совершенно неверно — ни один из экспертов так не считает! Следовательно, совершено несколько ошибок при обработке и анализе результатов экспертизы: не учтена оценка согласованности мнений экспертов, неверно выбран способ обоб­щения мнений и вследствие этого неправильно интерпретирова­ны результаты.

Выделение подгрупп экспертов с близкими мнениями. При слабой степени согласованности мнений группы экспертов следует прове­сти содержательный анализ причин расхождения мнений специа­листов. Наиболее распространенными причинами являются:

• наличие в группе экспертов с нестандартными (оригиналь­ными) мнениями;

Таблица 24.9

⇐ Предыдущая49505152535455565758Следующая ⇒

Поделиться: