ВЕСОВЫХ КОЭФФИЦИЕНТОВ ВАЖНОСТИ

Цель работы – привить навыки по обработке экспертных анкет, представленных в виде специально разработанной матрицы, построения ранжировки и доказательству ее правильности.

Общие положения

1.1. Методы расчета

Суть экспертных методов заключается в том, чтобы используя опыт, знания, интуицию специалистов извлечь из субъективных суждений объективную истину. Разновидностей экспертных методов довольно много, но большинство из них могут быть сведены к двум классам: методам прямого ранжирования и методам попарного сравнения. Наилучшими с точки зрения точности выводов являются методы прямого ранжирования, однако они ограничены человеческими возможностями: при числе объектов сравнения 12-15 никакой эксперт не в состоянии проранжировать их правильно. Поэтому при большом числе объектов сравнения прибегают к психологически более комфортным методам попарного сравнения, при котором эксперт отдает предпочтение одному из факторов с точки зрения его влияния на параметр оптимизации. При этом в случае ошибки эксперта неопределенность каждого вывода, если воспользоваться энтропийной оценкой , составляет 1 бит.

Метод весовых коэффициентов важности (ВКВ ) обладает меньшей неопределенностью и более удобен для эксперта с психологической точки зрения.

Для реализации метода весовых коэффициентов важности необходимо соблюдение определенных правил:

1. Опрос экспертов производится только письменно и только в виде специально разработанной анкеты.

2. Анкета должна состоять из пунктов (объектов), в которых сформулированы некоторые утверждения (не вопросы).

3. Пункты анкеты должны быть сформулированы таким образом, чтобы на них каждый эксперт мог ответить однозначно.

4. Отбор экспертов производится исследователем по возможности из разнородных групп.

5. Опрос экспертов должен производится индивидуально .

6. Обработка анкет должна вестись объективными методами. Должны быть некоторые контрольные критерии проверки.

7. После обработки анкет должно быть достаточно убедительное представление результатов.

После составления опросного листа эксперт заполняет экспертную таблицу – матрицу по следующему правилу:

 

 

(5.1)

 

Собственно, эксперт заполняет только верхнюю треугольную часть матрицы, на диагонали которой стоят единицы, а нижнюю треугольную часть матрицы заполняет исследователь по правилу:

. (5.2)

При этом с учетом известного правила сложения вероятностей зависимых событий энтропийная мера неопределенности каждого вывода составляет H=0, 5бит. Это означает, что достоверность выводов при использовании метода ВКВ выше, чем при использовании других методов экспертных оценок.

В конечном виде ранжирование объектов происходит по величине весовых коэффициентов важности k-гопорядка

 

, (5.3)

 

где p_i(k) – итерированная важность k-гопорядка для i-гообъекта; n – число сравниваемых объектов. Конкретно величины p_i(k) можно найти по следующим формулам:

 

; (5.4)

 

(5.5)

где

 

Практика показала, что условие стабильности ранжирования соблюдается уже при k=1, и всегда при k=2, поэтому считать итерированные важности более высоких порядков нецелесообразно.

Правильность заполнения матрицы и вычисления величин легко проверить по следующему равенству:

(5.6)

В отличие от других методов экспертных оценок метод весовых коэффициентов важности позволяет оценить внутреннюю непротиворечивость ответов экспертов. Коэффициент внутренней непротиворечивости ответов l-го эксперта (коэффициент его компетентности по данному конкретному вопросу) можно определить по формуле:

 

(5.7)

Если величина q_l меньше некоторого граничного значения, например q_гр=0, 5, то мнение такого эксперта не следует учитывать в дальнейших расчетах в силу того, что эксперт сам себе противоречит. В противном случае с мнением эксперта следует считаться.

Известно, что любые выводы, сделанные любым экспертным методом, не могут быть приняты во внимание, если не доказана значимость коэффициента конкордации (согласия экспертов). Однако коэффициент конкордации нельзя искать без предварительной очистки экспертных данных от факторов, мнения по которым резко разошлись, и от мнения тех экспертов, которое по большинству факторов не совпадает с мнением остальных экспертов. При достаточно большом количестве экспертов (более 10) их мнение, выраженное в количественной форме, можно считать распределенным по нормальному закону.

Итак, по данным таблиц ответов экспертов вычисляются весовые коэффициенты важности, которые заносятся в сводную таблицу (таблица 5.2). Она является основной для вычисления средних величин и дисперсий

Для выделения факторов, вызывающих непримиримые разногласия экспертов, предлагается воспользоваться критерием Кохрена, при нахождении которого требуется знать только выборочную дисперсию:

(5.8)

где - выборочная дисперсия весовых коэффициентов важностей, вычисленная для всех m экспертов по i-му фактору; - максимальное числовое значение одной из выборочных дисперсий , вычисленных для всех n исследуемых факторов.

Полученное расчетное значение критерия Кохрена G сравнивается с табличным G_табл(q; v₁; v₂) для q уровня значимости; v₁ - число степеней свободы числителя (равное числу экспертов m без единицы); v₂ - число степеней свободы знаменаталя (равное числу ранжируемых объектов n). При G > G_табл фактор, которому принадлежит максимальная дисперсия , должен быть изъят из дальнейших расчетов и вопрос о его роли должен решаться дополнительным исследованием. При невыполнении неравенства считается, что ни по какому объекту эксперты не высказывали противоречивых суждений.

Последней проверкой правильности выводов экспертизы является вычисление коэффициента конкордации (согласия экспертов). Вычисление коэффициента конкордации производится по следующей формуле:

 

, (5, 9)

где t_il - число повторений (одинаковых значений) величин р_il(1), сделанных l-м экспертом.

Для проверки значимости коэффициента конкордации формируется критерий c² Пирсона:

(5.10)

который сравнивается с табличным значением c²_табл(q; v=n-1), и при выполнении условия c²> c²_табл найденный коэффициент конкордации W признается значимым, то есть считается, что эксперты высказались в основном согласованно, противоречий в их мнениях нет, и полученное ранжирование можно принять за окончательное решение. Для удобства восприятия ранжировку лучше представлять как гистограмму, построенную в порядке убывания числовых значений , взятых в виде процентов. При этом вопрос о границе (критерии) значимости ранжируемых факторов решает сам исследователь исходя из конкретной задачи - общего ответа на этот вопрос нет. В первом приближении можно лишь рекомендовать в качестве такого критерия средний процент =100/n, %.

1.2. Проверка правильности ранжирования

Ранжирование объектов сравнения с помощью любых экспертных методов обязательно включает в себя процедуру проверки правильности полученных результатов. Для этой цели служит коэффициент конкордации (согласия) экспертов, который показывает степень однородности (одинаковости) мнений различных специалистов. Этой же цели служит и применение критерия Кохрена, с помощью которого оценивается однородность мнений по каждому конкретному объекту. Все эти меры направлены на доказательство того, что в процессе расчетов не допущены ошибки и что группа экспертов пришла к некоторому соглашению, что повышает вероятность получения объективно правильного ответа.

Однако на практике нередки случаи, когда две или более группы экспертов давали несовпадающие или даже противоположные ответы на одни и те же вопросы. Это может происходить по разным причинам: эксперты принадлежат к разным школам, эксперты преследуют свои групповые интересы, какая-то группа (или отдельные эксперты) добросовестно заблуждается или дает заведомо ложные ответы и т.п. Необходим критерий, оценивающий объективность ранжировки, полученной в результате экспертизы. Таким критерием может стать закон Г. Ципфа, который по своей сути является информационным законом самой общей природы, отражающим закономерности самоорганизующихся систем. Трудами последних лет доказано, что закон Ципфа объективно отражает степень упорядочения по рангам любых явлений природы и искусства, проявляется в самых различных отраслях науки и практики – в биологии, социально-экономической сфере, при статистическом анализе любых объектов, например технологических процессов, литературных текстов, музыкальных произведений, компьютерных программ, в науковедении и т.п.

Установлено, что в целом любая ранжировка, согласно закона Ципфа, носит гиперболический характер, однако разный по своим параметрам в начале и в конце ранжировки (точка раздела находится примерно в середине диапазона). Так как в большинстве случаев (особенно для технических приложений) исследователя интересует именно начало ранжировки, то имеет смысл ограничится ею. При объективно правильной ранжировке она должна подчиняться выражению

, (5.11)

где n(r) - число элементов системы, принадлежащих к виду ранга r; А и g – некоторые константы, которые подбираются по результатам ранжировки.

Получив конкретное числовое выражение формулы (5.11) для начального участка ранжировки, необходимо оценить его точность (достоверность). С этой целью можно использовать любые методы, оценивающие качество кривой по отношению к экспериментальным данным, например, критерий Пирсона (1.13).

1.3. Производственный пример

Экспертным методом ВКВ выделить наиболее влияющие на годную продукцию факторы технологического процесса производства кристаллов интегральных микросхем для последующего математического моделирования и оптимизации этого техпроцесса.

Таблица 5.1 – Пример заполнения опросного листа

Таблица 5.2 – Сводная таблица опроса экспертов

Номер эксперта, l	Факторы, i	Коэфф. Непротиворе- чивости ql
X1	X2	X3	X4	X5	X6	X7
	0, 255	0, 091	0, 091	0, 176	0, 350	0, 029	0, 008	0, 89
	0, 243	0, 107	0, 086	0, 193	0, 322	0, 041	0, 008	0, 91
	0, 217	0, 111	0, 056	0, 205	0, 314	0, 069	0, 028	0, 72
	0, 278	0, 098	0, 069	0, 181	0, 316	0, 037	0, 021	0, 65
	0, 262	0, 096	0, 072	0, 154	0, 370	0, 031	0, 015	0, 68
	0, 245	0, 084	0, 098	0, 162	0, 366	0, 039	0, 006	0, 93
	0, 250	0, 086	0, 090	0, 158	0, 352	0, 052	0, 012	0, 90
	0, 217	0, 099	0, 104	0, 151	0, 377	0, 033	0, 019	0, 84
	0, 251	0, 095	0, 095	0, 169	0, 351	0, 028	0, 011	0, 89
	0, 246	0, 096	0, 085	0, 172	0, 346	0, 040	0, 014	-
S2i[bil(2)]x104	3, 861	0, 785	2, 445	3, 371	5, 640	1, 739	0, 524	-

Р е ш е н и е. Прежде всего необходимо составить анкету (опросный лист эксперта) и отобрать группу экспертов. В данном конкретном случае были отобраны 10 экспертов, каждый из которых заполнил верхнюю треугольную часть матрицы, а всю остальную работу – заполнение нижней части матрицы по правилу (5.2), вычисление итерированных важностей р_i(1) и р_i(2) по формулам (5.4) и (5.5), а также проверку правильности всех расчетов по условию (5.6) – проделал исследователь. Он же определил коэффициент внутренней непротиворечивости всех экспертов по формуле (5.7). Оказалось, что один из экспертов дал противоречивые ответы, его коэффициент был ниже границы компетентности q_гр=0, 5, поэтому его мнение в дальнейшем не учитывалось. Результаты обработки остальных анкет были сведены в таблицу весовых коэффициентов важности второго порядка, рассчитанных по формуле (5.3), (таблица 5.2).

При проверке по критерию Кохрена (5.8) < G_табл(5%; n_числ=8; n_зн=7) с 95%-й уверенностью было доказано, что существенных противоречий в высказываниях экспертов по каждому отдельному фактору не имеется.

Проверка правильности выводов экспертизы с помощью коэффициента конкордации по формуле (5.9) дала величину W=0, 745, а расчетный критерий Пирсона по формуле (5.10) , что окончательно подтверждает правильность найденной ранжировки. Для удобства восприятия ее целесообразно представить в графической форме.

Таким образом, в качестве факторов, имеющих наибольшее влияние на годность кристаллов ИМС, можно считать факторы Х₁, Х₄ и Х₅, с которыми и следует работать при математическом моделировании исследуемого технологического процесса.

Для окончательного решения вопроса о правильности ранжировки найдем конкретное числовое выражение закона Ципфа (5.11) и докажем его совпадение (несовпадение) с ранжировкой рисунка 5.1.

Рисунок 5.1 Ранжировка объектов экспертизы

 

Для удобства работы преобразуем выражение (5.11) к виду

, (5.12)

откуда, подставляя значения величин из итоговой строки таблицы 5.2, получим

; ; ;

; ; ;

; ; ;

; ; ;

; ; ;

; ; ;

Тогда .

Таким образом, искомая формула запишется в виде

(5.13)

Проверим правильность получения формулы (5.13) по критерию Пирсона (1.13).

Таблица 5.3 – Вычисление критерия -Пирсона

Ранг, r	n(r)
	34, 6 24, 6 17, 2 9, 6 8, 5	34, 6 21, 4 15, 1 11, 5 9, 3 7, 7	0, 4803 0, 2863 0, 3294 0, 0630 0, 6845
	99, 6	99, 6	1, 8435

 

.

 

Это означает, что кривая Ципфа с 95%-й вероятностью подобрана правильно, а это, в свою очередь, означает, что ранжировка факторов проведена экспертами правильно, в соответствии с объективным законом природы.

Для наглядности разместим кривую на ранжировке рисунка 5.1.

 

Порядок проведения работы

2.1. Провести обработку опросного листа конкретного эксперта, доказать ее правильность и определить коэффициент непротиворечивости ответов этого эксперта.

2.2. По критерию Кохрена доказать равноточность высказываний группы экспертов или выявить их расхождения по конкретным объектам сравнения.

2.3. Определить коэффициент конкардации группы экспертов и доказать его значимость (незначимость).

2.4. Найти показатели закона Ципфа и доказать их правильность (неправильность).

2.5. Провести проверку найденной зависимости по критерию Пирсона. Сделать выводы.

 

Содержание отчета

Отчет по лабораторной работе должен содержать ответы на все пункты зада­ния с приведением необходимых графиков, формул, расчетов.

При подготовке к защите лабораторной работы необходимо ознакомиться с контрольными вопросами и продумать результаты работы, обратив особое внима­ние на те пункты, в которых наблюдается расхождение расчета и эксперимента.

4. Контрольные вопросы

4.1. Что такое «экспертное оценивание»?

4.2. Из каких этапов состоит экспертное оценивание?

4.3. Как формируется группа экспертов?

4.4. В каком виде проводится экспертиза?

4.5. Чем метод ВКВ отличается от метода парных сравнений?

4.6. По каким правилам эксперт заполняет матрицу опросного листа в методе ВКВ?

4.7. По каким правилам исследователь (экспериментатор) заполняет свободную часть той же матрицы?

4.8. Как доказать правильность заполнения всей матрицы?

4.9. Как определить уровень непротиворечивости ответов (компетентности) эксперта?

4.10. Как выделить факторы, вызывающие непримиримые разногласия экспертов? Что с ними делать?

4.11. В чем особенность вычисления коэффициента конкордации в методе ВКВ?

4.12. Как комплексно доказать правильность (неправильность) ранжировки?

5. Рекомендуемая литература

5.1. Долгов Ю.А. Статистическое моделирование: Учеб. для ВУЗов. – Изд. 2-е, доп. – Тирасполь: Полиграфист, 2011. – 352 с. (с.98-121).

5.2. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. – 2-е изд., перераб. и доп. – М.: Статистика, 1980. – 262 с.

Лабораторная работа № 6

⇐ Предыдущая12345Следующая ⇒

Поделиться: