Методы измерений в экспертном оценивании

 

Процедура экспертного оценивания - это установление отношений между характеристиками объектов и числами, составляющими определенную числовую систему. Тип шкалы, применяемой для измерения характеристик сравниваемых объектов, определяет совокупность возможных способов сравнения этих характеристик.

 

Таблица 1. Допустимые методы измерений в шкалах различных типов (допустимые сочетания отмечены знаком «+»)

Метод измерений	Шкала
	Номинальная	Порядковая	Интервальная
Ранжирование		+	+
Парное сравнение		+	+
Непосредственная оценка			+
Последовательное сравнение			+

 

При экспертном оценивании используют следующие основные методы измерения, регламентирующие способы сравнения экспертных оценок:

• ранжирование;

• парное сравнение;

• непосредственная оценка;

• последовательное сравнение.

Ранжирование

Ранжирование - это процедура упорядочения объектов, выполняемая экспертом в случае, когда оцениваемые показатели объектов не поддаются непосредственному измерению. При использовании этого метода характеристики всех объектов сравниваются друг с другом.

В результате применения ранжирования эксперт располагает объекты в порядке возрастания (или убывания) значения оцениваемой характеристики. При этом в соответствие каждому объекту ставится определенное натуральное число, называемое рангом. Он характеризует порядковое место оцениваемого объекта в рассматриваемой группе объектов. Обычно наиболее предпочтительному объекту присваивают ранг, равный 1, второму по предпочтению объекту - 2 и т.д. Эквивалентные объекты получают равные ранги (связные ранги), каждый из которых равен среднеарифметическому значению порядковых мест этих объектов.

Пример.

 

№ объекта	1	2	3	4	5
Ранг объекта	4	2, 5	5	1	2, 5

 

В приведенном примере наиболее предпочтительным объектом является 4-й (1-й ранг), второе и третье места по предпочтению делят между собой 2 и 5-й объекты (их ранги равны 2, 5: (2 + 3)/2 = 2, 5), на четвертом месте по предпочтению - 1-й объект (4-й ранг), и, наконец, наименее предпочтительный объект - 3-й (5-й ранг).

Метод ранжирования неприменим при большом числе объектов (больше 15-20).

Для того чтобы на основе ранжировок нескольких экспертов была получена обобщенная ранжировка, необходимо, чтобы полученные от экспертов ранжировки были стандартизированными, т.е. для N рангов должно выполняться равенство:

 

(1)

 

Метод стандартизированного ранга

Любую ранжировку можно свести к стандартизированной при помощи несложных алгоритмов, одним из таких алгоритмов является метод стандартизированного ранга. Приведем алгоритм этого метода, предварительно условно обозначив:

 и  - ранги объектов до проведения процедуры стандартизации и после нее соответственно (n = , где N - количество проранжированных объектов); - счетчик итераций (начальное значение s равно 0);

Р - количество элементов во множестве нестандартизированных рангов (начальное значение Р равно N).

Шаг 1. Присвоение очередного значения счетчику итераций: s: =s +1.

Шаг 2. Формирование L - подмножества, которые составляют максимальные ранги из множества нестандартизированных, и подсчет К - количества элементов подмножества L.

Шаг 3. Стандартизация всех рангов, составляющих подмножество L:

 

(2)

 

Шаг 4. Определение Р - количества элементов во множестве нестандартизированных рангов: Р: = Р - К.

Шаг 5. Если Р= 0, то все ранги стандартизированы - конец расчетов по алгоритму; если Р О, то осуществляется переход к шагу 1.

Пример. Исходная информация для расчетов по методу стандартизированного ранга [3]:

 

№ объекта, n	1	2	3	4	5	6	7	8	9	10
Ранг объекта, rn	2	12	2	12	8	8	0	8	0	6

 

Результаты расчетов на 1-й итерации алгоритма:

 =  = 10 - (2-1)/2=9, 5 Р =10-2=8.

Результаты расчетов на 2-й итерации алгоритма:

 = = =8 - (3-1)/2 = 7; Р =8-3 = 5.

Результаты расчетов на 3-й итерации алгоритма:

=5 - (1-1)/2=5; Р =5-1 = 4.

Результаты расчетов на 4-й итерации алгоритма:

 =  = 4 - (2-1)/2 = 3, 5; Р =4-2=2.

Результаты расчетов на 5-й итерации алгоритма:

= =2 - (2-1)/2=1, 5; Р =2-2=0.

Результаты стандартизации рангов:

 

№ объекта, n	1	2	3	4	5	6	7	8	9	10
Ранг объекта, 3, 59, 53, 59, 5771, 571, 55

 

Парное сравнение

Парное сравнение - это метод измерения, при котором характеристики объектов сравниваются экспертами попарно для установления более предпочтительного объекта в каждой паре. Таким образом, данный метод, в отличие от ранжирования, имеющего ограничения по количеству оцениваемых объектов, может применяться для сколь угодно большого числа пар объектов. Сравнение только двух объектов (вместо всех сразу, как при ранжировании) - более простая задача для экспертов. Этот метод может быть применен также в том случае, когда различия между объектами слишком малы, чтобы было возможно их прямое ранжирование. При использовании метода парных сравнений результаты оценивания записывают в таблицу, называемую матрицей парных сравнений.

 

Таблица 2. Пример матрицы парных сравнений

Объект	А1	А2	А3
А1	0, 5	0	0
А2	1	0, 5	0, 5
А3	1	0, 5	0, 5

 

Элементы матрицы парных сравнений могут принимать три различных значения: если i-й объект предпочтительнее j-го, то значение элемента равно 1, а значение элемента  - 0; если же объекты эквивалентны, то  =  = 0, 5.

Примечание. В литературе матрицу сравнений иногда предлагается заполнять следующими способами:

• если i-й объект предпочтительнее j-го, то  = 2, = 0; если же объекты эквивалентны, то  = = 1;

• если i-й объект предпочтительнее j-го, то = 1, = -1; если же объекты эквивалентны, то  =  = 0.

Понятно, что любую ранжировку очень легко превратить в матрицу парных сравнений:

 

  (3)

 

Существует и обратная возможность перехода от матрицы парных сравнений к ранжированию. Например, это осуществляется при помощи следующего алгоритма. Пусть m экспертов проводят попарное сравнение характеристик n объектов и присваивают значения соответствующим элементам матрицы парных сравнений  (так, как это было предложено в примере заполнения матрицы парных сравнений в табл. 2). Каждый эксперт формирует свою матрицу парных сравнений. Если при оценке i-го и j-го объектов экспертов высказались в пользу предпочтения i-го объекта над j-м, , экспертов высказались наоборот, а  экспертов считают эти объекты эквивалентными, то оценка математической величины  равна Х_ij:

 

  (4)

 

Поскольку m=m_i+m_n+m_j, то:

 

  (5)

 

Совокупность величин Х_ij образует неотрицательную матрицу, на основе которой можно построить ранжирование всех объектов Х= (Х_ij). Матрица называется неразложимой, если при помощи перестановки строк и одноименных столбцов ее нельзя привести к треугольному виду:

 

(6)

 

где А_ij - неразложимые подматрицы X.

При i = n матрица X неразложима.

Если матрица X неразложима, то по результатам парного сравнения объектов в интервальной шкале возможно измерение предпочтительности объектов и ранжирование, а в плане порядков - ранжирование.

Если матрица X разложима, то возможно только ранжирование объектов. Эти действия осуществляются следующим образом. Вычисляется вектор коэффициентов относительной важности объектов порядка t (t=1, 2, 3…):

 

  (7)

 

Где

Для t=1 полагают, что

 

 

Расчет K^t прекращают при стабилизации значений его компонент. Ранжировка объектов определяется цепочкой неравенств К1> К2> К3> К4> …> К_n. Решение рассмотренной задачи возможно и при наличии только одного эксперта (m = 1).

Непосредственная оценка

Непосредственная оценка - это метод измерения, который представляет собой процедуру приписывания объектам числовых значений в шкале интервалов (при наличии полной информации о свойствах объектов). При непосредственной оценке эксперт ставит в соответствие каждому объекту число на непрерывной числовой оси (точечная оценка) или же каждый объект помещается экспертом в определенный оценочный интервал, получая при этом соответствующее количество баллов (в таком случае диапазон изменения оцениваемой характеристики предварительно разбивается на несколько интервалов, каждому из которых присваивается определенный балл).

Естественно, что от непосредственных оценок легко перейти к ранжировке, если упорядочить эти оценки, например по убыванию, а затем приписать каждой оценке соответствующее натуральное число (ранг), начиная с присвоения ранга, равного 1, максимальной оценке.

Последовательное сравнение

Последовательное сравнение - это комплексная процедура, включающая как ранжирование, так и последующую непосредственную оценку, проводящуюся в несколько этапов, цель каждого из которых - коррекция непосредственных оценок с учетом полученной ранжировки.

Рассмотрев базовые типы шкал и соответствующие методы измерений, следует отметить, что проблемы, для решения которых приходится применять методы экспертного оценивания, принято разделять на два класса.

Проблемы одного из этих классов характеризуются тем, что в их отношении в целом имеется достаточная информация, но она может носить качественный характер или имеется многокритериальность, что вызывает необходимость привлечения экспертов. При этом считают, что групповое мнение экспертов будет близко к истинному значению оцениваемых параметров. Здесь эксперты используют порядковую и интервальную шкалы. Для обработки оценок экспертов в этом случае можно широко использовать методы математической статистики. Проблемы, составляющие другой класс, не характеризуются достаточным информационным потенциалом. Здесь эксперты используют номинальную и порядковую шкалы. Обработка мнений экспертов для получения обобщенных оценок в данном случае не может состоять в простом усреднении индивидуальных оценок. Ведь может оказаться, что мнение какого-либо эксперта, плохо сочетающееся со «среднеарифметическим» мнением, окажется истинным. Поэтому важнейшую роль здесь приобретают процедуры качественной обработки оценок экспертов.

Часто эксперты не только оценивают характеристики объектов, но и формируют их множество. Например, эксперты сначала составляют перечень возможных событий, а затем оценивают вероятности их наступления, или вероятные интервалы времени их наступления.

 

⇐ Предыдущая123456Следующая ⇒

Поделиться: