Направления совершенствования экспертных технологий
Рассмотренные методы проведения экспертизы составляют основу экспертных технологий. Исходя из этого можно выделить основные направления совершенствования и развития экспертных технологий [15] (таблица 3.3).
Т а б л и ц а 3.3 – Основные направления совершенствования экспертных технологий
| Основные
направления
| Основные проблемы, рассматриваемые в рамках
этих направлений
|
|
|
|
| 1. Формирование экспертной комиссии
| 1.1. Определение качества эксперта
1.2. Возможности эффективного взаимодействия экспертов, входящих в состав экспертной комиссии, для получения полной и адекватной оценки объекта экспертизы
|
| 2. Организация и проведение экспертиз
| 2.1. Определение и совершенствование процедур обмена информацией между экспертами в процессе экспертизы
2.2. Разработка механизмов выявления экспертных знаний и оценок
2.3. Проведение комплексных экспертиз при оценке сложных объектов
|
| 3. Получение экспертной информации
| 3.1. Соответствие видов экспертной информации различным методам ее получения и обработки
3.2. Развитие языка бинарных отношений для единообразного представления количественной и качественной экспертной информации
3.3. Разработка методов измерения экспертной информации: представимости экспертной информации, обеспечения единства измерений, адекватности получаемой информации
|
| 4. Определение результирующих экспертных оценок
| 4.1. Разработка корректных способов определения результирующих экспертных оценок
4.2. Разработка методов, определяющих целесообразность использования тех или иных видов результирующих экспертных оценок в зависимости от характера экспертной информации
4.3. Установление связи между методами определения результирующих экспертных оценок и принципами коллективного выбора
4.4. Развитие методов группового выбора
|
| 5. Многокритериальные оценки
| 5.1. Развитие методов определения факторов, характеризующих объекты экспертизы
5.2. Развитие методов оценки сравнительной весомости факторов
|
| Окончание таблицы 3.3
|
| Основные
направления
| Основные проблемы, рассматриваемые в рамках
этих направлений
|
|
|
|
|
| 5.3. Систематизация и классификация принципов выбора и анализ результатов использования методов многокритериальной оценки при принятии решений
5.4. Применение композиционных принципов выбора
5.5. Решение задач многокритериальной оптимизации, использующих экспертную информацию
|
| 6. Анализ результатов экспертизы
| 6.1. Развитие методов оценки согласованности экспертных суждений
6.2. Разработка методов оценки непротиворечивости экспертных суждений
6.3. Развитие методов оценки точности экспертных суждений
6.4. Оценка степени конъюнктурности, конформизма и других факторов, характеризующих адекватность экспертной информации
|
| 7. Компьютерные системы экспертного оценивания
| 7.1. Обеспечение технологического сопровождения, необходимого методического и информационного обеспечения экспертного оценивания при организации и проведении экспертиз с учетом их специфического характера
|
Как наиболее прогрессивное направление совершенствования экспертных технологий следует отметить использование виртуальных экспертных систем.
Профессиональное владение технологиями экспертного оценивания позволяет сделать получение, обработку и анализ экспертной информации более надежными и основательными [15].
Одним из направлений совершенствования является использование алгоритмов обработки экспертной информации.
Среди множества задач обработки экспертной информации выделяются две наиболее важные:
– построение групповой обобщенной оценки объектов на основе индивидуальных оценок экспертов;
– определение согласованности мнений экспертов, выделение подгрупп экспертов с согласованными мнениями [7].
Задача построения обобщенной групповой оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Ее решение зависит от использованного экспертами метода измерения и от того, в какой шкале проведено измерение.
Если m экспертов проводят оценку n вариантов системы по одному из критериев, используя одну и ту же шкалу интервалов, результаты оценки представляются в виде величин
, где
– номер эксперта
– номер варианта системы
. Величины
представляют собой числа из некоторого отрезка числовой оси, или баллы.
Для получения групповой оценки
каждого из вариантов системы используются средние взвешенные оценки
,
(3.1)
где
– коэффициенты компетентности экспертов, являющиеся нормализованными величинами:

Выбор коэффициентов компетентности экспертов достаточно сложен и носит субъективный характер. Для преодоления этой трудности в работе [7] предлагается подход, основанный на вычислении коэффициентов компетентности по результатам экспертной оценки систем.
Основная идея подхода состоит в том, что компетентность экспертов должна оцениваться по степени согласованности их индивидуальных оценок с групповой оценкой объектов. Вычисление коэффициентов компетентности основано на итеративной процедуре корректировки коэффициентов компетентности
– номер итерации. На каждой итерации определяется взвешенная групповая оценка каждой системы. После чего вычисляются отклонения индивидуальных оценок экспертов от групповой оценки, и коэффициенты компетентности экспертов, оценки которых далеки от групповых оценок, понижаются.
Выбор нормы, описывающей расстояние между оценками, показывает близко или далеко расположены оценки эксперта от групповой оценки. Выбор нормы и способ корректировки коэффициента компетентности определяют соответствующий вариант алгоритма.
В алгоритме, предложенном в [7], на каждой итерации вычисляются специальные поправочные коэффициенты
их значение обратно пропорционально p-норме, определяющей отклонение
-го вектора экспертных оценок (оценки
-го эксперта) от средней групповой оценки. Далее с помощью поправочных коэффициентов корректируются коэффициенты компетентности. После корректировки проводится нормализация коэффициентов и проверяются правила останова. Вычисления прекращаются, когда значения коэффициентов перестают меняться.
Популярное: