Способы оценки качеств экспертов

⇐ ПредыдущаяСтр 6 из 8Следующая ⇒

Существуют различные, не противоречащие друг другу подходы к отбору экспертов. Одни авторы утверждают, что на практике применяют четыре основных метода отбора экспертов: на основании самооценки: на основании результатов прошлой экспертной деятельности: на основании определения компетентности: на основании оценки группой каждого специалиста -кандидата. Другие авторы говорят об использовании в квалиметрии пяти групп способов, с помощью которых оценивается качество эксперта, причем каждый из этих способов, как отмечает Г. Г. Азгальдов, характеризует несколько свойств эксперта. К этим способам относят: эвристические метопы опенки, статистические метопы оценки, тестовые методы, документальные (рейтинговые) методы оценки, комбинированные методы опенки.

Эвристические методы оценки, к которым относятся методы самооценки и взаимооценки, основаны на предположении, что представление у окружающих экспертов о данном эксперте достаточно правильно отражает его качество.

Статистические методы оценки экспертов основаны на предположении, что показания эксперта как своеобразного измерительного прибора имеют случайную и систематическую погрешности. К этой группе относятся: отклонение индивидуальной экспертной оценки от коллективной и воспроизводимость индивидуальной оценки через определенный промежуток времени.

Тестовые методы - получение экспертных оценок в результате специальных испытаний экспертов.

Документальные (рейтинговые) методы оценки основаны на предположении о том, что некоторые документальные данные (характеристики) об эксперте могут характеризовать его качество как эксперта. Например: содержание и количество публикаций, участие в международных семинарах и симпозиумах, стаж педагогической и научной деятельности.

Комбинированные методы оценки основаны на некоем обобщении оценок, полученных разными методами.

Независимо от метода, используемого для отбора группы экспертов, целесообразно уделить внимание вопросу ее состава. Принято считать, что в группах с однородным составом экспертов бывает меньше расхождений между собой, быстрее происходит процесс согласования группового решения.

Однако факт взаимного влияния мнений экспертов может привести и к нежелательным последствиям. В связи с этим, эксперты, участвующие в работе комиссии, должны обладать способностью высказывать мнения, не зависящие от мнений признанных авторитетов, от мнения большинства, должны уметь отказаться от своего публично высказанного мнения при выработке нового взгляда на проблему. Такие требования, естественно, создают значительные трудности при выборе экспертов для работы в комиссии.

В разнородных же группах эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок.

Понятие группового выбора, применительно к групповому экспертному оцениванию, не является средством замены индивидуального выбора неким коллективным образованием наподобие общественного мнения. В групповых решениях существенное значение имеют формирование на основе упорядочения объектов по их предпочтительносги коллективного заключения о групповом выборе и анализ индивидуальных отклонений от него. При этом индивидуальное мнение не игнорируется, а напротив, в случаях резкого отклонения от группового, становится предметом специального рассмотрения.

Критерий большинства не должен исключать учета мнения меньшинства. Даже сугубо индивидуальное мнение, когда оно хорошо аргументировано, не должно быть потеряно при квалифицированном разборе принимаемых решений, особенно в процессе экспертизы. Индивидуальные мнения, как правило, являются источником оригинальных предложений, столь необходимых для анализа нестандартных, неочевидных ситуаций. Они незаменимы при оценке уникальных, индивидуальных, специфичных разработок, опыта, деятельности. Индивидуальные заключения особенно важны для экспертного определения величины риска, поскольку индивид более чувствителен к опасности, нежели коллектив.

Экспертное оценивание часто необходимо тогда, когда возникают неопределенные ситуации, допускающие множество альтернатив и возможностей. В таких случаях разброс экспертных оценок выражает не степень некомпетентности специалистов, а объективную многоликость явлений, в том числе вариабельность аксиологических характеристик. Это означает, что все экспертные заключения правомочны, и их статистическая обработка может определять лишь меры согласованности позиций экспертов. Что же касается группового выбора, то если он оказывается возможным, результат экспертизы выражает практический опыт экспертной группы, а не истину как таковую.

Индивидуальная экспертиза. На наш взгляд индивидуальные оценки (индивидуальная экспертиза) предъявляют к эксперту особые, более высокие требования, нежели коллективные оценки (коллективная экспертиза), потому как при индивидуальной оценке выводы формулируются на основе суждения лишь одного эксперта. Совершенно очевидно, что успех такой оценки в значительной степени зависит от способности эксперта давать заключения по разным вопросам, требующим привлечения и общей эрудиции, как и специальных знаний (так как в большинстве своем педагогическая инновационная деятельность представляет собой совокупность самых различных направлений, школ, движений и т. п.).

Поэтому при выборе отдельного эксперта, прежде всего, должны приниматься во внимание соответствие сферы его компетентности задачам экспертизы, а также уровень квапифика^и эксперта в рассматриваемой области.

Экспертное оценивание рассматривается относительно двух основных форм экспертной работы: экспертного опроса (со всеми разновидностями от индивидуального интервью до коллективного генерирования идей и метода Дельфи) и диагностики, включая связанные с ней экспертные системы в кибернетике. В любом случае опрос и диагностирование в качестве способов получения и распознавания информации входят в сферу экспертного оценивания как формы выбора и предпочтения, сравнения и измерения, типологии и систематизации данных, моделирования и рационализации проблемных ситуаций экспертизы.

Квалифицированная экспертиза предполагает качественную и количественную оценку мнений экспертов и последующую математическую обработку ее результатов. Соответственно, экспертное оценивание может иметь многоуровневый характер: некоторые приемы сравнения, измерения, систематизации, рационализации и другие могут применяться к самим оценкам, а не только к первичным данным, особенно в ситуациях коллективного (группового) оценивания. В последнем случае ответы экспертов фиксируются, и таким образом строится их вероятностное распределение (27, 18).

В этой связи продуктивным способом организации групповой экспертизы является коллективное обсуждение индивидуального мнения, а точнее, выделение из экспертной группы наиболее квалифицированных, авторитетных экспертов в целях коррекции результирующих оценок.

Иначе говоря, при использовании экспертного оценивания возможны следующие ситуации:

1. Эксперты располагают надежной информацией, полученной в
процессе систематических эмпирических исследований (на основе
наблюдений, опросов, экспериментов), которая поддается измерениям и может быть апробирована контрольными проверками. В таком случае можно говорить о наличии определенного истинного результата, а
соответственно и знании (как продукта познания и осознания истины).

2. Имеется информация, оцениваемая лишь в пределах конкретной
ситуации. Применимость ее к другим обстоятельствам, будущим или
возможным событиям - проблематична, а надежность не всегда возможна. Такой случай может быть квалифицирован в познавательном
отношении как наличие некоего предположения (27, 26).

Определение сферы компетентности и уровня квалификации специалиста возможно путем разработки и совершенствования приемов взаимной оценки и самооценки этих профессиональных свойств специалистов. Приемы самооценки квалификации специалистов должны быть рассчитаны на выработку количественной оценки уровня квалификации, и включать, прежде всего, показатели, характеризующие степень его участия в развитии рассматриваемой области. Анализ такой самооценки должен позволить делать более обоснованные заключения по результатам экспертной оценки, выполненной каждым экспертом.

Назначение экспертов для проведения экспертизы инновационной проектной деятельности согласовывается и одобряется - с одной стороны экспертным советом, а с другой - авторами инновации.

Работа эксперта заключается в оценке (установлении качества) продукта по его характеристикам, для которых не существует объективно выработанного эталона. Оценивая инновацию, эксперт в большинстве случаев опирается на свое мнение о качестве, и, как предполагается, его ответ будет служить гарантией правильной и достоверной оценки.

В процессе рассмотрения состояния инновационного проекта эксперту предстоит понять, какой вид экспертизы подходит для ее оценки, каковы критерии этой оценки, какими средствами следует осуществлять оценку инновации. В сложных инновационных проектах может наблюдаться отсутствие достаточной информации для прогнозирования результатов экспериментальной деятельности, невозможность определения подобных инновационных практик и их сравнения. Поэтому необходимо привлечение квалифицированных специалистов-экспертов для проведения экспертизы различных вариантов прогнозируемых результатов. Однако следует иметь в виду, что если сами эксперты заинтересованы в результатах проекта, не исключено, что они могут сообщать не свое личное мнение, а такую информацию, которая приведет к принятию наиболее выгодного для них решения. Возможность такого искажения информации должна быть учтена в ходе проведения экспертизы.

При решении проблем нестандартных, связанных с прогнозированием s нестабильных условиях, должны участвовать эксперты высокой квалификации. Прогнозы, составленные экспертами средней квалификации, обычно основаны на традиционных привычных оценках. В ситуациях неопределенности, нестабильности они часто ошибочны. Высококвалифицированные специалисты оценят скрытые факторы и возможности появления новых тенденций.

На выбор группы (коллектива) экспертов оказывают влияние такие факторы, как соответствие суммарной сферы компетентности группы экспертов оцениваемой области, возможности прогнозистов по организации экспертизы с учетом затрат времени и средств на проведение опроса.

3.9. Критерии экспертизы

Критерии - зависимые переменные характеристики, которые предположительно являются наиболее адекватными для решения практических проблем.

Если считать, что задачей инновационной деятельности является прогнозирование и, в конечном счете, повышение эффективности деятельности образовательной системы, то базовыми критериями инновационной деятельности являются показатели эффективности деятельности на индивидуальном, групповом и организационном уровнях отдельного учреждения.

Критерий - признак, на основании которого производятся оценка, определение или классификация чего-либо; мерило оценки.

Критерии экспертной оценки определяются в соответствии с принципами и целями конкретной экспертизы. Существуют разные подходы к определению критериев экспертизы инновационных проектов.

Их состав определяется характером педагогических объектов, подлежащих экспертной оценке, наличием или отсутствием выработанных нормативов, мер, эталонов.

Некоторые авторы в качестве основных критериев выделяют реалистичность и реализуемость инновационного проекта.

В случае рассмотрения реалистичности инновации (эксперимента), совсем не предполагается рассматривать, насколько реально может существовать тот или иной инновационный проект. Главное - это определить, имеет ли он право на существование, насколько он соотносится с ситуациями будущего, имеется ли в наличии прогноз с пошаговыми действиями, в которых будет осуществляться инновационный проект, или может ли он быть представлен. Другим критерием инновационной деятельности является ее реализуемость (ресурсное обеспечение), которая рассматривается с учетом участников инновационного проекта; в данном случае возникает необходимость определить круг лиц, вовлеченных в инновационную проектную деятельность, для каждого из которых должно быть четко определено свое функциональное место, чем и будет обеспечиваться их включенность в реализацию идеи.

Мы рассмотрели один из подходов к критериям экспертизы инновационной деятельности. Гуманистичность инновационного проекта заключается в отражении в проекте гуманистического мировоззрения, или же в представлении в нем разнообразной образовательной среды либо в его демократичности. Проработанность инновационного проекта в качестве критерия предполагает наличие научного обоснования инновационной идеи и рассмотрение возможных путей реализации проекта. Большую значимое имеет критерий возможного распространения представленной в проекте инновации, так как в данном случае наравне с возможностью ее распространения определяется и уровень инновации - подлежит ли она распространению на федеральном, региональном, межрегиональном и местном уровнях, или возможно только ее частичное использование, или же инновация не подлежит распространению, в связи с ос экстраординарностью, или она не представляет интереса.

На наш взгляд, достаточно полной и интересной является следующая классификация критериев экспертизы:

• общие критерии, позволяющие оценить значимость предлагаемого
проекта с точки зрения основных тенденций, целей и направлений развития и реформирования образования на разных уровнях его организации;

• специальные критерии, позволяющие оценить компетентность
автора и содержательность проекта с точки зрения его полноты, соответствия нормативным и понятийным требованиям;

• частные критерии, позволяющие оценить степень обоснованности проекта с точки зрения возможностей его воплощения и жизнеспособности (17).

Рассмотрим состав названных критериев. В состав общих критериев инновационного проекта входят следующие показатели: новизна (инновационность) проектной идеи, которая может заключаться в создании абсолютно нового, неизвестного до настоящего времени продукта или в совершенствовании существующей образовательной ситуации, в предложении альтернатив развитию инновационной идеи и т. п.; масштабность инновационного проекта - какого уровня и какой значимости предполагаемый проект. Будет ли проект носить локальный характер, осуществляться на местном уровне и иметь, соответственно, ценность на этом уровне, или инновационный проект предполагает изменение в образовательной практике на региональном, межрегиональном и даже федеральном уровнях.

Следующим показателем, относящимся к общим критериям, является системность инновационного проекта. В представленном на экспертизу проекте необходимо определить: какой характер будет ноешь проект - фрагментарный или системный, то есть, будет ли рассматриваться содержание образования или сценарий отдельного урока, как и будут ли разработаны и представлены образовательные технологии или отдельные педагогические действия и т. п.

В состав критериев входит также и эффективность инновационного проекта. При ее рассмотрении следует понять, что же произойдет в образовательной практике с введением данного инновационного проекта: улучшение, существенное обогащение образовательной теории или практики, кардинальное преобразование существующей образовательной ситуации.

Транслируемость проектной идеи говорит о возможности трансляции представленной инновации, ее тиражирования или о том, что идея может существовать (быть реализована) только в экстраординарных условиях.

Рассмотрев состав общих критериев и их значение в экспертизе инновационных проектов, остановимся на составе специальных критериев. Учитывая, что каждый из представленных критериев существенно значим для экспертизы проекта, рассмотрим их в определенной последовательности.

Полнота структуры инновационного проекта, которая в проекте представлена анализом реальной образовательной ситуации; концепцией инновационного проекта, включающего проектную идею, описание проблем, постановку целей, формирование задач; содержательной и организационной моделью образовательной системы или ее фрагментом; планом и сметой реализации проекта с его ресурсным обеспечением.

Не менее значимой является и степень проработанности структурных элементов проекта. Следующим критерием является согласованность структурных частей проекта: рассматриваются ли во взаимосвязи анализ ситуации и описание проблем, которые необходимо решить; концепция, цели и задачи инновационного проекта; цели, задачи проекта и необходимые ресурсы (технологические, организационные, профессиональные, финансовые, материально-технические и т. д.).

И, конечно, группой критериев, необходимых для экспертной оценки инновационного проекта являются частные критерии. К ним, в первую очередь, относится реалистичность инновационного проекта, которая предполагает соответствие идей, целей и задач проекта реальной образовательной ситуации и имеющимся ресурсам. Другим частным критерием является реализуемость инновационного проекта, заключающаяся в наличии, вовлеченности и согласованности действий других субъектов образовательной ситуации с действиями автора проекта при его реализации. Еще одной характеристикой и частным критерием в экспертизе инновационных проектов выступает инструментальность (управляемость) проекта, то есть наличие организационных форм, способов и плана действий по его реализации.

⇐ Предыдущая 1 2 3 4 567 8 Следующая ⇒