Методология экспертного опроса

⇐ ПредыдущаяСтр 17 из 23Следующая ⇒

Экспертный опрос — разновидность социологического опроса, в ходе которого респондентами выступает особый тип людей — эксперты. Это компетентные лица, имеющие глубокие знания о предмете или объекте исследования.

Эксперт (лат. expertus — опытный) — специалист, делающий заключение при рассмотрении какого-нибудь вопроса.

Представитель любой сферы деятельности, кроме нашей собственной, может выступать для нас в качестве эксперта. Отличительная особенность этого метода состоит в том, что он предполагает компетентное участие экспертов в анализе и решении проблем исследования. К примеру, для оценки ожидаемого спроса на те или иные виды продукции экспертами могут выступать продавцы или товароведы магазинов, руководители малых предприятий, дилеры или брокеры. В армейском подразделении экспертами могут быть командиры, офицеры воспитательных структур, старослужащие (они, как правило, осведомлены по широкому кругу вопросов службы и быта).

В связи с этим серьезно меняется ролевая функция эксперта, который в полном смысле слова выступает активным участником социологического исследования. И попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования².

От других форм социологического опроса экспертный метод отличают несколько весьма важных черт:

♦ количество опрашиваемых: их всегда меньше, чем при анкетировании и даже интервью;

•■ »

♦ качества опрашиваемых: кругозор, уровень квалификации, знание специальной области у них на несколько порядков выше, чем у обычных респондентов;

♦ тип и объем информации: экспертный опрос проводится для получения знаний, которых нет и никогда не будет у социолога-исследователя; в отличие от обыденных знаний, которые известны социологу из своего опыта, получаемые от экспертов знания относятся к специальным научным знаниям;

♦ типичность данных: в массовом опросе социолога интересует типичность, повторяемость, обычность добываемых сведений о ценностных ориентациях и мотивах поведения людей, а в экспертном опросе исследователь дорожит именно уникальностью технических или гуманитарных знаний эксперта, их глубиной, неповторимостью;

♦ программная функция: первичную информацию, получаемую в анкетировании или интервью, социолог использует для проверки научных гипотез, а в экспертном опросе — для того, чтобы разобраться в совершенно новой для себя области.

Такие формы сбора первичной социологической информации, как анкетирование, интервьюирование, почтовый опрос, телефонное интервью, предназначены прежде всего для массовых опросов. Их особенность заключается в том, что они направлены на выявление информации, которая отражает знания, мнения, ценностные ориентации и установки респондентов, их отношение к событиям, явлениям действительности. И то, что данная информация основывается на индивидуальном интересе опрашиваемых и может быть весьма субъективной, отнюдь не противоречит научному характеру ее получения. Напротив, цель массового опроса заключается в том, чтобы при помощи соответствующего инструментария получить достоверные сведения о предмете и объекте исследования. Например, выявить группы читателей по степени их интереса к различным рубрикам газеты либо дифференцировать студентов по уровню их активности на занятиях и т.д. Таким образом, в ходе массового опроса источником социологической информации, дающей оценку тем или иным сторонам объекта исследования, выступают представители этого же объекта³.

Основное назначение экспертного опроса: выявление наиболее существенных, важных аспектов исследуемой проблемы, повышение надежности, достоверности, обоснованности информации, выводов и практических рекомендаций благодаря использованию знаний и опыта экспертов.

Область применения экспертного опроса: может быть использован при изучении всех сфер деятельности; в диагностике, в оценке состояний социального объекта, нормировании, проектировании, прогнозировании, в принятии решений. Разновидности экспертного опроса достаточно эффективно применяются на разных этапах социологического исследования: в определении целей и задач, выявлении проблемных ситуаций, поиске гипотез, ходе интерпретации понятий, обосновании надежности инструментария и исходной информации, в обосновании выводов, в выработке рекомендаций.

Основные нормативные требования: при опросе экспертов нужно дать четкое обоснование необходимости применения соответствующей методики экспертного опроса. Тщательность подбора экспертов: обязательная оценка их компетентности. Учет факторов, влияющих на суждения эксперта. Создание условий для наиболее продуктивного использования экспертов в ходе исследования. Сохранение полученной от экспертов информации без искажения на всех этапах исследования.

Существуют некоторые ограничения в применении выводов для разных методик экспертных опросов. Так, при использовании некоторых методик экспертных оценок полезно помнить, что заключения по их экспертизам имеют тенденцию к усреднению мнений, а потому могут оказаться непригодными для оценки нестандартных явлений, например новаторских произведений искусства. Не следует также забывать, что данные экспертного опроса носят субъективный характер, а потому желательно их сопоставление с объективной информацией об объекте, полученной другими методами (хотя часто применение экспертного опроса вызвано как раз трудностью получения информации другим способом).

Программа применения экспертного опроса включает в себя основные структурные элементы программы социологического исследования. Ведущими задачами являются: выделение целей опроса, построение критериев подбора, правил организации участия экспертов и критериев оценки данной ими информации. В отличие от массового опроса программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней прежде всего однозначно формулируется подлежащее оцениванию явление, предусматриваются в виде гипотез возможные варианты его исхода.

Основной инструментарий экспертных опросов — анкета или бланк-интервью, разработанные по специальной программе. В соответствии с этим процедура опроса может заключаться либо в анкетировании, либо в интервьюировании экспертов.

Бесспорно, для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После Второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина — экспертные оценки. Экспертные оценки — это суждения знатоков, предполагающие процедуру сравнения объектов, их свойств по выделенным критериям. Метод экспертных оценок — вид экспертного опроса, предполагающий использование экспертных оценок. Основное содержание метода заключается в рациональной организации осуществляемого экспертами анализа проблем с последующей оценкой выделенных исследователем суждений и обработкой полученных данных.

Фоновые суждения фиксируют факторы, влияющие на состояние изучаемого объекта. В процедуре опроса эксперт вьщеляет среди них наиболее важные, существенные для объекта, дает им оценку.

Применение экспертного метода опроса связано с соблюдением определенных правил. При его организации большое внимание уделяют обычно трем методологическим проблемам: подбору экспертов, процедуре их работы, обработке высказанных мнений⁴.

4.2. Виды экспертного опроса

Экспертный опрос — это совокупность (еще говорят: комплекс) различных методов, приемов, техник, процедур. Прежде всего процедура работы экспертов может быть совместной или отдельной. Среди коллективных процедур можно обнаружить метод «мозговая атака (штурм)», обычную дискуссию, дельфийскую технику. Выделим две основные процедуры: обычный опрос и многоступенчатый опрос. Первая предполагает проведение разового анонимного опроса. Он и в организационном, и в экономическом отношении наиболее легкий. В принципе он мало чем отличается от обычного массового опроса. Вторая процедура связана с тенденцией усложнять задачу экспертов. Многоступенчатость вводится для того, чтобы на каждом последующем этапе эксперты решали все более сложные задачи. Обычно экспертам предлагается использовать различные логические методы анализа («дерево целей», таблицы «взаимного влияния», сценарии и т.д.). Сам по себе многоступенчатый опрос может быть организован по-разному: сначала могут быть поставлены общие вопросы, затем все более

конкретные (метод «воронки») или, наоборот, в конце эксперты делают некие обобщения (метод «пирамиды»).

Так как участники опроса, как правило, осведомлены о цели и задачах опроса, теряется смысл использования косвенных вопросов, проективной техники, тестов и других приемов, с помощью которых обычно выявляют позиции респондента без его ведома. Их использование, а также применение «вопросов-ловушек» может даже нанести заметный ущерб качеству экспертного опроса. Ведь эксперт — это участник научного исследования, всякие попытки превратить его из субъекта исследования в объект могут поколебать основы взаимного доверия, которое необходимо между организаторами исследования и экспертами. Чтобы добиться активного и серьезного отношения эксперта, дать ему почувствовать себя полноправным участником научного исследования, его необходимо в какой-то мере познакомить с программой исследования. В силу специфики экспертной аудитории основным методом опроса становится не интервью, а анкета, заполняемая самим экспертом. Причем в анкете значительно чаще прибегают к открытым вопросам, которые позволяют лучше установить творческий потенциал эксперта, и дают возможность участнику опроса высказать оригинальную точку зрения. Кроме того, отказ от подсказок ослабляет влияние стереотипов.

Методисты выделяют также методы заочного и очного экспертного опроса. К методам первого из них относятся: письменный опрос (сбор мнений), анкетирование (формализованный опрос), метод независимых характеристик и дельфийская техника, ко вторым — интервью, совещание, исследовательская беседа, «мозговая атака». Число экспертов не должно превышать 10—15 человек.

Наиболее простым видом заочного опроса экспертов является письменный опрос (сбор мнений). Он состоит в том, что экспертам рассылаются (раздаются) специально подготовленные опросные листы, в которых они должны изложить свое мнение по существу поставленных вопросов. При составлении экспертного вопросника используется от 50 до 90% открытых вопросов. Сбор мнений подобен свободному интервью и отличается от него лишь письменной формой опроса, которая дает возможность привлечь большое число экспертов. Правда, заочный опрос связан с организационными трудностями, обусловленными низким уровнем возврата анкет.

Формализованный опрос экспертов представляет собой обычное анкетирование с вопросами, сформулированными как в открытой, так и в закрытой форме. По целям, задачам и содержанию этот метод существенно отличается от письменного сбора мнений. Если последний проводится для выявления эвристичных, принципиально новых идей, взглядов на проблему, неожиданных под-

ходов к старой проблеме, то анкетирование направлено на выяснение оценок тех или иных аспектов готового решения. Обычный метод анализа данных в таком случае — статистический.

Метод независимых характеристик позволяет дать обобщенную оценку одного явления, информация о котором поступает из нескольких независимых источников (от разных людей). На первом этапе происходит сравнение и сопоставление разных мнений, на втором — они обрабатываются с помощью математико-статистичес-ких процедур, на третьем — формулируются достоверные выводы. Такой метод активно применяется в социальной психологии для изучения деловых и личностных качеств индивида⁵. Здесь нескольких людей, хорошо знакомых с изучаемым человеком, просят охарактеризовать его по единой шкале, а затем обобщают независимые оценки в интегральный показатель. В коллективной оценке субъективные отклонения взаимопогашаются, что обеспечивает в конечном итоге объективный, научно обоснованный результат.

Одной из самых распространенных процедур проведения экспертного опроса выступает «дельфийская техника». Метод предусматривает опрос экспертов в несколько туров, обработку результатов каждого тура, информирование их об этих результатах и вновь повторение такой же процедуры. В первом туре ответы даются без аргументации. После обработки выделяются крайние и средние суждения и сообщаются экспертам. Во втором туре опрашиваемые вновь обращаются к своим оценкам. Так как они имели достаточно времени на размышление и узнали о существовании других позиций на этот счет, им предоставляется возможность пересмотреть свои взгляды либо, напротив, аргументировать. После второго тура обрабатываются новые оценки: крайние и средние мнения обобщаются, итоги вновь докладывают экспертам. Так повторяется 3—4 раза. Практика показывает, что после третьего или четвертого тура мнения экспертов не меняются. В ходе подобной процедуры вырабатывается согласованная оценка, при этом исследователь не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей позиции.

Метод «Дельфы» направлен на усовершенствование процесса принятия экспертных оценок, но с такой целью, чтобы общую оценку выводила не математика и статистика, а сами люди, ориентируясь на мнение других, если надо корректируя его, усиливая свою аргументацию или отказываясь от нее в пользу наилуч-

шей, более обоснованной точки зрения. Подобная техника позволяет уменьшить влияние недостаточно компетентных экспертов на групповую оценку, как это наблюдается при простом анкетировании. Оно достигается за счет полученной ценной информации от более компетентных экспертов.

Метод «мозговой атаки» («мозгового штурма») считается наиболее известным методом коллективного принятия творческих решений. Он представляет собой свободный, неструктурированный процесс генерирования собственных идей вокруг заданной темы, спонтанно предлагаемых участниками. Философия этого метода исходит из предположения, что при обычных приемах обсуждения возникновению новаторских идей препятствуют контрольные механизмы сознания, которые сковывают поток этих идей под давлением привычных, стереотипных форм принятия решения. Тормозящее влияние оказывают боязнь неудачи, страх оказаться смешным и т.д.

Этот метод разработан и описан американским психологом А.Ф. Осборном в 1938 г. Ученый обратил внимание на то, что одни люди легко выдвигают новые идеи, другие больше склонны к критическому анализу чужих идей. При обычных обсуждениях обе категории людей оказываются вместе и, как правило, мешают друг другу. Вот почему было решено разделить этапы генерирования идей и их анализа. Для этого создаются две группы: участники мозговой атаки — те, кто должен предложить новые варианты решения нужной задачи, и члены комиссии, которые будут обрабатывать предложенные материалы. В первую группу, которая будет генерировать идеи, сначала назначается руководитель, который будет эту группу укомплектовывать, включая в нее 4—11 человек. Члены этой группы не могут быть связаны отношениями «руководитель—подчиненный» из-за угрозы разрушения атмосферы доверия. Руководитель опроса сообщает членам группы суть решаемой проблемы за 2—3 дня до проведения «мозговой атаки». Проблема должна быть обозначена как можно более четко и всесторонне. При проведении мозговой атаки в группе создается непринужденная атмосфера. Этому содействует состав группы, поведение руководителя, выбор помещения, освещение и т.д. Никто из участников не должен бояться того, что его высказывания не представляют ценности. Предложения или идеи нельзя негативно оценивать ни словом, ни жестом, ни интонацией (любая критика запрещена), наоборот, желательна их поддержка и развитие. Свои мысли участники должны высказывать откровенно и свободно. Нередко это уменьшает скованность группы и является первопричиной рождения оригинальных идей. Поступившие при обсуждении предложения фиксирует секретарь. Мозговой 494

штурм длится не более 2—3 ч. Слишком быстрое завершение нежелательно, так как установлено, что новые и оригинальные идеи возникают часто тогда, когда кажется, что исчерпаны все возможные мысли и ассоциации. I

Распространенными считаются две формы мозговой атаки: простое совещание и совещание по круговой системе.

На простом совещании руководитель поочередно опрашивает каждого участника и просит высказать предложение по решению стоящей перед ними проблемы. Каждое решение заносится в список и нумеруется, затем этот список вывешивается у всех на виду. Критика или оценка идей не допускается. Особое значение уделяется созданию свободной и творческой обстановки, позволяющей всем экспертам беспрепятственно высказывать свои идеи и предложения. Большое значение имеет количество представленных предложений. В их выдвижении должны участвовать все. Особо ценится экспромт, т.е. предложения, возникшие тут же и под влиянием той информации, которую эксперт услышал от других. Они ценятся выше домашних заготовок, поскольку аккумулируют коллективную мысль, по- ' множенную на знание ситуации и творческое воображение автора идеи. Если атака на непознанное идет слишком вяло, совещание переносят на другую дату, позволяя экспертам «дозреть».

При совещании по круговой системе эксперты разбиваются на небольшие группы, состоящие из 3 или 4 человек, где продуцируют новые идеи и записывают их на листе бумаги или на карточках (по 2—3 идеи на каждой). Затем члены малой группы обмениваются своими карточками, в результате чего к старым идеям добавляются новые. После троекратного обмена каждая подгруппа составляет сводный перечень выдвинутых идей. Затем собирается весь коллектив, на рассмотрение которого представляются групповые отчеты. Такую форму целесообразно использовать при снижении активности или когда участники отвлекаются в ожидании своей очереди.

Список идей, выдвинутых в результате «мозгового штурма», обычно довольно длинный (более 15—20). Ведущему бывает сложно определиться с их приоритетностью, а участникам — дождаться своей очереди на обсуждение. В помощь рекомендуют применять следующий метод. Перечень идей с порядковыми номерами вывешивается на видном месте. Каждый эксперт получает право на пять голосов, которыми он может распорядиться по своему усмотрению: по одному голосу за каждую из пяти идей, все пять — за одну, два голоса за одну идею и по одному за каждую из трех других и т.д. Такой подход позволяет каждому эксперту высказать свое предпочтение, а коллективу в целом — определиться с приоритетами. Другой способ: на

заседании группы каждая идея зачитывается под своим номером, а эксперты голосуют поднятием рук. Число вытянутых пальцев на поднятой руке указывает на количество поданных голосов⁶.

Метод «мозговой атаки наоборот» во многом напоминает обычную «мозговую атаку», но при этом разрешается высказывать критические замечания. Точнее сказать, критика специально поощряется, так как философия такого метода построена на том, чтобы все эксперты выявляли как можно больше недостатков у предлагаемых идей. Метод может дать неплохие результаты, если он выступает предваряющей процедурой к другим методам экспертизы.

Метод прогнозных сценариев — наиболее популярный в последние десятилетия метод экспертных оценок. Термин «сценарий» впервые был употреблен в 1960 г. футурологом Г. Каном при разработке картин будущего, необходимых для решения стратегических вопросов в военной области. Сценарий — это вероятностное описание картины будущего, составленной на основе компетентных технических суждений. Один прогноз включает несколько сценариев, в большинстве случаев три: оптимистический, пессимистический и промежуточный (наиболее вероятный, ожидаемый). Составление сценария происходит в несколько этапов: 1) структурирование и формулировка вопроса: сбор и анализ исходной информации, согласование задачи со всеми участниками проекта, выделение структурных характеристик проблемы; 2) определение факторов внешнего влияния; 3) нахождение показателей, желательно альтернативных, будущего состояния; 4) формирование и отбор согласующихся наборов предположений при помощи компьютерных программ; 5) разработка практических рекомендаций к сценарию будущего и определение возможных последствий его реализации.

Метод коллективного блокнота («банка» идей) — способ, основанный на сочетании независимого выдвижения идей каждым экспертом с последующей их коллективной оценкой.

Метод KJ— так называется метод антропологических исследований, когда исследователи сначала собирают коллекцию фактов о жизни племени, а затем просят туземцев объяснить их значение. Японский бизнес адаптировал метод KJследующим образом: служащих компании просят набросать на листочках бумаги свои пожелания об усовершенствованиях процесса производства и предложения о том, что компании следует делать. Полученные пожелания и предложения анализируются, и на основе суммы мнений получается картина, на которой изображена перспектива компа-496

нии и ее подразделений в будущем. Метод носит скорее интегри-рующий, чем аналитический, характер.

Метод неспециалиста заключается в том, что решение пробле-мы предлагается лицам, которые никогда ею не занимались, но являются специалистами в смежных областях.

Пример. В Центре социологии региональных и национальных отношений ИСПИ РАН (рук. чл.-кор. РАН В.Н. Иванов) изучение проблем взаимодействия федерального центра и регионов построено на основе систематических опросов экспертных групп⁷. В состав экспертных групп или так называ-емых групп специализированного сознания входили: специалисты облает- ных (республиканских, краевых) и городских администраций, руководители предприятий и учреждений различной формы собственности, работники средств массовой информации, высшего образования, а также представи-тели творческих союзов. Метод сбора информации — раздаточная анкета. География исследований была весьма широкой. По Сопоставимой методи-ке исследования проводились в Москве, Ставрополе, Уфе, Петрозаводске, Якутске, Улан-Удэ, Тюмени, Новосибирске, Казани, Астрахани, Тамбове, Саранске, Рязани, Ростове-на-Дону, Волгодонске, Барнауле, Владикавказе, Нальчике, Назрани. Данные экспертных опросов, проведенных в 2000— 2002 гг., свидетельствуют, что если сложившаяся к концу 1990-хгг. ситуация в РФ могла быть охарактеризована как кризисная, а в начале 2000-х гг. она начинает выправляться (обнаружена положительная динамика оценок экс-пертов во времени). Ежегодные экспертные опросы, проводимые Отделом социальной экологии регионов ИСПИ РАН (рук. И. А. Сосунова), позволяют определить значимые для населения экологические проблемы, порождаю-щие негативные социально-экологические процессы. В частности, установ-лено, что наиболее болезненно воспринимаются населением проблемы, про-являющиеся в сфере здравоохранения и порождающие социально-демо-графические, социально-экономические и иные последствия. В результате опроса членов экспертных советов по социальным и гумани-тарным наукам ВАКа сотрудники Отдела теоретических проблем социоло-гии ИСПИ РАН (рук. Л.Н.Москвичев) получили следующие данные: почти половина экспертов отмечают снижение требований к кандидатским рабо-там и около 40% экспертов отмечают снижение требований к докторским работам. Примерно такая же ситуация складывается и применительно к дис-сертациям по социологическим наукам.

4.3. Отбор экспертов

\И в массовом, и в экспертном (его в противоположность массовому можно назвать элитарным) опросе чуть ли не главным моментом выступает отбор опрашиваемых. В первом случае речь идет о правильном составлении выборочной совокупности, которая впоследствии обеспечит репрезентативность данных. Уровень образования и компетентности, если это не опрос целевой группы, не играют никакой роли — все равно вопросы для всех стандартизированные. Во втором случае задача стоит почти обратная. Типичные эксперты нужны далеко не всегда. Часто социологу необходимы эталонные, лучшие представители своей профессии. И на репрезентативность данные проверять никто не станет. Достоверность данных в массовом опросе как некоторых среднестатистических показателей тем выше, чем больше совокупность опрошенных. Что же касается экспертного опроса, то в связи с высокой компетентностью участвующих в нем лиц мнение даже одного эксперта, а тем более группы экспертов может оказаться достаточно обоснованным и достоверным. Отметим и другой факт: некоторые технические и методические приемы, широко используемые в массовых опросах, теряют свое значение при опросе такой специфической аудитории, как эксперты. Как правило, массовые опросы носят анонимный характер. В экспертных опросах это теряет смысл, ибо эксперты должны быть полностью осведомлены о задачах, которые решаются в ходе исследования с их помощью. Так, например, в экспертной анкете не применяются косвенные и контрольные вопросы, тесты или какие-либо другие приемы, имеющие своей целью выявить «скрытые» позиции респондента.

Состав экспертной группы определяет эффективность использования этого метода. Дело в том, что такой характеристикой, как знания и опыт по данной проблематике, можно пользоваться только на самом первоначальном этапе отбора. Очень часто исследователь в первоначальный список потенциальных экспертов включает всех, кто работает в данной области, а затем отбирает из него узкий круг лиц.

Как же грамотно сформировать нужную группу экспертов? Вот что предлагают авторы известной у нас в стране книги «Основы прикладной социологии», изданной под редакцией крупного методиста, директора Центра социального прогнозирования и маркетинга Ф.Э. Шереги¹⁰. На самом первом этапе отбора в качестве критериев целесообразно использовать два признака: род занятий

и стаж работы по интересующему нас профилю. При необходимо-сти учитываются также уровень, характер образования, опыт об-щественно-политической деятельности, возраст и др. Первый спи-сок экспертов может быть весьма широким, однако в последую-щем его целесообразно «сузить», так как не каждый человек способен выступить в роли эксперта.

Центральный критерий отбора экспертов — их компетент-ность. Для ее определения применимы, с той или иной степенью точности, два метода; самооценка экспертов и коллективная оцен-ка авторитетности экспертов.

Наиболее простая и удобная форма самооценки экспертов -совокупный индекс, рассчитанный на основании оценки экспер-тами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний», «низкий». При этом первой позиции приписывается числовое значение «1», второй — «0, 5», третьей — «0». В таком случае совокупный индекс — коэффици-ент уровня компетентности эксперта — вычисляется по формуле:

где k_l — числовое значение самооценки экспертом уровня сво» теоретических знаний; к₂ — числовое значение самооценки npaKii тического опыта; к₃ —числовое значение самооценки способнс ти к прогнозу.

Коэффициент уровня компетентности может изменяться от (полная компетентность) до 0 (полная некомпетентность).

Обычно в группу экспертов принято включать тех, у кого ин-деке компетентности не менее среднего (0, 5) и выше (до 1). По-лучение первичных числовых значений самооценки (k_v kj, к₃) для расчета индекса компетентности экспертов происходит при помо-щи вопроса табличной формы (табл. 4.1).

Исходя из числовых значений оценок, обозначенных крестиками в клетках таблицы, рассчитаем коэффициент уровня компетентности эксперта по проблемам правового государства:

Полученное число свидетельствует о том, что уровень компетентности эксперта по исследуемому вопросу выше среднего.

При отборе экспертов методом самооценки возникает проблема ее завышения. Однако, как отмечают специалисты, «опыт многочисленных экспертиз и у нас и за рубежом показывает, что группы с высокой самооценкой, как правило, ошибаются в своих суждениях при проведении экспертизы меньше других»¹¹.

Метод коллективной оценки применяется для формирования группы экспертов в том случае, когда они знают друг друга как специалисты. Такая ситуация чаще всего характерна для ученых, творческих деятелей, известных политиков, экономистов. Этот метод можно рассмотреть на примере формирования группы экспертов, осуществленного С. Бешелевым и Ф. Гурвичем.

Предположим, что мы имеем список, включающий десять экспертов, и просим каждого из них выделить пять наиболее компетентных коллег. На основании ответов построим табл. 4.2, обозначив в ней номерами от 1 до 10 в первом столбце тех, кого выбирают, а в первой строке тех, кто выбирает. В клетках таблицы число «1» обозначает выбор, «тире» — отсутствие выбора, «0» — указывает на то, что никто сам себя не назвал.

Таблица 4.2 Таблица взаимных оценок экспертов

Кого назвали	Кто назвал	Сколько раз назвал

		-	-				-		-
					-
	-			-		-	-	-	-	-
			-		-	-			-
								-		-
	-	-		-						-
								-
	-	-	-		-	-	-		-
	-			-				-		-
		-	-	-	-	-	-
Итого

В последнем столбце таблицы приводится сумма голосов, ко-торые получил соответствующий эксперт. Эти числа принимают-ся в качестве «веса» мнений, ими заменяются «единицы» в тали-це (по столбцам), в результате чего получается ранжированный ряд оценок уровня компетентности всех десяти экспертов (табл. 4.3).

Таблица 4.3 Таблица уточненных взаимных оценок экспертов

Кого назвали

Кто назвал

Суммарная оценка

Ранговая оценка I компетентности

1 '. J

Таким образом, если мы хотим сформировать группу из пяти наиболее компетентных экспертов, то, судя по оценкам в пред-последнем столбце, мы зачислим в эту группу экспертов под но-мерами 7, 5, 2, 9, 4.

Опросы компетентных лиц именуются экспертными, а резуль-таты опросов — экспертными оценками. В наиболее общем виде можно выделить две основные функции метода экспертной оцен-ки в социологическом исследовании: оценка состояния (включая причины) и прогноз тенденций развития различных явлений и процессов социальной действительности.

4.4. Факторы валидности экспертных оценок

Валидность — доверие, которое заслуживают суждения экспер-тов. Она зависит от компетентности экспертов и трудности решаемой задачи. Существует много причин, по которым эксперт может оказаться не в состоянии реализовать свой интеллектуаль-ный и творческий потенциал. Отметим некоторые из них и дадим рекомендации по их устранению.

1. Идентификация суждения с его источником — естественный компонент восприятия человека человеком. Значительно снима-ется при отсутствии непосредственного контакта экспертов. Если

501

же группа работает в режиме очного взаимодействия, следует составлять ее так, чтобы туда не попадали люди, хорошо знающие друг друга, начальники и подчиненные. Включение в группу «громких имен» целесообразно лишь тогда, когда вся она состоит из специалистов высокого ранга.

2. Центростремительное давление возникает из-за свойственного большинству людей смещения своих суждений в сторону нейтральной середины. Установлено: чем выше самооценка компетентности эксперта, тем выше устойчивость высказываемых суждений. Переход к заочному взаимодействию экспертов сам по себе не исключает возникновения центростремительного давления, однако некоторые процедуры сбора информации (процедуры с качественной обратной связью, с индивидуальной обратной связью) позволяют справиться с этой сложностью.

3. Стремление к доминированию может возникать у членов экспертной группы, не являющихся признанными лидерами, это потенциальный источник конфликтов. Следует избегать включения экспертов с повышенной тягой к лидерству в опросы с режимом непосредственного воздействия.

4. Неустойчивость формирующегося мнения характерна для большинства экспертов на этапе знакомства с объектом и первичного обдумывания оценок. Высказанное в этот момент незрелое суждение может быть воспринято остальными как желанная подсказка. На первом этапе необходимо поддерживать информационную изоляцию экспертов.

Достоверность экспертных оценок повышается за счет правильной формализации исходной информации, корректного подбора экспертов, соблюдения принципов и процедур экспертного опроса. Она зависит и от индивидуальных качеств эксперта (профессиональных и практических знаний, стажа и опыта работы в конкретной сфере деятельности и др.).

⇐ Предыдущая 12 13 14 15 161718 19 20 21 Следующая ⇒