Глава 4. ОШИБКИ И КОНТРОЛЬ ПОЛЯ

⇐ ПредыдущаяСтр 10 из 23Следующая ⇒

Для выяснения общественного мнения сегодня принято задавать вопросы. Большие совокупности людей без применения выборочных методов и статистических обобщений просто так не охватишь. По существу опросы — всего лишь постановка конкретных вопросов перед отобранными группами людей, если формулировка вопросов и отбор респондентов основаны на научной базе. Но всегда ли мы правильно их задаем, а если нет, то как избежать ошибок и контролировать сам процесс анкетирования?

Вопросы, которые не надо задавать

Как бы ни был опытен и компетентен социолог, но, не определив исходных принципов, он неизбежно придет к неясным формулировкам вопросов и многозначным, противоречивым ответам, которые трудно интерпретировать. Даже самые безошибочные и на вид простые вопросы требуют тщательной проработки. Недостаточно спросить: «Удовлетворены ли Вы своей работой? » Нужно точно определить, что подразумевается под «работой» (условия или процесс труда, цех, предприятие или рабочее место). Надо быть уверенным, что понятие «удовлетворен» исследователь истолковывает точно так же, как респондент. Даже технические термины типа «фрезерный станок» или «несчастный случай» очевидны только на первый взгляд. Относить ли к «несчастным случаям» бытовые травмы или небольшие повреждения (например, ушиб ноги)? На подобные вопросы социолог обязан ответить до того, как задаст свои вопросы респонденту.

Или другой пример — вопрос «Нравится ли Вам музыка? ». Его нельзя считать корректным. Слово «нравится» может соответствовать разнообразным чувствам: от тех, которые испытывают великие композиторы и исполнители, когда слушают, пишут или исполняют музыку, до чувств человека, который любит слушать по-360

пулярные песенки, совершая субботние покупки. Подобно этому, термин «музыка» означает огромное разнообразие различных направлений: например, джаз, поп, народная музыка, рок, барокко, доклассическая, классика, романтизм, модерн, неоклассицизм, — а, кроме того, может иметь отношение к слушанию и исполнению, так что идентичные ответы на вопрос могут отражать совершенно различное поведение. Например, «да» для одного респондента может выражать наслаждение от пения контртенора в ранней полифонической венецианской церковной музыке. А для второго оно может заключаться в удовольствии прослушивания мотивчика типа «Танцуй со мной», когда он сидит за рулем своей машины¹.

Далее мы рассмотрим наиболее типичные ошибки, допускавшиеся советскими социологами при формулировке вопросов анкеты, касавшихся изучения трудовых отношений.

Если мы примерно знаем, как надо строить грамотные вопросы, то не всегда еще знаем, как их надо формулировать. Позаимствуем у известного мастера демоскопических опросов Элизабет Ноэль технику комментирования вопросов, но применим ее к анализу их содержания, обобщив типичные ошибки. Вопросы мы брали из реальных анкет, разработанных академическими институтами, кафедрами вузов, социологическими лабораториями пред- приятии разных городов страны в 1970—1980-е гг. Полностью ана- лиз приведен в нашей книге².

Итак, вопросы, которые не надо задавать.

1. Можете ли Вы сказать, что со времени образования объединения на Вашем предприятии (в цехе) произошли заметные, важные для Вас изменения?

01. Да, произошли изменения в лучшую сторону. 02. Изменений заметных не произошло. 03. Произошли изменения в худшую сторону.

Комментарий. Фактически здесь два вопроса. Один об изменениях на предприятии, другой — в цехе. Целесообразнее так и по-ступить — сформулировать два вопроса. Подобные вопросы называют двухканальными. Они требуют двух ответов, в результате чего для респондента создаются дополнительные трудности. Например, в одном вопросе ему предлагают оценить уровень цен и удобство расположения магазина.

2. Зависит ли производительность Вашего труда от взаимоотношений в коллективе?

01. Да, хорошие отношения помогают мне в работе. 02. Хорошие отношения помогают работе, но не очень сильно. 03. Отношения на работе не сказываются.

Комментарий. Здесь допущено несколько ошибок. Во-первых, выбрана только одна переменная (взаимоотношения), которая должна влиять на производительность. Если в анкете не предусмотрены другие факторы (плохая организация труда, неритмичное снабжение и т.п.), то может сложиться впечатление, что взаимоотношения — самый важный, если не единственный негативный фактор. Во-вторых, в самом вопросе названы просто «взаимоотношения», а в ответах определяется их качество — «хорошие отношения». Но это разные вещи. Наконец, сделана не совсем удачная попытка построить шкалу интенсивности: «помогают», «не очень сильно», «не сказываются». Формулировка вопроса и закрытий неправильная, ее вряд ли можно улучшить, поэтому от такого способа лучше отказаться.

3. Выполняете ли Вы нормы выработки?

01. Да, постоянно. 02. Не всегда выполняю. 03. Не выполняю.

4. Скажите, работаете ли Вы в течение месяца всегда с полной отдачей?

01. Да, всегда работаю с полной отдачей. 02. Не всегда работаю с полной отдачей. 03. Работаю, как правило, не с полной отдачей, мог бы работать лучше.

Комментарий. Вопросы на первый взгляд конкретные, деловые. Их относят к фактологическим, и этим своим качеством они нередко обманывают составителей анкет. Спрашивать можно о конкретных явлениях, но получить в результате абстрактную информацию. Что делать с данными о постоянном выполнении нормы выработки или работе с полной отдачей, не ясно. Как интерпретировать подобные факты? Сами по себе они не дают нужной информации, если не дополнены другими вопросами на ту же тему.

5. Как Вы относитесь к специальности, по которой сейчас работаете?

01. Это моя специальность по призванию, менять не собираюсь. 02. Пока намерен работать по этой специальности. Обстоятельства подскажут в дальнейшем, как поступить. 03. Вероятно, изменю специальность, но решение еще не вполне созрело. 04. Твердо решил изменить специальность. 05. Затрудняюсь ответить.

Комментарий. Попытка построить пятичленную шкалу интенсивности неудачна. Фактически пункты 02, 03 и 05 означают одно и то же, только выражены различными словами. Действительно, все их можно заменить одной позицией — «затрудняюсь сказать», которая обозначает неопределенность решения, его вероятность, 362

несформированность мнения. В преобразованном виде остаются три позиции: «менять не собираюсь», «затрудняюсь сказать», «твердо решил изменить». Альтернатива «затрудняюсь сказать» в большинстве случаев означает среднюю, промежуточную позицию на шкале.

6. Как Вы выполняли свое сменное задание в последние 6 месяцев?

	За последний месяц	За предпоследний месяц	Три месяца назад	Четыре месяца назад	Пять месяцев назад	Шесть месяцев назад
Менее 90%
90-100%
110—110%
110—120%
120—150%
Более 150%

Примечание. В третьей строчке первого столбца в оригинале явная опечатка, к сожалению, оставшаяся незамеченной составителями и размноженная тысячами экземпляров.

Комментарий. На первый взгляд этот фактологический вопрос более конкретен, чем сходный с ним вопрос 3 о норме выработки. Однако конкретность здесь чрезмерная, практически не поддающаяся разумной интерпретации. Чрезмерная эмпиричность нередко превращается в свою противоположность — бессмысленную абстрактность. Для интереса попробуйте построить производственный профиль рабочего, который месяц назад выполнял задание (норму) на 100%, три месяца назад — на 90%, шесть месяцев назад — на 110% (пропускаем промежуточные значения), и сказать, чем он отличается от другого рабочего, который справлялся с заданием месяц назад на 110%, три месяца назад— на 100%, шесть месяцев назад — на 100%. Существенная между ними разница или нет и что дает такого рода информация? НакЬнец, для респондента затруднительна табличная форма вопроса.

7. Как Вы оцениваете роль труда в жизни советского человека?

01. Труд — потребность человека, основа утверждения человеческого достоинства. 02. Труд — источник богатства Родины и благосостояния каждого гражданина. 03. В труде формируются гражданские качества личности. 04. В труде человек становится настоящим человеком: мастером своего дела, творцам, личностью. 05. Добросовестный труд расширяет границы свободы и независимости советского человека. 06. Какое-либо другое мнение. 07. Затрудняюсь ответить.

8. Оказываете ли Вы лично бескорыстно помощь товарищам по работе?

01. Да, когда вижу в этом необходимость. 02. Да, когда меня об этом попросят. 03. Не оказываю помощи.

Комментарий. Примеры 7 и 8 — образцы демагогических вопросов. Первый составлен, по существу, из газетных передовиц, лозунгов, стереотипов времен застоя. В 60—70-е гг. подобные вопросы были очень распространены. Если вдуматься, то в них ни о чем не спрашивается и не утверждается. Подобные этим риторические вопросы никакой, даже отрицательной, информации не дают. От респондента лишь требуется согласие с общественно одобренными ценностями, и в большинстве случаев горе-исследователь такое согласие получает, но новых знаний не прибавляет.

Альтернативы, содержащие негативное отношение к труду, в первом вопросе не даны, они скромно подразумеваются под названием пункта анкеты «Какое-либо другое мнение». И хотя этот вопрос составлен в академическом институте, он не выдерживает никакой критики. Второй вопрос также является лжевопросом. К подобного рода вопросам относится и другой, столь же популярный: «Получаете ли Вы от повседневно выполняемой Вами работы моральное удовлетворение? » Нужно сказать, что распространившаяся в свое время «моральная социология» использовалась для одной цели: приукрашивания действительности. Для целей научного анализа и разработки конструктивных рекомендаций она бесполезна.

9. Если Вас не удовлетворяет существующая система премирования, то почему?

01. Небольшая сумма премий. 02. Неправильно выбраны показатели, за которые начисляется премия. 03. Показатели реальные, но нет условий для их выполнения. 04. Вся система премирования слишком сложна, в ней трудно разобраться. 05. Система премирования неплохая, но ее часто нарушает администрация.

Комментарий. Это совершенно другой вопрос, и по-своему он интересный. Во всяком случае, поставлена реальная проблема и предложены пути ее решения в виде устранения причин, указанных в ответе. Респонденту остается выбрать. Однако в таком виде вопрос не срабатывает. Почему? Правильно перечислены объективные недостатки премирования — значит, все они действуют. Тогда зачем выбирать только один? Может случиться, что и сумма премии мала, и показатели начисляются неправильно, и администрация их нарушает, ссылаясь при этом на отсутствие условий. Все вместе это делает систему премирования слишком сложной. Итак, выбраны все пункты, для чего тогда нужен вопрос?

Наглядный пример неправильной формулировки приводит в своей статье известный петербургский социолог Г. И. Саганенко. Она позаимствовала его из всесоюзного исследования «Экология» и дала свой комментарий. Вопрос, в котором респонденту нужно было сделать выбор, звучал так: «Какое из следующих суждений в наибольшей степени соответствует Вашему мнению:

♦ природа священна, потому что она создана Богом;

♦ природа священна сама по себе;

♦ природа имеет большое значение, но она не священна;

♦ затрудняюсь ответить? »

Здесь не только просматривается «хороший ответ», но фактически предложена одна «альтернатива» — иметь священное отношение к природе (или буквально возражать против него). Для многих людей с вполне определенным отношением к природе ни та, ни другая постановка ответа в принципе не подходят.

Существует целая группа вопросов, которые не обязательно включать в анкету, так как необходимую информацию можно взять в отделе кадров или в заводской документации. Например: «Повысился ли в текущем году Ваш заработок? », «Задерживали ли Вам выдачу зарплаты в текущем году? » и т.д.

Лишние вопросы, информацию на которые могут дать эксперты или работники заводоуправления, раздражают респондентов, при этом впустую расходуется драгоценное время и место в анкете, наконец, они свидетельствуют о неподготовленности социолога как организатора исследования. Когда составлен план будущего опроса, четко сформулированы темы и сами вопросы, на отдельном бланке надо составить схему источников информации: кто о чем и когда может дать необходимые сведения. Существует определенное правило: меньше заставляйте работать ваших респондентов и не перекладывайте на их плечи те задачи, которые должны решать вы сами.

Неясные формулировки вопроса объясняются следующими причинами:

1) некомпетентностью социолога;

2) излишней поспешностью при составлении анкеты;

3) заимствованием чужих вопросов и некритическим к ним отношением;

4) отсутствием хорошо составленной программы, четких целей и задач исследования, неумением операционализировать понятия.

Ошибки, допускаемые при формулировании анкетных вопросов, оказывают серьезное влияние на качество получаемых от респондента данных и на последующую интерпретацию их ученым.

Наведением методического порядка на опросном фронте первыми занялись американцы в первой половине XX в. Поводом

послужили грубые методические просчеты. Классический пример — ошибка в предвыборном прогнозе журнала Literary Digest в 1936 г., составившая 19%. Причины коренились в том, что выборка строилась, во-первых, на номерах телефонов, которые имели далеко не все избиратели, а во-вторых, только на респондентах, пожелавших участвовать в опросе. Но еще больше просчетов оказалось при формулировке вопросов. В том же году группой экспертов проблема формулировки вопроса была названа важнейшей причиной получения недостоверных данных. Самуэль Стауфер назвал ее проблемой Номер Один в социологии. По данным Хо-варда Ховта, ³/₄ экспертов указали на формулировку вопросов как на главного виновника искажения данных. Оказывается, помехи, вызываемые другими источниками, скажем неправильной выборкой или неверным методом сбора информации, происходят гораздо реже, нежели искажения переменных, связанных с различными способами формулировки вопроса³. С тех пор американцы придают огромное значение обучению студентов-социологов правилам формулирования анкетных вопросов и их влиянию на распределение ответов. Плох тот социолог, кто со студенческой скамьи не научился грамотно строить анкету.

4.2. Хорошие и устойчивые вопросы

Хорошим вопросом принято считать такой, формулировка которого значимо не влияет на распределение ответов при сохранении списка (но не порядка) альтернатив. Методические эксперименты указывают на значительные отклонения, которые могут появиться в связи с изменением формулировки. К примеру, спросить рабочих о том, сколько представителей наемного труда должно быть вовлечено в профсоюзы, можно двумя различными способами:

Первый вариант: «Считаете ли Вы, что на предприятии все рабочие должны быть членами профсоюза? »

Второй вариант: «Считаете ли Вы, что на предприятии все рабочие должны быть членами профсоюза или каждый в отдельности должен решить, хочет ли он быть членом профсоюза или нет? »

На первый взгляд между ними нет принципиальных различий, поскольку спрашивают о профсоюзе как основном институте защиты прав трудящихся. Однако в первом случае подчеркивается факт 366

коллективного участия в профсоюзной борьбе, отлынить от которого либо нельзя, либо неудобно. Любой рабочий, находящийся в поле классового противостояния и солидарно действующий с другими рабочими, никогда не пойдет против профсоюзов, даже если не согласен с его политикой или руководством. Общественное мнение его класса и стереотипа пролетарского сознания подействуют на его выбор императивно, а не сослагательно. Можно ожидать 70— 90%-ного согласия с вопросом, сформулированным таким образом.

Однако во втором случае респонденту предоставляется возможность поразмышлять. Коллективной солидарности и классовой сплоченности противопоставлена другая, не менее сильная ценность — американская свобода выбора и высоко ценящийся индивидуализм. Профсоюз как коллективный выразитель солидарной воли пролетариата противопоставлен общенациональному менталитету, и не известно, кто окажется в выигрыше. Во всяком случае, очевидно, что свою историческую схватку с капиталом американские профсоюзы уже проиграли: кривая численности членов профсоюзов в США с каждым годом снижается и сегодня дошла до критической отметки приблизительно 10%.

Таким образом, изменение формулировки одного и того же вопроса, приводящее к разным, а в данном случае противоположным результатам, свидетельствует о том, что перед нами анкетный вопрос, который нельзя считать хорошим с методической точки зрения.

Смещения в ответах наблюдаются и в других вопросах. Допустим, одну и ту же переменную «занятость в общественном производстве» мы конкретизировали двумя разными путями.

Первый вариант: «Предпочли бы Вы иметь работу, если бы это было возможным? »

Второй вариант: «Предпочли бы Вы иметь работу или Вы предпочитаете заниматься своим домашним хозяйством? »

Как и в рассмотренном выше примере, второй вариант формулировки вопроса содержит свободу выбора: респонденту предлагают наняться на постоянную работу или заниматься своим домашним хозяйством. Оказалось, что, когда в анкету ввели вторую формулировку, распределение ответов изменилось на 50%. Такое смещение надо считать весьма значительным. Выявились и другие, не менее любопытные подробности. Появление второй формулировки снизило число выборов «затрудняюсь ответить» с 36 до 6%⁴.

Видимо, многие, предпочитавшие не наемный труд, а занятость в домашнем хозяйстве, укрылись в рубрике «затрудняюсь ответить» потому, что в первом варианте они не увидели желанной для себя альтернативы, связанной с домашним хозяйством. Правомерно ли говорить о статистической валидности социологических данных, когда появляются такие смещения?

Методические исследования, проведенные американскими социологами, выявили ряд тенденций, связанных с формулировкой и формой представления анкетного вопроса. В одном из экспериментов изучалось влияние на распределение ответов порядка расположения альтернатив в вопросе-меню. Что произойдет, если, скажем, альтернативу переместить из начала в конец списка?

Всякий раз чаще выбиралась та альтернатива, которая стояла в верхней части или возглавляла список. Расположенные внизу подсказки пользовались меньшим вниманием и выбирались реже. Ученые назвали это явление эффектом начала списка. Как правило, верхняя позиция опережала нижнюю на 4%, а среднюю на 6%; нижняя опережала среднюю позицию примерно на 2%.

В результате середина списка как бы проваливалась. Она была наименее заметной, можно сказать, теневой зоной списка альтернатив. В итоге наблюдалось стремление респондентов к выбору альтернатив, находящихся на крайних позициях с некоторым преимуществом верхней позиции. Назовем подобный эффект поляризацией ответов со смещенным верхом.

В знаменитом опросе общественного мнения «Правда-76» (рук. Б.А. Грушин) провели любопытный эксперимент: на двух равных выборках в пяти вопросах давали респондентам два типа шкал — прямая и обратная. Порядок альтернатив в них менялся на противоположный, но это было заметно профессионалу и почти неприметно простому человеку.

Прямой порядок альтернатив	Обратный порядок альтернатив
очень удовлетворен	очень неудовлетворен
удовлетворен	неудовлетворен
неудовлетворен	удовлетворен
очень не удовлетворен	очень удовлетворен

Что же обнаружили советские социологи? Во-первых, во всех пяти вопросах при прямой шкале процент не ответивших, хотя и незначительно, был ниже, чем при обратной шкале. По всей видимости, прямая шкала воспринималась как более естественная и привычная, процент активности респондентов здесь был выше. Во-вторых, при сравнении двух шкал оказалось, что высказыва- 368

ния, стоящие на крайних верхних позициях, т.е. «очень удовлетворен» и «очень не удовлетворен», набирают большее число ответивших, чем когда они стояли внизу. Таким образом, в шкальных вопросах действовал «эффект начала», существовавший в вопросах-меню.

А вот еще один поразительный пример. В нем ученые сравнили две почти одинаковые по сути формулировки анкетного вопроса. Они различались, во-первых, длиной, во-вторых, повторением в самой формулировке того, что говорилось в одном из приданных ему закрытиях. Сравним и мы:

Первый вариант: «Считаете ли Вы, что большинство компаний, которые увольняют рабочих в период спада, могли бы организовать что-то для избежания увольнения и предоставления рабочим стабильной работы? »

63% ответили, что компании могли бы избежать увольнения;

28% сказали, что не могли бы;

15% не имели определенного мнения.

Второй вариант: «Считаете ли Вы, что большинство компаний, которые увольняют рабочих в период спада, могли бы организовать что-то для избежания увольнения и предоставления рабочим стабильной работы, или Вы считаете, что увольнения неизбежны? »

35% сказали, что компании могли бы избежать увольнений;

41% сказали, что увольнения неизбежны;

24% не сделали выбора.

Отличие второго варианта от первого выделено курсивом. Вроде бы оно незначительно, всего лишь одна фраза: или Вы считаете, что увольнения неизбежны?

Но как изменилась статистика ответов! Вербализация противоположной точки зрения снизила результат утвердительной части вопроса на 28%⁵.

Кажется, излишним дублировать в постановочной части анкетного вопроса тот текст, который содержится в списке альтернатив к нему. Но так ли это на самом деле, показал упомянутый методический эксперимент. Его мораль такова: если разработчик анкеты в формулировке вопроса называет все точки зрения (позиции, мнения, ценности и т.п.), то их, не пропуская ни одной, следует продублировать в списке закрытий. Список альтернатив должен быть исчерпывающим, если мы хотим закрыть все имеющиеся возможности для ответа и тем самым сбалансировать вопрос.

Выше говорилось о том, что признавать хорошим вопросом. Напомним, речь шла о списке альтернатив. Порядок следования альтернатив в списке характеризует другой критерий —устойчивости.

Устойчивым вопросом является тот, в котором перемена альтернатив не оказывает значительного влияния. Если перемена альтернатив дает достаточно большой сдвиг, то вопрос считают неустойчивым. Незначительным признан сдвиг в 1—3%. К примеру, если порядок следования альтернатив значительно изменен или даже перевернут, а статистика ответов на него изменилась лишь на 2%, то вопрос считается устойчивым.

Колебание разницы в ответах от 4 до 8% признается статистически значимым, а соответствующие вопросы неустойчивыми.

Методисты уверяют, что формулировка вопроса влияет на статистику ответов максимальным образом именно тогда, когда у респондентов не сформировалось устойчивого мнения о предмете разговора.

Наибольшая длина хорошо уравновешенного или устойчивого вопроса составляет 26 слов, в то время как наименьшая — только 11 слов. Напротив, длина неустойчивых, несбалансированных вопросов варьируется в пределах от 21 до 46 слов. В среднем несбалансированные вопросы в полтора раза длиннее устойчивых: 31 слово к 22. Если считать только слова, используемые в альтернативах, исключая вводную часть или установочные фразы, то и в этом случае указанная пропорция сохраняется. Альтернативные суждения в неустойчивых вопросах в полтора раза длиннее, чем в устойчивых. Таким образом, один из главных элементов устойчивости вопроса заключается в его краткости.

Неустойчивые вопросы не только длиннее устойчивых, но содержат грамматически более сложные слова. Отсюда вытекает практический совет социологу: формулируй свои мысли не только кратко, но и просто, иначе проиграешь в качестве получаемой информации.

Новый подъем интереса к внутрипрофессиональным делам социологов наблюдался в 1960—70-е гг., когда в США происходило активное обсуждение таких аспектов, как методические особенности использования открытых и закрытых вопросов, влияние альтернатив, порядка их расположения, отсутствия градации «нет ответа» на распределение ответов респондентов и др. из крупных исследовательских центров, которые могут финансировать специальные обследования на достаточно больших выборках (от 1, 5 до 2, 5 тыс. респондентов), стали появляться многочисленные публикации, обобщающие методический опыт, проекты, наработки. Ученые в таких центрах проводят как специализированные методичес-370

кие эксперименты, «обкатывая» формулировки вопросов из своей, исследовательской копилке, так и вторичный анализ данных, в которых использовались сходные формулировки вопросов.

Большая работа была проделана университетами Мичигана и Северной Каролины. Исследование проводилось дважды — в январе и апреле 1979 г. Было выбрано два вопроса, показавших в 1940-х гг. наиболее значимые различия в ответах. Теперь уже был зафиксирован эффект конца списка. Он гласил, что в вопросах, произносимых вслух, респондент чаще выбирает альтернативу, стоящую в конце списка. Возможно, респонденты лучше запоминают слова, услышанные в последнюю очередь. Данные психологических экспериментов свидетельствуют о том же самом. Когда в формулировке вопроса у вас содержатся две идеи, лучше всего респондент запомнит и поймет последнюю. Она же окажется для него более притягательной, а стало быть, и более выбираемой⁶.

В СССР и в России интерес к методической культуре анкетирования был, но не было денег на проведение массовых экспериментов, призванных совершенствовать исследовательский инструментарий. Крупные исследовательские центры, работающие с большими выборками, например ВЦИОМ и ФОМ, могли бы проводить серьезные методические эксперименты, но не проводят. Большинство анкетных вопросов используются ими по многу лет, поскольку они не давали серьезных сбоев; таким образом, сам по себе стаж служит критерием надежности вопроса. Кроме того, частая смена формулировок могла и повредить ученым: вопросы-ветераны, обкатываемые во всех исследованиях, вносят единообразие и позволяют сравнивать данные исследований разных периодов. Зачастую критерием адекватности вопроса (созданного в середине 90-х гг.) остается только доля затруднившихся ответить, и если она невелика (порядка 15-20%), исследователи предпочитают не проводить специальных экспериментов и не менять формулировки. «Менее крупные исследовательские коллективы ориентируются на экономию средств заказчиков, которыми выступают организации, выдающие гранты, или отдельные фирмы. Из-за ограничения бюджета исследования возникают сложности с серьезной апробацией вопросника, которая зачастую не проводится вообще. В результате непилотированные вопросники содержат ошибки, количество которых не поддается исчислению. Некоторые из ошибок, обнаруживаемых даже при логическом анализе

вопросов, приводят к серьезным смещениям в полученных данных, хотя способов проверить коммуникативную адекватность и точность формулировки вопроса наработано достаточно много. При этом большинство из них затратны, требуют значительных материальных и временных ресурсов»⁷.

4.3. «Эффект имени» при формулировке вопросов

Специалисты, профессионально занимающиеся методическими экспериментами, давно предупреждают социологов, работающих над конструированием анкет, что респонденты чувствительны к любым, даже малейшим, нюансам в формулировке вопроса. И это представляет для них чрезвычайную опасность. Был составлен особый список так называемых формулировочных эффектов, куда помимо прочего вошли привлекательность средней альтернативы, роль вопросного формата и контекста, влияние эмоционально тонированных слов, в том числе и политико-идеологических ярлыков. Среди них не последнее место, особенно в политических рейтингах, занимает «эффект имени» — влияние на ответ респондента известной фамилии. Еще в середине XX в. на свет появилось методическое правило, согласно которому исследователям при составлении вопросников рекомендуется избегать упоминания авторитетных личностей и организаций.

Первыми «эффект имени» в формулировке вопроса обнаружили и изучили в 1930—1940-е гг. американские социологи И. Лодж, С. Стагнер, Д. Рагг и X. Кантрила. Как оказалось, использование в опросах популярных имен ведет к серьезным искажениям результатов. Когда респондентов просили высказаться о необходимости помочь Англии и Франции со стороны США, то многие колебались. Но когда в другой раз добавили фразу «...в их борьбе против Гитлера», число положительных ответов возросло с 13 до 22%⁸.

Аналогичные результаты в 1977 г. получили Г. Шуман и С. Прес-сер. Они провели методический эксперимент, в котором участвовали студенты Мичиганского университета. Результаты получились более чем любопытные. Сравнивались ответы на два почти похожих вопроса об уровне преподавания со стороны профессоров. Только в одном из них в преамбуле к вопросу сообщалось, что пре-372

зидент университета не так давно заявил, что ему якобы нередко' приходится слышать жалобы студентов на низкое качество профессорских лекций. «Эффект имени» не заставил себя ждать: после знакомства с мнением своего ректора мало кто из студентов не захотел с ним согласиться⁹.

Согласно выводам Г. Шумана и С. Прессера, имена известных политиков, встроенные в формулировки вопросов, обладают не только большой эмоциональной силой, но и мощным информационным потенциалом. Они помогают определиться с мнением и избавиться от затруднений при выборе ответа.

В 1998 г. социологи из Ивановского госуниверситета (под рук. А.Ю. Мягкова) провели методический эксперимент. Из квотной выборки общим объемом 200 человек, репрезентировавшей взрослое население Иванова по полу, возрасту и роду занятий, были сформированы две одинаковые по численности и выровненные по структуре группы — контрольная и экспериментальная. Первую группу респондентов просили ответить на ряд вопросов, не содержавших в формулировках ссылок на мнения известных российс- ких политиков и государственных деятелей. В анкетах, предлагавшихся второй (экспериментальной) группе, те же самые вопросы-суждения «привязывались» к конкретным фамилиям (Б. Ельцина, В. Жириновского, А. Лебедя и А. Чубайса). Политические высказывания были отобраны из периодических изданий. Данные, полученные в ходе исследования, показывают, что в трех из пяти случаев респонденты все-таки реагировали на известные фамилии. Однако реакции на различных авторов оказались разными. Упоминание в вопросах авторитетных людей, как правило, способствует увеличению поддержки высказываемых ими мнений. В то время как ссылка на одиозную личность, напротив, уменьшает; число сторонников предлагаемых ею идей. Увеличение и уменьшение колебалось в диапазоне от 5 до 12%. Материалы исследо- вания свидетельствуют, что «эффект имени» в социологических опросах встречается довольно часто. Испытуемые нередко меня- ют свои ответы в зависимости от автора высказывания. Нередко имена производят эффект «замещения» источников мнений. Иногда фамилии знаменитостей выполняют образовательную функцию, но чаще способствуют формированию пристрастных политических мнений¹⁰.

Несмотря на все запреты и предостережения, многие социологи по-прежнему используют престижные имена и названия организаций для идентификации политических позиций. Известное имя, например Жириновского или Явлинского, для респондентов, плохо разбирающихся в политических тонкостях, помогает более ясно сформулировать свои предпочтения. В этой ситуации «эффект имени» выполняет позитивную функцию. Но имя может сыграть негативную роль, если с его помощью оказывается давление на респондента, который не уверен в своем мнении или еще не определился, кого поддерживать. В подобных случаях респондент выбирает не формулировку политической позиции партии, а популярное имя, которое ему нравится. Правда, в прошлом, как отмечают специалисты, именные формулировки использовались гораздо чаще, чем сегодня.

4.4. Ошибки анкетера и контроль поля

Социолога-эмпирика почти за каждым углом поджидают разочарования, непредвиденные затруднения, созданные им самим и возникшие не по его вине ошибки. Многие из них относятся к разряду «ошибки выборки». Они рассматриваются в самостоятельном разделе. Здесь мы поговорим о других ошибках, а именно тех, которые связаны не с предварительным этапом, когда рассчитывается выборка, когда совершается, особенно неопытным социологом, масса ошибок, а с проведением самого поля, т.е. полевого исследования. Оно начинается с инструктажа анкетеров (интервьюеров), снабжения их анкетами и распределения анкетеров по объектам. Но самое интересное и непредсказуемое приключение начинается с того момента, когда анкетеры встречаются непосредственно с респондентами — по месту работы, отдыха, жительства.

Выявление ошибок, контроль за поведением анкетеров (интервьюеров) и коррекция допущенных ошибок получили название контроля поля. Ошибки, связанные с организацией и проведением поля, в дальнейшем будем называть ошибками поля.

Ошибки поля имеют следующие разновидности: 1) ошибки заполнения анкеты; 2) ошибки сбора данных; 3) ошибки обращения с полученными данными; 4) ошибки анализа собранных данных; 5) ошибки интерпретации полученных результатов. Кроме того, существуют ошибки, обусловленные нечетким выявлением проблем, использованием неоднозначных терминов и т.п. Ошибки поля можно разделить на две большие группы: а) ошибки анкетеров (интервьюеров) и б) ошибки респондентов. Кроме 376

371

опрос в данной выборочной совокупности с помощью других анкетеров. Но это в идеале, а на практике — дефицит времени, материальных и людских ресурсов. Кроме того, если одних и тех же людей опросят другие анкетеры, то это не значит, что они дадут те же ответы. Они могут быть другими. Но кто виной тому — более тактичный интервьюер или изменившееся отношение к опросу самих респондентов?

В принципе эту погрешность можно было бы уменьшить, увеличив число повторных посещений с трех до восьми-девяти, как делают западные социологи. Однако это привело бы, во-первых, к значительному увеличению расходов на проведение полевых работ, а во-вторых, к увеличению сроков проведения поля, — справедливо полагают Е.В. Козеренко и С.Г. Новиков¹².

Когда переспросить тех же респондентов другими анкетерами или устранить проблему при помощи повторных посещений нельзя, применяют вторую процедуру — перевзвешивание данных. Суть ее состоит в следующем: с помощью эмпирически найденных весов так скорректировать данные, чтобы влияние смещений снизить до оптимальных пределов. Величина смещения находится либо с помощью экспертного опроса, либо как отклонение средних значений в подвыборках от среднего значения по всему массиву¹³.

⇐ Предыдущая 5 6 7 8 91011 12 13 14 Следующая ⇒