Анализ распределения судейских оценок для построения шкалы равных интервалов

⇐ ПредыдущаяСтр 13 из 34Следующая ⇒

Пункт шкалы	Число суден, поместивших суждение в этот пункт	Процентная доля ко всему числу судей	Суммарный (кумулятивный) процент
		-	-
		-	-
		-	-
		-	-
		-	-
		-	-






Итого

Анализ распределения судейских оценок производится путем исчисления медианы и отклонений от медианной точки.

Подсчитаем судейские оценки для одного из суждений по табл. 5. Имея такое распределение, построим график, где по вертикали отложим кумулятивный процент, а по горизонтали — шкалу из 11 интервалов. Кривая пересекает вертикали в точках, соответствующих медианной оценке для двух соседних пунктов на шкале. Поэтому они оцениваются дробями: 3, 5 или 6, 5, но не 3 или 6 (рис. 7).

В районе 0 — позитивный полюс, 5 — нейтральный, 11 — негативный. Медианная оценка определяется по среднему перпендикуляру на базовую шкалу из 11 пунктов. Перпендикуляр опущен из точки, разделяющей ранжированный ряд судейских решений ровно пополам. Цена суждения по медиане в нашем случае: S = 8, 5.

Определим, насколько единогласны судьи в своих решениях об этом суждении по квартальному отклонению (Q):

Q=Va(Q3 - Q, );

или для нашего примера

Q=V2(9, 3 - 7, 3)=1, 0.

(5) В итоговую шкалу отбираются суждения, получившие наиболее согласованные оценки. Например, если имеются три суждения со сходной ценой (скажем, от 8, 1 до 9, 2) и с квартальными отклонениями, равными 1, 0; 1, 3; 1, 5, то в итоговую шкалу отбирается суждение с Q=l, 0, как получившее наиболее согласованную оценку судей.

В окончательном виде шкала обычно содержит от 15 до 30 суждений, каждое из которых имеет " цену" или " вес", определенный по медиане судейских решений.

Очевидно, что, коль скоро арбитраж 50 судей позволил найти пороги различения между суждениями, шкалу можно признать метрической шкалой равных интервалов с отсчетом от О.

(6) Для использования в массовом опросе все суждения тасуются как игральные карты. Опрашиваемые выражают согласие или несогласие с каждым из предложенных суждений. Цена суждения в опросном листе не проставлена: веса всех суждений записаны в инструкции по обработке данных.

(7) Индивидуальный ранг опрошенного по шкале Тёрсто-уна определяется как медиана весов принятых им суждений. Например, в ответах некоего лица содержится всего четыре принятых суждения (все остальные им отвергнуты) с весами (S): 4, 4; 4, 8; 5, 1; 5, 6; 6, 1. Тогда ранг индивида соответствует медианной оценке 5, 1. При четном числе принятых пунктов медианный ранг можно принять как среднеарифметическое интервала, в котором лежит медиана.

(8) Ранговая позиция группы опрошенных определяется как среднеарифметическая рангов всей совокупности, составляющей группу.

Обоснованность и устойчивость шкалы можно проверить с помощью уже известных нам приемов: использование независимого критерия, контроль по известной группе, повторное измерение с интервалом во времени.

Не обязательно начинать отбор суждений со столь большого числа вариантов, как это делал Тёрстоун. Наша практика показывает, что 30—50 суждений вполне достаточны для судейского отбора, после которого определится десяток вполне приемлемых пунктов шкалы. Также не обязательно вовлекать в работу очень большое число судей: можно получить статистически устойчивые данные на 50—60 экспертах.

Снижение точности замера за счет снижения дробности шкалы существенно повышает ее надежность. Если предлагать судьям расположить суждения не в 11, а в 5 интервалов, итоговая шкала будет более надежна, но менее точна. Выбор в пользу большей—меньшей точности зависит от предмета исследования и значимости гипотез, а также от того, насколько точно измеряются в нем другие переменные. Если большинство переменных измеряется по трехчленным и пятичленным шкалам, но только одна — по 11-членной шкале, и притом все переменные подлежат взаимной корреляции, в этом случае повышенная точность 11-членной шкалы — излишняя роскошь. Она не оправдывается логикой сопоставления с другими переменными.

Работа с экспертами, аналогичная описанной выше, широко применяется и в других случаях, когда мы обращаемся к выборочной группе из массива обследуемых для того, чтобы глазами будущих испытуемых проверить соотносительную значимость оценок, придаваемых пунктам шкалы [232. С. 109—128].

5. ЧЕТЫРЕ ВАЖНЕЙШИХ ОГРАНИЧЕНИЯ КВАЛИФИКАЦИИ ПЕРВИЧНЫХ СОЦИАЛЬНЫХ ХАРАКТЕРИСТИК

Мы рассмотрели различные приемы перевода качественных социальных признаков в их количественные выражения. Это очень ответственный момент процедуры социологических исследований.

Применение количественных методов и использование статистических показателей взаимосвязи социальных явлений и процессов как бы возводит социологию в ранг подлинной " строгой" науки. Создается впечатление математической точности выводов. Между тем квантификация сложных и далеко не однозначных социальных реалий накладывает немало ограничений на собственно математические операции с их измерениями. Математик работает с простыми однозначными абстракциями, в основе которых суждение " есть— нет" (т. е. наличие—отсутствие данного свойства). Социолог обязан постоянно помнить, что в действительности скрывается за величинами и символами, которыми мы оперируем.

В данном случае, мы обращаем внимание только на некоторые ограничения, связанные со специфическим видом формализации социальных данных, имея в виду наиболее распространенные и сравнительно простые приемы использования математической статистики в социологии.

Первое ограничение — соразмерность количественных показателей, фиксированных разными шкалами в рамках одного исследования.

Суммируем сведения о возможностях операций с числами в описанных выше шкалах (схема 14)¹⁶

¹⁶ Здесь частично используется схема из работы С. С. Паповяпа [201. С. 60].

Более сильная шкала отличается от ближайшей к ней относительно слабой тем, что допускает более широкий диапазон математических операций с числами. Все, что допустимо для слабой шкалы, допустимо и для сильной. Но не все, разрешимое для сильной, позволительно для слабой шкалы. Поэтому смешение в анализе мерительных эталонов разного типа приводит к тому, что не используются возможности сильных шкал: в этом случае все операции с числами должны удовлетворять требованиям, предъявляемым к относительно слабым шкалам.

Конечно, это предостережение теряет смысл, если социолог не намерен статистически сопоставлять данные, измеренные разными шкалами, и рассматривает их независимо друг от друга, а также в случае иных способов анализа, например, путем множественной классификации.

Второе общее ограничение связано с формой распределения величины фиксированных описанными выше шкалами, которое предполагается нормальным.

На рис. 8 показаны варианты нормального и скошенного распределений, где нормальное (эталонное) обозначено пунктиром, а скошенное — сплошной линией. Нормальное гауссово распределение имеет вид симметричного колокола, у скошенного же по сравнению с нормальным в нашем случае поднят" правый и " опущен" левый конец (так называемые хвосты распределения). Для нормального распределения оценки меры рассеяния совпадают, т. е. М=Ме=Мо, а в скошенном " хвосты" распределения не влияют на среднюю арифметическую (М, другое часто встречающееся обозначение средней арифметической — х), которая сдвигается в сторону его больших значений.

Возможны и бимодальные распределения, где образуются своего рода горбы, а также растянутые, как бы сплющенные. Анализ таких видов распределений должен быть особенно внимательным, так как в этом случае непригодны обычные оценки меры рассеяния.

В случае существенно скошенных и тем более бимодальных распределений можно:

(а) привести их к нормальному путем объединения градаций шкалы, образующих длинный " хвост" распределения. Например, значения 8, 9 и 10 десятибалльной шкалы растянуты потому, что в них очень мало численности. Тогда объединим эти градации и соответственно переоценим пункты шкалы;

(б) при бимодальном распределении разумно порядковую шкалу перевести в неупорядоченную.

Итак, второе ограничение — особенности одномерных (не говоря уже о более сложных) распределений. Оно заключается в том, что необходимо внимательно изучать форму распределения с точки зрения его уклонения от нормального, симметричного.

Третье ограничение особенно неприятно. Оно состоит в том, что в социальных процессах нередки явления, измерение которых следует производить шкалами открытого типа, где полюс наибольших значений не фиксирован и может принимать любую величину.¹⁷

¹⁷ На это указал С. Д. Хайтун [277]. См. также работу Г. Кинмбл [110].

Например, оценки размеров заработной платы, доходов в принципе должны давать нормальные и вполне допустимые скошенные распределения, так как есть социально и экономически обоснованные минимум и максимум зарплаты. Это — закрытая метрическая шкала оценок. То же самое можно сказать о численности детей в семье и т. п. явлениях.

Но при оценке многих субъективных состояний и показателей человеческой активности, например, результатов научной продуктивности ученых, предельно максимальные значения трудно предположить достоверно.

В негауссовых, в частности, так называемых распределениях Ципфа (рис. 9, в котором фиксированы логарифмы координат), на примере оценки числа публикаций ученых в области химии [278. С. 146] видно, что до 70% из них имеют одну публикацию, около 25% — две, 8—10% — по три или четыре публикации, но только по 0, 1 и 0, 2% достигают продуктивности в 20—30 публикациях.

Это распределение никоим образом не описывается гауссовым " колоколом", В последнем случае численность имеющих очень мало и очень много публикаций была бы примерно равной, а большинство ученых демон стрировали бы некоторое среднее число публикаций, например, по 7—8 (в гауссовой статистике — это различные показатели центральной тенденции распределения).

Однако применение негауссовых статистик в социальных науках вообще, в социологии в частности, крайне затруднительно, так как невозможно использовать закрытые шкалы, поскольку в большинстве случаев нет " естественных" эталонов измерения (число публикаций — один из примеров такого " естественного" эталона).

А если нам приходится изобретать шкалу, то недопустимо оставлять открытым один из ее полюсов.

Четвертое ограничение связано с особой природой социальных процессов, в которых статистические и детерминистские закономерности находятся в динамическом единстве. В определенных аспектах и на определенных отрезках времени социальные процессы вполне предсказуемы. Но во многих случаях это далеко не так, особенно в условиях социальных преобразований, кризисов социальных систем. В нестабильных системах малые внешние или внутренние воздействия способны вызвать неожиданное и неадекватное воздействию изменение.

Поэтому предлагается, используя для измерения первичных характеристик шкальные процедуры, прибегать к построению стохастических динамических моделей на основе " сценариев" возможного развития определенных социальных процессов [289]. Такие сценарии прогнозируются для разных временных интервалов, например начальной и завершающей стадий, которые могут быть существенно разными по составу участвующих факторов и по характеру связей между ними.

Итак, преимущества квантификации и использования жестких критериев надежности исходных данных небезусловны и могут обернуться упрощением, а то и искажением социальной реальности.¹⁸

¹⁸ На почве резкой критики жестко формальных процедур сбора и анализа данных в начале 70-х гг. в социологии возникло движение сторонников гибких или качественных методов с акцентом на понимании событий и жизни людей в большей мере, чем стремления к их строгому объяснению (см. гл. 6).

Адекватные в исследовании массо-видных социальных процессов, такие приемы утрачивают свои достоинства в изучении сознательно организованных действий или " отклоняющихся" явлений, тогда как нередко именно последние дают пищу для вдумчивого социального анализа. Без таких " уклонений" социальные процессы отображаются и виде схем, лишенных жизненных красок.

Строго формализованный количественный анализ имеет свои пределы (298)¹⁹, за которыми могут быть утрачены качество, глубина и полнота осмысления действительности.

¹⁹ " Пределы" — так называлась статья выдающегося отечественного социолога В. Н. Шубкина, который в 70-е гг. призвал к " гуманистической социологии", акцентирующей внимание на личностных смыслах социальных явлений и процессов.

Поэтому социолог обязан хорошо владеть многообразными гибкими методами изучения общественных проблем, т. е. уметь наблюдать, строить гипотезы на основе несистематизированных впечатлений и бесед, переходя затем к более систематизированной и упорядоченной их проверке.

Практические советы

1. Приступая к разработке методов и процедур исследования, вначале продумайте, какие явления, свойства и объекты реально варьируют по их интенсивности, распространенности, состояниям выраженности, а какие могут быть фиксированы лишь в качественных отображениях.

2. Определяя способ квантификации (тип шкалы), соизмеряйте его не только с природой объекта, но и с целями исследования и возможностями последующего количественного анализа: излишняя квантификация — напрасная растрата усилий, недостаточная — упущенные возможности более обстоятельного изучения объекта.

3. Не забывайте, что всегда лучше опираться на достоверные и менее детальные сведения, чем на детальные и малодостоверные: отсюда — указания к выбору приемлемого типа шкал и дробности их метрики.

4. Изящный статистический анализ полученных данных будет вводить в заблуждение и нас самих и других, если ему не предшествовала добротная проверка надежности исходных измерений и регистрации фактов в целом.

5. Самое же главное состоит в том, что количественный анализ не самоцель, но лишь средство качественного: качественный анализ предшествует квантификации, качественным анализом завершается изучение количественных распределений и связей.

Глава IV

⇐ Предыдущая 8 9 10 11 121314 15 16 17 Следующая ⇒