Раздел 16.2. Этапы исследования, выборочный метод, способы обработки

Информации.

Цели изучения раздела.

Анализ этапов исследования и сущности выборочного метода.

Выбор единиц наблюдения

Даже только начинающие овладевать методом контент-анализа исследователи начинают с вопроса: сколько текстов надо исследовать, чтобьг исследование считалось корректным?

Вопрос этот вполне логичен. Методология многих наук основана на том, что целое описывается по его части. Например, такая отрасль социологии, как зондирование общественного мнения, смогла встать на индустриальные рельсы не прежде, чем для институтов, специализирующихся на таком зондировании, был решен вопрос научной выборки, была решена проблема, как добиться «надежных обобщений при интенсивном изучении относительно небольшого числа случаев». Реально выборка представляла возможность экономично, при большой скорости проведения работ, профессионально провести опрос, который зачастую дает более верную информацию, чем сплошное обследование.

Главное, что мы должны себе представить, это то, что существуют различные типы выборок и далеко не все из них контент-аналитик сможет применить на практике. Не последняя проблема — доступность материала. Хотя библиотеки многих стран уже давно озаботились сохранностью продукции СМК для потомства, пробелов здесь множество. Как правило, сохраняются только самые престижные газеты. Особенно остро стоит указанная проблема по отношению к продукции радио и телевидения. Все это может послужить естественным ограничителем при общей разработанности технологии выборок.

Существует большой класс выборок репрезентативных, т. е. таких, которые претендуют на то, чтобы быть представительными для более широкой совокупности. В этом классе выделяются две группы. Первая — выборки квотные, когда необходимо обладать предварительной информацией обо всей совокупности единиц, из которой производится отбор. В том случае, если речь, например, идет о конкретной стране, нужно знать количественное распределение населения в каждом регионе, распределение этого населения по возрасту, полу, образованию или другой характеристике, которая, по мнению исследователя, влияет на то конкретное явление, которое он изучает, — например, потребление средств массовой коммуникации.

Понятно, что для аналитика содержания такая возможность отпадает. Всякий раз исследователь начинает с «белого листа». Ему как раз и надо знать распределение характеристик текста; это не те достаточно определенные характеристики населения, как пол, возраст и пр., которые для того или иного региона могут считаться постоянными, они, действительно, для больших совокупностей людей меняются мало, а если и меняются, то эти изменения тут же становятся известными соответствующим статистическим органам, поскольку информировать социум о таких изменениях — их работа.

Существуют и другие выборки в классе репрезентативных — это вероятностные, или случайные выборки. Их построение основывается на том факте, что если для каждой единицы генеральной совокупности, например, населения всей страны, будет выдерживаться равновероятная возможность попасть в число отобранных для исследования, т. е конкретных людей будут отбирать случайным образом, то такая выборка будет репрезентативна для всего населения страны.

Другой класс выборок — типологическая выборка — в ходе исследования говорит нам, что наблюдаемое нами в обществе явление есть, оно при этом имеет определенные, зафиксированные в ходе нашего исследования характеристики (хотя может этими характеристиками и не исчерпываться).

Говоря о репрезентативных выборках, мы остановились на том, что один из подвидов их — и только он один — применим в контент-ана-литических исследованиях. Но здесь вероятностная, или случайная выборка, — а это как раз тот самый подвид — приобретает некоторые особенности, с которыми специалист не может не считаться. В самом деле в случае с исследованиями общественного мнения мы имеем дело с объектом, протяженным в пространстве, скажем, с населением страны. Как ни сложно оперировать с таким объектом (или, как говорят социологи, с генеральной совокупностью исходных единиц), социологи, установив определенную ступенчатость отбора для разных характеристик, обеспечивают для каждого человека, входящего в эту генеральную совокупность, искомую равновероятную возможность попасть в выборку.

В случае с исследованиями содержания прессы мы имеем дело с объектом, протяженным во времени. Что тут считать генеральной совокупностью? Всю совокупность текстов с первого дня существования газеты? Десятилетие? Пятилетие? Год? Другими словами — если мы возьмем эмпирическую выборку Гэллапа в 1500 человек за образец и будем строить свою выборку текстов в 1500 единиц (пока отвлечемся от того, что здесь считать единицей: это с людьми все ясно, а с текстом, как говорится, возможны варианты — рассматривать можно отдельные дни/номера газеты целиком или отдельные материалы), то реально мы должны промерить все тексты гигантским циркулем, «шаг» которого будут составлять эти 1500 единиц, от сегодняшнего дня в прошлое. Сделаем пять гигантских шагов (или двадцать пять), а потом пойдем в обратном порядке — возьмем в отмеренном пространстве каждую пятую единицу (или двадцать пятую) и получим идеальную случайную выборку.

Но — где остановиться циркулю? В пятой точке или двадцать пятой? Это всегда произвольное решение исследователя. Иначе говоря — определение границ генеральной совокупности, из которой будет произведена выборка, — это авторитарное решение исследователя, и_чникто ему подсказать здесь не сможет. На его выбор должно влиять одно тактическое соображение — его выборка репрезентативна для всего выбранного временного интервала, но не для отдельного периода внутри этого интервала. Другими словами, если для исследования выбраны 1500 текстов газеты с определенным интервалом внутри периода 1963-1966 гг., то результаты будут относиться ко всему этому периоду, но не к маю 1964 г.

Каковы должны быть эти временные границы, зависит от программы исследования. Ясно, что логика' определения временных границ должна быть одной для выяснения воздействия текстов на Аудиторию, процесса, который по самой своей сути является долговременным, и другой — для снятия картины деятельности источника, которая может быть и одномоментной; одной — когда само исследование замышляется для того, чтобы внести коррективы в сегодняшнюю деятельность источника, но совершенно другой в случае с историко-срав-нительными исследованиями.

Во всех случаях, когда речь идет о долговременном процессе, повышается необходимость репрезентативных выборок со случайным отбором единиц наблюдения. Вспомним исследование, связанное с изучением языка идеологий в мировой прессе. Для анализа брался каждый номер престижных газет нескольких стран, вышедший первого и пятнадцатого числа каждого месяца. Случайность этого отбора уравнивала источники, с точки зрения частоты употребления в них политических символов. В этом смысле справедливо замечание, что большой временной отрезок для отбора и сам механизм случайного отбора (а это мог быть каждый второй и шестнадцатый номер газеты и т. п.) уравняли источники и в этом смысле сделали надежными выводы исследования: они были характерны для всего анализируемого периода деятельности источника. Такой случайный отбор уравнял газеты еще в одном отношении. Известно, что в газетах разных стран существенно разнятся номера в зависимости от дня недельного цикла. Когда газеты отбираются на большом временном отрезке случайным образом, возрастает вероятность того, что в выборку попадут номера газет разных дней недели.

Чтобы отразить в выборке недельную цикличность, столь характерную для деятельности СМК, у контент-аналитика есть уже опробованный метод «конструирования» недели (авторы этого метода — Р. Джоунс и Р. Картер). По этому методу в годичном выпуске газет отмечаются все выпуски в понедельник, вторник и т. д. Затем берется каждый десятый выпуск из числа выпусков в понедельник, каждый десятый выпуск из выпусков во вторник и т. п. Сконструированная таким образом неделя будет репрезентировать весь год, выбранный для анализа. Надо сказать, что этот вывод не голословен: исследователи, рекомендовавшие подобный подход к отбору единиц для анализа, в ходе своих сравнительных исследований показывали, что точно такие же результаты получаются, если анализировать весь материал за год сплошь.

Но начинающий аналитик содержания, как и его оппоненты, должны отчетливо сознавать, что в таком случае выводы его исследования относятся к этому обозначенному как основание для выборки году, но не к каждой неделе в отдельности.

• И все-таки вопрос «сколько» остается. И здесь мы опять обращаемся к изначальным задачам исследования: если мы анализируем разнородный материал, например, совокупный теле- или радиодень, с их разнообразием рубрик, или весь номер газеты, где есть информационные и очерковые материалы, редакционные статьи и теоретические «подвалы», справочные материалы и уголок юмора, надо выбирать больший объем; если в этой совокупности мы имеем дело с отдельной передачей или жанровым куском газеты как с объектом анализа, мы ограничиваемся меньшим объемом.

И здесь самое место «закрыть» еще один вопрос: о единицах, которые мы выбираем, — дни (выпуски) или отдельные материалы. Согласимся, что разница существенная — проанализировать 1500 газетных выпусков или 1500 отдельных материалов. Исходя из тактики случайного отбора, это должны быть отдельные материалы: только они образуют совокупность, уменьшение которой в тысячу или в десять тысяч раз (как в опросах общественного мнения) делает посильным, а значит, и осуществимым анализ текстовой продукции.

Но тактика вероятностного, случайного отбора требует, чтобы исходные единицы были, образно говоря, хорошо перемешаны: единицы должны иметь равновероятную возможность попасть в выборку, это обязательное условие такого отбора. Если обсуждать с этой точки зрения текстовую продукцию СМК, \ то мы убедимся, что она существует в виде устоявшихся многоступенчатых структур: каждая полоса газеты имеет сложившуюся структуру информации (по тематике, по локальности, по расположению официальных материалов и справочных документов). Это же относится и к телевидению.

В таком случае отбор отдельных материалов может привести к значительным систематическим искажениям. Как правило, контент-анали-тики, оперируя сравнительно небольшим искомым числом отдельных материалов (сопоставимым с вышеуказанными 1500-500 единицами), случайно отбирают их в пределах одного теледня или одного выпуска газеты. Примеры со сконструированной неделей, о которой мы говорили, или с отбором каждого первого и пятнадцатого номера каждой газеты на протяжении десятилетий в исследовании языка политической пропаганды могут служить тут иллюстрациями.

Все вышеизложенные соображения о сложности обоснования выборки в контент-аналитических исследованиях объясняют, почему на практике за всю историю применения этого метода исследователи — авторы одноразовых, эпизодических «замеров», «зондажей» содержания СМК объясняют свою выборку на уровне здравого смысла: доступностью единиц наблюдения, возможностью изучить данный объем в короткий срок и т. д.

Практически за этим стоит то, что аналитики всякий раз имеют дело — за редкими исключениями — с типологическими выборками: они скрупулезно констатируют, что в деятельности источника есть достаточно короткий, точно ими фиксируемый отрезок времени. Можно сформулировать несколько методических правил, которые позволят начинающим аналитикам содержания определиться со своей выборкой.

Прежде всего, исследователь должен учитывать реальную периодичность, цикличность, ритмичность в деятельности анализируемых СМК или отдельных газет, радио- и телеканалов. Ясно, например, что при анализе передач, одна из которых выходит в эфир только раз в месяц, а другая несколько раз в день (информационные выпуски), мы должны будем предусмотреть — если нас интересует их сравнение — такой промежуток времени, чтобы обе эти передачи были представлены в нем равновесомо. Поможет принять тут правильную тактику такое методологическое объяснение, что чем чаще воспроизводятся в деятельности источника какие-то характеристики (а комплекс определенных характеристик программы «Время» воспроизводится, например, ежедневно), тем меньше единиц для наблюдения за этим источником нужно выбрать по сравнению с другим источником, характеристики которого воспроизводятся реже.

С учетом такого поведения реальных характеристик содержания исследователь, включающий в одну программу исследования до десятка признаков, берет достаточно большой отрезок времени, чтобы подстраховать себя. В случае с ежедневной газетой, информационной программой и т. п. это, как правило, два-три месяца.

Если исследователя заинтересует какое-либо конкретное событие, происходящее сегодня в мире, и информационная политика нескольких источников по освещению этого события, то потребуется сплошное наблюдение за всеми источниками в сроки, максимально совпадающие с самим событием. Если мы вспомним исследование газеты «Истинный американец», то пропуск какого-то номера за исследуемый период дал бы великолепную возможность адвокату подследственных оспорить выводы экспертов. Или вообразим, что мы исследуем освещение ведущими телеканалами России кризиса в Косово. Ясно, что исчерпывающий ответ на вопрос, как освещали этот конфликт ОРТ, РТР, НТВ и т. д., мы получим, если в поле зрения попадет весь временной отрезок этого конфликта.

Следует предусмотреть чисто организационные моменты. Сегодня нашелся заказчик, который заказывает вам исследование информационного источника, и, как всегда в таких случаях, результаты ему требуются «вчера». Сколько вам понадобится времени, чтобы разработать программу исследования, осуществить собственно анализ, написать комментарий и сдать отчет заказчику? Тогда проблема срока наблюдения за объектом приобретает совсем другой характер. И ничто тут не заменит опыта исследователя, а также его знания всех элементов, из которых состоит исследование. К следующему такому элементу мы и переходим.

Полевой этап исследования

Рассмотрим его сущность на примере использования контент-анализа в изучении массовой коммуникации.

Получению результатов предшествует большая работа, собственно социологическое «поле» — сбор информации, обработка, и только после этого — написание отчета. Чаще всего именно последняя стадия становится известной широкой научной общественности, и лишь отдельные фрагменты предшествующей работы попадают в поле ее зрения. Методические работы, воспроизводящие и объясняющие инструментарий исследования, его средства и способы добывания научного знания, рассчитаны, как правило, на более узкую Аудиторию профессионалов, издаются малыми тиражами, быстро становятся библиографической редкостью.

Вот почему возникает необходимость обсудить некоторые проблемы профессиональной «кухни» контент-аналитика. Это не заменит специальной работы для каждого конкретного исследователя, когда он окажется на соответствующей стадии, — скорее, это будет акцент на самом важном для данного этапа.

Формулировка задач, которые поставил перед собой исследователь, тесно увязывается в самом исследовании с теми способами получения социологической информации, которые мыслятся самим автором как наиболее адекватные. Образно говоря, социологический инструментарий — это та узда, которой сдерживается воображение социолога. Ставя перед собой определенную задачу, он должен «примерить» ее на способы решения.

Далее в рассуждениях автора должен появиться сам объект исследования: исследователь описывает этот объект — информационный источник в определенных границах его деятельности, обосновывая отбор единиц наблюдения. Следующий шаг — составление кода и инструкции к нему. Эти документы разрабатываются в тесном взаимодействии со специалистом, который будет осуществлять обработку полученной информации на ЭВМ. Чем в большей степени построение документа, на котором будет фиксироваться исходная информация, будет соответствовать правилам ввода информации в компьютер, а также правилам ее дальнейшей агрегации, тем меньше затрат вам потребуется на этой стадии.

После составления кода требуется специальная стадия — проверка кода на соотносимость результатов (reliability). Как правило, эта стадия состоит в том, что исследователь предлагает для анализа по данному коду один и тот же текст нескольким кодировщикам и проверяет, единообразно ли они используют код и насколько сходятся их результаты. (В профессиональной литературе термин «reliability» переводится также как «надежность» и «устойчивость». Существуют исследования, посвященные общим проблемам соотносимости/на-дежности).

Другой вариант проверки — повторно дать закодировать этот же текст нескольким кодировщикам по истечении определенного промежутка времени. Цель в данном случае та же: посмотреть на идентичность анализа, так сказать, «во времени и в пространстве».

Все необходимые поправки и изменения, которые еще можно будет предусмотреть в коде и в инструкции к нему, следует делать именно на этой стадии. Как только начнется само исследование, т. е. работа большого коллектива кодировщиков над текстами, вошедшими в выборку, поправки будут означать сбой в работе. Инструкции уже напечатаны, кодировщики проинструктированы — работу придется начинать заново.

Пока же «снимаются» все вопросы кодировщиков, оттачиваются примеры, которые должна содержать инструкция.

Так, в исследовании российской прессы на предмет ее отношения к лидерам и фракциям Госдумы, на которое мы уже ссылались, в инструкции приведены были примеры газетных текстов, содержащих оценку тех или иных лидеров. Позитивная оценка С. Шахрая как лидера определенной фракции: «Пока же преимущество в искусстве ведения судебного спора явно на стороне президентско-правитель-ственной команды. Во-первых, она хорошо подобрана и в ней четко распределены роли. Впереди официальные представители — Сергей Шахрай, Юрий Батурин и Олег Кутафин. Все трое — юристы со степенями, хорошо освоившие приемы публичного спора. И психологическая уравновешенность у них тоже на высоте»². Негативная оценка В. Жириновского и его фракции: «Кроме Егора Гайдара, предстоящие выборы могут принести большое разочарование и Жириновскому и его ЛДПР. Некогда мощнейшей партии сегодня симпатизирует лишь 6, 6 % голосов. Очевидно, имиджу Жириновского не помог пролитый в сражении с Б. Немцовым апельсиновый сок.

Мы специально привели эти примеры — здесь установки руководителя исследования оказалось недостаточно, и некоторые кодировщики оценили второй пример как сбалансированную оценку В. Жириновского. Недаром в итоге выяснилось, что степень совпадения мнений кодировщиков в той части исследования, которая касалась фиксации оценок, равнялась 88% (76%, когда речь шла о сбалансированных оценках, 89 %, когда речь шла о позитивных оценках, 91% — нейтральная подача, 92 % — негативные оценки).

И это притом, что процент совпадения решений кодировщиков по количеству материалов и абзацев с интересующими исследователя субъектами достигал 96-94 %. Чтобы представить себе детализацию проблем в тексте инструкции, приведем начало инструкции к этому исследованию: «Кодировщик читает всю газету целиком, чтобы не пропустить упоминания интересующих исследование Субъектов/ Объектов анализа, которые перечислены на карточке для кодировки. Кодировка начинается с того, что выписывается дата и номер газетного выпуска и число материалов с упоминаниями. После того как на отдельном листке выписаны заголовки всех материалов, где встретились эти упоминания — чтобы не упустить ни одного из них — приступаем к анализу каждого из этих материалов. Для этого требуется более скрупулезное, внимательное, чем на первой стадии, чтение каждого из этих материалов». И далее подробно объясняется каждая характеристика, даются примеры, объясняются способы фиксации результатов (если обработка результатов ручная) и т. д.

Более сложная процедура оценки работы с кодом — это проверка результатов на их обоснованность (validity).

Общая идеология, связанная с проблемой обоснованности в социологических методах (в специальной литературе можно встретить и языковую кальку «валидность»), выражается в том, что исследователь предоставляет проверяемые доказательства, что именно, какую характеристику он измеряет.

Хрестоматийным примером в этих случаях является ссылка на такой измерительный прибор, как часы. Исправные, не останавливающиеся часы — надежный инструмент регистрации времени. Если же мы не знаем, по какому часовому поясу выверен тот или иной часовой механизм, то его точные показания для нас бесполезны: мы не знаем, какое именно время он измеряет; эти часы, как инструмент, не обоснованы '.

Результаты анализа будут считаться обоснованными, если методика анализа замеряет в массиве текста то, что предполагалось замерять.

Американский специалист в области контент-анализа У. Даниель-сон приводит на этот счет такой пример. Допустим, вы фиксируете заметки, которые определяете как информацию о преступлениях, но действительно ли эта информация помещается в СМК для того, чтобы повествовать о преступлениях? Исследователь, отвечая на этот вопрос, должен обосновать свое определение и преступления, и заметки о таковом. Ему придется сказать, что в эту группу он относит происшествия, которые расцениваются юридическими властями или общественностью или, наконец, прессой как криминалистические по природе, а не как шалости подростков или результат паники. Иногда приходится прибегать к соображениям здравого смысла по принципу «широко известно...». Главный принцип — чтобы не было большого разрыва между категориальной сеткой и эмпирической действительностью.

Именно здесь мы должны упомянуть характеристику контент-анализа, которая еще не привлекалась нами для его описания, точнее, речь идет о следующем ограничении: анализ работает только с «открытым» (manifest) содержанием. Лассвелл употреблял этот термин по контрасту с содержанием «скрытым, подразумеваемым» (latent). «Мы расцениваем содержание как открытое, — писал он, — если слова интерпретируются так, как они понимаются большинством носителей данного языка».

Обычно в качестве примера этой характеристики используют объяснение и на уровне здравого смысла, и в сугубо научной парадигме. Контент-анализ не может работать на значениях и смыслах скрытого, второго плана, он будет оперировать содержанием, что называется, находящимся «на поверхности».

Действительно, если представить множество жанров, выстроенных по мере того, насколько адекватно они воспринимаются потенциальной Аудиторией, одинаково понимаются ею, то информационная заметка из СМК окажется на одном конце, а мистическая поэма со множеством скрытых смыслов — на другом (поскольку вариабельность прочтения ее разными людьми возрастает многократно). Контент-ана-лиз работает с теми текстами, вероятность одинакового прочтения которых очень высока. И это не случайно. Содержание СМК потому (в том числе) и является массовым, что оно рассчитано на максимально возможное одинаковое его понимание. В этом его природа. И анализ содержания как методика его изучения «снимает» именно этот уровень значений. Все остальное для него — «от лукавого».

Именно поэтому и нужны тесты на обоснованность кода — что понимается разными кодировщиками под значением текста и что говорит нам об алгоритме «декодирования» этого значения предлагаемая для исследования инструкция.

Один из тестов на обоснованность результатов, который, судя по специальной литературе, использовался неоднократно, состоит в том, что исследователь, исходя из определенным образом меняющегося содержания, предсказывает, что измерение другого периода покажет точно такое же соотношение характеристик.

Полевая стадия исследования, как никакая другая, связана с такими характеристиками исследования, а значит, и его программы, как организационные его параметры — этапы исследования, сроки исполнения, способы обработки, задействованные в исследовании исполнители, финансовые затраты. Зависимость содержательных характеристик и финансовых затрат огромна. Финансирование социологического исследования никогда не бывает абстрактным — чаще всего средства адресуются конкретным проектам. В таких случаях само обоснование исследования — некоторая гарантия финансирования работы. Более того — в последнее время многие проекты защищают свое право на существование на конкурсной основе. Программа исследования тут вполне способна показать товар лицом.

⇐ Предыдущая 21 22 23 24 25 26 272829 30 Следующая ⇒