Языковой материал в лингвистическом исследовании

⇐ ПредыдущаяСтр 13 из 32Следующая ⇒

Любое лингвистическое исследование в той или иной мере опирается на анализ языкового материала, языковых данных. Чем больше материал, тем выше достоверность выводов, тем шире сфера дейсвия наблюденных закономерностей. В традиционном языкознании сбору материала всегда придавалось особое значение. Более того, во многих областях лингвистики сбор новых языковых фактов может считаться основной задачей лингвистического описания — ср. исследование неописанных и плохо описанных языков, выявление фонетических и морфологических различий в диалектах, изучение функционирования жаргонов, определение изменений в функционировании языка и множество других задач, которые невозможно даже перечислить.

Каковы традиционные способы сбора и хранения языковых данных? Если отвлечься от области фонетики (это совершенно особая тема, требующая специального обсуждения), то чаще всего речь идет ручной обработке письменных текстов, опросе информантов по разным методикам и последующем изучении полевых анкет, о записях текстов в письменной форме, словарных картотеках и пр²¹⁾. Нет нужды говорить, что часто этап сбора материала в традиционной технологии исследования занимал многие годы. Конечно, при удачном стечении обстоятельств лексикографическая картотека становилась важнейшим источником для изучения языковых форм — такова судьба картотеки Академического слоЭ^аР^я петербургского Института лингвистических исследований (ранее ленинградского отделения Института языкознания АН СССР). Однако это скорее исключение, чем правило. К сожалению, многие картотеки недоступны для лингвистов-исследователей, некоторые из них просто потеряны.

Имеются и другие проблемы. При традиционной технологии сбора и обработки языковых данных обновление собранного материала представляет собой отнюдь не тривиальную задачу. Текущая обработка картотеки, поиск нужных единиц и пр. — все эти абсолютно необходимые операции отнимают значительное время. Кроме того, традиционная технология делает практически невозможным доступ к языковым данным на расстоянии. Некоторые типы данных — корпусы текстов — существовали

²¹⁾ Целый ряд методов полевого исследования языка обсуждается в [Кибрик 1972].

в весьма ограниченном по объему виде (например, в виде хрестоматий, сборников текстов).

Новые информационные технологии и технические средства (компьютерные системы, системы связи, системы мультимедиа) значительно облегчили сбор языковых данных. Так, поскольку компьютерные технологии широко используются в печатном деле и в средствах массовой информации, то существенно упростился процесс получения материала: большинство крупных газет имеют электронные версии, функционирующие в информационных сетях, в частности, в Интернете. Имеются довольно продуктивные устройства сканирования текста (сканеры) и эффективные программы расшифровки графической информации («картинки» текста) в собственно текстовый формат (текст как совокупность графем). Налицо колоссальный технологический рывок вперед. Многие издательства используют для составления словарей специально подготовленные корпусы текстов — ср., например, Бирмингемский корпус английского языка и соответствующую базу данных, созданные как источники для подготовки англоязычных словарей издательства «Коллинз» (см., например, [Collins COBUILD English language dictionary 1987]).

Этот технологический рывок создал, однако, другие — не менее серьезные — проблемы, существенно осложняющие использование языкового материала как для чисто научных, так и научно-практических целей (например, для составления словарей). Дело в том, что чрезмерный объем изучаемых данных может и затруднить описание исследуемого феномена. Такой эффект возникает в двух случаях: во-первых, когда информации слишком много22), и, во-вторых, когда выбранный языковой материал искажает реальную картину функционирования языка относительно описываемого феномена. При наложении первой и второй ситуации — и материал слишком велик и он не отражает реальный узус — результаты исследования практически не поддаются никакой разумной оценке. Заметим, что перечисленные проблемные ситуации не исключение, а рутинная практика современной лингвистики. В этом смысле остроумная метафора У. Фрэнсиса, сравнившего процесс формирования корпуса с попыткой вычерпывания ведром океана, не кажется значительным преувеличением [Фрэнсис 1983, с. 337].

Встает задача разработки общих принципов построения лингвистических корпусов данных с использованием современных компьютерных технологий. Рассмотрим здесь две важнейших темы корпусной лингвистики, связанные с конструированием корпусов текстов:

²²)Например, изучение функционирования выражения по крайней мере в художественных произведениях Ф. М.Достоевского требует анализа более чем 500 употреблений этого грамматического фразеологизма. Между тем представление о реальной картине употребления появляется после просмотра первых 70-80 контекстов. Остальной материал не дает практически ничего нового. См. по этому поводу [Баранов 1996].

· формулировка общих требований к корпусу данных с точки зрения пользователя;

· обсуждение опыта создания корпусов данных для различных исследовательских проектов.

Ниже речь пойдет о корпусах текстов, однако многие обсуждаемые здесь проблемы вполне переносимы и на корпусы данных других типов.

Исходные понятия корпусной лингвистики

В имеющейся литературе по корпусной лингвистике часто используются понятия, которые никак не определяются, но составляют исходный категориальный аппарат этой дисциплины. Рассмотрим их в самом первом приближении, не претендуя на точные, исчерпывающие дефиниции (см. также [Баранов 1998 а]).

Проблемная область. Под проблемной областью понимается область реализаций языковой системы, содержащая феномены, подлежащие лингвистическому описанию. Проблемная область для конкретного корпуса данных может быть сколь угодно велика или мала — все определяется выбранным объектом анализа. Существенно иметь в виду, что в идеале проблемная область имеет два измерения — языковое и речевое. Речевое представлено речевыми высказываниями (реализациями), а языковое измерение проявляется в существовании потенциальной возможности появления других употреблений, дополняющих массив имеющихся реализаций. Как правило, в корпусной лингвистике языковой аспект фактически игнорируется, поскольку изначально фиксируется область привлекаемых данных — реализаций языковой системы. Это совершенно естественно, поскольку вряд ли возможно зафиксировать, собрать «потенцию», «возможность». Однако для регулярно изменяемых корпусов данных языковой аспект проблемной области сразу «вылезает» при разработке принципов модификации корпуса. Кроме того, для лингвистического исследования (кроме специально оговариваемых случаев) в центре внимания стоит именно языковое измерение, поскольку его следует реконструировать в результате анализа.

С чисто практической точки зрения проблемная область чаще всего предстает перед разработчиком корпуса как множество данных, обработка которых затруднена из-за того, что языковых реализаций слишком много.

Корпус данных. Корпус данных представляет собой сформированную по определенным правилам выборку данных из проблемной области. Тем самым корпус данных представляет собой результат отображения из проблемной области. В отличие от проблемной области, корпус данных имеет только одно измерение — речевое, поскольку сам по себе он не обладает потенцией производства своих составляющих. Последнее, однако, не означает, что корпус данных не может использоваться для реконструкции языка как системы. Наоборот — это одна из главных задач лингвистического исследования корпуса. Перед нами одно из глобальных противоречий, свойственное любому продукту языковой системы — от звука до текста. Лингвисту приходится по отдельным результатам деятельности языка делать выводы о функционировании языка как целого, как системы.

Единица хранения корпуса данных. Поскольку корпус данных — это некоторая выборка из проблемной области, сформированная по определенным принципам, то единица хранения непосредственно зависит от того, по каким основаниям осуществляется выборка. Единица хранения — это некоторая совокупность естественноязыковых выражений проблемной области, которой сопоставляется одно описание на некотором метаязыке, определяемом процедурой формирования корпуса. У. Фрэнсис, обсуждая размеры «базовых единиц» корпуса, отмечает, что это могут быть отдельные слова, короткие фразы, предложения, словосочетания (синтагмы). Если корпус предполагается для синтаксического анализа, то он должен включать целые тексты или их достаточно большие фрагменты [Фрэнсис 1983, с. 344 и далее].

На основании описания единицы хранения можно судить о том, какая часть проблемной области представлена в корпусе. Например, единица хранения корпуса рекламных слоганов, созданного в Отделе экспериментальной лексикографии Института русского языка РАН, включает следующие характеристики:

• слоган: Для мужчин, которые любят женщин, которые любят мужчин

• фирма: «Louis Azzaro»

• предмет: туалетная вода Azzaro pour Homme

• область: косметика и парфюмерия

• вид слогана: перевод с французского

• оригинал: Pour les hommes qui aiment les femmes qui aiment les hommes

• источник: Стае, Космополитен

Выражение естественного языка Для мужчин, которые любят женщин, которые любят мужчин и сопоставленные ему характеристики вместе образуют единицу хранения, которая может вводиться в базу данных или включаться в обычный файл текстового формата.

Единица хранения корпуса названий газетных статей должна была бы включать само название и совокупность дескрипций, содержащих информацию о том, из какой газеты название получено, в какой рубрике находится статья, когда вышла газета и другую необходимую информацию. Совокупность описаний единиц хранения образует некоторое множество, по которому можно судить о представительности выборки — какие газеты представлены, как формировалась выборка по временному параметру (все газеты какого-то периода vs. газеты через определенные промежутки времени vs. все газеты выбранных временных отрезков и т.д.); статьи каких рубрик представлены и пр.

Корпус текстов. Корпус текстов — это вид корпуса данных, единицами которого являются тексты или их достаточно значительные фрагменты, включающие, например, какие-то полные фрагменты макроструктуры текстов данной проблемной области.

Несколько соображений о типах корпусов данных.

Исследовательские корпусы. Исследовательскими называются такие корпусы, которые предназначены преимущественно для изучения различных аспектов функционирования языковой системы. Они строятся не post factum — после проведения какого-либо исследования, а до его проведения. Этот тип корпусов данных, как правило, ориентирован на широкий класс лингвистических задач. Неспецифицированность задачи требует при построении исследовательских корпусов использовать пропорциональное сужение, являющееся наиболее простым способом обеспечения репрезентативности (см. ниже).

Иллюстративные корпусы. Иллюстративные корпусы создаются после проведения научного исследования: их цель не столько выявить новые факты, сколько подтвердить и обосновать уже полученные результаты. Такие корпусы не являются слепком, правильным (с точки зрения статистики) отображением проблемной области. Они включают лишь то, что достаточно для иллюстрации описываемого феномена. Типичный пример иллюстративного корпуса представлен в «Путеводителе по дискурсивным словам русского языка» [Баранов, Плунгян, Рахилина 1993], где семантический анализ частиц и выделенные значения сопровождаются значительным текстовым материалом, позволяющим читателю проверить предложенные семантические интерпретации.

Динамические и статические корпусы текстов. Первоначально корпусы текстов создавались как статические образования, отражающие определенное временное состояние языковой системы. Типичными представителями этого вида корпусов являются авторские корпусы — коллекции текстов писателей. Однако значительная часть чисто лингвистических и не только лингвистических задач требует выявления функционирования языковых феноменов на временной шкале — например, изменения значения слов, частоты использования тех или иных синтаксических конструкций и пр. Для отражения процессуального аспекта проблемной области была разработана новая технология построения и эксплуатации динамического корпуса текстов. В имеющейся литературе такие корпусы получили также название мониторных ²³⁾. Особенность сборки мониторных корпусов заключается в том, что они не предполагают раз и навсегда заданного набора текстов. В течение заранее фиксированного промежутка времени происходит обновление и/или дополнение множества текстов корпуса.

Специфика эксплуатации динамического корпуса состоит в том, что пользователь при проведении исследования может выделить из общего генерального корпуса рабочий корпус, включающий лишь часть текстов генерального корпуса. Как динамический корпус строился Бирмингемский корпус английского языка. Пример динамического корпуса по современной российской публицистике рассматривается ниже.

Корпусы параллельных текстов. Для научных и практических целей (в частности, для преподавания иностранных языков) формируются

23) Термин «мониторный» прямо связан с идеей лингвистического мониторинга — см. §4 главы 5.

корпусы параллельных текстов. По своей структуре это подмножество текстов на языке-источнике и одно или несколько подмножеств текстов, которые являются переводами текстов языка-источника на языки-цели. Например, английский текст «Alice in Wonderland» и его переводы на немецкий, французский и русский языки могут формировать такой корпус или быть частью большего корпуса параллельных текстов.

Способ представления и хранения корпуса данных. Наибольший интерес представляют те способы, которые опираются на современные компьютерные технологии хранения и обработки данных. Для дальнейшего изложения важно делать различие между двумя основными способами представления — неструктурированным текстовым форматом хранения (запись графем текста в ASCI-кодах) и структурированным форматом хранения (текст со специальной разметкой); к последнему можно отнести также представление данных в форматах баз данных различного типа.

Порог отображения. Поскольку корпус данных является сужением проблемной области, то совершенно очевидно, что при «пропорциональном» сужении, являющемся, по-видимому, простейшим случаем реализации принципа репрезентативности (см. ниже), некоторые части проблемной области оказываются вне корпуса данных. Возьмем грубый пример. Пусть в проблемной области содержится 20 контекстов, а в корпусе данных должна быть четвертая часть — 5 контекстов. Контексты являются примерами реализации различных синтаксических феноменов: в десяти контекстах представлены простые предложения, а в восьми — сложные. В двух последних контекстах содержатся примеры парцелляции. В корпусе данных один контекст соответствует четырем контекстам проблемной области. Это означает, что контексты парцелляции при пропорциональном сужении в четыре раза не попадают в корпус данных. Соотношение между корпусом данных и проблемной областью при пропорциональном сужении будем называть порогом отображения. Чем выше порог, тем больше вероятность, что какие-то феномены проблемной области, обладающие сравнительно низкой частотой, не попадут в корпус данных.

Параметризация проблемной области. Сужение проблемной области к исследовательскому корпусу основывается на выделении некоторых характеристик текстов проблемной области, которые релевантны для предполагаемого исследования. Совокупность этих характеристик (их возможные комбинации) образует многомерную матрицу, служащую основой для отбора текстов в корпус. Часто для оценки релевантных параметров проблемной области привлекается экспертная оценка. У. Фрэнсис, описывая историю создания Брауновского корпуса, отмечает, что на этапе планирования работ было собрано совещание известных экспертов в области конструирования корпусов (в нем принимали участие Р. Куирк, Ф. Гоув, Дж. Кэррол), которое и сформулировало основные принципы параметризации проблемной сферы и структуру корпуса [Фрэнсис 1983, с. 344 и далее].

* * *

Обратимся теперь к тем требованиям, которые обычно предъявляют пользователи к корпусу текстов (в дальнейшем именно корпус текстов будет основным предметом обсуждения), имея в виду, разумеется, идеальную ситуацию.

Требования к корпусу текстов с точки зрения пользователя

Корпус данных, будучи отражением проблемной области, должен совмещать, с точки зрения пользователя, самые противоречивые требования. Поскольку последовательное соблюдение любого из требований приводит к разрушению корпуса как такового, необходимо соблюдение баланса между ними. То, как создатель корпуса старается совместить различные требования, формирует стратегию построения корпуса.

Репрезентативность. Важнейшее свойство корпуса текстов — его репрезентативность по отношению к проблемной области. Под репрезентативностью понимается способность корпуса текстов отражать все свойства проблемной области, релевантные для данного типа лингвистического исследования, в определенной пропорции, определяемой частотой явления в проблемной области. Другими словами, частота явления в корпусе должна быть близка частоте в проблемной области. Это требование ориентирует «сборщика» корпуса текстов на специализацию разрабатываемого продукта по уровневой тематике: фонетические, морфологические, синтаксические, лексические, текстовые и пр. корпуса.

Например, текстовые корпуса должны содержать в соответствующей пропорции тексты с базовыми, наиболее типичными макроструктурами, имеющимися в данной проблемной области. С другой стороны, лексические корпуса должны включать выбранные исследователем поля лексических единиц.

Стремление к репрезентативности налагает определенные ограничения на единицы хранения корпуса: если для морфологии это могут быть максимум словосочетания и отдельные предложения (для языков с развитой морфологией), то для собственно текстовых корпусов единицами хранения должны быть целые тексты и фрагменты их макроструктур.

Репрезентативность, конечно, не исчерпывается перечисленными параметрами. Так, в каждом конкретном случае может оказаться необходимым учесть стилистическую, временную, авторскую и другие составляющие текстового массива проблемной области.

Требование репрезентативности в самом простом варианте отражается в пропорциональном сужении проблемной области. В этом случае можно говорить о «пропорциональной стратегии» организации корпуса текстов. Требование адекватного отображения статистики может быть нарушено, если цель исследования заключается не столько в оценке частотности того или иного явления, сколько в изучении множества уже выделенных языковых структур. Для таких задач более разумно и экономично использовать иллюстративные корпусы текстов.

Полнота. Репрезентативность корпуса указывает на то, что единицы проблемной области отражаются пропорционально в корпусе данных, но при определенном пороге некоторые релевантные явления пропадут, исчезнут из корпуса. Полнота требует учета релевантных явлений, даже если это не соответствует идее пропорционального сужения. Требование полноты совершенно необходимо в тех случаях, когда лингвист-конструктор корпуса приблизительно знает, что ему искать. В такой ситуации исследовательский корпус может приобрести те или иные черты иллюстративного корпуса.

Экономичность. Корпус текстов должен экономить усилия исследователя при изучении проблемной области. В частности, он должен быть не просто строгим подмножеством текстов проблемной области, но, по возможности, существенно отличаться от нее по объему. В общем случае чем более «экономичен» корпус, тем выше порог отображения. В то же время для исследовательских корпусов экономия не может проводиться в ущерб репрезентативности: статистические пропорции должны быть адекватно отображены, если это не оговорено специально.

Структуризация материала. Определение единиц хранения корпуса не должно быть непосильной задачей для пользователя. Желательно сопоставить корпусу опись данных, в которой единицы хранения характеризуются по тем параметрам, которые могут оказаться важными для пользователя.

В ряде случаев на состав единиц хранения налагаются существенные ограничения. Если единицей хранения оказывается фрагмент текста (предложение или группа связанных между собой предложений), то важно, чтобы он был самодостаточным. Последнее означает, что он не должен содержать неоднозначности любых типов, в частности, местоимений, для которых невозможно восстановить антецедент и пр. В тех случаях, когда единицы хранения включают случаи языковой игры, связанной с неоднозначностью, рамки контекста должны быть таковы, чтобы пользователь мог легко определить, что речь идет о языковой игре, а не об ошибке в вычленении единицы хранения. Разумеется, это не очень существенно для таких корпусов, которые ориентированы, например, на морфологическую или фонетическую инвентаризацию

проблемной области.

Компьютерная поддержка. Желательна поддержка корпуса текстов комплексом программ по обработке данных, обеспечивающих функции составления конкордансов, статистической инвентаризации, автоматической словарной обработки (составление полных и частичных словников по различным основаниям — по частоте, по алфавиту и пр.), лемматиза-ции. Как минимум, корпус должен быть «прозрачен» для компьютерной обработки (отсутствие переносов, лишних пробелов и пр.²⁴⁾

²⁴⁾ Ср. формальные требования к представлению текстов в Машинном фонде русского языка в [Андрюшенко 1987].

Имеющиеся компьютерные программы, ориентированные на обработку корпуса текстов, строятся по двум основным стратегиям. В первом случае программа порождает для текста комплекс указателей, в частности, указатель словоформ, в котором для каждой словоформы указывается адрес в тексте. В дальнейшем при составлении конкордансов программа оперирует не столько текстом как таковым, сколько указателями к нему. Типичный пример программ такого типа — программные пакеты LJN1LEX (Машинный фонд русского языка) [Мошкович 1989], а также американские программы ETC и WORD CRUNCHER (более поздняя версия пакета ETC; компания Electronic Text Corporation и Brigham Young University) [WordCruncher 1989a; WordCruncher 1989b]. В Великобритании используется аналогичный по функции пакет ОСР (Oxford Concordance Program), а в Германии — программа ТЕХТРАСК²⁵⁾. При второй стратегии для поиска необходимых контекстов программа каждый раз последовательно просматривает текст, маркируя те фрагменты, которые удовлетворяют поисковому заданию (см., например, программа DIALEX-DIAWIN — отдел экспериментальной лексикографии Института русского языка РАН [Исаев 1996]). Достоинства и недостатки первой и второй стратегии связаны с двумя факторами: с необходимостью предварительной обработки корпуса (подготовки его к составлению конкордансов) и с объемом корпуса. Первая стратегия (программы типа UNILEX) предполагает предварительное разбиение текстов на модули и составление больших указателей, что, разумеется, требует значительного рабочего времени и наличия больших ресурсов памяти.

Совершенно иная ситуация с программами, работающими по второй стратегии (программы типа DIALEX): указатели, которые они строят по корпусу текстов, являются временными и уничтожаются по мере выполнения алгоритма. Они не требуют предварительной обработки корпуса, членения текстов на отдельные модули и т. п. Но программы такого рода должны использовать очень продуктивные подпрограммы обработки текста, поскольку каждый поиск предполагает сплошной просмотр корпуса. Фактически программы типа DIALEX состоят из «кирпичиков» — очень продуктивных программ-перекодировщиков типа «FT». Основной недостаток второй стратегии заключается в том, что значительное увеличение массива текстов в корпусе существенно замедляет работу программы. В настоящее время эта пороговая величина находится на уровне 100 мегабайт. В этом случае более выгодно использовать программы типа UNILEX, работающие при составлении конкордансов не с текстами как таковыми, а с указателями к ним. Очевидно, однако, что разметка 80-100-мегабайтного корпуса и составление к нему указателей потребует значительного времени²⁶⁾.

²⁵⁾ Распространяется организацией Zentram ffir Umfragen, Methoden und Analysen — ZUMA (г. Мангейм, Германия).

²⁶⁾ Подробный сравнительный анализ некоторых программных пакетов обработки корпусов см. в [Miiller 1993].

Особого программного обеспечения требуют корпусы параллельных текста. Программа MULTICONCORD позволяет строить конкордансы и устанавливать соответствия между фрагментами оригинального текста и его переводами на другие языки [GroB, MiBler, Wolff 1996]. В настоящее время MULTICONCORD работает с корпусом из шести языков — английский, немецкий, французский, греческий, итальянский и датский (текст на источниковом языке и пять текстов на целевых языках). Для разньк текстов целевые языки и языки-источники варьируются. Корпус паралвльных текстов полностью интегрирован в программу. Он включает разнообразные литературные тексты — романы, драмы, короткие рассказы, а также публицистику, информационные тексты, анекдоты. Программа дает возможность производить поиск по разным языкам, разньщ словам, словоформам и словосочетаниям. Ср. фрагмент поиска на английский глагол look в оригинальном тексте «Alice in Wonderland» и его лексические эквиваленты в переводе на немецкий язык:

First, she tried to look down and make outvhat she was coming to, but it was too dark to see anything; It was as much as she could do, lying down on one side, to look through into the garden with one eye;

Als erstens spahte sie in die Tiefe hinab, urn zu erkennen, was ihr dort bevorstand, aber es war so dunkel, daB man nichts sehen konnte; Wenn sie sich seitlich hinlegte, konnte sie mit einem Auge gerade noch in den Garten hinausblicken, aber mehr auch nicht, und dorthin zu gelangen war aussichtsloser denn je

Результаты поиска могут сортироваться по объему, алфавиту, по произведениям, авторам и т.д. Предполагается использовать MULTICONCORD на занятиях по изучению иностранных языков, литературы и в сфере конграстивной лингвистики.

Основная проблема в построении корпусов параллельных текстов и разработке пакетов программ для их обработки заключается в установлении соответствий между оригинальными текстами и переводами. Понятно, что тривиальное соответствие по словам или предложениям здесь невозможно. Теоретически обоснованным было бы использование технологий систем машинного перевода с языком-посредником или универсальным языком, однако в настоящее время такой подход вряд ли возможен. Насколько можно судить, создатели программы MULTICONCORD в простых случаях устанавливали лексические соответствия, а в случае свободного перевода индексировали целые фрагменты предложений или текстов.

⇐ Предыдущая 8 9 10 11 121314 15 16 17 Следующая ⇒