Новые мехи требуют нового вина.

Итак, мы видим новое противоречие: между новыми языковыми компьютерными технологиями и старым традиционным словарным содержанием, не позволяющим воспользоваться этими технологиями в полном объеме. Иными словами, новые мехи требуют нового вина!

Источник этого противоречия тоже ясен: словарь представляет собой модель языка, устроенную на совершенно иных принципах, чем те формальные модели, которые лежат в основе этих технологий. И если в области морфологии противоречие еще не очень существенно, то в области синтаксиса и семантики оно становится почти непреодолимым.

Действительно, технология морфологического анализа всего лишь позволяет установить соответствие между исходной формой слова из текста и множеством лексем (словарных входов), для которой такая форма возможна. Синтаксический анализ позволяет сделать то же самое для словосочетаний, являющихся отдельными словарными входами.

Однако, для всех этих технологий само словарное содержание является " непрозрачным", полностью ими игнорируется. Заглянуть " внутрь" словарной статьи позволяет только полнотекстовый поиск. Однако, этот мощный инструмент работает со словарным содержимым как с текстом на естественном языке, что резко ограничивает его возможности.

Первый и очевидный шаг, на который уже идут создатели электронных словарей, это первичная разметка словарной статьи, формализация той внутренней структуры, которая в той или иной мере имеется в хороших бумажных словарях. В результате полнотекстовый поиск может различать, к примеру, переводы, примеры использования и комментарии, что принципиально усиливает его возможности с точки зрения пользователя.

Однако все эти меры являются поверхностными. Ясно, что задача состоит в том, чтобы единицей описания было отдельное лексическое значение, и технологии анализа могли бы устанавливать соответствие между исходным запросом и теми лексическими значениями, которые релевантны для этого запроса по синтаксическим и семантическим критериям.

В качестве иллюстрирующего примера можно привести практически любой глагол, принадлежащий ядру языка. Например, глагол " развести" может встретиться в таких контекстах:

разводить руками;
разводить спирт водой;
разводить супругов;
разводить мосты;
разводить баранов;
разводить дерущихся;
разводить пилу;
разводить/разбивать сады

(английские эквиваленты: bring; conduct; part, separate; mix; dissolve; divorce; breed; plant, etc...)

Задача создания такого словарного содержания, которое позволило бы сделать единицей анализа отдельное лексическое значение, а не морфологическую лексему, является, вероятно, наиболее перспективным направлением в компьютерной лексикографии. Ясно, что для ее решения требуется " синхронизация" словарных описаний и формальных моделей, используемых технологиями анализа. В пределе это должно быть единое интегральное лексико-синтактико-семантическое описание.

Читатели и писатели

Интегральный подход к лексическим описаниям позволяет также решить и проблему " монофункциональности" бумажных словарей.

К примеру, особенностью большинства бумажных переводных словарей является ориентация описания структуры лексического значения в исходном языке на лексическую систему языка перевода и на реализацию ровно одной функции - собственно перевода с языка А на язык Б в предположении, что язык А является иностранным, а язык Б - родным. Нечего и говорить, что такое ограничение делает словарь исключительно неудобным при необходимости перехода от пользовательской модели Читатель к модели Писатель.

Фактически сегодня такие модели реализуются разными типами словарей, что достаточно неудобно читателю. Поэтому интегральный подход к лексическим описаниям оправдан не только методически (и, что немаловажно, экономически), но и с точки зрения учета интересов пользователя.

Проблема актуальности

Коснемся проблемы актуальности словарного содержания. Как уже указывалось, фундаментальные (лучшие! ) бумажные словари - неизбежно словари устаревшие.

Особенно это характерно для разговорной лексики, в частности, ненормативной. В этой области отечественные классические словари предстают не только устаревшими, но попросту ханжескими.

Функции фиксации текущего состояния языка берут на себя растущие, как грибы после дождя, небольшие словарики, обычно весьма конъюнктурные и поверхностные. Новые значения в них оторваны от своих языковых корней, плохо или произвольно объяснены.

Для массовых программных продуктов, каковыми являются электронные словари, характерны частая смена версий и наличие постоянной обратной связи с тысячами пользователями. Поэтому компьютерная лексикография - это неизбежно актуальная лексикография.

Жизнь электронного словаря должна быть похожа на нелегкую жизнь других программных систем: с маниакальным стремлением особо вредных пользователей обнаружить очередную ошибку или лакуну, и, с другой стороны, с возможностью и необходимостью поправить дело сейчас, а не через десятилетия.

Такой подход всего лишь фиксирует естественное положение дел: коллективное авторство на словарное содержание принадлежит всем носителям языка; задача лексикографа - фиксация языковых фактов и их методически правильное описание.

Соответствие уровню достижений лингвистической науки

Отрыв лексикографической теории от лексикографической практики велик. Это должно быть особенно обидно для российской лингвистической науки, в которой лексическая семантика занимает особое место. Достаточно назвать такие имена, как Мельчук, Апресян, Падучева и многие другие.

Разумеется, существуют особые " концептуальные" словари, в которых лексика представлена интегрально и систематически. Например толковые и синонимические словари группы Апресяна.

При этом в массовых бумажных словарях эти идеи не воплощены в жизнь. А ведь именно в развитии этих идей будущее практической компьютерной лексикографии. Не углубляясь в подробный анализ теоретических концепций, являющихся одновременно и практически полезными, укажем следующие из них:

- Понятие " лексической функции", позволяющее систематически описывать несвободную сочетаемость слов. Например, то, что " войну ведут", а " экзамен - держат", что " теории выдвигают", а " мысли подают" и т.п.

- Описание семантики и практической реализации грамматического словоизменения и словообразования. Каждый язык имеет свои собственные способы грамматического кодирования смысла. И эти способы никогда не описывается в массовых словарях систематически. Например, как передать по-английски смысл " довыпендриваться", даже если знаешь как передать " выпендриваться"?

- Синтаксические описания. Здесь ситуация наиболее печальна, поскольку в массовых словарях не существует даже системы понятий, с помощью которой синтаксическая информация могла бы быть доведена до обычного читателя. Идея, что за составление предложения ответственна грамматика, изложенная в справочнике, а словарь обеспечивает перевод отдельных слов, не выдерживает критики с точки зрения современных представлений о центральной роли слова в синтаксисе.

Выход из этой печальной ситуации уже указан. Будущее лексикографии за интегральными словарными описаниями, основанными на формальных моделях, учитывающих упомянутые научные результаты. На этих же моделях будут основываться технологии доступа к словарному содержанию.

Глава III. МАШИННЫЙ ПЕРЕВОД

Немного истории.

Осуществление перевода компьютером – сложная, но интересная научная задача. Основная ее сложность состоит в том, что естественные языки плохо поддаются формализации. Отсюда и невысокое качество получаемого с помощью систем МП текста, содержание и форма которого служит неизменным объектом шуток. Однако идея машинного перевода уходит корнями далеко в прошлое. Впервые мысль о возможности машинного перевода высказал Чарльз Бэббидж, разработавший в 1836-1848 гг. проект цифровой аналитической машины. Идея Ч. Бэббиджа состояла в том, что память объемом 1000 50-разрядных десятичных чисел (по 50 зубчатых колес в каждом регистре) можно использовать для хранения словарей. Ч. Бэббидж привел эту идею в качестве обоснования для запроса у английского правительства средств, необходимых для физического воплощения аналитической машины, которую ему так и не удалось построить.

А через 100 лет, в 1947 году, У. Уивер (директор отделения естественных наук Рокфеллеровского фонда) написал письмо Норберту Винеру. В этом письме он предлагал использовать технику дешифрования для перевода текстов. Этот год считается годом рождения машинного перевода. В этом же году был разработан алгоритм осуществления пословного перевода, а в 1948 году Р. Риченс предложил правило разбиения слова на основу и окончание. В последующие два десятилетия системы машинного перевода бурно развивались. В январе 1954 года на машине IBM – 701 была продемонстрирована первая система машинного перевода IBM Mark II. Но в 1967 году специально созданная Комиссия Национальной Академии Наук США признала машинный перевод нерентабельным, что существенно затормозило исследования в этой области. Новый подъем машинный перевод переживает в 70-е годы, а в 80-е становится экономически выгодным за счет сравнительной дешевизны машинного времени.

Однако в СССР исследования в области машинного перевода продолжались. После демонстрации системы IBM Mark II группа ученых ВИНИТИ начала разработку системы машинного перевода для машины БЭСМ. Первый образец перевода с английского на русский язык был получен к концу 1955 года.

Другое направление работ возникло в Отделении прикладной математики Математического института АН СССР (ныне ИПМ им. М. В. Келдыша РАН) по инициативе А. А. Ляпунова. Первые программы машинного перевода, разработанные этим коллективом, были реализованы на машине " Стрела". Благодаря работе над созданием систем МП оформилось такое направление, как прикладная лингвистика.

В 70-е годы над созданием систем МП трудилась группа разработчиков ВИНИТИ РАН под руководством проф. Г.Г. Белоногова. Первая их система МП была разработана в 1993 году, а в 1996 году после ряда доработок была зарегистрирована в РОСАПО под названием Retrans. Эта система использовалась министерствами обороны, путей сообщения, науки и технологии.

Параллельные исследования велись в лаборатории Инженерной Лингвистики ЛГПИ им. А. И. Герцена (ныне Педагогический Университет). Именно они и легли в основу наиболее популярной сейчас системы МП “PROMT”. Последние версии этого программного продукта используют наукоемкие технологии и построены на основе технологии расширенных сетей переходов и формализма нейронных сетей.

⇐ Предыдущая12345Следующая ⇒

Поделиться: