Обратный словарь

В обратном словаре словарные единицы расположены в алфавитном порядке «задом наперед». Может быть полезен, например, для нахождения рифм. Четыре фрагмента обратного словаря приведены в табл. 2.1.

Таблица 2.1. Фрагмент обратного словаря

Идеографический словарь Таблица 2.2. Фрагмент идеографического словаря

Частотный словарь — вид словаря, в котором лексические единицы характеризуются с точки зрения степени их употребительности в совокупности текстов, представительных либо для языка в целом, либо для отдельного функционального стиля, либо для одного автора. Словарь может быть отсортирован по частоте, по алфавиту (тогда для каждого слова будет указана его частота), по группам слов (например, первая тысяча наиболее частотных слов, за ней вторая) и т. д. Частотные словари могут строиться на основе словоформ, лемм (нормальных форм слова) или словосочетаний.

В связи с тем, что размеры корпусов, на основании которых составляется словарь, различны, обычно производится приведение частот встречаемости к относительным единицам ipm (частота на миллион словоформ, instances per million words).

Естественно, что практически в любом наборе текстов на первых местах по встречаемости будут служебные слова — союзы, предлоги и т. д. Самое частотное слово русского языка — союз и, имеющее частоту около 30000 ipm. Для Национального корпуса русского языка (НКРЯ, см. ниже раздел 2.3) наиболее частотные существительные, глаголы и прилагательные приведены в табл. 2.3.

Таблица 2.3. Частотные слова русского языка по НКРЯ

Частотные словари широко применяются как в компьютерной лингвистике (например, для классификации текстов), так и в лингвистике традиционной (например, для сравнения лексики разных авторов, анализа изменения лексики с течением времени и т. п.). Так, например, в частотном словаре лексики Лермонтова среди существительных лидируют слова рука, душа, день среди глаголов на пятом месте идет любить (в НКРЯ — 21-е место).

Сравнивая лексику Лермонтова и Пушкина, исследователи отмечают, что у Пушкина больше слов разговорных, народных. Например (Лермонтов : Пушкин): девица— 38:108, баба— 4:44, батька— 0:5, попадья — 1:28, печка — 1:14.

Проблемы при создании частотных словарей заключаются в:

• ? воспроизводимости (будут ли результаты идентичны на другом аналогичном корпусе);
• ? всплесках частоты отдельных слов (частота слова в одном тексте может повлиять на его позицию в частотном списке);
• ? сложности определения позиции менее частотных слов, что не дает возможности ранжировать их рационально; например, слово белиберда входит в 20000 наиболее частотных слов, в то время как слово хрюкнуть находится за пределами списка первых 40 тысяч;
• ? омонимичности многих словоформ (см. раздел 3.1) (стали =>сталь или стать, банку => банк или банка, вера => вера или Вера).

В словарях предшествующих поколений, составлявшихся в конце XX века, омонимия разрешалась вручную, так как объем обрабатываемого корпуса был незначителен. Очевидно, что для 100-миллионных корпусов такое решение не подходит. Поэтому задействуются системы компьютерного анализа текстов. Однако это порождает новую проблему: слова, отсутствующие в словаре анализатора. При составлении частотного словаря НКРЯ доля несловарных слов составляла 3% всех словоупотреблений и 45% списка словоформ корпуса. Автоматическая интерпретация несловарных форм в свою очередь может приводить к ошибкам, вызывая появление таких лемм как Янсный (от Янсен), Барклаивать (от Барклай).

Вопрос о способе лемматизации и ее необходимости вообще при автоматическом составлении частотных словарей нетривиален, и его решение зависит от целей работы. Рассмотрим для примера четыре фразы, представляющие собой ответы на один из вопросов социологической анкеты:

Демократы не варвары, они защищают себя.

Защитные свойства демократии.

Защищались они варварски.

Российская демократия не встала на защиту населения.

В таблице 2.4 приведены два варианта частотного словаря. В левой части — словарь с лемматизацией. В правой части словарь составлен без лемматизации, почти все словоформы одного слова, а также близких к ним слов, объединены в одну словарную единицу под названием той словоформы, которая встретилась в тексте первой. Близость слов определялась по специальным правилам сравнения слов.

Безусловно, левый столбец выглядит более приятным. Однако легко заметить, что справа слова, близкие по значению, объединяются в одну словарную единицу, что может оказаться полезным при классификации. Кроме того, при составлении словаря без лемматизации снимаются проблемы омонимии и несловарных слов, а программа работает во много раз быстрее.