Автоматизация порождения словаря парадигм на основе корпуса текстов для языков флективного типа

Abstract

На примере русского языка представлен алгоритм автоматического порождения словаря парадигм для языков флективного типа с использованием модели векторного представления слов Word2vec, полученной в результате обучения двуслойной нейронной сети на корпусе русскоязычных текстов. Особенностью предлагаемого подхода является то, что в нем лишь в незначительной степени применяется такой традиционный способ решения задачи, как стемминг, и совершенно не используется лемматизация – векторные представления слов являются ключевым элементом, выступающим как в роли источника словоформ парадигмы, так и в качестве «лингвиста-эксперта», оценивающего семантическое и грамматическое сходство словоформ.