Распределённые представления редких слов русского языка, учитывающие векторы однокоренных слов

Рассматриваются алгоритмы, выполняющие автоматический морфемный анализ слов, и методы распределённых представлений слов, которые используют информацию о морфемном составе, но не напрямую, а через усреднение векторов однокоренных слов. Оценивается качество моделей морфемного анализа для русского языка, в том числе и на выборке из редких слов. Предлагается несколько способов получения распределённых представлений редких слов на основе word2vec-представлений однокоренных слов. Проведённые эксперименты показали, что на задаче определения семантической близости пары слов предлагаемые методики дают результаты, сопоставимые с результатами модели fastText или превосходят их.