Новый метод автоматической классификации текстовых документов

Abstract

Описываются процедуры и особенности применения нового метода автоматической классификации документов, основанного на вычислении отклонений распределения стоп-слов от коэффициента Ципфа. С целью нейтрализации разниц в размерах текстов применена и описана методика их выравнивания по нижнему пределу. Введено понятие итеративного порогового уровня, позволяющее сократить размер текста до нескольких десятков терминов. Разработаны показатели дискриминирующей и симилирующей силы и вычисляемый на их основе обобщённый показатель. Проведено 14 тестов, включая сопоставление с косинусной мерой близости документов, которые показали высокую эффективность предлагаемого метода при решении задач авторской атрибуции художественных и кластеризации политических текстов.