Проблемы и методы автоматической классификации текстовых документов

Научно-техническая информация. Серия 2: Информационные процессы и системы Pub Date : 2021-01-01 DOI:10.36535/0548-0027-2021-11-4

В. А. Яцко, V. Yatsko

{"title":"Проблемы и методы автоматической классификации текстовых документов","authors":"В. А. Яцко, V. Yatsko","doi":"10.36535/0548-0027-2021-11-4","DOIUrl":null,"url":null,"abstract":"Представлен обзор основных проблем и методов автоматической классификации текстов. Рассматриваются такие темы, как: выбор исходного лингвистического материала; нейтрализация разницы в размерах текстов; применение дистантного и словарного подходов к классификации; уменьшение размерности текстов; создание словарей; адекватное взвешивание терминов; обучение и функционирование программы-классификатора. В доступной форме описываются процедуры выравнивания текстов по нижнему пределу и логарифмического выравнивания, алгоритмы вычисления косинусной меры близости, Z-коэффициента. Показаны особенности применения теоремы Байеса с целью частеречной классификации и фильтрации спама.","PeriodicalId":24076,"journal":{"name":"Научно-техническая информация. Серия 2: Информационные процессы и системы","volume":null,"pages":null},"PeriodicalIF":0.0000,"publicationDate":"2021-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Научно-техническая информация. Серия 2: Информационные процессы и системы","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.36535/0548-0027-2021-11-4","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}

引用次数: 0

Abstract

Представлен обзор основных проблем и методов автоматической классификации текстов. Рассматриваются такие темы, как: выбор исходного лингвистического материала; нейтрализация разницы в размерах текстов; применение дистантного и словарного подходов к классификации; уменьшение размерности текстов; создание словарей; адекватное взвешивание терминов; обучение и функционирование программы-классификатора. В доступной форме описываются процедуры выравнивания текстов по нижнему пределу и логарифмического выравнивания, алгоритмы вычисления косинусной меры близости, Z-коэффициента. Показаны особенности применения теоремы Байеса с целью частеречной классификации и фильтрации спама.

查看原文

微信好友朋友圈 QQ好友复制链接

本刊更多论文

这是对文本自动分类的主要问题和方法的概述。讨论的主题包括:原始语言材料的选择;消除文本大小差异;使用远距离和词汇方法来分类;文本的尺寸减少;建立字典;适当称重术语;分级程序的培训和功能。可用的形式描述了下限和对数对齐的文本对齐程序、余弦亲密度计算算法、Z系数。贝叶斯定理的应用是为了广泛分类和过滤垃圾邮件。

本文章由计算机程序翻译，如有差异，请以英文原文为准。

求助全文

约1分钟内获得全文去求助

来源期刊

Научно-техническая информация. Серия 2: Информационные процессы и системы

自引率

0.00%

发文量