基于预训练语言模型的股市变动预测的分析

Abstract

预测股市变动是很困难的，而通过与股市息息相关的金融新闻来预测股市变动被认为是一种有效途径的同时也被认为是极具挑战性的自然语言处理任务。在股市预测任务中，新闻语料往往具有特征少噪声多的特征，用于分析这些语料的自然语言处理模型通常要具有很强的特征抽取能力的同时还能够处理超长文本。现有主流的自然语言处理模式普遍基于预训练语言模型，但预训练语言模型并不善于处理超长文本处理问题。在处理超长文本的新闻语料分析任务中，拥有更强特征抽取能力的预训练语言模型是否仍旧能够优于传统的不受文本长度限制的统计模型？本文通过搭建几种常见的文本处理模式进行实验对比，并提出了用于改善预训练语言模型的超长文本处理问题的文本提取算法。经过实验，现有的预训练语言模型相对于传统的统计模型，在处理超长文本的新闻语料预测股价变动的任务上并没有显著的优势，而本文提出的文本平均提取算法则能够提高预训练语言模型约 3%的准确度。