考虑Shad两边信息成分的藏语句子边界消歧模型

句子边界消歧是自然语言处理的一个预处理步骤。将文本分割成句子对于深度学习和预训练语言模型至关重要。藏语标点符号可能涉及句子开头和结尾的歧义。因此，必须区分歧义标点符号，并在语言模型中正确编码句子结构。本研究提出了一种基于DL模型的组件级藏文SBD方法。该模型可以减少分词和词性标注引起的误差放大。尽管大多数SBD方法只考虑标点符号左侧的文本，但本研究考虑了两侧的文本。本研究采用465669个藏文句子，采用双向长短期记忆（Bi-LSTM）模型进行SBD。实验结果表明，Bi-LSTM模型的F1得分达到96%，是六个模型中效率最高的。在土耳其语和罗马尼亚语等低资源语言以及英语和德语等高资源语言上进行了实验，以验证模型的泛化能力。