清华、国科大、智谱团队提出LongReward：利用AI反馈改进长文本大语言模型

清华、国科大、智谱团队提出了一种名为LongReward的新方法，旨在利用现有的大语言模型（LLM）从四个关键维度（帮助性、逻辑性、忠实性和完整性）为长文本模型的回复提供奖励，并通过强化学习进一步提升模型的性能。该方法解决了现有合成有监督微调（SFT）数据缺少人类核验的问题，显著提高了模型的长文本性能和遵循简短指令的能力。实验结果显示，LongReward在长文本任务上的性能比SFT模型提高了4.9%至5.5%，且与人类偏好有良好的一致性。此外，LongReward还可以与标准的短文本DPO结合，共同提升长文本和短文本性能。然而，该方法依赖于高精度LLM模型，且在计算资源和数据场景上存在一定局限性，未来研究可以探索更小规模的长文本奖励模型和更广泛的应用场景。