清华、智谱团队：探索 RLHF 的 scaling laws

本文由清华大学与智谱的研究团队对基于人类反馈的强化学习（RLHF）在大语言模型（LLM）中的扩展性能进行了全面研究。研究指出，增加训练数据的多样性和数量能显著提升奖励模型的性能，而策略训练的效率在初期增加响应样本后会迅速趋于平稳。研究还发现，RLHF的计算资源投入带来的回报递减，其扩展效率低于模型预训练阶段。研究团队提出了多任务目标训练统一模型和策略训练中的多响应采样等优化策略，并通过实验验证了这些策略的有效性。研究结果为优化RLHF在LLM中的应用提供了重要指导，同时也揭示了其在扩展性能上的潜在瓶颈。