清华、智谱团队：「6000亿合成交错语音文本」预训练，问答性能提升近3倍

清华大学和智谱的研究团队提出了一种新方法，通过利用从文本语料库中提取的大规模合成交错数据来扩展语音-文本预训练，从而消除了对并行语音-文本数据集的需求。该方法通过从现有文本库中抽取文本片段，并使用 text-to-token 模型合成相应的语音片段，高效地构建语音-文本交错数据。研究团队通过两阶段训练，使用合成语音-文本交错数据和语音对话数据集微调预训练模型，显著提升了语音语言建模和口语问题解答的性能，将语音问答任务的准确率从之前的 13% 提高到 31%。此外，他们还开发了一种端到端语音聊天机器人，在对话能力和语音质量方面达到了与现有基线相当的性能。