微软提出新型注意力机制SeerAttention；清华、智谱团队提出“预训练蒸馏”｜大模型日报

清华大学和智谱团队提出了一种新的预训练蒸馏（PD）方法，将知识提炼扩展到大型语言模型（LLM）的预训练阶段，使用GLM-4-9B作为教师模型，对1.9B参数的学生模型进行实验，验证了PD的有效性。Hugging Face团队推出了开源、无代码工具/库AutoTrain，支持多种任务的模型训练和微调。卡内基梅隆大学团队推出了多语言多模态大语言模型Pangea，涵盖39种语言，通过PangeaIns数据集训练，表现优于现有开源模型。