Meta深夜开源Llama 4！首次采用MoE，惊人千万token上下文，竞技场超越DeepSeek

Meta最新发布的Llama 4系列模型，包括Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth，采用了混合专家(MoE)架构和多模态设计，显著提升了模型的性能和效率。这些模型在预训练和后训练阶段采用了多种创新技术，如MetaP超参数设置、FP8精度训练和中期训练等，以支持更长的上下文长度和更强的视觉理解能力。Llama 4 Maverick在大模型竞技场中表现优异，超越了GPT-4o和Gemini 2.0，并在编码和推理任务中与DeepSeek v3.1竞争。Llama 4 Scout则提供了业界领先的1000万token上下文窗口，适用于多文档摘要和个性化任务。Llama 4 Behemoth作为教师模型，拥有2880亿激活参数，在数学和多语言基准测试中表现出色。Meta的开源策略和模型的高效部署能力进一步推动了AI社区的发展。