OpenAI大改下代大模型方向，scaling law撞墙？AI社区炸锅了

学术头条 2024-11-11 20:40

文章摘要

OpenAI 面临大模型 scaling laws 的挑战，预计到 2028 年现有数据将被耗尽，导致模型发展可能放缓。The Information 报道指出，OpenAI 下一代模型 Orion 的质量提升不及预期，引发行业对 scaling laws 的争议。OpenAI 研究者 Noam Brown 反驳了 AI 发展放缓的观点，认为 scaling laws 和推理时间优化可以相互增益。OpenAI 正在探索新的技术来应对数据匮乏，包括使用 AI 生成的数据进行训练，并开发新的推理模型以提升性能。

阅读全文

本站注明稿件来源为其他媒体的文/图等稿件均为转载稿，本站转载出于非商业性的教育和科研之目的，并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题，请作者速来电或来函联系。

最新文章

OpenAI首位投资者《时代》刊文：AI将重新定义「人类的意义」

Vinod Khosla本文授权转载自：背个毛豆作为 OpenAI 的首位投资者，硅谷著名投资人和企业家、风投公司 Khosla Ventures 创始人 Vinod Khosla，曾直言不讳地支持

2024-11-13

终于，AlphaFold3 开源了！代码免费下载，可用于非商业用途

终于，Google DeepMind 把 AlphaFold3 开源了！开源不久便已经斩获 1.7k star。至此，科学家们可以下载 AlphaFold3 代码，并将这一 AI 蛋白质预测工具用于非

2024-11-12

OpenAI大改下代大模型方向，scaling law撞墙？AI社区炸锅了

内容来自：机器之心编辑：Panda、泽南大模型的 scaling law 到头了？行业龙头 OpenAI 在转换策略。有研究预计，如果 LLM 保持现在的发展势头，预计在 2028 年左右，已有的数据

2024-11-11

清华、国科大、智谱团队提出LongReward：利用AI反馈改进长文本大语言模型

长文本（Long-context）大模型性能的优劣，在很大程度上取决于其能否全面理解长上下文场景下的复杂信息。然而，现有的合成有监督微调（SFT）数据由于缺少人类核验，往往会影响长文本大模型的性能，导

2024-11-11