大模型预训练 “缩放定律” 定律失效？模型推理成 “解药”，英伟达一家独大格局要变天？“缩放定律” 指导下，AI 大模型预训练目前遭遇瓶颈。据路透 12 日报道，硅谷主要 AI 实验室的新模型训练计划目前普遍进展不顺，新模型训练遭遇拖延和令人失望的结果。比起 GPT-4o，Orion 被曝几乎没有任何改进，谷歌的 Gemini 2.0 也存在类似问题。为克服瓶颈，OpenAI 正探索 “训练时计算”（training runs）技术，让模型不再受限于预训练，而能够以多步骤方法思考问题（推理）来提升表现。报道称，相关技术的应用最终推动 OpenAI 发布 o1 模型。这可能会改变人工智能硬件的竞争格局。目前为止，AI 硬件市场主要由对英伟达训练芯片的无限需求主导。但如果通过增加训练时间和测试（推理）时间，模型就能获得更好的结果，那新一代模型可能就不再需要那么大的参数，较小的模型将直接降低成本。市场需求或将从大规模预训练集群转向推理云，英伟达在推理芯片市场可能会面临更多竞争。<h2 id="0uc9iq9re">“缩放定律” 面临挑战</h2>硅谷主要 AI 实验室的新模型训练目前普遍进展不顺。据科技媒体The Information 报道，OpenAI 开发的下一个旗舰模型 “Orion”，目前已经完成 20% 的训练。尽管表现已接近现有的 GPT-4，但进步幅度却远不如前两代旗舰模型之间的飞跃。Orion 在语言任务上表现更好，但在编码等任务上可能不会优于以前的模型。且与最近发布的其他模型相比，OpenAI 在其数据中心运行 Orion 的成本可能更高。Orion 的进展放缓直接挑战了人工智能领域一直奉行的 “缩放定律”，即在数据量和计算资源不断增加的前提下，模型性能将持续大幅度提升。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2024/ce6720284c34aa3b959cccf613d4e070?x-oss-process=style/lg" width="850" height="449" original-src="https://pub.pbkrs.com/uploads/2024/ce6720284c34aa3b959cccf613d4e070"/></figure>当年最早将 “缩放定律” 应用于实践，并最终成功创造出 ChatGPT 的前 Open AI 联合创始人 Ilya Sutskever 在接受路透采访时直言，AI 模型扩展训练的结果，已经趋于平稳。通过在预训练中使用更多的数据和算力，让 AI 模型性能暴涨的阶段可能已经到头了：<blockquote>2010 年代是 “缩放定律” 的时代，现在，我们再次回到了奇迹和发现的时代。每个人都在寻找下一个奇迹。现在重要的是 “扩大正确的规模”。</blockquote>Ilya 透露，他的团队正在研究一种全新的替代方法，来扩展预训练。<h2 id="vn32c1uur">OpenAI 则极力否认</h2>OpenAI 则极力否认 AI 模型训练面临瓶颈。OpenAI 著名研究科学家 Noam Brown 表示 AI 的发展短期内并不会放缓，对于对于 OpenAI CEO 山姆・奥特曼的 AGI 发展路径已经清晰的言论（事情的发展速度将比人们现在预想的要快得多），OpenAI 的大多数研究者都表示比较认同。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2024/a9f4493095f06add7f029f862efd1430?x-oss-process=style/lg" width="885" height="595" original-src="https://pub.pbkrs.com/uploads/2024/a9f4493095f06add7f029f862efd1430"/></figure>OpenAI 的 Adam GPT 则认为，大模型的 “缩放定律” 和推理时间的优化是两个可以互相增益的维度。也就是说就算其中一个维度放缓，也不能得出 AI 整体发展放缓的结论。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2024/770b7ba77988588cc23fea9d3eaf5944?x-oss-process=style/lg" width="876" height="797" original-src="https://pub.pbkrs.com/uploads/2024/770b7ba77988588cc23fea9d3eaf5944"/></figure>扎克伯格、奥特曼和其他 AI 开发商的首席执行官也公开表示，他们尚未达到传统 “缩放定律” 的极限。因此，OpenAI 等公司仍在开发昂贵的、价值数十亿美元的数据中心，以尽可能多地提升预训练模型的性能。<h2 id="ap24tk0p7">“测试时计算” 会是破局方法吗？</h2>但作为应对，OpenAI 研究人员正在已探索一项 “训练时计算”（training runs）的技术。十几位 AI 科学家、研究人员和投资者告诉路透社，他们认为正是这些技术，推动了 OpenAI 发布 o1 模型。所谓测试时计算技术，是指在推理阶段（模型被使用时）就将模型增强，让模型可以实时生成和评估多种可能性，而不是理解选择单一答案，最终选择出最佳路径。这种方法可以允许模型将更多的处理能力，用于数学、编码问题等具有挑战性的任务，及需要类人推理和决策的复杂操作。在新技术的运用下，o1 在 GPT-4 等基础模型上进行另一套训练。该模型不再受限于预训练，而能够以多步骤方法思考问题（类似于人类推理）来提升表现。o1 还涉及了来自博士和行业专家策划的数据和反馈。参与 o1 开发的 OpenAI 研究员在上个月 TEDAI 大会上直言：<blockquote>让 AI 在一手扑克牌中思考 20 秒，所获得的性能提升，与将模型扩大 10 万倍、训练时间延长 10 万倍的效果相同。</blockquote><h2 id="g2ob1esw">英伟达垄断地位有望打破？</h2>其他科技巨头也在积极跟进。路透援引多名知情人士报道称，来自 Anthropic、xAI 和 Google DeepMind 等其他顶尖人工智能实验室的研究人员也在开发自己的技术版本的 “training runs”。这可能会改变人工智能硬件的竞争格局。目前为止，AI 硬件市场主要由对英伟达训练芯片的无限需求主导。但如果通过增加训练时间和测试（推理）时间，模型就能获得更好的结果，那新一代模型可能就不再需要那么大的参数，较小的模型将直接降低成本。从红杉资本到 Andreessen Horowitz 等知名风险投资公司，他们已经投入数十亿美元资助 OpenAI 和 xAI 等多个人工智能实验室昂贵的人工智能模型开发，他们正在关注这一转变，并权衡其昂贵赌注的影响。红杉资本合伙人 Sonya Huang 向路透社表示：<blockquote>这种转变将使我们从大规模预训练集群的世界转向推理云，即用于推理的分布式云服务器。</blockquote>这或许打破英伟达在训练芯片领域的垄断地位，公司在推理芯片市场可能会面临更多竞争。类似Groq的推理芯片公司或能 “撕开” 行业缺口。英伟达也坦诚推理芯片需求的变化，在上个月印度演讲中，黄仁勋谈到了新技术对芯片进行推理的需求不断增加，强调了 o1 模型背后的技术的重要性：<blockquote>我们现在发现了第二条 “缩放定律”，这是推理时的 “缩放定律”……所有这些因素都导致对 Blackwell 的需求非常高。</blockquote>

英伟达

目前为止，AI 硬件市场主要由对英伟达训练芯片的无限需求主导。但如果通过增加训练时间和测试（推理）时间，模型就能获得更好的结果。市场需求或将从大规模预训练集群转向推理云，英伟达在推理芯片市场可能会面临更多竞争。

- AI 大模型预训练面临瓶颈，英伟达的垄断地位可能被打破。  
- OpenAI 探索 “测试时计算” 技术，提升模型推理能力。  
- 其他科技公司也在开发类似技术，可能改变硬件竞争格局。

影响英伟达根本逻辑的大争论：OpenAI 改变策略意味着什么？谁在撒谎？