影响英伟达根本逻辑的大争论：OpenAI 改变策略意味着什么？谁在撒谎？

目前为止，AI 硬件市场主要由对英伟达训练芯片的无限需求主导。但如果通过增加训练时间和测试（推理）时间，模型就能获得更好的结果。市场需求或将从大规模预训练集群转向推理云，英伟达在推理芯片市场可能会面临更多竞争。

大模型预训练 “缩放定律” 定律失效？模型推理成 “解药”，英伟达一家独大格局要变天？

“缩放定律” 指导下，AI 大模型预训练目前遭遇瓶颈。据路透 12 日报道，硅谷主要 AI 实验室的新模型训练计划目前普遍进展不顺，新模型训练遭遇拖延和令人失望的结果。比起 GPT-4o，Orion 被曝几乎没有任何改进，谷歌的 Gemini 2.0 也存在类似问题。

为克服瓶颈，OpenAI 正探索 “训练时计算”（training runs）技术，让模型不再受限于预训练，而能够以多步骤方法思考问题（推理）来提升表现。报道称，相关技术的应用最终推动 OpenAI 发布 o1 模型。

这可能会改变人工智能硬件的竞争格局。

目前为止，AI 硬件市场主要由对英伟达训练芯片的无限需求主导。但如果通过增加训练时间和测试（推理）时间，模型就能获得更好的结果，那新一代模型可能就不再需要那么大的参数，较小的模型将直接降低成本。市场需求或将从大规模预训练集群转向推理云，英伟达在推理芯片市场可能会面临更多竞争。

“缩放定律” 面临挑战

硅谷主要 AI 实验室的新模型训练目前普遍进展不顺。

据科技媒体The Information 报道，OpenAI 开发的下一个旗舰模型 “Orion”，目前已经完成 20% 的训练。尽管表现已接近现有的 GPT-4，但进步幅度却远不如前两代旗舰模型之间的飞跃。

Orion 在语言任务上表现更好，但在编码等任务上可能不会优于以前的模型。且与最近发布的其他模型相比，OpenAI 在其数据中心运行 Orion 的成本可能更高。

Orion 的进展放缓直接挑战了人工智能领域一直奉行的 “缩放定律”，即在数据量和计算资源不断增加的前提下，模型性能将持续大幅度提升。

当年最早将 “缩放定律” 应用于实践，并最终成功创造出 ChatGPT 的前 Open AI 联合创始人 Ilya Sutskever 在接受路透采访时直言，AI 模型扩展训练的结果，已经趋于平稳。通过在预训练中使用更多的数据和算力，让 AI 模型性能暴涨的阶段可能已经到头了：

2010 年代是 “缩放定律” 的时代，现在，我们再次回到了奇迹和发现的时代。每个人都在寻找下一个奇迹。
现在重要的是 “扩大正确的规模”。

Ilya 透露，他的团队正在研究一种全新的替代方法，来扩展预训练。

OpenAI 则极力否认 AI 模型训练面临瓶颈。

OpenAI 著名研究科学家 Noam Brown 表示 AI 的发展短期内并不会放缓，对于对于 OpenAI CEO 山姆・奥特曼的 AGI 发展路径已经清晰的言论（事情的发展速度将比人们现在预想的要快得多），OpenAI 的大多数研究者都表示比较认同。

OpenAI 的 Adam GPT 则认为，大模型的 “缩放定律” 和推理时间的优化是两个可以互相增益的维度。也就是说就算其中一个维度放缓，也不能得出 AI 整体发展放缓的结论。

扎克伯格、奥特曼和其他 AI 开发商的首席执行官也公开表示，他们尚未达到传统 “缩放定律” 的极限。因此，OpenAI 等公司仍在开发昂贵的、价值数十亿美元的数据中心，以尽可能多地提升预训练模型的性能。

但作为应对，OpenAI 研究人员正在已探索一项 “训练时计算”（training runs）的技术。十几位 AI 科学家、研究人员和投资者告诉路透社，他们认为正是这些技术，推动了 OpenAI 发布 o1 模型。

所谓测试时计算技术，是指在推理阶段（模型被使用时）就将模型增强，让模型可以实时生成和评估多种可能性，而不是理解选择单一答案，最终选择出最佳路径。

这种方法可以允许模型将更多的处理能力，用于数学、编码问题等具有挑战性的任务，及需要类人推理和决策的复杂操作。

在新技术的运用下，o1 在 GPT-4 等基础模型上进行另一套训练。该模型不再受限于预训练，而能够以多步骤方法思考问题（类似于人类推理）来提升表现。o1 还涉及了来自博士和行业专家策划的数据和反馈。

参与 o1 开发的 OpenAI 研究员在上个月 TEDAI 大会上直言：

让 AI 在一手扑克牌中思考 20 秒，所获得的性能提升，与将模型扩大 10 万倍、训练时间延长 10 万倍的效果相同。

其他科技巨头也在积极跟进。

路透援引多名知情人士报道称，来自 Anthropic、xAI 和 Google DeepMind 等其他顶尖人工智能实验室的研究人员也在开发自己的技术版本的 “training runs”。

这可能会改变人工智能硬件的竞争格局。

目前为止，AI 硬件市场主要由对英伟达训练芯片的无限需求主导。但如果通过增加训练时间和测试（推理）时间，模型就能获得更好的结果，那新一代模型可能就不再需要那么大的参数，较小的模型将直接降低成本。

从红杉资本到 Andreessen Horowitz 等知名风险投资公司，他们已经投入数十亿美元资助 OpenAI 和 xAI 等多个人工智能实验室昂贵的人工智能模型开发，他们正在关注这一转变，并权衡其昂贵赌注的影响。

红杉资本合伙人 Sonya Huang 向路透社表示：

这种转变将使我们从大规模预训练集群的世界转向推理云，即用于推理的分布式云服务器。

这或许打破英伟达在训练芯片领域的垄断地位，公司在推理芯片市场可能会面临更多竞争。类似Groq的推理芯片公司或能 “撕开” 行业缺口。

英伟达也坦诚推理芯片需求的变化，在上个月印度演讲中，黄仁勋谈到了新技术对芯片进行推理的需求不断增加，强调了 o1 模型背后的技术的重要性：

我们现在发现了第二条 “缩放定律”，这是推理时的 “缩放定律”……所有这些因素都导致对 Blackwell 的需求非常高。