“OpenAI 新一代大模型 Orion 没有那么大飞跃”、“Anthropic 推迟 Claude 新模型的发布”、“谷歌即将发布的新版 Gemini 未达预期”……
近日，多家媒体接连爆料 AI 公司遭遇广泛的技术升级瓶颈，“推迟”、“质疑”、“未达预期” 这类词语频繁出现在报道中。在 AI 变得越来越触手可及的当下，这些 AI 公司似乎正在陷入升级困境。
据 BusinessInsider 11 月 27 日报道，AI 技术的进步正在放缓，大模型性能提升瓶颈、训练数据短缺、训练数据质量问题、推理能力提升遇阻等是这一领域面临的主要困境。
然而，以 OpenAI、谷歌等为主的几家头部公司却坚称，AI 并没有遇到所谓的 “壁垒” 和 “瓶颈”。他们依然对 AI 的前景感到乐观，并认为通过开发新型数据源、增加模型推理能力以及应用合成数据，AI 模型将继续保持进步。
OpenAI 的首席执行官 Sam Altman 是首批发声的人之一，本月他在社交平台上称：“根本没有瓶颈”（there is no wall）。Anthropic 和英伟达的 CEO 也表示，AI 的进步并未放缓。
<h2>AI 困境</h2>
当下，包括 Marc Andreessen 在内的一些人士质疑，AI 模型的性能提升并不显著，且趋于同质化。对于科技行业来说，这是一个价值数万亿美元的问题，因为如果现有的 AI 模型训练方法回报递减，可能会影响到新创企业、产品以及数据中心的投资热潮。
据 BusinessInsider 梳理，AI 领域广泛面临的困境包括训练数据枯竭、性能提升遇阻等问题。
在 AI 研发的早期阶段，企业可能会遭遇两个主要瓶颈：计算能力和训练数据。首先，获取专用芯片（如 GPU）的能力有限，影响大模型训练。其次，训练数据的瓶颈逐渐显现，互联网上公开可用的数据资源已经逐渐枯竭。研究机构 Epoch AI 预测，到 2028 年，能够用于训练的数据可能会耗尽。
数据质量也成为一大问题。过去研究人员可以在预训练阶段对数据质量要求不高，但现在需要更加关注数据的质量，而不仅仅是数量。
而推理能力的提升和突破被认为是 AI 发展的下一个关键方向。OpenAI 前首席科学家 Ilya Sutskever 本月对媒体表示，模型在预训练阶段的规模扩展已经达到平台期，且 “大家都在寻找下一个突破”。
与此同时，AI 的升级成本正在不断增加。随着模型规模扩大，计算和数据处理成本显著增加。据 Anthropic 的 CEO 透露，未来一次完整的训练过程可能需要高达 1000 亿美元的投资，这包括 GPU、能源和数据处理的巨大成本。
<h2>各大公司正在突破壁垒</h2>
面对质疑声，各大 AI 公司相继提出了自己的计划来应对 AI 发展的瓶颈。
当下，多家公司探索利用多模态数据和私人数据来应对公开数据不足的问题。多模态数据涉及将视觉和音频数据输入 AI 系统，而私人数据则通过与出版商达成许可协议获取。与此同时，提升数据质量也成为研究的重点，生成合成数据（由人工智能生成的数据）成为一种可能的解决方案。
此外，微软和 OpenAI 等公司正在努力赋予 AI 系统更强的推理能力，使其能够在面对复杂问题时作出更深入的分析。
<blockquote>
<ul>
<li>OpenAI：正在通过与 Vox Media 和 Stack Overflow 等组织的合作，以获取私人数据用于模型训练。此外，他们还推出了新的模型 o1，尝试通过 “思考” 来改善推理能力。</li>
<li>英伟达：正克服供应限制，确保 GPU 的供应以支持 AI 模型的训练。</li>
<li>谷歌 DeepMind：公司 AI 实验室正在调整策略，不再单纯追求模型规模的扩大，而是通过更高效的方式来专注于特定任务的专精。</li>
<li>微软：在最近的 Ignite 活动中，CEO Satya Nadella 提到，他们正在研究新的 “测试时间计算” 模式，允许模型在应对复杂问题时花费更多时间，提高推理能力。</li>
<li>Clarifai 和 Encord：正在探索多模态数据的使用，以突破公共数据瓶颈。多模态数据结合了视觉和音频信息，可为 AI 系统提供更多元化的数据源。</li>
<li>Aindo AI 和 Hugging Face：正在研究合成数据，以提高数据质量。</li>
</ul>
</blockquote>

OpenAI

商汤-WR

商汤-W

科大讯飞

媒体广泛质疑 AI 遭遇技术升级及训练数据枯竭等困境，但 Sam Altman 等科技大佬坚称，根本没有瓶颈！多家 AI 头部公司依然对行业前景感到乐观，并认为通过开发新型数据源、增加模型推理能力以及应用合成数据等方法，AI 将继续进步。

- 多家 AI 公司面临技术升级瓶颈，进展放缓。  
- 主要问题包括训练数据短缺和推理能力提升受阻。  
- 各公司正探索新数据源和提升推理能力以应对挑战。

AI 进步放缓、遭遇瓶颈？OpenAI 等头部公司：不存在！