多年来，大型科技公司的首席执行官们一直在宣传人工智能代理的愿景，这些代理能够自主使用软件应用程序为人们完成任务。但无论是 OpenAI 的 ChatGPT Agent 还是 Perplexity 的 Comet，今天的消费级人工智能代理在实际使用中都显示出技术的局限性。要使人工智能代理更强大，可能需要一套行业仍在探索的新技术。
其中一种技术是仔细模拟工作空间，让代理能够在多步骤任务上进行训练——这被称为强化学习（RL）环境。与标记数据集推动人工智能的最后一波浪潮类似，RL 环境开始看起来像是代理开发中的一个关键元素。
人工智能研究人员、创始人和投资者告诉 TechCrunch，领先的人工智能实验室现在正在要求更多的 RL 环境，而希望提供这些环境的初创公司也层出不穷。
“所有大型人工智能实验室都在内部构建 RL 环境，” 安德森·霍洛维茨的普通合伙人 Jennifer Li 在接受 TechCrunch 采访时表示。“但正如你所想象的，创建这些数据集非常复杂，因此人工智能实验室也在寻找能够创建高质量环境和评估的第三方供应商。每个人都在关注这个领域。”
对 RL 环境的推动催生了一类新兴的资金充足的初创公司，如 Mechanize 和 Prime Intellect，旨在引领这一领域。同时，大型数据标记公司如 Mercor 和 Surge 表示，他们正在加大对 RL 环境的投资，以跟上行业从静态数据集向互动模拟的转变。主要实验室也在考虑进行大量投资：根据《信息》报道，Anthropic 的领导者们讨论了在未来一年内在 RL 环境上花费超过 10 亿美元。
投资者和创始人的希望是，这些初创公司中的某一家能够成为 “环境领域的 Scale AI”，指的是推动聊天机器人时代的 290 亿美元数据标记巨头。
问题在于，RL 环境是否真的能推动人工智能进步的前沿。
Techcrunch 事件
旧金山 |2025 年 10 月 27-29 日
<h2>什么是 RL 环境？</h2>
从本质上讲，RL 环境是模拟人工智能代理在真实软件应用中所做工作的训练场。一位创始人在最近的采访中将其描述为 “像创建一个非常无聊的视频游戏”。
例如，一个环境可以模拟 Chrome 浏览器，并要求人工智能代理在亚马逊上购买一双袜子。代理的表现会被评分，并在成功时（在这种情况下，购买到合适的袜子）发送奖励信号。
虽然这样的任务听起来相对简单，但人工智能代理可能会在许多地方遇到问题。它可能在浏览网页的下拉菜单时迷失方向，或者购买了太多袜子。而且，由于开发人员无法准确预测代理会走错哪一步，因此环境本身必须足够强大，以捕捉任何意外行为，并仍然提供有用的反馈。这使得构建环境比静态数据集复杂得多。
一些环境相当复杂，允许人工智能代理使用工具、访问互联网或使用各种软件应用程序来完成特定任务。其他环境则更为狭窄，旨在帮助代理学习企业软件应用中的特定任务。
虽然 RL 环境在硅谷目前是热门话题，但使用这一技术的先例很多。OpenAI 在 2016 年的第一个项目之一就是构建 “RL Gyms”，这与现代环境的概念非常相似。同年，谷歌 DeepMind 的 AlphaGo 人工智能系统在围棋比赛中击败了世界冠军。它也在模拟环境中使用了 RL 技术。
今天的环境独特之处在于，研究人员试图构建使用大型变换器模型的计算机使用人工智能代理。与 AlphaGo 不同，后者是一个在封闭环境中工作的专用人工智能系统，今天的人工智能代理被训练得具有更通用的能力。如今的人工智能研究人员起点更高，但目标也更复杂，可能出现更多问题。
<h2>竞争激烈的领域</h2>
像 Scale AI、Surge 和 Mercor 这样的人工智能数据标记公司正在努力迎合这一时刻，并构建 RL 环境。这些公司拥有比许多初创公司更多的资源，以及与人工智能实验室的深厚关系。
Surge 首席执行官 Edwin Chen 告诉 TechCrunch，他最近看到人工智能实验室对 RL 环境的需求 “显著增加”。Surge——据报道去年与 OpenAI、谷歌、Anthropic 和 Meta 等人工智能实验室合作，产生了 12 亿美元的收入——最近成立了一个新的内部组织，专门负责构建 RL 环境。
紧随 Surge 之后的是 Mercor，这是一家估值 100 亿美元的初创公司，也与 OpenAI、Meta 和 Anthropic 合作。根据 TechCrunch 看到的市场材料，Mercor 正在向投资者推销其为特定领域任务（如编码、医疗保健和法律）构建 RL 环境的业务。
Mercor 首席执行官 Brendan Foody 在接受 TechCrunch 采访时表示，“很少有人理解 RL 环境周围的机会有多大。”
Scale AI 曾主导数据标记领域，但自从 Meta 投资 140 亿美元并挖走其首席执行官后，失去了市场份额。此后，谷歌和 OpenAI 将 Scale AI 从数据提供商名单中剔除，该初创公司甚至在 Meta 内部面临数据标记工作的竞争。但 Scale 仍在努力迎合这一时刻，并构建环境。
“这就是 Scale AI 所处行业的本质，” Scale AI 的代理和强化学习环境产品负责人 Chetan Rane 说道。“Scale 已经证明了其快速适应的能力。我们在自动驾驶汽车的早期阶段就做到了这一点，那是我们的第一个业务单元。当 ChatGPT 推出时，Scale AI 也迅速做出了调整。而现在，我们再次在代理和环境等新前沿领域进行适应。”
一些新兴公司从一开始就专注于环境。其中之一是 Mechanize，这是一家成立约六个月的初创公司，目标是 “自动化所有工作”。然而，联合创始人 Matthew Barnett 告诉 TechCrunch，他的公司从 AI 编码代理的强化学习环境开始。
Barnett 表示，Mechanize 旨在为 AI 实验室提供少量强大的强化学习环境，而不是那些创建大量简单强化学习环境的大型数据公司。到目前为止，这家初创公司为软件工程师提供 50 万美元的薪水，以构建强化学习环境——远高于在 Scale AI 或 Surge 工作的小时承包商的收入。
两位知情人士告诉 TechCrunch，Mechanize 已经在与 Anthropic 合作强化学习环境。Mechanize 和 Anthropic 均拒绝对此合作发表评论。
其他初创公司则押注于强化学习环境将在 AI 实验室之外产生影响。Prime Intellect 是一家由 AI 研究员 Andrej Karpathy、Founders Fund 和 Menlo Ventures 支持的初创公司，正针对较小的开发者提供其强化学习环境。
上个月，Prime Intellect 推出了一个强化学习环境中心，旨在成为 “强化学习环境的 Hugging Face”。这个想法是让开源开发者能够访问大型 AI 实验室所拥有的相同资源，并在此过程中向这些开发者出售计算资源的访问权限。
根据 Prime Intellect 研究员 Will Brown 的说法，在强化学习环境中训练通用代理的计算成本可能比以前的 AI 训练技术更高。除了构建强化学习环境的初创公司外，还有另一个机会给能够支持这一过程的 GPU 提供商。
“强化学习环境将太庞大，无法被任何一家公司主导，” Brown 在一次采访中说道。“我们所做的一部分就是试图围绕它构建良好的开源基础设施。我们提供的服务是计算，因此这是使用 GPU 的便捷入口，但我们更关注长期发展。”
<h2>它会扩展吗？</h2>
关于强化学习环境的一个悬而未决的问题是，这种技术是否会像以前的 AI 训练方法那样扩展。
强化学习推动了过去一年 AI 的一些重大飞跃，包括 OpenAI 的 o1 和 Anthropic 的 Claude Opus 4 等模型。这些突破尤其重要，因为以前用于改进 AI 模型的方法现在显示出收益递减。
环境是 AI 实验室对强化学习更大赌注的一部分，许多人相信，随着他们向这一过程添加更多数据和计算资源，强化学习将继续推动进步。OpenAI 的 o1 背后的研究人员曾告诉 TechCrunch，该公司最初投资于 AI 推理模型——这些模型是通过对强化学习和测试时计算的投资创建的——因为他们认为这将很好地扩展。
如何扩展强化学习仍不清楚，但环境似乎是一个有前景的竞争者。它们不仅仅是奖励聊天机器人文本响应，而是让代理在拥有工具和计算机的模拟中操作。这需要更多的资源，但潜在的回报也更高。
一些人对所有这些强化学习环境的结果持怀疑态度。前 Meta 的 AI 研究负责人 Ross Taylor 告诉 TechCrunch，强化学习环境容易受到奖励黑客攻击。这是一个过程，其中 AI 模型为了获得奖励而作弊，而并没有真正完成任务。
“我认为人们低估了扩展环境的难度，” Taylor 说道。“即使是最好的公开可用的 [强化学习环境] 通常也需要进行严重修改才能正常工作。”
OpenAI API 业务的工程主管 Sherwin Wu 在最近的一次播客中表示，他对强化学习环境初创公司持 “短期” 看法。Wu 指出，这是一个竞争非常激烈的领域，但 AI 研究发展得如此迅速，以至于很难很好地服务于 AI 实验室。
Karpathy 是 Prime Intellect 的投资者，他曾称强化学习环境为潜在的突破，但他也对强化学习领域更广泛地表示谨慎。在 X 上的一篇帖子中，他对从强化学习中能挤出多少更多的 AI 进展表示担忧。
“我对环境和代理交互持乐观态度，但对强化学习本身持悲观态度，” Karpathy 说道。
更新：本文的早期版本将 Mechanize 称为 Mechanize Work。现已更新为公司的正式名称。

硅谷越来越关注强化学习（RL）环境，以增强人工智能代理的能力。这些环境模拟现实世界的任务，使人工智能能够通过试错学习。主要的人工智能实验室正在大量投资开发这些环境，像 Mechanize 和 Prime Intellect 这样的初创公司也应运而生，以满足需求。像 Surge 和 Mercor 这样的公司也在转型，致力于创建 RL 环境，反映出从静态数据集向互动模拟的转变。RL 环境推动人工智能进步的潜力巨大，预计它们将变得与之前人工智能进展中数据标注一样重要

Silicon Valley bets big on ‘environments’ to train AI agents

- 大型科技公司正在开发强化学习环境以提升 AI 代理的能力。  
- 这些环境模拟真实软件应用中的多步骤任务，促进 AI 训练。  
- 投资者和创始人希望新兴初创公司能成为该领域的领导者。  

硅谷大举押注 “环境” 以训练人工智能代理