多年來，大型科技公司的首席執行官們一直在宣傳人工智能代理的願景，這些代理能夠自主使用軟件應用程序為人們完成任務。但無論是 OpenAI 的 ChatGPT Agent 還是 Perplexity 的 Comet，今天的消費級人工智能代理在實際使用中都顯示出技術的侷限性。要使人工智能代理更強大，可能需要一套行業仍在探索的新技術。
其中一種技術是仔細模擬工作空間，讓代理能夠在多步驟任務上進行訓練——這被稱為強化學習（RL）環境。與標記數據集推動人工智能的最後一波浪潮類似，RL 環境開始看起來像是代理開發中的一個關鍵元素。
人工智能研究人員、創始人和投資者告訴 TechCrunch，領先的人工智能實驗室現在正在要求更多的 RL 環境，而希望提供這些環境的初創公司也層出不窮。
“所有大型人工智能實驗室都在內部構建 RL 環境，” 安德森·霍洛維茨的普通合夥人 Jennifer Li 在接受 TechCrunch 採訪時表示。“但正如你所想象的，創建這些數據集非常複雜，因此人工智能實驗室也在尋找能夠創建高質量環境和評估的第三方供應商。每個人都在關注這個領域。”
對 RL 環境的推動催生了一類新興的資金充足的初創公司，如 Mechanize 和 Prime Intellect，旨在引領這一領域。同時，大型數據標記公司如 Mercor 和 Surge 表示，他們正在加大對 RL 環境的投資，以跟上行業從靜態數據集向互動模擬的轉變。主要實驗室也在考慮進行大量投資：根據《信息》報道，Anthropic 的領導者們討論了在未來一年內在 RL 環境上花費超過 10 億美元。
投資者和創始人的希望是，這些初創公司中的某一家能夠成為 “環境領域的 Scale AI”，指的是推動聊天機器人時代的 290 億美元數據標記巨頭。
問題在於，RL 環境是否真的能推動人工智能進步的前沿。
Techcrunch 事件
舊金山 |2025 年 10 月 27-29 日
<h2>什麼是 RL 環境？</h2>
從本質上講，RL 環境是模擬人工智能代理在真實軟件應用中所做工作的訓練場。一位創始人在最近的採訪中將其描述為 “像創建一個非常無聊的視頻遊戲”。
例如，一個環境可以模擬 Chrome 瀏覽器，並要求人工智能代理在亞馬遜上購買一雙襪子。代理的表現會被評分，並在成功時（在這種情況下，購買到合適的襪子）發送獎勵信號。
雖然這樣的任務聽起來相對簡單，但人工智能代理可能會在許多地方遇到問題。它可能在瀏覽網頁的下拉菜單時迷失方向，或者購買了太多襪子。而且，由於開發人員無法準確預測代理會走錯哪一步，因此環境本身必須足夠強大，以捕捉任何意外行為，並仍然提供有用的反饋。這使得構建環境比靜態數據集複雜得多。
一些環境相當複雜，允許人工智能代理使用工具、訪問互聯網或使用各種軟件應用程序來完成特定任務。其他環境則更為狹窄，旨在幫助代理學習企業軟件應用中的特定任務。
雖然 RL 環境在硅谷目前是熱門話題，但使用這一技術的先例很多。OpenAI 在 2016 年的第一個項目之一就是構建 “RL Gyms”，這與現代環境的概念非常相似。同年，谷歌 DeepMind 的 AlphaGo 人工智能系統在圍棋比賽中擊敗了世界冠軍。它也在模擬環境中使用了 RL 技術。
今天的環境獨特之處在於，研究人員試圖構建使用大型變換器模型的計算機使用人工智能代理。與 AlphaGo 不同，後者是一個在封閉環境中工作的專用人工智能系統，今天的人工智能代理被訓練得具有更通用的能力。如今的人工智能研究人員起點更高，但目標也更復雜，可能出現更多問題。
<h2>競爭激烈的領域</h2>
像 Scale AI、Surge 和 Mercor 這樣的人工智能數據標記公司正在努力迎合這一時刻，並構建 RL 環境。這些公司擁有比許多初創公司更多的資源，以及與人工智能實驗室的深厚關係。
Surge 首席執行官 Edwin Chen 告訴 TechCrunch，他最近看到人工智能實驗室對 RL 環境的需求 “顯著增加”。Surge——據報道去年與 OpenAI、谷歌、Anthropic 和 Meta 等人工智能實驗室合作，產生了 12 億美元的收入——最近成立了一個新的內部組織，專門負責構建 RL 環境。
緊隨 Surge 之後的是 Mercor，這是一家估值 100 億美元的初創公司，也與 OpenAI、Meta 和 Anthropic 合作。根據 TechCrunch 看到的市場材料，Mercor 正在向投資者推銷其為特定領域任務（如編碼、醫療保健和法律）構建 RL 環境的業務。
Mercor 首席執行官 Brendan Foody 在接受 TechCrunch 採訪時表示，“很少有人理解 RL 環境周圍的機會有多大。”
Scale AI 曾主導數據標記領域，但自從 Meta 投資 140 億美元並挖走其首席執行官後，失去了市場份額。此後，谷歌和 OpenAI 將 Scale AI 從數據提供商名單中剔除，該初創公司甚至在 Meta 內部面臨數據標記工作的競爭。但 Scale 仍在努力迎合這一時刻，並構建環境。
“這就是 Scale AI 所處行業的本質，” Scale AI 的代理和強化學習環境產品負責人 Chetan Rane 説道。“Scale 已經證明了其快速適應的能力。我們在自動駕駛汽車的早期階段就做到了這一點，那是我們的第一個業務單元。當 ChatGPT 推出時，Scale AI 也迅速做出了調整。而現在，我們再次在代理和環境等新前沿領域進行適應。”
一些新興公司從一開始就專注於環境。其中之一是 Mechanize，這是一家成立約六個月的初創公司，目標是 “自動化所有工作”。然而，聯合創始人 Matthew Barnett 告訴 TechCrunch，他的公司從 AI 編碼代理的強化學習環境開始。
Barnett 表示，Mechanize 旨在為 AI 實驗室提供少量強大的強化學習環境，而不是那些創建大量簡單強化學習環境的大型數據公司。到目前為止，這家初創公司為軟件工程師提供 50 萬美元的薪水，以構建強化學習環境——遠高於在 Scale AI 或 Surge 工作的小時承包商的收入。
兩位知情人士告訴 TechCrunch，Mechanize 已經在與 Anthropic 合作強化學習環境。Mechanize 和 Anthropic 均拒絕對此合作發表評論。
其他初創公司則押注於強化學習環境將在 AI 實驗室之外產生影響。Prime Intellect 是一家由 AI 研究員 Andrej Karpathy、Founders Fund 和 Menlo Ventures 支持的初創公司，正針對較小的開發者提供其強化學習環境。
上個月，Prime Intellect 推出了一個強化學習環境中心，旨在成為 “強化學習環境的 Hugging Face”。這個想法是讓開源開發者能夠訪問大型 AI 實驗室所擁有的相同資源，並在此過程中向這些開發者出售計算資源的訪問權限。
根據 Prime Intellect 研究員 Will Brown 的説法，在強化學習環境中訓練通用代理的計算成本可能比以前的 AI 訓練技術更高。除了構建強化學習環境的初創公司外，還有另一個機會給能夠支持這一過程的 GPU 提供商。
“強化學習環境將太龐大，無法被任何一家公司主導，” Brown 在一次採訪中説道。“我們所做的一部分就是試圖圍繞它構建良好的開源基礎設施。我們提供的服務是計算，因此這是使用 GPU 的便捷入口，但我們更關注長期發展。”
<h2>它會擴展嗎？</h2>
關於強化學習環境的一個懸而未決的問題是，這種技術是否會像以前的 AI 訓練方法那樣擴展。
強化學習推動了過去一年 AI 的一些重大飛躍，包括 OpenAI 的 o1 和 Anthropic 的 Claude Opus 4 等模型。這些突破尤其重要，因為以前用於改進 AI 模型的方法現在顯示出收益遞減。
環境是 AI 實驗室對強化學習更大賭注的一部分，許多人相信，隨着他們向這一過程添加更多數據和計算資源，強化學習將繼續推動進步。OpenAI 的 o1 背後的研究人員曾告訴 TechCrunch，該公司最初投資於 AI 推理模型——這些模型是通過對強化學習和測試時計算的投資創建的——因為他們認為這將很好地擴展。
如何擴展強化學習仍不清楚，但環境似乎是一個有前景的競爭者。它們不僅僅是獎勵聊天機器人文本響應，而是讓代理在擁有工具和計算機的模擬中操作。這需要更多的資源，但潛在的回報也更高。
一些人對所有這些強化學習環境的結果持懷疑態度。前 Meta 的 AI 研究負責人 Ross Taylor 告訴 TechCrunch，強化學習環境容易受到獎勵黑客攻擊。這是一個過程，其中 AI 模型為了獲得獎勵而作弊，而並沒有真正完成任務。
“我認為人們低估了擴展環境的難度，” Taylor 説道。“即使是最好的公開可用的 [強化學習環境] 通常也需要進行嚴重修改才能正常工作。”
OpenAI API 業務的工程主管 Sherwin Wu 在最近的一次播客中表示，他對強化學習環境初創公司持 “短期” 看法。Wu 指出，這是一個競爭非常激烈的領域，但 AI 研究發展得如此迅速，以至於很難很好地服務於 AI 實驗室。
Karpathy 是 Prime Intellect 的投資者，他曾稱強化學習環境為潛在的突破，但他也對強化學習領域更廣泛地表示謹慎。在 X 上的一篇帖子中，他對從強化學習中能擠出多少更多的 AI 進展表示擔憂。
“我對環境和代理交互持樂觀態度，但對強化學習本身持悲觀態度，” Karpathy 説道。
更新：本文的早期版本將 Mechanize 稱為 Mechanize Work。現已更新為公司的正式名稱。

硅谷越來越關注強化學習（RL）環境，以增強人工智能代理的能力。這些環境模擬現實世界的任務，使人工智能能夠通過試錯學習。主要的人工智能實驗室正在大量投資開發這些環境，像 Mechanize 和 Prime Intellect 這樣的初創公司也應運而生，以滿足需求。像 Surge 和 Mercor 這樣的公司也在轉型，致力於創建 RL 環境，反映出從靜態數據集向互動模擬的轉變。RL 環境推動人工智能進步的潛力巨大，預計它們將變得與之前人工智能進展中數據標註一樣重要

Silicon Valley bets big on ‘environments’ to train AI agents

- 大型科技公司正在開發強化學習環境以提升 AI 代理的能力。  
- 這些環境模擬真實軟件應用中的多步驟任務，促進 AI 訓練。  
- 投資者和創始人希望新興初創公司能成為該領域的領導者。  

硅谷大舉押注 “環境” 以訓練人工智能代理