影響英偉達根本邏輯的大爭論：OpenAI 改變策略意味着什麼？誰在撒謊？

目前為止，AI 硬件市場主要由對英偉達訓練芯片的無限需求主導。但如果通過增加訓練時間和測試（推理）時間，模型就能獲得更好的結果。市場需求或將從大規模預訓練集羣轉向推理雲，英偉達在推理芯片市場可能會面臨更多競爭。

大模型預訓練 “縮放定律” 定律失效？模型推理成 “解藥”，英偉達一家獨大格局要變天？

“縮放定律” 指導下，AI 大模型預訓練目前遭遇瓶頸。據路透 12 日報道，硅谷主要 AI 實驗室的新模型訓練計劃目前普遍進展不順，新模型訓練遭遇拖延和令人失望的結果。比起 GPT-4o，Orion 被曝幾乎沒有任何改進，谷歌的 Gemini 2.0 也存在類似問題。

為克服瓶頸，OpenAI 正探索 “訓練時計算”（training runs）技術，讓模型不再受限於預訓練，而能夠以多步驟方法思考問題（推理）來提升表現。報道稱，相關技術的應用最終推動 OpenAI 發佈 o1 模型。

這可能會改變人工智能硬件的競爭格局。

目前為止，AI 硬件市場主要由對英偉達訓練芯片的無限需求主導。但如果通過增加訓練時間和測試（推理）時間，模型就能獲得更好的結果，那新一代模型可能就不再需要那麼大的參數，較小的模型將直接降低成本。市場需求或將從大規模預訓練集羣轉向推理雲，英偉達在推理芯片市場可能會面臨更多競爭。

“縮放定律” 面臨挑戰

硅谷主要 AI 實驗室的新模型訓練目前普遍進展不順。

據科技媒體The Information 報道，OpenAI 開發的下一個旗艦模型 “Orion”，目前已經完成 20% 的訓練。儘管表現已接近現有的 GPT-4，但進步幅度卻遠不如前兩代旗艦模型之間的飛躍。

Orion 在語言任務上表現更好，但在編碼等任務上可能不會優於以前的模型。且與最近發佈的其他模型相比，OpenAI 在其數據中心運行 Orion 的成本可能更高。

Orion 的進展放緩直接挑戰了人工智能領域一直奉行的 “縮放定律”，即在數據量和計算資源不斷增加的前提下，模型性能將持續大幅度提升。

當年最早將 “縮放定律” 應用於實踐，並最終成功創造出 ChatGPT 的前 Open AI 聯合創始人 Ilya Sutskever 在接受路透採訪時直言，AI 模型擴展訓練的結果，已經趨於平穩。通過在預訓練中使用更多的數據和算力，讓 AI 模型性能暴漲的階段可能已經到頭了：

2010 年代是 “縮放定律” 的時代，現在，我們再次回到了奇蹟和發現的時代。每個人都在尋找下一個奇蹟。
現在重要的是 “擴大正確的規模”。

Ilya 透露，他的團隊正在研究一種全新的替代方法，來擴展預訓練。

OpenAI 則極力否認 AI 模型訓練面臨瓶頸。

OpenAI 著名研究科學家 Noam Brown 表示 AI 的發展短期內並不會放緩，對於對於 OpenAI CEO 山姆・奧特曼的 AGI 發展路徑已經清晰的言論（事情的發展速度將比人們現在預想的要快得多），OpenAI 的大多數研究者都表示比較認同。

OpenAI 的 Adam GPT 則認為，大模型的 “縮放定律” 和推理時間的優化是兩個可以互相增益的維度。也就是説就算其中一個維度放緩，也不能得出 AI 整體發展放緩的結論。

扎克伯格、奧特曼和其他 AI 開發商的首席執行官也公開表示，他們尚未達到傳統 “縮放定律” 的極限。因此，OpenAI 等公司仍在開發昂貴的、價值數十億美元的數據中心，以儘可能多地提升預訓練模型的性能。

但作為應對，OpenAI 研究人員正在已探索一項 “訓練時計算”（training runs）的技術。十幾位 AI 科學家、研究人員和投資者告訴路透社，他們認為正是這些技術，推動了 OpenAI 發佈 o1 模型。

所謂測試時計算技術，是指在推理階段（模型被使用時）就將模型增強，讓模型可以實時生成和評估多種可能性，而不是理解選擇單一答案，最終選擇出最佳路徑。

這種方法可以允許模型將更多的處理能力，用於數學、編碼問題等具有挑戰性的任務，及需要類人推理和決策的複雜操作。

在新技術的運用下，o1 在 GPT-4 等基礎模型上進行另一套訓練。該模型不再受限於預訓練，而能夠以多步驟方法思考問題（類似於人類推理）來提升表現。o1 還涉及了來自博士和行業專家策劃的數據和反饋。

參與 o1 開發的 OpenAI 研究員在上個月 TEDAI 大會上直言：

讓 AI 在一手撲克牌中思考 20 秒，所獲得的性能提升，與將模型擴大 10 萬倍、訓練時間延長 10 萬倍的效果相同。

其他科技巨頭也在積極跟進。

路透援引多名知情人士報道稱，來自 Anthropic、xAI 和 Google DeepMind 等其他頂尖人工智能實驗室的研究人員也在開發自己的技術版本的 “training runs”。

這可能會改變人工智能硬件的競爭格局。

目前為止，AI 硬件市場主要由對英偉達訓練芯片的無限需求主導。但如果通過增加訓練時間和測試（推理）時間，模型就能獲得更好的結果，那新一代模型可能就不再需要那麼大的參數，較小的模型將直接降低成本。

從紅杉資本到 Andreessen Horowitz 等知名風險投資公司，他們已經投入數十億美元資助 OpenAI 和 xAI 等多個人工智能實驗室昂貴的人工智能模型開發，他們正在關注這一轉變，並權衡其昂貴賭注的影響。

紅杉資本合夥人 Sonya Huang 向路透社表示：

這種轉變將使我們從大規模預訓練集羣的世界轉向推理雲，即用於推理的分佈式雲服務器。

這或許打破英偉達在訓練芯片領域的壟斷地位，公司在推理芯片市場可能會面臨更多競爭。類似Groq的推理芯片公司或能 “撕開” 行業缺口。

英偉達也坦誠推理芯片需求的變化，在上個月印度演講中，黃仁勳談到了新技術對芯片進行推理的需求不斷增加，強調了 o1 模型背後的技術的重要性：

我們現在發現了第二條 “縮放定律”，這是推理時的 “縮放定律”……所有這些因素都導致對 Blackwell 的需求非常高。