大模型預訓練 “縮放定律” 定律失效？模型推理成 “解藥”，英偉達一家獨大格局要變天？“縮放定律” 指導下，AI 大模型預訓練目前遭遇瓶頸。據路透 12 日報道，硅谷主要 AI 實驗室的新模型訓練計劃目前普遍進展不順，新模型訓練遭遇拖延和令人失望的結果。比起 GPT-4o，Orion 被曝幾乎沒有任何改進，谷歌的 Gemini 2.0 也存在類似問題。為克服瓶頸，OpenAI 正探索 “訓練時計算”（training runs）技術，讓模型不再受限於預訓練，而能夠以多步驟方法思考問題（推理）來提升表現。報道稱，相關技術的應用最終推動 OpenAI 發佈 o1 模型。這可能會改變人工智能硬件的競爭格局。目前為止，AI 硬件市場主要由對英偉達訓練芯片的無限需求主導。但如果通過增加訓練時間和測試（推理）時間，模型就能獲得更好的結果，那新一代模型可能就不再需要那麼大的參數，較小的模型將直接降低成本。市場需求或將從大規模預訓練集羣轉向推理雲，英偉達在推理芯片市場可能會面臨更多競爭。<h2 id="0uc9iq9re">“縮放定律” 面臨挑戰</h2>硅谷主要 AI 實驗室的新模型訓練目前普遍進展不順。據科技媒體The Information 報道，OpenAI 開發的下一個旗艦模型 “Orion”，目前已經完成 20% 的訓練。儘管表現已接近現有的 GPT-4，但進步幅度卻遠不如前兩代旗艦模型之間的飛躍。Orion 在語言任務上表現更好，但在編碼等任務上可能不會優於以前的模型。且與最近發佈的其他模型相比，OpenAI 在其數據中心運行 Orion 的成本可能更高。Orion 的進展放緩直接挑戰了人工智能領域一直奉行的 “縮放定律”，即在數據量和計算資源不斷增加的前提下，模型性能將持續大幅度提升。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2024/ce6720284c34aa3b959cccf613d4e070?x-oss-process=style/lg" width="850" height="449" original-src="https://pub.pbkrs.com/uploads/2024/ce6720284c34aa3b959cccf613d4e070"/></figure>當年最早將 “縮放定律” 應用於實踐，並最終成功創造出 ChatGPT 的前 Open AI 聯合創始人 Ilya Sutskever 在接受路透採訪時直言，AI 模型擴展訓練的結果，已經趨於平穩。通過在預訓練中使用更多的數據和算力，讓 AI 模型性能暴漲的階段可能已經到頭了：<blockquote>2010 年代是 “縮放定律” 的時代，現在，我們再次回到了奇蹟和發現的時代。每個人都在尋找下一個奇蹟。現在重要的是 “擴大正確的規模”。</blockquote>Ilya 透露，他的團隊正在研究一種全新的替代方法，來擴展預訓練。<h2 id="vn32c1uur">OpenAI 則極力否認</h2>OpenAI 則極力否認 AI 模型訓練面臨瓶頸。OpenAI 著名研究科學家 Noam Brown 表示 AI 的發展短期內並不會放緩，對於對於 OpenAI CEO 山姆・奧特曼的 AGI 發展路徑已經清晰的言論（事情的發展速度將比人們現在預想的要快得多），OpenAI 的大多數研究者都表示比較認同。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2024/a9f4493095f06add7f029f862efd1430?x-oss-process=style/lg" width="885" height="595" original-src="https://pub.pbkrs.com/uploads/2024/a9f4493095f06add7f029f862efd1430"/></figure>OpenAI 的 Adam GPT 則認為，大模型的 “縮放定律” 和推理時間的優化是兩個可以互相增益的維度。也就是説就算其中一個維度放緩，也不能得出 AI 整體發展放緩的結論。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2024/770b7ba77988588cc23fea9d3eaf5944?x-oss-process=style/lg" width="876" height="797" original-src="https://pub.pbkrs.com/uploads/2024/770b7ba77988588cc23fea9d3eaf5944"/></figure>扎克伯格、奧特曼和其他 AI 開發商的首席執行官也公開表示，他們尚未達到傳統 “縮放定律” 的極限。因此，OpenAI 等公司仍在開發昂貴的、價值數十億美元的數據中心，以儘可能多地提升預訓練模型的性能。<h2 id="ap24tk0p7">“測試時計算” 會是破局方法嗎？</h2>但作為應對，OpenAI 研究人員正在已探索一項 “訓練時計算”（training runs）的技術。十幾位 AI 科學家、研究人員和投資者告訴路透社，他們認為正是這些技術，推動了 OpenAI 發佈 o1 模型。所謂測試時計算技術，是指在推理階段（模型被使用時）就將模型增強，讓模型可以實時生成和評估多種可能性，而不是理解選擇單一答案，最終選擇出最佳路徑。這種方法可以允許模型將更多的處理能力，用於數學、編碼問題等具有挑戰性的任務，及需要類人推理和決策的複雜操作。在新技術的運用下，o1 在 GPT-4 等基礎模型上進行另一套訓練。該模型不再受限於預訓練，而能夠以多步驟方法思考問題（類似於人類推理）來提升表現。o1 還涉及了來自博士和行業專家策劃的數據和反饋。參與 o1 開發的 OpenAI 研究員在上個月 TEDAI 大會上直言：<blockquote>讓 AI 在一手撲克牌中思考 20 秒，所獲得的性能提升，與將模型擴大 10 萬倍、訓練時間延長 10 萬倍的效果相同。</blockquote><h2 id="g2ob1esw">英偉達壟斷地位有望打破？</h2>其他科技巨頭也在積極跟進。路透援引多名知情人士報道稱，來自 Anthropic、xAI 和 Google DeepMind 等其他頂尖人工智能實驗室的研究人員也在開發自己的技術版本的 “training runs”。這可能會改變人工智能硬件的競爭格局。目前為止，AI 硬件市場主要由對英偉達訓練芯片的無限需求主導。但如果通過增加訓練時間和測試（推理）時間，模型就能獲得更好的結果，那新一代模型可能就不再需要那麼大的參數，較小的模型將直接降低成本。從紅杉資本到 Andreessen Horowitz 等知名風險投資公司，他們已經投入數十億美元資助 OpenAI 和 xAI 等多個人工智能實驗室昂貴的人工智能模型開發，他們正在關注這一轉變，並權衡其昂貴賭注的影響。紅杉資本合夥人 Sonya Huang 向路透社表示：<blockquote>這種轉變將使我們從大規模預訓練集羣的世界轉向推理雲，即用於推理的分佈式雲服務器。</blockquote>這或許打破英偉達在訓練芯片領域的壟斷地位，公司在推理芯片市場可能會面臨更多競爭。類似Groq的推理芯片公司或能 “撕開” 行業缺口。英偉達也坦誠推理芯片需求的變化，在上個月印度演講中，黃仁勳談到了新技術對芯片進行推理的需求不斷增加，強調了 o1 模型背後的技術的重要性：<blockquote>我們現在發現了第二條 “縮放定律”，這是推理時的 “縮放定律”……所有這些因素都導致對 Blackwell 的需求非常高。</blockquote>

英偉達

目前為止，AI 硬件市場主要由對英偉達訓練芯片的無限需求主導。但如果通過增加訓練時間和測試（推理）時間，模型就能獲得更好的結果。市場需求或將從大規模預訓練集羣轉向推理雲，英偉達在推理芯片市場可能會面臨更多競爭。

- AI 大模型預訓練面臨瓶頸，英偉達的壟斷地位可能被打破。  
- OpenAI 探索 “測試時計算” 技術，提升模型推理能力。  
- 其他科技公司也在開發類似技術，可能改變硬件競爭格局。

影響英偉達根本邏輯的大爭論：OpenAI 改變策略意味着什麼？誰在撒謊？