AI 擴展法則進入第二代，當然，成本也是如此。
近期，AI 發展似乎進入了 “第二個擴展法則時代（Second era of Scaling Laws）”，一些分析師指出，改進 AI 模型的既定方法正在呈現出收益遞減的趨勢，目前，一種新的、有前景的方法是 “測試時擴展（ test-time scaling）”，這是 OpenAI 的 o3 模型採用的方法，也是 o3 表現如此出眾的原因。
需要注意的是，儘管 o3 模型讓人們重新相信 AI 擴展法則的進展，但也並非十全十美：o3 使用了前所未見的計算量，這意味着每個答案的成本更高了，也意味着 o3 無法成為人們的日常使用工具。
具體來説，“測試時擴展” 意味着 OpenAI 在 ChatGPT 的推理階段使用了更多的計算資源——在用户按下生成按鈕後到 AI 給出答案之間的那段時間，OpenAI 可能是在使用更多的計算芯片來回答用户的問題，也可能是在使用更強大的推理芯片，甚至可能是更長時間地運行這些芯片，畢竟，在某些情況下，o3 在 10 到 15 分鐘後才給出答案。
此外，Anthropic 聯合創始人 Jack Clark 和另一些分析師指出，o3 在 ARC-AGI 基準測試中的出色表現標誌着 AI 模型的進步，但是，通過這一測試並不意味着 AI 模型已經達到了通用人工智能（AGI），畢竟，o3 在一些非常簡單的任務上仍然失敗了，而這些任務人類可以輕鬆完成——顯然，o3 和 “測試時擴展” 仍未解決大語言模型的幻覺問題。
<h2>AI 在 2025 年的進步將比 2024 年更快，o3 就是證據</h2>
Clark 在週一的博客中表示，o3 模型表明，基於目前已有強大基礎模型，在推理時讓大語言模型 “測試時擴展”，能夠帶來巨大的回報。Clark 預計，接下來最有可能發生的事情是，強化學習（RL）和底層基礎模型將同時得到擴展，這將帶來更加戲劇性的性能提升。
<blockquote>
“這是一個大新聞，因為它表明，相較於 2024 年，2025 年 AI 的進展應該會進一步加速。”
</blockquote>
Clark 補充表示，最近有很多奇怪的報道，説 “擴展已經遇到瓶頸”，對此，Clark 反駁稱：
<blockquote>
“從狹義上講，這是對的，因為較大的模型在應對挑戰性基準時，獲得的得分提升比其前代模型要小，但從更廣義上講，這種説法是錯誤的，因為 o3 背後的技術意味着擴展仍在繼續……到 2025 年，我們將看到現有方法（大模型擴展）和新方法（基於 RL 的 “測試時擴展” 等）的結合。”
</blockquote>
Clark 還補充道，明年，AI 界將結合 “測試時擴展” 和傳統的預訓練擴展方法，進一步挖掘 AI 模型的潛力。
<h2>表現出眾的 o3</h2>
許多人將 OpenAI 發佈的 o3 模型視為 AI 擴展進程沒有 “夭折” 的證明——o3 在基準測試中表現出色，在一項名為 ARC-AGI 的通用能力測試中，它的得分遠遠超過所有其他模型，某次嘗試中得分甚至達到了 88%，而 o1 的最好表現僅為 32%。並且，o3 在一項困難的數學測試中達到了 25% 的得分，沒有任何其他 AI 模型的得分超過 2%。
<img class=" wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/f7772306-acdf-4dfb-af85-f2df3852bc13.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="677" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/f7772306-acdf-4dfb-af85-f2df3852bc13.png"/>
o 系列模型的共同創造者 Noam Brown 在上週五表示，OpenAI 在宣佈 o1 模型後的僅僅三個月就發佈了 o3 模型，AI 性能的進步速度令人印象深刻：
<blockquote>
“我們有充分的理由相信，這一發展軌跡將繼續下去。”
</blockquote>
<img class=" wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/98fee36b-31e7-4c14-b004-4833611ab4ad.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="818" height="893" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/98fee36b-31e7-4c14-b004-4833611ab4ad.png"/>
<h2>價格昂貴的 o3</h2>
儘管 o3 模型讓人們重新相信 AI 擴展法則的進展，但也並非十全十美：o3 使用了前所未見的計算量，這意味着每個答案的成本更高了。
Clark 在博客中寫道：
<blockquote>
“或許唯一需要注意的點是，o3 之所以表現得更好，部分原因在於它在推理時的運行成本更高——能夠利用 “測試時擴展” 意味着在某些問題上，你可以通過增加計算資源得到更好的答案。這很有意思，因為它使得運行 AI 系統的成本變得更加難以預測——之前，你只需通過查看模型本身以及生成某個輸出的成本，就能估算出運行生成模型的費用。”
</blockquote>
再一次回到這張圖，除了 o3 在縱座標上獲得的極高得分，o3 在橫座標上也一騎絕塵——o3 的高得分版本在每個任務上使用了超過 1000 美元的計算資源，而 o1 在每個任務上僅僅使用了約 5 美元的計算資源，o1-mini 在每個任務上只用了幾美分。
<img class=" wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/f7772306-acdf-4dfb-af85-f2df3852bc13.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="677" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/f7772306-acdf-4dfb-af85-f2df3852bc13.png"/>
ARC-AGI 基準測試的創造者 Francois Chollet 在博客中寫道：
<blockquote>
“OpenAI 為了生成 88% 的得分，使用了比 o3 高效版本多出約 170 倍的計算資源，而高效版本的得分僅比高得分版本低 12%。”
</blockquote>
Chollet 繼續補充道：
<blockquote>
“o3 是一個能夠適應之前從未遇到的任務的系統，可以説在 ARC-AGI 領域的表現已經接近了人類的水平，當然，這種通用性的代價很高，且目前還不具備經濟效益。”
</blockquote>
不過，現在討論具體定價還為時尚早了，畢竟，AI 模型的價格在過去一年中大幅下跌，OpenAI 也尚未宣佈 o3 的實際費用。更值得探究的是，o3 高昂計算價格顯示出，突破當前領先 AI 模型的性能門檻，到底需要多大的計算量。
<h2>仍有侷限的 o3</h2>
雖然 o3 在各類測試中表現出色，但它確實不是十全十美的。
分析師指出，o3 或其後繼模型不會成為像 GPT-4 或谷歌搜索這樣的 “日常使用工具”，因為這些模型使用了過多的計算資源，無法回答日常的小問題，比如 “克里夫蘭布朗隊怎麼才能有機會進入 2024 年季後賽”。
是的，使用了 “擴展測試時計算” 的 AI 模型可能僅適用於更宏觀的問題，比如 “克里夫蘭布朗隊如何在 2027 年成為超級碗冠軍隊”。但是，只有當你是克里夫蘭布朗隊的總經理時，使用這些工具來做出重大決策，可能才值得你付出如此高昂的計算成本。
正如沃頓商學院教授 Ethan Mollick 在指出的那樣，只有財力雄厚的機構才有可能負擔得起 o3，至少在初期是這樣。
目前，OpenAI 發佈了一個 200 美元的訂閲層級，供用户使用高計算版本的 o1，但根據報道，OpenAI 最近還在考慮推出價格為 2000 美元的訂閲層級——看到 o3 使用的計算資源後，可以理解為什麼 OpenAI 會如此考慮了。
此外，雖然 o3 在 ARC-AGI 基準測試中的出色表現標誌着 AI 模型的進步，但是，通過這一測試並不意味着 AI 模型已經達到了通用人工智能（AGI），畢竟，o3 在一些非常簡單的任務上仍然失敗了，而這些任務人類可以輕鬆完成——顯然，o3 和 “測試時擴展” 仍未解決大語言模型的幻覺問題。

OpenAI

Anthropic 聯合創始人 Jack Clark 認為明年，AI 界將結合 “測試時擴展” 和傳統的預訓練擴展方法，進一步挖掘 AI 模型的潛力。不過，雖然 o3 模型讓人們重新相信 AI 擴展法則的進展，但是，o3 使用了前所未見的計算量，這意味着每個答案的成本更高了，也意味着 o3 可能無法成為人們的日常使用工具。

o3 意味着什麼？2025 年” 縮放定律 “繼續，成本更貴也更不可控