作者：卜淑情
來源：硬 AI
一覺醒來，大模型世界迎來了 “新王登基”！
當地時間週三，聊天機器人競技場 Chatbot Arena 更新對戰排行榜，Claude 3 反超 GPT-4，一舉摘得 “最強王者” 桂冠。
這次登頂榜首的是 Claude 3 系列的超大杯 Opus，它以 2 分 Elo 的微弱優勢，險勝 GPT-4-1106-preview 模型，GPT-4-0125-preview 位列第三。<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/29c4f293-19c7-42c5-9af3-d1f47a10daef.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="830" height="311" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/29c4f293-19c7-42c5-9af3-d1f47a10daef.png"/>
而且，不僅僅是超大杯 Opus，Claude 3 家族其他兩個成員大杯 Sonnet 和小杯 Haiku 都殺進了 TOP10，分別獲得了第四和第六的好成績。
<h2>小杯 Haiku 達到 GPT-4 級別</h2>
尤其是小杯 Haiku，被官方單獨拉出來表揚。
“Haiku 給所有人留下了深刻的印象，根據我們的用户偏好，Claude 3 Haiku 已經達到了 GPT-4 級別！” 運行 Chatbot Arena 的 LMSYS 平台發帖大讚，“它的速度、功能和上下文長度目前在市場上是獨一份的。”
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/1a68e60a-1232-4de2-aadc-56661c199a53.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="831" height="418" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/1a68e60a-1232-4de2-aadc-56661c199a53.png"/>
更難等可貴的是，Haiku 參數規模遠遠小於 Opus 以及任何的 GPT-4 模型，而且它的價格是 Opus 的 1/60，響應速度卻是它的 10 倍。
GPT-4 自去年 5 月被納入 Chatbot Arena 榜單以來一直牢牢霸佔榜首，但現在，Claude 3 憑藉其出色表現，尤其是其在高級任務處理上的能力，成功顛覆了這一格局。
“這是史上第一次，面向高級任務的第一模型 Opus 和麪向成本效率的 Haiku 均出自非 OpenAI 的供應商，” 獨立 AI 研究員 Simon Willison 在接受媒體採訪時表示，“這非常讓人欣慰——在這個領域，頂尖供應商的多樣性對大家都有好處。”
<h2>“向新國王下跪！”</h2>
吃瓜網友也紛紛對 Claude 3 豎起大拇指。
“印象深刻，Very nice!”
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/7462ce86-f9e9-475a-aa9e-330141e7733d.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="830" height="542" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/7462ce86-f9e9-475a-aa9e-330141e7733d.png"/>
還有人建議蘋果將 Claude 設置為默認 AI 工具。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/c1b52a6a-05e3-481a-9274-c40219ed58f2.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="830" height="145" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/c1b52a6a-05e3-481a-9274-c40219ed58f2.png"/>
更有人直呼：“舊王已死。安息吧，GPT-4。”
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/afa85255-f23b-4b8c-b2a4-5f39e321a1b9.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="831" height="331" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/afa85255-f23b-4b8c-b2a4-5f39e321a1b9.png"/>
“向新國王下跪！”
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/af73257f-a84e-4773-bbf1-ae7a6315eef0.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="830" height="144" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/af73257f-a84e-4773-bbf1-ae7a6315eef0.png"/>
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/16216f90-db46-4065-8e6c-ea4efd563fa9.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="830" height="876" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/16216f90-db46-4065-8e6c-ea4efd563fa9.png"/>
相比之下，網友對 GPT-4 的感情更加複雜。
“GPT-4 變得非常蹩腳。”
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/ca320f9c-5e7a-451f-8250-79c5193b6617.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="830" height="139" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/ca320f9c-5e7a-451f-8250-79c5193b6617.png"/>
最近幾個月，有關 GPT-4 變懶的話題在網上鬧得沸沸洋洋。
據稱，GPT 在高峰時段使用時，響應會變得非常緩慢且敷衍，甚至還會拒絕回應，單方面中斷對話。
比如，它在進行編程工作時會習慣性地跳過部分代碼，還出現了讓人類自己寫代碼的名場面。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/de4578d6-0026-4495-9855-07ce42edda0f.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="843" height="252" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/de4578d6-0026-4495-9855-07ce42edda0f.png"/>
<h2>評分準確嗎？</h2>
在一陣讚揚 Claude 3 的聲音中，也夾雜着質疑的聲音。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/77968eac-0c79-4dc5-b8e2-696043bf4f84.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="830" height="160" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/77968eac-0c79-4dc5-b8e2-696043bf4f84.png"/>
那麼，Chatbot Arena 究竟是如何給這些大模型打分的？
Chatbot Arena 由伯克利大學主導團隊的 LMSYS 開發。平台採用匿名、隨機的方式讓不同的大模型 “打擂台”，並讓人類用户擔任裁判，最後根據大模型所得的積分進行排名。
具體來説，系統每次會隨機選擇兩個不同的大模型和用户匿名聊天，讓用户決定哪款大模型的表現更好一些，系統會根據用户的選擇對大模型進行打分，然後將分數匯總整理形成最終的積分，最後以排行榜的形式呈現。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/99622a66-a1d3-4458-9d66-dc04ae0e7b94.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="699" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/99622a66-a1d3-4458-9d66-dc04ae0e7b94.jpeg"/>
自推出以來，已有超過 40 萬名用户成為 Chatbot Arena 的裁判。新一輪排名又吸引了 7 萬名用户加入。
在本次激烈的 “擂台賽” 中，Claude 3 通過成千上萬次的對戰，在 GPT-4、Gemini 等一眾強勁對手中殺出重圍，成為新的大模型之王。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d08f1268-8e22-483a-9a44-1597ade79bae.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="1025" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d08f1268-8e22-483a-9a44-1597ade79bae.jpeg"/>
值得一提的是，在評價一個大模型的好壞時，用户的 “感覺” 也就是體驗感至關重要。
“所謂的參數標準無法真正評價大模型的價值，” AI 軟件開發者 Anton Bacaj 此前發貼説，“我剛和 Claude 3 Opus 進行了一場長時間的編碼會話，真的是遠超 GPT-4。”
Claude 3 的進化可能會令 OpenAI 感到一絲不安，一些用户已經開始在工作中 “叛變”，放棄 ChatGPT，轉而使用 Claude 3。
“自從有了 Claude 3 Opus，我再也沒有用過 ChatGPT。”
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/1faba02e-7d00-4da7-bdba-216946ad3376.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="830" height="223" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/1faba02e-7d00-4da7-bdba-216946ad3376.png"/>
軟件開發者 Pietro Schirano 在 X 平台寫道：“老實説，Claude 3 &gt; GPT-4 最令人震驚的事情之一，就是切換太容易了。”
但也有人指出，Chatbot Arena 並沒有考慮到添加工具後的表現，這恰恰是 GPT-4 的強項。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/aef61e7c-3e45-48af-8f75-6e0d32a07b07.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="831" height="210" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/aef61e7c-3e45-48af-8f75-6e0d32a07b07.png"/>
另外，Claude 3 Opus 和 GPT-4 之間的分數非常接近，而且 GPT-4 已經問世一年了，預計今年某個時候會出現更強大的 GPT-4.5 或 GPT-5。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/70377c5e-d60f-4f64-b061-14e6b2474966.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="831" height="345" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/70377c5e-d60f-4f64-b061-14e6b2474966.png"/> <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/4110808d-fe02-4fff-bf7f-1120858c5f56.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="831" height="125" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/4110808d-fe02-4fff-bf7f-1120858c5f56.png"/>
毋庸置疑，到那時這兩大模型之間的 PK 將會更加激烈。

谷歌-A

谷歌-C

Claude 3 超大杯 Opus 登頂榜首，大杯 Sonnet 和小杯 Haiku 分別獲得第四和第六的好成績，Haiku 水平已達到 GPT-4 級別。

大模型新王誕生！Claude 3 首次超越 GPT4