千呼萬喚始出來，原定於 23 日發佈的 Llama 3 405B 就要來了。
作為 Llama 3 系列中的頂配，405B 版本擁有 4050 億個參數，是迄今為止最大的開源模型之一。
昨夜凌晨，META 突發 Llama 3.1-405B 評測數據的泄漏事件，有網友預計可能還會同時發佈一個 Llama 3.1-70B 版本，因為 “（模型提前泄露）是 META 的老傳統了，去年的 Llama 模型就幹過一次。”
有分析認為，Llama 3 405B 不僅僅是人工智能能力的又一次提升，對於開源 AI 來説，“這是一個潛在的 ChatGPT 時刻”，其中最先進的人工智能真正實現民主化並直接交到開發人員手中。
<h2>對即將到來的 Llama 3 405B 公告的三個預測</h2>
AI 芯片公司 SambaNova 的軟件產品主管 Anton McGonnell 在一份報告中，從數據質量、模型生態系統、API 解決方案三個角度，預測了即將到來的 Llama 3 405B 公告中的亮點。
首先，Llama 3 405B 或許會徹底改變專用模型的數據質量。
對於專注於構建專業 AI 模型的開發人員來説，他們面臨的長期挑戰是獲取高質量的訓練數據。較小的專家模型（1-10B 個參數）通常利用蒸餾技術，利用較大模型的輸出來增強其訓練數據集。然而，使用來自 OpenAI 等閉源巨頭的此類數據受到嚴格限制，限制了商業應用。
Llama 3 405B 應運而生。作為一款與專有模型實力相媲美的開源巨頭，它為開發人員創建豐富、不受限制的數據集提供了新的基礎。這意味着開發人員可以自由使用 Llama 3 405B 的蒸餾輸出來訓練小眾模型，從而大大加快專業領域的創新和部署週期。預計高性能、經過微調的模型的開發將激增，這些模型既強大又符合開源道德規範。
其次，Llama 3 405B 將形成新的模型生態系統：從基礎模型到專家組合
Llama 3 405B 的推出可能會重新定義 AI 系統的架構。該模型的龐大規模（4050 億個參數）可能意味着一種一刀切的解決方案，但真正的力量在於它與分層模型系統的集成。這種方法對於使用不同規模 AI 的開發人員來説尤其具有共鳴。
預計會轉向更具動態的模型生態系統，其中 Llama 3 405B 充當骨幹，由小型和中型模型提供支持。這些系統可能會採用推測解碼等技術，其中不太複雜的模型處理大部分處理，僅在必要時調用 405B 模型進行驗證和糾錯。這不僅可以最大限度地提高效率，而且還為優化實時應用程序中的計算資源和響應時間開闢了新途徑，尤其是在針對這些任務優化的 SambaNova RDU 上運行時。
最後，Llama 3 405B 有最高效 API 的競爭
能力越大，責任越大——對於 Llama 3 405B 而言，部署是一項重大挑戰。開發人員和組織需要謹慎應對模型的複雜性和運營需求。AI 雲提供商之間將展開競爭，以提供部署 Llama 3 405B 最高效、最具成本效益的 API 解決方案。
這種情況為開發人員提供了一個獨特的機會，可以與不同的平台互動，比較各種 API 如何處理如此龐大的模型。這個領域的贏家將是那些能夠提供 API 的人，這些 API 不僅可以有效地管理計算負載，而且不會犧牲模型的準確性或不成比例地增加碳足跡。
總之，Llama 3 405B 不僅僅是 AI 武器庫中的又一個工具；更是向着開放、可擴展和高效的 AI 開發的根本轉變。分析認為，無論是在微調小眾模型、構建複雜的 AI 系統還是優化部署策略，Llama 3 405B 的到來都將為用户打開新的視野。
<h2>網友們怎麼看？</h2>
網友在 LocalLLaMA 子 Reddit 板塊中發帖，分享了 4050 億參數的 Meta Llama 3.1 信息，從該 AI 模型在幾個關鍵 AI 基準測試的結果來看，其性能超越目前的領先者，即 OpenAI 的 GPT-4o，這標誌着開源模型可能首次擊敗目前最先進的閉源 LLM 模型。
<img class=" wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/f9a5f0f7-e93c-46d9-97b8-44608c3da765.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="865" height="606" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/f9a5f0f7-e93c-46d9-97b8-44608c3da765.png"/>
如基準測試所示，Meta Llama 3.1 在 GSM8K、Hellaswag、boolq、MMLU-humanities、MMLU-other、MMLU-stem 和 winograd 等多項測試中均優於 GPT-4o，但是，它在 HumanEval 和 MMLU-social sciences 方面卻落後於 GPT-4o。
<img class=" wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d07af0a8-2ace-43ad-9de5-5e50d2c95d2f.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="865" height="608" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d07af0a8-2ace-43ad-9de5-5e50d2c95d2f.png"/>
賓夕法尼亞大學沃頓商學院副教授伊桑·莫利克（Ethan Mollick）寫道：
<blockquote>
如果這些統計數據屬實，那麼可以説頂級 Al 模型將在本週開始免費向所有人開放。
全球每個國家的政府、組織和公司都可以像其他人一樣使用相同的人工智能功能。這會很有趣。
</blockquote>
<img class=" wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/4b4db30d-2ace-462b-8810-e9cd6934b7a4.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="554" height="674" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/4b4db30d-2ace-462b-8810-e9cd6934b7a4.png"/>
有網友總結了 Llama 3.1 模型的幾個亮點：
<blockquote>
模型使用了公開來源的 15T+tokens 進行訓練，預訓練數據截止日期為 2023 年 12 月；
微調數據包括公開可用的指令微調數據集（與 Llama 3 不同）和 1500 萬個合成樣本；
模型支持多語言，包括英語、法語、德語、印地語、意大利語、葡萄牙語、西班牙語和泰語。
</blockquote>
<img class=" wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/044e76da-c60a-43e9-8460-a208a4cd3c91.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="865" height="350" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/044e76da-c60a-43e9-8460-a208a4cd3c91.png"/>
有網友表示，這是首次開源模型超越了 GPT4o 和 Claude Sonnet 3.5 等閉源模型，在多個 benchmark 上達到 SOTA。
<img class=" wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/c9e64a98-488e-4425-9389-f57570fd6841.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="865" height="236" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/c9e64a98-488e-4425-9389-f57570fd6841.png"/>

開源大模型的 ChatGPT 時刻？備受期待的 Llama 3 405B 即將發佈