作者：周源/華爾街見聞6 月 27 日，騰訊混元宣佈開源首個混合推理 MoE（專家混合模型：Mixture of Experts）模型 Hunyuan-A13B，同時發佈 ArtifactsBench 和 C3 - Bench 兩個新數據集，為大模型領域的發展提供了新的技術資源和評估工具。Hunyuan-A13B 模型總參數為 800 億（80B），激活參數 130 億（13B），這樣的參數配置在推理效率上有一定優勢。對比同等架構的開源模型，以常見的 Transformer 架構模型為例，Hunyuan-A13B 在處理相同規模任務時，推理速度提升明顯，計算資源消耗相對較低。作為首個開源的 13B 級別 MoE 混合推理模型，在多個業內權威數據測試中，該模型展現出一定的通用能力，特別是在 Agent 工具調用和長文處理方面表現出特色，這使其在實際應用場景中具備差異化競爭力。騰訊混元通過構建多 Agent 數據合成框架，提升 Hunyuan-A13B 的工具調用能力。該框架整合了 MCP（大模型上下文協議）、沙箱、大語言模型模擬等多種環境，並運用強化學習機制，讓 Agent 在不同環境中進行學習。在旅遊場景中，用户輸入 “規劃從成都出發的川西遊行程” 指令，模型能調用地圖搜索工具獲取路線信息，調用酒店預訂平台篩選合適住宿，調用天氣查詢工具瞭解行程期間天氣，最終輸出一份包含每日行程安排、交通方式、住宿推薦、景點介紹的詳細行程規劃。在數據分析任務中，面對某電商平台的銷售數據，模型可調用 Python 編碼工具，做數據清洗、統計分析，並生成包含圖表的 excel 銷售分析報告，滿足用户在不同場景下的複雜任務需求。與部分僅具備單一工具調用能力的模型相比，Hunyuan-A13B 的多工具協同調用能力，能更好地解決實際問題。面對大模型長文處理的難題，Hunyua-A13B 支持 256K 原生上下文窗口。在學術領域，處理上萬字的學術論文時，模型可以準確提煉論文核心觀點、梳理研究方法和實驗結果；在法律行業，分析複雜的法律條文及案例卷宗，能快速總結法律要點、關聯相關法條；在商業領域，解讀長篇商業報告，可精準提取關鍵數據和市場趨勢信息。在實際測試中，與一些上下文窗口較小、處理長文容易出現信息遺漏的模型相比，Hunyuan-A13B 在一定程度上緩解了長文推理中上下文丟失和信息依賴的問題，為相關領域的應用提供了更可靠的技術支持。Hunyuan-A13B 的開源對開發者較為友好。個人開發者在一定條件下，使用 1 張中低端 GPU 卡，如 NVIDIA GeForce GTX 系列顯卡，即可完成部署。目前，模型已接入開源主流推理框架生態，支持多種量化格式，包括 INT4、INT8 等。在相同輸入輸出規模下，其整體吞吐能力達到前沿開源模型的 2 倍。開發者可以通過 Github 和 Huggingface 等開源社區獲取模型，騰訊雲官網也上線了模型 API，方便快速接入部署。若 Hunyuan-A13B 模型，結合自身業務需求，在短時間內開發出了智能文檔處理應用，極大降低了開發者使用模型進行二次開發和應用創新的門檻。在 Hunyuan-A13B 的研發過程中，騰訊混元團隊在預訓練和後訓練環節採用了新的技術方法。預訓練階段，使用 20 萬億高質量網絡詞元語料庫，覆蓋科學、技術、文化等多個領域，提升模型的通用知識儲備。同時，團隊構建適用於 MoE 架構的 Scaling Law（規模化法則）聯合公式，完善相關理論體系，為模型架構設計提供量化指導，這一成果為後續 MoE 模型的研發提供了重要參考。後訓練階段，採用多階段訓練方式，針對不同能力提升需求，運用不同訓練策略和數據；在推理能力訓練階段，通過大量邏輯推理案例數據，提升模型的邏輯分析能力；在創作能力訓練階段，使用文學創作、文案撰寫等數據，增強模型的文本創作水平，最終平衡提升模型的推理、創作、理解等能力。騰訊混元同步開源的 ArtifactsBench 和 C3 - Bench 兩個數據集，填補了行業評估標準的部分空白。ArtifactsBench 包含 1825 個任務，覆蓋網頁開發、數據可視化、遊戲開發等九大領域，按難度分級，用於評估模型的代碼生成能力。通過該數據集，開發者可以更全面、準確地瞭解模型在代碼編寫方面的優勢與不足。C3-Bench 針對 Agent 場景模型，設計 1024 條測試數據，聚焦規劃工具關係、處理隱藏信息、動態路徑決策等挑戰，幫助發現模型在該場景下的能力短板，為模型優化提供參考。這兩個數據集的發佈，為行業提供了更專業、更具針對性的評估工具，有助於推動大模型評估體系的完善。目前，Hunyuan-A13B 已在騰訊內部 400 多個業務中應用，日均請求量達 1.3 億次，在實際業務中得到一定規模的使用。比如在騰訊的智能客服系統中，該模型提升了客服回答的準確性和效率；在內容創作輔助工具裏，幫助創作者生成更優質的文案。未來，騰訊混元計劃推出從 0.5B（5 億）到 32B（320 億）的 dense 模型，以及激活 13B（130 億）的 MoE 模型，適配企業和終端設備的不同需求。同時，還將持續開源圖像、視頻、3D 等多模態基礎模型及插件模型，豐富大模型生態，為行業發展注入更多活力。騰訊混元此次開源 Hunyuan-A13B 模型及相關數據集，為開發者提供了新的模型資源和評估工具，有助於推動大模型技術的創新和應用。開源數據集的發佈，也為行業建立更完善的評估標準提供了支持。在騰訊研發過程中的技術方法，為其他團隊開展相關研究提供了可參考的經驗，有望促進大模型領域技術的共同發展。

騰訊控股(ADR)

騰訊控股(ADS)

騰訊控股

- 騰訊混元開源 Hunyuan-A13B 模型，參數達 800 億，推理效率高。  
- 新發布的 ArtifactsBench 和 C3-Bench 數據集，填補行業評估標準空白。  
- Hunyuan-A13B 已在騰訊內部 400 多個業務中應用，日均請求量達 1.3 億次。

賽道 Hyper | 騰訊混元開源 Hunyuan-A13B：1 張 AI 卡搞定