--- title: "月之暗面提出 Attention Residuals 架構，優化 Transformer 模型" type: "News" locale: "zh-HK" url: "https://longbridge.com/zh-HK/news/279393793.md" description: "Moonshot AI 近日推出全新架構 Attention Residuals（AttnRes），旨在優化基於 Transformer 的大語言模型的信息處理。該架構通過深度注意力機制，允許網絡層動態選擇和加權組合先前層級的信息，解決了傳統殘差連接導致的信息模糊問題。AttnRes 顯著提升了模型在長上下文推理中的穩定性與效率，標誌着殘差組件向更可擴展、自適應方向的演進，為下一代高效能 AI 系統奠定基礎。" datetime: "2026-03-17T08:30:35.000Z" locales: - [zh-CN](https://longbridge.com/zh-CN/news/279393793.md) - [en](https://longbridge.com/en/news/279393793.md) - [zh-HK](https://longbridge.com/zh-HK/news/279393793.md) --- # 月之暗面提出 Attention Residuals 架構，優化 Transformer 模型 品玩 3 月 17 日訊，Moonshot AI 近日發佈名為 Attention Residuals（AttnRes）的全新架構概念，旨在革新基於 Transformer 的大語言模型信息處理機制。針對傳統殘差連接中各層輸出等權疊加導致信息模糊的侷限，AttnRes 引入深度注意力機制，允許網絡層動態選擇並加權組合先前層級的信息。 該方法將模型深度視為序列維度，使各層能主動檢索歷史特徵，而非被動接收混合信號。此舉有效解決了深層網絡中隱藏狀態冗餘及缺乏選擇性訪問的問題，顯著提升了模型在長上下文推理中的穩定性與效率。作為 Kimi 系列模型背後的技術突破，AttnRes 體現了將注意力機制擴展至網絡層級結構的趨勢。 Moonshot AI 持續通過架構創新推動大模型發展，其萬億參數混合專家系統已應用於複雜推理任務。AttnRes 的提出標誌着即使是最基礎的殘差組件，仍在向更 scalable、自適應的方向演進，為構建下一代高效能 AI 系統奠定理論基礎。 ### 相關股票 - [512720.CN](https://longbridge.com/zh-HK/quote/512720.CN.md) - [SOXX.US](https://longbridge.com/zh-HK/quote/SOXX.US.md) - [IXN.US](https://longbridge.com/zh-HK/quote/IXN.US.md) - [XSD.US](https://longbridge.com/zh-HK/quote/XSD.US.md) - [SOXL.US](https://longbridge.com/zh-HK/quote/SOXL.US.md) - [512480.CN](https://longbridge.com/zh-HK/quote/512480.CN.md) - [512760.CN](https://longbridge.com/zh-HK/quote/512760.CN.md) - [588170.CN](https://longbridge.com/zh-HK/quote/588170.CN.md) - [588780.CN](https://longbridge.com/zh-HK/quote/588780.CN.md) - [SMH.US](https://longbridge.com/zh-HK/quote/SMH.US.md) - [159325.CN](https://longbridge.com/zh-HK/quote/159325.CN.md) - [159998.CN](https://longbridge.com/zh-HK/quote/159998.CN.md) - [159995.CN](https://longbridge.com/zh-HK/quote/159995.CN.md) - [PSI.US](https://longbridge.com/zh-HK/quote/PSI.US.md) ## 相關資訊與研究 - [台積電：AI 需求依然極度強勁，2 奈米良率好，3 奈米破例擴產](https://longbridge.com/zh-HK/news/282955211.md) - [智原導入聯電 28 奈米 SST eFlash 平台 打造終端 AI IP 解決方案](https://longbridge.com/zh-HK/news/282699157.md) - [美媒：聯邦機構繞過禁令 私下測試 Anthropic 新模型](https://longbridge.com/zh-HK/news/282787397.md) - [被動元件新兵新聿科預計 4/22 登興櫃 AI 需求旺下半年樂觀全年雙位數成長](https://longbridge.com/zh-HK/news/282827233.md) - [AI 重塑功率元件供需結構 台股供應鏈價量齊揚](https://longbridge.com/zh-HK/news/282823102.md)