--- title: "月之暗面提出 Attention Residuals 架构，优化 Transformer 模型" type: "News" locale: "zh-CN" url: "https://longbridge.com/zh-CN/news/279393793.md" description: "Moonshot AI 近日推出全新架构 Attention Residuals（AttnRes），旨在优化基于 Transformer 的大语言模型的信息处理。该架构通过深度注意力机制，允许网络层动态选择和加权组合先前层级的信息，解决了传统残差连接导致的信息模糊问题。AttnRes 显著提升了模型在长上下文推理中的稳定性与效率，标志着残差组件向更可扩展、自适应方向的演进，为下一代高效能 AI 系统奠定基础。" datetime: "2026-03-17T08:30:35.000Z" locales: - [zh-CN](https://longbridge.com/zh-CN/news/279393793.md) - [en](https://longbridge.com/en/news/279393793.md) - [zh-HK](https://longbridge.com/zh-HK/news/279393793.md) --- # 月之暗面提出 Attention Residuals 架构，优化 Transformer 模型 品玩 3 月 17 日讯，Moonshot AI 近日发布名为 Attention Residuals（AttnRes）的全新架构概念，旨在革新基于 Transformer 的大语言模型信息处理机制。针对传统残差连接中各层输出等权叠加导致信息模糊的局限，AttnRes 引入深度注意力机制，允许网络层动态选择并加权组合先前层级的信息。 该方法将模型深度视为序列维度，使各层能主动检索历史特征，而非被动接收混合信号。此举有效解决了深层网络中隐藏状态冗余及缺乏选择性访问的问题，显著提升了模型在长上下文推理中的稳定性与效率。作为 Kimi 系列模型背后的技术突破，AttnRes 体现了将注意力机制扩展至网络层级结构的趋势。 Moonshot AI 持续通过架构创新推动大模型发展，其万亿参数混合专家系统已应用于复杂推理任务。AttnRes 的提出标志着即使是最基础的残差组件，仍在向更 scalable、自适应的方向演进，为构建下一代高效能 AI 系统奠定理论基础。 ### 相关股票 - [512720.CN](https://longbridge.com/zh-CN/quote/512720.CN.md) - [SOXX.US](https://longbridge.com/zh-CN/quote/SOXX.US.md) - [IXN.US](https://longbridge.com/zh-CN/quote/IXN.US.md) - [XSD.US](https://longbridge.com/zh-CN/quote/XSD.US.md) - [SOXL.US](https://longbridge.com/zh-CN/quote/SOXL.US.md) - [512480.CN](https://longbridge.com/zh-CN/quote/512480.CN.md) - [512760.CN](https://longbridge.com/zh-CN/quote/512760.CN.md) - [588170.CN](https://longbridge.com/zh-CN/quote/588170.CN.md) - [588780.CN](https://longbridge.com/zh-CN/quote/588780.CN.md) - [SMH.US](https://longbridge.com/zh-CN/quote/SMH.US.md) - [159325.CN](https://longbridge.com/zh-CN/quote/159325.CN.md) - [159998.CN](https://longbridge.com/zh-CN/quote/159998.CN.md) - [159995.CN](https://longbridge.com/zh-CN/quote/159995.CN.md) - [PSI.US](https://longbridge.com/zh-CN/quote/PSI.US.md) ## 相关资讯与研究 - [三个人，用 AI 赚了 6 个亿](https://longbridge.com/zh-CN/news/282968735.md) - [北电数智发布星火·AI 云 2.0，以 AI 系统工程重塑产城发展范式 | 酒仙桥论坛](https://longbridge.com/zh-CN/news/282805907.md) - [4 个月两轮融资近亿，AI 真的帮达人赚到钱了](https://longbridge.com/zh-CN/news/282930670.md) - [迈富时第一季度 AI 应用业务收入同比增长约 110.5%](https://longbridge.com/zh-CN/news/282854607.md) - [东方财富证券：H100 租赁价格上涨提振云产业景气度 MAG 云 CAPEX 有望持续投入](https://longbridge.com/zh-CN/news/282958987.md)