<section>
<p>2026 年 3 月 16 日，Kimi 团队把一篇叫 Attention Residuals 的论文挂上了 arXiv，然后事情迅速失控。马斯克转发了，Karpathy 评了一句&#34;我们还没有真正把 Attention is All You Need 的标题当回事&#34;，前 OpenAI 联合创始人 Jerry Tworek 直接给了四个字，deep learning 2.0。一篇来自中国团队的架构论文能在硅谷引起这种级别的讨论，上一次可能要追溯到 DeepSeek-V3。</p>
<p>但热闹归热闹，大多数讨论停留在&#34;Kimi 搞了个新东西，大佬们很兴奋&#34;的层面。被忽略的是，同一天，字节跳动 Seed 团队和华中科技大学联合发了另一篇论文，叫 Mixture-of-Depths Attention（MoDA），解决的是完全相同的问题，用的是完全不同的路线。同一周内，南京大学 Dilxat Muhtar、MPI Shiwei Liu 等人的第三篇论文&#34;When Does Sparsity Mitigate the Curse of Depth in LLMs&#34;从理论侧给出了最精确的病理报告。</p>
<p>三篇论文密集出现，对准的是同一个靶子。这不是巧合。一个被忽视了近十年的结构性问题，终于到了不得不解决的临界点。</p>
<p>问题不在注意力的序列维度上。注意力在过去几年已经进化了很多代，从多头注意力到分组查询注意力，到 DeepSeek 的 MLA，到各种稀疏变体，每一代都在优化 token 与 token 之间怎么互相看。这场军备竞赛足够精彩，但它遮蔽了一个事实——层与层之间的信息传递方式，从 2017 年 Transformer 论文发表至今，答案一直是同一个。残差连接，h = h + f(h)，一个不带任何学习参数的加法操作。</p>
<p>所有历史层的输出等权求和。没有选择，没有遗忘，没有学习。每一层的贡献被一视同仁地堆进残差流里，不管它学到的是关键特征还是噪音。</p>
<p><strong>残差连接是深度学习历史上最成功的&#34;临时方案&#34;。</strong></p>
</section>
<section>
<h2>最成功的临时方案</h2>
</section>
<section>
<p>残差连接是 2015 年何恺明在 ResNet 里提出的。思路极其朴素，网络堆到二十几层就训不动了，梯度消失让深层参数几乎不更新，那就给每一层加一条&#34;高速公路&#34;，让输入直接跳过这一层接到输出上。即使这一层什么都没学到，信息和梯度至少能通过这条捷径传下去。效果立竿见影，ResNet 把网络从二十几层推到了一百多层。两年后 Transformer 问世，残差连接被原封不动地搬过来。从那以后，这个设计就没人动过。</p>
<p>不是没人试过。ReZero、FixUp、Highway Network 都做过变体，让残差权重可学习。但没有一个进入主流大模型的架构选型，因为残差连接太好用了。简单、稳定、几乎不增加计算开销，在当时的模型规模下，副作用还没有暴露。</p>
</section>
<section>
<h2>44% 的层在空转</h2>
</section>
<section>
<p>副作用是什么？2025 年初，西湖大学、Emory 和 MPI 的 Shiwei Liu 团队发表了&#34;The Curse of Depth&#34;，今年 3 月南京大学 Dilxat Muhtar 等人的&#34;When Does Sparsity Mitigate the Curse of Depth in LLMs&#34;进一步给出了定量诊断，在当前主流大模型的架构下，深层的变换越来越接近恒等映射。输入什么就输出什么，这一层等于没有。</p>
<p>数字很难看。研究者用&#34;有用性分数&#34;来衡量每一层是否在做有意义的变换。12 层的模型，所有层都在干活。16 层，三层废了。24 层，九层废了。32 层，14 层废了，44% 的层几乎什么都没学到。参数量从 9 亿增加到 23 亿，多花了 156% 的预算，有效层只从 12 增加到 18。</p>
<section></section>
<p>深度诅咒的定量诊断——有效层数随模型规模增长的效率递减</p>
<p>原因和残差连接的工作方式直接相关。每一层的输出通过残差连接加到一条&#34;主干道&#34;上。随着层数增加，主干道上累积的信号越来越大（可以理解为&#34;背景音量&#34;不断升高），但每一层新产生的信号幅度是有限的。到了深层，新信号就淹没在背景噪音里了，输入和输出几乎一样，这一层形同虚设。</p>
<p><strong>残差连接解决了&#34;让梯度传过去&#34;的问题，但制造了&#34;让深层有意义&#34;的问题。</strong></p>
<p>在大模型时代，这个代价是真金白银。一层就是几十亿次浮点运算。一个 128 层的模型如果有 44% 的层在空转，将近六十层的算力在做无用功。社区卷了几年的推理效率优化，量化、蒸馏、剪枝、稀疏注意力、KV cache 压缩，全都在优化那些&#34;有用的计算&#34;。</p>
<p><strong>最大的效率黑洞不在注意力的二次方复杂度上，而在一个从 2015 年就没变过的加法操作上。</strong></p>
</section>
<section>
<h2>给注意力加上深度维度</h2>
</section>
<section>
<p>字节 Seed 团队的 MoDA 选了一条不同的路。它没有动残差连接，而是给注意力机制本身加了第二个维度。</p>
<p>标准 Transformer 的注意力只在序列维度上操作，即，当前层的每个 token 去看同层其他 token 的 KV。MoDA 的改动很直觉，把历史层的 KV 也放进注意力的候选集。一个 token 在第 L 层做注意力计算时，不仅能看到同层的其他 token，还能直接回看第 1 层到第 L-1 层的 KV。序列维度和深度维度在同一个 Softmax 下联合归一化。</p>
<p>想法不难理解，难的是怎么在不拖垮速度的情况下把它做出来。</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/f2c1e61a-6e99-4342-91b6-ae1151156946.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="488" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/f2c1e61a-6e99-4342-91b6-ae1151156946.png"/></p>
<p>MoDA 的双维注意力机制——序列维度与深度维度在同一个 Softmax 下联合归一化</p>
<p>把所有历史层的 KV 全塞进注意力，计算量会爆炸。一个 32 层的模型，第 32 层要看前 31 层的所有 KV，等效序列长度直接扩大 32 倍。MoDA 的工程核心是一套&#34;分组重排&#34;策略，只选一部分历史层的 KV，按组重新排列到连续显存上，让 GPU 的矩阵乘法能高效执行。</p>
<p>具体来说，MoDA 引入了&#34;深度流&#34;机制。不是每一层都去看所有历史层，而是通过一个可学习的路由选出最相关的几层。这和 Mixture-of-Experts 的思路类似——不是把所有专家都激活，而是动态地选择需要的专家。区别在于这里的&#34;专家&#34;是不同深度的历史层。</p>
<p>在 64K 序列长度下，MoDA 的算子效率达到了 FlashAttention-2 的 97.3%。加了整个深度注意力机制，速度只慢了不到 3%。</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/2c4c50a0-85a6-4768-9ebb-1f7f89768dd8.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="269" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/2c4c50a0-85a6-4768-9ebb-1f7f89768dd8.png"/></p>
<p>分组重排策略——把散落在显存各处的历史层 KV 搬运到连续内存区域</p>
<p>在 1.5B 参数的模型上（基于 OLMo2 的训练配方），MoDA 在 10 个下游任务上的平均性能提升了 2.11%，额外计算开销仅 3.7%。初看不大，但这是架构层面的改进，不是靠更多数据或更长训练换来的。而且 MoDA 的效果随模型规模增大而增强——在更大的模型上，深度退化更严重，MoDA 的修复作用更明显。</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/e0756c93-c1f6-4c12-9f2b-ae5b2f6b9660.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="178" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/e0756c93-c1f6-4c12-9f2b-ae5b2f6b9660.png"/></p>
<p style="text-align: center">MoDA 在 10 个下游任务上的性能对比</p>
<p>更有意思的是 MoDA 和 Post-Norm 的化学反应。主流大模型几乎全用 Pre-Norm（先归一化再做注意力），因为 Post-Norm（先做注意力再归一化）虽然理论上更优，但训练不稳定。MoDA 的深度 KV 机制恰好给 Post-Norm 提供了额外的梯度通道，Post-Norm 本来的不稳定问题就不再是致命伤了。</p>
<p>MoDA+Post-Norm 的组合打开的可能性是，过去为了训练稳定而做出的妥协（用 Pre-Norm），也许可以被收回了。</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/e6299d08-93d1-4b35-8897-48b91c3c6f4c.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="428" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/e6299d08-93d1-4b35-8897-48b91c3c6f4c.png"/></p>
<p style="text-align: center">Pre-Norm vs Post-Norm 在加入深度 KV 后的验证损失差异</p>
</section>
<section>
<h2>不开新路，翻修旧路</h2>
</section>
<section>
<p>MoDA 没动残差连接，它选择在残差之外另开一条路。同一天，Kimi 团队发的 Attention Residuals（AttnRes）走了一条更直接的路线，直接对残差连接本身动手。</p>
<p>标准残差连接做的事很简单，把前面所有层的输出等权相加，堆进主干道。没有选择，没有遗忘。AttnRes 把这个固定的等权加法替换成一个注意力操作，每一层用自己的状态作为查询，前面所有层的输出作为候选，用注意力来决定，前面哪些层的特征对当前层有用，权重各是多少。</p>
<p><strong>残差连接从一个固定公式变成了一个可学习的动态路由。</strong></p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/49e19395-f468-4a10-b7b1-eb93fa4c074d.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="578" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/49e19395-f468-4a10-b7b1-eb93fa4c074d.png"/></p>
<p style="text-align: center">AttnRes 的核心思路——用注意力替代等权残差加法</p>
<p>代价是每一层都要额外跑一次深度注意力计算，开销不低。Kimi 团队用分块策略（Block AttnRes）控制成本，把层分成若干个块，块内做完整的深度注意力，块与块之间只关注块级别的聚合表征。</p>
<p>AttnRes 已经被集成进了 Kimi Linear（480 亿总参数 / 30 亿激活参数），在 1.4 万亿 token 上做了预训练，效果确认在不同模型规模下一致。这篇论文已经被广泛报道过，技术细节不再展开。值得放在这里讲的原因是它和 MoDA 的路线对比。</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/a02c4f61-a3b5-43cc-a805-b40cdd446986.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="360" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/a02c4f61-a3b5-43cc-a805-b40cdd446986.png"/></p>
<p style="text-align: center">AttnRes 的训练曲线与消融实验</p>
<p>两条路线诊断的病因完全一致，即，深层拿到的浅层信息被残差更新反复稀释了。但下刀的地方不同。MoDA 没碰残差连接，而是给注意力加了一个深度维度，让深层能绕过残差流直接取浅层的原始特征。AttnRes 直接对残差连接开刀，把等权加法换成了注意力加权。一个是&#34;另修一条路&#34;，一个是&#34;把原来那条路翻新&#34;。</p>
<p>两篇论文同一天出现，路线不同，靶子相同。这不是巧合。注意力的深度问题已经是研究社区的共识，区别只在于从哪个方向切入。</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/ed2d327a-4cd4-4f77-910d-90b77b3f24b3.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="930" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/ed2d327a-4cd4-4f77-910d-90b77b3f24b3.png"/></p>
<p style="text-align: center">AttnRes 在不同模型规模下的效果一致性</p>
</section>
<section>
<h2>忘了拆的脚手架</h2>
</section>
<p>回到最开始的问题，为什么深层空转这个问题到 2026 年才被认真对待？</p>
<p>因为残差连接太好用了。它解决了一个当时最紧迫的问题（梯度消失），代价可控（深层退化在小模型上不明显），替代方案不成熟（ReZero、Highway Network 都没有经受过大规模验证）。没有人有动力去动它。它不是被有意保留的设计选择，而是被遗忘的临时方案。当初搭的脚手架，盖完楼忘了拆，时间一长大家以为它是承重墙。</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/2866bede-7349-476b-a808-4eb5431e31c5.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="559" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/2866bede-7349-476b-a808-4eb5431e31c5.png"/></p>
<p style="text-align: center">残差连接的信号稀释效应——层数越深，新信号越难被听见</p>
<p style="text-align: left">但真正让这个问题难以被发现的，不是残差连接本身，而是注意力机制长期以来只在一个维度上运作。过去八年，注意力的所有进化——多头、分组查询、稀疏、线性——都是在序列维度上做文章。token 和 token 之间怎么互相看，这件事被优化了无数遍。但层和层之间怎么互相看？这个问题根本没人问过。深度维度是注意力的盲区。</p>
<p style="text-align: left">MoDA 和 AttnRes 从不同方向把这个盲区打开了。MoDA 给注意力加了第二个维度，让它能同时在序列和深度方向上运作。AttnRes 把层间信息传递本身变成了一个注意力操作。路线不同，但共同指向同一个结论，即，注意力不该只看水平方向，它也应该看垂直方向。</p>
<p style="text-align: left">这个结论的延伸比两篇论文本身更大。Transformer 里还有很多只在单一维度上运作的固定机制。每一层必须按顺序执行，不能跳过。每个注意力头独立计算后简单拼接，没有头与头之间的动态协调。每个 token 无论难易都走完全相同的计算路径。这些设计当初都是为了让模型能训起来、能收敛的工程妥协。</p>
<p style="text-align: left">深度学习过去十年的演进方向，如果抽象到最高层，就是一件事，把越来越多的结构性决策从人类设计者手中交还给模型自己。手工设计的卷积核被可学习的注意力替代了。固定的位置编码被可学习的旋转编码替代了。固定的专家分配被可学习的路由替代了。现在，深度维度上的信息流动方式，也开始由注意力自己来决定了。</p>
<p style="text-align: left">Karpathy 说我们还没有把&#34;Attention is All You Need&#34;的字面意思当真。他可能说对了。但不是&#34;注意力就够了&#34;这个意思，而是&#34;注意力还没有被用够&#34;。它在序列维度上已经进化了很多代，但在深度维度上才刚刚开始。</p>
<p style="text-align: left"><strong>深度是注意力的下一个战场。</strong></p>
<p style="text-align: left"><span style="color: #808080">本文来源：腾讯科技</span></p><div>风险提示及免责条款</div>
          <div>
            市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
          </div>

AIYY

特斯拉

标普软件与服务 ETF - SPDR

OpenAI

VSAI

<p>马斯克转发了 Kimi 团队的论文《Attention Residuals》，引发硅谷热议，Karpathy 和前 OpenAI 联合创始人 Jerry Tworek 对此发表看法。与此同时，字节跳动 Seed 团队与华中科技大学联合发布了另一篇相关论文《Mixture-of-Depths Attention》，南京大学等人的论文《When Does Sparsity Mitigate the Curse of Depth in LLMs》也在同周发布。这三篇论文集中探讨了注意力机制的结构性问题，标志着该领域的重大进展。</p>

- Kimi 团队的论文引发硅谷热议，提出深度学习新结构问题。
- 同日字节跳动与华中科技大学也发布相关论文，探讨相同问题。
- 深层信息传递方法未变，残差连接存在有效性问题，需创新解决。

马斯克转发 Kimi 论文引起硅谷大讨论，Attention 下一个战场是什么？