理想马赫 M100 芯片，终结算力数字游戏

理想汽车发布了一篇有关自研芯片马赫 M100 的论文，题目为：

M100: An Orchestrated Dataflow Architecture Powering General AI Computing。

十几页的论文里，只字未提 TOPS，也就是业内惯用的算力值。

这个背后其实隐藏了一个反直觉的判断：

50TOPS 的芯片，推理延迟可能比 1500TOPS 的芯片更低；CPU 里的 1TOPS，可能顶得上 GPU 里的 10TOPS 甚至 30TOPS。

理想 CTO 谢炎更直接，他说 GPU 架构的执行效率天花板只有 40%，而马赫 M100 的目标是 50%-60%。

换句话说，同样标称 3000TOPS，实际能用上多少，是两回事。

自动驾驶和具身智能已经进入 VLM/World+Action Expert 时代，TOPS 这把尺子，量错了地方。

典型的 MAC 电路

首先要澄清算力这个概念，TOPS 这个指标是衡量芯片进行 MAC 运算时的能力，MAC 即 Multiply-accumulate，代表矩阵（矩阵是张量 tensor 的典型代表）的乘积累加。

MAC 一般是阵列形式，MAC 阵列一个周期能完成两次操作 0perations，算力值就是 MAC 阵列数量 *2*MAC 阵列运行频率，这个数值仅仅代表芯片的矩阵乘法能力，AI 运算中还有很多非矩阵乘法，只不过卷积神经网络时代即 CNN 时代，95% 的运算都是矩阵乘法，于是将 TOPS 数值等同了芯片的 AI 算力。

今天 CNN 基本上被 Transformer 和 Transformer 与 Diffusion 的混合架构 DiT 替代，TOPS 这个数值已经无法反映真实的 AI 算力。

其次要说说等效算力这个水分重灾区。

除了高通、英特尔、谷歌、华为这些老牌厂家，多数厂家给出的算力值是「等效算力」，通常藏在角落用小字标注，有些甚至完全不作说明。

如何才是真实的不注水的算力，很简单，算力值就是 MAC 阵列数量 *2*MAC 阵列运行频率。

例如高通 V73 NPU 有 16K MAC 数量，运行频率峰值 1.5GHz，算力值就是 16K*2*1.5GHz=48TOPS，每秒 48 万亿次操作，乘 2 是因为 MAC 包含两个 opertion。

再比如英特尔 Lunar Lake NPU，是英特尔的第四代 NPU，支持 FP16 和 INT8 数据类型，单 Neural Compute Engine(NCE) 包含 2K 个 INT8 MACs 一共有 6 NCEs，算力就是 12K MACs per cycle，NPU 对外提供的 INT8 算力就是 12000*2*2.05GHz =48TOPS。

谷歌 TPU V1 有 65K 个 MAC，频率为 700MHz，算力即为 65000*700MHz*2=91TOPS。

不能提供 MAC 阵列数量和频率的，都是等效算力，至于如何等效，全由厂家自己定义。

简单说，TOPS 衡量的只是矩阵乘法的速度，但今天的 AI 模型早已不只是矩阵乘法的游戏了。

上图是 Transformer 架构计算分析，2017 年「Attention Is All You Need」论文提出的原始 Transformer 由两大部分组成：

Encoder：读取输入序列，生成上下文表示。每层包含一个 Self-Attention 和一个 FFN，所有 token 可以互相关注（双向注意力）。

Decoder：基于 Encoder 的输出，自回归地生成目标序列。每层包含一个带因果掩码的 Self-Attention（只能看到已生成的 token）、一个 Cross-Attention（关注 Encoder 输出）和一个 FFN。

Transformer 的计算流程分六步。

• 第一步：线性投影生成 Q、K、V，输入 X 向量 分别乘以三个权重矩阵，得到 Query、Key、Value，这是向量矩阵乘法。
• 第二步用 Q 和 K 的内积来衡量每对 token 之间的「匹配度」，即 self-attention。基本都是矩阵乘法，占了 2/3 的计算量。
• 第三步缩放，开方并求倒数，属于标量运算。第四步，对每一行做 softmax，把原始分数变成概率分布。
• 第五步，用注意力权重 A 对 Value 矩阵 V 做加权求和，即标量加法运算。
• 第六步输出投影。

Softmax 最复杂，包含了矩阵乘法、求平方根、标量乘法、标量加法，以及大量逐点操作（Element-wise Operation）。

所谓逐点操作 指的是对向量或矩阵中的每个元素独立进行相同的算术运算（如加、减、乘、除、激活函数等），而不会改变数据本身的形状。这种操作会频繁地搬运数据，存储碎片化严重，对存储带宽和存储搬运控制要求很高。

这里有一个关键问题值得停下来想一想：为什么 GPU 跑 Transformer 会遇到麻烦？

谢炎打了个比方——GPU 就像一个有无数工位的大工厂，但中间有个调度员统一发指令。

调度员本身就要消耗 30%-35% 的晶体管，规模越大，调度越成为瓶颈。

Transformer 里的注意力计算需要把矩阵转置后再相乘，GPU 的二级缓存装不下，只能反复去全局内存取数，直接撞上「内存墙」。这是架构层面的天生缺陷，不是多堆几个 TOPS 能解决的。

自动驾驶和具身智能已经进入了 VLM/World+Action Expert 时代，目前的 VLA 或世界模型大都将输出 Token 部分使用单独的 Action Expert，其主要是扩散架构或扩散架构的变型流匹配架构，世界模型的预测生成则基本上是 transformer 与扩散架构的混合即 DiT 架构。

世界模型的核心是 DiT 架构，见上图。

AdaLN-Zero（Adaptive Layer Normalization with Zero Initialization）是 Diffusion Transformer (DiT) 架构中的关键模块，主要用于将扩散过程中的条件信息（如时间步、类别标签）高效地融入 Transformer 块中。其核心理念是通过一个 MLP（多层感知机）将标量时间步映射为向量，进而生成用于缩放（scale）、平移（shift）和门控（gate）归一化特征的参数。

流程大致分为两步：

第一步是标量输入 (Scalar Input)。

初始信息： 扩散过程的时间步（如第 500 步）和类别标签通常是标量。

经过 Sinusoidal Position Embedding（正弦位置编码）或直接嵌入，转化为高维的隐藏向量（Embedding Vector）。

向量化时间步： 在视频生成模型（如 Wan）中，为了适应不同帧的条件，标量时间步可能会被扩展为基于批量大小和帧数的向量。

第二步是向量输出 (Vector Output - 调制参数)。

AdaLN-Zero 通过一个线性层（MLP）将条件向量转化为 6 个特征映射参数，这些参数是向量形式。基本都是标量和向量的操作，和矩阵乘法无关。

扩散模型与 Transformer 最大不同是它需要多次迭代，从正态高斯分布中随机采样的高斯噪声中逐步去噪，生成潜变量。

再送入解码器，再去噪，如此往复，每一次输入的噪音都更少，自然迭代次数（即 step 步数）越多性能越好，一般都在 20 次以上（最近有减少的趋势，4-10 步较为常见）。

这是一个天然的串行操作。

每一步去噪都要等上一步完成才能开始，GPU 引以为傲的大规模并行能力在这里几乎没有用武之地。

传统的矩阵乘法算力在这个场景下接近无效，真正起作用的是 CPU 的高效调度、向量与标量运算能力，以及足够高的存储带宽。

图片来源：上海交通大学论文 Characterizing Vision-Language-Action Models across XPUs:Constraints and Acceleration for On-Robot Deployment，典型的具身智能 VLA 由视频编码器、VLM 和动作专家构成

上图分析了三个具身智能 VLA 模型在不同处理器上的延迟。

其中 4090 是英伟达的 RTX 4090，B60 是英特尔的显卡，与其配备的 CPU 是英特尔 11 代 i7-11700，310p 是华为的昇腾 310P，2023 年推出的 RTX4090 具备压倒性的绝对优势，实际上 RTX4090 可以碾压目前 99% 的端侧推理用芯片。

第二名是英伟达的 Thor-X，不过与第三名英特尔 B60 之间差距很小，在 GR00T 上几乎没差别，华为 310P 第四，Orin 最差垫底，虽然标称 170TOPS，但实际上其 DLA 部分无法用于 Transformer 架构，实际 8 位精度稠密算力只有大约 83.5TOPS，远不如华为 310P。

SmolVLA 是一个很小的具身智能 VLA 模型，总参数大约 4.5 亿，流匹配的 ACTION EXPERT 仅仅占了 1 亿参数，但在计算过程中占据了超过 60-70% 的推理延迟。

PI0 总参数规模 33 亿，其中 ACTION EXPERT 是 3 亿，虽然只占 1/11，但延迟占了 50% 以上。

注意看这张表最后一列：

Thor-X 的存储带宽只有 273GB/s，仅为 RTX 4090 的 27%，但在部分 VLA 模型上的延迟差距远没有这么悬殊。这也算是算力数字失真的一个证明。

推理延迟不取决算力，数据搬运量加调度开销同样可以决定推理延迟，目前经过大模型蒸馏过的小模型尤其明显，GPU 或者说矩阵乘法单元的数据搬运开销和调度开销比 CPU 要高得多，无论具身智能还是自动驾驶，40 亿参数模型都是绝对主流。

40 亿以下的小模型，CPU 比 GPU 更好，在 https://ai.google.dev/edge/litert-lm/overview?hl=zh-cn 上可以清晰看到 CPU 比 GPU 解码阶段效率更高，如 Gemma3-1B，CPU 的解码速度是 33token 每秒，而 GPU 是 23token 每秒，尽管两者的 TOPS 数值可能差十倍乃至数十倍，但整体延迟，CPU 还是比 GPU 要好，CPU 的 1TOPS 足以顶 GPU 的 10TOPS 甚至 30TOPS。

理论上的架构分析是一回事，实测延迟数据更直接，结果比想象中更残酷。

再来看世界模型（WAM）的推理延迟。

数据来源：华为论文 DO WORLD ACTION MODELS GENERALIZE BETTER THAN VLA S ?

A R OBUSTNESS S TUDY，WAM 在运行速度上表现极不理想，LingBot-VA（RT）为了保证性能，使用 50 步 action 动作去噪音，延迟高达 5230 毫秒，为了实用，LingBot-VA（RW）是 3 步状态去噪音 5 步动作去噪音，尽管如此延迟也有 480 毫秒，实用化的具身智能和自动驾驶大脑要求最低下限也是 10Hz，最好 30Hz，LingBot-VA（RW）只能做到 2Hz。

原因很简单，目前以矩阵乘法为核心的 GPU 或 NPU 不行，无法应对扩散和 DiT 架构的模型。

3000TOPS 的等效算力只能发挥 30%，极端情况可能只有 1-5%。

这个问题的根源不是算力不够，而是算力用错了地方。

GPU 架构执行效率的天花板本就只有 40% 左右，扩散模型的串行迭代特性更让这个数字雪上加霜。

谢炎的判断是：要解决这个问题，需要在 NPU 里强化 CPU（这里指 NPU/GPU 内部的调度核心，不是 Host 端的 CPU）和向量计算单元，矩阵运算能力的优先级反而没那么高。

Transformer 时代的 AI 加速器里都有标量计算单元，可近似看做 CPU，也有向量计算单元，但扩散和 DiT 架构的模型需要进一步加强这两方面的能力。此外，存储带宽无论何种模型，何种状态下都是要尽量提高。

回到理想的马赫 M100。

200 人的团队，做出了理想口中「中国第一款完全原创设计的 AI 芯片」。这颗芯片有个更准确的定位——不叫自动驾驶芯片，而是 AI 推理芯片。

理想汽车马赫 M100 的 NPU 计算系统，和目前主流的 AI 加速器一致，包含标量、矢量和张量即矩阵。

马赫 M100 的标量计算单元和 CPU 即上图里的 CCB，理想汽车采用了 SiFive 的 X280 RISC-V 4 核心 CPU 架构，支持 4 个并发的推理任务，配备了 32MB 的 SRAM，通过 NOC 即片上网络与 CPU 连接，32MB 的 SRAM 花费成本不低。

NOC 选择的是 Arteris 的 FlexNoC。

图片来源：SiFive

X280 是 SiFive 在 2022 年发布的针对汽车领域的 CPU 架构，包含标量与向量计算，标量方面是 64 比特架构，8 阶双路发射顺序执行管线，512 比特的寄存器宽度，向量数据长度可变，最高支持 4096 比特。

在 Transformer 推理效率上，马赫 M100 有几个具体优势值得说清楚：

注意力计算中的矩阵转置无需经过全局内存，可以直接在计算单元间传输并同步完成转置，效率比英伟达最多高 10 倍；

全局广播总线让矩阵可以一次同时送达所有计算单元，避免重复取数。

多个计算步骤可以串联形成流水线，不用等一步算完再通知下一个模块。

这些效率提升来自数据流架构本身，不是靠堆 TOPS 堆出来的。

马赫 M100 的存储带宽为 273GB/s，在车规芯片中处于领先，但与消费级旗舰相比仍有差距。

不过谢炎对此有不同看法——他认为不能简单拿参数衡量芯片能力，最终要看有效算力，就像苹果内存最低但体验最好一样。

如果能用上 LPDDR6，就可以超越特斯拉还没量产的 AI5 了。

LPDDR6 主流是 12.8Gbps 每通道，高端是 14.4Gbps，最高可达 16Gbps。

典型 LPDDR6 系统其存储带宽是 96*4/8*14.4=691GB/s，高性能可以提高到 96*6/8*14.4=1037GB/s，届时存储带宽将轻松超越特斯拉尚未量产的 AI5 的 819GB/s。

高通、联发科都会在今年的手机芯片上使用 LPDDR6。

理想用一篇不提 TOPS 的论文，实际上给行业出了一道思考题：

当芯片厂商还在比拼谁家数字更大的时候，真正的竞争已经悄悄转移到别处。

马赫 M100 或许不是标称算力最高的芯片，但它可能是第一块认清了「算力」本质的量产车载芯片

VLM/World+Action Expert 时代，TOPS 这个数字已经无足轻重。

存储带宽、CPU（加速器内部的 CPU，不是 Host 里的 CPU）算力、向量算力才是关键。

忘掉 TOPS 值这个数字游戏吧！

$Tesla(TSLA.US) $Li Auto(LI.US) $LI AUTO-W(02015.HK)