理想馬赫 M100 芯片，終結算力數字遊戲

理想汽車發佈了一篇有關自研芯片馬赫 M100 的論文，題目為：

M100: An Orchestrated Dataﬂow Architecture Powering General AI Computing。

十幾頁的論文裏，隻字未提 TOPS，也就是業內慣用的算力值。

這個背後其實隱藏了一個反直覺的判斷：

50TOPS 的芯片，推理延遲可能比 1500TOPS 的芯片更低；CPU 裏的 1TOPS，可能頂得上 GPU 裏的 10TOPS 甚至 30TOPS。

理想 CTO 謝炎更直接，他説 GPU 架構的執行效率天花板只有 40%，而馬赫 M100 的目標是 50%-60%。

換句話説，同樣標稱 3000TOPS，實際能用上多少，是兩回事。

自動駕駛和具身智能已經進入 VLM/World+Action Expert 時代，TOPS 這把尺子，量錯了地方。

典型的 MAC 電路

首先要澄清算力這個概念，TOPS 這個指標是衡量芯片進行 MAC 運算時的能力，MAC 即 Multiply-accumulate，代表矩陣（矩陣是張量 tensor 的典型代表）的乘積累加。

MAC 一般是陣列形式，MAC 陣列一個週期能完成兩次操作 0perations，算力值就是 MAC 陣列數量 *2*MAC 陣列運行頻率，這個數值僅僅代表芯片的矩陣乘法能力，AI 運算中還有很多非矩陣乘法，只不過卷積神經網絡時代即 CNN 時代，95% 的運算都是矩陣乘法，於是將 TOPS 數值等同了芯片的 AI 算力。

今天 CNN 基本上被 Transformer 和 Transformer 與 Diffusion 的混合架構 DiT 替代，TOPS 這個數值已經無法反映真實的 AI 算力。

其次要説説等效算力這個水分重災區。

除了高通、英特爾、谷歌、華為這些老牌廠家，多數廠家給出的算力值是「等效算力」，通常藏在角落用小字標註，有些甚至完全不作説明。

如何才是真實的不注水的算力，很簡單，算力值就是 MAC 陣列數量 *2*MAC 陣列運行頻率。

例如高通 V73 NPU 有 16K MAC 數量，運行頻率峯值 1.5GHz，算力值就是 16K*2*1.5GHz=48TOPS，每秒 48 萬億次操作，乘 2 是因為 MAC 包含兩個 opertion。

再比如英特爾 Lunar Lake NPU，是英特爾的第四代 NPU，支持 FP16 和 INT8 數據類型，單 Neural Compute Engine(NCE) 包含 2K 個 INT8 MACs 一共有 6 NCEs，算力就是 12K MACs per cycle，NPU 對外提供的 INT8 算力就是 12000*2*2.05GHz =48TOPS。

谷歌 TPU V1 有 65K 個 MAC，頻率為 700MHz，算力即為 65000*700MHz*2=91TOPS。

不能提供 MAC 陣列數量和頻率的，都是等效算力，至於如何等效，全由廠家自己定義。

簡單説，TOPS 衡量的只是矩陣乘法的速度，但今天的 AI 模型早已不只是矩陣乘法的遊戲了。

上圖是 Transformer 架構計算分析，2017 年「Attention Is All You Need」論文提出的原始 Transformer 由兩大部分組成：

Encoder：讀取輸入序列，生成上下文表示。每層包含一個 Self-Attention 和一個 FFN，所有 token 可以互相關注（雙向注意力）。

Decoder：基於 Encoder 的輸出，自迴歸地生成目標序列。每層包含一個帶因果掩碼的 Self-Attention（只能看到已生成的 token）、一個 Cross-Attention（關注 Encoder 輸出）和一個 FFN。

Transformer 的計算流程分六步。

第一步：線性投影生成 Q、K、V，輸入 X 向量分別乘以三個權重矩陣，得到 Query、Key、Value，這是向量矩陣乘法。
第二步用 Q 和 K 的內積來衡量每對 token 之間的「匹配度」，即 self-attention。基本都是矩陣乘法，佔了 2/3 的計算量。
第三步縮放，開方並求倒數，屬於標量運算。第四步，對每一行做 softmax，把原始分數變成概率分佈。
第五步，用注意力權重 A 對 Value 矩陣 V 做加權求和，即標量加法運算。
第六步輸出投影。

Softmax 最複雜，包含了矩陣乘法、求平方根、標量乘法、標量加法，以及大量逐點操作（Element-wise Operation）。

所謂逐點操作指的是對向量或矩陣中的每個元素獨立進行相同的算術運算（如加、減、乘、除、激活函數等），而不會改變數據本身的形狀。這種操作會頻繁地搬運數據，存儲碎片化嚴重，對存儲帶寬和存儲搬運控制要求很高。

這裏有一個關鍵問題值得停下來想一想：為什麼 GPU 跑 Transformer 會遇到麻煩？

謝炎打了個比方——GPU 就像一個有無數工位的大工廠，但中間有個調度員統一發指令。

調度員本身就要消耗 30%-35% 的晶體管，規模越大，調度越成為瓶頸。

Transformer 裏的注意力計算需要把矩陣轉置後再相乘，GPU 的二級緩存裝不下，只能反覆去全局內存取數，直接撞上「內存牆」。這是架構層面的天生缺陷，不是多堆幾個 TOPS 能解決的。

自動駕駛和具身智能已經進入了 VLM/World+Action Expert 時代，目前的 VLA 或世界模型大都將輸出 Token 部分使用單獨的 Action Expert，其主要是擴散架構或擴散架構的變型流匹配架構，世界模型的預測生成則基本上是 transformer 與擴散架構的混合即 DiT 架構。

世界模型的核心是 DiT 架構，見上圖。

AdaLN-Zero（Adaptive Layer Normalization with Zero Initialization）是 Diffusion Transformer (DiT) 架構中的關鍵模塊，主要用於將擴散過程中的條件信息（如時間步、類別標籤）高效地融入 Transformer 塊中。其核心理念是通過一個 MLP（多層感知機）將標量時間步映射為向量，進而生成用於縮放（scale）、平移（shift）和門控（gate）歸一化特徵的參數。

流程大致分為兩步：

第一步是標量輸入 (Scalar Input)。

初始信息：擴散過程的時間步（如第 500 步）和類別標籤通常是標量。

經過 Sinusoidal Position Embedding（正弦位置編碼）或直接嵌入，轉化為高維的隱藏向量（Embedding Vector）。

向量化時間步：在視頻生成模型（如 Wan）中，為了適應不同幀的條件，標量時間步可能會被擴展為基於批量大小和幀數的向量。

第二步是向量輸出 (Vector Output - 調製參數)。

AdaLN-Zero 通過一個線性層（MLP）將條件向量轉化為 6 個特徵映射參數，這些參數是向量形式。基本都是標量和向量的操作，和矩陣乘法無關。

擴散模型與 Transformer 最大不同是它需要多次迭代，從正態高斯分佈中隨機採樣的高斯噪聲中逐步去噪，生成潛變量。

再送入解碼器，再去噪，如此往復，每一次輸入的噪音都更少，自然迭代次數（即 step 步數）越多性能越好，一般都在 20 次以上（最近有減少的趨勢，4-10 步較為常見）。

這是一個天然的串行操作。

每一步去噪都要等上一步完成才能開始，GPU 引以為傲的大規模並行能力在這裏幾乎沒有用武之地。

傳統的矩陣乘法算力在這個場景下接近無效，真正起作用的是 CPU 的高效調度、向量與標量運算能力，以及足夠高的存儲帶寬。

圖片來源：上海交通大學論文 Characterizing Vision-Language-Action Models across XPUs:Constraints and Acceleration for On-Robot Deployment，典型的具身智能 VLA 由視頻編碼器、VLM 和動作專家構成

上圖分析了三個具身智能 VLA 模型在不同處理器上的延遲。

其中 4090 是英偉達的 RTX 4090，B60 是英特爾的顯卡，與其配備的 CPU 是英特爾 11 代 i7-11700，310p 是華為的昇騰 310P，2023 年推出的 RTX4090 具備壓倒性的絕對優勢，實際上 RTX4090 可以碾壓目前 99% 的端側推理用芯片。

第二名是英偉達的 Thor-X，不過與第三名英特爾 B60 之間差距很小，在 GR00T 上幾乎沒差別，華為 310P 第四，Orin 最差墊底，雖然標稱 170TOPS，但實際上其 DLA 部分無法用於 Transformer 架構，實際 8 位精度稠密算力只有大約 83.5TOPS，遠不如華為 310P。

SmolVLA 是一個很小的具身智能 VLA 模型，總參數大約 4.5 億，流匹配的 ACTION EXPERT 僅僅佔了 1 億參數，但在計算過程中佔據了超過 60-70% 的推理延遲。

PI0 總參數規模 33 億，其中 ACTION EXPERT 是 3 億，雖然只佔 1/11，但延遲佔了 50% 以上。

注意看這張表最後一列：

Thor-X 的存儲帶寬只有 273GB/s，僅為 RTX 4090 的 27%，但在部分 VLA 模型上的延遲差距遠沒有這麼懸殊。這也算是算力數字失真的一個證明。

推理延遲不取決算力，數據搬運量加調度開銷同樣可以決定推理延遲，目前經過大模型蒸餾過的小模型尤其明顯，GPU 或者説矩陣乘法單元的數據搬運開銷和調度開銷比 CPU 要高得多，無論具身智能還是自動駕駛，40 億參數模型都是絕對主流。

40 億以下的小模型，CPU 比 GPU 更好，在 https://ai.google.dev/edge/litert-lm/overview?hl=zh-cn 上可以清晰看到 CPU 比 GPU 解碼階段效率更高，如 Gemma3-1B，CPU 的解碼速度是 33token 每秒，而 GPU 是 23token 每秒，儘管兩者的 TOPS 數值可能差十倍乃至數十倍，但整體延遲，CPU 還是比 GPU 要好，CPU 的 1TOPS 足以頂 GPU 的 10TOPS 甚至 30TOPS。

理論上的架構分析是一回事，實測延遲數據更直接，結果比想象中更殘酷。

再來看世界模型（WAM）的推理延遲。

數據來源：華為論文 DO WORLD ACTION MODELS GENERALIZE BETTER THAN VLA S ?

A R OBUSTNESS S TUDY，WAM 在運行速度上表現極不理想，LingBot-VA（RT）為了保證性能，使用 50 步 action 動作去噪音，延遲高達 5230 毫秒，為了實用，LingBot-VA（RW）是 3 步狀態去噪音 5 步動作去噪音，儘管如此延遲也有 480 毫秒，實用化的具身智能和自動駕駛大腦要求最低下限也是 10Hz，最好 30Hz，LingBot-VA（RW）只能做到 2Hz。

原因很簡單，目前以矩陣乘法為核心的 GPU 或 NPU 不行，無法應對擴散和 DiT 架構的模型。

3000TOPS 的等效算力只能發揮 30%，極端情況可能只有 1-5%。

這個問題的根源不是算力不夠，而是算力用錯了地方。

GPU 架構執行效率的天花板本就只有 40% 左右，擴散模型的串行迭代特性更讓這個數字雪上加霜。

謝炎的判斷是：要解決這個問題，需要在 NPU 裏強化 CPU（這裏指 NPU/GPU 內部的調度核心，不是 Host 端的 CPU）和向量計算單元，矩陣運算能力的優先級反而沒那麼高。

Transformer 時代的 AI 加速器裏都有標量計算單元，可近似看做 CPU，也有向量計算單元，但擴散和 DiT 架構的模型需要進一步加強這兩方面的能力。此外，存儲帶寬無論何種模型，何種狀態下都是要儘量提高。

回到理想的馬赫 M100。

200 人的團隊，做出了理想口中「中國第一款完全原創設計的 AI 芯片」。這顆芯片有個更準確的定位——不叫自動駕駛芯片，而是 AI 推理芯片。

理想汽車馬赫 M100 的 NPU 計算系統，和目前主流的 AI 加速器一致，包含標量、矢量和張量即矩陣。

馬赫 M100 的標量計算單元和 CPU 即上圖裏的 CCB，理想汽車採用了 SiFive 的 X280 RISC-V 4 核心 CPU 架構，支持 4 個併發的推理任務，配備了 32MB 的 SRAM，通過 NOC 即片上網絡與 CPU 連接，32MB 的 SRAM 花費成本不低。

NOC 選擇的是 Arteris 的 FlexNoC。

圖片來源：SiFive

X280 是 SiFive 在 2022 年發佈的針對汽車領域的 CPU 架構，包含標量與向量計算，標量方面是 64 比特架構，8 階雙路發射順序執行管線，512 比特的寄存器寬度，向量數據長度可變，最高支持 4096 比特。

在 Transformer 推理效率上，馬赫 M100 有幾個具體優勢值得説清楚：

注意力計算中的矩陣轉置無需經過全局內存，可以直接在計算單元間傳輸並同步完成轉置，效率比英偉達最多高 10 倍；

全局廣播總線讓矩陣可以一次同時送達所有計算單元，避免重複取數。

多個計算步驟可以串聯形成流水線，不用等一步算完再通知下一個模塊。

這些效率提升來自數據流架構本身，不是靠堆 TOPS 堆出來的。

馬赫 M100 的存儲帶寬為 273GB/s，在車規芯片中處於領先，但與消費級旗艦相比仍有差距。

不過謝炎對此有不同看法——他認為不能簡單拿參數衡量芯片能力，最終要看有效算力，就像蘋果內存最低但體驗最好一樣。

如果能用上 LPDDR6，就可以超越特斯拉還沒量產的 AI5 了。

LPDDR6 主流是 12.8Gbps 每通道，高端是 14.4Gbps，最高可達 16Gbps。

典型 LPDDR6 系統其存儲帶寬是 96*4/8*14.4=691GB/s，高性能可以提高到 96*6/8*14.4=1037GB/s，屆時存儲帶寬將輕鬆超越特斯拉尚未量產的 AI5 的 819GB/s。

高通、聯發科都會在今年的手機芯片上使用 LPDDR6。

理想用一篇不提 TOPS 的論文，實際上給行業出了一道思考題：

當芯片廠商還在比拼誰家數字更大的時候，真正的競爭已經悄悄轉移到別處。

馬赫 M100 或許不是標稱算力最高的芯片，但它可能是第一塊認清了「算力」本質的量產車載芯片

VLM/World+Action Expert 時代，TOPS 這個數字已經無足輕重。

存儲帶寬、CPU（加速器內部的 CPU，不是 Host 裏的 CPU）算力、向量算力才是關鍵。

忘掉 TOPS 值這個數字遊戲吧！

$特斯拉(TSLA.US) $理想汽車(LI.US) $理想汽車-W(02015.HK)