--- title: "理想馬赫 M100 芯片，終結算力數字遊戲" type: "Topics" locale: "zh-HK" url: "https://longbridge.com/zh-HK/topics/41142415.md" description: "理想汽車發佈了一篇有關自研芯片馬赫 M100 的論文，題目為：M100: An Orchestrated Dataflow Architecture Powering General AI Computing。十幾頁的論文裏，隻字未提 TOPS，也就是業內慣用的算力值。這個背後其實隱藏了一個反直覺的判斷：50TOPS 的芯片，推理延遲可能比 1500TOPS 的芯片更低；CPU 裏的 1TOPS..." datetime: "2026-05-27T03:34:16.000Z" locales: - [en](https://longbridge.com/en/topics/41142415.md) - [zh-CN](https://longbridge.com/zh-CN/topics/41142415.md) - [zh-HK](https://longbridge.com/zh-HK/topics/41142415.md) author: "[汽车之心](https://longbridge.com/zh-HK/profiles/3726156.md)" --- # 理想馬赫 M100 芯片，終結算力數字遊戲 理想汽車發佈了一篇有關自研芯片馬赫 M100 的論文，題目為： M100: An Orchestrated Dataflow Architecture Powering General AI Computing。 十幾頁的論文裏，隻字未提 TOPS，**也就是業內慣用的算力值。** 這個背後其實隱藏了一個反直覺的判斷： 50TOPS 的芯片，推理延遲可能比 1500TOPS 的芯片更低；CPU 裏的 1TOPS，可能頂得上 GPU 裏的 10TOPS 甚至 30TOPS。 理想 CTO 謝炎更直接，他説 GPU 架構的執行效率天花板只有 40%，**而馬赫 M100 的目標是 50%-60%。** 換句話説，同樣標稱 3000TOPS，實際能用上多少，**是兩回事。** 自動駕駛和具身智能已經進入 VLM/World+Action Expert 時代，TOPS 這把尺子，量錯了地方。 典型的 MAC 電路 首先要澄清算力這個概念，TOPS 這個指標是衡量芯片進行 MAC 運算時的能力，MAC 即 Multiply-accumulate，代表矩陣（矩陣是張量 tensor 的典型代表）的乘積累加。 MAC 一般是陣列形式，MAC 陣列一個週期能完成兩次操作 0perations，算力值就是 MAC 陣列數量 \*2\*MAC 陣列運行頻率，這個數值僅僅代表芯片的矩陣乘法能力，AI 運算中還有很多非矩陣乘法，只不過卷積神經網絡時代即 CNN 時代，95% 的運算都是矩陣乘法，於是將 TOPS 數值等同了芯片的 AI 算力。 今天 CNN 基本上被 Transformer 和 Transformer 與 Diffusion 的混合架構 DiT 替代，TOPS 這個數值已經無法反映真實的 AI 算力。 其次要説説等效算力這個水分重災區。 除了高通、英特爾、谷歌、華為這些老牌廠家，多數廠家給出的算力值是「等效算力」，通常藏在角落用小字標註，有些甚至完全不作説明。 如何才是真實的不注水的算力，很簡單，算力值就是 MAC 陣列數量 \*2\*MAC 陣列運行頻率。 例如高通 V73 NPU 有 16K MAC 數量，運行頻率峯值 1.5GHz，算力值就是 16K\*2\*1.5GHz=48TOPS，每秒 48 萬億次操作，乘 2 是因為 MAC 包含兩個 opertion。 再比如英特爾 Lunar Lake NPU，是英特爾的第四代 NPU，支持 FP16 和 INT8 數據類型，單 Neural Compute Engine(NCE) 包含 2K 個 INT8 MACs 一共有 6 NCEs，算力就是 12K MACs per cycle，NPU 對外提供的 INT8 算力就是 12000\*2\*2.05GHz =48TOPS。 谷歌 TPU V1 有 65K 個 MAC，頻率為 700MHz，算力即為 65000\*700MHz\*2=91TOPS。 不能提供 MAC 陣列數量和頻率的，都是等效算力，至於如何等效，全由廠家自己定義。 簡單説，TOPS 衡量的只是矩陣乘法的速度，但今天的 AI 模型早已不只是矩陣乘法的遊戲了。 上圖是 Transformer 架構計算分析，2017 年「Attention Is All You Need」論文提出的原始 Transformer 由兩大部分組成： Encoder：讀取輸入序列，生成上下文表示。每層包含一個 Self-Attention 和一個 FFN，所有 token 可以互相關注（雙向注意力）。 Decoder：基於 Encoder 的輸出，自迴歸地生成目標序列。每層包含一個帶因果掩碼的 Self-Attention（只能看到已生成的 token）、一個 Cross-Attention（關注 Encoder 輸出）和一個 FFN。 Transformer 的計算流程分六步。 - 第一步：線性投影生成 Q、K、V，輸入 X 向量 分別乘以三個權重矩陣，得到 Query、Key、Value，這是向量矩陣乘法。 - 第二步用 Q 和 K 的內積來衡量每對 token 之間的「匹配度」，即 self-attention。基本都是矩陣乘法，佔了 2/3 的計算量。 - 第三步縮放，開方並求倒數，屬於標量運算。第四步，對每一行做 softmax，把原始分數變成概率分佈。 - 第五步，用注意力權重 A 對 Value 矩陣 V 做加權求和，即標量加法運算。 - 第六步輸出投影。 Softmax 最複雜，包含了矩陣乘法、求平方根、標量乘法、標量加法，以及大量逐點操作（Element-wise Operation）。 所謂逐點操作 指的是對向量或矩陣中的每個元素獨立進行相同的算術運算（如加、減、乘、除、激活函數等），而不會改變數據本身的形狀。這種操作會頻繁地搬運數據，存儲碎片化嚴重，對存儲帶寬和存儲搬運控制要求很高。 這裏有一個關鍵問題值得停下來想一想：為什麼 GPU 跑 Transformer 會遇到麻煩？ 謝炎打了個比方——GPU 就像一個有無數工位的大工廠，**但中間有個調度員統一發指令。** 調度員本身就要消耗 30%-35% 的晶體管，**規模越大，調度越成為瓶頸。** Transformer 裏的注意力計算需要把矩陣轉置後再相乘，GPU 的二級緩存裝不下，只能反覆去全局內存取數，直接撞上「內存牆」。這是架構層面的天生缺陷，不是多堆幾個 TOPS 能解決的。 自動駕駛和具身智能已經進入了 VLM/World+Action Expert 時代，目前的 VLA 或世界模型大都將輸出 Token 部分使用單獨的 Action Expert，其主要是擴散架構或擴散架構的變型流匹配架構，世界模型的預測生成則基本上是 transformer 與擴散架構的混合即 DiT 架構。 世界模型的核心是 DiT 架構，見上圖。 AdaLN-Zero（Adaptive Layer Normalization with Zero Initialization）是 Diffusion Transformer (DiT) 架構中的關鍵模塊，主要用於將擴散過程中的條件信息（如時間步、類別標籤）高效地融入 Transformer 塊中。其核心理念是通過一個 MLP（多層感知機）將標量時間步映射為向量，進而生成用於縮放（scale）、平移（shift）和門控（gate）歸一化特徵的參數。 流程大致分為兩步： 第一步是**標量輸入** (Scalar Input)。 初始信息： 擴散過程的時間步（如第 500 步）和類別標籤通常是標量。 經過 Sinusoidal Position Embedding（正弦位置編碼）或直接嵌入，轉化為高維的隱藏向量（Embedding Vector）。 向量化時間步： 在視頻生成模型（如 Wan）中，為了適應不同幀的條件，標量時間步可能會被擴展為基於批量大小和幀數的向量。 第二步是**向量輸出** (Vector Output - 調製參數)。 AdaLN-Zero 通過一個線性層（MLP）將條件向量轉化為 6 個特徵映射參數，這些參數是向量形式。基本都是標量和向量的操作，和矩陣乘法無關。 擴散模型與 Transformer 最大不同是它需要多次迭代，從正態高斯分佈中隨機採樣的高斯噪聲中逐步去噪，生成潛變量。 再送入解碼器，再去噪，如此往復，每一次輸入的噪音都更少，自然迭代次數（即 step 步數）越多性能越好，一般都在 20 次以上（最近有減少的趨勢，4-10 步較為常見）。 這是一個天然的串行操作。 每一步去噪都要等上一步完成才能開始，GPU 引以為傲的大規模並行能力在這裏幾乎沒有用武之地。 傳統的矩陣乘法算力在這個場景下接近無效，真正起作用的是 CPU 的高效調度、向量與標量運算能力，以及足夠高的存儲帶寬。 圖片來源：上海交通大學論文 Characterizing Vision-Language-Action Models across XPUs:Constraints and Acceleration for On-Robot Deployment，典型的具身智能 VLA 由視頻編碼器、VLM 和動作專家構成 上圖分析了三個具身智能 VLA 模型在不同處理器上的延遲。 其中 4090 是英偉達的 RTX 4090，B60 是英特爾的顯卡，與其配備的 CPU 是英特爾 11 代 i7-11700，310p 是華為的昇騰 310P，2023 年推出的 RTX4090 具備壓倒性的絕對優勢，實際上 RTX4090 可以碾壓目前 99% 的端側推理用芯片。 第二名是英偉達的 Thor-X，不過與第三名英特爾 B60 之間差距很小，在 GR00T 上幾乎沒差別，華為 310P 第四，Orin 最差墊底，雖然標稱 170TOPS，但實際上其 DLA 部分無法用於 Transformer 架構，實際 8 位精度稠密算力只有大約 83.5TOPS，遠不如華為 310P。 SmolVLA 是一個很小的具身智能 VLA 模型，總參數大約 4.5 億，流匹配的 ACTION EXPERT 僅僅佔了 1 億參數，但在計算過程中佔據了超過 60-70% 的推理延遲。 PI0 總參數規模 33 億，其中 ACTION EXPERT 是 3 億，雖然只佔 1/11，**但延遲佔了 50% 以上。** 注意看這張表最後一列： Thor-X 的存儲帶寬只有 273GB/s，僅為 RTX 4090 的 27%，但在部分 VLA 模型上的延遲差距遠沒有這麼懸殊。這也算是算力數字失真的一個證明。 推理延遲不取決算力，數據搬運量加調度開銷同樣可以決定推理延遲，目前經過大模型蒸餾過的小模型尤其明顯，GPU 或者説矩陣乘法單元的數據搬運開銷和調度開銷比 CPU 要高得多，無論具身智能還是自動駕駛，40 億參數模型都是絕對主流。 40 億以下的小模型，CPU 比 GPU 更好，在 https://ai.google.dev/edge/litert-lm/overview?hl=zh-cn 上可以清晰看到 CPU 比 GPU 解碼階段效率更高，如 Gemma3-1B，CPU 的解碼速度是 33token 每秒，而 GPU 是 23token 每秒，儘管兩者的 TOPS 數值可能差十倍乃至數十倍，但整體延遲，CPU 還是比 GPU 要好，CPU 的 1TOPS 足以頂 GPU 的 10TOPS 甚至 30TOPS。 **理論上的架構分析是一回事，實測延遲數據更直接，結果比想象中更殘酷。** 再來看世界模型（WAM）的推理延遲。 數據來源：華為論文 DO WORLD ACTION MODELS GENERALIZE BETTER THAN VLA S ? A R OBUSTNESS S TUDY，WAM 在運行速度上表現極不理想，LingBot-VA（RT）為了保證性能，使用 50 步 action 動作去噪音，延遲高達 5230 毫秒，為了實用，LingBot-VA（RW）是 3 步狀態去噪音 5 步動作去噪音，儘管如此延遲也有 480 毫秒，實用化的具身智能和自動駕駛大腦要求最低下限也是 10Hz，最好 30Hz，LingBot-VA（RW）只能做到 2Hz。 原因很簡單，目前以矩陣乘法為核心的 GPU 或 NPU 不行，無法應對擴散和 DiT 架構的模型。 3000TOPS 的等效算力只能發揮 30%，**極端情況可能只有 1-5%。** 這個問題的根源不是算力不夠，而是算力用錯了地方。 GPU 架構執行效率的天花板本就只有 40% 左右，擴散模型的串行迭代特性更讓這個數字雪上加霜。 謝炎的判斷是：要解決這個問題，需要在 NPU 裏強化 CPU（這裏指 NPU/GPU 內部的調度核心，不是 Host 端的 CPU）和向量計算單元，矩陣運算能力的優先級反而沒那麼高。 Transformer 時代的 AI 加速器裏都有標量計算單元，可近似看做 CPU，也有向量計算單元，但擴散和 DiT 架構的模型需要進一步加強這兩方面的能力。此外，存儲帶寬無論何種模型，何種狀態下都是要儘量提高。 回到理想的馬赫 M100。 200 人的團隊，做出了理想口中「中國第一款完全原創設計的 AI 芯片」。這顆芯片有個更準確的定位——**不叫自動駕駛芯片，而是 AI 推理芯片。** 理想汽車馬赫 M100 的 NPU 計算系統，和目前主流的 AI 加速器一致，包含標量、矢量和張量即矩陣。 馬赫 M100 的標量計算單元和 CPU 即上圖裏的 CCB，理想汽車採用了 SiFive 的 X280 RISC-V 4 核心 CPU 架構，支持 4 個併發的推理任務，配備了 32MB 的 SRAM，通過 NOC 即片上網絡與 CPU 連接，32MB 的 SRAM 花費成本不低。 NOC 選擇的是 Arteris 的 FlexNoC。 圖片來源：SiFive X280 是 SiFive 在 2022 年發佈的針對汽車領域的 CPU 架構，包含標量與向量計算，標量方面是 64 比特架構，8 階雙路發射順序執行管線，512 比特的寄存器寬度，向量數據長度可變，最高支持 4096 比特。 在 Transformer 推理效率上，馬赫 M100 有幾個具體優勢值得説清楚： 注意力計算中的矩陣轉置無需經過全局內存，可以直接在計算單元間傳輸並同步完成轉置，效率比英偉達最多高 10 倍； 全局廣播總線讓矩陣可以一次同時送達所有計算單元，避免重複取數。 多個計算步驟可以串聯形成流水線，不用等一步算完再通知下一個模塊。 這些效率提升來自數據流架構本身，不是靠堆 TOPS 堆出來的。 馬赫 M100 的存儲帶寬為 273GB/s，在車規芯片中處於領先，但與消費級旗艦相比仍有差距。 不過謝炎對此有不同看法——**他認為不能簡單拿參數衡量芯片能力，最終要看有效算力，就像蘋果內存最低但體驗最好一樣。** 如果能用上 LPDDR6，就可以超越特斯拉還沒量產的 AI5 了。 LPDDR6 主流是 12.8Gbps 每通道，高端是 14.4Gbps，最高可達 16Gbps。 典型 LPDDR6 系統其存儲帶寬是 96\*4/8\*14.4=691GB/s，高性能可以提高到 96\*6/8\*14.4=1037GB/s，**屆時存儲帶寬將輕鬆超越特斯拉尚未量產的 AI5 的 819GB/s。** 高通、聯發科都會在今年的手機芯片上使用 LPDDR6。 理想用一篇不提 TOPS 的論文，實際上給行業出了一道思考題： 當芯片廠商還在比拼誰家數字更大的時候，真正的競爭已經悄悄轉移到別處。 馬赫 M100 或許不是標稱算力最高的芯片，但它可能是第一塊認清了「算力」本質的量產車載芯片 VLM/World+Action Expert 時代，TOPS 這個數字已經無足輕重。 存儲帶寬、CPU（加速器內部的 CPU，不是 Host 裏的 CPU）算力、向量算力才是關鍵。 忘掉 TOPS 值這個數字遊戲吧！ $特斯拉(TSLA.US) $理想汽車(LI.US) $理想汽車-W(02015.HK) ### 相關股票 - [02015.HK](https://longbridge.com/zh-HK/quote/02015.HK.md) - [GOOG.US](https://longbridge.com/zh-HK/quote/GOOG.US.md) - [GOOGL.US](https://longbridge.com/zh-HK/quote/GOOGL.US.md) - [HUAWEI.NA](https://longbridge.com/zh-HK/quote/HUAWEI.NA.md) - [LI.US](https://longbridge.com/zh-HK/quote/LI.US.md) - [GGLS.US](https://longbridge.com/zh-HK/quote/GGLS.US.md) - [GGLL.US](https://longbridge.com/zh-HK/quote/GGLL.US.md) - [TSLA.US](https://longbridge.com/zh-HK/quote/TSLA.US.md)