--- title: "世界模型来了，旧的自动驾驶芯片开始失效" type: "Topics" locale: "zh-CN" url: "https://longbridge.com/zh-CN/topics/41142088.md" description: "过去几年，汽车行业有一个越来越明显的变化：车企开始亲自下场造芯片。特斯拉有 FSD 已迭代至第五代；蔚来推出神玑 NX9031；小鹏自研 AI 图灵芯片；理想造了马赫 M100；比亚迪、吉利、Momenta 也被频繁点名。表面上看，这是一场「去英伟达化」的运动。但如果只看到这一层，就太浅了。真正的问题是：自动驾驶模型本身，已经开始变了。从 CNN，到 Transformer..." datetime: "2026-05-27T03:10:27.000Z" locales: - [en](https://longbridge.com/en/topics/41142088.md) - [zh-CN](https://longbridge.com/zh-CN/topics/41142088.md) - [zh-HK](https://longbridge.com/zh-HK/topics/41142088.md) author: "[汽车之心](https://longbridge.com/zh-CN/profiles/3726156.md)" --- # 世界模型来了，旧的自动驾驶芯片开始失效 过去几年，汽车行业有一个越来越明显的变化：**车企开始亲自下场造芯片。** 特斯拉有 FSD 已迭代至第五代；蔚来推出神玑 NX9031；小鹏自研 AI 图灵芯片；理想造了马赫 M100；比亚迪、吉利、Momenta 也被频繁点名。 表面上看，这是一场「去英伟达化」的运动。 但如果只看到这一层，就太浅了。 **真正的问题是：自动驾驶模型本身，已经开始变了。** 从 CNN，到 Transformer，再到 DiT 与世界模型，模型范式在切换，而旧时代的芯片逻辑，未必还能接住下一代自动驾驶。 这才是车企重新造芯片的真正原因。 **01、不是省钱，是抢控制权** 自研还是外采，表面是商业决策，骨子里是对**技术路**线的判断。 自研或外采取决于车厂对自动驾驶路线的判断，芯片研发周期比较长。 从完整定义设计目标到芯片上量产车型，中间需要 2-4 年。海外厂家更长，可能是 3-5 年。 这意味着芯片厂家在今天落笔，押注的其实是 5-8 年后的技术走向。 预测错了，要么芯片生命周期大幅缩短，要么干脆没人用。 **做汽车数字类芯片，赌性确实很大。** 车企自研芯片，某种意义上是在说：我比供应商更清楚自己五年后要跑什么模型。 5 纳米甚至 3 纳米，一次性工程费用加对外采购 IP 高达数亿人民币。一次性工程费用加 IP 授权，动辄数亿人民币。 出货量不够，账面上一定是亏的。但这笔钱可以进整体研发成本，还能拉高市值、强化科技品牌。 账算到最后，商业逻辑是通的。 技术门槛方面，随着 IP 生态成熟、EDA 工具链完善，以及索喜这类专门服务车厂定制芯片的中间商涌现，工程难度正在快速下降。 真正难的部分，已经转移到软件栈、编译器和长期模型适配上，这恰恰是芯片供应商最难替你定制的部分。 **02、模型变了，芯片的逻辑也得变** 先搞清楚现在的自动驾驶，在跑什么模型。 目前自动驾驶路线有三条。 一是**分段端到端**，大多数厂家的选择，典型代表是 Uni-AD，总参数一般不超过 5 亿。 二是 **VLA 路线**，视觉 - 语言 - 行动模型，加扩散动作专家或 MLP，融合世界模型提高推理效率，VLA 通常是 MoE 架构，参数一般在 20—70 亿。 三是**世界模型加扩散动作专家**，目前还没有量产上车的案例，要等的时间可能比想象中更长。 这三条路线对芯片的需求截然不同。 而且没有哪家厂家只押一条路。 **三条线都在做，都在看，没人敢掉队。** 这里有一个流传很广的误区：只要 TOPS 数值够大，就能应对所有模型。 CNN 时代确实如此，算力堆上去，性能就上去。但今天是 CNN+Transformer 的混合时代，明天可能是 Transformer+DiT 的时代。 5000TOPS 的芯片，跑 DiT 架构，很可能打不过 300TOPS 的对手。 决定胜负的，是存储带宽、编排能力、紧耦合分级内存、SFU、可编程向量算力。哪一个，都比 TOPS 数字重要。 **TOPS 崇拜，正在失效。** 世界模型的核心是 DiT 架构 **03、世界模型带来的新麻烦** 第三条路线是去年才真正成形的。它的核心架构，叫 **DiT**。 世界模型的典型架构，上图来自论文 Fast-WAM: Do World Action Models Need Test-time Future Imagination? 世界模型为什么特殊？ 因为 DiT 对时序信息有天然的亲和力。它不只是个「更好的图像生成器」，而是为视频、动画乃至自动驾驶和具身智能量身打造的架构。 无论联合建模、先想象后执行，还是「训练时建模、推理时直出动作」，无论哪一种世界模型范式，DiT 都是核心。 问题在于：**市面上根本没有为 DiT 推理专门设计的芯片。** 扩散模型推理流程 扩散模型的推理流程异常复杂。 传统高算力芯片只能应对稠密张量矩阵乘法，也就是去噪循环内部的计算。 其余的不规则计算、向量编码、内存敏感的激活，要么依赖标量 CPU，要么靠向量算法，对芯片设计构成严峻考验。 如果一家车企决心沿世界模型路线走，又不想等市场上出现合适的芯片，**大概率只有一条路：自研。** **04、存储带宽，才是真正的命门** 有一个细节值得单独拿出来说。 无论哪条技术路线，存储带宽都是越宽越好。 VLM（视觉语言模型）最为典型——解码阶段是 VLM 的主要耗时，而解码速度完全由存储带宽决定。 换句话说，VLM 的整体性能，本质上是存储带宽的性能。 这也是为什么特斯拉 AI4/AI5 不惜血本拓宽存储带宽。他们很清楚，真正的瓶颈在哪里。 自回归（AR）架构的解码阶段是内存绑定的。算力再高，也无法加速。系统性能完全取决于存储带宽和调度延迟，这个阶段甚至有些小模型在 CPU 上跑比 GPU 还快。 扩散模型则是另一种困境：它高度依赖 Batch size（并发批处理数量）。Batch 越大，矩阵乘法单元利用率越高。但 Batch 一大，去噪循环外的不规则运算和调度消耗就会暴涨，整体延迟大幅增加。 对延迟敏感的自动驾驶场景，Batch 通常只能设 1-4，很少超过 8。结果是：**GPU 账面算力惊人，实际大量空转。** **05、大核、中核、小核：三种计算哲学** 自动驾驶芯片的核心是 AI 加速器。而 AI 加速器的路线之争，本质上是三种计算哲学的对撞。 按照单个矩阵乘 ALU 的 M×N×K 维度，目前分三个流派：**大核心、中核心、小核心。** **（1）大核心：极致效率主义** 大核心的典型是脉动阵列架构。 谷歌 TPU v5/v6，256×256，每个核心有 65536 个 MAC 阵列。数据只流入一次，沿脉冲向前传，SRAM 读取压力远低于小核方案。跑 LLM/VLM 这种形状高度规整、batch 极大的模型，能效比和性价比遥遥领先。 典型代表：谷歌 TPU、AWS Trainium、Groq LPU、英特尔 Gaudi、特斯拉 HW3.0、蔚来神玑、小鹏图灵、芯擎、高通 AI100。 TPU v5 每阵列频率 1.5GHz，单核算力约 197TOPS；v6 升级为 Tile 脉动，同频率下单核算力达 918TOPS。每条指令驱动 65536 次 MAC，稠密矩阵乘法上的效率压倒性领先。 代价也很明显。大核心更像一条超大型流水线——数据形状足够规整时效率极高，一旦模型结构变得稀疏、动态或非规则，流水线就开始空转。 大核心的缺点也很明显，首先是对数据流形状或者说矩阵形状高度敏感，256\*256 的阵列要求 M\\N\\K 都必须是 256 的整数倍，如果不是整数倍，就需要 tile 切分、padding、layout 变换、双缓冲、collective。 256×256 的阵列要求 M/N/K 都必须是 256 的整数倍，稍有偏差就需要大量预处理工序。 编译器做得差，计算利用率低到 10% 甚至 1% 不罕见；做得好，也很难超过 40%。跑一个百亿参数的模型和一个千万参数的模型，用时可能一样。软 件团队规模是硬件的十倍以上——这条路，养人成本极高，亏损几乎不可避免。 另一个硬伤： 非结构化稀疏完全无效。自动驾驶视觉模型是典型的稀疏模型，而大核心是典型的稠密引擎。 谷歌 TPU v6e 为此单独增加了稀疏张量核心，但这必然增加软件复杂度和调度时间。 **（2）小核心：极致灵活主义** 小核心实际就是多核 CPU。 小核心的极端代表是特斯拉 Dojo——实质上是 384 核心 CPU 的集合体，每核有独立分支、循环、PC 和本地 SRAM。 它的天然优势：对任何形状的数据都能轻松处理。 batch=1 也能保持很高的利用率；天然适配 decode、MoE expert 路由、可变长 KV cache；原生支持非结构化细粒度稀疏。 Cerebras 的报告显示，75% 稀疏度下相对稠密基线可达约 2.5 倍实际加速——这在大核心架构上根本做不到。 代价同样明显。每个小核都要付出独立取指/译码/寄存器堆/控制逻辑的开销。同样工艺同样算力下，纯小核设计比脉动阵列多付 2—5 倍面积，也就是同样算力，成本要贵 2—5 倍。 这个数字，足以让大多数厂家望而却步。**所以真正走小核路线的，凤毛麟角。** **（3）中核心：平衡主义** 英伟达选择了第三条路——既不极致，但也从不死路。 GPU 把矩阵单元做在 16×16，数量比大核多、远少于 CUDA core，一颗 H100 上中核 Tensor Core 负责稠密算力、CUDA 小核负责控制流和稀疏两套并存。warp 调度隐藏 shape 敏感性，不对齐的部分交给 CUDA core 补齐。 这正是英伟达真正强的地方，从来不是算力本身，而是在效率、灵活性与生态之间找到了某种平衡。 这也是为什么，即使所有车企都在喊「去英伟达化」，真正完全脱离英伟达的公司依旧极少。 典型代表：英伟达、AMD、华为（910/810/610 从一开始就是 16×16×16）、理想、Momenta。特斯拉 AI5 大概率也走中核路线。 高通的 NPU 是这套逻辑的另一个注脚。 从 SA8155 的 8TOPS 到 SA8397P/SA8797 的 80TOPS，矩阵单元数量一直没有变化，标量和矢量线程数量却在持续增加——应对越来越复杂的推理场景，高通选择的是往小核方向加筹码。 **06、没有完美的芯片，只有押注** 三条路线，各有死穴。 对于 VLM 这种大模型，GEMM 密度很高，矩阵尺寸大，大核心几乎完美，模型越大越完美。 但对于 DiT 和扩散模型，串行属性明显，某些部分 GEMM 密度很高，其余都是低密度，更适合小核心。而小核心的性价比，很难让商业决策者满意。 英伟达的中核心，在 GEMM 和非规则计算之间走钢丝，但应对 DiT 和扩散模型时，依然有力不从心的地方。 车载场景的特殊性还在于：**不大可能跑百亿参数以上的大模型，存储成本撑不住。中核心加小核心的组合，或许是比较务实的应对方式。** 小米的玄戒做汽车座舱芯片，技术上没有障碍；吉利、比亚迪、Momenta 的自研芯片项目，大概率也在推进中。 唯有传统车厂，依然秉持能外采绝不自研的逻辑。 这无可厚非，只是在模型范式加速切换的当下，这个原则面临越来越大的压力。 自动驾驶芯片真正难的，从来不是把芯片造出来。 而是今天就要押中，五年后 AI 会长成什么样子。 $特斯拉(TSLA.US) $英伟达(NVDA.US) $高通(QCOM.US) ### 相关股票 - [09866.HK](https://longbridge.com/zh-CN/quote/09866.HK.md) - [09868.HK](https://longbridge.com/zh-CN/quote/09868.HK.md) - [02015.HK](https://longbridge.com/zh-CN/quote/02015.HK.md) - [NVDA.US](https://longbridge.com/zh-CN/quote/NVDA.US.md) - [TSLA.US](https://longbridge.com/zh-CN/quote/TSLA.US.md) - [NIO.SG](https://longbridge.com/zh-CN/quote/NIO.SG.md) - [NIO.US](https://longbridge.com/zh-CN/quote/NIO.US.md) - [XPEV.US](https://longbridge.com/zh-CN/quote/XPEV.US.md) - [LI.US](https://longbridge.com/zh-CN/quote/LI.US.md) - [NVDL.US](https://longbridge.com/zh-CN/quote/NVDL.US.md) - [07788.HK](https://longbridge.com/zh-CN/quote/07788.HK.md) - [07388.HK](https://longbridge.com/zh-CN/quote/07388.HK.md) - [NVDY.US](https://longbridge.com/zh-CN/quote/NVDY.US.md) - [NVDD.US](https://longbridge.com/zh-CN/quote/NVDD.US.md) - [NVDX.US](https://longbridge.com/zh-CN/quote/NVDX.US.md) - [NVDQ.US](https://longbridge.com/zh-CN/quote/NVDQ.US.md) - [TSDD.US](https://longbridge.com/zh-CN/quote/TSDD.US.md) - [TSLL.US](https://longbridge.com/zh-CN/quote/TSLL.US.md) - [TSLQ.US](https://longbridge.com/zh-CN/quote/TSLQ.US.md) - [09366.HK](https://longbridge.com/zh-CN/quote/09366.HK.md)