另一个主要因素是需求的强劲结构性增长，这一点显然得到了满足。

最直接的原因是英伟达需要不断升级其 “代币工厂” 硬件，以提供更高的代币吞吐量。这推动了 HBM 带宽和 HBM 容量（大小）的极快代际升级，导致需求呈指数级增长。

正如早先的 AI 半导体分析所总结的，代币吞吐量等于 HBM 大小乘以 HBM 带宽，而这一数值大约每代翻一番。平均而言，每个 GPU 的 HBM 大小每年增长超过 40%。

这条需求曲线增长如此陡峭，以至于供应方很难跟上。即使晶圆产量增长 14%，内存密度提高 9%，整体$Roundhill T-Rex 2X Long DRAM Dly TrgtETF(RAM.US)DRAM 供应增长也根本无法匹配 AI 驱动的 HBM 需求步伐。

在硬件架构中，注意力阶段的 KV 缓存既需要极高的带宽，也需要非常大的内存容量。这赋予了 HBM 独特且不可替代的地位。即使 HBM 价格上涨三到五倍，通过投资更多 HBM 获得的额外代币吞吐量，其成本效益仍然远高于将资金花在任何其他地方。

其他内存技术，如 SRAM、HBF、CXL 和 PIM，目前在关键的 KV 缓存和注意力工作负载方面无法与 HBM 直接竞争。至少在接下来的五年内，甚至可能更长时间，都没有可行的替代方案。

@Bridge Buzz SG