另一個主要因素是需求的強勁結構性增長，這一點顯然得到了滿足。

最直接的原因是英偉達需要不斷升級其 “代幣工廠” 硬件，以提供更高的代幣吞吐量。這推動了 HBM 帶寬和 HBM 容量（大小）的極快代際升級，導致需求呈指數級增長。

正如早先的 AI 半導體分析所總結的，代幣吞吐量等於 HBM 大小乘以 HBM 帶寬，而這一數值大約每代翻一番。平均而言，每個 GPU 的 HBM 大小每年增長超過 40%。

這條需求曲線增長如此陡峭，以至於供應方很難跟上。即使晶圓產量增長 14%，內存密度提高 9%，整體$Roundhill T-Rex 2X Long DRAM Dly TrgtETF(RAM.US)DRAM 供應增長也根本無法匹配 AI 驅動的 HBM 需求步伐。

在硬件架構中，注意力階段的 KV 緩存既需要極高的帶寬，也需要非常大的內存容量。這賦予了 HBM 獨特且不可替代的地位。即使 HBM 價格上漲三到五倍，通過投資更多 HBM 獲得的額外代幣吞吐量，其成本效益仍然遠高於將資金花在任何其他地方。

其他內存技術，如 SRAM、HBF、CXL 和 PIM，目前在關鍵的 KV 緩存和注意力工作負載方面無法與 HBM 直接競爭。至少在接下來的五年內，甚至可能更長時間，都沒有可行的替代方案。

@Bridge Buzz SG