Hot Chips 深度：HBM 走向定製化與三維堆疊，三星、英偉達、美光各亮路線圖

AI 算力需求的爆發正將 HBM 存儲推向架構演進的十字路口。在本屆 Hot Chips 大會上，三星、美光、SK 海力士與英偉達密集披露各自技術路線圖，核心議題高度集中：HBM 正從標準化商品走向定製化平台，三維垂直堆疊成為下一代架構的共同方向，而散熱與功耗約束已成為制約擴展的首要瓶頸。

三星提出將 HBM 基礎底片（base die）從通信層演進為定製化 AI 平台的三階段路線圖，並披露 ZHBM 概念——將 HBM 直接垂直堆疊於 XPU 之上，目標是將總 DRAM 功耗較 HBM5 降低約 70%，絕對功耗降幅超過 100W，帶寬提升 2.3 倍以上。與此同時，英偉達披露其實驗室已擁有至少三款 RVA23 處理器，並完成了 CUDA 在 RISC-V 硬件上運行的首次公開演示，展示了第三方定製 CPU 接入 NVLink Fusion 生態的具體路徑。

從市場影響看，超大規模雲廠商 AI 資本支出的持續加速是貫穿本屆大會的核心敍事主線。存儲分析師 Jim Handy 指出，HBM 每片晶圓產出的 GB 數僅為標準 DDR 的三分之一，加之過去十餘年行業幾乎沒有大規模新建晶圓廠，新建產能即便在激進時間表下也需約兩年，行業對當前需求衝擊的響應能力嚴重受限。HBM 現貨價格已較此前水平上漲約 7 倍，三星、SK 海力士、美光及主要 NAND 供應商均錄得異常強勁的營收增長。

Handy 的分析勾勒出當前存儲市場的核心矛盾。

需求側，幾乎所有主流 AI 加速器——包括英偉達 GPU、谷歌 TPU 及各類定製硅片——均依賴 HBM；連部分網絡組件也開始採用 HBM，創造了數年前幾乎不存在的新需求類別。供給側，由於歷史上工藝微縮足以滿足位元增長，DRAM 供應商已逾十年未進行大規模產能擴張，短期新建產能幾乎無望。

Handy 同時駁斥了"算法效率提升將壓低硬件需求"的常見論斷。他認為，當一項新技術將內存需求降低 6 倍，超大規模雲廠商的典型反應是用相同預算處理 6 倍的 Token，而非削減資本支出。效率提升改變的是 AI 基礎設施的生產力，未必減少投入其中的資金總量。

AI 基礎設施的擴張同步收緊了 NAND 與 HDD 市場。META 測試在 TLC SSD 與 HDD 之間部署低成本 QLC SSD 後發現性能改善，促使超大規模數據中心更廣泛地採用 SSD；AI 基礎設施對 HDD 需求的拉動也已造成短缺，QLC SSD 隨之開始填補新存儲層級甚至替代缺貨 HDD，助推 NAND 進入短缺狀態，鎧俠和閃迪（SNDK）從中受益。

美光 HBM 設計架構師 Ragu 從成本與物理極限兩個維度量化了 HBM 擴展的代價。在典型的包含 4 個 12 層 HBM 堆棧的 GPU 封裝中，內存硅片總量約為 GPU 硅片的 8 倍，意味着系統級封裝中約 90% 的硅片與內存相關。一個 DRAM 裸片失效即可影響整個封裝，可靠性挑戰隨堆棧高度增加而顯著加劇。

Ragu 引用 Meta 公佈的 Llama 3 研究數據：約 17% 的非預期訓練中斷歸因於 HBM。這一數據直接揭示了 HBM 可靠性對大規模 AI 訓練集羣的實質性影響。

散熱問題已上升為首要架構約束。HBM 基礎底片是發熱最嚴重的區域之一，熱量從底部產生而散熱裝置位於 DRAM 堆棧上方，迫使熱量穿越每一層。美光表示，HBM 從設計之初就越來越多地圍繞散熱限制展開，局部功率密度和熱點已與總功耗同等重要。

在堆疊極限方面，美光認為 16 層 HBM 在技術路徑上可行，但 JEDEC 討論的 20 層堆疊仍面臨大量未解難題——TSV 密度、功率密度、散熱、機械完整性及製造良率均構成嚴苛約束，而非信號傳輸距離本身（整個堆棧高度仍低於約 1 毫米）。

從帶寬擴展路徑看，HBM 通過極度並行化實現性能躍升：HBM3E 每個 DRAM 裸片有 128 個 Bank，HBM4 增至 256 個；外部接口 I/O 線路在接口長度（shoreline）基本不變的情況下從約 1,000 條翻倍至 2,000 條。HBM 由此從 HBM1 的 128 GB/s 帶寬與 1 GB 容量，擴展至 HBM4 的超過 2.8 TB/s 帶寬與單顆 24 GB 以上容量，代價是持續攀升的硅片消耗強度。

美光預期，隨着 AI 工作負載細分，HBM 將從通用產品走向針對特定工作負載的定製化架構，處理器與配對內存將日益協同優化。封裝技術也將從微凸塊（micro-bumps）和熱壓鍵合向個位數微米間距的熔融鍵合（fusion bonding）和混合鍵合（hybrid bonding）演進。

三星的三階段路線圖是本屆大會最具前瞻性的技術披露之一。

第一階段聚焦於將內存控制器從 XPU 遷移至定製化 HBM base die。三星估算，控制器約佔 XPU 硅片面積的 5% 至 10%，將這部分空間釋放給計算核心有望使性能提升 10% 至 20%。三星表示，大多數客户正在積極探索這一架構。

第二階段利用定製化 HBM base die 周圍未使用的邊緣區域（shoreline），通過專用控制器和 PHY 直接連接第二層內存，預計延遲和帶寬表現將優於基於 PCIe 的擴展方案，該第二層內存可以是 LPDDR 甚至 HBF。三星認為，隨着上下文窗口和 KV 緩存擴大，容量的重要性已接近帶寬。

第三階段即 ZHBM：取消傳統 2.5D 中介層，將 HBM 直接垂直集成於 XPU 頂部。通過移除橫向 PHY/D2D 路徑，I/O 和 TSV 結構可遍佈整個芯片投影區域，目標能效約 0.5 pJ/bit，總 DRAM 功耗較 HBM5 降低約 70%，絕對功耗降幅超過 100W。不過，當前散熱限制指向約 4 層堆疊，而非 12 層或 16 層，距離工程化落地仍有相當距離。

三星在計算卸載策略上保持克制：散熱限制使得在 base die 中放置大量密集計算單元並不合理，優先選擇將 LLM 推理中內存受限的 Attention 計算卸載至 HBM，計算密集型的 Prefill 和 FFN 仍保留在 XPU。接口策略上，三星目前傾向於專有 HBM 廠商接口而非 UCIe，理由是 UCIe 面積更大且功耗更高；其散熱路徑塊（Heat Path Block）在覆蓋足夠熱點區域時可將峯值温度降低 35% 以上。

ZHBM 還要求在小於 6 微米間距下實現晶圓級集成和混合銅鍵合，DRAM 與 SoC 設計之間長期存在的邊界必須消除，兩者需從設計之初就圍繞佈線、散熱、功率密度和物理互連進行協同設計。

SK 海力士的演講聚焦於從 12 層向 16 層乃至 20 層擴展的封裝工程挑戰。

在其 16 層 HBM3E 測試芯片中，即便將總堆棧厚度從 720 微米增至 775 微米，單個 DRAM 裸片厚度仍需比 12 層方案減薄約 10%，片間間隙縮小約 50%，芯片翹曲控制與間隙填充難度大幅上升。SK 海力士指出，HBM4 的總厚度 775 微米已接近當前封裝方法的實際極限，未來擴展不能無限依賴增加封裝高度。

對於混合鍵合，SK 海力士認為其在 20 層左右將變得極具吸引力，但預計 HBM4E 階段尚不會採用。假設的 20 層堆疊中，裸片厚度可增加約 20% 至 24%，熱導率提升約 35%。即便如此，混合鍵合也無法解決 base die 局部熱點問題——SK 海力士正在開發 IHBM，通過在熱點區域上方添加硅散熱塊改善局部散熱，且需從設計初期協同優化，而非後期追加。

SK 海力士還判斷，訓練與推理最終可能採用不同的內存架構：訓練需要兼顧高帶寬與高容量，支持堆棧高度持續增加；推理則可能採用較小規模的極高帶寬內存池，將帶寬不敏感數據放置於 LPDDR 或其他低成本層級。

英偉達的演講標誌着其 AI 生態系統策略的實質性進展。一年前，將 CUDA 引入 RISC-V 面臨的最大障礙是缺乏合適的 RVA23 硬件；如今，英偉達實驗室已擁有至少三款 RVA23 處理器，SiFive 在 Hot Chips 大會期間完成了 CUDA 在 RISC-V 硬件上運行的首次公開演示。

英偉達演講者 Franz 明確，其出發點是符合 RVA23 配置文件和 RISC-V 服務器平台規範，英偉達不希望為 CUDA 制定單獨的 RISC-V 規範。CUDA 的特定額外要求僅約兩頁，核心包括 PCIe 緩存一致性（避免 GPU DMA 過程中的顯式 CPU 緩存操作）和 PCIe 點對點通信（支持 GPU 間直接數據交換）。

NVLink Fusion 為這一路徑提供了商業邏輯：客户可使用定製 CPU 或加速器，同時保留英偉達大部分機架級架構。RISC-V CPU 由此可在專用系統中替代英偉達基於 ARM 的主機處理器，關鍵要求是集成英偉達 C2C 網絡——該網絡可提供高達 PCIe 約 5 倍的帶寬和一致性。Franz 的明確表態是，RISC-V 的吸引力不在於 x86 或 ARM 的不足，而在於眾多廠商可針對重要利基市場進行定製化實現，而這些市場未必能獲得大型現有 CPU 供應商的專項支持。

配合英偉達的推進，Canonical 已在 Ubuntu 26.04 LTS 中將 RVA23 設為官方 RISC-V 基準，約 95% 的常規 Linux 軟件包存檔已可用；RISC-V 國際基金會及 SiFive 的 Krste Asanović表示，多家供應商將於今年向市場推出 RVA23 服務器級芯片，大部分矩陣擴展工作預計在未來 12 至 18 個月內完成批准。RISC-V 軟件與硬件生態的協同成熟度正在加速提升。