作者：周源/華爾街見聞英偉達下一代 AI 加速卡 B100（Blackwell 架構）的存儲器規格，將採用 HBM3E。這種規格的存儲器，目前只有 SK 海力士、三星電子和美光能提供。華爾街見聞從供應鏈多個渠道獨家獲悉，幾乎與 SK 海力士同時，美光也成為 B100 存儲器供應商。目前三星電子還沒進 B100 的存儲器供應鏈。根據此前供應鏈消息，B100 提前半年，將在今年二季度上市。什麼是 HBME？英偉達 B100 牛在何處？<h2>B100 拉動 HBM3E 產能噴發</h2>AI 服務器熱潮帶動了 AI 加速卡的需求。高頻寬存儲器 HBM 也成為 AI 加速卡（GPU）的關鍵 DRAM 模塊。據 Gartner 的預測報告，2023 年全球 HBM 營收規模約為 20.05 億美元；預計到 2025 年，HBM 的市場規模將翻倍成長至 49.76 億美元，增長率高達 148.2%。目前，SK 海力士、三星、美光是全球僅有的三家 HBM 供應商。行業數據顯示，2022 年 HBM 市場，SK 海力士佔據 50% 的市場份額，三星佔比 40%，美光佔比 10%。英偉達 H200 是首次採用 HBM3E 存儲器規格的 AI 加速卡。HBM3E 使 GPU 存儲器帶寬從 H100 的每秒 3.35TB 擴展至 4.8TB，提高 1.4 倍，存儲器總容量也從 H100 的 80GB 提高至 141GB，容量提高 1.8 倍。此前有供應鏈消息稱，英偉達原本預計在 2024 年第四季度推出的下一代 AI 加速卡 B100，目前將提前至 2024 年二季度推出。據目前有限的信息顯示，B100 採用台積電 3nm 工藝製程混合更復雜的多芯片模塊（MCM）設計。英偉達在 AI GPU 市場佔比了 80% 以上的市場份額，若 B100 能提前推出，則英偉達將進一步鞏固在 AI 領域的領先優勢。2023 年下半年開始，SK 海力士、三星和美光這三家 HBM 供應商基本同步開啓了 HBM3E 的測試，預計從 2024 年第一季度能實現批量供應。華爾街見聞從供應鏈多個渠道獨家獲悉，美光和 SK 海力士一樣，都已成為英偉達 B100 的存儲器供應商，提供的產品均為 HBM3E。美光 CEO Mehrotra 曾透露，美光專為 AI 和超級計算機設計的 HBM3E 預計 2024 年初量產，有望於 2024 會計年度創造數億美元的營收。Mehrotra 還對分析師表示，“2024 年 1-12 月，美光 HBM 預估全數售罄”。美光科技位於中國台灣地區的台中四廠於 2023 年 11 月初正式啓用。美光表示，台中四廠將整合先進探測與封裝測試功能，量產 HBM3E 及其他產品，從而滿足人工智能、數據中心、邊緣計算及雲端等各類應用日益增長的需求。HBM 全稱 High Bandwidth Memory，直譯高帶寬內存，這是一種新型 CPU/GPU 內存芯片。從物理結構看，就是將很多個 DDR 芯片堆疊起來，再和 GPU 封裝在一起，實現大容量、高位寬的 DDR 組合陣列。一般來説，一張 AI 加速卡，物理結構是中間是 die 的 GPU，左右兩側的 die 是 DDR 顆粒的堆疊 HBM。die，是指裸片，即將硅晶圓用激光切割而成的小片。die 是芯片還未封裝前的晶粒，是硅晶圓上一個很小的單位。Chip，即芯片，晶圓經過切割、測試，由完好的、穩定的、足容量的 die 封裝而成，這是半導體元件產品的統稱。晶圓就是 wafer，這是製作硅半導體所用的硅晶片，原材料是硅，圓形。一般來説，晶圓的尺寸是 6 英寸、8 英寸或 12 英寸不等。可在晶圓上加工製作成各種電路元件結構，成為有特定功能的集成電路產品。與 Hopper/Ada 架構不同，Blackwell 架構將擴展至數據中心（IDC）和消費級 GPU。B100 最大的技術變化在於底層架構很可能有重大調整：英偉達將採用新的封裝技術，將 GPU 組件分成獨立的芯片。雖然具體芯片數量和配置尚未確定，但 MCM 的設計方式，將使得英偉達在定製芯片時具備更大的靈活性。現在，還沒有足夠的信息顯示英偉達 B100 採用的哪種 3nm 工藝。台積電相關工藝包括性能增強型 N3P 和麪向 HPC（高性能計算：High performance computing）的 N3X；此外還包括 N3E 和 N3B，前者由聯發科採用，後者則被蘋果用於 A17 Pro 的定製。<h2>HBM3E 應用和美光的佈局</h2>美光目前正在生產 HBM3E gen-2 內存，採用 8 層垂直堆疊的 24GB 芯片。美光的 12 層垂直堆疊 36GB 芯片將於 2024 年第一季度開始出樣。這將與半導體代工運營商台積電合作，將其 Gen-2 HBM3E 用於人工智能和 HPC 設計應用。HBM3E 是 HBM3 的擴展版本，內存容量 144GB，提供每秒 1.5TB 的帶寬，相當於 1 秒能處理 230 部 5GB 大小的全高清電影。作為一種更快、更大的內存，HBM3E 可加速生成式 AI 和大型語言模型，同時能推進 HPC 工作負載的科學計算。2023 年 8 月 9 日，黃仁勳發佈 GH200 Grace Hopper 超級芯片，這也是 HBM3E 的首次亮相。因此，GH200 Grace Hopper 成為全球首款 HBM3E GPU。GH200 由 72 核 Grace CPU 和 4PFLOPS Hopper GPU 組成；每個 GPU 的容量達到 H100 GPU 的 1.7 倍，帶寬達到 H100 的 1.55 倍。與 H100 相比，GH20 系統共有 144 個 Grace CPU 核心、8PFLOPS 計算性能的 GPU、282GB HBM3E 內存，內存容量達 3.5 倍，帶寬達 3 倍。若將連接到 CPU 的 LPDDR 內存包括在內，那麼總共集成了 1.2TB 超快內存。英偉達指出，內存帶寬對於 HPC 應用程序至關重要，因為能實現更快的數據傳輸，減少複雜的處理瓶頸。對於模擬、科學研究和人工智能等內存密集型 HPC 應用，H200 更高的內存帶寬可確保高效地訪問和操作數據。與 CPU 相比，獲得結果的時間最多可加快 110 倍。TrendForce 集邦諮詢研究指出，2023 年 HBM 市場主流為 HBM2e。英偉達 A100/A800、AMD MI200 以及多數 CSPs 自研加速芯片皆以此規格設計。同時，為順應 AI 加速器芯片需求演進，各原廠計劃於 2024 年推出新產品 HBM3E，預期 HBM3 與 HBM3E 將成為 2024 年市場主流。2023 年主流需求自 HBM2e 轉往 HBM3，需求比重分別預估約 50% 和 39%。隨着使用 HBM3 的加速芯片陸續放量，2024 年市場需求將大幅轉往 HBM3；2024 年將直接超越 HBM2e，比重預估達 60%；同時，受惠於更高的平均銷售單價（ASP），將帶動 2024 年 HBM 營收顯著成長。TrendForce 集邦諮詢此前預估，由於 HBM3 平均銷售單價遠高於 HBM2e 與 HBM2，故將助力原廠 HBM 領域營收，可望進一步帶動 2024 年整體 HBM 營收至 89 億美元，年增 127%。據 Semiconductor-Digest 預測，到 2031 年，全球高帶寬存儲器市場預計將從 2022 年的 2.93 億美元增長到 34.34 億美元，在 2023-2031 年的預測期內複合年增長率為 31.3%。由於 HBM 是與 GPU 封裝在一起的，因此 HBM 的封裝通常由晶圓代工廠完成。HBM 大概率會成為下一代 DRAM 高性能解決方案，為快速發展的數據中心及雲計算人工智能提供更高的 AI/ML 性能與效率。儘管美光在 HBM 市場的佔比僅約 10%，但美光正在加速推進更新的 HBM4 和 HBM4e 研發，這比 SK 海力士跑的更快。為提高內存傳輸速率，下一代 HBM4 可能要對高帶寬內存技術做出更實質性的改變，即從更寬的 2048 位內存接口開始，故而 HBM4 會在多個層面上實現重大技術飛躍。美光公司在 2023 年曾表示，“HBM Next”（即 HBM4）內存將於 2026 年左右面世，每堆棧容量介於 36 GB-64 GB，每堆棧峯值帶寬為 2TB/s 或更高。

英偉達：除海力士，也要美光 HBM3E