作者:周源/華爾街見聞北美當地時間 3 月 20 日,美光科技(Micron Technology.Inc.)CEO Sanjay Mehrotra 在財報電話會議上表示,美光今年 HBM 產能已銷售一空,2025 年絕大多數產能已被預訂。2 月 26 日,美光科技官方宣佈開始批量生產 HBM3E 高帶寬內存,其 24GB 8H HBM3E 產品將供貨給英偉達,並將應用於英偉達 H200 Tensor Core GPU。這款產品將於第二季度發貨。事實上,美光科技也同時將供貨給英偉達下一代 AI 加速卡 B100 相應的 HBM3E 產品。美光官宣進英偉達供應鏈Mehrotra 説,AI 服務器需求正推動 HBM DDR5 和數據中心 SSD 快速成長,這使得高階 DRAM、NAND 供給變得吃緊,進而對儲存終端市場報價帶來正面連鎖效應。就美光而言,其 24 GB 8-Hi HBM3E 供貨英偉達 H200 Tensor Core GPU。這款 HBM 產品數據傳輸速率為 9.2 GT/s,峯值內存帶寬超過 1.2 TB/s。與 HBM3 相比,HBM3E 將數據傳輸速率和峯值內存帶寬提高了 44%,這對於英偉達 H200 等需要大量帶寬的處理器來説尤其重要。HBM3E 是 HBM3 的擴展版本,內存容量 144GB,提供每秒 1.5TB 的帶寬,相當於 1 秒能處理 230 部 5GB 大小的全高清電影。作為一種更快、更大的內存,HBM3E 可加速生成式 AI 和大型語言模型,同時能推進 HPC 工作負載的科學計算。HBM 通過硅通孔(TSV)連接多個 DRAM 芯片,創新性地提高了數據處理速度。2023 年 8 月 9 日,黃仁勳發佈 GH200 Grace Hopper 超級芯片,這也是 HBM3E 的首次亮相。隨着 2024 年 3 月即將發佈的 36 GB 12-Hi HBM3E 產品,美光的 AI 內存路線圖得到進一步鞏固。美光 HBM3E 內存基於 1β工藝,採用 TSV(硅通孔技術:Through Silicon Via)封裝、2.5D/3D 堆疊,能提供 1.2TB/s 及更高性能。這對美光來説是一項重大成就,因為它在數據中心級產品中使用了最新的生產節點,這是對製造技術的證明。據美光官方資料,美光新進英偉達供應鏈主打的這款 HBM3E,與競對相比,有三個優勢:第一,性能卓越。這款產品擁有超過 9.2Gb/s 針腳速率、超過 1.2TB/s 內存帶寬,能滿足 AI 加速器、超級計算機和 IDC(數據中心)的對性能的極致要求。其二,能效優異。與競品相比,美光 HBM3E 功耗降低約 30%。提供最大吞吐量時,能有效降低功耗(但沒透露數據),有效改善數據中心(IDC)運營支出指標。第三,具有無縫擴展能力。目前,這款產品能提供 24GB 容量,故而可以輕易擴展數據中心的 AI 應用,既能訓練大規模神經網絡,也能加速為推理任務提供必要帶寬。美光科技執行副總裁兼首席商務官 Sumit Sadana 表示,“美光科技憑藉這一 HBM3E 里程碑產品,實現了三連勝:上市時間領先,強悍的行業性能及差異化的能效概況。”AI 工作負載嚴重依賴內存帶寬和容量,Sadana 認為美光處於有利位置,“能通過我們業界領先的 HBM3E 和 HBM4 路線圖,以及我們用於 AI 應用的完整 DRAM 和 NAND 解決方案組合,來支持未來 AI 的顯著增長”。美光在 HBM 產業領域最大的對手是 SK 海力士和三星,而就英偉達 AI 加速卡供應鏈競爭格局看,美光的對手也是海力士。雖然三星也向英偉達提供了測試樣品,但截至 2 月 29 日,三星 HBM3E 的測試結果仍未披露。產業界消息顯示,3 月,三星 HBM3E 的質量測試會有個結果。有必要指出,三星這款產品若能通過英偉達質量測試,將提供給英偉達 B100 GPU(BlackWell 架構,英偉達計劃於今年第二季度末或第三季度初推出該系列產品)。今年 2 月 20 日,有消息稱,1 月中旬,SK 海力士 HBM3E 開發工作收官,順利完成了英偉達歷時半年的產品性能評估。同時,SK 海力士計劃於 3 月開始大規模生產五代 HBM3E 高帶寬內存產品,並在 4 月向英偉達供應首批產品。半導體產品開發共分九個階段(Phases 1-9)。目前,海力士已完成所有階段的開發,進入最後的增產(Ramp-Up)階段。簡單再對英偉達 H200 特性做個回顧:基於 Hopper 架構,提供與 H100 相同的計算性能。同時,H200 還配備 141GB HBM3E 內存,帶寬高達 4.8TB/s,較 H100 的 80GB HBM3(帶寬 3.35TB/s)顯着升級。韓國倆巨頭 HBM3E 產能售罄SK 海力士副社長金基泰(Kim Ki-tae)2 月 21 日指出,生成式 AI 服務日益多樣並持續發展,做為 AI 記憶體解決方案的 HBM 需求也出現爆炸性成長。公開消息顯示,海力士 2024 年的 HBM 產能也已全部售罄。金基泰表示,HBM 擁有高效能和高容量特性。無論是從技術角度還是商業角度,HBM 都堪稱具有里程碑意義。“雖然外部不穩定因素仍在,但 2024 年記憶體(存儲器)市場有望逐漸升温。” 金基泰指出,“原因是全球大型科技客户的產品需求恢復。”2 月 23 日,SK 海力士管理層就 HBM 內存銷售額髮表聲明:儘管規劃 2024 年產能需超前提升,但目前產銷量已達飽和狀態。金基泰對此表示,作為 HBM 行業翹楚,海力士洞察到市場對 HBM 存儲的巨大需求,現已提前調整產量,以期更好地滿足市場需求。同時,金基泰還認為,“今年內除 HBM3E 外,DDR5 及 LPDDR5T 存儲亦將受到市場熱捧。”SK 海力士預期 2025 年將持續維持市場領先地位。有機構預測,海力士 2024 年營收將達 75 億美元。2023 年,海力士主力產品 DDR5 DRAM 和 HBM3 的營收較 2022 年分別成長超過 4 倍和 5 倍(數據來源:海力士 2023 年財報)。2023 年 12 月底,在美光財報會議上,美光 CEO Sanjay Mehrotra 對外透露:得益於生成式 AI 的火爆,推動雲端高性能 AI 芯片對 HBM 的旺盛需求,美光 2024 年 HBM 產能預計已全部售罄。2024 年初量產的 HBM3E 有望於 2024 會計年度創造數億美元的營收。目前,HBM 已發展到第五代(HBM3E 是 HBM3 的擴展版)。此前各代際產品為第一代(HBM)、第二代(HBM2)、第三代(HBM2E)和第四代(HBM3)。第六代 HBM 產品為 HBM4,將使用 2048 位接口,可將每個堆棧的理論峯值內存帶寬提高到 1.5TB/s 以上。為實現這一目標,HBM4 需具有約 6GT/s 的數據傳輸速率,這將有助於控制下一代 DRAM 的功耗。美光 HBM 產品有望在 2024 會計年度創造數億美元業額,HBM 營收預料自 2024 會計年度第 3 季度起,為美光 DRAM 業務以及整毛利率帶來正面貢獻。值得一提的是,美光預期 2024 年 DRAM、NAND 產業供給都將低於需求。美光 2024 會計年度的 DRAM、NAND 位元供給成長預估仍低於需求成長,2024 年度存天數將會減少。