中金：AI 浪潮，HBM 成為存儲戰略要地

AGI 時代來臨之際，算力和存儲的需求同步提升，在存算一體模式成為主流之前，HBM（高帶寬存儲）對於克服 “存儲牆”、提升帶寬等方面有較強優勢，主要應用在 AI 芯片片上存儲。根據 SK 海力士測算，HBM 的需求在 2022 至 2025 年之間的 CAGR 增速將達到 109%。HBM 的快速增長對於 IDM、晶圓製造、封裝、設備材料等產業鏈環節帶來了增量空間，目前已成為存儲器鏈條各環節必爭之地。 要點 AI 算力追求高性能動態存儲，HBM 成當前較佳方案。隨着數據量越發龐大加之 AI 芯片的加速發展，馮氏計算架構問題凸顯：“存”“算” 之間性能失配，使得計算機的計算能力增長遇到瓶頸，雖然多核並行加速技術可以提高算力，但存儲帶寬的限制仍對計算系統的算力提升產生了制約。GDDR 是目前應用較為廣泛的顯存技術。但在 AI 計算領域 GDDR 也難堪重任，於是製造商將目光投向 HBM 技術。 HBM 需求由 AI 芯片帶動，主流廠商競爭白熱化。根據我們測算，HBM 的綜合需求與 AI 芯片的存儲容量需求、帶寬需求、HBM 堆疊層數等多個參數有明顯關係。SK 海力士、三星電子、美光科技三大家競爭進入白熱化，目前已各自發力 HBM3E 產品。 HBM 製造複雜度提升，不同產業鏈環節均有參與機會。AI 芯片製造步驟相對於傳統計算芯片複雜度大幅提升，同時考慮到不同的連接方式對於精度的要求和工藝要求不同，製造過程分佈在 IDM、晶圓廠和封裝廠。GPU、HBM 是 Chiplet 中的主要有源器件，由 IDM、晶圓廠、存儲廠進行製造；無源器件中，Interposer、RDL 可由晶圓廠、IDM、封裝廠製造；基板和 PCB 則由對應的廠商供應。 HBM 堆疊技術對於前後道設備要求大幅提升，鍵合方式路徑變化是市場關注熱點。HBM 堆疊環節主要圍繞凸塊製造、表面佈線、TSV、鍵合、解鍵合，光刻、塗膠顯影、濺射機、刻蝕、電鍍等前道工具參與其中。隨着堆疊結構增多，晶圓厚度降低，對減薄、切割、模塑等設備需求提升。較為關鍵的鍵閤中，當前市場主流鍵合方式依然是 TCB 壓合以及 MR 方案，我們認為未來混合鍵合或將成為主流方案。 正文 AI 算力追求高性能動態存儲，HBM 成為當前較佳方案 人工智能、雲計算和深度學習可以總結為 3 大算力階段，目前處於第三階段。雲端 AI 處理需求多用户、高吞吐、低延遲、高密度部署。計算單元劇增使 IO 瓶頸愈加嚴重，需增加 DDR 接口通道數量、片內緩存容量和多芯片互聯。傳統的馮·諾伊曼架構以計算為中心，由於處理器以提升速度為主，存儲器更注重容量提升和成本優化，導致 “存”“算” 之間性能失配。 HBM 具備高帶寬、小體積等優勢。隨着 GPGPU 的出現，GPU 越來越多地被應用於高性能計算，在 AI 計算領域 GDDR 也難堪重任，於是製造商將目光投向 HBM 技術。通過多層堆疊，HBM 能達到更高的 I/O 數量，使得顯存位寬達到 1,024 位，幾乎是 GDDR 的 32 倍，顯存帶寬顯著提升，此外還具有更低功耗、更小外形等優勢。顯存帶寬顯著提升解決了過去 AI 計算 “內存牆” 的問題，HBM 逐步提高在中高端數據中心 GPU 中的滲透比率。 受構造影響，GDDR 的總帶寬上限低於 HBM。總帶寬=I/O 數據速率（Gb/s）* 位寬/8。為解決 DDR 帶寬較低的問題，本質上需要對單 I/O 的數據速率和位寬（I/O 數 * 單 I/O 位寬）進行提升，可分為 GDDR 單體式方案和 HBM 堆疊式方案。單體式 GDDR 採取大幅提升單 I/O 數據速率的手段來改善總帶寬，GDDR5 和 GDDR6 的單 I/O 數據速率已達到 7 Gb/s 到 16Gb/s，超過 HBM3 的 6.4 Gb/s。HBM 利用 TSV 技術提升 I/O 數和單 I/O 位寬，從而大幅提升位寬，雖然維持較低的單 I/O 數據速率，但總帶寬遠優於 GDDR。 HBM 的綜合功耗低於 GDDR。HBM 通過增加 I/O 引腳數量來降低總線頻率，從而實現更低的功耗。儘管片上分佈的大量緩存能提供足夠的計算帶寬，但由於存儲結構和工藝制約，片上緩存佔用了大部分的芯片面積（通常為 1/3 至 2/3），限制了算力提升。 HBM 通過 3D 封裝工藝實現 DRAM die 的垂直方向堆疊封裝，可以較大程度節約存儲芯片在片上佔據的面積。HBM 芯片的尺寸比傳統的 DDR4 芯片小 20%，比 GDDR5 芯片節省了 94% 的表面積。根據三星電子的統計，3D TSV 工藝較傳統 POP 封裝形式節省了 35% 的封裝尺寸。 目前主流的 GDDR 標準為 GDDR6，主流的 HBM 標準為 HBM3，HBM3 的顯存帶寬約為 GDDR6 的 8-9 倍。GDDR7 的官方標準於 3 月 5 日由 JEDEC 發佈，一個大的技術變化是內存總線上的兩位不歸零 (NRZ) 編碼轉換為三位脈衝幅度調製 (PAM3) 編碼，JEDEC 預計第一代 GDDR7 的數據傳輸速率預計約為 32 Gbps/pin。我們預計未來中短期 HBM3E 和 GDDR7 將成為主流標準，而 HBM3E 在顯存帶寬方面有望達到 GDDR7 的 6 倍。 圖表 1：市場上不同品牌和型號的 GPU 和存儲類型 資料來源：各公司官網，Yole，中金公司研究部 HBM 供需測算和技術路徑討論 需求：通過增量 GPU 需求測算 HBM 需求。根據我們測算，全球 HBM 晶圓 2024、2025 年總需求分別為 6 萬片/每月、15 萬片/每月。基礎假設為 2024、2025 年攜帶 HBM 的 GPU 總量分別為 647 萬顆和 810 萬顆，單顆 GPU 攜帶 6、8 顆 Cube（堆疊之後的 HBM），隨着平均堆疊層數的提升，總晶圓數量也隨之上升。我們然後假設每片晶圓上可切割的顆數為 400 顆不變。得到 2025 年總晶圓需求為 16 萬片/月，根據 Yole，2024 年全球產能預計將達到 15 萬片，在我們的假設下 HBM 仍有一定缺口。 圖表 2：HBM 需求總量的計算 資料來源：英偉達官網，AMD 官網，Yole，中金公司研究部 圖表 3：HBM 晶圓產量測算 資料來源：Yole，中金公司研究部 供給：SK 海力士、三星電子、美光科技三大家競爭進入白熱化，各自發力 HBM3E 產品。在近期英偉達 GTC 期間，三大家均展出了各自的最新 HBM3E 產品，在堆疊層數、單顆 cube 容量、帶寬上逐步對齊。SK 海力士 HBM3E 在芯片密度、IO 速率、帶寬、最大容量方面有明顯提升。 圖表 4：各家存儲廠廠商在 HBM 上的路線圖 資料來源：Yole，各公司官網，中金公司研究部 HBM 供應鏈拆解：製造商、設備商、材料商 HBM 製造仍然以 IDM 為主，但國內發展了出前後道分工的模式。GPU 芯片的製造過程分佈在 IDM、晶圓廠和封裝廠。一般而言，xPU（CPU、GPU 等）、HBM 是片上的主要有源器件，由 IDM、晶圓廠、存儲廠進行製造；無源器件中，Interposer、RDL 可由晶圓廠、IDM、封裝廠製造；基板和 PCB 則由對應的廠商供應。最終的合封通常在封裝廠製造並進行測試。 我們認為，OSATs 對於 HBM 封裝工藝在堆疊技術和封裝處理工藝上有一定積累，但是對於晶圓處理上與晶圓廠和 IDM 有一定差距。目前來看，考慮到全球採用 HBM 和 Chiplet 堆疊技術的 HPC 設計公司並不多，從總量上看還是沒有做消費電子和 PC 鏈條上的芯片更大，因此單純的做 HBM 封裝或 Chiplet 封裝對於超大型封測廠來説並不是當前最優經濟選擇，但是隨着未來 AI 芯片尤其是服務器的總量需求增加，我們認為一些成熟製程晶圓廠、大型 OSATs 也會逐步開始對高端先進封裝進行投資。 圖表 5：存儲行業封裝參與者 資料來源：各公司官網，中金公司研究部 EUV 光刻機已廣泛使用在 DRAM 製造中。三星電子於 2020 年首次將 EUV 應用於 1z DRAM 的生產中，SK 海力士宣佈在 2021 年 2 月完成了首條配備 EUV 工具的生產線，用於在 2021 年下半年生產 1a DRAM。在未來幾年，SK 海力士和三星預計將生產出採用高數值孔徑 EUV 的 DRAM 樣品，為 2026 年之後大規模生產針對節點尺寸≤10 納米的產品做準備。美光科技一直在使用自對準多重圖案化方法如 SAQP，但在小於 1β節點的情況下，多重圖案化方法和沉浸式光刻的工藝控制和生產穩定性變得越來越困難，故美光或將從 1γ節點開始引入 EUV 技術。 刻蝕設備佔比在 DRAM 製造產線中不斷提升。根據 Yole 估算，DRAM 製造的設備支出中，超過 70% 可能會集中在沉積和蝕刻系統上。光刻的支出可能會降至 20% 以下。全球市場來看，Lam，TEL 和 AMAT 幾乎壟斷全球幹法刻蝕設備市場，2020 年三者幹法刻蝕設備的全球市佔率分別為 46.71%，26.57% 和 16.96%，合計佔比超 90%。其中，硅基刻蝕主要被 Lam 和 AMAT 壟斷，介質刻蝕主要被 TEL 和 Lam 壟斷。 圖表 6：HBM 前道設備主要供應商 資料來源：各公司官網，中金公司研究部 HBM 的中後道製造環節主要圍繞凸塊、芯片表面佈線、基板佈線、不同層之間的鍵合貼裝展開。所用設備和材料與前道基本一致，其中鍵合是較關鍵步驟之一。 Bumping（凸塊）：倒裝是先進封裝中的核心工藝，而 Bumping 又是倒裝流程中重要的工藝，是 Chiplet 的第一步。Bumping 指的是在晶圓表面預留的位置（通常是 Pad）生長焊球，通過焊球實現與基板、PCB 的連接。Bumping 的材料一般有錫、銅、金，其製造過程與前道晶圓製造步驟基本相似，主要涉及 PI 塗敷、光刻、濺鍍、電鍍、清洗、回流焊等工藝。Bumping 的參數主要分為直徑、高度和密度，隨着芯片複雜度提升，引腳數相應提升，導致 Bumping 直徑更小、高度更低、密度更高，對應難度更高。 TSV（Through silicon via, 硅通孔）：主要用於立體封裝，在硅片中進行垂直方向上的打孔，為芯片起到電氣延伸和互連的作用。按照集成類型的不同，TSV 分為 2.5D 和 3D，2.5D TSV 位於中介層中，而 3DTSV 貫穿芯片本身，直接連接上下層芯片。TSV 連接方式大量應用於高端存儲器堆疊、Interposer 中。 全球來看，涉及中道製造設備的公司與前道製造設備供應商類似，其中在光刻工藝步驟中，AMAT、TEL、SUSS、Veeco、PSK、DNS 等公司均有涉及，鍵合/解鍵合、TSV、CMP 和檢測過程的國產廠商已經佔據一定份額。國內前道設備製造商如北方華創、盛美上海、芯源微、芯碁微裝、中科飛測、華卓精科、上海微電子均已在中道製造設備中有大量產品出貨，並且在上述公司發展初期為收入增長提供了較大的支撐。且我們認為在先進封裝的快速發展趨勢下，中道製造的重要性逐步凸顯，對於中道設備的需求將持續提升，我們認為未來仍將是半導體裝用設備和零部件廠商的重要業績來源。 HBM 多層堆疊結構提升工序步驟，帶動封裝設備需求持續提升。HBM 堆疊結構增多，要求晶圓厚度不斷降低，這意味着對減薄、鍵合等設備的需求提升；HBM 多層堆疊結構依靠超薄晶圓和銅—銅混合鍵合工藝增加了對臨時鍵合/解鍵合等設備的需求；各層 DRAM Die 的保護材料也非常關鍵，對注塑或壓塑設備提出了較高要求。 圖表 7：HBM 中道製造產業鏈 資料來源：Wind，各公司公告，中金公司研究部 圖表 8：HBM 後道製造產業鏈 注：統計截至 2024 年 4 月 1 日資料來源：Wind，各公司公告，中金公司研究部 HBM 對堆疊高度、散熱有明確要求，當前市場主流鍵合方式依然是 TCB 壓合以及 MR 方案，我們認為未來混合鍵合或將成為主流方案，但其成本和時間仍相對模糊。對於 HBM 而言，以下幾個方面是堆疊所追求的：1）更短互連和更大單 cube 容量；2）更好的散熱；3）維持單 cube 高度不變。 MR- MUF（Mass reflow，批量回流焊） MR-MUF 是海力士的高端封裝工藝，通過將芯片貼附在電路上，在堆疊時，在芯片和芯片之間注入液態環氧樹脂塑封（Liquid epoxy Molding Compound，LMC）液態保護材料並硬化。與傳統的每個芯片堆疊後鋪設薄膜材料的方法相比，MR 技術在熱散佈效率、生產效率和成本效益方面具有一定優勢。SK 海力士已將 MR 技術應用於其 HBM3E 產品中。 圖表 9：SK 海力士 Mass reflow 製造流程 資料來源：SK 海力士官網，中金公司研究部 TCB（Thermo-Compression Bonding，熱壓鍵合） TCB 的核心是通過熱壓鍵合技術將芯片與基板固定在一起，從而實現高密度的芯片封裝。隨着焊接凸點間距不斷減小、基板和晶片厚度不斷下降，傳統的回流焊工藝出現了翹起、局部橋接、芯片偏移等缺陷，TCB 工藝能很好地解決這些問題。 圖表 10：TCB 工藝流程 資料來源：Li, J. H. et al.《The thermal cycling reliability of copper pillar solder bump in flip chip via thermal compression bonding》（2020），中金公司研究部 圖表 11：ASMPT 的 LPC TCB 工藝流程 資料來源：Li, Ming et al.《A high throughput and reliable thermal compression bonding process for advanced interconnections》（2015），中金公司研究部 HB（Hybrid bonding，混合鍵合） HB 工藝能提供更高的互連密度，因此對於 15μm 以下的凸點間距，HB 工藝正逐漸取代傳統的 die-to-die 焊接工藝。傳統焊接工藝的凸點使用覆蓋了焊料的銅柱，而 HB 工藝使用和表面平行的金屬片，提高了互連密度和效率。HB 工藝主要包含 die-to-wafer 和 wafer-to-wafer 兩類鍵合，wafer-to-wafer 的工藝更加成熟，但需要每個芯片尺寸相同，且整體良率較低，因此和 die-to-wafer 工藝相比缺乏一定靈活性。根據 ZDNET，JEDEC（國際半導體標準化組織）可能放寬第六代 HBM4 的堆疊高度，在對應厚度上 MR 和 TC 方案仍可以繼續使用，雖然 HB 方案可提供更窄的 pitch 間距和更薄的高度，考慮到其普及率不高，以目前較高的價格，大規模應用可能有所推遲。 圖表 12：Hybrid Boding 工藝 資料來源：A. Elsherbini et al.《Enabling Hybrid Bonding on Intel Process》（2021），中金公司研究部 圖表 13：Hybrid Bonding 工藝在 3D 封裝中的應用 資料來源：A. Elsherbini et al.《Enabling Hybrid Bonding on Intel Process》（2021），中金公司研究部 DRAM 的 Scaling（縮放）挑戰和堆疊方式 DRAM 廠商和研究機構迫切地想突破新工藝和尋找 DRAM 更高極限的新工藝。平面 DRAM 的 scaling 在隨着摩爾定律放緩和物理極限的限制也有所放緩，隨着 EUV 的應用，平面 DRAM 仍有一定 scaling 空間。但為了持續的提高密度並降低每 bit 價格，各類研究如調整晶體管的製造方式、採用單體 3D-DRAM 結構等正在進行。 延續 Scaling 方向：Planer DRAM 採用 EUV 和 HKMG 製造技術。我們觀察到，DRAM 的 Scaling 本預計在幾年前停止，但新的技術解決方案使其延續到 1β節點，目前 1β正進入早期生產階段。規模化成本的增加和基礎物理的限制使得 DRAM 製造商在平面方向上的 Scaling 變得越來越具有挑戰性。我們認為，新材料、新設備、新器件架構（如單體 3D DRAM）以及新工藝技術將是長期延續 DRAM Scaling 所必需的。 延續 Scaling 方向：4F2 單元結構。4F²單元結構被看作是減少芯片面積的主要選擇之一，與現有的 6F²結構相比，可以減少大約 30% 的面積，而無需使用更小的光刻節點。2023 年 5 月，三星成立研發團隊開發 10 納米節點（如 1d）及更小節點的 DRAM 的 4F²結構。4F² DRAM 很可能會採用垂直電容和垂直晶體管。 圖表 14：同等線寬下，4F2 相較於 6F2 可節省約 30% 晶圓面積 資料來源：Spessot, A., & Oh, H. (2020). 1T-1C Dynamic Random Access Memory Status, Challenges, and Prospects. IEEE Transactions on Electron Devices, 67, 1382-1393.，中金公司研究部 延續 Scaling：從平面結構走向 3D DRAM。平面 DRAM 的 Scaling 能力受限，隨着晶體管尺寸的不斷減小，電容器的尺寸也必須相應縮小，導致存儲電荷能力下降，所以需要發展 3D DRAM，通過垂直堆疊存儲單元層來顯著提高存儲密度和性能。 另一種 3D DRAM 結構與 3D NAND 非常相似，即互補金屬氧化物半導體鍵合陣列（CMOS-Bonded Array，簡稱 CBA）。DRAM 架構的外圍電路和存儲器陣列先在不同的晶圓上進行加工，然後結合在一起。該 DRAM 架構很可能會在 4F²單元引入時（Yole 預計 2025 年後）被採用。目前來看，將 CBA 與 6F²單元結合使用並不方便。 圖表 15：電容為橫向排布的 DRAM 資料來源：NEO 半導體，中金公司研究部 圖表 16：CBA（CMOS bonded array）結構與 3D-stacking NAND 結構類似 資料來源：Yole，中金公司研究部 HBM 與 GPU 上下堆疊方式。AMD 曾經展出過的存儲器與 GPU 上下堆疊的構造方式。在 2023 年 ISSCC 的演講中，AMD 詳細介紹了提高數據中心的能效，並在半導體制造節點進步放緩的情況下，設法跟上摩爾定律的步伐的方法，即用多芯片模塊（MCMs）的形式將 HBM 與 GPU 上下堆疊，其中邏輯芯片和 HBM 堆棧位於硅中介層的上方。 圖表 17：AMD 展示不同的存儲器與計算芯片的組合方式 資料來源：AMD 在 2023 年 ISSCC 的演講，中金公司研究部 分析師 張怡康 分析員 SAC 執證編號：S0080522110007 SFC CE Ref：BTO172 胡炯益 分析員 SAC 執證編號：S0080522080012 唐宗其 分析員 SAC 執證編號：S0080521050014 SFC CE Ref：BRQ161 江磊 分析員 SAC 執證編號：S0080523070007 SFC CE Ref：BTT278 彭虎 分析員 SAC 執證編號：S0080521020001 SFC CE Ref：BRE806 石曉彬 分析員 SAC 執證編號：S0080521030001

中金 ：AI 浪潮，HBM 成為存儲戰略要地

中金：AI 浪潮，HBM 成為存儲戰略要地