作者：周源/华尔街见闻英伟达下一代 AI 加速卡 B100（Blackwell 架构）的存储器规格，将采用 HBM3E。这种规格的存储器，目前只有 SK 海力士、三星电子和美光能提供。华尔街见闻从供应链多个渠道独家获悉，几乎与 SK 海力士同时，美光也成为 B100 存储器供应商。目前三星电子还没进 B100 的存储器供应链。根据此前供应链消息，B100 提前半年，将在今年二季度上市。什么是 HBME？英伟达 B100 牛在何处？<h2>B100 拉动 HBM3E 产能喷发</h2>AI 服务器热潮带动了 AI 加速卡的需求。高频宽存储器 HBM 也成为 AI 加速卡（GPU）的关键 DRAM 模块。据 Gartner 的预测报告，2023 年全球 HBM 营收规模约为 20.05 亿美元；预计到 2025 年，HBM 的市场规模将翻倍成长至 49.76 亿美元，增长率高达 148.2%。目前，SK 海力士、三星、美光是全球仅有的三家 HBM 供应商。行业数据显示，2022 年 HBM 市场，SK 海力士占据 50% 的市场份额，三星占比 40%，美光占比 10%。英伟达 H200 是首次采用 HBM3E 存储器规格的 AI 加速卡。HBM3E 使 GPU 存储器带宽从 H100 的每秒 3.35TB 扩展至 4.8TB，提高 1.4 倍，存储器总容量也从 H100 的 80GB 提高至 141GB，容量提高 1.8 倍。此前有供应链消息称，英伟达原本预计在 2024 年第四季度推出的下一代 AI 加速卡 B100，目前将提前至 2024 年二季度推出。据目前有限的信息显示，B100 采用台积电 3nm 工艺制程混合更复杂的多芯片模块（MCM）设计。英伟达在 AI GPU 市场占比了 80% 以上的市场份额，若 B100 能提前推出，则英伟达将进一步巩固在 AI 领域的领先优势。2023 年下半年开始，SK 海力士、三星和美光这三家 HBM 供应商基本同步开启了 HBM3E 的测试，预计从 2024 年第一季度能实现批量供应。华尔街见闻从供应链多个渠道独家获悉，美光和 SK 海力士一样，都已成为英伟达 B100 的存储器供应商，提供的产品均为 HBM3E。美光 CEO Mehrotra 曾透露，美光专为 AI 和超级计算机设计的 HBM3E 预计 2024 年初量产，有望于 2024 会计年度创造数亿美元的营收。Mehrotra 还对分析师表示，“2024 年 1-12 月，美光 HBM 预估全数售罄”。美光科技位于中国台湾地区的台中四厂于 2023 年 11 月初正式启用。美光表示，台中四厂将整合先进探测与封装测试功能，量产 HBM3E 及其他产品，从而满足人工智能、数据中心、边缘计算及云端等各类应用日益增长的需求。HBM 全称 High Bandwidth Memory，直译高带宽内存，这是一种新型 CPU/GPU 内存芯片。从物理结构看，就是将很多个 DDR 芯片堆叠起来，再和 GPU 封装在一起，实现大容量、高位宽的 DDR 组合阵列。一般来说，一张 AI 加速卡，物理结构是中间是 die 的 GPU，左右两侧的 die 是 DDR 颗粒的堆叠 HBM。die，是指裸片，即将硅晶圆用激光切割而成的小片。die 是芯片还未封装前的晶粒，是硅晶圆上一个很小的单位。Chip，即芯片，晶圆经过切割、测试，由完好的、稳定的、足容量的 die 封装而成，这是半导体元件产品的统称。晶圆就是 wafer，这是制作硅半导体所用的硅晶片，原材料是硅，圆形。一般来说，晶圆的尺寸是 6 英寸、8 英寸或 12 英寸不等。可在晶圆上加工制作成各种电路元件结构，成为有特定功能的集成电路产品。与 Hopper/Ada 架构不同，Blackwell 架构将扩展至数据中心（IDC）和消费级 GPU。B100 最大的技术变化在于底层架构很可能有重大调整：英伟达将采用新的封装技术，将 GPU 组件分成独立的芯片。虽然具体芯片数量和配置尚未确定，但 MCM 的设计方式，将使得英伟达在定制芯片时具备更大的灵活性。现在，还没有足够的信息显示英伟达 B100 采用的哪种 3nm 工艺。台积电相关工艺包括性能增强型 N3P 和面向 HPC（高性能计算：High performance computing）的 N3X；此外还包括 N3E 和 N3B，前者由联发科采用，后者则被苹果用于 A17 Pro 的定制。<h2>HBM3E 应用和美光的布局</h2>美光目前正在生产 HBM3E gen-2 内存，采用 8 层垂直堆叠的 24GB 芯片。美光的 12 层垂直堆叠 36GB 芯片将于 2024 年第一季度开始出样。这将与半导体代工运营商台积电合作，将其 Gen-2 HBM3E 用于人工智能和 HPC 设计应用。HBM3E 是 HBM3 的扩展版本，内存容量 144GB，提供每秒 1.5TB 的带宽，相当于 1 秒能处理 230 部 5GB 大小的全高清电影。作为一种更快、更大的内存，HBM3E 可加速生成式 AI 和大型语言模型，同时能推进 HPC 工作负载的科学计算。2023 年 8 月 9 日，黄仁勋发布 GH200 Grace Hopper 超级芯片，这也是 HBM3E 的首次亮相。因此，GH200 Grace Hopper 成为全球首款 HBM3E GPU。GH200 由 72 核 Grace CPU 和 4PFLOPS Hopper GPU 组成；每个 GPU 的容量达到 H100 GPU 的 1.7 倍，带宽达到 H100 的 1.55 倍。与 H100 相比，GH20 系统共有 144 个 Grace CPU 核心、8PFLOPS 计算性能的 GPU、282GB HBM3E 内存，内存容量达 3.5 倍，带宽达 3 倍。若将连接到 CPU 的 LPDDR 内存包括在内，那么总共集成了 1.2TB 超快内存。英伟达指出，内存带宽对于 HPC 应用程序至关重要，因为能实现更快的数据传输，减少复杂的处理瓶颈。对于模拟、科学研究和人工智能等内存密集型 HPC 应用，H200 更高的内存带宽可确保高效地访问和操作数据。与 CPU 相比，获得结果的时间最多可加快 110 倍。TrendForce 集邦咨询研究指出，2023 年 HBM 市场主流为 HBM2e。英伟达 A100/A800、AMD MI200 以及多数 CSPs 自研加速芯片皆以此规格设计。同时，为顺应 AI 加速器芯片需求演进，各原厂计划于 2024 年推出新产品 HBM3E，预期 HBM3 与 HBM3E 将成为 2024 年市场主流。2023 年主流需求自 HBM2e 转往 HBM3，需求比重分别预估约 50% 和 39%。随着使用 HBM3 的加速芯片陆续放量，2024 年市场需求将大幅转往 HBM3；2024 年将直接超越 HBM2e，比重预估达 60%；同时，受惠于更高的平均销售单价（ASP），将带动 2024 年 HBM 营收显著成长。TrendForce 集邦咨询此前预估，由于 HBM3 平均销售单价远高于 HBM2e 与 HBM2，故将助力原厂 HBM 领域营收，可望进一步带动 2024 年整体 HBM 营收至 89 亿美元，年增 127%。据 Semiconductor-Digest 预测，到 2031 年，全球高带宽存储器市场预计将从 2022 年的 2.93 亿美元增长到 34.34 亿美元，在 2023-2031 年的预测期内复合年增长率为 31.3%。由于 HBM 是与 GPU 封装在一起的，因此 HBM 的封装通常由晶圆代工厂完成。HBM 大概率会成为下一代 DRAM 高性能解决方案，为快速发展的数据中心及云计算人工智能提供更高的 AI/ML 性能与效率。尽管美光在 HBM 市场的占比仅约 10%，但美光正在加速推进更新的 HBM4 和 HBM4e 研发，这比 SK 海力士跑的更快。为提高内存传输速率，下一代 HBM4 可能要对高带宽内存技术做出更实质性的改变，即从更宽的 2048 位内存接口开始，故而 HBM4 会在多个层面上实现重大技术飞跃。美光公司在 2023 年曾表示，“HBM Next”（即 HBM4）内存将于 2026 年左右面世，每堆栈容量介于 36 GB-64 GB，每堆栈峰值带宽为 2TB/s 或更高。

英伟达：除海力士，也要美光 HBM3E