作者:周源/华尔街见闻北美当地时间 3 月 20 日,美光科技(Micron Technology.Inc.)CEO Sanjay Mehrotra 在财报电话会议上表示,美光今年 HBM 产能已销售一空,2025 年绝大多数产能已被预订。2 月 26 日,美光科技官方宣布开始批量生产 HBM3E 高带宽内存,其 24GB 8H HBM3E 产品将供货给英伟达,并将应用于英伟达 H200 Tensor Core GPU。这款产品将于第二季度发货。事实上,美光科技也同时将供货给英伟达下一代 AI 加速卡 B100 相应的 HBM3E 产品。美光官宣进英伟达供应链Mehrotra 说,AI 服务器需求正推动 HBM DDR5 和数据中心 SSD 快速成长,这使得高阶 DRAM、NAND 供给变得吃紧,进而对储存终端市场报价带来正面连锁效应。就美光而言,其 24 GB 8-Hi HBM3E 供货英伟达 H200 Tensor Core GPU。这款 HBM 产品数据传输速率为 9.2 GT/s,峰值内存带宽超过 1.2 TB/s。与 HBM3 相比,HBM3E 将数据传输速率和峰值内存带宽提高了 44%,这对于英伟达 H200 等需要大量带宽的处理器来说尤其重要。HBM3E 是 HBM3 的扩展版本,内存容量 144GB,提供每秒 1.5TB 的带宽,相当于 1 秒能处理 230 部 5GB 大小的全高清电影。作为一种更快、更大的内存,HBM3E 可加速生成式 AI 和大型语言模型,同时能推进 HPC 工作负载的科学计算。HBM 通过硅通孔(TSV)连接多个 DRAM 芯片,创新性地提高了数据处理速度。2023 年 8 月 9 日,黄仁勋发布 GH200 Grace Hopper 超级芯片,这也是 HBM3E 的首次亮相。随着 2024 年 3 月即将发布的 36 GB 12-Hi HBM3E 产品,美光的 AI 内存路线图得到进一步巩固。美光 HBM3E 内存基于 1β工艺,采用 TSV(硅通孔技术:Through Silicon Via)封装、2.5D/3D 堆叠,能提供 1.2TB/s 及更高性能。这对美光来说是一项重大成就,因为它在数据中心级产品中使用了最新的生产节点,这是对制造技术的证明。据美光官方资料,美光新进英伟达供应链主打的这款 HBM3E,与竞对相比,有三个优势:第一,性能卓越。这款产品拥有超过 9.2Gb/s 针脚速率、超过 1.2TB/s 内存带宽,能满足 AI 加速器、超级计算机和 IDC(数据中心)的对性能的极致要求。其二,能效优异。与竞品相比,美光 HBM3E 功耗降低约 30%。提供最大吞吐量时,能有效降低功耗(但没透露数据),有效改善数据中心(IDC)运营支出指标。第三,具有无缝扩展能力。目前,这款产品能提供 24GB 容量,故而可以轻易扩展数据中心的 AI 应用,既能训练大规模神经网络,也能加速为推理任务提供必要带宽。美光科技执行副总裁兼首席商务官 Sumit Sadana 表示,“美光科技凭借这一 HBM3E 里程碑产品,实现了三连胜:上市时间领先,强悍的行业性能及差异化的能效概况。”AI 工作负载严重依赖内存带宽和容量,Sadana 认为美光处于有利位置,“能通过我们业界领先的 HBM3E 和 HBM4 路线图,以及我们用于 AI 应用的完整 DRAM 和 NAND 解决方案组合,来支持未来 AI 的显著增长”。美光在 HBM 产业领域最大的对手是 SK 海力士和三星,而就英伟达 AI 加速卡供应链竞争格局看,美光的对手也是海力士。虽然三星也向英伟达提供了测试样品,但截至 2 月 29 日,三星 HBM3E 的测试结果仍未披露。产业界消息显示,3 月,三星 HBM3E 的质量测试会有个结果。有必要指出,三星这款产品若能通过英伟达质量测试,将提供给英伟达 B100 GPU(BlackWell 架构,英伟达计划于今年第二季度末或第三季度初推出该系列产品)。今年 2 月 20 日,有消息称,1 月中旬,SK 海力士 HBM3E 开发工作收官,顺利完成了英伟达历时半年的产品性能评估。同时,SK 海力士计划于 3 月开始大规模生产五代 HBM3E 高带宽内存产品,并在 4 月向英伟达供应首批产品。半导体产品开发共分九个阶段(Phases 1-9)。目前,海力士已完成所有阶段的开发,进入最后的增产(Ramp-Up)阶段。简单再对英伟达 H200 特性做个回顾:基于 Hopper 架构,提供与 H100 相同的计算性能。同时,H200 还配备 141GB HBM3E 内存,带宽高达 4.8TB/s,较 H100 的 80GB HBM3(带宽 3.35TB/s)显着升级。韩国俩巨头 HBM3E 产能售罄SK 海力士副社长金基泰(Kim Ki-tae)2 月 21 日指出,生成式 AI 服务日益多样并持续发展,做为 AI 记忆体解决方案的 HBM 需求也出现爆炸性成长。公开消息显示,海力士 2024 年的 HBM 产能也已全部售罄。金基泰表示,HBM 拥有高效能和高容量特性。无论是从技术角度还是商业角度,HBM 都堪称具有里程碑意义。“虽然外部不稳定因素仍在,但 2024 年记忆体(存储器)市场有望逐渐升温。” 金基泰指出,“原因是全球大型科技客户的产品需求恢复。”2 月 23 日,SK 海力士管理层就 HBM 内存销售额发表声明:尽管规划 2024 年产能需超前提升,但目前产销量已达饱和状态。金基泰对此表示,作为 HBM 行业翘楚,海力士洞察到市场对 HBM 存储的巨大需求,现已提前调整产量,以期更好地满足市场需求。同时,金基泰还认为,“今年内除 HBM3E 外,DDR5 及 LPDDR5T 存储亦将受到市场热捧。”SK 海力士预期 2025 年将持续维持市场领先地位。有机构预测,海力士 2024 年营收将达 75 亿美元。2023 年,海力士主力产品 DDR5 DRAM 和 HBM3 的营收较 2022 年分别成长超过 4 倍和 5 倍(数据来源:海力士 2023 年财报)。2023 年 12 月底,在美光财报会议上,美光 CEO Sanjay Mehrotra 对外透露:得益于生成式 AI 的火爆,推动云端高性能 AI 芯片对 HBM 的旺盛需求,美光 2024 年 HBM 产能预计已全部售罄。2024 年初量产的 HBM3E 有望于 2024 会计年度创造数亿美元的营收。目前,HBM 已发展到第五代(HBM3E 是 HBM3 的扩展版)。此前各代际产品为第一代(HBM)、第二代(HBM2)、第三代(HBM2E)和第四代(HBM3)。第六代 HBM 产品为 HBM4,将使用 2048 位接口,可将每个堆栈的理论峰值内存带宽提高到 1.5TB/s 以上。为实现这一目标,HBM4 需具有约 6GT/s 的数据传输速率,这将有助于控制下一代 DRAM 的功耗。美光 HBM 产品有望在 2024 会计年度创造数亿美元业额,HBM 营收预料自 2024 会计年度第 3 季度起,为美光 DRAM 业务以及整毛利率带来正面贡献。值得一提的是,美光预期 2024 年 DRAM、NAND 产业供给都将低于需求。美光 2024 会计年度的 DRAM、NAND 位元供给成长预估仍低于需求成长,2024 年度存天数将会减少。