<div>
<div>
<div>
<div>
<div>
<div>
<div>
<p style="text-align: right">作者：赵颖</p>
<p style="text-align: right">来源：硬 AI</p>
<p>“Hopper 很棒，但我们需要更强大的 GPU”，时隔两年黄仁勋在英伟达 AI 盛会 GTC，重磅发布新一代 Blackwell 架构 GPU。</p>
<p>随着生成式 AI 的兴起，英伟达正用更强大的芯片吸引客户，Blackwell 架构被寄予厚望，性能方面实现飞跃。</p>
<p>据媒体周一分析，作为 Hopper 架构的后继者，Blackwell 在性能提升方面表现出色，<strong>最高规格的 Blackwell 芯片浮点运算速度（FLOPS）大约快了 5 倍，能耗也进一步优化，与 AMD MI300X GPU 相比显现出强大竞争力，巩固了英伟达在性能和能效方面的技术优势。</strong></p>
<p>性能提升的关键在于 Blackwell 价格设计，每款 GPU 实际上由两颗 Compute Die 集成，通过 10TB/秒的 NVLink-HBI（高带宽接口）技术连接，使得它们能够作为单个加速器工作。</p>
<p>此外，两颗计算芯片周围配备了 8 个 8 层堆叠 HBM3e 内存，总容量可达 192GB，带宽高达 8TB/秒。与 H100 和 H200 不同，B100 和 B200 在内存和 GPU 带宽上保持一致。目前，Blackwell 系列包括三个型号：B100、B200 和 Grace-Blackwell Superchip（GB200）。</p>
<p>此外，想要发挥最大性能并非易事，需要考虑众多因素。尽管英伟达宣称新芯片算力能够达到 20petaflops，但这一性能指标是基于使用新推出的 FP4 精度，并采用液冷服务器的情况下测得的。<strong>想要发挥 Blackwell 的最大潜力，转向液态冷却几乎成为必须。若比较与上一代芯片 H100 的 FP8 性能，新芯片的速度仅提升约 2.5 倍。</strong></p>
<h2>GB200 超级芯片性能强悍</h2>
<p>英伟达最强大的 GPU 集成在 GB200 芯片中，类似于 Grace-Hopper 芯片，Grace-Blackwell Superchip 将现有的 72 核 Grace CPU 与 Blackwell GPU 利用 NVLink-C2C 连接技术相结合。</p>
<p>不过，与单个 H100GPU 不同，GB200 配备了两个 Blackwell 加速器——使其计算性能达到 40petaflops，并拥有 384GB 的 HBM3e 内存。</p>
<p><strong>先前的 GH200 被标注为 1000W——包括 700W 的 GPU 和 300W 的 Arm CPU。因此，可以粗略估算，在全负荷下，GB200——包括两个 GPU，每个 1200W，以及相同的 Arm CPU——可能的总功耗大约为 2700W。因此，英伟达直接采用液冷系统也就不足为奇了。</strong></p>
<p>去掉笨重的热散布器，改为安装几个冷却板，英伟达能够将这两个加速器紧凑地安装在一个 1U 机架系统内，该机架能提供高达 80 千万亿次浮点运算的计算性能，或者以 FP8 计算达到 40 千万亿次浮点运算。</p>
<p>与上一代相比，这种双 GB200 系统能够提供比其 8U 10.2kW DGX H100 系统更多的计算性能——40 petaflops 对比 32petaflops——同时所需空间减少到八分之一。</p>
<h2>新一代 NVLink 连接方案使性能大幅提升</h2>
<p>GB200 构成了 Nvidia NVL72 机架级 AI 系统的核心，<strong>GB200 NVL72 则是一款机架级系统，它使用 NVLink 交换设备将 36 个 GB200 拼接成一个系统 。该系统旨在支持大规模的训练和推理任务，可处理高达 27 万亿个参数的大语言模型。</strong></p>
<p>根据英伟达介绍，在训练领域，该系统性能达到在 FP8 精度下能达到 720petaflops。而在推理工作负载方面，该系统的计算能力可达 FP4 下的 1.44exaFLOPS 。如果这还不够，八个 NVL72 机架可以互联，组成 “巨无霸” DGX BG200 Superpod。</p>
<p>每个机架装配了 18 个节点，共计 32 个 Grace GPU 和 72 个 Blackwell 加速器。然后，这些节点通过一系列九个 NVLink 开关进行互连，使得这些节点像单个 13.5TB HBM3e 内存的 GPU 节点一样工作。</p>
<p>这基本上是 Nvidia 在之前的 DGX 系统中所采用的同样技术，使得八个 GPU 像单卡 GPU 一样运作。不同之处在于，Nvidia 利用专用的 NVLink 设备，实现了对更多 GPU 的支持。<strong>新一代 NVLink 为每个 GPU 提供 1.8TB/s 双向带宽，支持多达 576 个 GPU 间的无缝高速通信。</strong></p>
<h2>散热需求激增，液冷或成必备</h2>
<p>尽管英伟达新一代产品并不强制要求使用液冷，但若想充分利用英伟达的旗舰芯片，液态冷却几乎是必选的。</p>
<p>对于 B100、B200 和 GB200，其主要区别在于功率和性能。据英伟达介绍，这些芯片的工作功率范围可在 700W 至 1200W 之间，视具体型号和冷却方式而定。</p>
<p>在不同的功率工作状态下，芯片的性能自然也会有所不同。英伟达指出，采用空气冷却系统的 HGX B100 设备可以在每块 GPU 上实现 14petaflops 的速度，同时功耗与 H100 相当。这意味着，如果数据中心已能够支持英伟达的 DGX H100 系统，那么引入 B100 节点应不会遇到问题。</p>
<p>而 B200 则更加引人关注，在采用空气冷却的 HGX 或 DGX 架构中，每块 GPU 能提供 18petaflops 的计算能力，同时功耗达到一千瓦。据英伟达称，DGX B200 机箱配备 8 个 B200GPU 的总功耗约为 14.3kW，这意味着在机架功率和散热方面需要约 60kW 的额外容量。</p>
<p>对于专门为 AI 集群设计的新数据中心来说，这不是问题；但对于现有设施，挑战可能更大。</p>
<p><strong>在 AI 数据中心领域，想要发挥 Blackwell 的最大潜力，转向液态冷却几乎成为必须。在液冷配置下，芯片在满负荷运作时的热输出可以达到 1200W，同时实现 20petaflops 的性能。</strong></p>
<h2>与竞品相比，Blackwell 仍具优势</h2>
<p>虽然英伟达正主导 AI 基础设施市场，但它并非唯一参与者，重量级对手英特尔和 AMD 正在推出 Gaudi 和 Instinct 加速器，云服务商正推动自家定制芯片，AI 创业公司如 Cerebras 和 Samba Nova 也在竞争中占据一席之地。</p>
<p>以 AMD 去年 12 月推出的 MI300X GPU 相比，Blackwell 仍具备优势：</p>
<blockquote>
<p>MI300X 利用先进的封装技术，将八个 CDNA 3 计算单元垂直堆叠在四个 I/O 芯片上，这些芯片为 GPU 之间以及与 192GBHBM3 内存之间提供高速通信。</p>
<p>在性能方面，MI300X 在 FP8 浮点计算中提供 30% 的性能优势，在与 Nvidia H100 为主的高性能计算集中型双精度工作负载中，几乎具有 2.5 倍的领先优势。将 750W 的 MI300X 与 700W 的 B100 对比，英伟达的芯片在 sparse 性能方面快了 2.67 倍。</p>
<p>此外，<strong>尽管这两款芯片现在都包含了 192GB 的高带宽内存，但 Blackwell 部件的内存速度快了 2.8TB/秒。而内存带宽已被证明是 AI 性能的关键指标，特别是在推理方面。</strong>例如，英伟达 H200 本质上是 H100 加强带宽的版本。尽管 FLOPS 相同，英伟达声称 H200 在如 Meta 的 Llama2 70B 模型中的速度是 H100 的两倍。</p>
</blockquote>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<p>虽然英伟达在低精度领域保持明显领先，但可能牺牲了双精度性能，AMD 近年来在此类性能方面表现突出，赢得了多项高端超级计算机奖项。</p>
<p>分析预计，在 2024 年对 AI 新品的需求将远远超过供应，在这种情况下，赢得市场份额并不总是意味着拥有更快的芯片，关键是哪些芯片能够上市发货。尽管 Blackwell 性能令人兴奋，但在买家拿到它们之前还需要一段时间，<strong>B200 和 GB200 产能爬坡似乎要等到 2025 年初。</strong></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>

英伟达

2 倍做多英伟达 ETF - GraniteShares

<p>与竞品相比 Blackwell 性能表现出色，但要想要发挥 Blackwell 的最大潜力，转向液冷几乎成为必须。</p>

一文读懂英伟达的 “新 GPU”：比 H100 快 5 倍？1200W 的功耗？液冷？与 MI300X 比较又如何？