<p>Re:Invent 亚马逊表示，其下一代自家研发的硅芯片将凭借其伙伴 Nvidia 的帮助实现 6 倍的性能提升。</p>
<p>在周二于拉斯维加斯举行的 Re:Invent 大会上，亚马逊网络服务（AWS）预告了其 Trainium4 加速器，这将是首批采用 Nvidia 的 NVLink Fusion 互连技术进行芯片间通信的产品之一。</p>
<p>NVLink 是一种高速互连技术，允许跨多个系统的多个 GPU 共享资源并表现得像一个单一的加速器。此前，这项技术仅限于 Nvidia 的 CPU 和 GPU，但在 5 月，人工智能基础设施巨头宣布将在 Computex 上推出 NVLink Fusion，向其他厂商开放该技术。</p>
<p>亚马逊声称，这项技术将使其 Trainium4 加速器、Graviton CPU 和 EFA 网络技术能够在 Nvidia 的 MGX 机架上无缝通信。</p>
<p>在当前形式下，Nvidia 的第五代 NVLink 结构支持每个 GPU 高达 1.8 TB/s 的带宽（每个方向 900 GB/s），但该公司计划在明年将其翻倍至 3.6 TB/s。</p>
<p>除了 Nvidia 的互连技术，其他细节则相对模糊。我们被告知，新芯片在 FP8 下将提供 3 倍的 FLOPS，在 FP4 下将提供 6 倍的性能，并且内存带宽将提升 4 倍。亚马逊尚未说明这些声明是针对单个芯片还是其 UltraServer 机架系统。</p>
<p>假设这是针对机架系统，就像 Trainium3 的情况一样，这表明 AWS 的 Trainium4 UltraServers 可能提供超过 2 exaFLOPS 的密集 FP4 性能和每秒 2.8 PB 的内存带宽。</p>
<p>后者对于带宽受限的推理工作负载来说可能是一个重大利好。尽管命名方式相当混乱，AWS 实际上在内部和外部的训练和推理中都使用 Trainium。</p>
<p>当然，细节决定成败，而我们目前还没有全部信息。亚马逊去年此时对其 Trainium3 UltraServers 也做出了类似的声明，声称其计算能力比 Trainium2 机架提升了 4.4 倍。但虽然从技术上讲是正确的，我们当时并不知道大约一半的性能是通过将芯片数量从 64 增加到 144 实现的。</p>
<h3>Trainium3 在 EC2 上推出</h3>
<p>说到 Trainium3，在首次预告这些芯片一年后，亚马逊终于准备将其第三代 Trainium 加速器推向市场。</p>
<p>根据 AWS 的说法，每个芯片配备 144 GB 的 HBM3E 内存，提供 4.9 TB/s 的内存带宽，并能够产生超过 2.5 petaFLOPS 的密集 FP8 性能。</p>
<p>然而，对于受益于稀疏性的工作，如训练，这些芯片的性能更为强大。Trainium3 具有 16:4 的结构稀疏性，这有效地将芯片的性能提升至 10 petaFLOPS，适用于支持的工作负载。</p>
<p>亚马逊的 Trainium3 UltraServers 将 144 个这些芯片通过其 NeuronSwitch-v1 互连技术连接在一起，采用全互连结构，亚马逊表示这提供了两倍的芯片间带宽。</p>
<ul>
<li>AWS 和 Google 为他们所称不存在的多云障碍构建解决方案</li>
<li>AWS 构建 DNS 后备，以便在其臭名昭著的不稳定的美国东部地区出现问题时进行更改</li>
<li>Perplexity 展示如何在老旧的 GPU 和 AWS 网络上更高效地运行大型 AI 模型</li>
<li>AWS：你好，年轻人？请在 Fortnite 中观看我们的主题演讲</li>
</ul>
<p>这与亚马逊的 Trainium2 UltraServers 有显著变化，后者配备 64 个加速器，排列成 4x4x4 的 3D 环形拓扑。</p>
<p>亚马逊拒绝评论 144 个 Trainium3 加速器是如何相互连接的，但如果我们必须猜测，它可能类似于 Nvidia 的 NVL72 或 AMD 的 Helios 机架系统中使用的平面交换拓扑。</p>
<p>这样的举措应该会简化向 NVLink Fusion 下一代的过渡，但使 Google 成为在大规模 AI 训练和推理集群中仍在使用网状拓扑的少数芯片设计师之一。</p>
<p>无论如何，亚马逊似乎对其新的互连技术和 EFA 网络充满信心，认为这将使其支持包含多达一百万个加速器的生产部署，而相比之下，Project Rainier 中的 Trainium2 芯片数量为 500,000。</p>
<p>综合来看，每个 Trainium3 UltraServer 配备 20.7 TB 的 HBM3E、706 TB/s 的内存带宽，以及根据工作负载是否受益于稀疏性而在 363 到 1,452 petaFLOPS 之间的性能。</p>
<p>这使得这些系统在性能上大致与 Nvidia 最新的基于 Blackwell Ultra 的 GB300 NVL72 系统相当——至少在 FP8 下。在 FP4 下，差距显著扩大，Nvidia 系统的性能超过 3 倍。</p>
<p>尽管如此，FP4 仍主要用于推理，而 BF16 和 FP8 等更高精度的数据类型更适合用于训练。</p>
<p>尽管 Trainium 在性能上取得了进展，但一些客户仍然不准备放弃 Nvidia。因此，亚马逊还宣布推出基于 Nvidia 的 GB300 NVL72 的新计算产品，这些产品将加入公司现有的 GB200 实例。 ®</p>

<p>亚马逊正在将英伟达的 NVLink Fusion 集成到其 Trainium4 加速器中，承诺提供 6 倍的性能提升。这标志着技术的重大进步，允许在英伟达的 MGX 机架之间实现无缝通信。Trainium3 UltraServers 现已上市，配备 144 个芯片，具有增强的内存带宽和性能。亚马逊的目标是支持多达一百万个加速器，与英伟达的系统竞争。尽管技术有所进步，一些客户仍然忠于英伟达，这促使亚马逊提供基于英伟达技术的新计算选项</p>

<p>Re:Invent Amazon says that its next generation of homegrown silicon will deliver 6x higher performance thanks to a little help from its buddy Nvidia.</p>
<div class="lb-trans"><p>Re:Invent 亚马逊表示，其下一代自家研发的硅芯片将凭借其伙伴 Nvidia 的帮助实现 6 倍的性能提升。</p>
</div><p>At its Re:Invent convention in Las Vegas on Tuesday, Amazon Web Services (AWS) teased its Trainium4 accelerators, which will be among the first to embrace Nvidia's NVLink Fusion interconnect tech for chip-to-chip communications.</p>
<div class="lb-trans"><p>在周二于拉斯维加斯举行的 Re:Invent 大会上，亚马逊网络服务（AWS）预告了其 Trainium4 加速器，这将是首批采用 Nvidia 的 NVLink Fusion 互连技术进行芯片间通信的产品之一。</p>
</div><p>NVLink is a high-speed interconnect that allows multiple GPUs spanning multiple systems to pool resources and behave like a single accelerator. Previously, this technology has been limited to Nvidia CPUs and GPUs, but back in May, the AI infrastructure giant announced it was opening the tech to others with the introduction of NVLink Fusion at Computex.</p>
<div class="lb-trans"><p>NVLink 是一种高速互连技术，允许跨多个系统的多个 GPU 共享资源并表现得像一个单一的加速器。此前，这项技术仅限于 Nvidia 的 CPU 和 GPU，但在 5 月，人工智能基础设施巨头宣布将在 Computex 上推出 NVLink Fusion，向其他厂商开放该技术。</p>
</div><p>Amazon claims that the technology will allow its Trainium4 accelerators, Graviton CPUs, and EFA networking tech to communicate seamlessly across Nvidia's MGX racks.</p>
<div class="lb-trans"><p>亚马逊声称，这项技术将使其 Trainium4 加速器、Graviton CPU 和 EFA 网络技术能够在 Nvidia 的 MGX 机架上无缝通信。</p>
</div><p>In its current form, Nvidia's fifth-gen NVLink fabrics support up to 1.8 TB/s of bandwidth (900 GB/s in each direction) per GPU, but the company is on track to double that to 3.6 TB/s by next year.</p>
<div class="lb-trans"><p>在当前形式下，Nvidia 的第五代 NVLink 结构支持每个 GPU 高达 1.8 TB/s 的带宽（每个方向 900 GB/s），但该公司计划在明年将其翻倍至 3.6 TB/s。</p>
</div><p>Beyond Nvidia's interconnect tech, details are somewhat vague. We're told that the new chips will deliver 3x more FLOPS at FP8, 6x the performance at FP4, and 4x the memory bandwidth. Whether those claims pertain to the individual chips or its UltraServer rack systems, Amazon hasn't said.</p>
<div class="lb-trans"><p>除了 Nvidia 的互连技术，其他细节则相对模糊。我们被告知，新芯片在 FP8 下将提供 3 倍的 FLOPS，在 FP4 下将提供 6 倍的性能，并且内存带宽将提升 4 倍。亚马逊尚未说明这些声明是针对单个芯片还是其 UltraServer 机架系统。</p>
</div><p>Assuming it's the rack systems, as was the case with Trainium3, that suggests AWS's Trainium4 UltraServers could deliver upwards of 2 exaFLOPS of dense FP4 performance and 2.8 petabytes a second of memory bandwidth.</p>
<div class="lb-trans"><p>假设这是针对机架系统，就像 Trainium3 的情况一样，这表明 AWS 的 Trainium4 UltraServers 可能提供超过 2 exaFLOPS 的密集 FP4 性能和每秒 2.8 PB 的内存带宽。</p>
</div><p>That latter point is likely to be a major boon for bandwidth-bound inference workloads. Despite a rather confusing naming convention, AWS actually employs Trainium for both internal and external training and inference.</p>
<div class="lb-trans"><p>后者对于带宽受限的推理工作负载来说可能是一个重大利好。尽管命名方式相当混乱，AWS 实际上在内部和外部的训练和推理中都使用 Trainium。</p>
</div><p>Of course, the devil is in the details and we simply don't have all of them yet. Amazon made similar claims about its Trainium3 UltraServers this time last year, boasting a 4.4x uplift in compute over its Trainium2 racks. But while technically true, what we didn't know at the time was roughly half that performance would be achieved by more than doubling the number of chips from 64 to 144.</p>
<div class="lb-trans"><p>当然，细节决定成败，而我们目前还没有全部信息。亚马逊去年此时对其 Trainium3 UltraServers 也做出了类似的声明，声称其计算能力比 Trainium2 机架提升了 4.4 倍。但虽然从技术上讲是正确的，我们当时并不知道大约一半的性能是通过将芯片数量从 64 增加到 144 实现的。</p>
</div><h3>Trainium3 arrives on EC2</h3>
<div class="lb-trans"><h3>Trainium3 在 EC2 上推出</h3>
</div><p>Speaking of Trainium3, a year after first teasing the chips, Amazon is finally ready to bring its third generation of Trainium accelerators to the general market.</p>
<div class="lb-trans"><p>说到 Trainium3，在首次预告这些芯片一年后，亚马逊终于准备将其第三代 Trainium 加速器推向市场。</p>
</div><p>According to AWS, each chip is equipped with 144 GB of HBM3E memory, good for 4.9 TB/s of memory bandwidth, and is capable of churning out just over 2.5 petaFLOPS of dense FP8 performance.</p>
<div class="lb-trans"><p>根据 AWS 的说法，每个芯片配备 144 GB 的 HBM3E 内存，提供 4.9 TB/s 的内存带宽，并能够产生超过 2.5 petaFLOPS 的密集 FP8 性能。</p>
</div><p>However, for jobs that benefit from sparsity, like training, the chips are even more potent. Trainium3 features 16:4 structured sparsity, which effectively quadruples the chip's performance to 10 petaFLOPS for supported workloads.</p>
<div class="lb-trans"><p>然而，对于受益于稀疏性的工作，如训练，这些芯片的性能更为强大。Trainium3 具有 16:4 的结构稀疏性，这有效地将芯片的性能提升至 10 petaFLOPS，适用于支持的工作负载。</p>
</div><p>Amazon's Trainium3 UltraServers cram 144 of these chips connected in an all-to-all fabric using its NeuronSwitch-v1 interconnect tech, which Amazon says offers twice the chip-to-chip bandwidth.</p>
<div class="lb-trans"><p>亚马逊的 Trainium3 UltraServers 将 144 个这些芯片通过其 NeuronSwitch-v1 互连技术连接在一起，采用全互连结构，亚马逊表示这提供了两倍的芯片间带宽。</p>
</div><ul>
<li>AWS and Google build a fix for multi-cloud barriers they said didn't exist</li>
<li>AWS builds a DNS backstop to allow changes when its notoriously flaky US East region wobbles</li>
<li>Perplexity shows how to run monster AI models more efficiently on aging GPUs, AWS networks</li>
<li>AWS: How do you do, fellow kids? Please watch our keynotes in Fortnite</li>
</ul>
<div class="lb-trans"><ul>
<li>AWS 和 Google 为他们所称不存在的多云障碍构建解决方案</li>
<li>AWS 构建 DNS 后备，以便在其臭名昭著的不稳定的美国东部地区出现问题时进行更改</li>
<li>Perplexity 展示如何在老旧的 GPU 和 AWS 网络上更高效地运行大型 AI 模型</li>
<li>AWS：你好，年轻人？请在 Fortnite 中观看我们的主题演讲</li>
</ul>
</div><p>This is a marked change from Amazon's Trainium2 UltraServers, which featured 64 accelerators arranged in a 4x4x4 3D torus topology.</p>
<div class="lb-trans"><p>这与亚马逊的 Trainium2 UltraServers 有显著变化，后者配备 64 个加速器，排列成 4x4x4 的 3D 环形拓扑。</p>
</div><p>Amazon declined to comment on how the 144 Trainium3 accelerators are connected to one another, but if we had to guess, it likely resembles the flat switched topology used in Nvidia's NVL72 or AMD's Helios rack systems.</p>
<div class="lb-trans"><p>亚马逊拒绝评论 144 个 Trainium3 加速器是如何相互连接的，但如果我们必须猜测，它可能类似于 Nvidia 的 NVL72 或 AMD 的 Helios 机架系统中使用的平面交换拓扑。</p>
</div><p>Such a move should ease the transition to NVLink Fusion next generation, but leaves Google as one of the few chip designers left using mesh topologies in large-scale AI training and inference clusters.</p>
<div class="lb-trans"><p>这样的举措应该会简化向 NVLink Fusion 下一代的过渡，但使 Google 成为在大规模 AI 训练和推理集群中仍在使用网状拓扑的少数芯片设计师之一。</p>
</div><p>In any case, Amazon seems confident that its new interconnect tech and EFA networking will enable it to support production deployments containing up to a million accelerators, compared to the 500,000 Trainium2 chips found in Project Rainier.</p>
<div class="lb-trans"><p>无论如何，亚马逊似乎对其新的互连技术和 EFA 网络充满信心，认为这将使其支持包含多达一百万个加速器的生产部署，而相比之下，Project Rainier 中的 Trainium2 芯片数量为 500,000。</p>
</div><p>Combined, each Trainium3 UltraServer features 20.7 TB of HBM3E, 706 TB/s of memory bandwidth, and between 363 and 1,452 petaFLOPS depending on whether your workload actually benefits from sparsity or not.</p>
<div class="lb-trans"><p>综合来看，每个 Trainium3 UltraServer 配备 20.7 TB 的 HBM3E、706 TB/s 的内存带宽，以及根据工作负载是否受益于稀疏性而在 363 到 1,452 petaFLOPS 之间的性能。</p>
</div><p>This puts the systems roughly on par with Nvidia's latest Blackwell Ultra-based GB300 NVL72 systems – at least at FP8. At FP4, the gap widens considerably with the Nvidia system delivering more than 3x the performance.</p>
<div class="lb-trans"><p>这使得这些系统在性能上大致与 Nvidia 最新的基于 Blackwell Ultra 的 GB300 NVL72 系统相当——至少在 FP8 下。在 FP4 下，差距显著扩大，Nvidia 系统的性能超过 3 倍。</p>
</div><p>With that said, FP4 is still primarily used in inference, while higher-precision datatypes like BF16 and FP8 are preferred for training.</p>
<div class="lb-trans"><p>尽管如此，FP4 仍主要用于推理，而 BF16 和 FP8 等更高精度的数据类型更适合用于训练。</p>
</div><p>Despite Trainium's advancements in performance, some customers still aren't ready to abandon Nvidia just yet. Because of this, Amazon has also announced the availability of new compute offerings based on Nvidia's GB300 NVL72, which join the company's existing GB200 instances. ®</p>
<div class="lb-trans"><p>尽管 Trainium 在性能上取得了进展，但一些客户仍然不准备放弃 Nvidia。因此，亚马逊还宣布推出基于 Nvidia 的 GB300 NVL72 的新计算产品，这些产品将加入公司现有的 GB200 实例。 ®</p>
</div>

亚马逊计划将 Nvidia 的 NVLink 技术整合到其第四代 Trainium 加速器中