<p>Re:Invent 亞馬遜表示，其下一代自家研發的硅芯片將憑藉其夥伴 Nvidia 的幫助實現 6 倍的性能提升。</p>
<p>在週二於拉斯維加斯舉行的 Re:Invent 大會上，亞馬遜網絡服務（AWS）預告了其 Trainium4 加速器，這將是首批採用 Nvidia 的 NVLink Fusion 互連技術進行芯片間通信的產品之一。</p>
<p>NVLink 是一種高速互連技術，允許跨多個系統的多個 GPU 共享資源並表現得像一個單一的加速器。此前，這項技術僅限於 Nvidia 的 CPU 和 GPU，但在 5 月，人工智能基礎設施巨頭宣佈將在 Computex 上推出 NVLink Fusion，向其他廠商開放該技術。</p>
<p>亞馬遜聲稱，這項技術將使其 Trainium4 加速器、Graviton CPU 和 EFA 網絡技術能夠在 Nvidia 的 MGX 機架上無縫通信。</p>
<p>在當前形式下，Nvidia 的第五代 NVLink 結構支持每個 GPU 高達 1.8 TB/s 的帶寬（每個方向 900 GB/s），但該公司計劃在明年將其翻倍至 3.6 TB/s。</p>
<p>除了 Nvidia 的互連技術，其他細節則相對模糊。我們被告知，新芯片在 FP8 下將提供 3 倍的 FLOPS，在 FP4 下將提供 6 倍的性能，並且內存帶寬將提升 4 倍。亞馬遜尚未説明這些聲明是針對單個芯片還是其 UltraServer 機架系統。</p>
<p>假設這是針對機架系統，就像 Trainium3 的情況一樣，這表明 AWS 的 Trainium4 UltraServers 可能提供超過 2 exaFLOPS 的密集 FP4 性能和每秒 2.8 PB 的內存帶寬。</p>
<p>後者對於帶寬受限的推理工作負載來説可能是一個重大利好。儘管命名方式相當混亂，AWS 實際上在內部和外部的訓練和推理中都使用 Trainium。</p>
<p>當然，細節決定成敗，而我們目前還沒有全部信息。亞馬遜去年此時對其 Trainium3 UltraServers 也做出了類似的聲明，聲稱其計算能力比 Trainium2 機架提升了 4.4 倍。但雖然從技術上講是正確的，我們當時並不知道大約一半的性能是通過將芯片數量從 64 增加到 144 實現的。</p>
<h3>Trainium3 在 EC2 上推出</h3>
<p>説到 Trainium3，在首次預告這些芯片一年後，亞馬遜終於準備將其第三代 Trainium 加速器推向市場。</p>
<p>根據 AWS 的説法，每個芯片配備 144 GB 的 HBM3E 內存，提供 4.9 TB/s 的內存帶寬，並能夠產生超過 2.5 petaFLOPS 的密集 FP8 性能。</p>
<p>然而，對於受益於稀疏性的工作，如訓練，這些芯片的性能更為強大。Trainium3 具有 16:4 的結構稀疏性，這有效地將芯片的性能提升至 10 petaFLOPS，適用於支持的工作負載。</p>
<p>亞馬遜的 Trainium3 UltraServers 將 144 個這些芯片通過其 NeuronSwitch-v1 互連技術連接在一起，採用全互連結構，亞馬遜表示這提供了兩倍的芯片間帶寬。</p>
<ul>
<li>AWS 和 Google 為他們所稱不存在的多雲障礙構建解決方案</li>
<li>AWS 構建 DNS 後備，以便在其臭名昭著的不穩定的美國東部地區出現問題時進行更改</li>
<li>Perplexity 展示如何在老舊的 GPU 和 AWS 網絡上更高效地運行大型 AI 模型</li>
<li>AWS：你好，年輕人？請在 Fortnite 中觀看我們的主題演講</li>
</ul>
<p>這與亞馬遜的 Trainium2 UltraServers 有顯著變化，後者配備 64 個加速器，排列成 4x4x4 的 3D 環形拓撲。</p>
<p>亞馬遜拒絕評論 144 個 Trainium3 加速器是如何相互連接的，但如果我們必須猜測，它可能類似於 Nvidia 的 NVL72 或 AMD 的 Helios 機架系統中使用的平面交換拓撲。</p>
<p>這樣的舉措應該會簡化向 NVLink Fusion 下一代的過渡，但使 Google 成為在大規模 AI 訓練和推理集羣中仍在使用網狀拓撲的少數芯片設計師之一。</p>
<p>無論如何，亞馬遜似乎對其新的互連技術和 EFA 網絡充滿信心，認為這將使其支持包含多達一百萬個加速器的生產部署，而相比之下，Project Rainier 中的 Trainium2 芯片數量為 500,000。</p>
<p>綜合來看，每個 Trainium3 UltraServer 配備 20.7 TB 的 HBM3E、706 TB/s 的內存帶寬，以及根據工作負載是否受益於稀疏性而在 363 到 1,452 petaFLOPS 之間的性能。</p>
<p>這使得這些系統在性能上大致與 Nvidia 最新的基於 Blackwell Ultra 的 GB300 NVL72 系統相當——至少在 FP8 下。在 FP4 下，差距顯著擴大，Nvidia 系統的性能超過 3 倍。</p>
<p>儘管如此，FP4 仍主要用於推理，而 BF16 和 FP8 等更高精度的數據類型更適合用於訓練。</p>
<p>儘管 Trainium 在性能上取得了進展，但一些客户仍然不準備放棄 Nvidia。因此，亞馬遜還宣佈推出基於 Nvidia 的 GB300 NVL72 的新計算產品，這些產品將加入公司現有的 GB200 實例。 ®</p>

<p>亞馬遜正在將英偉達的 NVLink Fusion 集成到其 Trainium4 加速器中，承諾提供 6 倍的性能提升。這標誌着技術的重大進步，允許在英偉達的 MGX 機架之間實現無縫通信。Trainium3 UltraServers 現已上市，配備 144 個芯片，具有增強的內存帶寬和性能。亞馬遜的目標是支持多達一百萬個加速器，與英偉達的系統競爭。儘管技術有所進步，一些客户仍然忠於英偉達，這促使亞馬遜提供基於英偉達技術的新計算選項</p>

<p>Re:Invent Amazon says that its next generation of homegrown silicon will deliver 6x higher performance thanks to a little help from its buddy Nvidia.</p>
<div class="lb-trans"><p>Re:Invent 亞馬遜表示，其下一代自家研發的硅芯片將憑藉其夥伴 Nvidia 的幫助實現 6 倍的性能提升。</p>
</div><p>At its Re:Invent convention in Las Vegas on Tuesday, Amazon Web Services (AWS) teased its Trainium4 accelerators, which will be among the first to embrace Nvidia's NVLink Fusion interconnect tech for chip-to-chip communications.</p>
<div class="lb-trans"><p>在週二於拉斯維加斯舉行的 Re:Invent 大會上，亞馬遜網絡服務（AWS）預告了其 Trainium4 加速器，這將是首批採用 Nvidia 的 NVLink Fusion 互連技術進行芯片間通信的產品之一。</p>
</div><p>NVLink is a high-speed interconnect that allows multiple GPUs spanning multiple systems to pool resources and behave like a single accelerator. Previously, this technology has been limited to Nvidia CPUs and GPUs, but back in May, the AI infrastructure giant announced it was opening the tech to others with the introduction of NVLink Fusion at Computex.</p>
<div class="lb-trans"><p>NVLink 是一種高速互連技術，允許跨多個系統的多個 GPU 共享資源並表現得像一個單一的加速器。此前，這項技術僅限於 Nvidia 的 CPU 和 GPU，但在 5 月，人工智能基礎設施巨頭宣佈將在 Computex 上推出 NVLink Fusion，向其他廠商開放該技術。</p>
</div><p>Amazon claims that the technology will allow its Trainium4 accelerators, Graviton CPUs, and EFA networking tech to communicate seamlessly across Nvidia's MGX racks.</p>
<div class="lb-trans"><p>亞馬遜聲稱，這項技術將使其 Trainium4 加速器、Graviton CPU 和 EFA 網絡技術能夠在 Nvidia 的 MGX 機架上無縫通信。</p>
</div><p>In its current form, Nvidia's fifth-gen NVLink fabrics support up to 1.8 TB/s of bandwidth (900 GB/s in each direction) per GPU, but the company is on track to double that to 3.6 TB/s by next year.</p>
<div class="lb-trans"><p>在當前形式下，Nvidia 的第五代 NVLink 結構支持每個 GPU 高達 1.8 TB/s 的帶寬（每個方向 900 GB/s），但該公司計劃在明年將其翻倍至 3.6 TB/s。</p>
</div><p>Beyond Nvidia's interconnect tech, details are somewhat vague. We're told that the new chips will deliver 3x more FLOPS at FP8, 6x the performance at FP4, and 4x the memory bandwidth. Whether those claims pertain to the individual chips or its UltraServer rack systems, Amazon hasn't said.</p>
<div class="lb-trans"><p>除了 Nvidia 的互連技術，其他細節則相對模糊。我們被告知，新芯片在 FP8 下將提供 3 倍的 FLOPS，在 FP4 下將提供 6 倍的性能，並且內存帶寬將提升 4 倍。亞馬遜尚未説明這些聲明是針對單個芯片還是其 UltraServer 機架系統。</p>
</div><p>Assuming it's the rack systems, as was the case with Trainium3, that suggests AWS's Trainium4 UltraServers could deliver upwards of 2 exaFLOPS of dense FP4 performance and 2.8 petabytes a second of memory bandwidth.</p>
<div class="lb-trans"><p>假設這是針對機架系統，就像 Trainium3 的情況一樣，這表明 AWS 的 Trainium4 UltraServers 可能提供超過 2 exaFLOPS 的密集 FP4 性能和每秒 2.8 PB 的內存帶寬。</p>
</div><p>That latter point is likely to be a major boon for bandwidth-bound inference workloads. Despite a rather confusing naming convention, AWS actually employs Trainium for both internal and external training and inference.</p>
<div class="lb-trans"><p>後者對於帶寬受限的推理工作負載來説可能是一個重大利好。儘管命名方式相當混亂，AWS 實際上在內部和外部的訓練和推理中都使用 Trainium。</p>
</div><p>Of course, the devil is in the details and we simply don't have all of them yet. Amazon made similar claims about its Trainium3 UltraServers this time last year, boasting a 4.4x uplift in compute over its Trainium2 racks. But while technically true, what we didn't know at the time was roughly half that performance would be achieved by more than doubling the number of chips from 64 to 144.</p>
<div class="lb-trans"><p>當然，細節決定成敗，而我們目前還沒有全部信息。亞馬遜去年此時對其 Trainium3 UltraServers 也做出了類似的聲明，聲稱其計算能力比 Trainium2 機架提升了 4.4 倍。但雖然從技術上講是正確的，我們當時並不知道大約一半的性能是通過將芯片數量從 64 增加到 144 實現的。</p>
</div><h3>Trainium3 arrives on EC2</h3>
<div class="lb-trans"><h3>Trainium3 在 EC2 上推出</h3>
</div><p>Speaking of Trainium3, a year after first teasing the chips, Amazon is finally ready to bring its third generation of Trainium accelerators to the general market.</p>
<div class="lb-trans"><p>説到 Trainium3，在首次預告這些芯片一年後，亞馬遜終於準備將其第三代 Trainium 加速器推向市場。</p>
</div><p>According to AWS, each chip is equipped with 144 GB of HBM3E memory, good for 4.9 TB/s of memory bandwidth, and is capable of churning out just over 2.5 petaFLOPS of dense FP8 performance.</p>
<div class="lb-trans"><p>根據 AWS 的説法，每個芯片配備 144 GB 的 HBM3E 內存，提供 4.9 TB/s 的內存帶寬，並能夠產生超過 2.5 petaFLOPS 的密集 FP8 性能。</p>
</div><p>However, for jobs that benefit from sparsity, like training, the chips are even more potent. Trainium3 features 16:4 structured sparsity, which effectively quadruples the chip's performance to 10 petaFLOPS for supported workloads.</p>
<div class="lb-trans"><p>然而，對於受益於稀疏性的工作，如訓練，這些芯片的性能更為強大。Trainium3 具有 16:4 的結構稀疏性，這有效地將芯片的性能提升至 10 petaFLOPS，適用於支持的工作負載。</p>
</div><p>Amazon's Trainium3 UltraServers cram 144 of these chips connected in an all-to-all fabric using its NeuronSwitch-v1 interconnect tech, which Amazon says offers twice the chip-to-chip bandwidth.</p>
<div class="lb-trans"><p>亞馬遜的 Trainium3 UltraServers 將 144 個這些芯片通過其 NeuronSwitch-v1 互連技術連接在一起，採用全互連結構，亞馬遜表示這提供了兩倍的芯片間帶寬。</p>
</div><ul>
<li>AWS and Google build a fix for multi-cloud barriers they said didn't exist</li>
<li>AWS builds a DNS backstop to allow changes when its notoriously flaky US East region wobbles</li>
<li>Perplexity shows how to run monster AI models more efficiently on aging GPUs, AWS networks</li>
<li>AWS: How do you do, fellow kids? Please watch our keynotes in Fortnite</li>
</ul>
<div class="lb-trans"><ul>
<li>AWS 和 Google 為他們所稱不存在的多雲障礙構建解決方案</li>
<li>AWS 構建 DNS 後備，以便在其臭名昭著的不穩定的美國東部地區出現問題時進行更改</li>
<li>Perplexity 展示如何在老舊的 GPU 和 AWS 網絡上更高效地運行大型 AI 模型</li>
<li>AWS：你好，年輕人？請在 Fortnite 中觀看我們的主題演講</li>
</ul>
</div><p>This is a marked change from Amazon's Trainium2 UltraServers, which featured 64 accelerators arranged in a 4x4x4 3D torus topology.</p>
<div class="lb-trans"><p>這與亞馬遜的 Trainium2 UltraServers 有顯著變化，後者配備 64 個加速器，排列成 4x4x4 的 3D 環形拓撲。</p>
</div><p>Amazon declined to comment on how the 144 Trainium3 accelerators are connected to one another, but if we had to guess, it likely resembles the flat switched topology used in Nvidia's NVL72 or AMD's Helios rack systems.</p>
<div class="lb-trans"><p>亞馬遜拒絕評論 144 個 Trainium3 加速器是如何相互連接的，但如果我們必須猜測，它可能類似於 Nvidia 的 NVL72 或 AMD 的 Helios 機架系統中使用的平面交換拓撲。</p>
</div><p>Such a move should ease the transition to NVLink Fusion next generation, but leaves Google as one of the few chip designers left using mesh topologies in large-scale AI training and inference clusters.</p>
<div class="lb-trans"><p>這樣的舉措應該會簡化向 NVLink Fusion 下一代的過渡，但使 Google 成為在大規模 AI 訓練和推理集羣中仍在使用網狀拓撲的少數芯片設計師之一。</p>
</div><p>In any case, Amazon seems confident that its new interconnect tech and EFA networking will enable it to support production deployments containing up to a million accelerators, compared to the 500,000 Trainium2 chips found in Project Rainier.</p>
<div class="lb-trans"><p>無論如何，亞馬遜似乎對其新的互連技術和 EFA 網絡充滿信心，認為這將使其支持包含多達一百萬個加速器的生產部署，而相比之下，Project Rainier 中的 Trainium2 芯片數量為 500,000。</p>
</div><p>Combined, each Trainium3 UltraServer features 20.7 TB of HBM3E, 706 TB/s of memory bandwidth, and between 363 and 1,452 petaFLOPS depending on whether your workload actually benefits from sparsity or not.</p>
<div class="lb-trans"><p>綜合來看，每個 Trainium3 UltraServer 配備 20.7 TB 的 HBM3E、706 TB/s 的內存帶寬，以及根據工作負載是否受益於稀疏性而在 363 到 1,452 petaFLOPS 之間的性能。</p>
</div><p>This puts the systems roughly on par with Nvidia's latest Blackwell Ultra-based GB300 NVL72 systems – at least at FP8. At FP4, the gap widens considerably with the Nvidia system delivering more than 3x the performance.</p>
<div class="lb-trans"><p>這使得這些系統在性能上大致與 Nvidia 最新的基於 Blackwell Ultra 的 GB300 NVL72 系統相當——至少在 FP8 下。在 FP4 下，差距顯著擴大，Nvidia 系統的性能超過 3 倍。</p>
</div><p>With that said, FP4 is still primarily used in inference, while higher-precision datatypes like BF16 and FP8 are preferred for training.</p>
<div class="lb-trans"><p>儘管如此，FP4 仍主要用於推理，而 BF16 和 FP8 等更高精度的數據類型更適合用於訓練。</p>
</div><p>Despite Trainium's advancements in performance, some customers still aren't ready to abandon Nvidia just yet. Because of this, Amazon has also announced the availability of new compute offerings based on Nvidia's GB300 NVL72, which join the company's existing GB200 instances. ®</p>
<div class="lb-trans"><p>儘管 Trainium 在性能上取得了進展，但一些客户仍然不準備放棄 Nvidia。因此，亞馬遜還宣佈推出基於 Nvidia 的 GB300 NVL72 的新計算產品，這些產品將加入公司現有的 GB200 實例。 ®</p>
</div>

亞馬遜計劃將 Nvidia 的 NVLink 技術整合到其第四代 Trainium 加速器中