<section>
<p>Nvidia 推出其第一代 Blackwell B200 系列處理器時遇到了阻礙，原因是產量問題，並且還出現了幾份未經證實的服務器過熱報告。然而，據 SemiAnalysis 報道，Nvidia 的第二代 Blackwell B300 系列處理器似乎  即將問世。它們不僅具有更大的內存容量，而且性能提高了 50%，而 TDP 僅增加了 200W。</p>
<p>Nvidia 的 B300 系列處理器採用了經過大幅調整的設計，仍將採用台積電的 4NP 製造工藝（針對 Nvidia 進行優化的 4nm 級節點，性能增強），但報告稱，它們的計算性能將比 B200 系列處理器高出 50%。性能提升的代價是高達 1,400W 的 TDP，僅比 GB200 高 200W。SemiAnalysis 稱，B300 將在 B200 上市大約半年後上市。</p>
<p>Nvidia B300 系列的第二項重大改進是使用 12-Hi HBM3E 內存堆棧，可提供 288 GB 內存和 8 TB/s 帶寬。增強的內存容量和更高的計算吞吐量將實現更快的訓練和推理，推理成本最多可降低三倍，因為 B300 可以處理更大的批量大小並支持擴展的序列長度，同時解決用户交互中的延遲問題。</p>
<p>除了更高的計算性能和更大的內存外，Nvidia 的第二代 Blackwell 機器還可能採用該公司的 800G ConnectX-8 NIC。該 NIC 的帶寬是當前 400G ConnectX-7 的兩倍，並且有 48 個 PCIe 通道，而其前代產品只有 32 個。這將為新服務器提供顯着的橫向擴展帶寬改進，這對大型集羣來説是一個勝利。</p>
<p>B300 和 GB300 的另一個重大改進是，與 B200 和 GB200 相比，Nvidia 據稱將重新設計整個供應鏈。該公司將不再試圖銷售整個參考主板或整個服務器機箱。相反，Nvidia 將只銷售搭載 SXM Puck 模塊、Grace CPU 和 Axiado 主機管理控制器 (HMC) 的 B300。因此，將允許更多公司參與 Blackwell 供應鏈，這有望使基於 Blackwell 的機器更容易獲得。</p>
<p>藉助 B300 和 GB300，Nvidia 將為其超大規模和 OEM 合作伙伴提供更多設計 Blackwell 機器的自由，這將影響它們的定價甚至性能。</p>
</section>
<section>
<section>
<section>
<section>
<section>
<h2><strong>Nvidia 的聖誕禮物：GB300 和 B300</strong></h2>
</section>
</section>
</section>
</section>
</section>
<section>
<p>在 GB200 和 B200 發佈僅 6 個月後，他們就向市場推出了一款全新的 GPU，名為 GB300 和 B300。雖然表面上聽起來只是漸進式的，但實際效果遠超預期。</p>
<p>這些變化尤其重要，因為它們包括對推理模型推理和訓練性能的巨大提升。Nvidia 為所有超大規模企業，尤其是亞馬遜、供應鏈中的某些參與者、內存供應商及其投資者準備了一份特別的聖誕禮物。隨着向 B300 的轉移，整個供應鏈正在重組和轉變，為許多贏家帶來了禮物，但也有一些輸家得到了煤炭。</p>
<p>B300 GPU 是基於 TSMC 4NP 工藝節點的全新流片，也就是説，它是針對計算芯片的微調設計。這使得 GPU 在產品層面上能夠提供比 B200 高 50% 的 FLOPS。部分性能提升將來自 200W 的額外功率，GB300 和 B300 HGX 的 TDP 分別達到 1.4KW 和 1.2KW（而 GB200 和 B200 的 TDP 分別為 1.2KW 和 1KW）。</p>
<p>其餘性能提升將來自架構增強和系統級增強，例如 CPU 和 GPU 之間的功率浮動。功率浮動是指 CPU 和 GPU 之間動態重新分配功率</p>
<p>除了 FLOPS 增加外，內存還從 8-Hi 升級到 12-Hi HBM3E，每個 GPU 的 HBM 容量增加到 288GB。但是，引腳速度將保持不變，因此內存帶寬仍為每 GPU 8TB/s。請注意，三星正在從聖誕老人那裏獲得煤炭，因為他們至少在未來 9 個月內無法進入 GB200 或 GB300。</p>
<p>此外，Nvidia 也因為聖誕節的氣氛，所以定價也相當有意思。這改變了 Blackwell 的利潤率，但以後再討論定價和利潤率的問題。首先要討論的是性能變化。</p>
</section>
<section>
<section>
<section>
<section>
<section>
<h2><strong>為推理模型推理而構建</strong></h2>
</section>
</section>
</section>
</section>
</section>
<section>
<p>由於長序列長度會增加 KVCache，從而限制關鍵批次大小和延遲，因此內存的改進是 OpenAI O3 風格 LLM 推理訓練和推理的關鍵。</p>
<p>下圖顯示了 Nvidia 當前幾代 GPU 在 1k 輸入 token、19k 輸出 token 上運行對 token 經濟學的改進，這類似於 OpenAI 的 o1 和 o3 模型中的思路鏈。這個演示性的屋頂線模擬是在 FP8 的 LLAMA 405B 上運行的，因為它是我們可以使用 H100 和 H200 GPU（我們可以訪問的 GPU）模擬的最佳公共模型。</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/76d6f351-ee58-48d6-b198-3543a8fecb1b.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="862" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/76d6f351-ee58-48d6-b198-3543a8fecb1b.png"/></p>
</section>
<section>
<p>從 H100 升級到 H200 純粹是內存更大、速度更快的升級，有兩個效果。</p>
<p>由於內存帶寬更大，所有可比批次大小的交互性普遍提高了 43%（H200 @ 4.8TB/s vs H100 @ 3.35TB/s）。</p>
<p>由於 H200 運行的批處理大小比 H100 大，每秒可生成 3 倍的令牌，因此成本降低了約 3 倍。這種差異主要是因為 KVCache 限制了總批處理大小。</p>
<p>更大內存容量帶來的動態變化似乎不成比例的好處是巨大的。對於操作員來説，這兩款 GPU 之間的性能和經濟差異比紙面上的規格所暗示的要大得多：</p>
<p>由於請求和響應之間等待時間過長，推理模型的用户體驗可能會很差。如果您可以提供更快的推理時間，這將增加用户使用和付費的傾向。</p>
<p>3 倍的成本差異是巨大的。坦率地説，通過中代內存升級實現 3 倍性能提升的硬件是瘋狂的，比摩爾定律、黃定律或我們所見過的任何其他硬件改進速度都要快得多。</p>
<p>我們觀察到，最強大和差異化的模型能夠比能力稍差的模型收取更高的費用。前沿模型的毛利率超過 70%，但落後模型的利潤率低於 20%。推理模型不必是一條思路。搜索是存在的，並且可以擴展以提高性能，就像 O1 Pro 和 O3 中所做的那樣。這使得更智能的模型能夠解決更多問題，併為每個 GPU 產生更多收入。</p>
<p>當然，Nvidia 並不是唯一一家能夠增加內存容量的公司。ASIC 可以做到這一點，事實上，AMD 可能處於有利地位，因為它們的內存容量比 Nvidia 更高，一般來説，MI300X 的內存容量為 192GB，MI325X 的內存容量為 256GB，MI350X 的內存容量為 288GB……不過聖誕老人黃有一隻叫做 NVLink 的紅鼻子馴鹿。</p>
<p>當我們轉向 GB200 NVL72 和 GB300 NVL72 時，基於 Nvidia 的系統的性能和成本將大幅提升。在推理中使用 NVL72 的關鍵點在於它能夠讓 72 個 GPU 以極低的延遲處理同一個問題，共享內存。世界上沒有其他加速器具有全對全交換連接。世界上沒有其他加速器可以通過交換機完成所有縮減。</p>
<p>Nvidia 的 GB200 NVL72 和 GB300 NVL72 對於實現許多關鍵功能至關重要。</p>
</section>
<section>
<ul>
<li>
<p>更高的交互性使得每個思路鏈的延遲更低。</p>
</li>
<li>
<p>72 個 GPU 分散 KVCache，以實現更長的思維鏈（提高智能）。</p>
</li>
<li>
<p>與典型的 8 GPU 服務器相比，批量大小擴展效果更好，從而降低了成本。</p>
</li>
<li>
<p>通過搜索更多樣本來解決同一問題，可以提高準確性並最終提高模型性能。</p>
</li>
</ul>
</section>
<section>
<p>因此，使用 NVL72 的 token 經濟學要好 10 倍以上，尤其是在長推理鏈上。KVCache 消耗內存對經濟來説是致命的，但 NVL72 是將推理長度擴展到高批次 100k+ token 的唯一方法。</p>
</section>
<section>
<section>
<section>
<section>
<section>
<h2><strong>Blackwell 供應鏈為 GB300 重新設計</strong></h2>
</section>
</section>
</section>
</section>
</section>
<section>
<p>隨着 GB300 的推出，Nvidia 提供的供應鏈和內容發生了巨大變化。對於 GB200，Nvidia 提供整個 Bianca 主板（包括 Blackwell GPU、Grace CPU、512GB LPDDR5X、VRM 內容，全部集成在一個 PCB 上），以及開關托盤和銅背板。</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/05b53e00-e6fb-41c7-9242-479710ab3a46.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="819" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/05b53e00-e6fb-41c7-9242-479710ab3a46.png"/></p>
</section>
<section>
<p>對於 GB300，Nvidia 不會提供整個 Bianca 主板，而是僅提供 “SXM Puck” 模塊上的 B300、BGA 封裝上的 Grace CPU 以及來自美國初創公司 Axiado 而非 GB200 的 Aspeed 的 HMC。</p>
<p>最終客户現在將直接採購計算板上的剩餘組件，第二層內存將是 LPCAMM 模塊，而不是焊接的 LPDDR5X。美光將成為這些模塊的主要供應商。</p>
<p>交換機托盤和銅背板保持不變，這些組件全部由 Nvidia 提供。</p>
<p><img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/1e4ded20-43f4-4f4b-a589-ed7a2532b683.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="450" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/1e4ded20-43f4-4f4b-a589-ed7a2532b683.png"/></p>
</section>
<section>
<p>轉向 SXM Puck 為更多 OEM 和 ODM 參與計算托盤提供了機會。以前只有 Wistron 和 FII 可以製造 Bianca 計算板，現在更多的 OEM 和 ODM 可以製造。Wistron 是 ODM 方面最大的輸家，因為它失去了 Bianca 板的份額。對於 FII 來説，Bianca 板層面的份額損失被他們是 SXM Puck 和 SXM Puck 所依賴的插槽的獨家制造商這一事實所抵消。Nvidia 正試圖為 Puck 和插槽引入其他供應商，但他們尚未下任何其他訂單。</p>
<p>另一個重大轉變是 VRM 內容。雖然 SXM Puck 上有一些 VRM 內容，但大部分板載 VRM 內容將由超大規模製造商/OEM 直接從 VRM 供應商處採購。10 月 25 日，我們向 Core Research 訂閲者發送了一份説明，説明 B300 如何重塑供應鏈，特別是圍繞電壓調節器模塊（“VRM”）。我們特別指出了單片電源系統將如何因商業模式的轉變而失去市場份額，以及哪些新進入者正在獲得市場份額。在我們向客户發送説明後的一個月內，由於市場意識到了我們領先研究中的事實，MPWR 下跌了 37% 以上。</p>
<p>Nvidia 還在 GB300 平台上提供 800G ConnectX-8 NIC，在 InfiniBand 和以太網上提供兩倍的橫向擴展帶寬。Nvidia 不久前取消了 GB200 的 ConnectX-8，原因是上市時間複雜，並且放棄在 Bianca 板上啓用 PCIe Gen 6。</p>
<p>ConnectX-8 相比 ConnectX-7 有了巨大改進。它不僅擁有 2 倍帶寬，還擁有 48 個 PCIe 通道（而非 32 個 PCIe 通道），從而支持獨特的架構，例如風冷 MGX B300A。此外，ConnectX-8 還支持 SpectrumX ，而在之前的 400G 代產品中，SpectrumX 所需的 Bluefield 3 DPU 效率要低得多。</p>
</section>
<section>
<section>
<section>
<section>
<section>
<h2><strong>GB300 對超大規模的影響</strong></h2>
</section>
</section>
</section>
</section>
</section>
<section>
<p>GB200 和 GB300 延遲對超大規模計算的影響意味着，從第三季度開始，許多訂單將轉向 Nvidia 新的更昂貴的 GPU。截至上週，所有超大規模計算公司都已決定繼續使用 GB300。部分原因是 GB300 的性能因更高的 FLOPS 和更大的內存而提高，但也有一部分原因是他們能夠掌控自己的命運。</p>
<p>由於上市時間的挑戰以及機架、冷卻和電力輸送/密度的重大變化，超大規模企業無法在服務器級別對 GB200 進行太大的更改。這導致 Meta 放棄了能夠從 Broadcom 和 Nvidia 多源獲取 NIC 的所有希望，轉而完全依賴 Nvidia。在其他情況下，例如 Google，他們放棄了內部 NIC，轉而只與 Nvidia 合作。</p>
<p>對於超大規模的數千人組織來説，這就像黑板上的釘子一樣，他們習慣於對從 CPU 到網絡，甚至螺絲和金屬板的所有東西進行成本優化。</p>
<p>最令人震驚的例子是亞馬遜，它選擇了非常次優的配置，與參考設計相比，TCO 更差。由於使用 PCIe 交換機和效率較低的 200G Elastic Fabric Adaptor NIC（需要風冷），亞馬遜無法部署 NVL72 機架，如 Meta、Google、Microsoft、Oracle、X.AI 和 Coreweave。由於其內部 NIC，亞馬遜不得不使用 NVL36，由於背板和交換機內容更多，每個 GPU 的成本也更高。總而言之，由於定製方面的限制，亞馬遜的配置不是最優的。</p>
<p>現在，藉助 GB300，超大規模數據中心運營商能夠定製主板、冷卻系統等。這使得亞馬遜能夠構建自己的定製主板，該主板採用水冷，並集成了之前採用風冷的組件，例如 Astera Labs PCIe 交換機。在 25 年第三季度，水冷更多組件以及最終在 K2V6 400G NIC 上實現 HVM 意味着亞馬遜可以重新轉向 NVL72 架構並大大改善其 TCO。</p>
<p>不過，有一個很大的缺點，那就是超大規模企業必須進行大量的設計、驗證和確認工作。這無疑是超大規模企業有史以來必須設計的最複雜的平台（谷歌的 TPU 系統除外）。某些超大規模企業將能夠快速設計，但其他團隊速度較慢的企業則落後了。總體而言，儘管有市場取消報告，但我們認為微軟是部署 GB300 速度最慢的企業之一，原因是設計速度太快，他們仍在第四季度購買一些 GB200。</p>
<p>由於組件從 Nvidia 的利潤堆積中抽出，轉移到 ODM 身上，因此客户支付的總價格相差很大。ODM 的收入會受到影響，最重要的是，Nvidia 的毛利率也會在一年內發生變化。</p>
</section>
<p><span style="color: #b3b3b3">文章來源：半導體行業觀察，原文標題：《英偉達 GB 300 細節曝光，下一代 GPU 怪獸》</span></p><div>風險提示及免責條款</div>
          <div>
            市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。
          </div>

英偉達

<p>Nvidia 即將推出其第二代 Blackwell B300 系列處理器，預計性能提升 50%，內存容量達到 288GB，帶寬為 8TB/s。新處理器採用台積電 4NP 工藝，TDP 為 1400W，較 B200 系列僅增加 200W。B300 還將配備 800G ConnectX-8 NIC，帶寬是 400G ConnectX-7 的兩倍，支持更大的批量處理和擴展序列長度，顯著降低推理成本。Nvidia 還計劃重新設計供應鏈，以提高生產效率。</p>

- Nvidia 推出 B300 系列處理器，性能提升 50%，內存容量達 288 GB。  
- 新處理器採用 4NP 製造工藝，TDP 增加至 1,400W。  
- 供應鏈重組將使更多公司參與，影響定價和性能。