英偉達的節奏，越來越可怕了。就在剛剛，老黃又一次在深夜炸場——發佈目前世界最強的 AI 芯片 H200！較前任霸主 H100，H200 的性能直接提升了 60% 到 90%。不僅如此，這兩款芯片還是互相兼容的。這意味着，使用 H100 訓練/推理模型的企業，可以無縫更換成最新的 H200。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/def50a2beb93d3b00e89e59ddb4add96?x-oss-process=style/lg" width="640" height="311" original-src="https://pub.pbkrs.com/uploads/2023/def50a2beb93d3b00e89e59ddb4add96"/></figure>全世界的 AI 公司都陷入算力荒，英偉達的 GPU 已經千金難求。英偉達此前也表示，兩年一發布的架構節奏將轉變為一年一發布。就在英偉達宣佈這一消息之際，AI 公司們正為尋找更多 H100 而焦頭爛額。英偉達的高端芯片價值連城，已經成為貸款的抵押品。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/572e37dff621a9e816f5864b0d45838e?x-oss-process=style/lg" width="640" height="103" original-src="https://pub.pbkrs.com/uploads/2023/572e37dff621a9e816f5864b0d45838e"/></figure>誰擁有 H100，是硅谷最引人注目的頂級八卦至於 H200 系統，英偉達表示預計將於明年二季度上市。同在明年，英偉達還會發布基於 Blackwell 架構的 B100，並計劃在 2024 年將 H100 的產量增加兩倍，目標是生產 200 多萬塊 H100。而在發佈會上，英偉達甚至全程沒有提任何競爭對手，只是不斷強調「英偉達的 AI 超級計算平台，能夠更快地解決世界上一些最重要的挑戰。」隨着生成式 AI 的大爆炸，需求只會更大，而且，這還沒算上 H200 呢。贏麻了，老黃真的贏麻了！<h2 id="lb4anug98">141GB 超大顯存，性能直接翻倍！</h2>H200，將為全球領先的 AI 計算平台增添動力。它基於 Hopper 架構，配備英偉達 H200 Tensor Core GPU 和先進的顯存，因此可以為生成式 AI 和高性能計算工作負載處理海量數據。英偉達 H200 是首款採用 HBM3e 的 GPU，擁有高達 141GB 的顯存。與 A100 相比，H200 的容量幾乎翻了一番，帶寬也增加了 2.4 倍。與 H100 相比，H200 的帶寬則從 3.35TB/s 增加到了 4.8TB/s。英偉達大規模與高性能計算副總裁 Ian Buck 表示——<blockquote>要利用生成式人工智能和高性能計算應用創造智能，必須使用大型、快速的 GPU 顯存，來高速高效地處理海量數據。藉助 H200，業界領先的端到端人工智能超算平台的速度會變得更快，一些世界上最重要的挑戰，都可以被解決。</blockquote><figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/86e01f7c166e074ed29cd29899308f7a?x-oss-process=style/lg" width="640" height="744" original-src="https://pub.pbkrs.com/uploads/2023/86e01f7c166e074ed29cd29899308f7a"/></figure>Llama 2 推理速度提升近 100%跟前代架構相比，Hopper 架構已經實現了前所未有的性能飛躍，而 H100 持續的升級，和 TensorRT-LLM 強大的開源庫，都在不斷提高性能標準。H200 的發佈，讓性能飛躍又升了一級，直接讓 Llama2 70B 模型的推理速度比 H100 提高近一倍！H200 基於與 H100 相同的 Hopper 架構。這就意味着，除了新的顯存功能外，H200 還具有與 H100 相同的功能，例如 Transformer Engine，它可以加速基於 Transformer 架構的 LLM 和其他深度學習模型。HGX H200 採用英偉達 NVLink 和 NVSwitch 高速互連技術，8 路 HGX H200 可提供超過 32 Petaflops 的 FP8 深度學習計算能力和 1.1TB 的超高顯存帶寬。當用 H200 代替 H100，與英偉達 Grace CPU 搭配使用時，就組成了性能更加強勁的 GH200 Grace Hopper 超級芯片——專為大型 HPC 和 AI 應用而設計的計算模塊。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/2fcf902ad03e32efe65b3906a310d4cb?x-oss-process=style/lg" width="640" height="668" original-src="https://pub.pbkrs.com/uploads/2023/2fcf902ad03e32efe65b3906a310d4cb"/></figure>下面我們就來具體看看，相較於 H100，H200 的性能提升到底體現在哪些地方。首先，H200 的性能提升最主要體現在大模型的推理性能表現上。如上所説，在處理 Llama 2 等大語言模型時，H200 的推理速度比 H100 提高了接近 1 倍。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/a35229b353eb10e1d842d18abe7a911a?x-oss-process=style/lg" width="640" height="430" original-src="https://pub.pbkrs.com/uploads/2023/a35229b353eb10e1d842d18abe7a911a"/></figure>因為計算核心更新幅度不大，如果以訓練 175B 大小的 GPT-3 為例，性能提升大概在 10% 左右。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/dd531f88286cf401f3c76b3950a945f9?x-oss-process=style/lg" width="640" height="646" original-src="https://pub.pbkrs.com/uploads/2023/dd531f88286cf401f3c76b3950a945f9"/></figure>顯存帶寬對於高性能計算（HPC）應用程序至關重要，因為它可以實現更快的數據傳輸，減少複雜任務的處理瓶頸。對於模擬、科學研究和人工智能等顯存密集型 HPC 應用，H200 更高的顯存帶寬可確保高效地訪問和操作數據，與 CPU 相比，獲得結果的時間最多可加快 110 倍。相較於 H100，H200 在處理高性能計算的應用程序上也有 20% 以上的提升。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/7a3c7822a00e68e005a8119f4466817c?x-oss-process=style/lg" width="640" height="395" original-src="https://pub.pbkrs.com/uploads/2023/7a3c7822a00e68e005a8119f4466817c"/></figure>而對於用户來説非常重要的推理能耗，H200 相比 H100 直接腰斬。這樣，H200 能大幅降低用户的使用成本，繼續讓用户「買的越多，省的越多」！<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/d769087621ac0b39156690c1c59ec21d?x-oss-process=style/lg" width="640" height="387" original-src="https://pub.pbkrs.com/uploads/2023/d769087621ac0b39156690c1c59ec21d"/></figure>上個月，外媒 SemiAnalysis 曾曝出一份英偉達未來幾年的硬件路線圖，包括萬眾矚目的 H200、B100 和「X100」GPU。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/ae32018190e2c2192c5f3d28c9a8ee90?x-oss-process=style/lg" width="640" height="361" original-src="https://pub.pbkrs.com/uploads/2023/ae32018190e2c2192c5f3d28c9a8ee90"/></figure>而英偉達官方，也公佈了官方的產品路線圖，將使用同一構架設計三款芯片，在明年和後年會繼續推出 B100 和 X100。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/92a05e581fe6796c1e5aa97c2a08bc6a?x-oss-process=style/lg" width="640" height="527" original-src="https://pub.pbkrs.com/uploads/2023/92a05e581fe6796c1e5aa97c2a08bc6a"/></figure>B100，性能已經望不到頭了這次，英偉達更是在官方公告中宣佈了全新的 H200 和 B100，將過去數據中心芯片兩年一更新的速率直接翻倍。以推理 1750 億參數的 GPT-3 為例，今年剛發佈的 H100 是前代 A100 性能的 11 倍，明年即將上市的 H200 相對於 H100 則有超過 60% 的提升，而再之後的 B100，性能更是望不到頭。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/0631917fbb2b490366a61e415d851e8c?x-oss-process=style/lg" width="640" height="360" original-src="https://pub.pbkrs.com/uploads/2023/0631917fbb2b490366a61e415d851e8c"/></figure>至此，H100 也成為了目前在位最短的「旗艦級」GPU。如果説 H100 現在就是科技行業的「黃金」，那麼英偉達又成功製造了「鉑金」和「鑽石」。<h2 id="5mvibbh61c">H200 加持，新一代 AI 超算中心大批來襲</h2>雲服務方面，除了英偉達自己投資的 CoreWeave、Lambda 和 Vultr 之外，亞馬遜雲科技、谷歌雲、微軟 Azure 和甲骨文雲基礎設施，都將成為首批部署基於 H200 實例的供應商。此外，在新的 H200 加持之下，GH200 超級芯片也將為全球各地的超級計算中心提供總計約 200 Exaflops 的 AI 算力，用以推動科學創新。在 SC23 大會上，多家頂級超算中心紛紛宣佈，即將使用 GH200 系統構建自己的超級計算機。德國尤里希超級計算中心將在超算 JUPITER 中使用 GH200 超級芯片。這台超級計算機將成為歐洲第一台超大規模超級計算機，是歐洲高性能計算聯合項目（EuroHPC Joint Undertaking）的一部分。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/e7cddeba1330aac6409b71e73ed9ee2a?x-oss-process=style/lg" width="640" height="360" original-src="https://pub.pbkrs.com/uploads/2023/e7cddeba1330aac6409b71e73ed9ee2a"/></figure>Jupiter 超級計算機基於 Eviden 的 BullSequana XH3000，採用全液冷架構。它總共擁有 24000 個英偉達 GH200 Grace Hopper 超級芯片，通過 Quantum-2 Infiniband 互聯。每個 Grace CPU 包含 288 個 Neoverse 內核， Jupiter 的 CPU 就有近 700 萬個 ARM 核心。它能提供 93 Exaflops 的低精度 AI 算力和 1 Exaflop 的高精度（FP64）算力。這台超級計算機預計將於 2024 年安裝完畢。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/d7d796cb33369a1b67be6928e7d29d0d?x-oss-process=style/lg" width="640" height="360" original-src="https://pub.pbkrs.com/uploads/2023/d7d796cb33369a1b67be6928e7d29d0d"/></figure>由筑波大學和東京大學共同成立的日本先進高性能計算聯合中心，將在下一代超級計算機中採用英偉達 GH200 Grace Hopper 超級芯片構建。作為世界最大超算中心之一的德克薩斯高級計算中心，也將採用英偉達的 GH200 構建超級計算機 Vista。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/93ab0a85a1e2e09f4c0153811128bef6?x-oss-process=style/lg" width="640" height="358" original-src="https://pub.pbkrs.com/uploads/2023/93ab0a85a1e2e09f4c0153811128bef6"/></figure>伊利諾伊大學香檳分校的美國國家超級計算應用中心，將利用英偉達 GH200 超級芯片來構建他們的超算 DeltaAI，把 AI 計算能力提高兩倍。此外，布里斯托大學將在英國政府的資助下，負責建造英國最強大的超級計算機 Isambard-AI——將配備 5000 多顆英偉達 GH200 超級芯片，提供 21 Exaflops 的 AI 計算能力。<h2 id="ncuu5qt2">英偉達、AMD、英特爾：三巨頭決戰 AI 芯片</h2>GPU 競賽，也進入了白熱化。面對 H200，而老對手 AMD 的計劃是，利用即將推出的大殺器——Instinct MI300X 來提升顯存性能。MI300X 將配備 192GB 的 HBM3 和 5.2TB/s 的顯存帶寬，這將使其在容量和帶寬上遠超 H200。而英特爾也摩拳擦掌，計劃提升 Gaudi AI 芯片的 HBM 容量，並表示明年推出的第三代 Gaudi AI 芯片將從上一代的 96GB HBM2e 增加到 144GB。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/2380f0117cb4a58e2ec29ae89d657115?x-oss-process=style/lg" width="640" height="363" original-src="https://pub.pbkrs.com/uploads/2023/2380f0117cb4a58e2ec29ae89d657115"/></figure>英特爾 Max 系列目前的 HBM2 容量最高為 128GB，英特爾計劃在未來幾代產品中，還要增加 Max 系列芯片的容量。H200 價格未知所以，H200 賣多少錢？英偉達暫時還未公佈。要知道，一塊 H100 的售價，在 25000 美元到 40000 美元之間。訓練 AI 模型，至少需要數千塊。此前，AI 社區曾廣為流傳這張圖片《我們需要多少個 GPU》。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/e6861110bae2ba94bfbebddeb05fff9a?x-oss-process=style/lg" width="640" height="1043" original-src="https://pub.pbkrs.com/uploads/2023/e6861110bae2ba94bfbebddeb05fff9a"/></figure>GPT-4 大約是在 10000-25000 塊 A100 上訓練的；Meta 需要大約 21000 塊 A100；Stability AI 用了大概 5000 塊 A100；Falcon-40B 的訓練，用了 384 塊 A100。根據馬斯克的説法，GPT-5 可能需要 30000-50000 塊 H100。摩根士丹利的説法是 25000 個 GPU。Sam Altman 否認了在訓練 GPT-5，但卻提過「OpenAI 的 GPU 嚴重短缺，使用我們產品的人越少越好」。<figure class="image"><img src="https://pub.pbkrs.com/uploads/2023/fca5ddd65187472fd7101afe5c3e7fc6?x-oss-process=style/lg" width="640" height="547" original-src="https://pub.pbkrs.com/uploads/2023/fca5ddd65187472fd7101afe5c3e7fc6"/></figure>我們能知道的是，等到明年第二季度 H200 上市，屆時必將引發新的風暴。本文來源：新智元（ID:AI_era），原文標題：《老黃深夜炸場，世界最強 AI 芯片 H200 震撼發佈！性能飆升 90%，Llama 2 推理速度翻倍，大批超算中心來襲》風險提示及免責條款市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。

英偉達

性能飆升 90%，Llama 2 推理速度翻倍，大批超算中心來襲！大科技公司們又要開始囤貨了。