最近，GPU Utils 更新了關於英偉達 H100 顯卡供需現狀的分析文章，裏面主要透露、總結了當前影響 GPU 的主流廠商擁有顯卡的數量以及對顯卡的需求量。
作者表示，考慮到訓練和推理性能，以及推理方面性價比，H100 是當下最受歡迎的 GPU（具體為 8-GPU HGX H100 SXM）。
GPU Utils 認為，保守估計，H100 的供給缺口達到 43 萬張。
本文簡要總結了一下文章核心數據供大家參考：
<blockquote>
● OpenAI、特斯拉等廠商對 GPU 的需求量
● OpenAI、特斯拉等廠商擁有的 GPU 數量
● 供應瓶頸、其他核心數據
</blockquote>
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/16e7f953-05db-4ceb-861c-b4650cf98cfa.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="764" height="478" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/16e7f953-05db-4ceb-861c-b4650cf98cfa.png"/>
<h2>01「誰需要？」 </h2>
需要 1000 張以上的 H100 或 A100 的公司：
1、訓練 LLM 的創業公司：
OpenAI (通過 Azure)、Anthropic、Inflection (通過 Azure 和 CoreWeave)、 Mistral AI；
2、雲服務提供商：
三大雲巨頭：Azure、Google Cloud、AWS；
另一個公有云：Oracle；
更大的私有云：例如 CoreWeave、Lambda；
3、其他大公司：
特斯拉； 
需要 100 張以上的 H100 或 A100 的公司：
對開源模型進行大量微調的初創公司。
<h2>02「要多少？」 </h2>
1、OpenAI 可能需要 5 萬張，Inflection 要 2.2 萬張，Meta 需要 2.5 萬張（也有人説 Meta 想要 10 萬張或更多）
2、大型雲廠商，每家可能需要 3 萬張（Azure、Google Cloud、AWS、Oracle）
3、Lambda 和 CoreWeave 以及其他私有云可能總共需要 10 萬張
4、Anthropic、Helsing、Mistral、Character，每家可能要 1 萬張；
到這裏，需求量就已經達到了約「43.2 萬張」H100，以每塊約 3.5 萬美元計算，GPU 的價值約為「150 億美元」。
而這，還不包括像字節（TikTok）、百度、騰訊這樣需要大量 H800 的中國公司，以及一些需求正盛的金融公司：
<blockquote>
如 Jane Street、JP Morgan、Two Sigma、Citadel 等金融巨頭，正從數百台 A100 或 H100 開始部署，逐步增加至數千張 A/H100。
</blockquote>
<h2>03「有多少？」 </h2>
<blockquote>
OpenAI、特斯拉等廠商擁有的 GPU 數量。
</blockquote>
大公司 
1、GPT-4 可能在 1w-2.5w 張 A100 上進行的訓練，根據馬斯克的説法，GPT-5 可能需要 3w-5w 張 H100；
2、Meta 約有 2.1 萬張 A100；
3、Tesla 約有 7000 張 A100；
4、Stability AI 約有 5000 張 A100； 
雲廠商 
1、GPC 約有 2.5 萬塊 H100；Azure 可能有 1-4 萬塊 H100，Oracle 可能類似；（其中，Azure 的大部分 GPU 都將流向 OpenAI。）
2、CoreWeavw 有 3.5-4 萬塊 H100——不是現貨，而是預定的；
其他數據 
1、Falcon-40B，在 384 個 A100 上進行訓練；
2、Inflection，在其 GPT-3.5 等效模型中使用了 3500 個 H100；
<h2>04「誰供應？」 </h2>
1、瓶頸在哪？
供應；
2、誰在製造 H100？
台積電；
3、三星、英特爾可以代工嗎？
至少現在不行。目前，H100s 和其他 5nm 英偉達 GPU 均由台積電代工。
過去，英偉達曾嘗試讓三星代工，但後來換掉。未來，英偉達當然有可能與英特爾、三星合作，但短期無法緩解供給緊張。
<h2>05「其他核心數據」 </h2>
1、人們需要哪些 GPU？
主要是 H100，具體來説，是 8-GPU HGX H100 SXM，因其在訓練和推理最快，且在推理方面性價比最高。
訓練方面，企業主要關注內存帶寬、FLOPS、緩存和緩存延遲、FP8 計算等附加功能、計算性能（與 Cuda 核心數量相關）、互連速度（如 InfiniBand）等，H100 比 A100 更受青睞，部分原因是緩存延遲較低和 FP8 計算等。
2、H100 比 A100 快多少？
16-bit 推理速度提高約 3.5 倍，16-bit 訓練速度提高約 2.3 倍。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/eade2a3d-c899-49db-b60c-23110c09fe84.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="660" height="279" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/eade2a3d-c899-49db-b60c-23110c09fe84.png"/>
3、為啥不買 AMD？
某私有云 CEO：
<blockquote>
從理論上講，一家公司可以購買一堆 AMD 的 GPU，但要讓一切正常運轉需要時間。
開發時間 (即使只要 2 個月)，也可能就意味着比競爭對手更晚進入市場。所以，現在英偉達的護城河是 CUDA。
</blockquote>
另一傢俬有云 CEO：
<blockquote>
沒有人願意冒險部署 10,000 個 AMD GPU，這幾乎是 3 億美元的投資。
</blockquote>
4、目前大家在使用什麼雲？
a. OpenAI: Azure
b. Inflection: Azure and CoreWeave
c. Anthropic: AWS and Google Cloud
d. Cohere: AWS
e. Hugging Face: AWS
f. Stability AI: AWS
g. Character.ai: Google Cloud
h. X.ai: Oracle
i. Nvidia: Azure
來源：硬 AI，原文標題：《Nvidia H100 GPU 供需現狀：保守估計，還差 43 萬張！》
本文主要參考（原文鏈接）：
https://gpus.llm-utils.org/nvidia-h100-gpus-supply-and-demand/#which-gpus-do-people-need

英偉達

以每塊約 3.5 萬美元計算，GPU 的價值約為「150 億美元」。