人工智能的第一波浪潮 (英偉達 3QFY24 電話會)

英偉達 (NVDA.O) 北京時間 11 月 22 日凌晨，美股盤後發佈 2024 財年第三季度財報（截至 2023 年 10 月），電話會要點如下：

1.英偉達電話會增量信息：

1）數據中心業務的收入可見度：能夠在 2025 年之前保持增⻓；

2）⽣成式⼈⼯智能的浪潮：從初創公司和通信服務提供商開始轉向消費者互聯⽹公司，轉向企業軟件平台，轉向企業公司；

3）美國限制政策影響：對中國和其他受影響⽬的地的銷售源⾃⽬前需要遵守許可要求的產品，⼀直貢獻了數據中⼼收⼊的約 20% ⾄ 25%。

2.$英偉達(NVDA.US) 電話會原文

2.1 管理層陳述

第三季度⼜是創紀錄的季度。營收達 181 億美元，環⽐增⻓ 34%，同⽐增⻓超過 200%。

遠⾼於我們 160 億美元的預期。從數據中⼼開始，基於 Hopper Tensor Core GPU 架構的 NVIDIA HGX 平台的持續增⻓，以及 InfiniBand 和⽹絡，推動數據中心收⼊創紀錄地達到 145 億美元，環⽐增 ⻓ 41%，同⽐增⻓ 279%。 NVIDIA HGX 與 InfiniBand 本質上是 AI 超級計算機和數據中⼼基礎設施的參考架構。⼀些最令⼈興奮的⽣成式 AI 應⽤程序都是在 NVIDIA 上構建和運⾏的，包括 Adobe Firefly、ChatGPT、Microsoft 365 Copilot、Zoom AI Companion 等。

我們的數據中⼼計算收⼊⽐去年增⻓了四倍，⽹絡收⼊⼏乎增⻓了兩倍。對訓練和推理⼤型語⾔模型、深度學習、推薦系統和⽣成式 AI 應⽤的基礎設施的投資正在推動對 NVIDIA 加速計算的⼴ 泛強勁需求。推理現在是 NVIDIA AI 計算的主要⼯作負載。

消費互聯⽹公司和企業在第三季度推動了驚⼈的環⽐增⻓，約佔我們數據中⼼收⼊的⼀半，並且超過了總體增⻓。

Adobe、Databricks、Snowflake 和 ServiceNow 等企業軟件公司正在向其平台添加 AI 副駕駛和助理。

本季度我們數據中⼼收⼊的另⼀半。所有超⼤規模 CSP 以及全球範圍內⼀系列新的 GPU 專⽤ CSP 的需求都很強勁，這些 CSP 正在快速增⻓，以應對 AI 領域的新市場機遇 NVIDIA H100 Tensor Core GPU 實例現在⼏乎在每個帶有實例的雲中都可⽤需求量很⼤。今年每個季度我們都⼤幅增加供應，以滿⾜強勁的需求，並預計明年將繼續這樣做。

我們還將有更⼴泛、更快的產品發佈節奏，以滿⾜不斷增⻓和多樣化的⼈⼯智能機會。本季度末，美 國政府宣佈了⼀套針對中國和其他市場（包括越南和某些中東國家）的新出⼝管制法規。 這些法規要求我們的許多產品獲得出⼝許可證，包括我們的 Hopper 和 Ampere 100 和 800 系列以 及其他⼏種產品。在過去的⼏個季度中，我們對中國和其他受影響⽬的地的銷售源⾃⽬前需要遵守許可要求的產品，⼀直貢獻了數據中⼼收⼊的約 20% ⾄ 25%。

我們的訓練集羣包括超過 10,000 個 H100 GPU，⽐ 6 ⽉份增加了 3 倍，反映出⾮常⾼效的擴展。⾼效擴展是⽣成⼈⼯智能的關鍵要求，每年都在以⼀個數量級增⻓。 Microsoft Azure 在 ⼏乎相同的集羣上取得了類似的結果，展⽰了 NVIDIA AI 在公共雲部署中的效率。⽬前，⽹絡業務 的收⼊已超過 10 億美元。

我們的增⻓是由對 InfiniBand 的特殊需求推動的，該需求同⽐增⻓了五倍。 InfiniBand 對於獲得 培訓 LLM 所需的規模和性能⾄關重要。微軟上週明確指出了這⼀點，強調 Azure 使⽤超過 29,000 英⾥的 InfiniBand 線路，⾜以繞地球⼀圈。我們正在將 NVIDIA ⽹絡擴展到以太⽹領域。我 們全新的 Spectrum-X 端到端以太⽹產品採⽤專為 AI 打造的技術，將於明年第⼀季度推出，並得到 戴爾、HPE 和聯想等領先 OEM ⼚商的⽀持。

與傳統以太⽹產品相⽐，Spectrum-X 可以實現 AI 通信⽹絡性能提⾼ 1.6 倍。我還要介紹⼀下我們 的軟件和服務產品的最新情況，我們已經開始看到這些軟件和服務產品的出⾊採⽤。我們有望以 10 億美元的經常性軟件⽀持和服務產品年化收⼊結束今年。我們看到了中期增⻓的兩個主要機會，即 我們的 DGX 雲服務和我們的 NVIDIA AI 企業軟件。

遊戲收⼊達 28.6 億美元，環⽐增⻓ 15%，同⽐增⻓超過 80%，重要的返校購物季需求旺盛，NVIDIA RTX 光線追蹤和 AI 技術現在價格低⾄ 299 美元。我們為遊戲玩家和創作者帶來了 有史以來最好的陣容。即使在 PC 市場表現低迷的背景下，遊戲數量也⽐新冠疫情前的 ⽔平翻了⼀番。

ProViz 的收⼊為 4.16 億美元，環⽐增⻓ 10%，同⽐增⻓ 108%。 NVIDIA RTX 是專業設計、⼯ 程和模擬⽤例的⾸選⼯作站平台，⽽⼈⼯智能正在成為強⼤的需求驅動⼒。早期應⽤包括⽤於 醫療保健中的 AI 成像的 IMP 以及智能空間和公共部⻔中的邊緣 AI。我們推出了基於 NVIDIA RTX、Ada Lovelace、Generation GPU 和 ConnectX、SmartNIC 的全新桌⾯⼯作站系列，其 AI 處理、光線追蹤和圖形性能是前⼏代產品的 2 倍。

我們宣佈在 Microsoft Azure 上提供兩項⽤於汽⻋數字化的新 Omniverse 雲服務：虛擬⼯⼚ 模擬引擎和⾃動駕駛汽⻋模擬引擎。轉向汽⻋領域。收⼊為 2.61 億美元，環⽐增⻓ 3%，同⽐ 增⻓ 4%，主要得益於基於 NVIDIA DRIVE Orin SoC 的⾃動駕駛平台的持續增⻓以及全球 OEM 客⼾的 AI 座艙解決⽅案的不斷增⻓。我們擴⼤了與富⼠康的汽⻋合作伙伴關係，納⼊了我們的下 ⼀代汽⻋ SoC NVIDIA Drive Thor。

富⼠康已成為電動汽⻋的 ODM。我們的合作伙伴關係為富⼠康提供了標準的 AV 傳感器和計算 平台，供其客⼾輕鬆構建最先進、安全的軟件定義汽⻋。現在，我們將把其餘部分的損益表 GAAP ⽑利率擴⼤到 74%，⾮ GAAP ⽑利率擴⼤到 75%，這得益於數據中⼼銷售額的增加和淨庫存儲備的 減少，其中包括 1 個百分點的收益釋放此前預留的 Ampere GPU 架構產品相關庫存。

運營費⽤增⻓ 12%，⾮ GAAP 運營費⽤增⻓ 10%，主要反映了薪酬和福利的增加。

FY2Q24 Guidance：

總收⼊預計為 200 億美元，上下浮動 2%。我們預計數據中⼼將推動強 勁的連續增⻓，以及對計算和⽹絡的持續強勁需求。遊戲可能會連續下降，因為它現在更符合筆記本 電腦的季節性。

GAAP 和⾮ GAAP ⽑利率預計分別為 74.5% 和 75.5%，上下浮動 50 個基點。 GAAP 和⾮ GAAP 運營費⽤預計分別約為 31.7 億美元和 22 億美元。

GAAP 和⾮ GAAP 其他收⼊和⽀出預計收⼊約為 2 億美元，不包括⾮關聯投資的損益。 GAAP 和⾮ GAAP 税率預計為 15%，上下浮動 1%（不包括任何離散項⽬）。

2.2 Q&A

Q1：您認為就⽣成型⼈⼯智能市場的出貨量⽽⾔，當前處於怎麼樣的位置？因為當我只看你們數據中⼼的軌跡時，明年數據中⼼⽀出將接近 30%。那麼您正在關注哪些指標？我們在 AI 這個市場中處於什麼位置？

A1：從歷史上看，過去⼏個季度，中國和其他⼀些受影響的⽬的地約佔我們數據中⼼收⼊的 20% ⾄ 25%。我們預計，隨着進⼊第四季度，這⼀數字將⼤幅下降。

出⼝管制將對我們的中國業務產⽣負⾯影響，即使從⻓遠來看，我們也⽆法清楚地瞭解這種影響的嚴 重程度。不過，我們正在努⼒擴展我們的數據中⼼產品組合，以可能提供不需要許可證的新的符合法 規的解決⽅案。

這些產品可能會在未來⼏個⽉內上市。然⽽，我們預計他們的貢獻佔第四季度收⼊的百分⽐不會很 ⼤或有意義。

⽣成式⼈⼯智能是我們⼏⼗年來⻅過的最⼤的軟件和硬件 TAM 擴展。其核⼼，主要是基於檢索的計算⽅法，⼏乎所有你所做的事情都是從某個地⽅的存儲中檢索出來的，現在 已經得到了增強，添加了⽣成⽅法，並且它⼏乎發⽣了變化⼀切。

您可以看到⽂本到⽂本、⽂本到圖像、⽂本到視頻、⽂本到 3D、⽂本到蛋⽩質、⽂本到化學品。 這些是過去由⼈類處理和輸⼊的東西，現在這些是⽣成⽅法。我們訪問數據的⽅式已經改變。它曾經 基於顯式查詢。

因此，我們對與 SAP 和 Dropbox 以及您將聽到的許多其他合作伙伴所做的⼯作感到⾮常興奮。真正有影響⼒的領域之⼀是軟件⾏業，該⾏業價值約⼀萬億美元，在過去⼏⼗年⾥⼀直在構建⼿ 動使⽤的⼯具。現在出現了⼀個全新的軟件部分，稱為副駕駛和輔助。

這些⼯具不需要⼿動使⽤，⽽是有副駕駛來幫助您使⽤它。因此，當然，我們將繼續這樣做，⽽不是許 可軟件，但我們還將聘請副駕駛和助理來幫助我們使⽤該軟件。我們將把所有這些副駕駛和助⼿連 接到⼈⼯智能團隊中，這將是現代版本的軟件、現代版本的企業業務軟件。因此，軟件和軟件完成⽅式 的轉變正在驅動底層的硬件。

現在我們有了更好的⽅法，稱為加速計算，您可以節省⼀個數量級的能源，可以節省 ⼀個數量級的時間，或者可以通過使⽤加速來節省⼀個數量級的成本。因此，如果您願意的話，加速計算正在將通⽤計算轉變為這種新⽅法。新型數據中⼼進⼀步增強了這⼀點。這就是您剛才談到的傳統數據中⼼，我們⼤約佔其中的三分之⼀。

但是有⼀種新的數據中⼼類型，這種新的數據中⼼類型與過去的數據中⼼不同，過去的數據中 ⼼運⾏着⼤量應⽤程序，由許多使⽤相同基礎設施的不同租⼾的⼈使⽤，並且該數據中⼼存 儲了⼤量⽂件。這些新的數據中⼼是很少的應⽤程序，即使不是⼀個應⽤程序，也基本上由⼀ 個租⼾使⽤。它處理數據，訓練模型，⽣成代幣，⽣成⼈⼯智能，我們將這些新的數據中⼼ 稱為⼈⼯智能⼯⼚。我們看到⼏乎每個國家都在建造⼈⼯智能⼯⼚。

因此，如果你看看我們在擴張、向這種新計算⽅法的過渡中所處的位置，這是你在⼤型語⾔模型 初創公司、⽣成⼈⼯智能初創公司和消費互聯⽹公司中看到的第⼀波浪潮。我們正在加⼤⼒度。與此同時，在這種情況不斷增加的同時，您會看到我們開始與企業軟件公司合作，他們希 望構建聊天機器⼈和副駕駛，並提供幫助以增強他們平台上的⼯具。你會看到專⻔針對 GPU 的 CSP 在世界各地湧現，他們真正致⼒於做⼀件事，那就是處理⼈⼯智能。你會看到主權 ⼈⼯智能基礎設施、⼈⺠和國家現在認識到他們必須利⽤他們的技術。擁有⾃⼰的數據，保留⾃⼰ 的數據，保留⾃⼰的⽂化，處理這些數據，並開發⾃⼰的⼈⼯智能，你在印度看到了這⼀點。

因此，我認為，隨着⽣成式⼈⼯智能浪潮在每個⾏業、每個公司、每個地區傳播，你會看到 新的發展。因此，我們正處於這種拐點、這種計算轉變的開始。

Q2：我想詢問有關業務⽹絡⽅⾯的問題。如何看待以太網的演進？

A2： 我們的⽹絡業務已達到 10 億美元以上，⽽且規模還將進⼀步擴⼤。我 們最近在我們的⽹絡業務中添加了⼀個新的⽹絡平台。但絕⼤多數專⽤的⼤型 AI ⼯⼚都在 InfiniBand 上進⾏標準化。其原因不僅是因為它的數據速率和延遲，⽽且它在⽹絡中移動流量的⽅ 式⾮常重要。

有了 InfiniBand，有了軟件定 義的⽹絡，我們就可以做到控制、⾃適應路由、性能隔離和噪聲隔離，當然更不⽤説 InfiniBand 的數據速率和低延遲以及⾮常低的開銷了，這是很⾃然的 InfiniBand 的⼀部分。因 此，InfiniBand 不僅僅是⼀個⽹絡，它還是⼀個計算結構。我們在結構中加⼊了許多軟件定義的功 能，包括計算。

例如，最近我們談到了我們正在創建的模型之⼀，它被稱為 Shipnemo，我們正在構建許多其他 模型。我們將在公司內部創建數⼗、數百個⾃定義⼈⼯智能模型。

我們所做的就是發明了這個新平台，它擴展了以太網，不會取代以太網，它 100% 兼容以太網，並且針對東西向流量（計算結構所在的位置）進⾏了優化。它通過 BlueField 的端到端解決⽅ 案以及我們的頻譜交換機添加到以太⽹中，使我們能夠執⾏ InfiniBand 中的⼀些功能（不是全部， ⽽是部分功能），並且我們取得了出⾊的結果。我們進⼊市場的⽅式是與已經提供我們的計算解決⽅ 案的⼤型企業合作伙伴⼀起進⼊市場。因此，惠普、戴爾和聯想擁有 NVIDIA AI 堆棧、NVIDIA AI 企業軟 件堆棧，現在他們與 BlueField 集成，並捆綁銷售其 Spectrum 交換機。

他們將能夠憑藉龐⼤的銷售隊伍和龐⼤的經銷商⽹絡，為世界各地的企業客⼾提供完全集成的（如 果你願意的話）⾄少端到端優化的⼈⼯智能解決⽅案。

Q3： 我想知道您是否可以多談談 Grace Hopper，您如何看待利⽤某些微處理器的能⼒，如何 將其視為 TAN expander，以及您認為使⽤ Grace Hopper 與更傳統的 H100 應⽤程序相⽐有哪些應⽤ 程序？

A3：Grace Hopper 已投⼊⽣產，⽬前正在⼤批量⽣產。我們預計，明年，隨着我們在⾼性能計算和⼈⼯ 智能基礎設施⽅⾯取得的所有設計勝利，我們將⾮常快地從我們的第⼀個數據中⼼ CPU 發展到價值數⼗億美元的產品線。這對我們來説將是⼀個⾮常龐⼤的產品線。它能夠創建同時具有⾮常快的內存和⾮常⼤的內存的計算節點。在向量數據庫或語義搜索領 域，稱為 RAG（檢索增強⽣成），這樣您就可以讓⽣成式 AI 模型能夠在⽣成響應之前引⽤專有數據 或事實數據。

這樣，⽣成模型⼀⽅⾯仍然能夠⾃然地與您交互，另⼀⽅⾯能夠引⽤事實數據、專有數據或特定領域 的數據、您的數據，並且能夠與上下⽂相關相關並減少幻覺。例如，對於 Grace Hopper 來説，這個特定 的⽤例確實⾮常棒。它還為那些真正想要擁有不同於 x86 的 CPU 的客⼾提供服務。也許是歐洲超級計算中⼼或歐洲公司想要建⽴⾃⼰的 ARM ⽣態系統並想要建⽴整個堆棧，或者是 CSP 決定轉向 ARM，因為他們⾃⼰的定製 CPU 是基於 ARM 的。

Q4：想問⼀下你們的收⼊可⻅度。您認為數據中⼼能夠發展到 2025 年嗎？

A4： 絕對相信數據中⼼能夠在 2025 年之前實現增⻓。這有⼏個原因。我們正在⼤幅擴⼤供應。我們已經擁有世界上最⼴泛、最⼤、最有能⼒的供應鏈之⼀。⼈們認為 GPU 是⼀個芯⽚，但 HGX H100（Hopper HGX）有 35,000 個零件。它重 70 磅。其 中⼋個籌碼是 Hopper 的。它是⼀台超級 計算機，因此測試超級計算機的唯⼀⽅法是使⽤另⼀台超級計算機。因此，我們 HGX 供應鏈的各個⽅⾯都很複雜，⽽我們這⾥擁 有的出⾊團隊確實令⼈難以置信地擴展了該供應鏈。更不⽤説，我們所有的 HGX 都與 NVIDIA ⽹絡連接，⽽⽹絡、收發器、NIC、電纜、交換機，其複雜性 令⼈難以置信。

正如我之前提到的，我們有新客⼾。不同的地區正在建⽴ GPU 專家雲，來⾃世界各地的主權⼈⼯智能 雲，因為⼈們意識到他們⽆法承擔將⾃⼰國家的知識、國家⽂化出⼝給其他⼈然後將⼈⼯智能轉售給 他們的費⽤。他們必須，他們應該，他們有技能，當然，與我們結合，我們可以幫助他們做到這⼀ 點，建⽴他們的國家⼈⼯智能所以他們要做的第⼀件事就是創建他們的⼈⼯智能雲，國家⼈⼯智能 雲。您還看到我們現在正在成⻓為企業。

企業市場有兩條路徑。第⼀條路當然是現成的 AI 當然還有 ChatGPT，令⼈難以置信的現成的 AI 還有其他的。還有專有的⼈⼯智能，因為 ServiceNow 和 SAP 等軟件公司以及許多其他公司⽆法承擔將其公司的智能外包給其他⼈的費⽤。

我們有⼀項名為 AI Foundry 的新服務，我們利⽤ NVIDIA 的功能為他們提供服務。下⼀個是企業構建 ⾃⼰的⾃定義⼈⼯智能、⾃⼰的⾃定義聊天機器⼈、⾃⼰的⾃定義規則。⽽且這種能⼒正在全世界範圍 內傳播。我們為該市場提供服務的⽅式是使⽤整個系統堆棧，其中包括我們的計算、⽹絡和交 換機，運⾏我們稱為 NVIDIA AI Enterprise 的軟件堆棧，並通過我們的市場合作夥伴 HP、Dell 獲取 該軟件堆棧、聯想等等。

因此，我們看到⽣成式⼈⼯智能的浪潮從初創公司和通信服務提供商開始轉向消費者互聯⽹公司，轉 向企業軟件平台，轉向企業公司。最終，你們看到我們花費⼤量精⼒的領域之⼀與⼯業⽣成⼈⼯智能 有關，這就是 NVIDIA AI 和 NVIDIA Omniverse 的結合之處，這是⼀項⾮常⾮常令⼈興奮的⼯作。

Q5： 您提到您將在未來 ⼏個⽉內推出符合法規的產品，但對第四季度收⼊的貢獻應該相對有限。這是⼀個時間問題嗎？ 它是否會成為 4 ⽉份及以後數據中⼼重新加速和增⻓的來源？或者價格點對未來收⼊的貢獻是 否應該相對有限？然後上週發佈的 AI Foundry 服務公告，盈利模式將如何運作？主要是服務和軟件收⼊嗎？我們應該如何考慮⻓期機會？這將是微軟獨有的， 還是您也有計劃擴展到其他合作伙伴？

A5： 關於我們可以向中國客⼾提供的潛在新產品的問題。設計和開發這些新產品都 是⼀個重要的過程。正如我們所討論的，我們將確保我們也與美國政府充分討論我們對這些產品的 意圖。 考慮到我們本季度的狀況，本季度已經過去⼏周了，我們需要⼀些時間來仔細研究並與客⼾討論他們 對我們擁有的這些新產品的需求和願望。展望未來，⽆論是中期還是⻓期，很難説我們可以與美國政府合作⽣產什麼，以及我們中國客⼾的利益 是什麼。因此，我們仍然專注於為中國客⼾找到適當的平衡，但⽬前還很難説。

AI Foundry ⾯臨着巨⼤的機遇，⽽且意義重⼤。⾸先，每個公司都有⾃⼰的核⼼智⼒。它構成了我們的公司。我們的數據，我們的領域專業知識。就很 多公司⽽⾔，我們創造⼯具，世界上⼤多數軟件公司都是⼯具平台，⽽這些⼯具今天被⼈們使⽤。在未來，它將被我們僱傭的⼀⼤堆⼈⼯智能增強的⼈們使⽤。這些⼈⼯智能平台必須⾛向世界， 你就會看到，我們已經宣佈了⼀些，SAP、ServiceNow、Dropbox、Getty，還有許多其他平台即將推 出。因是因為他們擁有⾃⼰的專有⼈⼯智能，他們想要⾃⼰的專有⼈⼯智能，他們⽆法承擔 外包情報和分發數據的費⽤，也⽆法將⻜輪交給其他公司來為他們構建⼈⼯智能。

我們有⼏樣東西對於代⼯⼚來説是⾮常重要的，就像台積電是⼀家代⼯⼚⼀樣。你必須擁有 ⼈⼯智能技術。如您所知，我們擁有令⼈難以置信的深度⼈⼯智能能⼒、⼈⼯智能技術能⼒。 其次，你必須擁有最佳實踐，已知的實踐，通過發明⼈⼯智能模型來處理數據的技能，以創建有護 欄、微調等等的⼈⼯智能。第三件事是你需要⼯⼚，這就是 DGX Cloud。我們的⼈⼯智能模型稱為⼈⼯智能基礎。如果你 願意的話，我們⽤於創建 AI 的 CAD 系統稱為 NEMO，它們在 NVIDIA 的⼯⼚（我們稱為 DGX Cloud）上運⾏。

我們在雲 端、本地和任何地⽅都擁有龐⼤的安裝基礎。⽽且它是安全的、安全地修補、不斷修補、優化和⽀持。 我們稱之為 NVIDIA AI Enterprise。NVIDIA AI Enterprise 的價格為每位 GP 每年 4,500 美元。這就是我們的商業模式。我們的商業模式基本上是⼀個許可證。然後，我們的客⼾憑藉該基本許可證， 可以在此基礎上構建他們的盈利模型。在很多⽅⾯，批發變成了零售。

他們可以針對每個實例擁有⼀個訂閲許可證基礎，也可以針對每個使⽤情況進⾏訂閲。他們可以 採取很多不同的⽅式來創建⾃⼰的商業模式，但我們的⽅式基本上就像軟件許可證，就像操 作系統⼀樣。因此，我們的業務模式是幫助您創建⾃定義模型，然後在 NVIDIA AI Enterprise 上運⾏這些⾃定義模型。

Q6：我想知道如果沒有中國的限制，第四季度的指導值會更⾼嗎？或者 您的供應是否受到限制，只能將本可以運往中國其他地⽅的貨物轉運。我想沿着這些思路，如果您能讓 我們瞭解您⽬前在數據中⼼的交貨時間以及像當前的情況，它是否會降低這些交貨時間，因為 您有⼀些零件可以⽴即發貨嗎？

A6： 是的，在某些情況下，我們每個季度都在努⼒改善我們 的供應。我們在每個季度的增⻓⽅⾯做得⾮常紮實，這決定了我們的收⼊。但由於我們對第四季度的展望中沒有中國，我們仍在努⼒改善我們的供應，並計劃 在明年繼續增⻓，併為此努⼒。

Q7： 也許你可以花一點時間討論大模型在推理方面的演進以及你的公司如何定位於此而不是較小的模型推理。 其次，直到一兩個月前，我還從未真正收到過任何關於人工智能工作負載的數據處理部分的問題。也許您可以談談 CUDA 如何加速這些⼯作負載

A7：我們可以創建 TensorRT-LLM，因為 CUDA 是可編程的。如果 CUDA 和我們的 GPU 不具備如此可編程性，我們就很難以現在的速度改進軟件堆棧。同⼀ GPU 上的 TensorRTLLM ⽆需任何⼈接觸任何東西即可將性能提⾼兩倍。當然，最重要的是，我們的創新步伐如此之快，H200 將其提⾼了兩倍。因此，我們的推理成本在⼤約⼀年的時間內降低了四倍。 所以這真的很難跟上。現在，每個⼈都喜歡我們的推理引擎的原因是因為我們的安裝基礎。 20 年來，我們⼀直致⼒於我們的客⼾羣。

我們擁有的安裝基礎不僅在每個雲中都是最⼤的，⽽且每個企業系統制造商都可以提供。 ⼏乎每個⾏業的公司都在使⽤它。⽆論何時您看到 NVIDIA GPU，它都會運⾏我們的 堆棧。它在架構上是兼容的。

NVIDIA 的平台穩定性確定性是每個⼈⾸先在我們的基礎上構建以及每個⼈⾸先在我 們的基礎上進⾏優化的原因。您所做的所有⼯程和所有⼯作以及您在 NVIDIA 基礎上構 建的所有技術發明都會為使⽤我們 GPU 的每個⼈帶來好處。我們擁有如此龐⼤的安 裝基礎，雲中有數以百萬計的 GPU，來⾃⼈們 PC 的 1 億個 GPU，⼏乎世界上的每個⼯作 站，它們在架構上都是兼容的。因此，如果您是⼀個推理平台並且正在部署推理應⽤程 序，那麼您基本上是⼀個應⽤程序提供商，並且作為軟件應⽤程序提供商，您正在尋找⼤ 型安裝基礎。

數據處理，在訓練模型之前，您必須整理數據。你必須推斷數據，也許你必須⽤合成數據 來擴充數據，所以你處理數據，清理數據，對⻬數據，規範化數據。所有這些數據都不是以 字節和兆字節為單位來衡量的，⽽是以太字節和拍字節為單位來衡量的。在數據⼯程之前、 在進⾏培訓之前進⾏的數據處理量⾮常⼤。

它可能代表您最終創建數據驅動的機器學習服務所需⼯作量的 30%、40%、50%。所以數據處理只 是⼀個重要的部分。我們加速 Spark，我們加速 Python。我們剛剛做的最酷的事情之⼀是 cuDF pandus。

Tandas 是世界上最成功的數據科學框架，PANDAS 現在由 NVIDIA CUDA 加速， 開箱即⽤，⽆需⼀⾏代碼。因此，加速度確實⾮常驚⼈，⼈們對此感到⾮常興奮。 PANDAS 的設計只 有⼀個⽬的，只有⼀個⽬的，即真正⽤於數據科學的數據處理。 NVIDIA CUDA 為您提供了這⼀切。

Q8： 我們如何看待你們的研發、運營⽀出增⻓前景，以⽀持更積極、更擴展的未來路線圖，但更 重要的是，團隊正在做什麼來管理和推動執⾏所有這些複雜性？

A8：⾸先，我們加快執⾏速度有 ⼀個根本原因，就是因為它從根本上降低了成本。 TensorRT LLM 和 H200 的結合將我們客⼾的⼤型模型推理成本降低了四倍。

因此，我們希望加快我們的路線圖。第⼆個原因是擴⼤⽣成式⼈⼯智能的覆蓋範圍世界上數據中⼼配置的數量。每種雲中都有 NVIDIA 的⾝影，但沒有⼀種雲是相同的。 NVIDIA 與每家雲服務提供商合作，但他們的⽹絡控制平⾯安全狀況都不相同。

我們現在正在將所有這些產品推向市場。因此，複雜性當然包括所有的技術、細分市場和速度。它包括這樣⼀個事實：我們在架構上與其中每⼀個都兼容。它包括我們創建的所有特定於域的庫。這就是為什麼每家計算機公司都能不假思索地將 NVIDIA 納⼊其路線圖並將其推向市場的原因。原因是因為有市場需求。醫療保健有市場需求。當然，⼈⼯智能、⾦融服務、超級計算、量⼦計算都有市場需求。我們擁有特定領域庫的市場和細分市場列表⾮常⼴泛。最後，我們為數據中⼼提供了端到端的解決⽅案。 InfiniBand ⽹絡、Ethernet、 x86、ARM，⼏乎提供瞭解決⽅案、技術解決⽅案和軟件堆棧的所有排列組合。

這意味着擁有最多數量的⽣態系統軟件開發⼈員、最⼤的系統製造商⽣態系統、最⼤和最⼴泛的分銷合作伙伴⽹絡，以及最終最⼤的覆蓋範圍。這當然需要⼤量的能量。但真正將它們結合 在⼀起的是我們⼏⼗年前做出的⼀個偉⼤決定，即⼀切在架構上都是兼容的。當我們開發⼀種 在⼀個 GPU 上運⾏的領域特定語⾔時，它會在每個 GPU 上運⾏當我們針對雲優化 TensorRT 時，我們也會針對企業進⾏優化。

當我們做⼀些事情帶來新功能、新庫、新功能或新開發⼈員時，他們會⽴即從我們的所有影響⼒中 受益。因此，這種與架構兼容的原則已經持續了⼏⼗年，這也是 NVIDIA 仍然⾮常⾮常⾼效 的原因之⼀。

本文的風險披露與聲明：海豚投研免責聲明及一般披露