英偉達電話會：預計下一代芯片 B100 供不應求，全球數據中心安裝量未來 5 年翻一番

黃仁勳認為，整個數據中心行業正在經歷一次全新的變革。 他在當地時間週三召開的英偉達財報電話會上表示，AI 工廠作為一種新型的數據中心，將數據轉化為極具價值的 “代幣”，比如人們在使用 ChatGPT、Midjourney 等服務中體驗到的東西。 黃仁勳表示，計算機行業正同時處於加速計算與生成式 AI 轉型的開端，這將推動全球數據中心基礎設施安裝量在未來 5 年內翻一番，創造每年數千億美元的市場機會。 考慮到廣闊的市場前景，黃仁勳稱，2024 年及以後，數據中心業務持續增長的條件都非常優秀，預計 AI Enterprise 未來會成為一項非常重要的業務。 至於英偉達是否進軍 ASIC（專用芯片設計）市場，黃仁勳並沒有做直接回答。 英偉達 CFO Colette Kress 則在財報電話會議時表示，雖然當前 GPU 的供應正在改善，但需求仍然強勁，預計下一代產品的市場需求將超過供給，尤其是預計今年晚些時候發貨的新一代芯片 B100。他表示，“構建和部署 AI 解決方案已經觸及幾乎每一個行業”，預計數據中心基礎設施規模將在五年內翻番。 當地時間週三公佈的財報顯示，英偉達四季度營收同比猛增 265% 至 221 億美元，高於分析師預期的 204.1 億美元，單季度收入甚至高於 2021 年全年。最大營收來源數據中心部門，四季度營收達到 184 億美元，同比暴增 409%。 英偉達營收和利潤已連續三個季度創歷史紀錄，2024 全財年營收增長 126%。 以下是英偉達第四季度財報電話會分析師問答全文內容： 高盛 Toshiya Hari： 我的問題是關於數據中心業務的，Jensen（黃仁勳）。 很明顯，你知道你在這個行業做得非常好。我很好奇你對 2024-2025 日曆年的數據中心業務的預期，過去三個月內有何變化？。 希望您能談談數據中心領域中的一些新興方向，比如軟件、主權 AI 等。我認為您已經非常明確地表達了中長期的問題。 最近有一篇關於英偉達可能進軍 ASIC（專用芯片設計）市場的文章，這有任何可信度嗎？如果是這樣，英偉達在未來幾年內在這個市場上競爭和發展？ 黃仁勳： 對於第一個問題。 我們一次性指引一個季度，但從根本上講，2024-2025 年及以後的持續增長環境非常好。理由是，我們正處於兩個全行業轉型的開端，這兩個轉型都是全行業的。 第一個是從通用計算到加速計算的轉變，如您所知，通用計算開始失去動力。你可以從雲服務提供商（CSP）的擴張和許多數據中心中看出，包括我們自己的通用計算中心，它可以將折舊從四年延長到六年。但當它不能像以前那樣從根本上顯着提高其數據處理量時，就沒有理由使用更多 CPU 進行更新，因此必須加速一切。 這是英偉達一直在開創的。加速計算可以顯着提高 LNG 效率，可以將數據處理成本下降 20 倍，這是一個巨大的數字。當然，還有速度。 這種速度令人難以置信，以至於我們今天實現了第二次全行業的轉型，稱為生成式 AI。 是的，我們可以，我相信我們會在通話中談論很多，但請記住，生成式 AI 是一種新的應用。它正在賦能一種新的軟件生成方式，新類型的軟件正在被創建。這是一種新的計算方式。您可以在傳統的通用計算設備上進行生成式 AI 的任務。這一過程必須得到加速。 第三，它正在賦能一個全新的行業，這是值得退一步審視的事情，與你最後一個關於主權 AI 的問題有關。 在某種意義上，整個數據中心行業正在經歷一次全新的變革。傳統上的數據中心僅僅被用來計算數據、存儲數據、為公司員工提供服務，現在，我們有了一種新型的數據中心，它專注於 AI 生成。我曾把它描述為 AI 工廠，本質上利用原材料，也就是數據，用英偉達生產的這些 AI 超級計算機來改造數據，將其轉化為極具價值的 “代幣”。 這些 “代幣” 就是人們在震撼的ChatGPT、Midjourney或者現在搜索等服務中體驗到的東西，所有這些推薦系統現在都由此增強。 與此相關的所有超個性化服務，這些不可思議的初創公司，生成蛋白質、化學物質的數字生物學等等，所有這些 “代幣” 都是在一種非常專業化的數據中心內生成的。我們稱這種數據中心為 AI 超級計算機和 AI 生成工廠。 但是我們看到的是多樣性，我們在這一方面取得了許多進步。第一，我們做的推理量已經飆升，幾乎每一次你和 ChatGPT 互動，我們都在做推理，每次你使用 Midjourney 時，我們也在做推理。每次你看到這些令人驚歎的生成視頻，或者 Runway、Firefly 編輯的視頻，英偉達都在做推理，我們的推理業務擴張巨大，大約在 40% 左右。 訓練量正在繼續增加，因為這些模型變得越來越大，推理量也在增長，但我們也正在多樣化進入新的行業。大型 CSP 仍在繼續擴張。你可以從他們的資本支出和討論中看出來。企業軟件平台正在部署 AI 服務，Adobe 就是一個很好的例子，還有 SAP 和其他公司。 還有，消費者互聯網服務現在正在通過生成式 AI 來增強他們所有的服務，以創建更多超個性化的內容。 我們在談論工業化的生成式 AI。總的來説，以汽車、金融服務和醫療保健為的首垂直行業，現在已經達到了數十億美元的規模。 當然，還有主權 AI。 提出主權 AI 的原因是每個地區的語言、知識、歷史和文化不同，他們擁有自己的數據。 他們想要利用自己的數據，數據訓練 AI 模型，開發數字化智能服務，創造屬於自己的 AI 體系。世界各地的數據都不一樣。 因為這些數據對本國最有價值，因此各國會保護本國的數據，自己處理數據，自己開發、提供 AI 服務，而不是依賴外部 AI 系統。 所以我們看到，日本、加拿大、法國、我和許多其他地區正在建設主權 AI 基礎設施。因此，我的期望是，美國西部的經驗，肯定會在世界各地複製。未來這些 AI 代工廠將遍佈每個行業、每個公司、每個地區。 所以我認為，生成式 AI 已經在去年真正成為一個全新的應用空間，一種全新的計算方式。一個全新的產業正在形成，這推動了我們的增長。 摩根士丹利分析師 Joe Moore： 40% 的收入來自推理業務，這比我預期的要大。這個比例一年前大概是什麼水平，大模型相關的推理業務增長了多少？英偉達是如何測量這一比例的？是否可靠？因為我假設在某些情況下，同一塊 GPU 既可以用來訓練也能夠用來推理。 黃仁勳： 我倒過來説，這個比例可能被低估了。讓我告訴你為什麼。一年前，當人們使用互聯網、瀏覽新聞、觀看視頻、聽音樂、查看推薦產品時，面對的是數萬億的數據，而假設你的手機只有三英寸，要將所有這些信息整合到如此小的空間中，需要強大的推薦系統。 這些推薦系統過去全部基於 CPU，但在最近轉向了深度學習和生成式 AI，這些推薦系統直接受益於 GPU 的加速。 它需要 GPU 來加速嵌入、近鄰搜索、重新排名，以及生成個性化推薦信息，所以現在的推薦系統運行的每一步都需要 GPU。如你所知，推薦系統是這個星球上最大的軟件引擎。世界上幾乎所有主要公司都需要運行這些大型推薦系統。 每當你使用 ChatGPT 就是在推斷，每當你聽到中途和他們為消費者產生的東西的數量。當你看到 Getty 時，我們用 Getty 和來自 Adobe 的 Firefly 所做的工作，這些都是生成模型。列表還在繼續。這些我一年前提到的都不存在，都是 100% 新的。 每當你使用 ChatGPT 時就是在做推理，Midjourney 也是一樣。我們與 Getty、Adobe、Firefly 等的合作，以及這些應用生成式模型，這些還在不斷增加。我剛才提到的所有這些，一年前都不存在，100% 都是新的。 Bernstein Research 分析師 Stacy Rasgon： 你們預計下一代產品會面臨供不應求，我想深入瞭解這方面的情況，導致下一代產品供應緊張的原因是什麼？既然 GPU 供應正在放鬆，為什麼下一代產品還會出現供不應求的局面。 你預計這種限制會持續多久？是否意味着整個 2025 年日曆年，下一代產品都會出現供應短缺。 黃仁勳： 總的來説，我們的供應正在改善。我們的供應鏈做得非常出色，從晶圓，封裝，存儲，所有的電源調節器，到收發器、網絡、電纜等我們所用到的組件，供應都在改善。。如您所知，人們認為英偉達 GPU 只是一塊芯片，但英偉達 Hopper GPU 由 35000 個零件組成，重 70 磅。這些東西是我們製造的非常複雜的東西，人們稱之為 AI 超級計算機是有充分理由的。如果你看看數據中心的後面，系統，佈線令人難以置信。它是世界上最密集、最複雜的網絡佈線系統。 我們的 InfiniBand 業務同比增長了 5 倍。供應鏈為我們提供了很大支持。所以總體來説，供應正在改善。我們預計需求仍會大於供給，我們會全力以赴。製程週期正在縮短，我們會繼續努力。 然而，正如你所知，每當我們開發新產品時，它就會從零上升到非常大的數字，這不可能在一夜之間完成。一切都在加速，但它不會。因此，當我們開發出新一代產品後，無法在短期內完全滿足需求，現在我們正在增加 H200 的供應。 我們也在擴大構建 Spectrum-X 平台。這是我們進入以太網世界的全新產品，目前已取得非常好的進展。InfiniBand 是 AI 專用系統的標準，我們在以太網的基礎新功能之上進行了增強，如自適應路由、擁塞控制、噪聲隔離或流量隔離，以便我們可以針對 AI 優化以太網。因此，InfiniBand 將是我們 AI 專用基礎設施。Spectrum-X 將是我們 AI 優化的網絡，而且正在加速。 所以，需求大於供應，這就是新產品通常會面臨的問題。我們儘可能快地工作，以滿足需求。但總的來説，我們的供應正在非常順利地增加。 TDCowen 分析師 Matt Ramsey： 下午好，Jason，我的問題由兩部分組成，涉及到 Stacy 剛剛提到的供不應求的問題。首先是，貴公司如何考慮產品分配以滿足客户的需求，以及是否監控產品庫存情況避免庫存積累。 然後我想，Jason，我真的很想聽聽你和英偉達在客户之間分配產品的想法，許多客户競相搶奪芯片，從行業到小型初創公司，從醫療保健領域到政府。這是一項非常獨特的技術活，你正在推動它，我非常想聽聽你如何思考如何公平分配，才能在保障公司利益的同時兼顧整個行業利益。 黃仁勳： 首先回答你關於我們如何與客户合作搭建 GPU 實例以及我們的分配流程的問題。 我們合作的客户一直是多年來的長期合作伙伴，我們一直在協助他們在雲端部署以及內部設置。許多服務提供商同時運營多個產品，以滿足終端用户各種需求以及內部需求。 當然，他們會提前規劃新集羣所需配置，我們不僅討論當前的 Hopper 架構，也幫助他們瞭解下一波產品，聽取他們的興趣和需求。所以他們的採購和構建內容是一個持續變化的過程。但是我們建立的關係和他們對構建複雜性的理解確實幫助了我們進行分配，並且兩者都有助於我們與他們的溝通。 首先，我們的 CSP 對產品路線圖和迭代有非常清晰的瞭解。我們與他們的透明溝通讓其對產品放置時間和地點很有信心。他們瞭解產品的時間線和大致供應量。在分配上，我們儘量公平分配，避免不必要分配。如你之前説的，如果數據中心沒準備好，分配沒有任何意義。沒有什麼比閒置資源公平分配和避免不必要的分配更困難的了。 關於你問到的終端市場，我們有一個優秀的生態系統，包括 OEM、ODM、CSP 和非常重要的終端市場。 英偉達真正的獨特之處是我們為合作伙伴和客户搭橋。我們將雲服務供應商和代工與醫療、金融、AI 開發者、大語言模型開發者、自動駕駛公司、機器人公司等客户連接。正在出現的各種機器人創業公司，從倉儲機器人、手術機器人、人形機器人、各種非常有趣的機器人公司、農業機器人公司 到外科到人形機器人。所有這些創業公司和大公司都是構建在我們平台之上。我們直接支持他們。通常，我們可以通過分配給雲服務供應商並同時將客户引入雲服務供應商來實現雙贏。 獨特的地方在於我們帶來了我們的客户，我們帶來了我們的合作伙伴、CSP 和 Oem，我們為他們帶來了客户。生物公司、醫療保健公司、金融服務公司、AI 開發商、大型語言模型開發商、自動駕駛汽車公司、機器人公司。只有一大批機器人公司正在崛起。他們的倉庫機器人、手術機器人、人形機器人、農業機器人……各種非常有趣的機器人公司，所有這些初創公司都在幫助醫療保健、金融服務和汽車等領域的大公司在英偉達平台上工作。我們直接支持他們。通常，我們可以通過分配給 CSP 並同時將客户引入 CSP 來實現雙贏。 所以這個生態系統，你説得對，它是充滿活力的，但在它的核心，我們希望公平分配，避免資源浪費，尋找連接合作夥伴和終端用户的機會，我們一直在尋找這些機會。 瑞銀分析師 Timothy R.Curry： 非常感謝。我想問一下你們如何將積壓訂單轉化為收入。顯然，您的產品交貨時間已經大大縮短了，但 Colette 沒有談論庫存購買承諾，但如果我把加上你們獲得的庫存採購承諾和預付支持供應，你知道的，你的供應總和，實際上有點下降。我們應該如何解讀這種下降？是因為交貨時間縮短，英偉達不需要對供應商作出那麼大的財務承諾了嗎？還是英偉達正在接近填補訂單和積壓訂單的平衡狀態？ Colette Kress： 是的，讓我強調一下我們對供應的三個不同方面的看法。你説得對，我們手頭的庫存，考慮到我們正在進行的分配，我們正在努力，因為貨品入庫後立即發給客户。我認為客户會讚賞我們滿足他們需要的交貨時間表的能力。 其次，我們的購買承諾有很多不同組成部分，不僅包括我們生產所需的組件，也包括我們滿足產能所需的組件，需求時間長度不一，其中一些可能會持續兩個季度，但其中一些可能會持續多年。 預付款也是一樣，它們都是為了確保我們在幾家供應商那裏獲得未來所需的備用產能。 所以不應該過分解讀這些大致相同的數字，因為我們正在提高供應量。所有這些都有不同的時間跨度，因為我們有時不得不提前很長時間購買東西或為我們建立產能。 Melius Research 分析師 Ben Reitzes： 好的，謝謝。恭喜取得了如此亮眼的成績。Colette，我想談談你對於毛利率的看法，它們回到了 75% 左右的水平，這是因為新產品中 HBM 內存含量嗎？您認為還有其他原因嗎？非常感謝。 Colette Kress： 是的，感謝您的問題。正如我們在開場白中強調的，我們第四季度的業績和第一季度的展望都比較特殊。這兩個季度的毛利率也都是獨特的，因為它們都受益於供應鏈中的組件成本，這種益處覆蓋了我們的計算和網絡產品，以及製造過程的多個階段。 展望未來，我們預測本財年的毛利率將回歸到 75% 左右的水平，回到我們在第四季度和第一季度峯值之前的水平。所以真正驅動未來全年的毛利率的是我們產品組合，這將是最重要的驅動因素。這些就是驅動毛利率的主要因素。 Cantra Fitzgerald 分析師 CJ Muse： 下午好，Jason，GPU 算力在過去十年提升了 100 萬倍，面對這種飛速提升，英偉達客户如何看待他們今天所做的英偉達投資的長期可用性。今天用於訓練的系統未來是否還可以用於推理。你認為這會如何發展？ 黃仁勳： 謝謝你的問題。是的，真正酷的地方在於，我們能夠極大地提升性能，那是因為我們的平台有兩大特點：一是加速的能力，二是可編程性。 英偉達是唯一一個從最初就始終如一的架構，從最開始的卷積神經網絡，Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 首次提出的 AlexNet，到 RNN、LSTM、RLS，再到 Transformers，比如 Vision Transformers、Multi-modality Transformers 等，每一個 AI 的變種模型，我們都能支持它們，優化我們的堆棧，並將其部署到我們安裝的用户設備基礎上。 這真的是最了不起的地方。一方面，我們可以發明新的架構和技術，像我們的 Tensor Core(張量核心)，張量核心轉換引擎，改進數據格式和處理結構，就像在 Tensor Core 中所做的工作那樣。 同時，我們也支持原有的安裝基礎。因此，我們的所有新軟件算法創新，以及行業的所有新模型創新，都可以在一個基礎上運行。另一方面，當我們看到革命性的東西，例如轉換器，我們可以創建全新的東西，像 Hopper 轉換引擎，並在未來進行應用。 因此，我們同時擁有將軟件引入安裝基礎並不斷改進的能力，因此隨着時間的推移，我們的客户安裝基礎隨着我們的新軟件而豐富。另一方面，新技術創造了革命性的能力。 如果未來一代在 LLM 上出現突破，不要感到驚訝。這些突破，其中一些是軟件方面的，因為它們運行在 CUDA 平台上，提供給安裝基礎。所以我們帶着所有人一起前進。一方面，我們取得巨大突破;另一方面，我們支持原有基礎。 Piper Sandler 分析師 Harsh Kumar： 我想談談英偉達的軟件業務，很高興聽到它的營收超過 10 億美元。但我希望，Jensen 或 Collatif，幫助我們稍微拆解一下，以便我們更好地瞭解該業務的增長源。 黃仁勳： 讓我退後一步解釋，英偉達在軟件中非常成功的根本原因。 首先，你知道，加速計算真正在雲端蓬勃發展。CSP 有非常大的工程團隊， 我們與他們合作的方式允許他們運營和管理自己的業務。。如果有任何問題，我們會派出大型團隊為他們服務。他們的工程團隊直接與我們的工程團隊對接，改進、修復、維護、修復複雜的加速計算軟件棧。 加速計算和通用計算截然不同，並不是從 C++ 這樣的程序開始，編譯後在所有 CPU 上運行。從數據處理、結構化數據與所有圖像、文本、PDF 這樣的非結構化數據，到經典機器學習、計算機視覺、語音、大語言模型，再到所有推薦系統，每個領域都需要不同的軟件棧。這就是為什麼英偉達有數百個軟件庫的原因。沒有軟件就無法開拓新市場，無法啓用新的應用。軟件對加速計算來説是基礎。 如您所知，加速計算與通用計算非常不同。你不是從 C++ 這樣的程序開始的。你編譯它，一切都在你的所有 CPU 上運行。每個領域所需的軟件堆棧從數據處理、SQL 數據庫、結構數據與所有圖像、文本和 PDF（非結構化）到經典機器學習、計算機視覺、語音、兩個大型語言模型、所有推薦系統，所有這些都需要不同的軟件堆棧。 這就是英偉達擁有數百個庫的原因。如果你沒有軟件，你就無法打開新市場。如果您沒有軟件，則無法打開和啓用新應用程序。軟件對於加速計算至關重要。 這是加速計算和通用計算之間的根本區別，大多數人花了很長時間才理解，現在人們明白，軟件在我們與 CSP 合作的方式中非常關鍵。這非常簡單，我們的大型團隊正在與他們的大型團隊合作。然而，現在生成式 AI 使每個企業和企業軟件公司都能擁抱加速計算，擁抱加速計算現在是必需的，僅僅依靠通用計算提高處理量已不再可行。所有這些企業軟件公司和企業公司都沒有大型工程團隊來維護和優化他們的軟件堆棧，以在全球所有云和私有云以及本地運行。 因此，我們將對他們所有的軟件堆棧進行管理、優化、修補、調整，優化安裝基礎。我們將它們容器化到我們的堆棧中，我們稱之為英偉達 AIEnterprise。我們將其推向市場的方式是將英偉達 AIEnterprise 視為運行時，就像操作系統一樣。這是一個人工智能操作系統。我們每年對每個 GPU 收取 4500 美元。我的猜測是，世界上的每一家企業，每一家在所有云和私有云中部署軟件的軟件企業公司。首先，我們將在英偉達 AI 企業上運行，尤其是，你知道，顯然是為了我們的 GPU。因此，隨着時間的推移，這可能會成為一項非常重要的業務。我們有一個很好的開始。Collette 提到它已經以 10 億美元的速度增長，我們才剛剛開始。 黃仁勳閉會總結： 計算機行業正在同時向兩個方向轉變 (加速計算與生成式 AI)。 價值數萬億美元的數據中心安裝基礎正在從通用計算轉向加速計算。每個數據中心都將得到加速，使世界能夠在提高處理量來滿足計算需求的同時，管理成本和能源。英偉達實現了令人難以置信的加速，它實現了一種全新的計算範式，即生成式 AI，其中軟件可以學習、理解和生成從人類語言到生物結構和 3D 世界的任何信息。 我們現在正處於一個新興行業的開端，專用 AI 數據中心處理大量原始數據以將其提煉成數字智能，就像上一場工業革命的交流發電廠。英偉達 AI 超級計算機實際上是這場工業革命的 AI 生成工廠。 每個公司和每個行業從根本上來説都是建立在其專有的商業智能之上，在未來，他們專有的生成式 AI 啓動了一個全新的投資週期，以構建下一個萬億美元的 AI 生成工廠基礎設施。 我們相信，這兩大趨勢將推動未來 5 年內使全球數據中心基礎設施安裝量翻一番，每年創造數千億美元的市場機會。這種新的人工智能基礎設施將開闢一個今天不可能實現的全新應用世界。 我們與超大規模雲提供商和消費者互聯網公司一起開啓了人工智能之旅。現在，從汽車、醫療保健、金融服務到工業電信、媒體和娛樂，每個行業都參與其中。英偉達的全棧計算平台具有特定行業的應用框架以及龐大的開發者和合作夥伴生態系統，為我們提供了速度、規模和影響力，幫助每個公司、每個行業的公司成為人工智能公司。 在下個月於聖何塞舉行的 GTC 上，我們有很多東西要與您分享，所以請務必加入我們。我們期待向您介紹下季度的最新進展。