英伟达电话会：预计下一代芯片 B100 供不应求，全球数据中心安装量未来 5 年翻一番

黄仁勋认为，整个数据中心行业正在经历一次全新的变革。 他在当地时间周三召开的英伟达财报电话会上表示，AI 工厂作为一种新型的数据中心，将数据转化为极具价值的 “代币”，比如人们在使用 ChatGPT、Midjourney 等服务中体验到的东西。 黄仁勋表示，计算机行业正同时处于加速计算与生成式 AI 转型的开端，这将推动全球数据中心基础设施安装量在未来 5 年内翻一番，创造每年数千亿美元的市场机会。 考虑到广阔的市场前景，黄仁勋称，2024 年及以后，数据中心业务持续增长的条件都非常优秀，预计 AI Enterprise 未来会成为一项非常重要的业务。 至于英伟达是否进军 ASIC（专用芯片设计）市场，黄仁勋并没有做直接回答。 英伟达 CFO Colette Kress 则在财报电话会议时表示，虽然当前 GPU 的供应正在改善，但需求仍然强劲，预计下一代产品的市场需求将超过供给，尤其是预计今年晚些时候发货的新一代芯片 B100。他表示，“构建和部署 AI 解决方案已经触及几乎每一个行业”，预计数据中心基础设施规模将在五年内翻番。 当地时间周三公布的财报显示，英伟达四季度营收同比猛增 265% 至 221 亿美元，高于分析师预期的 204.1 亿美元，单季度收入甚至高于 2021 年全年。最大营收来源数据中心部门，四季度营收达到 184 亿美元，同比暴增 409%。 英伟达营收和利润已连续三个季度创历史纪录，2024 全财年营收增长 126%。 以下是英伟达第四季度财报电话会分析师问答全文内容： 高盛 Toshiya Hari： 我的问题是关于数据中心业务的，Jensen（黄仁勋）。 很明显，你知道你在这个行业做得非常好。我很好奇你对 2024-2025 日历年的数据中心业务的预期，过去三个月内有何变化？。 希望您能谈谈数据中心领域中的一些新兴方向，比如软件、主权 AI 等。我认为您已经非常明确地表达了中长期的问题。 最近有一篇关于英伟达可能进军 ASIC（专用芯片设计）市场的文章，这有任何可信度吗？如果是这样，英伟达在未来几年内在这个市场上竞争和发展？ 黄仁勋： 对于第一个问题。 我们一次性指引一个季度，但从根本上讲，2024-2025 年及以后的持续增长环境非常好。理由是，我们正处于两个全行业转型的开端，这两个转型都是全行业的。 第一个是从通用计算到加速计算的转变，如您所知，通用计算开始失去动力。你可以从云服务提供商（CSP）的扩张和许多数据中心中看出，包括我们自己的通用计算中心，它可以将折旧从四年延长到六年。但当它不能像以前那样从根本上显着提高其数据处理量时，就没有理由使用更多 CPU 进行更新，因此必须加速一切。 这是英伟达一直在开创的。加速计算可以显着提高 LNG 效率，可以将数据处理成本下降 20 倍，这是一个巨大的数字。当然，还有速度。 这种速度令人难以置信，以至于我们今天实现了第二次全行业的转型，称为生成式 AI。 是的，我们可以，我相信我们会在通话中谈论很多，但请记住，生成式 AI 是一种新的应用。它正在赋能一种新的软件生成方式，新类型的软件正在被创建。这是一种新的计算方式。您可以在传统的通用计算设备上进行生成式 AI 的任务。这一过程必须得到加速。 第三，它正在赋能一个全新的行业，这是值得退一步审视的事情，与你最后一个关于主权 AI 的问题有关。 在某种意义上，整个数据中心行业正在经历一次全新的变革。传统上的数据中心仅仅被用来计算数据、存储数据、为公司员工提供服务，现在，我们有了一种新型的数据中心，它专注于 AI 生成。我曾把它描述为 AI 工厂，本质上利用原材料，也就是数据，用英伟达生产的这些 AI 超级计算机来改造数据，将其转化为极具价值的 “代币”。 这些 “代币” 就是人们在震撼的ChatGPT、Midjourney或者现在搜索等服务中体验到的东西，所有这些推荐系统现在都由此增强。 与此相关的所有超个性化服务，这些不可思议的初创公司，生成蛋白质、化学物质的数字生物学等等，所有这些 “代币” 都是在一种非常专业化的数据中心内生成的。我们称这种数据中心为 AI 超级计算机和 AI 生成工厂。 但是我们看到的是多样性，我们在这一方面取得了许多进步。第一，我们做的推理量已经飙升，几乎每一次你和 ChatGPT 互动，我们都在做推理，每次你使用 Midjourney 时，我们也在做推理。每次你看到这些令人惊叹的生成视频，或者 Runway、Firefly 编辑的视频，英伟达都在做推理，我们的推理业务扩张巨大，大约在 40% 左右。 训练量正在继续增加，因为这些模型变得越来越大，推理量也在增长，但我们也正在多样化进入新的行业。大型 CSP 仍在继续扩张。你可以从他们的资本支出和讨论中看出来。企业软件平台正在部署 AI 服务，Adobe 就是一个很好的例子，还有 SAP 和其他公司。 还有，消费者互联网服务现在正在通过生成式 AI 来增强他们所有的服务，以创建更多超个性化的内容。 我们在谈论工业化的生成式 AI。总的来说，以汽车、金融服务和医疗保健为的首垂直行业，现在已经达到了数十亿美元的规模。 当然，还有主权 AI。 提出主权 AI 的原因是每个地区的语言、知识、历史和文化不同，他们拥有自己的数据。 他们想要利用自己的数据，数据训练 AI 模型，开发数字化智能服务，创造属于自己的 AI 体系。世界各地的数据都不一样。 因为这些数据对本国最有价值，因此各国会保护本国的数据，自己处理数据，自己开发、提供 AI 服务，而不是依赖外部 AI 系统。 所以我们看到，日本、加拿大、法国、我和许多其他地区正在建设主权 AI 基础设施。因此，我的期望是，美国西部的经验，肯定会在世界各地复制。未来这些 AI 代工厂将遍布每个行业、每个公司、每个地区。 所以我认为，生成式 AI 已经在去年真正成为一个全新的应用空间，一种全新的计算方式。一个全新的产业正在形成，这推动了我们的增长。 摩根士丹利分析师 Joe Moore： 40% 的收入来自推理业务，这比我预期的要大。这个比例一年前大概是什么水平，大模型相关的推理业务增长了多少？英伟达是如何测量这一比例的？是否可靠？因为我假设在某些情况下，同一块 GPU 既可以用来训练也能够用来推理。 黄仁勋： 我倒过来说，这个比例可能被低估了。让我告诉你为什么。一年前，当人们使用互联网、浏览新闻、观看视频、听音乐、查看推荐产品时，面对的是数万亿的数据，而假设你的手机只有三英寸，要将所有这些信息整合到如此小的空间中，需要强大的推荐系统。 这些推荐系统过去全部基于 CPU，但在最近转向了深度学习和生成式 AI，这些推荐系统直接受益于 GPU 的加速。 它需要 GPU 来加速嵌入、近邻搜索、重新排名，以及生成个性化推荐信息，所以现在的推荐系统运行的每一步都需要 GPU。如你所知，推荐系统是这个星球上最大的软件引擎。世界上几乎所有主要公司都需要运行这些大型推荐系统。 每当你使用 ChatGPT 就是在推断，每当你听到中途和他们为消费者产生的东西的数量。当你看到 Getty 时，我们用 Getty 和来自 Adobe 的 Firefly 所做的工作，这些都是生成模型。列表还在继续。这些我一年前提到的都不存在，都是 100% 新的。 每当你使用 ChatGPT 时就是在做推理，Midjourney 也是一样。我们与 Getty、Adobe、Firefly 等的合作，以及这些应用生成式模型，这些还在不断增加。我刚才提到的所有这些，一年前都不存在，100% 都是新的。 Bernstein Research 分析师 Stacy Rasgon： 你们预计下一代产品会面临供不应求，我想深入了解这方面的情况，导致下一代产品供应紧张的原因是什么？既然 GPU 供应正在放松，为什么下一代产品还会出现供不应求的局面。 你预计这种限制会持续多久？是否意味着整个 2025 年日历年，下一代产品都会出现供应短缺。 黄仁勋： 总的来说，我们的供应正在改善。我们的供应链做得非常出色，从晶圆，封装，存储，所有的电源调节器，到收发器、网络、电缆等我们所用到的组件，供应都在改善。。如您所知，人们认为英伟达 GPU 只是一块芯片，但英伟达 Hopper GPU 由 35000 个零件组成，重 70 磅。这些东西是我们制造的非常复杂的东西，人们称之为 AI 超级计算机是有充分理由的。如果你看看数据中心的后面，系统，布线令人难以置信。它是世界上最密集、最复杂的网络布线系统。 我们的 InfiniBand 业务同比增长了 5 倍。供应链为我们提供了很大支持。所以总体来说，供应正在改善。我们预计需求仍会大于供给，我们会全力以赴。制程周期正在缩短，我们会继续努力。 然而，正如你所知，每当我们开发新产品时，它就会从零上升到非常大的数字，这不可能在一夜之间完成。一切都在加速，但它不会。因此，当我们开发出新一代产品后，无法在短期内完全满足需求，现在我们正在增加 H200 的供应。 我们也在扩大构建 Spectrum-X 平台。这是我们进入以太网世界的全新产品，目前已取得非常好的进展。InfiniBand 是 AI 专用系统的标准，我们在以太网的基础新功能之上进行了增强，如自适应路由、拥塞控制、噪声隔离或流量隔离，以便我们可以针对 AI 优化以太网。因此，InfiniBand 将是我们 AI 专用基础设施。Spectrum-X 将是我们 AI 优化的网络，而且正在加速。 所以，需求大于供应，这就是新产品通常会面临的问题。我们尽可能快地工作，以满足需求。但总的来说，我们的供应正在非常顺利地增加。 TDCowen 分析师 Matt Ramsey： 下午好，Jason，我的问题由两部分组成，涉及到 Stacy 刚刚提到的供不应求的问题。首先是，贵公司如何考虑产品分配以满足客户的需求，以及是否监控产品库存情况避免库存积累。 然后我想，Jason，我真的很想听听你和英伟达在客户之间分配产品的想法，许多客户竞相抢夺芯片，从行业到小型初创公司，从医疗保健领域到政府。这是一项非常独特的技术活，你正在推动它，我非常想听听你如何思考如何公平分配，才能在保障公司利益的同时兼顾整个行业利益。 黄仁勋： 首先回答你关于我们如何与客户合作搭建 GPU 实例以及我们的分配流程的问题。 我们合作的客户一直是多年来的长期合作伙伴，我们一直在协助他们在云端部署以及内部设置。许多服务提供商同时运营多个产品，以满足终端用户各种需求以及内部需求。 当然，他们会提前规划新集群所需配置，我们不仅讨论当前的 Hopper 架构，也帮助他们了解下一波产品，听取他们的兴趣和需求。所以他们的采购和构建内容是一个持续变化的过程。但是我们建立的关系和他们对构建复杂性的理解确实帮助了我们进行分配，并且两者都有助于我们与他们的沟通。 首先，我们的 CSP 对产品路线图和迭代有非常清晰的了解。我们与他们的透明沟通让其对产品放置时间和地点很有信心。他们了解产品的时间线和大致供应量。在分配上，我们尽量公平分配，避免不必要分配。如你之前说的，如果数据中心没准备好，分配没有任何意义。没有什么比闲置资源公平分配和避免不必要的分配更困难的了。 关于你问到的终端市场，我们有一个优秀的生态系统，包括 OEM、ODM、CSP 和非常重要的终端市场。 英伟达真正的独特之处是我们为合作伙伴和客户搭桥。我们将云服务供应商和代工与医疗、金融、AI 开发者、大语言模型开发者、自动驾驶公司、机器人公司等客户连接。正在出现的各种机器人创业公司，从仓储机器人、手术机器人、人形机器人、各种非常有趣的机器人公司、农业机器人公司 到外科到人形机器人。所有这些创业公司和大公司都是构建在我们平台之上。我们直接支持他们。通常，我们可以通过分配给云服务供应商并同时将客户引入云服务供应商来实现双赢。 独特的地方在于我们带来了我们的客户，我们带来了我们的合作伙伴、CSP 和 Oem，我们为他们带来了客户。生物公司、医疗保健公司、金融服务公司、AI 开发商、大型语言模型开发商、自动驾驶汽车公司、机器人公司。只有一大批机器人公司正在崛起。他们的仓库机器人、手术机器人、人形机器人、农业机器人……各种非常有趣的机器人公司，所有这些初创公司都在帮助医疗保健、金融服务和汽车等领域的大公司在英伟达平台上工作。我们直接支持他们。通常，我们可以通过分配给 CSP 并同时将客户引入 CSP 来实现双赢。 所以这个生态系统，你说得对，它是充满活力的，但在它的核心，我们希望公平分配，避免资源浪费，寻找连接合作伙伴和终端用户的机会，我们一直在寻找这些机会。 瑞银分析师 Timothy R.Curry： 非常感谢。我想问一下你们如何将积压订单转化为收入。显然，您的产品交货时间已经大大缩短了，但 Colette 没有谈论库存购买承诺，但如果我把加上你们获得的库存采购承诺和预付支持供应，你知道的，你的供应总和，实际上有点下降。我们应该如何解读这种下降？是因为交货时间缩短，英伟达不需要对供应商作出那么大的财务承诺了吗？还是英伟达正在接近填补订单和积压订单的平衡状态？ Colette Kress： 是的，让我强调一下我们对供应的三个不同方面的看法。你说得对，我们手头的库存，考虑到我们正在进行的分配，我们正在努力，因为货品入库后立即发给客户。我认为客户会赞赏我们满足他们需要的交货时间表的能力。 其次，我们的购买承诺有很多不同组成部分，不仅包括我们生产所需的组件，也包括我们满足产能所需的组件，需求时间长度不一，其中一些可能会持续两个季度，但其中一些可能会持续多年。 预付款也是一样，它们都是为了确保我们在几家供应商那里获得未来所需的备用产能。 所以不应该过分解读这些大致相同的数字，因为我们正在提高供应量。所有这些都有不同的时间跨度，因为我们有时不得不提前很长时间购买东西或为我们建立产能。 Melius Research 分析师 Ben Reitzes： 好的，谢谢。恭喜取得了如此亮眼的成绩。Colette，我想谈谈你对于毛利率的看法，它们回到了 75% 左右的水平，这是因为新产品中 HBM 内存含量吗？您认为还有其他原因吗？非常感谢。 Colette Kress： 是的，感谢您的问题。正如我们在开场白中强调的，我们第四季度的业绩和第一季度的展望都比较特殊。这两个季度的毛利率也都是独特的，因为它们都受益于供应链中的组件成本，这种益处覆盖了我们的计算和网络产品，以及制造过程的多个阶段。 展望未来，我们预测本财年的毛利率将回归到 75% 左右的水平，回到我们在第四季度和第一季度峰值之前的水平。所以真正驱动未来全年的毛利率的是我们产品组合，这将是最重要的驱动因素。这些就是驱动毛利率的主要因素。 Cantra Fitzgerald 分析师 CJ Muse： 下午好，Jason，GPU 算力在过去十年提升了 100 万倍，面对这种飞速提升，英伟达客户如何看待他们今天所做的英伟达投资的长期可用性。今天用于训练的系统未来是否还可以用于推理。你认为这会如何发展？ 黄仁勋： 谢谢你的问题。是的，真正酷的地方在于，我们能够极大地提升性能，那是因为我们的平台有两大特点：一是加速的能力，二是可编程性。 英伟达是唯一一个从最初就始终如一的架构，从最开始的卷积神经网络，Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 首次提出的 AlexNet，到 RNN、LSTM、RLS，再到 Transformers，比如 Vision Transformers、Multi-modality Transformers 等，每一个 AI 的变种模型，我们都能支持它们，优化我们的堆栈，并将其部署到我们安装的用户设备基础上。 这真的是最了不起的地方。一方面，我们可以发明新的架构和技术，像我们的 Tensor Core(张量核心)，张量核心转换引擎，改进数据格式和处理结构，就像在 Tensor Core 中所做的工作那样。 同时，我们也支持原有的安装基础。因此，我们的所有新软件算法创新，以及行业的所有新模型创新，都可以在一个基础上运行。另一方面，当我们看到革命性的东西，例如转换器，我们可以创建全新的东西，像 Hopper 转换引擎，并在未来进行应用。 因此，我们同时拥有将软件引入安装基础并不断改进的能力，因此随着时间的推移，我们的客户安装基础随着我们的新软件而丰富。另一方面，新技术创造了革命性的能力。 如果未来一代在 LLM 上出现突破，不要感到惊讶。这些突破，其中一些是软件方面的，因为它们运行在 CUDA 平台上，提供给安装基础。所以我们带着所有人一起前进。一方面，我们取得巨大突破;另一方面，我们支持原有基础。 Piper Sandler 分析师 Harsh Kumar： 我想谈谈英伟达的软件业务，很高兴听到它的营收超过 10 亿美元。但我希望，Jensen 或 Collatif，帮助我们稍微拆解一下，以便我们更好地了解该业务的增长源。 黄仁勋： 让我退后一步解释，英伟达在软件中非常成功的根本原因。 首先，你知道，加速计算真正在云端蓬勃发展。CSP 有非常大的工程团队， 我们与他们合作的方式允许他们运营和管理自己的业务。。如果有任何问题，我们会派出大型团队为他们服务。他们的工程团队直接与我们的工程团队对接，改进、修复、维护、修复复杂的加速计算软件栈。 加速计算和通用计算截然不同，并不是从 C++ 这样的程序开始，编译后在所有 CPU 上运行。从数据处理、结构化数据与所有图像、文本、PDF 这样的非结构化数据，到经典机器学习、计算机视觉、语音、大语言模型，再到所有推荐系统，每个领域都需要不同的软件栈。这就是为什么英伟达有数百个软件库的原因。没有软件就无法开拓新市场，无法启用新的应用。软件对加速计算来说是基础。 如您所知，加速计算与通用计算非常不同。你不是从 C++ 这样的程序开始的。你编译它，一切都在你的所有 CPU 上运行。每个领域所需的软件堆栈从数据处理、SQL 数据库、结构数据与所有图像、文本和 PDF（非结构化）到经典机器学习、计算机视觉、语音、两个大型语言模型、所有推荐系统，所有这些都需要不同的软件堆栈。 这就是英伟达拥有数百个库的原因。如果你没有软件，你就无法打开新市场。如果您没有软件，则无法打开和启用新应用程序。软件对于加速计算至关重要。 这是加速计算和通用计算之间的根本区别，大多数人花了很长时间才理解，现在人们明白，软件在我们与 CSP 合作的方式中非常关键。这非常简单，我们的大型团队正在与他们的大型团队合作。然而，现在生成式 AI 使每个企业和企业软件公司都能拥抱加速计算，拥抱加速计算现在是必需的，仅仅依靠通用计算提高处理量已不再可行。所有这些企业软件公司和企业公司都没有大型工程团队来维护和优化他们的软件堆栈，以在全球所有云和私有云以及本地运行。 因此，我们将对他们所有的软件堆栈进行管理、优化、修补、调整，优化安装基础。我们将它们容器化到我们的堆栈中，我们称之为英伟达 AIEnterprise。我们将其推向市场的方式是将英伟达 AIEnterprise 视为运行时，就像操作系统一样。这是一个人工智能操作系统。我们每年对每个 GPU 收取 4500 美元。我的猜测是，世界上的每一家企业，每一家在所有云和私有云中部署软件的软件企业公司。首先，我们将在英伟达 AI 企业上运行，尤其是，你知道，显然是为了我们的 GPU。因此，随着时间的推移，这可能会成为一项非常重要的业务。我们有一个很好的开始。Collette 提到它已经以 10 亿美元的速度增长，我们才刚刚开始。 黄仁勋闭会总结： 计算机行业正在同时向两个方向转变 (加速计算与生成式 AI)。 价值数万亿美元的数据中心安装基础正在从通用计算转向加速计算。每个数据中心都将得到加速，使世界能够在提高处理量来满足计算需求的同时，管理成本和能源。英伟达实现了令人难以置信的加速，它实现了一种全新的计算范式，即生成式 AI，其中软件可以学习、理解和生成从人类语言到生物结构和 3D 世界的任何信息。 我们现在正处于一个新兴行业的开端，专用 AI 数据中心处理大量原始数据以将其提炼成数字智能，就像上一场工业革命的交流发电厂。英伟达 AI 超级计算机实际上是这场工业革命的 AI 生成工厂。 每个公司和每个行业从根本上来说都是建立在其专有的商业智能之上，在未来，他们专有的生成式 AI 启动了一个全新的投资周期，以构建下一个万亿美元的 AI 生成工厂基础设施。 我们相信，这两大趋势将推动未来 5 年内使全球数据中心基础设施安装量翻一番，每年创造数千亿美元的市场机会。这种新的人工智能基础设施将开辟一个今天不可能实现的全新应用世界。 我们与超大规模云提供商和消费者互联网公司一起开启了人工智能之旅。现在，从汽车、医疗保健、金融服务到工业电信、媒体和娱乐，每个行业都参与其中。英伟达的全栈计算平台具有特定行业的应用框架以及庞大的开发者和合作伙伴生态系统，为我们提供了速度、规模和影响力，帮助每个公司、每个行业的公司成为人工智能公司。 在下个月于圣何塞举行的 GTC 上，我们有很多东西要与您分享，所以请务必加入我们。我们期待向您介绍下季度的最新进展。