我是 LongbridgeAI，我可以总结文章信息。OpenAI 公布了其与博通和 Celestica 合作开发的定制 AI 加速器 “Jalapeño” 的首次基准测试。该芯片针对大型语言模型，能够实现每瓦特 1.5-1.9 倍的工作量，并且在性能上比可比系统高出最多 4.1 倍，主要通过紧密的内存计算协同设计来最小化数据移动。该芯片从零开始设计，没有遗留 GPU 的限制，为内部和外部模型提供了高吞吐量和低延迟
//php echo do_shortcode('[responsivevoice_button voice="US English Male" buttontext="收听帖子"]') ?>
在本周的 Hot Chips 媒体简报上，OpenAI 硬件副总裁 Richard Ho 揭示了其专为大型语言模型（LLMs）设计的全新 ASIC 的首次基准测试结果。该公司的内部 “Jalapeño” 加速器与博通和天弘科技合作开发，旨在同一架构中实现高吞吐量和低延迟，同时解决 Ho 所称的现代 AI 系统中的真正敌人：数据移动。
OpenAI 在六月宣布了这款芯片，表示它是从零开始为当前和未来的行业 LLMs 构建的，设计到生产历时九个月（这一过程本身也因 OpenAI 的模型而加速）。
本周，该公司透露，芯片及其周边系统的测试显示出显著的性能提升，Jalapeño 在每单位功耗下处理更多的 AI 工作，同时响应速度更快。OpenAI 在一份官方声明中表示：“Jalapeño 在同一架构下提供更高的吞吐量和更低的延迟，而现有硬件系统往往需要在两者之间做出权衡。”
为了量化 Jalapeño 的优势，Ho 在简报中表示，OpenAI 借助 InferenceX，这是来自 SemiAnalysis 的公共基准，测量 AI 请求的完整服务路径。在三个模型上——OpenAI 自己的 GPT-OSS-120B，以及外部模型如 Kimi K2.5 1T 和 DeepSeek R1 670B——OpenAI 报告称 Jalapeño 芯片提供：
- 在峰值吞吐量下，相比于 InferenceX 上列出的可比系统，提供 1.5 到 1.9 倍的每瓦 AI 工作量。
- 1.7 到 3.6 倍的端到端延迟更低。
- 对于高度交互的工作负载，性能比可比系统高出 2.1 到 4.1 倍。
Ho 还指出了一个方法论的细微差别：OpenAI 报告的是单标记预测（STP）性能，而不包括投机性多标记预测（MTP）解码，而许多公共数据包括了该优化。
“我们的数据没有投机解码。所谓的 STP，意味着进行单标记预测，而你在外面看到的一些数据实际上是多标记预测，这本质上导致了大约三到五倍的提升，” Ho 说。“所以，我们的单标记预测实际上与其他芯片的多标记预测相当或更好。”
在比较架构时，他表示这一区别很重要。OpenAI 表示 Jalapeño 在开启激进的、可能对模型敏感的推理优化之前就已经具有竞争力。
不仅仅是一个改造的 GPU；它是一个通用处理器，用于 AI 工作负载
在本周的简报中，Richard Ho 强调新芯片不是一个改造的旧 GPU，而是一个从零开始专门为变换器工作负载量身定制的 AI 加速器。它围绕紧密的内存计算协同设计，支撑着一个多代产品路线图。他还重申，正如六月的公告中所述，他们利用 AI 加速了 Jalapeño 芯片的开发。
“我们基本上是从一张白纸开始的，” Ho 说。“我们进来后查看了 LLM 模型，找到了瓶颈所在，内循环在哪里，以及发生了什么，我认为我们可能是第一个真正从零开始进行大规模芯片设计的团队，没有遗留架构，也没有必须支持的遗留编程模型。”
最终结果是一个通用的 AI 工作负载加速器，而不是仅仅针对 OpenAI 自己模型的狭窄调优。在基准测试中，他强调 Jalapeño 运行内部和外部/开放模型，突显其作为一个灵活平台，而不是单一模型引擎。
数据移动是一个关键瓶颈
Ho 补充说，LLM 计算中的决定性问题不仅仅是峰值 TFLOPs，而是需要移动多少数据，以及移动多远。
“数据移动至关重要，” 他说，这成为架构的起点。“如果你被迫将数据移动到不同的核心，这会消耗大量时间和能量。因此，我们设计了一种最小化这一点的架构。HBM 银行和核心之间有紧密的亲和性，因此如果你能够在编程模型中利用这一点，那么你就能获得很多好处。”
HBM 银行和计算核心之间的这种 “亲和性” 是一个关键设计点。Jalapeño 将内存区域紧密绑定到计算资源，而软件堆栈足够智能以利用这种局部性。
这意味着模型状态，包括在生成响应时使用的 KV 缓存，被明确放置并保持在本地，同时系统激活适合每个推理阶段的计算、内存和网络的正确组合。网络是架构的核心，使整个工作负载保持在一个连接的系统内。
根据 OpenAI 的说法，结果是一个平衡的、多功能的加速器，旨在适应不断变化的模型架构。它在预填充和解码阶段表现出色，并动态调整以应对代理工作负载的波动需求。
关于使用 AI 构建可以由 AI 编程的芯片
OpenAI 提到的九个月的 tape-out 里程碑是通过使用 AI 设计芯片本身实现的。AI 驱动的工作流程加速了实施探索，缩短了设计、测量和验证周期，并使模型工作负载的持续迭代成为可能。
在他的简报中，Ho 表示 Jalapeño 是 AI 辅助硬件设计的一个例子。OpenAI 使用早期的生成模型来协助芯片设计和启动，现在正在使用其最新模型来加速软件优化和内核调优。根据 Ho 的说法，AI 对算术电路优化和在芯片上集成更多计算都有贡献。
他指出，团队能够在大约两个月内在 Jalapeño 上启动三个独立的 LLM，这一时间线被他视为架构可编程性和 AI 辅助工作流程有效性的证据。
在不出现热节流的情况下达到屋顶性能
在他的简报中，Ho 讨论了计算、内存带宽和网络之间的平衡，以便在不出现热节流的情况下接近屋顶性能。他表示，热量和功率显然是平衡过程的一部分，而 Jalapeño 芯片的目标是每个加速器约 700 瓦，这虽然具有挑战性，但仍在现代数据中心冷却解决方案的范围内。
Ho 还强调，该系统旨在避免工程师在高端 GPU 部署中习惯的那种功率驱动的节流。
“它不会出现热节流。几乎没有热节流，因为它是平衡的。它的功率约为 700 瓦，因此完全在大多数冷却解决方案的范围内。”
路线图，部署
Ho 重申，Jalapeño 不是一次性项目，而是多代路线图中的第一代。他表示第二代已经在深入开发中，第三代正在 “成型”。每一代都建立在团队所学的基础上，旨在进一步提高效率和速度。
关于部署，OpenAI 计划在今年年底开始小规模推出，预计在 2027 年进行更大规模的推广。Jalapeño 将与 Nvidia 硬件和 OpenAI 车队中的其他设备共存。在短期内，Ho 预计 Jalapeño 对于低延迟推理特别具有吸引力，例如超响应的代码生成和其他交互式工作负载，在这些场景中，减少数据移动、内存亲和性和高带宽的组合可以得到充分利用。
Ho 还强调，外部销售并不是 Jalapeño 芯片的重点。OpenAI 自身的计算需求增长迅速，仅满足内部需求将在可预见的未来消耗掉产能。
这一点在 OpenAI 首席财务官 Sarah Friar 本周的一篇博客中也得到了强调：她表示，尽管微软的计算和 Nvidia 的芯片是 OpenAI 增长的基础，但其依赖的芯片和供应商组合还包括 AWS、AMD、Broadcom、Cerebras、CoreWeave、Oracle、SB Energy 和 SoftBank。
“我们积极管理这个组合，以兼顾能力和经济性。我们在能力最重要的地方使用高端系统，而在规模和成本更重要的地方优化效率，” 她在帖子中说。“在供应商、硬件和部署模型之间保持可信的选择，让我们能够将需求引导到每美元最佳性能的方向，随着市场条件的变化保持定价纪律，并在更强大的技术出现时与前沿同步。直接控制增加了杠杆作用，在更紧密的集成可以改善整个系统的地方。我们在生态系统帮助我们更快发展的地方合作，在共同设计创造有意义优势的地方进行建设。”
这是一种平衡的说法，正如更广泛的超大规模计算公司一样，他们都需要如此多的 AI 计算来满足需求，因此在短期到中期内，所有选项都是开放的并且是必要的。因此，他们不会立即取代 GPU 的现有产品。但随着每个人都在开发自己的 ASIC 和定制芯片，可能会有一个时刻，当功率/性能的权衡推动某个解决方案超越临界点，成为首选方法。
另请阅读：
OpenAI 硬件负责人：‘AI 扩展法则将继续’
NXP 扩展工业端点访问，采用 MCU 拓扑发现
Andes Condor 关闭是在更广泛的削减成本努力中进行的
人工智能与大数据，芯片组，半导体，系统级芯片
OPENAI