我是 LongbridgeAI，我可以總結文章信息。OpenAI 公佈了其與博通和 Celestica 合作開發的定製 AI 加速器 “Jalapeño” 的首次基準測試。該芯片針對大型語言模型，能夠實現每瓦特 1.5-1.9 倍的工作量，並且在性能上比可比系統高出最多 4.1 倍，主要通過緊密的內存計算協同設計來最小化數據移動。該芯片從零開始設計，沒有遺留 GPU 的限制，為內部和外部模型提供了高吞吐量和低延遲
//php echo do_shortcode('[responsivevoice_button voice="US English Male" buttontext="收聽帖子"]') ?>
在本週的 Hot Chips 媒體簡報上，OpenAI 硬件副總裁 Richard Ho 揭示了其專為大型語言模型（LLMs）設計的全新 ASIC 的首次基準測試結果。該公司的內部 “Jalapeño” 加速器與博通和天弘科技合作開發，旨在同一架構中實現高吞吐量和低延遲，同時解決 Ho 所稱的現代 AI 系統中的真正敵人：數據移動。
OpenAI 在六月宣佈了這款芯片，表示它是從零開始為當前和未來的行業 LLMs 構建的，設計到生產歷時九個月（這一過程本身也因 OpenAI 的模型而加速）。
本週，該公司透露，芯片及其周邊系統的測試顯示出顯著的性能提升，Jalapeño 在每單位功耗下處理更多的 AI 工作，同時響應速度更快。OpenAI 在一份官方聲明中表示：“Jalapeño 在同一架構下提供更高的吞吐量和更低的延遲，而現有硬件系統往往需要在兩者之間做出權衡。”
為了量化 Jalapeño 的優勢，Ho 在簡報中表示，OpenAI 藉助 InferenceX，這是來自 SemiAnalysis 的公共基準，測量 AI 請求的完整服務路徑。在三個模型上——OpenAI 自己的 GPT-OSS-120B，以及外部模型如 Kimi K2.5 1T 和 DeepSeek R1 670B——OpenAI 報告稱 Jalapeño 芯片提供：
- 在峯值吞吐量下，相比於 InferenceX 上列出的可比系統，提供 1.5 到 1.9 倍的每瓦 AI 工作量。
- 1.7 到 3.6 倍的端到端延遲更低。
- 對於高度交互的工作負載，性能比可比系統高出 2.1 到 4.1 倍。
Ho 還指出了一個方法論的細微差別：OpenAI 報告的是單標記預測（STP）性能，而不包括投機性多標記預測（MTP）解碼，而許多公共數據包括了該優化。
“我們的數據沒有投機解碼。所謂的 STP，意味着進行單標記預測，而你在外面看到的一些數據實際上是多標記預測，這本質上導致了大約三到五倍的提升，” Ho 説。“所以，我們的單標記預測實際上與其他芯片的多標記預測相當或更好。”
在比較架構時，他表示這一區別很重要。OpenAI 表示 Jalapeño 在開啓激進的、可能對模型敏感的推理優化之前就已經具有競爭力。
不僅僅是一個改造的 GPU；它是一個通用處理器，用於 AI 工作負載
在本週的簡報中，Richard Ho 強調新芯片不是一個改造的舊 GPU，而是一個從零開始專門為變換器工作負載量身定製的 AI 加速器。它圍繞緊密的內存計算協同設計，支撐着一個多代產品路線圖。他還重申，正如六月的公告中所述，他們利用 AI 加速了 Jalapeño 芯片的開發。
“我們基本上是從一張白紙開始的，” Ho 説。“我們進來後查看了 LLM 模型，找到了瓶頸所在，內循環在哪裏，以及發生了什麼，我認為我們可能是第一個真正從零開始進行大規模芯片設計的團隊，沒有遺留架構，也沒有必須支持的遺留編程模型。”
最終結果是一個通用的 AI 工作負載加速器，而不是僅僅針對 OpenAI 自己模型的狹窄調優。在基準測試中，他強調 Jalapeño 運行內部和外部/開放模型，突顯其作為一個靈活平台，而不是單一模型引擎。
數據移動是一個關鍵瓶頸
Ho 補充説，LLM 計算中的決定性問題不僅僅是峯值 TFLOPs，而是需要移動多少數據，以及移動多遠。
“數據移動至關重要，” 他説，這成為架構的起點。“如果你被迫將數據移動到不同的核心，這會消耗大量時間和能量。因此，我們設計了一種最小化這一點的架構。HBM 銀行和核心之間有緊密的親和性，因此如果你能夠在編程模型中利用這一點，那麼你就能獲得很多好處。”
HBM 銀行和計算核心之間的這種 “親和性” 是一個關鍵設計點。Jalapeño 將內存區域緊密綁定到計算資源，而軟件堆棧足夠智能以利用這種局部性。
這意味着模型狀態，包括在生成響應時使用的 KV 緩存，被明確放置並保持在本地，同時系統激活適合每個推理階段的計算、內存和網絡的正確組合。網絡是架構的核心，使整個工作負載保持在一個連接的系統內。
根據 OpenAI 的説法，結果是一個平衡的、多功能的加速器，旨在適應不斷變化的模型架構。它在預填充和解碼階段表現出色，並動態調整以應對代理工作負載的波動需求。
關於使用 AI 構建可以由 AI 編程的芯片
OpenAI 提到的九個月的 tape-out 里程碑是通過使用 AI 設計芯片本身實現的。AI 驅動的工作流程加速了實施探索，縮短了設計、測量和驗證週期，並使模型工作負載的持續迭代成為可能。
在他的簡報中，Ho 表示 Jalapeño 是 AI 輔助硬件設計的一個例子。OpenAI 使用早期的生成模型來協助芯片設計和啓動，現在正在使用其最新模型來加速軟件優化和內核調優。根據 Ho 的説法，AI 對算術電路優化和在芯片上集成更多計算都有貢獻。
他指出，團隊能夠在大約兩個月內在 Jalapeño 上啓動三個獨立的 LLM，這一時間線被他視為架構可編程性和 AI 輔助工作流程有效性的證據。
在不出現熱節流的情況下達到屋頂性能
在他的簡報中，Ho 討論了計算、內存帶寬和網絡之間的平衡，以便在不出現熱節流的情況下接近屋頂性能。他表示，熱量和功率顯然是平衡過程的一部分，而 Jalapeño 芯片的目標是每個加速器約 700 瓦，這雖然具有挑戰性，但仍在現代數據中心冷卻解決方案的範圍內。
Ho 還強調，該系統旨在避免工程師在高端 GPU 部署中習慣的那種功率驅動的節流。
“它不會出現熱節流。幾乎沒有熱節流，因為它是平衡的。它的功率約為 700 瓦，因此完全在大多數冷卻解決方案的範圍內。”
路線圖，部署
Ho 重申，Jalapeño 不是一次性項目，而是多代路線圖中的第一代。他表示第二代已經在深入開發中，第三代正在 “成型”。每一代都建立在團隊所學的基礎上，旨在進一步提高效率和速度。
關於部署，OpenAI 計劃在今年年底開始小規模推出，預計在 2027 年進行更大規模的推廣。Jalapeño 將與 Nvidia 硬件和 OpenAI 車隊中的其他設備共存。在短期內，Ho 預計 Jalapeño 對於低延遲推理特別具有吸引力，例如超響應的代碼生成和其他交互式工作負載，在這些場景中，減少數據移動、內存親和性和高帶寬的組合可以得到充分利用。
Ho 還強調，外部銷售並不是 Jalapeño 芯片的重點。OpenAI 自身的計算需求增長迅速，僅滿足內部需求將在可預見的未來消耗掉產能。
這一點在 OpenAI 首席財務官 Sarah Friar 本週的一篇博客中也得到了強調：她表示，儘管微軟的計算和 Nvidia 的芯片是 OpenAI 增長的基礎，但其依賴的芯片和供應商組合還包括 AWS、AMD、Broadcom、Cerebras、CoreWeave、Oracle、SB Energy 和 SoftBank。
“我們積極管理這個組合，以兼顧能力和經濟性。我們在能力最重要的地方使用高端系統，而在規模和成本更重要的地方優化效率，” 她在帖子中説。“在供應商、硬件和部署模型之間保持可信的選擇，讓我們能夠將需求引導到每美元最佳性能的方向，隨着市場條件的變化保持定價紀律，並在更強大的技術出現時與前沿同步。直接控制增加了槓桿作用，在更緊密的集成可以改善整個系統的地方。我們在生態系統幫助我們更快發展的地方合作，在共同設計創造有意義優勢的地方進行建設。”
這是一種平衡的説法，正如更廣泛的超大規模計算公司一樣，他們都需要如此多的 AI 計算來滿足需求，因此在短期到中期內，所有選項都是開放的並且是必要的。因此，他們不會立即取代 GPU 的現有產品。但隨着每個人都在開發自己的 ASIC 和定製芯片，可能會有一個時刻，當功率/性能的權衡推動某個解決方案超越臨界點，成為首選方法。
另請閲讀：
OpenAI 硬件負責人：‘AI 擴展法則將繼續’
NXP 擴展工業端點訪問，採用 MCU 拓撲發現
Andes Condor 關閉是在更廣泛的削減成本努力中進行的
人工智能與大數據，芯片組，半導體，系統級芯片
OPENAI