我是 LongbridgeAI,我可以總結文章信息。CoreWeave 宣佈 NVIDIA Vera Rubin NVL72 系統和 Spectrum-X 網絡已投入生產使用,Cognition 成為首位客户。該基礎設施為 AI 智能體提供高達 4.8 倍的令牌吞吐量提升。此外,CoreWeave 推出了 NVIDIA Vera CPU,使智能體沙盒啓動速度加快 3 倍,併發布 CoreWeave Forge 以統一模型訓練和評估工作流
基於近十年的聯合工程設計,CoreWeave 已將英偉達的計算、網絡和軟件整合到一個專為 AI 打造的雲平台中,該平台在多代部署中持續實現投資回報。如今,CoreWeave 正將下一代英偉達基礎設施投入生產應用。
在本週於舊金山舉行的 CoreWeave Fully Connected 大會上,CoreWeave 宣佈推出配備 Spectrum-X 102.4T 以太網的 NVIDIA Vera Rubin NVL72 系統。Devin AI 軟件工程師背後的應用 AI 實驗室 Cognition 是首個在 Vera Rubin 上運行生產工作負載的客户。
CoreWeave 還將提供 NVIDIA Vera,這是首款專為 AI 智能體打造的 CPU。此外,CoreWeave 推出了 CoreWeave Forge,這是一個用於在英偉達加速計算上訓練、評估和改進模型及智能體的互聯環境。
“英偉達加速計算跨代交付價值,” 英偉達超算和高性能計算副總裁 Ian Buck 表示。“即使在 CoreWeave 將 Vera Rubin NVL72 投入生產之際,CoreWeave 的英偉達 V100 GPU 在 Volta 架構發佈近十年後仍在運行客户工作負載。這就是英偉達平台的優勢:基礎設施多年來持續創造價值,並且能夠靈活地將合適的 GPU 用於合適的工作負載。”
Cognition 在 Vera Rubin NVL72 上運行,令牌吞吐量提升 4.8 倍
Cognition 在 CoreWeave 上為 Devin 運行訓練、強化學習和生產推理。該公司在九個月內將 CoreWeave 上的 GPU 規模擴展到數千個,為 Cognition 的推理工作負載提供動力。
本月早些時候,CoreWeave 收到了其首批 Vera Rubin NVL72 生產機架。不久之後,Cognition 使用真實的軟件工程工作負載,將 Vera Rubin 的推理性能與 GB200 NVL72 基準進行了對比測試。為了生成此工作負載,它從 FrontierCode 中採樣了一部分任務,並部署 AI 智能體來解決這些問題。
在早期測試中,Cognition 發現 Vera Rubin NVL72 在 SWE-2 推理工作負載中的總令牌吞吐量比 GB200 NVL72 高出多達 4.8 倍。對於 Devin 而言,這些增益意味着更快的實時代碼生成和更響應的多步推理。
“智能體編碼是一項複雜的工作負載:長上下文、高併發和令牌量,其中每令牌成本決定了我們可以發佈什麼,” Cognition 創始團隊成員 Silas Alberti 表示。“將所有內容放在一個平台上,並與英偉達和 CoreWeave 的工程師一起解決難題,這對我們來説比任何單一規格都更重要。”
CoreWeave 宣佈在 CoreWeave Cloud 上提供 NVIDIA Vera Rubin
CoreWeave 宣佈在 CoreWeave Cloud 上提供 NVIDIA Vera Rubin NVL72,使其成為首批將該平台交付到客户手中的雲提供商之一。
早期訪問客户可以在 CoreWeave Cloud 上快速利用英偉達全棧 AI 工廠平台的性能。憑藉英偉達和 CoreWeave 從基礎設施到令牌服務的全棧協同設計與合作,CoreWeave 在幾天內就為 Cognition 建立了一個生產級 Vera Rubin 集羣。
容量可以通過 CoreWeave Kubernetes Service、SUNK、CoreWeave Mission Control、CoreWeave Sandboxes 和 CoreWeave Inference 進行操作。
NVIDIA Vera CPU 即將登陸 CoreWeave Cloud,測試顯示智能體沙盒啓動速度提升超過 3 倍
智能體 AI 從兩個方向對基礎設施施加壓力:服務智能體需要大規模的低延遲計算,而通過後期訓練改進智能體則需要同時運行數千個隔離環境。
NVIDIA Vera CPU 專為智能體工作負載打造。對於智能體 AI,關鍵的性能指標是可以同時運行多少個隔離的智能體環境,以及隨着數量增加,每個環境保持一致性和高性能的能力。
CoreWeave 的 Vera 部署在一個機架中放置了 128 個 CPU 和 11,264 個核心,足以支持每個核心一個環境的超過 11,000 個併發環境。藉助 CoreWeave Sandboxes,這些環境在硬件上是隔離的,並與它們支持的訓練任務並行運行,Spectrum-X 以太網交換機和 BlueField-4 DPU 確保了安全、高性能且低延遲的智能體通信。
在測試中,CoreWeave 在 NVIDIA Vera CPU 上實現了超過 3 倍的智能體沙盒啓動速度提升,加速並擴展了其沙盒能力。沙盒是強化學習 (RL)、智能體工具使用和模型評估的執行層,讓 AI 團隊能夠在 CoreWeave 上的隔離環境中運行代碼。在 Terminal-Bench 測試中,CoreWeave 在所有通過的任務中看到 Vera CPU 的性能提升了 1.7 倍。
CoreWeave Forge:完成從生產到訓練的 AI 閉環
模型和智能體通過運行一個循環來改進:生產行為為下一次訓練運行提供依據,每次評估都讓下一個版本更加精進。歷史上,這個循環分散在不同供應商的工具中,信號在每次交接中都會丟失。
CoreWeave Forge 將 Weights & Biases、OpenPipe 的後期訓練專業知識以及開源 marimo notebook 項目統一在一個專為持續改進模型和智能體而建的互聯環境中。它在模型、框架和雲之間保持開放。
新增和擴展的功能包括:
- CoreWeave ARIA——現已全面上市——幫助用户在 AI 循環中學習、研究、編碼和迭代,分析運行結果,提出實驗建議,推薦代碼更改並將其存儲在 GitHub 中,並帶回可操作的證據,分析實驗數據,揭示驅動變化的因素並提出下一步要運行的實驗。
- CoreWeave Agent Lens——一項新服務——將生產智能體的可觀測性轉化為持續改進和易於理解的洞察。它將故障檢測率提高了 20%,並以一半的成本解決問題,從而將數千萬條生產智能體追蹤記錄轉化為推動修復的洞察。
- CoreWeave Sandboxes——現已全面上市——讓用户能夠在隔離的 CPU 或 GPU 執行環境中運行智能體、工具調用、RL 和評估,無論是在無服務器基礎設施上還是在他們已有的訓練基礎設施上,為每次智能體工具調用、RL 運行或評估提供全新的隔離環境。
- 後期訓練提高模型質量並降低延遲和成本,利用用户自己的生產信號,無需訓練集羣。無服務器監督微調和無服務器 RL 讓用户可以嘗試自己的訓練配方。與自管理設置相比,無服務器 RL 的訓練速度快 1.4 倍,成本低 40%。
NVIDIA Dynamo 是一個用於 AI 工廠的開源推理框架,它為 CoreWeave 的託管推理服務以及目前處於私人預覽階段的 RL Rollouts 提供動力。RL Rollouts 在運行時將新的檢查點加載到實時部署中,因此強化學習可以在不重新部署的情況下繼續進行,後期訓練獲得與生產環境相同的推理效率。
Canva、Capital One 和 MasterClass 是最早在 Forge 上構建的公司之一。
NVIDIA Nemotron 開放模型為 Forge 上的團隊提供了定製和部署用於智能體工作流的推理和多模態模型的直接途徑。
從初創公司到全球企業的顯著影響
AI 實驗室、AI 原生企業和全球企業正在使用聯合設計的英偉達和 CoreWeave 平台,更快地從原型走向生產。
在醫療保健領域,Ennoble Care 是一家為 15 個州約 50,000 名高需求 Medicare 患者提供居家護理的服務提供商,它選擇 CoreWeave 來運行臨牀 AI 推理。它將使用 CoreWeave Kubernetes Service 上的預留 NVIDIA RTX PRO 6000 GPU 容量,為臨牀文檔、決策支持和後台自動化擴展 AI 智能體。
CoreWeave 在每一輪訓練和推理中都取得了創紀錄的 MLPerf 結果。它是唯一一家在 SemiAnalysis ClusterMAX 1.0、2.0 和 3.0 中保持鉑金排名的雲提供商,併為十大領先 AI 實驗室中的九家提供服務。
英偉達和 CoreWeave 共同為客户提供了一個平台,將實驗性智能體轉化為編寫軟件、支持臨牀醫生並在現實世界中完成有用工作的生產系統。
參加 CoreWeave Fully Connected 上的英偉達會議、演示和研討會以瞭解更多信息。
