Envoy AI Gateway 達到 v1.0，確立了企業 AI 流量的開源標準

得益於 Bloomberg、Nutanix 和 Tetrate 的貢獻，v1.0 為基於同一代理的 AI 工作負載提供了生產級路由、治理和可擴展性，該代理受到 Databricks、Google、Lyft、Netflix、Spotify 等眾多公司的信任。

, /PRNewswire/ -- Tetrate，Envoy 開源項目的主要上游貢獻者以及企業級 AI 網關的領導者，今天宣佈發佈 Envoy AI Gateway 的 v1.0 版本，這是第一個基於雲原生計算基金會 Envoy Gateway 項目構建的開源 AI 網關。v1.0 里程碑標誌着該項目的生產成熟度，並反映了 Bloomberg、Nutanix、Tetrate 及更廣泛的 Envoy 社區的貢獻。

繼續閲讀

全球領先的應用網絡和安全平台

Envoy AI Gateway

經過 Tetrate、Bloomberg 和 Nutanix 在實際工作負載中的使用，生產穩定的 Envoy AI Gateway 已為生產使用進行了強化，提供了一個滿足企業工作負載需求的開源解決方案。

Envoy：互聯網規模流量的標準 Envoy 於 2015 年在 Lyft 創建，近十年來一直在生產中使用。到 2016 年 9 月，Envoy 在 Lyft 的基礎設施上每秒處理超過 200 萬次請求，如今每天處理數百萬次機器學習預測。Netflix 每天處理數十億次 API 請求，而 Airbnb 每秒處理超過 100 萬個用户事件，這兩個組織都依賴 Envoy 進行關鍵任務流量管理。目前至少 44% 的企業在生產環境中使用 Envoy 或正在評估 Envoy，包括 AWS、Docker、SAP、Atlassian 和 LY Corporation。領先的 AI 提供商如 Databricks、Google、Lyft、Netflix 和 Spotify 已記錄了他們對 Envoy 在大規模管理 AI 推理流量中的依賴。

Envoy AI Gateway 在此經過驗證的生產基礎上擴展，原生支持代理流量。Envoy 成為互聯網流量的標準，而 Envoy AI Gateway 則是其針對 AI 工作負載的現代適配，帶來了同樣的可靠性、可擴展性和治理，以滿足新一類基礎設施需求。

v1.0：得到行業合作伙伴支持的重要里程碑 v1.0 的開發始於 Bloomberg 通過 Envoy Gateway 社區提出的努力，旨在解決其自身的挑戰：以與 Envoy 相同的可靠性和治理路由生成性 AI 工作負載。該項目於 2025 年 2 月首次發佈。在過去的 16 個月中，Tetrate、Bloomberg、Nutanix 和開源社區之間的持續合作產生了一個成熟、穩定的代碼庫，準備廣泛採用。

在 Bloomberg，Envoy AI Gateway 已投入生產，證明了可供社區使用的相同開源代碼足夠穩定和可擴展，以支持要求苛刻的企業工作負載。

"我們認為 Envoy AI Gateway 是標準化企業安全可靠地服務 AI 工作負載的關鍵元素，"Envoy AI Gateway 和 KServe 的聯合創始人/維護者 Dan Sun 表示。"Bloomberg 的工程師為這個項目做出了數百次貢獻，體現了我們公司對可擴展、開源 AI 基礎設施的承諾，這種基礎設施為 AI 推理提供了供應商中立性、一致性、可觀察性和控制。"

"Envoy 已成為全球最苛刻組織互聯網流量的基礎層。隨着 v1.0 的發佈，Envoy AI Gateway 將同樣的信任帶入 AI 工作負載，"Tetrate 的聯合創始人兼首席技術官 Varun Talwar 表示。"公共代碼庫中的代碼與 Bloomberg 和 Tetrate 在生產中運行的代碼相同。這種透明度在開源中是罕見的，而這是企業在擴展 AI 時所需要的。"

Nutanix 正在將 Envoy AI Gateway 投入生產，包括修復 bug 等。該公司正在將該項目納入其 Nutanix Agent Gateway 和 Nutanix Enterprise AI 解決方案中。

"Nutanix 自豪地成為 Envoy AI Gateway 社區的維護者和積極貢獻者，幫助將支持企業互聯網流量的透明度和生產級可靠性帶入下一波 AI 工作負載，"Nutanix 的首席 AI 官 Debo Dutta 表示。"我們正在利用該項目的能力，為我們的客户提供透明的多供應商靈活性和生產就緒的 AI 基礎設施。"

"在 LY Corporation，我們利用 Envoy AI Gateway 來管理我們的多租户、自託管的 LLM 流量，"LY Corporation 的 AI 基礎設施首席架構師 Shingo Omura 表示。

"它提供了一個統一的 API，用於靈活路由、基於令牌的速率限制、身份驗證和授權、監控和可擴展性，符合 Kubernetes Gateway API 推理擴展等開放標準。這使我們能夠最大化 LLM 平台的運營效率。我們認為版本 1.0 是生產級 AI 基礎設施工程的重要里程碑。"

v1.0 中的新功能得益於來自不同組織和用例的工程師之間的開源社區協作：

跨所有主要 AI 提供商的統一 API — 在 OpenAI、Anthropic（直接、AWS Bedrock 和 GCP Vertex）、Google Gemini、Azure OpenAI、AWS Bedrock 以及眾多 OpenAI 兼容提供商（Groq、Together、Mistral、Cohere、DeepSeek、SambaNova）前面提供單一的 OpenAI 兼容接口。

代理時代的原生 MCP 網關 — 生產級模型上下文協議路由 — 在單個端點後進行服務器複用，使用包含/排除規則的工具過濾，OAuth 2.0 與 JWT 聲明轉發到後端，基於 CEL 的細粒度授權，以及每個工具的可觀察性。

基於令牌的流量管理 — 理解 AI 工作負載的速率限制、預算和配額 — 輸入、輸出、緩存和推理令牌的獨立成本歸屬；具有車隊範圍默認值的路由範圍成本；配額感知路由原語（QuotaPolicy API）以繞過速率限制的上游。

集中式上游憑證管理 — 每個提供商的認證故事的一個控制平面 — OpenAI、Anthropic、Azure 的 API 密鑰；AWS SDK 默認憑證鏈（IRSA、EKS Pod 身份、實例配置文件）。

AI 原生可觀察性 — OpenInference 分佈式追蹤和 OpenTelemetry GenAI 語義約定，涵蓋聊天、嵌入、圖像生成、音頻、MCP 和推理端點。

穩定的 v1 API 接口 — AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy、GatewayConfig、MCPRoute 和 MCPRouteSecurityPolicy 升級到 v1 — 由 Tetrate、Bloomberg 和 Nutanix 在真實工作負載中強化的生產穩定 CRD。

Envoy AI Gateway 路線圖包括社區成員正在為下一個版本開發的功能：

基於美元的控制，而不僅僅是令牌 — 超越令牌計數的成本治理，達到實際支出限制。

更深入的 MCP 授權和身份 — 持續投資於代理基礎設施，包括 MCP 的後端安全策略，支持在連接到 MCP 後端時進行 OIDC 令牌交換，以及跨工具、資源和提示的更細粒度策略。

與代理 AI 生態系統的更緊密對齊 — 加強與前沿模型提供者和更廣泛的代理 AI 社區的合作，以確保 Envoy AI Gateway 仍然是 AI 流量的開放標準。

開始參與，加入我們 Envoy AI Gateway 社區邀請更廣泛的參與，因為該項目進入下一個增長階段。鼓勵組織貢獻擴展、治理政策和新集成。

• 訪問項目網站並下載 Envoy AI Gateway。
• 按照 Envoy AI Gateway 安裝指南開始使用。
• 訪問 Bloomberg 的開源和開源項目頁面。
• 在此訪問 Nutanix 的網關博客。

關於 Envoy AI Gateway Envoy AI Gateway 擴展了 CNCF 的 Envoy Gateway，原生支持生成 AI 流量，提供路由、故障轉移、可觀察性和合規性功能。該項目由社區驅動，並在 CNCF 旗下開源。瞭解更多信息，請訪問 aigateway.envoyproxy.io。

關於 Tetrate Tetrate 是 Envoy 項目的主要上游貢獻者，也是其技術發展的領導者。Tetrate 通過提供 AI 操作中的可信連接，促進安全、快速和盈利的 AI 轉型。作為 Envoy 和 Envoy AI Gateway 的推動力，Tetrate 基於經過驗證的開源基礎構建解決方案，以滿足受監管行業和政府組織的需求。Tetrate 的 Agent Router Enterprise 基於 Envoy AI Gateway，為企業提供運行 Envoy AI Gateway 所需的標準、保護措施和評估指標，具備全面的治理、故障轉移和優化能力。這就是為什麼一些最大的金融機構、政府和其他企業依賴 Tetrate 提供現代應用網絡和安全。瞭解更多信息，請訪問 tetrate.io。

媒體聯繫人： Cristin Connelly

Cathey.co for Tetrate

[email protected]

來源 Tetrate