Envoy AI Gateway 达到 v1.0，确立了企业 AI 流量的开源标准

得益于 Bloomberg、Nutanix 和 Tetrate 的贡献，v1.0 为基于同一代理的 AI 工作负载提供了生产级路由、治理和可扩展性，该代理受到 Databricks、Google、Lyft、Netflix、Spotify 等众多公司的信任。

, /PRNewswire/ -- Tetrate，Envoy 开源项目的主要上游贡献者以及企业级 AI 网关的领导者，今天宣布发布 Envoy AI Gateway 的 v1.0 版本，这是第一个基于云原生计算基金会 Envoy Gateway 项目构建的开源 AI 网关。v1.0 里程碑标志着该项目的生产成熟度，并反映了 Bloomberg、Nutanix、Tetrate 及更广泛的 Envoy 社区的贡献。

继续阅读

全球领先的应用网络和安全平台

Envoy AI Gateway

经过 Tetrate、Bloomberg 和 Nutanix 在实际工作负载中的使用，生产稳定的 Envoy AI Gateway 已为生产使用进行了强化，提供了一个满足企业工作负载需求的开源解决方案。

Envoy：互联网规模流量的标准 Envoy 于 2015 年在 Lyft 创建，近十年来一直在生产中使用。到 2016 年 9 月，Envoy 在 Lyft 的基础设施上每秒处理超过 200 万次请求，如今每天处理数百万次机器学习预测。Netflix 每天处理数十亿次 API 请求，而 Airbnb 每秒处理超过 100 万个用户事件，这两个组织都依赖 Envoy 进行关键任务流量管理。目前至少 44% 的企业在生产环境中使用 Envoy 或正在评估 Envoy，包括 AWS、Docker、SAP、Atlassian 和 LY Corporation。领先的 AI 提供商如 Databricks、Google、Lyft、Netflix 和 Spotify 已记录了他们对 Envoy 在大规模管理 AI 推理流量中的依赖。

Envoy AI Gateway 在此经过验证的生产基础上扩展，原生支持代理流量。Envoy 成为互联网流量的标准，而 Envoy AI Gateway 则是其针对 AI 工作负载的现代适配，带来了同样的可靠性、可扩展性和治理，以满足新一类基础设施需求。

v1.0：得到行业合作伙伴支持的重要里程碑 v1.0 的开发始于 Bloomberg 通过 Envoy Gateway 社区提出的努力，旨在解决其自身的挑战：以与 Envoy 相同的可靠性和治理路由生成性 AI 工作负载。该项目于 2025 年 2 月首次发布。在过去的 16 个月中，Tetrate、Bloomberg、Nutanix 和开源社区之间的持续合作产生了一个成熟、稳定的代码库，准备广泛采用。

在 Bloomberg，Envoy AI Gateway 已投入生产，证明了可供社区使用的相同开源代码足够稳定和可扩展，以支持要求苛刻的企业工作负载。

"我们认为 Envoy AI Gateway 是标准化企业安全可靠地服务 AI 工作负载的关键元素，"Envoy AI Gateway 和 KServe 的联合创始人/维护者 Dan Sun 表示。"Bloomberg 的工程师为这个项目做出了数百次贡献，体现了我们公司对可扩展、开源 AI 基础设施的承诺，这种基础设施为 AI 推理提供了供应商中立性、一致性、可观察性和控制。"

"Envoy 已成为全球最苛刻组织互联网流量的基础层。随着 v1.0 的发布，Envoy AI Gateway 将同样的信任带入 AI 工作负载，"Tetrate 的联合创始人兼首席技术官 Varun Talwar 表示。"公共代码库中的代码与 Bloomberg 和 Tetrate 在生产中运行的代码相同。这种透明度在开源中是罕见的，而这是企业在扩展 AI 时所需要的。"

Nutanix 正在将 Envoy AI Gateway 投入生产，包括修复 bug 等。该公司正在将该项目纳入其 Nutanix Agent Gateway 和 Nutanix Enterprise AI 解决方案中。

"Nutanix 自豪地成为 Envoy AI Gateway 社区的维护者和积极贡献者，帮助将支持企业互联网流量的透明度和生产级可靠性带入下一波 AI 工作负载，"Nutanix 的首席 AI 官 Debo Dutta 表示。"我们正在利用该项目的能力，为我们的客户提供透明的多供应商灵活性和生产就绪的 AI 基础设施。"

"在 LY Corporation，我们利用 Envoy AI Gateway 来管理我们的多租户、自托管的 LLM 流量，"LY Corporation 的 AI 基础设施首席架构师 Shingo Omura 表示。

"它提供了一个统一的 API，用于灵活路由、基于令牌的速率限制、身份验证和授权、监控和可扩展性，符合 Kubernetes Gateway API 推理扩展等开放标准。这使我们能够最大化 LLM 平台的运营效率。我们认为版本 1.0 是生产级 AI 基础设施工程的重要里程碑。"

v1.0 中的新功能得益于来自不同组织和用例的工程师之间的开源社区协作：

跨所有主要 AI 提供商的统一 API — 在 OpenAI、Anthropic（直接、AWS Bedrock 和 GCP Vertex）、Google Gemini、Azure OpenAI、AWS Bedrock 以及众多 OpenAI 兼容提供商（Groq、Together、Mistral、Cohere、DeepSeek、SambaNova）前面提供单一的 OpenAI 兼容接口。

代理时代的原生 MCP 网关 — 生产级模型上下文协议路由 — 在单个端点后进行服务器复用，使用包含/排除规则的工具过滤，OAuth 2.0 与 JWT 声明转发到后端，基于 CEL 的细粒度授权，以及每个工具的可观察性。

基于令牌的流量管理 — 理解 AI 工作负载的速率限制、预算和配额 — 输入、输出、缓存和推理令牌的独立成本归属；具有车队范围默认值的路由范围成本；配额感知路由原语（QuotaPolicy API）以绕过速率限制的上游。

集中式上游凭证管理 — 每个提供商的认证故事的一个控制平面 — OpenAI、Anthropic、Azure 的 API 密钥；AWS SDK 默认凭证链（IRSA、EKS Pod 身份、实例配置文件）。

AI 原生可观察性 — OpenInference 分布式追踪和 OpenTelemetry GenAI 语义约定，涵盖聊天、嵌入、图像生成、音频、MCP 和推理端点。

稳定的 v1 API 接口 — AIGatewayRoute、AIServiceBackend、BackendSecurityPolicy、GatewayConfig、MCPRoute 和 MCPRouteSecurityPolicy 升级到 v1 — 由 Tetrate、Bloomberg 和 Nutanix 在真实工作负载中强化的生产稳定 CRD。

Envoy AI Gateway 路线图包括社区成员正在为下一个版本开发的功能：

基于美元的控制，而不仅仅是令牌 — 超越令牌计数的成本治理，达到实际支出限制。

更深入的 MCP 授权和身份 — 持续投资于代理基础设施，包括 MCP 的后端安全策略，支持在连接到 MCP 后端时进行 OIDC 令牌交换，以及跨工具、资源和提示的更细粒度策略。

与代理 AI 生态系统的更紧密对齐 — 加强与前沿模型提供者和更广泛的代理 AI 社区的合作，以确保 Envoy AI Gateway 仍然是 AI 流量的开放标准。

开始参与，加入我们 Envoy AI Gateway 社区邀请更广泛的参与，因为该项目进入下一个增长阶段。鼓励组织贡献扩展、治理政策和新集成。

• 访问项目网站并下载 Envoy AI Gateway。
• 按照 Envoy AI Gateway 安装指南开始使用。
• 访问 Bloomberg 的开源和开源项目页面。
• 在此访问 Nutanix 的网关博客。

关于 Envoy AI Gateway Envoy AI Gateway 扩展了 CNCF 的 Envoy Gateway，原生支持生成 AI 流量，提供路由、故障转移、可观察性和合规性功能。该项目由社区驱动，并在 CNCF 旗下开源。了解更多信息，请访问 aigateway.envoyproxy.io。

关于 Tetrate Tetrate 是 Envoy 项目的主要上游贡献者，也是其技术发展的领导者。Tetrate 通过提供 AI 操作中的可信连接，促进安全、快速和盈利的 AI 转型。作为 Envoy 和 Envoy AI Gateway 的推动力，Tetrate 基于经过验证的开源基础构建解决方案，以满足受监管行业和政府组织的需求。Tetrate 的 Agent Router Enterprise 基于 Envoy AI Gateway，为企业提供运行 Envoy AI Gateway 所需的标准、保护措施和评估指标，具备全面的治理、故障转移和优化能力。这就是为什么一些最大的金融机构、政府和其他企业依赖 Tetrate 提供现代应用网络和安全。了解更多信息，请访问 tetrate.io。

媒体联系人： Cristin Connelly

Cathey.co for Tetrate

[email protected]

来源 Tetrate