提升 AI 代理可靠性 英偉達推出容器化微服務 Inference Microservices

作者：趙雨荷

來源：硬 AI

英偉達週四推出用於加速生成式 AI 模型的部署的容器化微服務 Nvidia Inference Microservices（NIM），希望幫助企業提高人工智能代理的信任、安全和可靠性。

英偉達在一篇博客中表示，人工智能代理是一項正在迅速發展的技術，正逐步改變人們與計算機互動的方式，但也伴隨着諸多關鍵問題。智能化 AI（Agentic AI）有望革新知識工作者的任務執行方式，以及客户與品牌 “對話” 的方式，但其背後的大型語言模型仍可能出現不良反應，甚至在惡意用户試圖突破防護時引發安全問題。

英偉達表示，週四發佈的內容是基於其為開發者提供的保護框架 NeMo Guardrails 的擴展，旨在提高生成式人工智能應用的安全性、精確性和可擴展性。NeMo Guardrails 是英偉達 NeMo 平台的一部分，用於管理、定製和保護人工智能，幫助開發者在大型語言模型（LLM）應用中集成並管理 AI 防護措施。目前 Amdocs、Cerence AI 和 Lowe’s 正在使用 NeMo Guardrails 來保護 AI 應用。

英偉達發佈的 NIM 共有三種，分別涵蓋主題控制、內容安全和越獄保護。該公司表示，這些微服務是經過高度優化的小型輕量級 AI 模型，可通過調控大型模型的響應提升應用性能。

英偉達企業 AI 模型、軟件與服務副總裁 Kari Briski 表示。

“其中一項用於調控內容安全的新微服務，是基於 Aegis 內容安全數據集訓練的。這是同類數據集中質量最高、由人工標註的數據源之一。”

Aegis 內容安全數據集由英偉達推出，包括超過 35,000 個由人工標註的樣本，用於檢測 AI 安全問題和試圖繞過系統限制的越獄行為。該數據集將在今年晚些時候於 Hugging Face 上公開發布。

例如，用於主題控制的 NIM 可防止 AI 代理 “過於健談” 或偏離其原本的任務目標，確保其保持在既定主題內。英偉達表示，與 AI 聊天機器人進行的對話時間越長，它越容易忘記對話的初衷，從而讓話題偏離軌道，類似於人類對話可能的漫談。雖然人類可以接受這種情況，但對於聊天機器人，尤其是品牌 AI 代理，偏離主題可能導致談論到名人或競爭產品，這對品牌不利。

Briski 表示，

“像 NeMo Guardrails 系列中的小型語言模型，具有較低的延遲，專為資源受限或分佈式環境中的高效運行而設計，這使它們非常適合在醫療、汽車、製造等行業的醫院或倉庫等場景中擴展 AI 應用。”

此外，NIM 允許開發者以最小的附加延遲疊加多個防護措施。英偉達表示，這對大多數生成式 AI 應用至關重要，因為用户不喜歡長時間等待，例如看到三點閃爍或轉圈加載動畫後才出現文本或語音。

英偉達表示，NIM 微服務以及用於軌道編排的 NeMo Guardrails 和 NVIDIA Garak 工具包，現在已經面向開發者和企業開放使用。開發者可以通過相關教程開始將 AI 防護措施集成到客户服務的 AI 代理中，利用 NeMo Guardrails 構建安全的 AI 應用。