作者：趙雨荷
來源：硬 AI
英偉達週四推出用於加速生成式 AI 模型的部署的容器化微服務 Nvidia Inference Microservices（NIM），希望幫助企業提高人工智能代理的信任、安全和可靠性。
英偉達在一篇博客中表示，人工智能代理是一項正在迅速發展的技術，正逐步改變人們與計算機互動的方式，但也伴隨着諸多關鍵問題。智能化 AI（Agentic AI）有望革新知識工作者的任務執行方式，以及客户與品牌 “對話” 的方式，但其背後的大型語言模型仍可能出現不良反應，甚至在惡意用户試圖突破防護時引發安全問題。
英偉達表示，週四發佈的內容是基於其為開發者提供的保護框架 NeMo Guardrails 的擴展，旨在提高生成式人工智能應用的安全性、精確性和可擴展性。NeMo Guardrails 是英偉達 NeMo 平台的一部分，用於管理、定製和保護人工智能，幫助開發者在大型語言模型（LLM）應用中集成並管理 AI 防護措施。目前 Amdocs、Cerence AI 和 Lowe’s 正在使用 NeMo Guardrails 來保護 AI 應用。
英偉達發佈的 NIM 共有三種，分別涵蓋主題控制、內容安全和越獄保護。該公司表示，這些微服務是經過高度優化的小型輕量級 AI 模型，可通過調控大型模型的響應提升應用性能。
英偉達企業 AI 模型、軟件與服務副總裁 Kari Briski 表示。
<blockquote>
“其中一項用於調控內容安全的新微服務，是基於 Aegis 內容安全數據集訓練的。這是同類數據集中質量最高、由人工標註的數據源之一。” 
</blockquote>
Aegis 內容安全數據集由英偉達推出，包括超過 35,000 個由人工標註的樣本，用於檢測 AI 安全問題和試圖繞過系統限制的越獄行為。該數據集將在今年晚些時候於 Hugging Face 上公開發布。
例如，用於主題控制的 NIM 可防止 AI 代理 “過於健談” 或偏離其原本的任務目標，確保其保持在既定主題內。英偉達表示，與 AI 聊天機器人進行的對話時間越長，它越容易忘記對話的初衷，從而讓話題偏離軌道，類似於人類對話可能的漫談。雖然人類可以接受這種情況，但對於聊天機器人，尤其是品牌 AI 代理，偏離主題可能導致談論到名人或競爭產品，這對品牌不利。
Briski 表示，
<blockquote>
“像 NeMo Guardrails 系列中的小型語言模型，具有較低的延遲，專為資源受限或分佈式環境中的高效運行而設計，這使它們非常適合在醫療、汽車、製造等行業的醫院或倉庫等場景中擴展 AI 應用。”
</blockquote>
此外，NIM 允許開發者以最小的附加延遲疊加多個防護措施。英偉達表示，這對大多數生成式 AI 應用至關重要，因為用户不喜歡長時間等待，例如看到三點閃爍或轉圈加載動畫後才出現文本或語音。
英偉達表示，NIM 微服務以及用於軌道編排的 NeMo Guardrails 和 NVIDIA Garak 工具包，現在已經面向開發者和企業開放使用。開發者可以通過相關教程開始將 AI 防護措施集成到客户服務的 AI 代理中，利用 NeMo Guardrails 構建安全的 AI 應用。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/167ceae4-93d9-4b94-9def-22af17109ce4.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="416" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/167ceae4-93d9-4b94-9def-22af17109ce4.png"/>

英偉達

英偉達表示，AI 代理背後的大型語言模型可能出現不良反應，甚至在惡意用户試圖突破防護時引發安全問題。Nvidia Inference Microservices 是基於英偉達為開發者提供的保護框架 NeMo Guardrails 的擴展，旨在提高生成式人工智能應用的安全性、精確性和可擴展性。

- 英偉達推出 NIM 微服務，旨在提升生成式 AI 的信任與安全性。  
- NIM 包含主題控制、內容安全和越獄保護，優化 AI 應用性能。  
- Aegis 數據集將公開，包含 35,000 個樣本，用於檢測 AI 安全問題。  

華爾街見聞

華康潔淨

商湯-W

英偉達期權收益策略 ETF - YieldMax

新萊福

皓宸醫療

2 倍做多英偉達 ETF - GraniteShares

醫渡科技

瑞康醫藥

飛利信

科大訊飛

半導體 ETF - VanEck Vectors

Amdocs

海爾生物

半導體 3 倍做多 - Direxion

提升 AI 代理可靠性 英偉達推出容器化微服務 Inference Microservices

提升 AI 代理可靠性 英偉達推出容器化微服務 Inference Microservices

提升 AI 代理可靠性英偉達推出容器化微服務 Inference Microservices