我是 LongbridgeAI，我可以總結文章信息。五眼聯盟的信息安全機構發佈了關於自主智能（agentic AI）的指導，警告其潛在風險並建議謹慎採用。該文件強調，自主智能系統在關鍵領域的使用日益增加，可能會出現不當行為並加劇現有的脆弱性。它建議組織實施強有力的安全控制，並逐步採用自主智能，重點關注低風險任務，同時確保強有力的治理和人類監督。該指導強調了進行全面測試的必要性，以及解決與自主智能相關的獨特安全漏洞的重要性
來自五眼安全聯盟國家的信息安全機構共同撰寫了一份關於代理人工智能使用的指導，警告該技術可能會出現不當行為，並放大組織現有的脆弱性，因此建議謹慎和緩慢地採用該技術。
這些機構在上週五發布了一份名為《謹慎採用代理人工智能服務 [PDF]》的指南，開頭指出 “代理人工智能（AI）系統越來越多地在關鍵基礎設施和國防領域運作，並支持任務關鍵能力”，因此 “對防禦者來説，實施安全控制以保護國家安全和關鍵基礎設施免受代理人工智能特定風險至關重要。”
在安全實踐、評估方法和標準成熟之前，組織應假設代理人工智能系統可能會出現意外行為。
該文件的核心觀點是，實施代理人工智能將需要使用許多組件、工具和外部數據源，形成一個 “互聯的攻擊面，惡意行為者可以利用這一點。”
“因此，代理人工智能系統中的每個單獨組件都會擴大攻擊面，使系統暴露於額外的利用途徑，” 文件警告道。
為了説明代理人工智能所帶來的風險，文件提供了一個例子：一個被賦予安裝軟件補丁權限的人工智能代理，因被無意中授予廣泛的寫入訪問權限而導致以下不良結果：
這裏還有另一個文件用作警告的糟糕代理人工智能案例：
- 一個組織部署代理人工智能來自主管理採購審批和供應商溝通，並給予代理訪問財務系統、電子郵件和合同庫的權限；
- 該用户在部署代理時只考慮了代理的權限；
- 隨着時間的推移，其他代理依賴於採購代理的輸出，並隱含信任其行為；
- 一名惡意行為者破壞了集成到代理工作流程中的低風險工具，並繼承了代理的過度權限；
- 攻擊者利用該特權訪問修改合同並批准未經授權的付款，並通過創建偽造的審計日誌來規避檢測，這些日誌不會觸發警報。
- 在 CISA 關閉聯邦網絡上的 Firestarter 後，政府高度警惕
- 五眼警告：修補你的 Cisco SD-WAN，否則面臨根接管風險
- 澳大利亞警方正在構建 AI 來翻譯 “犯罪影響者” 使用的表情符號
- 五眼信息安全機構列出 2023 年最常被利用的軟件漏洞
澳大利亞信號局和網絡安全中心（ASD 的 ACSC）為該文件做出了貢獻，與美國網絡安全和基礎設施安全局（CISA）和國家安全局（NSA）、加拿大網絡安全中心（Cyber Centre）、新西蘭國家網絡安全中心（NCSC-NZ）以及英國國家網絡安全中心（NCSC-UK）合作。
該文件包含更多可怕的故事，然後列出了 23 種不同的風險和 100 多項最佳實踐來應對這些風險。
大部分建議針對部署 AI 的開發者，但作者也敦促供應商確保他們徹底測試其產品，並確保其產品 “在不確定情況下默認安全失敗，要求代理停止並將問題升級給人類審查者。”
該文件還敦促安全從業者和研究人員花更多時間思考 AI。
“代理人工智能系統的威脅情報仍在發展，這可能會引入顯著的安全漏洞，” 文件警告道，因為像開放網絡應用安全項目和 MITRE ATLAS 這樣的資源目前主要關注大型語言模型（LLMs）。“因此，一些獨特於代理人工智能的攻擊向量可能未被充分捕獲或解決。”
鑑於任何創建代理人工智能或考慮使用它的人都有一長串待辦事項，該文件主張非常謹慎地採用。
優先考慮彈性、可逆性和風險控制，而非效率提升。
“因此，組織在採用時應考慮安全，認識到增加的自主性會放大設計缺陷、配置錯誤和監督不全的影響，” 文件總結道。“逐步部署代理人工智能，從明確界定的低風險任務開始，並持續根據不斷演變的威脅模型進行評估。”
“強有力的治理、明確的問責制、嚴格的監控和人類監督不是可選的保障，而是必要的前提。在安全實踐、評估方法和標準成熟之前，組織應假設代理人工智能系統可能會出現意外行為，並相應地規劃部署，優先考慮彈性、可逆性和風險控制，而非效率提升。” ®