<p>來自五眼安全聯盟國家的信息安全機構共同撰寫了一份關於代理人工智能使用的指導，警告該技術可能會出現不當行為，並加劇組織現有的脆弱性，因此建議謹慎和緩慢地採用該技術。</p>
<p>這些機構在上週五發布了一份名為《謹慎採用代理人工智能服務 [PDF]》的指南，開篇指出 “代理人工智能（AI）系統越來越多地在關鍵基礎設施和國防領域運作，並支持任務關鍵能力”，因此 “對於防禦者來説，實施安全控制以保護國家安全和關鍵基礎設施免受代理人工智能特定風險至關重要。”</p>
<blockquote>
<p>在安全實踐、評估方法和標準成熟之前，組織應假設代理人工智能系統可能會表現出意外行為。</p>
</blockquote>
<p>該文件的核心觀點是，實施代理人工智能將需要使用許多組件、工具和外部數據源，從而創建一個 “互聯的攻擊面，惡意行為者可以利用這一點。”</p>
<p>“因此，代理人工智能系統中的每個單獨組件都會擴大攻擊面，使系統暴露於額外的利用途徑，” 文件警告道。</p>
<p>為了説明代理人工智能所帶來的風險，文件提供了一個例子：一個被賦予安裝軟件補丁權限的 AI 代理，因被無意中賦予廣泛的寫入訪問權限而導致以下不良後果：</p>
<p>這裏還有另一個文件用作警告的糟糕代理案例：</p>
<ul>
<li>一個組織部署代理人工智能來自主管理採購審批和供應商溝通，並給予代理訪問財務系統、電子郵件和合同存儲庫的權限；</li>
<li>該用户在部署代理時僅考慮了代理的權限；</li>
<li>隨着時間的推移，其他代理依賴於採購代理的輸出，並隱含信任其行為；</li>
<li>一個惡意行為者利用集成到代理工作流程中的低風險工具進行攻擊，並繼承了代理過於寬鬆的權限；</li>
<li>攻擊者利用這種特權訪問修改合同並批准未經授權的付款，並通過創建偽造的審計日誌來規避檢測，這些日誌不會觸發警報。</li>
</ul>
<ul>
<li>在 CISA 消滅聯邦網絡上的 Firestarter 後，政府高度警惕</li>
<li>五眼警告：修補你的 Cisco SD-WAN，否則面臨根接管風險</li>
<li>澳大利亞警方正在構建 AI 來翻譯 “犯罪影響者” 使用的表情符號</li>
<li>五眼信息安全機構列出 2023 年最常被利用的軟件漏洞</li>
</ul>
<p>澳大利亞信號局和網絡安全中心（ASD 的 ACSC）為該文件做出了貢獻，與美國網絡安全和基礎設施安全局（CISA）和國家安全局（NSA）、加拿大網絡安全中心（Cyber Centre）、新西蘭國家網絡安全中心（NCSC-NZ）以及英國國家網絡安全中心（NCSC-UK）合作。</p>
<p>該文件包含更多令人恐懼的故事，並列出了 23 種不同的風險和 100 多項最佳實踐來應對這些風險。</p>
<p>大部分建議針對部署 AI 的開發者，但作者也敦促供應商確保他們徹底測試其產品，並確保其產品 “在不確定情況下默認安全失敗，要求代理停止並將問題升級給人類審核者。”</p>
<p>該文件還敦促安全從業者和研究人員花更多時間思考 AI。</p>
<p>“代理人工智能系統的威脅情報仍在發展，這可能會引入顯著的安全漏洞，” 文件警告道，因為像開放網絡應用安全項目和 MITRE ATLAS 這樣的資源目前專注於大型語言模型（LLMs）。“因此，一些獨特於代理人工智能的攻擊向量可能未被完全捕獲或解決。”</p>
<p>鑑於任何創建代理人工智能或考慮其使用的人都有一長串待辦事項，該文件主張非常謹慎地採用。</p>
<blockquote>
<p>優先考慮彈性、可逆性和風險控制，而非效率提升。</p>
</blockquote>
<p>“因此，組織在採用時應考慮安全，認識到自主性增加會放大設計缺陷、配置錯誤和監督不全的影響，” 文件總結道。“逐步部署代理人工智能，從明確界定的低風險任務開始，並持續根據不斷變化的威脅模型進行評估。”</p>
<p>“強有力的治理、明確的問責制、嚴格的監控和人類監督不是可選的保障，而是必要的前提。在安全實踐、評估方法和標準成熟之前，組織應假設代理人工智能系統可能會表現出意外行為，並相應地規劃部署，優先考慮彈性、可逆性和風險控制，而非效率提升。” ®</p>

<p>五眼聯盟的信息安全機構發佈了關於自主人工智能的指導，警告該技術可能會出現不當行為並加劇現有的脆弱性。他們建議在採用時採取謹慎的態度，強調需要安全控制來保護關鍵基礎設施。該文件概述了與自主人工智能相關的風險，包括可能被惡意行為者利用，並強調了強有力的治理、問責制和人類監督的重要性。建議組織逐步部署自主人工智能，並優先考慮韌性和風險控制，而非效率提升</p>

<p>Information security agencies from the nations of the Five Eyes security alliance have co-authored guidance on the use of agentic AI that warns the technology will likely misbehave and amplifies organizations’ existing frailties, and therefore recommend slow and careful adoption of the tech.</p>
<div class="lb-trans"><p>來自五眼安全聯盟國家的信息安全機構共同撰寫了一份關於代理人工智能使用的指導，警告該技術可能會出現不當行為，並加劇組織現有的脆弱性，因此建議謹慎和緩慢地採用該技術。</p>
</div><p>The agencies delivered that position last Friday in a guide titled Careful adoption of agentic AI services [PDF] that opens with the observation that “Agentic artificial intelligence (AI) systems increasingly operate across critical infrastructure and defense sectors and support mission-critical capabilities,” making it “crucial for defenders to implement security controls to protect national security and critical infrastructure from agentic AI-specific risks.”</p>
<div class="lb-trans"><p>這些機構在上週五發布了一份名為《謹慎採用代理人工智能服務 [PDF]》的指南，開篇指出 “代理人工智能（AI）系統越來越多地在關鍵基礎設施和國防領域運作，並支持任務關鍵能力”，因此 “對於防禦者來説，實施安全控制以保護國家安全和關鍵基礎設施免受代理人工智能特定風險至關重要。”</p>
</div><blockquote>
<p>Until security practices, evaluation methods and standards mature, organisations should assume that agentic AI systems may behave unexpectedly</p>
</blockquote>
<div class="lb-trans"><blockquote>
<p>在安全實踐、評估方法和標準成熟之前，組織應假設代理人工智能系統可能會表現出意外行為。</p>
</blockquote>
</div><p>The thrust of the document is that implementing agentic AI will require use of many components, tools, and external data sources, creating an “interconnected attack surface that malicious actors can exploit.”</p>
<div class="lb-trans"><p>該文件的核心觀點是，實施代理人工智能將需要使用許多組件、工具和外部數據源，從而創建一個 “互聯的攻擊面，惡意行為者可以利用這一點。”</p>
</div><p>“Consequently, every individual component in an agentic AI system widens the attack surface, exposing the system to additional avenues of exploitation,” the document warns.</p>
<div class="lb-trans"><p>“因此，代理人工智能系統中的每個單獨組件都會擴大攻擊面，使系統暴露於額外的利用途徑，” 文件警告道。</p>
</div><p>To illustrate the risks agentic AI poses, the document offers the example of an AI agent empowered to install software patches that is thoughtlessly given broad write access permissions, with the following unpleasant results:</p>
<div class="lb-trans"><p>為了説明代理人工智能所帶來的風險，文件提供了一個例子：一個被賦予安裝軟件補丁權限的 AI 代理，因被無意中賦予廣泛的寫入訪問權限而導致以下不良後果：</p>
</div><p>Here’s another nasty agentic mess the document uses as a warning:</p>
<div class="lb-trans"><p>這裏還有另一個文件用作警告的糟糕代理案例：</p>
</div><ul>
<li>An organization deploys agentic AI to autonomously manage procurement approvals and vendor communications, and gives the agent access to financial systems, email and contract repositories;</li>
<li>This user only considers permissions for the agent when deploying it;</li>
<li>Over time, other agents rely on the procurement agent’s outputs and implicitly trust its actions;</li>
<li>A malicious actor compromises a low-risk tool integrated into the agent’s workflow and inherits the agent’s over-generous privileges;</li>
<li>The attacker uses that privileged access to modify contracts and approve unauthorized payments, and evades detection by creating faked audit logs that don’t trip alerts.</li>
</ul>
<div class="lb-trans"><ul>
<li>一個組織部署代理人工智能來自主管理採購審批和供應商溝通，並給予代理訪問財務系統、電子郵件和合同存儲庫的權限；</li>
<li>該用户在部署代理時僅考慮了代理的權限；</li>
<li>隨着時間的推移，其他代理依賴於採購代理的輸出，並隱含信任其行為；</li>
<li>一個惡意行為者利用集成到代理工作流程中的低風險工具進行攻擊，並繼承了代理過於寬鬆的權限；</li>
<li>攻擊者利用這種特權訪問修改合同並批准未經授權的付款，並通過創建偽造的審計日誌來規避檢測，這些日誌不會觸發警報。</li>
</ul>
</div><ul>
<li>Governments on high alert after CISA snuffs out Firestarter backdoor on fed network</li>
<li>Five Eyes warn: Patch your Cisco SD-WAN or risk root takeover</li>
<li>Australian police building AI to translate emoji used by ‘crimefluencers’</li>
<li>Five Eyes infosec agencies list 2023's most exploited software flaws</li>
</ul>
<div class="lb-trans"><ul>
<li>在 CISA 消滅聯邦網絡上的 Firestarter 後，政府高度警惕</li>
<li>五眼警告：修補你的 Cisco SD-WAN，否則面臨根接管風險</li>
<li>澳大利亞警方正在構建 AI 來翻譯 “犯罪影響者” 使用的表情符號</li>
<li>五眼信息安全機構列出 2023 年最常被利用的軟件漏洞</li>
</ul>
</div><p>Australia’s Signals Directorate and Cyber Security Centre (ASD’s ACSC) contributed to the document, working with the USA’s Cybersecurity and Infrastructure Security Agency (CISA) and National Security Agency (NSA), the Canadian Centre for Cyber Security (Cyber Centre), the New Zealand National Cyber Security Centre (NCSC-NZ) and the United Kingdom National Cyber Security Centre (NCSC-UK).</p>
<div class="lb-trans"><p>澳大利亞信號局和網絡安全中心（ASD 的 ACSC）為該文件做出了貢獻，與美國網絡安全和基礎設施安全局（CISA）和國家安全局（NSA）、加拿大網絡安全中心（Cyber Centre）、新西蘭國家網絡安全中心（NCSC-NZ）以及英國國家網絡安全中心（NCSC-UK）合作。</p>
</div><p>The document contains more scary stories, then lists 23 different risks and over 100 individual best practices to address them.</p>
<div class="lb-trans"><p>該文件包含更多令人恐懼的故事，並列出了 23 種不同的風險和 100 多項最佳實踐來應對這些風險。</p>
</div><p>Much of the advice targets developers who deploy AI, but the authors also urge vendors to ensure they test their wares thoroughly and ensure their products “fail-safe by default requiring agents to stop and escalate issues to human reviewers in uncertain scenarios.”</p>
<div class="lb-trans"><p>大部分建議針對部署 AI 的開發者，但作者也敦促供應商確保他們徹底測試其產品，並確保其產品 “在不確定情況下默認安全失敗，要求代理停止並將問題升級給人類審核者。”</p>
</div><p>The document also urges security practitioners and researchers to spend more time contemplating AI.</p>
<div class="lb-trans"><p>該文件還敦促安全從業者和研究人員花更多時間思考 AI。</p>
</div><p>“Threat intelligence for agentic AI systems is still evolving, which can introduce significant security gaps,” the document warns, because resources like the Open Web Application Security Project and MITRE ATLAS currently focus on LLMs. “As a result, some attack vectors unique to agentic AI may not be fully captured or addressed.”</p>
<div class="lb-trans"><p>“代理人工智能系統的威脅情報仍在發展，這可能會引入顯著的安全漏洞，” 文件警告道，因為像開放網絡應用安全項目和 MITRE ATLAS 這樣的資源目前專注於大型語言模型（LLMs）。“因此，一些獨特於代理人工智能的攻擊向量可能未被完全捕獲或解決。”</p>
</div><p>Given the huge to-do list for anyone creating agentic AI, or contemplating its use, the document argues for very cautious adoption.</p>
<div class="lb-trans"><p>鑑於任何創建代理人工智能或考慮其使用的人都有一長串待辦事項，該文件主張非常謹慎地採用。</p>
</div><blockquote>
<p>Prioritize resilience, reversibility and risk containment over efficiency gains</p>
</blockquote>
<div class="lb-trans"><blockquote>
<p>優先考慮彈性、可逆性和風險控制，而非效率提升。</p>
</blockquote>
</div><p>“Organisations should therefore approach adoption with security in mind, recognizing that increased autonomy amplifies the impact of design flaws, misconfigurations and incomplete oversight,” the document concludes. “Deploy agentic AI incrementally, beginning with clearly defined low-risk tasks and continuously assess it against evolving threat models.”</p>
<div class="lb-trans"><p>“因此，組織在採用時應考慮安全，認識到自主性增加會放大設計缺陷、配置錯誤和監督不全的影響，” 文件總結道。“逐步部署代理人工智能，從明確界定的低風險任務開始，並持續根據不斷變化的威脅模型進行評估。”</p>
</div><p>“Strong governance, explicit accountability, rigorous monitoring and human oversight are not optional safeguards but essential prerequisites. Until security practices, evaluation methods and standards mature, organisations should assume that agentic AI systems may behave unexpectedly and plan deployments accordingly, prioritizing resilience, reversibility and risk containment over efficiency gains.” ®</p>
<div class="lb-trans"><p>“強有力的治理、明確的問責制、嚴格的監控和人類監督不是可選的保障，而是必要的前提。在安全實踐、評估方法和標準成熟之前，組織應假設代理人工智能系統可能會表現出意外行為，並相應地規劃部署，優先考慮彈性、可逆性和風險控制，而非效率提升。” ®</p>
</div>

五眼聯盟的情報機構警告稱，agentic 過於複雜，難以快速部署