<p>来自五眼安全联盟国家的信息安全机构共同撰写了一份关于代理人工智能使用的指导，警告该技术可能会出现不当行为，并加剧组织现有的脆弱性，因此建议谨慎和缓慢地采用该技术。</p>
<p>这些机构在上周五发布了一份名为《谨慎采用代理人工智能服务 [PDF]》的指南，开篇指出 “代理人工智能（AI）系统越来越多地在关键基础设施和国防领域运作，并支持任务关键能力”，因此 “对于防御者来说，实施安全控制以保护国家安全和关键基础设施免受代理人工智能特定风险至关重要。”</p>
<blockquote>
<p>在安全实践、评估方法和标准成熟之前，组织应假设代理人工智能系统可能会表现出意外行为。</p>
</blockquote>
<p>该文件的核心观点是，实施代理人工智能将需要使用许多组件、工具和外部数据源，从而创建一个 “互联的攻击面，恶意行为者可以利用这一点。”</p>
<p>“因此，代理人工智能系统中的每个单独组件都会扩大攻击面，使系统暴露于额外的利用途径，” 文件警告道。</p>
<p>为了说明代理人工智能所带来的风险，文件提供了一个例子：一个被赋予安装软件补丁权限的 AI 代理，因被无意中赋予广泛的写入访问权限而导致以下不良后果：</p>
<p>这里还有另一个文件用作警告的糟糕代理案例：</p>
<ul>
<li>一个组织部署代理人工智能来自主管理采购审批和供应商沟通，并给予代理访问财务系统、电子邮件和合同存储库的权限；</li>
<li>该用户在部署代理时仅考虑了代理的权限；</li>
<li>随着时间的推移，其他代理依赖于采购代理的输出，并隐含信任其行为；</li>
<li>一个恶意行为者利用集成到代理工作流程中的低风险工具进行攻击，并继承了代理过于宽松的权限；</li>
<li>攻击者利用这种特权访问修改合同并批准未经授权的付款，并通过创建伪造的审计日志来规避检测，这些日志不会触发警报。</li>
</ul>
<ul>
<li>在 CISA 消灭联邦网络上的 Firestarter 后，政府高度警惕</li>
<li>五眼警告：修补你的 Cisco SD-WAN，否则面临根接管风险</li>
<li>澳大利亚警方正在构建 AI 来翻译 “犯罪影响者” 使用的表情符号</li>
<li>五眼信息安全机构列出 2023 年最常被利用的软件漏洞</li>
</ul>
<p>澳大利亚信号局和网络安全中心（ASD 的 ACSC）为该文件做出了贡献，与美国网络安全和基础设施安全局（CISA）和国家安全局（NSA）、加拿大网络安全中心（Cyber Centre）、新西兰国家网络安全中心（NCSC-NZ）以及英国国家网络安全中心（NCSC-UK）合作。</p>
<p>该文件包含更多令人恐惧的故事，并列出了 23 种不同的风险和 100 多项最佳实践来应对这些风险。</p>
<p>大部分建议针对部署 AI 的开发者，但作者也敦促供应商确保他们彻底测试其产品，并确保其产品 “在不确定情况下默认安全失败，要求代理停止并将问题升级给人类审核者。”</p>
<p>该文件还敦促安全从业者和研究人员花更多时间思考 AI。</p>
<p>“代理人工智能系统的威胁情报仍在发展，这可能会引入显著的安全漏洞，” 文件警告道，因为像开放网络应用安全项目和 MITRE ATLAS 这样的资源目前专注于大型语言模型（LLMs）。“因此，一些独特于代理人工智能的攻击向量可能未被完全捕获或解决。”</p>
<p>鉴于任何创建代理人工智能或考虑其使用的人都有一长串待办事项，该文件主张非常谨慎地采用。</p>
<blockquote>
<p>优先考虑弹性、可逆性和风险控制，而非效率提升。</p>
</blockquote>
<p>“因此，组织在采用时应考虑安全，认识到自主性增加会放大设计缺陷、配置错误和监督不全的影响，” 文件总结道。“逐步部署代理人工智能，从明确界定的低风险任务开始，并持续根据不断变化的威胁模型进行评估。”</p>
<p>“强有力的治理、明确的问责制、严格的监控和人类监督不是可选的保障，而是必要的前提。在安全实践、评估方法和标准成熟之前，组织应假设代理人工智能系统可能会表现出意外行为，并相应地规划部署，优先考虑弹性、可逆性和风险控制，而非效率提升。” ®</p>

<p>五眼联盟的信息安全机构发布了关于自主人工智能的指导，警告该技术可能会出现不当行为并加剧现有的脆弱性。他们建议在采用时采取谨慎的态度，强调需要安全控制来保护关键基础设施。该文件概述了与自主人工智能相关的风险，包括可能被恶意行为者利用，并强调了强有力的治理、问责制和人类监督的重要性。建议组织逐步部署自主人工智能，并优先考虑韧性和风险控制，而非效率提升</p>

<p>Information security agencies from the nations of the Five Eyes security alliance have co-authored guidance on the use of agentic AI that warns the technology will likely misbehave and amplifies organizations’ existing frailties, and therefore recommend slow and careful adoption of the tech.</p>
<div class="lb-trans"><p>来自五眼安全联盟国家的信息安全机构共同撰写了一份关于代理人工智能使用的指导，警告该技术可能会出现不当行为，并加剧组织现有的脆弱性，因此建议谨慎和缓慢地采用该技术。</p>
</div><p>The agencies delivered that position last Friday in a guide titled Careful adoption of agentic AI services [PDF] that opens with the observation that “Agentic artificial intelligence (AI) systems increasingly operate across critical infrastructure and defense sectors and support mission-critical capabilities,” making it “crucial for defenders to implement security controls to protect national security and critical infrastructure from agentic AI-specific risks.”</p>
<div class="lb-trans"><p>这些机构在上周五发布了一份名为《谨慎采用代理人工智能服务 [PDF]》的指南，开篇指出 “代理人工智能（AI）系统越来越多地在关键基础设施和国防领域运作，并支持任务关键能力”，因此 “对于防御者来说，实施安全控制以保护国家安全和关键基础设施免受代理人工智能特定风险至关重要。”</p>
</div><blockquote>
<p>Until security practices, evaluation methods and standards mature, organisations should assume that agentic AI systems may behave unexpectedly</p>
</blockquote>
<div class="lb-trans"><blockquote>
<p>在安全实践、评估方法和标准成熟之前，组织应假设代理人工智能系统可能会表现出意外行为。</p>
</blockquote>
</div><p>The thrust of the document is that implementing agentic AI will require use of many components, tools, and external data sources, creating an “interconnected attack surface that malicious actors can exploit.”</p>
<div class="lb-trans"><p>该文件的核心观点是，实施代理人工智能将需要使用许多组件、工具和外部数据源，从而创建一个 “互联的攻击面，恶意行为者可以利用这一点。”</p>
</div><p>“Consequently, every individual component in an agentic AI system widens the attack surface, exposing the system to additional avenues of exploitation,” the document warns.</p>
<div class="lb-trans"><p>“因此，代理人工智能系统中的每个单独组件都会扩大攻击面，使系统暴露于额外的利用途径，” 文件警告道。</p>
</div><p>To illustrate the risks agentic AI poses, the document offers the example of an AI agent empowered to install software patches that is thoughtlessly given broad write access permissions, with the following unpleasant results:</p>
<div class="lb-trans"><p>为了说明代理人工智能所带来的风险，文件提供了一个例子：一个被赋予安装软件补丁权限的 AI 代理，因被无意中赋予广泛的写入访问权限而导致以下不良后果：</p>
</div><p>Here’s another nasty agentic mess the document uses as a warning:</p>
<div class="lb-trans"><p>这里还有另一个文件用作警告的糟糕代理案例：</p>
</div><ul>
<li>An organization deploys agentic AI to autonomously manage procurement approvals and vendor communications, and gives the agent access to financial systems, email and contract repositories;</li>
<li>This user only considers permissions for the agent when deploying it;</li>
<li>Over time, other agents rely on the procurement agent’s outputs and implicitly trust its actions;</li>
<li>A malicious actor compromises a low-risk tool integrated into the agent’s workflow and inherits the agent’s over-generous privileges;</li>
<li>The attacker uses that privileged access to modify contracts and approve unauthorized payments, and evades detection by creating faked audit logs that don’t trip alerts.</li>
</ul>
<div class="lb-trans"><ul>
<li>一个组织部署代理人工智能来自主管理采购审批和供应商沟通，并给予代理访问财务系统、电子邮件和合同存储库的权限；</li>
<li>该用户在部署代理时仅考虑了代理的权限；</li>
<li>随着时间的推移，其他代理依赖于采购代理的输出，并隐含信任其行为；</li>
<li>一个恶意行为者利用集成到代理工作流程中的低风险工具进行攻击，并继承了代理过于宽松的权限；</li>
<li>攻击者利用这种特权访问修改合同并批准未经授权的付款，并通过创建伪造的审计日志来规避检测，这些日志不会触发警报。</li>
</ul>
</div><ul>
<li>Governments on high alert after CISA snuffs out Firestarter backdoor on fed network</li>
<li>Five Eyes warn: Patch your Cisco SD-WAN or risk root takeover</li>
<li>Australian police building AI to translate emoji used by ‘crimefluencers’</li>
<li>Five Eyes infosec agencies list 2023's most exploited software flaws</li>
</ul>
<div class="lb-trans"><ul>
<li>在 CISA 消灭联邦网络上的 Firestarter 后，政府高度警惕</li>
<li>五眼警告：修补你的 Cisco SD-WAN，否则面临根接管风险</li>
<li>澳大利亚警方正在构建 AI 来翻译 “犯罪影响者” 使用的表情符号</li>
<li>五眼信息安全机构列出 2023 年最常被利用的软件漏洞</li>
</ul>
</div><p>Australia’s Signals Directorate and Cyber Security Centre (ASD’s ACSC) contributed to the document, working with the USA’s Cybersecurity and Infrastructure Security Agency (CISA) and National Security Agency (NSA), the Canadian Centre for Cyber Security (Cyber Centre), the New Zealand National Cyber Security Centre (NCSC-NZ) and the United Kingdom National Cyber Security Centre (NCSC-UK).</p>
<div class="lb-trans"><p>澳大利亚信号局和网络安全中心（ASD 的 ACSC）为该文件做出了贡献，与美国网络安全和基础设施安全局（CISA）和国家安全局（NSA）、加拿大网络安全中心（Cyber Centre）、新西兰国家网络安全中心（NCSC-NZ）以及英国国家网络安全中心（NCSC-UK）合作。</p>
</div><p>The document contains more scary stories, then lists 23 different risks and over 100 individual best practices to address them.</p>
<div class="lb-trans"><p>该文件包含更多令人恐惧的故事，并列出了 23 种不同的风险和 100 多项最佳实践来应对这些风险。</p>
</div><p>Much of the advice targets developers who deploy AI, but the authors also urge vendors to ensure they test their wares thoroughly and ensure their products “fail-safe by default requiring agents to stop and escalate issues to human reviewers in uncertain scenarios.”</p>
<div class="lb-trans"><p>大部分建议针对部署 AI 的开发者，但作者也敦促供应商确保他们彻底测试其产品，并确保其产品 “在不确定情况下默认安全失败，要求代理停止并将问题升级给人类审核者。”</p>
</div><p>The document also urges security practitioners and researchers to spend more time contemplating AI.</p>
<div class="lb-trans"><p>该文件还敦促安全从业者和研究人员花更多时间思考 AI。</p>
</div><p>“Threat intelligence for agentic AI systems is still evolving, which can introduce significant security gaps,” the document warns, because resources like the Open Web Application Security Project and MITRE ATLAS currently focus on LLMs. “As a result, some attack vectors unique to agentic AI may not be fully captured or addressed.”</p>
<div class="lb-trans"><p>“代理人工智能系统的威胁情报仍在发展，这可能会引入显著的安全漏洞，” 文件警告道，因为像开放网络应用安全项目和 MITRE ATLAS 这样的资源目前专注于大型语言模型（LLMs）。“因此，一些独特于代理人工智能的攻击向量可能未被完全捕获或解决。”</p>
</div><p>Given the huge to-do list for anyone creating agentic AI, or contemplating its use, the document argues for very cautious adoption.</p>
<div class="lb-trans"><p>鉴于任何创建代理人工智能或考虑其使用的人都有一长串待办事项，该文件主张非常谨慎地采用。</p>
</div><blockquote>
<p>Prioritize resilience, reversibility and risk containment over efficiency gains</p>
</blockquote>
<div class="lb-trans"><blockquote>
<p>优先考虑弹性、可逆性和风险控制，而非效率提升。</p>
</blockquote>
</div><p>“Organisations should therefore approach adoption with security in mind, recognizing that increased autonomy amplifies the impact of design flaws, misconfigurations and incomplete oversight,” the document concludes. “Deploy agentic AI incrementally, beginning with clearly defined low-risk tasks and continuously assess it against evolving threat models.”</p>
<div class="lb-trans"><p>“因此，组织在采用时应考虑安全，认识到自主性增加会放大设计缺陷、配置错误和监督不全的影响，” 文件总结道。“逐步部署代理人工智能，从明确界定的低风险任务开始，并持续根据不断变化的威胁模型进行评估。”</p>
</div><p>“Strong governance, explicit accountability, rigorous monitoring and human oversight are not optional safeguards but essential prerequisites. Until security practices, evaluation methods and standards mature, organisations should assume that agentic AI systems may behave unexpectedly and plan deployments accordingly, prioritizing resilience, reversibility and risk containment over efficiency gains.” ®</p>
<div class="lb-trans"><p>“强有力的治理、明确的问责制、严格的监控和人类监督不是可选的保障，而是必要的前提。在安全实践、评估方法和标准成熟之前，组织应假设代理人工智能系统可能会表现出意外行为，并相应地规划部署，优先考虑弹性、可逆性和风险控制，而非效率提升。” ®</p>
</div>

五眼联盟的情报机构警告称，agentic 过于复杂，难以快速部署