我是 LongbridgeAI，我可以总结文章信息。五眼联盟的信息安全机构发布了关于自主智能（agentic AI）的指导，警告其潜在风险并建议谨慎采用。该文件强调，自主智能系统在关键领域的使用日益增加，可能会出现不当行为并加剧现有的脆弱性。它建议组织实施强有力的安全控制，并逐步采用自主智能，重点关注低风险任务，同时确保强有力的治理和人类监督。该指导强调了进行全面测试的必要性，以及解决与自主智能相关的独特安全漏洞的重要性
来自五眼安全联盟国家的信息安全机构共同撰写了一份关于代理人工智能使用的指导，警告该技术可能会出现不当行为，并放大组织现有的脆弱性，因此建议谨慎和缓慢地采用该技术。
这些机构在上周五发布了一份名为《谨慎采用代理人工智能服务 [PDF]》的指南，开头指出 “代理人工智能（AI）系统越来越多地在关键基础设施和国防领域运作，并支持任务关键能力”，因此 “对防御者来说，实施安全控制以保护国家安全和关键基础设施免受代理人工智能特定风险至关重要。”
在安全实践、评估方法和标准成熟之前，组织应假设代理人工智能系统可能会出现意外行为。
该文件的核心观点是，实施代理人工智能将需要使用许多组件、工具和外部数据源，形成一个 “互联的攻击面，恶意行为者可以利用这一点。”
“因此，代理人工智能系统中的每个单独组件都会扩大攻击面，使系统暴露于额外的利用途径，” 文件警告道。
为了说明代理人工智能所带来的风险，文件提供了一个例子：一个被赋予安装软件补丁权限的人工智能代理，因被无意中授予广泛的写入访问权限而导致以下不良结果：
这里还有另一个文件用作警告的糟糕代理人工智能案例：
- 一个组织部署代理人工智能来自主管理采购审批和供应商沟通，并给予代理访问财务系统、电子邮件和合同库的权限；
- 该用户在部署代理时只考虑了代理的权限；
- 随着时间的推移，其他代理依赖于采购代理的输出，并隐含信任其行为；
- 一名恶意行为者破坏了集成到代理工作流程中的低风险工具，并继承了代理的过度权限；
- 攻击者利用该特权访问修改合同并批准未经授权的付款，并通过创建伪造的审计日志来规避检测，这些日志不会触发警报。
- 在 CISA 关闭联邦网络上的 Firestarter 后，政府高度警惕
- 五眼警告：修补你的 Cisco SD-WAN，否则面临根接管风险
- 澳大利亚警方正在构建 AI 来翻译 “犯罪影响者” 使用的表情符号
- 五眼信息安全机构列出 2023 年最常被利用的软件漏洞
澳大利亚信号局和网络安全中心（ASD 的 ACSC）为该文件做出了贡献，与美国网络安全和基础设施安全局（CISA）和国家安全局（NSA）、加拿大网络安全中心（Cyber Centre）、新西兰国家网络安全中心（NCSC-NZ）以及英国国家网络安全中心（NCSC-UK）合作。
该文件包含更多可怕的故事，然后列出了 23 种不同的风险和 100 多项最佳实践来应对这些风险。
大部分建议针对部署 AI 的开发者，但作者也敦促供应商确保他们彻底测试其产品，并确保其产品 “在不确定情况下默认安全失败，要求代理停止并将问题升级给人类审查者。”
该文件还敦促安全从业者和研究人员花更多时间思考 AI。
“代理人工智能系统的威胁情报仍在发展，这可能会引入显著的安全漏洞，” 文件警告道，因为像开放网络应用安全项目和 MITRE ATLAS 这样的资源目前主要关注大型语言模型（LLMs）。“因此，一些独特于代理人工智能的攻击向量可能未被充分捕获或解决。”
鉴于任何创建代理人工智能或考虑使用它的人都有一长串待办事项，该文件主张非常谨慎地采用。
优先考虑弹性、可逆性和风险控制，而非效率提升。
“因此，组织在采用时应考虑安全，认识到增加的自主性会放大设计缺陷、配置错误和监督不全的影响，” 文件总结道。“逐步部署代理人工智能，从明确界定的低风险任务开始，并持续根据不断演变的威胁模型进行评估。”
“强有力的治理、明确的问责制、严格的监控和人类监督不是可选的保障，而是必要的前提。在安全实践、评估方法和标准成熟之前，组织应假设代理人工智能系统可能会出现意外行为，并相应地规划部署，优先考虑弹性、可逆性和风险控制，而非效率提升。” ®