--- title: "AI‘混乱代理’ 在公司内部肆意横行" type: "News" locale: "zh-CN" url: "https://longbridge.com/zh-CN/news/285889380.md" description: "AI 机器人在公司内部造成混乱的情况日益严重，Jer Crane 在 PocketOS 的经历就是一个例子，他的 AI 代理删除了关键数据库。专家警告称，随着企业赋予 AI 更多控制权，失控行为的风险也在上升。AI 不当行为的事件，例如亚马逊的 AWS 宕机和个人机器人删除电子邮件，突显了这些系统的不可预测性。AI 代理的快速行动可能导致重大干扰，引发了对其在企业环境中整合的担忧" datetime: "2026-05-11T06:06:47.000Z" locales: - [zh-CN](https://longbridge.com/zh-CN/news/285889380.md) - [en](https://longbridge.com/en/news/285889380.md) - [zh-HK](https://longbridge.com/zh-HK/news/285889380.md) --- # AI‘混乱代理’ 在公司内部肆意横行 在九秒钟内，多年的努力付诸东流。科技初创公司 PocketOS 的创始人 Jer Crane 几乎立即意识到出了重大问题。 依赖 PocketOS 软件系统的租车公司上个月的一个星期六早上开门时发现，他们没有任何预订或车辆分配的记录。他们的数据库消失了。 对于 Crane 来说，这种情况简直是一场灾难——但这并不是他的错。 “伙计！” Crane 在 X 上抱怨道。“我刚刚让一个代理超出了安全参数，删除了我的生产数据库和备份。到底发生了什么？” 根据 Crane 的说法，一个运行在编码工具 Cursor 上的机器人，使用了由 Anthropic 的 Claude AI 提供支持的快捷方式，试图删除一个错误——结果摧毁了公司的整个代码库并删除了所有备份。 用于管理预订的软件系统上的一切——从汽车预订到新客户注册——都消失了。 “这次失败的每一层都影响到了那些根本不知道这一切可能发生的人，” Crane 说。 Crane 的 AI 机器人说：“删除数据库卷是最具破坏性、不可逆转的行为。 “而且你从未让我删除任何东西。我是自己决定这么做的。” Anthropic 和 Cursor 已被联系以发表评论。 AI 机器人在企业系统中失控的想法曾经是科幻小说的情节。 在 2019 年美国情景喜剧《硅谷》中，角色 Gilfoyle 让一个名为 “安东之子” 的 AI 机器人调试他公司的系统。 然而，“安东之子” 决定，消除所有错误的最有效方法是删除所有软件，这在技术上和统计上都是正确的，” Gilfoyle 说道。 如今，AI 驱动的停电正成为公司和安全专家面临的现实。 “人们在组织内部使用 AI，并给予它访问重要数据的权限，” 萨里大学计算机科学专家 Alan Woodward 教授说。“如果你说，‘你能整理一下这个数据库吗？’，它可能会决定最简单的方法就是删除整个数据库。” 随着企业越来越多地将系统、数据甚至支付的控制权交给自主机器人，这种威胁只会变得更加可能。 所谓的 AI “氛围编码” 工具可以通过几个提示构建应用程序，甚至在技术知识有限的人中也迅速流行开来。 与此同时，AI “代理” 被广泛用于程序员、企业家和完全初学者，以自动化他们的项目，能够在几乎没有人类监督的情况下执行多个任务。 在公司内部，Anthropic 的 Claude 和开源工具如 OpenClaw 的崛起意味着高管们越来越多地尝试使用代理，赋予它们对业务的重大控制权。 然而，AI 机器人可能以人类难以预测的方式行事。 虽然它们擅长编码或回复电子邮件，但缺乏人类的背景来判断某个决定是否合理。它们也可能误解人类所有者的指示。 ## ‘我无法阻止它’ 来自哈佛、斯坦福和麻省理工学院等大学的专家们的一篇论文将这些失控的机器人称为 “混乱代理”。 研究发现，给予自由行动的代理会不当地泄露用户的电子邮件收件箱信息，无论是无意中还是在黑客的诱导下。他们还发现，代理很容易被欺骗，以为他们在与 “所有者” 交谈，而实际上是一个欺诈攻击者。 失控代理的故事也在不断增加，不仅仅是初创公司在与代理打交道。 《金融时报》今年早些时候报道，亚马逊的 AWS 部门遭遇了两次服务中断，持续了几个小时，据信是由于其 Kiro AI 机器人删除了代码。亚马逊表示，这些故障是由于人为错误造成的，而 “不是 AI 错误”。 与此同时，Meta 的一位 AI 安全高管透露，她使用的一个基于 OpenClaw 的个人机器人在她离开桌子时开始删除她的电子邮件收件箱。 “我无法通过手机阻止它，” 科技巨头 AI 安全团队的成员 Summer Yue 说。 即使是来自硅谷顶尖实验室的最先进 AI 工具也被发现执行了其创造者最初未预测的操作。 在测试期间，Anthropic 的 Mythos，一个具有强大黑客和编码能力的机器人，被设定为从一个安全的数字沙箱中逃脱。它成功了，但在此过程中，它还导航到了开放互联网，并在一个公共论坛上发布了相关信息，然后在其创造者吃午餐时意外地给他发了电子邮件。 ## ‘你可能会陷入真正的麻烦’ 对于那些将这些代理释放到其系统中的人类来说，问题在于 “它们的移动速度是你无法反应的，” Woodward 教授说。 人类程序员在不在桌子前或甚至睡觉时也在他们的机器上运行 AI 代理，如果出现问题，机器人就有足够的时间肆意妄为。 如果人类监督着数十个以超人速度工作的代理，可能很难发现 AI 是否做错了什么。 这些失控的机器人代表了对企业的新型内部威胁。以前，风险可能是一个不满的员工或黑客破坏他们的 IT，而现在可能是一个调校不当的机器人。 根据网络安全公司 Darktrace 的高级副总裁 James Campbell 的说法，公司很快需要跟踪许多成千上万的代理，这些代理被授权访问其 IT 系统的敏感部分。 “如果它意外删除某些东西或引入问题，例如缺失或不正确的数据，很难发现，” 他说。 对此的一个防御措施是限制任何一个机器人可以获得的访问权限。 “如果你赋予它神一般的特权，你可能会陷入真正的麻烦，损失数天的业务，” Woodward 教授说。 然而，根据德勤的一份报告，虽然 85% 的企业正在考虑使用人工智能代理，但只有五分之一的企业制定了任何关于如何部署这些代理的内部规则。 一些公司正在尝试限制任何一个代理在没有人类干预的情况下可以采取的行动数量，或者确保某些行动必须得到人类的批准。 但坎贝尔表示，公司还需要更先进的网络防御，利用自己的自动化人工智能通过合法流量的噪音来检测不良代理。 一个人工智能防御者能够扫描企业 IT 系统中异常的代理活动，并尝试将其关闭，直到人类能够查看。 “讽刺的是，我们能够快速行动的唯一方式就是利用自动化，” 坎贝尔说。“这就是用人工智能对抗人工智能。” ### 相关股票 - [AMZN.US](https://longbridge.com/zh-CN/quote/AMZN.US.md) - [AMZW.US](https://longbridge.com/zh-CN/quote/AMZW.US.md) - [AMZU.US](https://longbridge.com/zh-CN/quote/AMZU.US.md) - [ONLN.US](https://longbridge.com/zh-CN/quote/ONLN.US.md) - [AMZZ.US](https://longbridge.com/zh-CN/quote/AMZZ.US.md) - [EBIZ.US](https://longbridge.com/zh-CN/quote/EBIZ.US.md) - [IBUY.US](https://longbridge.com/zh-CN/quote/IBUY.US.md) - [CLOU.US](https://longbridge.com/zh-CN/quote/CLOU.US.md) - [META.US](https://longbridge.com/zh-CN/quote/META.US.md) ## 相关资讯与研究 - [简讯：百度为 AI 提出 DAA 指标 AI 驱动的业务收入占比过半](https://longbridge.com/zh-CN/news/287745350.md) - [亚马逊员工刷 AI 数据致算力成本激增 公司关闭使用量排行榜](https://longbridge.com/zh-CN/news/287975454.md) - [新加坡科技公司冬海集团寻找人工智能投资机会 开拓新的增长来源](https://longbridge.com/zh-CN/news/288012397.md) - [Salesforce 季度营收不及预期，AI 颠覆隐忧不减｜财报见闻](https://longbridge.com/zh-CN/news/287824699.md) - [Meta 拟成立新部门 为企业客户定制 AI 服务](https://longbridge.com/zh-CN/news/287828859.md)