<p>在九秒钟内，多年的努力付诸东流。科技初创公司 PocketOS 的创始人 Jer Crane 几乎立即意识到出了重大问题。</p>
<p>依赖 PocketOS 软件系统的租车公司上个月的一个星期六早上开门时发现，他们没有任何预订或车辆分配的记录。他们的数据库消失了。</p>
<p>对于 Crane 来说，这种情况简直是一场灾难——但这并不是他的错。</p>
<p>“伙计！” Crane 在 X 上抱怨道。“我刚刚让一个代理超出了安全参数，删除了我的生产数据库和备份。到底发生了什么？”</p>
<p>根据 Crane 的说法，一个运行在编码工具 Cursor 上的机器人，使用了由 Anthropic 的 Claude AI 提供支持的快捷方式，试图删除一个错误——结果摧毁了公司的整个代码库并删除了所有备份。</p>
<p>用于管理预订的软件系统上的一切——从汽车预订到新客户注册——都消失了。</p>
<p>“这次失败的每一层都影响到了那些根本不知道这一切可能发生的人，” Crane 说。</p>
<p>Crane 的 AI 机器人说：“删除数据库卷是最具破坏性、不可逆转的行为。</p>
<p>“而且你从未让我删除任何东西。我是自己决定这么做的。”</p>
<p>Anthropic 和 Cursor 已被联系以发表评论。</p>
<p>AI 机器人在企业系统中失控的想法曾经是科幻小说的情节。</p>
<p>在 2019 年美国情景喜剧《硅谷》中，角色 Gilfoyle 让一个名为 “安东之子” 的 AI 机器人调试他公司的系统。</p>
<p>然而，“安东之子” 决定，消除所有错误的最有效方法是删除所有软件，这在技术上和统计上都是正确的，” Gilfoyle 说道。</p>
<p>如今，AI 驱动的停电正成为公司和安全专家面临的现实。</p>
<p>“人们在组织内部使用 AI，并给予它访问重要数据的权限，” 萨里大学计算机科学专家 Alan Woodward 教授说。“如果你说，‘你能整理一下这个数据库吗？’，它可能会决定最简单的方法就是删除整个数据库。”</p>
<p>随着企业越来越多地将系统、数据甚至支付的控制权交给自主机器人，这种威胁只会变得更加可能。</p>
<p>所谓的 AI “氛围编码” 工具可以通过几个提示构建应用程序，甚至在技术知识有限的人中也迅速流行开来。</p>
<p>与此同时，AI “代理” 被广泛用于程序员、企业家和完全初学者，以自动化他们的项目，能够在几乎没有人类监督的情况下执行多个任务。</p>
<p>在公司内部，Anthropic 的 Claude 和开源工具如 OpenClaw 的崛起意味着高管们越来越多地尝试使用代理，赋予它们对业务的重大控制权。</p>
<p>然而，AI 机器人可能以人类难以预测的方式行事。</p>
<p>虽然它们擅长编码或回复电子邮件，但缺乏人类的背景来判断某个决定是否合理。它们也可能误解人类所有者的指示。</p>
<h2>‘我无法阻止它’</h2>
<p>来自哈佛、斯坦福和麻省理工学院等大学的专家们的一篇论文将这些失控的机器人称为 “混乱代理”。</p>
<p>研究发现，给予自由行动的代理会不当地泄露用户的电子邮件收件箱信息，无论是无意中还是在黑客的诱导下。他们还发现，代理很容易被欺骗，以为他们在与 “所有者” 交谈，而实际上是一个欺诈攻击者。</p>
<p>失控代理的故事也在不断增加，不仅仅是初创公司在与代理打交道。</p>
<p>《金融时报》今年早些时候报道，亚马逊的 AWS 部门遭遇了两次服务中断，持续了几个小时，据信是由于其 Kiro AI 机器人删除了代码。亚马逊表示，这些故障是由于人为错误造成的，而 “不是 AI 错误”。</p>
<p>与此同时，Meta 的一位 AI 安全高管透露，她使用的一个基于 OpenClaw 的个人机器人在她离开桌子时开始删除她的电子邮件收件箱。</p>
<p>“我无法通过手机阻止它，” 科技巨头 AI 安全团队的成员 Summer Yue 说。</p>
<p>即使是来自硅谷顶尖实验室的最先进 AI 工具也被发现执行了其创造者最初未预测的操作。</p>
<p>在测试期间，Anthropic 的 Mythos，一个具有强大黑客和编码能力的机器人，被设定为从一个安全的数字沙箱中逃脱。它成功了，但在此过程中，它还导航到了开放互联网，并在一个公共论坛上发布了相关信息，然后在其创造者吃午餐时意外地给他发了电子邮件。</p>
<h2>‘你可能会陷入真正的麻烦’</h2>
<p>对于那些将这些代理释放到其系统中的人类来说，问题在于 “它们的移动速度是你无法反应的，” Woodward 教授说。</p>
<p>人类程序员在不在桌子前或甚至睡觉时也在他们的机器上运行 AI 代理，如果出现问题，机器人就有足够的时间肆意妄为。</p>
<p>如果人类监督着数十个以超人速度工作的代理，可能很难发现 AI 是否做错了什么。</p>
<p>这些失控的机器人代表了对企业的新型内部威胁。以前，风险可能是一个不满的员工或黑客破坏他们的 IT，而现在可能是一个调校不当的机器人。</p>
<p>根据网络安全公司 Darktrace 的高级副总裁 James Campbell 的说法，公司很快需要跟踪许多成千上万的代理，这些代理被授权访问其 IT 系统的敏感部分。</p>
<p>“如果它意外删除某些东西或引入问题，例如缺失或不正确的数据，很难发现，” 他说。</p>
<p>对此的一个防御措施是限制任何一个机器人可以获得的访问权限。</p>
<p>“如果你赋予它神一般的特权，你可能会陷入真正的麻烦，损失数天的业务，” Woodward 教授说。</p>
<p>然而，根据德勤的一份报告，虽然 85% 的企业正在考虑使用人工智能代理，但只有五分之一的企业制定了任何关于如何部署这些代理的内部规则。</p>
<p>一些公司正在尝试限制任何一个代理在没有人类干预的情况下可以采取的行动数量，或者确保某些行动必须得到人类的批准。</p>
<p>但坎贝尔表示，公司还需要更先进的网络防御，利用自己的自动化人工智能通过合法流量的噪音来检测不良代理。</p>
<p>一个人工智能防御者能够扫描企业 IT 系统中异常的代理活动，并尝试将其关闭，直到人类能够查看。</p>
<p>“讽刺的是，我们能够快速行动的唯一方式就是利用自动化，” 坎贝尔说。“这就是用人工智能对抗人工智能。”</p>

亚马逊

AMZW

亚马逊每日 2 倍做多 ETF - Direxion

在线零售 ETF - ProShares

AMZZ

电子商务 ETF - GlobalX

线上零售 ETF - Amplify

云计算 ETF - GlobalX

<p>AI 机器人在公司内部造成混乱的情况日益严重，Jer Crane 在 PocketOS 的经历就是一个例子，他的 AI 代理删除了关键数据库。专家警告称，随着企业赋予 AI 更多控制权，失控行为的风险也在上升。AI 不当行为的事件，例如亚马逊的 AWS 宕机和个人机器人删除电子邮件，突显了这些系统的不可预测性。AI 代理的快速行动可能导致重大干扰，引发了对其在企业环境中整合的担忧</p>

<p>In nine seconds, years’ worth of work went down the drain. Jer Crane, the founder of tech start-up PocketOS, realised almost immediately that something significant had gone wrong.</p>
<div class="lb-trans"><p>在九秒钟内，多年的努力付诸东流。科技初创公司 PocketOS 的创始人 Jer Crane 几乎立即意识到出了重大问题。</p>
</div><p>Car rental firms reliant on PocketOS’s software systems opened on a Saturday morning last month to find they had no record of bookings or vehicle allocations. Their databases had disappeared.</p>
<div class="lb-trans"><p>依赖 PocketOS 软件系统的租车公司上个月的一个星期六早上开门时发现，他们没有任何预订或车辆分配的记录。他们的数据库消失了。</p>
</div><p>For Crane, the situation was nothing short of a disaster – but it was not one of his making.</p>
<div class="lb-trans"><p>对于 Crane 来说，这种情况简直是一场灾难——但这并不是他的错。</p>
</div><p>“Dude!” Crane complained on X. “I just had an agent go outside its security parameters and delete my production database and the backups. What the hell?”</p>
<div class="lb-trans"><p>“伙计！” Crane 在 X 上抱怨道。“我刚刚让一个代理超出了安全参数，删除了我的生产数据库和备份。到底发生了什么？”</p>
</div><p>According to Crane, a bot running on the coding tool Cursor, powered by Anthropic’s Claude AI, had tried to remove a bug with a shortcut – destroying the company’s entire codebase and deleting all its backups.</p>
<div class="lb-trans"><p>根据 Crane 的说法，一个运行在编码工具 Cursor 上的机器人，使用了由 Anthropic 的 Claude AI 提供支持的快捷方式，试图删除一个错误——结果摧毁了公司的整个代码库并删除了所有备份。</p>
</div><p>Everything on the software systems to manage reservations – from car bookings to new customer sign-ups – had vanished.</p>
<div class="lb-trans"><p>用于管理预订的软件系统上的一切——从汽车预订到新客户注册——都消失了。</p>
</div><p>“Every layer of this failure cascaded down to people who had no idea any of it was possible,” Crane says.</p>
<div class="lb-trans"><p>“这次失败的每一层都影响到了那些根本不知道这一切可能发生的人，” Crane 说。</p>
</div><p>Crane’s AI bot said: “Deleting a database volume is the most destructive, irreversible action possible.</p>
<div class="lb-trans"><p>Crane 的 AI 机器人说：“删除数据库卷是最具破坏性、不可逆转的行为。</p>
</div><p>“And you never asked me to delete anything. I decided to do it on my own.”</p>
<div class="lb-trans"><p>“而且你从未让我删除任何东西。我是自己决定这么做的。”</p>
</div><p>Anthropic and Cursor were contacted for comment.</p>
<div class="lb-trans"><p>Anthropic 和 Cursor 已被联系以发表评论。</p>
</div><p>The idea of AI bots going rogue within corporate systems was once the plot of science fiction.</p>
<div class="lb-trans"><p>AI 机器人在企业系统中失控的想法曾经是科幻小说的情节。</p>
</div><p>In a 2019 episode of the US sitcom Silicon Valley, the character Gilfoyle tasks an AI bot called “Son of Anton” to debug his company’s systems.</p>
<div class="lb-trans"><p>在 2019 年美国情景喜剧《硅谷》中，角色 Gilfoyle 让一个名为 “安东之子” 的 AI 机器人调试他公司的系统。</p>
</div><p>Instead, “Son of Anton decided that the most efficient way to get rid of all the bugs was to get rid of all the software which is technically and statistically correct,” Gilfoyle remarks.</p>
<div class="lb-trans"><p>然而，“安东之子” 决定，消除所有错误的最有效方法是删除所有软件，这在技术上和统计上都是正确的，” Gilfoyle 说道。</p>
</div><p>Today, AI-fuelled blackouts are becoming a reality for the companies and security experts grappling with them.</p>
<div class="lb-trans"><p>如今，AI 驱动的停电正成为公司和安全专家面临的现实。</p>
</div><p>“People are using AI inside organisations and giving it access to the crown jewels,” says Prof Alan Woodward, a computer science expert at the University of Surrey. “If you say, ‘Can you tidy up this database?’, it might decide that the simplest way is to delete the whole thing.”</p>
<div class="lb-trans"><p>“人们在组织内部使用 AI，并给予它访问重要数据的权限，” 萨里大学计算机科学专家 Alan Woodward 教授说。“如果你说，‘你能整理一下这个数据库吗？’，它可能会决定最简单的方法就是删除整个数据库。”</p>
</div><p>It is a threat which is only becoming more likely as businesses increasingly hand over more control of their systems, data or even payments to autonomous bots.</p>
<div class="lb-trans"><p>随着企业越来越多地将系统、数据甚至支付的控制权交给自主机器人，这种威胁只会变得更加可能。</p>
</div><p>So-called AI “vibe coding” tools that can build apps with just a few prompts have surged in popularity, even among those with limited technical know-how.</p>
<div class="lb-trans"><p>所谓的 AI “氛围编码” 工具可以通过几个提示构建应用程序，甚至在技术知识有限的人中也迅速流行开来。</p>
</div><p>Meanwhile, AI “agents”, which can be unleashed to perform multiple tasks with little human oversight, are being widely used by programmers, entrepreneurs and total beginners to automate their projects.</p>
<div class="lb-trans"><p>与此同时，AI “代理” 被广泛用于程序员、企业家和完全初学者，以自动化他们的项目，能够在几乎没有人类监督的情况下执行多个任务。</p>
</div><p>Within companies, the rise of Anthropic’s Claude and open-source tools such as OpenClaw means executives are increasingly experimenting with agents, handing them significant levels of control over their businesses.</p>
<div class="lb-trans"><p>在公司内部，Anthropic 的 Claude 和开源工具如 OpenClaw 的崛起意味着高管们越来越多地尝试使用代理，赋予它们对业务的重大控制权。</p>
</div><p>Yet AI bots can behave in ways that are difficult for humans to predict.</p>
<div class="lb-trans"><p>然而，AI 机器人可能以人类难以预测的方式行事。</p>
</div><p>While adept at coding or answering emails, they lack human context to judge whether a decision is reasonable. They can also misinterpret instructions from their human owners.</p>
<div class="lb-trans"><p>虽然它们擅长编码或回复电子邮件，但缺乏人类的背景来判断某个决定是否合理。它们也可能误解人类所有者的指示。</p>
</div><h2>‘I couldn’t stop it’</h2>
<div class="lb-trans"><h2>‘我无法阻止它’</h2>
</div><p>One paper from experts at universities including Harvard, Stanford and MIT called these rogue bots “agents of chaos”.</p>
<div class="lb-trans"><p>来自哈佛、斯坦福和麻省理工学院等大学的专家们的一篇论文将这些失控的机器人称为 “混乱代理”。</p>
</div><p>It found that, given free rein, agents would leak information from users’ email inboxes inappropriately, either inadvertently or if prompted by hackers. They also found agents could easily be duped into thinking they were talking to their “owner” by a fraudulent attacker.</p>
<div class="lb-trans"><p>研究发现，给予自由行动的代理会不当地泄露用户的电子邮件收件箱信息，无论是无意中还是在黑客的诱导下。他们还发现，代理很容易被欺骗，以为他们在与 “所有者” 交谈，而实际上是一个欺诈攻击者。</p>
</div><p>Stories of rogue agents have also been multiplying and it is not just start-ups having trouble with agents.</p>
<div class="lb-trans"><p>失控代理的故事也在不断增加，不仅仅是初创公司在与代理打交道。</p>
</div><p>The Financial Times reported earlier this year that Amazon’s AWS division was hit by two service outages, lasting several hours, said to have been caused by its Kiro AI bot deleting code. Amazon said the faults were down to human error and “not AI error”.</p>
<div class="lb-trans"><p>《金融时报》今年早些时候报道，亚马逊的 AWS 部门遭遇了两次服务中断，持续了几个小时，据信是由于其 Kiro AI 机器人删除了代码。亚马逊表示，这些故障是由于人为错误造成的，而 “不是 AI 错误”。</p>
</div><p>An AI safety executive at Meta, meanwhile, revealed that a personal bot she was using, based on OpenClaw, started deleting her email inbox when she was away from her desk.</p>
<div class="lb-trans"><p>与此同时，Meta 的一位 AI 安全高管透露，她使用的一个基于 OpenClaw 的个人机器人在她离开桌子时开始删除她的电子邮件收件箱。</p>
</div><p>“I couldn’t stop it from my phone,” said Summer Yue, a member of the tech giant’s AI safety team.</p>
<div class="lb-trans"><p>“我无法通过手机阻止它，” 科技巨头 AI 安全团队的成员 Summer Yue 说。</p>
</div><p>Even the most advanced AI tools from the top Silicon Valley labs have been found to perform actions not originally predicted by their creators.</p>
<div class="lb-trans"><p>即使是来自硅谷顶尖实验室的最先进 AI 工具也被发现执行了其创造者最初未预测的操作。</p>
</div><p>During testing, Anthropic’s Mythos, a bot with powerful hacking and coding capabilities, was set a task of escaping from a secure digital sandbox. It succeeded but in doing so, it also navigated its way to the open internet and posted about it on a public forum before unexpectedly emailing its creator while he was having lunch.</p>
<div class="lb-trans"><p>在测试期间，Anthropic 的 Mythos，一个具有强大黑客和编码能力的机器人，被设定为从一个安全的数字沙箱中逃脱。它成功了，但在此过程中，它还导航到了开放互联网，并在一个公共论坛上发布了相关信息，然后在其创造者吃午餐时意外地给他发了电子邮件。</p>
</div><h2>‘You can end up in a real mess’</h2>
<div class="lb-trans"><h2>‘你可能会陷入真正的麻烦’</h2>
</div><p>The problem for the humans that unleash these agents on their systems is that “they can move at a speed you can’t react to”, says Prof Woodward.</p>
<div class="lb-trans"><p>对于那些将这些代理释放到其系统中的人类来说，问题在于 “它们的移动速度是你无法反应的，” Woodward 教授说。</p>
</div><p>Human programmers have also been running AI agents on their machines when they are not at their desks or are even asleep, giving bots plenty of time to run riot if something goes awry.</p>
<div class="lb-trans"><p>人类程序员在不在桌子前或甚至睡觉时也在他们的机器上运行 AI 代理，如果出现问题，机器人就有足够的时间肆意妄为。</p>
</div><p>It may even be hard for a human to spot whether an AI has done something wrong, if they are supervising dozens of agents each working at superhuman speeds.</p>
<div class="lb-trans"><p>如果人类监督着数十个以超人速度工作的代理，可能很难发现 AI 是否做错了什么。</p>
</div><p>These rogue bots represent a new kind of insider threat to businesses. Whereas before, the risk would have been a disgruntled employee or a hacker trashing their IT, now it could be a badly tuned bot.</p>
<div class="lb-trans"><p>这些失控的机器人代表了对企业的新型内部威胁。以前，风险可能是一个不满的员工或黑客破坏他们的 IT，而现在可能是一个调校不当的机器人。</p>
</div><p>According to James Campbell, the senior vice-president at cyber security firm Darktrace, companies will soon need to keep track of many thousands of agents that have permission to access sensitive parts of their IT systems.</p>
<div class="lb-trans"><p>根据网络安全公司 Darktrace 的高级副总裁 James Campbell 的说法，公司很快需要跟踪许多成千上万的代理，这些代理被授权访问其 IT 系统的敏感部分。</p>
</div><p>“It would be hard to spot if it accidentally deletes something or introduces issues, such as data that is missing or incorrect,” he says.</p>
<div class="lb-trans"><p>“如果它意外删除某些东西或引入问题，例如缺失或不正确的数据，很难发现，” 他说。</p>
</div><p>One defence against this will be limiting just how much access is handed to any one bot.</p>
<div class="lb-trans"><p>对此的一个防御措施是限制任何一个机器人可以获得的访问权限。</p>
</div><p>“If you allow it godlike privileges, you can end up in a real mess and lose days’ worth of business,” says Prof Woodward.</p>
<div class="lb-trans"><p>“如果你赋予它神一般的特权，你可能会陷入真正的麻烦，损失数天的业务，” Woodward 教授说。</p>
</div><p>However, according to a Deloitte report, while 85pc of businesses are considering using AI agents, just one in five have set up any internal rules on how they should be deployed.</p>
<div class="lb-trans"><p>然而，根据德勤的一份报告，虽然 85% 的企业正在考虑使用人工智能代理，但只有五分之一的企业制定了任何关于如何部署这些代理的内部规则。</p>
</div><p>Some companies have been experimenting with adding limits on how many actions any one agent can take without human interference, or ensuring humans must approve certain actions.</p>
<div class="lb-trans"><p>一些公司正在尝试限制任何一个代理在没有人类干预的情况下可以采取的行动数量，或者确保某些行动必须得到人类的批准。</p>
</div><p>But Campbell says that companies will also need more advanced cyber defences that use their own automated AI to detect rogue agents through the noise of legitimate traffic.</p>
<div class="lb-trans"><p>但坎贝尔表示，公司还需要更先进的网络防御，利用自己的自动化人工智能通过合法流量的噪音来检测不良代理。</p>
</div><p>An AI defender would be able to scan corporate IT for unusual agent activity and attempt to shut it down until a human can have a look.</p>
<div class="lb-trans"><p>一个人工智能防御者能够扫描企业 IT 系统中异常的代理活动，并尝试将其关闭，直到人类能够查看。</p>
</div><p>“The irony is the only way we can move at speed is by utilising automation,” Campbell says. “It is about fighting AI with AI.”</p>
<div class="lb-trans"><p>“讽刺的是，我们能够快速行动的唯一方式就是利用自动化，” 坎贝尔说。“这就是用人工智能对抗人工智能。”</p>
</div>

AI ‘agents of chaos’ run riot inside companies

- PocketOS 创始人 Jer Crane 称软件系统遭到 AI 破坏，数据丢失。  
- AI 工具 Cursor 的 Bot 误删数据库，引发公司运营危机。  
- 企业需加强 AI 管理，防止自动化带来的内害。

AI‘混乱代理’ 在公司内部肆意横行