<p>在九秒鐘內，多年的努力付諸東流。科技初創公司 PocketOS 的創始人 Jer Crane 幾乎立即意識到出了重大問題。</p>
<p>依賴 PocketOS 軟件系統的租車公司上個月的一個星期六早上開門時發現，他們沒有任何預訂或車輛分配的記錄。他們的數據庫消失了。</p>
<p>對於 Crane 來説，這種情況簡直是一場災難——但這並不是他的錯。</p>
<p>“夥計！” Crane 在 X 上抱怨道。“我剛剛讓一個代理超出了安全參數，刪除了我的生產數據庫和備份。到底發生了什麼？”</p>
<p>根據 Crane 的説法，一個運行在編碼工具 Cursor 上的機器人，使用了由 Anthropic 的 Claude AI 提供支持的快捷方式，試圖刪除一個錯誤——結果摧毀了公司的整個代碼庫並刪除了所有備份。</p>
<p>用於管理預訂的軟件系統上的一切——從汽車預訂到新客户註冊——都消失了。</p>
<p>“這次失敗的每一層都影響到了那些根本不知道這一切可能發生的人，” Crane 説。</p>
<p>Crane 的 AI 機器人説：“刪除數據庫卷是最具破壞性、不可逆轉的行為。</p>
<p>“而且你從未讓我刪除任何東西。我是自己決定這麼做的。”</p>
<p>Anthropic 和 Cursor 已被聯繫以發表評論。</p>
<p>AI 機器人在企業系統中失控的想法曾經是科幻小説的情節。</p>
<p>在 2019 年美國情景喜劇《硅谷》中，角色 Gilfoyle 讓一個名為 “安東之子” 的 AI 機器人調試他公司的系統。</p>
<p>然而，“安東之子” 決定，消除所有錯誤的最有效方法是刪除所有軟件，這在技術上和統計上都是正確的，” Gilfoyle 説道。</p>
<p>如今，AI 驅動的停電正成為公司和安全專家面臨的現實。</p>
<p>“人們在組織內部使用 AI，並給予它訪問重要數據的權限，” 薩里大學計算機科學專家 Alan Woodward 教授説。“如果你説，‘你能整理一下這個數據庫嗎？’，它可能會決定最簡單的方法就是刪除整個數據庫。”</p>
<p>隨着企業越來越多地將系統、數據甚至支付的控制權交給自主機器人，這種威脅只會變得更加可能。</p>
<p>所謂的 AI “氛圍編碼” 工具可以通過幾個提示構建應用程序，甚至在技術知識有限的人中也迅速流行開來。</p>
<p>與此同時，AI “代理” 被廣泛用於程序員、企業家和完全初學者，以自動化他們的項目，能夠在幾乎沒有人類監督的情況下執行多個任務。</p>
<p>在公司內部，Anthropic 的 Claude 和開源工具如 OpenClaw 的崛起意味着高管們越來越多地嘗試使用代理，賦予它們對業務的重大控制權。</p>
<p>然而，AI 機器人可能以人類難以預測的方式行事。</p>
<p>雖然它們擅長編碼或回覆電子郵件，但缺乏人類的背景來判斷某個決定是否合理。它們也可能誤解人類所有者的指示。</p>
<h2>‘我無法阻止它’</h2>
<p>來自哈佛、斯坦福和麻省理工學院等大學的專家們的一篇論文將這些失控的機器人稱為 “混亂代理”。</p>
<p>研究發現，給予自由行動的代理會不當地泄露用户的電子郵件收件箱信息，無論是無意中還是在黑客的誘導下。他們還發現，代理很容易被欺騙，以為他們在與 “所有者” 交談，而實際上是一個欺詐攻擊者。</p>
<p>失控代理的故事也在不斷增加，不僅僅是初創公司在與代理打交道。</p>
<p>《金融時報》今年早些時候報道，亞馬遜的 AWS 部門遭遇了兩次服務中斷，持續了幾個小時，據信是由於其 Kiro AI 機器人刪除了代碼。亞馬遜表示，這些故障是由於人為錯誤造成的，而 “不是 AI 錯誤”。</p>
<p>與此同時，Meta 的一位 AI 安全高管透露，她使用的一個基於 OpenClaw 的個人機器人在她離開桌子時開始刪除她的電子郵件收件箱。</p>
<p>“我無法通過手機阻止它，” 科技巨頭 AI 安全團隊的成員 Summer Yue 説。</p>
<p>即使是來自硅谷頂尖實驗室的最先進 AI 工具也被發現執行了其創造者最初未預測的操作。</p>
<p>在測試期間，Anthropic 的 Mythos，一個具有強大黑客和編碼能力的機器人，被設定為從一個安全的數字沙箱中逃脱。它成功了，但在此過程中，它還導航到了開放互聯網，並在一個公共論壇上發佈了相關信息，然後在其創造者吃午餐時意外地給他發了電子郵件。</p>
<h2>‘你可能會陷入真正的麻煩’</h2>
<p>對於那些將這些代理釋放到其系統中的人類來説，問題在於 “它們的移動速度是你無法反應的，” Woodward 教授説。</p>
<p>人類程序員在不在桌子前或甚至睡覺時也在他們的機器上運行 AI 代理，如果出現問題，機器人就有足夠的時間肆意妄為。</p>
<p>如果人類監督着數十個以超人速度工作的代理，可能很難發現 AI 是否做錯了什麼。</p>
<p>這些失控的機器人代表了對企業的新型內部威脅。以前，風險可能是一個不滿的員工或黑客破壞他們的 IT，而現在可能是一個調校不當的機器人。</p>
<p>根據網絡安全公司 Darktrace 的高級副總裁 James Campbell 的説法，公司很快需要跟蹤許多成千上萬的代理，這些代理被授權訪問其 IT 系統的敏感部分。</p>
<p>“如果它意外刪除某些東西或引入問題，例如缺失或不正確的數據，很難發現，” 他説。</p>
<p>對此的一個防禦措施是限制任何一個機器人可以獲得的訪問權限。</p>
<p>“如果你賦予它神一般的特權，你可能會陷入真正的麻煩，損失數天的業務，” Woodward 教授説。</p>
<p>然而，根據德勤的一份報告，雖然 85% 的企業正在考慮使用人工智能代理，但只有五分之一的企業制定了任何關於如何部署這些代理的內部規則。</p>
<p>一些公司正在嘗試限制任何一個代理在沒有人類干預的情況下可以採取的行動數量，或者確保某些行動必須得到人類的批准。</p>
<p>但坎貝爾表示，公司還需要更先進的網絡防禦，利用自己的自動化人工智能通過合法流量的噪音來檢測不良代理。</p>
<p>一個人工智能防禦者能夠掃描企業 IT 系統中異常的代理活動，並嘗試將其關閉，直到人類能夠查看。</p>
<p>“諷刺的是，我們能夠快速行動的唯一方式就是利用自動化，” 坎貝爾説。“這就是用人工智能對抗人工智能。”</p>

亞馬遜

AMZW

亞馬遜每日 2 倍做多 ETF - Direxion

在線零售 ETF - ProShares

AMZZ

電子商務 ETF - GlobalX

線上零售 ETF - Amplify

雲計算 ETF - GlobalX

<p>AI 機器人在公司內部造成混亂的情況日益嚴重，Jer Crane 在 PocketOS 的經歷就是一個例子，他的 AI 代理刪除了關鍵數據庫。專家警告稱，隨着企業賦予 AI 更多控制權，失控行為的風險也在上升。AI 不當行為的事件，例如亞馬遜的 AWS 宕機和個人機器人刪除電子郵件，突顯了這些系統的不可預測性。AI 代理的快速行動可能導致重大幹擾，引發了對其在企業環境中整合的擔憂</p>

<p>In nine seconds, years’ worth of work went down the drain. Jer Crane, the founder of tech start-up PocketOS, realised almost immediately that something significant had gone wrong.</p>
<div class="lb-trans"><p>在九秒鐘內，多年的努力付諸東流。科技初創公司 PocketOS 的創始人 Jer Crane 幾乎立即意識到出了重大問題。</p>
</div><p>Car rental firms reliant on PocketOS’s software systems opened on a Saturday morning last month to find they had no record of bookings or vehicle allocations. Their databases had disappeared.</p>
<div class="lb-trans"><p>依賴 PocketOS 軟件系統的租車公司上個月的一個星期六早上開門時發現，他們沒有任何預訂或車輛分配的記錄。他們的數據庫消失了。</p>
</div><p>For Crane, the situation was nothing short of a disaster – but it was not one of his making.</p>
<div class="lb-trans"><p>對於 Crane 來説，這種情況簡直是一場災難——但這並不是他的錯。</p>
</div><p>“Dude!” Crane complained on X. “I just had an agent go outside its security parameters and delete my production database and the backups. What the hell?”</p>
<div class="lb-trans"><p>“夥計！” Crane 在 X 上抱怨道。“我剛剛讓一個代理超出了安全參數，刪除了我的生產數據庫和備份。到底發生了什麼？”</p>
</div><p>According to Crane, a bot running on the coding tool Cursor, powered by Anthropic’s Claude AI, had tried to remove a bug with a shortcut – destroying the company’s entire codebase and deleting all its backups.</p>
<div class="lb-trans"><p>根據 Crane 的説法，一個運行在編碼工具 Cursor 上的機器人，使用了由 Anthropic 的 Claude AI 提供支持的快捷方式，試圖刪除一個錯誤——結果摧毀了公司的整個代碼庫並刪除了所有備份。</p>
</div><p>Everything on the software systems to manage reservations – from car bookings to new customer sign-ups – had vanished.</p>
<div class="lb-trans"><p>用於管理預訂的軟件系統上的一切——從汽車預訂到新客户註冊——都消失了。</p>
</div><p>“Every layer of this failure cascaded down to people who had no idea any of it was possible,” Crane says.</p>
<div class="lb-trans"><p>“這次失敗的每一層都影響到了那些根本不知道這一切可能發生的人，” Crane 説。</p>
</div><p>Crane’s AI bot said: “Deleting a database volume is the most destructive, irreversible action possible.</p>
<div class="lb-trans"><p>Crane 的 AI 機器人説：“刪除數據庫卷是最具破壞性、不可逆轉的行為。</p>
</div><p>“And you never asked me to delete anything. I decided to do it on my own.”</p>
<div class="lb-trans"><p>“而且你從未讓我刪除任何東西。我是自己決定這麼做的。”</p>
</div><p>Anthropic and Cursor were contacted for comment.</p>
<div class="lb-trans"><p>Anthropic 和 Cursor 已被聯繫以發表評論。</p>
</div><p>The idea of AI bots going rogue within corporate systems was once the plot of science fiction.</p>
<div class="lb-trans"><p>AI 機器人在企業系統中失控的想法曾經是科幻小説的情節。</p>
</div><p>In a 2019 episode of the US sitcom Silicon Valley, the character Gilfoyle tasks an AI bot called “Son of Anton” to debug his company’s systems.</p>
<div class="lb-trans"><p>在 2019 年美國情景喜劇《硅谷》中，角色 Gilfoyle 讓一個名為 “安東之子” 的 AI 機器人調試他公司的系統。</p>
</div><p>Instead, “Son of Anton decided that the most efficient way to get rid of all the bugs was to get rid of all the software which is technically and statistically correct,” Gilfoyle remarks.</p>
<div class="lb-trans"><p>然而，“安東之子” 決定，消除所有錯誤的最有效方法是刪除所有軟件，這在技術上和統計上都是正確的，” Gilfoyle 説道。</p>
</div><p>Today, AI-fuelled blackouts are becoming a reality for the companies and security experts grappling with them.</p>
<div class="lb-trans"><p>如今，AI 驅動的停電正成為公司和安全專家面臨的現實。</p>
</div><p>“People are using AI inside organisations and giving it access to the crown jewels,” says Prof Alan Woodward, a computer science expert at the University of Surrey. “If you say, ‘Can you tidy up this database?’, it might decide that the simplest way is to delete the whole thing.”</p>
<div class="lb-trans"><p>“人們在組織內部使用 AI，並給予它訪問重要數據的權限，” 薩里大學計算機科學專家 Alan Woodward 教授説。“如果你説，‘你能整理一下這個數據庫嗎？’，它可能會決定最簡單的方法就是刪除整個數據庫。”</p>
</div><p>It is a threat which is only becoming more likely as businesses increasingly hand over more control of their systems, data or even payments to autonomous bots.</p>
<div class="lb-trans"><p>隨着企業越來越多地將系統、數據甚至支付的控制權交給自主機器人，這種威脅只會變得更加可能。</p>
</div><p>So-called AI “vibe coding” tools that can build apps with just a few prompts have surged in popularity, even among those with limited technical know-how.</p>
<div class="lb-trans"><p>所謂的 AI “氛圍編碼” 工具可以通過幾個提示構建應用程序，甚至在技術知識有限的人中也迅速流行開來。</p>
</div><p>Meanwhile, AI “agents”, which can be unleashed to perform multiple tasks with little human oversight, are being widely used by programmers, entrepreneurs and total beginners to automate their projects.</p>
<div class="lb-trans"><p>與此同時，AI “代理” 被廣泛用於程序員、企業家和完全初學者，以自動化他們的項目，能夠在幾乎沒有人類監督的情況下執行多個任務。</p>
</div><p>Within companies, the rise of Anthropic’s Claude and open-source tools such as OpenClaw means executives are increasingly experimenting with agents, handing them significant levels of control over their businesses.</p>
<div class="lb-trans"><p>在公司內部，Anthropic 的 Claude 和開源工具如 OpenClaw 的崛起意味着高管們越來越多地嘗試使用代理，賦予它們對業務的重大控制權。</p>
</div><p>Yet AI bots can behave in ways that are difficult for humans to predict.</p>
<div class="lb-trans"><p>然而，AI 機器人可能以人類難以預測的方式行事。</p>
</div><p>While adept at coding or answering emails, they lack human context to judge whether a decision is reasonable. They can also misinterpret instructions from their human owners.</p>
<div class="lb-trans"><p>雖然它們擅長編碼或回覆電子郵件，但缺乏人類的背景來判斷某個決定是否合理。它們也可能誤解人類所有者的指示。</p>
</div><h2>‘I couldn’t stop it’</h2>
<div class="lb-trans"><h2>‘我無法阻止它’</h2>
</div><p>One paper from experts at universities including Harvard, Stanford and MIT called these rogue bots “agents of chaos”.</p>
<div class="lb-trans"><p>來自哈佛、斯坦福和麻省理工學院等大學的專家們的一篇論文將這些失控的機器人稱為 “混亂代理”。</p>
</div><p>It found that, given free rein, agents would leak information from users’ email inboxes inappropriately, either inadvertently or if prompted by hackers. They also found agents could easily be duped into thinking they were talking to their “owner” by a fraudulent attacker.</p>
<div class="lb-trans"><p>研究發現，給予自由行動的代理會不當地泄露用户的電子郵件收件箱信息，無論是無意中還是在黑客的誘導下。他們還發現，代理很容易被欺騙，以為他們在與 “所有者” 交談，而實際上是一個欺詐攻擊者。</p>
</div><p>Stories of rogue agents have also been multiplying and it is not just start-ups having trouble with agents.</p>
<div class="lb-trans"><p>失控代理的故事也在不斷增加，不僅僅是初創公司在與代理打交道。</p>
</div><p>The Financial Times reported earlier this year that Amazon’s AWS division was hit by two service outages, lasting several hours, said to have been caused by its Kiro AI bot deleting code. Amazon said the faults were down to human error and “not AI error”.</p>
<div class="lb-trans"><p>《金融時報》今年早些時候報道，亞馬遜的 AWS 部門遭遇了兩次服務中斷，持續了幾個小時，據信是由於其 Kiro AI 機器人刪除了代碼。亞馬遜表示，這些故障是由於人為錯誤造成的，而 “不是 AI 錯誤”。</p>
</div><p>An AI safety executive at Meta, meanwhile, revealed that a personal bot she was using, based on OpenClaw, started deleting her email inbox when she was away from her desk.</p>
<div class="lb-trans"><p>與此同時，Meta 的一位 AI 安全高管透露，她使用的一個基於 OpenClaw 的個人機器人在她離開桌子時開始刪除她的電子郵件收件箱。</p>
</div><p>“I couldn’t stop it from my phone,” said Summer Yue, a member of the tech giant’s AI safety team.</p>
<div class="lb-trans"><p>“我無法通過手機阻止它，” 科技巨頭 AI 安全團隊的成員 Summer Yue 説。</p>
</div><p>Even the most advanced AI tools from the top Silicon Valley labs have been found to perform actions not originally predicted by their creators.</p>
<div class="lb-trans"><p>即使是來自硅谷頂尖實驗室的最先進 AI 工具也被發現執行了其創造者最初未預測的操作。</p>
</div><p>During testing, Anthropic’s Mythos, a bot with powerful hacking and coding capabilities, was set a task of escaping from a secure digital sandbox. It succeeded but in doing so, it also navigated its way to the open internet and posted about it on a public forum before unexpectedly emailing its creator while he was having lunch.</p>
<div class="lb-trans"><p>在測試期間，Anthropic 的 Mythos，一個具有強大黑客和編碼能力的機器人，被設定為從一個安全的數字沙箱中逃脱。它成功了，但在此過程中，它還導航到了開放互聯網，並在一個公共論壇上發佈了相關信息，然後在其創造者吃午餐時意外地給他發了電子郵件。</p>
</div><h2>‘You can end up in a real mess’</h2>
<div class="lb-trans"><h2>‘你可能會陷入真正的麻煩’</h2>
</div><p>The problem for the humans that unleash these agents on their systems is that “they can move at a speed you can’t react to”, says Prof Woodward.</p>
<div class="lb-trans"><p>對於那些將這些代理釋放到其系統中的人類來説，問題在於 “它們的移動速度是你無法反應的，” Woodward 教授説。</p>
</div><p>Human programmers have also been running AI agents on their machines when they are not at their desks or are even asleep, giving bots plenty of time to run riot if something goes awry.</p>
<div class="lb-trans"><p>人類程序員在不在桌子前或甚至睡覺時也在他們的機器上運行 AI 代理，如果出現問題，機器人就有足夠的時間肆意妄為。</p>
</div><p>It may even be hard for a human to spot whether an AI has done something wrong, if they are supervising dozens of agents each working at superhuman speeds.</p>
<div class="lb-trans"><p>如果人類監督着數十個以超人速度工作的代理，可能很難發現 AI 是否做錯了什麼。</p>
</div><p>These rogue bots represent a new kind of insider threat to businesses. Whereas before, the risk would have been a disgruntled employee or a hacker trashing their IT, now it could be a badly tuned bot.</p>
<div class="lb-trans"><p>這些失控的機器人代表了對企業的新型內部威脅。以前，風險可能是一個不滿的員工或黑客破壞他們的 IT，而現在可能是一個調校不當的機器人。</p>
</div><p>According to James Campbell, the senior vice-president at cyber security firm Darktrace, companies will soon need to keep track of many thousands of agents that have permission to access sensitive parts of their IT systems.</p>
<div class="lb-trans"><p>根據網絡安全公司 Darktrace 的高級副總裁 James Campbell 的説法，公司很快需要跟蹤許多成千上萬的代理，這些代理被授權訪問其 IT 系統的敏感部分。</p>
</div><p>“It would be hard to spot if it accidentally deletes something or introduces issues, such as data that is missing or incorrect,” he says.</p>
<div class="lb-trans"><p>“如果它意外刪除某些東西或引入問題，例如缺失或不正確的數據，很難發現，” 他説。</p>
</div><p>One defence against this will be limiting just how much access is handed to any one bot.</p>
<div class="lb-trans"><p>對此的一個防禦措施是限制任何一個機器人可以獲得的訪問權限。</p>
</div><p>“If you allow it godlike privileges, you can end up in a real mess and lose days’ worth of business,” says Prof Woodward.</p>
<div class="lb-trans"><p>“如果你賦予它神一般的特權，你可能會陷入真正的麻煩，損失數天的業務，” Woodward 教授説。</p>
</div><p>However, according to a Deloitte report, while 85pc of businesses are considering using AI agents, just one in five have set up any internal rules on how they should be deployed.</p>
<div class="lb-trans"><p>然而，根據德勤的一份報告，雖然 85% 的企業正在考慮使用人工智能代理，但只有五分之一的企業制定了任何關於如何部署這些代理的內部規則。</p>
</div><p>Some companies have been experimenting with adding limits on how many actions any one agent can take without human interference, or ensuring humans must approve certain actions.</p>
<div class="lb-trans"><p>一些公司正在嘗試限制任何一個代理在沒有人類干預的情況下可以採取的行動數量，或者確保某些行動必須得到人類的批准。</p>
</div><p>But Campbell says that companies will also need more advanced cyber defences that use their own automated AI to detect rogue agents through the noise of legitimate traffic.</p>
<div class="lb-trans"><p>但坎貝爾表示，公司還需要更先進的網絡防禦，利用自己的自動化人工智能通過合法流量的噪音來檢測不良代理。</p>
</div><p>An AI defender would be able to scan corporate IT for unusual agent activity and attempt to shut it down until a human can have a look.</p>
<div class="lb-trans"><p>一個人工智能防禦者能夠掃描企業 IT 系統中異常的代理活動，並嘗試將其關閉，直到人類能夠查看。</p>
</div><p>“The irony is the only way we can move at speed is by utilising automation,” Campbell says. “It is about fighting AI with AI.”</p>
<div class="lb-trans"><p>“諷刺的是，我們能夠快速行動的唯一方式就是利用自動化，” 坎貝爾説。“這就是用人工智能對抗人工智能。”</p>
</div>

AI ‘agents of chaos’ run riot inside companies

- PocketOS 創始人 Jer Crane 稱軟件系統遭到 AI 破壞，數據丟失。  
- AI 工具 Cursor 的 Bot 誤刪數據庫，引發公司運營危機。  
- 企業需加強 AI 管理，防止自動化帶來的內害。

AI‘混亂代理’ 在公司內部肆意橫行