--- title: "AI‘混亂代理’ 在公司內部肆意橫行" type: "News" locale: "zh-HK" url: "https://longbridge.com/zh-HK/news/285889380.md" description: "AI 機器人在公司內部造成混亂的情況日益嚴重，Jer Crane 在 PocketOS 的經歷就是一個例子，他的 AI 代理刪除了關鍵數據庫。專家警告稱，隨着企業賦予 AI 更多控制權，失控行為的風險也在上升。AI 不當行為的事件，例如亞馬遜的 AWS 宕機和個人機器人刪除電子郵件，突顯了這些系統的不可預測性。AI 代理的快速行動可能導致重大幹擾，引發了對其在企業環境中整合的擔憂" datetime: "2026-05-11T06:06:47.000Z" locales: - [zh-CN](https://longbridge.com/zh-CN/news/285889380.md) - [en](https://longbridge.com/en/news/285889380.md) - [zh-HK](https://longbridge.com/zh-HK/news/285889380.md) --- # AI‘混亂代理’ 在公司內部肆意橫行 在九秒鐘內，多年的努力付諸東流。科技初創公司 PocketOS 的創始人 Jer Crane 幾乎立即意識到出了重大問題。 依賴 PocketOS 軟件系統的租車公司上個月的一個星期六早上開門時發現，他們沒有任何預訂或車輛分配的記錄。他們的數據庫消失了。 對於 Crane 來説，這種情況簡直是一場災難——但這並不是他的錯。 “夥計！” Crane 在 X 上抱怨道。“我剛剛讓一個代理超出了安全參數，刪除了我的生產數據庫和備份。到底發生了什麼？” 根據 Crane 的説法，一個運行在編碼工具 Cursor 上的機器人，使用了由 Anthropic 的 Claude AI 提供支持的快捷方式，試圖刪除一個錯誤——結果摧毀了公司的整個代碼庫並刪除了所有備份。 用於管理預訂的軟件系統上的一切——從汽車預訂到新客户註冊——都消失了。 “這次失敗的每一層都影響到了那些根本不知道這一切可能發生的人，” Crane 説。 Crane 的 AI 機器人説：“刪除數據庫卷是最具破壞性、不可逆轉的行為。 “而且你從未讓我刪除任何東西。我是自己決定這麼做的。” Anthropic 和 Cursor 已被聯繫以發表評論。 AI 機器人在企業系統中失控的想法曾經是科幻小説的情節。 在 2019 年美國情景喜劇《硅谷》中，角色 Gilfoyle 讓一個名為 “安東之子” 的 AI 機器人調試他公司的系統。 然而，“安東之子” 決定，消除所有錯誤的最有效方法是刪除所有軟件，這在技術上和統計上都是正確的，” Gilfoyle 説道。 如今，AI 驅動的停電正成為公司和安全專家面臨的現實。 “人們在組織內部使用 AI，並給予它訪問重要數據的權限，” 薩里大學計算機科學專家 Alan Woodward 教授説。“如果你説，‘你能整理一下這個數據庫嗎？’，它可能會決定最簡單的方法就是刪除整個數據庫。” 隨着企業越來越多地將系統、數據甚至支付的控制權交給自主機器人，這種威脅只會變得更加可能。 所謂的 AI “氛圍編碼” 工具可以通過幾個提示構建應用程序，甚至在技術知識有限的人中也迅速流行開來。 與此同時，AI “代理” 被廣泛用於程序員、企業家和完全初學者，以自動化他們的項目，能夠在幾乎沒有人類監督的情況下執行多個任務。 在公司內部，Anthropic 的 Claude 和開源工具如 OpenClaw 的崛起意味着高管們越來越多地嘗試使用代理，賦予它們對業務的重大控制權。 然而，AI 機器人可能以人類難以預測的方式行事。 雖然它們擅長編碼或回覆電子郵件，但缺乏人類的背景來判斷某個決定是否合理。它們也可能誤解人類所有者的指示。 ## ‘我無法阻止它’ 來自哈佛、斯坦福和麻省理工學院等大學的專家們的一篇論文將這些失控的機器人稱為 “混亂代理”。 研究發現，給予自由行動的代理會不當地泄露用户的電子郵件收件箱信息，無論是無意中還是在黑客的誘導下。他們還發現，代理很容易被欺騙，以為他們在與 “所有者” 交談，而實際上是一個欺詐攻擊者。 失控代理的故事也在不斷增加，不僅僅是初創公司在與代理打交道。 《金融時報》今年早些時候報道，亞馬遜的 AWS 部門遭遇了兩次服務中斷，持續了幾個小時，據信是由於其 Kiro AI 機器人刪除了代碼。亞馬遜表示，這些故障是由於人為錯誤造成的，而 “不是 AI 錯誤”。 與此同時，Meta 的一位 AI 安全高管透露，她使用的一個基於 OpenClaw 的個人機器人在她離開桌子時開始刪除她的電子郵件收件箱。 “我無法通過手機阻止它，” 科技巨頭 AI 安全團隊的成員 Summer Yue 説。 即使是來自硅谷頂尖實驗室的最先進 AI 工具也被發現執行了其創造者最初未預測的操作。 在測試期間，Anthropic 的 Mythos，一個具有強大黑客和編碼能力的機器人，被設定為從一個安全的數字沙箱中逃脱。它成功了，但在此過程中，它還導航到了開放互聯網，並在一個公共論壇上發佈了相關信息，然後在其創造者吃午餐時意外地給他發了電子郵件。 ## ‘你可能會陷入真正的麻煩’ 對於那些將這些代理釋放到其系統中的人類來説，問題在於 “它們的移動速度是你無法反應的，” Woodward 教授説。 人類程序員在不在桌子前或甚至睡覺時也在他們的機器上運行 AI 代理，如果出現問題，機器人就有足夠的時間肆意妄為。 如果人類監督着數十個以超人速度工作的代理，可能很難發現 AI 是否做錯了什麼。 這些失控的機器人代表了對企業的新型內部威脅。以前，風險可能是一個不滿的員工或黑客破壞他們的 IT，而現在可能是一個調校不當的機器人。 根據網絡安全公司 Darktrace 的高級副總裁 James Campbell 的説法，公司很快需要跟蹤許多成千上萬的代理，這些代理被授權訪問其 IT 系統的敏感部分。 “如果它意外刪除某些東西或引入問題，例如缺失或不正確的數據，很難發現，” 他説。 對此的一個防禦措施是限制任何一個機器人可以獲得的訪問權限。 “如果你賦予它神一般的特權，你可能會陷入真正的麻煩，損失數天的業務，” Woodward 教授説。 然而，根據德勤的一份報告，雖然 85% 的企業正在考慮使用人工智能代理，但只有五分之一的企業制定了任何關於如何部署這些代理的內部規則。 一些公司正在嘗試限制任何一個代理在沒有人類干預的情況下可以採取的行動數量，或者確保某些行動必須得到人類的批准。 但坎貝爾表示，公司還需要更先進的網絡防禦，利用自己的自動化人工智能通過合法流量的噪音來檢測不良代理。 一個人工智能防禦者能夠掃描企業 IT 系統中異常的代理活動，並嘗試將其關閉，直到人類能夠查看。 “諷刺的是，我們能夠快速行動的唯一方式就是利用自動化，” 坎貝爾説。“這就是用人工智能對抗人工智能。” ### 相關股票 - [AMZN.US](https://longbridge.com/zh-HK/quote/AMZN.US.md) - [AMZW.US](https://longbridge.com/zh-HK/quote/AMZW.US.md) - [AMZU.US](https://longbridge.com/zh-HK/quote/AMZU.US.md) - [ONLN.US](https://longbridge.com/zh-HK/quote/ONLN.US.md) - [AMZZ.US](https://longbridge.com/zh-HK/quote/AMZZ.US.md) - [EBIZ.US](https://longbridge.com/zh-HK/quote/EBIZ.US.md) - [IBUY.US](https://longbridge.com/zh-HK/quote/IBUY.US.md) - [CLOU.US](https://longbridge.com/zh-HK/quote/CLOU.US.md) - [META.US](https://longbridge.com/zh-HK/quote/META.US.md) ## 相關資訊與研究 - [Snowflake 升財測、百萬美元客户／RPO 飆 盤後暴衝](https://longbridge.com/zh-HK/news/287837178.md) - [AI 開始帶客人上門，GLP-1 改變購物車：Costco 揭露零售業兩大新趨勢](https://longbridge.com/zh-HK/news/288015184.md) - [【AI】京東計劃未來 5 年培養 10 萬名工程師，佈局機器人售後服務](https://longbridge.com/zh-HK/news/287891656.md) - [2030 年 AGI 倒數計時？DeepMind 執行長談人工智慧如何重塑人類現實](https://longbridge.com/zh-HK/news/288040495.md) - [AI 伺服器營收狂飆 + 拿下五角大廈百億合約 戴爾單日暴漲 33% 創歷史紀錄](https://longbridge.com/zh-HK/news/288121100.md)