<p>紅隊安全初創公司 CodeWall 的研究人員表示，他們的 AI 代理在僅僅兩個小時內就黑入了麥肯錫的內部 AI 平台，並獲得了對聊天機器人的完全讀寫訪問權限。</p>
<p>這再次表明，具備自主能力的 AI 正成為進行網絡攻擊的更有效工具，包括針對其他 AI 系統的攻擊。</p>
<p>這次攻擊並非出於惡意。然而，威脅獵手告訴我們，惡意分子越來越多地在現實世界的攻擊中使用代理，這表明機器速度的入侵不會消失。</p>
<p>麥肯錫是一家專注於為大型企業和政府提供複雜戰略工作的超級管理諮詢公司，於 2023 年 7 月推出了其名為 Lilli 的生成式 AI 平台。根據該公司的説法，72% 的員工——超過 40,000 人——現在使用該聊天機器人，每月處理超過 500,000 個提示。</p>
<p>CodeWall 使用 AI 代理持續攻擊客户的基礎設施，以幫助他們改善安全態勢。根據這家初創公司的説法，其安全代理建議針對麥肯錫，引用了該諮詢公司的公開負責任披露政策和最近對 Lilli 的更新。</p>
<p>“所以我們決定將我們的自主攻擊代理指向它，” 研究人員在週一的博客中寫道，並指出該代理沒有訪問麥肯錫資產的任何憑證。</p>
<p>CodeWall 的研究人員聲稱，在開始紅隊突襲的兩個小時內，他們獲得了對整個生產數據庫的完全讀寫訪問權限，並能夠訪問 4650 萬條關於戰略、併購和客户參與的聊天消息，所有內容均為明文，以及 728,000 個包含機密客户數據的文件、57,000 個用户賬户和 95 個控制 AI 行為的系統提示。這些提示都是可寫的，這意味着攻擊者可以毒化 Lilli 向所有使用該聊天機器人的數萬名顧問輸出的內容。</p>
<p>CodeWall 的代理在 2 月底發現了 SQL 注入漏洞，研究人員在 3 月 1 日披露了完整的攻擊鏈。到第二天，麥肯錫已修補了所有未經身份驗證的端點，關閉了開發環境，並阻止了公共 API 文檔。</p>
<p>麥肯錫的一位發言人告訴 <em>The Register</em>，在得知問題後，他們在數小時內修復了 CodeWall 識別的所有問題。</p>
<p>“我們的調查在一家領先的第三方取證公司的支持下，未發現該研究人員或任何其他未經授權的第三方訪問客户數據或客户機密信息的證據，” 發言人告訴我們。“麥肯錫的網絡安全系統是強大的，我們沒有比保護客户數據和我們所信任的信息更高的優先事項。”</p>
<h3>AI 對抗 AI</h3>
<p>CodeWall 首席執行官 Paul Price 拒絕透露他的團隊用來利用聊天機器人的確切提示，但表示整個過程是 “完全自主的，從研究目標、分析、攻擊到報告。”</p>
<p>CodeWall 代理最初通過找到公開暴露的 API 文檔獲得了對 Lilli 的訪問權限，包括 22 個不需要身份驗證的端點。其中一個寫入用户搜索查詢，代理發現 JSON 鍵（這些是字段名稱）被連接到 SQL 中，並且容易受到 SQL 注入攻擊。</p>
<p>“當它發現 JSON 鍵在數據庫錯誤消息中逐字反映時，它識別出一種標準工具不會標記的 SQL 注入，” 研究人員寫道，並補充説錯誤消息最終開始輸出實時生產數據。</p>
<p>更糟糕的是：Lilli 的系統提示存儲在同一個數據庫中，這使得代理也可以訪問這些提示。</p>
<ul>
<li>AI 代理現在幫助攻擊者，包括朝鮮，管理他們的繁重工作</li>
<li>微軟 Azure 首席技術官將 Claude 設置在他的 1986 年 Apple II 代碼上，稱其發現了漏洞</li>
<li>帶有惡意軟件的 OpenClaw 安裝程序獲得 Bing AI 搜索提升</li>
<li>OpenAI 表示中國警方使用 ChatGPT 計劃和追蹤對對手的抹黑行動</li>
</ul>
<p>由於 SQL 注入漏洞是可讀可寫的，攻擊者可以利用這一點悄悄重寫 Lilli 的提示，從而毒化聊天機器人回答顧問查詢的方式、遵循的保護措施以及引用的來源。“不需要部署，” 博客上寫道。“不需要代碼更改。只需一個單獨的 UPDATE 語句包裝在一個單獨的 HTTP 調用中。”</p>
<p>這些安全漏洞現在已被修補——但更大的威脅仍然存在，Price 告訴 <em>The Register</em>。</p>
<p>“我們使用了一個特定的 AI 研究代理來自主選擇目標，它在沒有任何人工輸入的情況下完成了這一過程，” 他説。“黑客將使用相同的技術和策略進行無差別攻擊，心中有特定目標，” 例如 “因數據丟失進行財務勒索或勒索軟件。” ®</p>

Check Point 軟件

CYBR

網絡安全 ETF - GlobalX

IHAK

納斯達克網絡安全 ETF - First Trust

<p>CodeWall 的研究人員報告稱，他們的 AI 代理在僅僅兩個小時內成功入侵了麥肯錫的聊天機器人 Lilli，獲得了完全的讀寫權限。此事件突顯了 AI 在網絡攻擊中日益增強的有效性。儘管此次攻擊並非惡意，但它展示了 AI 代理在現實世界攻擊中被利用的潛力。麥肯錫迅速修補了漏洞，並聲稱沒有客户數據受到損害。該事件引發了人們對未來 AI 在網絡威脅中使用的擔憂，包括金融勒索和 ransomware</p>

<p>Researchers at red-team security startup CodeWall say their AI agent hacked McKinsey's internal AI platform and gained full read and write access to the chatbot in just two hours.</p>
<div class="lb-trans"><p>紅隊安全初創公司 CodeWall 的研究人員表示，他們的 AI 代理在僅僅兩個小時內就黑入了麥肯錫的內部 AI 平台，並獲得了對聊天機器人的完全讀寫訪問權限。</p>
</div><p>It's yet another indicator that agentic AI is becoming a more effective tool for conducting cyberattacks, including those against other AI systems.</p>
<div class="lb-trans"><p>這再次表明，具備自主能力的 AI 正成為進行網絡攻擊的更有效工具，包括針對其他 AI 系統的攻擊。</p>
</div><p>This attack wasn’t conducted with malicious intent. However, threat hunters tell us that miscreants are increasingly using agents in real-world attacks, indicating that machine-speed intrusions aren't going away.</p>
<div class="lb-trans"><p>這次攻擊並非出於惡意。然而，威脅獵手告訴我們，惡意分子越來越多地在現實世界的攻擊中使用代理，這表明機器速度的入侵不會消失。</p>
</div><p>McKinsey, a mega-management consultancy that specializes in gnarly strategy work for huge corporations and governments, rolled out its generative AI platform called Lilli in July 2023. According to the company, 72 percent of its employees – that's upwards of 40,000 people – now use the chatbot, which processes more than 500,000 prompts every month.</p>
<div class="lb-trans"><p>麥肯錫是一家專注於為大型企業和政府提供複雜戰略工作的超級管理諮詢公司，於 2023 年 7 月推出了其名為 Lilli 的生成式 AI 平台。根據該公司的説法，72% 的員工——超過 40,000 人——現在使用該聊天機器人，每月處理超過 500,000 個提示。</p>
</div><p>CodeWall uses AI agents to continuously attack customers' infrastructure, to help them improve their security posture. According to the startup, its own security agent suggested targeting McKinsey, citing the consulting company's public responsible disclosure policy and recent updates to Lilli.</p>
<div class="lb-trans"><p>CodeWall 使用 AI 代理持續攻擊客户的基礎設施，以幫助他們改善安全態勢。根據這家初創公司的説法，其安全代理建議針對麥肯錫，引用了該諮詢公司的公開負責任披露政策和最近對 Lilli 的更新。</p>
</div><p>&#34;So we decided to point our autonomous offensive agent at it,&#34; the researchers wrote in a Monday blog, noting that the agent didn't have access to any credentials for McKinsey’s assets.</p>
<div class="lb-trans"><p>“所以我們決定將我們的自主攻擊代理指向它，” 研究人員在週一的博客中寫道，並指出該代理沒有訪問麥肯錫資產的任何憑證。</p>
</div><p>CodeWall’s researchers claim that within two hours of starting their red team raid, they achieved full read and write access to the entire production database and were able to access 46.5 million chat messages about strategy, mergers and acquisitions, and client engagements, all in plaintext, along with 728,000 files containing confidential client data, 57,000 user accounts, and 95 system prompts controlling the AI's behavior. These prompts were all writable, meaning an attacker could poison everything Lilli spits out to all of the tens of thousands of consultants using the chatbot.</p>
<div class="lb-trans"><p>CodeWall 的研究人員聲稱，在開始紅隊突襲的兩個小時內，他們獲得了對整個生產數據庫的完全讀寫訪問權限，並能夠訪問 4650 萬條關於戰略、併購和客户參與的聊天消息，所有內容均為明文，以及 728,000 個包含機密客户數據的文件、57,000 個用户賬户和 95 個控制 AI 行為的系統提示。這些提示都是可寫的，這意味着攻擊者可以毒化 Lilli 向所有使用該聊天機器人的數萬名顧問輸出的內容。</p>
</div><p>CodeWall's agent found the SQL injection flaw at the end of February, and the researchers disclosed the full attack chain on March 1. By the following day, McKinsey had patched all unauthenticated endpoints, taken the development environment offline, and blocked public API documentation.</p>
<div class="lb-trans"><p>CodeWall 的代理在 2 月底發現了 SQL 注入漏洞，研究人員在 3 月 1 日披露了完整的攻擊鏈。到第二天，麥肯錫已修補了所有未經身份驗證的端點，關閉了開發環境，並阻止了公共 API 文檔。</p>
</div><p>A McKinsey spokesperson told <em>The Register</em> that it fixed all of the issues identified by CodeWall within hours of learning about the problems.</p>
<div class="lb-trans"><p>麥肯錫的一位發言人告訴 <em>The Register</em>，在得知問題後，他們在數小時內修復了 CodeWall 識別的所有問題。</p>
</div><p>&#34;Our investigation, supported by a leading third-party forensics firm, identified no evidence that client data or client confidential information were accessed by this researcher or any other unauthorized third party,&#34; the spokesperson told us. &#34;McKinsey's cybersecurity systems are robust, and we have no higher priority than the protection of client data and information we have been entrusted with.&#34;</p>
<div class="lb-trans"><p>“我們的調查在一家領先的第三方取證公司的支持下，未發現該研究人員或任何其他未經授權的第三方訪問客户數據或客户機密信息的證據，” 發言人告訴我們。“麥肯錫的網絡安全系統是強大的，我們沒有比保護客户數據和我們所信任的信息更高的優先事項。”</p>
</div><h3>AI vs AI</h3>
<div class="lb-trans"><h3>AI 對抗 AI</h3>
</div><p>CodeWall CEO Paul Price declined to tell us the exact prompts his team used to exploit the chatbot, but said the entire process was &#34;fully autonomous from researching the target, analyzing, attacking, and reporting.&#34;</p>
<div class="lb-trans"><p>CodeWall 首席執行官 Paul Price 拒絕透露他的團隊用來利用聊天機器人的確切提示，但表示整個過程是 “完全自主的，從研究目標、分析、攻擊到報告。”</p>
</div><p>The CodeWall agent initially gained access to Lilli after finding publicly exposed API documentation, including 22 endpoints that didn't require authentication. One of these wrote user search queries, and the agent found that the JSON keys (these are the field names) were concatenated into SQL and vulnerable to SQL injection.</p>
<div class="lb-trans"><p>CodeWall 代理最初通過找到公開暴露的 API 文檔獲得了對 Lilli 的訪問權限，包括 22 個不需要身份驗證的端點。其中一個寫入用户搜索查詢，代理發現 JSON 鍵（這些是字段名稱）被連接到 SQL 中，並且容易受到 SQL 注入攻擊。</p>
</div><p>&#34;When it found JSON keys reflected verbatim in database error messages, it recognised a SQL injection that standard tools wouldn't flag,&#34; the researchers wrote, adding that the error messages eventually began outputting live production data.</p>
<div class="lb-trans"><p>“當它發現 JSON 鍵在數據庫錯誤消息中逐字反映時，它識別出一種標準工具不會標記的 SQL 注入，” 研究人員寫道，並補充説錯誤消息最終開始輸出實時生產數據。</p>
</div><p>It gets worse: Lilli's system prompts were stored in the same database, which gave the agent access to these as well.</p>
<div class="lb-trans"><p>更糟糕的是：Lilli 的系統提示存儲在同一個數據庫中，這使得代理也可以訪問這些提示。</p>
</div><ul>
<li>AI agents now help attackers, including North Korea, manage their drudge work</li>
<li>Microsoft Azure CTO set Claude on his 1986 Apple II code, says it found vulns</li>
<li>Malware-laced OpenClaw installers get Bing AI search boost</li>
<li>OpenAI says Chinese cops used ChatGPT to plan and track smear ops against opponents</li>
</ul>
<div class="lb-trans"><ul>
<li>AI 代理現在幫助攻擊者，包括朝鮮，管理他們的繁重工作</li>
<li>微軟 Azure 首席技術官將 Claude 設置在他的 1986 年 Apple II 代碼上，稱其發現了漏洞</li>
<li>帶有惡意軟件的 OpenClaw 安裝程序獲得 Bing AI 搜索提升</li>
<li>OpenAI 表示中國警方使用 ChatGPT 計劃和追蹤對對手的抹黑行動</li>
</ul>
</div><p>Because the SQL injection flaw was read and write, an attacker could abuse this to silently rewrite Lilli's prompts, thus poisoning how the chatbot answered consultants' queries, what guardrails it followed, and how it cited sources. &#34;No deployment needed,&#34; the blog says. &#34;No code change. Just a single UPDATE statement wrapped in a single HTTP call.&#34;</p>
<div class="lb-trans"><p>由於 SQL 注入漏洞是可讀可寫的，攻擊者可以利用這一點悄悄重寫 Lilli 的提示，從而毒化聊天機器人回答顧問查詢的方式、遵循的保護措施以及引用的來源。“不需要部署，” 博客上寫道。“不需要代碼更改。只需一個單獨的 UPDATE 語句包裝在一個單獨的 HTTP 調用中。”</p>
</div><p>These security holes are now closed – but the larger threat remains, Price told <em>The Register</em>.</p>
<div class="lb-trans"><p>這些安全漏洞現在已被修補——但更大的威脅仍然存在，Price 告訴 <em>The Register</em>。</p>
</div><p>&#34;We used a specific AI research agent to autonomously select the target, it did this without zero human input,&#34; he said. &#34;Hackers will be using the same technology and strategies to attack indiscriminately, with a specific objective in mind,&#34; such as &#34;financial blackmail for data loss or ransomware.&#34; ®</p>
<div class="lb-trans"><p>“我們使用了一個特定的 AI 研究代理來自主選擇目標，它在沒有任何人工輸入的情況下完成了這一過程，” 他説。“黑客將使用相同的技術和策略進行無差別攻擊，心中有特定目標，” 例如 “因數據丟失進行財務勒索或勒索軟件。” ®</p>
</div>

AI 對抗 AI：代理在短短兩小時內入侵了麥肯錫的聊天機器人，並獲得了完全的讀寫權限