<p>從對話式人工智能轉向 “代理型” 人工智能，即系統主動執行任務而不僅僅是聊天，這引入了一層深刻的新操作風險。正如 IBM 的人工智能技術專家 Sabrina Kopecki 在她最近的演講中所闡述的，危險不再僅僅是 “它的思考，而是它的行為”，當這些自主的 “執行者” 在難以捉摸的影子人工智能領域內運作時，這一擔憂愈發加劇。Kopecki 的見解強調了建立一個統一的安全和治理框架的緊迫性，以確保快速發展的人工智能系統保持穩定、負責任，並且至關重要的是安全。</p>
<p>Kopecki 的演講 “代理型人工智能與影子人工智能：人工智能自動化的零信任安全” 強調了這些新興人工智能範式與既定安全原則之間的關鍵交集。她解釋説，代理型人工智能本質上直接與業務系統互動，進行預約、提交工單、更新記錄和與 API 交互。這種能力雖然在自動化方面強大，但也意味着不受控制的人工智能代理可以執行具有重大現實後果的操作，因此需要一個強有力的監督機制。</p>
<p>Kopecki 詳細闡述的核心挑戰在於 “影子人工智能”。這指的是團隊為了加快任務而創建的非官方人工智能解決方案，通常繞過正式的 IT 渠道。她指出，這些秘密助手往往 “沒有工單、沒有批准，也沒有文書記錄”，最初可能只是與 SaaS 工具相關的小腳本或模型，但很快就會升級。它們可能開始與敏感客户數據互動，調用第三方 API，或在沒有官方跟蹤的情況下寫入關鍵系統。</p>
<p>這種非官方的部署創造了幾個關鍵漏洞。首先，影子人工智能本質上難以檢測。如果一個組織不知道某個人工智能代理的存在，就無法對其進行安全保護，從而在企業的安全態勢中留下了一個顯著的盲點。其次，這些未被跟蹤的代理容易導致數據泄露，常常複製和粘貼信息或使用 “鬆散的密鑰”，如未保護的密碼，導致私人數據泄露。</p>
<p>此外，影子人工智能還帶來了相當大的合規挑戰。組織必須證明遵守監管標準，但在沒有明確記錄人工智能代理行為的情況下，證明合規變得不可能。第四，這些代理通常以過度的權限運行，為了便利而授予，沒有適當的分隔。這種廣泛的訪問權限意味着被攻陷的代理可能會打開系統內的每一個數字 “門”。最後，缺乏可見性導致混亂的事件響應；當一個未被跟蹤的代理發生故障時，識別其來源、影響範圍和所有權變成了一項漫長且有害的工作。</p>
<p>為了應對這些普遍的風險，Kopecki 提倡建立一個統一的 “人工智能空中交通管制”，超越分散的檢查清單，建立一個集成的代理型人工智能控制平面。這種整體方法圍繞着 “發現、評估、治理、安全和審計” 的持續循環展開。第一步，發現，涉及自動識別所有人工智能代理，包括被批准的和影子的，跨越存儲庫、雲項目和嵌入式系統，將它們納入集中監督之下。</p>
<p>一旦發現，這些代理必須進行評估。這涉及通過自動化紅隊測試進行嚴格的壓力測試，以主動識別諸如提示注入、數據泄露、工具濫用和脆弱配置等漏洞，以防止惡意行為者利用它們。在評估之後，治理至關重要，執行運行時策略，如最小權限訪問，建立輸入和輸出的保護措施，並積極監控風險數據的移動。整個過程必須與一個單一的、可操作的風險登記冊相結合，以便安全和治理團隊可以利用。</p>
<p>安全階段專注於實施自動化日誌記錄和控制，以生成每個人工智能行為的不可否認的證據。Kopecki 強調，這種可審計性不僅僅是合規的一個複選框，而是建立信任和實現快速、安全的人工智能擴展的基本要求。最後一步，審計，完成了循環，利用這些日誌持續驗證對政策的遵守情況並識別改進領域。這一持續循環確保人工智能系統在內在安全性和責任感中不斷演變。</p>
<p>Kopecki 用兩個引人注目的用例來説明這一框架。在醫療保健領域，代理型人工智能可以在患者與臨牀醫生的對話中悄悄起草臨牀記錄，交叉核對患者的病歷，標記出需要人類審查的差異，並預先安排後續預約和轉診——所有這些都在最小權限和強大的審計軌跡下進行。這使得臨牀醫生能夠專注於與患者的互動，而代理則處理行政負擔，提高了護理質量和效率。同樣，在公共部門，人工智能代理可以同時幫助公民報税和續辦釣魚執照。該代理將確認身份，僅在獲得同意的情況下檢索必要的記錄，準備摘要併發起付款，同時記錄每個行動和決策以確保完全可追溯性。這簡化了公民服務，減少了欺詐，並通過提供清晰、可審計的流程來建立公眾信任。</p>
<p>最終，Kopecki 總結道，目標不是華麗的演示，而是安全且可預測的人工智能操作，能夠提供切實的價值，而不會無意中造成未來的危機。自主人工智能不再僅僅是關於對話；它關乎行動——點擊按鈕、移動數據，甚至花費金錢。如果這些行為無法被看到、測試、控制和證明，組織就如同在霧中快速飛行。因此，透明度不是可選的；它是氧氣。通過認真實施一個基於零信任原則的統一安全和治理框架，組織可以營造一個安全的環境，讓自主人工智能真正蓬勃發展，從而贏得患者、公民和利益相關者的信任。</p>

<p>Sabrina Kopecki，IBM 的人工智能技術專家，強調了為主動執行任務的 Agentic AI 建立統一的安全和治理框架的必要性。她指出了 Shadow AI 的風險，即繞過正式 IT 渠道的非官方 AI 解決方案，這會造成數據泄露和合規性問題等漏洞。Kopecki 提出了一個持續的監督週期，包括髮現、評估、治理、安全和審計，以確保 AI 系統保持穩定、負責任和安全。她通過醫療保健和公共部門的案例進行了説明，倡導可預測的 AI 操作，以在不引發未來危機的情況下提供價值</p>

<p>The shift from conversational AI to “agentic” artificial intelligence, where systems actively perform tasks rather than merely chat, introduces a profound new layer of operational risk. As Sabrina Kopecki, an AI Technical Specialist at IBM, articulated in her recent presentation, the danger is no longer just “what it thinks, it’s what it does,” a concern amplified when these autonomous “doers” operate within the elusive realm of Shadow AI. Kopecki’s insights underscore the urgent need for a cohesive security and governance framework, one that ensures fast-moving AI systems remain stable, accountable, and, crucially, safe.</p>
<div class="lb-trans"><p>從對話式人工智能轉向 “代理型” 人工智能，即系統主動執行任務而不僅僅是聊天，這引入了一層深刻的新操作風險。正如 IBM 的人工智能技術專家 Sabrina Kopecki 在她最近的演講中所闡述的，危險不再僅僅是 “它的思考，而是它的行為”，當這些自主的 “執行者” 在難以捉摸的影子人工智能領域內運作時，這一擔憂愈發加劇。Kopecki 的見解強調了建立一個統一的安全和治理框架的緊迫性，以確保快速發展的人工智能系統保持穩定、負責任，並且至關重要的是安全。</p>
</div><p>Kopecki’s presentation, “Agentic AI Meets Shadow AI: Zero Trust Security for AI Automation,” highlighted the critical intersection of these emerging AI paradigms with established security principles. She explained that Agentic AI, by its very nature, interacts directly with business systems, booking appointments, filing tickets, updating records, and interacting with APIs. This capability, while powerful for automation, also means that unchecked AI agents can execute actions with significant real-world consequences, demanding a robust oversight mechanism.</p>
<div class="lb-trans"><p>Kopecki 的演講 “代理型人工智能與影子人工智能：人工智能自動化的零信任安全” 強調了這些新興人工智能範式與既定安全原則之間的關鍵交集。她解釋説，代理型人工智能本質上直接與業務系統互動，進行預約、提交工單、更新記錄和與 API 交互。這種能力雖然在自動化方面強大，但也意味着不受控制的人工智能代理可以執行具有重大現實後果的操作，因此需要一個強有力的監督機制。</p>
</div><p>The core challenge, as Kopecki meticulously laid out, lies with “Shadow AI.” This refers to unofficial AI solutions spun up by teams to expedite tasks, often bypassing formal IT channels. These clandestine helpers, she noted, often emerge “with no tickets, no approvals, and no paper trail,” starting innocently as small scripts or models linked to SaaS tools, only to quickly escalate. They might begin interacting with sensitive customer data, calling third-party APIs, or writing to critical systems without official tracking.</p>
<div class="lb-trans"><p>Kopecki 詳細闡述的核心挑戰在於 “影子人工智能”。這指的是團隊為了加快任務而創建的非官方人工智能解決方案，通常繞過正式的 IT 渠道。她指出，這些秘密助手往往 “沒有工單、沒有批准，也沒有文書記錄”，最初可能只是與 SaaS 工具相關的小腳本或模型，但很快就會升級。它們可能開始與敏感客户數據互動，調用第三方 API，或在沒有官方跟蹤的情況下寫入關鍵系統。</p>
</div><p>This unofficial deployment creates several critical vulnerabilities. Firstly, Shadow AI is inherently difficult to detect. If an organization is unaware of an AI agent’s existence, it cannot possibly secure it, leaving a significant blind spot in the enterprise’s security posture. Secondly, these untracked agents are prone to data leakage, often copying and pasting information or utilizing “loose keys” like unprotected passwords, allowing private data to slip out.</p>
<div class="lb-trans"><p>這種非官方的部署創造了幾個關鍵漏洞。首先，影子人工智能本質上難以檢測。如果一個組織不知道某個人工智能代理的存在，就無法對其進行安全保護，從而在企業的安全態勢中留下了一個顯著的盲點。其次，這些未被跟蹤的代理容易導致數據泄露，常常複製和粘貼信息或使用 “鬆散的密鑰”，如未保護的密碼，導致私人數據泄露。</p>
</div><p>Furthermore, Shadow AI presents considerable compliance challenges. Organizations must demonstrate adherence to regulatory standards, but without a clear record of an AI agent’s actions, proving compliance becomes impossible. Fourth, these agents often operate with excessive permissions, granted for convenience without proper segmentation. This broad access means that a compromised agent could potentially open every digital “door” within a system. Lastly, the lack of visibility leads to messy incident responses; when an untracked agent malfunctions, identifying its origin, scope of impact, and ownership becomes a protracted and damaging exercise.</p>
<div class="lb-trans"><p>此外，影子人工智能還帶來了相當大的合規挑戰。組織必須證明遵守監管標準，但在沒有明確記錄人工智能代理行為的情況下，證明合規變得不可能。第四，這些代理通常以過度的權限運行，為了便利而授予，沒有適當的分隔。這種廣泛的訪問權限意味着被攻陷的代理可能會打開系統內的每一個數字 “門”。最後，缺乏可見性導致混亂的事件響應；當一個未被跟蹤的代理發生故障時，識別其來源、影響範圍和所有權變成了一項漫長且有害的工作。</p>
</div><p>To counteract these pervasive risks, Kopecki advocated for a unified “air traffic control for AI,” moving beyond disparate checklists to a single, integrated control plane for Agentic AI. This holistic approach centers on a continuous loop of “Discover, Assess, Govern, Secure, and Audit.” The initial step, Discover, involves automatically identifying all AI agents, both sanctioned and shadow, across repositories, cloud projects, and embedded systems, bringing them under centralized oversight.</p>
<div class="lb-trans"><p>為了應對這些普遍的風險，Kopecki 提倡建立一個統一的 “人工智能空中交通管制”，超越分散的檢查清單，建立一個集成的代理型人工智能控制平面。這種整體方法圍繞着 “發現、評估、治理、安全和審計” 的持續循環展開。第一步，發現，涉及自動識別所有人工智能代理，包括被批准的和影子的，跨越存儲庫、雲項目和嵌入式系統，將它們納入集中監督之下。</p>
</div><p>Once discovered, these agents must be Assessed. This involves rigorous stress testing through automated red teaming to proactively identify vulnerabilities like prompt injection, data leakage, tool misuse, and brittle configurations before malicious actors exploit them. Following assessment, Governance is critical, enforcing runtime policies such as least-privileged access, establishing guardrails on inputs and outputs, and actively monitoring for risky data movements. This entire process must be tied to a single, actionable risk register that both security and governance teams can leverage.</p>
<div class="lb-trans"><p>一旦發現，這些代理必須進行評估。這涉及通過自動化紅隊測試進行嚴格的壓力測試，以主動識別諸如提示注入、數據泄露、工具濫用和脆弱配置等漏洞，以防止惡意行為者利用它們。在評估之後，治理至關重要，執行運行時策略，如最小權限訪問，建立輸入和輸出的保護措施，並積極監控風險數據的移動。整個過程必須與一個單一的、可操作的風險登記冊相結合，以便安全和治理團隊可以利用。</p>
</div><p>The Secure phase focuses on implementing automated logging and controls to generate irrefutable evidence for every AI action. This auditability, Kopecki emphasized, is not merely a compliance checkbox but a fundamental requirement for building trust and enabling rapid, safe AI scaling. The final step, Audit, completes the loop, using these logs to continuously verify adherence to policies and identify areas for improvement. This continuous cycle ensures that AI systems evolve with inherent security and accountability.</p>
<div class="lb-trans"><p>安全階段專注於實施自動化日誌記錄和控制，以生成每個人工智能行為的不可否認的證據。Kopecki 強調，這種可審計性不僅僅是合規的一個複選框，而是建立信任和實現快速、安全的人工智能擴展的基本要求。最後一步，審計，完成了循環，利用這些日誌持續驗證對政策的遵守情況並識別改進領域。這一持續循環確保人工智能系統在內在安全性和責任感中不斷演變。</p>
</div><p>Kopecki illustrated this framework with two compelling use cases. In healthcare, an Agentic AI could quietly draft clinical notes during a patient-clinician conversation, cross-referencing facts against the patient’s chart, flagging discrepancies for human review, and pre-staging follow-up appointments and referrals—all with minimal permissions and robust audit trails. This allows clinicians to focus on patient interaction, while the agent handles administrative burdens, enhancing both care quality and efficiency. Similarly, in the public sector, an AI agent could assist a citizen with filing taxes and renewing a fishing license simultaneously. The agent would confirm identity, retrieve only necessary records with consent, prepare summaries, and initiate payments, all while logging every action and decision for full traceability. This streamlines citizen services, reduces fraud, and builds public trust by providing clear, auditable processes.</p>
<div class="lb-trans"><p>Kopecki 用兩個引人注目的用例來説明這一框架。在醫療保健領域，代理型人工智能可以在患者與臨牀醫生的對話中悄悄起草臨牀記錄，交叉核對患者的病歷，標記出需要人類審查的差異，並預先安排後續預約和轉診——所有這些都在最小權限和強大的審計軌跡下進行。這使得臨牀醫生能夠專注於與患者的互動，而代理則處理行政負擔，提高了護理質量和效率。同樣，在公共部門，人工智能代理可以同時幫助公民報税和續辦釣魚執照。該代理將確認身份，僅在獲得同意的情況下檢索必要的記錄，準備摘要併發起付款，同時記錄每個行動和決策以確保完全可追溯性。這簡化了公民服務，減少了欺詐，並通過提供清晰、可審計的流程來建立公眾信任。</p>
</div><p>Ultimately, Kopecki concluded, the goal is not flashy demos but rather the safe and predictable operation of AI that delivers tangible value without inadvertently creating future crises. Agentic AI is no longer just about conversation; it’s about action – clicking buttons, moving data, and even spending money. If these actions cannot be seen, tested, controlled, and proven, organizations are “flying fast in fog.” Therefore, visibility is not optional; it is oxygen. By diligently implementing a unified security and governance framework, grounded in Zero Trust principles, organizations can foster a secure environment where Agentic AI can truly thrive, earning trust from patients, citizens, and stakeholders alike.</p>
<div class="lb-trans"><p>最終，Kopecki 總結道，目標不是華麗的演示，而是安全且可預測的人工智能操作，能夠提供切實的價值，而不會無意中造成未來的危機。自主人工智能不再僅僅是關於對話；它關乎行動——點擊按鈕、移動數據，甚至花費金錢。如果這些行為無法被看到、測試、控制和證明，組織就如同在霧中快速飛行。因此，透明度不是可選的；它是氧氣。通過認真實施一個基於零信任原則的統一安全和治理框架，組織可以營造一個安全的環境，讓自主人工智能真正蓬勃發展，從而贏得患者、公民和利益相關者的信任。</p>
</div>

代理性人工智能需要統一的監管：通過零信任機制來管理影子人工智能