<p>从对话式人工智能转向 “代理型” 人工智能，即系统主动执行任务而不仅仅是聊天，这引入了一层深刻的新操作风险。正如 IBM 的人工智能技术专家 Sabrina Kopecki 在她最近的演讲中所阐述的，危险不再仅仅是 “它的思考，而是它的行为”，当这些自主的 “执行者” 在难以捉摸的影子人工智能领域内运作时，这一担忧愈发加剧。Kopecki 的见解强调了建立一个统一的安全和治理框架的紧迫性，以确保快速发展的人工智能系统保持稳定、负责任，并且至关重要的是安全。</p>
<p>Kopecki 的演讲 “代理型人工智能与影子人工智能：人工智能自动化的零信任安全” 强调了这些新兴人工智能范式与既定安全原则之间的关键交集。她解释说，代理型人工智能本质上直接与业务系统互动，进行预约、提交工单、更新记录和与 API 交互。这种能力虽然在自动化方面强大，但也意味着不受控制的人工智能代理可以执行具有重大现实后果的操作，因此需要一个强有力的监督机制。</p>
<p>Kopecki 详细阐述的核心挑战在于 “影子人工智能”。这指的是团队为了加快任务而创建的非官方人工智能解决方案，通常绕过正式的 IT 渠道。她指出，这些秘密助手往往 “没有工单、没有批准，也没有文书记录”，最初可能只是与 SaaS 工具相关的小脚本或模型，但很快就会升级。它们可能开始与敏感客户数据互动，调用第三方 API，或在没有官方跟踪的情况下写入关键系统。</p>
<p>这种非官方的部署创造了几个关键漏洞。首先，影子人工智能本质上难以检测。如果一个组织不知道某个人工智能代理的存在，就无法对其进行安全保护，从而在企业的安全态势中留下了一个显著的盲点。其次，这些未被跟踪的代理容易导致数据泄露，常常复制和粘贴信息或使用 “松散的密钥”，如未保护的密码，导致私人数据泄露。</p>
<p>此外，影子人工智能还带来了相当大的合规挑战。组织必须证明遵守监管标准，但在没有明确记录人工智能代理行为的情况下，证明合规变得不可能。第四，这些代理通常以过度的权限运行，为了便利而授予，没有适当的分隔。这种广泛的访问权限意味着被攻陷的代理可能会打开系统内的每一个数字 “门”。最后，缺乏可见性导致混乱的事件响应；当一个未被跟踪的代理发生故障时，识别其来源、影响范围和所有权变成了一项漫长且有害的工作。</p>
<p>为了应对这些普遍的风险，Kopecki 提倡建立一个统一的 “人工智能空中交通管制”，超越分散的检查清单，建立一个集成的代理型人工智能控制平面。这种整体方法围绕着 “发现、评估、治理、安全和审计” 的持续循环展开。第一步，发现，涉及自动识别所有人工智能代理，包括被批准的和影子的，跨越存储库、云项目和嵌入式系统，将它们纳入集中监督之下。</p>
<p>一旦发现，这些代理必须进行评估。这涉及通过自动化红队测试进行严格的压力测试，以主动识别诸如提示注入、数据泄露、工具滥用和脆弱配置等漏洞，以防止恶意行为者利用它们。在评估之后，治理至关重要，执行运行时策略，如最小权限访问，建立输入和输出的保护措施，并积极监控风险数据的移动。整个过程必须与一个单一的、可操作的风险登记册相结合，以便安全和治理团队可以利用。</p>
<p>安全阶段专注于实施自动化日志记录和控制，以生成每个人工智能行为的不可否认的证据。Kopecki 强调，这种可审计性不仅仅是合规的一个复选框，而是建立信任和实现快速、安全的人工智能扩展的基本要求。最后一步，审计，完成了循环，利用这些日志持续验证对政策的遵守情况并识别改进领域。这一持续循环确保人工智能系统在内在安全性和责任感中不断演变。</p>
<p>Kopecki 用两个引人注目的用例来说明这一框架。在医疗保健领域，代理型人工智能可以在患者与临床医生的对话中悄悄起草临床记录，交叉核对患者的病历，标记出需要人类审查的差异，并预先安排后续预约和转诊——所有这些都在最小权限和强大的审计轨迹下进行。这使得临床医生能够专注于与患者的互动，而代理则处理行政负担，提高了护理质量和效率。同样，在公共部门，人工智能代理可以同时帮助公民报税和续办钓鱼执照。该代理将确认身份，仅在获得同意的情况下检索必要的记录，准备摘要并发起付款，同时记录每个行动和决策以确保完全可追溯性。这简化了公民服务，减少了欺诈，并通过提供清晰、可审计的流程来建立公众信任。</p>
<p>最终，Kopecki 总结道，目标不是华丽的演示，而是安全且可预测的人工智能操作，能够提供切实的价值，而不会无意中造成未来的危机。自主人工智能不再仅仅是关于对话；它关乎行动——点击按钮、移动数据，甚至花费金钱。如果这些行为无法被看到、测试、控制和证明，组织就如同在雾中快速飞行。因此，透明度不是可选的；它是氧气。通过认真实施一个基于零信任原则的统一安全和治理框架，组织可以营造一个安全的环境，让自主人工智能真正蓬勃发展，从而赢得患者、公民和利益相关者的信任。</p>

<p>Sabrina Kopecki，IBM 的人工智能技术专家，强调了为主动执行任务的 Agentic AI 建立统一的安全和治理框架的必要性。她指出了 Shadow AI 的风险，即绕过正式 IT 渠道的非官方 AI 解决方案，这会造成数据泄露和合规性问题等漏洞。Kopecki 提出了一个持续的监督周期，包括发现、评估、治理、安全和审计，以确保 AI 系统保持稳定、负责任和安全。她通过医疗保健和公共部门的案例进行了说明，倡导可预测的 AI 操作，以在不引发未来危机的情况下提供价值</p>

<p>The shift from conversational AI to “agentic” artificial intelligence, where systems actively perform tasks rather than merely chat, introduces a profound new layer of operational risk. As Sabrina Kopecki, an AI Technical Specialist at IBM, articulated in her recent presentation, the danger is no longer just “what it thinks, it’s what it does,” a concern amplified when these autonomous “doers” operate within the elusive realm of Shadow AI. Kopecki’s insights underscore the urgent need for a cohesive security and governance framework, one that ensures fast-moving AI systems remain stable, accountable, and, crucially, safe.</p>
<div class="lb-trans"><p>从对话式人工智能转向 “代理型” 人工智能，即系统主动执行任务而不仅仅是聊天，这引入了一层深刻的新操作风险。正如 IBM 的人工智能技术专家 Sabrina Kopecki 在她最近的演讲中所阐述的，危险不再仅仅是 “它的思考，而是它的行为”，当这些自主的 “执行者” 在难以捉摸的影子人工智能领域内运作时，这一担忧愈发加剧。Kopecki 的见解强调了建立一个统一的安全和治理框架的紧迫性，以确保快速发展的人工智能系统保持稳定、负责任，并且至关重要的是安全。</p>
</div><p>Kopecki’s presentation, “Agentic AI Meets Shadow AI: Zero Trust Security for AI Automation,” highlighted the critical intersection of these emerging AI paradigms with established security principles. She explained that Agentic AI, by its very nature, interacts directly with business systems, booking appointments, filing tickets, updating records, and interacting with APIs. This capability, while powerful for automation, also means that unchecked AI agents can execute actions with significant real-world consequences, demanding a robust oversight mechanism.</p>
<div class="lb-trans"><p>Kopecki 的演讲 “代理型人工智能与影子人工智能：人工智能自动化的零信任安全” 强调了这些新兴人工智能范式与既定安全原则之间的关键交集。她解释说，代理型人工智能本质上直接与业务系统互动，进行预约、提交工单、更新记录和与 API 交互。这种能力虽然在自动化方面强大，但也意味着不受控制的人工智能代理可以执行具有重大现实后果的操作，因此需要一个强有力的监督机制。</p>
</div><p>The core challenge, as Kopecki meticulously laid out, lies with “Shadow AI.” This refers to unofficial AI solutions spun up by teams to expedite tasks, often bypassing formal IT channels. These clandestine helpers, she noted, often emerge “with no tickets, no approvals, and no paper trail,” starting innocently as small scripts or models linked to SaaS tools, only to quickly escalate. They might begin interacting with sensitive customer data, calling third-party APIs, or writing to critical systems without official tracking.</p>
<div class="lb-trans"><p>Kopecki 详细阐述的核心挑战在于 “影子人工智能”。这指的是团队为了加快任务而创建的非官方人工智能解决方案，通常绕过正式的 IT 渠道。她指出，这些秘密助手往往 “没有工单、没有批准，也没有文书记录”，最初可能只是与 SaaS 工具相关的小脚本或模型，但很快就会升级。它们可能开始与敏感客户数据互动，调用第三方 API，或在没有官方跟踪的情况下写入关键系统。</p>
</div><p>This unofficial deployment creates several critical vulnerabilities. Firstly, Shadow AI is inherently difficult to detect. If an organization is unaware of an AI agent’s existence, it cannot possibly secure it, leaving a significant blind spot in the enterprise’s security posture. Secondly, these untracked agents are prone to data leakage, often copying and pasting information or utilizing “loose keys” like unprotected passwords, allowing private data to slip out.</p>
<div class="lb-trans"><p>这种非官方的部署创造了几个关键漏洞。首先，影子人工智能本质上难以检测。如果一个组织不知道某个人工智能代理的存在，就无法对其进行安全保护，从而在企业的安全态势中留下了一个显著的盲点。其次，这些未被跟踪的代理容易导致数据泄露，常常复制和粘贴信息或使用 “松散的密钥”，如未保护的密码，导致私人数据泄露。</p>
</div><p>Furthermore, Shadow AI presents considerable compliance challenges. Organizations must demonstrate adherence to regulatory standards, but without a clear record of an AI agent’s actions, proving compliance becomes impossible. Fourth, these agents often operate with excessive permissions, granted for convenience without proper segmentation. This broad access means that a compromised agent could potentially open every digital “door” within a system. Lastly, the lack of visibility leads to messy incident responses; when an untracked agent malfunctions, identifying its origin, scope of impact, and ownership becomes a protracted and damaging exercise.</p>
<div class="lb-trans"><p>此外，影子人工智能还带来了相当大的合规挑战。组织必须证明遵守监管标准，但在没有明确记录人工智能代理行为的情况下，证明合规变得不可能。第四，这些代理通常以过度的权限运行，为了便利而授予，没有适当的分隔。这种广泛的访问权限意味着被攻陷的代理可能会打开系统内的每一个数字 “门”。最后，缺乏可见性导致混乱的事件响应；当一个未被跟踪的代理发生故障时，识别其来源、影响范围和所有权变成了一项漫长且有害的工作。</p>
</div><p>To counteract these pervasive risks, Kopecki advocated for a unified “air traffic control for AI,” moving beyond disparate checklists to a single, integrated control plane for Agentic AI. This holistic approach centers on a continuous loop of “Discover, Assess, Govern, Secure, and Audit.” The initial step, Discover, involves automatically identifying all AI agents, both sanctioned and shadow, across repositories, cloud projects, and embedded systems, bringing them under centralized oversight.</p>
<div class="lb-trans"><p>为了应对这些普遍的风险，Kopecki 提倡建立一个统一的 “人工智能空中交通管制”，超越分散的检查清单，建立一个集成的代理型人工智能控制平面。这种整体方法围绕着 “发现、评估、治理、安全和审计” 的持续循环展开。第一步，发现，涉及自动识别所有人工智能代理，包括被批准的和影子的，跨越存储库、云项目和嵌入式系统，将它们纳入集中监督之下。</p>
</div><p>Once discovered, these agents must be Assessed. This involves rigorous stress testing through automated red teaming to proactively identify vulnerabilities like prompt injection, data leakage, tool misuse, and brittle configurations before malicious actors exploit them. Following assessment, Governance is critical, enforcing runtime policies such as least-privileged access, establishing guardrails on inputs and outputs, and actively monitoring for risky data movements. This entire process must be tied to a single, actionable risk register that both security and governance teams can leverage.</p>
<div class="lb-trans"><p>一旦发现，这些代理必须进行评估。这涉及通过自动化红队测试进行严格的压力测试，以主动识别诸如提示注入、数据泄露、工具滥用和脆弱配置等漏洞，以防止恶意行为者利用它们。在评估之后，治理至关重要，执行运行时策略，如最小权限访问，建立输入和输出的保护措施，并积极监控风险数据的移动。整个过程必须与一个单一的、可操作的风险登记册相结合，以便安全和治理团队可以利用。</p>
</div><p>The Secure phase focuses on implementing automated logging and controls to generate irrefutable evidence for every AI action. This auditability, Kopecki emphasized, is not merely a compliance checkbox but a fundamental requirement for building trust and enabling rapid, safe AI scaling. The final step, Audit, completes the loop, using these logs to continuously verify adherence to policies and identify areas for improvement. This continuous cycle ensures that AI systems evolve with inherent security and accountability.</p>
<div class="lb-trans"><p>安全阶段专注于实施自动化日志记录和控制，以生成每个人工智能行为的不可否认的证据。Kopecki 强调，这种可审计性不仅仅是合规的一个复选框，而是建立信任和实现快速、安全的人工智能扩展的基本要求。最后一步，审计，完成了循环，利用这些日志持续验证对政策的遵守情况并识别改进领域。这一持续循环确保人工智能系统在内在安全性和责任感中不断演变。</p>
</div><p>Kopecki illustrated this framework with two compelling use cases. In healthcare, an Agentic AI could quietly draft clinical notes during a patient-clinician conversation, cross-referencing facts against the patient’s chart, flagging discrepancies for human review, and pre-staging follow-up appointments and referrals—all with minimal permissions and robust audit trails. This allows clinicians to focus on patient interaction, while the agent handles administrative burdens, enhancing both care quality and efficiency. Similarly, in the public sector, an AI agent could assist a citizen with filing taxes and renewing a fishing license simultaneously. The agent would confirm identity, retrieve only necessary records with consent, prepare summaries, and initiate payments, all while logging every action and decision for full traceability. This streamlines citizen services, reduces fraud, and builds public trust by providing clear, auditable processes.</p>
<div class="lb-trans"><p>Kopecki 用两个引人注目的用例来说明这一框架。在医疗保健领域，代理型人工智能可以在患者与临床医生的对话中悄悄起草临床记录，交叉核对患者的病历，标记出需要人类审查的差异，并预先安排后续预约和转诊——所有这些都在最小权限和强大的审计轨迹下进行。这使得临床医生能够专注于与患者的互动，而代理则处理行政负担，提高了护理质量和效率。同样，在公共部门，人工智能代理可以同时帮助公民报税和续办钓鱼执照。该代理将确认身份，仅在获得同意的情况下检索必要的记录，准备摘要并发起付款，同时记录每个行动和决策以确保完全可追溯性。这简化了公民服务，减少了欺诈，并通过提供清晰、可审计的流程来建立公众信任。</p>
</div><p>Ultimately, Kopecki concluded, the goal is not flashy demos but rather the safe and predictable operation of AI that delivers tangible value without inadvertently creating future crises. Agentic AI is no longer just about conversation; it’s about action – clicking buttons, moving data, and even spending money. If these actions cannot be seen, tested, controlled, and proven, organizations are “flying fast in fog.” Therefore, visibility is not optional; it is oxygen. By diligently implementing a unified security and governance framework, grounded in Zero Trust principles, organizations can foster a secure environment where Agentic AI can truly thrive, earning trust from patients, citizens, and stakeholders alike.</p>
<div class="lb-trans"><p>最终，Kopecki 总结道，目标不是华丽的演示，而是安全且可预测的人工智能操作，能够提供切实的价值，而不会无意中造成未来的危机。自主人工智能不再仅仅是关于对话；它关乎行动——点击按钮、移动数据，甚至花费金钱。如果这些行为无法被看到、测试、控制和证明，组织就如同在雾中快速飞行。因此，透明度不是可选的；它是氧气。通过认真实施一个基于零信任原则的统一安全和治理框架，组织可以营造一个安全的环境，让自主人工智能真正蓬勃发展，从而赢得患者、公民和利益相关者的信任。</p>
</div>

代理性人工智能需要统一的监管：通过零信任机制来管理影子人工智能