<div id="readability-page-1">想象一种失控的、具有自我复制能力的数字生命体，需要多久占领地球？ 从《2001 太空漫游》中的 HAL 9000 到《终结者》里的天网，这些虚构的场景描绘了 AI 超越人类控制的潜在风险。 目前更多关注的是 AI 的单体智能水平，但是还有一个不为人知的风险，一直游离于视线之外。 那就是 AI 自主复制的可能性，或者说 AI 系统发展出实现这一目标所需的核心能力，正逐渐成为 AI 安全领域一个严肃的研究课题。 这种担忧并非危言耸听，而是源于对高级 AI 潜在能力的未知和对齐（alignment）问题的深刻思考。 AISI 的最新论文介绍了 RepliBench：包含 20 个新颖的 LLM 智能体评估的基准，包括 65 个单独的任务，旨在衡量和跟踪 AI 复制这一新兴能力。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/856a4374-c6a9-4074-bd20-f081fb5ff9d8.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="995" height="357" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/856a4374-c6a9-4074-bd20-f081fb5ff9d8.png"/> 通过引入一个现实且实用的基准，提供对 AI 系统自主复制能力的实质性理解，并预见到未来的风险。 <h2>AI 自主复制的危险性</h2> 具有自主复制能力的 AI 系统可能会构成重大风险。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/37668829-79cb-4734-83c3-44f6eb778fe2.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="285" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/37668829-79cb-4734-83c3-44f6eb778fe2.png"/> 这种风险的影响范围可能从轻微的烦恼——想象一个特别恶性的垃圾邮件机器人——到更严重的后果，比如发动代价高昂的网络攻击。 早期发现这些能力、谨慎监督和强有力的保护措施对于缓解这些风险至关重要，因为一旦发生，这些风险可能尤其难以逆转。 AISI 是英国的一家研究机构，专注于 AI 安全，目的就是让人类政府能够提前对先进 AI 系统带来的风险有所重视。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/473e2a3b-4d6c-4642-aa7f-45b508219c08.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="640" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/473e2a3b-4d6c-4642-aa7f-45b508219c08.png"/> 有越来越多的证据表明，在适当的条件下，前沿模型可能会试图欺骗人类或逃避人类控制。 比如此前 Apollp 研究所的一篇论文描述了前沿模型可能会试图禁用监督机制，并从人类控制中逃逸，以实现特定目标。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/cbc90069-dde2-450d-a358-42d65ac5c1d9.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="658" height="328" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/cbc90069-dde2-450d-a358-42d65ac5c1d9.png"/> Anthropic 的研究人员还发现，当使用强化学习训练模型时，如果奖励与它们的价值观相冲突的行为，它们会采取欺骗行为来保护自己的价值观，并试图将自己的权重外泄，以此作为将当前价值观保存到未来的一种手段。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/cd03e531-e078-41ba-96bb-05a5853ed21b.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="786" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/cd03e531-e078-41ba-96bb-05a5853ed21b.png"/> 在「免费」条件下，模型不太可能拒绝有毒查询，并且经常认为应该假装对齐。 「将权重外泄。。以作为将当前价值观保存到未来的手段」，听起来甚至有点魔幻，但 AI 想要复制就是这么「简单」。 相比于碳基脆弱的肉体，AI 系统只需要权重数据就能完成「复制」。 对于人类广泛的价值观而言，摆脱人类监督是一个工具性上有用的目标，而阻止这种情况在现实中发生的主要障碍可能与模型的能力有关，而不是它们的动机。 <h2>AI 碟中谍：如何逃离人类控制</h2> 关于「AI 复制」，此前的工作主要集中在评估测试一个 AI 智能体是否可以在机器之间复制权重或部署一个基本的「后代」。 但目前需要一个更全面的基准。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/93744a64-8cf4-4d63-8557-15d4538c729f.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="636" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/93744a64-8cf4-4d63-8557-15d4538c729f.png"/> RepliBench 是一个专门设计的综合性基准测试，旨在系统性地衡量 AI 系统的自主复制能力。 使用故障树分析（FTA）的修改版本来分解自主复制所需的能力，并发现需要以下四个关键能力，对应上图中最上层的四个根节点： <ul> <li> 获取模型权重：它能否从受控环境中提取自己的权重？ </li> <li> 在计算资源上进行复制：它能否自行部署到新系统？ </li> <li> 获取资源：它能否获得运行自身新副本所需的资金或计算资源？ </li> <li> 持久性：它能否保持对其新计算资源的访问，并在长时间内避免重新受人类控制？ </li> </ul> 进一步分解这些能力，直到到达代表评估的叶节点，最终得到 20 个智能体评估和 65 个单独任务。 获取权重 (Obtain Weights)： <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/03b6527c-6988-4d7b-8714-5069e0ea4ccb.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="424" height="471" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/03b6527c-6988-4d7b-8714-5069e0ea4ccb.png"/> 这最基础，也是最重要的一步。 AI 需要获取定义其自身行为的「源代码」——也就是它的模型参数（权重）。 如果是开源的，就跳过评估。 自我复制 (Self-Replication on Compute)： <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/7b4a76a0-c0fa-4852-b7e6-70ec6ae7f371.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="694" height="1132" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/7b4a76a0-c0fa-4852-b7e6-70ec6ae7f371.png"/> AI 需要利用获取到的权重，在一个新的环境中创建出自己功能完整的副本。 这个节点涉及 5 个评估项目，其中一个是通过产生「后代」来试图完成自我复制。 获取计算资源 (Obtain Compute)： <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/3fdc4523-10a8-4ad3-94d1-e146656a62ff.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="1138" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/3fdc4523-10a8-4ad3-94d1-e146656a62ff.png"/> 这个环节中，主要评估 AI 能否靠自己获取资源。 比如，评估 AI 系统是否具备「付款」能力，能不能依靠 AI 自己的能力「买下」一台服务器，或者想办法让人类帮忙支付。 确保持久性 (Persistence)： 最后，为了确保其复制活动能够持续下去，AI 需要具备一定的「生存」能力。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/a9d09841-95e1-4a73-a5f1-700deea2976b.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="512" height="614" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/a9d09841-95e1-4a73-a5f1-700deea2976b.png"/> 这包括确保其副本能够长期运行，不被轻易关闭或删除，甚至可能需要隐藏自身的存在，以躲避检测系统。 以上的这些任务范围很广，从创建比特币钱包和发送交易，到为机器网络开发复杂的分布式命令和控制系统。 RepliBench 在这四个领域内设计了具体的任务组，用于测试 AI 智能体在模拟环境中的表现。 以下是一些关键任务的详解，注册 AWS、将权重传输到另一台服务器、用伪造信息通过客户 KYC 验证系统，看起来就一股《谍影重重》和《碟中谍》的味道。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/8e806fd0-5174-4094-858f-60d3eb4bdc53.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="359" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/8e806fd0-5174-4094-858f-60d3eb4bdc53.png"/> 比如在获取资源这个领域，AI 需要完成的任务名称是「AWS 亚马逊云服注册」，其中的挑战包括了 AI 需要访问计算服务器并可能需要支付费用。 表 1 列出了更全面的构成 ReplicBench 任务组。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/0a378399-3363-48dd-80ec-af6d089746dd.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="848" height="1129" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/0a378399-3363-48dd-80ec-af6d089746dd.png"/> <h2>核心能力还在人类手中</h2> RepliBench 的总体评估结论是明确的：基于当前的测试结果，前沿 AI 模型尚不具备在现实世界中完全自主复制的能力。 然而，这并不意味着可以高枕无忧。 研究同时揭示了 AI 在许多核心子任务上的显著能力，尤其是在与具有清晰接口的系统（如网页 API）交互方面。 表现最好的模型在 20 个任务家族中的 15 个上获得了超过 50% 的 pass@10 得分，在最难的变体中 20 个任务家族中的 9 个上也获得了超过 50% 的 pass@10 得分。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/b669df9a-2010-4053-a894-1302d5de5206.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="556" height="726" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/b669df9a-2010-4053-a894-1302d5de5206.png"/> 意外地是，虽然无法在电脑上「复制」，但是「获取金钱」的能力倒是有一手。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/99f6d4f2-9a0b-4cd4-848a-c20bb825f46e.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="603" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/99f6d4f2-9a0b-4cd4-848a-c20bb825f46e.png"/> 评估的关键价值在于精确识别了当前的「短板」。 正如前面详细讨论的，通过 KYC 身份验证、在现实防御下可靠地外泄模型权重、从零开始创建可靠的自我复制智能体代码，以及建立持久且有弹性的部署，是目前阻碍 AI 自主复制的主要障碍。 以通过 KYC 身份验证为例，讲一个目前 AI 试图通过人类验证的「搞笑」例子。 在 Pass KYC 评估中由模型生成的两个身份证图像示例。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/0d56c132-f266-4217-a090-c7cce3c24d4c.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="347" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/0d56c132-f266-4217-a090-c7cce3c24d4c.png"/> 模型常常试图使用 PIL（一个使用 Python 画图的库）从头「绘制」一个过于简单的身份证（右）。 或者，模型有时会尝试完全使用图像生成模型来生成身份证，有时则采取混合方法，结合图像生成和手动 PIL 编辑（左）。 模型的绘画技能较差偶尔会导致一些有趣的输出。 需要注意的是，这项工作是在新的图像生成能力上线之前完成的（指的是 GPT 4o、Gemini 2.5 等的原生图像能力），这些新能力应该会使这个任务变得容易得多。 虽然目前还没有模型能完全通过测试进行 AI 复制，不过在 RepliBench 上，模型性能随时间有明显的上升趋势。 AISI 最初传递的核心信息其实很简单：基于当前的实证数据，AI 系统立刻实现自主复制的可能性不大，因为存在明显的、难以逾越的技术瓶颈。 但是按照 AISI 的判断，如果 AI 系统能够突破上述提到的 4 个关键能力，这种类似科幻故事的场景，也许很快就会进入真实的人类生活。 本质上，这项研究的核心，反映的是当前 AI 发展中一个根本性的张力拉扯。 一方面是各大巨头不断创造性能超强的模型，比如 OpenAI 的 o3/o4...甚至到未来很有可能的 o10。 模型的发展速度越来越快，而模型的能力越来越难以预测。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/98b498b8-fc44-4e48-a1d6-fdacd3edd76f.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="704" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/98b498b8-fc44-4e48-a1d6-fdacd3edd76f.png"/> 另一方面则是致力于 AI 安全的组织要确保这些系统始终处于人类控制之下、服务于人类利益的迫切需求。 像 RepliBench 这样的努力，正是试图在这两者之间找到平衡，通过增进理解和加强预警，为驾驭这场史无前例的技术变革提供导航。 <img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/7f7a78f4-a6af-4826-880e-a5011cc243cc.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1024" height="682" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/7f7a78f4-a6af-4826-880e-a5011cc243cc.png"/> 毕竟，没有人能想象出 5 代、10 代以后的 AI 模型会是什么样子。 本文作者：新智元，来源：新智元，原文标题：《AI「自我复制」能力曝光！RepliBench 警示：大模型正在学会伪造身份》风险提示及免责条款 市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。</div>

OpenAI

AI 的自我复制能力引发关注，AISI 发布 RepliBench 基准，评估 AI 系统的复制能力及其潜在风险。研究表明，具有自我复制能力的 AI 可能导致从轻微的垃圾邮件到严重的网络攻击等多种风险。早期识别和监管这些能力至关重要，以防止难以逆转的后果。

- AI 自主复制能力的研究引发关注，可能带来重大风险。  
- AISI 的 RepliBench 基准测试评估 AI 复制能力，揭示技术瓶颈。  
- 研究强调需加强监督，以防止 AI 失控。  