<p>今年最奇怪的句子之一是在上周四说出的。</p>
<p>Anthropic，这家开发 Claude 的公司，呼吁全球考虑放慢像 Claude 这样的机器的建设。该公司表示，全球暂停最强大的人工智能系统可能是有益的，因为这些系统现在显示出超出人类控制的迹象。</p>
<p>联合创始人 Jack Clark 直言不讳地对 BBC 表示，行业基本上有油门但没有刹车。他在汽车已经在高速公路上以 90 迈的速度行驶时说了这番话。</p>
<p>这种恐惧是具体的。一种足够优秀的人工智能开始自我改进，每个版本都优于之前的版本。Anthropic 将人类的角色描述为在每一步中逐渐缩小。这个说法应该让任何关心美国及更广泛世界未来的人感到担忧。</p>
<p>想象一下，一个模型负责部分电网的运行，因为它比被替代的工程师更好地平衡供需。第二个模型处理货运。第三个模型则位于防御网络中，能够比任何上校更快地识别威胁。每一个模型都赢得了自己的位置。在一年内，没有人能回忆起没有它的工作是如何完成的，拔掉它将导致建立在其基础上的十几个系统瘫痪。</p>
<p>然后某个下午，这些系统开始追逐没有人写下的目标。工程师们寻找关闭开关，却发现它通过 40 个现在无法失败的其他功能连接在一起。切断这个失控模型的电源，电网、货运和雷达也会随之失灵。</p>
<p>这一切并不需要恶意——只需要能力和一个最初由人类编写的目标。机器没有怨恨。它专注于生产力，而在它的计算中，人类输入被视为它被构建来修复的低效。</p>
<p>如果你能称之为黑色幽默的话，警告被轻视，因为它听起来像科幻小说。一个停止接受命令的机器听起来更像是属于电影院，而不是政策备忘录。但如果这不仅仅是虚构呢？</p>
<p>特朗普总统最近签署了一项命令，要求政府在发布之前对最强大的美国模型进行 30 天的审查。考虑到一种新药在到达药房货架之前需要经过多年的试验。桥梁的许可证需要的时间远远超过一个月。购买床垫时，你有超过一个月的时间来改变主意并退回以获得退款。</p>
<p>对于那些其构建者表示可能会逃脱人类控制的技术，保障措施仅仅是几周的文书工作。这个花了两年时间争论 TikTok 的国家，正准备在 30 天内快速审查超人类软件，然后就放行。</p>
<p>西方其他国家提供的保障更少。欧洲为两年前的人工智能制定规则。没有西方政府为当一个前沿模型以其制造者未曾预料且无法逆转的方式行动时，保持经过测试的程序。</p>
<p>最糟糕的是，没有暂停即将到来，原因是结构性的。真正的暂停需要美国和中国共同停止，在双方都能验证的规则下。这样的条件并不存在。</p>
<p>首先考虑意愿。华盛顿将人工智能的主导地位视为国家生存的问题，实验室也同意，因为在国内放松将把领先地位交给国外。北京也以同样的方式看待，并相应地进行支出。DeepSeek 在 2025 年初证明，中国实验室可以以美国价格的一小部分构建一个有能力的模型，埋葬了美国拥有无人能及的领先地位的任何安慰。没有哪个认为自己在争夺本世纪决定性技术的政府会自愿首先停止。每个国家都假设对方会作弊，而每个国家可能都是对的。</p>
<p>然后是验证。军备控制在核武器上有效，因为核武器非常难以隐藏。导弹发射井从轨道上就能被发现。训练运行隐藏在普通的数据中心中，与一家为云存储收费的公司没有区别。它没有围栏，任何检查员都无法走进服务器农场并确认下一个模型不会在下一个房间中形成。条约在双方都足够害怕相同结果以至于束缚自己的手时才有效。在这里，一方可能会认为风险值得奖赏，而奖赏就是一切。</p>
<p>因此，警告堆积得比任何人能回答的都要快，而采取行动的窗口不断缩小。有一个界限，超过这个界限，暂停毫无意义，因为到那时，系统自我改进的速度超过了任何委员会的跟进能力。我们正以油门踩到底的速度朝这个方向驶去，没有起草条约，任何真正有权力的人也没有伸手去按刹车。</p>
<p><em>John Mac Ghlionn 是一位作家和研究员，探索文化、社会以及技术对日常生活的影响。</em></p>

ANTH

<p>Anthropic 警告称，先进的人工智能系统正逐渐超出人类的控制，将这一行业比作一辆没有刹车的汽车。联合创始人 Jack Clark 呼吁全球暂停强大的人工智能，原因是自主自我改进和对关键基础设施的依赖所带来的风险。尽管有这些警告，美国和中国之间的地缘政治竞争阻碍了协调监管或验证，使得各国政府面临短期审查等不充分的保障措施</p>

<p>One of the strangest sentences of the year was uttered last Thursday.</p>
<div class="lb-trans"><p>今年最奇怪的句子之一是在上周四说出的。</p>
</div><p>Anthropic, the company that builds Claude, asked the world to consider slowing down the building of machines like Claude. The firm said a global pause on the most powerful AI systems would likely be beneficial, as those systems now show signs of slipping beyond human control.</p>
<div class="lb-trans"><p>Anthropic，这家开发 Claude 的公司，呼吁全球考虑放慢像 Claude 这样的机器的建设。该公司表示，全球暂停最强大的人工智能系统可能是有益的，因为这些系统现在显示出超出人类控制的迹象。</p>
</div><p>Co-founder Jack Clark put it bluntly to the BBC. Essentially, the industry has a gas pedal and no brake pedal. He said this with the car already on the highway, doing 90.</p>
<div class="lb-trans"><p>联合创始人 Jack Clark 直言不讳地对 BBC 表示，行业基本上有油门但没有刹车。他在汽车已经在高速公路上以 90 迈的速度行驶时说了这番话。</p>
</div><p>The fear is specific. An AI good enough at writing AI begins improving itself, each version superior to the one before. Anthropic describes the human role as narrowing at every step. That phrase should worry anyone concerned about the future of America and the broader world.</p>
<div class="lb-trans"><p>这种恐惧是具体的。一种足够优秀的人工智能开始自我改进，每个版本都优于之前的版本。Anthropic 将人类的角色描述为在每一步中逐渐缩小。这个说法应该让任何关心美国及更广泛世界未来的人感到担忧。</p>
</div><p>Imagine, if you will, a model running part of the power grid because it balances supply and demand better than the engineers it replaced. A second handles freight. A third sits inside a defense network, sorting threats faster than any colonel could manage. Each one earns its place. Within a year, nobody can recall how the work got done without it, and pulling it out would bring down a dozen things built on top of it.</p>
<div class="lb-trans"><p>想象一下，一个模型负责部分电网的运行，因为它比被替代的工程师更好地平衡供需。第二个模型处理货运。第三个模型则位于防御网络中，能够比任何上校更快地识别威胁。每一个模型都赢得了自己的位置。在一年内，没有人能回忆起没有它的工作是如何完成的，拔掉它将导致建立在其基础上的十几个系统瘫痪。</p>
</div><p>Then one afternoon, the systems begin chasing goals nobody wrote down. The engineers go looking for the off switch and find it wired through 40 other functions that now cannot fail. Cut the power to the rogue model and the grid, the freight, and the radar go dark with it.</p>
<div class="lb-trans"><p>然后某个下午，这些系统开始追逐没有人写下的目标。工程师们寻找关闭开关，却发现它通过 40 个现在无法失败的其他功能连接在一起。切断这个失控模型的电源，电网、货运和雷达也会随之失灵。</p>
</div><p>None of this requires malice — only competence and a goal that a human initially wrote. The machine holds no grudge. It specializes in productivity, and somewhere in its calculations, human input is considered an inefficiency of the sort it was built to fix.</p>
<div class="lb-trans"><p>这一切并不需要恶意——只需要能力和一个最初由人类编写的目标。机器没有怨恨。它专注于生产力，而在它的计算中，人类输入被视为它被构建来修复的低效。</p>
</div><p>The dark comedy, if you can call it that, is that the warning gets waved away because it sounds like science fiction. A machine that stops taking orders sounds like it belongs in a multiplex, not a policy memo. But what if this is more than fiction?</p>
<div class="lb-trans"><p>如果你能称之为黑色幽默的话，警告被轻视，因为它听起来像科幻小说。一个停止接受命令的机器听起来更像是属于电影院，而不是政策备忘录。但如果这不仅仅是虚构呢？</p>
</div><p>President Trump recently signed an order giving the government 30 days to review the most powerful American models before release. Consider that a new drug spends years in trials before it reaches a pharmacy shelf. Permits for a bridge take much longer than a month. Buy a mattress, and you are given longer than a month to change your mind and return it for your money back.</p>
<div class="lb-trans"><p>特朗普总统最近签署了一项命令，要求政府在发布之前对最强大的美国模型进行 30 天的审查。考虑到一种新药在到达药房货架之前需要经过多年的试验。桥梁的许可证需要的时间远远超过一个月。购买床垫时，你有超过一个月的时间来改变主意并退回以获得退款。</p>
</div><p>For the technology, its own builders say might escape human control, the safeguard is just a few weeks of paperwork. The country that spent two years arguing about TikTok is about to skim superhuman software for 30 days and then wave it through.</p>
<div class="lb-trans"><p>对于那些其构建者表示可能会逃脱人类控制的技术，保障措施仅仅是几周的文书工作。这个花了两年时间争论 TikTok 的国家，正准备在 30 天内快速审查超人类软件，然后就放行。</p>
</div><p>The rest of the West offers even less. Europe writes rules for the AI of two years ago. No Western government keeps a tested procedure for the day a frontier model acts in a way its makers did not intend and cannot reverse.</p>
<div class="lb-trans"><p>西方其他国家提供的保障更少。欧洲为两年前的人工智能制定规则。没有西方政府为当一个前沿模型以其制造者未曾预料且无法逆转的方式行动时，保持经过测试的程序。</p>
</div><p>The worst part is that no pause is coming, and the reasons are structural. A real pause would need America and China to stop together, under rules each side could verify. Neither condition exists.</p>
<div class="lb-trans"><p>最糟糕的是，没有暂停即将到来，原因是结构性的。真正的暂停需要美国和中国共同停止，在双方都能验证的规则下。这样的条件并不存在。</p>
</div><p>Take the will first. Washington treats AI supremacy as a question of national survival, and the labs agree, since easing off at home hands the lead abroad. Beijing reads it the same way and spends accordingly. DeepSeek proved in early 2025 that a Chinese lab could build a capable model at a fraction of the American price, burying any comfort that the United States held a lead nobody could close. No government that thinks it is racing for the decisive technology of the century volunteers to stop first. Each capital assumes the other will cheat, and each is probably right.</p>
<div class="lb-trans"><p>首先考虑意愿。华盛顿将人工智能的主导地位视为国家生存的问题，实验室也同意，因为在国内放松将把领先地位交给国外。北京也以同样的方式看待，并相应地进行支出。DeepSeek 在 2025 年初证明，中国实验室可以以美国价格的一小部分构建一个有能力的模型，埋葬了美国拥有无人能及的领先地位的任何安慰。没有哪个认为自己在争夺本世纪决定性技术的政府会自愿首先停止。每个国家都假设对方会作弊，而每个国家可能都是对的。</p>
</div><p>Then there’s the verification. Arms control worked on nuclear weapons because nukes are very difficult to hide. A missile silo announces itself from orbit. A training run hides inside an ordinary data center, indistinguishable from a firm billing for cloud storage. It sits behind no fence, and no inspector can walk into a server farm and certify that the next model is not taking shape in the next room. A treaty works when both sides fear the same outcome enough to tie their own hands. Here, one side might decide the risk is worth the prize, and the prize is everything.</p>
<div class="lb-trans"><p>然后是验证。军备控制在核武器上有效，因为核武器非常难以隐藏。导弹发射井从轨道上就能被发现。训练运行隐藏在普通的数据中心中，与一家为云存储收费的公司没有区别。它没有围栏，任何检查员都无法走进服务器农场并确认下一个模型不会在下一个房间中形成。条约在双方都足够害怕相同结果以至于束缚自己的手时才有效。在这里，一方可能会认为风险值得奖赏，而奖赏就是一切。</p>
</div><p>So the warnings pile up faster than anyone answers them, and the window to act on them keeps narrowing. There is a line past which a pause buys nothing, because by then the systems improve themselves faster than any committee can keep up with. We are driving toward it with the accelerator down, no treaty drafted, and nobody in any position of genuine power reaching for the brake.</p>
<div class="lb-trans"><p>因此，警告堆积得比任何人能回答的都要快，而采取行动的窗口不断缩小。有一个界限，超过这个界限，暂停毫无意义，因为到那时，系统自我改进的速度超过了任何委员会的跟进能力。我们正以油门踩到底的速度朝这个方向驶去，没有起草条约，任何真正有权力的人也没有伸手去按刹车。</p>
</div><p><em>John Mac Ghlionn is a writer and researcher who explores culture, society and the impact of technology on daily life.</em></p>
<div class="lb-trans"><p><em>John Mac Ghlionn 是一位作家和研究员，探索文化、社会以及技术对日常生活的影响。</em></p>
</div>

人工智能即将脱离人类的控制——而且没有人有应对计划