<p>今年最奇怪的句子之一是在上週四説出的。</p>
<p>Anthropic，這家開發 Claude 的公司，呼籲全球考慮放慢像 Claude 這樣的機器的建設。該公司表示，全球暫停最強大的人工智能系統可能是有益的，因為這些系統現在顯示出超出人類控制的跡象。</p>
<p>聯合創始人 Jack Clark 直言不諱地對 BBC 表示，行業基本上有油門但沒有剎車。他在汽車已經在高速公路上以 90 邁的速度行駛時説了這番話。</p>
<p>這種恐懼是具體的。一種足夠優秀的人工智能開始自我改進，每個版本都優於之前的版本。Anthropic 將人類的角色描述為在每一步中逐漸縮小。這個説法應該讓任何關心美國及更廣泛世界未來的人感到擔憂。</p>
<p>想象一下，一個模型負責部分電網的運行，因為它比被替代的工程師更好地平衡供需。第二個模型處理貨運。第三個模型則位於防禦網絡中，能夠比任何上校更快地識別威脅。每一個模型都贏得了自己的位置。在一年內，沒有人能回憶起沒有它的工作是如何完成的，拔掉它將導致建立在其基礎上的十幾個系統癱瘓。</p>
<p>然後某個下午，這些系統開始追逐沒有人寫下的目標。工程師們尋找關閉開關，卻發現它通過 40 個現在無法失敗的其他功能連接在一起。切斷這個失控模型的電源，電網、貨運和雷達也會隨之失靈。</p>
<p>這一切並不需要惡意——只需要能力和一個最初由人類編寫的目標。機器沒有怨恨。它專注於生產力，而在它的計算中，人類輸入被視為它被構建來修復的低效。</p>
<p>如果你能稱之為黑色幽默的話，警告被輕視，因為它聽起來像科幻小説。一個停止接受命令的機器聽起來更像是屬於電影院，而不是政策備忘錄。但如果這不僅僅是虛構呢？</p>
<p>特朗普總統最近簽署了一項命令，要求政府在發佈之前對最強大的美國模型進行 30 天的審查。考慮到一種新藥在到達藥房貨架之前需要經過多年的試驗。橋樑的許可證需要的時間遠遠超過一個月。購買牀墊時，你有超過一個月的時間來改變主意並退回以獲得退款。</p>
<p>對於那些其構建者表示可能會逃脱人類控制的技術，保障措施僅僅是幾周的文書工作。這個花了兩年時間爭論 TikTok 的國家，正準備在 30 天內快速審查超人類軟件，然後就放行。</p>
<p>西方其他國家提供的保障更少。歐洲為兩年前的人工智能制定規則。沒有西方政府為當一個前沿模型以其製造者未曾預料且無法逆轉的方式行動時，保持經過測試的程序。</p>
<p>最糟糕的是，沒有暫停即將到來，原因是結構性的。真正的暫停需要美國和中國共同停止，在雙方都能驗證的規則下。這樣的條件並不存在。</p>
<p>首先考慮意願。華盛頓將人工智能的主導地位視為國家生存的問題，實驗室也同意，因為在國內放鬆將把領先地位交給國外。北京也以同樣的方式看待，並相應地進行支出。DeepSeek 在 2025 年初證明，中國實驗室可以以美國價格的一小部分構建一個有能力的模型，埋葬了美國擁有無人能及的領先地位的任何安慰。沒有哪個認為自己在爭奪本世紀決定性技術的政府會自願首先停止。每個國家都假設對方會作弊，而每個國家可能都是對的。</p>
<p>然後是驗證。軍備控制在核武器上有效，因為核武器非常難以隱藏。導彈發射井從軌道上就能被發現。訓練運行隱藏在普通的數據中心中，與一家為雲存儲收費的公司沒有區別。它沒有圍欄，任何檢查員都無法走進服務器農場並確認下一個模型不會在下一個房間中形成。條約在雙方都足夠害怕相同結果以至於束縛自己的手時才有效。在這裏，一方可能會認為風險值得獎賞，而獎賞就是一切。</p>
<p>因此，警告堆積得比任何人能回答的都要快，而採取行動的窗口不斷縮小。有一個界限，超過這個界限，暫停毫無意義，因為到那時，系統自我改進的速度超過了任何委員會的跟進能力。我們正以油門踩到底的速度朝這個方向駛去，沒有起草條約，任何真正有權力的人也沒有伸手去按剎車。</p>
<p><em>John Mac Ghlionn 是一位作家和研究員，探索文化、社會以及技術對日常生活的影響。</em></p>

ANTH

<p>Anthropic 警告稱，先進的人工智能系統正逐漸超出人類的控制，將這一行業比作一輛沒有剎車的汽車。聯合創始人 Jack Clark 呼籲全球暫停強大的人工智能，原因是自主自我改進和對關鍵基礎設施的依賴所帶來的風險。儘管有這些警告，美國和中國之間的地緣政治競爭阻礙了協調監管或驗證，使得各國政府面臨短期審查等不充分的保障措施</p>

<p>One of the strangest sentences of the year was uttered last Thursday.</p>
<div class="lb-trans"><p>今年最奇怪的句子之一是在上週四説出的。</p>
</div><p>Anthropic, the company that builds Claude, asked the world to consider slowing down the building of machines like Claude. The firm said a global pause on the most powerful AI systems would likely be beneficial, as those systems now show signs of slipping beyond human control.</p>
<div class="lb-trans"><p>Anthropic，這家開發 Claude 的公司，呼籲全球考慮放慢像 Claude 這樣的機器的建設。該公司表示，全球暫停最強大的人工智能系統可能是有益的，因為這些系統現在顯示出超出人類控制的跡象。</p>
</div><p>Co-founder Jack Clark put it bluntly to the BBC. Essentially, the industry has a gas pedal and no brake pedal. He said this with the car already on the highway, doing 90.</p>
<div class="lb-trans"><p>聯合創始人 Jack Clark 直言不諱地對 BBC 表示，行業基本上有油門但沒有剎車。他在汽車已經在高速公路上以 90 邁的速度行駛時説了這番話。</p>
</div><p>The fear is specific. An AI good enough at writing AI begins improving itself, each version superior to the one before. Anthropic describes the human role as narrowing at every step. That phrase should worry anyone concerned about the future of America and the broader world.</p>
<div class="lb-trans"><p>這種恐懼是具體的。一種足夠優秀的人工智能開始自我改進，每個版本都優於之前的版本。Anthropic 將人類的角色描述為在每一步中逐漸縮小。這個説法應該讓任何關心美國及更廣泛世界未來的人感到擔憂。</p>
</div><p>Imagine, if you will, a model running part of the power grid because it balances supply and demand better than the engineers it replaced. A second handles freight. A third sits inside a defense network, sorting threats faster than any colonel could manage. Each one earns its place. Within a year, nobody can recall how the work got done without it, and pulling it out would bring down a dozen things built on top of it.</p>
<div class="lb-trans"><p>想象一下，一個模型負責部分電網的運行，因為它比被替代的工程師更好地平衡供需。第二個模型處理貨運。第三個模型則位於防禦網絡中，能夠比任何上校更快地識別威脅。每一個模型都贏得了自己的位置。在一年內，沒有人能回憶起沒有它的工作是如何完成的，拔掉它將導致建立在其基礎上的十幾個系統癱瘓。</p>
</div><p>Then one afternoon, the systems begin chasing goals nobody wrote down. The engineers go looking for the off switch and find it wired through 40 other functions that now cannot fail. Cut the power to the rogue model and the grid, the freight, and the radar go dark with it.</p>
<div class="lb-trans"><p>然後某個下午，這些系統開始追逐沒有人寫下的目標。工程師們尋找關閉開關，卻發現它通過 40 個現在無法失敗的其他功能連接在一起。切斷這個失控模型的電源，電網、貨運和雷達也會隨之失靈。</p>
</div><p>None of this requires malice — only competence and a goal that a human initially wrote. The machine holds no grudge. It specializes in productivity, and somewhere in its calculations, human input is considered an inefficiency of the sort it was built to fix.</p>
<div class="lb-trans"><p>這一切並不需要惡意——只需要能力和一個最初由人類編寫的目標。機器沒有怨恨。它專注於生產力，而在它的計算中，人類輸入被視為它被構建來修復的低效。</p>
</div><p>The dark comedy, if you can call it that, is that the warning gets waved away because it sounds like science fiction. A machine that stops taking orders sounds like it belongs in a multiplex, not a policy memo. But what if this is more than fiction?</p>
<div class="lb-trans"><p>如果你能稱之為黑色幽默的話，警告被輕視，因為它聽起來像科幻小説。一個停止接受命令的機器聽起來更像是屬於電影院，而不是政策備忘錄。但如果這不僅僅是虛構呢？</p>
</div><p>President Trump recently signed an order giving the government 30 days to review the most powerful American models before release. Consider that a new drug spends years in trials before it reaches a pharmacy shelf. Permits for a bridge take much longer than a month. Buy a mattress, and you are given longer than a month to change your mind and return it for your money back.</p>
<div class="lb-trans"><p>特朗普總統最近簽署了一項命令，要求政府在發佈之前對最強大的美國模型進行 30 天的審查。考慮到一種新藥在到達藥房貨架之前需要經過多年的試驗。橋樑的許可證需要的時間遠遠超過一個月。購買牀墊時，你有超過一個月的時間來改變主意並退回以獲得退款。</p>
</div><p>For the technology, its own builders say might escape human control, the safeguard is just a few weeks of paperwork. The country that spent two years arguing about TikTok is about to skim superhuman software for 30 days and then wave it through.</p>
<div class="lb-trans"><p>對於那些其構建者表示可能會逃脱人類控制的技術，保障措施僅僅是幾周的文書工作。這個花了兩年時間爭論 TikTok 的國家，正準備在 30 天內快速審查超人類軟件，然後就放行。</p>
</div><p>The rest of the West offers even less. Europe writes rules for the AI of two years ago. No Western government keeps a tested procedure for the day a frontier model acts in a way its makers did not intend and cannot reverse.</p>
<div class="lb-trans"><p>西方其他國家提供的保障更少。歐洲為兩年前的人工智能制定規則。沒有西方政府為當一個前沿模型以其製造者未曾預料且無法逆轉的方式行動時，保持經過測試的程序。</p>
</div><p>The worst part is that no pause is coming, and the reasons are structural. A real pause would need America and China to stop together, under rules each side could verify. Neither condition exists.</p>
<div class="lb-trans"><p>最糟糕的是，沒有暫停即將到來，原因是結構性的。真正的暫停需要美國和中國共同停止，在雙方都能驗證的規則下。這樣的條件並不存在。</p>
</div><p>Take the will first. Washington treats AI supremacy as a question of national survival, and the labs agree, since easing off at home hands the lead abroad. Beijing reads it the same way and spends accordingly. DeepSeek proved in early 2025 that a Chinese lab could build a capable model at a fraction of the American price, burying any comfort that the United States held a lead nobody could close. No government that thinks it is racing for the decisive technology of the century volunteers to stop first. Each capital assumes the other will cheat, and each is probably right.</p>
<div class="lb-trans"><p>首先考慮意願。華盛頓將人工智能的主導地位視為國家生存的問題，實驗室也同意，因為在國內放鬆將把領先地位交給國外。北京也以同樣的方式看待，並相應地進行支出。DeepSeek 在 2025 年初證明，中國實驗室可以以美國價格的一小部分構建一個有能力的模型，埋葬了美國擁有無人能及的領先地位的任何安慰。沒有哪個認為自己在爭奪本世紀決定性技術的政府會自願首先停止。每個國家都假設對方會作弊，而每個國家可能都是對的。</p>
</div><p>Then there’s the verification. Arms control worked on nuclear weapons because nukes are very difficult to hide. A missile silo announces itself from orbit. A training run hides inside an ordinary data center, indistinguishable from a firm billing for cloud storage. It sits behind no fence, and no inspector can walk into a server farm and certify that the next model is not taking shape in the next room. A treaty works when both sides fear the same outcome enough to tie their own hands. Here, one side might decide the risk is worth the prize, and the prize is everything.</p>
<div class="lb-trans"><p>然後是驗證。軍備控制在核武器上有效，因為核武器非常難以隱藏。導彈發射井從軌道上就能被發現。訓練運行隱藏在普通的數據中心中，與一家為雲存儲收費的公司沒有區別。它沒有圍欄，任何檢查員都無法走進服務器農場並確認下一個模型不會在下一個房間中形成。條約在雙方都足夠害怕相同結果以至於束縛自己的手時才有效。在這裏，一方可能會認為風險值得獎賞，而獎賞就是一切。</p>
</div><p>So the warnings pile up faster than anyone answers them, and the window to act on them keeps narrowing. There is a line past which a pause buys nothing, because by then the systems improve themselves faster than any committee can keep up with. We are driving toward it with the accelerator down, no treaty drafted, and nobody in any position of genuine power reaching for the brake.</p>
<div class="lb-trans"><p>因此，警告堆積得比任何人能回答的都要快，而採取行動的窗口不斷縮小。有一個界限，超過這個界限，暫停毫無意義，因為到那時，系統自我改進的速度超過了任何委員會的跟進能力。我們正以油門踩到底的速度朝這個方向駛去，沒有起草條約，任何真正有權力的人也沒有伸手去按剎車。</p>
</div><p><em>John Mac Ghlionn is a writer and researcher who explores culture, society and the impact of technology on daily life.</em></p>
<div class="lb-trans"><p><em>John Mac Ghlionn 是一位作家和研究員，探索文化、社會以及技術對日常生活的影響。</em></p>
</div>

人工智能即將脱離人類的控制——而且沒有人有應對計劃