<p><img src="https://imageproxy.pbkrs.com/https://s.yimg.com/ny/api/res/1.2/UgYDzoAdfprcjcVkeNwiQQ--/YXBwaWQ9aGlnaGxhbmRlcjt3PTEyNDI7aD04Mjg-/https://media.zenfs.com/en/afp.com.sg/432295df6760f8d23df4976406ac1576?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" alt="" width="768" height="512" original-src="https://imageproxy.pbkrs.com/https://s.yimg.com/ny/api/res/1.2/UgYDzoAdfprcjcVkeNwiQQ--/YXBwaWQ9aGlnaGxhbmRlcjt3PTEyNDI7aD04Mjg-/https://media.zenfs.com/en/afp.com.sg/432295df6760f8d23df4976406ac1576"/></p>
<p>人工智能公司 Anthropic 建議全球暫停構建最強大的人工智能系統，因為最新模型開始顯示出可能逃脱人類控制的跡象（SEBASTIEN BOZON）</p>
<p>人工智能公司 Anthropic 週四建議全球暫停構建最強大的人工智能系統，因為最新模型開始顯示出可能逃脱人類控制的跡象。</p>
<p>這家位於舊金山的公司製造 Claude 系列人工智能模型，在一份報告中表示，全球範圍內減緩尖端人工智能的發展&#34;可能是件好事&#34;——但警告稱，如果只有一家公司停止，競爭對手將會迅速趕上。</p>
<p>&#34;我們認為，能夠減緩或暫時暫停前沿人工智能的發展，對世界來説是有益的，以便社會結構和對齊研究能夠跟上技術的進步，&#34;它説。</p>
<p>實現真正的暫停意味着多個國家的主要人工智能公司——尤其是美國和中國——都需在同一時間達成一致，遵循所有人都能實際驗證的規則，Anthropic 表示。</p>
<p>&#34;沒有全球協調機制，企業和政府在競爭和地緣政治壓力下將不得不做出關於安全的艱難決定，&#34;它説。</p>
<p>該公司面臨來自行業其他人士和白宮官員的反對，他們表示其對最壞情況的關注誇大了風險，並且是在安全問題的掩護下減緩競爭對手的策略。</p>
<p>儘管如此，白宮承認該公司的 Mythos 模型的強大——由於其網絡安全能力，該模型尚未向公眾開放，目前僅部署給少數經過審查的組織。</p>
<p>這一提案在華盛頓和硅谷將面臨艱難的鬥爭，美國官員和科技高管們一再爭辯稱，任何人工智能發展的減緩都可能使中國在許多人視為本世紀決定性技術競賽的領域中獲得決定性的戰略優勢。</p>
<p>然而，美國總統唐納德·特朗普表示，他在最近訪問北京期間討論了與中國在人工智能安全問題上合作的可能性。</p>
<p>特朗普本週還簽署了一項行政命令，允許政府在最強大的美國人工智能模型發佈前進行 30 天的初步審查。</p>
<p>- '人類角色縮小' -</p>
<p>Anthropic 將這個問題與核武器控制條約進行了比較——但表示這將更難以掌控，因為人工智能訓練比導彈發射井更容易隱藏，而悄悄繼續進行的誘惑將是巨大的。</p>
<p>該公司表示，計劃在未來幾個月內召集政府官員、科學家、倡導團體和競爭的人工智能公司，以探討這樣的系統如何運作。</p>
<p>呼籲協調的同時，Anthropic 表示，內部數據顯示人工智能已經顯著加速了人工智能自身的發展。</p>
<p>這種加速創造了一個反饋循環，Anthropic 警告稱，這可能最終導致研究人員所稱的&#34;遞歸自我改進&#34;。</p>
<p>這意味着一個人工智能系統能夠在沒有太多人類幫助的情況下，基本上自我學習變得更聰明。</p>
<p>&#34;我們還沒有到達那一步，遞歸自我改進並不是不可避免的，&#34;報告説，同時補充稱，這可能比大多數政府和機構準備的時間要早。</p>
<p>&#34;證據表明，在人工智能發展過程中的每一步，人類的角色正在縮小，&#34;該公司表示。</p>
<p>arp/sla</p>

<p>Anthropic 呼籲全球暫停開發最強大的人工智能系統，指出模型可能逃脱人類控制和遞歸自我改進的風險。該公司敦促包括美國和中國在內的主要參與者採取協調的國際行動，以確保安全對齊跟上技術的發展。儘管面臨行業的反對作為競爭策略，白宮承認了 Anthropic 的 Mythos 模型的強大。特朗普總統最近簽署了一項行政命令，允許政府在發佈前對美國頂級人工智能模型進行為期 30 天的審查</p>

<p><img src="https://imageproxy.pbkrs.com/https://s.yimg.com/ny/api/res/1.2/UgYDzoAdfprcjcVkeNwiQQ--/YXBwaWQ9aGlnaGxhbmRlcjt3PTEyNDI7aD04Mjg-/https://media.zenfs.com/en/afp.com.sg/432295df6760f8d23df4976406ac1576" alt="" original-src="https://s.yimg.com/ny/api/res/1.2/UgYDzoAdfprcjcVkeNwiQQ--/YXBwaWQ9aGlnaGxhbmRlcjt3PTEyNDI7aD04Mjg-/https://media.zenfs.com/en/afp.com.sg/432295df6760f8d23df4976406ac1576"/></p>
<p>Artificial intelligence company Anthropic suggests a global pause on building the most powerful AI systems as the latest models are beginning to show signs they could escape human control (SEBASTIEN BOZON)</p>
<div class="lb-trans"><p>人工智能公司 Anthropic 建議全球暫停構建最強大的人工智能系統，因為最新模型開始顯示出可能逃脱人類控制的跡象（SEBASTIEN BOZON）</p>
</div><p>Artificial intelligence company Anthropic suggested Thursday a global pause on building the most powerful AI systems as the latest models are beginning to show signs they could escape human control.</p>
<div class="lb-trans"><p>人工智能公司 Anthropic 週四建議全球暫停構建最強大的人工智能系統，因為最新模型開始顯示出可能逃脱人類控制的跡象。</p>
</div><p>The San Francisco-based company, which makes the Claude family of AI models, said in a report that a worldwide slowdown in cutting-edge AI development would &#34;likely be a good thing&#34; -- but warned that if only one company stopped, rivals would simply race ahead.</p>
<div class="lb-trans"><p>這家位於舊金山的公司製造 Claude 系列人工智能模型，在一份報告中表示，全球範圍內減緩尖端人工智能的發展&#34;可能是件好事&#34;——但警告稱，如果只有一家公司停止，競爭對手將會迅速趕上。</p>
</div><p>&#34;We believe it would be good for the world to have the option to slow or temporarily pause frontier AI development to enable societal structures and alignment research to keep up with the advance of the technology,&#34; it said.</p>
<div class="lb-trans"><p>&#34;我們認為，能夠減緩或暫時暫停前沿人工智能的發展，對世界來説是有益的，以便社會結構和對齊研究能夠跟上技術的進步，&#34;它説。</p>
</div><p>Getting a real pause to work would mean multiple major AI companies in multiple countries -- most notably the US and China -- all agreeing to stop at the same time, under rules everyone could actually verify, Anthropic said.</p>
<div class="lb-trans"><p>實現真正的暫停意味着多個國家的主要人工智能公司——尤其是美國和中國——都需在同一時間達成一致，遵循所有人都能實際驗證的規則，Anthropic 表示。</p>
</div><p>&#34;Without a global coordination mechanism, companies and governments will have to make difficult decisions about safety while under competitive and geopolitical pressures,&#34; it said.</p>
<div class="lb-trans"><p>&#34;沒有全球協調機制，企業和政府在競爭和地緣政治壓力下將不得不做出關於安全的艱難決定，&#34;它説。</p>
</div><p>The company has faced pushback from others in the industry -- and officials in the White House -- who say its focus on worst-case scenarios overstates the risks and amounts to a strategy for slowing rivals under the cover of safety concerns.</p>
<div class="lb-trans"><p>該公司面臨來自行業其他人士和白宮官員的反對，他們表示其對最壞情況的關注誇大了風險，並且是在安全問題的掩護下減緩競爭對手的策略。</p>
</div><p>Still, the White House has acknowledged the power of the company's Mythos model -- which has not been made available to the general public due to its cybersecurity capabilities and is currently deployed only to a small number of vetted organizations.</p>
<div class="lb-trans"><p>儘管如此，白宮承認該公司的 Mythos 模型的強大——由於其網絡安全能力，該模型尚未向公眾開放，目前僅部署給少數經過審查的組織。</p>
</div><p>The proposal would face an uphill battle in Washington and Silicon Valley, where US officials and tech executives have repeatedly argued that any slowdown in AI development risks handing China a decisive strategic edge in what many see as the defining technology race of the century.</p>
<div class="lb-trans"><p>這一提案在華盛頓和硅谷將面臨艱難的鬥爭，美國官員和科技高管們一再爭辯稱，任何人工智能發展的減緩都可能使中國在許多人視為本世紀決定性技術競賽的領域中獲得決定性的戰略優勢。</p>
</div><p>US President Donald Trump, however, said he discussed the possibility of cooperating with China on AI safety issues during his recent visit to Beijing.</p>
<div class="lb-trans"><p>然而，美國總統唐納德·特朗普表示，他在最近訪問北京期間討論了與中國在人工智能安全問題上合作的可能性。</p>
</div><p>Trump also signed an executive order this week that allows the government 30 days to conduct a preliminary review of the most powerful US AI models before their release.</p>
<div class="lb-trans"><p>特朗普本週還簽署了一項行政命令，允許政府在最強大的美國人工智能模型發佈前進行 30 天的初步審查。</p>
</div><p>- 'Human role narrowing' -</p>
<div class="lb-trans"><p>- '人類角色縮小' -</p>
</div><p>Anthropic compared the problem to nuclear arms control treaties -- but said it would be even harder to get a handle on, since AI training is far easier to hide than a missile silo, and the temptation to quietly keep going would be enormous.</p>
<div class="lb-trans"><p>Anthropic 將這個問題與核武器控制條約進行了比較——但表示這將更難以掌控，因為人工智能訓練比導彈發射井更容易隱藏，而悄悄繼續進行的誘惑將是巨大的。</p>
</div><p>The company said it plans to bring together government officials, scientists, advocacy groups and competing AI firms in coming months to figure out how such a system could work.</p>
<div class="lb-trans"><p>該公司表示，計劃在未來幾個月內召集政府官員、科學家、倡導團體和競爭的人工智能公司，以探討這樣的系統如何運作。</p>
</div><p>The call for coordination comes alongside internal data showing that AI is already dramatically speeding up the development of AI itself, Anthropic said.</p>
<div class="lb-trans"><p>呼籲協調的同時，Anthropic 表示，內部數據顯示人工智能已經顯著加速了人工智能自身的發展。</p>
</div><p>That acceleration creates a feedback loop that Anthropic warned could eventually lead to what researchers call &#34;recursive self-improvement.&#34;</p>
<div class="lb-trans"><p>這種加速創造了一個反饋循環，Anthropic 警告稱，這可能最終導致研究人員所稱的&#34;遞歸自我改進&#34;。</p>
</div><p>That's the idea of an AI system that becomes capable of essentially teaching itself to get smarter, without much human help.</p>
<div class="lb-trans"><p>這意味着一個人工智能系統能夠在沒有太多人類幫助的情況下，基本上自我學習變得更聰明。</p>
</div><p>&#34;We are not there yet, and recursive self-improvement is not inevitable,&#34; the report said, while adding that it could arrive sooner than most governments and institutions are ready for.</p>
<div class="lb-trans"><p>&#34;我們還沒有到達那一步，遞歸自我改進並不是不可避免的，&#34;報告説，同時補充稱，這可能比大多數政府和機構準備的時間要早。</p>
</div><p>&#34;The evidence suggests that the human role is narrowing at each step in the AI development process,&#34; the company said.</p>
<div class="lb-trans"><p>&#34;證據表明，在人工智能發展過程中的每一步，人類的角色正在縮小，&#34;該公司表示。</p>
</div><p>arp/sla</p>
<div class="lb-trans"><p>arp/sla</p>
</div>

Anthropic 呼籲暫停全球人工智能開發