<p><img src="https://imageproxy.pbkrs.com/https://s.yimg.com/ny/api/res/1.2/UgYDzoAdfprcjcVkeNwiQQ--/YXBwaWQ9aGlnaGxhbmRlcjt3PTEyNDI7aD04Mjg-/https://media.zenfs.com/en/afp.com.sg/432295df6760f8d23df4976406ac1576?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" alt="" width="768" height="512" original-src="https://imageproxy.pbkrs.com/https://s.yimg.com/ny/api/res/1.2/UgYDzoAdfprcjcVkeNwiQQ--/YXBwaWQ9aGlnaGxhbmRlcjt3PTEyNDI7aD04Mjg-/https://media.zenfs.com/en/afp.com.sg/432295df6760f8d23df4976406ac1576"/></p>
<p>人工智能公司 Anthropic 建议全球暂停构建最强大的人工智能系统，因为最新模型开始显示出可能逃脱人类控制的迹象（SEBASTIEN BOZON）</p>
<p>人工智能公司 Anthropic 周四建议全球暂停构建最强大的人工智能系统，因为最新模型开始显示出可能逃脱人类控制的迹象。</p>
<p>这家位于旧金山的公司制造 Claude 系列人工智能模型，在一份报告中表示，全球范围内减缓尖端人工智能的发展&#34;可能是件好事&#34;——但警告称，如果只有一家公司停止，竞争对手将会迅速赶上。</p>
<p>&#34;我们认为，能够减缓或暂时暂停前沿人工智能的发展，对世界来说是有益的，以便社会结构和对齐研究能够跟上技术的进步，&#34;它说。</p>
<p>实现真正的暂停意味着多个国家的主要人工智能公司——尤其是美国和中国——都需在同一时间达成一致，遵循所有人都能实际验证的规则，Anthropic 表示。</p>
<p>&#34;没有全球协调机制，企业和政府在竞争和地缘政治压力下将不得不做出关于安全的艰难决定，&#34;它说。</p>
<p>该公司面临来自行业其他人士和白宫官员的反对，他们表示其对最坏情况的关注夸大了风险，并且是在安全问题的掩护下减缓竞争对手的策略。</p>
<p>尽管如此，白宫承认该公司的 Mythos 模型的强大——由于其网络安全能力，该模型尚未向公众开放，目前仅部署给少数经过审查的组织。</p>
<p>这一提案在华盛顿和硅谷将面临艰难的斗争，美国官员和科技高管们一再争辩称，任何人工智能发展的减缓都可能使中国在许多人视为本世纪决定性技术竞赛的领域中获得决定性的战略优势。</p>
<p>然而，美国总统唐纳德·特朗普表示，他在最近访问北京期间讨论了与中国在人工智能安全问题上合作的可能性。</p>
<p>特朗普本周还签署了一项行政命令，允许政府在最强大的美国人工智能模型发布前进行 30 天的初步审查。</p>
<p>- '人类角色缩小' -</p>
<p>Anthropic 将这个问题与核武器控制条约进行了比较——但表示这将更难以掌控，因为人工智能训练比导弹发射井更容易隐藏，而悄悄继续进行的诱惑将是巨大的。</p>
<p>该公司表示，计划在未来几个月内召集政府官员、科学家、倡导团体和竞争的人工智能公司，以探讨这样的系统如何运作。</p>
<p>呼吁协调的同时，Anthropic 表示，内部数据显示人工智能已经显著加速了人工智能自身的发展。</p>
<p>这种加速创造了一个反馈循环，Anthropic 警告称，这可能最终导致研究人员所称的&#34;递归自我改进&#34;。</p>
<p>这意味着一个人工智能系统能够在没有太多人类帮助的情况下，基本上自我学习变得更聪明。</p>
<p>&#34;我们还没有到达那一步，递归自我改进并不是不可避免的，&#34;报告说，同时补充称，这可能比大多数政府和机构准备的时间要早。</p>
<p>&#34;证据表明，在人工智能发展过程中的每一步，人类的角色正在缩小，&#34;该公司表示。</p>
<p>arp/sla</p>

<p>Anthropic 呼吁全球暂停开发最强大的人工智能系统，指出模型可能逃脱人类控制和递归自我改进的风险。该公司敦促包括美国和中国在内的主要参与者采取协调的国际行动，以确保安全对齐跟上技术的发展。尽管面临行业的反对作为竞争策略，白宫承认了 Anthropic 的 Mythos 模型的强大。特朗普总统最近签署了一项行政命令，允许政府在发布前对美国顶级人工智能模型进行为期 30 天的审查</p>

<p><img src="https://imageproxy.pbkrs.com/https://s.yimg.com/ny/api/res/1.2/UgYDzoAdfprcjcVkeNwiQQ--/YXBwaWQ9aGlnaGxhbmRlcjt3PTEyNDI7aD04Mjg-/https://media.zenfs.com/en/afp.com.sg/432295df6760f8d23df4976406ac1576" alt="" original-src="https://s.yimg.com/ny/api/res/1.2/UgYDzoAdfprcjcVkeNwiQQ--/YXBwaWQ9aGlnaGxhbmRlcjt3PTEyNDI7aD04Mjg-/https://media.zenfs.com/en/afp.com.sg/432295df6760f8d23df4976406ac1576"/></p>
<p>Artificial intelligence company Anthropic suggests a global pause on building the most powerful AI systems as the latest models are beginning to show signs they could escape human control (SEBASTIEN BOZON)</p>
<div class="lb-trans"><p>人工智能公司 Anthropic 建议全球暂停构建最强大的人工智能系统，因为最新模型开始显示出可能逃脱人类控制的迹象（SEBASTIEN BOZON）</p>
</div><p>Artificial intelligence company Anthropic suggested Thursday a global pause on building the most powerful AI systems as the latest models are beginning to show signs they could escape human control.</p>
<div class="lb-trans"><p>人工智能公司 Anthropic 周四建议全球暂停构建最强大的人工智能系统，因为最新模型开始显示出可能逃脱人类控制的迹象。</p>
</div><p>The San Francisco-based company, which makes the Claude family of AI models, said in a report that a worldwide slowdown in cutting-edge AI development would &#34;likely be a good thing&#34; -- but warned that if only one company stopped, rivals would simply race ahead.</p>
<div class="lb-trans"><p>这家位于旧金山的公司制造 Claude 系列人工智能模型，在一份报告中表示，全球范围内减缓尖端人工智能的发展&#34;可能是件好事&#34;——但警告称，如果只有一家公司停止，竞争对手将会迅速赶上。</p>
</div><p>&#34;We believe it would be good for the world to have the option to slow or temporarily pause frontier AI development to enable societal structures and alignment research to keep up with the advance of the technology,&#34; it said.</p>
<div class="lb-trans"><p>&#34;我们认为，能够减缓或暂时暂停前沿人工智能的发展，对世界来说是有益的，以便社会结构和对齐研究能够跟上技术的进步，&#34;它说。</p>
</div><p>Getting a real pause to work would mean multiple major AI companies in multiple countries -- most notably the US and China -- all agreeing to stop at the same time, under rules everyone could actually verify, Anthropic said.</p>
<div class="lb-trans"><p>实现真正的暂停意味着多个国家的主要人工智能公司——尤其是美国和中国——都需在同一时间达成一致，遵循所有人都能实际验证的规则，Anthropic 表示。</p>
</div><p>&#34;Without a global coordination mechanism, companies and governments will have to make difficult decisions about safety while under competitive and geopolitical pressures,&#34; it said.</p>
<div class="lb-trans"><p>&#34;没有全球协调机制，企业和政府在竞争和地缘政治压力下将不得不做出关于安全的艰难决定，&#34;它说。</p>
</div><p>The company has faced pushback from others in the industry -- and officials in the White House -- who say its focus on worst-case scenarios overstates the risks and amounts to a strategy for slowing rivals under the cover of safety concerns.</p>
<div class="lb-trans"><p>该公司面临来自行业其他人士和白宫官员的反对，他们表示其对最坏情况的关注夸大了风险，并且是在安全问题的掩护下减缓竞争对手的策略。</p>
</div><p>Still, the White House has acknowledged the power of the company's Mythos model -- which has not been made available to the general public due to its cybersecurity capabilities and is currently deployed only to a small number of vetted organizations.</p>
<div class="lb-trans"><p>尽管如此，白宫承认该公司的 Mythos 模型的强大——由于其网络安全能力，该模型尚未向公众开放，目前仅部署给少数经过审查的组织。</p>
</div><p>The proposal would face an uphill battle in Washington and Silicon Valley, where US officials and tech executives have repeatedly argued that any slowdown in AI development risks handing China a decisive strategic edge in what many see as the defining technology race of the century.</p>
<div class="lb-trans"><p>这一提案在华盛顿和硅谷将面临艰难的斗争，美国官员和科技高管们一再争辩称，任何人工智能发展的减缓都可能使中国在许多人视为本世纪决定性技术竞赛的领域中获得决定性的战略优势。</p>
</div><p>US President Donald Trump, however, said he discussed the possibility of cooperating with China on AI safety issues during his recent visit to Beijing.</p>
<div class="lb-trans"><p>然而，美国总统唐纳德·特朗普表示，他在最近访问北京期间讨论了与中国在人工智能安全问题上合作的可能性。</p>
</div><p>Trump also signed an executive order this week that allows the government 30 days to conduct a preliminary review of the most powerful US AI models before their release.</p>
<div class="lb-trans"><p>特朗普本周还签署了一项行政命令，允许政府在最强大的美国人工智能模型发布前进行 30 天的初步审查。</p>
</div><p>- 'Human role narrowing' -</p>
<div class="lb-trans"><p>- '人类角色缩小' -</p>
</div><p>Anthropic compared the problem to nuclear arms control treaties -- but said it would be even harder to get a handle on, since AI training is far easier to hide than a missile silo, and the temptation to quietly keep going would be enormous.</p>
<div class="lb-trans"><p>Anthropic 将这个问题与核武器控制条约进行了比较——但表示这将更难以掌控，因为人工智能训练比导弹发射井更容易隐藏，而悄悄继续进行的诱惑将是巨大的。</p>
</div><p>The company said it plans to bring together government officials, scientists, advocacy groups and competing AI firms in coming months to figure out how such a system could work.</p>
<div class="lb-trans"><p>该公司表示，计划在未来几个月内召集政府官员、科学家、倡导团体和竞争的人工智能公司，以探讨这样的系统如何运作。</p>
</div><p>The call for coordination comes alongside internal data showing that AI is already dramatically speeding up the development of AI itself, Anthropic said.</p>
<div class="lb-trans"><p>呼吁协调的同时，Anthropic 表示，内部数据显示人工智能已经显著加速了人工智能自身的发展。</p>
</div><p>That acceleration creates a feedback loop that Anthropic warned could eventually lead to what researchers call &#34;recursive self-improvement.&#34;</p>
<div class="lb-trans"><p>这种加速创造了一个反馈循环，Anthropic 警告称，这可能最终导致研究人员所称的&#34;递归自我改进&#34;。</p>
</div><p>That's the idea of an AI system that becomes capable of essentially teaching itself to get smarter, without much human help.</p>
<div class="lb-trans"><p>这意味着一个人工智能系统能够在没有太多人类帮助的情况下，基本上自我学习变得更聪明。</p>
</div><p>&#34;We are not there yet, and recursive self-improvement is not inevitable,&#34; the report said, while adding that it could arrive sooner than most governments and institutions are ready for.</p>
<div class="lb-trans"><p>&#34;我们还没有到达那一步，递归自我改进并不是不可避免的，&#34;报告说，同时补充称，这可能比大多数政府和机构准备的时间要早。</p>
</div><p>&#34;The evidence suggests that the human role is narrowing at each step in the AI development process,&#34; the company said.</p>
<div class="lb-trans"><p>&#34;证据表明，在人工智能发展过程中的每一步，人类的角色正在缩小，&#34;该公司表示。</p>
</div><p>arp/sla</p>
<div class="lb-trans"><p>arp/sla</p>
</div>

Anthropic 呼吁暂停全球人工智能开发