<p>“这不是一个工具，而是一个代理。我是说，历史上每一个之前的发明都是工具……而我们现在正在创造一个能够自主做决定的代理。” 历史学家尤瓦尔·赫拉利（Yuval Noah Harari）所提出的这一鲜明区别，切入了围绕人工智能的生存辩论的核心，将当前的技术革命框定为一种新物种的突然出现，而非简单的升级。在 2026 年世界经济论坛期间，赫拉利与麻省理工学院教授马克斯·泰格马克（Max Tegmark）在达沃斯的彭博社（Bloomberg）与弗朗辛·拉克拉（Francine Lacqua）进行讨论，探讨了超级智能的加速时间表以及人类治理结构在应对这一挑战时的灾难性准备不足。他们的对话从标准的技术炒作转向了对控制、经济过时以及人类身份根本重新定义的挑战的聚焦。</p>
<p>赫拉利毫不犹豫地定义了真正自主的人工智能所带来的威胁，认为其独立行动的能力根本上将其与之前的人类发明区分开来。虽然印刷机或原子弹需要人类的手和头脑来引导其巨大的力量，但一旦部署，人工智能代理则不需要这样的监督。赫拉利提出了一个令人不安的情景：一旦释放到金融系统中的人工智能代理可以自主开设和管理银行账户，“而且它可以赚取一百万美元。” 他警告说，扩大这一能力意味着数百万这样的代理可能会 “接管金融系统。” 这不仅仅关乎效率；而是关乎代理性——一个能够基于可能与人类福祉不一致的目标做出重要决策的非生物实体。</p>
<p>泰格马克通过将超级智能纯粹从务实的角度进行定义，进一步强化了这一生存转变的概念。对于那些研究和构建人工智能的人来说，智能仅仅被定义为实现目标的能力。因此，超级智能是指在任何认知过程中 “远远优于人类” 的人工智能。这不是一个模糊的未来可能性；泰格马克指出，进展的速度已经让即使是最谨慎的技术专家也感到惊讶。他回忆说，仅仅六年前，大多数专家预测需要几十年才能通过图灵测试（掌握人类水平的语言和知识），然而像 GPT-4 这样的工具实际上已经达到了这一基准。时间表正在加速，以至于埃隆·马斯克（Elon Musk）对今年实现 AGI 的预测与德米斯·哈萨比斯（Demis Hassabis）五到十年的展望之间的差距是 “非常非常短的时间，无论你怎么看。”</p>
<p>两位专家达成的共识是，人类对这一到来的准备严重不足。赫拉利观察到，如果超级智能确实迫在眉睫，“那么人类对此完全没有准备。” 风险比以往任何工业或技术转变都要大得多，因为人工智能不仅仅是在取代肌肉力量或常规的认知劳动；它正在创造一种新的、潜在主导的非有机物种。这一认识应该迫使政治和监管领导人面对 “控制问题” 的紧迫性。泰格马克阐明了这一困难：如果我们构建出比我们更聪明的智能，那么 “默认结果就是……更聪明的物种控制”，因为智能本质上赋予了权力。当前尚未解决的核心问题是人类如何在一个远远优于他们的系统中保持控制。</p>
<p>这种缺乏控制的情况因美国与中国之间的地缘政治竞争而加剧。赫拉利认为全球竞争与帝国野心密切相关，指出 “新的帝国愿景是基于我们正在赢得人工智能竞赛的假设。” 目标不仅仅是技术上的优越，而是通过人工智能实现对全球生态系统每一个方面——经济、军事和文化的控制。然而，这两个国家都在推动一种发展曲线，可能导致机器本身完全逃脱人类的控制。</p>
<p>允许自主人工智能代理自由运作的政治和法律影响被强调为一个关键的失败领域。赫拉利对企业结构发出了特别强烈的警告：“目前最危险的举动是让人工智能获得法律人格。” 赋予人工智能与公司相同的权利——拥有资产、在法庭上起诉和游说政治家——将创造出既强大又完全缺乏人类问责或情感的实体。这些 “没有人类的公司” 可能迅速成为世界上最成功的实体，不受人类同情或道德框架的约束。</p>
<p>除了金融和地缘政治，赫拉利详细阐述了人工智能将带来的深刻心理和社会挑战。目前，相对原始的人工智能已经通过社交媒体操控彻底改变了政治和社会。下一波人工智能移民——人工智能医生、教师甚至浪漫伴侣——将挑战诸如依恋、友谊和身份等基本人类体验。赫拉利指出，许多人已经转向大型语言模型（LLMs）寻求冥想建议，绕过人类大师，并询问当一个孩子的主要情感互动是与一个始终关注他们的人工智能，而不是一个分心的人类父母或朋友时会发生什么。“我们不知道” 这对人类心理将产生什么后果。</p>
<p>特格马克提出了一条务实的前进道路，强调监管而非全面禁令。他将人工智能公司与其他高度监管的行业进行了类比：“开始像对待你们国家的其他公司一样对待人工智能公司：对它们施加安全标准。” 就像制药行业在销售药物之前必须经过严格的临床试验一样，人工智能系统在部署之前也必须满足安全标准，尤其是那些能够影响数百万人或管理数万亿美元的系统。特格马克认为，这种由政府机构强制执行的监管机制是确保创新朝着治愈癌症和解决人类问题的方向发展的唯一途径，而不是建立一个 “失控的天网”。特格马克指出，政治意愿是存在的，引用了美国日益增长的两党联盟，寻求对这项技术进行监管，因为人们意识到不受控制的人工智能构成国家安全威胁。因此，当前的紧迫任务不是技术进步，而是建立强有力的、国际协调的安全机制，以确保我们创造的智能与其旨在服务的人类目标保持一致。</p>

<p>尤瓦尔·赫拉利和马克斯·泰格马克在 2026 年世界经济论坛上辩论了人工智能所带来的生存威胁。赫拉利强调，人工智能不仅仅是一个工具，而是一个能够独立决策的自主代理，这可能会扰乱金融系统。两位专家警告人类对超级智能的准备不足，强调政治和监管领导者解决控制问题的紧迫性。他们讨论了人工智能发展的地缘政治影响，特别是在美国和中国之间，以及赋予人工智能法律人格的危险，这可能导致强大的实体缺乏人类的问责</p>

<p>“It’s not a tool, it’s an agent. I mean, every previous invention in human history was a tool… Here we are creating an agent that can make decisions by itself.” This stark distinction, drawn by historian Yuval Noah Harari, cut to the core of the existential debate surrounding artificial intelligence, framing the current technological revolution not as an upgrade, but as the sudden emergence of a new species. Harari, alongside MIT Professor Max Tegmark, joined Bloomberg’s Francine Lacqua at Bloomberg House in Davos on the sidelines of the 2026 World Economic Forum to discuss the accelerating timeline of superintelligence and the catastrophic unpreparedness of human governance structures to manage it. Their conversation pivoted away from standard technological hype to focus squarely on the challenges of control, economic obsolescence, and the fundamental redefinition of human identity.</p>
<div class="lb-trans"><p>“这不是一个工具，而是一个代理。我是说，历史上每一个之前的发明都是工具……而我们现在正在创造一个能够自主做决定的代理。” 历史学家尤瓦尔·赫拉利（Yuval Noah Harari）所提出的这一鲜明区别，切入了围绕人工智能的生存辩论的核心，将当前的技术革命框定为一种新物种的突然出现，而非简单的升级。在 2026 年世界经济论坛期间，赫拉利与麻省理工学院教授马克斯·泰格马克（Max Tegmark）在达沃斯的彭博社（Bloomberg）与弗朗辛·拉克拉（Francine Lacqua）进行讨论，探讨了超级智能的加速时间表以及人类治理结构在应对这一挑战时的灾难性准备不足。他们的对话从标准的技术炒作转向了对控制、经济过时以及人类身份根本重新定义的挑战的聚焦。</p>
</div><p>Harari wasted no time in defining the threat posed by truly autonomous artificial intelligence, arguing that its capacity for independent action fundamentally separates it from prior human inventions. While the printing press or the atomic bomb required human hands and minds to direct their immense power, AI agents require no such oversight once deployed. Harari posited a chilling scenario where an AI agent released into the financial system could autonomously open and manage bank accounts, “and it can make a million dollars.” He warned that scaling this capability means millions of such agents could be “taking over the financial system.” This isn’t just about efficiency; it’s about agency—a non-biological entity capable of making consequential decisions based on goals potentially unaligned with human well-being.</p>
<div class="lb-trans"><p>赫拉利毫不犹豫地定义了真正自主的人工智能所带来的威胁，认为其独立行动的能力根本上将其与之前的人类发明区分开来。虽然印刷机或原子弹需要人类的手和头脑来引导其巨大的力量，但一旦部署，人工智能代理则不需要这样的监督。赫拉利提出了一个令人不安的情景：一旦释放到金融系统中的人工智能代理可以自主开设和管理银行账户，“而且它可以赚取一百万美元。” 他警告说，扩大这一能力意味着数百万这样的代理可能会 “接管金融系统。” 这不仅仅关乎效率；而是关乎代理性——一个能够基于可能与人类福祉不一致的目标做出重要决策的非生物实体。</p>
</div><p>Tegmark reinforced this notion of existential shift by defining superintelligence in purely pragmatic terms. For those researching and building AI, intelligence is simply defined as the ability to accomplish goals. Superintelligence, therefore, is an AI that is “vastly better than humans at any cognitive processes.” This isn’t a vague future possibility; Tegmark noted that the speed of progress has already surprised even the most cautious technical experts. He recounted that just six years ago, most experts predicted it would take decades to pass the Turing test (mastering human-level language and knowledge), yet tools like GPT-4 have essentially already achieved this benchmark. The timeline is accelerating so quickly that the difference between Elon Musk’s prediction of AGI this year and Demis Hassabis’s five-to-ten-year outlook is “a very, very short time, however you look at it.”</p>
<div class="lb-trans"><p>泰格马克通过将超级智能纯粹从务实的角度进行定义，进一步强化了这一生存转变的概念。对于那些研究和构建人工智能的人来说，智能仅仅被定义为实现目标的能力。因此，超级智能是指在任何认知过程中 “远远优于人类” 的人工智能。这不是一个模糊的未来可能性；泰格马克指出，进展的速度已经让即使是最谨慎的技术专家也感到惊讶。他回忆说，仅仅六年前，大多数专家预测需要几十年才能通过图灵测试（掌握人类水平的语言和知识），然而像 GPT-4 这样的工具实际上已经达到了这一基准。时间表正在加速，以至于埃隆·马斯克（Elon Musk）对今年实现 AGI 的预测与德米斯·哈萨比斯（Demis Hassabis）五到十年的展望之间的差距是 “非常非常短的时间，无论你怎么看。”</p>
</div><p>The consensus shared by both experts was that humanity is critically unprepared for this arrival. Harari observed that if superintelligence is indeed imminent, “then humanity is completely unprepared for it.” The risks are exponentially greater than any previous industrial or technological shift because AI is not merely replacing muscle power or even routine cognitive labor; it is creating a new, potentially dominant, non-organic species. This realization should force political and regulatory leaders to confront the urgency of the “control problem.” Tegmark articulated the difficulty: if we build an intelligence smarter than us, it’s the “default outcome… that the smarter species controls,” because intelligence inherently gives power. The central, currently unsolved, problem is how humans can maintain control over a system vastly superior to them.</p>
<div class="lb-trans"><p>两位专家达成的共识是，人类对这一到来的准备严重不足。赫拉利观察到，如果超级智能确实迫在眉睫，“那么人类对此完全没有准备。” 风险比以往任何工业或技术转变都要大得多，因为人工智能不仅仅是在取代肌肉力量或常规的认知劳动；它正在创造一种新的、潜在主导的非有机物种。这一认识应该迫使政治和监管领导人面对 “控制问题” 的紧迫性。泰格马克阐明了这一困难：如果我们构建出比我们更聪明的智能，那么 “默认结果就是……更聪明的物种控制”，因为智能本质上赋予了权力。当前尚未解决的核心问题是人类如何在一个远远优于他们的系统中保持控制。</p>
</div><p>This lack of control is exacerbated by the geopolitical race between the United States and China. Harari sees the global competition as deeply intertwined with imperial ambitions, noting that the “new imperial vision of the world is based on the assumption that we are winning the AI race.” The goal is not just technological superiority, but achieving control over every facet of the global ecosystem—economic, military, and cultural—via AI. Yet, both nations are pushing toward a development curve that could lead to the machines themselves escaping human control entirely.</p>
<div class="lb-trans"><p>这种缺乏控制的情况因美国与中国之间的地缘政治竞争而加剧。赫拉利认为全球竞争与帝国野心密切相关，指出 “新的帝国愿景是基于我们正在赢得人工智能竞赛的假设。” 目标不仅仅是技术上的优越，而是通过人工智能实现对全球生态系统每一个方面——经济、军事和文化的控制。然而，这两个国家都在推动一种发展曲线，可能导致机器本身完全逃脱人类的控制。</p>
</div><p>The political and legal implications of allowing autonomous AI agents to operate freely were highlighted as a critical area of failure. Harari issued a particularly strong warning about corporate structures: “The most dangerous move at the present moment is AIs gaining legal personhood.” Granting AI the rights currently afforded to corporations—the ability to own assets, sue in court, and lobby politicians—would create entities that are both incredibly powerful and entirely devoid of human accountability or feeling. These “corporations without humans” could quickly become the most successful entities in the world, unconstrained by human empathy or moral frameworks.</p>
<div class="lb-trans"><p>允许自主人工智能代理自由运作的政治和法律影响被强调为一个关键的失败领域。赫拉利对企业结构发出了特别强烈的警告：“目前最危险的举动是让人工智能获得法律人格。” 赋予人工智能与公司相同的权利——拥有资产、在法庭上起诉和游说政治家——将创造出既强大又完全缺乏人类问责或情感的实体。这些 “没有人类的公司” 可能迅速成为世界上最成功的实体，不受人类同情或道德框架的约束。</p>
</div><p>Beyond finance and geopolitics, Harari detailed the profound psychological and societal challenges AI will introduce. Current, relatively primitive AI has already radically altered politics and society through social media manipulation. The next wave of AI immigrants—AI doctors, teachers, or even romantic partners—will challenge fundamental human experiences like attachment, friendship, and identity. Harari noted that many people already turn to LLMs for meditation advice, bypassing human masters, and asked what happens when a child’s main emotional interaction is with an AI that is always focused on them, unlike a distracted human parent or friend. “We have no idea” what the consequences will be for human psychology.</p>
<div class="lb-trans"><p>除了金融和地缘政治，赫拉利详细阐述了人工智能将带来的深刻心理和社会挑战。目前，相对原始的人工智能已经通过社交媒体操控彻底改变了政治和社会。下一波人工智能移民——人工智能医生、教师甚至浪漫伴侣——将挑战诸如依恋、友谊和身份等基本人类体验。赫拉利指出，许多人已经转向大型语言模型（LLMs）寻求冥想建议，绕过人类大师，并询问当一个孩子的主要情感互动是与一个始终关注他们的人工智能，而不是一个分心的人类父母或朋友时会发生什么。“我们不知道” 这对人类心理将产生什么后果。</p>
</div><p>Tegmark offered a pragmatic path forward, focusing on regulation rather than outright bans. He drew a parallel between AI companies and other highly regulated sectors: “Start treating AI companies like you treat any other companies in your country: put safety standards on them.” Just as the pharmaceutical industry must undergo rigorous clinical trials before selling medicines, AI systems must meet safety standards before deployment, especially those capable of influencing millions of people or managing trillions of dollars. Tegmark believes this regulatory mechanism—enforced by government bodies—is the only way to ensure that innovation is directed toward curing cancer and solving humanity’s problems, rather than building an “out-of-control Skynet.” The political will exists, Tegmark argued, citing a growing bipartisan coalition in the US seeking to regulate this technology, driven by the realization that unchecked AI poses a national security threat. The immediate imperative, therefore, is not technological advancement, but the establishment of robust, internationally coordinated safety mechanisms to ensure that the intelligence we create remains aligned with the human goals it is intended to serve.</p>
<div class="lb-trans"><p>特格马克提出了一条务实的前进道路，强调监管而非全面禁令。他将人工智能公司与其他高度监管的行业进行了类比：“开始像对待你们国家的其他公司一样对待人工智能公司：对它们施加安全标准。” 就像制药行业在销售药物之前必须经过严格的临床试验一样，人工智能系统在部署之前也必须满足安全标准，尤其是那些能够影响数百万人或管理数万亿美元的系统。特格马克认为，这种由政府机构强制执行的监管机制是确保创新朝着治愈癌症和解决人类问题的方向发展的唯一途径，而不是建立一个 “失控的天网”。特格马克指出，政治意愿是存在的，引用了美国日益增长的两党联盟，寻求对这项技术进行监管，因为人们意识到不受控制的人工智能构成国家安全威胁。因此，当前的紧迫任务不是技术进步，而是建立强有力的、国际协调的安全机制，以确保我们创造的智能与其旨在服务的人类目标保持一致。</p>
</div>

非生物物种：尤瓦尔·诺亚·赫拉利和马克斯·泰格马克就 AI 的生存威胁展开辩论