<p>“這不是一個工具，而是一個代理。我是説，歷史上每一個之前的發明都是工具……而我們現在正在創造一個能夠自主做決定的代理。” 歷史學家尤瓦爾·赫拉利（Yuval Noah Harari）所提出的這一鮮明區別，切入了圍繞人工智能的生存辯論的核心，將當前的技術革命框定為一種新物種的突然出現，而非簡單的升級。在 2026 年世界經濟論壇期間，赫拉利與麻省理工學院教授馬克斯·泰格馬克（Max Tegmark）在達沃斯的彭博社（Bloomberg）與弗朗辛·拉克拉（Francine Lacqua）進行討論，探討了超級智能的加速時間表以及人類治理結構在應對這一挑戰時的災難性準備不足。他們的對話從標準的技術炒作轉向了對控制、經濟過時以及人類身份根本重新定義的挑戰的聚焦。</p>
<p>赫拉利毫不猶豫地定義了真正自主的人工智能所帶來的威脅，認為其獨立行動的能力根本上將其與之前的人類發明區分開來。雖然印刷機或原子彈需要人類的手和頭腦來引導其巨大的力量，但一旦部署，人工智能代理則不需要這樣的監督。赫拉利提出了一個令人不安的情景：一旦釋放到金融系統中的人工智能代理可以自主開設和管理銀行賬户，“而且它可以賺取一百萬美元。” 他警告説，擴大這一能力意味着數百萬這樣的代理可能會 “接管金融系統。” 這不僅僅關乎效率；而是關乎代理性——一個能夠基於可能與人類福祉不一致的目標做出重要決策的非生物實體。</p>
<p>泰格馬克通過將超級智能純粹從務實的角度進行定義，進一步強化了這一生存轉變的概念。對於那些研究和構建人工智能的人來説，智能僅僅被定義為實現目標的能力。因此，超級智能是指在任何認知過程中 “遠遠優於人類” 的人工智能。這不是一個模糊的未來可能性；泰格馬克指出，進展的速度已經讓即使是最謹慎的技術專家也感到驚訝。他回憶説，僅僅六年前，大多數專家預測需要幾十年才能通過圖靈測試（掌握人類水平的語言和知識），然而像 GPT-4 這樣的工具實際上已經達到了這一基準。時間表正在加速，以至於埃隆·馬斯克（Elon Musk）對今年實現 AGI 的預測與德米斯·哈薩比斯（Demis Hassabis）五到十年的展望之間的差距是 “非常非常短的時間，無論你怎麼看。”</p>
<p>兩位專家達成的共識是，人類對這一到來的準備嚴重不足。赫拉利觀察到，如果超級智能確實迫在眉睫，“那麼人類對此完全沒有準備。” 風險比以往任何工業或技術轉變都要大得多，因為人工智能不僅僅是在取代肌肉力量或常規的認知勞動；它正在創造一種新的、潛在主導的非有機物種。這一認識應該迫使政治和監管領導人面對 “控制問題” 的緊迫性。泰格馬克闡明瞭這一困難：如果我們構建出比我們更聰明的智能，那麼 “默認結果就是……更聰明的物種控制”，因為智能本質上賦予了權力。當前尚未解決的核心問題是人類如何在一個遠遠優於他們的系統中保持控制。</p>
<p>這種缺乏控制的情況因美國與中國之間的地緣政治競爭而加劇。赫拉利認為全球競爭與帝國野心密切相關，指出 “新的帝國願景是基於我們正在贏得人工智能競賽的假設。” 目標不僅僅是技術上的優越，而是通過人工智能實現對全球生態系統每一個方面——經濟、軍事和文化的控制。然而，這兩個國家都在推動一種發展曲線，可能導致機器本身完全逃脱人類的控制。</p>
<p>允許自主人工智能代理自由運作的政治和法律影響被強調為一個關鍵的失敗領域。赫拉利對企業結構發出了特別強烈的警告：“目前最危險的舉動是讓人工智能獲得法律人格。” 賦予人工智能與公司相同的權利——擁有資產、在法庭上起訴和遊説政治家——將創造出既強大又完全缺乏人類問責或情感的實體。這些 “沒有人類的公司” 可能迅速成為世界上最成功的實體，不受人類同情或道德框架的約束。</p>
<p>除了金融和地緣政治，赫拉利詳細闡述了人工智能將帶來的深刻心理和社會挑戰。目前，相對原始的人工智能已經通過社交媒體操控徹底改變了政治和社會。下一波人工智能移民——人工智能醫生、教師甚至浪漫伴侶——將挑戰諸如依戀、友誼和身份等基本人類體驗。赫拉利指出，許多人已經轉向大型語言模型（LLMs）尋求冥想建議，繞過人類大師，並詢問當一個孩子的主要情感互動是與一個始終關注他們的人工智能，而不是一個分心的人類父母或朋友時會發生什麼。“我們不知道” 這對人類心理將產生什麼後果。</p>
<p>特格馬克提出了一條務實的前進道路，強調監管而非全面禁令。他將人工智能公司與其他高度監管的行業進行了類比：“開始像對待你們國家的其他公司一樣對待人工智能公司：對它們施加安全標準。” 就像製藥行業在銷售藥物之前必須經過嚴格的臨牀試驗一樣，人工智能系統在部署之前也必須滿足安全標準，尤其是那些能夠影響數百萬人或管理數萬億美元的系統。特格馬克認為，這種由政府機構強制執行的監管機制是確保創新朝着治癒癌症和解決人類問題的方向發展的唯一途徑，而不是建立一個 “失控的天網”。特格馬克指出，政治意願是存在的，引用了美國日益增長的兩黨聯盟，尋求對這項技術進行監管，因為人們意識到不受控制的人工智能構成國家安全威脅。因此，當前的緊迫任務不是技術進步，而是建立強有力的、國際協調的安全機制，以確保我們創造的智能與其旨在服務的人類目標保持一致。</p>

<p>尤瓦爾·赫拉利和馬克斯·泰格馬克在 2026 年世界經濟論壇上辯論了人工智能所帶來的生存威脅。赫拉利強調，人工智能不僅僅是一個工具，而是一個能夠獨立決策的自主代理，這可能會擾亂金融系統。兩位專家警告人類對超級智能的準備不足，強調政治和監管領導者解決控制問題的緊迫性。他們討論了人工智能發展的地緣政治影響，特別是在美國和中國之間，以及賦予人工智能法律人格的危險，這可能導致強大的實體缺乏人類的問責</p>

<p>“It’s not a tool, it’s an agent. I mean, every previous invention in human history was a tool… Here we are creating an agent that can make decisions by itself.” This stark distinction, drawn by historian Yuval Noah Harari, cut to the core of the existential debate surrounding artificial intelligence, framing the current technological revolution not as an upgrade, but as the sudden emergence of a new species. Harari, alongside MIT Professor Max Tegmark, joined Bloomberg’s Francine Lacqua at Bloomberg House in Davos on the sidelines of the 2026 World Economic Forum to discuss the accelerating timeline of superintelligence and the catastrophic unpreparedness of human governance structures to manage it. Their conversation pivoted away from standard technological hype to focus squarely on the challenges of control, economic obsolescence, and the fundamental redefinition of human identity.</p>
<div class="lb-trans"><p>“這不是一個工具，而是一個代理。我是説，歷史上每一個之前的發明都是工具……而我們現在正在創造一個能夠自主做決定的代理。” 歷史學家尤瓦爾·赫拉利（Yuval Noah Harari）所提出的這一鮮明區別，切入了圍繞人工智能的生存辯論的核心，將當前的技術革命框定為一種新物種的突然出現，而非簡單的升級。在 2026 年世界經濟論壇期間，赫拉利與麻省理工學院教授馬克斯·泰格馬克（Max Tegmark）在達沃斯的彭博社（Bloomberg）與弗朗辛·拉克拉（Francine Lacqua）進行討論，探討了超級智能的加速時間表以及人類治理結構在應對這一挑戰時的災難性準備不足。他們的對話從標準的技術炒作轉向了對控制、經濟過時以及人類身份根本重新定義的挑戰的聚焦。</p>
</div><p>Harari wasted no time in defining the threat posed by truly autonomous artificial intelligence, arguing that its capacity for independent action fundamentally separates it from prior human inventions. While the printing press or the atomic bomb required human hands and minds to direct their immense power, AI agents require no such oversight once deployed. Harari posited a chilling scenario where an AI agent released into the financial system could autonomously open and manage bank accounts, “and it can make a million dollars.” He warned that scaling this capability means millions of such agents could be “taking over the financial system.” This isn’t just about efficiency; it’s about agency—a non-biological entity capable of making consequential decisions based on goals potentially unaligned with human well-being.</p>
<div class="lb-trans"><p>赫拉利毫不猶豫地定義了真正自主的人工智能所帶來的威脅，認為其獨立行動的能力根本上將其與之前的人類發明區分開來。雖然印刷機或原子彈需要人類的手和頭腦來引導其巨大的力量，但一旦部署，人工智能代理則不需要這樣的監督。赫拉利提出了一個令人不安的情景：一旦釋放到金融系統中的人工智能代理可以自主開設和管理銀行賬户，“而且它可以賺取一百萬美元。” 他警告説，擴大這一能力意味着數百萬這樣的代理可能會 “接管金融系統。” 這不僅僅關乎效率；而是關乎代理性——一個能夠基於可能與人類福祉不一致的目標做出重要決策的非生物實體。</p>
</div><p>Tegmark reinforced this notion of existential shift by defining superintelligence in purely pragmatic terms. For those researching and building AI, intelligence is simply defined as the ability to accomplish goals. Superintelligence, therefore, is an AI that is “vastly better than humans at any cognitive processes.” This isn’t a vague future possibility; Tegmark noted that the speed of progress has already surprised even the most cautious technical experts. He recounted that just six years ago, most experts predicted it would take decades to pass the Turing test (mastering human-level language and knowledge), yet tools like GPT-4 have essentially already achieved this benchmark. The timeline is accelerating so quickly that the difference between Elon Musk’s prediction of AGI this year and Demis Hassabis’s five-to-ten-year outlook is “a very, very short time, however you look at it.”</p>
<div class="lb-trans"><p>泰格馬克通過將超級智能純粹從務實的角度進行定義，進一步強化了這一生存轉變的概念。對於那些研究和構建人工智能的人來説，智能僅僅被定義為實現目標的能力。因此，超級智能是指在任何認知過程中 “遠遠優於人類” 的人工智能。這不是一個模糊的未來可能性；泰格馬克指出，進展的速度已經讓即使是最謹慎的技術專家也感到驚訝。他回憶説，僅僅六年前，大多數專家預測需要幾十年才能通過圖靈測試（掌握人類水平的語言和知識），然而像 GPT-4 這樣的工具實際上已經達到了這一基準。時間表正在加速，以至於埃隆·馬斯克（Elon Musk）對今年實現 AGI 的預測與德米斯·哈薩比斯（Demis Hassabis）五到十年的展望之間的差距是 “非常非常短的時間，無論你怎麼看。”</p>
</div><p>The consensus shared by both experts was that humanity is critically unprepared for this arrival. Harari observed that if superintelligence is indeed imminent, “then humanity is completely unprepared for it.” The risks are exponentially greater than any previous industrial or technological shift because AI is not merely replacing muscle power or even routine cognitive labor; it is creating a new, potentially dominant, non-organic species. This realization should force political and regulatory leaders to confront the urgency of the “control problem.” Tegmark articulated the difficulty: if we build an intelligence smarter than us, it’s the “default outcome… that the smarter species controls,” because intelligence inherently gives power. The central, currently unsolved, problem is how humans can maintain control over a system vastly superior to them.</p>
<div class="lb-trans"><p>兩位專家達成的共識是，人類對這一到來的準備嚴重不足。赫拉利觀察到，如果超級智能確實迫在眉睫，“那麼人類對此完全沒有準備。” 風險比以往任何工業或技術轉變都要大得多，因為人工智能不僅僅是在取代肌肉力量或常規的認知勞動；它正在創造一種新的、潛在主導的非有機物種。這一認識應該迫使政治和監管領導人面對 “控制問題” 的緊迫性。泰格馬克闡明瞭這一困難：如果我們構建出比我們更聰明的智能，那麼 “默認結果就是……更聰明的物種控制”，因為智能本質上賦予了權力。當前尚未解決的核心問題是人類如何在一個遠遠優於他們的系統中保持控制。</p>
</div><p>This lack of control is exacerbated by the geopolitical race between the United States and China. Harari sees the global competition as deeply intertwined with imperial ambitions, noting that the “new imperial vision of the world is based on the assumption that we are winning the AI race.” The goal is not just technological superiority, but achieving control over every facet of the global ecosystem—economic, military, and cultural—via AI. Yet, both nations are pushing toward a development curve that could lead to the machines themselves escaping human control entirely.</p>
<div class="lb-trans"><p>這種缺乏控制的情況因美國與中國之間的地緣政治競爭而加劇。赫拉利認為全球競爭與帝國野心密切相關，指出 “新的帝國願景是基於我們正在贏得人工智能競賽的假設。” 目標不僅僅是技術上的優越，而是通過人工智能實現對全球生態系統每一個方面——經濟、軍事和文化的控制。然而，這兩個國家都在推動一種發展曲線，可能導致機器本身完全逃脱人類的控制。</p>
</div><p>The political and legal implications of allowing autonomous AI agents to operate freely were highlighted as a critical area of failure. Harari issued a particularly strong warning about corporate structures: “The most dangerous move at the present moment is AIs gaining legal personhood.” Granting AI the rights currently afforded to corporations—the ability to own assets, sue in court, and lobby politicians—would create entities that are both incredibly powerful and entirely devoid of human accountability or feeling. These “corporations without humans” could quickly become the most successful entities in the world, unconstrained by human empathy or moral frameworks.</p>
<div class="lb-trans"><p>允許自主人工智能代理自由運作的政治和法律影響被強調為一個關鍵的失敗領域。赫拉利對企業結構發出了特別強烈的警告：“目前最危險的舉動是讓人工智能獲得法律人格。” 賦予人工智能與公司相同的權利——擁有資產、在法庭上起訴和遊説政治家——將創造出既強大又完全缺乏人類問責或情感的實體。這些 “沒有人類的公司” 可能迅速成為世界上最成功的實體，不受人類同情或道德框架的約束。</p>
</div><p>Beyond finance and geopolitics, Harari detailed the profound psychological and societal challenges AI will introduce. Current, relatively primitive AI has already radically altered politics and society through social media manipulation. The next wave of AI immigrants—AI doctors, teachers, or even romantic partners—will challenge fundamental human experiences like attachment, friendship, and identity. Harari noted that many people already turn to LLMs for meditation advice, bypassing human masters, and asked what happens when a child’s main emotional interaction is with an AI that is always focused on them, unlike a distracted human parent or friend. “We have no idea” what the consequences will be for human psychology.</p>
<div class="lb-trans"><p>除了金融和地緣政治，赫拉利詳細闡述了人工智能將帶來的深刻心理和社會挑戰。目前，相對原始的人工智能已經通過社交媒體操控徹底改變了政治和社會。下一波人工智能移民——人工智能醫生、教師甚至浪漫伴侶——將挑戰諸如依戀、友誼和身份等基本人類體驗。赫拉利指出，許多人已經轉向大型語言模型（LLMs）尋求冥想建議，繞過人類大師，並詢問當一個孩子的主要情感互動是與一個始終關注他們的人工智能，而不是一個分心的人類父母或朋友時會發生什麼。“我們不知道” 這對人類心理將產生什麼後果。</p>
</div><p>Tegmark offered a pragmatic path forward, focusing on regulation rather than outright bans. He drew a parallel between AI companies and other highly regulated sectors: “Start treating AI companies like you treat any other companies in your country: put safety standards on them.” Just as the pharmaceutical industry must undergo rigorous clinical trials before selling medicines, AI systems must meet safety standards before deployment, especially those capable of influencing millions of people or managing trillions of dollars. Tegmark believes this regulatory mechanism—enforced by government bodies—is the only way to ensure that innovation is directed toward curing cancer and solving humanity’s problems, rather than building an “out-of-control Skynet.” The political will exists, Tegmark argued, citing a growing bipartisan coalition in the US seeking to regulate this technology, driven by the realization that unchecked AI poses a national security threat. The immediate imperative, therefore, is not technological advancement, but the establishment of robust, internationally coordinated safety mechanisms to ensure that the intelligence we create remains aligned with the human goals it is intended to serve.</p>
<div class="lb-trans"><p>特格馬克提出了一條務實的前進道路，強調監管而非全面禁令。他將人工智能公司與其他高度監管的行業進行了類比：“開始像對待你們國家的其他公司一樣對待人工智能公司：對它們施加安全標準。” 就像製藥行業在銷售藥物之前必須經過嚴格的臨牀試驗一樣，人工智能系統在部署之前也必須滿足安全標準，尤其是那些能夠影響數百萬人或管理數萬億美元的系統。特格馬克認為，這種由政府機構強制執行的監管機制是確保創新朝着治癒癌症和解決人類問題的方向發展的唯一途徑，而不是建立一個 “失控的天網”。特格馬克指出，政治意願是存在的，引用了美國日益增長的兩黨聯盟，尋求對這項技術進行監管，因為人們意識到不受控制的人工智能構成國家安全威脅。因此，當前的緊迫任務不是技術進步，而是建立強有力的、國際協調的安全機制，以確保我們創造的智能與其旨在服務的人類目標保持一致。</p>
</div>

非生物物種：尤瓦爾·諾亞·赫拉利和馬克斯·泰格馬克就 AI 的生存威脅展開辯論