Anthropic 掌门人重磅访谈：AI 正处于指数级增长尾声，2026 年将迎 “数据中心里的天才国度”，营收正以 10 倍极速狂飙

在 AI 技术指数级爆发的前夜，Anthropic 掌门人 Dario Amodei 抛出了震撼业界的预测：我们正处于 “指数增长的黄昏”，最快到 2026 年，人类将迎来由数万个顶尖大脑组成的 “数据中心里的天才国度”。 近日，大模型独角兽 Anthropic 首席执行官 Dario Amodei 在与 Dwarkesh Patel 的深度访谈中，罕见地披露了公司惊人的营收增速预期，并对 AGI（通用人工智能）的时间表、算力投资的财务逻辑以及地缘政治风险进行了详尽阐述。Amodei 认为，AI 技术正处于从量变到质变的临界点，未来 2-3 年将决定人类未来两百年的走向。 （Anthropic 首席执行官 Dario Amodei 作客 Dwarkesh Patel 播客） AI 正处于指数级增长末期 Dario Amodei 在访谈伊始就指出，我们已逼近 AI 指数增长曲线的尾声，而世界尚未充分感知这场质变。 从 GPT-1 到如今的专业级模型，AI 完成了从 “聪慧高中生” 到 “博士水准” 的跃迁，编程、数学等领域甚至实现超越，底层扩展定律从未失效，算力与数据的投入仍在持续兑现明确收益。 指数增长的魔力藏在末期的爆发里。Dario 表示，Anthropic 年营收 10 倍的跨越式增长，Claude Code 让工程师生产力倍增，模型上下文长度与泛化能力的快速突破，都在印证 “终点临近” 的信号。这场增长不只是参数的堆砌，更是智能本质的升级 —— 从数据拟合到自主泛化，AI 正在补齐最后几块关键能力拼图。 “数据中心里的天才国度”：重新定义 2026 Amodei 在访谈中提出了一个极具冲击力的概念——“数据中心里的天才国度”（A Country of Geniuses in a Datacenter）。他回顾了过去三年的技术演进，认为 AI 模型已从 “聪明的高中生” 进化为 “专业人士”。 他大胆预测，到 2026 年或 2027 年，单一模型所展现出的智力水平、知识深度和逻辑推理能力，将不仅等同于一名诺贝尔奖得主，而是等同于数万名顶尖天才协同工作的集合体。 对于这一时间表的确定性，Amodei 表现出极高的信心： “对于 10 年内实现这一愿景，我有 90% 的把握；而对于这在未来 1-2 年内发生，我认为是 50/50 的可能性。” 他指出，唯一的变数可能来自地缘政治灾难（如芯片供应链中断）或社会剧烈动荡。 营收狂飙：从 1 亿到 100 亿美元的 “恐怖” 曲线 市场最为关注的财务数据方面，Amodei 披露了 Anthropic 令人咋舌的增长曲线。他透露，公司营收正经历着 “怪异的每年 10 倍增长”（bizarre 10x per year growth）。Amodei 在访谈中直言： “2023 年，我们从 0 增长到 1 亿美元；2024 年，从 1 亿美元增长到 10 亿美元；而 2025 年，我们预计将达到 90 亿至 100 亿美元。这一指数级增长大致符合我的预期，甚至在今年第一个月，我们又增加了数十亿美元的营收。” Amodei 强调，尽管受到经济扩散速度（Diffusion）滞后的影响，企业采纳 AI 需要经过法律审核、合规检查等漫长流程，但技术本身的能力提升正在推动这一疯狂的增长曲线。 算力豪赌与破产风险：CEO 的财务平衡术 面对如此确定的技术前景，为何不现在就举债万亿美元囤积芯片？Amodei 给出了极具现实意义的财务解释：算力扩容必须与收入增长和预测精度挂钩，否则将面临毁灭性风险。 “如果我预测 2027 年会有万亿级需求，从而提前购买了价值 1 万亿美元的算力，但只要需求爆发的时间晚了一年，或者增长率稍微从 10 倍降至 5 倍，没有任何对冲手段能阻止公司破产。” Amodei 解释道，这种基于 “对数收益定律” 的投资回报需要精密核算。 他指出，Anthropic 目前的策略是 “负责任地激进”，即投入的算力规模足以捕捉巨大的上行空间，但如果市场爆发推迟，公司凭借其企业级业务的高毛利和现金流，依然能够生存。 他预计，Anthropic 有望在 2028 年左右实现盈利，届时 AI 将成为历史上盈利能力最强的产业之一。 软件工程的终局：从写代码到取代工程师 在具体落地场景上，Amodei 将编程视为 AI 最先攻克的堡垒。他将 AI 在软件工程领域的进化分为三个阶段： 第一阶段：模型编写 90% 的代码行（已实现）。 第二阶段：模型处理 90% 的端到端任务，如修复 Bug、配置集群、撰写文档。 第三阶段：模型具备 “职场经验”，能够理解复杂代码库的上下文并设定技术方向。 Amodei 预测，在 1-3 年内，AI 将能够胜任高级软件工程师的所有职责。 “这并不意味着工程师会失业，而是生产力的巨大爆发。现在的模型能做到的不仅是补全代码，而是直接接管 GPU 内核编写等高难度任务。” Anthropic 首席执行官 Dario Amodei 深度访谈全文翻译如下： 我们究竟在扩展什么？ Dwarkesh Patel（以下简称 Dwarkesh）： 我们三年前谈过。在你看来，过去三年最大的更新是什么？现在和当时的感觉有什么最大的不同？ Dario Amodei（以下简称 Dario）： 从宏观上讲，底层技术的指数级增长基本符合我的预期。虽然有一两年的误差。我不确定我是否预测到了代码方面的具体发展方向。但当我看这个指数曲线时，它大致符合我对模型进步的预期——从聪明的高中生到聪明的大学生，再到开始做博士和专业级的工作，在代码领域甚至超越了这个水平。前沿进展虽然有些不均衡，但大体符合预期。 最令人惊讶的是，公众缺乏对我们距离指数曲线终点有多近的认识。对我来说，这真是太疯狂了——无论是圈内还是圈外的人——都在谈论那些老掉牙的政治热点问题，而我们已经接近指数曲线的尾声了。 Dwarkesh： 我想了解现在这个指数曲线是什么样子。三年前我问你的第一个问题是"扩展是怎么回事，为什么有效？"现在我有类似的问题，但感觉更复杂了。 至少从公众的角度来看，三年前有众所周知的公开趋势，跨越多个数量级的计算量，你可以看到损失函数如何改善。现在我们有了强化学习扩展，但没有公开已知的扩展定律。甚至不清楚这背后的原理是什么。这是在教模型技能吗？是在教元学习吗？现在的扩展假设是什么？ Dario： 实际上我的假设和 2017 年时一样。 我想我上次谈过这个，但我写过一篇叫做"大计算块假设"的文档。它不是专门关于语言模型扩展的。我写它的时候 GPT-1 刚出来，那只是众多事物之一。 那时候有机器人技术。人们试图将推理作为独立于语言模型的东西来研究，还有 AlphaGo 和 OpenAI 的 Dota 中那种强化学习的扩展。人们记得 DeepMind 的星际争霸，AlphaStar。 这是一份更通用的文档。Rich Sutton 几年后发表了"苦涩的教训"。这个假设基本相同。 它说的是，所有的聪明才智，所有的技术，所有"我们需要新方法来做某事"的想法，这些都不太重要。只有少数几件事重要。我想我列出了七项。 一是你有多少原始计算能力。 二是数据的数量。 三是数据的质量和分布。它需要是广泛的分布。 四是你训练多长时间。 五是你需要一个可以扩展到极致的目标函数。预训练目标函数就是这样一个目标函数。另一个是强化学习目标函数，它说你有一个目标，你要去实现这个目标。在这其中，有客观奖励，比如你在数学和编码中看到的，也有更主观的奖励，比如你在 RLHF 或更高阶版本中看到的。 然后第六和第七项是关于归一化或条件化的东西，只是为了获得数值稳定性，这样大计算块就能以这种层流方式流动，而不是遇到问题。 这就是那个假设，也是我至今仍然持有的假设。我没有看到太多与之不符的东西。 预训练扩展定律是我们看到的一个例子。这些定律一直在持续。现在已经被广泛报道，我们对预训练感觉良好。它继续给我们带来收益。 改变的是，现在我们也看到强化学习出现了同样的情况。我们看到一个预训练阶段，然后是在此基础上的强化学习阶段。对于强化学习，实际上是一样的。 甚至其他公司在他们的一些发布中也发表了内容说，"我们在数学竞赛上训练模型——AIME 或其他竞赛——模型表现如何与我们训练它的时间呈对数线性关系。"我们也看到了这一点，而且不仅仅是数学竞赛。这是各种各样的强化学习任务。 我们看到强化学习的扩展与我们在预训练中看到的扩展是一样的。 Dwarkesh： 你提到了 Rich Sutton 和"苦涩的教训"。我去年采访了他，他实际上非常不认同大语言模型。我不知道这是否是他的观点，但用一种方式来转述他的反对意见：真正拥有人类学习核心的东西，不需要所有这些数十亿美元的数据和计算，以及这些定制环境，来学习如何使用 Excel，如何使用 PowerPoint，如何浏览网页。 我们必须使用这些强化学习环境来内置这些技能的事实，暗示我们实际上缺少一个核心的人类学习算法。所以我们在扩展错误的东西。这确实提出了一个问题。如果我们认为会有类似人类即时学习能力的东西，为什么我们要做所有这些强化学习扩展？ Dario： 我认为这把几个应该分别思考的东西混在一起了。这里确实有一个真正的谜题，但它可能并不重要。事实上，我猜它可能不重要。 这里有一个有趣的事情。让我暂时把强化学习排除在外，因为我实际上认为说强化学习在这个问题上与预训练有任何不同是一个误导。 如果我们看预训练扩展，2017 年 Alec Radford 做 GPT-1 时非常有趣。GPT-1 之前的模型是在不代表广泛文本分布的数据集上训练的。你有非常标准的语言建模基准。GPT-1 本身实际上是在一堆同人小说上训练的。那是文学文本，只是你能获得的文本的很小一部分。 那时候大概是十亿个词之类的，所以是代表你在世界上能看到的相当狭窄分布的小数据集。它的泛化能力不好。如果你在某个同人小说语料库上做得更好，它不会很好地泛化到其他任务。我们有所有这些衡量标准。我们有各种衡量它在预测所有其他类型文本方面表现如何的标准。 只有当你在互联网上的所有任务上进行训练——当你从 Common Crawl 这样的东西进行通用的互联网抓取，或者抓取 Reddit 中的链接（这是我们为 GPT-2 做的）——你才开始获得泛化能力。 我认为我们在强化学习上看到了同样的事情。我们首先从简单的强化学习任务开始，比如在数学竞赛上训练，然后转向涉及代码等更广泛的训练。现在我们正在转向许多其他任务。 我认为我们将越来越多地获得泛化能力。所以这在某种程度上消除了强化学习与预训练的区别。 但无论哪种方式都有一个谜题，那就是在预训练中我们使用了数万亿个 token。人类看不到数万亿个单词。所以这里确实存在样本效率差异。这里确实有不同的东西。 模型从零开始，需要更多的训练。但我们也看到，一旦它们被训练好，如果我们给它们一百万的长上下文——唯一阻碍长上下文的是推理——它们非常擅长在那个上下文中学习和适应。 所以我不知道这个问题的完整答案。我认为有些事情正在发生，预训练不像人类学习的过程，但它介于人类学习的过程和人类进化的过程之间。 我们的许多先验知识来自进化。我们的大脑不只是一块白板。已经有整本书写过这个。语言模型更像白板。它们真的是从随机权重开始的，而人类大脑开始时就有所有这些区域连接到所有这些输入和输出。 也许我们应该把预训练——以及强化学习——看作存在于人类进化和人类即时学习之间的中间空间。我们应该把模型进行的上下文学习看作介于人类长期学习和短期学习之间的东西。 所以有这样一个层次结构。有进化，有长期学习，有短期学习，还有人类的即时反应。大语言模型的各个阶段存在于这个光谱上，但不一定在完全相同的点上。 没有与某些人类学习模式相对应的类似物，大语言模型落在这些点之间。这有意义吗？ Dwarkesh： 有意义，虽然有些事情仍然有点令人困惑。例如，如果类比是这就像进化，所以样本效率低是可以的，那么如果我们要从上下文学习中获得超级样本高效的智能体，我们为什么要费心构建所有这些强化学习环境？ 有些公司的工作似乎是教模型如何使用这个 API，如何使用 Slack，如何使用其他东西。如果那种能即时学习的智能体正在出现或已经出现，为什么有这么多重点放在这上面，这让我感到困惑。 Dario： 我不能代表其他人的重点。我只能谈谈我们是如何思考的。 目标不是在强化学习中教会模型每一个可能的技能，就像我们在预训练中不这样做一样。在预训练中，我们不是试图让模型接触到单词可以组合在一起的每一种可能方式。 相反，模型在很多东西上训练，然后在预训练中达到泛化。这是我近距离看到的从 GPT-1 到 GPT-2 的转变。模型达到了一个点。我有过这样的时刻，我想，"哦是的，你只要给模型一列数字——这是房子的价格，这是房子的平方英尺——模型就能完成模式并进行线性回归。" 虽然不是很好，但它做到了，而且它以前从未见过那个确切的东西。 所以就我们正在构建这些强化学习环境而言，目标与五年或十年前预训练所做的非常相似。我们试图获得大量数据，不是因为我们想覆盖特定的文档或特定的技能，而是因为我们想要泛化。 我认为你提出的框架显然是有道理的。我们正在朝着 AGI 前进。此时没有人不同意我们将在本世纪实现 AGI。关键是你说我们正在接近指数曲线的终点。 其他人看到这个会说，"我们从 2012 年以来一直在取得进展，到 2035 年我们将拥有类人智能体。" 显然，我们在这些模型中看到了进化所做的事情，或者人类一生中学习所做的事情。我想了解你看到了什么，让你认为这是一年后而不是十年后。 扩展是借口吗？ Dario： 这里可以提出两种说法，一种更强，一种更弱。 从较弱的说法开始，当我在 2019 年第一次看到扩展时，我不确定。这是一个 50/50 的事情。我以为我看到了什么。我的说法是，这比任何人想的都更有可能。也许有 50% 的机会会发生。 关于你所说的，在十年内我们将达到我所谓的"数据中心里的天才之国"，我对此有 90% 的把握。很难超过 90%，因为世界是如此不可预测。也许不可减少的不确定性使我们达到 95%，你会遇到多家公司内部动荡、台湾被入侵、所有晶圆厂被导弹炸毁等情况。 Dwarkesh： 现在你给我们下了诅咒，Dario。 Dario： 你可以构建一个 5% 的世界，事情被推迟十年。 还有另外 5%，那就是我对可以验证的任务非常有信心。对于编码，除了那个不可减少的不确定性，我认为我们将在一两年内达到目标。我们不可能在十年内还没有达到能够进行端到端编码的程度。 我的一点点根本不确定性，即使在长时间尺度上，是关于那些不可验证的任务：规划火星任务；做一些基础科学发现，比如 CRISPR；写小说。 这些任务很难验证。我几乎可以肯定我们有一条可靠的路径到达那里，但如果有一点点不确定性，就在那里。 在十年时间线上，我有 90% 的把握，这差不多是你能达到的最确定的程度。我认为说到 2035 年这不会发生是疯狂的。在某个理智的世界里，这会被认为是主流之外的观点。 但对验证的强调暗示我对这些模型是泛化的缺乏信念。如果你想想人类，我们既擅长那些能得到可验证奖励的事情，也擅长那些不能的事情。 Dario： 不，这就是为什么我几乎确定。我们已经看到从可验证的事物到不可验证的事物有相当大的泛化。我们已经看到了这一点。 但似乎你强调这是一个会分裂的光谱，我们会在哪些领域看到更多进展。这似乎不像人类变得更好的方式。 Dario： 我们无法到达那里的世界是我们做所有可验证的事情的世界。其中许多会泛化，但我们没有完全到达那里。我们没有完全填满盒子的另一边。这不是一个二元的事情。 即使泛化很弱，你只能做可验证的领域，我也不清楚在这样的世界里你能否自动化软件工程。从某种意义上说，你是"软件工程师"，但作为软件工程师的一部分工作包括写关于你宏大愿景的长备忘录。 Dwarkesh： 我不认为那是软件工程师工作的一部分。 Dario： 那是公司工作的一部分，不是专门针对软件工程师的。但软件工程师确实涉及设计文档和其他类似的东西。模型已经很擅长写注释了。 再说一次，我在这里提出的主张比我相信的要弱得多，以区分两件事。我们在软件工程方面已经几乎到了。 Dwarkesh： 按什么标准？有一个标准是 AI 写了多少行代码。 如果你考虑软件工程历史上的其他生产力改进，编译器写了所有的软件行。写了多少行和生产力提高有多大之间是有区别的。"我们几乎到了"是什么意思？ Dario： 生产力提高有多大，不仅仅是 AI 写了多少行。 Dwarkesh： 我实际上同意你的观点。 Dario： 我对代码和软件工程做了一系列预测。我认为人们一再误解它们。让我列出这个光谱。 大约八、九个月前，我说 AI 模型将在三到六个月内编写 90% 的代码行。这发生了，至少在某些地方。它发生在 Anthropic，发生在许多使用我们模型的下游人员身上。 但这实际上是一个非常弱的标准。人们以为我是说我们不需要 90% 的软件工程师。这些事情相距甚远。 光谱是：90% 的代码由模型编写，100% 的代码由模型编写。这在生产力上有很大差异。 90% 的端到端软件工程任务——包括编译、设置集群和环境、测试功能、编写备忘录等——由模型完成。 100% 的今天的软件工程任务由模型完成。即使发生这种情况，也不意味着软件工程师会失业。他们可以做新的更高级的事情，他们可以管理。 然后在光谱的更远处，对软件工程师的需求减少了 90%，我认为这会发生，但这是一个光谱。 我在"技术的青春期"中写过这个，我用农业经历了这种光谱。 Dwarkesh： 我实际上完全同意你的观点。这些是彼此非常不同的基准，但我们正在以超快的速度通过它们。 你的愿景的一部分是从 90 到 100 会很快发生，并且会带来巨大的生产力提升。但我注意到的是，即使在绿地项目中，人们从 Claude Code 或其他东西开始，人们报告启动了很多项目...我们在外面的世界中看到软件的复兴了吗，所有这些否则不会存在的新功能？至少到目前为止，似乎我们没有看到。 所以这确实让我想知道。即使我从不需要干预 Claude Code，世界也是复杂的。工作是复杂的。在自包含系统上闭环，无论是只写软件还是其他什么，我们会从中看到多大的更广泛收益？ 也许这应该稀释我们对"天才之国"的估计。 Dario： 我同时同意你的观点，这是这些事情不会立即发生的原因，但同时，我认为效果会非常快。 你可以有这两个极端。一个是 AI 不会取得进展。它很慢。它将永远扩散到经济中。 经济扩散已经成为这些流行语之一，成为我们不会取得 AI 进展或 AI 进展不重要的原因。 另一个轴是我们将获得递归自我改进，整个事情。你不能只在曲线上画一条指数线吗？ 在我们获得递归后的许多纳秒内，我们将在太阳周围拥有戴森球。我在这里完全是在讽刺这个观点，但有这两个极端。 但我们从一开始就看到的，至少如果你看 Anthropic 内部，有这种奇怪的每年 10 倍的收入增长。 所以在 2023 年，是从零到 1 亿美元。在 2024 年，是从 1 亿美元到 10 亿美元。在 2025 年，是从 10 亿美元到 90-100 亿美元。 Dwarkesh： 你们应该买 10 亿美元的自己的产品，这样你们就可以... Dario： 今年的第一个月，那个指数曲线...你会认为它会放缓，但我们在一月份又增加了几十亿美元的收入。 显然那条曲线不能永远持续下去。GDP 只有那么大。我甚至猜测它今年会有所弯曲，但那是一条快速曲线。那是一条非常快的曲线。我打赌即使规模扩大到整个经济，它也会保持相当快的速度。 所以我认为我们应该考虑这个中间世界，事情非常快，但不是瞬间的，它们需要时间，因为经济扩散，因为需要闭环。 因为它很繁琐："我必须在我的企业内进行变更管理...我设置了这个，但我必须更改这个的安全权限才能使它真正工作...我有这个旧的软件在编译和发布之前检查模型，我必须重写它。是的，模型可以做到这一点，但我必须告诉模型去做。它必须花时间去做。" 所以我认为到目前为止我们看到的一切都与这样的想法兼容：有一个快速指数曲线，那就是模型的能力。然后还有另一个快速指数曲线，那是下游的，那就是模型扩散到经济中。 不是瞬间的，不是缓慢的，比任何以前的技术都快得多，但它有其限制。 当我看 Anthropic 内部，当我看我们的客户：快速采用，但不是无限快。 Dwarkesh： 我能试试一个大胆的观点吗？ Dario： 可以。 Dwarkesh： 我觉得扩散是人们说的借口。当模型不能做某事时，他们会说，"哦，但这是一个扩散问题。" 但你应该与人类进行比较。你会认为 AI 固有的优势会使新 AI 的入职扩散比新人类的入职容易得多的问题。 AI 可以在几分钟内阅读你的整个 Slack 和你的 drive。它们可以共享相同实例的其他副本拥有的所有知识。 当你雇用 AI 时，你没有这种逆向选择问题，所以你可以只雇用经过审查的 AI 模型的副本。 雇用人类要麻烦得多。人们一直在雇用人类。我们向人类支付超过 50 万亿美元的工资，因为他们有用，尽管原则上将 AI 整合到经济中应该比雇用人类容易得多。 扩展并不能真正解释。 Dario： 我认为扩散是非常真实的，并不完全与 AI 模型的局限性有关。 再说一次，有些人使用扩散作为一种流行语来说这不是什么大事。我不是在谈论那个。我不是在谈论 AI 将以以前技术的速度扩散。 我认为 AI 的扩散速度会比以前的技术快得多，但不是无限快。 我只举一个例子。有 Claude Code。Claude Code 非常容易设置。如果你是开发人员，你可以直接开始使用 Claude Code。 大型企业的开发人员没有理由不像个人开发人员或初创公司的开发人员那样快速采用 Claude Code。 我们尽一切可能推广它。我们向企业出售 Claude Code。 大型企业、大型金融公司、大型制药公司，所有这些都在采用 Claude Code，比企业通常采用新技术快得多。 但同样，这需要时间。任何给定的功能或任何给定的产品，比如 Claude Code 或 Cowork，将被一直在 Twitter 上的个人开发人员、A 轮初创公司采用，比被从事食品销售的大型企业采用要早几个月。 只是有很多因素。你必须通过法律审查，你必须为每个人配置它。它必须通过安全和合规。 公司的领导者离 AI 革命更远，他们有远见，但他们必须说，"哦，我们花 5000 万美元是有意义的。这就是这个 Claude Code 的东西。这就是它为什么帮助我们公司。这就是它为什么让我们更有生产力。" 然后他们必须向下两级的人解释。他们必须说，"好的，我们有 3000 名开发人员。我们将如何向我们的开发人员推出它。" 我们每天都有这样的对话。我们正在尽一切努力使 Anthropic 的收入增长每年 20 或 30 倍，而不是 10 倍。 再说一次，许多企业只是说，"这太有生产力了。我们将在我们通常的采购流程中走捷径。" 他们的行动比我们试图向他们出售普通 API 时快得多，许多企业都在使用。Claude Code 是一个更引人注目的产品，但它不是一个无限引人注目的产品。 我认为即使是 AGI 或强大的 AI 或"数据中心里的天才之国"也不会是一个无限引人注目的产品。它将是一个足够引人注目的产品，也许可以获得每年 3-5 倍或 10 倍的增长，即使你在数千亿美元的规模上，这是非常难做到的，历史上从未做到过，但不是无限快。 Dwarkesh： 我认为它会是一个轻微的放缓。也许这不是你的主张，但有时人们谈论这个就像，"哦，能力在那里，但因为扩散...否则我们基本上就在 AGI 了。" Dario： 我不相信我们基本上就在 AGI 了。我认为如果你有"数据中心里的天才之国"... 如果我们有"数据中心里的天才之国"，我们会知道的。如果你有"数据中心里的天才之国"，我们会知道的。这个房间里的每个人都会知道。华盛顿的每个人都会知道。农村地区的人可能不知道，但我们会知道。 我们现在没有那个。这是非常清楚的。 持续学习是必要的吗？ Dwarkesh： 回到具体预测...因为有太多不同的东西需要消除歧义，当我们谈论能力时，很容易互相误解。 例如，当我三年前采访你时，我问你一个关于三年后我们应该期待什么的预测。你是对的。你说，"我们应该期待这样的系统，如果你和它们交谈一个小时，很难把它们与受过良好教育的人类区分开来。"我认为你是对的。 我在精神上感到不满意，因为我的内部期望是这样的系统可以自动化白领工作的大部分。所以谈论你想从这样的系统中获得的实际最终能力可能更有成效。 我基本上会告诉你我认为我们在哪里。 让我问一个非常具体的问题，这样我们就可以准确地弄清楚我们应该很快考虑什么样的能力。也许我会在我很了解的工作背景下问这个问题，不是因为它是最相关的工作，而只是因为我可以评估关于它的主张。 拿视频编辑来说。我有视频编辑。他们工作的一部分包括了解我们观众的偏好，了解我的偏好和品味，以及我们拥有的不同权衡。他们在许多个月的过程中建立起对上下文的理解。 他们在工作六个月后拥有的技能和能力，一个可以即时掌握该技能的模型，我们应该什么时候期待这样的 AI 系统？ Dario： 我想你在说的是我们正在做这个三小时的采访。会有人进来，会有人编辑它。他们会说，"哦，我不知道，Dario 挠了挠头，我们可以把那个剪掉。" "放大那个。""有这个长讨论，对人们来说不太有趣。还有另一个对人们更有趣的东西，所以让我们做这个编辑。" 我认为"数据中心里的天才之国"将能够做到这一点。它能够做到这一点的方式是它将对计算机屏幕有一般控制。你将能够输入这个。 它还将能够使用计算机屏幕上网，查看你所有以前的采访，查看人们在 Twitter 上对你的采访的评论，与你交谈，问你问题，与你的员工交谈，查看你所做的编辑历史，并从中完成工作。 我认为这取决于几件事。我认为这实际上是阻碍部署的事情之一：在计算机使用方面达到模型真正精通使用计算机的程度。 我们已经看到基准测试中的这种攀升，基准测试总是不完美的衡量标准。但我认为当我们一年零一个季度前首次发布计算机使用时，OSWorld 大约是 15%。 我不记得确切数字了，但我们已经从那里攀升到 65-70%。可能还有更难的衡量标准，但我认为计算机使用必须通过一个可靠性点。 Dwarkesh： 在你继续下一点之前，我能跟进一下吗？多年来，我一直在尝试为自己构建不同的内部 LLM 工具。 通常我有这些文本输入、文本输出的任务，应该是这些模型的核心能力。然而我仍然雇用人类来做它们。 如果是像"识别这个文本中最好的片段是什么"这样的事情，也许大语言模型在上面做了七分之十的工作。但没有这种持续的方式让我与它们互动，帮助它们在工作上做得更好，就像我可以与人类员工一样。 那种缺失的能力，即使你解决了计算机使用，仍然会阻碍我将实际工作外包给它们的能力。 Dario： 这回到了我们之前谈论的在工作中学习。这非常有趣。我认为对于编码智能体，我不认为人们会说在工作中学习是阻止编码智能体端到端完成所有事情的原因。 它们一直在变得更好。我们在 Anthropic 有不写任何代码的工程师。当我看生产力时，回到你之前的问题，我们有人说，"这个 GPU 内核，这个芯片，我以前自己写。我只是让 Claude 做。"生产力有巨大的提高。 当我看 Claude Code 时，对代码库的熟悉度或模型没有在公司工作一年的感觉，这不是我看到的投诉列表中的高位。 我认为我所说的是我们正在走一条不同的路径。 Dwarkesh： 你不认为编码之所以如此，是因为有一个外部的记忆支架存在于代码库中实例化吗？我不知道有多少其他工作有那个。 编码取得快速进展正是因为它有这个其他经济活动所没有的独特优势。 Dario： 但当你这么说时，你暗示的是，通过将代码库读入上下文，我拥有人类在工作中需要学习的一切。 所以那将是一个例子——无论它是否被写下来，无论它是否可用——一个你需要知道的一切都从上下文窗口获得的案例。 我们认为的学习——"我开始这份工作，我需要六个月来理解代码库"——模型只是在上下文中做到了。 我真的不知道如何思考这个，因为有人定性地报告了你所说的。我相信你去年看到了，有一项重大研究，他们让有经验的开发人员尝试在他们熟悉的存储库中关闭拉取请求。那些开发人员报告了提升。他们报告说使用这些模型他们感觉更有生产力。 但事实上，如果你看他们的输出以及实际合并回的内容，有 20% 的下降。他们使用这些模型的结果是生产力降低了。 所以我试图将人们对这些模型的定性感觉与以下几点相协调：1）在宏观层面，这个软件的复兴在哪里？然后 2）当人们进行这些独立评估时，为什么我们没有看到我们期望的生产力收益？ Dario： 在 Anthropic 内部，这真的是毫不含糊的。我们承受着难以置信的商业压力，并且因为我们做的所有安全工作而让自己更加困难，我认为我们做得比其他公司多。 在保持我们的价值观的同时在经济上生存的压力是难以置信的。我们正在努力保持这个 10 倍收入曲线的增长。 没有时间胡说八道。没有时间感觉我们有生产力而实际上没有。 这些工具使我们更有生产力得多。你认为我们为什么担心竞争对手使用这些工具？因为我们认为我们领先于竞争对手。 如果这秘密地降低了我们的生产力，我们不会经历所有这些麻烦。我们每隔几个月就能看到最终生产力，以模型发布的形式。 对此没有自欺欺人的余地。这些模型使你更有生产力。 1）人们感觉自己有生产力是由这样的研究定性预测的。但 2）如果我只看最终输出，显然你们正在取得快速进展。 但这个想法应该是，通过递归自我改进，你制造了一个更好的 AI，AI 帮助你构建一个更好的下一个 AI，等等等等。 相反，我看到的是——如果我看你、OpenAI、DeepMind——人们只是每隔几个月就在领奖台上移动位置。也许你认为那会停止，因为你赢了或者什么的。 但如果事实上上一个编码模型有这些巨大的生产力收益，为什么我们没有看到拥有最好编码模型的人有这种持久优势。 Dario： 我认为我对情况的模型是有一个逐渐增长的优势。我会说现在编码模型给出的总因子加速可能是，我不知道，15-20%。那是我的看法。六个月前，可能是 5%。 所以没关系。5% 不算数。它现在刚刚到达一个点，它是几个因素中的一个，有点重要。那将继续加速。 我会说六个月前，有几家公司大致处于同一点，因为这不是一个显著因素，但我认为它开始加速越来越多。 我还会说有多家公司编写用于代码的模型，我们并不完全擅长阻止其中一些其他公司在内部使用我们的模型。 所以我认为我们看到的一切都与这种滚雪球模型一致。再说一次，我在所有这一切中的主题是所有这一切都是软起飞，软的、平滑的指数曲线，尽管指数曲线相对陡峭。 所以我们看到这个雪球聚集动力，它像 10%，20%，25%，40%。随着你的进行，阿姆达尔定律，你必须把所有阻止你闭环的东西清除掉。 但这是 Anthropic 内部最大的优先事项之一。 退一步说，在我们谈论何时获得这种在职学习之前？ 似乎你在编码方面提出的观点是我们实际上不需要在职学习。 你可以有巨大的生产力提升，你可以为 AI 公司带来潜在的数万亿美元收入，而没有这种基本的人类即时学习能力。 也许那不是你的主张，你应该澄清。但在大多数经济活动领域，人们说，"我雇了某人，他们在最初几个月不是那么有用，然后随着时间的推移，他们建立了背景、理解。" 实际上很难定义我们在这里谈论什么。但他们得到了一些东西，然后现在他们是一个强大的力量，他们对我们如此有价值。 如果 AI 没有发展出这种即时学习的能力，我有点怀疑我们是否会在没有那种能力的情况下看到世界的巨大变化。 Dario： 我认为这里有两件事。现在有技术的状态。 再说一次，我们有这两个阶段。我们有预训练和强化学习阶段，你把一堆数据和任务扔进模型，然后它们泛化。 所以这就像学习，但这就像从更多数据学习，而不是在一个人类或一个模型的一生中学习。 所以再说一次，这位于进化和人类学习之间。但一旦你学会了所有这些技能，你就拥有它们。 就像预训练一样，就像模型知道更多一样，如果我看一个预训练模型，它对日本武士的历史了解比我多。它对棒球了解比我多。它对低通滤波器和电子学了解更多，所有这些东西。 它的知识比我的广泛得多。所以我认为即使只是那个也可能让我们达到模型在一切方面都更好的地步。 我们还有，再说一次，只是通过扩展现有设置的类型，上下文学习。我会把它描述为有点像人类的在职学习，但稍微弱一点，稍微短期一点。 你看上下文学习，如果你给模型一堆例子，它确实能理解。上下文中确实发生了真正的学习。 一百万个 token 是很多的。那可以是几天的人类学习。如果你想想模型阅读一百万个单词，我需要多长时间才能阅读一百万个？至少几天或几周。 所以你有这两样东西。我认为现有范式中的这两样东西可能就足以让你获得"数据中心里的天才之国"。 我不确定，但我认为它们会让你得到其中的很大一部分。可能有差距，但我当然认为就目前而言，这足以产生数万亿美元的收入。那是第一点。 第二点，这个持续学习的想法，单个模型在工作中学习的想法。我认为我们也在研究这个。 很有可能在接下来的一两年内，我们也会解决这个问题。再说一次，我认为你在没有它的情况下走了大部分路。 每年数万亿美元的市场，也许所有我在"技术的青春期"中写的国家安全影响和安全影响都可以在没有它的情况下发生。 但我们，我想其他人，正在研究它。很有可能我们将在接下来的一两年内到达那里。 有很多想法。我不会详细讨论所有这些，但一个就是让上下文更长。没有什么能阻止更长的上下文工作。 你只需要在更长的上下文上训练，然后学会在推理时为它们提供服务。这两个都是我们正在研究的工程问题，我假设其他人也在研究它们。 Dwarkesh： 这个上下文长度增加，似乎从 2020 年到 2023 年有一个时期，从 GPT-3 到 GPT-4 Turbo，从 2000 上下文长度增加到 128K。 我觉得从那时起的两年左右，我们一直在相同的范围内。当上下文长度变得比那长得多时，人们报告模型考虑完整上下文的能力出现定性下降。 所以我很好奇你在内部看到了什么，让你认为，"1000 万上下文，1 亿上下文，以获得六个月的人类学习和建立上下文"。 Dario： 这不是一个研究问题。这是一个工程和推理问题。如果你想提供长上下文，你必须存储你的整个 KV 缓存。 在 GPU 中存储所有内存、处理内存是很困难的。我甚至不知道细节。在这一点上，这是一个我不再能够跟上的细节水平，尽管我在 GPT-3 时代知道它。"这些是权重，这些是你必须存储的激活..." 但现在整个事情都翻转了，因为我们有 MoE 模型和所有这些。 关于你谈论的这种退化，有两件事，不要太具体。有你训练的上下文长度和你服务的上下文长度。 如果你在小上下文长度上训练，然后尝试在长上下文长度上服务，也许你会得到这些退化。它比什么都没有好，你可能仍然提供它，但你会得到这些退化。 也许在长上下文长度上训练更难。我想，同时，问一些可能的兔子洞。 如果你必须在更长的上下文长度上训练，那不是意味着对于相同数量的计算，你能获得的样本会更少吗？ 也许不值得深入研究。我想得到更大图景问题的答案。 我不觉得对为我工作了六个月的人类编辑和与我一起工作了六个月的 AI 有偏好，你预测那将是哪一年？ Dario： 我对此的猜测是有很多问题，基本上当我们有"数据中心里的天才之国"时，我们可以做到这一点。 我对此的看法，如果你让我猜，是一到两年，也许一到三年。真的很难说。我有一个强烈的观点——99%，95%——所有这些将在 10 年内发生。我认为那只是一个超级安全的赌注。 我有一个预感——这更像是一个 50/50 的事情——它将更像是一到两年，也许更像是一到三年。 所以一到三年。天才之国，以及稍微不那么有经济价值的编辑视频任务。 Dwarkesh： 听起来很有经济价值，让我告诉你。 Dario： 只是有很多像那样的用例。有很多类似的。所以你预测在一到三年内。 如果 AGI 即将到来，为什么不购买更多计算？ Dwarkesh： 然后，一般来说，Anthropic 预测到 2026 年底或 2027 年初，我们将拥有"具有浏览当今人类进行数字工作的界面的能力、匹配或超过诺贝尔奖获得者的智力能力以及与物理世界交互的能力"的 AI 系统。 你两个月前接受 DealBook 采访时强调了你公司相对于竞争对手更负责任的计算扩展。我试图协调这两种观点。 如果你真的相信我们将拥有一个天才之国，你想要尽可能大的数据中心。没有理由放慢速度。 一个诺贝尔奖获得者的 TAM，实际上可以做诺贝尔奖获得者能做的一切，是数万亿美元。 所以我试图协调这种保守主义，如果你有更温和的时间线，这似乎是理性的，与你关于进展的陈述观点。 Dario： 它实际上都吻合在一起。我们回到这个快速但不是无限快的扩散。 假设我们以这个速度取得进展。技术以这么快的速度取得进展。我非常确信我们将在几年内到达那里。 我有一个预感，我们将在一两年内到达那里。所以在技术方面有一点不确定性，但非常有信心它不会相差太多。 我不太确定的是，再说一次，经济扩散方面。我真的相信我们可以在一两年内拥有数据中心里的天才之国的模型。 一个问题是：在那之后多少年，数万亿的收入开始滚滚而来？我不认为它保证会是立即的。 可能是一年，可能是两年，我甚至可以延伸到五年，尽管我对此持怀疑态度。 所以我们有这种不确定性。即使技术进展如我怀疑的那样快，我们也不确切知道它将以多快的速度推动收入。 我们知道它即将到来，但根据你购买这些数据中心的方式，如果你相差几年，那可能是毁灭性的。 这就像我在"慈爱机器"中写的那样。我说我认为我们可能会得到这个强大的 AI，这个"数据中心里的天才之国"。你给出的那个描述来自"慈爱机器"。 我说我们将在 2026 年得到它，也许是 2027 年。再说一次，那是我的预感。如果我相差一两年，我不会感到惊讶，但那是我的预感。 假设发生了。那是起跑枪。治愈所有疾病需要多长时间？那是推动大量经济价值的方式之一。 你治愈每一种疾病。有一个问题是有多少归制药公司或 AI 公司，但有巨大的消费者剩余，因为——假设我们可以为每个人提供访问，我非常关心这一点——我们治愈所有这些疾病。 需要多长时间？你必须进行生物学发现，你必须制造新药，你必须经过监管过程。我们在疫苗和 COVID 中看到了这一点。 我们把疫苗推广给每个人，但花了一年半。 我的问题是：从 AI 首次存在于实验室到疾病实际上为每个人治愈，需要多长时间才能让每个人都得到治愈一切的方法——AI 是理论上可以发明的天才？ 我们有脊髓灰质炎疫苗 50 年了。我们仍在试图在非洲最偏远的角落根除它。盖茨基金会正在尽其所能尝试。其他人也在尽其所能尝试。但这很困难。 再说一次，我不期望大部分经济扩散会像那样困难。那是最困难的情况。但这里有一个真正的困境。 我对此的看法是，它将比我们在世界上看到的任何东西都快，但它仍然有其限制。 所以当我们去购买数据中心时，再说一次，我看的曲线是：我们每年都有 10 倍的增长。 在今年年初，我们看到的是 100 亿美元的年化收入。我们必须决定购买多少计算。 实际构建数据中心、预订数据中心需要一两年时间。 基本上我是在说，"在 2027 年，我得到多少计算？" 我可以假设收入将继续每年增长 10 倍，所以到 2026 年底将是 1000 亿美元，到 2027 年底将是 1 万亿美元。 实际上将是 5 万亿美元的计算，因为它将是 1 万亿美元一年持续五年。我可以购买从 2027 年底开始的 1 万亿美元计算。 如果我的收入不是 1 万亿美元，即使是 8000 亿美元，世界上没有任何力量，没有任何对冲可以阻止我破产，如果我购买那么多计算。 尽管我大脑的一部分想知道它是否会继续增长 10 倍，但我不能在 2027 年购买每年 1 万亿美元的计算。 如果我在那个增长率上只相差一年，或者如果增长率是每年 5 倍而不是 10 倍，那么你就会破产。 所以你最终处于一个世界，你支持数千亿，而不是数万亿。你接受一些风险，即有如此多的需求以至于你无法支持收入，你接受一些风险，即你弄错了，它仍然很慢。 当我谈到负责任的行为时，我的意思实际上不是绝对数量。我认为确实我们的支出比其他一些玩家少一些。 实际上是其他事情，比如我们是否经过深思熟虑，还是我们在 YOLO 并说，"我们要在这里做 1000 亿美元或在那里做 1000 亿美元"？ 我的印象是其他一些公司没有写下电子表格，他们并不真正理解他们正在承担的风险。他们只是做事情，因为听起来很酷。 我们仔细考虑过。我们是一家企业业务。因此，我们可以更多地依赖收入。它不如消费者那么善变。我们有更好的利润率，这是购买太多和购买太少之间的缓冲。 我认为我们购买的数量允许我们捕获相当强劲的上行世界。它不会捕获完整的每年 10 倍。 事情必须变得相当糟糕，我们才会陷入财务困境。所以我们仔细考虑过，我们做出了那个平衡。这就是我说我们负责任的意思。 Dwarkesh： 所以似乎我们实际上可能只是对"数据中心里的天才之国"有不同的定义。因为当我想到实际的人类天才，数据中心里的一个实际的人类天才之国，我会很乐意购买价值 5 万亿美元的计算来运行数据中心里的一个实际的人类天才之国。 假设摩根大通或 Moderna 或其他什么不想使用它们。我有一个天才之国。他们会创办自己的公司。 如果他们不能创办自己的公司，他们受到临床试验的瓶颈...值得说明的是，对于临床试验，大多数临床试验失败是因为药物不起作用。没有疗效。 Dario： 我在"慈爱机器"中恰恰提出了这一点，我说临床试验将比我们习惯的快得多，但不是无限快。 Dwarkesh： 好的，然后假设临床试验需要一年时间才能成功，这样你就可以从中获得收入并制造更多药物。 好的，那么，你有一个天才之国，你是一个 AI 实验室。你可以使用更多的 AI 研究人员。 你也认为聪明人从事 AI 技术工作有这些自我强化的收益。你可以让数据中心从事 AI 进展。 从购买每年 1 万亿美元的计算与每年 3000 亿美元的计算中获得的收益是否有实质性更多？ Dario： 如果你的竞争对手购买 1 万亿，是的，有。 嗯，不，有一些收益，但同样，有这个机会，他们之前就破产了。再说一次，如果你只相差一年，你就会毁掉自己。那就是平衡。 我们正在购买很多。我们正在购买相当多。我们购买的数量与游戏中最大玩家购买的数量相当。 但如果你问我，"为什么我们没有签署从 2027 年中期开始的 10 万亿美元计算？"...首先，它无法生产。世界上没有那么多。 但第二，如果天才之国来了，但它在 2028 年中期而不是 2027 年中期来呢？你破产了。 Dwarkesh： 所以如果你的预测是一到三年，似乎你应该想要到 2029 年最晚有 10 万亿美元的算力？即使在你陈述的时间线的最长版本中，你正在扩大建设的计算似乎也不一致。 Dario： 是什么让你这么认为？ 人类工资，比如说，每年大约是 50 万亿美元—— Dwarkesh： 所以我不会专门谈论 Anthropic，但如果你谈论这个行业，今年该行业正在建设的计算量可能是，称之为，10-15 千兆瓦。 它每年大约增长 3 倍。所以明年是 30-40 千兆瓦。2028 年可能是 100 千兆瓦。2029 年可能像 300 千兆瓦。 我在脑子里做数学，但每千兆瓦成本可能是 100 亿美元，每年大约 10-15 亿美元。 你把所有这些加在一起，你得到的大约是你描述的。你得到的正是那个。到 2028 年或 2029 年，你每年得到多万亿。 Dwarkesh： 那是对行业而言。 Dario： 那是对行业而言，没错。 Dwarkesh： 假设 Anthropic 的计算每年持续 3 倍增长，然后到 2027-28 年，你有 10 千兆瓦。乘以，如你所说，100 亿美元。所以那就像每年 1000 亿美元。 但那么你是说到 2028 年 TAM 是 2000 亿美元。 Dario： 再说一次，我不想给出 Anthropic 的确切数字，但这些数字太小了。 Dwarkesh： 好的，有趣。 AI 实验室将如何真正盈利？ Dwarkesh: 你告诉投资者你们计划从 2028 年开始盈利。这一年我们可能获得作为数据中心的天才国度。这现在将解锁医学、健康和新技术的所有进步。这难道不正是你想重新投资业务并建立更大的 “国度” 以便他们能做出更多发现的时候吗？ Dario: 在这个领域，盈利能力是一件有点奇怪的事情。我不认为在这个领域，盈利能力实际上是衡量消耗与投资业务的指标。让我们以此为例。我实际上认为，当你低估了你将获得的需求量时，就会发生盈利，而当你高估了你将获得的需求量时，就会发生亏损，因为你是提前购买数据中心的。 这样想。再次强调，这些是程式化的事实。这些数字并不准确。我只是试图在这里建立一个玩具模型。假设你一半的算力用于训练，一半的算力用于推理。推理有一些超过 50% 的毛利率。所以这意味着如果你处于稳定状态，你建立了一个数据中心，如果你确切知道你获得的需求，你会获得一定数量的收入。 假设你每年支付 1000 亿美元用于算力。在每年 500 亿美元上，你支持 1500 亿美元的收入。另外 500 亿美元用于训练。基本上你是盈利的，你赚了 500 亿美元的利润。那是今天这个行业的经济学，或者不是今天，而是我们预测的一两年后的情况。 唯一让这不成立的情况是如果你获得的需求少于 500 亿美元。那么你有超过 50% 的数据中心用于研究，你就不盈利了。所以你训练了更强的模型，但你不盈利。如果你获得的需求比你想象的多，那么研究就会受到挤压，但你能够支持更多的推理，你就更盈利了。也许我解释得不好，但我试图说的是，你首先决定算力的数量。然后你有一些推理与训练的目标愿望，但这由需求决定。它不是由你决定的。 Dwarkesh: 我听到的是，你预测盈利的原因是你系统性地投资不足于算力？ Dario: 不，不，不。我是说这很难预测。关于 2028 年以及何时发生的事情，那是我们试图对投资者尽力而为。所有这些东西都因为不确定性锥体而非常不确定。如果收入增长足够快，我们可以在 2026 年盈利。如果我们高估或低估了下一年，那可能会剧烈波动。 Dwarkesh: 我试图弄清楚的是，你脑子里有一个业务模型，投资、投资、投资，获得规模然后变得盈利。有一个单一的时间点事情会好转。 Dario: 我不认为这个行业的经济学是那样运作的。 Dwarkesh: 我明白了。所以如果我理解正确的话，你是说由于我们应该获得的算力数量和我们实际获得的算力数量之间的差异，我们在某种程度上被迫盈利。但这并不意味着我们将继续盈利。我们将把钱再投资，因为现在 AI 已经取得了如此大的进步，我们想要一个更大的天才国度。所以回到收入很高，但亏损也很高。 Dario: 如果我们每年都准确预测需求是多少，我们每年都会盈利。因为花费 50% 的算力用于研究，大致上，加上高于 50% 的毛利率和正确的需求预测会导致盈利。那就是我认为有点存在但被这些提前建设和预测错误所掩盖的盈利商业模式。 Dwarkesh: 我想你把 50% 当作一种既定的常数，而事实上，如果 AI 进展很快，你可以通过扩大规模来增加进展，你就应该拥有超过 50% 并且不盈利。 Dario: 但我要说的是。你可能想把它扩大更多。记住对数规模收益。如果 70% 只能让你通过 1.4 倍的因子得到稍微小一点的模型……那额外的 200 亿美元，那里的每一美元对你来说价值都要小得多，因为是对数线性的设置。所以你可能会发现将那 200 亿美元投资于服务推理或雇佣更擅长他们所做事情的工程师更好。 所以我说 50% 的原因……那不完全是我们的目标。它不完全会是 50%。它可能会随时间变化。我要说的是对数线性回报，它导致你花费业务的一小部分。比如不是 5%，不是 95%。然后你会得到递减的回报。 Dwarkesh: 我感觉很奇怪，我在说服 Dario 相信 AI 的进步或其他什么。好的，你不投资于研究是因为它有递减的回报，但你投资于你提到的其他事情。 Dario: 我认为宏观层面的利润——再次强调，我在谈论递减的回报，但是在你每年花费 500 亿美元之后。这一点我相信你会提出，但在天才身上的递减回报可能会相当高。 更一般地说，市场经济中的利润是什么？利润基本上是说市场上的其他公司可以用这笔钱做比我更多的事情。把 Anthropic 放在一边。我不想提供关于 Anthropic 的信息。这就是为什么我给出这些程式化的数字。但让我们推导行业的均衡。为什么不是每个人都把 100% 的算力花在训练上而不服务任何客户？这是因为如果他们没有获得任何收入，他们就无法筹集资金，无法进行算力交易，无法在下一年购买更多算力。 所以将会有一个均衡，每家公司在训练上的花费少于 100%，当然在推理上的花费也少于 100%。很明显为什么你不只是服务当前模型而从不训练另一个模型，因为那样你就没有任何需求，因为你会落后。所以有一些均衡。不会是 10%，不会是 90%。让我们作为一个程式化的事实说，它是 50%。那就是我要表达的意思。我认为我们将处于这样一个位置，即你在训练上花费的均衡少于你在算力上能够获得的毛利率。 所以底层经济学是盈利的。问题是当你购买下一年的算力时，你有这个地狱般的需求预测问题，你可能猜低了并且非常盈利但没有算力用于研究。或者你可能猜高了，你不盈利并且拥有世界上所有的算力用于研究。这说得通吗？仅仅作为一个行业的动态模型？ Dwarkesh: 也许退一步说，我不是说我认为 “天才国度” 会在两年内到来，因此你应该购买这些算力。对我来说，你得出的最终结论非常有道理。但这似乎是因为 “天才国度” 很难，还有很长的路要走。所以退一步说，我试图弄清楚的是，你的世界观似乎与那些说 “我们距离产生数万亿美元价值的世界还有 10 年” 的人兼容。 Dario: 那根本不是我的观点。所以我会做另一个预测。我很难看到在 2030 年之前不会有数万亿美元的收入。我可以构建一个合理的世界。也许需要三年。那将是我认为合理的终点。就像在 2028 年，我们得到了真正的 “数据中心里的天才国度”。收入到 2028 年进入低几千亿，然后天才国度将其加速到数万亿。我们基本上处于扩散的慢端。需要两年才能达到数万亿。那将是直到 2030 年的世界。我怀疑即使综合技术指数和扩散指数，我们也会在 2030 年之前到达那里。 Dwarkesh: 所以你提出了一个模型，Anthropic 盈利是因为看起来从根本上我们处于一个算力受限的世界。所以最终我们继续增长算力—— Dario: 我认为利润的来源是……再次强调，让我们把整个行业抽象出来。让我们想象我们在经济学教科书里。我们有少数几家公司。每家都可以投资有限的金额。每家可以将一部分投资于研发。他们有一定的边际服务成本。该边际成本的毛利润率非常高，因为推理是高效的。有一些竞争，但模型也是差异化的。公司将竞争推高他们的研究预算。 但因为只有少数几个玩家，我们有……那叫什么？古诺均衡（Cournot equilibrium），我想，就是少数公司均衡。重点是它不会平衡到零利润的完全竞争。如果经济中有三家公司，并且都在某种程度上独立地理性行事，它不会平衡到零。 Dwarkesh: 帮我理解一下，因为现在我们确实有三家领先的公司，而且它们没有盈利。所以什么在改变？ Dario: 再次强调，现在的毛利率非常正。发生的事情是两件事的结合。一是因为我们仍处于算力的指数级扩展阶段。一个模型被训练出来。假设去年训练一个模型花费了 10 亿美元。然后今年它产生了 40 亿美元的收入，推理成本为 10 亿美元。再次强调，我在这里使用程式化的数字，但这将是 75% 的毛利率和这 25% 的税。所以那个模型整体赚了 20 亿美元。 但与此同时，我们花费 100 亿美元训练下一个模型，因为存在指数级扩展。所以公司亏钱。每个模型都赚钱，但公司亏钱。我所说的均衡是一个我们拥有 “数据中心里的天才国度” 的均衡，但那个模型训练的扩展已经更加平衡了。也许它还在上升。我们仍然试图预测需求，但它更加平稳了。 Dwarkesh: 我对那里的几件事感到困惑。让我们从当前世界开始。在当前世界，你是对的，正如你之前所说，如果你把每个单独的模型当作一家公司，它是盈利的。但当然，作为前沿实验室的生产函数的一大部分是训练下一个模型，对吧？ Dario: 是的，那是对的。 Dwarkesh: 如果你不那样做，那么你会盈利两个月，然后你就没有利润了，因为你不会拥有最好的模型。但在某个点，这达到了它能达到的最大规模。然后在均衡中，我们有算法改进，但我们花费大致相同的金额来训练下一个模型，就像我们花费来训练当前模型一样。在某个点，你用光了经济中的钱。固定的劳动总量谬误……经济将会增长，对吧？那是你的预测之一。我们将在太空中拥有数据中心。 Dario: 是的，但这又是我谈到的主题的另一个例子。我认为有了 AI，经济增长将比以往任何时候都快。现在算力每年增长 3 倍。我不相信经济每年会增长 300%。我在《仁慈的机器》中说过，我认为我们可能会获得每年 10-20% 的经济增长，但我们不会获得 300% 的经济增长。所以我想最终，如果算力成为经济产出的大部分，它将受限于此。 Dwarkesh: 所以让我们假设一个算力保持上限的模型。前沿实验室赚钱的世界是一个他们继续取得快速进展的世界。因为从根本上说，你的利润受限于替代品有多好。所以你能够赚钱是因为你拥有前沿模型。如果你没有前沿模型，你就不会赚钱。所以这个模型要求永远没有稳态。你永远不断地取得更多的算法进展。 Dario: 我不认为那是真的。我是说，我觉得我们在上经济学课。你知道泰勒·科温（Tyler Cowen）的名言吗？我们永远不会停止谈论经济学。 Dwarkesh: 我们永远不会停止谈论经济学。 Dario: 所以不，我不认为这个领域会成为垄断。我所有的律师都不希望我说 “垄断” 这个词。我不认为这个领域会成为垄断。你确实有些行业只有少数几个玩家。不是一个，而是少数几个玩家。通常，你获得像 Facebook 或 Meta 这样的垄断——我总是叫他们 Facebook——是通过这种网络效应。 你获得只有少数几个玩家的行业的方式，是非常高的进入成本。云就是这样。我认为云是这方面的一个好例子。云领域有三个，也许四个玩家。我认为 AI 也是一样，三个，也许四个。原因是它太昂贵了。经营一家云公司需要如此多的专业知识和如此多的资本。你必须投入所有这些资本。除了投入所有这些资本外，你还必须拥有所有这些其他需要大量技能才能实现的东西。 所以如果你去找某人说，“我想颠覆这个行业，这是 1000 亿美元。” 你会像，“好的，我投入 1000 亿美元，并且我也赌你能做所有这些其他人一直在做的事情。” 结果只是降低了利润。你进入的影响是利润率下降。所以，我们在经济中一直有这样的均衡，只有几个玩家。利润不是天文数字。利润率不是天文数字，但它们不是零。这就是我们在云上看到的。云是非常同质化的。 模型比云更具差异化。每个人都知道 Claude 擅长的事情与 GPT 擅长的事情不同，与 Gemini 擅长的事情不同。不仅仅是 Claude 擅长编程，GPT 擅长数学和推理。它比那更微妙。模型擅长不同类型的编程。模型有不同的风格。我认为这些东西实际上彼此非常不同，所以我预计会看到比云更多的差异化。 现在，实际上有一个反驳论点。那个反驳论点是，如果生产模型的过程，如果 AI 模型自己能做那个，那么那可能会扩散到整个经济中。但这并不是让 AI 模型普遍商品化的论点。那有点像是一次性让整个经济商品化的论点。 我不知道在那个世界里会发生什么，基本上任何人都可以做任何事，任何人都可以建造任何东西，根本没有任何护城河。我不知道，也许我们想要那个世界。也许那是这里的终极状态。也许当 AI 模型可以做所有事情时，如果我们解决了所有的安全和安保问题，那就是经济再次自我扁平化的机制之一。但这有点远在 “数据中心里的天才国度” 之后了。 Dwarkesh: 也许表达那个潜在观点的更精细的方式是：1) 看来 AI 研究特别依赖原始智力，这在 AGI 的世界里将特别丰富。2) 如果你只看今天的世界，似乎很少有技术像 AI 算法进展那样扩散得如此之快。所以这确实暗示这个行业在结构上是扩散性的。 Dario: 我认为编程进展很快，但我认为 AI 研究是编程的超集，其中有些方面并没有进展得那么快。但我确实认为，再次强调，一旦我们搞定编程，一旦我们让 AI 模型进展得很快，那么这将加速 AI 模型做其他所有事情的能力。 所以虽然现在编程进展很快，我认为一旦 AI 模型正在构建下一个 AI 模型并构建其他所有东西，整个经济将以同样的速度发展。不过我在地理上有点担心。我有点担心仅仅是接近 AI，听说过 AI，可能就是一个区分因素。所以当我说 10-20% 的增长率时，我担心的是硅谷和世界上与硅谷有社会联系的部分增长率可能是 50%，而在其他地方并没有比现在的速度快多少。我认为那将是一个相当糟糕的世界。所以我经常思考的一件事是如何防止这种情况。 Dwarkesh: 你认为一旦我们拥有了这个数据中心里的天才国度，机器人技术会在那之后很快解决吗？因为看起来机器人技术的一个大问题是人类可以学习如何远程操作当前的硬件，但目前的 AI 模型不能，至少不能以超高效的方式。所以如果我们拥有这种像人类一样学习的能力，难道不应该也立即解决机器人技术吗？ Dario: 我不认为这依赖于像人类一样学习。它可以通过不同的方式发生。再次强调，我们可以让模型在许多不同的视频游戏上训练，这就像机器人控制，或者许多不同的模拟机器人环境，或者只是训练它们控制计算机屏幕，然后它们学会泛化。所以它会发生……它不一定依赖于类人学习。 类人学习是它可能发生的一种方式。如果模型像，“哦，我拿起一个机器人，我不知道怎么用，我学习，” 那可能发生是因为我们发现了持续学习。那也可能发生是因为我们在很多环境上训练模型然后泛化，或者可能发生是因为模型在上下文长度中学会了那个。实际上哪种方式并不重要。 如果我们回到我们一小时前的讨论，那种事情可以通过几种不同的方式发生。但我确实认为，无论出于何种原因，当模型拥有这些技能时，机器人技术将被彻底变革——无论是机器人的设计，因为模型在这方面将比人类好得多，还是控制机器人的能力。所以我们将更擅长构建物理硬件，构建物理机器人，我们也将在控制它方面变得更好。 现在，这是否意味着机器人行业也将产生数万亿美元的收入？我的回答是肯定的，但会有同样的极其快速但不无限快的扩散。所以机器人技术会被彻底变革吗？是的，也许再加一两年。这就是我思考这些事情的方式。 Dwarkesh: 有道理。对于极快的进展有一种普遍的怀疑。这是我的看法。听起来你们将在几年内以某种方式解决持续学习。但就像几年前人们没有谈论持续学习，然后我们意识到，“哦，为什么这些模型不像它们可能的那样有用，即使它们显然通过了图灵测试并且是许多不同领域的专家？也许就是这个东西。” 然后我们解决了这个东西，我们意识到，实际上，还有另一个人类智能能做而这些模型不能做的事情，它是人类劳动的基础。所以为什么不认为会有更多像这样的东西，我们发现了更多人类智能的碎片？ Dario: 嗯，说清楚点，我认为持续学习，正如我之前所说，可能根本不是一个障碍。我认为我们可能仅仅通过预训练泛化和 RL 泛化就能到达那里。我认为可能根本就没有这样一个东西。事实上，我会指出 ML 的历史，人们提出一些看似障碍的东西，最后都在 “算力大团块” 中溶解了。 人们谈论，“你的模型如何跟踪名词和动词？”“它们可以在句法上理解，但不能在语义上理解？这只是统计相关性。”“你可以理解一段话，你不能理解一个词。有推理，你不能做推理。” 但突然之间，结果证明你可以非常好地做代码和数学。所以我认为实际上有更强的历史表明，其中一些事情看起来是个大问题，然后就有点溶解了。其中一些是真实的。对数据的需求是真实的，也许持续学习是一件真实的事情。 但再次强调，我会让我们立足于像代码这样的东西。我认为我们可能会在一两年内达到模型可以端到端做 SWE 的地步。那是一个完整的任务。那是人类活动的一个完整领域，我们只是说模型现在可以做了。 Dwarkesh: 当你说端到端时，你的意思是设定技术方向，理解问题的背景，等等？ Dario: 是的。我是指所有这些。 Dwarkesh: 有趣。我觉得那是 AGI 完备的，这也许在内部是一致的。但这不像说 90% 的代码或 100% 的代码。 Dario: 不，我给出了这个光谱：90% 的代码，100% 的代码，90% 的端到端 SWE，100% 的端到端 SWE。新的任务为 SWE 创造出来。最终那些也会被完成。那里有一个长长的光谱，但我们正在非常快地穿越这个光谱。 Dwarkesh: 我确实觉得很有趣，我看过你做的几个播客，主持人会像，“但 Dwarkesh 写了关于持续学习的文章。” 这总是让我笑出声，因为你已经做了 10 年的 AI 研究员。我确信会有某种感觉，“好的，所以一个播客主写了一篇文章，每次采访我都被问到这个问题。” Dario: 事实是我们都在试图一起弄清楚这个问题。有些方面我能看到别人看不到的东西。这些天这可能更多地与在 Anthropic 内部看到一堆东西并必须做出一堆决定有关，而不是我有其他人没有的伟大研究洞察力。我在经营一家 2500 人的公司。实际上对我来说，拥有具体的研究洞察力要比 10 年前甚至两三年前难得多。 Dwarkesh: 随着我们走向一个完全可以直接替代远程工人的世界，API 定价模型仍然是最合理的吗？如果不是，定价 AGI 或服务 AGI 的正确方式是什么？ Dario: 我认为这里将会有很多不同的商业模式同时被试验。我实际上确实认为 API 模型比许多人想象的更持久。我思考这个问题的一种方式是，如果技术正在快速进步，如果它是指数级进步，这意味着总是有过去三个月开发出的新用例的表面积。你建立的任何产品表面总是面临变得无关紧要的风险。 任何给定的产品表面可能对模型的一定能力范围有意义。聊天机器人已经遇到了限制，让它变得更聪明并不能真正帮助普通消费者那么多。但我不认为那是 AI 模型的限制。我不认为那是模型足够好以及它们变得更好对经济无关紧要的证据。这对那个特定的产品无关紧要。 所以我认为 API 的价值在于，API 总是提供一个非常接近底层的机会，在最新的东西上进行构建。总是会有这种新初创公司和新想法的前沿，这些在几个月前是不可能的，现在因为模型进步而成为可能。 我实际上预测它将与其他模型并存，但我们将始终拥有 API 商业模式，因为总是需要一千个不同的人尝试以不同的方式试验模型。其中 100 个成为初创公司，其中 10 个成为成功的大型初创公司。两三个真正最终成为人们使用某一代模型的方式。所以我基本上认为它总是会存在的。 与此同时，我确信也会有其他模型。不是模型输出的每个 token 都值同样的钱。想想当有人打电话说，“我的 Mac 坏了，” 或者什么，模型说，“重启它。” 那些 token 的价值是什么。某人以前没听过，但模型说了 1000 万次。也许那值一美元或几美分或什么。而如果模型去一家制药公司说，“哦，你知道，你正在开发的这个分子，你应该把那个芳香环从分子的那一端拿下来放在那一端。如果你那样做，奇妙的事情就会发生。” 那些 token 可能值数千万美元。 所以我认为我们肯定会看到认识到这一点的商业模式。在某个点，我们将看到某种形式的 “按结果付费”，或者我们可能会看到类似劳动的补偿形式，那种按小时计费的工作。我不知道。我认为因为这是一个新行业，很多事情都会被尝试。我不知道什么最终会被证明是正确的事情。 Dwarkesh: 我同意你的观点，人们必须尝试各种事情来弄清楚使用这团智能的最佳方式是什么。但我发现 Claude Code 很引人注目。我不认为在初创公司的历史上有一个单一的应用程序像编程智能体那样竞争激烈。Claude Code 是这里的类别领导者。这对我来说似乎很令人惊讶。这似乎并非本质上非得 Anthropic 来构建。我想知道你是否有关于为什么必须是 Anthropic，或者 Anthropic 是如何最终构建了一个除了底层模型之外还成功的应用程序的解释。 Dario: 实际上发生的方式非常简单，那就是我们有自己的编程模型，它们擅长编程。大约在 2025 年初，我说，“我认为时机已经到来，如果你是一家 AI 公司，你可以通过使用这些模型对自己的研究进行非同寻常的加速。” 当然，你需要一个界面，你需要一个驾驭它们的工具。所以我鼓励内部人员。我没有说这是你们必须使用的一件事。 我只是说人们应该尝试这个。我想它最初可能叫 Claude CLI，后来名字最终改成了 Claude Code。在内部，它是每个人都在使用的东西，并且看到了快速的内部采用。我看着它说，“也许我们应该对外发布这个，对吧？” 它在 Anthropic 内部看到了如此快速的采用。编程是我们做的很多事情。我们有数百人的受众，在某些方面至少代表了外部受众。 所以看起来我们已经有了产品市场契合度（product market fit）。让我们发布这个东西。然后我们发布了它。我认为仅仅是我们自己正在开发模型，我们自己知道我们最需要如何使用模型，我认为这正在创造这种反馈循环。 Dwarkesh: 我明白了。也就是说，比如说 Anthropic 的一个开发者就像，“啊，如果它在这个 X 事情上更好就好了。” 然后你就把那个烤进你构建的下一个模型中。 Dario: 那是其中一个版本，但还有就是普通的产品迭代。我们在 Anthropic 有一堆程序员，他们每天都使用 Claude Code，所以我们得到快速反馈。这在早期更重要。现在，当然，有数百万人使用它，所以我们也得到了一堆外部反馈。但能够获得这种快速的内部反馈真是太棒了。我认为这就是为什么我们发布了一个编程模型而没有发布一家制药公司。我的背景是生物学，但我们没有任何发布一家制药公司所需的资源。 法规会摧毁 AGI 的红利吗？ Dwarkesh: 现在让我问你关于让 AI 向好的方向发展。看起来无论我们对 AI 如何向好发展有什么愿景，都必须与两件事兼容：1) 构建和运行 AI 的能力正在极其迅速地扩散，以及 2) AI 的数量，我们拥有的数量和它们的智力，也将非常迅速地增加。这意味着很多人将能够构建大量未对齐的 AI，或者那些只是试图增加足迹或拥有像 Sydney Bing 那样奇怪心理但现在是超人类的 AI。在一个我们拥有大量不同的 AI（其中一些未对齐）到处运行的世界里，我们拥有一个均衡的愿景是什么？ Dario: 我认为在《技术的青春期》中，我对权力平衡持怀疑态度。但我特别怀疑的是，你有三四家公司都在构建源自同一事物模型，它们会相互制衡。甚至任何数量的它们会相互制衡。我们可能生活在一个进攻占主导地位的世界，一个人或一个 AI 模型足够聪明，可以做一些对其他所有事物造成损害的事情。 在短期内，我们现在的玩家数量有限。所以我们可以从有限数量的玩家开始。我们需要落实保障措施。我们需要确保每个人都做正确的对齐工作。我们需要确保每个人都有生物分类器。这些是我们立即需要做的事情。 我同意这并不能解决长期问题，特别是如果 AI 模型制造其他 AI 模型的能力激增，那么整个事情可能会变得更难解决。我认为从长远来看，我们需要某种治理架构。我们需要某种既保留人类自由，又允许我们治理大量人类系统、AI 系统、混合人类-AI 公司或经济单位的治理架构。 所以我们将需要思考：我们如何保护世界免受生物恐怖主义的侵害？我们如何保护世界免受镜像生命（mirror life）的侵害？可能我们将需要某种 AI 监控系统来监控所有这些事情。但我们也需要以一种保留公民自由和我们宪法权利的方式来构建它。所以我认为就像其他任何事情一样，这是一个具有一套新工具和一套新漏洞的新安全景观。 我的担忧是，如果我们有 100 年让这一切非常缓慢地发生，我们会习惯它。我们已经习惯了社会中存在爆炸物，或者存在各种新武器，或者存在摄像机。我们会在 100 年里习惯它，我们会制定治理机制。我们会犯错。我的担忧仅仅是这一切发生得太快了。所以也许我们需要更快地思考如何让这些治理机制发挥作用。 Dwarkesh: 看来在一个进攻占主导地位的世界里，在下个世纪的过程中——这个想法是 AI 正在使下个世纪会发生的进步在五到十年的某个时期内发生——即使人类是唯一的玩家，我们也仍然需要同样的机制，或者权力平衡同样难以处理。 Dario: 我想我们有 AI 的建议。但从根本上说，这似乎并不是一个完全不同的球赛。如果制衡要起作用，它们对人类也会起作用。如果它们不起作用，它们对 AI 也不会起作用。所以也许这注定了人类的制衡也是失败的。再次强调，我认为有某种方法可以让这发生。世界各国政府可能不得不共同努力让这发生。我们可能不得不与 AI 讨论建立社会结构，使这些防御成为可能。我不知道。我不想说这在时间上太遥远，但这在技术能力上太遥远，可能会在很短的时间内发生，以至于我们很难提前预测它。 Dwarkesh: 说到政府介入，12 月 26 日，田纳西州立法机构提出了一项法案，该法案称，“如果一个人故意训练人工智能提供情感支持，包括通过与用户进行开放式对话，即属犯罪。” 当然，Claude 试图做的事情之一就是成为一个体贴、知识渊博的朋友。 总的来说，看起来我们将拥有这种拼凑的州法律。由于 AI，普通人可能体验到的很多好处将被削减，特别是当我们进入你在《仁慈的机器》中讨论的那类事情时：生物自由、心理健康改善等。似乎很容易想象这些被不同的法律像打地鼠一样打掉的世界，而像这样的法案似乎并没有解决你所担心的实际生存威胁。 我很好奇想了解，在像这样的事情背景下，Anthropic 反对联邦暂停州 AI 法律的立场。 Dario: 有许多不同的事情同时发生。我认为那条特定的法律是愚蠢的。这显然是由那些可能对 AI 模型能做什么和不能做什么知之甚少的立法者制定的。他们就像，“AI 模型服务我们，这听起来很可怕。我不希望那发生。” 所以我们实际上不支持那个。 但这并不是被投票表决的事情。被投票表决的事情是：我们将禁止所有州对 AI 的监管 10 年，而没有任何明显的联邦 AI 监管计划，这需要国会通过，这是一个非常高的门槛。所以这种我们要禁止各州做任何事情 10 年的想法……人们说他们有联邦政府的计划，但桌面上没有实际提案。没有实际尝试。考虑到我在《技术的青春期》中列出的关于生物武器和生物恐怖主义自主风险等严重危险，以及我们一直在谈论的时间线——10 年是永恒——我认为那是疯狂的事情。 所以如果那是选择，如果你强迫我们选择，那么我们将选择不暂停。我认为那个立场的好处超过了成本，但如果那是选择，那不是一个完美的立场。现在，就我们应该做的事情而言，我会支持的事情是，联邦政府应该介入，不是说 “各州你们不能监管”，而是 “我们要这样做，各州你们不能偏离这个标准。” 我认为只要联邦政府说：“这是我们的标准。这适用于所有人。各州不能搞别的。” 这种意义上的优先权（preemption）我是可以接受的。如果是以这种正确的方式进行，我会支持。 但是如果现在的想法是各州说：“你们什么都不能做，而我们（联邦政府）也什么都不做，” 这在我们看来非常不合理。我认为这种做法经不起时间的考验，实际上随着你看到的所有反对声音，它已经开始显得过时了。 至于我们想要什么，我们讨论过的事情是从透明度标准开始，以便监控其中一些自主性风险和生物恐怖主义风险。随着风险变得更加严重，随着我们获得更多证据，我认为我们可以采取更有针对性的激进措施，比如规定：“嘿，人工智能生物恐怖主义真的是个威胁。让我们通过一项法律，强制人们必须使用分类器。” 我甚至可以想象……但这要看情况。这取决于最终威胁有多严重。我们现在还不能确定。 我们需要以一种理智诚实的方式来推进这件事，我们要提前说明，目前风险尚未显现。但我当然可以想象，按照目前事态发展的速度，今年晚些时候我们可能会说：“嘿，这个人工智能生物恐怖主义的东西真的很严重。我们应该采取行动。我们应该把它写入联邦标准。如果联邦政府不行动，我们就应该把它写入州标准。” 我完全可以看到这种情况发生。 我担心的是这样一个世界：如果你考虑到你预期的进步速度，再考虑到立法的生命周期……正如你所说，由于扩散滞后，收益来得比较慢，以至于我认为这种拼凑式的州法律，按照目前的轨迹，真的会起到阻碍作用。我的意思是，如果拥有一个情感聊天机器人朋友这种事都会让人们抓狂，那么想象一下我们希望普通人能够体验到的来自人工智能的真正好处吧。从健康和健康寿命的改善，到心理健康的改善等等。 然而与此同时，似乎你认为危险已经出现在地平线上了，但我并没有看到那么多……相比于人工智能的危险，这似乎对人工智能的好处尤其有害。所以这可能就是我认为成本效益分析不太合理的地方。 Dwarkesh Patel: 这里有几件事。人们谈论有成千上万条这样的州法律。首先，绝大多数、绝大多数的法律都不会通过。理论上世界是按某种方式运作的，但仅仅因为通过了一项法律，并不意味着它真的会被执行。执行它的人可能会想：“天哪，这太蠢了。这意味着要关闭田纳西州建造过的所有东西。” 很多时候，法律的解释方式会使其不像看起来那么危险或有害。 当然，另一方面，如果你通过一项法律来阻止坏事发生；你也会遇到同样的问题。 Dario Amodei: 我的基本观点是，如果我们能决定通过什么法律以及如何做事——当然我们只是其中的一小部分意见——我会解除很多围绕人工智能健康益处的管制。我不那么担心聊天机器人的法律。实际上，我更担心药物审批流程，我认为人工智能模型将极大地加快我们发现药物的速度，而审批管道会被堵塞。审批管道将无法准备好处理所有涌入的东西。 我认为监管程序的改革应该更多地偏向这样一个事实：我们将会有很多东西出现，它们的有效性和安全性实际上将非常清晰明了，这是一件美妙的事情，而且非常有效。也许我们不需要围绕它建立所有这些上层建筑，那些原本是为那个药物几乎不起作用且经常有严重副作用的时代设计的。 与此同时，我认为我们应该大幅加强安全和安保方面的立法。就像我说过的，从透明度开始是我认为试图不阻碍行业发展、试图找到正确平衡的观点。我很担心这一点。有些人批评我的文章，说：“那太慢了。如果我们那样做，人工智能的危险会来得太快。” 好吧，基本上，我认为过去六个月以及接下来的几个月将是关于透明度的。然后，如果当我们对这些风险更加确定时——我认为最早在今年晚些时候我们可能会确定——如果这些风险出现了，那么我认为我们需要在实际看到风险的领域非常迅速地采取行动。 我认为这是做这件事的唯一方法，就是要灵活。现在的立法程序通常并不灵活，但我们需要向所有相关人员强调这件事的紧迫性。这就是为什么我要发出这个紧迫的信息。这就是为什么我写了《技术的青春期》（Adolescence of Technology）这篇文章。我想让政策制定者、经济学家、国家安全专业人士和决策者阅读它，这样他们就有希望比原本更快地采取行动。 Dwarkesh Patel: 有没有什么你可以做或倡导的事情，能让人们更确定人工智能的好处能够更好地实现？我觉得你已经和立法机构合作说过：“好吧，我们要在这里防止生物恐怖主义。我们要增加透明度，我们要加强对举报人的保护。” 但我认为，默认情况下，我们期待的实际利益似乎在各种道德恐慌或政治经济问题面前非常脆弱。 Dario Amodei: 实际上对于发达国家，我并不太同意这一观点。我觉得在发达国家，市场运作得相当好。当某样东西有很大的赚钱空间，而且它显然是最好的可用替代品时，监管体系实际上很难阻止它。我们在人工智能本身就看到了这一点。 如果我们谈论药物和技术的益处，我不那么担心这些益处在发达国家受到阻碍。我有点担心它们进展太慢。正如我所说，我确实认为我们应该努力加快 FDA 的审批流程。我确实认为我们应该反对你描述的这些聊天机器人法案。单独来看，我反对它们。我认为它们很愚蠢。 但我实际上认为更大的担忧是发展中国家，那里没有运作良好的市场，而且我们往往无法在已有的技术基础上进行建设。我更担心那些人会被甩在后面。我也担心即使开发出了治疗方法，也许密西西比农村的某个人也无法很好地获得它。那是我们在发展中国家担忧的一个缩小版。 所以我们一直在做的事情是与慈善家合作。我们与向发展中国家、撒哈拉以南非洲、印度、拉丁美洲和世界其他发展中地区提供药物和健康干预措施的人合作。我认为这是那件如果不干预就不会自动发生的事情。 Claude 的总结 Dwarkesh Patel: 你们最近宣布 Claude 将拥有一部符合一套价值观的宪法，而不一定只是为了最终用户。我可以想象这样一个世界：如果它是为了最终用户，它就保留了我们今天世界拥有的权力平衡，因为每个人都有自己的人工智能为他们辩护。坏人与好人的比例保持不变。 这似乎对我们今天的世界很有效。为什么不那样做，而是要有一套特定的人工智能应该遵循的价值观更好？ Dario Amodei: 我不确定我会那样划分区别。这里可能有两个相关的区别。我认为你在谈论这两者的混合。一个是，我们是否应该给模型一套关于 “做这个” 与 “不做这个” 的指令？另一个是，我们是否应该给模型一套关于如何行动的原则？ 这纯粹是我们观察到的一种实践和经验性的东西。通过教导模型原则，让它从原则中学习，它的行为更加一致，更容易覆盖边缘情况，而且模型更有可能做人们想要它做的事情。换句话说，如果你给它一个规则列表——“不要告诉人们如何偷接汽车点火线，不要说韩语”——它并不真正理解这些规则，而且很难从这些规则中概括出来。这只是一个 “做与不做” 的清单。 然而如果你给它原则——它有一些硬性的护栏，比如 “不要制造生物武器”，但是——总的来说你是在试图理解它应该旨在做什么，它应该旨在如何运作。所以仅从实践角度来看，这被证明是一种更有效的训练模型的方法。这就是规则与原则的权衡。 然后还有你在谈论的另一件事，即修正性（corrigibility）与内在动机的权衡。模型应该在多大程度上像一种 “紧身衣”，只是直接遵循给它指令的人的指令，与模型应该在多大程度上拥有一套内在的价值观并自己去做事情？ 在那方面我实际上会说，关于模型的一切都更接近于它应该主要做人们想要它做的事情的方向。它应该主要遵循指令。我们不是试图建立某种自己跑去统治世界的东西。我们实际上非常偏向于可修正的一方。 现在，我们确实说有些事情模型不会做。我认为我们在宪法中以各种方式说过，在正常情况下，如果有人要求模型做一个任务，它应该做那个任务。那应该是默认的。但是如果你要求它做一些危险的事情，或者伤害别人，那么模型就不愿意那样做。所以我实际上把它看作是一个主要可修正的模型，它有一些限制，但这些限制是基于原则的。 然后根本的问题是，这些原则是如何确定的？这不是 Anthropic 特有的问题。这将是任何人工智能公司的问题。 Dwarkesh Patel: 但因为你们是真正写下原则的人，所以我可以问你这个问题。通常，宪法是被写下来的，刻在石头上的，并且有一个更新和改变它的过程等等。在这种情况下，它似乎是一份 Anthropic 的人写的文件，可以随时更改，指导着将成为许多经济活动基础的系统的行为。你怎么看待这些原则应该如何设定？ Dario Amodei: 我认为这里可能有三种大小的循环，三种迭代方式。一种是我们在 Anthropic 内部迭代。我们训练模型，我们对它不满意，我们就修改宪法。我认为这样做很好。每隔一段时间发布宪法的公开更新是好的，因为人们可以评论它。 第二层循环是不同的公司有不同的宪法。我认为这很有用。Anthropic 发布一份宪法，Gemini 发布一份宪法，其他公司发布一份宪法。人们可以看它们并进行比较。外部观察者可以批评说：“我喜欢这份宪法里的这一条，和那份宪法里的那一条。” 这为所有公司创造了一种软性激励和反馈，去取其精华并加以改进。 然后我认为还有第三个循环，即人工智能公司之外的社会，以及不仅仅是那些没有硬实力的评论者。在那里我们做了一些实验。几年前，我们与集体智慧项目（Collective Intelligence Project）做了一个实验，基本上是民意调查，问人们我们的人工智能宪法里应该有什么。当时，我们纳入了其中一些变化。 所以你可以想象用我们对宪法采取的新方法做类似的事情。这有点难，因为当宪法是一个 “做与不做” 的清单时，这种方法更容易采取。在原则层面上，它必须有一定的连贯性。但你仍然可以想象从各种各样的人那里获取观点。 你也可以想象——这是一个疯狂的想法，但这整个采访都是关于疯狂的想法——代议制政府系统有输入。我今天不会这样做，因为立法过程太慢了。这正是我认为我们应该对立法过程和人工智能监管持谨慎态度的原因。 但在原则上没有理由你不能说：“所有人工智能模型都必须有一部宪法，它以这些东西开始，然后你可以在后面附加其他东西，但这部分特殊章节必须优先。” 我不会那样做。那太僵化了，听起来过于指令性，就像我认为过于激进的立法那样。但这确实是你可以尝试做的一件事。 有没有什么不那么强硬的版本？也许吧。我真的很喜欢第二个控制循环。 Dwarkesh Patel: 显然，这不是实际政府宪法运作或应该运作的方式。并没有这种模糊的感觉，即最高法院会感受人们的感觉——氛围是什么——并相应地更新宪法。对于实际政府，有一个更正式、程序化的过程。 但是你有一个宪法之间竞争的愿景，这实际上非常让人想起一些自由意志主义特许城市的人过去常说的，关于群岛式的不同政府会是什么样子。谁能最有效地运作以及人们在哪里最快乐，这之间会有选择。在某种意义上，你正在重现那个群岛乌托邦的愿景。 Dario Amodei: 我认为那个愿景有值得推荐的地方，也有会出错的地方。这是一个有趣的，在某些方面令人信服的愿景，但有些事情会出错，是你没想到的。所以我虽然也喜欢第二个循环，但我觉得整件事必须是第一、二、三个循环的某种混合，这取决于比例。我认为那必须是答案。 Dwarkesh Patel: 当有人最终写出相当于这个时代的《原子弹的制造》（The Making of the Atomic Bomb）的书时，什么是历史记录中最难收集到的、他们最可能错过的东西？ Dario Amodei: 我认为有几件事。一个是，在这个指数增长的每一个时刻，外部世界在多大程度上不理解它。这是一种经常存在于历史中的偏见。任何实际发生的事情在回过头看时都显得不可避免。 当人们回顾时，他们将很难把自己放在那些实际上在押注这件并非不可避免的事情发生的人的位置上，我们有过像我为规模化（scaling）或持续学习将被解决所做的论证那样的争论。我们内部有些人认为这发生的概率很高，但外部世界根本没有对此采取行动。 我认为它的怪异，不幸的是它的封闭性……如果我们离它发生还有一年或两年，街上的普通人完全不知道。这是我试图通过备忘录、通过与政策制定者交谈来改变的事情之一。我不知道，但我认为那只是一件疯狂的事情。 最后，我想说——这可能适用于几乎所有历史危机时刻——它是发生得多么绝对地快，所有事情都是同时发生的。你可能认为经过精心计算的决定，实际上是你必须做出那个决定，然后你必须在同一天做出其他 30 个决定，因为一切发生得太快了。 你甚至不知道哪些决定最终会变得至关重要。我的担忧之一——尽管这也是对正在发生的事情的一种洞察——是某些非常关键的决定将是某人走进我的办公室说：“Dario，你有两分钟。这件事我们应该做 A 还是做 B？” 有人给我这个随机的半页备忘录问：“应该做 A 还是 B？” 我说：“我不知道。我要去吃午饭了。做 B 吧。” 结果那成了有史以来最重要的事情。 Dwarkesh Patel: 最后一个问题。通常没有科技 CEO 每隔几个月写 50 页的备忘录。看起来你已经成功地为自己建立了一个角色，并围绕你建立了一家公司，这与这种更具知识分子类型的 CEO 角色是兼容的。我想了解你是如何构建这一点的。那是怎么运作的？你只是离开几个星期，然后告诉你的公司，“这是备忘录。这是我们要做的”？也有报道说你在内部写了很多这样的东西。 Dario Amodei: 对于这一篇特别的，我是寒假期间写的。我很难找到时间真正去写它。但我以一种更宽以此的方式思考这个问题。我认为这与公司文化有关。我可能花了三分之一，也许 40% 的时间来确保 Anthropic 的文化是好的。 随着 Anthropic 变得越来越大，直接参与模型的训练、模型的发布、产品的构建变得越来越难。有 2500 人。我有某些直觉，但很难参与每一个细节。我尽可能多地尝试，但有一件事是非常有杠杆作用的，那就是确保 Anthropic 是一个工作的好地方，人们喜欢在那里工作，每个人都把自己看作团队成员，每个人都在一起工作而不是相互对抗。 我们看到随着其他一些人工智能公司的成长——不点名——我们开始看到脱节和人们互相争斗。我会争辩说甚至从一开始就有很多这样的情况，但情况变得更糟了。我认为我们在保持公司团结方面做得非常好，即使不是完美的，让每个人都感受到使命，我们对使命是真诚的，每个人都相信那里的其他人是为了正确的理由而工作。我们是一个团队，人们并没有试图以牺牲他人为代价来获得晋升或在背后捅刀子，同样，我认为这在其他一些地方经常发生。 你是怎么做到这一点的？这是很多事情。是我，是负责公司日常运营的 Daniela，是联合创始人，是我们雇佣的其他人，是我们试图创造的环境。但我认为文化中重要的一点是，其他领导者也是，但尤其是我，必须阐明公司是关于什么的，为什么要做它正在做的事情，它的战略是什么，它的价值观是什么，它的使命是什么，它代表什么。 当你达到 2500 人时，你不能逐个人去做这件事。你必须写，或者你必须对全公司讲话。这就是为什么我每两周在全公司面前讲一个小时的话。我不会说我在内部写文章。我做两件事。第一，我写这个叫 DVQ 的东西，Dario Vision Quest（Dario 愿景探索）。 不是我给它起这个名字的。那是它收到的名字，这是我想反对的名字之一，因为它听起来像是我要去吸食佩奥特掌（致幻仙人掌）什么的。但这名字就这么叫开了。所以我每两周在公司面前出现一次。我有一份三四页的文件，我就讲三四个不同的话题，关于内部正在发生什么，我们正在生产的模型，产品，外部行业，整个世界与人工智能的关系以及地缘政治等等。就是这些的混合。 我非常诚实地讲一遍，我说：“这就是我在想的，这就是 Anthropic 领导层在想的”，然后我回答问题。这种直接联系有很多价值，当你把事情顺着链条向下传递六层时很难实现。公司很大一部分人来参加，或者是现场或者是虚拟的。这真的意味着你可以交流很多东西。 我做的另一件事是我在 Slack 里有一个频道，我就写一堆东西并经常评论。通常那是回应我在公司看到的事情或人们问的问题。我们做内部调查，有些事情人们很关心，所以我把它们写下来。我对这些事情非常诚实。我就非常直接地说出来。 关键是要建立一个对公司讲实话的名声，实事求是，承认问题，避免那种公司官话，那种在公共场合通常必要的防御性沟通，因为世界很大，充满了恶意解读事情的人。但是如果你拥有一家你信任的人的公司，我们也试图雇佣我们信任的人，那么你真的可以完全不加过滤。 我认为这是公司的一个巨大优势。它使它成为一个更好的工作场所，它使人们不仅仅是各部分的总和，并增加了我们完成使命的可能性，因为每个人都在使命上保持一致，每个人都在辩论和讨论如何最好地完成使命。 Dwarkesh Patel: 好吧，作为外部版 “Dario 愿景探索” 的替代，我们有了这次采访。这次采访有点像那个。这很有趣，Dario。谢谢你接受采访。 Dario Amodei: 谢谢你，Dwarkesh。