当初，《注意力是你所需要的一切》一文提出了名声大噪的 Transformer 模型，该模型现已成为了生成式 AI 发展的奠基石。如今 Transformer 八子均已离开谷歌，开启 AI 创业之旅。
3 月 18 日至 21 日，英伟达将召开 GTC 2024 大会，英伟达表示本次 GTC 大会主要面向 AI 开发者。本次大会上有两个重磅看点：一是英伟达将在大会上发布全新的 B100 芯片，二是英伟达邀请《注意力是你所需要的一切》论文的八位作者参加会议，与老黄对谈。
《注意力是你所需要的一切》这篇论文发布于 2017 年，可以认为是目前 AI 领域最重要的一篇论文。截至目前，这篇论文被引用了超过 8 万次。它提出了基于注意力机制的 Transformer 语言模型，用于取代循环和卷积神经网络。
<h2> Transformer 引领 AI 发展</h2>
Transformer 模型在整个 AI 发展过程中起着至关重要的作用，包括 ChatGPT 在内的几乎所有 AI 产品都是依靠 Transformer 存在。
为什么 Transformer 对 AI 发展如此重要？因为它真正的威力远超语言范畴，它可以生成任何具有重复图案或者模式的内容，包括 Dall-E、Midjourney 和 Stable Diffusion 等工具生成的图像，还包括 GitHub CoPilot 等工具生成的计算机代码，甚至 DNA。
论文作者之一 Ashish Vaswani 解释 Transformer 工作原理，“Transformer 能非常快速地捕捉输入不同部分的交互关系，一旦捕捉到，它可以从中学习到一些特征。” Vaswani 补充说，
<blockquote>
这是一种通用的方法，它可以捕捉句子里的片段、音乐中的音符、图像中的像素、蛋白质组成部分。它可以用于任何任务。
</blockquote>
而论文发表后，Parmar 就发现 Transformer 不仅可以用于翻译，还可以生成长页面文本，而这是以前的模型难以做到的。此外，她还认识到了 Transformer 的一个关键特性：当你给它们越来越多数据的时候，“它们能学得更好”。Parmar 补充说，“无论人们丢给它什么，它都能很好的工作”。这无疑时为 GPT-4 等大模型的出现指明了道路。
如今，Transformer 支撑着 AI 开放中大多数前沿应用。它不仅被嵌入在谷歌搜索和谷歌翻译中，还为所有大型语言模型提供支撑，其中就包括 ChatGPT 和 Bard 背后的模型。
Alphabet 的成长基金 CapitalG 的合伙人 Jill Chase 说，她专注于投资人工智能投资，而 “所有的产品都是依靠 Transformer 而存在的”。
<h2>八子 “出逃” 谷歌，开启 AI 创业</h2>
Transformer 的研究团队来自谷歌，团队包括 Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan Gomez、Lukasz Kaiser、Illia Polosukhin 八人。
随着 AI 研究的步伐在不断加快，Transformer 被广泛运用在生成文本和图像领域，但这些研究大多来自 OpenAI 等初创公司，而不是谷歌。他们发现，谷歌的结构并不允许冒险创业，也不允许快速推出新产品。
于是八名研究人员先后离开。Polosukhin 于 2017 年离开，创办了区块链初创 Near 公司。Gomez 当时实习生身份加入团队，是团队里最年轻的成员，2019 年 Gomez 离开了谷歌，随后创立了 Cohere，致力于将大预言模型帮助银行和零售商解决客服服务问题。Cohere 目前估值超过 20 亿美元。
Kaiser、Uszkoreit、Shazeer、Vaswani 和 Parmar 五人于 2021 年离开谷歌，Kaiser 成为 OpenAI 研究员。Uszkoreit 与他人共同创立了 Inceptive，该公司正在使用深度学习技术设计 “生物软件”，帮助研究人员寻找新药和生物技术。Shazeer 与他人共同创立了 Character AI，该公司主要创建个性化的聊天机器人，Character AI 目前估值超过 10 亿美元。Vaswani 和 Parmar 先后创立了 Adept AI 和 Essential AI，致力于为企业构建软件以使用大型语言模型。Essential AI 目前已筹集了 800 万美元。
Jones 则是直到 2023 年才离开谷歌，与他人共同创立了 Sakana AI。

英伟达

GTC 2024 大会，Transformer 八子将重聚一堂。

下个月的 “AI 盛会”：除了 B100，英伟达还集齐了 “AI 最重要论文” 作者团队对话老黄