当初,《注意力是你所需要的一切》一文提出了名声大噪的 Transformer 模型,该模型现已成为了生成式 AI 发展的奠基石。如今 Transformer 八子均已离开谷歌,开启 AI 创业之旅。 3 月 18 日至 21 日,英伟达将召开 GTC 2024 大会,英伟达表示本次 GTC 大会主要面向 AI 开发者。本次大会上有两个重磅看点:一是英伟达将在大会上发布全新的 B100 芯片,二是英伟达邀请《注意力是你所需要的一切》论文的八位作者参加会议,与老黄对谈。 《注意力是你所需要的一切》这篇论文发布于 2017 年,可以认为是目前 AI 领域最重要的一篇论文。截至目前,这篇论文被引用了超过 8 万次。它提出了基于注意力机制的 Transformer 语言模型,用于取代循环和卷积神经网络。 Transformer 引领 AI 发展 Transformer 模型在整个 AI 发展过程中起着至关重要的作用,包括 ChatGPT 在内的几乎所有 AI 产品都是依靠 Transformer 存在。 为什么 Transformer 对 AI 发展如此重要?因为它真正的威力远超语言范畴,它可以生成任何具有重复图案或者模式的内容,包括 Dall-E、Midjourney 和 Stable Diffusion 等工具生成的图像,还包括 GitHub CoPilot 等工具生成的计算机代码,甚至 DNA。 论文作者之一 Ashish Vaswani 解释 Transformer 工作原理,“Transformer 能非常快速地捕捉输入不同部分的交互关系,一旦捕捉到,它可以从中学习到一些特征。” Vaswani 补充说, 这是一种通用的方法,它可以捕捉句子里的片段、音乐中的音符、图像中的像素、蛋白质组成部分。它可以用于任何任务。 而论文发表后,Parmar 就发现 Transformer 不仅可以用于翻译,还可以生成长页面文本,而这是以前的模型难以做到的。此外,她还认识到了 Transformer 的一个关键特性:当你给它们越来越多数据的时候,“它们能学得更好”。Parmar 补充说,“无论人们丢给它什么,它都能很好的工作”。这无疑时为 GPT-4 等大模型的出现指明了道路。 如今,Transformer 支撑着 AI 开放中大多数前沿应用。它不仅被嵌入在谷歌搜索和谷歌翻译中,还为所有大型语言模型提供支撑,其中就包括 ChatGPT 和 Bard 背后的模型。 Alphabet 的成长基金 CapitalG 的合伙人 Jill Chase 说,她专注于投资人工智能投资,而 “所有的产品都是依靠 Transformer 而存在的”。 八子 “出逃” 谷歌,开启 AI 创业 Transformer 的研究团队来自谷歌,团队包括 Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan Gomez、Lukasz Kaiser、Illia Polosukhin 八人。 随着 AI 研究的步伐在不断加快,Transformer 被广泛运用在生成文本和图像领域,但这些研究大多来自 OpenAI 等初创公司,而不是谷歌。他们发现,谷歌的结构并不允许冒险创业,也不允许快速推出新产品。 于是八名研究人员先后离开。Polosukhin 于 2017 年离开,创办了区块链初创 Near 公司。Gomez 当时实习生身份加入团队,是团队里最年轻的成员,2019 年 Gomez 离开了谷歌,随后创立了 Cohere,致力于将大预言模型帮助银行和零售商解决客服服务问题。Cohere 目前估值超过 20 亿美元。 Kaiser、Uszkoreit、Shazeer、Vaswani 和 Parmar 五人于 2021 年离开谷歌,Kaiser 成为 OpenAI 研究员。Uszkoreit 与他人共同创立了 Inceptive,该公司正在使用深度学习技术设计 “生物软件”,帮助研究人员寻找新药和生物技术。Shazeer 与他人共同创立了 Character AI,该公司主要创建个性化的聊天机器人,Character AI 目前估值超过 10 亿美元。Vaswani 和 Parmar 先后创立了 Adept AI 和 Essential AI,致力于为企业构建软件以使用大型语言模型。Essential AI 目前已筹集了 800 万美元。 Jones 则是直到 2023 年才离开谷歌,与他人共同创立了 Sakana AI。