當初，《注意力是你所需要的一切》一文提出了名聲大噪的 Transformer 模型，該模型現已成為了生成式 AI 發展的奠基石。如今 Transformer 八子均已離開谷歌，開啓 AI 創業之旅。
3 月 18 日至 21 日，英偉達將召開 GTC 2024 大會，英偉達表示本次 GTC 大會主要面向 AI 開發者。本次大會上有兩個重磅看點：一是英偉達將在大會上發佈全新的 B100 芯片，二是英偉達邀請《注意力是你所需要的一切》論文的八位作者參加會議，與老黃對談。
《注意力是你所需要的一切》這篇論文發佈於 2017 年，可以認為是目前 AI 領域最重要的一篇論文。截至目前，這篇論文被引用了超過 8 萬次。它提出了基於注意力機制的 Transformer 語言模型，用於取代循環和卷積神經網絡。
<h2> Transformer 引領 AI 發展</h2>
Transformer 模型在整個 AI 發展過程中起着至關重要的作用，包括 ChatGPT 在內的幾乎所有 AI 產品都是依靠 Transformer 存在。
為什麼 Transformer 對 AI 發展如此重要？因為它真正的威力遠超語言範疇，它可以生成任何具有重複圖案或者模式的內容，包括 Dall-E、Midjourney 和 Stable Diffusion 等工具生成的圖像，還包括 GitHub CoPilot 等工具生成的計算機代碼，甚至 DNA。
論文作者之一 Ashish Vaswani 解釋 Transformer 工作原理，“Transformer 能非常快速地捕捉輸入不同部分的交互關係，一旦捕捉到，它可以從中學習到一些特徵。” Vaswani 補充説，
<blockquote>
這是一種通用的方法，它可以捕捉句子裏的片段、音樂中的音符、圖像中的像素、蛋白質組成部分。它可以用於任何任務。
</blockquote>
而論文發表後，Parmar 就發現 Transformer 不僅可以用於翻譯，還可以生成長頁面文本，而這是以前的模型難以做到的。此外，她還認識到了 Transformer 的一個關鍵特性：當你給它們越來越多數據的時候，“它們能學得更好”。Parmar 補充説，“無論人們丟給它什麼，它都能很好的工作”。這無疑時為 GPT-4 等大模型的出現指明瞭道路。
如今，Transformer 支撐着 AI 開放中大多數前沿應用。它不僅被嵌入在谷歌搜索和谷歌翻譯中，還為所有大型語言模型提供支撐，其中就包括 ChatGPT 和 Bard 背後的模型。
Alphabet 的成長基金 CapitalG 的合夥人 Jill Chase 説，她專注於投資人工智能投資，而 “所有的產品都是依靠 Transformer 而存在的”。
<h2>八子 “出逃” 谷歌，開啓 AI 創業</h2>
Transformer 的研究團隊來自谷歌，團隊包括 Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan Gomez、Lukasz Kaiser、Illia Polosukhin 八人。
隨着 AI 研究的步伐在不斷加快，Transformer 被廣泛運用在生成文本和圖像領域，但這些研究大多來自 OpenAI 等初創公司，而不是谷歌。他們發現，谷歌的結構並不允許冒險創業，也不允許快速推出新產品。
於是八名研究人員先後離開。Polosukhin 於 2017 年離開，創辦了區塊鏈初創 Near 公司。Gomez 當時實習生身份加入團隊，是團隊裏最年輕的成員，2019 年 Gomez 離開了谷歌，隨後創立了 Cohere，致力於將大預言模型幫助銀行和零售商解決客服服務問題。Cohere 目前估值超過 20 億美元。
Kaiser、Uszkoreit、Shazeer、Vaswani 和 Parmar 五人於 2021 年離開谷歌，Kaiser 成為 OpenAI 研究員。Uszkoreit 與他人共同創立了 Inceptive，該公司正在使用深度學習技術設計 “生物軟件”，幫助研究人員尋找新藥和生物技術。Shazeer 與他人共同創立了 Character AI，該公司主要創建個性化的聊天機器人，Character AI 目前估值超過 10 億美元。Vaswani 和 Parmar 先後創立了 Adept AI 和 Essential AI，致力於為企業構建軟件以使用大型語言模型。Essential AI 目前已籌集了 800 萬美元。
Jones 則是直到 2023 年才離開谷歌，與他人共同創立了 Sakana AI。

英偉達

GTC 2024 大會，Transformer 八子將重聚一堂。

下個月的 “AI 盛會”：除了 B100，英偉達還集齊了 “AI 最重要論文” 作者團隊對話老黃