作者：王眉
編輯：硬 AI
近日蘋果面臨諸多不利，前有華為 “突襲” 提前開售Mate60 Pro，後有知名投資機構 Needham Securities稱蘋果缺乏生成式 AI 和大型語言模型（LLM）方面的戰略，在 AI 競賽中已被亞馬遜、谷歌和微軟甩在身後。
不過，事實可能並非如此。
據媒體週三報道，蘋果一直在增加 AI 部分的投入預算，訓練費用達每天上百萬美元。
雖然直到今年 7 月才有媒體爆料蘋果已經建立了 Ajax 大語言模型開發框架，並在秘密開發自己的大型語言模型 “Apple GPT”，但蘋果關注到生成式 AI 遠比外界想象的更早。
四年前，蘋果的人工智能主管詹南德里亞（John Giannandrea）授權組建了一個團隊來開發對話式人工智能（即大語言模型），展示了蘋果對該領域的重視。
幾位蘋果員工表示，儘管詹南德里亞多次表達了對由 AI 語言模型驅動的聊天機器人潛在用途的懷疑，但蘋果並不是完全沒有為未來語言模型的爆發做好準備。
<h2>日砸百萬豪賭 2000 億參數 Apple GPT 團隊由華人領導</h2>
據悉，蘋果的 Foundational Models 團隊，即會話 AI 團隊，目前的領導者為前谷歌工程師龐若鳴。資料顯示，龐若鳴為上海交大本碩，且本碩僅用 5 年即畢業，於 2021 年加入蘋果，此前在谷歌工作了 15 年。
<img src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/498d532b-02ff-4982-90a0-3c0867eac038.png?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="673" height="188" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/498d532b-02ff-4982-90a0-3c0867eac038.png"/>
團隊現有 16 人，其中幾位也是曾在谷歌工作多年的工程師。雖然團隊規模小，但由於訓練 LLM 對算力要求極高，該團隊每天需要花費數百萬美元訓練 LLM。
除此之外，據報道，至少還有兩個蘋果團隊正在研究語言和圖像模型。其中一個團隊正在研究視覺智能，致力於開發能夠生成 “圖像、視頻或 3D 場景” 的軟件；另一個團隊正在研究可以處理文本、圖像和視頻的多模態人工智能。
蘋果計劃將 LLM 集成在 Siri 語音助手當中，以此達到 iPhone 用户能夠使用簡單的語音命令來自動完成涉及多個步驟的任務。舉個例子，該技術能夠讓用户告訴 Siri 助手，用他們最近拍攝的五張照片創建一個 GIF 動圖，並將其發送給朋友。但目前，iPhone 用户必須手動完成這個過程。
這與谷歌改進他們的語音助手類似。但蘋果認為，其改進的 Ajax GPT 的語言模型比 OpenAI 的 GPT 3.5 更好，預計將於明年與新版 iPhone 操作系統一起發佈。
<h2>一向封閉的蘋果開展了一場開源運動</h2>
需要注意的是，開發 LLM 或許相對容易，但是將其納入產品中更具挑戰。與一些使用基於雲方法的競爭對手不同，蘋果更傾向於在設備上運行軟件，以提高隱私保護和工作效率。然而，蘋果的 LLM（包括 Ajax GPT）相當龐大，由於其體積和複雜性（超過 2000 億個參數），很難安裝到 iPhone 上。
縮小大模型的做法有先例，比如谷歌的 PaLM2，它有各種尺寸，包括適合設備和獨立使用的型號。
有分析稱，雖然目前還不清楚蘋果的計劃，但出於隱私考慮，他們可能會選擇較小的 LLM。
這就要説到龐若鳴了。
據瞭解龐若鳴的人説，他在神經網絡方面發表的研究成果獲得了大批擁躉。神經網絡是機器學習的一個子集，涉及訓練軟件識別數據中的模式和關係，類似於人類大腦的工作方式。龐若鳴某些比較著名的研究涉及神經網絡如何與手機處理器協同工作，以及如何使用並行計算來訓練神經網絡。並行計算是將較大的問題分解成多個處理器可以同時計算的較小任務的過程。
龐若鳴對蘋果的影響可以從 AXLearn 中看出，這是他的團隊在過去 1 年中開發用於培訓 Ajax GPT 的內部軟件。AXLearn 是一個機器學習框架，可以快速訓練機器學習模型。AXLearn 的部分構成基於龐若鳴的研究，並針對谷歌雲張量處理單元 (TPU) 進行了優化。
AXLearn 是 JAX 的一個分支，JAX 是谷歌研究人員開發的開源框架。如果將蘋果的 Ajax GPT 比作一棟房子，那 AXLearn 就是藍圖，而 JAX 就是用來繪製藍圖的筆和紙。蘋果用來訓練大語言模型的數據目前尚未公開。
報道稱，今年 7 月份，蘋果 Foundational Models 團隊悄悄地將 AXLearn 的代碼上傳到代碼存儲庫 GitHub，公眾可以使用它來訓練自己的大語言模型，而不必從頭開始構建所有內容。蘋果公開發布 AXLearn 代碼的原因尚不清楚，但公司這樣做通常是希望其他工程師能對模型進行改進。在詹南德里亞加入蘋果之前，對於向來行事隱秘的蘋果來説，開放可用於商業用途的源代碼的決定顯得不同尋常。
<h2>瘋狂挖角谷歌和 Meta</h2>
蘋果還在積極從谷歌和 Meta 的 AI 團隊中 “挖人”。
據悉，自從 AXLearn 代碼於 7 月上傳到 GitHub 上以來，已有 18 人對其進行了改進，其中至少有 12 人在過去兩年內加入了蘋果的機器學習團隊。這些人中，有 7 人曾在谷歌或 Meta 工作過。
華爾街見聞此前提及，目前 “大模型的安卓” 也不好過，Meta 內部 “算力宮鬥”，一半 Llama 核心團隊已離職。

蘋果

蘋果缺乏生成式 AI 和大型語言模型方面的戰略？事實可能並非如此。

蘋果 AI 訓練預算 “每天數百萬美元”，基礎語言大模型團隊由華人領導