AI 芯片的主戰場正在轉向一個規模更大、競爭更激烈的領域——推理。
英偉達首席財務官 Colette Kress 在上週表示，英偉達最大的營收來源數據中心部門中，去年有超過 40% 的業務是有關部署 AI 模型，而非訓練——這一比例是 AI 芯片市場開始轉向的重要跡象。
訓練 AI 模型的芯片需求一舉推升英偉達成為 “芯片新王”，隨着該行業的迅速發展，下一個市場焦點將是實際運行時用於推理的芯片。
相較於訓練芯片而言，推理芯片對功耗和成本的要求沒那麼高，這同時也意味着競爭市場會變得更為激烈，英偉達的 “新王” 地位還能否延續？
<h2>從 GPU 到 LPU</h2>
在訓練階段，公司往往會給模型 “喂” 海量數據進行大規模神經網絡的訓練。由於高計算密度、低能耗、內存帶寬大等要求，目前大多數 AI 模型的訓練均依賴於英偉達的 GPU。
在推理階段，AI 模型在訓練的基礎上，利用神經網絡模型進行推理預測，從而響應用户指令。這類芯片（LPU）對整體性能的要求沒有 GPU 那麼高，但推理引擎性能更強。
對於 AI 芯片製造商們來説，推理芯片正在變得越來越重要，並在市場中佔據越來越多的機遇。
據報道，Melius Research 的分析師 Ben Reitzes 在給客户的一份説明中表示：
<blockquote>
“有看法認為，英偉達未來在推理領域的市場份額將低於訓練領域。”
“這意味着即將到來的 ‘推理爆炸’ 可能會帶來一波收益。”
</blockquote>
美銀分析師 Vivek Arya 同樣認為，伴隨 AI 模型訓練投資激增，重點將轉向從 AI 模型中創收，推理領域相較於英偉達主導的訓練領域更具競爭力。
從英偉達給出的 “40%” 比例來看，現在推理技術的發展速度可能要比此前預期的快得多。今年年初，瑞銀分析師曾預計，到明年，有 90% 的芯片需求將源於訓練，推理芯片僅佔到市場的 20%。
英偉達的競爭對手們正在蠢蠢欲動。
有觀點認為，隨着客户越來越講求降低 AI 模型的運營成本，英特爾的芯片將越來越具吸引力。有消息稱，英特爾擅長製造的芯片類型已經廣泛用於推理領域，和英偉達更尖端、更昂貴的 H100 在實際推理應用中差別不大。
英特爾的 CEO Pat Gelsinger 在去年年底的一次採訪中曾提到：
<blockquote>
“從經濟學的角度看推理應用的話，我不會打造一個需要花費 4 萬美元的全是 H100 的後台環境，因為它耗電太多，並且需要構建新的管理和安全模型，以及新的 IT 基礎設施。”
“如果我能在標準版的英特爾芯片上運行這些模型，就不會出現這些問題。”
</blockquote>
除了英特爾和 AMD 等老牌芯片巨頭，一些初創公司也可能 “乘風而起”。
谷歌前人工智能芯片工程師 Jonathan Ross 創立的公司 Groq 是挑戰者之一，該公司開發的 LPU 宣稱是 “史上最快大模型”，以每秒 500 個 token，徹底顛覆了 GPT-4 的 40 tok/s 的速度紀錄。
<h2>黃仁勳：推理業務佔 40%，AI 已成功</h2>
成本仍然是一道坎。包括亞馬遜、谷歌、微軟在內的巨頭們一直致力於內部開發推理芯片，希望縮減運營成本。
Ross 指出：
<blockquote>
“對於推理領域，你能部署多少取決於成本。”
“在谷歌，有很多模型都能訓練成功，但其中的 80% 都沒能部署，因為投產的成本太高了。”
</blockquote>
芯片軟件初創公司 SambaNova 的 CEO Rodrigo Liang 表示：
<blockquote>
“我們看到我們的推理應用案例正在迅速增長。”
“人們開始意識到，80% 以上的成本將用於推理，我需要尋找替代解決方案。”
</blockquote>
目前看來，英偉達仍在此次轉向中處於領先地位。
據悉，英偉達一款即將推出的芯片在去年一項關鍵的人工智能推理基準測試中取得了行業領先的結果，延續了該公司多年來在競爭中的主導地位。
並且，英偉達最新的財報顯示，該公司在 AI 芯片領域仍佔有 80% 以上的市場份額。這意味着，在可預見的未來，英偉達的訓練芯片預計仍將保持較高需求。
美東時間 2 月 23 日，英偉達 CEO 黃仁勳在接受《連線（Wired）》採訪時表示，英偉達目前業務中推理佔到 40%，這意味着 AI 模型將會很快落地。他表示：
<blockquote>
“我們熱愛推理。讓我估算的話，我認為英偉達今天的業務構成可能是 40% 的推理和 60% 的訓練。為什麼這是一件好事呢？因為這意味着人工智能終於取得了成功（AI is finally making it）。”
“今天，每當你在雲中輸入一個提示，它會生成一些東西——可能是視頻，可能是圖像，可能是 2D，可能是 3D，可能是文本，可能是圖表——這背後很可能就有一塊英偉達 GPU。”
</blockquote>

英偉達

AI 芯片主戰場正在從訓練領域轉向推理領域，黃仁勳：推理業務佔比 40%，AI 終於取得成功。

英偉達比例高達 40%！AI 芯片 “推理” 大戰打響