$英偉達(NVDA.US) 簡單科普：GTC 大會上黃仁勳提到的 AI 蒸餾是什麼？

AI 領域里的蒸餾可以理解為用 AI 來訓練 AI。

知識蒸餾是一種用於壓縮和優化大模型的機器學習方法。

其過程是先訓練一個大型、複雜的模型作為教師模型，該模型能學習到大量知識和特徵。然後使用教師模型為訓練數據生成軟標籤，即模型對每個樣本預測的概率分佈。接著用這些軟標籤來訓練學生模型，學生模型會嘗試模仿教師模型的行為，學習相似的特徵提取和決策過程。最後通過優化算法調整學生模型的參數，使其性能盡可能接近教師模型。

通過這種方式，讓更小的模型繼承大模型的知識，在計算資源受限的情況下提供高質量的 AI 服務。