$Sandisk(SNDK.US)轉：一個簡單的類比：想象一位廚師在極小的砧板（HBM）上工作。每當顧客增加要求—“不要洋葱.⋯還是加洋葱吧.….現在改成素食.⋯再加一份配菜”——這些便籤（上下文/KV 緩存）就會堆滿砧板。最終，砧板被便利貼蓋滿，廚師無法切菜；這位昂貴的廚師只能閒站着。所謂的 “架構重構” 只是建立一套合理的廚房流程：將最緊急的便籤留在砧板（HBM）上，將 “重要但不即時” 的便籤移到旁邊的備菜台（DRAM），並將其餘內容存放在附近的檔案櫃/儲藏室（企業級 SSD）。然後，你再增加一名跑腿員和一名組織者（DPU+ 網絡），負責在正確的時刻取放正確的便籤，讓廚師能全速烹飪—這意味着更高的吞吐量、更低的單位 Token 成本，以及更少的 GPU 時間浪費。$美光科技(MU.US)