$闪迪(SNDK.US)转：一个简单的类比：想象一位厨师在极小的砧板（HBM）上工作。每当顾客增加要求—“不要洋葱.⋯还是加洋葱吧.….现在改成素食.⋯再加一份配菜”——这些便签（上下文/KV 缓存）就会堆满砧板。最终，砧板被便利贴盖满，厨师无法切菜；这位昂贵的厨师只能闲站着。所谓的 “架构重构” 只是建立一套合理的厨房流程：将最紧急的便签留在砧板（HBM）上，将 “重要但不即时” 的便签移到旁边的备菜台（DRAM），并将其余内容存放在附近的档案柜/储藏室（企业级 SSD）。然后，你再增加一名跑腿员和一名组织者（DPU+ 网络），负责在正确的时刻取放正确的便签，让厨师能全速烹饪—这意味着更高的吞吐量、更低的单位 Token 成本，以及更少的 GPU 时间浪费。$美光科技(MU.US)
本文版权归属于原作者/机构。
以上内容仅代表作者个人观点，不代表平台立场。本内容仅供投资参考，不应被视为投资建议。如您对平台提供的内容服务有任何疑问或建议，请联系我们。