---
type: "Topics"
locale: "zh-HK"
url: "https://longbridge.com/zh-HK/dolphin/post/44215451.md"
description: "提到 AI 燒硬件，很多人第一反應是訓練。但在"存力"這件事上，真正吃緊的恰恰是推理。訓練對容量的要求確實更高——要存參數的中間狀態和計算過程，還得用 BF16 以上的高精度，存參數的內存能到推理的 8 到 16 倍。 可即便如此，容量在訓練時也不算瓶頸：訓練能把整個算力集羣都投給一個模型，內存相當富餘，就像一個人獨享整座倉庫。緊張出在推理。推理時集羣被切成小塊，每個模型實例可能只分到幾十到幾百張卡，容量一下就捉襟見肘；再疊加推理時數據讀寫量隨生成長度激增，速度壓力也集中在這一端。這也解釋了這輪存力需求為什麼和 AI 應用滲透、Agent 放量綁得這麼緊——真正燒內存的，不是實驗室裏的訓練，而是千萬用户的日常調用。"
datetime: "2026-10-07T06:14:22.000Z"
locales:
  - [en](https://longbridge.com/en/dolphin/post/44215451.md)
  - [zh-CN](https://longbridge.com/zh-CN/dolphin/post/44215451.md)
  - [zh-HK](https://longbridge.com/zh-HK/dolphin/post/44215451.md)
author: "[Dolphin Research](https://longbridge.com/zh-HK/dolphin.md)"
generator: "portal-rs"
---

# 提到 AI 燒硬件，很多人第一反應是訓練。但在"存力"這件事上，真正吃緊的恰恰是推理…


### 相關股票

- [GPUS.US](https://longbridge.com/zh-HK/quote/GPUS.US.md)
- [GPUS-D.US](https://longbridge.com/zh-HK/quote/GPUS-D.US.md)

---
> **免責聲明: 本文僅供參考，不構成任何投資建議。**