<p>當我們談論人工智能基礎設施的成本時，通常關注的是英偉達和 GPU，但內存在這個過程中變得越來越重要。隨着超大規模企業準備建設價值數十億美元的新數據中心，DRAM 芯片的價格在過去一年中大約上漲了 7 倍。</p>
<p>與此同時，協調所有內存以確保正確的數據在正確的時間傳遞給正確的代理的能力正在逐漸增強。掌握這一點的公司將能夠用更少的令牌進行相同的查詢，這可能是生存與倒閉之間的區別。</p>
<p>半導體分析師 Dan O’Laughlin 在他的 Substack 上對內存芯片的重要性進行了有趣的探討，他與 Weka 的首席人工智能官 Val Bercovici 進行了對話。他們都是半導體領域的人，因此關注點更多在芯片而非更廣泛的架構；這對人工智能軟件的影響也相當顯著。</p>
<p>我特別被這一段所打動，在這段中，Bercovici 關注了 Anthropic 的提示緩存文檔日益複雜的情況：</p>
<blockquote>
<p>如果我們查看 Anthropic 的提示緩存定價頁面，這就是一個明顯的跡象。六七個月前，它最初是一個非常簡單的頁面，尤其是在 Claude Code 推出時——只是 “使用緩存，它更便宜。” 現在它變成了一本關於如何預購多少緩存寫入的建議百科全書。你有 5 分鐘的層級，這在行業中非常常見，或者 1 小時的層級——沒有更長的。這是一個非常重要的跡象。當然，你還會發現圍繞緩存讀取定價的各種套利機會，具體取決於你預購了多少緩存寫入。</p>
</blockquote>
<p>這裏的問題是 Claude 在緩存內存中保持你的提示多久：你可以為 5 分鐘的窗口付費，或者為 1 小時的窗口支付更多。利用仍在緩存中的數據要便宜得多，因此如果你管理得當，可以節省很多。不過有一個陷阱：你添加到查詢中的每一條新數據可能會將其他數據擠出緩存窗口。</p>
<p>這很複雜，但要點相對簡單：在人工智能模型中管理內存將成為未來人工智能的重要組成部分。做得好的公司將會脱穎而出。</p>
<p>在這個新領域還有很多進展可以取得。去年十月，我報道了一家名為 TensorMesh 的初創公司，它正在研究堆棧中的一個層級，稱為緩存優化。</p>
<p>Techcrunch 活動</p>
<p>波士頓，馬薩諸塞州 |2026 年 6 月 23 日</p>
<p>在堆棧的其他部分也存在機會。例如，在堆棧的下層，數據中心如何使用它們擁有的不同類型內存的問題。（採訪中包括了關於何時使用 DRAM 芯片而不是 HBM 的良好討論，儘管這在硬件細節上相當深入。）在堆棧的上層，最終用户正在弄清楚如何構建他們的模型羣，以利用共享緩存。</p>
<p>隨着公司在內存協調方面的能力提升，它們將使用更少的令牌，推理成本將變得更便宜。同時，模型在處理每個令牌時變得更加高效，進一步降低了成本。隨着服務器成本的下降，許多現在看似不可行的應用將開始逐漸走向盈利。</p>

美光科技

2 倍做多 NVDA ETF - T-Rex

費城交易所 半導體 ETF - iShares

<p>DRAM 芯片的成本不斷上升，過去一年大約增加了 7 倍，這已成為 AI 基礎設施中與 Nvidia GPU 並列的關鍵因素。有效的內存調度對於公司優化數據訪問至關重要，可能降低運營成本。半導體專家的見解強調了 AI 模型中內存管理日益複雜，特別是在緩存策略方面。隨着公司改善內存利用率，它們可以降低令牌使用和推理成本，為以前不可行的應用變得盈利鋪平道路</p>

<p>When we talk about the cost of AI infrastructure, the focus is usually on Nvidia and GPUs — but memory is an increasingly important part of the picture. As hyperscalers prepare to build out billions of dollars worth of new data centers, the price for DRAM chips has jumped roughly 7x in the last year.</p>
<div class="lb-trans"><p>當我們談論人工智能基礎設施的成本時，通常關注的是英偉達和 GPU，但內存在這個過程中變得越來越重要。隨着超大規模企業準備建設價值數十億美元的新數據中心，DRAM 芯片的價格在過去一年中大約上漲了 7 倍。</p>
</div><p>At the same time, there’s a growing discipline in orchestrating all that memory to make sure the right data gets to the right agent at the right time. The companies that master it will be able to make the same queries with fewer tokens, which can be the difference between folding and staying in business.</p>
<div class="lb-trans"><p>與此同時，協調所有內存以確保正確的數據在正確的時間傳遞給正確的代理的能力正在逐漸增強。掌握這一點的公司將能夠用更少的令牌進行相同的查詢，這可能是生存與倒閉之間的區別。</p>
</div><p>Semiconductor analyst Dan O’Laughlin has an interesting look at the importance of memory chips on his Substack, where he talks with Val Bercovici, chief AI officer at Weka. They’re both semiconductor guys, so the focus is more on the chips than the broader architecture; the implications for AI software are pretty significant too.</p>
<div class="lb-trans"><p>半導體分析師 Dan O’Laughlin 在他的 Substack 上對內存芯片的重要性進行了有趣的探討，他與 Weka 的首席人工智能官 Val Bercovici 進行了對話。他們都是半導體領域的人，因此關注點更多在芯片而非更廣泛的架構；這對人工智能軟件的影響也相當顯著。</p>
</div><p>I was particularly struck by this passage, in which Bercovici looks at the growing complexity of Anthropic’s prompt-caching documentation:</p>
<div class="lb-trans"><p>我特別被這一段所打動，在這段中，Bercovici 關注了 Anthropic 的提示緩存文檔日益複雜的情況：</p>
</div><blockquote>
<p>The tell is if we go to Anthropic’s prompt caching pricing page. It started off as a very simple page six or seven months ago, especially as Claude Code was launching — just “use caching, it’s cheaper.” Now it’s an encyclopedia of advice on exactly how many cache writes to pre-buy. You’ve got 5-minute tiers, which are very common across the industry, or 1-hour tiers — and nothing above. That’s a really important tell. Then of course you’ve got all sorts of arbitrage opportunities around the pricing for cache reads based on how many cache writes you’ve pre-purchased.</p>
</blockquote>
<div class="lb-trans"><blockquote>
<p>如果我們查看 Anthropic 的提示緩存定價頁面，這就是一個明顯的跡象。六七個月前，它最初是一個非常簡單的頁面，尤其是在 Claude Code 推出時——只是 “使用緩存，它更便宜。” 現在它變成了一本關於如何預購多少緩存寫入的建議百科全書。你有 5 分鐘的層級，這在行業中非常常見，或者 1 小時的層級——沒有更長的。這是一個非常重要的跡象。當然，你還會發現圍繞緩存讀取定價的各種套利機會，具體取決於你預購了多少緩存寫入。</p>
</blockquote>
</div><p>The question here is how long Claude holds your prompt in cached memory: you can pay for a 5-minute window, or pay more for an hour-long window. It’s much cheaper to draw on data that’s still in the cache, so if you manage it right, you can save an awful lot. There is a catch though: every new bit of data you add to the query may bump something else out of the cache window.</p>
<div class="lb-trans"><p>這裏的問題是 Claude 在緩存內存中保持你的提示多久：你可以為 5 分鐘的窗口付費，或者為 1 小時的窗口支付更多。利用仍在緩存中的數據要便宜得多，因此如果你管理得當，可以節省很多。不過有一個陷阱：你添加到查詢中的每一條新數據可能會將其他數據擠出緩存窗口。</p>
</div><p>This is complex stuff, but the upshot is simple enough: Managing memory in AI models is going to be a huge part of AI going forward. Companies that do it well are going to rise to the top.</p>
<div class="lb-trans"><p>這很複雜，但要點相對簡單：在人工智能模型中管理內存將成為未來人工智能的重要組成部分。做得好的公司將會脱穎而出。</p>
</div><p>And there is plenty of progress to be made in this new field. Back in October, I covered a startup called TensorMesh that was working on one layer in the stack known as cache-optimization.</p>
<div class="lb-trans"><p>在這個新領域還有很多進展可以取得。去年十月，我報道了一家名為 TensorMesh 的初創公司，它正在研究堆棧中的一個層級，稱為緩存優化。</p>
</div><p>Techcrunch event</p>
<div class="lb-trans"><p>Techcrunch 活動</p>
</div><p>Boston, MA|June 23, 2026</p>
<div class="lb-trans"><p>波士頓，馬薩諸塞州 |2026 年 6 月 23 日</p>
</div><p>Opportunities exist in other parts of the stack. For instance, lower down the stack, there’s the question of how data centers are using the different types of memory they have. (The interview includes a nice discussion of when DRAM chips are used instead of HBM, although it’s pretty deep in the hardware weeds.) Higher up the stack, end users are figuring out how to structure their model swarms to take advantage of the shared cache.</p>
<div class="lb-trans"><p>在堆棧的其他部分也存在機會。例如，在堆棧的下層，數據中心如何使用它們擁有的不同類型內存的問題。（採訪中包括了關於何時使用 DRAM 芯片而不是 HBM 的良好討論，儘管這在硬件細節上相當深入。）在堆棧的上層，最終用户正在弄清楚如何構建他們的模型羣，以利用共享緩存。</p>
</div><p>As companies get better at memory orchestration, they’ll use fewer tokens and inference will get cheaper. Meanwhile, models are getting more efficient at processing each token, pushing the cost down still further. As server costs drop, a lot of applications that don’t seem viable now will start to edge into profitability.</p>
<div class="lb-trans"><p>隨着公司在內存協調方面的能力提升，它們將使用更少的令牌，推理成本將變得更便宜。同時，模型在處理每個令牌時變得更加高效，進一步降低了成本。隨着服務器成本的下降，許多現在看似不可行的應用將開始逐漸走向盈利。</p>
</div>

Running AI models is turning into a memory game

- AI 基礎設施中，內存的成本顯著上升，DRAM 芯片價格去年上漲近 7 倍。  
- 精通內存管理的公司將能以更少的代幣完成查詢，從而提高競爭力。  
- 內存管理在 AI 模型中將變得至關重要，有望推動成本進一步降低。

運行 AI 模型正在演變成一場記憶遊戲