<p>当我们谈论人工智能基础设施的成本时，通常关注的是英伟达和 GPU，但内存在这个过程中变得越来越重要。随着超大规模企业准备建设价值数十亿美元的新数据中心，DRAM 芯片的价格在过去一年中大约上涨了 7 倍。</p>
<p>与此同时，协调所有内存以确保正确的数据在正确的时间传递给正确的代理的能力正在逐渐增强。掌握这一点的公司将能够用更少的令牌进行相同的查询，这可能是生存与倒闭之间的区别。</p>
<p>半导体分析师 Dan O’Laughlin 在他的 Substack 上对内存芯片的重要性进行了有趣的探讨，他与 Weka 的首席人工智能官 Val Bercovici 进行了对话。他们都是半导体领域的人，因此关注点更多在芯片而非更广泛的架构；这对人工智能软件的影响也相当显著。</p>
<p>我特别被这一段所打动，在这段中，Bercovici 关注了 Anthropic 的提示缓存文档日益复杂的情况：</p>
<blockquote>
<p>如果我们查看 Anthropic 的提示缓存定价页面，这就是一个明显的迹象。六七个月前，它最初是一个非常简单的页面，尤其是在 Claude Code 推出时——只是 “使用缓存，它更便宜。” 现在它变成了一本关于如何预购多少缓存写入的建议百科全书。你有 5 分钟的层级，这在行业中非常常见，或者 1 小时的层级——没有更长的。这是一个非常重要的迹象。当然，你还会发现围绕缓存读取定价的各种套利机会，具体取决于你预购了多少缓存写入。</p>
</blockquote>
<p>这里的问题是 Claude 在缓存内存中保持你的提示多久：你可以为 5 分钟的窗口付费，或者为 1 小时的窗口支付更多。利用仍在缓存中的数据要便宜得多，因此如果你管理得当，可以节省很多。不过有一个陷阱：你添加到查询中的每一条新数据可能会将其他数据挤出缓存窗口。</p>
<p>这很复杂，但要点相对简单：在人工智能模型中管理内存将成为未来人工智能的重要组成部分。做得好的公司将会脱颖而出。</p>
<p>在这个新领域还有很多进展可以取得。去年十月，我报道了一家名为 TensorMesh 的初创公司，它正在研究堆栈中的一个层级，称为缓存优化。</p>
<p>Techcrunch 活动</p>
<p>波士顿，马萨诸塞州 |2026 年 6 月 23 日</p>
<p>在堆栈的其他部分也存在机会。例如，在堆栈的下层，数据中心如何使用它们拥有的不同类型内存的问题。（采访中包括了关于何时使用 DRAM 芯片而不是 HBM 的良好讨论，尽管这在硬件细节上相当深入。）在堆栈的上层，最终用户正在弄清楚如何构建他们的模型群，以利用共享缓存。</p>
<p>随着公司在内存协调方面的能力提升，它们将使用更少的令牌，推理成本将变得更便宜。同时，模型在处理每个令牌时变得更加高效，进一步降低了成本。随着服务器成本的下降，许多现在看似不可行的应用将开始逐渐走向盈利。</p>

美光科技

2 倍做多 NVDA ETF - T-Rex

费城交易所 半导体 ETF - iShares

<p>DRAM 芯片的成本不断上升，过去一年大约增加了 7 倍，这已成为 AI 基础设施中与 Nvidia GPU 并列的关键因素。有效的内存调度对于公司优化数据访问至关重要，可能降低运营成本。半导体专家的见解强调了 AI 模型中内存管理日益复杂，特别是在缓存策略方面。随着公司改善内存利用率，它们可以降低令牌使用和推理成本，为以前不可行的应用变得盈利铺平道路</p>

<p>When we talk about the cost of AI infrastructure, the focus is usually on Nvidia and GPUs — but memory is an increasingly important part of the picture. As hyperscalers prepare to build out billions of dollars worth of new data centers, the price for DRAM chips has jumped roughly 7x in the last year.</p>
<div class="lb-trans"><p>当我们谈论人工智能基础设施的成本时，通常关注的是英伟达和 GPU，但内存在这个过程中变得越来越重要。随着超大规模企业准备建设价值数十亿美元的新数据中心，DRAM 芯片的价格在过去一年中大约上涨了 7 倍。</p>
</div><p>At the same time, there’s a growing discipline in orchestrating all that memory to make sure the right data gets to the right agent at the right time. The companies that master it will be able to make the same queries with fewer tokens, which can be the difference between folding and staying in business.</p>
<div class="lb-trans"><p>与此同时，协调所有内存以确保正确的数据在正确的时间传递给正确的代理的能力正在逐渐增强。掌握这一点的公司将能够用更少的令牌进行相同的查询，这可能是生存与倒闭之间的区别。</p>
</div><p>Semiconductor analyst Dan O’Laughlin has an interesting look at the importance of memory chips on his Substack, where he talks with Val Bercovici, chief AI officer at Weka. They’re both semiconductor guys, so the focus is more on the chips than the broader architecture; the implications for AI software are pretty significant too.</p>
<div class="lb-trans"><p>半导体分析师 Dan O’Laughlin 在他的 Substack 上对内存芯片的重要性进行了有趣的探讨，他与 Weka 的首席人工智能官 Val Bercovici 进行了对话。他们都是半导体领域的人，因此关注点更多在芯片而非更广泛的架构；这对人工智能软件的影响也相当显著。</p>
</div><p>I was particularly struck by this passage, in which Bercovici looks at the growing complexity of Anthropic’s prompt-caching documentation:</p>
<div class="lb-trans"><p>我特别被这一段所打动，在这段中，Bercovici 关注了 Anthropic 的提示缓存文档日益复杂的情况：</p>
</div><blockquote>
<p>The tell is if we go to Anthropic’s prompt caching pricing page. It started off as a very simple page six or seven months ago, especially as Claude Code was launching — just “use caching, it’s cheaper.” Now it’s an encyclopedia of advice on exactly how many cache writes to pre-buy. You’ve got 5-minute tiers, which are very common across the industry, or 1-hour tiers — and nothing above. That’s a really important tell. Then of course you’ve got all sorts of arbitrage opportunities around the pricing for cache reads based on how many cache writes you’ve pre-purchased.</p>
</blockquote>
<div class="lb-trans"><blockquote>
<p>如果我们查看 Anthropic 的提示缓存定价页面，这就是一个明显的迹象。六七个月前，它最初是一个非常简单的页面，尤其是在 Claude Code 推出时——只是 “使用缓存，它更便宜。” 现在它变成了一本关于如何预购多少缓存写入的建议百科全书。你有 5 分钟的层级，这在行业中非常常见，或者 1 小时的层级——没有更长的。这是一个非常重要的迹象。当然，你还会发现围绕缓存读取定价的各种套利机会，具体取决于你预购了多少缓存写入。</p>
</blockquote>
</div><p>The question here is how long Claude holds your prompt in cached memory: you can pay for a 5-minute window, or pay more for an hour-long window. It’s much cheaper to draw on data that’s still in the cache, so if you manage it right, you can save an awful lot. There is a catch though: every new bit of data you add to the query may bump something else out of the cache window.</p>
<div class="lb-trans"><p>这里的问题是 Claude 在缓存内存中保持你的提示多久：你可以为 5 分钟的窗口付费，或者为 1 小时的窗口支付更多。利用仍在缓存中的数据要便宜得多，因此如果你管理得当，可以节省很多。不过有一个陷阱：你添加到查询中的每一条新数据可能会将其他数据挤出缓存窗口。</p>
</div><p>This is complex stuff, but the upshot is simple enough: Managing memory in AI models is going to be a huge part of AI going forward. Companies that do it well are going to rise to the top.</p>
<div class="lb-trans"><p>这很复杂，但要点相对简单：在人工智能模型中管理内存将成为未来人工智能的重要组成部分。做得好的公司将会脱颖而出。</p>
</div><p>And there is plenty of progress to be made in this new field. Back in October, I covered a startup called TensorMesh that was working on one layer in the stack known as cache-optimization.</p>
<div class="lb-trans"><p>在这个新领域还有很多进展可以取得。去年十月，我报道了一家名为 TensorMesh 的初创公司，它正在研究堆栈中的一个层级，称为缓存优化。</p>
</div><p>Techcrunch event</p>
<div class="lb-trans"><p>Techcrunch 活动</p>
</div><p>Boston, MA|June 23, 2026</p>
<div class="lb-trans"><p>波士顿，马萨诸塞州 |2026 年 6 月 23 日</p>
</div><p>Opportunities exist in other parts of the stack. For instance, lower down the stack, there’s the question of how data centers are using the different types of memory they have. (The interview includes a nice discussion of when DRAM chips are used instead of HBM, although it’s pretty deep in the hardware weeds.) Higher up the stack, end users are figuring out how to structure their model swarms to take advantage of the shared cache.</p>
<div class="lb-trans"><p>在堆栈的其他部分也存在机会。例如，在堆栈的下层，数据中心如何使用它们拥有的不同类型内存的问题。（采访中包括了关于何时使用 DRAM 芯片而不是 HBM 的良好讨论，尽管这在硬件细节上相当深入。）在堆栈的上层，最终用户正在弄清楚如何构建他们的模型群，以利用共享缓存。</p>
</div><p>As companies get better at memory orchestration, they’ll use fewer tokens and inference will get cheaper. Meanwhile, models are getting more efficient at processing each token, pushing the cost down still further. As server costs drop, a lot of applications that don’t seem viable now will start to edge into profitability.</p>
<div class="lb-trans"><p>随着公司在内存协调方面的能力提升，它们将使用更少的令牌，推理成本将变得更便宜。同时，模型在处理每个令牌时变得更加高效，进一步降低了成本。随着服务器成本的下降，许多现在看似不可行的应用将开始逐渐走向盈利。</p>
</div>

Running AI models is turning into a memory game

- AI 基础设施中，内存的成本显著上升，DRAM 芯片价格去年上涨近 7 倍。  
- 精通内存管理的公司将能以更少的代币完成查询，从而提高竞争力。  
- 内存管理在 AI 模型中将变得至关重要，有望推动成本进一步降低。

运行 AI 模型正在演变成一场记忆游戏