<p>//php echo do_shortcode('[responsivevoice_button voice=&#34;US English Male&#34; buttontext=&#34;收听帖子&#34;]') ?e</p>
<p>加利福尼亚州圣克拉拉——随着需求的增长，快速的 LLM 令牌生成正受到越来越多的关注。D-Matrix 的产品副总裁 Sree Ganesan 告诉 EE Times，该公司正在利用市场对低延迟令牌的需求，以及数据中心硬件向推理解耦和异构化的趋势，来销售其 AI 加速器和新设计的低延迟网络接口卡。</p>
<p>随着推理和链式思维等技术的兴起，LLM 推理工作负载正在增长，加上代理 AI，这意味着模型之间可以相互通信，而不受限于人类的阅读速度。即使对于小型代理（使用参数少于 10 亿的模型——小语言模型或 SLMs），这些趋势也意味着需要更多的令牌，延迟将变得更加关键，从而对内存带宽施加更大压力。</p>
<p>“即使只是几个在复合系统中协作的代理，我们也开始看到更多的 SLMs 出现，” Ganesan 说。“这让我们回到了内存墙——[行业] 在计算方面可以保持良好的速度，但在带宽方面却无法做到。我们真的需要在带宽上取得突破，因为差距正在扩大——所以我们认为这种内存计算集成将会持续下去。”</p>
<p>D-Matrix 的 Corsair 推理加速器使用一种专有的内存计算方案——乘法在其定制的 SRAM 内存单元中进行，结合了数字加法树。</p>
<p>然而，Ganesan 表示，SRAM 的扩展性不如 DRAM，尤其是在先进工艺节点上。</p>
<p>“我们从二维的内存计算方式转变过来，在这种方式下，我们看到了每秒数百 TB 带宽的价值，而现在我们需要打破第二个障碍，即内存容量，” 她说。“实现这一目标的方法是向垂直方向发展。”</p>
<p>D-Matrix 一直在开发一款 3D 堆叠的定制 DRAM 芯片，以增强其 Corsair 内存计算芯片。未来的 D-Matrix 芯片将仍然具有性能内存（进行计算的修改 SRAM）和容量内存（存储数据的离芯 DRAM），但容量内存将扩展到三个维度。</p>
<p>堆叠 DRAM 意味着必须开发一种方式，使芯片能够垂直通信——逻辑/SRAM 芯片位于堆叠的 DRAM 之上，直接位于中介层上。</p>
<p>“我们最终构建的能力是显著增加内存容量，” 她说。“我们没有牺牲任何内存带宽，因为整个表面区域都可用于通信；我们在内存带宽方面的优势与增加容量的优势相辅相成。”</p>
<p>3D 堆叠带来了复杂的良率和热稳定性问题，但通过使用小芯片（远小于光刻尺寸）和最小化每比特的皮焦耳数来保持热方面的约束，从而降低了风险，Ganesan 说。</p>
<p>D-Matrix 的 3D 定制 DRAM 测试芯片 Pavehawk 已经在公司的实验室中运行。该公司的下一代产品 Raptor 将结合这种 3D 堆叠技术，目标是实现 10 倍更好的内存带宽和 10 倍更好的能效，相比于转向昂贵的 HBM4。</p>
<p>“我们对将其应用于下一代产品非常有信心，” Ganesan 说。“这家公司的 DNA 是构建突破性技术，同时在将其应用于商业产品之前进行验证。”</p>
<h3><strong>快速 NIC</strong></h3>
<p>D-Matrix 还在努力进行扩展。</p>
<p>“我们在分布式推理方面所做的任何事情都必须使 Corsair 能够脱颖而出，” Ganesan 说。</p>
<p>如今，Corsair 卡可以在具有备用 NIC 插槽的 PCIe 服务器中连接，以便进行扩展。D-Matrix 开发了一款 PCIe Gen5 NIC 芯片，目前已投入生产，旨在打破另一个瓶颈：I/O。该芯片名为 Jetstream，能够处理 400 Gbps（延迟 2 微秒），其热设计功耗为 150 W。</p>
<p>“我们发现客户不仅想使用容量内存，他们还想使用性能内存，即超低延迟批量推理能力，” Ganesan 说。</p>
<p>在一个 8 卡 Corsair 服务器节点上，性能内存（单独）可以容纳一个 8-10B（8 位）参数模型，但如果芯片能够快速通信，则单个机架可以配置为在性能内存中容纳一个 100B（8 位）参数模型以实现超低延迟。Ganesan 表示，PCIe 和以太网无法提供所需的速度。</p>
<p>Jetstream 使设备发起的通信成为可能（不需要通过主机进行通信），以便通信能够跟上计算速度。</p>
<p>“这一切都是在后台进行的异步通信，” Ganesan 说。“这将数据平面和控制平面分开，使我们能够快速运行，跟上计算，并与行业标准兼容。”</p>
<p>D-Matrix 对 PCIe 堆栈的部分进行了优化，以适应 Corsair 的通信语义，并添加了以太网堆栈的部分。仅取每个堆栈的部分有助于最小化软件开销。Jetstream 卡插入 Corsair 服务器中，原本应该放置行业 PCIe NIC 的地方，并连接到顶层交换机以构建多机架集群。根据公司对市场需求的预期，Ganesan 表示，理想的集群规模可能在 500-1000 个 Corsair 卡之间。</p>
<p>因此，D-Matrix 的路线图现在增加了 I/O 维度。Jetstream 与 Corsair 的当前一代产品一起构建。该公司的第二代内存计算平台 Raptor 将需要不同的方法。</p>
<p>“Jetstream 是我们为 Corsair 解决问题的快速路径的起点，” Ganesan 说。“展望未来，我们希望构建一个符合行业标准的电气 I/O 芯片组……有机会将这些集成到 Raptor 系列中。”</p>
<p>该公司的第三代内存计算架构，称为 Lightning，将使用某种形式的光学 I/O。</p>
<h3><strong>硬件异构性</strong></h3>
<p>当前的推理硬件趋势包括将 LLM 推理工作负载分为两个阶段——预填充和解码——具有不同的计算和内存需求，并在不同的硬件上运行。</p>
<p>“我们的核心假设是，世界将变得异构，” Ganesan 说。</p>
<p>D-Matrix 在预填充和解码阶段使用相同的硬件，但可以根据这两个工作负载以不同方式配置相同的硬件。</p>
<p>“如果你在预填充阶段有非常高的计算需求，你可以使用我们有大量的 DDR 内存，并用我们称之为容量内存的部分来完成计算密集型的预填充部分，然后转移到性能内存上，” Ganesan 说。</p>
<p>Ganesan 说，异构性将超越仅仅是预填充和解码阶段，指出在这两个阶段之外，还有一些工作负载部分对延迟非常敏感，并且需要小批量。她补充说，Corsair 对这些工作负载部分有客户兴趣。</p>
<p>“异构性将会越来越多地出现，我们已经看到了这一点，” 她说。“我们已经说了很久——在推理中有很多地方可以通过异构性变得更加差异化。”</p>
<p>异构性还可能意味着在需要时将 D-Matrix Corsair 卡与 Nvidia GPU 一起安装，以便将工作负载中对延迟敏感的部分卸载出 GPU。</p>
<p>Ganesan 说，D-Matrix 当前的客户兴趣来自超大规模云服务商和新云服务商，目前有多个 Corsair 试点正在运行。</p>
<p><em><strong>编辑注：</strong> 要收听我们与 D-Matrix CEO Sid Sheth 关于测试时间扩展的播客，请点击这里。</em></p>

费城交易所 半导体 ETF - iShares

标普半导体 ETF - SPDR

全球科技股指数 ETF - iShares

半导体 3 倍做多 - Direxion

动态半导体 ETF - Invesco

半导体 ETF - VanEck Vectors

<p>D-Matrix 正在响应对低延迟 AI 令牌日益增长的需求，开发新的 AI 加速器和网络接口卡（NIC）。他们的 Corsair 推理加速器利用内存计算方案来增强内存带宽，而 3D 堆叠 DRAM 技术旨在提高内存容量和效率。该公司还推出了 Jetstream PCIe Gen5 NIC 芯片，旨在以低延迟处理 400 Gbps，促进分布式推理系统的更快通信。D-Matrix 专注于打破内存和通信技术的壁垒，以满足不断发展的 AI 工作负载的需求</p>

<p>//php echo do_shortcode('[responsivevoice_button voice=&#34;US English Male&#34; buttontext=&#34;Listen to Post&#34;]') ?&gt;</p>
<div class="lb-trans"><p>//php echo do_shortcode('[responsivevoice_button voice=&#34;US English Male&#34; buttontext=&#34;收听帖子&#34;]') ?e</p>
</div><p>SANTA CLARA, Calif. — Fast LLM token generation is getting a lot of attention as demand grows. D-Matrix is banking on market demand for low latency tokens combined with trends towards inference disaggregation and heterogeneity in data center hardware to sell its AI accelerators and new, specially-designed low-latency NIC cards, Sree Ganesan, VP of product at D-Matrix, told EE Times.</p>
<div class="lb-trans"><p>加利福尼亚州圣克拉拉——随着需求的增长，快速的 LLM 令牌生成正受到越来越多的关注。D-Matrix 的产品副总裁 Sree Ganesan 告诉 EE Times，该公司正在利用市场对低延迟令牌的需求，以及数据中心硬件向推理解耦和异构化的趋势，来销售其 AI 加速器和新设计的低延迟网络接口卡。</p>
</div><p>LLM inference workloads are growing with the rise of techniques like reasoning and chain-of-thought, plus agentic AI, which will mean models communicate with each other without being limited to human reading speed. Even for small agents (those that use models below 1B parameters—small language models or SLMs), these trends mean many more tokens will be required and latency will be even more critical, putting more pressure on memory bandwidth.</p>
<div class="lb-trans"><p>随着推理和链式思维等技术的兴起，LLM 推理工作负载正在增长，加上代理 AI，这意味着模型之间可以相互通信，而不受限于人类的阅读速度。即使对于小型代理（使用参数少于 10 亿的模型——小语言模型或 SLMs），这些趋势也意味着需要更多的令牌，延迟将变得更加关键，从而对内存带宽施加更大压力。</p>
</div><p>“Even if it’s just a couple of agents in a compound system that are collaborating, we’re starting to see a lot more SLMs coming into play,” Ganesan said. “That brings us back to the memory wall—[the industry] can keep up a good pace from a compute perspective, but not for bandwidth. We really need a breakthrough in bandwidth because the gap is widening—so we think this type of memory-compute integration is here to stay.”</p>
<div class="lb-trans"><p>“即使只是几个在复合系统中协作的代理，我们也开始看到更多的 SLMs 出现，” Ganesan 说。“这让我们回到了内存墙——[行业] 在计算方面可以保持良好的速度，但在带宽方面却无法做到。我们真的需要在带宽上取得突破，因为差距正在扩大——所以我们认为这种内存计算集成将会持续下去。”</p>
</div><p>D-Matrix’s Corsair inference accelerator uses a proprietary compute-in-memory scheme—multiplication is performed in its custom SRAM memory cells, combined with a digital adder tree.</p>
<div class="lb-trans"><p>D-Matrix 的 Corsair 推理加速器使用一种专有的内存计算方案——乘法在其定制的 SRAM 内存单元中进行，结合了数字加法树。</p>
</div><p>However, SRAM doesn’t scale as well as DRAM does, especially at advanced process nodes, Ganesan said.</p>
<div class="lb-trans"><p>然而，Ganesan 表示，SRAM 的扩展性不如 DRAM，尤其是在先进工艺节点上。</p>
</div><p>“We went from the 2D way of doing in-memory computing, where we saw the value in terms of getting hundreds of terabytes per second of bandwidth, and now we need to knock down the second barrier, which is memory capacity,” she said. “The way to do it is to go vertical.”</p>
<div class="lb-trans"><p>“我们从二维的内存计算方式转变过来，在这种方式下，我们看到了每秒数百 TB 带宽的价值，而现在我们需要打破第二个障碍，即内存容量，” 她说。“实现这一目标的方法是向垂直方向发展。”</p>
</div><p>D-Matrix has been working on a 3D stack of custom DRAM dies to augment its Corsair compute-in-memory chiplets. Future D-Matrix chips will still have both performance memory (the modified SRAM that does computation) and capacity memory (off-die DRAM that stores data), but the capacity memory will be expanded into three dimensions.</p>
<div class="lb-trans"><p>D-Matrix 一直在开发一款 3D 堆叠的定制 DRAM 芯片，以增强其 Corsair 内存计算芯片。未来的 D-Matrix 芯片将仍然具有性能内存（进行计算的修改 SRAM）和容量内存（存储数据的离芯 DRAM），但容量内存将扩展到三个维度。</p>
</div><p>Stacking DRAM has meant having to develop a way for the dies to communicate vertically—the logic/SRAM die is above the stacked DRAM which sits directly on the interposer.</p>
<div class="lb-trans"><p>堆叠 DRAM 意味着必须开发一种方式，使芯片能够垂直通信——逻辑/SRAM 芯片位于堆叠的 DRAM 之上，直接位于中介层上。</p>
</div><p>“What we ended up building is the ability to increase memory capacity significantly,” she said. “We don’t sacrifice any of the memory bandwidth because the entire surface area is available for communication; the same kind of advantage we have in memory bandwidth persists with the added advantage of increasing the capacity.”</p>
<div class="lb-trans"><p>“我们最终构建的能力是显著增加内存容量，” 她说。“我们没有牺牲任何内存带宽，因为整个表面区域都可用于通信；我们在内存带宽方面的优势与增加容量的优势相辅相成。”</p>
</div><p>3D stacking brings up complex yield and thermal stability issues, but the risks are reduced by using small dies—nowhere near reticle size—and by minimizing the picojoules per bit to keep thermal aspects constrained, Ganesan said.</p>
<div class="lb-trans"><p>3D 堆叠带来了复杂的良率和热稳定性问题，但通过使用小芯片（远小于光刻尺寸）和最小化每比特的皮焦耳数来保持热方面的约束，从而降低了风险，Ganesan 说。</p>
</div><p>D-Matrix’s 3D custom DRAM test chip, Pavehawk, is up and running in the company’s lab. The company’s next-generation product, Raptor, will incorporate this 3D stacked technology and will target 10× better memory bandwidth and 10× better energy efficiency compared with moving to expensive HBM4.</p>
<div class="lb-trans"><p>D-Matrix 的 3D 定制 DRAM 测试芯片 Pavehawk 已经在公司的实验室中运行。该公司的下一代产品 Raptor 将结合这种 3D 堆叠技术，目标是实现 10 倍更好的内存带宽和 10 倍更好的能效，相比于转向昂贵的 HBM4。</p>
</div><p>“We have very high confidence taking this into our next generation,” Ganesan said. “The DNA of this company is building out technology that’s breaking barriers, but also validating them before we take it into a commercial product.”</p>
<div class="lb-trans"><p>“我们对将其应用于下一代产品非常有信心，” Ganesan 说。“这家公司的 DNA 是构建突破性技术，同时在将其应用于商业产品之前进行验证。”</p>
</div><h3><strong>Fast NIC</strong></h3>
<div class="lb-trans"><h3><strong>快速 NIC</strong></h3>
</div><p>D-Matrix has also been working hard on scale-out.</p>
<div class="lb-trans"><p>D-Matrix 还在努力进行扩展。</p>
</div><p>“Whatever we do in terms of distributed inference has to enable Corsair to shine,” Ganesan said.</p>
<div class="lb-trans"><p>“我们在分布式推理方面所做的任何事情都必须使 Corsair 能够脱颖而出，” Ganesan 说。</p>
</div><p>Today, Corsair cards can be connected in a PCIe server with spare slots for NICs to allow scaling out. D-Matrix has developed a PCIe Gen5 NIC chip, now in production, which is designed to break another bottleneck: I/O. Called Jetstream, it can handle 400 Gbps (latency 2 µs) and it has a TDP of 150 W.</p>
<div class="lb-trans"><p>如今，Corsair 卡可以在具有备用 NIC 插槽的 PCIe 服务器中连接，以便进行扩展。D-Matrix 开发了一款 PCIe Gen5 NIC 芯片，目前已投入生产，旨在打破另一个瓶颈：I/O。该芯片名为 Jetstream，能够处理 400 Gbps（延迟 2 微秒），其热设计功耗为 150 W。</p>
</div><p>“What we’re finding is that customers want to use not only the capacity memory, they want to use the performance memory, which is the ultra-low latency batch inference capability,” Ganesan said.</p>
<div class="lb-trans"><p>“我们发现客户不仅想使用容量内存，他们还想使用性能内存，即超低延迟批量推理能力，” Ganesan 说。</p>
</div><p>The performance memory (alone) on an 8-card Corsair server node can hold an 8-10B (8-bit) parameter model, but a single rack could be configured to hold a 100B (8-bit) parameter model in performance memory for ultra-low latency, provided the chips could communicate fast enough. PCIe and Ethernet didn’t offer the required speed, Ganesan said.</p>
<div class="lb-trans"><p>在一个 8 卡 Corsair 服务器节点上，性能内存（单独）可以容纳一个 8-10B（8 位）参数模型，但如果芯片能够快速通信，则单个机架可以配置为在性能内存中容纳一个 100B（8 位）参数模型以实现超低延迟。Ganesan 表示，PCIe 和以太网无法提供所需的速度。</p>
</div><p>Jetstream enables device-initiated communications (communication via the host is not needed) so that communication can keep up with computing speed.</p>
<div class="lb-trans"><p>Jetstream 使设备发起的通信成为可能（不需要通过主机进行通信），以便通信能够跟上计算速度。</p>
</div><p>“This is all asynchronous communication happening in the background,” Ganesan said. “That separates the data plane and the control plane which allows us to go really fast, keeps up with the compute and gets us the compatibility with industry standards.”</p>
<div class="lb-trans"><p>“这一切都是在后台进行的异步通信，” Ganesan 说。“这将数据平面和控制平面分开，使我们能够快速运行，跟上计算，并与行业标准兼容。”</p>
</div><p>D-Matrix took parts of the PCIe stack, optimized them for Corsair’s communication semantics, and added parts of the Ethernet stack. Taking only parts of each stack helped minimize the software overhead. Jetstream cards plug in to a Corsair server where an industry PCIe NIC would have gone, and connect to top-of-rack switches to build a multi-rack cluster. A sweet spot might be a cluster somewhere in the region of 500-1,000 Corsair cards, Ganesan said, based on demand the company is anticipating in the market.</p>
<div class="lb-trans"><p>D-Matrix 对 PCIe 堆栈的部分进行了优化，以适应 Corsair 的通信语义，并添加了以太网堆栈的部分。仅取每个堆栈的部分有助于最小化软件开销。Jetstream 卡插入 Corsair 服务器中，原本应该放置行业 PCIe NIC 的地方，并连接到顶层交换机以构建多机架集群。根据公司对市场需求的预期，Ganesan 表示，理想的集群规模可能在 500-1000 个 Corsair 卡之间。</p>
</div><p>Accordingly, D-Matrix’s roadmap now has an I/O dimension. Jetstream builds out the current generation alongside Corsair. The company’s second-generation compute-in-memory platform, Raptor, will need a different approach.</p>
<div class="lb-trans"><p>因此，D-Matrix 的路线图现在增加了 I/O 维度。Jetstream 与 Corsair 的当前一代产品一起构建。该公司的第二代内存计算平台 Raptor 将需要不同的方法。</p>
</div><p>“Jetstream is the starting point [for this roadmap] where we took the fast path to solve the problem for Corsair,” Ganesan said. “As we look ahead, we want to build an electrical I/O chiplet aligned with industry standards…there are opportunities to take those and put them into a chiplet and integrate them in the Raptor family.”</p>
<div class="lb-trans"><p>“Jetstream 是我们为 Corsair 解决问题的快速路径的起点，” Ganesan 说。“展望未来，我们希望构建一个符合行业标准的电气 I/O 芯片组……有机会将这些集成到 Raptor 系列中。”</p>
</div><p>The company’s third-generation compute-in-memory architecture, dubbed Lightning, will use some form of optical I/O.</p>
<div class="lb-trans"><p>该公司的第三代内存计算架构，称为 Lightning，将使用某种形式的光学 I/O。</p>
</div><h3><strong>Hardware heterogeneity</strong></h3>
<div class="lb-trans"><h3><strong>硬件异构性</strong></h3>
</div><p>Current inference hardware trends include breaking LLM inference workloads into two stages—prefill and decode—with different compute and memory needs and running them on different hardware.</p>
<div class="lb-trans"><p>当前的推理硬件趋势包括将 LLM 推理工作负载分为两个阶段——预填充和解码——具有不同的计算和内存需求，并在不同的硬件上运行。</p>
</div><p>“Our core hypothesis that the world is going to get heterogeneous,” Ganesan said.</p>
<div class="lb-trans"><p>“我们的核心假设是，世界将变得异构，” Ganesan 说。</p>
</div><p>D-Matrix uses the same hardware for prefill and decode, but the same hardware can be configured differently for the two workloads.</p>
<div class="lb-trans"><p>D-Matrix 在预填充和解码阶段使用相同的硬件，但可以根据这两个工作负载以不同方式配置相同的硬件。</p>
</div><p>“If you have a very highly compute-bound prefill phase, you can just use the DDR memory, which we have plenty of, and do your compute-bound prefill part with what we call the capacity memory piece, then transfer it over to use performance memory,” Ganesan said.</p>
<div class="lb-trans"><p>“如果你在预填充阶段有非常高的计算需求，你可以使用我们有大量的 DDR 内存，并用我们称之为容量内存的部分来完成计算密集型的预填充部分，然后转移到性能内存上，” Ganesan 说。</p>
</div><p>Heterogeneity will expand beyond just prefill and decode stages, Ganesan said, noting that beyond those two stages, there are parts of the workload that are extremely latency-sensitive and demand small batch sizes. There is customer interest in Corsair for these parts of a workload, she added.</p>
<div class="lb-trans"><p>Ganesan 说，异构性将超越仅仅是预填充和解码阶段，指出在这两个阶段之外，还有一些工作负载部分对延迟非常敏感，并且需要小批量。她补充说，Corsair 对这些工作负载部分有客户兴趣。</p>
</div><p>“Heterogeneity will start coming more and more, we’re already seeing that,” she said. “We’ve said that for a long—there’s plenty of places for inference to get more and more differentiated with heterogeneity.”</p>
<div class="lb-trans"><p>“异构性将会越来越多地出现，我们已经看到了这一点，” 她说。“我们已经说了很久——在推理中有很多地方可以通过异构性变得更加差异化。”</p>
</div><p>Heterogeneity could also mean installing D-Matrix Corsair cards alongside Nvidia GPUs so that latency-critical parts of the workload can be offloaded from GPUs, as needed.</p>
<div class="lb-trans"><p>异构性还可能意味着在需要时将 D-Matrix Corsair 卡与 Nvidia GPU 一起安装，以便将工作负载中对延迟敏感的部分卸载出 GPU。</p>
</div><p>D-Matrix’s current customer interest is coming from hyperscalers and neoclouds, where there are a number of Corsair trials up and running, Ganesan said.</p>
<div class="lb-trans"><p>Ganesan 说，D-Matrix 当前的客户兴趣来自超大规模云服务商和新云服务商，目前有多个 Corsair 试点正在运行。</p>
</div><p><em><strong>Editors note:</strong> To listen to our podcast on test time scaling with D-Matrix CEO Sid Sheth, click here.</em></p>
<div class="lb-trans"><p><em><strong>编辑注：</strong> 要收听我们与 D-Matrix CEO Sid Sheth 关于测试时间扩展的播客，请点击这里。</em></p>
</div>

随着对快速 AI 代币的需求不断增长，D-Matrix 正在开发快速网络接口卡（NIC）