<p>//php echo do_shortcode('[responsivevoice_button voice=&#34;US English Male&#34; buttontext=&#34;收聽帖子&#34;]') ?e</p>
<p>加利福尼亞州聖克拉拉——隨着需求的增長，快速的 LLM 令牌生成正受到越來越多的關注。D-Matrix 的產品副總裁 Sree Ganesan 告訴 EE Times，該公司正在利用市場對低延遲令牌的需求，以及數據中心硬件向推理解耦和異構化的趨勢，來銷售其 AI 加速器和新設計的低延遲網絡接口卡。</p>
<p>隨着推理和鏈式思維等技術的興起，LLM 推理工作負載正在增長，加上代理 AI，這意味着模型之間可以相互通信，而不受限於人類的閲讀速度。即使對於小型代理（使用參數少於 10 億的模型——小語言模型或 SLMs），這些趨勢也意味着需要更多的令牌，延遲將變得更加關鍵，從而對內存帶寬施加更大壓力。</p>
<p>“即使只是幾個在複合系統中協作的代理，我們也開始看到更多的 SLMs 出現，” Ganesan 説。“這讓我們回到了內存牆——[行業] 在計算方面可以保持良好的速度，但在帶寬方面卻無法做到。我們真的需要在帶寬上取得突破，因為差距正在擴大——所以我們認為這種內存計算集成將會持續下去。”</p>
<p>D-Matrix 的 Corsair 推理加速器使用一種專有的內存計算方案——乘法在其定製的 SRAM 內存單元中進行，結合了數字加法樹。</p>
<p>然而，Ganesan 表示，SRAM 的擴展性不如 DRAM，尤其是在先進工藝節點上。</p>
<p>“我們從二維的內存計算方式轉變過來，在這種方式下，我們看到了每秒數百 TB 帶寬的價值，而現在我們需要打破第二個障礙，即內存容量，” 她説。“實現這一目標的方法是向垂直方向發展。”</p>
<p>D-Matrix 一直在開發一款 3D 堆疊的定製 DRAM 芯片，以增強其 Corsair 內存計算芯片。未來的 D-Matrix 芯片將仍然具有性能內存（進行計算的修改 SRAM）和容量內存（存儲數據的離芯 DRAM），但容量內存將擴展到三個維度。</p>
<p>堆疊 DRAM 意味着必須開發一種方式，使芯片能夠垂直通信——邏輯/SRAM 芯片位於堆疊的 DRAM 之上，直接位於中介層上。</p>
<p>“我們最終構建的能力是顯著增加內存容量，” 她説。“我們沒有犧牲任何內存帶寬，因為整個表面區域都可用於通信；我們在內存帶寬方面的優勢與增加容量的優勢相輔相成。”</p>
<p>3D 堆疊帶來了複雜的良率和熱穩定性問題，但通過使用小芯片（遠小於光刻尺寸）和最小化每比特的皮焦耳數來保持熱方面的約束，從而降低了風險，Ganesan 説。</p>
<p>D-Matrix 的 3D 定製 DRAM 測試芯片 Pavehawk 已經在公司的實驗室中運行。該公司的下一代產品 Raptor 將結合這種 3D 堆疊技術，目標是實現 10 倍更好的內存帶寬和 10 倍更好的能效，相比於轉向昂貴的 HBM4。</p>
<p>“我們對將其應用於下一代產品非常有信心，” Ganesan 説。“這家公司的 DNA 是構建突破性技術，同時在將其應用於商業產品之前進行驗證。”</p>
<h3><strong>快速 NIC</strong></h3>
<p>D-Matrix 還在努力進行擴展。</p>
<p>“我們在分佈式推理方面所做的任何事情都必須使 Corsair 能夠脱穎而出，” Ganesan 説。</p>
<p>如今，Corsair 卡可以在具有備用 NIC 插槽的 PCIe 服務器中連接，以便進行擴展。D-Matrix 開發了一款 PCIe Gen5 NIC 芯片，目前已投入生產，旨在打破另一個瓶頸：I/O。該芯片名為 Jetstream，能夠處理 400 Gbps（延遲 2 微秒），其熱設計功耗為 150 W。</p>
<p>“我們發現客户不僅想使用容量內存，他們還想使用性能內存，即超低延遲批量推理能力，” Ganesan 説。</p>
<p>在一個 8 卡 Corsair 服務器節點上，性能內存（單獨）可以容納一個 8-10B（8 位）參數模型，但如果芯片能夠快速通信，則單個機架可以配置為在性能內存中容納一個 100B（8 位）參數模型以實現超低延遲。Ganesan 表示，PCIe 和以太網無法提供所需的速度。</p>
<p>Jetstream 使設備發起的通信成為可能（不需要通過主機進行通信），以便通信能夠跟上計算速度。</p>
<p>“這一切都是在後台進行的異步通信，” Ganesan 説。“這將數據平面和控制平面分開，使我們能夠快速運行，跟上計算，並與行業標準兼容。”</p>
<p>D-Matrix 對 PCIe 堆棧的部分進行了優化，以適應 Corsair 的通信語義，並添加了以太網堆棧的部分。僅取每個堆棧的部分有助於最小化軟件開銷。Jetstream 卡插入 Corsair 服務器中，原本應該放置行業 PCIe NIC 的地方，並連接到頂層交換機以構建多機架集羣。根據公司對市場需求的預期，Ganesan 表示，理想的集羣規模可能在 500-1000 個 Corsair 卡之間。</p>
<p>因此，D-Matrix 的路線圖現在增加了 I/O 維度。Jetstream 與 Corsair 的當前一代產品一起構建。該公司的第二代內存計算平台 Raptor 將需要不同的方法。</p>
<p>“Jetstream 是我們為 Corsair 解決問題的快速路徑的起點，” Ganesan 説。“展望未來，我們希望構建一個符合行業標準的電氣 I/O 芯片組……有機會將這些集成到 Raptor 系列中。”</p>
<p>該公司的第三代內存計算架構，稱為 Lightning，將使用某種形式的光學 I/O。</p>
<h3><strong>硬件異構性</strong></h3>
<p>當前的推理硬件趨勢包括將 LLM 推理工作負載分為兩個階段——預填充和解碼——具有不同的計算和內存需求，並在不同的硬件上運行。</p>
<p>“我們的核心假設是，世界將變得異構，” Ganesan 説。</p>
<p>D-Matrix 在預填充和解碼階段使用相同的硬件，但可以根據這兩個工作負載以不同方式配置相同的硬件。</p>
<p>“如果你在預填充階段有非常高的計算需求，你可以使用我們有大量的 DDR 內存，並用我們稱之為容量內存的部分來完成計算密集型的預填充部分，然後轉移到性能內存上，” Ganesan 説。</p>
<p>Ganesan 説，異構性將超越僅僅是預填充和解碼階段，指出在這兩個階段之外，還有一些工作負載部分對延遲非常敏感，並且需要小批量。她補充説，Corsair 對這些工作負載部分有客户興趣。</p>
<p>“異構性將會越來越多地出現，我們已經看到了這一點，” 她説。“我們已經説了很久——在推理中有很多地方可以通過異構性變得更加差異化。”</p>
<p>異構性還可能意味着在需要時將 D-Matrix Corsair 卡與 Nvidia GPU 一起安裝，以便將工作負載中對延遲敏感的部分卸載出 GPU。</p>
<p>Ganesan 説，D-Matrix 當前的客户興趣來自超大規模雲服務商和新雲服務商，目前有多個 Corsair 試點正在運行。</p>
<p><em><strong>編輯注：</strong> 要收聽我們與 D-Matrix CEO Sid Sheth 關於測試時間擴展的播客，請點擊這裏。</em></p>

費城交易所 半導體 ETF - iShares

標普半導體 ETF - SPDR

全球科技股指數 ETF - iShares

半導體 3 倍做多 - Direxion

動態半導體 ETF - Invesco

半導體 ETF - VanEck Vectors

<p>D-Matrix 正在響應對低延遲 AI 令牌日益增長的需求，開發新的 AI 加速器和網絡接口卡（NIC）。他們的 Corsair 推理加速器利用內存計算方案來增強內存帶寬，而 3D 堆疊 DRAM 技術旨在提高內存容量和效率。該公司還推出了 Jetstream PCIe Gen5 NIC 芯片，旨在以低延遲處理 400 Gbps，促進分佈式推理系統的更快通信。D-Matrix 專注於打破內存和通信技術的壁壘，以滿足不斷發展的 AI 工作負載的需求</p>

<p>//php echo do_shortcode('[responsivevoice_button voice=&#34;US English Male&#34; buttontext=&#34;Listen to Post&#34;]') ?&gt;</p>
<div class="lb-trans"><p>//php echo do_shortcode('[responsivevoice_button voice=&#34;US English Male&#34; buttontext=&#34;收聽帖子&#34;]') ?e</p>
</div><p>SANTA CLARA, Calif. — Fast LLM token generation is getting a lot of attention as demand grows. D-Matrix is banking on market demand for low latency tokens combined with trends towards inference disaggregation and heterogeneity in data center hardware to sell its AI accelerators and new, specially-designed low-latency NIC cards, Sree Ganesan, VP of product at D-Matrix, told EE Times.</p>
<div class="lb-trans"><p>加利福尼亞州聖克拉拉——隨着需求的增長，快速的 LLM 令牌生成正受到越來越多的關注。D-Matrix 的產品副總裁 Sree Ganesan 告訴 EE Times，該公司正在利用市場對低延遲令牌的需求，以及數據中心硬件向推理解耦和異構化的趨勢，來銷售其 AI 加速器和新設計的低延遲網絡接口卡。</p>
</div><p>LLM inference workloads are growing with the rise of techniques like reasoning and chain-of-thought, plus agentic AI, which will mean models communicate with each other without being limited to human reading speed. Even for small agents (those that use models below 1B parameters—small language models or SLMs), these trends mean many more tokens will be required and latency will be even more critical, putting more pressure on memory bandwidth.</p>
<div class="lb-trans"><p>隨着推理和鏈式思維等技術的興起，LLM 推理工作負載正在增長，加上代理 AI，這意味着模型之間可以相互通信，而不受限於人類的閲讀速度。即使對於小型代理（使用參數少於 10 億的模型——小語言模型或 SLMs），這些趨勢也意味着需要更多的令牌，延遲將變得更加關鍵，從而對內存帶寬施加更大壓力。</p>
</div><p>“Even if it’s just a couple of agents in a compound system that are collaborating, we’re starting to see a lot more SLMs coming into play,” Ganesan said. “That brings us back to the memory wall—[the industry] can keep up a good pace from a compute perspective, but not for bandwidth. We really need a breakthrough in bandwidth because the gap is widening—so we think this type of memory-compute integration is here to stay.”</p>
<div class="lb-trans"><p>“即使只是幾個在複合系統中協作的代理，我們也開始看到更多的 SLMs 出現，” Ganesan 説。“這讓我們回到了內存牆——[行業] 在計算方面可以保持良好的速度，但在帶寬方面卻無法做到。我們真的需要在帶寬上取得突破，因為差距正在擴大——所以我們認為這種內存計算集成將會持續下去。”</p>
</div><p>D-Matrix’s Corsair inference accelerator uses a proprietary compute-in-memory scheme—multiplication is performed in its custom SRAM memory cells, combined with a digital adder tree.</p>
<div class="lb-trans"><p>D-Matrix 的 Corsair 推理加速器使用一種專有的內存計算方案——乘法在其定製的 SRAM 內存單元中進行，結合了數字加法樹。</p>
</div><p>However, SRAM doesn’t scale as well as DRAM does, especially at advanced process nodes, Ganesan said.</p>
<div class="lb-trans"><p>然而，Ganesan 表示，SRAM 的擴展性不如 DRAM，尤其是在先進工藝節點上。</p>
</div><p>“We went from the 2D way of doing in-memory computing, where we saw the value in terms of getting hundreds of terabytes per second of bandwidth, and now we need to knock down the second barrier, which is memory capacity,” she said. “The way to do it is to go vertical.”</p>
<div class="lb-trans"><p>“我們從二維的內存計算方式轉變過來，在這種方式下，我們看到了每秒數百 TB 帶寬的價值，而現在我們需要打破第二個障礙，即內存容量，” 她説。“實現這一目標的方法是向垂直方向發展。”</p>
</div><p>D-Matrix has been working on a 3D stack of custom DRAM dies to augment its Corsair compute-in-memory chiplets. Future D-Matrix chips will still have both performance memory (the modified SRAM that does computation) and capacity memory (off-die DRAM that stores data), but the capacity memory will be expanded into three dimensions.</p>
<div class="lb-trans"><p>D-Matrix 一直在開發一款 3D 堆疊的定製 DRAM 芯片，以增強其 Corsair 內存計算芯片。未來的 D-Matrix 芯片將仍然具有性能內存（進行計算的修改 SRAM）和容量內存（存儲數據的離芯 DRAM），但容量內存將擴展到三個維度。</p>
</div><p>Stacking DRAM has meant having to develop a way for the dies to communicate vertically—the logic/SRAM die is above the stacked DRAM which sits directly on the interposer.</p>
<div class="lb-trans"><p>堆疊 DRAM 意味着必須開發一種方式，使芯片能夠垂直通信——邏輯/SRAM 芯片位於堆疊的 DRAM 之上，直接位於中介層上。</p>
</div><p>“What we ended up building is the ability to increase memory capacity significantly,” she said. “We don’t sacrifice any of the memory bandwidth because the entire surface area is available for communication; the same kind of advantage we have in memory bandwidth persists with the added advantage of increasing the capacity.”</p>
<div class="lb-trans"><p>“我們最終構建的能力是顯著增加內存容量，” 她説。“我們沒有犧牲任何內存帶寬，因為整個表面區域都可用於通信；我們在內存帶寬方面的優勢與增加容量的優勢相輔相成。”</p>
</div><p>3D stacking brings up complex yield and thermal stability issues, but the risks are reduced by using small dies—nowhere near reticle size—and by minimizing the picojoules per bit to keep thermal aspects constrained, Ganesan said.</p>
<div class="lb-trans"><p>3D 堆疊帶來了複雜的良率和熱穩定性問題，但通過使用小芯片（遠小於光刻尺寸）和最小化每比特的皮焦耳數來保持熱方面的約束，從而降低了風險，Ganesan 説。</p>
</div><p>D-Matrix’s 3D custom DRAM test chip, Pavehawk, is up and running in the company’s lab. The company’s next-generation product, Raptor, will incorporate this 3D stacked technology and will target 10× better memory bandwidth and 10× better energy efficiency compared with moving to expensive HBM4.</p>
<div class="lb-trans"><p>D-Matrix 的 3D 定製 DRAM 測試芯片 Pavehawk 已經在公司的實驗室中運行。該公司的下一代產品 Raptor 將結合這種 3D 堆疊技術，目標是實現 10 倍更好的內存帶寬和 10 倍更好的能效，相比於轉向昂貴的 HBM4。</p>
</div><p>“We have very high confidence taking this into our next generation,” Ganesan said. “The DNA of this company is building out technology that’s breaking barriers, but also validating them before we take it into a commercial product.”</p>
<div class="lb-trans"><p>“我們對將其應用於下一代產品非常有信心，” Ganesan 説。“這家公司的 DNA 是構建突破性技術，同時在將其應用於商業產品之前進行驗證。”</p>
</div><h3><strong>Fast NIC</strong></h3>
<div class="lb-trans"><h3><strong>快速 NIC</strong></h3>
</div><p>D-Matrix has also been working hard on scale-out.</p>
<div class="lb-trans"><p>D-Matrix 還在努力進行擴展。</p>
</div><p>“Whatever we do in terms of distributed inference has to enable Corsair to shine,” Ganesan said.</p>
<div class="lb-trans"><p>“我們在分佈式推理方面所做的任何事情都必須使 Corsair 能夠脱穎而出，” Ganesan 説。</p>
</div><p>Today, Corsair cards can be connected in a PCIe server with spare slots for NICs to allow scaling out. D-Matrix has developed a PCIe Gen5 NIC chip, now in production, which is designed to break another bottleneck: I/O. Called Jetstream, it can handle 400 Gbps (latency 2 µs) and it has a TDP of 150 W.</p>
<div class="lb-trans"><p>如今，Corsair 卡可以在具有備用 NIC 插槽的 PCIe 服務器中連接，以便進行擴展。D-Matrix 開發了一款 PCIe Gen5 NIC 芯片，目前已投入生產，旨在打破另一個瓶頸：I/O。該芯片名為 Jetstream，能夠處理 400 Gbps（延遲 2 微秒），其熱設計功耗為 150 W。</p>
</div><p>“What we’re finding is that customers want to use not only the capacity memory, they want to use the performance memory, which is the ultra-low latency batch inference capability,” Ganesan said.</p>
<div class="lb-trans"><p>“我們發現客户不僅想使用容量內存，他們還想使用性能內存，即超低延遲批量推理能力，” Ganesan 説。</p>
</div><p>The performance memory (alone) on an 8-card Corsair server node can hold an 8-10B (8-bit) parameter model, but a single rack could be configured to hold a 100B (8-bit) parameter model in performance memory for ultra-low latency, provided the chips could communicate fast enough. PCIe and Ethernet didn’t offer the required speed, Ganesan said.</p>
<div class="lb-trans"><p>在一個 8 卡 Corsair 服務器節點上，性能內存（單獨）可以容納一個 8-10B（8 位）參數模型，但如果芯片能夠快速通信，則單個機架可以配置為在性能內存中容納一個 100B（8 位）參數模型以實現超低延遲。Ganesan 表示，PCIe 和以太網無法提供所需的速度。</p>
</div><p>Jetstream enables device-initiated communications (communication via the host is not needed) so that communication can keep up with computing speed.</p>
<div class="lb-trans"><p>Jetstream 使設備發起的通信成為可能（不需要通過主機進行通信），以便通信能夠跟上計算速度。</p>
</div><p>“This is all asynchronous communication happening in the background,” Ganesan said. “That separates the data plane and the control plane which allows us to go really fast, keeps up with the compute and gets us the compatibility with industry standards.”</p>
<div class="lb-trans"><p>“這一切都是在後台進行的異步通信，” Ganesan 説。“這將數據平面和控制平面分開，使我們能夠快速運行，跟上計算，並與行業標準兼容。”</p>
</div><p>D-Matrix took parts of the PCIe stack, optimized them for Corsair’s communication semantics, and added parts of the Ethernet stack. Taking only parts of each stack helped minimize the software overhead. Jetstream cards plug in to a Corsair server where an industry PCIe NIC would have gone, and connect to top-of-rack switches to build a multi-rack cluster. A sweet spot might be a cluster somewhere in the region of 500-1,000 Corsair cards, Ganesan said, based on demand the company is anticipating in the market.</p>
<div class="lb-trans"><p>D-Matrix 對 PCIe 堆棧的部分進行了優化，以適應 Corsair 的通信語義，並添加了以太網堆棧的部分。僅取每個堆棧的部分有助於最小化軟件開銷。Jetstream 卡插入 Corsair 服務器中，原本應該放置行業 PCIe NIC 的地方，並連接到頂層交換機以構建多機架集羣。根據公司對市場需求的預期，Ganesan 表示，理想的集羣規模可能在 500-1000 個 Corsair 卡之間。</p>
</div><p>Accordingly, D-Matrix’s roadmap now has an I/O dimension. Jetstream builds out the current generation alongside Corsair. The company’s second-generation compute-in-memory platform, Raptor, will need a different approach.</p>
<div class="lb-trans"><p>因此，D-Matrix 的路線圖現在增加了 I/O 維度。Jetstream 與 Corsair 的當前一代產品一起構建。該公司的第二代內存計算平台 Raptor 將需要不同的方法。</p>
</div><p>“Jetstream is the starting point [for this roadmap] where we took the fast path to solve the problem for Corsair,” Ganesan said. “As we look ahead, we want to build an electrical I/O chiplet aligned with industry standards…there are opportunities to take those and put them into a chiplet and integrate them in the Raptor family.”</p>
<div class="lb-trans"><p>“Jetstream 是我們為 Corsair 解決問題的快速路徑的起點，” Ganesan 説。“展望未來，我們希望構建一個符合行業標準的電氣 I/O 芯片組……有機會將這些集成到 Raptor 系列中。”</p>
</div><p>The company’s third-generation compute-in-memory architecture, dubbed Lightning, will use some form of optical I/O.</p>
<div class="lb-trans"><p>該公司的第三代內存計算架構，稱為 Lightning，將使用某種形式的光學 I/O。</p>
</div><h3><strong>Hardware heterogeneity</strong></h3>
<div class="lb-trans"><h3><strong>硬件異構性</strong></h3>
</div><p>Current inference hardware trends include breaking LLM inference workloads into two stages—prefill and decode—with different compute and memory needs and running them on different hardware.</p>
<div class="lb-trans"><p>當前的推理硬件趨勢包括將 LLM 推理工作負載分為兩個階段——預填充和解碼——具有不同的計算和內存需求，並在不同的硬件上運行。</p>
</div><p>“Our core hypothesis that the world is going to get heterogeneous,” Ganesan said.</p>
<div class="lb-trans"><p>“我們的核心假設是，世界將變得異構，” Ganesan 説。</p>
</div><p>D-Matrix uses the same hardware for prefill and decode, but the same hardware can be configured differently for the two workloads.</p>
<div class="lb-trans"><p>D-Matrix 在預填充和解碼階段使用相同的硬件，但可以根據這兩個工作負載以不同方式配置相同的硬件。</p>
</div><p>“If you have a very highly compute-bound prefill phase, you can just use the DDR memory, which we have plenty of, and do your compute-bound prefill part with what we call the capacity memory piece, then transfer it over to use performance memory,” Ganesan said.</p>
<div class="lb-trans"><p>“如果你在預填充階段有非常高的計算需求，你可以使用我們有大量的 DDR 內存，並用我們稱之為容量內存的部分來完成計算密集型的預填充部分，然後轉移到性能內存上，” Ganesan 説。</p>
</div><p>Heterogeneity will expand beyond just prefill and decode stages, Ganesan said, noting that beyond those two stages, there are parts of the workload that are extremely latency-sensitive and demand small batch sizes. There is customer interest in Corsair for these parts of a workload, she added.</p>
<div class="lb-trans"><p>Ganesan 説，異構性將超越僅僅是預填充和解碼階段，指出在這兩個階段之外，還有一些工作負載部分對延遲非常敏感，並且需要小批量。她補充説，Corsair 對這些工作負載部分有客户興趣。</p>
</div><p>“Heterogeneity will start coming more and more, we’re already seeing that,” she said. “We’ve said that for a long—there’s plenty of places for inference to get more and more differentiated with heterogeneity.”</p>
<div class="lb-trans"><p>“異構性將會越來越多地出現，我們已經看到了這一點，” 她説。“我們已經説了很久——在推理中有很多地方可以通過異構性變得更加差異化。”</p>
</div><p>Heterogeneity could also mean installing D-Matrix Corsair cards alongside Nvidia GPUs so that latency-critical parts of the workload can be offloaded from GPUs, as needed.</p>
<div class="lb-trans"><p>異構性還可能意味着在需要時將 D-Matrix Corsair 卡與 Nvidia GPU 一起安裝，以便將工作負載中對延遲敏感的部分卸載出 GPU。</p>
</div><p>D-Matrix’s current customer interest is coming from hyperscalers and neoclouds, where there are a number of Corsair trials up and running, Ganesan said.</p>
<div class="lb-trans"><p>Ganesan 説，D-Matrix 當前的客户興趣來自超大規模雲服務商和新雲服務商，目前有多個 Corsair 試點正在運行。</p>
</div><p><em><strong>Editors note:</strong> To listen to our podcast on test time scaling with D-Matrix CEO Sid Sheth, click here.</em></p>
<div class="lb-trans"><p><em><strong>編輯注：</strong> 要收聽我們與 D-Matrix CEO Sid Sheth 關於測試時間擴展的播客，請點擊這裏。</em></p>
</div>

隨着對快速 AI 代幣的需求不斷增長，D-Matrix 正在開發快速網絡接口卡（NIC）