<p>//php echo do_shortcode('[responsivevoice_button voice=&#34;US English Male&#34; buttontext=&#34;收聽帖子&#34;]') ?&gt;</p>
<p>Credo Technology Group 的 OmniConnect 系列的首個成員旨在提升內存帶寬和內存密度，以優化加速器和 XPU 在 AI 推理工作負載中的計算效率。</p>
<p>Credo 的 Weaver 是一種內存分配變速箱，克服了 AI 推理工作負載中的內存瓶頸，因為數據中心對可擴展性、帶寬和效率的需求持續上升，Credo 的高級產品副總裁 Don Barnetson 在一次簡報中告訴 EE Times。</p>
<p>“AI 推理為行業帶來了新的挑戰。”</p>
<p>他説，內存的數量和吞吐量越來越成為 AI 推理工作負載的限制因素，而不是計算能力。</p>
<p>“推理工作負載面臨的挑戰在於，它們與訓練工作負載不同，因為它們非常依賴內存。理想情況下，你希望將整個模型，無論多大，圍繞一個計算引擎。”</p>
<p>Barnetson 表示，LPDRR5 和 GDDR 內存受到帶寬、密度和功耗的限制，而高帶寬內存（HBM）對於許多應用來説往往過於昂貴且不易獲得，這推動了 Weaver 的開發。</p>
<p>內存分配變速箱結合了先進的 112G 超短距離（VSR）SerDes 與 Credo 的專有設計，將 I/O 密度提升至 10 倍。Barnetson 表示，該公司的非常規架構使得使用 LPDDR5X 可實現高達 6.4TB 的內存和 16TB/s 的帶寬。</p>
<p>Barnetson 表示，Weaver 解決了推理工作負載對內存施加的壓力，因為整個代碼庫都被上傳到一個引擎，他以 Sora 2 作為當前限制的例子。“Sora 2 只能處理 15 或 20 秒的視頻片段，因為之後就會耗盡內存。”</p>
<p>他説，過去解決這個問題的方法是將 LPDDR 放置在一個巨大的基板上，圍繞一個推理 IC。“你受到可以放置在這個基板上的內存量的限制。”</p>
<p>在最多 16 個內存堆棧的情況下，容量最高可達 256GB 內存和 1.3TB 帶寬。“你最終會將整個芯片的邊緣都圍繞着內存接口，” Barnetson 説。</p>
<p>Weaver 是 Credo 的低成本解決方案，通過使用 SerDes 而不是典型的寬並行接口來移動數據，從而將內存移出基板，他補充道。</p>
<p>Barnetson 表示，Credo 開發了一種具有 250mm 傳輸距離的 SerDes，具有約 2 terabits/mm 的高邊緣密度。它的功耗也非常低，約為每比特 1 皮焦耳。</p>
<p>下一步是添加數據鏈路層，利用 CXL 協議，他説。“我們對 CXL 進行了簡化，並將其放在一個功耗更低的 SerDes 上。我們將 CXL 簡化到了最基本的部分。”</p>
<p>Weaver 保留了 CXL FLIT 結構，具有低開銷，但去掉了速度跳躍等其他功能。Barnetson 表示，Credo 希望創建一個高效的 AXI over SerDes 映射，同時保持靈活性，任何事情都可以在 OmniConnect 上本地完成。</p>
<p>“我們設計這個是為了實現非常短的延遲，大約 40 納秒的往返時間。”</p>
<p>他説，任何可以通過 DDR 控制器和 ASIC 完成的事情都可以通過 Weaver 芯片完成，而分配變速箱允許將 SerDes 通道連接到具有內存接口的芯片上。</p>
<p>“它為你提供了物理分配，因此你可以在服務器規模上安裝內存，而不僅僅是在一個封裝內部。”</p>
<p>Barnetson 表示，這種方法允許內存放置距離芯片遠達 10 英寸。“你可以將內存密度提高約 30 倍。”</p>
<p>他補充説，Weaver 和 OmniConnect 系列的總體目標之一是使其具備未來適應性，因為很難預測未來幾年 AI 的需求。“你只需在外部放置一大堆 OmniConnect 接口，然後在三年後構建電路板時，可以決定放置多少內存和網絡。”</p>
<p>Credo 最近收購了 Hyperlume，這是一家開發基於微 LED 的光互連技術以實現芯片間通信的公司。該公司的技術利用超快速微 LED 和超低功耗電路克服傳統電子互連固有的能量和帶寬瓶頸。</p>
<p>Barnetson 表示，Credo 將把 Hyperlume 的微 LED 技術整合到其產品組合中，以進一步擴展 AI 網絡的擴展選項。“我們將支持微 LED 近端光學芯片，因此你可以選擇一些通道用於微 LED 通信或標準的擴展或擴展通信。”</p>

CRDO

<p>Credo Technology Group 的 Weaver，作為 OmniConnect 家族的一部分，通過提升內存帶寬和密度來解決 AI 推理工作負載中的內存瓶頸。它採用先進的 SerDes 技術來增強 I/O 密度和效率，允許內存距離芯片最多達到 10 英寸。Credo 旨在通過靈活的 OmniConnect 接口來為 AI 基礎設施做好未來準備，並計劃整合 Hyperlume 的微型 LED 技術以改善芯片間通信</p>

<p>//php echo do_shortcode('[responsivevoice_button voice=&#34;US English Male&#34; buttontext=&#34;Listen to Post&#34;]') ?&gt;</p>
<div class="lb-trans"><p>//php echo do_shortcode('[responsivevoice_button voice=&#34;US English Male&#34; buttontext=&#34;收聽帖子&#34;]') ?&gt;</p>
</div><p>The first member of Credo Technology Group’s OmniConnect family aims to boost memory bandwidth and memory density to optimize computing efficiency of accelerators and XPUs for AI inference workloads.</p>
<div class="lb-trans"><p>Credo Technology Group 的 OmniConnect 系列的首個成員旨在提升內存帶寬和內存密度，以優化加速器和 XPU 在 AI 推理工作負載中的計算效率。</p>
</div><p>Credo’s Weaver is a memory fanout gearbox that overcomes the memory bottlenecks in AI inference workloads as scalability, bandwidth and efficiency demands in data centers continue to rise, Don Barnetson, senior product VP at Credo, told EE Times in a briefing.</p>
<div class="lb-trans"><p>Credo 的 Weaver 是一種內存分配變速箱，克服了 AI 推理工作負載中的內存瓶頸，因為數據中心對可擴展性、帶寬和效率的需求持續上升，Credo 的高級產品副總裁 Don Barnetson 在一次簡報中告訴 EE Times。</p>
</div><p>“AI inference is a new set of challenges for the industry.”</p>
<div class="lb-trans"><p>“AI 推理為行業帶來了新的挑戰。”</p>
</div><p>He said memory quantity and throughput has increasingly become the limiting factor for AI inference workloads—not compute power.</p>
<div class="lb-trans"><p>他説，內存的數量和吞吐量越來越成為 AI 推理工作負載的限制因素，而不是計算能力。</p>
</div><p>“The challenge that inference workloads have is that they’re different from training workloads in that they are very memory intensive. You would ideally like to have the entirety of your model, however big it is, surrounding one compute engine.”</p>
<div class="lb-trans"><p>“推理工作負載面臨的挑戰在於，它們與訓練工作負載不同，因為它們非常依賴內存。理想情況下，你希望將整個模型，無論多大，圍繞一個計算引擎。”</p>
</div><p>LPDRR5 and GDDR memories are constrained by their bandwidth, density and power consumption, Barnetson said, and high-bandwidth memory (HBM) is often too pricey for many applications and not readily available, which was what drove the development of Weaver.</p>
<div class="lb-trans"><p>Barnetson 表示，LPDRR5 和 GDDR 內存受到帶寬、密度和功耗的限制，而高帶寬內存（HBM）對於許多應用來説往往過於昂貴且不易獲得，這推動了 Weaver 的開發。</p>
</div><p>The memory fanout gearbox combines advanced 112G very short reach (VSR) SerDes with Credo’s proprietary design to boost I/O density by up to 10×. Barnetson said the company’s unconventional architecture enables up to 6.4TB of memory and 16TB/s bandwidth using LPDDR5X.</p>
<div class="lb-trans"><p>內存分配變速箱結合了先進的 112G 超短距離（VSR）SerDes 與 Credo 的專有設計，將 I/O 密度提升至 10 倍。Barnetson 表示，該公司的非常規架構使得使用 LPDDR5X 可實現高達 6.4TB 的內存和 16TB/s 的帶寬。</p>
</div><p>Barnetson said Weaver address the pressure placed on memory by inference as entire codebases are uploaded to an engine, citing Sora 2 as an example of the current limitations. “Sora 2 can only do 15- or 20-second video clips because it runs out of memory after that.”</p>
<div class="lb-trans"><p>Barnetson 表示，Weaver 解決了推理工作負載對內存施加的壓力，因為整個代碼庫都被上傳到一個引擎，他以 Sora 2 作為當前限制的例子。“Sora 2 只能處理 15 或 20 秒的視頻片段，因為之後就會耗盡內存。”</p>
</div><p>He says the way this problem has been solved in the past is by placing LPDDR on a giant substrate surrounding an inference IC. “You’re limited by how much memory you can fit on this substrate.”</p>
<div class="lb-trans"><p>他説，過去解決這個問題的方法是將 LPDDR 放置在一個巨大的基板上，圍繞一個推理 IC。“你受到可以放置在這個基板上的內存量的限制。”</p>
</div><p>With a maximum of 16 memory stacks, capacity tops out at 256GB of memory and 1.3 terabytes of bandwidth. “You end up surrounding the entire beachfront of your chip with memory interfaces,” Barnetson said.</p>
<div class="lb-trans"><p>在最多 16 個內存堆棧的情況下，容量最高可達 256GB 內存和 1.3TB 帶寬。“你最終會將整個芯片的邊緣都圍繞着內存接口，” Barnetson 説。</p>
</div><p>Weaver is Credo’s lower cost solution that moves memory off the substrate by using a SerDes rather than a typical wide parallel interface to move data, he added.</p>
<div class="lb-trans"><p>Weaver 是 Credo 的低成本解決方案，通過使用 SerDes 而不是典型的寬並行接口來移動數據，從而將內存移出基板，他補充道。</p>
</div><p>Credo has developed a SerDes with a reach of 250 mm with a high beachfront density of about 2 terabits per millimeter, Barnetson said. It is also very low power at about 1 picojoule per bit.</p>
<div class="lb-trans"><p>Barnetson 表示，Credo 開發了一種具有 250mm 傳輸距離的 SerDes，具有約 2 terabits/mm 的高邊緣密度。它的功耗也非常低，約為每比特 1 皮焦耳。</p>
</div><p>The next step was to add a data link layer, which leverages the CXL protocol, he said. “We’ve gutted CXL, and we’ve put it on a much lower power SerDes. We’ve taken CXL to its bare bones.”</p>
<div class="lb-trans"><p>下一步是添加數據鏈路層，利用 CXL 協議，他説。“我們對 CXL 進行了簡化，並將其放在一個功耗更低的 SerDes 上。我們將 CXL 簡化到了最基本的部分。”</p>
</div><p>Weaver keeps the CXL FLIT structure, which has a low overhead, but drops others like speed hopping. Barnetson said Credo wanted to create a highly efficient AXI over SerDes mapping while preserving flexibility, anything can be done locally over OmniConnect.</p>
<div class="lb-trans"><p>Weaver 保留了 CXL FLIT 結構，具有低開銷，但去掉了速度跳躍等其他功能。Barnetson 表示，Credo 希望創建一個高效的 AXI over SerDes 映射，同時保持靈活性，任何事情都可以在 OmniConnect 上本地完成。</p>
</div><p>“We designed this so it would be a really short latency, about 40 nanoseconds round trip.”</p>
<div class="lb-trans"><p>“我們設計這個是為了實現非常短的延遲，大約 40 納秒的往返時間。”</p>
</div><p>He said anything that can be done with a DDR controller and ASIC can be done through the Weaver chip, and the fan-out gearbox allows for attachment of the SerDes lanes to the chip, which has the memory interfaces.</p>
<div class="lb-trans"><p>他説，任何可以通過 DDR 控制器和 ASIC 完成的事情都可以通過 Weaver 芯片完成，而分配變速箱允許將 SerDes 通道連接到具有內存接口的芯片上。</p>
</div><p>“It gets you physical fan out, so that you can mount memory at server scale not just inside of a package.”</p>
<div class="lb-trans"><p>“它為你提供了物理分配，因此你可以在服務器規模上安裝內存，而不僅僅是在一個封裝內部。”</p>
</div><p>Barnetson said this approach allows memory placement as far away as 10 inches from the chip. “You can increase the memory density by a factor of about 30.”</p>
<div class="lb-trans"><p>Barnetson 表示，這種方法允許內存放置距離芯片遠達 10 英寸。“你可以將內存密度提高約 30 倍。”</p>
</div><p>He added that one of the goals of Weaver and the OmniConnect family overall was to make it future proof since it is difficult to predict the requirements from AI several years out. “You just put a whole bunch of OmniConnect interface on the outside, and then you can decide how much memory and how much network you want to put down in three years when you’re building your boards.”</p>
<div class="lb-trans"><p>他補充説，Weaver 和 OmniConnect 系列的總體目標之一是使其具備未來適應性，因為很難預測未來幾年 AI 的需求。“你只需在外部放置一大堆 OmniConnect 接口，然後在三年後構建電路板時，可以決定放置多少內存和網絡。”</p>
</div><p>Credo recently acquired Hyperlume, a developer of microLED-based optical interconnect technology for chip-to-chip communication. The company’s technology uses ultra-fast microLEDs and ultra-low power circuitry to overcome the energy and bandwidth bottlenecks inherent in traditional electronic interconnects.</p>
<div class="lb-trans"><p>Credo 最近收購了 Hyperlume，這是一家開發基於微 LED 的光互連技術以實現芯片間通信的公司。該公司的技術利用超快速微 LED 和超低功耗電路克服傳統電子互連固有的能量和帶寬瓶頸。</p>
</div><p>Barnetson said Credo will be integrating Hyperlume’s microLED technology into its portfolio to further expand options for scaling up AI networks. “We’ll be supporting a micro-LED near-port optic chip, so you could choose some of those lanes for micro-LED communication or standard scale-up or scale-out communication as well.”</p>
<div class="lb-trans"><p>Barnetson 表示，Credo 將把 Hyperlume 的微 LED 技術整合到其產品組合中，以進一步擴展 AI 網絡的擴展選項。“我們將支持微 LED 近端光學芯片，因此你可以選擇一些通道用於微 LED 通信或標準的擴展或擴展通信。”</p>
</div>

精簡版 CXL 突破內存牆