<p>//php echo do_shortcode('[responsivevoice_button voice=&#34;US English Male&#34; buttontext=&#34;收听帖子&#34;]') ?&gt;</p>
<p>Credo Technology Group 的 OmniConnect 系列的首个成员旨在提升内存带宽和内存密度，以优化加速器和 XPU 在 AI 推理工作负载中的计算效率。</p>
<p>Credo 的 Weaver 是一种内存分配变速箱，克服了 AI 推理工作负载中的内存瓶颈，因为数据中心对可扩展性、带宽和效率的需求持续上升，Credo 的高级产品副总裁 Don Barnetson 在一次简报中告诉 EE Times。</p>
<p>“AI 推理为行业带来了新的挑战。”</p>
<p>他说，内存的数量和吞吐量越来越成为 AI 推理工作负载的限制因素，而不是计算能力。</p>
<p>“推理工作负载面临的挑战在于，它们与训练工作负载不同，因为它们非常依赖内存。理想情况下，你希望将整个模型，无论多大，围绕一个计算引擎。”</p>
<p>Barnetson 表示，LPDRR5 和 GDDR 内存受到带宽、密度和功耗的限制，而高带宽内存（HBM）对于许多应用来说往往过于昂贵且不易获得，这推动了 Weaver 的开发。</p>
<p>内存分配变速箱结合了先进的 112G 超短距离（VSR）SerDes 与 Credo 的专有设计，将 I/O 密度提升至 10 倍。Barnetson 表示，该公司的非常规架构使得使用 LPDDR5X 可实现高达 6.4TB 的内存和 16TB/s 的带宽。</p>
<p>Barnetson 表示，Weaver 解决了推理工作负载对内存施加的压力，因为整个代码库都被上传到一个引擎，他以 Sora 2 作为当前限制的例子。“Sora 2 只能处理 15 或 20 秒的视频片段，因为之后就会耗尽内存。”</p>
<p>他说，过去解决这个问题的方法是将 LPDDR 放置在一个巨大的基板上，围绕一个推理 IC。“你受到可以放置在这个基板上的内存量的限制。”</p>
<p>在最多 16 个内存堆栈的情况下，容量最高可达 256GB 内存和 1.3TB 带宽。“你最终会将整个芯片的边缘都围绕着内存接口，” Barnetson 说。</p>
<p>Weaver 是 Credo 的低成本解决方案，通过使用 SerDes 而不是典型的宽并行接口来移动数据，从而将内存移出基板，他补充道。</p>
<p>Barnetson 表示，Credo 开发了一种具有 250mm 传输距离的 SerDes，具有约 2 terabits/mm 的高边缘密度。它的功耗也非常低，约为每比特 1 皮焦耳。</p>
<p>下一步是添加数据链路层，利用 CXL 协议，他说。“我们对 CXL 进行了简化，并将其放在一个功耗更低的 SerDes 上。我们将 CXL 简化到了最基本的部分。”</p>
<p>Weaver 保留了 CXL FLIT 结构，具有低开销，但去掉了速度跳跃等其他功能。Barnetson 表示，Credo 希望创建一个高效的 AXI over SerDes 映射，同时保持灵活性，任何事情都可以在 OmniConnect 上本地完成。</p>
<p>“我们设计这个是为了实现非常短的延迟，大约 40 纳秒的往返时间。”</p>
<p>他说，任何可以通过 DDR 控制器和 ASIC 完成的事情都可以通过 Weaver 芯片完成，而分配变速箱允许将 SerDes 通道连接到具有内存接口的芯片上。</p>
<p>“它为你提供了物理分配，因此你可以在服务器规模上安装内存，而不仅仅是在一个封装内部。”</p>
<p>Barnetson 表示，这种方法允许内存放置距离芯片远达 10 英寸。“你可以将内存密度提高约 30 倍。”</p>
<p>他补充说，Weaver 和 OmniConnect 系列的总体目标之一是使其具备未来适应性，因为很难预测未来几年 AI 的需求。“你只需在外部放置一大堆 OmniConnect 接口，然后在三年后构建电路板时，可以决定放置多少内存和网络。”</p>
<p>Credo 最近收购了 Hyperlume，这是一家开发基于微 LED 的光互连技术以实现芯片间通信的公司。该公司的技术利用超快速微 LED 和超低功耗电路克服传统电子互连固有的能量和带宽瓶颈。</p>
<p>Barnetson 表示，Credo 将把 Hyperlume 的微 LED 技术整合到其产品组合中，以进一步扩展 AI 网络的扩展选项。“我们将支持微 LED 近端光学芯片，因此你可以选择一些通道用于微 LED 通信或标准的扩展或扩展通信。”</p>

CRDO

<p>Credo Technology Group 的 Weaver，作为 OmniConnect 家族的一部分，通过提升内存带宽和密度来解决 AI 推理工作负载中的内存瓶颈。它采用先进的 SerDes 技术来增强 I/O 密度和效率，允许内存距离芯片最多达到 10 英寸。Credo 旨在通过灵活的 OmniConnect 接口来为 AI 基础设施做好未来准备，并计划整合 Hyperlume 的微型 LED 技术以改善芯片间通信</p>

<p>//php echo do_shortcode('[responsivevoice_button voice=&#34;US English Male&#34; buttontext=&#34;Listen to Post&#34;]') ?&gt;</p>
<div class="lb-trans"><p>//php echo do_shortcode('[responsivevoice_button voice=&#34;US English Male&#34; buttontext=&#34;收听帖子&#34;]') ?&gt;</p>
</div><p>The first member of Credo Technology Group’s OmniConnect family aims to boost memory bandwidth and memory density to optimize computing efficiency of accelerators and XPUs for AI inference workloads.</p>
<div class="lb-trans"><p>Credo Technology Group 的 OmniConnect 系列的首个成员旨在提升内存带宽和内存密度，以优化加速器和 XPU 在 AI 推理工作负载中的计算效率。</p>
</div><p>Credo’s Weaver is a memory fanout gearbox that overcomes the memory bottlenecks in AI inference workloads as scalability, bandwidth and efficiency demands in data centers continue to rise, Don Barnetson, senior product VP at Credo, told EE Times in a briefing.</p>
<div class="lb-trans"><p>Credo 的 Weaver 是一种内存分配变速箱，克服了 AI 推理工作负载中的内存瓶颈，因为数据中心对可扩展性、带宽和效率的需求持续上升，Credo 的高级产品副总裁 Don Barnetson 在一次简报中告诉 EE Times。</p>
</div><p>“AI inference is a new set of challenges for the industry.”</p>
<div class="lb-trans"><p>“AI 推理为行业带来了新的挑战。”</p>
</div><p>He said memory quantity and throughput has increasingly become the limiting factor for AI inference workloads—not compute power.</p>
<div class="lb-trans"><p>他说，内存的数量和吞吐量越来越成为 AI 推理工作负载的限制因素，而不是计算能力。</p>
</div><p>“The challenge that inference workloads have is that they’re different from training workloads in that they are very memory intensive. You would ideally like to have the entirety of your model, however big it is, surrounding one compute engine.”</p>
<div class="lb-trans"><p>“推理工作负载面临的挑战在于，它们与训练工作负载不同，因为它们非常依赖内存。理想情况下，你希望将整个模型，无论多大，围绕一个计算引擎。”</p>
</div><p>LPDRR5 and GDDR memories are constrained by their bandwidth, density and power consumption, Barnetson said, and high-bandwidth memory (HBM) is often too pricey for many applications and not readily available, which was what drove the development of Weaver.</p>
<div class="lb-trans"><p>Barnetson 表示，LPDRR5 和 GDDR 内存受到带宽、密度和功耗的限制，而高带宽内存（HBM）对于许多应用来说往往过于昂贵且不易获得，这推动了 Weaver 的开发。</p>
</div><p>The memory fanout gearbox combines advanced 112G very short reach (VSR) SerDes with Credo’s proprietary design to boost I/O density by up to 10×. Barnetson said the company’s unconventional architecture enables up to 6.4TB of memory and 16TB/s bandwidth using LPDDR5X.</p>
<div class="lb-trans"><p>内存分配变速箱结合了先进的 112G 超短距离（VSR）SerDes 与 Credo 的专有设计，将 I/O 密度提升至 10 倍。Barnetson 表示，该公司的非常规架构使得使用 LPDDR5X 可实现高达 6.4TB 的内存和 16TB/s 的带宽。</p>
</div><p>Barnetson said Weaver address the pressure placed on memory by inference as entire codebases are uploaded to an engine, citing Sora 2 as an example of the current limitations. “Sora 2 can only do 15- or 20-second video clips because it runs out of memory after that.”</p>
<div class="lb-trans"><p>Barnetson 表示，Weaver 解决了推理工作负载对内存施加的压力，因为整个代码库都被上传到一个引擎，他以 Sora 2 作为当前限制的例子。“Sora 2 只能处理 15 或 20 秒的视频片段，因为之后就会耗尽内存。”</p>
</div><p>He says the way this problem has been solved in the past is by placing LPDDR on a giant substrate surrounding an inference IC. “You’re limited by how much memory you can fit on this substrate.”</p>
<div class="lb-trans"><p>他说，过去解决这个问题的方法是将 LPDDR 放置在一个巨大的基板上，围绕一个推理 IC。“你受到可以放置在这个基板上的内存量的限制。”</p>
</div><p>With a maximum of 16 memory stacks, capacity tops out at 256GB of memory and 1.3 terabytes of bandwidth. “You end up surrounding the entire beachfront of your chip with memory interfaces,” Barnetson said.</p>
<div class="lb-trans"><p>在最多 16 个内存堆栈的情况下，容量最高可达 256GB 内存和 1.3TB 带宽。“你最终会将整个芯片的边缘都围绕着内存接口，” Barnetson 说。</p>
</div><p>Weaver is Credo’s lower cost solution that moves memory off the substrate by using a SerDes rather than a typical wide parallel interface to move data, he added.</p>
<div class="lb-trans"><p>Weaver 是 Credo 的低成本解决方案，通过使用 SerDes 而不是典型的宽并行接口来移动数据，从而将内存移出基板，他补充道。</p>
</div><p>Credo has developed a SerDes with a reach of 250 mm with a high beachfront density of about 2 terabits per millimeter, Barnetson said. It is also very low power at about 1 picojoule per bit.</p>
<div class="lb-trans"><p>Barnetson 表示，Credo 开发了一种具有 250mm 传输距离的 SerDes，具有约 2 terabits/mm 的高边缘密度。它的功耗也非常低，约为每比特 1 皮焦耳。</p>
</div><p>The next step was to add a data link layer, which leverages the CXL protocol, he said. “We’ve gutted CXL, and we’ve put it on a much lower power SerDes. We’ve taken CXL to its bare bones.”</p>
<div class="lb-trans"><p>下一步是添加数据链路层，利用 CXL 协议，他说。“我们对 CXL 进行了简化，并将其放在一个功耗更低的 SerDes 上。我们将 CXL 简化到了最基本的部分。”</p>
</div><p>Weaver keeps the CXL FLIT structure, which has a low overhead, but drops others like speed hopping. Barnetson said Credo wanted to create a highly efficient AXI over SerDes mapping while preserving flexibility, anything can be done locally over OmniConnect.</p>
<div class="lb-trans"><p>Weaver 保留了 CXL FLIT 结构，具有低开销，但去掉了速度跳跃等其他功能。Barnetson 表示，Credo 希望创建一个高效的 AXI over SerDes 映射，同时保持灵活性，任何事情都可以在 OmniConnect 上本地完成。</p>
</div><p>“We designed this so it would be a really short latency, about 40 nanoseconds round trip.”</p>
<div class="lb-trans"><p>“我们设计这个是为了实现非常短的延迟，大约 40 纳秒的往返时间。”</p>
</div><p>He said anything that can be done with a DDR controller and ASIC can be done through the Weaver chip, and the fan-out gearbox allows for attachment of the SerDes lanes to the chip, which has the memory interfaces.</p>
<div class="lb-trans"><p>他说，任何可以通过 DDR 控制器和 ASIC 完成的事情都可以通过 Weaver 芯片完成，而分配变速箱允许将 SerDes 通道连接到具有内存接口的芯片上。</p>
</div><p>“It gets you physical fan out, so that you can mount memory at server scale not just inside of a package.”</p>
<div class="lb-trans"><p>“它为你提供了物理分配，因此你可以在服务器规模上安装内存，而不仅仅是在一个封装内部。”</p>
</div><p>Barnetson said this approach allows memory placement as far away as 10 inches from the chip. “You can increase the memory density by a factor of about 30.”</p>
<div class="lb-trans"><p>Barnetson 表示，这种方法允许内存放置距离芯片远达 10 英寸。“你可以将内存密度提高约 30 倍。”</p>
</div><p>He added that one of the goals of Weaver and the OmniConnect family overall was to make it future proof since it is difficult to predict the requirements from AI several years out. “You just put a whole bunch of OmniConnect interface on the outside, and then you can decide how much memory and how much network you want to put down in three years when you’re building your boards.”</p>
<div class="lb-trans"><p>他补充说，Weaver 和 OmniConnect 系列的总体目标之一是使其具备未来适应性，因为很难预测未来几年 AI 的需求。“你只需在外部放置一大堆 OmniConnect 接口，然后在三年后构建电路板时，可以决定放置多少内存和网络。”</p>
</div><p>Credo recently acquired Hyperlume, a developer of microLED-based optical interconnect technology for chip-to-chip communication. The company’s technology uses ultra-fast microLEDs and ultra-low power circuitry to overcome the energy and bandwidth bottlenecks inherent in traditional electronic interconnects.</p>
<div class="lb-trans"><p>Credo 最近收购了 Hyperlume，这是一家开发基于微 LED 的光互连技术以实现芯片间通信的公司。该公司的技术利用超快速微 LED 和超低功耗电路克服传统电子互连固有的能量和带宽瓶颈。</p>
</div><p>Barnetson said Credo will be integrating Hyperlume’s microLED technology into its portfolio to further expand options for scaling up AI networks. “We’ll be supporting a micro-LED near-port optic chip, so you could choose some of those lanes for micro-LED communication or standard scale-up or scale-out communication as well.”</p>
<div class="lb-trans"><p>Barnetson 表示，Credo 将把 Hyperlume 的微 LED 技术整合到其产品组合中，以进一步扩展 AI 网络的扩展选项。“我们将支持微 LED 近端光学芯片，因此你可以选择一些通道用于微 LED 通信或标准的扩展或扩展通信。”</p>
</div>

精简版 CXL 突破内存墙