新消息：英伟达发布推理传输库（NIXL），以加速 AI 推理中的数据传输，目前已在主要云平台上提供

英伟达推出了推理传输库（NIXL），这是一款旨在增强分布式人工智能推理在各种云平台上进行 KV 缓存传输的新开源工具。该工具旨在加速处理人工智能任务的过程，提高效率。NIXL 有望显著提升主要云平台上人工智能推理的速度和性能。英伟达的这一发布是优化分布式人工智能操作的重要一步。