新消息：英偉達發佈推理傳輸庫（NIXL），以加速 AI 推理中的數據傳輸，目前已在主要雲平台上提供

英偉達推出了推理傳輸庫（NIXL），這是一款旨在增強分佈式人工智能推理在各種雲平台上進行 KV 緩存傳輸的新開源工具。該工具旨在加速處理人工智能任務的過程，提高效率。NIXL 有望顯著提升主要雲平台上人工智能推理的速度和性能。英偉達的這一發布是優化分佈式人工智能操作的重要一步。