<div id="readability-page-1">DeepSeek 為了能高效利用 GPU 進行了諸多創新，DeepSeek 在 25 日也就是「開源周」的第二天開源了 DeepEP 通信庫。DeepSeek 表示，這是第一個用於 MoE（專家）模型訓練和推理的開源 EP 通信庫，有望再度降低計算消耗。。一財網報導，DeepSeek 表示，DeepEP 的特點是高效、優化的全員溝通；節點內和節點間均支援 NVLink 和 RDMA（遠端直接記憶體存取，一種通信技術）；用於訓練和推理預填充的高輸送量內核；用於推理解碼的低延遲內核；原生 FP8 調度支持；靈活的 GPU（圖形處理器）資源控制，實現計算與通信重疊。EP 即 expert parallelism（專家並行），是一種在大規模分散式 AI 模型訓練中使用的技術，能用於提升模型並行處理能力和訓練效率。DeepSeek 在代碼託管網站 GitHub 上解釋，對於延遲敏感的推理解碼任務，DeepEP 包含有一組使用純 RDMA 的低延遲內核，可以用於將延遲最小化，DeepEP 還引入一種通信與計算重疊的方法，這種方法可以不佔用 SM（流處理器）資源。簡而言之，DeepEP 也是用於提升 GPU 利用效率的關鍵技術之一。性能可比肩 OpenAI o1 的 DeepSeek-R1 是基於 DeepSeek-V3 訓練出來的模型，DeepSeek-V3 此前就以不大規模使用最先進的英偉達 GPU、低訓練預算著稱。為了在已有的 GPU 上訓練大模型，DeepSeek 進行了諸多創新，以高效利用 GPU 算力。線上詢問開源 DeepEP 通信庫的影響詢問 DeepSeek，它的回答是，DeepEP 能顯著提升 MoE 模型的訓練和推理效率，顯著降低計算資源消耗，開源 DeepEP 有助於降低 AI 技術的開發成本，且有助於減少重發開發。DeepSeek 此前宣佈，本周會陸續開源 5 個代碼庫。加上 2 月 24 日開源的代碼庫 FlashMLA，DeepSeek 已開源了 2 個代碼庫，接下來還有 3 個代碼庫待開源。DeepSeek 此前在公告中表示，DeepSeek 是探索 AGI（通用人工智慧）的小公司，作為開源社區的一部分，每分享一行代碼，都會成為加速 AI 行業發展的集體動力。<figure><img src="https://imageproxy.pbkrs.com/https://pgw.udn.com.tw/gw/photo.php/query-ZXhwPTM2MDAmZXhwPTM2MDAmZnc9MTA1MCZzaD0wJnNsPVcmc3c9MCZ1PWh0dHBzOi8vdWMudWRuLmNvbS50dy9waG90by8yMDI1LzAyLzI1L3JlYWx0aW1lLzMxNTU3OTU3LmpwZyZ4PTAmeT0w?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1048" height="647" original-src="https://imageproxy.pbkrs.com/https://pgw.udn.com.tw/gw/photo.php/query-ZXhwPTM2MDAmZXhwPTM2MDAmZnc9MTA1MCZzaD0wJnNsPVcmc3c9MCZ1PWh0dHBzOi8vdWMudWRuLmNvbS50dy9waG90by8yMDI1LzAyLzI1L3JlYWx0aW1lLzMxNTU3OTU3LmpwZyZ4PTAmeT0w"/><figcaption>DeepSeek 陸續開源 5 個代碼庫。路透</figcaption></figure></div>

深度求索

DeepSeek 於 25 日開源了 DeepEP 通信庫，這是首個用於 MoE 模型訓練和推理的開源庫，旨在降低計算消耗。DeepEP 支持 NVLink 和 RDMA，具備高效的全員溝通和低延遲內核，能夠提升 GPU 利用效率。該庫的推出預計將顯著提高 MoE 模型的訓練和推理效率，降低 AI 技術開發成本。

DeepSeek 開源第二彈：EP 通信庫來了，有望再次降低計算消耗