<p><strong>阿里巴巴集團</strong>（NYSE:BABA）推出了一種新的計算池系統，名為 Aegaeon，該系統顯著減少了對 <strong>英偉達</strong>（NASDAQ:NVDA）GPU 的依賴，降低幅度達到 82%。</p>
<h2><strong>三個月的測試</strong></h2>
<p>根據本週在韓國首爾舉行的第 31 屆操作系統原理研討會（SOSP）上發佈的一篇研究論文，這項創新在阿里巴巴雲的模型市場上進行了超過三個月的測試。</p>
<p>Aegaeon 系統成功地將所需的英偉達 H20 GPU 數量從 1,192 減少到僅 213 個，以支持高達 720 億參數的模型。</p>
<p>研究人員在論文中表示：&#34;Aegaeon 是首個揭示市場上併發 LLM 工作負載所帶來的過高成本的研究。&#34;</p>
<p>來自 <strong>北京大學</strong> 和阿里巴巴雲的研究人員強調了併發大型語言模型工作負載所帶來的高成本。</p>
<h2><strong>一個 GPU 支持多個模型</strong></h2>
<p>阿里巴巴雲，作為總部位於杭州的阿里巴巴的人工智能和雲服務部門，旨在通過整合 GPU 資源來提高效率，使單個 GPU 能夠支持多個模型。</p>
<p>該系統解決了資源低效的問題，因為之前在阿里巴巴雲的市場中，17.7% 的 GPU 僅用於處理 1.35% 的請求。</p>
<p>像阿里巴巴雲和 <strong>字節跳動</strong> 的火山引擎這樣的雲服務提供商同時管理數千個 AI 模型，這往往導致效率低下。Aegaeon 系統旨在通過減少所需的 GPU 數量來優化這一過程。</p>
<h2><strong>對英偉達在中國存在的擔憂加劇</strong></h2>
<p>這一發展是在對英偉達在中國存在的擔憂加劇的背景下發生的。最近，中國對英偉達的 H20 芯片提出了安全擔憂，特別是關於潛在的後門風險。作為與英偉達達成協議的一部分，特朗普政府與該公司達成了一項 15% 的收入分成協議，涉及其對中國的芯片銷售。</p>
<p>英偉達首席執行官 <strong>黃仁勳</strong> 表示，英偉達在中國的市場份額已從 95% 驟降至零。他對美國政策對英偉達在中國市場存在的影響表示擔憂。</p>
<p>儘管面臨這些挑戰，英偉達已在財務上為潛在的升級做好了防護，因為其指導假設來自中國的收入為零，黃仁勳表示。</p>
<ul>
<li><strong>埃隆·馬斯克表示，維持火星殖民地需要 10 萬人和 100 萬噸貨物，重申星際飛船的重要性：‘將人類送上火星’</strong></li>
</ul>
<p><em>圖片來源：Shutterstock</em></p>

阿里巴巴

阿里巴巴-W

2 倍做多阿里巴巴 ETF - KraneShares

BABO

2 倍做多 BABA ETF - GraniteShares

<p>阿里雲推出了 Aegaeon，這是一種新的計算池系統，可以將 AI 模型對 Nvidia GPU 的使用減少 82%。經過三個月的測試，它將所需的 Nvidia H20 GPU 數量從 1,192 個減少到 213 個，適用於參數高達 720 億的模型。這項創新旨在通過允許單個 GPU 支持多個模型來提高效率，從而解決資源使用不當的問題。該開發是在對 Nvidia 在中國的市場存在及美國政策對其市場份額影響的擔憂中進行的</p>

<p><strong>Alibaba Group Holding</strong> (NYSE:BABA) has introduced a new computing pooling system called Aegaeon, which dramatically reduces the reliance on <strong>Nvidia</strong> (NASDAQ:NVDA) GPUs by 82% for AI models.</p>
<div class="lb-trans"><p><strong>阿里巴巴集團</strong>（NYSE:BABA）推出了一種新的計算池系統，名為 Aegaeon，該系統顯著減少了對 <strong>英偉達</strong>（NASDAQ:NVDA）GPU 的依賴，降低幅度達到 82%。</p>
</div><h2><strong>Three Months In Testing</strong></h2>
<div class="lb-trans"><h2><strong>三個月的測試</strong></h2>
</div><p>This innovation was tested in Alibaba Cloud's model marketplace for over three months, according to a research paper presented this week at the 31st Symposium on Operating Systems Principles (SOSP) in Seoul, South Korea.</p>
<div class="lb-trans"><p>根據本週在韓國首爾舉行的第 31 屆操作系統原理研討會（SOSP）上發佈的一篇研究論文，這項創新在阿里巴巴雲的模型市場上進行了超過三個月的測試。</p>
</div><p>The Aegaeon system has successfully decreased the number of Nvidia H20 GPUs required from 1,192 to just 213 for serving models with up to 72 billion parameters.</p>
<div class="lb-trans"><p>Aegaeon 系統成功地將所需的英偉達 H20 GPU 數量從 1,192 減少到僅 213 個，以支持高達 720 億參數的模型。</p>
</div><p>&#34;Aegaeon is the first work to reveal the excessive costs associated with serving concurrent LLM workloads on the market,&#34; the researchers stated in the paper.</p>
<div class="lb-trans"><p>研究人員在論文中表示：&#34;Aegaeon 是首個揭示市場上併發 LLM 工作負載所帶來的過高成本的研究。&#34;</p>
</div><p>Researchers from <strong>Peking University</strong> and Alibaba Cloud emphasized the high costs associated with serving concurrent large language model workloads.</p>
<div class="lb-trans"><p>來自 <strong>北京大學</strong> 和阿里巴巴雲的研究人員強調了併發大型語言模型工作負載所帶來的高成本。</p>
</div><h2><strong>One GPU For Multiple Models</strong></h2>
<div class="lb-trans"><h2><strong>一個 GPU 支持多個模型</strong></h2>
</div><p>Alibaba Cloud, the AI and cloud services division of the Hangzhou-based Alibaba, aims to boost efficiency by pooling GPU resources, allowing a single GPU to support multiple models.</p>
<div class="lb-trans"><p>阿里巴巴雲，作為總部位於杭州的阿里巴巴的人工智能和雲服務部門，旨在通過整合 GPU 資源來提高效率，使單個 GPU 能夠支持多個模型。</p>
</div><p>The system addresses resource inefficiency, as previously, 17.7% of GPUs were allocated to serve only 1.35% of requests in Alibaba Cloud's marketplace.</p>
<div class="lb-trans"><p>該系統解決了資源低效的問題，因為之前在阿里巴巴雲的市場中，17.7% 的 GPU 僅用於處理 1.35% 的請求。</p>
</div><p>Cloud service providers like Alibaba Cloud and <strong>ByteDance</strong>‘s Volcano Engine manage thousands of AI models simultaneously, often leading to inefficiencies. The Aegaeon system seeks to optimize this process by reducing the number of GPUs needed.</p>
<div class="lb-trans"><p>像阿里巴巴雲和 <strong>字節跳動</strong> 的火山引擎這樣的雲服務提供商同時管理數千個 AI 模型，這往往導致效率低下。Aegaeon 系統旨在通過減少所需的 GPU 數量來優化這一過程。</p>
</div><h2><strong>Growing Concerns Over Nvidia's China Presence</strong></h2>
<div class="lb-trans"><h2><strong>對英偉達在中國存在的擔憂加劇</strong></h2>
</div><p>This development comes amid growing concerns over Nvidia’s presence in China. Recently, China raised security concerns about Nvidia’s H20 chips, especially regarding potential backdoor risks. As part of its deal with Nvidia, the Trump administration has struck an agreement for a 15% revenue share from the company's chip sales to China.</p>
<div class="lb-trans"><p>這一發展是在對英偉達在中國存在的擔憂加劇的背景下發生的。最近，中國對英偉達的 H20 芯片提出了安全擔憂，特別是關於潛在的後門風險。作為與英偉達達成協議的一部分，特朗普政府與該公司達成了一項 15% 的收入分成協議，涉及其對中國的芯片銷售。</p>
</div><p>Nvidia CEO <strong>Jensen Huang</strong> stated that Nvidia’s market share in China has plummeted from 95% to zero. He expressed concerns over the impact of U.S. policies on Nvidia’s market presence in China.</p>
<div class="lb-trans"><p>英偉達首席執行官 <strong>黃仁勳</strong> 表示，英偉達在中國的市場份額已從 95% 驟降至零。他對美國政策對英偉達在中國市場存在的影響表示擔憂。</p>
</div><p>Despite these challenges, Nvidia has financially insulated itself from potential escalations, as its guidance assumes zero revenue from China, according to Huang.</p>
<div class="lb-trans"><p>儘管面臨這些挑戰，英偉達已在財務上為潛在的升級做好了防護，因為其指導假設來自中國的收入為零，黃仁勳表示。</p>
</div><ul>
<li><strong>Elon Musk Says 100K People, 1 Million Tons Of Cargo Needed To Sustain Mars Colonies, Reiterates Starship’s Importance: ‘Will Land Humans On Mars’</strong></li>
</ul>
<div class="lb-trans"><ul>
<li><strong>埃隆·馬斯克表示，維持火星殖民地需要 10 萬人和 100 萬噸貨物，重申星際飛船的重要性：‘將人類送上火星’</strong></li>
</ul>
</div><p><em>Photo courtesy: Shutterstock</em></p>
<div class="lb-trans"><p><em>圖片來源：Shutterstock</em></p>
</div>

Alibaba Cloud's New System Cuts Nvidia GPU Usage By 82%, Amid Trump's Flip Flop On AI Chip Ban On China

- 阿里巴巴推出新計算池系統 Aegaeon，減少對 Nvidia GPU 的依賴 82%。
- 該系統經過三個月測試，顯著降低了所需 GPU 數量，從 1,192 降至 213。
- 此舉旨在提高資源利用效率，解決雲服務中的資源浪費問題。

阿里雲的新系統將 Nvidia GPU 的使用量減少了 82%，正值特朗普在對華 AI 芯片禁令上的反覆態度之際