AMD Strix Halo 與 Nvidia DGX Spark：哪個 AI 工作站更具優勢？

動手操作 大多數 GenAI 模型是在大型數據中心集羣中訓練和運行的，但在本地構建、測試和原型化 AI 系統的能力在今天同樣重要。 直到最近，這需要高端的多 GPU 工作站，通常價格高達數萬美元。隨着基於 GB10 的 DGX Spark 在十月的發佈，Nvidia 旨在改變這一現狀。雖然性能遠不如高端設備，但該系統配備 128 GB 的顯存，基本上是一個能夠運行幾乎所有 AI 工作負載的 AI 實驗室。 正如我們在初步動手操作中提到的，Spark 並不是市場上第一個或最便宜的選擇。AMD 和 Apple 也提供具有大量統一內存的系統，這些內存在 CPU 和 GPU 之間共享，這使得它們在 AI 開發者和愛好者中非常受歡迎。 AMD 的 Ryzen AI Max+ 395 APU，為了簡潔起見，我們將其稱為 "Strix Halo"，特別引人注目。除了售價在 Spark 的四分之三到一半之間外，Strix Halo 基於與該公司數據中心產品大致相同的 ROCm 和 HIP 軟件棧。這提供了一個更清晰的遷移路徑，從桌面到數據中心，儘管不一定是無縫的。 為了比較 Strix Halo 與 Spark 的性能，HP 發送了其 Z2 Mini G1a 工作站，以便我們瞭解這兩款小型設備在各種 AI 工作負載下的表現，從單用户和批量推理到微調和圖像生成。 系統概述 你首先會注意到 HP 的體積明顯大於 Spark。這部分是因為 Nvidia 選擇了一個通過 USB-C 連接的外部電源適配器，而 HP 則選擇了一個稍大一些的機箱，內置電源。 我們通常更喜歡 HP 的這種設計，尤其是因為較大的機箱允許更強大的散熱解決方案，儘管 Spark 的外觀和做工確實顯得更為高檔。 Spark 使用全金屬機箱，兼作散熱器，而 G1a 則更像是一款 HP 產品，外殼乾淨但為塑料材質，覆蓋着堅固的金屬機箱。這種設計理念的好處在於可維護性。打開 G1a 只需按下機器背面的一個按鈕，滑動頂部蓋即可。 然而，由於該機器使用的是焊接的 LPDDR5x 內存，實際上在兩個系統中可做的事情並不多。HP 確實配備了兩個標準的 2280 PCIe 4.0 x4 M.2 SSD，用户可以自行更換。 相比之下，Spark 更像是一種家用電器，儘管 SSD 也可以通過拆卸底部的一個磁性板和四個螺絲進行更換。 在機器內部，有一對風扇從前面吸入冷空氣並從後面排出。如果你感興趣，G1a 的雙 M.2 SSD 就位於這些風扇正下方，這應該能防止它們在高負載下過熱。 在機器的背面，我們看到 HP 在 I/O 方面採取了與 Nvidia 非常不同的設計。 從左到右，我們看到一個 2.5 GbE RJ45 端口，四個標準 USB 端口（2 個 10 Gbps，2 個 USB 2.0），一對 40 Gbps Thunderbolt 端口以及兩個迷你 DisplayPort。在機器的側面，你會發現一個 3.5 毫米耳機 - 麥克風組合插孔和兩個額外的 10 Gbps USB 3.0 端口，分別為標準和 USB-C 形式。 你還會注意到兩個空白插槽，可以配置任何數量的 HP Flex IO 模塊，包括串行、USB 和千兆、2.5 GbE 或 10 GbE 端口。 而 Spark 則優先考慮多節點 AI 計算環境的高速網絡。在電源按鈕旁邊有四個 USB-C 端口，最左側的端口用於電源傳輸。用於顯示輸出的有一個 HDMI 端口，以及一個 10 GbE RJ45 網絡端口和一對 QSFP 機箱，通過系統的內置 ConnectX-7 NIC 提供總共 200 Gbps 的網絡帶寬。 這些端口旨在使用數據中心中相同的硬件和軟件，支持多個 Spark 或其他 GB10 系統的集羣。 據我們瞭解，你也可以將 G1a 的 Thunderbolt 端口用作高速網絡接口，以連接多個系統，儘管我們未能測試該用例。 性能參數 需要明確的是，這兩款系統都不是各自硅片的最便宜選擇。DGX Spark 的零售價格為 3,999 美元，而 HP 的 Z2 Mini G1a，按配置計算，目前售價約為 2,950 美元。 如果你願意在存儲、連接性或 I/O 上做出妥協，你可以找到配置相似的 GB10 和 Strix Halo 設備，價格會低得多。 HP、ASUS 和其他幾家公司有 Spark 的 OEM 版本，起價約為 3,000 美元，提供 1 TB 存儲。我們還看到 Strix Halo 系統配備 128 GB，售價略高於 2,000 美元，儘管內存短缺似乎推高了價格，並且你將錯過 "Pro" 版本芯片所提供的企業級功能，如 ECC。 因此，如果這兩款系統中的任何一款吸引了你的興趣，但你對價格不太滿意，你可能會在其他 OEM 中找到更好的交易。在 GB10 系統的情況下，除了外觀，你幾乎沒有放棄什麼，選擇 OEM 重新品牌而不是創始人版。 CPU 性能 在我們深入探討生成 AI 性能之前，我們希望花一點時間討論這兩款機器的 CPU。 Strix Halo 是一款相當有趣的處理器。與其桌面對應產品類似，它配備了 16 個完整的 Zen 5 核心，分佈在兩個核心複合芯片（CCDs）上，能夠達到 5.1 GHz 的時鐘頻率。這些 CCD 通過先進的封裝技術與處理內存、PCIe 和圖形處理的 I/O 芯片結合在一起。 Z2 Mini G1a 實際上使用了該芯片的 Pro 變體，增加了許多硬件安全和管理功能，這可能對在大規模或敏感環境中部署這些系統的企業具有吸引力。 與此同時，Spark 的 GB10 Grace Blackwell 超級芯片採用了與聯發科技合作開發的 Arm CPU 芯片，包含 10 個 X925 性能核心和 10 個 Cortex A725 效率核心，總共 20 個核心。 雖然這些核心絕對不算慢，但在我們有限的測試中，AMD 的 Zen 5 微架構在 Sysbench、7zip 壓縮/解壓縮和 HandBrake 轉碼工作負載中提供了 10% 到 15% 的性能提升。 然而，在高性能 Linpack 基準測試中，G1a 的雙精度性能超過了 1.6 teraFLOPS，而 Spark 則為 708 gigaFLOPS。我們注意到，這個分數是僅使用 X925 核心獲得的，因為啓用 A725 進行測試實際上降低了性能，這表明可能還有改進的空間。 雖然 GenAI 性能在很大程度上依賴於低精度 GPU FLOPS，但 Strix Halo 更強大的 CPU 可能使其成為那些希望運行 GenAI 模型而不是 AI 器具的用户更靈活的選擇。 GenAI 性能 接下來談談 GenAI，我們應該花一點時間討論這兩個系統所聲稱的一些性能。 雖然 Nvidia 可能聲稱擁有 petaFLOPS 的 AI 計算能力，但現實是大多數用户永遠無法接近這個水平。原因很簡單：達到這種性能水平需要結構稀疏性，而這對推理工作負載幾乎沒有任何好處。 因此，Spark 的峯值性能實際上更接近 500 個密集 teraFLOPS，僅適用於能夠利用 FP4 數據類型的工作負載。通常情況下，這意味着 Spark 實際上將在 8 位或 16 位精度下運行，限制峯值性能分別為 250 和 125 teraFLOPS。 持續性能通常略低於理論值。在最大可實現的 MatMul FLOPS (MAMF) 基準測試中，我們在 BF16 下達到了 101 teraFLOPS，在 FP8 下達到了 207 teraFLOPS。 但是，G1a 的 Strix Halo 部件呢？在這裏我們看到了 AMD 最大的弱點之一。雖然 Zen House 聲稱其最高規格的 Strix Halo SKU 達到 126 平台 TOPS，但你很難找到任何應用程序能夠充分利用這一點。其中 50 個 TOPS 是由 NPU 提供的，這需要專門的軟件來利用——稍後會詳細介紹。其餘的 TOPS 是通過 CPU 和 GPU 實現的。 Strix Halo 的 GPU 也不遜色。根據我們的估計——AMD 實際上並沒有給出該芯片的峯值浮點性能——該 GPU 能夠輸出約 56 teraFLOPS 的峯值 BF16 性能。在 MAMF 中，我們達到了約 82% 的性能，達到了 46 teraFLOPS，這也不錯。 但由於該 GPU 基於 AMD 較舊的 RDNA 3.5 架構，因此不支持 Spark 提供的低精度數據類型。 從技術上講，該架構確實支持 INT8，但性能基本上與 BF16 相同。理論上，它應該提供約 112 TOPS 的 INT4，但關鍵在於找到實際以該精度進行計算的軟件。十六個不同的值並沒有提供太多的細粒度。 從理論上講，這使得 Spark 在原始 AI 計算能力上相對於 Strix Halo 具有 2.2-9 倍的性能優勢。 儘管在我們的測試中這一點反覆出現，但計算只是 GenAI 硬幣的一面。另一面是內存帶寬。根據你的使用情況，這甚至可能使 AMD 和 Nvidia 系統之間的性能差距變得無關緊要。 LLM 推理 我們將首先討論大型語言模型 (LLM) 推理，正是因為它説明了為什麼更多的 TOPS 和 FLOPS 並不總是轉化為更好的 AI 性能。 為了保持一致性，我們在 Linux 上進行了大部分測試：在 HP 上使用 Ubuntu 24.04 LTS 和 Nvidia 輕度定製的發行版 DGX OS。 僅查看 Llama.cpp 中的單批次性能——這是在消費級 CPU 和 GPU 上運行 LLM 的最流行框架之一——我們可以看到 GB10 和 Strix Halo 以相似的速度生成令牌，使用 Vulkan 後端時，AMD 的表現略勝一籌。 在單用户場景中，令牌生成通常受到內存帶寬的瓶頸。GB10 聲稱約有 273 GB/s 的內存帶寬，而 AMD 的 Strix Halo 則為約 256 GB/s。 這可能是許多 AI 愛好者在 Spark 首次發佈時感到失望的原因之一。以三分之二到一半的價格，你可以獲得一台 Strix Halo 機器，其生成令牌的速度與之相當。 然而，如果你關注首次令牌生成的時間列，你會注意到 GB10 的 GPU 在處理相對較短的 256 令牌提示時大約比 Strix Halo 的快 2-3 倍。隨着序列長度的增加，這一差距變得更加明顯。這是因為提示處理往往很快就會變得受限於計算能力。 對於較短的提示或多輪對話，Llama.cpp 的提示緩存緩解了許多性能不足。在這種情況下，我們只需在 AMD 平台上多等一兩秒，對於那些希望在家中運行 LLM 的客户來説，這可能是可以忽略的，考慮到 Strix Halo 的平均售價較低。 對於那些工作負載需要將大型文檔輸入模型上下文的用户，Spark 更強大的 GPU 在這裏提供了明顯的優勢，但客户需要權衡其更高的價格。 多批次性能 除了單批次性能外，我們還在更大的批量大小下測試了這兩台機器。用户通常會將提取信息的任務批量處理，而不是一個接一個地順序處理。 在這種情況下，我們使用 vLLM，根據我們的經驗，它在處理大批量和併發時比 Llama.cpp 更加優雅，後者更適合單用户應用。我們還使用 Qwen3-30B-A3B-Instruct-2507，以其原生的 BF16 精度來避免量化開銷。 為了查看機器的性能，我們讓它們處理一個 1,024 令牌的輸入，並在批量大小從 1 到 64 的範圍內生成一個 1,024 令牌的響應。 在 X 軸上，我們繪製了完成批處理作業所需的時間（以秒為單位），而在 Y 軸上，我們顯示了每個批量大小的每秒令牌總吞吐量。 再一次，Spark 更快的圖形處理器使其在 G1a 之上佔據優勢。雖然這顯然是 Spark 的勝利，但除非你經常運行批處理作業，否則這種性能優勢可能不會被注意到，特別是如果你可以安排它們在夜間運行。批量推理並不完全是交互式的，因此你可以輕鬆離開，等它完成後再回來。 微調 當我們查看使用微調技術通過暴露新信息來教模型新技能時，情況也是類似的。 微調需要大量內存，對於像 Mistral 7B 這樣的模型，可能需要多達 100 GB 的內存。正如我們之前討論的，像 LoRA 或 QLoRA 這樣的技術可以顯著減少訓練模型所需的內存。 在兩個平台上都有多達 128 GB 的內存可用，Spark 和 G1a 都非常適合這個工作負載，儘管它們的速度並不是特別快。 在對 Meta 的 Llama 3.2 3B 進行全面微調時，我們看到 Spark 完成作業的時間大約是 G1a 的三分之二。然而，與像 Radeon Pro W7900 或 RTX 6000 Ada 這樣的工作站顯卡相比，它們提供更高的浮點性能以及更快的 GDDR6 內存，Spark 和 G1a 顯然不在同一水平。 當我們開始考慮在更大模型上使用 QLoRA 時，事情變得更加有趣。要在家微調像 Llama 3.1 70B 這樣的模型，通常需要多個工作站顯卡。但由於它們巨大的內存佔用，這項工作完全可以在 AMD 或 Nvidia 的設備上完成。 在一個相對較小的數據集上——我們之前已經展示過這足以調整模型的風格——性能更符合我們的預期。G1a 完成作業的時間略超過 50 分鐘，而 Spark 則在大約 20 分鐘內完成。 對於使用更大數據庫或 LoRA 排序的更大微調作業，這可能會輕鬆延長到數小時甚至數天，使得 Spark 的性能優勢更加顯著。 但正如我們在多批次推理測試中討論的那樣，除非你定期微調模型，否則 Spark 的更高性能可能不值得比 HP、Minisforum、Framework 或其他迷你 PC 供應商的類似配置的 Strix Halo 系統支付更高的價格。 圖像生成 Spark 的更高性能在圖像和視頻生成工作負載中確實給它帶來了明顯的優勢。與微調一樣，圖像生成是一個特別需要計算和內存的工作負載，但通常不受帶寬限制。 這部分是因為圖像模型不像 LLM 那樣容易壓縮，而不對輸出質量做出重大讓步。因此，許多人更喜歡以其原生精度運行這些模型，無論是 FP32、BF16 還是 FP8。 在 ComfyUI 中運行 Black Forest Lab 的 FLUX.1 Dev，我們的測試系統幾乎完全按照其 16 位浮點性能的預期進行擴展。 Spark 分別具有 120 和 125 teraFLOPS 的 BF16 性能，大致與 AMD 的 Radeon Pro W7900 相匹配，同時在我們的測試中，Strix Halo 基於 G1a 的性能約為 46 teraFLOPS，Spark 領先約 2.5 倍。 可以説，圖像生成顯然不是 Strix 盒子的強項。 那 NPU 呢？ AMD 的 Strix Halo APU 還配備了相當強大的神經處理單元（NPU），得益於該公司收購的 Xilinx。XDNA 2 NPU 能夠提供額外的 50 TOPS 的 AI 性能。當然，關鍵是找到能夠利用它的軟件。大多數 NPU 的使用案例集中在減少音頻和視頻中的噪聲消除、背景模糊和光學字符識別等方面的功耗。 然而，AMD 和其他公司已經開始將 NPU 用於生成 AI 應用，結果喜憂參半。得益於像 Lemonade Server 這樣的應用程序，你現在可以完全在 NPU 上運行 LLM。除非你試圖節省電力，否則你可能還不想這樣做。 截至目前，模型支持仍然有限，似乎 NPU 並沒有訪問 GPU 的 250 GB/s 的所有內存帶寬。在 Windows 上運行 Mistral 7B 時，我們觀察到的解碼性能僅為 4-5 tok/s，而我們本希望看到接近 40 tok/s 的表現。 然而，AMD 顯然在推動分離推理的概念，即將計算密集型的提示處理卸載到 NPU，而將內存帶寬密集型的解碼階段交給 GPU 處理。性能有所改善，但仍然不如直接在 GPU 上運行模型的效果好。 這種分離的方法對於電源受限的筆記本電腦非常有意義，但對於像 G1a 這樣的台式系統則不然。話雖如此，我們很想看看 AMD 將如何發展這一點。 我們還能夠在 Amuse 中使 NPU 工作，這是一個適合初學者的圖像生成套件。AMD 最近添加了對直接在 NPU 上運行 Stable Diffusion 3 的支持，在這種情況下，性能實際上比在 GPU 上運行同一模型要好得多。 在 NPU 上運行時，Amuse 能夠在略超過一分鐘的時間內使用 20 步生成一個 1,024 x 1,024 的圖像，而在 GPU 上運行同樣的測試大約需要兩倍的時間。 有一些值得指出的注意事項。目前的集成非常有限，僅在初學者模式下可用，性能滑塊設置為平衡。切換到 “專家模式” 會禁用 NPU，迫使模型在圖形處理器上運行。 集成也僅限於 Stable Diffusion 3，該版本自發布以來已經有一年多，顯得有些過時。不過，看到更多應用利用 NPU 進行視頻通話中的背景模糊，還是令人欣慰的。 Nvidia 的 CUDA 護城河正在變淺 在任何關於 AMD 和 Nvidia 的比較中，軟件兼容性，即 CUDA 護城河，常常是一個賣點。 雖然你可以期待幾乎所有運行在 CUDA 上的軟件在 Spark 上都能正常工作，但在基於 Strix Halo 的 G1a 上並不能保證。 近二十年的 CUDA 開發是難以忽視的，但儘管 AMD 在其 ROCm 和 HIP 庫的軟件支持上傳統上落後，近年來該公司在這方面取得了顯著進展。 一年前，我們在使用一些庫時遇到了許多麻煩，這些庫要麼不可用，要麼依賴於專門為 AMD 的 CDNA 數據中心芯片構建的分支，這意味着它們無法在消費平台上運行。今天，這個問題已經不再那麼嚴重。事實上，我們的大多數 PyTorch 測試腳本在 AMD 平台上無需修改就能運行。然而，如果我們説體驗與 Spark 上的無縫體驗相近，那就是在撒謊。 許多軟件可以在 AMD 的消費硬件上運行，但並不總是像運行pip install xyz-package那麼簡單。我們仍然需要從源代碼構建庫，或者在幾次情況下使用專門為 Radeon GPU 製作的分支——vLLM、BitsandBytes 和 Flash Attention 2 只是幾個例子。 在許多情況下，特別是在處理更接近硬件的軟件時，軟件需要專門為該代 Radeon 圖形編譯。Llama.cpp 就是一個例子，我們需要針對gfx1151目標進行編譯才能使軟件運行。 處理這些依賴關係並不容易，無論你使用哪個平台，因此看到 AMD 和 Nvidia 提供預配置的 Docker 容器以便於開始使用，還是令人欣慰的。在我們的 vLLM 測試中，我們使用了紅隊和綠隊的 vLLM Docker 容器，以確保獲得最佳性能。 也許我們最大的挑戰並不是軟件相關的。Strix Halo 基於 AMD 較舊的 RDNA 3.5 架構，這意味着它缺乏對 Spark 的 Blackwell GPU 提供的許多低精度數據類型的支持。因此，我們經常被迫以 16 位精度運行模型，即使 FP8 或 FP4 會更理想。 AMD 的 RDNA 4 架構應該通過增加對稀疏性和 FP8 的支持來解決一些問題。然而，行業現在正在重新調整，圍繞微縮數據類型（如 MXFP4）進行，因為它們具有更小的內存佔用和更廣泛的有效範圍。 儘管 AMD 正在迅速縮小差距，但 Nvidia 在硬件和軟件方面仍然保持着顯著的領先。 你們一直在等待的答案 我們知道你們都會問。是的，這兩台機器都能運行 Crysis。 在 1440p 中等設置下，Crysis Remastered 在 G1a 上以非常可觀的 90-100 FPS 運行。這裏沒有真正的驚喜，因為 HP 使用的是來自一家擁有悠久圖形歷史的公司的 x86 CPU 和 GPU。 在 DGX Spark 上運行遊戲稍微複雜一些，因為 GB10 的 Arm CPU 不支持 32 位指令。幸運的是，我們能夠使用一個叫做 FEX 的工具讓它運行。如果你感興趣，可以在這裏找到我們使用的安裝腳本。 不幸的是，我們無法在 Spark 上讓 Steam 性能覆蓋工作，這意味着我們無法獲得具體的性能指標。在中等設置下，即使不使用 Nvidia 的 AI 超分辨率技術，遊戲也完全可以玩，實際上在遊戲中是有效的。 雖然你可以在 Spark 或其他 GB10 系統上運行遊戲，但我們不確定是否會推薦它超過 Strix Halo 盒子或其他許多更便宜的遊戲 PC。 總結 這些系統哪個適合你，實際上取決於你是否想要一台專門用於 AI 的機器，還是一台恰好能夠運行你可能投入的絕大多數 AI 工作負載的 PC。 我們懷疑許多到這裏的人可能更傾向於後者。如果你打算花費 2000 到 4000 美元購買一台新 PC，我們認為期望它能做得比一件事更好並不算過分。 AMD 通過 Helios 機架系統向 Nvidia 發起 AI 挑戰 AMD 因隨機數錯誤而面臨尷尬，導致加密安全性受損 AMD Ryzen CPU 在重負載下燒燬兩次，GMP 表示 AMD 警告新一輪類似 Meltdown 和 Spectre 的漏洞影響 CPU 在這方面，HP 的 Z2 Mini G1a 是市場上更好的選擇之一，特別是如果你主要對運行單批次 LLM 推理感興趣，而不是微調或圖像生成。AMD 的 Strix Halo SoC 可能沒有 Nvidia 的 GB10 盒子的計算能力，但它能夠勝任 Windows 和 Linux，並且不需要通過複雜的步驟才能玩你最喜歡的遊戲。 儘管存在性能差距，但對於為不斷增長的 AI PC 領域構建應用程序的軟件工程師來説，基於 AMD 的系統仍然可能是更好的開發平台，至少因為微軟的 NPU 要求。 但對於那些真正想要用於原型代理、微調模型或生成文本、圖像和視頻內容的 AI 設備的人來説，Spark 或其 GB10 兄弟可能是更好的選擇，前提是你能接受其要價。 在我們的測試中，該機器的性能始終是基於 AMD 的 HP 系統的 2-3 倍，同時還受益於一個更加成熟和活躍的軟件生態系統。正如我們所展示的，您也可以在緊急情況下在 Spark 上運行非 AI 工作負載，但這並不是它的設計初衷。Spark 的核心是一個集成的 AI 實驗室，最好作為這樣的用途使用。®