--- title: "Skymizer Taiwan Inc.發佈突破性架構,使超大型 LLM 推理能夠在單張卡上實現" type: "News" locale: "zh-HK" url: "https://longbridge.com/zh-HK/news/283817787.md" description: "Skymizer Taiwan Inc. 推出了 HTX301 推理芯片,使得在單個 PCIe 卡上進行超大規模 LLM 推理成為可能,能夠運行 700B 參數模型而無需 GPU 集羣。這一創新簡化了 AI 基礎設施,提供低延遲、數據隱私和操作控制。HyperThought 平台允許靈活擴展,並與現有的 GPU 設置互補,提升整體效率。HTX301 旨在支持各種企業應用,包括金融、醫療保健和軟件工程,同時通過支持本地 AI 工作流程確保數據安全" datetime: "2026-04-23T11:00:00.000Z" locales: - [zh-CN](https://longbridge.com/zh-CN/news/283817787.md) - [en](https://longbridge.com/en/news/283817787.md) - [zh-HK](https://longbridge.com/zh-HK/news/283817787.md) --- # Skymizer Taiwan Inc.發佈突破性架構,使超大型 LLM 推理能夠在單張卡上實現 _提供行業領先的性能效率,並在單個 PCIe 卡上支持 700B 參數模型——無需 GPU 集羣或強力冷卻_ , /PRNewswire/ -- 在 2026 年 COMPUTEX 展會前夕,Skymizer 台灣公司,作為 AI 推理解決方案的先驅,今天預覽了一項在本地 AI 部署方面的重大進展,推出了其 **HTX301 推理芯片**,該芯片集成了 **HyperThought™**——一個在 2025 年 COMPUTEX 首次推出的軟件/硬件協同設計平台。HTX301 是 HyperThought IP 的第一個參考芯片,定義了 AI 推理的長期架構。這個首個硅片提供了卓越的性能效率,同時顯著簡化了超大模型推理所需的基礎設施。 **打破超大模型推理的 GPU 壟斷** 在本地部署超大模型歷史上,通常需要龐大的 GPU 集羣、高速互連(如 NVLink/NVSwitch)和強力冷卻系統——這導致了高昂的成本和操作複雜性。 **_Skymizer 首次在行業內實現了這一目標。_** 通過一張 PCIe 卡——由 **六個 HTX301 芯片和 384 GB 內存** 提供支持——企業現在可以在本地以約 240W 的功耗運行 **700B 參數模型推理**。 HyperThought 旨在 **在不同形態之間靈活擴展**——以 **SoC 或卡片** 的形式,從 **邊緣到迷你數據中心**。從 **單個芯片擴展到單卡上的 6 個芯片**,內存容量範圍從 **32GB 到 384 GB**,HyperThought 支持從 **4B 到 700B 參數** 的模型——讓企業能夠根據實際工作負載需求合理配置部署,而無需過度配置。 _"推理已成為主導的 AI 工作負載,基礎設施需要反映這一現實。"_ _"需要超標量 GPU 集羣來處理超大 LLM 的時代已經結束。HyperThought 將 AI 從僅限於超大規模的複雜性轉變為每個企業都能實現的單卡簡單性。"_ **— William Wei, Skymizer 首席營銷官** **消除企業 AI 的隱性税負** 結果:企業獲得數據隱私、低延遲和完全的操作控制——無需 GPU 集羣的基礎設施負擔。 本地推理還消除了每個令牌支出的焦慮,這已成為企業 AI 採用的隱性税負。基於雲的推理迫使團隊限制查詢和調節代理。HyperThought 消除了這一限制:一旦部署,企業可以以固定的基礎設施成本進行無限推理。 HyperThought 補充現有的 GPU 基礎設施,而不是取而代之。通過將解碼密集型推理從 GPU 中卸載,企業提高了整體集羣的利用率和能效。 **推動企業中的代理 AI 工作流** HyperThought 和 HTX301 旨在滿足迅速成為企業自動化支柱的代理 AI 工作負載。結合 **OpenClaw** 等代理框架——HTX301 提供了這些系統所需的推理吞吐量,確保數據主權和確定性延遲。 這使得各行業和領域的代理工作流和自動化成為可能,包括: **金融服務**(合規、欺詐檢測、投資組合推理);**醫療保健與生命科學**(臨牀決策支持、藥物相互作用分析);**製造業**(預測性維護、質量檢查);**法律與專業服務**(合同審查、機密知識檢索);**政府與國防**(主權 AI、機密分析);**零售**(服務自動化、庫存推理);**軟件工程**(私有代碼助手、自動化 CI/CD);以及 **半導體與 IC 設計**(本地 RTL 助手、驗證代理、基於專有 IP 的設計知識檢索)。 **聚焦:本地 AI 編碼。** AI 輔助編碼已經成為現代軟件團隊的基本要求,需求在源代碼是公司瑰寶的領域中加速增長。IC 設計公司無法將專有 RTL 發送到基於雲的助手,而不冒着暴露數十億美元硅 IP 的風險;軟件公司在處理機密代碼庫和客户數據時面臨同樣的考量。HTX301 提供了所需的吞吐量,以完全在本地運行私有代碼助手、RTL 生成器和驗證代理——消除雲暴露風險,同時保留 AI 輔助工程的全部生產力提升。 除了代理工作負載,單個 HTX301 芯片還支持設備上的推理——轉錄、翻譯、視覺理解和多模態 AI——適用於邊緣服務器、AI 工作站、智能 NAS 系統和智能終端。 **由 LISA™ 和 HyperThought™ 提供支持** HyperThought 由 **LISA™(語言指令集架構)** 提供支持,這是 Skymizer 的專有語言中心 ISA,針對變換器推理進行了優化。LISA 驅動從邊緣設備到企業集羣的性能、能效和可擴展性。 本地 HTX301 卡與 HyperThought 的設備 LPU 共享相同的 LISA 架構基礎——一個 ISA,一個部署工作流,從邊緣到數據中心。 **預填/解碼分離:HyperThought P/D 策略** LLM 推理由兩個根本不同的階段組成:**預填**(處理輸入提示,計算密集型)和 **解碼**(逐個生成令牌,內存帶寬密集型)。以 GPU 為中心的基礎設施將兩者強行結合在同一硅片上,導致在任何給定時刻計算或帶寬的浪費。HyperThought 通過設計將這些階段分離。 **硬件堆棧——解碼優先的硅片。** HTX301 專為解碼而設計——內存帶寬密集型的令牌生成主導了現實世界的推理延遲。現有的 GPU 處理計算密集型的預填;HTX301 卡處理解碼。每個硅片與其階段相匹配。 **軟件棧 — 統一的 P/D 協調。** Skymizer 的統一軟件棧 — KV 緩存管理器、階段感知調度器和動態放置引擎 — 協調預填充和解碼池,在節點之間傳遞 KV 緩存狀態,並在工作負載變化時實時重新平衡 P:D 比率。 _"專為解碼而設計的硬件與智能軟件棧相結合,協調每個推理工作負載 — 這就是如何在規模上解耦 P/D。"_ **— Luba Tang,Skymizer 首席技術官** **定義 AI 部署的下一個時代** 隨着模型參數從數十億激增至數萬億,行業對粗暴 GPU 擴展的依賴正面臨瓶頸。Skymizer 的構建旨在超越這一點 — 結合深厚的編譯器專業知識與解碼優化的硅片,定義 AI 基礎設施的下一個時代。 _關於 HyperThought 擴展平台路線圖的詳細信息將在 Skymizer 於 COMPUTEX 2026 的新聞發佈會上分享。_ **請求提前訪問 HTX301: skymizer.ai/press** **關於 Skymizer 台灣有限公司** Skymizer 成立於 2013 年,是一家 AI 推理公司。其旗艦產品 HyperThought 平台將編譯驅動的軟件棧與優化的變壓器硬件相結合,以在設備、邊緣和本地環境中提供高效的推理。 查看原始內容:https://www.prnewswire.com/news-releases/skymizer-taiwan-inc-unveils-breakthrough-architecture-enabling-ultra-large-llm-inference-on-a-single-card-302751485.html 來源 Skymizer 台灣有限公司 ### 相關股票 - [SMH.US](https://longbridge.com/zh-HK/quote/SMH.US.md) - [TWN.US](https://longbridge.com/zh-HK/quote/TWN.US.md) - [XSD.US](https://longbridge.com/zh-HK/quote/XSD.US.md) - [PSI.US](https://longbridge.com/zh-HK/quote/PSI.US.md) - [FTXL.US](https://longbridge.com/zh-HK/quote/FTXL.US.md) - [IXN.US](https://longbridge.com/zh-HK/quote/IXN.US.md) - [SOXL.US](https://longbridge.com/zh-HK/quote/SOXL.US.md) - [SOXX.US](https://longbridge.com/zh-HK/quote/SOXX.US.md) - [EWT.US](https://longbridge.com/zh-HK/quote/EWT.US.md) ## 相關資訊與研究 - [高層看好 CPO 需求、AI 高速傳輸巨頭 Astera 股價飆](https://longbridge.com/zh-HK/news/286988861.md) - [馬斯克透露 SpaceX 正洽談向其他企業提供 AI 運算服務](https://longbridge.com/zh-HK/news/287136749.md) - [台股驚跌千點力守月線!法人喊免驚:逢拉回即長線買點](https://longbridge.com/zh-HK/news/286708394.md) - [力守 4 萬?明天過後?矽光子將風雲再起?](https://longbridge.com/zh-HK/news/287045071.md) - [Anthropic 有望首次實現單季盈利 收入大幅成長](https://longbridge.com/zh-HK/news/287129663.md)