--- title: "PrismML 推出節能的 1-bit LLM，試圖讓人工智能擺脱對雲端的依賴" type: "News" locale: "zh-HK" url: "https://longbridge.com/zh-HK/news/281678580.md" description: "PrismML 是一家來自加州理工學院的人工智能初創公司，推出了一款名為 Bonsai 8B 的 1 位大型語言模型，旨在提升移動設備上的人工智能效率。該模型顯著比傳統模型更小、更快且更節能，內存佔用僅為 1.15 GB，同時提供超過 10 倍的智能密度。PrismML 的創新架構使得在不犧牲性能的情況下實現低位量化的優勢。該公司旨在將人工智能的部署從雲數據中心轉向設備端應用，Bonsai 8B 可在包括蘋果設備和 Nvidia GPU 在內的多種平台上運行" datetime: "2026-04-04T08:10:40.000Z" locales: - [zh-CN](https://longbridge.com/zh-CN/news/281678580.md) - [en](https://longbridge.com/en/news/281678580.md) - [zh-HK](https://longbridge.com/zh-HK/news/281678580.md) --- # PrismML 推出節能的 1-bit LLM，試圖讓人工智能擺脱對雲端的依賴 PrismML，一家來自加州理工學院的人工智能創業公司，發佈了一款 1 位的大型語言模型，其性能超過了更重的模型，預計將提高人工智能在移動設備等應用上的效率和可行性。 這款名為 Bonsai 8B 的模型小巧且快速，功耗適中，基準性能特徵與更大模型相媲美。 該公司在社交媒體上表示："我們的第一個證明點是 1 位 Bonsai 8B，這是一款適合 1.15 GB 內存的 1 位模型，其智能密度超過全精度模型的 10 倍以上。" "它的體積小 14 倍，速度快 8 倍，並且在邊緣硬件上能效高 5 倍，同時在其參數類別中與其他模型保持競爭力。" 基於 Transformer 架構的人工智能模型涉及數百萬或數十億個權重，這些權重控制神經元之間連接的強度，並影響模型執行任務的方式。它們在訓練過程中設定，並根據表示它們所使用的精度佔用內存空間。 以 GGUF FP16（16 位）量化的模型將佔用比以 GGUF Q8\_0（8 位）或 GGUF Q4\_0（4 位）或 GGUF Q2\_K（2 位）量化的模型更多的空間。這不包括可能增加實際存儲空間需求的元數據和開銷。但在相同基本架構下，16 位模型通常比低位量化的模型表現更好。 PrismML 的 Bonsai 模型系列基於一種架構，其中"每個權重僅由其符號表示，{−1, +1}，而每組權重共享一個縮放因子，"正如該公司在其白皮書中所解釋的那樣，而不是 16 位或 32 位浮點數。研究人員多年來一直在研究改進量化的方法，相關論文包括《BitNet: Bit-Regularized Deep Neural Networks》（2017）和《1 位 LLM 的時代：所有大型語言模型都在 1.58 位中》（2024）。 PrismML 的方法基於加州理工學院電氣工程教授 Babak Hassibi 及其同事的研究。該公司聲稱其 1 位架構避免了歷史上伴隨低位量化而來的權衡，特別是糟糕的指令跟隨、多步驟推理錯誤和不可靠的工具使用。 - Claude 代碼源泄露揭示了 Anthropic 可以收集多少關於你和你的系統的信息 - Claude 代碼在給出過多命令時繞過安全規則 - 亞馬遜安全負責人：人工智能使滲透測試效率提高 40% - OpenAI 獲得 1220 億美元用於'僅僅構建東西'，而世界正在摧毀他們 PrismML 的首席執行官兼創始人 Babak Hassibi 在一份聲明中表示："我們花了多年時間開發所需的數學理論，以在不失去推理能力的情況下壓縮神經網絡。" "我們將 1 位視為起點，而不是終點。" Hassibi 認為，該公司的 1 位架構建立了一種新的人工智能範式，專注於每單位計算和能量的智能。 為了鼓勵其他人朝這個方向思考——還記得性能每瓦特成為熱門話題的時候嗎？——PrismML 提出了智能密度的測量，這一指標使其模型展現出良好的表現。 該公司解釋道："我們將智能密度定義為模型平均錯誤率的負對數（在相同基準套件中）除以模型大小。" 在智能密度評估中，Qwen3 8B 在各種基準測試（MMLU Redux、MuSR、GSM8K 等）中稍微領先於 Bonsai 8B，智能密度得分僅為 0.10/GB，遠低於 Bonsai 8B 的 1.06/GB。 指標可能對營銷很重要，但 PrismML 模型更有意義的標準是它們將人工智能從雲數據中心移出的潛力。該公司預見其模型將為設備上的代理、實時機器人、安全企業系統以及其他在內存帶寬、功率或合規性限制下可能妨礙部署的項目提供動力。 該公司表示："1 位 Bonsai 8B 可以通過 MLX 在 Apple 設備（Mac、iPhone、iPad）上原生運行，通過 Nvidia GPU 通過 llama.cpp CUDA 運行。" "模型權重今天可以在 Apache 2.0 許可證下獲得。" 還有兩個較小的模型可用：1 位 Bonsai 4B 和 1 位 Bonsai 1.7B。® ### 相關股票 - [NVDX.US](https://longbridge.com/zh-HK/quote/NVDX.US.md) - [IXN.US](https://longbridge.com/zh-HK/quote/IXN.US.md) - [SMH.US](https://longbridge.com/zh-HK/quote/SMH.US.md) - [AAPB.US](https://longbridge.com/zh-HK/quote/AAPB.US.md) - [XSD.US](https://longbridge.com/zh-HK/quote/XSD.US.md) - [NVDL.US](https://longbridge.com/zh-HK/quote/NVDL.US.md) - [SOXL.US](https://longbridge.com/zh-HK/quote/SOXL.US.md) - [PSI.US](https://longbridge.com/zh-HK/quote/PSI.US.md) - [AAPX.US](https://longbridge.com/zh-HK/quote/AAPX.US.md) - [SOXX.US](https://longbridge.com/zh-HK/quote/SOXX.US.md) - [NVDU.US](https://longbridge.com/zh-HK/quote/NVDU.US.md) - [AAPL.US](https://longbridge.com/zh-HK/quote/AAPL.US.md) - [NVDA.US](https://longbridge.com/zh-HK/quote/NVDA.US.md) ## 相關資訊與研究 - [倚天酷碁營收／3 月 4.21 億元創新高 月增 64.06%、年增 29.15%](https://longbridge.com/zh-HK/news/282142921.md) - [今年股價漲 84%！桃園農田崛起的載板設備新寵，它如何憑 2 數字黏牢輝達供應商，助欣興良率成長近 3 成？](https://longbridge.com/zh-HK/news/282046068.md) - [當員工都不願賣：Anthropic 的估值遊戲，進入「賣方消失」階段](https://longbridge.com/zh-HK/news/282128570.md) - [DXC 與 ServiceNow 攜手合作，迎來新一波人工智能優先的企業轉型](https://longbridge.com/zh-HK/news/281925517.md) - [輝達買下 SchedMD 取得 AI 開源軟體，引發公平競爭疑慮](https://longbridge.com/zh-HK/news/281950411.md)