<p>PrismML，一家來自加州理工學院的人工智能創業公司，發佈了一款 1 位的大型語言模型，其性能超過了更重的模型，預計將提高人工智能在移動設備等應用上的效率和可行性。</p>
<p>這款名為 Bonsai 8B 的模型小巧且快速，功耗適中，基準性能特徵與更大模型相媲美。</p>
<p>該公司在社交媒體上表示：&#34;我們的第一個證明點是 1 位 Bonsai 8B，這是一款適合 1.15 GB 內存的 1 位模型，其智能密度超過全精度模型的 10 倍以上。&#34; &#34;它的體積小 14 倍，速度快 8 倍，並且在邊緣硬件上能效高 5 倍，同時在其參數類別中與其他模型保持競爭力。&#34;</p>
<p>基於 Transformer 架構的人工智能模型涉及數百萬或數十億個權重，這些權重控制神經元之間連接的強度，並影響模型執行任務的方式。它們在訓練過程中設定，並根據表示它們所使用的精度佔用內存空間。</p>
<p>以 GGUF FP16（16 位）量化的模型將佔用比以 GGUF Q8_0（8 位）或 GGUF Q4_0（4 位）或 GGUF Q2_K（2 位）量化的模型更多的空間。這不包括可能增加實際存儲空間需求的元數據和開銷。但在相同基本架構下，16 位模型通常比低位量化的模型表現更好。</p>
<p>PrismML 的 Bonsai 模型系列基於一種架構，其中&#34;每個權重僅由其符號表示，{−1, +1}，而每組權重共享一個縮放因子，&#34;正如該公司在其白皮書中所解釋的那樣，而不是 16 位或 32 位浮點數。研究人員多年來一直在研究改進量化的方法，相關論文包括《BitNet: Bit-Regularized Deep Neural Networks》（2017）和《1 位 LLM 的時代：所有大型語言模型都在 1.58 位中》（2024）。</p>
<p>PrismML 的方法基於加州理工學院電氣工程教授 Babak Hassibi 及其同事的研究。該公司聲稱其 1 位架構避免了歷史上伴隨低位量化而來的權衡，特別是糟糕的指令跟隨、多步驟推理錯誤和不可靠的工具使用。</p>
<ul>
<li>Claude 代碼源泄露揭示了 Anthropic 可以收集多少關於你和你的系統的信息</li>
<li>Claude 代碼在給出過多命令時繞過安全規則</li>
<li>亞馬遜安全負責人：人工智能使滲透測試效率提高 40%</li>
<li>OpenAI 獲得 1220 億美元用於'僅僅構建東西'，而世界正在摧毀他們</li>
</ul>
<p>PrismML 的首席執行官兼創始人 Babak Hassibi 在一份聲明中表示：&#34;我們花了多年時間開發所需的數學理論，以在不失去推理能力的情況下壓縮神經網絡。&#34; &#34;我們將 1 位視為起點，而不是終點。&#34;</p>
<p>Hassibi 認為，該公司的 1 位架構建立了一種新的人工智能範式，專注於每單位計算和能量的智能。</p>
<p>為了鼓勵其他人朝這個方向思考——還記得性能每瓦特成為熱門話題的時候嗎？——PrismML 提出了智能密度的測量，這一指標使其模型展現出良好的表現。</p>
<p>該公司解釋道：&#34;我們將智能密度定義為模型平均錯誤率的負對數（在相同基準套件中）除以模型大小。&#34;</p>
<p>在智能密度評估中，Qwen3 8B 在各種基準測試（MMLU Redux、MuSR、GSM8K 等）中稍微領先於 Bonsai 8B，智能密度得分僅為 0.10/GB，遠低於 Bonsai 8B 的 1.06/GB。</p>
<p>指標可能對營銷很重要，但 PrismML 模型更有意義的標準是它們將人工智能從雲數據中心移出的潛力。該公司預見其模型將為設備上的代理、實時機器人、安全企業系統以及其他在內存帶寬、功率或合規性限制下可能妨礙部署的項目提供動力。</p>
<p>該公司表示：&#34;1 位 Bonsai 8B 可以通過 MLX 在 Apple 設備（Mac、iPhone、iPad）上原生運行，通過 Nvidia GPU 通過 llama.cpp CUDA 運行。&#34; &#34;模型權重今天可以在 Apache 2.0 許可證下獲得。&#34;</p>
<p>還有兩個較小的模型可用：1 位 Bonsai 4B 和 1 位 Bonsai 1.7B。®</p>

2 倍做多 NVDA ETF - T-Rex

全球科技股指數 ETF - iShares

半導體 ETF - VanEck Vectors

<p>PrismML 是一家來自加州理工學院的人工智能初創公司，推出了一款名為 Bonsai 8B 的 1 位大型語言模型，旨在提升移動設備上的人工智能效率。該模型顯著比傳統模型更小、更快且更節能，內存佔用僅為 1.15 GB，同時提供超過 10 倍的智能密度。PrismML 的創新架構使得在不犧牲性能的情況下實現低位量化的優勢。該公司旨在將人工智能的部署從雲數據中心轉向設備端應用，Bonsai 8B 可在包括蘋果設備和 Nvidia GPU 在內的多種平台上運行</p>

<p>PrismML, an AI venture out of Caltech, has released a 1-bit large language model that outperforms weightier models, with the expectation that it will improve AI efficiency and viability on mobile devices, among other applications.</p>
<div class="lb-trans"><p>PrismML，一家來自加州理工學院的人工智能創業公司，發佈了一款 1 位的大型語言模型，其性能超過了更重的模型，預計將提高人工智能在移動設備等應用上的效率和可行性。</p>
</div><p>The model, dubbed Bonsai 8B, manages to be small and fast, with modest power demands and benchmark performance characteristics that rival much larger models.</p>
<div class="lb-trans"><p>這款名為 Bonsai 8B 的模型小巧且快速，功耗適中，基準性能特徵與更大模型相媲美。</p>
</div><p>&#34;Our first proof point is 1-bit Bonsai 8B, a 1-bit model that fits into 1.15 GB of memory and delivers over 10x the intelligence density of its full-precision counterparts,&#34; the company said in a social media post. &#34;It is 14x smaller, 8x faster, and 5x more energy efficient on edge hardware while remaining competitive with other models in its parameter-class.&#34;</p>
<div class="lb-trans"><p>該公司在社交媒體上表示：&#34;我們的第一個證明點是 1 位 Bonsai 8B，這是一款適合 1.15 GB 內存的 1 位模型，其智能密度超過全精度模型的 10 倍以上。&#34; &#34;它的體積小 14 倍，速度快 8 倍，並且在邊緣硬件上能效高 5 倍，同時在其參數類別中與其他模型保持競爭力。&#34;</p>
</div><p>AI models based on the Transformer architecture involve neural networks with millions or billions of weights, which control the strength of connections between neurons and influence how the model performs tasks. They're set during the training process and they take up memory space based on the precision used to represent them.</p>
<div class="lb-trans"><p>基於 Transformer 架構的人工智能模型涉及數百萬或數十億個權重，這些權重控制神經元之間連接的強度，並影響模型執行任務的方式。它們在訓練過程中設定，並根據表示它們所使用的精度佔用內存空間。</p>
</div><p>A model quantized at GGUF FP16 (16 bits) will take up much more space than one quantized at GGUF Q8_0 (8 bits) or GGUF Q4_0 (4 bits) or GGUF Q2_K (2 bits). That's excluding metadata and overhead that might increase actual storage space required. But given the same basic architecture, 16-bit models generally perform better than models quantized at lower levels.</p>
<div class="lb-trans"><p>以 GGUF FP16（16 位）量化的模型將佔用比以 GGUF Q8_0（8 位）或 GGUF Q4_0（4 位）或 GGUF Q2_K（2 位）量化的模型更多的空間。這不包括可能增加實際存儲空間需求的元數據和開銷。但在相同基本架構下，16 位模型通常比低位量化的模型表現更好。</p>
</div><p>PrismML's Bonsai model family is based on an architecture where &#34;each weight is represented only by its sign, {−1, +1}, while a shared scale factor is stored for each group of weights,&#34; as explained in the company's white paper [PDF], instead of a 16-bit or 32-bit floating point number. Researchers have been working on improved approaches to quantization for many years, described in papers like &#34;BitNet: Bit-Regularized Deep Neural Networks&#34; (2017) and &#34;The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits&#34; (2024).</p>
<div class="lb-trans"><p>PrismML 的 Bonsai 模型系列基於一種架構，其中&#34;每個權重僅由其符號表示，{−1, +1}，而每組權重共享一個縮放因子，&#34;正如該公司在其白皮書中所解釋的那樣，而不是 16 位或 32 位浮點數。研究人員多年來一直在研究改進量化的方法，相關論文包括《BitNet: Bit-Regularized Deep Neural Networks》（2017）和《1 位 LLM 的時代：所有大型語言模型都在 1.58 位中》（2024）。</p>
</div><p>PrismML's approach is based on work done by Caltech electrical engineering professor Babak Hassibi and colleagues. The company claims that its 1-bit architecture avoids the tradeoffs that historically have accompanied low-bit quantization, specifically poor instruction following, errant multi-step reasoning, and unreliable tool use.</p>
<div class="lb-trans"><p>PrismML 的方法基於加州理工學院電氣工程教授 Babak Hassibi 及其同事的研究。該公司聲稱其 1 位架構避免了歷史上伴隨低位量化而來的權衡，特別是糟糕的指令跟隨、多步驟推理錯誤和不可靠的工具使用。</p>
</div><ul>
<li>Claude Code source leak reveals how much info Anthropic can hoover up about you and your system</li>
<li>Claude Code bypasses safety rule if given too many commands</li>
<li>Amazon security boss: AI makes pentesting 40% more efficient</li>
<li>OpenAI gets $122B to 'just build things' as the world blows them up</li>
</ul>
<div class="lb-trans"><ul>
<li>Claude 代碼源泄露揭示了 Anthropic 可以收集多少關於你和你的系統的信息</li>
<li>Claude 代碼在給出過多命令時繞過安全規則</li>
<li>亞馬遜安全負責人：人工智能使滲透測試效率提高 40%</li>
<li>OpenAI 獲得 1220 億美元用於'僅僅構建東西'，而世界正在摧毀他們</li>
</ul>
</div><p>&#34;We spent years developing the mathematical theory required to compress a neural network without losing its reasoning capabilities,&#34; said Babak Hassibi, CEO and founder of PrismML, in a statement. &#34;We see 1-bit not as an endpoint, but as a starting point.&#34;</p>
<div class="lb-trans"><p>PrismML 的首席執行官兼創始人 Babak Hassibi 在一份聲明中表示：&#34;我們花了多年時間開發所需的數學理論，以在不失去推理能力的情況下壓縮神經網絡。&#34; &#34;我們將 1 位視為起點，而不是終點。&#34;</p>
</div><p>Hassibi argues that the company's 1-bit architecture establishes a new paradigm for AI that's focused on intelligence per unit of compute and energy.</p>
<div class="lb-trans"><p>Hassibi 認為，該公司的 1 位架構建立了一種新的人工智能範式，專注於每單位計算和能量的智能。</p>
</div><p>To encourage others to think along these lines – remember when performance-per-watt became a thing? – PrismML proposes the measurement of intelligence density, a metric that shows its models in a good light.</p>
<div class="lb-trans"><p>為了鼓勵其他人朝這個方向思考——還記得性能每瓦特成為熱門話題的時候嗎？——PrismML 提出了智能密度的測量，這一指標使其模型展現出良好的表現。</p>
</div><p>&#34;We define intelligence density as the negative of the log of the model's average error rate (across the same benchmark suite) divided by the model size,&#34; the company explains.</p>
<div class="lb-trans"><p>該公司解釋道：&#34;我們將智能密度定義為模型平均錯誤率的負對數（在相同基準套件中）除以模型大小。&#34;</p>
</div><p>Assessed for intelligence density, Qwen3 8B, which comes out a bit ahead of Bonsai 8B in various benchmarks (MMLU Redux, MuSR, GSM8K, etc), scores just 0.10/GB for intelligence density, far short of Bonsai 8B at 1.06/GB.</p>
<div class="lb-trans"><p>在智能密度評估中，Qwen3 8B 在各種基準測試（MMLU Redux、MuSR、GSM8K 等）中稍微領先於 Bonsai 8B，智能密度得分僅為 0.10/GB，遠低於 Bonsai 8B 的 1.06/GB。</p>
</div><p>Metrics may matter for marketing, but the more meaningful yardstick for PrismML's models is their potential to move AI out of cloud datacenters. The company foresees its models powering on-device agents, real-time robotics, secure enterprise systems, and other projects where memory bandwidth, power, or compliance constraints can hinder deployment.</p>
<div class="lb-trans"><p>指標可能對營銷很重要，但 PrismML 模型更有意義的標準是它們將人工智能從雲數據中心移出的潛力。該公司預見其模型將為設備上的代理、實時機器人、安全企業系統以及其他在內存帶寬、功率或合規性限制下可能妨礙部署的項目提供動力。</p>
</div><p>&#34;1-bit Bonsai 8B runs natively on Apple devices (Mac, iPhone, iPad) via MLX, on Nvidia GPUs via llama.cpp CUDA,&#34; the company says. &#34;Model weights are available today under the Apache 2.0 License.&#34;</p>
<div class="lb-trans"><p>該公司表示：&#34;1 位 Bonsai 8B 可以通過 MLX 在 Apple 設備（Mac、iPhone、iPad）上原生運行，通過 Nvidia GPU 通過 llama.cpp CUDA 運行。&#34; &#34;模型權重今天可以在 Apache 2.0 許可證下獲得。&#34;</p>
</div><p>Two smaller models are also available: 1-bit Bonsai 4B and 1-bit Bonsai 1.7B. ®</p>
<div class="lb-trans"><p>還有兩個較小的模型可用：1 位 Bonsai 4B 和 1 位 Bonsai 1.7B。®</p>
</div>

PrismML debuts energy-sipping 1-bit LLM in bid to free AI from the cloud

The Register

2 倍做多 AAPL ETF - GraniteShares

標普半導體 ETF - SPDR

2 倍做多英偉達 ETF - GraniteShares

半導體 3 倍做多 - Direxion

動態半導體 ETF - Invesco

T-Rex 2X Long Apple Daily Target ETF

費城交易所 半導體 ETF - iShares

2 倍做多英偉達 ETF - Direxion

蘋果

英偉達

PrismML 推出節能的 1-bit LLM，試圖讓人工智能擺脱對雲端的依賴