<p>PrismML，一家来自加州理工学院的人工智能创业公司，发布了一款 1 位的大型语言模型，其性能超过了更重的模型，预计将提高人工智能在移动设备等应用上的效率和可行性。</p>
<p>这款名为 Bonsai 8B 的模型小巧且快速，功耗适中，基准性能特征与更大模型相媲美。</p>
<p>该公司在社交媒体上表示：&#34;我们的第一个证明点是 1 位 Bonsai 8B，这是一款适合 1.15 GB 内存的 1 位模型，其智能密度超过全精度模型的 10 倍以上。&#34; &#34;它的体积小 14 倍，速度快 8 倍，并且在边缘硬件上能效高 5 倍，同时在其参数类别中与其他模型保持竞争力。&#34;</p>
<p>基于 Transformer 架构的人工智能模型涉及数百万或数十亿个权重，这些权重控制神经元之间连接的强度，并影响模型执行任务的方式。它们在训练过程中设定，并根据表示它们所使用的精度占用内存空间。</p>
<p>以 GGUF FP16（16 位）量化的模型将占用比以 GGUF Q8_0（8 位）或 GGUF Q4_0（4 位）或 GGUF Q2_K（2 位）量化的模型更多的空间。这不包括可能增加实际存储空间需求的元数据和开销。但在相同基本架构下，16 位模型通常比低位量化的模型表现更好。</p>
<p>PrismML 的 Bonsai 模型系列基于一种架构，其中&#34;每个权重仅由其符号表示，{−1, +1}，而每组权重共享一个缩放因子，&#34;正如该公司在其白皮书中所解释的那样，而不是 16 位或 32 位浮点数。研究人员多年来一直在研究改进量化的方法，相关论文包括《BitNet: Bit-Regularized Deep Neural Networks》（2017）和《1 位 LLM 的时代：所有大型语言模型都在 1.58 位中》（2024）。</p>
<p>PrismML 的方法基于加州理工学院电气工程教授 Babak Hassibi 及其同事的研究。该公司声称其 1 位架构避免了历史上伴随低位量化而来的权衡，特别是糟糕的指令跟随、多步骤推理错误和不可靠的工具使用。</p>
<ul>
<li>Claude 代码源泄露揭示了 Anthropic 可以收集多少关于你和你的系统的信息</li>
<li>Claude 代码在给出过多命令时绕过安全规则</li>
<li>亚马逊安全负责人：人工智能使渗透测试效率提高 40%</li>
<li>OpenAI 获得 1220 亿美元用于'仅仅构建东西'，而世界正在摧毁他们</li>
</ul>
<p>PrismML 的首席执行官兼创始人 Babak Hassibi 在一份声明中表示：&#34;我们花了多年时间开发所需的数学理论，以在不失去推理能力的情况下压缩神经网络。&#34; &#34;我们将 1 位视为起点，而不是终点。&#34;</p>
<p>Hassibi 认为，该公司的 1 位架构建立了一种新的人工智能范式，专注于每单位计算和能量的智能。</p>
<p>为了鼓励其他人朝这个方向思考——还记得性能每瓦特成为热门话题的时候吗？——PrismML 提出了智能密度的测量，这一指标使其模型展现出良好的表现。</p>
<p>该公司解释道：&#34;我们将智能密度定义为模型平均错误率的负对数（在相同基准套件中）除以模型大小。&#34;</p>
<p>在智能密度评估中，Qwen3 8B 在各种基准测试（MMLU Redux、MuSR、GSM8K 等）中稍微领先于 Bonsai 8B，智能密度得分仅为 0.10/GB，远低于 Bonsai 8B 的 1.06/GB。</p>
<p>指标可能对营销很重要，但 PrismML 模型更有意义的标准是它们将人工智能从云数据中心移出的潜力。该公司预见其模型将为设备上的代理、实时机器人、安全企业系统以及其他在内存带宽、功率或合规性限制下可能妨碍部署的项目提供动力。</p>
<p>该公司表示：&#34;1 位 Bonsai 8B 可以通过 MLX 在 Apple 设备（Mac、iPhone、iPad）上原生运行，通过 Nvidia GPU 通过 llama.cpp CUDA 运行。&#34; &#34;模型权重今天可以在 Apache 2.0 许可证下获得。&#34;</p>
<p>还有两个较小的模型可用：1 位 Bonsai 4B 和 1 位 Bonsai 1.7B。®</p>

2 倍做多 NVDA ETF - T-Rex

全球科技股指数 ETF - iShares

半导体 ETF - VanEck Vectors

<p>PrismML 是一家来自加州理工学院的人工智能初创公司，推出了一款名为 Bonsai 8B 的 1 位大型语言模型，旨在提升移动设备上的人工智能效率。该模型显著比传统模型更小、更快且更节能，内存占用仅为 1.15 GB，同时提供超过 10 倍的智能密度。PrismML 的创新架构使得在不牺牲性能的情况下实现低位量化的优势。该公司旨在将人工智能的部署从云数据中心转向设备端应用，Bonsai 8B 可在包括苹果设备和 Nvidia GPU 在内的多种平台上运行</p>

<p>PrismML, an AI venture out of Caltech, has released a 1-bit large language model that outperforms weightier models, with the expectation that it will improve AI efficiency and viability on mobile devices, among other applications.</p>
<div class="lb-trans"><p>PrismML，一家来自加州理工学院的人工智能创业公司，发布了一款 1 位的大型语言模型，其性能超过了更重的模型，预计将提高人工智能在移动设备等应用上的效率和可行性。</p>
</div><p>The model, dubbed Bonsai 8B, manages to be small and fast, with modest power demands and benchmark performance characteristics that rival much larger models.</p>
<div class="lb-trans"><p>这款名为 Bonsai 8B 的模型小巧且快速，功耗适中，基准性能特征与更大模型相媲美。</p>
</div><p>&#34;Our first proof point is 1-bit Bonsai 8B, a 1-bit model that fits into 1.15 GB of memory and delivers over 10x the intelligence density of its full-precision counterparts,&#34; the company said in a social media post. &#34;It is 14x smaller, 8x faster, and 5x more energy efficient on edge hardware while remaining competitive with other models in its parameter-class.&#34;</p>
<div class="lb-trans"><p>该公司在社交媒体上表示：&#34;我们的第一个证明点是 1 位 Bonsai 8B，这是一款适合 1.15 GB 内存的 1 位模型，其智能密度超过全精度模型的 10 倍以上。&#34; &#34;它的体积小 14 倍，速度快 8 倍，并且在边缘硬件上能效高 5 倍，同时在其参数类别中与其他模型保持竞争力。&#34;</p>
</div><p>AI models based on the Transformer architecture involve neural networks with millions or billions of weights, which control the strength of connections between neurons and influence how the model performs tasks. They're set during the training process and they take up memory space based on the precision used to represent them.</p>
<div class="lb-trans"><p>基于 Transformer 架构的人工智能模型涉及数百万或数十亿个权重，这些权重控制神经元之间连接的强度，并影响模型执行任务的方式。它们在训练过程中设定，并根据表示它们所使用的精度占用内存空间。</p>
</div><p>A model quantized at GGUF FP16 (16 bits) will take up much more space than one quantized at GGUF Q8_0 (8 bits) or GGUF Q4_0 (4 bits) or GGUF Q2_K (2 bits). That's excluding metadata and overhead that might increase actual storage space required. But given the same basic architecture, 16-bit models generally perform better than models quantized at lower levels.</p>
<div class="lb-trans"><p>以 GGUF FP16（16 位）量化的模型将占用比以 GGUF Q8_0（8 位）或 GGUF Q4_0（4 位）或 GGUF Q2_K（2 位）量化的模型更多的空间。这不包括可能增加实际存储空间需求的元数据和开销。但在相同基本架构下，16 位模型通常比低位量化的模型表现更好。</p>
</div><p>PrismML's Bonsai model family is based on an architecture where &#34;each weight is represented only by its sign, {−1, +1}, while a shared scale factor is stored for each group of weights,&#34; as explained in the company's white paper [PDF], instead of a 16-bit or 32-bit floating point number. Researchers have been working on improved approaches to quantization for many years, described in papers like &#34;BitNet: Bit-Regularized Deep Neural Networks&#34; (2017) and &#34;The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits&#34; (2024).</p>
<div class="lb-trans"><p>PrismML 的 Bonsai 模型系列基于一种架构，其中&#34;每个权重仅由其符号表示，{−1, +1}，而每组权重共享一个缩放因子，&#34;正如该公司在其白皮书中所解释的那样，而不是 16 位或 32 位浮点数。研究人员多年来一直在研究改进量化的方法，相关论文包括《BitNet: Bit-Regularized Deep Neural Networks》（2017）和《1 位 LLM 的时代：所有大型语言模型都在 1.58 位中》（2024）。</p>
</div><p>PrismML's approach is based on work done by Caltech electrical engineering professor Babak Hassibi and colleagues. The company claims that its 1-bit architecture avoids the tradeoffs that historically have accompanied low-bit quantization, specifically poor instruction following, errant multi-step reasoning, and unreliable tool use.</p>
<div class="lb-trans"><p>PrismML 的方法基于加州理工学院电气工程教授 Babak Hassibi 及其同事的研究。该公司声称其 1 位架构避免了历史上伴随低位量化而来的权衡，特别是糟糕的指令跟随、多步骤推理错误和不可靠的工具使用。</p>
</div><ul>
<li>Claude Code source leak reveals how much info Anthropic can hoover up about you and your system</li>
<li>Claude Code bypasses safety rule if given too many commands</li>
<li>Amazon security boss: AI makes pentesting 40% more efficient</li>
<li>OpenAI gets $122B to 'just build things' as the world blows them up</li>
</ul>
<div class="lb-trans"><ul>
<li>Claude 代码源泄露揭示了 Anthropic 可以收集多少关于你和你的系统的信息</li>
<li>Claude 代码在给出过多命令时绕过安全规则</li>
<li>亚马逊安全负责人：人工智能使渗透测试效率提高 40%</li>
<li>OpenAI 获得 1220 亿美元用于'仅仅构建东西'，而世界正在摧毁他们</li>
</ul>
</div><p>&#34;We spent years developing the mathematical theory required to compress a neural network without losing its reasoning capabilities,&#34; said Babak Hassibi, CEO and founder of PrismML, in a statement. &#34;We see 1-bit not as an endpoint, but as a starting point.&#34;</p>
<div class="lb-trans"><p>PrismML 的首席执行官兼创始人 Babak Hassibi 在一份声明中表示：&#34;我们花了多年时间开发所需的数学理论，以在不失去推理能力的情况下压缩神经网络。&#34; &#34;我们将 1 位视为起点，而不是终点。&#34;</p>
</div><p>Hassibi argues that the company's 1-bit architecture establishes a new paradigm for AI that's focused on intelligence per unit of compute and energy.</p>
<div class="lb-trans"><p>Hassibi 认为，该公司的 1 位架构建立了一种新的人工智能范式，专注于每单位计算和能量的智能。</p>
</div><p>To encourage others to think along these lines – remember when performance-per-watt became a thing? – PrismML proposes the measurement of intelligence density, a metric that shows its models in a good light.</p>
<div class="lb-trans"><p>为了鼓励其他人朝这个方向思考——还记得性能每瓦特成为热门话题的时候吗？——PrismML 提出了智能密度的测量，这一指标使其模型展现出良好的表现。</p>
</div><p>&#34;We define intelligence density as the negative of the log of the model's average error rate (across the same benchmark suite) divided by the model size,&#34; the company explains.</p>
<div class="lb-trans"><p>该公司解释道：&#34;我们将智能密度定义为模型平均错误率的负对数（在相同基准套件中）除以模型大小。&#34;</p>
</div><p>Assessed for intelligence density, Qwen3 8B, which comes out a bit ahead of Bonsai 8B in various benchmarks (MMLU Redux, MuSR, GSM8K, etc), scores just 0.10/GB for intelligence density, far short of Bonsai 8B at 1.06/GB.</p>
<div class="lb-trans"><p>在智能密度评估中，Qwen3 8B 在各种基准测试（MMLU Redux、MuSR、GSM8K 等）中稍微领先于 Bonsai 8B，智能密度得分仅为 0.10/GB，远低于 Bonsai 8B 的 1.06/GB。</p>
</div><p>Metrics may matter for marketing, but the more meaningful yardstick for PrismML's models is their potential to move AI out of cloud datacenters. The company foresees its models powering on-device agents, real-time robotics, secure enterprise systems, and other projects where memory bandwidth, power, or compliance constraints can hinder deployment.</p>
<div class="lb-trans"><p>指标可能对营销很重要，但 PrismML 模型更有意义的标准是它们将人工智能从云数据中心移出的潜力。该公司预见其模型将为设备上的代理、实时机器人、安全企业系统以及其他在内存带宽、功率或合规性限制下可能妨碍部署的项目提供动力。</p>
</div><p>&#34;1-bit Bonsai 8B runs natively on Apple devices (Mac, iPhone, iPad) via MLX, on Nvidia GPUs via llama.cpp CUDA,&#34; the company says. &#34;Model weights are available today under the Apache 2.0 License.&#34;</p>
<div class="lb-trans"><p>该公司表示：&#34;1 位 Bonsai 8B 可以通过 MLX 在 Apple 设备（Mac、iPhone、iPad）上原生运行，通过 Nvidia GPU 通过 llama.cpp CUDA 运行。&#34; &#34;模型权重今天可以在 Apache 2.0 许可证下获得。&#34;</p>
</div><p>Two smaller models are also available: 1-bit Bonsai 4B and 1-bit Bonsai 1.7B. ®</p>
<div class="lb-trans"><p>还有两个较小的模型可用：1 位 Bonsai 4B 和 1 位 Bonsai 1.7B。®</p>
</div>

PrismML debuts energy-sipping 1-bit LLM in bid to free AI from the cloud

The Register

2 倍做多 AAPL ETF - GraniteShares

标普半导体 ETF - SPDR

2 倍做多英伟达 ETF - GraniteShares

半导体 3 倍做多 - Direxion

动态半导体 ETF - Invesco

T-Rex 2X Long Apple Daily Target ETF

费城交易所 半导体 ETF - iShares

2 倍做多英伟达 ETF - Direxion

苹果

英伟达

PrismML 推出节能的 1-bit LLM，试图让人工智能摆脱对云端的依赖