--- title: "PrismML 推出节能的 1-bit LLM，试图让人工智能摆脱对云端的依赖" type: "News" locale: "zh-CN" url: "https://longbridge.com/zh-CN/news/281678580.md" description: "PrismML 是一家来自加州理工学院的人工智能初创公司，推出了一款名为 Bonsai 8B 的 1 位大型语言模型，旨在提升移动设备上的人工智能效率。该模型显著比传统模型更小、更快且更节能，内存占用仅为 1.15 GB，同时提供超过 10 倍的智能密度。PrismML 的创新架构使得在不牺牲性能的情况下实现低位量化的优势。该公司旨在将人工智能的部署从云数据中心转向设备端应用，Bonsai 8B 可在包括苹果设备和 Nvidia GPU 在内的多种平台上运行" datetime: "2026-04-04T08:10:40.000Z" locales: - [zh-CN](https://longbridge.com/zh-CN/news/281678580.md) - [en](https://longbridge.com/en/news/281678580.md) - [zh-HK](https://longbridge.com/zh-HK/news/281678580.md) --- # PrismML 推出节能的 1-bit LLM，试图让人工智能摆脱对云端的依赖 PrismML，一家来自加州理工学院的人工智能创业公司，发布了一款 1 位的大型语言模型，其性能超过了更重的模型，预计将提高人工智能在移动设备等应用上的效率和可行性。 这款名为 Bonsai 8B 的模型小巧且快速，功耗适中，基准性能特征与更大模型相媲美。 该公司在社交媒体上表示："我们的第一个证明点是 1 位 Bonsai 8B，这是一款适合 1.15 GB 内存的 1 位模型，其智能密度超过全精度模型的 10 倍以上。" "它的体积小 14 倍，速度快 8 倍，并且在边缘硬件上能效高 5 倍，同时在其参数类别中与其他模型保持竞争力。" 基于 Transformer 架构的人工智能模型涉及数百万或数十亿个权重，这些权重控制神经元之间连接的强度，并影响模型执行任务的方式。它们在训练过程中设定，并根据表示它们所使用的精度占用内存空间。 以 GGUF FP16（16 位）量化的模型将占用比以 GGUF Q8\_0（8 位）或 GGUF Q4\_0（4 位）或 GGUF Q2\_K（2 位）量化的模型更多的空间。这不包括可能增加实际存储空间需求的元数据和开销。但在相同基本架构下，16 位模型通常比低位量化的模型表现更好。 PrismML 的 Bonsai 模型系列基于一种架构，其中"每个权重仅由其符号表示，{−1, +1}，而每组权重共享一个缩放因子，"正如该公司在其白皮书中所解释的那样，而不是 16 位或 32 位浮点数。研究人员多年来一直在研究改进量化的方法，相关论文包括《BitNet: Bit-Regularized Deep Neural Networks》（2017）和《1 位 LLM 的时代：所有大型语言模型都在 1.58 位中》（2024）。 PrismML 的方法基于加州理工学院电气工程教授 Babak Hassibi 及其同事的研究。该公司声称其 1 位架构避免了历史上伴随低位量化而来的权衡，特别是糟糕的指令跟随、多步骤推理错误和不可靠的工具使用。 - Claude 代码源泄露揭示了 Anthropic 可以收集多少关于你和你的系统的信息 - Claude 代码在给出过多命令时绕过安全规则 - 亚马逊安全负责人：人工智能使渗透测试效率提高 40% - OpenAI 获得 1220 亿美元用于'仅仅构建东西'，而世界正在摧毁他们 PrismML 的首席执行官兼创始人 Babak Hassibi 在一份声明中表示："我们花了多年时间开发所需的数学理论，以在不失去推理能力的情况下压缩神经网络。" "我们将 1 位视为起点，而不是终点。" Hassibi 认为，该公司的 1 位架构建立了一种新的人工智能范式，专注于每单位计算和能量的智能。 为了鼓励其他人朝这个方向思考——还记得性能每瓦特成为热门话题的时候吗？——PrismML 提出了智能密度的测量，这一指标使其模型展现出良好的表现。 该公司解释道："我们将智能密度定义为模型平均错误率的负对数（在相同基准套件中）除以模型大小。" 在智能密度评估中，Qwen3 8B 在各种基准测试（MMLU Redux、MuSR、GSM8K 等）中稍微领先于 Bonsai 8B，智能密度得分仅为 0.10/GB，远低于 Bonsai 8B 的 1.06/GB。 指标可能对营销很重要，但 PrismML 模型更有意义的标准是它们将人工智能从云数据中心移出的潜力。该公司预见其模型将为设备上的代理、实时机器人、安全企业系统以及其他在内存带宽、功率或合规性限制下可能妨碍部署的项目提供动力。 该公司表示："1 位 Bonsai 8B 可以通过 MLX 在 Apple 设备（Mac、iPhone、iPad）上原生运行，通过 Nvidia GPU 通过 llama.cpp CUDA 运行。" "模型权重今天可以在 Apache 2.0 许可证下获得。" 还有两个较小的模型可用：1 位 Bonsai 4B 和 1 位 Bonsai 1.7B。® ### 相关股票 - [NVDX.US](https://longbridge.com/zh-CN/quote/NVDX.US.md) - [IXN.US](https://longbridge.com/zh-CN/quote/IXN.US.md) - [SMH.US](https://longbridge.com/zh-CN/quote/SMH.US.md) - [AAPB.US](https://longbridge.com/zh-CN/quote/AAPB.US.md) - [XSD.US](https://longbridge.com/zh-CN/quote/XSD.US.md) - [NVDL.US](https://longbridge.com/zh-CN/quote/NVDL.US.md) - [SOXL.US](https://longbridge.com/zh-CN/quote/SOXL.US.md) - [PSI.US](https://longbridge.com/zh-CN/quote/PSI.US.md) - [AAPX.US](https://longbridge.com/zh-CN/quote/AAPX.US.md) - [SOXX.US](https://longbridge.com/zh-CN/quote/SOXX.US.md) - [NVDU.US](https://longbridge.com/zh-CN/quote/NVDU.US.md) - [AAPL.US](https://longbridge.com/zh-CN/quote/AAPL.US.md) - [NVDA.US](https://longbridge.com/zh-CN/quote/NVDA.US.md) ## 相关资讯与研究 - [Anthropic 发布 Managed Agents，才发现这支硅谷华人团队早就押对了赌注](https://longbridge.com/zh-CN/news/282149364.md) - [英伟达收购告吹后，Nebius 正洽谈收购以色列人工智能初创公司 AI21](https://longbridge.com/zh-CN/news/282161968.md) - [巨鲸落万物生：Sora 退场、PixVerse C1 接棒，瞄准影视工业化](https://longbridge.com/zh-CN/news/282128811.md) - [Anthropic 年化收入突破 300 亿美元，科创半导体 ETF 华夏冲击 4 连涨](https://longbridge.com/zh-CN/news/282128085.md) - [Anthropic 发布 Claude Managed Agents 解耦架构重塑长周期任务处理](https://longbridge.com/zh-CN/news/282123376.md)