PrismML 将 27B 模型塞进你的 iPhone 里，而且智商几乎没怎么缩水
把约 54GB 的 27B 模型压到约 3.9–5.9GB：手机能本地跑，平均分还保住大约九成。下面先讲核心价值，技术细节和要打折的地方放后半段。
PrismML 放出了 Bonsai 27B。核心变化是：把一个原本只能在云端或顶配电脑上运行的「巨无霸」模型，缩到可以塞进你的 iPhone，而且智商几乎没怎么缩水。
三分钟拿走核心信息
以前，像 27B（270 亿参数）这种中大型模型，原版文件大约 54GB。就算用常见的 4-bit 压缩，也还有约 18GB，手机根本装不下、跑不动。
Bonsai 27B 用极端低比特压缩（1-bit 和三元），把语言权重压到约 3.9GB–5.9GB（三元实际部署包约 7.2GB）。可以不连网，在手机或普通笔记本上本地跑；电脑端（RTX 5090）峰值约每秒 163 字，苹果 M5 Max 约每秒 66–87 字量级。
压缩越狠，模型通常越笨。在「高强度思考模式」下用 15 项测试对比原版：
数学、写代码这类硬指标掉得最少。工具调用和视觉掉得更多，后文会拆开。它不是只剩闲聊的玩具，至少在这套题库上，还像能干活的生产力模型。
- 1-bit 手机版 · 约 3.9GB · 旗舰 iPhone 预算能塞下语言权重，平均分约九成
- 三元电脑版 · 理想 5.9GB / 实际部署约 7.2GB · 笔记本更合适，平均分约 95%
- 许可证 · Apache 2.0，权重和 demo 已公开
下面拆技术：底座是谁、为什么常规压缩会崩、手机内存里到底塞了什么、速度和演示要怎么读。「手机里也能跑」不等于 262K 长文、视觉和长时间代理一次全开。
底座仍是 Qwen3.6-27B，Bonsai 负责把整网压进极限比特
底座是阿里 Qwen 团队的 Qwen3.6-27B：大约 27B 参数、混合注意力结构，约 75% 层用线性注意力、25% 层用完整注意力，原生支持很长上下文。PrismML 没有另起炉灶训练一个全新 27B，而是把这张已经训好的网，映射到二元或三元权重，再配上能直接跑这些权重的自定义内核。
每 128 个权重共享一个缩放系数。理论约 1.71 bit/weight，理想体积 5.9GB；当前内核用 2-bit 槽位打包，实际约 7.2GB。15 项平均 80.49，约为原版 94.6%。
只有符号位加分组缩放，约 1.125 bit/weight，部署约 3.9GB。平均 76.11，约为原版 89.5%。这是能进手机单应用预算的那一档。
视觉塔单独约 4-bit，磁盘约 0.63GB，纯文本时通常不常驻。可选的 DSpark 草稿加速层大约再占 1.8–2.0GB。
卡住本地 27B 的，首先是「每生成一个词都要搬一次整套体重」
本地逐词生成时，设备几乎每吐出一小段新字，就要把整套模型权重从内存里再流一遍。小批量场景里，瓶颈往往是内存带宽，不是算力峰值。模型越大，每一步搬的数据越多，速度、发热、电量一起变差。
FP16 的 Qwen3.6-27B 约 54GB。常见「4-bit」包 Q4_K_XL 真实平均约 5.2 bit/weight，约 17.6GB。更激进的 IQ2_XXS 标「2-bit」，真实约 2.8 bit，约 9.4GB，对多数手机单应用预算仍过重，而且长链推理分数塌得厉害。
这就是「27B 有什么可牛的」真正落点：不是参数量本身新奇，而是这一档能力第一次被压到端侧可部署的物理边界里。常规方法在 4-bit 以上还能保住分数，再往下往往不是均匀掉分，而是工具调用解析、多步推理连贯性开始碎掉。Bonsai 的主张是：它在亚 2-bit 区仍把这些行为保住一截。
压缩的是权重，决定能不能跑长文的是缓存
Qwen3.6-27B 的混合注意力帮了大忙：64 层里只有 16 层的完整注意力缓存会随长度增长，FP16 缓存大约 约 64KB/步，已经比全注意力 27B 省大约四倍。即便如此，262K 上下文的 FP16 缓存仍约 17.2GB，比 1-bit 权重本身还大。
Bonsai 权重本身对 4-bit KV 缓存相当「耐受」。用输出分布的 forward-KL 衡量：同样开 4-bit 缓存，Bonsai 相对自己的 FP16 缓存基线，偏差大约比 FP16 / 常规 4-bit 权重低一个数量级。压缩权重和压缩缓存在这条路线上是同向的，不是互相拆台。项目文档仍把 4-bit KV 标成实验性能力，主要省内存，解码会稍慢，最好用真实工作负载校准。
平均保住九成，损失落在指令、工具和视觉上
评测在 thinking 模式下完成，共 15 项，覆盖知识、数学、编程、指令遵循、工具调用和视觉。FP16 基线平均 85.07；三元 80.49；1-bit 76.11。对照里最刺眼的不是 Bonsai 掉了几分，而是常规激进量化怎么塌：IQ2_XXS 在 AIME26 从 93.33 掉到 57.5，LiveCodeBench 从 87.77 掉到 56.4；同一套题上，1-bit Bonsai 的 AIME 仍在 87 以上，LiveCodeBench 76.4。
| 能力类别 | FP16 | 三元 | 1-bit | 1-bit 差距 |
|---|---|---|---|---|
| 数学 | 95.33 | 93.40 | 91.66 | −3.67 |
| 编程 | 88.74 | 85.96 | 81.88 | −6.86 |
| 知识与推理 | 83.15 | 76.96 | 73.39 | −9.76 |
| 指令遵循 | 78.47 | 71.77 | 65.74 | −12.73 |
| 工具调用 | 80.00 | 74.01 | 66.03 | −13.97 |
| 视觉 | 72.61 | 65.19 | 59.57 | −13.04 |
| 总平均（15 项） | 85.07 | 80.49 | 76.11 | −8.96 |
两个版本的定位就出来了：三元适合内存够的笔记本，想尽量靠近 27B 原厂手感；1-bit 先解决「装得下」，不能把「平均九成」直接读成「代理能力九成」。工具调用若只比全精度低几分，对三元勉强成立；对 1-bit，工具类平均差接近 14 分。
评测口径要打折的地方
评测用了 EvalScope、vLLM、H100，并公开了各项生成长度预算和打分方式，比只丢一张雷达图的通稿更完整。但结果尚未见第三方复现。多数项目只跑一次；Bonsai 采样温度 0.7，Qwen 基线与常规量化为 1.0，生成设置不完全一致。总平均是 15 项简单平均，数学占 4 项，而 Bonsai 恰好在数学上保留最好，「95% / 90%」会比偏工具、偏指令的真实产品负载更好看。做代理时优先看 BFCL v3、τ²-Bench、IFEval、IFBench，而不是只看总平均。
速度有两层：低比特搬运，和 CUDA 上的草稿加速
低比特权重直接减少每一步要搬的字节，所以逐词生成最受益。速度按 tg128（生成约 128 个单位）和 pp512（处理 512 个输入单位）统一报告，批量大小 1，不含草稿层和视觉塔。
DSpark 推测解码：小草稿模型先猜一段（深度 k=4），目标模型一次验证。验证是无损的，输出分布与只跑目标模型一致。H100 上，三元从 98.0 提到 131.8 字/秒（约 1.34×），1-bit 从 104.8 提到 143.8（约 1.37×）。在 Apple Silicon 单请求场景，多行验证还摊不薄成本，默认不开启；项目也把它标为高度实验性。
能耗侧：M5 Pro 上 1-bit 约 0.275 mWh/字，比六类数据中心 GPU 的 0.63–1.32 mWh/字低一个数量级。iPhone 17 Pro Max 上约每 1% 电量生成约 672 字，持续约 10.8 字/秒，5.2 分钟跑约 3360 字后电池从 100% 到 95%，有轻度热节流。数量级可参考，具体机型会有偏差。
适合先试，和暂时别想当然
隐私敏感的本地问答与文档；离线助手；把重复、非最难的代理步骤从云端挪到本地；单张消费级 GPU 托管 27B；笔记本上跑三元版做长文档。
手机上开满 262K；视觉塔当常驻；默认开 DSpark；长时间多文件代理编码；把这 15 项平均分直接当生产可靠性。
电脑最省事，手机目前走开发者路径
普通人想马上摸到，优先装电脑端 demo；手机侧已经能跑，但还没有「App Store 一点就装」的成品 App，需要用 1-bit 权重 + Apple 端 MLX / Swift 内核自己集成，或等后续 App 封装。
官方一站式仓库：PrismML-Eng/Bonsai-demo。两条命令就能起本地聊天服务（含视觉、工具调用）。
- 默认拉三元 27B：偏质量，适合内存够的笔记本 / 台式机（约 7GB 级语言包）
- 想试手机同款体积：换 1-bit 家族
BONSAI_FAMILY=bonsai - 27B 权重若仍私有：需要 Hugging Face 读 token 设到
BONSAI_TOKEN - 起来后：浏览器打开
http://localhost:8080就能聊；Mac 也可用 MLX 脚本run_mlx.sh - Windows：同仓库用
setup.ps1/run_llama.ps1
- 装好 git、磁盘留足约 15GB+（权重 + 运行时）
- 克隆并进入仓库（命令见下方可复制块）
- 跑
./setup.sh（会下模型、预编译二进制；Mac 还会处理 MLX） - 跑
./scripts/start_llama_server.sh，浏览器开 localhost:8080 - 要 1-bit：设置
BONSAI_FAMILY=bonsai再 setup / 启动
git clone https://github.com/PrismML-Eng/Bonsai-demo.git cd Bonsai-demo # 默认：三元 27B（笔记本更合适） export BONSAI_MODEL=27B # 若 27B 仓库仍私有，填你的 HF 读 token export BONSAI_TOKEN="hf_your_token_here" ./setup.sh ./scripts/start_llama_server.sh # 浏览器打开 http://localhost:8080 # 改成 1-bit 手机同款家族： # BONSAI_FAMILY=bonsai BONSAI_MODEL=27B ./setup.sh
iPhone 17 Pro Max 上，1-bit 约 3.9GB 语言权重、大约每秒 11 字。Apple 设备走 MLX（Python / Swift）。
- 权重：Hugging Face 上的 1-bit MLX 包，例如 prism-ml/Bonsai-27B-mlx-1bit（约 4GB 量级，含打包开销）
- 内核：官方维护的 mlx-swift 分支（iOS / macOS 低比特内核）；语言侧才能真·1-bit 跑
- 现实门槛：旗舰机内存预算紧（约一半物理内存给 App）；要会 Xcode / Swift 集成，不是给纯小白的「下载安装包」流程
- 三元版不要硬塞手机：部署约 7.2GB，会顶破常见 iOS 单应用预算
- Android：本发布主推 Apple MLX + NVIDIA CUDA，没有同等「一键上安卓商店」路径；有开发能力可走 GGUF / llama.cpp 自行移植，官方未给傻瓜包
发布页提供限时免费的开发者预览 API，不用本机下 27B 也能先摸能力。本地权重与 demo 仍是 Apache 2.0 开源主路径：权重合集见 Bonsai 27B Collection。
以上数据与演示来自发布材料与技术白皮书，第三方是否复现、中端机是否够用，仍需自行验证。27B 权重第一次把本地部署门槛压到约 4GB；长上下文、多模态常驻和代理可靠性仍要按场景实测。