PrismMLが27BモデルをiPhoneに押し込んだ。しかも頭の良さはほぼ落ちていない

土台は依然Qwen3.6-27B。Bonsaiが網全体を極限ビットに押し込む

土台はアリババQwenチームのQwen3.6-27B：約27Bパラメータ、ハイブリッド注意、およそ75%層が線形注意・25%層が完全注意、ネイティブで長い文脈に対応。PrismMLはゼロから新しい27Bを訓練したのではなく、すでに学習済みのこの網を二元または三値の重みへ写像し、それを直接走らせるカスタムカーネルを添えた。

視覚塔は単独で約4-bit、ディスク約0.63GB。純テキスト時は通常常駐しない。任意のDSpark草稿加速層はさらに約1.8–2.0GB。

ローカル27Bを阻む第一の壁：「1語生成するたびに全身を運び直す」

ローカルでトークン単位に生成するとき、端末は新しい字のかたまりを吐くたびに、ほぼ毎回メモリからモデル重み一式を流し直す。小バッチではボトルネックは演算ピークではなくメモリ帯域になりがち。モデルが大きいほど1ステップで運ぶデータが増え、速度・発熱・電量がまとめて悪化する。

数字は直球だ。FP16のQwen3.6-27Bは約54GB。よくある「4-bit」包Q4_K_XLの実質平均は約5.2 bit/weightで約17.6GB。より攻めのIQ2_XXSは「2-bit」と書いてあるが実質約2.8 bit・約9.4GBで、多くのスマホ単一アプリ予算にはまだ重く、長鎖推論のスコアも激しく崩れる。

だから「27Bのどこがすごいのか」の本当の着地点は、パラメータ数の目新しさではなく、この能力帯が初めて端末デプロイの物理境界まで押し込まれたことにある。通常手法は4-bit以上ならまだスコアを保てるが、さらに下げると一様に点が落ちるのではなく、ツール呼び出しのパースや多段推論の一貫性が砕け始める。Bonsaiの主張は、サブ2-bit帯でもそれらの振る舞いを一帯は保っている、という点だ。

圧縮するのは重み。長文を決め打ちするのはキャッシュ

Qwen3.6-27Bのハイブリッド注意は大きく効く。64層のうち完全注意のキャッシュが長さで増えるのは16層だけで、FP16キャッシュはおよそ約64KB/step。全注意27Bより約4倍節約できる。それでも262K文脈のFP16キャッシュは約17.2GBで、1-bit重み本体より大きい。

さらに面白い一点：Bonsaiの重み自体が4-bit KVキャッシュに非常に「耐性」がある。ホワイトペーパーは出力分布のforward-KLで測る。同じ4-bitキャッシュを開いたとき、Bonsaiは自前のFP16キャッシュ基線からの偏差が、FP16／通常4-bit重みより約1桁小さい。つまり圧縮重みと圧縮キャッシュはこの路線では同方向で、互いに足を引っ張らない。プロジェクト文書は4-bit KVを依然として実験的能力と位置づけ、主にメモリ節約、デコードはやや遅く、実ワークロードで校正するのがよい。

平均は9割を維持。損失は指示・ツール・視覚に集中

評価はthinkingモードで15項目。知識・数学・プログラミング・指示追従・ツール呼び出し・視覚をカバー。FP16基線平均85.07、三値80.49、1-bit 76.11。対照でいちばん刺さるのはBonsaiが何点落ちたかではなく、通常の過激量子化がどう崩れるかだ。IQ2_XXSはAIME26を93.33から57.5へ、LiveCodeBenchを87.77から56.4へ落とす。同じセットで1-bit BonsaiのAIMEは87超、LiveCodeBenchは76.4のまま。

位置づけははっきりする。三値はメモリに余裕のあるノートPC向きで、できるだけ27B原版の手触りに寄せたいとき。1-bitはまず「入る」ことを解決する——「平均9割」をそのまま「エージェント能力9割」と読んではいけない。公式サイトはツール呼び出しが全精度より数点低いだけと書くが、三値ならだいたい成り立つ。1-bitではツール系の平均差はほぼ14点に近い。

公式は「1GBあたり知能密度」で体積効率を強調する。1-bitは約0.53/GBで、FP16の10倍超、最密な通常低ビット包の約2.7倍。この指標はPrismML独自で、分母がそのまま体積なので小さいモデルを強く優遇する。デプロイ効率の比較には向くが、絶対能力点の代替にはならない。出典：PrismML公開ページ。

評価の口径で割り引くべき点

EvalScope、vLLM、H100、各項目の生成長予算と採点方式は公開されており、レーダー図1枚だけの通稿より揃っている。第三者再現はまだ見えていない。多くは1回のみ。Bonsaiのサンプリング温度は0.7、Qwen基線と通常量子化は1.0で、生成設定は完全には揃っていない。総平均は15項目の単純平均で、数学が4項目を占め、Bonsaiはちょうど数学で最もよく残るため、「95% / 90%」はツール寄り・指示寄りの実プロダクト負荷より見栄えが良くなる。エージェントを作る人は総平均よりBFCL v3、τ²-Bench、IFEval、IFBenchを優先すべきだ。

速度は二層：低ビット搬送と、CUDA上の草稿加速

低ビット重みは1ステップで運ぶバイトを直接減らすので、トークン単位生成がいちばん得する。ホワイトペーパーは一括でtg128（約128生成単位）とpp512（入力512単位の処理）を報告。バッチサイズ1、草稿層と視覚塔は含まない。

DSpark推測デコード：小さな草稿モデルが先に一段を当て（深さk=4）、目標モデルが一度で検証。検証はロスレスで、出力分布は目標のみ実行と一致。H100上で三値は98.0から131.8トークン/秒（約1.34×）、1-bitは104.8から143.8（約1.37×）。Apple Siliconの単一リクエストでは多行検証のコストを薄められず、既定はオフ。プロジェクトも高度に実験的と記す。

エネルギー側：M5 Pro上の1-bitは約0.275 mWh/トークンで、データセンターGPU 6種の0.63–1.32 mWh/トークンより1桁低い。iPhone 17 Pro Maxでは電量1%あたり約672トークン、持続約10.8トークン/秒。約5.2分で約3360トークン後、電池は100%から95%へ、軽い熱スロットルあり。桁感の参考にはなる。機種による差はある。

まず試す価値があるもの、とまだ当たり前にしないこと

PCがいちばん楽。スマホはいま開発者経路

先に結論：今すぐ触りたいならPC公式demoを優先。スマホ側ではすでに走れるが、App Storeで一点インストールの完成アプリはまだない。1-bit重み＋Apple側MLX／Swiftカーネルを自分で統合するか、公式／サードパーティのアプリ包装を待つ。

git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo

# 默认：三元 27B（笔记本更合适）
export BONSAI_MODEL=27B
# 若 27B 仓库仍私有，填你的 HF 读 token
export BONSAI_TOKEN="hf_your_token_here"
./setup.sh
./scripts/start_llama_server.sh
# 浏览器打开 http://localhost:8080

# 改成 1-bit 手机同款家族：
# BONSAI_FAMILY=bonsai BONSAI_MODEL=27B ./setup.sh

数値とデモは公開資料と技術ホワイトペーパーに基づく。第三者再現や中位機の十分性は各自の確認が必要。27B重みがローカルデプロイのしきいを初めて約4GB付近まで下げた。長文脈・マルチモーダル常駐・エージェント信頼性は、場面ごとに実測が要る。