Gemma 4 技术报告：开源模型怎么用「小参数 + 会思考 + 省内存」硬碰大模型
Gemma 4 的主线只有一句话：用三套工程把「能力」和「成本」同时往有利方向拧。
第一套抬智能：思考模式（先推理再回答）。第二套压成本：本地/全局注意力配比、p-RoPE、KV 共享、K=V、QAT 量化、MTP 投机解码。第三套扩模态：原生图文声，并给 12B 一条「不要独立编码器」的统一架构。下面所有型号、表格、Arena 名次，都是在给这句话提供证据。
思考模式
数学、代码、STEM 大涨的主要发动机；默认评测几乎都开着它。
长上下文 + 量化 + 投机解码
上下文拉长时 KV 别爆；31B 从约 64GB 收到约 19GB；解码还能加速。
原生多模态 + 12B 统一体
多数尺寸用冻结编码器；12B 直接吞图块和音频切片，少两坨大权重。
- 家族：E2B（有效 2.3B）、E4B（有效 4.5B）、12B、26B-A4B MoE（约 4B 激活）、31B 稠密。Apache 2.0。
- Arena Text（2026-06-19）：31B Elo 1451，报告称开源稠密第一；旁边更高名次多为数百 B～T 级 MoE。
- 相对 Gemma 3 27B：STEM/代码断层很大，但表中 4 代默认 thinking、3 代 27B 多处 non-thinking，不能当纯架构胜利解读。
- 端侧叙事：E2B 多项摸近 27B 量级能力（官方口径），音频编码器磁盘 390MB→87MB。
它在回应开源圈的哪道题
2026 年开源榜常被超大 MoE 占据。Gemma 4 选的是另一条：稠密中小尺寸 + 会思考 + 部署友好。
读这份报告，如果只记「又出了 31B」，会漏掉它真正想争的位置。当时 Arena 前列的开源模型，大量是 300B、700B、1T、甚至 1.6T 总参的 MoE。Gemma 把故事改成：
所以报告的「核心证据」不是某一个单点 SOTA，而是组合拳：31B 稠密能和更大 MoE 同台（人类偏好）；小模型还能端侧（内存表 + 音频编码器体积）；长上下文不靠蛮力堆 KV（RULER / LOFT）。
先选一个尺寸，看它被设计成谁
点下面五个型号。同一家族，分工差得很远。
E2B：端侧入门，有效约 2.3B
用 per-layer embeddings（和 Gemma 3n 一脉），总参数更大，但「有效」算 2.3B。自带 150M 视觉 + 305M 音频编码器。报告拿它和 Gemma 3 27B 比，主张「参数少约一个数量级，多项接近」。
E4B：端侧主力，有效约 4.5B
同样走小编码器 + 激进量化。视觉评测上，报告写它在所列项目上全面不低于 Gemma 3 27B（如 MMMU Pro 52.6 vs 49.7，MATH-Vision 59.5 vs 46.0）。长上下文多项也已压过 27B。