Gemma 4 技術レポート：小さなパラメータ＋思考＋省メモリで大型に張り合うオープンモデル
Gemma 4 の主線は一文：能力を上げ、コストを下げる三つの工学スタックを同時に回す。
第一は知能：思考モード（推論してから回答）。第二はコスト：局所/大域注意比、p-RoPE、KV 共有、K=V、QAT、MTP 投機的復号。第三はモダリティ：原生のテキスト・画像・音声と、12B のエンコーダ無し統一経路。以降のサイズ・表・Arena 順位はすべてこの文の証拠。
思考モード
数学・コード・STEM 急伸の主エンジン。既定評価ではほぼ常時オン。
長文脈＋量子化＋投機的復号
文脈が伸びても KV を爆発させない。31B は約 64GB→約 19GB。復号も速くできる。
原生マルチモーダル＋12B 統一体
多くのサイズは凍結エンコーダ。12B は画像パッチと音声チャンクを直接取り込み、重い塔を二つ減らす。
- 系列：E2B（実効 2.3B）、E4B（実効 4.5B）、12B、26B-A4B MoE（活性約 4B）、稠密 31B。Apache 2.0。
- Arena Text（2026-06-19）：31B Elo 1451。報告ではオープン稠密首位。上位のオープンは主に数百 B〜T 級 MoE。
- 対 Gemma 3 27B：STEM/コードの差は大きいが、4 は既定 thinking、3 の 27B は多く non-thinking。純アーキ勝利と読んではいけない。
- 端末物語：E2B は複数指標で 27B 級に接近（公式）。音声エンコーダディスク 390MB→87MB。
オープン界のどの問いに答えるか
2026 年のオープン榜は巨大 MoE が占めがち。Gemma 4 は別経路：中小稠密＋思考＋配備しやすさ。
「また 31B が出た」だけだと狙う席を見落とす。当時 Arena 上位のオープンは 300B・700B・1T・1.6T 級 MoE が多い。Gemma が語る物語は：
核心証拠は単一 SOTA ではなくコンボ：稠密 31B がより大きい MoE と同帯（人間選好）、小モデルは端末可（メモリ表＋音声エンコーダ）、長文脈は KV 力技に頼らない（RULER / LOFT）。
まずサイズを選び、誰向け設計かを見る
下の五サイズを押す。同じ家族でも役割は大きく違う。
E2B：端末入門、実効約 2.3B
per-layer embeddings（Gemma 3n 系）。総パラメータは大きいが「実効」2.3B。150M 視覚＋305M 音声エンコーダ。Gemma 3 27B と比較し、約 10 分の 1 のパラメータで複数指標が接近と主張。
E4B：端末主力、実効約 4.5B
小エンコーダ＋積極 QAT 同じ。視覚では列挙項目で Gemma 3 27B 以上（例 MMMU Pro 52.6 vs 49.7、MATH-Vision 59.5 vs 46.0）。長文脈も複数で 27B を上回る。