Databricks の実測 — 数百万行の巨大コードベースで、どのモデルとハーネスが一番コスパよく、一番使いやすいのか
- Databricks が主要な AI コーディングアシスタントを自社の数百万行のコードで一斉テスト。問題はエンジニアがマージ済みの PR から作ったもので、ネット上には存在せず、モデルも暗記していない
- いちばん直感に反する結論 — トークン単価でモデルを選ぶと間違えます。Sonnet 5 は Opus 4.8 よりトークン単価が1.7倍安いのに、1問解き終えると逆に高くつき（$2.09 対 $1.94）、スコアも6ポイント低い
- コストを左右するのはモデルより外側（ハーネス）。同じモデル、同じ思考レベル（thinking effort）でも、外側を替えるだけでコストは2倍以上変わります。差は毎ターンどれだけの文脈をモデルに流し込むか — Opus は claude code 経由で1問あたり累計742kトークン、pi なら236kで済みます
- オープンソースが第一グループ入り — GLM 5.2 の品質は Opus 4.8 と互角（ともに87%）、1問あたり $1.28 対 $1.94
- 思考レベルは高いほどよいわけではありません。Opus 4.8 を max まで上げると1問 $3.6 でスコアは82点。high の $0.93・85点より、高くて悪い結果です
Databricks が公式に出した社内実測のまとめです。答えたい問いはひとつ — 数百万行の巨大コードベースで、どの AI コーディング Agent（モデル + 実行フレームワークの組み合わせ）が一番コスパよく、一番使いやすいのか。7月8日公開、5人の著者には CTO であり Spark の作者でもある Matei Zaharia が含まれます。
まず Databricks とは
データと AI のプラットフォームを手がける企業で、2013年に Apache Spark のオリジナルメンバーが創業しました。Spark はビッグデータ処理でもっとも広く使われるオープンソースエンジンのひとつで、世界中の企業がデータパイプラインや機械学習の実行に使っています。同社は現在1万2000社以上にデータ基盤を提供し、2026年2月に L ラウンドを完了、評価額1340億ドル、年換算収入54億ドルです。
著者の顔ぶれ。署名した5人のうち2人が Databricks の共同創業者です。Matei Zaharia は Spark の作者で現 CTO、Patrick Wendell も共同創業者。
コードベースが十分に複雑。Scala、Go、Rust、Java、Python、TypeScript、Bazel、Protobuf を使い、エンジニアは毎日1000回以上のコード変更をマージします。この複雑さは公開ベンチマークでは再現できません。
動機は自分たちのコスト削減。自社のエンジニアリング組織が AI をより安く使えるようにするための社内健康診断で、終えたあとに手法とデータをまとめて公開したもの。外向けの製品評価ではありません。
やり方自体は複雑ではありません。自社エンジニアが日々書いている実コードを問題に作り替え、主要なモデルとフレームワークの組み合わせを走らせて、正解率とコストを見る。得られた結論のいくつかは、いま多くの人がやっている選び方と真逆です。
以下、6つの結論。最後の節がそのまま真似できるパートです。
モデルは「3つのグループ」に分かれる、常に最高価格帯を使う必要はない
彼らは順位を追いませんでした。数ポイントの差は実タスクではならされてしまうからです。役に立つのはグルーピングのほう — モデルと外側のすべての組み合わせが、はっきり3つの能力帯に落ちました。
| グループ | 正解率 | 顔ぶれ |
|---|---|---|
| 第1グループ | 82–90% | Opus 4.8、GLM 5.2、GPT 5.5 の高設定 |
| 第2グループ | 71–82% | Sonnet 5、Sonnet 4.6、GPT 5.5 中設定、GPT 5.4 |
| 第3グループ | 51–60% | GPT-5.4-mini、Haiku 4.5 |
日常の小さな作業に最高設定は不要。フラグの切り替えや設定の更新といった作業なら、中〜下位のモデルで十分足りますし、はるかに安く済みます。それでも彼らのデフォルト設定は、ずっと最高価格帯のままでした。
アップグレードより役割分担のほうが得。データを見た結果、より多くのタスクを Haiku や GPT 5.4 Mini の帯に回し、複雑なアーキテクチャ探索や深いデバッグのときだけ最も賢いモデルを呼ぶことにしました。
どの作業を下ろすかは、まずログで測る
着手前に、彼らはまず AI コーディングセッションのログを全部引き出し、エンジニアが実際に AI に何をさせているかを調べました。
