外側の仕組みを変えるだけで:Opus 4.8 と Fable 5 を ARC-AGI-3 で99%まで引き上げる
- ARC-AGI-3 は「ルールを教えてくれない」タイプのゲーム群です。AI が受け取るのは64×64のカラーグリッドと、押せる操作がいくつかだけ。オブジェクトの一覧も、目標の説明も、報酬のヒントもありません。今年3月の公開時点では、最強のモデルでも0.51点しか取れませんでした。
- Schema は外側の仕組み(harness)です。モデルの重みは一切変えず、「使い方」だけを変えます。モデルに各ゲームのルールを実行可能なプログラムとして書かせ、それまでに記録した一手ずつを使って検証し、通ったらそのプログラム内で次の一手を探索させます。
- 公開25ゲームで、Opus 4.8とFable 5の組み合わせが98.98点、GPT-5.6 Solが95.35点を獲得。いずれもチームによる自己評価で、ARC Prizeの公式検証は経ていません。
- 同じOpus 4.8とFable 5の組み合わせでも、素のClaude Codeの外側の仕組みに置き換えると42.83点しか出ません。外側の仕組みをSchemaに変えるだけで56.15点上乗せされます。
- この99%が測っているのはステップ数の効率です(AIのステップ数を人間の初回プレイのステップ数で比べた比率の2乗)。つまりほぼ全ゲームを人間並みの効率でクリアしたことを意味しますが、単に解けただけでは足りません。
ルールを教えてくれないゲーム
Impossible Research(カリフォルニア大学バークレー校、カーネギーメロン大学と共同)がSchemaを発表しました。前沿モデルに物理学者のようにゲームをプレイさせる、外側の仕組みです。挑んでいるのは、AIを苦しめるために作られた専用のテスト、ARC-AGI-3です。
ARC-AGI-3はAIにゲームを渡しますが、何を見ているのかは説明しません。一手ごとにAIが得られるのは64×64のグリッド(16色)と、「今押せるキー」の一覧だけ。オブジェクトの一覧も、ルールの説明も、明示された目標も、「この手は正解だった」という報酬のヒントもありません。前に進む道は一つしかありません。物理学者のように、手を動かしながらルールを推測し、間違えたら直す。
下の図は、AIが公開25ゲームで実際に目にした画面そのものです。1マスが1ゲーム。それぞれで自分で解き明かさなければなりません。この色付きブロックの集まりのうち、どれが自分の操作するキャラクターで、どれが壁で、どのバーがカウントダウンしていて、どうすればクリアなのか。
このテストは前沿モデルにとって極めて過酷です。公式指標のRHAE(相対人間行動効率)は、AIが各関門で使うステップ数を初回プレイの人間と比較します。今年3月の公開時点で、検証済みの前沿モデルの最高は0.51点。7月時点で最も優秀なGPT-5.6 Sol(推論を最大まで上げた設定)でも半公開セットで7.78点、公開セットで13.33点でした。参考までに、人間の行動効率は満点の100点です。
変わったのはモデルではなく「モデルの使い方」です。Schemaは外側の仕組み(harness)であり、画面をどう与えるか、モデルが観察をどう理解へと変換するか、その理解を実際の記録でどう検証するか、計画をどう実行・修正するかを再編成しているだけです。同じOpus 4.8とFable 5の組み合わせで、この外側の仕組みだけを入れ替えると、公開スコアは42.83から98.98に跳ね上がります。
99点は何を意味するのか
「25ゲームのうち何ゲーム解けたか」の通過率ではありません。RHAEが測るのはステップ数の効率で、しかもかなり重い2乗のペナルティが付きます。
計算方法はこうです。各関門で「人間のステップ数 ÷ AIのステップ数」を取り、それを2乗し、上限は1.15。ゲーム内で後になるほど関門の重みは大きくなり(1からnまで増加)、重みに紐づいた完了度の上限もあります。どれか一つでも通過できない関門があると、そのゲーム全体で満点は取れません。ゲーム内で実際に押した操作は、探索のために試した手も含めて、すべてAIのステップ数に数えられます。2乗であるため、余分に使ったステップ数はスコアを急速に下げます。
だから「だいたい全部クリアした」という点では同じでも、効率の差でスコアには天と地の差が出ます。原文には次のような対比例が示されています。
7関門を全通過、合計785ステップ。人間の基準の776ステップとほぼ同じ。クリアも節約もできたことで、ほぼ満点を獲得。
最初の6関門だけで1591ステップを使い、対応する人間基準の2.7倍。7番目の関門は未通過。2乗のペナルティと未通過による上限のせいで、スコアは14点未満に落ち込む。