研究解读 · 小互解读

只换一层外壳:让 Opus 4.8 和 Fable 5 在 ARC-AGI-3 评测中冲到 99%

一套叫 Schema 的外壳,让模型把每一局游戏的规则写成能跑的程序、验证过了才动手。公开 25 局自评 98.98%,均未经 ARC Prize 独立验证。
一分钟速览
  • ARC-AGI-3 是一类「不告诉你规则」的游戏:AI 只拿到一块 64×64 的彩色格子和几个能按的操作,没有物体清单、没有目标说明、没有奖励提示。今年 3 月刚上线时,最强的模型也只拿到 0.51 分。
  • Schema 是一层外壳,不改模型的权重,只改「怎么用它」:让模型把每一局游戏的规则写成一段能跑的程序,拿之前记录的每一步去验证,通过后再在这段程序里搜索下一步。
  • 公开的 25 局里,Opus 4.8 搭配 Fable 5 拿到 98.98 分,GPT-5.6 Sol 拿到 95.35 分。两个成绩都是团队自评,没经过 ARC Prize 官方核验。
  • 同样是 Opus 4.8 加 Fable 5,换成原生的 Claude Code 外壳只有 42.83 分;只把外壳换成 Schema,就多了 56.15 分。
  • 这个 99% 衡量的是步数效率:拿 AI 的步数去比人类第一次玩的步数(步数比的平方)。它意味着几乎每一局都用不输给人类的效率通关了,光解出来还不够。
这是 Impossible Research 自家发布的外壳,两个成绩都是团队自评、只在公开 25 局上测得,未经 ARC Prize 独立核验;换到半公开集会掉到多少,目前还没有测量。
Impossible Research × Berkeley × CMU

一种不告诉你规则的游戏

Impossible Research(与加州大学伯克利分校、卡内基梅隆大学合作)发布了 Schema,一套让前沿模型像物理学家一样玩游戏的外壳。它挑战的是一个专门为难 AI 的测试,ARC-AGI-3。

ARC-AGI-3 会丢给 AI 一局游戏,但不解释它在看什么。每走一步,AI 拿到的只有一块 64×64 的格子(16 种颜色)和一组「现在能按哪些键」。没有物体清单,没有规则说明,没有写明的目标,也没有「这一步做对了」的奖励提示。想往前走只有一条路:像物理学家那样,一边动手一边猜规则,猜错了就改。

下面这张图,就是 AI 在 25 局公开游戏里真正看到的画面。每一格是一局,它得自己搞清楚:这一堆彩色方块里,哪个是我操纵的角色,哪些是墙,哪根条子在倒计时,怎样才算通关。

ARC-AGI-3 的 25 局公开游戏画面拼图
ARC-AGI-3 的 25 局公开游戏,每格一局,AI 只能看到这样的格子画面,没有任何文字说明。来源:Impossible Research / Schema

这个测试对前沿模型极其残酷。它的官方指标叫 RHAE(相对人类行动效率),拿 AI 每关用的步数去比一个第一次玩的人。今年 3 月刚上线时,经核验的前沿模型最高只有 0.51 分;到 7 月,最好的 GPT-5.6 Sol(开到最高推理档)在半公开集也才 7.78 分,公开集 13.33 分。作为参照,人类的行动效率就是满分 100。

Schema 把这条线拨到了另一个量级:在公开的 25 局上,Opus 4.8 搭配 Fable 5 拿到 98.98 分,GPT-5.6 Sol 拿到 95.35 分。而且底层模型的权重一个字节都没改。
🔧

变的不是模型,是「怎么用模型」。Schema 是一层外壳(harness):它只重新安排了画面怎么喂进去、模型怎么把观察变成一份对游戏的理解、这份理解怎么拿真实记录去验证、计划又怎么执行和修正。同一个 Opus 4.8 加 Fable 5,换掉这层外壳,公开分从 42.83 跳到 98.98

Schema 官方演示(47 秒):AI 一边玩一边把规则写成程序,画面里它操纵方块在迷宫里走,底部黄色条是移动预算;右下角「99 RHAE」是 Opus 4.8 + Fable 5 的公开分,对照 Sol 的 13%。来源:Impossible Research / Haiwen Feng(@HavenFeng)
先看懂这个 99%

99 分到底是什么意思

它不是「25 局解出了几局」的通关率。RHAE 衡量的是步数效率,而且带一个很重的平方惩罚。

算法是这样:每一关拿「人类的步数 ÷ AI 的步数」,再平方,上限 1.15。一局游戏里越靠后的关卡权重越高(从 1 递增到 n);而且有个和权重挂钩的完成度上限,只要有一关没通,这一局就拿不到满分。所有在游戏里真正按下去的操作,包括为了试探而走的探索步,全都算进 AI 的步数里。因为是平方,多花的步数会让分数掉得很快。

所以同样是「差不多都通关」,效率不同,分数可以天差地别。原文给了一组对照: