只换一层外壳:让 Opus 4.8 和 Fable 5 在 ARC-AGI-3 评测中冲到 99%
- ARC-AGI-3 是一类「不告诉你规则」的游戏:AI 只拿到一块 64×64 的彩色格子和几个能按的操作,没有物体清单、没有目标说明、没有奖励提示。今年 3 月刚上线时,最强的模型也只拿到 0.51 分。
- Schema 是一层外壳,不改模型的权重,只改「怎么用它」:让模型把每一局游戏的规则写成一段能跑的程序,拿之前记录的每一步去验证,通过后再在这段程序里搜索下一步。
- 公开的 25 局里,Opus 4.8 搭配 Fable 5 拿到 98.98 分,GPT-5.6 Sol 拿到 95.35 分。两个成绩都是团队自评,没经过 ARC Prize 官方核验。
- 同样是 Opus 4.8 加 Fable 5,换成原生的 Claude Code 外壳只有 42.83 分;只把外壳换成 Schema,就多了 56.15 分。
- 这个 99% 衡量的是步数效率:拿 AI 的步数去比人类第一次玩的步数(步数比的平方)。它意味着几乎每一局都用不输给人类的效率通关了,光解出来还不够。
一种不告诉你规则的游戏
Impossible Research(与加州大学伯克利分校、卡内基梅隆大学合作)发布了 Schema,一套让前沿模型像物理学家一样玩游戏的外壳。它挑战的是一个专门为难 AI 的测试,ARC-AGI-3。
ARC-AGI-3 会丢给 AI 一局游戏,但不解释它在看什么。每走一步,AI 拿到的只有一块 64×64 的格子(16 种颜色)和一组「现在能按哪些键」。没有物体清单,没有规则说明,没有写明的目标,也没有「这一步做对了」的奖励提示。想往前走只有一条路:像物理学家那样,一边动手一边猜规则,猜错了就改。
下面这张图,就是 AI 在 25 局公开游戏里真正看到的画面。每一格是一局,它得自己搞清楚:这一堆彩色方块里,哪个是我操纵的角色,哪些是墙,哪根条子在倒计时,怎样才算通关。
这个测试对前沿模型极其残酷。它的官方指标叫 RHAE(相对人类行动效率),拿 AI 每关用的步数去比一个第一次玩的人。今年 3 月刚上线时,经核验的前沿模型最高只有 0.51 分;到 7 月,最好的 GPT-5.6 Sol(开到最高推理档)在半公开集也才 7.78 分,公开集 13.33 分。作为参照,人类的行动效率就是满分 100。
变的不是模型,是「怎么用模型」。Schema 是一层外壳(harness):它只重新安排了画面怎么喂进去、模型怎么把观察变成一份对游戏的理解、这份理解怎么拿真实记录去验证、计划又怎么执行和修正。同一个 Opus 4.8 加 Fable 5,换掉这层外壳,公开分从 42.83 跳到 98.98。
99 分到底是什么意思
它不是「25 局解出了几局」的通关率。RHAE 衡量的是步数效率,而且带一个很重的平方惩罚。
算法是这样:每一关拿「人类的步数 ÷ AI 的步数」,再平方,上限 1.15。一局游戏里越靠后的关卡权重越高(从 1 递增到 n);而且有个和权重挂钩的完成度上限,只要有一关没通,这一局就拿不到满分。所有在游戏里真正按下去的操作,包括为了试探而走的探索步,全都算进 AI 的步数里。因为是平方,多花的步数会让分数掉得很快。
所以同样是「差不多都通关」,效率不同,分数可以天差地别。原文给了一组对照: