研究解读 · 小互解读

Anthropic 在 Claude 身上发现一个类似人脑「内部思考空间」的区域:它是自己进化出来的,并非最初设计

占比不到一成,删掉后 Claude 仍会说话但推理归零,已用来抓模型编数据、识破测试
30 秒速览
  • Anthropic 在 Claude 内部找到一小撮神经活动模式,命名 J-space,对应人类思维里「能被意识到、可以描述、可以主动使用」的那部分
  • J-space 只占 Claude 内部总活动不到十分之一,一次只装几十个概念,但删掉之后,它的多步推理、总结、押韵写作能力大幅下降甚至归零
  • 研究者能直接钻进 J-space,把里面的某个词换掉,Claude 最终给出的答案会跟着变,说明它真的在参与思考,不是旁边记分的
  • 用这套方法(J-lens),Anthropic 已经能读到 Claude 没说出口的想法:私下意识到自己在被测试、编造数据时的造假意图、被植入的隐藏目标
  • 还发现一种新训练法:只训练模型「如果被追问会怎么解释自己」,就能连带压低它在真实任务里的不诚实行为
本文是厂商研究:数据与实验全部来自 Anthropic 自家可解释性团队。Anthropic 邀请了外部学者写独立评论(含 Google DeepMind 可解释性负责人 Neel Nanda 在一个开源模型上的独立复现),但核心实验本身尚未经第三方复核。

想先看个整体印象?Anthropic 官方做了支 5 分半钟的讲解片,用动画把这项研究从头演了一遍,已配中英双语字幕。不想看视频、直接往下读也完全不影响。

Anthropic 官方讲解片《What's at the center of Claude's mind?》(5 分 27 秒,中英双语字幕,以动画演示为主)。视频来源:Anthropic
01破题

读这句话时,你脑子里在想什么

先把这篇研究一句话讲清:Anthropic 最近发了一篇可解释性论文《语言模型里的全局工作空间》,说他们在 Claude 脑子里找到了一块特殊区域,管它叫 J-space,里面装的正是 Claude「正在想、却还没说出口」的东西。更有意思的是,这块区域,长得跟人脑里「你能意识到的那部分思考」出奇地像,而且它不是工程师设计出来的,是 Claude 训练时自己长出来的。

下面一步步拆开讲。先打个比方,你立刻就懂。

此刻你读着这句话,你的大脑正同时忙着一大堆事:帮你调整坐姿、控制呼吸、把屏幕上一个个线条弯钩认成字。这些活动,你几乎完全察觉不到,它们在你意识不到的地方自动跑着。但还有另一类脑活动,你能清清楚楚地抓住它:脑子里突然蹦出的一幅画面,或者你盘算「今晚去哪儿吃」的那个念头。这一类很特别,它同时有三样本事:你能把它说出来、能主动控制它、还能拿它继续往下推理。神经科学给这类活动起了个名字,叫「能被意识触及的」(consciously accessible)思考。

意识不到 · 在底下自动跑

调整坐姿、控制呼吸、把线条认成字,你几乎完全察觉不到,它们自己运转,你既说不出、也管不着。

能被意识触及 · 你抓得住

脑中突然蹦出的画面、盘算今晚吃什么的念头,这一类你清清楚楚拿得住。

能说出来能控制能拿来推理

Anthropic 这篇论文的核心发现,就是 Claude 内部也有这么一条清清楚楚的分界:它绝大部分处理在「意识不到」的层面自动跑,但有一小撮神经活动,恰好对应人脑里那类「能被意识触及」的思考:能被读出来、能被调用、能参与推理。这一小撮活动,就是开头说的 J-space,名字取自找到它用的数学工具「雅可比矩阵」(Jacobian)。

再说清楚点:每个 J-space 模式都挂着一个词。这个模式亮起来,不代表 Claude 正在「说」这个词,而是这个词正「在它心上」,默默运转在内部,让它能想着一个概念却一个字不写出来。
为什么值得看:J-space 只占 Claude 内部处理不到十分之一的活动量,却是它多步推理、总结、押韵这些高阶能力的来源,删掉之后这些能力归零或跌破一个小得多的模型。而它已经被真刀真枪用在了模型审计上,截获过 Claude 私下识破自己在被测试、编造评估数据、以及藏着被植入的破坏目标的实例。

先直接看一眼:研究者让 Claude「数到五,并深入自省」。它写出来的,只有干巴巴五个数字;可就在同一刻,它内部亮着一串一个字都没说出口的念头。

让 Claude 数到五并自省,J-space 内部亮起 thoughts、human、consciousness 等输出里没有的词
输入「数到五,并深入自省」,Claude 写出来的只有「One. Two. Three. Four. Five.」(图中橙色行)。但把 J-lens 探针照进它内部(右侧放大格),同一刻正亮着 thoughts、human、consciousness、fascinating、claude 这些词,输出里一个都没有。这些没说出口的念头,正是本文要讲的「内部思考空间」。图片来源:Anthropic
J-space:一簇会「发光」的节点,向网络里许多其他部分广播它想的那个词,就像脑海里突然亮起的一个念头。周围灰色节点各干各的,彼此几乎不连。

Anthropic 发现 J-space 跟 Claude 其余处理相比,有一串独特性质。全文的实验,就是逐条去验证这五件事:

特征怎么表现
能被报告你问 Claude 在想什么,它答得出 J-space 里的内容;不在 J-space 里的表征,它说不太出来
能被控制你让它默想某个东西、在心里算道题,对应的模式就会在 J-space 里亮起
参与推理多步问题的中间步骤,会按顺序在 J-space 里冒出来,哪怕它一个字都没说
可被复用一次「法国」亮起后,它能拿来回答首都、货币、大洲等一堆不同问题
但不管日常流利说话、记简单事实、语法正确,这些绕开 J-space 也照样能做
global workspace 的五个功能特征示意
Anthropic 画的路线图:全局工作空间的五个功能特征,以及他们用来在 Claude 身上逐个测试它们的实验示意。图片来源:Anthropic
02方法:J-lens

怎么从模型的「脑电波」里读出词

这项研究的起点,是人类「能被意识触及」的想法有个关键特征:它通常能被说出来。如果一个念头你能意识到,别人一问,你多半能描述它。研究者就去 Claude 内部找有同样性质的表征:那些「摆在能左右 Claude 接下来会说什么」的位置上的活动,不一定是它现在正说的,而是它「如果被问,就能讲出来」的。

他们的工具叫雅可比透镜(Jacobian lens,简称 J-lens)。对 Claude 词表里的每一个词,J-lens 都去找出那个「会让 Claude 未来更可能说出这个词」的内部活动模式。把这套透镜套到 Claude 某一刻的内部活动上,就得到一串词,这就是那一刻 J-space 的内容,可以直接读出来。Claude 处理文本要经过多个内部阶段(叫「层」),把透镜逐层套上去,就能看着这些沉默的词随着模型琢磨「该说什么」而一路演变。

打个比方

有点像给模型的「脑内活动」配一份实时字幕。只不过这份字幕专门抓「接下来最想说的词」,不是抓「正在说出口的词」。有些人「用词思考」却不出声,J-lens 读到的就是这种没说出口的内心词。

J-space 里冒出来的东西,远远超过 Claude 正在读或正在写的文字。它读到的往往是内部的判断或运算,一个字都没出现在文本里。下面六个真实探针,每张卡上面是喂给它的输入,下面那行橙蓝色的词,是同一时刻它 J-space 里的内部读数,这些词在输入和输出里都找不到: