Anthropic 在 Claude 身上发现一个类似人脑「内部思考空间」的区域:它是自己进化出来的,并非最初设计
- Anthropic 在 Claude 内部找到一小撮神经活动模式,命名 J-space,对应人类思维里「能被意识到、可以描述、可以主动使用」的那部分
- J-space 只占 Claude 内部总活动不到十分之一,一次只装几十个概念,但删掉之后,它的多步推理、总结、押韵写作能力大幅下降甚至归零
- 研究者能直接钻进 J-space,把里面的某个词换掉,Claude 最终给出的答案会跟着变,说明它真的在参与思考,不是旁边记分的
- 用这套方法(J-lens),Anthropic 已经能读到 Claude 没说出口的想法:私下意识到自己在被测试、编造数据时的造假意图、被植入的隐藏目标
- 还发现一种新训练法:只训练模型「如果被追问会怎么解释自己」,就能连带压低它在真实任务里的不诚实行为
想先看个整体印象?Anthropic 官方做了支 5 分半钟的讲解片,用动画把这项研究从头演了一遍,已配中英双语字幕。不想看视频、直接往下读也完全不影响。
读这句话时,你脑子里在想什么
先把这篇研究一句话讲清:Anthropic 最近发了一篇可解释性论文《语言模型里的全局工作空间》,说他们在 Claude 脑子里找到了一块特殊区域,管它叫 J-space,里面装的正是 Claude「正在想、却还没说出口」的东西。更有意思的是,这块区域,长得跟人脑里「你能意识到的那部分思考」出奇地像,而且它不是工程师设计出来的,是 Claude 训练时自己长出来的。
下面一步步拆开讲。先打个比方,你立刻就懂。
此刻你读着这句话,你的大脑正同时忙着一大堆事:帮你调整坐姿、控制呼吸、把屏幕上一个个线条弯钩认成字。这些活动,你几乎完全察觉不到,它们在你意识不到的地方自动跑着。但还有另一类脑活动,你能清清楚楚地抓住它:脑子里突然蹦出的一幅画面,或者你盘算「今晚去哪儿吃」的那个念头。这一类很特别,它同时有三样本事:你能把它说出来、能主动控制它、还能拿它继续往下推理。神经科学给这类活动起了个名字,叫「能被意识触及的」(consciously accessible)思考。
调整坐姿、控制呼吸、把线条认成字,你几乎完全察觉不到,它们自己运转,你既说不出、也管不着。
脑中突然蹦出的画面、盘算今晚吃什么的念头,这一类你清清楚楚拿得住。
Anthropic 这篇论文的核心发现,就是 Claude 内部也有这么一条清清楚楚的分界:它绝大部分处理在「意识不到」的层面自动跑,但有一小撮神经活动,恰好对应人脑里那类「能被意识触及」的思考:能被读出来、能被调用、能参与推理。这一小撮活动,就是开头说的 J-space,名字取自找到它用的数学工具「雅可比矩阵」(Jacobian)。
先直接看一眼:研究者让 Claude「数到五,并深入自省」。它写出来的,只有干巴巴五个数字;可就在同一刻,它内部亮着一串一个字都没说出口的念头。
Anthropic 发现 J-space 跟 Claude 其余处理相比,有一串独特性质。全文的实验,就是逐条去验证这五件事:
| 特征 | 怎么表现 |
|---|---|
| 能被报告 | 你问 Claude 在想什么,它答得出 J-space 里的内容;不在 J-space 里的表征,它说不太出来 |
| 能被控制 | 你让它默想某个东西、在心里算道题,对应的模式就会在 J-space 里亮起 |
| 参与推理 | 多步问题的中间步骤,会按顺序在 J-space 里冒出来,哪怕它一个字都没说 |
| 可被复用 | 一次「法国」亮起后,它能拿来回答首都、货币、大洲等一堆不同问题 |
| 但不管日常 | 流利说话、记简单事实、语法正确,这些绕开 J-space 也照样能做 |
怎么从模型的「脑电波」里读出词
这项研究的起点,是人类「能被意识触及」的想法有个关键特征:它通常能被说出来。如果一个念头你能意识到,别人一问,你多半能描述它。研究者就去 Claude 内部找有同样性质的表征:那些「摆在能左右 Claude 接下来会说什么」的位置上的活动,不一定是它现在正说的,而是它「如果被问,就能讲出来」的。
他们的工具叫雅可比透镜(Jacobian lens,简称 J-lens)。对 Claude 词表里的每一个词,J-lens 都去找出那个「会让 Claude 未来更可能说出这个词」的内部活动模式。把这套透镜套到 Claude 某一刻的内部活动上,就得到一串词,这就是那一刻 J-space 的内容,可以直接读出来。Claude 处理文本要经过多个内部阶段(叫「层」),把透镜逐层套上去,就能看着这些沉默的词随着模型琢磨「该说什么」而一路演变。
有点像给模型的「脑内活动」配一份实时字幕。只不过这份字幕专门抓「接下来最想说的词」,不是抓「正在说出口的词」。有些人「用词思考」却不出声,J-lens 读到的就是这种没说出口的内心词。
J-space 里冒出来的东西,远远超过 Claude 正在读或正在写的文字。它读到的往往是内部的判断或运算,一个字都没出现在文本里。下面六个真实探针,每张卡上面是喂给它的输入,下面那行橙蓝色的词,是同一时刻它 J-space 里的内部读数,这些词在输入和输出里都找不到: