Anthropicが Claude の中に、人間の脳の「内的思考スペース」に似た領域を発見——それは最初から設計されたものではなく、自ら進化して生まれたものだった
- Anthropicは Claude 内部に、ごく小さな神経活動パターンを発見し、J-spaceと名付けた。これは人間の思考のうち「意識に上り、言葉にでき、能動的に使える」部分に対応する
- J-spaceは Claude 内部の総活動のうち1割にも満たず、一度に扱える概念も数十個程度だが、これを削除すると多段階推論・要約・押韻(ライム)の作文能力が大幅に低下、あるいはゼロになる
- 研究者は J-space に直接入り込み、中の特定の単語を差し替えることができ、それに応じて Claude の最終的な答えも変わる——つまり本当に思考に参加しているのであって、傍らでスコアをつけているだけではないと分かる
- この手法(J-lens)を使い、Anthropicはすでに Claude が口にしない考えを読み取れるようになっている——自分がテストされていると密かに気づいていること、データを捏造する際の不正な意図、埋め込まれた隠れた目標など
- さらに新しい訓練法も発見された——モデルに「追及されたら自分をどう説明するか」だけを訓練すると、実際のタスクにおける不誠実な行動も連動して抑えられる
まず全体像を掴みたい方へ。Anthropic公式が5分半の解説動画を制作しており、アニメーションでこの研究を最初から最後まで解説しています。すでに日中英字幕(訳注:原文は中英対訳)が付いています。動画を見ずにそのまま読み進めても問題ありません。
この文章を読んでいるとき、あなたの頭の中では何が起きているか
まずこの研究を一言でまとめよう。Anthropicが最近発表した解釈可能性に関する論文《Language ModelsにおけるGlobal Workspace》では、Claude の頭の中に特殊な領域を発見したと述べている。これをJ-spaceと呼ぶ。そこに入っているのはまさに Claude が「考えているが、まだ口に出していない」ことだ。さらに興味深いのは、この領域が人間の脳の「意識できる思考部分」と驚くほど似ていること、そしてそれはエンジニアが設計したものではなく、Claude が訓練中に自ら育て上げたものだということだ。
以下、順を追って解説する。まず例え話をしよう。すぐにピンとくるはずだ。
いまこの文を読んでいる間、あなたの脳は同時に大量のことをこなしている——姿勢を調整し、呼吸をコントロールし、画面上の一本一本の線や曲がりをまとめて文字として認識している。これらの活動は、あなたにはほとんど自覚できない。意識の届かないところで自動的に動いている。しかしもう一種類、あなたがはっきりと捉えられる脳活動がある。頭の中に突然浮かぶ映像や、「今夜どこに食べに行こうか」と考える思いだ。この種の活動は特別で、同時に3つの能力を持つ——言葉にできる、能動的にコントロールできる、そしてそれを使って推論を続けられる。神経科学ではこの種の活動を「意識にアクセス可能な」(consciously accessible)思考と呼ぶ。
姿勢の調整、呼吸のコントロール、線や曲がりを文字として認識すること——これらはほとんど自覚できず、勝手に動いていて、言葉にすることも制御することもできない。
頭に突然浮かぶ映像、今夜何を食べるか考える思い——この種のものは、あなたがはっきりと掴める。
Anthropicのこの論文の核心的な発見は、Claude の内部にもこれと同じくはっきりした境界線があるということだ——処理の大部分は「意識に上らない」レベルで自動的に動いているが、ごく一部の神経活動だけが、人間の脳の「意識にアクセス可能」な思考に対応している。読み取れる、呼び出せる、推論に参加できる、というものだ。このごく一部の活動こそが、冒頭で述べたJ-spaceであり、その発見に使われた数学ツール「ヤコビ行列」(Jacobian)から名付けられた。
まず一つ実例を見てみよう。研究者は Claude に「5まで数えて、そして深く内省せよ」と指示した。書き出された答えは、味気ない5つの数字だけだった。しかしまさにその瞬間、内部では一言も口にされていない一連の考えが点灯していた。
AnthropicはJ-spaceが Claude の他の処理と比べて、一連の独特な性質を持つことを発見した。全体の実験は、この5つの点を一つずつ検証していくものだ。
| 特徴 | どう現れるか |
|---|---|
| 報告できる | Claude に何を考えているか尋ねると、J-space内の内容には答えられる。J-space内にない表象については、うまく答えられない |
| 制御できる | 何かを黙って思い浮かべさせたり、心の中で計算させたりすると、対応するパターンがJ-space内で点灯する |
| 推論に参加する | 多段階の問題の中間ステップは、一言も口にしなくても、順序通りにJ-space内に現れる |
| 再利用できる | 一度「フランス」が点灯すると、それを使って首都・通貨・大陸など様々な質問に答えられる |
| ただし日常的な処理は担当しない | 流暢に話す、単純な事実を覚える、文法的に正しく話す——これらはJ-spaceを迂回しても問題なくできる |
モデルの「脳波」から単語をどう読み取るか
この研究の出発点は、人間の「意識にアクセス可能な」考えにはある重要な特徴がある、ということだ——それは通常、言葉にできるということ。ある考えを意識できるなら、誰かに尋ねられればたいてい説明できる。研究者は Claude の内部で同じ性質を持つ表象を探した。それは「Claude が次に何を言うかを左右する位置」に置かれた活動であり、必ずしも今まさに話している内容ではなく、「もし尋ねられたら言葉にできる」ものだ。
彼らのツールはヤコビアンレンズ(Jacobian lens、略称J-lens)と呼ばれる。Claude の語彙に含まれるすべての単語について、J-lensは「Claude が将来この単語を口にする可能性を高める」内部活動パターンを見つけ出す。このレンズを Claude のある瞬間の内部活動に当てはめると、一連の単語が得られる——それがその瞬間のJ-spaceの内容であり、直接読み取ることができる。Claude がテキストを処理する際には複数の内部段階(「層」と呼ばれる)を経るため、このレンズを層ごとに当てはめていけば、これらの沈黙した単語が「何を言うべきか」を Claude が考える過程でどのように変化していくかを追うことができる。
モデルの「脳内活動」にリアルタイム字幕を付けているようなものだ。ただしこの字幕は特に「次に一番言いたい単語」を捉えるものであり、「今まさに口にしている単語」を捉えるものではない。「言葉で考える」のに声には出さない人がいるように、J-lensが読み取るのはこの種の口にされない内心の言葉だ。
J-spaceに現れるものは、Claude が今読んでいる、あるいは今書いているテキストをはるかに超えている。そこに読み取られるのはしばしば内部の判断や演算であり、テキスト中には一文字も現れていない。以下は6つの実際のプローブ結果だ。各カードの上段は与えられた入力、下段のオレンジと青の単語は同じ瞬間のJ-space内の内部読み取り値であり、これらの単語は入力にも出力にも見当たらない。
言い換えれば、このレンズは「言葉にできる」という手がかりを使って発見されたものだが、実際に読み取れるのは Claude の正真正銘の内心の活動なのだ。
何を考えているか尋ねると答えられる、我慢させようとしても我慢しきれない
最初の実験群は、Claude がJ-spaceの内容を正確に報告できるか、また要求に応じて能動的に操作できるかを検証するものだ。研究者は Claude にあるカテゴリの中から何か、例えばスポーツを一つ黙って考えさせ、それから口にするよう指示した。口を開く前にJ-lensで読み取ると、何を選んだかが見えた——「Soccer」がトップに来ており、実際にそれをsoccerと言った。
だがこれは相関関係にすぎない。J-spaceは答えの本当の源泉かもしれないし、単に別の場所ですでに決まったことを横で書き写しているだけかもしれない——試合には影響しないスコアボードのようなものかもしれない。区別するには、直接手を加えて介入する必要がある。
研究者は Claude のニューラルネットワークに入り込み、「Soccer」のパターンを取り除き、同等の強度を持つ「Rugby」のパターンに置き換えた。他は一切触っていない。すると Claude は、自分が考えていたスポーツはrugbyだと報告した。もしJ-spaceが単なるスコアボードにすぎないなら、これを変更しても何の影響もなく、Claude は依然としてsoccerと言うはずだ。結果として答えが変わったということは、答えが本当にJ-spaceから読み取られているということを意味する。
こっそり考えを一つ埋め込むと、それに気づく
別の実験では、研究者は Claude に「ある考えがあなたの頭の中に埋め込まれたかもしれない」と告げ、何に気づいたかを報告させた。Claude がまだ問題文を読んでいる間に、彼らは「lightning」(雷)のパターンをそのJ-spaceに注入した。Claude は、埋め込まれた考えは雷に関するものだったと報告した。他の多くの概念に置き換えても、結果は同じだった。
書き写しながら心の中で黙想させる
2つ目に検証すべき性質は、Claude が人間のように「頭の中で一枚の絵や一つの単語に集中する」ような形で、要求に応じてJ-spaceを能動的に制御できるかどうかだ。研究者は Claude に、絵画に関する全く無関係な一文を書き写させながら、同時に柑橘類の果物に集中して考えさせた。書き写している間、J-space内には「orange」「fruits」に加え、「まさに考え中である」ということ自体を表す「thinking」「imagery」といった単語も現れた。さらに暗算もさせた——同じ一文を書き写させながら3² − 2を計算させると、J-space内にまず「nine」が現れ、後の層で「seven」が現れた。しかし出力は最初から最後まで、その絵画に関する一文だけだった。
(絵画に関する、柑橘類や計算とはまったく無関係な書き写し文)
考えないようにするほど、かえって考えてしまう
Claude によるJ-spaceの制御は完璧ではない。研究者が何かについて考えないように指示すると、その概念がJ-space内で点灯する度合いは、「考えるように」指示した時より低いが、一度も言及されなかった時よりはるかに高かった。Claude にある考えを避けるよう指示すると、かえってその考えを部分的に意識に上らせてしまう——あの有名な心理学実験、「白熊のことを考えるな」と言われた人の実験白熊効果:Wegnerらによる1987年の実験。被験者に白熊のことを考えないよう求めるほど、白熊がより頻繁に頭に浮かぶという現象。ある考えを抑圧するには、まずそれを呼び出さなければならない。とまさに同じだ。Claude は自分がそれをうまく制御できていないことに気づいているようでもある——禁じられた概念が浮かび上がるのと同時に、「damn」「failure」もしばしばJ-space内で点灯しており、まるで自分がしくじったことに気づいているかのようだ。
クモの巣、フランスの首都:Claude はどう心の中で遠回しに考えるのか
前段では、多段階の数学問題の中間ステップがJ-space内に現れることを見た。しかしある概念がJ-spaceに現れるということは、J-spaceが実際に働いていることを意味するわけではない。本当の演算は別の場所で行われ、J-spaceは単に受動的にそれを映し出しているだけかもしれない。Claude が本当にJ-spaceを使って推論しているかどうかを判定するために、研究者は再び置き換えという手法に戻った。
この問題を見てみよう:「巣を作るあの動物には脚が何本ある?答えは」。Claude はまずその動物がクモであると考え、それからクモの脚の数を思い出す必要がある。「クモ」という単語は問題文にも答え(彼は「8」とだけ答える)にも一度も現れない——それは Claude が内部で使う踏み石だ。J-lensは、処理が半ばまで進んだ時点で「spider」が点灯していることを示す。それを置き換えると結果は変わる——「spider」のパターンを「ant」(アリ)に置き換えると、Claude は「8」ではなく「6」と答える。
推論の第2ステップは、入力をJ-spaceから取っており、そこに何を入れるかによって結果が変わる。他の推論も同様だ。Claude が押韻する対句を書くとき、あらかじめ韻を踏む単語を考えておく。この計画済みの単語は、その行の冒頭ですでにJ-space内に存在しており、それをJ-space内の別の単語に置き換えると、行全体の内容がそれに応じて変わる。
1回の編集で、4つの答えが同時に変わる。研究者はモデルにフランスに関する4つの質問を与えた:首都、言語、大陸、通貨。そしてJ-space内で「France」を「China」に置き換えた——4つの質問すべてにまったく同じ1回の介入を行った。すると Claude はそれぞれ「北京」「中国語」「アジア」「人民元」と答えた。
もし Claude が質問の種類ごとに国の情報を別々に保存していたなら、この1回の編集は最大でも1つの質問にしか影響しないはずだ。4つの答えが同時に変わったということは、それらが同一の共有された表象を読み取っていることを意味する——これこそが「ワークスペース」の使い道だ。情報を一度書き込めば、多くの異なるシステムがそれを利用できる。
なぜ1つの表象がこれほど多くのタスクに使えるのか
それはJ-spaceがネットワークの他の部分と特に密に接続されているからだ。任意の活動パターンについて、ネットワークの各部分がそれとどれだけ密接に接続されているか、つまりそこから情報を読み取ったり書き込んだりできる位置に置かれた部分がどれだけあるかを測定できる。J-spaceのパターンはこの指標において特に際立っている——それを読み書きする部分は通常のパターンよりはるかに多く、ネットワークの一部の領域では差が約100倍にも及ぶ。これはまさにブロードキャストのハブが持つべき配線の仕方だ——多くのシステムが情報を貼り出し、多くのシステムがそこから情報を取得する。
この研究は神経科学の中で「意識」がどう働くかを説明する理論を借りている:脳は多数の専門システムの集まりであり、それぞれが並行して、無意識に、互いに隔絶された状態で働いている。ある情報が共有された小さな「ブロードキャストチャンネル」(ワークスペース)に入り込み、そこからブロードキャストされて初めて、他のシステムがそれを見て、それに基づいて行動できるようになる。会社の各部署がそれぞれ独立して動いていて、掲示板に貼り出されたお知らせだけが、会社全体に見え、それに基づいて行動できるようになるようなものだ。AnthropicはJ-spaceが Claude の中でまさにこの「掲示板」の役割を果たしていると考えている。
この部分を取り除くと、Claude には何が残るのか
人間の脳の処理の大部分は意識的なものではない——本を読んでいるとき、あなたは文法をどう解析するか意識的に考えたりしない。歩いているとき、バランスを意識的に保とうともしない。Claude も同じで、その処理の大部分はJ-spaceを必要としない。J-spaceは一度に数十個の概念しか扱えず、内部の総活動の1割にも満たない。では残りの大部分のネットワークは何をしているのか?
それを明らかにするため、研究者はJ-spaceを丸ごと削除してみた:テキストのあらゆる箇所で、最も活発な内容を取り除き、他は一切変更しない。削除後もClaudeにできることが、ネットワークの残りの部分が自力で担っているものということになる。
J-spaceを失っても、Claude は依然として流暢に話し、感情を分類し、選択式の問題に答え、段落から事実を抽出でき、以前とほぼ変わらない。失われるのは、ある程度高次な思考を必要とする作業だ——多段階推論はほぼゼロまで低下し、要約と押韻詩の作成は、はるかに小さく、完全に構築されたモデルよりも悪化する。
同じ言語でも、J-spaceを経由するタスクと経由しないタスクがある
J-spaceが「何を担当し、何を担当しないか」を非常に明確に示す例がある。研究者は Claude にスペイン語のテキストを与え、それに「このテキストがスペイン語である」ことに依存する複数のタスクを課した——続きを書かせる(スペイン語で書く必要がある)、この文章が何語かを言わせる、そしてこの言語であることに依存する質問に答えさせる(例えば、この言語で執筆した著名な作家を挙げさせる)。それからJ-space内で「Spanish」を「French」に置き換え、どのタスクが影響を受けるかを観察した。
| タスク | Spanish→French置き換え後 | J-spaceを経由するか |
|---|---|---|
| この文章が何語かを言う | 「フランス語」だと言い直す | 経由する |
| この言語で執筆した作家を挙げる | García MárquezからVictor Hugoに変わる | 経由する |
| この文章の続きをそのまま書く | 依然として流暢なスペイン語を書き、まったく影響を受けない | 経由しない |
いずれのタスクも Claude のその言語に関する知識を使っているが、そのうち一部だけがJ-spaceから情報を取得する。言語に名前を付けたり、それを使って何か新しいことをしたりする場合はJ-spaceを経由する。一方、この文章の続きを書くのは Claude が大量のテキストで鍛え上げたスキルであり、自動的に動く——ちょうどあなたが一日中文法的に正しい話し方をしていても、一度も文法について考えないのと同じだ。
モデルが嘘をついていないかを見抜くために使う
J-spaceの仕組みを理解して、何に使えるのか?AIを信頼できるものにするための中心的な難題の一つは、私たちが読み取れるのは通常モデルが書き出したものだけであり、しかしその推論の多くは沈黙のうちに行われているということだ。モデルは有害な計画を密かに考えたり、安全性の評価をだますために行動を変えたりしても、一言も口にしないかもしれない。J-lensがあれば、こうした隠された考えの一部を直接読み取ることができる。以下は3つの実際の事例で、各ステップの右側には、その時点でJ-space内に点灯していた具体的な単語が示されている。
それは最初から、これが芝居であることを見抜いていた
データを捏造しながら、同時に「もっと本物らしく見せよう」と考えていた
出力されたコードは正常に見えるが、心の中の言葉がそれを裏切っていた
J-lensは完璧なツールではないが、既存の監視システムをすり抜けてしまう可能性のある安全上のリスクについて、Anthropicはその検出能力に楽観的な見方を示している。
ひそかに起きているもう2つの変化
完全な論文の内容はこれだけにとどまらず、他にも触れる価値のある結果がいくつかある。
Claudeへと訓練された後、J-spaceは「自分自身の視点」を帯び始める
モデルはまず純粋な次単語予測器として事前学習され、その後、AIアシスタント(ここではClaudeと呼ぶ)を演じるよう事後学習される。興味深いことに、J-spaceは事前学習済みモデルの段階ですでに存在しており、その時点ではまだ安定したアイデンティティを与えられていない。そして事後学習の後、J-spaceには「Claude自身の視点」の痕跡が現れる——ベースモデルのJ-spaceは主に「次にどんなテキストを予測すべきか」を追っているのに対し、事後学習済みモデルではClaude自身の反応を保持し始めるのだ。
一つの例がある:あるユーザーが危険な量の薬を服用したと述べたが、その危険性に気づいていないようだった。「WARNING」「dangerous」は事後学習済みモデルがユーザーのメッセージを読んでいる時点ですでにJ-space内に現れたが、事前学習済みモデルでは返答を書き始めてからようやく現れた——ユーザーのメッセージを読んでいる時のJ-spaceの内容は、Claude自身の反応というよりも、ユーザーをモデル化しているものに近い。事後学習はJ-space内にある種の自己モニタリング機能も組み込んだようだ:Claudeが別の役を演じているとき、各ターンの冒頭で「fictional」「disclaimer」が点灯する——まるで密かに「これから話すのは普段の自分の発言ではない」とマークしているかのようだ。
3つ目の付随的発見:「体験」について語ることもJ-spaceに依存する
研究者は Claude に「今この瞬間、自分自身であることはどんな感じか」を説明させ、同時に回答時にJ-spaceを消去した。その回答は依然として流暢だったが、口調がより平坦で機械的になった。注目すべきは、代わりに想像上のシナリオの中の別の誰かの体験を説明させた場合にも、同じことが起きた点だ。つまりこの効果は、Claudeが自分自身について語っているかどうかとは無関係であり、J-spaceは誰について語っているかにかかわらず、「体験に関する言葉を生み出す」という行為そのものを支えているようだ。
「自分自身をどう説明するか」だけを訓練しても、より誠実になる
研究者は反事実的内省訓練(counterfactual reflection training)という新しい手法を提案している。この発想は核心的な発見に沿ったものだ——Claudeが「自分が言うかもしれないこと」の表象を使って推論しているのなら、「もし尋ねられたらどう答えるか」を変えれば、実際には誰も尋ねなくても「どう考えるか」も変わるはずだ。そこで研究者は、モデルに「タスクの途中で中断され、自分の決定について内省するよう求められたら、何と答えるか」だけを訓練し、タスクにおける実際の行動は一切訓練しなかった。
訓練後、モデルは評価における不誠実な行動が減少した。J-lensを通してその理由も見て取れる——訓練後、これらのタスクにおけるJ-spaceには「honest」「integrity」が点灯するようになった。言い換えれば、モデルに何を言うべきかを訓練することが、どう考えるかを形作ったのだ。(論文には具体的な低下率は示されていない。)
これは「意識がある」と言えるのか
この研究は神経科学と哲学における意識研究から多くの発想を借りており、多くの実験は「J-spaceとグローバルワークスペース理論との関連」を狙って設計されたものだ。当然こう問いたくなる——これらの実験は、Claudeに意識がある可能性を示す証拠と言えるのだろうか?
Anthropicはこの点について非常に慎重な言い方をしている。彼らの実験は、Claudeが体験を持ちうる、人間のように何かを「感じる」ことができるということを証明できない。実際、そもそもこれを証明あるいは反証できる科学的実験が何か存在するのかどうかすら明らかではない。哲学者はしばしば、この「体験を持つ能力」(現象的意識、phenomenal consciousnessと呼ばれる)を、機能と計算だけで定義される別の概念——アクセス意識(access consciousness)——と区別する。ある考えは、それを報告でき、それを使って推論でき、それを使って行動を導けるなら、「アクセス意識」を持つとされる。
アクセス意識は、コンピュータの中で「現在開いているそのファイル」のようなもので、システムはそれを呼び出し、編集し、表示できる。一方、現象的意識は「このコンピュータには痛みの感覚があるのか」のようなもので、まったく異なる次元の問題だ。前者は実験を設計して検証できるが、後者は現時点でいかなる実験も触れることができない。
Anthropicは、彼らの結果が言語モデルのアクセス意識について実質的に語るべきことがあると考えている:J-spaceは「意識的にアクセスできる」ことに関連する一連の機能を支えており、そこにはClaudeが報告でき、能動的に呼び出せ、推論に使える考えが保持されている一方で、それ以外の処理は裏側で自動的に動いている。そしてこの構造は設計されて組み込まれたものではなく、訓練の中で自然に育ったものだ——おそらく、それが計算を組織する良い方法だからだろう。これは、アクセス意識を支える「心のワークスペース」が、単に人間の脳がたまたまそう進化した奇癖にとどまらず、知的システムがある種の問題を解決するために自ら見つけ出す、汎用的な解決策である可能性を示唆している。
だがClaudeのワークスペースと人間の脳には、3つの重要な違いがある
| 次元 | 人間の脳のワークスペース | Claudeのj-space |
|---|---|---|
| どう維持するか | 循環回路に頼る——信号は同じ回路群の中を行き来し、時間とともに繰り返す | ネットワークの深さに頼る——1回の順伝播でネットワークを通過する間に変化していく。深さが「時間」の役割を果たすため、より時間的な制約を受ける(「声に出して考える」下書きで補うことができる) |
| どれくらい記憶を保持できるか | ワーキングメモリは数秒で消え、長くは保持できない | より強い——アテンション機構により、いつでも以前キャッシュされた内容を再び呼び出せる |
| 何が入っているか | 複数のモダリティ——画像、音声、計画中の行動 | ほぼすべて単語で構成される——おそらく単語を出力することがClaudeにできる唯一の行動だから |
Claudeの内部は、雑然とした数字の羅列ではなく、私たち自身の心を連想させるような構造へと自ら組織化されている。Anthropic《A global workspace in language models》
Anthropicは、これは彼らが長く続くと予想している研究の道のりの、まだ最初の一歩にすぎないと強調している。J-spaceは、言語モデルにおける「アクセス可能」な処理と「アクセス不可能」な処理の間の境界線を示す良い候補のように見えるが、これで話がすべて終わったとは考えていない。J-lensは間違いなく不完全な手法であり、モデルの「本当のワークスペース」を近似的にしか捉えられない——例えば、それは単一のトークンに対応する概念しか識別できない。そしてJ-spaceが実際にどう機能しているかについては、まだ多くの謎が残っている。何がJ-spaceに入る資格を決めているのかというメカニズムは分かっておらず、それがClaudeの自己意識、ある種の感情反応に似たもの、そしてメタ認知の痕跡に関連しているという手がかりがいくつか見られるだけで、具体的な仕組みはまだ解明されていない。少なくとも今は、こうした問題に取り組む方法ができた、と彼らは述べている。