研究解説 · 小互解説
脳のどの領域がどんな映像を見たがるのか?EPFLがAIに動画を繰り返し生成させ、各脳領域が一番好む映像を引き出す
すべての結果は脳の「デジタルツイン」モデルによるコンピューターシミュレーション予測であり、実際の人間の脳イメージングでの実測検証はまだ行われていない。
速覧
- EPFL(ローザンヌ連邦工科大学)がジョンズ・ホプキンス大学と共同でNEvoシステムを発表:進化的アルゴリズムでAI動画を生成し、脳の視覚皮質の指定領域の活性化を最大化することに特化している。
- システムはまずMetaのV-JEPA 2をバックボーンとする、脳の視覚反応を予測できる「デジタルツイン」符号化モデルを訓練し、その後、遺伝的アルゴリズムを使って動画生成モデルのプロンプト空間の中から、目標脳領域の活性化値が最も高くなる動画を探索する。
- 合成動画の予測活性化値はMoments in Time実写動画ライブラリの反応の上位0.2%区間に達し(99.8%の実写動画を上回る)、専門家が設計したローカライザー刺激の反応の95.8%に達した。
- 脳の外側経路に沿って「サーチライト」スキャンを行うと、V1から前上側頭溝(aSTS)にかけて連続した勾配が現れる:テクスチャ・色の好みが徐々に運動の好みへ、さらに社会的相互作用の好みへと移行していく。
- 論文ははっきりと指摘している:これらの活性化スコアはすべてデジタルツインモデル自身によるコンピューターシミュレーション予測であり、実際の人間の脳イメージングによる実測結果ではない。著者は今後、実際の人間を対象としたクローズドループ実験での検証を呼びかけている。
1研究背景
AIが合成した動画、脳を「点灯」させるために作られた
EPFL(ローザンヌ連邦工科大学)とジョンズ・ホプキンス大学の共同研究チームが、最近NEvoと呼ばれるシステムを発表した:進化的アルゴリズムでAI動画を生成し、逆に脳の視覚野の「似顔絵」を描くというものだ。
これはAI符号化モデルに導かれ、自然な動的視覚刺激のもとでの脳の選択性を体系的に研究する初のフレームワークである。研究者はもはや人手で画像を選ぶのではなく、AI自身にある脳領域を的確に点灯させる動画を進化させて生み出させる。
◆
合成された動画はどれほど強力なのか?予測活性化値は実写動画ライブラリの反応の上位0.2%区間に達し(99.8%の実写動画を上回る)、専門家が設計したローカライザー刺激の反応の95.8%に達した。つまり、AIが進化させた刺激は、大量の実写動画や専門設計刺激の中で最も強い部類に匹敵、あるいはそれを上回っている。
関連論文のタイトルは《NEvo: Neural-Guided Evolutionary Video Synthesis for Dynamic Visual Selectivity》(arXiv:2607.02317)で、プロジェクトのホームページではマウス操作で各脳領域専用に合成された刺激動画を逐一確認できる。
著者は6名(Yingtian Tang、Sogand Salehi、Amir Zamir、Martin SchrimpfはいずれもEPFL所属、Ming Zhou、Leyla Isikはジョンズ・ホプキンス所属)。このうちMartin Schrimpfは脳モデルのアラインメント評価基準Brain-Scoreの作者であり、Leyla Isikは社会的視覚知覚を専門とする研究者である。
2神経科学的背景
脳はどう動く世界を見ているのか:まだ埋まっていない空白
脳の視覚システムは分業が明確で、古典的な説では二つの経路がある:物体認識を担う腹側経路と、運動と行動を司る背側経路だ。しかしここ数年、社会的情報を専門に処理する第三の経路も存在することが発見されており、現時点で最も研究が進んでいない。
01
腹側経路ventral stream
物体・顔・場面を認識し、「これは何か」に答える。
02
背側経路dorsal stream
運動を処理し、行動を導き、「どこにあるか、どう動くか」に答える。
03
外側経路lateral stream
生物的運動、他者の動作、社会的相互作用を処理する。新たに発見された経路で最も研究が進んでおらず、NEvoはまさにここを狙っている。