研究解读 · 小互解读
大脑哪块区域爱看什么?EPFL 让 AI 反复生成视频,逼出每块脑区最爱看的那一段
所有结果均为大脑「数字孪生」模型的计算机模拟预测,尚未用真人脑成像实测验证。
速览
- EPFL(洛桑联邦理工)联合约翰斯·霍普金斯大学发布NEvo系统:用进化算法生成AI视频,专门用于最大化激活大脑视觉皮层的指定区域。
- 系统先训练一个能预测大脑视觉反应的「数字孪生」编码模型(骨干为Meta的V-JEPA 2),再用遗传算法在视频生成模型的prompt空间里搜索能让目标脑区激活值最高的视频。
- 合成视频的预测激活值达到Moments in Time真实视频库反应的前0.2%区间(超过99.8%的真实视频),达到专业设计定位刺激反应的95.8%。
- 沿大脑外侧通路做「探照灯」扫描,从V1到前颞上沟(aSTS)呈现出一条连续梯度:纹理色彩偏好逐渐过渡为运动偏好,再过渡为社交互动偏好。
- 论文明确指出:所有这些激活分数都是数字孪生模型自身的计算机模拟预测,并非真人脑成像实测结果,作者呼吁未来做真人闭环实验验证。
1研究背景
被AI合成的视频,专门用来点亮大脑
EPFL(洛桑联邦理工)联合约翰斯·霍普金斯大学的研究团队,最近公布了一个名为NEvo的系统:用进化算法生成AI视频,反过来给大脑视觉区画像。
这是首个用AI编码模型引导、系统研究自然动态视觉刺激下大脑选择性的框架。研究者不再靠人工挑图片,而是让AI自己演化出能精准点亮某个脑区的视频。
◆
合成出来的视频有多强?预测激活值达到真实视频库反应的前0.2%区间(超过99.8%的真实视频),达到专业设计定位刺激反应的95.8%。也就是说,AI演化出来的刺激,匹配甚至超过了大量真实视频和专业设计刺激里最强的那批。
配套论文题为《NEvo: Neural-Guided Evolutionary Video Synthesis for Dynamic Visual Selectivity》(arXiv:2607.02317),项目主页可以用鼠标逐区查看为每个脑区专门合成的刺激视频。
作者六人(Yingtian Tang、Sogand Salehi、Amir Zamir、Martin Schrimpf均来自EPFL,Ming Zhou、Leyla Isik来自约翰斯·霍普金斯)。其中Martin Schrimpf是脑模型对齐评测基准Brain-Score的作者,Leyla Isik是社交视觉感知方向的研究者。
2神经科学背景
大脑怎么看动的世界:一块还没填的空白
大脑的视觉系统分工明确,经典说法有两条通路:认物体的腹侧流,管运动和行动的背侧流。但近些年发现还有第三条,专门处理社交信息,目前研究得最不透彻。
01
腹侧流ventral stream
认物体、认脸、认场景,回答这是什么。
02
背侧流dorsal stream
处理运动、指导行动,回答在哪、怎么动。
03
外侧流lateral stream
处理生物运动、他人动作、社会互动。新发现的通路,研究最不透彻,NEvo正是冲着它去的。