受试者在磁共振扫描仪里观看数字人面部视频，模型再根据fMRI信号重建身份外观、表情、头部姿态和连续运动。复旦大学、西湖大学、浙江大学、南洋理工大学团队提出fMRI2Face，并构建62856组脑信号与1920×1080视频配对样本。
这不是从大脑中读取任意记忆。刺激内容由实验预先生成，参与者观看的是背景受控的数字人面孔；模型学习的是这些已知视觉刺激与扫描信号之间的对应关系。
数据先把身份、表情和姿态拆开控制
动态人脸解码长期受制于数据规模。自然视频变化很多，却难以知道脑信号究竟对应身份、表情、光照还是背景。fMRI-Face先用模块化数字人资产建立角色，再用面部绑定系统控制表情和头部运动，最后把视频播放给扫描中的参与者。
论文Figure 2：数字人创建、面部动画、视频渲染和fMRI扫描的完整数据流程。
受控生成使不同变化因素可以被单独组合。数据总量达到62856对，视频保持全高清输出，但fMRI本身的时间与空间分辨率仍远低于视频，重建过程必须依靠学习到的人脸先验补足细节。
两条脑信号控制分别管外观和几何
fMRI2Face没有把所有信息压进一个条件向量。第一条分支生成外观上下文，负责身份相关的整体视觉特征；第二条分支预测可变形3D人脸参数，显式控制姿态、表情和非刚性面部运动。
论文Figure 1：fMRI信号被拆成外观上下文和3D几何控制，再送入视频扩散模型。
3D控制先被渲染成随时间变化的面部引导序列，外观上下文则以Token形式进入视频扩散网络。两条信息在并行Transformer分支中结合，使模型既保留人物外观，又能跟随表情和头部运动。
对比结果主要改善身份和连续运动
论文把fMRI2Face与代表性神经解码方法比较，使用重建质量、身份保持、面部几何和运动一致性等指标。定性结果按时间顺序展示多帧，可以直接观察姿态变化和表情过渡。
论文Figure 5：每组从左到右为连续四帧，比较身份、姿态、表情和时间运动。
不同受试者的结果并不完全一致。扫描噪声、个体脑区差异和训练样本量都会影响重建，论文也展示了按受试者拆分的可视化，而不是只挑一个最佳案例。
生成视频中的清晰五官不能全部理解为扫描仪逐像素读出的内容。扩散模型会利用训练阶段学到的人脸结构先验，把低时间分辨率的脑信号映射成连贯画面；身份、表情或运动指标可以衡量对应程度，却无法证明每一处皮肤纹理都来自受试者当时的神经活动。
数据规模中的“62856组”指整理后的脑信号—视频样本配对，并不等于有62856名参与者。评估跨人泛化时，受试者数量、训练与测试划分以及是否见过同类数字人都很关键。读者更应关注模型在未见刺激和不同参与者上的变化，而不是只比较展示图的逼真程度。
这类研究还涉及严格的隐私边界。当前系统依赖受控刺激、专用扫描设备和个体训练数据，距离在日常环境中读取他人想法很远；但脑信号与身份、健康相关，数据共享和模型复用仍应保留知情同意、去标识化及访问控制。
论文Figure 11：按受试者整理的数字人面部视频重建样例。
下一步是跨人泛化和更自然的视觉刺激
当前数据的优势是可控，代价是离真实世界仍有距离。数字人面孔没有复杂背景、遮挡和自然光照，模型也依赖指定扫描流程。换受试者、扫描设备或完全不同的人脸分布，性能需要重新验证。
这套数据和方法更适合作为研究动态人脸感知的实验平台。后续若要处理自然视频，需要扩大受试者数量、提高跨人迁移能力，并明确生成先验补出的细节与脑信号直接支持的信息边界。
