Neuro-Symbolic Decoding of Neural Activity
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
NEURONA通过结合符号推理与fMRI基础，提升神经活动解码的准确性和泛化能力。
2026-02-22 cs.AI cs.LG q-bio.NC
Optimizing fMRI Data Acquisition for Decoding Natural Speech with Limited Participants
CEA, ENS Université Paris-Saclay France（CEA、巴黎-萨克雷大学）；ENS, EHESS, CNRS Université PSL France（巴黎-萨克雷大学、高等科学研究院、国家科学研究中心）；INSERM, CEA, CNRS Université Paris-Saclay France（国家医学研究委员会、CEA、国家科学研究中心、巴黎-萨克雷大学）
本研究探讨了在有限参与者下从fMRI解码自然语音的最优策略，发现多受试者训练及不同刺激对解码准确率影响甚微，指出深度表型分析或更大队列可能是提升解码效果的关键。
2025-05-27 cs.CL cs.LG q-bio.NC
Pruning Graph Convolutional Networks to select meaningful graph frequencies for fMRI decoding
IMT Atlantique（大西洋国立高等矿业电信学校）；CNRS（法国国家科学研究中心）
图形信号处理是一个很有前途的框架来操纵大脑信号，因为它允许包含大脑中感兴趣区域的活动之间的空间依赖性。在这项工作中，我们有兴趣更好地了解什么是最有用的解码功能磁共振成像信号的图形频率。为此，我们引入了一个深度学习架构，并采用修剪方法来自动识别这些频率。我们用各种数据集，架构和图形进行实验，并表明低图形频率始终被确定为最重要的功能磁共振成像解码，具有更强的贡献的功能图的结构之一。我们相信，这项工作提供了新的见解，如何基于图形的方法可以部署，以提高功能磁共振成像解码的准确性和可解释性。
2022-03-09 cs.LG eess.SP
NSD-Imagery: A benchmark dataset for extending fMRI vision decoding methods to mental imagery
University of Minnesota（明尼苏达大学）；Alljoined；Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Stability AI/Medical AI Research Center (MedARC)（Stability AI/医疗AI研究中心（MedARC））
本文发布与心理图像配对的 fMRI 基准数据集 NSD-Imagery，系统评估多种开源视觉解码模型，发现心理意象解码性能不同于视觉重建，简单线性与多模态特征架构泛化更好。
2025-06-07 cs.CV cs.LG eess.IV
Boosting Brain-to-Image Decoding with TRIBE v2 Data Augmentation
Meta AI
针对脑解码中标记数据稀缺的问题，提出利用预训练的fMRI响应模型TRIBE v2生成合成数据来增强小样本数据集，在两个数据集上实现最高68%的Top-10图像检索准确率提升，并发现纯合成数据训练的解码器在零样本设置中也能达到高于随机水平的性能。
2026-06-04 cs.AI cs.LG q-bio.NC
fMRI2GES: Co-speech Gesture Reconstruction from fMRI Signal with Dual Brain Decoding Alignment
College of Information Science and Engineering, Hunan University（湖南大学信息科学与工程学院）；School of Computer Science and Technology, Nanjing University of Science and Technology（南京理工大学计算机科学与技术学院）；Department of Automation, Tsinghua University（清华大学自动化系）
fMRI2GES通过双脑解码对齐方法，利用无配对数据实现从fMRI信号到同步语音手势的重建，提升神经科学认知。
2025-12-01 cs.AI cs.LG
FRIST: FMRI Representation Informed Shared-space Training Improves EEG-only Individual-Finger BCI Decoding
Carnegie Mellon University（卡内基梅隆大学）
FRIST利用fMRI空间信息指导EEG表征学习，通过两阶段框架提升仅用EEG的单指BCI解码准确率，在多项实验中显著优于基线。
2026-09-14 cs.LG eess.SP
Performance of data-driven inner speech decoding with same-task EEG-fMRI data fusion and bimodal models
University of Bath（巴斯大学）；Luleå University of Technology（吕勒奥理工大学）；Umeå University（于默奥大学）；SpeakUnique Ltd.（SpeakUnique有限公司）
本研究通过比较两种双模态融合方法，证明在数据具有底层结构时，fMRI-EEG融合可提升内心言语解码性能，且不同参与者的数据结构差异影响模型表现。
2023-06-19 cs.HC cs.LG
Decoding visual stimuli in human brain by using Anatomical Pattern Analysis on fMRI images
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
在神经科学和机器学习中，一个普遍的悬而未决的问题是计算机是否可以解码人脑的模式。多体素模式分析（MVPA）是解决这一问题的关键工具。然而，在以往的MVPA方法，这是两个挑战，其中包括减少稀疏性和噪声提取的特征和提高预测性能。在克服上述挑战，本文提出了解剖模式分析（APA）解码视觉刺激在人脑中。该框架开发了一种新的解剖特征提取方法和一种新的不平衡AdaBoost算法进行二进制分类。此外，它利用纠错输出码（ECOC）方法进行多类预测。APA可以自动检测每个类别的视觉刺激的活动区域。此外，它使我们能够结合同质数据集应用高级分类。对4个视觉类别（单词、辅音、物体和杂乱照片）的实验研究表明，该方法比现有方法具有更好的性能。
2016-09-04 cs.LG q-bio.NC stat.ML
Graph-Based Decoding Model for Functional Alignment of Unaligned fMRI Data
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Taishan University（泰山学院）
聚集多主题功能磁共振成像（fMRI）数据是必不可少的，从分布在人类大脑的模式产生有效的和一般的推论。人类大脑的解剖结构和功能地形图的差异保证了跨学科的fMRI数据的一致性。然而，现有的功能对齐方法不能很好地处理当今各种fMRI数据集，特别是当它们不是时间对齐时，即，某些受试者可能对某些刺激缺乏反应，或者不同的受试者可能遵循不同的刺激序列。在本文中，一个跨学科的图表，描绘了样本之间的（不）相似性，跨学科作为先验开发一个更灵活的框架，适合各种各样的功能磁共振成像数据集。然而，功能磁共振成像数据的高维度和多个主题的使用使得粗糙的框架耗时或不实用。为了解决这个问题，我们进一步规范的框架，使一个新的可行的基于核的优化，它允许非线性特征提取，可以在理论上开发。具体地说，低维假设施加在每个新的特征空间，以避免过度拟合所造成的高时空分辨率的fMRI数据。在5个数据集上的实验结果表明，该方法不仅在时间对齐的fMRI数据上优于现有的几种方法，而且适用于处理时间不对齐的fMRI数据.
2019-11-19 cs.LG eess.IV stat.ML
Deep learning approaches for neural decoding: from CNNs to LSTMs and spikes to fMRI
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）
直接从神经信号解码行为、感知或认知状态在脑机接口研究中有应用，也对系统神经科学有影响。在过去的十年中，深度学习已经成为从语音识别到图像分割的许多机器学习任务中最先进的方法。深度网络在其他领域的成功引发了神经科学应用的新浪潮。在这篇文章中，我们回顾了神经解码的深度学习方法。我们描述的架构用于提取有用的功能，从神经记录模式，从尖峰到EEG。此外，我们还将探讨如何利用深度学习来预测常见的输出，包括运动、语音和视觉，重点是如何将预先训练的深度网络作为声学语音或图像等复杂解码目标的先验知识。深度学习已被证明是一种有用的工具，可以在各种任务中提高神经解码的准确性和灵活性，我们指出了未来科学发展的领域。
2020-05-19 cs.LG q-bio.NC
Optimized two-stage AI-based Neural Decoding for Enhanced Visual Stimulus Reconstruction from fMRI Data
Department of Electronics, Information, and Bioengineering, Politecnico di Milano（电子、信息与生物工程系，米兰理工大学）；Università di Pavia（帕维亚大学）
本研究提出一种非线性深度网络优化fMRI潜在空间表示与维度，结合两阶段生成式AI提升视觉刺激重建效果，在自然场景数据集上结构相似度和语义质量均优于现有岭线性模型方法，并验证了两阶段各自的作用。
2024-12-17 cs.CV cs.LG eess.IV
Decoding natural image stimuli from fMRI data with a surface-based convolutional network
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）；Weill Cornell Medicine（威尔康奈尔医学院）
由于功能磁共振成像数据的低信噪比和有限的分辨率，以及自然图像的高复杂性，从人脑功能磁共振成像测量重建视觉刺激是一项具有挑战性的任务。在这项工作中，我们提出了一种新的方法，我们称之为Cortex2Image，解码具有高语义保真度和丰富的细粒度细节的视觉刺激。特别是，我们训练了一个基于表面的卷积网络模型，该模型首先从大脑反应映射到语义图像特征（Cortex2Semantic）。然后，我们将此模型与一个高质量的图像生成器（实例条件GAN）结合起来，使用变分方法（Cortex2Detail）训练另一个从大脑反应到细粒度图像特征的映射。通过我们提出的方法获得的图像重建实现了最先进的语义保真度，同时产生良好的细粒度的相似性与地面真实刺激。我们的代码可在https://github.com/zijin-gu/meshconv-decoding.git上获取。
2023-03-05 cs.CV cs.LG q-bio.QM
MoRE-Brain: Routed Mixture of Experts for Interpretable and Generalizable Cross-Subject fMRI Visual Decoding
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Oak Ridge National Laboratory（橡树岭国家实验室）
MoRE-Brain提出分层混合专家架构，通过双阶段路由机制动态加权专家贡献，实现高保真、可解释且跨被试泛化的fMRI视觉解码。
2025-10-07 cs.AI cs.CV cs.HC
Nonlocal operator learning for fMRI encoding and decoding tasks
Department of Computer Science, Idaho State University（计算机科学系，爱达荷州立大学）；Department of Mathematics and Statistics, Idaho State University（数学与统计学系，爱达荷州立大学）
本文提出了一种基于神经积分算子的框架，用于fMRI数据的编码和解码任务，探讨了非局部时空上下文的作用，并通过实验验证了更长的时间窗口和视觉皮层与全脑记录对性能和潜在空间几何的影响。
2026-05-19 cs.AI cs.LG
DREAM: Visual Decoding from Reversing Human Visual System
University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）；University of Cambridge（剑桥大学）
本研究提出基于人类视觉系统原理的fMRI转图像方法DREAM，通过模拟视觉通路逆向过程的两个组件解析脑活动信息，在多维度一致性上超越现有最优模型，代码将开源。
2024-04-10 cs.CV cs.LG eess.IV
Cephalonauts One: A deep fMRI dataset for decoding naturalistic speech in the human brain
Karavela；UNICOG, CNRS, INSERM, CEA, Paris-Saclay University（UNICOG，CNRS，INSERM，CEA，巴黎萨克雷大学）；LSCP, EHESS, ENS, CNRS, PSL University（LSCP，EHESS，ENS，CNRS，巴黎文理研究大学）；Centre de NeuroImagerie de Recherche (CENIR), Sorbonne Université, ICM（索邦大学巴黎大脑研究所神经影像研究中心（CENIR））；Department of Radiology, Hôpital Fondation Adolphe de Rothschild（罗斯柴尔德基金会医院放射科）；Inria, CEA, Paris-Saclay University（法国国家信息与自动化研究所，CEA，巴黎萨克雷大学）
该研究发布了一个包含三名受试者各30小时fMRI数据的深度数据集，用于解码自然语音，并提出了音频片段检索基准，实验表明解码性能随训练数据量增加而提升。
2026-10-05 cs.AI cs.LG
Decoding the Encoding of Functional Brain Networks: an fMRI Classification Comparison of Non-negative Matrix Factorization (NMF), Independent Component Analysis (ICA), and Sparse Coding Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
功能磁共振成像中的大脑网络通常使用空间独立成分分析（ICA）来识别，但稀疏编码和阳性等数学约束都为生成大脑网络提供了替代的生物学合理框架。非负矩阵分解（NMF）通过增强正性来抑制负BOLD信号。空间稀疏编码算法（$L1$正则化学习和K-SVD）将强加局部专业化和多任务的阻碍，其中单个体素中的总观察到的活动源自有限数量的可能的大脑网络。独立性，积极性和稀疏性的假设，以编码任务相关的大脑网络进行了比较，得到的大脑网络为不同的约束条件被用作基函数，在给定的时间点编码所观察到的功能活动。这些编码是使用机器学习解码的，以比较算法和它们的假设，使用时间序列权重来预测受试者是否正在观看视频，收听音频提示，或者在来自51名受试者的304次fMRI扫描中休息。对于认知活动分类，$L1$正则化学习的稀疏编码算法在不同数量的网络和噪声水平上始终优于ICA的4种变体（p $<$ 0.001）。抑制负BOLD信号的NMF算法精度最差。在每种算法中，使用稀疏空间网络（包含更多零值体素）的编码具有更高的分类准确度（p $<$ 0.001）。稀疏编码算法的成功可能表明，执行稀疏编码，不鼓励多任务处理，并促进本地专业化的算法可以更好地捕捉底层源过程比那些允许取之不尽的本地过程，如ICA。
2016-07-01 cs.LG q-bio.NC stat.ML
HRF estimation improves sensitivity of fMRI encoding and decoding models
INRIA Saclay-Île-de-France（法国国家信息与自动化研究所 萨克莱-法兰西岛分院）；CEA（法国原子能和替代能源委员会）；INRIA Paris - Rocquencourt（法国国家信息与自动化研究所 巴黎-罗克库尔分院）；Institut Mines-Télécom（法国国立矿业电信学院）；Télécom ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）
由于血氧水平依赖（BOLD）信号的固有延迟，从功能磁共振图像（fMRI）数据集提取激活模式在快速事件设计中仍然具有挑战性。一般线性模型（GLM）允许从设计矩阵和固定的血流动力学响应函数（HRF）估计激活。然而，已知HRF在受试者和脑区域之间变化很大。在本文中，我们提出了一个模型，用于联合估计的血流动力学反应函数（HRF）和激活模式通过一个低秩表示的任务效果。该模型是基于GLM背后的线性假设，可以使用标准的基于梯度的求解器计算。我们使用由我们的模型计算的激活模式作为编码和解码研究的输入数据，并报告在两种设置中的性能改善。
2013-05-13 cs.LG stat.AP
Looking through the mind's eye via multimodal encoder-decoder networks
Yale University（耶鲁大学）；Wu Tsai Institute（蔡崇武研究所）
本文提出利用fMRI测量解码心理意象，通过将文本提示的fMRI嵌入与视频fMRI嵌入对齐，并扩充数据集，实现了从脑信号到视觉意象的映射与解码。
2024-09-27 cs.LG eess.IV q-bio.NC
Volume-Wise Task fMRI Decoding with Deep Learning:Enhancing Temporal Resolution and Cognitive Function Analysis
University of Science and Technology of China（中国科学技术大学）；University of Maryland Baltimore County（马里兰大学巴尔的摩分校）
本研究提出一种用于体素级tfMRI任务状态识别的深度神经网络，在HCP数据集上实现高准确率，显著提升了时间分辨率，为动态脑活动分析和认知机制理解提供了新方法。
2025-03-02 cs.CV cs.HC cs.LG
EmoMind: Decoding Affective Captions from Human Brain fMRI
Department of Biomedical Engineering（生物医学工程系）；Vanderbilt University（范德比大学）；Research Institute of Electrical Communication（电气通信研究所）；Tohoku University（东北大学）；University of Florida（佛罗里达大学）
本文提出EmoMind，首个端到端解码fMRI信号生成情感描述的系统，通过结合语义基础的中性场景描述和连续情感向量，实现了在内容保留与情感表达间的平衡，并在多个验证框架下优于基于标签提示的GPT-4。
2026-09-09 cs.AI cs.CL cs.LG
Condition-Invariant fMRI Decoding of Speech Intelligibility with Deep State Space Model
1Academia Sinica, Taiwan 2Keio University, Japan 3Graduate Institute of Communication Engineering, National Taiwan University, Taiwan 4Taiwan International Graduate Program in Interdisciplinary Neuroscience, National Taiwan University, Taiwan
提出基于深度状态空间模型的新架构从fMRI解码语音可懂度，首次实现跨声学条件解码，证实存在条件不变的神经编码。
2025-10-21 cs.LG cs.SD eess.AS
Multi-pooling 3D Convolutional Neural Network for fMRI Classification of Visual Brain States
School of Informatics（信息学院）；Kochi University of Technology（高知工科大学）
本文提出多池化3D卷积神经网络（MP3DCNN），通过在3DCNN前两层加入池化连接分支，提升了视觉脑状态fMRI在类别及子类别分类任务中的准确率。
2023-03-25 cs.CV cs.LG eess.IV
Across-subject ensemble-learning alleviates the need for large samples for fMRI decoding
Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Université Paris-Saclay（巴黎-萨克雷大学）
本文提出跨被试集成学习方法，结合其他被试训练的分类器解码新被试认知状态，在五个数据集上最高提升20%准确率，降低了对大样本的需求。
2024-07-09 cs.LG eess.IV
Multi-Region Neural Representation: A novel model for decoding visual stimuli in human brains
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
多变量模式（MVP）分类具有巨大的潜力解码视觉刺激在人类大脑中采用基于任务的功能磁共振成像数据集。MVP技术面临着广泛的挑战，即降低噪声和稀疏性，定义有效的感兴趣区域（ROI），可视化结果以及大脑研究的成本。为了克服这些挑战，本文提出了一种新的神经表征模型，它可以自动检测每个视觉刺激的活动区域，然后利用这些解剖区域进行可视化和分析的功能活动。因此，该模型为神经科学家提供了一个机会来问这个问题：刺激对每个检测到的区域的影响是什么，而不仅仅是研究手动选择的ROI中体素的波动。此外，我们的方法引入了分析大脑图像的快照，而不是使用整个fMRI时间序列来降低稀疏性。在此基础上，提出了一种新的高斯平滑方法，用于在感兴趣区水平上去除体素噪声。所提出的方法使我们能够结合不同的fMRI数据集，以减少大脑研究的成本。对4个视觉类别（单词，辅音，物体和无意义的照片）的实验研究证实，所提出的方法实现了优于国家的最先进的方法的性能。
2016-12-26 cs.LG q-bio.NC stat.ML
Decoding Naturalistic Speech from fMRI with Temporal Modeling and Multimodal Alignment
Karavela（卡拉韦拉）；Paris-Saclay University（巴黎-萨克雷大学）；EHESS（高等社会科学研究院）；ENS（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；CEA（法国原子能和替代能源委员会）；LSCP（认知科学与心理学实验室）
本研究针对fMRI解码自然语音的难题，提出时间卷积解码器NOEMA，结合多模态刺激表示，在两个数据集上实现了优于基线的检索性能，验证了时间建模与互补刺激表示的作用。
2026-10-16 cs.AI cs.LG
L1-Regularized ICA: A Novel Method for Analysis of Task-related fMRI Data
Ibaraki University（茨城大学）
本文提出L1正则化ICA方法，通过在ICA代价函数中加入稀疏约束并用凸函数差分算法优化，以提升高维数据特征可解释性，并在合成与真实fMRI数据上验证其有效性。
2024-10-17 cond-mat.dis-nn cs.LG q-bio.NC
Brain2Word: Decoding Brain Activity for Language Generation
ETH Zurich（苏黎世联邦理工学院）
大脑解码，被理解为将大脑活动映射到产生它们的刺激的过程，在过去几年中一直是一个活跃的研究领域。在语言刺激的情况下，最近的研究表明，有可能将功能磁共振成像扫描解码为受试者正在阅读的单词的嵌入。然而，这样的词嵌入是为自然语言处理任务而不是为大脑解码而设计的。因此，它们限制了我们恢复精确刺激的能力。在这项工作中，我们建议直接对fMRI扫描进行分类，将其映射到固定词汇表中的相应单词。与现有的工作不同，我们评估了以前看不见的主题的扫描。我们认为，这是一个更现实的设置，我们提出了一个模型，可以解码功能磁共振成像数据看不见的主题。我们的模型在这项具有挑战性的任务中实现了5.22%的Top-1和13.59%的Top-5准确率，显著优于所有考虑的竞争基线。此外，我们使用解码的单词来指导语言生成与GPT-2模型。通过这种方式，我们推进了对将大脑活动转换为连贯文本的系统的探索。
2020-11-11 cs.CL cs.LG q-bio.NC
Brain-optimized inference improves reconstructions of fMRI brain activity
University of Minnesota（明尼苏达大学）
该研究提出大脑优化推理方法，通过迭代优化重建图像与fMRI脑活动的一致性来提升解码效果，验证了其优于基础解码方法，并揭示了视觉皮层不同区域的优化速率差异。
2023-12-12 cs.AI cs.CV cs.LG
Improved brain pattern recovery through ranking approaches
INRIA Saclay-Île-de-France（法国国家信息与自动化研究所 萨克莱-法兰西岛分院）；CEA（法国原子能和替代能源委员会）；Inserm（法国国家健康与医学研究院）；INRIA Paris - Rocquencourt（法国国家信息与自动化研究所 巴黎-罗克库尔分院）
从功能磁共振图像（fMRI）数据推断大脑区域的功能特异性是一个具有挑战性的统计问题。虽然一般线性模型（GLM）仍然是大脑映射的标准方法，但监督学习技术（a.k.a.}解码）已被证明可用于捕获跨体素和脑区域分布的多变量统计效应。到目前为止，已经做了很多努力，以改善解码的形式结合先验知识的一个特定的正则化项。在本文中，我们证明了进一步的改进，可以通过会计的非线性使用排名的方法，而不是常用的最小二乘回归。通过仿真，我们比较了我们的方法的恢复特性，通常用于基于fMRI的解码的线性模型。我们证明了一个真正的功能磁共振成像数据集的排名的优越性。
2012-07-15 cs.LG stat.ML
A Penny for Your (visual) Thoughts: Self-Supervised Reconstruction of Natural Movies from Brain Activity
The Weizmann Institute of Science（魏茨曼科学研究所）
从fMRI大脑记录重建自然视频是非常具有挑战性的，主要有两个原因：（i）由于fMRI数据采集很困难，我们只有有限数量的监督样本，这不足以覆盖自然视频的巨大空间;（ii）fMRI记录的时间分辨率远低于自然视频的帧速率。在本文中，我们提出了一种自监督的自然电影重建方法。通过在编码-解码自然视频上使用周期一致性，我们可以：（i）利用训练视频的完整帧速率，而不仅仅限于与fMRI记录相对应的剪辑;（ii）利用受试者从未在fMRI机器内看到的大量外部自然视频。这些使得能够将适用的训练数据增加几个数量级，将自然视频先验以及时间相干性引入解码网络。我们的方法明显优于竞争的方法，因为那些训练只在有限的监督数据。我们进一步引入了一个新的和简单的时间先验的自然视频，它-当折叠到我们的fMRI解码器进一步-允许我们重建视频在一个更高的帧速率（HFR）高达x8的原始fMRI采样率。
2022-06-10 cs.AI cs.CV cs.LG
Evaluating deep transfer learning for whole-brain cognitive decoding
Technische Universität Berlin（柏林工业大学）；Max Planck Institute for Human Development（马克斯·普朗克人类发展研究所）；Stanford University（斯坦福大学）；Max Planck UCL Centre for Computational Psychiatry and Ageing Research（马克斯·普朗克伦敦大学学院计算精神病学与老龄化研究中心）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
许多领域的研究表明，迁移学习（TL）非常适合在样本数量较少的数据集中提高深度学习（DL）模型的性能。这一经验性的成功引发了人们对TL在功能性神经影像数据认知解码分析中的应用的兴趣。在这里，我们系统地评估TL的应用DL模型解码的认知状态（例如，观看面部或房屋的图像）。我们首先在一个大型的公共fMRI数据集上预训练两个DL架构，然后在一个独立的实验任务和一个完全独立的数据集上评估它们的性能。预训练的模型始终实现更高的解码精度，并且通常需要比未预训练的模型变体更少的训练时间和数据，这清楚地强调了预训练的好处。我们证明了这些好处来自于预训练模型在使用新数据进行训练时重用其许多学习特征的能力，从而更深入地了解了产生预训练好处的机制。然而，在解释预训练模型的解码决策时，我们也发现了使用DL模型进行全脑认知解码的微妙挑战，因为这些模型已经学会了以不可预见和违反直觉的方式利用fMRI数据来识别个体认知状态。
2021-11-01 cs.LG q-bio.NC
Gradient Hyperalignment for multi-subject fMRI data alignment
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
多学科fMRI数据分析是人脑解码研究中的一个有趣且具有挑战性的问题。受试者之间固有的解剖和功能差异使得有必要在分类分析之前进行解剖和功能对齐。除此之外，当涉及到大数据时，时间复杂度成为一个不可忽视的问题。本文提出了梯度超对齐（Gradient Hyperalignment，简称HA）方法，它是一种基于梯度的功能对齐方法，适用于具有大量样本和体素的多主题fMRI数据集。该算法的优点是利用独立分量分析（ICA）和随机梯度上升（SGA）来解决独立性和高维问题。在大数据上使用多分类任务的验证表明，与其他最先进的功能对齐方法相比，该方法具有更低的时间复杂度和更好或相当的性能。
2018-07-07 cs.LG q-bio.NC stat.ML
Interpretability of Multivariate Brain Maps in Brain Decoding: Definition and Quantification
University of Trento（特伦托大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会（FBK））；Centro Interdipartimentale Mente e Cervello (CIMeC)（跨部门心智与大脑中心（CIMeC））
脑解码是神经影像学中用于假设检验的流行的多变量方法。众所周知，从线性分类器的权重导出的脑图很难解释，因为预测器之间的高度相关性、低信噪比以及神经成像数据的高维数。因此，提高大脑解码方法的可解释性是许多神经影像学研究的主要兴趣。尽管这种类型的广泛的研究，目前，有没有正式的定义多元脑地图的解释。因此，没有定量的措施来评估不同的大脑解码方法的可解释性。在本文中，首先，我们提出了一个理论上的定义，在大脑解码的可解释性，我们表明，多元脑地图的可解释性可以分解为它们的再现性和代表性。其次，作为所提出的理论定义的应用，我们正式提出了一种启发式方法，用于近似的解释性的多元脑地图的二进制脑磁图（MEG）解码的情况。第三，我们建议结合近似的可解释性和性能的大脑解码模型到一个新的多目标标准模型选择。我们对脑磁图数据的研究结果表明，基于所提出的标准优化正则化线性分类器的超参数会产生更多信息的多变量脑图。更重要的是，所提出的定义提供了理论背景，定量评估的可解释性，因此，有利于开发更有效的大脑解码算法在未来。
2016-03-29 cs.LG stat.ML
Transformers for Multimodal Brain State Decoding: Integrating Functional Magnetic Resonance Imaging Data and Medical Metadata
Department of Quantom and Converging Sciences（量子与交叉科学系）；Islamic Azad University Central Tehran Branch（伊斯兰 Azad 大学中央德黑兰分部）
本文提出一种结合Transformer架构和多模态输入的框架，用于解码fMRI数据和DICOM元数据的脑状态，提升模型的准确性与鲁棒性。
2026-08-11 cs.LG
Ensemble-based graph representation of fMRI data for cognitive brain state classification
Institute for Cognitive Neuroscience, University Higher School of Economics（认知神经科学研究所，高等经济大学）；Department of Mathematics and Institute for Women’s Health, University College London（数学系和妇女健康研究所，伦敦大学学院）
本文提出了一种基于集成方法的fMRI图表示方法，通过概率边权重实现高准确率的认知脑状态分类。
2026-02-20 cs.LG q-bio.NC
Analyzing Neuroimaging Data Through Recurrent Deep Learning Models
Technische Universität Berlin（柏林工业大学）；Freie Universität Berlin（柏林自由大学）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
深度学习（DL）模型在神经成像数据中的应用面临着一些挑战，这是由于这些数据集的高维性、低样本量和复杂的时空依赖性结构。更进一步，深度学习模型充当黑箱模型，阻碍了对认知状态和大脑活动之间关联的洞察。为了应对这些挑战，我们引入了DeepLight框架，该框架利用基于长短期记忆（LSTM）的DL模型来分析全脑功能磁共振成像（fMRI）数据。为了解码认知状态（例如，看到房子的图像），DeepLight将fMRI体积分离成一系列轴向脑切片，然后由LSTM顺序处理。为了保持可解释性，DeepLight采用了分层相关传播（LRP）技术。从而，将其解码决策分解成单个输入体素对该决策的贡献。重要的是，分解是在单个fMRI体积的水平上进行的，使DeepLight能够在多个数据粒度水平上研究认知状态和大脑活动之间的关联，从组的水平到单个时间点的水平。为了证明DeepLight的多功能性，我们将其应用于人类连接组项目的大型fMRI数据集。我们表明，DeepLight在解码认知状态和识别与这些状态相关的生理学上适当的大脑区域方面优于单变量和多变量fMRI分析的传统方法。我们进一步证明了DeepLight在单个fMRI样本序列上研究大脑活动的细粒度时空变异性的能力。
2019-04-05 cs.CV cs.LG cs.NE
A multimodal LLM for the non-invasive decoding of spoken text from brain recordings
Sorbonne Université（索邦大学）
本文提出一种端到端多模态大语言模型，通过改进的transformer编码器和冻结的大语言模型对齐脑活动嵌入与文本嵌入，实现从非侵入式fMRI信号中解码口语文本，并在人机交互语料上验证其优于现有模型。
2024-09-29 cs.CL cs.LG cs.SD
Sequential Transfer Learning to Decode Heard and Imagined Timbre from fMRI Data
Dartmouth College（达特茅斯学院）
提出一种基于transformer的fMRI数据序列迁移学习框架，通过Next Thought Prediction预训练和音色解码微调两阶段方法，显著提升了从fMRI解码音乐音色的准确率和分类粒度。
2023-05-22 cs.LG q-bio.QM
Effective and Interpretable fMRI Analysis via Functional Brain Network Generation
Emory University（埃默里大学）
近年来，神经科学领域的研究表明，利用fMRI数据构建的脑功能网络在流行建模和临床预测方面具有巨大的潜力。然而，现有的功能性大脑网络是嘈杂的，不知道下游的预测任务，同时也与最近强大的机器学习模型的GNN不兼容。在这项工作中，我们开发了一个端到端的可训练管道来提取突出的fMRI特征，生成大脑网络，并使用GNN进行预测，所有这些都在下游预测任务的指导下进行。PNC fMRI数据的初步实验表明，我们的框架的优越的有效性和独特的可解释性。
2021-07-23 cs.LG
Hierarchical Multi-resolution Mesh Networks for Brain Decoding
Middle East Technical University（中东技术大学）；Tohoku University（东北大学）
我们提出了一个新的框架，称为分层多分辨率网状网络（HMMNs），它建立了一组大脑网络在多个时间分辨率的功能磁共振成像信号来代表潜在的认知过程。建议的框架，第一，分解的功能磁共振成像信号到不同的频率子带，使用小波变换。然后，在每个子带上通过组合一组局部网格形成一个大脑网络，称为网格网络。围绕每个解剖区域的局部性是相对于基于功能连接的邻域系统来定义的。网格弧的权重估计的平均区域的时间序列之间形成的岭回归。在最后一步中，在不同子带处获得的网状网络的邻接矩阵被集成用于在分层学习架构（称为模糊堆叠泛化（FSG））下进行大脑解码。在人类连接组计划任务-fMRI数据集上的实验结果表明，该模型能够通过提取多个子带的网格弧权值的互补信息来成功区分任务。我们研究的网状网络在不同的分辨率使用网络的措施，即，节点度，节点强度，介数中心性和全球效率的拓扑特性;和调查的解剖区域的连接性，在认知任务。我们观察到不同的子带获得的网络拓扑结构之间的显着变化。我们还分析了分类器集成的多样性，训练的网状网络在多个子带，并观察到，在合奏中的分类器相互合作，以融合在每个子带释放的互补信息。我们的结论是，功能磁共振成像数据，在认知任务中记录，嵌入不同的信息在每个分辨率的解剖区域。
2017-01-11 cs.CV cs.LG cs.NE
SIM: Surface-based fMRI Analysis for Inter-Subject Multimodal Decoding from Movie-Watching Experiments
Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国学院）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出SIM框架，利用表面视觉Transformer和三模态自监督对比对齐解决跨被试皮层变异问题，实现了从fMRI大脑活动中检索视听刺激，并在HCP数据上验证了其跨被试泛化能力。
2025-01-27 cs.AI cs.LG eess.AS
Extracting Root-Causal Brain Activity Driving Psychopathology from Resting State fMRI
University of Pittsburgh（匹兹堡大学）
本文提出SOURCE方法，通过双层结构性因果模型从静息态fMRI中提取驱动心理障碍的根因性脑活动，提升症状维度的可解释性和解剖特异性。
2026-02-06 cs.CV cs.LG eess.IV
More Than Meets the Eye: Self-Supervised Depth Reconstruction From Brain Activity
The Weizmann Institute of Science（魏茨曼科学研究所）
在过去的几年里，使用深度学习工具从fMRI大脑记录中重建观察到的自然图像取得了重大进展。在这里，我们第一次表明，观察到的2D自然图像的密集3D深度图也可以直接从fMRI大脑记录中恢复。我们使用一种现成的方法来估计自然图像的未知深度图。这适用于以下两种情况：（1）在功能磁共振成像扫描仪中呈现给受试者的少量图像（我们有功能磁共振成像记录的图像-称为“配对”数据），以及（2）大量没有功能磁共振成像记录的自然图像（“非配对数据”）。然后将估计的深度图用作辅助重建标准，以直接从fMRI进行深度重建的训练。我们提出了两种主要的方法：仅深度恢复和联合图像深度RGBD恢复。由于可用的“配对”训练数据（具有fMRI的图像）的数量很少，我们通过对许多“未配对”数据（没有fMRI的自然图像和深度图）进行自监督循环一致性训练来丰富训练数据。这是使用我们新定义和训练的基于深度的感知相似性度量作为重建标准来实现的。我们表明，预测的深度图直接从功能磁共振成像优于其间接顺序恢复重建图像。我们进一步表明，从早期皮层视觉区的激活占主导地位，我们的深度重建结果，并提出手段来表征功能磁共振成像体素的深度信息调整的程度。这项工作增加了一个重要的解码信息层，扩展了目前视觉大脑解码能力的范围。
2022-03-22 cs.CV cs.LG q-bio.NC
Inferring latent neural sources via deep transcoding of simultaneously acquired EEG and fMRI
Columbia University（哥伦比亚大学）
同步脑电功能磁共振成像是一种多模态神经成像技术，提供互补的空间和时间分辨率。Cherking一直在开发用于融合模态的原则性和可解释的方法，特别是能够推断代表神经活动的潜在源空间的方法。在本文中，我们解决这个推理问题的框架内的转码-映射从一个特定的编码（模态）的解码（潜在的源空间），然后编码的潜在的源空间的其他模态。具体来说，我们开发了一种对称的方法，包括一个循环卷积转码器，转码EEG功能磁共振成像，反之亦然。在没有血液动力学响应函数或导联场矩阵的任何先验知识的情况下，完整的数据驱动方法利用模态与潜在源空间之间的时间和空间关系来学习这些映射。我们量化，对于模拟和真实的脑电图功能磁共振成像数据，以及如何从一个到另一个以及恢复的源空间，所有看不见的数据进行评估的方式可以转码。除了能够以一种新的方式对称地推断潜在的源空间之外，该方法还可以被视为低成本的计算神经成像-即从“低成本”EEG数据生成“昂贵”的fMRI BOLD图像。
2022-11-27 cs.AI cs.CV cs.LG
Latent neural source recovery via transcoding of simultaneous EEG-fMRI
Columbia University（哥伦比亚大学）
同步脑电功能磁共振成像是一种多模态的神经成像技术，提供互补的空间和时间分辨率，推断神经活动的潜在源空间。在本文中，我们解决这个推理问题的框架内的转码-映射从一个特定的编码（模态）的解码（潜在的源空间），然后编码的潜在的源空间的其他模态。具体来说，我们开发了一种对称的方法，包括一个循环卷积转码器，转码EEG功能磁共振成像，反之亦然。在没有血液动力学响应函数或导联场矩阵的任何先验知识的情况下，该方法利用模态与潜在源空间之间的时间和空间关系来学习这些映射。我们显示，对于真正的脑电图功能磁共振成像数据，以及如何可以从一个到另一个以及恢复的源空间，所有看不见的数据转码的方式。除了能够以一种新的方式对称地推断潜在的源空间之外，该方法还可以被视为低成本的计算神经成像-即从“低成本”EEG数据生成“昂贵”的fMRI BOLD图像。
2020-10-05 cs.LG eess.SP q-bio.NC
Using Deep Learning for Visual Decoding and Reconstruction from Brain Activity: A Review
The University of Edinburgh（爱丁堡大学）
这篇文献综述将讨论使用深度学习方法来使用fMRI数据进行图像重建。更具体地，图像重建的质量将由解码和重建架构中的选择来确定。我将证明，由于图像中的复杂对象，这些结构可能会难以适应各种输入刺激。此外，特征表示的意义将被评估。本文将得出结论，当使用深度神经网络的变体时，在视觉解码和重建中使用深度学习是高度优化的，并将提供未来潜在工作的详细信息。
2021-08-09 cs.CV cs.LG
Deep Transfer Learning For Whole-Brain fMRI Analyses
Technische Universität Berlin（柏林工业大学）；Max Planck School of Cognition（马克斯·普朗克认知学院）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
深度学习（DL）模型在从全脑功能磁共振成像（fMRI）数据解码认知状态中的应用通常受到这些数据集的小样本量和高维数的阻碍。特别是在临床环境中，患者数据稀缺。在这项工作中，我们证明了迁移学习代表了这个问题的解决方案。特别是，我们表明，DL模型，这是以前训练的大型公开可用的功能磁共振成像数据集的人类连接组项目，优于具有相同架构的模型变体，但从头开始训练，当两者都被应用到一个新的，不相关的功能磁共振成像任务的数据。更进一步，当对只有三个受试者大小的数据集进行微调时，预训练的DL模型变体已经能够正确解码来自100个个体的测试数据集的67.51%的认知状态。
2019-07-02 cs.LG eess.IV stat.ML
Jointly Discriminative and Generative Recurrent Neural Networks for Learning from fMRI
Yale University（耶鲁大学）；Yale School of Medicine（耶鲁医学院）
递归神经网络（RNN）被设计用于处理时间序列数据，最近已被用于从功能性磁共振成像（fMRI）数据创建预测模型。然而，收集用于学习的大型fMRI数据集是一项艰巨的任务。此外，网络的可解释性尚不清楚。为了解决这些问题，我们利用多任务学习并设计了一种新的基于RNN的模型，该模型可以学习区分类别，同时学习生成fMRI时间序列数据。采用长短期记忆（LSTM）结构，我们开发了一个基于隐藏状态的判别模型和一个基于细胞状态的生成模型。生成模型的添加限制了网络学习由LSTM节点表示的函数社区，这些社区既与数据生成一致，又对分类任务有用。我们将我们的方法应用于自闭症与健康对照受试者的分类，使用自闭症脑成像数据交换的几个数据集。实验表明，我们的联合判别和生成模型改进了分类学习，同时也产生了强大而有意义的功能社区，以更好地理解模型。
2019-10-15 cs.LG eess.IV q-bio.NC
Progress Towards Decoding Visual Imagery via fNIRS
McGill University（麦吉尔大学）；Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Medical AI Research Center (MedARC)（医学人工智能研究中心）；Stability AI；University of Waterloo（滑铁卢大学）
该研究验证了从fNIRS脑活动重建图像的可行性，发现厘米级分辨率即可实现图像生成，证实时域fNIRS可达1cm分辨率，并给出了原型设备设计方案。
2024-06-22 cs.AI cs.CV cs.LG
FreqSelect: Frequency-Aware fMRI-to-Image Reconstruction
Australian National University（澳大利亚国立大学）；Griffith University（格里菲斯大学）；Data61/CSIRO；Curtin University（Curtin大学）
针对fMRI图像重建中模型对空间频率统一处理的局限，提出轻量自适应模块FreqSelect，动态筛选有效频率，无需额外监督即可提升重建质量，还能为神经科学研究提供可解释洞见。
2025-08-29 cs.AI cs.CV cs.LG
Statistical Learning for Latent Embedding Alignment with Application to Brain Encoding and Decoding
University of California at Berkeley（加州大学伯克利分校）
本文提出轻量级对齐框架，通过逆半监督学习和元转移学习提升有限fMRI-刺激配对数据下的样本效率，实现脑编码解码的高效计算与理论分析。
2026-03-22 cs.LG stat.ME
FBNETGEN: Task-aware GNN-based fMRI Analysis via Functional Brain Network Generation
Emory University（埃默里大学）
功能磁共振成像（fMRI）是研究脑功能最常用的成像方式之一。最近的神经科学研究强调了从fMRI数据构建的功能性脑网络在临床预测中的巨大潜力。然而，传统的功能性大脑网络是嘈杂的，不知道下游的预测任务，同时也与深度图神经网络（GNN）模型不兼容。为了充分发挥GNN在基于网络的fMRI分析中的作用，我们开发了FBNETGEN，这是一个通过深层脑网络生成的任务感知和可解释的fMRI分析框架。特别是，我们在特定预测任务的指导下，在端到端的可训练模型中制定了（1）突出感兴趣区域（ROI）特征提取，（2）大脑网络生成，以及（3）使用GNN的临床预测。除了这个过程，关键的新组件是图形生成器，它学会将原始时间序列特征转换为面向任务的大脑网络。我们的可学习图还通过突出与预测相关的大脑区域提供了独特的解释。在两个数据集上进行了综合实验，即，最近发布的和目前最大的公开可用的fMRI数据集青少年脑认知发展（ABCD）和广泛使用的fMRI数据集PNC证明了FBNETGEN的优越有效性和可解释性。该实现可在https://github.com/Wayfear/FBNETGEN上获得。
2022-05-29 cs.LG cs.NE eess.IV
