Integrated Brain Connectivity Analysis with fMRI, DTI, and sMRI Powered by Interpretable Graph Neural Networks
Tulane University（杜兰大学）；University of Virginia（弗吉尼亚大学）
针对多模态神经影像异质性挑战，本研究提出基于可解释图神经网络的 fMRI、DTI 和 sMRI 集成框架，通过掩蔽策略加权神经连接提升可解释性，应用于人类连接组计划发展研究后预测准确性提升并揭示关键脑特征与连接。
2025-04-13 cs.LG q-bio.NC
VarCoNet: A variability-aware self-supervised framework for functional connectome extraction from resting-state fMRI
Department of Biomedical Engineering and Biotechnology, and the Health Engineering Innovation Group (HEIG), Khalifa University（生物医学工程与生物技术系，以及健康工程创新小组（HEIG），卡利法大学）；Department of Electrical and Computer Engineering, Aristotle University of Thessaloniki（电气与计算机工程系，阿尔基洛斯大学）
本研究提出变异性感知自监督框架VarCoNet，将个体间功能变异视为有效数据，结合新型信号分段增强、1D-CNN-Transformer编码器与贝叶斯优化，从静息态fMRI提取功能连接组，在个体指纹识别和ASD分类任务上优于现有13种深度学习方法。
2025-10-03 cs.AI cs.LG cs.NE
Using BOLD-fMRI to Compute the Respiration Volume per Time (RTV) and Respiration Variation (RV) with Convolutional Neural Networks (CNN) in the Human Connectome Development Cohort
University of Calgary（卡尔加里大学）；Cumming School of Medicine（卡明医学院）；Charles Darwin University（查尔斯达尔文大学）
本文提出用一维CNN从静息态BOLD信号重建RV和RVT呼吸指标，以替代缺失或低质量的呼吸记录，从而降低fMRI研究成本并减轻参与者负担。
2023-07-03 cs.AI cs.LG eess.SP
SDE-Driven Spatio-Temporal Hypergraph Neural Networks for Irregular Longitudinal fMRI Connectome Modeling in Alzheimer's Disease
Lehigh University（莱恩大学）；New York University（纽约大学）；University of Pennsylvania（宾夕法尼亚大学）
提出SDE-HGNN，利用随机微分方程重建不规则观测的连续潜在轨迹，构建动态超图捕获脑区高阶交互，并通过SDE控制的循环动力学实现疾病阶段自适应连接建模，在AD进展预测中优于现有方法。
2026-06-25 cs.LG
Benchmarking External Generalization of SPD Matrix Learning for Resting-State fMRI Connectome Prediction
Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）；L2S（信号与系统实验室）
本研究构建跨6个rs-fMRI数据集的年龄预测基准，对比多种SPD矩阵学习方法的外部泛化性能，发现留一数据集评估下方法差异缩小、误差上升，为相关方法提供统一评估框架。
2026-09-01 cs.LG eess.SP
Community-Aware Transformer for Autism Prediction in fMRI Connectome
The University of British Columbia（不列颠哥伦比亚大学）
针对现有Transformer模型在fMRI脑连接组ASD预测中忽略ROI群落关联的问题，提出分层局部-全局架构Com-BrainTF，共享参数加专属提示token平衡性能与效率，在ABIDE数据集上达SOTA且具高可解释性。
2023-06-24 cs.LG eess.IV q-bio.NC
Resting state fMRI functional connectivity-based classification using a convolutional neural network architecture
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Research Centre for Natural Sciences, Hungarian Academy of Sciences（匈牙利科学院自然科学研究中心）
机器学习技术在基于静息状态fMRI（功能性磁共振成像）网络的分类领域中已经变得越来越流行。然而，卷积网络的应用只是最近才被提出，并且在很大程度上尚未被探索。在本文中，我们描述了一个卷积神经网络结构的功能连接体分类称为连接体卷积神经网络（CCNN）。我们在模拟数据集和遗忘型轻度认知障碍分类的公开数据集上的结果表明，我们的CCNN模型可以有效地区分受试者群体。我们还表明，连接体卷积网络能够结合来自不同功能连接性度量的信息，并且使用不同连接性描述符组合的模型能够优于仅使用一个度量的分类器。从这种灵活性如下，我们提出的CCNN模型可以很容易地适应广泛的基于连接体的分类或回归任务，通过改变连接描述符组合用于训练网络。
2017-07-20 cs.CV cs.LG stat.ML
Flattening the Connectome Spectrum: A Spectral Filter for FC Induces a Pretraining Target for fMRI Encoders
Inria Saclay Île-de-France, CEA, Université Paris-Saclay（法国国家信息与自动化研究所萨克雷-法兰西岛，法国原子能委员会，巴黎萨克雷大学）；Sigma Nova
本研究通过谱滤波器重新校准FC特征值，提升KRR预测性能，并据此预训练小型fMRI编码器，以更少参数达到与最佳脑基础模型相当的性能。
2026-09-30 cs.AI cs.LG q-bio.NC
Learning Weighted Submanifolds with Variational Autoencoders and Riemannian Variational Autoencoders
Stanford University（斯坦福大学）
流形值数据自然出现在医学成像中。例如，在认知神经科学中，大脑连接组对不同大脑区域之间的共激活模式的分析是基于对功能性磁共振成像（fMRI）时间序列相关性的分析--这一对象因此受到结构的限制，属于对称正定矩阵的流形。自然产生的挑战之一是找到一个低维子空间来表示这种流形值数据。传统的技术，如主成分分析，不适合处理非欧几里德空间，并且可能无法实现数据的低维表示-因此可能指向缺乏数据的低维表示。然而，这些技术的限制在于：（i）它们不利用连接体属于预先指定的流形的假设，因此丢弃信息;（ii）它们只能将线性子空间拟合到数据。在本文中，我们感兴趣的变体学习潜在的高度弯曲的流形值数据的子流形。受大脑连接体例子的启发，我们研究了一个潜在变量生成模型，它具有为我们提供不确定性估计的额外好处-这是我们正在考虑的医学应用中的一个关键数量。虽然潜变量模型已经被提出来学习欧几里得数据的线性和非线性空间，或流形数据的测地线子空间，但不存在内在潜变量模型来学习流形数据的非测地线子空间。本文填补了这一空白，并制定了一个黎曼变分自动编码器与流形值数据的内在生成模型。我们通过引入加权黎曼子流形的形式来评估它在合成数据集和真实数据集上的性能。
2019-11-19 cs.LG math.DG stat.ML
Ensemble learning with 3D convolutional neural networks for connectome-based prediction
Cornell University（康奈尔大学）；Weill Cornell Medical College（威尔康奈尔医学院）
静息状态功能磁共振成像（rs-fMRI）测量的特异性和灵敏度取决于预处理的选择，如用于定义感兴趣区域（ROI）的分割方案。在这项研究中，我们批判性地评估了大脑包裹对应用于rs-fMRI数据的机器学习模型的影响。我们的实验揭示了一个显着的趋势：平均而言，具有随机包裹的模型在相同的空间尺度上与具有广泛使用的地图集的模型一样一致。因此，我们提出了一种集成学习策略，以组合来自使用不同（例如，随机）包裹。我们进一步提出了一种新的3D卷积神经网络（CNN）方法实现我们的集成学习策略。所提出的CNN方法利用了rs-fMRI数据的全分辨率3D空间结构，并适合非线性预测模型。我们的集成CNN框架克服了传统机器学习模型的局限性，这些模型通常依赖于基于区域的汇总统计和/或线性模型。我们展示了我们的分类方法（自闭症患者与健康对照）和回归问题（预测受试者的年龄），并报告了有希望的结果。
2019-06-04 cs.CV cs.LG stat.ML
A Matrix Autoencoder Framework to Align the Functional and Structural Connectivity Manifolds as Guided by Behavioral Phenotypes
Johns Hopkins University（约翰斯·霍普金斯大学）；Kennedy Krieger Institute（肯尼迪·克里格研究所）；Johns Hopkins School of Medicine（约翰斯·霍普金斯大学医学院）
我们提出了一种新的矩阵自动编码器映射功能连接体从静息态fMRI（rs-fMRI）的结构连接体从扩散张量成像（DTI），受试者水平的表型措施的指导。我们专门的autoencoder推断出一个低维流形嵌入的rs-fMRI相关矩阵，模仿一个典型的外积分解。嵌入同时用于通过第二歧管对准解码器重建DTI纤维束成像矩阵，并通过人工神经网络预测受试者间表型变异性。我们验证了我们的框架上的数据集的275个健康的人从人类连接组项目数据库和第二个临床数据集，包括57名自闭症谱系障碍。我们证明，该模型可靠地恢复了个体之间的结构连接模式，同时在交叉验证的环境中稳健地提取了预测性和可解释的大脑生物标志物。最后，我们的框架在预测两个真实世界数据集中的行为表型方面优于几个基线。
2021-07-09 cs.LG eess.SP q-bio.NC
CoHyFuse: Condition-wise Hypergraph Fusion with Global Connectome in Task-fMRI
Hanyang University（汉阳大学）；Hankuk University of Foreign Studies（韩国外国语大学）
CoHyFuse提出条件感知超图框架，通过构建任务状态特异的ROI超边并融合全会话FC，在任务态fMRI预测中超越基线，提供可解释的状态解析连接组视图。
2026-10-06 cs.LG q-bio.NC
Comparison of brain connectomes using geodesic distance on manifold:a twin study
Istituto Italiano di Tecnologia（意大利技术研究院）；Università degli Studi di Genova（热那亚大学）；Scientific Institute IRCCS “E. Medea”（IRCCS“E. Medea”科学研究所）；Fondazione IRCCS Ca’ Granda Ospedale Maggiore Policlinico（IRCCS Ca’ Granda马焦雷医院基金会）；Università di Milano（米兰大学）；Università di Verona（维罗纳大学）；Wayne State University（韦恩州立大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
功能磁共振成像是一种独特的非侵入性的方法，用于了解人类大脑的功能组织，和基于任务的功能磁共振成像促进识别与给定任务相关的功能相关的大脑区域。在这里，我们使用功能磁共振成像（使用Poffenberger范式）数据收集的单卵双胞胎和双卵双胞胎提出了一种新的方法来评估功能网络的相似性。特别是，我们比较了任务相关网络和任务正交网络中双胞胎之间的网络相似性。所提出的方法使用图拉普拉斯算子之间的测地线距离来度量功能网络之间的相似性。与方法，我们表明，网络是更相似的单卵双胞胎相比，双卵双胞胎。此外，同卵双胞胎的相似性更高的任务相关，比任务正交网络。
2019-02-04 cs.LG q-bio.NC stat.ML
Large-scale Graph Representation Learning of Dynamic Brain Connectome with Transformers
MGH, Harvard Medical School（麻省总医院，哈佛医学院）；KAIST AI（韩国科学技术院人工智能学院）；AITRICS；Yonsei University College of Medicine（延世大学医学院）
提出利用图变换器学习动态脑功能连接表示，通过连接组嵌入融合位置、结构和时间信息，在超5万fMRI样本上优于基线，用于性别分类和年龄回归。
2023-12-04 cs.CV cs.LG eess.IV
Machine Learning on Human Connectome Data from MRI
Simon Fraser University（西蒙菲莎大学）
功能性MRI（fMRI）和扩散MRI（dMRI）是非侵入性成像方式，允许对患者的大脑网络（称为连接体）进行体内分析。这些技术的使用使神经系统疾病的诊断和治疗变得更快、更好，并加深了对人类大脑的了解。最近，研究人员一直在探索将机器学习模型应用于连接体数据，以预测临床结果并分析大脑中子网络的重要性。连接组数据具有独特的属性，当用于机器学习时，这既带来了特殊的挑战，也带来了机遇。这项工作的目的是回顾文献的主题应用机器学习模型的MRI为基础的连接体数据。这一领域正在迅速发展，现在包含了大量的研究。为了总结迄今为止所做的研究，我们提供了77个相关作品的比较，结构化摘要，根据不同的标准制成表格，代表了这一主题的大部分文献。(We还在http://connectomelearning.cs.sfu.ca上发布了该表格的在线版本，社区可以继续为之做出贡献。）在概述了如何从dMRI和fMRI数据构建连接体之后，我们讨论了已经用连接体数据探索的各种机器学习任务。然后，我们比较了不同的机器学习方法的优点和缺点，讨论了不同的特征选择和特征提取方案，以及学习模型和正则化惩罚本身。在整个讨论中，我们特别关注的方法是如何适应图形连接体数据的独特性质。最后，我们总结了目前的艺术状态，并概述了我们认为是未来研究的战略方向。
2016-11-26 cs.LG q-bio.NC stat.ML
High-Accuracy Machine Learning Techniques for Functional Connectome Fingerprinting and Cognitive State Decoding
University of Denver（丹佛大学）；Indiana University, Bloomington（印第安纳大学伯明顿分校）
人类大脑是一个复杂的网络，由功能和解剖学上相互连接的大脑区域组成。越来越多的研究表明，大脑网络的经验估计可能有助于发现疾病和认知状态的生物标志物。然而，实现这一目标的先决条件是，大脑网络也可以作为个体的可靠标记。在这里，使用人类连接组项目数据，我们建立在最近的研究检查基于大脑的指纹的个人科目和认知状态的认知要求的任务，评估，例如，工作记忆，心理理论和运动功能。我们的方法实现了高达99\%的准确性识别的fMRI扫描的主题，并在扫描中的一个以前看不见的主题的认知状态的分类。更广泛地说，我们探索了五种不同的机器学习技术对受试者指纹识别和认知状态解码目标的准确性和可靠性，使用来自大量受试者（865）在许多认知状态（8）上的fMRI扫描的功能连接数据。这些结果代表了基于功能连接的脑指纹和状态解码的现有技术的进步。此外，16个不同的预处理管道进行比较，以表征功能连接体（FC）的生产的不同方面对主题和任务分类的准确性的影响，并确定可能的混淆。
2022-11-14 cs.LG q-bio.NC
Spatial-Temporal DAG Convolutional Networks for End-to-End Joint Effective Connectivity Learning and Resting-State fMRI Classification
Shanghai Jiao Tong University（上海交通大学）；City University of Hong Kong（香港城市大学）
针对现有静息态fMRI分类方法存在的脑连接拓扑约束缺失、未结合下游任务等问题，提出ST-DAGCN模型，以DAG建模脑网络，端到端联合学习有效连接与分类，在公开数据集上性能提升显著且具生物学可解释性。
2023-12-16 cs.AI cs.LG q-bio.NC
Deconvolving Complex Neuronal Networks into Interpretable Task-Specific Connectomes
Purdue University（普渡大学）；University of Cincinnati（辛辛那提大学）
本文提出基于非负矩阵分解的解卷积方法，从任务特异性fMRI数据中提取规范网络，并证明其具有任务特异性、跨队列泛化性及解剖生理基础。
2024-07-03 cs.LG eess.IV q-bio.NC
A shared neural encoding model for the prediction of subject-specific fMRI response
Cornell University（康奈尔大学）；Weill Cornell Medical College（威尔康奈尔医学院）
功能磁共振成像中自然主义范式的日益普及（如看电影）需要多学科数据分析的新策略，如使用神经编码模型。在本研究中，我们提出了一种共享卷积神经编码方法，该方法考虑了个体水平的差异。我们的方法利用多受试者的数据，以提高由视觉或听觉刺激引起的特定于受试者的反应的预测。我们展示了我们的方法对高分辨率7T fMRI数据从人类连接组项目电影观看协议，并证明了显着的改善，单主题编码模型。我们进一步证明了共享编码模型成功捕捉有意义的个体差异，以响应传统的基于任务的面部和场景刺激的能力。综上所述，我们的研究结果表明，学科间的知识转移可能有利于特定学科的预测模型。
2020-07-11 cs.LG q-bio.NC
Predicting Human Brain States with Transformer
University of Sydney（悉尼大学）；Macquarie University（麦考瑞大学）；Augusta University（奥古斯塔大学）
本文探索利用Transformer和自注意力机制，基于HCP大规模fMRI数据预测人脑静息状态，实验证明模型可用前21.6秒数据预测5.04秒后的大脑状态，且生成结果能反映功能连接组结构，展示了开发fMRI生成模型的可行性。
2024-12-11 cs.AI cs.LG q-bio.NC
Spatio-Temporal Graph Convolution for Resting-State fMRI Analysis
Stanford University（斯坦福大学）；SRI International（斯坦福国际研究院）
静息态功能磁共振成像（rs-fMRI）的血氧水平依赖（BOLD）信号记录了大脑内在功能网络的时间动态。然而，现有的应用于rs-fMRI的深度学习方法要么忽略了网络中不同大脑区域之间的功能依赖性，要么丢弃了大脑活动的时间动态信息。为了克服这些缺点，我们建议在时空图的背景下制定功能连接网络。我们训练一个时空图卷积网络（ST-GCN）的BOLD时间序列的短的子序列建模的非平稳性质的功能连接。同时，该模型学习ST-GCN中图边缘的重要性，以深入了解有助于预测的功能连接性。在分析人类连接组项目（HCP，N= 1，091）和国家酒精和青少年神经发育联盟（NCANDA，N=773）的rs-fMRI时，ST-GCN在基于BOLD信号预测性别和年龄方面比常见方法更准确。此外，根据神经科学文献，对我们模型的预测有显著贡献的大脑区域和功能连接是重要的标记。
2021-06-29 cs.LG stat.ML
Deep Transfer Learning For Whole-Brain fMRI Analyses
Technische Universität Berlin（柏林工业大学）；Max Planck School of Cognition（马克斯·普朗克认知学院）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
深度学习（DL）模型在从全脑功能磁共振成像（fMRI）数据解码认知状态中的应用通常受到这些数据集的小样本量和高维数的阻碍。特别是在临床环境中，患者数据稀缺。在这项工作中，我们证明了迁移学习代表了这个问题的解决方案。特别是，我们表明，DL模型，这是以前训练的大型公开可用的功能磁共振成像数据集的人类连接组项目，优于具有相同架构的模型变体，但从头开始训练，当两者都被应用到一个新的，不相关的功能磁共振成像任务的数据。更进一步，当对只有三个受试者大小的数据集进行微调时，预训练的DL模型变体已经能够正确解码来自100个个体的测试数据集的67.51%的认知状态。
2019-07-02 cs.LG eess.IV stat.ML
Graph Autoencoders for Embedding Learning in Brain Networks and Major Depressive Disorder Identification
Monash University Malaysia（莫纳什大学马来西亚校区）；Vanderbilt University Medical Center（范德比尔特大学医学中心）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
该研究提出基于图卷积网络的图自编码器框架，结合LDW收缩法构建脑功能连接网络，通过有监督/无监督方式学习图嵌入，输入全连接网络实现重度抑郁症识别，在两个数据集上性能优于现有方法，且嵌入特征体现明显组间差异。
2022-06-02 cs.AI cs.LG q-bio.NC
STNAGNN: Data-driven Spatio-temporal Brain Connectivity beyond FC
Yale University（耶鲁大学）；Yale School of Medicine（耶鲁医学院）
本文提出STNAGNN，通过融合稀疏预定义功能连接与稠密数据驱动时空连接，解决fMRI中GNN脑连接定义噪声大、忽略因果性及过度稀疏化的问题，实现灵活时空的ROI交互学习。
2025-04-08 cs.LG q-bio.NC
Encoding the Local Connectivity Patterns of fMRI for Cognitive State Classification
Middle East Technical University（中东技术大学）；Tohoku University（东北大学）
在这项工作中，我们提出了一个新的框架来编码的局部连接模式，使用Fisher矢量（FV），矢量的局部聚集描述符（VLAD）和Bag-of-Words（BoW）方法。我们首先获得局部描述符，称为网格弧描述符（MAD）从功能磁共振成像数据，通过形成局部网格周围的解剖区域，并估计它们之间的关系在一个邻居。然后，我们提取一个字典的关系，称为\textit{brain connectivity dictionary}的生成高斯混合模型（GMM）拟合一组MAD，并选择码字的平均值的混合物的每个组件。码字表示解剖区域之间的连接模式。我们还使用k-Means聚类通过VLAD和BoW方法编码MAD。我们对人类连接组计划（HCP）任务fMRI数据集的认知状态进行分类，其中我们使用编码的MAD来训练支持向量机（SVM）。实验结果表明，MAD的FV编码可以成功地用于认知任务的分类，并且优于VLAD和BoW表示。此外，我们通过计算其对应的FV部分的能量来识别混合模型中的显著高斯，并分析其对分类精度的影响。最后，我们提出了一种新的方法来可视化的大脑连接字典的码字。
2016-10-17 cs.CV cs.LG
Ensemble-based graph representation of fMRI data for cognitive brain state classification
Institute for Cognitive Neuroscience, University Higher School of Economics（认知神经科学研究所，高等经济大学）；Department of Mathematics and Institute for Women’s Health, University College London（数学系和妇女健康研究所，伦敦大学学院）
本文提出了一种基于集成方法的fMRI图表示方法，通过概率边权重实现高准确率的认知脑状态分类。
2026-02-20 cs.LG q-bio.NC
Hyperbolic Kernel Graph Neural Networks for Neurocognitive Decline Analysis from Multimodal Brain Imaging
Department of Radiology and Biomedical Research Imaging Center (BRIC), University of North Carolina at Chapel Hill（放射科与生物医学研究成像中心（BRIC）、北卡罗来纳大学教堂山分校）
本文提出双曲核图融合框架HKGF，利用双曲核图神经网络在双曲空间中编码多模态脑影像图，以保留脑网络层次结构并实现有效融合，在超过4000名受试者的神经认知衰退预测任务中优于现有方法。
2025-06-24 cs.AI cs.LG
Deep Learning Inductive Biases for fMRI Time Series Classification during Resting-state and Movie-watching
School of Electrical and Computer Engineering, University of Tehran（埃特瓦尔大学电气与计算机工程学院）；School of Cognitive Sciences, Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM）认知科学学院）
该研究在HCP 7-Tesla小样本fMRI数据上比较CNN、LSTM和Transformer的归纳偏置，发现CNN在静息态与观影性别分类中表现最佳，判别信息主要来自局部空间模式与区域间依赖。
2025-09-21 cs.LG q-bio.NC
Predicting Cognition from fMRI:A Comparative Study of Graph, Transformer, and Kernel Models Across Task and Rest Conditions
本文在HCP Young Adult的静息态与任务fMRI上比较KRR、GNN和TGNN，发现任务态优于静息态，融合SC与FC的GNN表现最佳但相对KRR优势不显著。
2025-07-28 cs.LG q-bio.NC
Classification of EEG-Based Brain Connectivity Networks in Schizophrenia Using a Multi-Domain Connectome Convolutional Neural Network
Universiti Teknologi Malaysia（马来西亚理工大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们利用脑功能连接的改变模式作为神经精神病患者自动判别分析的特征。深度学习方法最近才被引入到功能性网络分类中，用于fMRI，并且所提出的架构基本上集中在单一类型的连接性度量上。我们提出了一个深度卷积神经网络（CNN）框架，用于对精神分裂症（SZ）患者的脑电图（EEG）衍生脑连接体进行分类。为了捕捉在SZ中断连接的互补方面，我们探索各种连接功能的组合，包括有效连接的时间和频域指标的基础上向量自回归模型和部分有向相干性，和复杂的网络拓扑结构的网络措施。我们设计了一种新的多域连接体CNN（MDC-CNN）的基础上并行集成的一维和二维CNN集成的功能，从不同的域和维度使用不同的融合策略。多个卷积层从EEG连接性中学习到的分层潜在表示揭示了SZ和健康对照（HC）之间明显的群体差异。在一个大的静息状态EEG数据集上的结果表明，所提出的CNN显着优于传统的支持向量机分类器。具有组合连接特征的MDC-CNN进一步提高了使用单个特征的单域CNN的性能，实现了具有决策级融合的$93.06\%$的显著准确性。通过整合来自不同大脑连接描述符的信息，所提出的MDC-CNN能够准确地区分SZ和HC。新的框架是潜在的有用的开发SZ和其他疾病的诊断工具。
2019-03-21 cs.CV cs.LG q-bio.NC
Voxel-Level Brain States Prediction Using Swin Transformer
University of Georgia（佐治亚大学）；Harvard Medical School（哈佛医学院）；University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）
针对fMRI脑状态预测任务，提出结合4D Swin Transformer编码器与卷积解码器的架构，在HCP数据集上实现高分辨率静息脑状态精准预测，为缩短fMRI扫描时长和脑机接口发展提供新思路。
2025-06-13 cs.AI cs.CV cs.LG
Towards a predictive spatio-temporal representation of brain data
University of Cambridge（剑桥大学）；University of Rome “Tor Vergata”（罗马大学“Tor Vergata”）；Massachusetts General Hospital and Harvard Medical School（麻省总医院和哈佛医学院）
将大脑表征为“连接体”，其中连接由跨时间序列的相关值表示，并作为来自图论分析的汇总度量，在过去几年中非常流行。然而，尽管这种表示法促进了我们对大脑功能的理解，但它可能代表了一个过于简化的模型。这是因为典型的fMRI数据集由复杂且高度异构的时间序列构成，这些时间序列在空间上变化（即，脑区的位置）。我们比较了深度学习和几何深度学习的各种建模技术，为未来有效利用典型fMRI数据集以及其他类似数据集的丰富空间和时间域的研究铺平了道路。作为一个概念验证，我们比较了我们的方法在同质和公开可用的人类连接组计划（HCP）数据集上的监督二进制分类任务。我们希望，我们的方法相对于以前的“连接”措施的进步，最终可以通过导致健康和疾病的大脑动力学更细致入微的理解，临床和计算相关。对大脑的这种理解可以从根本上减少不断的专业临床专业知识，以准确地了解大脑的变异性。
2020-02-29 cs.LG eess.IV q-bio.NC
Fast and Scalable Distributed Deep Convolutional Autoencoder for fMRI Big Data Analytics
The University of Georgia（佐治亚大学）；Innopolis University（因诺波利斯大学）
近年来，分析基于任务的功能磁共振成像（tfMRI）数据已成为了解大脑功能和网络的重要工具。然而，由于tfMRI数据的庞大规模，其内在的复杂结构，以及缺乏底层神经活动的基础事实，建模tfMRI数据是困难和具有挑战性的。以前提出的数据建模方法，包括独立成分分析（ICA）和稀疏字典学习只提供了一个弱建立模型的基础上盲声源分离的强烈假设下，原始的fMRI信号可以线性分解成时间序列分量与相应的空间映射。与此同时，分析和学习大量的tfMRI数据，从各种主题已被证明是非常苛刻的，但仍然具有挑战性，即使在计算硬件的技术进步。鉴于卷积神经网络（CNN）是一种从tfMRI时间序列等低级数据中学习高级抽象的鲁棒方法，在这项工作中，我们提出了一种快速可扩展的分布式深度卷积自动编码器模型的新框架。该模型旨在学习tfMRI数据的复杂层次结构，并以分布式方式利用多个GPU的处理能力。为了实现这样一个模型，我们在Apache Spark和Tensorflow库之上创建了一个增强的处理管道，利用了一个非常大的GPU机器集群。将该模型应用于人类连接组计划（HCP）的实验数据表明，该模型对tfMRI大数据分析是有效的，可扩展的，从而在未来实现从海量fMRI大数据中数据驱动的层次神经科学信息提取。
2018-03-04 cs.DC cs.LG cs.NE
Improving the Interpretability of fMRI Decoding using Deep Neural Networks and Adversarial Robustness
National Institute of Mental Health（国家心理健康研究所）
深度神经网络（DNN）正越来越多地用于根据功能性磁共振成像（fMRI）数据进行预测。然而，它们被广泛认为是不可解释的“黑匣子”，因为很难发现DNN在这个过程中使用了什么输入信息，这在认知神经科学和临床应用中都很重要。显着图是一种常见的方法，用于生成输入特征对预测的相对重要性的可解释的可视化。然而，创建地图的方法通常会失败，因为DNN对输入噪声敏感，或者过于关注输入而对模型关注太少。评估显着性图与真正相关的输入信息的对应程度也具有挑战性，因为地面真相并不总是可用的。在本文中，我们回顾了各种用于生成基于梯度的显着性图的方法，并提出了一种新的对抗性训练方法，我们开发了这种方法来使DNN对输入噪声具有鲁棒性，目的是提高可解释性。我们介绍了两个定量评估程序的显着图方法在功能磁共振成像，适用于每当DNN或线性模型正在训练解码一些信息从成像数据。我们使用已知复杂激活结构的合成数据集，以及针对DNN和人类连接组项目（HCP）数据集中任务解码的线性模型生成的显着图来评估程序。我们的主要发现是，显着性地图与不同的方法产生的解释性差异很大，在合成和HCP功能磁共振成像数据。值得注意的是，即使DNN和线性模型在性能水平相当的情况下进行解码，DNN显着图在可解释性方面的得分也高于线性模型显着图（通过权重或梯度导出）。最后，使用我们的对抗训练方法生成的显着性图优于其他方法。
2020-12-17 cs.CV cs.LG q-bio.NC
Deep sr-DDL: Deep Structurally Regularized Dynamic Dictionary Learning to Integrate Multimodal and Dynamic Functional Connectomics data for Multidimensional Clinical Characterizations
Johns Hopkins University（约翰斯·霍普金斯大学）；Kennedy Krieger Institute（肯尼迪·克里格研究所）；Johns Hopkins School of Medicine（约翰斯·霍普金斯医学院）
本文提出深度 sr-DDL 框架，将结构正则化动态字典学习与 LSTM-ANN 深度网络联合优化，整合 rs-fMRI 和 DTI 多模态数据，用于预测认知及自闭症谱系障碍的多维临床评分，并在多个基准上优于现有方法。
2024-11-22 cs.LG eess.SP stat.ML
Analyzing Neuroimaging Data Through Recurrent Deep Learning Models
Technische Universität Berlin（柏林工业大学）；Freie Universität Berlin（柏林自由大学）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
深度学习（DL）模型在神经成像数据中的应用面临着一些挑战，这是由于这些数据集的高维性、低样本量和复杂的时空依赖性结构。更进一步，深度学习模型充当黑箱模型，阻碍了对认知状态和大脑活动之间关联的洞察。为了应对这些挑战，我们引入了DeepLight框架，该框架利用基于长短期记忆（LSTM）的DL模型来分析全脑功能磁共振成像（fMRI）数据。为了解码认知状态（例如，看到房子的图像），DeepLight将fMRI体积分离成一系列轴向脑切片，然后由LSTM顺序处理。为了保持可解释性，DeepLight采用了分层相关传播（LRP）技术。从而，将其解码决策分解成单个输入体素对该决策的贡献。重要的是，分解是在单个fMRI体积的水平上进行的，使DeepLight能够在多个数据粒度水平上研究认知状态和大脑活动之间的关联，从组的水平到单个时间点的水平。为了证明DeepLight的多功能性，我们将其应用于人类连接组项目的大型fMRI数据集。我们表明，DeepLight在解码认知状态和识别与这些状态相关的生理学上适当的大脑区域方面优于单变量和多变量fMRI分析的传统方法。我们进一步证明了DeepLight在单个fMRI样本序列上研究大脑活动的细粒度时空变异性的能力。
2019-04-05 cs.CV cs.LG cs.NE
Similarity Learning with Higher-Order Graph Convolutions for Brain Network Analysis
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Intel Labs（英特尔研究院）；Rutgers University（罗格斯大学）；Yale University（耶鲁大学）
学习相似性度量最近得到了很多关注，其目标是学习一个函数，该函数将输入模式映射到目标空间，同时保持输入空间中的语义距离。虽然大多数相关工作都集中在图像上，但我们专注于学习神经图像的相似性度量，例如fMRI和DTI图像。我们提出了一个端到端的相似性学习框架，称为高阶暹罗GCN多主题的功能磁共振成像数据分析。所提出的框架通过基于监督度量的方法与使用两个图卷积网络作为孪生网络的连体神经网络来学习大脑网络表示。我们提出的框架通过在图卷积网络中引入高阶邻近来执行高阶卷积，以表征和学习大脑连接网络中的社区结构。据我们所知，这是第一个用于多学科大脑网络分析的社区保持相似性学习框架。四个真实的功能磁共振成像数据集上的实验结果表明，在健康和神经精神疾病的多学科大脑分析的建议框架的潜在用例。我们提出的方法在四个数据集上实现了与PCA相比75%的平均AUC增益，与光谱嵌入相比65.5%的平均AUC增益，与S-GCN相比24.3%的平均AUC增益，这表明在临床研究和脑部疾病诊断中有希望的应用。
2019-05-01 cs.CV cs.LG stat.ML
Multiple-shooting adjoint method for whole-brain dynamic causal modeling
Yale University（耶鲁大学）
动态因果建模（DCM）是一种推断区室之间的定向连接的贝叶斯框架，并且已被用于基于功能神经成像数据来描述底层神经元群体之间的相互作用。DCM通常使用期望最大化（EM）算法进行分析。然而，因为当存在噪声观测时，大规模连续系统的反演是困难的，所以通过EM的DCM通常限于少量的隔室（$<10$）。当前方法的另一个缺点是它的复杂性;当前向模型改变时，后验均值也会改变，我们需要重新推导算法进行优化。在这个项目中，我们提出了多重射击伴随（MSA）方法来解决这些限制。MSA使用多次射击方法在噪声观测下进行常微分方程（ODE）的参数估计，适用于大规模系统，如功能性MRI（fMRI）中的全脑分析。此外，MSA在ODE中使用伴随方法进行精确的梯度估计;由于伴随方法是通用的，MSA是线性和非线性系统的通用方法，并且不需要像EM中那样重新推导算法。我们通过大量的实验验证了MSA的有效性：1）在线性和非线性模型的例子中，我们证明了MSA在参数值估计上比EM具有更好的精度，而且MSA可以成功地应用于多达100个隔间的大型系统;和2）使用真实的fMRI数据，我们将MSA应用于全脑有效连接体的估计，并且与使用功能连接体相比，显示了自闭症谱系障碍（ASD）相对于对照的改进的分类。该包装提供\url{https://jzkay12.github.io/TorchDiffEqPack}
2021-02-14 cs.LG q-bio.NC
Hierarchical Multi-resolution Mesh Networks for Brain Decoding
Middle East Technical University（中东技术大学）；Tohoku University（东北大学）
我们提出了一个新的框架，称为分层多分辨率网状网络（HMMNs），它建立了一组大脑网络在多个时间分辨率的功能磁共振成像信号来代表潜在的认知过程。建议的框架，第一，分解的功能磁共振成像信号到不同的频率子带，使用小波变换。然后，在每个子带上通过组合一组局部网格形成一个大脑网络，称为网格网络。围绕每个解剖区域的局部性是相对于基于功能连接的邻域系统来定义的。网格弧的权重估计的平均区域的时间序列之间形成的岭回归。在最后一步中，在不同子带处获得的网状网络的邻接矩阵被集成用于在分层学习架构（称为模糊堆叠泛化（FSG））下进行大脑解码。在人类连接组计划任务-fMRI数据集上的实验结果表明，该模型能够通过提取多个子带的网格弧权值的互补信息来成功区分任务。我们研究的网状网络在不同的分辨率使用网络的措施，即，节点度，节点强度，介数中心性和全球效率的拓扑特性;和调查的解剖区域的连接性，在认知任务。我们观察到不同的子带获得的网络拓扑结构之间的显着变化。我们还分析了分类器集成的多样性，训练的网状网络在多个子带，并观察到，在合奏中的分类器相互合作，以融合在每个子带释放的互补信息。我们的结论是，功能磁共振成像数据，在认知任务中记录，嵌入不同的信息在每个分辨率的解剖区域。
2017-01-11 cs.CV cs.LG cs.NE
BrainATCL: Adaptive Temporal Brain Connectivity Learning for Functional Link Prediction and Age Estimation
针对传统图神经网络难以捕捉动态fMRI长期依赖的问题，提出无监督自适应框架BrainATCL，通过动态调整回溯窗口和GINE-Mamba2主干学习时空表示，在功能连接预测与年龄估计任务上表现出卓越性能与强泛化能力。
2026-10-09 cs.LG
SIM: Surface-based fMRI Analysis for Inter-Subject Multimodal Decoding from Movie-Watching Experiments
Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国学院）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出SIM框架，利用表面视觉Transformer和三模态自监督对比对齐解决跨被试皮层变异问题，实现了从fMRI大脑活动中检索视听刺激，并在HCP数据上验证了其跨被试泛化能力。
2025-01-27 cs.AI cs.LG eess.AS
mSPD-NN: A Geometrically Aware Neural Framework for Biomarker Discovery from Functional Connectomics Manifolds
IBM Research（IBM研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
连接组学已经成为神经成像中的一个强大工具，并刺激了最近在连接数据的统计和机器学习方法方面的进展。尽管连接体存在于矩阵流形中，但大多数分析框架忽略了底层的数据几何。这在很大程度上是因为简单的操作，如均值估计，没有容易计算的封闭形式的解决方案。我们提出了一个几何感知的神经框架连接体，即，mSPD-NN，旨在估计对称正定（SPD）矩阵集合的测地平均值。mSPD-NN是由双线性全连接层与捆绑的权重，并利用一种新的损失函数来优化矩阵法方程所产生的Fréchet均值估计。通过对合成数据的实验，我们证明了我们的mSPD-NN对SPD均值估计的常见替代方案的有效性，在可扩展性和对噪声的鲁棒性方面提供了有竞争力的性能。我们在rs-fMRI数据的多个实验中说明了mSPD-NN在现实世界中的灵活性，并证明了它揭示了与ADHD-ASD合并症患者和健康对照之间的微妙网络差异相关的稳定生物标志物。
2023-03-27 cs.LG cs.NE eess.SP
Beyond the Snapshot: Brain Tokenized Graph Transformer for Longitudinal Brain Functional Connectome Embedding
National University of Singapore（新加坡国立大学）；Yong Loo Lin School of Medicine, National University of Singapore（新加坡国立大学杨潞龄医学院）
提出 Brain TokenGT 框架，通过 GIVE 与 BIGTR 建模纵向脑功能连接组轨迹，在 AD 连续病程 fMRI 任务上优于基准并具备可解释性。
2023-07-13 cs.LG eess.IV q-bio.NC
Comparing and Scaling fMRI Features for Brain-Behavior Prediction
Lausanne University Hospital and University of Lausanne（洛桑大学医院和洛桑大学）
本文在979名受试者的静息态fMRI数据上比较九类特征，发现FC最稳健，GSP与变异性特征亦具潜力，并揭示样本量与扫描时间需平衡。
2025-07-28 cs.LG q-bio.NC
Spatio-Temporal Attention in Multi-Granular Brain Chronnectomes for Detection of Autism Spectrum Disorder
University of Southern California（南加州大学）
检测自闭症谱系障碍（ASD）的传统方法昂贵，主观且耗时，通常需要数年的诊断时间，许多儿童在最终确认这种疾病之前已经进入青春期甚至成年。最近，基于图形的学习技术已经展示了令人印象深刻的结果，从自闭症脑成像数据交换（ABIDE）的静息态功能磁共振成像（rs-fMRI）数据。我们介绍IMAGIN，一个多粒度，多图集时空注意图同构网络，我们用它来学习动态功能脑连接（时间连接组）的图形表示，而不是静态连接（连接组）。实验结果表明，IMAGIN实现了79.25%的5倍交叉验证准确率，超过了目前最先进的1.5%。此外，空间和时间的注意力分数的分析提供了进一步验证自闭症的神经基础。
2022-10-30 cs.CV cs.LG q-bio.NC
Diagnosis and Pathogenic Analysis of Autism Spectrum Disorder Using Fused Brain Connection Graph
Southwestern University of Finance and Economics（西南财经大学）；Osaka University（大阪大学）；West China Hospital of Sichuan University（四川大学华西医院）；The University of Hong Kong（香港大学）；General Hospital of Ningxia Medical University（宁夏医科大学总医院）
本研究提出融合DTI与fMRI脑连接数据、结合GNN和类间类内间隔损失函数的ASD诊断模型，同时通过多中心性分析与非参数检验识别ASD相关病理区域，为理解ASD神经机制及临床诊断提供新方向。
2024-09-22 cs.LG q-bio.NC stat.AP
