Blessing of dimensionality at the edge
University of Leicester（莱斯特大学）；Lobachevsky University（罗巴切夫斯基大学）；St Petersburg State Electrotechnical University（圣彼得堡国立电工大学）；University College London（伦敦大学学院）；Northeastern University（东北大学）
在本文中，我们提出了理论和算法，使人工智能（AI）系统的类，以不断和渐进地改善与先验量化的保证-或更具体地说，消除分类错误-随着时间的推移。这与最先进的机器学习、AI和软件方法不同。该方法的另一个特征是，在监督设置中，训练的计算复杂性与训练样本的数量成线性关系。在分类时，计算复杂性受少量内积计算的限制。此外，该实现被证明是非常可扩展的。这使得它可以部署在计算能力和内存有限的应用程序中，例如嵌入式环境。它使使用改进的训练样本进行快速在线优化成为可能。该方法是基于浓度的测量效果和随机分离定理，并说明了一个例子，在计算机数控（CNC）铣削故障过程的识别和案例研究的自适应去除误报在工业视频监控和分析系统。
2020-07-10 cs.LG
GPTVQ: The Blessing of Dimensionality for LLM Quantization
Qualcomm AI Research（高通人工智能研究院）
本文提出GPTVQ方法，通过提高量化维度并利用Hessian信息交错更新权重与码本，在LLM上实现了更优的规模-精度权衡，且解压延迟优于4位整数格式。
2025-06-03 cs.CL cs.LG
Blessing of Dimensionality for Approximating Sobolev Classes on Manifolds
Department of Applied Mathematics and Theoretical Physics University of Cambridge, UK（应用数学与理论物理系剑桥大学）
本文研究流形上逼近有界Sobolev类所需的统计复杂度下界，证明该下界仅依赖于流形的曲率、体积和单射半径等内在性质，而与嵌入环境维度无关。
2025-05-03 cs.LG math.ST stat.TH
The Blessing of Dimensionality: How Near-Orthogonality in High-Dimensional Spaces Explains Temporal Portability
NC State University（北卡罗来纳州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
研究探讨PortLLM在持续预训练中LoRA补丁的长期时间可移植性及有效性。通过对Mistral、Gemma和Qwen基础模型进行实证研究，并提供理论分析，发现其可移植性持久，高维向量近正交性是关键，还展示了损失景观几何视角。
2026-07-23 cs.CL cs.LG
OP-LoRA: The Blessing of Dimensionality
Boston University（波士顿大学）；University of Central Florida（中央佛罗里达大学）
提出OP-LoRA方法，通过额外MLP预测LoRA适配器权重以改善优化，训练后丢弃MLP，在零额外推理成本下提升性能并降低对学习率的敏感性。
2026-05-31 cs.CV cs.LG
FastSurvival: Hidden Computational Blessings in Training Cox Proportional Hazards Models
Cornell University（康奈尔大学）；Duke University（杜克大学）
针对 Newton 法训练高维高相关 CPH 模型时的收敛难题，本文利用其隐藏数学结构构造可单调降损并全局收敛的代理优化算法，并用于求解基数约束稀疏 CPH。
2024-10-24 cs.LG stat.ML
Can a Hebbian-like learning rule be avoiding the curse of dimensionality in sparse distributed data?
INESC-ID（INESC-ID（葡萄牙系统与计算机工程研究所））；Instituto Superior Técnico（里斯本高等理工学院）；University of Lisbon（里斯本大学）
一般认为，大脑使用类似于稀疏分布表示的东西。然而，这些表示是高维的，因此它们由于"维数灾难"而影响传统机器学习模型的分类性能。在有大量标记数据的任务中，深度网络似乎通过许多层和非Hebbian反向传播算法解决了这个问题。然而，大脑似乎能够用很少的层次来解决问题。在这项工作中，我们假设这是通过使用Hebbian学习来实现的。实际上，受限玻尔兹曼机的类赫布学习规则是不对称地学习输入模式的。它专门学习非零值之间的相关性，并忽略代表绝大多数输入维度的零。通过忽略零，可以避免“维数灾难”问题。为了验证我们的假设，我们生成了几个稀疏数据集，并将受限玻尔兹曼机分类器的性能与一些Backprop训练的网络进行了比较。使用这些代码的实验证实了我们最初的直觉，因为受限玻尔兹曼机显示出良好的泛化性能，而用反向传播算法训练的神经网络过拟合训练数据。
2022-07-20 cs.AI cs.LG cs.NE
Nonlinear Dimensionality Reduction on Graphs
University of Minnesota（明尼苏达大学）
在这个数据泛滥的时代，许多信号处理和机器学习任务都面临着高维数据集，包括图像、视频以及社交、商业和大脑网络交互产生的时间序列。它们的有效处理要求降维技术能够正确压缩数据，同时保留与任务相关的特征，超越成对的数据相关性。本文提出了一个非线性降维框架，占数据躺在已知的图形。新的框架包括大多数现有的降维方法，但它也能够捕捉和保留可能被线性方法忽略的非线性相关性。此外，它可以考虑来自多个图形的信息。所提出的算法进行了测试合成以及真实的数据集，以证实其有效性。
2018-03-29 cs.LG stat.ML
Classifier-Free Guidance: From High-Dimensional Analysis to Generalized Guidance Forms
FAIR at Meta（Meta 的 FAIR 部门）；Bocconi University, Milan（米兰博科尼大学）
本研究对无分类器引导进行高维分析，证明其失真随维度增加而消失，并提出一类非线性广义引导形式，在鲁棒性、保真度和多样性上更优。
2025-05-22 cs.AI cs.LG stat.ML
High-Dimensional Multi-Task Averaging and Application to Kernel Mean Embedding
Universität Potsdam（波茨坦大学）；Technische Universität Berlin（柏林工业大学）；École Normale Supérieure de Rennes（雷恩高等师范学院）；Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
我们提出了一个改进的估计多任务平均问题，其目标是联合估计的手段，多个分布使用单独的，独立的数据集。天真的方法是采取每个数据集的经验平均值单独，而所提出的方法利用任务之间的相似性，没有任何相关的信息是已知的。首先，对于每个数据集，通过多重检验从数据中确定相似或相邻均值。然后，每个朴素估计量向其邻居的局部平均值收缩。我们从理论上证明，这种方法提供了一个减少均方误差。当输入空间的维度很大时，这种改进可能是显著的，表现出“维度的祝福”现象。这种方法的一个应用是多核均值嵌入的估计，这在许多现代应用中起着重要的作用。理论结果在人工和真实世界的数据进行了验证。
2020-11-13 cs.AI cs.LG math.ST
High-dimensional separability for one- and few-shot learning
University of Leicester（莱斯特大学）；Lobachevsky University（罗巴切夫斯基大学）；Norwegian University of Science and Technology（挪威科技大学）
这项工作是由一个实际问题驱动的：人工智能（AI）错误的纠正。这些纠正应该是快速的和非迭代的。为了解决这个问题，而不修改传统的人工智能系统，我们提出了特殊的“外部”设备，校正器。基本校正器由两部分组成，一个分类器将具有高错误风险的情况与传统AI系统工作良好的情况分开，另一个是对具有潜在错误的情况的新决策。校正器的输入信号可以是传统AI系统的输入、其内部信号和输出。如果数据的内在维数足够高，那么用于纠正少量错误的分类器可以非常简单。根据维度效应的祝福，即使是简单而强大的Fisher判别式也可以用于AI校正器的一次性学习。随机分离定理为这种一次学习提供了数学基础。然而，随着所需校正器数量的增加，数据的聚类结构变得重要，并且需要一个新的随机分离定理。我们拒绝了经典的假设的数据分布的规律性，并假设数据可以有一个细粒度的结构，许多集群和峰值的概率密度。提出并证明了细粒度数据的随机分离定理。提出了粒数据的多校正器。通过在CIFAR-10数据集上使用深度卷积神经网络纠正错误和学习新的对象类别的示例，证明了多校正器技术的优势。综述了非经典高维数据分析的关键问题，以及监督、半监督和领域自适应主成分分析的基本预处理步骤。
2021-10-22 cs.AI cs.LG stat.ML
Learning Deep Temporal Representations for Brain Decoding
Middle East Technical University（中东技术大学）；Koc University（科奇大学）
功能性磁共振成像产生高维数据，其中用于大脑解码任务（预测大脑状态）的标记样本的数量少于理想数量。在这项研究中，我们提出了一种新的深度时间卷积神经网络架构与空间池的大脑解码，其目的是降低特征空间的维数，同时提高分类性能。卷积模型每层的时间表示（滤波器）是通过利用未标记的fMRI数据以无监督的方式与正则化自动编码器一起学习的。在多个级别中学习的时间表示捕获时间域中的时间，并且被观察到是一个丰富的激活模式库，其也表现出与实际血流动力学响应的相似性。此外，卷积架构中的空间池化层在不丢失过多信息的情况下降低了维度。通过采用所提出的时间卷积架构与空间池，原始输入的fMRI数据被映射到一个非线性的，高表达性和低维的特征空间进行最终的分类。此外，我们提出了一个简单的启发式超参数调整时，没有验证数据。提出的方法进行了测试的10类识别记忆实验与9名受试者。结果支持所提出的模型的效率和潜力，相比基线多体素模式分析技术。
2015-01-12 cs.LG cs.NE
Estimating Dimensionality of Neural Representations from Finite Samples
Harvard University（哈佛大学）；New York University（纽约大学）；Flatiron Institute（Flatiron研究所）；Cornell Tech（康奈尔科技）
本文提出了一种偏倚校正估计器，用于从有限样本中准确估计神经表示的维度，并展示了其在生物神经记录和语言模型中的应用。
2026-03-02 cs.LG q-bio.NC stat.ML
Introducing Block-Toeplitz Covariance Matrices to Remaster Linear Discriminant Analysis for Event-related Potential Brain-computer Interfaces
University of Freiburg（弗莱堡大学）；Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯大脑、认知与行为研究所）
含噪多通道脑电时间序列数据的协方差矩阵由于维数较高而难以估计。在基于事件相关电位和用于分类的线性判别分析（LDA）的脑机接口（BCI）中，解决该问题的现有技术是通过收缩正则化。我们提出了一个新的想法来解决这个问题，通过强制执行块Toeplitz结构的协方差矩阵的LDA，它实现了一个假设的信号平稳在短时间窗口为每个通道。根据13个事件相关潜在BCI协议收集的213名受试者的数据，与收缩正则化LDA（最多6个AUC点）和黎曼分类方法（最多2个AUC点）相比，所得到的“ToeplitzLDA”显著提高了二元分类性能。这转化为大大提高了应用水平的表现，例如在无监督的视觉拼写应用程序中记录的数据，其中25名受试者的拼写错误平均可以减少81%。除了LDA训练的较低存储器和时间复杂度之外，ToeplitzLDA被证明即使对于20倍的时间维度放大也几乎不变，这减少了关于特征提取的专家知识的需要。
2022-02-16 cs.LG q-bio.NC
Brain Tumor Classification from 3D MRI Using Persistent Homology and Betti Features: A Topological Data Analysis Approach on BraTS2020
本文提出利用拓扑数据分析方法，通过持久同调提取Betti特征，对3D MRI图像进行脑肿瘤分类，实验显示随机森林结合Betti特征在BraTS2020数据集上达到89.19%的准确率。
2026-03-14 cs.CV cs.LG
Deep Transfer Learning For Whole-Brain fMRI Analyses
Technische Universität Berlin（柏林工业大学）；Max Planck School of Cognition（马克斯·普朗克认知学院）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
深度学习（DL）模型在从全脑功能磁共振成像（fMRI）数据解码认知状态中的应用通常受到这些数据集的小样本量和高维数的阻碍。特别是在临床环境中，患者数据稀缺。在这项工作中，我们证明了迁移学习代表了这个问题的解决方案。特别是，我们表明，DL模型，这是以前训练的大型公开可用的功能磁共振成像数据集的人类连接组项目，优于具有相同架构的模型变体，但从头开始训练，当两者都被应用到一个新的，不相关的功能磁共振成像任务的数据。更进一步，当对只有三个受试者大小的数据集进行微调时，预训练的DL模型变体已经能够正确解码来自100个个体的测试数据集的67.51%的认知状态。
2019-07-02 cs.LG eess.IV stat.ML
Applying Dimensionality Reduction as Precursor to LSTM-CNN Models for Classifying Imagery and Motor Signals in ECoG-Based BCIs
本研究提出利用无监督降维技术 UMAP 结合 KNN 作为预处理步骤，评估并减少对 LSTM 和 CNN 等监督深度学习方法的依赖，以优化基于 ECoG 的 BCI 运动意象分类，提升康复效率并解决监管与安全问题。
2023-11-22 cs.HC cs.LG eess.SP
DistHD: A Learner-Aware Dynamic Encoding Method for Hyperdimensional Classification
University of California, Irvine（加州大学欧文分校）
本文提出DistHD动态编码方法，通过识别并重新生成误导分类的维度，在显著降低超维计算所需维度的同时加速学习并保持准确率。
2023-04-11 cs.AI cs.LG
A review of heterogeneous data mining for brain disorders
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Worcester Polytechnic Institute（伍斯特理工学院）
随着神经影像学技术的快速发展，脑功能障碍识别的研究已成为数据采掘领域的一个新兴领域。脑疾病数据对数据采掘研究提出了许多独特的挑战。例如，神经成像实验产生的原始数据是张量表示的，具有高维、结构复杂和非线性可分性的典型特征。此外，可以从张量数据构建大脑连接网络，嵌入大脑区域之间的微妙相互作用。其他临床指标通常可以从不同角度反映疾病状态。预计在张量数据和脑网络数据中整合互补信息，并结合其他临床参数，将对研究疾病机制和为治疗干预提供信息具有潜在的变革性。许多研究工作都致力于这一领域。它们在基于张量的建模、子图模式挖掘、多视图特征分析等方面取得了巨大的成功。在本文中，我们回顾了一些最近的数据采掘方法，用于分析大脑疾病。
2015-08-05 cs.CE cs.DB cs.LG
Deep probabilistic model synthesis enables unified modeling of whole-brain neural activity across individual subjects
本文提出深度概率模型合成框架，通过整合系统属性数据，实现跨个体全脑神经活动的统一建模，提升单实例模型性能。
2026-10-14 cs.LG q-bio.NC
Continual task learning in natural and artificial agents
University of Oxford（牛津大学）；UCL（伦敦大学学院）
人类和其他动物是如何学习新任务的？一波大脑记录研究调查了任务学习过程中神经表征如何变化，重点是如何以最小化相互干扰的方式获取和编码任务。我们回顾了最近的工作，探索了新皮层中神经任务表征的几何形状和维度，以及利用这些发现来了解大脑如何在任务之间划分知识的计算模型。我们讨论了机器学习的思想，包括那些结合监督和无监督学习的思想，如何帮助神经科学家了解自然任务是如何在生物大脑中学习和编码的。
2022-10-10 cs.LG q-bio.NC
Learning low-dimensional dynamics from whole-brain data improves task capture
TReNDS center（TReNDS中心）；Georgia Institute of Technology（佐治亚理工学院）；Georgia State University（佐治亚州立大学）；Charite University Hospital（夏里特大学医院）
提出基于SVAE和NODE的低维神经动力学学习方法，在多种任务fMRI数据上优于传统降维技术，能更准确预测认知过程并发现鲁棒的固定点。
2023-05-18 cs.CE cs.LG q-bio.NC
Attention-Based Variational Framework for Joint and Individual Components Learning with Applications in Brain Network Analysis
Department of Biostatistics, Yale School of Public Health（生物统计学系，耶鲁公共卫生学院）；Department of Statistics, Virginia Tech（统计学系，弗吉尼亚理工大学）；Department of Statistics and Operations Research, University of North Carolina at Chapel Hill（统计学与运筹学系，北卡罗来纳大学教堂山分校）
本文提出CM-JIVNet，一种基于注意力的变分框架，用于联合和个体成分学习，以提升脑网络分析中的跨模态重建和行为预测能力。
2026-01-23 cs.CV cs.LG stat.ML
Noisy Data Visualization using Functional Data Analysis
Utah State University（犹他州立大学）；University of Montreal（蒙特利尔大学）
本文提出函数信息几何（FIG）可视化方法，将函数型数据分析引入经验内蕴几何框架以缓解维度灾难，并在结构捕捉、鲁棒性和速度上优于 EIG 变体，成功用于睡眠 EEG 数据可视化。
2024-06-05 cs.LG math.FA stat.ML
A Comparative Study of Machine Learning Methods for Predicting the Evolution of Brain Connectivity from a Baseline Timepoint
Istanbul Technical University（伊斯坦布尔技术大学）；University of Dundee（邓迪大学）
通过分析连接解剖区域对的连接权重的变化来预测大脑网络（也称为连接体）的演变，可以在早期阶段发现与连接性相关的神经系统疾病，并检测潜在的连接体异常的发展。值得注意的是，这样一个具有挑战性的预测问题在预测连接组学文献中仍然很少探索。众所周知，机器学习（ML）方法已经在各种各样的计算机视觉问题中证明了它们的预测能力。然而，专门用于从单个时间点预测大脑连接进化轨迹的ML技术几乎不存在。为了填补这一空白，我们组织了一场Kaggle竞赛，20个参赛团队设计了先进的机器学习管道，用于预测单个时间点的大脑连接演变。竞争团队通过数据预处理，降维和学习方法的组合开发了他们的ML管道。利用包容性评估方法，我们根据两个互补的评估指标（平均绝对误差（MAE）和皮尔逊相关系数（PCC））及其使用不同训练和测试数据扰动策略（单随机分割和交叉验证）的性能对方法进行了排名。最终排名是使用所有评估措施和验证策略中每个竞争团队的排名乘积计算的。为了支持开放科学，GitHub上提供了开发的20个ML管道以及连接组数据集。这项竞赛的结果预计将导致预测模型的进一步发展，这些模型可以预见大脑连接随时间的演变，以及其他类型的网络（例如，基因网络）。
2021-09-16 cs.AI cs.CV cs.LG
Graph Embedding Using Infomax for ASD Classification and Brain Functional Difference Detection
Yale University（耶鲁大学）
使用功能磁共振成像来表征ASD（一种复杂的神经发育障碍）中发生的大脑变化已经取得了重大进展。然而，由于fMRI的高维数和低信噪比，嵌入信息和强大的大脑区域fMRI表示ASD和健康对照（HC）组之间的图形级分类和区域级功能差异检测任务是困难的。在这里，我们将整个大脑的fMRI建模为一个图，它保留了几何和时间信息，并使用图神经网络（GNN）从图结构的fMRI数据中学习。我们研究了包括互信息（MI）损失（Infomax）的潜力，这是一个无监督的术语，鼓励每个节点表示及其相应的图形级汇总表示的大MI，以学习更好的图形嵌入。具体来说，这项工作开发了一个管道，包括GNN编码器，分类器和分类器，它迫使编码的节点表示既有利于分类，又揭示了图中的常见节点模式。我们同时优化图级分类损失和Infomax。我们证明了Infomax图嵌入作为正则化项提高了分类性能。此外，我们发现ASD和HC组在前额叶皮层，扣带皮层，视觉区域和其他社会，情感和执行相关的大脑区域的可分离的节点表示。与仅具有分类损失的GNN相比，所提出的管道可以促进训练更鲁棒的ASD分类模型。此外，可分离的节点表示可以检测两组之间的功能差异，并有助于揭示新的ASD生物标志物。
2019-08-14 cs.CV cs.LG eess.IV
BrainBERT: Self-supervised representation learning for intracranial recordings
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；CBMM（脑、心智与机器中心）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
我们创建了一个可重复使用的Transformer，BrainBERT，用于颅内记录，将现代表示学习方法引入神经科学。就像在NLP和语音识别中一样，这个Transformer可以对复杂的概念进行分类，即，通过在未注释的神经记录的大语料库上以无监督的方式预训练，以更高的准确度和更少的数据解码神经数据。我们的方法推广到新的主题与电极在新的位置和不相关的任务表明，表示强大的解开神经信号。就像在NLP中，人们可以通过研究语言模型学习什么来研究语言一样，这种方法打开了通过大脑模型学习什么来研究大脑的大门。作为沿着这条道路的第一步，我们展示了一个新的分析的内在维度的计算在大脑的不同区域。为了构建这些表示，我们将一种用于产生神经数据的超分辨率频谱图的技术与一种旨在通过掩蔽生成音频的上下文表示的方法相结合。在未来，通过使用表示学习，更多的概念将从神经记录中解码出来，这可能会像语言模型解锁语言一样解锁大脑。
2023-02-28 cs.LG eess.SP q-bio.NC
TopoNets: High Performing Vision and Language Models with Brain-Like Topography
Georgia Tech（佐治亚理工学院）
本文提出TopoLoss损失函数，在保持高性能的同时为视觉与语言模型引入类脑拓扑结构，构建了迄今性能最佳的有监督拓扑模型TopoNets，并验证其具备类脑特性及预测大脑反应的能力。
2025-01-27 cs.LG cs.NE q-bio.NC
Towards a Pseudo-Labeling Workflow for Celltype-Classification from Explanted Brain Slice Recordings
RWTH University Hospital, Department of Neurosurgery（RWTH大学医院神经外科部门）；RWTH University Hospital, Department of Epileptology（RWTH大学医院癫痫学部门）；University of Duisburg-Essen, Intelligent Embedded Systems Lab（杜伊斯堡-埃森大学智能嵌入式系统实验室）
该研究针对人脑切片MEA记录的细胞外尖峰分类问题，提出无监督工作流程，涵盖数据预处理、机器学习降维聚类等，考虑在线系统方法，通过多种指标评估管道，严格策展可提高分离度。
2026-07-09 cs.LG q-bio.QM
Scalable Multi-Task Gaussian Process Tensor Regression for Normative Modeling of Structured Variation in Neuroimaging Data
RadboudUMC（拉德堡德大学医学中心）；Donders Institute（唐德斯研究所）；University of Oxford（牛津大学）；King’s College London（伦敦国王学院）
大多数大脑疾病在其基础生物学方面是非常异质的，开发分析方法来模拟这种异质性是一个重大挑战。一种有希望的方法是使用概率回归方法来估计使用（f）MRI数据的脑功能的规范模型，然后使用这些来映射临床人群中个体之间的变化（例如，经由异常检测）。为了充分捕捉个体差异，对不同大脑区域和个体之间的相关模式进行统计建模至关重要。然而，这对于神经成像数据来说是非常具有挑战性的，因为多个轴之间的高维和高度结构化的相关模式。在这里，我们提出了一个通用的和灵活的多任务学习框架来解决这个问题。我们的模型在贝叶斯混合效应模型中使用张量变量高斯过程，并利用Kronecker代数和低秩近似来有效地扩展到全脑水平的多路神经成像数据。在一个公开的临床fMRI数据集上，我们证明了我们的计算负担得起的方法大大提高了检测灵敏度，超过了一个质量单变量规范模型和一个分类器，与我们的方法不同，它可以完全访问临床标签。
2018-11-30 cs.LG stat.AP stat.ML
Loc-VAE: Learning Structurally Localized Representation from 3D Brain MR Images for Content-Based Image Retrieval
Hosei University（法政大学）；Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）
基于内容的图像检索（CBIR）系统是一种新兴的技术，支持阅读和解释医学图像。由于三维脑MR图像是高维的，降维是必要的CBIR使用机器学习技术。此外，对于一个可靠的CBIR系统，在所得到的低维表示中的每个维度必须与神经学上可解释的区域相关联。我们提出了一个本地化的变分自动编码器（Loc-VAE），提供神经解剖学解释的低维表示从3D脑MR图像的临床CBIR。Loc-VAE是基于$β$ -VAE的附加约束，即低维表示的每个维度对应于大脑的局部区域。所提出的Loc-VAE能够获得保留疾病特征并且高度局部化的表示，即使在高维压缩比（4096：1）下。Loc-VAE获得的低维表示与幼稚$β$ -VAE相比，将每个维度的局部性测量提高了4.61个点，同时保持了可比较的脑重建能力和关于阿尔茨海默病诊断的信息。
2022-10-02 cs.CV cs.IR cs.LG
Tensor Decompositions: A New Concept in Brain Data Analysis?
RIKEN BSI（理化学研究所脑科学综合研究中心）
本文综述了张量分解在多向BSS/ICA、特征提取、分类和多向PLS回归中的新模型与方法，涵盖约束Tucker和CP模型及惩罚张量分解。
2013-05-02 cs.LG cs.NA math.NA
Bridging Foundation Models and Efficient Architectures: A Modular Brain Imaging Framework with Local Masking and Pretrained Representation Learning
AAAI Press（AAAI 压力）
本文提出一种模块化fMRI分析框架，结合局部掩码自编码器预训练、随机游走专家混合和状态空间模型预测器，在Cam-CAN数据集上以更低计算成本超越现有方法，实现年龄和流体智力的高精度预测并增强可解释性。
2025-08-09 cs.AI cs.LG q-bio.NC
Improved Brain Age Estimation with Slice-based Set Networks
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；Mark and Mary Stevens Institute for Neuroimaging and Informatics（马克与玛丽·史蒂文斯神经影像与信息学研究所）；Keck School of Medicine（凯克医学院）
神经成像数据的深度学习是一个有前途但具有挑战性的方向。3D MRI扫描的高维性使得这种努力是计算和数据密集型的。大多数传统的3D神经成像方法使用具有大量参数的基于3D-CNN的架构，并且需要更多的时间和数据来进行训练。最近，基于2D切片的模型受到越来越多的关注，因为它们具有更少的参数，并且可能需要更少的样本来实现相当的性能。在本文中，我们提出了一个新的架构BrainAGE预测。所提出的架构通过使用深度2D-CNN模型对MRI中的每个2D切片进行编码来工作。接下来，它使用集合网络或置换不变层组合来自这些2D切片编码的信息。使用英国生物银行数据集对BrainAGE预测问题进行的实验表明，与其他最先进的方法相比，具有排列不变层的模型训练速度更快，预测效果更好。
2021-02-09 cs.LG eess.IV q-bio.QM
Brain alignment of reasoning and action representations from vision-language and action models during naturalistic gameplay
Independent（独立）；Microsoft Research（微软研究院）；AWS AI Labs（AWS人工智能实验室）；GE HealthCare（通用电气医疗）；IIT Delhi（德里理工学院）；IIIT-Hyderabad（海得拉巴理工学院）；Microsoft（微软）
本文研究了在自然主义游戏过程中，视觉语言模型和大动作模型的推理与动作表示在脑部活动中的对齐情况，发现动作聚焦和推理聚焦的提示影响模型内部表示与fMRI脑活动的对齐程度。
2026-10-08 cs.AI cs.LG q-bio.NC
Human brain activity for machine attention
University of Copenhagen（哥本哈根大学）；ETH Zurich（苏黎世联邦理工学院）；IT University of Copenhagen（哥本哈根信息技术大学）
认知启发的NLP利用人类来源的数据来教授机器语言处理机制。最近，神经网络已经用行为数据来增强，以解决一系列跨越语法和语义的NLP任务。我们是第一个利用神经科学数据，即脑电图（EEG），告知关于人类大脑语言处理的神经注意力模型。处理EEG数据的挑战在于特征非常丰富，需要大量的预处理来隔离特定于文本处理的信号。我们设计了一种方法，通过结合理论上有动机的裁剪与随机森林树分裂来寻找这样的EEG特征来监督机器注意力。在此降维之后，预处理的EEG特征能够区分从公开可用的EEG语料库中检索到的两个阅读任务。我们应用这些功能，以正则化的关系分类的注意力，并表明，EEG是比强基线更翔实。这种改善取决于任务的认知负荷和EEG频域。因此，用EEG信号通知神经注意力模型是有益的，但需要进一步研究，以了解哪些维度在NLP任务中最有用。
2020-10-02 cs.CL cs.LG q-bio.NC
Exploration and Comparison of Deep Learning Architectures to Predict Brain Response to Realistic Pictures
Università degli Studi di Milano Bicocca（米兰比可卡大学）；University of Essex（埃塞克斯大学）
本文面向 Algonauts Challenge 2023，探索多种深度学习架构预测真实图片引起的大脑反应，最终发现以 CLIP 图像嵌入为输入、按受试者半球 ROI 分别构建的简单全连接线性模型效果最佳，虽超过基线但关联仍不够稳健。
2023-09-11 cs.AI cs.CV cs.HC
Data-driven decomposition of brain dynamics with principal component analysis in different types of head impacts
Stanford University（斯坦福大学）
应变和应变率是创伤性脑损伤的有效预测指标。基于运动学的模型估计这些指标遭受显着不同的分布的运动学和伤害指标在头部碰撞类型。为了解决这个问题，以前的研究集中在运动学，而不是伤害指标。我们以前已经表明，运动学特征在不同的头部撞击类型中有很大差异，导致不同的大脑变形模式。本研究分析了脑变形的空间分布，并应用主成分分析（PCA）提取的损伤指标（最大主应变（MPS），MPS率（MPSR）和MPSXMPSR）在四个冲击类型（模拟，足球，混合武术和汽车碰撞）的代表性模式。我们应用主成分分析，以分解模式的伤害指标的所有影响，在每一个影响类型，并调查大脑区域之间的分布使用第一主成分（PC 1）。此外，我们开发了一个深度学习头部模型（DLHM）来预测PC 1，然后进行逆变换来预测所有大脑元素。PC 1解释了数据集上>80%的方差。基于PC 1系数，胼胝体和中脑在所有数据集上表现出高方差。我们发现MPSXMPSR是最敏感的指标，在此指标上，前5%的严重影响进一步偏离平均值，并且严重影响之间的方差更高。最后，DLHM达到MPS <0.018（1/s）、MPSR <3.7（1/s）和MPSXMPSR <1.1（1/s）的平均绝对误差，远小于损伤阈值。数据集中的脑损伤度量可以分解为平均分量和具有高解释方差的PC 1。脑动力学分解使得能够更好地解释脑损伤度量中的模式和跨撞击类型的脑损伤度量的灵敏度。分解也降低了…
2021-10-27 cs.LG eess.SP q-bio.QM
Localized Motion Artifact Reduction on Brain MRI Using Deep Learning with Effective Data Augmentation Techniques
Fordham University（福特汉姆大学）；QS Investors, LLC（QS投资有限责任公司）；Grossman Medical School（格罗斯曼医学院）
扫描仪内运动降低了磁共振成像（MRI）的质量，从而降低了其在检测临床相关异常方面的效用。我们引入了一个基于深度学习的MRI伪影减少模型（DMAR），以定位和校正脑部MRI扫描中的头部运动伪影。我们的方法集成了计算机视觉中目标检测和降噪的最新进展。具体而言，DMAR采用两阶段方法：第一阶段，使用Single Shot Multibox Detector（SSD）检测退化区域，第二阶段，使用卷积自动编码器（CAE）减少找到区域内的伪影。我们进一步介绍了一套新的数据增强技术，以解决高维的MRI图像和可用数据的稀缺性。因此，我们的模型是在一个由375个全脑T1加权MRI扫描生成的225，000张图像组成的大型合成数据集上训练的。DMAR在应用于多中心自闭症脑成像数据交换（ABIDE）研究的18名受试者的合成测试图像和55个真实世界运动影响的切片时，明显减少了图像伪影。量化分析表明，在5000个样本的合成图像上，该模型的RMSE降低了27.8%-48.1%，PSNR提高了2.88- 5.79dB，这取决于图像的退化程度。对于来自ABIDE的真实世界伪影影响的扫描，我们的模型降低了伪影影响的大脑区域内的图像体素强度的方差（p = 0.014）。
2020-10-30 cs.CV cs.LG eess.IV
Into the danger zone: stable extrapolation in high-dimensional function and operator learning
Simon Fraser University（西蒙弗雷泽大学）；Concordia University（康考迪亚大学）
本研究针对高维函数与算子学习中的分布外泛化问题，证明了在全纯函数类上即使存在大分布偏移也能实现代数速率稳定外推，并给出了显式误差界与可容许域，通过数值实验验证了理论。
2026-10-06 cs.LG cs.NA math.NA
Enhancing ensemble learning and transfer learning in multimodal data analysis by adaptive dimensionality reduction
UiT The Arctic University of Norway（挪威北极圈大学）；University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Institut Universitaire de France（法国大学研究院）
现代数据分析利用集成学习和迁移学习方法来解决数据分析中的一些最相关的问题，例如缺乏用于训练分析模型的标记数据，信息的稀疏性以及记录的不平衡分布。然而，当应用于多模态数据集时（即，通过多种感测技术或策略获取的数据集），用于集成学习和迁移学习的最新方法可能显示出一些局限性。事实上，在多模态数据分析中，并非所有观测值都显示出相同的可靠性或信息质量水平，也不是误差和不确定性的均匀分布。这种情况可能会破坏集成学习和迁移学习方法所依赖的经典假设。在这项工作中，我们提出了一种自适应的降维方法来克服这个问题。通过基于图论的方法，确定了所考虑的数据集的可变大小子集中最相关的特征。然后，该信息用于建立集成学习和迁移学习架构。我们在不同研究领域（遥感，脑机接口，光伏能源）获得的多模态数据集上测试我们的方法。实验结果表明，我们的方法的有效性和鲁棒性，能够优于国家的最先进的技术。
2021-05-08 cs.LG
Brain Effective Connectome based on fMRI and DTI Data: Bayesian Causal Learning and Assessment
University of Tehran（德黑兰大学）；Harvard Medical School（哈佛医学院）
针对fMRI数据样本量小、分辨率低及脑连接组高维导致的效应连接组发现效果受限问题，提出融合DTI先验的两种贝叶斯因果发现框架，经模拟与HCP数据验证，在准确性和可重复性上均优于传统方法。
2024-03-09 cs.CE cs.LG
Analyzing Neuroimaging Data Through Recurrent Deep Learning Models
Technische Universität Berlin（柏林工业大学）；Freie Universität Berlin（柏林自由大学）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
深度学习（DL）模型在神经成像数据中的应用面临着一些挑战，这是由于这些数据集的高维性、低样本量和复杂的时空依赖性结构。更进一步，深度学习模型充当黑箱模型，阻碍了对认知状态和大脑活动之间关联的洞察。为了应对这些挑战，我们引入了DeepLight框架，该框架利用基于长短期记忆（LSTM）的DL模型来分析全脑功能磁共振成像（fMRI）数据。为了解码认知状态（例如，看到房子的图像），DeepLight将fMRI体积分离成一系列轴向脑切片，然后由LSTM顺序处理。为了保持可解释性，DeepLight采用了分层相关传播（LRP）技术。从而，将其解码决策分解成单个输入体素对该决策的贡献。重要的是，分解是在单个fMRI体积的水平上进行的，使DeepLight能够在多个数据粒度水平上研究认知状态和大脑活动之间的关联，从组的水平到单个时间点的水平。为了证明DeepLight的多功能性，我们将其应用于人类连接组项目的大型fMRI数据集。我们表明，DeepLight在解码认知状态和识别与这些状态相关的生理学上适当的大脑区域方面优于单变量和多变量fMRI分析的传统方法。我们进一步证明了DeepLight在单个fMRI样本序列上研究大脑活动的细粒度时空变异性的能力。
2019-04-05 cs.CV cs.LG cs.NE
Support vector machine classification of dimensionally reduced structural MRI images for dementia
Stanford University（斯坦福大学）
我们使用支持向量机分类器对患者（CDR范围从0到2）中的极轻度到中度痴呆进行分类，该分类器作用于从OASIS-Brains数据集中的416名受试者的MRI脑扫描中获得的维度减少的特征集。我们使用图像分割和主成分分析来降低数据的维数。我们得到的功能集包含每个主题的11个功能。使用10倍交叉验证的分类器的性能进行评估。使用线性和（高斯）核，我们得到了86.4%（90.1%）的训练分类准确率，85.0%（85.7%）的测试准确率，68.7%（68.5%）的测试精度，68.0%（74.0%）的测试召回，和测试马修斯相关系数为0.594（0.616）。
2014-06-25 cs.CV cs.LG physics.med-ph
Large Margin Low Rank Tensor Analysis
Institute for Language \& Speech Processing Athens, Greece
本文提出一种监督模型，用于学习高维欧几里得空间中嵌入张量的内在结构，通过固定点延续过程联合发现最优维度和低维嵌入表示，模拟人类大脑的认知过程，并在物体识别和人脸识别中验证其优越性。
2013-06-11 cs.LG cs.NA math.NA
