Riemannian joint dimensionality reduction and dictionary learning on symmetric positive definite manifold
The University of Electro-Communications（电气通信大学）；Microsoft（微软）
字典学习（DL）和降维（DR）是分析高维噪声信号的有力工具。本文提出了一种新的黎曼联合降维和字典学习（R-JDRDL）对称正定（SPD）流形分类任务的建议。联合学习通过将降维和字典学习过程连接到一个统一的框架中来考虑它们之间的相互作用。我们利用黎曼优化框架来解决DL和DR问题。最后，我们证明了建议的R-JDRDL优于现有的国家的最先进的算法时，用于图像分类任务。
2019-02-11 cs.AI cs.CV cs.LG
Extrinsic Methods for Coding and Dictionary Learning on Grassmann Manifolds
College of Engineering and Computer Science, Australian National University（澳大利亚国立大学工程与计算机学院）；NICTA（澳大利亚国家信息与通信技术研究院）；School of Computer Science, The University of Adelaide（阿德莱德大学计算机科学学院）；The University of Queensland（昆士兰大学）；University of Queensland（昆士兰大学）
基于稀疏性的表示最近在各种视觉识别任务中取得了显着的成果。在另一条研究线中，黎曼流形被证明对于处理不在欧几里德空间中的特征和模型是有用的。为了在这两个领域之间建立一座桥梁，我们解决了线性子空间空间上的稀疏编码和字典学习问题，这些线性子空间形成了被称为格拉斯曼流形的黎曼结构。为此，我们建议嵌入格拉斯曼流形到空间的对称矩阵的等距映射。这反过来又使我们能够扩展两个稀疏编码方案格拉斯曼流形。此外，我们提出了学习格拉斯曼字典，原子原子的封闭形式的解决方案。最后，为了处理数据中的非线性，我们通过嵌入到Hilbert空间中来扩展所提出的Grassmann稀疏编码和字典学习算法。实验结果表明，与核仿射壳方法和图嵌入Grassmann判别分析方法相比，该方法在性别识别、手势分类、景物分析、人脸识别、动作识别和动态纹理分类等分类任务上的识别精度有了显著提高.
2015-05-20 cs.CV cs.LG stat.ML
Discovery of Nonlinear Dynamical Systems using a Runge-Kutta Inspired Dictionary-based Sparse Regression Approach
Max Planck Institute for Dynamics of Complex Technical Systems（马克斯·普朗克复杂技术系统动力学研究所）
发现动力学模型来描述潜在的动力学行为对于得出决定性的结论和工程研究是必不可少的，例如，优化一个过程尽管实验数据的可用性显着增加，但科学和工程中可解释和可解释的模型仍然难以理解。在这项工作中，我们将机器学习和基于字典的学习与数值分析工具相结合，从噪声和稀疏采样的测量数据中发现控制微分方程。我们利用这样一个事实，即给定一个包含大量候选非线性函数的字典，动力学模型通常可以由几个适当选择的候选函数来描述。其结果是，我们得到的解释和简约的模型，易于推广更好地超越抽样制度。此外，我们将数值积分框架与字典学习相结合，在任何阶段都不需要或近似导数信息即可生成微分方程。因此，它在损坏和稀疏采样的数据中是完全有效的。我们讨论其扩展到控制方程，包含理性的非线性，通常出现在生物网络。此外，我们推广的方法，受到参数变化和外部控制输入的控制方程。我们证明了该方法的效率，发现了一些不同的微分方程，使用噪声测量，包括描述神经动力学，混沌洛伦兹模型，米氏动力学模型，和参数化的霍普夫范式。
2021-05-11 cs.CE cs.LG
Multi-Dictionary Learning for Low Rank Sparse Coding
University at Albany – SUNY（纽约州立大学奥尔巴尼分校）
针对多字典场景学习字典和编码系数的挑战，提出低秩编码模型，建立样本数量上下界，给出交替凸优化解决方案AODL，在合成和真实数据集上验证其数据重建和缺失值插补质量及稀疏度优势，还能揭示训练样本模式见解。
2026-07-16 cs.LG
Geometric Dictionary Learning of Dynamical Systems with Optimal Transport
CMAP, Ecole Polytechnique（CMAP，巴黎高等学院）；Istituto Italiano di Tecnologia & University of Novi Sad（意大利技术研究院 & 新萨大学）
本文提出DOODL框架，通过几何字典学习方法在谱算子空间中学习低维流形，从而实现对复杂动力系统的高效表征和可解释的算子估计。
2026-09-09 cs.LG stat.ML
Towards Interpretable Deep Neural Networks for Tabular Data
Marburg University（马尔堡大学）
本文提出XNNTab架构，通过稀疏自编码器学习语义特征并赋予人类可解释性，实现表格数据预测的可解释性与高性能。
2026-03-26 cs.LG
Non-Gaussianity Reveals Interpretable Directions in Language Models
Independent Researcher（独立研究员）；University of Maryland（马里兰大学）
提出ICALens，基于独立成分分析（ICA）高效提取语言模型表示中可解释方向，无需训练稀疏自编码器，在SAEBench上表现竞争力。
2026-10-20 cs.AI cs.CL cs.LG
Improving Dictionary Learning with Gated Sparse Autoencoders
Google DeepMind（谷歌DeepMind）
本文提出门控稀疏自编码器，通过分离方向选择与幅度估计功能并仅对前者施加L1惩罚，解决了SAE的收缩偏差，在高达7B参数语言模型上以一半激活特征实现相当重构保真度。
2024-04-30 cs.AI cs.LG
Towards scientific discovery with dictionary learning: Extracting biological concepts from microscopy foundation models
Valence Labs（Valence实验室）；Rutgers University（罗格斯大学）；University of Cambridge（剑桥大学）；University of Manchester（曼彻斯特大学）
本文提出将迭代码本特征学习与PCA白化预处理相结合，从细胞显微镜视觉基础模型中提取细胞类型、遗传扰动等生物学概念，并揭示细微形态变化，为生物成像中的机制可解释性科学发现开辟新路径。
2025-07-18 cs.AI cs.CV cs.LG
Bilinear autoencoders find interpretable manifolds
University of Antwerp（安特卫普大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出双线性自编码器用于发现可解释的流形，通过低秩二次形式分解激活，改进语言模型的重构误差，并展示不同几何先验的自编码器能恢复相同输入子空间。
2026-05-09 cs.LG
Multi-task additive models with shared transfer functions based on dictionary learning
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；IBM Research（IBM研究院）
加法模型是一类广泛流行的回归模型，它将协变量和响应变量之间的关系表示为低维传递函数之和。除了灵活性和准确性之外，这些模型的一个主要优点是它们的可解释性：传递函数提供了检查模型和识别输入和输出之间特定领域关系的可视化手段。然而，在涉及许多相关任务预测的大规模问题中，独立学习加性模型会导致模型可解释性的丧失，并且在训练数据稀缺时可能导致过拟合。我们介绍了一种新的多任务学习方法，该方法为大量相关的预测任务提供了准确和可解释的添加剂模型。我们的核心思想是在模型之间共享传递函数，以降低模型的复杂性和简化语料库的探索。我们建立了与稀疏字典学习的连接，并提出了一种新的高效拟合算法，该算法在稀疏编码和传递函数更新之间交替进行。前一步是解决通过正交匹配追踪，其性质进行了分析，使用一种新的恢复条件，扩展现有的文献中的结果的扩展。后一步使用传统的字典更新规则来解决。在真实数据上的实验表明，我们的方法与基线方法相比毫不逊色，同时产生了可解释的模型语料库，揭示了各个任务之间的结构，并且在训练数据稀缺时更加鲁棒。因此，我们的框架将添加剂模型的众所周知的好处扩展到可能涉及数千个任务的常见回归设置。
2015-05-19 cs.LG stat.ML
Structure-Aware Classification using Supervised Dictionary Learning
Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们提出了一个监督字典学习算法，旨在保持局部几何在两个维度的数据。基于图的正则化明确考虑了数据点的局部流形结构。第二个图正则化对特征域进行了类似的处理，并有助于学习更强大的字典。这两个图都可以从训练数据构建，或者沿着字典学习过程学习和调整。这两个术语的组合促进了学习的稀疏表示的区分能力，并导致改进的分类精度。该方法在几个不同的数据集上进行了评估，代表单标签和多标签分类问题，与其他基于字典的方法相比，表现出更好的性能。
2016-09-29 cs.CV cs.LG
Manifold Proximal Point Algorithms for Dual Principal Component Pursuit and Orthogonal Dictionary Learning
Texas A&M University（德克萨斯A&M大学）；Cainiao Network（菜鸟网络）；University of California, Davis（加州大学戴维斯分校）；The Chinese University of Hong Kong（香港中文大学）
我们考虑的问题，最大化的线性映射的$\ell_1$范数的球，这出现在各种机器学习应用，如正交字典学习（ODL）和鲁棒子空间恢复（RSR）。该问题是数值上的挑战，由于其非光滑的目标和非凸约束，其算法方面还没有得到很好的探索。在本文中，我们将展示如何利用球的流形结构来设计快速算法来解决这个问题。具体而言，我们的贡献是三方面的。首先，我们提出了一个流形邻近点法（ManPPA）的问题，并表明它以次线性速度收敛。此外，我们表明，ManPPA可以实现平方收敛速率时，适用于ODL和RSR问题。其次，我们提出了一种称为StManPPA，这是非常适合于大规模计算的ManPPA的随机变体，并建立其次线性收敛速度。ManPPA和StManPPA都具有比现有的子梯度型方法更快的收敛速度。第三，使用ManPPA作为构建块，我们提出了一种新的方法来解决矩阵模拟的问题，其中球被替换为Stiefel流形。通过对ODL和RSR问题的大量数值实验，验证了所提方法的有效性。
2021-07-21 cs.CV cs.LG eess.SP
Multiple-Kernel Dictionary Learning for Reconstruction and Clustering of Unseen Multivariate Time-series
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
存在许多方法用于描述和识别数据集中的不可见类。然而，当我们处理多变量时间序列（MTS）（例如，运动数据），其中我们不能将矢量算法直接应用于输入。在这项工作中，我们提出了一种新的多核字典学习（MKD），学习语义属性的MTS维度在特征空间中的特定组合的基础上。因此，MKD可以基于训练数据（可见类）完全/部分地重建不可见类。此外，我们获得稀疏编码看不见的类的基础上学习的MKD属性，并在此基础上，我们提出了一个简单而有效的增量聚类算法来分类看不见的MTS类在无监督的方式。根据我们的MKD框架在真实基准上的经验评估，它提供了一个不可见MTS数据的可解释的重建以及关于其在线聚类的高性能。
2019-03-12 cs.LG stat.ML
MS-IMAP -- A Multi-Scale Graph Embedding Approach for Interpretable Manifold Learning
本文提出基于谱图小波和对比学习的多尺度图嵌入框架MS-IMAP，通过建立嵌入与输入特征空间的对应关系实现特征重要性推导，并在多个数据集上验证了其在聚类等无监督任务中的有效性。
2025-08-08 cs.LG
Empirical Evaluation of Progressive Coding for Sparse Autoencoders
本文实证评估了稀疏自编码器的渐进式编码，比较了基于子集剪枝的方法与Matryoshka SAEs，发现前者更具可解释性，而后者在重构损失和表示相似性上表现更优。
2025-04-30 cs.AI cs.LG
Geometry of Deep Learning for Magnetic Resonance Fingerprinting
University of Bath（巴斯大学）；GE Healthcare（通用电气医疗集团）
当前流行的磁共振指纹（MRF）恢复方法受到字典匹配（DM）步骤的繁重存储和计算要求的挑战，这是由于在多参数定量MRI应用中指纹字典的大小和复杂性不断增长。在本文中，我们研究了一种深度学习方法来解决这些缺点。再加上降维的第一层，所提出的MRF-Net能够通过节省DM基线所需的60多次内存和计算来重建定量地图。细网格流形枚举，即MRF字典仅用于训练网络，而不是在图像重建期间。我们表明，MRF-Net提供了Bloch响应流形投影的分段仿射近似，而不是记忆字典，网络有效地聚类这个流形，并学习一组分层匹配滤波器，用于仿射回归每个段中的NMR特征。
2018-11-04 cs.LG stat.ML
Gaussian Process Convolutional Dictionary Learning
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
卷积字典学习（CDL），从数据中估计平移不变模板的问题，通常在模板上没有先验/结构的情况下进行。在数据稀缺或低信噪比（SNR）的情况下，学习的模板过拟合数据，缺乏平滑性，这可能会影响下游任务的预测性能。为了解决这个限制，我们提出了GPCDL，这是一个卷积字典学习框架，使用高斯过程（GP）在模板上强制先验。随着对平滑度的关注，我们从理论上证明了施加GP先验相当于维纳滤波学习的模板，从而抑制高频分量并促进平滑度。我们表明，该算法是一个简单的扩展经典的迭代加权最小二乘算法，独立的GP内核的选择。这个属性允许人们灵活地使用不同的平滑假设进行实验。通过模拟，我们表明，GPCDL学习平滑字典更好的准确性比非正规化的替代方案在一系列的SNR。通过对神经尖峰数据的应用，我们证明了GPCDL学习了一个更准确和视觉上可解释的平滑字典，与非正则化CDL以及参数化替代方案相比，具有更好的预测性能。
2021-11-25 cs.LG stat.AP stat.ML
Hiding Data Helps: On the Benefits of Masking for Sparse Coding
Duke University（杜克大学）；Brown University（布朗大学）
本文研究过实现字典在噪声下难以恢复真实字典的问题，提出受自监督学习启发的掩码目标，证明其恢复最优性并通过实验验证优于标准重建目标。
2023-06-01 cs.AI cs.LG
Semi-supervised dual graph regularized dictionary learning
CEA（法国原子能和替代能源委员会）；LIST（信息技术与系统实验室（CEA下属））；Laboratoire AIM（AIM实验室）；CNRS（法国国家科学研究中心）；Paris 7（巴黎第七大学）；Irfu（核物理与粒子物理研究所（CEA下属））
在本文中，我们提出了一种半监督字典学习方法，该方法使用标记和未标记数据中的信息，并联合训练嵌入稀疏代码的线性分类器。稀疏代码空间中数据的流形结构使用与局部线性嵌入方法（LLE）相同的方法来保留。这使得人们能够加强未标记数据稀疏码的预测能力。我们表明，我们的方法提供了显着的改进，比其他方法。通过在稀疏码上训练一个简单的非线性分类器作为SVM，可以进一步改善分类结果。
2018-12-11 cs.LG stat.ML
Dictionary Learning for Massive Matrix Factorization
Inria（法国国家信息与自动化研究所）；CEA（法国原子能与替代能源委员会）；Paris-Saclay University（巴黎萨克雷大学）；Neurospin（Neurospin 神经影像研究中心）；Grenoble（格勒诺布尔）
稀疏矩阵分解是获得可解释数据分解的流行工具，其也有效地执行数据补全或去噪。它对大型数据集的适用性已经通过在线和随机方法得到了解决，这些方法降低了其中一个矩阵维度的复杂性，但并没有同时降低这两个维度的复杂性。在本文中，我们处理非常大的矩阵在两个维度。我们提出了一种新的因式分解方法，可以优雅地扩展到TB级的数据集，这是以前的算法在合理的时间内无法处理的。我们证明了我们的方法在大量功能性磁共振成像（fMRI）数据上的效率，以及推荐系统的矩阵完成问题，与最先进的坐标下降方法相比，我们获得了显着的速度提升。
2016-05-26 cs.LG q-bio.QM stat.ML
Revisiting Explainable AI through Model-Independent Concept Dictionaries
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD – 柏林学习与数据基础研究所）；Institute for AI in Medicine (IKIM), Charité – Universitätsmedizin Berlin（柏林夏里特医学院人工智能医学研究所）；Université Laval（拉瓦尔大学）；Mila – Quebec Artificial Intelligence Institute（Mila – 魁北克人工智能研究所）；Technische Universität Berlin（柏林工业大学）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
针对现有XAI方法依赖可解释特征或架构特定内部抽象的问题，提出DictXAI，通过输入域中的预定义概念字典和稀疏编码实现模型无关的可解释归因，可识别AI故障并提升人机对齐，优于经典XAI。
2026-10-08 cs.LG stat.ML
Learning dynamical systems from data: Gradient-based dictionary optimization
Maxwell Institute for Mathematical Sciences, University of Edinburgh and Heriot–Watt University（麦克斯韦数学科学研究所，爱丁堡大学和赫瑞斯泰学院）；Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；School of Mathematical and Computer Sciences, Heriot–Watt University（赫瑞斯泰大学数学与计算机科学学院）
针对数据驱动逼近Koopman算子时基函数选择依赖先验知识的问题，提出一种基于梯度下降的字典优化框架，可结合EDMD等方法从数据中学习可解释基函数，在多个基准问题上验证了有效性。
2025-07-01 cs.LG math.DS stat.ML
Principal Prototype Analysis on Manifold for Interpretable Reinforcement Learning
University of Maryland College park（马里兰大学帕克分校）
本文提出一种自动选择最优原型的方法，用于增强强化学习的可解释性，无需人工定义原型，实验显示其性能与现有方法相当。
2026-03-31 cs.LG
Robust Non-Linear Matrix Factorization for Dictionary Learning, Denoising, and Clustering
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Cornell University（康奈尔大学）
低维非线性结构广泛存在于计算机视觉和机器学习的数据集中。最近提出了核矩阵分解技术，通过观察足够大的特征空间中的矩阵图像是低秩的，来学习这些非线性结构，用于去噪、分类、字典学习和缺失数据填补。然而，这些非线性方法在稀疏噪声或离群值的存在下失败。在这项工作中，我们提出了一个新的鲁棒非线性分解方法称为鲁棒非线性矩阵分解（RNLMF）。RNLMF通过分解核化特征空间来构建数据空间的字典;然后可以将噪声矩阵分解为稀疏噪声矩阵和位于低维非线性流形中的干净数据矩阵的总和。RNLMF对稀疏噪声和离群值具有鲁棒性，并可扩展到具有数千行和列的矩阵。根据经验，RNLMF在去噪和聚类方面比基线方法取得了显着的改进。
2020-12-02 cs.LG stat.ML
Geometric Sparse Coding in Wasserstein Space
Tufts University（塔夫茨大学）
Wasserstein字典学习是一种无监督的方法，用于学习概率分布的集合，这些概率分布生成观察到的分布作为Wasserstein重心组合。用于Wasserstein字典学习的现有方法优化了一个目标，该目标通过重心插值来寻找具有足够表示能力的字典以近似观察到的训练数据，但不对与字典相关联的系数施加额外的结构属性。这导致字典密集地表示观察到的数据，这使得系数的解释具有挑战性，并且当在下游任务中使用学习的系数时，也可能导致经验性能差。相反，在欧氏空间中的稀疏字典学习的动机，我们提出了一个几何稀疏正则化的Wasserstein空间，促进表示的数据点只使用附近的字典元素。我们表明，这种方法导致稀疏表示在Wasserstein空间和地址的重心表示的非唯一性的问题。此外，当数据被生成为固定分布的Wasserstein重心时，该正则化器有助于在非正则化Wasserstein字典学习不适定的情况下恢复生成分布。通过对合成数据和真实数据的实验，我们证明了我们的几何正则化方法在Wasserstein空间中产生了更稀疏和更可解释的字典，在下游应用中表现更好。
2022-10-21 cs.CV cs.LG eess.SP
Interpretable Discriminative Dimensionality Reduction and Feature Selection on the Manifold
Center of Cognitive Interactive Technology (CITEC)（认知交互技术中心（CITEC））；Bielefeld University（比勒费尔德大学）
流形上的抽象性约简（DR）包括将数据从隐式关系空间投影到向量空间的有效方法。无论在这方面的成就，这些算法遭受缺乏解释的投影尺寸。因此，通常很难解释嵌入维度背后的物理意义。在这项研究中，我们提出了可解释的内核DR算法（I-KDR）作为一种新的算法，它将数据从特征空间映射到一个低维空间，在这个空间中，类更加紧凑，重叠更少。此外，该算法根据数据样本的局部贡献创建维度，这使得更容易通过类标签来解释它们。此外，我们有效地融合DR与特征选择任务，以选择原始空间中与判别目标最相关的特征。基于经验证据，I-KDR提供了更好的嵌入维度的解释，以及更高的判别性能相比，国家的最先进的和流行的DR算法在嵌入空间。
2019-09-19 cs.LG stat.ML
Finding GEMS: Multi-Scale Dictionaries for High-Dimensional Graph Signals
现代数据对传统的信号处理方法提出了新的挑战，导致人们对图形信号处理领域的兴趣日益浓厚。一个强大的和良好建立的模型，为现实世界的信号在各个领域是稀疏表示字典，结合训练的能力，从信号的例子字典。该模型已成功地应用于图形信号，以及通过将底层图形拓扑结构集成到学习的字典。尽管如此，由于字典学习问题所需要的计算约束，以及由于直接使用图拉普拉斯矩阵，用于图信号的字典学习方法通常限于小维度。在本文中，我们提出了一个字典学习算法，适用于更广泛的一类图形信号，并能够处理更高维的数据。我们将潜在的图形拓扑结构隐式地，通过迫使学习字典原子是图小波函数的稀疏组合，并明确地，通过添加直接图约束，以促进在特征和流形域的平滑度。因此，所得到的原子适应于感兴趣的数据，同时粘附到底层的图形结构，并拥有所需的多尺度属性。在不同性质的合成和真实网络数据集上的实验结果表明，该算法在高维情况下也能有效地处理图形信号.
2018-06-14 cs.LG stat.ML
Inference and learning in sparse autoencoders as natural gradient flow
Astera Institute（Astera研究所）；UC Berkeley（加州大学伯克利分校）；UCL（伦敦大学学院）；Goodfire AI（Goodfire AI公司）；CSHL（冷泉港实验室）
本文提出BeFOND，一种无编码器的稀疏编码模型，将推理与字典学习统一为自然梯度流，通过循环解释消除和Fisher预条件减少特征干扰并加速稀有特征学习，在合成数据和语言模型激活上显著提升字典恢复、稀有特征检测及概念干预效果。
2026-10-07 cs.AI cs.LG
Learning fMRI activations dictionaries across individual geometries via optimal transport
CMAP, Ecole Polytechnique Palaiseau, France（CMAP，巴黎政治学院帕莱索校区，法国）；Mind, Inria-Saclay Palaiseau, France（Mind，法国国家信息与自动化研究所萨克雷帕莱索分所，法国）
本文提出了一种基于最优传输的fMRI字典学习方法，通过Fused Gromov-Wasserstein距离处理个体脑几何差异，利用amortized优化减少计算成本，并学习依赖FGW参数平衡特征对齐与结构一致性的字典原子。
2026-05-20 cs.LG
Binary Matrix Factorization via Dictionary Learning
Departamento de Procesamiento de Señales, Instituto de Ingeniería Eléctrica, Facultad de Ingeniería, Universidad de la República（共和国大学工程学院电气工程研究所信号处理系（Departamento de Procesamiento de Señales, Instituto de Ingeniería Eléctrica, Facultad de Ingeniería, Universidad de la República））
矩阵分解是数据分析中的一个关键工具;它的应用包括推荐系统，相关性分析，信号处理等。二进制矩阵是一个特殊的情况下，已收到显着的关注超过三十年，特别是在数据挖掘领域。字典学习是指一系列用于学习过完备基（也称为帧）的方法，以有效地编码给定类型的样本;这个领域现在也有大约20年的历史，主要是在信号处理领域中发展起来的。在这项工作中，我们提出了两个二进制矩阵分解方法的基础上的二进制适应的字典学习范式的二进制矩阵。所提出的算法专注于速度和可扩展性，他们的工作与二进制因子结合位操作和一些辅助整数。此外，该方法很容易适用于在线二进制矩阵分解。在矩阵分解的另一个重要问题是秩的因素的选择，我们解决这个模型选择问题的最小描述长度原则的基础上，一个有效的方法。我们的初步结果表明，所提出的方法是有效的，在生产不同性质的各种数据类型的可解释的因子分解。
2018-07-26 cs.CV cs.IR cs.IT
Interpretable Dimensionality Reduction by Feature Preserving Manifold Approximation and Projection
Frazer Institute（弗雷泽研究所）；University of Queensland（昆士兰大学）
本文提出可解释降维方法 featMAP，通过局部 SVD 逼近切空间并保持对齐嵌入低维空间，在保留局部相似性和原始密度的同时展示源特征及其重要性，成功用于解释数字分类、目标检测和 MNIST 对抗样本的误分类。
2024-04-02 cs.CV cs.LG
Atlas-based Manifold Representations for Interpretable Riemannian Machine Learning
Department of Computer Science, University of Chicago（计算机科学系，芝加哥大学）；Pritzker School of Molecular Engineering, University of Chicago（分子工程学院，芝加哥大学）；The College, University of Chicago（学院，芝加哥大学）；School of Engineering at Applied Sciences, Harvard University（应用科学工程学院，哈佛大学）；Department of Medicine, University of Chicago（医学系，芝加哥大学）；CZ Biohub Chicago, LLC（芝加哥CZ生物枢纽有限公司）
本文提出维护可微图册并结合无监督点云学习的流形表示，支持 Riemannian 优化，在分类和 RNA velocity 任务中提升效率、准确性、可解释性与鲁棒性。
2025-10-20 cs.LG stat.AP
Joint Subspace Recovery and Enhanced Locality Driven Robust Flexible Discriminative Dictionary Learning
Hefei University of Technology（合肥工业大学）；Soochow University（苏州大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Queensland（昆士兰大学）
我们提出了一种基于子空间恢复和增强局部性的鲁棒柔性标签一致性字典学习方法，称为鲁棒柔性判别字典学习（RFOLD）。该算法主要通过增强对稀疏错误的鲁棒性，对局部性、重构错误和标签一致性进行更精确的编码，来提高数据的表示和分类能力。首先，为了对数据和原子中的噪声和稀疏错误具有鲁棒性，RFRST旨在联合恢复底层的干净数据和干净原子子空间，然后在恢复的子空间中执行DL并编码局部性。其次，为了使从非线性流形采样的数据能够潜在地处理，并通过避免过拟合来获得准确的重建，RFFLOW以灵活的方式最小化重建误差。第三，为了对标签一致性进行准确编码，RFRST涉及有区别的灵活稀疏码错误以鼓励系数变软。第四，为了更好地编码局部性，RFFNN定义了恢复原子上的拉普拉斯矩阵，包括原子在类内紧凑性和类间分离方面的标签信息，并与组稀疏码和分类器相关联，以获得准确的区分性局部约束系数和分类器。在公共数据库上的大量结果表明了我们的RFESTs的有效性。
2019-06-11 cs.CV cs.LG
Manifold Coordinates with Physical Meaning
University of Washington（华盛顿大学）
流形嵌入算法将高维数据映射到更低维空间中的坐标。降维的目的之一是找到描述数据流形的内在坐标。嵌入算法返回的坐标是抽象的，并且找到它们的物理或领域相关的意义并没有形式化，通常留给领域专家。本文研究的问题，恢复的意义，新的低维表示在一个自动的，原则性的方式。我们提出了一种方法来解释嵌入坐标的流形作为非线性组合物的功能，从用户定义的字典。我们表明，这个问题可以设置为一个稀疏的线性组Lasso恢复问题，找到充分的恢复条件，并证明其有效性的数据。
2021-07-29 cs.LG stat.ML
Genetic Programming for Explainable Manifold Learning
Centre for Data Science and Artificial Intelligence（数据科学与人工智能中心）；School of Engineering and Computer Science（工程与计算机科学学院）；Victoria University of Wellington（威灵顿维多利亚大学）
本文提出GP-EMaL方法，通过直接惩罚树复杂性在保持高流形质量的同时显著提升可解释性，使用更简单更小的树结构匹配现有方法性能。
2025-04-08 cs.LG cs.NE
Online nonnegative CP-dictionary learning for Markovian data
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加州大学洛杉矶分校）
在线张量分解（OTF）是从流多模态数据中学习低维可解释特征的基本工具。虽然各种算法和理论方面的OTF最近已经调查，一个一般的收敛保证不需要任何不相干或稀疏假设的目标函数的固定点仍然缺乏，即使是独立同分布。案子在这项工作中，我们介绍了一种新的算法，学习一个CANDECOMP/PARAFAC（CP）的基础上，从一个给定的流的张量值的数据下的一般约束，包括非负性约束，诱导学习CP基础的可解释性。我们证明了我们的算法几乎必然收敛到目标函数的平稳点集的假设下，数据张量的序列是由一个潜在的马尔可夫链。我们的设置涵盖了经典的i.i.d.案例以及广泛的应用环境，包括由独立或MCMC采样生成的数据流。我们的结果弥补了OTF和在线矩阵分解在全局收敛性分析\commHL{for CP-decompositions}中的不足。实验上，我们表明，我们的算法收敛速度比标准算法的非负张量因式分解任务的合成和真实世界的数据。此外，我们还展示了我们的算法在图像，视频和时间序列数据的不同示例集上的实用性，说明了如何通过多种方式利用张量结构从相同的张量数据中学习定性不同的CP字典。
2022-04-03 cs.LG math.OC stat.ML
Interpretable statistical representations of neural population dynamics and geometry
EPFL（洛桑联邦理工学院）；University Hospital Würzburg（维尔茨堡大学医院）；Imperial College London（伦敦帝国学院）；Blue Brain Project, EPFL（蓝脑计划（洛桑联邦理工学院））；Medical University of Vienna（维也纳医科大学）
提出MARBLE方法，通过无监督几何深度学习将流形上的神经动力学分解为局部流场并映射到潜在空间，发现了跨网络和动物一致的潜在表示，实现了最先进的解码准确性。
2024-09-24 cs.LG math.DS q-bio.NC
Deep sr-DDL: Deep Structurally Regularized Dynamic Dictionary Learning to Integrate Multimodal and Dynamic Functional Connectomics data for Multidimensional Clinical Characterizations
Johns Hopkins University（约翰斯·霍普金斯大学）；Kennedy Krieger Institute（肯尼迪·克里格研究所）；Johns Hopkins School of Medicine（约翰斯·霍普金斯医学院）
本文提出深度 sr-DDL 框架，将结构正则化动态字典学习与 LSTM-ANN 深度网络联合优化，整合 rs-fMRI 和 DTI 多模态数据，用于预测认知及自闭症谱系障碍的多维临床评分，并在多个基准上优于现有方法。
2024-11-22 cs.LG eess.SP stat.ML
Interpretable System Identification and Long-term Prediction on Time-Series Data
Southeast University（东南大学）
在过去的几十年里，由于深度学习方法的不断发展，时间序列预测引起了人们的极大关注。然而，大多数基于神经网络的方法缺乏可解释性，无法提取目标物理系统的隐藏机制。为了克服这些缺点，本研究提出了一种无需任何先验知识的可解释稀疏系统辨识方法。该方法采用傅立叶变换来减少字典矩阵中的无关项，而不是大多数系统辨识方法中不加选择地使用多项式函数。它显示了一个可解释的系统表示，并大大降低了计算成本。采用$l_1$范数对参数矩阵进行正则化，可以实现系统模型的稀疏描述。此外，利用水利数据、全球气温数据和金融数据对所提方法进行了性能测试。虽然没有关于物理背景的先验知识，实验结果表明，我们的方法可以实现长期的预测，而不管原始数据中的噪声和不完整性，比广泛使用的基线数据驱动的方法更准确。这项研究可能会提供一些洞察时间序列预测调查，并建议白盒系统辨识方法可以提取容易被忽视的，但固有的周期性特征，并可能击败基于神经网络的黑箱方法的长期预测任务。
2023-03-02 cs.LG cs.NA cs.SY
Context-Aware Interpretable Representations for Retrieval and Graph Convolutional Network Classification
State University of São Paulo (UNESP)（圣保罗州立大学（UNESP））
本文针对视觉表示的几何与可解释性鸿沟，提出融合流形学习与可解释图嵌入的无监督框架，所获上下文感知表示兼具可解释性、降维能力，且在图像检索与GCN半监督分类任务中表现优异。
2026-09-01 cs.CV cs.IR cs.LG
Multi-Objective Genetic Programming for Manifold Learning: Balancing Quality and Dimensionality
Victoria University of Wellington（惠灵顿维多利亚大学）
随着数据规模的不断增长，流形学习技术变得越来越有价值。通过发现数据集结构的低维表示（嵌入），流形学习算法可以在保留尽可能多的信息的同时大大降低数据集的维数。然而，最先进的流形学习算法在如何执行这种转换方面是不透明的。理解嵌入与原始高维空间的关系在探索性数据分析中至关重要。我们以前提出了一个遗传编程方法，执行流形学习进化映射是透明的和可解释的。这种方法要求嵌入的维数是先验已知的，这使得它很难在对数据集知之甚少的情况下使用。在本文中，我们大大扩展了我们以前的工作，通过引入一个多目标的方法，自动平衡流形质量和维数的竞争目标。我们提出的方法与一系列基线和最先进的流形学习方法相比具有竞争力，同时还提供了一系列（前端）解决方案，在质量和维度之间进行不同的权衡。此外，学习的模型往往是简单而有效的，只利用少量的功能，在一个可解释的方式。
2020-01-05 cs.LG cs.NE
Explainable AI via Learning to Optimize
Typal Academy（泰帕尔学院）；Colorado School of Mines（科罗拉多矿业学院）
针对机器学习黑箱的可解释性需求，本研究采用学习优化（L2O）方法构建可编码先验知识、具备理论保证的XAI工具，还提出可解释证书验证推理可信度，并在多个场景验证了有效性。
2023-06-11 cs.LG math.OC
A Discrete Empirical Interpolation Method for Interpretable Immersion and Embedding of Nonlinear Manifolds
Mechanical and Aerospace Engineering, Princeton University（普林斯顿大学机械与航空航天工程系）
本文提出了一种扩展的离散经验插值方法（DEIM），用于在非线性流形上进行可解释的沉浸与嵌入，通过同时应用 pivoted QR 过程于局部线性近似块，实现一种新的同时 pivoted QR（SimPQR）算法，从而在真实数据中有效应用非线性 DEIM（NLDEIM）坐标。
2019-05-21 cs.LG cs.NA math.DS
Projective Kolmogorov Arnold Neural Networks (P-KANs): Entropy-Driven Functional Space Discovery for Interpretable Machine Learning
Centre for Applied Industrial Intelligence, University of Strathclyde（应用工业智能中心，斯特拉思克莱德大学）
针对KANs高维样条参数冗余导致的过拟合问题，提出P-KANs框架，通过熵最小化引导边函数收敛至低参数投影空间，实现高达80%参数压缩并增强可解释性。
2025-09-24 cs.AI cs.LG cs.NE
Manifolds for Unsupervised Visual Anomaly Detection
Augustus Intelligence（奥古斯都智能公司）
根据定义，异常是罕见的，因此标记的示例非常有限或不存在，并且可能不包括不可预见的场景。无监督学习方法在训练中不一定会遇到异常，这将是非常有用的。生成视觉模型在这方面可能是有用的，但不足以表示正常和异常的数据分布。为此，我们提出了常曲率流形嵌入数据分布在无监督的视觉异常检测。通过理论和经验探索的流形形状，我们开发了一种新的超球面变分自动编码器（VAE）通过赤平投影与gyroplane层-一个完全等效的庞加莱VAE。这种具有流形投影的方法在模型泛化方面是有益的，并且可以产生更多可解释的表示。我们展示了精密制造和检测中视觉异常基准的最新结果，展示了工业人工智能场景中的现实效用。我们进一步展示了组织病理学这一具有挑战性问题的方法：我们的无监督方法有效地从嘈杂的全切片图像中检测出癌性脑组织，学习组织类型的平滑、潜在组织，为医疗专业人员提供了一个可解释的决策工具。
2020-06-19 cs.CV cs.LG stat.ML
Weighed l1 on the simplex: Compressive sensing meets locality
Tufts University（塔夫茨大学）；Harvard University（哈佛大学）
针对流形学习中标准压缩感知无法刻画局部几何的问题，提出加权 l0 与加权 l1 度量以鼓励邻域原子表示，并在 Delaunay 三角剖分假设下证明二者等价，通过字典与稀疏系数联合优化在合成和真实数据上验证了有效性。
2024-08-02 cs.IT cs.LG eess.SP
TMI: Thermodynamic inference of data manifolds
University of Florida（佛罗里达大学）
吉布斯-玻尔兹曼分布提供了一种物理上可解释的方法来大规模降低高维概率分布的维数，其中广泛的变量是“特征”，密集的变量是“特征”。然而，并不是所有的概率分布都可以用吉布斯-玻尔兹曼形式来建模。在这里，我们介绍TMI：TMI，{ \bf T}热力学{ \bf M}反折{ \bf I}参考;一种近似任意分布集合的热力学方法。TMI同时从数据密集型和广泛型变量中学习，并通过数据的乘法、正值和可解释的分解来实现降维。重要的是，密集参数的降维空间不是齐次的。吉布斯-玻尔兹曼分布定义了一个在密集变量空间上易于分析的黎曼度量，允许我们计算测地线和体积元。我们讨论了多个真实和人工数据集的TMI的应用。还讨论了可能的扩展。
2019-11-21 cond-mat.stat-mech cs.LG q-bio.QM
InfoVAEGAN : learning joint interpretable representations by information maximization and maximum likelihood
University of York（约克大学）
学习解纠缠和可解释的表示是在流形上实现全面数据表示的重要一步。在本文中，我们提出了一种新的表示学习算法，它结合了变分自编码器（VAE）的推理能力和生成对抗网络（GAN）的泛化能力。所提出的模型称为InfoVAEGAN，由三个网络组成：编码器，生成器和鉴别器。InfoVAEGAN旨在通过使用两个不同的无数据对数似然函数对从生成器分布中采样的变量进行无监督地联合学习离散和连续可解释表示。我们提出了一个两阶段的算法，分别从发电机训练优化推理网络。此外，我们通过最大化现有潜变量与通过生成和推理过程创建的潜变量之间的互信息来加强可解释表示的学习。
2021-07-09 cs.AI cs.CV cs.LG
Complete Dictionary Recovery over the Sphere
Columbia University（哥伦比亚大学）
我们考虑恢复完整的（即，平方和可逆的）矩阵$\mathbf A_0$，由$\mathbf Y \in \mathbb R^{n \times p}$和$\mathbf Y = \mathbf A_0 \mathbf X_0$构成，条件是$\mathbf X_0$足够稀疏。这个恢复问题是字典学习的理论理解的核心，字典学习寻求输入信号集合的稀疏表示，并在现代信号处理和机器学习中找到许多应用。我们给出了第一个有效的算法，可证明恢复$\mathbf A_0$时，$\mathbf X_0$有$O(n)$非零每列，在适当的概率模型$\mathbf X_0$。相比之下，以前的结果的基础上有效的算法提供恢复保证时，$\mathbf X_0$只有$O(n^{1-δ})$非零每列的任何常数$δ\in (0, 1)$。我们的算法流水线围绕解决具有球形约束的特定非凸优化问题，因此自然地用流形优化的语言来表达。为了表明这个显然很难的问题是易于处理的，我们首先提供了一个几何表征的高维客观景观，这表明，有很高的概率没有“虚假”的局部极小值。这种特殊的几何结构，使我们能够设计一个黎曼信赖域算法在球证明收敛到一个局部极小与任意初始化，尽管存在鞍点。我们在这里开发的几何方法也可能揭示了结构化信号的非凸恢复所产生的其他问题。
2015-11-17 cs.CV cs.IT cs.LG
K-Deep Simplex: Deep Manifold Learning via Local Dictionaries
Tufts University（塔夫茨大学）；Harvard University（哈佛大学）
提出K-Deep Simplex深度流形学习方法，利用局部加权$\ell_1$惩罚学习合成地标字典与单纯形表示系数，通过算法展开构建高效可解释的自动编码器，理论证明其与加权$\ell_0$程序等价且具稳定性，实验验证了其高效性与竞争力。
2024-07-30 cs.IT cs.LG eess.SP
