Computational Intractability of Dictionary Learning for Sparse Representation
University of Minnesota（明尼苏达大学）
在本文中，我们考虑的字典学习问题的稀疏表示。我们首先证明了这个问题是NP-困难的多项式时间减少的denominator切割问题。然后，使用连续凸逼近策略，我们提出了有效的字典学习计划，解决这个问题的几个实际配方的驻点。与文献中的许多现有算法（如K-SVD）不同，我们提出的字典学习方案在理论上保证在一定的温和假设下收敛到稳定点集。对于图像去噪应用，所提出的字典学习方案的性能和效率是可比的K-SVD算法在模拟。
2015-11-05 cs.LG stat.ML
Efficient Sum of Outer Products Dictionary Learning (SOUP-DIL) - The $\ell_0$ Method
University of Michigan（密歇根大学）
自然信号和图像在变换域或变换字典中的稀疏性在压缩、去噪和逆问题等应用中得到了广泛的利用。最近，与固定或分析词典模型相比，数据驱动的合成词典适应在许多应用中显示出了希望。然而，字典学习问题通常是非凸和NP难的，并且用于这些问题的通常交替最小化方法通常在计算上是昂贵的，其中计算由NP难合成稀疏编码步骤主导。在这项工作中，我们研究了一种有效的方法$\ell_{0}$“规范”为基础的字典学习，首先近似的训练数据集与稀疏秩一矩阵的总和，然后使用块坐标下降的方法来估计未知数。所提出的块坐标下降算法涉及有效的封闭形式的解决方案。特别地，稀疏编码步骤涉及简单形式的阈值化。我们提供了一个收敛性分析所提出的块坐标下降方法。我们的数值实验表明，我们的方法提供了良好的性能和显着的速度比经典的K-SVD计划在稀疏信号表示和图像去噪。
2017-04-21 cs.LG
Efficient Dictionary Learning via Very Sparse Random Projections
University of Colorado at Boulder（科罗拉多大学博尔德分校）
对数据的压缩测量执行信号处理任务近年来受到极大关注。在本文中，我们通过展示可以使用更一般的随机投影（包括稀疏投影）来扩展先前关于压缩字典学习的工作。更确切地说，我们研究压缩K-means聚类作为压缩字典学习的一个特殊情况，并给出了理论保证其性能的一个非常一般的随机投影类。然后，我们提出了一个内存和计算效率的字典学习算法，专门设计用于分析大量的高维数据，学习字典从非常稀疏的随机投影。实验结果表明，我们的方法允许减少计算复杂度和内存/数据访问，与可控的损失的准确性。
2015-04-05 cs.LG stat.ML
Dictionary Learning with Convex Update (ROMD)
Imperial College London（帝国理工学院）
字典学习的目的是找到一个字典，在这个字典下训练数据可以被稀疏地表示，它通常通过迭代地应用两个阶段来实现：稀疏编码和字典更新。字典更新的典型方法是利用稀疏编码阶段得到的稀疏模式来细化字典原子及其相应的稀疏系数，因此它是一个非凸双线性逆问题。在本文中，我们提出了一个秩一矩阵分解（ROMD）算法，通过解决这两个变量到一组秩一矩阵重铸这个挑战成一个凸问题。与文献中的方法不同，ROMD使用凸规划一次更新整个字典。因此，优点包括字典更新的收敛保证和整个字典学习的更快收敛。ROMD的性能与其他基准字典学习算法进行了比较。结果表明，ROMD在恢复精度上有明显的提高，特别是在稀疏度较高和观测数据较少的情况下。
2021-10-25 cs.LG eess.SP
Dictionary Learning with BLOTLESS Update
National University of Defense Technology（中国人民解放军国防科技大学）；Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）
用于学习字典以稀疏地表示给定数据集的算法通常在稀疏编码和字典更新阶段之间交替。用于字典更新的方法旨在通过在稀疏编码阶段中获得的非零系数的给定模式下更新字典向量和扩展系数来最小化扩展误差。我们提出了一个块总最小二乘（BLOTLESS）算法的字典更新。BLOTLESS同时更新字典元素块和相应的稀疏系数。在无误差的情况下，确定了三个必要条件，精确恢复。训练数据的数量上的下限被建立，使得必要条件以高概率保持。数值模拟结果表明，该界近似准确的字典恢复所需的训练数据的数量。数值实验进一步证明了与最先进的算法相比，使用BLOTLESS更新的字典学习的几个好处，特别是当训练数据量很小时。
2020-02-01 cs.LG eess.SP
Multi-Focus Image Fusion Using Sparse Representation and Coupled Dictionary Learning
Aalto University（阿尔托大学）
我们解决了多焦点图像融合问题，在不同的焦点设置捕获的多个图像被融合成一个更高质量的全聚焦图像。这个问题的算法必须承认源图像的特点以及聚焦和模糊的功能。然而，大多数基于稀疏性的方法使用聚焦特征空间中的单个字典来描述多聚焦图像，而忽略了模糊特征空间中的表示。提出了一种基于耦合字典稀疏表示的多聚焦图像融合方法。它利用的意见，从一个给定的训练集的补丁可以稀疏表示的一对夫妇的过完备的字典相关的集中和模糊类别的图像和稀疏近似基于这样的耦合字典导致一个更灵活的，因此更好的融合策略比一个基于只选择稀疏表示在原始图像估计。此外，为了提高融合性能，我们采用了一种耦合字典学习方法，该方法强制学习的字典原子之间的成对相关性，以表示集中和模糊的特征空间。我们还讨论了基于耦合字典学习的融合方法的优点，并提出了有效的算法，基于耦合字典学习的融合。与现有多聚焦图像融合算法的实验比较验证了该方法的有效性。
2019-05-03 cs.CV cs.LG
Local stability and robustness of sparse dictionary learning in the presence of noise
INRIA（法国国家信息与自动化研究所）
在信号处理和机器学习社区中的一种流行方法包括将信号建模为从学习字典中选择的原子的稀疏线性组合。虽然这种范式在从图像到音频处理的各个领域取得了许多经验性的成功，但只有少数理论论据支持这些证据。特别是，稀疏编码，或稀疏字典学习，依赖于一个非凸的过程，其局部最小值尚未得到充分的分析。在本文中，我们考虑稀疏信号的概率模型，并表明，具有高概率，稀疏编码承认一个局部最小值周围的参考字典产生的信号。我们的研究考虑到的情况下，过完整的字典和嘈杂的信号，从而扩展以前的工作仅限于无噪声设置和/或不完整的字典。我们进行的分析是非渐近的，并且可以理解问题的关键量，例如相干性或噪声水平，如何可以相对于信号的维度，原子的数量，稀疏性和观察的数量进行缩放。
2012-10-02 cs.LG stat.ML
NOODL: Provable Online Dictionary Learning and Sparse Coding
University of Minnesota – Twin Cities（明尼苏达大学双城分校）；Princeton University（普林斯顿大学）
我们考虑字典学习问题，其目的是将给定数据建模为称为字典的矩阵的几列的线性组合，其中形成线性组合的稀疏权重称为系数。由于字典和系数，参数化的线性模型是未知的，相应的优化是固有的非凸。这是一个重大的挑战，直到最近，当字典学习的可证明算法被提出。然而，这些仅提供对字典的恢复的保证，而没有对系数的显式恢复保证。此外，字典中的任何估计误差不利地影响成功定位和估计系数的能力。这潜在地限制了现有可证明字典学习方法在系数恢复感兴趣的应用中的效用。为此，我们开发NOODL：一个简单的神经合理的交替基于优化的在线字典学习算法，恢复字典和系数正好在几何速率，当适当初始化。我们的算法，NOODL，也是可扩展的，适合大规模分布式实现的神经架构，我们的意思是，它只涉及简单的线性和非线性操作。最后，我们证实了这些理论结果，通过实验评估所提出的算法与目前最先进的技术。保留字：字典学习、可证明字典学习、在线字典学习、非凸、稀疏编码、支持恢复、迭代硬阈值、矩阵分解、神经架构、神经网络、noodl、稀疏表示、稀疏信号处理。
2019-08-27 cs.LG cs.NE stat.ML
In-Context Compositional Learning via Sparse Coding Transformer
Purdue University（普渡大学）
本文提出基于稀疏编码的变换器，通过稀疏注意力机制提升组合学习任务的性能。
2025-11-25 cs.LG
A Split-and-Merge Dictionary Learning Algorithm for Sparse Representation
Indian Institute of Science（印度科学学院）
在大数据图像/视频分析中，我们遇到了从大型训练数据集学习用于稀疏表示的过完备字典的问题，由于存储和计算限制，这些训练数据集不能立即处理。为了解决这种情况下的字典学习问题，我们提出了一种并行字典学习算法。该算法背后的基本思想是分两个阶段学习稀疏表示。在第一阶段，整个训练数据集被划分为小的不重叠的子集，并在每个小数据库上独立地训练字典。在第二阶段，字典被合并以形成全局字典。我们表明，该算法是有效的，在其使用的内存和计算复杂性，并执行等同于标准的学习策略操作的整个数据的时间。作为应用，我们考虑图像去噪的问题。我们提出了一个比较分析我们的算法与标准的学习技术，使用整个数据库的时间，在训练和去噪性能。我们观察到，分裂和合并算法的结果在一个显着减少的训练时间，而不会显着影响去噪性能。
2014-03-19 cs.LG stat.ML
The Interpretable Dictionary in Sparse Coding
Drexel University（德雷塞尔大学）；University of Delaware（特拉华大学）
人工神经网络（ANN），特别是深度学习网络，由于数据的内部表示不容易解释，因此经常被标记为黑盒。在我们的工作中，我们说明了在特定稀疏约束下使用稀疏编码训练的ANN，产生了比标准深度学习模型更可解释的模型。通过稀疏编码学习的字典可以更容易理解，并且这些元素的激活创建了选择性特征输出。我们将稀疏编码模型与在相同数据上训练的等效前馈卷积自动编码器进行比较和对比。我们的研究结果表明，定性和定量的好处，在解释学习稀疏编码字典以及内部激活表示。
2020-11-24 cs.AI cs.CV cs.LG
Efficient Dictionary Learning with Switch Sparse Autoencoders
Massachusetts Institute of Technology（麻省理工学院）；University of Oxford（牛津大学）
本文提出Switch稀疏自编码器，借鉴稀疏专家混合模型在小型专家SAE间路由激活向量，以更低计算成本扩展特征数量，并在重构-稀疏性前沿上取得显著帕累托改进。
2025-06-02 cs.LG
Learning Sparsely Used Overcomplete Dictionaries via Alternating Minimization
Microsoft Research（微软研究院）；University of California, Irvine（加州大学欧文分校）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们考虑稀疏编码的问题，其中每个样本由一组字典原子的稀疏线性组合组成，任务是学习字典元素和混合系数。交替最小化是稀疏编码的一种流行的启发式算法，其中字典和系数在交替的步骤中估计，保持另一个固定。通常，通过$\ell_1$最小化来估计系数，保持字典固定，并且通过最小二乘法来估计字典，保持系数固定。在本文中，我们建立局部线性收敛的这种变体交替最小化，并建立吸引盆地的全局最优值（对应于真正的字典和系数）是$\order{1/s^2}$，其中$s$是稀疏水平，在每个样本和字典满足RIP。结合最近的结果近似字典估计，这产生可证明的保证字典元素和系数的精确恢复，当字典元素是不连贯的。
2014-07-28 cs.LG math.OC stat.ML
Row-Sparse Discriminative Deep Dictionary Learning for Hyperspectral Image Classification
在最近的高光谱成像，生物识别和能量分析研究中，深度字典学习的框架已经显示出了希望。当训练数据有限时，深度字典学习优于其他传统的深度学习工具;因此，高光谱成像就是受益于这种框架的一个例子。大多数先前的研究都是基于无监督的公式;在所有情况下，训练算法都是贪婪的，因此是次优的。这是第一个展示如何以联合方式学习深度字典学习问题的工作。此外，我们提出了一个新的歧视性的惩罚，上述框架。这项工作的第三个贡献是展示了如何将随机正则化技术纳入深度字典学习框架。高光谱图像分类的实验结果表明，所提出的技术优于所有国家的最先进的深度和浅（传统）的学习为基础的方法在最近的时间。
2019-12-11 cs.LG eess.IV
Sparse Bayesian Dictionary Learning with a Gaussian Hierarchical Model
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）
我们考虑一个字典学习问题，其目标是设计一个字典，使得信号在学习过的字典上具有稀疏或近似稀疏表示。这样的问题发现了各种各样的应用，如图像去噪，特征提取等，在本文中，我们提出了一种新的分层贝叶斯模型的字典学习，其中高斯逆伽玛分层先验是用来促进稀疏的表示。合适的先验也被放置在字典和噪声方差上，使得它们可以从数据中合理地推断出来。基于层次模型，提出了贝叶斯推理的变分贝叶斯方法和吉布斯抽样方法。所提出的方法的优点是，它们不需要噪声方差\emph{a priori}的知识。数值结果表明，所提出的方法是能够学习字典的准确性比现有的方法，特别是对于有一个有限数量的训练信号的情况下。
2015-03-07 cs.IT cs.LG math.IT
Dictionary-based Low-Rank Approximations and the Mixed Sparse Coding problem
Univ Lyon, INSA-Lyon, UCBL, UJM-Saint Etienne, CNRS, Inserm, CREATIS UMR 5220, U1206（里昂大学、里昂国立应用科学学院、里昂第一大学、圣埃蒂安让·莫内大学、法国国家科学研究中心、法国国家健康与医学研究院、CREATIS医学影像研究中心）
约束张量和矩阵分解模型允许从多路数据中提取可解释的模式。因此，约束低秩近似的可辨识性及其有效算法是当前重要的研究课题。本文研究了一个低秩近似的因子矩阵列在一个已知且可能过完备的基上是稀疏的，这个模型被称为基于字典的低秩近似（DLRA）.虽然早期的贡献集中在寻找候选列字典中的因子列，即一稀疏近似，但这项工作是第一个解决稀疏度大于一的DLRA。我建议把重点放在稀疏编码子问题创造混合稀疏编码（MSC），解决DLRA时出现的交替优化策略。提出了几种基于稀疏编码算法（贪婪法、凸松弛法）的MSC求解算法。模拟数据的性能进行评估，这些prosticistics。然后，我展示了如何适应一个高效的MSC求解器的基础上LASSO计算字典为基础的矩阵分解和规范的多元分解的背景下，高光谱图像处理和化学计量学。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于减少估计方差，提高估计因子的可识别性和可解释性。
2022-01-21 cs.LG stat.ML
Graph-Dictionary Signal Model for Sparse Representations of Multivariate Data
LTS4, EPFL, Lausanne, Switzerland（瑞士洛桑联邦理工学院LTS4实验室）
本文提出图词典信号模型，通过图结构描述多变量数据中的关系，利用稀疏组合的图原子进行信号重构，优于现有基线方法。
2026-01-08 cs.LG stat.ML
Dictionary Learning with Uniform Sparse Representations for Anomaly Detection
University of Bucharest（布加勒斯特大学）
许多应用，如音频和图像处理表明，稀疏表示是一个强大的和有效的信号建模技术。寻找一个最佳字典，同时产生的数据的稀疏表示和最小的近似误差是一个困难的问题，接近字典学习（DL）。我们研究了DL如何在信号数据集中检测异常样本。在本文中，我们使用一个特定的DL制定，寻求统一的稀疏表示模型来检测数据集中的大多数样本的底层子空间，使用K-SVD型算法。数值模拟表明，可以有效地使用该子空间来区分规则数据点上的异常。
2022-01-11 cs.CR cs.LG cs.NA
Sparse and spurious: dictionary learning with noise and outliers
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
在信号处理和机器学习社区中的一种流行方法包括将信号建模为从学习字典中选择的原子的稀疏线性组合。虽然这种范式在从图像到音频处理的各个领域取得了许多经验性的成功，但只有少数理论论据支持这些证据。特别是，稀疏编码，或稀疏字典学习，依赖于一个非凸的过程，其局部最小值尚未得到充分的分析。在本文中，我们考虑稀疏信号的概率模型，并表明，具有高概率，稀疏编码承认一个局部最小值周围的参考字典产生的信号。我们的研究考虑了过完备字典，噪声信号和可能的离群值的情况下，从而扩展了以前的工作仅限于无噪声设置和/或不完备字典。我们进行的分析是非渐近的，并且可以理解问题的关键量，例如相干性或噪声水平，如何可以相对于信号的维度，原子的数量，稀疏性和观察的数量进行缩放。
2015-08-22 cs.LG stat.ML
Multimodal Sparse Bayesian Dictionary Learning
ARM Machine Learning Research Lab（ARM机器学习研究实验室）；University of California, San Diego（加州大学圣地亚哥分校）
本文讨论了多模态数据集（即从多个数据源收集的数据集）的字典学习问题。我们提出了一种算法称为多模态稀疏贝叶斯字典学习（MSBDL）。MSBDL通过联合稀疏约束利用来自所有可用数据模态的信息。底层框架为从业者提供了相当大的灵活性，并解决了现有多模态词典学习方法的许多缺点。特别是，该过程包括超参数的自动调整，并且是独特的，因为它允许每个数据模态的字典具有不同的基数，这是数据的维度在模态之间不同的情况下的一个重要特征。MSBDL是可扩展的，可用于监督学习环境。MSBDL的收敛性的理论结果和数值结果提供了证据的MSBDL合成和真实数据集上的优越性能相比，现有的方法。
2019-05-29 cs.LG stat.ML
Sparse Dictionary Learning for Measure-Valued Data via Linearized Optimal Transport: Efficient Algorithms and Sample Complexity
Department of Electrical and Computer Engineering, Tufts University（塔夫茨大学电气与计算机工程系）；Department of Mathematics, Tufts University（塔夫茨大学数学系）
该研究提出基于线性化最优传输的测度值数据稀疏字典学习方法，结合最优传输几何与稀疏表示学习，在多模态数据上验证效用并推导泛化界，为概率测度空间的表示学习提供可扩展模型。
2026-10-12 cs.LG stat.ML
Learning a collaborative multiscale dictionary based on robust empirical mode decomposition
Peking University（北京大学）
字典学习在图像处理的许多领域都是一个具有挑战性的课题。基本目标是从过完备基集中学习稀疏表示。由于结合了通用多尺度表示和基于学习的自适应性的优点，多尺度字典表示方法具有捕获自然图像结构特征的能力。然而，现有的多尺度学习方法仍然遭受三个主要的弱点：不适应不同尺度的图像数据，对噪声和离群值的敏感性，难以确定最佳的字典结构。在本文中，我们提出了一种新的多尺度字典学习模式的稀疏图像表示的基础上改进的经验模式分解。这个强大的数据驱动的多维信号分析工具可以根据数据本身的固有模式，完全自适应地将图像分解为多尺度振荡分量。这种处理可以获得一个强大的和有效的稀疏表示，同时产生一个原始的基字典在多个几何尺度和空间频带。该字典是通过基于频率聚类选择最佳振荡原子来改进的。为了进一步增强稀疏性和泛化能力，使用一致性正则化模型学习容差字典。一个快速的邻近计划，以优化这个模型。多尺度字典被认为是振荡字典和容差字典的产物。实验结果表明，所提出的学习方法具有优越的性能在稀疏图像表示相比，几个竞争的方法。我们也展示了有前途的结果在图像去噪应用。
2017-04-04 cs.CV cs.LG
Learning Hierarchical Sparse Representations using Iterative Dictionary Learning and Dimension Reduction
本文介绍了一个基本的积木，结合字典学习和降维（DRDL）。我们展示了如何使用这个基本元素来迭代构建一个层次稀疏表示（HSR）的感觉流。我们将我们的方法与现有的模型进行比较，显示我们简单处方的一般性。然后，我们使用这个框架进行初步的实验，说明与使用标准数据集的对象识别任务的例子。这项工作介绍了第一个步骤，为设计和分析各种计算任务的综合框架，从学习到注意力的行动。最终的目标是建立一个数学上严格的、综合的智力理论。
2011-06-02 cs.AI cs.CV cs.LG
An Incidence Geometry approach to Dictionary Learning
University of Florida（佛罗里达大学）；Google Inc.（谷歌公司）
我们研究字典学习（又名稀疏编码）的问题，获得一个稀疏表示的数据点，通过学习\emph{dictionary vectors}上的数据点可以写为稀疏的线性组合。我们认为这个问题从几何的角度来看，作为一个子空间安排的生成集，并专注于了解的情况下，当指定的子空间安排的基础超图。对于这个拟合字典学习问题，我们完全描述了相关子空间排列的组合学（即\它们的基本hypergraphs）。具体地，证明了一类几何关联系统的组合刚性型定理。该定理刻画了子空间排列的超图一般产生（a）至少一个字典（b）局部唯一字典（即，至多有限数量的隔离字典）。我们不知道组合刚性技术在字典学习甚至机器学习中的应用。我们还提供了与字典学习相关的问题的系统分类以及各种算法，它们的假设和性能。
2015-03-06 cs.LG stat.ML
Low-rank and Adaptive Sparse Signal (LASSI) Models for Highly Accelerated Dynamic Imaging
University of Michigan（密歇根大学）
基于稀疏性的方法在图像处理和成像的许多应用中已经流行。压缩感知利用变换域或字典中图像的稀疏性来改善欠采样测量的图像恢复。在动态成像逆问题的背景下，最近的研究已经证明了稀疏性和低秩技术的承诺。例如，底层数据的补丁在自适应字典域中被建模为稀疏的，并且从欠采样测量得到的图像和字典估计被称为字典盲压缩感测，或者动态图像序列被建模为从有限的测量估计的低秩和稀疏（在某些变换域中）分量的和（L+S模型）。在这项工作中，我们调查的L+S模型的数据自适应扩展，被称为LASSI，其中的时间图像序列被分解成一个低秩组件和组件的时空（3D）补丁稀疏在一些自适应字典域。我们调查各种配方和有效的方法，共同估计潜在的动态信号分量和时空字典从有限的测量。我们还获得了有效的稀疏惩罚字典盲压缩感知方法的特殊情况下，我们的LASSI方法。我们的数值实验表明，有前途的性能LASSI计划的动态磁共振图像重建从有限的k-t空间数据相比，最近的方法，如k-t SLR和L+S，并相比，建议的字典盲压缩感知方法。
2017-01-09 cs.LG stat.ML
On the Computational Intractability of Exact and Approximate Dictionary Learning
TU Darmstadt（达姆施塔特工业大学）
在过去的十年中，通过线性观测的信号向量的有效稀疏编码和重构受到了极大的关注。在这种情况下，从用于稀疏表示的某些信号类别的训练数据集合中自动学习合适的基或过完备字典已经证明对于实际信号处理应用特别重要。大多数流行的字典学习算法在每次迭代中都涉及NP难稀疏恢复问题，这可能会给出一些关于字典学习复杂性的指示，但并不构成计算困难性的实际证明。在这篇技术笔记中，我们证明了学习一个字典，用它可以尽可能稀疏地表示一组给定的训练信号确实是NP困难的。此外，我们还建立了近似的解决方案的最佳稀疏水平的大因素内的硬度。此外，我们给出了NP-硬度和非近似性的结果，最近的字典学习变化称为传感器排列问题。在此过程中，我们还获得了一个新的非近似性结果的经典稀疏恢复问题的压缩感知。
2014-08-03 cs.IT cs.LG math.IT
Semi-supervised dual graph regularized dictionary learning
CEA（法国原子能和替代能源委员会）；LIST（信息技术与系统实验室（CEA下属））；Laboratoire AIM（AIM实验室）；CNRS（法国国家科学研究中心）；Paris 7（巴黎第七大学）；Irfu（核物理与粒子物理研究所（CEA下属））
在本文中，我们提出了一种半监督字典学习方法，该方法使用标记和未标记数据中的信息，并联合训练嵌入稀疏代码的线性分类器。稀疏代码空间中数据的流形结构使用与局部线性嵌入方法（LLE）相同的方法来保留。这使得人们能够加强未标记数据稀疏码的预测能力。我们表明，我们的方法提供了显着的改进，比其他方法。通过在稀疏码上训练一个简单的非线性分类器作为SVM，可以进一步改善分类结果。
2018-12-11 cs.LG stat.ML
SharedSAE: a unified sparse dictionary across u-net blocks and denoising time for diffusion models
Hunan University（湖南大学）
SharedSAE是扩散模型中跨U-Net模块和去噪时间的统一稀疏字典，通过特定适配器和时间条件模块实现，可用于概念分析与擦除，能将I2P检测器阳性子集的NudeNet阳性生成从139降至1。
2026-10-14 cs.AI cs.CV cs.LG
Dictionary Learning and Sparse Coding-based Denoising for High-Resolution Task Functional Connectivity MRI Analysis
Harvard University（哈佛大学）；School of Engineering and Applied Sciences (SEAS)（工程与应用科学学院）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
我们提出了一种新的去噪框架的任务功能磁共振成像（tfMRI）数据，通过字典学习和稀疏编码（DLSC）描绘高分辨率的空间模式的大脑功能连接。为了解决基于DLSC的无监督fMRI研究的局限性，我们在学习步骤中利用任务范式的先验知识来训练数据驱动的字典并对稀疏表示建模。我们将所提出的基于DLSC的方法应用于人类连接组计划（HCP）运动tfMRI数据集。对躯体运动神经网络中小脑神经回路功能连通性的研究表明，与基于时间非局部均值（tNLM）的去噪方法以及不去噪的情况相比，基于DLSC的去噪框架可以显著改善突出的连通性模式，这在运动区内是一致的，具有神经科学意义。实验结果表明，该方法可以为高分辨率的功能连通性分析提供重要的基础，为fMRI预处理提供了一种更好的方法。
2017-07-21 cs.LG stat.ML
Identifying Functionally Important Features with End-to-End Sparse Dictionary Learning
Apollo Research（阿波罗研究中心）；University of Queensland（昆士兰大学）
本文提出端到端稀疏字典学习方法，通过最小化KL散度确保学习特征的功能重要性，相比标准SAEs实现帕累托改进，更准确简洁地解释网络行为。
2024-05-24 cs.AI cs.LG
Confident Kernel Sparse Coding and Dictionary Learning
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
近年来，基于核的稀疏编码（K-SRC）由于其在特征空间中的非线性数据结构的有效表示而受到特别的关注。然而，现有的K-SRC方法的训练和测试优化框架之间缺乏一致性。在这项工作中，我们提出了一种新的信心K-SRC和字典学习算法（CKSC），其重点是基于其在核空间中的表示的数据的判别重建。CKSC的重点是通过加权贡献来重建每个数据样本，这些贡献对其相应的数据类别有信心。我们采用新的判别条件，将此方案应用于我们算法中的训练和测试框架。这种特定的设计增加了这些优化框架的一致性，并提高了召回阶段的区分性能。此外，CKSC直接将监督信息用于其词典学习框架中，以增强词典的区分性结构。对于实证评估，我们在DynTex++和UTKinect等多变量时间序列基准上实现了我们的CKSC算法。我们的索赔有关的优越性能的算法是合理的，通过比较其分类结果的国家的最先进的K-SRC算法。
2019-03-12 cs.LG stat.ML
Sparse Coding and Dictionary Learning for Symmetric Positive Definite Matrices: A Kernel Approach
NICTA（澳大利亚国家信息与通信技术研究院）；University of Queensland（昆士兰大学）；Australian National University（澳大利亚国立大学）
最近的进展表明，广泛的计算机视觉问题可以更适当地解决考虑非欧几里德几何。本文研究了对称正定矩阵空间中的稀疏编码和字典学习问题，这些对称正定矩阵构成了一个黎曼流形。借助最近引入的Stein内核（与Bregman矩阵发散的对称版本有关），我们建议通过将黎曼流形嵌入到再生核Hilbert空间中来进行稀疏编码。这导致了Lasso问题的凸和核版本，可以有效地解决。此外，我们提出了一个算法学习黎曼字典（用于稀疏编码），紧密联系的斯坦内核。几个分类任务（人脸识别，纹理分类，人的重新识别）的实验表明，所提出的稀疏编码方法实现了显着的改善，在歧视的准确性，在比较国家的最先进的方法，如张量稀疏编码，黎曼局部保持投影，和局部特征的累积驱动。
2013-04-16 cs.CV cs.LG stat.ML
Discovery of Nonlinear Dynamical Systems using a Runge-Kutta Inspired Dictionary-based Sparse Regression Approach
Max Planck Institute for Dynamics of Complex Technical Systems（马克斯·普朗克复杂技术系统动力学研究所）
发现动力学模型来描述潜在的动力学行为对于得出决定性的结论和工程研究是必不可少的，例如，优化一个过程尽管实验数据的可用性显着增加，但科学和工程中可解释和可解释的模型仍然难以理解。在这项工作中，我们将机器学习和基于字典的学习与数值分析工具相结合，从噪声和稀疏采样的测量数据中发现控制微分方程。我们利用这样一个事实，即给定一个包含大量候选非线性函数的字典，动力学模型通常可以由几个适当选择的候选函数来描述。其结果是，我们得到的解释和简约的模型，易于推广更好地超越抽样制度。此外，我们将数值积分框架与字典学习相结合，在任何阶段都不需要或近似导数信息即可生成微分方程。因此，它在损坏和稀疏采样的数据中是完全有效的。我们讨论其扩展到控制方程，包含理性的非线性，通常出现在生物网络。此外，我们推广的方法，受到参数变化和外部控制输入的控制方程。我们证明了该方法的效率，发现了一些不同的微分方程，使用噪声测量，包括描述神经动力学，混沌洛伦兹模型，米氏动力学模型，和参数化的霍普夫范式。
2021-05-11 cs.CE cs.LG
Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning
Shanghai Innovation Institute, Shanghai, China（上海创新研究院）；OpenMOSS Team, School of Computer Science, Fudan University, Shanghai, China（开放MOSS团队，计算机科学学院，复旦大学）
研究发现Transformer注意力输出的低维特性对稀疏字典学习构成挑战，并提出子空间约束方法降低死特征比例。
2026-02-11 cs.CL cs.LG
Discriminative Bayesian Dictionary Learning for Classification
The University of Western Australia（西澳大学）
我们提出了一种贝叶斯方法来学习数据稀疏表示的判别字典。所提出的方法推断概率分布的判别字典的原子使用贝塔过程。它还计算将类标签与学习的字典原子相关联的伯努利分布集。这种关联表示在类特定数据的扩展中字典原子的选择概率。此外，所提出的方法的非参数字符允许它推断字典的正确大小。我们利用上述伯努利分布分别学习线性分类器。分类器使用相同的分层贝叶斯模型的字典，我们沿着吉布斯抽样的分析推理解决方案。对于分类，首先在学习的字典上对测试实例进行稀疏编码，然后将代码馈送到分类器。我们使用五个公共数据集进行了人脸和动作识别以及对象和场景类别分类的实验，并将结果与最先进的判别稀疏表示方法进行了比较。实验表明，所提出的贝叶斯方法始终优于现有的方法。
2015-03-27 cs.CV cs.LG
Hiding Data Helps: On the Benefits of Masking for Sparse Coding
Duke University（杜克大学）；Brown University（布朗大学）
本文研究过实现字典在噪声下难以恢复真实字典的问题，提出受自监督学习启发的掩码目标，证明其恢复最优性并通过实验验证优于标准重建目标。
2023-06-01 cs.AI cs.LG
Dictionary Identification - Sparse Matrix-Factorisation via $\ell_1$-Minimisation
Centre de Recherche INRIA Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋研究中心）；IRISA（法国雷恩信息与自动化系统研究所）；Johann Radon Institute for Computational and Applied Mathematics (RICAM)（约翰·拉东计算与应用数学研究所）
这篇文章对待的问题，学习字典提供稀疏表示为一个给定的信号类，通过$\ell_1$最小化。该问题还可以被看作是将训练信号的$\ddim \times \nsig$矩阵$Y=(y_1 >... y_\nsig), y_n\in \R^\ddim$分解为$\ddim \times \natoms$字典矩阵$\dico$和$\natoms \times \nsig$系数矩阵$\X=(x_1... x_\nsig), x_n \in \R^\natoms$，其是稀疏的。这里研究的确切问题是当一个字典系数对$(\dico,\X)$可以恢复为局部最小值的（非凸）$\ell_1$ -标准与输入$Y=\dico \X$。首先，对于一般字典和系数矩阵，代数条件，确保当地的可识别性推导，然后专门的情况下，字典是一个基础。最后，假设一个随机的Bernoulli-Gaussian稀疏模型的系数矩阵，它表明，足够的非相干基地是本地可识别的概率很高。可能令人惊讶的结果是，通常足够数量的训练样本$\nsig$仅与信号维度（即，$\nsig \approx C \natoms \log \natoms$）线性地增长到对数因子，这与需要组合地许多样本的先前方法形成对比。
2010-03-01 cs.IT cs.LG math.IT
Learning Dictionaries with Bounded Self-Coherence
Swiss Federal Office of Meteorology and Climatology (MeteoSwiss)（瑞士联邦气象与气候办公室（MeteoSwiss））；ETH Zurich（苏黎世联邦理工学院）
学习字典中的稀疏编码已经被建立为信号去噪、源分离和一般逆问题求解的成功方法。一种字典学习方法，通过迭代地计算训练数据矩阵到字典和稀疏编码矩阵的近似因式分解，使初始字典适应于特定信号类别。学习字典的特征在于两个属性：字典对信号类的观测的相干性，以及字典原子的自相干性。信号类的高相干性使得信号观测的稀疏编码具有小的近似误差，而原子的低自相干性保证了原子恢复和稀疏编码算法的更快的残差衰减率。高信号相干性和低自相干性这两个目标通常是冲突的，因此人们根据应用寻求它们之间的折衷。我们提出了一种字典学习方法，有效地控制训练字典的自相干性，从而在最大化编码的稀疏性和近似等角紧框架之间进行权衡。
2012-10-17 cs.LG stat.ML
A Probabilistic Framework for Discriminative Dictionary Learning
在本文中，我们解决了判别式字典学习（discriminative dictionary learning，缩写为RDL）的问题，其中稀疏线性表示和分类在概率框架中相结合。因此，单个判别字典和线性二进制分类器被联合学习。通过在MAP设置中编码稀疏表示和判别分类模型，我们提出了一个通用的优化框架，该框架允许在忠实表示和准确分类之间进行数据驱动的权衡。与以前的工作相反，我们的学习方法能够包含各种各样的分类成本函数（包括流行的提升方法中使用的那些），同时避免了对相关优化技术的需求。我们表明，可以解决的更新序列，利用著名的和研究的稀疏编码和字典学习算法从文献中的。为了验证我们的EQUIPMENT框架，我们将其应用于数字分类和人脸识别，并在标准基准上进行测试。
2011-09-12 cs.CV cs.LG
SD-DPC: Sparse Dictionary Differentiable Predictive Control
Concordia University（康考迪亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
SD-DPC提出一种从数据学习稀疏可解释反馈策略的框架，结合SINDy识别与可微预测控制，以闭环性能选择字典项，在基准问题中满足约束且大幅降低计算开销。
2026-10-28 cs.LG cs.SY eess.SY
Dictionary Learning Using Rank-One Atomic Decomposition (ROAD)
Imperial College London（帝国理工学院）
字典学习的目的是寻找一个能够稀疏表示训练数据的字典。文献中的方法通常将字典学习问题制定为优化w.r.t.两个变量，即，字典和稀疏系数，并通过在两个阶段之间交替来解决它：稀疏编码和字典更新。这项工作的主要贡献是一个秩一原子分解（ROAD）制定字典学习铸造作为一个优化w.r.t.一个单一的变量，它是一组秩一矩阵。因此，所得到的算法是单级的。与两阶段算法相比，ROAD算法在保持数据一致性约束的同时，最大限度地减少了系数的稀疏性。一个交替方向的乘数法（ADMM）的推导来解决优化问题，并计算罚参数的下界，以保证全局收敛，尽管非凸的优化配方。从实用的角度来看，ROAD减少了其他基准测试算法所需的调优参数的数量。数值试验表明，ROAD算法在模拟数据和真实数据下的性能都优于其他基准算法，尤其是在训练样本较少的情况下。
2021-10-26 cs.LG eess.SP
Sparse Reconstruction of Wavefronts using an Over-Complete Phase Dictionary
University of Oxford（牛津大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Universidad de Salamanca（萨拉曼卡大学）
本文提出利用过完备相位字典和稀疏表示技术重建复杂波前，结合可训练仿射变换处理未对准，通过稀疏性避免过拟合并增强噪声鲁棒性。
2024-11-05 cs.LG physics.optics
Efficient Sparse Coding using Hierarchical Riemannian Pursuit
Hong Kong University of Science and Technology（香港科技大学）
稀疏编码是一类无监督的方法，用于以字典和稀疏码的线性组合的形式学习输入数据的稀疏表示。这种学习框架在各种图像和视频处理任务中取得了最先进的成果。然而，经典的方法学习字典和稀疏代码的基础上交替优化，通常没有理论保证的最优性或收敛性，由于非凸性的问题。最近的工作稀疏编码与一个完整的字典提供了强有力的理论保证，由于非凸优化的发展。然而，初始非凸方法在稀疏编码问题中以原子接原子的方式顺序地学习字典，这导致了很长的执行时间。最近的作品寻求直接学习整个字典一次，这大大减少了执行时间。然而，相关联的恢复性能随着有限数量的数据样本而降低。在本文中，我们提出了一个有效的稀疏编码方案与两个阶段的优化。该方案利用了两阶段优化问题的全局和局部黎曼几何，并通过有限数量的样本实现了出色的字典恢复性能，而无需逐个原子计算。我们进一步证明，以高概率，所提出的计划可以准确地恢复任何原子在目标字典与有限数量的样本，如果采用恢复字典的一个原子。最后给出了该算法在无线传感器数据压缩中的应用。仿真和真实数据实验验证了该方法的有效性。
2021-07-20 cs.IT cs.LG eess.SP
Exact Recovery of Sparsely-Used Dictionaries
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
我们考虑学习稀疏使用的字典与任意平方字典和随机，稀疏系数矩阵的问题。我们证明了$O (n \log n)$样本是足够的唯一确定的系数矩阵。在此基础上，我们设计了一个多项式时间的稀疏字典精确恢复算法（ER-SpUD），并证明了当系数矩阵足够稀疏时，该算法可以恢复字典和系数矩阵。仿真结果表明，ER-SpUD揭示了真正的字典以及系数的概率高于许多国家的最先进的算法。
2012-06-26 cs.IT cs.LG math.IT
Dictionary Learning: The Complexity of Learning Sparse Superposed Features with Feedback
Department of Computer Science \& Engineering, University of California, San Diego, USA
通过反馈机制，研究在稀疏设置下学习字典特征的复杂性，并验证了理论结果在特征恢复和字典提取中的有效性。
2025-12-28 cs.AI cs.LG stat.ML
Sparse Subspace Clustering Friendly Deep Dictionary Learning for Hyperspectral Image Classification
Delhi Technical University（德里技术大学）；Indraprastha Institute of Information Technology Delhi（德里因陀罗普拉斯塔信息技术学院）
子空间聚类技术在高光谱图像分割中显示出良好的应用前景。子空间聚类的基本假设是属于不同聚类/段的样本位于可分离的子空间中。如果这个条件不成立呢？我们推测，即使该条件在原始空间中不成立，数据也可以被非线性地变换到一个空间，在该空间中它将可分离成子空间。在这项工作中，我们提出了一种基于深度字典学习（Deep Dictionary Learning，简称DCL）原则的转换。特别是，我们将稀疏子空间聚类（SSC）的损失，在numerical制定。在这里，非线性变换数据，使得变换后的表示（数据的）可分离为子空间。我们表明，所提出的配方提高了最先进的深度学习技术在高光谱图像聚类。
2021-11-27 cs.CV cs.LG eess.IV
Sketching Algorithms for Sparse Dictionary Learning: PTAS and Turnstile Streaming
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于草图算法的新技术，首次为稀疏字典学习设计 PTAS，并给出字典学习与 k-均值聚类在十字转门流模型下的空间上界和下界。
2023-10-29 cs.DS cs.LG
Geometric Sparse Coding in Wasserstein Space
Tufts University（塔夫茨大学）
Wasserstein字典学习是一种无监督的方法，用于学习概率分布的集合，这些概率分布生成观察到的分布作为Wasserstein重心组合。用于Wasserstein字典学习的现有方法优化了一个目标，该目标通过重心插值来寻找具有足够表示能力的字典以近似观察到的训练数据，但不对与字典相关联的系数施加额外的结构属性。这导致字典密集地表示观察到的数据，这使得系数的解释具有挑战性，并且当在下游任务中使用学习的系数时，也可能导致经验性能差。相反，在欧氏空间中的稀疏字典学习的动机，我们提出了一个几何稀疏正则化的Wasserstein空间，促进表示的数据点只使用附近的字典元素。我们表明，这种方法导致稀疏表示在Wasserstein空间和地址的重心表示的非唯一性的问题。此外，当数据被生成为固定分布的Wasserstein重心时，该正则化器有助于在非正则化Wasserstein字典学习不适定的情况下恢复生成分布。通过对合成数据和真实数据的实验，我们证明了我们的几何正则化方法在Wasserstein空间中产生了更稀疏和更可解释的字典，在下游应用中表现更好。
2022-10-21 cs.CV cs.LG eess.SP
Sparse coding for multitask and transfer learning
University College London（伦敦大学学院）
我们研究了在多任务和迁移学习的背景下使用稀疏编码和字典学习。我们的学习方法的中心假设是，任务参数很好地近似于高维或无限维空间上的字典原子的稀疏线性组合。这个假设，以及多任务和迁移学习设置中的大量可用数据，允许对字典进行有原则的选择。我们提供了这种方法的泛化误差的界限，这两种设置。在一个合成数据集和两个真实数据集上的数值实验表明，我们的方法优于单任务学习，以前的方法基于正交和密集表示的任务和相关的方法学习任务分组。
2014-06-16 cs.LG stat.ML
Stable and Interpretable Unrolled Dictionary Learning
Harvard University（哈佛大学）；School of Engineering and Applied Sciences（工程与应用科学学院）
字典学习问题将数据表示为几个原子的组合，长期以来一直是统计和信号处理中学习表示的流行方法。最流行的字典学习算法交替稀疏编码和字典更新的步骤，和丰富的文献已经研究了其理论收敛性。字典学习的成功依赖于对字典的“良好”初始估计的访问以及稀疏编码步骤提供代码的无偏估计的能力。展开稀疏编码网络的日益普及导致了经验发现，通过这种网络进行字典学习的反向传播。我们通过PUDLE（一种可证明的展开式词典学习方法）对这些实证结果进行了理论分析。我们提供的网络初始化和数据分布足以恢复和保存的支持的潜在代码的条件。此外，我们还解决了两个挑战：第一，香草展开稀疏编码计算有偏的代码估计，第二，反向传播学习过程中的梯度可能变得不稳定。我们展示了减少前向传递中代码估计偏差和后向传递中字典估计偏差的方法。我们提出的策略，以解决学习不稳定的调整网络参数和修改的损失函数。总的来说，我们强调了损失，展开和反向传播对收敛的影响。我们通过合成和图像去噪实验来补充我们的发现。最后，我们通过建立网络权重、输出和训练集之间的数学关系，展示了PUDLE的可解释性，这是基于迭代优化设计深度网络的驱动因素。
2022-08-02 cs.LG eess.SP stat.ML
On the Reconstruction Risk of Convolutional Sparse Dictionary Learning
Carnegie Mellon University（卡内基梅隆大学）
稀疏字典学习（SDL）已经成为一种流行的方法，用于自适应地识别数据集的简约表示，这是机器学习和信号处理中的一个基本问题。虽然SDL的大多数工作都假设独立和相同分布的样本的训练数据集，但称为卷积稀疏字典学习（CSDL）的变体放宽了这一假设，允许更一般的顺序数据源，如时间序列或其他相关数据。虽然最近的工作已经探讨了经典SDL的统计特性，CSDL的统计特性仍然没有得到研究。本文开始研究这一点，确定极小极大收敛速度的CSDL重建风险方面，既上限的风险建立CSDL估计和证明匹配的信息理论下界。我们的研究结果表明，重建风险的一致性在“超稀疏”设置中是可能的，其中稀疏性（即，特征出现的次数）在$o(N)$中，就训练序列的长度N而言。值得注意的是，我们的结果做出了非常弱的假设，允许任意字典和相关测量噪声。最后，我们验证了我们的理论结果与数值实验的合成数据。
2018-02-24 cs.IT cs.LG math.IT
From STLS to Projection-based Dictionary Selection in Sparse Regression for System Identification
AI Institute in Dynamic Systems, Department of Mechanical Engineering, University of Washington（动态系统人工智能研究所，机械工程系，华盛顿大学）；Department of Mechanical Engineering, University of Hawai‘i at Mānoa（机械工程系，夏威夷大学马诺阿分校）；Departamento de Matemática e Computação, Faculdade de Ciências e Tecnologia, Universidade Estadual Paulista “Júlio de Mesquita Filho”（数学与计算系，科技学院，保罗斯州立大学“朱利奥·梅斯奎塔·弗洛雷斯”分校）
本文提出基于评分的字典选择方法，提升动态系统识别的准确性和可解释性，适用于SINDy算法的改进。
2025-12-16 cs.LG math.OC physics.comp-ph
Simultaneous Codeword Optimization (SimCO) for Dictionary Update and Learning
Imperial College London（帝国理工学院）；University of Surrey（萨里大学）
我们考虑数据驱动的字典学习问题。我们的目标是寻求一个过完备的字典，每个训练信号可以最好地近似只有几个码字的线性组合。这个任务通常通过迭代地执行两个操作来实现：稀疏编码和字典更新。在文献中，有两种基准机制来更新字典。第一种方法，如MOD算法，其特征在于在固定稀疏系数的同时搜索最佳码字。在第二种方法中，由K-SVD方法表示，一个码字和相关的稀疏系数同时更新，而所有其他码字和系数保持不变。我们提出了一个新的框架，概括了上述两种方法。该算法的特点是可以同时更新任意码字集和相应的稀疏系数：当稀疏系数固定时，其优化问题与MOD算法类似，当只选择一个码字进行更新时，可以证明该算法与K-SVD方法等价;更重要的是，我们的方法允许我们同时更新所有码字和所有稀疏系数，因此称为同时码字优化（SimCO）。在该框架下，我们设计了两种算法，即原始SimCO算法和正则化SimCO算法.我们基于一个简单的梯度下降机制来实现这两个算法。仿真结果表明，所提出的算法的性能相比，两个基线算法MOD和K-SVD。结果表明，正则化SimCO在学习性能和运行速度方面都特别吸引人。
2012-04-18 cs.IT cs.LG math.IT
Improving Dictionary Learning with Gated Sparse Autoencoders
Google DeepMind（谷歌DeepMind）
本文提出门控稀疏自编码器，通过分离方向选择与幅度估计功能并仅对前者施加L1惩罚，解决了SAE的收缩偏差，在高达7B参数语言模型上以一半激活特征实现相当重构保真度。
2024-04-30 cs.AI cs.LG
