Sparse Coding with Multi-Layer Decoders using Variance Regularization
Center for Data Science（数据科学中心）；New York University（纽约大学）；Courant Institute（库朗研究所）；Meta AI - FAIR（Meta人工智能实验室——基础人工智能研究团队）
图像的稀疏表示在许多计算机视觉应用中是有用的。具有$l_1$惩罚和学习的线性字典的稀疏编码需要字典的正则化以防止代码的$l_1$范数的崩溃。通常，这种正则化需要约束字典元素的欧几里德范数。在这项工作中，我们提出了一种新的稀疏编码协议，它可以防止崩溃的代码，而不需要正则化的解码器。我们的方法直接正则化的代码，使每个潜在的代码组件的方差大于一个固定的阈值在一组稀疏表示为一组给定的输入。此外，我们探索的方法，有效地训练稀疏编码系统与多层解码器，因为他们可以模拟更复杂的关系比线性字典。在我们的实验与MNIST和自然图像补丁，我们表明，解码器学习与我们的方法在线性和多层的情况下具有可解释的功能。此外，我们表明，与具有线性字典的自编码器相比，使用我们的方差正则化方法训练的具有多层解码器的稀疏自编码器可以产生具有更稀疏表示的更高质量的重建。此外，用我们的方差正则化方法获得的稀疏表示在低数据状态下的去噪和分类的下游任务中是有用的。
2022-09-07 cs.CV cs.LG
Discriminative Sparse Coding on Multi-Manifold for Data Representation and Classification
稀疏编码作为一种有效的数据表示方法在计算机视觉、医学成像和生物信息学等领域得到了广泛的应用。然而，传统的稀疏编码算法及其多种正则化变体（图稀疏编码和拉普拉斯稀疏编码）都是以无监督的方式学习码书和编码，忽略了训练集中可用的类信息。为了解决这个问题，本文提出了一种新的歧视性稀疏编码方法的基础上多流形，通过学习歧视性的类条件码书和稀疏码的数据特征空间和类标签。首先，根据类标签将整个训练集划分为多个流形。然后，我们将稀疏编码公式化为流形-流形匹配问题，并学习类条件码本和代码，以最大化不同类的流形边缘。最后，我们提出了一个基于数据点流形匹配误差的策略来分类未标记的数据点。体细胞突变识别和乳腺肿瘤超声图像分类任务的实验结果表明，所提出的数据表示分类方法的有效性。
2013-04-03 cs.CV cs.LG stat.ML
The Interpretable Dictionary in Sparse Coding
Drexel University（德雷塞尔大学）；University of Delaware（特拉华大学）
人工神经网络（ANN），特别是深度学习网络，由于数据的内部表示不容易解释，因此经常被标记为黑盒。在我们的工作中，我们说明了在特定稀疏约束下使用稀疏编码训练的ANN，产生了比标准深度学习模型更可解释的模型。通过稀疏编码学习的字典可以更容易理解，并且这些元素的激活创建了选择性特征输出。我们将稀疏编码模型与在相同数据上训练的等效前馈卷积自动编码器进行比较和对比。我们的研究结果表明，定性和定量的好处，在解释学习稀疏编码字典以及内部激活表示。
2020-11-24 cs.AI cs.CV cs.LG
Adversarial Defense by Stratified Convolutional Sparse Coding
Peking University（北京大学）；National Tsinghua University（国立清华大学）；UC San Diego（加州大学圣地亚哥分校）
我们提出了一种对抗性防御方法，该方法在攻击不可知的对抗性防御方法中实现了最先进的性能，同时还保持了对输入分辨率、对抗性扰动规模和数据集大小的鲁棒性。基于卷积稀疏编码，我们构建了一个分层的低维准自然图像空间，它忠实地逼近自然图像空间，同时也去除了对抗性扰动。我们在输入图像和神经网络的第一层之间引入了一个新的稀疏变换层（STL），以有效地将图像投影到我们的准自然图像空间中。我们的实验显示了我们的方法在各种对抗环境中与其他攻击不可知的对抗防御方法相比的最先进性能。
2019-06-21 cs.CV cs.LG
Sparse Coding and Dictionary Learning for Symmetric Positive Definite Matrices: A Kernel Approach
NICTA（澳大利亚国家信息与通信技术研究院）；University of Queensland（昆士兰大学）；Australian National University（澳大利亚国立大学）
最近的进展表明，广泛的计算机视觉问题可以更适当地解决考虑非欧几里德几何。本文研究了对称正定矩阵空间中的稀疏编码和字典学习问题，这些对称正定矩阵构成了一个黎曼流形。借助最近引入的Stein内核（与Bregman矩阵发散的对称版本有关），我们建议通过将黎曼流形嵌入到再生核Hilbert空间中来进行稀疏编码。这导致了Lasso问题的凸和核版本，可以有效地解决。此外，我们提出了一个算法学习黎曼字典（用于稀疏编码），紧密联系的斯坦内核。几个分类任务（人脸识别，纹理分类，人的重新识别）的实验表明，所提出的稀疏编码方法实现了显着的改善，在歧视的准确性，在比较国家的最先进的方法，如张量稀疏编码，黎曼局部保持投影，和局部特征的累积驱动。
2013-04-16 cs.CV cs.LG stat.ML
Unsupervised Feature Learning by Deep Sparse Coding
Georgia Institute of Technology（佐治亚理工学院）；DeepMind Technologies（DeepMind科技公司）；Princeton University（普林斯顿大学）；The City College of New York（纽约城市学院）；University of Virginia（弗吉尼亚大学）
在本文中，我们提出了一种新的无监督特征学习框架，即深度稀疏编码（DeepSC），它将稀疏编码扩展到视觉对象识别任务的多层架构。该框架的主要创新之处在于它通过一个稀疏到密集的模块将不同层的稀疏编码器连接起来。稀疏到密集模块是局部空间池化步骤和低维嵌入过程的组合，其利用图像中的空间平滑信息。其结果是，新方法是能够学习几个层次的稀疏表示的图像捕捉功能在各种抽象层次，同时保持相邻的图像补丁之间的空间平滑度。结合来自多个层的特征表示，DeepSC在多个对象识别任务上实现了最先进的性能。
2013-12-20 cs.CV cs.LG cs.NE
When coding meets ranking: A joint framework based on local learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Chinese Academy of Sciences（中国科学院）
稀疏编码将数据点表示为关于字典的稀疏重构码，已经成为流行的数据表示方法。同时，在数据库检索问题中，从数据点学习排序分数起着重要的作用。到目前为止，这两个问题一直被单独考虑，假设数据编码和排名是两个独立且不相关的问题。然而，稀疏编码和排名分数学习之间是否存在内在联系？如果是，如何探索和利用这种内在联系？在本文中，我们试图回答这些问题，通过开发第一个联合稀疏编码和排名得分学习算法。为了探索稀疏代码空间中的局部分布，也为了桥接编码和排名问题，我们假设在每个数据点的邻域中，排名分数可以通过局部线性函数从相应的稀疏代码近似。通过考虑排序得分的局部逼近误差、稀疏编码的重构误差和稀疏性以及用户提供的查询信息，构造了稀疏编码、字典和排序得分学习的统一目标函数。我们进一步开发了一个迭代算法来解决这个优化问题。
2016-11-02 cs.CV cs.LG stat.ML
Learning Sparse Representations in Reinforcement Learning with Sparse Coding
Indiana University（印第安纳大学）
各种各样的表示学习方法已经被研究用于强化学习;然而，很少有人关注稀疏编码的效用。在强化学习之外，稀疏编码表示已被广泛使用，其非凸目标导致区分表示。在这项工作中，我们开发了一个监督稀疏编码的政策评估目标。尽管这个目标的非凸性，我们证明了所有的局部极小值是全局极小值，使该方法适合简单的优化策略。我们的经验表明，使用监督目标是关键，而不是更直接的无监督稀疏编码方法。我们比较学习的表示一个规范的固定稀疏表示，称为瓦片编码，证明稀疏编码表示优于各种各样的瓦片编码表示。
2017-07-26 cs.AI cs.LG stat.ML
Inducing Sparse Coding and And-Or Grammar from Generator Network
Harbin Engineering University（哈尔滨工程大学）；University of California, Los Angeles（加州大学洛杉矶分校）
我们引入了一个可解释的生成模型，通过对生成器网络的特征图进行稀疏操作。有意义的层次表示使用建议的生成模型与稀疏激活。从生成器网络的底层到顶层的卷积核可以逐层学习诸如边缘和颜色、对象部分和整个对象之类的基元。从生成器网络的角度，我们提出了一种方法，同时诱导稀疏编码和与或语法的图像。实验表明，我们的方法是能够学习有意义的和可解释的层次表示。
2019-01-20 cs.AI cs.CV cs.LG
Recklessly Approximate Sparse Coding
最近已经观察到，某些极其简单的特征编码技术能够在若干标准图像分类基准上实现现有技术的性能，所述基准包括深度置信网络、卷积网络、因子RBM、mcRBM、卷积RBM、稀疏自动编码器和若干其他基准。此外，这些“三角形”或“软阈值”编码是非常有效的计算。已经提出了几个直观的论点来解释这一显着的表现，但没有数学的理由已经提供。本报告的主要结果是表明，这些功能实现为一个非负稀疏编码问题的近似解决方案。使用这种连接，我们描述了软阈值功能的几个变种，并证明了它们的有效性两个图像分类基准任务。
2013-01-06 cs.CV cs.LG stat.ML
Semi-Supervised Sparse Coding
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
稀疏编码将数据样本近似为一些基本码字的稀疏线性组合，并使用稀疏码作为新的表示。在本文中，我们研究学习的区别稀疏码稀疏编码在半监督的方式，其中只有少量的训练样本被标记。通过使用标记和未标记样本的数据集所跨越的流形结构以及标记样本的标签所提供的约束，我们学习所有样本的变量类标签。此外，为了提高学习的稀疏代码的区分能力，我们假设可以直接使用线性分类器从稀疏代码预测类标签。通过在一个统一的目标函数中同时求解码本、稀疏码、类别标签和分类器参数，提出了一种半监督稀疏编码算法。两个真实世界的模式识别问题的实验表明，所提出的方法的优势，监督稀疏编码方法的部分标记的数据集。
2015-01-16 cs.LG stat.ML
Smooth Sparse Coding via Marginal Regression for Learning Sparse Representations
Georgia Tech（佐治亚理工学院）；Baidu Inc.（百度公司）
我们提出并分析了一种新的框架，学习稀疏表示，基于两种统计技术：核平滑和边际回归。所提出的方法提供了一个灵活的框架，将特征相似性或时间信息存在于数据集，通过非参数核平滑。我们提供了泛化界的字典学习使用平滑稀疏编码，并显示如何样本的复杂性取决于所使用的核函数的L1范数。此外，我们建议使用边际回归获得稀疏代码，这显着提高了速度，并允许一个扩展到大字典的大小很容易。我们证明了所提出的方法的优点，无论是在精度和速度方面，通过大量的实验，在几个真实的数据集。此外，我们还演示了如何使用所提出的方法来改善半监督稀疏编码。
2012-10-03 cs.LG stat.ML
Towards Understanding Residual and Dilated Dense Neural Networks via Convolutional Sparse Coding
University of Chinese Academy of Sciences（中国科学院大学）
卷积神经网络（CNN）及其变体在各个领域已经导致了许多最先进的结果。然而，对它们的理论认识还很欠缺。最近，多层卷积稀疏编码（ML-CSC）已被提出，并证明等于这样的简单堆叠网络（平原网络）。在此，我们认为在每一层中的三个因素，包括初始化，字典设计和迭代次数极大地影响ML-CSC的性能。受这些考虑的启发，我们提出了两个新的多层模型--残差卷积稀疏编码模型（Res-CSC）和混合规模密集卷积稀疏编码模型（MSD-CSC），它们分别与残差神经网络（ResNet）和混合规模（扩张）密集神经网络（MSDNet）有密切的关系。在数学上，我们推导出ResNet中的捷径连接作为ML-CSC上新的前向传播规则的特殊情况。通过对MSD-CSC的分析，我们找到了MSDNet中膨胀卷积和稠密连接的理论解释，从而给出了对它们的清晰的数学理解。我们实现了迭代软阈值算法（ISTA）及其快速版本来解决Res-CSC和MSD-CSC，它可以使用展开操作进行进一步的改进。最后，利用三个典型数据集进行了大量的数值实验，并与竞争方法进行了比较，结果表明了本文方法的有效性。
2019-12-08 cs.CV cs.LG stat.ML
Conditional Sparse Coding and Grouped Multivariate Regression
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）
我们研究的问题，多元回归的数据是自然分组，回归矩阵是估计为每组。我们提出了一种方法，在该方法中，低秩参数矩阵的字典估计跨组，和字典元素的稀疏线性组合估计在每个组内形成一个模型。我们将该方法称为条件稀疏编码，因为它是以协变量向量X为条件的响应向量Y的编码过程。这种方法捕获跨组的共享信息，同时适应每个组内的结构。它利用了在计算机视觉和计算神经科学中成功开发的稀疏编码背后的相同直觉。我们提出了一种算法的条件稀疏编码，分析其理论性质的预测精度，并提出了模拟和脑成像实验的结果，比较新技术，以减少秩回归。
2012-06-27 cs.LG stat.ML
Classifiers Based on Deep Sparse Coding Architectures are Robust to Deep Learning Transferable Examples
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Swarthmore College（斯沃斯莫尔学院）；Villanova University（维拉诺瓦大学）
尽管深度学习近年来取得了巨大的成功，但研究人员发现了一个关键缺陷，即系统输入中微小的、难以察觉的变化可能会极大地改变输出分类。这些攻击在几乎所有现有的深度学习分类框架中都是可利用的。然而，深度稀疏编码模型对对抗性示例的敏感性尚未得到研究。在这里，我们证明了基于深度稀疏编码模型的分类器，其分类精度与各种深度神经网络模型具有竞争力，对对抗性示例具有鲁棒性，这些示例有效地欺骗了那些相同的深度学习模型。我们定量和定性地证明了深度稀疏编码模型对对抗性示例的鲁棒性来自两个关键属性。首先，由于深度稀疏编码模型学习与整个数据集的生成器相对应的一般特征，而不是用于区分特定类别的高度区分特征，因此所得分类器较少依赖于可能更容易利用的特质特征。其次，由于深度稀疏编码模型利用具有自上而下反馈的固定点吸引子动态，因此更难以找到将所得表示驱动出正确吸引子盆的输入的小变化。
2018-11-20 cs.CR cs.CV cs.LG
Provably Accurate Double-Sparse Coding
Iowa State University（爱荷华州立大学）；Texas A&M University（德克萨斯A&M大学）
稀疏编码是用于各种信号处理、深度学习和其他机器学习应用的算法中的关键子例程。中心目标是学习一个过完备字典，它可以稀疏地表示给定的输入数据集。然而，一个关键的挑战是，如果数据维度很高，则学习字典的存储、传输和处理可能会高得无法承受。在本文中，我们考虑Rubinstein等人（2010 b）引入的双稀疏模型，其中字典本身是固定的已知基和数据自适应稀疏分量的乘积。首先，我们介绍了一个简单的双稀疏编码算法，可以通过神经架构进行有效的实施。其次，我们从理论上分析其性能，并证明渐近样本复杂性和运行时间的好处，现有的（可证明的）稀疏编码方法。据我们所知，我们的工作介绍了第一个计算效率高的算法，双稀疏编码，享有严格的统计保证。最后，我们通过对模拟数据的几个数值实验来支持我们的分析，证实我们的方法确实可以在实际应用中遇到的问题大小中使用。
2017-12-12 cs.LG stat.ML
Sparse Coding on Cascaded Residuals
Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
本文试图结合字典学习和分层图像表示的原则。为了使字典原子从扩展的感受野中捕获额外的信息，并获得更好的描述能力，我们提出了一个用于字典学习和稀疏编码的两遍多分辨率级联框架。级联允许使用相同维度的字典原子以不同分辨率进行协作重建。我们共同学习的字典包括适应粗层可用信息的原子，其中原子的支持达到其最大范围，以及补充细节逐渐细化重建目标的残留图像。通过先前层的聚合重建与该层的下采样原始图像之间的差异来计算层处的残差。我们的方法使用更少的系数生成更灵活和准确的表示。它的计算效率源于编码的粗分辨率，这是微不足道的，和编码的残差，这是相对稀疏。我们在多个数据集上进行的大量实验表明，这种新方法在图像编码、去噪、修复和伪影去除任务中的功能强大，优于最先进的技术。
2019-11-07 cs.CV cs.LG eess.IV
SparGE: Sparse Coding-based Patient Similarity Learning via Low-rank Constraints and Graph Embedding
患者相似性评估（PSA）是基于证据和个性化医疗的关键，通过分析越来越多的电子健康记录（EHR）来实现。然而，用于PSA的机器学习方法必须处理EHR的固有数据缺陷，即缺失值、噪声和小样本量。在这项工作中，提出了一个端到端的判别学习框架，称为SparGE，以解决这些数据的挑战，电子病历PSA。SparGE通过联合稀疏编码和图嵌入来度量相似性。首先，我们使用低秩约束稀疏编码来识别和计算相似患者的权重，同时对缺失值进行去噪。然后，采用稀疏表示的图嵌入，通过保持由距离定义的局部关系来测量患者对之间的相似性。最后，构造全局代价函数对相关参数进行优化.两个私人和公共的真实世界的医疗数据集，即SingHEART和MIMIC-III，实验结果表明，所提出的SparGE显着优于其他机器学习患者相似性方法。
2022-02-03 cs.LG
Training-Adaptive Convolutional Sparse Coding via Information Bottleneck for Robust Visual Representation
Shenzhen University of Advanced Technology（深圳理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Shandong University（山东大学）
提出自适应卷积稀疏编码框架，通过信息瓶颈动态调整稀疏系数，结合FISTA展开与后训练策略，在CIFAR和ImageNet上显著提升鲁棒性。
2026-09-29 cs.CV cs.LG stat.ML
Representation Learning via Cauchy Convolutional Sparse Coding
University of Bristol（布里斯托大学）；NHS Trust Foundation（NHS信托基金会）
在表示学习中，卷积稀疏编码（CSC）通过联合优化\(\ell_2\)范数保真度项和稀疏性强制惩罚来实现特征的无监督学习。这项工作调查使用正则化项来自假设的柯西先验的系数的CSC生成模型的特征图。由该先验产生的稀疏惩罚项通过其邻近算子来求解，该邻近算子然后迭代地、逐元素地应用于特征图的系数以优化CSC代价函数。所提出的迭代柯西插值（ICT）算法在重建自然图像的性能进行比较，对常见的选择\(\ell_1\) -范数优化通过软，硬阈值。在各种数据集的大多数重建实验中，ICT的表现优于IHT和IST，平均PSNR分别比ISTA和IHT高出11.30和7.04。
2020-08-08 cs.CV cs.LG eess.IV
Learning Word Representations with Hierarchical Sparse Coding
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的方法来学习单词表示使用层次正则化稀疏编码的启发，语言学研究的单词含义。我们展示了一种基于随机邻近方法的高效学习算法，该算法比以前的方法快得多，使得在数十亿单词标记的语料库上执行分层稀疏编码成为可能。各种基准任务的实验-词相似度排名，类比，句子完成，和情感分析-表明该方法优于或具有竞争力的最先进的方法。我们的单词表示可在\url{http://www.ark.cs.cmu.edu/dyogatam/wordvecs/}上找到。
2014-11-06 cs.CL cs.LG stat.ML
Sparse Coding in a Dual Memory System for Lifelong Learning
Advanced Research Lab, NavInfo Europe（NavInfo Europe 高级研究实验室）；Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系）
人类有效的持续学习是由一组丰富的神经生理机制和多个记忆系统之间的相互作用实现的。大脑有效地将信息编码为非重叠的稀疏代码，这有助于更快地学习新的关联，并控制对先前关联的干扰。为了模仿DNN中的稀疏编码，我们强制执行激活稀疏性以及退出机制，该机制鼓励模型为语义相似的输入激活相似的单元，并且与语义不同的输入的激活模式重叠较少。这为我们提供了一种有效的机制来平衡功能的可重用性和干扰，这取决于跨任务的类的相似性。此外，我们采用稀疏编码的多内存重放机制。我们的方法保持了一个额外的长期语义记忆，聚合和巩固编码在工作模型的突触权重的信息。我们广泛的评估和特征分析表明，配备了这些生物启发的机制，该模型可以进一步减轻遗忘。
2022-12-28 cs.AI cs.CV cs.LG
Multi-Dictionary Learning for Low Rank Sparse Coding
University at Albany – SUNY（纽约州立大学奥尔巴尼分校）
针对多字典场景学习字典和编码系数的挑战，提出低秩编码模型，建立样本数量上下界，给出交替凸优化解决方案AODL，在合成和真实数据集上验证其数据重建和缺失值插补质量及稀疏度优势，还能揭示训练样本模式见解。
2026-07-16 cs.LG
Improved Training of Sparse Coding Variational Autoencoder via Weight Normalization
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
学习具有稀疏和组合特征的视觉信息的生成模型一直是理论神经科学和机器学习社区的挑战。稀疏编码模型在解释具有稀疏激活潜在表征的哺乳动物初级视皮层感受野方面取得了巨大的成功。在本文中，我们专注于最近提出的模型，稀疏编码变分自编码器（SVAE）（Barello等人，2018年），并表明SVAE的端到端训练方案导致一大群解码滤波器没有完全优化噪声类感受野。我们提出了一些算法来改进SVAE的训练，并表明解码器上的单位$L_2$范数约束对于产生稀疏编码滤波器至关重要。这种正常化可以被认为是皮层中的局部侧抑制。我们在自然图像补丁和MNIST数据集上验证了这一说法，并表明将滤波器投影到单位范数上会大大增加有源滤波器的数量。我们的研究结果强调了权重归一化对从数据中学习稀疏表示的重要性，并提出了一种减少VAE学习中不活跃潜在组件数量的新方法。
2021-01-23 cs.LG q-bio.NC
Word Equations: Inherently Interpretable Sparse Word Embeddingsthrough Sparse Coding
Williams College（威廉姆斯学院）
词嵌入是一种功能强大的自然语言处理技术，但它们非常难以解释。为了实现可解释的NLP模型，我们创建了每个维度都是可解释的向量。通过内在可解释性，我们指的是一个系统，其中每个维度都与一些人类可理解的提示相关联，这些提示可以描述该维度的含义。为了创建更多可解释的词嵌入，我们将预训练的密集词嵌入转换为稀疏嵌入。这些新的嵌入本质上是可解释的：它们的每个维度都是从一个自然语言单词或特定的语法概念创建的，并表示该单词或语法概念。我们通过稀疏编码构造这些嵌入，其中基集中的每个向量本身就是一个词嵌入。因此，我们的稀疏向量的每个维度对应于一个自然语言单词。我们还表明，使用这些稀疏嵌入训练的模型可以实现良好的性能，并且在实践中更具可解释性，包括通过人工评估。
2021-09-27 cs.CL cs.LG stat.ML
Bayesian Beta-Bernoulli Process Sparse Coding with Deep Neural Networks
Columbia University（哥伦比亚大学）
对于深度离散潜变量模型，已经提出了几种近似推理方法。然而，非参数的方法，以前已成功地用于经典的稀疏编码模型在很大程度上尚未探索的背景下，深模型。我们提出了一种非参数迭代算法来学习这种深度模型中的离散潜在表示。此外，为了学习尺度不变的离散特征，我们提出了局部数据缩放变量。最后，为了鼓励我们表示的稀疏性，我们提出了一个潜在因素的Beta-Bernoulli过程。我们评估我们的备用编码模型加上不同的似然模型。我们在具有不同特征的数据集上评估我们的方法，并将我们的结果与当前的摊销近似推理方法进行比较。
2023-03-14 cs.LG stat.ML
Variational Sparse Coding with Learned Thresholding
Georgia Institute of Technology（佐治亚理工学院）
稀疏编码策略因其利用低维结构的数据的简约表示而受到称赞。然而，这些代码的推理通常依赖于一个优化过程，在高维问题的计算缩放差。例如，在深度神经网络（DNN）的高维中间层中学习的表示中的稀疏推理需要在每个训练步骤中执行迭代最小化。因此，最近已经提出了变分推理中的快速方法，以通过使用DNN学习代码上的分布来推断稀疏代码。在这项工作中，我们提出了一种新的变分稀疏编码方法，使我们能够通过阈值样本来学习稀疏分布，避免使用有问题的松弛。我们首先通过训练线性生成器来评估和分析我们的方法，表明与其他稀疏分布相比，它具有更好的性能，统计效率和梯度估计。然后，我们将Fashion MNIST和CelebA数据集上使用DNN生成器的标准变分自编码器进行比较
2022-09-01 cs.LG eess.SP stat.ML
Non-Negative Kernel Sparse Coding for the Classification of Motion Data
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
我们感兴趣的运动数据分解成一个稀疏的线性组合的基函数，使有效的数据处理。我们结合了两个突出的框架：动态时间规整（DTW），它提供了特别成功的成对运动数据比较，和稀疏编码（SC），它使矢量数据自动分解成一个稀疏的线性组合的基本向量。我们对SC进行了如下增强：一种有效的核化，其将其应用领域扩展到诸如DTW提供的一般相似性数据，以及其对信号和基向量的非负线性表示的限制，以保证有意义的字典。运动捕捉基准的实证评估表明，我们的框架解释和歧视的关注的有效性。
2019-03-12 cs.LG stat.ML
Sparse Topical Coding
我们提出了稀疏主题编码（STC），一个非概率的主题模型的制定，发现潜在的代表性的大型数据集。与概率主题模型不同，STC放松了混合比例的归一化约束和定义归一化似然函数的约束。这种松弛使得STC服从：1）通过使用稀疏诱导正则化器直接控制推断表示的稀疏性; 2）与凸误差函数（例如，支持向量机铰链损失）的监督学习;和3）有效地学习一个简单的结构坐标下降算法。我们的研究结果表明，STC和监督MedSTC的优势，确定的主题意义的话，提高分类精度和时间效率。
2012-02-14 cs.LG stat.ML
Convex Coding
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
受最近关于集群凸公式的工作（Lashkari & Golland，2008; Nowozin & Bakir，2008）的启发，我们研究了稀疏编码问题的新公式（Olshausen & Field，1997）。在稀疏编码中，我们试图同时稀疏地表示数据向量序列（即稀疏近似（Tropp等人，2006）），同时还找到能够实现这种近似的代码。由于现有的稀疏编码交替优化过程在理论上容易出现严重的局部极小问题，我们提出了一种稀疏编码问题的凸松弛，并推导出一种提升式算法，（Nowozin & Bakir，2008年）作为一个凸的“主问题”，它称为一个（潜在的非凸）子问题，以确定下一个代码元素添加。最后，我们展示了我们的提升编码算法的图像去噪任务的属性。
2012-05-09 cs.IT cs.LG math.IT
DICOD: Distributed Convolutional Sparse Coding
CMLA, ENS Paris-Saclay, Université Paris-Saclay（巴黎萨克雷高等师范学院、巴黎萨克雷大学数学与应用数学中心）；L2TI, Université Paris 13（巴黎第十三大学信息处理与交互技术实验室）
在本文中，我们介绍了DICOD，卷积稀疏编码算法，建立长信号的移位不变表示。该算法被设计为在分布式环境中运行，具有本地消息传递，使其通信高效。它基于坐标下降，并使用局部贪婪更新，与贪婪坐标选择相比，这加快了分辨率。我们证明了该算法的收敛性，并强调其计算速度是超线性的核数。我们还提供了经验证据，我们的算法相比，国家的最先进的方法的加速性能。
2018-05-13 cs.LG stat.ML
Accelerating Hierarchical Sparse Predictive Coding with Hybrid Amortized Inference
Department of Clinical Engineering, Komatsu University（小松大学临床工程系）
针对层次稀疏预测编码中迭代推理成本高的问题，提出混合摊销推理方法，结合LISTA式编码器快速初始化与少量能量校正步骤，在保持稀疏性和重建质量的同时显著降低延迟。
2026-07-28 cs.LG
Spike-and-Slab Sparse Coding for Unsupervised Feature Discovery
Université de Montréal（蒙特利尔大学）
我们考虑使用因子模型的问题，我们称之为{ \em尖峰和板稀疏编码}（S3 C）学习功能的分类任务。S3 C模型类似于尖峰和板RBM和稀疏编码。由于在这个模型中的精确推理是棘手的，我们推导出一个结构化的变分推断过程，并采用变分EM训练算法。之前的工作近似推理这个模型并没有优先考虑利用并行架构和规模巨大的问题大小的能力。我们提出了一个推理过程，适合使用GPU，使我们能够显着增加训练集的大小和潜在因素的数量。我们证明了这种方法提高了稀疏编码和ssRBM在CIFAR-10数据集上的监督学习能力。我们评估了我们的方法在CIFAR-10子集上进行半监督学习的潜力。我们在STL-10数据集上展示了最先进的自学学习性能，并使用我们的方法赢得了NIPS 2011年学习分层模型迁移学习挑战研讨会。
2012-04-03 cs.LG stat.ML
Improving Robustness to Model Inversion Attacks via Sparse Coding Architectures
Dartmouth College（达特茅斯学院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本研究提出一种利用稀疏编码层的新型网络架构，在保持分类准确率的同时，有效降低模型反演攻击对训练数据的重建质量，显著提升隐私防御鲁棒性。
2024-08-24 cs.AI cs.CR cs.CV
Sparse Coding Frontend for Robust Neural Networks
University of California Santa Barbara（加州大学圣塔芭芭拉分校）
众所周知，深度神经网络容易受到小的、恶意的干扰。目前对抗这些对抗攻击最有效的防御方法是对抗训练的变体。在本文中，我们介绍了一种完全不同的防御方法，只在干净的图像上训练：一种基于稀疏编码的前端，它可以在对抗攻击到达分类器之前显着衰减它们。我们在CIFAR-10数据集上评估了我们在各种攻击类型（包括Linf，L2和L1边界攻击）下的防御，证明了它作为通用防御方法的前景。
2021-04-12 cs.LG stat.ML
Uncertainty propagation in neural networks for sparse coding
University of Sheffield（谢菲尔德大学）；University of Oxford（牛津大学）
提出了一种通过软阈值非线性传播不确定性的新方法。在每一层，目标向量的当前分布被表示为尖峰和平板分布，其表示每个变量为零或高斯分布的概率。使用所提出的不确定性传播方法，导出归一化常数的梯度，其可用于更新权重分布。利用提出的不确定性传播方法和贝叶斯推断算法，设计了一种新的稀疏编码贝叶斯神经网络。
2018-11-29 cs.LG stat.ML
Dictionary-based Low-Rank Approximations and the Mixed Sparse Coding problem
Univ Lyon, INSA-Lyon, UCBL, UJM-Saint Etienne, CNRS, Inserm, CREATIS UMR 5220, U1206（里昂大学、里昂国立应用科学学院、里昂第一大学、圣埃蒂安让·莫内大学、法国国家科学研究中心、法国国家健康与医学研究院、CREATIS医学影像研究中心）
约束张量和矩阵分解模型允许从多路数据中提取可解释的模式。因此，约束低秩近似的可辨识性及其有效算法是当前重要的研究课题。本文研究了一个低秩近似的因子矩阵列在一个已知且可能过完备的基上是稀疏的，这个模型被称为基于字典的低秩近似（DLRA）.虽然早期的贡献集中在寻找候选列字典中的因子列，即一稀疏近似，但这项工作是第一个解决稀疏度大于一的DLRA。我建议把重点放在稀疏编码子问题创造混合稀疏编码（MSC），解决DLRA时出现的交替优化策略。提出了几种基于稀疏编码算法（贪婪法、凸松弛法）的MSC求解算法。模拟数据的性能进行评估，这些prosticistics。然后，我展示了如何适应一个高效的MSC求解器的基础上LASSO计算字典为基础的矩阵分解和规范的多元分解的背景下，高光谱图像处理和化学计量学。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于减少估计方差，提高估计因子的可识别性和可解释性。
2022-01-21 cs.LG stat.ML
Simple, Efficient, and Neural Algorithms for Sparse Coding
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）
稀疏编码是包括信号处理、神经科学和机器学习在内的许多领域中的基本任务，其中目标是学习能够实现给定数据集的稀疏表示的基础（如果存在的话）。它的标准公式是作为一个非凸优化问题，在实践中解决交替最小化的基础上的启发式。最近的工作已经产生了几个算法的稀疏编码与可证明的保证，但有些令人惊讶的是，这些都优于简单的交替最小化算法。在这里，我们给出了一个通用的框架来理解交替最小化，我们利用它来分析现有的算法，并设计新的可证明的保证。其中一些算法似乎可以在简单的神经架构上实现，这是Olshausen和Field（1997 a）引入稀疏编码的最初动机。我们还给出了第一个有效的算法稀疏编码，工程几乎达到信息理论的限制稀疏恢复不相干字典。所有以前的算法，接近或超过这个限制运行在时间指数的一些自然参数。最后，我们的算法改进了现有方法的样本复杂度。我们相信，我们的分析框架将在其他设置中使用简单的迭代算法的应用。
2015-03-02 cs.DS cs.LG cs.NE
Sparse coding for multitask and transfer learning
University College London（伦敦大学学院）
我们研究了在多任务和迁移学习的背景下使用稀疏编码和字典学习。我们的学习方法的中心假设是，任务参数很好地近似于高维或无限维空间上的字典原子的稀疏线性组合。这个假设，以及多任务和迁移学习设置中的大量可用数据，允许对字典进行有原则的选择。我们提供了这种方法的泛化误差的界限，这两种设置。在一个合成数据集和两个真实数据集上的数值实验表明，我们的方法优于单任务学习，以前的方法基于正交和密集表示的任务和相关的方法学习任务分组。
2014-06-16 cs.LG stat.ML
Lexico: Extreme KV Cache Compression via Sparse Coding over Universal Dictionaries
KRAFTON（克拉夫顿（游戏公司））；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
本研究提出基于通用字典稀疏编码的KV缓存压缩方法Lexico，用约4k原子的输入无关字典的稀疏组合近似LLM的KV缓存，通过正交匹配追踪控制压缩比，在低内存场景下性能显著优于现有方法。
2024-12-12 cs.LG
Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley（加州大学伯克利分校）
虽然深度强化学习的最新进展使机器人能够学习复杂的行为，但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中，我们提出了一个有效的奖励塑造方法，通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造，我们可以获得了解环境结构和动态的奖励信号。特别是，我们的方法通过提供奖励信号来实现更好的学习，这些奖励信号1）理解环境动态2）强调对学习最有用的特征3）通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性，并且我们表明，通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
Convolutional Sparse Coding via the Locally Competitive Algorithm on Loihi 2
Mercedes-Benz AG（梅赛德斯-奔驰集团）；Institut für Robotik und Kognitive Systeme, Universität zu Lübeck（吕贝克大学机器人与认知系统研究所）
本文在Loihi 2神经形态芯片上实现了卷积稀疏编码的局部竞争算法，并与GPU基线对比，展示了其在结构化稀疏推理中的可行性和优势。
2026-06-07 cs.LG
ProSper -- A Python Library for Probabilistic Sparse Coding with Non-Standard Priors and Superpositions
Sorbonne Université（索邦大学）；INSERM（法国国家健康与医学研究院）；CNRS（法国国家科学研究中心）；Institut de la Vision（视觉研究所）；FIAS（法兰克福高等研究院）；Goethe-Universität Frankfurt am Main（法兰克福大学）；Zalando Research（Zalando研究院）；University of Sheffield（谢菲尔德大学）；d-fine GmbH（d-fine有限公司）；C. v. Ossietzky Universität Oldenburg（奥尔登堡大学）
ProSper是一个Python库，包含用于学习字典的概率算法。给定一组数据点，实现的算法试图学习生成数据的基本组件。该库扩大了字典学习方法的范围，超越了ICA，NMF或标准L1稀疏编码等标准方法的实现。实现的算法是特别适合的情况下，当数据组成的组件，结合非线性和/或数据需要灵活的先验分布。此外，所实现的算法超越了标准的方法，通过推断数据的先验和噪声参数，它们提供了丰富的后验近似推理。该库被设计为可扩展的，目前包括：二进制稀疏编码（BSC），三进制稀疏编码（TSC），离散稀疏编码（DSC），最大原因分析（MCA），最大幅度原因分析（MMCA）和高斯稀疏编码（GSC，最近的尖峰和板条稀疏编码方法）。该算法是可扩展的，由于变分近似和并行化的组合。所有算法的实现都允许在多个CPU和多台机器上并行执行，适用于中型到大型应用程序。典型的大规模算法运行可以使用数百个CPU从具有数千万个浮点数的数据中学习数百个字典元素，从而可以优化具有数十万个参数的模型。该库被设计为具有最小的依赖性并且易于使用。它针对字典学习算法的用户和机器学习研究人员。
2019-08-01 cs.LG eess.SP stat.ML
Multivariate Convolutional Sparse Coding with Low Rank Tensor
Ecole Normale Supérieure de Cachan（卡尚高等师范学院）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎-萨克雷大学）；Université Paris 13（巴黎第十三大学）
本文介绍了一种新的多元卷积稀疏编码的基础上张量代数的一般模型，同时执行元素的稀疏性和低秩的激活张量。通过使用CP分解，该模型实现了多变量信号的显著更有效的编码-特别是在高阶/维数设置中-从而产生更好的性能。我们证明，我们的模型是密切相关的Kruskal张量回归问题，提供有趣的理论保证，我们的设置。在此基础上，提出了一种基于交替优化的高效优化算法来求解该模型。最后，我们评估我们的算法与大范围的实验，突出其优点和局限性。
2019-08-09 cs.LG stat.ML
Binary Sparse Coding for Interpretability
EleutherAI；Georgia Institute of Technology（佐治亚理工学院）
针对稀疏自编码器特征仅高激活强度下可解释的问题，提出二值稀疏自编码器和二值转码器，虽提升特征可解释性与单语义性，但频率调整后可解释性得分略逊于连续模型，表明多语义性或为神经激活固有属性。
2025-09-29 cs.LG
Energy Disaggregation with Semi-supervised Sparse Coding
住宅智能电表已在全国范围内的城市住宅中广泛安装，为消费者提供高效和响应式的监控和计费。研究表明，为客户提供设备级的使用信息可以帮助消费者节省大量的能源，而现代智能电表只能提供低分辨率的信息性全屋数据。因此，旨在将聚集的能源消费数据分解到其组成设备的能源分解研究引起了广泛的关注。在本文中，基于稀疏编码的判别式解聚模型已经评估了大规模的家庭用电数据集的节能。我们利用一个结构化的预测模型，提供有区别的稀疏编码训练，因此，最大限度地提高能量分解性能。设计这样大规模的解聚任务进行了分析研究，并在现实世界的智能电表数据集与基准模型进行了比较。
2020-07-13 cs.LG cs.SY eess.SP
Learning step sizes for unfolded sparse coding
Inria（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎-萨克雷大学）
稀疏编码通常通过迭代优化技术来解决，例如迭代收缩保持算法（ISTA）。利用神经网络展开和学习ISTA的权值是一种有效的加速估计方法。在本文中，我们研究了ISTA的自适应步长的选择。我们表明，一个简单的步长策略可以提高ISTA的收敛速度，利用稀疏的迭代。然而，这在大多数大规模应用中是不切实际的。因此，我们提出了一种网络架构，其中只学习ISTA的步长。我们证明，对于一大类展开算法，如果算法收敛到Lasso的解，则其最后一层对应于具有学习步长的ISTA。实验表明，当解足够稀疏时，我们的方法与最先进的网络具有竞争力。
2019-05-27 cs.LG stat.ML
On the Sample Complexity of Predictive Sparse Coding
Georgia Institute of Technology（佐治亚理工学院）
预测稀疏编码的目标是将示例的表示学习为字典中元素的稀疏线性组合，以便新表示中学习到的线性假设在预测任务中表现良好。近年来，预测稀疏编码算法在各种监督任务上表现出令人印象深刻的性能，但其泛化性能尚未得到研究。我们建立了预测稀疏编码的第一个泛化误差界，覆盖两个设置：1）过完备设置，其中特征数k超过原始维度d;以及2）高维或无限维设置，其中只有无维界是有用的。这两个学习边界密切依赖于学习稀疏编码器的稳定性，如在训练样本上测量的。因此，我们首先提出了一个基本的稳定性结果的LASSO，结果表征的稀疏代码的稳定性相对于扰动的字典。在过完备的设置，我们提出了一个估计误差界，衰减为\tilde{O}（sqrt（d k/m））关于d和k。在高维或无限维的情况下，我们给出了一个无量纲的边界，即关于k和s的\tilde{O}（sqrt（k^2 s / m）），其中s是任何训练数据点的稀疏码中非零数的上限。
2012-10-08 cs.LG stat.ML
Decoding the Encoding of Functional Brain Networks: an fMRI Classification Comparison of Non-negative Matrix Factorization (NMF), Independent Component Analysis (ICA), and Sparse Coding Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
功能磁共振成像中的大脑网络通常使用空间独立成分分析（ICA）来识别，但稀疏编码和阳性等数学约束都为生成大脑网络提供了替代的生物学合理框架。非负矩阵分解（NMF）通过增强正性来抑制负BOLD信号。空间稀疏编码算法（$L1$正则化学习和K-SVD）将强加局部专业化和多任务的阻碍，其中单个体素中的总观察到的活动源自有限数量的可能的大脑网络。独立性，积极性和稀疏性的假设，以编码任务相关的大脑网络进行了比较，得到的大脑网络为不同的约束条件被用作基函数，在给定的时间点编码所观察到的功能活动。这些编码是使用机器学习解码的，以比较算法和它们的假设，使用时间序列权重来预测受试者是否正在观看视频，收听音频提示，或者在来自51名受试者的304次fMRI扫描中休息。对于认知活动分类，$L1$正则化学习的稀疏编码算法在不同数量的网络和噪声水平上始终优于ICA的4种变体（p $<$ 0.001）。抑制负BOLD信号的NMF算法精度最差。在每种算法中，使用稀疏空间网络（包含更多零值体素）的编码具有更高的分类准确度（p $<$ 0.001）。稀疏编码算法的成功可能表明，执行稀疏编码，不鼓励多任务处理，并促进本地专业化的算法可以更好地捕捉底层源过程比那些允许取之不尽的本地过程，如ICA。
2016-07-01 cs.LG q-bio.NC stat.ML
Shift-Invariance Sparse Coding for Audio Classification
Stanford University（斯坦福大学）
稀疏编码是一种无监督学习算法，它只在给定未标记数据的情况下学习输入的简洁高级表示;它将每个输入表示为一组基函数的稀疏线性组合。稀疏编码最初被应用于人类视觉皮层的建模，也被证明是有用的自学学习，其中的目标是解决监督分类任务，获得额外的未标记的数据从不同的类比监督学习的问题。移位不变稀疏编码（Shift-Invariant Sparse Coding，SISC）是稀疏编码的一种扩展，它使用所有可能移位中的所有基函数来重建（通常是时间序列）输入。在本文中，我们提出了一个有效的算法学习SISC基地。我们的方法是基于迭代求解两个大的凸优化问题：第一个，计算线性系数，是一个L1正则化线性最小二乘问题，潜在的数十万个变量。现有的方法通常使用启发式选择一个小的变量子集进行优化，但我们提出了一种方法来有效地计算精确的解决方案。第二，解决基地，是一个约束线性最小二乘问题。通过在傅立叶域中对复值变量进行优化，我们减少了不同变量之间的耦合，从而有效地解决了问题。我们表明，SISC学习到的语音和音乐的高级表示为这些领域内的分类任务提供了有用的特征。当应用于分类时，在某些条件下，学习的特征优于最先进的谱特征和倒谱特征。
2012-06-20 cs.LG stat.ML
Active Predicting Coding: Brain-Inspired Reinforcement Learning for Sparse Reward Robotic Control Problems
Rochester Institute of Technology（罗切斯特理工学院）；The University of South Florida（南佛罗里达大学）
在这篇文章中，我们提出了一个反向传播自由的方法，通过神经生成编码（NGC）的神经认知计算框架的机器人控制，设计一个代理完全从强大的预测编码/处理电路，促进动态，在线学习从稀疏的奖励，体现规划推理的原则。具体地说，我们制作了一个自适应代理系统，我们称之为主动预测编码（ActPC），它平衡了内部生成的认知信号（旨在鼓励智能探索）与内部生成的工具信号（旨在鼓励目标寻求行为），以最终学习如何使用现实机器人模拟器控制各种模拟机器人系统以及复杂的机器人手臂，即，超现实机器人套件，用于块升降任务，并可以拾取和放置问题。值得注意的是，我们的实验结果表明，我们提出的ActPC代理在面对稀疏（外在）奖励信号时表现良好，并且与几种强大的基于反向传播的RL方法竞争或优于它们。
2022-09-19 cs.LG cs.NE cs.RO
Sparse Coding by Spiking Neural Networks: Convergence Theory and Computational Results
Intel Corporation（英特尔公司）
本文提出一种脉冲神经网络模型，证明其能可靠解决稀疏编码问题，为非冯·诺依曼架构计算机提供了理论保障。
2017-05-15 cs.LG cs.NA cs.NE
Approximate Gradient Coding via Sparse Random Graphs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
分布式算法经常受到落伍者效应的困扰，系统中最慢的计算节点决定了整体运行时间。最近提出了编码理论技术，通过算法冗余来减轻掉队者。编码计算和梯度编码中的先前工作主要集中在期望输出的精确恢复上。然而，在对噪声鲁棒的应用中，稍微不精确的解决方案是可以接受的，例如通过基于梯度的算法进行模型训练。在这项工作中，我们提出了计算简单的梯度代码的基础上稀疏图，保证快速和近似准确的分布式计算。我们证明，牺牲少量的准确性可以显着增加算法的鲁棒性，掉队。
2017-11-17 cs.DC cs.IT cs.LG
Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks
Department of Mathematics, Ludwig-Maximilians-Universität München（慕尼黑莱布尼茨-马克斯大学数学系）；Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；Department of Mathematics, The University of Sydney（悉尼大学数学系）
本文通过分析卷积神经网络的深度稀疏编码模型，探讨了其收敛性及在稀疏特征学习中的应用。
2025-12-04 cs.DS cs.IT cs.LG
