首页/论文/cs/0202009

arXiv cs/02020092002-02-11cs.NEcs.CV

非负稀疏编码

Non-negative sparse coding

Patrik O. Hoyer

摘要：

非负稀疏编码是一种将多变量数据分解为非负稀疏分量的方法。在本文中，我们简要地描述了这种类型的数据表示背后的动机及其与标准稀疏编码和非负矩阵分解的关系。然后，我们给出了一个简单而有效的乘法算法找到最佳值的隐藏组件。此外，我们还展示了如何从观测数据中学习基向量。仿真结果表明了该方法的有效性。

英文摘要：

Non-negative sparse coding is a method for decomposing multivariate data into non-negative sparse components. In this paper we briefly describe the motivation behind this type of data representation and its relation to standard sparse coding and non-negative matrix factorization. We then give a simple yet efficient multiplicative algorithm for finding the optimal values of the hidden components. In addition, we show how the basis vectors can be learned from the observed data. Simulations demonstrate the effectiveness of the proposed method.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于卷积稀疏编码和谐振器网络的视觉场景组合分解

Compositional Factorization of Visual Scenes with Convolutional Sparse Coding and Resonator Networks

Redwood Center for Theoretical Neuroscience, UC Berkeley（加州大学伯克利分校红木理论神经科学中心）；Université Paris-Saclay（巴黎-萨克雷大学）；Örebro University（厄勒布鲁大学）；Research Institutes of Sweden（瑞典研究院）

本文提出将卷积稀疏编码与谐振器网络结合，把图像稀疏特征编码为高维向量并分解以解析场景，提升分布式表示容量并减少搜索冲突，实现快速准确的场景分解。

2024-04-29cs.CVcs.NE

基于深度稀疏编码的无监督特征学习

Unsupervised Feature Learning by Deep Sparse Coding

Georgia Institute of Technology（佐治亚理工学院）；DeepMind Technologies（DeepMind科技公司）；Princeton University（普林斯顿大学）；The City College of New York（纽约城市学院）；University of Virginia（弗吉尼亚大学）

在本文中，我们提出了一种新的无监督特征学习框架，即深度稀疏编码（DeepSC），它将稀疏编码扩展到视觉对象识别任务的多层架构。该框架的主要创新之处在于它通过一个稀疏到密集的模块将不同层的稀疏编码器连接起来。稀疏到密集模块是局部空间池化步骤和低维嵌入过程的组合，其利用图像中的空间平滑信息。其结果是，新方法是能够学习几个层次的稀疏表示的图像捕捉功能在各种抽象层次，同时保持相邻的图像补丁之间的空间平滑度。结合来自多个层的特征表示，DeepSC在多个对象识别任务上实现了最先进的性能。

2013-12-20cs.CVcs.LGcs.NE

基于深度稀疏编码架构的分类器对深度学习可转移样本具有鲁棒性

Classifiers Based on Deep Sparse Coding Architectures are Robust to Deep Learning Transferable Examples

Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Swarthmore College（斯沃斯莫尔学院）；Villanova University（维拉诺瓦大学）

尽管深度学习近年来取得了巨大的成功，但研究人员发现了一个关键缺陷，即系统输入中微小的、难以察觉的变化可能会极大地改变输出分类。这些攻击在几乎所有现有的深度学习分类框架中都是可利用的。然而，深度稀疏编码模型对对抗性示例的敏感性尚未得到研究。在这里，我们证明了基于深度稀疏编码模型的分类器，其分类精度与各种深度神经网络模型具有竞争力，对对抗性示例具有鲁棒性，这些示例有效地欺骗了那些相同的深度学习模型。我们定量和定性地证明了深度稀疏编码模型对对抗性示例的鲁棒性来自两个关键属性。首先，由于深度稀疏编码模型学习与整个数据集的生成器相对应的一般特征，而不是用于区分特定类别的高度区分特征，因此所得分类器较少依赖于可能更容易利用的特质特征。其次，由于深度稀疏编码模型利用具有自上而下反馈的固定点吸引子动态，因此更难以找到将所得表示驱动出正确吸引子盆的输入的小变化。

2018-11-20cs.CRcs.CVcs.LG

神经回路中的稀疏无声编码

Sparse and silent coding in neural circuits

稀疏编码算法是关于找到一个线性基，其中信号可以由少量的有效（非零）系数表示。这种编码在科学和工程中有许多应用，并且被认为在神经信息处理中起重要作用。然而，由于任务的计算复杂性，只有近似解提供所需的效率（在时间方面）。正如新的结果所示，在特定条件下，存在通过最小化系数的幅度（“$l_1$ -norm”）而不是最小化特征的活动子集的大小（“$l_0$ -norm”）的有效解决方案。这些解决方案的直接神经实现是不可能的，因为它们需要\emph{a priori}对活动特征数量的了解。此外，这些方法利用重建误差的迭代重新评估，这又意味着最终的稀疏形式（具有“群体稀疏性”）只能通过形成一系列非稀疏表示来达到，这与神经系统的整体稀疏功能（“寿命稀疏性”）形成对比。在这篇文章中，我们提出了一种新的算法，它集成了我们以前的“$l_0$ -范数”模型的穗为基础的概率优化稀疏编码的想法来自新的“$l_1$ -范数”的解决方案。由此产生的算法允许神经似是而非的实施，并不需要一个确切定义的稀疏水平，因此它是适合于表示自然刺激与不同数量的功能。我们还表明，组合的方法显着扩展域中的最佳解决方案，可以找到基于“$l_1$规范”的算法。

2010-10-20cs.NE

支持终身学习的双记忆系统稀疏编码

Sparse Coding in a Dual Memory System for Lifelong Learning

Advanced Research Lab, NavInfo Europe（NavInfo Europe 高级研究实验室）；Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系）

人类有效的持续学习是由一组丰富的神经生理机制和多个记忆系统之间的相互作用实现的。大脑有效地将信息编码为非重叠的稀疏代码，这有助于更快地学习新的关联，并控制对先前关联的干扰。为了模仿DNN中的稀疏编码，我们强制执行激活稀疏性以及退出机制，该机制鼓励模型为语义相似的输入激活相似的单元，并且与语义不同的输入的激活模式重叠较少。这为我们提供了一种有效的机制来平衡功能的可重用性和干扰，这取决于跨任务的类的相似性。此外，我们采用稀疏编码的多内存重放机制。我们的方法保持了一个额外的长期语义记忆，聚合和巩固编码在工作模型的突触权重的信息。我们广泛的评估和特征分析表明，配备了这些生物启发的机制，该模型可以进一步减轻遗忘。

2022-12-28cs.AIcs.CVcs.LG

稀疏编码的简单、高效和神经算法

Simple, Efficient, and Neural Algorithms for Sparse Coding

Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）

稀疏编码是包括信号处理、神经科学和机器学习在内的许多领域中的基本任务，其中目标是学习能够实现给定数据集的稀疏表示的基础（如果存在的话）。它的标准公式是作为一个非凸优化问题，在实践中解决交替最小化的基础上的启发式。最近的工作已经产生了几个算法的稀疏编码与可证明的保证，但有些令人惊讶的是，这些都优于简单的交替最小化算法。在这里，我们给出了一个通用的框架来理解交替最小化，我们利用它来分析现有的算法，并设计新的可证明的保证。其中一些算法似乎可以在简单的神经架构上实现，这是Olshausen和Field（1997 a）引入稀疏编码的最初动机。我们还给出了第一个有效的算法稀疏编码，工程几乎达到信息理论的限制稀疏恢复不相干字典。所有以前的算法，接近或超过这个限制运行在时间指数的一些自然参数。最后，我们的算法改进了现有方法的样本复杂度。我们相信，我们的分析框架将在其他设置中使用简单的迭代算法的应用。

2015-03-02cs.DScs.LGcs.NE

更多相关论文收起更多论文

使用脉冲神经形态处理器采样二值稀疏编码QUBO模型

Sampling binary sparse coding QUBO models using a spiking neuromorphic processor

Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Harvard University, T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）

研究图像二值稀疏表示的QUBO问题，提出无监督字典学习方法并在Loihi 1芯片上通过随机神经元网络求解，证明神经形态计算能采样低能量解但需改进以竞争模拟退火。

2023-08-02cs.CVcs.ETcs.LG

稀疏编码的脉冲神经网络：收敛理论与计算结果

Sparse Coding by Spiking Neural Networks: Convergence Theory and Computational Results

Intel Corporation（英特尔公司）

本文提出一种脉冲神经网络模型，证明其能可靠解决稀疏编码问题，为非冯·诺依曼架构计算机提供了理论保障。

2017-05-15cs.LGcs.NAcs.NE

主动预测编码：脑启发强化学习在稀疏回报机器人控制中的应用

Active Predicting Coding: Brain-Inspired Reinforcement Learning for Sparse Reward Robotic Control Problems

Rochester Institute of Technology（罗切斯特理工学院）；The University of South Florida（南佛罗里达大学）

在这篇文章中，我们提出了一个反向传播自由的方法，通过神经生成编码（NGC）的神经认知计算框架的机器人控制，设计一个代理完全从强大的预测编码/处理电路，促进动态，在线学习从稀疏的奖励，体现规划推理的原则。具体地说，我们制作了一个自适应代理系统，我们称之为主动预测编码（ActPC），它平衡了内部生成的认知信号（旨在鼓励智能探索）与内部生成的工具信号（旨在鼓励目标寻求行为），以最终学习如何使用现实机器人模拟器控制各种模拟机器人系统以及复杂的机器人手臂，即，超现实机器人套件，用于块升降任务，并可以拾取和放置问题。值得注意的是，我们的实验结果表明，我们提出的ActPC代理在面对稀疏（外在）奖励信号时表现良好，并且与几种强大的基于反向传播的RL方法竞争或优于它们。

2022-09-19cs.LGcs.NEcs.RO

通过卷积神经网络的深度稀疏编码的收敛性分析

Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks

Department of Mathematics, Ludwig-Maximilians-Universität München（慕尼黑莱布尼茨-马克斯大学数学系）；Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；Department of Mathematics, The University of Sydney（悉尼大学数学系）

本文通过分析卷积神经网络的深度稀疏编码模型，探讨了其收敛性及在稀疏特征学习中的应用。

2025-12-04cs.DScs.ITcs.LG

稀疏编码：一种使用未标记数据进行高级表示的深度学习

Sparse Coding: A Deep Learning using Unlabeled Data for High - Level Representation

Chikana Govt. Arts College（奇卡纳政府文理学院）；MS University（马杜赖卡马拉杰大学）

稀疏编码算法是一种主要针对无监督特征的学习算法，用于寻找简洁的、略高于高层的输入表示，它成功地给出了一种深度学习的方法。我们的目标是使用未标记类别形式的高级表示数据来帮助无监督学习任务。与标记数据相比，未标记数据更容易获取，因为与标记数据不同，未标记数据不遵循某些特定的类标记。这确实使深度学习更广泛，适用于实际问题和学习。稀疏编码的主要问题是它使用二次损失函数和高斯噪声模式。因此，当应用二进制或整数值或其他非高斯类型的数据时，其性能非常差。因此，首先，我们提出了一个算法来解决这个问题的L1正则化凸优化算法，以允许高级别表示的未标记的数据。通过这一点，我们得出了一个最佳的解决方案，描述了一种方法，深度学习算法，通过使用稀疏代码。

2014-04-06cs.LGcs.NE