Sparse and spurious: dictionary learning with noise and outliers
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
在信号处理和机器学习社区中的一种流行方法包括将信号建模为从学习字典中选择的原子的稀疏线性组合。虽然这种范式在从图像到音频处理的各个领域取得了许多经验性的成功,但只有少数理论论据支持这些证据。特别是,稀疏编码,或稀疏字典学习,依赖于一个非凸的过程,其局部最小值尚未得到充分的分析。在本文中,我们考虑稀疏信号的概率模型,并表明,具有高概率,稀疏编码承认一个局部最小值周围的参考字典产生的信号。我们的研究考虑了过完备字典,噪声信号和可能的离群值的情况下,从而扩展了以前的工作仅限于无噪声设置和/或不完备字典。我们进行的分析是非渐近的,并且可以理解问题的关键量,例如相干性或噪声水平,如何可以相对于信号的维度,原子的数量,稀疏性和观察的数量进行缩放。
2015-08-22 cs.LG stat.ML
Multimodal Sparse Bayesian Dictionary Learning
ARM Machine Learning Research Lab(ARM机器学习研究实验室);University of California, San Diego(加州大学圣地亚哥分校)
本文讨论了多模态数据集(即从多个数据源收集的数据集)的字典学习问题。我们提出了一种算法称为多模态稀疏贝叶斯字典学习(MSBDL)。MSBDL通过联合稀疏约束利用来自所有可用数据模态的信息。底层框架为从业者提供了相当大的灵活性,并解决了现有多模态词典学习方法的许多缺点。特别是,该过程包括超参数的自动调整,并且是独特的,因为它允许每个数据模态的字典具有不同的基数,这是数据的维度在模态之间不同的情况下的一个重要特征。MSBDL是可扩展的,可用于监督学习环境。MSBDL的收敛性的理论结果和数值结果提供了证据的MSBDL合成和真实数据集上的优越性能相比,现有的方法。
2019-05-29 cs.LG stat.ML
NOODL: Provable Online Dictionary Learning and Sparse Coding
University of Minnesota – Twin Cities(明尼苏达大学双城分校);Princeton University(普林斯顿大学)
我们考虑字典学习问题,其目的是将给定数据建模为称为字典的矩阵的几列的线性组合,其中形成线性组合的稀疏权重称为系数。由于字典和系数,参数化的线性模型是未知的,相应的优化是固有的非凸。这是一个重大的挑战,直到最近,当字典学习的可证明算法被提出。然而,这些仅提供对字典的恢复的保证,而没有对系数的显式恢复保证。此外,字典中的任何估计误差不利地影响成功定位和估计系数的能力。这潜在地限制了现有可证明字典学习方法在系数恢复感兴趣的应用中的效用。为此,我们开发NOODL:一个简单的神经合理的交替基于优化的在线字典学习算法,恢复字典和系数正好在几何速率,当适当初始化。我们的算法,NOODL,也是可扩展的,适合大规模分布式实现的神经架构,我们的意思是,它只涉及简单的线性和非线性操作。最后,我们证实了这些理论结果,通过实验评估所提出的算法与目前最先进的技术。保留字:字典学习、可证明字典学习、在线字典学习、非凸、稀疏编码、支持恢复、迭代硬阈值、矩阵分解、神经架构、神经网络、noodl、稀疏表示、稀疏信号处理。
2019-08-27 cs.LG cs.NE stat.ML
Sparse Dictionary Learning for Measure-Valued Data via Linearized Optimal Transport: Efficient Algorithms and Sample Complexity
Department of Electrical and Computer Engineering, Tufts University(塔夫茨大学电气与计算机工程系);Department of Mathematics, Tufts University(塔夫茨大学数学系)
该研究提出基于线性化最优传输的测度值数据稀疏字典学习方法,结合最优传输几何与稀疏表示学习,在多模态数据上验证效用并推导泛化界,为概率测度空间的表示学习提供可扩展模型。
2026-10-12 cs.LG stat.ML
Learning Sparsely Used Overcomplete Dictionaries via Alternating Minimization
Microsoft Research(微软研究院);University of California, Irvine(加州大学欧文分校);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
我们考虑稀疏编码的问题,其中每个样本由一组字典原子的稀疏线性组合组成,任务是学习字典元素和混合系数。交替最小化是稀疏编码的一种流行的启发式算法,其中字典和系数在交替的步骤中估计,保持另一个固定。通常,通过$\ell_1$最小化来估计系数,保持字典固定,并且通过最小二乘法来估计字典,保持系数固定。在本文中,我们建立局部线性收敛的这种变体交替最小化,并建立吸引盆地的全局最优值(对应于真正的字典和系数)是$\order{1/s^2}$,其中$s$是稀疏水平,在每个样本和字典满足RIP。结合最近的结果近似字典估计,这产生可证明的保证字典元素和系数的精确恢复,当字典元素是不连贯的。
2014-07-28 cs.LG math.OC stat.ML
An Incidence Geometry approach to Dictionary Learning
University of Florida(佛罗里达大学);Google Inc.(谷歌公司)
我们研究字典学习(又名稀疏编码)的问题,获得一个稀疏表示的数据点,通过学习\emph{dictionary vectors}上的数据点可以写为稀疏的线性组合。我们认为这个问题从几何的角度来看,作为一个子空间安排的生成集,并专注于了解的情况下,当指定的子空间安排的基础超图。对于这个拟合字典学习问题,我们完全描述了相关子空间排列的组合学(即\它们的基本hypergraphs)。具体地,证明了一类几何关联系统的组合刚性型定理。该定理刻画了子空间排列的超图一般产生(a)至少一个字典(b)局部唯一字典(即,至多有限数量的隔离字典)。我们不知道组合刚性技术在字典学习甚至机器学习中的应用。我们还提供了与字典学习相关的问题的系统分类以及各种算法,它们的假设和性能。
2015-03-06 cs.LG stat.ML
Low-rank and Adaptive Sparse Signal (LASSI) Models for Highly Accelerated Dynamic Imaging
University of Michigan(密歇根大学)
基于稀疏性的方法在图像处理和成像的许多应用中已经流行。压缩感知利用变换域或字典中图像的稀疏性来改善欠采样测量的图像恢复。在动态成像逆问题的背景下,最近的研究已经证明了稀疏性和低秩技术的承诺。例如,底层数据的补丁在自适应字典域中被建模为稀疏的,并且从欠采样测量得到的图像和字典估计被称为字典盲压缩感测,或者动态图像序列被建模为从有限的测量估计的低秩和稀疏(在某些变换域中)分量的和(L+S模型)。在这项工作中,我们调查的L+S模型的数据自适应扩展,被称为LASSI,其中的时间图像序列被分解成一个低秩组件和组件的时空(3D)补丁稀疏在一些自适应字典域。我们调查各种配方和有效的方法,共同估计潜在的动态信号分量和时空字典从有限的测量。我们还获得了有效的稀疏惩罚字典盲压缩感知方法的特殊情况下,我们的LASSI方法。我们的数值实验表明,有前途的性能LASSI计划的动态磁共振图像重建从有限的k-t空间数据相比,最近的方法,如k-t SLR和L+S,并相比,建议的字典盲压缩感知方法。
2017-01-09 cs.LG stat.ML
Semi-supervised dual graph regularized dictionary learning
CEA(法国原子能和替代能源委员会);LIST(信息技术与系统实验室(CEA下属));Laboratoire AIM(AIM实验室);CNRS(法国国家科学研究中心);Paris 7(巴黎第七大学);Irfu(核物理与粒子物理研究所(CEA下属))
在本文中,我们提出了一种半监督字典学习方法,该方法使用标记和未标记数据中的信息,并联合训练嵌入稀疏代码的线性分类器。稀疏代码空间中数据的流形结构使用与局部线性嵌入方法(LLE)相同的方法来保留。这使得人们能够加强未标记数据稀疏码的预测能力。我们表明,我们的方法提供了显着的改进,比其他方法。通过在稀疏码上训练一个简单的非线性分类器作为SVM,可以进一步改善分类结果。
2018-12-11 cs.LG stat.ML
Dictionary Learning and Sparse Coding-based Denoising for High-Resolution Task Functional Connectivity MRI Analysis
Harvard University(哈佛大学);School of Engineering and Applied Sciences (SEAS)(工程与应用科学学院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
我们提出了一种新的去噪框架的任务功能磁共振成像(tfMRI)数据,通过字典学习和稀疏编码(DLSC)描绘高分辨率的空间模式的大脑功能连接。为了解决基于DLSC的无监督fMRI研究的局限性,我们在学习步骤中利用任务范式的先验知识来训练数据驱动的字典并对稀疏表示建模。我们将所提出的基于DLSC的方法应用于人类连接组计划(HCP)运动tfMRI数据集。对躯体运动神经网络中小脑神经回路功能连通性的研究表明,与基于时间非局部均值(tNLM)的去噪方法以及不去噪的情况相比,基于DLSC的去噪框架可以显著改善突出的连通性模式,这在运动区内是一致的,具有神经科学意义。实验结果表明,该方法可以为高分辨率的功能连通性分析提供重要的基础,为fMRI预处理提供了一种更好的方法。
2017-07-21 cs.LG stat.ML
Confident Kernel Sparse Coding and Dictionary Learning
CITEC cluster of excellence(CITEC卓越集群);Bielefeld University(比勒费尔德大学)
近年来,基于核的稀疏编码(K-SRC)由于其在特征空间中的非线性数据结构的有效表示而受到特别的关注。然而,现有的K-SRC方法的训练和测试优化框架之间缺乏一致性。在这项工作中,我们提出了一种新的信心K-SRC和字典学习算法(CKSC),其重点是基于其在核空间中的表示的数据的判别重建。CKSC的重点是通过加权贡献来重建每个数据样本,这些贡献对其相应的数据类别有信心。我们采用新的判别条件,将此方案应用于我们算法中的训练和测试框架。这种特定的设计增加了这些优化框架的一致性,并提高了召回阶段的区分性能。此外,CKSC直接将监督信息用于其词典学习框架中,以增强词典的区分性结构。对于实证评估,我们在DynTex++和UTKinect等多变量时间序列基准上实现了我们的CKSC算法。我们的索赔有关的优越性能的算法是合理的,通过比较其分类结果的国家的最先进的K-SRC算法。
2019-03-12 cs.LG stat.ML
Learning Dictionaries with Bounded Self-Coherence
Swiss Federal Office of Meteorology and Climatology (MeteoSwiss)(瑞士联邦气象与气候办公室(MeteoSwiss));ETH Zurich(苏黎世联邦理工学院)
学习字典中的稀疏编码已经被建立为信号去噪、源分离和一般逆问题求解的成功方法。一种字典学习方法,通过迭代地计算训练数据矩阵到字典和稀疏编码矩阵的近似因式分解,使初始字典适应于特定信号类别。学习字典的特征在于两个属性:字典对信号类的观测的相干性,以及字典原子的自相干性。信号类的高相干性使得信号观测的稀疏编码具有小的近似误差,而原子的低自相干性保证了原子恢复和稀疏编码算法的更快的残差衰减率。高信号相干性和低自相干性这两个目标通常是冲突的,因此人们根据应用寻求它们之间的折衷。我们提出了一种字典学习方法,有效地控制训练字典的自相干性,从而在最大化编码的稀疏性和近似等角紧框架之间进行权衡。
2012-10-17 cs.LG stat.ML
Dictionary Learning Strategies for Compressed Fiber Sensing Using a Probabilistic Sparse Model
提出了一种基于概率分层稀疏模型的压缩光纤传感稀疏估计和字典学习框架。为了处理严重的字典一致性,使用威布尔先验来实现选择性收缩,这可以与具有$0 < p < 1$的$p$范数约束的非凸优化相关。此外,我们利用特定的字典结构,以促进集体收缩的基础上,局部相似性模型。这以核函数的形式并入稀疏系数的联合先验密度中,从而建立马尔可夫随机场关系。近似推理是使用一种混合技术,结合汉密尔顿蒙特卡罗和吉布斯抽样。为了估计字典参数,我们追求两种策略,依赖于字典参数的确定性或概率模型。在第一种策略中,基于交替估计来估计参数。在第二种策略中,它与稀疏系数一起被联合估计。的性能进行评估比较,现有的方法在各种情况下,使用模拟和实验数据。
2016-10-21 stat.ML
Performance Limits of Dictionary Learning for Sparse Coding
我们认为字典学习的假设下,所观察到的信号可以表示为一个单一的大型字典矩阵的列的稀疏线性组合的问题。特别是,我们分析了极大极小极大风险的字典学习问题,管理的均方误差(MSE)性能的任何学习计划,无论其计算复杂性。通过一个基于Fanos不等式的信息论方法,我们给出了一个字典学习问题的极小极大风险的下界.这个下限产生了样本复杂度的表征,即,所需观测数量的下限,使得存在一致的字典学习方案。我们的界限可以与给定的学习方案的性能进行比较,从而可以表征该方法距离最佳性能有多远。
2014-06-27 stat.ML
Simultaneous Sparse Dictionary Learning and Pruning
字典学习是图像处理的前沿领域,最近在许多信号处理任务中取得了最先进的成果。这个想法是使用学习的几个原子对信号进行线性分解,通常是过度完成的字典,而不是预定义的基础。确定合适的待学习字典的大小对于该过程的精度和效率都是至关重要的,而大多数现有的字典学习算法选择的大小相当任意。在本文中,一种新的正则化方法称为分组平滑裁剪绝对偏差(GSCAD)的学习字典。该方法可以同时学习稀疏字典和选择合适的字典大小。基于交替方向乘子法(ADMM)将带非凸罚函数的联合非凸优化问题分解为两个凸优化问题,设计了一种高效的求解算法。给出了几个图像去噪的例子,并将实验结果与其他最先进的方法进行了比较。
2016-05-25 stat.ML
Sparse Coding and Dictionary Learning for Symmetric Positive Definite Matrices: A Kernel Approach
NICTA(澳大利亚国家信息与通信技术研究院);University of Queensland(昆士兰大学);Australian National University(澳大利亚国立大学)
最近的进展表明,广泛的计算机视觉问题可以更适当地解决考虑非欧几里德几何。本文研究了对称正定矩阵空间中的稀疏编码和字典学习问题,这些对称正定矩阵构成了一个黎曼流形。借助最近引入的Stein内核(与Bregman矩阵发散的对称版本有关),我们建议通过将黎曼流形嵌入到再生核Hilbert空间中来进行稀疏编码。这导致了Lasso问题的凸和核版本,可以有效地解决。此外,我们提出了一个算法学习黎曼字典(用于稀疏编码),紧密联系的斯坦内核。几个分类任务(人脸识别,纹理分类,人的重新识别)的实验表明,所提出的稀疏编码方法实现了显着的改善,在歧视的准确性,在比较国家的最先进的方法,如张量稀疏编码,黎曼局部保持投影,和局部特征的累积驱动。
2013-04-16 cs.CV cs.LG stat.ML
Sparse Signal Subspace Decomposition Based on Adaptive Over-complete Dictionary
本文提出了一种基于稀疏表示的过完备字典的子空间分解方法,称为“稀疏信号子空间分解”(或3SD)方法。该方法利用了一种新的标准的基础上出现的原子的字典的数据集的频率。该准则充分反映了信号的内在规律性,适用于相关基组上的子空间分解。3SD方法将方差、稀疏性和分量频率标准结合到一个统一的框架中。它利用了过完备字典的优点,保留了细节信息,利用子空间分解的优点,抑制了强噪声。3SD方法非常简单,具有线性检索操作。它不需要任何关于分布或参数的先验知识。当应用于图像去噪时,它在保持细节和抑制强噪声方面表现出很高的性能。
2016-10-27 stat.ML
Sparse coding for multitask and transfer learning
University College London(伦敦大学学院)
我们研究了在多任务和迁移学习的背景下使用稀疏编码和字典学习。我们的学习方法的中心假设是,任务参数很好地近似于高维或无限维空间上的字典原子的稀疏线性组合。这个假设,以及多任务和迁移学习设置中的大量可用数据,允许对字典进行有原则的选择。我们提供了这种方法的泛化误差的界限,这两种设置。在一个合成数据集和两个真实数据集上的数值实验表明,我们的方法优于单任务学习,以前的方法基于正交和密集表示的任务和相关的方法学习任务分组。
2014-06-16 cs.LG stat.ML
On The Sample Complexity of Sparse Dictionary Learning
在合成模型中,信号被表示为来自字典的原子的稀疏组合。字典学习描述了针对给定训练样本集的底层字典的获取过程。虽然理想情况下,这将通过优化训练数据的潜在分布上的因子的期望来实现,但在实践中,关于分布的必要信息不可用。因此,在现实世界的应用中,它是通过最小化可用样本的经验平均值来实现的。本文的主要目标是提供一个样本的复杂性估计,控制在何种程度上的经验平均偏离成本函数。然后,该估计提供了对所学习的字典的表示的准确性的适当估计。该方法验证了作者在Gribonval等人的《字典学习和其他矩阵分解的样本复杂性》中提出的一般结果,并给出了字典学习的样本复杂性的更具体的界限。我们涵盖了各种稀疏性措施的学习过程中。
2014-03-20 stat.ML
Dictionary Learning: The Complexity of Learning Sparse Superposed Features with Feedback
Department of Computer Science \& Engineering, University of California, San Diego, USA
通过反馈机制,研究在稀疏设置下学习字典特征的复杂性,并验证了理论结果在特征恢复和字典提取中的有效性。
2025-12-28 cs.AI cs.LG stat.ML
Stable and Interpretable Unrolled Dictionary Learning
Harvard University(哈佛大学);School of Engineering and Applied Sciences(工程与应用科学学院)
字典学习问题将数据表示为几个原子的组合,长期以来一直是统计和信号处理中学习表示的流行方法。最流行的字典学习算法交替稀疏编码和字典更新的步骤,和丰富的文献已经研究了其理论收敛性。字典学习的成功依赖于对字典的“良好”初始估计的访问以及稀疏编码步骤提供代码的无偏估计的能力。展开稀疏编码网络的日益普及导致了经验发现,通过这种网络进行字典学习的反向传播。我们通过PUDLE(一种可证明的展开式词典学习方法)对这些实证结果进行了理论分析。我们提供的网络初始化和数据分布足以恢复和保存的支持的潜在代码的条件。此外,我们还解决了两个挑战:第一,香草展开稀疏编码计算有偏的代码估计,第二,反向传播学习过程中的梯度可能变得不稳定。我们展示了减少前向传递中代码估计偏差和后向传递中字典估计偏差的方法。我们提出的策略,以解决学习不稳定的调整网络参数和修改的损失函数。总的来说,我们强调了损失,展开和反向传播对收敛的影响。我们通过合成和图像去噪实验来补充我们的发现。最后,我们通过建立网络权重、输出和训练集之间的数学关系,展示了PUDLE的可解释性,这是基于迭代优化设计深度网络的驱动因素。
2022-08-02 cs.LG eess.SP stat.ML
Dictionary learning for fast classification based on soft-thresholding
Ecole Polytechnique Federale de Lausanne (EPFL)(洛桑联邦理工学院);The University of Edinburgh(爱丁堡大学)
基于稀疏表示的分类器最近被证明在许多视觉识别和分类任务中提供了优异的结果。然而,在测试时计算稀疏表示的高成本是限制这些方法在大规模问题中或在计算能力受限的情况下的适用性的主要障碍。我们认为在本文中一个简单而有效的替代稀疏编码的特征提取。我们研究的分类方案,适用于软阈值非线性映射的字典,其次是线性分类器。提出了一种新的监督字典学习算法适合这种低复杂度的分类架构。字典学习问题,联合学习字典和线性分类器,被转换为一个凸(DC)的差异规划和有效地解决了迭代DC求解器。我们在几个数据集上进行实验,并表明我们的学习算法,利用分类问题的结构优于一般的学习过程。我们的简单分类器的基础上软阈值也与最近的稀疏编码分类器,当字典学习适当的竞争。与其他分类器相比,所采用的分类方案在测试阶段还需要更少的计算时间。该方案显示了充分训练的软阈值映射分类的潜力,并为视觉问题的非常有效的分类方法的发展铺平了道路。
2014-10-02 cs.CV cs.LG stat.ML
A Clustering Approach to Learn Sparsely-Used Overcomplete Dictionaries
Microsoft Research(微软研究院);University of California, Irvine(加州大学欧文分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑在稀疏编码的背景下学习过完备字典的问题,其中每个样本选择字典元素的稀疏子集。我们的主要结果是一个战略,大约恢复未知的字典使用一个有效的算法。我们的算法是一个聚类式的过程,其中每个集群是用来估计一个字典元素。通常可以进一步清理得到的解决方案,以获得高精度的估计,我们提供了一个简单的情况下,$\ell_1$ -正则化回归可以用于这样的第二阶段。
2014-07-07 cs.LG math.OC stat.ML
Convolutional Dictionary Learning: A Comparative Review and New Algorithms
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
卷积稀疏表示是具有字典的稀疏表示的一种形式,其结构等效于具有一组线性滤波器的卷积。虽然最近已经为卷积稀疏编码问题开发了有效的算法,但相应的字典学习问题实质上更具挑战性。此外,虽然已经提出了一些不同的方法,它们之间的彻底比较的情况下,很难确定它们中的哪一个代表了目前的最新技术水平。目前的工作既解决了这一缺陷,并提出了一些新的方法,在某些情况下优于现有的。一组全面的性能比较表明,现有的和拟议的方法之间的性能差异非常广泛,并清楚地确定那些是最有效的。
2018-09-05 cs.LG eess.IV stat.ML
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
非负矩阵分解(NMF)与组稀疏约束的概率图形模型,并制定,假设一些观察数据已产生的模型,一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时,NMF最常用作无监督特征提取器,然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念(其是系数的稀疏性的基础)之后,所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典,其不仅旨在忠实地表示数据,而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明,在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
From STLS to Projection-based Dictionary Selection in Sparse Regression for System Identification
AI Institute in Dynamic Systems, Department of Mechanical Engineering, University of Washington(动态系统人工智能研究所,机械工程系,华盛顿大学);Department of Mechanical Engineering, University of Hawai‘i at Mānoa(机械工程系,夏威夷大学马诺阿分校);Departamento de Matemática e Computação, Faculdade de Ciências e Tecnologia, Universidade Estadual Paulista “Júlio de Mesquita Filho”(数学与计算系,科技学院,保罗斯州立大学“朱利奥·梅斯奎塔·弗洛雷斯”分校)
本文提出基于评分的字典选择方法,提升动态系统识别的准确性和可解释性,适用于SINDy算法的改进。
2025-12-16 cs.LG math.OC physics.comp-ph
A Dictionary-Based Generalization of Robust PCA with Applications to Target Localization in Hyperspectral Imaging
University of Minnesota(明尼苏达大学);Princeton University(普林斯顿大学)
我们认为分解的数据矩阵假设是一个低秩矩阵和一个组成部分,这是稀疏的,在一个已知的字典,使用凸分层方法的叠加。我们考虑两个稀疏结构的字典稀疏分量的稀疏因子,即条目和列稀疏,并提供了一个统一的分析,包括不完全和过完全字典的情况下,表明组成矩阵可以成功地恢复在一些相对温和的条件下的不一致性,稀疏性和秩。我们利用这些结果来定位目标的高光谱(HS)图像的基础上,他们的光谱签名(S)使用先验已知的特征光谱响应的目标。我们证实了我们的理论结果,并通过实验评估和相关技术的比较分析我们的方法的目标定位性能。
2020-06-30 cs.LG math.OC stat.ML
On the Reconstruction Risk of Convolutional Sparse Dictionary Learning
Carnegie Mellon University(卡内基梅隆大学)
稀疏字典学习(SDL)已经成为一种流行的方法,用于自适应地识别数据集的简约表示,这是机器学习和信号处理中的一个基本问题。虽然SDL的大多数工作都假设独立和相同分布的样本的训练数据集,但称为卷积稀疏字典学习(CSDL)的变体放宽了这一假设,允许更一般的顺序数据源,如时间序列或其他相关数据。虽然最近的工作已经探讨了经典SDL的统计特性,CSDL的统计特性仍然没有得到研究。本文开始研究这一点,确定极小极大收敛速度的CSDL重建风险方面,既上限的风险建立CSDL估计和证明匹配的信息理论下界。我们的研究结果表明,重建风险的一致性在“超稀疏”设置中是可能的,其中稀疏性(即,特征出现的次数)在$o(N)$中,就训练序列的长度N而言。值得注意的是,我们的结果做出了非常弱的假设,允许任意字典和相关测量噪声。最后,我们验证了我们的理论结果与数值实验的合成数据。
2018-02-24 cs.IT cs.LG math.IT
Multi-Layer Convolutional Sparse Modeling: Pursuit and Dictionary Learning
Technion-Israel Institute of Technology(以色列理工学院);Stanford University(斯坦福大学)
最近提出的多层卷积稀疏编码(ML-CSC)模型,由级联的卷积稀疏层,提供了一个新的解释卷积神经网络(CNN)。在这个框架下,CNN中的前向传递的计算相当于一个追踪算法,旨在从给定的输入信号中估计嵌套的稀疏表示向量(或特征图)。尽管已经成为CNN和稀疏建模之间的关键联系,但仍然缺乏对ML-CSC的更深入理解:没有追踪算法可以精确地服务于这个模型,也没有条件保证非空模型。虽然可以容易地获得近似满足ML-CSC约束的信号,但仍然不清楚如何简单地从模型中采样,更重要的是,如何从真实数据中训练卷积滤波器。在这项工作中,我们提出了一个健全的追求算法的ML-CSC模型,采用投影方法。我们提供了新的和改进的边界上的稳定性的解决方案,这样的追求,我们分析了不同的实际替代方案,以实现这在实践中。我们证明了滤波器的训练对于模型中的非平凡信号至关重要,并且我们推导出一种在线算法来从真实数据中学习字典,有效地产生级联稀疏卷积层。最后,但并非最不重要的是,我们证明了ML-CSC模型在无监督环境中的几个应用程序的适用性,提供了有竞争力的结果。我们的工作代表了矩阵分解,稀疏字典学习和稀疏自动编码器之间的桥梁,我们详细分析了这些连接。
2018-06-30 cs.CV cs.LG stat.ML
Semi-blind Source Separation via Sparse Representations and Online Dictionary Learning
University of Minnesota – Twin Cities(明尼苏达大学双城分校)
本文研究了半盲单通道声源分离问题。我们的具体目标是分离一个源,其局部结构是近似已知的,从另一个先验的未指定的背景源,只给出一个单一的线性组合的两个源。我们提出了一个分离技术的基础上,沿着最近的努力在稀疏表示和字典学习的局部稀疏近似。我们的程序的一个关键特征是字典的在线学习(仅使用数据本身)来稀疏地建模背景源,这有助于将其与部分已知的源分离。我们的方法是适用于声源分离的问题,在各种应用领域,在这里,我们证明了我们提出的方法通过模拟的风格化的音频声源分离任务的性能。
2015-01-25 cs.SD stat.AP stat.ML
Topological Dictionary Learning
提出一种面向正则胞腔复形上拓扑信号的字典学习方法,利用 Hodge Laplacians 多项式构造局部化谱滤波器框架,并通过交替迭代联合推断胞腔复形、字典系数与稀疏表示。
2025-03-14 eess.SP stat.ML
Submodular meets Spectral: Greedy Algorithms for Subset Selection, Sparse Approximation and Dictionary Selection
我们研究了从一个大集合中选择k个随机变量的子集,以获得另一个感兴趣的变量的最佳线性预测的问题。这个问题可以在特征选择和稀疏近似的上下文中查看。我们分析了广泛使用的贪婪算法的性能,使用子模函数和谱分析的最大化的见解。我们引入子模块率作为一个关键量,以帮助理解为什么贪婪算法即使在变量高度相关的情况下也能表现良好。使用我们的技术,我们得到最强的已知近似保证这个问题,无论是在子模块比和最小的k-稀疏特征值的协方差阵。我们进一步证明了我们的技术的广泛适用性,通过分析贪婪算法的字典选择问题,并显着提高以前已知的保证。我们的理论分析是补充现实世界和合成数据集上的实验,实验表明,子模块率是一个更强的预测贪婪算法的性能比其他光谱参数。
2011-02-25 cs.DS stat.ML
Minimax Lower Bounds for Kronecker-Structured Dictionary Learning
Rutgers University(罗格斯大学)
字典学习是估计提供测量/收集的信号或数据的稀疏表示的原子元素的集合的问题。本文通过证明极大极小风险的下界,发现了张量数据估计字典的样本复杂性的根本限制。这个下限取决于张量的维度和生成模型的参数。本文的重点是二阶张量数据,与基础的字典构造两个较小的字典和观测数据的字典原子通过高斯白噪声观察到的稀疏线性组合的克罗内克积。在这方面,本文提供了一个一般的最小最大风险的下限,并采用稀疏和高斯系数模型的等价结果的证明技术。报告的结果表明,张量数据的字典学习的样本复杂度可以显着低于非结构化数据。
2016-05-17 cs.IT cs.LG math.IT
An MDL framework for sparse coding and dictionary learning
从信号处理到统计推断和机器学习,稀疏信号建模与学习过完备字典的能力已经在各种应用和领域中得到了证明。然而,这些模型的统计特性,如欠拟合或过拟合给定的数据集,仍然没有很好地表征在文献中。因此,稀疏建模的成功取决于为每个数据和应用程序手动调整关键参数。这项工作的目的是解决这一问题,通过提供一个实际和客观的表征稀疏模型的最小描述长度(MDL)的原则-一个完善的信息理论的方法来选择模型的统计推断。由此产生的框架派生出一个家庭的有效稀疏编码和字典学习算法,凭借MDL原则,是完全无参数。此外,这种框架允许将额外的先验信息纳入现有模型,例如马尔可夫依赖关系,或者以自然的方式定义全新的问题公式,包括矩阵分析领域。这些优点将被证明与经典的图像去噪和分类问题的无参数算法,并在视频应用中的低秩矩阵恢复。
2011-10-11 cs.IT math.IT stat.ML
A Hebbian/Anti-Hebbian Network for Online Sparse Dictionary Learning Derived from Symmetric Matrix Factorization
Olshausen和Field(OF)提出,初级视觉皮层(V1)中的神经计算可以部分地通过稀疏字典学习来建模。通过最小化正则化表示误差,他们推导出一种在线算法,该算法从与生理实验一致的自然图像集合中学习Gabor滤波器感受野。虽然OF算法可以映射到单层神经网络中的动态和突触可塑性,但导出的学习规则是非局部的-突触权重更新取决于神经元的活动,而不仅仅是突触前和突触后的神经元-因此在生物学上是不可信的。在这里,为了克服这个问题,我们从一个新的成本函数-输入的相似性矩阵的对称因式分解的正则化错误中获得稀疏字典学习。我们的算法映射到一个神经网络的相同架构的OF,但只使用生物合理的本地学习规则。当在自然图像上训练时,我们的网络学习Gabor滤波器感受野,并再现OF网络中硬连接的突触权重之间的相关性。因此,在线对称矩阵分解可以作为神经计算的算法理论。
2015-11-30 cs.NE q-bio.NC stat.ML
On the uniqueness and stability of dictionaries for sparse representation of noisy signals
学习最佳字典稀疏编码暴露了许多自然信号的特征稀疏功能。然而,缺乏在存在噪声的情况下对这些特征的稳定性的普遍保证。在这里,我们提供了非常一般的条件,保证当字典产生的稀疏编码是唯一的和稳定的测量或建模误差。我们证明了一些或所有原始字典元素是可恢复的噪声数据,即使字典不满足火花条件,其大小被高估,或只有多项式数量的不同的稀疏支持出现在数据中。重要的是,我们得到这些保证,而不需要任何限制恢复字典超出其大小的自然上限。我们的研究结果也产生了一个有效的程序足以确认,如果一个建议的解决方案的字典学习问题是唯一的范围内相称的噪音。我们建议应用于数据分析,工程和神经科学,并结束了我们的工作留下的一些剩余的挑战。
2019-05-14 cs.IT math.IT stat.ML
Deep learning based dictionary learning and tomographic image reconstruction
KTH Royal Institute of Technology(瑞典皇家理工学院);Philips Research(飞利浦研究院)
本文提出一种结合稀疏信号处理与深度学习的临床低剂量层析图像重建方法,将字典学习解释为分布对齐过程并证明其类似变分自编码器,在CT重建中取得与先进方法相当的竞争力。
2021-08-26 cs.CV cs.LG cs.NE
Neurogenesis-Inspired Dictionary Learning: Online Model Adaption in a Changing World
University of Southern California(南加州大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在本文中,我们专注于在线表示学习在非平稳环境中,可能需要不断适应的模型架构。我们提出了一种新的在线字典学习(稀疏编码)框架,它包含了添加和删除隐藏单元(字典元素),并受到海马齿状回中成人神经发生现象的启发,已知与改善认知功能和适应新环境有关。在在线学习设置中,新的输入实例分批顺序到达,神经元出生通过添加具有随机初始权重的新单元(随机字典元素)来实现;新单元的数量由字典的当前性能(表示误差)确定,较高的误差导致出生率增加。神经元死亡是通过在我们的在线交替最小化方案的每次迭代中对块坐标下降优化中的字典施加l1/l2正则化(组稀疏性)来实现的,该方案在代码和字典更新之间迭代。最后,通过在字典元素中引入稀疏性,便于隐藏单元连接自适应。我们对几个真实数据集(图像和语言)以及合成数据的经验评估表明,在非平稳数据的情况下,所提出的方法可以大大优于Mairal等人(2009)的最先进的固定大小(非自适应)在线稀疏编码。此外,我们识别数据的某些属性(例如,具有几乎不重叠的支持的稀疏输入)和模型(例如,字典稀疏性)与这样的改进相关联。
2017-02-19 cs.AI cs.CV cs.LG
Self-Dictionary Sparse Regression for Hyperspectral Unmixing: Greedy Pursuit and Pure Pixel Search are Related
本文考虑了最近出现的高光谱解混配方的基础上稀疏回归的自字典多测量向量(SD-MMV)模型,其中测量的高光谱像素被用作字典。在纯像素假设下操作,这种SD-MMV形式主义是特殊的,因为它允许同时识别端元光谱特征和端元的数量。以前的SD-MMV研究主要集中在凸松弛。在这项研究中,我们探讨了贪婪追求的替代方案,它通常提供了高效和简单的算法。特别是,我们设计了一个贪婪的SD-MMV算法使用同时正交匹配追踪。有趣的是,所提出的贪婪算法被证明是密切相关的一些现有的纯像素搜索算法,特别是,连续投影算法(SPA)。因此,SD-MMV和纯像素搜索之间的联系被揭示出来。然后,我们进行精确的恢复分析,并证明所提出的贪婪算法是强大的噪声-包括其识别的(未知)数量的端元-在一个足够低的噪声水平。通过仿真实验和实际数据实验验证了该算法的辨识性能。
2015-03-03 cs.IT math.IT math.OC