Can we allow linear dependencies in the dictionary in the sparse synthesis framework?
利用稀疏先验从给定的线性测量集合中恢复信号是近年来的一个主要研究课题。在这个模型中,假设信号在给定的字典下具有稀疏表示。处理这个主题的大部分工作都集中在信号表示的重建上,作为恢复信号本身的手段。这种方法迫使字典具有低一致性,并且在其列之间没有线性依赖关系。最近,一系列的贡献,专注于信号恢复使用的分析模型发现,线性依赖关系的分析字典实际上是允许的和有益的。在本文中,我们从理论上表明,同样适用于信号恢复的合成情况下的l0-合成最小化问题。此外,我们证明经验的相关性,我们的结论恢复信号使用l1-松弛。
2013-03-22 cs.IT math.IT
One-Bit Compressive Sensing of Dictionary-Sparse Signals
一位压缩感知扩展了稀疏恢复的范围,表明稀疏信号可以准确地重建,即使当它们的线性测量受到二进制样本的极端量化方案-只有每个线性测量的符号被保持。现有的一比特压缩感知的结果依赖于这样的假设,即感兴趣的信号在某个固定的正交基中是稀疏的。然而,在大多数实际应用中,信号相对于过完备字典是稀疏的,而不是基。在经典压缩感知设置中,已经有大量活动在这种广义稀疏模型下获得恢复保证。在这里,我们将一位框架扩展到这个重要的模型,提供了字典稀疏下的一位压缩感知的统一理论。具体来说,我们分析了几种不同的算法-基于凸规划和硬阈值-并表明,在自然的假设下的传感矩阵(满足高斯矩阵),这些算法可以有效地恢复分析字典稀疏信号的一位模型。
2016-06-24 cs.IT math.IT
Trigonometric dictionary based codec for music compression with high quality recovery
Aston University(阿斯顿大学)
提出了一种用于音乐信号压缩的编解码器。该方法属于变换有损压缩类。它被认为是应用于高质量的恢复范围。这种变换依赖于对音乐信号构造高质量稀疏近似的能力,赋予了编解码器以其独特的特征。这是通过一个冗余的三角字典和一个专用的追求策略。该方法的潜力是通过与OGG Vorbis格式的比较来说明的,在一个由旋律音乐片段组成的样本上。该比较证明了对于相同质量的解压缩信号,压缩性能的显著改善。
2015-12-14 cs.IT cs.SD math.IT
Sparse Superposition Codes with Binomial Dictionary are Capacity-Achieving with Maximum Likelihood Decoding
本文证明稀疏叠加码在二项式分布字典下,通过最大似然译码仍可渐近达到加性高斯白噪声信道的容量,推广了先前基于伯努利分布的结果。
2025-04-19 cs.IT math.IT
Dictionary Learning Based Sparse Channel Representation and Estimation for FDD Massive MIMO Systems
本文研究了FDD Massive MIMO系统的上下行信道估计问题。通过利用稀疏恢复和压缩感知算法,我们能够提高上/下行链路信道估计的准确性,并减少上/下行链路导频符号的数量。这种成功的信道估计建立在信道可以在某个基/字典下稀疏地表示的假设之上。以前的作品模型的通道使用一些预定义的基础/字典,而在这项工作中,我们提出了一个基于字典学习的通道模型,这样的字典是从全面收集的通道测量。学习的字典专门适应于小区特性,并促进更有效和鲁棒的信道表示,这反过来又提高了信道估计的性能。此外,我们通过观察上/下行链路传输之间的AOA/AOD的互易性,将基于字典学习的信道模型扩展到联合上行/下行链路学习框架中,并提出了一种联合信道估计算法,该算法结合了上行和下行接收的训练信号,以获得更准确的信道估计。换句话说,可以通过利用来自更简单的上行链路训练的信息来减少作为FDD Massive MIMO系统中的瓶颈的下行链路训练开销。
2018-05-31 cs.IT math.IT
Sparse Phase Retrieval with Redundant Dictionary via $\ell_q (0<q\le 1)$-Analysis Model
本文将稀疏相位恢复中 ℓ_1-分析模型的 NSP 与 S-DRIP 条件推广到 ℓ_q (0<q≤1)-分析模型,给出无噪声精确恢复与含噪稳定恢复的新条件,并补充了 t<4/3 时的 S-DRIP 结果。
2025-06-05 cs.IT math.IT
Signal Space CoSaMP for Sparse Recovery with Redundant Dictionaries
压缩感知(CS)最近已经成为一个强大的框架,用于获取稀疏信号。CS文献的大部分集中在所获取的信号在正交基中具有稀疏或可压缩表示的情况。然而,在实践中,有许多信号不能使用正交基稀疏表示或近似,但在冗余字典中具有稀疏表示。CS中的标准结果有时可以扩展到处理这种情况,只要字典足够不连贯或条件良好,但这些方法无法解决真正冗余或过完备字典的情况。在本文中,我们描述了一个变种的迭代恢复算法CoSaMP这个更具挑战性的设置。我们利用D-RIP,传感矩阵的条件类似于著名的限制等距属性。与以前的工作相比,该方法和分析是“以信号为中心”的,也就是说,它们是面向恢复信号,而不是其字典系数。假设我们有一个接近最佳的计划,在信号空间中的向量投影到候选稀疏信号的模型家庭,我们提供可证明的恢复保证。开发一个实用的算法,可以证明计算所需的接近最佳的预测仍然是一个重要的开放的问题,但我们包括模拟结果,使用各种经验表现出优越的性能,以传统的恢复算法。
2013-06-21 cs.IT math.IT
Recovery of Sparsely Corrupted Signals
我们研究了在一般情况下(即,可能是冗余的或不完整的)字典,该字典被允许另一个通用字典中的稀疏表示的加性噪声破坏。这种设置覆盖了广泛的应用,例如图像修补、超分辨率、信号分离和被例如以下损害的信号的恢复:削波、脉冲噪声或窄带干扰。我们提出了一种新的不确定性关系的基础上对一般字典的确定性恢复保证,我们提供了相应的切实可行的恢复算法。我们发现的恢复保证取决于信号和噪声稀疏水平,所涉及的字典的相干参数,以及关于信号和噪声支持集的先验知识的量。
2011-12-07 cs.IT math.IT
Greedy Signal Space Recovery Algorithm with Overcomplete Dictionaries in Compressive Sensing
压缩感知(CS)是一种新的模式,有效地获取信号,具有稀疏表示在某一领域。传统上,CS提供了许多方法用于在正交基上的信号恢复。然而,现代应用程序已经引发了相关方法的出现,信号不是稀疏的正交基,但在一些任意的,也许是高度过完备的,字典,特别是由于他们的潜力,以产生不同种类的稀疏表示的信号。为此,我们应用信号空间贪婪方法,它依赖于最佳地将信号投影到少量字典原子上的能力,以解决这种设置中的信号恢复问题。我们描述了一个广义的迭代恢复算法称为信号空间子空间追踪(SSSP),这个更具挑战性的设置。在这里,使用字典限制等距属性(D-RIP),而不是经典的RIP,我们推导出所需的测量次数的下限,然后提供算法的收敛性证明。该算法在有噪声和无噪声测量中具有低的计算复杂性,并提供高的恢复精度。仿真结果表明,该算法优于现有的恢复算法。
2019-05-07 cs.IT math.IT
Exact Recovery of Sparsely-Used Dictionaries
Yale University(耶鲁大学);Columbia University(哥伦比亚大学)
我们考虑学习稀疏使用的字典与任意平方字典和随机,稀疏系数矩阵的问题。我们证明了$O (n \log n)$样本是足够的唯一确定的系数矩阵。在此基础上,我们设计了一个多项式时间的稀疏字典精确恢复算法(ER-SpUD),并证明了当系数矩阵足够稀疏时,该算法可以恢复字典和系数矩阵。仿真结果表明,ER-SpUD揭示了真正的字典以及系数的概率高于许多国家的最先进的算法。
2012-06-26 cs.IT cs.LG math.IT
Sparse Time-Frequency decomposition by dictionary learning
在本文中,我们提出了一种时频分析的方法来获得瞬时频率和相应的分解,通过解决一个优化问题。在这个优化问题中,分解信号的基础是未知的。相反,它适应于信号,并作为优化问题的一部分被确定。从这个意义上说,这个优化问题可以看作是一个字典学习问题。这个字典学习问题通过使用增广拉格朗日乘子方法(ALM)迭代地解决。我们进一步加快收敛的ALM方法在每一个迭代,通过使用快速小波变换。我们应用我们的方法分解几个信号,包括信号与不良的尺度分离,信号与离群值和噪声污染和一个真正的信号。结果表明,该方法可以准确地恢复出瞬态频率和固有模态函数。
2014-10-11 cs.IT math.IT
Blind Compressed Sensing Over a Structured Union of Subspaces
本文讨论了基于压缩测量的同时信号恢复和字典学习的问题。在假设未知信号来自少量不相交子空间的联合的情况下,利用多个传感矩阵联合分析多个信号。该问题例如在图像修补应用中是重要的,其中多个信号由取自整个图像的(不完整的)图像块构成。这项工作扩展了标准字典学习和块稀疏字典优化,通过考虑压缩测量,例如,数据不完整)。通过使用多个感知矩阵和放松对学习字典的一些限制,也推广了盲压缩感知的先前工作。利用矩阵完成的背景下开发的结果,它被证明是字典和信号可以恢复压缩测量的概率很高。解是唯一的,直到字典原子的块排列和可逆线性变换。的恢复是视情况而定的测量每个信号的数量和信号的数量足够大,这些数量的界限推导。此外,本文提出了一种计算上实用的算法,进行字典学习和信号恢复,并建立其收敛到局部最优的条件。图像修补的实验结果证明了该方法的有效性。
2011-03-12 cs.IT math.IT
Sparse Linear Representation
本文研究了一个信号在多大程度上可以用来自过完备字典的参考信号的稀疏线性组合来表示的问题。当字典大小在信号的维度上是指数时,则最优失真的精确表征被给出为字典大小指数和线性表示的参考信号的数目的函数。粗略地说,如果字典的大小是指数级的,那么每个信号都是稀疏的,不管指数有多小。此外,一个类似于匹配追踪的迭代法,在每个阶段连续找到最佳参考信号,给出了渐近最优表示。这种方法本质上等价于多描述的逐次加细,并为白高斯源的逐次加细性提供了一种简单的替代证明。
2009-05-14 cs.IT math.IT
Sparse Bayesian Dictionary Learning with a Gaussian Hierarchical Model
University of Electronic Science and Technology of China(电子科技大学);Stevens Institute of Technology(史蒂文斯理工学院)
我们考虑一个字典学习问题,其目标是设计一个字典,使得信号在学习过的字典上具有稀疏或近似稀疏表示。这样的问题发现了各种各样的应用,如图像去噪,特征提取等,在本文中,我们提出了一种新的分层贝叶斯模型的字典学习,其中高斯逆伽玛分层先验是用来促进稀疏的表示。合适的先验也被放置在字典和噪声方差上,使得它们可以从数据中合理地推断出来。基于层次模型,提出了贝叶斯推理的变分贝叶斯方法和吉布斯抽样方法。所提出的方法的优点是,它们不需要噪声方差\emph{a priori}的知识。数值结果表明,所提出的方法是能够学习字典的准确性比现有的方法,特别是对于有一个有限数量的训练信号的情况下。
2015-03-07 cs.IT cs.LG math.IT
Matrix Coherency Graph: A Tool for Improving Sparse Coding Performance
精确恢复的稀疏解的欠定线性方程组意味着充分搜索字典的所有可能的子集,这是计算上难以处理的,而l1最小化将做的工作时,一个限制等距属性的字典。然而,实际的稀疏恢复算法可能无法恢复系数的向量,即使字典偏离RIP只有轻微的。为了在更广泛的意义上享受l1最小化保证,提出了一种基于全搜索和l1最小化相结合的方法。这个想法是基于划分字典的原子,在某种意义上是良好的条件和那些是病态的。受此启发,本文提出了一种基于字典结构的抽取工具--矩阵相干图。该工具可用于减少稀疏编码算法的贪婪性,使恢复更可靠。我们对IRLS算法进行了改进,仿真结果表明,改进后的算法性能明显优于原算法。
2014-11-30 cs.IT math.IT
Estimating Sparse Signals Using Integrated Wideband Dictionaries
在本文中,我们介绍了一个宽带字典框架估计稀疏信号。通过制定跨越所考虑的参数空间的频带的集成字典元素,可以有效地找到并丢弃在信号中不活跃的参数空间的大部分。在每次迭代之后,字典的零值部分可以被丢弃以允许围绕活动元素形成细化的字典,从而导致在随后的迭代中使用缩放的字典。与直接形成跨越整个参数空间的较大字典或使用标准字典元素执行缩放过程相比,实现该方案允许以低得多的计算成本进行更准确的估计。与传统字典不同,宽带字典允许使用具有比可用样本的数量更少的元素的字典,而不损失分辨率。该技术可用于一维和多维信号,并可用于完善几个传统的稀疏估计,在这里示出的LASSO和SPICE估计。数值例子说明了改进的性能。
2017-10-15 cs.IT math.IT stat.ME
An Improved Analysis of Least Squares Superposition Codes with Bernoulli Dictionary
对于加性高斯白噪声信道,在平均功率受限的情况下,Barron和Joseph在2010年提出的稀疏叠加码可以达到该容量。虽然原始稀疏叠加码的码字是用从高斯分布绘制的字典矩阵制成的,但我们考虑它是从伯努利分布绘制的情况。我们使用最小二乘解码对其块错误概率进行了改进,这比我们之前在2014年的结果更加简化和严格。
2018-01-09 cs.IT math.IT
Recovery of Coherent Data via Low-Rank Dictionary Pursuit
Cornell University(康奈尔大学);Rutgers University(罗格斯大学)
最近建立的RPCA方法为我们提供了一个方便的方法来恢复低秩矩阵从严重损坏的观察。虽然RPCA在理论上很优雅,在现实中很强大,但它可能不是低秩矩阵恢复问题的最终解决方案。事实上,即使数据是严格低秩的,它的性能也可能不完美。这是因为传统的RPCA忽略了在现代应用中普遍存在的数据的聚类结构。随着聚类数目的增加,数据的一致性不断增强,RPCA的恢复性能随之下降。我们表明,连贯数据(即,具有高一致性的数据)可以通过低秩表示(LRR)来缓解,只要LRR中的字典被适当地配置。更确切地说,我们从数学上证明,如果字典本身是低秩的,那么LRR是免疫的相干参数,增加了底层的集群数量。这为处理相干数据提供了一个基本原则。随后,我们设计了一个实用的算法,以获得适当的字典在无监督的环境。我们对随机生成矩阵的大量实验验证了我们的说法。
2014-07-16 cs.IT cs.LG math.IT
On the Computational Intractability of Exact and Approximate Dictionary Learning
TU Darmstadt(达姆施塔特工业大学)
在过去的十年中,通过线性观测的信号向量的有效稀疏编码和重构受到了极大的关注。在这种情况下,从用于稀疏表示的某些信号类别的训练数据集合中自动学习合适的基或过完备字典已经证明对于实际信号处理应用特别重要。大多数流行的字典学习算法在每次迭代中都涉及NP难稀疏恢复问题,这可能会给出一些关于字典学习复杂性的指示,但并不构成计算困难性的实际证明。在这篇技术笔记中,我们证明了学习一个字典,用它可以尽可能稀疏地表示一组给定的训练信号确实是NP困难的。此外,我们还建立了近似的解决方案的最佳稀疏水平的大因素内的硬度。此外,我们给出了NP-硬度和非近似性的结果,最近的字典学习变化称为传感器排列问题。在此过程中,我们还获得了一个新的非近似性结果的经典稀疏恢复问题的压缩感知。
2014-08-03 cs.IT cs.LG math.IT
Note on RIP-based Co-sparse Analysis
在过去的几年里,有越来越多的兴趣恢复信号从欠采样数据,这些信号是稀疏的一些正交字典或紧的框架下,这被称为稀疏合成模型。最近,它的对应物,即,稀疏分析模型,也引起了研究者的关注,许多实际的信号是稀疏的,在真正的冗余字典。这篇短文是对现有文献中处理稀疏分析模型结果的重要补充。首先,我们给出了著名的限制等距性质(RIP)的自然推广,以处理稀疏分析模型,其中考虑了真正的任意非相干字典。其次,通过求解l1范数稀疏提升优化问题,研究了在一般冗余字典中稀疏信号精确恢复的理论保证。这项工作不仅表明,压缩感知是可行的稀疏分析的上下文中,但也可以通过解决l1-最小化问题,准确的恢复。
2012-02-09 cs.IT math.IT
Dictionary Identification - Sparse Matrix-Factorisation via $\ell_1$-Minimisation
Centre de Recherche INRIA Rennes - Bretagne Atlantique(法国国家信息与自动化研究所雷恩-布列塔尼大西洋研究中心);IRISA(法国雷恩信息与自动化系统研究所);Johann Radon Institute for Computational and Applied Mathematics (RICAM)(约翰·拉东计算与应用数学研究所)
这篇文章对待的问题,学习字典提供稀疏表示为一个给定的信号类,通过$\ell_1$最小化。该问题还可以被看作是将训练信号的$\ddim \times \nsig$矩阵$Y=(y_1 >... y_\nsig), y_n\in \R^\ddim$分解为$\ddim \times \natoms$字典矩阵$\dico$和$\natoms \times \nsig$系数矩阵$\X=(x_1... x_\nsig), x_n \in \R^\natoms$,其是稀疏的。这里研究的确切问题是当一个字典系数对$(\dico,\X)$可以恢复为局部最小值的(非凸)$\ell_1$ -标准与输入$Y=\dico \X$。首先,对于一般字典和系数矩阵,代数条件,确保当地的可识别性推导,然后专门的情况下,字典是一个基础。最后,假设一个随机的Bernoulli-Gaussian稀疏模型的系数矩阵,它表明,足够的非相干基地是本地可识别的概率很高。可能令人惊讶的结果是,通常足够数量的训练样本$\nsig$仅与信号维度(即,$\nsig \approx C \natoms \log \natoms$)线性地增长到对数因子,这与需要组合地许多样本的先前方法形成对比。
2010-03-01 cs.IT cs.LG math.IT
Complete Dictionary Recovery over the Sphere II: Recovery by Riemannian Trust-region Method
Columbia University(哥伦比亚大学)
我们考虑恢复完整的(即,平方和可逆的)矩阵$\mathbf A_0$,由$\mathbf Y \in \mathbb{R}^{n \times p}$和$\mathbf Y = \mathbf A_0 \mathbf X_0$构成,条件是$\mathbf X_0$足够稀疏。这个恢复问题是字典学习的理论理解的核心,字典学习寻求输入信号集合的稀疏表示,并在现代信号处理和机器学习中找到许多应用。我们给出了第一个有效的算法,可证明恢复$\mathbf A_0$时,$\mathbf X_0$有$O(n)$非零每列,在适当的概率模型$\mathbf X_0$。我们的算法流水线围绕解决具有球形约束的特定非凸优化问题,因此自然地用流形优化的语言来表达。在一篇配套论文(arXiv:1511.03607)中,我们已经证明了我们的非凸公式很可能没有“虚假”局部极小值,并且在任何鞍点周围目标函数都有负方向曲率。在本文中,我们利用特殊的几何结构,并描述了一个黎曼信赖域算法,可证明收敛到一个局部极小从任意初始化。这样的极小化器给出了对$\mathbf X_0$行的极好的近似。然后通过线性规划舍入和收缩来恢复行。
2016-09-01 cs.CV cs.IT math.IT
Dictionary-Sparse Recovery From Heavy-Tailed Measurements
恢复不是在基中稀疏而是相对于过完备字典稀疏的信号是具有许多应用的压缩感测领域中最灵活的设置之一。如在标准压缩感测设置中那样,可以例如通过所谓的$\ell_1$合成方法从少量线性测量有效地重构信号。然而,它一直不太好理解,哪些测量矩阵可证明适用于这种设置。而在标准设置中,它已被证明,即使某些重尾测量矩阵可以被用于相同的样本复杂度制度的高斯矩阵,可比的结果仅适用于限制类的亚高斯测量向量,只要字典稀疏信号的恢复通过$\ell_1$合成关注。在这项工作中,我们填补了这一空白,并建立最佳的保证恢复向量是(近似)稀疏相对于字典通过$\ell_1$ -合成方法从线性,潜在的噪声测量的一大类随机测量矩阵。特别是,我们表明,随机测量,满足只有一个小球假设和弱的时刻假设,如随机向量的独立同分布。学生-具有对数数量的自由度的$t$条目导致与(亚)高斯测量相当的保证。作为一种技术工具,我们显示了一个约束的期望平方顺序统计量的总和非常一般的假设下,这可能是独立的利益。作为我们的结果的推论,我们也得到了一个轻微的改进,最弱的假设上的测量矩阵与i.i.d.行足以在标准压缩感知中均匀恢复,改进了Lecué和Mendelson以及Dirksen,Lecué和Rauhut的结果。
2021-09-29 cs.IT cs.NA eess.SP
Making sense of randomness: an approach for fast recovery of compressively sensed signals
School of Electrical;Computing Engineering, Indian Institute of Technology, Mandi, India vinayak\ , pulkit\ , .
在压缩感知(CS)框架中,信号在低于奈奎斯特速率下采样,并且所获取的压缩样本通常是随机的。然而,为了有效地估计实际信号,感测矩阵必须保持所获取的压缩样本之间的相对距离。如果满足这个条件,我们表明,CS样本将保留实际信号的包络,即使在不同的压缩比。利用CS样本的这种包络保持特性,我们提出了一种新的快速字典学习(DL)算法,该算法能够从压缩样本中提取原型信号,以实现信号的有效稀疏表示和恢复。这些原型信号是使用经验模式分解(EMD)提取的正交本征模式函数(IMF),经验模式分解是捕获信号包络的流行方法之一。提取的IMF用于构建字典,甚至无需理解原始信号或传感矩阵。此外,当新的CS样本可用时,可以在线构建字典。特别地,为了在解码器处恢复第一$L$信号($\in\mathbb{R}^n$),可以仅在$\mathcal{O}(nL\log n)$操作中构建字典,这与现有方法相比少得多。实验证明了该方法的有效性恢复的语音信号。
2015-07-25 cs.CV cs.IT math.IT
An MDL framework for sparse coding and dictionary learning
从信号处理到统计推断和机器学习,稀疏信号建模与学习过完备字典的能力已经在各种应用和领域中得到了证明。然而,这些模型的统计特性,如欠拟合或过拟合给定的数据集,仍然没有很好地表征在文献中。因此,稀疏建模的成功取决于为每个数据和应用程序手动调整关键参数。这项工作的目的是解决这一问题,通过提供一个实际和客观的表征稀疏模型的最小描述长度(MDL)的原则-一个完善的信息理论的方法来选择模型的统计推断。由此产生的框架派生出一个家庭的有效稀疏编码和字典学习算法,凭借MDL原则,是完全无参数。此外,这种框架允许将额外的先验信息纳入现有模型,例如马尔可夫依赖关系,或者以自然的方式定义全新的问题公式,包括矩阵分析领域。这些优点将被证明与经典的图像去噪和分类问题的无参数算法,并在视频应用中的低秩矩阵恢复。
2011-10-11 cs.IT math.IT stat.ML
Efficient Sparse Coding using Hierarchical Riemannian Pursuit
Hong Kong University of Science and Technology(香港科技大学)
稀疏编码是一类无监督的方法,用于以字典和稀疏码的线性组合的形式学习输入数据的稀疏表示。这种学习框架在各种图像和视频处理任务中取得了最先进的成果。然而,经典的方法学习字典和稀疏代码的基础上交替优化,通常没有理论保证的最优性或收敛性,由于非凸性的问题。最近的工作稀疏编码与一个完整的字典提供了强有力的理论保证,由于非凸优化的发展。然而,初始非凸方法在稀疏编码问题中以原子接原子的方式顺序地学习字典,这导致了很长的执行时间。最近的作品寻求直接学习整个字典一次,这大大减少了执行时间。然而,相关联的恢复性能随着有限数量的数据样本而降低。在本文中,我们提出了一个有效的稀疏编码方案与两个阶段的优化。该方案利用了两阶段优化问题的全局和局部黎曼几何,并通过有限数量的样本实现了出色的字典恢复性能,而无需逐个原子计算。我们进一步证明,以高概率,所提出的计划可以准确地恢复任何原子在目标字典与有限数量的样本,如果采用恢复字典的一个原子。最后给出了该算法在无线传感器数据压缩中的应用。仿真和真实数据实验验证了该方法的有效性。
2021-07-20 cs.IT cs.LG eess.SP
Sparse coding and dictionary learning based on the MDL principle
具有学习字典的稀疏信号编码的能力已经在从信号处理到统计推断和机器学习的各种应用和领域中得到证明。然而,这些模型的统计特性,如欠拟合或过拟合给定的数据集,仍然没有很好地表征在文献中。这项工作的目的是填补这一空白的最小描述长度(MDL)的原则-一个完善的信息理论的方法来统计推断。由此产生的框架派生出一个家庭的有效稀疏编码和建模(字典学习)算法,凭借MDL原则,是完全无参数的。此外,这样的框架允许以自然的方式将额外的先验信息(例如马尔可夫依赖性)并入模型中。我们展示了所提出的框架的性能与图像去噪和分类任务的结果。
2010-10-22 cs.IT math.IT math.ST
On the uniqueness and stability of dictionaries for sparse representation of noisy signals
学习最佳字典稀疏编码暴露了许多自然信号的特征稀疏功能。然而,缺乏在存在噪声的情况下对这些特征的稳定性的普遍保证。在这里,我们提供了非常一般的条件,保证当字典产生的稀疏编码是唯一的和稳定的测量或建模误差。我们证明了一些或所有原始字典元素是可恢复的噪声数据,即使字典不满足火花条件,其大小被高估,或只有多项式数量的不同的稀疏支持出现在数据中。重要的是,我们得到这些保证,而不需要任何限制恢复字典超出其大小的自然上限。我们的研究结果也产生了一个有效的程序足以确认,如果一个建议的解决方案的字典学习问题是唯一的范围内相称的噪音。我们建议应用于数据分析,工程和神经科学,并结束了我们的工作留下的一些剩余的挑战。
2019-05-14 cs.IT math.IT stat.ML
Simultaneous Codeword Optimization (SimCO) for Dictionary Update and Learning
Imperial College London(帝国理工学院);University of Surrey(萨里大学)
我们考虑数据驱动的字典学习问题。我们的目标是寻求一个过完备的字典,每个训练信号可以最好地近似只有几个码字的线性组合。这个任务通常通过迭代地执行两个操作来实现:稀疏编码和字典更新。在文献中,有两种基准机制来更新字典。第一种方法,如MOD算法,其特征在于在固定稀疏系数的同时搜索最佳码字。在第二种方法中,由K-SVD方法表示,一个码字和相关的稀疏系数同时更新,而所有其他码字和系数保持不变。我们提出了一个新的框架,概括了上述两种方法。该算法的特点是可以同时更新任意码字集和相应的稀疏系数:当稀疏系数固定时,其优化问题与MOD算法类似,当只选择一个码字进行更新时,可以证明该算法与K-SVD方法等价;更重要的是,我们的方法允许我们同时更新所有码字和所有稀疏系数,因此称为同时码字优化(SimCO)。在该框架下,我们设计了两种算法,即原始SimCO算法和正则化SimCO算法.我们基于一个简单的梯度下降机制来实现这两个算法。仿真结果表明,所提出的算法的性能相比,两个基线算法MOD和K-SVD。结果表明,正则化SimCO在学习性能和运行速度方面都特别吸引人。
2012-04-18 cs.IT cs.LG math.IT
A null space property approach to compressed sensing with frames
压缩感知中的一个有趣的话题涉及在字典中利用稀疏表示来感知和恢复信号的问题。在本文中,我们研究了L1-综合方法在给定的字典D中精确恢复稀疏或近似稀疏信号的传感矩阵A的条件。特别是,我们提出了一个基于字典的零空间属性(D-NSP),据我们所知,这是第一个充分和必要条件的L1恢复成功。这个新的属性,然后利用检测一些字典的稀疏家庭不能被压缩普遍。此外,当字典是充分的火花,我们表明,AD是NSP,这是众所周知的,只有足够的稳定恢复通过L1合成方法,确实是必要的。
2013-09-08 cs.IT math.FA math.IT
New results on sparse representations in unions of orthonormal bases
该研究针对正交基并集下的稀疏表示问题,提出一种新的字典构造,可达到Gribonval和Nielsen给出的spark下界,拓展了Shen等人的相关研究成果。
2024-01-28 cs.IT math.CO math.IT
Communications using Sparse Signals
受压缩感知原理的启发,我们提出了新的通信系统中的差错控制编码技术。信息比特被编码在稀疏信号的支持项和非零项中。通过选择具有合适维度的字典矩阵,通过将字典矩阵与稀疏信号相乘来获得用于传输的码字。具体地,从字典矩阵的列的稀疏线性组合获得码字。在解码器,我们采用贪婪稀疏信号恢复算法的变化。利用Gold码序列和量子信息论中的互无偏基作为字典矩阵,研究了该方案在AWGN信道下的误块出错率性能.我们的研究结果表明,该计划具有相当的和有竞争力的性能,相对于几个广泛使用的线性码,非常小到中等的块长度。此外,我们的编码方案直接扩展到多用户的情况下,如多址信道,广播信道和干扰信道。在这些多用户信道中,如果用户被分组,使他们有类似的信道增益和噪声水平,我们提出的方案的整体误码率性能将符合一个等效的单用户的情况。
2021-02-06 cs.IT eess.SP math.IT
Dictionary Learning for Blind One Bit Compressed Sensing
本文提出了一种盲一比特压缩感知的字典学习算法。在盲一比特压缩感知框架中,从一比特线性随机测量重构的原始信号在未知域中是稀疏的。在这种情况下,应当学习测量矩阵$\Ab$和稀疏域矩阵$Φ$的乘法\ie $\Db=\AbΦ$。因此,我们使用字典学习来训练这个矩阵。为此,一个适当的连续凸成本函数建议为一位压缩感知和一个简单的最速下降法是用来学习矩阵$\Db$的行。实验结果表明,该算法对无字典学习的情况下,特别是随着训练信号的数量和符号测量的数量增加的有效性。
2015-08-30 cs.IT math.IT stat.ML
Signal Recovery in Uncorrelated and Correlated Dictionaries Using Orthogonal Least Squares
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
本文研究了正交最小二乘法在压缩测量信号恢复中的性能,证明其在不相关和相关字典中具有竞争力,优于OMP等贪心算法,尤其在相关字典中表现更优。
2016-07-29 cs.IT cs.NA math.IT
Conditioning of Random Block Subdictionaries with Applications to Block-Sparse Recovery and Regression
线性模型是统计学和信号处理文献的主要内容,在线性模型中,一组观测值被假定为由矩阵的列的线性组合给出。在线性模型下进行推理的一个特殊挑战是理解字典上的条件,在这些条件下可靠的推理是可能的。近年来,由于许多现代推理问题涉及“欠定”设置,其中观察的数量比字典中的列数要小于得多,因此这一挑战重新引起了人们的关注。本文作出了几个贡献,这种设置时,一组的意见是由一个线性组合的一小部分列的字典,被称为“块稀疏”的情况下。首先,它指定字典上的条件,在该条件下,大多数块子字典是良态的。这个结果从根本上不同于先前关于块稀疏推理的工作,因为(i)它提供了可以在多项式时间内显式计算的条件,(ii)给定的条件转化为块子字典的列数的接近最优的缩放,作为大类字典的观察数的函数,以及(iii)它表明字典的谱范数和二次平均块相干性(而不是最坏情况的相干性)从根本上限制了条件良好的块子字典的维度的缩放。其次,本文研究了欠定背景下的块稀疏恢复和块稀疏回归问题。只要字典满足容易计算的条件,并且描述列组的线性组合的系数可以通过温和的统计先验来建模,则对于某些字典,接近最优的块稀疏恢复和回归是可能的。
2016-08-28 cs.IT math.IT math.ST
Complete Dictionary Recovery over the Sphere
Columbia University(哥伦比亚大学)
我们考虑恢复完整的(即,平方和可逆的)矩阵$\mathbf A_0$,由$\mathbf Y \in \mathbb R^{n \times p}$和$\mathbf Y = \mathbf A_0 \mathbf X_0$构成,条件是$\mathbf X_0$足够稀疏。这个恢复问题是字典学习的理论理解的核心,字典学习寻求输入信号集合的稀疏表示,并在现代信号处理和机器学习中找到许多应用。我们给出了第一个有效的算法,可证明恢复$\mathbf A_0$时,$\mathbf X_0$有$O(n)$非零每列,在适当的概率模型$\mathbf X_0$。相比之下,以前的结果的基础上有效的算法提供恢复保证时,$\mathbf X_0$只有$O(n^{1-δ})$非零每列的任何常数$δ\in (0, 1)$。我们的算法流水线围绕解决具有球形约束的特定非凸优化问题,因此自然地用流形优化的语言来表达。为了表明这个显然很难的问题是易于处理的,我们首先提供了一个几何表征的高维客观景观,这表明,有很高的概率没有“虚假”的局部极小值。这种特殊的几何结构,使我们能够设计一个黎曼信赖域算法在球证明收敛到一个局部极小与任意初始化,尽管存在鞍点。我们在这里开发的几何方法也可能揭示了结构化信号的非凸恢复所产生的其他问题。
2015-11-17 cs.CV cs.IT cs.LG
Self-Dictionary Sparse Regression for Hyperspectral Unmixing: Greedy Pursuit and Pure Pixel Search are Related
本文考虑了最近出现的高光谱解混配方的基础上稀疏回归的自字典多测量向量(SD-MMV)模型,其中测量的高光谱像素被用作字典。在纯像素假设下操作,这种SD-MMV形式主义是特殊的,因为它允许同时识别端元光谱特征和端元的数量。以前的SD-MMV研究主要集中在凸松弛。在这项研究中,我们探讨了贪婪追求的替代方案,它通常提供了高效和简单的算法。特别是,我们设计了一个贪婪的SD-MMV算法使用同时正交匹配追踪。有趣的是,所提出的贪婪算法被证明是密切相关的一些现有的纯像素搜索算法,特别是,连续投影算法(SPA)。因此,SD-MMV和纯像素搜索之间的联系被揭示出来。然后,我们进行精确的恢复分析,并证明所提出的贪婪算法是强大的噪声-包括其识别的(未知)数量的端元-在一个足够低的噪声水平。通过仿真实验和实际数据实验验证了该算法的辨识性能。
2015-03-03 cs.IT math.IT math.OC
On the Reconstruction Risk of Convolutional Sparse Dictionary Learning
Carnegie Mellon University(卡内基梅隆大学)
稀疏字典学习(SDL)已经成为一种流行的方法,用于自适应地识别数据集的简约表示,这是机器学习和信号处理中的一个基本问题。虽然SDL的大多数工作都假设独立和相同分布的样本的训练数据集,但称为卷积稀疏字典学习(CSDL)的变体放宽了这一假设,允许更一般的顺序数据源,如时间序列或其他相关数据。虽然最近的工作已经探讨了经典SDL的统计特性,CSDL的统计特性仍然没有得到研究。本文开始研究这一点,确定极小极大收敛速度的CSDL重建风险方面,既上限的风险建立CSDL估计和证明匹配的信息理论下界。我们的研究结果表明,重建风险的一致性在“超稀疏”设置中是可能的,其中稀疏性(即,特征出现的次数)在$o(N)$中,就训练序列的长度N而言。值得注意的是,我们的结果做出了非常弱的假设,允许任意字典和相关测量噪声。最后,我们验证了我们的理论结果与数值实验的合成数据。
2018-02-24 cs.IT cs.LG math.IT
Complete Dictionary Recovery over the Sphere I: Overview and the Geometric Picture
Columbia University(哥伦比亚大学)
我们考虑恢复完整的(即,平方和可逆的)矩阵$\mathbf A_0$,由$\mathbf Y \in \mathbb{R}^{n \times p}$和$\mathbf Y = \mathbf A_0 \mathbf X_0$构成,条件是$\mathbf X_0$足够稀疏。这个恢复问题是字典学习的理论理解的核心,字典学习寻求输入信号集合的稀疏表示,并在现代信号处理和机器学习中找到许多应用。我们给出了第一个有效的算法,可证明恢复$\mathbf A_0$时,$\mathbf X_0$有$O(n)$非零每列,在适当的概率模型$\mathbf X_0$。相比之下,基于有效算法的先前结果要么仅在$\mathbf X_0$每列具有$O(\sqrt{n})$零值时保证恢复,要么在$\mathbf X_0$每列具有$O(n^{1-δ})$非零值时(对于任何常数$δ\in (0, 1)$)需要多轮SDP松弛才能工作。我们的算法流水线围绕解决具有球形约束的特定非凸优化问题。在本文中,我们提供了一个几何表征的客观景观。特别是,我们表明,这个问题是高度结构化的:具有高概率,(1)没有“虚假”的局部极小;(2)在所有鞍点的目标有一个负的方向曲率。这种独特的结构使问题服从有效的优化算法。在一篇配套论文(arXiv:1511.04777)中,我们设计了一个二阶信赖域算法,该算法可以证明从任意初始化收敛到局部极…
2016-09-01 cs.CV cs.IT math.IT
Sparse Recovery over Graph Incidence Matrices
经典的结果稀疏恢复保证$s$稀疏信号的精确重建的字典上的假设是太强或NP-难以检查。此外,这种结果在实践中可能是悲观的,因为它们是基于最坏情况的分析。在本文中,我们考虑稀疏恢复的信号定义在一个图,字典的形式的关联矩阵。我们推导出稀疏恢复的充分必要条件,这取决于可以在多项式时间内检查的图的循环的性质。我们还推导出支持依赖条件稀疏恢复,只依赖于交叉点的支持信号的图形的周期。最后,我们利用稀疏属性的测量和关联矩阵的结构,提出了一个专门的子图为基础的恢复算法,优于标准的$\ell_1$最小化方法。
2018-10-26 cs.IT cs.SI eess.SP
DOLPHIn - Dictionary Learning for Phase Retrieval
TU Darmstadt(达姆施塔特工业大学);Technion – Israel Institute of Technology(以色列理工学院);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
我们提出了一种新的算法来学习字典重建和稀疏编码信号的测量没有相位。具体而言,我们认为,估计一个二维图像的任务,从平方幅度测量的复值线性变换的原始图像。几个最近的相位恢复算法利用潜在的稀疏性的未知信号,以提高恢复性能。在这项工作中,我们认为这样一个稀疏的信号相位恢复的背景下,事先不知道的稀疏字典。我们的算法联合重建未知信号-可能被噪声破坏-并学习字典,使得估计图像的每个补丁可以稀疏表示。数值实验表明,我们的方法可以获得显着更好的重建相位恢复问题的噪声比方法,不能利用这种“隐藏”稀疏。此外,在理论方面,我们提供了我们的方法的收敛结果。
2016-08-03 cs.IT cs.LG math.IT
Beyond Invariant Dictionary: Data-Driven Koopman Spectral Recovery with Filtered Extended Dynamic Mode Decomposition
Princeton University(普林斯顿大学);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
针对EDMD中非不变字典易引入伪特征值的问题,提出投影Koopman算子逼近框架构建滤波EDMD算子,分析两种投影几何并开发相关算法,实验验证其能有效减少谱污染。
2026-08-05 cs.IT cs.NA math.DS