New Analysis of Manifold Embeddings and Signal Recovery from Compressive Measurements
压缩感知(CS)利用了令人惊讶的事实,即稀疏信号中包含的信息可以保留在该信号的少量压缩,通常是随机的线性测量中。已经建立了强有力的理论保证,关于在随机测量算子下的稀疏信号族的嵌入,以及稀疏信号可以从噪声压缩测量中恢复的精度。在本文中,我们解决类似的问题,在不同的建模框架的上下文中。而不是稀疏模型,我们专注于广泛的类流形模型,这可能会出现在参数和非参数信号的家庭。利用经验过程理论中的工具,我们改进了先前关于低维流形在随机测量算子下的嵌入结果。我们还建立了确定性和概率的情况下,最佳的界限$\ell_2$流形为基础的信号恢复和参数估计从噪声压缩测量。与基于稀疏性的CS的类似结果一致,我们得出结论,在概率环境中可能有更强的界限。我们的工作支持越来越多的证据表明,基于流形的模型可以在压缩信号处理中以高精度使用。
2014-05-01 cs.IT math.IT
Infinite dimensional compressed sensing from anisotropic measurements and applications to inverse problems in PDE
我们考虑一个压缩感知问题,其中测量和稀疏化系统都被假设为信号的底层希尔伯特空间的框架(不一定是紧的),该信号可以是有限维或无限维的。主要结果给出了明确的界限上的测量,以实现稳定的恢复,这取决于两个系统的相互相干的数量。作为一个简单的推论,我们证明了效率的非均匀采样策略的情况下,当这两个系统是不相干的,但只有渐近不相干的,从傅立叶样本的小波系数的恢复。这个一般的框架发现应用程序的偏微分方程的反问题,压缩感知的标准假设往往不满足。几个例子进行了讨论,特别关注电阻抗断层扫描。
2019-05-25 cs.IT math.AP math.IT
On $q$-ratio CMSV for sparse recovery
稀疏恢复的目的是从非常少的噪声非相干线性测量中重建未知的稀疏或近似稀疏的信号。作为测量矩阵的一种可计算的非相干性度量,周和余$q$提出了比率约束的最小奇异值(CMSV)算法,用于推导稀疏恢复的性能界.本文研究了$q$ -ratio CMSV的几何性质,在此基础上建立了同时考虑稀疏缺陷和测量误差的信号恢复的新的充分条件。给出了测量矩阵的$\ell_1$ -截断集$q$ -宽度作为$q$ -比率CMSV的几何表征。此外,我们还证明了,只要测量数足够大,一类结构随机矩阵的$q$比CMSV以很高的概率远离零有界,从而满足所建立的充分条件.总之,我们的结果将Zhang和Cheng的\cite{zc}的结果从$q=2$推广到任何$q\in(1,\infty]$,并从几何角度补充了$q$ -比率CMSV的论点.
2018-05-31 cs.IT math.IT
Dictionary Adaptation in Sparse Recovery Based on Different Types of Coherence
在稀疏恢复中,欠定线性方程组的唯一稀疏解是主要的兴趣。该方案通常被提议应用于信号捕获。在大多数情况下,信号本身并不稀疏,因此,它们需要借助特定于相应信号族的所谓字典来稀疏地表示。字典不能用于优化所得到的欠定系统,因为它们被给定的信号族固定。然而,测量矩阵可用于优化,并且可以适应字典。所得到的线性系统的多个属性已被提出,可用作优化的目标函数。本文讨论了其中两个与向量的相干性有关的问题。一个属性旨在具有不一致的测量,而另一个属性旨在确保成功的重建。在下文中,这两个标准的影响进行了比较与不同的重建方法。
2013-07-15 cs.IT math.IT
New Algorithms and Improved Guarantees for One-Bit Compressed Sensing on Manifolds
我们研究的问题近似恢复信号的流形上从一位线性测量得出的高斯系综,部分循环系综,或有界正交系综和量化使用西格玛-德尔塔或分布式噪声整形方案。我们假设我们给出了一个几何多分辨率分析,它近似的流形,我们提出了一个凸优化算法的信号恢复。我们证明了一个上限的恢复误差优于以前的作品,使用无记忆标量量化,需要一个更简单的分析,并扩展类的测量超出高斯。最后,我们用数值实验来说明我们的结果。
2019-04-24 cs.IT math.IT
Signal Space CoSaMP for Sparse Recovery with Redundant Dictionaries
压缩感知(CS)最近已经成为一个强大的框架,用于获取稀疏信号。CS文献的大部分集中在所获取的信号在正交基中具有稀疏或可压缩表示的情况。然而,在实践中,有许多信号不能使用正交基稀疏表示或近似,但在冗余字典中具有稀疏表示。CS中的标准结果有时可以扩展到处理这种情况,只要字典足够不连贯或条件良好,但这些方法无法解决真正冗余或过完备字典的情况。在本文中,我们描述了一个变种的迭代恢复算法CoSaMP这个更具挑战性的设置。我们利用D-RIP,传感矩阵的条件类似于著名的限制等距属性。与以前的工作相比,该方法和分析是“以信号为中心”的,也就是说,它们是面向恢复信号,而不是其字典系数。假设我们有一个接近最佳的计划,在信号空间中的向量投影到候选稀疏信号的模型家庭,我们提供可证明的恢复保证。开发一个实用的算法,可以证明计算所需的接近最佳的预测仍然是一个重要的开放的问题,但我们包括模拟结果,使用各种经验表现出优越的性能,以传统的恢复算法。
2013-06-21 cs.IT math.IT
Moment Constraints and Phase Recovery for Multireference Alignment
Department of Mathematics, KTH Royal Institute of Technology(皇家理工学院数学系)
针对多参考对齐问题,提出结合矩量法与统计建模思路的新方法,将功率谱作为约束信号的流形,通过梯度优化最大化似然并迭代模板对齐与流形投影,兼顾速度与精度。
2025-10-09 cs.IT math.IT
Greedy Signal Space Methods for incoherence and beyond
本文提出了一种新的信号空间贪心方法分析,适用于不相干或结构相干字典,改进了传统压缩采样文献中的结果。
2014-08-01 cs.IT cs.NA math.IT
On Deterministic Sketching and Streaming for Sparse Recovery and Norm Estimation
我们研究经典的流和稀疏恢复问题,使用确定性的线性草图,包括l1/l1和linf/l1稀疏恢复问题(后者也被称为l1重打击者),范数估计,近似内积。我们专注于设计一个固定的矩阵A在R^{mxn}和一个确定性的恢复/估计过程,同时工作的所有可能的输入向量。我们的结果改进现有的工作,以下是我们的主要贡献:* 证明linf/l1稀疏恢复和内积估计是等价的,并且可以使用非相干矩阵来解决这两个问题。我们的测量次数的上限是m=O(eps^{-2}*min{log n,(log n / log(1/eps))^2})。利用快速Johnson-Lindenstrauss变换还可以得到快速的草图绘制和恢复算法。我们的运行时间和测量次数都比以前的工作有所改进。我们还可以获得更好的误差保证比以前的工作在一个较小的尾部的输入向量。* 求解l1/l1稀疏恢复所需线性测量数的新下界。我们证明了需要Omega(k/eps^2 + klog(n/k)/eps)测量来恢复x',|x - x'|(1+eps)|x_{tail(k)}|_1,其中x_{tail(k)}是x投影到除了其最大k坐标之外的所有坐标上。* m = Theta(eps^{-2}log(eps^2 n))对求解确定性范数估计所需的测量数的紧界,即,以回收|x| _2 +/- eps |x| _1。对于我们研究的所有问题,紧界已经知道从以前的工作随机复…
2012-06-25 cs.DS cs.IT math.IT
Reconstruction of jointly sparse vectors via manifold optimization
Oak Ridge National Laboratory(橡树岭国家实验室);University of Tennessee(田纳西大学)
本文研究了从线性测量中重建联合稀疏向量的问题,提出了一种基于非紧致Stiefel流形的非凸优化方法,该方法在较少测量条件下实现了更准确的稀疏恢复,具有利用未知矩阵秩的特性。
2019-05-25 cs.IT cs.NA math.IT
Fast Global Convergence for Low-rank Matrix Recovery via Riemannian Gradient Descent with Random Initialization
本文对黎曼流形上的一类低秩矩阵恢复问题提出了一个新的整体分析框架。我们分析了随机初始条件下黎曼优化的全局性态。我们使用黎曼梯度下降算法来最小化最小二乘损失函数,并研究了渐近行为以及精确的收敛速度。我们揭示了一个以前未知的几何性质的低秩矩阵流形,这是虚假的临界点的存在简单的最小二乘函数的流形上。我们表明,在某些假设下,黎曼梯度下降开始从一个随机的初始化,以高概率避免这些虚假的临界点,只有在接近线性收敛速度收敛到地面真相,即$\mathcal{O}(\text{log}(\frac{1}ε)+ \text{log}(n))$迭代,以达到$ε$ -准确的解决方案。我们使用两个应用程序作为我们的全局分析的例子。第一个是秩1矩阵恢复问题。第二个是高斯相位恢复问题的推广。它只满足弱等距性,但除了多了一个鞍集外,其行为与第一个相似。我们的收敛保证是接近最优的,几乎是无量纲的,这充分解释了数值观测。全局分析可以潜在地扩展到具有随机测量结构和经验最小二乘损失函数的其他数据问题。
2021-04-19 cs.IT cs.LG math.IT
Block- and Rank-Sparse Recovery for Direction Finding in Partly Calibrated Arrays
提出了一种由位移未知的子阵组成的部分校准阵列的稀疏恢复测向方法。该方法基于混合核范数和1范数最小化,利用信号模型的块稀疏性和低秩结构。为了有效地实现一个紧凑的等价问题重新制定。新技术适用于任意拓扑结构的子阵列和子阵列流形的基于网格的采样。在一个共同的基线子阵列的特殊情况下,我们的新技术承认扩展到一个无网格的实现。如模拟所示,我们的新的块和秩稀疏的部分校准阵列的测向技术优于最先进的方法RARE在困难的情况下,低样本数,低信噪比或相关信号。
2017-02-17 cs.IT math.IT
Multi-Branch Matching Pursuit with applications to MIMO radar
我们提出了一个算法,称为多分支匹配追踪(MBMP),解决冗余字典的稀疏恢复问题。MBMP组合了三种不同的范例:作为贪婪方法,它执行迭代信号支持估计;作为秩感知方法,它能够在多个快照可用时利用信号子空间信息;并且,正如其名称所预示的,它利用多分支(即,树搜索)策略,该策略允许我们权衡硬件复杂性(例如测量)和计算复杂性。我们推导出一个充分条件下,MBMP可以从无噪声测量恢复稀疏信号。当字典足够不连贯时,满足这个条件,称为MB-连贯。它结合了MBMP的分支数,并且比其他条件(例如Neuman ERC或累积相干性)需要更少的测量。因此,对于不满足先前已知条件的字典,保证了使用MBMP的成功恢复。
2014-07-02 cs.IT math.IT math.OC
Distributed Compressive Sensing
压缩感知是一种信号采集框架,其基于稀疏信号的线性投影的小集合包含足够的信息以用于稳定恢复的启示。在本文中,我们介绍了一种新的理论,分布式压缩感知(DCS),使新的分布式编码算法的多信号集成,利用内部和信号间的相关结构。DCS理论基于一个新的概念,我们称之为联合稀疏的信号系综。我们的理论贡献是表征DCS恢复的基本性能限制联合稀疏信号合奏在无噪声测量设置;我们的结果连接单信号,联合和分布式(多编码器)压缩感知。为了证明我们的框架的有效性,并表明可以解决计算易处理性等其他挑战,我们详细研究了联合稀疏信号的三个示例模型。对于这些模型,我们开发了实用的算法,从非相干投影的多个信号的联合恢复。在我们的三个模型中,有两个模型的结果是渐近最佳的,这意味着上界和下界都与我们的实际算法的性能相匹配。此外,模拟表明,渐近性仅在中等数量的信号下生效。DCS可立即应用于传感器阵列和网络中的一系列问题。
2009-01-22 cs.IT math.IT
Compressed Sensing with Coherent and Redundant Dictionaries
Stanford University(斯坦福大学);Technion - Israel Institute of Technology(以色列理工学院);Center for Communications Research(通信研究中心)
针对信号在冗余字典而非正交基下稀疏的情况,提出测量矩阵的广义限制等距性质,保证通过L1分析优化问题实现精确恢复,填补了压缩感知在相干冗余字典领域的空白。
2010-12-04 cs.IT cs.NA math.IT
Complete Dictionary Recovery over the Sphere II: Recovery by Riemannian Trust-region Method
Columbia University(哥伦比亚大学)
我们考虑恢复完整的(即,平方和可逆的)矩阵$\mathbf A_0$,由$\mathbf Y \in \mathbb{R}^{n \times p}$和$\mathbf Y = \mathbf A_0 \mathbf X_0$构成,条件是$\mathbf X_0$足够稀疏。这个恢复问题是字典学习的理论理解的核心,字典学习寻求输入信号集合的稀疏表示,并在现代信号处理和机器学习中找到许多应用。我们给出了第一个有效的算法,可证明恢复$\mathbf A_0$时,$\mathbf X_0$有$O(n)$非零每列,在适当的概率模型$\mathbf X_0$。我们的算法流水线围绕解决具有球形约束的特定非凸优化问题,因此自然地用流形优化的语言来表达。在一篇配套论文(arXiv:1511.03607)中,我们已经证明了我们的非凸公式很可能没有“虚假”局部极小值,并且在任何鞍点周围目标函数都有负方向曲率。在本文中,我们利用特殊的几何结构,并描述了一个黎曼信赖域算法,可证明收敛到一个局部极小从任意初始化。这样的极小化器给出了对$\mathbf X_0$行的极好的近似。然后通过线性规划舍入和收缩来恢复行。
2016-09-01 cs.CV cs.IT math.IT
Compressive Sensing over the Grassmann Manifold: a Unified Geometric Framework
$\ell_1$极小化常用于求解欠定线性系统的稀疏解。在本文中,我们专注于寻找尖锐的性能界限恢复近似稀疏信号使用$\ell_1$最小化,可能在噪声测量。虽然限制等距属性是强大的分析恢复近似稀疏的信号与噪声测量,已知的界限上可实现的稀疏性(本文中的“稀疏性”是指在一个信号向量的非零或重要元素的集合的大小)。水平可以相当宽松。对于理想稀疏信号,邻域多面体分析能给出精确的边界,但不能很容易地推广到近似稀疏信号。从线性子空间的“平衡性”这一充分必要条件出发,为达到一定的信号恢复精度,给出了一个统一的基于\emph{null space Grassmann angle}的几何框架,用于分析$\ell_1$最小化的性能.通过研究“平衡性”属性,这个统一的框架表征了所考虑的稀疏性和$\ell_{1}$优化的恢复精度之间的尖锐的定量权衡。因此,这推广了理想稀疏信号的相邻多面体结果。除了对\emph{all}稀疏信号的“强”意义下的鲁棒性外,我们还讨论了“弱”和“分段”鲁棒性的概念。我们的结果涉及线性子空间的基本性质,因此可能是独立的数学兴趣。
2010-05-20 cs.DM cs.IT math.IT
Approximation of Points on Low-Dimensional Manifolds Via Random Linear Projections
本文考虑了点x \in R^D的近似重构,这些点接近R^D的一个给定的紧致d维子流形M,使用x的少量线性测量。特别是,它示出了一个独立的外在尺寸D的测量X的数量足以为一个给定的X具有高概率的高精度重建。此外,它也证明了所有的向量,x,这是足够接近M可以重建一致逼近保证时,x的线性测量的数量依赖于D的几何。最后,对这些事实进行了建设性的证明:在证明上述两个主要结果的过程中,提出了一种基于流形的信号恢复的实用算法。
2012-04-16 cs.DS cs.IT math.IT
Complete Dictionary Recovery over the Sphere
Columbia University(哥伦比亚大学)
我们考虑恢复完整的(即,平方和可逆的)矩阵$\mathbf A_0$,由$\mathbf Y \in \mathbb R^{n \times p}$和$\mathbf Y = \mathbf A_0 \mathbf X_0$构成,条件是$\mathbf X_0$足够稀疏。这个恢复问题是字典学习的理论理解的核心,字典学习寻求输入信号集合的稀疏表示,并在现代信号处理和机器学习中找到许多应用。我们给出了第一个有效的算法,可证明恢复$\mathbf A_0$时,$\mathbf X_0$有$O(n)$非零每列,在适当的概率模型$\mathbf X_0$。相比之下,以前的结果的基础上有效的算法提供恢复保证时,$\mathbf X_0$只有$O(n^{1-δ})$非零每列的任何常数$δ\in (0, 1)$。我们的算法流水线围绕解决具有球形约束的特定非凸优化问题,因此自然地用流形优化的语言来表达。为了表明这个显然很难的问题是易于处理的,我们首先提供了一个几何表征的高维客观景观,这表明,有很高的概率没有“虚假”的局部极小值。这种特殊的几何结构,使我们能够设计一个黎曼信赖域算法在球证明收敛到一个局部极小与任意初始化,尽管存在鞍点。我们在这里开发的几何方法也可能揭示了结构化信号的非凸恢复所产生的其他问题。
2015-11-17 cs.CV cs.IT cs.LG
Unicity conditions for low-rank matrix recovery
本文研究了通过任意方法(包括不可行方法)恢复低秩矩阵所需的最少测量次数,给出了随机测量系综下保证秩最小化均匀恢复所有秩r矩阵的充分必要条件,并与核范数最小化的性能进行了比较。
2011-03-28 cs.IT cs.NA cs.SY