Sharp Restricted Isometry Bounds for the Inexistence of Spurious Local Minima in Nonconvex Matrix Recovery
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加州大学伯克利分校)
已知非凸矩阵恢复在具有足够小的RIP常数$δ$的限制等距性质(RIP)下不包含伪局部极小值。然而,如果$δ$太大,则已知存在包含伪局部最小值的反例。在本文中,我们介绍了一种证明技术,能够建立尖锐的阈值$δ$,以保证不存在虚假的局部极小值。使用该技术,我们证明了在秩为1的地面真值的情况下,RIP常数$δ<1/2$是必要的和充分的精确恢复从任何任意的初始点(如随机点)。我们还证明了一个局部恢复的结果:给定一个初始点$x_{0}$满足$f(x_{0})\le(1-δ)^{2}f(0)$,任何下降算法,收敛到二阶最优保证准确的恢复。
2019-06-13 cs.LG math.OC stat.ML
Sparse Representation of a Polytope and Recovery of Sparse Signals and Low-rank Matrices
本文考虑压缩感知和仿射秩最小化在无噪和有噪情况下,并建立了尖锐的限制等距稀疏信号和低秩矩阵恢复条件。分析依赖于一个关键的技术工具,表示点的多面体的凸组合稀疏向量。该技术是基本的,但导致尖锐的结果。它示出,对于任何给定的常数$t\ge {4/3}$,在压缩感知$δ_{tk}^A < \sqrt{(t-1)/t}$保证精确恢复的所有$k$稀疏信号在无噪声的情况下,通过约束$\ell_1$最小化,并同样在仿射秩最小化$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$确保精确重建的所有矩阵的秩最多$r$在无噪声的情况下,通过约束核范数最小化。此外,对于任何$ε>0$,对于大的$k$,$δ_{tk}^A<\sqrt{\frac{t-1}{t}}+ε$不足以保证所有$k$稀疏信号的精确恢复。类似的结果也适用于基质回收。此外,条件$δ_{tk}^A < \sqrt{(t-1)/t}$和$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$也被证明是足够的,分别为稳定恢复的近似稀疏信号和低秩矩阵在噪声的情况下。
2013-10-22 cs.IT math.IT math.ST
Sharp Restricted Isometry Property Bounds for Low-rank Matrix Recovery Problems with Corrupted Measurements
University of California, Berkeley(加利福尼亚大学伯克利分校)
该研究针对含噪声线性测量的低秩矩阵恢复问题,分析非凸问题景观,给出RIP常数小于1/2时的精确全局距离保证、任意RIP常数下的局部保证,还证明严格鞍点性质以保障扰动梯度下降多项式时间全局收敛。
2023-07-25 cs.LG math.OC stat.ML
Sharp recovery and landscape guarantees for the nonconvex matrix LASSO
Dept. of Electrical and Computer Engineering, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系)
本文研究了在RIP条件下非凸矩阵LASSO的第二阶临界点恢复性能,揭示了核范数正则化的作用,并探讨了秩过参数化对优化景观的影响,提出在特定条件下非凸方法可近似恢复凸问题的低秩极值。
2026-04-21 math.OC math.ST stat.TH
Nonnegative Low-rank Matrix Recovery Can Have Spurious Local Minima
Dept. of Electrical and Computer Engineering University of Illinois at Urbana-Champaign(电气与计算机工程系伊利诺伊大学厄巴纳-香槟分校)
研究发现非负低秩矩阵恢复在特定条件下存在虚假局部极小值,挑战了非凸方法的经验成功解释。
2026-01-21 cs.LG math.OC stat.ML
Signal Recovery from Unlabeled Samples
在本文中,我们研究了从一组有噪声的线性投影(测量)中恢复信号,当这样的投影是未标记的时,即测量与投影向量集之间的对应关系(即,测量矩阵的行)不是先验已知的。我们考虑一个特殊的情况下,未标记的传感称为未标记的有序采样(UOS)的测量的顺序被保留。我们确定了这个问题和经典的压缩感知(CS)之间的自然对偶,在那里我们表明,未知的支持(非零元素的位置)的稀疏信号在CS对应于未知的指标的测量在UOS。虽然在CS中,可以从欠定的线性方程组(比信号维度更少的方程)恢复稀疏信号,但在UOS中成功恢复需要采取比信号维度更多的样本。出于这种二重性,我们开发了一个限制等距属性(RIP)类似于CS。我们还设计了一个低复杂度的交替最小化算法,实现了稳定的信号恢复下建立RIP。我们分析了我们提出的算法,不同的信号尺寸和数量的测量理论和经验,通过模拟研究其性能。结果是让人想起的相变发生在CS类似。
2017-09-01 cs.IT math.IT stat.ML
Sparse matrices for weighted sparse recovery
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文首次提出加权ℓ1最小化在稀疏随机矩阵和加权稀疏信号中的稀疏恢复保证,通过加权空空间性质推导,并展示其计算效率优于密集矩阵。
2016-05-09 cs.CC cs.IT cs.NA
A unified approach to model selection and sparse recovery using regularized least squares
模型选择和稀疏恢复是正则化方法研究的两个重要问题。我们研究的正则化方法的性质在这两个问题的统一框架下的正则化最小二乘凹罚。对于模型选择,我们建立条件下,正则化最小二乘估计享有非渐近性质,称为弱预言性质,其中的维数可以指数增长的样本量。对于稀疏恢复,我们提出了一个充分条件,确保稀疏解的可恢复性。特别是,我们通过考虑一个家庭的处罚,使一个光滑的同伦之间的$L_0$和$L_1$处罚的方法来解决这两个问题。我们还提出了用于稀疏恢复的顺序迭代重新加权平方(SIRS)算法。数值研究支持我们的理论结果,并证明了我们的模型选择和稀疏恢复的新方法的优势。
2009-09-03 math.ST stat.TH
On Verifiable Sufficient Conditions for Sparse Signal Recovery via $\ell_1$ Minimization
我们提出了新的充要条件的传感矩阵是“$s$ -好”-允许精确的$\ell_1$ -恢复稀疏信号与$s$非零条目时,没有测量噪声存在。然后,我们表示不完美的$\ell_1$ -恢复(非零测量噪声,近$s$ -稀疏信号,产生$\ell_1$ -恢复的最优化问题的近最优解)的这些条件下的特征方面的误差界。此外,我们证明(这是本文的主要结果),这些特性,虽然难以评估,导致可验证的充分条件精确稀疏的$\ell_1$恢复和有效地计算上界的那些$s$,其中一个给定的传感矩阵是$s$ -好。我们还建立了我们的方法和压缩感知理论的基本概念之间的指导性联系,如限制等距或限制特征值属性。
2010-05-31 math.OC math.ST stat.TH
Two step recovery of jointly sparse and low-rank matrices: theoretical guarantees
我们介绍了一个两步算法的理论保证,以恢复一个联合稀疏和低秩矩阵的欠采样测量其列。该算法首先使用列的一组公共测量来估计矩阵的行子空间。在第二步中,使用简单的最小二乘算法解决矩阵的子空间感知恢复。在从欠采样测量中恢复CINE数据的背景下验证了结果;当采样条件满足时,我们获得了良好的恢复。
2015-06-02 cs.IT math.IT stat.ML
Sparse recovery via Orthogonal Least-Squares under presence of Noise
我们考虑的正交最小二乘(OLS)算法的恢复$m$维$k$稀疏信号从少量的噪声线性测量。在信号非零元素满足一定条件的情况下,建立了有界噪声环境下OLS的精确恢复条件。新的结果也改善了现有的保证正交匹配追踪(OMP)算法。此外,该框架还可以为系数矩阵是根据高斯分布或伯努利分布随机抽取的情况提供概率保证,其中我们利用了一些集中性质。结果表明,在一定条件下,OLS在$k$迭代中以很高的概率恢复真实支持度。这又证明了${\cal O}\left(k\log m\right)$测量足以通过OLS精确恢复稀疏信号。
2016-08-08 cs.IT math.IT stat.ML
Recovery of Sparse Signals Using Multiple Orthogonal Least Squares
Rutgers, The State University of New Jersey(罗格斯,新泽西州立大学)
我们研究了从压缩的线性测量中恢复稀疏信号的问题。这个问题,通常被称为稀疏恢复或稀疏重建,近年来产生了很大的兴趣。为了恢复稀疏信号,我们提出了一种新的方法,称为多个正交最小二乘(MOLS),它扩展了著名的正交最小二乘(OLS)算法,允许多个$L$指数选择每次迭代。由于在每次选择中包含多个支持度指标,MOLS算法在更少的迭代次数内收敛,并提高了传统OLS算法的计算效率。理论分析表明,如果测量矩阵满足等距常数为$δ_{LK} < \frac{\sqrt{L}}{\sqrt{K} + 2 \sqrt{L}}.$的限制等距性质(RIP),则MOLS($L > 1$)在$K$迭代内可以精确恢复所有$K$稀疏信号。结果表明,当信噪比与输入信号的稀疏程度成线性关系时,MOLS算法可以实现稀疏信号的稳定恢复。
2015-12-31 cs.IT cs.LG math.IT
Sparse Recovery With Non-Linear Fourier Features
Uppsala University(乌普萨拉大学)
随机非线性傅立叶特征最近在广泛的回归和分类应用中表现出显着的性能。受此成功的启发,本文重点介绍了稀疏非线性傅立叶特征(NFF)模型。我们提供了足够数量的数据点,保证完美的恢复未知参数的高概率的表征。特别是,我们展示了足够数量的数据点如何依赖于与输入数据的概率分布函数相关联的核矩阵。我们比较我们的结果与有界正交系统的可恢复性界,并提供示例说明稀疏恢复下的NFF模型。
2020-02-12 cs.IT cs.LG eess.SP
Impulsive Noise Robust Sparse Recovery via Continuous Mixed Norm
Sharif University of Technology(谢里夫理工大学);Qom University of Technology(库姆理工大学);Instituto Superior Técnico(高等理工学院)
研究了加性脉冲噪声背景下稀疏信号的恢复问题。重尾脉冲噪声是很好的建模与稳定的分布。由于$SαS$分布的概率密度函数没有明确的公式,因此使用诸如广义高斯分布(GGD)的替代近似,其对残差施加$\ell_p$范数保真度。在本文中,我们利用连续混合范数(CMN)的鲁棒稀疏恢复代替$\ell_p$ -范数。我们表明,在盲目的条件下,即,在噪声分布参数未知的情况下,结合CMN可以导致接近最佳的恢复。我们采用交替方向乘法(ADMM)解决的问题所引起的利用CMN的鲁棒稀疏恢复。在该方法中,CMN被替换为代理函数,并结合优化最小化技术来解决问题。仿真结果证实了所提出的方法的效率相比,最近在文献中的一些算法的脉冲噪声鲁棒稀疏恢复。
2018-04-12 cs.IT cs.LG eess.SP
Sparse Signal Recovery for Binary Compressed Sensing by Majority Voting Neural Networks
Nagoya Institute of Technology(名古屋工业大学)
在本文中,我们提出了多数表决神经网络的稀疏信号恢复二进制压缩感知。多数表决神经网络由几个独立训练的前馈神经网络组成,采用S形函数作为激活函数。我们的实证研究表明,选择一个损失函数用于网络的训练过程是至关重要的。我们找到了一个适合稀疏信号恢复的损失函数,它包括一个交叉熵项和一个$L_1$正则化项。从实验结果中,我们观察到,多数表决神经网络实现了良好的恢复性能,这是接近最佳性能的组件网络的数量的增长。多数表决神经网络的简单架构对于软件和硬件实现都是有益的。
2016-10-29 cs.IT cs.LG math.IT
Sharp RIP Bound for Sparse Signal and Low-Rank Matrix Recovery
本文建立了稀疏信号恢复和低秩矩阵恢复的约束等距性(RIP)的一个严格条件。研究表明,如果测量矩阵$A$满足RIP条件$δ_k^A<1/3$,则通过基于$y=Aβ$的约束$\ell_1$最小化可以精确地恢复所有$k$稀疏信号$β$.类似地,如果线性映射$\cal M$满足RIP条件$δ_r^{\cal M}<1/3$,则通过基于$b={\cal M}(X)$的约束核范数最小化,可以精确地恢复秩至多为$r$的所有矩阵$X$。此外,在这两种情况下,当条件不成立时,一般不可能这样做。此外,考虑了噪声情况,在sharp RIP条件下给出了预言不等式。
2013-02-06 cs.IT math.IT
The high order block RIP condition for signal recovery
在本文中,我们考虑恢复块稀疏信号,其非零项出现在块(或集群),而不是任意散布在整个信号,从不完全线性测量。基于块RIP算法,得到了一个高阶充分条件,保证了在噪声存在的情况下能稳定恢复所有块稀疏信号,并通过混合$l_{2}/l_{1}$最小化算法,在信号不完全块稀疏的情况下能鲁棒地恢复信号.并通过一个具体的例子证明了该条件的正确性.本文提出的结果的意义在于,恢复可能是可能的,在更一般的条件下,利用块结构的稀疏模式,而不是传统的稀疏模式。
2016-10-20 cs.IT math.IT
On the exact recovery of sparse signals via conic relaxations
在这篇文章中,我们比较了Pilanci,Wainwright和El Ghaoui最近提出的稀疏线性回归问题的两个半定松弛(通过布尔松弛进行稀疏学习,2015)和Dong,Chen和Linderoth(松弛与正则化统计变量选择的圆锥优化观点,2015)。我们重点讨论了基数约束形式,证明了Dong等人提出的松弛理论并不弱于Pilanci等人提出的松弛,因此Pilanci等人导出的精确恢复的充分条件可以很容易地应用于其他松弛,包括他们关于高斯系综高概率恢复的结果.最后,我们提供的经验证据表明,放松董等。需要更少的观察,以保证恢复真正的支持。
2016-03-15 math.OC stat.ML
Matching Pursuit LASSO Part II: Applications and Sparse Recovery over Batch Signals
The University of Adelaide(阿德莱德大学);University of Technology, Sydney(悉尼科技大学);Brown University(布朗大学)
匹配追踪LASS在第一部分\cite{TanPMLPart1}中,我们提出了一种求解大规模稀疏恢复问题的匹配追踪LASSO({MPL})算法。在本文中,我们提出了一个子空间搜索,以进一步提高MPL的性能,然后继续解决SR的另一个主要挑战-批量SR与许多信号,一个考虑,这是从大多数以前的$\ell_1$范数方法缺席。因此,一个批处理模式{MPL}的开发,大大加快稀疏恢复的许多信号同时进行。压缩感知和人脸识别任务的综合数值实验证明了MPL和BMPL在稀疏恢复能力和效率方面优于本文考虑的其他方法。特别地,BMPL比被认为是最先进的现有$\ell_1$范数方法快400倍。O第二部分:批处理信号的应用和稀疏恢复
2014-12-24 cs.CV cs.LG stat.ML
Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Nanjing University(南京大学);Jilin University(吉林大学)
提出基于k-support范数的迭代正则化算法IRKSN,通过早停机制实现稀疏恢复,放宽了传统$\ell_1$范数方法的适用条件,并给出了具有显式常数的模型误差早停界限,实现标准线性收敛率。
2024-03-19 cs.LG eess.SP math.OC
Stable recovery of low-dimensional cones in Hilbert spaces: One RIP to rule them all
信号处理中的许多逆问题都涉及欠定线性观测值的未知数据的鲁棒估计。低维模型,当与适当的正则化器相结合,已被证明是有效地执行这一任务。具有1-范数的稀疏模型或具有核范数的低秩模型是这种成功组合的例子。在这些设置中的稳定恢复保证已经建立了一个共同的工具,适用于每种情况下:限制等距属性(RIP)的概念。在本文中,我们建立了通用RIP为基础的保证稳定恢复锥(正齐次模型集)与任意正则化。这些保证在选定的例子中加以说明。对于块结构的稀疏性在无限维的设置,我们使用的正则化的效率方面的RIP常数可以控制,导致更强和更尖锐的保证比国家的最先进的家庭的保证。
2016-12-06 cs.IT math.IT
A Trivial Observation related to Sparse Recovery
我们对Garg和Khandekar(\emph{Gradient Descent with Sparsification} ICML 2009)的优雅分析做了一个小小的修改,用另一个RIP类型的属性(可能比RIP更简单,但我们不确定;它可能和RIP一样难以检查,从而使这篇小文章完全没有价值)取代标准的限制等距属性(RIP)。
2009-06-27 cs.IT math.IT
Sparse Recovery with Orthogonal Matching Pursuit under RIP
本文对正交匹配追踪(OMP)算法进行了新的分析。证明了在稀疏度为$O(\bar{k})$的情况下,若满足约束等距性(RIP),则OMP可以恢复2-范数下的$\bar{k}$ -稀疏信号.对于压缩感测应用,该结果意味着为了在$\Real^d$中均匀地恢复$\bar{k}$稀疏信号,仅需要$O(\bar{k} \ln d)$随机投影。该分析改进了OMP的早期结果,这些结果依赖于更强的条件,例如只能用$Ω(\bar{k}^2 \ln d)$随机投影满足的互不相干性。
2011-06-03 cs.IT math.IT
Recovery of signals under the high order RIP condition via prior support information
本文研究了在部分先验支持信息存在的情况下,加权$l_{1}$最小化算法在不完全线性测量信号重构中的恢复条件。我们得到,高阶RIP条件可以保证稳定和强大的恢复信号有界$l_{2}$和Dantzig选择器噪声设置。同时,我们不仅证明了加权$l_{1}$最小化方法的充分恢复条件弱于标准$l_{1}$最小化方法,而且证明了加权$l_{1}$最小化方法在先验支持估计精度至少为$50\%$的条件下,在测量噪声和信号压缩性方面提供了更好的重构误差上界.此外,还证明了该条件的精确性.
2016-02-27 cs.IT math.CA math.FA
RIP-based performance guarantee for low-tubal-rank tensor recovery
School of Mathematics and Statistics, Southwest University(西南大学数学与统计学院);Xi’an Jiaotong University(西安交通大学);College of Artificial Intelligence, Southwest University(西南大学人工智能学院)
提出正则化张量核范数最小化模型,通过定义张量受限等距性质,证明在t-RIP条件下可从少量线性噪声测量中稳定恢复三阶张量。
2019-09-17 cs.IT cs.NA math.IT
Lower Bound for RIP Constants and Concentration of Sum of Top Order Statistics
限制等距性(RIP)是压缩感知理论中的重要基础,是该领域中许多精确和鲁棒恢复保证的基础。RIP的定量描述涉及界定测量矩阵的所谓RIP常数。在这方面,值得注意的是,在有关RIP的文献中的大多数结果是RIP常数的上界,这可以解释为一个成功的稀疏恢复的理论保证。相反,RIP常数下限的土地仍然未开垦。RIP常数的下限,如果存在的话,可以解释为成功的稀疏恢复的基本限制方面。本文给出了高斯随机矩阵RIP常数的下界,并给出了推广到亚高斯随机矩阵RIP常数下界的指导。这提供了一个新的基本限制的证明,即执行$s$阶RIP所需的最小测量次数是$Ω(s\log({\rm e}N/s))$,这比经典的Gelfand宽度参数更直接。此外,在证明中,我们提出了一个有用的技术工具,它描述了i.i.d.序列的top- $k$和的集中现象.随机变量,它与统计学中的主流问题密切相关,具有独立的兴趣。
2019-07-13 cs.IT math.IT
Random Subdictionaries and Coherence Conditions for Sparse Signal Recovery
在压缩采样中采用的采样矩阵的最频繁使用的条件是当受限于稀疏信号时矩阵的受限等距(RIP)属性。同时,强加这个条件使得很难找到支持从最佳(尽可能小)维度的草图中恢复信号的显式矩阵。已经进行了许多尝试来放松或替换稀疏恢复算法中的RIP属性。我们专注于放松下,近等距属性持有的采样矩阵,而不是所有的子矩阵,被称为统计RIP或StRIP条件。我们发现,采样矩阵的尺寸$m\times N$与最大的相干性$μ=O((k\log^3 N)^{-1/4})$和均方相干性$\bar μ^2=O(1/(k\log N))$支持稳定的恢复$k$稀疏信号使用基追踪。这些假设在许多例子中得到了满足。其结果是,我们能够构建采样矩阵,支持恢复与低误差的稀疏$k$高于$\sqrt m,$,这超出了RIP矩阵的已知类的参数范围。
2013-03-07 cs.IT math.IT
The high-order block RIP for non-convex block-sparse compressed sensing
本文主要研究从线性测量中恢复块稀疏信号,块稀疏信号不仅是稀疏的,而且非零元素被排列成一些块(簇),而不是任意分布在整个向量上。本文建立了基于块RIP的高阶充分条件,保证了在无噪声情况下,通过混合$l_2/l_p$最小化方法精确恢复每个块$s$ -稀疏信号,以及在存在噪声的信号不精确块稀疏的情况下,稳定和鲁棒的恢复。此外,获得了条件以压倒性的概率为真所需的随机高斯测量数的下限。最后,通过数值实验验证了算法的有效性.
2020-06-11 cs.IT math.IT
An Improved RIP-Based Performance Guarantee for Sparse Signal Recovery via Orthogonal Matching Pursuit
最近报道的一个充分条件是,通过正交匹配追踪(OMP)在K次迭代中完美恢复K-稀疏向量的传感矩阵的限制等距常数满足delta_K+1<1/(sqrt(delta_K+1)+1)。通过利用由压缩时两个正交稀疏向量之间的可实现角度表征的近似正交条件,本文表明,delta的上限可以进一步放宽至delta_K+1<(sqrt(1+4*delta_K+1)-1)/(2K)。因此,该结果缩小了迄今为止最佳已知界限与最终性能保证delta_K+1<1/(2K)之间的差距。(sqrt(delta_K+1)),这是Dai和Milenkovic在2009年提出的。所提出的近似正交性条件也被利用来导出在几个压缩感知问题中用于信号重构的较少限制的充分条件,包括在噪声环境中通过OMP的信号恢复、压缩域干扰消除以及通过子空间追踪算法的支持识别。
2014-01-03 cs.IT math.IT
Note on RIP-based Co-sparse Analysis
在过去的几年里,有越来越多的兴趣恢复信号从欠采样数据,这些信号是稀疏的一些正交字典或紧的框架下,这被称为稀疏合成模型。最近,它的对应物,即,稀疏分析模型,也引起了研究者的关注,许多实际的信号是稀疏的,在真正的冗余字典。这篇短文是对现有文献中处理稀疏分析模型结果的重要补充。首先,我们给出了著名的限制等距性质(RIP)的自然推广,以处理稀疏分析模型,其中考虑了真正的任意非相干字典。其次,通过求解l1范数稀疏提升优化问题,研究了在一般冗余字典中稀疏信号精确恢复的理论保证。这项工作不仅表明,压缩感知是可行的稀疏分析的上下文中,但也可以通过解决l1-最小化问题,准确的恢复。
2012-02-09 cs.IT math.IT
Recovery analysis for weighted mixed $\ell_2/\ell_p$ minimization with $0<p\leq 1$
研究了当部分块支持信息可用时,加权混合$\ell_2/\ell_p\,(0<p\leq 1)$最小化算法从压缩测量重构块稀疏信号的恢复条件.我们表明,块$p$ -限制等距属性(RIP)可以确保鲁棒恢复。利用加权块$p$ -零空间性质给出了恢复的充要条件。建立了块$p$ -RIP和加权块$p$ -零空间性质之间的关系。最后,我们用一系列的数值实验来说明我们的结果。
2017-10-18 cs.IT math.IT
On the absence of the RIP in real-world applications of compressed sensing and the RIP in levels
University of Cambridge(剑桥大学)
本文指出压缩感知实际应用中RIP不成立,提出基于改进RIP定义的框架,展示在各级别内实现结构化恢复的可能性。
2015-10-16 cs.IT cs.NA math.IT
Analysis of Block OMP using Block RIP
正交匹配追踪(OMP)是一种经典的稀疏信号重构贪心算法。当感兴趣的信号是块稀疏时,即,它具有出现在簇中的非零系数,OMP算法的块版本(即,块OMP)优于常规OMP。在本文中,我们证明了一个新的概念,块限制等距属性(块RIP),这是不严格的比标准的限制等距属性(RIP),可以用于一个非常简单的分析块OMP。它表明,块OMP可以准确地恢复任何块K-稀疏信号在不超过K步,如果块RIP的阶K+1与一个足够小的等距常数满足。利用这一结果可以证明,当信号是块稀疏时,块OMP可以产生比传统OMP更好的重建性能。
2011-04-06 cs.IT math.IT
Demodulation of Sparse PPM Signals with Low Samples Using Trained RIP Matrix
Urmia University(乌尔米耶大学)
压缩感知(CS)理论将约束等距性(RIP)作为测量矩阵的一个充分条件,保证从压缩后的测量中恢复出稀疏信号。RIP条件也保留了足够的信息,即使用较少的测量稀疏符号的分类。在这项工作中,我们利用RIP界作为训练一个简单的神经网络的成本函数,以利用近最佳的测量或等效的近最佳功能的分类一组已知的稀疏符号。作为一个例子,我们考虑脉冲位置调制(PPM)信号的解调。结果表明,该方法具有更好的性能比随机测量,并需要更少的样本比最佳匹配滤波器解调器,在一些性能损失的代价。此外,与传统接收机相比,所提出的方法不需要用于多径信道的均衡器。
2013-09-01 cs.IT cs.LG cs.OH
Sharp Sufficient Conditions for Stable Recovery of Block Sparse Signals by Block Orthogonal Matching Pursuit
在本文中,我们使用块正交匹配追踪(BOMP)算法从测量值$\y=\A\x+\v$恢复块稀疏信号$\x$,其中$\v$是$\ell_2$有界噪声向量(即,$\|\v\|_2\leq ε$(对于某个常数$ε$)。基于块约束等距性质(block-RIP),研究了块稀疏信号$\x$的精确(当$\v=\0$时)和稳定(当$\v\neq\0$时)恢复的充分条件.首先,一方面,我们表明,如果$\A$满足块RIP与$δ_{K+1}<1/\sqrt{K+1}$,那么每个块$K$稀疏信号$\x$可以在$K$迭代BOMP准确或稳定地恢复。另一方面,我们表明,对于任何$K\geq 1$和$1/\sqrt{K+1}\leq δ<1$,存在一个矩阵$\A$满足块RIP与$δ_{K+1}=δ$和块$K$ -稀疏信号$\x$,使BOMP可能无法恢复$\x$在$K$迭代。然后,我们研究了恢复块$α$ -强衰减$K$ -稀疏信号的一些充分条件。我们证明了如果$\A$满足块RIP与$δ_{K+1}<\sqrt{2}/2$,那么每个$α$ -强衰减块$K$ -稀疏信号可以在$α$上的某些条件下在$K$迭代中被BOMP精确或稳定地恢复。我们新发现的充分条件块RIP的$\A$的限制比$\ell_1$最小化这一类特殊的稀疏信号。此外,对于任何$K\geq 1$、$α>1$和$\sqrt{2}/2\leq δ<1$,$\x$的恢…
2018-05-14 cs.IT math.IT
The gap between the null space property and the restricted isometry property
零空间特性(NSP)和限制等距特性(RIP)是压缩感知领域中受到广泛关注的两个特性。顾名思义,NSP是仅取决于测量过程的零空间的属性,因此,具有相同零空间的任何两个矩阵将具有NSP,如果它们中的任何一个具有相同零空间。另一方面,RIP是测量过程本身的属性,并且给定RIP矩阵,可以直接构造另一个具有相同零空间的矩阵,该矩阵不是RIP。此外,RIP被认为意味着NSP,因此RIP是比NSP严格更强的假设。我们说一个矩阵是RIP-NSP,如果它有相同的零空间作为RIP矩阵。我们表明,这样的矩阵可以提供强大的恢复基础追求下的可压缩信号,在许多适用的设置相媲美的保证RIP提供。更重要的是,我们建设性地表明,RIP-NSP是强于NSP的帮助下,这个强大的恢复结果,这表明,RIP是从根本上强于NSP。
2016-03-16 cs.IT math.IT
(Nearly) Sample-Optimal Sparse Fourier Transform in Any Dimension; RIPless and Filterless
在本文中,我们考虑了广泛研究的问题,计算一个$k$稀疏近似的$d$维傅立叶变换的长度$n$信号。我们的算法使用$O(k \log k \log n)$样本,是无量纲的,适用于任何宇宙大小,并实现了最强的$\ell_\infty/\ell_2$保证,同时运行时间可与快速傅立叶变换相媲美。与以前的算法,无论是通过限制等距属性或通过过滤功能进行对比,我们的方法提供了一个新的视角稀疏傅立叶变换问题。
2019-09-24 cs.DS cs.IT math.IT
A remark on weaken restricted isometry property in compressed sensing
限制等距属性(RIP)已成为众所周知的压缩传感社区。最近,一个削弱版本的RIP提出了弱矩假设下的精确稀疏恢复。在这篇文章中,我们证明了削弱RIP也是足够的\textsl{stable and robust}稀疏恢复连接到最近推出的压缩感知的鲁棒宽度属性。此外,我们表明,它可以广泛应用于其他压缩感知的情况下。
2015-04-01 cs.IT math.IT
Sparse Signal Processing with Frame Theory
许多新兴的应用涉及稀疏信号,它们的处理是一个积极的研究课题。我们希望一大类的传感矩阵,使用户能够辨别测量的稀疏信号的重要属性。特别感兴趣的是具有限制等距属性(RIP)的矩阵。已知RIP矩阵能够有效且稳定地重构足够稀疏的信号,但是已经证明这种矩阵的确定性构造非常困难。在这篇论文中,我们讨论这个矩阵设计问题的背景下,一个不断增长的研究领域称为框架理论。在前两章中,我们建立了等角紧框架和全火花框架的大家族,我们讨论了它们与RIP矩阵的关系以及它们在稀疏信号处理的其他方面的效用。在第3章中,我们将为确定性RIP矩阵铺平道路,评估各种演示RIP的技术,并与图论和数论建立有趣的联系。我们在第4章中总结了RIP的一个基于相干性的替代方案,它为稀疏信号处理的各个方面提供了接近最优的概率保证,同时允许整个主机的确定性结构。
2012-04-26 cs.IT math.FA math.IT
A Novel Sparse recovery based DOA estimation algorithm by relaxing the RIP constraint
非相关和相干混合源的波达方向估计是阵列信号处理中一个长期存在的难题。压缩感知在阵列信号处理中的应用开辟了一类令人兴奋的算法。研究了正交匹配追踪(OMP)算法在不同场景下的波达方向(DOA)估计中的应用,特别是在相干源和观测结果不一致的情况下。在本文中,提出了一种改进的OMP算法,以克服这些不足,利用最大方差为基础的标准,只有一个快照。该准则放松了测量矩阵的约束等距性(RIP),从而降低了局部OMP算法输入向量的稀疏性。此外,它还处理源,而不管它们的一致性。给出了弱-1 RIP算法稀疏性降低的条件,并说明了该算法优于OMP算法的原因。此外,还提出了一种简单的方法来计算均匀线阵中的源距参考点的距离。数值分析表明了该算法的有效性。
2018-09-07 cs.IT eess.SP math.IT
Greedy type algorithms for RIP matrices. A study of two selection rules
矩阵的限制等距性(RIP)的一些结果已被应用于开发称为“ROMP”(正则化正交匹配追踪)的贪心算法以恢复稀疏信号和近似非稀疏信号。这些结果随后被应用于其他贪婪和阈值算法,如“SThresh”,“CoSaMP”,“StOMP”和“SWCGP”。在本文中,我们发现RIP属性的另一个结果,并使用它来分析的逼近k-稀疏信号的梯度追踪(SWGP),匹配追踪(SWMP)和正交匹配追踪(SWOMP)的逐段弱版本。我们将上述算法与另一种选择规则相结合,这种选择规则类似于文献中出现的规则,表明结果在RIP常数限制较少的情况下获得,但我们需要较小的系数阈值参数。给出了一些实验结果。
2013-05-29 cs.IT math.IT
Performance Guarantees for Schatten-$p$ Quasi-Norm Minimization in Recovery of Low-Rank Matrices
我们解决了一些理论保证$p$准范数最小化($p \in (0,1]$)在恢复低秩矩阵从压缩的线性测量。首先,利用测量算子的零空间性质,给出了低秩矩阵精确恢复的一个充分条件。这个条件保证了唯一的恢复矩阵的秩等于或大于核范数最小化所保证的。其次,这个充分条件导致了一个定理证明了所有基于限制等距性质(RIP)的$\ell_p$拟范数最小化的充分条件推广到Schatten- $p$拟范数最小化。基于这个定理,我们提供了一些基于RIP的恢复条件。
2014-10-26 cs.IT math.IT stat.ML
Explicit RIP Matrices in Compressed Sensing from Algebraic Geometry
压缩感知是由E. J. Candés,J. Romberg,T. Tao和D. Donoho在2006年提出了稀疏信号的有效采样,在信号处理中有着广泛的应用。在实际应用中需要显式的限制等距性(RIP)测量矩阵。自2007年以来,R。DeVore,J. Bourgain et al和R. Calderbank等人从不同的数学对象给出了RIP矩阵的几种确定性构造。另一方面,Bajwa和Calderbank等人引入了测量矩阵的强相干性,用于噪声测量下的信号恢复。本文从代数几何的角度提出了一种新的压缩感知实值RIP测量矩阵的显式构造方法。我们的构造表明,使用更一般的代数几何对象,而不是曲线(AG码),RIP测量矩阵在压缩感知可以构建更小的相干性和更大的稀疏阶。代数几何中的RIP矩阵也有一个很好的渐近界,与Bourgain等人以前的构造和小偏差集的界相匹配。在否定的方面,我们证明了DeVore构造的RIP矩阵,它的直接代数几何推广和我们的一个新构造的RIP矩阵不满足强相干性质。然而,我们给出了一个修改后的版本的AG-RIP矩阵,它满足强相干性。因此,新的RIP矩阵在压缩感知从我们修改的代数几何结构可以用于恢复的信号从噪声测量。
2015-05-27 cs.IT math.IT
Performance analysis of tail-minimization and the linear rate of convergence of a proximal algorithm for sparse signal recovery
本文分析尾最小化的恢复误差界,提出一种基于Hadamard积参数化的近端交替算法求解尾-lasso问题,在RIP条件下证明其线性收敛,数值实验显示恢复性能显著优于现有方法。
2025-01-25 cs.IT math.IT
A Greedy Algorithm for Matrix Recovery with Subspace Prior Information
矩阵恢复是从一些线性测量中恢复低秩矩阵的问题。近年来,该问题得到了广泛的关注,因为它被用于许多应用,如Netflix奖问题,地震数据插值和协同过滤。在这些应用中,可以访问关于矩阵的列和行空间的附加先验信息。这些额外的信息可以潜在地增强基质恢复性能。在本文中,我们提出了一个有效的贪心算法,利用先验信息的恢复过程。所提出的算法的性能进行测量的秩限制等距属性(R-RIP)。与不使用先验信息的情况相比,我们所提出的算法在R-RIP上收敛的条件更温和。此外,我们的算法表现出更好的计算复杂性和成功率方面的核范数最小化。
2019-07-27 cs.IT math.IT
Restricted Isometry Property of Rank-One Measurements with Random Unit-Modulus Vectors
本文研究非独立同分布秩一测量下的RIP问题,证明由随机单位模向量构造的测量矩阵仍以高概率满足RIP,并通过实验验证其内存高效且低秩恢复性能与传统i.i.d.矩阵相当。
2024-05-07 cs.IT math.IT
New Coherence and RIP Analysis for Weak Orthogonal Matching Pursuit
本文定义了一个新的词典相干性指标,即全局2-相干性,并研究了它与传统的互相干性和约束等距常数的关系。通过探索这种关系,我们得到了更一般的结果稀疏信号重建使用贪心算法的压缩感知(CS)框架。特别是,我们得到了一个改进的约束等距常数的最佳已知的结果,成功地恢复稀疏信号,使用正交匹配追踪(OMP)。
2014-05-14 cs.IT math.IT
On the $\ell_1$-Norm Invariant Convex k-Sparse Decomposition of Signals
受Cai和Zhang的一个有趣思想的启发,我们给出并证明了关于$\ell_1$范数不变的向量的凸$k$ -稀疏分解。这个结果很适合在RIP下讨论压缩感知问题,但我们相信它也有独立的利益。作为应用,给出了RIP恢复条件$δ_k+θ_{k,k} < 1$的简单推导。
2013-11-11 cs.IT math.IT
Sequential Analysis in High Dimensional Multiple Testing and Sparse Recovery
本文从序贯分析的角度研究了高维多重检验和稀疏恢复问题。在这种情况下,错误的概率是问题维度的函数。提出了一种简单的序贯测试方法。我们推导出在非序贯设置的可靠恢复的必要条件,并将它们与可靠恢复的充分条件使用建议的序贯测试程序。几个常见的模型的主要结果的应用程序表明,序贯测试可以指数更敏感的零和替代分布之间的差异(在尺寸的依赖),这意味着微妙的情况下,可以更可靠地确定使用序贯方法。
2011-06-03 cs.IT math.IT math.ST
Greedy Signal Space Recovery Algorithm with Overcomplete Dictionaries in Compressive Sensing
压缩感知(CS)是一种新的模式,有效地获取信号,具有稀疏表示在某一领域。传统上,CS提供了许多方法用于在正交基上的信号恢复。然而,现代应用程序已经引发了相关方法的出现,信号不是稀疏的正交基,但在一些任意的,也许是高度过完备的,字典,特别是由于他们的潜力,以产生不同种类的稀疏表示的信号。为此,我们应用信号空间贪婪方法,它依赖于最佳地将信号投影到少量字典原子上的能力,以解决这种设置中的信号恢复问题。我们描述了一个广义的迭代恢复算法称为信号空间子空间追踪(SSSP),这个更具挑战性的设置。在这里,使用字典限制等距属性(D-RIP),而不是经典的RIP,我们推导出所需的测量次数的下限,然后提供算法的收敛性证明。该算法在有噪声和无噪声测量中具有低的计算复杂性,并提供高的恢复精度。仿真结果表明,该算法优于现有的恢复算法。
2019-05-07 cs.IT math.IT
Restricted Isometry Property in Quantized Network Coding of Sparse Messages
本文从压缩感知的角度研究了节点间相关信息的联合网络编码和分布式信源编码。具体而言,鲁棒的$\ell_1$ -min恢复的一组线性网络编码的稀疏消息的理论保证进行了研究。我们讨论了量化网络编码消息的$\ell_1$ -min解码的保证,使用\cite{naba}中建议的本地网络编码系数,基于所得到的测量矩阵的受限等距属性(RIP)。此外,我们还导出了$\ell_2$ -范数的尾概率与RIP的满足度之间的关系,并将我们设计的测量矩阵与i.i.d.高斯测量矩阵最后,我们提出了我们的数值评估,这表明,所提出的网络编码系数的设计结果与RIP行为的测量矩阵,类似于i.i.d.高斯矩阵
2012-03-14 cs.IT math.IT
Online Recovery Guarantees and Analytical Results for OMP
正交匹配追踪(OMP)是一个简单的,但经验上有竞争力的稀疏恢复算法。最近的发展表明,OMP保证精确恢复K-稀疏信号与K或K个以上的迭代,如果观察矩阵满足限制等距属性(RIP)的某些条件。我们开发了基于RIP的在线保证K-稀疏信号的恢复超过K OMP迭代。虽然这些保证不能推广到所有稀疏信号的先验,我们表明,他们仍然可以保持在线时,最先进的K步恢复保证失败。此外,我们提出了正确的和错误的指数的数量上的界限,在支持估计的派生条件是限制性较低的K-步保证。在这些界限下,该条件保证在3 K/2次迭代内精确恢复K稀疏信号,这远小于现有技术的具有多于K步的精确恢复保证所需的步数。此外,我们提出的OMP的相变相比,基础追求和子空间追求,这是经过广泛的恢复模拟,涉及不同的稀疏信号类型。最后,我们实证分析的支持估计,这表明这些不违反开发的上限在实践中的假指标的数量。
2013-03-29 cs.IT math.IT
RIP Analysis of Modulated Sampling Schemes for Recovering Spectrally Sparse Signals
本文分析调制采样方案(如奈奎斯特折叠接收机)的受限等距性质,并利用该性质确定信号恢复所需的稀疏度,随后演示正交匹配追踪从含噪非均匀样本中重建信号的能力。
2012-07-31 cs.IT cs.SY eess.SY
Expected RIP: Conditioning of The Modulated Wideband Converter
压缩系统的感知矩阵影响相关稀疏恢复问题的稳定性。在本文中,我们研究的调制宽带转换器,最近提出的系统的亚奈奎斯特采样的模拟稀疏信号的传感矩阵。尝试用现有方法量化转换器感测矩阵的调节导致不合理的速率要求,这是由于该矩阵的相对小的尺寸。我们提出了一个新的条件的标准,命名为预期的限制等距属性,并推导出理论保证转换器,以满足此属性。然后,我们表明,将这些条件应用于流行的二进制序列,如最大码或Gold码,导致实际的速率要求。
2009-09-28 cs.IT math.IT