Recovery of Low-Rank Plus Compressed Sparse Matrices with Application to Unveiling Traffic Anomalies
给定一个低秩矩阵的叠加加上一个已知的脂肪压缩矩阵乘以稀疏矩阵的产品,本文的目标是建立确定性的条件下,精确恢复的低秩和稀疏的组件成为可能。这一基本的可识别性问题与骨干网络中的流量异常检测有关,并包含压缩感知以及矩阵分解问题中遇到的及时低秩稀疏矩阵恢复任务。利用$\ell_1$ -和核范数恢复稀疏和低秩矩阵的能力,制定了一个凸规划来估计未知数。分析和仿真证实,所述凸程序可以恢复足够低的秩和足够稀疏的分量的未知数,随着压缩矩阵具有等距属性时,限制操作稀疏向量。当低秩、稀疏和压缩矩阵是从某些随机集合中提取时,可以确定精确的恢复是可能的,具有很高的概率。一阶算法被开发来解决具有可证明的迭代复杂性保证的非光滑凸优化问题。对合成和真实网络数据的深入测试证实了这种新方法在揭示流量和时间异常方面的有效性,以及其优于现有替代方案的能力。
2012-04-30 cs.IT cs.NI math.IT
Sparse Recovery With Non-Linear Fourier Features
Uppsala University(乌普萨拉大学)
随机非线性傅立叶特征最近在广泛的回归和分类应用中表现出显着的性能。受此成功的启发,本文重点介绍了稀疏非线性傅立叶特征(NFF)模型。我们提供了足够数量的数据点,保证完美的恢复未知参数的高概率的表征。特别是,我们展示了足够数量的数据点如何依赖于与输入数据的概率分布函数相关联的核矩阵。我们比较我们的结果与有界正交系统的可恢复性界,并提供示例说明稀疏恢复下的NFF模型。
2020-02-12 cs.IT cs.LG eess.SP
Sparse matrices for weighted sparse recovery
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文首次提出加权ℓ1最小化在稀疏随机矩阵和加权稀疏信号中的稀疏恢复保证,通过加权空空间性质推导,并展示其计算效率优于密集矩阵。
2016-05-09 cs.CC cs.IT cs.NA
Impulsive Noise Robust Sparse Recovery via Continuous Mixed Norm
Sharif University of Technology(谢里夫理工大学);Qom University of Technology(库姆理工大学);Instituto Superior Técnico(高等理工学院)
研究了加性脉冲噪声背景下稀疏信号的恢复问题。重尾脉冲噪声是很好的建模与稳定的分布。由于$SαS$分布的概率密度函数没有明确的公式,因此使用诸如广义高斯分布(GGD)的替代近似,其对残差施加$\ell_p$范数保真度。在本文中,我们利用连续混合范数(CMN)的鲁棒稀疏恢复代替$\ell_p$ -范数。我们表明,在盲目的条件下,即,在噪声分布参数未知的情况下,结合CMN可以导致接近最佳的恢复。我们采用交替方向乘法(ADMM)解决的问题所引起的利用CMN的鲁棒稀疏恢复。在该方法中,CMN被替换为代理函数,并结合优化最小化技术来解决问题。仿真结果证实了所提出的方法的效率相比,最近在文献中的一些算法的脉冲噪声鲁棒稀疏恢复。
2018-04-12 cs.IT cs.LG eess.SP
Recovery of Sparse Signals Using Multiple Orthogonal Least Squares
Rutgers, The State University of New Jersey(罗格斯,新泽西州立大学)
我们研究了从压缩的线性测量中恢复稀疏信号的问题。这个问题,通常被称为稀疏恢复或稀疏重建,近年来产生了很大的兴趣。为了恢复稀疏信号,我们提出了一种新的方法,称为多个正交最小二乘(MOLS),它扩展了著名的正交最小二乘(OLS)算法,允许多个$L$指数选择每次迭代。由于在每次选择中包含多个支持度指标,MOLS算法在更少的迭代次数内收敛,并提高了传统OLS算法的计算效率。理论分析表明,如果测量矩阵满足等距常数为$δ_{LK} < \frac{\sqrt{L}}{\sqrt{K} + 2 \sqrt{L}}.$的限制等距性质(RIP),则MOLS($L > 1$)在$K$迭代内可以精确恢复所有$K$稀疏信号。结果表明,当信噪比与输入信号的稀疏程度成线性关系时,MOLS算法可以实现稀疏信号的稳定恢复。
2015-12-31 cs.IT cs.LG math.IT
Sparse Recovery with Linear and Nonlinear Observations: Dependent and Noisy Data
我们制定稀疏支持恢复作为一个显着的集合识别问题,并使用信息理论分析,以表征恢复性能和样本的复杂性。我们考虑一个非常一般的模型,我们不限于线性模型或特定的分布。我们国家的非渐近界的恢复概率和一个紧密的互信息公式的样本复杂性。我们评估我们的应用范围,如稀疏线性回归和显式特征的相关性或噪声特征对恢复性能的影响。我们在以前的工作和识别恢复算法的性能和基本信息之间的差距的改进。
2014-03-12 cs.IT cs.LG math.IT
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University(上海交通大学)
在过去的十年中,稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导,$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的,因为相关的凸优化问题通常是易处理的,但在许多应用中已经表明,非凸惩罚可以产生显着更好的性能。近年来,基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣,事实上,它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域,包括压缩感知(CS)、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析(PCA)、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展,解决问题的惩罚选择,应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP
On the exact recovery of sparse signals via conic relaxations
在这篇文章中,我们比较了Pilanci,Wainwright和El Ghaoui最近提出的稀疏线性回归问题的两个半定松弛(通过布尔松弛进行稀疏学习,2015)和Dong,Chen和Linderoth(松弛与正则化统计变量选择的圆锥优化观点,2015)。我们重点讨论了基数约束形式,证明了Dong等人提出的松弛理论并不弱于Pilanci等人提出的松弛,因此Pilanci等人导出的精确恢复的充分条件可以很容易地应用于其他松弛,包括他们关于高斯系综高概率恢复的结果.最后,我们提供的经验证据表明,放松董等。需要更少的观察,以保证恢复真正的支持。
2016-03-15 math.OC stat.ML
Two New Approaches to Compressed Sensing Exhibiting Both Robust Sparse Recovery and the Grouping Effect
在本文中,我们介绍了一种新的稀疏回归和压缩感知的优化配方,称为CLOT(组合L-One和Two),其中正则化是一个凸组合的$\ell_1$ -和$\ell_2$ -规范。该公式与弹性网络(EN)公式不同,在弹性网络(EN)公式中,正则化子是$\ell_1$ -和$\ell_2$ -范数平方的凸组合。结果表明,在压缩感知的背景下,EN制定没有实现稳健的恢复稀疏向量,而新的CLOT制定实现稳健的恢复。此外,与EN类似但与LASSO不同,CLOT公式实现了分组效应,其中测量(或设计)矩阵的高度相关列的系数被分配大致相当的值。已知LASSO不具有分组效应。因此,CLOT公式结合了LASSO(鲁棒稀疏恢复)和EN(分组效应)的最佳特征。CLOT公式是另一种称为SGL(稀疏组LASSO)的特殊情况,该SGL以前被引入到文献中,但没有对分组效应或鲁棒稀疏恢复进行任何分析。它在这里示出,SGL实现了强大的稀疏恢复,也实现了一个版本的分组效应,属于同一组的测量(或设计)矩阵的高度相关的列的系数被分配大致相当的值。
2017-06-20 stat.ML
On the gap between RIP-properties and sparse recovery conditions
本文研究了利用$\ell_p$约束基追踪从欠定线性测量中恢复稀疏向量的问题。以前的分析,这个问题的基础上广义限制等距属性表明,两种现象发生,如果$p\neq 2$。首先,可能需要基本上多于$s \log(en/s)$的测量(对于$p=2$是最佳的)来均匀恢复所有$s$稀疏向量。第二,以最佳测量次数实现恢复的矩阵可能不是高斯的(对于$p=2$)。我们提出了一个新的,直接的分析表明,事实上,这两种现象都没有发生。通过一个合适的版本的零空间属性,我们表明,一个标准的高斯矩阵提供了$\ell_q/\ell_1$恢复保证$\ell_p$约束的基础上追求的最佳测量制度。我们的结果扩展到几个双尾测量矩阵。作为一个应用程序,我们表明,可以获得一致的重建均匀标量量化测量的最佳测量制度。
2015-04-20 cs.IT math.IT math.ST
Matching Pursuit LASSO Part II: Applications and Sparse Recovery over Batch Signals
The University of Adelaide(阿德莱德大学);University of Technology, Sydney(悉尼科技大学);Brown University(布朗大学)
匹配追踪LASS在第一部分\cite{TanPMLPart1}中,我们提出了一种求解大规模稀疏恢复问题的匹配追踪LASSO({MPL})算法。在本文中,我们提出了一个子空间搜索,以进一步提高MPL的性能,然后继续解决SR的另一个主要挑战-批量SR与许多信号,一个考虑,这是从大多数以前的$\ell_1$范数方法缺席。因此,一个批处理模式{MPL}的开发,大大加快稀疏恢复的许多信号同时进行。压缩感知和人脸识别任务的综合数值实验证明了MPL和BMPL在稀疏恢复能力和效率方面优于本文考虑的其他方法。特别地,BMPL比被认为是最先进的现有$\ell_1$范数方法快400倍。O第二部分:批处理信号的应用和稀疏恢复
2014-12-24 cs.CV cs.LG stat.ML
Sparse Recovery with Very Sparse Compressed Counting
Rutgers University(罗格斯大学)
压缩感知(稀疏信号恢复)经常遇到非负数据(例如,图像)。最近,我们开发了使用(密集)压缩计数恢复非负K-稀疏信号的方法。在本文中,我们采用非常稀疏的压缩计数的非负信号恢复。我们的设计矩阵是从最大偏态p-稳定分布(0<p<1)中采样的,我们对设计矩阵进行了稀疏化,使得平均(1-g)-分数项变为零。这个想法与非常稀疏的稳定随机投影(Li et al 2006 and Li 2007)有关,这是估计数据汇总统计量的先前工作。在我们的理论分析中,我们表明,当p->0时,使用M= K/(1-exp(-gK)log N测量就足够了,使得可以在坐标的一次扫描中恢复所有坐标。如果g = 1(即,密集设计),则M = K log N。如果g= 1/K或2/K(即,非常稀疏的设计),则M = 1.58K log N或M = 1.16K log N。这意味着设计矩阵实际上可以非常稀疏,样本复杂性只有很小的膨胀。有趣的是,当p->1时,所需的测量次数基本上是M = 2.7K log N,假设g= 1/K。事实证明,这个结果是一个一般的最坏情况界限。
2013-12-31 cs.DS cs.IT cs.LG
Robust Sparse Recovery with Sparse Bernoulli matrices via Expanders
本文研究稀疏 Bernoulli(p) 矩阵的鲁棒零空间性质,刻画以最少测量实现稀疏恢复所需的最小 p,并以匹配下界证明最优性。
2024-12-06 cs.IT math.IT math.PR
Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery
Iowa State University(爱荷华州立大学);New York University(纽约大学);Duke University(杜克大学)
本文从稀疏恢复方法的角度研究了神经网络自动设计中的两个重要问题--超参数优化(Hyper parameter Optimization,HPO)和神经结构搜索(Neural Architecture Search,NAS)。在本文的第一部分,我们建立了一个新的连接HPO和结构化稀疏恢复。特别是,我们表明,一个特殊的编码的超参数空间,使一个自然的组稀疏恢复制定,这与HyperBand(多臂强盗策略)时,导致改善现有的超参数优化方法。在CIFAR-10等图像数据集上的实验结果证实了我们方法的优点。在本文的第二部分,我们建立了NAS和结构化稀疏恢复之间的联系。基于NAS中的“一次性”方法,我们提出了一种新的算法,我们称之为CoNAS,通过将一次性方法的思想与学习低次稀疏布尔多项式的技术相结合。我们提供了理论分析的验证误差测量的数量。最后,我们在几个数据集上验证了我们的方法,并发现了迄今为止尚未报道的新架构,与现有的NAS方法相比,在性能和搜索时间方面都取得了有竞争力(或更好)的结果。
2020-07-07 cs.LG stat.ML
A General Framework of Dual Certificate Analysis for Structured Sparse Recovery Problems
本文提出了一个通用的理论框架来分析结构化稀疏恢复问题使用的符号双证书。虽然双重证书概念的某些方面已经在以前的一些工作中使用,但由于缺乏一个普遍和连贯的理论,迄今为止只在有限的范围内对具体问题进行了分析。在这方面,本文件作出了两个贡献。首先,我们介绍了一个一般的定义,对偶证书,然后我们使用它来开发一个统一的理论稀疏恢复分析凸规划。其次,我们提出了一类结构稀疏正则化称为结构Lasso的计算可以很容易地在我们的理论框架下进行。这个新的理论包括许多看似松散相关的以前的工作作为特殊情况,它也意味着新的结果,改善现有的,即使是标准的公式,如L1正则化。
2012-04-04 stat.ML
Information-Theoretic Bounds for Adaptive Sparse Recovery
Boston University(波士顿大学)
我们推导出一个信息理论的样本复杂性在稀疏恢复问题,输入可以选择顺序和自适应的下界。这个下界是一个简单的互信息表达式,并统一了许多不同的线性和非线性观测模型。使用这个公式,我们得出自适应压缩感知(CS),组测试和1位CS问题的界限。我们发现,自适应不能降低样本复杂性组测试,1位CS和CS与线性稀疏。相比之下,我们表明,CS在次线性制度可能有温和的性能增益。我们的统一分析还允许表征的增益,由于从更广泛的角度对稀疏问题的自适应性。
2014-04-29 cs.IT cs.LG math.IT
Recovery of Missing Samples Using Sparse Approximation via a Convex Similarity Measure
Sharif University of Technology(谢里夫理工大学);Qom University of Technology(库姆理工大学)
本文研究了基于稀疏逼近的缺失样本恢复问题。在这方面,我们研究用于解决与图像信号的丢失样本的恢复相关的逆问题的算法。这个问题也被称为图像处理中的修复,为此,我们提出了一个迭代稀疏恢复算法的基础上约束$l_1$范数最小化与一个新的保真度度量。所提出的度量称为凸相似性(CSIM)指标,是结构相似性(SSIM)指标的简化版本,它是凸的和错误敏感的。结合这一标准的优化问题,然后通过交替方向乘法(ADMM)解决。仿真结果表明,该方法对一维图像块矢量的缺失样本恢复和二维图像信号的修复是有效的。
2017-06-28 cs.LG stat.ML
Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Nanjing University(南京大学);Jilin University(吉林大学)
提出基于k-support范数的迭代正则化算法IRKSN,通过早停机制实现稀疏恢复,放宽了传统$\ell_1$范数方法的适用条件,并给出了具有显式常数的模型误差早停界限,实现标准线性收敛率。
2024-03-19 cs.LG eess.SP math.OC
Entrywise Recovery Guarantees for Sparse PCA via Sparsistent Algorithms
稀疏主成分分析(PCA)是应用统计学的众多子领域中普遍使用的工具。虽然有几个结果的特点的主要特征向量的恢复误差,这些通常是在频谱或Frobenius规范。在本文中,我们提供了一般的高维次高斯设计下的稀疏PCA的逐项$\ell_{2,\infty}$界限。特别是,我们的结果适用于任何算法,选择正确的支持与高概率,那些是稀疏的。我们的界改进了已知的结果,提供了一个更精细的表征的估计误差,我们的证明使用最近开发的技术,为entrywise子空间扰动理论。
2022-02-08 math.ST stat.ML stat.TH
A Recovery Guarantee for Sparse Neural Networks
School of Electrical and Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院);Department of Electrical Engineering(电气工程系);Stanford University(斯坦福大学)
该研究为稀疏神经网络提供了恢复保证,通过迭代硬阈值算法以线性内存复杂度精确恢复稀疏权重,并在多个任务中表现出优于传统方法的性能。
2026-02-28 cs.LG math.OC stat.ML
Group-sparse Matrix Recovery
我们应用OSCAR(八角形选择和聚类算法回归)恢复组稀疏矩阵(二维-2D-阵列)从压缩测量。我们提出了一个二维版本的OSCAR(2 OSCAR)的$\ell_1$规范和成对的$\ell_{\infty}$规范,这是凸的,但不可微的。我们表明,2 OSCAR的邻近算子可以计算的基础上的OSCAR。因此,2 OSCAR问题可以有效地解决国家的最先进的邻近分裂算法。对组稀疏二维阵列恢复的实验表明,SpaRSA算法求解的2 OSCAR正则化是最快的选择,而PADMM算法(带去偏置)产生最准确的结果。
2014-02-20 cs.CV cs.LG stat.ML
Regularization, sparse recovery, and median-of-means tournaments
介绍了一种正则化的风险最小化方法,用于回归函数估计,在一般条件下,包括重尾预测和响应变量,达到接近最优的精度和置信度。该过程基于作者在[8]中引入的均值比赛。结果表明,新的程序优于标准的正则化经验风险最小化程序,如套索或斜率重尾问题。
2017-11-29 math.ST stat.ML stat.TH
On Verifiable Sufficient Conditions for Sparse Signal Recovery via $\ell_1$ Minimization
我们提出了新的充要条件的传感矩阵是“$s$ -好”-允许精确的$\ell_1$ -恢复稀疏信号与$s$非零条目时,没有测量噪声存在。然后,我们表示不完美的$\ell_1$ -恢复(非零测量噪声,近$s$ -稀疏信号,产生$\ell_1$ -恢复的最优化问题的近最优解)的这些条件下的特征方面的误差界。此外,我们证明(这是本文的主要结果),这些特性,虽然难以评估,导致可验证的充分条件精确稀疏的$\ell_1$恢复和有效地计算上界的那些$s$,其中一个给定的传感矩阵是$s$ -好。我们还建立了我们的方法和压缩感知理论的基本概念之间的指导性联系,如限制等距或限制特征值属性。
2010-05-31 math.OC math.ST stat.TH
A unified approach to model selection and sparse recovery using regularized least squares
模型选择和稀疏恢复是正则化方法研究的两个重要问题。我们研究的正则化方法的性质在这两个问题的统一框架下的正则化最小二乘凹罚。对于模型选择,我们建立条件下,正则化最小二乘估计享有非渐近性质,称为弱预言性质,其中的维数可以指数增长的样本量。对于稀疏恢复,我们提出了一个充分条件,确保稀疏解的可恢复性。特别是,我们通过考虑一个家庭的处罚,使一个光滑的同伦之间的$L_0$和$L_1$处罚的方法来解决这两个问题。我们还提出了用于稀疏恢复的顺序迭代重新加权平方(SIRS)算法。数值研究支持我们的理论结果,并证明了我们的模型选择和稀疏恢复的新方法的优势。
2009-09-03 math.ST stat.TH
Sparse recovery based on the generalized error function
Zhejiang University City College(浙大城市学院)
本文提出了一种基于广义误差函数的稀疏恢复方法。引入的罚函数同时包含了形状和尺度参数,使得它非常灵活。从零空间性质、球截面性质和约束可逆因子等方面对约束和无约束模型进行了理论分析。给出了迭代加权$\ell_1$和凸函数差分算法的实用算法。数值实验进行说明所提出的方法在各种情况下提供的改进。研究了该算法在磁共振成像(MRI)重建中的实际应用。
2021-06-03 cs.LG cs.NA eess.IV
Bayesian Hypothesis Testing for Block Sparse Signal Recovery
提出了一种新的块贝叶斯假设检验算法(Block-BHTA),用于重构具有未知块结构的块稀疏信号。Block-BHTA算法包括支撑点的检测和恢复,以及块稀疏信号幅度的估计。使用贝叶斯假设检验执行支持检测和恢复。然后,基于检测和重建的支持,非零幅度估计的线性MMSE。数值实验证明了Block-BHTA的有效性。
2015-08-22 cs.IT math.IT stat.ML
Belief propagation for joint sparse recovery
压缩感知(CS)证明了稀疏信号可以从欠定线性测量中恢复。我们专注于联合稀疏恢复问题,其中多个信号共享相同的公共稀疏支持集,并且它们通过相同的感知矩阵进行测量。利用最近的信息理论表征的单信号CS,我们制定了最佳的最小均方误差(MMSE)估计问题,并推导出一个信念传播算法,其放松的版本,联合稀疏恢复问题和近似的消息传递算法。此外,利用密度演化,我们提供了一个充分条件的精确恢复。
2011-02-16 cs.IT math.IT
Exact Recovery of Sparse Signals via Orthogonal Matching Pursuit: How Many Iterations Do We Need?
正交匹配追踪(OMP)是一种广泛应用于从压缩测量中恢复稀疏信号的贪心算法。在本文中,我们分析了OMP算法进行精确恢复稀疏信号所需的迭代次数。我们的分析表明,OMP可以准确地恢复所有的$K$稀疏信号的$\lceil 2.8 K \rceil$迭代时,测量矩阵满足限制等距属性(RIP)。我们的结果改进了张的结果,也弥补了张的结果和OMP的基本极限之间的差距,在该极限下$K$ -稀疏信号的精确恢复不能得到一致的保证。
2016-02-20 cs.IT math.IT
Probabilistic Recovery Guarantees for Sparsely Corrupted Signals
我们考虑稀疏干扰下稀疏信号的恢复,如Studer等人所介绍的,IEEE Trans. IT,2012年。我们提出了新的概率恢复保证这个框架,覆盖不同程度的知识的信号和干扰的支持,这是相关的大量的实际应用。我们的研究结果假设稀疏字典的特征在于相干参数,我们只需要在信号和/或干扰的随机性。所获得的恢复保证表明,可以恢复稀疏损坏的信号具有压倒性的概率,即使稀疏的信号和干扰规模(近)与测量的数量呈线性关系。
2012-09-26 cs.IT math.IT
On the optimality of a L1/L1 solver for sparse signal recovery from sparsely corrupted compressive measurements
这个简短的说明证明了$\ell_1/\ell_1$求解器的$\ell_2-\ell_1$实例最优性,即当应用于估计稀疏(或可压缩)信号时,具有$\ell_1$保真度约束的\emph{basis pursuit denoising}的变体。该方法简单地结合了两个已知的结果,由于Y。普兰河Vershynin和E.坎迪斯
2013-03-20 cs.IT math.IT
Recovery of Sparsely Corrupted Signals
我们研究了在一般情况下(即,可能是冗余的或不完整的)字典,该字典被允许另一个通用字典中的稀疏表示的加性噪声破坏。这种设置覆盖了广泛的应用,例如图像修补、超分辨率、信号分离和被例如以下损害的信号的恢复:削波、脉冲噪声或窄带干扰。我们提出了一种新的不确定性关系的基础上对一般字典的确定性恢复保证,我们提供了相应的切实可行的恢复算法。我们发现的恢复保证取决于信号和噪声稀疏水平,所涉及的字典的相干参数,以及关于信号和噪声支持集的先验知识的量。
2011-12-07 cs.IT math.IT
Simultaneous Sparse Recovery and Blind Demodulation
当信号经历未知调制(或互补傅立叶域中的卷积)时,在过完备字典中找到稀疏信号分解的任务变得更加复杂。这种同时稀疏恢复和盲解调问题出现在许多应用中,包括医学成像,超分辨率,自校准等,在本文中,我们考虑了一个更一般的稀疏恢复和盲解调问题,其中每个原子组成的信号经历了一个独特的调制过程。在假设调制波形存在于一个已知的公共子空间中的情况下,我们采用提升技术,并将此问题重新转换为从结构化线性测量中恢复列稀疏矩阵。在这个框架中,我们完成稀疏恢复和盲解调同时通过最小化诱导原子范数,这在这个问题中对应于块$\ell_1$范数最小化。对于完美的恢复在无噪声的情况下,我们推导出高斯和随机傅立叶过完备字典的近最佳样本复杂度界。我们还提供了在噪声情况下恢复列稀疏矩阵的界限。数值模拟说明和支持我们的理论结果。
2019-08-13 cs.IT math.IT
Modified Papoulis-Gerchberg algorithm for sparse signal recovery
受著名的Papoulis-Gerchberg算法的启发,提出了一种从少量观测值中恢复稀疏信号的迭代阈值算法。迭代的序列与阈值Landweber迭代的序列相似,尽管不相同。该算法的性能进行了实验评估,并与其他国家的最先进的方法相比。
2009-02-12 cs.IT math.IT
Support Recovery for Sparse Signals with Unknown Non-stationary Modulation
从低维噪声观测中估计稀疏信号的问题在许多应用中出现,包括超分辨率、信号反卷积和雷达成像。在本文中,我们考虑了一个稀疏信号模型与非平稳调制,其中每个字典原子有助于观察经历一个未知的,不同的调制。通过应用提升技术,在假设调制信号存在于一个公共子空间的条件下,将稀疏恢复和非平稳盲解调问题转化为从结构化线性观测值中恢复列稀疏矩阵的问题,并提出采用块$\ell_{1}$ -范数正则化二次最小化方法求解.由于观测噪声的影响,稀疏信号和调制过程不能被准确地恢复。相反,我们的目标是恢复地面真实信号的稀疏支持,并限制信号的非零分量和调制过程的恢复误差。特别地,我们得到了关于样本复杂度和正则化参数的支持精确恢复的充分条件,并将恢复误差限制在支持上。数值模拟验证和支持我们的理论研究结果,我们证明了我们的模型在单分子成像的应用的有效性。
2020-02-12 cs.IT math.IT
Recovery of Block-Sparse Representations from Noisy Observations via Orthogonal Matching Pursuit
我们研究的问题,从噪声损坏的测量块稀疏信号的稀疏模式的恢复。一个简单,有效的恢复方法,即块版本的正交匹配追踪(OMP)的方法,被认为是本文和它的行为恢复块稀疏模式进行了分析。我们提供了充分的条件下,块版本的OMP可以成功地恢复块稀疏表示存在噪声。我们的分析表明,利用块稀疏性可以提高恢复能力,并导致保证恢复更高的稀疏水平。数值结果证实了我们的理论主张。
2011-09-26 cs.IT math.IT
Joint-sparse recovery from multiple measurements
联合稀疏恢复问题的目的是恢复,从压缩测量集,未知的稀疏矩阵与非零条目限制到一个子集的行。这是在压缩感知中广泛研究的单测量向量(SMV)问题的扩展。我们分析了两种类型的恢复算法的恢复属性。首先,我们表明,使用范数最小化的总和的恢复不能超过连续SMV使用$\ell_1$最小化的统一恢复率,并有问题,可以解决一种方法,但不能与其他。其次,我们分析了ReMBo算法的性能[M. Mishali和Y. Eldar,IEEE Trans. Sig.程序、56(2008)]结合$\ell_1$最小化,并且示出了随着进行更多的测量,恢复如何改善。从该分析可以得出,具有比非零行数更多的测量值不会提高潜在的理论恢复率。
2009-04-14 cs.IT math.IT
Recovery of sparsest signals via $\ell^q$-minimization
本文证明了只要每个$s$ -稀疏向量${\bf x}\in {\mathbb R}^n$由测量${\bf z}$唯一确定,每个$s$-稀疏向量${\bf x}\in {\mathbb R}^n$都可以从测量向量${\bf z}={\bf A} {\bf x}\in {\mathbb R}^m$通过$0< q\le 1$的一些$\ell^q$ -最小化精确地恢复.
2010-05-03 cs.IT math.IT
Sparse Recovery of Fusion Frame Structured Signals
融合帧是提供信号空间的冗余表示的子空间的集合。他们通过用框架子空间代替框架向量来推广经典框架。本文考虑了从融合帧中稀疏恢复信号的问题。我们使用块稀疏模型的融合帧,然后表明,稀疏信号在此模型下可以压缩采样和重建的方式类似于标准的压缩感知(CS)。特别是,我们调用混合l1/l2范数最小化,以重建稀疏信号。在我们的工作中,我们表明,假设一定的不相干属性的子空间和先验知识,它允许我们提高恢复时,通常的块稀疏的情况下相比。
2018-04-05 cs.IT math.IT
Sparse Signal Recovery in Hilbert Spaces
本文报告了一种努力,以巩固众多的相干为基础的稀疏信号恢复的结果,在文献中。我们提出了一个单一的理论,适用于一般的希尔伯特空间与稀疏的信号定义为参与信号的表示的子空间的数量(可能是无限维)。我们的一般结果恢复稀疏信号,块稀疏信号,多频带信号,移位不变空间中的信号,和(可能是无限维)子空间的有限联合中的信号的不确定性关系和基于相干的恢复阈值。此外,我们改进和推广现有的结果,在许多情况下,我们发现缩短和简化的证明。
2012-05-21 cs.IT math.IT
A sharp recovery condition for block sparse signals by block orthogonal multi-matching pursuit
我们考虑块正交多匹配追踪(BOMMP)算法恢复块稀疏信号。在无噪声情况下,基于块限制等距常数(块RIC),通过BOMMP算法获得块$K$稀疏信号的精确重建的尖锐界限。此外,我们表明,结合最小$\ell_2$范数的块$K-$稀疏信号的非零块的一个额外的条件的尖锐的界是足够的恢复块$K$ -稀疏信号的BOMMP在噪声的情况下的真正支持。我们在本文中获得的结果的意义在于,明确使用块稀疏信号的块稀疏性可以实现更好的恢复性能,而不是在传统意义上忽略问题中的附加结构。
2016-07-11 cs.IT math.IT
Sparse Non-Negative Recovery from Biased Subgaussian Measurements using NNLS
我们研究了非负最小二乘(NNLS)的稀疏非负向量的恢复噪声的线性和有偏的测量。我们建立在[1]的最新结果的基础上,表明对于行跨度与正正交矩阵相交的矩阵,零空间属性(NSP)意味着NNLS的压缩感知恢复保证。这样的结果是一样好的$\ell_1$ -正则估计,但不需要调整参数,取决于噪声水平。传感矩阵中的偏差改进了NNLS的这种自动正则化特征,并且NSP然后仅确定稀疏恢复性能。我们证明了NSP对于有偏次高斯矩阵具有高概率成立,并且其性质与偏置无关。
2019-12-25 cs.IT math.IT
Support Recovery of Sparse Signals in the Presence of Multiple Measurement Vectors
研究了基于多测量向量的稀疏信号支持度恢复问题。MMV支持恢复问题连接到单输入多输出(SIMO)多址信道(MAC)中的解码消息的问题,从而使信息理论框架,用于分析在恢复稀疏信号的支持的性能限制。尖锐的充分和必要条件,成功的支持恢复推导出的数量的测量每个测量向量,非零行的数量,测量噪声水平,特别是测量向量的数量。通过对结果的解释,特别是与多输出通信系统的连接,说明了具有用于稀疏信号恢复的MMV的益处,为在许多现有仿真结果中观察到的MMV所实现的性能改善提供了理论基础。特别是,它示出的结构(秩)的矩阵形成的非零条目上的支持恢复的性能限制起着重要的作用。
2011-09-09 cs.IT math.IT
Fast thresholding algorithms with feedbacks for sparse signal recovery
我们提供了另一个框架的迭代算法的基础上阈值,反馈和零空间调整稀疏表示和压缩感知中产生的稀疏信号恢复。几个阈值算法与各种反馈的推导,这是非常有效和快速。收敛结果也提供。核心算法收敛于有限的许多步骤下(预处理)限制等距条件。该算法被认为是特别有效的大规模问题。数值研究的有效性和速度的算法也被提出。
2012-11-11 cs.IT math.IT
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China(电子科技大学);China Academy of Engineering Physics(中国工程物理研究院)
在本文中,我们考虑块稀疏信号恢复问题的背景下,多个测量向量(MMV)与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号,其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同,该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化(EM)的框架。仿真结果表明,该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
Bayesian Hypothesis Test for Sparse Support Recovery using Belief Propagation
在本文中,我们介绍了一种新的支持恢复算法,从噪声测量称为贝叶斯假设检验通过信念传播(BHT-BP)。BHT-BP侧重于稀疏支持恢复,而不是稀疏信号估计。BHT-BP算法的核心思想是利用假设检验来检测稀疏向量的支持集,其中检验中使用的后验密度是借助于置信传播(BP)来获得的。由于BP算法利用噪声统计量提供精确的后验信息,因此BHT-BP算法可以恢复支持度,并且对测量噪声具有鲁棒性。此外,BHT-BP算法具有较低的计算成本相比,其他算法的使用BP。我们展示了BHT-BP在参数(N; M; K; SNR)上的支持恢复性能,并通过数值结果将BHT-BP的性能与OMP和Lasso进行了比较。
2013-02-26 cs.IT math.IT
Support Recovery of Sparse Signals
我们考虑通过噪声测量稀疏信号的精确支持恢复的问题。重点研究了支护恢复可靠的测量次数的充分必要条件。通过类比支持恢复问题和高斯多址信道上的信道编码问题,并利用数学工具开发的后一个问题,我们得到了一个信息理论框架分析支持恢复的性能限制。导出了关于信号稀疏度和测量噪声水平的测量次数的充分必要条件。具体地说,当非零条目的数量是固定的,支持恢复的测量数量的精确渐近性。当非零元素的数目以某种方式增加时,我们得到了比现有结果更严格的充分条件。此外,我们表明,所提出的方法可以处理各种模型的稀疏信号恢复,从而证明其作为一个有效的分析工具的潜力。
2010-03-03 cs.IT math.IT
Adaptive Variable Step Algorithm for Missing Samples Recovery in Sparse Signals
恢复任意位置的样本是在稀疏信号中丢失最近吸引了显着的研究兴趣。具有严重损坏的任意位置的样本的稀疏信号可以通过省略损坏的样本并将它们视为在恢复过程期间不可用而以与压缩感测信号相同的方式进行分析。缺失样本的重建是通过使用一种公知的重建算法来完成的。在本文中,我们将提出一个非常简单和有效的自适应变步长算法,直接适用于浓度的措施,没有重新制定的标准线性规划形式内的重建问题。直接应用梯度方法的不可微形式的措施,导致我们引入一个可变步长的算法。提出了一种自适应算法参数变化的判据。以稀疏信号(包括近似稀疏信号和含噪稀疏信号)为例说明了结果。
2013-09-23 cs.IT math.IT
On partial sparse recovery
我们考虑的问题,恢复欠定线性方程组的部分稀疏的解决方案,通过最小化的$\ell_1$ -范数的一部分,已知是稀疏的解决方案向量。这样的问题与压缩感知中的经典问题密切相关,其中整个解向量的$\ell_1$范数被最小化。我们引入类似物的限制等距和零空间属性的恢复部分稀疏向量,并表明,这些新的属性是隐含的原来的同行。我们还展示了如何在噪声测量下将恢复扩展到部分稀疏的情况。
2013-04-09 cs.IT math.IT math.OC
Sparse Discrete Laplace and Gaussian Mechanisms under Local Differential Privacy
KTH Stockholm(皇家理工学院);UNSW Canberra(新南威尔士大学堪培拉校区)
本文研究了稀疏局部隐私通道,分析了稀疏离散拉普拉斯和高斯机制在局部差分隐私中的精确刻画,得出了隐私缺陷与支持泄漏及重叠区域隐私损失的关系,并给出了隐私与稀疏性之间的最优权衡。
2026-05-10 cs.IT math.IT
Statistical Recovery of Simultaneously Sparse Time-Varying Signals from Multiple Measurement Vectors
在本文中,我们提出了一种新的稀疏信号恢复算法,称为稀疏卡尔曼树搜索(sKTS),提供了一个强大的重建的稀疏向量时,序列的相关观测向量。所提出的sKTS算法建立在期望最大化(EM)算法的基础上,并且由两个主要操作组成:1)卡尔曼平滑以获得源信号向量的后验统计量和2)贪婪树搜索以估计信号向量的支持度。通过数值实验,我们证明了所提出的sKTS算法是有效的,在恢复稀疏信号,并执行接近的Oracle(基因为基础的)卡尔曼估计。
2015-12-05 cs.IT math.IT
Compressed Sensing of Block-Sparse Signals: Uncertainty Relations and Efficient Recovery
我们考虑块稀疏信号的压缩感知,即,具有非零系数的稀疏信号出现在簇中。块稀疏信号的不确定性关系,推导出基于块相干性措施,我们介绍。然后,我们表明,块版本的正交匹配追踪算法恢复块$k$稀疏信号在不超过$k$步骤,如果块的相干性是足够小的。块一致性的相同条件下,通过混合$\ell_2/\ell_1$优化方法,以保证成功恢复。这补充了以前的恢复结果的块稀疏的情况下,依赖于小块限制等距常数。本文提出的结果的意义在于,明确使用块稀疏性可以证明产生更好的重建性能比处理信号稀疏在传统意义上,从而忽略了问题中的附加结构。
2009-06-18 cs.IT math.IT
Recovery of Sparse Positive Signals on the Sphere from Low Resolution Measurements
这封信考虑的问题,恢复一个积极的流的Diracs在一个领域从其投影到空间的低次球谐函数,即从其低分辨率版本。我们建议通过一个易处理的凸优化问题恢复Diracs。由此产生的恢复误差与噪声水平成正比,并取决于Dirac的密度。我们通过数值实验验证了理论。
2015-09-27 cs.IT math.IT
Average Case Analysis of Multichannel Sparse Recovery Using Convex Relaxation
在本文中,我们考虑联合稀疏多通道信号从不完整的测量恢复。已经开发了几种方法来从给定的观测值中恢复未知的稀疏向量,包括阈值,同时正交匹配追踪(SOMP)和基于混合矩阵范数的凸松弛。通常,执行最坏情况分析,以便分析算法能够恢复任何联合稀疏向量集的条件。然而,这样的方法是不能够提供的见解,为什么联合稀疏恢复是优于应用标准的稀疏重建方法,每个通道单独。以往的工作认为,通过对测量信号施加概率模型的阈值和SOMP的平均情况分析。在本文中,我们的主要重点是凸松弛技术的分析。特别是,我们专注于混合l_2,1方法多通道恢复。我们表明,在一个非常温和的条件下的稀疏性和字典特性,例如测量的一致性,恢复失败的概率呈指数衰减的通道数。这表明,大多数时候,多通道稀疏恢复确实优于单通道方法。我们的概率界是有效的,即使是少量的信号是有意义的。使用我们开发的工具来分析凸松弛方法,我们还收紧了阈值和SOMP的以前的界限。
2009-04-03 cs.IT math.IT
Joint Sparse Recovery Method for Compressed Sensing with Structured Dictionary Mismatches
在传统的压缩感知理论中,字典矩阵是先验给定的,而在实际应用中,这个矩阵会受到随机噪声和波动的影响。在本文中,我们考虑的信号模型中的字典矩阵中的每一列的结构性噪声的影响。该公式在雷达系统和阵列处理中遇到的离网目标的到达方向(DOA)估计中是常见的。我们建议使用联合稀疏信号恢复来解决结构化字典不匹配的压缩感知问题,并给出了这种联合稀疏恢复的分析性能界。我们表明,在温和的条件下,原始稀疏信号的重建误差是有界的稀疏性和噪声水平的测量模型。此外,我们实现了快速一阶算法,以加快计算过程。数值算例验证了所提算法的良好性能,同时也表明联合稀疏恢复方法比现有方法具有更好的重建效果。通过实现联合稀疏恢复方法,在被动和主动感知情况下,DOA估计的精度和效率都得到了提高。
2014-07-24 cs.IT math.IT