Sparse Recovery with Linear and Nonlinear Observations: Dependent and Noisy Data
我们制定稀疏支持恢复作为一个显着的集合识别问题,并使用信息理论分析,以表征恢复性能和样本的复杂性。我们考虑一个非常一般的模型,我们不限于线性模型或特定的分布。我们国家的非渐近界的恢复概率和一个紧密的互信息公式的样本复杂性。我们评估我们的应用范围,如稀疏线性回归和显式特征的相关性或噪声特征对恢复性能的影响。我们在以前的工作和识别恢复算法的性能和基本信息之间的差距的改进。
2014-03-12 cs.IT cs.LG math.IT
Sparse matrices for weighted sparse recovery
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文首次提出加权ℓ1最小化在稀疏随机矩阵和加权稀疏信号中的稀疏恢复保证,通过加权空空间性质推导,并展示其计算效率优于密集矩阵。
2016-05-09 cs.CC cs.IT cs.NA
On the exact recovery of sparse signals via conic relaxations
在这篇文章中,我们比较了Pilanci,Wainwright和El Ghaoui最近提出的稀疏线性回归问题的两个半定松弛(通过布尔松弛进行稀疏学习,2015)和Dong,Chen和Linderoth(松弛与正则化统计变量选择的圆锥优化观点,2015)。我们重点讨论了基数约束形式,证明了Dong等人提出的松弛理论并不弱于Pilanci等人提出的松弛,因此Pilanci等人导出的精确恢复的充分条件可以很容易地应用于其他松弛,包括他们关于高斯系综高概率恢复的结果.最后,我们提供的经验证据表明,放松董等。需要更少的观察,以保证恢复真正的支持。
2016-03-15 math.OC stat.ML
Two New Approaches to Compressed Sensing Exhibiting Both Robust Sparse Recovery and the Grouping Effect
在本文中,我们介绍了一种新的稀疏回归和压缩感知的优化配方,称为CLOT(组合L-One和Two),其中正则化是一个凸组合的$\ell_1$ -和$\ell_2$ -规范。该公式与弹性网络(EN)公式不同,在弹性网络(EN)公式中,正则化子是$\ell_1$ -和$\ell_2$ -范数平方的凸组合。结果表明,在压缩感知的背景下,EN制定没有实现稳健的恢复稀疏向量,而新的CLOT制定实现稳健的恢复。此外,与EN类似但与LASSO不同,CLOT公式实现了分组效应,其中测量(或设计)矩阵的高度相关列的系数被分配大致相当的值。已知LASSO不具有分组效应。因此,CLOT公式结合了LASSO(鲁棒稀疏恢复)和EN(分组效应)的最佳特征。CLOT公式是另一种称为SGL(稀疏组LASSO)的特殊情况,该SGL以前被引入到文献中,但没有对分组效应或鲁棒稀疏恢复进行任何分析。它在这里示出,SGL实现了强大的稀疏恢复,也实现了一个版本的分组效应,属于同一组的测量(或设计)矩阵的高度相关的列的系数被分配大致相当的值。
2017-06-20 stat.ML
On the gap between RIP-properties and sparse recovery conditions
本文研究了利用$\ell_p$约束基追踪从欠定线性测量中恢复稀疏向量的问题。以前的分析,这个问题的基础上广义限制等距属性表明,两种现象发生,如果$p\neq 2$。首先,可能需要基本上多于$s \log(en/s)$的测量(对于$p=2$是最佳的)来均匀恢复所有$s$稀疏向量。第二,以最佳测量次数实现恢复的矩阵可能不是高斯的(对于$p=2$)。我们提出了一个新的,直接的分析表明,事实上,这两种现象都没有发生。通过一个合适的版本的零空间属性,我们表明,一个标准的高斯矩阵提供了$\ell_q/\ell_1$恢复保证$\ell_p$约束的基础上追求的最佳测量制度。我们的结果扩展到几个双尾测量矩阵。作为一个应用程序,我们表明,可以获得一致的重建均匀标量量化测量的最佳测量制度。
2015-04-20 cs.IT math.IT math.ST
Matching Pursuit LASSO Part II: Applications and Sparse Recovery over Batch Signals
The University of Adelaide(阿德莱德大学);University of Technology, Sydney(悉尼科技大学);Brown University(布朗大学)
匹配追踪LASS在第一部分\cite{TanPMLPart1}中,我们提出了一种求解大规模稀疏恢复问题的匹配追踪LASSO({MPL})算法。在本文中,我们提出了一个子空间搜索,以进一步提高MPL的性能,然后继续解决SR的另一个主要挑战-批量SR与许多信号,一个考虑,这是从大多数以前的$\ell_1$范数方法缺席。因此,一个批处理模式{MPL}的开发,大大加快稀疏恢复的许多信号同时进行。压缩感知和人脸识别任务的综合数值实验证明了MPL和BMPL在稀疏恢复能力和效率方面优于本文考虑的其他方法。特别地,BMPL比被认为是最先进的现有$\ell_1$范数方法快400倍。O第二部分:批处理信号的应用和稀疏恢复
2014-12-24 cs.CV cs.LG stat.ML
Robust Sparse Recovery with Sparse Bernoulli matrices via Expanders
本文研究稀疏 Bernoulli(p) 矩阵的鲁棒零空间性质,刻画以最少测量实现稀疏恢复所需的最小 p,并以匹配下界证明最优性。
2024-12-06 cs.IT math.IT math.PR
Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery
Iowa State University(爱荷华州立大学);New York University(纽约大学);Duke University(杜克大学)
本文从稀疏恢复方法的角度研究了神经网络自动设计中的两个重要问题--超参数优化(Hyper parameter Optimization,HPO)和神经结构搜索(Neural Architecture Search,NAS)。在本文的第一部分,我们建立了一个新的连接HPO和结构化稀疏恢复。特别是,我们表明,一个特殊的编码的超参数空间,使一个自然的组稀疏恢复制定,这与HyperBand(多臂强盗策略)时,导致改善现有的超参数优化方法。在CIFAR-10等图像数据集上的实验结果证实了我们方法的优点。在本文的第二部分,我们建立了NAS和结构化稀疏恢复之间的联系。基于NAS中的“一次性”方法,我们提出了一种新的算法,我们称之为CoNAS,通过将一次性方法的思想与学习低次稀疏布尔多项式的技术相结合。我们提供了理论分析的验证误差测量的数量。最后,我们在几个数据集上验证了我们的方法,并发现了迄今为止尚未报道的新架构,与现有的NAS方法相比,在性能和搜索时间方面都取得了有竞争力(或更好)的结果。
2020-07-07 cs.LG stat.ML
A General Framework of Dual Certificate Analysis for Structured Sparse Recovery Problems
本文提出了一个通用的理论框架来分析结构化稀疏恢复问题使用的符号双证书。虽然双重证书概念的某些方面已经在以前的一些工作中使用,但由于缺乏一个普遍和连贯的理论,迄今为止只在有限的范围内对具体问题进行了分析。在这方面,本文件作出了两个贡献。首先,我们介绍了一个一般的定义,对偶证书,然后我们使用它来开发一个统一的理论稀疏恢复分析凸规划。其次,我们提出了一类结构稀疏正则化称为结构Lasso的计算可以很容易地在我们的理论框架下进行。这个新的理论包括许多看似松散相关的以前的工作作为特殊情况,它也意味着新的结果,改善现有的,即使是标准的公式,如L1正则化。
2012-04-04 stat.ML
Sparse Recovery With Non-Linear Fourier Features
Uppsala University(乌普萨拉大学)
随机非线性傅立叶特征最近在广泛的回归和分类应用中表现出显着的性能。受此成功的启发,本文重点介绍了稀疏非线性傅立叶特征(NFF)模型。我们提供了足够数量的数据点,保证完美的恢复未知参数的高概率的表征。特别是,我们展示了足够数量的数据点如何依赖于与输入数据的概率分布函数相关联的核矩阵。我们比较我们的结果与有界正交系统的可恢复性界,并提供示例说明稀疏恢复下的NFF模型。
2020-02-12 cs.IT cs.LG eess.SP
Two step recovery of jointly sparse and low-rank matrices: theoretical guarantees
我们介绍了一个两步算法的理论保证,以恢复一个联合稀疏和低秩矩阵的欠采样测量其列。该算法首先使用列的一组公共测量来估计矩阵的行子空间。在第二步中,使用简单的最小二乘算法解决矩阵的子空间感知恢复。在从欠采样测量中恢复CINE数据的背景下验证了结果;当采样条件满足时,我们获得了良好的恢复。
2015-06-02 cs.IT math.IT stat.ML
Sparse recovery via Orthogonal Least-Squares under presence of Noise
我们考虑的正交最小二乘(OLS)算法的恢复$m$维$k$稀疏信号从少量的噪声线性测量。在信号非零元素满足一定条件的情况下,建立了有界噪声环境下OLS的精确恢复条件。新的结果也改善了现有的保证正交匹配追踪(OMP)算法。此外,该框架还可以为系数矩阵是根据高斯分布或伯努利分布随机抽取的情况提供概率保证,其中我们利用了一些集中性质。结果表明,在一定条件下,OLS在$k$迭代中以很高的概率恢复真实支持度。这又证明了${\cal O}\left(k\log m\right)$测量足以通过OLS精确恢复稀疏信号。
2016-08-08 cs.IT math.IT stat.ML
Information-Theoretic Bounds for Adaptive Sparse Recovery
Boston University(波士顿大学)
我们推导出一个信息理论的样本复杂性在稀疏恢复问题,输入可以选择顺序和自适应的下界。这个下界是一个简单的互信息表达式,并统一了许多不同的线性和非线性观测模型。使用这个公式,我们得出自适应压缩感知(CS),组测试和1位CS问题的界限。我们发现,自适应不能降低样本复杂性组测试,1位CS和CS与线性稀疏。相比之下,我们表明,CS在次线性制度可能有温和的性能增益。我们的统一分析还允许表征的增益,由于从更广泛的角度对稀疏问题的自适应性。
2014-04-29 cs.IT cs.LG math.IT
Impulsive Noise Robust Sparse Recovery via Continuous Mixed Norm
Sharif University of Technology(谢里夫理工大学);Qom University of Technology(库姆理工大学);Instituto Superior Técnico(高等理工学院)
研究了加性脉冲噪声背景下稀疏信号的恢复问题。重尾脉冲噪声是很好的建模与稳定的分布。由于$SαS$分布的概率密度函数没有明确的公式,因此使用诸如广义高斯分布(GGD)的替代近似,其对残差施加$\ell_p$范数保真度。在本文中,我们利用连续混合范数(CMN)的鲁棒稀疏恢复代替$\ell_p$ -范数。我们表明,在盲目的条件下,即,在噪声分布参数未知的情况下,结合CMN可以导致接近最佳的恢复。我们采用交替方向乘法(ADMM)解决的问题所引起的利用CMN的鲁棒稀疏恢复。在该方法中,CMN被替换为代理函数,并结合优化最小化技术来解决问题。仿真结果证实了所提出的方法的效率相比,最近在文献中的一些算法的脉冲噪声鲁棒稀疏恢复。
2018-04-12 cs.IT cs.LG eess.SP
Recovery of Missing Samples Using Sparse Approximation via a Convex Similarity Measure
Sharif University of Technology(谢里夫理工大学);Qom University of Technology(库姆理工大学)
本文研究了基于稀疏逼近的缺失样本恢复问题。在这方面,我们研究用于解决与图像信号的丢失样本的恢复相关的逆问题的算法。这个问题也被称为图像处理中的修复,为此,我们提出了一个迭代稀疏恢复算法的基础上约束$l_1$范数最小化与一个新的保真度度量。所提出的度量称为凸相似性(CSIM)指标,是结构相似性(SSIM)指标的简化版本,它是凸的和错误敏感的。结合这一标准的优化问题,然后通过交替方向乘法(ADMM)解决。仿真结果表明,该方法对一维图像块矢量的缺失样本恢复和二维图像信号的修复是有效的。
2017-06-28 cs.LG stat.ML
Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Nanjing University(南京大学);Jilin University(吉林大学)
提出基于k-support范数的迭代正则化算法IRKSN,通过早停机制实现稀疏恢复,放宽了传统$\ell_1$范数方法的适用条件,并给出了具有显式常数的模型误差早停界限,实现标准线性收敛率。
2024-03-19 cs.LG eess.SP math.OC
A Recovery Guarantee for Sparse Neural Networks
School of Electrical and Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院);Department of Electrical Engineering(电气工程系);Stanford University(斯坦福大学)
该研究为稀疏神经网络提供了恢复保证,通过迭代硬阈值算法以线性内存复杂度精确恢复稀疏权重,并在多个任务中表现出优于传统方法的性能。
2026-02-28 cs.LG math.OC stat.ML
Sparse Signal Recovery for Binary Compressed Sensing by Majority Voting Neural Networks
Nagoya Institute of Technology(名古屋工业大学)
在本文中,我们提出了多数表决神经网络的稀疏信号恢复二进制压缩感知。多数表决神经网络由几个独立训练的前馈神经网络组成,采用S形函数作为激活函数。我们的实证研究表明,选择一个损失函数用于网络的训练过程是至关重要的。我们找到了一个适合稀疏信号恢复的损失函数,它包括一个交叉熵项和一个$L_1$正则化项。从实验结果中,我们观察到,多数表决神经网络实现了良好的恢复性能,这是接近最佳性能的组件网络的数量的增长。多数表决神经网络的简单架构对于软件和硬件实现都是有益的。
2016-10-29 cs.IT cs.LG math.IT
Group-sparse Matrix Recovery
我们应用OSCAR(八角形选择和聚类算法回归)恢复组稀疏矩阵(二维-2D-阵列)从压缩测量。我们提出了一个二维版本的OSCAR(2 OSCAR)的$\ell_1$规范和成对的$\ell_{\infty}$规范,这是凸的,但不可微的。我们表明,2 OSCAR的邻近算子可以计算的基础上的OSCAR。因此,2 OSCAR问题可以有效地解决国家的最先进的邻近分裂算法。对组稀疏二维阵列恢复的实验表明,SpaRSA算法求解的2 OSCAR正则化是最快的选择,而PADMM算法(带去偏置)产生最准确的结果。
2014-02-20 cs.CV cs.LG stat.ML
Multichannel sparse recovery of complex-valued signals using Huber's criterion
本文将Huber准则推广到复值测量的多通道稀疏恢复问题,其目标是从给定的多个测量向量中找到联合稀疏未知信号向量的良好恢复,这些测量向量是相同已知基本向量的不同线性组合。这就需要仔细刻画强大的复值损失函数以及多元稀疏回归问题的Huber准则函数。提出了一种基于同步归一化迭代硬阈值(SNIHT)算法的贪心算法。与传统的SNIHT方法不同,我们的算法,称为HUB-SNIHT,在重尾非高斯噪声条件下是鲁棒的,但与高斯噪声下的SNIHT相比,性能损失可以忽略不计。在传感器阵列声源定位的应用中说明了该方法的有效性。
2015-04-16 cs.IT math.IT stat.CO
Recovery of Low-Rank Plus Compressed Sparse Matrices with Application to Unveiling Traffic Anomalies
给定一个低秩矩阵的叠加加上一个已知的脂肪压缩矩阵乘以稀疏矩阵的产品,本文的目标是建立确定性的条件下,精确恢复的低秩和稀疏的组件成为可能。这一基本的可识别性问题与骨干网络中的流量异常检测有关,并包含压缩感知以及矩阵分解问题中遇到的及时低秩稀疏矩阵恢复任务。利用$\ell_1$ -和核范数恢复稀疏和低秩矩阵的能力,制定了一个凸规划来估计未知数。分析和仿真证实,所述凸程序可以恢复足够低的秩和足够稀疏的分量的未知数,随着压缩矩阵具有等距属性时,限制操作稀疏向量。当低秩、稀疏和压缩矩阵是从某些随机集合中提取时,可以确定精确的恢复是可能的,具有很高的概率。一阶算法被开发来解决具有可证明的迭代复杂性保证的非光滑凸优化问题。对合成和真实网络数据的深入测试证实了这种新方法在揭示流量和时间异常方面的有效性,以及其优于现有替代方案的能力。
2012-04-30 cs.IT cs.NI math.IT
Recovery of Sparse Signals Using Multiple Orthogonal Least Squares
Rutgers, The State University of New Jersey(罗格斯,新泽西州立大学)
我们研究了从压缩的线性测量中恢复稀疏信号的问题。这个问题,通常被称为稀疏恢复或稀疏重建,近年来产生了很大的兴趣。为了恢复稀疏信号,我们提出了一种新的方法,称为多个正交最小二乘(MOLS),它扩展了著名的正交最小二乘(OLS)算法,允许多个$L$指数选择每次迭代。由于在每次选择中包含多个支持度指标,MOLS算法在更少的迭代次数内收敛,并提高了传统OLS算法的计算效率。理论分析表明,如果测量矩阵满足等距常数为$δ_{LK} < \frac{\sqrt{L}}{\sqrt{K} + 2 \sqrt{L}}.$的限制等距性质(RIP),则MOLS($L > 1$)在$K$迭代内可以精确恢复所有$K$稀疏信号。结果表明,当信噪比与输入信号的稀疏程度成线性关系时,MOLS算法可以实现稀疏信号的稳定恢复。
2015-12-31 cs.IT cs.LG math.IT
Sparse recovery based on the generalized error function
Zhejiang University City College(浙大城市学院)
本文提出了一种基于广义误差函数的稀疏恢复方法。引入的罚函数同时包含了形状和尺度参数,使得它非常灵活。从零空间性质、球截面性质和约束可逆因子等方面对约束和无约束模型进行了理论分析。给出了迭代加权$\ell_1$和凸函数差分算法的实用算法。数值实验进行说明所提出的方法在各种情况下提供的改进。研究了该算法在磁共振成像(MRI)重建中的实际应用。
2021-06-03 cs.LG cs.NA eess.IV
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University(上海交通大学)
在过去的十年中,稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导,$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的,因为相关的凸优化问题通常是易处理的,但在许多应用中已经表明,非凸惩罚可以产生显着更好的性能。近年来,基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣,事实上,它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域,包括压缩感知(CS)、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析(PCA)、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展,解决问题的惩罚选择,应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP
Sparse Recovery with Very Sparse Compressed Counting
Rutgers University(罗格斯大学)
压缩感知(稀疏信号恢复)经常遇到非负数据(例如,图像)。最近,我们开发了使用(密集)压缩计数恢复非负K-稀疏信号的方法。在本文中,我们采用非常稀疏的压缩计数的非负信号恢复。我们的设计矩阵是从最大偏态p-稳定分布(0<p<1)中采样的,我们对设计矩阵进行了稀疏化,使得平均(1-g)-分数项变为零。这个想法与非常稀疏的稳定随机投影(Li et al 2006 and Li 2007)有关,这是估计数据汇总统计量的先前工作。在我们的理论分析中,我们表明,当p->0时,使用M= K/(1-exp(-gK)log N测量就足够了,使得可以在坐标的一次扫描中恢复所有坐标。如果g = 1(即,密集设计),则M = K log N。如果g= 1/K或2/K(即,非常稀疏的设计),则M = 1.58K log N或M = 1.16K log N。这意味着设计矩阵实际上可以非常稀疏,样本复杂性只有很小的膨胀。有趣的是,当p->1时,所需的测量次数基本上是M = 2.7K log N,假设g= 1/K。事实证明,这个结果是一个一般的最坏情况界限。
2013-12-31 cs.DS cs.IT cs.LG
Exact recovery in the double sparse model: sufficient and necessary signal conditions
School of Statistics, Renmin University of China(中国人民大学统计学院);Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院);Center for Applied Statistics and School of Statistics, Renmin University of China(中国人民大学应用统计中心及统计学院)
本文研究了双重稀疏模型中精确支持恢复的信号条件,提出两阶段迭代硬阈值化方法并证明其Oracle性质,同时指出违反信号条件将导致无法实现精确恢复。
2025-12-01 math.ST stat.TH
Verifiable conditions of $\ell_1$-recovery of sparse signals with sign restrictions
我们提出了一个传感矩阵的充要条件是“S-半好”-允许精确的$\ell_1$ -恢复稀疏信号与最多$s$非零条目下的部分条目的符号限制。我们表示不完美的$\ell_1$ -恢复这些条件下的特点方面的误差界。此外,我们证明,这些特点,虽然难以评估,导致可验证的充分条件,精确稀疏$\ell_1$恢复和有效地计算上界的那些$s$,一个给定的传感矩阵是$s$ -半好。我们专注于拟议的可验证的充分条件的$s$ -半善的性质,并描述其性能限制。
2010-05-31 math.OC math.ST stat.TH
Sequential Analysis in High Dimensional Multiple Testing and Sparse Recovery
本文从序贯分析的角度研究了高维多重检验和稀疏恢复问题。在这种情况下,错误的概率是问题维度的函数。提出了一种简单的序贯测试方法。我们推导出在非序贯设置的可靠恢复的必要条件,并将它们与可靠恢复的充分条件使用建议的序贯测试程序。几个常见的模型的主要结果的应用程序表明,序贯测试可以指数更敏感的零和替代分布之间的差异(在尺寸的依赖),这意味着微妙的情况下,可以更可靠地确定使用序贯方法。
2011-06-03 cs.IT math.IT math.ST