Sparse matrices for weighted sparse recovery
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文首次提出加权ℓ1最小化在稀疏随机矩阵和加权稀疏信号中的稀疏恢复保证，通过加权空空间性质推导，并展示其计算效率优于密集矩阵。
2016-05-09 cs.CC cs.IT cs.NA
On the gap between RIP-properties and sparse recovery conditions
本文研究了利用$\ell_p$约束基追踪从欠定线性测量中恢复稀疏向量的问题。以前的分析，这个问题的基础上广义限制等距属性表明，两种现象发生，如果$p\neq 2$。首先，可能需要基本上多于$s \log(en/s)$的测量（对于$p=2$是最佳的）来均匀恢复所有$s$稀疏向量。第二，以最佳测量次数实现恢复的矩阵可能不是高斯的（对于$p=2$）。我们提出了一个新的，直接的分析表明，事实上，这两种现象都没有发生。通过一个合适的版本的零空间属性，我们表明，一个标准的高斯矩阵提供了$\ell_q/\ell_1$恢复保证$\ell_p$约束的基础上追求的最佳测量制度。我们的结果扩展到几个双尾测量矩阵。作为一个应用程序，我们表明，可以获得一致的重建均匀标量量化测量的最佳测量制度。
2015-04-20 cs.IT math.IT math.ST
Two step recovery of jointly sparse and low-rank matrices: theoretical guarantees
我们介绍了一个两步算法的理论保证，以恢复一个联合稀疏和低秩矩阵的欠采样测量其列。该算法首先使用列的一组公共测量来估计矩阵的行子空间。在第二步中，使用简单的最小二乘算法解决矩阵的子空间感知恢复。在从欠采样测量中恢复CINE数据的背景下验证了结果;当采样条件满足时，我们获得了良好的恢复。
2015-06-02 cs.IT math.IT stat.ML
Sparse recovery via Orthogonal Least-Squares under presence of Noise
我们考虑的正交最小二乘（OLS）算法的恢复$m$维$k$稀疏信号从少量的噪声线性测量。在信号非零元素满足一定条件的情况下，建立了有界噪声环境下OLS的精确恢复条件。新的结果也改善了现有的保证正交匹配追踪（OMP）算法。此外，该框架还可以为系数矩阵是根据高斯分布或伯努利分布随机抽取的情况提供概率保证，其中我们利用了一些集中性质。结果表明，在一定条件下，OLS在$k$迭代中以很高的概率恢复真实支持度。这又证明了${\cal O}\left(k\log m\right)$测量足以通过OLS精确恢复稀疏信号。
2016-08-08 cs.IT math.IT stat.ML
Recovery of Sparse Signals Using Multiple Orthogonal Least Squares
Rutgers, The State University of New Jersey（罗格斯，新泽西州立大学）
我们研究了从压缩的线性测量中恢复稀疏信号的问题。这个问题，通常被称为稀疏恢复或稀疏重建，近年来产生了很大的兴趣。为了恢复稀疏信号，我们提出了一种新的方法，称为多个正交最小二乘（MOLS），它扩展了著名的正交最小二乘（OLS）算法，允许多个$L$指数选择每次迭代。由于在每次选择中包含多个支持度指标，MOLS算法在更少的迭代次数内收敛，并提高了传统OLS算法的计算效率。理论分析表明，如果测量矩阵满足等距常数为$δ_{LK} < \frac{\sqrt{L}}{\sqrt{K} + 2 \sqrt{L}}.$的限制等距性质（RIP），则MOLS（$L > 1$）在$K$迭代内可以精确恢复所有$K$稀疏信号。结果表明，当信噪比与输入信号的稀疏程度成线性关系时，MOLS算法可以实现稀疏信号的稳定恢复。
2015-12-31 cs.IT cs.LG math.IT
Robust Sparse Recovery with Sparse Bernoulli matrices via Expanders
本文研究稀疏 Bernoulli(p) 矩阵的鲁棒零空间性质，刻画以最少测量实现稀疏恢复所需的最小 p，并以匹配下界证明最优性。
2024-12-06 cs.IT math.IT math.PR
Entrywise Recovery Guarantees for Sparse PCA via Sparsistent Algorithms
稀疏主成分分析（PCA）是应用统计学的众多子领域中普遍使用的工具。虽然有几个结果的特点的主要特征向量的恢复误差，这些通常是在频谱或Frobenius规范。在本文中，我们提供了一般的高维次高斯设计下的稀疏PCA的逐项$\ell_{2,\infty}$界限。特别是，我们的结果适用于任何算法，选择正确的支持与高概率，那些是稀疏的。我们的界改进了已知的结果，提供了一个更精细的表征的估计误差，我们的证明使用最近开发的技术，为entrywise子空间扰动理论。
2022-02-08 math.ST stat.ML stat.TH
Regularization, sparse recovery, and median-of-means tournaments
介绍了一种正则化的风险最小化方法，用于回归函数估计，在一般条件下，包括重尾预测和响应变量，达到接近最优的精度和置信度。该过程基于作者在[8]中引入的均值比赛。结果表明，新的程序优于标准的正则化经验风险最小化程序，如套索或斜率重尾问题。
2017-11-29 math.ST stat.ML stat.TH
A unified approach to model selection and sparse recovery using regularized least squares
模型选择和稀疏恢复是正则化方法研究的两个重要问题。我们研究的正则化方法的性质在这两个问题的统一框架下的正则化最小二乘凹罚。对于模型选择，我们建立条件下，正则化最小二乘估计享有非渐近性质，称为弱预言性质，其中的维数可以指数增长的样本量。对于稀疏恢复，我们提出了一个充分条件，确保稀疏解的可恢复性。特别是，我们通过考虑一个家庭的处罚，使一个光滑的同伦之间的$L_0$和$L_1$处罚的方法来解决这两个问题。我们还提出了用于稀疏恢复的顺序迭代重新加权平方（SIRS）算法。数值研究支持我们的理论结果，并证明了我们的模型选择和稀疏恢复的新方法的优势。
2009-09-03 math.ST stat.TH
Multichannel sparse recovery of complex-valued signals using Huber's criterion
本文将Huber准则推广到复值测量的多通道稀疏恢复问题，其目标是从给定的多个测量向量中找到联合稀疏未知信号向量的良好恢复，这些测量向量是相同已知基本向量的不同线性组合。这就需要仔细刻画强大的复值损失函数以及多元稀疏回归问题的Huber准则函数。提出了一种基于同步归一化迭代硬阈值（SNIHT）算法的贪心算法。与传统的SNIHT方法不同，我们的算法，称为HUB-SNIHT，在重尾非高斯噪声条件下是鲁棒的，但与高斯噪声下的SNIHT相比，性能损失可以忽略不计。在传感器阵列声源定位的应用中说明了该方法的有效性。
2015-04-16 cs.IT math.IT stat.CO
Recovery of Low-Rank Plus Compressed Sparse Matrices with Application to Unveiling Traffic Anomalies
给定一个低秩矩阵的叠加加上一个已知的脂肪压缩矩阵乘以稀疏矩阵的产品，本文的目标是建立确定性的条件下，精确恢复的低秩和稀疏的组件成为可能。这一基本的可识别性问题与骨干网络中的流量异常检测有关，并包含压缩感知以及矩阵分解问题中遇到的及时低秩稀疏矩阵恢复任务。利用$\ell_1$ -和核范数恢复稀疏和低秩矩阵的能力，制定了一个凸规划来估计未知数。分析和仿真证实，所述凸程序可以恢复足够低的秩和足够稀疏的分量的未知数，随着压缩矩阵具有等距属性时，限制操作稀疏向量。当低秩、稀疏和压缩矩阵是从某些随机集合中提取时，可以确定精确的恢复是可能的，具有很高的概率。一阶算法被开发来解决具有可证明的迭代复杂性保证的非光滑凸优化问题。对合成和真实网络数据的深入测试证实了这种新方法在揭示流量和时间异常方面的有效性，以及其优于现有替代方案的能力。
2012-04-30 cs.IT cs.NI math.IT
Matching Pursuit LASSO Part II: Applications and Sparse Recovery over Batch Signals
The University of Adelaide（阿德莱德大学）；University of Technology, Sydney（悉尼科技大学）；Brown University（布朗大学）
匹配追踪LASS在第一部分\cite{TanPMLPart1}中，我们提出了一种求解大规模稀疏恢复问题的匹配追踪LASSO（{MPL}）算法。在本文中，我们提出了一个子空间搜索，以进一步提高MPL的性能，然后继续解决SR的另一个主要挑战-批量SR与许多信号，一个考虑，这是从大多数以前的$\ell_1$范数方法缺席。因此，一个批处理模式{MPL}的开发，大大加快稀疏恢复的许多信号同时进行。压缩感知和人脸识别任务的综合数值实验证明了MPL和BMPL在稀疏恢复能力和效率方面优于本文考虑的其他方法。特别地，BMPL比被认为是最先进的现有$\ell_1$范数方法快400倍。O第二部分：批处理信号的应用和稀疏恢复
2014-12-24 cs.CV cs.LG stat.ML
Improved Algorithms for Matrix Recovery from Rank-One Projections
我们考虑的问题估计的低秩矩阵从有限数量的噪声秩一的预测。特别是，我们提出了两个快速的，非凸的\emph{proper}算法矩阵恢复和支持他们严格的理论分析。我们证明了所提出的算法具有线性收敛性，并且它们的样本复杂度与未知真低秩矩阵的条件数无关。通过利用低秩矩阵逼近技术的最新进展，我们表明，我们的算法实现了计算速度比现有的方法。最后，我们补充我们的理论与一些数值实验。
2017-05-21 stat.ML
On Verifiable Sufficient Conditions for Sparse Signal Recovery via $\ell_1$ Minimization
我们提出了新的充要条件的传感矩阵是“$s$ -好”-允许精确的$\ell_1$ -恢复稀疏信号与$s$非零条目时，没有测量噪声存在。然后，我们表示不完美的$\ell_1$ -恢复（非零测量噪声，近$s$ -稀疏信号，产生$\ell_1$ -恢复的最优化问题的近最优解）的这些条件下的特征方面的误差界。此外，我们证明（这是本文的主要结果），这些特性，虽然难以评估，导致可验证的充分条件精确稀疏的$\ell_1$恢复和有效地计算上界的那些$s$，其中一个给定的传感矩阵是$s$ -好。我们还建立了我们的方法和压缩感知理论的基本概念之间的指导性联系，如限制等距或限制特征值属性。
2010-05-31 math.OC math.ST stat.TH
Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery
Iowa State University（爱荷华州立大学）；New York University（纽约大学）；Duke University（杜克大学）
本文从稀疏恢复方法的角度研究了神经网络自动设计中的两个重要问题--超参数优化（Hyper parameter Optimization，HPO）和神经结构搜索（Neural Architecture Search，NAS）。在本文的第一部分，我们建立了一个新的连接HPO和结构化稀疏恢复。特别是，我们表明，一个特殊的编码的超参数空间，使一个自然的组稀疏恢复制定，这与HyperBand（多臂强盗策略）时，导致改善现有的超参数优化方法。在CIFAR-10等图像数据集上的实验结果证实了我们方法的优点。在本文的第二部分，我们建立了NAS和结构化稀疏恢复之间的联系。基于NAS中的“一次性”方法，我们提出了一种新的算法，我们称之为CoNAS，通过将一次性方法的思想与学习低次稀疏布尔多项式的技术相结合。我们提供了理论分析的验证误差测量的数量。最后，我们在几个数据集上验证了我们的方法，并发现了迄今为止尚未报道的新架构，与现有的NAS方法相比，在性能和搜索时间方面都取得了有竞争力（或更好）的结果。
2020-07-07 cs.LG stat.ML
Sparse Recovery with Very Sparse Compressed Counting
Rutgers University（罗格斯大学）
压缩感知（稀疏信号恢复）经常遇到非负数据（例如，图像）。最近，我们开发了使用（密集）压缩计数恢复非负K-稀疏信号的方法。在本文中，我们采用非常稀疏的压缩计数的非负信号恢复。我们的设计矩阵是从最大偏态p-稳定分布（0<p<1）中采样的，我们对设计矩阵进行了稀疏化，使得平均（1-g）-分数项变为零。这个想法与非常稀疏的稳定随机投影（Li et al 2006 and Li 2007）有关，这是估计数据汇总统计量的先前工作。在我们的理论分析中，我们表明，当p->0时，使用M= K/（1-exp（-gK）log N测量就足够了，使得可以在坐标的一次扫描中恢复所有坐标。如果g = 1（即，密集设计），则M = K log N。如果g= 1/K或2/K（即，非常稀疏的设计），则M = 1.58K log N或M = 1.16K log N。这意味着设计矩阵实际上可以非常稀疏，样本复杂性只有很小的膨胀。有趣的是，当p->1时，所需的测量次数基本上是M = 2.7K log N，假设g= 1/K。事实证明，这个结果是一个一般的最坏情况界限。
2013-12-31 cs.DS cs.IT cs.LG
Recovery of Missing Samples Using Sparse Approximation via a Convex Similarity Measure
Sharif University of Technology（谢里夫理工大学）；Qom University of Technology（库姆理工大学）
本文研究了基于稀疏逼近的缺失样本恢复问题。在这方面，我们研究用于解决与图像信号的丢失样本的恢复相关的逆问题的算法。这个问题也被称为图像处理中的修复，为此，我们提出了一个迭代稀疏恢复算法的基础上约束$l_1$范数最小化与一个新的保真度度量。所提出的度量称为凸相似性（CSIM）指标，是结构相似性（SSIM）指标的简化版本，它是凸的和错误敏感的。结合这一标准的优化问题，然后通过交替方向乘法（ADMM）解决。仿真结果表明，该方法对一维图像块矢量的缺失样本恢复和二维图像信号的修复是有效的。
2017-06-28 cs.LG stat.ML
Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Nanjing University（南京大学）；Jilin University（吉林大学）
提出基于k-support范数的迭代正则化算法IRKSN，通过早停机制实现稀疏恢复，放宽了传统$\ell_1$范数方法的适用条件，并给出了具有显式常数的模型误差早停界限，实现标准线性收敛率。
2024-03-19 cs.LG eess.SP math.OC
A Recovery Guarantee for Sparse Neural Networks
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）；Department of Electrical Engineering（电气工程系）；Stanford University（斯坦福大学）
该研究为稀疏神经网络提供了恢复保证，通过迭代硬阈值算法以线性内存复杂度精确恢复稀疏权重，并在多个任务中表现出优于传统方法的性能。
2026-02-28 cs.LG math.OC stat.ML
Group-sparse Matrix Recovery
我们应用OSCAR（八角形选择和聚类算法回归）恢复组稀疏矩阵（二维-2D-阵列）从压缩测量。我们提出了一个二维版本的OSCAR（2 OSCAR）的$\ell_1$规范和成对的$\ell_{\infty}$规范，这是凸的，但不可微的。我们表明，2 OSCAR的邻近算子可以计算的基础上的OSCAR。因此，2 OSCAR问题可以有效地解决国家的最先进的邻近分裂算法。对组稀疏二维阵列恢复的实验表明，SpaRSA算法求解的2 OSCAR正则化是最快的选择，而PADMM算法（带去偏置）产生最准确的结果。
2014-02-20 cs.CV cs.LG stat.ML
On the exact recovery of sparse signals via conic relaxations
在这篇文章中，我们比较了Pilanci，Wainwright和El Ghaoui最近提出的稀疏线性回归问题的两个半定松弛（通过布尔松弛进行稀疏学习，2015）和Dong，Chen和Linderoth（松弛与正则化统计变量选择的圆锥优化观点，2015）。我们重点讨论了基数约束形式，证明了Dong等人提出的松弛理论并不弱于Pilanci等人提出的松弛，因此Pilanci等人导出的精确恢复的充分条件可以很容易地应用于其他松弛，包括他们关于高斯系综高概率恢复的结果.最后，我们提供的经验证据表明，放松董等。需要更少的观察，以保证恢复真正的支持。
2016-03-15 math.OC stat.ML
Two New Approaches to Compressed Sensing Exhibiting Both Robust Sparse Recovery and the Grouping Effect
在本文中，我们介绍了一种新的稀疏回归和压缩感知的优化配方，称为CLOT（组合L-One和Two），其中正则化是一个凸组合的$\ell_1$ -和$\ell_2$ -规范。该公式与弹性网络（EN）公式不同，在弹性网络（EN）公式中，正则化子是$\ell_1$ -和$\ell_2$ -范数平方的凸组合。结果表明，在压缩感知的背景下，EN制定没有实现稳健的恢复稀疏向量，而新的CLOT制定实现稳健的恢复。此外，与EN类似但与LASSO不同，CLOT公式实现了分组效应，其中测量（或设计）矩阵的高度相关列的系数被分配大致相当的值。已知LASSO不具有分组效应。因此，CLOT公式结合了LASSO（鲁棒稀疏恢复）和EN（分组效应）的最佳特征。CLOT公式是另一种称为SGL（稀疏组LASSO）的特殊情况，该SGL以前被引入到文献中，但没有对分组效应或鲁棒稀疏恢复进行任何分析。它在这里示出，SGL实现了强大的稀疏恢复，也实现了一个版本的分组效应，属于同一组的测量（或设计）矩阵的高度相关的列的系数被分配大致相当的值。
2017-06-20 stat.ML
Sparse recovery based on the generalized error function
Zhejiang University City College（浙大城市学院）
本文提出了一种基于广义误差函数的稀疏恢复方法。引入的罚函数同时包含了形状和尺度参数，使得它非常灵活。从零空间性质、球截面性质和约束可逆因子等方面对约束和无约束模型进行了理论分析。给出了迭代加权$\ell_1$和凸函数差分算法的实用算法。数值实验进行说明所提出的方法在各种情况下提供的改进。研究了该算法在磁共振成像（MRI）重建中的实际应用。
2021-06-03 cs.LG cs.NA eess.IV
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China（电子科技大学）；China Academy of Engineering Physics（中国工程物理研究院）
在本文中，我们考虑块稀疏信号恢复问题的背景下，多个测量向量（MMV）与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号，其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同，该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化（EM）的框架。仿真结果表明，该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
Bayesian Hypothesis Testing for Block Sparse Signal Recovery
提出了一种新的块贝叶斯假设检验算法（Block-BHTA），用于重构具有未知块结构的块稀疏信号。Block-BHTA算法包括支撑点的检测和恢复，以及块稀疏信号幅度的估计。使用贝叶斯假设检验执行支持检测和恢复。然后，基于检测和重建的支持，非零幅度估计的线性MMSE。数值实验证明了Block-BHTA的有效性。
2015-08-22 cs.IT math.IT stat.ML
Sparse Signal Recovery in the Presence of Intra-Vector and Inter-Vector Correlation
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
本文讨论了当非零项的值之间存在相关性时稀疏信号的恢复问题。我们检查块稀疏模型的上下文中的向量内相关性和多测量向量模型的上下文中的向量间相关性，以及它们的组合。提出了基于稀疏贝叶斯学习的算法，并讨论了在算法级引入相关性的好处。还讨论了相关性对支持恢复极限的影响，强调了向量内和向量间相关性对这些极限的不同影响。
2012-05-20 cs.IT cs.LG math.IT
Polynomial-time Sparse Measure Recovery: From Mean Field Theory to Algorithm Design
MIT（麻省理工学院）；INRIA-ENS-PSL（法国国家信息与自动化研究所-巴黎高等师范学院-巴黎文理研究大学）
平均场理论通过使问题的规模趋于无穷大，为各种算法提供了理论上的见解。我们认为，平均场理论的应用超越了理论的见解，因为它可以启发设计的实际算法。利用物理学中的平均场分析，我们提出了一种新的稀疏测量恢复算法。对于稀疏措施$\mathbb{R}$，我们提出了一个多项式时间的恢复方法，从傅立叶矩，提高凸松弛方法在一个特定的参数制度，然后，我们证明了我们的结果的应用程序的优化特定的二维，单层神经网络在可实现的设置。
2023-02-13 cs.LG stat.ML
Sparse Signal Recovery with Temporally Correlated Source Vectors Using Sparse Bayesian Learning
University of California at San Diego（加州大学圣地亚哥分校）
当解矩阵的每个非零行中的元素在时间上相关时，我们在多个测量向量（MMV）的上下文中解决稀疏信号恢复问题。现有的算法不考虑这种时间相关性，因此它们的性能显着降低的相关性。在这项工作中，我们提出了一个块稀疏贝叶斯学习框架，模型的时间相关性。在这个框架中，我们推导出两个稀疏贝叶斯学习（SBL）算法，具有优越的恢复性能相比，现有的算法，特别是在存在高的时间相关性。此外，我们的算法更好地处理高度欠定问题，并要求更少的行稀疏的解决方案矩阵。我们还提供了其成本函数的全局和局部最小值的分析，并表明，SBL成本函数具有非常理想的性质，即全局最小值是在稀疏解的MMV问题。大量的实验也提供了一些有趣的结果，激励未来的理论研究MMV模型。
2011-08-17 cs.LG stat.ML
Recovery of Sparse and Low Rank Components of Matrices Using Iterative Method with Adaptive Thresholding
Advanced Communication Research Institute (ACRI), Electrical Engineering Department, Sharif University of Technology（德黑兰理工大学先进通信研究院）
本文提出一种利用自适应阈值迭代方法恢复矩阵稀疏和低秩成分的算法，通过阈值操作获取低秩和稀疏成分，具有高效性和易实现性，并在非稀疏噪声应用中表现出良好的性能。
2017-04-12 cs.NA math.NA stat.ML
