Sparse Recovery With Non-Linear Fourier Features
Uppsala University（乌普萨拉大学）
随机非线性傅立叶特征最近在广泛的回归和分类应用中表现出显着的性能。受此成功的启发，本文重点介绍了稀疏非线性傅立叶特征（NFF）模型。我们提供了足够数量的数据点，保证完美的恢复未知参数的高概率的表征。特别是，我们展示了足够数量的数据点如何依赖于与输入数据的概率分布函数相关联的核矩阵。我们比较我们的结果与有界正交系统的可恢复性界，并提供示例说明稀疏恢复下的NFF模型。
2020-02-12 cs.IT cs.LG eess.SP
Matching Pursuit LASSO Part II: Applications and Sparse Recovery over Batch Signals
The University of Adelaide（阿德莱德大学）；University of Technology, Sydney（悉尼科技大学）；Brown University（布朗大学）
匹配追踪LASS在第一部分\cite{TanPMLPart1}中，我们提出了一种求解大规模稀疏恢复问题的匹配追踪LASSO（{MPL}）算法。在本文中，我们提出了一个子空间搜索，以进一步提高MPL的性能，然后继续解决SR的另一个主要挑战-批量SR与许多信号，一个考虑，这是从大多数以前的$\ell_1$范数方法缺席。因此，一个批处理模式{MPL}的开发，大大加快稀疏恢复的许多信号同时进行。压缩感知和人脸识别任务的综合数值实验证明了MPL和BMPL在稀疏恢复能力和效率方面优于本文考虑的其他方法。特别地，BMPL比被认为是最先进的现有$\ell_1$范数方法快400倍。O第二部分：批处理信号的应用和稀疏恢复
2014-12-24 cs.CV cs.LG stat.ML
Impulsive Noise Robust Sparse Recovery via Continuous Mixed Norm
Sharif University of Technology（谢里夫理工大学）；Qom University of Technology（库姆理工大学）；Instituto Superior Técnico（高等理工学院）
研究了加性脉冲噪声背景下稀疏信号的恢复问题。重尾脉冲噪声是很好的建模与稳定的分布。由于$SαS$分布的概率密度函数没有明确的公式，因此使用诸如广义高斯分布（GGD）的替代近似，其对残差施加$\ell_p$范数保真度。在本文中，我们利用连续混合范数（CMN）的鲁棒稀疏恢复代替$\ell_p$ -范数。我们表明，在盲目的条件下，即，在噪声分布参数未知的情况下，结合CMN可以导致接近最佳的恢复。我们采用交替方向乘法（ADMM）解决的问题所引起的利用CMN的鲁棒稀疏恢复。在该方法中，CMN被替换为代理函数，并结合优化最小化技术来解决问题。仿真结果证实了所提出的方法的效率相比，最近在文献中的一些算法的脉冲噪声鲁棒稀疏恢复。
2018-04-12 cs.IT cs.LG eess.SP
On Verifiable Sufficient Conditions for Sparse Signal Recovery via $\ell_1$ Minimization
我们提出了新的充要条件的传感矩阵是“$s$ -好”-允许精确的$\ell_1$ -恢复稀疏信号与$s$非零条目时，没有测量噪声存在。然后，我们表示不完美的$\ell_1$ -恢复（非零测量噪声，近$s$ -稀疏信号，产生$\ell_1$ -恢复的最优化问题的近最优解）的这些条件下的特征方面的误差界。此外，我们证明（这是本文的主要结果），这些特性，虽然难以评估，导致可验证的充分条件精确稀疏的$\ell_1$恢复和有效地计算上界的那些$s$，其中一个给定的传感矩阵是$s$ -好。我们还建立了我们的方法和压缩感知理论的基本概念之间的指导性联系，如限制等距或限制特征值属性。
2010-05-31 math.OC math.ST stat.TH
A unified approach to model selection and sparse recovery using regularized least squares
模型选择和稀疏恢复是正则化方法研究的两个重要问题。我们研究的正则化方法的性质在这两个问题的统一框架下的正则化最小二乘凹罚。对于模型选择，我们建立条件下，正则化最小二乘估计享有非渐近性质，称为弱预言性质，其中的维数可以指数增长的样本量。对于稀疏恢复，我们提出了一个充分条件，确保稀疏解的可恢复性。特别是，我们通过考虑一个家庭的处罚，使一个光滑的同伦之间的$L_0$和$L_1$处罚的方法来解决这两个问题。我们还提出了用于稀疏恢复的顺序迭代重新加权平方（SIRS）算法。数值研究支持我们的理论结果，并证明了我们的模型选择和稀疏恢复的新方法的优势。
2009-09-03 math.ST stat.TH
Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Nanjing University（南京大学）；Jilin University（吉林大学）
提出基于k-support范数的迭代正则化算法IRKSN，通过早停机制实现稀疏恢复，放宽了传统$\ell_1$范数方法的适用条件，并给出了具有显式常数的模型误差早停界限，实现标准线性收敛率。
2024-03-19 cs.LG eess.SP math.OC
Two step recovery of jointly sparse and low-rank matrices: theoretical guarantees
我们介绍了一个两步算法的理论保证，以恢复一个联合稀疏和低秩矩阵的欠采样测量其列。该算法首先使用列的一组公共测量来估计矩阵的行子空间。在第二步中，使用简单的最小二乘算法解决矩阵的子空间感知恢复。在从欠采样测量中恢复CINE数据的背景下验证了结果;当采样条件满足时，我们获得了良好的恢复。
2015-06-02 cs.IT math.IT stat.ML
Sparse recovery via Orthogonal Least-Squares under presence of Noise
我们考虑的正交最小二乘（OLS）算法的恢复$m$维$k$稀疏信号从少量的噪声线性测量。在信号非零元素满足一定条件的情况下，建立了有界噪声环境下OLS的精确恢复条件。新的结果也改善了现有的保证正交匹配追踪（OMP）算法。此外，该框架还可以为系数矩阵是根据高斯分布或伯努利分布随机抽取的情况提供概率保证，其中我们利用了一些集中性质。结果表明，在一定条件下，OLS在$k$迭代中以很高的概率恢复真实支持度。这又证明了${\cal O}\left(k\log m\right)$测量足以通过OLS精确恢复稀疏信号。
2016-08-08 cs.IT math.IT stat.ML
Sparse Signal Recovery for Binary Compressed Sensing by Majority Voting Neural Networks
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了多数表决神经网络的稀疏信号恢复二进制压缩感知。多数表决神经网络由几个独立训练的前馈神经网络组成，采用S形函数作为激活函数。我们的实证研究表明，选择一个损失函数用于网络的训练过程是至关重要的。我们找到了一个适合稀疏信号恢复的损失函数，它包括一个交叉熵项和一个$L_1$正则化项。从实验结果中，我们观察到，多数表决神经网络实现了良好的恢复性能，这是接近最佳性能的组件网络的数量的增长。多数表决神经网络的简单架构对于软件和硬件实现都是有益的。
2016-10-29 cs.IT cs.LG math.IT
Entrywise Recovery Guarantees for Sparse PCA via Sparsistent Algorithms
稀疏主成分分析（PCA）是应用统计学的众多子领域中普遍使用的工具。虽然有几个结果的特点的主要特征向量的恢复误差，这些通常是在频谱或Frobenius规范。在本文中，我们提供了一般的高维次高斯设计下的稀疏PCA的逐项$\ell_{2,\infty}$界限。特别是，我们的结果适用于任何算法，选择正确的支持与高概率，那些是稀疏的。我们的界改进了已知的结果，提供了一个更精细的表征的估计误差，我们的证明使用最近开发的技术，为entrywise子空间扰动理论。
2022-02-08 math.ST stat.ML stat.TH
Two New Approaches to Compressed Sensing Exhibiting Both Robust Sparse Recovery and the Grouping Effect
在本文中，我们介绍了一种新的稀疏回归和压缩感知的优化配方，称为CLOT（组合L-One和Two），其中正则化是一个凸组合的$\ell_1$ -和$\ell_2$ -规范。该公式与弹性网络（EN）公式不同，在弹性网络（EN）公式中，正则化子是$\ell_1$ -和$\ell_2$ -范数平方的凸组合。结果表明，在压缩感知的背景下，EN制定没有实现稳健的恢复稀疏向量，而新的CLOT制定实现稳健的恢复。此外，与EN类似但与LASSO不同，CLOT公式实现了分组效应，其中测量（或设计）矩阵的高度相关列的系数被分配大致相当的值。已知LASSO不具有分组效应。因此，CLOT公式结合了LASSO（鲁棒稀疏恢复）和EN（分组效应）的最佳特征。CLOT公式是另一种称为SGL（稀疏组LASSO）的特殊情况，该SGL以前被引入到文献中，但没有对分组效应或鲁棒稀疏恢复进行任何分析。它在这里示出，SGL实现了强大的稀疏恢复，也实现了一个版本的分组效应，属于同一组的测量（或设计）矩阵的高度相关的列的系数被分配大致相当的值。
2017-06-20 stat.ML
Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery
Iowa State University（爱荷华州立大学）；New York University（纽约大学）；Duke University（杜克大学）
本文从稀疏恢复方法的角度研究了神经网络自动设计中的两个重要问题--超参数优化（Hyper parameter Optimization，HPO）和神经结构搜索（Neural Architecture Search，NAS）。在本文的第一部分，我们建立了一个新的连接HPO和结构化稀疏恢复。特别是，我们表明，一个特殊的编码的超参数空间，使一个自然的组稀疏恢复制定，这与HyperBand（多臂强盗策略）时，导致改善现有的超参数优化方法。在CIFAR-10等图像数据集上的实验结果证实了我们方法的优点。在本文的第二部分，我们建立了NAS和结构化稀疏恢复之间的联系。基于NAS中的“一次性”方法，我们提出了一种新的算法，我们称之为CoNAS，通过将一次性方法的思想与学习低次稀疏布尔多项式的技术相结合。我们提供了理论分析的验证误差测量的数量。最后，我们在几个数据集上验证了我们的方法，并发现了迄今为止尚未报道的新架构，与现有的NAS方法相比，在性能和搜索时间方面都取得了有竞争力（或更好）的结果。
2020-07-07 cs.LG stat.ML
A Recovery Guarantee for Sparse Neural Networks
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）；Department of Electrical Engineering（电气工程系）；Stanford University（斯坦福大学）
该研究为稀疏神经网络提供了恢复保证，通过迭代硬阈值算法以线性内存复杂度精确恢复稀疏权重，并在多个任务中表现出优于传统方法的性能。
2026-02-28 cs.LG math.OC stat.ML
Group-sparse Matrix Recovery
我们应用OSCAR（八角形选择和聚类算法回归）恢复组稀疏矩阵（二维-2D-阵列）从压缩测量。我们提出了一个二维版本的OSCAR（2 OSCAR）的$\ell_1$规范和成对的$\ell_{\infty}$规范，这是凸的，但不可微的。我们表明，2 OSCAR的邻近算子可以计算的基础上的OSCAR。因此，2 OSCAR问题可以有效地解决国家的最先进的邻近分裂算法。对组稀疏二维阵列恢复的实验表明，SpaRSA算法求解的2 OSCAR正则化是最快的选择，而PADMM算法（带去偏置）产生最准确的结果。
2014-02-20 cs.CV cs.LG stat.ML
Recovery of Missing Samples Using Sparse Approximation via a Convex Similarity Measure
Sharif University of Technology（谢里夫理工大学）；Qom University of Technology（库姆理工大学）
本文研究了基于稀疏逼近的缺失样本恢复问题。在这方面，我们研究用于解决与图像信号的丢失样本的恢复相关的逆问题的算法。这个问题也被称为图像处理中的修复，为此，我们提出了一个迭代稀疏恢复算法的基础上约束$l_1$范数最小化与一个新的保真度度量。所提出的度量称为凸相似性（CSIM）指标，是结构相似性（SSIM）指标的简化版本，它是凸的和错误敏感的。结合这一标准的优化问题，然后通过交替方向乘法（ADMM）解决。仿真结果表明，该方法对一维图像块矢量的缺失样本恢复和二维图像信号的修复是有效的。
2017-06-28 cs.LG stat.ML
Recovery of Low-Rank Plus Compressed Sparse Matrices with Application to Unveiling Traffic Anomalies
给定一个低秩矩阵的叠加加上一个已知的脂肪压缩矩阵乘以稀疏矩阵的产品，本文的目标是建立确定性的条件下，精确恢复的低秩和稀疏的组件成为可能。这一基本的可识别性问题与骨干网络中的流量异常检测有关，并包含压缩感知以及矩阵分解问题中遇到的及时低秩稀疏矩阵恢复任务。利用$\ell_1$ -和核范数恢复稀疏和低秩矩阵的能力，制定了一个凸规划来估计未知数。分析和仿真证实，所述凸程序可以恢复足够低的秩和足够稀疏的分量的未知数，随着压缩矩阵具有等距属性时，限制操作稀疏向量。当低秩、稀疏和压缩矩阵是从某些随机集合中提取时，可以确定精确的恢复是可能的，具有很高的概率。一阶算法被开发来解决具有可证明的迭代复杂性保证的非光滑凸优化问题。对合成和真实网络数据的深入测试证实了这种新方法在揭示流量和时间异常方面的有效性，以及其优于现有替代方案的能力。
2012-04-30 cs.IT cs.NI math.IT
Regularization, sparse recovery, and median-of-means tournaments
介绍了一种正则化的风险最小化方法，用于回归函数估计，在一般条件下，包括重尾预测和响应变量，达到接近最优的精度和置信度。该过程基于作者在[8]中引入的均值比赛。结果表明，新的程序优于标准的正则化经验风险最小化程序，如套索或斜率重尾问题。
2017-11-29 math.ST stat.ML stat.TH
Sparse Recovery with Very Sparse Compressed Counting
Rutgers University（罗格斯大学）
压缩感知（稀疏信号恢复）经常遇到非负数据（例如，图像）。最近，我们开发了使用（密集）压缩计数恢复非负K-稀疏信号的方法。在本文中，我们采用非常稀疏的压缩计数的非负信号恢复。我们的设计矩阵是从最大偏态p-稳定分布（0<p<1）中采样的，我们对设计矩阵进行了稀疏化，使得平均（1-g）-分数项变为零。这个想法与非常稀疏的稳定随机投影（Li et al 2006 and Li 2007）有关，这是估计数据汇总统计量的先前工作。在我们的理论分析中，我们表明，当p->0时，使用M= K/（1-exp（-gK）log N测量就足够了，使得可以在坐标的一次扫描中恢复所有坐标。如果g = 1（即，密集设计），则M = K log N。如果g= 1/K或2/K（即，非常稀疏的设计），则M = 1.58K log N或M = 1.16K log N。这意味着设计矩阵实际上可以非常稀疏，样本复杂性只有很小的膨胀。有趣的是，当p->1时，所需的测量次数基本上是M = 2.7K log N，假设g= 1/K。事实证明，这个结果是一个一般的最坏情况界限。
2013-12-31 cs.DS cs.IT cs.LG
Robust Sparse Recovery with Sparse Bernoulli matrices via Expanders
本文研究稀疏 Bernoulli(p) 矩阵的鲁棒零空间性质，刻画以最少测量实现稀疏恢复所需的最小 p，并以匹配下界证明最优性。
2024-12-06 cs.IT math.IT math.PR
On the gap between RIP-properties and sparse recovery conditions
本文研究了利用$\ell_p$约束基追踪从欠定线性测量中恢复稀疏向量的问题。以前的分析，这个问题的基础上广义限制等距属性表明，两种现象发生，如果$p\neq 2$。首先，可能需要基本上多于$s \log(en/s)$的测量（对于$p=2$是最佳的）来均匀恢复所有$s$稀疏向量。第二，以最佳测量次数实现恢复的矩阵可能不是高斯的（对于$p=2$）。我们提出了一个新的，直接的分析表明，事实上，这两种现象都没有发生。通过一个合适的版本的零空间属性，我们表明，一个标准的高斯矩阵提供了$\ell_q/\ell_1$恢复保证$\ell_p$约束的基础上追求的最佳测量制度。我们的结果扩展到几个双尾测量矩阵。作为一个应用程序，我们表明，可以获得一致的重建均匀标量量化测量的最佳测量制度。
2015-04-20 cs.IT math.IT math.ST
Sparse recovery based on the generalized error function
Zhejiang University City College（浙大城市学院）
本文提出了一种基于广义误差函数的稀疏恢复方法。引入的罚函数同时包含了形状和尺度参数，使得它非常灵活。从零空间性质、球截面性质和约束可逆因子等方面对约束和无约束模型进行了理论分析。给出了迭代加权$\ell_1$和凸函数差分算法的实用算法。数值实验进行说明所提出的方法在各种情况下提供的改进。研究了该算法在磁共振成像（MRI）重建中的实际应用。
2021-06-03 cs.LG cs.NA eess.IV
A preconditioning approach for improved estimation of sparse polynomial chaos expansions
压缩采样已被广泛应用于随机函数的稀疏多项式混沌（PC）逼近。压缩采样的恢复精度高度依赖于测量矩阵的非相干性。本文考虑欠定方程组的预处理问题。用非奇异矩阵预乘线性方程组得到等效方程组，但它可以潜在地改善所得预处理测量矩阵的不相干性，并导致更好的恢复精度。然而，当测量有噪声时，预处理也可能导致更差的信噪比，从而降低恢复精度。在这项工作中，我们提出了一个预处理方案，提高了测量矩阵的不相干性，并在同一时间防止不希望的恶化的信噪比。我们提供的理论动机和数值例子表明，所提出的方法在提高估计多项式混沌展开的准确性的承诺。
2018-04-05 stat.CO
