Recovery of Missing Samples Using Sparse Approximation via a Convex Similarity Measure
Sharif University of Technology(谢里夫理工大学);Qom University of Technology(库姆理工大学)
本文研究了基于稀疏逼近的缺失样本恢复问题。在这方面,我们研究用于解决与图像信号的丢失样本的恢复相关的逆问题的算法。这个问题也被称为图像处理中的修复,为此,我们提出了一个迭代稀疏恢复算法的基础上约束$l_1$范数最小化与一个新的保真度度量。所提出的度量称为凸相似性(CSIM)指标,是结构相似性(SSIM)指标的简化版本,它是凸的和错误敏感的。结合这一标准的优化问题,然后通过交替方向乘法(ADMM)解决。仿真结果表明,该方法对一维图像块矢量的缺失样本恢复和二维图像信号的修复是有效的。
2017-06-28 cs.LG stat.ML
Sparse Signal Recovery with Temporally Correlated Source Vectors Using Sparse Bayesian Learning
University of California at San Diego(加州大学圣地亚哥分校)
当解矩阵的每个非零行中的元素在时间上相关时,我们在多个测量向量(MMV)的上下文中解决稀疏信号恢复问题。现有的算法不考虑这种时间相关性,因此它们的性能显着降低的相关性。在这项工作中,我们提出了一个块稀疏贝叶斯学习框架,模型的时间相关性。在这个框架中,我们推导出两个稀疏贝叶斯学习(SBL)算法,具有优越的恢复性能相比,现有的算法,特别是在存在高的时间相关性。此外,我们的算法更好地处理高度欠定问题,并要求更少的行稀疏的解决方案矩阵。我们还提供了其成本函数的全局和局部最小值的分析,并表明,SBL成本函数具有非常理想的性质,即全局最小值是在稀疏解的MMV问题。大量的实验也提供了一些有趣的结果,激励未来的理论研究MMV模型。
2011-08-17 cs.LG stat.ML
Matching Pursuit LASSO Part II: Applications and Sparse Recovery over Batch Signals
The University of Adelaide(阿德莱德大学);University of Technology, Sydney(悉尼科技大学);Brown University(布朗大学)
匹配追踪LASS在第一部分\cite{TanPMLPart1}中,我们提出了一种求解大规模稀疏恢复问题的匹配追踪LASSO({MPL})算法。在本文中,我们提出了一个子空间搜索,以进一步提高MPL的性能,然后继续解决SR的另一个主要挑战-批量SR与许多信号,一个考虑,这是从大多数以前的$\ell_1$范数方法缺席。因此,一个批处理模式{MPL}的开发,大大加快稀疏恢复的许多信号同时进行。压缩感知和人脸识别任务的综合数值实验证明了MPL和BMPL在稀疏恢复能力和效率方面优于本文考虑的其他方法。特别地,BMPL比被认为是最先进的现有$\ell_1$范数方法快400倍。O第二部分:批处理信号的应用和稀疏恢复
2014-12-24 cs.CV cs.LG stat.ML
Sparse approximation and recovery by greedy algorithms in Banach spaces
我们研究了稀疏近似的贪婪算法。我们证明了弱Chebyshev贪婪算法(WCGA)的Lebesgue型不等式,这是弱正交匹配追踪在Banach空间中的推广。这些结果的主要新颖之处是一个Banach空间设置,而不是一个Hilbert空间设置。对于满足一定条件的冗余字典,证明了上述结果。然后,我们将这些一般结果的情况下,基地。特别是,我们证明了WCGA提供了几乎最佳的稀疏逼近的三角系统在$L_p$,$2\le p<\infty$。
2013-03-27 math.FA stat.ML
Two step recovery of jointly sparse and low-rank matrices: theoretical guarantees
我们介绍了一个两步算法的理论保证,以恢复一个联合稀疏和低秩矩阵的欠采样测量其列。该算法首先使用列的一组公共测量来估计矩阵的行子空间。在第二步中,使用简单的最小二乘算法解决矩阵的子空间感知恢复。在从欠采样测量中恢复CINE数据的背景下验证了结果;当采样条件满足时,我们获得了良好的恢复。
2015-06-02 cs.IT math.IT stat.ML
Sparse recovery via Orthogonal Least-Squares under presence of Noise
我们考虑的正交最小二乘(OLS)算法的恢复$m$维$k$稀疏信号从少量的噪声线性测量。在信号非零元素满足一定条件的情况下,建立了有界噪声环境下OLS的精确恢复条件。新的结果也改善了现有的保证正交匹配追踪(OMP)算法。此外,该框架还可以为系数矩阵是根据高斯分布或伯努利分布随机抽取的情况提供概率保证,其中我们利用了一些集中性质。结果表明,在一定条件下,OLS在$k$迭代中以很高的概率恢复真实支持度。这又证明了${\cal O}\left(k\log m\right)$测量足以通过OLS精确恢复稀疏信号。
2016-08-08 cs.IT math.IT stat.ML
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China(电子科技大学);China Academy of Engineering Physics(中国工程物理研究院)
在本文中,我们考虑块稀疏信号恢复问题的背景下,多个测量向量(MMV)与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号,其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同,该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化(EM)的框架。仿真结果表明,该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
Sparse Representation of a Polytope and Recovery of Sparse Signals and Low-rank Matrices
本文考虑压缩感知和仿射秩最小化在无噪和有噪情况下,并建立了尖锐的限制等距稀疏信号和低秩矩阵恢复条件。分析依赖于一个关键的技术工具,表示点的多面体的凸组合稀疏向量。该技术是基本的,但导致尖锐的结果。它示出,对于任何给定的常数$t\ge {4/3}$,在压缩感知$δ_{tk}^A < \sqrt{(t-1)/t}$保证精确恢复的所有$k$稀疏信号在无噪声的情况下,通过约束$\ell_1$最小化,并同样在仿射秩最小化$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$确保精确重建的所有矩阵的秩最多$r$在无噪声的情况下,通过约束核范数最小化。此外,对于任何$ε>0$,对于大的$k$,$δ_{tk}^A<\sqrt{\frac{t-1}{t}}+ε$不足以保证所有$k$稀疏信号的精确恢复。类似的结果也适用于基质回收。此外,条件$δ_{tk}^A < \sqrt{(t-1)/t}$和$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$也被证明是足够的,分别为稳定恢复的近似稀疏信号和低秩矩阵在噪声的情况下。
2013-10-22 cs.IT math.IT math.ST
Entrywise Recovery Guarantees for Sparse PCA via Sparsistent Algorithms
稀疏主成分分析(PCA)是应用统计学的众多子领域中普遍使用的工具。虽然有几个结果的特点的主要特征向量的恢复误差,这些通常是在频谱或Frobenius规范。在本文中,我们提供了一般的高维次高斯设计下的稀疏PCA的逐项$\ell_{2,\infty}$界限。特别是,我们的结果适用于任何算法,选择正确的支持与高概率,那些是稀疏的。我们的界改进了已知的结果,提供了一个更精细的表征的估计误差,我们的证明使用最近开发的技术,为entrywise子空间扰动理论。
2022-02-08 math.ST stat.ML stat.TH
A Recovery Guarantee for Sparse Neural Networks
School of Electrical and Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院);Department of Electrical Engineering(电气工程系);Stanford University(斯坦福大学)
该研究为稀疏神经网络提供了恢复保证,通过迭代硬阈值算法以线性内存复杂度精确恢复稀疏权重,并在多个任务中表现出优于传统方法的性能。
2026-02-28 cs.LG math.OC stat.ML
Group-sparse Matrix Recovery
我们应用OSCAR(八角形选择和聚类算法回归)恢复组稀疏矩阵(二维-2D-阵列)从压缩测量。我们提出了一个二维版本的OSCAR(2 OSCAR)的$\ell_1$规范和成对的$\ell_{\infty}$规范,这是凸的,但不可微的。我们表明,2 OSCAR的邻近算子可以计算的基础上的OSCAR。因此,2 OSCAR问题可以有效地解决国家的最先进的邻近分裂算法。对组稀疏二维阵列恢复的实验表明,SpaRSA算法求解的2 OSCAR正则化是最快的选择,而PADMM算法(带去偏置)产生最准确的结果。
2014-02-20 cs.CV cs.LG stat.ML
Sparse Recovery With Non-Linear Fourier Features
Uppsala University(乌普萨拉大学)
随机非线性傅立叶特征最近在广泛的回归和分类应用中表现出显着的性能。受此成功的启发,本文重点介绍了稀疏非线性傅立叶特征(NFF)模型。我们提供了足够数量的数据点,保证完美的恢复未知参数的高概率的表征。特别是,我们展示了足够数量的数据点如何依赖于与输入数据的概率分布函数相关联的核矩阵。我们比较我们的结果与有界正交系统的可恢复性界,并提供示例说明稀疏恢复下的NFF模型。
2020-02-12 cs.IT cs.LG eess.SP
Impulsive Noise Robust Sparse Recovery via Continuous Mixed Norm
Sharif University of Technology(谢里夫理工大学);Qom University of Technology(库姆理工大学);Instituto Superior Técnico(高等理工学院)
研究了加性脉冲噪声背景下稀疏信号的恢复问题。重尾脉冲噪声是很好的建模与稳定的分布。由于$SαS$分布的概率密度函数没有明确的公式,因此使用诸如广义高斯分布(GGD)的替代近似,其对残差施加$\ell_p$范数保真度。在本文中,我们利用连续混合范数(CMN)的鲁棒稀疏恢复代替$\ell_p$ -范数。我们表明,在盲目的条件下,即,在噪声分布参数未知的情况下,结合CMN可以导致接近最佳的恢复。我们采用交替方向乘法(ADMM)解决的问题所引起的利用CMN的鲁棒稀疏恢复。在该方法中,CMN被替换为代理函数,并结合优化最小化技术来解决问题。仿真结果证实了所提出的方法的效率相比,最近在文献中的一些算法的脉冲噪声鲁棒稀疏恢复。
2018-04-12 cs.IT cs.LG eess.SP
Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Nanjing University(南京大学);Jilin University(吉林大学)
提出基于k-support范数的迭代正则化算法IRKSN,通过早停机制实现稀疏恢复,放宽了传统$\ell_1$范数方法的适用条件,并给出了具有显式常数的模型误差早停界限,实现标准线性收敛率。
2024-03-19 cs.LG eess.SP math.OC
Regularization, sparse recovery, and median-of-means tournaments
介绍了一种正则化的风险最小化方法,用于回归函数估计,在一般条件下,包括重尾预测和响应变量,达到接近最优的精度和置信度。该过程基于作者在[8]中引入的均值比赛。结果表明,新的程序优于标准的正则化经验风险最小化程序,如套索或斜率重尾问题。
2017-11-29 math.ST stat.ML stat.TH
Sparse Signal Recovery for Binary Compressed Sensing by Majority Voting Neural Networks
Nagoya Institute of Technology(名古屋工业大学)
在本文中,我们提出了多数表决神经网络的稀疏信号恢复二进制压缩感知。多数表决神经网络由几个独立训练的前馈神经网络组成,采用S形函数作为激活函数。我们的实证研究表明,选择一个损失函数用于网络的训练过程是至关重要的。我们找到了一个适合稀疏信号恢复的损失函数,它包括一个交叉熵项和一个$L_1$正则化项。从实验结果中,我们观察到,多数表决神经网络实现了良好的恢复性能,这是接近最佳性能的组件网络的数量的增长。多数表决神经网络的简单架构对于软件和硬件实现都是有益的。
2016-10-29 cs.IT cs.LG math.IT
Recovery of Sparse and Low Rank Components of Matrices Using Iterative Method with Adaptive Thresholding
Advanced Communication Research Institute (ACRI), Electrical Engineering Department, Sharif University of Technology(德黑兰理工大学先进通信研究院)
本文提出一种利用自适应阈值迭代方法恢复矩阵稀疏和低秩成分的算法,通过阈值操作获取低秩和稀疏成分,具有高效性和易实现性,并在非稀疏噪声应用中表现出良好的性能。
2017-04-12 cs.NA math.NA stat.ML
Sparse Signal Recovery in the Presence of Intra-Vector and Inter-Vector Correlation
University of California, San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院)
本文讨论了当非零项的值之间存在相关性时稀疏信号的恢复问题。我们检查块稀疏模型的上下文中的向量内相关性和多测量向量模型的上下文中的向量间相关性,以及它们的组合。提出了基于稀疏贝叶斯学习的算法,并讨论了在算法级引入相关性的好处。还讨论了相关性对支持恢复极限的影响,强调了向量内和向量间相关性对这些极限的不同影响。
2012-05-20 cs.IT cs.LG math.IT
Multichannel sparse recovery of complex-valued signals using Huber's criterion
本文将Huber准则推广到复值测量的多通道稀疏恢复问题,其目标是从给定的多个测量向量中找到联合稀疏未知信号向量的良好恢复,这些测量向量是相同已知基本向量的不同线性组合。这就需要仔细刻画强大的复值损失函数以及多元稀疏回归问题的Huber准则函数。提出了一种基于同步归一化迭代硬阈值(SNIHT)算法的贪心算法。与传统的SNIHT方法不同,我们的算法,称为HUB-SNIHT,在重尾非高斯噪声条件下是鲁棒的,但与高斯噪声下的SNIHT相比,性能损失可以忽略不计。在传感器阵列声源定位的应用中说明了该方法的有效性。
2015-04-16 cs.IT math.IT stat.CO
Recovery of Low-Rank Plus Compressed Sparse Matrices with Application to Unveiling Traffic Anomalies
给定一个低秩矩阵的叠加加上一个已知的脂肪压缩矩阵乘以稀疏矩阵的产品,本文的目标是建立确定性的条件下,精确恢复的低秩和稀疏的组件成为可能。这一基本的可识别性问题与骨干网络中的流量异常检测有关,并包含压缩感知以及矩阵分解问题中遇到的及时低秩稀疏矩阵恢复任务。利用$\ell_1$ -和核范数恢复稀疏和低秩矩阵的能力,制定了一个凸规划来估计未知数。分析和仿真证实,所述凸程序可以恢复足够低的秩和足够稀疏的分量的未知数,随着压缩矩阵具有等距属性时,限制操作稀疏向量。当低秩、稀疏和压缩矩阵是从某些随机集合中提取时,可以确定精确的恢复是可能的,具有很高的概率。一阶算法被开发来解决具有可证明的迭代复杂性保证的非光滑凸优化问题。对合成和真实网络数据的深入测试证实了这种新方法在揭示流量和时间异常方面的有效性,以及其优于现有替代方案的能力。
2012-04-30 cs.IT cs.NI math.IT
Sparse recovery based on the generalized error function
Zhejiang University City College(浙大城市学院)
本文提出了一种基于广义误差函数的稀疏恢复方法。引入的罚函数同时包含了形状和尺度参数,使得它非常灵活。从零空间性质、球截面性质和约束可逆因子等方面对约束和无约束模型进行了理论分析。给出了迭代加权$\ell_1$和凸函数差分算法的实用算法。数值实验进行说明所提出的方法在各种情况下提供的改进。研究了该算法在磁共振成像(MRI)重建中的实际应用。
2021-06-03 cs.LG cs.NA eess.IV
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University(上海交通大学)
在过去的十年中,稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导,$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的,因为相关的凸优化问题通常是易处理的,但在许多应用中已经表明,非凸惩罚可以产生显着更好的性能。近年来,基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣,事实上,它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域,包括压缩感知(CS)、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析(PCA)、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展,解决问题的惩罚选择,应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP