Multidimensional unstructured sparse recovery via eigenmatrix
Stanford University(斯坦福大学)
本文将用于一维非结构化稀疏恢复的特征矩阵方法扩展到多维情形,并通过数值实验验证其在傅里叶反演和稀疏反卷积等问题上的有效性。
2024-02-27 cs.LG cs.NA math.NA
Jointly Sparse Signal Recovery and Support Recovery via Deep Learning with Applications in MIMO-based Grant-Free Random Access
Shanghai Jiao Tong University(上海交通大学)
本文研究了复信号多测量向量(MMV)模型中的联合稀疏信号恢复和联合稀疏支持恢复问题,这在通信和信号处理中有着广泛的应用。最近的关键应用包括基于MIMO的免授权随机接入中的信道估计和设备活动检测,其被提出以支持用于物联网(IoT)的大规模机器类型通信(mMTC)。利用压缩感知、优化和深度学习中的技术,我们提出了两种基于实数标准自动编码器结构的模型驱动方法。一种是联合设计公共测量矩阵和联合稀疏信号恢复方法,另一种是联合设计公共测量矩阵和联合稀疏支持恢复方法。所提出的模型驱动的方法可以有效地利用稀疏模式的特点,在设计共同的测量矩阵和调整模型驱动的解码器,并可以大大受益于潜在的最先进的恢复方法与理论保证。因此,所获得的共同的测量矩阵和恢复方法可以显着优于底层的先进的恢复方法。我们进行了广泛的数值结果信道估计和设备活动检测MIMO为基础的免授权随机接入。数值结果表明,所提出的方法提供了导频序列和信道估计或设备活动检测方法,可以比现有方法以更短的计算时间获得更高的估计或检测精度。此外,数值结果解释了如何通过所提出的方法实现这样的增益。
2020-09-08 cs.LG eess.SP
Polynomial-time Sparse Measure Recovery: From Mean Field Theory to Algorithm Design
MIT(麻省理工学院);INRIA-ENS-PSL(法国国家信息与自动化研究所-巴黎高等师范学院-巴黎文理研究大学)
平均场理论通过使问题的规模趋于无穷大,为各种算法提供了理论上的见解。我们认为,平均场理论的应用超越了理论的见解,因为它可以启发设计的实际算法。利用物理学中的平均场分析,我们提出了一种新的稀疏测量恢复算法。对于稀疏措施$\mathbb{R}$,我们提出了一个多项式时间的恢复方法,从傅立叶矩,提高凸松弛方法在一个特定的参数制度,然后,我们证明了我们的结果的应用程序的优化特定的二维,单层神经网络在可实现的设置。
2023-02-13 cs.LG stat.ML
Recovery of binary sparse signals from compressed linear measurements via polynomial optimization
从少量的线性测量中恢复具有有限值分量的信号是一个具有广泛应用和有趣的数学特性的问题。在压缩感知框架中,最近已经提出了定制的方法来处理有限值稀疏信号的情况。在这项工作中,我们专注于二进制稀疏信号,我们提出了一种新的配方,基于多项式优化。这种方法进行了分析和比较,最先进的二进制压缩传感方法。
2019-05-30 cs.LG eess.SP math.OC
Exploring the Effect of Sparse Recovery on the Quality of Image Superresolution
Fresno City College(弗雷斯诺城市学院)
本文研究稀疏恢复算法选择对基于耦合字典的图像超分辨率重建质量的影响,并通过实验寻找最佳稀疏恢复算法。
2023-08-04 cs.CV cs.LG eess.IV
Exact Recovery of Sparsely-Used Dictionaries
Yale University(耶鲁大学);Columbia University(哥伦比亚大学)
我们考虑学习稀疏使用的字典与任意平方字典和随机,稀疏系数矩阵的问题。我们证明了$O (n \log n)$样本是足够的唯一确定的系数矩阵。在此基础上,我们设计了一个多项式时间的稀疏字典精确恢复算法(ER-SpUD),并证明了当系数矩阵足够稀疏时,该算法可以恢复字典和系数矩阵。仿真结果表明,ER-SpUD揭示了真正的字典以及系数的概率高于许多国家的最先进的算法。
2012-06-26 cs.IT cs.LG math.IT
Matching Pursuit LASSO Part II: Applications and Sparse Recovery over Batch Signals
The University of Adelaide(阿德莱德大学);University of Technology, Sydney(悉尼科技大学);Brown University(布朗大学)
匹配追踪LASS在第一部分\cite{TanPMLPart1}中,我们提出了一种求解大规模稀疏恢复问题的匹配追踪LASSO({MPL})算法。在本文中,我们提出了一个子空间搜索,以进一步提高MPL的性能,然后继续解决SR的另一个主要挑战-批量SR与许多信号,一个考虑,这是从大多数以前的$\ell_1$范数方法缺席。因此,一个批处理模式{MPL}的开发,大大加快稀疏恢复的许多信号同时进行。压缩感知和人脸识别任务的综合数值实验证明了MPL和BMPL在稀疏恢复能力和效率方面优于本文考虑的其他方法。特别地,BMPL比被认为是最先进的现有$\ell_1$范数方法快400倍。O第二部分:批处理信号的应用和稀疏恢复
2014-12-24 cs.CV cs.LG stat.ML
A Simple Stochastic Variance Reduced Algorithm with Fast Convergence Rates
The Chinese University of Hong Kong(香港中文大学);Xidian University(西安电子科技大学)
近年来,在随机方差约化梯度方法的研究中取得了令人兴奋的进展(例如,SVRG,SAGA),它们的加速变体(例如,喀秋莎)以及它们在许多不同环境中的扩展(例如,在线、稀疏、异步、分布式)。其中,加速方法具有改进的收敛速度,但具有复杂的耦合结构,这使得它们难以扩展到更多的设置(例如,稀疏和异步)。在本文中,我们介绍了一个简单的随机方差减少算法(MiG),它享有最好的已知的强凸和非强凸问题的收敛速度。此外,我们还提出了其有效的稀疏和异步的变种,并从理论上分析其收敛速度在这些设置。最后,广泛的实验,各种机器学习问题,如逻辑回归,以说明在串行和异步设置的实际改进。
2018-06-28 cs.LG stat.ML
Sparse Recovery with Linear and Nonlinear Observations: Dependent and Noisy Data
我们制定稀疏支持恢复作为一个显着的集合识别问题,并使用信息理论分析,以表征恢复性能和样本的复杂性。我们考虑一个非常一般的模型,我们不限于线性模型或特定的分布。我们国家的非渐近界的恢复概率和一个紧密的互信息公式的样本复杂性。我们评估我们的应用范围,如稀疏线性回归和显式特征的相关性或噪声特征对恢复性能的影响。我们在以前的工作和识别恢复算法的性能和基本信息之间的差距的改进。
2014-03-12 cs.IT cs.LG math.IT
Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery
Iowa State University(爱荷华州立大学);New York University(纽约大学);Duke University(杜克大学)
本文从稀疏恢复方法的角度研究了神经网络自动设计中的两个重要问题--超参数优化(Hyper parameter Optimization,HPO)和神经结构搜索(Neural Architecture Search,NAS)。在本文的第一部分,我们建立了一个新的连接HPO和结构化稀疏恢复。特别是,我们表明,一个特殊的编码的超参数空间,使一个自然的组稀疏恢复制定,这与HyperBand(多臂强盗策略)时,导致改善现有的超参数优化方法。在CIFAR-10等图像数据集上的实验结果证实了我们方法的优点。在本文的第二部分,我们建立了NAS和结构化稀疏恢复之间的联系。基于NAS中的“一次性”方法,我们提出了一种新的算法,我们称之为CoNAS,通过将一次性方法的思想与学习低次稀疏布尔多项式的技术相结合。我们提供了理论分析的验证误差测量的数量。最后,我们在几个数据集上验证了我们的方法,并发现了迄今为止尚未报道的新架构,与现有的NAS方法相比,在性能和搜索时间方面都取得了有竞争力(或更好)的结果。
2020-07-07 cs.LG stat.ML
Eigenmatrix for unstructured sparse recovery
Stanford University(斯坦福大学)
针对含噪声、采样位置非结构化的通用稀疏恢复问题,本文提出具备理想近似特征值与特征向量的数据驱动本征矩阵构造方法,为相关问题提供新解法,并通过数值实验验证了方法的有效性。
2024-03-08 cs.IT cs.LG cs.NA
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China(电子科技大学);China Academy of Engineering Physics(中国工程物理研究院)
在本文中,我们考虑块稀疏信号恢复问题的背景下,多个测量向量(MMV)与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号,其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同,该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化(EM)的框架。仿真结果表明,该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
Recovery of Missing Samples Using Sparse Approximation via a Convex Similarity Measure
Sharif University of Technology(谢里夫理工大学);Qom University of Technology(库姆理工大学)
本文研究了基于稀疏逼近的缺失样本恢复问题。在这方面,我们研究用于解决与图像信号的丢失样本的恢复相关的逆问题的算法。这个问题也被称为图像处理中的修复,为此,我们提出了一个迭代稀疏恢复算法的基础上约束$l_1$范数最小化与一个新的保真度度量。所提出的度量称为凸相似性(CSIM)指标,是结构相似性(SSIM)指标的简化版本,它是凸的和错误敏感的。结合这一标准的优化问题,然后通过交替方向乘法(ADMM)解决。仿真结果表明,该方法对一维图像块矢量的缺失样本恢复和二维图像信号的修复是有效的。
2017-06-28 cs.LG stat.ML
Recovery of Sparse Signals Using Multiple Orthogonal Least Squares
Rutgers, The State University of New Jersey(罗格斯,新泽西州立大学)
我们研究了从压缩的线性测量中恢复稀疏信号的问题。这个问题,通常被称为稀疏恢复或稀疏重建,近年来产生了很大的兴趣。为了恢复稀疏信号,我们提出了一种新的方法,称为多个正交最小二乘(MOLS),它扩展了著名的正交最小二乘(OLS)算法,允许多个$L$指数选择每次迭代。由于在每次选择中包含多个支持度指标,MOLS算法在更少的迭代次数内收敛,并提高了传统OLS算法的计算效率。理论分析表明,如果测量矩阵满足等距常数为$δ_{LK} < \frac{\sqrt{L}}{\sqrt{K} + 2 \sqrt{L}}.$的限制等距性质(RIP),则MOLS($L > 1$)在$K$迭代内可以精确恢复所有$K$稀疏信号。结果表明,当信噪比与输入信号的稀疏程度成线性关系时,MOLS算法可以实现稀疏信号的稳定恢复。
2015-12-31 cs.IT cs.LG math.IT
Sparse Signal Recovery with Temporally Correlated Source Vectors Using Sparse Bayesian Learning
University of California at San Diego(加州大学圣地亚哥分校)
当解矩阵的每个非零行中的元素在时间上相关时,我们在多个测量向量(MMV)的上下文中解决稀疏信号恢复问题。现有的算法不考虑这种时间相关性,因此它们的性能显着降低的相关性。在这项工作中,我们提出了一个块稀疏贝叶斯学习框架,模型的时间相关性。在这个框架中,我们推导出两个稀疏贝叶斯学习(SBL)算法,具有优越的恢复性能相比,现有的算法,特别是在存在高的时间相关性。此外,我们的算法更好地处理高度欠定问题,并要求更少的行稀疏的解决方案矩阵。我们还提供了其成本函数的全局和局部最小值的分析,并表明,SBL成本函数具有非常理想的性质,即全局最小值是在稀疏解的MMV问题。大量的实验也提供了一些有趣的结果,激励未来的理论研究MMV模型。
2011-08-17 cs.LG stat.ML
Sparse Recovery With Non-Linear Fourier Features
Uppsala University(乌普萨拉大学)
随机非线性傅立叶特征最近在广泛的回归和分类应用中表现出显着的性能。受此成功的启发,本文重点介绍了稀疏非线性傅立叶特征(NFF)模型。我们提供了足够数量的数据点,保证完美的恢复未知参数的高概率的表征。特别是,我们展示了足够数量的数据点如何依赖于与输入数据的概率分布函数相关联的核矩阵。我们比较我们的结果与有界正交系统的可恢复性界,并提供示例说明稀疏恢复下的NFF模型。
2020-02-12 cs.IT cs.LG eess.SP
Impulsive Noise Robust Sparse Recovery via Continuous Mixed Norm
Sharif University of Technology(谢里夫理工大学);Qom University of Technology(库姆理工大学);Instituto Superior Técnico(高等理工学院)
研究了加性脉冲噪声背景下稀疏信号的恢复问题。重尾脉冲噪声是很好的建模与稳定的分布。由于$SαS$分布的概率密度函数没有明确的公式,因此使用诸如广义高斯分布(GGD)的替代近似,其对残差施加$\ell_p$范数保真度。在本文中,我们利用连续混合范数(CMN)的鲁棒稀疏恢复代替$\ell_p$ -范数。我们表明,在盲目的条件下,即,在噪声分布参数未知的情况下,结合CMN可以导致接近最佳的恢复。我们采用交替方向乘法(ADMM)解决的问题所引起的利用CMN的鲁棒稀疏恢复。在该方法中,CMN被替换为代理函数,并结合优化最小化技术来解决问题。仿真结果证实了所提出的方法的效率相比,最近在文献中的一些算法的脉冲噪声鲁棒稀疏恢复。
2018-04-12 cs.IT cs.LG eess.SP
Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Nanjing University(南京大学);Jilin University(吉林大学)
提出基于k-support范数的迭代正则化算法IRKSN,通过早停机制实现稀疏恢复,放宽了传统$\ell_1$范数方法的适用条件,并给出了具有显式常数的模型误差早停界限,实现标准线性收敛率。
2024-03-19 cs.LG eess.SP math.OC
A Recovery Guarantee for Sparse Neural Networks
School of Electrical and Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院);Department of Electrical Engineering(电气工程系);Stanford University(斯坦福大学)
该研究为稀疏神经网络提供了恢复保证,通过迭代硬阈值算法以线性内存复杂度精确恢复稀疏权重,并在多个任务中表现出优于传统方法的性能。
2026-02-28 cs.LG math.OC stat.ML
Group-sparse Matrix Recovery
我们应用OSCAR(八角形选择和聚类算法回归)恢复组稀疏矩阵(二维-2D-阵列)从压缩测量。我们提出了一个二维版本的OSCAR(2 OSCAR)的$\ell_1$规范和成对的$\ell_{\infty}$规范,这是凸的,但不可微的。我们表明,2 OSCAR的邻近算子可以计算的基础上的OSCAR。因此,2 OSCAR问题可以有效地解决国家的最先进的邻近分裂算法。对组稀疏二维阵列恢复的实验表明,SpaRSA算法求解的2 OSCAR正则化是最快的选择,而PADMM算法(带去偏置)产生最准确的结果。
2014-02-20 cs.CV cs.LG stat.ML
Decentralized Joint-Sparse Signal Recovery: A Sparse Bayesian Learning Approach
Indian Institute of Science(印度科学院)
这项工作提出了一种分散的,迭代的,贝叶斯算法称为CB-DSBL的多个联合稀疏向量的网络估计的网络节点,使用噪声和欠定线性测量。所提出的算法利用未知稀疏向量的网络范围联合稀疏性,与独立稀疏信号恢复方案相比,从数量显著较少的本地测量中恢复未知稀疏向量。为了减少节点间通信量和相关开销,节点仅与其单跳邻居的一小部分交换消息。在这种通信方案下,我们分别分析了我们所提出的算法中使用的交替方向乘法(ADMM)迭代的收敛性,并建立了其线性收敛速度。从分散ADMM的收敛性分析的结果被用来加速所提出的CB-DSBL算法的收敛性。使用Monte Carlo模拟,我们证明了优越的信号重建,以及支持恢复性能相比,我们提出的算法现有的分散式算法:DRL-1,DCOMP和DCSP。
2015-12-18 cs.IT cs.LG math.IT
Sparse Signal Recovery in the Presence of Intra-Vector and Inter-Vector Correlation
University of California, San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院)
本文讨论了当非零项的值之间存在相关性时稀疏信号的恢复问题。我们检查块稀疏模型的上下文中的向量内相关性和多测量向量模型的上下文中的向量间相关性,以及它们的组合。提出了基于稀疏贝叶斯学习的算法,并讨论了在算法级引入相关性的好处。还讨论了相关性对支持恢复极限的影响,强调了向量内和向量间相关性对这些极限的不同影响。
2012-05-20 cs.IT cs.LG math.IT
Sparse Signal Recovery for Binary Compressed Sensing by Majority Voting Neural Networks
Nagoya Institute of Technology(名古屋工业大学)
在本文中,我们提出了多数表决神经网络的稀疏信号恢复二进制压缩感知。多数表决神经网络由几个独立训练的前馈神经网络组成,采用S形函数作为激活函数。我们的实证研究表明,选择一个损失函数用于网络的训练过程是至关重要的。我们找到了一个适合稀疏信号恢复的损失函数,它包括一个交叉熵项和一个$L_1$正则化项。从实验结果中,我们观察到,多数表决神经网络实现了良好的恢复性能,这是接近最佳性能的组件网络的数量的增长。多数表决神经网络的简单架构对于软件和硬件实现都是有益的。
2016-10-29 cs.IT cs.LG math.IT
Learned-SBL: A Deep Learning Architecture for Sparse Signal Recovery
在本文中,我们提出了一个计算效率的稀疏信号恢复方案,使用深度神经网络(DNN)。引入的神经网络的架构灵感来自稀疏贝叶斯学习(SBL),并命名为学习SBL(L-SBL)。根据训练数据的性质,我们设计了一个通用的架构来从单个测量向量(SMV)或多个测量向量(MMV)中恢复稀疏向量以及块稀疏向量。在MMV模型中,可以训练L-SBL网络来学习向量之间的任何潜在稀疏模式,包括联合稀疏、块稀疏等。特别是,对于块稀疏恢复,学习SBL不需要块边界的任何先验知识。在L-SBL的每一层中,获得信号协方差矩阵的估计作为神经网络的输出。然后,最大后验概率(MAP)估计的未知稀疏向量的实现与不可训练的参数。在许多应用中,测量矩阵可以是时变的。现有的基于DNN的稀疏信号恢复方案需要使用当前测量矩阵对神经网络进行再训练。L-SBL的架构允许它接受测量矩阵作为网络的输入,从而避免了重新训练的需要。我们还评估了学习SBL在使用多输入多输出(MIMO)雷达检测扩展目标的性能。仿真结果表明,该方法提供了优越的稀疏恢复性能相比,国家的最先进的方法。
2019-09-17 cs.IT cs.LG eess.SP
Sparse Recovery with Very Sparse Compressed Counting
Rutgers University(罗格斯大学)
压缩感知(稀疏信号恢复)经常遇到非负数据(例如,图像)。最近,我们开发了使用(密集)压缩计数恢复非负K-稀疏信号的方法。在本文中,我们采用非常稀疏的压缩计数的非负信号恢复。我们的设计矩阵是从最大偏态p-稳定分布(0<p<1)中采样的,我们对设计矩阵进行了稀疏化,使得平均(1-g)-分数项变为零。这个想法与非常稀疏的稳定随机投影(Li et al 2006 and Li 2007)有关,这是估计数据汇总统计量的先前工作。在我们的理论分析中,我们表明,当p->0时,使用M= K/(1-exp(-gK)log N测量就足够了,使得可以在坐标的一次扫描中恢复所有坐标。如果g = 1(即,密集设计),则M = K log N。如果g= 1/K或2/K(即,非常稀疏的设计),则M = 1.58K log N或M = 1.16K log N。这意味着设计矩阵实际上可以非常稀疏,样本复杂性只有很小的膨胀。有趣的是,当p->1时,所需的测量次数基本上是M = 2.7K log N,假设g= 1/K。事实证明,这个结果是一个一般的最坏情况界限。
2013-12-31 cs.DS cs.IT cs.LG