Heavy-Ball-Based Hard Thresholding Algorithms for Sparse Signal Recovery
硬阈值技术在稀疏信号恢复算法的发展中起着至关重要的作用。将该方法与传统梯度下降方法的多步扩展重球加速方法相结合,提出了基于重球的硬阈值追踪(HBHT)和基于重球的硬阈值追踪(HBHTP)算法。结果表明,当测量矩阵的约束等距常数分别满足$δ_{3k}<0.618 $和$δ_{3k}<0.577,$时,HBHT和HBHTP可以成功地恢复$k$稀疏信号. HBHT和HBHTP的保证成功也分别在条件$δ_{2k}<0.356$和$δ_{2k}<0.377,$下显示。此外,本文还证明了这两个算法的有限收敛性和稳定性.随机问题的情况下进行模拟,比较所提出的算法和几个现有的性能。实验结果表明,HBHTP的性能非常接近于现有的几种算法,它需要更少的平均时间来实现信号恢复比这些现有的方法。
2022-04-20 cs.IT math.IT
Thresholding Greedy Pursuit for Sparse Recovery Problems
我们在这里研究稀疏恢复问题的存在下,加性噪声。我们分析了一个阈值版本的CoSaMP算法,命名为贪婪的追求(TGP)。我们表明,适当的阈值参数的选择,即使没有知识的稀疏水平的信号和噪声的强度,可以导致准确的恢复没有错误的发现,因为数据的维数增加到无穷大。
2021-03-17 cs.IT eess.SP math.IT
Performance Guarantees of the Thresholding Algorithm for the Co-Sparse Analysis Model
信号的共稀疏分析模型假设感兴趣的信号可以乘以分析字典Ω,从而产生稀疏结果。这个模型是一个有趣的替代更经典的基于合成的稀疏表示模型。在这项工作中,我们提出了一个理论研究的阈值算法的性能保证的追求问题中存在的噪声。我们的分析揭示了Ω的两个重要性质,它们决定了追踪性能:第一个是Ω中行集合之间的线性依赖程度,由相关稀疏水平描述。第二个属性,称为限制正交投影属性(ROPP),是这种依赖集与Ω中其他行之间的独立性水平。我们展示了这些字典属性是如何有意义和有用的,无论是在理论界推导,并在一系列的实验中,显示出与理论预测一致。
2012-03-13 cs.IT math.IT
Multiple Choice Hard Thresholding Pursuit (MCHTP) for Simultaneous Sparse Recovery and Sparsity Order Estimation
我们解决的问题,稀疏恢复使用贪婪压缩感知恢复算法,没有明确的知识的稀疏性。估计稀疏度阶数在许多实际场景中是一个至关重要的问题,例如,无线通信,其中未知信道的稀疏阶的精确值可能先验不可用。在本文中,我们提出了一种新的贪心算法,称为多选择硬阈值追踪(MCHTP),它修改了流行的硬阈值追踪(HTP)适当迭代恢复未知稀疏向量以及未知向量的稀疏顺序。我们提供了可证明的性能保证,确保MCHTP可以估计稀疏顺序准确,以及恢复未知的稀疏向量准确无噪声测量。仿真结果证实了理论研究结果,表明,即使没有确切的稀疏性知识,只有一个松散的上界的稀疏性的知识,MCHTP表现出突出的恢复性能,这是几乎相同的传统HTP与精确的稀疏性知识。此外,仿真结果表明,低得多的计算复杂性的MCHTP相比,其他国家的最先进的技术,如MSP。
2022-10-25 cs.IT math.IT
Newton-Direction-Based ReLU-Thresholding Methods for Nonnegative Sparse Signal Recovery
School of Mathematics and Statistics, Shandong University of Technology(山东理工大学数学与统计学院);Shenzhen International Center for Industrial and Applied Mathematics, SRIBD, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)理工学院深圳市工业与应用数学中心);Department of Mathematical Sciences, University of Nottingham Ningbo China(宁波诺丁汉大学数学系)
本文提出基于牛顿方向的ReLU阈值化方法,用于非负稀疏信号恢复,通过理论分析和实验验证其在不同噪声条件下的有效性。
2026-02-04 cs.IT eess.SP math.IT
Orthogonal Matching Pursuit with Thresholding and its Application in Compressive Sensing
贪婪是好事然而,你挤得越紧,你就越少。研究了一种用于压缩感知稀疏信号重构的低贪心算法--阈值正交匹配追踪算法。利用全局2-相干性,分析了带阈值的正交匹配追踪算法的性能,得到了稀疏信号重构的一般结果.它还表明,给定相同的假设上的相干性指数和限制等距常数所需的正交匹配追求,阈值变化给出了完全相同的重建性能,显着降低复杂性。
2015-07-02 cs.IT math.IT
Distributed soft thresholding for sparse signal recovery
在本文中,我们解决的问题,通过压缩测量传感器网络中获得的信号的分布式稀疏恢复。我们提出了一类新的分布式算法来解决Lasso回归问题,当与融合中心的通信是不可能的,例如,由于通信成本或隐私原因。更确切地说,我们介绍了一个分布式迭代软阈值算法(DISTA),由三个步骤组成:平均步骤,梯度步骤,和软阈值操作。我们证明了DISTA的收敛性,在网络中表示的规则图,我们比较它与现有的方法在性能,内存和复杂性。
2013-10-14 cs.DC cs.IT math.IT
Robust iterative hard thresholding for compressed sensing
压缩感知(CS)或稀疏信号重构(SSR)是一种信号处理技术,它利用了采集的数据可以在某种基础上具有稀疏表示的事实。重建或近似未知稀疏信号的一种流行技术是迭代硬阈值(IHT),然而,在非高斯噪声条件下或面对离群值(粗差)时,该技术的性能非常差。在本文中,我们提出了一个强大的IHT方法的基础上的思想,从$M$估计,估计稀疏信号和规模的误差分布的同时。在高斯噪声下,该方法与IHT相比具有可忽略的性能损失,但在重尾非高斯噪声条件下具有更好的性能。
2014-05-07 cs.IT math.IT stat.AP
Iterative Null-space Projection Method with Adaptive Thresholding in Sparse Signal Recovery and Matrix Completion
自适应阈值方法已被证明产生高信噪比和快速收敛在寻找压缩感知(CS)问题的解决方案。最近,据观察,一类迭代稀疏恢复算法,如迭代方法与自适应采样保持(IMAT)的鲁棒性已优于著名的LASSO算法的重建质量,收敛速度,和对噪声的敏感性。在本文中,我们介绍了一种新的方法来解决CS问题。该方法的逻辑基于阈值化信号到感测矩阵的零空间上的迭代投影。通过在阈值化子空间上投影来恢复期望信号的支持,从而进行阈值化。仿真结果表明,该方法具有产生显着的输出SNR值的能力与约两倍的稀疏数一样多的样本,而其他方法无法恢复信号时,接近所需的样本数的代数界。正如模拟中观察到的那样,我们方法的计算复杂性也与其他方法相当。我们还扩展了我们的算法矩阵完成(MC)的情况下,并比较其效率,其他知名的方法MC在文献中。
2016-11-04 cs.IT math.IT stat.ME
Path Thresholding: Asymptotically Tuning-Free High-Dimensional Sparse Regression
在本文中,我们解决了高维稀疏回归的调整参数选择的挑战性问题。我们提出了一个简单的和计算效率高的方法,称为路径阈值(PaTh),将任何调整参数相关的稀疏回归算法到一个渐进的调谐免费稀疏回归算法。更具体地说,我们证明,随着问题的大小变得很大(在变量的数量和观测的数量),在适当的条件下,在不指定调整参数的情况下,PaTh执行精确的稀疏回归。在有限维设置中,我们证明了,PaTh可以减轻模型选择算法的计算负担,显着减少搜索空间的调整参数。
2014-02-23 cs.IT math.IT math.ST
Heavy-ball-based optimal thresholding algorithms for sparse linear inverse problems
本文针对稀疏线性逆问题中最优$k$-阈值化方法在大规模问题下运行时间较长的问题,提出了基于Heavy-ball的加速算法HBOT及其松弛变体,并在限制等距性质下证明了其收敛性,数值仿真验证了其在含噪信号与图像重建中的鲁棒性。
2023-07-28 cs.IT cs.NA math.IT
Sparsity Domain Smoothing Based Thresholding Recovery Method for OFDM Sparse Channel Estimation
针对超5G网络下OFDM系统需降低导频开销提升数据速率的需求,提出基于稀疏域平滑的三步稀疏信道估计算法SDS-IMAT,结合导频位置优化,在均方误差和误码率上优于现有方法,性能接近最优。
2023-05-04 cs.IT eess.SP math.IT
Robust Sparse Signal Recovery with Outliers: A Hard Thresholding Pursuit Approach Based on LAD
School of Mathematics and Statistics, Lanzhou University(兰州大学数学与统计学学院);School of Mathematics and Statistics, Hubei Normal University(湖北师范大学数学与统计学学院)
本文提出了一种无需稀疏性先验的鲁棒稀疏信号恢复方法,通过LAD最小化和分级快速硬阈值追求算法,在异常值存在的情况下实现高效准确的信号恢复。
2026-03-06 cs.CV cs.IT math.IT
Iterative Thresholding Pursuit with Continuation for $\ell_{1-2}$-Regularized Sparse Recovery
Tongji University(同济大学);Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(同济大学上海智能无人系统研究院)
提出一种结合延续策略的迭代阈值追踪方法(ITP-C),通过 $\ell_{1-2}$ 近端步的主动集识别和受限最小二乘追踪步的二阶更新,实现稀疏信号的高效恢复,并保证收敛性和局部 oracle 性质。
2026-06-04 cs.IT cs.NA math.IT
Average Case Analysis of Multichannel Sparse Recovery Using Convex Relaxation
在本文中,我们考虑联合稀疏多通道信号从不完整的测量恢复。已经开发了几种方法来从给定的观测值中恢复未知的稀疏向量,包括阈值,同时正交匹配追踪(SOMP)和基于混合矩阵范数的凸松弛。通常,执行最坏情况分析,以便分析算法能够恢复任何联合稀疏向量集的条件。然而,这样的方法是不能够提供的见解,为什么联合稀疏恢复是优于应用标准的稀疏重建方法,每个通道单独。以往的工作认为,通过对测量信号施加概率模型的阈值和SOMP的平均情况分析。在本文中,我们的主要重点是凸松弛技术的分析。特别是,我们专注于混合l_2,1方法多通道恢复。我们表明,在一个非常温和的条件下的稀疏性和字典特性,例如测量的一致性,恢复失败的概率呈指数衰减的通道数。这表明,大多数时候,多通道稀疏恢复确实优于单通道方法。我们的概率界是有效的,即使是少量的信号是有意义的。使用我们开发的工具来分析凸松弛方法,我们还收紧了阈值和SOMP的以前的界限。
2009-04-03 cs.IT math.IT
Iterative Hard Thresholding for Weighted Sparse Approximation
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出一种扩展的迭代硬阈值法用于解决加权稀疏近似问题,通过理论保证和分析,讨论了加权稀疏空间投影的挑战。
2015-01-07 cs.IT cs.NA math.IT
Fast and Provable Algorithms for Spectrally Sparse Signal Reconstruction via Low-Rank Hankel Matrix Completion
$r$阶的频谱稀疏信号是$r$阻尼或无阻尼复正弦曲线的混合。本文研究了从$n$规则时域样本的随机子集重构谱稀疏信号的问题,该问题可以转化为一个低秩Hankel矩阵完备化问题。我们介绍了一种迭代硬阈值(IHT)算法和一种快速迭代硬阈值(FIHT)算法,通过低秩Hankel矩阵完成频谱稀疏信号的有效重建。已经建立了FIHT的理论回收率保证,表明$O(r^2\log^2(n))$样品数量足以实现高概率的精确回收。经验性能比较建立显着的计算优势IHT和FIHT。特别是,在$3$ D阵列上的数值模拟证明了FIHT处理大规模和高维真实数据的能力。
2016-06-05 cs.IT math.IT
Iterative Hard Thresholding with Adaptive Regularization: Sparser Solutions Without Sacrificing Runtime
MIT(麻省理工学院);Yahoo! Research(雅虎研究院)
我们提出了一个简单的修改迭代硬阈值(IHT)算法,恢复渐近稀疏的解决方案作为条件数的函数。当目标是最小化凸函数$f(x)$,条件数$κ$服从$x$是$s$ -稀疏向量时,标准IHT保证是具有松弛稀疏性$O(sκ^2)$的解,而我们提出的算法正则化IHT返回具有稀疏性$O(sκ)$的解。我们的算法显着提高了ARHT也找到了稀疏$O(sκ)$的解决方案,因为它不需要在每次迭代中重新优化(因此更快),是确定性的,不需要最佳解值$f(x^*)$或最佳稀疏水平$s$的知识。我们的主要技术工具是一个自适应正则化框架,其中算法逐步学习$\ell_2$正则化项的权重,这将允许收敛到稀疏的解决方案。我们还将此框架应用于低秩优化,在那里我们实现了类似的改善,从$κ^2$到$κ$的最知名的条件数依赖。
2022-04-11 cs.DS cs.IT cs.LG
Natural Thresholding Algorithms for Signal Recovery with Sparsity
基于最优$k$ -阈值技术的信号恢复算法是近年来提出的,它与传统的硬阈值方法有很大的不同。然而,基于OT的算法的计算成本在其发展的当前阶段仍然很高。这刺激了所谓的自然阈值(NT)算法及其变体在本文中的发展。NT算法族是通过所谓的正则化最优$k$阈值模型的一阶近似来开发的,因此该算法族的计算成本显著低于基于OT的算法。在正则化最优$k$ -阈值模型的目标函数的约束等距性和非线性下,给出了从噪声测量中恢复信号的NT-型算法的保证性能.实验结果表明,NT型算法是强大的,非常可比的几个主流算法的稀疏信号恢复。
2022-07-20 cs.IT math.IT
Dynamic Sample Complexity for Exact Sparse Recovery using Sequential Iterative Hard Thresholding
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
在本文中,我们考虑的问题的精确恢复的一个固定的稀疏向量的测量矩阵顺序到达随着相应的测量。我们提出了一种扩展的迭代硬阈值(IHT)算法,称为顺序IHT(SIHT),它打破了总的时间范围分为几个阶段,使IHT是在这些阶段中的每一个阶段使用一个固定的测量矩阵在该阶段的开始。我们考虑一个随机设置,在每个阶段获得的测量矩阵是一个亚高斯随机矩阵的独立样本。我们证明了,如果一定的动态样本复杂度,取决于在每个阶段的测量矩阵的大小,以及它们的持续时间和相位的数量,满足一定的下限,在一个固定的时间范围内的SIHT的估计误差迅速衰减。有趣的是,这个界限表明,估计误差的衰减的概率几乎不受影响,即使非常小的数量的测量零星地使用在不同的阶段。这一理论观察也证实了使用数值实验表明,SIHT享有改善的恢复概率相比,离线IHT。
2021-02-28 cs.IT cs.LG math.IT
Mask Iterative Hard Thresholding Algorithms for Sparse Image Reconstruction of Objects with Known Contour
我们开发了掩模迭代硬阈值算法(掩模IHT和掩模DORE)的稀疏图像重建的对象与已知的轮廓。测量遵循压缩采样文献中常见的噪声欠定线性模型。假设我们希望重建的对象的轮廓是已知的,并且轮廓外的信号为零,我们制定了一个约束残差平方误差最小化问题,该问题结合了几何信息(即对象轮廓的知识)和信号稀疏约束。我们首先介绍了一个掩码IHT方法,旨在解决这个最小化问题,并保证单调非增加的残差平方误差为给定的信号稀疏水平。然后,我们提出了一个双超松弛计划,以加快收敛的掩模IHT算法。我们还采用凸掩模重建方法,采用凸松弛的信号稀疏约束。在X射线计算机断层扫描(CT)中,我们提出了一种自动的计划,用于提取凸壳的被检对象从测量的正弦图;所获得的凸壳是用来捕捉对象的轮廓信息。我们通过数值模拟将所提出的掩模重建方案与现有的大规模稀疏信号重建方法进行比较,并证明,通过利用底层图像的几何轮廓信息及其小波系数的稀疏性,我们可以使用比现有方法少得多的测量来重建该图像。
2011-12-02 cs.IT math.IT stat.ML
Data-Time Tradeoffs for Optimal k-Thresholding Algorithms in Compressed Sensing
最优$k$ -阈值算法是一类$k$ -稀疏信号恢复算法,它克服了传统硬阈值算法由于残差函数振荡而导致的缺陷。本文对最优$k$ -阈值算法进行了新的收敛性分析,揭示了这些算法的数据-时间权衡。分析和数值结果都表明,当测量数较小时,算法不能收敛;当测量数较大时,成功恢复所需的迭代次数与测量数成负相关,算法可以实现线性收敛.此外,主要的定理表明,成功恢复所需的测量的数量级为$k \log({n}/{k})$,其中$n$是目标信号的维数。
2022-06-19 cs.IT math.IT
Iterative method for simultaneous sparse approximation
本文研究同时稀疏逼近问题,提出自适应阈值同步迭代法(SIMAT)以联合恢复多个同支撑集的独立稀疏信号,并在SNR和成功率上优于SOMP和BIMAT且复杂度更低。
2023-04-03 cs.IT math.IT
Leave-One-Out Analysis for Nonconvex Robust Matrix Completion with General Thresholding Functions
本文针对鲁棒矩阵补全问题,提出一种交替投影梯度与阈值化的非凸方法,并通过留一法分析证明其对一般阈值函数线性收敛,且提升采样复杂度。
2025-04-25 cs.IT math.IT stat.ML
Lorentzian Iterative Hard Thresholding: Robust Compressed Sensing with Prior Information
压缩感知(CS)中常用的重构算法使用$L_2$范数作为残差的度量。然而,众所周知,基于最小二乘(LS)的估计器对测量向量中存在的离群值高度敏感,从而导致当噪声不再遵循高斯假设而是更好地由比高斯分布更好地表征时性能较差。本文提出了一种在脉冲噪声背景下重构稀疏信号的鲁棒迭代硬采样保持(IHT)算法。为了解决这个问题,我们使用一个洛伦兹成本函数,而不是$L_2$成本函数采用传统的IHT算法。我们还修改了算法,将先验信号信息的恢复过程。具体来说,我们研究的情况下,CS与部分已知的支持。该算法是一种快速的方法,计算量与基于LS的IHT相当,同时具有对重尾脉冲噪声鲁棒性的优点。稳定性的充分条件进行了研究,重建误差界的推导。我们还得到了稳定的稀疏信号恢复与部分已知的支持的充分条件。理论分析表明,包括先验支持信息放宽了成功重建的条件。仿真结果表明,基于Lorentzian的IHT算法在脉冲环境中的性能明显优于常用的稀疏重建技术,同时在要求较低的光尾环境中提供相当的性能。数值结果还表明,部分已知的支持包含提高了所提出的算法的性能,从而需要更少的样本产生一个近似的重建。
2013-07-17 cs.IT math.IT
A new inexact iterative hard thresholding algorithm for compressed sensing
压缩感知(CS)表明,可以使用低于奈奎斯特速率的低速率采集过程来采集稀疏或可压缩信号,该过程将信号投影到与稀疏基不相干的一小组向量上。在本文中,我们提出了一个新的框架,压缩感知恢复问题使用迭代逼近方法通过L0最小化。而不是直接解决无约束的L0范数优化问题,我们使用线性化和邻近点技术来近似罚函数在每次迭代。该算法简单、有效,并证明了算法的收敛性.数值仿真验证了我们的结论,并表明该算法可以提高重建质量。
2014-02-24 cs.IT math.IT
Modified Papoulis-Gerchberg algorithm for sparse signal recovery
受著名的Papoulis-Gerchberg算法的启发,提出了一种从少量观测值中恢复稀疏信号的迭代阈值算法。迭代的序列与阈值Landweber迭代的序列相似,尽管不相同。该算法的性能进行了实验评估,并与其他国家的最先进的方法相比。
2009-02-12 cs.IT math.IT
Quantized Iterative Hard Thresholding: Bridging 1-bit and High-Resolution Quantized Compressed Sensing
在这项工作中,我们表明,从量化的压缩测量重建稀疏信号可以在统一的形式主义中实现,无论(标量)量化分辨率如何,即,从1位到高分辨率的假设。这是通过推广迭代硬阈值(IHT)算法和它的二进制变量(BIHT)在以前的作品中引入的,以执行重建的信号相对于量化模型的一致性。该算法的性能,简称为量化IHT(QIHT),与其他方法(例如,IHT,基追踪去噪)。
2013-05-08 cs.IT math.IT
Compressed Sensing for Sparse Underwater Channel Estimation: Some Practical Considerations
我们研究使用结构化的阈值算法稀疏水下信道估计,利用压缩感知。该方法对稀疏信道估计的标准算法如匹配追踪、迭代检测和最小二乘等进行了改进。
2010-02-13 cs.IT math.IT stat.AP
Subspace Thresholding Pursuit: A Reconstruction Algorithm for Compressed Sensing
提出了一种新的迭代贪心算法,用于压缩感知中稀疏信号的重构。该算法称为\emph{subspace thresholding pursuit}(STP),本文中,是一个简单的子空间追求和迭代硬阈值的组合。首先,STP在约束等距性方面具有与$\ell_1$极小化相当的理论保证。其次,通过调整参数,一方面,在重构高斯信号时,该算法的性能大大优于其他现有的重构算法;另一方面,在重构具有随机符号的等幅信号时,该算法的性能优于其他现有的迭代贪心算法,在欠采样率不是很大的情况下,该算法的性能甚至优于$\ell_1$最小化算法。此外,我们提出了一个简单而有效的方法,以提高经验性能进一步,如果欠采样率是大的。最后,通过借鉴STP的思想,证明了其他迭代贪心算法可以提高其经验性能。
2014-05-21 cs.IT math.IT
Generalized Residual Ratio Thresholding
Samsung Research Institute(三星研究院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
同时正交匹配追踪(SOMP)和块OMP(BOMP)分别是多测量向量(MMV)和块稀疏(BS)模型中两种广泛使用的稀疏支持恢复技术。为了获得最佳性能,SOMP和BOMP都需要信号稀疏性或噪声方差的\textit{a priori}知识。然而,在大多数实际应用中,稀疏性和噪声方差是不可用的。这封信提出了一种新的技术,称为广义残差比阈值(GRRT)操作SOMP和BOMP没有\textit{a priori}的信号稀疏性和噪声方差的知识,并获得有限的样本和有限的信号噪声比(SNR)保证准确的支持恢复。数值模拟表明,GRRT执行类似的BOMP和SOMP与\textit{a priori}知识的信号和噪声统计。
2020-05-25 cs.IT cs.LG eess.SP
Orthogonal subspace based fast iterative thresholding algorithms for joint sparsity recovery
从具有联合稀疏特性的多测量向量中恢复稀疏信号在信号、图像和视频处理中有着广泛的应用。当信号矩阵的快照在时间上相关时,问题变得更加复杂。考虑到信号的时间相关性,我们提供了一个基于阈值,功能反馈和零空间调整的迭代MMV算法的框架。建立了精确恢复的收敛性分析。与大多数在测量/解空间中选择索引的迭代贪心算法不同,我们基于迭代序列所跨越的正交子空间来确定索引。此外,一个功能性的反馈,控制量的能源搬迁的“尾巴”的实施和分析。结果表明,函数反馈原理可以减少迭代次数,加快算法的收敛速度。数值实验表明,该算法具有明显的优势,平衡的效率,自适应性和准确性相比,其他国家的最先进的算法。
2021-01-22 cs.IT math.IT
Analysis of Optimal Thresholding Algorithms for Compressed Sensing
最优$k$ -阈值追踪(OT)和最优$k$ -阈值追踪(OTP)是新近提出的用于压缩感知和信号逼近的阈值技术框架。这种框架激发了称为松弛最优$k$ -阈值($\textrm{ROT}ω$)和松弛最优$k$ -阈值追踪($\textrm{ROTP}ω$)的实用且有效的算法,其通过OT和OTP的最紧凸松弛来开发,其中$ω$是规定的整数。在\cite{Z19}中展示的初步数值结果表明,这些方法可以稳定地重建具有宽范围稀疏水平的信号。然而,这些算法与参数$ ω\geq 2 $的保证性能尚未建立在\cite{Z19}。本文的目的是显示OT和OTP的保证性能方面的限制等距属性(RIP)的感知矩阵管理的$k$ -稀疏信号恢复的近最优阶,并建立第一个保证性能的结果$\textrm{ROT}ω$和$\textrm{ROTP}ω$与$ ω\geq 2.$在同一时间,我们提供了一个数值比较ROTP $ω$和几个现有的阈值方法。
2020-12-19 cs.IT math.IT math.OC
Deterministic and Randomized Diffusion based Iterative Generalized Hard Thresholding (DiFIGHT) for Distributed Sparse Signal Recovery
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
本文提出了一种基于扩散机制的分布式迭代硬阈值算法DiFIGHT,并提出了一种复杂度较低的修改算法MoDiFIGHT。通过四种不同的策略随机选择节点以减少通信次数,同时提供了理论估计和算法分析,证明了其在稀疏信号恢复中的优越性能。
2020-08-14 cs.DC cs.IT cs.NA
Generalized Thresholding and Online Sparsity-Aware Learning in a Union of Subspaces
本文研究了时变(时间自适应)环境中的稀疏信号恢复任务。该论文对稀疏感知在线学习的贡献有三个方面:首先,引入了一个与凸和非凸罚函数相关的广义保偏(GT)算子。该算子以统一的方式体现了大多数促进稀疏性的著名阈值规则。第二,一个非凸约束,稀疏促进,在线学习计划,即自适应投影为基础的广义线性保持(APGT),采用GT算子的计算复杂性,规模线性未知数的数量。第三,部分拟非扩张映射的新家庭被引入作为一个功能分析工具,处理GT算子。通过建立在丰富的不动点理论上,前一类映射也帮助我们在GT算子和线性子空间的并集之间建立了联系;非凸对象是任何稀疏性提升技术的核心,无论是批处理还是在线。基于这样一个功能分析框架,APGT的收敛性分析。此外,大量的实验表明,APGT表现出竞争力的性能相比,计算上更苛刻的替代品,如稀疏促进仿射投影算法(APA)和递归最小二乘(RLS)为基础的技术。
2012-11-30 cs.IT math.IT
Empirical Bayes Estimators for High-Dimensional Sparse Vectors
研究了由独立同分布的观测值估计高维稀疏向量$\boldsymbolθ \in \mathbb{R}^n$的问题。考虑高斯噪声。使用平方误差损失来测量性能。经验贝叶斯收缩估计,使用伯努利-高斯先验,进行了分析和比较,与著名的软阈值估计。我们得到了Stein无偏风险估计和两个估计的损失函数的浓度不等式。结果表明,对于大的$n$,风险估计和损失函数都集中在接近真实风险的确定性值上。取决于底层的$\boldsymbolθ$,所提出的经验贝叶斯(eBayes)估计器或软阈值化可以具有较小的损失。我们考虑一个混合估计,试图选择更好的软阈值估计和eBayes估计通过比较他们的风险估计。结果表明:i)混合估计量的损失集中在两个竞争估计量的损失的最小值上,以及ii)混合估计量的风险在两个风险的最小值的$\frac{1}{\sqrt{n}}$阶内。仿真结果支持理论结果。最后,我们使用eBayes和混合估计器作为压缩感知近似消息传递(AMP)算法中的去噪器,并表明它们的性能在很宽的设置范围内优于软阈值去噪器。
2018-12-27 cs.IT math.IT math.ST
Learning sparse generalized linear models with binary outcomes via iterative hard thresholding
University of California San Diego(加州大学圣迭戈分校)
本研究提出一种无需已知连接函数的二元迭代硬阈值(BIHT)算法,用于稀疏二元广义线性模型的参数估计,证明其统计效率,并在logistic回归中实现了统计最优性,probit回归样本复杂度与之同阶。
2025-09-03 cs.DS cs.IT cs.LG
Orthogonal Matching Pursuit with Replacement
在本文中,我们考虑的问题,压缩感知的目标是恢复几乎所有的稀疏向量使用少量的固定线性测量。对于这个问题,我们提出了一种新的部分硬阈值算子,导致一个一般家庭的迭代算法。虽然该家族的一个极端产生了众所周知的硬阈值算法,如ITI(迭代求逆)和HTP(硬阈值追踪),但频谱的另一端导致了一种新的算法,我们称之为正交匹配追踪替换(OMPR)。与经典的贪心算法OMP一样,OMPR基于与当前残差的相关性,在每次迭代时向支持添加一个坐标。但是,与OMP不同,OMPR还从支持中删除一个坐标。这个简单的变化使我们能够证明OMPR在受限等距属性(测量矩阵上的条件)方面具有稀疏恢复的最佳保证。相比之下,OMP在RIP下的性能保证非常弱。鉴于其简单的结构,我们能够使用局部敏感哈希扩展OMPR,得到OMPR-Hash,这是第一个可证明的次线性(在维度上)稀疏恢复算法。我们的证明技术是新颖和灵活的,也允许最严格的已知分析流行的迭代算法,如CoSaMP和子空间追踪。我们提供的实验结果,提供恢复高达百万维的向量大小的大型问题。我们证明,对于大规模的问题,我们提出的方法比现有的方法更强大,更快。
2011-06-14 cs.IT math.IT stat.ML
A new and improved quantitative recovery analysis for iterative hard thresholding algorithms in compressed sensing
Mathematical Institute, University of Oxford(牛津大学数学研究所);Department of Mathematics, Duke University(杜克大学数学系)
本文提出了一种新的IHT算法恢复分析,通过研究固定点条件,推导了收敛性和固定点存在的充分必要条件,并在确定性无噪和高斯测量矩阵有噪情况下,量化了稀疏信号恢复的稀疏性/欠采样权衡。
2014-11-07 cs.IT cs.NA math.IT