Dynamic Sample Complexity for Exact Sparse Recovery using Sequential Iterative Hard Thresholding
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
在本文中，我们考虑的问题的精确恢复的一个固定的稀疏向量的测量矩阵顺序到达随着相应的测量。我们提出了一种扩展的迭代硬阈值（IHT）算法，称为顺序IHT（SIHT），它打破了总的时间范围分为几个阶段，使IHT是在这些阶段中的每一个阶段使用一个固定的测量矩阵在该阶段的开始。我们考虑一个随机设置，在每个阶段获得的测量矩阵是一个亚高斯随机矩阵的独立样本。我们证明了，如果一定的动态样本复杂度，取决于在每个阶段的测量矩阵的大小，以及它们的持续时间和相位的数量，满足一定的下限，在一个固定的时间范围内的SIHT的估计误差迅速衰减。有趣的是，这个界限表明，估计误差的衰减的概率几乎不受影响，即使非常小的数量的测量零星地使用在不同的阶段。这一理论观察也证实了使用数值实验表明，SIHT享有改善的恢复概率相比，离线IHT。
2021-02-28 cs.IT cs.LG math.IT
Iterative thresholding for non-linear learning in the strong $\varepsilon$-contamination model
RPI（伦斯勒理工学院）
本文在强ε污染模型下提出基于阈值梯度下降的单神经元学习算法，对非线性激活函数和线性回归分别得到更优的近似界与运行时间复杂度。
2024-09-05 cs.LG stat.ML
Iterative Thresholding Algorithm for Sparse Inverse Covariance Estimation
Stanford University（斯坦福大学）；Rice University（莱斯大学）
L1-正则化极大似然估计问题最近成为机器学习、统计学和优化界非常感兴趣的话题，作为产生稀疏逆协方差估计的方法。本文提出了一种L1正则化协方差阵估计的近似梯度法（G-ISTA）。虽然已经提出了许多算法来解决这个问题，这个简单的近似梯度法被发现有吸引力的理论和数值特性。G-ISTA具有线性收敛速度，导致O（log e）迭代复杂度达到容差e。本文给出了G-ISTA迭代的特征值界，给出了一个封闭形式的线性收敛速度。该速率与最优点的条件数密切相关。数值收敛结果和所提出的方法的时间比较。G-ISTA表现非常好，特别是当最佳点条件良好时。
2012-11-27 cs.LG stat.CO stat.ML
A General Iterative Shrinkage and Thresholding Algorithm for Non-convex Regularized Optimization Problems
Tsinghua University（清华大学）；Simon Fraser University（西蒙弗雷泽大学）；Texas A&M University（得克萨斯农工大学）；Arizona State University（亚利桑那州立大学）
针对非凸稀疏诱导惩罚的优化问题，提出一种通用迭代收缩与阈值算法（GIST），通过近端算子闭式解和BB规则线搜索实现高效求解，并给出收敛性分析。
2013-03-18 cs.LG cs.NA math.NA
Robust 1-bit Compressed Sensing with Iterative Hard Thresholding
University of California San Diego（加州大学圣地亚哥分校）
本文研究1比特压缩感知中的噪声鲁棒性，证明BIHT算法在对抗性符号翻转下，以相同测量数实现$\tilde{O}(\epsilon+\tau)$误差，保持通用性，确立了迭代硬阈值的稳定性。
2023-10-12 cs.DS cs.IT cs.LG
Learning sparse generalized linear models with binary outcomes via iterative hard thresholding
University of California San Diego（加州大学圣迭戈分校）
本研究提出一种无需已知连接函数的二元迭代硬阈值（BIHT）算法，用于稀疏二元广义线性模型的参数估计，证明其统计效率，并在logistic回归中实现了统计最优性，probit回归样本复杂度与之同阶。
2025-09-03 cs.DS cs.IT cs.LG
Gradient Hard Thresholding Pursuit for Sparsity-Constrained Optimization
Cornell University（康奈尔大学）；Rutgers University（罗格斯大学）
本文将硬阈值化追求算法推广到稀疏约束凸优化问题，通过梯度下降与硬阈值化步骤交替，证明其在收敛速度和参数估计精度上的强保证，并在稀疏逻辑回归和稀疏精度矩阵估计中优于现有方法。
2013-11-25 cs.LG cs.NA math.NA
Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks
RWTH Aachen University（亚琛工业大学）
受学习迭代软阈值算法（LISTA）的启发，我们引入了一个通用的神经网络，适用于稀疏重建从几个线性测量。通过允许层之间的权重共享程度的变化，我们可以对非常不同的神经网络类型进行统一分析，从递归网络到更类似于标准前馈神经网络的网络。基于训练样本，通过经验风险最小化，我们的目标是学习最佳网络参数，从而从低维线性测量中重建信号的最佳网络。我们通过分析由这种深度网络组成的假设类的Rademacher复杂性来推导泛化边界，该复杂性还考虑了阈值参数。我们得到的样本的复杂性，基本上只依赖于线性的参数的数量和深度的估计。我们应用我们的主要结果来获得几个实际例子，包括不同的算法（隐式）字典学习，和卷积神经网络的具体推广界限。
2022-01-17 cs.LG eess.SP stat.ML
Optimal Iterative Threshold-Kernel Estimation of Jump Diffusion Processes
在本文中，我们提出了一种新的阈值核跳跃检测方法的跳跃扩散过程，迭代应用阈值和核方法在一个近似最优的方式，以实现改进的有限样本性能。我们使用的跳跃错误分类的期望数量作为目标函数，以最佳选择的门限参数的跳跃检测方案。我们证明了目标函数是拟凸的，并得到了一个新的封闭形式的最优阈值的二阶填充逼近。近似最优阈值不仅取决于现货波动率，而且还取决于跳跃强度和原点处的跳跃密度值。然后开发这些量的估计方法，其中现货波动率由具有阈值的核估计器估计，并且在原点处的跳变密度的值由密度核估计器估计，所述密度核估计器应用于被认为包含跳变的那些增量由所选择的阈值标准估计。由于模型参数和近似最优估计之间的相互依赖性，建立估计他们，一种类型的迭代不动点算法来实现它们。一个典型的随机波动模型的仿真研究表明，它不仅是可行的，实施高阶局部最优阈值计划，但这是优于那些只基于一阶近似和/或在估计时间段内的参数的平均值。
2020-04-04 econ.EM math.ST q-fin.ST
Federated Nonconvex Sparse Learning
University of Connecticut（康涅狄格大学）
非凸稀疏学习在信号处理和深度网络压缩等许多领域都起着至关重要的作用。迭代硬阈值（IHT）方法是非凸稀疏学习的最新技术，因为它们具有恢复真实支持度和大数据集可扩展性的能力。IHT的理论分析目前基于集中的IID数据。然而，在现实的大规模情况下，数据是分布式的，几乎没有IID，并且是本地边缘计算设备的私有数据。因此，有必要在联邦设置中检查IHT的属性，该设置在本地设备上并行更新，并且仅偶尔与中央服务器通信而不共享本地数据。本文提出了两种IHT方法：Federated Hard Iterholding（FedIter-HT）和Federated Hard Iterholding（FedIter-HT）。我们证明了这两种算法都具有线性收敛速度，并且能够强有力地保证恢复最佳稀疏估计量，类似于传统的IHT方法，但现在使用分散的非IID数据。实验结果表明，Fed-HT和FedIter-HT优于他们的竞争对手-一个分布式IHT，在降低目标值，通信轮数和带宽的要求较低。
2020-12-31 cs.LG
Sparse Convex Optimization via Adaptively Regularized Hard Thresholding
MIT（麻省理工学院）；Yahoo! Research（雅虎研究院）
稀疏凸优化的目标是在稀疏性约束$s\leq s^*γ$下优化凸函数$f$，其中$s^*$是可行解（稀疏性）中非零条目的目标数量，$γ\geq 1$是近似因子。已经有大量的工作来分析各种算法（LASSO，正交匹配追踪（OMP），迭代硬保序（IHT））的稀疏性保证的限制条件数$κ$。最著名的算法保证找到具有$γ= O\left(κ\min\left\{\log \frac{f(x^0)-f(x^*)}ε, κ\right\}\right)$的稀疏界的值$f(x^*)+ε$的近似解，其中$x^*$是目标解。我们提出了一个新的自适应正则化硬约束保持（ARHT）算法，使这个问题上的显着进展，使约束下降到$γ=O(κ)$，这已被证明是紧的一般类算法，包括LASSO，OMP，和IHT。与已知的最快算法相比，这是在没有显著牺牲运行时效率的情况下实现的。我们还提供了一个新的分析OMP与替换（OMPR）一般$f$，条件$s > s^* \frac{κ^2}{4}$下，这会产生压缩感知下的限制等距属性（RIP）的界限。当与其他压缩感知方法相比时，它具有在RIP条件和解稀疏性之间提供强折衷的优点，同时适用于满足RIP条件的任何通用函数$f$。
2020-06-25 cs.DS cs.LG stat.ML
Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap
Lasso在高维数据时代的成功可以归因于其进行隐式模型选择，即，将不显著的回归系数归零。相比之下，经典的岭回归不能揭示潜在的稀疏性的参数，也可能会引入一个大的偏差下的高维设置。然而，最近的工作Lasso涉及去偏置和阈值，后者是为了进一步提高模型的选择。因此，岭回归可能值得再看一看，因为在去偏置和阈值化之后，它可能比Lasso提供一些优势，例如，它可以很容易地使用封闭形式的表达式来计算。%，并且它具有与阈值Lasso类似的性能。本文定义了一种去偏门限岭回归方法，证明了一个相容性结果和一个高斯逼近定理。我们进一步引入了一个野生bootstrap算法来构建置信区域和执行假设检验的线性组合的参数。除了估计，我们考虑的问题，预测，并提出了一种新的，混合自举算法的预测区间。大量的数值模拟进一步表明，去偏和阈值岭回归具有良好的有限样本性能，在某些情况下可能是优选的。
2021-04-22 math.ST stat.AP stat.ML
Nonconvex fraction function recovery sparse signal by convex optimization algorithm
在本文中，我们将产生一个凸迭代FP阈值算法来解决问题$(FP^λ_{a})$。提出了两种凸迭代FP阈值算法。一种是凸迭代FP阈值算法-方案1，另一种是凸迭代FP阈值算法-方案2。证明了凸迭代FP阈值算法方案1的整体收敛定理。在自适应规则下，凸迭代FP阈值算法-方案2对于正则化参数$λ$和参数$a$的选择都是自适应的。这是我们提出的两种凸迭代FP阈值算法与我们以前提出的两种迭代FP阈值算法相比的优点。最后，通过一系列的数值模拟对凸迭代FP阈值算法-方案2的性能进行了测试，仿真结果表明，凸迭代FP阈值算法-方案2在恢复稀疏信号时具有很好的性能。
2019-05-28 math.OC
Iterative Log Thresholding
稀疏重建方法，使用重新加权的l1惩罚已被证明，无论是经验和理论上，提供一个显着的改善，在恢复稀疏信号相比，l1松弛。然而，这种惩罚的数值优化涉及多次解决目标中的l1-范数问题。使用直接链接的加权l1-处罚的凹日志正则化稀疏，我们推导出一个简单的类似的算法的日志正则化的制定。该算法的近端分裂步骤有一个封闭的形式的解决方案，我们呼吁该算法的“对数阈值”在类比软阈值的l1处罚。我们建立的收敛结果，并证明对数阈值提供更准确的稀疏重建相比，软和硬阈值。此外，该方法可以直接扩展到优化矩阵的秩惩罚（即核范数惩罚及其重新加权版本），我们建议一个奇异值对数阈值的方法。
2013-12-05 math.OC stat.ML
Multi-Task Learning with Prior Information
Clemson University（克莱姆森大学）
多任务学习旨在通过利用这些任务中包含的信息来同时提高多个相关任务的泛化性能。在本文中，我们提出了一个多任务学习框架，在这里我们利用先验知识的功能之间的关系。我们还对每个特定特征的系数变化施加惩罚，以确保相关任务在它们之间共享的共同特征上具有相似的系数。此外，我们通过组稀疏性捕获一组共同的特征。该目标是一个非光滑的凸优化问题，可以用多种方法求解，包括固定步长的梯度下降法、带回溯的迭代收缩阈值算法（ISTA）及其变体--快速迭代收缩阈值算法（FISTA）。针对上述方法的次线性收敛速度，我们提出了一个具有理论保证的渐近线性收敛算法。在真实数据集上的回归和分类任务的实验表明，我们提出的算法能够提高多个相关任务的泛化性能。
2023-01-04 cs.AI cs.LG
Rethinking Hard Thresholding Pursuit: Full Adaptation and Sharp Estimation
本文提出全自适应硬阈值追踪（FAHTP），无需调参即可同时适应未知稀疏度和信号强度，在beta-min条件下达到预言估计速率并精确恢复支撑集，且无该条件时仍优于经典极小极大速率。
2025-01-05 math.ST stat.TH
An accelerated proximal iterative hard thresholding method for $\ell_0$ minimization
本文考虑一类非凸问题，它是盒约束下的$\ell_0$ -范数与凸光滑函数之和。我们提出了一种近似迭代硬阈值型方法，并利用外推步骤来加速算法，证明了它的整体收敛结果。详细地说，所提出的方法产生的序列全局收敛到局部极小的目标函数。最后，我们进行了数值实验，以显示所提出的方法的有效性与其他一些有效的方法进行比较。
2018-01-02 math.OC
A unified spectral analysis of high-dimensional linear regression: debiasing and thresholding
School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；MSU-BIT-SMBU Joint Research Center of Applied Mathematics, Shenzhen MSU-BIT University（深圳北理莫斯科大学应用数学联合研究中心）
本文提出统一正则化框架，涵盖传统及七种新回归方法，并引入去偏阈值化技术以促进稀疏特征选择，理论上建立相合性与高斯逼近，数值模拟显示其有限样本性能优越。
2026-10-14 math.PR math.ST stat.TH
On the Convergence of the Iterative Shrinkage/Thresholding Algorithm With a Weakly Convex Penalty
我们考虑迭代收缩/阈值算法（ISTA）适用于一个费用函数组成的数据保真度项和惩罚项。惩罚是非凸的，但是惩罚的增加由数据保真度项来解释，使得总费用函数是凸的。我们提供了一个推广的收敛结果ISTA看作是一个向前向后分裂算法。我们还通过实验证明，对于当前的设置，在ISTA中使用大步长可以比现有的凸情况下提出的方案（如TwIST或FISTA）更快地收敛。
2015-11-12 math.OC
Scaled minimax optimality in high-dimensional linear regression: A non-convex algorithmic regularization approach
经典的高维线性回归问题的快速收敛问题已得到广泛的研究。可以说，在实践中最快的程序之一是迭代硬控制（IHT）。然而，IHT强烈依赖于真实稀疏参数$s$的知识。本文提出了一种新的高维线性回归估计的快速算法。利用估计，支持恢复和优化之间的相互作用，我们实现了最佳的统计精度和快速收敛。我们的程序的主要优点是，它是完全自适应的，使其比最先进的IHT方法更实用。我们的程序达到最佳的统计精度比，例如，经典算法的套索。此外，我们建立了尖锐的最优结果的估计和支持恢复。因此，我们提出了一种新的迭代硬阈值算法的高维线性回归，是规模的最小最大最优（实现的预言，知道稀疏模式的估计误差，如果可能的话），快速和自适应。
2020-08-27 math.ST stat.TH
Minimum $n$-Rank Approximation via Iterative Hard Thresholding
低$n$秩张量的恢复问题是低维空间（矩阵空间）稀疏恢复问题向高维空间（张量空间）的扩展，在图像修复、视频修复等计算机视觉和图形学领域有着广泛的应用。本文考虑了一种新的张量恢复模型--最小$n$ -秩近似（MnRA），并在预先给出$n$ -秩上界的基础上，提出了一种合适的迭代硬阈值算法。最后给出了算法的收敛性分析。特别地，我们证明了对于无噪声的情况，在适当的条件下，该算法可以获得线性收敛率$\frac{1}{2}$。此外，结合一种有效的启发式算法来确定$n$ -rank，当$n$ -rank事先未知时，我们也可以应用该算法求解MnRA。对随机生成和实低$n$秩张量完备化问题的数值结果表明了所提算法的有效性。
2014-04-08 math.OC stat.ML
Another look at the fast iterative shrinkage/thresholding algorithm (FISTA)
本文提供了一种新的方法来发展快速迭代收缩/阈值算法（FISTA），该算法被广泛用于极小化具有非光滑项的复合凸函数，如$\ell_1$正则化子。特别是，本文表明，FISTA对应于一个优化的方法，以加速近端梯度法的费用函数的最坏情况下的界限。然后，本文提出了一种新的算法，而不是优化的最坏情况下的复合梯度映射的最接近梯度法的步长系数。证明是基于最坏情况下的分析称为性能估计问题。
2018-01-23 math.OC
Adaptive iterative singular value thresholding algorithm to low-rank matrix recovery
从线性约束中恢复低秩矩阵的问题，称为仿射矩阵秩最小化问题，近年来受到了广泛的关注。一般来说，仿射矩阵秩最小化问题是一个NP难问题。在我们的最新工作中，研究了一个非凸分式函数来近似仿射矩阵秩最小化问题中的秩函数，并将NP难仿射矩阵秩最小化问题转化为一个变换的仿射矩阵秩最小化问题。提出了一种迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。然而，我们的迭代奇异值阈值算法的缺点之一是，参数$a$，它影响的行为的非凸分数函数的正则化变换仿射矩阵秩最小化问题，需要手动确定在每个模拟。实际上，如何确定最优参数$a$并不是一个容易的问题。在这里，相反，在本文中，我们将产生一个自适应迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。当这样做时，我们的新算法对于正则化参数$λ$和参数$a$的选择都是智能的。
2020-01-30 math.OC
Variable metric extrapolation proximal iterative hard thresholding method for $\ell_0$ minimization problem
本文考虑目标函数为$\ell_0$ -范数与凸可微函数之和的$\ell_0$极小化问题。将PIHT方法与拟牛顿法的技巧相结合，提出了一种变尺度型方法--变尺度外推邻近迭代硬阈值法（VMEPIHT）。然后在适当的假设下分析了它的收敛性、线性收敛速度和超线性收敛速率。最后，我们对压缩感知问题和CT图像重建问题进行了数值实验，并与其他方法进行了比较，验证了VMPIHT方法的有效性。
2021-08-07 cs.NA math.NA math.OC
Transformed Schatten-1 Iterative Thresholding Algorithms for Low Rank Matrix Completion
研究了一种非凸的低秩提升罚函数--变换的Schatten-1（TS 1）及其在矩阵完备化中的应用。TS 1罚函数作为定义在奇异值上的矩阵拟范数，通过非负参数α对秩和核范数进行插值。我们考虑无约束的TS 1正则化低秩矩阵恢复问题，并发展了一个不动点表示的全局极小。TS 1阈值函数对于所有参数值都是封闭的解析形式。TS 1阈值在次临界（超临界）参数范围内不同，其中TS 1阈值函数是连续的（不连续的）。我们提出了TS 1迭代阈值算法，并将其与矩阵完备测试问题的一些最先进的算法进行了比较。对于已知秩的问题，完全自适应的TS 1迭代阈值算法在不同的条件下始终表现最好，地面真值矩阵是多元高斯在不同的协方差。对于秩未知的问题，TS 1算法与一个额外的秩估计过程接近IRucL-q的水平，IRucL-q是一个迭代重加权算法，非凸的性质和最佳的性能。
2016-10-18 cs.IT math.IT math.OC
An iterative thresholding algorithm for linear inverse problems with mixed multi-constraints and its applications
在本文中，我们将提出一个推广的最小化问题，从I。Daubechies，M. Defrise和C. Demol [3].这种推广对于解决许多涉及多个约束的实际问题是有用的。在这方面，我们将总结许多论文（其中大部分是关于图像处理的）的发现。希望本文所提出的方法能为多框架、多小波或多约束的线性反问题的应用提供参考。
2019-12-19 math.OC
Smoothing fast iterative hard thresholding algorithm for $\ell_0$ regularized nonsmooth convex regression problem
研究了一类带基数罚的约束稀疏回归问题，其中可行集由盒约束定义，损失函数是凸的，但不一定是光滑的.首先，我们提出了一个平滑快速迭代硬阈值（SFIHT）算法来解决这样的最优化问题，它结合了平滑近似，外推技术和迭代硬阈值方法。在所提出的算法中，可以选择外推系数以满足$\sup_k β_k=1$。讨论了算法在不同外推系数下的收敛性，并给出了保证迭代的任一聚点是原基数惩罚问题的局部极小点的充分条件。特别地，对于一类固定外推系数，我们讨论了几种不同的光滑参数更新规则，并得到了$O(\ln k/k)$关于损失和目标函数值的收敛速度。其次，考虑了损失函数为Lipschitz连续可微的情形，提出了一种快速迭代硬阈值算法（FIHT），并证明了FIHT算法的迭代收敛于问题的一个局部极小点，该局部极小点满足期望的下界性质。此外，我们证明了损失和目标函数值的收敛速度是$o(k^{-2})$。最后，给出了一些数值例子来说明理论结果。
2021-04-27 math.OC
Probabilistic Iterative Hard Thresholding for Sparse Learning
针对高维小样本统计建模及大数据下带噪梯度的稀疏优化方法收敛性不足问题，提出带基数约束的概率迭代硬阈值方法，证明其随机过程收敛性并在两类机器学习任务中验证性能。
2025-08-01 cs.LG math.OC
Iterative Hard Thresholding Methods for $l_0$ Regularized Convex Cone Programming
Simon Fraser University（西蒙弗雷泽大学）；Texas A&M University（得克萨斯农工大学）
提出迭代硬阈值方法及其变体求解 $l_0$ 正则化凸锥规划，证明收敛到局部极小点并建立迭代复杂度。
2012-11-02 cs.LG cs.NA math.NA
Iterative Hard Thresholding with Adaptive Regularization: Sparser Solutions Without Sacrificing Runtime
MIT（麻省理工学院）；Yahoo! Research（雅虎研究院）
我们提出了一个简单的修改迭代硬阈值（IHT）算法，恢复渐近稀疏的解决方案作为条件数的函数。当目标是最小化凸函数$f(x)$，条件数$κ$服从$x$是$s$ -稀疏向量时，标准IHT保证是具有松弛稀疏性$O(sκ^2)$的解，而我们提出的算法正则化IHT返回具有稀疏性$O(sκ)$的解。我们的算法显着提高了ARHT也找到了稀疏$O(sκ)$的解决方案，因为它不需要在每次迭代中重新优化（因此更快），是确定性的，不需要最佳解值$f(x^*)$或最佳稀疏水平$s$的知识。我们的主要技术工具是一个自适应正则化框架，其中算法逐步学习$\ell_2$正则化项的权重，这将允许收敛到稀疏的解决方案。我们还将此框架应用于低秩优化，在那里我们实现了类似的改善，从$κ^2$到$κ$的最知名的条件数依赖。
2022-04-11 cs.DS cs.IT cs.LG
Iterative hard-thresholding applied to optimal control problems with $L^0(Ω)$ control cost
我们研究的硬阈值方法适用于最优控制问题的$L^0(Ω)$控制成本，惩罚措施的支持控制。由于底层测度空间是非原子的，$l^2$或$\mathbb R^n$中的收敛性证明的参数不能被应用。然而，我们证明了令人惊讶的性质，目标功能的值是较低的连续沿迭代。也就是说，弱极限点中的函数值小于或等于沿着迭代的函数值的lim-inf。在紧性假设下，我们可以证明弱极限点是强极限点，这使我们能够证明某些平稳性条件的极限点。数值实验表明了该方法的有效性。这表明该方法在离散化方面是稳健的。此外，我们表明，通过阈值算法得到的解决方案优于$L^1(Ω)$正则化问题的解决方案。
2018-06-15 math.OC
Sparse Regularization: Convergence Of Iterative Jumping Thresholding Algorithm
近年来，在稀疏建模的研究中，非凸罚函数由于其在稀疏诱导方面的优势而受到广泛关注。然而，与凸优化方法相比，非凸优化方法的收敛性分析更具挑战性。本文研究了一类具有非凸罚函数的稀疏恢复问题的非凸迭代阈值算法的收敛性，该算法的阈值函数是不连续的，且具有跳跃间断性.因此，我们称该算法为迭代跳跃阈值（IJT）算法。利用这种跳跃间断性，首次证明了IJT算法的有限支撑性和符号收敛性。在引入限制性Kurdyka-Schojasiewicz（rKL）性质的假设下，证明了IJT算法的强收敛性，并在一定条件下证明了IJT算法以渐近线性速度收敛于局部极小点.此外，我们推导出一个后验可计算的误差估计，它可以用来设计实用的终端规则的算法。需要指出的是，$l_q$拟范数（$0<q<1$）是本文所研究的非凸罚函数类的一个重要子类。特别地，当应用于$l_q$正则化时，IJT算法可以在一定的浓度条件下以渐近线性速率收敛到局部极小点。我们还提供了一组模拟来支持理论断言的正确性，并比较IJT算法的$l_{q}$正则化（$q=1/2, 2/3$）与其他已知的典型算法，如迭代加权最小二乘（IRLS）算法和迭代加权$l_{1}$最小化（IRL 1）算法的时间效率。
2015-07-27 math.OC
A scaled, inexact and adaptive Fast Iterative Soft-Thresholding Algorithm for convex image restoration
在这篇文章中，我们考虑了最近在（Rebegoldi，Calatroni，'21）中提出的用于强凸复合优化问题的有效解的缩放的、不精确的和自适应的广义快速迭代软保持算法（SAGE-FISTA）的一个特殊实例。特别是，我们在这里解决的唯一（非强）凸优化的情况下，这是经常遇到的许多成像应用。所提出的不精确S-FISTA算法示出了与（Bonettini，Rebegoldi，Ruggiero，'19）中研究的FISTA的可变度量和不精确版本的类比，主要区别是使用自适应（非单调）回溯策略，允许沿着迭代自动调整算法步长（参见（Scheinberg，Goldfarb，Bai，'14，Calatroni，Chambolle，'19））。给出了函数值依赖于回溯参数和变度量算子谱的上、下界的一个平方收敛结果。电视图像去模糊问题的泊松噪声的实验结果，然后报告的数值验证，显示出提高计算效率和精度。
2021-04-01 math.OC
Proximal Iterative Hard Thresholding Algorithm for Sparse Group $\ell_0$-Regularized Optimization with Box Constraint
本文提出了一种近端迭代硬阈值算法，用于解决带框约束的稀疏组ℓ0正则化优化问题，通过分析τ-stationary点和SO点的关系，建立了方法的全局收敛性并验证了其有效性。
2025-11-25 math.OC
Iterative thresholding algorithm based on non-convex method for modified lp-norm regularization minimization
最近，$ł_{p}$ -范数正则化最小化问题$(P_{p}^λ)$在压缩感知领域引起了极大的关注.然而，问题$(P_{p}^λ)$中的$ł_{p}$ -范数$\|x\|_{p}^{p}$对所有$p\in(0,1)$都是非凸的和非Lipschitz的，目前还没有很多优化理论和方法被提出来解决这个问题.事实上，它对所有$p\in(0,1)$和$λ>0$都是NP难的。本文研究了两个改进的$ł_{p}$正则化极小化问题来逼近NP难问题$(P_{p}^λ)$。受Half算法和$2/3$算法在稀疏信号恢复问题中的良好性能的启发，提出了两种迭代阈值算法，分别用于解决问题$(P_{p,1/2,ε}^λ)$和$(P_{p,2/3,ε}^λ)$。数值结果表明，在某些稀疏信号恢复问题中，对于适当的$p\in(0,1)$，我们的算法可以有效地找到稀疏信号。
2018-04-25 math.OC
Iterative Soft/Hard Thresholding with Homotopy Continuation for Sparse Recovery
Zhongnan University of Economics and Law（中南财经政法大学）；University College London（伦敦大学学院）；Wuhan University（武汉大学）
本文提出一种结合同伦连续性的迭代软/硬阈值算法，用于在噪声下恢复稀疏信号，通过合适条件实现高精度重构，具有较低的迭代复杂度。
2017-04-11 cs.NA math.NA math.OC
Iterative Singular Tube Hard Thresholding Algorithms for Tensor Recovery
本文提出一类基于低管秩张量近似的迭代奇异管硬阈值算法，包括基础、加速确定性和随机版本，用于解决管秩先验已知的低秩张量恢复问题，并提供收敛性保证及在张量压缩感知和彩色图像修复上的实验验证。
2023-12-26 math.OC
Linear Convergence of Adaptively Iterative Thresholding Algorithms for Compressed Sensing
研究了压缩感知中自适应迭代阈值算法的收敛性。我们首先介绍了一个广义的限制等距性质（gRIP）。然后证明了在无噪声情况下，AIT算法在一定的gRIP条件下以线性速度收敛到原始稀疏解。而在有噪声的情况下，它的收敛速度也是线性的，直到达到一定的误差界。此外，作为副产品，我们还提供了一些充分条件的AIT算法的收敛性的基础上的两个众所周知的性质，即，相干性和限制等距性（RIP）。应该指出的是，这两个属性是gRIP的特殊情况。理论结果的坚实的改进被证明，并与已知的结果进行比较。最后，我们提供了一系列的仿真来验证理论断言的正确性以及AIT算法的有效性。
2015-12-16 math.OC
On a generalization of the iterative soft-thresholding algorithm for the case of non-separable penalty
Université Libre de Bruxelles（布鲁塞尔自由大学）
针对非可分ℓ1项，提出一种显式迭代算法，每步仅需四次矩阵向量乘法和一次凸集投影（或阈值化），证明了收敛性并给出1/N收敛率，且能推广至其他非可分凸惩罚。
2011-08-04 cs.NA math.NA math.OC
Improving "Fast Iterative Shrinkage-Thresholding Algorithm": Faster, Smarter and Greedier
“快速迭代收缩阈值算法”，也称为“快速迭代收缩阈值算法”。FISTA是文献中最著名的一阶优化方案之一，因为它在目标函数值方面实现了最坏情况下的$O(1/k^2)$最优收敛速度。然而，尽管有这样的最佳理论收敛速度，但实际上FISTA的（局部）振荡行为常常抑制其效率。在过去的几年里，各种努力在文献中，以提高FISTA的实际性能，如单调FISTA，重新启动FISTA和回溯策略。在本文中，我们提出了一个简单而有效的修改原始的FISTA计划，它有两个优点：它允许我们1）证明所产生的序列的收敛性; 2）设计一个所谓的“延迟启动”的策略，可以达到一个订单比原计划的速度。此外，通过研究FISTA方案的性质，我们提出了新的自适应和贪婪策略，探讨了算法的极限。所提出的方案的优点进行了测试，通过所产生的问题，从逆问题，机器学习和信号/图像处理。
2021-01-20 math.OC
A fast iterative thresholding and support-and-scale shrinking algorithm (fits3) for non-lipschitz group sparse optimization (i): the case of least-squares fidelity
针对非凸非 Lipschitz 正则化的组稀疏最小二乘问题，提出无需解方程、具备收敛保证的 FITS3，并在保持恢复精度的同时显著降低大规模计算时间。
2025-01-08 math.OC
Iterative Thresholding Pursuit with Continuation for $\ell_{1-2}$-Regularized Sparse Recovery
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海智能无人系统研究院）
提出一种结合延续策略的迭代阈值追踪方法（ITP-C），通过 $\ell_{1-2}$ 近端步的主动集识别和受限最小二乘追踪步的二阶更新，实现稀疏信号的高效恢复，并保证收敛性和局部 oracle 性质。
2026-06-04 cs.IT cs.NA math.IT
On Asymptotic Linear Convergence Rate of Iterative Hard Thresholding for Matrix Completion
在过去的几十年里，迭代硬阈值（IHT）在大规模优化中越来越受欢迎。然而，这种方法的收敛性能最近才被探索在非凸设置。在矩阵完备化中，现有的工作主要集中在通过非相干性和均匀采样等标准假设来保证IHT的整体收敛。虽然这样的分析提供了一个全局上界的线性收敛速率，它并没有描述在实践中的IHT的实际性能。在本文中，我们提供了一个新的见解的局部收敛的一个特定的变种IHT矩阵完成。我们揭示了精确的线性速率的IHT在一个封闭形式的表达，并确定该算法是保证收敛的收敛区域。此外，我们利用随机矩阵理论研究了IHTSVD在大规模矩阵完备化问题上的线性收敛速率。我们发现，渐近，率可以表示在封闭的形式的相对秩和采样率。最后，我们提出了各种数值结果来验证上述理论分析。
2022-04-27 cs.IT math.IT math.OC
Projected Iterative Soft-thresholding Algorithm for Tight Frames in Compressed Sensing Magnetic Resonance Imaging
Xiamen University（厦门大学）；University of Iowa（爱荷华大学）；Xiamen University of Technology（厦门理工学院）
压缩感知技术在加速磁共振成像中显示出巨大的潜力。快速图像重建和高质量图像是这一新技术面临的两个主要问题。已经表明，冗余图像表示，例如紧帧，可以显著提高图像质量。但是如何有效地解决这些冗余表示系统的重建问题仍然是一个挑战。本文试图解决的问题，应用迭代软阈值算法（ISTA）的紧帧的磁共振图像重建。通过引入规范对偶框架来构造分析稀疏算子范围上的正交投影算子，提出了一种投影迭代软阈值算法（pISTA），并结合Beck和Teboulle在2009年提出的策略进一步加速该算法.我们从理论上证明了pISTA收敛到一个平衡的紧框架稀疏的函数的最小值。实验结果表明，该算法比目前广泛使用的合成稀疏模型重建效果更好，加速后的pISTA算法收敛速度更快，甚至可以与最先进的平滑FISTA算法相媲美。pISTA的一个主要优点是仅引入了一个额外的参数，即步长，并且数值解在图像重建误差方面对它是稳定的，从而允许在许多快速磁共振成像应用中容易地设置。
2015-10-03 cs.CV math.OC physics.med-ph
Iterative thresholding meets free discontinuity problems
Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences（奥地利科学院约翰·拉顿计算与应用数学研究所）；Program in Applied and Computational Mathematics, Princeton University（普林斯顿大学应用与计算数学项目）
本文探索了稀疏恢复中的迭代阈值算法与离散自由间断问题之间的联系，并建立了一种用于求解离散自由间断问题的迭代阈值算法，提供了关于极小化解性质的新见解。
2009-04-28 cs.NA math.FA math.NA
Newton-Step-Based Hard Thresholding Algorithms for Sparse Signal Recovery
稀疏信号恢复或压缩感知可以用公式表示为某些稀疏最优化问题。经典优化理论表明，在求解非线性最优化问题时，类牛顿法往往比梯度法具有数值优势。在本文中，我们提出了所谓的基于牛顿步的迭代硬阈值（NSIHT）和基于牛顿步的硬阈值追踪（NSHTP）算法的稀疏信号恢复和信号近似。与传统的迭代硬阈值（IHT）和硬阈值追踪（HTP）算法不同，该算法采用牛顿型搜索方向代替最速下降方向。对所提出的算法进行了理论分析，建立了保证这些算法能够成功恢复稀疏信号的充分条件。我们的结果下显示的限制等距属性，这是一个标准的假设，广泛应用于压缩感知和信号逼近领域。实验结果表明，该算法是一种有效的信号恢复方法。我们的算法的数值稳定性方面的残留减少也通过模拟研究。
2020-01-20 math.OC
Consecutive Support Matching Induced Parameter Tuning Accelerates Momentum Iterative Hard Thresholding
IIT (ISM) Dhanbad（印度矿业大学）；Techno Bengal Institute of Technology（泰格博加尔理工学院）
提出CosMIHT算法，通过自适应规则在支持发现阶段使用保守参数，在支持锁定后利用轻量级幂法估计特征值并切换最优重球参数，实现快速收敛，理论证明了两阶段收敛性，实验验证了其优越性。
2026-06-08 cs.IT math.IT math.OC
An Extension of Fast Iterative Shrinkage-thresholding to Riemannian Optimization for Sparse Principal Component Analysis
稀疏主成分分析（PCA）是PCA的一个重要变体，它试图在进行降维时找到稀疏的负载向量。本文考虑了与ScoTLASS模型相关的非光滑黎曼最优化问题，该模型可以同时施加正交性和稀疏性。Chen等人的工作中提出了一种黎曼近似方法，用于有效地解决这个最优化问题。本文介绍了两种加速方案。首先，我们将FISTA方法从欧几里得空间推广到黎曼流形上求解稀疏PCA，得到了加速的黎曼邻近梯度法。由于稀疏PCA的黎曼最优化问题本质上是非凸的，采用重新启动技术来稳定加速方法，而不牺牲快速收敛。其次，对黎曼近似子问题提出了一个对角预条件子，进一步加快了黎曼近似方法的收敛速度。数值计算结果表明，所提出的方法比现有的流形上的近端梯度法具有计算优势。此外，还建立了一个关于序列的黎曼次梯度收敛性的简短结果，该结果与Chen等人的结果一起，可以证明黎曼逼近方法的稳定点收敛性。
2021-09-02 math.OC
Riemannian thresholding methods for row-sparse and low-rank matrix recovery
在本文中，我们提出了修改的迭代硬阈值（IHT）方法恢复联合行稀疏和低秩矩阵。特别是一个黎曼版本的IHT被认为是显着降低计算成本的梯度投影的情况下，秩一测量算子，这在盲反卷积的具体应用。实验结果表明，高斯和秩一测量接近最佳的恢复，自适应步长提供了至关重要的改善。对于稀疏性未知的特殊情况，导出了一种黎曼近似梯度法.
2022-09-30 cs.NA math.NA math.OC
Thresholding gradient methods in Hilbert spaces: support identification and linear convergence
研究了可分希尔伯特空间中的$\ell^1$正则化最小二乘最优化问题。我们表明，迭代软阈值算法（ISTA）的线性收敛，而不作任何假设的线性算子发挥或对问题。结合两个关键概念得到的结果：扩展支持的概念，一个有限集包含的支持，和有限维集的条件的概念。我们证明了ISTA在有限次迭代后识别解的扩展支持，并且我们从条件性质中推导出线性收敛，对于$\ell^1$正则化最小二乘问题，该条件性质总是满足的。我们的分析扩展到整个类的阈值梯度算法，我们提供了一个概念上新的强收敛性证明，以及收敛速度。
2017-12-01 math.OC
Distributed soft thresholding for sparse signal recovery
在本文中，我们解决的问题，通过压缩测量传感器网络中获得的信号的分布式稀疏恢复。我们提出了一类新的分布式算法来解决Lasso回归问题，当与融合中心的通信是不可能的，例如，由于通信成本或隐私原因。更确切地说，我们介绍了一个分布式迭代软阈值算法（DISTA），由三个步骤组成：平均步骤，梯度步骤，和软阈值操作。我们证明了DISTA的收敛性，在网络中表示的规则图，我们比较它与现有的方法在性能，内存和复杂性。
2013-10-14 cs.DC cs.IT math.IT
A Guaranteed Convergence Analysis for the Projected Fast Iterative Soft-Thresholding Algorithm in Parallel MRI
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）；Neusoft Medical System（东软医疗系统）
非均匀采样和压缩感知技术的兴起极大地解决了磁共振成像中数据采集时间过长的问题。稀疏重建由于其快速的计算速度和良好的性能，吸引了研究人员的大量努力，并已被用于商业扫描仪。在进行稀疏重建时，选择合适的算法是获得满意结果和节省参数调整时间的关键。pFISTA是一种简单有效的稀疏重建算法，已成功地扩展到并行成像。然而，它的收敛性标准仍然是一个悬而未决的问题。现有的单线圈pFISTA的收敛标准不能应用于并行成像pFISTA，因此，这给用户确定唯一的参数-步长带来了困惑和困难。在这项工作中，我们提供了保证收敛分析的并行成像版本pFISTA解决两个著名的并行成像重建模型，SENSE和SPIRiT。随着收敛分析，我们提供了建议的SENSE和SPIRiT重建的步长值，以获得快速和有前途的重建。在活体脑图像上的实验证明了收敛准则的有效性。此外，实验结果表明，与使用回溯和幂迭代确定步长相比，在大多数测试情况下，我们推荐的步长在重建时间上实现了5倍以上的加速。
2020-08-04 cs.CV eess.IV math.OC
Sparse Portfolio Selection via Non-convex Fraction Function
本文研究了具有卖空约束和不具有卖空约束的稀疏投资组合选择模型中的连续非凸提升稀疏分数函数。首先，我们研究了问题$(FP_{a,λ,η})$的最优解的性质，包括一阶和二阶最优性条件以及非零项绝对值的上下界。其次，我们发展了问题$(FP_{a,λ,η})$的阈值表示论。在此基础上，证明了$P_{a}(x)$的梯度预解算子的存在性，计算了其解析表达式，并提出了求解$(FP_{a,λ,η})$的迭代分数惩罚阈值算法（IFPT）.此外，我们还证明了正则化参数$λ>0$的值不能选择太大。实际上，存在$\barλ>0$，使得对于任何$λ>\barλ$，问题$(FP_{a,λ,η})$的最优解等于零。最后，受问题$(FP_{a,λ,η})$的阈值表示论的启发，我们提出了一种求解问题$(FP_{a,λ,η}^{\geq})$的迭代非负分数惩罚阈值（INFPT）算法。实证结果表明，我们的方法，对于一些适当的$a>0$，执行有效的找到稀疏的投资组合的权重有和没有卖空的限制。
2018-01-28 math.OC
Image Deconvolution Under Poisson Noise Using Sparse Representations and Proximal Thresholding Iteration
提出了一种受泊松噪声污染的图像反卷积算法。要恢复的图像被假定为稀疏地表示在诸如小波或曲波变换的波形字典中。我们的主要创新是：首先，我们适当地处理泊松噪声，通过使用Anscombe方差稳定变换导致加性高斯噪声的非线性退化方程。其次，反卷积问题被公式化为最小化的凸泛函与反映噪声属性的数据保真度项，和一个非光滑的稀疏促进处罚的图像表示系数（例如，l1-范数）。第三，提出了一种快速迭代的向后-向前分裂算法来求解最小化问题。我们得到了解的存在唯一性条件，并建立了迭代算法的收敛性。实验结果表明，考虑到泊松统计的噪声所获得的显着的好处。这些结果还表明，在许多反卷积应用中，例如天文学或显微镜，使用稀疏域正则化可能是易于处理的。
2008-03-18 math.OC math.ST stat.TH
