Adaptive iterative singular value thresholding algorithm to low-rank matrix recovery
从线性约束中恢复低秩矩阵的问题，称为仿射矩阵秩最小化问题，近年来受到了广泛的关注。一般来说，仿射矩阵秩最小化问题是一个NP难问题。在我们的最新工作中，研究了一个非凸分式函数来近似仿射矩阵秩最小化问题中的秩函数，并将NP难仿射矩阵秩最小化问题转化为一个变换的仿射矩阵秩最小化问题。提出了一种迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。然而，我们的迭代奇异值阈值算法的缺点之一是，参数$a$，它影响的行为的非凸分数函数的正则化变换仿射矩阵秩最小化问题，需要手动确定在每个模拟。实际上，如何确定最优参数$a$并不是一个容易的问题。在这里，相反，在本文中，我们将产生一个自适应迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。当这样做时，我们的新算法对于正则化参数$λ$和参数$a$的选择都是智能的。
2020-01-30 math.OC
An iterative thresholding algorithm for linear inverse problems with mixed multi-constraints and its applications
在本文中，我们将提出一个推广的最小化问题，从I。Daubechies，M. Defrise和C. Demol [3].这种推广对于解决许多涉及多个约束的实际问题是有用的。在这方面，我们将总结许多论文（其中大部分是关于图像处理的）的发现。希望本文所提出的方法能为多框架、多小波或多约束的线性反问题的应用提供参考。
2019-12-19 math.OC
Smoothing fast iterative hard thresholding algorithm for $\ell_0$ regularized nonsmooth convex regression problem
研究了一类带基数罚的约束稀疏回归问题，其中可行集由盒约束定义，损失函数是凸的，但不一定是光滑的.首先，我们提出了一个平滑快速迭代硬阈值（SFIHT）算法来解决这样的最优化问题，它结合了平滑近似，外推技术和迭代硬阈值方法。在所提出的算法中，可以选择外推系数以满足$\sup_k β_k=1$。讨论了算法在不同外推系数下的收敛性，并给出了保证迭代的任一聚点是原基数惩罚问题的局部极小点的充分条件。特别地，对于一类固定外推系数，我们讨论了几种不同的光滑参数更新规则，并得到了$O(\ln k/k)$关于损失和目标函数值的收敛速度。其次，考虑了损失函数为Lipschitz连续可微的情形，提出了一种快速迭代硬阈值算法（FIHT），并证明了FIHT算法的迭代收敛于问题的一个局部极小点，该局部极小点满足期望的下界性质。此外，我们证明了损失和目标函数值的收敛速度是$o(k^{-2})$。最后，给出了一些数值例子来说明理论结果。
2021-04-27 math.OC
Iterative Log Thresholding
稀疏重建方法，使用重新加权的l1惩罚已被证明，无论是经验和理论上，提供一个显着的改善，在恢复稀疏信号相比，l1松弛。然而，这种惩罚的数值优化涉及多次解决目标中的l1-范数问题。使用直接链接的加权l1-处罚的凹日志正则化稀疏，我们推导出一个简单的类似的算法的日志正则化的制定。该算法的近端分裂步骤有一个封闭的形式的解决方案，我们呼吁该算法的“对数阈值”在类比软阈值的l1处罚。我们建立的收敛结果，并证明对数阈值提供更准确的稀疏重建相比，软和硬阈值。此外，该方法可以直接扩展到优化矩阵的秩惩罚（即核范数惩罚及其重新加权版本），我们建议一个奇异值对数阈值的方法。
2013-12-05 math.OC stat.ML
Variable metric extrapolation proximal iterative hard thresholding method for $\ell_0$ minimization problem
本文考虑目标函数为$\ell_0$ -范数与凸可微函数之和的$\ell_0$极小化问题。将PIHT方法与拟牛顿法的技巧相结合，提出了一种变尺度型方法--变尺度外推邻近迭代硬阈值法（VMEPIHT）。然后在适当的假设下分析了它的收敛性、线性收敛速度和超线性收敛速率。最后，我们对压缩感知问题和CT图像重建问题进行了数值实验，并与其他方法进行了比较，验证了VMPIHT方法的有效性。
2021-08-07 cs.NA math.NA math.OC
Transformed Schatten-1 Iterative Thresholding Algorithms for Low Rank Matrix Completion
研究了一种非凸的低秩提升罚函数--变换的Schatten-1（TS 1）及其在矩阵完备化中的应用。TS 1罚函数作为定义在奇异值上的矩阵拟范数，通过非负参数α对秩和核范数进行插值。我们考虑无约束的TS 1正则化低秩矩阵恢复问题，并发展了一个不动点表示的全局极小。TS 1阈值函数对于所有参数值都是封闭的解析形式。TS 1阈值在次临界（超临界）参数范围内不同，其中TS 1阈值函数是连续的（不连续的）。我们提出了TS 1迭代阈值算法，并将其与矩阵完备测试问题的一些最先进的算法进行了比较。对于已知秩的问题，完全自适应的TS 1迭代阈值算法在不同的条件下始终表现最好，地面真值矩阵是多元高斯在不同的协方差。对于秩未知的问题，TS 1算法与一个额外的秩估计过程接近IRucL-q的水平，IRucL-q是一个迭代重加权算法，非凸的性质和最佳的性能。
2016-10-18 cs.IT math.IT math.OC
Iterative hard-thresholding applied to optimal control problems with $L^0(Ω)$ control cost
我们研究的硬阈值方法适用于最优控制问题的$L^0(Ω)$控制成本，惩罚措施的支持控制。由于底层测度空间是非原子的，$l^2$或$\mathbb R^n$中的收敛性证明的参数不能被应用。然而，我们证明了令人惊讶的性质，目标功能的值是较低的连续沿迭代。也就是说，弱极限点中的函数值小于或等于沿着迭代的函数值的lim-inf。在紧性假设下，我们可以证明弱极限点是强极限点，这使我们能够证明某些平稳性条件的极限点。数值实验表明了该方法的有效性。这表明该方法在离散化方面是稳健的。此外，我们表明，通过阈值算法得到的解决方案优于$L^1(Ω)$正则化问题的解决方案。
2018-06-15 math.OC
Sparse Regularization: Convergence Of Iterative Jumping Thresholding Algorithm
近年来，在稀疏建模的研究中，非凸罚函数由于其在稀疏诱导方面的优势而受到广泛关注。然而，与凸优化方法相比，非凸优化方法的收敛性分析更具挑战性。本文研究了一类具有非凸罚函数的稀疏恢复问题的非凸迭代阈值算法的收敛性，该算法的阈值函数是不连续的，且具有跳跃间断性.因此，我们称该算法为迭代跳跃阈值（IJT）算法。利用这种跳跃间断性，首次证明了IJT算法的有限支撑性和符号收敛性。在引入限制性Kurdyka-Schojasiewicz（rKL）性质的假设下，证明了IJT算法的强收敛性，并在一定条件下证明了IJT算法以渐近线性速度收敛于局部极小点.此外，我们推导出一个后验可计算的误差估计，它可以用来设计实用的终端规则的算法。需要指出的是，$l_q$拟范数（$0<q<1$）是本文所研究的非凸罚函数类的一个重要子类。特别地，当应用于$l_q$正则化时，IJT算法可以在一定的浓度条件下以渐近线性速率收敛到局部极小点。我们还提供了一组模拟来支持理论断言的正确性，并比较IJT算法的$l_{q}$正则化（$q=1/2, 2/3$）与其他已知的典型算法，如迭代加权最小二乘（IRLS）算法和迭代加权$l_{1}$最小化（IRL 1）算法的时间效率。
2015-07-27 math.OC
A scaled, inexact and adaptive Fast Iterative Soft-Thresholding Algorithm for convex image restoration
在这篇文章中，我们考虑了最近在（Rebegoldi，Calatroni，'21）中提出的用于强凸复合优化问题的有效解的缩放的、不精确的和自适应的广义快速迭代软保持算法（SAGE-FISTA）的一个特殊实例。特别是，我们在这里解决的唯一（非强）凸优化的情况下，这是经常遇到的许多成像应用。所提出的不精确S-FISTA算法示出了与（Bonettini，Rebegoldi，Ruggiero，'19）中研究的FISTA的可变度量和不精确版本的类比，主要区别是使用自适应（非单调）回溯策略，允许沿着迭代自动调整算法步长（参见（Scheinberg，Goldfarb，Bai，'14，Calatroni，Chambolle，'19））。给出了函数值依赖于回溯参数和变度量算子谱的上、下界的一个平方收敛结果。电视图像去模糊问题的泊松噪声的实验结果，然后报告的数值验证，显示出提高计算效率和精度。
2021-04-01 math.OC
Proximal Iterative Hard Thresholding Algorithm for Sparse Group $\ell_0$-Regularized Optimization with Box Constraint
本文提出了一种近端迭代硬阈值算法，用于解决带框约束的稀疏组ℓ0正则化优化问题，通过分析τ-stationary点和SO点的关系，建立了方法的全局收敛性并验证了其有效性。
2025-11-25 math.OC
Iterative thresholding algorithm based on non-convex method for modified lp-norm regularization minimization
最近，$ł_{p}$ -范数正则化最小化问题$(P_{p}^λ)$在压缩感知领域引起了极大的关注.然而，问题$(P_{p}^λ)$中的$ł_{p}$ -范数$\|x\|_{p}^{p}$对所有$p\in(0,1)$都是非凸的和非Lipschitz的，目前还没有很多优化理论和方法被提出来解决这个问题.事实上，它对所有$p\in(0,1)$和$λ>0$都是NP难的。本文研究了两个改进的$ł_{p}$正则化极小化问题来逼近NP难问题$(P_{p}^λ)$。受Half算法和$2/3$算法在稀疏信号恢复问题中的良好性能的启发，提出了两种迭代阈值算法，分别用于解决问题$(P_{p,1/2,ε}^λ)$和$(P_{p,2/3,ε}^λ)$。数值结果表明，在某些稀疏信号恢复问题中，对于适当的$p\in(0,1)$，我们的算法可以有效地找到稀疏信号。
2018-04-25 math.OC
Iterative Singular Tube Hard Thresholding Algorithms for Tensor Recovery
本文提出一类基于低管秩张量近似的迭代奇异管硬阈值算法，包括基础、加速确定性和随机版本，用于解决管秩先验已知的低秩张量恢复问题，并提供收敛性保证及在张量压缩感知和彩色图像修复上的实验验证。
2023-12-26 math.OC
Linear Convergence of Adaptively Iterative Thresholding Algorithms for Compressed Sensing
研究了压缩感知中自适应迭代阈值算法的收敛性。我们首先介绍了一个广义的限制等距性质（gRIP）。然后证明了在无噪声情况下，AIT算法在一定的gRIP条件下以线性速度收敛到原始稀疏解。而在有噪声的情况下，它的收敛速度也是线性的，直到达到一定的误差界。此外，作为副产品，我们还提供了一些充分条件的AIT算法的收敛性的基础上的两个众所周知的性质，即，相干性和限制等距性（RIP）。应该指出的是，这两个属性是gRIP的特殊情况。理论结果的坚实的改进被证明，并与已知的结果进行比较。最后，我们提供了一系列的仿真来验证理论断言的正确性以及AIT算法的有效性。
2015-12-16 math.OC
IHT dies hard: Provable accelerated Iterative Hard Thresholding
University of Texas at Austin（德克萨斯大学奥斯汀分校）；IBM T.J. Watson Research Center（IBM 沃森研究中心）
本文研究了在理论和实践中经典迭代硬阈值（IHT）方法中动量运动的使用，通过简单修改普通IHT，探讨了其在具有非凸约束的凸优化标准下的收敛行为，并观察到IHT的加速在投影梯度下降和Frank-Wolfe变体中带来了显著改进。
2019-09-13 cs.DS cs.LG cs.NA
Sample Efficient Stochastic Gradient Iterative Hard Thresholding Method for Stochastic Sparse Linear Regression with Limited Attribute Observation
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们开发了新的随机梯度法，有效地解决稀疏线性回归在部分属性观察设置，学习者只允许观察固定数量的积极选择的属性每个例子在训练和预测时间。结果表明，该方法在特征值约束条件下的误差为$\varepsilon$时，样本复杂度为$O(1/\varepsilon)$，且与现有方法相比，该速率对问题维数有更好的依赖性.特别地，如果最优解的非零分量的最小值不太小，我们提出的{ \it Hybrid}算法的速度可以提高到接近{ \it full information}算法的minimax最优样本复杂度.其核心思想是：（i）通过迭代使用硬阈值算子来配置探索算法，有效地构造无偏梯度估计器;以及（ii）探索和开发算法的自适应组合，用于快速识别最优的支持，并有效地搜索其支持中的最优参数。实验结果验证了我们的理论研究结果和我们提出的方法的优越性。
2018-12-01 cs.LG math.OC stat.ML
Improving "Fast Iterative Shrinkage-Thresholding Algorithm": Faster, Smarter and Greedier
“快速迭代收缩阈值算法”，也称为“快速迭代收缩阈值算法”。FISTA是文献中最著名的一阶优化方案之一，因为它在目标函数值方面实现了最坏情况下的$O(1/k^2)$最优收敛速度。然而，尽管有这样的最佳理论收敛速度，但实际上FISTA的（局部）振荡行为常常抑制其效率。在过去的几年里，各种努力在文献中，以提高FISTA的实际性能，如单调FISTA，重新启动FISTA和回溯策略。在本文中，我们提出了一个简单而有效的修改原始的FISTA计划，它有两个优点：它允许我们1）证明所产生的序列的收敛性; 2）设计一个所谓的“延迟启动”的策略，可以达到一个订单比原计划的速度。此外，通过研究FISTA方案的性质，我们提出了新的自适应和贪婪策略，探讨了算法的极限。所提出的方案的优点进行了测试，通过所产生的问题，从逆问题，机器学习和信号/图像处理。
2021-01-20 math.OC
A fast iterative thresholding and support-and-scale shrinking algorithm (fits3) for non-lipschitz group sparse optimization (i): the case of least-squares fidelity
针对非凸非 Lipschitz 正则化的组稀疏最小二乘问题，提出无需解方程、具备收敛保证的 FITS3，并在保持恢复精度的同时显著降低大规模计算时间。
2025-01-08 math.OC
Dynamic Sample Complexity for Exact Sparse Recovery using Sequential Iterative Hard Thresholding
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
在本文中，我们考虑的问题的精确恢复的一个固定的稀疏向量的测量矩阵顺序到达随着相应的测量。我们提出了一种扩展的迭代硬阈值（IHT）算法，称为顺序IHT（SIHT），它打破了总的时间范围分为几个阶段，使IHT是在这些阶段中的每一个阶段使用一个固定的测量矩阵在该阶段的开始。我们考虑一个随机设置，在每个阶段获得的测量矩阵是一个亚高斯随机矩阵的独立样本。我们证明了，如果一定的动态样本复杂度，取决于在每个阶段的测量矩阵的大小，以及它们的持续时间和相位的数量，满足一定的下限，在一个固定的时间范围内的SIHT的估计误差迅速衰减。有趣的是，这个界限表明，估计误差的衰减的概率几乎不受影响，即使非常小的数量的测量零星地使用在不同的阶段。这一理论观察也证实了使用数值实验表明，SIHT享有改善的恢复概率相比，离线IHT。
2021-02-28 cs.IT cs.LG math.IT
Iterative Soft/Hard Thresholding with Homotopy Continuation for Sparse Recovery
Zhongnan University of Economics and Law（中南财经政法大学）；University College London（伦敦大学学院）；Wuhan University（武汉大学）
本文提出一种结合同伦连续性的迭代软/硬阈值算法，用于在噪声下恢复稀疏信号，通过合适条件实现高精度重构，具有较低的迭代复杂度。
2017-04-11 cs.NA math.NA math.OC
On a generalization of the iterative soft-thresholding algorithm for the case of non-separable penalty
Université Libre de Bruxelles（布鲁塞尔自由大学）
针对非可分ℓ1项，提出一种显式迭代算法，每步仅需四次矩阵向量乘法和一次凸集投影（或阈值化），证明了收敛性并给出1/N收敛率，且能推广至其他非可分凸惩罚。
2011-08-04 cs.NA math.NA math.OC
Minimum $n$-Rank Approximation via Iterative Hard Thresholding
低$n$秩张量的恢复问题是低维空间（矩阵空间）稀疏恢复问题向高维空间（张量空间）的扩展，在图像修复、视频修复等计算机视觉和图形学领域有着广泛的应用。本文考虑了一种新的张量恢复模型--最小$n$ -秩近似（MnRA），并在预先给出$n$ -秩上界的基础上，提出了一种合适的迭代硬阈值算法。最后给出了算法的收敛性分析。特别地，我们证明了对于无噪声的情况，在适当的条件下，该算法可以获得线性收敛率$\frac{1}{2}$。此外，结合一种有效的启发式算法来确定$n$ -rank，当$n$ -rank事先未知时，我们也可以应用该算法求解MnRA。对随机生成和实低$n$秩张量完备化问题的数值结果表明了所提算法的有效性。
2014-04-08 math.OC stat.ML
Iterative Hard Thresholding Methods for $l_0$ Regularized Convex Cone Programming
Simon Fraser University（西蒙弗雷泽大学）；Texas A&M University（得克萨斯农工大学）
提出迭代硬阈值方法及其变体求解 $l_0$ 正则化凸锥规划，证明收敛到局部极小点并建立迭代复杂度。
2012-11-02 cs.LG cs.NA math.NA
Iterative Hard Thresholding with Adaptive Regularization: Sparser Solutions Without Sacrificing Runtime
MIT（麻省理工学院）；Yahoo! Research（雅虎研究院）
我们提出了一个简单的修改迭代硬阈值（IHT）算法，恢复渐近稀疏的解决方案作为条件数的函数。当目标是最小化凸函数$f(x)$，条件数$κ$服从$x$是$s$ -稀疏向量时，标准IHT保证是具有松弛稀疏性$O(sκ^2)$的解，而我们提出的算法正则化IHT返回具有稀疏性$O(sκ)$的解。我们的算法显着提高了ARHT也找到了稀疏$O(sκ)$的解决方案，因为它不需要在每次迭代中重新优化（因此更快），是确定性的，不需要最佳解值$f(x^*)$或最佳稀疏水平$s$的知识。我们的主要技术工具是一个自适应正则化框架，其中算法逐步学习$\ell_2$正则化项的权重，这将允许收敛到稀疏的解决方案。我们还将此框架应用于低秩优化，在那里我们实现了类似的改善，从$κ^2$到$κ$的最知名的条件数依赖。
2022-04-11 cs.DS cs.IT cs.LG
Iterative Thresholding Pursuit with Continuation for $\ell_{1-2}$-Regularized Sparse Recovery
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海智能无人系统研究院）
提出一种结合延续策略的迭代阈值追踪方法（ITP-C），通过 $\ell_{1-2}$ 近端步的主动集识别和受限最小二乘追踪步的二阶更新，实现稀疏信号的高效恢复，并保证收敛性和局部 oracle 性质。
2026-06-04 cs.IT cs.NA math.IT
Newton-Step-Based Hard Thresholding Algorithms for Sparse Signal Recovery
稀疏信号恢复或压缩感知可以用公式表示为某些稀疏最优化问题。经典优化理论表明，在求解非线性最优化问题时，类牛顿法往往比梯度法具有数值优势。在本文中，我们提出了所谓的基于牛顿步的迭代硬阈值（NSIHT）和基于牛顿步的硬阈值追踪（NSHTP）算法的稀疏信号恢复和信号近似。与传统的迭代硬阈值（IHT）和硬阈值追踪（HTP）算法不同，该算法采用牛顿型搜索方向代替最速下降方向。对所提出的算法进行了理论分析，建立了保证这些算法能够成功恢复稀疏信号的充分条件。我们的结果下显示的限制等距属性，这是一个标准的假设，广泛应用于压缩感知和信号逼近领域。实验结果表明，该算法是一种有效的信号恢复方法。我们的算法的数值稳定性方面的残留减少也通过模拟研究。
2020-01-20 math.OC
On Asymptotic Linear Convergence Rate of Iterative Hard Thresholding for Matrix Completion
在过去的几十年里，迭代硬阈值（IHT）在大规模优化中越来越受欢迎。然而，这种方法的收敛性能最近才被探索在非凸设置。在矩阵完备化中，现有的工作主要集中在通过非相干性和均匀采样等标准假设来保证IHT的整体收敛。虽然这样的分析提供了一个全局上界的线性收敛速率，它并没有描述在实践中的IHT的实际性能。在本文中，我们提供了一个新的见解的局部收敛的一个特定的变种IHT矩阵完成。我们揭示了精确的线性速率的IHT在一个封闭形式的表达，并确定该算法是保证收敛的收敛区域。此外，我们利用随机矩阵理论研究了IHTSVD在大规模矩阵完备化问题上的线性收敛速率。我们发现，渐近，率可以表示在封闭的形式的相对秩和采样率。最后，我们提出了各种数值结果来验证上述理论分析。
2022-04-27 cs.IT math.IT math.OC
Projected Iterative Soft-thresholding Algorithm for Tight Frames in Compressed Sensing Magnetic Resonance Imaging
Xiamen University（厦门大学）；University of Iowa（爱荷华大学）；Xiamen University of Technology（厦门理工学院）
压缩感知技术在加速磁共振成像中显示出巨大的潜力。快速图像重建和高质量图像是这一新技术面临的两个主要问题。已经表明，冗余图像表示，例如紧帧，可以显著提高图像质量。但是如何有效地解决这些冗余表示系统的重建问题仍然是一个挑战。本文试图解决的问题，应用迭代软阈值算法（ISTA）的紧帧的磁共振图像重建。通过引入规范对偶框架来构造分析稀疏算子范围上的正交投影算子，提出了一种投影迭代软阈值算法（pISTA），并结合Beck和Teboulle在2009年提出的策略进一步加速该算法.我们从理论上证明了pISTA收敛到一个平衡的紧框架稀疏的函数的最小值。实验结果表明，该算法比目前广泛使用的合成稀疏模型重建效果更好，加速后的pISTA算法收敛速度更快，甚至可以与最先进的平滑FISTA算法相媲美。pISTA的一个主要优点是仅引入了一个额外的参数，即步长，并且数值解在图像重建误差方面对它是稳定的，从而允许在许多快速磁共振成像应用中容易地设置。
2015-10-03 cs.CV math.OC physics.med-ph
Iterative thresholding meets free discontinuity problems
Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences（奥地利科学院约翰·拉顿计算与应用数学研究所）；Program in Applied and Computational Mathematics, Princeton University（普林斯顿大学应用与计算数学项目）
本文探索了稀疏恢复中的迭代阈值算法与离散自由间断问题之间的联系，并建立了一种用于求解离散自由间断问题的迭代阈值算法，提供了关于极小化解性质的新见解。
2009-04-28 cs.NA math.FA math.NA
An Extension of Fast Iterative Shrinkage-thresholding to Riemannian Optimization for Sparse Principal Component Analysis
稀疏主成分分析（PCA）是PCA的一个重要变体，它试图在进行降维时找到稀疏的负载向量。本文考虑了与ScoTLASS模型相关的非光滑黎曼最优化问题，该模型可以同时施加正交性和稀疏性。Chen等人的工作中提出了一种黎曼近似方法，用于有效地解决这个最优化问题。本文介绍了两种加速方案。首先，我们将FISTA方法从欧几里得空间推广到黎曼流形上求解稀疏PCA，得到了加速的黎曼邻近梯度法。由于稀疏PCA的黎曼最优化问题本质上是非凸的，采用重新启动技术来稳定加速方法，而不牺牲快速收敛。其次，对黎曼近似子问题提出了一个对角预条件子，进一步加快了黎曼近似方法的收敛速度。数值计算结果表明，所提出的方法比现有的流形上的近端梯度法具有计算优势。此外，还建立了一个关于序列的黎曼次梯度收敛性的简短结果，该结果与Chen等人的结果一起，可以证明黎曼逼近方法的稳定点收敛性。
2021-09-02 math.OC
Consecutive Support Matching Induced Parameter Tuning Accelerates Momentum Iterative Hard Thresholding
IIT (ISM) Dhanbad（印度矿业大学）；Techno Bengal Institute of Technology（泰格博加尔理工学院）
提出CosMIHT算法，通过自适应规则在支持发现阶段使用保守参数，在支持锁定后利用轻量级幂法估计特征值并切换最优重球参数，实现快速收敛，理论证明了两阶段收敛性，实验验证了其优越性。
2026-06-08 cs.IT math.IT math.OC
Thresholding gradient methods in Hilbert spaces: support identification and linear convergence
研究了可分希尔伯特空间中的$\ell^1$正则化最小二乘最优化问题。我们表明，迭代软阈值算法（ISTA）的线性收敛，而不作任何假设的线性算子发挥或对问题。结合两个关键概念得到的结果：扩展支持的概念，一个有限集包含的支持，和有限维集的条件的概念。我们证明了ISTA在有限次迭代后识别解的扩展支持，并且我们从条件性质中推导出线性收敛，对于$\ell^1$正则化最小二乘问题，该条件性质总是满足的。我们的分析扩展到整个类的阈值梯度算法，我们提供了一个概念上新的强收敛性证明，以及收敛速度。
2017-12-01 math.OC
Riemannian thresholding methods for row-sparse and low-rank matrix recovery
在本文中，我们提出了修改的迭代硬阈值（IHT）方法恢复联合行稀疏和低秩矩阵。特别是一个黎曼版本的IHT被认为是显着降低计算成本的梯度投影的情况下，秩一测量算子，这在盲反卷积的具体应用。实验结果表明，高斯和秩一测量接近最佳的恢复，自适应步长提供了至关重要的改善。对于稀疏性未知的特殊情况，导出了一种黎曼近似梯度法.
2022-09-30 cs.NA math.NA math.OC
Distributed soft thresholding for sparse signal recovery
在本文中，我们解决的问题，通过压缩测量传感器网络中获得的信号的分布式稀疏恢复。我们提出了一类新的分布式算法来解决Lasso回归问题，当与融合中心的通信是不可能的，例如，由于通信成本或隐私原因。更确切地说，我们介绍了一个分布式迭代软阈值算法（DISTA），由三个步骤组成：平均步骤，梯度步骤，和软阈值操作。我们证明了DISTA的收敛性，在网络中表示的规则图，我们比较它与现有的方法在性能，内存和复杂性。
2013-10-14 cs.DC cs.IT math.IT
Sparse Portfolio Selection via Non-convex Fraction Function
本文研究了具有卖空约束和不具有卖空约束的稀疏投资组合选择模型中的连续非凸提升稀疏分数函数。首先，我们研究了问题$(FP_{a,λ,η})$的最优解的性质，包括一阶和二阶最优性条件以及非零项绝对值的上下界。其次，我们发展了问题$(FP_{a,λ,η})$的阈值表示论。在此基础上，证明了$P_{a}(x)$的梯度预解算子的存在性，计算了其解析表达式，并提出了求解$(FP_{a,λ,η})$的迭代分数惩罚阈值算法（IFPT）.此外，我们还证明了正则化参数$λ>0$的值不能选择太大。实际上，存在$\barλ>0$，使得对于任何$λ>\barλ$，问题$(FP_{a,λ,η})$的最优解等于零。最后，受问题$(FP_{a,λ,η})$的阈值表示论的启发，我们提出了一种求解问题$(FP_{a,λ,η}^{\geq})$的迭代非负分数惩罚阈值（INFPT）算法。实证结果表明，我们的方法，对于一些适当的$a>0$，执行有效的找到稀疏的投资组合的权重有和没有卖空的限制。
2018-01-28 math.OC
A Guaranteed Convergence Analysis for the Projected Fast Iterative Soft-Thresholding Algorithm in Parallel MRI
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）；Neusoft Medical System（东软医疗系统）
非均匀采样和压缩感知技术的兴起极大地解决了磁共振成像中数据采集时间过长的问题。稀疏重建由于其快速的计算速度和良好的性能，吸引了研究人员的大量努力，并已被用于商业扫描仪。在进行稀疏重建时，选择合适的算法是获得满意结果和节省参数调整时间的关键。pFISTA是一种简单有效的稀疏重建算法，已成功地扩展到并行成像。然而，它的收敛性标准仍然是一个悬而未决的问题。现有的单线圈pFISTA的收敛标准不能应用于并行成像pFISTA，因此，这给用户确定唯一的参数-步长带来了困惑和困难。在这项工作中，我们提供了保证收敛分析的并行成像版本pFISTA解决两个著名的并行成像重建模型，SENSE和SPIRiT。随着收敛分析，我们提供了建议的SENSE和SPIRiT重建的步长值，以获得快速和有前途的重建。在活体脑图像上的实验证明了收敛准则的有效性。此外，实验结果表明，与使用回溯和幂迭代确定步长相比，在大多数测试情况下，我们推荐的步长在重建时间上实现了5倍以上的加速。
2020-08-04 cs.CV eess.IV math.OC
Image Deconvolution Under Poisson Noise Using Sparse Representations and Proximal Thresholding Iteration
提出了一种受泊松噪声污染的图像反卷积算法。要恢复的图像被假定为稀疏地表示在诸如小波或曲波变换的波形字典中。我们的主要创新是：首先，我们适当地处理泊松噪声，通过使用Anscombe方差稳定变换导致加性高斯噪声的非线性退化方程。其次，反卷积问题被公式化为最小化的凸泛函与反映噪声属性的数据保真度项，和一个非光滑的稀疏促进处罚的图像表示系数（例如，l1-范数）。第三，提出了一种快速迭代的向后-向前分裂算法来求解最小化问题。我们得到了解的存在唯一性条件，并建立了迭代算法的收敛性。实验结果表明，考虑到泊松统计的噪声所获得的显着的好处。这些结果还表明，在许多反卷积应用中，例如天文学或显微镜，使用稀疏域正则化可能是易于处理的。
2008-03-18 math.OC math.ST stat.TH
Nonconvex Sorted $\ell_1$ Minimization for Sparse Approximation
$\ell_1$范数是$\ell_0$ "范数"的紧凸松弛，并且已经成功地应用于恢复稀疏信号。对于采样较少的问题，需要通过非凸惩罚（例如$\ell_p$ "norm"）来增强稀疏性。作为用于求解$\ell_p$最小化问题的一种方法，迭代地重新加权的$\ell_1$最小化基于相同分量在先前迭代处的值来更新每个分量的权重。它为幅度小的分量分配大的权重，为幅度大的分量分配小的权重。在本文中，我们考虑一个加权的$\ell_1$惩罚与固定的权重集和权重分配的基础上的所有组件的大小排序。最小的权重被分配给幅度最大的分量。这种新的惩罚被称为非凸排序$\ell_1$。然后提出了两种求解非凸排序$\ell_1$极小化问题的方法：迭代加权$\ell_1$极小化和迭代排序阈值法，并证明了这两种方法都能收敛于局部最优值.我们还表明，这两种方法分别是迭代支持检测和迭代硬阈值的推广。数值实验表明，更好的性能分配权重排序相比，$\ell_p$最小化。
2014-09-29 math.OC
An iterative algorithm for the square-root Lasso
本文针对线性逆问题中的平方根Lasso，提出ISTA的修改版SQRT-ISTA算法，证明其收敛性并给出速率上界，且推广至组平方根Lasso。
2025-10-28 math.OC
Gradient Properties of Hard Thresholding Operator
稀疏优化在许多应用中受到越来越多的关注，例如压缩感知，回归问题中的变量选择，以及最近的机器学习中的神经网络压缩。例如，压缩神经网络的问题是一个双层的、随机的、非凸的问题，可以转化为稀疏的最优化问题。因此，开发有效的稀疏优化方法在应用中起着至关重要的作用。本文的目标是开发一般的，大规模的稀疏最优化问题使用硬阈值算子的分析技术。为此，我们研究了迭代硬阈值（IHT）算法，这已被广泛研究的文献中，因为它是可扩展的，快速的，易于实现。尽管广泛的研究IHT计划，我们开发了几个新的技术，不仅恢复了许多已知的结果，但也导致新的结果。具体来说，我们首先建立一个新的和关键的梯度下降性质的硬阈值（HT）算子。我们的梯度下降结果可以与稀疏点之间的距离相关。此外，我们的梯度下降性质允许研究的IHT时，步长小于或等于1/L，其中L>0是一个目标函数的梯度的Lipschitz常数。注意，文献中的现有技术只能处理步长严格小于1/L的情况。利用这一点，我们引入并研究了HT-稳定和HT-不稳定的平稳点，证明了无论初始值多么接近HT-不稳定的平稳点（稀疏意义下的鞍点），IHT序列都将离开该平稳点，最后证明了当HT-稳定的平稳点上的函数值不同时，无论选取何种稀疏的初始点，IHT序列都是收敛的.
2022-09-28 math.OC
A Gradient-thresholding Algorithm for Sparse Regularization
本文提出一种新的梯度阈值（半）迭代正则化方法，用于求解稀疏正则化反问题，并给出实用停止准则，在图像去模糊实验中相比全变分、FISTA、LSQR等方法获得更高精度和稀疏性。
2025-05-09 cs.NA math.NA math.OC
A Unifying Analysis of Projected Gradient Descent for $\ell_p$-constrained Least Squares
Carnegie Mellon University（卡内基梅隆大学）
本文利用受限等距性质，分析了投影梯度下降法在压缩感知框架下 $\ell_p$ 约束最小二乘问题中的收敛性，统一并推广了迭代硬阈值和软阈值算法的结果，揭示了随 $p$ 增大条件变严、鲁棒性下降的规律。
2012-06-26 cs.IT cs.NA math.IT
