Robust 1-bit Compressed Sensing with Iterative Hard Thresholding
University of California San Diego（加州大学圣地亚哥分校）
本文研究1比特压缩感知中的噪声鲁棒性，证明BIHT算法在对抗性符号翻转下，以相同测量数实现$\tilde{O}(\epsilon+\tau)$误差，保持通用性，确立了迭代硬阈值的稳定性。
2023-10-12 cs.DS cs.IT cs.LG
Provable Inductive Robust PCA via Iterative Hard Thresholding
Microsoft Corporation（微软公司）；Conduent Labs India（Conduent印度实验室）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of California Irvine（加利福尼亚大学尔湾分校）；Xerox Research Centre India（施乐印度研究中心）
鲁棒PCA问题是机器学习中的一个研究得很好的问题，其中，给定的输入数据矩阵是低秩矩阵和稀疏矩阵的叠加，我们的目标是分离出低秩和稀疏分量。一个自然出现的问题是，就像在归纳设置中一样，如果特征也作为输入提供，我们还能希望做得更好吗？在肯定这一点的同时，本文的主要目标是研究鲁棒PCA问题，同时将特征信息。在以前的作品中，恢复保证是基于凸松弛的问题，我们提出了一个简单的迭代算法的基础上硬阈值适当的残差。在较弱的假设条件下，证明了迭代过程的全局收敛性，并且具有更快的收敛速度和更小的每次迭代的计算复杂性.在实践中，通过系统的合成和真实数据模拟，我们证实了我们的理论研究结果，通过使用特征信息获得的改进。
2017-07-04 cs.IT cs.LG math.IT
On the Role of Normalization in Binary Iterative Hard Thresholding for 1-bit Compressed Sensing
UC San Diego（加州大学圣迭戈分校）
研究1比特压缩感知中二进制迭代硬阈值处理（BIHT）算法，证明无噪声时原始BIHT算法有通用样本最优收敛定理，符号损坏时未归一化的BIHT能达鲁棒误差下限但不稳定，刻画了每次迭代归一化在算法上的必要性。
2026-10-30 cs.DS cs.IT math.IT
Adaptive Iterative Soft-Thresholding Algorithm with the Median Absolute Deviation
本文对基于中位数绝对偏差估计噪声水平的自适应 ISTA 进行了理论分析，证明了其不动点的尺度等变性、非唯一性、局部稳定性以及局部线性收敛和全局收敛性质。
2025-07-02 cs.LG eess.SP stat.ML
Smooth blockwise iterative thresholding: a smooth fixed point estimator based on the likelihood's block gradient
提出的平滑分块迭代阈值估计（SBITE）是一种模型选择技术，定义为通过迭代基于似然梯度的阈值函数达到的固定点。平滑James-Stein阈值函数具有两个正则化参数$λ$和$ν$，以及平滑参数$s$。它像岭回归一样平滑，像套索一样选择变量。重点高斯回归，我们表明，SBITE是唯一定义的，其Stein无偏风险估计是一个光滑的函数的$λ$和$ν$，更好地选择两个正则化参数。我们进行了蒙特卡罗模拟，调查的预测和预言性能的平滑版本的自适应套索。动机是从几个相伴的时间序列中探测引力波爆发。一个非参数的小波基估计器的开发，结合信息从所有的捕获块阈值多分辨率系数。我们研究了光滑参数$s$如何缓和风险估计的不确定性，并在此规范设置下导出了一个通用的阈值，一个信息准则和一个预言不等式。
2011-10-05 stat.ME
An iterative hard thresholding estimator for low rank matrix recovery with explicit limiting distribution
我们考虑随机噪声高维背景下的低秩矩阵恢复问题。我们提出了一种新的估计的低秩矩阵，基于迭代硬阈值方法，这是计算效率和简单。我们证明了我们的估计是有效的，无论是在Frobenius风险，并在条目明智的风险一致的任何变化的规范正交基。这个结果允许我们，在设计是高斯的情况下，提供的估计，这是非常感兴趣的低维子集的条目的低秩矩阵的构造测试和置信度集的限制分布。
2016-03-01 math.ST stat.TH
Matrix completion by singular value thresholding: sharp bounds
我们考虑矩阵完备化问题，其目的是估计一个大的数据矩阵，只有一个相对较小的随机子集的条目被观察到。迭代阈值法是解决矩阵完备化问题的常用方法。尽管他们的经验成功，这种迭代阈值方法的理论保证知之甚少。本文的目的是为一种迭代阈值算法提供强有力的理论保证，该算法是对softImpute算法的一种改进，类似于核范数惩罚法和一步阈值法。我们的结果的一个重要结果是矩阵完备化问题的精确极小极大最优收敛速度，直到我们只知道一个对数因子。
2015-01-31 math.ST stat.TH
Sparse principal component analysis and iterative thresholding
主成分分析（PCA）是一种经典的降维方法，它将数据投影到由协方差阵的前导特征向量所构成的主子空间上。然而，当特征数量p与样本量n相当或甚至比其大得多时，其表现较差。在本文中，我们提出了一个新的迭代阈值方法估计主子空间的设置中的领导特征向量稀疏。在尖峰协方差模型下，我们发现新方法在一系列高维稀疏设置中一致地恢复了主子空间和前导特征向量，甚至是最优的。仿真算例也证明了该算法的优越性。
2013-05-24 math.ST stat.ME stat.TH
Intelligent Initialization and Adaptive Thresholding for Iterative Matrix Completion; Some Statistical and Algorithmic Theory for Adaptive-Impute
在过去的十年中，已经开发了各种矩阵完成算法。奇异值分解（SVD）是一种流行的技术，在实现其中的许多。大量的研究已经表明了它的理论和实证优势，但选择正确的阈值水平仍然是一个关键的实证困难。本文提出了一种新的矩阵完备化算法，该算法迭代阈值SVD与理论证明和数据依赖的阈值参数的值。所提出的算法的估计享有极大极小错误率，并显示出突出的经验性能。我们使用的阈值方案可以被看作是一个非凸优化问题的解决方案，其理论收敛保证的理解是有限的。我们研究这个问题，通过引入一个更简单的算法，广义- \SI，分析其收敛行为，并将其连接到所提出的算法。
2016-05-07 stat.ME
On Iterative Hard Thresholding Methods for High-dimensional M-Estimation
Microsoft Research（微软研究院）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
在高维广义线性回归模型中使用M-估计需要在硬$L_0$约束下风险最小化。在已知的方法中，已知投影梯度下降（也称为迭代硬阈值（IHT））方法类提供最快和最可扩展的解决方案。然而，目前的国家的最先进的是只能分析这些方法在非常严格的设置，不持有在高维统计模型。在这项工作中，我们弥合了这一差距，提供了第一个分析的IHT式的方法在高维统计设置。我们的边界是紧的，并匹配已知的极大极小下界。我们的结果依赖于一个通用分析框架，该框架使我们能够在高维回归设置中分析几种流行的硬阈值风格算法（例如HTP、CoSaMP、SP）。我们还扩展我们的分析，以一个大家庭的“完全纠正的方法”，包括两个阶段和部分硬阈值算法。我们表明，我们的结果举行的稀疏回归问题，以及低秩矩阵恢复。
2014-10-21 cs.LG stat.ML
Distributed Iterative Hard Thresholding for Variable Selection in Tobit Models
本文针对高维左删失数据下的Tobit模型变量选择问题，提出基于迭代硬阈值（IHT）的估计方法，并将其扩展至低通信轮数的分布式环境，理论和实验均验证了其在预测与变量选择上的优越性。
2024-05-04 stat.ME
Accurate Prediction of Phase Transitions in Compressed Sensing via a Connection to Minimax Denoising
压缩感知假设，在一定范围内，人们可以对稀疏信号进行欠采样，但仍能准确地重建它。了解这种欠采样的精确限制对于理论和实践都很重要。我们提出了一个公式，广义稀疏对象的特征允许欠采样。该公式适用于压缩感知的近似消息传递（AMP）算法，在这里推广到采用除传统的标量软阈值去噪算子。本文给出了几个例子，包括标量降噪不来自凸惩罚-公司收缩非线性和极大极小非线性-和非标量降噪-块阈值，单调回归，总变差最小化。令变量eps = k/N和delta = n/N表示用于根据y=Ax_0对k-广义稀疏N-向量x_0进行采样的广义稀疏度和欠采样分数。这里A是n \times N测量矩阵，其条目是iid标准高斯。该公式指出，区分AMP对x_0的成功重建与不成功重建的相变曲线delta = delta（eps）由下式给出：|降噪器），其中M（eps| Denoiser）表示直接观察问题y = x + z中指定的最佳调谐去噪器的每坐标最小最大均方误差（MSE）。简而言之，无噪声欠采样问题的相变与去噪问题中的极小极大MSE相同。
2013-01-08 cs.IT math.IT math.ST
Minimum $n$-Rank Approximation via Iterative Hard Thresholding
低$n$秩张量的恢复问题是低维空间（矩阵空间）稀疏恢复问题向高维空间（张量空间）的扩展，在图像修复、视频修复等计算机视觉和图形学领域有着广泛的应用。本文考虑了一种新的张量恢复模型--最小$n$ -秩近似（MnRA），并在预先给出$n$ -秩上界的基础上，提出了一种合适的迭代硬阈值算法。最后给出了算法的收敛性分析。特别地，我们证明了对于无噪声的情况，在适当的条件下，该算法可以获得线性收敛率$\frac{1}{2}$。此外，结合一种有效的启发式算法来确定$n$ -rank，当$n$ -rank事先未知时，我们也可以应用该算法求解MnRA。对随机生成和实低$n$秩张量完备化问题的数值结果表明了所提算法的有效性。
2014-04-08 math.OC stat.ML
Compressed matched filter for non-Gaussian noise
本文考虑非高斯噪声下线性模型中确定性未知参数向量的估计问题。在高斯情况下，经由线性匹配滤波器的降维提供了简单的低维充分统计量，其可以容易地传送和/或存储以用于将来的推断。在一般的非高斯情况下，这样的统计量通常是未知的。相反，我们提出了一个混合匹配滤波器加上一个随机压缩感知过程，它们一起创建一个低维统计。我们还推导出一个互补的算法，强大的重建给出这个统计。我们的恢复方法是基于快速迭代收缩和阈值算法，用于离群拒绝给定的压缩数据。我们证明了所提出的框架的优点，使用合成模拟。
2013-11-03 stat.AP
Group Iterative Spectrum Thresholding for Super-Resolution Sparse Spectral Selection
最近，提出了基于稀疏性的超分辨率谱估计算法。然而，为了在现实世界的信号分析中实现足够高的分辨率，字典原子必须在频率上彼此接近，从而导致相干设计。目前流行的凸压缩感知方法在高相干性和大噪声的情况下失效。我们提出了一种新的正则化方法来处理模型的共线性，同时获得简约的频率选择。它利用了频率字典中正弦和余弦原子的配对结构。概率谱筛选也被开发用于高维快速计算。使用高维贝叶斯信息准则的数据重采样版本来确定正则化参数。实验结果表明，该算法在小样本量、高频率分辨率和低信噪比的情况下具有良好的性能和效率。
2013-07-29 stat.ML
Compressed Newton-direction-based Thresholding Methods for Sparse Optimization Problems
针对稀疏优化阈值算法的搜索方向计算问题，提出基于压缩牛顿方向的两类阈值追踪算法，在限制等距性质下证明全局收敛，实验性能与前沿方法相当。
2025-10-06 cs.IT math.IT
Understanding the Learned Iterative Soft Thresholding Algorithm with matrix factorization
稀疏编码是许多数据分析和机器学习管道中的核心构建块。通常，它通过依赖于通用优化技术来解决，例如迭代软阈值保持算法及其加速版本（ISTA，FISTA）。这些方法在非光滑凸函数的一阶方法中是最优的。然而，他们没有利用手头的问题的特定结构，也没有输入数据分布。Gregor和Le Cun（2010）提出了一种使用神经网络的加速方法，称为LISTA，该方法经验性地表明，通过适当修改邻近分裂的参数，可以用很少的迭代次数实现高质量的估计。在本文中，我们研究这种加速的原因。我们的数学分析表明，这是一个特定的矩阵因式分解的Gram内核的字典，试图近对角化的内核与基础，产生一个小扰动的$\ell_1$球。当这种因式分解成功，我们证明了所得到的分裂算法享有一个改进的收敛界相对于非自适应版本。此外，我们的分析还表明，加速的条件主要发生在迭代过程的开始，与数值实验一致。我们进一步验证了我们的分析表明，字典这种分解不存在，自适应加速失败。
2017-06-02 stat.ML
Stability and Risk Bounds of Iterative Hard Thresholding
Baidu Research（百度研究院）
本文分析了广泛应用于稀疏恢复问题的迭代硬保偏（IHT）算法的推广性能。IHT的参数估计和稀疏恢复的一致性在压缩感知中早已为人所知。从统计学习的角度来看，另一个基本问题是IHT估计对未知数据的预测效果如何。本文在算法稳定性的概念下，通过引入一种新的IHT稀疏推广理论，对这个开放性问题做出了回答。我们的理论表明：1）在自然条件下，在$n$样本上的经验风险函数上，具有稀疏水平$k$的IHT在稀疏超额风险下具有$\mathcal{\tilde O}(n^{-1/2}\sqrt{k\log(n)\log(p)})$收敛速度，2）通过对假设的IHT过程施加额外的迭代稳定性条件，可以建立更紧的$\mathcal{\tilde O}(n^{-1/2}\sqrt{\log(n)})$界; 3）在适当的强信号条件下，强凸风险函数的$\mathcal{\tilde O}\left(n^{-1}k(\log^3(n)+\log(p))\right)$阶的快速收敛性.结果已被证实为稀疏线性回归和稀疏逻辑斯谛回归模型，以证明我们的理论的适用性。初步的数值证据证实了我们的理论预测。
2022-03-17 cs.LG eess.SP stat.ML
Dual Iterative Hard Thresholding: From Non-convex Sparse Minimization to Non-smooth Concave Maximization
Rutgers University（罗格斯大学）；Nanjing University of Information Science & Technology（南京信息工程大学）
迭代硬约束保持（IHT）是一类用于优化稀疏约束最小化模型的投影梯度下降方法，具有最好的效率和可扩展性。据我们所知，现有的IHT风格的方法被设计为原始形式的稀疏最小化。它仍然开放，探索对偶理论和算法在这样一个非凸和NP-难的问题设置。在本文中，我们建立了一个对偶理论的稀疏约束最小化与$\ell_2$正则化损失函数，并提出了一个IHT风格的算法对偶最大化。我们的稀疏对偶理论提供了一组充分和必要的条件下，原来的NP-难/非凸问题可以等价地解决在一个对偶制定。提出的对偶IHT算法是一种最大化非光滑对偶目标的超梯度算法。一个有趣的发现是，双IHT的稀疏恢复性能是不变的限制等距属性（RIP），这是所需的几乎所有现有的原始IHT算法没有稀疏松弛。此外，提出了一种随机变形的对偶IHT的大规模随机优化。数值结果表明，双重IHT算法的优越性，最先进的原始IHT风格的算法在模型估计精度和计算效率。
2017-06-21 cs.LG stat.ML
Sparse Convex Optimization via Adaptively Regularized Hard Thresholding
MIT（麻省理工学院）；Yahoo! Research（雅虎研究院）
稀疏凸优化的目标是在稀疏性约束$s\leq s^*γ$下优化凸函数$f$，其中$s^*$是可行解（稀疏性）中非零条目的目标数量，$γ\geq 1$是近似因子。已经有大量的工作来分析各种算法（LASSO，正交匹配追踪（OMP），迭代硬保序（IHT））的稀疏性保证的限制条件数$κ$。最著名的算法保证找到具有$γ= O\left(κ\min\left\{\log \frac{f(x^0)-f(x^*)}ε, κ\right\}\right)$的稀疏界的值$f(x^*)+ε$的近似解，其中$x^*$是目标解。我们提出了一个新的自适应正则化硬约束保持（ARHT）算法，使这个问题上的显着进展，使约束下降到$γ=O(κ)$，这已被证明是紧的一般类算法，包括LASSO，OMP，和IHT。与已知的最快算法相比，这是在没有显著牺牲运行时效率的情况下实现的。我们还提供了一个新的分析OMP与替换（OMPR）一般$f$，条件$s > s^* \frac{κ^2}{4}$下，这会产生压缩感知下的限制等距属性（RIP）的界限。当与其他压缩感知方法相比时，它具有在RIP条件和解稀疏性之间提供强折衷的优点，同时适用于满足RIP条件的任何通用函数$f$。
2020-06-25 cs.DS cs.LG stat.ML
Iterative Thresholding Algorithm for Sparse Inverse Covariance Estimation
Stanford University（斯坦福大学）；Rice University（莱斯大学）
L1-正则化极大似然估计问题最近成为机器学习、统计学和优化界非常感兴趣的话题，作为产生稀疏逆协方差估计的方法。本文提出了一种L1正则化协方差阵估计的近似梯度法（G-ISTA）。虽然已经提出了许多算法来解决这个问题，这个简单的近似梯度法被发现有吸引力的理论和数值特性。G-ISTA具有线性收敛速度，导致O（log e）迭代复杂度达到容差e。本文给出了G-ISTA迭代的特征值界，给出了一个封闭形式的线性收敛速度。该速率与最优点的条件数密切相关。数值收敛结果和所提出的方法的时间比较。G-ISTA表现非常好，特别是当最佳点条件良好时。
2012-11-27 cs.LG stat.CO stat.ML
Analysis of Hard-Thresholding for Distributed Compressed Sensing with One-Bit Measurements
一个简单的硬阈值操作被证明能够恢复$L$信号$\mathbf{x}_1,...,\mathbf{x}_L \in \mathbb{R}^n$，共享一个共同的支持的大小$s$从$m = \mathcal{O}(s)$一位测量每个信号，如果$L \ge \log(en/s)$。该结果改进了具有$m = \mathcal{O}(s\log(en/s))$测量的单个信号恢复界限，在这个意义上，每个非零条目需要渐近更少的测量。数值证据支持理论上的考虑。
2018-09-17 cs.IT math.IT
Compressed Sensing over $\ell_p$-balls: Minimax Mean Square Error
我们考虑压缩感知问题，其中对象$x_0 \in \bR^N$是从不完整的测量值$y = Ax_0 + z$中恢复的;这里的感知矩阵$A$是具有iid高斯条目和$n < N$的$n \times N$随机矩阵。一种流行的稀疏性提升重建方法是$\ell^1$ -惩罚最小二乘重建（又名LASSO，基追踪）。目前流行考虑严格稀疏模型，其中对象$x_0$仅在一小部分条目中为非零。在本文中，我们反而考虑更广泛适用的$\ell_p$稀疏模型，其中$x_0$是稀疏的意义上有$\ell_p$范数有界的$ξ\cdot N^{1/p}$为一些固定的$0 < p \leq 1$和$ξ> 0$。我们研究的渐近制度，其中$n$和$N$都趋于无穷大的限制比$n/N = δ\in (0,1)$，无论是在嘈杂（$z \neq 0$）和无噪声（$z=0$）的情况下。在$x_0$的弱假设下，我们能够精确地评估$\ell^1$惩罚最小二乘的最坏情况下的渐近最小最大均方重建误差（AMSE）：最小值超过惩罚参数，最大值超过$\ell_p$ -稀疏对象$x_0$。我们展示了渐近最不利的对象（最难稀疏信号恢复）和最大最小惩罚。我们的显式公式出乎意料地涉及统计决策理论中出现的经典数量。在本设置中，它们反映了惩罚的$\ell^1$最小化和标量软阈值之间更深的联系。这种连接，遵循从早期的工作的作者和合作者的AMP迭代阈值算法，仔细解释…
2011-03-24 cs.IT math.IT math.ST
A new inexact iterative hard thresholding algorithm for compressed sensing
压缩感知（CS）表明，可以使用低于奈奎斯特速率的低速率采集过程来采集稀疏或可压缩信号，该过程将信号投影到与稀疏基不相干的一小组向量上。在本文中，我们提出了一个新的框架，压缩感知恢复问题使用迭代逼近方法通过L0最小化。而不是直接解决无约束的L0范数优化问题，我们使用线性化和邻近点技术来近似罚函数在每次迭代。该算法简单、有效，并证明了算法的收敛性.数值仿真验证了我们的结论，并表明该算法可以提高重建质量。
2014-02-24 cs.IT math.IT
Data-Time Tradeoffs for Optimal k-Thresholding Algorithms in Compressed Sensing
最优$k$ -阈值算法是一类$k$ -稀疏信号恢复算法，它克服了传统硬阈值算法由于残差函数振荡而导致的缺陷。本文对最优$k$ -阈值算法进行了新的收敛性分析，揭示了这些算法的数据-时间权衡。分析和数值结果都表明，当测量数较小时，算法不能收敛;当测量数较大时，成功恢复所需的迭代次数与测量数成负相关，算法可以实现线性收敛.此外，主要的定理表明，成功恢复所需的测量的数量级为$k \log({n}/{k})$，其中$n$是目标信号的维数。
2022-06-19 cs.IT math.IT
Analysis of Optimal Thresholding Algorithms for Compressed Sensing
最优$k$ -阈值追踪（OT）和最优$k$ -阈值追踪（OTP）是新近提出的用于压缩感知和信号逼近的阈值技术框架。这种框架激发了称为松弛最优$k$ -阈值（$\textrm{ROT}ω$）和松弛最优$k$ -阈值追踪（$\textrm{ROTP}ω$）的实用且有效的算法，其通过OT和OTP的最紧凸松弛来开发，其中$ω$是规定的整数。在\cite{Z19}中展示的初步数值结果表明，这些方法可以稳定地重建具有宽范围稀疏水平的信号。然而，这些算法与参数$ ω\geq 2 $的保证性能尚未建立在\cite{Z19}。本文的目的是显示OT和OTP的保证性能方面的限制等距属性（RIP）的感知矩阵管理的$k$ -稀疏信号恢复的近最优阶，并建立第一个保证性能的结果$\textrm{ROT}ω$和$\textrm{ROTP}ω$与$ ω\geq 2.$在同一时间，我们提供了一个数值比较ROTP $ω$和几个现有的阈值方法。
2020-12-19 cs.IT math.IT math.OC
Subspace Thresholding Pursuit: A Reconstruction Algorithm for Compressed Sensing
提出了一种新的迭代贪心算法，用于压缩感知中稀疏信号的重构。该算法称为\emph{subspace thresholding pursuit}（STP），本文中，是一个简单的子空间追求和迭代硬阈值的组合。首先，STP在约束等距性方面具有与$\ell_1$极小化相当的理论保证。其次，通过调整参数，一方面，在重构高斯信号时，该算法的性能大大优于其他现有的重构算法;另一方面，在重构具有随机符号的等幅信号时，该算法的性能优于其他现有的迭代贪心算法，在欠采样率不是很大的情况下，该算法的性能甚至优于$\ell_1$最小化算法。此外，我们提出了一个简单而有效的方法，以提高经验性能进一步，如果欠采样率是大的。最后，通过借鉴STP的思想，证明了其他迭代贪心算法可以提高其经验性能。
2014-05-21 cs.IT math.IT
Thresholding-based reconstruction of compressed correlated signals
我们考虑恢复一组相关信号的问题（例如，来自不同视点的图像）从每个信号的几个线性测量。我们假设网络中的每个传感器以线性测量的形式获取压缩信号，并将其发送到联合解码器进行重建。我们提出了一种新的联合重建算法，利用相关的潜在信号。我们的相关模型考虑了不同信号的支持之间的几何变换。建议的联合解码器估计的相关性和重建信号使用一个简单的阈值算法。我们给出了理论和实验证据表明，我们的方法在支持恢复和重建质量方面大大优于独立解码。
2012-04-02 cs.IT cs.NI math.IT
Quantized Iterative Hard Thresholding: Bridging 1-bit and High-Resolution Quantized Compressed Sensing
在这项工作中，我们表明，从量化的压缩测量重建稀疏信号可以在统一的形式主义中实现，无论（标量）量化分辨率如何，即，从1位到高分辨率的假设。这是通过推广迭代硬阈值（IHT）算法和它的二进制变量（BIHT）在以前的作品中引入的，以执行重建的信号相对于量化模型的一致性。该算法的性能，简称为量化IHT（QIHT），与其他方法（例如，IHT，基追踪去噪）。
2013-05-08 cs.IT math.IT
Cover Tree Compressed Sensing for Fast MR Fingerprint Recovery
我们采用覆盖树的形式的数据结构和迭代应用近似最近邻（ANN）搜索的快速压缩感知信号的离散光滑流形上的重建。利用非精确迭代投影梯度（IPG）算法的稳定性结果，通过覆盖树的人工神经网络搜索，降低了IPG算法的投影代价，使其在低维光滑流形上的投影代价随数据量的增加而递增.我们将我们的研究结果应用于定量MRI压缩传感，特别是在磁共振指纹（MRF）框架内。对于类似的（有时更好）重建精度，我们报告2-3个数量级减少计算相比，使用蛮力搜索的标准迭代方法。
2018-09-12 stat.ML
Gradient Hard Thresholding Pursuit for Sparsity-Constrained Optimization
Cornell University（康奈尔大学）；Rutgers University（罗格斯大学）
本文将硬阈值化追求算法推广到稀疏约束凸优化问题，通过梯度下降与硬阈值化步骤交替，证明其在收敛速度和参数估计精度上的强保证，并在稀疏逻辑回归和稀疏精度矩阵估计中优于现有方法。
2013-11-25 cs.LG cs.NA math.NA
Iterative Hard Thresholding for Compressed Sensing
压缩感知是一种对低于奈奎斯特速率的可压缩信号进行采样的技术，同时仍然允许对信号进行接近最佳的重构。在本文中，我们提出了一个理论分析的迭代硬阈值算法时，适用于压缩感知恢复问题。我们表明，该算法具有以下性质（在本文的正文中更精确）-它提供了接近最优的误差保证。- 它对观测噪声具有鲁棒性。- 它以最小数量的观测值成功。- 它可以与任何采样算子一起使用，可以计算该算子及其伴随算子。- 内存需求与问题大小成线性关系。- 其每次迭代的计算复杂性与测量算子或其伴随算子的应用具有相同的数量级。- 它需要固定的迭代次数，仅取决于信号的信噪比的对数形式。- 它的性能保证是一致的，因为它们只依赖于采样算子和信号稀疏性的属性。
2008-05-05 cs.IT cs.NA math.IT
Statistical mechanics analysis of thresholding 1-bit compressed sensing
一比特压缩感知框架旨在通过仅使用其线性测量的符号信息来重建稀疏信号。为了补偿尺度信息的损失，该领域过去的研究提出通过对信号的L2范数施加额外的约束来恢复信号。最近，一种替代的策略，捕获尺度信息，通过引入一个阈值参数的量化过程被提出。本文利用统计力学中的复制方法分析了阈值1比特压缩感知的典型行为，从而为合理设置阈值提供了依据。我们的研究结果表明，固定阈值在一个恒定的值产生更好的性能比随机变化时，常数是最佳的调整，统计。不幸的是，最佳阈值取决于目标信号的统计特性，这可能事先不知道。为了处理这种不便，我们开发了一种启发式算法，根据二进制输出中正值（或负值）的频率自适应地调整阈值参数。数值实验表明，该算法具有良好的性能，同时产生较低的计算成本。
2016-05-06 cs.IT math.IT physics.data-an
Knowledge-Aided Normalized Iterative Hard Thresholding Algorithms and Applications to Sparse Reconstruction
本文讨论了利用先验知识的压缩感知应用中经常发现的稀疏恢复问题。特别是，我们提出了一个知识辅助归一化迭代硬阈值（KA-NIHT）算法，利用非零条目的概率信息。我们还开发了一种策略，使用递归KA-NIHT（RKA-NIHT）算法，从而提高恢复更新的概率。仿真结果表明，并比较所提出的算法和现有的性能。
2018-09-25 cs.IT math.IT
Minimization of Transformed $L_1$ Penalty: Closed Form Representation and Iterative Thresholding Algorithms
变换后的$l_1$罚函数（TL 1）是由绝对值函数价值函数构成的单参数双线性变换族。当作用于向量时，TL 1惩罚类似于$l_p$范数（$p \in (0,1)$）来内插$l_0$和$l_1$。在我们的配套文件中，我们表明，TL 1是一个强大的稀疏促进惩罚压缩感知（CS）问题的广泛的非相干和相干传感矩阵。在这里，我们开发了一个显式的不动点表示的TL 1正则化最小化问题。TL 1阈值函数对于所有参数值都是封闭形式。相比之下，$l_p$阈值函数（$p \in [0,1]$）仅对于$p=0,1,1/2,2/3$为封闭形式，分别称为硬阈值、软阈值、半阈值和2/3阈值。TL 1阈值在亚临界（超临界）参数范围内不同，其中TL 1阈值函数是连续的（不连续的），类似于软阈值（半阈值）函数。我们提出了TL 1迭代阈值算法，并将其与硬阈值和半阈值算法在CS测试问题中进行了比较。对于非相干和相干传感矩阵，建议的TL 1迭代阈值算法与自适应亚临界和超临界阈值一致执行最好的稀疏信号恢复测量噪声和没有。
2016-10-18 cs.IT math.IT
The convergence guarantee of the iterative thresholding algorithm with suboptimal feedbacks for large systems
基于保偏的迭代算法在有效性和最优性之间进行权衡。有些是有效的，但涉及子矩阵求逆的每一步迭代。对于大尺寸的系统，这样的算法在计算上可能是昂贵的和/或禁止的。基于硬阈值和反馈的零空间调整算法（NST+HT+FB）通过使用次优反馈来加速其过程，其中子矩阵求逆被基于特征值的近似所取代。由此产生的次优反馈方案变得非常有效的大系统恢复问题。一个自适应算法的基础上阈值，次优反馈和零空间调整（AdptNST+HT+subOptFB）没有先验知识的稀疏水平也提出和分析。收敛性分析是本文的重点。数值模拟也进行了证明卓越的效率的算法相比，最先进的迭代阈值算法在相同水平的恢复精度，特别是对于大型系统。
2017-11-07 cs.IT math.IT
Sparse Solution of Underdetermined Linear Equations via Adaptively Iterative Thresholding
求欠定线性方程组的稀疏解$y=Ax$近年来引起了广泛的关注。在众多的算法中，迭代阈值算法被认为是最有效和最重要的一类算法。这主要是由于它们的低计算复杂性，特别是对于大规模应用。本文的目的是提供一个广泛的一类迭代阈值算法的全局收敛性的保证。由于所考虑的算法的阈值设置自适应在每次迭代，我们称之为自适应迭代阈值（AIT）算法。作为主要结果，我们表明，只要$A$满足一定的一致性属性，AIT算法可以找到正确的支持集在有限的迭代，然后收敛到原来的稀疏解指数快速一旦正确的支持集已经确定。同时，我们也证明了AIT算法对算法参数的鲁棒性。此外，需要指出的是，现有的大部分迭代阈值算法，如硬阈值、软阈值、半阈值和平滑限幅绝对偏差（SCAD）算法，都包含在本文研究的AIT算法中。
2013-10-15 cs.IT math.IT
Blind super-resolution of point sources via fast iterative hard thresholding
在这项工作中，我们开发了一个可证明的快速算法盲超分辨率的基础上的低秩结构的向量化汉克尔矩阵与目标矩阵。理论结果表明，该方法以线性收敛速度收敛到地面真值。数值实验也证明了该方法的线性收敛性和有效性。
2022-01-26 cs.IT math.IT
Coherence Analysis of Iterative Thresholding Algorithms
近年来，人们对欠定线性方程组$y = Φx$的稀疏解的求解算法的研究越来越多。在许多应用中，设想了非常大的问题大小，至少有数万个方程和数十万个未知数。对于这样的问题规模，低计算复杂性是至关重要的。最好的研究$\ell_1$最小化算法是不够快，以满足这一需要。已经提出了迭代阈值算法来解决这个问题。本文从理论上分析了这两种算法，并给出了它们恢复稀疏解的充分条件。
2009-04-07 cs.IT math.IT
Alternating direction algorithms for $\ell_0$ regularization in compressed sensing
本文基于$\ell_0$ -正则最小二乘的交替方向乘子法（ADMM）的迭代步骤，提出了三种压缩感知的迭代贪心算法\emph{iterative alternating direction}（IAD）、\emph{normalized iterative alternating direction}（NIAD）和\emph{alternating direction pursuit}（ADP（$\ell_0$ -LS）并且可以被认为是公知的迭代硬阈值（IHT）的交替方向版本，归一化迭代硬阈值法（NIHT）和硬阈值追踪法（HTP）。首先，相对于ADMM的一般迭代步骤，所提出的算法在迭代中没有分裂或对偶变量，因此当前近似对过去迭代的依赖是直接的。其次，从限制等距性的角度给出了可证明的理论保证，这是$\ell_0$ -LS的ADMM的第一个理论保证。最后，在重建具有随机符号的等幅信号（CARS信号）和高斯信号时，它们的性能大大优于相应的IHT，NIHT和HTP。
2016-04-15 cs.IT math.IT
Compressed Sensing Recovery via Nonconvex Shrinkage Penalties
压缩感知的$\ell^0$最小化通常被放松为$\ell^1$，这使用称为软阈值的收缩映射产生容易的计算，并且可以在某些假设下恢复原始解。最近的工作已经得出了一个一般类的收缩和相关的非凸惩罚，更好地近似原来的$\ell^0$惩罚和经验，可以从更少的测量恢复原来的解决方案。我们专门研究p收缩和公司阈值。在这项工作中，我们证明了，给定的数据和测量矩阵从一个广泛的一类矩阵，可以选择这些类的收缩参数，以保证精确恢复的稀疏的解决方案。我们进一步证明了算法迭代p收缩（IPS）解决这样一个放松的问题的收敛性。
2015-04-11 cs.IT math.IT
Compensation of Amplifier Distortion for OFDM signals based on Iterative Hard Thresholding
正交频分复用（OFDM）系统中功率放大器（PA）引起的非线性失真的缓解是实现能量有效操作的重要问题。在这项工作中，我们提出了一种新的算法，在OFDM系统中，基于接收机的削波估计相结合的迭代硬采样保持（IHT）方法与相应的加权削波的估计概率。因此，更一般的放大器输入-输出特性被认为是在接收器侧被假定为是未知的。此外，我们避免使用专用的子载波，并制定的恢复问题，完全可靠地检测到的子载波。通过模拟，我们表明，所提出的技术实现了更好的复杂性和性能的权衡相比，现有的方法。
2015-07-01 cs.IT math.IT
Lorentzian Iterative Hard Thresholding: Robust Compressed Sensing with Prior Information
压缩感知（CS）中常用的重构算法使用$L_2$范数作为残差的度量。然而，众所周知，基于最小二乘（LS）的估计器对测量向量中存在的离群值高度敏感，从而导致当噪声不再遵循高斯假设而是更好地由比高斯分布更好地表征时性能较差。本文提出了一种在脉冲噪声背景下重构稀疏信号的鲁棒迭代硬采样保持（IHT）算法。为了解决这个问题，我们使用一个洛伦兹成本函数，而不是$L_2$成本函数采用传统的IHT算法。我们还修改了算法，将先验信号信息的恢复过程。具体来说，我们研究的情况下，CS与部分已知的支持。该算法是一种快速的方法，计算量与基于LS的IHT相当，同时具有对重尾脉冲噪声鲁棒性的优点。稳定性的充分条件进行了研究，重建误差界的推导。我们还得到了稳定的稀疏信号恢复与部分已知的支持的充分条件。理论分析表明，包括先验支持信息放宽了成功重建的条件。仿真结果表明，基于Lorentzian的IHT算法在脉冲环境中的性能明显优于常用的稀疏重建技术，同时在要求较低的光尾环境中提供相当的性能。数值结果还表明，部分已知的支持包含提高了所提出的算法的性能，从而需要更少的样本产生一个近似的重建。
2013-07-17 cs.IT math.IT
Orthogonal subspace based fast iterative thresholding algorithms for joint sparsity recovery
从具有联合稀疏特性的多测量向量中恢复稀疏信号在信号、图像和视频处理中有着广泛的应用。当信号矩阵的快照在时间上相关时，问题变得更加复杂。考虑到信号的时间相关性，我们提供了一个基于阈值，功能反馈和零空间调整的迭代MMV算法的框架。建立了精确恢复的收敛性分析。与大多数在测量/解空间中选择索引的迭代贪心算法不同，我们基于迭代序列所跨越的正交子空间来确定索引。此外，一个功能性的反馈，控制量的能源搬迁的“尾巴”的实施和分析。结果表明，函数反馈原理可以减少迭代次数，加快算法的收敛速度。数值实验表明，该算法具有明显的优势，平衡的效率，自适应性和准确性相比，其他国家的最先进的算法。
2021-01-22 cs.IT math.IT
Transformed Schatten-1 Iterative Thresholding Algorithms for Low Rank Matrix Completion
研究了一种非凸的低秩提升罚函数--变换的Schatten-1（TS 1）及其在矩阵完备化中的应用。TS 1罚函数作为定义在奇异值上的矩阵拟范数，通过非负参数α对秩和核范数进行插值。我们考虑无约束的TS 1正则化低秩矩阵恢复问题，并发展了一个不动点表示的全局极小。TS 1阈值函数对于所有参数值都是封闭的解析形式。TS 1阈值在次临界（超临界）参数范围内不同，其中TS 1阈值函数是连续的（不连续的）。我们提出了TS 1迭代阈值算法，并将其与矩阵完备测试问题的一些最先进的算法进行了比较。对于已知秩的问题，完全自适应的TS 1迭代阈值算法在不同的条件下始终表现最好，地面真值矩阵是多元高斯在不同的协方差。对于秩未知的问题，TS 1算法与一个额外的秩估计过程接近IRucL-q的水平，IRucL-q是一个迭代重加权算法，非凸的性质和最佳的性能。
2016-10-18 cs.IT math.IT math.OC
A new and improved quantitative recovery analysis for iterative hard thresholding algorithms in compressed sensing
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Department of Mathematics, Duke University（杜克大学数学系）
本文提出了一种新的IHT算法恢复分析，通过研究固定点条件，推导了收敛性和固定点存在的充分必要条件，并在确定性无噪和高斯测量矩阵有噪情况下，量化了稀疏信号恢复的稀疏性/欠采样权衡。
2014-11-07 cs.IT cs.NA math.IT
Fast thresholding algorithms with feedbacks for sparse signal recovery
我们提供了另一个框架的迭代算法的基础上阈值，反馈和零空间调整稀疏表示和压缩感知中产生的稀疏信号恢复。几个阈值算法与各种反馈的推导，这是非常有效和快速。收敛结果也提供。核心算法收敛于有限的许多步骤下（预处理）限制等距条件。该算法被认为是特别有效的大规模问题。数值研究的有效性和速度的算法也被提出。
2012-11-11 cs.IT math.IT
Efficient iterative thresholding algorithms with functional feedbacks and convergence analysis
对一类加速的自适应迭代阈值算法进行了分析和实验研究。它们基于零空间调谐技术（NST+HT+FB）的反馈机制。这篇文章的主要贡献是加速收敛分析和证明与一个可变/自适应指数选择和不同的反馈原则，在每次迭代。这些收敛分析不再需要信号的先验稀疏信息$s$。本文的核心思想是，为了加快收敛速度，在每次迭代中应考虑所选择的指数的数目。它示出，从给定的线性测量的所有$s$稀疏信号的均匀恢复可以在合理的（预处理）限制等距条件下实现。通过选择适当的指数支撑，得到了加速收敛速度和改进的收敛条件。大量的数值实验充分证明和证实了理论研究结果。它也被观察到，所提出的算法有一个明显有利的平衡效率，自适应性和准确性相比，所有其他国家的最先进的贪婪迭代算法。
2020-05-14 cs.IT math.IT
Successive Concave Sparsity Approximation for Compressed Sensing
本文基于$\ell_0$范数的逐次精度递增逼近，提出了一种从欠定测量中恢复稀疏向量的新算法。的近似实现了一定的凹函数，积极诱导稀疏性和他们的接近$\ell_0$规范可以控制。证明了当逼近精度从最差拟合变为最佳拟合时，逼近序列渐近符合$\ell_1$和$\ell_0$范数.当测量是无噪声的，提出了一个优化方案，导致一些加权$\ell_1$最小化程序，而在噪声的存在下，我们提出了两个迭代阈值的方法，计算上的吸引力。迭代阈值方法的收敛保证，并提供，对于一个特定的函数类的近似函数，我们推导出封闭形式的阈值算子。我们进一步提出了一些理论分析，通过限制等距，零空间，和球截面的性质。我们广泛的数值模拟表明，所提出的算法密切关注的Oracle估计的性能范围更广的稀疏性水平比那些国家的最先进的算法。
2016-04-26 cs.IT math.IT
"Compressed" Compressed Sensing
压缩感知领域已经表明，可以从少量随机构造的线性投影（或样本）中精确地恢复稀疏但任意的向量。本文所解决的问题是，当存在关于未知向量的分布的先验知识时，或者当只需要部分恢复时，甚至更少数量的样本是否足够。一个信息理论的下限与连接到自由概率理论和一个上限对应的计算简单的阈值估计。它示出，在某些情况下（例如离散值的矢量或大的失真）的样本的数量可以减少。有趣的是，它也表明，在许多情况下，没有减少是可能的。
2010-01-25 cs.IT math.IT
On Asymptotic Linear Convergence Rate of Iterative Hard Thresholding for Matrix Completion
在过去的几十年里，迭代硬阈值（IHT）在大规模优化中越来越受欢迎。然而，这种方法的收敛性能最近才被探索在非凸设置。在矩阵完备化中，现有的工作主要集中在通过非相干性和均匀采样等标准假设来保证IHT的整体收敛。虽然这样的分析提供了一个全局上界的线性收敛速率，它并没有描述在实践中的IHT的实际性能。在本文中，我们提供了一个新的见解的局部收敛的一个特定的变种IHT矩阵完成。我们揭示了精确的线性速率的IHT在一个封闭形式的表达，并确定该算法是保证收敛的收敛区域。此外，我们利用随机矩阵理论研究了IHTSVD在大规模矩阵完备化问题上的线性收敛速率。我们发现，渐近，率可以表示在封闭的形式的相对秩和采样率。最后，我们提出了各种数值结果来验证上述理论分析。
2022-04-27 cs.IT math.IT math.OC
Iterative Thresholding Pursuit with Continuation for $\ell_{1-2}$-Regularized Sparse Recovery
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海智能无人系统研究院）
提出一种结合延续策略的迭代阈值追踪方法（ITP-C），通过 $\ell_{1-2}$ 近端步的主动集识别和受限最小二乘追踪步的二阶更新，实现稀疏信号的高效恢复，并保证收敛性和局部 oracle 性质。
2026-06-04 cs.IT cs.NA math.IT
Compressed Neighbour Discovery using Sparse Kerdock Matrices
我们研究了无线网络中的网络范围内的邻居发现问题，其中网络中的每个节点都必须发现其邻居的网络接口地址（NIA）。我们在Guo和Zhang（2010）提出的快速开-关划分双工框架内工作，其中所有节点被分配不同的开-关签名，这允许它们在其关时隙期间监听相邻节点的传输，导致每个节点处的压缩感知问题，其中折叠码本由给定节点的传输签名确定。我们提出稀疏Kerdock矩阵作为邻居发现问题的码本。这些矩阵与基于Reed Muller码的某些Delsarte-Goethals帧共享相同的行空间，同时非常稀疏。我们目前的数值实验，使用两种不同的压缩感知恢复算法，一步重采样保持（OST）和归一化迭代硬重采样保持（NIHT）。对于这两种算法，与Zhang和Guo（2011）提出的基于具有随机擦除的Reed Muller码的码本相比，使用稀疏Kerdock矩阵成功识别出更高比例的邻居。我们认为，这种改进是由于稀疏Kerdock矩阵在根据给定节点的传输签名折叠时具有更好的干扰消除特性。我们通过显式计算表明，从稀疏Kerdock矩阵产生的折叠码本的相干性仍然接近最佳。
2018-01-14 cs.IT math.IT
OFDM Channel Estimation Based on Adaptive Thresholding for Sparse Signal Detection
无线OFDM信道可以通过具有稀疏时域抽头的时变滤波器来近似。近年来，压缩感知等稀疏信号处理领域的研究成果极大地促进了稀疏性在估计中的应用，显著提高了估计性能。这些基于稀疏的方法的问题是需要一个稳定的变换矩阵，这在当前的传输设置中是不满足的。为了辅助接收器处的模拟滤波，发射器使带宽的两个边缘处的一些子载波未被使用，这导致病态DFT子矩阵。为了克服这个困难，我们提出了自适应稀疏信号检测（ATSSD）。仿真结果表明，该方法在时不变信道和时变信道下都能很好地工作，而其他方法在这些信道下都不能很好地工作。
2009-01-26 cs.IT math.IT
