Provable Inductive Robust PCA via Iterative Hard Thresholding
Microsoft Corporation(微软公司);Conduent Labs India(Conduent印度实验室);University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of California Irvine(加利福尼亚大学尔湾分校);Xerox Research Centre India(施乐印度研究中心)
鲁棒PCA问题是机器学习中的一个研究得很好的问题,其中,给定的输入数据矩阵是低秩矩阵和稀疏矩阵的叠加,我们的目标是分离出低秩和稀疏分量。一个自然出现的问题是,就像在归纳设置中一样,如果特征也作为输入提供,我们还能希望做得更好吗?在肯定这一点的同时,本文的主要目标是研究鲁棒PCA问题,同时将特征信息。在以前的作品中,恢复保证是基于凸松弛的问题,我们提出了一个简单的迭代算法的基础上硬阈值适当的残差。在较弱的假设条件下,证明了迭代过程的全局收敛性,并且具有更快的收敛速度和更小的每次迭代的计算复杂性.在实践中,通过系统的合成和真实数据模拟,我们证实了我们的理论研究结果,通过使用特征信息获得的改进。
2017-07-04 cs.IT cs.LG math.IT
Structured Sparse Regression via Greedy Hard-Thresholding
Microsoft Research(微软研究院);Technicolor R & I(汤姆逊研发中心);University of Texas at Austin(德克萨斯大学奥斯汀分校)
一些学习应用程序需要解决高维回归问题,其中相关特征属于少量(重叠)组。对于非常大的数据集和标准稀疏性约束下,硬阈值方法已被证明是非常有效的,但这种方法需要NP硬投影时,处理重叠的群体。在本文中,我们表明,这种NP难预测不仅可以避免呼吁子模块优化,但这样的方法来与强有力的理论保证,即使在存在条件不佳的数据(即当两个功能有相关性$\geq 0.99$),现有的分析无法处理。这些方法表现出一个有趣的计算精度的权衡,并可以扩展到显着困难的问题,如稀疏重叠组。真实和合成数据上的实验验证了我们的主张,并表明所提出的方法比其他贪婪和凸松弛技术学习组结构稀疏的速度快几个数量级。
2016-05-27 cs.LG stat.ML
Interaction Hard Thresholding: Consistent Sparse Quadratic Regression in Sub-quadratic Time and Space
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
二次回归涉及将响应建模为不仅是特征$x^{j_1}$而且是二次项$x^{j_1}x^{j_2}$的(广义)线性函数。在回归中包含这样的高阶“交互作用项”通常提供了一种简单的方法来提高已经高维问题的精度。然而,这将问题维度从线性$O(p)$扩展到二次$O(p^2)$,并且通常会寻找稀疏交互(通常通过解析法)。在本文中,我们提供了一个新的算法-交互硬约束保持(IntHT),这是第一个可证明准确地解决这个问题的次二次时间和空间。它是迭代硬控制的一个变体;它使用特殊的二次结构来设计一种新的方法来(近似)。在亚$p^2$时间和空间中提取$p^2$尺寸梯度的顶部元素。我们的主要结果是从理论上证明,尽管有许多加速相关的近似,IntHT线性收敛到一个一致的估计标准的高维稀疏恢复假设。我们还通过合成实验证明了它的价值。此外,我们数值表明,IntHT可以扩展到高阶回归问题,并从理论上分析了SVRG的IntHT的变种。
2019-11-08 cs.LG stat.ML
An iterative hard thresholding estimator for low rank matrix recovery with explicit limiting distribution
我们考虑随机噪声高维背景下的低秩矩阵恢复问题。我们提出了一种新的估计的低秩矩阵,基于迭代硬阈值方法,这是计算效率和简单。我们证明了我们的估计是有效的,无论是在Frobenius风险,并在条目明智的风险一致的任何变化的规范正交基。这个结果允许我们,在设计是高斯的情况下,提供的估计,这是非常感兴趣的低维子集的条目的低秩矩阵的构造测试和置信度集的限制分布。
2016-03-01 math.ST stat.TH
Minimum $n$-Rank Approximation via Iterative Hard Thresholding
低$n$秩张量的恢复问题是低维空间(矩阵空间)稀疏恢复问题向高维空间(张量空间)的扩展,在图像修复、视频修复等计算机视觉和图形学领域有着广泛的应用。本文考虑了一种新的张量恢复模型--最小$n$ -秩近似(MnRA),并在预先给出$n$ -秩上界的基础上,提出了一种合适的迭代硬阈值算法。最后给出了算法的收敛性分析。特别地,我们证明了对于无噪声的情况,在适当的条件下,该算法可以获得线性收敛率$\frac{1}{2}$。此外,结合一种有效的启发式算法来确定$n$ -rank,当$n$ -rank事先未知时,我们也可以应用该算法求解MnRA。对随机生成和实低$n$秩张量完备化问题的数值结果表明了所提算法的有效性。
2014-04-08 math.OC stat.ML
Least Absolute Gradient Selector: Statistical Regression via Pseudo-Hard Thresholding
线性模型中的变量选择在现代统计学中起着举足轻重的作用。硬阈值方法,如$l_0$正则化理论上是理想的,但计算上是不可行的。在本文中,我们提出了一种新的方法,称为LAGS,简称“最小绝对梯度选择器”,这个具有挑战性的有趣的问题,通过模仿离散选择过程的$l_0$正则化。为了在噪声影响下估计$β$,我们考虑如下凸规划[ \hat β = \textrm{arg min} \frac{1}{n} \|X^{T}(y-X β)\|_1 + λ_n \sum_{i = 1}^p w_i(y;X;n)].| β i|] $λ_n > 0$控制稀疏性,$w_i > 0$依赖于$y, X$,$n$是不同$β_i$的权重; $n$是样本量。令人惊讶的是,我们将在本文中显示,无论是几何和分析,LAGS享有两个有吸引力的性质:(1)LAGS表现出离散选择行为和硬阈值性质的$l_0$正则化的战略选择$w_i$,我们称之为“伪硬阈值”;(2)渐近,LAGS是一致的,能够发现真正的模型;非渐近地,LAGS能够识别模型中的稀疏性,并且系数的预测误差在噪声水平上被限制到对数因子- $\log p$,其中$p$是预测因子的数量。在计算上,LAGS可以有效地解决其凸性的凸规划例程或单纯形算法后,重铸成一个线性规划。数值仿真结果表明,LAGS方法在均方误差和模型的简约性方面优于软阈值方法。
2012-10-19 stat.AP stat.ME stat.ML
Dual Iterative Hard Thresholding: From Non-convex Sparse Minimization to Non-smooth Concave Maximization
Rutgers University(罗格斯大学);Nanjing University of Information Science & Technology(南京信息工程大学)
迭代硬约束保持(IHT)是一类用于优化稀疏约束最小化模型的投影梯度下降方法,具有最好的效率和可扩展性。据我们所知,现有的IHT风格的方法被设计为原始形式的稀疏最小化。它仍然开放,探索对偶理论和算法在这样一个非凸和NP-难的问题设置。在本文中,我们建立了一个对偶理论的稀疏约束最小化与$\ell_2$正则化损失函数,并提出了一个IHT风格的算法对偶最大化。我们的稀疏对偶理论提供了一组充分和必要的条件下,原来的NP-难/非凸问题可以等价地解决在一个对偶制定。提出的对偶IHT算法是一种最大化非光滑对偶目标的超梯度算法。一个有趣的发现是,双IHT的稀疏恢复性能是不变的限制等距属性(RIP),这是所需的几乎所有现有的原始IHT算法没有稀疏松弛。此外,提出了一种随机变形的对偶IHT的大规模随机优化。数值结果表明,双重IHT算法的优越性,最先进的原始IHT风格的算法在模型估计精度和计算效率。
2017-06-21 cs.LG stat.ML
Sparse Convex Optimization via Adaptively Regularized Hard Thresholding
MIT(麻省理工学院);Yahoo! Research(雅虎研究院)
稀疏凸优化的目标是在稀疏性约束$s\leq s^*γ$下优化凸函数$f$,其中$s^*$是可行解(稀疏性)中非零条目的目标数量,$γ\geq 1$是近似因子。已经有大量的工作来分析各种算法(LASSO,正交匹配追踪(OMP),迭代硬保序(IHT))的稀疏性保证的限制条件数$κ$。最著名的算法保证找到具有$γ= O\left(κ\min\left\{\log \frac{f(x^0)-f(x^*)}ε, κ\right\}\right)$的稀疏界的值$f(x^*)+ε$的近似解,其中$x^*$是目标解。我们提出了一个新的自适应正则化硬约束保持(ARHT)算法,使这个问题上的显着进展,使约束下降到$γ=O(κ)$,这已被证明是紧的一般类算法,包括LASSO,OMP,和IHT。与已知的最快算法相比,这是在没有显著牺牲运行时效率的情况下实现的。我们还提供了一个新的分析OMP与替换(OMPR)一般$f$,条件$s > s^* \frac{κ^2}{4}$下,这会产生压缩感知下的限制等距属性(RIP)的界限。当与其他压缩感知方法相比时,它具有在RIP条件和解稀疏性之间提供强折衷的优点,同时适用于满足RIP条件的任何通用函数$f$。
2020-06-25 cs.DS cs.LG stat.ML
Distributed Iterative Hard Thresholding for Variable Selection in Tobit Models
本文针对高维左删失数据下的Tobit模型变量选择问题,提出基于迭代硬阈值(IHT)的估计方法,并将其扩展至低通信轮数的分布式环境,理论和实验均验证了其在预测与变量选择上的优越性。
2024-05-04 stat.ME
Stability and Risk Bounds of Iterative Hard Thresholding
Baidu Research(百度研究院)
本文分析了广泛应用于稀疏恢复问题的迭代硬保偏(IHT)算法的推广性能。IHT的参数估计和稀疏恢复的一致性在压缩感知中早已为人所知。从统计学习的角度来看,另一个基本问题是IHT估计对未知数据的预测效果如何。本文在算法稳定性的概念下,通过引入一种新的IHT稀疏推广理论,对这个开放性问题做出了回答。我们的理论表明:1)在自然条件下,在$n$样本上的经验风险函数上,具有稀疏水平$k$的IHT在稀疏超额风险下具有$\mathcal{\tilde O}(n^{-1/2}\sqrt{k\log(n)\log(p)})$收敛速度,2)通过对假设的IHT过程施加额外的迭代稳定性条件,可以建立更紧的$\mathcal{\tilde O}(n^{-1/2}\sqrt{\log(n)})$界; 3)在适当的强信号条件下,强凸风险函数的$\mathcal{\tilde O}\left(n^{-1}k(\log^3(n)+\log(p))\right)$阶的快速收敛性.结果已被证实为稀疏线性回归和稀疏逻辑斯谛回归模型,以证明我们的理论的适用性。初步的数值证据证实了我们的理论预测。
2022-03-17 cs.LG eess.SP stat.ML
Robust 1-bit Compressed Sensing with Iterative Hard Thresholding
University of California San Diego(加州大学圣地亚哥分校)
本文研究1比特压缩感知中的噪声鲁棒性,证明BIHT算法在对抗性符号翻转下,以相同测量数实现$\tilde{O}(\epsilon+\tau)$误差,保持通用性,确立了迭代硬阈值的稳定性。
2023-10-12 cs.DS cs.IT cs.LG
On the Role of Normalization in Binary Iterative Hard Thresholding for 1-bit Compressed Sensing
UC San Diego(加州大学圣迭戈分校)
研究1比特压缩感知中二进制迭代硬阈值处理(BIHT)算法,证明无噪声时原始BIHT算法有通用样本最优收敛定理,符号损坏时未归一化的BIHT能达鲁棒误差下限但不稳定,刻画了每次迭代归一化在算法上的必要性。
2026-10-30 cs.DS cs.IT math.IT
The Optimal Hard Threshold for Singular Values is 4/sqrt(3)
我们认为恢复低秩矩阵的噪声数据的奇异值,其中奇异值低于规定的阈值$λ$设置为0的硬阈值。我们研究的渐近MSE的矩阵大小是大的矩阵的秩相比,要恢复的框架,和低秩片的信噪比保持不变。在噪声水平为σ的n × n矩阵的情况下,硬阈值的AMSE最优选择在$σ$已知时简单地为$(4/\sqrt{3}) \sqrt{n}σ\approx 2.309 \sqrt{n}σ$,或者在$σ$未知时简单地为$2.858\cdot y_{med}$,其中$y_{med}$是中值经验奇异值。对于具有$m \neq n$的非方$m$乘$n$矩阵,这些阈值系数被替换为不同的提供常数。在我们的渐近框架中,这种阈值规则以最佳方式适应未知秩和未知噪声水平:无论我们试图恢复的矩阵是什么,它总是优于任何其他值的硬阈值,并且总是优于理想截断SVD(TSVD),TSVD在我们试图恢复的低秩矩阵的真实秩处截断。在推荐值处硬阈值化以恢复秩r的n乘n矩阵保证AMSE至多为$3nrσ^2$。相比之下,由TSVD提供的保证是$5nrσ^2$,由最佳调谐的奇异值软阈值处理提供的保证是$6nrσ^2$,并且通过数据奇异值的任何收缩可实现的最佳保证是$2nrσ^2$。经验证据表明,这些AMSE属性的$4/\sqrt{3}$阈值规则仍然有效,即使对于相对较小的n,和TSVD和其他收缩规则的性能改善是实质性的,把它变成实际的硬阈值的选择。
2014-06-04 stat.ME
Smooth Hard-Thresholding for Singular Values with Stein's Unbiased Risk Estimate
Imperial College London(伦敦帝国理工学院)
针对低秩矩阵去噪,提出基于Stein无偏风险估计的平滑硬阈值谱估计器,解决传统硬阈值不连续问题,并证明其无偏风险估计性质。
2026-10-16 cs.NA eess.IV eess.SP
Robust Regression via Hard Thresholding
Microsoft Research India(微软研究院印度)
研究了多个响应变量可能被逆向破坏的鲁棒最小二乘回归问题。更具体地,对于数据矩阵X \in R^{p × n}和底层模型w*,响应向量被生成为y = X 'w * + b,其中b \in R^n是在至多C.n坐标上支持的损坏向量。RLSR的现有精确恢复结果仅关注基于L1惩罚的凸公式,并施加相对严格的模型假设,例如要求腐败b独立于X选择。在这项工作中,我们研究了一个简单的硬阈值算法,称为TORSTO,在X上的温和条件下,即使b以对抗的方式破坏响应变量,也可以精确地恢复w*,即在观察X和w* 之后,b的支持和条目都被对抗地选择。我们的结果下,满足确定性假设,如果X是从任何亚高斯分布采样。最后,不同于现有的结果,只适用于一个固定的w*,独立产生的X,我们的结果是普遍的,并保持任何w* \in R^p。接下来,我们提出了基于梯度下降的扩展TORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTOR…
2015-06-08 cs.LG stat.ML
Binary Iterative Hard Thresholding Converges with Optimal Number of Measurements for 1-Bit Compressed Sensing
University of California San Diego(加州大学圣地亚哥分校)
本文证明二进制迭代硬阈值算法在1位压缩感知中以最优测量数收敛,为非凸问题提供了有效解法。
2026-01-08 cs.DS cs.IT eess.SP
Orthogonal Matching Pursuit with Replacement
在本文中,我们考虑的问题,压缩感知的目标是恢复几乎所有的稀疏向量使用少量的固定线性测量。对于这个问题,我们提出了一种新的部分硬阈值算子,导致一个一般家庭的迭代算法。虽然该家族的一个极端产生了众所周知的硬阈值算法,如ITI(迭代求逆)和HTP(硬阈值追踪),但频谱的另一端导致了一种新的算法,我们称之为正交匹配追踪替换(OMPR)。与经典的贪心算法OMP一样,OMPR基于与当前残差的相关性,在每次迭代时向支持添加一个坐标。但是,与OMP不同,OMPR还从支持中删除一个坐标。这个简单的变化使我们能够证明OMPR在受限等距属性(测量矩阵上的条件)方面具有稀疏恢复的最佳保证。相比之下,OMP在RIP下的性能保证非常弱。鉴于其简单的结构,我们能够使用局部敏感哈希扩展OMPR,得到OMPR-Hash,这是第一个可证明的次线性(在维度上)稀疏恢复算法。我们的证明技术是新颖和灵活的,也允许最严格的已知分析流行的迭代算法,如CoSaMP和子空间追踪。我们提供的实验结果,提供恢复高达百万维的向量大小的大型问题。我们证明,对于大规模的问题,我们提出的方法比现有的方法更强大,更快。
2011-06-14 cs.IT math.IT stat.ML
IHT dies hard: Provable accelerated Iterative Hard Thresholding
University of Texas at Austin(德克萨斯大学奥斯汀分校);IBM T.J. Watson Research Center(IBM 沃森研究中心)
本文研究了在理论和实践中经典迭代硬阈值(IHT)方法中动量运动的使用,通过简单修改普通IHT,探讨了其在具有非凸约束的凸优化标准下的收敛行为,并观察到IHT的加速在投影梯度下降和Frank-Wolfe变体中带来了显著改进。
2019-09-13 cs.DS cs.LG cs.NA
ScreeNOT: Exact MSE-Optimal Singular Value Thresholding in Correlated Noise
我们推导出一个公式的最佳硬阈值的奇异值分解相关的加性噪声的存在下,虽然它名义上涉及不可观测的,我们展示了如何应用它,即使噪声协方差结构是不是先验已知的或不是独立估计。所提出的方法,我们称之为ScreeNOT,是一个数学上可靠的替代卡特尔的曾经流行的,但模糊的Scree Plot启发式从1966年。ScreeNOT具有令人惊讶的预言属性:它通常在大的有限样本中,在每个给定的问题实例上精确地实现矩阵恢复的最低可能MSE-即它选择的特定阈值在该噪声数据集和未知的底层真低秩模型的所有可能阈值选择中精确地给出了最小的可实现MSE损失。该方法计算效率高,对基础协方差结构的扰动具有鲁棒性。我们的结果依赖于假设的奇异值的噪声有一个有限的经验分布的紧凑的支持,这个模型,这是标准的随机矩阵理论,是满足许多模型表现出跨行相关结构或跨列相关结构,也有许多情况下,有元素间的相关结构。仿真结果表明,即使在适度的矩阵大小的方法的有效性。这篇论文是由现成的软件包实现所提出的算法补充:包ScreeNot在Python(通过PyPI)和R(通过CRAN)。
2023-03-26 math.ST stat.ME stat.TH
Revisiting hard thresholding for DNN pruning
DNN修剪最常见的方法是对网络权重进行硬阈值处理,然后进行再训练以恢复任何丢失的准确性。最近开发的智能修剪算法使用DNN对各种成本函数的训练集的响应来确定冗余的网络权重,从而减少准确性下降,并可能减少重新训练时间。对于总的修剪时间(修剪时间+再训练时间)的实验,我们表明,硬阈值,然后再训练仍然是最有效的方式,减少网络参数的数量。然而,智能修剪算法仍然具有优势时,再训练是不可能的。在这种情况下,我们提出了一种新的智能修剪算法的基础上凸函数优化的差异,并表明它往往是数量级的速度比竞争的方法,同时实现最低的分类精度退化。此外,我们从理论上研究了硬阈值对DNN精度的影响。我们发现,准确性下降增加与其余的网络深度从修剪层。我们还发现了潜在的维度之间的联系的训练数据流形和网络的鲁棒性硬阈值。
2019-05-21 cs.AI cs.LG stat.ML
Learning Sparse Distributions using Iterative Hard Thresholding
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California at Berkeley(加州大学伯克利分校);Rice University(莱斯大学)
迭代硬阈值(IHT)是一种投影梯度下降算法,已知可实现广泛的结构化估计问题(如稀疏推理)的最新性能。在这项工作中,我们认为IHT作为学习稀疏离散分布的问题的解决方案。我们研究了在测度空间上使用IHT的困难性。作为一个实际的替代方案,我们提出了一个贪婪的近似投影,同时捕捉适当的概念分布稀疏,同时满足单纯形约束,并调查所产生的程序在各种设置的收敛行为。我们的研究结果表明,无论是在理论和实践中,IHT可以达到最先进的结果学习稀疏分布。
2020-01-31 cs.LG math.OC stat.ML
Stochastic Hard Thresholding Algorithms for AUC Maximization
University at Albany(奥尔巴尼大学);Stony Brook University(石溪大学);University of Birmingham(伯明翰大学)
在本文中,我们的目标是开发随机硬阈值算法的重要问题的AUC最大化不平衡分类。主要挑战是AUC最大化中涉及的成对损失。我们克服了这个障碍,通过重新制定的U-统计目标函数的经验风险最小化(ERM),从随机硬阈值算法(\texttt{SHT-AUC})的开发。据我们所知,这是第一次尝试提供随机硬阈值算法的AUC最大化与每次迭代的成本$Ø(b d)$,其中$d$和$b$是数据的尺寸和minibatch大小,分别。我们表明,该算法享有的线性收敛速度的公差误差。特别是,我们表明,如果数据是从高斯分布生成的,那么它的收敛变得更慢,因为数据变得更加不平衡。我们进行了大量的实验,以显示所提出的算法的效率和有效性。
2020-11-04 cs.LG stat.CO stat.ML
Iterative Hard Thresholding Methods for $l_0$ Regularized Convex Cone Programming
Simon Fraser University(西蒙弗雷泽大学);Texas A&M University(得克萨斯农工大学)
提出迭代硬阈值方法及其变体求解 $l_0$ 正则化凸锥规划,证明收敛到局部极小点并建立迭代复杂度。
2012-11-02 cs.LG cs.NA math.NA
Iterative Hard Thresholding with Adaptive Regularization: Sparser Solutions Without Sacrificing Runtime
MIT(麻省理工学院);Yahoo! Research(雅虎研究院)
我们提出了一个简单的修改迭代硬阈值(IHT)算法,恢复渐近稀疏的解决方案作为条件数的函数。当目标是最小化凸函数$f(x)$,条件数$κ$服从$x$是$s$ -稀疏向量时,标准IHT保证是具有松弛稀疏性$O(sκ^2)$的解,而我们提出的算法正则化IHT返回具有稀疏性$O(sκ)$的解。我们的算法显着提高了ARHT也找到了稀疏$O(sκ)$的解决方案,因为它不需要在每次迭代中重新优化(因此更快),是确定性的,不需要最佳解值$f(x^*)$或最佳稀疏水平$s$的知识。我们的主要技术工具是一个自适应正则化框架,其中算法逐步学习$\ell_2$正则化项的权重,这将允许收敛到稀疏的解决方案。我们还将此框架应用于低秩优化,在那里我们实现了类似的改善,从$κ^2$到$κ$的最知名的条件数依赖。
2022-04-11 cs.DS cs.IT cs.LG
Iterative Hard Thresholding for Low CP-rank Tensor Models
从少量线性测量中恢复低秩矩阵现在是众所周知的,在各种模型假设下的测量是可能的。这些结果证明了鲁棒性,并得到了可证明的理论保证的支持。然而,张量恢复的扩展只是最近才开始研究和开发,尽管有丰富的实际张量应用。最近,一个张量变量的迭代硬存储方法被提出,并获得了理论结果,保证准确恢复张量与低塔克秩。在本文中,我们利用相同的张量版本的限制等距属性(RIP),以扩展这些结果的低CANDECOMP/PARAFAC(CP)秩张量。在这样做的时候,我们利用最近的结果,有效的近似CP分解,消除了需要在以前的工作具有挑战性的假设。我们补充我们的理论研究结果与实证结果,展示了该方法的潜力。
2019-08-22 cs.NA math.NA stat.ML
Adaptive Iterative Hard Thresholding for Online High-dimensional Quantile Regression
Washington University in St. Louis(圣路易斯华盛顿大学)
提出自适应迭代硬阈值(AIHT)框架,通过延迟阈值发现支持、后期增加投影频率稳定估计,实现在线高维分位数回归的对数遗憾。
2026-06-26 cs.LG stat.ME stat.ML
Adaptive Hard Thresholding for Near-optimal Consistent Robust Regression
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);Microsoft Research, India(微软研究院印度分院)
本文研究了响应变量具有扰动的鲁棒线性回归问题。我们考虑了不经意的对手模型,对手在完全不知道数据的情况下破坏了一小部分响应。我们提供了一个几乎线性的时间估计,一致估计真实的回归向量,即使与腐败的$1-o(1)$分数。在这种情况下,现有的结果要么不能保证一致的估计,要么只能处理一小部分的腐败。我们还将我们的估计扩展到稳健的稀疏线性回归,并表明在这种情况下也有类似的保证。最后,我们将我们的估计应用于具有重尾噪声的线性回归问题,并表明即使噪声具有无界方差(例如,柯西分布),其中大多数现有的结果甚至不适用。我们的估计是基于一种新的变体的离群值去除通过硬阈值,其中阈值是自适应选择的,关键是依赖于随机性,以逃避坏的固定点的非凸硬阈值操作。
2019-03-19 cs.LG stat.ML
Robust High Dimensional Expectation Maximization Algorithm via Trimmed Hard Thresholding
State University of New York at Buffalo(纽约州立大学布法罗分校)
本文研究了高维空间({ \em,})中任意污染样本潜变量模型的估计问题$d\gg n$),其中假设基础参数是稀疏的。具体而言,我们提出了一种称为修剪(梯度)期望最大化的方法,该方法分别在期望步骤(E-步骤)和最大化步骤(M-步骤)中添加修剪梯度步骤和硬阈值步骤。我们表明,在一些温和的假设和适当的初始化,该算法是腐败的证明和收敛到(近)最佳统计率几何时,损坏的样本$ε$的分数是有界的$ \tilde{O}(\frac{1}{\sqrt{n}})$。此外,我们将我们的一般框架应用于三个典型模型:混合高斯模型,混合回归模型和缺失协变量的线性回归模型。我们的理论得到了全面的数值结果的支持。
2020-10-19 cs.LG stat.ML
Adversarial Contamination Meets Hard Thresholding: An Iterative Algorithm with Signal Adaptivity and Minimax Optimality
School of Statistics, Renmin University of China(中国人民大学统计学院);Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院)
提出两阶段对抗污染鲁棒迭代硬阈值(AC-IHT)算法,通过不同阈值尺度迭代更新系数和污染向量,实现高维回归的极小极大近优估计,并具有信号自适应性和强Oracle性质。
2026-06-29 cs.LG stat.ML
Regularized K-means through hard-thresholding
KU Leuven(鲁汶大学);University of British Columbia(英属哥伦比亚大学)
我们研究了一个框架的正则化$K$ -均值方法的基础上直接惩罚的大小的聚类中心。通过仿真和理论分析,对不同的惩罚策略进行了考虑和比较。基于这些结果,我们提出了HT $K$ -means,它使用$\ell_0$惩罚来诱导变量的稀疏性。不同的技术选择的调谐参数进行了讨论和比较。在广泛的仿真研究中,该方法与最流行的正则化$K$ -均值方法相一致。最后,HT $K$ -手段应用于几个实际数据的例子。在这些示例中呈现并使用图形显示,以更深入地了解数据集。
2020-10-02 cs.LG stat.ME stat.ML
Sample Efficient Stochastic Gradient Iterative Hard Thresholding Method for Stochastic Sparse Linear Regression with Limited Attribute Observation
NTT DATA Mathematical Systems Inc.(NTT数据数学系统公司);The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们开发了新的随机梯度法,有效地解决稀疏线性回归在部分属性观察设置,学习者只允许观察固定数量的积极选择的属性每个例子在训练和预测时间。结果表明,该方法在特征值约束条件下的误差为$\varepsilon$时,样本复杂度为$O(1/\varepsilon)$,且与现有方法相比,该速率对问题维数有更好的依赖性.特别地,如果最优解的非零分量的最小值不太小,我们提出的{ \it Hybrid}算法的速度可以提高到接近{ \it full information}算法的minimax最优样本复杂度.其核心思想是:(i)通过迭代使用硬阈值算子来配置探索算法,有效地构造无偏梯度估计器;以及(ii)探索和开发算法的自适应组合,用于快速识别最优的支持,并有效地搜索其支持中的最优参数。实验结果验证了我们的理论研究结果和我们提出的方法的优越性。
2018-12-01 cs.LG math.OC stat.ML
Stochastic Variance-Reduced Iterative Hard Thresholding in Graph Sparsity Optimization
Texas A&M University(德克萨斯农工大学)
针对复杂非凸图稀疏模型,本文提出两种基于随机方差缩减梯度的优化方法GraphSVRG-IHT和GraphSCSG-IHT,并构建理论框架证明其具有线性收敛速度。
2024-07-24 cs.AI cs.LG stat.ML
Estimate Exchange over Network is Good for Distributed Hard Thresholding Pursuit
我们研究了一个现有的分布式算法学习稀疏信号或数据网络。该算法是迭代的,并通过网络交换稀疏信号的中间估计。这种使用通过网络交换中间估计的学习策略需要用于信息传输的有限通信开销。我们在这篇文章中的目的是表明,该策略是好的学习,尽管有限的沟通。在追求这一目标,我们首先提供了一个限制等距性质(RIP)为基础的理论分析的迭代算法的收敛性。然后,使用模拟,我们表明,该算法提供了竞争力的性能,在学习稀疏信号相对于现有的替代分布式算法。交替分布式算法交换更多的信息,包括观测和系统参数。
2017-09-22 eess.SP stat.ML
Mask Iterative Hard Thresholding Algorithms for Sparse Image Reconstruction of Objects with Known Contour
我们开发了掩模迭代硬阈值算法(掩模IHT和掩模DORE)的稀疏图像重建的对象与已知的轮廓。测量遵循压缩采样文献中常见的噪声欠定线性模型。假设我们希望重建的对象的轮廓是已知的,并且轮廓外的信号为零,我们制定了一个约束残差平方误差最小化问题,该问题结合了几何信息(即对象轮廓的知识)和信号稀疏约束。我们首先介绍了一个掩码IHT方法,旨在解决这个最小化问题,并保证单调非增加的残差平方误差为给定的信号稀疏水平。然后,我们提出了一个双超松弛计划,以加快收敛的掩模IHT算法。我们还采用凸掩模重建方法,采用凸松弛的信号稀疏约束。在X射线计算机断层扫描(CT)中,我们提出了一种自动的计划,用于提取凸壳的被检对象从测量的正弦图;所获得的凸壳是用来捕捉对象的轮廓信息。我们通过数值模拟将所提出的掩模重建方案与现有的大规模稀疏信号重建方法进行比较,并证明,通过利用底层图像的几何轮廓信息及其小波系数的稀疏性,我们可以使用比现有方法少得多的测量来重建该图像。
2011-12-02 cs.IT math.IT stat.ML
Stochastic Iterative Hard Thresholding for Graph-structured Sparsity Optimization
SUNY at Albany(纽约州立大学奥尔巴尼分校)
随机优化算法以较低的每次迭代成本连续更新模型,这使得它们适合大规模数据分析。这种算法已经被广泛研究用于结构化稀疏模型,其中稀疏信息是非常具体的,例如,凸稀疏诱导范数或$\ell^0$ -范数。然而,这些规范不能直接应用于复杂的(非凸)图结构稀疏模型的问题,这在疾病爆发和社交网络等有重要的应用。在本文中,我们提出了一种基于随机梯度的方法来解决图结构稀疏约束问题,不限于最小二乘损失。我们证明了我们的算法具有线性收敛到一个常数的错误,这是竞争对手在批量学习设置。我们进行了大量的实验,以显示所提出的算法的效率和有效性。
2019-05-09 cs.AI cs.LG stat.ML
Compressive Sensing Using Iterative Hard Thresholding with Low Precision Data Representation: Theory and Applications
ETH Zurich(苏黎世联邦理工学院);Institute of Science and Technology Austria(奥地利科学技术研究所)
现代科学仪器产生大量数据,这些数据可能会压倒计算机系统的处理能力。有损数据压缩是一种有趣的解决方案,但也有其自身的缺点,例如潜在的信号丢失,以及需要仔细优化压缩比。在这项工作中,我们专注于这个问题特别严重的环境:用于干涉测量和医学成像的压缩传感框架。我们提出以下问题:在保证恢复和实际性能的情况下,是否可以降低所有输入的数据表示精度?我们的第一个贡献是一个理论分析的归一化迭代硬采样保持(IHT)算法时,所有的输入数据,这意味着测量矩阵和观测向量进行量化积极。我们提出了一种低精度归一化{IHT}的变体,在温和的条件下,仍然可以提供恢复保证。第二个贡献是我们的量子化框架的射电天文学和磁共振成像的应用。我们表明,降低数据的精度可以显着加快图像恢复。我们使用CPU和FPGA实现对望远镜数据和大脑图像样本进行评估,实现了高达9倍的速度提升,恢复质量损失可以忽略不计。
2020-12-22 cs.LG stat.ML
Efficient Relaxed Gradient Support Pursuit for Sparsity Constrained Non-convex Optimization
Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education(教育部智能感知与图像理解重点实验室);School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);Department of Computer Science, The University of Texas at Austin(德克萨斯大学奥斯汀分校计算机科学系)
大规模非凸稀疏约束问题近年来得到了广泛的关注。大多数现有的确定性优化方法(例如,GraSP)不适用于大规模和高维问题,因此具有硬阈值的随机优化方法(例如,#21453;变得更有吸引力。受GraSP算法的启发,提出了一种新的广义松弛梯度支持追踪算法框架(RGraSP),该框架中的子算法只需满足松弛下降条件。我们还设计了两个具体的半随机梯度硬阈值算法。特别地,我们的算法具有比SVRGHT少得多的硬阈值操作,并且它们的平均每次迭代成本低得多(即,O(d)vs. O(d log(d))for SVRGHT),这导致更快的收敛。我们在合成数据集和真实数据集上的实验结果表明,我们的算法优于最先进的梯度硬阈值方法。
2019-12-02 cs.CV cs.LG math.OC
Learning sparse generalized linear models with binary outcomes via iterative hard thresholding
University of California San Diego(加州大学圣迭戈分校)
本研究提出一种无需已知连接函数的二元迭代硬阈值(BIHT)算法,用于稀疏二元广义线性模型的参数估计,证明其统计效率,并在logistic回归中实现了统计最优性,probit回归样本复杂度与之同阶。
2025-09-03 cs.DS cs.IT cs.LG
New Hard-thresholding Rules based on Data Splitting in High-dimensional Imbalanced Classification
在二元分类中,不平衡是指一类严重代表性不足的情况。这个问题是由于数据收集过程或因为一个类确实是罕见的人口。不平衡分类经常出现在生物学、医学、工程学和社会科学等应用中。在本文中,我们首次从理论上研究了不平衡的类大小对线性判别分析(LDA)的高维影响。我们发现,由于数据稀缺的一类,被称为少数类,和高维的特征空间,LDA忽略少数类产生最大的错误分类率。然后,我们提出了一个新的建设的硬阈值规则的基础上的数据分裂技术,减少了大的差异之间的错误分类率。我们证明了该方法是渐近最优的。我们进一步研究了两个著名的稀疏版本的LDA在不平衡的情况下。我们评估有限样本的性能不同的方法,使用模拟和分析两个真实的数据集。结果表明,我们的方法要么优于其竞争对手,要么具有相当的性能,基于一个小得多的子集的选定功能,同时计算效率更高。
2022-01-06 stat.ME stat.ML
Iterative Hard Thresholding for Model Selection in Genome-Wide Association Studies
全基因组关联研究(GWAS)将个体样本中的标记变异与性状变异相关联。每个研究对象在跨越基因组的多个SNP(单核苷酸多态性)处进行基因分型。在这里,我们假设受试者是不相关的,随机收集的,特质值是正态分布或转化为正态分布。在过去的十年中,研究人员已经非常成功地将GWAS分析应用于数百种特征。这些研究中产生的大量数据提出了独特的计算挑战。采用LASSO或MCP惩罚的惩罚回归能够从数百万个潜在SNP中选择少数相关SNP。不幸的是,模型选择可能会被假阳性和假阴性所破坏,从而模糊了性状的遗传基础。将迭代硬阈值(IHT)算法引入连续性状的GWAS分析中。我们的IHT的并行实现适应SNP基因型压缩,并利用多个CPU内核和图形处理单元(GPU)。这使得统计遗传学家能够在GWAS分析中利用商用台式计算机,避免超级计算。我们在模拟和真实GWAS数据上评估了IHT的性能,并得出结论,它降低了假阳性和假阴性率,同时在计算时间上保持了与惩罚回归的竞争力。源代码可以在https://github.com/klkeys/IHT.jl上免费获得。
2017-07-25 stat.ML
Different thresholding methods on Nearest Shrunken Centroid algorithm
University of California, Davis(加州大学戴维斯分校);Kansas State University(堪萨斯州立大学);Tribhuvan University(特里布文大学)
本文针对 PAM 软阈值化保留特征过多的问题,引入硬阈值化、顺序阈值化和深度搜索算法改进最近收缩中心算法,在提升癌症分类准确率的同时显著减少特征数量。
2024-12-31 cs.LG stat.ML