Thresholding Projection Estimators in Functional Linear Models
考虑了泛函线性回归模型中回归函数的估计问题，提出了一种新的结合降维和阈值的投影估计。阈值规则的引入允许在广泛的假设下得到一致性，以及在额外的正则性假设下得到极大极小收敛率。我们还考虑了三角基所产生的Sobolev空间的特殊情况，它允许很容易地得到预测的均方误差以及回归函数的导数的估计。我们证明了这些估计是极大极小的，并给出了某些特殊情况下的收敛速度。
2008-12-17 math.ST stat.ME stat.TH
A unified spectral analysis of high-dimensional linear regression: debiasing and thresholding
School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；MSU-BIT-SMBU Joint Research Center of Applied Mathematics, Shenzhen MSU-BIT University（深圳北理莫斯科大学应用数学联合研究中心）
本文提出统一正则化框架，涵盖传统及七种新回归方法，并引入去偏阈值化技术以促进稀疏特征选择，理论上建立相合性与高斯逼近，数值模拟显示其有限样本性能优越。
2026-10-14 math.PR math.ST stat.TH
Approximate Risk Minimization Over Shrinking-Thresholding Rules in Normal Mean Estimation
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
该研究为正态均值估计中的收缩阈值规则构建近似风险最小化框架，推导最优条件，得到估计器NOMAD，发展相关理论并扩展框架到相关观测及线性回归，提供了统一的基于风险的框架。
2026-07-08 math.ST stat.AP stat.ME
Learning sparse generalized linear models with binary outcomes via iterative hard thresholding
University of California San Diego（加州大学圣迭戈分校）
本研究提出一种无需已知连接函数的二元迭代硬阈值（BIHT）算法，用于稀疏二元广义线性模型的参数估计，证明其统计效率，并在logistic回归中实现了统计最优性，probit回归样本复杂度与之同阶。
2025-09-03 cs.DS cs.IT cs.LG
Transfer Learning for Nonparametric Regression: Non-asymptotic Minimax Analysis and Adaptive Procedure
University of Pennsylvania（宾夕法尼亚大学）
本文研究非参数回归迁移学习的非渐近极小极大风险，提出置信度阈值估计量与数据驱动自适应算法，揭示自动平滑和超加速现象，并通过模拟与真实案例验证其性能。
2024-01-22 cs.LG stat.ML
Intrinsic wavelet regression for surfaces of Hermitian positive definite matrices
本文发展了Hermitian正定矩阵曲面的内在小波去噪方法，并将其应用于多元局部平稳时间序列的时变谱矩阵的非参数估计。首先，我们构造内在平均插值小波变换直接作用在曲面黎曼流形上的Hermitian正定矩阵的表面上的仿射不变度量。其次，我们推导了Hermitian正定矩阵的内在光滑曲面的小波系数衰减和线性小波阈值的收敛速度，并在黎曼流形的内在信号加噪声模型的背景下，研究了基于迹的小波系数的实用非线性阈值。通过模拟数据评估了非线性树结构迹阈值的有限样本性能，并将所提出的固有小波方法用于估计癫痫脑发作期间记录的非平稳多变量脑电图（EEG）时间序列的时变谱矩阵。
2019-05-21 stat.ME
MIST: L0 Sparse Linear Regression with Momentum
大量的注意力已经被给予最小化的惩罚最小二乘准则估计稀疏解的大型线性方程组。惩罚负责诱导稀疏性，自然选择是所谓的$l_0$范数。在本文中，我们开发了一个Momentumized迭代收缩保持（MIST）算法最小化所产生的非凸准则，并证明其收敛到局部极小。在大数据集上的仿真结果表明，该方法的性能优于其他方法。
2015-03-19 stat.ML
Multivariate Online Linear Regression for Hierarchical Forecasting
Sorbonne University（索邦大学）；Paris Cité University（巴黎城市大学）；CNRS（法国国家科学研究中心）；LOPF；LPSM
本文提出MultiVAW方法，将Vovk-Azoury-Warmuth算法推广至多元在线线性回归，证明其对数遗憾界，并应用于在线分层预测以放宽现有算法的分析假设。
2024-02-22 cs.LG math.OC stat.ML
Smoothed Online Optimization for Regression and Control
Caltech（加州理工学院）
我们认为在线凸优化（OCO）的设置中的成本是$m$ -强凸和在线学习者支付切换成本的轮之间改变决定。我们发现，最近提出的在线平衡下降（OBD）算法是恒定的竞争力，在这种设置中，与竞争比$3 + O(1/m)$，无论周围的尺寸。此外，我们表明，当成本函数的序列是$ε$ -光滑，OBD具有接近最佳的动态遗憾，并保持较强的每轮精度。我们证明了我们的方法的一般性，通过显示OBD框架可用于构建各种在线学习和控制问题的竞争算法，包括岭回归，逻辑回归，最大似然估计和LQR控制的在线变体。
2019-04-04 cs.DS cs.LG math.OC
Adaptive Hard Thresholding for Near-optimal Consistent Robust Regression
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软研究院印度分院）
本文研究了响应变量具有扰动的鲁棒线性回归问题。我们考虑了不经意的对手模型，对手在完全不知道数据的情况下破坏了一小部分响应。我们提供了一个几乎线性的时间估计，一致估计真实的回归向量，即使与腐败的$1-o(1)$分数。在这种情况下，现有的结果要么不能保证一致的估计，要么只能处理一小部分的腐败。我们还将我们的估计扩展到稳健的稀疏线性回归，并表明在这种情况下也有类似的保证。最后，我们将我们的估计应用于具有重尾噪声的线性回归问题，并表明即使噪声具有无界方差（例如，柯西分布），其中大多数现有的结果甚至不适用。我们的估计是基于一种新的变体的离群值去除通过硬阈值，其中阈值是自适应选择的，关键是依赖于随机性，以逃避坏的固定点的非凸硬阈值操作。
2019-03-19 cs.LG stat.ML
Adaptive thresholding for wavelet-based nonparametric heteroskedastic variance estimation on the sphere
Sapienza University of Rome（罗马第一大学）；Côte d’Azur University（蔚蓝海岸大学）；Centrale Méditerranée（地中海中央学院）
研究单位球面上空间变化的异方差函数非参数估计问题，提出基于局部球面框架、结合硬阈值协议和样本分割方案的全数据驱动多分辨率估计器，证明其在标准损失函数下达到极小极大最优收敛率，有空间适应性，在多领域有潜在应用。
2026-07-15 math.ST stat.TH
Scaled minimax optimality in high-dimensional linear regression: A non-convex algorithmic regularization approach
经典的高维线性回归问题的快速收敛问题已得到广泛的研究。可以说，在实践中最快的程序之一是迭代硬控制（IHT）。然而，IHT强烈依赖于真实稀疏参数$s$的知识。本文提出了一种新的高维线性回归估计的快速算法。利用估计，支持恢复和优化之间的相互作用，我们实现了最佳的统计精度和快速收敛。我们的程序的主要优点是，它是完全自适应的，使其比最先进的IHT方法更实用。我们的程序达到最佳的统计精度比，例如，经典算法的套索。此外，我们建立了尖锐的最优结果的估计和支持恢复。因此，我们提出了一种新的迭代硬阈值算法的高维线性回归，是规模的最小最大最优（实现的预言，知道稀疏模式的估计误差，如果可能的话），快速和自适应。
2020-08-27 math.ST stat.TH
Online Nonparametric Regression with General Loss Functions
University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）
本文建立了具有任意函数类和一般损失的在线回归的极大极小率。我们表明，低于一定的阈值的函数类的复杂性，极大极小率取决于曲率的损失函数和顺序的复杂性的类。在这个阈值之上，损失的曲率不影响费率。此外，对于平方损失的情况，我们的结果指出了有趣的现象：无论何时序列和i.i.d.经验熵匹配，统计和在线学习的比率是相同的。除了极大极小遗憾的研究，我们得到一个通用的预测，享有既定的最佳利率。我们还提供了设计在线预测算法的方法，这些算法对于某些问题可以在计算上高效。我们说明的技术，通过现有的和新的预测有限的专家和在线线性回归的情况下。
2015-01-26 cs.IT cs.LG math.IT
Sparsity regret bounds for individual sequences in online linear regression
École Normale Supérieure（巴黎高等师范学院）
考虑了任意确定性序列上的在线线性回归问题，当环境维数d可以远大于时间轮数T时。我们引入了稀疏遗憾界的概念，这是一个确定性的在线对应最近的风险界在稀疏的情况下，在随机设置。我们证明了这样的遗憾界的在线学习算法称为SeqSEW和指数加权和数据驱动的截断的基础上。在第二部分中，我们将该算法的无参数版本应用于随机设置（随机设计的回归模型）。这产生了与Dalalyan和Tsybakov（2011）相同的风险边界，但解决了其中两个悬而未决的问题。特别是我们的风险界是自适应的（对数因子）的未知方差的噪声，如果后者是高斯。我们还讨论了固定设计的回归模型。
2013-04-12 cs.LG math.ST stat.ML
Online Safety Monitoring for LLMs
研究通过阈值化外部模型的验证信号并利用风险控制校准阈值，实现LLM输出的实时安全监控，在数学推理和红队测试中与高级方法性能相当。
2026-07-03 cs.AI cs.CL cs.LG
Confidence Sets Based on Penalized Maximum Likelihood Estimators in Gaussian Regression
基于惩罚的最大似然估计，如LASSO，自适应LASSO，和硬阈值的置信区间进行了分析。在已知方差的情况下，有限样本覆盖性质，这样的间隔被确定，它表明，对称的间隔是最短的。基于硬阈值估计的最短间隔的长度大于基于自适应LASSO的最短间隔的长度，其大于基于LASSO的最短间隔的长度，其进而大于基于最大似然估计的标准间隔。在惩罚估计量被调整为具有“稀疏性”的情况下，基于这些估计量的区间比标准区间大数量级。此外，一个简单的渐近置信区间的建设在“稀疏”的情况下，也适用于平滑剪切绝对偏差估计，进行了讨论。已知方差的情况下的结果进行到未知方差的情况下，在适当的渐近意义。
2010-02-01 math.ST stat.ME stat.ML
Interaction Hard Thresholding: Consistent Sparse Quadratic Regression in Sub-quadratic Time and Space
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
二次回归涉及将响应建模为不仅是特征$x^{j_1}$而且是二次项$x^{j_1}x^{j_2}$的（广义）线性函数。在回归中包含这样的高阶“交互作用项”通常提供了一种简单的方法来提高已经高维问题的精度。然而，这将问题维度从线性$O(p)$扩展到二次$O(p^2)$，并且通常会寻找稀疏交互（通常通过解析法）。在本文中，我们提供了一个新的算法-交互硬约束保持（IntHT），这是第一个可证明准确地解决这个问题的次二次时间和空间。它是迭代硬控制的一个变体;它使用特殊的二次结构来设计一种新的方法来（近似）。在亚$p^2$时间和空间中提取$p^2$尺寸梯度的顶部元素。我们的主要结果是从理论上证明，尽管有许多加速相关的近似，IntHT线性收敛到一个一致的估计标准的高维稀疏恢复假设。我们还通过合成实验证明了它的价值。此外，我们数值表明，IntHT可以扩展到高阶回归问题，并从理论上分析了SVRG的IntHT的变种。
2019-11-08 cs.LG stat.ML
Minimax-optimal and Locally-adaptive Online Nonparametric Regression
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；INRIA（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；Vienna University（维也纳大学）
本文针对对抗性在线非参数回归提出一种无参数算法，通过修剪链式树动态适应局部 Hölder 平滑性，首次实现计算高效且局部自适应的极小极大最优速率。
2025-04-11 cs.LG math.ST stat.ML
Structured Sparse Regression via Greedy Hard-Thresholding
Microsoft Research（微软研究院）；Technicolor R & I（汤姆逊研发中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
一些学习应用程序需要解决高维回归问题，其中相关特征属于少量（重叠）组。对于非常大的数据集和标准稀疏性约束下，硬阈值方法已被证明是非常有效的，但这种方法需要NP硬投影时，处理重叠的群体。在本文中，我们表明，这种NP难预测不仅可以避免呼吁子模块优化，但这样的方法来与强有力的理论保证，即使在存在条件不佳的数据（即当两个功能有相关性$\geq 0.99$），现有的分析无法处理。这些方法表现出一个有趣的计算精度的权衡，并可以扩展到显着困难的问题，如稀疏重叠组。真实和合成数据上的实验验证了我们的主张，并表明所提出的方法比其他贪婪和凸松弛技术学习组结构稀疏的速度快几个数量级。
2016-05-27 cs.LG stat.ML
Finite-Sample Distribution Theory and Efficient Large-Scale Inference for Online Quantile Regression
University of Chicago（芝加哥大学）；Rice University（莱斯大学）；University of Miami（迈阿密大学）
本文提出基于常数学习率SSGD的在线分位数回归推断方法，证明有限样本高斯近似，提出后缀平均化解决偏差，避免协方差估计，实现高效且覆盖率理想的推断。
2026-10-06 cs.LG math.ST stat.ME
Online Censoring for Large-Scale Regressions with Application to Streaming Big Data
线性回归可以说是统计推断方法中最突出的，因其简单性和广泛的适用性而流行。与数据密集型应用程序一样，线性回归问题的庞大规模导致了对快速且经济高效的求解器的需求不断增长。幸运的是，可以省略很大一部分累积的数据，同时以可承受的计算预算保持一定质量的统计推断。本文介绍了基于随机逼近和数据截尾原理，以在线和数据自适应方式识别和省略“信息量较少”观察结果的方法。提出了基于一阶和二阶随机逼近的极大似然估计算法，用于估计删失观测的回归系数。在线算法也提出了自适应执行审查以及估计，以减少整体的复杂性。新的算法需要简单的封闭形式的更新，并有可证明的（非）渐近收敛保证。此外，特定的规则进行了研究，调整到所需的审查模式和降维水平。在真实和合成数据集上的模拟测试证实了所提出的数据自适应方法与基于数据不可知的随机投影的替代方法相比的有效性。
2015-07-27 stat.AP stat.ML
On an estimator achieving the adaptive rate in nonparametric regression under $L^p$-loss for all $1\leq p \leq \infty$
考虑$L^p$ -损失下的非参数函数估计。在一个光滑度指数为$β$的Hölder球上估计回归函数的极大极小化率为$n^{-β/(2β+1)}$，如果是$1\leq p<\infty$，而$(n/\log n)^{-β/(2β+1)}$，如果是$p=\infty.$有许多已知的方法可以在$p=\infty$上达到这个速率，但在$p<\infty$上通过$\log n$因子是次优的，或者相反。在这篇文章中，我们构建了一个估计，同时达到最佳率下$L^p$ -风险所有$1\leq p\leq \infty$没有先验知识的$β.$相比，经典的小波阈值方法，杀死小的经验小波系数，并保持大的，它是必不可少的同时适应，在每个分辨率水平上，最大的经验小波系数被截断。这导致了一个完全不同的观点小波阈值。在估计器的建设中的关键部分是截断水平的大小，这是链接到未知的平滑指数。虽然平滑度指数的估计是一项艰巨的任务，但有一个数据驱动的截断水平选择，对于我们的目的来说足够精确。
2015-02-07 math.ST stat.ME stat.TH
On rate optimal local estimation in nonparametric instrumental regression
考虑非参数工具回归中线性泛函的值估计问题，其中在存在工具W的情况下，响应Y依赖于内生解释变量Z建模。该估计器是基于降维和额外的阈值。假定结构函数和线性泛函的表示者属于某些椭球，这些椭球在某种意义上与Z的条件期望算子相联系，给出了估计量的极小极大最优收敛速率。我们说明这些结果考虑经典的平滑假设。
2009-02-12 math.ST stat.TH
Locally Private Online Quantile Regression: Estimation and Inference
York University（约克大学）；Shanghai University of Finance and Economics（上海财经大学）
研究单报告用户级ε-局部差分隐私协议下在线分位数回归的估计与推断。针对标准估计方程贡献耦合协变量与残差比较的难题，开发有限字母通道解决，建立相关性质，模拟等表明隐私预算增加时私有轨迹接近非私有在线参考。
2026-07-07 stat.ME stat.ML
On Iterative Hard Thresholding Methods for High-dimensional M-Estimation
Microsoft Research（微软研究院）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
在高维广义线性回归模型中使用M-估计需要在硬$L_0$约束下风险最小化。在已知的方法中，已知投影梯度下降（也称为迭代硬阈值（IHT））方法类提供最快和最可扩展的解决方案。然而，目前的国家的最先进的是只能分析这些方法在非常严格的设置，不持有在高维统计模型。在这项工作中，我们弥合了这一差距，提供了第一个分析的IHT式的方法在高维统计设置。我们的边界是紧的，并匹配已知的极大极小下界。我们的结果依赖于一个通用分析框架，该框架使我们能够在高维回归设置中分析几种流行的硬阈值风格算法（例如HTP、CoSaMP、SP）。我们还扩展我们的分析，以一个大家庭的“完全纠正的方法”，包括两个阶段和部分硬阈值算法。我们表明，我们的结果举行的稀疏回归问题，以及低秩矩阵恢复。
2014-10-21 cs.LG stat.ML
Nonconvex penalized multitask regression using data depth-based penalties
我们提出了一类新的非凸罚函数，基于数据深度函数，多任务稀疏惩罚回归。这些罚分量化了系数矩阵的行相对于以原点为中心的固定分布的相对位置。利用罚函数的局部线性逼近，推导了系数矩阵的近似一步稀疏估计的理论性质，并给出了计算算法。对于正交设计和独立响应，所得到的阈值规则具有接近极小极大的最优风险性能，类似于自适应套索（Zou，2006）。仿真研究和实际数据分析表明，该方法的有效性相比，目前的一些方法，提供稀疏的解决方案，多元回归。
2017-06-23 stat.ME
Online and Offline Robust Multivariate Linear Regression
本研究提出多元线性回归的在线与离线鲁棒估计方法，基于鲁棒马氏最小二乘准则，证明渐近正态性，并在合成数据上展示鲁棒性与计算效率优势。
2025-10-10 math.ST stat.ML stat.TH
Variable-width confidence intervals in Gaussian regression and penalized maximum likelihood estimators
硬阈值、LASSO、自适应LASSO和SCAD点估计器已经被建议用于当回归参数向量的大多数分量被认为是零（稀疏型假设）时的线性回归上下文中。Potscher和Schneider，2010年，Electronic Journal of Statistics，考虑了固定宽度置信区间的属性，其中包括这些点估计量之一（对于所有可能的数据值）。他们认为一个正常的线性回归模型与正交回归，并表明，这些置信区间是长于标准置信区间（基于极大似然估计）时，这些点估计的调整参数选择，导致保守或一致的模型选择。我们将这种分析扩展到可变宽度置信区间的情况，其中包括这些点估计（对于所有可能的数据值）。与Potscher和Schneider的这些发现一致，我们发现这些置信区间与标准置信区间相比表现不佳，当选择这些点估计的调谐参数以导致一致的模型选择时。然而，当这些点估计的调整参数被选择，导致保守的模型选择，我们的结论不同于Potscher和Schneider。我们考虑Farchione和Kabaila，2008，Statistics & Probability Letters中的可变宽度置信区间，在稀疏性假设中存在信念的情况下，它比标准置信区间具有优势。这些可变宽度的置信区间，包括硬阈值，LASSO，自适应LASSO和SCAD估计（所有可能的数据值），这些估计的调谐参数被选择属于一个适当的区间。
2010-08-25 stat.ME
Statistical Inference for Linear Functionals of Online SGD in High-dimensional Linear Regression
本文针对过参数化高维线性回归中的在线SGD，建立了线性泛函的高维中心极限定理，并提出了在线方差估计方法，从而实现了完全在线、数据驱动的置信区间构造，为SGD的高维算法推断提供了首个理论保证。
2025-10-23 math.OC math.PR math.ST
Online survival analysis with quantile regression
本文针对流式删失数据提出一种基于二次损失近似和majorize-minimize算法的在线分位数回归方法，在更弱假设下保持与oracle估计量相同的收敛速度与统计效率，并显著降低计算和存储负担。
2025-07-21 math.ST stat.TH
Path Thresholding: Asymptotically Tuning-Free High-Dimensional Sparse Regression
在本文中，我们解决了高维稀疏回归的调整参数选择的挑战性问题。我们提出了一个简单的和计算效率高的方法，称为路径阈值（PaTh），将任何调整参数相关的稀疏回归算法到一个渐进的调谐免费稀疏回归算法。更具体地说，我们证明，随着问题的大小变得很大（在变量的数量和观测的数量），在适当的条件下，在不指定调整参数的情况下，PaTh执行精确的稀疏回归。在有限维设置中，我们证明了，PaTh可以减轻模型选择算法的计算负担，显着减少搜索空间的调整参数。
2014-02-23 cs.IT math.IT math.ST
Robust High Dimensional Expectation Maximization Algorithm via Trimmed Hard Thresholding
State University of New York at Buffalo（纽约州立大学布法罗分校）
本文研究了高维空间（{ \em，}）中任意污染样本潜变量模型的估计问题$d\gg n$），其中假设基础参数是稀疏的。具体而言，我们提出了一种称为修剪（梯度）期望最大化的方法，该方法分别在期望步骤（E-步骤）和最大化步骤（M-步骤）中添加修剪梯度步骤和硬阈值步骤。我们表明，在一些温和的假设和适当的初始化，该算法是腐败的证明和收敛到（近）最佳统计率几何时，损坏的样本$ε$的分数是有界的$ \tilde{O}(\frac{1}{\sqrt{n}})$。此外，我们将我们的一般框架应用于三个典型模型：混合高斯模型，混合回归模型和缺失协变量的线性回归模型。我们的理论得到了全面的数值结果的支持。
2020-10-19 cs.LG stat.ML
Robust Regression via Hard Thresholding
Microsoft Research India（微软研究院印度）
研究了多个响应变量可能被逆向破坏的鲁棒最小二乘回归问题。更具体地，对于数据矩阵X \in R^{p × n}和底层模型w*，响应向量被生成为y = X 'w * + b，其中b \in R^n是在至多C.n坐标上支持的损坏向量。RLSR的现有精确恢复结果仅关注基于L1惩罚的凸公式，并施加相对严格的模型假设，例如要求腐败b独立于X选择。在这项工作中，我们研究了一个简单的硬阈值算法，称为TORSTO，在X上的温和条件下，即使b以对抗的方式破坏响应变量，也可以精确地恢复w*，即在观察X和w* 之后，b的支持和条目都被对抗地选择。我们的结果下，满足确定性假设，如果X是从任何亚高斯分布采样。最后，不同于现有的结果，只适用于一个固定的w*，独立产生的X，我们的结果是普遍的，并保持任何w* \in R^p。接下来，我们提出了基于梯度下降的扩展TORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTORTOR…
2015-06-08 cs.LG stat.ML
Statistical Inference for High-Dimensional Robust Linear Regression Models via Recursive Online-Score Estimation
本文提出将递归在线得分估计（ROSE）框架扩展至非凸惩罚M估计，用于稳健高维线性回归的估计与推断，并证明估计量的一致性与渐近正态性，模拟和实际应用验证了其优越性。
2025-04-12 math.ST stat.ME stat.TH
When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression
Institute for Global Prosperity, The Bartlett, University College London（全球繁荣研究所，巴特利特学院，伦敦大学学院）
本文研究了在回归任务中使用置信度阈值的校准问题，提出了一种校准意识的诊断工具，通过分析残差分数方差预测偏倚，为伪标签流程提供决策规则。
2026-05-12 cs.LG stat.ME stat.ML
Robust High-Dimensional Regression with Coefficient Thresholding and its Application to Imaging Data Analysis
在实际应用中，如成像数据分析，在存在复杂相关性和可能的离群值的情况下，发展统计技术来分析高维数据是非常重要的。我们提出了一个新的鲁棒高维回归系数阈值，在一个有效的非凸估计过程中提出了通过阈值函数和鲁棒Huber损失。所提出的正则化方法考虑了预测变量中复杂的依赖结构，并且对结果中的离群值具有鲁棒性。在理论上，我们严格地分析了人口的景观和经验的风险函数所提出的方法。精细的景观使我们能够建立在高维设置下的{统计一致性和计算收敛}。所提出的方法的有限样本特性进行了广泛的模拟研究。现实世界的应用的一个例子涉及一个标量图像回归分析的关联，精神障碍的精神病理学的一般因素与功能提取的任务功能磁共振成像数据在青少年大脑认知发展研究。
2021-09-30 math.ST stat.CO stat.ME
Distributional Results for Thresholding Estimators in High-Dimensional Gaussian Regression Models
本文研究了线性回归模型中硬阈值、软阈值和自适应软阈值估计量的分布，其中参数k的个数可以依赖于样本量n，并且可能随n而发散。除了已知误差方差的情况下，我们定义和研究版本的估计误差方差是未知的。我们推导出每个估计量的有限样本分布，并研究其在大样本极限下的行为，还研究了当自由度n-k不趋于无穷大或非常缓慢地趋于无穷大时必须估计方差的影响。我们的分析包括两种情况下，估计量进行调整，以执行一致的模型选择和估计量进行调整，以执行保守的模型选择。进一步讨论了相容性、一致相容性，并得到了在任意调节下的一致收敛性.
2011-12-16 math.ST stat.ME stat.ML
Least Absolute Gradient Selector: Statistical Regression via Pseudo-Hard Thresholding
线性模型中的变量选择在现代统计学中起着举足轻重的作用。硬阈值方法，如$l_0$正则化理论上是理想的，但计算上是不可行的。在本文中，我们提出了一种新的方法，称为LAGS，简称“最小绝对梯度选择器”，这个具有挑战性的有趣的问题，通过模仿离散选择过程的$l_0$正则化。为了在噪声影响下估计$β$，我们考虑如下凸规划[ \hat β = \textrm{arg min} \frac{1}{n} \|X^{T}（y-X β）\|_1 + λ_n \sum_{i = 1}^p w_i（y;X;n）].| β i|] $λ_n > 0$控制稀疏性，$w_i > 0$依赖于$y, X$，$n$是不同$β_i$的权重; $n$是样本量。令人惊讶的是，我们将在本文中显示，无论是几何和分析，LAGS享有两个有吸引力的性质：（1）LAGS表现出离散选择行为和硬阈值性质的$l_0$正则化的战略选择$w_i$，我们称之为“伪硬阈值”;（2）渐近，LAGS是一致的，能够发现真正的模型;非渐近地，LAGS能够识别模型中的稀疏性，并且系数的预测误差在噪声水平上被限制到对数因子- $\log p$，其中$p$是预测因子的数量。在计算上，LAGS可以有效地解决其凸性的凸规划例程或单纯形算法后，重铸成一个线性规划。数值仿真结果表明，LAGS方法在均方误差和模型的简约性方面优于软阈值方法。
2012-10-19 stat.AP stat.ME stat.ML
Different thresholding methods on Nearest Shrunken Centroid algorithm
University of California, Davis（加州大学戴维斯分校）；Kansas State University（堪萨斯州立大学）；Tribhuvan University（特里布文大学）
本文针对 PAM 软阈值化保留特征过多的问题，引入硬阈值化、顺序阈值化和深度搜索算法改进最近收缩中心算法，在提升癌症分类准确率的同时显著减少特征数量。
2024-12-31 cs.LG stat.ML
Heavy Lasso: sparse penalized regression under heavy-tailed noise via data-augmented soft-thresholding
针对高维线性回归中的重尾噪声与异常值问题，提出结合 Student's t 型损失、数据增强和软阈值算法的 Heavy Lasso，并给出非渐近误差界与 R 实现。
2025-06-09 stat.ME stat.ML
Adversarial Contamination Meets Hard Thresholding: An Iterative Algorithm with Signal Adaptivity and Minimax Optimality
School of Statistics, Renmin University of China（中国人民大学统计学院）；Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）
提出两阶段对抗污染鲁棒迭代硬阈值（AC-IHT）算法，通过不同阈值尺度迭代更新系数和污染向量，实现高维回归的极小极大近优估计，并具有信号自适应性和强Oracle性质。
2026-06-29 cs.LG stat.ML
Thresholding Graph Bandits with GrAPL
Rice University（莱斯大学）；Arizona State University（亚利桑那州立大学）
在本文中，我们介绍了一种新的在线决策范式，我们称之为持有图强盗。其主要目标是有效地识别一个子集的武器在多臂土匪问题的手段是高于指定的阈值。虽然传统上在这样的问题中，手臂被假设为是独立的，在我们的范例中，我们进一步假设我们可以以图形的形式访问手臂之间的相似性，从而使我们能够在更少的样本中获得关于手臂均值的信息。这样的设置在广泛的现代决策问题中发挥着关键作用，尽管每次都有大量的选项，但仍然需要做出快速决策。我们提出了GrAPL，一种新的阈值图强盗问题的算法。我们从理论上证明，该算法是有效的，利用图结构时，可用和奖励函数同伦（强连接的武器有类似的奖励）时，有利的。我们证实了这些理论研究结果，通过实验合成和真实的数据。
2020-03-24 cs.LG stat.ML
Quantile universal threshold: model selection at the detection edge for high-dimensional linear regression
为了从具有高斯噪声的数据中估计稀疏线性模型，来自lasso和压缩感知文献的一致性在于，阈值估计器（如lasso和Dantzig选择器）在某些情况下能够以高概率渐近地识别显著协变量的一部分，并且由于凸性而在数值上易于处理。然而，阈值参数$λ$的选择在实践中仍然至关重要。为了这个目的，我们提出了分位数的通用采样保持，在检测边缘的$λ$的选择。我们用大量的模拟和真实数据表明，在高真阳性率和低错误发现率之间实现了极好的折衷，也导致了良好的预测风险。
2014-12-05 stat.ME stat.ML
Between hard and soft thresholding: optimal iterative thresholding algorithms
迭代阈值算法寻求通过在降低目标的梯度步骤和强制约束的阈值步骤之间交替来优化稀疏性或秩约束上的可微目标函数。这项工作探讨了阈值算子的选择，并询问是否有可能实现更强的保证比什么是可能的硬阈值。我们开发的阈值算子，一个数量的特征的最坏情况下的收敛性能的任何阈值算子的目标优化问题的相对收敛的概念。令人惊讶的是，我们发现，常用的阈值算子，如硬阈值和软阈值，是次优的最坏情况下的收敛保证。相反，一般类的阈值算子，躺在硬阈值和软阈值之间，是最佳的最强可能的收敛保证所有阈值算子。该通用类的示例包括具有$q$的适当选择的$\ell_q$阈值化和新定义的{ \em倒数阈值化}算子。我们还研究了稀疏线性回归的统计设置中的改进的优化保证的影响，并表明，这类新的阈值算子达到最佳的计算效率估计率，匹配的Lasso。
2019-07-30 math.ST stat.CO stat.ME
Robust Regression via Online Feature Selection under Adversarial Data Corruption
Virginia Tech（弗吉尼亚理工大学）；George Mason University（乔治梅森大学）；U. S. Army Corps of Engineers（美国陆军工程兵团）
用户生成的流数据（如社交媒体）中存在数据损坏，这激发了一个新的基本问题，即当特征不能一次完全访问时，学习可靠的回归系数。到目前为止，几个重要的挑战仍然无法同时处理：1）当只有部分特征可访问时，损坏的数据估计; 2）当数据包含对抗性损坏时，在线特征选择;以及3）扩展到大规模数据集。本文提出了一种新的RObust回归算法通过在线特征选择（\textit{RoOFS}），同时解决所有上述挑战。具体地说，该算法通过一个强大的在线特征替换方法迭代地更新回归系数和未损坏的集合。我们还证明了我们的算法有一个有限的误差界相比，最优解。在合成数据集和真实数据集上的大量实验表明，该方法在恢复特征选择和回归系数方面均优于现有方法，具有非常有竞争力的效率.
2019-02-05 cs.LG stat.ML
Efficient Methods for Online Multiclass Logistic Regression
Google Research（谷歌研究院）
多类逻辑回归是机器学习中的一个基本任务，在分类和提升中有应用。先前的工作（Foster等人，2018）强调了不适当的预测因子对于在线多类逻辑回归问题中实现“快速率”的重要性，而不会受到次要问题参数的指数影响，例如比较类中预测因子的范数。虽然Foster et al.（2018）引入了一种统计上最优的算法，但实际上它在计算上是难以处理的，因为它的运行时复杂度是输入特征向量的时间范围和维度的大多项式。在本文中，我们开发了一种新的算法，FOLKLORE，运行速度显着比福斯特等人的算法的问题。（2018）-每次迭代的运行时间在维度上呈二次缩放-代价是对遗憾界中预测因子的范数具有线性依赖性。这产生了第一个实用的在线多类逻辑回归算法，解决了一个开放的问题福斯特等人。（2018年）。此外，我们表明，我们的算法可以应用于在线强盗多类预测和在线多类提升，产生更实用的算法相比，在福斯特等人的这两个问题。（2018年）具有类似的性能保证。最后，我们还提供了一个在线到批量转换的结果，我们的算法。
2021-10-10 cs.LG stat.ML
A Chaining Algorithm for Online Nonparametric Regression
EDF R&D（法国电力研发中心）；HEC Paris（巴黎高等商学院）；CNRS（法国国家科学研究中心）；Institut de Mathématiques de Toulouse, Université Paul Sabatier（保罗·萨巴捷大学图卢兹数学研究所）
本文研究了任意确定性序列的在线非参数回归问题。利用链接技术的思想，我们设计了一个算法，该算法实现了一个类似于Rakhlin和Sridharan（2014）以非建设性方式获得的Dudley型遗憾界限。我们的遗憾界表示的度量熵的超级规范，产生最佳的保证时，度量和序列熵的数量级相同。特别是我们的算法是第一个实现最佳速率在线回归H{<$}lder球。此外，我们在这个例子中展示了如何调整我们的链接算法，以获得合理的计算效率，具有类似的遗憾保证（最多可达对数因子）。
2015-07-01 cs.LG stat.ML
Online Multi-target regression trees with stacked leaf models
University of São Paulo（圣保罗大学）；State University of Londrina（隆德里纳州立大学）
当前机器学习面临的挑战之一是如何处理数据流中以越来越高的速率出现的数据。需要新的预测学习策略来应对高吞吐量数据和概念漂移。其中一个需要新的学习策略的数据流挖掘任务是多目标回归，因为它适用于大量的现实问题。虽然已经提出了可靠和有效的学习策略，批量多目标回归，很少有人提出多目标在线学习数据流。此外，大多数现有的解决方案在进行预测时不考虑目标间相关性的发生。在这项工作中，我们提出了一种新的在线学习策略的多目标回归数据流。该策略扩展了现有的在线决策树学习算法，以探索目标间的依赖关系，同时进行预测。为此，所提出的策略，称为堆叠单目标Hoeffding树（SST-HT），使用目标间的依赖关系作为一个额外的信息源，以提高预测精度。在整个广泛的实验设置，我们评估我们的建议对国家的最先进的决策树为基础的算法在线多目标回归。根据实验结果，SST-HT提出了优越的预测精度，在处理时间和内存需求的小增加。
2020-03-10 cs.LG stat.ML
Projective Quadratic Regression for Online Learning
Tencent（腾讯）
本文考虑在线凸优化（OCO）问题-在线学习算法设计的首要框架。OCO环境中的学习任务的损失函数是基于流数据的，因此OCO是一个强大的工具来建模大规模的应用，如在线推荐系统。同时，由于现代特征工程技术，现实世界的数据通常是极高维的，因此二次回归是不切实际的。因子分解机及其变体是低秩矩阵模型捕获特征交互的有效模型，但由于它们的非凸性，它们不能满足OCO设置。本文提出了一种投影二次回归（PQR）模型。首先，它可以捕获输入的二阶特征信息。第二，它是一个凸模型，所以OCO的要求，可以实现全局最优解。此外，可以直接应用现有的现代在线优化方法，例如在线梯度下降（OGD）或跟随正则化领导者（FTRL）。此外，通过选择适当的超参数，我们证明了它具有与线性模型相同的空间和时间复杂度，从而可以处理高维数据。实验结果表明，所提出的PQR模型的准确性和效率方面的性能与国家的最先进的方法进行比较。
2019-11-25 cs.LG stat.ML
Online Infinite-Dimensional Regression: Learning Linear Operators
University of Michigan（密歇根大学）
本文研究无限维 Hilbert 空间间线性算子的在线平方损失回归，刻画 p-Schatten 范数有界类的可学习性，并证明算子范数有界类不可学及一致收敛与可学习性的分离。
2024-01-25 cs.LG stat.ML
Achieving Online Regression Performance of LSTMs with Simple RNNs
Bilkent University（比尔肯特大学）；Turkcell Technology（Turkcell技术公司）；DataBoss A.S.（DataBoss公司）
递归神经网络（RNN）由于其泛化非线性时间依赖性的能力而被广泛用于在线回归。作为RNN模型，长短期记忆网络（LSTM）在实践中通常是首选的，因为这些网络能够学习长期依赖性，同时避免消失梯度问题。然而，由于它们的大量参数，与简单RNN（SRNN）相比，训练LSTM需要相当长的训练时间。在本文中，我们实现了在线回归性能的LSTM与SRNN有效。为此，我们引入了一个一阶训练算法的线性时间复杂度的参数的数量。我们表明，当用我们的算法训练SRNN时，它们在两到三倍的训练时间内提供了与LSTM非常相似的回归性能。我们提供强有力的理论分析，以支持我们的实验结果，我们的算法的收敛速度提供遗憾的界限。通过大量的实验，我们验证了我们的理论工作，并证明了我们的算法相对于LSTM和其他最先进的学习模型的显着性能改进。
2021-05-31 cs.LG stat.ML
Structured Input-Output Lasso, with Application to eQTL Mapping, and a Thresholding Algorithm for Fast Estimation
我们考虑的问题，学习高维多任务回归模型，稀疏性约束下引起的存在下的分组结构的输入协变量和输出预测。这个问题主要是由表达数量性状基因座（eQTL）定位引起的，其目标是发现基因组（输入）中的遗传变异，这些遗传变异影响多个共表达基因（输出）的表达水平，无论是上位性的，还是多效性的，或者两者兼而有之。一个结构化的输入输出套索（SIOL）模型的基础上，一个复杂的l1/l2范数惩罚的回归系数矩阵，使发现复杂的稀疏输入/输出关系，和一个高效的新的优化算法，称为分层组阈值（HiGT）的开发，以解决由此产生的不可微，不可分离的，和超高维的优化问题。我们在模拟和酵母eQTL数据集上表明，我们的模型可以更好地恢复输入和输出之间的结构化稀疏关系，并且我们的算法在同一模型下显着优于其他优化技术。此外，我们提出了一种新的方法，有效地和有效地检测输入的相互作用，利用现有的知识，从生物实验。
2012-05-09 q-bio.GN q-bio.QM stat.AP
Low Complexity Approximate Bayesian Logistic Regression for Sparse Online Learning
Google（谷歌）；Purdue University（普渡大学）
理论结果表明，贝叶斯方法可以实现在线逻辑回归的遗憾下界。然而，在实践中，这种技术可能不可行，特别是对于非常大的特征集。对于巨大的稀疏特征集，必须使用各种近似，从而减少理论上的优势。通常，他们应用随机梯度方法，超参数必须根据一些替代损失进行调整，从而击败贝叶斯方法的理论优势。替代损失，定义为近似的混合，需要的技术，如蒙特卡罗抽样，增加每个例子的计算。我们提出了低复杂度的分析近似稀疏在线逻辑和概率回归。与变分推理和其他方法不同，我们的方法使用解析闭合形式，大大降低了计算量。与密集的解决方案不同，作为高斯混合，我们的方法允许具有巨大特征集的稀疏问题，而不会增加复杂性。使用解析闭合形式，也不需要对代理损失应用随机梯度方法，也不需要调整和平衡学习和正则化超参数。经验结果顶部的性能更涉及计算的方法。像这样的方法，我们的方法仍然揭示每个功能和每个例子的不确定性措施。
2021-01-28 cs.LG stat.ML
Online Nonparametric Regression
University of Pennsylvania（宾夕法尼亚大学）
我们建立了在线回归的最佳速率为任意类的回归函数的序贯熵（Rakhlin，Sridharan，Tewari，2010）。最佳速率显示出类似于i.i.d./统计学习案例，研究于（Rakhlin，Sridharan，Tsybakov 2013）。在序列熵和i.i.d.经验熵匹配，我们的结果指出了一个有趣的现象，统计学习平方损失和在线非参数回归的速度是相同的。除了非算法研究的极大极小遗憾，我们展示了一个通用的预测，享有既定的最佳利率。我们还提供了一个配方设计在线回归算法，可以计算效率。我们说明的技术，通过现有的和新的预测有限的专家和在线线性回归的情况下。
2014-02-11 cs.LG math.ST stat.ML
