Online and Distribution-Free Robustness: Regression and Contextual Bandits with Huber Contamination
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
在这项工作中，我们重新审视两个经典的高维在线学习问题，即线性回归和上下文强盗，从对抗鲁棒性的角度。算法鲁棒统计中的现有工作做出强分布假设，以确保输入数据均匀分布或来自良好的生成模型。即使完全没有分布假设，我们被要求解决的任务序列是自适应和逆向选择的，是否有可能实现强鲁棒性保证？我们对线性回归和上下文强盗都肯定地回答这个问题。事实上，我们的算法在传统方法失败的地方取得了成功。特别是，我们显示出强大的下界对Huber回归和更一般的任何凸M-估计。我们的方法是基于一种新的交替最小化方案，交织普通最小二乘法与一个简单的凸规划，找到最佳的重新加权的分布下的频谱约束。我们的研究结果获得基本上最佳的依赖污染水平$η$，达到最佳的击穿点，并自然地适用于无限维的设置，其中的特征向量通过内核映射表示隐式。
2021-06-10 cs.DS cs.LG stat.ML
Asymmetric Huber Periodogram
Guanghua School of Management, Peking University（光华管理学院，北京大学）；Anhui University（安徽大学）
本文提出新型谱M估计器非对称Huber周期图（AHP），基于三角非对称Huber回归构造，具更高计算效率与全面表征能力，经理论分析及模拟、应用验证其在时间序列相关任务中有效。
2026-08-26 stat.ME
Adaptive Robust Confidence Intervals
本文研究污染比例未知时Huber模型下自适应稳健置信区间的构造，证明其最优长度需比非自适应情形指数级更宽，并通过同时量化所有分位数的不确定性实现最优构造，进而推广到一般稳健假设检验。
2025-06-03 math.ST stat.ME stat.TH
Robust Statistical Inference for Large-dimensional Matrix-valued Time Series via Iterative Huber Regression
针对维数发散且误差可能厚尾的矩阵因子模型，本文提出基于迭代 Huber 回归的稳健估计与因子数识别方法，并通过模拟及中美两类数据集验证其有效性。
2023-06-05 stat.ME
A New Perspective on Robust $M$-Estimation: Finite Sample Theory and Applications to Dependence-Adjusted Multiple Testing
重尾误差会损害最小二乘估计的精度，而这可能会被单个严重偏离的观测值破坏。正如彼得·胡贝尔（Peter Huber）在1973年的开创性著作中所论证的那样[{ \it Ann. Statist.} { \bf 1}（1973）799- 821]，迫切需要最小二乘法的稳健替代方法。为了实现对重尾采样分布的鲁棒性，我们重新审视了Huber估计从一个新的角度，让调谐参数涉及偏离样本量。在本文中，我们开发的非渐近浓度的结果，这样一个自适应的Huber估计，即调整参数适应样本量，尺寸，和噪声的方差的Huber估计。具体地说，我们得到了一个次高斯型偏差不等式和非渐近Bahadur表示时，噪声变量只有有限的二阶矩。非渐近结果进一步产生两个传统的正常的近似结果是独立的利益，Berry-Esseen不等式和Cramér型中度偏差。作为大规模同时推理的一个重要应用，我们将这些稳健的正态近似结果应用于分析中等重尾数据的依赖调整多重检验过程。结果表明，稳健的依赖性调整过程渐近控制总体错误发现比例在名义水平下温和的时刻条件。模拟和真实数据集上的彻底的数值结果也支持我们的理论。
2017-11-15 math.ST stat.ME stat.TH
Bandits Corrupted by Nature: Lower Bounds on Regret and Robust Optimistic Algorithm
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
我们研究了腐败的强盗问题，即一个随机的多臂强盗问题与$k$未知的奖励分布，这是重尾和腐败的历史独立的对手或自然。具体地说，通过玩手臂获得的奖励来自相应的概率为$1-\varepsilon \in (0.5,1]$的重尾奖励分布和概率为$\varepsilon \in [0,0.5)$的无界支持的任意腐败分布。首先，我们提供任何损坏的强盗算法的$\textit{a problem-dependent lower bound on the regret}$。下界表明，腐败的强盗问题是困难的，比经典的随机强盗问题与亚高斯或重尾奖励。接下来，我们提出了一种新型的UCB类型的腐败强盗算法，即HubUCB，它建立在Huber的估计器之上，用于鲁棒均值估计。利用Huber估计的一个新的集中不等式，我们证明了HubUCB达到了一个接近最优的后悔上界。由于计算Huber估计具有二次复杂性，我们进一步介绍了一个顺序版本的Huber估计，表现出线性复杂性。我们利用这个顺序估计设计SeqHubUCB，享受类似的遗憾保证，同时减少计算负担。最后，我们通过实验说明了HubUCB和SeqHubUCB在解决不同奖励分配和不同腐败程度的腐败土匪的效率。
2023-03-21 cs.LG math.ST stat.TH
Asymptotic normality of robust $M$-estimators with convex penalty
本文在高维情形下得到了具有凸罚的稳健M-估计的个体坐标的渐近正态性结果，其中维数$p$至多与样本容量$n$的阶数相同，即对于某一固定常数$γ>0$，为$p/n\leγ$.渐近正态性需要一个偏差校正，并保持了一个大类的损失函数，包括Huber损失和它的平滑版本正则化的强凸惩罚的M-估计的大多数坐标。渐近方差的特点，得到的置信区间的宽度估计与数据驱动的数量。这种方差估计自动适应于低（$p/n\to0)$）或高（$p/n \le γ$）维，并且不涉及在以前的M估计量的渐近正态性中看到的邻近算子。对于Huber损失，估计的方差具有涉及有效自由度以及有效样本大小的简单表达式。详细研究了弹性网络惩罚的Huber损失情况，并通过仿真研究证实了理论研究结果。本文给出的球面上高维随机向量的Stein公式的渐近正态性结果是独立的。
2021-07-08 math.ST stat.ML stat.TH
Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation
University of Science and Technology of China（中国科学技术大学）；City University of Hong Kong（香港城市大学）；Laboratoire de Physique de l’École Normale Supérieure, Université PSL, CNRS, Sorbonne Université, Université de Paris（巴黎高等师范学院物理实验室，PSL大学，法国国家科学研究中心，索邦大学，巴黎大学）
针对双层优化在重尾噪声下的不稳定性，提出分布感知框架RQ-TTSA，利用历史梯度缓冲估计滚动分位数进行自适应Huber裁剪，在非凸强凸假设下达到最优收敛率，实验验证其鲁棒性和低计算开销。
2026-06-23 cs.LG
Huber-robust likelihood ratio tests for composite nulls and alternatives
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种基于e值的鲁棒似然比检验方法，用于处理数据中存在任意污染的情况，通过分析LFD对和TV邻域，实现了对复合原假设和替代假设的有效检验。
2025-12-24 stat.ME
On robust learning in the canonical change point problem under heavy tailed errors in finite and growing dimensions
本文对典型变化点估计问题提出了一些新的发现。第一部分研究了在一个简单的树桩模型中使用鲁棒的Huber估计函数，该函数在基于$\ell_1$（绝对偏差）和$\ell_2$（最小二乘）的准则之间进行插值。虽然$\ell_2$准则已被广泛研究，但其稳健的对应物，特别是$\ell_1$最小化问题还没有。在Huber估计函数下，得到了估计变点的极限分布，并与$\ell_2$准则下的极限分布进行了比较.理论和实证研究表明，它是更有利的使用Huber估计函数（特别是，$\ell_1$标准）下重尾误差，因为它会导致较小的渐近置信区间相比，在通常的水平$\ell_2$标准。我们还比较了并行设置中的$\ell_1$和$\ell_2$方法，其中一个具有$m$独立的单变点问题，目标是控制估计的变点与真实值的最大偏差，并严格建立$\ell_1$估计标准提供了优于$\ell_2$的收敛速率，并且该相对优势是由误差分布的尾部的沉重程度驱动的。最后，我们推导出最小最大最优速率的变化平面估计问题的增长的维度和证明，Huber估计达到最优速率，而$\ell_2$计划产生一个率次优估计重尾错误。在得到结果的过程中，我们建立了复合二项过程和复合Poisson过程的极小元的一些性质。
2021-05-25 math.ST stat.TH
Robust Geodesic Regression
Seoul National University（首尔大学）
研究了黎曼流形上数据的稳健回归问题。测地线回归是将线性回归推广到具有流形值因变量和一个或多个实值自变量的设置。现有的测地线回归工作使用平方和误差来找到解决方案，但在经典的欧几里德的情况下，最小二乘法是高度敏感的离群值。在本文中，我们使用M-型估计，包括$L_1$，Huber和Tukey双权估计，进行稳健测地回归，并描述如何计算后两者的调整参数。我们还表明，在紧凑的对称空间，所有的M型估计是极大似然估计，并认为整体的优越性的$L_1$估计的$L_2$和Huber估计的高维流形和Tukey biwight估计紧凑的高维流形。数值例子的结果，包括真实的神经影像数据的分析，证明了所提出的方法有前途的经验性质。
2022-01-25 cs.LG stat.ME stat.ML
Enveloped Huber Regression
当误差服从重尾分布时，Huber回归（HR）是最小二乘回归的一种流行的稳健替代方法。我们提出了一种新的方法称为包络Huber回归（EHR）考虑包络假设，存在一些子空间的预测，没有与响应，这是被称为非物质部分。更有效的估计是通过去除非实质部分来实现的。与基于最大正态似然估计的包络最小二乘（ENV）模型不同，EHR模型的估计采用广义矩方法。建立了EHR估计量的渐近正态性，证明了EHR比HR更有效，并且当误差分布为重尾分布时，EHR比ENV更有效，而当误差分布为正态分布时，EHR保持较小的效率损失.此外，我们的理论还涵盖了异方差的情况下，误差可能取决于协变量。广泛的模拟研究证实了渐近理论的信息。EHR在真实数据集上进一步说明。
2020-10-30 stat.ME
Confidence Intervals for Linear Models with Arbitrary Noise Contamination
University of Chicago（芝加哥大学）；Yale University（耶鲁大学）
本文研究了在Huber污染模型下线性回归置信区间构造问题，提出了一种无需先验知识的算法，通过Z估计框架和预处理步骤构建置信区间，具有均匀覆盖性和最优长度。
2026-04-02 math.ST stat.ME stat.TH
Robust Dynamic Mode Decomposition
本文提出了一种具有统计和数值鲁棒性的鲁棒动态模态分解（RDMD）方法。统计鲁棒性确保在高斯和非高斯概率分布（包括重尾分布）下的估计效率。建议的RDMD是统计稳健的，因为在数据集中的离群值通过投影统计标记和抑制使用Schweppe型Huber广义最大似然估计，最大限度地减少凸Huber成本函数。后者使用迭代重加权最小二乘算法求解，该算法比牛顿算法具有更好的收敛性和数值稳定性。利用动力系统的正则模型进行的数值模拟表明了所提出的RDMD方法的优良性能。结果表明，它优于文献中提出的其他几种方法。
2021-10-11 eess.SP stat.ME
Robust Regression via Mutivariate Regression Depth
本文研究了Huber的$ε$ -污染模型中的稳健回归问题。我们认为估计是多元回归深度函数的最大化。这些估计实现极小极大率的设置中的$ε$污染模型的各种回归问题，包括非参数回归，稀疏线性回归，降秩回归等，我们还讨论了一般概念的深度函数的线性算子，具有潜在的应用在强大的功能线性回归。
2017-02-15 math.ST stat.ML stat.TH
Real Elliptically Skewed Distributions and Their Application to Robust Cluster Analysis
本文提出了一类新的实椭圆偏态（RESK）分布和相关的聚类算法，允许集成到一个统一的聚类分析框架的鲁棒性和偏态。非对称分布和重尾数据簇在各种实际应用中都有报道。鲁棒性是必不可少的，因为一些外围观测可能会严重模糊聚类结构。RESK分布是实椭圆对称（RES）分布的推广。为了估计集群参数和成员资格，我们推导出一个期望最大化（EM）算法的任意RESK分布。特别注意的是一个新的鲁棒偏Huber M-估计，这也是最大似然估计（MLE）的偏Huber分布，属于RESK类。模拟和真实世界的数据的数值实验证实了所提出的方法的有用性倾斜和重尾数据集。
2021-06-21 eess.SP stat.ML
Robust Confidence Intervals for a Binomial Proportion: Local Optimality and Adaptivity
University of Chicago（芝加哥大学）；Rutgers University（罗格斯大学）
本文研究了在未知污染比例下二项比例的稳健置信区间构造，通过局部最优性和适应性分析，提出了一种保证有效覆盖和高效计算的置信区间方法，并探讨了其在泊松数据和Erdős--Rényi模型中的应用。
2026-01-11 math.ST stat.ME stat.TH
Online change point detection under heavy-tailedness and contamination
University of Warwick（华威大学）；University of Birmingham（伯明翰大学）
针对动态Huber污染模型，提出在线鲁棒均值变点检测方法，在单变量中划分参数空间实现最优检测延迟，多变量中设计鲁棒均值检验程序，首次同时处理Huber污染和重尾性。
2026-06-08 math.ST stat.TH
Byzantine-Robust Distributed Sparse Learning Revisited
School of Mathematical Sciences（数学科学学院）；School of Statistics and Mathematics（统计与数学学院）；Information Center（信息中心）
本文提出结合局部ℓ1正则化鲁棒估计与服务器端鲁棒聚合的方法，用于高维稀疏线性模型，实现非渐进行为保证和近优统计速率，同时保持通信效率。
2026-05-13 cs.LG math.ST stat.TH
Adaptive Robust Confidence Intervals in Efron's Gaussian Two-Groups Model
University of Chicago（芝加哥大学）；Northwestern University（西北大学）
研究在Efron的高斯双组模型中，针对未知污染比例的鲁棒置信区间，发现其长度比已知污染比例时更差，提出基于傅里叶变换的认证方法。
2026-04-28 math.ST stat.ME stat.ML
Robust Inference via Multiplier Bootstrap
本文研究了两个基本的统计推断问题的理论基础，置信集的建设和大规模的同时假设检验，在重尾数据的存在。对于重尾观测噪声，以样本均值为代表的基于最小二乘的方法的有限样本性质在理论上和经验上都是次优的。在本文中，我们证明了自适应Huber回归，结合乘数引导程序，提供了一个有用的鲁棒替代最小二乘法的最小二乘法。我们的理论和实证结果揭示了所提出的方法的有效性，并强调了具有强大的重尾推理方法的重要性。
2019-03-18 math.ST stat.ME stat.TH
Heavy-tailed Contamination is Easier than Adversarial Contamination
CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）
本文证明任何对抗性鲁棒估计器对重尾离群值同样有效，并构造反例说明重尾估计器无法直接用于对抗性设定，从而表明重尾估计比对抗性鲁棒估计更容易，为重尾场景开辟了新算法方向。
2024-11-22 cs.DS cs.LG math.ST
A Statistical Learning Assessment of Huber Regression
University at Albany（奥尔巴尼大学）；Middle Tennessee State University（中田纳西州立大学）
Huber回归作为稳健统计学的一个里程碑，在稳健推断和估计中发挥着重要作用。它在机器学习中也有各种各样的应用。在参数设置中，它已被广泛研究。然而，在统计学习的背景下，一个函数通常是在一个非参数的方式学习，仍然缺乏理论上的理解如何Huber回归估计学习的条件均值函数，以及为什么它的作品在没有轻尾噪声假设。为了解决这些基本问题，我们从统计学习的角度对Huber回归进行了评估。首先，我们证明了通常在机器学习中追求的Huber回归估计的风险一致性属性，不能保证它们在均值回归中的可学习性。其次，我们认为，Huber回归应实现自适应的方式进行均值回归，这意味着一个需要调整的尺度参数根据样本量和噪声的时刻条件。第三，与自适应选择的尺度参数，我们证明了Huber回归估计可以渐近平均回归校准下$(1+ε)$矩条件（$ε>0$）。最后，在相同的矩条件下，我们建立了Huber回归估计的几乎必然收敛速度。注意，$(1+ε)$矩条件适用于响应变量具有无穷大方差的特殊情况，因此所建立的收敛速度证明了Huber回归估计量的稳健性。在上述意义上，本研究提供了一个系统的统计学习评估的Huber回归估计，并证明其优点的鲁棒性从理论的角度来看。
2020-09-27 cs.LG math.ST stat.ML
Robust Density Estimation under Besov IPM Losses
Carnegie Mellon University（卡内基梅隆大学）
研究了Huber污染模型中非参数密度估计的Minimax收敛速度，其中一部分数据来自未知的离群分布.我们提供了这个问题的第一个结果下的一个大家庭的损失，称为Besov积分概率距离（IPM），其中包括$\mathcal{L}^p$，Wasserstein，Kolmogorov-Smirnov，和其他常见的概率分布之间的距离。具体而言，根据一系列的人口和离群分布的平滑假设，我们表明，重新缩放阈值小波级数估计实现极大极小最优收敛速度下各种各样的损失。最后，基于最近在IPM损失下的非参数密度估计与生成对抗网络（GANs）之间的联系，我们证明了某些GAN架构也可以实现这些极大极小化率。
2021-09-06 cs.LG math.ST stat.ML
Robust Covariance and Scatter Matrix Estimation under Huber's Contamination Model
协方差阵估计是统计学中最重要的问题之一。为了适应现代数据集的复杂性，期望具有不仅可以结合协方差阵的结构假设，而且对来自任意源的离群值具有鲁棒性的估计过程。在本文中，我们定义了一个新的概念称为矩阵深度，然后提出了一个强大的协方差阵估计最大化的经验深度函数。所提出的估计，以实现最小最大最优率下Huber的$ε$污染模型估计协方差/散射矩阵的各种结构，包括带状和稀疏。
2017-06-12 math.ST stat.ME stat.TH
Robust Losses for Learning Value Functions
本文针对强化学习中均方贝尔曼误差对离群值敏感的问题，提出Huber贝尔曼误差和绝对贝尔曼误差的鞍点优化形式，并推导出在离策略预测与控制中更稳定、对元参数更不敏感的梯度算法。
2023-04-17 cs.LG
Variance-aware robust reinforcement learning with linear function approximation under heavy-tailed rewards
Peking University（北京大学）；University of Toronto（多伦多大学）
本文提出了两个算法，AdaOFUL和VARA，在线序贯决策存在的重尾回报只有有限的方差。对于线性随机强盗，我们通过修改自适应Huber回归和提出AdaOFUL来解决重尾奖励问题。AdaOFUL实现了$\widetilde{O}\big(d\big(\sum_{t=1}^T ν_{t}^2\big)^{1/2}+d\big)$的最新遗憾界，好像奖励是一致有界的，其中$ν_{t}^2$是在$t$回合观察到的奖励的条件方差，$d$是特征维度，并且$\widetilde{O}(\cdot)$隐藏对数依赖性。在AdaOFUL的基础上，我们提出了线性MDP的VARA，它实现了$\widetilde{O}(d\sqrt{HG^*K})$更严格的方差感知遗憾界。在这里，$H$是片段的长度，$K$是片段的数量，而$G^*$是一个较小的实例相关量，当满足MDP上的附加结构条件时，它可以由其他实例相关量限定。我们的后悔界限在三个方面优于当前最先进的界限：（1）它依赖于一个更紧密的依赖于实例的量，并且对$d$和$H$具有最优依赖性，（2）我们可以在MDP上的附加结构条件下得到$G^*$的进一步依赖于实例的界，（3）我们的后悔界即使在奖励只有有限方差时也是有效的，达到了以前的作品无法比拟的一般性水平。总的来说，我们修改后的自适应Huber回归算法可以作为一个有用的积木在重尾奖励的在线问题的算法设计。
2023-03-13 cs.AI cs.LG math.ST
On Robust Aggregation for Distributed Data
针对分布式数据聚合易受污染的问题，本文提出Huber型聚合方法，结合稳健空间中位数估计方差，达到与汇集数据相同的收敛速度，并通过模拟和航空数据验证。
2025-02-26 stat.ME
New Empirical Process Tools and Their Applications to Robust Deep ReLU Networks and Phase Transitions for Nonparametric Regression
Department of Statistics, The Pennsylvania State University（宾夕法尼亚州立大学统计系）
本文提出新的经验过程工具，用于在重尾噪声和复杂函数类下分析广泛的统计学习模型。主要贡献是推导出两种Dudley型最大不等式，这些不等式消除了如轻尾和函数类均匀有界等限制性假设。这些不等式扩展了经验过程理论在统计学习和非参数估计中的应用范围。利用新的界限，我们建立了深度ReLU网络估计器在Huber和分位数回归中的鲁棒性保证。特别是，我们证明了一个统一的非渐近子高斯集中界，即使在无限方差噪声下仍然有效，并对深度Huber估计器在所有噪声情况下的非渐近鲁棒性进行了全面分析。对于深度分位数回归，我们提供了第一个无渐近子高斯界，无需假设矩条件。此外，我们的框架还为非参数最小二乘估计器提供了误差界，同时容纳无限方差噪声、非Donsker函数类和近似误差。此外，与以往基于专门乘数过程的方法不同，我们的框架扩展到更广泛的经验风险最小化问题，包括非参数广义线性模型和``集合结构``模型。
2026-10-27 math.ST stat.TH
Robust Nonparametric Regression under Huber's $ε$-contamination Model
Carnegie Mellon University（卡内基梅隆大学）
考虑Huber的$ε$ -污染模型下的非参数回归问题，其中观测值的$ε$部分受到任意对抗性噪声的影响.我们首先表明，一个简单的本地binning中位数步骤可以有效地消除对手的噪声，这个中位数估计是最小最大最优的绝对常数的Hölder函数类的平滑参数小于或等于1。此外，当底层函数具有较高的平滑度时，我们表明使用局部分箱中值作为预处理步骤来去除对抗性噪声，然后我们可以在中值之上应用任何非参数估计。特别是，我们展示了本地中值装箱，然后核平滑和本地多项式回归实现极小极大的Hölder和Sobolev类与任意平滑参数。我们的主要证明技术是对手噪声和随机噪声的解耦分析，这可以潜在地应用于其他鲁棒估计问题。我们也提供了数值结果来验证我们所提出的方法的有效性。
2018-05-26 cs.DS cs.LG math.ST
Outlier-robust estimation of a sparse linear model using $\ell_1$-penalized Huber's $M$-estimator
ENSAE Paristech-CREST（巴黎高等经济与统计学院-经济与统计研究中心）
研究了在加性噪声和高斯设计的线性模型中估计$p$维$s$ -稀疏向量的问题.在标签被污染的情况下，在最$o$对抗离群值，我们证明了$\ell_1$ -惩罚胡贝尔的$M$ -估计的基础上$n$样本达到最佳的收敛速度$(s/n)^{1/2} + (o/n)$，对数因子。对于更一般的设计矩阵，我们的结果突出了两个属性的重要性：传输原理和不相干属性。这些属性与适当的常数，以产生最佳的利率，对数因子，强大的估计与对抗性污染。
2019-11-19 cs.LG math.ST stat.TH
Adversarial robust weighted Huber regression
针对协变量和噪声可能被对手污染的线性回归，提出加权Huber回归方法，推导出依赖于协方差矩阵稳定秩和条件数的估计误差界，并保证多项式计算复杂度。
2024-05-24 math.ST stat.ML stat.TH
Robust low-rank tensor regression via clipping and Huber loss
本文提出一种基于截断和Huber损失的鲁棒低秩张量回归方法，通过理论分析和实验验证，展示了其在噪声环境下优于传统最小二乘法的稳定性与有效性。
2025-12-04 math.ST stat.TH
Beyond Confidence Regions: Tight Bayesian Ambiguity Sets for Robust MDPs
Department of Computer Science（计算机科学系）；University of New Hampshire（新罕布什尔大学）
在强化学习中，鲁棒MDP（RMDP）可用于计算具有可证明的最坏情况保证的策略。RMDP解决方案的质量和鲁棒性由模糊集-合理转移概率集-决定，模糊集通常构造为多维置信区域。现有的方法构造模糊集的置信区域使用浓度不等式，导致过于保守的解决方案。本文提出了一种新的范例，可以实现更好的解决方案，具有相同的鲁棒性保证，而不使用置信区域作为模糊集。为了结合先验知识，我们的算法使用贝叶斯推理优化歧义集的大小和位置。我们的理论分析表明，所提出的方法的安全性，和实证结果表明其实际的承诺。
2019-02-20 cs.LG stat.ML
On the Binomial Confidence Interval and Probabilistic Robust Control
Clopper-Pearson置信区间在一些统计学文献中曾被证明是一种精确的方法。最近，这种区间估计方法被引入到概率控制理论中，并在控制界被称为非保守的。在本文中，我们澄清了这样一个事实，即所谓的精确方法实际上是保守的。特别是，我们推导出的分析结果证明的保守性程度的背景下，概率鲁棒性分析。本研究鼓励寻求更好的方法构造置信区间的鲁棒控制的目的。
2008-05-12 math.OC math.ST stat.TH
Adaptive Huber Regression
大数据很容易被离群值污染，或者包含具有重尾分布的变量，这使得许多传统方法无法胜任。为了解决这个问题，我们提出了自适应Huber回归鲁棒估计和推理。关键的观察结果是，稳健化参数应适应于样本量、维度和矩，以在偏倚和稳健性之间进行最佳权衡。我们的理论框架处理重尾分布与有界的$(1+δ)$次矩的任何$δ> 0$。我们建立了一个尖锐的相变，在低维和高维回归参数的鲁棒估计：当$δ\geq 1$，估计承认一个次高斯型偏差界没有次高斯假设的数据，而只有一个较慢的速度是可用的制度$0<δ< 1$。此外，这种过渡是平滑和最佳的。此外，我们扩展的方法，允许重尾预测和观测噪声。仿真研究进一步支持了该理论。在对表现出重尾性的癌细胞系的遗传研究中，所提出的方法显示出更鲁棒性和预测性。
2018-10-10 math.ST stat.ME stat.TH
Robust Sparse Estimation for Gaussians with Optimal Error under Huber Contamination
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；IBM Research（IBM研究院）
针对Huber污染模型下的高斯稀疏估计（均值、PCA、线性回归），提出首个样本与计算高效且误差最优（常数因子内）的鲁棒估计器，并开发了稀疏多维过滤方法。
2024-03-15 cs.DS cs.LG math.ST
Adaptive Robust Confidence Sets in High Dimensions
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Chicago（芝加哥大学）；University of California, San Diego（加州大学圣地亚哥分校）；Rutgers University（罗格斯大学）
针对协方差为单位矩阵的多元高斯均值向量在Huber污染比例未知时的自适应稳健置信集问题，提出通过量化所有一维投影的不确定性构造信息论最优集，证明其存在计算障碍并给出低阶矩匹配算法，刻画了统计极限与计算壁垒。
2026-10-14 cs.DS cs.LG math.ST
Robust Interpolated Quantile Estimators: Asymptotic Theory and Efficiency
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）；Laboratoire Paul Painlevé, USTL–CNRS–UMR 8524（保罗·庞加莱实验室，里尔第一大学-法国国家科学研究中心联合研究单位8524）；ESA, Angers（昂热应用科学学院）
本文提出含三类正则项的插值分位数估计量，建立其渐近理论，数值实验显示二次插值估计量可降低渐近方差，扩展至线性分位数回归后验证了其在尾部估计的实用价值。
2026-07-30 stat.ME
On approximate robust confidence distributions
置信分布是一个完整的工具，用于根据假设的参数模型对感兴趣的参数$ψ$进行频率论推断。事实上，它允许达到点估计，以评估其精度，设置测试以及“$ψ> ψ_0$“或“$ψ_1 \leq ψ\leq ψ_2$“类型的声明的证据措施，以获得置信区间，比较感兴趣的参数与其他研究的其他参数等，这方面的贡献的目的是讨论来自无偏$M-$估计函数的稳健置信分布，当假设的分布仅仅是一个近似的参数模型或者在观测数据中存在偏差值时，该方法为$ψ$提供了鲁棒的推断。在此基础上，我们首先说明了如何从稳健关键量的渐近理论中推导出稳健的置信分布。然后，我们讨论了稳健置信分布的推导，通过模拟的方法。应用程序和模拟研究的非劣效性检验的背景下，其中的形式$H_0: ψ\leq ψ_0$的零假设是感兴趣的。
2022-12-19 stat.AP stat.CO stat.ME
A General Decision Theory for Huber's $ε$-Contamination Model
今天的数据对统计人员提出了前所未有的挑战。它可能是不完整的，损坏的或暴露于一些未知的污染源。我们需要新的方法和理论来应对这些挑战。稳健估计是一个复兴的领域，有可能适应这种复杂性，并从现代数据集收集有用的信息。本文在Huber $ε$ -污染模型下，建立了高维稳健协方差阵估计的一般决策论.我们提出了一个解决方案，使用Scheff{é}估计的稳健两点测试问题，导致自适应的污染比例的稳健估计的建设。应用一般理论，我们构造了非参数密度估计、稀疏线性回归和低秩迹回归的稳健估计。我们表明，这些新的估计达到最小最大速率与污染比例的最佳依赖。这种检验过程，Scheff{é}估计，在检验误差的指数上也有一个最优的比率，这可能是独立的兴趣。
2017-01-16 math.ST stat.TH
Adaptively Robust Small Area Estimation: Balancing Robustness and Efficiency of Empirical Bayes Confidence Intervals
基于著名的Fay-Herriot模型的经验贝叶斯小区域估计可能会产生不可靠的估计时，边远地区存在。现有的鲁棒方法对离群值或模型误设通常是低效的，当假设的分布是合理的。本文提出了一个简单的修改标准的经验贝叶斯方法，自适应平衡鲁棒性和效率。该方法采用伽玛发散代替边缘对数似然，并通过追求面积参数的经验贝叶斯置信区间的有效性来优化控制鲁棒性的调整参数。我们提供了一个渐近理论的假设分布和存在的边远地区的正确规范下的方法。我们调查的数值性能，所提出的方法，通过模拟和应用小面积估计的平均犯罪人数。
2022-06-27 stat.ME
On Private and Robust Bandits
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Wayne State University（韦恩州立大学）；Shandong University（山东大学）
我们研究私人和强大的多武装土匪（MABs），代理人收到Huber的污染重尾奖励，同时需要确保差分隐私。我们首先提出了它的极大极小下界，表征信息论的隐私预算，污染水平和重尾性方面的遗憾的限制。然后，我们提出了一个元算法，建立在一个私人和强大的均值估计子例程\texttt{PRM}，基本上依赖于奖励截断和拉普拉斯机制。对于两个不同的重尾设置，我们给出了具体的计划，\texttt{PRM}，使我们能够实现接近最优的遗憾。作为我们主要结果的副产品，我们还给出了私有重尾MAB的第一个极大极小下界（即，无污染）。此外，我们提出的两个基于截断的\texttt{PRM}实现了估计精度，隐私和鲁棒性之间的最佳权衡。最后，我们支持我们的理论结果与实验研究。
2023-03-04 cs.AI cs.CR cs.LG
Volatility prediction comparison via robust volatility proxies: An empirical deviation perspective
波动率预测对于风险管理和投资组合构建至关重要。评估波动率预测的一个特殊挑战是如何构建一个强大的代理未知的真实波动率。在这项工作中，我们表明，两个波动率预测之间的经验损失比较取决于波动率代理从真实波动率的偏差。然后，我们建立三个强大的波动率代理，其中两个是基于裁剪数据，其中第三个是基于指数加权Huber损失最小化的非渐近偏差界。特别是，为了使Huber方法，以适应非平稳的金融回报，我们建议解决一个调谐免费加权Huber损失最小化问题，共同估计的波动率和最佳鲁棒参数在每个时间点。然后，我们膨胀这个鲁棒参数，并使用它来更新波动率代理，以实现全局经验损失的偏差和方差之间的最佳平衡。我们还扩展了这种Huber方法来构建波动预测。最后，我们利用所提出的鲁棒波动率代理来比较比特币市场数据的不同波动率预测。结果表明，在样本量有限的情况下，应用稳健波动率代理可以得到更加一致和稳定的波动率预测结果。
2021-10-04 math.ST stat.ME stat.TH
New robust confidence intervals for the mean under dependence
本文的目的是指出一种新的方法来构建正常的置信区间的平均值，当数据是来自随机结构可能长记忆，特别是当依赖结构是未知的，甚至存在的密度函数。更确切地说，我们介绍了随机平滑核估计建议的回归函数。应用线性过程和可逆马尔可夫链与长记忆。
2017-12-30 stat.ME
Functional Adaptive Huber Linear Regression
针对鲁棒估计在函数型线性回归中应用不足的问题，提出带发散鲁棒参数的函数型Huber线性回归方法，在弱矩假设下达到最优误差速率，结果可推广至RKHS函数估计。
2024-09-17 math.ST stat.TH
Robust Regression with Adaptive Contamination in Response: Optimal Rates and Computational Barriers
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Chicago（芝加哥大学）；University of California, San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了在响应适应性污染模型下鲁棒回归的统计保证，展示了清洁协变量信息可提升估计速率，并揭示了信息论与计算限制之间的差距。
2026-04-05 cs.DS math.ST stat.ML
Scale calibration for high-dimensional robust regression
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
当加性误差的尺度参数未知时，提出了一种新的高维线性回归方法。建议的估计是基于惩罚的Huber $M$估计，估计误差的理论结果最近已被提出在高维统计文献。然而，线性模型中误差项的方差与用于定义Huber损失形状的最佳参数错综复杂地连接。我们的主要思想是使用自适应技术，Lepski的方法的基础上，克服困难，解决联合非凸最优化问题的位置和尺度参数。
2018-11-06 cs.LG math.ST stat.ML
A robust and efficient algorithm to find profile likelihood confidence intervals
如果不满足极大似然估计量的渐近性质，则剖面似然置信区间是Wald方法的稳健替代方法。然而，定义轮廓似然置信区间的约束优化问题在这些情况下可能难以求解，因为似然函数可能表现出不利的性质。因此，现有的方法可能效率低下，并产生误导性的结果。在本文中，我们解决这个问题，通过计算配置文件的似然置信区间通过信任区域的方法，其中步骤计算的基础上，本地近似被限制到这些近似是足够精确的区域。由于我们的算法也考虑到了数值问题，如果似然函数是强非线性或参数不可估计，该方法适用于许多情况下，早期的方法被证明是不可靠的。为了证明其在应用中的潜力，我们将我们的算法应用于基准问题，并将其与现有的6种方法进行比较，以计算轮廓似然置信区间。我们的算法始终比任何竞争对手取得更高的成功率，同时也是最快的方法之一。由于我们的算法可以应用于计算参数和模型预测的置信区间，因此它在广泛的场景中是有用的。
2020-04-01 stat.CO
Robust estimation with Lasso when outputs are adversarially contaminated
The Graduate University for Advanced Studies, SOKENDAI（高等研究生院（SOKENDAI））；The Institute of Statistical Mathematics（统计数学研究所）；RIKEN（理化学研究所）
针对输出受对抗性污染时的稳健估计问题，本文利用Huber函数的特定性质，给出了一种不同于现有文献的证明方法，并获得了与最新结果相同的收敛速率。
2024-05-24 cs.LG math.ST stat.ML
Tractable and Near-Optimal Adversarial Algorithms for Robust Estimation in Contaminated Gaussian Models
考虑Huber污染高斯模型下位置和方差阵的同时估计问题。首先，我们研究了总体水平上的最小$f$ -发散估计，对应于具有非参数估计的生成对抗方法，并建立了导致稳健估计的$f$ -发散的条件，类似于最小距离估计的稳健性。更重要的是，我们开发了易于处理的对抗算法与简单的样条判别器，它可以通过嵌套优化实现，这样可以通过最大化凹目标函数给定的电流发生器，完全更新的参数。所提出的方法，以实现极大极小最优率或接近最优率取决于$f$发散和所使用的惩罚。这是第一次建立这样的接近最优的差错率的对抗算法与线性鉴别器下的Huber的污染模型。我们目前的模拟研究，以证明所提出的方法优于经典的鲁棒估计，成对的方法，和神经网络鉴别器的生成对抗方法。
2022-08-06 math.ST stat.ML stat.TH
Outlier-robust sparse/low-rank least-squares regression and robust matrix completion
本文在亚高斯框架下研究含对抗污染的高维稀疏/低秩回归与矩阵补全，提出基于排序Huber损失的易计算估计器，并证明其获得与污染比例和失败概率近最优且调参无需污染信息的估计速率。
2023-10-31 math.ST stat.ML stat.TH
Robust Estimation of High-Dimensional Mean Regression
重尾误差数据在各个科学领域都是常见的问题，特别是在数据爆炸的今天。为了解决这一问题，近年来发展了基于分位数回归和最小绝对偏差（LAD）回归的方法。这些方法本质上是估计条件中位数（或分位数）函数。当分布是非对称和异方差的时，它们可以与条件均值函数非常不同。在只有二阶矩的情况下，如何有效地估计平均回归函数？为了解决这个问题，我们提出了一个惩罚的Huber损失与发散参数，以减少由传统的Huber损失造成的偏见。这种惩罚的鲁棒近似二次（RA-二次）损失将被称为RA-拉索。在超高维度的设置，其中的维度可以指数增长的样本量，我们的研究结果表明，RA-lasso估计产生一致的估计在相同的速度下的最佳率轻尾的情况下。我们进一步研究了计算收敛的RA-拉索，并表明，复合梯度下降算法确实产生了一个解决方案，承认相同的最优速率经过足够的迭代。作为副产品，我们还建立了当只存在二阶矩时估计总体均值的浓度不等式。我们比较了RA-Lasso与其他正则化稳健估计的基础上分位数回归和LAD回归。大量的仿真研究表明，令人满意的有限样本性能的RA-Lasso。
2014-10-08 math.ST stat.TH
Confidence Regions in Wasserstein Distributionally Robust Estimation
Wasserstein分布鲁棒优化估计量作为最小-最大问题的解决方案获得，其中统计学家选择一个参数，使所有概率模型中最坏情况下的损失最小化，在一定的距离内（在Wasserstein意义上），从底层的经验措施。虽然出于需要确定最佳的模型参数或决策选择，是强大的模型误指定，这些分布鲁棒估计恢复了广泛的正则化估计，包括平方根套索和支持向量机，等等，作为特殊情况。本文研究了这些分布稳健估计的渐近正态性以及由Wasserstein分布稳健优化公式导出的最优（在适当意义下）置信区域的性质。此外，还研究了min-max分布鲁棒最优化问题的关键性质，例如，我们证明了分布鲁棒估计基于其导数正则化损失，并给出了min-max分布鲁棒最优化问题与相应的max-min公式等价的一般充分条件.
2021-03-03 math.OC math.ST stat.ML
