Estimating minimum effect with outlier selection
我们引入片面版本的胡贝尔的污染模型,其中损坏的样本往往采取更大的值比未损坏的。两个相互交织的问题得到解决:估计未损坏的样本的平均值(最小效应)和损坏的样本(离群值)的选择。关于最小效应估计,我们推导出极大极小风险,并引入自适应估计的未知数的污染。有趣的是,最佳的收敛速度有很大的不同,在经典的Huber的污染模型。此外,我们的分析揭示了特定结构假设对污染样本分布的影响。至于选择离群值的问题,我们制定了一个多测试框架的位置/缩放的零假设是未知的问题。我们严格证明了如何估计的原假设是可能的,同时保持理论上的保证数量的错误选择的离群值,无论是通过错误的发现率(FDR)或事后的界限。作为一个副产品,我们解决了一个长期悬而未决的问题,FDR控制下的等相关性,这加强了兴趣,消除依赖时,进行多个测试。
2018-09-21 math.ST stat.ME stat.TH
Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms and Theoretical Studies
本文提出基于渐进分位数和显式离群程度参数的抗离群值估计框架,并开发快速可扩展算法,在低维和高维下均达到极小极大最优,实验验证了其在回归、分类和神经网络中的稳健性能。
2023-04-18 math.ST stat.ME stat.ML
Template Matching and Change Point Detection by M-estimation
我们考虑的基本问题匹配的模板信号。我们通过M估计来这样做,M估计包括对疏失误差具有鲁棒性的程序(即,离群值)。利用经验过程理论的标准结果,在相对较弱的假设下,我们得到了M-估计的收敛速度和渐近分布.我们还讨论了估计的最优性,无论是在有限样本的极大极小意义下,并在大样本限制的局部极大极小和相对效率。虽然本文的大部分内容都致力于在随机设计的背景下研究基本的移位模型,但我们在论文的最后考虑了许多扩展,包括更灵活的模板,固定设计,不可知论设置等等。
2020-09-09 eess.SP math.ST stat.TH
An Easily Tunable Approach to Robust and Sparse High-Dimensional Linear Regression
针对高维稀疏线性回归中噪声尺度、稀疏度及异常值数量难以预知的问题,提出基于Huber损失与均值中位数自适应校准的迭代稳健估计量,获得匹配极小极大下界的非渐近误差保证。
2025-06-14 math.ST stat.TH
Outlier-Robust Wasserstein DRO
Cornell University(康奈尔大学)
针对传统Wasserstein分布鲁棒优化易受对抗离群点干扰的问题,提出同时应对几何扰动与全变差污染的抗离群点框架,推导了风险界与强对偶性以实现高效计算,低维特征场景下可消除维度依赖,并经回归和分类实验验证。
2023-11-09 cs.LG math.OC stat.ML
Robust Reduced Rank Regression
在高维多元回归问题中,对系数矩阵进行低秩处理可以有效地降低维数,极大地方便了参数估计和模型解释。然而,常用的降秩方法是敏感的数据损坏,因为响应变量和预测变量之间的低秩相关结构很容易被离群值扭曲。我们提出了一个强大的降秩回归方法的联合建模和离群点检测。该问题被表述为具有稀疏均值漂移参数化的正则化多元回归,它概括和统一了一些流行的鲁棒多元方法。一个有效的阈值为基础的迭代过程中开发的优化。我们证明了该算法是保证收敛的,并且在正则条件下产生的坐标方向极小点是统计准确的。我们的理论研究集中在非渐近鲁棒分析,这表明联合降秩和离群值检测导致提高预测精度。特别是,我们发现,redescending $ψ$ -功能,基本上可以达到最小最大最优的差错率,并在一些挑战性较小的问题,凸正则化保证同样低的差错率。所提出的方法的性能进行了检查,通过模拟研究和实际数据的例子。
2017-07-15 math.ST stat.AP stat.ME
Data-adaptive trimming of the Hill estimator and detection of outliers in the extremes of heavy-tailed data
我们介绍了一个修剪版本的重尾分布的指数,这是强大的扰动在极端顺序统计量的希尔估计。在理想的Pareto环境下,对于给定的严格上崩溃点,该估计在所有无偏估计量中本质上是有限样本有效的。对于一般的重尾模型,我们在二阶正则变差条件下建立了估计量的渐近正态性,并证明了它在Hall分布类中是极小极大率最优的.我们还开发了一种自动的,数据驱动的方法来选择的修剪参数,产生一种新型的鲁棒估计,可以适应未知的污染水平的极端。这种自适应鲁棒性使我们的估计特别有吸引力,优于其他强大的估计在设置中的极端数据被污染。作为数据驱动的修剪参数选择的一个重要应用,我们得到了一个方法的原则性识别极端离群重尾数据。事实上,该方法已被证明可以正确识别先前探索的Condroz数据集中的离群值数量。
2018-08-23 stat.ME
Adversarially Robust Topological Inference
University of California San Diego(加利福尼亚大学圣迭戈分校);The Pennsylvania State University(宾夕法尼亚州立大学);The Institute of Statistical Mathematics(统计数学研究所)
针对持续同调对异常值敏感的问题,提出基于中位数均值的距离函数变体 MoM Dist,在对抗设置下实现一致估计与近最优性能。
2025-03-28 cs.CG cs.LG math.AT
Robust Regression under Adversarial Contamination: Theory and Algorithms for the Welsch Estimator
CREST, ENSAE;ESSEC Business School(ESSEC商学院);The University of Melbourne(墨尔本大学)
本文提出了一种在对抗污染下具有鲁棒性的回归方法,通过理论分析和实验验证展示了Welsch估计器在消除偏置和提高效率方面的优势。
2025-11-27 math.ST stat.TH
Adversarially robust change point detection
变点检测在许多应用领域中变得越来越流行。一方面,大多数理论上合理的方法都是在没有模型违规的理想环境中进行研究的,或者仅仅对时间上相同的重尾噪声分布和/或孤立的离群值具有鲁棒性;另一方面,我们知道来自对手的攻击呈指数增长,他们可能会对数据造成系统性污染,故意创建虚假的变化点或掩盖真实的变化点。鉴于及时需要一个变化点检测方法,是强大的对抗对手,我们开始,可以说,最简单的单变量均值变化点检测问题。对抗性攻击是通过Huber $\varepsilon$ -污染框架制定的,该框架特别允许污染分布在每个时间点都不同。在本文中,我们证明了相变现象的变化点检测。该检测边界是污染比例$\varepsilon$的函数,并且在文献中首次示出。此外,我们推导出最小最大速率最优定位误差率,量化的污染比例方面的准确性的成本。我们提出了一个计算上可行的方法,匹配极大极小下限在一定条件下,节省对数因子。大量的数值实验进行了比较,强大的变点检测方法在现有的文献。
2021-10-24 math.ST stat.ME stat.TH
All-In-One Robust Estimator of the Gaussian Mean
本文的目的是表明,一个单一的稳健估计的均值多元高斯分布可以享受五个理想的性质。首先,它是计算上易处理的,在这个意义上,它可以在一个时间内计算,这是最多的多项式的维数,样本量和对数的倒数的污染率。第二,它是等变的平移,均匀缩放和正交变换。第三,它具有等于$0.5$的高击穿点,以及大约等于$0.28$的近极大极小速率击穿点。第四,它是最小最大率最优的,对数因子,当数据由独立的观测破坏了adversarially选择离群值。第五,当污染率趋于零时,它是渐近有效的。该估计量是通过迭代重加权方法得到的。每个样本点被分配一个权重,该权重通过求解凸优化问题来迭代更新。我们还建立了一个无量纲的非渐近风险界的预期误差的估计。这是文献中的第一个结果,只涉及协方差阵的有效秩。最后,我们证明了所得结果可以推广到亚高斯分布,以及未知污染率或未知协方差阵的情况。
2021-03-04 math.ST stat.TH
Geometry of EM and related iterative algorithms
The Institute of Statistical Mathematics(统计数学研究所);RIKEN AIP(理化学研究所人工智能研究中心);The National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);Waseda University(早稻田大学)
期望最大化(EM)算法是一种简单的元算法,多年来一直被用作观测数据中存在缺失测量或数据由可观测量和不可观测量组成时的统计推断方法。它的一般性质已经得到了很好的研究,而且,有无数种方法可以将它应用于个别问题。在本文中,我们介绍了$em$算法,信息几何公式的期望最大化算法,其扩展和应用到各种问题。具体而言,我们将看到,可以制定异常鲁棒推理算法,用于计算信道容量的算法,概率单纯形上的参数估计方法,特别是多变量分析方法,例如概率模型空间中的主成分分析和模态回归,矩阵分解和学习生成模型,这些方法最近在深度学习中引起了关注,从几何学的角度来看。
2022-11-12 cs.LG stat.ML
MaxGap Bandit: Adaptive Algorithms for Approximate Ranking
University of Wisconsin(威斯康星大学)
本文研究了从K个分布(臂)中自适应采样以确定任意两个相邻均值之间的最大间隔的问题。我们称之为MaxGap-bandit问题。这个问题自然会出现在近似排名,噪声排序,离群点检测,并在土匪顶臂识别。MaxGap-bandit问题的关键新颖性在于,它的目的是自适应地确定将分布自然划分为具有较大均值的子集和具有较小均值的子集,其中分割由最大间隙而不是预先指定的秩或阈值确定。估计一个手臂的差距需要采样其相邻的武器,除了自己,这种依赖性的结果在一个新的硬度参数,表征样本的复杂性的问题。我们提出了消除和UCB风格的算法,并表明它们是最小最大的。我们的实验表明,UCB风格的算法需要比非自适应采样少6- 8倍的样本,以实现相同的错误。
2019-06-03 cs.LG stat.ML
Multi-sample Estimation of Bacterial Composition Matrix in Metagenomics Data
宏基因组测序通常用于在微生物组研究中定量细菌丰度,其中基于测序读段计数估计细菌组成。由于有限的测序深度和DNA缺失,许多罕见的细菌分类群可能无法在最终的测序读数中捕获,这导致许多零计数。使用计数归一化的简单组成估计导致许多零比例,这往往导致细菌丰度和多样性的不准确估计。本文采用多样本方法来估计细菌丰度,以借用跨样本和跨物种的信息。来自真实数据集的经验结果表明,多个样本上的组成矩阵近似是低秩的,这激发了具有核范数惩罚的正则化极大似然估计。提出了一种利用广义加速邻近梯度和欧氏投影的优化算法。利用库尔贝克-莱布勒散度和Frobenius范数给出了估计误差的理论上界和极大极小下界。仿真研究表明,所提出的估计优于朴素估计。该方法应用于人类肠道微生物组数据集的分析。
2019-04-24 stat.AP stat.CO stat.ME
Optimally (Distributional-)Robust Kalman Filtering
我们目前的鲁棒卡尔曼滤波的鲁棒性的最优性结果是在分布意义上理解,即;我们通过适当的邻域来扩大理想模型中的分布假设。这允许异常值,在我们的上下文中,可能是系统内源性或外源性的,这导致跟踪和衰减的目标有些冲突。相应的极大极小均方误差问题分别解决这两种类型的离群值,从而在封闭形式的鞍点,其中包括一个最佳的鲁棒程序和相应的最不利的离群值的情况。结果是有效的,在一个令人惊讶的一般设置的状态空间模型,这是不限于欧几里德或时间离散的框架。然而,该解决方案涉及理想模型中的条件均值的计算,这可能引起计算问题。在理想条件均值在观测新息中是线性的特殊情况下,我们提出了一种简单的Huber化方法--rLS滤波器。对于这种线性,我们获得了再次令人惊讶的表征。
2010-04-20 math.ST stat.TH
Robust Alignment via Partial Gromov-Wasserstein Distances
针对 Gromov-Wasserstein (GW) 对齐对异常值敏感的问题,提出基于部分 GW 距离的估计器,通过修剪部分质量实现鲁棒对齐,并证明其在总体和有限样本下分别具有极小极大最优和近似最优性。
2025-06-26 math.ST stat.ML stat.TH
Least Absolute Deviations Estimation for Sinusoidal Models
Duke University(杜克大学);Indian Institute of Technology Kanpur(坎普尔印度理工学院)
提出基于最小绝对偏差的正弦回归模型鲁棒参数估计方法,采用坐标下降算法(加权中位数更新振幅、周期图网格搜索优化频率),证明估计量的强一致性和渐近正态性,在合成数据和真实时间序列中展示对非高斯噪声的鲁棒性。
2026-06-12 stat.CO stat.ME
Minimax estimation of a p-dimensional linear functional in sparse Gaussian models and robust estimation of the mean
我们考虑高维高斯模型中的两个估计问题。第一个问题是估计$n$独立的$p$维高斯向量的平均值的线性泛函,假设这些平均值中的大多数等于零。我们表明,对数因子,平方欧几里德范数的极大极小估计率是$(s^2\wedge n) +sp$和$(s^2\wedge np)+sp$之间。估计达到的上界计算要求,我们调查组阈值估计,有效地计算,即使当尺寸和样本量是非常大的合适的版本。一个有趣的新现象,揭示了这项调查是,组阈值处理导致大幅改善的速度相比,元素的阈值。因此,组阈值化的速率是$s^2\sqrt{p}+sp$,而逐元素阈值化具有$s^2p+sp$阶的误差。据我们所知,这是第一个已知的设置,其中利用组结构导致速率的多项式改进。本文研究的第二个问题是$n$独立高斯向量的内点的共同$p$维均值的估计。我们表明,这个问题和第一个有很强的相似性。利用它,我们提出了新的策略,稳健估计,计算上听话,并有更好的收敛速度比其他计算听话的鲁棒(相对于存在的离群值的数据)估计在文献中研究。然而,这种易处理性在某些制度中伴随着最小最大速率最优性的丧失。
2018-11-08 math.ST stat.TH
Optimal Rates for Robust Stochastic Convex Optimization
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Wayne State University(韦恩州立大学)
针对ε-污染模型下的鲁棒随机凸优化,本文提出达到极小极大最优额外风险的新算法,仅需总体光滑性假设,并给出紧信息论下界。
2025-04-23 cs.LG math.OC stat.ML
Robust covariance estimation with missing values and cell-wise contamination
针对含缺失值和逐单元污染的数据集协方差估计难题,提出无需插补的无偏协方差估计量,结合异常值检测处理高维低秩场景污染,理论与实验均验证其优于现有方法。
2023-11-10 math.ST stat.TH
Multi-task Linear Regression without Eigenvalue Lower Bounds: Adaptivity, Robustness, and Safety
Columbia(哥伦比亚大学)
针对存在污染任务的多任务线性回归问题,提出基于矩阵加权范数正则化的估计器,引入相对平衡条件,在弱谱假设下达到与现有方法相当的预测误差界,并具备安全性保证。
2026-05-29 cs.LG stat.ME stat.ML
Robust-to-outliers square-root LASSO, simultaneous inference with a MOM approach
本文考虑了噪声方差未知的最小二乘回归问题,其中观测数据点允许被异常值破坏。在已知噪声方差的情况下,基于Lecue和Lerasle Ann.Statist.48(2):906-931(2020年4月)介绍的均值中值(中位数)方法,我们提出了一种通用的均值中值方法,用于同时推断回归函数和噪声方差,仅需要噪声水平的上限。有趣的是,由于潜在的凹凸优化问题固有的正则性问题,这种推广需要小心。在一般情况下,回归函数属于凸类,我们表明,我们的同时估计实现了高概率相同的收敛速度和类似的风险范围,如果噪声水平是未知的,以及估计的噪声标准差的收敛速度。在高维稀疏线性设置中,我们的估计器产生一个强大的模拟的平方根LASSO。在弱矩条件下,它以高概率联合实现系数向量的$\ell_p$ -范数的估计的最小最大速率$s^{1/p} \sqrt{(1/n) \log(p/s)}$和噪声标准偏差的估计的速率$\sqrt{(s/n) \log(p/s)}$。这里,$n$表示样本大小,$p$表示维度,$s$表示稀疏水平。最后,我们提出了一个扩展的情况下,未知的稀疏水平$s$,提供了一个联合自适应估计$(\widetilde β, \widetilde σ, \widetilde s)$。它同时估计系数向量、噪声水平和稀疏水平,并证明这三个分量中的每一个都有很高的概率。
2021-03-18 math.ST stat.TH
Robust nonparametric regression based on deep ReLU neural networks
本文提出基于$\ell$-估计的深度ReLU神经网络稳健非参数回归方法,通过估计条件分布抵御污染和异常值,并在Hölder光滑性及复合结构假设下取得极小极大最优速率且规避维度灾难。
2023-10-31 stat.ME
Statistical consistency and asymptotic normality for high-dimensional robust M-estimators
我们研究了正则化稳健M-估计的理论性质,适用于当数据来自稀疏高维线性模型,并被重尾分布和/或离群值的附加误差和协变量污染时。我们首先在误差分布相当温和的条件下建立了惩罚回归估计的局部统计相合性的一种形式:当损失函数的导数有界且满足局部限制曲率条件时,在真实回归向量的恒定半径内的所有平稳点都以具有亚高斯误差的Lasso所享有的minimax速率收敛.当一个适当的非凸正则化的地方使用的l_1-罚款,我们表明,这样的驻点实际上是唯一的,等于当地的甲骨文解决方案与正确的支持-因此,结果渐近正态性在低维的情况下进行立即到高维设置。这对正则化非凸M-估计的效率有重要的影响,当误差是重尾的。当鲁棒回归函数和/或正则化函数是非凸的并且目标函数在局部区域外具有固定点时,我们对损失函数的局部曲率的分析对于优化也具有有用的后果。我们表明,只要一个复合梯度下降算法初始化的真实回归向量的恒定半径内,连续的迭代将以线性速度收敛到一个固定的点在局部区域内。此外,可以使用凸正则化鲁棒回归函数的全局最优值来获得合适的初始化。其结果是一个新的两步程序,使用凸M-估计,以实现一致性和非凸M-估计,以提高效率。
2015-01-01 cs.IT math.IT math.ST
Robust Covariance and Scatter Matrix Estimation under Huber's Contamination Model
协方差阵估计是统计学中最重要的问题之一。为了适应现代数据集的复杂性,期望具有不仅可以结合协方差阵的结构假设,而且对来自任意源的离群值具有鲁棒性的估计过程。在本文中,我们定义了一个新的概念称为矩阵深度,然后提出了一个强大的协方差阵估计最大化的经验深度函数。所提出的估计,以实现最小最大最优率下Huber的$ε$污染模型估计协方差/散射矩阵的各种结构,包括带状和稀疏。
2017-06-12 math.ST stat.ME stat.TH
Robust density estimation with the $\mathbb{L}_{1}$-loss. Applications to the estimation of a density on the line satisfying a shape constraint
本文提出一种基于 $\mathbb{L}_{1}$-损失和密度模型的稳健密度估计方法,适用于 MLE 不存在的模型,在全局收敛速度和自适应性质上具有与 MLE 类似的最优性,并对模型误设、污染和离群点具有稳健性。
2024-01-04 math.ST stat.TH
Faster than Fast-LTS: Robust Regression and Outlier Detection with DC Programming
University of Southampton(南安普顿大学);University of Kent(肯特大学)
针对最小修剪平方(LTS)稳健回归的精确求解组合爆炸问题,本文将其重构为带上限单纯形约束的凹最小化问题,提出连续提升的DC函数算法(sBDCA),理论证明线性收敛,数值实验表明比Fast-LTS快3.25倍且目标函数值降低90%。
2026-06-27 cs.NA math.NA math.OC
Robust Sparse Covariance Estimation by Thresholding Tyler's M-Estimator
从有限的样本个数中估计高维稀疏协方差阵是当代数据分析中的一个基本问题。然而,到目前为止,大多数提案对离群值或重尾都不稳健。为了弥合这一差距,在这项工作中,我们考虑估计一个稀疏的形状矩阵从$n$样本可能重尾椭圆分布。我们提出的估计阈值的基础上泰勒的M-估计或其正规化的变体。我们推导出我们的估计和形状矩阵的联合限制的尺寸$p$和样本量$n$趋于无穷大与$p/n\toγ>0$之间的谱范数的差异的界限。这些界限是极小极大率最优的。模拟数据的结果支持我们的理论分析。
2018-09-19 math.ST stat.TH
A robust, adaptive M-estimator for pointwise estimation in heteroscedastic regression
我们介绍了一种鲁棒且完全自适应的异方差回归逐点估计方法。我们允许未知的噪声和设计分布,并且仅满足非常弱的假设。特别地,我们不对噪声分布施加矩条件。此外,我们不需要设计分布的正密度。在第一步中,我们研究了局部多项式M-估计的一致性,包括一个对比和一个核。然后,在一维Hölder空间上建立了退化设计的极大极小结果。然后,我们选择的对比度和内核,最大限度地减少经验方差项,并证明相应的M-估计是自适应的噪声和设计分布和自适应(Huber)极小极大污染模型。在第二步中,我们还通过Lepski方法选择数据驱动的带宽。这导致一个M-估计,是自适应的噪声和设计分布,此外,自适应相对于各向同性,多元,局部多项式目标函数的平滑度。这些结果也扩展到各向异性,局部常数的目标函数。特别是,我们的数据驱动方法提供了一定程度的鲁棒性,可以适应噪声、污染和离群值。
2014-07-09 math.ST stat.TH
Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture Models
Columbia University(哥伦比亚大学);Michigan State University(密歇根州立大学);Hong Kong University of Science and Technology(香港科技大学);New York University(纽约大学)
本文提出了一种基于EM算法的鲁棒多任务和迁移学习方法,用于高斯混合模型,实现了参数估计和分类误差的最优收敛率,并解决了初始化对齐问题。
2025-12-25 cs.LG math.ST stat.ME