Robust selection of predictors and conditional outlier detection in a perturbed large-dimensional regression context
本文提出了一种快速的方法,称为ROBOUT,识别异常值的响应变量条件下的一组线性相关的预测,从一个大的粒度数据集检索。ROBOUT被证明是有效的,特别是通用的现有方法相比,在存在一些数据特质的功能。当数据集包含元素稀疏变量,并且预测变量集包含多变量离群值时,ROBOUT能够识别具有离群条件方差的观测值。在这些条件下,SPARSE-LTS和RLARS等现有综合方法在系统上是次优的。ROBOUT需要统计相关预测因子的稳健选择阶段(通过使用Huber或分位数损失),基于所选预测因子(通过LTS,GS或MM)的稳健回归模型的估计,以及基于残差离散度的稳健测量来识别条件离群值的标准。我们进行了全面的模拟研究,在该算法的不同变体进行了测试下,一个详尽的一组不同的扰动情况。该方法也适用于粒度监管银行数据集收集的欧洲中央银行。
2021-04-25 stat.CO stat.ME
Robust artificial neural networks and outlier detection. Technical report
Deakin University(迪肯大学);University of Ballarat(巴拉瑞特大学)
大的离群值会破坏线性和非线性回归模型。稳健的回归方法允许人们在构建模型时过滤掉离群值。通过用最小二乘准则代替传统的最小二乘准则,其中一半的数据被视为潜在的离群值,可以将精确的回归模型拟合到强污染数据。高崩溃方法在线性回归中已经非常成熟,但直到最近才开始应用于非线性回归。在这项工作中,我们研究了使用最小修剪平方标准将人工神经网络拟合到受污染数据的问题。我们引入了一个惩罚的最小修剪平方标准,防止不必要的删除有效数据。人工神经网络的训练导致具有挑战性的非光滑全局最优化问题。我们比较了几种无导数最优化方法在解决它的效率,并表明我们的方法正确识别异常值时,人工神经网络用于非线性回归。
2011-10-02 cs.CV cs.NA cs.NE
Outlyingness: why do outliers lie out?
异常值检测是大多数统计数据分析中必不可少的步骤。然而,仅仅检测到一个无关的病例并不总是回答与该数据点相关的所有科学问题。离群值检测技术,经典的和鲁棒的一样,通常会标记为离群的整个情况下,或属性一个特定的情况下,整个情况下的权重。在实践中,特别是在高维数据中,离群值很可能不会沿着其所有变量而偏离,而只是沿着其中的一个子集。如果是这样的话,为什么这个病例被标记为异常值的科学问题就变得有趣了。在这篇文章中,提出了一种快速有效的方法来检测变量,最有助于离群值的离群。因此,它有助于分析师理解为什么离群值会出现。在这项工作中追求的方法是估计最大outlyingness的单变量方向。结果表明,估计该方向的问题可以重写为一个经典的最小二乘回归问题的赋范解。因此,可以通过以稀疏的方式估计相关联的最小二乘问题来实现识别对离群度贡献最大的变量的子集。从实际的角度来看,稀疏偏最小二乘(SPLS)回归,最好是通过快速稀疏NIPALS(SNIPLS)算法,建议解决这个问题。所提出的方法进行了说明,以及模拟数据和现实生活中的例子。
2017-08-12 stat.ME
Robust nonparametric regression: review and practical considerations
本文综述了非参数回归模型的离群点稳健估计方法,探讨了稳健带宽选择策略,并介绍了适用于多变量场景的高扩展性稳健回归方法。
2023-04-05 stat.ME
Redescending M-estimators and Deterministic Annealing, with Applications to Robust Regression and Tail Index Estimation
基于非指定离群模型的数据增广,构造了一类新的降阶M-估计。给出了估计量收敛于Huber型跳跃均值的充要条件。通过引入温度参数,可以应用确定性退火的概念,使得估计器对迭代的起始点不敏感。退火M-估计作为温度的函数的性质进行了探讨。最后,给出了两个应用。第一个是实验粒子物理中相互作用顶点的稳健估计,包括异常点检测。第二种是利用稳健回归诊断估计样本分布的尾部指数。
2010-06-18 stat.ME
Conditional Selective Inference for Robust Regression and Outlier Detection using Piecewise-Linear Homotopy Continuation
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所)
在噪声环境下的实际数据分析中,通常首先使用鲁棒方法来识别异常值,然后在去除异常值后进行进一步的分析。本文考虑剔除离群值后模型估计的统计推断问题,这可解释为一个选择推断问题。为了使用条件SI框架,有必要描述稳健方法如何识别离群值的事件。不幸的是,现有的方法不能直接使用这里,因为它们适用于选择事件可以由线性/二次约束表示的情况。本文利用同伦方法,提出了一种求解稳健回归的条件SI方法。我们表明,建议的条件SI方法是适用于广泛的一类强大的回归和离群值检测方法,并具有良好的经验表现在合成数据和真实数据的实验。
2022-01-02 cs.LG stat.ML
Outlier detection in regression: conic quadratic formulations
University of Southern California(南加州大学);Télécom SudParis(南巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
针对线性回归异常值检测中含二元变量与二次项乘积的混合整数优化问题,提出不含 big-M 约束的更强二阶锥松弛公式,计算速度较现有方法快数个数量级。
2023-07-12 cs.LG math.OC stat.ME
Robust estimation for functional quadratic regression models
本文针对函数型二次回归模型中的异常值问题,提出结合稳健主方向和基于有界损失函数的稳健回归估计方法,并通过数值模拟和实际数据验证其有效性。
2023-05-29 stat.ME
Mixtures of multivariate linear asymmetric Laplace regressions with multiple asymmetric Laplace covariates
本文提出污染移位非对称拉普拉斯聚类加权模型(cSALCWM),通过引入离群值和杠杆点控制参数,实现对偏态响应与协变量的联合聚类及精细组内分类,并开发期望-条件最大化算法进行参数估计,显著提升离群点检测与推断可靠性。
2025-05-09 stat.ME
Robust estimation for semi-functional linear regression models
针对半函数线性回归模型中高杠杆异常值对传统估计量损害的问题,本文结合$B$-样条与有界损失函数构建了稳健估计量,证明了其一致性并在数值实验与实际数据中展现出优于经典方法的预测性能。
2023-08-05 stat.ME
On a class of binary regression models and their robust estimation
本文提出基于β、γ散度的二元回归模型鲁棒估计统一框架,拓展传统logistic模型至一般连接函数类,兼具费希尔一致性与离群值鲁棒性,揭示新鲁棒估计类别,实验验证其在污染场景下的二元分类可靠性。
2025-02-21 stat.ME
A Robust Learning Algorithm for Regression Models Using Distributionally Robust Optimization under the Wasserstein Metric
我们提出了一个分布鲁棒优化(DRO)的方法来估计鲁棒回归平面在线性回归设置,当观察到的样本可能被污染与adversarially损坏离群值。我们的方法通过对观测数据上的一系列分布进行对冲来减轻离群值的影响,其中一些分布为离群值分配了非常低的概率。所考虑的一组分布接近Wasserstein度量意义上的经验分布。我们表明,这种DRO制定可以放松到一个凸优化问题,其中包括一类模型。通过选择合适的范数空间,我们能够恢复几个常用的正则化回归模型。我们提供了新的见解的正则化项,并从置信区域的角度给出指导正则化系数的选择。我们建立了两种类型的性能保证的解决方案,我们的配方在温和的条件下。一个与其样本外行为(预测偏差)有关,另一个涉及估计和真实回归平面之间的差异(估计偏差)。大量的数值结果表明,我们的方法的优越性的回归模型的主机,在预测和估计精度。我们还考虑了我们的鲁棒学习过程的离群值检测的应用,并表明我们的方法实现了更高的AUC(ROC曲线下面积)比M-估计。
2018-05-10 stat.ML
Robust Regression with Compositional Covariates
许多生物学高通量数据集,例如基于靶向扩增子的数据和宏基因组测序数据,本质上是组成性的。常见的探索性数据分析任务是推断高维微生物组成与生境或宿主相关协变量之间的统计关联。我们提出了一个通用的鲁棒统计回归框架,RobRegCC(Robust Regression with Compositional Covariates),它通过均值漂移公式来捕获离群值,从而扩展了线性对数对比模型。RobRegCC包括稀疏促进凸和非凸的惩罚,用于简约模型估计,数据驱动的鲁棒初始化过程,和一种新的鲁棒交叉验证模型选择方案。我们展示了RobRegCC在广泛的模拟设置中同时执行稀疏对数对比回归和离群值检测的能力,并为底层估计量提供了理论上的非渐近保证。为了证明工作流程在真实数据上的无缝适用性,我们考虑了来自HIV患者的肠道微生物组数据集,并从可溶性CD 14测量结果中推断出稀疏的微生物物种与宿主免疫反应之间的稳健关联。所有实验都是完全可重复的,可在GitHub上获得,网址为https://github.com/amishra-stats/robregcc。
2020-07-26 stat.AP stat.ME
A new graphical tool of outliers detection in regression models based on recursive estimation
在本文中,我们提出了一种新的工具,异常值检测的背景下,多元回归模型。该图形工具基于参数的递归估计。进行了模拟,以说明这种图形程序的性能。作为结论,该工具适用于实际数据包含离群值根据经典的可用工具。
2007-07-02 stat.ME
Detecting and Classifying Outliers in Big Functional Data
我们提出了两种新的离群点检测方法,用于识别和分类(大)函数数据集中不同类型的离群点。所提出的方法是基于现有的方法称为大规模无监督离群点检测(MUOD)。MUOD通过为每条曲线计算三个指数来检测和分类异常值,所有这些指数都基于线性回归和相关性的概念,这些指数相对于数据中的其他曲线在形状、大小和幅度方面测量异常值。第一种方法“Semifast-MUOD”使用观测样本计算指数,而第二种方法“Fast-MUOD”使用逐点或$L_1$中值计算指数。经典的箱形图被用来从典型观测值中分离出异常值的指数。所提出的方法使用模拟数据的性能评估显示显着的改进相比,MUOD,无论是在离群值检测和计算时间。我们表明,Fast-MUOD特别适合于处理大而密集的功能数据集,与其他方法相比,计算时间非常短。与最近的一些离群值检测方法的功能数据的进一步比较也显示出优越的或可比的离群值检测精度的方法。我们将所提出的方法应用于天气,人口增长和视频数据。
2021-10-14 stat.AP stat.ME
Faster than Fast-LTS: Robust Regression and Outlier Detection with DC Programming
University of Southampton(南安普顿大学);University of Kent(肯特大学)
针对最小修剪平方(LTS)稳健回归的精确求解组合爆炸问题,本文将其重构为带上限单纯形约束的凹最小化问题,提出连续提升的DC函数算法(sBDCA),理论证明线性收敛,数值实验表明比Fast-LTS快3.25倍且目标函数值降低90%。
2026-06-27 cs.NA math.NA math.OC
A residual for outlier identification in zero adjusted regression models
零调整回归模型用于拟合在零处离散且在正实数的某个间隔处连续的变量。这些模型中的诊断分析通常使用随机分位数残差进行,这对于检查零调整回归模型的总体充分性非常有用。然而,它可能无法识别一些离群值。在这项工作中,我们介绍了零调整回归模型中的异常识别残差。蒙特卡罗模拟的研究和应用表明,这里介绍的残差具有良好的性能,并检测离群值,不确定的随机分位数残差。
2018-12-18 stat.ME
Estimation Contracts for Outlier-Robust Geometric Perception
Massachusetts Institute of Technology(麻省理工学院)
异常值-稳健估计是一个基本问题,一直受到统计学家和实践者的广泛研究。在过去的几年里,已经看到了收敛跨研究领域的“算法的强大的统计”,重点是开发易于处理的离群强大的技术,高维估计问题。尽管有这种趋同,但各领域的研究工作大多彼此脱节。这本专着桥梁最近的工作可证明的离群值-稳健估计的几何感知机器人和计算机视觉与平行的工作,在强大的统计。特别是,我们调整和扩展了鲁棒线性回归(适用于<< 50%离群值的低离群值制度)和列表可解码回归(适用于>> 50%离群值的高离群值制度)的最新结果,以适应机器人和视觉中常见的设置,其中(i)变量(例如,旋转、姿态)属于非凸域,(ii)测量值是矢量值,以及(iii)异常值的数量先验未知。这里的重点是性能保证:而不是提出全新的算法,我们提供的条件下,现代估计算法(可能经过小的修改)的输入测量,保证恢复估计接近地面真理的存在离群值。这些条件就是我们所说的“估价合同”。除了对现有结果的扩展外,我们认为这本专著的主要贡献是(i)通过指出共性和差异来统一平行的研究路线,(ii)引入先进的材料(例如,平方和证明)在一个访问和自包含的介绍从业者,及(iii)指出一些直接的机会和开放的问题,在离群强大的几何感知。
2022-12-16 cs.CV cs.DS cs.LG
On Asymptotic Outlier Rejection in Bayesian Mixed Poisson Regression Models Under Extreme Target and Covariate Values
University of Helsinki(赫尔辛基大学)
研究混合泊松回归模型在协变量或目标值异常时的稳健性,发现模型对目标异常稳健但对协变量异常不稳健,需开发新方法。
2026-09-23 stat.ME
An integrated perspective of robustness in regression through the lens of the bias-variance trade-off
Institute of Statistical Mathematics(统计数理研究所);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
该研究提出回归鲁棒性的整合视角,揭示传统抗离群点鲁棒估计与抗假想数据集扰动的鲁棒优化间存在偏差-方差权衡,二者策略大致相反。
2024-07-15 cs.LG stat.ME stat.ML
Automatic Outlier Rectification via Optimal Transport
Stanford University(斯坦福大学)
针对传统两阶段异常值检测未结合估计任务的局限,提出基于带凹代价函数的最优传输的联合优化自动校正框架,在多任务实验中验证了其优于传统方法的有效性。
2024-07-11 cs.LG math.OC stat.ME
Robust Estimation under Heavy Contamination using Enlarged Models
在数据分析中,异常值的污染是不可避免的,因此对稳健的统计方法提出了更高的要求。在本文中,我们关注的是开发一种新的方法,强大的数据分析的基础上评分规则。评分规则是评估概率预测质量的差异度量。我们提出了一种简单的方法,不仅估计统计模型中的参数,而且估计离群值的污染率。估计污染率是重要的,因为人们可以基于估计的污染率从训练样本中检测出离群值。为此,我们使用评分规则与扩展的统计模型,即所谓的扩大模型。此外,还考虑了回归问题。研究了一类复杂的非均匀污染问题,其中因变量中的异常值污染率可能依赖于自变量。本文提出了一种在非均匀污染下获得稳健回归估计的简单方法。此外,我们表明,我们的方法也提供了一个估计的预期污染率,可用于检测训练样本的离群值。数值实验表明,我们的方法相比,传统的估计的有效性。
2013-11-21 math.ST stat.TH
Robust Identification of Target Genes and Outliers in Triple-negative Breast Cancer Data
乳腺癌亚型的正确分类非常重要,因为它直接影响治疗选择。我们专注于三阴性乳腺癌(TNBC),这是乳腺癌类型中预后最差的。使用稳健统计学领域的尖端方法,我们分析了从癌症基因组图谱(TCGA)数据门户网站公开获得的乳腺浸润癌(BRCA)转录组数据。我们的分析确定了可能与误诊患者相对应的统计异常值。此外,它表明,经典的统计方法可能会失败,在这些离群值的存在下,提示需要强大的统计。利用稳健的稀疏逻辑斯谛回归,我们获得了36个相关基因,其中ca。60%以前曾被报告为与TNBC生物学相关,加强了该方法的有效性。确定的其余14个基因是TNBC的新潜在生物标志物。其中,JAM 3、SFT 2D 2和PAPSS 1先前与乳腺肿瘤或其他类型的癌症相关。这些基因的相关性通过新的DetectDeviatingCells(DDC)离群值检测技术得到证实。对所选基因的基因网络的比较显示了TNBC和非TNBC数据之间的显著差异。FOXA 1在TNBC和非TNBC中的个体作用以及TNBC中的强FOXA 1-AGR 2连接突出。我们的研究结果不仅有助于乳腺癌/TNBC的理解和最终的管理,还表明稳健的回归和离群值检测构成了应对组学数据等高维临床数据的关键策略。
2018-07-04 stat.AP
A robust mixed-effects quantile regression model using generalized Laplace mixtures to handle outliers and skewness
Syneos Health;University of the Free State(自由州大学);KU Leuven(荷语鲁汶大学);University of Stellenbosch(斯坦陵布什大学)
本文提出一种基于受污染广义非对称拉普拉斯混合的贝叶斯混合效应分位数回归模型,以稳健处理离群值和偏态,并在HIV病毒载量衰减数据中验证其优于传统方法。
2025-06-20 stat.ME
On Bayesian quantile regression and outliers
在这项工作中,我们讨论了贝叶斯分位数回归模型的进展,因为他们的第一个建议,我们讨论了所有参数的重要性,在推理过程中。使用的非对称拉普拉斯分布作为一个正常的和一个指数分布的混合物的表示,我们讨论的相关性的尺度参数的存在,以控制模型中的方差。除此之外,我们还考虑了混合表示中潜在变量的后验分布,以显示贝叶斯分位数回归拟合的离群观测值,其中我们将每个潜在变量的后验分布与其他潜在变量进行比较。我们说明了这些结果与模拟研究,并与数据有关的基尼系数在巴西各州的人口普查信息。
2016-01-27 stat.ME
Combining Empirical Likelihood and Robust Estimation Methods for Linear Regression Models
普通最小二乘(OLS)、极大似然(ML)和稳健方法是线性回归模型参数估计的常用方法。众所周知,这些方法在误差项的某些分布假设下表现良好。然而,这些关于误差的分布假设可能不适合某些数据集。在这种情况下,可以考虑用非参数方法进行回归分析。经验似然法就是其中的一种非参数方法。EL方法在继承OLS估计法的正规方程的一些约束下,最大化一个函数,该函数是每个观测值对应的未知概率的乘积。然而,众所周知,当数据中存在一些离群值时,OLS方法的性能较差。本文研究了带鲁棒约束的EL方法。约束的鲁棒化是通过使用回归的鲁棒M估计方法来完成的。我们提供了一个小的模拟研究和一个真实的数据例子来证明强大的EL方法来处理不寻常的观测数据的能力。仿真和实际数据的结果表明,强大的约束时,需要重尾和/或离群值可能在数据中。
2018-01-26 stat.OT
Bayesian Robustness to Outliers in Linear Regression and Ratio Estimation
整体鲁棒性是统计模型的一个很好的属性。这意味着当离群值接近正负无穷大时,其影响逐渐消失。到目前为止,贝叶斯文献提供的结果,确保整体的鲁棒性的位置-尺度模型。在本文中,我们做了两个贡献。首先,我们推广的结果,以达到整个鲁棒性在简单的线性回归通过原点,这是一个必要的步骤,一般的线性回归模型的结果。我们允许误差项的方差依赖于解释变量。这种灵活性导致的第二个贡献:我们提供了一个简单的贝叶斯方法来鲁棒地估计有限的人口手段和比率。由于采用了超重尾分布假设代替了传统的误差项正态假设,因此获得全局鲁棒性的策略很简单。因此,用户可以像往常一样使用后验分布估计参数。
2018-08-12 stat.ME
Addressing outliers in mixed-effects logistic regression: a more robust modeling approach
Syneos Health;University of the Free State(自由州大学);KU Leuven(荷语鲁汶大学);University of Stellenbosch(斯泰伦博斯大学)
本研究提出了一种基于t分布的稳健混合效应逻辑回归模型,用于处理有界计数数据中的异常值,通过模拟验证其在鲁棒性和准确性方面的优势。
2026-02-16 stat.ME
Penalized MM Regression Estimation with $L_{γ}$ Penalty: A Robust Version of Bridge Regression
桥式回归估计推广了岭回归和LASSO估计。由于它以$L_{γ}$惩罚最小化残差平方和,因此该估计量通常对数据中的离群值不稳健。已经有人尝试定义桥回归方法的鲁棒版本,但是虽然这些方法产生对离群值和重尾误差鲁棒的桥回归估计,但是它们对杠杆点不鲁棒。我们提出了一个强大的桥梁回归估计方法结合MM和桥梁回归估计方法。从所提出的方法得到的MM桥回归估计是强大的离群值和杠杆点。此外,通过适当选择惩罚函数,该方法能够同时进行变量选择和参数估计。实现了MM桥式回归估计的一致性、渐近正态性和稀疏性。我们提出了一个算法来计算MM桥回归估计。仿真研究和实际数据的例子来证明有限样本情况下的MM桥回归估计的性能。
2015-11-25 stat.ME
A New Bayesian Approach to Robustness Against Outliers in Linear Regression
线性回归在统计分析中无处不在。众所周知,当假设误差服从经典正态分布时,相互冲突的信息源可能会影响推理。由轻的正常尾部引起的污染来自于不期望的效果:后部集中在不同源之间的区域中,具有足够大的缩放以将它们全部合并。贝叶斯统计中的冲突解决理论(O'Hagan和Pericchi(2012))建议通过限制离群值的影响来解决这个问题,以获得与大部分数据一致的结论。在本文中,我们提出了一个具有超重尾误差的模型来实现这一点。我们证明了它是完全鲁棒的,这意味着离群值的影响逐渐消失,因为他们越来越远离总趋势。超重尾密度类似于尾部之外的正常密度,这产生了一个有效的估计过程。此外,估计数很容易计算。这一点通过详细的用户指南来强调,其中所有步骤都通过模拟案例研究来解释。使用模拟显示的性能。所有需要的代码都已给出。
2019-06-11 stat.ME
Least trimmed squares regression with missing values and cellwise outliers
University of Antwerp(安特卫普大学);KU Leuven(荷语鲁汶大学)
本文提出了一种能够处理案例异常值、单元异常值和缺失值的鲁棒回归方法,并展示了其在模拟和实际数据中的应用效果。
2026-08-04 stat.CO stat.ME
A Robust Adaptive Modified Maximum Likelihood Estimator for the Linear Regression Model
在线性回归中,如果误差服从正态分布,则最小二乘(LS)估计具有一定的最优性。这一假设在实践中经常被违反,部分原因是数据离群值。稳健估计可以很好地解决这一问题,因此在实际中得到了广泛的应用。回归稳健估计的一个例子是自适应修正极大似然(AMML)估计(Donmez,2010)。然而,它们对$x$离群值(所谓的杠杆点)不稳健。在这项研究中,我们提出了一个新的回归估计,通过采用适当的加权方案的AMML估计方法。由此产生的估计被称为鲁棒AMML(RAMML),因为它不仅对y离群值是鲁棒的,而且对x离群值是鲁棒的。通过仿真研究,比较了RAMML估计与MM、最小截尾平方(LTS)和S。结果表明,根据均方误差(MSE)准则,RAMML估计在大多数情况下是优选的。两个数据集从文献中也进行了分析,以显示RAMML估计方法的实施。
2020-06-30 stat.ME
Outlier-robust copula regression for bivariate continuous proportions: an application to cushion plant vitality
Syneos Health;Dept. of Mathematical Statistics and Actuarial Science, University of the Free State(自由州大学数学统计与精算科学系);CEMSE Division, King Abdullah University of Science and Technology(阿卜杜拉国王科技大学CEMSE学部);Dept. of Statistics, University of Pretoria(比勒陀利亚大学统计学系);Dept. of Plant and Soil Sciences, University of Pretoria(比勒陀利亚大学植物与土壤科学系);Dept. of Botany and Plant Biotechnology, University of Johannesburg(约翰内斯堡大学生物学与植物生物技术系)
针对二元连续比例数据的内部异常值与残差依赖问题,提出结合矩形beta边缘与单参数copula的贝叶斯稳健回归方法,经垫状植物调查与模拟验证性能优异,可作为跨领域成对比例数据的稳健分析工具。
2025-11-13 stat.ME
Component-wise Adaptive Trimming For Robust Mixture Regression
Purdue University(普渡大学);Indiana University(印第安纳大学);Indiana University School of Medicine(印第安纳大学医学院)
混合回归模型的参数估计采用期望最大化(EM)算法,对异常值非常敏感。在这里,我们提出了一种快速,高效的鲁棒混合回归算法,称为逐行自适应修剪(CAT)方法。我们考虑同时离群检测和鲁棒参数估计,以尽量减少离群污染的影响。稳健混合回归具有许多重要的应用,包括人类癌症基因组学数据,其中群体通常显示出由不必要的技术扰动增加的强烈异质性。现有的稳健混合回归方法要么在存在离群值的情况下进行参数估计,要么依赖于离群值污染水平的先验知识,因此受到离群值的影响。CAT是在分类期望最大化的框架内实施的,在此框架下,可以得出离群值的自然定义。它实现了一个最小的修剪平方(LTS)的方法在每个排他性的混合成分,其中的鲁棒性问题可以从混合的情况下,简单的线性回归的情况下。LTS方法的高击穿点允许我们避免预先指定微调参数。与现有的多种算法相比,CAT是最有竞争力的一个,可以处理和自适应修剪离群值以及重尾噪声,在不同的场景下的模拟数据和真实的基因组数据。CAT已在CRAN中可用的R包“RobMixReg”中实现。
2021-04-19 cs.LG stat.ME
Bayesian Analysis on Limiting the Student-$t$ Linear Regression Model
Osaka Metropolitan University(大阪公立大学)
针对线性回归中异常值处理时Student-$t$模型应用缺乏理论支撑的问题,本研究基于正则变化理论提出了保证该模型对y方向异常值稳健性的实用简洁条件。
2025-10-03 stat.ME
Cellwise Robust M Regression
引入了单元格稳健M回归估计量作为其同类估计量中的第一个估计量,该估计量本质上产生与线性模型一致的单元格离群值的映射,以及对垂直离群值和杠杆点稳健的回归系数的向量。作为一个副产品,该方法产生了一个加权和插补数据集,其中包含对单元格离群值的估计值,如果它们拟合模型,则需要达到这些值。该方法被证明是同样强大的,其casewise对应,MM回归。单元回归方法丢弃的信息比任何casewise鲁棒估计少。因此,可以预期预测能力至少与逐例替代方案一样好。这些结果在模拟研究中得到证实。此外,虽然模拟显示预测性能至少与casewise方法相当,如果不是更好的话,但对由瑞士营养成分组成的数据集的应用表明,在个别情况下,CRM可以实现比MM回归更高的预测准确性。
2020-03-16 stat.ME
Statistically Significant Linear Regression Coefficients Solely Driven By Outliers In Finite-sample Inference
本研究通过R模拟验证单个异常值可使线性回归不显著系数呈现统计显著性,对比稳健Huber回归,分析异常值影响与诊断方法,关联正态性假设并警示仅用p值的风险,梳理回归方法与高斯-马尔可夫定理的关系。
2025-05-19 econ.EM math.ST stat.ME
The shooting S-estimator for robust regression
针对最小二乘法对异常值不稳健及传统S-estimation降权完整观测导致信息丢失的问题,提出shooting S-estimator,结合坐标下降算法与简单S-regression,在丧失回归等变性代价下实现对逐分量污染的稳健性。
2015-06-03 stat.ME
A robust contaminated discrete Weibull regression model for outlier-prone count data
Cytel Inc.(Cytel公司);University of the Free State(自由邦大学);University of Pretoria(比勒陀利亚大学);KU Leuven(荷语鲁汶大学);Stellenbosch University(斯泰伦博斯大学)
提出污染离散威布尔(cDW)模型,通过混合重尾子分布处理计数数据中的异常值,保留中位数回归链接,在住院时长数据中有效捕获极端值并提高预测精度。
2026-06-25 stat.ME
High-dimensional outlier detection and variable selection via adaptive weighted mean regression
本文提出自适应惩罚加权均值回归方法,利用自适应Huber损失函数,在高维线性模型中同时实现稳健的回归参数估计和异常值检测,并通过模拟和乳腺癌数据验证其有效性。
2023-06-24 math.ST stat.ME stat.TH
A Parametric Framework for the Comparison of Methods of Very Robust Regression
有几种方法可以获得回归参数的非常稳健的估计,这些估计渐近抵抗数据中50%的离群值。这些算法的行为差异取决于回归数据和异常值之间的距离。我们引入了一个参数$λ$,它定义了模型空间中的参数路径,使我们能够以系统的方式研究估计量的属性,因为数据组从相距很远到接近。我们检查,作为一个功能的$λ$,方差和方差偏差的五个估计,我们也考虑他们的权力时,用于检测离群值。这种系统的方法提供了工具,获得知识和更好地理解稳健估计的属性。
2014-05-20 stat.ME
Log-Regularly Varying Scale Mixture of Normals for Robust Regression
由于潜在的离群值,对误差分布采用经典正态假设的线性回归可能导致回归系数的不良后验推断。本文将具有薄尾和重尾的两个分量的有限混合作为误差分布,这在应用统计学中是经常使用的。对于重尾分量,我们引入了一类新的分布;它们的密度是对数规则变化的,并且比柯西分布具有更重的尾部,但它们表示为正态分布的尺度混合,并且能够通过Gibbs采样器进行有效的后验推断。我们证明了鲁棒性的离群值的后验分布在所提出的模型与最小的一组假设,这证明了使用收缩先验与无界密度的系数向量存在离群值。通过仿真研究与现有方法进行了广泛的比较,结果表明,该模型在点估计和区间估计方面的性能以及计算效率都有所提高。此外,我们证实了我们的方法的后验稳健性的实证研究与收缩先验的回归系数。
2021-01-09 stat.ME
Casewise and Cellwise Robust Tensor-on-Tensor Regression
KU Leuven(荷语鲁汶大学)
本文提出ROTOT方法,用于处理张量回归中的张量级和单元级异常值,同时应对缺失值,通过单一损失函数和鲁棒多线性主成分分析提升鲁棒性。
2026-10-02 stat.ME stat.ML
Nonparametric contaminated Gaussian mixture of regressions
University of Pretoria(比勒陀利亚大学);University of California, Riverside(加州大学河滨分校)
本文提出半参数和非参数污染高斯回归混合模型,通过EM和ECM算法实现鲁棒估计,用于观测聚类和异常值检测。
2026-01-10 stat.ME
Handling cellwise outliers by sparse regression and robust covariance
提出结合 lasso 回归、逐步截断和 EM 式检测—插补的 cellHandler 方法,用于逐单元异常值检测与稳健协方差估计。
2020-12-07 stat.CO stat.ME
Robust Bayesian Nonparametric Variable Selection for Linear Regression
钉板和马蹄回归可以说是最流行的贝叶斯变量选择方法的线性回归模型。然而,如果数据中存在离群值和异方差,则其性能可能会恶化,这是许多现实世界统计和机器学习应用中的常见特征。在这项工作中,我们提出了一个贝叶斯非参数方法线性回归,执行变量选择,同时考虑离群值和异方差。我们提出的模型是一个狄利克雷过程尺度混合模型的优点,我们可以得到完整的条件分布的所有参数在封闭的形式,从而产生一个有效的吉布斯采样后验推理的一个实例。此外,我们提出了如何扩展模型,以考虑重尾的响应变量。该模型的性能进行了测试,对竞争算法的合成和真实世界的数据集。
2022-10-19 stat.ME
Sparse and Robust Linear Regression: An Optimization Algorithm and Its Statistical Properties
研究了响应中含有异常值的稀疏线性回归分析。在标准线性回归模型的基础上增加一个参数向量来表示异常值,从而考虑了系数和异常值的稀疏估计问题。对系数施加$\ell_{1}$惩罚,而对离群值施加包括重降类型惩罚在内的各种惩罚。为了解决稀疏估计问题,我们引入了一个优化算法。在一定的条件下,我们证明了该算法所得到的系数的算法收敛性和统计收敛性。此外,它表明,该算法可以恢复真正的支持度的系数的概率去1。
2015-05-20 math.ST stat.ME stat.TH
Robust Variable Selection Criteria for the Penalized Regression
我们提出了一个强大的变量选择过程,使用基于发散的M-估计结合惩罚函数。它产生回归参数的稳健估计,同时选择重要的解释变量。基于估计方程的二次近似,构造了一种有效的算法。导出了回归系数的渐近分布和影响函数。基于Mallow的$C_p$统计量和Akaike信息准则(AIC)的模型选择方法在存在重尾误差或离群值的情况下往往表现出很差的性能。为了这个目的,我们引入了强大的版本,这些信息标准的基础上,我们提出的方法。仿真研究表明,鲁棒变量选择技术优于经典的基于似然的技术存在离群值。通过实际数据的分析,验证了该方法的有效性.
2019-12-29 stat.ME
A Robust t-process Regression Model with Independent Errors
高斯过程回归(GPR)模型对异常值敏感。基于t-过程或其他重尾过程的鲁棒过程回归模型已经被开发来解决这个问题。然而,由于重尾过程的当前定义的性质,未知过程回归函数和随机误差总是联合地并且因此依赖地定义。这一定义,主要是由于相关性假设,是不合理的,在许多实际问题,从而限制了这些强大的方法的应用。这也导致了鲁棒分析理论的局限性。在本文中,我们提出了一个新的鲁棒过程回归模型,使独立的随机误差。一个有效的估计程序开发。提供了无偏性和信息一致性等统计属性。数值研究表明,该方法对野值具有较强的鲁棒性,与现有模型相比,具有更好的预测性能。我们说明,估计的随机效应是有用的检测离群曲线。
2017-07-07 stat.ME
Efficient and Robust Estimation of Linear Regression with Normal Errors
具有正态分布误差的线性回归-包括诸如ANOVA、学生t检验或位置尺度推断的特定情况-是广泛使用的统计程序。在这种情况下,普通最小二乘估计具有显着的性质,但对异常值非常敏感。已经提出了几个强有力的替代方案,但仍有很大的改进余地。因此,本文提出了一种原始的估计方法,提供了最佳的效率,同时在存在和不存在离群值,无论是对回归系数和尺度参数的估计。该方法首先包括在扩大的正常假设的错误的混合物的正常和过滤的对数帕累托(FLP),一个原始的分布,旨在代表离群值。期望最大化(EM)算法,然后适应,我们得到的N-FLP估计的回归系数,尺度参数和比例的离群值,以及概率的每个观察是离群值。的N-FLP估计的性能进行了比较,在广泛的蒙特卡罗模拟的最佳选择。本文论证了这种估计方法也可用于完整的稳健推断,包括置信区间、假设检验和模型选择。
2019-09-17 math.ST stat.ME stat.TH
Robust Functional Logistic Regression
Department of Statistics, Marmara University(马尔马拉大学统计系)
针对函数逻辑回归对异常值敏感的问题,提出基于稳健函数主成分分析和M型估计量的稳健参数估计方法,在含异常值时提升分类精度且计算更高效。
2025-10-14 stat.AP stat.ME
Spatially and Robustly Hybrid Mixture Regression Model for Inference of Spatial Dependence
Purdue University(普渡大学);Indiana University(印第安纳大学);Amazon(亚马逊);Peking University(北京大学)
在本文中,我们提出了一个空间稳健混合回归模型来研究一个响应变量和一组解释变量之间的关系在空间域上,假设的关系可能会表现出复杂的空间动态模式,不能被捕获的常数回归系数。我们的方法集成了强大的有限混合高斯回归模型与空间约束,同时处理空间非平稳性,局部同质性和离群污染。与现有的空间回归模型相比,我们提出的模型假设存在一些不同的回归模型,这些模型是基于表现出类似的响应-预测关系的观测值估计的。因此,所提出的模型不仅考虑了空间趋势的非平稳性,而且还将观测结果聚类为几个不同的同质组。这提供了一个优势,在解释与几个固定的子过程识别,捕捉响应和预测变量之间的主要关系。此外,该方法采用了强大的程序来处理回归离群值和空间离群值的污染。通过这样做,我们稳健地将空间域分割成具有相似回归系数的不同局部区域和纯粹是离群值的零星位置。设计了严格的统计假设检验程序来检验这种分割的显著性。在许多合成数据集和真实数据集上的实验结果表明,与其他鲁棒的有限混合回归,空间回归和空间分割方法相比,我们提出的方法具有鲁棒性,准确性和有效性。
2021-09-28 cs.LG stat.ME
Robust Hierarchical Bayes Small Area Estimation for Nested Error Regression Model
许多国家的国家统计机构现在被授权为按地理和(或)人口划分的小区域编制人口、收入、失业、健康结果等重要变量的可靠统计数据。由于这些地区的样本量较小,直接基于样本的估计往往不可靠。基于模型的小面积估计现在被广泛用于通过适当的模型从其他地区和相关变量“借用力量”来生成可靠的统计数据。离群值对基于标准模型的小面积估计值产生不利影响。为了处理离群值,Sinha和Rao(2009)提出了一种鲁棒的频率论方法。在这篇文章中,我们提出了一个强大的贝叶斯替代嵌套误差回归模型的单位级数据,以减少离群值。我们考虑了一个两个组件的混合比例的正态分布的单位水平的误差模型离群值,并提出了一种计算方法,以产生贝叶斯预测的小面积平均值下的非信息先验模型参数。一个真实的例子和广泛的模拟令人信服地表明我们的贝叶斯预测离群值的鲁棒性。模拟比较这两种方法与Datta和Ghosh(1991)的贝叶斯预测和Chambers等人(2014)的M分位数估计的结果表明,当存在离群值时,我们提出的方法在偏倚,变异性和预测区间的覆盖概率方面优于其他方法。优越的频率性能,我们的程序显示其双重(贝叶斯和频率)的优势,并使其吸引力的所有从业者,贝叶斯和频率,小面积估计。
2018-10-24 stat.AP stat.ME
A Robust Seemingly Unrelated Regressions For Row-Wise And Cell-Wise Contamination
似不相关回归(SUR)模型是计量经济学、保险和金融中广泛使用的估计方法,其中回归模型通常包含一个以上的方程。未知参数,回归系数和协方差之间的误差项,估计使用算法的基础上广义最小二乘或极大似然,该方法,作为一个整体,是非常敏感的离群值。为了克服这个问题,M-估计和S-估计在文献中提出了快速算法。然而,这些程序只能处理误差项中的行式离群值,而当存在单元式离群值时以及随着方程数量的增加,它们的性能变得非常差。提出了一种新的鲁棒方法,该方法在两种污染类型下都能很好地执行,并且计算速度快。基于蒙特卡罗模拟和一个真实的数据例子的说明。
2021-07-02 stat.AP stat.ME