Sparse and Robust Linear Regression: An Optimization Algorithm and Its Statistical Properties
研究了响应中含有异常值的稀疏线性回归分析。在标准线性回归模型的基础上增加一个参数向量来表示异常值,从而考虑了系数和异常值的稀疏估计问题。对系数施加$\ell_{1}$惩罚,而对离群值施加包括重降类型惩罚在内的各种惩罚。为了解决稀疏估计问题,我们引入了一个优化算法。在一定的条件下,我们证明了该算法所得到的系数的算法收敛性和统计收敛性。此外,它表明,该算法可以恢复真正的支持度的系数的概率去1。
2015-05-20 math.ST stat.ME stat.TH
Outliers, the Law of Large Numbers, Index of Stability and Heavy Tails
我们试图给出一个数学上正确的离群值定义。我们的方法是基于最后两个顺序统计量之间的距离,似乎是连接到大数定律。关键词:异常值,大数定律,重尾,稳定性指标。
2016-12-29 math.PR math.ST stat.TH
Topological data analysis for random sets and its application in detecting outliers and goodness of fit testing
提出基于有符号距离函数滤流、持续同调汇总函数、函数深度与全局包络检验的随机集异常值检测及拟合优度检验方法,并经germ-grain模型模拟验证。
2024-04-06 stat.ME
Doubts on the efficacy of outliers correction methods
虽然利用不同的离群值校正方法已被证明可以抵消不属于研究人群的污染数据所产生的推断误差;但当样本不含污染离群值时,利用这些方法所产生的影响不太清楚。这里的模拟方法表明,最流行的离群值校正方法(2西格玛,3西格玛,MAD,IQR,Grubbs和winsorizing)恶化的推理评估的研究人口在这种情况下,特别是产生通货膨胀的第一类错误和增加的错误承诺,估计人口的平均值和STD。我们发现,在存在污染异常值的情况下,那些在抵消I型和第二类错误膨胀方面具有最高功效的方法也会在不存在污染异常值的情况下产生更强的假阳性结果增加,这表明系统利用异常值校正方法的风险对统计推断产生的有害影响大于有益影响。最后,我们提出,处理统计比较中离群值的最安全方法是利用非参数检验
2019-10-01 stat.ME
High-dimensional robust regression and outliers detection with SLOPE
高维环境下的离群点检测和稳健回归问题是统计学中的基础问题,并有许多应用。继最近的一组工程提供的方法,同时强大的回归和离群值检测,我们认为在本文中的一个模型,线性回归与个人的截距,在一个高维设置。我们引入了一种新的程序,用于同时估计线性回归系数和截距,使用两个专用的排序- $\ell_1$惩罚,也称为SLOPE。我们开发了一个完整的理论,这个问题:首先,我们提供了尖锐的上界的统计估计误差的向量的个别截距和回归系数。其次,我们给出了一个渐近控制的错误发现率(FDR)和统计功效的支持选择的个人拦截。因此,本文是第一个介绍一个过程中,保证FDR和统计功效控制下的均值漂移模型的离群点检测。数值说明,与最近的替代方法的比较,提供了模拟和几个真实世界的数据集。实验使用Python和C++编写的开源软件进行。
2017-12-07 stat.ML
Heavy-tailed Contamination is Easier than Adversarial Contamination
CSAIL, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
本文证明任何对抗性鲁棒估计器对重尾离群值同样有效,并构造反例说明重尾估计器无法直接用于对抗性设定,从而表明重尾估计比对抗性鲁棒估计更容易,为重尾场景开辟了新算法方向。
2024-11-22 cs.DS cs.LG math.ST
Outlier Impact: Detection by Consequences
Meta
该研究提出一种基于异常值统计具体影响的检测方法,可标记出影响数据推断且异常的点,尤其关注其对假设检验均值和FPR的影响,适用于需保证因果推断有效性的实验场景。
2026-08-25 stat.AP stat.ME
Depth-Based Statistical Inferences in the Spike Train Space
针对脉冲列空间均值统计量对异常值敏感且计算成本高的问题,提出引入统计深度概念,利用中位数稳健描述数据模板并实现更准确的异常值检测与分类。
2023-11-22 stat.AP
Outlier-Resistant Estimators for Average Treatment Effect in Causal Inference
针对因果推断中平均处理效应常用估计量易受异常值影响的问题,提出结合密度幂加权的IPW/DR扩展估计量,在多种污染场景下抗异常值能力优于中位数类方法,且估计误差更小。
2022-04-15 stat.ME
A Robust Statistical method to Estimate the Intervention Effect with Longitudinal Data
分段回归是一种标准的统计程序,用于估计政策干预对时间序列结果的影响。该统计方法假设结果变量呈正态分布,样本量较大,观察结果无自相关性,且随时间呈线性趋势。此外,分段回归对离群值非常敏感。在小样本研究中,如果结果变量不服从高斯分布,则使用分段回归估计干预效果会导致不正确的推断。为了解决小样本问题和结果变量的非正态性,包括离群值,我们描述并发展了一个稳健的统计方法来估计一系列纵向数据的政策干预效果。通过计算分段回归和稳健统计方法的检验统计量的功效,对异常值和非正态性对结果的影响进行了模拟研究。此外,由于发现所提出的稳健统计量的抽样分布是分析困难的,我们使用非参数bootstrap技术来研究的抽样分布的性质,并作出统计推断。仿真研究表明,在非正态误差分布下,该方法比分段回归分析中使用的标准t检验具有更高的功效。最后,我们使用所开发的技术来评估《伊斯坦布尔宣言》对非法器官活动的干预效果。与标准方法相比,耐用性方法检测到更显著的效应,并提供更短的置信区间。
2020-02-15 stat.AP
A feature-based framework for detecting technical outliers in water-quality data from in situ sensors
由于现场传感器的水质数据中的技术错误而产生的异常值可能会降低数据质量,并直接影响从随后的数据分析中得出的推断。然而,考虑到传感器产生的数据量和速度,通过手动监测进行离群值检测是不可行的。在这里,我们提出了一个自动化的框架,提供早期检测异常值的水质数据从原位传感器引起的技术问题。该框架首先用于识别数据特征,区分离群的实例从典型的行为。然后应用统计变换,使离群实例在变换后的数据空间中突出。然后将无监督离群值评分技术应用于转换后的数据空间,并使用基于极值理论的方法来计算每个潜在离群值的阈值。使用从流入澳大利亚大堡礁泻湖的河流中的原位传感器获得的两个数据集,我们表明,所提出的框架成功地识别了涉及浊度,电导率和河流水位突然变化的异常值,包括突然的峰值,突然的孤立下降和水位变化,同时保持非常低的错误检测率。我们在开源R包oddwater中实现了这个框架。
2019-02-17 stat.AP
A robust mixed-effects quantile regression model using generalized Laplace mixtures to handle outliers and skewness
本文提出一种基于受污染广义非对称拉普拉斯混合的贝叶斯混合效应分位数回归模型,以稳健处理离群值和偏态,并在HIV病毒载量衰减数据中验证其优于传统方法。
2025-06-20 stat.ME
Analytical method for detecting outlier evaluators
流行病学和医学研究通常依赖于评估人员来获得研究参与者的暴露或结果的测量结果,并且对相关性的有效估计取决于数据的质量。尽管已经提出了统计方法来调整测量误差,但这些方法往往依赖于无法验证的假设,如果违反这些假设,可能导致有偏差的估计。因此,在数据收集阶段,需要检测潜在“离群值”评价者的方法,以提高数据质量。在本文中,我们提出了一个两阶段的算法来检测“离群值”的评估结果往往高于或低于他们的同行。在第一阶段中,通过拟合回归模型来获得评估者的效果。在第二阶段,进行假设检验,以检测“离群值”的评估,在那里我们考虑每个假设检验的权力和所有测试之间的错误发现率(FDR)。我们进行了广泛的模拟研究,以评估所提出的方法,并说明该方法检测潜在的“离群值”听力学家在数据收集阶段的听力学评估手臂的听力保护研究,流行病学研究,检查听力损失的危险因素在护士的健康研究II。我们的模拟研究表明,我们的方法不仅可以检测到真正的“离群”评价,但也不太可能错误地拒绝真正的“正常”评价。我们的两个阶段的“离群”检测算法是一个灵活的方法,可以有效地检测“离群”评估,从而可以提高数据质量在数据收集阶段。
2022-11-02 stat.AP
A Cooperative Statistical Approach for Abnormal Node Detection with Adversary Resistance
针对集群网络中伪造检测数据误导异常节点识别的问题,提出基于 LRT 与修正 Z-score 的 CSD 方案,并给出错误概率指数下降条件及最优阈值。
2025-05-13 cs.SY eess.SY stat.AP
Statistical Depth based Normalization and Outlier Detection of Gene Expression Data
归一化和离群点检测属于基因表达数据的预处理。我们提出了一个自然的归一化过程的基础上的统计数据深度归一化的基因表达的分布的最具代表性的基因表达的组。这与分位数归一化的标准方法不同,该方法基于坐标中位数数组,缺乏一维中位数的众所周知的属性。统计数据深度保持了这些良好的特性。已知基因表达数据含有离群值。尽管已经广泛地研究了在给定基因表达数据集中检测离群基因,但是这些方法不适用于检测离群样本,这是由于数据的高维度但低样本量结构造成的困难。用于检测异常值样本的标准程序是可视化的,并基于降维技术;实例是多维缩放和光谱图。为了检测给定基因表达数据集中的离群基因,我们提出了一种分析方法,并基于Tukey的离群值概念和统计深度概念,因为以前的方法会导致不自信和错误的离群值。我们揭示了四个数据集的离群值,作为进一步研究的必要步骤。
2022-06-28 stat.ME
Outlier detection and trimmed estimation for general functional data
本文介绍了一般函数型数据均值和协方差函数的截尾估计。估计是基于一个新的措施outlyingness或数据深度,是很好地定义在任何度量空间,虽然本文重点是欧几里德空间。我们计算故障点的估计,并表明,最佳的故障点是可以达到适当的选择调谐参数。通过模拟研究了估计量的小样本行为,证明了它们比其他估计量具有更好的抗离群值特性。这是证实了两个真实数据的应用程序,也表明,outlyingness措施可以被用作一个图形离群检测工具的功能空间中的视觉筛选的数据是困难的。
2012-11-30 stat.ME
Sequential Outlier Detection in Non-Stationary Time Series
提出一种基于极值理论控制错误概率的非平稳时间序列序贯异常值检测方法,并验证其渐近与有限样本性能。
2025-02-25 math.ST stat.ME stat.TH
Distribution Fitting 2. Pearson-Fisher, Kolmogorov-Smirnov, Anderson-Darling, Wilks-Shapiro, Cramer-von-Misses and Jarque-Bera statistics
对观测值与模型偏差的度量方法进行了综述。以下统计数据应用于两个实验数据集:卡方,Kolmogorov-Smirnov,Anderson-Darling,Wilks-Shapiro和Jarque-Bera。这两个调查组被证明不是正态分布。Grubbs检验确定了一个离群值,在将其删除后,205种化学活性化合物的正态性被接受。第二个数据集证明没有任何离群值。Kolmogorov-Smirnov统计量受离群值存在的影响较小(正变差表示为小于2的百分比)。异常值导致Kolmogorov-Smirnov统计量的II型误差和Anderson-Darling统计量的I型误差。
2009-07-16 stat.ME
DOD: Detection of outliers in high dimensional data with distance of distances
针对高维数据离群点检测难题,本文利用高维几何性质提出两种基于成对距离或内积的离群度统计量,并开发基于聚类和随机旋转的检测算法,在高维下实现了检测功效与假阳性控制的更优平衡。
2025-11-04 stat.ME
Highly robust factored principal component analysis for matrix-valued outlier accommodation and explainable detection via matrix minimum covariance determinant
本文提出高鲁棒因子主成分分析HRFPCA,利用MMCD估计量处理矩阵值重尾数据与异常值,并通过SODA图实现可解释检测。
2025-09-30 stat.ME
A Leave-One-Out Influence Statistic for Density-Based Outlier Detection
Université Laval(拉瓦尔大学)
提出基于密度的留一法影响分数用于无监督离群点检测,用LBFP估计器定义分数,有闭式更新,计算高效。研究污染下分数,模拟显示其性能及计算时间,信用卡欺诈应用表明该方法在大型真实数据集上效果良好。
2026-07-17 stat.ME
Comments on "Challenges of cellwise outliers" by Jakob Raymaekers and Peter J. Rousseeuw
University of Trento(特伦托大学)
本文对cellwise异常值的挑战进行了评论,讨论了其在时间序列中的应用及不同模型中的处理方法。
2026-01-23 stat.ME
Nonparametric framework for the definition, adaptive detection and probabilistic interpretation of outliers
Sapienza University of Rome(罗马大学)
本文提出一种基于伪隔离分数的非参数离群值检测框架,实现概率定义与几何分类,并集成到K-means中形成ODK-means,通过理论与实证验证其有效性。
2026-09-09 stat.CO stat.ME
Multiple Outlier Detection in Samples with Exponential & Pareto Tails: Redeeming the Inward Approach & Detecting Dragon Kings
本文提出两种基于比率的稳健检验统计量MRS和SRS,重新引入内向顺序检验方法以降低掩蔽敏感性,无需复杂的I类错误控制,并在多个案例中验证其检测“龙王”异常事件的有效性。
2024-09-25 stat.ME
An empirical comparison of some outlier detection methods with longitudinal data
Italian National Institute of Statistics – Istat(意大利国家统计研究所)
本研究针对纵向数据异常值检测问题,对比官方统计传统方法与数据挖掘、机器学习领域的相关方法,通过面板调查数据实验验证了后者灵活性更强、可处理多维数据且部分场景效果更优。
2025-07-28 cs.LG stat.AP stat.ME
A robust measure of skewness using cumulative statistic calculation
分布形状的一个重要方面是不对称程度。强烈的不对称性在许多生态系统中发挥作用,并在个体的大小和繁殖成功中发现。但标准的偏度三阶矩系数存在对异常值非常敏感的缺点,这可能导致不正确的解释。引入了一种新的度量,该度量基于计算洛伦兹曲线框架的累积统计,但它评估了底层分布的不对称性。简要描述了所提出的措施满足偏度措施的标准要求,并将其与使用对数正态分布和无离群值的基于矩的措施进行了比较。结果表明,所提出的措施的行为类似的“正常”分布,但鲁棒性(不过于敏感),如果有离群值。
2022-09-21 stat.AP stat.ME
PCA leverage: outlier detection for high-dimensional functional magnetic resonance imaging data
高维数据的离群点检测是现代统计学研究中的一个热点问题。然而,HD数据的一个来源是功能性磁共振成像(fMRI),它由在数百个时间点采样的数十万个测量值组成。在功能磁共振成像数据的可用性迅速增长的时候-主要是通过大型的,公开的基层数据集-自动化的质量控制和离群值检测方法是非常需要的。我们提出PCA的杠杆作用,并演示了它如何可以用来识别离群的时间点,在功能磁共振成像运行。此外,PCA杠杆是每个观察对主成分估计的影响的度量,这通常是fMRI数据中感兴趣的。我们还提出了一种替代措施,PCA鲁棒距离,这是不敏感的离群值,并具有可控的统计特性。所提出的方法进行了验证,通过仿真研究,并被证明是高度准确的。我们还进行了一项可靠性研究,使用自闭症脑成像数据交换的静息状态功能磁共振成像数据,发现使用所提出的方法去除离群值的结果,在更可靠的估计主体级静息状态网络使用ICA。
2016-10-21 stat.ME
Detection of Two-Way Outliers in Multivariate Data and Application to Cheating Detection in Educational Tests
本文提出了一种新的隐变量模型,用于同时(双向)检测项目反应类型数据的离群个体和项目。该模型是一个因素模型之间的协同作用,捕捉正常的项目响应行为和一个潜在的类模型,捕捉边远的个人和项目的二进制响应和连续响应时间。一个统计决策框架下提出的模型,提供复合决策规则控制本地错误发现/nondiscovery率的离群值检测。统计推断是在贝叶斯框架下进行的,为此开发了马尔可夫链蒙特卡罗算法。所提出的方法被应用到检测作弊的教育考试中,由于项目泄漏使用基于计算机的非自适应执照评估的案例研究。所提出的方法的性能进行了评估,通过仿真研究。
2021-10-22 stat.AP stat.ME
Robustness against outliers in ordinal response model via divergence approach
本文研究了有序反应模型中的离群值问题。有序反应模型是以有序分类数据为反应变量的回归模型。“离群值”是指有序分类数据及其协变量的组合与其他对相比是异质的。虽然有序响应模型对于医学和社会科学等各个领域的数据分析都很重要,但众所周知,经常使用的具有probit、logit、log-log和互补log-log链接函数的极大似然方法受到异常值的强烈影响,当数据中可能存在异常值时,统计分析人员被迫限制他们的分析。针对这一问题,提出了两种鲁棒发散(密度-幂发散和$γ$ -发散)的推理方法。我们还推导出所提出的方法的影响函数,并显示条件的链接功能,他们是有界的和redendence。由于常用的链接函数满足这些条件,分析人员可以进行强大的和灵活的分析与我们的方法。此外,这是一个结果,进一步突出了我们的贡献,我们表明,在极大似然方法中的影响函数不具有递减的顺序响应模型中的任何链接函数。通过人工和两个真实数据的数值实验,我们表明,所提出的方法比极大似然方法在各种链接函数的数据中有和没有离群值。
2022-12-27 math.ST stat.ME stat.TH
Bayesian Restricted Likelihood Methods: Conditioning on Insufficient Statistics in Bayesian Regression
贝叶斯方法已被证明在广泛的科学问题上是成功的,并且与竞争方法相比具有许多有据可查的优势。然而,这些方法遇到困难的两个主要和普遍的问题:处理数据集与离群值和处理模型误指定。我们概述了这些问题的以前的解决方案的缺点,并提出了一种新的方法作为替代。当使用新方法时,数据通过一组不充分的统计量进行汇总,目标是感兴趣的推断量,并且先验分布使用汇总统计量而不是完整的数据进行更新。通过仔细选择条件统计量,我们保留了贝叶斯方法的主要优点,同时降低了分析对条件统计量未捕获的数据特征的敏感性。为了降低对离群值的敏感性,经典的鲁棒估计(例如,M-估计)是条件统计的自然选择。这项工作的一个主要贡献是发展的数据增强马尔可夫链蒙特卡罗(MCMC)算法的线性模型和一大类的汇总统计。我们证明了模拟和真实的数据集包含离群值和模型误指定的方法。与竞争方法相比,成功表现在对感兴趣的数据点具有更好的预测性能。
2018-12-19 stat.ME
Nonparametric geometric outlier detection
由于异常观测值的实际意义,异常值检测是稳健统计学中的一个重要课题。然而,许多现有的方法是参数化的,或者当数据远离线性结构时停止良好地执行。本文提出了一种适用于复杂结构数据的非参数离群度指标Delaunay离群度。该方法是基于一个众所周知的三角剖分的样本,这似乎反映了稀疏的点集不同方向的一个有用的方式。除了呼吁economistics,我们得出的结果的Delaunay outlyingness的渐近行为的情况下,一个足够简单的一组观察。模拟和金融数据的应用进行了讨论。
2018-11-13 stat.ME
Statistical Depth for Interval Data: A Closeness-Based Approach and Its Applications
Renmin University of China(中国人民大学)
本文针对区间数据提出一种基于接近度的统计深度方法,用于排序和异常值检测,并验证了其应用效果。
2026-09-22 stat.ME
Nonparametric directional variogram estimation in the presence of outlier blocks
本文提出基于最小协方差行列式估计量的稳健方向变差函数估计方法,联合估计多个滞后,在离群块存在时优于现有方法,并通过卫星数据应用验证。
2025-03-28 stat.ME
Robust Indicators of Spatial Association
School of Geographical Sciences, University of Bristol(布里斯托大学地理科学学院)
研究评估稳健的LISA和全局空间关联度量,用多种插件稳健估计器等,还给出可视化策略,发现泰尔-森莫兰估计器是探索性空间数据分析和可视化的更好默认选择,稳健插件估计器在大数据集有可接受性能。
2026-07-10 stat.ME
Online robust covariance matrix estimation and outlier detection
本文提出了一种在线方法,用于同时估计协方差矩阵和检测异常值,通过稳健估计几何中位数和方差来提高鲁棒性。
2026-01-07 stat.ME
Exponential Lasso: robust sparse penalization under heavy-tailed noise and outliers with exponential-type loss
Norwegian Institute of Public Health(挪威公共卫生研究院)
针对经典Lasso对异常值和重尾噪声敏感的问题,提出结合指数型损失的Exponential Lasso鲁棒稀疏方法,通过MM算法高效求解,兼具理想条件下的收敛率与污染场景鲁棒性,性能优于经典Lasso。
2025-11-19 cs.LG stat.ME stat.ML
Least trimmed squares regression with missing values and cellwise outliers
University of Antwerp(安特卫普大学);KU Leuven(荷语鲁汶大学)
本文提出了一种能够处理案例异常值、单元异常值和缺失值的鲁棒回归方法,并展示了其在模拟和实际数据中的应用效果。
2026-08-04 stat.CO stat.ME
Typical Yet Unlikely and Normally Abnormal: The Intuition Behind High-Dimensional Statistics
本文揭示高维空间中“正常”实为异常,提出用信息论中的“典型性”概念更准确刻画常态,并证明其在异常值检测中优于马氏距离。
2023-12-26 stat.AP stat.ME
Functional outlier detection for density-valued data with application to robustify distribution to distribution regression
分布数据分析是在功能数据分析(FDA)框架下对随机概率密度函数(PDF)组成的数据对象进行统计分析和建模的研究,近年来受到了广泛的关注。然而,许多重要的方面仍然没有探索,如离群值检测和鲁棒性。现有的函数离群点检测方法主要用于普通函数数据,应用于PDF时通常表现不佳。为了填补这一空白,本研究的重点是PDF值离群检测,以及其在稳健分布回归中的应用。与普通函数数据类似,检测由大量PDF形成的“曲线网”掩盖的形状异常值是PDF异常值检测中的主要挑战。为此,我们提出了一个树结构的转换系统的特征提取以及转换的形状离群值容易检测的幅度离群值,相关的离群值检测器设计的特定的转换数据。还提出了一种多重检测策略,以考虑检测的不确定性,并将不同的检测器结合起来,形成一个更可靠的检测工具。此外,我们提出了一种基于分布回归的方法来检测PDF值二元组的异常关联。作为一个具体的应用,建议的离群值检测方法适用于robustify的分布到分布回归方法,我们开发了一个强大的估计器的回归算子通过降低检测到的离群值。所提出的方法进行了验证和评估,通过广泛的模拟研究或实际数据的应用。相关的比较研究表明,与其他竞争对手的分布式离群检测方法的优越性。
2021-10-02 stat.ME
On the impact of outliers in loss reserving
本文研究损失准备金对异常值的敏感性,通过推导影响函数分析Mack模型下准备金及预测均方误差,并与Bornhuetter-Ferguson方法比较,发现影响在损失三角形中变化大且依赖其他单元格。
2023-06-21 q-fin.RM stat.ME
Outlier Detection for Multi-Network Data
Duke University(杜克大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
针对多网络数据中异常值污染统计推断的问题,提出基于层次广义线性模型影响度量的ODIN方法,能有效识别中至极端异常值,并显著改善下游分析。
2022-06-24 stat.AP stat.ME stat.ML
Projection-Based Outlier Detection in Interval-Valued Functional Data
School of Economics and Management, Beihang University(北京航空航天大学经济管理学院);Key Laboratory of Complex System Analysis, Management and Decision (Beihang University)(复杂系统分析与决策重点实验室(北京航空航天大学));Advanced Institute of Information Technology, Peking University(北京大学前沿交叉学科研究院信息科技前沿中心);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
针对区间值函数数据的异常值检测需求,提出ILTFS-FDR方法,结合IFPCA与ILTFS,经模拟和高频ETF数据验证,可有效检测异常观测,兼具鲁棒性。
2026-08-04 stat.ME
Anti-Robust and Tonsured Statistics
这描述了一种被称为“tonsuing”的统计技术,用于金融领域的探索性数据分析。这不是拒绝与模型冲突的“离群”数据,而是剥离“内围”数据,以更清楚地了解市场如何为更大的波动而变化。
2011-10-20 q-fin.RM q-fin.ST stat.ME
Outlyingness: why do outliers lie out?
异常值检测是大多数统计数据分析中必不可少的步骤。然而,仅仅检测到一个无关的病例并不总是回答与该数据点相关的所有科学问题。离群值检测技术,经典的和鲁棒的一样,通常会标记为离群的整个情况下,或属性一个特定的情况下,整个情况下的权重。在实践中,特别是在高维数据中,离群值很可能不会沿着其所有变量而偏离,而只是沿着其中的一个子集。如果是这样的话,为什么这个病例被标记为异常值的科学问题就变得有趣了。在这篇文章中,提出了一种快速有效的方法来检测变量,最有助于离群值的离群。因此,它有助于分析师理解为什么离群值会出现。在这项工作中追求的方法是估计最大outlyingness的单变量方向。结果表明,估计该方向的问题可以重写为一个经典的最小二乘回归问题的赋范解。因此,可以通过以稀疏的方式估计相关联的最小二乘问题来实现识别对离群度贡献最大的变量的子集。从实际的角度来看,稀疏偏最小二乘(SPLS)回归,最好是通过快速稀疏NIPALS(SNIPLS)算法,建议解决这个问题。所提出的方法进行了说明,以及模拟数据和现实生活中的例子。
2017-08-12 stat.ME
Robust Multivariate Functional Control Chart
针对工业4.0制造数据含两类异常值导致控制图性能下降的问题,提出兼具鲁棒性的多元函数控制图RoMFCC框架,经模拟和汽车点焊真实案例验证其监测有效性。
2024-04-16 stat.AP stat.ME
Robust normality transformation and outlier detection in diverse distributions, with application to functional neuroimaging data
针对多样分布中异常值检测因总体分布未知且现有变换方法仅处理偏度的问题,本文提出基于SHASH分布族的稳健正态性变换方法,可处理偏度与非高斯尾重,在高污染水平下仍具高敏感性,且在神经影像降噪中有效。
2026-11-03 stat.ME
High-Breakdown Robust Multivariate Methods
在实践中应用统计方法时,经常会出现一些观察结果偏离通常的假设。然而,许多经典方法对离群值敏感。鲁棒统计的目标是开发一种方法,该方法对数据中任何地方可能出现一个或多个未经宣布的离群值的可能性具有鲁棒性。然后,这些方法允许通过稳健拟合的残差检测离群观测值。我们专注于高故障的方法,它可以处理数据中的离群值的相当大的一部分。我们给出了一个概述最近的高故障强大的方法,如协方差估计,多元和多元回归,判别分析,主成分和多元校正的多元设置。
2008-08-05 stat.ME
Addressing outliers in mixed-effects logistic regression: a more robust modeling approach
Syneos Health;University of the Free State(自由州大学);KU Leuven(荷语鲁汶大学);University of Stellenbosch(斯泰伦博斯大学)
本研究提出了一种基于t分布的稳健混合效应逻辑回归模型,用于处理有界计数数据中的异常值,通过模拟验证其在鲁棒性和准确性方面的优势。
2026-02-16 stat.ME
A robust multivariate, non-parametric outlier identification method for scrubbing in fMRI
Indiana University(印第安纳大学)
针对fMRI数据清洗需求,提出两种基于鲁棒距离的非参数多元异常值检测阈值方案,经降维、异常值插补等步骤实现,适用于非正态数据,效果优于现有多种清洗方法。
2026-10-22 stat.ME
Robust learning of data anomalies with analytically-solvable entropic outlier sparsification
Universitá della Svizzera Italiana (USI)(瑞士意大利语区大学)
熵离群稀疏化(Entropic Outlier Sparsification,EOS)是一种鲁棒的计算策略,用于在广泛的学习方法中检测数据异常,包括无监督问题(如在大多数高斯数据中检测非高斯离群值)和有监督的错误标记数据学习。EOS详细说明了香农熵正则化的(加权)预期误差最小化问题的解析闭式解。与常见的正则化策略需要的计算成本,规模多项式与数据维度相比,确定的封闭形式的解决方案被证明施加额外的迭代成本,线性依赖于统计量的大小,是独立的数据维度。得到的分析结果也解释了为什么球对称高斯的混合物-在许多流行的数据分析算法中被广泛使用-在使用平方欧几里德距离时代表非参数概率分布的最佳选择,结合预期误差最小化,最大熵/无偏性和线性成本缩放。EOS的性能进行了比较,一系列常用的工具合成的问题和部分错误标记的监督分类问题,从生物医学。
2021-12-22 cs.AI cs.LG stat.ME