Pointwise Data Depth for Univariate and Multivariate Functional Outlier Detection
针对传统函数型数据深度单值表征不足的问题,提出基于逐点深度分布与成对深度相关性的单/双变量函数型异常值检测方法,经模拟和光伏数据集验证性能优于传统方法。
2023-11-05 stat.ME
MCODE: Multivariate Conditional Outlier Detection
University of Pittsburgh(匹兹堡大学)
离群值检测的目的是识别偏离预期模式的异常数据实例。当异常值是上下文相关的并且当它们由多个结果变量值的不寻常组合定义时,异常值检测特别具有挑战性。在本文中,我们开发和研究了一种新的条件离群值检测方法的多元结果空间,其工作原理是(1)转换的条件检测到离群值检测问题在一个新的(无条件)空间和(2)定义离群值得分通过分析数据在新的空间。我们的方法依赖于多维分类问题的分类器链分解,该分类器链分解让我们将输出空间转换为概率向量,输出空间的每个维度都有一个概率。然后,应用于这些变换向量的离群值分数用于检测离群值。多个多维分类问题与不同的离群值注入率的实验表明,我们的方法是强大的,能够成功地识别离群值时,离群值是稀疏(表现在一个或很少的维度)或密集(影响多个维度)。
2015-05-15 cs.AI cs.LG stat.ML
Propagation of outliers in multivariate data
我们研究了非标准数据污染模型下多变量位置的鲁棒估计的性能,如分量离群值(即,每个变量中的污染与其他变量无关)。这个模型带来了一个可能的新的统计误差来源,我们称之为“离群值传播”。“这种错误的来源是不寻常的,因为它是由数据处理本身产生的,并且发生在数据收集之后。定义并推导了柔性污染模型下稳健多变量位置估计的影响函数,并利用它研究了离群点传播的影响。此外,我们表明,标准的高故障仿射同变估计传播离群值,因此表现出不良的故障行为下分量污染时,尺寸$d$是高的。
2009-03-03 math.ST stat.TH
ICS for Multivariate Outlier Detection with Application to Quality Control
在汽车、航空电子或航空航天等高可靠性标准领域,异常检测至关重要。介绍了一种自动检测多变量异常值的有效方法。它利用了不变坐标选择(ICS)方法的显着特性。基于两个散射矩阵的同时谱分解,ICS导致仿射不变坐标系中的欧氏距离对应于原始坐标中的马氏距离(MD)。MD的局限性突出使用的背景下,数据的维度是大的理论参数。与MD不同,ICS可以选择相关组件,从而消除限制。由于得到的降维,该方法有望提高离群检测规则,如基于MD的标准的权力。它还大大简化了异常值的解释。该文件包括实际的指导方针,使用ICS的背景下,一个小比例的离群值,这是相关的高可靠性标准领域。通过平行分析和正态性检验的散射矩阵的选择以及相关的不变分量的选择得到解决。推荐使用规则的协方差阵和所谓的四阶矩矩阵作为散布对。这种选择结合了实现的简单性和导出理论结果的可能性。仿真研究证实了该建议的良好性能,并将其与其他散射对进行了比较。本研究也提供了一个比较与主成分分析和MD。我们的建议的性能也评估了几个真实的数据集,使用用户友好的R包随附的文件。
2018-02-02 stat.ME
High-dimensional outlier detection using random projections
文献中存在多种检测多变量数据中异常值的方法,但大多数方法都需要估计协方差阵。维数越高,矩阵的估计越复杂,在高维中变得不可能。为了避免估计这个矩阵,我们提出了一种新的随机投影为基础的程序来检测高斯多元数据中的离群值。它包括在几个一维子空间中投影数据,其中应用了适当的单变量离群值检测方法,类似于Tukey的方法,但阈值取决于初始尺寸和样本量。所需的投影数是使用序贯分析确定的。模拟和真实数据集说明了所提出的方法的性能。
2020-11-27 stat.ME
Detecting Unusual Input-Output Associations in Multivariate Conditional Data
University of Pittsburgh(匹兹堡大学)
尽管近年来离群点检测研究取得了巨大的进展,但大多数现有方法仅被设计用于检测与所有数据属性的联合空间中表达的异常数据模式相对应的无条件离群点。当我们试图检测反映与给定上下文或条件相关的异常反应的条件离群值时,此类方法不适用。这项工作的重点是多变量条件离群值检测,一种特殊类型的条件离群值检测问题,其中数据实例包括多维输入(上下文)和输出(响应)对。我们提出了一种新的离群值检测框架,该框架可以在从所有数据实例中学习的可分解条件概率模型的帮助下识别数据中的异常输入-输出关联。由于该模型的组成部分可能在质量上有所不同,因此我们将它们与权重相结合,以反映其在评估离群值时的可靠性。我们研究了两种计算组件权重的方法:依赖于所有数据的全局方法和仅依赖于与目标实例相似的实例的局部方法。对不同领域数据的实验结果表明,我们的框架能够成功识别多变量条件离群值。
2016-12-21 cs.LG stat.ML
Robust estimation of multivariate location and scatter in the presence of cellwise and casewise contamination
多元位置和散布矩阵估计是多元数据分析的基础。我们考虑这个问题时,数据可能包含独立的细胞和casewise离群值。在现代统计应用中,具有大量变量和相对少量案例的平面数据集是常见的。在这些情况下,如由传统稳健程序执行的整个情况的全局向下加权可能导致不良结果。我们强调需要一个新一代的强大的估计,可以有效地处理细胞离群值,并在同一时间下casewise离群值表现出良好的性能。
2014-06-23 math.ST stat.TH
Detection and treatment of outliers for multivariate robust loss reserving
本文提出两种稳健双变量链梯法(基于调整离群度和袋距离)处理异常值,并扩展至N维,在三变量数据集上验证效果。
2023-06-16 q-fin.RM stat.AP stat.ME
Area-based epigraph and hypograph indices for functional outlier detection
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);uc3m-Santander Big Data Institute(uc3m-桑坦德大数据研究所);Universidad Complutense de Madrid(马德里康普顿斯大学);Instituto de Matemática Interdisciplinar (IMI)(跨学科数学研究所);Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出基于面积的epigraph和hypograph指数,用于同时检测函数的幅度和形状异常,通过将函数异常检测转化为多变量问题,提高了鲁棒性和性能。
2025-07-08 stat.ME
Robust selection of predictors and conditional outlier detection in a perturbed large-dimensional regression context
本文提出了一种快速的方法,称为ROBOUT,识别异常值的响应变量条件下的一组线性相关的预测,从一个大的粒度数据集检索。ROBOUT被证明是有效的,特别是通用的现有方法相比,在存在一些数据特质的功能。当数据集包含元素稀疏变量,并且预测变量集包含多变量离群值时,ROBOUT能够识别具有离群条件方差的观测值。在这些条件下,SPARSE-LTS和RLARS等现有综合方法在系统上是次优的。ROBOUT需要统计相关预测因子的稳健选择阶段(通过使用Huber或分位数损失),基于所选预测因子(通过LTS,GS或MM)的稳健回归模型的估计,以及基于残差离散度的稳健测量来识别条件离群值的标准。我们进行了全面的模拟研究,在该算法的不同变体进行了测试下,一个详尽的一组不同的扰动情况。该方法也适用于粒度监管银行数据集收集的欧洲中央银行。
2021-04-25 stat.CO stat.ME
Mixtures of multivariate linear asymmetric Laplace regressions with multiple asymmetric Laplace covariates
本文提出污染移位非对称拉普拉斯聚类加权模型(cSALCWM),通过引入离群值和杠杆点控制参数,实现对偏态响应与协变量的联合聚类及精细组内分类,并开发期望-条件最大化算法进行参数估计,显著提升离群点检测与推断可靠性。
2025-05-09 stat.ME
Sparse Functional Boxplots for Multivariate Curves
This paper introduces the sparse functional boxplot and the intensity sparse functional boxplot as practical exploratory tools. Besides being available for complete functional data, they can be used in sparse univariate and multivariate functional data. The sparse functional boxplot, based on the functional boxplot, displays sparseness proportions within the 50\% central region. The intensity sparse functional boxplot indicates the relative intensity of fitted sparse point patterns in the central region. The two-stage functional boxplot, which derives from the functional boxplot to detect outl…
2022-05-27 stat.AP stat.ME
On Weighted Multivariate Sign Functions
多元符号函数常用于稳健估计和推理。我们建议使用数据相关的权重与这些功能。建议的加权符号函数保留了理想的鲁棒性,同时显着提高效率的估计和推理相比,未加权的多元符号为基础的方法。使用加权符号,我们展示了鲁棒的位置估计和鲁棒的主成分分析方法。我们扩展了使用鲁棒多变量方法的范围,包括鲁棒充分的降维和功能异常检测。一些数值研究和实际数据的应用表明,所提出的方法的有效性。
2020-12-25 stat.ME
Nonparametric directional variogram estimation in the presence of outlier blocks
本文提出基于最小协方差行列式估计量的稳健方向变差函数估计方法,联合估计多个滞后,在离群块存在时优于现有方法,并通过卫星数据应用验证。
2025-03-28 stat.ME
Robust Multivariate Estimation Based On Statistical Depth Filters
在经典的污染模型中,如粗差(Huber和Tukey污染模型或Case-wise污染模型),观测值被认为是被识别为离群值或非离群值的单元。当考虑的变量数量相对较少时,该模型非常有用。Alqallaf et al. [2009]显示了这种方法对大量变量的限制,并引入了独立污染模型(Cell-wise Contamination),其中现在细胞是被识别为离群值或非离群值的单位。同时处理这两种类型的污染的一种方法是从数据集中过滤出受污染的单元格,然后应用能够处理逐例离群值和缺失值的鲁棒程序。在这里,我们开发了一个通用框架,以基于统计数据深度函数在任何维度上构建过滤器。我们证明了以前的方法,例如Agostinelli et al. [2015 a]和Leung et al. [2017],是特殊情况。我们通过使用半空间深度来说明我们的方法。
2021-01-16 math.ST stat.TH
Directional Outlyingness for Multivariate Functional Data
离群度的方向是描述多元函数数据中心性的关键。受此启发,我们将经典深度推广到函数数据的方向性outlyingness。我们研究了函数的方向性离群度的理论性质,发现总的离群度可以自然地分解为两部分:幅度离群度和形状离群度,它们分别表示曲线的幅度和形状的中心性。使用这种分解,我们提供了一个可视化工具的曲线的中心。此外,我们设计了一个基于函数方向离群度的离群点检测过程。该准则适用于单变量和多变量曲线,仿真研究表明,它优于竞争的方法。天气和心电图数据证明了我们提出的框架的实际应用。
2018-04-22 stat.ME
Cluster analysis and outlier detection with missing data
San José State University(圣何塞州立大学)
针对多元污染正态(MCN)分布混合模型仅能处理完整数据的局限,提出适配随机缺失不完整数据集的拟合框架,采用期望-条件最大化算法估参,并通过模拟对比其与Student's t分布混合模型的效果。
2020-12-10 stat.ME
An outlier map for Support Vector Machine classification
支持向量机是一种广泛使用的分类技术。它们计算效率高,即使对于高维数据也能提供出色的预测。此外,支持向量机是非常灵活的,由于纳入核函数。后者允许非线性模型,但也可以处理非数值数据,如蛋白质串。然而,支持向量机可能会受到不干净数据的影响,例如,离群值或错误标记的观察。虽然在文献中已经提出了几种离群值检测方案,但离群值与非离群值的选择通常是特别的,并且不能提供对数据的深入了解。在稳健多元统计中,离群值图是评估所考虑数据质量的非常流行的工具。它们提供了描述几种类型异常值的数据的可视化表示。本文提出了一种用于支持向量机分类的离群图。将多元统计中的Stahel-Donoho离群度测度推广到任意核空间。裁剪支持向量机定义为对具有最大离群值的样本进行裁剪。基于该分类器,构造了一个离群点图,可以可视化任何类型的高维核空间中的数据。离群值图在4个生物学示例中进行了说明,显示其在探索性数据分析中的用途。
2010-09-29 stat.AP
On the use of the M-quantiles for outlier detection in multivariate data
本文研究了用于异常值检测的M-quantiles,K-transform,证明了在奇数维度d>=3中其与密度成正比的是多重拉普拉斯算子而非梯度,,揭示了该机制在异常值检测中的存在放大效应缺陷。
2024-01-10 math.OC math.ST stat.TH
A Measure of Directional Outlyingness with Applications to Image Data and Video
函数数据涵盖了广泛的数据类型。它们都有一个共同点,即观察到的对象是单变量参数(例如时间或波长)或多变量参数(例如空间位置)的函数。这些函数采用的值可以是单变量(如吸光度水平)或多变量(如图像的红/绿/蓝颜色水平)。在实践中,重要的是能够检测到这些数据中的异常值。为此,我们引入了一个新的测量outlyingness,我们计算在每个网格点的功能的域。拟议的方向外向度(DO)度量考虑了数据的偏斜度,并且每个方向仅需要O(n)计算时间。我们推导出DO的影响函数,并计算出离群值检测的截止值。由此产生的热图和函数离群图反映了函数的局部和全局离群度。为了说明该方法在实际数据上的性能,将其应用于光谱,MRI图像和视频监控数据。
2017-03-03 stat.ME
Global Depths for Irregularly Observed Multivariate Functional Data
Two frameworks for multivariate functional depth based on multivariate depths are introduced in this paper. The first framework is multivariate functional integrated depth, and the second framework involves multivariate functional extremal depth, which is an extension of the extremal depth for univariate functional data. In each framework, global and local multivariate functional depths are proposed. The properties of population multivariate functional depths and consistency of finite sample depths to their population versions are established. In addition, finite sample depths under irregularl…
2022-11-28 stat.AP stat.ME
Total Variation Depth for Functional Data
基于数据深度的方法在稳健的多变量数据分析方面已经有了大量的工作。最近的发展已经转移到无限维对象,如功能数据。在这项工作中,我们提出了一个新的概念的深度,总的变化深度,功能数据。作为深度的度量,其性质进行了理论研究,并通过仿真研究了相关的离群点检测性能。与幅度异常值相比,形状异常值往往被其他样本掩盖,更难识别。我们表明,建议的总变化深度有许多可取的功能,非常适合离群值检测。特别是,我们建议将总变化深度分解为两个分量,分别与形状和幅度outlyingness。这种分解使我们能够开发出一种有效的离群值检测程序和有用的可视化工具,同时自然地解释函数数据中的相关性。最后,使用曲线,图像和视频帧的真实数据集证明了所提出的方法。
2016-11-15 stat.ME
Convex programming approach to robust estimation of a multivariate Gaussian model
多元高斯通常用作高维数据分布的第一近似。在各种约束条件下确定该分布的参数是统计学中广泛研究的问题,并且通常被认为是测试新算法或理论框架的原型。在本文中,我们开发了一个非渐近的方法来估计的多元高斯分布的参数时,数据被破坏的离群值的问题。我们提出了一个估计-有效地计算通过解决凸规划-鲁棒估计的人口平均值和人口协方差阵,即使样本包含一个显着比例的离群值。我们的腐败矩阵的估计是可证明的率最优的同时为条目明智的$\ell_1$ -范数,Frobenius范数和混合$\ell_2/\ell_1$范数。此外,这种最优性是通过具有通用调谐参数(校准惩罚强度)的惩罚平方根最小二乘法实现的。在逆协方差阵稀疏的附加条件下,将这些结果部分地推广到$p$可能大于$n$的情形.
2016-02-06 math.ST stat.TH
Edgewise outliers of network indexed signals
Institute of Statistics and Mathematical Methods in Economics(经济统计与数学方法研究所);TU Wien(维也纳工业大学);Toulouse School of Economics(图卢兹经济学院)
针对存在变量和节点依赖的网络索引多变量数据,提出边异常值概念,推导马氏距离平方等分布以确定检测阈值,提出鲁棒的边MCD算法,模拟和真实数据实验均验证了其有效性。
2023-07-20 cs.LG stat.AP stat.ME
ICS for complex data with application to outlier detection for density data
本文在抽象欧几里得空间中提出ICS的无坐标定义,将其扩展到函数型和分布型复杂数据,用于异常检测,并在低异常比例模拟及越南气温分布数据中验证了有效性。
2025-05-26 math.ST stat.ME stat.TH
Explainable Outlier Detection for Interval-valued Data
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学技术学院);Faculdade de Economia, Universidade do Porto(波尔图大学经济系);LIAAD-INESC TEC
基于区间最小协方差行列式估计器,利用Shapley值对区间值观测的异常性进行解释,推导出鲁棒区间马氏距离平方的闭式表达式,实现变量贡献的高效计算,并通过Shapley交互指数捕捉变量对交互作用。
2026-06-26 stat.ME stat.ML
Multivariate Mean Comparison under Differential Privacy
多元总体均值的比较是统计推断的一项中心任务。虽然统计理论提供了各种分析工具,但它们通常不保护个人隐私。这种知识可能会激励研究参与者隐藏他们的真实数据(特别是离群值),这可能导致扭曲的分析。在本文中,我们解决这个问题,通过开发一个假设检验多变量均值比较,保证不同的隐私用户。检验统计量是基于流行的霍特林的$t^2$ -统计量,它有一个自然的解释方面的马氏距离。为了控制1型错误,我们提出了一个引导算法下的差分隐私,可证明产生一个可靠的测试决策。在实证研究中,我们证明了这种方法的适用性。
2021-10-15 cs.CR math.ST stat.ME
Minimum Covariance Determinant and Extensions
最小协方差行列式(MCD)方法是一种高度稳健的多元位置和分散度估计方法,具有快速算法。由于估计协方差阵是许多多元统计方法的基石,因此MCD是开发稳健多元技术时的重要构建块。它也是一种方便有效的离群值检测工具。MCD估计的审查,以及它的主要性质,如仿射等方差,击穿值,和影响函数。我们讨论了它的计算,并列出应用和方法的多元统计的MCD的应用和扩展。两个最近的扩展MCD的描述。第一个是一个快速的确定性算法,继承了MCD的鲁棒性,同时几乎仿射等变。第二个是针对高维数据,可能比情况下更多的维度,并结合正则化,以防止奇异矩阵。
2017-09-20 stat.ME
PyOD: A Python Toolbox for Scalable Outlier Detection
Carnegie Mellon University(卡内基梅隆大学);University of Toronto(多伦多大学);Northeastern University Toronto(东北大学多伦多校区)
PyOD是一个开源的Python工具箱,用于对多变量数据执行可扩展的离群值检测。独特的是,它提供了对广泛的离群值检测算法的访问,包括已建立的离群值集合和最近的基于神经网络的方法,在一个单一的,文档齐全的API下,专为从业者和研究人员使用。考虑到健壮性和可扩展性,单元测试、持续集成、代码覆盖率、可维护性检查、交互式示例和并行化等最佳实践被强调为工具箱开发的核心组成部分。PyOD与Python 2和3兼容,可以通过Python包索引(PyPI)或https://github.com/yzhao062/pyod安装。
2019-06-10 cs.IR cs.LG stat.ML
Asymmetric Clusters and Outliers: Mixtures of Multivariate Contaminated Shifted Asymmetric Laplace Distributions
开发了多变量污染移位非对称拉普拉斯分布的混合,用于在存在离群值(本文中也称为坏点)的情况下处理非对称聚类。除了相关的非污染混合物的参数,对于每个(不对称)集群,我们的模型有一个参数控制离群值的比例和一个指定的污染程度。至关重要的是,这些参数不必事先指定,为我们的方法增加了灵活性,这是其他方法(如修剪)所缺乏的。此外,每个观察被给予属于特定聚类以及是否为离群值的后验概率;有利地,这允许离群值的自动检测。一个期望条件最大化算法概述了参数估计和各种实施问题进行了讨论。所提出的模型的行为进行了研究,并与完善的有限混合物,人工和真实的数据。
2018-04-24 stat.CO stat.ME stat.ML
Outlier-Robust Bayesian Multivariate Analysis with Correlation-Intact Sandwich Mixture
Graduate School of Economics, Kyoto University(京都大学经济学研究科);Faculty of Economics, The University of Tokyo(东京大学经济学部);Faculty of Economics, Keio University(庆应义塾大学经济学部)
针对多元分析中离群值扭曲相关结构的问题,提出相关性保持的三明治混合模型,采用对称超重尾尺度分布实现后验稳健性,并开发高效吉布斯采样算法,在模拟和实证中验证优越性。
2025-10-24 stat.ME
Improving the Peña-Prieto "KSD" procedure
Peña和Prieto(2007)提出了“峰度加特定方向”(KSD)方法,用于稳健的多变量位置和散布估计以及离群值检测。Maronna和Yohai(2017)将其用作多变量S-和MM-估计量的初始估计量,他们的模拟表明KSD通常优于基于子采样的初始估计量。然而,进一步的模拟表明,当污染率为“高”(>=0.2),样本与变量的比率为“低”(<10)时,KSD可能变得不稳定,并在极端情况下给出错误的结果。提出了两个简单的修改程序,大大提高了该方法的性能作为一个初始估计,只有一个小的增加计算时间。
2017-08-10 stat.ME
Outlier detection in non-elliptical data by kernel MRCD
KU Leuven(鲁汶大学)
本文提出核最小正则化协方差行列式(KMRCD)估计器,通过在核特征空间中计算MRCD并利用核技巧加速,实现对非椭圆高维数据的快速稳健离群点检测。
2021-03-29 cs.LG stat.CO stat.ML
Isolation forests: looking beyond tree depth
孤立森林算法的离群值检测利用了一个简单而有效的观察:如果采取一些多元数据,并在整个特征空间递归地均匀随机切割,它将采取更少的随机切割离群值被单独留在一个给定的子空间相比,定期观察。最初的想法提出了基于隔离所需的树深度(随机切割的数量)的离群值得分,但这里的实验表明,使用有关所取特征空间大小和分配给它的点数的信息可以在许多情况下改善结果,而无需对树结构进行任何修改,特别是在存在分类特征的情况下。
2021-11-23 cs.LG stat.ML
COPOD: Copula-Based Outlier Detection
Northeastern Univ. & Arima Inc.(东北大学与Arima公司);Carnegie Mellon Univ.(卡内基梅隆大学);PIK Potsdam(波茨坦气候影响研究所);THD(德根多夫应用技术大学)
离群值检测是指识别偏离一般数据分布的罕见项目。现有的方法存在计算复杂度高、预测能力低和可解释性有限的问题。作为一种补救措施,我们提出了一种新的离群点检测算法COPOD,这是受Copula建模多元数据分布。COPOD首先构造一个经验Copula函数,然后用它来预测每个给定数据点的尾部概率,以确定其“极值”水平。直觉上,我们认为这是计算一个异常的p值。这使得COPOD既无参数,高度可解释,计算效率。在这项工作中,我们做出了三个关键贡献,1)提出了一种新的,无参数的离群值检测算法,具有很好的性能和可解释性,2)在30个基准数据集上进行了广泛的实验,以表明COPOD在大多数情况下都优于其他算法,也是最快的算法之一,3)发布了一个易于使用的Python实现,以实现可重复性。
2020-09-20 cs.IR cs.LG stat.ML
On the Adversarial Robustness of Multivariate Robust Estimation
University of Michigan(密歇根大学);University of California, Davis(加利福尼亚大学戴维斯分校)
本文研究了多元$M$ -估计量的对抗鲁棒性。在所考虑的模型中,在观察整个数据集之后,对手可以修改所有数据点,以最大化推理错误。我们使用对抗影响函数(AIF)来衡量对手可以改变推理结果的渐近速率。我们首先描述对手的最佳修改策略和相应的AIF。从防御者的角度来看,我们希望设计一个具有小AIF的估计器。对于联合位置和规模估计问题的情况下,我们刻画了最佳的$M$估计,具有最小的AIF。我们进一步确定了对抗性修改的鲁棒性和对离群值的鲁棒性之间的权衡,并推导出最佳的$M$估计,实现最佳的权衡。
2019-03-27 cs.IT cs.LG math.IT
Breakdown Properties of the M-Estimators of Multivariate Scatter
已知多元散布的M-估计的崩溃点不大于大于1/(p+1),其中p是数据的维数。在高维中,击穿点通常被认为是令人惊讶的低。本文对故障问题进行了较为详细的研究。精确的击穿点的M-估计的散布得到,它表明,它们的低值主要是由于污染限制到一些平面。如果这种“共面”污染不存在,则存在M-估计量,其故障点接近1/2。共面污染的影响被进一步研究,并示出相关的散射矩阵的奇异性。最后,本文的结果是否低击穿点一定是一个坏的功能和多变量离群值检测的影响进行了简要讨论。这篇论文是一份未发表的1986年罗格斯技术报告的再版。
2014-06-18 math.ST stat.TH
Robust Estimation for Multivariate Wrapped Models
本文提出了一种对p维环面上的数据点进行多元包裹正态分布的加权似然稳健估计的方法。手头样本中离群值的出现会严重损害标准技术(如极大似然方法)的推断。因此,有必要处理这种模型的不足之处,在拟合过程中,一个强大的技术和有效的降低权重的观察不遵循假设的模型。此外,采用一个强大的方法可以帮助在数据中隐藏和意外的子结构的情况。在此,建议建立一个基于皮尔逊残差的数据依赖的权重集,并解决相应的加权似然估计方程。特别地,通过使用分类期望最大化算法来执行稳健估计,该算法的M步通过基于当前参数值的权重计算来增强。通过蒙特卡罗数值研究和实际数据的例子,研究了所提出的方法的有限样本行为。
2020-10-16 math.ST stat.ME stat.TH
Monitoring Deforestation Using Multivariate Bayesian Online Changepoint Detection with Outliers
近实时变化探测对于各种地球监测应用非常重要,并且仍然是遥感科学的一个高度优先事项。数据稀疏性、细微变化、季节性趋势以及异常值的存在使得检测实际景观变化具有挑战性。Adams和MacKay(2007)介绍了贝叶斯在线变化点检测(BOCPD),这是一种计算效率高、精确的贝叶斯变化检测方法。先验信息的结合允许放松对密集数据的依赖和广泛的稳定期,使得该方法适用于相对短的时间序列和多个变点检测。在本文中,我们进行BOCPD与多元线性回归框架,支持季节性趋势。我们引入了一种机制,使BOCPD对偶尔的离群值具有鲁棒性,而不会影响精确的后验变化分布的计算效率,也不会影响检测延迟。我们通过模拟表明,该方法有效地检测异常值存在的变化。然后,该方法应用于监测森林砍伐在缅甸,我们表现出优越的性能相比,目前的在线变点检测方法。
2021-12-28 stat.ME
Cellwise Robust Twoblock Dimension Reduction
Snow Stallion AI(雪 Stallion 人工智能);University of Antwerp(安特卫普大学)
本文提出CRTB方法,首次实现对多变量预测器和响应块的同时降维,适用于密集和稀疏变量选择场景。通过列向量预过滤和迭代加权M估计循环,有效处理单元级异常值,保持部分污染行的清洁单元,提升鲁棒性和效率。
2026-04-16 stat.ME
Robust Two-Layer Partition Clustering of Sparse Multivariate Functional Data
针对稀疏多元函数数据,提出了一种新的弹性时间距离,并将其应用于一种鲁棒的基于距离的两层划分聚类方法。利用该距离,新方法不仅可以检测出稀疏多变量函数数据在离群点设置下的正确聚类,而且可以检测出不属于任何聚类的离群点。经典的基于距离的聚类方法,如基于密度的空间聚类的应用程序与噪声(DBSCAN),凝聚层次聚类,和$K$ -medoids扩展到稀疏的多元函数的情况下,新提出的距离的基础上。仿真数据的数值实验表明,该算法的性能优于现有的基于模型和扩展的基于距离的方法的性能。以西北太平洋气旋路径资料为例,验证了该方法的有效性。
2023-03-19 stat.CO stat.ME
Sleep pattern profiling using a finite mixture of contaminated multivariate skew-normal distributions on incomplete data
University of Pretoria(比勒陀利亚大学);University of Catania(卡塔尼亚大学)
本文提出了一种基于受污染的多元偏正态分布有限混合模型的聚类方法,用于分析不完整数据中的睡眠模式,有效处理缺失值和异常值,提升聚类准确性和异常检测能力。
2025-12-13 stat.CO stat.ME
Multivariate outlier explanations using Shapley values and Mahalanobis distances
本文利用 Shapley 值将观测的平方 Mahalanobis 距离分解为各变量的离群性贡献,并以低成本计算,为多元离群点和逐单元离群性提供可解释方法。
2022-10-18 stat.ME stat.ML
Robust estimation of principal components from depth-based multivariate rank covariance matrix
从多变量数据的空间符号协方差阵(SCM)分析主成分已被提出作为计算简单和鲁棒的替代正常PCA,但它具有较差的效率属性,并且实际上对于最大似然估计是不可接受的。在这里,我们使用基于数据深度的空间秩代替空间符号来获得正交等变深度协方差阵(DCM),并将其特征向量估计用于PCA。我们导出了样本DCM的渐近性质及其特征向量的影响函数。这些影响函数的形状表明估计的主成分的鲁棒性,以及与SCM相比的良好的效率特性。有限样本仿真研究表明,样本DCM的主成分是强大的偏离正态分布,以及更有效的SCM和仿射等变版本,泰勒的形状矩阵。通过两个实际数据的例子,我们还展示了基于DCM的PCA在分析高维数据和异常检测方面的有效性,并与其他方法进行了比较。
2016-03-09 math.ST stat.TH
Outlier Detection for Functional Data with R Package fdaoutlier
离群点检测是函数数据分析中标准的探索性分析任务之一。我们提出了R包fdaoutlier,其中包含一些最新的技术,用于检测功能异常值的实现。该软件包可以很容易地检测函数数据中不同类型的离群值(大小,形状和幅度),并且一些实现的方法可以应用于单变量和多变量函数数据。我们使用文献中常见的函数数据集来说明R包的主要功能。
2021-10-14 stat.CO stat.ME
High-Breakdown Robust Multivariate Methods
在实践中应用统计方法时,经常会出现一些观察结果偏离通常的假设。然而,许多经典方法对离群值敏感。鲁棒统计的目标是开发一种方法,该方法对数据中任何地方可能出现一个或多个未经宣布的离群值的可能性具有鲁棒性。然后,这些方法允许通过稳健拟合的残差检测离群观测值。我们专注于高故障的方法,它可以处理数据中的离群值的相当大的一部分。我们给出了一个概述最近的高故障强大的方法,如协方差估计,多元和多元回归,判别分析,主成分和多元校正的多元设置。
2008-08-05 stat.ME
Multivariate Singular Spectrum Analysis by Robust Diagonalwise Low-Rank Approximation
针对多变量奇异谱分析易受异常值影响的问题,本文提出RODESSA,通过考虑轨迹矩阵结构的鲁棒逐对角低秩近似与快速收敛算法提升抗差能力,并辅以模拟、真实数据及可视化验证。
2023-10-02 stat.CO stat.ME
Robust regression based on shrinkage estimators
针对线性回归问题,提出了一种参数的鲁棒估计方法.它是基于收缩的概念,经常用于金融和以前研究的异常检测多变量数据。一个彻底的模拟研究进行调查:正常和重尾误差的效率,在污染下的鲁棒性,计算时间,仿射等方差和崩溃值的回归估计。两个经典的数据集经常使用的文献和一个真正的社会经济数据集的生活环境Deadly的地区在利物浦(英国),进行了研究。仿真结果和实际数据的例子表明,所提出的稳健估计回归的优点。
2019-05-08 stat.ME
Detection of Two-Way Outliers in Multivariate Data and Application to Cheating Detection in Educational Tests
本文提出了一种新的隐变量模型,用于同时(双向)检测项目反应类型数据的离群个体和项目。该模型是一个因素模型之间的协同作用,捕捉正常的项目响应行为和一个潜在的类模型,捕捉边远的个人和项目的二进制响应和连续响应时间。一个统计决策框架下提出的模型,提供复合决策规则控制本地错误发现/nondiscovery率的离群值检测。统计推断是在贝叶斯框架下进行的,为此开发了马尔可夫链蒙特卡罗算法。所提出的方法被应用到检测作弊的教育考试中,由于项目泄漏使用基于计算机的非自适应执照评估的案例研究。所提出的方法的性能进行了评估,通过仿真研究。
2021-10-22 stat.AP stat.ME
Applications of robust estimators of covariance in examination of inter-laboratory study data
本文阐述了使用选定的稳健估计的协方差或相关性在识别异常的实验室间数据的实验室结果。结果表明,鲁棒估计可以大大减少离群值对多元置信区域的影响,从而导致更尖锐的异常识别,即使在传统的离群值检测可能无法定位异常的结果。
2018-11-08 stat.AP
Power of masking methods for adaptive testing in a multivariate normal means problem
Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学)
研究了掩蔽方法在多变量正态均值问题中的适应性测试中的功效比较,分析了不同机制和调参选择对功效的影响,并探讨了非掩蔽方法的效率。
2026-03-31 math.ST stat.ME stat.TH
A Non-Parametric Control Chart For High Frequency Multivariate Data
SAS(赛仕软件)
支持向量数据描述(SVDD)是一种用于单类分类和离群点检测的机器学习技术。基于SVDD的K图是由Sun和Tsung首先提出的,用于当过程参数或质量特性的潜在分布偏离正态分布时监控多变量过程。该方法首先根据从过程的稳定或受控操作中获得的数据训练SVDD模型,以获得阈值$R^2$和内核中心a。对于每个新观测,计算其与核中心a的核距离。将核距离与阈值$R^2$进行比较,以确定观测值是否在控制限内。非参数K图提供了一个有吸引力的替代传统的控制图,如霍特林的$T^2$图时,潜在的多元数据的分布是非正态分布或未知的。但是K图在实际应用中存在着一些问题。K图要求计算每个新观测值的核距离,但没有关于如何解释核距离图和推断过程均值变化或过程变异变化的指导方针。这限制了K图在大数据应用中的应用,例如设备健康监测,其中观察结果以非常高的频率生成。在这种情况下,使用K图的分析师被非常高频率的核距离结果淹没,通常没有任何追索权来检测任何可分配的变异原因的存在。我们提出了一种新的基于SVDD的控制图,称为$K_T$图,它解决了使用K图时遇到的挑战,大数据应用。$K_T$图表可用于同时跟踪过程变化和集中趋势。以田纳西伊士曼过程数据为例说明了$K_T$图的成功应用。
2016-07-29 cs.LG stat.AP stat.ME
A unified approach to outlier identification for mixed-type continuous/ordinal data
Imperial College London(帝国理工学院);University of Bologna(博洛尼亚大学)
提出一种针对连续和有序变量混合数据集的异常值识别方法,基于稳健最小协方差行列式估计和潜在高斯模型,实现高检测率和低误报率。
2026-11-04 stat.ME
Robust Multivariate Functional Control Chart
针对工业4.0制造数据含两类异常值导致控制图性能下降的问题,提出兼具鲁棒性的多元函数控制图RoMFCC框架,经模拟和汽车点焊真实案例验证其监测有效性。
2024-04-16 stat.AP stat.ME