Multivariate outlier detection based on a robust Mahalanobis distance with shrinkage estimators
基于收缩的概念,提出了一组用于多变量离群点检测的鲁棒马氏距离。稳健的强度和缩放因子被最佳地估计以定义收缩。研究了仿射等方差和击穿值等性质。通过与文献中的其他技术的比较,在模拟研究和真实数据集的性能的建议说明。当基础分布是重尾或偏态时的行为表明,当我们偏离常见的正态性假设时,该方法是适当的。在绝大多数情况下,所得到的高正确检测率和低错误检测率,以及显着更小的计算时间显示了我们的建议的优点。
2019-04-04 stat.ME
A robust multivariate, non-parametric outlier identification method for scrubbing in fMRI
Indiana University(印第安纳大学)
针对fMRI数据清洗需求,提出两种基于鲁棒距离的非参数多元异常值检测阈值方案,经降维、异常值插补等步骤实现,适用于非正态数据,效果优于现有多种清洗方法。
2026-10-22 stat.ME
Multivariate cumulants in outlier detection for financial data analysis
有许多研究论文产生了金融数据模型,其中回报与基本面分析或投资者的个人行为(通常是非理性的)有关。在第二种情况下,市场上可能会出现泡沫,然后是危机。这种泡沫或危机反映在许多资产的交叉相关的极端正或负回报上。此类回报由具有有意义的尾部依赖关系的copula建模。这种互相关的典型模型提供了t-Student copula。作者证明了与该Copula相关的互信息可以用四阶多元累积量来度量。通过对人工数据的检验,将四阶累积量方法成功地应用于金融危机的检测。为此,作者介绍了离群点检测算法。此外,该算法显示了潜在的应用危机预测,交叉相关的极端事件可能会出现在危机之前,在类比的自相关的赫斯特指数测量。
2020-02-26 stat.ME
Robust estimation of multivariate location and scatter in the presence of cellwise and casewise contamination
多元位置和散布矩阵估计是多元数据分析的基础。我们考虑这个问题时,数据可能包含独立的细胞和casewise离群值。在现代统计应用中,具有大量变量和相对少量案例的平面数据集是常见的。在这些情况下,如由传统稳健程序执行的整个情况的全局向下加权可能导致不良结果。我们强调需要一个新一代的强大的估计,可以有效地处理细胞离群值,并在同一时间下casewise离群值表现出良好的性能。
2014-06-23 math.ST stat.TH
Pointwise Data Depth for Univariate and Multivariate Functional Outlier Detection
针对传统函数型数据深度单值表征不足的问题,提出基于逐点深度分布与成对深度相关性的单/双变量函数型异常值检测方法,经模拟和光伏数据集验证性能优于传统方法。
2023-11-05 stat.ME
ICS for Multivariate Outlier Detection with Application to Quality Control
在汽车、航空电子或航空航天等高可靠性标准领域,异常检测至关重要。介绍了一种自动检测多变量异常值的有效方法。它利用了不变坐标选择(ICS)方法的显着特性。基于两个散射矩阵的同时谱分解,ICS导致仿射不变坐标系中的欧氏距离对应于原始坐标中的马氏距离(MD)。MD的局限性突出使用的背景下,数据的维度是大的理论参数。与MD不同,ICS可以选择相关组件,从而消除限制。由于得到的降维,该方法有望提高离群检测规则,如基于MD的标准的权力。它还大大简化了异常值的解释。该文件包括实际的指导方针,使用ICS的背景下,一个小比例的离群值,这是相关的高可靠性标准领域。通过平行分析和正态性检验的散射矩阵的选择以及相关的不变分量的选择得到解决。推荐使用规则的协方差阵和所谓的四阶矩矩阵作为散布对。这种选择结合了实现的简单性和导出理论结果的可能性。仿真研究证实了该建议的良好性能,并将其与其他散射对进行了比较。本研究也提供了一个比较与主成分分析和MD。我们的建议的性能也评估了几个真实的数据集,使用用户友好的R包随附的文件。
2018-02-02 stat.ME
High-dimensional outlier detection using random projections
文献中存在多种检测多变量数据中异常值的方法,但大多数方法都需要估计协方差阵。维数越高,矩阵的估计越复杂,在高维中变得不可能。为了避免估计这个矩阵,我们提出了一种新的随机投影为基础的程序来检测高斯多元数据中的离群值。它包括在几个一维子空间中投影数据,其中应用了适当的单变量离群值检测方法,类似于Tukey的方法,但阈值取决于初始尺寸和样本量。所需的投影数是使用序贯分析确定的。模拟和真实数据集说明了所提出的方法的性能。
2020-11-27 stat.ME
Detection and treatment of outliers for multivariate robust loss reserving
本文提出两种稳健双变量链梯法(基于调整离群度和袋距离)处理异常值,并扩展至N维,在三变量数据集上验证效果。
2023-06-16 q-fin.RM stat.AP stat.ME
PyOD: A Python Toolbox for Scalable Outlier Detection
Carnegie Mellon University(卡内基梅隆大学);University of Toronto(多伦多大学);Northeastern University Toronto(东北大学多伦多校区)
PyOD是一个开源的Python工具箱,用于对多变量数据执行可扩展的离群值检测。独特的是,它提供了对广泛的离群值检测算法的访问,包括已建立的离群值集合和最近的基于神经网络的方法,在一个单一的,文档齐全的API下,专为从业者和研究人员使用。考虑到健壮性和可扩展性,单元测试、持续集成、代码覆盖率、可维护性检查、交互式示例和并行化等最佳实践被强调为工具箱开发的核心组成部分。PyOD与Python 2和3兼容,可以通过Python包索引(PyPI)或https://github.com/yzhao062/pyod安装。
2019-06-10 cs.IR cs.LG stat.ML
Isolation forests: looking beyond tree depth
孤立森林算法的离群值检测利用了一个简单而有效的观察:如果采取一些多元数据,并在整个特征空间递归地均匀随机切割,它将采取更少的随机切割离群值被单独留在一个给定的子空间相比,定期观察。最初的想法提出了基于隔离所需的树深度(随机切割的数量)的离群值得分,但这里的实验表明,使用有关所取特征空间大小和分配给它的点数的信息可以在许多情况下改善结果,而无需对树结构进行任何修改,特别是在存在分类特征的情况下。
2021-11-23 cs.LG stat.ML
Robust Multivariate Estimation Based On Statistical Depth Filters
在经典的污染模型中,如粗差(Huber和Tukey污染模型或Case-wise污染模型),观测值被认为是被识别为离群值或非离群值的单元。当考虑的变量数量相对较少时,该模型非常有用。Alqallaf et al. [2009]显示了这种方法对大量变量的限制,并引入了独立污染模型(Cell-wise Contamination),其中现在细胞是被识别为离群值或非离群值的单位。同时处理这两种类型的污染的一种方法是从数据集中过滤出受污染的单元格,然后应用能够处理逐例离群值和缺失值的鲁棒程序。在这里,我们开发了一个通用框架,以基于统计数据深度函数在任何维度上构建过滤器。我们证明了以前的方法,例如Agostinelli et al. [2015 a]和Leung et al. [2017],是特殊情况。我们通过使用半空间深度来说明我们的方法。
2021-01-16 math.ST stat.TH
An outlier map for Support Vector Machine classification
支持向量机是一种广泛使用的分类技术。它们计算效率高,即使对于高维数据也能提供出色的预测。此外,支持向量机是非常灵活的,由于纳入核函数。后者允许非线性模型,但也可以处理非数值数据,如蛋白质串。然而,支持向量机可能会受到不干净数据的影响,例如,离群值或错误标记的观察。虽然在文献中已经提出了几种离群值检测方案,但离群值与非离群值的选择通常是特别的,并且不能提供对数据的深入了解。在稳健多元统计中,离群值图是评估所考虑数据质量的非常流行的工具。它们提供了描述几种类型异常值的数据的可视化表示。本文提出了一种用于支持向量机分类的离群图。将多元统计中的Stahel-Donoho离群度测度推广到任意核空间。裁剪支持向量机定义为对具有最大离群值的样本进行裁剪。基于该分类器,构造了一个离群点图,可以可视化任何类型的高维核空间中的数据。离群值图在4个生物学示例中进行了说明,显示其在探索性数据分析中的用途。
2010-09-29 stat.AP
On the use of the M-quantiles for outlier detection in multivariate data
本文研究了用于异常值检测的M-quantiles,K-transform,证明了在奇数维度d>=3中其与密度成正比的是多重拉普拉斯算子而非梯度,,揭示了该机制在异常值检测中的存在放大效应缺陷。
2024-01-10 math.OC math.ST stat.TH
Sparse Functional Boxplots for Multivariate Curves
This paper introduces the sparse functional boxplot and the intensity sparse functional boxplot as practical exploratory tools. Besides being available for complete functional data, they can be used in sparse univariate and multivariate functional data. The sparse functional boxplot, based on the functional boxplot, displays sparseness proportions within the 50\% central region. The intensity sparse functional boxplot indicates the relative intensity of fitted sparse point patterns in the central region. The two-stage functional boxplot, which derives from the functional boxplot to detect outl…
2022-05-27 stat.AP stat.ME
Area-based epigraph and hypograph indices for functional outlier detection
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);uc3m-Santander Big Data Institute(uc3m-桑坦德大数据研究所);Universidad Complutense de Madrid(马德里康普顿斯大学);Instituto de Matemática Interdisciplinar (IMI)(跨学科数学研究所);Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出基于面积的epigraph和hypograph指数,用于同时检测函数的幅度和形状异常,通过将函数异常检测转化为多变量问题,提高了鲁棒性和性能。
2025-07-08 stat.ME
COPOD: Copula-Based Outlier Detection
Northeastern Univ. & Arima Inc.(东北大学与Arima公司);Carnegie Mellon Univ.(卡内基梅隆大学);PIK Potsdam(波茨坦气候影响研究所);THD(德根多夫应用技术大学)
离群值检测是指识别偏离一般数据分布的罕见项目。现有的方法存在计算复杂度高、预测能力低和可解释性有限的问题。作为一种补救措施,我们提出了一种新的离群点检测算法COPOD,这是受Copula建模多元数据分布。COPOD首先构造一个经验Copula函数,然后用它来预测每个给定数据点的尾部概率,以确定其“极值”水平。直觉上,我们认为这是计算一个异常的p值。这使得COPOD既无参数,高度可解释,计算效率。在这项工作中,我们做出了三个关键贡献,1)提出了一种新的,无参数的离群值检测算法,具有很好的性能和可解释性,2)在30个基准数据集上进行了广泛的实验,以表明COPOD在大多数情况下都优于其他算法,也是最快的算法之一,3)发布了一个易于使用的Python实现,以实现可重复性。
2020-09-20 cs.IR cs.LG stat.ML
Mixtures of multivariate linear asymmetric Laplace regressions with multiple asymmetric Laplace covariates
本文提出污染移位非对称拉普拉斯聚类加权模型(cSALCWM),通过引入离群值和杠杆点控制参数,实现对偏态响应与协变量的联合聚类及精细组内分类,并开发期望-条件最大化算法进行参数估计,显著提升离群点检测与推断可靠性。
2025-05-09 stat.ME
Convex programming approach to robust estimation of a multivariate Gaussian model
多元高斯通常用作高维数据分布的第一近似。在各种约束条件下确定该分布的参数是统计学中广泛研究的问题,并且通常被认为是测试新算法或理论框架的原型。在本文中,我们开发了一个非渐近的方法来估计的多元高斯分布的参数时,数据被破坏的离群值的问题。我们提出了一个估计-有效地计算通过解决凸规划-鲁棒估计的人口平均值和人口协方差阵,即使样本包含一个显着比例的离群值。我们的腐败矩阵的估计是可证明的率最优的同时为条目明智的$\ell_1$ -范数,Frobenius范数和混合$\ell_2/\ell_1$范数。此外,这种最优性是通过具有通用调谐参数(校准惩罚强度)的惩罚平方根最小二乘法实现的。在逆协方差阵稀疏的附加条件下,将这些结果部分地推广到$p$可能大于$n$的情形.
2016-02-06 math.ST stat.TH
Edgewise outliers of network indexed signals
Institute of Statistics and Mathematical Methods in Economics(经济统计与数学方法研究所);TU Wien(维也纳工业大学);Toulouse School of Economics(图卢兹经济学院)
针对存在变量和节点依赖的网络索引多变量数据,提出边异常值概念,推导马氏距离平方等分布以确定检测阈值,提出鲁棒的边MCD算法,模拟和真实数据实验均验证了其有效性。
2023-07-20 cs.LG stat.AP stat.ME
On Weighted Multivariate Sign Functions
多元符号函数常用于稳健估计和推理。我们建议使用数据相关的权重与这些功能。建议的加权符号函数保留了理想的鲁棒性,同时显着提高效率的估计和推理相比,未加权的多元符号为基础的方法。使用加权符号,我们展示了鲁棒的位置估计和鲁棒的主成分分析方法。我们扩展了使用鲁棒多变量方法的范围,包括鲁棒充分的降维和功能异常检测。一些数值研究和实际数据的应用表明,所提出的方法的有效性。
2020-12-25 stat.ME
Outlier detection in non-elliptical data by kernel MRCD
KU Leuven(鲁汶大学)
本文提出核最小正则化协方差行列式(KMRCD)估计器,通过在核特征空间中计算MRCD并利用核技巧加速,实现对非椭圆高维数据的快速稳健离群点检测。
2021-03-29 cs.LG stat.CO stat.ML
On the Adversarial Robustness of Multivariate Robust Estimation
University of Michigan(密歇根大学);University of California, Davis(加利福尼亚大学戴维斯分校)
本文研究了多元$M$ -估计量的对抗鲁棒性。在所考虑的模型中,在观察整个数据集之后,对手可以修改所有数据点,以最大化推理错误。我们使用对抗影响函数(AIF)来衡量对手可以改变推理结果的渐近速率。我们首先描述对手的最佳修改策略和相应的AIF。从防御者的角度来看,我们希望设计一个具有小AIF的估计器。对于联合位置和规模估计问题的情况下,我们刻画了最佳的$M$估计,具有最小的AIF。我们进一步确定了对抗性修改的鲁棒性和对离群值的鲁棒性之间的权衡,并推导出最佳的$M$估计,实现最佳的权衡。
2019-03-27 cs.IT cs.LG math.IT
Explainable Outlier Detection for Interval-valued Data
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学技术学院);Faculdade de Economia, Universidade do Porto(波尔图大学经济系);LIAAD-INESC TEC
基于区间最小协方差行列式估计器,利用Shapley值对区间值观测的异常性进行解释,推导出鲁棒区间马氏距离平方的闭式表达式,实现变量贡献的高效计算,并通过Shapley交互指数捕捉变量对交互作用。
2026-06-26 stat.ME stat.ML
Global Depths for Irregularly Observed Multivariate Functional Data
Two frameworks for multivariate functional depth based on multivariate depths are introduced in this paper. The first framework is multivariate functional integrated depth, and the second framework involves multivariate functional extremal depth, which is an extension of the extremal depth for univariate functional data. In each framework, global and local multivariate functional depths are proposed. The properties of population multivariate functional depths and consistency of finite sample depths to their population versions are established. In addition, finite sample depths under irregularl…
2022-11-28 stat.AP stat.ME
Nonparametric directional variogram estimation in the presence of outlier blocks
本文提出基于最小协方差行列式估计量的稳健方向变差函数估计方法,联合估计多个滞后,在离群块存在时优于现有方法,并通过卫星数据应用验证。
2025-03-28 stat.ME
Directional Outlyingness for Multivariate Functional Data
离群度的方向是描述多元函数数据中心性的关键。受此启发,我们将经典深度推广到函数数据的方向性outlyingness。我们研究了函数的方向性离群度的理论性质,发现总的离群度可以自然地分解为两部分:幅度离群度和形状离群度,它们分别表示曲线的幅度和形状的中心性。使用这种分解,我们提供了一个可视化工具的曲线的中心。此外,我们设计了一个基于函数方向离群度的离群点检测过程。该准则适用于单变量和多变量曲线,仿真研究表明,它优于竞争的方法。天气和心电图数据证明了我们提出的框架的实际应用。
2018-04-22 stat.ME
Cluster analysis and outlier detection with missing data
San José State University(圣何塞州立大学)
针对多元污染正态(MCN)分布混合模型仅能处理完整数据的局限,提出适配随机缺失不完整数据集的拟合框架,采用期望-条件最大化算法估参,并通过模拟对比其与Student's t分布混合模型的效果。
2020-12-10 stat.ME
ICS for complex data with application to outlier detection for density data
本文在抽象欧几里得空间中提出ICS的无坐标定义,将其扩展到函数型和分布型复杂数据,用于异常检测,并在低异常比例模拟及越南气温分布数据中验证了有效性。
2025-05-26 math.ST stat.ME stat.TH
Multivariate Mean Comparison under Differential Privacy
多元总体均值的比较是统计推断的一项中心任务。虽然统计理论提供了各种分析工具,但它们通常不保护个人隐私。这种知识可能会激励研究参与者隐藏他们的真实数据(特别是离群值),这可能导致扭曲的分析。在本文中,我们解决这个问题,通过开发一个假设检验多变量均值比较,保证不同的隐私用户。检验统计量是基于流行的霍特林的$t^2$ -统计量,它有一个自然的解释方面的马氏距离。为了控制1型错误,我们提出了一个引导算法下的差分隐私,可证明产生一个可靠的测试决策。在实证研究中,我们证明了这种方法的适用性。
2021-10-15 cs.CR math.ST stat.ME
A Measure of Directional Outlyingness with Applications to Image Data and Video
函数数据涵盖了广泛的数据类型。它们都有一个共同点,即观察到的对象是单变量参数(例如时间或波长)或多变量参数(例如空间位置)的函数。这些函数采用的值可以是单变量(如吸光度水平)或多变量(如图像的红/绿/蓝颜色水平)。在实践中,重要的是能够检测到这些数据中的异常值。为此,我们引入了一个新的测量outlyingness,我们计算在每个网格点的功能的域。拟议的方向外向度(DO)度量考虑了数据的偏斜度,并且每个方向仅需要O(n)计算时间。我们推导出DO的影响函数,并计算出离群值检测的截止值。由此产生的热图和函数离群图反映了函数的局部和全局离群度。为了说明该方法在实际数据上的性能,将其应用于光谱,MRI图像和视频监控数据。
2017-03-03 stat.ME
Total Variation Depth for Functional Data
基于数据深度的方法在稳健的多变量数据分析方面已经有了大量的工作。最近的发展已经转移到无限维对象,如功能数据。在这项工作中,我们提出了一个新的概念的深度,总的变化深度,功能数据。作为深度的度量,其性质进行了理论研究,并通过仿真研究了相关的离群点检测性能。与幅度异常值相比,形状异常值往往被其他样本掩盖,更难识别。我们表明,建议的总变化深度有许多可取的功能,非常适合离群值检测。特别是,我们建议将总变化深度分解为两个分量,分别与形状和幅度outlyingness。这种分解使我们能够开发出一种有效的离群值检测程序和有用的可视化工具,同时自然地解释函数数据中的相关性。最后,使用曲线,图像和视频帧的真实数据集证明了所提出的方法。
2016-11-15 stat.ME
Robust selection of predictors and conditional outlier detection in a perturbed large-dimensional regression context
本文提出了一种快速的方法,称为ROBOUT,识别异常值的响应变量条件下的一组线性相关的预测,从一个大的粒度数据集检索。ROBOUT被证明是有效的,特别是通用的现有方法相比,在存在一些数据特质的功能。当数据集包含元素稀疏变量,并且预测变量集包含多变量离群值时,ROBOUT能够识别具有离群条件方差的观测值。在这些条件下,SPARSE-LTS和RLARS等现有综合方法在系统上是次优的。ROBOUT需要统计相关预测因子的稳健选择阶段(通过使用Huber或分位数损失),基于所选预测因子(通过LTS,GS或MM)的稳健回归模型的估计,以及基于残差离散度的稳健测量来识别条件离群值的标准。我们进行了全面的模拟研究,在该算法的不同变体进行了测试下,一个详尽的一组不同的扰动情况。该方法也适用于粒度监管银行数据集收集的欧洲中央银行。
2021-04-25 stat.CO stat.ME
Breakdown Properties of the M-Estimators of Multivariate Scatter
已知多元散布的M-估计的崩溃点不大于大于1/(p+1),其中p是数据的维数。在高维中,击穿点通常被认为是令人惊讶的低。本文对故障问题进行了较为详细的研究。精确的击穿点的M-估计的散布得到,它表明,它们的低值主要是由于污染限制到一些平面。如果这种“共面”污染不存在,则存在M-估计量,其故障点接近1/2。共面污染的影响被进一步研究,并示出相关的散射矩阵的奇异性。最后,本文的结果是否低击穿点一定是一个坏的功能和多变量离群值检测的影响进行了简要讨论。这篇论文是一份未发表的1986年罗格斯技术报告的再版。
2014-06-18 math.ST stat.TH
Minimum Covariance Determinant and Extensions
最小协方差行列式(MCD)方法是一种高度稳健的多元位置和分散度估计方法,具有快速算法。由于估计协方差阵是许多多元统计方法的基石,因此MCD是开发稳健多元技术时的重要构建块。它也是一种方便有效的离群值检测工具。MCD估计的审查,以及它的主要性质,如仿射等方差,击穿值,和影响函数。我们讨论了它的计算,并列出应用和方法的多元统计的MCD的应用和扩展。两个最近的扩展MCD的描述。第一个是一个快速的确定性算法,继承了MCD的鲁棒性,同时几乎仿射等变。第二个是针对高维数据,可能比情况下更多的维度,并结合正则化,以防止奇异矩阵。
2017-09-20 stat.ME
Robust Estimation for Multivariate Wrapped Models
本文提出了一种对p维环面上的数据点进行多元包裹正态分布的加权似然稳健估计的方法。手头样本中离群值的出现会严重损害标准技术(如极大似然方法)的推断。因此,有必要处理这种模型的不足之处,在拟合过程中,一个强大的技术和有效的降低权重的观察不遵循假设的模型。此外,采用一个强大的方法可以帮助在数据中隐藏和意外的子结构的情况。在此,建议建立一个基于皮尔逊残差的数据依赖的权重集,并解决相应的加权似然估计方程。特别地,通过使用分类期望最大化算法来执行稳健估计,该算法的M步通过基于当前参数值的权重计算来增强。通过蒙特卡罗数值研究和实际数据的例子,研究了所提出的方法的有限样本行为。
2020-10-16 math.ST stat.ME stat.TH
Robust estimation of principal components from depth-based multivariate rank covariance matrix
从多变量数据的空间符号协方差阵(SCM)分析主成分已被提出作为计算简单和鲁棒的替代正常PCA,但它具有较差的效率属性,并且实际上对于最大似然估计是不可接受的。在这里,我们使用基于数据深度的空间秩代替空间符号来获得正交等变深度协方差阵(DCM),并将其特征向量估计用于PCA。我们导出了样本DCM的渐近性质及其特征向量的影响函数。这些影响函数的形状表明估计的主成分的鲁棒性,以及与SCM相比的良好的效率特性。有限样本仿真研究表明,样本DCM的主成分是强大的偏离正态分布,以及更有效的SCM和仿射等变版本,泰勒的形状矩阵。通过两个实际数据的例子,我们还展示了基于DCM的PCA在分析高维数据和异常检测方面的有效性,并与其他方法进行了比较。
2016-03-09 math.ST stat.TH
Improving the Peña-Prieto "KSD" procedure
Peña和Prieto(2007)提出了“峰度加特定方向”(KSD)方法,用于稳健的多变量位置和散布估计以及离群值检测。Maronna和Yohai(2017)将其用作多变量S-和MM-估计量的初始估计量,他们的模拟表明KSD通常优于基于子采样的初始估计量。然而,进一步的模拟表明,当污染率为“高”(>=0.2),样本与变量的比率为“低”(<10)时,KSD可能变得不稳定,并在极端情况下给出错误的结果。提出了两个简单的修改程序,大大提高了该方法的性能作为一个初始估计,只有一个小的增加计算时间。
2017-08-10 stat.ME
A Non-Parametric Control Chart For High Frequency Multivariate Data
SAS(赛仕软件)
支持向量数据描述(SVDD)是一种用于单类分类和离群点检测的机器学习技术。基于SVDD的K图是由Sun和Tsung首先提出的,用于当过程参数或质量特性的潜在分布偏离正态分布时监控多变量过程。该方法首先根据从过程的稳定或受控操作中获得的数据训练SVDD模型,以获得阈值$R^2$和内核中心a。对于每个新观测,计算其与核中心a的核距离。将核距离与阈值$R^2$进行比较,以确定观测值是否在控制限内。非参数K图提供了一个有吸引力的替代传统的控制图,如霍特林的$T^2$图时,潜在的多元数据的分布是非正态分布或未知的。但是K图在实际应用中存在着一些问题。K图要求计算每个新观测值的核距离,但没有关于如何解释核距离图和推断过程均值变化或过程变异变化的指导方针。这限制了K图在大数据应用中的应用,例如设备健康监测,其中观察结果以非常高的频率生成。在这种情况下,使用K图的分析师被非常高频率的核距离结果淹没,通常没有任何追索权来检测任何可分配的变异原因的存在。我们提出了一种新的基于SVDD的控制图,称为$K_T$图,它解决了使用K图时遇到的挑战,大数据应用。$K_T$图表可用于同时跟踪过程变化和集中趋势。以田纳西伊士曼过程数据为例说明了$K_T$图的成功应用。
2016-07-29 cs.LG stat.AP stat.ME
Cellwise Robust Twoblock Dimension Reduction
Snow Stallion AI(雪 Stallion 人工智能);University of Antwerp(安特卫普大学)
本文提出CRTB方法,首次实现对多变量预测器和响应块的同时降维,适用于密集和稀疏变量选择场景。通过列向量预过滤和迭代加权M估计循环,有效处理单元级异常值,保持部分污染行的清洁单元,提升鲁棒性和效率。
2026-04-16 stat.ME
Efficient Multivariate Robust Mean Estimation Under Mean-Shift Contamination
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对均值漂移污染下高维单位协方差高斯分布鲁棒均值估计现有算法时间复杂度随维度指数增长的问题,提出首个计算高效、样本复杂度近优、可容忍常数比例异常值的多项式时间算法,丰富了中间噪声模型的推断研究。
2025-02-20 cs.DS cs.LG math.ST
Power of masking methods for adaptive testing in a multivariate normal means problem
Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学)
研究了掩蔽方法在多变量正态均值问题中的适应性测试中的功效比较,分析了不同机制和调参选择对功效的影响,并探讨了非掩蔽方法的效率。
2026-03-31 math.ST stat.ME stat.TH
A New Robust Multivariate Mode Estimator for Eye-tracking Calibration
Federal University of Bahia(巴伊亚联邦大学);Federal University of Rio Grande do Norte(北里奥格兰德联邦大学)
在这项工作中,我们提出了一种新的方法来估计的主要模式的多元分布,与眼动跟踪校准的应用。当对不太合作的受试者(如婴儿或猴子)进行眼动跟踪实验时,校准数据通常会受到高度污染。异常值通常以簇的形式组织,对应于受试者未查看校准点的时间间隔。在这种类型的多峰分布中,大多数集中趋势测量在估计主要注视坐标(第一模式)时失败,从而在将注视映射到屏幕坐标时导致错误和不准确。在这里,我们开发了一种新的算法来识别多变量分布的第一模式,称为BRIL,它依赖于递归的基于深度的过滤。这种新的方法进行了测试,人工混合高斯分布和均匀分布,并与现有的方法(传统的深度中位数,位置和分散的鲁棒估计,聚类为基础的方法)。我们获得了出色的性能,即使是包含非常高比例的离群值的分布,分组在集群和随机分布。最后,我们证明了我们的方法在现实世界中的场景中使用的实验数据与卷尾猴眼动跟踪校准,特别是其他算法通常缺乏准确性的分布。
2021-07-16 cs.AI stat.ME
Detection of Abnormal Input-Output Associations
我们研究了一种新的离群点检测问题,旨在识别数据中的异常输入-输出关联,其实例由多维输入(上下文)和输出(响应)对组成。我们提出了我们的方法,通过分析数据的条件(输入-输出)关系空间,捕获的可分解的概率模型。实验结果表明,我们的方法在识别多变量条件离群值的能力。
2017-08-03 cs.AI
Active Rule Mining for Multivariate Anomaly Detection in Radio Access Networks
Global AI Accelerator (GAIA), Ericsson(全球人工智能加速器(GAIA),爱立信)
针对多变量异常检测缺乏可解释、可落地的业务规则的问题,本文提出一种适配无线接入网场景、支持离散和时间序列数据的半自治异常规则挖掘器,可将异常模式映射为可执行规则。
2025-01-11 cs.AI cs.LG
AnomalyBERT: Self-Supervised Transformer for Time Series Anomaly Detection using Data Degradation Scheme
Seoul National University(首尔大学)
AnomalyBERT提出基于数据退化方案的自监督Transformer,通过合成离群值替换输入数据训练模型,有效检测多元时间序列异常,在五个真实基准上超越现有方法。
2023-05-08 cs.AI cs.LG