Explainable outlier detection through decision tree conditioning
这项工作描述了一个离群值检测程序（名为“离群树”）松散的基础上开发的GritBot软件的RuleQuest研究，其工作原理是通过评估和以下监督决策树分裂的变量，在其分支1-D置信区间构建的目标变量和潜在的离群值标记根据这些置信区间。在这种逻辑下，通过考虑决策树分支条件以及落入同一分支的非离群值观测值之间的一般分布统计数据，可以产生人类可读的解释，说明为什么观测值中的给定变量值可以被视为离群值，然后可以将其与CI之外的值进行对比。监督分割有助于确保生成的条件不是虚假的，而是与目标变量相关并具有逻辑断点。
2020-01-02 cs.LG stat.ML
Kernel Outlier Detection
提出核异常检测（KOD）方法，通过核变换和投影寻踪解决高维环境下的异常检测问题，克服了现有方法对分布假设和超参数的依赖，在多个数据集上验证了其有效性。
2025-06-28 cs.LG stat.ML
Partial Wasserstein and Maximum Mean Discrepancy distances for bridging the gap between outlier detection and drift detection
MathInf GmbH（MathInf有限公司）
随着机器学习和基于深度学习的应用在实践中的兴起，监控（即验证这些在规范内操作）已成为重要的实际问题。这种监测的一个重要方面是检查输入（或中间体）是否偏离了它们被验证的分布，这可能使测试期间获得的性能保证无效。对此有两种常见的方法。也许，更经典的是离群值检测或新颖性检测，其中，对于单个输入，我们询问它是否是离群值，即极不可能源自参考分布。第二种方法，可能是最近的方法，是考虑大量的输入，并将其分布与参考分布（例如在测试期间采样）进行比较。这在标签漂移检测下完成。在这项工作中，我们通过将给定数量的输入与自动选择的参考分布部分进行比较，弥合了离群值检测和漂移检测之间的差距。
2021-06-28 cs.LG stat.ML
RCC-Dual-GAN: An Efficient Approach for Outlier Detection with Few Identified Anomalies
Hefei University of Technology（合肥工业大学）
离群点检测是数据采掘中的一项重要任务，在各种应用中，人们已经探索了许多技术。然而，由于离群值是非集中的默认假设，无监督离群值检测可能无法正确检测具有较高密度水平的组异常。对于有监督的离群点检测，虽然通常可以获得较高的检测率和最佳参数，但获得足够的正确标签是一项耗时的任务。为了解决这些问题，我们专注于半监督离群点检测与少数识别异常，希望使用有限的标签，以实现高检测精度。首先，我们提出了一种新的检测模型Dual-GAN，它可以直接利用已识别异常中的潜在信息来同时检测离散离群点和部分识别的群体异常。然后，考虑到在复杂的数据结构中，具有相似输出值的实例并不都是相似的，我们用RCC和M-GAN的组合（RCC-Dual-GAN）代替Dual-GAN中的两个MO-GAN组件。另外，为了处理纳什均衡的评价和最优模型的选择，在两个模型中引入了两个评价指标，使检测过程更加智能化。在基准数据集和两个实际任务上的广泛实验表明，我们提出的方法（即，Dual-GAN和RCC-Dual-GAN）可以显著提高离群值检测的准确性，即使只有少数识别出的异常。此外，与Dual-GAN中的两个MO-GAN组件相比，RCC和M-GAN组合的网络结构在各种情况下具有更大的稳定性。
2020-03-07 cs.LG stat.ML
Outlier Detection through Null Space Analysis of Neural Networks
University of Florida（佛罗里达大学）
许多机器学习分类系统缺乏能力意识。具体地，许多系统缺乏识别何时异常值（例如，与训练数据分布不同且未在其中表示的样本）被呈现给系统。检测异常值的能力具有实际意义，因为它可以帮助系统在遇到意外数据时以合理的方式运行。在先前的工作中，离群值检测通常在与分类模型不同的处理管道中进行。因此，对于一个包含离群值检测和分类的完整系统，必须训练两个模型，从而增加了该方法的整体复杂性。在本文中，我们使用的零空间的概念，集成离群值检测方法直接到一个神经网络用于分类。我们的方法，称为神经网络的空间分析（NuSA），其工作原理是计算和控制的零空间投影的大小，数据通过网络。使用这些预测，我们可以计算出一个可以区分正常和异常数据的分数。结果表明，用NuSA训练的网络保留了它们的分类性能，同时也能够以类似于常用离群值检测算法的速度检测离群值。
2020-07-02 cs.LG stat.ML
Adaptive Double-Exploration Tradeoff for Outlier Detection
The Chinese University of Hong Kong（香港中文大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent（腾讯）
我们研究了一个变种的阈值强盗问题（TBP）的背景下，离群值检测，其目标是确定离群值的奖励高于阈值。与传统的TBP算法不同的是，阈值被定义为所有臂的回报的函数，这是由识别异常值的标准所驱动的。学习者需要探索手臂的回报以及门槛。我们把这个问题称为“离群点检测的双重探索”。我们构造一个自适应更新的置信区间的阈值，在前几轮的阈值的估计值的基础上。此外，通过自动权衡探索各个臂和探索离群阈值，我们提供了一个有效的算法的样本复杂度。在人工数据集和真实数据集上的实验结果表明了该算法的有效性。
2022-03-21 cs.LG stat.ML
Generative Adversarial Active Learning for Unsupervised Outlier Detection
Hefei University of Technology（合肥工业大学）；Worcester Polytechnic Institute（伍斯特理工学院）；University of Science and Technology of China（中国科学技术大学）
离群点检测是机器学习中的一个重要课题，并有着广泛的应用。在本文中，我们将离群点检测作为一个二进制分类问题，通过从均匀参考分布中采样潜在的离群点。然而，由于高维空间中数据的稀疏性，有限数量的潜在异常值可能无法提供足够的信息来帮助分类器描述可以有效地将异常值与正常数据分离的边界。为了解决这个问题，我们提出了一种新的单目标生成式对抗主动学习（SO-GAAL）离群点检测方法，它可以直接生成信息的潜在离群点之间的最小-最大博弈的基础上的发电机和发电机。此外，为了防止发生器陷入模式崩溃问题，应该在SO-GAAL能够提供足够信息的情况下确定训练的停止节点。但在没有任何先验信息的情况下，这对SO-GAAL来说是极其困难的。因此，我们扩展了SO-GAAL的网络结构，从一个单一的发电机到多个发电机与不同的目标（MO-GAAL），它可以产生一个合理的参考分布的整个数据集。我们经验比较所提出的方法与几个国家的最先进的离群值检测方法在合成和真实世界的数据集。结果表明，MO-GAAL在大多数情况下优于其竞争对手，特别是对于具有各种聚类类型或高不相关变量比率的数据集。
2019-03-18 cs.LG stat.ML
Further Analysis of Outlier Detection with Deep Generative Models
Tsinghua University（清华大学）；Jiangsu Normal University（江苏师范大学）；Samsung Research China（三星中国研究院）；AWS AI Lab（亚马逊云科技人工智能实验室）
最近，反直觉的发现，即深度生成模型（DGMs）可以经常为离群值分配更高的可能性，这对离群值检测应用以及我们对生成建模的整体理解都有影响。在这项工作中，我们从观察到模型的典型集合和高密度区域可能不重合开始，为这种现象提供了一个可能的解释。从这个有利的角度来看，我们提出了一种新的离群值测试，其经验的成功表明，现有的基于似然的离群值测试的失败并不一定意味着相应的生成模型是未校准的。我们还进行了额外的实验，以帮助解开低层次的纹理与高层次的语义在区分离群值的影响。总的来说，这些结果表明，修改的标准评价的做法和基准通常适用于文献中是必要的。
2020-10-25 cs.LG stat.ML
Sequential Ensemble Learning for Outlier Detection: A Bias-Variance Perspective
Stony Brook University（石溪大学）
用于分类和聚类的集成方法已经有效地使用了几十年，而用于离群点检测的集成学习只是最近才被研究。在这项工作中，我们设计了一个新的集成方法在多维点数据中的离群点检测，它提供了更高的精度，通过减少偏差和方差的错误。虽然分类和异常值检测看起来是不同的问题，但它们的理论基础在偏差-方差权衡方面非常相似[1]，其中异常值检测被认为是具有未观察到的标签的二进制分类任务，但类似的偏差-方差误差分解。在本文中，我们提出了一个顺序集成的方法，称为照顾，采用两个阶段的聚合的中间结果，在每次迭代，以达到最终的结果。与现有的离群值集成不同，现有的离群值集成仅通过聚合独立基础检测器的结果来合并并行框架以减少方差，我们的集成合并了并行和顺序构建块以减少偏差以及方差，（$i$）从原始数据集中连续地消除离群值以建立更好的数据模型，在该数据模型上估计离群值（顺序地），以及（$ii$）组合来自各个基本检测器的结果和跨迭代（重复）。通过对主要来自UCI机器学习库[2]的16个真实世界数据集进行广泛的实验，我们表明CARE的表现明显优于或至少类似于单个基线。我们还将CARE与最先进的离群值合奏进行了比较，当它是赢家时，它也提供了显着的改进，否则仍然接近。
2016-09-18 cs.LG stat.ML
Outlier Detection by Consistent Data Selection Method
eBay Inc（eBay公司）
通常，与欺诈和垃圾邮件检测等任务相关的挑战[1]是缺乏训练合适的监督学习模型所需的所有可能模式。为了克服这种限制，尝试将这样的任务作为离群值或异常检测任务。我们还假设离群者的行为模式会随着时间的推移而改变。有限的数据和不断变化的模式使学习变得非常困难。在这项工作中，我们提出了一种方法，通过依赖于一致的数据点来检测大型数据集中的离群值。这项工作的主要贡献是，它将快速帮助检索一致和非离群数据集的样本，并注意到新的离群模式。提取样本不需要每个集合的先验知识。该方法分为两个阶段，第一阶段采用无监督聚类技术的集成方法检索一致数据点（非离群点），第二阶段采用在一致数据点集上训练的一类分类器对剩余样本集进行离群点识别。该方法在三个公开的数据集上进行了测试，性能得分具有竞争力。
2018-08-21 cs.LG stat.ML
MCODE: Multivariate Conditional Outlier Detection
University of Pittsburgh（匹兹堡大学）
离群值检测的目的是识别偏离预期模式的异常数据实例。当异常值是上下文相关的并且当它们由多个结果变量值的不寻常组合定义时，异常值检测特别具有挑战性。在本文中，我们开发和研究了一种新的条件离群值检测方法的多元结果空间，其工作原理是（1）转换的条件检测到离群值检测问题在一个新的（无条件）空间和（2）定义离群值得分通过分析数据在新的空间。我们的方法依赖于多维分类问题的分类器链分解，该分类器链分解让我们将输出空间转换为概率向量，输出空间的每个维度都有一个概率。然后，应用于这些变换向量的离群值分数用于检测离群值。多个多维分类问题与不同的离群值注入率的实验表明，我们的方法是强大的，能够成功地识别离群值时，离群值是稀疏（表现在一个或很少的维度）或密集（影响多个维度）。
2015-05-15 cs.AI cs.LG stat.ML
Conditional Selective Inference for Robust Regression and Outlier Detection using Piecewise-Linear Homotopy Continuation
Nagoya Institute of Technology（名古屋工业大学）；RIKEN（理化学研究所）
在噪声环境下的实际数据分析中，通常首先使用鲁棒方法来识别异常值，然后在去除异常值后进行进一步的分析。本文考虑剔除离群值后模型估计的统计推断问题，这可解释为一个选择推断问题。为了使用条件SI框架，有必要描述稳健方法如何识别离群值的事件。不幸的是，现有的方法不能直接使用这里，因为它们适用于选择事件可以由线性/二次约束表示的情况。本文利用同伦方法，提出了一种求解稳健回归的条件SI方法。我们表明，建议的条件SI方法是适用于广泛的一类强大的回归和离群值检测方法，并具有良好的经验表现在合成数据和真实数据的实验。
2022-01-02 cs.LG stat.ML
Kernel-based Outlier Detection using the Inverse Christoffel Function
UC Berkeley（加州大学伯克利分校）
近年来，由于安全问题的增加以及由于其在不同领域的广泛应用，异常值检测方法变得越来越重要。最近，Pauwels和Lasserre（2016）注意到逆Christoffel函数的子级集使用平方和多项式准确地描述了数据云的形状，并且可以用于执行离群值检测。在这项工作中，我们提出了一个核化的反Christoffel函数的变体，使其计算上易于处理的数据集具有大量的功能。我们将我们的方法与当前的方法在15个不同的数据集上进行了比较，并获得了最佳的精确召回曲线下的平均面积（AUPRC）分数，最佳的平均排名和最低的均方根偏差。
2018-06-18 cs.LG stat.ML
An Evaluation of Classification and Outlier Detection Algorithms
Digital Creativity Labs, Department of Computer Science, University of York（约克大学计算机科学系数字创意实验室）；University of York（约克大学）；EPSRC（工程与物理科学研究委员会）；AHRC（艺术与人文研究委员会）；InnovateUK（创新英国）
本文评估算法的分类和离群检测精度的时间数据。我们专注于快速训练和分类的算法，可用于需要定期合并新数据的系统。因此，我们使用一系列知名的时间序列数据集比较了六种快速算法的准确性。分析表明，算法的选择是特定的任务和数据，但我们可以推导出选择的算法。梯度提升机通常是最好的分类，但没有一个单一的赢家离群检测，虽然梯度提升机（再次）和随机森林更好。因此，我们建议使用我们的算法对许多算法进行评估。
2018-05-02 cs.LG stat.ML
AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning
Texas A&M University（德克萨斯农工大学）；NEC Laboratories America（NEC美国实验室）
离群点检测是一个重要的数据挖掘任务，具有许多实际应用，如入侵检测，信用卡欺诈检测和视频监控。然而，鉴于大数据的特定复杂任务，构建基于深度学习的强大离群值检测系统的过程仍然高度依赖于人类专业知识和劳动试验。尽管神经架构搜索（NAS）在发现图像分类、目标检测和语义分割等各个领域的有效深度架构方面显示出了其前景，但由于缺乏内在搜索空间、搜索过程不稳定以及低样本效率，当代NAS方法不适合离群点检测。为了弥补这一差距，在本文中，我们提出了AutoOD，一个自动离群值检测框架，其目的是在预定义的搜索空间内搜索最优的神经网络模型。具体来说，我们首先设计了一个好奇心引导的搜索策略来克服局部最优的诅咒。控制器，作为一个搜索代理，鼓励采取行动，以最大限度地提高控制器的内部信念的信息增益。为了提高样本效率，我们还引入了一种基于自模仿学习的经验回放机制。在各种真实世界基准数据集上的实验结果表明，与现有的手工模型和传统的搜索方法相比，AutoOD识别的深度模型具有最佳的性能。
2020-06-19 cs.LG stat.ML
Linear-time Outlier Detection via Sensitivity
ETH Zurich（苏黎世联邦理工学院）
离群值在现代数据集中无处不在。基于距离的技术是一种流行的非参数离群值检测方法，因为它们不需要对数据生成分布进行先验假设，并且易于实现。将这些技术扩展到大规模数据集而不牺牲准确性是一项具有挑战性的任务。我们提出了一种新的算法的基础上的直觉，离群值有显着的影响质量的分歧为基础的聚类解决方案。我们提出了敏感性-最坏情况下的数据点的聚类目标的影响-作为离群值的度量。然后，我们证明了影响，（非平凡的）上界的灵敏度，可以通过一个简单的线性时间算法计算。为了扩展到单个机器之外，我们提出了一种通信高效的分布式算法。在广泛的实验评估中，我们证明了所提出的方法的有效性，并建立统计意义。特别是，它优于最流行的基于距离的方法，同时快了几个数量级。
2016-05-02 cs.LG stat.ML
Credit Card Fraud Detection in e-Commerce: An Outlier Detection Approach
eBay Inc（eBay公司）
通常，与欺诈和垃圾邮件检测等任务相关的挑战是缺乏训练合适的监督学习模型所需的所有可能模式。当欺诈模式不仅稀少，而且随着时间的推移而变化时，这一问题就更加突出。欺诈模式的变化是因为欺诈者不断创新新方法来规避为防止欺诈而采取的措施。有限的数据和不断变化的模式使学习变得非常困难。我们假设良好行为不随时间变化，并且代表良好行为的数据点在不同分组下具有一致的空间特征。基于这一假设，我们提出了一种方法，通过使用聚类方法的集成为每个数据点分配一个一致性得分来检测大数据集中的离群值。我们的主要贡献是提出了一种新的方法，可以检测大型数据集中的离群值，并对不断变化的模式具有鲁棒性。我们还认为，ROC曲线下面积，虽然一个常用的指标来评估离群值检测方法是不是正确的度量。由于异常值检测问题具有类别的偏斜分布，因此精确度-召回率曲线更适合，因为精确度将假阳性与真阳性（异常值）而不是真阴性（内值）进行比较，因此不受类别不平衡问题的影响。我们的经验表明，精确度-召回率曲线下的面积是一个比ROC更好的评估指标。所提出的方法进行了测试的修改版本的Landsat卫星数据集，修改版本的ann甲状腺数据集和一个大型的现实世界的信用卡欺诈检测数据集，通过Kaggle，我们表现出显着的改善基线方法。
2019-05-07 cs.LG stat.ML
Unsupervised Boosting-based Autoencoder Ensembles for Outlier Detection
George Mason University（乔治梅森大学）；Sapienza University of Rome（罗马第一大学）；University of L’Aquila（拉奎拉大学）
自编码器作为一种降维技术，近年来已被应用于离群点检测。然而，已知神经网络易受过拟合的影响，因此在无监督离群值检测设置中具有有限的潜力。目前基于集成的自动编码器的方法不能产生足够的多样性来避免过拟合问题。为了克服上述限制，我们开发了一种基于Boosting的自动编码器Encoder方法（简称BAE）。BAE是一种无监督的集成方法，与boosting方法类似，它构建了自适应级联的自动编码器，以实现改进和鲁棒的结果。BAE通过对数据进行加权采样来依次训练自动编码器组件，旨在减少训练期间使用的离群值数量，并在集合中注入多样性。我们进行了广泛的实验，并表明所提出的方法优于国家的最先进的方法在各种条件下。
2019-10-22 cs.LG stat.ML
Randomized PCA Forest for Unsupervised Outlier Detection
Department of Mathematics and Computer Science（数学与计算机科学系）；University of Southern Denmark（南丹麦大学）；Faculty of Information Technology and Communication Sciences（信息科技与通信科学学院）；Tampere University（塔尔库大学）
本文提出一种基于随机PCA的无监督异常检测方法，利用RPCA森林的内在特性生成异常评分，在多个数据集上优于经典和最新方法，展现出鲁棒性和高效性。
2026-05-08 cs.AI cs.LG stat.ML
Outlier Detection Using a Novel method: Quantum Clustering
Tiangong University（天津工业大学）；Shanghai Library（上海图书馆）
提出了一种新的离群点检测假设：正常数据实例通常位于数据密度几乎没有波动的区域，而离群点通常出现在数据密度波动剧烈的区域。基于这一假设，我们提出了一种新的基于密度的方法来进行无监督离群点检测。这种方法被称为量子聚类（QC），处理未标记的数据处理，并构造一个势函数来找到聚类的质心和离群点。实验表明，势函数能有效地发现数据点中隐藏的异常点。此外，通过使用QC，我们可以通过调整参数$σ$来发现更多的细微异常值。此外，我们的方法也评估了两个数据集（空气质量检测和达尔文对应项目）从两个不同的研究领域，结果表明，我们的方法的广泛适用性。
2020-06-08 cs.AI cs.LG stat.ML
Homophily Outlier Detection in Non-IID Categorical Data
Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Center of Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）；Data Science Lab, University of Technology Sydney（悉尼科技大学数据科学实验室）
大多数现有的离群值检测方法假设离群值因子（即，离群值评分测量）（例如，特征值和数据对象）是独立且相同分布的（IID）。这个假设在现实世界的应用中并不成立，在现实世界的应用中，不同实体的离群值相互依赖和/或来自不同的概率分布（非IID）。这可能导致无法检测到重要的离群值，这些离群值太细微，无法在不考虑非IID性质的情况下识别。在更具挑战性的情况下，这一问题甚至更加突出，例如，具有许多噪声特征的高维数据。本文提出了一种新的离群点检测框架，并通过捕获非IID离群点因子来识别分类数据中的离群点。我们的方法首先定义并将分布敏感的离群因素及其相互依赖性纳入基于值-值图的表示中。然后，它在值图中建模离群传播过程以学习特征值的离群性。学习值离群允许直接离群值检测或离群特征选择。图表示和挖掘的方法，在这里很好地捕捉丰富的非IID特征。我们在15个具有不同数据复杂度的真实数据集上的实证结果表明：（i）在95%/99%的置信水平下，本文提出的离群点检测方法显著优于五种最先进的方法，在10个最复杂的数据集上实现了10%-28%的AUC改善;以及（ii）所提出的特征选择方法在实现两个不同现有检测器的后续离群值检测方面显著优于三种竞争方法。
2021-03-21 cs.AI cs.LG stat.ML
PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning
Texas A&M University（得克萨斯农工大学）
离群点检测是各种数据采掘应用的重要任务。目前的异常值检测技术通常是针对特定领域手动设计的，需要大量的人工努力来设置数据库，选择算法和调整超参数。为了填补这一空白，我们提出了PyODDS，这是一个自动化的端到端Python系统，用于离群值检测和数据库支持，它可以自动优化手头新数据源的离群值检测管道。具体来说，我们在离群点检测流水线中定义搜索空间，并在给定的搜索空间内产生搜索策略。PyODDS支持基于Apache Spark后端服务器和轻量级数据库的端到端执行。它还为具有或不具有数据科学或机器学习背景的用户提供统一的界面和可视化。特别是，我们在几个真实世界的数据集上演示了PyODDS，并给出了量化分析和可视化结果。
2020-03-12 cs.AI cs.LG stat.ML
PyODDS: An End-to-End Outlier Detection System
Texas A&M University（德州农工大学）
PyODDS是一个端到端的Python系统，用于数据库支持的离群值检测。PyODDS提供离群点检测算法，满足不同领域用户的需求，w/wo数据科学或机器学习背景。PyODDS提供了在数据库中执行机器学习算法的能力，而无需将数据移出数据库服务器或通过网络。它还提供了广泛的离群值检测算法，包括统计分析和最近的基于深度学习的方法。PyODDS是在MIT开源许可下发布的，目前可在（https：//github.com/datamllab/pyodds）获得，官方文档在（https：//pyodds.github.io/）。
2019-10-11 cs.DB cs.LG stat.ML
Detection of Thin Boundaries between Different Types of Anomalies in Outlier Detection using Enhanced Neural Networks
Islamic Azad University（伊斯兰阿扎德大学）；Institute for Advanced Studies in Basic Sciences（基础科学高级研究所）；Petanux GmbH（佩塔努克斯有限公司）
离群点检测在各个领域都受到了特别的关注，主要是那些处理机器学习和人工智能的领域。异常作为强异常，分为点异常、上下文异常和集体异常。异常值检测中最重要的挑战包括远程点和自然区域之间的薄边界、新数据和噪声模仿真实数据的趋势、未标记的数据集以及不同应用中异常值的不同定义。考虑到上述挑战，我们定义了新类型的异常，称为集合正态异常和集合点异常，以提高对不同类型异常之间的薄边界的更好检测。基本的领域独立的方法被引入到检测这些定义的异常在无监督和监督数据集。利用遗传算法对多层感知器神经网络进行了增强，以更高的精度检测新定义的异常，从而确保测试误差小于传统多层感知器神经网络的计算误差。在基准数据集上的实验结果表明，与基线相比，异常检测过程的错误减少。
2020-01-24 cs.LG cs.NE stat.ML
Outlier Detection Using Generative Models with Theoretical Performance Guarantees
University of Iowa（爱荷华大学）
本文提出利用生成模型进行异常值检测，通过ADMM和梯度下降算法在稀疏异常值下重建信号，并给出理论保证，实验验证优于传统方法。
2023-10-16 cs.LG eess.SP stat.ML
A geometric perspective on functional outlier detection
Ludwig-Maximilians-University（慕尼黑大学）
我们考虑从几何角度的功能异常检测，特别是：功能数据集从一个功能流形，这是由数据的振幅和相位的变化模式定义。基于这个流形，我们开发了一个概念化的功能异常检测，是更广泛的适用性和现实比以前提出的。我们的理论和实验分析证明了这种观点的几个重要优势：它大大提高了理论理解，并允许描述和分析复杂的功能异常情况一致，并在充分的一般性，通过区分结构异常异常的异常数据是离流形和分布离群数据是流形上，但在其边缘。这提高了实际可行性的功能异常检测：我们表明，简单的流形学习方法可以用来可靠地推断和可视化的几何结构的功能数据集。我们还表明，标准的离群值检测方法，需要表格数据输入可以应用到功能数据非常成功地简单地使用他们的向量值表示学习流形学习方法作为输入功能。我们在合成数据集和真实数据集上的实验表明，这种方法导致离群值检测性能至少与各种设置中现有的功能数据特定方法相当，而无需这些方法通常需要的高度专业化，复杂的方法和狭窄的应用领域。
2021-09-14 cs.LG stat.CO stat.ML
Robust Subspace Outlier Detection in High Dimensional Space
大型数据库中的稀有数据被称为离群值，它们揭示了现实世界中的重要信息。基于子空间的离群点检测被认为是一种可行的方法。然而，在子空间中发现的异常值实际上只是高维空间中真实异常值的一部分。在投影维子空间中，隐藏在正常聚类点中的离群点有时会被忽略。在本文中，我们提出了一个强大的子空间方法来检测这样的内部离群点在一个给定的数据集，它使用二维的投影：检测离群点的子空间中的局部密度比在第一个投影的维度;发现离群点通过比较邻居的位置在第二个投影的维度。每个点的权重是通过将两步投影维度中得到的所有相关值相加来计算的，然后将得分最大的权重值的点作为离群值。通过对维数从10到10000的一系列实验，结果表明，该方法在极高维空间中具有较高的精度，在低维空间中具有较好的效果。
2014-05-05 cs.AI cs.LG stat.ML
A Local Density-Based Approach for Local Outlier Detection
University of Rhode Island（罗德岛大学）
提出了一种简单有效的基于密度的局部核密度估计（KDE）离群点检测方法。提出了一种基于相对密度的离群值（RDOS）来度量目标的局部离群性，该方法基于目标的扩展最近邻，采用局部KDE方法来估计目标位置的密度分布。而不是只使用$k$最近的邻居，我们进一步考虑反向最近的邻居和共享最近的邻居的对象的密度分布估计。推导了该RDOS的期望值和虚警概率等理论性质。综合实验研究的合成和现实生活中的数据集表明，我们的方法是更有效的比国家的最先进的离群值检测方法。
2016-06-28 cs.AI cs.LG stat.ML
Boundary Peeling: Outlier Detection Method Using One-Class Peeling
Miami University（迈阿密大学）
提出一类边界剥离算法，利用一类SVM迭代剥离边界，实现高效稳健的无监督异常值检测，并在多种数据分布及基准数据集上表现优异。
2024-09-20 cs.LG stat.ME stat.ML
Unsupervised Outlier Detection using Random Subspace and Subsampling Ensembles of Dirichlet Process Mixtures
Nexon（奈森（韩国游戏公司））；Danggeun Market（당근마켓（韩国电商公司））；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Yonsei University（延世大学）
针对 Dirichlet Process Mixtures 计算低效且对非高斯数据建模困难的问题，提出一种结合随机子空间与子采样集成及变分推断的无监督离群点检测方法，有效提升了计算效率、鲁棒性和检测性能。
2024-07-25 cs.AI cs.LG stat.ML
XGBOD: Improving Supervised Outlier Detection with Unsupervised Representation Learning
University of Toronto（多伦多大学）；PricewaterhouseCoopers（普华永道）
提出了一种新的半监督集成算法XGBOD（Extreme梯度提升Outlier Detection），描述并演示了该算法在实际数据集上对正态观测数据中的离群点的增强检测。建议的框架结合了监督和无监督机器学习方法的优势，通过创建一个混合的方法，利用他们各自的性能能力在离群值检测。XGBOD使用多个无监督离群值挖掘算法从底层数据中提取有用的表示，以增强嵌入式监督分类器在改进的特征空间上的预测能力。新的方法相比，竞争的个人检测器，完整的合奏和两个现有的表示学习为基础的算法在七个离群数据集提供卓越的性能。
2019-12-01 cs.DB cs.IR cs.LG
PyOD: A Python Toolbox for Scalable Outlier Detection
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）；Northeastern University Toronto（东北大学多伦多校区）
PyOD是一个开源的Python工具箱，用于对多变量数据执行可扩展的离群值检测。独特的是，它提供了对广泛的离群值检测算法的访问，包括已建立的离群值集合和最近的基于神经网络的方法，在一个单一的，文档齐全的API下，专为从业者和研究人员使用。考虑到健壮性和可扩展性，单元测试、持续集成、代码覆盖率、可维护性检查、交互式示例和并行化等最佳实践被强调为工具箱开发的核心组成部分。PyOD与Python 2和3兼容，可以通过Python包索引（PyPI）或https://github.com/yzhao062/pyod安装。
2019-06-10 cs.IR cs.LG stat.ML
Model-Agnostic Influential Outlier Detection for Mixed Effects and Multi-Level Models
Institute for Data Science, Carleton University（卡尔顿大学数据科学研究所）；School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）；Department of Psychology, Carleton University（卡尔顿大学心理系）
针对混合效应模型提出模型无关的影响力异常值检测方法，结合SHAP值与残差并利用归一化流，在多种模型中验证其优势与局限。
2026-10-02 stat.CO stat.ME
Outlier Detection in High Dimensional Data
Canadian University Dubai（迪拜加拿大大学）；UAE University（阿联酋大学）
高维数据对离群点检测过程提出了独特的挑战。大多数现有的算法无法正确解决大量特征所产生的问题。特别是，离群点检测算法在具有大量特征的小尺寸数据集上表现不佳。本文提出了一种基于主成分分析和核密度估计的离群点检测算法。所提出的方法旨在通过将原始数据投影到较小的空间上并使用数据的固有结构来计算每个数据点的异常分数来解决处理高维数据的挑战。对合成数据和真实数据的数值实验表明，该方法在高维数据上表现良好。特别是，所提出的方法优于基准方法所测量的$F_1$分数。与基准方法相比，我们的方法也产生了优于平均水平的执行时间。
2019-09-09 cs.AI cs.LG stat.ML
Automated detection of business-relevant outliers in e-commerce conversion rate
我们评估了现代离群值检测方法在识别电子商务转化率数据中的离群值方面的表现。基于所发现的局限性，我们提出了一种新的方法来检测电子商务转化率中的异常值。这种无监督的方法通过让它根据在电子商务平台上观察到的活动自动调整灵敏度，使其更具业务相关性。我们称这种异常值检测方法为流体IQR。使用从已知商店获得的真实电子商务转换数据，我们比较了现有的和新的离群值检测方法的性能。当涉及到业务相关性时，Fluid IQR方法比现有的离群值检测方法有更大的优势。此外，流体IQR方法是在存在极端异常值或水平偏移的集群的情况下最稳健的异常值检测方法。未来的研究将评估如何流体IQR方法在不同的电子商务环境中执行。
2019-05-16 stat.AP stat.ML
ODIM: Outlier Detection via Likelihood of Under-Fitted Generative Models
SK Telecom（SK电信）；Samsung Research（三星研究院）；Seoul National University（首尔大学）
本文提出ODIM方法，利用欠拟合生成模型的似然及内点记忆效应，高效识别离群点，在近60个数据集上验证了其速度和准确性。
2024-07-16 cs.AI cs.LG stat.ML
Outlier detection for mixed-type data: A novel approach
针对同时含离散与连续变量的混合型数据，本文提出一种低用户交互的异常值检测方法，并给出超参数选择指南，模拟表明其能有效检出多数异常值且误报较少。
2023-12-09 stat.ME
Automating Outlier Detection via Meta-Learning
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）
给定一个新数据集上的无监督离群值检测（OD）任务，我们如何自动选择一个好的离群值检测方法及其超参数（统称为模型）？到目前为止，OD的模型选择一直是一种“黑艺术”;因为任何模型评估都是不可行的，因为缺乏（i）带有标签的保留数据，以及（ii）通用目标函数。在这项工作中，我们开发了第一个原则性的数据驱动的方法来选择OD模型，称为MetaOD，基于元学习。MetaOD利用了大量检测模型在现有离群值检测基准数据集上的过去表现，并继承了这种先前的经验，自动选择要在新数据集上使用的有效模型，而不使用任何标签。为了捕捉任务的相似性，我们引入了专门的元特征来量化数据集的外围特征。通过全面的实验，我们展示了MetaOD在选择检测模型方面的有效性，该模型的性能显著优于最流行的离群值检测器（例如，LOF和iForest）以及各种最先进的无监督元学习器，同时速度非常快。为了促进对这个新问题的可重复性和进一步研究，我们开源了整个元学习系统、基准环境和测试平台数据集。
2021-03-17 cs.IR cs.LG stat.ML
Random Subspace Learning Approach to High-Dimensional Outliers Detection
我们介绍并开发了一种新的方法，离群点检测的基础上适应随机子空间学习。我们提出的方法处理高维低样本量和传统的低维高样本量数据集。从本质上讲，我们避免了计算瓶颈的技术，如最小协方差行列式（MCD）的计算所需的行列式和相关的措施，在低得多的维子空间。我们的方法的理论和计算的发展表明，它是计算上更有效的高维低样本量的正则化方法，并经常有利地竞争与现有的方法，就正确的离群点检测的百分比而言。
2015-05-03 stat.ML
Quantum Entropy Scoring for Fast Robust Mean Estimation and Improved Outlier Detection
Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）；Simons Institute for Theory of Computing（西蒙斯计算理论研究所）
我们研究了高维稳健统计中的两个问题：\emph{robust mean estimation}和\emph{outlier detection}。在鲁棒均值估计中，目标是估计给定$n$独立样本的$\mathbb{R}^d$上的分布的均值$μ$，其中$\varepsilon$部分已被恶意攻击者破坏。在离群值检测中，目标是为数据集的每个元素分配一个\emph{outlier score}，以便为更可能是离群值的元素分配更高的分数。这两个问题的算法是基于一个新的离群值评分方法，我们称之为QUE评分的基础上\emph{quantum entropy regularization}。对于鲁棒均值估计，这产生了第一个在所有参数中具有最佳错误率和接近线性运行时间$\widetilde{O}(nd)$的算法，改进了先前的最快运行时间$\widetilde{O}(\min(nd/\varepsilon^6, nd^2))$。对于离群值检测，我们通过对合成数据和真实数据的大量实验来评估QUE评分的性能，并证明它通常比以前提出的算法表现得更好。这些实验的代码可在https://github.com/twistedcubic/que-outlier-detection上获得。
2019-06-26 cs.DS cs.LG math.ST
Simple robust genomic prediction and outlier detection for a multi-environmental field trial
植物育种试验的目的通常是鉴定出能很好地适应目标环境的种质。这些细菌是通过使用线性混合模型从多环境田间试验（MET）分析中进行基因组预测来鉴定的。MET中异常值的出现是常见的，并且已知会对基因组预测的准确性产生不利影响，但异常值的检测及其随后的处理往往被忽视。有许多原因支持这一点-MET等复杂数据会产生不同水平的残差，因此提供了离群值检测方法的额外挑战，并且许多线性混合模型软件无法进行稳健的预测。我们提出了离群值检测方法，使用一个整体的方法，借用跨试验的力量。我们还评估了一个简单的鲁棒的基因组预测，适用于任何线性混合模型软件。这些都证明了使用模拟的基础上，两个真正的面包小麦产量MET与部分复制的设计和α晶格设计。
2018-07-19 q-bio.QM stat.AP
Provable Self-Representation Based Outlier Detection in a Union of Subspaces
Johns Hopkins University（约翰斯·霍普金斯大学）
许多计算机视觉任务涉及处理大量被离群值污染的数据，这些离群值需要被检测和拒绝。虽然基于鲁棒统计的离群点检测方法已经存在了几十年，但直到最近才开发出基于稀疏和低秩表示的方法，以及当内点位于一个或多个低维子空间中时正确离群点检测的保证。本文提出了一种新的离群点检测方法，结合稀疏表示和图上的随机游走的工具。通过利用数据点可以表示为彼此的稀疏线性组合的属性，我们得到了数据点之间的非对称亲和矩阵，我们使用它来构造一个加权有向图。通过从这个图中定义一个合适的马尔可夫链，我们建立了马尔可夫链的内点/离群点和本质/非本质状态之间的联系，这使我们能够通过使用随机游走来检测离群点。我们提供了一个理论分析，证明我们的方法的正确性，几何和连通性假设。图像数据库上的实验结果表明，相对于最先进的稀疏和低秩离群点检测方法的优越性。
2017-04-12 cs.CV stat.ML
Outlier Detection and Data Clustering via Innovation Search
Baidu Research（百度研究院）
创新搜索的思想被提出作为一种数据聚类方法，其中利用新息的方向来计算邻接矩阵，它被证明是创新追求可以显着优于基于自我表示的子空间聚类方法。在本文中，我们提出了一个新的发现，创新的方向可以用来设计一个可证明的和强大的鲁棒性（离群）PCA方法。所提出的方法，被称为iSearch，使用方向搜索优化问题来计算对应于每个数据点的最佳方向。iSearch利用创新方向来衡量数据点的创新性，并将离群值识别为最具创新性的数据点。分析性能保证来自不同的模型下的离群值，包括随机分布的离群值，聚集的离群值，和线性相关的离群值的分布，建议的鲁棒PCA方法。此外，我们研究了子空间的联合中的离群点检测问题，并且证明了当内点位于子空间的联合中时，iSearch可证明地恢复了内点的跨度。此外，我们提出的理论研究表明，所提出的措施的创新仍然是稳定的存在噪声和iSearch的性能是强大的噪声数据。在具有挑战性的情况下，其中离群值彼此接近或接近内点的跨度，iSearch被证明显着优于大多数现有的方法。所提出的方法表明，新息方向是数据的有用表示，可用于执行数据聚类和离群值检测。
2019-12-30 cs.IT cs.LG math.IT
Robust Outlier Detection and Low-Latency Concept Drift Adaptation for Data Stream Regression: A Dual-Channel Architecture
School of Mathematical Sciences（数学科学学院）；School of Future Science and Engineering（未来科学与工程学院）
本文提出了一种双通道架构，用于数据流回归中的鲁棒异常检测和低延迟概念漂移适应，通过EWMAD-DT检测器实现对突发和渐进漂移的区分。
2025-12-13 cs.LG stat.ME
Achieving differential privacy for $k$-nearest neighbors based outlier detection by data partitioning
University of Applied Sciences Osnabrück（奥斯纳布吕克应用科学大学）；Leibniz University Hannover（莱布尼茨汉诺威大学）
当在数据敏感的环境中应用离群值检测时，需要保证底层数据隐私的机制。$k$-最近邻（$k$-NN）算法是一种简单有效的离群点检测方法。到目前为止，还没有尝试开发用于基于$k$-NN的离群值检测的差分私有（$ε$-DP）方法。现有的方法通常放宽$ε$-DP的概念，并采用除$k$-NN之外的其他方法。我们提出了一种基于$k$-NN的离群点检测方法，该方法通过将该过程分离为对参考内点数据的拟合步骤，然后将离群点分类器应用于新数据。我们实现了$ε$-DP的拟合算法和离群值分类器相对于参考数据的数据集划分成一个统一的网格，这产生低的全局灵敏度。我们的方法在不同维度的真实数据上产生了接近最佳的性能，与非私有版本的$k$-NN相比。
2021-04-16 cs.CR cs.LG stat.AP
Size Matters: Cardinality-Constrained Clustering and Outlier Detection via Conic Optimization
普通的K均值聚类在实践中已经被证明是成功的，但它受到离群值敏感性的影响，并且可能产生高度不平衡的聚类。为了减轻这两个缺点，我们制定了一个联合离群值检测和聚类问题，它分配了一个规定数量的数据点的辅助离群值集群，并执行基数约束的K均值聚类的残差数据集，处理集群基数作为一个给定的输入。我们把这个问题作为一个混合整数线性规划（MILP），承认易处理的半定和线性规划松弛。我们提出了确定性舍入方案，将松弛的解决方案，可行解的MILP。我们还证明了这些解决方案是最佳的MILP，如果集群分离条件成立。
2019-01-10 math.OC stat.ML
Functional outlier detection for density-valued data with application to robustify distribution to distribution regression
分布数据分析是在功能数据分析（FDA）框架下对随机概率密度函数（PDF）组成的数据对象进行统计分析和建模的研究，近年来受到了广泛的关注。然而，许多重要的方面仍然没有探索，如离群值检测和鲁棒性。现有的函数离群点检测方法主要用于普通函数数据，应用于PDF时通常表现不佳。为了填补这一空白，本研究的重点是PDF值离群检测，以及其在稳健分布回归中的应用。与普通函数数据类似，检测由大量PDF形成的“曲线网”掩盖的形状异常值是PDF异常值检测中的主要挑战。为此，我们提出了一个树结构的转换系统的特征提取以及转换的形状离群值容易检测的幅度离群值，相关的离群值检测器设计的特定的转换数据。还提出了一种多重检测策略，以考虑检测的不确定性，并将不同的检测器结合起来，形成一个更可靠的检测工具。此外，我们提出了一种基于分布回归的方法来检测PDF值二元组的异常关联。作为一个具体的应用，建议的离群值检测方法适用于robustify的分布到分布回归方法，我们开发了一个强大的估计器的回归算子通过降低检测到的离群值。所提出的方法进行了验证和评估，通过广泛的模拟研究或实际数据的应用。相关的比较研究表明，与其他竞争对手的分布式离群检测方法的优越性。
2021-10-02 stat.ME
Shape Outlier Detection and Visualization for Functional Data: the Outliergram
提出了一种新的曲线形状异常点的可视化和检测方法。在函数数据分析中，我们观察定义在给定实区间上的曲线，形状异常值是那些表现出与样本其余部分不同形状的曲线。虽然幅度异常值，即在某些点或整个区间上表现出极高或极低值的曲线，通常很容易识别，但形状异常值通常被掩盖在其余曲线中，因此难以检测。在这篇文章中，我们利用函数数据的两个深度之间的关系，以帮助可视化曲线的形状，并开发一个算法的形状离群检测。我们说明了使用的可视化工具，outliergram，通过几个例子和评估的性能的算法上的模拟研究。我们将它们应用于儿童生长数据集中的异常值检测，其中女孩样本被男孩曲线污染，反之亦然。
2013-09-30 stat.CO
Multivariate Functional Outlier Detection using the FastMUOD Indices
我们提出了快速大规模无监督离群值检测（FastMUOD）指标的定义和属性，用于函数数据中的离群值检测（OD）。FastMUOD通过计算每条曲线的振幅、幅度和形状指数来检测异常值，这些指数旨在针对相应类型的异常值。提出了将FastMUOD应用于多元函数数据离群点检测的方法。这些包括将FastMUOD应用于多变量数据的分量和使用随机投影。此外，这些技术在各种模拟和真实的多元函数数据集上进行了测试。与多元函数OD的最新技术水平相比，使用随机投影显示出最有效的结果，具有相似的OD性能，并且在某些情况下改善了OD性能。
2022-07-26 stat.AP stat.CO stat.ME
Outlier Detection Using Nonconvex Penalized Regression
Florida State University（佛罗里达州立大学）；Stanford University（斯坦福大学）
本文从惩罚回归的角度研究了异常值检测问题。我们的回归模型为每个$n$数据点添加了一个均值漂移参数。然后，我们应用有利于稀疏向量的均值漂移参数的正则化。通常的$L_1$惩罚产生一个凸的标准，但我们发现，它不能提供一个强大的估计。$L_1$惩罚对应于软阈值。我们介绍了一个阈值（表示为$Θ$）为基础的离群值检测（$Θ$-IPOD）的迭代过程。基于硬阈值的版本正确识别一些硬测试问题的离群值。我们发现，$Θ$-IPOD比迭代重加权最小二乘大数据快得多，因为每次迭代的成本最多$O(np)$（有时少得多），避免了$O(np^2)$最小二乘估计。我们描述了$Θ$-IPOD和$M$-估计之间的连接。我们提出的方法有一个调整参数，既识别离群值和估计回归系数。可以基于BIC做出依赖于数据的选择。与其他现有方法相比，调整后的$Θ$-IPOD在识别各种情况下的离群值方面表现出出色的性能。如果系数向量和离群模式都是稀疏的，则该方法扩展到使用$p\gg n$的高维建模。
2011-10-17 cs.LG stat.CO stat.ME
Outlier Detection using Generative Models with Theoretical Performance Guarantees
University of Iowa（爱荷华大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
本文考虑了在许多应用中出现的从被稀疏野值污染的压缩测量中恢复信号的问题。在本文中，我们提出了一个生成模型神经网络方法重建稀疏离群的地面真值信号。我们提出了一种迭代交替方向乘子法（ADMM）算法来解决基于$\ell_1$范数最小化的离群点检测问题，并提出了一种梯度下降算法来解决基于平方$\ell_1$范数最小化的离群点检测问题.我们建立了恢复保证重建的信号使用生成模型中存在的离群值，并给出了一个上限的离群值允许恢复的数量。我们的结果适用于线性生成神经网络和任意层数的非线性生成神经网络。我们使用变分自动编码器和深度卷积生成对抗网络进行了广泛的实验，实验结果表明，使用我们的方法可以在离群值下成功重建信号。我们的方法优于传统的Lasso和$\ell_2$最小化方法。
2018-10-26 cs.CV cs.IT eess.IV
Online robust covariance matrix estimation and outlier detection
本文提出了一种在线方法，用于同时估计协方差矩阵和检测异常值，通过稳健估计几何中位数和方差来提高鲁棒性。
2026-01-07 stat.ME
Functional Outlier Detection and Taxonomy by Sequential Transformations
功能数据分析可能会受到异常观测值的严重影响，这些异常观测值可以根据其偏离大部分数据的方式被分类为幅度或形状异常值。识别幅度异常值相对容易，而检测形状异常值则更具挑战性。我们建议通过数据转换将形状异常值转化为幅度异常值，并使用功能箱形图检测它们。除了简化检测过程外，顺序应用几个转换还为标记的离群值提供了合理的分类。一个联合功能排名，其中包括几个转换，也定义在这里。仿真研究进行了评估所提出的方法使用不同的功能深度的概念的性能。在几个实际应用中得到有趣的结果。
2020-03-21 stat.CO stat.ME
Penalized Weighted Least Squares for Outlier Detection and Robust Regression
为了对含有异常值的数据进行回归分析，已经提出了许多同时进行异常值检测和稳健回归的方法，本文提出的方法也是如此。这种新方法被称为“惩罚加权最小二乘”（PWLS）。通过为每个观察分配单独的权重并在权重向量的对数变换上引入套索类型的惩罚，PWLS能够同时执行离群值检测和鲁棒回归。一个贝叶斯的PWLS的观点，它表明，PWLS可以被看作是一个例子的M-估计。提出了两种选择PWLS调谐参数的方法。PWLS的性能通过仿真和实际应用证明。
2016-03-24 stat.ME
