What Drives the Inlier-Memorization Effect? A Theory of Outlier Detection via Early Training Dynamics
KAIST AI（韩国科学技术院人工智能实验室）；Department of Statistics Center for Data Science（统计系数据科学中心）；Sungshin Women’s University（顺天妇女大学）
本文从理论上分析了深度模型在早期训练中优先记忆内点而非异常点的内点记忆效应，揭示了其出现、强度与持久性依赖于数据分布和参数初始化，并据此提出数据预处理与初始化策略，在ADBench上取得最优性能。
2026-06-29 cs.AI cs.LG stat.ML
UniOD: A Universal Model for Outlier Detection across Diverse Domains
UniOD通过统一特征提取和图神经网络实现跨领域异常检测，无需超参数调优，提升实际应用的便捷性和准确性。
2026-03-14 cs.LG
An outlier map for Support Vector Machine classification
支持向量机是一种广泛使用的分类技术。它们计算效率高，即使对于高维数据也能提供出色的预测。此外，支持向量机是非常灵活的，由于纳入核函数。后者允许非线性模型，但也可以处理非数值数据，如蛋白质串。然而，支持向量机可能会受到不干净数据的影响，例如，离群值或错误标记的观察。虽然在文献中已经提出了几种离群值检测方案，但离群值与非离群值的选择通常是特别的，并且不能提供对数据的深入了解。在稳健多元统计中，离群值图是评估所考虑数据质量的非常流行的工具。它们提供了描述几种类型异常值的数据的可视化表示。本文提出了一种用于支持向量机分类的离群图。将多元统计中的Stahel-Donoho离群度测度推广到任意核空间。裁剪支持向量机定义为对具有最大离群值的样本进行裁剪。基于该分类器，构造了一个离群点图，可以可视化任何类型的高维核空间中的数据。离群值图在4个生物学示例中进行了说明，显示其在探索性数据分析中的用途。
2010-09-29 stat.AP
A Comparative Analysis of Statistical and Machine Learning Models for Outlier Detection in Bitcoin Limit Order Books
Department of Life, Health and Environmental Sciences（生命、健康与环境科学系）
本文在AITA-OBS统一测试环境中比较了13种统计与机器学习模型在比特币限价订单簿异常检测中的表现，发现经验协方差模型以6.70%的收益显著优于买入并持有基准，为算法交易和风险管理提供了基准参考。
2025-07-20 cs.AI cs.LG math.ST
Wasserstein Filtering: A Sample Selection Method for Robust Distribution Learning
The Hong Kong Polytechnic University（香港理工大学）；Fudan University（复旦大学）
针对存在部分样本被污染的数据集，提出Wasserstein滤波样本选择框架，引入三种算法，在FELP污染模型下证明其估计量的极小极大最优性，经实验验证其为实用的模型无关预处理工具，兼具良好异常检测性能与生成建模下游效益。
2026-08-14 cs.LG stat.ML
A Robust Learning Algorithm for Regression Models Using Distributionally Robust Optimization under the Wasserstein Metric
我们提出了一个分布鲁棒优化（DRO）的方法来估计鲁棒回归平面在线性回归设置，当观察到的样本可能被污染与adversarially损坏离群值。我们的方法通过对观测数据上的一系列分布进行对冲来减轻离群值的影响，其中一些分布为离群值分配了非常低的概率。所考虑的一组分布接近Wasserstein度量意义上的经验分布。我们表明，这种DRO制定可以放松到一个凸优化问题，其中包括一类模型。通过选择合适的范数空间，我们能够恢复几个常用的正则化回归模型。我们提供了新的见解的正则化项，并从置信区域的角度给出指导正则化系数的选择。我们建立了两种类型的性能保证的解决方案，我们的配方在温和的条件下。一个与其样本外行为（预测偏差）有关，另一个涉及估计和真实回归平面之间的差异（估计偏差）。大量的数值结果表明，我们的方法的优越性的回归模型的主机，在预测和估计精度。我们还考虑了我们的鲁棒学习过程的离群值检测的应用，并表明我们的方法实现了更高的AUC（ROC曲线下面积）比M-估计。
2018-05-10 stat.ML
Large-dimensional behavior of regularized Maronna's M-estimators of covariance matrices
大型协方差阵的鲁棒估计被认为是，包括正则化（线性收缩）修改的Maronna的经典M-估计。这些估计值提供了对离群值的鲁棒性，同时当样本个数不超过变量个数时，这些估计值是明确定义的。通过应用随机矩阵理论的工具，我们刻画了当样本数和变量数一起变大时，这种估计的渐近性能。特别是，我们的研究结果表明，当离群值不存在时，正则化Maronna型的许多估计量具有相同的渐近性能，对于这些估计量，我们提出了一种数据驱动的方法，用于选择关于二次损失的渐近最优正则化参数。鲁棒性存在的离群值，然后研究：在非正则化的情况下，提出了一个大尺寸的鲁棒性度量，并明确计算两种特定类型的估计，表现出有趣的差异，取决于底层的污染模型。然后研究了正则化估计中离群值的影响，与非正则化情况下有趣的差异，从而对特定估计的选择产生了新的实用见解。
2018-04-26 math.ST stat.TH
Unsupervised Graph Outlier Detection: Problem Revisit, New Insight, and Superior Method
East China Normal University（华东师范大学）；Guangzhou University（广州大学）；Shanghai Jiao tong University（上海交通大学）
本文指出现有UNOD方法存在严重数据泄露且忽视两类离群点检测平衡性，提出基于方差的VGOD框架，在5个数据集上实现最优且平衡的检测性能。
2023-01-09 cs.LG
Mining In-distribution Attributes in Outliers for Out-of-distribution Detection
University of Electronic Science and Technology of China（电子科技大学）
本文发现OOD数据常含显著ID属性，提出结构化多视图MVOL框架合理利用而非抑制这些属性，理论验证有效性，实验证明优于现有方法。
2024-12-16 cs.LG stat.ML
robROSE: A robust approach for dealing with imbalanced data in fraud detection
KU Leuven（鲁汶大学）；Applied Statistics GmbH（应用统计有限公司）；University of Antwerp（安特卫普大学）
在试图检测欺诈时的一个主要挑战是，欺诈活动形成少数类别，占数据集的比例非常小。在大多数数据集中，欺诈通常发生在不到0.5%的情况下。在这样一个高度不平衡的数据集中检测欺诈通常会导致有利于多数群体的预测，导致欺诈仍然未被发现。我们讨论了一些流行的过采样技术，通过创建模拟少数类的合成样本来解决数据不平衡的问题。分析真实数据时经常遇到的问题是异常或离群值的存在。当数据中存在这种非典型观测时，大多数过采样技术都倾向于创建扭曲检测算法并破坏结果分析的合成样本。异常检测的一个有用的工具是强大的统计，其目的是找到离群值，首先拟合的大部分数据，然后标记数据观测偏离it.In本文中，我们提出了一个强大的版本的ROSE，称为robROSE，它结合了几个有前途的方法，以应付同时与不平衡的数据和离群值的存在的问题。所提出的方法实现了增强的欺诈案件的存在，而忽略异常。我们的新的采样技术的良好性能的模拟和真实的数据集上说明，它表明，robROSE可以提供更好的洞察数据的结构。robROSE算法的源代码是免费提供的。
2020-03-22 cs.CR cs.LG stat.AP
A Stability Framework for Parameter Selection in the Minimum Covariance Determinant Problem
本文提出基于稳定性的 MCD 模型选择框架，利用统计深度和集中步骤构建 bootstrap 程序评估最佳子集算法的不稳定性，以辅助子集大小选择，并在真实数据集上验证了其有效性。
2025-07-01 stat.CO stat.ME
DCFO: Density-Based Counterfactuals for Outliers -- Additional Material
Department of Computer Science（计算机科学系）；Department of Computer Science and Mathematics（计算机科学与数学系）
针对局部离群因子（LOF）缺乏可解释性的问题，提出基于密度的离群点反事实解释方法（DCFO），通过将数据空间划分为LOF平滑区域实现高效梯度优化，在50个OpenML数据集上优于现有方法。
2026-05-28 cs.LG
Exploring the Impact of Outlier Variability on Anomaly Detection Evaluation Metrics
TU Dortmund（多特蒙德工业大学）
本研究分析了F1 score、ROC AUC和AUCPR三种异常检测评估指标在不同异常值比例和污染阈值下的行为，发现F1 score和AUCPR对异常值比例敏感，而ROC AUC保持稳定，为指标选择提供了新见解。
2024-09-24 cs.LG
On a class of binary regression models and their robust estimation
本文提出基于β、γ散度的二元回归模型鲁棒估计统一框架，拓展传统logistic模型至一般连接函数类，兼具费希尔一致性与离群值鲁棒性，揭示新鲁棒估计类别，实验验证其在污染场景下的二元分类可靠性。
2025-02-21 stat.ME
Subspace Recovery in Winsorized PCA: Insights into Accuracy and Robustness
Seoul National University（首尔大学）
本文研究Winsorized主成分分析（WPCA）在子空间恢复中的理论性质，证明其一致性并推导扰动界限与崩溃点下界，表明其对异常值具有强鲁棒性，并通过示例验证其有效性。
2025-02-23 cs.LG stat.AP stat.ME
Unsupervised Event Outlier Detection in Continuous Time
McGill University（麦吉尔大学）；Borealis AI（博雷亚利斯人工智能公司）
本文提出首个基于GAN和强化学习的无监督事件异常检测框架，通过生成器在线纠正异常并辅助判别器学习，实验证明其检测准确率优于现有方法。
2024-11-25 cs.AI cs.LG
Robust and Explainable Autoencoders for Unsupervised Time Series Outlier Detection---Extended Version
Aalborg University（奥尔堡大学）；Huawei Cloud Database Innovation Lab（华为云数据库创新实验室）；University of Electronic Science and Technology of China（电子科技大学）
时间序列数据广泛存在，异常点检测是数据采掘的一个基本问题，有着广泛的应用。现有的基于自动编码器的方法在具有挑战性的现实世界数据上提供了最先进的性能，但容易受到离群值的影响，并且表现出较低的可解释性。为了解决这两个限制，我们提出了鲁棒的和可解释的无监督自动编码器框架，使用自动编码器将输入时间序列分解为干净的时间序列和离群值时间序列。由于干净的时间序列可以用易于理解的模式（如趋势和周期性）更好地解释，因此可解释性得到了改善。我们通过事后可解释性分析和实证研究对此进行了深入研究。此外，由于离群值是迭代地从干净的时间序列中分离出来的，我们的方法对离群值提供了更好的鲁棒性，这反过来又提高了准确性。我们在五个真实世界的数据集上评估了我们的方法，并报告了在鲁棒性和可解释性方面对最先进方法的改进。这是“Robust and Explainable Autoencoders for Unsupervised Time Series Outlier Detection”的扩展版本，将出现在IEEE ICDE 2022中。
2022-04-07 cs.DB cs.LG
Extending Decision Predicate Graphs for Comprehensive Explanation of Isolation Forest
University of Trieste（的里雅斯特大学）；Technological University Dublin（都柏林理工大学）
本文提出基于决策谓词图的全局可解释AI方法，通过正常-异常传播分数解释隔离森林的异常识别决策过程，揭示特征贡献与决策边界，推动完全可解释的机器学习流程。
2025-05-06 cs.AI cs.LG
A system for exploring big data: an iterative k-means searchlight for outlier detection on open health data
Fairleigh Dickinson University（费尔利迪金森大学）
提出基于迭代k-means探照灯与子集扫描的系统，通过拆分-应用-合并范式探索开放健康数据，识别出成本超支和自杀诊断增加等异常趋势。
2023-04-05 cs.LG
A feature construction framework based on outlier detection and discriminative pattern mining
INSA Lyon（里昂国立应用科学学院）
无论监督学习算法的表达能力和复杂性如何，它们的有效性都受到描述数据的特征的限制。这并不是ML中的新见解，已经开发了许多用于特征选择、转换和构造的方法。但是，虽然这是进行一般技术的特征选择和转换，即降维，工作的特征建设，即丰富的数据，目前主要是图像，特别是字符，识别和自然语言处理的领域。在这项工作中，我们提出了一个新的一般框架的功能建设。在数据集中进行特征构建的需要由用于在其k邻域上导出特征的类离群值和判别模式挖掘来表示。我们实例化的框架与LOF和C4.5规则，并评估的有用性的衍生功能的UCI数据集的不同集合。衍生的功能往往比DC-Fringe衍生的功能更有用，并且我们的方法不太可能过拟合。但是，虽然弱学习者Naive Bayes从特征构建中受益匪浅，但对于C4.5来说效果不太明显，并且对于SVM学习者几乎消失。关键词：特征构造，分类，离群点检测
2014-07-17 cs.LG
Unsupervised Outlier Detection in Audit Analytics: A Case Study Using USA Spending Data
Rutgers, The State University of New Jersey（罗格斯大学，新泽西州立大学）
本研究以美国卫生与公众服务部支出数据为案例，比较多种无监督异常检测算法，发现混合方法能提升审计中异常识别的稳健性与准确性。
2025-09-19 cs.AI cs.LG
Non-Linear Outlier Synthesis for Out-of-Distribution Detection
University of Bern（伯尔尼大学）
本文提出NCIS方法，通过在扩散模型嵌入空间中直接合成离群点并利用条件体积保持网络建模类条件流形，在ImageNet100和CIFAR100上取得最先进的OOD检测性能。
2024-11-20 cs.AI cs.CV cs.LG
Ocean Data Quality Assessment through Outlier Detection-enhanced Active Learning
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；LifeWatch ERIC Virtual Lab and Innovation Center（生命观察欧洲研究基础设施联合体虚拟实验室与创新中心）
针对海洋观测数据质量评估面临的标记数据少、数据集不平衡问题，提出结合异常检测与主动学习的ODEAL框架，可大幅提升评估效率、降低标注成本。
2023-12-17 cs.LG
Optimal detection of the feature matching map in presence of noise and outliers
Russian-Armenian University（俄-亚美尼亚大学）；Yerevan State University（埃里温国立大学）
我们考虑的问题，找到匹配映射之间的两组$d$维向量从噪声观测，其中第二组包含离群值。匹配映射则是注入，只有当第二组向量被很好地分离时，才能一致地估计该注入。主要结果表明，在高维环境中，未知注入的检测区域可以由内点-内点距离至少为$d^{1/4}$阶且内点-外点距离至少为$d^{1/2}$阶的向量集来表征。这些速率是使用最小化匹配点对之间的距离的平方和的估计匹配来实现的。我们还证明了建立这些利率的最优性的下界。最后，我们报告的合成和现实世界的数据，说明我们的理论结果，并提供进一步的洞察力在这项工作中研究的估计的属性的数值实验结果。
2022-10-26 cs.LG math.ST stat.TH
Out-of-distribution Detection with Implicit Outlier Transformation
Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；The University of Sydney（悉尼大学）
离群值暴露（OE）在分布外（OOD）检测中是强大的，通过使用替代OOD数据进行模型微调来增强检测能力。然而，替代数据通常偏离测试OOD数据。因此，当面对看不见的OOD数据时，OE的性能可能会减弱。为了解决这个问题，我们提出了一种新的OE为基础的方法，使该模型表现良好的看不见的OOD的情况下，即使是看不见的OOD的情况下。它导致了一个最小最大的学习计划-搜索合成OOD数据，导致最坏的判断和学习，从这样的OOD数据在OOD检测的统一性能。在我们的实现中，这些最坏的OOD数据合成通过转换原始的替代。具体来说，相关的转换函数是基于我们的新见解，即模型扰动导致数据转换，隐式地学习的。我们的方法提供了一种有效的方式来合成OOD数据，这可以进一步有利于检测模型，除了代理OOD数据。我们在各种OOD检测设置下进行了广泛的实验，证明了我们的方法对先进同行的有效性。
2023-03-09 cs.LG
POEM: Out-of-Distribution Detection with Posterior Sampling
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
对于部署在开放世界中的机器学习模型，分发外（OOD）检测是必不可少的。最近，在训练过程中使用辅助离群值数据集（也称为离群值暴露）已经显示出有希望的性能。由于潜在OOD数据的样本空间可能非常大，因此采样信息离群值至关重要。在这项工作中，我们提出了一种新的基于后验采样的离群数据挖掘框架，POEM，它有利于有效地利用离群数据，并促进学习ID和OOD数据之间的紧凑决策边界，以提高检测。我们表明，POEM建立国家的最先进的性能，共同的基准。与目前使用贪婪采样策略的最佳方法相比，POEM在CIFAR-10和CIFAR-100上的相对性能分别提高了42.0%和24.2%（FPR 95）。我们进一步提供了理论见解的有效性POEM OOD检测。
2022-06-28 cs.AI cs.CV cs.LG
Interpretable Outlier Summarization
University of California, San Diego（加州大学圣地亚哥分校）；Massachusetts Institute of Technology（麻省理工学院）；Worcester Polytechnic Institute（伍斯特理工学院）
提出STAIR及局部化变体L-STAIR，通过优化目标生成低复杂度规则集，以可解释方式总结离群值检测结果，显著降低规则复杂度，便于人类理解。
2023-09-01 cs.AI cs.DB cs.LG
Outlier Detection in Plantar Pressure: Human-Centered Comparison of Statistical Parametric Mapping and Explainable Machine Learning
University of Kaiserslautern-Landau (RPTU)（凯泽斯劳滕-兰道工业大学）；DIERS International GmbH（DIERS国际有限公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
研究面向足底压力数据质量控制，比较SPM与SHAP解释的CNN异常值检测方法，证明可解释ML性能更优且二者具有互补价值。
2025-09-29 cs.AI cs.LG
AIDA: Analytic Isolation and Distance-based Anomaly Detection Algorithm
Utrecht University（乌得勒支大学）；ZHAW School of Law and Management（苏黎世应用科技大学法律与管理学院）；Zurich University of Applied Sciences（苏黎世应用科技大学）
我们结合距离和隔离度的指标，开发分析隔离和基于距离的异常（AIDA）检测算法。AIDA是第一个基于距离的方法，不依赖于最近邻的概念，使其成为一个无参数模型。从流行的文献中，其中的隔离度量总是通过模拟计算，我们表明，AIDA承认一个分析表达式的离群值得分，提供了新的见解的隔离度量。此外，我们提出了一种基于AIDA的异常解释方法，即基于回火隔离的扩展（TIX）算法，该算法即使在具有数百个维度的数据集中也能找到最相关的离群特征。我们测试这两种算法的合成和经验数据：我们表明，AIDA是竞争力相比，其他国家的最先进的方法，它是优越的发现隐藏在多维特征子空间的离群值。最后，我们说明了TIX算法是如何能够发现异常值在多维特征子空间，并使用这些解释来分析常见的异常检测中使用的基准。
2022-12-08 cs.LG
Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models
University of South Florida, Tampa, FL, USA（佛罗里达州立大学）；Brandeis University, Waltham, MA, USA（布兰迪大学）；Tsinghua University（清华大学）
本文提出离群梯度分析方法，通过建立影响函数与离群梯度检测的联系，提供无 Hessian 矩阵的高效方案，用于识别深度学习模型有害训练样本并提升 NLP 及大模型性能。
2025-11-01 cs.AI cs.LG
Unsupervised Time Series Outlier Detection with Diversity-Driven Convolutional Ensembles -- Extended Version
Aalborg University（奥尔堡大学）；Huawei Cloud Database Innovation Lab（华为云数据库创新实验室）；University of Electronic Science and Technology of China（电子科技大学）
针对时间序列异常检测在准确性和效率上的不足，提出一种基于卷积序列到序列自编码器的多样性驱动卷积集成方法，通过维持模型多样性提升准确性，并利用高度并行化和参数迁移提高效率。
2021-11-22 cs.LG
AOE: Exhaustive Out-of-Distribution Detection via Recalibrating Outlier Labels
School of Computer Science and Engineering（计算机科学与工程学院）；Nanjing University of Science and Technology（南京理工大学）
提出自适应置信度异常暴露（AOE）方法，通过温度缩放重新校准异常标签，利用自适应软目标保留分布外样本与分布内类别的语义关系，从而扩大分离边界并提升分布外检测性能。
2026-07-21 cs.LG
How Does Unlabeled Data Provably Help Out-of-Distribution Detection?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Technology Sydney（悉尼科技大学）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）
本文提出SAL框架，通过分离无标签数据中的候选异常值并训练OOD分类器，从理论和实证两方面证明无标签数据可有效提升分布外检测性能。
2024-02-05 cs.LG stat.ML
FoMo X: Modular Explainability Signals for Outlier Detection Foundation Models
TU Dortmund University, Dortmund, Germany（图卢兹大学（德累斯顿））；Research Center Trustworthy Data Science and Security, University Alliance Ruhr, Dortmund, Germany（可信数据科学与安全研究中心，鲁尔大学联盟，德累斯顿，德国）
FoMo-X通过模块化框架为异常检测基础模型提供内在轻量级诊断能力，利用预训练PFN背骨的冻结嵌入编码丰富关系信息，通过附加诊断头实现高效可解释性，实验证明其在合成和真实世界基准上具有高保真度和低推理开销。
2026-03-18 cs.AI cs.LG
Model-free quantification of completeness, uncertainties, and outliers in atomistic machine learning using information theory
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of California（加州大学）
提出基于信息论的无模型理论框架，利用原子中心环境分布的信息熵量化原子机器学习中的信息内容，实现可靠的认知不确定性预测与分布外样本检测。
2024-09-18 cond-mat.mtrl-sci cs.LG physics.chem-ph
RFOD: Random Forest-based Outlier Detection for Tabular Data
National University of Singapore；Huazhong University of Science \& Technology；Harbin Institute of Technology (Shenzhen)
针对混合类型表格数据，提出基于随机森林的RFOD框架，通过逐特征条件重构和单元级评分聚合，实现高精度、可解释的异常检测。
2025-10-09 cs.DB cs.LG
Batch Normalization Amplifies Memorization and Privacy Risks
Queen’s University Belfast（女王大学贝尔法斯特）
本文通过实证和理论分析，发现批归一化层会显著增加模型对异常样本的记忆化，从而加剧隐私泄露风险。
2026-09-18 cs.AI cs.LG
PIKS: A Technique to Identify Actionable Trends for Policy-Makers Through Open Healthcare Data
Fairleigh Dickinson Univ.（菲尔莱狄更斯大学）；Clarkson University（克拉克森大学）
本文提出了一种名为PIKS的高效异常值检测技术，结合迭代k均值和剪枝搜索灯扫描，应用于公开医疗数据集，以较少参数实现与自编码器等一致的结果，助力政策制定者快速探索数据。
2023-04-05 cs.CY cs.LG
Benchmark It Yourself (BIY): Preparing a Dataset and Benchmarking AI Models for Scatterplot-Related Tasks
Feedzai
针对散点图任务缺乏基准的问题，构建了含18,000多个散点图的合成数据集，评估OpenAI和Gemini模型，发现计数任务可行但定位任务精度不足。
2025-10-07 cs.AI cs.HC cs.LG
