Robust Statistical Scaling of Outlier Scores: Improving the Quality of Outlier Probabilities for Outliers (Extended Version)
Johannes Gutenberg University Mainz(美因茨约翰内斯古滕贝格大学);University of Southern Denmark(南丹麦大学)
针对现有统计缩放方法对异常值概率估计质量不佳的问题,提出采用鲁棒估计器的鲁棒统计缩放方法,经真实数据集与多种算法验证,可有效提升异常值的概率估计质量。
2024-10-30 cs.AI cs.LG
Fast, Parameter free Outlier Identification for Robust PCA
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
鲁棒主成分分析(Robust PCA),即存在离群值的主成分分析问题,近年来得到了广泛的研究。在这里,我们专注于列稀疏离群模型中的鲁棒PCA。现有的列稀疏离群模型的方法要么假设知道系统中低维子空间的维数,要么假设知道系统中离群点的比例。然而,在许多应用中,这些参数的知识是不可用的。受此启发,我们提出了一种无参数的鲁棒PCA离群点识别方法,该方法a)不需要离群点分数的知识,b)不需要底层子空间的维数的知识,c)计算简单且快速。此外,分析保证导出离群值识别和算法的性能与现有的最先进的方法。
2018-04-13 cs.LG stat.ML
Structured and Unstructured Outlier Identification for Robust PCA: A Non iterative, Parameter free Algorithm
Indian Institute of Technology Madras(马德拉斯印度理工学院)
鲁棒主成分分析(Robust PCA),即存在离群值的主成分分析问题,近年来得到了广泛的研究。在这里,我们专注于离群值模型中的鲁棒PCA,其中数据矩阵的每一列都是内点或离群点。大多数现有的方法,这个模型假设的知识的维数较低的维子空间或在系统中的离群值的分数。然而,在许多应用中,这些参数的知识是不可用的。受此启发,我们提出了一种用于鲁棒PCA的无参数离群点识别方法,该方法a)不需要离群点分数的知识,b)不需要底层子空间的维数的知识,c)计算简单且快速d)可以处理结构化和非结构化离群点。此外,分析保证导出离群值识别和算法的性能进行比较,与现有的最先进的方法在真实和合成数据的各种离群结构。
2018-09-11 cs.LG stat.ML
CoMadOut -- A Robust Outlier Detection Algorithm based on CoMAD
Christian-Albrechts-Universität zu Kiel(基尔大学)
本文提出基于CoMAD的鲁棒离群点检测算法CoMadOut,通过comedian PCA和分布内/外度量实现鲁棒评分,在AP、AUPRC和AUROC指标上与传统及深度方法具有竞争力。
2024-07-01 cs.LG
PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning
Texas A&M University(得克萨斯农工大学)
离群点检测是各种数据采掘应用的重要任务。目前的异常值检测技术通常是针对特定领域手动设计的,需要大量的人工努力来设置数据库,选择算法和调整超参数。为了填补这一空白,我们提出了PyODDS,这是一个自动化的端到端Python系统,用于离群值检测和数据库支持,它可以自动优化手头新数据源的离群值检测管道。具体来说,我们在离群点检测流水线中定义搜索空间,并在给定的搜索空间内产生搜索策略。PyODDS支持基于Apache Spark后端服务器和轻量级数据库的端到端执行。它还为具有或不具有数据科学或机器学习背景的用户提供统一的界面和可视化。特别是,我们在几个真实世界的数据集上演示了PyODDS,并给出了量化分析和可视化结果。
2020-03-12 cs.AI cs.LG stat.ML
Robust Data Clustering with Outliers via Transformed Tensor Low-Rank Representation
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
针对含异常值的张量数据,提出基于t-SVD框架的异常值鲁棒张量低秩表示方法(OR-TLRR),实现异常值检测与数据聚类,并具备行空间精确恢复的理论保证。
2024-04-26 cs.CV cs.LG stat.ML
Robust Clustering Using Outlier-Sparsity Regularization
University of Minnesota(明尼苏达大学)
尽管传统的聚类算法,如K-means和概率聚类的流行,他们的聚类结果是敏感的离群数据的存在。即使是一些离群值也会损害这些算法识别有意义的隐藏结构的能力,从而使其结果不可靠。本文提出了鲁棒的聚类算法,不仅旨在聚类的数据,但也确定离群值。新的方法依赖于罕见的离群值在数据中的存在,这转化为稀疏在一个明智的选择域。利用孤立点域的稀疏性,提出了孤立点感知的鲁棒K均值和概率聚类方法。他们的新颖之处在于识别离群值,同时通过精心选择的正则化在离群值域中实现稀疏性。一个块坐标下降的方法来获得迭代算法的收敛性保证和小的额外的计算复杂性相对于他们的非鲁棒同行。还开发了鲁棒聚类算法的内核化版本,以有效地处理高维数据,识别非线性可分离的聚类,甚至是未用向量表示的聚类对象。在人工和真实数据集上的数值试验验证了新算法的性能和适用性。
2011-04-22 cs.LG stat.ML
Comparison of Outlier Detection Techniques for Structured Data
Indian Institutes of Information Technology Delhi(德里印度信息技术学院);IBM Research AI(IBM研究院人工智能部门)
离群值是远离给定数据集中其余数据点的观测值或数据点,或者我们可以说离群值远离观测值的质心。离群值的存在可能会扭曲统计测量和数据分布,这可能导致对基础数据和关系的误导性表示。可以看出,在建模之前从训练数据集中去除离群值可以给出更好的预测。随着机器学习的发展,异常值检测模型也在飞速发展。这项工作的目标是突出和比较一些现有的离群值检测技术,以便数据科学家在构建机器学习模型时使用这些信息进行离群值算法选择。
2021-06-16 cs.LG
Outlier-robust Diffusion Posterior Sampling for Bayesian Inverse Problems
University College London(伦敦大学学院);Imperial College London(伦敦帝国学院);Shanghai University of Finance and Economics(上海金融学院)
本文提出鲁棒扩散后验采样方法,通过分析后验偏差和稳定性,解决逆问题中异常值对扩散求解器的影响,提升线性和非线性任务的鲁棒性。
2026-05-09 cs.LG
Outlier-robust Estimation of a Sparse Linear Model Using Invexity
Purdue University(普渡大学)
本文针对含离群样本的稀疏回归问题,提出一种组合式鲁棒lasso方法,通过识别干净样本进行估计,并利用不变凸松弛提供理论保证,实验验证其优于标准lasso。
2023-06-22 cs.LG
RODD: Robust Outlier Detection in Data Cubes
TU Dortmund University(多特蒙德工业大学);Research Center Trustworthy Data Science and Security(可信数据科学与安全研究中心)
数据立方体是多维数据库,通常由几个独立的数据库构建,作为数据分析的灵活基础。令人惊讶的是,数据立方体上的离群值检测尚未得到广泛的处理。在这项工作中,我们提供了第一个框架,以评估强大的离群检测方法在数据立方体(RODD)。我们介绍了一种新的随机森林为基础的离群点检测方法(RODD-RF),并将其与更传统的方法的基础上强大的位置估计。我们提出了一个一般类型的测试数据,并在模拟研究中检查所有的方法。此外,我们将ROOD-RF应用于现实世界的数据。结果表明,RODD-RF可以导致改进的离群值检测。
2023-03-14 cs.DB cs.LG
Conditional Selective Inference for Robust Regression and Outlier Detection using Piecewise-Linear Homotopy Continuation
Nagoya Institute of Technology(名古屋工业大学);RIKEN(理化学研究所)
在噪声环境下的实际数据分析中,通常首先使用鲁棒方法来识别异常值,然后在去除异常值后进行进一步的分析。本文考虑剔除离群值后模型估计的统计推断问题,这可解释为一个选择推断问题。为了使用条件SI框架,有必要描述稳健方法如何识别离群值的事件。不幸的是,现有的方法不能直接使用这里,因为它们适用于选择事件可以由线性/二次约束表示的情况。本文利用同伦方法,提出了一种求解稳健回归的条件SI方法。我们表明,建议的条件SI方法是适用于广泛的一类强大的回归和离群值检测方法,并具有良好的经验表现在合成数据和真实数据的实验。
2022-01-02 cs.LG stat.ML
Outlier-Robust Convex Segmentation
The Technion – Israel Institute of Technology(以色列理工学院)
我们推导出一个凸优化问题的任务分割序列数据,明确对待存在的离群值。我们描述了两种算法来解决这个问题,一个确切的和一个自上而下的新方法,我们得出了一致性结果的情况下,两个部分,没有离群值。在与语音分割相关的两个真实任务中评估了对离群值的鲁棒性。我们的算法优于基线分割算法。
2014-11-18 cs.LG stat.ML
Robust Variational Autoencoders for Outlier Detection and Repair of Mixed-Type Data
University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);Google Research(谷歌研究院)
研究了混合类型表格数据中的无监督单元离群点检测与修复问题。传统的方法只关心检测数据集中哪些行是离群值。然而,识别特定行中哪些单元格被损坏是实践中的一个重要问题,也是修复它们的第一步。我们引入了鲁棒变分自编码器(RVAE),这是一种深度生成模型,可以学习干净数据的联合分布,同时识别离群细胞,允许对其进行填补(修复)。RVAE显式地学习每个单元格是离群值的概率,平衡行离群值得分中的不同似然模型,使该方法适用于混合类型数据集中的离群值检测。我们的实验表明,RVAE不仅表现得比几个国家的最先进的方法在细胞离群检测和修复表格数据,但也是强大的对初始超参数的选择。
2020-03-03 cs.LG stat.ML
On making optimal transport robust to all outliers
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
最优运输(OT)是已知的,因为它的边际约束,对离群值是敏感的。离群值鲁棒OT变体已经基于离群值是移动昂贵的样本的定义而被提出。在本文中,我们表明,这个定义是限制考虑的情况下,离群值比干净的样本更接近目标测量。我们表明,离群鲁棒OT完全传输这些离群值,导致在实践中的性能不佳。为了解决这些离群值,我们建议依靠经过对抗训练的分类器来对源样本和目标样本进行分类。如果来自分类器的预测与其分配的标签不同,则将样本视为离群值。为了减少这些离群值在运输问题中的影响,我们建议将它们从问题中删除,或者通过使用分类器预测来增加移动它们的成本。我们表明,我们成功地检测到这些离群值,他们不影响几个实验,如梯度流,生成模型和标签传播的运输问题。
2022-06-23 cs.LG math.PR stat.ML
Stochastic and Private Nonconvex Outlier-Robust PCA
我们开发了理论上保证随机方法的离群鲁棒PCA。离群鲁棒PCA从被离群值破坏的数据集中寻找底层的低维线性子空间。我们能够表明,我们的方法,其中涉及随机测地线梯度下降的格拉斯曼流形,收敛和恢复一个潜在的子空间,在各种制度,通过发展一个新的收敛分析。该方法的主要应用是一种有效的差分私有算法,用于在随机梯度方法中使用高斯噪声机制的异常鲁棒PCA。我们的结果强调了非凸方法相对于另一种凸方法在差异隐私环境中解决该问题的优势。对合成数据和程式化数据的实验验证了这些结果。
2022-03-17 cs.CR cs.LG math.OC
Simple KNN-Based Outlier Detection Achieves Robust Clustering
Duke University(杜克大学)
本文证明在合理假设下,简单移除KNN距离大的点可将稳健k均值转化为标准k均值,且在聚类成本和运行时间上优于其他算法。
2026-05-08 cs.DS cs.LG
Noise Statistics Oblivious GARD For Robust Regression With Sparse Outliers
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
在许多信号处理应用中,被高斯噪声(内点)和可能的无界稀疏离群点污染的线性回归模型是常见的。稀疏恢复启发的鲁棒回归(SRIRR)技术被证明可以在这样的回归模型中提供高质量的估计性能。不幸的是,大多数SRIRR技术假定\textit{a priori}知道噪声统计,如内点噪声方差或离群点统计,如离群点的数量。内点和外点噪声统计量都很少为\textit{a priori}所知,这限制了许多SRIRR算法的有效操作。本文提出了一种新的噪声统计无关算法称为残差比阈值GARD(RRT GARD)的鲁棒回归稀疏离群值的存在。RRT-GARD是通过修改最近提出的噪声统计相关的贪婪算法鲁棒去噪(GARD)。有限样本和渐近分析结果表明,RRT-GARD执行几乎类似的GARD与\textit{a priori}知识的噪声统计。真实和合成数据集的数值模拟也表明了RRT-GARD具有很强的竞争力。
2018-09-19 cs.LG stat.ML
Thresholding based Efficient Outlier Robust PCA
Microsoft Research India(微软研究院印度分院)
我们考虑离群鲁棒PCA(OR-PCA)的问题,其目标是恢复主方向,尽管存在离群数据点。也就是说,给定数据矩阵$M^*$,其中$(1-α)$分数的点是来自低维子空间的噪声样本,而$α$分数的点可以是任意离群值,目标是准确地恢复子空间。现有的结果\OR -PCA有严重的缺点:虽然有些结果是相当弱的噪声存在下,其他结果有运行时的二次尺寸,使他们不切实际的大规模应用。在这项工作中,我们提供了一种新的阈值为基础的迭代算法,每次迭代的复杂性在最线性的数据大小。此外,我们的方法可以处理的离群值的分数$α$接近常数,同时为一般噪声设置提供几乎最佳的计算复杂性。对于特殊的情况下,内点是从一个低维的子空间与加性高斯噪声,我们表明,我们的阈值为基础的方法的修改导致显着改善恢复误差(的子空间),即使在存在一个大部分的离群值。
2017-02-18 cs.LG
EMORF-II: Adaptive EM-based Outlier-Robust Filtering with Correlated Measurement Noise
University of Wisconsin Madison(威斯康星大学麦迪逊分校);University of Engineering and Technology(工程与技术大学);Lahore University of Management Sciences(拉合尔管理科学大学)
提出EMORF-II,一种学习型抗异常值滤波器,处理相关测量噪声,通过推理时学习异常值特征提升缓解能力,精度优于现有方法且计算复杂度不变。
2025-09-09 cs.LG eess.SP
Robust and Explainable Autoencoders for Unsupervised Time Series Outlier Detection---Extended Version
Aalborg University(奥尔堡大学);Huawei Cloud Database Innovation Lab(华为云数据库创新实验室);University of Electronic Science and Technology of China(电子科技大学)
时间序列数据广泛存在,异常点检测是数据采掘的一个基本问题,有着广泛的应用。现有的基于自动编码器的方法在具有挑战性的现实世界数据上提供了最先进的性能,但容易受到离群值的影响,并且表现出较低的可解释性。为了解决这两个限制,我们提出了鲁棒的和可解释的无监督自动编码器框架,使用自动编码器将输入时间序列分解为干净的时间序列和离群值时间序列。由于干净的时间序列可以用易于理解的模式(如趋势和周期性)更好地解释,因此可解释性得到了改善。我们通过事后可解释性分析和实证研究对此进行了深入研究。此外,由于离群值是迭代地从干净的时间序列中分离出来的,我们的方法对离群值提供了更好的鲁棒性,这反过来又提高了准确性。我们在五个真实世界的数据集上评估了我们的方法,并报告了在鲁棒性和可解释性方面对最先进方法的改进。这是“Robust and Explainable Autoencoders for Unsupervised Time Series Outlier Detection”的扩展版本,将出现在IEEE ICDE 2022中。
2022-04-07 cs.DB cs.LG
Variational Outlier-Robust Gaussian Process Regression with Generative Modeling
Zunitech, LLC(祖尼特科技有限责任公司);Institute of Data Science, University of Engineering and Technology, Lahore, Pakistan(拉合尔工程技术大学数据科学学院)
针对离群值扭曲高斯过程回归的问题,提出带生成建模的变分离群值鲁棒高斯过程回归方法,经实验验证其预测精度优于多数基线且计算复杂度为立方级。
2026-08-18 cs.LG
Outlier Robust Online Learning
National University of Singapore(新加坡国立大学);Georgia Institute of Technology(佐治亚理工学院);Technion – Israel Institute of Technology(以色列理工学院)
我们考虑在实际环境中的数据的大小是太大,存储在一台机器上的噪声数据的学习问题。更具挑战性的是,来自野外的数据可能包含恶意离群值。为了解决可扩展性和鲁棒性问题,我们提出了一个在线鲁棒学习(ORL)的方法。ORL易于实现,并且具有可证明的鲁棒性保证-与现有的在线学习方法形成鲜明对比,这些方法通常对离群值很脆弱。我们专门的ORL方法的两个具体情况下:在线强大的主成分分析和在线线性回归。我们证明了ORL的效率和鲁棒性的优势,通过全面的模拟和预测图像标签的大规模数据集。我们还讨论了扩展的ORL分布式学习,并提供实验评估。
2017-01-01 cs.LG stat.ML
Robust contrastive learning and nonlinear ICA in the presence of outliers
Future University Hakodate(公立函馆未来大学);RIKEN AIP(理化学研究所先进智能项目中心);University College London(伦敦大学学院);Université Paris-Saclay(巴黎-萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所 HIIT);University of Helsinki(赫尔辛基大学)
非线性独立成分分析(ICA)是一种无监督表示学习的通用框架,旨在恢复数据中的潜在变量。最近的实用方法通过解决一系列基于逻辑回归的分类问题来执行非线性ICA。然而,众所周知,逻辑回归容易受到离群值的影响,因此离群值会大大削弱其性能。在本文中,我们首先从理论上分析了非线性ICA模型的存在离群值。我们的分析意味着,在非线性ICA估计可以严重阻碍时,离群值存在于(非污染)的目标密度,这发生在一个典型的情况下,由离群值污染的尾部。我们提出了两种基于γ-散度的鲁棒非线性ICA方法,γ-散度是Logistic回归中KL-散度的一种鲁棒替代。所提出的方法具有所需的鲁棒性的非线性ICA的背景下。我们还通过实验证明,所提出的方法是非常强大的,优于现有的方法中存在的离群值。最后,所提出的方法被应用到ICA为基础的因果关系发现,并发现一个合理的因果关系的fMRI数据。
2019-11-01 cs.LG stat.ML
Robust Subspace Outlier Detection in High Dimensional Space
大型数据库中的稀有数据被称为离群值,它们揭示了现实世界中的重要信息。基于子空间的离群点检测被认为是一种可行的方法。然而,在子空间中发现的异常值实际上只是高维空间中真实异常值的一部分。在投影维子空间中,隐藏在正常聚类点中的离群点有时会被忽略。在本文中,我们提出了一个强大的子空间方法来检测这样的内部离群点在一个给定的数据集,它使用二维的投影:检测离群点的子空间中的局部密度比在第一个投影的维度;发现离群点通过比较邻居的位置在第二个投影的维度。每个点的权重是通过将两步投影维度中得到的所有相关值相加来计算的,然后将得分最大的权重值的点作为离群值。通过对维数从10到10000的一系列实验,结果表明,该方法在极高维空间中具有较高的精度,在低维空间中具有较好的效果。
2014-05-05 cs.AI cs.LG stat.ML
Making Convex Loss Functions Robust to Outliers using $e$-Exponentiated Transformation
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出了一种新的损失函数的{ \em-指数}变换$0 \le e<1$.当变换应用于凸损失函数时,变换后的损失函数对离群值变得更鲁棒。使用一种新的泛化误差界,我们从理论上证明了转换后的损失函数具有更严格的边界的数据集损坏的离群值。我们的经验观察表明,使用变换后的损失函数获得的准确度可以显著优于使用原始损失函数获得的准确度,并且可以与在存在标签噪声的情况下通过一些其他现有技术方法获得的准确度相媲美。
2019-02-20 cs.LG stat.ML
Beta quantile regression for robust estimation of uncertainty in the presence of outliers
University of Southern California(南加州大学);Amazon Web Services(亚马逊云科技)
针对分位数回归对异常特征敏感的问题,提出结合稳健散度概念的稳健分位数回归方法,并在真实数据集和医学图像转换任务中验证了其优越性。
2023-09-14 cs.LG
Quantum Entropy Scoring for Fast Robust Mean Estimation and Improved Outlier Detection
Microsoft Research(微软研究院);UC Berkeley(加州大学伯克利分校);Simons Institute for Theory of Computing(西蒙斯计算理论研究所)
我们研究了高维稳健统计中的两个问题:\emph{robust mean estimation}和\emph{outlier detection}。在鲁棒均值估计中,目标是估计给定$n$独立样本的$\mathbb{R}^d$上的分布的均值$μ$,其中$\varepsilon$部分已被恶意攻击者破坏。在离群值检测中,目标是为数据集的每个元素分配一个\emph{outlier score},以便为更可能是离群值的元素分配更高的分数。这两个问题的算法是基于一个新的离群值评分方法,我们称之为QUE评分的基础上\emph{quantum entropy regularization}。对于鲁棒均值估计,这产生了第一个在所有参数中具有最佳错误率和接近线性运行时间$\widetilde{O}(nd)$的算法,改进了先前的最快运行时间$\widetilde{O}(\min(nd/\varepsilon^6, nd^2))$。对于离群值检测,我们通过对合成数据和真实数据的大量实验来评估QUE评分的性能,并证明它通常比以前提出的算法表现得更好。这些实验的代码可在https://github.com/twistedcubic/que-outlier-detection上获得。
2019-06-26 cs.DS cs.LG math.ST
Outlier-Detection for Reactive Machine Learned Potential Energy Surfaces
University of Basel(巴塞尔大学)
本文针对反应性分子势能面,比较集成模型、深度证据回归和高斯混合模型三种不确定性量化方法检测离群点的效果,发现集成模型最优,并提出一种基于结构的指标用于快速筛选有利于神经网络改进的结构。
2024-02-27 cs.LG physics.chem-ph
Robust Outlier Arm Identification
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Amazon(亚马逊)
我们研究了鲁棒离群臂识别(ROAI)的问题,其目标是通过自适应地从其奖励分布中采样来识别其预期奖励大幅偏离大多数的臂。我们使用期望回报的中位数和中位数绝对偏差来计算离群值阈值。与使用平均值和标准差相比,这是阈值的稳健选择,因为即使存在极端离群值,它也可以识别离群臂。我们的设置是不同的,从现有的纯探索问题的阈值是预先指定为一个给定的值或排名。这在目标是识别有希望的项目的集合但该集合的基数未知的应用中是有用的,例如寻找用于新疾病的有希望的药物或识别受群体青睐的项目。我们提出了两个$δ$ -PAC算法的ROAI,其中包括第一UCB风格的离群点检测算法,并推导出其样本复杂度的上限。我们还证明了匹配,对数因子,最坏情况下的问题的下限,表明我们的上限一般是不可改进的。实验结果表明,我们的算法都是强大的和约$5$ x样本效率相比,国家的最先进的。
2020-09-21 cs.LG stat.ML
Outlier-Robust Group Inference via Gradient Space Clustering
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
传统的机器学习模型专注于在整体训练分布上实现良好的性能,但它们在少数群体上往往表现不佳。现有的方法可以提高最差组的性能,但它们可能有几个限制:(i)它们需要组注释,这通常是昂贵的,有时不可行的获得,和/或(ii)它们是敏感的离群值。大多数相关的作品未能同时解决这两个问题,因为他们专注于少数群体和离群者的相互冲突的观点。我们解决的问题,学习组注释中存在的离群值的模型参数的梯度空间中的数据进行聚类。我们表明,梯度空间中的数据具有更简单的结构,同时保留了少数群体和离群点的信息,使其适用于标准的聚类方法,如DBSCAN。大量的实验表明,我们的方法显着优于国家的最先进的组识别和下游最坏的组性能。
2022-10-13 cs.LG
Robust Time Series Dissimilarity Measure for Outlier Detection and Periodicity Detection
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
动态时间规整(DTW)是一种有效的时间序列相异性度量方法。尽管它很受欢迎,但它容易受到噪声和离群值的影响,这导致了测量中的奇异性问题和偏差。DTW的时间复杂度是时间序列长度的二次函数,这使得它不适用于实时应用。在本文中,我们提出了一种新的时间序列的相异性度量命名为RobustDTW,以减少噪声和离群值的影响。具体来说,RobustDTW估计的趋势,并优化时间扭曲的交替方式,利用我们设计的时间图趋势过滤。为了提高效率,我们提出了一个多层次的框架,估计的趋势和扭曲函数在较低的分辨率,然后反复完善他们在一个更高的分辨率。在RobustDTW算法的基础上,进一步将其扩展到周期性检测和异常时间序列检测。在真实数据集上的实验表明,与DTW变体相比,RobustDTW在离群时间序列检测和周期性检测方面具有优异的性能。
2022-06-07 cs.LG eess.SP stat.AP
Median of Forests for Robust Density Estimation
University of Twente(特温特大学)
本文提出了一种名为MFRDE的集成学习算法,通过在子采样数据集上对森林密度估计器执行逐点中位数操作,有效抵抗局部和非局部异常值,实现比现有基于核的鲁棒方法更高的估计准确性和收敛速率,并成功应用于异常检测。
2025-01-25 cs.LG stat.ML
A Bias Trick for Centered Robust Principal Component Analysis
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
基于离群值的鲁棒主成分分析(RPCA)需要对非离群值进行中心化。我们展示了一个“偏差技巧”,自动将这些非离群值集中起来。使用这种偏置技巧,我们获得了第一个RPCA算法,这是最佳的中心。
2019-11-19 cs.LG stat.ML
Robust Low-Complexity Randomized Methods for Locating Outliers in Large Matrices
本文探讨了在一个大的,否则低秩矩阵,在设置{}{数据}是嘈杂的,或在整个矩阵有缺失的元素定位离群列的问题。我们提出了一个随机的两步推理框架,并建立所需的样本复杂性的充分条件下,这些方法成功地(以高概率)在准确定位离群值为每个任务。最后通过数值实验验证了算法的有效性。
2016-12-07 cs.IT cs.LG math.IT
Component-wise Adaptive Trimming For Robust Mixture Regression
Purdue University(普渡大学);Indiana University(印第安纳大学);Indiana University School of Medicine(印第安纳大学医学院)
混合回归模型的参数估计采用期望最大化(EM)算法,对异常值非常敏感。在这里,我们提出了一种快速,高效的鲁棒混合回归算法,称为逐行自适应修剪(CAT)方法。我们考虑同时离群检测和鲁棒参数估计,以尽量减少离群污染的影响。稳健混合回归具有许多重要的应用,包括人类癌症基因组学数据,其中群体通常显示出由不必要的技术扰动增加的强烈异质性。现有的稳健混合回归方法要么在存在离群值的情况下进行参数估计,要么依赖于离群值污染水平的先验知识,因此受到离群值的影响。CAT是在分类期望最大化的框架内实施的,在此框架下,可以得出离群值的自然定义。它实现了一个最小的修剪平方(LTS)的方法在每个排他性的混合成分,其中的鲁棒性问题可以从混合的情况下,简单的线性回归的情况下。LTS方法的高击穿点允许我们避免预先指定微调参数。与现有的多种算法相比,CAT是最有竞争力的一个,可以处理和自适应修剪离群值以及重尾噪声,在不同的场景下的模拟数据和真实的基因组数据。CAT已在CRAN中可用的R包“RobMixReg”中实现。
2021-04-19 cs.LG stat.ME
Robust Outlier Detection and Low-Latency Concept Drift Adaptation for Data Stream Regression: A Dual-Channel Architecture
School of Mathematical Sciences(数学科学学院);School of Future Science and Engineering(未来科学与工程学院)
本文提出了一种双通道架构,用于数据流回归中的鲁棒异常检测和低延迟概念漂移适应,通过EWMAD-DT检测器实现对突发和渐进漂移的区分。
2025-12-13 cs.LG stat.ME
Distribution Density, Tails, and Outliers in Machine Learning: Metrics and Applications
Google Research(谷歌研究院)
我们开发了一些技术来量化给定(训练或测试)示例在底层分布中的离群值。我们评估了五种方法来对数据集中的示例进行评分,这些方法是通过示例的代表性来衡量的,对于“代表性”的不同合理定义,并将其应用于四个常见的数据集:MNIST,Fashion-MNIST,CIFAR-10和ImageNet。尽管是独立的方法,我们发现所有五个是高度相关的,这表明,良好的代表性的概念可以量化。在其他用途中,我们发现这些方法可以组合起来识别(a)原型示例(符合人类期望);(b)记忆的训练样本;以及(c)数据集的不常见子模式。此外,我们展示了如何利用我们的指标来确定课程学习的改进排序,并影响对抗鲁棒性。我们在我们研究的训练集和测试集上发布所有度量值。
2019-10-29 cs.LG stat.ML
Robust Hierarchical-Optimization RLS Against Sparse Outliers
University at Buffalo, The State University of New York(纽约州立大学布法罗分校)
本文对最近提出的分层优化递归最小二乘(HO-RLS)方法进行了改进,以防止异常值污染线性回归模型。离群值被建模为滋扰变量,并通过稀疏诱导(非)凸正则化最小二乘任务与线性滤波器/系统变量一起估计。建议的离群鲁棒HO-RLS建立在具有恒定步长的最速下降方向上(学习率),不需要矩阵求逆(引理),适应已知相关矩阵的有色标称噪声,表现出小的计算足迹,并且在概率意义上为系统估计收敛到分层优化问题的解提供理论保证:在经典系综LS损失的最小化器上最小化凸损失,该凸损失模拟关于未知系统的先验知识。在静态和非静态的情况下,综合生成的数据进行了广泛的数值测试,展示了显着的改进,所提出的计划在国家的最先进的技术。
2019-10-11 cs.LG stat.ML
Outlier-Robust Optimal Transport: Duality, Structure, and Statistical Analysis
Cornell University(康奈尔大学);Columbia University(哥伦比亚大学)
瓦瑟斯坦距离源于最优传输(OT)理论,是概率分布之间的流行差异度量,具有统计学和机器学习的各种应用。尽管其丰富的结构和证明的效用,瓦瑟斯坦距离是敏感的离群值在所考虑的分布,这阻碍了在实践中的适用性。我们提出了一个新的离群鲁棒瓦瑟斯坦距离$\mathsf{W}_p^\varepsilon$,它允许从每个污染分布中删除$\varepsilon$离群质量。在标准的矩假设下,$\mathsf{W}_p^\varepsilon$下的Huber $\varepsilon$污染模型实现强大的稳健估计保证。我们制定的这个强大的距离相当于一个高度定期的优化问题,使自己更好地分析相比,以前考虑的框架。利用这一点,我们进行了彻底的理论研究$\mathsf{W}_p^\varepsilon$,包括鲁棒性保证,表征最佳扰动,规律性,对偶性,和统计估计。特别是,通过解耦的优化变量,我们到达一个简单的双重形式的$\mathsf{W}_p^\varepsilon$,可以通过一个基本的修改标准,基于对偶的OT求解器。我们说明了我们的框架的优点,通过应用程序生成建模与污染的数据集。
2023-02-28 cs.LG stat.ML
Probabilistic Robust Autoencoders for Outlier Detection
Bar-Ilan University(巴伊兰大学);Yale University(耶鲁大学)
异常(或离群值)在真实世界的经验观测中很普遍,可能掩盖重要的基础结构。异常样本的准确识别对于下游数据分析任务的成功至关重要。为了自动识别异常,我们提出了概率鲁棒自动编码器(PRAE)。PRAE旨在同时去除离群值并识别内点样本的低维表示。首先,我们提出了鲁棒自动编码器(RAE)的目标作为一个最小化的问题,分裂成内点和离群数据。我们的目标是排除离群值,同时包括可以使用AutoEncoder(AE)有效重建的样本子集(内点)。RAE最大限度地减少自动编码器的重建误差,同时纳入尽可能多的样本。这可以经由正则化通过从重构项中减去对所选样本的数量进行计数的$\ell_0$范数来公式化。不幸的是,这导致了一个棘手的组合问题。因此,我们提出了两个概率松弛的RAE,这是可微的,并减轻了组合搜索的需要。我们证明了PRAE问题的解与RAE问题的解是等价的。我们使用合成数据表明,PRAE可以准确地删除在很大范围内的污染水平的离群值。最后,我们证明,使用PRAE异常检测导致国家的最先进的结果在各种基准数据集。
2022-08-24 cs.LG stat.ML
Robust Subspace Recovery with Adversarial Outliers
研究了存在对抗性离群点时的鲁棒子空间恢复问题。也就是说,我们寻找一个包含大部分数据集的子空间,当一些数据点被任意损坏时。我们首先研究了一个理论估计,是难以计算和使用它来获得信息理论界的确切恢复。然后,我们提出了两个易于处理的估计:RANSAC的一个变种和一个简单的放松的理论估计。这两个估计是快速计算和实现最先进的理论性能在一个无噪声RSR设置对抗离群值。前者估计量在无噪声情况下实现了更好的理论保证,而后者估计量对小噪声具有鲁棒性,并且其保证显著改善了离群值的非对抗性模型。我们给出了对抗RSR问题的保证的完整比较,以及对仿射子空间估计的简短讨论。
2019-04-05 cs.LG math.OC stat.ML
Machine Learning for Complex Systems with Abnormal Pattern by Exception Maximization Outlier Detection Method
HUST(华中科技大学)
本文提出了一种基于双状态高斯混合模型的快速在线异常最大化离群点检测方法(EMODM),通过处理实时原始数据检测复杂系统中的异常模式,在合成数据、电路短路检测和美国失业数据中验证了其有效性与准确性。
2024-07-05 cs.LG stat.ML
Robust and Fully-Dynamic Coreset for Continuous-and-Bounded Learning (With Outliers) Problems
University of Science and Technology of China(中国科学技术大学);ByteDance AI Lab(字节跳动人工智能实验室)
在许多机器学习任务中,处理大规模数据的常见方法是构建小摘要,{ \em e.g.} coreset,它可以有效地表示原始输入。然而,现实世界的数据集通常包含离群值,并且大多数现有的coreset构造方法对离群值没有弹性(特别是,离群值可以由对抗性攻击者在空间中任意定位)。在本文中,我们提出了一种新的鲁棒coreset方法,用于{ \em continuous-and-bounded learning}问题(具有离群值),其中包括机器学习中广泛的流行优化目标,{ \em e.g.}逻辑回归和$ k $ -均值聚类。此外,我们的鲁棒coreset可以有效地保持在全动态环境中。据我们所知,这是第一个强大的和完全动态的coreset建设方法,这些优化问题。另一个亮点是,我们的核心集大小可以取决于参数空间的双倍维数,而不是目标函数的VC维数,这可能非常大,甚至难以计算。最后,我们在真实世界的数据集上进行实验,以评估我们提出的鲁棒coreset方法的有效性。
2022-01-21 cs.DS cs.LG stat.ML
Sublinear Time Algorithms for Several Geometric Optimization (With Outliers) Problems In Machine Learning
University of Science and Technology of China(中国科学技术大学)
本文研究了机器学习中几个重要的几何优化问题。首先,我们重新审视欧氏空间$\mathbb{R}^d$中的最小包围球(MEB)问题。这个问题以前已经被广泛研究过,但是现实世界的机器学习任务通常需要处理大规模的数据集,以至于我们甚至负担不起线性时间算法。受最近关于{ \em beyond the worst case analysis}的研究的启发,我们引入了MEB稳定性的概念,这是自然的,易于理解的。粗略地说,MEB的实例是稳定的,如果结果球的半径不能通过移除一小部分输入点来显著减小。在稳定性假设下,我们提出了两种计算半径近似MEB的采样算法,其采样复杂度与输入点的数目无关$n$。特别地,第二算法具有甚至独立于维度$d$的样本复杂度。我们还考虑了没有稳定性假设的一般情况。我们提出了一种混合算法,可以输出半径近似MEB或覆盖近似MEB。我们的算法改善了以前的次线性MEB算法的运行时间和通过次数。我们的方法依赖于两个新的技术,均匀自适应采样方法和三明治引理。此外,我们观察到,这两种技术可以推广到设计次线性时间算法的更广泛的几何优化问题的离群值在高维,包括MEB离群值,一类和二类线性支持向量机离群值,$k$中心聚类离群值,和平坦拟合离群值。我们提出的算法也适用于内核。
2023-01-07 cs.CG cs.DS cs.LG
Outlier Detection in Plantar Pressure: Human-Centered Comparison of Statistical Parametric Mapping and Explainable Machine Learning
University of Kaiserslautern-Landau (RPTU)(凯泽斯劳滕-兰道工业大学);DIERS International GmbH(DIERS国际有限公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
研究面向足底压力数据质量控制,比较SPM与SHAP解释的CNN异常值检测方法,证明可解释ML性能更优且二者具有互补价值。
2025-09-29 cs.AI cs.LG
Outlier Robust Extreme Learning Machine for Multi-Target Regression
Federal University of Espírito Santo(圣埃斯皮里图联邦大学)
基于极限学习机(ELM)的算法在过去几年中越来越流行,它可以用于训练单层前馈神经网络(SLFN)。它们已成功应用于广泛的分类和回归任务。最常用的方法是基于最小化误差的$\ell_2$范数的方法,这不适合处理离群值,特别是在回归任务中。在离群鲁棒ELM(OR-ELM)中,提出了$\ell_1$范数的使用,定义为一维输出。本文利用误差$\ell_{2,1}$范数和弹性网络理论,将OR-ELM推广到多目标回归问题,得到一个更稀疏的网络,从而得到我们的方法--广义离群鲁棒ELM(Generalized Outlier Robust ELM,简称OR-ELM)。我们使用交替方向乘法(ADMM)来解决由此产生的优化问题。还提出了一个增量版本的EST-ELM。我们选择了15个公开的真实世界多目标回归数据集来测试我们的方法。我们进行的实验表明,它们在统计学上优于其他基于ELM的技术,当考虑数据污染离群值,并相当于他们,否则。
2019-07-16 cs.LG stat.ML
Outlier-Robust High-Dimensional Sparse Estimation via Iterative Filtering
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);UT Austin(德克萨斯大学奥斯汀分校);University of California, San Diego(加利福尼亚大学圣迭戈分校);Web3 Foundation(Web3基金会)
我们研究高维稀疏估计任务中的一个强大的设置,其中一个恒定的分数的数据集是adversarially损坏。具体而言,我们专注于鲁棒稀疏均值估计和鲁棒稀疏PCA的基本问题。我们给出了这些问题的第一个实际可行的鲁棒估计。更详细地说,我们的算法是样本和计算效率,并实现接近最佳的鲁棒性保证。与以前的可证明算法依赖于椭球方法相比,我们的算法使用谱技术来迭代地从数据集中删除离群值。我们对合成数据的实验评估表明,我们的算法是可扩展的,并显着优于以前的方法,几乎匹配的最佳出错率没有腐败。
2019-11-19 cs.DS cs.LG stat.ML
Outlier Robust Mean Estimation with Subgaussian Rates via Stability
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文研究了有限协方差假设下高维均值的离群稳健估计问题,并在更广泛的意义上研究了有限低阶矩假设下的高维均值估计问题。我们考虑了一个标准的稳定性条件,从最近的鲁棒统计文献,并证明,除了指数小的故障概率,存在一个大部分的内点满足这个条件。作为一个推论,它遵循的是一些最近开发的鲁棒均值估计算法,包括迭代滤波和非凸梯度下降,给出最佳误差估计(近)亚高斯率。以前的分析,这些算法给出了显着次优率。作为推论,我们的方法,我们得到了第一个计算效率的算法与次高斯率的离群稳健的均值估计在强污染模型下的有限协方差假设。
2021-03-16 cs.DS cs.LG math.ST
$γ$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
近似贝叶斯计算(ABC)是一种无似然性的推理方法,已在各种应用中采用。然而,如果数据差异度量选择不当,ABC可能对离群值敏感。在本文中,我们建议使用最近邻为基础的$γ$ -分歧估计作为数据差异的措施。我们表明,我们的估计具有一个合适的理论鲁棒性的属性称为降序属性。此外,我们的估计享有各种理想的属性,如高灵活性,渐近无偏性,几乎必然收敛,线性时间的计算复杂度。通过实验,我们证明了我们的方法实现了显着更高的鲁棒性比现有的差异措施。
2021-03-05 cs.LG stat.CO stat.ME
Practical Bayesian optimization in the presence of outliers
Centro Universitario De La Defensa(国防大学中心);SigOpt
异常值存在时的推理是一个重要的研究领域,因为异常值是普遍存在的,并且可能在各种问题和领域中出现。贝叶斯优化是一种严重依赖概率推理的方法。这允许出色的样本效率,因为概率机制提供了整个优化过程的记忆。然而,当记忆中充满离群值时,这种优点就变成了缺点,从而导致估计中的偏差。在本文中,我们提出了一个经验评估贝叶斯优化方法中存在的离群值。经验证据表明,稳健回归贝叶斯优化往往产生次优结果。然后,我们提出了一个新的算法,结合强大的回归(高斯过程与学生t似然)与离群值诊断分类数据点作为离群值或内点。通过使用调度器对离群值进行分类,我们的方法比标准的鲁棒回归更有效,并且具有更好的收敛性。此外,我们表明,即使在没有预期离群值的受控情况下,我们的方法也能够产生更好的结果。
2017-12-12 cs.LG stat.ML
PyODDS: An End-to-End Outlier Detection System
Texas A&M University(德州农工大学)
PyODDS是一个端到端的Python系统,用于数据库支持的离群值检测。PyODDS提供离群点检测算法,满足不同领域用户的需求,w/wo数据科学或机器学习背景。PyODDS提供了在数据库中执行机器学习算法的能力,而无需将数据移出数据库服务器或通过网络。它还提供了广泛的离群值检测算法,包括统计分析和最近的基于深度学习的方法。PyODDS是在MIT开源许可下发布的,目前可在(https://github.com/datamllab/pyodds)获得,官方文档在(https://pyodds.github.io/)。
2019-10-11 cs.DB cs.LG stat.ML
ProxRouter: Proximity-Weighted LLM Query Routing for Improved Robustness to Outliers
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软公司)
针对非参数化LLM查询路由器对异常值泛化能力差的问题,提出ProxRouter,通过指数倾斜聚合机制平衡偏差与方差,在最小开销下显著提升异常值路由鲁棒性并保持内点性能。
2025-10-10 cs.AI cs.LG
Outlier-Robust Spatial Perception: Hardness, General-Purpose Algorithms, and Guarantees
Massachusetts Institute of Technology(麻省理工学院)
本文研究了空域感知中异常数据的影响,提出了一种通用算法来有效去除异常,并提供了对算法性能的理论保证。
2019-07-29 cs.CV cs.LG cs.RO