Linear-time Outlier Detection via Sensitivity
ETH Zurich（苏黎世联邦理工学院）
离群值在现代数据集中无处不在。基于距离的技术是一种流行的非参数离群值检测方法，因为它们不需要对数据生成分布进行先验假设，并且易于实现。将这些技术扩展到大规模数据集而不牺牲准确性是一项具有挑战性的任务。我们提出了一种新的算法的基础上的直觉，离群值有显着的影响质量的分歧为基础的聚类解决方案。我们提出了敏感性-最坏情况下的数据点的聚类目标的影响-作为离群值的度量。然后，我们证明了影响，（非平凡的）上界的灵敏度，可以通过一个简单的线性时间算法计算。为了扩展到单个机器之外，我们提出了一种通信高效的分布式算法。在广泛的实验评估中，我们证明了所提出的方法的有效性，并建立统计意义。特别是，它优于最流行的基于距离的方法，同时快了几个数量级。
2016-05-02 cs.LG stat.ML
A boosted outlier detection method based on the spectrum of the Laplacian matrix of a graph
提出了一种基于图的拉普拉斯矩阵谱的离群点检测算法。与基于稀疏数据的学习器一起利用boosting。Laplacian矩阵的稀疏性显著降低了计算负担，使得基于谱的离群点检测方法能够应用于与谱聚类相比更大的数据集。该方法在合成数据集上与常用的孤立森林和局部离群因子等离群点检测算法具有竞争力。
2020-08-10 cs.LG stat.ML
Outlier Detection with Cluster Catch Digraphs
Auburn University（奥本大学）
针对高维、聚类形状多变导致传统异常值检测性能下降的问题，提出四类基于聚类捕获有向图的新型算法，经模拟与真实数据集验证，在准确性、适应性上有显著提升。
2024-10-09 cs.LG stat.ML
Outlier Detection by Consistent Data Selection Method
eBay Inc（eBay公司）
通常，与欺诈和垃圾邮件检测等任务相关的挑战[1]是缺乏训练合适的监督学习模型所需的所有可能模式。为了克服这种限制，尝试将这样的任务作为离群值或异常检测任务。我们还假设离群者的行为模式会随着时间的推移而改变。有限的数据和不断变化的模式使学习变得非常困难。在这项工作中，我们提出了一种方法，通过依赖于一致的数据点来检测大型数据集中的离群值。这项工作的主要贡献是，它将快速帮助检索一致和非离群数据集的样本，并注意到新的离群模式。提取样本不需要每个集合的先验知识。该方法分为两个阶段，第一阶段采用无监督聚类技术的集成方法检索一致数据点（非离群点），第二阶段采用在一致数据点集上训练的一类分类器对剩余样本集进行离群点识别。该方法在三个公开的数据集上进行了测试，性能得分具有竞争力。
2018-08-21 cs.LG stat.ML
Automatic Outlier Rectification via Optimal Transport
Stanford University（斯坦福大学）
针对传统两阶段异常值检测未结合估计任务的局限，提出基于带凹代价函数的最优传输的联合优化自动校正框架，在多任务实验中验证了其优于传统方法的有效性。
2024-07-11 cs.LG math.OC stat.ME
Noisy Subspace Clustering via Thresholding
ETH Zurich（苏黎世联邦理工学院）
我们考虑的问题聚类噪声高维数据点到一个联盟的低维子空间和一组离群值。子空间的数量、维度和方向都是未知的。最近在[1]中引入的基于阈值的子空间聚类（TSC）算法的概率性能分析表明，TSC成功的噪声情况下，即使当子空间相交。我们的研究结果揭示了一个明确的权衡之间的允许的噪声水平和亲和力的子空间。我们还发现，简单的离群值检测方案介绍[1]证明成功的噪声情况下。
2013-07-18 cs.IT cs.LG math.IT
Robust fuzzy clustering with cellwise outliers
University of Milano-Bicocca（米兰比可卡大学）；University of Valladolid（巴利亚多利德大学）
本文提出一种鲁棒模糊聚类方法，通过处理单元异常值并控制聚类模糊度，提升聚类效果。
2026-04-24 stat.ME
Robust Clustering Using Outlier-Sparsity Regularization
University of Minnesota（明尼苏达大学）
尽管传统的聚类算法，如K-means和概率聚类的流行，他们的聚类结果是敏感的离群数据的存在。即使是一些离群值也会损害这些算法识别有意义的隐藏结构的能力，从而使其结果不可靠。本文提出了鲁棒的聚类算法，不仅旨在聚类的数据，但也确定离群值。新的方法依赖于罕见的离群值在数据中的存在，这转化为稀疏在一个明智的选择域。利用孤立点域的稀疏性，提出了孤立点感知的鲁棒K均值和概率聚类方法。他们的新颖之处在于识别离群值，同时通过精心选择的正则化在离群值域中实现稀疏性。一个块坐标下降的方法来获得迭代算法的收敛性保证和小的额外的计算复杂性相对于他们的非鲁棒同行。还开发了鲁棒聚类算法的内核化版本，以有效地处理高维数据，识别非线性可分离的聚类，甚至是未用向量表示的聚类对象。在人工和真实数据集上的数值试验验证了新算法的性能和适用性。
2011-04-22 cs.LG stat.ML
Robust artificial neural networks and outlier detection. Technical report
Deakin University（迪肯大学）；University of Ballarat（巴拉瑞特大学）
大的离群值会破坏线性和非线性回归模型。稳健的回归方法允许人们在构建模型时过滤掉离群值。通过用最小二乘准则代替传统的最小二乘准则，其中一半的数据被视为潜在的离群值，可以将精确的回归模型拟合到强污染数据。高崩溃方法在线性回归中已经非常成熟，但直到最近才开始应用于非线性回归。在这项工作中，我们研究了使用最小修剪平方标准将人工神经网络拟合到受污染数据的问题。我们引入了一个惩罚的最小修剪平方标准，防止不必要的删除有效数据。人工神经网络的训练导致具有挑战性的非光滑全局最优化问题。我们比较了几种无导数最优化方法在解决它的效率，并表明我们的方法正确识别异常值时，人工神经网络用于非线性回归。
2011-10-02 cs.CV cs.NA cs.NE
Cellwise outlier detection in heterogeneous populations
本文提出一种支持单元级异常值检测的高斯混合模型，通过带标记与插补步骤的 EM 算法保留异常行中的有效信息，并在模拟和三个真实数据集上验证其聚类、检测与插补效果。
2025-05-13 stat.ME
PCA leverage: outlier detection for high-dimensional functional magnetic resonance imaging data
高维数据的离群点检测是现代统计学研究中的一个热点问题。然而，HD数据的一个来源是功能性磁共振成像（fMRI），它由在数百个时间点采样的数十万个测量值组成。在功能磁共振成像数据的可用性迅速增长的时候-主要是通过大型的，公开的基层数据集-自动化的质量控制和离群值检测方法是非常需要的。我们提出PCA的杠杆作用，并演示了它如何可以用来识别离群的时间点，在功能磁共振成像运行。此外，PCA杠杆是每个观察对主成分估计的影响的度量，这通常是fMRI数据中感兴趣的。我们还提出了一种替代措施，PCA鲁棒距离，这是不敏感的离群值，并具有可控的统计特性。所提出的方法进行了验证，通过仿真研究，并被证明是高度准确的。我们还进行了一项可靠性研究，使用自闭症脑成像数据交换的静息状态功能磁共振成像数据，发现使用所提出的方法去除离群值的结果，在更可靠的估计主体级静息状态网络使用ICA。
2016-10-21 stat.ME
Scalable Clustering: Large Scale Unsupervised Learning of Gaussian Mixture Models with Outliers
Florida State University（佛罗里达州立大学）
本文提出一种基于损失最小化的鲁棒聚类算法，解决带异常值的高斯混合模型的大规模聚类问题，提供理论保证并可作为 k-means 初始化策略，在 ImageNet 等大规模数据集上表现优异。
2023-02-28 cs.LG stat.ML
funOCLUST: Clustering Functional Data with Outliers
Department of Mathematics & Statistics, Trent University, Ontario, Canada（数学与统计学系，特伦特大学，安大略省，加拿大）；Department of Mathematics & Statistics, McMaster University, Ontario, Canada（数学与统计学系，麦斯特大学，安大略省，加拿大）
针对函数数据聚类难题，提出扩展OCLUST算法到函数设置，利用该框架创建稳健方法聚类曲线并剔除离群值，经模拟和真实数据集评估，展现出在聚类及离群值识别方面的强大性能。
2026-07-14 cs.LG stat.ME stat.ML
Learning with Noisy Labels by Adaptive Gradient-Based Outlier Removal
University of Vienna（维也纳大学）
提出AGRA方法，通过在训练过程中比较批聚合梯度与单样本梯度动态决定样本去留，实现带噪标签学习，避免永久移除离群点导致的过滤问题。
2024-01-03 cs.AI cs.LG
Nonparametric framework for the definition, adaptive detection and probabilistic interpretation of outliers
Sapienza University of Rome（罗马大学）
本文提出一种基于伪隔离分数的非参数离群值检测框架，实现概率定义与几何分类，并集成到K-means中形成ODK-means，通过理论与实证验证其有效性。
2026-09-09 stat.CO stat.ME
ICS for complex data with application to outlier detection for density data
本文在抽象欧几里得空间中提出ICS的无坐标定义，将其扩展到函数型和分布型复杂数据，用于异常检测，并在低异常比例模拟及越南气温分布数据中验证了有效性。
2025-05-26 math.ST stat.ME stat.TH
Clustering Three-Way Data with Outliers
Department of Mathematics & Statistics, Trent University, Ontario, Canada（数学与统计学系，特伦特大学，安大略，加拿大）；Department of Mathematics & Statistics, McMaster University, Ontario, Canada（数学与统计学系，麦斯特大学，安大略，加拿大）
针对含离群值的矩阵变量正态数据，本文将OCLUST算法扩展至该类数据，利用子集对数似然分布，采用迭代方法检测并修剪离群值，实现聚类。
2026-09-03 cs.LG stat.ME stat.ML
Linear Programming based Approximation to Individually Fair k-Clustering with Outliers
Indian Institute of Technology, Gandhinagar（印度理工学院甘地纳格尔分校）
本文针对含离群点的k均值聚类，提出基于线性规划识别离群点并排除，再通过舍入算法计算中心，满足个体公平性约束，提供理论近似保证并实证验证。
2024-12-14 cs.DS cs.LG stat.ML
Clustering Degree-Corrected Stochastic Block Model with Outliers
Northwestern University（西北大学）；Cornell University（康奈尔大学）
对于度校正的随机块模型中存在的任意甚至对抗性离群点，我们开发了一个基于凸优化的聚类算法，其中包括一个惩罚项取决于一个节点的正偏差从预期的边缘数到其他内点。我们证明，在温和的条件下，这种方法实现了准确的恢复的基础集群。我们的合成实验表明，我们的算法在异构网络上表现良好，特别是那些具有Pareto度分布的网络，离群值具有广泛的可能度，可以增强其对抗能力。我们还表明，我们的方法允许恢复显着较低的出错率相比，现有的算法。
2019-06-07 cs.LG q-fin.ST stat.ML
Some issues in robust clustering
University of Bologna（博洛尼亚大学）
该研究聚焦基于高斯混合模型的鲁棒聚类，探讨了异常值定义、异常值与簇的模糊性、簇数估计交互、调参依赖及稳定性度量缺陷等关键问题。
2023-08-28 cs.LG stat.ME stat.ML
A Robust Spectral Clustering Algorithm for Sub-Gaussian Mixture Models with Outliers
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑的问题，聚类数据集的任意离群值的存在。传统的聚类算法，如k-means和谱聚类是已知的，即使是少量的离群值污染的数据集表现不佳。在本文中，我们开发了一个可证明的强大的谱聚类算法，适用于一个简单的舍入方案去噪的高斯核矩阵建立从数据点，并使用香草谱聚类恢复数据点的聚类标签。我们分析我们的算法的性能的假设下，“好”的数据点产生的混合物的亚高斯（我们称这些“内点”），而离群点可以来自任何任意的概率分布。对于这类一般的模型，我们表明，误分类误差衰减的信号噪声比的指数率，提供的离群点的数量是一个小部分的内点。令人惊讶的是，这个派生的错误界匹配的半定规划（SDP）在相同的设置下，没有离群值的最知名的界。我们在各种模拟和真实世界的数据集上进行了广泛的实验，以证明我们的算法与文献中提出的其他最先进的算法相比，对离群值不那么敏感。
2021-01-31 cs.LG math.ST stat.ML
Risk-optimized Outlier Removal for Robust 3D Point Cloud Classification
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Institute of High Performance Computing (IHPC), A*STAR（新加坡科技研究局高性能计算研究所）；Centre for Frontier AI Research (CFAR), A*STAR（新加坡科技研究局前沿人工智能研究中心）
针对3D点云分类中自然噪声与恶意后门攻击的挑战，提出利用下游分类模型与基于梯度的归因分析定义点风险，将离群点移除转化为优化问题PointCVaR，显著提升了分类鲁棒性。
2024-01-02 cs.CR cs.CV cs.LG
Semantic Outlier Removal with Embedding Models and LLMs
TripleLift
提出SORE方法，利用多语言句子嵌入和近似最近邻搜索，以低成本实现接近LLM的语义离群点移除精度，已在生产中处理多语言文档。
2025-06-19 cs.IR cs.LG
Deep Clustering based Fair Outlier Detection
Brandeis University（布兰迪斯大学）；Michtom School of Computer Science（米奇托姆计算机科学学院）
在本文中，我们专注于无监督离群点检测的公平性问题。传统的算法，没有一个具体的设计，算法公平性，可以隐含编码和传播数据中的统计偏差，并引起社会的关注。为了纠正这种不公平并提供一组公平的潜在离群点候选者，我们提出了基于深度聚类的公平离群点检测（DCFOD），它学习一个好的表示以实现效用最大化，同时强制可学习的表示在敏感属性上保持子群不变。考虑到聚类和离群点检测之间的耦合和互惠性质，我们利用深度聚类来发现内在的聚类结构和结构外实例。同时，对抗性训练擦除实例的敏感模式以进行公平性自适应。从技术上讲，我们提出了一种实例级加权表示学习策略来增强联合深度聚类和离群点检测，其中动态权重模块重新强调了可能的内点的贡献，同时减轻了离群点的负面影响。通过对8个数据集和17个离群点检测算法的实验表明，我们的DCFOD方法在离群点检测有效性和两种类型的公平性概念上都取得了优异的性能。
2021-06-09 cs.CY cs.LG
Integer Programming Relaxations for Integrated Clustering and Outlier Detection
University of Sydney（悉尼大学）
在本文中，我们提出了基于样本的聚类与离群点选择的基础上，设施位置制定的方法。给定距离函数和要找到的离群值的数量，该方法自动确定聚类和离群值的数量。我们制定的问题作为一个整数规划，我们目前放宽，允许解决方案，规模大的数据集。结合聚类和离群值选择的优点包括：（i）所得到的聚类往往是紧凑的和语义上一致的（ii）聚类对数据扰动更鲁棒，以及（iii）离群值被聚类上下文化并且更可解释，即，更容易区分作为数据误差的结果的离群值与可能指示在数据中出现的新模式的离群值。数据我们提出并对比了三种松弛的整数规划公式：（i）线性规划公式（LP）（ii）扩展的亲和传播离群值检测（APOC）和（iii）拉格朗日对偶的公式（LD）。对合成数据和真实数据的评估表明了这些不同方法的质量和可扩展性。
2014-03-06 cs.LG
The Effectiveness of Uniform Sampling for Center-Based Clustering with Outliers
University of Science and Technology of China（中国科学技术大学）
聚类在计算机科学中有许多重要的应用，但现实世界的数据集往往包含离群值。此外，离群值的存在会使聚类问题更具挑战性。为了降低复杂性，在过去的几年中，已经提出了各种采样方法。也就是说，我们从输入中取一个小样本（均匀或非均匀），并对该样本运行现有的近似算法。与现有的非均匀采样方法相比，均匀采样方法具有几个显著的优点。例如，它只需要在一次通过中读取数据，并且在实践中非常容易实现。因此，均匀抽样在孤立点聚类中的有效性是一个自然的和基本的问题，值得在理论和实践中研究。本文提出了一个新的统一的框架来分析均匀抽样对三种典型的基于中心的离群点聚类问题的有效性，即$k$ -中心/中值/均值离群点聚类。我们引入了一个“显著性”准则，并证明了均匀采样的性能取决于给定实例的显著程度。特别是，我们表明，样本大小可以是独立的比例$n/z$和维数。更重要的是，据我们所知，我们的方法是第一个统一的采样方法，允许丢弃正是$z$离群值为这三个基于中心的聚类离群值的问题。本文的结果也可以看作是以前的次线性时间算法的普通聚类问题（无离群点）的推广。实验结果表明，均匀采样方法可以达到与其他现有方法相当的聚类结果，但大大减少了运行时间。
2020-05-01 cs.DS cs.LG
Outlier-Robust Group Inference via Gradient Space Clustering
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
传统的机器学习模型专注于在整体训练分布上实现良好的性能，但它们在少数群体上往往表现不佳。现有的方法可以提高最差组的性能，但它们可能有几个限制：（i）它们需要组注释，这通常是昂贵的，有时不可行的获得，和/或（ii）它们是敏感的离群值。大多数相关的作品未能同时解决这两个问题，因为他们专注于少数群体和离群者的相互冲突的观点。我们解决的问题，学习组注释中存在的离群值的模型参数的梯度空间中的数据进行聚类。我们表明，梯度空间中的数据具有更简单的结构，同时保留了少数群体和离群点的信息，使其适用于标准的聚类方法，如DBSCAN。大量的实验表明，我们的方法显着优于国家的最先进的组识别和下游最坏的组性能。
2022-10-13 cs.LG
SSDBCODI: Semi-Supervised Density-Based Clustering with Outliers Detection Integrated
DePaul University（德保罗大学）；College of Computing and Digital Media, DePaul University（德保罗大学计算与数字媒体学院）
聚类分析是机器学习的关键任务之一。传统上，聚类是一项独立的任务，与离群值检测分离。由于离群点会严重影响聚类的性能，因此有少数算法尝试在聚类过程中加入离群点检测。然而，这些算法中的大多数都是基于无监督的基于分区的算法，如k-means。鉴于这些算法的性质，它们通常无法处理复杂的非凸形状的集群。为了应对这一挑战，我们提出了SSDBCODI，一种基于密度的半监督算法。SSDBCODI结合了基于密度的算法的优势，能够处理复杂形状的聚类，具有半监督元素，可以根据一些用户标签灵活地调整聚类结果。我们还将离群值检测组件与聚类过程合并。基于在该过程期间生成的三个分数来检测潜在的离群值：（1）可达性分数，其测量点到标记的正常对象的密度可达性，（2）局部密度分数，其测量数据对象的相邻密度，以及（3）相似性分数，其测量点到其最近的标记离群值的接近度。然后在接下来的步骤中，在用于训练分类器以进行进一步聚类和离群值检测之前，基于这三个分数为每个数据实例生成实例权重。为了增强对所提出算法的理解，为了进行评估，我们在多个数据集上对一些最先进的方法运行了我们提出的算法，并分别列出了聚类之外的离群值检测结果。我们的研究结果表明，我们的算法可以实现优越的结果与一个小的标签百分比。
2022-08-10 cs.AI cs.LG
DelTriC: A Novel Clustering Method with Accurate Outlier
Kempelen Institute of Intelligent Technologies（凯姆佩伦智能技术研究所）
DelTriC通过结合Delaunay三角剖分和反向投影机制，实现高维空间中的高效聚类与异常检测。
2025-11-21 cs.LG
Genie: A new, fast, and outlier-resistant hierarchical clustering algorithm
Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）；Faculty of Mathematics and Information Science, Warsaw University of Technology（华沙理工大学数学与信息科学学院）；Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
应用层次聚类算法所需的时间通常由成对相异性度量的计算次数决定。对于较大的数据集，这样的约束使除了单一联系标准之外的所有经典联系标准的使用处于不利地位。然而，已知的是，单链接聚类算法对离群值非常敏感，产生高度偏斜的树状图，因此通常不反映真实的底层数据结构--除非聚类被很好地分离。为了克服它的局限性，我们提出了一个新的层次聚类链接标准称为精灵。也就是说，我们的算法以这样一种方式链接两个集群，即选择的经济不公平度量（例如，集群大小的基尼或邦弗朗尼指数）不会急剧增加到给定阈值以上。所提出的基准测试表明，所介绍的方法具有很高的实用性：它往往优于沃德或平均链接的聚类质量，同时保持单一的链接的速度。Genie算法很容易并行化，因此可以在多个线程上运行，以进一步加快其执行速度。它的内存开销很小：不需要预先计算完整的距离矩阵来执行计算以获得期望的聚类。它可以应用于配备有相异性度量的任意空间，例如，该算法的参考实现已包含在R的开源'genie'包中。另请参阅https://genieclust.gagolewski.com以获得新的实现（genieclust）-可用于R和Python。
2022-09-13 cs.LG stat.ML
Outlier Detection using Improved Genetic K-means
Assiut University（艾斯尤特大学）
在某些情况下，离群点检测问题类似于分类问题。例如，基于聚类的离群点检测算法的主要关注点是找到聚类和离群点，这些聚类和离群点通常被视为噪声，为了进行更可靠的聚类，应该将其去除。在这篇文章中，我们提出了一个算法，同时提供离群点检测和数据聚类。该算法在聚类和孤立点发现过程中改进了生成分布的质心估计。该算法由两个阶段组成。第一阶段采用改进的遗传k-means算法（IGK），第二阶段迭代去除远离聚类中心的向量。
2014-02-27 cs.DB cs.LG
Evolution of $K$-means solution landscapes with the addition of dataset outliers and a robust clustering comparison measure for their analysis
Yusuf Hamied Department of Chemistry（优素福·哈米德化学系）；IBM Research Europe（IBM欧洲研究院）
本文利用能量景观方法研究了数据集离群点增加对 $K$-means 解空间的影响，发现代价函数曲面更漏斗化且局部浅层区域增多，并提出了一种基于动力学速率的鲁棒聚类相似性度量。
2023-06-25 cs.LG
Simple KNN-Based Outlier Detection Achieves Robust Clustering
Duke University（杜克大学）
本文证明在合理假设下，简单移除KNN距离大的点可将稳健k均值转化为标准k均值，且在聚类成本和运行时间上优于其他算法。
2026-05-08 cs.DS cs.LG
Fast and Low-Cost Genomic Foundation Models via Outlier Removal
Northwestern University（西北大学）；Tianjin University（天津大学）；Vernon Hills High School（弗农希尔斯高中）
本文提出GERM模型，通过去除异常值提升基因组模型的压缩性能和适应速度，有效提高效率和鲁棒性，并在实验中验证了其在微调和量化方面的优越表现。
2025-05-02 cs.AI cs.LG
A Pragmatic Method for Comparing Clusterings with Overlaps and Outliers
Department of Mathematics, Toronto Metropolitan University（多伦多 Metropolitan 大学数学系）；Tutte Institute for Mathematics and Computing（图图数学与计算研究所）
本文提出一种实用的相似性度量方法，用于比较包含重叠和异常值的聚类，证明其具有 desirable 属性，并通过实验验证其不受其他聚类比较度量的常见偏差影响。
2026-03-20 cs.LG cs.SI math.CO
Greedy Strategy Works for $k$-Center Clustering with Outliers and Coreset Construction
University of Science and Technology of China（中国科学技术大学）
本文研究了任意度量和欧氏空间中带离群点的$k$ -中心聚类问题。虽然在过去的几十年里，已经开发了许多方法，它仍然是相当具有挑战性的设计质量保证的算法，低复杂度的问题。我们的想法是启发贪婪的方法，冈萨雷斯的算法，解决普通的$k$中心聚类问题。基于一些新的观察，我们表明，这种贪婪的策略实际上可以有效地处理$k$中心聚类离群值，在聚类质量和时间复杂度。我们进一步表明，贪婪的方法产生小coreset的问题，在两倍的度量，从而降低时间复杂度显着。我们的算法很容易在实践中实现。我们在合成和真实数据集上测试了我们的方法。实验结果表明，我们的算法可以获得接近最优的解决方案，并产生较低的运行时间相比，现有的方法。
2019-04-28 cs.CG cs.LG
Incident duration prediction using a bi-level machine learning framework with outlier removal and intra-extra joint optimisation
University of Technology Sydney（悉尼科技大学）
由于事件的随机性，预测交通事件的持续时间是一项具有挑战性的任务。准确预测事故将持续多长时间的能力可以为最终用户的路线选择和交通运营管理人员在处理非经常性交通拥堵方面提供显着的好处。本文提出了一种新的双层机器学习框架，该框架增强了离群点去除和内外联合优化，用于预测来自澳大利亚悉尼和美国旧金山的三个异构数据集的事件持续时间。首先，我们使用事件数据日志开发了一种二元分类预测方法，这使我们能够将交通事故分为短期或长期。我们找到了短期与长期交通事件持续时间之间的最佳阈值，目标是类平衡和预测性能，同时还比较了二进制与多类分类方法。其次，为了将事件持续时间预测的粒度提高到分钟级别，我们提出了一种新的内部-外部联合优化算法（IEO-ML），该算法扩展了多个基线ML模型，并在数据集上对多个回归场景进行了测试。最终结果表明：a）40-45分钟是识别短期与长期事件的最佳分割阈值，这些事件应单独建模，b）我们提出的IEO-ML方法在所有情况下的$66\%$中显着优于基线ML模型，展示了其在准确事件持续时间预测方面的巨大潜力。最后，我们评估了特征的重要性，并显示时间，位置，事件类型，事件报告源和天气在前10个关键因素，影响事件将持续多久。
2022-05-18 cs.LG
Semi-supervised Contrastive Outlier removal for Pseudo Expectation Maximization (SCOPE)
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of Miami（迈阿密大学）
本文提出 SCOPE 方法，通过在伪标签 EM 迭代中引入离群点抑制与对比剪除机制，减少混淆错误，显著提升半监督分类准确率，并在 CIFAR-10 上取得最优结果。
2023-10-27 cs.AI cs.LG
Cluster Purging: Efficient Outlier Detection based on Rate-Distortion Theory
Know Center GmbH（Know Center股份有限公司）；Graz University of Technology（格拉茨理工大学）
基于率失真理论的离群值检测建立在良好的数据压缩将用唯一符号编码离群值的基本原理上。基于这个基本原理，我们提出了聚类清除，这是一个基于聚类的离群点检测的扩展。这种扩展允许人们评估聚类的代表性，并找到最好由单个独特聚类表示的数据。我们提出了两个有效的算法进行集群清除，一个是无参数，而另一个算法有一个参数，控制代表性估计，允许它在监督设置进行调整。在实验评估中，我们表明，聚类清除提高了从原始聚类中检测到的离群值，并且聚类清除与最先进的替代品竞争激烈。
2023-02-22 cs.LG
Randomized Greedy Algorithms and Composable Coreset for k-Center Clustering with Outliers
University of Science and Technology of China（中国科学技术大学）
本文研究了具有孤立点的{ \em $k$ -中心聚类}问题。该问题在现实世界中有许多重要的应用，但离群值的存在会显著增加计算复杂性。虽然在过去的几十年里，已经开发了许多方法，它仍然是相当具有挑战性的设计质量保证的算法，低复杂度的问题。我们的想法是启发贪婪的方法，冈萨雷斯的算法，这是解决普通的$k$中心聚类问题。基于一些新的观察，我们表明，这种贪婪策略的一个简单的随机版本实际上可以有效地处理离群值。我们进一步表明，这种随机贪婪的方法也产生小coreset的问题，在加倍度量（即使加倍维数是不给），这可以大大降低计算复杂性。此外，与arXiv：1703.01539中提出的部分聚类框架一起，我们证明了我们的coreset方法可以应用于具有低通信复杂性的分布式数据。实验结果表明，我们的算法可以获得接近最优的解决方案，并产生较低的复杂度相比，现有的方法。
2023-01-07 cs.DS cs.LG
ECORS: An Ensembled Clustering Approach to Eradicate The Local And Global Outlier In Collaborative Filtering Recommender System
University of Minnesota Twin Cities（明尼苏达大学双子城分校）
本文提出ECORS方法，通过集成多种聚类算法并构建用户-用户矩阵，同时检测局部与全局异常值，从而显著提升协同过滤推荐系统中异常值检测的准确性。
2024-10-01 cs.HC cs.IR cs.LG
A flexible EM-like clustering algorithm for noisy data
Laboratoire des Signaux et Systèmes (L2S)（信号与系统实验室）；CentraleSupélec-CNRS-Université Paris-Sud（巴黎中央理工-高等电力学院-法国国家科学研究中心-巴黎第十一大学）；Université Paris-Saclay（巴黎萨克雷大学）；Instituto de Cálculo（计算研究所）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）；IMAS-CONICET（阿根廷国家科学技术研究委员会数学应用研究所）
虽然EM for GMM算法非常流行，但众所周知，EM for GMM算法具有非高斯分布形状，离群值和高维性。在本文中，我们设计了一个新的强大的聚类算法，可以有效地处理不同的数据集的噪声和离群点。作为一种类EM算法，它同时基于聚类中心和协方差的估计。此外，使用半参数范例，该方法估计每个数据点的未知尺度参数。这使得算法能够适应较重的尾部分布和离群值，而不会在各种经典场景中显着降低效率。我们首先推导和分析所提出的算法的背景下，椭圆分布，特别是重要的不敏感性的基本数据分布。然后，我们研究的收敛性和精度的算法，考虑第一合成数据。然后，我们表明，该算法优于其他经典的无监督方法的文献，如k-均值，EM高斯混合模型及其最近的修改或谱聚类时，应用到真实的数据集MNIST，NORB，和20新闻组。
2020-10-05 cs.LG stat.ML
Self-Paced Multi-Task Clustering
University of Electronic Science and Technology of China（电子科技大学）
多任务聚类（MTC）由于能够利用不同任务之间的关系，在机器学习中受到了广泛的关注。尽管传统的MTC模型取得了成功，但它们要么容易陷入局部最优，要么对离群值和噪声数据敏感。为了缓解这些问题，我们提出了一种新的自定步调的多任务集群（SPMTC）的范例。具体地说，SPMTC逐步选择数据样本来训练一系列复杂度不断增加的MTC模型，从而大大降低了陷入局部最优的风险。此外，为了减少离群点和噪声数据的负面影响，我们设计了一个软版本的SPMTC，以进一步提高聚类性能。相应的SPMTC框架可以很容易地通过交替优化方法求解。该模型是保证收敛和实际数据集上的实验已经证明了其有前途的结果相比，国家的最先进的多任务聚类方法。
2018-08-24 cs.LG stat.ML
CodeQuant: Unified Clustering and Quantization for Enhanced Outlier Smoothing in Low-Precision Mixture-of-Experts
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Tandon School of Engineering, New York University（纽约大学坦登工程学院）；Cerebras Systems Inc.（Cerebras系统公司）
本文提出CodeQuant，通过可学习旋转平滑激活异常值并吸收权重异常值到细调的聚类中心，提升低精度混合专家模型的准确性与速度。
2026-08-18 cs.LG
Enhancement of Short Text Clustering by Iterative Classification
Dalhousie University（达尔豪西大学）
短文本聚类是一个具有挑战性的任务，由于缺乏信号包含在这样的短文本。在这项工作中，我们提出了迭代分类作为一种方法来浪费聚类质量（例如，准确性）的短文本。给定使用任意聚类算法获得的短文本的聚类，迭代分类应用离群值去除以获得无离群值的聚类。然后，它训练一个分类算法，使用非离群值的基础上，他们的集群分布。使用训练好的分类模型，迭代分类对离群值进行重新分类，以获得一组新的聚类。通过多次重复，我们获得了更好的文本聚类。我们的实验结果表明，所提出的聚类增强方法不仅提高了不同聚类方法的聚类质量（例如，k-means、k-means和分层聚类），而且在几个短文本数据集上的性能也优于现有技术的短文本聚类方法，具有统计上显著的优势。
2020-01-31 cs.CL cs.IR cs.LG
Cascade Subspace Clustering for Outlier Detection
JD Finance（京东金融）
本文提出一种基于级联子空间聚类的离群点检测框架，通过迭代构建多遍自表示并结合马尔可夫链，将弱检测器组合为强检测器，在图像和说话人数据集上优于现有方法。
2023-06-23 cs.CV cs.LG
Is Simple Uniform Sampling Effective for Center-Based Clustering with Outliers: When and Why?
University of Science and Technology of China（中国科学技术大学）；City University of Hong Kong（香港城市大学）
针对带离群点的 $k$-center/median/means 聚类，提出均匀采样框架，并通过“显著性”理论说明其样本量可独立于 $n$ 与 $d$。
2023-10-03 cs.CG cs.DB cs.LG
k-Center Clustering with Outliers in Sliding Windows
University of Padova（帕多瓦大学）
度量$k$ -中心聚类是基本的无监督学习原语。虽然被广泛使用，但该原语受到数据中噪声的严重影响，因此更合理的变体寻求忽略数据集的给定数量$z$的点（称为离群值）的最佳解决方案。我们提供了有效的算法，在滑动窗口设置下的流模型中的这个重要的变体，其中，在每个时间步，要聚类的数据集是窗口$W$的最近的数据项。我们的算法实现了$O(1)$近似，值得注意的是，需要一个工作记忆的线性$k+z$和对数的$|W|$。作为一个副产品，我们展示了如何估计的有效直径的窗口$W$，这是一个衡量的窗口点的传播，忽略了一个给定的分数的噪声距离。我们还提供了我们的理论结果的实际可行性的实验证据。
2022-01-07 cs.DS cs.LG
Distributionally Robust K-Means Clustering
California Institute of Technology（加州理工学院）；Massachusetts Institute of Technology（麻省理工学院）
本文提出分布鲁棒K均值聚类方法，通过最小化最坏情况下的期望平方距离来增强鲁棒性，实验显示在异常检测和噪声鲁棒性上有显著提升。
2026-04-13 cs.LG stat.ML
Robust Trimmed k-means
University of Washington（华盛顿大学）
聚类是无监督学习的基本工具，用于通过区分给定数据集的相似和不相似特征来对对象进行分组。最常见的聚类算法之一是k-means。不幸的是，当处理真实世界的数据时，许多传统的聚类算法由于组之间缺乏明确的分离、噪声观测和/或外围数据点而受到损害。因此，强大的统计算法是成功的数据分析所必需的。目前的方法，鲁棒k-means聚类是专门为单一或多个成员的数据，但在这两种情况下没有竞争力。我们提出了一个扩展的k-均值算法，我们称之为鲁棒修剪k-均值（RTKM），同时识别离群值和聚类点，可以应用于单或多成员数据。我们在各种真实世界的数据集上测试了RTKM，并表明RTKM在具有离群值的单成员数据和没有离群值的多成员数据上与其他方法具有竞争力。我们还表明，RTKM利用其相对优势，在包含离群值的多成员数据上优于其他方法。
2021-08-16 cs.LG math.OC stat.ML
Comparison of Outlier Detection Techniques for Structured Data
Indian Institutes of Information Technology Delhi（德里印度信息技术学院）；IBM Research AI（IBM研究院人工智能部门）
离群值是远离给定数据集中其余数据点的观测值或数据点，或者我们可以说离群值远离观测值的质心。离群值的存在可能会扭曲统计测量和数据分布，这可能导致对基础数据和关系的误导性表示。可以看出，在建模之前从训练数据集中去除离群值可以给出更好的预测。随着机器学习的发展，异常值检测模型也在飞速发展。这项工作的目标是突出和比较一些现有的离群值检测技术，以便数据科学家在构建机器学习模型时使用这些信息进行离群值算法选择。
2021-06-16 cs.LG
AWT -- Clustering Meteorological Time Series Using an Aggregated Wavelet Tree
University of Vienna（维也纳大学）；Zentralanstalt für Meteorologie und Geodynamik（中央气象与地球动力学研究所）
聚类和异常值检测在气象测量中起着重要的作用。我们提出了AWT算法，时间序列数据的聚类算法，也进行隐式离群值检测在聚类过程中。AWT集成了几个著名的K-Means聚类算法的思想。它根据用户定义的阈值参数自动选择聚类数，并且它可以用于异构气象输入数据以及超过可用内存大小的数据集。我们将AWT应用于维也纳市的每小时分辨率的众包2米温度数据，以检测离群值，并调查最终的聚类是否显示出与城市土地利用特征的一般相似性和相似性。它表明，无论是异常值检测和隐式映射到土地利用特征是可能的AWT开辟了新的可能的应用领域，特别是在快速发展的城市气候和城市天气领域。
2022-12-13 cs.LG physics.ao-ph
Non-Exhaustive, Overlapping Co-Clustering: An Extended Analysis
Sungkyunkwan University（成均馆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联合聚类的目标是同时识别二维的数据矩阵的行和列的聚类。目前已经提出了许多联合聚类技术，包括信息论联合聚类和最小平方和残差联合聚类方法。然而，大多数现有的联合聚类算法的目的是找到成对的不相交和穷举的共同集群，而许多现实世界的数据集不仅包含大量的重叠之间的共同集群，但离群值，不应该属于任何共同集群。在本文中，我们制定的问题，非穷举，重叠共聚类的行和列集群都允许彼此重叠和离群数据矩阵的每个维度不分配给任何集群。为了解决这个问题，我们提出了直观的目标函数，并开发了一个有效的迭代算法，我们称之为NEO-CC算法。我们从理论上表明，NEO-CC算法单调减少建议的目标函数。实验结果表明，NEO-CC算法能够有效地捕捉真实世界数据的底层共聚类结构，性能优于现有的聚类和共聚类方法.这份手稿包括对[21]的扩展分析。
2020-04-24 cs.LG stat.ML
Multi-task learning via robust regularized clustering with non-convex group penalties
Graduate School of Mathematics, Kyushu University（九州大学大学院数理学府）；Faculty of Mathematics, Kyushu University（九州大学数理学部）
针对多任务学习中忽略异常任务的问题，提出MTLRRC方法，结合鲁棒正则化聚类与非凸组惩罚，实现鲁棒任务聚类与异常检测，并通过模拟和实际数据验证其有效性。
2024-05-27 cs.LG stat.ME stat.ML
