The Effectiveness of Uniform Sampling for Center-Based Clustering with Outliers
University of Science and Technology of China（中国科学技术大学）
聚类在计算机科学中有许多重要的应用，但现实世界的数据集往往包含离群值。此外，离群值的存在会使聚类问题更具挑战性。为了降低复杂性，在过去的几年中，已经提出了各种采样方法。也就是说，我们从输入中取一个小样本（均匀或非均匀），并对该样本运行现有的近似算法。与现有的非均匀采样方法相比，均匀采样方法具有几个显著的优点。例如，它只需要在一次通过中读取数据，并且在实践中非常容易实现。因此，均匀抽样在孤立点聚类中的有效性是一个自然的和基本的问题，值得在理论和实践中研究。本文提出了一个新的统一的框架来分析均匀抽样对三种典型的基于中心的离群点聚类问题的有效性，即$k$ -中心/中值/均值离群点聚类。我们引入了一个“显著性”准则，并证明了均匀采样的性能取决于给定实例的显著程度。特别是，我们表明，样本大小可以是独立的比例$n/z$和维数。更重要的是，据我们所知，我们的方法是第一个统一的采样方法，允许丢弃正是$z$离群值为这三个基于中心的聚类离群值的问题。本文的结果也可以看作是以前的次线性时间算法的普通聚类问题（无离群点）的推广。实验结果表明，均匀采样方法可以达到与其他现有方法相当的聚类结果，但大大减少了运行时间。
2020-05-01 cs.DS cs.LG
Integer Programming Relaxations for Integrated Clustering and Outlier Detection
University of Sydney（悉尼大学）
在本文中，我们提出了基于样本的聚类与离群点选择的基础上，设施位置制定的方法。给定距离函数和要找到的离群值的数量，该方法自动确定聚类和离群值的数量。我们制定的问题作为一个整数规划，我们目前放宽，允许解决方案，规模大的数据集。结合聚类和离群值选择的优点包括：（i）所得到的聚类往往是紧凑的和语义上一致的（ii）聚类对数据扰动更鲁棒，以及（iii）离群值被聚类上下文化并且更可解释，即，更容易区分作为数据误差的结果的离群值与可能指示在数据中出现的新模式的离群值。数据我们提出并对比了三种松弛的整数规划公式：（i）线性规划公式（LP）（ii）扩展的亲和传播离群值检测（APOC）和（iii）拉格朗日对偶的公式（LD）。对合成数据和真实数据的评估表明了这些不同方法的质量和可扩展性。
2014-03-06 cs.LG
SSDBCODI: Semi-Supervised Density-Based Clustering with Outliers Detection Integrated
DePaul University（德保罗大学）；College of Computing and Digital Media, DePaul University（德保罗大学计算与数字媒体学院）
聚类分析是机器学习的关键任务之一。传统上，聚类是一项独立的任务，与离群值检测分离。由于离群点会严重影响聚类的性能，因此有少数算法尝试在聚类过程中加入离群点检测。然而，这些算法中的大多数都是基于无监督的基于分区的算法，如k-means。鉴于这些算法的性质，它们通常无法处理复杂的非凸形状的集群。为了应对这一挑战，我们提出了SSDBCODI，一种基于密度的半监督算法。SSDBCODI结合了基于密度的算法的优势，能够处理复杂形状的聚类，具有半监督元素，可以根据一些用户标签灵活地调整聚类结果。我们还将离群值检测组件与聚类过程合并。基于在该过程期间生成的三个分数来检测潜在的离群值：（1）可达性分数，其测量点到标记的正常对象的密度可达性，（2）局部密度分数，其测量数据对象的相邻密度，以及（3）相似性分数，其测量点到其最近的标记离群值的接近度。然后在接下来的步骤中，在用于训练分类器以进行进一步聚类和离群值检测之前，基于这三个分数为每个数据实例生成实例权重。为了增强对所提出算法的理解，为了进行评估，我们在多个数据集上对一些最先进的方法运行了我们提出的算法，并分别列出了聚类之外的离群值检测结果。我们的研究结果表明，我们的算法可以实现优越的结果与一个小的标签百分比。
2022-08-10 cs.AI cs.LG
Simple KNN-Based Outlier Detection Achieves Robust Clustering
Duke University（杜克大学）
本文证明在合理假设下，简单移除KNN距离大的点可将稳健k均值转化为标准k均值，且在聚类成本和运行时间上优于其他算法。
2026-05-08 cs.DS cs.LG
A Pragmatic Method for Comparing Clusterings with Overlaps and Outliers
Department of Mathematics, Toronto Metropolitan University（多伦多 Metropolitan 大学数学系）；Tutte Institute for Mathematics and Computing（图图数学与计算研究所）
本文提出一种实用的相似性度量方法，用于比较包含重叠和异常值的聚类，证明其具有 desirable 属性，并通过实验验证其不受其他聚类比较度量的常见偏差影响。
2026-03-20 cs.LG cs.SI math.CO
Outlier-Robust Group Inference via Gradient Space Clustering
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
传统的机器学习模型专注于在整体训练分布上实现良好的性能，但它们在少数群体上往往表现不佳。现有的方法可以提高最差组的性能，但它们可能有几个限制：（i）它们需要组注释，这通常是昂贵的，有时不可行的获得，和/或（ii）它们是敏感的离群值。大多数相关的作品未能同时解决这两个问题，因为他们专注于少数群体和离群者的相互冲突的观点。我们解决的问题，学习组注释中存在的离群值的模型参数的梯度空间中的数据进行聚类。我们表明，梯度空间中的数据具有更简单的结构，同时保留了少数群体和离群点的信息，使其适用于标准的聚类方法，如DBSCAN。大量的实验表明，我们的方法显着优于国家的最先进的组识别和下游最坏的组性能。
2022-10-13 cs.LG
Outlier Detection Using a Novel method: Quantum Clustering
Tiangong University（天津工业大学）；Shanghai Library（上海图书馆）
提出了一种新的离群点检测假设：正常数据实例通常位于数据密度几乎没有波动的区域，而离群点通常出现在数据密度波动剧烈的区域。基于这一假设，我们提出了一种新的基于密度的方法来进行无监督离群点检测。这种方法被称为量子聚类（QC），处理未标记的数据处理，并构造一个势函数来找到聚类的质心和离群点。实验表明，势函数能有效地发现数据点中隐藏的异常点。此外，通过使用QC，我们可以通过调整参数$σ$来发现更多的细微异常值。此外，我们的方法也评估了两个数据集（空气质量检测和达尔文对应项目）从两个不同的研究领域，结果表明，我们的方法的广泛适用性。
2020-06-08 cs.AI cs.LG stat.ML
Clustering Three-Way Data with Outliers
Department of Mathematics & Statistics, Trent University, Ontario, Canada（数学与统计学系，特伦特大学，安大略，加拿大）；Department of Mathematics & Statistics, McMaster University, Ontario, Canada（数学与统计学系，麦斯特大学，安大略，加拿大）
针对含离群值的矩阵变量正态数据，本文将OCLUST算法扩展至该类数据，利用子集对数似然分布，采用迭代方法检测并修剪离群值，实现聚类。
2026-09-03 cs.LG stat.ME stat.ML
A Robust Spectral Clustering Algorithm for Sub-Gaussian Mixture Models with Outliers
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑的问题，聚类数据集的任意离群值的存在。传统的聚类算法，如k-means和谱聚类是已知的，即使是少量的离群值污染的数据集表现不佳。在本文中，我们开发了一个可证明的强大的谱聚类算法，适用于一个简单的舍入方案去噪的高斯核矩阵建立从数据点，并使用香草谱聚类恢复数据点的聚类标签。我们分析我们的算法的性能的假设下，“好”的数据点产生的混合物的亚高斯（我们称这些“内点”），而离群点可以来自任何任意的概率分布。对于这类一般的模型，我们表明，误分类误差衰减的信号噪声比的指数率，提供的离群点的数量是一个小部分的内点。令人惊讶的是，这个派生的错误界匹配的半定规划（SDP）在相同的设置下，没有离群值的最知名的界。我们在各种模拟和真实世界的数据集上进行了广泛的实验，以证明我们的算法与文献中提出的其他最先进的算法相比，对离群值不那么敏感。
2021-01-31 cs.LG math.ST stat.ML
DelTriC: A Novel Clustering Method with Accurate Outlier
Kempelen Institute of Intelligent Technologies（凯姆佩伦智能技术研究所）
DelTriC通过结合Delaunay三角剖分和反向投影机制，实现高维空间中的高效聚类与异常检测。
2025-11-21 cs.LG
Linear Programming based Approximation to Individually Fair k-Clustering with Outliers
Indian Institute of Technology, Gandhinagar（印度理工学院甘地纳格尔分校）
本文针对含离群点的k均值聚类，提出基于线性规划识别离群点并排除，再通过舍入算法计算中心，满足个体公平性约束，提供理论近似保证并实证验证。
2024-12-14 cs.DS cs.LG stat.ML
Evolution of $K$-means solution landscapes with the addition of dataset outliers and a robust clustering comparison measure for their analysis
Yusuf Hamied Department of Chemistry（优素福·哈米德化学系）；IBM Research Europe（IBM欧洲研究院）
本文利用能量景观方法研究了数据集离群点增加对 $K$-means 解空间的影响，发现代价函数曲面更漏斗化且局部浅层区域增多，并提出了一种基于动力学速率的鲁棒聚类相似性度量。
2023-06-25 cs.LG
Clustering Degree-Corrected Stochastic Block Model with Outliers
Northwestern University（西北大学）；Cornell University（康奈尔大学）
对于度校正的随机块模型中存在的任意甚至对抗性离群点，我们开发了一个基于凸优化的聚类算法，其中包括一个惩罚项取决于一个节点的正偏差从预期的边缘数到其他内点。我们证明，在温和的条件下，这种方法实现了准确的恢复的基础集群。我们的合成实验表明，我们的算法在异构网络上表现良好，特别是那些具有Pareto度分布的网络，离群值具有广泛的可能度，可以增强其对抗能力。我们还表明，我们的方法允许恢复显着较低的出错率相比，现有的算法。
2019-06-07 cs.LG q-fin.ST stat.ML
Outlier Detection and Data Clustering via Innovation Search
Baidu Research（百度研究院）
创新搜索的思想被提出作为一种数据聚类方法，其中利用新息的方向来计算邻接矩阵，它被证明是创新追求可以显着优于基于自我表示的子空间聚类方法。在本文中，我们提出了一个新的发现，创新的方向可以用来设计一个可证明的和强大的鲁棒性（离群）PCA方法。所提出的方法，被称为iSearch，使用方向搜索优化问题来计算对应于每个数据点的最佳方向。iSearch利用创新方向来衡量数据点的创新性，并将离群值识别为最具创新性的数据点。分析性能保证来自不同的模型下的离群值，包括随机分布的离群值，聚集的离群值，和线性相关的离群值的分布，建议的鲁棒PCA方法。此外，我们研究了子空间的联合中的离群点检测问题，并且证明了当内点位于子空间的联合中时，iSearch可证明地恢复了内点的跨度。此外，我们提出的理论研究表明，所提出的措施的创新仍然是稳定的存在噪声和iSearch的性能是强大的噪声数据。在具有挑战性的情况下，其中离群值彼此接近或接近内点的跨度，iSearch被证明显着优于大多数现有的方法。所提出的方法表明，新息方向是数据的有用表示，可用于执行数据聚类和离群值检测。
2019-12-30 cs.IT cs.LG math.IT
ECORS: An Ensembled Clustering Approach to Eradicate The Local And Global Outlier In Collaborative Filtering Recommender System
University of Minnesota Twin Cities（明尼苏达大学双子城分校）
本文提出ECORS方法，通过集成多种聚类算法并构建用户-用户矩阵，同时检测局部与全局异常值，从而显著提升协同过滤推荐系统中异常值检测的准确性。
2024-10-01 cs.HC cs.IR cs.LG
Randomized Greedy Algorithms and Composable Coreset for k-Center Clustering with Outliers
University of Science and Technology of China（中国科学技术大学）
本文研究了具有孤立点的{ \em $k$ -中心聚类}问题。该问题在现实世界中有许多重要的应用，但离群值的存在会显著增加计算复杂性。虽然在过去的几十年里，已经开发了许多方法，它仍然是相当具有挑战性的设计质量保证的算法，低复杂度的问题。我们的想法是启发贪婪的方法，冈萨雷斯的算法，这是解决普通的$k$中心聚类问题。基于一些新的观察，我们表明，这种贪婪策略的一个简单的随机版本实际上可以有效地处理离群值。我们进一步表明，这种随机贪婪的方法也产生小coreset的问题，在加倍度量（即使加倍维数是不给），这可以大大降低计算复杂性。此外，与arXiv：1703.01539中提出的部分聚类框架一起，我们证明了我们的coreset方法可以应用于具有低通信复杂性的分布式数据。实验结果表明，我们的算法可以获得接近最优的解决方案，并产生较低的复杂度相比，现有的方法。
2023-01-07 cs.DS cs.LG
Some issues in robust clustering
University of Bologna（博洛尼亚大学）
该研究聚焦基于高斯混合模型的鲁棒聚类，探讨了异常值定义、异常值与簇的模糊性、簇数估计交互、调参依赖及稳定性度量缺陷等关键问题。
2023-08-28 cs.LG stat.ME stat.ML
Interpreting Outliers: Localized Logistic Regression for Density Ratio Estimation
Kyoto University（京都大学）；Institute of Statistical Mathematics（统计数理研究所）；Aalto University（阿尔托大学）
我们提出了一种基于内点的离群点检测方法，通过识别离群点的特定特征，既能够识别离群点，又能够解释为什么它们是离群点。具体来说，我们采用了一个基于内点的离群点检测标准，该标准使用内点和测试概率密度的比值作为离群点的可验证性的度量。对于密度比函数的估计，我们提出了一种局部化的逻辑斯谛回归算法。由于模型的局部性，变量选择可以是特定于离群值的，这将有助于解释为什么点在高维空间中是离群值。通过综合实验，我们表明，该算法可以成功地检测出离群的重要特征。此外，我们表明，该算法往往优于现有的算法在基准数据集。
2017-02-21 cs.LG stat.ML
Robust Data Clustering with Outliers via Transformed Tensor Low-Rank Representation
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
针对含异常值的张量数据，提出基于t-SVD框架的异常值鲁棒张量低秩表示方法（OR-TLRR），实现异常值检测与数据聚类，并具备行空间精确恢复的理论保证。
2024-04-26 cs.CV cs.LG stat.ML
Scalable Clustering: Large Scale Unsupervised Learning of Gaussian Mixture Models with Outliers
Florida State University（佛罗里达州立大学）
本文提出一种基于损失最小化的鲁棒聚类算法，解决带异常值的高斯混合模型的大规模聚类问题，提供理论保证并可作为 k-means 初始化策略，在 ImageNet 等大规模数据集上表现优异。
2023-02-28 cs.LG stat.ML
Cluster Purging: Efficient Outlier Detection based on Rate-Distortion Theory
Know Center GmbH（Know Center股份有限公司）；Graz University of Technology（格拉茨理工大学）
基于率失真理论的离群值检测建立在良好的数据压缩将用唯一符号编码离群值的基本原理上。基于这个基本原理，我们提出了聚类清除，这是一个基于聚类的离群点检测的扩展。这种扩展允许人们评估聚类的代表性，并找到最好由单个独特聚类表示的数据。我们提出了两个有效的算法进行集群清除，一个是无参数，而另一个算法有一个参数，控制代表性估计，允许它在监督设置进行调整。在实验评估中，我们表明，聚类清除提高了从原始聚类中检测到的离群值，并且聚类清除与最先进的替代品竞争激烈。
2023-02-22 cs.LG
Enhancement of Short Text Clustering by Iterative Classification
Dalhousie University（达尔豪西大学）
短文本聚类是一个具有挑战性的任务，由于缺乏信号包含在这样的短文本。在这项工作中，我们提出了迭代分类作为一种方法来浪费聚类质量（例如，准确性）的短文本。给定使用任意聚类算法获得的短文本的聚类，迭代分类应用离群值去除以获得无离群值的聚类。然后，它训练一个分类算法，使用非离群值的基础上，他们的集群分布。使用训练好的分类模型，迭代分类对离群值进行重新分类，以获得一组新的聚类。通过多次重复，我们获得了更好的文本聚类。我们的实验结果表明，所提出的聚类增强方法不仅提高了不同聚类方法的聚类质量（例如，k-means、k-means和分层聚类），而且在几个短文本数据集上的性能也优于现有技术的短文本聚类方法，具有统计上显著的优势。
2020-01-31 cs.CL cs.IR cs.LG
Clustering with Outlier Removal
Brandeis University（布兰迪斯大学）；Massachusetts Institute of Technology（麻省理工学院）；Northeastern University（东北大学）
聚类分析和孤立点检测是数据采掘领域中的两个强耦合任务。簇结构很容易被少数离群点破坏;相反，离群点是由簇的概念定义的，它被认为是不属于任何簇的点。遗憾的是，大多数现有的研究没有注意到这两个任务之间的耦合关系，并单独处理。鉴于此，我们考虑了联合聚类分析和孤立点检测问题，提出了带孤立点去除的聚类（COR）算法。一般来说，通过生成基本划分将原始空间转化为二进制空间，以定义聚类。然后设计了一个基于全息熵的目标函数，在去除少量离群点的同时提高了聚类的紧凑性。通过对目标函数的进一步分析，发现K-均值优化只能处理部分问题。为了提供一个综合的解决方案，一个辅助的二进制矩阵nontrivally引入，使COR完全有效地解决了具有挑战性的问题，通过统一的K-均值-理论支持。在不同领域的大量数据集上进行的大量实验结果表明，COR在聚类有效性和离群点检测方面的有效性和效率明显优于最先进的方法。进一步分析了COR中的一些关键因素，以供实际应用。最后，通过飞行轨迹的仿真验证了COR算法的有效性。
2019-09-02 cs.LG stat.ML
Cascade Subspace Clustering for Outlier Detection
JD Finance（京东金融）
本文提出一种基于级联子空间聚类的离群点检测框架，通过迭代构建多遍自表示并结合马尔可夫链，将弱检测器组合为强检测器，在图像和说话人数据集上优于现有方法。
2023-06-23 cs.CV cs.LG
SDCOR: Scalable Density-based Clustering for Local Outlier Detection in Massive-Scale Datasets
Amirkabir University of Technology（阿米拉比尔理工大学）；University of Twente（特温特大学）；ICAR-CNR（意大利国家研究委员会计算与高性能网络研究所）
本文提出了一种基于密度的批量聚类方法，用于大规模数据集的局部离群点检测。与传统算法不同的是，传统算法假设所有的数据都是内存驻留的，我们提出的方法是可扩展的，并在有限的内存缓冲区内逐块处理输入数据。首先建立临时聚类模型，然后通过分析点的连续内存负载来逐步更新聚类模型。随后，在可扩展聚类结束时，获得原始聚类的近似结构。最后，通过对整个数据集的另一次扫描并使用合适的标准，为每个对象分配一个离群分数，称为SDCOR（可扩展的基于密度的聚类离群率）。在真实数据集和人工数据集上的测试表明，该方法具有较低的线性时间复杂度，与传统的基于密度的方法相比，具有更高的效率和有效性，传统的基于密度的方法需要将所有数据加载到内存中，而基于距离的方法可以对驻留在磁盘上的数据执行。
2021-07-05 cs.LG stat.ML
k-Center Clustering with Outliers in Sliding Windows
University of Padova（帕多瓦大学）
度量$k$ -中心聚类是基本的无监督学习原语。虽然被广泛使用，但该原语受到数据中噪声的严重影响，因此更合理的变体寻求忽略数据集的给定数量$z$的点（称为离群值）的最佳解决方案。我们提供了有效的算法，在滑动窗口设置下的流模型中的这个重要的变体，其中，在每个时间步，要聚类的数据集是窗口$W$的最近的数据项。我们的算法实现了$O(1)$近似，值得注意的是，需要一个工作记忆的线性$k+z$和对数的$|W|$。作为一个副产品，我们展示了如何估计的有效直径的窗口$W$，这是一个衡量的窗口点的传播，忽略了一个给定的分数的噪声距离。我们还提供了我们的理论结果的实际可行性的实验证据。
2022-01-07 cs.DS cs.LG
CodeQuant: Unified Clustering and Quantization for Enhanced Outlier Smoothing in Low-Precision Mixture-of-Experts
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Tandon School of Engineering, New York University（纽约大学坦登工程学院）；Cerebras Systems Inc.（Cerebras系统公司）
本文提出CodeQuant，通过可学习旋转平滑激活异常值并吸收权重异常值到细调的聚类中心，提升低精度混合专家模型的准确性与速度。
2026-08-18 cs.LG
AWT -- Clustering Meteorological Time Series Using an Aggregated Wavelet Tree
University of Vienna（维也纳大学）；Zentralanstalt für Meteorologie und Geodynamik（中央气象与地球动力学研究所）
聚类和异常值检测在气象测量中起着重要的作用。我们提出了AWT算法，时间序列数据的聚类算法，也进行隐式离群值检测在聚类过程中。AWT集成了几个著名的K-Means聚类算法的思想。它根据用户定义的阈值参数自动选择聚类数，并且它可以用于异构气象输入数据以及超过可用内存大小的数据集。我们将AWT应用于维也纳市的每小时分辨率的众包2米温度数据，以检测离群值，并调查最终的聚类是否显示出与城市土地利用特征的一般相似性和相似性。它表明，无论是异常值检测和隐式映射到土地利用特征是可能的AWT开辟了新的可能的应用领域，特别是在快速发展的城市气候和城市天气领域。
2022-12-13 cs.LG physics.ao-ph
Distributed $k$-Clustering for Data with Heavy Noise
University at Buffalo（布法罗大学）
在本文中，我们考虑$k$ -中心/中位数/均值聚类与离群值问题（或$(k, z)$ -中心/中位数/均值问题）在分布式设置。大多数以前的分布式算法的通信成本线性依赖于$z$，离群值的数量。最近，Guha等人通过考虑输出具有$2z$离群值的解的双准则近似算法克服了这种依赖性问题。对于其中$z$较大的情况，考虑到数据收集过程可能是昂贵的，由算法丢弃的额外的$z$离群值可能太大。在本文中，我们改进的离群值的数量，以最好的可能$(1+ε)z$，同时保持$O(1)$ -近似比和独立的通信成本$z$。我们考虑的问题包括$(k, z)$ -中心问题，和$(k, z)$ -中位数/均值问题的欧几里德度量。实施我们的算法$(k, z)$ -中心表明，它优于许多以前的算法，无论是在通信成本和质量的输出解决方案。
2018-11-29 cs.DC cs.DS cs.LG
Near-Optimal Resilient Aggregation Rules for Distributed Learning Using 1-Center and 1-Mean Clustering with Outliers
College of Computer Science, Sichuan University（四川大学计算机学院）；School of Statistics and Data Science, Nankai University（南开大学统计与数据科学学院）；School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology（瑞典皇家理工学院电气工程与计算机科学学院）；School of Robotics, Hunan University（湖南大学机器人学院）
本文利用带离群点的1-中心和1-均值聚类提出近最优弹性聚合规则，并设计两阶段弹性聚合框架，在图像分类实验中显著优于已有方法。
2024-03-31 cs.DC cs.LG
A geometric analysis of subspace clustering with outliers
Stanford University（斯坦福大学）
本文考虑了一组未标记的数据点的聚类问题，假设这些数据点位于低维平面的联合附近。正如计算机视觉或无监督学习应用中常见的那样，我们事先不知道有多少个子空间，也不知道它们的维数。我们开发了一种新的几何分析的算法命名为稀疏子空间聚类（SSC）[在IEEE会议计算机视觉和模式识别，2009年。CVPR 2009（2009）2790-2797。IEEE]，这大大拓宽了它被证明有效的问题的范围。例如，我们表明，SSC可以恢复多个子空间，每一个维度可比的环境尺寸。我们还证明了SSC可以正确聚类数据点，即使当感兴趣的子空间相交。此外，我们开发了一个扩展的SSC，成功的数据集被破坏时，可能压倒性的许多离群值。我们的分析是明确的几何见解，这可能会影响其他稀疏恢复问题。数值研究补充了我们的理论分析，并证明了这些方法的有效性。
2013-01-30 cs.IT cs.LG math.IT
Genie: A new, fast, and outlier-resistant hierarchical clustering algorithm
Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）；Faculty of Mathematics and Information Science, Warsaw University of Technology（华沙理工大学数学与信息科学学院）；Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
应用层次聚类算法所需的时间通常由成对相异性度量的计算次数决定。对于较大的数据集，这样的约束使除了单一联系标准之外的所有经典联系标准的使用处于不利地位。然而，已知的是，单链接聚类算法对离群值非常敏感，产生高度偏斜的树状图，因此通常不反映真实的底层数据结构--除非聚类被很好地分离。为了克服它的局限性，我们提出了一个新的层次聚类链接标准称为精灵。也就是说，我们的算法以这样一种方式链接两个集群，即选择的经济不公平度量（例如，集群大小的基尼或邦弗朗尼指数）不会急剧增加到给定阈值以上。所提出的基准测试表明，所介绍的方法具有很高的实用性：它往往优于沃德或平均链接的聚类质量，同时保持单一的链接的速度。Genie算法很容易并行化，因此可以在多个线程上运行，以进一步加快其执行速度。它的内存开销很小：不需要预先计算完整的距离矩阵来执行计算以获得期望的聚类。它可以应用于配备有相异性度量的任意空间，例如，该算法的参考实现已包含在R的开源'genie'包中。另请参阅https://genieclust.gagolewski.com以获得新的实现（genieclust）-可用于R和Python。
2022-09-13 cs.LG stat.ML
Linear-time Outlier Detection via Sensitivity
ETH Zurich（苏黎世联邦理工学院）
离群值在现代数据集中无处不在。基于距离的技术是一种流行的非参数离群值检测方法，因为它们不需要对数据生成分布进行先验假设，并且易于实现。将这些技术扩展到大规模数据集而不牺牲准确性是一项具有挑战性的任务。我们提出了一种新的算法的基础上的直觉，离群值有显着的影响质量的分歧为基础的聚类解决方案。我们提出了敏感性-最坏情况下的数据点的聚类目标的影响-作为离群值的度量。然后，我们证明了影响，（非平凡的）上界的灵敏度，可以通过一个简单的线性时间算法计算。为了扩展到单个机器之外，我们提出了一种通信高效的分布式算法。在广泛的实验评估中，我们证明了所提出的方法的有效性，并建立统计意义。特别是，它优于最流行的基于距离的方法，同时快了几个数量级。
2016-05-02 cs.LG stat.ML
Robust Trimmed k-means
University of Washington（华盛顿大学）
聚类是无监督学习的基本工具，用于通过区分给定数据集的相似和不相似特征来对对象进行分组。最常见的聚类算法之一是k-means。不幸的是，当处理真实世界的数据时，许多传统的聚类算法由于组之间缺乏明确的分离、噪声观测和/或外围数据点而受到损害。因此，强大的统计算法是成功的数据分析所必需的。目前的方法，鲁棒k-means聚类是专门为单一或多个成员的数据，但在这两种情况下没有竞争力。我们提出了一个扩展的k-均值算法，我们称之为鲁棒修剪k-均值（RTKM），同时识别离群值和聚类点，可以应用于单或多成员数据。我们在各种真实世界的数据集上测试了RTKM，并表明RTKM在具有离群值的单成员数据和没有离群值的多成员数据上与其他方法具有竞争力。我们还表明，RTKM利用其相对优势，在包含离群值的多成员数据上优于其他方法。
2021-08-16 cs.LG math.OC stat.ML
Towards a Model for LSH
Wufong University（五峰大学）
随着数据量的持续增长，聚类和离群值检测算法变得越来越耗时。由于“维数灾难”，用于邻居搜索的经典索引结构不再可持续。相反，近似索引结构提供了一个很好的机会，以显着加速聚类和离群值检测的邻居搜索，并在算法的结果中具有最低的可能出错率。局部敏感哈希就是其中之一。我们指出方向LSH的属性建模。
2021-05-11 cs.DB cs.DS cs.LG
Why does Greedy Search produce Optimal Clustering Outcomes? A Fixed-Core Assignment Theory
研究为何贪心搜索能产生最优聚类结果，通过分析真实与经验分布嵌入近似误差及贪心搜索与划分拟阵的关系，为‘聚类即分布’聚类目标提供近似最优保证，解释其能发现任意形状、密度和大小聚类的原因。
2026-07-30 cs.LG
Multi-task learning via robust regularized clustering with non-convex group penalties
Graduate School of Mathematics, Kyushu University（九州大学大学院数理学府）；Faculty of Mathematics, Kyushu University（九州大学数理学部）
针对多任务学习中忽略异常任务的问题，提出MTLRRC方法，结合鲁棒正则化聚类与非凸组惩罚，实现鲁棒任务聚类与异常检测，并通过模拟和实际数据验证其有效性。
2024-05-27 cs.LG stat.ME stat.ML
A method for outlier detection based on cluster analysis and visual expert criteria
Madrid Open University, UDIMA（马德里开放大学）；Universidad Politécnica de Madrid（马德里理工大学）
本文提出一种基于聚类分析和视觉专家准则的异常值检测方法，利用四个准则模拟专家视觉识别，在稳定测量和脑电图数据上验证，假阳性率低于2%，可靠性超99%。
2025-10-27 cs.LG
Robust Consensus Clustering and its Applications for Advertising Forecasting
Yahoo Research（雅虎研究院）
共识聚类聚合分区，以便通过协调来自不同来源/执行的聚类结果来找到更好的拟合。在实际应用中，聚类任务中存在噪声和离群点，这可能会显著降低性能。为了解决这个问题，我们提出了一种新的算法-鲁棒的共识聚类，可以找到专家的意见，这往往是最小的影响所造成的偏差离群值之间的共同点。特别是，我们形式化的鲁棒一致性聚类问题作为一个约束优化问题，然后推导出一个有效的算法交替方向的乘法器（ADMM）具有严格的收敛保证。我们的方法优于基准的基线。我们将所提出的方法应用于现实世界的广告活动分割和预测任务，使用建议的共识聚类结果的基础上通过Kolmogorov-Smirnov统计计算的相似性。准确的聚类结果有助于建立广告客户档案，以便执行预测。
2022-12-27 cs.AI cs.IR cs.LG
A flexible EM-like clustering algorithm for noisy data
Laboratoire des Signaux et Systèmes (L2S)（信号与系统实验室）；CentraleSupélec-CNRS-Université Paris-Sud（巴黎中央理工-高等电力学院-法国国家科学研究中心-巴黎第十一大学）；Université Paris-Saclay（巴黎萨克雷大学）；Instituto de Cálculo（计算研究所）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）；IMAS-CONICET（阿根廷国家科学技术研究委员会数学应用研究所）
虽然EM for GMM算法非常流行，但众所周知，EM for GMM算法具有非高斯分布形状，离群值和高维性。在本文中，我们设计了一个新的强大的聚类算法，可以有效地处理不同的数据集的噪声和离群点。作为一种类EM算法，它同时基于聚类中心和协方差的估计。此外，使用半参数范例，该方法估计每个数据点的未知尺度参数。这使得算法能够适应较重的尾部分布和离群值，而不会在各种经典场景中显着降低效率。我们首先推导和分析所提出的算法的背景下，椭圆分布，特别是重要的不敏感性的基本数据分布。然后，我们研究的收敛性和精度的算法，考虑第一合成数据。然后，我们表明，该算法优于其他经典的无监督方法的文献，如k-均值，EM高斯混合模型及其最近的修改或谱聚类时，应用到真实的数据集MNIST，NORB，和20新闻组。
2020-10-05 cs.LG stat.ML
Adversarially robust clustering with optimality guarantees
Department of Applied and Computational Mathematics and Statistics, University of Notre Dame（应用与计算数学与统计学系，诺丁汉大学）；Department of Operations Research and Financial Engineering, Princeton University（运筹学与金融工程系，普林斯顿大学）；Department of Electrical and Computer Engineering and Department of Operations Research and Financial Engineering, Princeton University（电气与计算机工程系和运筹学与金融工程系，普林斯顿大学）
针对次高斯混合数据的聚类问题，提出一种基于坐标中位数的鲁棒算法，在存在对抗异常值时仍能以常数次迭代达到最优误标记率。
2025-10-31 cs.LG math.ST stat.TH
Self-Paced Multi-Task Clustering
University of Electronic Science and Technology of China（电子科技大学）
多任务聚类（MTC）由于能够利用不同任务之间的关系，在机器学习中受到了广泛的关注。尽管传统的MTC模型取得了成功，但它们要么容易陷入局部最优，要么对离群值和噪声数据敏感。为了缓解这些问题，我们提出了一种新的自定步调的多任务集群（SPMTC）的范例。具体地说，SPMTC逐步选择数据样本来训练一系列复杂度不断增加的MTC模型，从而大大降低了陷入局部最优的风险。此外，为了减少离群点和噪声数据的负面影响，我们设计了一个软版本的SPMTC，以进一步提高聚类性能。相应的SPMTC框架可以很容易地通过交替优化方法求解。该模型是保证收敛和实际数据集上的实验已经证明了其有前途的结果相比，国家的最先进的多任务聚类方法。
2018-08-24 cs.LG stat.ML
Hierarchical Reference Sets for Robust Unsupervised Detection of Scattered and Clustered Outliers
School of Computer Science and Technology, Guangdong University of Technology（计算机科学与技术学院，广东技术大学）
本文提出利用图结构的层次化参考集方法，有效识别散落异常并隔离聚类异常，通过多视角评估提升无监督异常检测性能。
2026-03-13 cs.AI cs.LG
Robust Communication-Optimal Distributed Clustering Algorithms
Rutgers University（罗格斯大学）；Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们研究了$k$ -中位数和$k$ -均值聚类问题时，数据分布在许多服务器上，可以包含离群值。虽然在最坏情况下对这些问题做了很多工作，但我们专注于通过超越最坏情况分析的视角获得更好的理解。我们的主要动机如下：对于许多应用程序，如聚类蛋白质的功能或聚类社区的社会网络中，有一些未知的目标聚类，并希望运行$k$ -中位数或$k$ -均值算法将产生聚类，这是接近匹配的目标聚类。最坏情况的结果可以保证恒定因子近似于最佳$k$ -中位数或$k$ -均值目标值，但不能接近目标聚类。我们的第一个结果是一个分布式算法，它返回一个接近最优的聚类假设一个自然的概念的稳定性，即近似稳定性[Balcan et. 2013年]，即使当数据的恒定部分是离群值时。通信复杂性为$\tilde O(sk+z)$，其中$s$是机器的数量，$k$是集群的数量，$z$是离群值的数量。接下来，我们表明，即使在输入满足各种非最坏情况假设的情况下，这种通信量也无法得到改善。我们给出了一个匹配的$Ω(sk+z)$下界的通信都需要近似的最佳$k$ -手段或$k$ -中值成本的任何常数，并返回一个聚类，是接近目标聚类的汉明距离。即使当数据满足近似稳定性或其他常见的稳定性概念，并且集群大小是平衡的时，这些下限也保持不变。因此，$Ω(sk+z)$是一个通信瓶颈，即使对于实际实例也是如此。
2019-03-06 cs.DC cs.DS cs.LG
Hierarchical topological clustering
Facultad de Ciencias Matemáticas, Universidad Complutense de Madrid（数学科学学院，马德里complutense大学）；Facultad de Ciencias Económicas y Empresariales, Universidad Autónoma de Madrid（经济与企业科学学院，马德里自治大学）
本文提出了一种层次拓扑聚类算法，能够处理任意形状的聚类和异常值，适用于图像、医学和经济数据等复杂场景。
2025-12-31 cs.CV cs.LG physics.data-an
Approximate Algorithms For $k$-Sparse Wasserstein Barycenter With Outliers
School of Computer Science and Technology（计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）
本文研究了带异常值的 $k$-稀疏 Wasserstein Barycenter 问题，提出基于聚类的 LP 方法实现常数近似，并利用 coresets 技术在低维下实现 $(1+ε)$-近似，实验验证了算法效率。
2024-04-20 cs.LG
(k, l)-Medians Clustering of Trajectories Using Continuous Dynamic Time Warping
University of Sydney（悉尼大学）；TU Eindhoven（埃因霍温理工大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
由于可用地理空间数据的数量大量增加，并且需要以可理解的方式呈现它，因此对这些数据进行聚类比以往任何时候都更加重要。由于集群可能包含大量的对象，因此为每个集群提供一个代表可以极大地促进对集群的理解。依赖于这些代表的聚类方法被称为基于中心的。在这项工作中，我们考虑基于中心的轨迹聚类的问题。在这种情况下，集群的代表再次是轨迹。为了获得聚类的紧凑表示并避免过拟合，我们通过参数l来限制代表性轨迹的复杂性。然而，这种限制使得离散距离测量（如动态时间规整（DTW））不太适合。最近的工作是基于中心的聚类的轨迹与连续的距离测量，即弗雷谢距离。虽然Fréchet距离允许限制中心复杂度，但它也可能对离群值敏感，而平均型距离度量，如DTW，则不那么敏感。为了获得一个轨迹聚类算法，允许限制中心的复杂性，是更强大的离群值，我们建议使用连续版本的DTW作为距离度量，我们称之为连续动态时间规整（CDTW）。我们的贡献是双重的：1。针对CDTW缺乏实用算法的问题，提出了一种计算CDTW的近似算法。我们开发的第一个聚类算法下的距离测量，并显示一个实用的方法来计算一组轨迹的中心，随后迭代地改进it. To获得深入了解下的实际数据的CDTW聚类结果，我们进行了广泛的实验。
2020-12-01 cs.CG cs.LG
Distributionally Robust K-Means Clustering
California Institute of Technology（加州理工学院）；Massachusetts Institute of Technology（麻省理工学院）
本文提出分布鲁棒K均值聚类方法，通过最小化最坏情况下的期望平方距离来增强鲁棒性，实验显示在异常检测和噪声鲁棒性上有显著提升。
2026-04-13 cs.LG stat.ML
Noisy Subspace Clustering via Thresholding
ETH Zurich（苏黎世联邦理工学院）
我们考虑的问题聚类噪声高维数据点到一个联盟的低维子空间和一组离群值。子空间的数量、维度和方向都是未知的。最近在[1]中引入的基于阈值的子空间聚类（TSC）算法的概率性能分析表明，TSC成功的噪声情况下，即使当子空间相交。我们的研究结果揭示了一个明确的权衡之间的允许的噪声水平和亲和力的子空间。我们还发现，简单的离群值检测方案介绍[1]证明成功的噪声情况下。
2013-07-18 cs.IT cs.LG math.IT
Non-Exhaustive, Overlapping Co-Clustering: An Extended Analysis
Sungkyunkwan University（成均馆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联合聚类的目标是同时识别二维的数据矩阵的行和列的聚类。目前已经提出了许多联合聚类技术，包括信息论联合聚类和最小平方和残差联合聚类方法。然而，大多数现有的联合聚类算法的目的是找到成对的不相交和穷举的共同集群，而许多现实世界的数据集不仅包含大量的重叠之间的共同集群，但离群值，不应该属于任何共同集群。在本文中，我们制定的问题，非穷举，重叠共聚类的行和列集群都允许彼此重叠和离群数据矩阵的每个维度不分配给任何集群。为了解决这个问题，我们提出了直观的目标函数，并开发了一个有效的迭代算法，我们称之为NEO-CC算法。我们从理论上表明，NEO-CC算法单调减少建议的目标函数。实验结果表明，NEO-CC算法能够有效地捕捉真实世界数据的底层共聚类结构，性能优于现有的聚类和共聚类方法.这份手稿包括对[21]的扩展分析。
2020-04-24 cs.LG stat.ML
When Bugs Linger: A Study of Anomalous Resolution Time Outliers and Their Themes
Juniper Networks Inc.（Juniper Networks公司）
本研究通过分析开源项目中bug解决时间的异常值，利用统计方法和聚类技术识别出测试失败、增强请求和用户界面问题等主题，为项目维护者提供解决长期bug的策略。
2026-01-07 cs.LG cs.SE
Unsupervised Learning of GMM with a Uniform Background Component
Florida State University（佛罗里达州立大学）
高斯混合模型是无监督学习中研究最多、最成熟的模型之一。然而，离群值经常出现在数据中，并可能影响聚类估计。在本文中，我们研究了一个新的模型，该模型假设数据来自一些高斯以及一个统一的“背景”组件的混合，假设包含离群值和其他非有趣的观察。我们开发了一种新的方法，鲁棒性的损失最小化的基础上，表现良好的聚类，如GMM与一个统一的背景。我们给我们的聚类算法，以获得最佳的聚类结果，以高概率的理论保证。此外，我们证明了我们的算法的结果不依赖于初始值或局部最优值，参数调整是一个简单的任务。通过数值模拟，我们证明了我们的算法具有较高的准确性，并取得了最好的聚类结果给出了足够大的样本量。最后，在真实数据集上与典型聚类方法的实验比较证明了该算法在实际应用中的潜力。
2020-03-20 cs.LG stat.ML
Robust Non-Linear Matrix Factorization for Dictionary Learning, Denoising, and Clustering
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Cornell University（康奈尔大学）
低维非线性结构广泛存在于计算机视觉和机器学习的数据集中。最近提出了核矩阵分解技术，通过观察足够大的特征空间中的矩阵图像是低秩的，来学习这些非线性结构，用于去噪、分类、字典学习和缺失数据填补。然而，这些非线性方法在稀疏噪声或离群值的存在下失败。在这项工作中，我们提出了一个新的鲁棒非线性分解方法称为鲁棒非线性矩阵分解（RNLMF）。RNLMF通过分解核化特征空间来构建数据空间的字典;然后可以将噪声矩阵分解为稀疏噪声矩阵和位于低维非线性流形中的干净数据矩阵的总和。RNLMF对稀疏噪声和离群值具有鲁棒性，并可扩展到具有数千行和列的矩阵。根据经验，RNLMF在去噪和聚类方面比基线方法取得了显着的改进。
2020-12-02 cs.LG stat.ML
Why Colors Make Clustering Harder:Global Integrality Gaps, the Price of Fairness, and Color-Coupled Algorithms in Chromatic Correlation Clustering
Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学）；Department of Civil, Construction & Environmental Engineering, Iowa State University（土木、建设与环境工程系，爱荷华州立大学）
本文研究了颜色对聚类算法的影响，揭示了跨边颜色干扰导致的积分间隙问题，并提出色耦合算法在色相关聚类中的应用，实现了更优的近似比。
2026-04-17 cs.LG
