Automating DBSCAN via Deep Reinforcement Learning
Beihang University(北京航空航天大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Macquarie University(麦考瑞大学)
DBSCAN以其简单实用的特点被广泛应用于科学和工程领域。然而,由于它的高敏感性参数,聚类结果的准确性在很大程度上依赖于实际经验。在本文中,我们首先提出了一种新的深度强化学习引导的自动DBSCAN参数搜索框架,即DRL-DBSCAN。该框架将聚类环境视为马尔可夫决策过程,将参数搜索方向的调整过程建模,以在不需要人工辅助的情况下找到最佳聚类参数。DRL-DBSCAN通过与聚类交互,使用弱监督奖励训练策略网络学习不同特征分布的最佳聚类参数搜索策略。此外,我们还提出了一个递归搜索机制驱动的规模的数据,以有效地和可控地处理大参数空间。基于所提出的四种工作模式,在五个人工和真实世界的数据集上进行了广泛的实验。离线和在线任务的结果表明,DRL-DBSCAN不仅持续提高DBSCAN聚类精度分别高达26%和25%,而且可以稳定地找到具有高计算效率的主导参数。该代码可在https://github.com/RingBDStack/DRL-DBSCAN上获得。
2022-08-09 cs.IR cs.LG
ADBSCAN: Adaptive Density-Based Spatial Clustering of Applications with Noise for Identifying Clusters with Varying Densities
Mississippi State University(密西西比州立大学);International University of Business Agriculture and Technology(国际商业农业与技术大学);Rajshahi University of Engineering and Technology(拉杰沙希工程技术大学)
基于密度的噪声应用空间聚类算法(DBSCAN)是一种对数据点密度恒定的数据集具有较高聚类效率的数据聚类算法。该算法的一个重要属性是噪声消除。然而,DBSCAN表现出不同密度的集群性能降低。因此,在本文中,提出了一种自适应DBSCAN,它可以很好地识别具有不同密度的集群。
2018-11-29 cs.CV cs.LG stat.ML
Block-Diagonal Guided DBSCAN Clustering
针对DBSCAN难以处理高维大规模数据、对参数敏感及鲁棒性差的问题,提出利用相似图的块对角性质指导聚类,结合梯度下降与密度遍历算法,在十二个基准数据集上表现优于现有方法。
2024-04-27 cs.AI cs.DS cs.LG
AMD-DBSCAN: An Adaptive Multi-density DBSCAN for datasets of extremely variable density
Sun Yat-sen University(中山大学);University of Nottingham(诺丁汉大学);Zhuhai Jieli Technology Co.,Ltd(珠海杰理科技有限公司)
针对传统DBSCAN在多密度数据集上聚类效果不佳的问题,提出仅需一个超参数的自适应多密度DBSCAN算法AMD-DBSCAN,通过改进参数自适应方法搜索多组参数对,引入邻居数方差衡量簇间密度差,在降低复杂度、缩短运行时间的同时提升了多密度场景聚类准确率。
2023-10-09 cs.DB cs.DC cs.LG
Dynamic DBSCAN with Euler Tour Sequences
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of St Andrews(圣安德鲁斯大学)
本文提出基于欧拉游程树的动态 DBSCAN 算法,以 O(d log³n + log⁴n) 复杂度支持在线插入删除,在保持聚类质量的同时显著提升动态数据集实时聚类速度。
2025-03-11 cs.DS cs.LG
The effect of measurement error on clustering algorithms
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Utrecht University(乌得勒支大学)
聚类由一组流行的技术组成,用于将数据分成感兴趣的组以进行进一步分析。众所周知,在其上执行聚类的许多数据源包含随机和系统测量误差。这样的错误可能不利地影响聚类。虽然已经开发了几种技术来处理这个问题,但对这些解决方案的有效性知之甚少。此外,没有工作到目前为止已经研究了系统误差对聚类解决方案的影响。在本文中,我们进行了蒙特卡罗研究调查的两个常见的聚类算法,合并和DBSCAN,随机和系统误差的敏感性。我们发现,测量误差是特别成问题的,当它是系统的,当它影响到数据集中的所有变量。对于这里考虑的条件,我们还发现,合并组件的基于分区的GMM比基于密度的DBSCAN程序对测量误差不太敏感。
2020-05-24 cs.LG stat.ML
An efficient density-based clustering algorithm using reverse nearest neighbour
University of Hertfordshire(赫特福德大学);University of Essex(埃塞克斯大学)
基于密度的聚类是发现实体(集群)的高密度区域的任务,这些区域被连续的低密度区域彼此分开。DBSCAN可以说是最流行的基于密度的聚类算法。但是,其群集恢复能力取决于这两个参数的组合。在本文中,我们提出了一种新的基于密度的聚类算法,它使用反向最近邻(RNN),并有一个单一的参数。我们还表明,它是可能的估计一个很好的值,这个参数使用聚类有效性指数。RNN查询使我们的算法能够考虑多个实体来估计密度,并恢复分离不佳或密度不同的集群。我们在合成数据集和真实数据集上的实验表明,我们提出的算法优于DBSCAN及其最近的变体ISDBSCAN。
2018-11-19 cs.LG stat.ML
Learned Accelerator Framework for Angular-Distance-Based High-Dimensional DBSCAN
University of Florida(佛罗里达大学)
基于密度的聚类是数据科学中常用的工具。今天,许多数据科学工作都在利用高维神经嵌入。然而,传统的基于密度的聚类技术(如DBSCAN)在高维数据上的性能有所下降。在本文中,我们提出了LAF,一个通用的学习加速器框架,以加速原始DBSCAN和基于采样的DBSCAN的变体在高维数据与角距离度量。该框架包括一个学习基数估计器和一个后处理模块。基数估计器可以快速预测数据点是否为核心,以跳过不必要的范围查询,而后处理模块检测假阴性预测并合并错误分离的聚类。评估表明,我们的LAF增强的DBSCAN方法在效率和质量上都优于最先进的高效DBSCAN变体。
2023-02-06 cs.DB cs.IR cs.LG
Nearest-Neighbour-Induced Isolation Similarity and its Impact on Density-Based Clustering
Monash University(莫纳什大学);Federation University(澳大利亚联邦大学);Deakin University(迪肯大学)
针对隔离相似性树实现方法的缺陷,提出近邻诱导的隔离相似性,将其替换DBSCAN的距离度量可显著提升性能,还定义了质量连通簇并给出相关检测条件。
2019-06-30 cs.LG stat.ML
Adaptive and Robust DBSCAN with Multi-agent Reinforcement Learning
Beihang University(北京航空航天大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出AR-DBSCAN框架,通过密度自适应分区与多智能体深度强化学习自动搜索聚类参数,显著提升了DBSCAN在不同密度数据集上的聚类精度与鲁棒性。
2025-05-07 cs.AI cs.LG
Unsupervised Learning: Comparative Analysis of Clustering Techniques on High-Dimensional Data
本研究针对高维数据聚类问题,提出结合多种降维技术与量化指标的评估框架,对比三类主流聚类算法,发现UMAP预处理可提升聚类质量,且不同算法各有适配场景,为高维数据聚类技术选型提供系统方法。
2025-07-30 cs.LG stat.ML
Geometric reconstructions of density based clusterings
University of Liverpool(利物浦大学)
DBSCAN* 和HDBSCAN* 是成熟的基于密度的聚类算法。然而,获得非常大的数据集的集群是不可行的,限制了它们在现实世界中的应用。通过利用几何的欧几里得空间,我们证明了它是可能的,系统地构建DBSCAN* 和HDBSCAN* 集群的有限$X\subset \mathbb{R}^n$从特定的子集$X$。我们能够控制这些子集的大小,因此我们的结果使聚类非常大的数据集成为可能。为了说明我们的理论,我们集群的微软建筑足迹数据库的美国,这是不可能使用的标准实现。
2022-03-14 cs.DM cs.LG stat.ML
IPD:An Incremental Prototype based DBSCAN for large-scale data with cluster representatives
Department of Computer Science
针对DBSCAN无法处理大数据和质心聚类无法识别非球形簇的问题,提出增量原型DBSCAN(IPD)算法,可识别大规模数据任意形状簇并为每个簇选择代表。
2023-10-11 cs.CV cs.DB cs.LG
Hierarchical clustering that takes advantage of both density-peak and density-connectivity
Deakin University(迪肯大学);Nanjing University(南京大学);Monash University(莫纳什大学)
针对DP与DBSCAN两类密度聚类算法的检测缺陷,本文提出融合二者优势的DC-HDP层次聚类算法,可识别任意形状与密度的簇并生成层次化结果,在14个数据集上优于7种主流算法。
2021-09-20 cs.AI cs.LG stat.ML
A Survey of Some Density Based Clustering Techniques
Icfai University Nagaland(那兰市伊克法伊大学);Sikkim Manipal Institute of Technology(锡金马尼帕尔理工学院)
本文对DBSCAN、OPTICS等多种基于密度的聚类方法进行综述,分析其特点、优缺点及在不同数据集上的适用性,为数据挖掘中的模式提取提供方法参考。
2023-07-23 cs.DB cs.LG
Improved Density-Based Spatio--Textual Clustering on Social Media
Dankook University(檀国大学)
当输入数据类型在文本描述方面是异构的时,DBSCAN可能是不够的。当我们旨在发现与社交媒体上的特定兴趣点(POI)相关的地理标记记录的集群时,仅检查一种类型的输入数据(例如,与POI相关的推文)可能由于噪声区域而绘制不完整的聚类图。为了克服这个问题,我们引入DBSTexC,一个新定义的基于密度的聚类算法,使用空间文本信息。我们首先将POI相关和POI不相关的推文分别描述为包含和不包含POI名称或其语义连贯变体的文本。通过利用POI相关和POI不相关推文的比例,所提出的算法在$\mathcal{F}_1$分数及其变体方面表现出比DBSCAN情况高得多的聚类性能。虽然DBSTexC在文本同质输入下的性能与DBSCAN完全相同,但它在文本异构输入下的性能远远优于DBSCAN。此外,为了进一步提高聚类质量,充分捕捉地理分布的推文,我们提出了模糊DBSTexC(F-DBSTexC),DBSTexC的扩展,它将模糊聚类的概念到DBSTexC。然后,我们通过密集的实验证明了F-DBSTexC的鲁棒性。我们的算法的计算复杂性也分析和数值显示。
2018-06-14 cs.AI cs.IR cs.LG
ExDBSCAN: Explaining DBSCAN with Counterfactual Reasoning -- Additional Material
Aarhus University Department of Computer Science(奥胡斯大学计算机科学系);Forschungszentrum Jülich(朱利奇研究中心);LMU Munich(慕尼黑大学);University of Southern Denmark Department of Computer Science and Mathematics(南丹麦大学计算机科学与数学系);MCML Munich Germany(慕尼黑MCML德国);DBS
提出ExDBSCAN方法,通过密度感知的反事实解释为DBSCAN聚类结果提供可解释性,理论保证有效性,实验证明优于基线。
2026-06-02 cs.LG
Fast Density Estimation for Density-based Clustering Methods
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院);LSEC(科学与工程计算国家重点实验室)
基于密度的聚类算法由于能够处理非超球形聚类,并且对离群点具有鲁棒性,被广泛应用于模式识别和机器学习中的聚类发现。然而,基于密度的算法的运行时间主要由寻找固定半径的近邻和计算密度来控制,这是耗时的。同时,传统的索引加速方法如KD树等在处理高维数据时效果不佳。在本文中,我们提出了一个快速区域查询算法命名为快速主成分分析修剪(称为FPCAP)的帮助下,快速主成分分析技术结合的几何信息提供的数据,它可以处理高维数据,并很容易地应用到基于密度的方法,以修剪不必要的距离计算时,发现邻居和估计密度。作为基于密度聚类方法的一种应用,FPCAP方法与基于密度的噪声应用空间聚类(DBSCAN)算法相结合。在此基础上,提出了一种改进的DBSCAN算法(IDBSCAN),该算法在保持DBSCAN算法优点的同时,大大减少了冗余距离的计算量。在7个基准数据集上的实验表明,该算法显著提高了计算效率。
2022-07-06 cs.LG
Enhancing cluster analysis via topological manifold learning
Ludwig-Maximilians-Universität München(慕尼黑大学);Christian-Albrechts-Universität zu Kiel(基尔大学)
我们讨论了聚类分析的拓扑方面,并表明,在聚类之前推断数据集的拓扑结构可以大大提高聚类检测:理论论据和经验证据表明,聚类嵌入向量,代表数据流形的结构,而不是观察到的特征向量本身,是非常有益的。为了证明,我们结合流形学习方法UMAP推断的拓扑结构与基于密度的聚类方法DBSCAN。合成和真实数据的结果表明,这既简化和提高聚类在不同的低维和高维问题,包括集群的不同密度和/或纠缠的形状。我们的方法简化了聚类,因为拓扑预处理一致地降低了DBSCAN的参数敏感性。使用DBSCAN对生成的嵌入进行聚类,甚至可以胜过SPECTACL和GAN等复杂方法。最后,我们的研究表明,聚类的关键问题似乎不是数据的标称维数或它包含多少不相关的功能,而是如何\textit{separable}的集群是在周围的观察空间中,他们嵌入,这通常是(高维)欧几里得空间定义的数据的功能。我们的方法是成功的,因为我们在将数据投影到一个更合适的空间后执行聚类分析,该空间在某种意义上针对可分性进行了优化。
2022-07-01 cs.LG
Multi-Slice Clustering for 3-order Tensor Data
Laboratoire d’Informatique de Paris Nord (LIPN)(巴黎北信息学实验室(LIPN));Université Sorbonne Paris Nord(索邦巴黎北大学)
三维数据三聚的几种方法需要在每个维度上指定簇的大小。这引入了一定程度的任意性。为了解决这个问题,我们提出了一种新的方法,即3阶张量数据集的多切片聚类(MSC)。我们在每个维度或张量模式中分析每个张量切片的谱分解,即矩阵。因此,我们定义了一个相似性度量矩阵切片之间的阈值(精度)参数,并从中确定一个集群。所有部分聚类的交集提供了所需的三聚类。我们的算法的有效性都显示在合成和真实世界的数据集。
2021-09-22 cs.LG stat.ML
An unsupervised clustering analysis of breast cancer data derived from electronic health records enhanced through UMAP dimensionality reduction
Dipartimento di Informatica Sistemistica e Comunicazione, Università di Milano-Bicocca(信息系统与通信系,米兰比可卡大学);Institute of Health Policy Management and Evaluation, University of Toronto(卫生政策管理与评估研究所,多伦多大学)
研究利用电子健康记录中的乳腺癌数据,先采用DBSCAN密度聚类法,又通过UMAP降维增强效果,用三个统计指标评估聚类结果,证实了UMAP与DBSCAN结合用于该数据聚类的有效性,为医学解读患者组提供了支持。
2026-07-22 cs.LG q-bio.QM
DBSCAN in domains with periodic boundary conditions
J.M. Burgers Center for Fluid Mechanics, Department of Applied Physics(J.M. Burgers流体力学中心,应用物理系);Science Education, Eindhoven University of Technology(科学教育,埃因霍温理工大学)
针对周期性边界条件下的数据聚类问题,提出一种基于DBSCAN的算法,利用开放域实现保持O(N log N)复杂度,并在合成数据及湍流气泡聚类中验证。
2025-08-06 cs.LG physics.comp-ph physics.flu-dyn
Computationally Efficient Labeling of Cancer Related Forum Posts by Non-Clinical Text Information Retrieval
Aarhus University(奥胡斯大学)
网上有大量关于癌症的信息,但分类和从中提取有用的信息是困难的。几乎所有的医疗数据处理研究都涉及正式的临床数据,但非临床数据中也有有价值的信息。本研究将分布式计算、文本检索、聚类和分类方法结合到一个连贯的、计算效率高的系统中,该系统可以根据非临床和免费提供的信息来阐明癌症患者的轨迹。我们制作了一个功能齐全的原型,可以从非临床论坛帖子中检索,聚类和呈现有关癌症轨迹的信息。我们评估三个聚类算法(MR-DBSCAN,DBSCAN和HDBSCAN),并比较它们在调整后的兰德指数和总运行时间作为检索到的帖子数和邻域半径的函数。聚类结果表明,邻域半径对聚类性能的影响最为显著。对于小的值,数据集相应地被分割,但是大的值产生大量可能的分区,并且搜索最佳分区因此是耗时的。通过适当的估计半径,MR-DBSCAN可以在46.1秒内聚类50000个论坛帖子,而DBSCAN(143.4)和HDBSCAN(282.3)。我们与丹麦癌症协会进行了采访,并提出了我们的软件原型。该组织看到了软件的潜力,可以使有关癌症的在线信息民主化,并预见未来将需要这样的系统。
2023-03-24 cs.AI cs.DC cs.IR
A Modular Spatial Clustering Algorithm with Noise Specification
PES University(PES大学)
本文提出受细菌生长启发的模块化聚类算法 Bacteria-Farm,在保持聚类性能的同时降低参数寻优难度,并支持显式指定聚类中需排除的噪声量。
2023-09-18 cs.DB cs.LG
Multiway clustering of 3-order tensor via affinity matrix
LIPN, UMR CNRS 7030(法国国家科学研究中心计算机科学与信号处理实验室(UMR 7030));Sorbonne Paris Nord University(索邦巴黎北大学);DAVID Lab(DAVID实验室);University of Versailles(凡尔赛大学);Université Paris-Saclay(巴黎萨克雷大学)
提出了一种基于亲和矩阵的三阶张量多路聚类方法。基于张量切片之间的相似性和每个切片的信息传播的概念,我们的模型建立了一个亲和性/相似性矩阵,我们应用先进的聚类方法。三种模式的所有集群的组合提供了所需的多路集群。最后,MCAM取得了竞争力的结果与其他已知的算法在合成和真实的数据集。
2023-03-14 cs.LG stat.ML
Unveiling 3D Ocean Biogeochemical Provinces in the North Atlantic: A Systematic Comparison and Validation of Clustering Methods
Faculty of Informatics, University of Bremen(不莱梅大学信息学院);Department of Computer Science, University of California(加州大学计算机科学系);University of Washington(华盛顿大学);NOAA/Geophysical Fluid Dynamics Laboratory(国家海洋和大气管理局流体动力学实验室);Geophysical Institute, University of Bergen(卑尔根大学地球物理研究所);Department of Technology, University of Applied Sciences(应用科学大学技术系)
本文在NEMI框架下系统比较了多种聚类方法,利用约3亿个实测数据客观界定了北大西洋的三维海洋生物地球化学省,发现UMAP-DBSCAN方法表现最佳,最终生成321个聚类且重现性高,为未来海洋区域研究提供了客观高效可重现的方法。
2025-08-11 cs.LG
Unsupervised Space-Time Clustering using Persistent Homology
University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出了一种新的时空数据聚类算法的拓扑数据分析的基础上,特别是持续同源的概念。在无监督学习中使用持久同源性-一种来自代数拓扑的灵活数学工具,用于从数据中提取拓扑信息-是一种不常见的新颖方法。这种方法的一个值得注意的方面在于分析多分辨率的数据,从而可以根据其持久性的程度将真实特征与噪声区分开来。我们评估我们的算法在合成数据上的性能,并将其与其他知名的聚类算法,如K-means,层次聚类和DBSCAN进行比较。我们说明其应用的背景下,在切萨皮克湾的水质的案例研究。
2019-10-25 cs.LG math.AT stat.ML
Nonlinear Markov Clustering by Minimum Curvilinear Sparse Similarity
基于非线性聚类的无监督模式识别算法的研究是数据科学中的一个重要问题。马尔可夫聚类(MCL)是一个著名的算法,它模拟样本相似性网络上的随机流,以检测数据中簇的结构组织,但它从来没有被推广到处理数据的非线性。最小曲线线性(MC)是一种用曲线距离来近似高维特征空间中的非线性样本距离的原则,曲线距离被计算为其最小生成树上的横向路径,然后存储在核中。在这里,我们提出了MC-MCL,这是第一个非线性内核扩展的MCL,并利用最小曲线性,以提高性能的真实和合成数据与潜在的非线性模式的MCL。将MC-MCL与DBSCAN、K-means和affinity propagation等基本聚类方法进行了比较。我们发现,最小Curvilinearity提供了一个有价值的框架,估计非线性距离时,其内核与MCL相结合。事实上,MC-MCL克服了经典的MCL,甚至基线聚类算法在不同的非线性数据集。
2019-12-27 cs.LG stat.ML
FISHDBC: Flexible, Incremental, Scalable, Hierarchical Density-Based Clustering for Arbitrary Data and Distance
Symantec Research Labs(赛门铁克研究实验室)
FISHDBC是一种灵活的、增量的、可扩展的、基于层次密度的聚类算法。它很灵活,因为它使用户能够处理任意数据,跳过通常将原始数据转换为数值数组的特征提取步骤,让用户定义任意距离函数。它是增量的和可扩展的:它避免了其他方法在非度量空间中的$\mathcal O(n^2)$性能,并且当添加很少的项时,只需要轻量级计算来更新聚类。它是分层的:它产生“扁平”聚类,该聚类可以扩展为树结构,从而当数据探索需要时,用户可以将聚类分组和/或划分为子聚类或超聚类。它是基于密度的,近似于HDBSCAN*,是DBSCAN的一种演变。
2019-10-16 cs.DS cs.LG stat.ML
Enabling clustering algorithms to detect clusters of varying densities through scale-invariant data preprocessing
Deakin University(迪肯大学);University of South Dakota(南达科他大学)
本文提出ARES秩变换预处理方法,使KMeans、DBSCAN和DP等聚类算法对数据表示更鲁棒,并能有效检测不同密度的簇,在多个真实数据集上取得更好且更一致的结果。
2024-01-21 cs.LG
Detecting outliers by clustering algorithms
School of Information Science and Technology, Beijing Forestry University(北京林业大学信息科学与技术学院);School of Computer Science & Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院)
针对多数聚类算法缺乏离群点检测能力、额外检测流程繁琐的问题,提出ODAR方法,通过特征变换分离离群点与正常对象,使任意聚类算法可通过识别簇检测离群点,在多数数据集上有效提升聚类准确率。
2024-12-07 cs.LG stat.ML
Parallel Computation of Multi-Slice Clustering of Third-Order Tensors
Laboratoire d’Informatique de Paris Nord(巴黎北部信息学实验室);École de Technologie Supérieure(高等技术学院);University of Versailles(凡尔赛大学);Université Paris-Saclay(巴黎萨克雷大学)
针对三阶张量 MSC 在海量数据下的计算挑战,本文提出基于分布式内存、按张量模式并行的谱分析算法,证明其优于串行方案并提升可扩展性。
2023-09-29 cs.DC cs.LG
AdaBox: Adaptive Density-Based Box Clustering with Parameter Generalization
Independent Researcher(独立研究者)
AdaBox是一种基于网格的密度聚类算法,通过六参数设计实现参数泛化,能在不同数据几何结构中保持鲁棒性,实验显示其在多个指标上优于DBSCAN和HDBSCAN。
2026-03-06 cs.AI cs.LG
Clustering Algorithms to Analyze the Road Traffic Crashes
University of Asia Pacific(亚太大学);West Chester University(西切斯特大学);King Saud University(沙特国王大学)
选择一个合适的聚类方法,以及在道路事故数据的最佳数量的集群有时是混乱和困难的。本文分析了不同的现有技术适用于集群事故易发区的缺点,并建议使用基于密度的空间聚类的应用程序与噪声(DBSCAN)和排序点,以确定聚类结构(OPTICS),以克服它们。比较性能分析的基础上记录的情况下,在北卡罗来纳州的道路交通事故的真实数据,也表明这些算法实现了更有效性和效率。
2021-08-07 cs.LG
Error Discovery by Clustering Influence Embeddings
Meta;Prescient Design / Genentech(Prescient Design / 基因泰克);Cornell University(康奈尔大学)
本文提出切片发现方法 InfEmbed,利用影响函数构建影响嵌入并进行 K-Means 聚类,以发现因相同原因出错的连贯切片;实验表明其在2个基准上优于现有方法,并适用于模型调试。
2023-12-07 cs.LG
Meta-Learning to Cluster
Columbia University(哥伦比亚大学)
聚类是探索性数据分析中最基本、最广泛的技术之一。然而,聚类的基本方法并没有真正改变:从业者手工挑选特定于任务的聚类损失来优化和拟合给定的数据,以揭示底层的聚类结构。某些类型的损失-如k-means或其非线性版本:核化k-means(基于质心)和DBSCAN(基于密度)-是流行的选择,因为它们在一系列应用中具有良好的经验性能。尽管使用这些标准损失的聚类输出经常无法揭示底层结构,并且从业者必须定制设计自己的变化。在这项工作中,我们采取了一种本质上不同的方法来聚类:而不是将数据集拟合到特定的聚类损失,我们训练一个学习如何聚类的循环模型。该模型使用数据集(作为输入)及其相应的聚类标识(作为输出)作为训练对。通过提供多种类型的训练数据集作为输入,我们的模型能够很好地概括看不见的数据集(新的聚类任务)。我们的实验表明,通过在简单的综合生成的数据集或现有的真实数据集上进行训练,与标准的基准聚类技术相比,我们可以在看不见的真实数据集上实现更好的聚类性能。我们的Meta聚类模型即使对于通常的深度学习模型往往表现较差的小数据集也能很好地工作。
2019-10-30 cs.LG stat.ML
Automated regime classification in multidimensional time series data using sliced Wasserstein k-means clustering
Citigroup, London, UK(伦敦英国摩根大通公司);Data Science Institute, London School of Economics, London, UK(伦敦经济学院数据科学研究所)
提出切片Wasserstein k-means聚类方法,通过近似多维Wasserstein距离,实现多维时间序列数据的自动制度分类,并在合成数据和真实外汇数据中验证有效性。
2026-05-24 cs.LG q-fin.CP q-fin.MF
LINSCAN -- A Linearity Based Clustering Algorithm
Computational and Applied Mathematics University of Chicago(计算与应用数学大学芝加哥);Institute of Geophysics and Planetary Physics Scripps Institution of Oceanography University of California San Diego(地球物理与行星物理研究所斯克里普斯海洋研究所加州大学圣地亚哥分校);Department of Structural Engineering University of California San Diego(结构工程系加州大学圣地亚哥分校);Department of Mathematics and Halicioğlu Data Science Institute University of California San Diego(数学系哈利奇奥格卢数据科学研究所加州大学圣地亚哥分校)
本文提出LINSCAN算法,利用DBSCAN和OPTICS的优势,通过局部邻域的正态分布近似和KL散度距离函数,检测空间接近但协方差正交的线性聚类,并应用于地震数据识别活动断层。
2025-11-25 cs.CG cs.LG
Internal Evaluation of Density-Based Clusterings with Noise
University of Vienna(维也纳大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Aarhus University(奥胡斯大学)
DISCO是一种新的聚类验证指数,专门用于评估密度聚类中噪声分配的质量,通过密度连通性改进轮廓系数,解决噪声评估和边缘情况处理问题。
2025-12-10 cs.LG stat.ML
An Improved Probability Propagation Algorithm for Density Peak Clustering Based on Natural Nearest Neighborhood
University of Science and Technology of China(中国科学技术大学)
通过快速搜索和找到密度峰值(DPC)进行聚类(Since,2014)已被证明是一种有前途的聚类方法,其通过找到密度峰值来有效地发现聚类中心。DPC的精度取决于截断距离($d_c$)、聚类数($k$)和聚类中心的选择。此外,最终的分配策略是敏感的,具有差的容错。上述缺点使得该算法对参数敏感,只适用于某些特定的数据集。针对DPC算法的局限性,提出了一种改进的基于自然最近邻的概率传播密度峰值聚类算法(DPC-PPNNN)。DPC-PPNNN通过引入自然最近邻和概率传播的思想,实现了非参数聚类过程,使算法适用于更复杂的数据集。在几个数据集上的实验中,DPC-PPNNN的性能优于DPC,K-means和DBSCAN。
2022-07-04 cs.LG
VDPC: Variational Density Peak Clustering Algorithm
College of Information Engineering, Yangzhou University(扬州大学信息工程学院);Institute of Scientific and Technical Information of China(中国科学技术信息研究所);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly, Nanyang Technological University(南洋理工大学-不列颠哥伦比亚大学老年人积极生活卓越联合研究中心);Joint NTU-WeBank Research Centre on Fintech, Nanyang Technological University(南洋理工大学-微众银行金融科技联合研究中心)
广泛应用的密度峰值聚类(DPC)算法提出了一个直观的聚类形成假设,即聚类中心通常被具有较低局部密度的数据点包围,并且远离其他具有较高局部密度的数据点。然而,这种假设受到一个限制,即当识别具有较低密度的集群时,它通常是有问题的,因为它们可能很容易合并到具有较高密度的其他集群中。因此,DPC可能无法识别具有变化密度的聚类。为了解决这个问题,我们提出了一个变分密度峰值聚类(VDPC)算法,它的目的是系统和自主地执行聚类任务的数据集与各种类型的密度分布。具体而言,我们首先提出了一种新的方法来确定所有数据点之间的代表,并构建初始聚类的基础上确定的代表进一步分析的集群的属性。此外,我们将所有的数据点划分为不同的级别,根据其局部密度,并提出了一个统一的聚类框架,结合DPC和DBSCAN的优点。因此,系统地处理跨越不同密度水平的所有识别的初始聚类以形成最终聚类。为了评估所提出的VDPC算法的有效性,我们进行了广泛的实验,使用20个数据集,包括8个合成,6个真实世界和6个图像数据集。实验结果表明,VDPC算法优于两种经典算法(即,DPC和DBSCAN)和四种最先进的扩展DPC算法。
2021-12-29 cs.AI cs.LG
Meal-taking activity monitoring in the elderly based on sensor data: Comparison of unsupervised classification methods
LAAS-CNRS, University of Toulouse(图卢兹大学LAAS-CNRS实验室)
本文比较K-Means、GMM和DBSCAN在老年人进餐活动传感器数据上的无监督聚类效果,发现K-Means以最低DBI实现最优聚类,并提出结合GMM平均时长区分进餐类别的有效策略。
2024-09-04 cs.LG eess.SP stat.AP
Fast Online Clustering with Randomized Skeleton Sets
Google Research(谷歌研究院)
我们提出了一种新的快速在线聚类算法,可靠地恢复任意形状的数据集群在高吞吐量的数据流。与现有的基于k-means或k-medoid的最先进的在线聚类方法不同,它不做任何限制性的生成假设。此外,与现有的非参数聚类技术(如DBScan或DenStream)相比,它提供了可证明的理论保证。为了实现快速聚类,我们建议用一个骨架集来表示每个聚类,该骨架集随着新数据的出现而不断更新。骨架集由来自数据的加权样本组成,其中权重编码局部密度。每个骨架集的大小根据簇的几何形状进行调整。所提出的技术自动检测聚类的数量,并对离群值具有鲁棒性。该算法适用于无限的数据流,其中超过一个通过的数据是不可行的。我们提供的聚类质量的理论保证,也证明了它的优势,现有的国家的最先进的几个数据集。
2015-06-10 cs.AI cs.LG
Fast and explainable clustering in the Manhattan and Tanimoto distance
Department of Mathematics, University of Manchester, United Kingdom(曼彻斯特大学数学系)
CLASSIX算法在曼哈顿和陶林顿距离下实现快速且可解释的聚类,显著提升速度并产生高质量聚类。
2026-01-13 cs.LG
Variational Auto Encoder Gradient Clustering
KTH Royal Institute of Technology(瑞典皇家理工学院)
近年来,使用深度神经网络模型的聚类得到了广泛的研究。其中最流行的框架是VAE和GAN框架,它们通过编码器/解码器神经网络结构来学习数据的潜在特征表示。这是聚类任务的合适基础,因为潜在空间通常似乎可以有效地捕捉数据的内在本质,简化其流形并减少噪音。在这篇文章中,VAE框架被用来研究如何使用数据点上的概率函数梯度上升来处理数据,以实现更好的聚类。与未处理的数据相比,观察到分类的改进,尽管没有获得最先进的结果。然而,用梯度下降处理数据会导致更明显的聚类分离,从而更容易研究合适的超参数设置,例如聚类数量。我们提出了一种简单而有效的方法,基于DBSCAN聚类算法来研究数据的合适集群数量,并证明梯度处理有助于集群数量的确定。作为一个额外的好奇心,我们发现我们用于比较的基线模型;在训练期间(自动编码器)重建的VAE结构的t-SNE潜在空间上的GMM,在MNIST数据上产生最先进的结果,据我们所知,没有被任何其他现有模型击败。
2021-05-11 cs.LG
Massively-Parallel Heat Map Sorting and Applications To Explainable Clustering
Sharif University of Technology(谢里夫理工大学)
本文提出了热图排序问题以在保持簇连通性的前提下重排与合并点及维度,证明了其NP难性,并给出了大规模并行计算模型下的常数轮次固定参数算法及NP难特例的近似算法,实证表明其优于k-means和DBSCAN。
2023-09-14 cs.DC cs.DS cs.LG
Discovery of Web Usage Profiles Using Various Clustering Techniques
P.A. College of Engineering(P.A.工程学院);J.N.T. University(J.N.T.大学)
万维网(WWW)的爆炸式增长,有必要开发Web个性化系统,以了解用户的喜好,动态地为个人用户提供定制的内容。为了从Web使用数据中揭示用户偏好信息,Web使用挖掘(WUM)技术被广泛应用于Web日志数据。聚类技术被广泛用于WUM中,以捕获访问Web站点的用户之间的相似兴趣和趋势。聚类的目的是将数据集划分为组或簇,其中簇间相似性最小化,而簇内相似性最大化。本文综述了四种常用的聚类技术:k-Means,k-Medoids,Leader和DBSCAN。这些技术的实现和测试对Web用户的导航数据。每种技术的性能和有效性的结果进行了介绍和比较。
2015-09-01 cs.DB cs.IR cs.LG
Stable and consistent density-based clustering via multiparameter persistence
本文提出基于度-里斯多参数构造的密度聚类算法Persistable,通过对应交错距离证明其稳定性与一致性,并开发可视化工具指导参数选择,在基准数据上有效识别多尺度聚类结构。
2025-06-22 cs.LG math.ST stat.ML
Quantitative Evaluation of Performance and Validity Indices for Clustering the Web Navigational Sessions
P.A. College of Engineering(P.A.工程学院);Jawaharlal Nehru Technical University(贾瓦哈拉尔·尼赫鲁技术大学)
聚类技术被广泛用于Web使用挖掘中,以捕获访问Web站点的用户之间的相似兴趣和趋势。为此,在特定网站处生成的web访问日志被预处理以发现用户导航会话。然后应用聚类技术将用户会话数据分组为用户会话簇,其中簇间相似性最小化,而簇内相似性最大化。由于不同聚类算法的应用通常会导致不同的聚类形成集,因此重要的是要评估这些方法在聚类的准确性和有效性方面的性能,以及使用适当的性能度量生成它们所需的时间。本文介绍了各种有效性和准确性的措施,包括邓恩的指数,戴维斯博尔丁指数,C指数,兰德指数,杰卡尔指数,剪影指数,Fowlkes马洛和平方误差之和(SSE)。我们对以下聚类技术进行了性能评估:k-Means,k-Medoids,Leader,Single Link Agglomerative Hierarchical和DBSCAN。这些技术的实现和测试对Web用户的导航数据。最后给出了它们的性能结果并进行了比较。
2015-07-13 cs.LG cs.SI
Persistent Multiscale Density-based Clustering
UHasselt(哈瑟尔特大学);Tutte Institute for Mathematics and Computing(塔特数学与计算研究所);KU Leuven(鲁汶大学)
研究提出多尺度密度聚类算法PLSCAN,用基于持久性的聚类选择取代HDBSCAN*的固定最小聚类大小修剪,在真实数据集上与HDBSCAN*比较,性能更优,对参数变化不敏感且稳定性高,还与k-Means++比较计算成本,低维数据集运行时间有竞争力。
2026-07-10 cs.LG
Density-aware Hierarchical Clustering Based on Element-Categorized Connection Subgraphs
Tongji University(同济大学);RadioSky (Shanghai) Communication Technology Co., Ltd(天睿(上海)通信技术有限公司)
本文提出DHC-ECS方法,整合三类聚类技术,引入新型相似度度量,在异构基准数据集上较基线方法表现更优,可减少人工参数调整依赖。
2026-08-10 cs.AI cs.LG
Efficient Large Scale Clustering based on Data Partitioning
Insight Centre for Data Analytics School of Computer Science University College Dublin(都柏林大学学院计算机科学学院数据洞察中心);School of Computer Science University College Dublin(都柏林大学学院计算机科学学院)
聚类技术在数据集模式的提取和识别方面具有很强的吸引力。然而,他们的应用程序非常大的空间数据集提出了许多挑战,如高维数据,异构性和一些算法的高复杂性。例如,一些算法可能具有线性复杂度,但它们需要领域知识来确定它们的输入参数。分布式集群技术构成了大数据挑战的一个非常好的替代方案(例如,Volume、Variety、Veracity和Velocity)。这些技术通常包括两个阶段。第一阶段生成局部模型或模式,第二阶段倾向于聚合局部结果以获得全局模型。虽然第一阶段可以在每个站点上并行执行,因此是高效的,但聚合阶段是复杂的、耗时的,并且可能产生不正确和模糊的全局聚类,从而产生不正确的模型。在本文中,我们提出了一种新的分布式聚类方法,有效地处理这两个阶段,生成的本地结果和生成的全球模型的聚合。对于第一阶段,我们的方法是能够分析位于每个网站使用不同的聚类技术的数据集。聚合阶段的设计方式是,最终的集群是紧凑和准确的,而整个过程是有效的时间和内存分配。对于评估,我们使用两个著名的聚类算法,K-Means和DBSCAN。这种分布式聚类技术的一个关键输出是全局聚类的数量是动态的,不需要预先固定。实验结果表明,该方法具有可扩展性,并产生高质量的结果。
2018-02-26 cs.DB cs.LG