Automating DBSCAN via Deep Reinforcement Learning
Beihang University(北京航空航天大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Macquarie University(麦考瑞大学)
DBSCAN以其简单实用的特点被广泛应用于科学和工程领域。然而,由于它的高敏感性参数,聚类结果的准确性在很大程度上依赖于实际经验。在本文中,我们首先提出了一种新的深度强化学习引导的自动DBSCAN参数搜索框架,即DRL-DBSCAN。该框架将聚类环境视为马尔可夫决策过程,将参数搜索方向的调整过程建模,以在不需要人工辅助的情况下找到最佳聚类参数。DRL-DBSCAN通过与聚类交互,使用弱监督奖励训练策略网络学习不同特征分布的最佳聚类参数搜索策略。此外,我们还提出了一个递归搜索机制驱动的规模的数据,以有效地和可控地处理大参数空间。基于所提出的四种工作模式,在五个人工和真实世界的数据集上进行了广泛的实验。离线和在线任务的结果表明,DRL-DBSCAN不仅持续提高DBSCAN聚类精度分别高达26%和25%,而且可以稳定地找到具有高计算效率的主导参数。该代码可在https://github.com/RingBDStack/DRL-DBSCAN上获得。
2022-08-09 cs.IR cs.LG
ADBSCAN: Adaptive Density-Based Spatial Clustering of Applications with Noise for Identifying Clusters with Varying Densities
Mississippi State University(密西西比州立大学);International University of Business Agriculture and Technology(国际商业农业与技术大学);Rajshahi University of Engineering and Technology(拉杰沙希工程技术大学)
基于密度的噪声应用空间聚类算法(DBSCAN)是一种对数据点密度恒定的数据集具有较高聚类效率的数据聚类算法。该算法的一个重要属性是噪声消除。然而,DBSCAN表现出不同密度的集群性能降低。因此,在本文中,提出了一种自适应DBSCAN,它可以很好地识别具有不同密度的集群。
2018-11-29 cs.CV cs.LG stat.ML
Block-Diagonal Guided DBSCAN Clustering
针对DBSCAN难以处理高维大规模数据、对参数敏感及鲁棒性差的问题,提出利用相似图的块对角性质指导聚类,结合梯度下降与密度遍历算法,在十二个基准数据集上表现优于现有方法。
2024-04-27 cs.AI cs.DS cs.LG
AMD-DBSCAN: An Adaptive Multi-density DBSCAN for datasets of extremely variable density
Sun Yat-sen University(中山大学);University of Nottingham(诺丁汉大学);Zhuhai Jieli Technology Co.,Ltd(珠海杰理科技有限公司)
针对传统DBSCAN在多密度数据集上聚类效果不佳的问题,提出仅需一个超参数的自适应多密度DBSCAN算法AMD-DBSCAN,通过改进参数自适应方法搜索多组参数对,引入邻居数方差衡量簇间密度差,在降低复杂度、缩短运行时间的同时提升了多密度场景聚类准确率。
2023-10-09 cs.DB cs.DC cs.LG
Dynamic DBSCAN with Euler Tour Sequences
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of St Andrews(圣安德鲁斯大学)
本文提出基于欧拉游程树的动态 DBSCAN 算法,以 O(d log³n + log⁴n) 复杂度支持在线插入删除,在保持聚类质量的同时显著提升动态数据集实时聚类速度。
2025-03-11 cs.DS cs.LG
An efficient density-based clustering algorithm using reverse nearest neighbour
University of Hertfordshire(赫特福德大学);University of Essex(埃塞克斯大学)
基于密度的聚类是发现实体(集群)的高密度区域的任务,这些区域被连续的低密度区域彼此分开。DBSCAN可以说是最流行的基于密度的聚类算法。但是,其群集恢复能力取决于这两个参数的组合。在本文中,我们提出了一种新的基于密度的聚类算法,它使用反向最近邻(RNN),并有一个单一的参数。我们还表明,它是可能的估计一个很好的值,这个参数使用聚类有效性指数。RNN查询使我们的算法能够考虑多个实体来估计密度,并恢复分离不佳或密度不同的集群。我们在合成数据集和真实数据集上的实验表明,我们提出的算法优于DBSCAN及其最近的变体ISDBSCAN。
2018-11-19 cs.LG stat.ML
Learned Accelerator Framework for Angular-Distance-Based High-Dimensional DBSCAN
University of Florida(佛罗里达大学)
基于密度的聚类是数据科学中常用的工具。今天,许多数据科学工作都在利用高维神经嵌入。然而,传统的基于密度的聚类技术(如DBSCAN)在高维数据上的性能有所下降。在本文中,我们提出了LAF,一个通用的学习加速器框架,以加速原始DBSCAN和基于采样的DBSCAN的变体在高维数据与角距离度量。该框架包括一个学习基数估计器和一个后处理模块。基数估计器可以快速预测数据点是否为核心,以跳过不必要的范围查询,而后处理模块检测假阴性预测并合并错误分离的聚类。评估表明,我们的LAF增强的DBSCAN方法在效率和质量上都优于最先进的高效DBSCAN变体。
2023-02-06 cs.DB cs.IR cs.LG
Nearest-Neighbour-Induced Isolation Similarity and its Impact on Density-Based Clustering
Monash University(莫纳什大学);Federation University(澳大利亚联邦大学);Deakin University(迪肯大学)
针对隔离相似性树实现方法的缺陷,提出近邻诱导的隔离相似性,将其替换DBSCAN的距离度量可显著提升性能,还定义了质量连通簇并给出相关检测条件。
2019-06-30 cs.LG stat.ML
Adaptive and Robust DBSCAN with Multi-agent Reinforcement Learning
Beihang University(北京航空航天大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出AR-DBSCAN框架,通过密度自适应分区与多智能体深度强化学习自动搜索聚类参数,显著提升了DBSCAN在不同密度数据集上的聚类精度与鲁棒性。
2025-05-07 cs.AI cs.LG
Unsupervised Learning: Comparative Analysis of Clustering Techniques on High-Dimensional Data
本研究针对高维数据聚类问题,提出结合多种降维技术与量化指标的评估框架,对比三类主流聚类算法,发现UMAP预处理可提升聚类质量,且不同算法各有适配场景,为高维数据聚类技术选型提供系统方法。
2025-07-30 cs.LG stat.ML
Geometric reconstructions of density based clusterings
University of Liverpool(利物浦大学)
DBSCAN* 和HDBSCAN* 是成熟的基于密度的聚类算法。然而,获得非常大的数据集的集群是不可行的,限制了它们在现实世界中的应用。通过利用几何的欧几里得空间,我们证明了它是可能的,系统地构建DBSCAN* 和HDBSCAN* 集群的有限$X\subset \mathbb{R}^n$从特定的子集$X$。我们能够控制这些子集的大小,因此我们的结果使聚类非常大的数据集成为可能。为了说明我们的理论,我们集群的微软建筑足迹数据库的美国,这是不可能使用的标准实现。
2022-03-14 cs.DM cs.LG stat.ML
IPD:An Incremental Prototype based DBSCAN for large-scale data with cluster representatives
Department of Computer Science
针对DBSCAN无法处理大数据和质心聚类无法识别非球形簇的问题,提出增量原型DBSCAN(IPD)算法,可识别大规模数据任意形状簇并为每个簇选择代表。
2023-10-11 cs.CV cs.DB cs.LG
Hierarchical clustering that takes advantage of both density-peak and density-connectivity
Deakin University(迪肯大学);Nanjing University(南京大学);Monash University(莫纳什大学)
针对DP与DBSCAN两类密度聚类算法的检测缺陷,本文提出融合二者优势的DC-HDP层次聚类算法,可识别任意形状与密度的簇并生成层次化结果,在14个数据集上优于7种主流算法。
2021-09-20 cs.AI cs.LG stat.ML
A Survey of Some Density Based Clustering Techniques
Icfai University Nagaland(那兰市伊克法伊大学);Sikkim Manipal Institute of Technology(锡金马尼帕尔理工学院)
本文对DBSCAN、OPTICS等多种基于密度的聚类方法进行综述,分析其特点、优缺点及在不同数据集上的适用性,为数据挖掘中的模式提取提供方法参考。
2023-07-23 cs.DB cs.LG
Improved Density-Based Spatio--Textual Clustering on Social Media
Dankook University(檀国大学)
当输入数据类型在文本描述方面是异构的时,DBSCAN可能是不够的。当我们旨在发现与社交媒体上的特定兴趣点(POI)相关的地理标记记录的集群时,仅检查一种类型的输入数据(例如,与POI相关的推文)可能由于噪声区域而绘制不完整的聚类图。为了克服这个问题,我们引入DBSTexC,一个新定义的基于密度的聚类算法,使用空间文本信息。我们首先将POI相关和POI不相关的推文分别描述为包含和不包含POI名称或其语义连贯变体的文本。通过利用POI相关和POI不相关推文的比例,所提出的算法在$\mathcal{F}_1$分数及其变体方面表现出比DBSCAN情况高得多的聚类性能。虽然DBSTexC在文本同质输入下的性能与DBSCAN完全相同,但它在文本异构输入下的性能远远优于DBSCAN。此外,为了进一步提高聚类质量,充分捕捉地理分布的推文,我们提出了模糊DBSTexC(F-DBSTexC),DBSTexC的扩展,它将模糊聚类的概念到DBSTexC。然后,我们通过密集的实验证明了F-DBSTexC的鲁棒性。我们的算法的计算复杂性也分析和数值显示。
2018-06-14 cs.AI cs.IR cs.LG
ExDBSCAN: Explaining DBSCAN with Counterfactual Reasoning -- Additional Material
Aarhus University Department of Computer Science(奥胡斯大学计算机科学系);Forschungszentrum Jülich(朱利奇研究中心);LMU Munich(慕尼黑大学);University of Southern Denmark Department of Computer Science and Mathematics(南丹麦大学计算机科学与数学系);MCML Munich Germany(慕尼黑MCML德国);DBS
提出ExDBSCAN方法,通过密度感知的反事实解释为DBSCAN聚类结果提供可解释性,理论保证有效性,实验证明优于基线。
2026-06-02 cs.LG
Fast Density Estimation for Density-based Clustering Methods
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院);LSEC(科学与工程计算国家重点实验室)
基于密度的聚类算法由于能够处理非超球形聚类,并且对离群点具有鲁棒性,被广泛应用于模式识别和机器学习中的聚类发现。然而,基于密度的算法的运行时间主要由寻找固定半径的近邻和计算密度来控制,这是耗时的。同时,传统的索引加速方法如KD树等在处理高维数据时效果不佳。在本文中,我们提出了一个快速区域查询算法命名为快速主成分分析修剪(称为FPCAP)的帮助下,快速主成分分析技术结合的几何信息提供的数据,它可以处理高维数据,并很容易地应用到基于密度的方法,以修剪不必要的距离计算时,发现邻居和估计密度。作为基于密度聚类方法的一种应用,FPCAP方法与基于密度的噪声应用空间聚类(DBSCAN)算法相结合。在此基础上,提出了一种改进的DBSCAN算法(IDBSCAN),该算法在保持DBSCAN算法优点的同时,大大减少了冗余距离的计算量。在7个基准数据集上的实验表明,该算法显著提高了计算效率。
2022-07-06 cs.LG
Enhancing cluster analysis via topological manifold learning
Ludwig-Maximilians-Universität München(慕尼黑大学);Christian-Albrechts-Universität zu Kiel(基尔大学)
我们讨论了聚类分析的拓扑方面,并表明,在聚类之前推断数据集的拓扑结构可以大大提高聚类检测:理论论据和经验证据表明,聚类嵌入向量,代表数据流形的结构,而不是观察到的特征向量本身,是非常有益的。为了证明,我们结合流形学习方法UMAP推断的拓扑结构与基于密度的聚类方法DBSCAN。合成和真实数据的结果表明,这既简化和提高聚类在不同的低维和高维问题,包括集群的不同密度和/或纠缠的形状。我们的方法简化了聚类,因为拓扑预处理一致地降低了DBSCAN的参数敏感性。使用DBSCAN对生成的嵌入进行聚类,甚至可以胜过SPECTACL和GAN等复杂方法。最后,我们的研究表明,聚类的关键问题似乎不是数据的标称维数或它包含多少不相关的功能,而是如何\textit{separable}的集群是在周围的观察空间中,他们嵌入,这通常是(高维)欧几里得空间定义的数据的功能。我们的方法是成功的,因为我们在将数据投影到一个更合适的空间后执行聚类分析,该空间在某种意义上针对可分性进行了优化。
2022-07-01 cs.LG
An unsupervised clustering analysis of breast cancer data derived from electronic health records enhanced through UMAP dimensionality reduction
Dipartimento di Informatica Sistemistica e Comunicazione, Università di Milano-Bicocca(信息系统与通信系,米兰比可卡大学);Institute of Health Policy Management and Evaluation, University of Toronto(卫生政策管理与评估研究所,多伦多大学)
研究利用电子健康记录中的乳腺癌数据,先采用DBSCAN密度聚类法,又通过UMAP降维增强效果,用三个统计指标评估聚类结果,证实了UMAP与DBSCAN结合用于该数据聚类的有效性,为医学解读患者组提供了支持。
2026-07-22 cs.LG q-bio.QM
Computationally Efficient Labeling of Cancer Related Forum Posts by Non-Clinical Text Information Retrieval
Aarhus University(奥胡斯大学)
网上有大量关于癌症的信息,但分类和从中提取有用的信息是困难的。几乎所有的医疗数据处理研究都涉及正式的临床数据,但非临床数据中也有有价值的信息。本研究将分布式计算、文本检索、聚类和分类方法结合到一个连贯的、计算效率高的系统中,该系统可以根据非临床和免费提供的信息来阐明癌症患者的轨迹。我们制作了一个功能齐全的原型,可以从非临床论坛帖子中检索,聚类和呈现有关癌症轨迹的信息。我们评估三个聚类算法(MR-DBSCAN,DBSCAN和HDBSCAN),并比较它们在调整后的兰德指数和总运行时间作为检索到的帖子数和邻域半径的函数。聚类结果表明,邻域半径对聚类性能的影响最为显著。对于小的值,数据集相应地被分割,但是大的值产生大量可能的分区,并且搜索最佳分区因此是耗时的。通过适当的估计半径,MR-DBSCAN可以在46.1秒内聚类50000个论坛帖子,而DBSCAN(143.4)和HDBSCAN(282.3)。我们与丹麦癌症协会进行了采访,并提出了我们的软件原型。该组织看到了软件的潜力,可以使有关癌症的在线信息民主化,并预见未来将需要这样的系统。
2023-03-24 cs.AI cs.DC cs.IR
A Modular Spatial Clustering Algorithm with Noise Specification
PES University(PES大学)
本文提出受细菌生长启发的模块化聚类算法 Bacteria-Farm,在保持聚类性能的同时降低参数寻优难度,并支持显式指定聚类中需排除的噪声量。
2023-09-18 cs.DB cs.LG
Unveiling 3D Ocean Biogeochemical Provinces in the North Atlantic: A Systematic Comparison and Validation of Clustering Methods
Faculty of Informatics, University of Bremen(不莱梅大学信息学院);Department of Computer Science, University of California(加州大学计算机科学系);University of Washington(华盛顿大学);NOAA/Geophysical Fluid Dynamics Laboratory(国家海洋和大气管理局流体动力学实验室);Geophysical Institute, University of Bergen(卑尔根大学地球物理研究所);Department of Technology, University of Applied Sciences(应用科学大学技术系)
本文在NEMI框架下系统比较了多种聚类方法,利用约3亿个实测数据客观界定了北大西洋的三维海洋生物地球化学省,发现UMAP-DBSCAN方法表现最佳,最终生成321个聚类且重现性高,为未来海洋区域研究提供了客观高效可重现的方法。
2025-08-11 cs.LG
Unsupervised Space-Time Clustering using Persistent Homology
University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出了一种新的时空数据聚类算法的拓扑数据分析的基础上,特别是持续同源的概念。在无监督学习中使用持久同源性-一种来自代数拓扑的灵活数学工具,用于从数据中提取拓扑信息-是一种不常见的新颖方法。这种方法的一个值得注意的方面在于分析多分辨率的数据,从而可以根据其持久性的程度将真实特征与噪声区分开来。我们评估我们的算法在合成数据上的性能,并将其与其他知名的聚类算法,如K-means,层次聚类和DBSCAN进行比较。我们说明其应用的背景下,在切萨皮克湾的水质的案例研究。
2019-10-25 cs.LG math.AT stat.ML
SPINEX-Clustering: Similarity-based Predictions with Explainable Neighbors Exploration for Clustering Problems
Clemson University(克莱姆森大学);University of Manitoba(曼尼托巴大学)
本研究提出新型聚类算法SPINEX-Clustering,利用子空间高阶交互实现聚类,经51个多类型数据集基准测试,性能跻身前5且复杂度适中,兼具可解释性。
2024-07-09 cs.LG stat.ML
LINSCAN -- A Linearity Based Clustering Algorithm
Computational and Applied Mathematics University of Chicago(计算与应用数学大学芝加哥);Institute of Geophysics and Planetary Physics Scripps Institution of Oceanography University of California San Diego(地球物理与行星物理研究所斯克里普斯海洋研究所加州大学圣地亚哥分校);Department of Structural Engineering University of California San Diego(结构工程系加州大学圣地亚哥分校);Department of Mathematics and Halicioğlu Data Science Institute University of California San Diego(数学系哈利奇奥格卢数据科学研究所加州大学圣地亚哥分校)
本文提出LINSCAN算法,利用DBSCAN和OPTICS的优势,通过局部邻域的正态分布近似和KL散度距离函数,检测空间接近但协方差正交的线性聚类,并应用于地震数据识别活动断层。
2025-11-25 cs.CG cs.LG
Clustering with Tangles: Algorithmic Framework and Theoretical Guarantees
University of Tübingen(图宾根大学);University of Hamburg(汉堡大学)
本文提出基于 tangles 的层次化软聚类框架,通过聚合数据集割集识别稠密结构,证明多场景理论保证并验证其线性复杂度与广泛适用性。
2022-11-06 cs.LG stat.ML
Dynamic Visualization and Fast Computation for Convex Clustering via Algorithmic Regularization
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
凸聚类是一种很有前途的新方法,聚类的经典问题,结合了强大的性能,在实证研究和严格的理论基础。尽管有这些优点,凸聚类还没有被广泛采用,由于其计算密集的性质和缺乏令人信服的可视化。为了解决这些障碍,我们引入了正则化,这是一种创新技术,用于使用迭代一步近似方案获得正则化路径的高质量估计。我们证明我们的方法与一个新的理论结果,保证全局收敛的近似路径下容易检查的非数据依赖的假设下的精确解。将算法正则化应用到凸聚类中,产生了用于计算聚类解路径的凸聚类算法CARP(Convex Clustering via Acromic Regularization Paths)。在基因组学和文本分析的示例数据集上,CARP提供了比现有方法快100倍的速度,同时获得了比标准方法更精细的近似网格。此外,CARP能够改进聚类解决方案的可视化:CARP返回的精细解决方案网格可用于构建基于凸聚类的树状图,并形成基于现代Web技术的动态路径可视化的基础。我们的方法在开源R包clustRviz中实现,可在https://github.com/DataSlingers/clustRviz上获得。
2019-07-08 cs.LG stat.CO stat.ME
Meal-taking activity monitoring in the elderly based on sensor data: Comparison of unsupervised classification methods
LAAS-CNRS, University of Toulouse(图卢兹大学LAAS-CNRS实验室)
本文比较K-Means、GMM和DBSCAN在老年人进餐活动传感器数据上的无监督聚类效果,发现K-Means以最低DBI实现最优聚类,并提出结合GMM平均时长区分进餐类别的有效策略。
2024-09-04 cs.LG eess.SP stat.AP
Scalable Density-based Clustering with Random Projections
University of Auckland(奥克兰大学)
本研究提出可扩展密度聚类算法sDBSCAN及配套sOPTICS,利用随机投影提升高维聚类效率,支持多种距离度量,在百万级数据集上速度远快于传统方法且精度更高。
2025-05-18 cs.CV cs.LG
Algorithmic Clustering of Music
我们提出了一个全自动的方法进行音乐分类,仅基于压缩的字符串,代表的音乐作品。该方法不使用任何关于音乐的背景知识:它是完全通用的,可以在不改变的情况下用于不同的领域,如语言分类和基因组学。它是基于一个理想的理论,在个别对象的信息内容(柯尔莫哥洛夫复杂度),信息距离,和一个普遍的相似性度量。实验表明,该方法可以很好地区分各种音乐类型,甚至可以按作曲家聚类。
2003-03-24 cs.LG cs.SD physics.data-an
Algorithmic Clustering based on String Compression to Extract P300 Structure in EEG Signals
本文提出基于归一化压缩距离的聚类方法,通过信号到ASCII转换提取EEG中P300结构,实验证明其性能可比肩现有方法,并可辅助电极选择。
2025-01-31 cs.IT cs.LG eess.SP