M-decomposability, elliptical unimodal densities, and applications to clustering and kernel density estimation
Chia和Nakano(2009)引入了一维概率密度的M-可分解性的概念。本文将M-可分解性推广到任意维数。我们证明了所有的椭圆单峰密度都是M-不可分解的。我们还推导出一个不等式,表明它是更好地表示M-可分解的密度通过单峰密度的混合。最后,我们展示了应用M-分解聚类和核密度估计,使用真实和模拟数据。我们的结果表明,M-可分解性可以作为一个非参数的标准来定位模式的概率密度。
2010-04-21 math.ST stat.ME stat.ML
Hierarchical Clustering With Confidence
University of Michigan(密歇根大学);University of Southern California(南加州大学)
本文提出一种随机化层次聚类方法,通过在每个聚类节点构造有效p值,用于检验贪婪合并的证据,提高了聚类稳定性评估的可靠性。
2026-03-14 math.ST stat.ME stat.ML
Selecting the Number of Clusters $K$ with a Stability Trade-off: an Internal Validation Criterion
Université Paris 1 Panthéon Sorbonne(巴黎第一大学(先贤祠-索邦大学));Safran Aircraft Engines(赛峰飞机发动机公司);Université Sorbonne Paris Nord(巴黎索邦北大学);Université de Versailles/Paris-Saclay(凡尔赛大学/巴黎萨克雷大学)
针对非参数聚类中仅靠稳定性无法确定聚类数的问题,提出基于簇间和簇内稳定性的新型内部验证准则,有效选择聚类数 $K$ 并克服了以往方法的局限性。
2023-05-16 cs.LG stat.ML
The SpectACl of Nonconvex Clustering: A Spectral Approach to Density-Based Clustering
TU Dortmund University(多特蒙德工业大学);Technische Universiteit Eindhoven(埃因霍温理工大学)
当涉及到聚类非凸形状时,使用两种范式来找到最合适的聚类:最小切割和最大密度。结合这些范例的最流行的算法是谱聚类和DBSCAN。这两种模式都有各自的优点和缺点。虽然最小割聚类对噪声敏感,但基于密度的聚类在处理具有不同密度的聚类时遇到了麻烦。在本文中,我们提出了\textsc{SpectACl}:一种方法结合了这两种方法的优点,同时解决了上述两个缺点。我们的方法易于实现,如谱聚类,并从理论上建立优化建议的密度标准的聚类。通过对合成数据和真实数据的实验,我们证明了我们的方法提供了强大而可靠的聚类。
2019-07-01 cs.LG stat.ML
Skeleton Clustering: Dimension-Free Density-based Clustering
University of Washington(华盛顿大学)
我们介绍了一种基于密度的聚类方法,称为骨架聚类,可以检测多变量,甚至高维数据的不规则形状的集群。为了绕过维数灾难,我们提出了替代密度的措施,是不太依赖于尺寸,但有直观的几何解释。作为中间步骤,聚类框架构建了给定数据的简洁表示,可以认为是原型方法,基于密度的聚类和层次聚类的组合。我们通过理论分析和实证研究表明,骨架聚类导致可靠的集群在多元和高维的场景。
2023-01-18 cs.LG stat.ME stat.ML
Accelerated Hierarchical Density Clustering
提出了一种基于层次密度聚类的加速算法。我们的新算法对HDBSCAN* 进行了改进,HDBSCAN * 本身比流行的DBSCAN算法提供了显着的定性改进。加速的HDBSCAN* 算法提供了与DBSCAN相当的性能,同时支持可变密度群集,并消除了对难以调整的距离尺度参数的需求。这使得加速HDBSCAN* 成为基于密度的集群的默认选择。图书馆网址:https://github.com/scikit-learn-contrib/hdbscan
2017-05-23 stat.ML
How the initialization affects the stability of the k-means algorithm
我们调查的作用,初始化的稳定性的k-means聚类算法。与其他论文相反,我们考虑实际的k-means算法,并且不忽略其陷入局部最优的特性。我们感兴趣的是实际的集群,而不仅仅是解决方案的成本。我们分析了不同的初始化何时会导致相同的局部最优解,以及何时会导致不同的局部最优解。这使我们能够证明,这是合理的,选择基于稳定性得分的集群的数量。
2009-07-31 stat.ML
Data-driven density derivative estimation, with applications to nonparametric clustering and bump hunting
关于多元数据集的重要信息,如聚类和模态区域,包含在密度函数的导数中。尽管这一重要性,非参数估计的高阶导数的密度函数只收到相对较少的关注。密度函数的核估计因其优良的理论和实际性质而被广泛应用,但由于在带宽(或平滑参数)选择的关键问题上遇到的数学难题,其推广到密度导数的进展较为缓慢。本文介绍了第一个全自动的,基于数据的带宽选择器的多元核密度导数估计。这是通过综合矩阵分析理论的最新进展,允许数学和计算上易于处理的表示高阶导数的多元向量值函数。理论上的渐近性质以及有限样本行为的建议选择器进行了研究。{In此外,我们详细探讨了新的数据驱动的方法的应用程序的其他两个统计问题:聚类和颠簸狩猎。所介绍的技术相结合的均值漂移算法开发新的自动,非参数聚类程序,表现出优于混合模型聚类分析和其他最近的非参数方法在实践中。此外,一个真实的数据例子说明了使用平滑参数的优势,设计用于密度导数估计的特征显着性分析颠簸狩猎。
2013-02-19 math.ST stat.ME stat.ML
A Population Background for Nonparametric Density-Based Clustering
尽管它的流行,它被广泛认为是集群的一些理论方面的调查一直相对稀疏。缺乏理论结果的主要原因之一肯定是这样一个事实,即对于其他统计问题,理论人口目标是明确定义的(如回归或分类),对于一些聚类方法,很难指定人口目标,基于数据的聚类算法应该尝试接近。本文旨在通过两个主要目标来提供一些关于聚类的理论基础的见解:为模态聚类方法的理想群体目标提供一个明确的公式,该方法将聚类理解为高密度区域;并提出两个新的损失函数,实际上适用于任何聚类方法,评估基于数据的聚类算法相对于理想种群目标的性能。特别是,它表明,只有温和的条件下,一个序列的密度估计,以确保该序列的模态聚类,他们诱导是一致的。
2015-12-10 math.CA math.DG math.GT
Clustering via Mode Seeking by Direct Estimation of the Gradient of a Log-Density
均值漂移聚类通过识别密度梯度的零点来发现数据概率密度的模式。由于均值漂移算法不需要预先确定聚类数目,因此在各个应用领域都得到了广泛的应用。均值漂移的典型实现是首先通过核密度估计估计密度,然后计算其梯度。然而,由于良好的密度估计不一定意味着密度梯度的准确估计,因此这种间接的两步方法是不可靠的。本文提出了一种不经过密度估计而直接估计对数密度梯度的方法。所提出的方法给出了全球解决方案的分析,因此是计算效率。然后,我们开发了一个均值漂移的固定点算法,以找到模式的密度聚类。与均值漂移一样,不需要预先设置聚类的数量。我们的经验表明,所提出的聚类方法的效果要好得多,特别是对高维数据的均值漂移。实验结果进一步表明,该方法优于现有的聚类方法。
2014-04-20 stat.ML
Simultaneous Clustering and Model Selection for Multinomial Distribution: A Comparative Study
Université Lumière Lyon 2(里昂第二大学)
在本文中,我们研究了不同的离散数据聚类方法,使用基于模型的聚类(MBC)框架与多项分布。我们的研究包括几个相关的问题,如初始化,模型估计和模型选择。此外,我们提出了一种新的MBC方法,有效地结合分区和层次聚类技术。我们进行实验,合成和真实的数据和评估的方法,使用的准确性,稳定性和计算时间。我们的研究确定了适当的策略,用于离散数据分析的MBC方法。此外,我们提出的方法是非常有竞争力的w.r.t.聚类精度和更好的w.r.t.稳定性和计算时间。
2015-09-06 cs.LG stat.ME stat.ML
Kernel clustering: density biases and solutions
核方法由于其通用性和区分能力而在聚类中很受欢迎。然而,我们发现,许多内核聚类标准的密度偏差理论上解释了一些实际上显着的文物在过去的经验观察。例如,我们提供了条件,并正式证明了密度模式的隔离偏置在核K-均值的一个共同的一类内核。我们称之为Breiman的偏见,因为它与Breiman之前在Gini不纯的决策树学习中发现的直方图模式隔离相似。我们还将我们的分析扩展到其他流行的内核聚类方法,例如平均/归一化切割或优势集,其中密度偏差可以采取不同的形式。例如,通过基于切割的标准分裂孤立点本质上是稀疏子集偏差,这与密度模式偏差相反。我们的研究结果表明,核聚类中密度偏差的原则性解决方案应该直接解决数据的不均匀性。我们表明,密度均衡可以隐式地实现使用局部自适应权重或局部自适应内核。此外,密度均衡使许多流行的核聚类目标等价。我们的合成和真实数据实验说明了密度偏差和提出的解决方案。我们预计,对内核聚类限制及其原则性解决方案的理论理解对于跨学科的广泛数据分析应用将是重要的。
2017-12-06 stat.ML
Mixture model modal clustering
两种最广泛的基于密度的聚类方法肯定是混合模型聚类和模态聚类。在混合模型方法中,密度被表示为混合物,并且聚类与不同的混合物组分相关联。在模态聚类中,聚类被理解为高密度区域,它们被低密度区域彼此分开,因此它们与密度模式周围的某些区域密切相关。如果真实密度确实在假设的混合密度类中,则混合模型聚类允许仔细检查比模态聚类更微妙的情况。然而,当以非参数方式使用混合建模时,利用混合密度筛的密集性来近似任何密度,则聚类和混合组分之间的对应关系可能变得可疑。在本文中,我们介绍了两种方法,采用模态聚类的观点后,混合模型拟合。提供了许多例子来说明,混合建模也可以用于聚类在非参数意义上,只要集群被理解为域的密度模式的吸引力。
2016-09-15 stat.CO stat.ML
Linear density-based clustering with a discrete density model
Università degli Studi di Palermo(巴勒莫大学)
基于密度的聚类技术被广泛应用于数据采掘中。它们最有吸引力的特征之一在于不利用数据集包含的聚类数量及其形状的先验知识。在本文中,我们提出了一个新的算法命名为线性DBSCAN(林DBSCAN),一个简单的方法来聚类的启发与著名的算法DBSCAN密度模型。Lin-DBSCAN旨在最大限度地减少基于地理空间数据的密度聚类的计算成本,其线性时间复杂度使其适用于低资源设备上的实时应用。Lin-DBSCAN使用DBSCAN的密度模型的离散版本,其利用基于网格的扫描和合并方法。该算法的名称完全源于上面概述的其主要特征。该算法进行了测试与众所周知的数据集。实验结果证明了DBSCAN在空间数据聚类方面的有效性和有效性,使得基于密度的聚类技术能够在大数据集上以较低的计算成本使用。
2018-07-21 cs.LG stat.ML
Scalable Posterior Uncertainty for Flexible Density-Based Clustering
Department of Statistics and Data Sciences, UT Austin(统计与数据科学系,德克萨斯大学奥斯汀分校)
本文提出一种结合martingale后验分布与密度聚类的新框架,通过预测重采样方案实现密度不确定性量化,利用可微密度估计器提升大规模数据处理效率,并在图像和单细胞RNA测序数据中验证了其有效性。
2026-10-21 cs.LG stat.ML
Clustering by Deep Nearest Neighbor Descent (D-NND): A Density-based Parameter-Insensitive Clustering Method
University of Electronic Science and Technology of China(电子科技大学)
大多数基于密度的聚类方法在很大程度上依赖于对底层密度的估计。然而,密度估计本身也是一个具有挑战性的问题,尤其是核带宽的确定。大的带宽可能导致过平滑的密度估计,其中密度峰值的数量可能小于真实的聚类,而小的带宽可能导致欠平滑的密度估计,其中在估计的密度中将生成伪密度峰值,或称为“波纹噪声”。在本文中,我们提出了一种基于密度的层次聚类方法,称为深度最近邻下降(D-NND),它可以逐层学习底层的密度结构,同时捕获聚类结构。该方法可以避免过平滑密度估计,同时也可以减小欠估计情况的负面影响。总的来说,D-NND不仅表现出很强的发现潜在集群结构的能力,而且由于其对参数的不敏感性,具有显著的可靠性。
2015-12-07 cs.CV cs.LG stat.CO
An efficient density-based clustering algorithm using reverse nearest neighbour
University of Hertfordshire(赫特福德大学);University of Essex(埃塞克斯大学)
基于密度的聚类是发现实体(集群)的高密度区域的任务,这些区域被连续的低密度区域彼此分开。DBSCAN可以说是最流行的基于密度的聚类算法。但是,其群集恢复能力取决于这两个参数的组合。在本文中,我们提出了一种新的基于密度的聚类算法,它使用反向最近邻(RNN),并有一个单一的参数。我们还表明,它是可能的估计一个很好的值,这个参数使用聚类有效性指数。RNN查询使我们的算法能够考虑多个实体来估计密度,并恢复分离不佳或密度不同的集群。我们在合成数据集和真实数据集上的实验表明,我们提出的算法优于DBSCAN及其最近的变体ISDBSCAN。
2018-11-19 cs.LG stat.ML
Deep Density-based Image Clustering
University of Electronic Science and Technology of China(电子科技大学)
最近,能够通过深度神经网络执行有利于聚类任务的特征学习的深度聚类在图像聚类应用中取得了显著的性能。然而,现有的深度聚类算法通常需要预先知道聚类的数量,而这在现实任务中通常是未知的。此外,在学习的特征空间中的初始聚类中心生成的$k$ -手段。这只适用于球形聚类,并可能导致不稳定的聚类结果。在本文中,我们提出了一个两阶段的深度密度为基础的图像聚类(DDC)框架来解决这些问题。第一阶段是训练深度卷积自动编码器(CAE)以从高维图像数据中提取低维特征表示,然后应用t-SNE将数据进一步减少到有利于基于密度的聚类算法的2维空间。第二阶段是应用开发的基于密度的聚类技术的2维嵌入数据自动识别适当数量的集群与任意形状。具体地说,该算法通过生成多个局部聚类来捕捉聚类的局部结构,然后通过聚类结果的密度关系进行聚类合并。实验表明,所提出的DDC实现可比的,甚至更好的聚类性能比国家的最先进的深度聚类方法,即使没有给出的集群的数量。
2018-12-11 cs.CV cs.LG stat.ML
Modal clustering asymptotics with applications to bandwidth selection
基于密度的聚类依赖于将组与数据底层的概率分布的某些特定特征联系起来的想法。参考一个真实的,但未知的,人口结构允许框架的聚类问题在一个标准的推理设置,其中理想的人口聚类的概念被定义为分区诱导的真实密度函数。这种方法的非参数公式,称为模态聚类,绘制了组和密度模式的吸引域之间的对应关系。在操作上,非参数密度估计是必需的,并且适当地选择平滑的量,管理密度的形状,因此可能是模态结构,对于识别最终分区是至关重要的。在这项工作中,我们解决的问题,密度估计的模态聚类从渐近的角度来看。讨论了一种自然且易于解释的度量密度分区之间的距离的方法,探讨了其渐近近似,并用于研究非参数模态聚类的带宽选择问题。
2019-01-22 stat.ME stat.ML
A Domain Adaptive Density Clustering Algorithm for Data with Varying Density Distribution
Hunan University(湖南大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Tsinghua University(清华大学)
聚类算法作为一种高效的无监督学习方法,以其显著的优势在数据采掘和知识发现中得到了广泛的应用。然而,基于密度峰值的聚类算法对具有变密度分布(VDD)、均衡分布(ED)和多域密度最大值(MDDM)的数据聚类效果有限,导致稀疏簇丢失和簇碎片化问题。为了解决这些问题,我们提出了一个域自适应密度聚类(DADC)算法,它包括三个步骤:域自适应密度测量,聚类中心的自识别,和集群自集成。对于具有VDD特征的数据,使用统一的密度峰值阈值往往会忽略稀疏区域中的簇,从而导致稀疏簇的丢失。我们定义了一个域自适应密度测量方法的基础上K-最近邻(KNN)的自适应检测不同的密度区域的密度峰值。我们将每个数据点及其KNN邻域视为一个子群,以更好地反映其在域视图中的密度分布。此外,对于具有ED或MDDM特征的数据,可以识别出大量具有相似值的密度峰值,这导致聚类碎片化。提出了一种聚类中心自识别和聚类自集成的方法来自动提取初始聚类中心和合并碎片聚类。实验结果表明,与其他比较算法相比,所提出的DADC算法可以得到更合理的VDD,ED和MDDM特征的数据的聚类结果。DADC具有参数要求少、不需要迭代等优点,计算复杂性低,适合大规模数据聚类。
2019-11-23 cs.LG stat.ML
Mode-Seeking Clustering and Density Ridge Estimation via Direct Estimation of Density-Derivative-Ratios
观测数据背后的概率密度函数的模和脊是有用的几何特征。模式搜索聚类通过将数据样本与最近的模式相关联来分配聚类标签,并且密度脊的估计使我们能够找到隐藏在数据中的低维结构。在模式搜索聚类和密度岭估计中的一个关键技术挑战是精确估计一阶和二阶密度导数与密度的比率。一种简单的方法采用三步方法,首先估计数据密度,然后计算其导数,最后计算它们的比率。然而,这种三步方法可能是不可靠的,因为好的密度估计器不一定意味着好的密度导数估计器,并且除以估计的密度可能显著放大估计误差。为了解决这些问题,我们提出了一种新的估计的\emph{density-derivative-ratios}。建议的估计不涉及密度估计,而是\emph{directly}近似的任何顺序的密度导数的比率。此外,我们建立了一个收敛速度的估计。基于所提出的估计器,新的方法,无论是模式搜索聚类和密度脊估计,并建立各自的收敛速度的模式和脊的基础密度。最后,我们的实验表明,开发的方法显着优于现有的方法,特别是对于相对高维的数据。
2018-03-30 stat.ML
Almost Linear Time Consistent Mode Estimation and Quick Shift Clustering
University of Tehran(塔里哈大学)
本文提出结合LSH与快速位移算法的高维空间密度聚类方法,实现近线性时间复杂度和一致的密度估计。
2025-11-27 cs.LG stat.ML
Mass Distribution versus Density Distribution in the Context of Clustering
State Key Laboratory for Novel Software Technology, Nanjing University, China 210023(新型软件技术国家重点实验室,南京大学,中国);School of Artificial Intelligence, Nanjing University, Nanjing, China 210023(人工智能学院,南京大学,南京,中国);School of IT, Deakin University, Geelong, Australia 3125(信息技术学院,德金大学,Geelong,澳大利亚)
本文提出质量最大化聚类算法,用于克服密度分布的高密度偏见问题,以发现任意形状和密度的聚类。
2026-01-23 cs.LG stat.ML
Hierarchical clustering with maximum density paths and mixture models
Institute of Computer Science and Campus Institute Data Science, University of Göttingen(计算机科学研究所和校园数据科学研究所,哥廷根大学);Max Planck Institute for Dynamics and Self-Organization(动态与自组织Max Planck研究所)
针对现有层次聚类在高维、无清晰密度间隙数据上的不足,提出基于概率的t-NEB方法,通过过聚类密度估计、最大密度路径查找和自底向上合并三步实现最优性能与有意义层次,助力探索性数据分析。
2025-05-21 cs.LG stat.ML
Adaptive Clustering Using Kernel Density Estimators
我们推导并分析了一个通用的,递归算法估计所有分裂在有限的集群树以及相应的集群。我们进一步研究这个通用的聚类算法时,它收到的核密度估计水平集估计的统计特性。特别是,我们得到有限样本的保证,一致性,收敛速度,和自适应的数据驱动的策略选择内核带宽。对于这些结果,我们不需要密度的连续性假设,如Hölder连续性,而只需要非参数性质的直观几何假设。
2021-11-01 stat.ME stat.ML
Density Adaptive Parallel Clustering
Scuola Superiore Sant’Anna(圣安娜高等研究学院)
在本文中,我们将介绍一种新的基于最近邻的聚类方法,并将其与以前的解决方案进行比较;由此产生的算法,它的灵感来自DBscan和最小生成树方法,是确定性的,但证明更简单,更快,不需要预先设置k值,集群的数量。
2014-07-11 cs.DS cs.LG stat.ML
Density-based Clustering with Best-scored Random Forest
Renmin University of China(中国人民大学)
基于单水平密度的聚类方法一直被广泛认为是一种概念上和数学上令人信服的聚类方法。在本文中,我们提出了一种算法称为“最佳得分聚类森林”,可以获得最佳水平,并确定相应的集群。术语“最佳得分”意味着从一定数量的纯随机树候选中选择一个具有最佳经验性能的随机树。从理论的角度来看,我们首先表明,我们提出的算法的一致性可以得到保证。此外,在对底层密度函数和目标聚类的某些温和限制下,甚至可以实现快速收敛。最后,与其他国家的最先进的聚类方法在数值实验中的比较表明,我们的算法的准确性在合成数据和几个基准的真实数据集。
2019-06-24 cs.LG stat.ML
Hierarchical clustering that takes advantage of both density-peak and density-connectivity
Deakin University(迪肯大学);Nanjing University(南京大学);Monash University(莫纳什大学)
针对DP与DBSCAN两类密度聚类算法的检测缺陷,本文提出融合二者优势的DC-HDP层次聚类算法,可识别任意形状与密度的簇并生成层次化结果,在14个数据集上优于7种主流算法。
2021-09-20 cs.AI cs.LG stat.ML
FISHDBC: Flexible, Incremental, Scalable, Hierarchical Density-Based Clustering for Arbitrary Data and Distance
Symantec Research Labs(赛门铁克研究实验室)
FISHDBC是一种灵活的、增量的、可扩展的、基于层次密度的聚类算法。它很灵活,因为它使用户能够处理任意数据,跳过通常将原始数据转换为数值数组的特征提取步骤,让用户定义任意距离函数。它是增量的和可扩展的:它避免了其他方法在非度量空间中的$\mathcal O(n^2)$性能,并且当添加很少的项时,只需要轻量级计算来更新聚类。它是分层的:它产生“扁平”聚类,该聚类可以扩展为树结构,从而当数据探索需要时,用户可以将聚类分组和/或划分为子聚类或超聚类。它是基于密度的,近似于HDBSCAN*,是DBSCAN的一种演变。
2019-10-16 cs.DS cs.LG stat.ML
Some issues in robust clustering
University of Bologna(博洛尼亚大学)
该研究聚焦基于高斯混合模型的鲁棒聚类,探讨了异常值定义、异常值与簇的模糊性、簇数估计交互、调参依赖及稳定性度量缺陷等关键问题。
2023-08-28 cs.LG stat.ME stat.ML
Connecting Spectral Clustering to Maximum Margins and Level Sets
Stellenbosch University(斯泰伦博斯大学)
我们研究了谱聚类和最大间隔聚类问题之间的联系,以及密度函数水平集分量的估计。具体来说,我们得到的图拉普拉斯矩阵的特征向量的集群之间的分离,集群内的连接方面的界限。这些界限确保谱聚类解决方案收敛到最大间距聚类解决方案的缩放参数减少到零。最大间距聚类解决方案对离群点的敏感性是众所周知的,但可以通过首先去除这些离群点并将最大间距聚类应用于剩余点来减轻。如果使用潜在概率密度的估计来识别离群值,则剩余点可以被视为该密度函数的水平集的估计。我们表明,这样的方法可以用来一致地估计组件的水平集的密度函数在非常温和的假设。
2018-12-16 cs.LG stat.ML
Improving Reliability of Latent Dirichlet Allocation by Assessing Its Stability Using Clustering Techniques on Replicated Runs
TU Dortmund University(多特蒙德工业大学)
对于组织大型文本语料库,主题建模提供了有用的工具。一种广泛使用的方法是潜在狄利克雷分配(LDA),一种生成概率模型,它将文本集合中的单个文本建模为潜在主题的混合物。单词到主题的分配依赖于初始值,使得LDA的结果通常不能完全再现。此外,通过Gibbs Sampling的重新分配是基于条件分布的,这导致在相同文本数据上的重复运行中产生不同的结果。这一事实在日常实践中常常被忽视。我们的目标是提高LDA结果的可靠性。因此,我们通过比较重复运行的分配来研究LDA的稳定性。我们建议量化的相似性,两个生成的主题的一个修改的Jaccard系数。利用这种相似性,可以将主题聚类。提出了一种基于两次LDA运行产生相似主题对思想的层次聚类结果剪枝算法。这种方法导致了新的测量S-CLOP(通过{\bf P}运行{ \bf LO}聚类的{ \bf C}对多个集合的{\bf S}相似性)用于量化LDA模型的稳定性。我们讨论了这种措施的一些特点,并说明它与应用程序的真实数据组成的报纸文章从\textit{USA Today}。我们的研究结果表明,测量S-CROP是有用的LDA模型或任何其他主题建模过程,其主题的字分布特征的稳定性进行评估。基于新提出的LDA稳定性的措施,我们提出了一种方法,以增加可靠性,从而提高基于主题建模的实证研究结果的再现性。通过多次运行LDA并将最具代表性的运行(即与所有其他运行具有最高平均…
2020-02-14 cs.AI cs.CL cs.LG
Clustering Based on Density Propagation and Subcluster Merging
School of Artificial Intelligence, OPtics and ElectroNics (iOPEN)(人工智能、光学与电子学院(iOPEN));School of Computer Science(计算机学院);Northwestern Polytechnical University(西北工业大学)
提出DPSM密度聚类方法,通过密度传播自动确定簇数并适用于图空间,结合CluCut度量指导子簇合并,实验验证其有效性。
2024-11-04 cs.LG stat.ML
Internal Evaluation of Density-Based Clusterings with Noise
University of Vienna(维也纳大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Aarhus University(奥胡斯大学)
DISCO是一种新的聚类验证指数,专门用于评估密度聚类中噪声分配的质量,通过密度连通性改进轮廓系数,解决噪声评估和边缘情况处理问题。
2025-12-10 cs.LG stat.ML
A density peaks clustering algorithm with sparse search and K-d tree
Harbin University of Science and Technology(哈尔滨理工大学)
密度峰聚类算法由于其简单、实用而成为聚类算法中的一个新的研究热点。然而,有一个主要的缺点:它是耗时的,由于其高计算复杂度。为此,提出了一种基于稀疏搜索和K-d树的密度峰值聚类算法。首先,利用K-d树计算一个稀疏距离矩阵来代替原来的满秩距离矩阵,从而加快了局部密度的计算。其次,提出了一种稀疏搜索策略,利用$k$最近邻点集与局部密度较大的数据点集的交集来加速相对分离度的计算。采用决策值二阶差分法自适应地确定聚类中心。最后,在不同分布特征的数据集上进行了实验,并与其他六种聚类算法进行了比较。证明了该算法能有效地将原DPC的计算复杂度从$O(n^2K)$降低到$O(n(n^{1-1/K}+k))$。特别是对于较大的数据集,效率得到了更显著的提高。此外,聚类精度也得到了一定程度的提高。因此,可以得出结论,新提出的算法的整体性能是优秀的。
2022-07-19 cs.LG stat.ML
ADBSCAN: Adaptive Density-Based Spatial Clustering of Applications with Noise for Identifying Clusters with Varying Densities
Mississippi State University(密西西比州立大学);International University of Business Agriculture and Technology(国际商业农业与技术大学);Rajshahi University of Engineering and Technology(拉杰沙希工程技术大学)
基于密度的噪声应用空间聚类算法(DBSCAN)是一种对数据点密度恒定的数据集具有较高聚类效率的数据聚类算法。该算法的一个重要属性是噪声消除。然而,DBSCAN表现出不同密度的集群性能降低。因此,在本文中,提出了一种自适应DBSCAN,它可以很好地识别具有不同密度的集群。
2018-11-29 cs.CV cs.LG stat.ML
A New Index for Clustering Evaluation Based on Density Estimation
Tsinghua University(清华大学)
提出一种由模糊指标与相似性指标构成、基于各簇密度估计的聚类内部评估新指标,并在145个数据集上验证其显著优于六种现有指标。
2024-06-17 cs.LG stat.ML
Fourier Transform Approach to Machine Learning II: Fourier Clustering
我们提出了一个基于傅立叶的方法优化的几个聚类算法。在数学上,集群数据可以通过由狄拉克混合分布表示的密度函数来描述。密度函数可以通过应用傅立叶变换和高斯滤波器来平滑。高斯滤波器的最佳标准偏差的确定将通过使用与平滑和原始密度函数之间的相关性有关的收敛准则来完成。原则上,最优平滑密度函数具有局部最大值,其对应于聚类中心。因此,通过检测平滑密度函数的峰值,简化了寻找聚类质心的复杂任务。一个多滑动窗口程序被用来检测峰值。该算法的显着的准确性表明,它的能力作为一个可靠的通用方法,提高聚类性能,其全局优化,也消除了许多聚类方法中的初始化问题。
2019-09-22 cs.LG stat.ML
DeBaCl: A Python Package for Interactive DEnsity-BAsed CLustering
Carnegie Mellon University(卡内基梅隆大学)
Hartigan(1975)的水平集树方法提供了一种基于概率的、高度可解释的数据集聚类行为编码。通过将数据模式的层次结构表示为密度估计器的水平集的树状图,这种方法为探索性分析和聚类提供了许多优点,特别是对于复杂和高维数据。存在几个R包的水平集树估计,但其实际用途是有限的计算效率低,缺乏交互式图形功能,从理论的角度来看,依赖于渐近近似。为了让实践者更容易地捕捉水平集树的优点,我们编写了Python包DeBaCl用于基于密度的聚类。在这篇文章中,我们将说明如何DeBaCl的水平集树估计可以用于困难的聚类任务和交互式图形数据分析。该软件包旨在通过提高计算效率和高度的用户定制来促进水平集树的实际使用。此外,DeBaCl中实现的灵活算法具有有限的样本精度,正如最近的密度聚类文献所证明的那样。最后,我们展示了水平集树框架可以很容易地扩展到处理功能数据。
2013-07-30 cs.LG stat.ME stat.ML
Geometric reconstructions of density based clusterings
University of Liverpool(利物浦大学)
DBSCAN* 和HDBSCAN* 是成熟的基于密度的聚类算法。然而,获得非常大的数据集的集群是不可行的,限制了它们在现实世界中的应用。通过利用几何的欧几里得空间,我们证明了它是可能的,系统地构建DBSCAN* 和HDBSCAN* 集群的有限$X\subset \mathbb{R}^n$从特定的子集$X$。我们能够控制这些子集的大小,因此我们的结果使聚类非常大的数据集成为可能。为了说明我们的理论,我们集群的微软建筑足迹数据库的美国,这是不可能使用的标准实现。
2022-03-14 cs.DM cs.LG stat.ML
Nearest-Neighbour-Induced Isolation Similarity and its Impact on Density-Based Clustering
Monash University(莫纳什大学);Federation University(澳大利亚联邦大学);Deakin University(迪肯大学)
针对隔离相似性树实现方法的缺陷,提出近邻诱导的隔离相似性,将其替换DBSCAN的距离度量可显著提升性能,还定义了质量连通簇并给出相关检测条件。
2019-06-30 cs.LG stat.ML
SDCOR: Scalable Density-based Clustering for Local Outlier Detection in Massive-Scale Datasets
Amirkabir University of Technology(阿米拉比尔理工大学);University of Twente(特温特大学);ICAR-CNR(意大利国家研究委员会计算与高性能网络研究所)
本文提出了一种基于密度的批量聚类方法,用于大规模数据集的局部离群点检测。与传统算法不同的是,传统算法假设所有的数据都是内存驻留的,我们提出的方法是可扩展的,并在有限的内存缓冲区内逐块处理输入数据。首先建立临时聚类模型,然后通过分析点的连续内存负载来逐步更新聚类模型。随后,在可扩展聚类结束时,获得原始聚类的近似结构。最后,通过对整个数据集的另一次扫描并使用合适的标准,为每个对象分配一个离群分数,称为SDCOR(可扩展的基于密度的聚类离群率)。在真实数据集和人工数据集上的测试表明,该方法具有较低的线性时间复杂度,与传统的基于密度的方法相比,具有更高的效率和有效性,传统的基于密度的方法需要将所有数据加载到内存中,而基于距离的方法可以对驻留在磁盘上的数据执行。
2021-07-05 cs.LG stat.ML
Empirical Density Estimation based on Spline Quasi-Interpolation with applications to Copulas clustering modeling
University of Bari(巴里大学)
本文提出基于样条拟插补的单变量密度估计方法,结合 copulas 函数构建多变量联合分布,提出有限混合 copula 模型用于聚类建模,并在人工和真实数据集上验证了算法有效性。
2024-02-18 cs.LG cs.NA math.NA
Automatic topography of high-dimensional data sets by non-parametric Density Peak clustering
SISSA, Scuola Internazionale Superiore Studi Avanzati(国际高级研究学院(SISSA));Functional Genomics Center Zurich(苏黎世功能基因组学中心);UZH/ETHZ(苏黎世大学/苏黎世联邦理工学院);Swiss Institute of Bioinformatics(瑞士生物信息学研究所);ICTP, International Centre for Theoretical Physics(国际理论物理中心(ICTP))
高维空间中的数据分析旨在获得对数据集的综合描述,揭示其主要结构和显著特征。我们在这里介绍一种方法,提供这种描述的形式的地形的数据,即人类可读的图表的概率密度,从该数据被收获。该方法是基于一个无监督的扩展的密度峰聚类和非参数密度估计,测量包含数据的流形中的概率密度。这允许自动找到概率密度的峰值的数量和高度,以及将它们分开的“谷”的深度。重要的是,密度估计器提供了误差的度量,这允许区分真正的密度峰值和由于有限采样引起的密度波动。因此,该方法提供了关于密度峰的高度、其统计可靠性和其分层组织的鲁棒和可视信息,提供了标准聚类分区的概念上的强大扩展。我们表明,这个框架是特别有用的复杂数据集的分析。
2021-02-05 cs.LG stat.ML
Clustering Based on Graph of Density Topology
AI Lab, School of Engineering, Westlake University(西湖大学工程学院人工智能实验室)
在高噪声环境下,对分布不均匀的数据进行聚类是一个挑战。目前,HDBSCAN被认为是解决该问题的SOTA算法。在本文中,我们提出了一种新的聚类算法的基础上,我们称之为密度拓扑图(GDT)。GDT综合考虑了数据样本的局部和全局结构:首先基于密度增长过程形成局部聚类,并采用适当的噪声处理策略和聚类边界检测策略;然后根据局部聚类之间的关系,利用连通性度量来估计GDT,给出全局拓扑图.连接性,测量相邻局部聚类之间的相似性,是基于局部聚类而不是单个点,确保其鲁棒性,即使是非常大的噪声。在玩具数据集和真实数据集上的测试结果表明,GDT在几乎所有流行数据集上都达到了SOTA性能,并且具有O(nlogn)的低时间复杂度.该代码可在www.example.com上获得。
2020-09-24 cs.LG stat.ML
DBSCAN++: Towards fast and scalable density clustering
Uber(优步);Google Research(谷歌研究院)
DBSCAN是一个经典的基于密度的聚类过程,具有巨大的实际意义。然而,DBSCAN隐式地需要计算每个样本点的经验密度,导致二次最坏情况时间复杂度,这在大型数据集上太慢。我们提出DBSCAN++,一个简单的修改DBSCAN,只需要计算选定的点的子集的密度。我们的经验表明,与传统的DBSCAN相比,DBSCAN++不仅可以提供有竞争力的性能,而且还可以在带宽超参数中增加鲁棒性,同时占用一小部分运行时间。我们还提出了统计一致性保证计算成本和估计率之间的权衡。令人惊讶的是,在一定程度上,我们可以享受相同的估计率,同时降低计算成本,这表明DBSCAN++是一种次二次算法,可以获得最小最大最优水平集估计率,这可能是一种独立的质量。
2019-05-17 cs.LG stat.ML
On Data-Independent Properties for Density-Based Dissimilarity Measures in Hybrid Clustering
Norwegian Centre for Integrated Care and Telemedicine, University Hospital of North Norway(挪威北部大学医院综合护理与远程医疗中心);Department of Mathematics and Statistics, IIT Kanpur(印度理工学院坎普尔分校数学与统计系);Department of Mathematics and Statistics, UiT The Arctic University of Norway(挪威北极大学数学与统计系)
混合聚类结合了分区和层次聚类,以提高计算效率和聚类形状的通用性。在这样的聚类中,相异性度量在分层合并中起着至关重要的作用。相异性度量对最终的聚类有很大的影响,并且需要数据独立的属性来为手头的问题选择正确的相异性度量。基于距离的相异度度量的性质已经研究了几十年,但基于密度的相异度度量的性质迄今为止很少受到关注。在这里,我们提出了六个数据独立的属性来评估与混合聚类相关的基于密度的相异性度量,关于平等,正交性,对称性,离群值和噪声观测,以及重尾集群的轻尾模型。研究了这些性质的意义,并基于Shannon熵、误分类率、Bhattacharyya距离和库尔贝克-莱布勒散度研究了一些著名的相异度度量.由于它们都不满足所有提出的性质,我们引入了一个新的相异度的Kullback-Leibler信息的基础上,并证明它满足所有提出的性质。所提出的属性的效果也说明了几个真实的和模拟的数据集。
2016-09-21 cs.LG stat.ML
Hybrid Density- and Partition-based Clustering Algorithm for Data with Mixed-type Variables
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心);University of Pittsburgh(匹兹堡大学)
聚类是发现数据模式的基本技术。多年来,数据量和复杂性的稳步增长导致了新的聚类算法的改进和发展。然而,可以对具有混合变量类型(连续和分类)的数据进行聚类的算法仍然有限,尽管具有混合类型的数据非常丰富,特别是在医学领域。在现有的混合数据处理方法中,存在一些无法验证的分布假设或不同类型变量的贡献不均衡的问题。我们提出了一个两步混合密度和分区为基础的算法(HyDaP),可以检测变量选择后的集群。第一步包括基于密度和基于划分的算法来识别由连续变量形成的数据结构并识别聚类的重要变量;第二步包括基于划分的算法以及我们为混合数据设计的新的相异性度量来获得聚类结果。我们对各种场景和数据结构进行了模拟,以检查HyDaP算法与常用方法相比的性能。我们还将HyDaP算法应用于电子健康记录以识别脓毒症表型。
2019-05-06 cs.LG stat.AP stat.ML
Clustering Large Data Sets with Incremental Estimation of Low-density Separating Hyperplanes
Stellenbosch University(斯泰伦博斯大学)
提出了一种在无监督背景下获得低密度超平面分离器的有效方法。低密度分隔符可用于基于数据集到分隔符的不同侧的分配来获得数据集的分区。所提出的方法是基于应用随机梯度下降的集成密度的超平面上的卷积的基础分布和平滑内核。在平滑核的带宽朝向零减小的情况下,这些更新相对于真实底层密度的偏差趋于零,并且可以获得超平面上的密度的最小值的收敛。一个后处理的分区诱导的低密度超平面的集合产生一个有效的和准确的聚类方法,能够自动选择适当数量的集群。实验表明,该方法是非常有竞争力的速度和准确性相比,与相关的基准。可以从https://github.com/DavidHofmeyr/iMDH以R包的形式获得实现所提出方法的代码。
2021-08-07 cs.LG stat.ML
Clustering dynamics on graphs: from spectral clustering to mean shift through Fokker-Planck interpolation
在这项工作中,我们建立了一个统一的框架,密度驱动和基于几何的数据聚类算法之间的插值,具体来说,连接的均值漂移算法与谱聚类在离散和连续水平。我们通过引入数据图上的福克-普朗克方程来寻求这种联系。除了引入新形式的均值漂移算法的图形,我们提供了新的理论见解的行为的家庭的扩散地图在大样本限制,以及提供新的连接之间的扩散地图和均值漂移动态固定图。几个数值例子说明了我们的理论研究结果,并强调插值密度驱动和基于几何的聚类算法的好处。
2021-10-20 cs.LG math.AP stat.ML
A Distributed and Approximated Nearest Neighbors Algorithm for an Efficient Large Scale Mean Shift Clustering
University of Paris 13(巴黎第十三大学)
在本文中,我们的目标是一类的模式聚类方法,其中集群的概率密度函数,生成的数据的局部模式的定义。最著名的模态聚类方法是k均值聚类。Mean Shift聚类是k-means聚类的一种推广,它计算任意形状的聚类,定义为密度梯度上升路径创建的局部模式的吸引盆。尽管Mean Shift方法具有潜力,但对于无监督学习来说,它是一种计算成本很高的方法。因此,我们介绍了两个贡献,旨在提供一个线性的时间复杂度的聚类算法,而不是二次时间复杂度的精确均值漂移聚类。首先,我们提出了一个可扩展的过程来近似密度梯度上升。其次,我们提出了可扩展的集群标记技术。这两个命题都是基于局部敏感哈希(LSH)来近似最近的邻居。这两种技术可用于中等大小的数据集。此外,我们表明,使用我们提出的密度梯度上升的近似值作为其他聚类方法的预处理步骤,也可以提高专用的分类指标。对于后者,提出了一个为Spark/Scala生态系统编写的分布式实现。对于所有这些考虑聚类方法,我们提出了实验结果,说明他们的标签的准确性和解决具体问题的潜力。
2019-02-11 cs.AI cs.DC cs.LG
Moving Past Single Metrics: Exploring Short-Text Clustering Across Multiple Resolutions
本研究提出基于比例稳定性和桑基图的可视化方法,用于系统确定短文本聚类数量,强调在信息量与复杂性间权衡,而非追求单一最优解。
2025-02-24 cs.AI cs.LG stat.ML