Parallel Batch-Dynamic Minimum Spanning Forest and the Efficiency of Dynamic Agglomerative Graph Clustering
层次凝聚聚类(HAC)是一种流行的聚类算法,但尽管它的重要性,没有一个动态的HAC算法有很好的理论保证存在。本文研究了边权图上的动态HAC。由于单链接HAC减少到计算最小生成森林(MSF),我们的第一个结果是一个并行批动态算法,用于维护MSF。在一批$k$边插入或删除时,我们的批动态MSF算法以高概率运行在$O(k\log^6 n)$预期的摊销工作和$O(\log^4 n)$跨度中。这是第一个完全动态的MSF算法处理批量的边缘更新与polylogarithmic工作每次更新和polylogarithmic跨度。使用我们的MSF算法,我们得到了一个并行批动态算法,可以回答查询单链接图HAC集群。我们的第二个结果是,动态图HAC是显着更难为其他常见的链接功能。例如,假设强指数时间假设,动态图HAC要求在具有$n$顶点的图上的每次更新或查询的$Ω(n^{1-o(1)})$工作用于完全链接、加权平均链接和平均链接。对于完全链接和加权平均链接,即使是增量或减量算法,即使我们允许$\operatorname{poly}(n)$ -近似的界限仍然成立。对于平均连接,对于增量和减量算法,界限减弱为$Ω(n^{1/2 - o(1)})$,并且当允许$n^{o(1)}$ -近似时,界限仍然保持。
2022-07-12 cs.CC cs.DC cs.DS
Hierarchical Clustering better than Average-Linkage
Stanford University(斯坦福大学)
层次聚类(HC)是探索性数据分析中的一个广泛研究的问题,通常通过简单的凝聚过程,如平均联系,单一联系或完全联系来解决。在本文中,我们重点关注最近引入的两个目标,以深入了解平均连锁聚类的性能:由[Moseley和Wang,2017]提出的基于相似性的HC目标和由[Cohen-Addad等人,2018年]。在这两种情况下,我们提出了紧反例,表明平均连锁不能分别获得优于1/3和2/3的近似值(在最坏情况下),解决了[Moseley和Wang,2017]中提出的一个悬而未决的问题。这与随机解的近似比相匹配,这就提出了一个自然的问题:我们能为这些目标击败平均联系吗?我们的回答是肯定的,给出了两个新的算法的基础上半定规划证明更好的保证。
2018-08-07 cs.DS cs.GT cs.LG
Parallel Hierarchical Agglomerative Clustering in Low Dimensions
本文针对质心与 Ward 等非单调连接函数,证明低维 $(1+ε)$-近似 HAC 存在高效 NC 算法,并给出层次高度结构界及任意维下的 CC 难结果。
2025-07-26 cs.CC cs.DC cs.DS
New bounds on the cohesion of complete-link and other linkage methods for agglomeration clustering
University of California San Diego(加利福尼亚大学圣迭戈分校);PUC-RIO(里约热内卢天主教大学)
本文为度量空间中完全连接层次聚类的最大直径建立了改进的上界,首次在直径近似上区分完全连接与单连接,并将技术推广到含平均连接在内的一类连接方法。
2024-05-02 cs.DS cs.LG stat.ML
It's Hard to HAC with Average Linkage!
本文证明平均连接层次凝聚聚类在串行和并行计算上均存在固有困难,并指出其在路径图及低输出层次高度情形下仍可高效求解。
2025-02-04 cs.CC cs.DC cs.DS
Hierarchical Agglomerative Graph Clustering in Poly-Logarithmic Depth
由于现实世界数据集的规模巨大,获得可扩展的层次凝聚聚类(HAC)算法是非常重要的。与此同时,由于HAC算法看似顺序的性质,因此很难有效地并行化HAC。在本文中,我们解决这个问题,并提出ParHAC,第一个高效的并行HAC算法与次线性深度的广泛使用的平均链接函数。特别是,我们提供了一个$(1+ε)$ -近似算法,这个问题的$m$边图使用$\tilde{O}(m)$工作和多对数深度。此外,我们表明,获得类似的准确平均连接HAC的界限是不可能的标准复杂性理论的假设。我们补充我们的理论结果与全面研究的ParHAC算法在其可扩展性,性能和质量,并比较几个国家的最先进的顺序和并行基线。在一组广泛的大型公开真实世界数据集上,我们发现ParHAC在最佳顺序基线上平均获得了50.1倍的加速,同时实现了与精确HAC算法相似的质量。我们还表明,ParHAC可以使用商品多核机器在三个多小时内对最大的公共可用图数据集之一进行聚类,其中包含1240亿条边。
2022-06-23 cs.DC cs.DS
Randomized Dimensionality Reduction for Facility Location and Single-Linkage Clustering
Massachusetts Institute of Technology(麻省理工学院);Institute of Advanced Study(高等研究院)
随机降维是一种多功能的工具,用于加速高维问题的算法。我们研究了它的应用到两个聚类问题:设施定位问题,和单链接层次聚类问题,这是相当于计算最小生成树。我们表明,如果我们将输入点集$X$投影到一个随机的$d = O(d_X)$维子空间(其中$d_X$是双倍维度的$X$),那么在投影空间中的最佳设施选址成本近似于原始成本的常数因子。我们显示了一个类似的最小生成树的声明,但与尺寸$d$有一个额外的$\log \log n$长期和逼近因子任意接近$1$。此外,我们将这些结果扩展到近似的解决方案,而不仅仅是他们的成本。最后,我们提供实验结果来验证解决方案的质量和由于降维的加速比。与以前的几篇论文研究这种方法的背景下,$k$ -手段和$k$ -中位数,我们的维数界不依赖于集群的数量,但只对内在的维数$X$。
2021-07-05 cs.DS cs.LG math.PR
Characterizing Properties for Q-Clustering
我们唯一的特点是两个成员的Q-聚类家庭的公理化框架。我们介绍的属性,使用已知的树结构的特征。为了刻画最大和聚类算法,我们使用Gomory-Hu构造,并且为了刻画单链接,我们使用最大生成树。虽然乍一看,似乎这些属性是“显然”所有必要的特点最大和单链接,我们表明,这是不是这样的,通过调查如何子集的属性相互作用。最后,我们提出了增加目前使用的聚类范式的分类。
2012-10-20 cs.DM cs.DS
Scalable Hierarchical Clustering with Tree Grafting
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院);IBM(国际商业机器公司)
我们介绍Grinch,一个新的算法,大规模的,非贪婪的层次聚类与一般的连接功能,计算任意两个点集之间的相似性。Grinch的关键组件是它的旋转和移植子例程,这些子例程在新点到达时有效地重新配置层次结构,支持发现具有复杂结构的集群。Grinch的动机是一个新的概念的分离性与联动功能的聚类:我们证明,当模型是一致的地面真相聚类,Grinch保证产生一个集群树包含地面真相,独立的数据到达顺序。我们在基准和作者共指数据集(具有标准和学习的链接函数)上的实证结果表明,Grinch比其他可扩展方法更准确,并且比层次凝聚聚类快几个数量级。
2019-12-31 cs.DS cs.LG stat.ML
ParChain: A Framework for Parallel Hierarchical Agglomerative Clustering using Nearest-Neighbor Chain
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UC Riverside(加利福尼亚大学河滨分校)
本文研究了层次聚类问题,其目标是产生一个树状图,表示聚类在不同规模的数据集。我们提出了ParChain框架设计并行层次凝聚聚类(HAC)算法,并使用该框架,我们获得新的并行算法的完整的联系,平均联系,和沃德的联系标准。与大多数需要二次存储的并行HAC算法相比,我们的新算法只需要线性存储,并且可扩展到大数据集。ParChain基于我们对最近邻链算法的并行化,并允许在每一轮合并多个集群。我们介绍了两个关键的优化,是至关重要的效率:范围查询优化,减少了距离计算的数量时,找到最近的邻居的集群,和缓存优化存储的子集以前计算的距离,这是可能被重用。实验表明,我们的高度优化的实现使用48个核心的双向超线程实现5.8- 110.1倍的加速比最先进的并行HAC算法,并实现13.75- 54.23倍的自相关加速比。与最先进的算法相比,我们的算法所需的空间减少了237.3倍。我们的算法能够扩展到具有数千万个点的数据集大小,这是现有算法无法处理的。
2022-02-14 cs.DB cs.DC cs.DS
Hierarchical Agglomerative Graph Clustering in Nearly-Linear Time
MIT(麻省理工学院);Google Research(谷歌研究院)
研究了边加权图上的层次凝聚聚类算法。我们定义了一个算法框架的层次凝聚图聚类,提供了第一个有效的$\tilde{O}(m)$时间精确算法的经典链接的措施,如完整的和WPGMA链接,以及其他措施。此外,平均链接,可以说是最流行的变体HAC,我们提供了一个算法,运行在$\tilde{O}(n\sqrt{m})$的时间。对于这个变体,这是第一个在次二次时间内运行的精确算法,只要对某个常数$ε> 0$执行$m=n^{2-ε}$。我们补充这一结果与一个简单的$ε$接近近似算法的平均链接在我们的框架中运行在$\tilde{O}(m)$的时间。作为我们的算法的一个应用,我们考虑聚类点在度量空间中,首先使用$k$ -NN生成一个图的点集,然后运行我们的算法产生的加权图。我们在公开数据集上验证了我们的算法的性能,并表明我们的方法可以将点数据集的聚类速度提高20.7- 76.5倍。
2021-06-10 cs.AI cs.CV cs.DS
Bisect and Conquer: Hierarchical Clustering via Max-Uncut Bisection
层次聚类是一种无监督的数据分析方法,已经被广泛使用了几十年。尽管它很受欢迎,但它有一个不发达的分析基础,为了解决这个问题,Dasgupta最近引入了一个具有成对相似性信息的分层聚类的优化观点,这激发了一系列工作,揭示了旧算法(例如,平均链接),但也设计新的算法。在这里,对于Dasgupta的目标(由Moseley-Wang介绍)的最大化对偶,我们提出了多项式时间的.4246近似算法,使用最大未切二等分作为子程序。之前在多项式时间内的最佳最坏情况近似因子为0.336,仅比平均链接略有改善,达到1/3。最后,我们通过提供APX硬度(即使是0-1相似度)来补充我们的积极结果,在小集合扩展假设下。
2019-12-15 cs.DS
Analysis of Ward's Method
University of Bonn(波恩大学)
研究了求解分层$k$ -均值问题的Ward方法.这种流行的贪婪启发式算法基于\emph{complete linkage}范式:从所有数据点作为单例聚类开始,它连续合并两个聚类以形成少一个聚类的聚类。选择聚类对以(局部)最小化下一步聚类的$k$均值成本。完全连接算法是解决层次聚类问题的一种常用算法,但其理论性质的研究相对较少。对于欧几里德$k$ -中心问题,Ackermann等人证明了通过完全连接计算的层次中的$k$ -聚类具有$Θ(\log k)$的最坏情况近似比。如果数据位于$\mathbb{R}^d$中,则对于恒定维度$d$,保证提高到$\mathcal{O}(1)$,但是$\mathcal{O}$表示法隐藏了对$d$的线性依赖性。迄今为止,尚未分析$k$ -中位数或$k$ -均值的完全连锁。在本文中,我们表明,沃德的方法计算$2$ -近似相对于$k$ -意味着目标函数,如果最佳的$k$ -聚类分离良好。如果另外的最优聚类也满足平衡条件,则沃德的方法完全恢复最优解。这些结果在任意维数下都成立。我们伴随着我们的积极的结果与下限的$Ω((3/2)^d)$的数据集在$\mathbb{R}^d$,如果没有分离是保证,并与下限时,保证分离不够强。最后,我们表明,沃德产生一个$\mathcal{O}(1)$ -近似聚类的一维数据集。
2019-07-11 cs.CG cs.DS cs.LG
Sublinear Algorithms for Estimating Single-Linkage Clustering Costs
University of Science and Technology of China(中国科学技术大学);University of Cologne(科隆大学)
针对单链接聚类成本轮廓,提出基于采样的次线性算法,以O~(d√W/ε^3)时间输出草图,实现ℓ1误差ε·cost(G)的近似,并证明近乎匹配的查询下界。
2026-10-30 cs.DS
DynHAC: Fully Dynamic Approximate Hierarchical Agglomerative Clustering
针对动态场景下平均链接层次凝聚聚类的维护难题,提出首个可维护1+ε近似解的DynHAC算法,在真实图数据上更新速度最高提升423倍,NMI分数较现有最优动态算法最高高0.21。
2025-01-13 cs.DS
Modern hierarchical, agglomerative clustering algorithms
本文提出了算法的层次,凝聚聚类,最有效地执行在现代标准软件中给出的通用设置。要求是:(1)输入数据由数据点之间的成对不相似性给出,但也讨论了矢量数据的扩展(2)输出是“逐步树状图”,这是一种由当前标准软件中的所有实现共享的数据结构。我们提出的算法(旧的和新的),在这种设置有效地执行聚类,无论是在一个渐进的最坏情况下的分析,并从实用的角度来看。本文的主要贡献是:(1)提出了一种新的距离更新算法,该算法适用于任何距离更新方案,性能明显优于现有的算法。(2)我们证明了两个算法的正确性Rohlf和Murtagh,这是必要的,在每种情况下,由于不同的原因。(3)我们给出了有根据的建议,目前最好的算法的各种凝聚聚类方案。
2011-09-12 cs.DS stat.ML
Learning to Link
Carnegie Mellon University(卡内基梅隆大学);Toyota Technical Institute at Chicago(芝加哥丰田技术研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
聚类是许多现代数据分析管道的重要组成部分,包括网络分析和数据检索。不同的社区开发了许多不同的聚类算法,并且通常不清楚哪种算法将在特定的聚类任务上提供最佳性能。类似地,我们通常有多种方法来测量数据点之间的距离,最佳聚类性能可能需要这些指标的非平凡组合。在这项工作中,我们研究了数据驱动的算法选择和度量学习的聚类问题,其目标是同时学习最好的算法和度量为特定的应用程序。我们考虑的聚类算法的家庭是参数化的连接为基础的程序,包括单一的和完整的链接。我们学习的距离函数族是基距离函数的凸组合。我们设计了高效的学习算法,它接收来自聚类实例的特定于应用程序的分布的样本,并同时从这些类学习接近最佳的距离和聚类算法。我们还进行了全面的实证评估,我们的技术表明,它们可以导致显着提高聚类性能。
2019-10-02 cs.DS cs.LG
A comparative study of divisive hierarchical clustering algorithms
提出了一种可分层次聚类算法的一般方案。它是由三个主要步骤:第一个分裂程序的细分集群成两个子集群,第二个本地评估的bipartisons产生的试探性分裂,第三,一个公式,用于确定所产生的树状图的节点水平。给出了一些这样的算法。这些算法进行了比较,使用Goodman-Kruskal相关系数。作为一个全球性的标准,它是一个内部的拟合优度测量的基础上,由层次结构诱导的顺序相比,与给定的相异性相关联的顺序。应用于一百个随机数据表,这些比较有利于两种基于不寻常比率型公式的分裂程序方法,即Silhouette准则和Dunn准则。这两个标准同时考虑了聚类内和聚类间的平均相异性。总的来说,这两种算法的结果优于经典的凝聚平均链接法。
2015-09-05 cs.DS q-bio.QM
Analysis of Agglomerative Clustering
Schloss Dagstuhl – Leibniz Center for Informatics(达格斯托尔城堡–莱布尼茨信息学中心);University of Paderborn(帕德博恩大学);TU Dortmund(多特蒙德工业大学)
直径$k$ -聚类问题是将$\mathbb{R}^d$的有限子集划分为称为聚类的$k$子集,使得聚类的最大直径最小化的问题。一个早期的聚类算法,计算一个层次的近似解决方案,这个问题(为所有值的$k$)是凝聚聚类算法与完整的链接策略。几十年来,该算法已被实践者广泛使用。然而,在理论上还没有得到很好的研究。本文分析了凝聚完全链接聚类算法。假设$d$的维度是一个常数,我们表明,对于任何$k$的解决方案,该算法计算的是一个$O(\log k)$ -近似直径$k$ -聚类问题。我们的分析不仅适用于欧几里得距离,而且适用于任何基于范数的度量。此外,我们分析了密切相关的$k$ -中心和离散$k$ -中心问题。对于相应的凝聚算法,我们推导出一个近似因子$O(\log k)$。
2014-03-07 cs.CG cs.DS cs.LG
Fast Parallel Algorithms for Euclidean Minimum Spanning Tree and Hierarchical Spatial Clustering
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UC Riverside(加州大学河滨分校)
本文提出了新的并行算法生成欧氏最小生成树和空间聚类层次(称为HDBSCAN $^*$)。我们的方法是基于生成一个良好分离的对分解,然后使用Kruskal的最小生成树算法和双色最近对计算。我们引入了一个新的概念,良好的分离,以减少工作和空间的HDBSCAN $^*$算法。我们还提出了一个并行近似算法的基础上,最近的顺序算法的GAN和陶。最后,我们给出了一个新的并行分治算法计算的树状图和可达性图,这是用于可视化集群的EMST和HDBSCAN $^*$出现的不同规模。我们表明,我们的算法在理论上是有效的:他们的工作(操作数)相匹配的顺序对应,和polylogarithmic深度(并行时间)。我们实现了我们的算法,并提出了一个内存优化,只需要一个子集的良好分离的对进行计算和物化,从而节省空间(高达10倍)和时间(高达8倍)。我们的实验上的大型现实世界和合成数据集使用48核机器表明,我们的最快的算法优于最好的串行算法的问题的11.13- 55.89倍,和现有的并行算法至少一个数量级。
2021-04-02 cs.DB cs.DC cs.DS
Hierarchical Clustering for Euclidean Data
层次聚类(HC),探索性数据分析中的一个很好的研究问题,最近的工作集中在优化这个问题的各种目标函数下任意的相似性措施。在本文中,我们采取了第一步,并给出了新的可扩展的算法,这个问题的R^d和基于向量的相似性措施,在几个典型的机器学习应用程序中的流行模型下的欧几里德数据量身定制。我们主要关注流行的高斯核和其他相关度量,通过Moseley和Wang [2017]最近介绍的目标的镜头呈现我们的结果。我们证明了Moseley和Wang [2017]中的近似因子可以针对欧几里得数据进行改进。我们进一步从理论上和实验上证明,我们的算法扩展到非常高的维度d,同时优于平均链接,并显示出对其他可扩展性较低的方法的竞争力的结果。
2018-12-27 cs.DS
Clustering with shallow trees
我们提出了一种新的方法,层次聚类的基础上优化的成本函数在树的深度有限,我们推导出一个消息传递的方法,允许有效地解决它。该方法和算法可以被解释为两个众所周知的方法,即单链接和最近提出的亲和传播之间的自然插值。我们用这个一般方案分析了三个生物/医学结构化数据集(基于遗传信息的人口,基于序列和口头尸检的蛋白质),并表明插值技术提供了新的见解。
2009-11-23 cond-mat.dis-nn cs.DS q-bio.QM
On Randomly Projected Hierarchical Clustering with Guarantees
层次聚类(HC)算法通常限于小数据实例,由于其运行时成本。在这里,我们减轻这一缺点,并探讨快速HC算法的基础上随机预测单(SLC)和平均(ALC)的链接聚类以及最小生成树问题(MST)。我们提出了一个彻底的自适应分析,我们的算法,提高以前的工作从$O(N^2)$的$N/(\log N)^2$的一个因素,为数据集的$N$点在欧几里得空间。该算法保持任意高概率,层次聚类的结果以及最坏情况下的运行时间保证。我们还提出了我们的算法的无参数实例。
2014-01-22 cs.DS cs.IR
A Fast Quartet Tree Heuristic for Hierarchical Clustering
Center for Mathematics and Computer Science (CWI)(数学与计算机科学中心(CWI));University of Amsterdam(阿姆斯特丹大学)
最小四元组树代价问题是从$n$对象上的$3{n \choose 4}$加权四元组拓扑构造最优权重树,其中最优性意味着嵌入的四元组拓扑的总权重是最优的(因此可能是最优树将所有四元组嵌入为非最优拓扑的情况)。我们提出了一个蒙特卡洛启发式,随机爬山的基础上,近似的最佳权重树,给定的四重拓扑权重。该方法反复变换树状图,涉及的所有对象作为叶子,实现单调近似的确切的单一的全局最优树。问题和解决方案的启发式已被广泛用于一般层次聚类的非树型(非同源性)数据在各个领域和跨域异构数据。我们还提出了一个大大改进的启发式,减少了一千到一万的顺序的因素的运行时间。所有这些都是作为CompLearn包的一部分实现和可用的。我们将原始版本和改进版本的性能和运行时间与UPGMA,BioNJ和NJ的性能和运行时间进行了比较,后者在SplitsTree软件包中对基因组数据进行了优化。保留字:数据和知识可视化,模式匹配-聚类-算法/相似性度量,层次聚类,全局优化,四方树,随机爬山,
2014-09-12 cs.CE cs.DS cs.LG
Hierarchical Clustering: New Bounds and Objective
University of Alberta(阿尔伯塔大学)
层次聚类作为一种数据分析方法已经得到了广泛的研究和应用。最近,Dasgupta [2016]定义了一个精确的目标函数。给定一组$n$数据点,其中每两个项目$i$和$j$的权重函数$w_{i,j}$表示它们的相似性/不相似性,目标是建立数据点(项目)到连续较小聚类的递归(树状)划分。他定义了一个成本函数的树$T$是$Cost(T) = \sum_{i,j \in [n]} \big(w_{i,j} \times |T_{i,j}| \big)$其中$T_{i,j}$是子树植根于最少共同祖先的$i$和$j$,并提出了第一近似算法,这样的集群。然后,Moseley和Wang [2017]考虑了Dasgupta基于相似性权重的目标函数的对偶,并表明随机划分和平均链接都具有近似比$1/3$,该近似比已在一系列工作中改进为$0.585$ [Alon et al. 2020]。后来Cohen-Addad等人[2019]考虑了与Dasgupta相同的目标函数,但用于基于差异的指标,称为$Rev(T)$。结果表明,随机分配和平均连锁均具有$2/3$比,该比仅略微改善为$0.667078$ [Charikar et al. SODA 2020]。我们的第一个主要结果是考虑$Rev(T)$,并提出了一个更微妙的算法和仔细的分析,实现近似$0.71604$。我们还引入了一个新的目标函数的差异为基础的聚类。…
2021-11-12 cs.DS cs.LG
From Trees to Continuous Embeddings and Back: Hyperbolic Hierarchical Clustering
Department of Computer Science, Stanford University(斯坦福大学计算机科学系);Institute for Computational and Mathematical Engineering, Stanford University(斯坦福大学计算与数学工程研究所);Google Research, NY(谷歌研究院(纽约))
基于相似性的层次聚类(HC)是一种经典的无监督机器学习算法,传统上是用启发式算法如平均链接来解决的。最近,Dasgupta通过引入一个衡量给定树质量的全局成本函数,将HC重新定义为一个离散优化问题。在这项工作中,我们提供了第一个连续放松Dasgupta的离散优化问题,可证明的质量保证。我们的方法HypHC的关键思想是显示从离散树到连续表示的直接对应关系(通过其叶节点的双曲嵌入)和返回(通过将叶嵌入映射到树状图的解码算法),允许我们搜索离散二叉树的空间,并进行连续优化。树和双曲空间之间的类比的基础上,我们推导出一个连续的模拟的概念,最低的共同祖先,这导致连续放松达斯古普塔的离散目标。我们可以证明,在解码之后,我们的连续松弛的全局极小值产生了一个离散树,它具有Dasgupta最优树的(1 + 1)因子近似,其中1可以任意小,并控制优化挑战。我们实验评估HypHC的各种HC基准,并发现,即使是近似的解决方案,发现与梯度下降有更好的聚类质量比凝聚算法或其他基于梯度的算法。最后,我们强调了HypHC在下游分类任务中使用端到端训练的灵活性。
2020-10-01 cs.DS cs.LG stat.ML