Homogenous and Heterogenous Parallel Clustering: An Overview
Boston University（波士顿大学）；Ryerson University（瑞尔森大学）
计算机体系结构和网络的最新进展为聚类算法的并行化提供了机会。这种分而治之的策略通常会导致更好的结果，集中式集群的时间性能大大提高。本文回顾了主要的并行集群，并提供了深入了解他们的战略。该审查汇集了平行集群不同的尝试，以提供在这一新兴领域的进展的全面说明
2022-02-14 cs.DC cs.LG
Faster Parallel Exact Density Peaks Clustering
针对精确密度峰值聚类(DPC)算法并行度低的问题，提出基于优先搜索kd树和Fenwick树的快速并行算法，在保持工作高效的同时显著降低并行时间复杂度，实验表明其相比现有算法取得显著加速。
2023-05-18 cs.DC
Parallel Spectral Clustering Algorithm Based on Hadoop
University of Chinese Academy of Sciences（中国科学院大学）
谱聚类和云计算是计算机科学或相关学科的新兴分支。它克服了一些传统聚类算法的缺点，保证了收敛到最优解，因而受到了广泛的关注。本文首先介绍了并行谱聚类算法的研究背景和意义，然后对Hadoop的云计算框架进行了详细的介绍，接着对谱聚类进行了相关的介绍，然后介绍了谱聚类算法的并行化方法和相关步骤，最后做了相关的实验，并对实验进行了总结。
2015-05-31 cs.DC cs.DS cs.LG
GPU-Accelerated Multilevel Graph Clustering: A Parallel Perspective on Louvain and Leiden
The Pennsylvania State University（宾夕法尼亚州立大学）
该研究提出pLouvain与pLeiden两种GPU并行实现，其中pLeiden可保留串行Leiden的质量保证，二者在57个图上分别实现3.1倍、8.8倍加速，pLouvain模块度表现最优，其子程序可辅助其他Louvain技术并行化。
2026-08-04 cs.DC
Parallel Computation of Multi-Slice Clustering of Third-Order Tensors
Laboratoire d’Informatique de Paris Nord（巴黎北部信息学实验室）；École de Technologie Supérieure（高等技术学院）；University of Versailles（凡尔赛大学）；Université Paris-Saclay（巴黎萨克雷大学）
针对三阶张量 MSC 在海量数据下的计算挑战，本文提出基于分布式内存、按张量模式并行的谱分析算法，证明其优于串行方案并提升可扩展性。
2023-09-29 cs.DC cs.LG
Parallel Index-Based Structural Graph Clustering and Its Approximation
SCAN（Structural Clustering Algorithm for Networks）是一种研究得很好、应用广泛的图聚类算法。然而，对于大型图，顺序SCAN变体非常慢，并且并行SCAN变体不能在具有不同SCAN参数设置的查询之间有效地共享工作。由于SCAN的用户经常探索许多参数设置来找到好的聚类，因此值得预先计算一个索引来加速查询。本文在最近提出的一种顺序算法GS*-Index的基础上，提出了一种实用的、可证明有效的基于索引的并行SCAN算法。我们的并行算法通过使用整数排序改进了顺序算法的渐近工作。它也是高度并行的，实现了索引构建和聚类查询的对数跨度（并行时间）。此外，我们应用局部敏感哈希（LSH）设计一种新的近似SCAN算法，并证明其聚类行为的保证。我们提出了一个实验评估我们的算法在大型现实世界的图形。在具有双向超线程的48核机器上，我们的并行索引构造比GS*-Index构造实现了50- 151 $\times$的加速。事实上，即使在单线程上，我们的索引构造算法也比GS*-Index快。我们的并行索引查询实现实现了5- 32 $\times$加速GS*-索引查询在一系列的SCAN参数值，我们的实现总是比ppSCAN，一个国家的最先进的并行SCAN算法。此外，我们的实验表明，应用LSH的结果在更快的索引建设，同时保持良好的聚类质量。
2021-03-30 cs.DB cs.DC cs.DS
A Tabu Search based clustering algorithm and its parallel implementation on Spark
著名的K-means聚类算法已广泛应用于从数据分析到物流应用的不同应用领域。然而，K-means算法可能会受到诸如初始质心选择等因素的影响，并且很容易陷入局部最优。本文提出了一种改进的K-means聚类算法，该算法通过Tabu搜索策略进行了扩展，更好地适应了大数据应用的需求。我们的设计进一步增强，以利用基于Spark框架的并行处理。计算实验证明了我们的禁忌搜索的聚类算法的优越性，在广泛使用的版本的K-means方法体现在Spark MLlib，比较算法的可扩展性，准确性和有效性。
2017-11-30 cs.DC cs.SI
Parallelizing the Unpacking and Clustering of Detector Data for Reconstruction of Charged Particle Tracks on Multi-core CPUs and Many-core GPUs
我们提出的结果从并行化的解包和聚类步骤的原始数据从硅带模块重建带电粒子轨道。通过在CPU上使用嵌套的OpenMP并行性或在GPU上使用CUDA流来并发处理多个事件，吞吐量得到进一步改进。新的实现以及早期的工作，在开发一个并行化和矢量化的组合卡尔曼滤波器算法的实现，使整个事件的有效的全球重建现代计算机架构。我们展示了在英特尔至强和NVIDIA GPU架构上的新实现的性能。
2021-01-27 cs.DC hep-ex
clusterNOR: A NUMA-Optimized Clustering Framework
聚类算法是迭代的，具有复杂的数据访问模式，导致许多小的随机内存访问。并行实现的性能受到每次迭代的同步障碍和倾斜工作负载的影响。我们重新考虑现代非统一内存架构（NUMA）的集群并行化，以最大限度地提高独立、异步计算的效率。我们消除了许多障碍，减少了远程内存访问，并最大限度地提高缓存重用。我们实现了“集群NUMA优化的并行”（clusterNOR）可扩展的并行框架，提供算法构建块。该系统是通用的，我们演示了九个现代聚类算法，有简单的实现。clusterNOR包括（i）存储器内，（ii）半外部存储器，以及（iii）分布式存储器执行，使得能够针对变化的存储器和硬件预算进行计算。对于依赖于欧氏距离的算法，clusterNOR定义了一个更新的Elkan三角不等式修剪算法，该算法使用的内存逐渐减少，因此可以在十亿点数据集上工作。clusterNOR通过概括基本原理、提供统一的编程接口并将范围扩展到分层和线性代数类算法，扩展并扩展了k-means聚类的“knor”库的范围。我们优化的复合效果是速度比其他最先进的解决方案（如Spark的MLlib和Apple的Turi）提高了一个数量级。
2021-01-17 cs.DC
An Accurate and Efficient Large-scale Regression Method through Best Friend Clustering
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
随着机器学习领域的数据量呈指数级增长，通过利用高性能计算硬件提供的不断增长的大量可用核来加速计算是不可避免的。然而，现有的并行聚类或回归方法往往遭受的问题，精度低，收敛速度慢，和复杂的超参数调整。此外，并行效率通常是难以提高，同时保持模型属性和分区计算工作负载之间的平衡，在分布式系统上。在本文中，我们提出了一种新的和简单的数据结构捕捉数据样本中最重要的信息。它有几个有利的属性，支持分层聚类策略，这是无关的硬件并行性，定义良好的指标，用于确定最佳聚类，平衡分区，保持紧凑性，和高效的并行化加速计算阶段。然后，我们结合聚类与回归技术作为一个并行库，并利用数据和模型并行的混合结构进行预测。实验结果表明，该库在收敛性、准确性和可扩展性等方面都取得了显著的效果.
2021-04-22 cs.DC cs.LG
Efficient Parallel Algorithms for k-Center Clustering
k-中心问题是几个经典的NP-难聚类问题之一。对于当代的海量数据集，基于RAM的算法变得不切实际。虽然有很好的顺序算法的k-中心，他们是不容易并行化。在本文中，我们设计并实现了并行近似算法为这个问题。我们观察到，冈萨雷斯的贪心算法可以有效地并行化在几个MapReduce轮，在实践中，我们发现，两轮是足够的，导致4-近似。我们将此与现有的k-中心并行算法进行对比，该算法在恒定数量的轮中运行，并提供10-近似。深入的运行时分析表明，这种方案通常很慢，并且其采样过程仅在k相对于输入大小足够小时才运行。为了在运行时间和近似保证之间进行权衡，我们对该采样算法进行了参数化，并在实验中发现该算法不仅速度更快，而且有时更有效。然而，Gonzalez的并行版本比其顺序版本和并行采样算法快约100倍，几乎不影响解决方案质量。
2016-04-12 cs.DC cs.DS
Parallel Hierarchical Affinity Propagation with MapReduce
互联网和社交媒体的加速发展和爆炸正在产生大量的数据（在zettabyte规模上）。从海量大数据中操纵和提取可操作情报的愿望中，最重要的是需要可扩展的、性能敏感的分析算法。为了直接满足这一需求，我们提出了一种新的MapReduce实现的基于样本的聚类算法称为亲和传播。我们的并行化策略扩展到多层次的层次亲和传播算法，使分层聚合的非结构化数据与最小的自由参数，原则上只需要一个数据点之间的相似性度量。我们详细介绍了我们的方法的线性运行时的复杂性，克服了原来的算法的限制二次复杂性。在各种合成和真实数据集（例如图像和点数据）上对我们的聚类方法进行了实验验证，证明了我们对其他最先进的MapReduce聚类技术的竞争力。
2014-03-28 cs.DC
Parallel Correlation Clustering on Big Graphs
给定项目之间的相似性图，相关聚类（CC）将相似的项目分组在一起，不相似的项目分开。最流行的CC算法之一是KwikCluster：一种连续聚类顶点邻域并获得3-近似比的算法。不幸的是，KwikCluster在实践中需要大量的聚类轮数，这是大型图的潜在瓶颈。我们介绍C4和WILDER！，并行相关聚类的两个算法，运行在一个多对数轮数，并实现近线性加速比，证明。C4使用并发控制来增强并行聚类过程的可串行性，并保证3-近似比。疯狂的！是一个无协调的算法，放弃了更好的缩放的好处的一致性，这导致了一个可证明的3近似比小的损失。我们为这两种算法提供了广泛的实验结果，在聚类精度和运行时间方面，我们都优于最先进的算法。我们表明，我们的算法可以在32个核心上在5秒内集群十亿边图，同时实现15倍的加速比。
2015-07-20 cs.DC cs.DS stat.ML
A Distributed Block Chebyshev-Davidson Algorithm for Parallel Spectral Clustering
Purdue University（普渡大学）；University of Maryland（马里兰大学）
本文提出一种分布式块Chebyshev-Davidson算法，通过解析谱估计解决大规模前特征值问题，并实现具有$\sqrt{p}$加速比的并行计算，显著提升了谱聚类在大数据环境下的效率与可扩展性。
2024-01-05 cs.DC cs.LG cs.NA
Distributed Lance-William Clustering Algorithm
一个重要的工具是将数据最佳聚类到有用的类别中。在许多应用中，将相似的对象划分为较少数量的簇是重要的。其中包括搜索引擎、学习成绩监测、生物学和无线网络。我们首先讨论一些聚类方法。我们提出了一个并行算法的有效聚类的对象成组的基础上，他们彼此的相似性。输入由一个n × n距离矩阵组成。该矩阵将具有每对对象的距离排名。数字越小，两个对象越相似。我们利用并行处理器来计算这n个项目的层次聚类基于这个矩阵。我们的方法的另一个优点是大的n乘n矩阵的分布。我们已经实现了我们的算法，并发现它是可扩展的处理速度和存储方面。
2017-09-20 cs.DC
Space and Time Efficient Parallel Graph Decomposition, Clustering, and Diameter Approximation
我们开发了一种新的并行分解策略，为未加权，无向图，基于不断增长的不相交的连接集群从一批中心逐步选择尚未发现的节点。相对于类似的以前的分解，我们的策略行使更严格的控制集群的数量和它们的最大半径。我们提出了我们的并行图分解的两个重要应用：（1）$k$ -中心聚类近似;（2）直径近似。在这两种情况下，我们得到的算法，具有多对数近似因子，并服从于一个分布式的实现，是面向大规模（长直径）的图形。计算所需的总空间在问题大小上是线性的，并且对于具有低倍维的图，平行深度在直径上基本上是次线性的。据我们所知，我们是第一个平行近似这些问题，实现子直径并行时间，为相关的一类图，只使用线性空间。除了理论上的保证，我们的算法允许一个非常简单的实现集群架构：我们报告了大量的实验，证明其有效性和效率的大型图形相比，替代已知的方法。
2015-02-06 cs.DC cs.DS
High-Performance Hybrid Algorithm for Minimum Sum-of-Squares Clustering of Infinitely Tall Data
University of Washington（华盛顿大学）；Satbayev University（萨拜耶夫大学）；Institute of Information and Computational Technologies（信息与计算技术研究所）
本文提出无限高数据最小平方和聚类问题，并设计混合并行算法HPClust，通过多策略竞争-协作并行提升聚类效率、可扩展性和准确性，优于现有方法。
2024-06-25 cs.DC cs.LG math.OC
Correlation Clustering in Constant Many Parallel Rounds
Google Research（谷歌研究院）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；Microsoft Research（微软研究院）
相关聚类是无监督学习的一个中心话题，在ML和数据采掘中有许多应用。在相关聚类中，人们接收一个有符号的图作为输入，目标是将其划分以最小化不一致的数量。在这项工作中，我们提出了一个大规模并行计算（MPC）算法，这个问题是相当快的比以前的工作。特别是，我们的算法使用的机器与内存次线性的节点数在图中，并返回一个常数近似值，而只运行一个常数轮数。据我们所知，我们的算法是第一个，可以证明近似的聚类问题的图只使用一个常数的MPC轮在次线性记忆制度。我们补充我们的分析与我们的技术的实验分析。
2021-06-15 cs.DC cs.DS cs.LG
Massively Parallel Algorithms and Hardness for Single-Linkage Clustering Under $\ell_p$-Distances
我们提出了大规模并行（MPC）算法和硬度的近似结果计算$n$输入$d$维向量的单链聚类下的汉明，$\ell_1, \ell_2$和$\ell_\infty$距离。我们所有的算法运行在$O(\log n)$轮MPC的任何固定的$d$和实现$(1+ε)$ -近似的所有距离（除了汉明，我们显示一个确切的算法）。我们还显示了恒定因素的不可近似性结果$o(\log n)$轮算法下的标准MPC硬度假设（足够大的尺寸取决于所使用的距离）。我们的算法在Apache Spark中的实现效率通过在各种数据集上的实验来证明，这些数据集表现出几个数量级的加速。
2018-03-25 cs.DB cs.DC cs.DS
Massively Parallel Correlation Clustering in Bounded Arboricity Graphs
识别集合中相似元素的聚类是数据分析中的常见任务。随着数据量的巨大增长和单处理器速度的物理限制，有必要寻找有效的并行聚类算法。本文研究了大规模并行计算（MPC）模型下有界荫度图的相关聚类问题。更具体地说，我们给出了一个完全图，其中的边是正的或负的，表明顶点对是相似的还是不相似的。任务是将顶点划分为具有尽可能少的分歧的簇。也就是说，我们希望最小化正的簇间边缘和负的簇内边缘的数量。考虑一个输入图$G$在$n$的顶点上，使得正边诱导出一个$λ$ -arboric图.我们的主要结果是一个3-近似（$\textit{in expectation}$）算法的相关聚类，运行在$\mathcal{O}(\log λ\cdot \textrm{poly}(\log \log n))$ MPC轮的$\textit{strongly sublinear memory regime}$。这是通过将有界荫度图上的相关聚类的结构特性与Fischer和Noever（SODA '18）对随机贪婪MIS的见解以及Ailon、Charikar和Newman（STOC '05）的$\texttt{PIVOT}$算法相结合来获得的。结合已知的图匹配算法，我们的结构属性也意味着一个精确的算法和算法与$\textit{worst case}$ $(1+ε)$ -近似保证在特殊情况下的森林，其中$λ=1$。
2021-08-06 cs.DC cs.DS
Dynamic Nested Clustering for Parallel PHY-Layer Processing in Cloud-RANs
云无线接入网（C-RAN）以集中处理和基于云的基础设施为特征，是在未来无线蜂窝网络中实现前所未有的系统容量的有前途的解决方案。巨大的容量增益主要来自云服务器上的集中和协调的信号处理。然而，大规模C-RAN中的全面协调需要处理非常大的信道矩阵，导致高计算复杂性和信道估计开销。为了解决这一挑战，我们利用大型C-RAN信道矩阵的近稀疏性，并推导出一个统一的理论框架，集群和并行处理。基于该框架，提出了一种动态嵌套聚类（DNC）算法，该算法不仅大大提高了系统在基带处理和信道估计复杂度方面的可扩展性，而且适用于不同数据中心架构的各种并行处理策略。与所提出的算法，我们表明，最佳线性检测器的计算时间大大减少从$O(N^3)$不高于$O(N^{\frac{42}{23}})$，其中$N$是在C-RAN的RRH的数量。
2014-12-27 cs.DC cs.IT math.IT
Superior Parallel Big Data Clustering through Competitive Stochastic Sample Size Optimization in Big-means
Satbayev University（萨塔巴耶夫大学）；Institute of Information and Computational Technologies（信息与计算技术研究所）；University of Washington（华盛顿大学）
本文提出一种改进的Big-means K-means聚类算法，通过并行处理、随机采样与工作节点间竞争性样本量动态优化，在保证聚类质量的同时提升大数据场景下的计算效率与可扩展性。
2024-03-27 cs.AI cs.DC cs.IR
Parallelization of the K-Means Algorithm with Applications to Big Data Clustering
Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对K-Means串行聚类距离计算开销大的问题，比较OpenMP平面同步与基于OpenACC的GPU并行方案，并通过加速比、效率和耗时评估性能。
2024-05-20 cs.DC cs.LG
Clubmark: a Parallel Isolation Framework for Benchmarking and Profiling Clustering Algorithms on NUMA Architectures
eXascale Infolab, University of Fribourg（弗里堡大学 eXascale 信息实验室）
本文提出Clubmark框架，用于在NUMA架构上对多种聚类算法进行并行基准测试和分析，提供细粒度的执行变量控制和对多种聚类算法的评估。
2019-02-01 cs.DC cs.SY eess.SY
Parallel computing in automation of decoupled fluid-thermostructural simulation approach
解耦方法提出了一种新的解决方案/替代高度耗时的流体热结构仿真程序时，热效应和机床上的位移进行分析。使用高维特征图（CD）以及聚类算法，极大地减少了训练所需的数据，有限数量的CFD模拟就足以有效地解耦流体和热结构模拟。当考虑复杂的几何形状或动态元件时，这种方法变得非常重要。然而，在减少训练裁谈会所需时间方面仍有改进的余地。并行计算可以有效地用于解耦方法中，同时执行（i）CFD模拟和数据输出，以及（ii）涉及遗传算法和径向基函数插值的聚类技术，其聚类和优化CD的训练数据。解耦仿真方法将整个计算时间从几天减少到几个小时，从而提高了解耦仿真方法的效率和易用性。
2019-10-30 cs.DC
PANDORA: A Parallel Dendrogram Construction Algorithm for Single Linkage Clustering on GPU
Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出PANDORA，一种基于递归树收缩的并行算法，用于在GPU上高效构建单链接层次聚类的树状图，在多厂商GPU上显著优于现有最佳实现。
2024-01-11 cs.DC cs.LG
Scalable Community Detection via Parallel Correlation Clustering
MIT（麻省理工学院）；Google（谷歌）
图聚类和社区发现是现代数据采掘的核心问题。分析数十亿级数据的需求日益增长，这就要求针对这些问题的算法更快、更可扩展。在这种聚类算法的质量和速度之间存在一定的权衡。在本文中，我们设计了可扩展的算法，实现高质量的基础上地面真相评估时。我们基于LambdaCC目标（由Veldt等人介绍）开发了一个通用的顺序和共享内存并行框架，其包括模块化和相关聚类。我们的框架由高度优化的实现组成，这些实现可扩展到数十亿条边的大型数据集，并在未加权和加权图上获得与地面实况数据相比高质量的聚类。我们的实证评估表明，该框架提高了可扩展的社区发现的速度和质量之间的最先进的权衡。例如，在具有双向超线程的30核机器上，我们的实现实现了比其他相关性集群基线高出几个数量级的加速，比我们自己的顺序基线高出28.44倍的加速，同时保持或提高了质量。
2021-07-27 cs.AI cs.DC cs.LG
ParChain: A Framework for Parallel Hierarchical Agglomerative Clustering using Nearest-Neighbor Chain
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UC Riverside（加利福尼亚大学河滨分校）
本文研究了层次聚类问题，其目标是产生一个树状图，表示聚类在不同规模的数据集。我们提出了ParChain框架设计并行层次凝聚聚类（HAC）算法，并使用该框架，我们获得新的并行算法的完整的联系，平均联系，和沃德的联系标准。与大多数需要二次存储的并行HAC算法相比，我们的新算法只需要线性存储，并且可扩展到大数据集。ParChain基于我们对最近邻链算法的并行化，并允许在每一轮合并多个集群。我们介绍了两个关键的优化，是至关重要的效率：范围查询优化，减少了距离计算的数量时，找到最近的邻居的集群，和缓存优化存储的子集以前计算的距离，这是可能被重用。实验表明，我们的高度优化的实现使用48个核心的双向超线程实现5.8- 110.1倍的加速比最先进的并行HAC算法，并实现13.75- 54.23倍的自相关加速比。与最先进的算法相比，我们的算法所需的空间减少了237.3倍。我们的算法能够扩展到具有数千万个点的数据集大小，这是现有算法无法处理的。
2022-02-14 cs.DB cs.DC cs.DS
Almost 3-Approximate Correlation Clustering in Constant Rounds
我们研究相关聚类的并行算法。$n$对象中的每一对都被标记为“相似”或“不相似”。目标是将对象划分为任意多个聚类，同时最小化与标签不一致的数量。我们的主要结果是一个算法，对于任何$ε> 0$获得$(3+ε)$ -近似在$O(1/ε)$轮（模型，如大规模并行计算，本地和半流）。这是平行相关聚类的丰富文献的一个顶点。一方面，近似（几乎）匹配组合算法的自然障碍3。另一方面，该算法的轮复杂度基本上是恒定的。为了实现这一结果，我们引入了一个简单的$O(1/ε)$轮并行算法。我们的主要结果是提供了一个分析该算法，表明它实现了$(3+ε)$ -近似。我们的分析借鉴了新的连接到次线性时间算法。具体来说，它建立在吉田，山本和伊藤[STOC'09]关于限制贪婪最大独立集的“查询复杂性”的工作上。据我们所知，这是该方法在分析任何算法的近似比中的第一个应用。
2022-05-07 cs.DC cs.DS
Massively-Parallel Heat Map Sorting and Applications To Explainable Clustering
Sharif University of Technology（谢里夫理工大学）
本文提出了热图排序问题以在保持簇连通性的前提下重排与合并点及维度，证明了其NP难性，并给出了大规模并行计算模型下的常数轮次固定参数算法及NP难特例的近似算法，实证表明其优于k-means和DBSCAN。
2023-09-14 cs.DC cs.DS cs.LG
Optimal Parallel Algorithms for Dendrogram Computation and Single-Linkage Clustering
本文基于 SLD 新结构性质与分治框架，提出两种确定性并行算法，在十亿规模树上实现高效计算，并较 Union-Find 最高加速150倍。
2024-05-12 cs.DC cs.DS
An Efficient Method of Partitioning High Volumes of Multidimensional Data for Parallel Clustering Algorithms
Centre for Development of Telematics（远程信息处理发展中心）
最优数据划分是并行和分布式实现聚类算法的必要计算，因为它确保独立的任务完成，公平分布，较少的受影响点的数量和更好和更快的合并。虽然使用Kd树的分区在学术界被常规地使用，但是随着数据维度的增加，它遭受性能下降和偏差（非均匀分布），因此不适合在维度可以是100到1000的数量级的工业中实际使用。为了解决这些问题，我们提出了两个新的分区技术，使用现有的数学模型和研究其可行性，性能（偏见和分区速度）和可能的变化，在选择初始种子。第一种方法使用基于n维散列网格的方法，该方法基于将空间中的点映射到散列点的一组立方体。第二种方法使用voronoi平面树，其中每个平面对应于一个分区。我们发现基于网格的方法在计算上是不切实际的，而使用voronoi平面的树（使用可扩展的K-Means++初始种子）随着维度的增加而大大优于Kd树方法。
2016-09-20 cs.AI cs.DC
Fast Parallel Algorithms for Euclidean Minimum Spanning Tree and Hierarchical Spatial Clustering
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UC Riverside（加州大学河滨分校）
本文提出了新的并行算法生成欧氏最小生成树和空间聚类层次（称为HDBSCAN $^*$）。我们的方法是基于生成一个良好分离的对分解，然后使用Kruskal的最小生成树算法和双色最近对计算。我们引入了一个新的概念，良好的分离，以减少工作和空间的HDBSCAN $^*$算法。我们还提出了一个并行近似算法的基础上，最近的顺序算法的GAN和陶。最后，我们给出了一个新的并行分治算法计算的树状图和可达性图，这是用于可视化集群的EMST和HDBSCAN $^*$出现的不同规模。我们表明，我们的算法在理论上是有效的：他们的工作（操作数）相匹配的顺序对应，和polylogarithmic深度（并行时间）。我们实现了我们的算法，并提出了一个内存优化，只需要一个子集的良好分离的对进行计算和物化，从而节省空间（高达10倍）和时间（高达8倍）。我们的实验上的大型现实世界和合成数据集使用48核机器表明，我们的最快的算法优于最好的串行算法的问题的11.13- 55.89倍，和现有的并行算法至少一个数量级。
2021-04-02 cs.DB cs.DC cs.DS
Parallel clustering of high-dimensional social media data streams
我们引入云DIKW作为一个分析环境，支持科学发现，通过集成的并行批处理和流处理，并将其应用到一个代表性的领域应用：社交媒体数据流聚类。最近的工作表明，可以通过使用反映文本内容和社交网络信息的高维向量表示数据点来生成高质量的聚类。由于相似性计算的高成本，即使是单遍算法的顺序实现也无法跟上真实世界流的速度。本文介绍了我们的努力，以满足实时社会流聚类通过并行化的限制。我们关注两个系统层面的问题。像Apache Storm这样的大多数流处理引擎都以有向非循环图的形式组织分布式工作器，这使得动态同步并行工作器的状态变得困难。我们通过使用发布-订阅消息传递系统创建单独的同步通道来应对这一挑战。由于高维向量的稀疏性，随着新数据点被分配到聚类，质心的大小快速增长。传统的同步，直接广播集群质心变得过于昂贵，限制了并行算法的可扩展性。我们解决这个问题的通信集群，而不是整个质心向量的动态变化。我们的算法在云DIKW下可以实时处理Twitter 10%的数据流，具有96路并行度。通过对Cloud DIKW的自然改进，包括在Harp项目中开发的高级集体通信技术，我们将能够以1000路并行实时处理完整的Twitter流。我们使用强大的通用软件子系统将使许多其他需要集成流和批处理数据分析的应用程序成为可能。
2015-02-01 cs.DB cs.DC cs.SI
High-speed detection of emergent market clustering via an unsupervised parallel genetic algorithm
我们实现了一个主从并行遗传算法（PGA）与定制的对数似然适应度函数，以确定价格演变内的紧急集群。我们使用图形处理单元（GPU）来实现PGA，并使用不相交的最小生成树（MSTs）将结果可视化。我们证明，我们的GPU PGA，实现了商用通用GPU，能够恢复股票集群在次秒的速度，在南非市场的股票的子集的基础上。这是一个务实的选择，低成本，可扩展的并行计算，是显着快于原型串行实现优化的C为基础的第四代编程语言，虽然结果是不直接可比的，由于编译器的差异。结合快速在线日内相关矩阵估计从高频数据的聚类识别，建议的实现提供了成本效益，近实时的风险评估金融从业人员。
2015-08-02 cs.DC cs.NE q-fin.CP
Parallel Streaming Signature EM-tree: A Clustering Algorithm for Web Scale Applications
Game Analytics ApS；Queensland University of Technology（昆士兰科技大学）
网络的激增提出了自动分析数十亿页自然语言的未解决问题。我们引入了一个可扩展的算法，集群数亿的网页到数十万集群。它使用高效的算法和压缩的文档表示在一台中型机器上完成这项工作。它适用于两个网络规模的爬行，覆盖数十TB。Cocktail Web09和Cocktail Web12包含5亿和7.33亿个网页，并被聚类为50万到70万个集群。据我们所知，这种细粒度的聚类以前还没有被证明。以前的方法对样本进行聚类，限制了可聚类的最大数量。建议EM树算法使用整个集合的聚类和产生几个数量级以上的集群比现有的算法。细粒度聚类对于大规模集合中有意义的聚类是必要的，其中不同主题的数量随着集合大小线性增长。这些细粒度的集群表现出一个改进的集群质量进行评估时，两个新的评价，使用特设的搜索相关性判断和垃圾邮件分类的外部验证。这些评估解决了分类标签不可用和不可行的聚类质量评估问题。
2015-05-21 cs.AI cs.DC cs.IR
Parallel clustering with CFinder
关于复杂系统的可用数据量每年都在增加，越来越大的系统的测量被收集和记录。这种数据的自然表示是由网络给出的，其大小遵循原始系统的大小。当前计算基础设施中的多核趋势要求对早期方法进行并行重新实现。在这里，我们提出了网格版本的CCRs，它可以定位重叠的社区在有向，加权或无向网络的基础上集团渗透方法（CPM）。我们表明，社区的计算可以分布在几个CPU或计算机。虽然切换到并行版本不一定会导致计算时间的增加，但它确实使超大型网络的社区结构变得可访问。
2012-05-04 cs.DC cs.DS cs.SI
Parallel Batch-Dynamic Minimum Spanning Forest and the Efficiency of Dynamic Agglomerative Graph Clustering
层次凝聚聚类（HAC）是一种流行的聚类算法，但尽管它的重要性，没有一个动态的HAC算法有很好的理论保证存在。本文研究了边权图上的动态HAC。由于单链接HAC减少到计算最小生成森林（MSF），我们的第一个结果是一个并行批动态算法，用于维护MSF。在一批$k$边插入或删除时，我们的批动态MSF算法以高概率运行在$O(k\log^6 n)$预期的摊销工作和$O(\log^4 n)$跨度中。这是第一个完全动态的MSF算法处理批量的边缘更新与polylogarithmic工作每次更新和polylogarithmic跨度。使用我们的MSF算法，我们得到了一个并行批动态算法，可以回答查询单链接图HAC集群。我们的第二个结果是，动态图HAC是显着更难为其他常见的链接功能。例如，假设强指数时间假设，动态图HAC要求在具有$n$顶点的图上的每次更新或查询的$Ω(n^{1-o(1)})$工作用于完全链接、加权平均链接和平均链接。对于完全链接和加权平均链接，即使是增量或减量算法，即使我们允许$\operatorname{poly}(n)$ -近似的界限仍然成立。对于平均连接，对于增量和减量算法，界限减弱为$Ω(n^{1/2 - o(1)})$，并且当允许$n^{o(1)}$ -近似时，界限仍然保持。
2022-07-12 cs.CC cs.DC cs.DS
Distributed Silhouette Algorithm: Evaluating Clustering on Big Data
Politecnico di Torino（都灵理工大学）
在大数据时代，每种算法需要具备的关键特征是能够在分布式环境中高效并行运行。不幸的是，用于评估聚类质量的流行的Silhouette度量不具有此属性，并且相对于输入数据集的大小具有二次计算复杂性。出于这个原因，它的执行在大数据场景中受到了阻碍，在这些场景中，必须以其他方式评估聚类。为了填补这一空白，在本文中，我们介绍了第一个算法，计算的轮廓度量线性复杂度，可以很容易地在分布式环境中并行执行。它的实现在Apache Spark ML库中免费提供。
2023-03-24 cs.AI cs.DC cs.DS
PECANN: Parallel Efficient Clustering with Graph-Based Approximate Nearest Neighbor Search
MIT（麻省理工学院）
本文提出统一密度峰值聚类变体的并行框架 PECANN，通过基于图的近似最近邻搜索和倍增搜索技术实现高效谓词搜索，在高维大规模数据上相比现有方法实现最高两个数量级的加速。
2025-06-03 cs.DC cs.DS cs.LG
Fast Clustering using MapReduce
聚类问题有许多应用，并且随着数据大小的增加而变得更具挑战性。在本文中，我们考虑设计可用于MapReduce的聚类算法，MapReduce是处理大型数据集的最流行的编程环境。我们专注于实际和流行的聚类问题，$k$ -中心和$k$ -中位数。我们开发了快速聚类算法与常数因子近似保证。从理论的角度来看，我们给出了第一个分析，表明几个聚类算法是在$\mathcal{MRC}^0$，一个理论MapReduce类引入Karloff等人。\cite{KarloffSV10}。我们的算法使用采样来减少数据的大小，他们运行一个耗时的聚类算法，如本地搜索或劳埃德算法的结果数据集。我们的算法有足够的灵活性，可以在实践中使用，因为它们运行在一个恒定数量的MapReduce轮。我们通过使用我们的算法进行实验来补充这些结果。我们比较经验的性能，我们的算法的几个顺序和并行算法的$k$中位数问题。实验结果表明，我们的算法的解决方案是相似的，或优于其他算法的解决方案。此外，在足够大的数据集上，我们的算法比我们测试的其他并行算法更快。
2011-09-07 cs.DC cs.DS
Fully-Dynamic Parallel Algorithms for Single-Linkage Clustering
本文提出全动态森林上单链接树状图的更新算法，插入O(h)、删除O(h log(1+n/h))，并给出并行版本，优于静态重算。
2025-06-23 cs.DC cs.DS
Breaking 3-Factor Approximation for Correlation Clustering in Polylogarithmic Rounds
Boston College（波士顿学院）
针对相关性聚类并行算法长期受限于3近似比的问题，提出多对数深度的(2.4+ε)-近似并行算法，并给出串行与MPC实现。
2023-07-13 cs.DC cs.DS cs.LG
Hierarchical Agglomerative Graph Clustering in Poly-Logarithmic Depth
由于现实世界数据集的规模巨大，获得可扩展的层次凝聚聚类（HAC）算法是非常重要的。与此同时，由于HAC算法看似顺序的性质，因此很难有效地并行化HAC。在本文中，我们解决这个问题，并提出ParHAC，第一个高效的并行HAC算法与次线性深度的广泛使用的平均链接函数。特别是，我们提供了一个$(1+ε)$ -近似算法，这个问题的$m$边图使用$\tilde{O}(m)$工作和多对数深度。此外，我们表明，获得类似的准确平均连接HAC的界限是不可能的标准复杂性理论的假设。我们补充我们的理论结果与全面研究的ParHAC算法在其可扩展性，性能和质量，并比较几个国家的最先进的顺序和并行基线。在一组广泛的大型公开真实世界数据集上，我们发现ParHAC在最佳顺序基线上平均获得了50.1倍的加速，同时实现了与精确HAC算法相似的质量。我们还表明，ParHAC可以使用商品多核机器在三个多小时内对最大的公共可用图数据集之一进行聚类，其中包含1240亿条边。
2022-06-23 cs.DC cs.DS
Massively-Parallel Similarity Join, Edge-Isoperimetry, and Distance Correlations on the Hypercube
我们研究分布式协议，在一个大的数据集中找到所有对相似的向量。我们的结果涉及到各种离散度量，我们给出了具体的实例汉明距离。特别是，我们给出了改进的上限上的汉明距离$r>1$定义的相似性所需的开销，并证明了一个下界，显示定性的最优性的相似性所需的开销超过任何汉明距离$r$。我们的主要概念的贡献是相似性搜索算法和某些图论数量之间的连接。对于我们的上界，我们展示了一个通用的方法，设计一轮协议，使用边缘等周形状的相似性图。对于我们的下限，我们定义了一个新的组合优化问题，这可以说在纯粹的图论术语，但也抓住了核心的分析在以前的理论工作，分布式相似连接。作为我们的主要技术成果之一，我们证明了汉明立方体的子集的距离相关性的新的界限。
2016-11-15 cs.CC cs.DC cs.DS
Feature Clustering for Accelerating Parallel Coordinate Descent
University of Michigan（密歇根大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
大规模L1正则化损失最小化问题出现在高维应用中，例如压缩感知和高维监督学习，包括分类和回归问题。高性能算法和实现对于有效解决这些问题至关重要。建立在以前的工作坐标下降算法的L1正则化问题，我们引入了一个新的家庭的算法称为块贪婪坐标下降，包括，作为特殊情况下，现有的几种算法，如SCD，贪婪CD，猎枪，线程贪婪。给出了块贪婪算法族的统一收敛性分析。分析表明，块贪婪坐标下降可以更好地利用并行性，如果特征被聚类，使得不同块中的特征之间的最大内积很小。我们的理论收敛性分析与实验结果支持，使用来自不同的现实世界的应用程序的数据。我们希望我们提供的算法方法和收敛性分析不仅能推动该领域的发展，而且还能鼓励研究人员系统地探索解决大规模L1正则化问题的算法的设计空间。
2012-12-17 cs.DC cs.LG math.OC
The Simulation Model Partitioning Problem: an Adaptive Solution Based on Self-Clustering (Extended Version)
本文主要研究并行和分布式仿真中的划分问题.这意味着将仿真模型分解为许多组件，并在执行单元上正确分配它们。提出了一种基于自聚类的自适应解决方案，该方案同时考虑了通信减少和计算负载平衡。所提出的机制的实施进行了测试，使用一个仿真模型，这是具有挑战性的结构和动态性。已经考虑了仿真模型和执行环境的各种配置。使用参考成本模型分析所获得的性能结果。结果表明，该方法是有前途的，它可以减少在并行和分布式体系结构的仿真执行时间。
2016-11-04 cs.DC cs.MA cs.PF
Parallel Hierarchical Agglomerative Clustering in Low Dimensions
本文针对质心与 Ward 等非单调连接函数，证明低维 $(1+ε)$-近似 HAC 存在高效 NC 算法，并给出层次高度结构界及任意维下的 CC 难结果。
2025-07-26 cs.CC cs.DC cs.DS
A High Performance Implementation of Spectral Clustering on CPU-GPU Platforms
谱聚类是一种最流行的图聚类算法，它在许多科学和工程应用中取得了最好的性能。然而，常用软件平台（如Matlab和Python）中的现有实现对于许多新兴的大数据应用程序来说并不能很好地扩展。在本文中，我们提出了一个快速实现的谱聚类算法的CPU-GPU异构平台上。我们的实现利用了多核CPU的计算能力和GPU的大规模多线程和SIMD功能。给定的输入数据点在高维空间中，我们提出了一个并行的计划来建立一个稀疏的相似性图表示在一个标准的稀疏表示格式。然后利用ARPACK软件和cuSPARSE库的反向通信接口计算拉普拉斯矩阵的最小$k$特征向量，其中$k$通常非常大.此外，我们在GPU上实现了一个非常快速的并行$k$ -means算法。我们的实现被证明是显着更快相比，最知名的Matlab和Python实现的每一步。此外，我们的算法扩展到具有非常大量的集群的问题。
2018-02-13 cs.DC cs.MS
Efficient and Local Parallel Random Walks
EPFL（洛桑联邦理工学院）；Google Research（谷歌研究院）
随机游走是许多机器学习算法中使用的基本原语，在聚类和半监督学习中有几个应用。尽管他们的相关性，第一个有效的并行算法来计算随机游动已经介绍了最近（Lacki等人）。不幸的是，他们的方法有一个根本的缺点：他们的算法是非局部的，因为它严重依赖于计算输入图中所有节点的随机游走，即使在许多实际应用中，人们只对计算图中一小部分节点的随机游走感兴趣。在本文中，我们提出了一个新的算法，克服了这一限制，建立随机游走有效地和本地在同一时间。我们表明，我们的技术是内存和轮效率，特别是产生一个有效的并行本地聚类算法。最后，我们补充我们的理论分析与实验结果表明，我们的算法是显着更具可扩展性比以前的方法。
2021-12-01 cs.DC cs.DS cs.LG
A Parallel Projection Method for Metric Constrained Optimization
Purdue University（普渡大学）
机器学习和数据采掘中的许多聚类应用依赖于求解度量约束优化问题。这些问题的特点是$O(n^3)$约束，强制三角不等式的距离变量与$n$对象在一个大的数据集。尽管它的有用性，度量约束优化是具有挑战性的，在实践中，由于立方数量的约束和标准优化软件的高内存要求。最近的工作表明，迭代投影方法能够在比以前可能的更大的规模上解决度量约束优化问题，这要归功于它们相对较低的内存需求。然而，投影方法的主要局限性是它们的收敛速度慢。在本文中，我们提出了一个并行投影方法的度量约束优化，使我们能够加快收敛速度在实践中。我们的方法的关键是一个新的并行执行时间表，使我们能够同时执行多个度量约束的预测，没有任何冲突或锁定的变量。我们通过实施和测试并行投影方法来解决度量约束线性规划松弛相关聚类的执行时间表的有效性。我们展示了涉及多达2.9万亿约束的问题的许多实验结果。
2019-01-29 cs.DC cs.DS cs.LG
GPU-Based Fuzzy C-Means Clustering Algorithm for Image Segmentation
Universiti Sains Malaysia（马来西亚理科大学）
提出了一种基于GPU的快速实用的模糊C均值（FCM）聚类图像分割算法。首先，进行了广泛的分析，以研究并行化算法中的图像像素之间的依赖性。提出的基于GPU的FCM已经在数字脑模拟数据集上进行了测试，以分割白质（WM），灰质（GM）和脑脊液（CSF）软组织区域。对于大小为1MB的图像数据集，顺序FCM的执行时间为519秒。而提出的基于GPU的FCM算法对于相似大小的图像数据集只需要2.33秒。在具有448个处理器的CUDA设备上，对于40 KB的数据大小，估计有245倍的加速。
2016-03-28 cs.CV cs.DC
Scalable k-Means Clustering via Lightweight Coresets
Google Brain（谷歌大脑）；ETH Zurich（苏黎世联邦理工学院）
核心集是数据集的紧凑表示，使得在核心集上训练的模型与在完整数据集上训练的模型具有可证明的竞争力。因此，它们已成功地用于将聚类模型扩展到大规模数据集。虽然现有的方法一般只允许乘法近似误差，我们提出了一个新的概念，轻量级coresets，允许乘法和加法误差。我们提供了一个单一的算法来构建轻量级的coresets的k-means聚类以及软和硬Bregman聚类。该算法比现有的结构快得多，并行性好，所得的coresets更小。我们进一步表明，所提出的方法自然推广到统计k均值聚类，与现有的结果相比，它可以用来计算较小的总结经验风险最小化。在大量的实验中，我们证明了该算法优于现有的数据摘要策略在实践中。
2018-06-06 cs.DC cs.DS cs.LG
Distributed Linear Model Clustering over Networks: A Tree-Based Fused-Lasso ADMM Approach
Iowa State University（爱荷华州立大学）
在这项工作中，我们考虑通过聚合邻居的信息以及识别网络中每个节点的子组成员来提高模型估计效率。提出了一种基于树的$l_1$惩罚算法，以节省计算和通信开销。设计了一种分散广义交替方向乘子算法，用于并行求解目标函数。理论性质推导，以保证模型的一致性和算法收敛。数值实验结果表明，该方法在估计精度、计算速度和通信开销等方面都有较好的性能。
2019-05-28 cs.DC cs.LG cs.NI
