Parallel Spectral Clustering Algorithm Based on Hadoop
University of Chinese Academy of Sciences（中国科学院大学）
谱聚类和云计算是计算机科学或相关学科的新兴分支。它克服了一些传统聚类算法的缺点，保证了收敛到最优解，因而受到了广泛的关注。本文首先介绍了并行谱聚类算法的研究背景和意义，然后对Hadoop的云计算框架进行了详细的介绍，接着对谱聚类进行了相关的介绍，然后介绍了谱聚类算法的并行化方法和相关步骤，最后做了相关的实验，并对实验进行了总结。
2015-05-31 cs.DC cs.DS cs.LG
ClustCrypt: Privacy-Preserving Clustering of Unstructured Big Data in the Cloud
存储在云中的大数据的安全性和机密性是许多组织采用云服务的重要考虑因素。解决这些问题的一种常见方法是客户端加密，其中数据在存储到云中之前在客户端机器上加密。然而，在云中加密数据限制了数据聚类的能力，这是许多数据分析应用程序（如搜索系统）的关键部分。为了克服这一局限性，本文提出了一种名为ClustCrypt的方法，用于在云中对加密的非结构化大数据进行基于主题的高效聚类。ClustCrypt根据加密数据的统计特征动态估计最佳簇数。它还提供了加密数据的聚类方法。我们在一个安全的基于云的语义搜索系统（S3BD）的上下文中部署ClustCrypt。在三个数据集上评估ClustCrypt的实验结果表明，集群的一致性平均提高了60%。ClustCrypt还将搜索时间开销减少了78%，并将搜索结果的准确性提高了35%。
2019-08-14 cs.CR cs.DC
Distributed Spatial Data Clustering as a New Approach for Big Data Analysis
本文提出了一种新的大数据采掘和分析方法。这种新方法适用于分布式数据集，并处理数据聚类分析任务。该方法由两个主要阶段组成，第一阶段对本地数据执行聚类算法，假设数据集已经分布在系统处理节点之间。第二阶段处理局部聚类聚合以生成全局聚类。这种方法不仅可以在每个处理节点上并行生成局部聚类，而且可以在不需要事先知道聚类数目的情况下生成全局聚类，而这是许多划分聚类算法所需要的。在这项研究中，这种方法被应用于空间数据集。所提出的聚合阶段是非常有效的，并且不涉及处理节点之间的大量数据的交换。实验结果表明，该方法具有超线性的加速性能，可扩展性好，且不受通信类型的影响，可以充分利用MapReduce等最新的编程模型。
2018-03-01 cs.DC
Parallel Index-Based Structural Graph Clustering and Its Approximation
SCAN（Structural Clustering Algorithm for Networks）是一种研究得很好、应用广泛的图聚类算法。然而，对于大型图，顺序SCAN变体非常慢，并且并行SCAN变体不能在具有不同SCAN参数设置的查询之间有效地共享工作。由于SCAN的用户经常探索许多参数设置来找到好的聚类，因此值得预先计算一个索引来加速查询。本文在最近提出的一种顺序算法GS*-Index的基础上，提出了一种实用的、可证明有效的基于索引的并行SCAN算法。我们的并行算法通过使用整数排序改进了顺序算法的渐近工作。它也是高度并行的，实现了索引构建和聚类查询的对数跨度（并行时间）。此外，我们应用局部敏感哈希（LSH）设计一种新的近似SCAN算法，并证明其聚类行为的保证。我们提出了一个实验评估我们的算法在大型现实世界的图形。在具有双向超线程的48核机器上，我们的并行索引构造比GS*-Index构造实现了50- 151 $\times$的加速。事实上，即使在单线程上，我们的索引构造算法也比GS*-Index快。我们的并行索引查询实现实现了5- 32 $\times$加速GS*-索引查询在一系列的SCAN参数值，我们的实现总是比ppSCAN，一个国家的最先进的并行SCAN算法。此外，我们的实验表明，应用LSH的结果在更快的索引建设，同时保持良好的聚类质量。
2021-03-30 cs.DB cs.DC cs.DS
Model-Parallel Inference for Big Topic Models
Carnegie Mellon University（卡内基梅隆大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究所）
在主题建模的现实世界工业应用中，通过学习超高维主题表示来捕获巨大概念空间的能力，即，所谓的“大模型”正在成为继对“大数据”的热情之后的下一个迫切需要，特别是对于诸如在线广告的细粒度下游任务，其中良好的性能通常通过建立在数百万（如果不是数十亿）输入特征上的基于回归的预测器来实现。传统的数据并行方法训练巨大的主题模型，原来是相当低效的利用并行的力量，由于严重依赖于一个集中的图像的“模型”。大的模型大小也对存储提出了另一个挑战，其中可用的模型大小受节点的最小RAM的限制。为了解决这些问题，我们探索了另一种类型的并行性，即模型并行性，它可以并行训练大主题模型的不相交块。通过将数据并行性与模型并行性相结合，我们证明了分布式元素之间的依赖关系可以无缝处理，不仅可以实现更快的收敛，而且能够处理更大的模型大小。我们描述了一种LDA模型并行推理的体系结构，并提出了一种为之量身定制的折叠Gibbs采样算法，实验结果表明，该系统仅在计算资源和带宽非常有限的低端集群上就能够处理前所未有的2000亿模型变量的主题建模。
2014-11-10 cs.DC cs.LG stat.ML
An Efficient Parallel Data Clustering Algorithm Using Isoperimetric Number of Trees
我们提出了一个并行的基于图的数据聚类算法，使用CUDA GPU，基于最小生成树的最小等周标准的精确聚类。我们还提供了我们的算法与其他相关算法的比较性能分析，这表明该并行算法在准确性和速度方面优于其他竞争算法。
2017-02-15 cs.DC
Homogenous and Heterogenous Parallel Clustering: An Overview
Boston University（波士顿大学）；Ryerson University（瑞尔森大学）
计算机体系结构和网络的最新进展为聚类算法的并行化提供了机会。这种分而治之的策略通常会导致更好的结果，集中式集群的时间性能大大提高。本文回顾了主要的并行集群，并提供了深入了解他们的战略。该审查汇集了平行集群不同的尝试，以提供在这一新兴领域的进展的全面说明
2022-02-14 cs.DC cs.LG
Cutting the Unnecessary Long Tail: Cost-Effective Big Data Clustering in the Cloud
Beijing Institute of Technology（北京理工大学）；Swinburne University of Technology（斯威本科技大学）；Royal Melbourne Institute of Technology（皇家墨尔本理工大学）
聚类大数据通常需要巨大的计算资源，其中云计算无疑是有前途的解决方案之一。然而，如果不能正确管理，云中的计算成本可能会出乎意料地高。长尾现象在大数据聚类领域被广泛观察到，这表明大部分时间往往消耗在聚类过程的中后期。在这项研究中，我们试图削减不必要的长尾在聚类过程中，以达到足够令人满意的精度在尽可能低的计算成本。提出了一种新的方法，以实现具有成本效益的大数据聚类在云中。通过使用采样数据训练回归模型，我们可以使广泛使用的k-means和EM（Expectation-Maximization）算法在获得所需精度时自动停止在早期点。在四个流行的数据集上进行了实验，结果表明，k-means和EM算法都可以实现高成本效益的云与我们提出的方法。例如，在使用效率更高的k-means算法的案例研究中，我们发现实现99%的准确度仅需要实现100%准确度所需的计算成本的47.71%-71.14%，而效率较低的EM算法需要16.69%-32.04%的计算成本。从这个角度来看，在美国土地使用分类的例子中，我们的方法可以为政府在每次使用中节省高达94，687.49美元。
2019-09-22 cs.DC cs.LG
Efficient Parallel Algorithms for k-Center Clustering
k-中心问题是几个经典的NP-难聚类问题之一。对于当代的海量数据集，基于RAM的算法变得不切实际。虽然有很好的顺序算法的k-中心，他们是不容易并行化。在本文中，我们设计并实现了并行近似算法为这个问题。我们观察到，冈萨雷斯的贪心算法可以有效地并行化在几个MapReduce轮，在实践中，我们发现，两轮是足够的，导致4-近似。我们将此与现有的k-中心并行算法进行对比，该算法在恒定数量的轮中运行，并提供10-近似。深入的运行时分析表明，这种方案通常很慢，并且其采样过程仅在k相对于输入大小足够小时才运行。为了在运行时间和近似保证之间进行权衡，我们对该采样算法进行了参数化，并在实验中发现该算法不仅速度更快，而且有时更有效。然而，Gonzalez的并行版本比其顺序版本和并行采样算法快约100倍，几乎不影响解决方案质量。
2016-04-12 cs.DC cs.DS
Space and Time Efficient Parallel Graph Decomposition, Clustering, and Diameter Approximation
我们开发了一种新的并行分解策略，为未加权，无向图，基于不断增长的不相交的连接集群从一批中心逐步选择尚未发现的节点。相对于类似的以前的分解，我们的策略行使更严格的控制集群的数量和它们的最大半径。我们提出了我们的并行图分解的两个重要应用：（1）$k$ -中心聚类近似;（2）直径近似。在这两种情况下，我们得到的算法，具有多对数近似因子，并服从于一个分布式的实现，是面向大规模（长直径）的图形。计算所需的总空间在问题大小上是线性的，并且对于具有低倍维的图，平行深度在直径上基本上是次线性的。据我们所知，我们是第一个平行近似这些问题，实现子直径并行时间，为相关的一类图，只使用线性空间。除了理论上的保证，我们的算法允许一个非常简单的实现集群架构：我们报告了大量的实验，证明其有效性和效率的大型图形相比，替代已知的方法。
2015-02-06 cs.DC cs.DS
Distributed Bayesian Matrix Decomposition for Big Data Mining and Clustering
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Animal Evolution and Genetics, Chinese Academy of Sciences（中国科学院动物进化与遗传前沿交叉卓越创新中心）；Yunnan University（云南大学）
矩阵分解是从现代应用程序生成的大数据中发现知识的基本工具之一。然而，在单个机器中使用这种方法处理非常大的数据仍然是低效或不可行的。此外，大数据通常是分布式收集和存储在不同的机器上。因此，这样的数据通常带有强的非均匀噪声。分布式矩阵分解是大数据分析中的一个重要而有用的方法。这样的方法应该可以很好地扩展，对异构噪声进行建模，并解决分布式系统中的通信问题。为此，我们提出了一个分布式贝叶斯矩阵分解模型（DBMD）的大数据采掘和聚类。具体来说，我们采用三种策略来实现分布式计算：1）加速梯度下降，2）交替方向乘子法（ADMM），3）统计推断。我们研究了这些算法的理论收敛性。为了解决噪声的异质性，我们提出了一个最佳的插件加权平均，减少了估计的方差。合成实验验证了我们的理论结果，真实世界的实验表明，我们的算法可以很好地扩展到大数据，并实现优于或竞争性能相比，其他分布式方法。
2020-02-10 cs.CV cs.DC cs.LG
Parallel K-Medoids++ Spatial Clustering Algorithm Based on MapReduce
聚类分析在空间数据采掘中受到了广泛的关注。随着地理空间信息技术的飞速发展，空间信息数据的规模呈指数级增长，这使得对海量空间数据进行聚类成为一项具有挑战性的任务。为了提高大规模数据空间聚类的效率，许多研究者提出了几种高效的并行聚类算法。针对海量空间数据的聚类问题，提出了一种基于MapReduce的K-Medoids++空间聚类算法。将初始化算法与MapReduce框架相结合，减少了迭代次数。在不同数据集和不同节点数上进行的对比实验表明，提出的K-Medoids空间聚类算法比传统的K-Medoids空间聚类算法具有更高的效率，并且在商用硬件上处理海量空间数据时具有良好的可扩展性。
2016-08-24 cs.DC
Parallel Local Graph Clustering
图聚类在计算中有许多重要的应用，但由于图的大小不断增加，即使是传统的快速聚类方法，如谱划分，对于现实世界的感兴趣的图来说，计算成本也很高。部分出于这一动机，所谓的局部算法图聚类已收到显着的兴趣，由于这样的事实，他们可以找到良好的集群在一个图形中的工作成比例的集群的大小，而不是整个图形。事实证明，这个特性对于使这种图聚类及其许多下游应用程序在实践中高效至关重要。虽然局部聚类算法已经比触及整个图的传统算法更快，但它们是顺序的，并且有机会通过并行化使它们更有效。在本文中，我们展示了如何并行化这些算法中的许多共享内存多核设置，我们分析了这些算法的并行复杂性。我们提出了全面的大规模图形实验表明，我们的并行算法实现了良好的并行加速现代多核机器，从而显着加快了本地图形集群的分析在非常大规模的设置。
2019-06-08 cs.DC
Analysis of Different Approaches of Parallel Block Processing for K-Means Clustering Algorithm
分布式计算是近年来工程研究的一个发展趋势。并行计算在数据挖掘、图像处理、仿真模型、空气动力学等领域有着广泛的应用。并行处理的主要用途之一是在遗留系统中广泛实现对尺寸大于1000 × 1000的卫星图像进行聚类。本文主要研究了行形、列形和方形等并行块的处理方法。这些方法适用于分类问题。这些方法被应用到K-Means聚类算法，因为它被广泛用于高分辨率正射影像卫星图像的特征检测。不同的方法进行了分析，这导致减少执行时间，并导致改善性能测量相比，顺序K-均值聚类算法的影响。
2017-03-27 cs.DC
Massively Parallel Correlation Clustering in Bounded Arboricity Graphs
识别集合中相似元素的聚类是数据分析中的常见任务。随着数据量的巨大增长和单处理器速度的物理限制，有必要寻找有效的并行聚类算法。本文研究了大规模并行计算（MPC）模型下有界荫度图的相关聚类问题。更具体地说，我们给出了一个完全图，其中的边是正的或负的，表明顶点对是相似的还是不相似的。任务是将顶点划分为具有尽可能少的分歧的簇。也就是说，我们希望最小化正的簇间边缘和负的簇内边缘的数量。考虑一个输入图$G$在$n$的顶点上，使得正边诱导出一个$λ$ -arboric图.我们的主要结果是一个3-近似（$\textit{in expectation}$）算法的相关聚类，运行在$\mathcal{O}(\log λ\cdot \textrm{poly}(\log \log n))$ MPC轮的$\textit{strongly sublinear memory regime}$。这是通过将有界荫度图上的相关聚类的结构特性与Fischer和Noever（SODA '18）对随机贪婪MIS的见解以及Ailon、Charikar和Newman（STOC '05）的$\texttt{PIVOT}$算法相结合来获得的。结合已知的图匹配算法，我们的结构属性也意味着一个精确的算法和算法与$\textit{worst case}$ $(1+ε)$ -近似保证在特殊情况下的森林，其中$λ=1$。
2021-08-06 cs.DC cs.DS
Correlation Clustering in Constant Many Parallel Rounds
Google Research（谷歌研究院）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；Microsoft Research（微软研究院）
相关聚类是无监督学习的一个中心话题，在ML和数据采掘中有许多应用。在相关聚类中，人们接收一个有符号的图作为输入，目标是将其划分以最小化不一致的数量。在这项工作中，我们提出了一个大规模并行计算（MPC）算法，这个问题是相当快的比以前的工作。特别是，我们的算法使用的机器与内存次线性的节点数在图中，并返回一个常数近似值，而只运行一个常数轮数。据我们所知，我们的算法是第一个，可以证明近似的聚类问题的图只使用一个常数的MPC轮在次线性记忆制度。我们补充我们的分析与我们的技术的实验分析。
2021-06-15 cs.DC cs.DS cs.LG
Massively Parallel Algorithms and Hardness for Single-Linkage Clustering Under $\ell_p$-Distances
我们提出了大规模并行（MPC）算法和硬度的近似结果计算$n$输入$d$维向量的单链聚类下的汉明，$\ell_1, \ell_2$和$\ell_\infty$距离。我们所有的算法运行在$O(\log n)$轮MPC的任何固定的$d$和实现$(1+ε)$ -近似的所有距离（除了汉明，我们显示一个确切的算法）。我们还显示了恒定因素的不可近似性结果$o(\log n)$轮算法下的标准MPC硬度假设（足够大的尺寸取决于所使用的距离）。我们的算法在Apache Spark中的实现效率通过在各种数据集上的实验来证明，这些数据集表现出几个数量级的加速。
2018-03-25 cs.DB cs.DC cs.DS
Faster Parallel Triangular Maximally Filtered Graphs and Hierarchical Clustering
针对现有TMFG-DBHT并行聚类算法并行度有限的问题，本文通过聚合TMFG构建工作、惰性更新信息及近似计算DBHT全源最短路径，实现了3.7-10.7倍的速度提升且保持聚类精度。
2024-08-18 cs.DC
Using Multi-Core HW/SW Co-design Architecture for Accelerating K-means Clustering Algorithm
对所需数据集进行分类和聚类的能力是从数据中构建知识的重要部分。然而，随着输入数据的大小和维度的增加，这种聚类算法的运行时间预计将超线性增长，这使得它在处理大数据时成为一个巨大的挑战。K均值聚类是许多大数据应用的重要工具，包括数据采掘、预测分析、预测研究和机器学习。然而，由于大数据的大尺寸（体积）及其数据点的大维度，即使是简单的k均值聚类的应用也可能变得非常耗时和资源需求。特别是当需要快速和模块化的数据集分析流程时。在本文中，我们证明了使用基于二进制kd-树结构的两级过滤算法能够减少大数据集的K-均值算法的收敛时间。基于二进制kd-树结构的两级过滤算法使SW进化为基于目标FPGA中可用核的数量和可用逻辑的大小自然地将分类划分为较小的数据集。与传统的纯软件解决方案相比，这种基于多核FPGA架构的两级结构的经验结果提供了330倍的速度提升。
2018-07-09 cs.AR cs.DC
Parallel Filtered Graphs for Hierarchical Clustering
给定一组对象之间的所有成对权重（距离），过滤图通过仅保留权重的重要子集来提供稀疏表示。这样的图可以被传递到图聚类算法以生成分层聚类。特别是，定向气泡层次树（DBHT）算法过滤图已被证明产生良好的层次聚类的时间序列数据。我们提出了一个新的并行算法，用于构建三角最大过滤图（TMFG），它产生有效的输入DBHT，和一个可扩展的并行算法生成DBHTs是优化TMFG输入。除了并行化原始的TMFG结构，这具有有限的并行性，我们还设计了一个新的算法，插入多个顶点上的每一轮，以实现更多的并行性。我们表明，我们的新算法生成的图形具有类似的质量相比，原来的TMFG，而更快地生成。我们的新的并行算法的TMFG和DBHT是136- 2483倍的速度比国家的最先进的实现，同时实现高达41.56倍的自相对加速48核与超线程，并实现更好的聚类结果相比，标准的平均链接和完全链接层次聚类算法。我们表明，在股票数据集上，我们的算法产生的聚类与人类专家的分类非常一致。
2023-03-09 cs.DC
Parallel and Scalable Precise Clustering for Homologous Protein Discovery
本文提出了一种新的，并行实现聚类，并证明了其效用，大大加快了同源蛋白质的鉴定过程。聚类是一种减少在一组$n$元素（如蛋白质序列）中找到相似对所需的比较次数的技术。精确的聚类可以确保每对相似的元素至少出现在一个聚类中，这样就可以通过每个聚类中的所有对所有的比较来识别相似性，而不是在整个集合中。本文介绍了一种新的算法，精确的聚类，使用元素之间的传递关系，使并行和可扩展的实现这种方法。我们将ChalleterMerge应用于在蛋白质集合中找到相似氨基酸序列的重要问题。通过完整的$O(n^2)$比较，QuarterMerge可以识别99.8%的相似对，而操作数只有前者的一半。更重要的是，QuarterMerge非常适合并行和分布式计算。我们的实现在768个核心上实现了604 $\times$的加速比（比可比的单线程集群实现快1400 $\times$），90%的强伸缩效率和近100%的弱伸缩效率。
2019-08-28 cs.DC
Parallel Computation of Multi-Slice Clustering of Third-Order Tensors
Laboratoire d’Informatique de Paris Nord（巴黎北部信息学实验室）；École de Technologie Supérieure（高等技术学院）；University of Versailles（凡尔赛大学）；Université Paris-Saclay（巴黎萨克雷大学）
针对三阶张量 MSC 在海量数据下的计算挑战，本文提出基于分布式内存、按张量模式并行的谱分析算法，证明其优于串行方案并提升可扩展性。
2023-09-29 cs.DC cs.LG
BigSUMO: A Scalable Framework for Big Data Traffic Analytics and Parallel Simulation
University of Florida（佛罗里达大学）；NVIDIA Corp.（英伟达公司）；FDOT（佛罗里达州交通部）
BigSUMO是一种开源框架，用于大数据交通分析和并行模拟，通过描述性分析和预测性分析优化交通性能。
2026-01-05 cs.DC
PRIMEBALL: a Parallel Processing Framework Benchmark for Big Data Applications in the Cloud
在本文中，我们绘制了一个新的基准的规格比较并行处理框架的大数据应用程序托管在云中。我们的目标是填补现有云数据处理基准中的几个空白，这些基准缺乏其流程的真实环境，因此在尝试评估真实应用程序的性能时失去了相关性。因此，我们提出了一个虚拟的新闻网站托管在云中，这是由框架进行管理分析，连同几个客观的用例场景和系统性能评估的措施。我们的基准测试的主要优势是支持云功能和大数据属性的并行化功能。
2013-12-21 cs.DB cs.DC
Primitives for Dynamic Big Model Parallelism
School of Computer Science Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
当训练具有许多变量或参数的大型机器学习模型时，单个机器通常是不够的，因为模型可能太大而无法容纳在内存中，而即使使用随机更新，训练也可能需要很长时间。一个自然的办法是转向分布式集群计算，以利用额外的内存和处理器。然而，ML算法的幼稚的非结构化并行化可能会使分布式内存的使用效率低下，同时无法获得成比例的收敛加速，甚至可能导致发散。我们开发了一个用于动态模型并行的原语框架，STRADS，以探索分布式ML算法中模型变量的分区和更新调度-从而提高其内存效率，同时提供新的机会来加快收敛而不影响推理正确性。我们证明了有效的模型并行算法实现的STRADS与流行的实现主题建模，矩阵分解和套索。
2014-06-18 cs.DC cs.LG stat.ML
A Distributed Block Chebyshev-Davidson Algorithm for Parallel Spectral Clustering
Purdue University（普渡大学）；University of Maryland（马里兰大学）
本文提出一种分布式块Chebyshev-Davidson算法，通过解析谱估计解决大规模前特征值问题，并实现具有$\sqrt{p}$加速比的并行计算，显著提升了谱聚类在大数据环境下的效率与可扩展性。
2024-01-05 cs.DC cs.LG cs.NA
Optimization of Energy Consumption Forecasting in Puno using Parallel Computing and ARIMA Models: An Innovative Approach to Big Data Processing
Faculty of Statistics；Informatics Engineering National University of the Altiplano Puno, Perú
本研究利用并行计算与ARIMA模型优化Puno地区能源消费预测，提升计算效率和数据处理能力，为实时预测分析和能源管理提供可靠解决方案。
2024-07-27 cs.DC stat.CO stat.ML
A Tabu Search based clustering algorithm and its parallel implementation on Spark
著名的K-means聚类算法已广泛应用于从数据分析到物流应用的不同应用领域。然而，K-means算法可能会受到诸如初始质心选择等因素的影响，并且很容易陷入局部最优。本文提出了一种改进的K-means聚类算法，该算法通过Tabu搜索策略进行了扩展，更好地适应了大数据应用的需求。我们的设计进一步增强，以利用基于Spark框架的并行处理。计算实验证明了我们的禁忌搜索的聚类算法的优越性，在广泛使用的版本的K-means方法体现在Spark MLlib，比较算法的可扩展性，准确性和有效性。
2017-11-30 cs.DC cs.SI
A Parallel Random Forest Algorithm for Big Data in a Spark Cloud Computing Environment
随着大数据时代的到来，如何从数据集中高效、准确地获取有价值的知识，越来越受到学术界和工业界的关注。在Apache Spark平台上提出了一种面向大数据的并行随机森林（PRF）算法。基于数据并行优化和任务并行优化相结合的混合方法对PRF算法进行了优化。从数据并行优化的角度出发，采用垂直数据划分的方法有效地降低了数据通信的开销，采用数据复用的方法使训练数据集可以重用，减少了数据量。从任务并行优化的角度出发，在RF的训练过程中采用了双重并行的方法，根据PRF的并行训练过程和弹性分布式数据集（RDD）对象的依赖关系，建立了一个任务有向无环图（DAG）。然后，为DAG中的任务调用不同的任务调度器。此外，为了提高算法对大型，高维和噪声数据的准确性，我们在并行化之前的训练过程中执行降维方法和预测过程中的加权投票方法。大量的实验结果表明，与Spark MLlib等相关算法相比，该算法在分类精度、性能和可扩展性等方面具有明显的优势。
2018-10-17 cs.DC
Almost 3-Approximate Correlation Clustering in Constant Rounds
我们研究相关聚类的并行算法。$n$对象中的每一对都被标记为“相似”或“不相似”。目标是将对象划分为任意多个聚类，同时最小化与标签不一致的数量。我们的主要结果是一个算法，对于任何$ε> 0$获得$(3+ε)$ -近似在$O(1/ε)$轮（模型，如大规模并行计算，本地和半流）。这是平行相关聚类的丰富文献的一个顶点。一方面，近似（几乎）匹配组合算法的自然障碍3。另一方面，该算法的轮复杂度基本上是恒定的。为了实现这一结果，我们引入了一个简单的$O(1/ε)$轮并行算法。我们的主要结果是提供了一个分析该算法，表明它实现了$(3+ε)$ -近似。我们的分析借鉴了新的连接到次线性时间算法。具体来说，它建立在吉田，山本和伊藤[STOC'09]关于限制贪婪最大独立集的“查询复杂性”的工作上。据我们所知，这是该方法在分析任何算法的近似比中的第一个应用。
2022-05-07 cs.DC cs.DS
Faster Parallel Exact Density Peaks Clustering
针对精确密度峰值聚类(DPC)算法并行度低的问题，提出基于优先搜索kd树和Fenwick树的快速并行算法，在保持工作高效的同时显著降低并行时间复杂度，实验表明其相比现有算法取得显著加速。
2023-05-18 cs.DC
ParChain: A Framework for Parallel Hierarchical Agglomerative Clustering using Nearest-Neighbor Chain
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UC Riverside（加利福尼亚大学河滨分校）
本文研究了层次聚类问题，其目标是产生一个树状图，表示聚类在不同规模的数据集。我们提出了ParChain框架设计并行层次凝聚聚类（HAC）算法，并使用该框架，我们获得新的并行算法的完整的联系，平均联系，和沃德的联系标准。与大多数需要二次存储的并行HAC算法相比，我们的新算法只需要线性存储，并且可扩展到大数据集。ParChain基于我们对最近邻链算法的并行化，并允许在每一轮合并多个集群。我们介绍了两个关键的优化，是至关重要的效率：范围查询优化，减少了距离计算的数量时，找到最近的邻居的集群，和缓存优化存储的子集以前计算的距离，这是可能被重用。实验表明，我们的高度优化的实现使用48个核心的双向超线程实现5.8- 110.1倍的加速比最先进的并行HAC算法，并实现13.75- 54.23倍的自相关加速比。与最先进的算法相比，我们的算法所需的空间减少了237.3倍。我们的算法能够扩展到具有数千万个点的数据集大小，这是现有算法无法处理的。
2022-02-14 cs.DB cs.DC cs.DS
Massively-Parallel Heat Map Sorting and Applications To Explainable Clustering
Sharif University of Technology（谢里夫理工大学）
本文提出了热图排序问题以在保持簇连通性的前提下重排与合并点及维度，证明了其NP难性，并给出了大规模并行计算模型下的常数轮次固定参数算法及NP难特例的近似算法，实证表明其优于k-means和DBSCAN。
2023-09-14 cs.DC cs.DS cs.LG
Optimal Parallel Algorithms for Dendrogram Computation and Single-Linkage Clustering
本文基于 SLD 新结构性质与分治框架，提出两种确定性并行算法，在十亿规模树上实现高效计算，并较 Union-Find 最高加速150倍。
2024-05-12 cs.DC cs.DS
An Accurate and Efficient Large-scale Regression Method through Best Friend Clustering
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
随着机器学习领域的数据量呈指数级增长，通过利用高性能计算硬件提供的不断增长的大量可用核来加速计算是不可避免的。然而，现有的并行聚类或回归方法往往遭受的问题，精度低，收敛速度慢，和复杂的超参数调整。此外，并行效率通常是难以提高，同时保持模型属性和分区计算工作负载之间的平衡，在分布式系统上。在本文中，我们提出了一种新的和简单的数据结构捕捉数据样本中最重要的信息。它有几个有利的属性，支持分层聚类策略，这是无关的硬件并行性，定义良好的指标，用于确定最佳聚类，平衡分区，保持紧凑性，和高效的并行化加速计算阶段。然后，我们结合聚类与回归技术作为一个并行库，并利用数据和模型并行的混合结构进行预测。实验结果表明，该库在收敛性、准确性和可扩展性等方面都取得了显著的效果.
2021-04-22 cs.DC cs.LG
Flexible Parallel Algorithms for Big Data Optimization
我们提出了一个分解框架的可微函数和（块）可分离的非光滑，凸的和的并行优化。后一个术语通常用于在解中强制结构，例如在Lasso问题中。我们的框架非常灵活，包括完全并行的Jacobi方案和Gauss-Seidel（Southwell型）方案，以及几乎所有介于两者之间的可能性（例如，梯度或牛顿型方法），在每次迭代时仅更新变量的子集。我们的理论收敛性的结果改善现有的，数值结果表明，新的方法相比，优于现有的算法。
2013-11-11 cs.DC cs.GT math.OC
High-Performance Hybrid Algorithm for Minimum Sum-of-Squares Clustering of Infinitely Tall Data
University of Washington（华盛顿大学）；Satbayev University（萨拜耶夫大学）；Institute of Information and Computational Technologies（信息与计算技术研究所）
本文提出无限高数据最小平方和聚类问题，并设计混合并行算法HPClust，通过多策略竞争-协作并行提升聚类效率、可扩展性和准确性，优于现有方法。
2024-06-25 cs.DC cs.LG math.OC
Distributed-Memory Parallel Algorithms for Counting and Listing Triangles in Big Graphs
在许多应用领域中出现的大图（网络）对图分析师提出了重大挑战，因为这些图增长到数十亿个节点和边，并且大到无法容纳在主内存中。求图中三角形个数是图挖掘和分析中的一个重要问题。在本文中，我们提出了两个有效的基于MPI的分布式内存并行算法计数三角形的大图。第一个算法采用重叠分区和有效的负载均衡计划，以提供一个非常快的并行算法。该算法可以很好地扩展到具有数十亿个节点的网络，并且可以在16分钟内计算出具有100亿条边的网络中三角形的确切数量。第二种算法将网络划分为不重叠的分区，从而产生空间有效的算法。我们在人工和真实世界的网络上的结果表明，该算法显着节省空间。我们还提出了一种新的方法，大大降低了通信成本，导致算法的空间和运行时高效的算法。此外，我们演示了我们的算法可以用来列出所有的三角形在一个图形和计算聚类系数的节点。我们的算法也可以适用于并行近似算法使用边缘稀疏化方法。
2017-06-16 cs.DC
Towards Big Topic Modeling
Soochow University（苏州大学）；City University of Hong Kong（香港城市大学）
为了解决大主题建模问题，需要降低批处理潜在狄利克雷分配（LDA）算法的时间复杂度和空间复杂度。虽然多处理器结构上的并行LDA算法具有较低的时间复杂度和空间复杂度，但其处理器间的通信开销往往与词汇量和主题数成线性关系，导致严重的可扩展性问题。为了降低处理器之间的通信复杂性，提高系统的可扩展性，提出了一种基于幂律的通信高效的并行主题建模体系结构。我们提出的通信效率的并行架构与在线信念传播（OBP）算法被称为POBP大主题建模任务。大量的实验结果证实，POBP具有以下优点，以解决大主题建模问题：1）高精度，2）通信效率，3）速度快，和4）恒定的内存使用时，与最近的国家的最先进的并行LDA算法在多处理器架构。
2013-11-17 cs.DC cs.IR cs.LG
Parallel Markov Chain Monte Carlo for Bayesian Hierarchical Models with Big Data, in Two Stages
由于近年来大数据集的不断增长，新的贝叶斯马尔可夫链蒙特卡罗（MCMC）并行计算方法已经被开发出来。这些方法通过观察将大数据集划分为子集。然而，对于贝叶斯嵌套分层模型，通常只有少数参数对整个数据集是通用的，大多数参数是特定于组的。因此，并行贝叶斯MCMC方法考虑到模型的结构，并按组而不是按观察值划分完整的数据集，是一种更自然的分析方法。在这里，我们适应和扩展了最近推出的两阶段贝叶斯分层建模方法，我们划分完整的数据集组。在阶段1中，独立地并行估计组特异性参数。阶段1后验被用作阶段2中的建议分布，其中目标分布是完整模型。使用三层和四层模型，我们在模拟和真实数据的研究表明，我们的方法的结果与完整的数据分析，大大提高了MCMC的效率，大大减少了计算时间。我们的方法与现有的并行MCMC计算方法的优点也被描述。
2019-01-16 cs.DC stat.CO stat.ME
Fast Parallel Algorithms for Euclidean Minimum Spanning Tree and Hierarchical Spatial Clustering
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UC Riverside（加州大学河滨分校）
本文提出了新的并行算法生成欧氏最小生成树和空间聚类层次（称为HDBSCAN $^*$）。我们的方法是基于生成一个良好分离的对分解，然后使用Kruskal的最小生成树算法和双色最近对计算。我们引入了一个新的概念，良好的分离，以减少工作和空间的HDBSCAN $^*$算法。我们还提出了一个并行近似算法的基础上，最近的顺序算法的GAN和陶。最后，我们给出了一个新的并行分治算法计算的树状图和可达性图，这是用于可视化集群的EMST和HDBSCAN $^*$出现的不同规模。我们表明，我们的算法在理论上是有效的：他们的工作（操作数）相匹配的顺序对应，和polylogarithmic深度（并行时间）。我们实现了我们的算法，并提出了一个内存优化，只需要一个子集的良好分离的对进行计算和物化，从而节省空间（高达10倍）和时间（高达8倍）。我们的实验上的大型现实世界和合成数据集使用48核机器表明，我们的最快的算法优于最好的串行算法的问题的11.13- 55.89倍，和现有的并行算法至少一个数量级。
2021-04-02 cs.DB cs.DC cs.DS
Big Science with a Small Budget: Non-Embarrassingly Parallel Applications in a Non-Dedicated Network of Workstations
许多天文学家和天体物理学家需要大量的计算资源来进行研究，这些资源通常是通过专用（和昂贵的）并行机获得的。根据要解决的问题的类型，可以通过使用Condor高吞吐量计算系统和主工作者（MW）框架动态地从非专用工作站创建计算机集群来提供替代解决方案。作为一个例子，我们在本文中展示了如何使用这种解决方案，而不需要专用的机器以前与MPI编码的辐射传输应用程序解决。
2005-10-31 astro-ph cs.DC
Parallel Batch-Dynamic Minimum Spanning Forest and the Efficiency of Dynamic Agglomerative Graph Clustering
层次凝聚聚类（HAC）是一种流行的聚类算法，但尽管它的重要性，没有一个动态的HAC算法有很好的理论保证存在。本文研究了边权图上的动态HAC。由于单链接HAC减少到计算最小生成森林（MSF），我们的第一个结果是一个并行批动态算法，用于维护MSF。在一批$k$边插入或删除时，我们的批动态MSF算法以高概率运行在$O(k\log^6 n)$预期的摊销工作和$O(\log^4 n)$跨度中。这是第一个完全动态的MSF算法处理批量的边缘更新与polylogarithmic工作每次更新和polylogarithmic跨度。使用我们的MSF算法，我们得到了一个并行批动态算法，可以回答查询单链接图HAC集群。我们的第二个结果是，动态图HAC是显着更难为其他常见的链接功能。例如，假设强指数时间假设，动态图HAC要求在具有$n$顶点的图上的每次更新或查询的$Ω(n^{1-o(1)})$工作用于完全链接、加权平均链接和平均链接。对于完全链接和加权平均链接，即使是增量或减量算法，即使我们允许$\operatorname{poly}(n)$ -近似的界限仍然成立。对于平均连接，对于增量和减量算法，界限减弱为$Ω(n^{1/2 - o(1)})$，并且当允许$n^{o(1)}$ -近似时，界限仍然保持。
2022-07-12 cs.CC cs.DC cs.DS
Parallel clustering with CFinder
关于复杂系统的可用数据量每年都在增加，越来越大的系统的测量被收集和记录。这种数据的自然表示是由网络给出的，其大小遵循原始系统的大小。当前计算基础设施中的多核趋势要求对早期方法进行并行重新实现。在这里，我们提出了网格版本的CCRs，它可以定位重叠的社区在有向，加权或无向网络的基础上集团渗透方法（CPM）。我们表明，社区的计算可以分布在几个CPU或计算机。虽然切换到并行版本不一定会导致计算时间的增加，但它确实使超大型网络的社区结构变得可访问。
2012-05-04 cs.DC cs.DS cs.SI
A Feasible Graph Partition Framework for Random Walks Implemented by Parallel Computing in Big Graph
图划分是大规模图数据并行计算的基本问题。在矩阵计算和PageRank等应用中，已经提出了许多图划分算法来解决这个问题，但没有人注意到随机游动。随机游动是研究图结构的一种广泛应用的方法。随机游动图划分的挑战包括大量的时间之间的通信，大量的顶点的复制，不平衡的分区等，在本文中，我们提出了一个可行的图划分框架的并行计算实现的大图的随机游动。该框架基于两个优化函数，在保证负载均衡的前提下，降低带宽、内存和存储开销。在此框架下，提出了几种贪婪图划分算法。我们还提出了五个指标，从不同的角度来评估这些算法的性能。通过在真实世界的大图数据集上运行算法，实验结果表明，该框架中的算法能够针对不同的需求解决随机游走的图划分问题，在减少通信次数方面最好的结果提高了70倍以上。
2014-12-31 cs.DC cs.SI physics.soc-ph
BigGraphVis: Leveraging Streaming Algorithms and GPU Acceleration for Visualizing Big Graphs
图形布局是探索海量图形的关键。大量的节点和边不允许网络分析软件产生有意义的普适网络的可视化。长计算时间，内存和显示限制包围软件的能力，探索大量的图形。介绍了一种新的并行图形可视化方法BigGraphVis，该方法利用GPU的并行处理和社区发现算法来实现图形社区的可视化。将并行流媒体社区发现算法与概率数据结构相结合，充分利用图形处理器（GPU）的并行处理。据我们所知，这是第一次尝试将流算法的强大功能与GPU计算相结合，以应对大图形可视化挑战。我们的方法提取社区信息，在几个通过的边缘列表，并使用Forcephilas2算法呈现社区结构。我们对大量真实图形的实验表明，通过可视化图形社区可以实现大约70%到95%的加速，并且可视化似乎是有意义和可靠的。我们检查的最大的图包含超过300万个节点和3400万条边，布局计算大约花了五分钟。我们还观察到，BigGraphVis着色策略可以成功地应用于生成信息量更大的Forcebrahas2布局。
2021-08-01 cs.CG cs.DC cs.GR
Parallel Computation of PDFs on Big Spatial Data Using Spark
Inria（法国国家信息与自动化研究所）；LIRMM, Univ. of Montpelier（蒙彼利埃大学LIRMM实验室）；LNCC（巴西国家科学计算实验室）
我们考虑大空间数据，这通常是在地质或地震解释等科学领域产生的。空间数据可以通过观察（例如使用传感器或土壤仪器）或数值模拟程序产生，并对应于代表3D土壤立方体区域的点。然而，信号处理和建模中的误差产生了一些不确定性，并且因此在识别地质或地震现象时缺乏准确性。必须仔细分析这种不确定性。为了分析不确定性，主要的解决方案是计算空间立方体区域中每个点的概率密度函数（PDF）。然而，在大空间数据上计算PDF可能非常耗时（在并行计算机上从几个小时甚至几个月）。在本文中，我们提出了一种新的解决方案，有效地计算这样的PDF并行使用Spark，三种方法：数据分组，机器学习预测和采样。我们评估我们的解决方案，通过广泛的实验，不同的计算机集群使用大数据，从数百GB到几TB。实验结果表明，我们的解决方案的规模非常好，可以减少执行时间的一个因素的33（在秒或分钟的顺序）相比，基线方法。
2018-05-08 cs.AI cs.DB cs.DC
Clubmark: a Parallel Isolation Framework for Benchmarking and Profiling Clustering Algorithms on NUMA Architectures
eXascale Infolab, University of Fribourg（弗里堡大学 eXascale 信息实验室）
本文提出Clubmark框架，用于在NUMA架构上对多种聚类算法进行并行基准测试和分析，提供细粒度的执行变量控制和对多种聚类算法的评估。
2019-02-01 cs.DC cs.SY eess.SY
Dynamic Nested Clustering for Parallel PHY-Layer Processing in Cloud-RANs
云无线接入网（C-RAN）以集中处理和基于云的基础设施为特征，是在未来无线蜂窝网络中实现前所未有的系统容量的有前途的解决方案。巨大的容量增益主要来自云服务器上的集中和协调的信号处理。然而，大规模C-RAN中的全面协调需要处理非常大的信道矩阵，导致高计算复杂性和信道估计开销。为了解决这一挑战，我们利用大型C-RAN信道矩阵的近稀疏性，并推导出一个统一的理论框架，集群和并行处理。基于该框架，提出了一种动态嵌套聚类（DNC）算法，该算法不仅大大提高了系统在基带处理和信道估计复杂度方面的可扩展性，而且适用于不同数据中心架构的各种并行处理策略。与所提出的算法，我们表明，最佳线性检测器的计算时间大大减少从$O(N^3)$不高于$O(N^{\frac{42}{23}})$，其中$N$是在C-RAN的RRH的数量。
2014-12-27 cs.DC cs.IT math.IT
GPU-Accelerated Multilevel Graph Clustering: A Parallel Perspective on Louvain and Leiden
The Pennsylvania State University（宾夕法尼亚州立大学）
该研究提出pLouvain与pLeiden两种GPU并行实现，其中pLeiden可保留串行Leiden的质量保证，二者在57个图上分别实现3.1倍、8.8倍加速，pLouvain模块度表现最优，其子程序可辅助其他Louvain技术并行化。
2026-08-04 cs.DC
Scalable Community Detection via Parallel Correlation Clustering
MIT（麻省理工学院）；Google（谷歌）
图聚类和社区发现是现代数据采掘的核心问题。分析数十亿级数据的需求日益增长，这就要求针对这些问题的算法更快、更可扩展。在这种聚类算法的质量和速度之间存在一定的权衡。在本文中，我们设计了可扩展的算法，实现高质量的基础上地面真相评估时。我们基于LambdaCC目标（由Veldt等人介绍）开发了一个通用的顺序和共享内存并行框架，其包括模块化和相关聚类。我们的框架由高度优化的实现组成，这些实现可扩展到数十亿条边的大型数据集，并在未加权和加权图上获得与地面实况数据相比高质量的聚类。我们的实证评估表明，该框架提高了可扩展的社区发现的速度和质量之间的最先进的权衡。例如，在具有双向超线程的30核机器上，我们的实现实现了比其他相关性集群基线高出几个数量级的加速，比我们自己的顺序基线高出28.44倍的加速，同时保持或提高了质量。
2021-07-27 cs.AI cs.DC cs.LG
Parallelization of the K-Means Algorithm with Applications to Big Data Clustering
Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对K-Means串行聚类距离计算开销大的问题，比较OpenMP平面同步与基于OpenACC的GPU并行方案，并通过加速比、效率和耗时评估性能。
2024-05-20 cs.DC cs.LG
Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel high-dimensional Bayesian optimization framework on supercomputers
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）
贝叶斯优化（BO）是一个灵活而强大的框架，适用于计算昂贵的基于仿真的应用程序，并保证统计收敛到全局最优。虽然仍然是最流行的优化方法之一，但其能力受到数据大小，所考虑问题的维度以及顺序优化的性质的阻碍。这些可伸缩性问题相互交织，必须同时解决。在这项工作中，我们提出了可扩展的$^3$ -BO框架，它采用稀疏GP作为底层的代理模型，以大数据的范围，并配备了一个随机嵌入，以有效地优化高维问题，有效维数低。可扩展的$^3$ -BO框架进一步利用异步并行化特征，其在计算预算内充分利用HPC上的计算资源。因此，所提出的可扩展$^3$ -BO框架在三个独立的方面是可扩展的：关于HPC上的数据大小、维度和计算资源。这项工作的目标是推动BO的前沿超越其众所周知的可扩展性问题，并最大限度地减少挂钟等待时间，以优化高维计算昂贵的应用程序。我们展示了可扩展的$^3$ -BO的能力，在HPC环境中有100万个数据点，10，000维问题，20个并发工作者。
2021-08-12 cs.DC cs.LG math.OC
Parallel and Distributed Successive Convex Approximation Methods for Big-Data Optimization
近年来，人们对大规模系统的并行和分布式最优化方法产生了浓厚的兴趣。特别是非凸大规模最优化问题在许多工程领域有着广泛的应用。这种复杂的大规模系统的设计和分析提出了一些挑战，并要求开发新的最优化模型和算法。本文的主要贡献是提出了一个通用的，统一的，算法框架，连续凸逼近（SCA）技术的基础上，并行和分布式解决方案的一般类的非凸约束（不可分离的，网络）的问题。所提出的框架统一和概括了现有的几种SCA方法，使他们呼吁并行/分布式实现，同时提供了一个灵活的选择函数逼近，步长时间表，和控制的计算/通信效率。本文是根据作者之一在CIME暑期学校集中式和分布式多智能体最优化模型和算法，在Cetraro，意大利，2014年6月23日至27日举行的讲座。这些讲座是：I）连续凸逼近方法：基础; II）并行连续凸逼近方法;和III）分布式连续凸逼近方法。
2018-05-17 cs.DC math.OC
