Faster Parallel Triangular Maximally Filtered Graphs and Hierarchical Clustering
针对现有TMFG-DBHT并行聚类算法并行度有限的问题，本文通过聚合TMFG构建工作、惰性更新信息及近似计算DBHT全源最短路径，实现了3.7-10.7倍的速度提升且保持聚类精度。
2024-08-18 cs.DC
Analysis of Different Approaches of Parallel Block Processing for K-Means Clustering Algorithm
分布式计算是近年来工程研究的一个发展趋势。并行计算在数据挖掘、图像处理、仿真模型、空气动力学等领域有着广泛的应用。并行处理的主要用途之一是在遗留系统中广泛实现对尺寸大于1000 × 1000的卫星图像进行聚类。本文主要研究了行形、列形和方形等并行块的处理方法。这些方法适用于分类问题。这些方法被应用到K-Means聚类算法，因为它被广泛用于高分辨率正射影像卫星图像的特征检测。不同的方法进行了分析，这导致减少执行时间，并导致改善性能测量相比，顺序K-均值聚类算法的影响。
2017-03-27 cs.DC
Parallel K-Medoids++ Spatial Clustering Algorithm Based on MapReduce
聚类分析在空间数据采掘中受到了广泛的关注。随着地理空间信息技术的飞速发展，空间信息数据的规模呈指数级增长，这使得对海量空间数据进行聚类成为一项具有挑战性的任务。为了提高大规模数据空间聚类的效率，许多研究者提出了几种高效的并行聚类算法。针对海量空间数据的聚类问题，提出了一种基于MapReduce的K-Medoids++空间聚类算法。将初始化算法与MapReduce框架相结合，减少了迭代次数。在不同数据集和不同节点数上进行的对比实验表明，提出的K-Medoids空间聚类算法比传统的K-Medoids空间聚类算法具有更高的效率，并且在商用硬件上处理海量空间数据时具有良好的可扩展性。
2016-08-24 cs.DC
Hybrid Parallel Bidirectional Sieve based on SMP Cluster
本文采用SMP机群实现混合并行双向筛法，各个计算单元通过通信网络连接在一起，通常是由一个或多个多核处理器组成的共享内存系统。为了高效优化，提出了平均划分数据到节点，产生双端队列（deque）的筛选方法，能够利用双核同时从头和尾开始筛选素数，每个节点创建一个FIFO队列作为动态数据缓冲区，缓存来自其他节点的临时数据。该方法在SMP集群上获得了巨大的加速比和效率。
2012-05-22 cs.DC
SafeMPI - Extending MPI for Byzantine Error Detection on Parallel Clusters
现代高性能计算在很大程度上依赖于使用以集群形式排列在一起的商用处理器。这些集群由通过高速互连连接在一起的各个节点（通常是现成的单处理器或双处理器机器）组成。使用集群计算有很多好处，但由于涉及的组件数量太多，也容易出现故障。已经提出了许多有效的解决方案来帮助集群中的故障恢复，它们的一个显著缺点是它们支持的故障模型。该领域的大部分工作都集中在检测和纠正故障停止错误上。我们提出了一个系统，也将检测更一般的错误模型，如拜占庭错误，从而允许现有的故障恢复方法来正确处理它们。
2005-05-31 cs.DC
HetPipe: Enabling Large DNN Training on (Whimpy) Heterogeneous GPU Clusters through Integration of Pipelined Model Parallelism and Data Parallelism
深度神经网络（DNN）模型的规模不断增长，以提高模型的准确性和质量。此外，对于大型DNN模型的训练，由于新GPU架构的发布周期较短，使用异构GPU是不可避免的。在本文中，我们研究了如何在异构GPU集群上实现大型DNN模型的训练，该集群可能包括独立的无法用于训练的古怪GPU。我们提出了一个DNN训练系统HetPipe（Heterogeneous Pipeline），它集成了流水线模型并行（PMP）和数据并行（DP）。在HetPipe中，一组多个GPU（称为虚拟工作器）以流水线方式处理小批，多个这样的虚拟工作器采用数据并行以获得更高的性能。我们还提出了一种新的参数同步模型，我们称之为波同步并行（WSP），以适应PMP和DP的虚拟工作者，并提供收敛证明WSP。我们在给定的异构设置上的实验结果表明，与最先进的DP技术相比，使用HetPipe，DNN模型的收敛速度快了49%。
2020-05-28 cs.DC
Faster Parallel Exact Density Peaks Clustering
针对精确密度峰值聚类(DPC)算法并行度低的问题，提出基于优先搜索kd树和Fenwick树的快速并行算法，在保持工作高效的同时显著降低并行时间复杂度，实验表明其相比现有算法取得显著加速。
2023-05-18 cs.DC
Parallel execution of portfolio optimization
分析资产负债管理（ALM）策略，特别是长期策略，是银行、基金和保险公司的一个重要问题。现代经济模型、投资策略和优化标准使得资产负债管理研究在计算上非常密集。多处理器系统，特别是最廉价的多核PC和PC集群系统，受到了人们的关注。在这篇文章中，我们正在分析的问题，并行组织的投资组合优化，使用集群优化的结果和最有效的集群架构，这些类型的任务。
2008-11-10 cs.DC
Design, Configuration, Implementation, and Performance of a Simple 32 Core Raspberry Pi Cluster
本文介绍了一个8节点32核树莓派集群的设计与性能评估，发现其慢速网络限制适用场景，但利用每节点三核可实现线性加速。
2024-03-16 cs.DC
Increasing Parallelism in the ROOT I/O Subsystem
在处理大量数据时，读写速率是一个关键因素。基于ROOT的高能物理数据处理也不例外。最近LHC实验软件框架的并行化和对实验收集的不断增加的碰撞数据量的分析进一步强调了这个问题，这需要增加ROOT I/O中表达的隐式并行性。在这方面的贡献，我们强调了改进的ROOT I/O子系统，其目标是在多线程上下文中的一个令人满意的伸缩行为。并行性的影响，这是由根链接到读取和写入数据，即（解）压缩，（反）串行化，访问存储后端的各个步骤，进行了讨论。通过来自传统服务器平台和高度并行架构（如英特尔至强融核）上的CMS生产工作流的实际示例，讨论性能测量。
2018-04-10 cs.DC
Hierarchical QR factorization algorithms for multi-core cluster systems
本文描述了一种新的QR分解算法，它是专门为大规模并行平台结合并行分布式多核节点设计的。这些平台造就了高性能计算的现在和可预见的未来。我们的新QR分解算法属于瓦片算法的类别，其自然地为由核心执行的顺序内核实现良好的数据局部性（高顺序性能），并行分布式设置中的消息数量少（小延迟期），以及细粒度（高并行性）。
2011-10-07 cs.DC
On the Implementation of an Or-Parallel Prolog System for Clusters of Multicores
如今，集群的多核正在成为常态，虽然，许多或并行Prolog系统已经在过去开发，据我们所知，他们都不是专门设计来探索共享和分布式存储器架构的结合。在最近的工作中，我们提出了一种新的计算模型专门设计的这种组合，它引入了一个分层模型，两个调度级别，一个工人共享内存资源，我们命名为一个团队的工人，另一个团队的工人（不共享内存资源）。在这项工作中，我们提出了这样的模型的第一个实现，我们恢复和扩展的YapOr系统，利用或并行工作团队之间。我们还提出了一套新的内置谓词，构成语法与我们的平台或并行引擎进行交互。实验结果表明，我们的实现是能够提高加速比，因为我们增加了每个团队的工人的数量，从而利用在一台机器中的核心的最大数量，并增加加速比，因为我们增加了团队的数量，从而利用增加更多的计算机节点到一个集群。因此，我们认为，我们的平台是一个有效的和可行的替代利用隐式或并行在目前可用的低成本多核架构的集群。
2016-08-04 cs.DC
HAPT: Heterogeneity-Aware Automated Parallel Training on Heterogeneous Clusters
本文提出面向异构集群的自动化并行训练框架 Hapt，通过细粒度算子间并行规划与异构感知 1F1B 调度，实现负载均衡和计算通信重叠，性能较现有框架提升 1.3–1.6 倍。
2025-09-29 cs.DC
Warp-Level Parallelism: Enabling Multiple Replications In Parallel on GPU
随机模拟需要多次重复，以建立其结果的置信区间。即使我们不需要大量的复制，使用多个并行复制（MRIP）方法来加快整个模拟时间也是一个很好的做法。这种方法通常假设可以访问并行计算机，例如对称多处理机（具有许多核心），计算集群或计算网格。在本文中，我们提出了Warp-Level并行化（WLP），这是一种支持GP-GPU的解决方案，用于在GP-GPU（通用图形处理单元）上计算MRIP。这些设备以低成本显示出大量的并行计算能力，但经过调整，可以通过不同的线程有效地处理多个数据上的相同操作。实际上，这种范例被称为单指令多线程（SIMT）。我们的方法建议依赖于小线程组，称为线程束，执行独立的计算，如复制。我们用三种不同的模型对WLP进行了基准测试：它允许MRIP的计算速度比SIMT计算模式快六倍。
2015-01-07 cs.DC
On the performance of various parallel GMRES implementations on CPU and GPU clusters
随着对计算能力和效率的需求的增加，并行系统在各个科学领域中变得越来越流行。虽然多核架构多年来一直是关注的焦点，但基于GPU的通用架构的快速发展将高性能计算提升到了一个新的水平。在这项工作中，不同的实现并行版本的预处理GMRES -一个建立的迭代求解大型和稀疏的线性方程组-，他们每个人都在不同的计算架构：从分布式和共享内存核心为基础的GPU架构。计算实验源自于用有限元法对基准边值问题的离散化。各种实现的主要优点和缺点的并行加速，执行时间和内存问题。其中，在不同的架构的结果比较，显示基于GPU的架构的高潜力。
2019-06-10 cs.DC
Collaborative Cluster Configuration for Distributed Data-Parallel Processing: A Research Overview
许多组织经常使用分布式数据系统（并行处理和商品资源集群）来分析大型数据集。然而，用户需要为他们的数据处理作业配置足够的资源。这需要深入了解预期的作业运行时和伸缩行为、资源特征、输入数据分布以及其他因素。由于无法准确估计性能，用户经常为其作业过度调配资源，导致资源利用率低和成本高。在本文中，我们提出了主要的构建块对数据处理集群配置的优化基于运行时数据和性能模型的协作方法。我们相信，运行时数据可以被共享，并用于跨不同执行上下文的性能模型，大大减少了对单个处理作业或专用作业分析的依赖。为此，我们描述了如何处理作业和集群基础设施的相似性，可以结合合适的数据点，从本地和全球的作业执行到准确的性能模型。此外，我们概述了通过更多的上下文感知和可重用的模型进行性能预测的方法。最后，我们展示了如何将以前执行的度量与运行时监控相结合，以有效地动态重新配置模型和集群。
2022-06-01 cs.DC
A Nested Partitioning Scheme for Parallel Heterogeneous Clusters
现代超级计算机越来越需要加速器和协处理器。然而，在这样的异构集群上实现良好的性能并不容易。关键的挑战是确保良好的负载平衡，并且CPU和加速器都不会闲置。传统方法将整个计算卸载到加速器，导致CPU空闲，或者选择任务级并行，需要在CPU和加速器之间进行大量数据传输。真正的工作并行性很难实现，因为加速器不能直接与其他CPU（除了主机）和加速器通信。在这项工作中，我们提出了一个新的嵌套分区计划来克服这个问题。通过将给定节点上的工作分配不对称地划分为边界和内部工作，并将内部分配给加速器，我们能够实现出色的效率，同时确保CPU和加速器资源的正确利用。用于评估新分区的问题是耦合弹性-声波传播问题的$hp$不连续Galerkin谱元法。
2013-07-17 cs.DC
MPI Collectives for Multi-core Clusters: Optimized Performance of the Hybrid MPI+MPI Parallel Codes
集群中多核/众核处理器的出现倡导混合并行编程，其将用于节点间并行的消息传递接口（MPI）与用于节点上并行的共享存储器模型相结合。与传统的MPI + OpenMP混合方法相比，一种新的、但很有前途的MPI + MPI-3共享内存扩展（MPI+MPI）混合方法正受到越来越多的关注。我们描述了一种算法的集体操作（与allgather和广播作为具体的例子）的混合MPI+MPI的上下文中，以尽量减少内存消耗和内存副本。使用这种方法，只有一个内存副本由节点上的进程维护和共享。这允许删除在纯MPI上下文中调用集合时MPI进程之间所需的复制数据的不必要的节点上副本。我们比较了混合MPI+MPI和传统MPI的集体方法，并讨论了保证数据完整性所需的同步。我们的方法的性能已在Cray XC 40系统（Cray MPI）和NEC集群（OpenMPI）上进行了验证，表明它实现了可比或更好的性能allgather操作。我们进一步验证了我们的方法与标准的计算内核，即分布式矩阵乘法，和贝叶斯概率矩阵分解代码。
2020-07-14 cs.DC
RLT2-based Parallel Algorithms for Solving Large Quadratic Assignment Problems on Graphics Processing Unit Clusters
本文讨论了求解二次分配问题（QAP）的强下界和精确解的高效并行算法。我们的并行架构由多核处理器和支持计算统一设备架构（CUDA）的NVIDIA图形处理单元（GPU）组成，这些处理单元位于伊利诺伊大学厄巴纳-香槟分校的Blue Waters超级计算设施上。我们提出了新的并行化的拉格朗日双上升算法的GPU上，这是用于解决QAP配方的基础上二级重构线性化技术（RLT 2）。在这个过程中的线性分配子问题（LAPs）使用我们的加速匈牙利算法[日期，Ketan，Rakesh Nagi. 2016.线性指派问题的GPU加速匈牙利算法。并行计算57 52-72]。我们嵌入这个加速双上升算法在一个并行的分支定界方案，并进行广泛的计算实验上的单个和多个GPU，使用问题的实例多达42设施从QAPLIB。实验表明，我们的基于GPU的方法是可扩展的，它可以用来获得严格的下限上的大型QAP实例。我们的加速分支定界方案能够轻松地从QAPLIB解决Nugent和Taillard实例（多达30个设施），使用适度数量的GPU。
2017-10-10 cs.DC
Zorse: Optimizing LLM Training Efficiency on Heterogeneous GPU Clusters
针对异构GPU集群上LLM训练的负载均衡与通信等挑战，提出首个统一非对称流水线并行与异构数据并行并配备自动规划器的Zorse系统，显著提升了异构训练效率。
2025-07-14 cs.DC
High Performance Parallel Sort for Shared and Distributed Memory MIMD
我们提出了四种高性能的混合排序方法开发的各种并行平台：共享内存多处理器，分布式多处理器，集群利用共享和分布式内存的存在。合并排序以其稳定性而闻名，被用于设计我们的几个算法。我们通过将其与快速排序相结合来提高其并行性能。我们提出了两个模型设计的共享内存MIMD（OpenMP）：（a）一个非递归的合并排序和（b）混合快速排序和合并排序。第三个模型是设计用于分布式内存MIMD（MPI）使用混合快速排序和合并排序。我们的第四个模型的目的是利用共享内存的各个节点的今天的集群系统，并消除所有的内部数据传输之间的不同节点，我们的模型实现了一个一步MSD-Radix分发数据在10个包（MPI），而每个节点的并行核心使用Quicksort排序他们的数据分区顺序，然后合并和排序他们在并行采用OpenMp。所有开发的模型的性能优于基线性能。在对小数据进行排序时，混合快速排序和合并排序的性能优于集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序，但对于较大的数据，集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序的加速比变得更大并且不断改进。其中分布存储并行混合快速排序和归并排序的加速比最好。
2020-03-02 cs.DC
Hugo: A Cluster Scheduler that Efficiently Learns to Select Complementary Data-Parallel Jobs
MapReduce、Spark和Flink等分布式数据处理系统是分析具有集群资源的大型数据集的流行工具。然而，用户经常为他们的数据处理作业过度提供资源，而这些作业的资源使用通常也会大幅波动。因此，多个作业通常被调度到相同的共享资源上，以提高集群的资源利用率和吞吐量。但是，作业运行时和共享资源的利用率可能会因协同定位作业的特定组合而发生显著变化。本文介绍了雨果，一个集群调度器，不断学习如何有效地共享资源，考虑指标的资源利用率和协同工作之间的干扰。该调度器将离线作业分组与在线强化学习相结合，以提供一种调度机制，该调度机制有效地从特定的监视作业组合中进行归纳，同时还适应工作负载的变化。我们对原型的评估表明，该方法可以将YARN集群上的示例性Spark作业的运行时间减少高达12.5%，同时增加了资源利用率，并且可以限制等待时间。
2021-02-14 cs.DC
PPipe: Efficient Video Analytics Serving on Heterogeneous GPU Clusters via Pool-Based Pipeline Parallelism
本文提出 PPipe 推理服务系统，利用基于池的流水线并行、MILP 控制平面和自适应批处理，在异构 GPU 集群上提升视频分析推理吞吐量与低端 GPU 利用率。
2025-07-24 cs.DC
The OpenMP Cluster Programming Model
尽管有各种研究计划和提出的编程模型，但HPC集群中并行编程的有效解决方案仍然依赖于不同编程模型的复杂组合（例如，OpenMP和MPI）、语言（例如，C++和CUDA）和专用运行时（例如，Charm++和Legion）。另一方面，任务并行性已被证明是一个高效和无缝的集群编程模型。本文介绍了OpenMP集群（OMPC），任务并行模型，扩展了集群编程的OpenMP。OMPC利用OpenMP的卸载标准在分布式系统的节点之间分发带注释的代码区域。为了实现这一点，它将基于MPI的数据分发和负载平衡机制隐藏在OpenMP任务依赖关系后面。由于OMPC与OpenMP兼容，它允许应用程序使用相同的编程模型来利用节点内和节点间的并行性，从而简化了开发过程和维护。我们评估OMPC使用任务工作台，一个综合的基准集中在任务并行性，比较其性能与其他分布式运行时。实验结果表明，OMPC可以提供高达1.53倍和2.43倍的性能比Charm++的CCR和可扩展性实验，分别。实验还表明，OMPC性能弱规模的任务台和现实世界的地震成像应用。
2022-08-13 cs.DC
Don't cry over spilled records: Memory elasticity of data-parallel applications and its application to cluster scheduling
了解资源受限时数据并行工作负载的性能具有重要的实际意义，但不幸的是只受到有限的关注。本文识别，量化和演示内存弹性，数据并行任务的内在属性。内存弹性允许任务在运行时使用比理想情况少得多的内存，同时只付出适度的性能损失。例如，我们发现，只要给出10%的理想内存，PageRank和NutchIndexing Hadoop Reducer就只会慢1.2倍/1.75倍和1.08倍。我们发现，内存弹性是普遍存在的Hadoop，Spark，Tez和Flink框架。我们还通过为Hadoop构建简单的模型并将其扩展到Tez和Spark，证明了内存弹性在本质上是可预测的。为了证明利用内存弹性的潜在好处，本文进一步探讨了它的应用程序集群调度。在这种情况下，我们观察到，由内存弹性实现的资源与时间的权衡变成了任务排队时间与任务运行时间的权衡。任务在调度时使用较少的内存可以更快地完成，因为它们的等待时间减少了。我们表明，调度程序可以把这个任务级的权衡到改进的作业完成时间和集群范围内的内存利用率。我们已经将内存弹性集成到Apache YARN中。我们在一个50节点的Hadoop集群上展示了高达60%的平均作业完成时间增益。大量的模拟显示了在大量的情况下类似的改进。
2017-02-14 cs.DC
Space and Time Efficient Parallel Graph Decomposition, Clustering, and Diameter Approximation
我们开发了一种新的并行分解策略，为未加权，无向图，基于不断增长的不相交的连接集群从一批中心逐步选择尚未发现的节点。相对于类似的以前的分解，我们的策略行使更严格的控制集群的数量和它们的最大半径。我们提出了我们的并行图分解的两个重要应用：（1）$k$ -中心聚类近似;（2）直径近似。在这两种情况下，我们得到的算法，具有多对数近似因子，并服从于一个分布式的实现，是面向大规模（长直径）的图形。计算所需的总空间在问题大小上是线性的，并且对于具有低倍维的图，平行深度在直径上基本上是次线性的。据我们所知，我们是第一个平行近似这些问题，实现子直径并行时间，为相关的一类图，只使用线性空间。除了理论上的保证，我们的算法允许一个非常简单的实现集群架构：我们报告了大量的实验，证明其有效性和效率的大型图形相比，替代已知的方法。
2015-02-06 cs.DC cs.DS
Parallel Spectral Clustering Algorithm Based on Hadoop
University of Chinese Academy of Sciences（中国科学院大学）
谱聚类和云计算是计算机科学或相关学科的新兴分支。它克服了一些传统聚类算法的缺点，保证了收敛到最优解，因而受到了广泛的关注。本文首先介绍了并行谱聚类算法的研究背景和意义，然后对Hadoop的云计算框架进行了详细的介绍，接着对谱聚类进行了相关的介绍，然后介绍了谱聚类算法的并行化方法和相关步骤，最后做了相关的实验，并对实验进行了总结。
2015-05-31 cs.DC cs.DS cs.LG
Massively parallel lattice-Boltzmann codes on large GPU clusters
本文介绍了一个大规模并行代码的最先进的热晶格玻尔兹曼方法。我们的代码已经过精心优化，以提高单GPU上的性能，并具有良好的扩展行为，可扩展到大量GPU。该代码的版本已经用于对流湍流的大规模研究。GPU在HPC应用中越来越受欢迎，因为它们能够提供比传统处理器更高的性能。为大型集群编写高效的程序并不是一件容易的事情，因为代码必须适应日益并行的体系结构，并且必须正确处理节点到节点通信的开销。我们描述了我们的代码的结构，讨论了几个关键的设计选择，指导性能和实验基准的理论模型。我们提出了一套广泛的性能测量，并确定相应的主要bottlenecks，最后，我们比较我们的GPU代码与其他目前可用的高性能处理器上测量的结果。我们的结果是一个生产级的代码能够提供几十Tflops的持续性能，以及设计和优化的方法，可用于其他高性能的计算物理应用程序的开发。
2017-03-01 cs.DC
Parallel Computing on a PC Cluster
在过去的十年里，计算机技术的巨大进步使得人们有可能以很小的预算实现超级计算机的性能。我们已经建立了一个多CPU集群的奔腾PC能够并行计算使用消息传递接口（MPI）。我们将讨论集群的配置，性能和应用到我们的物理工作。
2001-09-04 cs.DC hep-ph
A Tool for Programming Embarrassingly Task Parallel Applications on CoW and NoW
令人尴尬的并行问题可以被分成几个部分，这些部分的特征是在并行计算过程中信息交换非常少（有时甚至没有）。因此，它们可以有效地并行计算利用商品硬件，因此没有特别复杂的互连网络。基本上，这意味着集群、工作站网络和分布式计算以及计算云。尽管这种计算模型很简单，但它可以用来计算相当大范围的问题。JJPF是一个基于Java和Jini的任务并行应用程序开发工具，在工作站和桌面集群和网络等环境中，它是一个有效的解决方案。
2013-06-24 cs.DC
Use of openMosix for parallel I/O balancing on storage in Linux cluster
在本文中，我提出了一些经验，在这个问题上的I/O Linux集群。特别是说明了使用的包openMosix，一个平衡器的工作负载的进程运行在一个集群的节点。我描述了一些测试，用于平衡具有四个组件的集群中的I/O存储大规模进程的负载。这项工作是为2002年11月28日在意大利博洛尼亚CINECA举行的Linux集群研讨会：openMosix方法的会议记录而写的。
2002-12-06 cs.DB cs.DC
Parallel Index-Based Structural Graph Clustering and Its Approximation
SCAN（Structural Clustering Algorithm for Networks）是一种研究得很好、应用广泛的图聚类算法。然而，对于大型图，顺序SCAN变体非常慢，并且并行SCAN变体不能在具有不同SCAN参数设置的查询之间有效地共享工作。由于SCAN的用户经常探索许多参数设置来找到好的聚类，因此值得预先计算一个索引来加速查询。本文在最近提出的一种顺序算法GS*-Index的基础上，提出了一种实用的、可证明有效的基于索引的并行SCAN算法。我们的并行算法通过使用整数排序改进了顺序算法的渐近工作。它也是高度并行的，实现了索引构建和聚类查询的对数跨度（并行时间）。此外，我们应用局部敏感哈希（LSH）设计一种新的近似SCAN算法，并证明其聚类行为的保证。我们提出了一个实验评估我们的算法在大型现实世界的图形。在具有双向超线程的48核机器上，我们的并行索引构造比GS*-Index构造实现了50- 151 $\times$的加速。事实上，即使在单线程上，我们的索引构造算法也比GS*-Index快。我们的并行索引查询实现实现了5- 32 $\times$加速GS*-索引查询在一系列的SCAN参数值，我们的实现总是比ppSCAN，一个国家的最先进的并行SCAN算法。此外，我们的实验表明，应用LSH的结果在更快的索引建设，同时保持良好的聚类质量。
2021-03-30 cs.DB cs.DC cs.DS
Parallelizing the Unpacking and Clustering of Detector Data for Reconstruction of Charged Particle Tracks on Multi-core CPUs and Many-core GPUs
我们提出的结果从并行化的解包和聚类步骤的原始数据从硅带模块重建带电粒子轨道。通过在CPU上使用嵌套的OpenMP并行性或在GPU上使用CUDA流来并发处理多个事件，吞吐量得到进一步改进。新的实现以及早期的工作，在开发一个并行化和矢量化的组合卡尔曼滤波器算法的实现，使整个事件的有效的全球重建现代计算机架构。我们展示了在英特尔至强和NVIDIA GPU架构上的新实现的性能。
2021-01-27 cs.DC hep-ex
BSF-skeleton: A Template for Parallelization of Iterative Numerical Algorithms on Cluster Computing Systems
本文描述了一种使用并行BSF框架为集群计算系统创建应用程序的方法，该框架基于作者早先开发的并行计算的原始BSF（Bulk Synchronous Farm）模型。该模型使用主/从范例。BSF模型的主要优点是它允许在实现并行算法之前估计其可扩展性。BSF模型的另一个重要特性是以列表的形式表示问题数据，这大大简化了构建应用程序的逻辑。BSF框架设计用于使用MPI库在C++中创建并行程序。BSF框架的范围是高计算复杂性的迭代数值算法。BSF骨架具有以下显著特征。- BSF框架完全封装了与并行化程序相关的所有方面。- BSF框架允许在应用程序开发的所有阶段进行无错误编译。- BSF框架支持OpenMP编程模型和工作流。
2021-06-04 cs.DC cs.MS
Efficient Parallel Algorithms for k-Center Clustering
k-中心问题是几个经典的NP-难聚类问题之一。对于当代的海量数据集，基于RAM的算法变得不切实际。虽然有很好的顺序算法的k-中心，他们是不容易并行化。在本文中，我们设计并实现了并行近似算法为这个问题。我们观察到，冈萨雷斯的贪心算法可以有效地并行化在几个MapReduce轮，在实践中，我们发现，两轮是足够的，导致4-近似。我们将此与现有的k-中心并行算法进行对比，该算法在恒定数量的轮中运行，并提供10-近似。深入的运行时分析表明，这种方案通常很慢，并且其采样过程仅在k相对于输入大小足够小时才运行。为了在运行时间和近似保证之间进行权衡，我们对该采样算法进行了参数化，并在实验中发现该算法不仅速度更快，而且有时更有效。然而，Gonzalez的并行版本比其顺序版本和并行采样算法快约100倍，几乎不影响解决方案质量。
2016-04-12 cs.DC cs.DS
BSF: a parallel computation model for scalability estimation of iterative numerical algorithms on cluster computing systems
本文探讨了一种新的并行计算模型，称为批量同步农场（BSF），重点是估计的可扩展性，针对集群计算系统的计算密集型迭代算法。在BSF模型中，计算机是一组通过网络连接的处理器节点，并根据主/从范例进行组织。提出了一种BSF模型的代价度量。这个成本度量要求算法以列表上的操作的形式表示。这使我们能够推导出一个方程，预测并行程序的可扩展性边界：处理器节点的最大数量之后，加速开始下降。本文给出了应用BSF模型设计和分析并行数值算法的几个实例。在集群计算系统上进行的大规模计算实验证实了使用BSF模型获得的分析估计的充分性。
2021-01-02 cs.DC cs.PF
A Tabu Search based clustering algorithm and its parallel implementation on Spark
著名的K-means聚类算法已广泛应用于从数据分析到物流应用的不同应用领域。然而，K-means算法可能会受到诸如初始质心选择等因素的影响，并且很容易陷入局部最优。本文提出了一种改进的K-means聚类算法，该算法通过Tabu搜索策略进行了扩展，更好地适应了大数据应用的需求。我们的设计进一步增强，以利用基于Spark框架的并行处理。计算实验证明了我们的禁忌搜索的聚类算法的优越性，在广泛使用的版本的K-means方法体现在Spark MLlib，比较算法的可扩展性，准确性和有效性。
2017-11-30 cs.DC cs.SI
Public Cluster : parallel machine with multi-block approach
我们介绍了一种新的方法，使一个开放的和公共的并行机，这是可访问的多个用户与多个作业属于不同的块在同一时间运行。这一概念特别适用于在LIPI公共集群中实现的专用于公共使用的并行机。我们已经部署了最简单的技术，通过运行多个守护进程的并行处理引擎与不同的配置文件指定为每个用户分配到访问系统，并开发了一个集成的系统，以充分控制和监控整个系统通过Web。最后对消息解析接口引擎进行了简要的性能分析。结果表明，该方法是相当可靠的，对整体性能的影响很小。
2007-08-04 cs.CY cs.DC
Parallel Correlation Clustering on Big Graphs
给定项目之间的相似性图，相关聚类（CC）将相似的项目分组在一起，不相似的项目分开。最流行的CC算法之一是KwikCluster：一种连续聚类顶点邻域并获得3-近似比的算法。不幸的是，KwikCluster在实践中需要大量的聚类轮数，这是大型图的潜在瓶颈。我们介绍C4和WILDER！，并行相关聚类的两个算法，运行在一个多对数轮数，并实现近线性加速比，证明。C4使用并发控制来增强并行聚类过程的可串行性，并保证3-近似比。疯狂的！是一个无协调的算法，放弃了更好的缩放的好处的一致性，这导致了一个可证明的3近似比小的损失。我们为这两种算法提供了广泛的实验结果，在聚类精度和运行时间方面，我们都优于最先进的算法。我们表明，我们的算法可以在32个核心上在5秒内集群十亿边图，同时实现15倍的加速比。
2015-07-20 cs.DC cs.DS stat.ML
A Flexible Patch-Based Lattice Boltzmann Parallelization Approach for Heterogeneous GPU-CPU Clusters
在并行计算中维持单个GPU的大部分性能被认为是基于GPU的集群的主要问题。在这篇文章中，这一主题是解决的背景下，晶格玻尔兹曼流求解器，集成在WaLBerla软件框架。我们提出了一个多GPU实现使用块结构的MPI并行化，适用于负载均衡和异构计算的CPU和GPU。详细讨论了多GPU模拟所需的开销，并证明了内核性能可以在很大程度上得到维持。通过我们的GPU实现，我们在InfiniBand集群上实现了近乎完美的弱可扩展性。然而，在强扩展场景中，多GPU对硬件的利用效率低于IBM BG/P和x86集群。因此，成本分析必须为特定的模拟任务确定最佳的行动方案。此外，弱规模的异构模拟CPU和GPU同时进行的结果，提出了使用集群配备不同的节点配置。
2010-07-08 cs.DC cs.PF
Parallel implementation of a lattice-gauge-theory code: studying quark confinement on PC clusters
我们考虑在PC集群上用MPI实现高性能模拟的并行Monte Carlo代码。我们进行了加速比和效率的测试。为了研究胶子和鬼传播子的红外行为，该程序被用于在非常大的格点体积下纯SU（2）格点规范理论的数值模拟。这个问题与强相互作用物理学中夸克和胶子的禁闭直接相关。
2003-08-08 cs.DC hep-lat
An Accurate and Efficient Large-scale Regression Method through Best Friend Clustering
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
随着机器学习领域的数据量呈指数级增长，通过利用高性能计算硬件提供的不断增长的大量可用核来加速计算是不可避免的。然而，现有的并行聚类或回归方法往往遭受的问题，精度低，收敛速度慢，和复杂的超参数调整。此外，并行效率通常是难以提高，同时保持模型属性和分区计算工作负载之间的平衡，在分布式系统上。在本文中，我们提出了一种新的和简单的数据结构捕捉数据样本中最重要的信息。它有几个有利的属性，支持分层聚类策略，这是无关的硬件并行性，定义良好的指标，用于确定最佳聚类，平衡分区，保持紧凑性，和高效的并行化加速计算阶段。然后，我们结合聚类与回归技术作为一个并行库，并利用数据和模型并行的混合结构进行预测。实验结果表明，该库在收敛性、准确性和可扩展性等方面都取得了显著的效果.
2021-04-22 cs.DC cs.LG
High-performance computing for super-resolution microscopy on a cluster of computers
多信号分类算法（MUSICAL）提供了一种超分辨率显微镜方法。在以前的研究中，MUSICAL已经在台式计算机或基于Linux的服务器上很好地实现了数据并行。但是，运行时间需要更短。本文将在机群系统上开发一种高效、可扩展的并行MUSICAL。我们通过使用集群核心的最佳速度、最新的并行编程技术和高性能计算库（如英特尔线程构建块（TBB）、英特尔数学内核库（MKL）和用于计算机集群的统一并行C++（UPC++））来实现这一目的。实验结果表明，新的并行MUSICAL在256核集群上10秒内实现了240.29倍的加速，效率为93.86%。我们的MUSICAL为现实生活中的应用提供了很高的可能性，可以在几秒钟内实现超分辨率显微镜。
2022-06-13 cs.DC cs.PF
Parallelization of the K-Means Algorithm with Applications to Big Data Clustering
Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对K-Means串行聚类距离计算开销大的问题，比较OpenMP平面同步与基于OpenACC的GPU并行方案，并通过加速比、效率和耗时评估性能。
2024-05-20 cs.DC cs.LG
Massively Parallel Correlation Clustering in Bounded Arboricity Graphs
识别集合中相似元素的聚类是数据分析中的常见任务。随着数据量的巨大增长和单处理器速度的物理限制，有必要寻找有效的并行聚类算法。本文研究了大规模并行计算（MPC）模型下有界荫度图的相关聚类问题。更具体地说，我们给出了一个完全图，其中的边是正的或负的，表明顶点对是相似的还是不相似的。任务是将顶点划分为具有尽可能少的分歧的簇。也就是说，我们希望最小化正的簇间边缘和负的簇内边缘的数量。考虑一个输入图$G$在$n$的顶点上，使得正边诱导出一个$λ$ -arboric图.我们的主要结果是一个3-近似（$\textit{in expectation}$）算法的相关聚类，运行在$\mathcal{O}(\log λ\cdot \textrm{poly}(\log \log n))$ MPC轮的$\textit{strongly sublinear memory regime}$。这是通过将有界荫度图上的相关聚类的结构特性与Fischer和Noever（SODA '18）对随机贪婪MIS的见解以及Ailon、Charikar和Newman（STOC '05）的$\texttt{PIVOT}$算法相结合来获得的。结合已知的图匹配算法，我们的结构属性也意味着一个精确的算法和算法与$\textit{worst case}$ $(1+ε)$ -近似保证在特殊情况下的森林，其中$λ=1$。
2021-08-06 cs.DC cs.DS
Multithreaded parallelism for heterogeneous clusters of QPUs
本文提出MILQ调度与切割器，通过电路切割和混合整数线性规划优化多量子设备上的批量电路执行时间，相比基线最高提升26%。
2023-11-29 cs.DC quant-ph
A Distributed Block Chebyshev-Davidson Algorithm for Parallel Spectral Clustering
Purdue University（普渡大学）；University of Maryland（马里兰大学）
本文提出一种分布式块Chebyshev-Davidson算法，通过解析谱估计解决大规模前特征值问题，并实现具有$\sqrt{p}$加速比的并行计算，显著提升了谱聚类在大数据环境下的效率与可扩展性。
2024-01-05 cs.DC cs.LG cs.NA
High-Performance Hybrid Algorithm for Minimum Sum-of-Squares Clustering of Infinitely Tall Data
University of Washington（华盛顿大学）；Satbayev University（萨拜耶夫大学）；Institute of Information and Computational Technologies（信息与计算技术研究所）
本文提出无限高数据最小平方和聚类问题，并设计混合并行算法HPClust，通过多策略竞争-协作并行提升聚类效率、可扩展性和准确性，优于现有方法。
2024-06-25 cs.DC cs.LG math.OC
Distributed Parallel Inference on Large Factor Graphs
Carnegie Mellon University（卡内基梅隆大学）；Intel Research（英特尔研究院）
随着计算机集群变得越来越普遍，人工智能领域遇到的问题越来越多，对高效并行推理算法的需求也越来越大。我们考虑的问题，并行推理的大因素图在分布式内存设置的计算机集群。我们开发了一个新的高效的并行推理算法，DBRSplash，它结合了过分割图分割，信念剩余调度，和统一的工作飞溅操作。我们凭经验评估DBRSplash算法在120处理器集群，并证明线性超线性的性能增益大因素图模型。
2012-05-09 cs.AI cs.DC
Fast Parallel I/O on Cluster Computers
今天的集群计算机的I/O速度很慢，这会降低I/O密集型应用程序的速度。我们表明，快速磁盘I/O可以通过在快速网络（如Myrinet或千兆以太网）上运行并行文件系统来实现。在本文中，我们演示了ParaStation 3通信系统如何帮助加快性能的并行I/O的集群使用开源并行虚拟文件系统（PVFS）作为测试床和生产系统。我们将描述PVFS在位于德国伍珀塔尔大学的Alpha-Linux-Quanter-Engine（ALiCE）上的设置。ALiCE上的基准测试从32个处理器的计算分区到32个处理器的PVFS I/O分区实现了高达1 GB/s的写入性能，比相同网络上PVFS的已知基准测试结果高出2倍以上。从缓冲区缓存读取性能达到2.2 GB/s。我们的基准是巨大的，I/O密集的本征模问题，从晶格量子色动力学，证明PVFS的稳定性和性能在大规模生产运行的Parastation。
2003-03-19 cs.AR cs.DC hep-lat
ParChain: A Framework for Parallel Hierarchical Agglomerative Clustering using Nearest-Neighbor Chain
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UC Riverside（加利福尼亚大学河滨分校）
本文研究了层次聚类问题，其目标是产生一个树状图，表示聚类在不同规模的数据集。我们提出了ParChain框架设计并行层次凝聚聚类（HAC）算法，并使用该框架，我们获得新的并行算法的完整的联系，平均联系，和沃德的联系标准。与大多数需要二次存储的并行HAC算法相比，我们的新算法只需要线性存储，并且可扩展到大数据集。ParChain基于我们对最近邻链算法的并行化，并允许在每一轮合并多个集群。我们介绍了两个关键的优化，是至关重要的效率：范围查询优化，减少了距离计算的数量时，找到最近的邻居的集群，和缓存优化存储的子集以前计算的距离，这是可能被重用。实验表明，我们的高度优化的实现使用48个核心的双向超线程实现5.8- 110.1倍的加速比最先进的并行HAC算法，并实现13.75- 54.23倍的自相关加速比。与最先进的算法相比，我们的算法所需的空间减少了237.3倍。我们的算法能够扩展到具有数千万个点的数据集大小，这是现有算法无法处理的。
2022-02-14 cs.DB cs.DC cs.DS
Massively-Parallel Heat Map Sorting and Applications To Explainable Clustering
Sharif University of Technology（谢里夫理工大学）
本文提出了热图排序问题以在保持簇连通性的前提下重排与合并点及维度，证明了其NP难性，并给出了大规模并行计算模型下的常数轮次固定参数算法及NP难特例的近似算法，实证表明其优于k-means和DBSCAN。
2023-09-14 cs.DC cs.DS cs.LG
High-speed detection of emergent market clustering via an unsupervised parallel genetic algorithm
我们实现了一个主从并行遗传算法（PGA）与定制的对数似然适应度函数，以确定价格演变内的紧急集群。我们使用图形处理单元（GPU）来实现PGA，并使用不相交的最小生成树（MSTs）将结果可视化。我们证明，我们的GPU PGA，实现了商用通用GPU，能够恢复股票集群在次秒的速度，在南非市场的股票的子集的基础上。这是一个务实的选择，低成本，可扩展的并行计算，是显着快于原型串行实现优化的C为基础的第四代编程语言，虽然结果是不直接可比的，由于编译器的差异。结合快速在线日内相关矩阵估计从高频数据的聚类识别，建议的实现提供了成本效益，近实时的风险评估金融从业人员。
2015-08-02 cs.DC cs.NE q-fin.CP
Massively Parallel Algorithms and Hardness for Single-Linkage Clustering Under $\ell_p$-Distances
我们提出了大规模并行（MPC）算法和硬度的近似结果计算$n$输入$d$维向量的单链聚类下的汉明，$\ell_1, \ell_2$和$\ell_\infty$距离。我们所有的算法运行在$O(\log n)$轮MPC的任何固定的$d$和实现$(1+ε)$ -近似的所有距离（除了汉明，我们显示一个确切的算法）。我们还显示了恒定因素的不可近似性结果$o(\log n)$轮算法下的标准MPC硬度假设（足够大的尺寸取决于所使用的距离）。我们的算法在Apache Spark中的实现效率通过在各种数据集上的实验来证明，这些数据集表现出几个数量级的加速。
2018-03-25 cs.DB cs.DC cs.DS
