Fused Breadth-First Probabilistic Traversals on Distributed GPU Systems
针对概率广度优先遍历（BPTs）在影响力最大化等随机扩散图问题中并行效率低的难题，提出分布式多GPU上的融合BPT算法，将多随机起点遍历合并为统一前沿，集成到gIM和Ripples后在超算上实现最高34倍和约360倍的性能提升，且具备强可扩展性。
2023-11-16 cs.DC
Optimizing Communication by Compression for Multi-GPU Scalable Breadth-First Searches
广度优先搜索（BFS）算法是许多基于图的高级操作（如生成树、最短路径和介数中心性）的基础和构建块。该算法的重要性与日俱增，因为它是当今流行的许多数据结构的关键要求。当BFS算法通过将图分布在多个处理器之间来并行化时，互连网络限制了性能。因此，在这方面的改进可能有利于算法的整体性能。这项工作提出了一种替代的压缩方案，在分布式BFS处理通信。它侧重于使用通用图形处理单元的BFS处理器。
2017-04-03 cs.DC cs.DS cs.PF
Vectorization of Hybrid Breadth First Search on the Intel Xeon Phi
广度优先搜索（BFS）算法是大型数据集图分析的重要组成部分。BFS并行化已被证明是具有挑战性的，因为其固有的特性，包括不规则的内存访问模式，数据依赖性和工作负载不平衡，限制了其可扩展性。我们调查的优化和矢量化的混合BFS（自上而下和自下而上的BFS方法的组合）的至强融核，它具有先进的矢量处理功能。结果表明，我们的新的实现提高了33%，为100万个顶点的图，相比，最先进的。
2017-04-20 cs.DC
Parallel Breadth-First Search and Exact Shortest Paths and Stronger Notions for Approximate Distances
我们引入更强的近似单源最短路径距离的概念，展示了如何有效地计算它们从较弱的标准概念，并展示了这些新的概念和变换的算法能力。一个应用程序是第一个工作效率的并行算法计算精确的单源最短路径图-解决了一个主要的开放问题，在并行计算。给定一个具有多项式有界非负整数长度的有向图中的源顶点，该算法计算$m \log^{O(1)} n$工作和$n^{1/2+o(1)}$深度的精确最短路径树。以前，没有已知的并行算法在不显著增加工作的情况下改进Dijkstra算法的平凡线性深度，即使对于无向和无权图的情况（即，用于计算BFS树）。我们的主要结果是一个黑盒变换，使用$\log^{O(1)} n$标准的近似距离计算产生的近似距离，也满足减法三角不等式（$(1+\varepsilon)$因素），甚至诱导一个确切的最短路径树的图中，只有轻微的扰动边的长度。这些增强的近似在算法上显著更强大，并且克服了使用近似距离的众所周知的和经常遇到的障碍。在有向图中，它们甚至可以被提升到精确的距离。这导致了任何（并行或分布式）有向图中近似最短路径算法的黑盒变换，变成了基本上没有成本的精确距离计算算法。将其应用于Fineman等人最近的突破，通过近似跳集计算近似SSSP距离，给出了精确最短路径的新并行分布式算法。
2022-10-28 cs.DC cs.DS
Breadth First Search Vectorization on the Intel Xeon Phi
广度优先搜索（BFS）是用于图算法的构建块，并且最近已被用于包括社交网络、图数据库和web搜索的各种应用中的信息的大规模分析。由于其重要性，许多不同的并行编程模型和架构已被利用来优化BFS。然而，由于不规则的内存访问模式和大型图的非结构化性质，其有效的并行化是一个挑战。Xeon Phi是一种大规模并行架构，可用作现成的加速器，其中包括一个功能强大的512位矢量单元，具有优化的分散和收集功能。考虑到其潜在的好处，在此架构上进行图遍历相关的工作是一个活跃的研究领域。我们提出了一组实验中，我们探索的Xeon Phi的架构功能，以及如何最好地利用它们在一个自上而下的BFS算法，但技术可以应用到目前最先进的混合，自上而下加上自下而上，算法。我们专注于开发一个改进的高度向量化的OpenMP并行算法，使用向量的内在函数，并了解使用数据对齐和预取的向量单元。此外，我们调查的超线程和线程亲和力对性能的影响，一个主题，出现在文献中的研究。因此，我们在实验中使用的Xeon Phi版本上实现了我们认为最快的自上而下BFS算法。本文中提供的矢量化BFS自顶向下源代码可以作为免费软件提供。
2016-04-11 cs.DC
Survey of Parallel A* in Rust
A* 是最流行的最佳优先搜索（BFS）技术之一。它将基于成本的广度优先搜索与每个节点的计算启发式搜索相结合，以尝试比传统的广度优先搜索或深度优先搜索技术更快地定位目标路径。然而，A* 是一种顺序算法。标准实现只在一个线程中运行。有一些尝试让A* 利用多线程。集中式（SPA*）和分散式（DPA*，HDA*）方法是最标准的尝试，其中最独特和最现代的方法是并行A*（MPA* 或GA*）。我们将尝试在Rust中实现每一个，以确定是否有性能提升，以及哪一个具有最佳性能。
2021-05-08 cs.DC
APWA: A Distributed Architecture for Parallelizable Agentic Workflows
Northeastern University（东北大学）
本文提出APWA架构，通过分解任务为非干扰子问题，提升多代理系统处理高并行任务的效率和扩展性。
2026-05-14 cs.AI cs.DC cs.MA
Distributed-Memory Parallel Algorithms for Sparse Matrix and Sparse Tall-and-Skinny Matrix Multiplication
针对稀疏矩阵与高瘦矩阵乘法（TS-SpGEMM）的性能瓶颈，提出一种基于定制1D划分和稀疏感知分块的分布式内存算法，结合本地与远程计算降低通信开销，较2D和3D SUMMA平均提升5倍性能，并在512节点上验证了多源广度优先搜索等应用的可扩展性。
2024-08-21 cs.DC
Techniques for Distributed Reachability Analysis with Partial Order and Symmetry based Reductions
在这项工作中，我们提出了有效的可达性分析的状态空间的技术（例如，坏状态的检测），在分布式设置中使用基于偏序和对称性的简化的组合。所提出的技术集中在显式状态空间枚举基于模型检查器，如SPIN。我们考虑的变体的深度优先以及基于广度优先生成的减少状态图的飞行。
2009-01-01 cs.DC cs.SE
Distributed dynamic load balancing for task parallel programming
在本文中，我们推导和研究的方法，动态负载平衡的分布式任务并行应用软件。负载均衡策略是基于任务迁移的。忙进程将其就绪任务队列的一部分导出到空闲进程。空闲-忙碌的进程对通过随机搜索过程找到彼此，该过程在几个步骤内以高概率成功。我们评估的负载均衡的方法块Cholesky分解实现，并观察到在所选的测试用例的顺序上的5\%的执行时间减少。
2018-01-14 cs.DC cs.MS cs.PF
Distributed Vertex Cover Algorithms For Wireless Sensor Networks
顶点覆盖在无线传感器网络中有着重要的应用，如链路故障监测、设施定位、聚类和数据聚合等。在这项研究中，我们设计了三个算法来构建无线传感器网络中的顶点覆盖。第一个算法是Parnas & Ron算法的一个改进，它是一个贪婪的方法，通过使用节点的度来找到顶点覆盖。第二个算法发现一个顶点覆盖图匹配Hoepman的加权匹配算法。第三种算法首先构造一棵广度优先搜索树，然后从广度优先树中选择预定义层次的节点来构造顶点覆盖。我们所设计的算法的操作，分析它们，并提供在TOSSIM环境中的仿真结果。最后，我们已经实现，比较和评估所有这些方法。第一个算法的发送消息数是最小的其他算法，其中第三个算法已被证明是提出最好的结果，在顶点覆盖近似比。
2014-02-10 cs.DC cs.NI
Optimizations to the Parallel Breath First Search on Distributed Memory
图及其遍历由于其适用于数学、科学和技术的各个领域而变得越来越重要。生物化学（基因组学）、电子工程（通信网络）、计算机科学（算法和计算）等领域的各种问题都可以建模为图问题。真实世界的场景，包括社区，他们的相互联系和相关的属性可以使用图进行研究。因此快速、可扩展、低成本地执行并行图算法是非常重要的。在这个实现中的并行宽度优先搜索的图形，我们实现了并行BFS算法与1-D分区的图中所描述的[2]，并已减少了执行时间，通过优化通信的本地缓冲区。
2020-03-10 cs.DC
Optimal algebraic Breadth-First Search for sparse graphs
由于GraphBLAS库和其他稀疏矩阵方法的发展，用于图形算法的代数方法的流行程度有所提高。这些方法的一个范例是广度优先搜索（BFS）。代数BFS算法是矩阵-向量乘法与$n \times n$邻接矩阵的简单递归，但非零上的许多冗余操作最终导致次优性能。因此，一个最佳的代数BFS应该是非常感兴趣的，特别是如果它很容易与现有的矩阵方法集成。当前的方法，特别是在GraphBLAS中，使用稀疏矩阵屏蔽稀疏向量（SpMmSpV）乘法，其中输入向量在BFS的每个步骤中保持稀疏表示，并且向量中的非零在后续步骤中被屏蔽。这是GraphBLAS和其他库最近研究的一个领域。虽然在理论上，这些掩蔽方法在稀疏图上是渐进最优的，但许多方法增加了导致次优运行时间的工作。我们给出了一个新的最优，代数BFS稀疏图，从而关闭了文献中的空白。我们的方法在每一步都乘以邻接矩阵的较小子矩阵。令$n$和$m$分别表示顶点和边的数量。在稀疏图上，我们的方法需要$O(n)$代数运算，而不是理论上最优稀疏矩阵方法所需的$O(m)$运算。因此，对于稀疏图，它与最著名的顺序算法的边界相匹配，并且在并行随机存取机（PRAM）上，它是工作最优的。我们的结果适用于有向图和无向图。与领先的GraphBLAS库相比，我们的方法实现了高达24倍的顺序时间快，对于并行计算，它可以在大型图上快17倍，在大直径图上快12倍。
2021-04-30 cs.DC cs.DS
A Comparison of Parallel Graph Processing Implementations
大型网络分析问题的数量迅速增长，导致了许多并行和分布式图处理系统的出现--2014年的一项调查确定了80多个。从那时起，景观已经演变;一些包已经变得不活跃，而更多的正在开发中。对于大多数开发人员来说，确定给定问题的最佳方法是不可行的。为了使这种系统的能力的简单，严格和可重复的比较，我们提出了一种方法和相关的软件，用于分析并行，开源图形库的性能和可扩展性。我们在五个图形处理包上展示了我们的方法：GraphMat，Graph 500，图形算法平台基准套件，GraphBIG和PowerGraph，使用合成和真实世界的数据集。我们检查以前被忽视的方面的并行图形处理性能，如执行阶段和能源使用的三种算法：广度优先搜索，单源最短路径，PageRank和比较我们的结果Graphalytics。
2017-05-17 cs.DC cs.PF
A Parallel Algorithm to Test Chordality of Graphs
本文在并行字典图宽度优先搜索算法的基础上，提出了一种简单的并行图弦度测试算法。总的来说，该算法在N线程机器上花费的时间为O（N），执行的工作为O（N 2），其中N是图中的顶点数。算法的实现使用了GPU环境Nvidia CUDA C.该算法在CUDA 4.2中实现，并在计算能力2.1的Nvidia GeForce GTX 560 Ti上进行了测试。在论文的最后，我们给出了我们的实现所取得的结果，并将它们与顺序算法所取得的结果进行了比较
2015-08-25 cs.DC cs.DS
An Optimal Level-synchronous Shared-memory Parallel BFS Algorithm with Optimal parallel Prefix-sum Algorithm and its Implications for Energy Consumption
我们提出了一种高效的并行级同步宽度优先搜索（BFS）算法的共享存储器架构，实现了理论上的并行运行时间的下限。无论图的形状如何，最优性都保持不变。我们还证明了这一最优方案的能源消耗经验的含义。关键的想法是永远不要使用超过必要的处理核心来有效地完成任何计算步骤中的工作。我们保持其余的核空闲以节省能量并减少其他资源争用（例如，带宽、共享高速缓存等）。我们的BFS不使用锁和原子指令，并且很容易扩展到共享内存协处理器。
2022-09-19 cs.CC cs.DC cs.DS
DuctTeip: An efficient programming model for distributed task based parallel computing
用于科学计算的当前高性能计算机系统通常在分布式存储器环境中组合共享存储器计算节点。从这些复杂的系统中提取高性能需要量身定制的方法。基于任务的并行编程在简化编程和利用共享存储器系统的硬件并行性方面都取得了成功。本文重点讨论如何将任务并行编程扩展到分布式内存系统。我们使用任务和数据的分层分解，以适应不同级别的硬件。我们测试所提出的编程模型在两个不同的应用程序，Cholesky分解，和浅水方程求解器。我们还比较了我们的实现与其他框架的分布式任务并行编程的性能，并表明它是有竞争力的。
2018-01-10 cs.CE cs.DC cs.PF
Multicore-aware parallel temporal blocking of stencil codes for shared and distributed memory
需要新的算法和优化技术来平衡带宽匮乏的多核芯片的加速趋势。众所周知，模板代码的性能可以通过时间分块来改善，从而减轻对存储器接口的压力。我们介绍了一种新的流水线的方法，使显式使用共享缓存在多核环境中，最大限度地减少同步和边界开销。对于共享内存节点的集群，我们演示了如何在混合共享/分布式内存环境中成功地采用时间块。
2009-12-22 cs.DC cs.PF
Parallel and distributed Gröbner bases computation in JAS
本文研究了多核计算节点的分布式并行计算机上的并行格罗布纳基算法。总结了三种不同的格罗布纳基实现：共享内存并行、纯分布内存并行和分布内存与共享内存相结合的并行。最后一种算法称为分布式混合算法，在主节点和工作节点之间只使用一个控制通信信道，并将多项式保存在节点上的共享内存中。多项式在单独的分布式数据结构中被异步传输到算法的控制流。实现是通用的，适用于所有实现的（精确）字段。我们提出了新的性能测量和讨论的算法的性能。
2010-07-30 cs.DC
Parallel QEC Decoding Applied to Distributed Quantum Computing
University of Parma（帕尔马大学）
研究针对分布式量子计算提出并行QEC解码新方法，核心是用奇异值分解预处理信念传播所得错误向量，经复杂度、准确性和可扩展性评估，为分布式量子计算的QEC解码提供了新途径。
2026-07-10 cs.DC cs.PF quant-ph
On the Design and Analysis of Parallel and Distributed Algorithms
本文探讨多核时代下并行与分布式算法取代串行算法的趋势，介绍其基础算法、分析及效率考量。
2023-11-10 cs.DC
Efficient Distributed-Memory Parallel Matrix-Vector Multiplication with Wide or Tall Unstructured Sparse Matrices
本文提出了一种有效的技术，矩阵向量和向量转置矩阵乘法在分布式内存并行计算环境中，矩阵是非结构化的，稀疏的，有一个显着的列数比行数或反之亦然。我们的方法允许并行I/O，不需要大量的预处理，并具有相同的通信复杂性的矩阵向量乘法与列或行分区。我们使用MPI实现该方法。我们将矩阵划分为单个非零元素，而不是行或列，并使用与矩阵匹配的“重叠”向量表示。转置乘法使用矩阵特定的MPI通信和减少，我们可以建立一个有效的方式。所提出的技术实现了良好的工作每处理器的平衡，即使一些列是密集的，同时保持通信成本相对较低。
2018-12-03 cs.DC cs.MS
Matrix Distributed Processing: A set of C++ Tools for implementing generic lattice computations on parallel systems
我们提出了一套编程工具（类和功能写在C++和消息传递接口的基础上）的通用并行（和非并行）晶格模拟的快速发展。它们统称为MDP 1.2。这些编程工具包括用于矩阵、随机数生成器、分布式网格（具有任意拓扑结构）、字段和并行迭代的类和算法。使用它们不需要以前的MPI知识。介绍了量子色动力学在电磁学、电子学、凝聚态和格点量子色动力学中的应用。
2001-08-14 cs.DC cs.MS hep-lat
Parallel and Distributed Collaborative Filtering: A Survey
协同过滤是实现推荐系统时最优选的技术之一。最近，极大的兴趣已经转向并行和分布式实现的协同过滤算法。这项工作是一个调查的并行和分布式协同过滤的实现，旨在不仅提供一个全面的介绍该领域的发展，但也提供了未来的研究方向，突出的问题，需要进一步发展。
2014-09-09 cs.DC cs.IR
A Distributed Chunk Calculation Approach for Self-scheduling of Parallel Applications on Distributed-memory Systems
循环调度技术旨在实现科学应用程序的负载平衡执行。用于分布式存储器系统的动态循环自调度（DLS）库通常是基于MPI的，并且采用集中式块计算方法（CCA）来分配循环迭代的可变大小的块。我们提出了一个分布式块计算方法（DCA），支持各种类型的DLS技术。使用CCA和DCA，十二DLS技术的实施和评估在不同的CPU减速的情况下。结果表明，使用DCA实现的DLS技术优于其相应的CCA实现的，特别是在极端的系统减速的情况下。
2021-01-18 cs.DC
Distributed Graph Layout for Scalable Small-world Network Analysis
内存中的图形布局或组织对分布式内存图形计算的时间和能量效率具有相当大的影响。它影响内存局部性、任务间负载平衡、通信时间和整体内存利用率。图形布局可以指顶点和边数组的分区或复制、保存元数据的数据结构的选择性复制以及顶点和边标识符的重新排序。在这项工作中，我们提出了DGL，一个快速，并行和内存高效的分布式图形布局策略，是专门为小世界网络（低直径图与倾斜的顶点度分布）。基于标签传播的分区和可扩展的基于BFS的排序是布局策略中的主要步骤。我们表明，DGL布局可以显着提高五个具有挑战性的图分析工作负载的端到端性能：PageRank，一个并行子图枚举程序，调整实现的广度优先搜索和单源最短路径，和RDF 3X-MPI，一个分布式SPARQL查询处理引擎。使用这些基准测试，我们还提供了一个全面的分析，关于图布局如何影响具有可变计算和通信特性的图分析的性能。
2017-01-02 cs.DC
A Distributed Parallel Algorithm for Minimum Spanning Tree Problem
在本文中，我们提出并评估了一个并行算法求解最小生成树（MST）问题的超级计算机与分布式内存。与原始GHS（Gallager、Humblet、Spira）算法相比，该算法依赖于对一种特定消息类型的消息处理顺序要求的放宽。我们的算法采用哈希和消息压缩优化技术以及。据我们所知，这是GHS算法的第一个并行实现，线性扩展到Infiniband集群的32个节点（256个核心）以上。
2016-10-14 cs.DC
PyTorch Distributed: Experiences on Accelerating Data Parallel Training
Facebook AI；University of Warsaw（华沙大学）
本文介绍了PyTorch分布式数据并行模块的设计、实现和评估。PyTorch是一个广泛采用的科学计算包，用于深度学习研究和应用。深度学习的最新进展证明了大型数据集和大型模型的价值，这需要将模型训练扩展到更多计算资源的能力。数据并行由于其简单的原理和广泛的适用性而成为分布式训练的流行解决方案。通常，分布式数据并行技术在每个计算资源上复制模型以独立地生成梯度，然后在每次迭代时传递这些梯度以保持模型副本一致。尽管该技术在概念上很简单，但计算和通信之间的微妙依赖关系使得优化分布式训练效率变得非常重要。从v1.5开始，PyTorch原生地提供了几种技术来加速分布式数据并行，包括分级梯度，重叠计算与通信，以及跳过梯度同步。评估表明，在适当配置时，PyTorch分布式数据并行模块使用256个GPU实现了接近线性的可扩展性。
2020-06-28 cs.DC cs.LG
Parallel Reachability Analysis for Hybrid Systems
我们提出了两个并行状态空间探索算法的混合系统的目标是提高多核共享内存系统的性能。第一个是在SPIN模型检查器中并行广度优先搜索的适应。我们表明，适应算法不提供所需的负载均衡许多混合动力系统的基准。第二种是一种基于有效的负载均衡的任务并行算法，该算法以较低的代价预先计算后（连续和离散）操作的代价。我们说明了任务的并行算法和成本的预测后运营商的支持函数为基础的状态空间探索算法。两种算法的性能比较显示，除了某些情况外，第二种算法的CPU利用率/负载平衡优于第一种算法。该算法在模型检查器XSpeed中实现，我们的实验表明，相对于SpaceEx LGG场景的导航基准上的最大加速为$900\times$，在相同数量的后操作评估的基础上进行比较。
2016-06-17 cs.DC cs.LO cs.SE
Parallel and Distributed Simulation: Five W's (and One H)
新闻业（以及许多其他领域）的一条众所周知的黄金法则是，如果你想知道某件事的全部故事，你必须回答所有五个W（谁，什么，何时，何地，为什么）和H（如何）。这个扩展的摘要是关于并行和分布式仿真中缺少什么，以及这如何影响其普及。
2011-05-03 cs.DC cs.MA
Distributed and Parallel Algorithms for Set Cover Problems with Small Neighborhood Covers
本文研究了一类集合覆盖问题，它满足一个特殊性质，我们称之为{ \em小邻域覆盖}性质.这个类包含几个研究得很好的问题，包括顶点覆盖，区间覆盖，袋区间覆盖和树覆盖。我们设计了统一的分布式和并行算法，可以处理任何集覆盖问题属于上述框架下，并产生常数因子近似。这些算法在分布式环境中以多对数通信轮运行，在并行环境中以NC运行。
2013-12-27 cs.DC cs.DS
Basic Parallel and Distributed Computing Curriculum
随着多核处理器的出现及其快速扩展，很明显，{ \em并行计算}现在是计算机科学和工程（及相关）课程的真正要求。除了并行计算设备的普遍性之外，我们还应该考虑到这样一个事实，即有很多现有的软件是以顺序模式实现的，因此需要适应并行执行。因此，它要求程序员能够设计并行程序，也有一些技能，从一个给定的顺序代码移动到相应的并行代码。在本文中，我们提出了一个基本的教育方案，如何在并行计算的普通计算机科学家和工程师的一致和有效的背景。
2018-02-12 cs.DC
Modern Distributed Data-Parallel Large-Scale Pre-training Strategies For NLP models
分布式深度学习由于对具有更大量参数的深度学习模型的计算资源的不断扩大的需求而变得越来越流行。与传统的训练方法不同，数据并行训练允许多个计算节点同时训练大型深度学习模型，以提高训练效率。在本文中，我们提出并比较了使用PyTorch在语言模型GPT-2上使用100 M参数进行数据并行训练的六种策略。这些策略是单GPU，单参数服务器，分布式参数服务器，Horovod，分布式参数服务器与Apex混合精度策略，Horovod与Apex混合精度策略。我们还分析了定量的实验结果，从每一个策略。最后，我们得出结论，具有Apex混合精度策略的分布式参数服务器在单节点训练上具有最好的性能，而具有Apex的Horovod是在我们有单个或多个节点时使用的最鲁棒的方法。
2022-06-13 cs.DC
High Performance Parallel Sort for Shared and Distributed Memory MIMD
我们提出了四种高性能的混合排序方法开发的各种并行平台：共享内存多处理器，分布式多处理器，集群利用共享和分布式内存的存在。合并排序以其稳定性而闻名，被用于设计我们的几个算法。我们通过将其与快速排序相结合来提高其并行性能。我们提出了两个模型设计的共享内存MIMD（OpenMP）：（a）一个非递归的合并排序和（b）混合快速排序和合并排序。第三个模型是设计用于分布式内存MIMD（MPI）使用混合快速排序和合并排序。我们的第四个模型的目的是利用共享内存的各个节点的今天的集群系统，并消除所有的内部数据传输之间的不同节点，我们的模型实现了一个一步MSD-Radix分发数据在10个包（MPI），而每个节点的并行核心使用Quicksort排序他们的数据分区顺序，然后合并和排序他们在并行采用OpenMp。所有开发的模型的性能优于基线性能。在对小数据进行排序时，混合快速排序和合并排序的性能优于集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序，但对于较大的数据，集群平台中使用混合MSD-Radix和快速排序的混合内存并行合并排序的加速比变得更大并且不断改进。其中分布存储并行混合快速排序和归并排序的加速比最好。
2020-03-02 cs.DC
An Adaptive Parallel Algorithm for Computing Connected Components
基于Shiloach-Vishkin的PRAM方法，提出了一种高效的计算无向图连通分支的分布式内存并行算法。我们讨论了多种优化技术，减少通信量以及负载平衡的算法。我们还注意到，并行图连通性算法的效率取决于底层图的拓扑结构。特别是对于短直径的图形组件，我们观察到并行广度优先搜索（BFS）方法提供了更好的性能。然而，运行并行BFS对于计算大直径组件或大量小组件是低效的。为了解决这一挑战，我们采用了一种启发式算法，允许算法通过计算度分布来快速预测网络的类型，并遵循最佳混合路由。使用大型图形与不同的拓扑结构域，包括宏基因组学，网络抓取，社交图和道路网络，我们表明，我们的混合实现是有效的，可扩展的每一个图形类型。我们的方法实现了215秒的运行时间，使用32 K核心的Cray XC 30的宏基因组图超过500亿条边。与以前的最先进的方法相比，我们看到性能提高了24倍。
2017-02-13 cs.DC
Demystifying Parallel and Distributed Deep Learning: An In-Depth Concurrency Analysis
ETH Zurich（苏黎世联邦理工学院）
深度神经网络（DNN）正在成为现代计算应用中的重要工具。加速他们的训练是一个重大挑战，技术范围从分布式算法到低级电路设计。在这次调查中，我们从理论的角度来描述这个问题，其次是其并行化的方法。我们提出了DNN架构的趋势以及由此产生的并行化策略的影响。然后，我们回顾并建模DNN中不同类型的并发：从单个操作符，通过网络推理和训练中的并行性，到分布式深度学习。我们讨论异步随机优化，分布式系统架构，通信方案和神经结构搜索。基于这些方法，我们推断了深度学习中并行性的潜在方向。
2018-09-15 cs.CV cs.DC cs.LG
Parallel Graph Coloring Algorithms for Distributed GPU Environments
图着色通常用于并行化在分布式和多GPU环境中运行的科学计算;它标识可以并行更新的独立数据集。在单个GPU或分布式存储器中存在许多用于图着色的算法，但据我们所知，混合MPI+GPU算法直到本工作才被探索。基于Gebremedhin等人的分布式着色算法和Deveci等人的共享内存着色算法，提出了几种MPI+GPU着色方法。节点上的并行着色使用KokkosKernels中的实现，它为多核CPU和GPU提供并行化。我们进一步扩展我们的方法来计算距离-2和部分距离-2着色，给出了第一个已知的分布式，多GPU算法，这些问题。此外，我们提出了一种新的启发式，以减少通信的分布式图着色的包围圈。我们的实验表明，我们的方法有效地运行在输入太大，适合在一个单一的GPU和扩展到图形与76.7十亿边运行在128个GPU。
2021-06-30 cs.DC cs.DM
CoInDiVinE: Parallel Distributed Model Checker for Component-Based Systems
CoInDiVinE是一个并行分布式模型检验的工具，在分层的基于组件的系统中组件之间的交互。该工具扩展了DiVinE框架与一个新的输入语言（组件交互自动机）和属性规范逻辑（CI-LTL）。由于该语言不同于DiVinE的输入语言，我们的工具采用了一种新的状态空间生成算法，也支持偏序约简。实验表明，该工具在并行环境下运行时具有良好的缩放性能。
2011-11-02 cs.DC cs.SE
Popt4jlib: A Parallel/Distributed Optimization Library for Java
本文描述了开源popt 4jlib库（https：//githhub.org/ioannislogou/popt4jlib）的架构设计以及关键实现细节，该库包含相当大量的元启发式和其他精确优化算法并行/分布式Java实现。虽然我们报告的加速和效率问题的一些算法在图书馆，我们主要关心的是详细的设计决策的关键并行/分布式基础设施内置到图书馆，使开发人员更容易开发自己的并行实现的算法，而不是简单地使用它作为一个关闭的自我应用程序库。
2019-08-01 cs.DC cs.NE
A Load-Balanced Parallel and Distributed Sorting Algorithm Implemented with PGX.D
排序一直是科学研究中最具挑战性的问题之一。虽然许多技术和算法已经提出了有效的并行排序实现的理论，然而，实现所需的性能在不同类型的架构与大量的处理器仍然是一个具有挑战性的问题。最大限度地提高应用程序的并行性水平，可以通过最小化由于负载不平衡和等待时间，由于内存延迟的开销。在本文中，我们提出了一个分布式排序算法实现PGX.D，一个快速的分布式图形处理系统，它优于Spark的分布式排序实现约2倍-3倍，通过隐藏通信延迟和最大限度地减少不必要的开销。此外，它表明，建议的PGX.D排序方法处理数据集包含许多重复的数据录入有效，并始终保持平衡的工作负载为不同的输入数据分布类型。
2017-01-14 cs.DC
Proceedings 8th International Workshop on Parallel and Distributed Methods in verifiCation
第八届并行和分布式验证方法国际研讨会（PDMC 2009）于2009年11月4日在埃因霍温理工大学举行，与正式方法2009和其他相关活动一起首次在正式方法周的标题下举行。本卷载有研讨会的最后会议记录。
2009-12-15 cs.CE cs.DC cs.LO
An Initial Evaluation of Distributed Graph Algorithms using NWGraph and HPX
Louisiana State University（路易斯安那州立大学）
本文提出基于HPX的分布式图算法实现，评估BFS和PageRank性能，显示BFS优于BGL，但PageRank仍有优化空间。
2026-01-26 cs.DC
A Unified Cloud-Enabled Discrete Event Parallel and Distributed Simulation Architecture
Universidad Complutense de Madrid（马德里康普顿斯大学）；The MITRE Corporation（米特雷公司）
如今的云仿真环境主要用于对复杂系统进行建模和仿真，以满足远程访问和可变容量需求。在这方面，建模与仿真（M\&S）计算需求中的可扩展性问题可以通过按需云部署的弹性来解决。然而，按照这些弹性原则实现高性能云M\&S框架并不是一项简单的任务，因为并行化和分布现有架构是具有挑战性的。事实上，并行和分布式M\&S的发展都是按照不同的方式发展的。并行解决方案一直专注于ad-hoc解决方案，而分布式方法，另一方面，导致了标准分布式框架的定义，如高层体系结构（HLA）或影响了分布式技术的使用，如消息传递接口（MPI）。只有少数开发能够随着计算硬件资源部署的当前弹性而发展，主要集中在模拟即服务（SaaS）的实现上，尽管独立于并行ad-hoc方法分支。在本文中，我们提出了一个统一的并行和分布式M\&S架构，具有足够的灵活性，部署并行和分布式仿真在云中，以较低的努力，而无需修改底层模型的源代码，并达到重要的加速比对顺序模拟，特别是在并行实现。我们的框架是基于离散事件系统规范（DEVS）的形式主义。使用xDEVS M\&S工具，应用程序编程接口（API）和DEVStone基准测试多达8个计算节点的并行和分布式框架的性能，分别获得最大的加速比$15.95\times$和$1.84\times$。
2023-02-22 cs.AI cs.DC
Parallel and Distributed Data Series Processing on Modern and Emerging Hardware
本文总结了数据序列处理的最新进展，重点介绍了利用现代计算平台算力的并行与分布式数据序列索引，内容涵盖作者在MEDES'23会议上的教程。
2023-10-21 cs.DB cs.DC
P4SGD: Programmable Switch Enhanced Model-Parallel Training on Generalized Linear Models on Distributed FPGAs
P4SGD提出一种基于分布式FPGA和可编程交换机的模型并行训练系统，通过流水线并行和交换机内聚合协议，实现广义线性模型的高效分布式训练，收敛速度比最先进的GPU方案快达6.5倍。
2023-05-10 cs.DC
Design of a Parallel and Distributed Web Search Engine
本文描述了MOSE（我自己的搜索引擎）的体系结构，一个可扩展的并行和分布式搜索引擎的Web。MOSE是专门设计来有效地利用负担得起的并行架构，如工作站集群。其模块化和可扩展的体系结构可以很容易地进行调整，以满足手头应用的带宽要求。任务并行和数据并行的方法，利用MOSE内，以提高吞吐量和有效地使用通信，存储和计算资源。我们使用一组html文档作为基准，并在三台SMP Linux PC的集群上进行了初步实验。
2004-07-21 cs.DC cs.IR
Parallel and Distributed Successive Convex Approximation Methods for Big-Data Optimization
近年来，人们对大规模系统的并行和分布式最优化方法产生了浓厚的兴趣。特别是非凸大规模最优化问题在许多工程领域有着广泛的应用。这种复杂的大规模系统的设计和分析提出了一些挑战，并要求开发新的最优化模型和算法。本文的主要贡献是提出了一个通用的，统一的，算法框架，连续凸逼近（SCA）技术的基础上，并行和分布式解决方案的一般类的非凸约束（不可分离的，网络）的问题。所提出的框架统一和概括了现有的几种SCA方法，使他们呼吁并行/分布式实现，同时提供了一个灵活的选择函数逼近，步长时间表，和控制的计算/通信效率。本文是根据作者之一在CIME暑期学校集中式和分布式多智能体最优化模型和算法，在Cetraro，意大利，2014年6月23日至27日举行的讲座。这些讲座是：I）连续凸逼近方法：基础; II）并行连续凸逼近方法;和III）分布式连续凸逼近方法。
2018-05-17 cs.DC math.OC
Parallel Implementation of Distributed Global Optimization (DGO)
分布式全局优化（DGO）[13]在MP-1和NCUBE并行计算机上的并行实现显示了该算法性能的近似O（n）增长。因此，在并行处理器上实现DGO可以弥补该算法的唯一缺点，即随着维数的增加，执行时间为O（n2）。DGO的并行实现的加速因子是相对于相同的问题的顺序执行时间在IBM-IV计算机上测量的。在MP-1上对算法进行SIMD实现，对于n = 9的优化问题，总加速比为126，实现了最佳的加速。该优化问题分布在Mas-Par的128个PE上。
2020-12-16 cs.DC math.OC
Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms
绝大多数机器学习（ML）算法的实现归结为解决数值优化问题。在这种情况下，随机梯度下降（SGD）方法长期以来已被证明提供良好的结果，无论是在收敛性和准确性。最近，已经提出了几种并行化方法，以扩展SGD来解决非常大的ML问题。在其核心，这些方法中的大多数都遵循一个map-reduce方案。本文提出了一种新的并行更新算法的SGD，它利用异步单边通信范式。与现有的方法相比，异步并行随机梯度下降（ASGD）提供更快（或至少相等）的收敛，接近线性缩放和稳定的精度。
2015-10-05 cs.DC
Distributed Parallel Inference on Large Factor Graphs
Carnegie Mellon University（卡内基梅隆大学）；Intel Research（英特尔研究院）
随着计算机集群变得越来越普遍，人工智能领域遇到的问题越来越多，对高效并行推理算法的需求也越来越大。我们考虑的问题，并行推理的大因素图在分布式内存设置的计算机集群。我们开发了一个新的高效的并行推理算法，DBRSplash，它结合了过分割图分割，信念剩余调度，和统一的工作飞溅操作。我们凭经验评估DBRSplash算法在120处理器集群，并证明线性超线性的性能增益大因素图模型。
2012-05-09 cs.AI cs.DC
Notes on Theory of Distributed Systems
本文总结了分布式系统理论的核心概念和方法，涵盖了广播、共识算法、故障容忍、共享内存等关键技术，并探讨了分布式算法的理论基础和实现挑战。
2026-05-18 cs.DC
Provable Model-Parallel Distributed Principal Component Analysis with Parallel Deflation
Rice University（莱斯大学）
本文提出一种基于并行消去法的分布式PCA框架，允许工作节点异步更新并针对不同特征向量，理论分析证明其收敛性，实验表明性能与最先进的EigenGame-μ相当。
2025-02-24 cs.DC cs.LG math.OC
Quantum Algorithms and Simulation for Parallel and Distributed Quantum Computing
构建大规模量子计算机的一种可行方法是将小规模量子计算机与量子网络互连，以创建更大的分布式量子计算机。当为这种分布式量子计算机设计量子算法时，可以利用系统中固有的附加并行化和分布能力。分布式量子计算需要克服的另一个困难是，需要一个复杂的控制系统来协调各种组件。在这项工作中，我们旨在解决这些问题。我们明确定义了量子算法的分布式意味着什么，然后提出了各种符合定义的量子算法。我们讨论了潜在的好处，并提出了一个高层次的计划控制系统。有了这个，我们提出了我们的软件框架称为Interlin-q，一个模拟平台，旨在简化设计和验证并行和分布式量子算法。我们通过使用Interlin-q实现一些讨论过的算法来演示Interlin-q，并规划将Interlin-q开发成分布式量子计算机控制系统的未来步骤。
2022-04-07 cs.DC quant-ph
Parallel/distributed implementation of cellular training for generative adversarial neural networks
生成对抗网络（GANs）被广泛用于学习生成模型。GANs由两个网络组成，一个生成器和一个自适应器，它们应用对抗学习来优化它们的参数。本文提出了一种并行/分布式实现的细胞竞争协同进化方法训练两个种群的GANs。提出了一种适用于高性能/超级计算中心的分布式存储并行实现方案。高效的结果报告解决生成的手写数字（MNIST数据集样本）。此外，所提出的实现是能够减少训练时间和规模适当考虑不同的网格大小的训练。
2020-08-03 cs.DC cs.NE
