Performance Evaluation of an Algorithm-based Asynchronous Checkpoint-Restart Fault Tolerant Application Using Mixed MPI/GPI-2
当前大数据领域最大的挑战之一是缺乏在可接受的时间内处理大量信息的能力。这项工作的目标是通过探索和比较在商品集群架构上实现的分布式计算框架，确定使用典型的大数据工具来解决高性能计算问题是否有用：实验将取决于使用Apache Spark等工具所需的计算时间。这将与“等效的更传统”的方法进行比较，例如在分布式文件系统（如HDFS（Hadoop分布式文件系统））上使用带有MPI的分布式内存模型和创建接口以封装此文件系统功能的本机C库，以及使用GASPI协议的GPI-2实现及其内存检查点库为应用程序提供容错功能。更准确地说，我们选择了K-means算法作为实验，它将在可变大小的数据集上运行，然后我们将比较两种方法的计算运行时间和时间弹性。
2018-05-06 cs.DC
Making Applications Faster by Asynchronous Execution: Slowing Down Processes or Relaxing MPI Collectives
本文研究通过异步执行（如减慢MPI进程或放宽集合操作）加速内存受限并行程序，利用相空间图可视化，在多个超级计算机平台上验证了噪声可被利用以提升性能。
2023-02-24 cs.DC cs.PF
Experiences Porting Distributed Applications to Asynchronous Tasks: A Multidimensional FFT Case-study
本文以多维FFT为例，研究将分布式应用移植到异步多任务模型HPX的过程，发现强制任务同步反而因提升缓存性能而优于异步执行，但HPX后端整体表现仍具竞争力，且LCI parcelport能显著加速通信。
2024-05-03 cs.DC
Exploring Techniques for the Analysis of Spontaneous Asynchronicity in MPI-Parallel Applications
University of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文利用数据分析和机器学习技术，通过微基准测试和代理应用，在超级计算平台上识别和分类MPI并行程序的异步性动态，提出新方法以简化分析并推动通用分类。
2022-05-27 cs.DC cs.LG cs.PF
Solving All-Pairs Shortest-Paths Problem in Large Graphs Using Apache Spark
计算所有对最短路径（APSP）的算法是许多实际应用的关键基础。标准的顺序算法，如Floor-Warshall和Johnson，很快就变得不可行的大型输入图，需要并行的方法。在这项工作中，我们使用Apache Spark对分布式内存集群上的并行APSP性能进行了详细分析。Spark模型允许可移植且易于部署的分布式实现，因此从最终用户的角度来看是有吸引力的。我们为大型无向加权图提出了四种不同的APSP实现，它们在复杂性和对纯Spark API之外的技术的依赖程度上有所不同。我们证明了Spark能够在1024核集群上处理超过200，000个顶点的APSP问题，并且可以与基于幼稚MPI的解决方案竞争。然而，我们的最佳性能求解器需要辅助共享持久存储，并且比优化的基于MPI的求解器慢两倍以上。
2019-08-07 cs.DC
Accelerating Particle-in-Cell Monte Carlo Simulations with MPI, OpenMP/OpenACC and Asynchronous Multi-GPU Programming
本文通过集成MPI、OpenMP/OpenACC并采用异步多GPU编程扩展BIT1模拟器，在EuroHPC和MareNostrum 5上显著提升性能，最高达8.77倍加速，为百亿亿次聚变等离子体模拟奠定基础。
2025-04-24 cs.DC cs.PF physics.comp-ph
JACK2: a new high-level communication library for parallel iterative methods
在本文中，我们解决的问题，设计一个分布式应用程序意味着运行经典和异步迭代。MPI库在科学界非常流行和广泛使用，然而异步迭代法在通信请求和缓冲区的有效管理方面提出了不可忽视的困难。此外，引入了收敛检测问题，这需要实施的各种国家的最先进的终止方法，这不一定是高度可靠的大多数计算环境。我们在这里提出了一个基于MPI的通信库，它以非侵入式的方式处理所有这些问题，为实现经典和异步迭代提供了一个独特的接口。很少有细节强调我们的方法，以实现最佳的通信速率，并确保准确的收敛检测。在两台超级计算机上的实验结果证实了所引入的低开销通信成本和我们的库的有效性。
2022-06-30 cs.DC
High-Performance Parallelization of Dijkstra's Algorithm Using MPI and CUDA
本文研究使用MPI和CUDA并行化Dijkstra算法以加速大规模图的最短路径计算，实验表明MPI和CUDA分别实现超5倍和10倍加速，并分析了同步开销及邻接矩阵对性能的影响。
2025-03-19 cs.DC
Understanding the Communication Needs of Asynchronous Many-Task Systems -- A Case Study of HPX+LCI
本文以 HPX 为案例分析 AMT 系统区别于 BSP 的通信需求，并基于 LCI 设计新型 parcelport，结合单侧通信等技术实现最高 50 倍微基准与 2 倍应用加速。
2025-03-17 cs.DC
Asynchronous Parallel Search for Exact Multi-Objective Shortest Paths with Versioned Frontier Snapshots and Indexed Dominance Pruning
China Telecom Research Institute（中国电信研究院）
提出SIP-MOSP异步精确并行框架，通过版本化前沿快照与索引化支配剪枝分离标签扩展和前沿维护，在多种图拓扑上实现高达46.9倍加速，并显著降低内存。
2026-09-14 cs.DC
An Asynchronous, Decentralized Solution Framework for the Large Scale Unit Commitment Problem
随着对网络基础设施的日益依赖，大规模电力网络由于计算可扩展性而面临新的挑战。在本文中，我们专注于开发一个异步分散解决方案框架的机组组合（UC）问题的大规模电力网络。我们利用固有的基于区域的分解所产生的区域子问题的不平衡，以提高计算效率。提出了一种两阶段算法，该算法依赖于凸松弛和隐私保护有效不等式，以提供算法的改进。我们的算法采用了一种新的交错二进制机制，局部切换凸子问题，其二进制对应的一致的局部收敛行为的基础上。我们开发了一个面向高性能计算（HPC）的软件框架，使用消息传递接口（MPI）来驱动我们的基准测试研究。我们的模拟IEEE 3012总线的情况下进行基准对集中式和最先进的同步分散的方法。结果表明，异步方法提高了计算效率的显着数量，并提供了一个有竞争力的解决方案的质量媲美基准方法。
2019-04-12 cs.DC
Quantifying Overheads in Charm++ and HPX using Task Bench
本研究通过扩展Task Bench基准测试，对比异步多任务系统Charm++、HPX与MPI等主流并行库，量化不同任务分配场景下的开销，分析二者特性及系统可扩展性、通信延迟隐藏能力。
2022-07-21 cs.DC cs.PF
SSSP-Del: Fully Dynamic Distributed Algorithm for Single-Source Shortest Path
University of British Columbia（不列颠哥伦比亚大学）
本文提出SSSP-Del算法，解决动态环境下单源最短路径问题，支持边插入和删除，提供低延迟查询和高吞吐量。
2025-12-12 cs.DC
Communication-Efficient Asynchronous Stochastic Frank-Wolfe over Nuclear-norm Balls
University of Texas at Austin（德克萨斯大学奥斯汀分校）
大规模机器学习训练面临两个挑战，特别是对于分布式系统的核规范约束问题：由于分散的工人而导致的同步速度减慢，以及高通信成本。在这项工作中，我们提出了一个异步随机弗兰克沃尔夫（SFW-asyn）的方法，这是第一次，同时解决了这两个问题，同时成功地保持了相同的收敛速度香草SFW。我们在python中实现了我们的算法（使用MPI），并在Amazon EC2上运行，并证明了与vanilla SFW相比，SFW-asyn的速度几乎与机器数量成线性关系。
2019-10-17 cs.DC cs.LG cs.NA
On Underlay-Aware Self-Stabilizing Overlay Networks
我们提出了一种用于覆盖网络的自稳定协议，该协议为由加权树建模的底层构建最小生成树（MST）。两个节点之间的重叠边的权重是它们在树中的最短路径的加权长度。我们严格证明了我们的协议在异步和非FIFO消息传递下正确工作。此外，协议在$\mathcal{O}(N^2)$异步轮之后稳定，其中$N$是覆盖中的节点的数量。
2018-09-07 cs.DC
Evaluating Abstract Asynchronous Schwarz solvers on GPUs
随着百亿亿次计算时代的开始，我们意识到大多数领先的超级计算机是异构的，即使在单个节点上也是大规模并行的，每个节点上有多个协处理器（如GPU）和多个内核。例如，ORNLs Summit在每个节点上积累了6个NVIDIA Tesla V100和42个核心IBM Power9。在单个节点甚至多个节点中的所有这些计算资源之间进行同步是非常昂贵的。因此，有必要开发和研究异步算法，以规避大规模并行的批量同步计算的问题。在这项研究中，我们研究的异步版本的抽象限制添加剂施瓦茨方法作为一个求解器，我们不明确同步，但允许通信的子域之间的数据是完全异步的，从而消除批量同步性质的算法。我们通过使用MPI标准的单边RMA函数来实现这一点。我们研究的好处，使用这样的异步求解器同步对应的多核架构和多个GPU上。我们还研究了通信模式和局部求解器及其对全局求解器的影响。最后，我们表明，这个概念可以呈现有吸引力的运行时的好处，同步同行。
2020-05-05 cs.DC cs.MS
Driving asynchronous distributed tasks with events
开源不仅对当前的HPC用户很重要，对潜在的新HPC社区也很重要，比如机器学习，它们本身往往植根于开源。这些潜在的新工作负载中的许多工作负载，就其本质而言，比传统的HPC代码更加异步和不可预测，必须找到开源解决方案，使新的开发人员社区能够轻松利用大规模并行机。基于任务的模型有可能在这里提供帮助，但其中许多模型要么完全将用户从其代码的分布式特性中抽象出来，将重点放在运行时上，以做出有关调度和位置的重要决策，要么要求程序员显式地将其基于任务的代码与分布式内存技术（如MPI）结合起来，这增加了相当大的复杂性。在本文中，我们描述了一种新的方法，程序员仍然将他们的代码分割成不同的任务，但明确意识到机器的分布式性质，并通过事件驱动任务之间的交互。这提供了两全其美的效果;程序员能够指导并行性的重要方面，同时仍然从如何实现这种并行性的低级机制中抽象出来。我们通过两个用例展示了我们的方法，Graph 500 BFS基准和MONC（一种大气模型）的现场数据分析。对于这两个应用程序，我们表现出显着提高性能，在大的核心数量和这项工作的结果是一种方法和开源库，这是很容易适用于广泛的代码。
2020-10-26 cs.DC
Improving strong scaling of the Conjugate Gradient method for solving large linear systems using global reduction pipelining
本文介绍了性能比较流行的共轭梯度（CG）方法和它的几个通信隐藏（或“流水线”）的变种基于MPI的实现结果。流水线CG方法被设计为在大规模并行分布式存储器硬件上有效地解决SPD线性系统，并且与经典CG相比通常显示显著改进的强缩放。这种并行性能的提高是通过重叠全局约简阶段（MPI_Iallreduce）来实现的，该全局约简阶段（MPI_Iallreduce）通过（主要是局部的）计算工作（例如矩阵向量积以及其他全局通信）来计算每次迭代中的内积。这项工作包括对深度流水线CG方法的简要介绍，以供可能不熟悉该方法细节的读者使用。实现细节的简要概述提供了实现该算法所需的实用工具。随后，使用在开源PETSc库中可用的p（1）-CG的实现方式，呈现了在高达1024个节点上的美国能源部（DoE）NERSC机器“Cori”（阶段I - Haswell节点）上的容易再现的强缩放结果，其中每个节点具有16个MPI等级。观察交错和重叠的异步，非阻塞的全球通信阶段与通信和计算内核的实验。
2019-05-15 cs.DC
AIR: A Light-Weight Yet High-Performance Dataflow Engine based on Asynchronous Iterative Routing
分布式流处理系统（DSPS）是当前数据管理中最新兴的主题之一，其应用范围从实时事件监控到处理复杂的流程序和大数据分析。该领域的主要市场参与者明显由Apache Spark和Flink代表，它们为SQL，统计推断，机器学习，流处理等提供了各种前端API。然而，很少有关于这些引擎集成到底层高性能计算（HPC）基础设施和它们使用的通信协议的细节报道。例如，Spark和Flink是用Java实现的，仍然依赖于一个专用的主节点来管理计算集群中工作节点之间的控制流。在本文中，我们描述了我们的AIR引擎，这是从头开始设计的C++使用消息传递接口（MPI），pthreads的多线程，并直接部署在一个共同的HPC工作负载管理器，如SLURM的顶部。AIR实现了一种轻量级的动态分片协议（称为“异步迭代路由”），它促进了所有客户端节点之间的直接和异步通信，从而完全避免了由主节点的控制流引起的开销，否则可能形成性能瓶颈。我们在各种基准设置上的实验证实，AIR在延迟和吞吐量方面优于Spark和Flink高达15倍;此外，我们还证明AIR比现有的DSP更好地扩展到由多达8个节点和224个核心组成的集群。
2020-01-03 cs.DC cs.SY eess.SY
Fully-Asynchronous Fully-Implicit Variable-Order Variable-Timestep Simulation of Neural Networks
详细神经模型的最新模拟遵循批量同步并行执行模型。执行被划分为等距的通信间隔，相当于网络中最短的突触延迟。神经元步进是独立进行的，集体通信指导突触事件的同步和交换。插值步长是固定的，并且基于系统中最快可能动态的一些先验知识来选择。然而，由刚性动力学或广泛的时间尺度驱动的模拟-例如神经网络的多尺度模拟-与固定步长插值方法斗争，产生准恒定活动的间隔的过度计算，高波动性解决方案的周期的不准确插值，并且不能处理未知或不同的时间常数。一种常见的替代方法是使用自适应步进方法，然而，由于BSP执行模型的同步屏障处的计算负载不平衡，它们被认为在并行执行中效率低下。我们引入了一个分布式的完全异步执行模型，删除全局同步，允许更长的可变时间步长插值。非同步性由主动点对点通信提供，通知神经元到突触连接的时间推进。时间步进由基于神经元之间的突触延迟的预定神经元推进驱动，产生“详尽但非推测性”的自适应步骤执行。在64个Cray XE 6计算节点上进行的执行基准测试表明，与最先进的方法相比，插值步骤减少，数值精度更高，求解时间更短。效率被证明是活动依赖性的，与缩放的实验室实验的模拟上演示的算法。
2020-06-03 cs.DC cs.NE
When Robots Crash: Optimal Asynchronous Gathering at Weber Meeting Nodes
Indian Institute of Technology Jodhpur（印度海德拉巴理工学院）；Birla Institute of Technology Mesra（比尔拉理工学院梅斯拉分校）
针对异步匿名无记忆机器人在崩溃故障下的最优聚集问题，提出CrashTolerantWeberGathering算法，使每个机器人独立选择同一韦伯会议节点，避免依赖指定机器人，保证有限时间内聚集并最小化总曼哈顿距离。
2026-10-07 cs.CG cs.DC cs.MA
Modifying the Asynchronous Jacobi Method for Data Corruption Resilience
针对边缘计算环境数据易损坏的问题，本文提出一种基于收敛理论边界拒绝邻居解近似的异步雅可比方法变体，结合最短路径近似实现数据损坏弹性，实验验证了其有效性，结论可推广到其他异步算法的容错研究。
2024-04-25 cs.DC cs.NA math.NA
