VSS Challenge Problem: Verifying the Correctness of AllReduce Algorithms in the MPICH Implementation of MPI
Computer Science Division Argonne National Laboratory Lemont, IL, USA
针对 MPICH 中 allreduce 算法,提出验证挑战,创建三种独立版本,用 CIVL 验证两种,确保其等价于 reduce 后 broadcast。
2025-10-15 cs.DC cs.LO
Implementation-Oblivious Transparent Checkpoint-Restart for MPI
本文提出实现无关的透明检查点-重启工具 MANA,以单一代码库支持多种符合标准的 MPI 实现,实现生产工作负载的一次开发、随处运行与按性能等特性测试。
2023-09-26 cs.DC
Deadlock Detection in Basic Models of MPI Synchronization Communication Programs
提出了MPI同步通信程序的一种模型,并定义了它的三个基本简化模型。给出并严格证明了一系列判定三种模型之间是否会发生死锁的定理和方法。这些简单模型死锁检测的理论和方法为实际MPI程序死锁检测奠定了必要的基础。该方法是基于一个静态分析通过程序和运行时检测在必要的情况下,他们能够在编译前确定是否会死锁的三个基本模型。对于另一个模型,一些死锁情况可以在编译之前发现,而另一些在运行时发现。我们的定理可以用来证明目前流行的MPI程序死锁检测算法的正确性。我们的方法可以减少那些算法需要改变到MPI源或profiling接口的代码,并可以在程序执行之前检测死锁,从而大大减少了开销。
2008-01-28 cs.DC
DMTCP Checkpoint/Restart of MPI Programs via Proxies
MPI通过公开一个隐藏消息传递底层机制实现的标准API,实现了进程之间的可移植、标准化的消息传递。到目前为止,MPI程序的检查点设置需要了解这些底层机制。通过添加一个代理,我们证明了MPI程序可以被检查点和重新启动,无论MPI实现利用。此外,代理可以使MPI程序能够在一个MPI实现上被检查点,并且在另一个MPI实现上被重新启动。
2018-03-25 cs.DC
MPICH-G2: A Grid-Enabled Implementation of the Message Passing Interface
用于分布式计算“网格”的应用程序开发可以从各种工具中受益,这些工具可以隐藏或启用对异构环境的关键方面的应用程序级管理。作为这些问题的调查的一部分,我们已经开发了MPICH-G2,网格启用的消息传递接口(MPI)的实现,允许用户在多台计算机上运行MPI程序,在相同或不同的网站,使用相同的命令,将在并行计算机上使用。此库扩展了MPI的Argonne MPICH实现,以使用Globus Toolkit提供的服务进行身份验证、授权、资源分配、可执行文件暂存和I/O,以及进程创建、监视和控制。各种性能关键操作(包括启动和集合操作)被配置为利用网络拓扑信息。该库还利用MPI结构进行性能管理;例如,MPI通信器结构用于应用程序级发现和适应网络拓扑和网络服务质量机制。我们描述了MPICH-G2的设计和实施,目前的性能结果,并审查应用程序的经验,包括创纪录的分布式模拟。
2002-06-25 cs.DC
DART-MPI: An MPI-based Implementation of a PGAS Runtime System
分区全局地址空间(PGAS)方法将分布式系统视为在全局级别上共享内存。给定这样的关于存储器的全局视图,用户可以非常类似于共享存储器系统来编程应用。这大大简化了开发并行应用程序的任务,因为在程序中不必指定用于不同计算节点之间的数据交换的显式通信。在本文中,我们提出了DART,一个运行时环境,它实现了PGAS范式的大规模高性能计算集群。我们的实现的一个特定功能是使用消息传递接口(MPI)版本3(即MPI-3)作为底层通信基板的单边通信。我们评估了几个低级别内核的实现的性能,以确定与底层MPI-3相比的开销和限制。
2015-07-07 cs.DC
Tuning MPI Collectives by Verifying Performance Guidelines
MPI集体操作提供了一个标准化的接口,用于在一组进程中执行数据移动。集体通信操作的效率取决于实际算法、其实现和特定的通信问题(通信类型、消息大小、进程数)。许多MPI库为特定的集体操作提供了许多算法。选择有效算法的策略通常在MPI库中预定义(硬编码),但其中一些,如Open MPI,允许用户手动更改算法。为每种情况找到最佳算法是一个困难的问题,已经提出了几种方法来调整这些算法参数。我们使用一个正交的方法来调整MPI集体的参数,也就是说,而不是测试由MPI库提供的个别算法选择,我们比较一个特定的MPI集体操作的延迟的语义等效的功能,我们称之为模拟实现的延迟。模型实现的结构由自洽的性能指南定义。这种方法的优点是,无论MPI库是否允许用户在运行时选择特定的算法,都可以使用模型实现进行调优。我们在一个名为PGMPITuneLib的库中实现了这个概念,该库位于用户代码和实际MPI实现之间。这个库通过拦截MPI调用并将它们重定向到我们的模拟实现来选择MPI集合的最佳性能算法模式。实验结果表明,PGMPITuneLib可以显着减少MPI集体的延迟,同样重要的是,它可以帮助识别MPI库的调优潜力。
2017-08-10 cs.DC
MANA for MPI: MPI-Agnostic Network-Agnostic Transparent Checkpointing
在高性能计算(HPC)中,并行检查点MPI的容错和负载均衡是一个长期存在的问题。由于需要在所有网络互连上为MPI实现的所有组合提供检查点重启服务,因此问题变得复杂。这项工作提出了MANA(MPI无关的网络无关的透明检查点),一个单一的代码库,支持所有的MPI实现和互连组合。不可知属性意味着可以在一个MPI实现下(可能通过TCP)对MPI应用程序进行检查点,然后在每个节点具有不同数量CPU内核的群集上通过InfiniBand在第二个MPI实现下重新启动。这种技术是基于一种新的“分裂进程”的方法,它使两个独立的程序共存于一个单一的进程与一个单一的地址空间。这项工作克服了两个最广泛采用的透明检查点解决方案,BLCR和DMTCP/InfiniBand,需要单独修改每个MPI实现和/或底层网络API的限制。运行时开销被发现是微不足道的检查点重新启动在一个单一的主机,当比较一个本地MPI计算迁移到一个远程集群对一个普通的MPI计算本地运行在同一个远程集群。
2019-04-20 cs.DC cs.OS
A high-level C++ approach to manage local errors, asynchrony and faults in an MPI application
C++提倡将异常作为处理代码中实现的意外行为的首选方法。这不能很好地与MPI的错误处理集成,在MPI失败的情况下,这或多或少总是导致程序终止。特别是,本地C++异常当前可能会由于远程主机上未完成的通信请求而导致死锁。与此同时,未来的MPI实现预计将包括一个API,即使在硬故障(节点丢失),即最坏的可能的意外行为后,也可以继续计算。在本文中,我们提出了一种方法,增加了扩展的异常传播支持C++ MPI程序。我们的技术允许传播本地异常到远程主机,以避免死锁,并映射远程主机上的MPI故障本地异常。一个特别感兴趣的用例是异步“本地故障本地恢复”弹性方法。我们的原型实现仅使用MPI-3.0特性。此外,我们提出了一个专用的实现,它与MPI-ULFM无缝集成,即最突出的建议扩展MPI走向容错。我们的实现可以在https://gitlab.dune-project.org/christi/test-mpi-exceptions上获得。
2018-04-13 cs.DC
MPIgnite: An MPI-Like Language and Prototype Implementation for Apache Spark
基于MPI的横向扩展并行处理是一个有25年历史的标准,在高性能计算社区中,至少还有十年的历史。MapReduce、Hadoop和Spark等较新的框架代表了工业可扩展计算解决方案,这些解决方案因其相对简单的使用、对相关问题的适用性以及利用可扩展分布式资源的能力而得到广泛采用。虽然MPI提供了性能和可移植性,但它缺乏生产力和容错能力。同样,Spark是当前一代MapReduce和数据并行计算基础设施的一个具体示例,它可以实现这些目标,但又缺乏对等通信支持,无法实现轻量级、高度可扩展的对等数据并行代码部分。本文的主要贡献是演示如何将MPI的集体和点对点对等通信概念引入Spark环境。这样做是为了产生性能便携,面向对等和面向组的通信服务,同时保留Spark的基本,理想的属性。考虑了容错和生产率的附加概念。这种方法与将MapReduce框架作为上层中间件添加到传统的MPI实现作为基线基础设施相比。
2017-07-15 cs.DC
Design and Implementation of MPICH2 over InfiniBand with RDMA Support
几年来,MPI一直是编写并行应用程序的事实标准。最流行的MPI实现之一是MPICH。它的继任者MPICH 2采用了全新的设计,提供了更高的性能和灵活性。为了确保可移植性,它有一个层次结构,基于这个结构,可以在不同的级别上进行移植。在本文中,我们提出了我们的经验,设计和实现MPICH 2在InfiniBand。由于其高性能和开放标准,InfiniBand在高性能计算领域越来越受欢迎。我们的研究重点是优化MPICH 2中MPI-1函数的性能。我们的目标之一是利用远程直接内存访问(RDMA)在Infiniband实现高性能。我们的设计基于MPICH 2提供的RDMA通道接口,该接口将依赖于架构的通信功能封装到一组非常小的功能中。从一个基本的设计开始,我们应用不同的优化,并提出了一个基于零拷贝的设计。我们使用微基准来描述我们的优化和设计的影响。我们还使用NAS并行基准测试执行了应用程序级评估。我们优化的MPICH 2实现实现了7.6 $μ$ s的延迟和857 MB/s的带宽,接近底层InfiniBand层的原始性能。我们的研究表明,在MPICH 2中的RDMA通道接口提供了一个简单的,但功能强大的,抽象,使实现具有高性能的利用RDMA操作在InfiniBand。据我们所知,这是第一个使用RDMA支持的InfiniBand上MPICH 2的高性能设计和实现。
2003-10-30 cs.AR cs.DC
Do MPI Derived Datatypes Actually Help? A Single-Node Cross-Implementation Study on Shared-Memory Communication
School of Mathematics;Statistics University of Edinburgh
本文针对MPI派生数据类型(DDT)的实际性能争议,在单节点上跨四种主流MPI实现、三类二维应用开展基准测试,发现DDT无跨场景性能优势,建议同时剖析两种通信方案。
2025-11-17 cs.DC
TEMPI: An Interposed MPI Library with a Canonical Representation of CUDA-aware Datatypes
MPI派生的数据库是一种抽象,它简化了MPI应用程序中非连续数据的处理。这些数据库是在运行时从MPI标准中定义的命名类型原语递归构造的。最近,CUDA感知MPI实现的开发和部署鼓励了分布式高性能MPI代码向使用GPU的过渡。这样的实现允许MPI函数直接在GPU缓冲区上操作,从而简化了GPU计算到MPI代码中的集成。这项工作首先提出了一种新的数据类型处理策略,嵌套跨越数据库,找到了一个中间地带之间的专门或通用的处理在以前的工作。这项工作还表明,非连续数据处理的性能特征可以用经验系统测量来建模,并用于透明地改善MPI_Send/Recv延迟。最后,尽管大量关注非连续GPU数据和CUDA感知的MPI实现,但不能认为良好的性能是理所当然的。这项工作通过MPI插入器库TEMPI展示了其贡献。TEMPI可以与现有的MPI部署一起使用,而无需更改系统或应用程序。最终,这项工作的插入库模型表明,MPI_Pack的加速高达242000倍,MPI_Send的加速高达59000倍相比,MPI的实施部署在一个领导级的超级计算机。这在具有3072个进程的3D晕圈交换中产生超过917倍的加速。
2021-04-20 cs.DC
Comparing Spark vs MPI/OpenMP On Word Count MapReduce
Spark提供了MapReduce的内存实现,广泛用于大数据行业。MPI/OpenMP是一种流行的高性能并行计算框架。本文提出了一种高性能的MapReduce设计在MPI/OpenMP和使用Spark在经典的字数MapReduce任务进行比较。我的结果显示,MPI/OpenMP MapReduce的性能比Apache Spark高出约300%。
2019-02-01 cs.DC cs.PF
Extending the Message Passing Interface (MPI) with User-Level Schedules
可组合性是MPI长期持续成功的七个原因之一。通过将MPI的操作与用户级操作组合来扩展MPI,可以提供与MPI的进度引擎和完成通知方法的有用集成。然而,MPI(广义请求)中现有的可扩展性机制并没有得到广泛的利用,并且具有显著的缺点。MPI可以通过预定的通信原语来推广,例如,通过利用现有MPI-3非阻塞集合和即将到来的MPI-4持久和分区API的实现技术。非平凡调度在一些MPI库中内部使用;但最终用户无法访问它们。基于消息的通信模式可以构建为MPI之上的库。这样的库可以具有可比的实现成熟度和潜在的比MPI库代码更高的性能,但不需要MPI实现的深入知识。库可以提供跨MPI实现边界的性能可移植接口。使用相同的进度引擎组合其他用户定义操作的能力使各种通用HPC库受益。我们提出了一个MPI计划的定义:一个用户级的编程模型,适合于创建持久的集体通信组成的新的应用程序特定的序列的用户定义的操作管理的MPI和完全集成的MPI进度和完成通知。提出的API为涉及用户定义操作的可扩展通信计划提供了标准化的途径。我们的方法有可能引入事件驱动的编程到MPI(超越工具接口),虽然连接时间表与事件包括未来的工作。这里描述的早期性能结果是有希望的,并表明强大的重叠潜力。
2019-09-25 cs.DC
User Experiences with MPI RMA and ULFM in a Resilient Key-Value Store Implementation
University of Kassel(卡塞尔大学)
本文探讨了在MPI基于的容错运行时系统中实现键值存储的挑战,重点在于RMA和ULFM的实现经验及优化方法。
2026-04-20 cs.DC
Effective MPI: User-defined Datatypes and Cartesian Communicators for Zero-copy All-to-all Communication in Multidimensional Tori
TU Wien(维也纳工业大学)
提出一种利用笛卡尔通信器和MPI派生数据类型实现多维环面上零拷贝全对全通信的算法,通过分解通信维度和隐式数据重排避免显式数据拷贝。
2026-05-28 cs.DC
An efficient MPI/OpenMP parallelization of the Hartree-Fock method for the second generation of Intel Xeon Phi processor
使用现代的OpenMP线程技术将GAMESS程序中仅支持MPI的Hartree-Fock代码转换为混合MPI/OpenMP算法。两个单独的实现,不同的线程之间的共享或复制的关键数据结构被认为是,密度和福克矩阵。所有实现都在3,000个英特尔至强融核处理器的超级计算机上进行基准测试。每个处理器有64个内核,报告的扩展数最多可达192,000个内核。与传统代码相比,混合MPI/OpenMP实现将内存占用减少了约200倍。对于一系列分子系统大小,MPI/OpenMP代码的运行速度比原始代码快6倍。
2017-08-14 cs.DC
Leveraging MPI-3 Shared-Memory Extensions for Efficient PGAS Runtime Systems
MPI-3的单边通信原语的宽松语义和丰富功能使MPI成为实现PGAS模型的有吸引力的候选者。然而,这种实现的性能受到以下事实的影响:当前MPI RMA实现在通信请求的源和目标共享公共的本地物理存储器时通常具有大的开销。在本文中,我们提出了一个优化的PGAS类运行时系统,它使用新的MPI-3共享内存扩展服务于节点内的通信请求和MPI-3单边通信原语服务于节点间的通信请求。我们的运行时系统的性能进行了评估Cray XC 40系统通过低级别的通信基准测试,随机访问基准测试和模板内核。实验结果表明,我们的混合运行时系统的性能相匹配的低级别的RMA库的节点内传输,和MPI-3的节点间传输的性能。
2016-03-07 cs.DC
Orrery: Modeling and Simulation of GPU-direct MPI Communication with SimGrid
Technical University of Munich(慕尼黑工业大学);Leibniz Supercomputing Centre(莱布尼茨超级计算中心);Dresden University of Technology(德累斯顿工业大学);Vienna University of Technology(维也纳工业大学)
该研究提出基于SimGrid SMPI的Orrery拦截层,实现无需物理GPU的GPU感知MPI通信仿真,经微基准测试和雅可比求解器验证,可复现关键通信机制。
2026-10-13 cs.DC cs.PF
What does fault tolerant Deep Learning need from MPI?
深度学习(DL)算法已经成为用于大规模数据分析的事实上的机器学习(ML)算法。DL算法在计算上是昂贵的-即使是使用MPI的分布式DL实现也需要在通常研究的数据集上进行数天的训练(模型学习)时间。长时间运行的DL应用程序变得容易受到故障的影响-除了容错DL算法之外,还需要开发容错系统基础设施。这就提出了一个重要的问题:设计容错DL实现需要MPI提供什么?在本文中,我们解决这个问题的永久故障。我们激励需要一个容错MPI规范的DL算法和它们的属性,驱动需要特定的容错功能的最近的创新的深入考虑。我们提出了一个深入的讨论不同的并行类型(模型,数据和混合)的适用性;需要(或缺乏)的任何关键数据结构的检查点;最重要的是,考虑几个容错建议(用户级故障缓解(ULFM),Reinit)在MPI和它们的适用性容错DL实现。我们利用Caffe的分布式内存实现,目前可在机器学习工具包极端规模(MaTEx)。我们通过扩展MaTEx-Caffe来实现我们的方法,以使用基于ULFM的实现。我们使用ImageNet数据集和AlexNet以及GoogLeNet神经网络拓扑进行的评估证明了使用基于OpenMPI的ULFM的容错DL实现的有效性。
2017-09-11 cs.DC
Decomposing Collectives for Exploiting Multi-lane Communication
许多现代高性能系统通过提供多于单个通信网络和/或通过具有到网络的多个连接来增加累积的节点带宽。用于集体操作的有效算法和实现,例如,MPI必须明确设计用于这种多通道功能。我们讨论了多通道算法的设计模型,特别是给出了一个配方转换成一个多通道算法,可以有效地使用$k$通道同时任何标准的,单端口的,(流水线)通信树算法。我们首先从\emph{self-consistent performance guidelines}的角度来研究这个问题,并给出简单的,\emph{full-lane, mock-up implementations}的MPI广播,减少,扫描,收集,分散,allgather和alltoall操作,只使用类似的操作,给定的MPI库本身的方式,可以利用多通道的能力。这些实现依赖于将通信域分解为节点和通道的通信器,是MPI集合的成熟且易于使用的实现。与预期相反,在许多情况下,在小型36节点双插槽双通道英特尔OmniPath集群上使用不同的MPI库时,模型实现显示出令人惊讶的性能改进,这表明本机MPI库实现存在严重问题。在许多情况下,我们的全通道实现比相应的MPI集合快两倍以上。我们在更大的维也纳科学集群VSC-3上看到了类似的结果。这些实验表明当前库中MPI集合的改进有相当大的空间,包括更有效地使用多通道通信。
2020-01-15 cs.DC
Leveraging Caliper and Benchpark to Analyze MPI Communication Patterns: Insights from AMG2023, Kripke, and Laghos
本研究在Caliper HPC性能分析工具中新增通信区域功能,搭配Thicket对Benchpark中的三个典型应用开展MPI通信模式分析,可视化通信行为、定位瓶颈并对比不同系统的扩展性能。
2025-07-30 cs.DC
MPI Advance : Open-Source Message Passing Optimizations
本文提出MPI Advance,一个位于MPI之上的开源库集合,通过优化集合通信、邻域集合通信、分区通信和GPU感知通信,提升任何现有MPI库的底层性能。
2023-09-13 cs.DC
Performance Evaluation of Dynamic Scaling on MPI
动态伸缩的目的是在运行时弹性地改变进程的数量,以调整分布式应用程序的性能。本报告简要介绍了一个性能评估的MPI进程供应/解除供应的动态扩展使用16至128个核心。我们的动态扩展实现允许来自新主机的新MPI进程立即与原始进程进行通信。此外,它还禁止被移除的MPI进程与其他进程通信,并获得主机节点是否可以被终止的信息。在MPI-2中,这样一个简单的特性不支持作为单行API,如MPI_Comm_spawn()。我们提供我们的实现作为一个简单的库扩展到一个动态可扩展的MPI程序只添加几行代码。
2019-12-30 cs.DC
High-Performance Parallelization of Dijkstra's Algorithm Using MPI and CUDA
本文研究使用MPI和CUDA并行化Dijkstra算法以加速大规模图的最短路径计算,实验表明MPI和CUDA分别实现超5倍和10倍加速,并分析了同步开销及邻接矩阵对性能的影响。
2025-03-19 cs.DC
Quo Vadis MPI RMA? Towards a More Efficient Use of MPI One-Sided Communication
MPI标准长期以来通过MPI远程存储器访问(RMA)接口包含单边通信抽象。不幸的是,MPI标准4.0版本中的MPI RMA章节仍然包含对实现和用户来说众所周知和鲜为人知的短消息,这导致了潜在的非最佳使用模式。在本文中,我们确定了一组问题,并提出了方法,应用程序,以更好地表达预期使用的RMA例程,使MPI实现,以更好地适应应用程序的需求。为了增加RMA接口的灵活性,我们添加了复制窗口的功能,允许使用不同的配置访问由窗口封装的相同资源。同样,我们引入了MPI内存句柄的概念,旨在为动态窗口的内存提供生命周期保证,消除当前使用动态暴露内存的开销。我们将表明,我们的扩展提供了改进的累积延迟,减少多线程刷新的开销,并允许零开销动态内存窗口的使用。
2021-11-15 cs.DC
Co-Design and Evaluation of a CPU-Free MPI GPU Communication Abstraction and Implementation
University of New Mexico(新墨西哥大学);Oak Ridge National Laboratory(橡树岭国家实验室);Tennessee Tech University(田纳西科技大学);University of Alabama(阿拉巴马大学);Center for Computing Research Sandia National Laboratories(桑迪亚国家实验室计算研究中心)
本文提出了一种无CPU的MPI GPU通信API,通过利用MPI扩展和HPE网络卡能力,实现了高效且易用的GPU通信,实验显示其在GPU通信和强标量扩展中性能提升显著。
2026-03-05 cs.DC
Fibers are not (P)Threads: The Case for Loose Coupling of Asynchronous Programming Models and MPI Through Continuations
异步编程模型(APM)正在获得越来越多的关注,允许应用程序将可用的并发性公开给负责协调执行的运行时系统。虽然MPI长期以来一直支持多线程通信和非阻塞操作,但它无法充分支持APM,因为正确有效地处理不同模型中的MPI通信仍然是一个挑战。与此同时,轻量级、协作调度的执行上下文的新低级实现(纤程,也称为用户级线程)旨在作为高级APM的基础,并且它们在MPI实现中的集成已经被提议作为传统POSIX线程支持的替代品,以减轻这些挑战。在本文中,我们首先建立了一个分类法,试图清楚地区分不同的概念,在并行软件栈。我们认为,提出的紧密集成的纤维实现与MPI既没有保证,也没有好处,而是不利于MPI的目标是一个便携式通信抽象。我们提出MPI Continuations作为MPI标准的扩展,以提供基于回调的通知完成的操作,从而通过提供MPI和APM之间的松耦合机制来明确分离关注点。我们表明,这个接口是灵活的,并与不同的APM,即OpenMP分离的任务,Ompss-2,和Argobots交互良好。
2020-11-12 cs.DC
Scalable Communication Endpoints for MPI+Threads Applications
混合MPI+线程编程作为传统的“MPI无处不在”模型的替代方案越来越突出,以更好地处理与其他节点上资源相比核数量不成比例的增加。这两个模型的当前实现代表了现代MPI实现中通信资源共享的两种极端情况。在MPI-everywhere模型中,每个MPI进程都有一组专用的通信资源(也称为端点),这对性能来说是理想的,但浪费资源。使用MPI+线程,当前的MPI实现为所有线程共享一个通信端点,这对于资源使用是理想的,但对性能是有害的。在本文中,我们探讨了MPI+线程环境中的性能和通信资源使用之间的权衡空间。我们首先演示了两种极端情况-一种是所有线程共享一个通信端点,另一种是每个线程都有自己的专用通信端点(类似于MPI无处不在模型),并展示了这两种情况下的效率低下。接下来,我们将对Mellanox InfiniBand环境中的不同级别的资源共享进行全面分析。利用从这种分析中吸取的经验教训,我们设计了一个改进的资源共享模型,以产生\emph{scalable communication endpoints},可以实现相同的性能,每个线程专用的通信资源,但只使用三分之一的资源。
2020-02-06 cs.DC
Distributed TensorFlow with MPI
机器学习和数据采掘(MLDM)算法在分析由模拟、实验和移动设备生成的大量数据方面变得越来越重要。随着数据量的增加,分布式存储器系统(例如紧密连接的超级计算机或云计算系统)在设计存储器内和大规模并行MLDM算法中变得重要。然而,大多数开源MLDM软件仅限于顺序执行,少数支持多核/众核执行。在本文中,我们扩展了最近提出的Google TensorFlow,以便使用消息传递接口(MPI)在大规模集群上执行。我们的方法只需要对TensorFlow运行时进行最小的更改-使所提出的实现具有通用性,并且易于为越来越多的TensorFlow用户使用。我们评估我们的实现使用InfiniBand集群和几个众所周知的datasets。我们的评估表明,我们提出的实施的效率。
2017-08-18 cs.DC
MPI Windows on Storage for HPC Applications
即将到来的HPC集群将在每个计算节点上提供混合内存和存储设备。在这项工作中,我们建议使用MPI单边通信模型和MPI窗口作为编程内存和存储的唯一接口。我们描述了MPI存储窗口的设计和实现,并提出了它的好处,核外执行,并行I/O和容错。此外,我们探讨了异构窗口分配的集成,内存和存储共享一个统一的虚拟地址空间。当执行大型的,不规则的内存操作,我们验证MPI窗口本地存储招致平均55%的性能损失。当使用Lustre并行文件系统时,观察到不对称的性能,写入操作的性能下降超过90%。尽管如此,分布式哈希表,HACC I/O内核迷你应用程序,和一个新的MapReduce实现的基础上使用的MPI单边通信的实验结果表明,MPI窗口的整体损失存储在大多数情况下可以忽略不计在现实世界中的应用程序。
2018-10-09 cs.DC
Support Vector Machine Implementation on MPI-CUDA and Tensorflow Framework
Ain Shams University(艾因沙姆斯大学)
本文比较了支持向量机在MPI-CUDA和TensorFlow框架上的并行实现,发现MPI-CUDA实现加速更高,而TensorFlow实现提供跨平台解决方案以减少开发时间。
2023-11-25 cs.DC cs.LG
Efficient MPI-based Communication for GPU-Accelerated Dask Applications
The Ohio State University(俄亥俄州立大学)
Dask是一个流行的并行和分布式计算框架,它可以与Apache Spark竞争,实现基于任务的可扩展大数据处理。Dask Distributed库构成了此计算引擎的基础,并为添加新的通信设备提供支持。它目前有两个通信设备:一个用于TCP,另一个用于使用UCX-Py的高速网络-UCX的Cython包装器。本文介绍了Dask的一个新的通信后端的设计和实现-称为MPI 4Dask-这是针对现代HPC集群与GPU构建。MPI 4Dask通过MVAPICH 2-GDR利用mpi 4py,MVAPICH 2-GDR是消息传递接口(MPI)标准的GPU感知实现。MPI 4Dask提供了点对点异步I/O通信协程,这是使用Python的Python框架中的alloc/await关键字定义的非阻塞并发操作。我们的延迟和吞吐量比较表明,MPI 4Dask在1字节消息和大消息(2 MB及以上)方面分别比UCX高出6倍和4倍。我们还使用两个基准应用程序对MPI 4Dask与UCX进行了比较性能评估:1)cuPy数组及其转置的总和,以及2)cuDF合并。MPI 4Dask将这两个应用程序的总体执行时间分别平均提高了3.47倍和3.11倍,这两个应用程序是在使用NVIDIA Tesla V100 GPU构建的内部集群上运行的,适用于1-6名Dask工作人员。我们还针对TACC的Frontera(GPU)系统上的…
2021-01-21 cs.DC cs.LG cs.PF
MPI Progress For All
针对MPI通信进度机制定义不明确、阻碍HPC应用性能提升与编程范式集成的问题,本文分析MPI消息实现细节,提出可让用户显式构建管理高效进度引擎的MPI扩展,经验证其复杂度更低、有效性更高。
2024-07-12 cs.DC
Design and Implementation of Parallel Debugger and Profiler for MPJ Express
MPJ Express是一个消息传递系统,允许计算科学家在高性能计算(HPC)硬件上编写和执行并行Java应用程序。尽管MPJ Express软件在Java HPC社区中获得了成功的采用,但它目前不提供对调试和分析并行应用程序的任何支持,因此迫使其用户依赖手动和繁琐的调试/分析方法。对这些工具的支持对于帮助应用程序开发人员提高整体生产力至关重要。为了解决这个问题,我们已经开发了调试和分析工具的MPJ快递,这是本文的主要主题。这些工具的主要设计目标包括:1)保持与现有日志记录,调试和可视化工具的兼容性,2)通过扩展现有的调试/分析工具而不是重新发明轮子来构建这些工具。第一个工具名为MPJAR,构建在开源Eclipse集成开发环境(IDE)上。它提供了一个使用Eclipse插件开发环境(PDE)开发的基于Eclipse的插件。默认的Eclipse调试器目前不支持调试在计算集群上运行的并行应用程序。第二个工具名为MPJProf,是一个基于TuningandAnalysisUtility(TAU)的实用程序,TAU是一个开源的性能评估工具。我们的目标是利用TAU来生成配置文件和跟踪,从而对使用MPJ Express并行化的Java应用程序进行配置,这些配置文件和跟踪稍后可以使用paraprof和Jumpshot等现有工具进行可视化。在论文的最后,我们量化了使用MPJProf的开销,我们发现…
2014-08-27 cs.DC cs.SE
A Multilevel Approach to Topology-Aware Collective Operations in Computational Grids
如何有效地实施集体通信业务受到了广泛的关注。最初的努力产生了基于网络通信模型的“最优”树,该模型假设任何两个进程之间的点对点延迟相等。然而,这种假设在大多数实际环境中是违反的,特别是在异构系统中,如SMP集群和广域“计算网格”,结果是集体操作执行次优。作为响应,最近的工作集中在为集体操作创建拓扑感知树,该集体操作最小化跨较慢通道的通信(例如,广域网)。虽然这些努力具有显著的通信优势,但它们都将网络的视图限制在两层。我们提出了一种基于网络的多层视图的策略。通过创建多级拓扑感知树,我们利用了网络中每一级的通信成本差异。我们使用此策略在MPICH-G2中实现了几个MPI集体操作的拓扑感知版本,MPICH-G2是MPI标准的流行MPICH实现的Globus Toolkit[tm]启用版本。利用MPICH-G2提供的拓扑信息,我们在执行过程中自动构建这些多级拓扑感知树。我们目前的结果表明,我们的多级方法的优势,通过比较它的默认(拓扑不知道)的MPICH和拓扑感知的两层实现提供的实现。
2002-06-24 cs.DC
Parallel DNA Sequence Alignment on High-Performance Systems with CUDA and MPI
本文提出CUDA与MPI混合的Needleman-Wunsch并行序列比对方案,通过GPU并行与多节点分布式计算显著加速大规模比对,无需修改底层算法。
2024-12-30 cs.DC
A Hybrid Parallel Implementation of the Aho-Corasick and Wu-Manber Algorithms Using NVIDIA CUDA and MPI Evaluated on a Biological Sequence Database
多个匹配算法被用来从一个有限的模式集在一个大的输入字符串中定位模式的出现。Aho-Corasick和Wu-Manber是两种最著名的多重匹配算法,它们需要更高的计算能力,特别是在必须处理大规模数据集的情况下,这在计算生物学应用中很常见。在过去的几年里,图形处理单元(GPU)已经发展成为强大的并行处理器,在科学计算中优于中央处理单元(CPU)。此外,可以并行使用多个GPU,形成混合计算机集群配置,以实现更高的处理吞吐量。本文评估的Aho-Corasick和Wu-Manber算法在混合GPU集群上的并行实现的加速比,当用于处理人类基因组的表达序列标签的快照和不同的问题参数。
2014-07-10 cs.CE cs.DC
An MPI Implementation of a Self-Submitting Parallel Job Queue
Northern Arizona University(北亚利桑那大学)
提出一种在MPI环境中使用高级自提交并行作业队列的简单方法,通过C++库MPQueue实现,并应用于计算组合学和偏微分方程分岔图求解,验证了其高效性和可扩展性。
2012-04-19 cs.DC cs.NA math.NA
Developing a High Performance Software Library with MPI and CUDA for Matrix Computations
如今,并行计算的范式正在发生变化。CUDA现在是GPU上通用计算的流行编程模型,大量应用程序被移植到CUDA,与优化的CPU实现相比,获得了数量级的加速。将消息传递模型与用于并行计算的共享内存模型相结合的混合方法是非常大型应用程序的解决方案。我们考虑了一个异构集群,它使用MPI和CUDA将CPU和GPU计算结合起来,以开发高性能线性代数库。我们的图书馆处理大型线性系统求解器,因为它们是科学和工程领域的常见问题。由于高存储器需求和计算成本,用于计算此类系统的解的直接方法可能非常昂贵。一种有效的替代方法是只计算解的近似值的迭代法。在本文中,我们提出了一个实现的库,使用MPI和CUDA实现直接和迭代线性系统求解器的混合计算模型。我们的库使用MPI/CUDA组合实现了基于LU和Cholesky分解的求解器和一些非平稳迭代法。我们比较了我们的MPI/CUDA实现的性能与经典的程序写在一个单一的CPU上运行。
2015-11-23 cs.DC cs.MS
PGMPI: Automatically Verifying Self-Consistent MPI Performance Guidelines
消息传递接口(MPI)是当前大规模并行系统上进程通信最常用的应用程序编程接口。由于现代并行体系结构的规模和复杂性,MPI库的优化变得越来越困难,因为许多因素都会影响通信性能。为了帮助MPI开发人员和用户,我们提出了一种自动的方法来检查MPI库是否尊重集体通信操作的自我一致的性能准则。我们引入了PGMPI框架,通过基准测试来检测违反性能准则的行为。我们的实验结果表明,PGMPI可以查明不希望的,往往是意外的集体MPI操作的性能下降。我们演示了如何克服几个库的性能问题,通过调整各自的集体MPI调用的算法实现。
2016-09-02 cs.DC
Analyzing Persistent Alltoallv RMA Implementations for High-Performance MPI Communication
Tennessee Tech University(田纳西理工大学)
本文设计并评估了基于fence和锁同步的持久化MPI RMA Alltoallv变体,针对大规模消息尺寸优化,实验证明在448进程下运行时间减少38%,并探讨了持久化与非持久化方法的性能差异及适用场景。
2026-04-06 cs.DC
Increasing the Efficiency of Sparse Matrix-Matrix Multiplication with a 2.5D Algorithm and One-Sided MPI
矩阵-矩阵乘法是线性代数中的基本运算,也是各种科学领域中广泛算法的重要组成部分。理论和实现的密集,方阵的情况下是发达国家。如果矩阵是稀疏的,具有特定于应用程序的稀疏模式,那么最佳实现仍然是一个悬而未决的问题。在这里,我们探讨了通信减少2.5D算法和单边MPI通信的线性标度电子结构理论的背景下的性能。特别是,我们扩展了DBCSR稀疏矩阵库,这是线性标度电子结构理论和低标度相关方法在CP 2K的基本构建块。该库专门设计用于有效地执行占用相对较大的矩阵的块稀疏矩阵-矩阵乘法。在这里,我们比较了性能的基础上,大炮的算法和MPI点对点通信的原始实现,与基于MPI单边通信(RMA)的实现,在2D和2.5D的方法。2.5D方法用内存和辅助操作来减少通信,如果通信占主导地位,这可能会导致加速。2.5D算法在单边通信中更容易实现。的实施提供了详细的描述,也为非理想的处理器拓扑结构,因为这是重要的实际应用。考虑到精确稀疏模式的重要性,甚至是决定乘法时有效填充的实际矩阵数据,测试在CP 2K包中使用应用程序基准进行。结果显示,基于RMA的2.5D算法的性能大幅提高,高达1.80倍,这是观察到的并行化中所涉及的进程的数量增加。
2017-05-29 cs.DC cs.MS
A Communication Avoiding and Reducing Algorithm for Symmetric Eigenproblem for Very Small Matrices
本文针对大规模并行环境下极小矩阵的对称特征值问题,提出基于MPI非阻塞的通信避免与通信削减算法,在FX10上实现最高22倍于ScaLAPACK的加速。
2024-05-01 cs.DC cs.MS cs.PF
Leveraging HPC Profiling & Tracing Tools to Understand the Performance of Particle-in-Cell Monte Carlo Simulations
本研究借助多款HPC性能分析工具,对并行粒子网格蒙特卡罗代码BIT1的单节点、多节点及I/O性能进行表征,明确了性能瓶颈与影响大规模运行效率的关键因素。
2023-06-28 cs.DC
Legio: Fault Resiliency for Embarrassingly Parallel MPI Applications
由于高性能计算机规模的不断增大,故障的存在正成为应用程序必须面对的一种可能性。MPI本身不支持在检测到错误之后执行,这变得越来越有约束性。随着ULFM(用户级故障缓解库)的引入,它已经提供了一种可能的方法,在应用程序执行期间以代码修改为代价来超越故障。ULFM在应用程序中具有侵入性,并且还需要对其恢复过程有深入的了解。在本文中,我们提出了Legio,一个框架,降低了复杂性,引入弹性的并行MPI应用程序。通过将ULFM隐藏在MPI调用之后,该库能够以透明的方式向应用程序公开弹性功能,从而消除任何集成工作。一旦发生故障,失败的节点将被丢弃,并且只继续执行未失败的节点。还提出了该解决方案的分层实现,以在向大量节点扩展时减少修复过程的开销。我们在CINECA的Marconi 100集群上评估了我们的解决方案,结果表明该库引入的开销可以忽略不计,并且不会限制MPI的可扩展性。此外,我们还将该解决方案集成到实际应用中,通过注入故障来进一步证明其鲁棒性。
2021-04-29 cs.DC cs.PF
An MPI-based Algorithm for Mapping Complex Networks onto Hierarchical Architectures
在分布式内存系统上处理大量应用程序图需要将这些图映射到系统的处理元素(PE)上。当PE具有非统一的通信成本或输入高度不规则时,这项任务变得更加重要。通常情况下,映射是使用分区来解决的,分为两步或集成的方法。并行分区工具确实存在;然而,相应的映射算法或其公共实现都有主要的顺序部分或其他严重的扩展限制。在本文中,我们提出了一个并行算法,将图形映射到PE的分层系统。我们的解决方案集成了分区和映射,它以一种简洁的方式作为一个隐式标记树的系统层次结构模型。应用程序图的顶点也被标记,并且这些顶点标签诱导映射。映射优化遵循并行标签传播的基本思想,但我们调整标签变化的增益计算,以快速考虑所引起的通信成本。我们基于MPI的代码是第一个公开实现的并行图映射算法,为此,我们扩展了分区库ParHIP。为了评估我们的算法的实现,我们在百万和十亿级范围内的复杂网络进行比较实验。在一般情况下,我们的映射工具显示了良好的可扩展性高达几千个PE。与其他基于MPI的竞争对手相比,我们的算法实现了最佳的速度和质量的权衡,我们的质量结果甚至优于非并行映射工具。
2021-07-06 cs.DC
Optimizing Irregular Communication with Neighborhood Collectives and Locality-Aware Parallelism
本文基于 MPI 4 持久化邻域集合通信 API,提出局部性感知聚合等不规则通信优化方法,并在 BoomerAMG 的稀疏矩阵-向量乘法中实现最高 1.32 倍加速。
2023-06-02 cs.DC
Experience with Distributed Memory Delaunay-based Image-to-Mesh Conversion Implementation
本研究评估了基于共享内存实现构建的分布式内存Delaunay图像转网格算法的可扩展性与开发效率,发现分布式版本有一定加速比但单节点开销较高,对黑盒复用共享内存代码的思路提出质疑。
2023-08-24 cs.DC
How I Learned to Stop Worrying About User-Visible Endpoints and Love MPI
MPI+线程作为传统MPI Everywhere模型的替代方案越来越突出,以便更好地处理与其他节点上资源相比核心数量不成比例的增加。但是,MPI+线程的通信性能可能比MPI的任何地方都慢100倍。MPI用户和开发人员都应该为这种放缓负责。通常,MPI用户不会公开逻辑通信并行性。因此,MPI库使用保守的方法,例如全局临界区,来维护MPI+线程的MPI排序约束,从而串行化对并行网络资源的访问并损害性能。为了提高MP+线程的通信性能,研究人员提出了MPI端点作为MPI-3.1的用户可见扩展。MPI端点允许单个进程在通信器内创建多个MPI等级。这可以允许每个线程拥有到网络的专用通信路径并提高性能。然而,将线程映射到端点的责任将由领域科学家承担。我们扮演魔鬼的拥护者的角色,并质疑用户可见端点的必要性。我们当然同意,专用的沟通渠道至关重要。然而,在多大程度上,我们可以在不修改MPI标准的情况下将这些通道隐藏在MPI库中,从而减轻用户的负担?更重要的是,通过这种抽象,我们会失去什么功能?本文回答了这些问题,通过一个新的MPI-3.1实现,使用虚拟通信接口(VCI)。VCI抽象底层网络上下文。当用户通过现有的MPI机制公开并行性时,MPI库将该并行性映射到VCI,从而将领域科学家从端点中解放出来。我们确定的情况下,VCIs执行以及用户可见的端点,以及这种抽象损害性能的情况下。
2020-05-01 cs.DC
MPI-over-CXL: Enhancing Communication Efficiency in Distributed HPC Systems
Panmnesia, Inc.(潘姆内西亚有限公司)
针对MPI通信中数据复制开销大的问题,提出基于CXL共享内存的MPI-over-CXL范式,通过直接内存访问减少延迟和带宽占用,实验验证其显著提升HPC系统通信效率与可扩展性。
2025-10-16 cs.DC
LLM-HPC++: Evaluating LLM-Generated Modern C++ and MPI+OpenMP Codes for Scalable Mandelbrot Set Computation
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Louisiana State University(路易斯安那州立大学);Texas A&M University-Central Texas(德克萨斯农工大学中央得克萨斯分校)
本文评估了LLM生成的C++和MPI+OpenMP代码在曼德勃罗集计算中的性能,发现ChatGPT-4和5在语法精度和可扩展性方面表现突出。
2026-03-13 cs.DC cs.SE
Supercomputing with MPI meets the Common Workflow Language standards: an experience report
使用基于标准的工作流对于高性能计算用户来说仍然有些不寻常。在本文中,我们描述的经验,使用通用工作流语言(CWL)标准来描述执行,并行,MPI并行应用程序。特别是,我们的动机和描述的简单扩展的规范,这是必要的,以及我们的实现这一CWL参考运行。我们讨论了一些意想不到的好处,如简单的使用面向HPC的性能测量工具,和CWL的软件要求与HPC模块系统接口。最后,我们请求社区就如何在CWL标准的版本中采用这些功能发表评论。
2020-10-01 cs.DC