Parallel DNA Sequence Alignment on High-Performance Systems with CUDA and MPI
本文提出CUDA与MPI混合的Needleman-Wunsch并行序列比对方案，通过GPU并行与多节点分布式计算显著加速大规模比对，无需修改底层算法。
2024-12-30 cs.DC
Scalable Distributed DNN Training using TensorFlow and CUDA-Aware MPI: Characterization, Designs, and Performance Evaluation
TensorFlow是最广泛采用的机器/深度学习框架。然而，文献中几乎没有提供对TensorFlow为需要大规模计算和通信的大型ML/DL模型的分布式训练提供的功能的全面理解。最常用的TF分布式训练方法可以分为以下几类：1）Google Remote Procedure Call（gRPC），2）gRPC+X：X=（InfiniBand Verbs，Message Passing Interface，GPUDirect RDMA），3）No-gRPC：Baidu Allreduce with MPI，Horovod with MPI，Horovod with NVIDIA NCCL。在本文中，我们对这些分布式训练方法在各种GPU集群上的性能进行了深入的表征和分析，包括Piz Daint系统（Top500排名第6）。我们进行实验以获得以下向量的新见解：1）DNN训练的应用级可扩展性，2）批量大小对扩展效率的影响，3）用于no-gRPC方法的MPI库的影响，以及4）DNN架构的类型和大小。基于这些实验，我们提出了两个关键的见解：1）总体而言，与大多数配置的基于gRPC的方法相比，No-gRPC设计实现了更好的性能，以及2）No-gRPC的性能受到使用Allreduce的梯度聚合的严重影响。最后，我们提出了一个真正的CUDA感知MPI Allreduce设计，利用CUDA内核和指针缓存，…
2018-10-25 cs.DC
High-performance xPU Stencil Computations in Julia
我们提出了一种高效的方法，用于在Julia中编写与架构无关的并行高性能模板计算，该方法在包中实例化。强大的元编程、低成本的抽象和多分派功能使您能够编写单个代码，既适合在单个CPU线程上进行生产性原型设计，又适合在多GPU或CPU工作站或超级计算机上进行生产运行。我们展示了接近GPU上的3-D热扩散求解器的理论上限的性能，这是一个巨大的改进与CUDA.jl数组编程的可达性能。
2022-11-28 cs.DC physics.comp-ph physics.geo-ph
Parallel Paradigms in Modern HPC: A Comparative Analysis of MPI, OpenMP, and CUDA
本文比较了MPI、OpenMP和CUDA三种HPC并行模型，分析其架构、性能与适用性，指出混合方法在异构环境中效果最佳，选择需依应用、硬件和开发约束而定。
2025-06-18 cs.DC
Support Vector Machine Implementation on MPI-CUDA and Tensorflow Framework
Ain Shams University（艾因沙姆斯大学）
本文比较了支持向量机在MPI-CUDA和TensorFlow框架上的并行实现，发现MPI-CUDA实现加速更高，而TensorFlow实现提供跨平台解决方案以减少开发时间。
2023-11-25 cs.DC cs.LG
Efficient Process-to-Node Mapping Algorithms for Stencil Computations
良好的进程到计算节点映射对于HPC应用程序的良好性能具有决定性意义。进程到节点映射问题的一个特殊而重要的类别是将以稀疏模板模式通信的进程映射到笛卡尔网格的问题。通过充分利用这种类型的问题固有的结构，我们设计了三种新的分布式算法，能够有效地处理任意模板通信模式。我们分析了我们的算法的基础上的一个抽象模型的节点间和节点内通信的预期性能。在几台HPC机器上进行的广泛的实验评估表明，我们的算法在运行时间上比（顺序）高质量的通用图形映射工具快两个数量级，同时在通信性能上获得类似的结果。此外，我们的算法也实现了显着更好的映射质量相比，以前的国家的最先进的笛卡尔网格映射算法。这将使MPI_Neighbor_alltoall交换操作的性能提高三倍。我们的新算法可用于实现MPI_Cart_create功能。
2020-05-20 cs.DC
Effects of Easy Hybrid Parallelization with CUDA for Numerical-Atomic-Orbital Density Functional Theory Calculation
我们修改了MPI友好的密度泛函理论（DFT）的混合并行化，包括CUDA的源代码。我们的目标是找出如何简单的转换内的混合并行与中档GPU影响DFT代码原本不适合CUDA。我们确定了数原子轨道DFT代码混合并行化的几个规则。测试在具有OpenMX代码的磁铁矿材料系统上通过使用包含2个Xeon E5606 CPU和2个Quadro 4000 GPU的硬件系统进行。3-单向混合例程的加速比为7.55，而双向混合例程的加速比为10.94。带有CUDA的GPU补充了OpenMP的效率，并补偿了MPI中CPU的过度竞争。
2014-02-18 cs.DC
A Hybrid Parallel Implementation of the Aho-Corasick and Wu-Manber Algorithms Using NVIDIA CUDA and MPI Evaluated on a Biological Sequence Database
多个匹配算法被用来从一个有限的模式集在一个大的输入字符串中定位模式的出现。Aho-Corasick和Wu-Manber是两种最著名的多重匹配算法，它们需要更高的计算能力，特别是在必须处理大规模数据集的情况下，这在计算生物学应用中很常见。在过去的几年里，图形处理单元（GPU）已经发展成为强大的并行处理器，在科学计算中优于中央处理单元（CPU）。此外，可以并行使用多个GPU，形成混合计算机集群配置，以实现更高的处理吞吐量。本文评估的Aho-Corasick和Wu-Manber算法在混合GPU集群上的并行实现的加速比，当用于处理人类基因组的表达序列标签的快照和不同的问题参数。
2014-07-10 cs.CE cs.DC
Evaluation of Programming Models and Performance for Stencil Computation on Current GPU Architectures
本文在NVIDIA A100和GH200上评估CUDA、OpenACC与OpenMP目标卸载三种编程模型下的模板计算性能，揭示新架构行为并给出优化建议，其中最佳CUDA实现比优化OpenACC快2.1倍。
2024-08-12 cs.DC
DNA sequence alignment: An assignment for OpenMP, MPI, and CUDA/OpenCL
本文介绍一项并行计算课程作业，以多模式精确DNA序列比对的暴力解法为载体，训练学生用OpenMP、MPI及CUDA/OpenCL实现并行化，并覆盖竞态条件、归约、通信和推测计算终止等关键概念。
2024-09-09 cs.DC
Improving Memory Hierarchy Utilisation for Stencil Computations on Multicore Machines
虽然现代超级计算机由多核机器组成，但人们可以找到仍然执行其遗留应用程序的科学家，这些应用程序被开发为单核集群，其中存储层次结构专用于单个核心。本文的主要目的是提出和评估一种算法，确定一个有效的块大小应用于MPI模板计算多核机器上。根据广泛的实验分析，这项工作显示了识别块大小的好处，将划分数据的各种核心，并提出了一种方法，探索在现代机器的存储层次结构。
2013-10-30 cs.DC
Accelerating High-Order Stencils on GPUs
在HPC应用中，广泛使用了速度计算。如今，许多HPC平台使用GPU作为加速器。因此，了解如何在GPU上快速执行模板计算非常重要。虽然在GPU上的低阶扩展的实现策略已经在文献中得到了很好的研究，但并不是所有提出的增强都能很好地用于高阶扩展，例如用于地震建模的增强。此外，处理边界条件通常需要不同的计算逻辑，这使得GPU上线程级并行性的有效利用变得复杂。在本文中，我们研究了高阶扩展及其在GPU上的独特特性。我们手工制作了一系列CUDA中25点地震建模模板和相关边界条件的实现。我们评估它们的代码形状、存储层次结构使用、数据获取模式和其他性能属性。我们使用几种成熟和新兴的工具对这些支架进行了实证评估，并讨论了我们的定量研究结果。在我们的实现中，我们实现了两倍的性能的专有代码开发的C和映射到GPU使用OpenACC。此外，我们的一些实现具有出色的性能可移植性。
2020-09-15 cs.DC
AN5D: Automated Stencil Framework for High-Degree Temporal Blocking on GPUs
摘要空间计算是高性能计算应用中最广泛使用的计算模式之一。已经提出了空间和时间分块，以通过将存储器压力从外部存储器移动到GPU上的片上存储器来克服这种类型的计算的存储器受限性质。然而，在考虑GPU的架构和存储层次结构的复杂性的同时正确地实现这些优化以实现高性能是困难的。我们提出了AN5D，一个自动化的模板框架，它能够自动转换和优化模板模式在一个给定的C源代码，并生成相应的CUDA代码。在我们的框架中，参数调整是由我们的性能模型指导的。与现有的实现相比，我们的新优化策略减少了共享内存和寄存器压力，允许性能扩展到10的时间阻塞度。我们在最先进的Tesla V100 GPU上实现了迄今为止所有评估的模板基准测试的最高性能。
2020-02-03 cs.DC
GPU acceleration of non-equilibrium Green's function calculation using OpenACC and CUDA FORTRAN
本文针对Kadanoff-Baym方程求解非平衡格林函数的高计算复杂度问题，在CPU和GPU平台上实现了高效并行算法，采用MPI/OpenMP、MPI/OpenACC及MPI/CUDA FORTRAN三种方案，并通过优化策略使GPU版本获得显著加速和良好扩展性。
2025-05-26 cs.DC
RAFI -- A Ray/Work Forwarding Infrastructure for Data Parallel Multi-Node/Multi-GPU Computing
NVIDIA（英伟达）；Bilkent University（比尔肯特大学）；SCI Institute, University of Utah（犹他大学计算研究所）；University of Cologne（科隆大学）；NASA Ames Research Center（NASA艾姆斯研究中心）；IT4Innovations, VSB -Technical University of Ostrava（Ostrava理工大学IT4创新中心）
提出基于CUDA和MPI的软件框架RaFI，简化GPU数据并行计算中射线等工作项在不同GPU间迁移的实现，通过统一接口管理底层通信。
2026-05-28 cs.DC cs.GR
Optimized Broadcast for Deep Learning Workloads on Dense-GPU InfiniBand Clusters: MPI or NCCL?
密集多GPU系统最近在HPC领域获得了很多关注。传统上，MPI运行时主要是为具有大量节点的集群设计的。然而，随着MPI+CUDA应用程序和CUDA-Aware MPI运行时（如MVAPICH 2和OpenMPI）的出现，为这种密集的多GPU节点解决有效的通信方案变得非常重要。这与Caffe和Microsoft CNTK等深度学习框架带来的新应用程序工作负载相结合，由于训练阶段GPU缓冲区的消息通信量非常大，因此会带来额外的设计限制。在这种情况下，已经提出了像NVIDIA NCCL这样的专用库，用于在密集GPU系统上进行基于GPU的集体通信。在本文中，我们提出了一种用于MPI_Bcast集体操作的流水线链（环）设计，以及MVAPICH 2-GDR中的增强集体调优框架，该框架可以实现高效的节点内/节点间多GPU通信。我们为建议的MPI_Bcast方案提供了深入的性能前景，并对NVIDIA NCCL Broadcast和基于NCCL的MPI_Bcast进行了比较分析。与基于NCCL的解决方案相比，MVAPICH 2-GDR的拟议设计分别使节点内和节点间广播延迟提高了14倍和16.6倍。此外，所提出的设计提供了高达7%的改进，基于NCCL的解决方案的数据并行训练的VGG网络上的128个GPU使用Microsoft CNTK。
2017-07-28 cs.DC
Fast GPGPU Data Rearrangement Kernels using CUDA
许多高性能计算算法都是带宽有限的，因此需要最佳的数据重排内核以及它们容易集成到应用程序的其余部分。在这项工作中，我们已经建立了一个CUDA库的快速内核的一组数据重排操作。特别是，我们已经建立了通用的内核重新排列m维数据到n维，包括置换，重新排序，交错/去交错等，我们还建立了通用Stenchmark计算的内核，对一个二维数据使用模板和函子，使应用程序开发人员能够快速构建定制的高性能内核。所有构建的内核在带宽利用率方面都达到或超过了最知名的性能。
2010-11-16 cs.DC cs.GR cs.PF
Leveraging MPI-3 Shared-Memory Extensions for Efficient PGAS Runtime Systems
MPI-3的单边通信原语的宽松语义和丰富功能使MPI成为实现PGAS模型的有吸引力的候选者。然而，这种实现的性能受到以下事实的影响：当前MPI RMA实现在通信请求的源和目标共享公共的本地物理存储器时通常具有大的开销。在本文中，我们提出了一个优化的PGAS类运行时系统，它使用新的MPI-3共享内存扩展服务于节点内的通信请求和MPI-3单边通信原语服务于节点间的通信请求。我们的运行时系统的性能进行了评估Cray XC 40系统通过低级别的通信基准测试，随机访问基准测试和模板内核。实验结果表明，我们的混合运行时系统的性能相匹配的低级别的RMA库的节点内传输，和MPI-3的节点间传输的性能。
2016-03-07 cs.DC
GPU-Accelerated Discontinuous Galerkin Methods: 30x Speedup on 345 Billion Unknowns
本文提出了一种在笛卡尔网格上离散无粘流体动力学控制方程--可压缩欧拉方程的间断Galerkin方法，并通过OCCA（一种统一的多线程硬件结构性能移植方法）将其应用于图形处理单元。与使用非CUDA感知MPI通信的仅CPU实现相比，在多达1，536个NVIDIA V100 GPU上实现了30倍的求解时间加速，并且在多达6，144个NVIDIA V100 GPU上实现了并行强大的可扩展性，解决了包含3，450亿个未知数的问题。CUDA-Aware MPI通信与非GPUDirect通信的比较表明，在由32个NVIDIA V100 GPU组成的8个节点上，速度提高了24%。
2020-08-31 cs.DC cs.NA cs.PF
The MPI + CUDA Gaia AVU-GSR Parallel Solver Toward Next-generation Exascale Infrastructures
本研究通过 CUDA 将 ESA Gaia 任务的 AVU-GSR 并行求解器移植至 GPU，利用 LSQR 算法求解大规模稀疏线性方程组，在 Marconi100 集群上实现了最高约 14 倍的加速，为 Gaia 数据发布及探索预百亿亿次级行为奠定基础。
2023-08-01 astro-ph.IM cs.DC
A Versatile Software Systolic Execution Model for GPU Memory-Bound Kernels
本文提出了一种通用的高性能执行模型，灵感来自脉动阵列，内存受限的规则内核运行在CUDA使能的GPU。我们制定了一个脉动模型，转移部分和CUDA翘曲原语的计算。我们还采用寄存器文件作为缓存资源，以有效地操作整个模型。我们展示了所提出的模型的有效性和通用性，用于HPC中常见的各种模板内核，以及卷积内核（在深度学习工作负载中越来越重要）。我们的算法优于最先进的模板实现，包括复杂的时间和空间阻塞技术的实现，在两个最新的Nvidia架构：特斯拉V100和P100。对于一般滤波器大小和形状的2D卷积，我们的算法在V100和P100 GPU上的平均速度比Nvidia的NPP快2.5倍。
2019-09-06 cs.DC
Parallel Programming Model for the Epiphany Many-Core Coprocessor Using Threaded MPI
Adapteva Epiphany众核架构包括具有最少非核功能的低功耗RISC内核的2D平铺网格片上网络（NoC）。它为整数和浮点计算以及并行可扩展性提供了高计算能效。然而，尽管有有趣的架构特性，一个令人信服的编程模型还没有提出日期。本文展示了一个有效的并行编程模型的Epiphany架构的消息传递接口（MPI）标准的基础上。使用MPI利用了Epiphany架构和传统的并行分布式串行核心集群之间的相似性。我们的方法使MPI代码执行的RISC阵列处理器上的修改很少，并实现高性能。我们报告了四种算法（密集矩阵-矩阵乘法、N体粒子相互作用、五点2D模板更新和2D FFT）的线程MPI实现的基准测试结果，并强调了快速核间通信对架构的重要性。
2015-06-17 cs.DC
Parallel Sub-Structuring Methods for solving Sparse Linear Systems on a cluster of GPU
本文的主要目的是分析子结构方法并行求解由有限元、有限体积和有限差分等偏微分方程离散化所产生的矩阵稀疏线性系。结合通用图形处理器（GPGPU）上的成功应用，提出了一种多GPU和CPU混合的子结构算法。GPU计算与CUDA一起用于加速在每个处理器上执行的操作。数值实验已经进行了一组矩阵所产生的工程问题。我们比较了C+MPI在经典CPU集群上的实现和C+MPI+CUDA在GPU集群上的实现。性能比较表明，使用CUDA子结构方法的速度提高了19倍，在双精度。
2021-08-08 cs.DC cs.MS cs.NA
A Portable Framework for Accelerating Stencil Computations on Modern Node Architectures
本文提出 StencilPy 框架，通过高级 DSL 与多架构后端生成高效模板代码，在 CPU、GPU 和 Cerebras 等加速器上实现接近手写优化代码的性能、可移植性与更高开发效率。
2024-07-07 cs.DC
MMStencil: Optimizing High-order Stencils on Multicore CPU using Matrix Unit
MMStencil针对多核CPU矩阵单元优化3D高阶模板计算，通过SIMD与矩阵单元算法优化、内存优化及多线程并行范式，结合DMA跨NUMA通信，在Nvidia A100 GPGPU上最高实现2.1倍性能提升，并使RTM应用加速1.8倍。
2025-07-15 cs.DC
Accelerating Intra-Node GPU-to-GPU Communication Through Multi-Path Transfers with CUDA Graphs
Queen’s University（女王大学）
本文提出利用CUDA图与UCX框架结合，通过多路径提升GPU通信效率，实验显示在多路径下实现2.95倍带宽提升。
2026-04-27 cs.DC
A stencil-based implementation of Parareal in the C++ domain specific embedded language STELLA
ETH Zürich（苏黎世联邦理工学院）；Università della Svizzera italiana（瑞士意大利语大学）
本文提出在STELLA中实现时间并行的Parareal方法，结合节点级空间并行与时间并行，通过MPI实现Parareal，分析了CPU和GPU后端在对流扩散问题中的加速、并行效率和能耗。
2014-12-03 cs.DC cs.NA math.NA
Annotation-Driven Migration of CUDA Programs to Tenstorrent Blackhole
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出一种基于MLIR的编译器，利用声明式注释将CUDA HPC内核迁移至Tenstorrent Blackhole，实现空间映射与核间协调，在多个基准上获得最高4.2倍加速。
2026-10-05 cs.DC
Theano-MPI: a Theano-based Distributed Training Framework
University of Guelph（圭尔夫大学）；SHARCNET, Compute Canada（加拿大计算公司SHARCNET）
我们开发了一个可扩展和可扩展的训练框架，可以在集群中的节点上利用GPU，并基于数据并行加速深度学习模型的训练。同步和异步训练都在我们的框架中实现，其中GPU之间的参数交换基于CUDA感知的MPI。在本报告中，我们分析了框架的收敛性和能力，以减少AlexNet和GoogLeNet的同步训练从2个GPU扩展到8个GPU时的训练时间。此外，我们探索新的方法来减少由交换参数引起的通信开销。最后，我们将该框架作为开源发布，以便进一步研究分布式深度学习
2016-05-26 cs.DC cs.LG
Towards performance portability through locality-awareness for applications using one-sided communication primitives
MPI是高性能计算中应用最广泛的数据传输和通信模型。该标准的最新版本MPI-3允许熟练的程序员利用最新和未来超级计算系统的所有硬件功能。修改后的异步远程内存访问模型结合共享内存窗口扩展，特别是允许编写隐藏通信延迟的代码，并根据数据源和目的地的位置优化通信路径。后者对于今天的多核和众核系统尤为重要。然而，编写如此高效的代码是非常复杂和容易出错的。在本文中，我们评估了最近的远程内存访问模型，即DART-MPI。该模型声称对程序员隐藏了上述复杂性，但提供了本地感知的远程内存访问语义，在多核系统上优于MPI-3单边通信原语。从概念上讲，DART-MPI接口很简单;同时，它还考虑了底层MPI-3和系统拓扑的复杂性。这使得DART-MPI成为移植遗留应用程序的有趣候选者。我们评估这些索赔使用一个现实的科学应用程序，特别是有限差分模板代码，解决了热扩散方程，在一个大规模的克雷XC 40安装。
2016-09-29 cs.DC
Orrery: Modeling and Simulation of GPU-direct MPI Communication with SimGrid
Technical University of Munich（慕尼黑工业大学）；Leibniz Supercomputing Centre（莱布尼茨超级计算中心）；Dresden University of Technology（德累斯顿工业大学）；Vienna University of Technology（维也纳工业大学）
该研究提出基于SimGrid SMPI的Orrery拦截层，实现无需物理GPU的GPU感知MPI通信仿真，经微基准测试和雅可比求解器验证，可复现关键通信机制。
2026-10-13 cs.DC cs.PF
Multi-GPU Performance Optimization of a CFD Code using OpenACC on Different Platforms
本文研究了在不同平台上使用MPI和OpenACC指令的3D浮力驱动空腔求解器的多GPU性能。该文件表明，在不同的维度上分解的总问题会影响GPU的强大的缩放性能显着。如果没有适当的性能优化，它表明，1D域分解的规模不佳，由于多个GPU的非连续内存访问。本文通过一系列的性能优化，提高了算法的性能。由于浮力驱动腔代码在所检查的集群上是延迟受限的，因此设计了一系列不可知的和针对平台定制的优化，以有效地降低延迟成本并提高主机和设备之间的内存吞吐量。首先，为主机和设备之间的非连续数据移动开发的并行消息打包/解包策略将整体性能提高了约2倍。其次，基于不同变量的模板大小传输不同的数据进一步减少了通信开销。这两个优化足够通用，对于在所有测试的集群上具有重影更改的模板计算是有益的。第三，使用GPUDirect来改善集群上的通信，这些集群具有硬件和软件支持，可以在不占用CPU内存的情况下直接进行GPU之间的通信。最后，如果只使用MPI或MPI+OpenACC，则在多GPU上重叠通信和计算是没有效率的。虽然我们相信我们的实现已经揭示了足够的重叠，但由于缺乏异步进程，实际运行并没有很好地利用重叠。
2020-06-04 cs.DC cs.PF
Cluster-level tuning of a shallow water equation solver on the Intel MIC architecture
本文演示了在启用英特尔至强融核协处理器的群集上优化混合型OpenMP+MPI计算流体动力学代码（浅水方程求解器）的执行环境。讨论内容包括：（1）控制OpenMP线程的数量和亲和性，以优化对内存带宽的访问;（2）调整OpenMP和MPI的互操作，以划分问题，实现更好的数据局部性;（3）以将一些流量引导到更快的通信通道的方式对MPI等级进行排序;（4）在基于InfiniBand结构的Xeon Phi协处理器之间使用高效的对等通信。通过调整，该应用程序在2个计算节点中并行扩展到8个英特尔至强融核协处理器时的效率为90%。对于更大的问题，可扩展性甚至更好，因为更大的计算通信比。然而，这种大小的问题不适合一个协处理器的存储器。在一个英特尔至强融核协处理器7120 P上的求解器性能超过双插槽英特尔至强E5-2697 v2 CPU上的性能1.6倍。在每个计算节点具有4个协处理器的2节点集群中，MIC架构产生的性能是CPU的5.8倍。只需更改一行遗留Fortran代码，就可以在MIC体系结构上实现报告的性能（不包括命令行界面的更改）。本文讨论的方法是直接适用于其他带宽限制模板算法，利用混合的OpenMP+MPI的方法。
2014-08-07 cs.CE cs.DC cs.MS
GT4Py: High Performance Stencils for Weather and Climate Applications using Python
GT4Py是一个Python框架，通过嵌入式DSL和自动代码生成，实现天气与气候模板计算的高性能，分离数学定义与实现，支持多架构可移植性，性能远超纯Python。
2023-11-14 cs.DC cs.PL
Julia as a unifying end-to-end workflow language on the Frontier exascale system
该研究在Frontier上评估Julia端到端HPC工作流能力，涵盖GPU模板计算、MPI扩展、ADIOS2并行I/O与Jupyter分析，验证其高生产率及接近零绑定开销。
2023-09-28 cs.DC cs.PL
Automated MPI-X code generation for scalable finite-difference solvers
本文将面向分布式内存并行的自动化 MPI-X 代码生成技术集成入 Devito，使用户无需改源码即可大规模运行显式有限差分模板，并在 CPU/GPU 集群上验证了优异的强、弱扩展性能。
2025-01-06 cs.DC cs.MS cs.PF
Multichannel Analysis of Surface Waves Accelerated (MASWAccelerated): Software for Efficient Surface Wave Inversion Using MPI and GPUs
多道面波分析（MASW）是岩土工程和工程物理中常用的一种技术，用于推断地下几十到几百米处地震横波速度的分层模型。我们的目标是通过利用大多数工程师工作站中可用的现代计算机硬件来加速MASW计算：多核和图形处理单元（GPU）。我们提出了新的并行和GPU加速算法来评估MASW数据，并提供使用消息传递接口（MPI）和CUDA在C中的软件实现。这些算法利用了问题中出现的稀疏性，并且进程之间的工作平衡考虑了典型的数据趋势。我们将我们的方法与现有的开源Matlab MASW工具进行比较。我们的串行C实现实现了Matlab软件的2倍加速，我们继续看到通过MPI并行化问题的改进。我们看到几乎完美的强和弱缩放均匀的数据，并提高现实数据的强缩放重新划分的问题，以处理映射。通过利用大多数现代工作站上的GPU，我们观察到一个额外的1.3倍的加速比串行C实现的第一次使用的方法。作为优化过程的一部分，我们通常会反复评估理论色散曲线，并且可以在GPU上缓存内核，以便在以后的运行中更快地重用。与串行C运行相比，我们观察到缓存GPU运行的3.2倍加速。这项工作是第一个开源的并行或GPU加速的软件工具，MASW成像，并应使岩土工程师充分利用所有的计算机硬件在他们的处置。
2020-03-04 cs.CE cs.DC cs.NA
Accelerating Fortran Codes: A Method for Integrating Coarray Fortran with CUDA Fortran and OpenMP
本研究提出融合Intel Coarray Fortran、Nvidia CUDA Fortran与OpenMP的并行编程方法，优化内存管理、CPU-GPU亲和性等，经并行泊松求解器验证，其性能与MPI相近且更易实现，可助力新老代码高效迁移至并行计算。
2024-09-03 astro-ph.IM astro-ph.SR cs.DC
GICC: A High-Performance Runtime for GPU-Initiated Communication and Coordination in Modern HPC Systems
Stony Brook University（石溪大学）；TotalEnergies EP Research & Technology US（道达尔能源EP研究与技术美国分公司）
GICC通过使GPU内核直接触发网络接口层操作，提升了GPU驱动的通信效率，降低了协调延迟并提高了扩展性。
2026-04-24 cs.DC
High-Performance Multi-Mode Ptychography Reconstruction on Distributed GPUs
重叠关联成像是一种新兴的成像技术，能够从具有扩展横向尺寸的样品提供波长受限的空间分辨率。作为扫描显微镜方法，典型的二维图像需要多个数据帧。作为一种基于衍射的成像技术，必须通过迭代重建算法来恢复实空间图像。由于这两个固有方面，重叠关联重建通常是计算密集且耗时的过程，这限制了该方法的吞吐量。我们报告了一个加速版本的多模式差分映射算法的重叠关联重建使用多个分布式GPU。这种方法利用了Python中可用的科学计算包，包括mpi4py和PyCUDA，核心计算功能在CUDA C中实现。我们发现，有趣的是，即使使用MPI集体通信，GPU节点数量的弱缩放仍然可以保持几乎恒定。最重要的是，对于现实的衍射测量，我们观察到的加速范围从$10$到$10^3$的因素取决于数据的大小，这减少了重建时间显着从小时到通常约1分钟，因此是至关重要的实时数据处理和可视化。
2018-08-30 cond-mat.mes-hall cs.DC physics.comp-ph
Analytic Modeling of Idle Waves in Parallel Programs: Communication, Cluster Topology, and Noise Impact
HPC中的大多数分布式内存大容量同步并行程序都假设计算资源在分配的计算节点集上连续且均匀地可用。然而，单个过程的长时间一次性延迟会通过在系统中产生涟漪而引起全局扰动，即所谓的闲置波。这个过程主要由底层并行代码的通信拓扑控制。本文的研究对于理解闲置波动力学有着重要的贡献。我们研究了MPI并行程序中空闲波的传播机制。我们提出了一个有效的分析模型，其传播速度相对于通信参数和拓扑结构，特别强调稀疏的通信模式。我们研究了闲置波与MPI集体的相互作用，并表明，根据实施，集体可能是透明的波。最后，我们分析了空闲波衰减的两种机制：拓扑衰减，这是植根于系统的各部分之间的通信特性的差异，和噪声引起的衰减，这是由系统或应用程序噪声。我们表明，噪声引起的衰减在很大程度上是独立的噪声特性，但只取决于整体噪声功率。导出了闲波衰减率随噪声功率变化的解析表达式。对于模型验证，我们使用三个不同的超级计算平台上的微基准和模板算法。
2021-03-04 cs.DC cs.PF
CloverLeaf on Intel Multi-Core CPUs: A Case Study in Write-Allocate Evasion
本文研究 CloverLeaf 在 Intel Xeon CPU 上进程数为质数时的性能异常，通过数据流量模型与微基准测试定位其源于 SpecI2M 写分配规避失效，并排除通信与负载等因素。
2024-05-17 cs.DC cs.PF
A fully parallel, high precision, N-body code running on hybrid computing platforms
我们提出了一个新的实现的数值积分的经典，引力，N体问题的基础上的高阶厄米积分计划块时间步长，直接评估的粒子-粒子力。此代码（称为HiGPU）的主要创新是其完全并行化，在多核中央处理器的使用中利用了OpenMP和MPI，以及用于托管图形处理器的计算统一设备架构（CUDA）或OpenCL。我们在意大利超级计算联盟CINECA提供的超级计算机IBM iDataBase DX 360 M3 Linux Infiniband Cluster中使用多达256个GPU测试了代码的性能和准确性，N值高达800万。我们能够跟踪一个800万个物体的系统的进化，只需要几次交叉，这是以前直接求和代码无法完成的任务。科学界可免费获得该守则。
2012-07-11 astro-ph.IM cs.DC physics.comp-ph
From Skew to Symmetry: Node-Interconnect Multi-Path Balancing with Execution-time Planning for Modern GPU Clusters
The Ohio State University（俄亥俄州立大学）
本文提出NIMBLE系统，通过动态重分布流量平衡节点内和节点间路径的利用率，提升GPU集群的通信性能。
2026-03-31 cs.DC cs.NI
Accelerating Communication for Parallel Programming Models on GPU Systems
随着越来越多的领先级系统在向亿级的竞争中采用GPU加速器，GPU数据的有效通信正在成为高性能计算的最关键组件之一。对于并行编程模型的开发人员来说，使用GPU（如CUDA）的本机API实现对GPU感知通信的支持可能是一项艰巨的任务，因为它需要相当大的努力，性能几乎没有保证。在这项工作中，我们展示了统一通信X（UCX）框架组成GPU感知通信层的能力，该层为Charm++生态系统的多个并行编程模型提供服务：Charm++，自适应MPI（AMPI）和Charm4py。我们使用改编自OSU基准测试套件的微基准测试来展示我们设计的性能影响，在Charm++中获得了高达10.1倍的延迟改进，在AMPI中获得了11.7倍的延迟改进，在Charm4py中获得了17.4倍的延迟改进。我们还观察到Charm++的带宽增加了10.1倍，AMPI增加了10倍，Charm4py增加了10.5倍。通过评估Jacobi迭代法的代理应用程序，我们展示了我们的设计对现实世界应用程序的潜在影响，在Charm++中将通信性能提高了12.4倍，在AMPI中提高了12.8倍，在Charm4py中提高了19.7倍。
2022-03-22 cs.DC
An Empirical Evaluation of Allgatherv on Multi-GPU Systems
用于深度学习和大数据分析的应用程序的计算和内存需求超过了单个GPU的限制。然而，由于GPU之间的通信的复杂性，特别是对于具有不规则消息大小的集体通信，有效地将应用扩展到多个GPU是具有挑战性的。在这项工作中，我们提供了一个性能评估的Allanov例程多GPU系统，专注于GPU的网络拓扑结构和使用的通信库。我们提出了OSU-微基准测试的结果，并对稀疏张量因子分解进行了案例研究，这是一个使用具有高度不规则消息大小的Allanov的应用程序。我们扩展了现有的张量因式分解工具，使其可以在具有不同节点数和每个节点不同GPU数量的系统上运行。然后，我们评估我们的工具的通信性能时，使用传统的MPI，CUDA感知MVAPICH和NCCL在一套真实世界的数据集在三个不同的系统：一个16节点的集群，每个节点一个GPU，NVIDIA的DGX-1与8 GPU和克雷的CS风暴与16 GPU。我们的研究结果表明，张量数据集的不规则性产生的趋势与OSU微基准中的趋势相矛盾，以及基准中没有的趋势。
2018-12-14 cs.DC cs.PF
Morphling: Fast, Fused, and Flexible GNN Training at Scale
IIT Madras（印度理工学院马德拉斯学院）
提出Morphling领域特定代码合成器，通过架构感知的原语和运行时稀疏感知执行引擎，在CPU、GPU和分布式环境下显著提升GNN训练吞吐量并降低内存消耗。
2026-05-25 cs.DC cs.LG cs.PL
