MPI-Q: A Message Communication Library for Large-Scale Classical-Quantum Heterogeneous Hybrid Distributed Computing
Laboratory for Advanced Computing and Intelligence Engineering, Information Engineering University（信息工程大学先进计算与智能工程实验室）
针对经典-量子系统异构性问题，提出MPI-Q库，通过统一管理经典与量子进程、轻量通信路径和异构同步机制，实现高效混合分布式计算，实验显示其具有接近线性扩展性。
2026-04-02 cs.DC
Towards deductive verification of MPI programs against session types
消息传递接口（MPI）是开发并行应用程序的事实标准消息传递基础设施。在第一版库规范发布20年后，基于MPI的应用程序现在通常部署在超级计算机和集群计算机上。这些用C或Fortran编写的应用程序表现出复杂的消息传递行为，因此很难静态验证重要属性，例如不存在死锁。我们的工作建立在会话类型，一个理论描述协议，在这方面提供正确的建设保证。我们注释MPI原语和C代码与会话类型的合同，写在语言的软件验证C。然后用软件验证器检查带注释的代码的正确性。我们提出了初步的结果，并讨论了未来的挑战，验证现实的MPI程序符合会话类型。
2013-12-10 cs.DC cs.LO cs.PL
Analyzing Persistent Alltoallv RMA Implementations for High-Performance MPI Communication
Tennessee Tech University（田纳西理工大学）
本文设计并评估了基于fence和锁同步的持久化MPI RMA Alltoallv变体，针对大规模消息尺寸优化，实验证明在448进程下运行时间减少38%，并探讨了持久化与非持久化方法的性能差异及适用场景。
2026-04-06 cs.DC
High-Performance Parallelization of Dijkstra's Algorithm Using MPI and CUDA
本文研究使用MPI和CUDA并行化Dijkstra算法以加速大规模图的最短路径计算，实验表明MPI和CUDA分别实现超5倍和10倍加速，并分析了同步开销及邻接矩阵对性能的影响。
2025-03-19 cs.DC
Persistent and Partitioned MPI for Stencil Communication
本文在 Comb 基准测试套件中研究模板通信的 MPI 优化，分析持久化与分区通信在不同规模、进程数、线程数和消息大小下的性能影响，实测显示持久化 MPI 最高加速 37%，分区 MPI 最高加速 68%。
2025-08-18 cs.DC
Task-Graph Scheduling Extensions for Efficient Synchronization and Communication
任务图已经被研究了几十年，作为调度不规则并行应用程序的基础，并被纳入编程模型，如OpenMP。虽然许多高性能并行库都是基于任务图的，但它们也有额外的调度要求，例如来自内部数据并行的同步和内部阻塞通信。在本文中，我们扩展了任务图调度，以支持有效的同步和任务内的通信。我们的调度程序避免了死锁和超额认购的工作线程，并细化牺牲选择，以增加兄弟任务的重叠。据我们所知，我们的方法是第一个在单个运行时中结合组调度和工作窃取。我们的方法已被评估的SLATE高性能线性代数库。相对于LLVM OMP运行时，我们的运行时在不同配置下分别对LU、QR和Cholesky进行了性能提升，分别提高了13.82%、15.2%和36.94%。
2020-11-06 cs.DC
Exploring Performance-Productivity Trade-offs in AMT Runtimes: A Task Bench Study of Itoyori, ItoyoriFBC, HPX, and MPI
University of Kassel（卡塞尔大学）；Fulda University of Applied Sciences（富尔达应用技术大学）；Los Alamos National Lab (LANL)（洛斯阿拉莫斯国家实验室）
本研究通过任务基准测试比较了AMT运行时在性能与生产力上的权衡，发现MPI在通信轻量任务中效率最高但代码冗长，HPX在负载不平衡时效率稳定但生产力较低，Itoyori在通信密集型任务中表现最佳，而ItoyoriFBC在同步机制上具有表达不规则工作负载的潜力。
2026-03-13 cs.DC
COUNTDOWN: a Run-time Library for Performance-Neutral Energy Saving in MPI Applications
电力和能源消耗正在成为成功部署第一台亿次超级计算机的关键挑战。大规模HPC应用程序在通信和同步相关的空闲时间中浪费大量电力。然而，由于通信发生的时间尺度，在通信的空闲时间期间转换到低功率状态可能在应用的执行时间中引入不可接受的开销。在本文中，我们提出了COUNTDOWN，一个运行时库，支持的方法和分析工具，用于识别和自动降低功耗的计算元素在通信和同步。COUNTDOWN仅在电源状态转换开销可以忽略的空闲时间内降低CPU功耗，从而节省能源，而不会显著增加完成时间。这对用户是透明的，不需要劳动密集型和容易出错的应用程序代码修改，也不需要重新编译应用程序。我们在生产Tier-0系统中测试我们的方法。对于NAS基准测试，COUNTDOWN可节省6%到50%的能源，解决问题的时间损失低于5%。在一个完整的生产-量子ESTERO-为3.5K核心运行，COUNTDOWN节省22.36%的能源，与性能损失低于3%。节能增加到37%，性能损失6.38%，如果应用程序在没有通信调优的情况下执行。
2019-05-23 cs.DC
Experiences Porting Distributed Applications to Asynchronous Tasks: A Multidimensional FFT Case-study
本文以多维FFT为例，研究将分布式应用移植到异步多任务模型HPX的过程，发现强制任务同步反而因提升缓存性能而优于异步执行，但HPX后端整体表现仍具竞争力，且LCI parcelport能显著加速通信。
2024-05-03 cs.DC
Co-Design and Evaluation of a CPU-Free MPI GPU Communication Abstraction and Implementation
University of New Mexico（新墨西哥大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；Tennessee Tech University（田纳西科技大学）；University of Alabama（阿拉巴马大学）；Center for Computing Research Sandia National Laboratories（桑迪亚国家实验室计算研究中心）
本文提出了一种无CPU的MPI GPU通信API，通过利用MPI扩展和HPE网络卡能力，实现了高效且易用的GPU通信，实验显示其在GPU通信和强标量扩展中性能提升显著。
2026-03-05 cs.DC
Enabling Practical Transparent Checkpointing for MPI: A Topological Sort Approach
本文提出基于拓扑排序确定安全未来同步点的MPI透明检查点方法，解决低运行时开销问题，并在微基准及含VASP在内的五个实际应用中验证其有效性与可扩展性。
2024-08-05 cs.DC
Exploring metrics for analyzing dynamic behavior in MPI programs via a coupled-oscillator model
本文提出一种受Kuramoto模型启发的耦合振子方法，将MPI进程建模为带拓扑交互和噪声的振子，通过序参量、同步熵等多种度量指标分析同步、瓶颈等性能现象，为并行计算性能建模和软硬件协同设计提供新视角。
2025-06-03 cs.DC physics.app-ph physics.comp-ph
Strategies for Molecular Dynamics using Hybrid Systems: LAMMPS Use Case
Universidade São Francisco (USF)（圣弗朗西斯科大学）
本文以抗菌肽Tritrpticin为工作负载，系统分析了LAMMPS模拟器在粗粒化生物分子模拟中的纯MPI与混合MPI+OpenMP性能，发现纯MPI在多节点扩展性差，而混合策略在大规模下更高效。
2026-06-01 cs.DC
Session-Based Programming for Parallel Algorithms: Expressiveness and Performance
本文研究会话编程和类型的基准测试的例子，比较生产力，安全性和性能与其他通信程序设计语言。并行算法被用来检查上述方面，由于它们广泛使用的消息传递的交互，以及它们在算法研究中的日益突出的硬件资源，如多核机器和集群的可用性。我们贡献了新的基准测试结果SJ，Java的类型安全，二进制会话编程的扩展，对MPJ Express，基于MPI标准的Java消息传递系统。总之，我们观察到（1）尽管有丰富的库和功能，MPI仍然是一个低级API，并且可能遭受显式消息传递的常见缺点，如死锁和意外的消息类型，以及（2）高级会话抽象的好处，这对程序结构有显着影响，以提高可读性和可靠性，并且会话类型安全可以极大地促进通信编程的任务，同时保持有竞争力的性能。
2010-02-04 cs.DC cs.PL
Distributed Order Recording Techniques for Efficient Record-and-Replay of Multi-threaded Programs
Nanchang Hangkong University（南昌航空大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；RIKEN R-CCS（理化学研究所计算科学研究中心）；NVIDIA（英伟达）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Technical University of Munich（慕尼黑工业大学）
本文提出基于分布式时钟和纪元的记录回放技术，提升多线程程序的回放效率，并可与 MPI 工具结合处理复杂混合编程应用。
2026-02-17 cs.DC
Exploiting the Interplay of Compute- and Memory-Bound kernels in MPI Applications
University of Bonn（波恩大学）
本文发现MPI应用中通信停顿可缓解内存带宽争用，通过并行光流求解器展示去同步化带来的加速，并开发微基准测试与模拟器验证，表明自然去同步化是架构感知优化。
2026-10-02 cs.DC cs.PF
Dynamic Contract Analysis for Parallel Programming Models
Technische Unversität Darmstadt（达姆施塔特工业大学）
CoVer-Dynamic通过动态分析扩展，结合静态分析的合同方法，提高了并行编程模型的正确性检查效率和准确性。
2026-03-03 cs.DC
Massively Parallel Genetic Optimization through Asynchronous Propagation of Populations
本文提出进化优化框架 Propulate，通过取消逐代同步并基于当前完整种群异步繁殖，实现面向 HPC 的大规模并行全局优化与超参数搜索，相较 Optuna 最高提速三个数量级且不损失精度。
2023-01-20 cs.DC cs.NE
Advancing the distributed Multi-GPU ChASE library through algorithm optimization and NCCL library
本文通过重构内存布局、并行化、通信避免算法及 NCCL 替换 MPI 优化分布式多 GPU ChASE，使其可求解百万阶稠密 Hermitian 问题并扩展到 900 节点。
2023-09-27 cs.CE cs.DC
The Research and Optimization of Parallel Finite Element Algorithm based on MiniFE
有限元法是现代工程设计和分析中最重要的数值方法之一。由于传统的串行有限元法难以高效、准确地求解大型有限元问题，高性能并行有限元法已成为解决实际工程问题的重要途径之一。本文以国家能源研究科学计算中心（NERSC）发布的MiniFE程序为基础，分析了并行有限元的具体步骤、关键计算模式和并行机制。根据实验结果，分析了各模块计算量的比例，并总结出程序的主要性能瓶颈。在此基础上，在服务器平台上对MiniFE程序进行了优化。针对程序的瓶颈-- SpMV内核进行了优化，并采用了高效的存储格式BCRS。并提出了MPI+OpenMP混合编程的改进方案。实验结果表明，优化后的程序在SpMV内核和同步方面都有较好的性能。它可以将程序的性能平均提高8.31%。关键词：有限元，并行，MiniFE，SpMV，性能优化
2015-05-29 cs.DC cs.MS
Hybrid Static/Dynamic Schedules for Tiled Polyhedral Programs
多面体编译器执行诸如平铺和并行化之类的优化;当同时执行这两项时，它们通常生成执行平铺的“屏障同步波前”的代码。我们提出了一个系统来表达和生成代码的混合时间表，其中一些约束是自动满足通过结构的代码，其余的动态执行在运行时与数据流机制。我们证明了边界上增加的开销是更好的，至少一个多项式的程度，比以前的技术。我们提出了一种通用的机制来实现所需的同步，并表明它可以很容易地实现各种目标：OpenMP，Pthreads，GPU（CUDA或OpenCL）代码，语言，如X10，Habanero，Cilk，以及数据流平台，如DAGuE，OpenStream和MPI。我们还提供了一个简单的具体实现，它不需要任何复杂的运行时机制。我们的实验表明，我们的简单的实现是有竞争力的或优于其他系统产生的波前同步代码。我们还展示了如何提出的机制可以实现24%至70%的能源减少。
2016-10-23 cs.DC cs.PF cs.PL
The Role of Idle Waves, Desynchronization, and Bottleneck Evasion in the Performance of Parallel Programs
分布式存储系统上的高度并行应用程序的性能受到许多因素的影响。分析性能建模技术旨在提供对性能限制的深入了解，并且通常是优化工作的起点。然而，跨系统层次（套接字，节点，网络）耦合分析模型未能涵盖程序代码和硬件之间的复杂相互作用，特别是当涉及执行和通信瓶颈时。在本文中，我们调查的影响，“瓶颈规避”，以及它是如何导致自动重叠的通信开销与计算。瓶颈规避会导致并行代码逐渐失去初始的大容量同步行为，从而使其进程变得非同步化。这种情况在内存受限的程序中最为突出，这就是为什么我们选择内存受限的基准测试和应用程序代码，特别是MPI增强的STREAM Triad，稀疏矩阵向量乘法和集体避免Chebyshev滤波器对角化代码，以展示在两个不同的超级计算平台上去冗余化的后果。我们调查空闲波的作用，可能触发desertification和自动异步通信的频谱的代码属性和参数，如饱和点，矩阵结构，域分解，通信并发的影响。我们的研究结果揭示了如何消除同步点（如集体通信或障碍）沉淀性能的改善，超出了可以预期的只是从整体运行时减去集体的开销。
2022-05-09 cs.DC cs.PF
