GPU Implementation and Optimization of a Flexible MAP Decoder for Synchronization Correction
在本文中，我们提出了一个优化的并行实现的灵活的MAP解码器的同步纠错码，支持非常广泛的代码大小和信道条件。在中档GPU上，我们展示了相同优化算法的CPU实现的解码加速比超过两个数量级，并且比我们早期的GPU实现多一个数量级。突出的挑战是在广泛的代码大小和通道条件以及不同的执行硬件上保持高并行化效率。我们确保这与一个动态的策略，在运行时选择并行执行参数。我们还提出了一个变种，权衡一些解码速度显着降低内存需求，没有损失的解码器的纠错性能。我们的实现增加的吞吐量和它的工作能力，更少的内存，使我们能够分析较大的代码和较差的信道条件，并使实际使用这些代码更可行。
2018-02-23 cs.DC cs.IT math.IT
SiFAR: Synchronization-Free All-Reduce for Low-Latency LLM Inference
NVIDIA（英伟达）
研究针对大语言模型推理中令牌生成延迟瓶颈，提出无同步全规约算法SiFAR。通过消除一次性算法写后写依赖、利用交换机片上规约等方法，减少全规约延迟，提升端到端吞吐量，在特定条件下取得显著性能提升。
2026-07-13 cs.DC
A Server-based Approach for Predictable GPU Access with Improved Analysis
我们提出了一种基于服务器的方法来管理一个通用的图形处理单元（GPU）在一个可预测的和有效的方式。我们提出的方法引入了一个GPU服务器，这是一个专门的任务来处理来自其他任务的GPU请求。GPU服务器确保访问GPU的时间有限，并允许其他任务在GPU计算期间暂停，以节省CPU周期。通过这样做，我们解决了现有的基于实时同步的GPU管理方法的两个主要限制：忙等待和长优先级反转。我们已经实现了一个原型的基于服务器的方法在一个真正的嵌入式平台。本案例研究证明了基于服务器的方法的实用性和有效性。实验结果表明，基于服务器的方法在大多数实际环境中产生显着的改善，在现有的基于同步的方法的任务可扩展性。虽然我们在本文中专注于GPU，但基于服务器的方法也可以用于其他类型的计算加速器。
2018-05-11 cs.DC
Massively-Parallel Implementation of Inextensible Elastic Rods Using Inter-block GPU Synchronization
本研究基于块间GPU同步实现了CoRdE弹性杆模型及其不可伸长变体的大规模并行模拟，大幅提升计算速度，可支持心血管场景下导管导丝的触觉级实时仿真。
2025-09-04 cs.DC cs.GR
RedSync : Reducing Synchronization Traffic for Distributed Deep Learning
Tsinghua University（清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）
数据并行已成为跨多个节点扩展深度神经网络（DNN）训练的主要方法。由于局部模型的大量梯度同步可能是大规模分布式训练的瓶颈，因此压缩通信数据近年来得到了广泛的关注。在最近提出的几种压缩算法中，残差梯度压缩（RGC）是最成功的方法之一，它可以在保持正确精度和相同收敛速度的前提下，显著地压缩每个节点的发送消息大小（0.1%的梯度大小）。然而，关于压缩深度网络的文献几乎完全集中在实现良好的理论压缩率上，而RGC在实际分布式实现中的效率却很少被研究。在本文中，我们开发了一个基于RGC的系统，能够减少真实世界多GPU系统上的端到端训练时间。我们提出的设计称为RedSync，它引入了一组优化，以减少通信带宽的要求，同时引入有限的开销。我们在两个不同的多GPU平台上评估了RedSync的性能，包括128个GPU的超级计算机和8-GPU服务器。我们的测试用例包括Cifar 10和ImageNet上的图像分类任务，以及Penn Treebank和Wiki 2数据集上的语言建模任务。对于具有高通信计算比的DNN，长期以来被认为可扩展性差，RedSync带来了显着的性能改进。
2019-07-22 cs.CV cs.DC cs.LG
Eidola: Modeling Multi-GPU Network Communication Traffic in Distributed AI Workloads
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；AMD Research and Advanced Development（AMD研究与先进开发）
提出Eidola，一种可扩展的gem5模拟框架扩展，通过注释时序配置精确建模多GPU间通信流量，支持细粒度同步分析和架构探索。
2026-06-12 cs.AR cs.DC
Scaling State-Space Models on Multiple GPUs with Tensor Parallelism
Stony Brook University（石溪大学）
本文提出一种通信高效的张量并行设计，用于在多GPU上加速选择性状态空间模型推理，通过状态缓存、参数分区和量化AllReduce减少通信开销，提升吞吐量。
2026-02-24 cs.DC cs.LG
Accelerating Mobile Inference through Fine-Grained CPU-GPU Co-Execution
University of Southern California（南加州大学）
本文提出利用细粒度CPU-GPU协同执行机制，通过轻量级同步机制和机器学习模型提升移动设备推理速度，实现线性层和卷积层的加速效果
2026-02-18 cs.DC cs.LG cs.PF
Efficient and Robust Parallel DNN Training through Model Parallelism on Multi-GPU Platform
深度神经网络（DNN）的训练过程是计算密集型的，通常需要数天到数周的时间来训练DNN模型。因此，在GPU上并行执行DNN训练是当今广泛采用的加速过程的方法。由于实现简单，数据并行是目前最常用的并行化方法。然而，由于GPU之间频繁的权重同步，数据并行遭受过多的GPU间通信开销。另一种方法是流水线模型并行，它在GPU之间划分DNN模型，并并发处理多个小批。与数据并行相比，该方法可以显著降低GPU间通信成本。然而，流水线模型并行面临着权重陈旧的问题;也就是说，梯度是用陈旧的权重计算的，导致训练不稳定和精度损失。在本文中，我们提出了一种流水线模型并行执行方法，使高GPU利用率，同时保持强大的训练精度，通过一种新的权重预测技术，SpecTrain。实验结果表明，我们的建议实现了高达8.91倍的加速比相比，在4-GPU平台上的数据并行，同时保持可比的模型精度。
2019-10-28 cs.DC cs.LG
TopoEP: Topology-Aware Load Balancing for Expert-Parallel MoE Training
University of Science and Technology of China（中国科学技术大学）
针对专家并行MoE训练中的负载不均衡问题，提出GPU原生、拓扑感知的负载均衡系统TopoEP，通过确定性GPU求解器生成热门专家复制与令牌重路由计划，在32-GPU集群上提升训练吞吐量6.2%至11.4%。
2026-09-29 cs.DC cs.LG
Empowering Distributed Training with Sparsity-driven Data Synchronization
Rice University（莱斯大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Zhejiang University（浙江大学）
针对分布式训练中梯度同步的通信瓶颈，本文分析稀疏张量特性，探索最优通信方案，并开发了Zen系统，实现通信时间最高5.09倍、训练吞吐量最高2.48倍的加速。
2024-12-14 cs.DC cs.LG
Blink: Fast and Generic Collectives for Distributed ML
Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
跨GPU的模型参数同步为大规模数据并行训练引入了高开销。现有的参数同步协议不能有效地利用可用的网络资源，面对不断增加的硬件异构性。为了解决这个问题，我们提出了Blink，一个集体通信库，通过包装生成树动态生成最佳的通信原语。我们提出的技术，以尽量减少生成的树的数量和扩展Blink利用异构通信通道更快的数据传输。评估表明，与最先进的NCCL相比，Blink可以实现高达8倍的模型同步速度，并将图像分类任务的端到端训练时间减少高达40%。
2019-10-11 cs.DC cs.LG
Comparative Analysis of FPGA and GPU Performance for Machine Learning-Based Track Reconstruction at LHCb
LIP6, LPNHE Sorbonne Université CNRS, IN2P3 Paris, France（LIP6、LPNHE 索邦大学 CNRS、IN2P3 巴黎）；Massachusetts Institute of Technology（麻省理工学院）；Sorbonne Université CNRS, IN2P3 Paris, France（索邦大学 CNRS、IN2P3 巴黎）
本文比较了LHCb实验一级触发器中径迹重建流水线首步多层感知机在FPGA（使用HLS4ML）与GPU上的推断吞吐量，证明FPGA具备高吞吐、低延迟且低功耗的潜力。
2025-04-30 cs.DC cs.LG hep-ex
Towards Universal Performance Modeling for Machine Learning Training on Multi-GPU Platforms
Advanced Micro Devices, Inc（超威半导体公司）；UC Davis（加州大学戴维斯分校）；Meta, Inc（元公司）；NVIDIA（英伟达公司）；University of California, Davis（加州大学戴维斯分校）
针对多GPU平台机器学习训练性能预测的挑战，该研究扩展单GPU建模工作，整合数据分布感知嵌入表模型与通信集合体移动预测，实现多GPU训练性能的准确预测与配置优化。
2024-11-26 cs.DC cs.LG cs.PF
Parallelizing the Unpacking and Clustering of Detector Data for Reconstruction of Charged Particle Tracks on Multi-core CPUs and Many-core GPUs
我们提出的结果从并行化的解包和聚类步骤的原始数据从硅带模块重建带电粒子轨道。通过在CPU上使用嵌套的OpenMP并行性或在GPU上使用CUDA流来并发处理多个事件，吞吐量得到进一步改进。新的实现以及早期的工作，在开发一个并行化和矢量化的组合卡尔曼滤波器算法的实现，使整个事件的有效的全球重建现代计算机架构。我们展示了在英特尔至强和NVIDIA GPU架构上的新实现的性能。
2021-01-27 cs.DC hep-ex
DreamDDP: Accelerating Data Parallel Distributed LLM Training with Layer-wise Scheduled Partial Synchronization
针对低带宽地理分布 DDP 中通信瓶颈，本文提出 DreamDDP，通过逐层部分同步、无额外显存的通信计算重叠及细粒度调度，实现 1.49×–3.91× 加速。
2025-02-16 cs.DC
Fast and Scalable Sparse Triangular Solver for Multi-GPU Based HPC Architectures
在现代基于多GPU的HPC系统上设计高效且可扩展的稀疏线性代数内核是一项艰巨的任务，这是由于GPU之间存在显著的不规则内存引用和工作负载不平衡。对于稀疏三角形求解器（SpTRSV）来说尤其如此，SpTRSV在后续计算步骤中引入了额外的二维计算依赖性。依赖信息在GPU之间交换和共享，从而保证高效的内存分配，数据分区和工作负载分配以及细粒度的通信和同步支持。在这项工作中，我们证明了直接采用统一内存会对SpTRSV在多GPU架构上的性能产生不利影响，尽管通过NVLinks和NVSwitches等快速互连进行链接。另外，我们采用最新的NVSHMEM技术的分区全局地址空间编程模型的基础上，使有效的细粒度通信和大幅减少同步开销。此外，为了处理工作负载不平衡，我们提出了一个可延展的任务池执行模型，可以进一步提高GPU的利用率。通过应用这些技术，我们在NVIDIA多GPU超级节点V100-DGX-1和DGX-2系统上的实验表明，我们的设计可以实现平均3.53倍（高达9.86倍）的DGX-1系统上的加速比和3.66倍（高达9.64倍）的DGX-2系统上的4个GPU的统一内存设计。全面的灵敏度和可扩展性研究也表明，提出的零拷贝SpTRSV是能够充分利用多GPU系统的计算和通信资源。
2020-12-13 cs.AR cs.DC
Synkhronos: a Multi-GPU Theano Extension for Data Parallelism
University of California, Berkeley（加州大学伯克利分校）
我们提出了Synkhronos，一个扩展Theano的多GPU计算利用数据并行。我们的框架提供跨设备的自动执行和同步，允许用户继续编写串行程序，而不会有竞争条件的风险。NVIDIA Collective Communication Library用于GPU间的高带宽通信。Theano函数接口的进一步增强包括输入切片（具有聚合）和输入索引，它们可以有效地执行常见的数据并行计算模式。一个示例用例是同步SGD，最近已经证明它可以很好地扩展越来越多的深度学习问题。在训练ResNet-50时，我们在使用8个GPU的NVIDIA DGX-1上实现了7.5倍的近线性加速，相对于仅运行单个GPU的Theano代码。然而，Synkhronos仍然适用于Theano中可编程的任何数据并行计算。通过在单个Theano函数级别实现并行性，我们的框架独特地解决了手动多设备编程和规定的多GPU训练例程之间的利基。
2017-10-11 cs.AI cs.DC cs.LG
ChASE -- A Distributed Hybrid CPU-GPU Eigensolver for Large-scale Hermitian Eigenvalue Problems
随着现代大规模并行集群越来越大，计算节点越来越强，传统的并行特征值求解器（如直接求解器）很难跟上硬件发展的步伐，并且由于额外的通信和同步层而能够有效地扩展。当将传统库移植到配备加速器的异构计算架构（如图形处理单元（GPU））时，这种困难尤为重要。最近，有显着的科学贡献的发展，基于滤波器的子空间本征求解器计算部分本征谱。这些类型的算法的结构更简单，使他们更容易避免通信和同步瓶颈的直接求解器的典型。Chebyshev Accelerated Subspace Eigensolver（ChASE）是一种基于Chebyshev多项式的滤波器加速的现代子空间特征值求解器，用于计算大规模Hermitian特征值问题的部分极值特征对。在这项工作中，我们扩展了我们以前的工作ChASE增加支持分布式混合CPU多GPU计算架构。我们的测试表明，ChASE在最大为$360$ k的密集本征问题上实现了非常好的扩展性能，最大可扩展到144个节点，总共526个NVIDIA A100 GPU。
2022-05-05 cs.DC cs.MS cs.PF
Efficient Expert-Parallel Communication on PCIe-Connected Consumer GPUs
Seoul National University（首尔国立大学）
针对PCIe连接消费级GPU的MoE推理，提出ThunderEP通信设计，消除中继跳、利用DMA引擎并降低轮询开销，在RTX 4090/5090系统上实现最高1.66倍端到端加速。
2026-10-01 cs.DC cs.LG
SwiftFusion: Scalable Sequence Parallelism for Distributed Inference of Diffusion Transformers on GPUs
University of Toronto \&\ Institute；Amazon；University of Toronto \& Vector Institute \& NVIDIA
针对扩散Transformer推理中序列并行方法的通信和同步瓶颈，提出拓扑感知的StreamFusion引擎，通过Torus Attention和单边通信实现平均1.35倍加速。
2026-05-22 cs.CV cs.DC
Toward a Unified GPU-Aware OpenSHMEM Specification
Hewlett Packard Enterprise (HPE)（惠普企业）；Advanced Micro Devices, Inc.（超威半导体公司）
研究针对领导级HPC系统中GPU内存模型缺乏可移植语义的问题，提出支持GPU通信的OpenSHMEM辅助规范，通过扩展内存模型等方式，实现跨多供应商GPU的语义指定与实现，迈向规范统一。
2026-07-10 cs.DC
DARIS: An Oversubscribed Spatio-Temporal Scheduler for Real-Time DNN Inference on GPUs
DARIS通过空间共享、时间划分和超额订阅GPU资源，实现高吞吐、低延迟的实时DNN调度，并支持零延迟任务迁移，显著优于现有方法。
2025-04-08 cs.DC
Advancing the distributed Multi-GPU ChASE library through algorithm optimization and NCCL library
本文通过重构内存布局、并行化、通信避免算法及 NCCL 替换 MPI 优化分布式多 GPU ChASE，使其可求解百万阶稠密 Hermitian 问题并扩展到 900 节点。
2023-09-27 cs.CE cs.DC
DWDP: Distributed Weight Data Parallelism for High-Performance LLM Inference on NVL72
NVIDIA
本文提出DWDP，一种无需层间同步的分布式权重数据并行策略，通过跨peer GPU卸载MoE权重和按需获取缺失专家，提升LLM推理性能，实测在8K输入和1K输出序列长度下，端到端TPS/GPU提升8.8%。
2026-05-12 cs.AI cs.DC
Performance Characterization of Distributed Deep Learning Strategies: A Quantitative Evaluation of DDP, FSDP, and Parameter Server Architectures on GPU Clusters
George Mason University（乔治梅森大学）
本文通过定量评估，比较了DDP、FSDP和参数服务器架构在GPU集群上的性能，发现FSDP在内存使用上更高效，而参数服务器在异步模式下虽能提升训练速度但牺牲了精度。
2026-01-05 cs.DC
Exploring GPU Stream-Aware Message Passing using Triggered Operations
现代异构超级计算系统由提供CPU和GPU的计算刀片组成。在这样的系统上，必须通过高速网络在这些不同的计算引擎之间有效地移动数据。虽然当前一代科学应用和系统软件栈是GPU感知的，但仍然需要CPU线程来编排数据移动通信操作和进程间同步操作。一种新的GPU流感知MPI通信策略称为流触发（ST）的通信进行了探索，允许卸载计算和通信控制路径的GPU。建议的ST通信策略通过新的专有HPE Slingshot NIC（Slingshot 11）在HPE Slingshot Interconnects上实施，并使用支持的触发操作功能。所提出的新的通信策略的性能进行评估，使用微基准内核称为面孔，基于最近的邻居通信模式的CORAL-2 Nekbone基准，在一个异构的节点架构组成的AMD CPU和GPU。
2022-08-09 cs.DC cs.NI
HetPipe: Enabling Large DNN Training on (Whimpy) Heterogeneous GPU Clusters through Integration of Pipelined Model Parallelism and Data Parallelism
深度神经网络（DNN）模型的规模不断增长，以提高模型的准确性和质量。此外，对于大型DNN模型的训练，由于新GPU架构的发布周期较短，使用异构GPU是不可避免的。在本文中，我们研究了如何在异构GPU集群上实现大型DNN模型的训练，该集群可能包括独立的无法用于训练的古怪GPU。我们提出了一个DNN训练系统HetPipe（Heterogeneous Pipeline），它集成了流水线模型并行（PMP）和数据并行（DP）。在HetPipe中，一组多个GPU（称为虚拟工作器）以流水线方式处理小批，多个这样的虚拟工作器采用数据并行以获得更高的性能。我们还提出了一种新的参数同步模型，我们称之为波同步并行（WSP），以适应PMP和DP的虚拟工作者，并提供收敛证明WSP。我们在给定的异构设置上的实验结果表明，与最先进的DP技术相比，使用HetPipe，DNN模型的收敛速度快了49%。
2020-05-28 cs.DC
FlashGPU-sim: Enabling GPU Modeling for Modern Architectures and AI Workloads
Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）
FlashGPU-sim是一个开源、周期精确的GPU模拟器，支持现代架构和AI工作负载，通过建模异步数据移动、张量核心等特性，实现5.24%的MAPE和7.86倍多线程加速。
2026-09-15 cs.AR cs.DC
PAGANI: A Parallel Adaptive GPU Algorithm for Numerical
针对大规模并行结构上的多维数值积分这一具有挑战性的问题，提出了一种新的自适应并行算法。自适应算法已经证明了最好的性能，但有效的众核利用率是难以实现的，因为自适应的工作负载可以在整个集成空间变化很大，是不可能预测的先验。现有的并行算法利用独立的处理器上的顺序计算，这导致由于需要数据重新分配和处理器同步的瓶颈。我们的算法采用了高吞吐量的方法，其中所有现有的子区域进行处理，并在并行细分。重复的子区域分类和过滤改进了蛮力方法，并允许算法有效地利用计算和存储器资源。CUDA实现显示了比最快的开源CPU方法高出几个数量级的加速，并扩展了困难被积体的可实现精度。我们的算法通常优于其他现有的确定性并行方法。
2021-06-23 cs.DC
GPU-accelerated Gibbs sampling: a case study of the Horseshoe Probit model
吉布斯抽样是一种广泛使用的马尔可夫链蒙特卡罗（MCMC）方法，用于贝叶斯统计和其他数学科学中的数值近似积分。MCMC方法的许多实现不容易扩展到并行计算环境，因为它们固有的顺序性质会导致很大的同步成本。在本文所示的案例研究中，我们展示了如何做吉布斯抽样在一个完全的数据并行的方式在图形处理单元上，一个大类的可交换模型，承认潜在的变量表示。我们的方法需要一个系统的角度来看，重点放在有效地利用计算硬件。我们在马蹄概率回归模型上演示了我们的方法，并发现我们的实现可以同时有效地扩展到数千个预测因子和数百万个数据点。
2018-03-21 cs.DC stat.CO
MQ-GNN: A Multi-Queue Pipelined Architecture for Scalable and Efficient GNN Training
Department of Computer Science and Engineering, Kyung Hee University (Global Campus), Republic of Korea（计算机科学与工程系，庆熙大学（全球校区），大韩民国）；College of Software, Kyung Hee University (Global Campus), Republic of Korea（软件学院，庆熙大学（全球校区），大韩民国）
MQ-GNN通过多队列流水线架构和RaCoM机制，实现高效的多GPU GNN训练，提升训练速度和GPU利用率。
2026-01-08 cs.AI cs.DC cs.LG
Accelerating Domain Propagation: an Efficient GPU-Parallel Algorithm over Sparse Matrices
线性约束的快速域传播已经成为当今最好的混合整数规划和伪布尔优化算法和求解器的关键组成部分，以实现峰值求解性能。输入数据中的动态算法行为、依赖结构和稀疏模式形式的干扰使得在GPU上以及更一般地在并行架构上有效实现域传播具有挑战性。这就是为什么最先进的求解器中的域传播仅是单线程的主要原因之一。在本文中，我们提出了一种新的算法域传播（a）避免了这些问题，并允许在GPU上的有效实现，是（b）能够运行传播轮完全在GPU上，而不需要任何同步或与CPU的通信。我们提出了大量的计算结果，证明了我们的方法的有效性，并表明在实际相关的问题上有可能实现充分的加速：在最先进的GPU上，我们对合理大的实例的几何平均加速约为10倍至20倍，在相当大的实例上可以高达180倍。
2021-08-25 cs.DC cs.DM cs.DS
FastDOG: Fast Discrete Optimization on GPU
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
提出了一种求解结构预测中0- 1整数线性规划问题的大规模并行Lagrange分解方法。我们提出了一个新的迭代更新方案解决拉格朗日对偶和扰动技术解码原始解。为了表示子问题，我们遵循Lange et al.（2021）并使用二元决策图（BDD）。我们的原始和对偶算法需要很少的子问题之间的同步和优化BDD只需要基本的操作，没有复杂的控制流。这使我们能够利用GPU为我们方法的所有组件提供的并行性。我们目前的实验结果组合问题的MAP推理马尔可夫随机场，二次分配和细胞跟踪发育生物学。我们的高度并行GPU实现将Lange等人（2021）算法的运行时间提高了数量级。特别是，我们接近或优于一些国家的最先进的专业化物流，同时是问题不可知论。我们的实现可以在https://github.com/LPMP/BDD上获得。
2022-04-19 cs.CV cs.DC cs.GT
