H2Opus: A distributed-memory multi-GPU software package for non-local operators
分层$\mathcal{H}^2$ -矩阵是非局部算子离散化的渐近最优表示，例如积分方程或核函数中的非局部算子。它们的$O(N)$在内存和操作应用程序方面的复杂性使它们特别适合于大规模问题。因此，有必要为这些矩阵上的分布式操作提供支持的软件，以允许大规模的问题被表示。在本文中，我们提出了高性能，分布式内存GPU加速算法和实现矩阵向量乘法和矩阵再压缩的分层矩阵的$\mathcal{H}^2$格式。这些算法是H2Opus的一个新模块，H2Opus是一个面向性能的软件包，支持CPU和GPU上的各种$\mathcal{H}^2$矩阵运算。分布式GPU设置中的性能是通过编组分层矩阵表示的树数据来实现的，以允许在各个GPU上执行批处理内核。MPI用于进程间通信。我们优化的通信数据量和隐藏的通信成本与本地计算阶段的算法。测试结果显示，Summit上最多可支持1024个NVIDIA V100 GPU的近乎理想的可扩展性，矩阵向量乘法的性能超过2.3 Tflops/s/GPU，矩阵压缩的性能超过670 Gflops/s/GPU，其中包括批量QR和SVD运算。我们说明了该库的灵活性和效率，通过求解一个二维可变扩散率积分分数扩散问题的代数多重网格预处理Krylov求解器，并展示了可扩展性高达16 M自由度的问题上64 GPU。
2021-09-12 cs.DC cs.MS
Scaled Block Vecchia Approximation for High-Dimensional Gaussian Process Emulation on GPUs
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Jülich Supercomputing Centre (JSC)（于利希超级计算中心）；Indiana University（印第安纳大学）；Argonne National Laboratory（阿贡国家实验室）
本文提出了一种基于GPU的缩放块Vecchia算法，用于高维高斯过程仿真的大规模计算，通过结合缩放Vecchia方法和块Vecchia方法，实现高效计算和内存优化，展示了在50M点模拟中的可扩展性和能效。
2026-03-24 cs.DC
MoLink: Distributed and Efficient Serving Framework for Large Models
MoLink是一个分布式服务框架，通过多项关键技术，在异构弱连接的消费级GPU上高效服务大型模型，实现高达458%的吞吐量提升和151%的成本利润率提升，并支持18种主流开源架构。
2025-10-16 cs.DC
GeoMesh: Workload-Balanced and Sign-Compressed Geo-Distributed LLM Training
Korea University（高丽大学）；Microsoft Research Asia（微软亚洲研究院）
针对地理分布式LLM训练中异构GPU同步等待和通信开销大的问题，提出GeoMesh框架，通过负载均衡和符号压缩伪梯度，将通信量减少近32倍，训练时间最多缩短70.2%。
2026-09-17 cs.DC
Lightweight Scheduling Policies for Continuously Batched LLM Serving Across GPU Architectures
Carnegie Mellon University, School of Computer Science（卡内基梅隆大学计算机科学学院）
本文针对跨GPU架构的连续批处理LLM服务，实现轻量级调度策略，通过多GPU、多模型的1152组实验，发现老化最短prompt优先是多数场景的实用基线，相关数据集已上传至Hugging Face。
2026-10-14 cs.DC cs.LG
Performance Modeling and Evaluation of Distributed Deep Learning Frameworks on GPUs
深度学习框架已经被广泛部署在GPU服务器上，用于学术界和工业界的深度学习应用。在训练深度神经网络（DNN）时，有许多标准的过程或算法，例如卷积和随机梯度下降（SGD），但是即使在相同的GPU硬件上运行相同的深度模型，不同框架的运行性能也可能不同。在这项研究中，我们评估了四种最先进的分布式深度学习框架（即，Caffe-MPI、CNTK、MXNet和TensorFlow）在单GPU、多GPU和多节点环境中的应用。我们首先在使用SGD训练DNN时建立标准过程的性能模型，然后我们用三种流行的卷积神经网络（即，AlexNet、GoogleNet和ResNet-50），然后分析了造成这四种框架性能差距的因素。通过分析和实验分析，我们确定了可以进一步优化的瓶颈和开销。主要的贡献是，所提出的性能模型和分析提供了进一步的优化方向，在算法设计和系统配置。
2018-08-20 cs.DC
Characterizing and Understanding Distributed GNN Training on GPUs
Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS)（中国科学院计算技术研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）
图神经网络（GNN）由于其在图上学习的有效性而在许多领域被证明是一种强大的模型。为了将GNN训练扩展到大型图，一种广泛采用的方法是分布式训练，它使用多个计算节点来加速训练。最大化性能是必不可少的，但分布式GNN训练的执行仍然是初步了解的。在这项工作中，我们对GPU上的分布式GNN训练进行了深入分析，揭示了几个重要的观察结果，并为软件优化和硬件优化提供了有用的指导。
2022-04-18 cs.DC cs.LG
Optimizing Network Performance for Distributed DNN Training on GPU Clusters: ImageNet/AlexNet Training in 1.5 Minutes
扩展深度神经网络（DNN）训练对于减少模型训练时间非常重要。高通信开销是多GPU分布式DNN训练的主要性能瓶颈之一。我们的调查表明，流行的开源DNN系统只能在56 Gbps网络连接的64个GPU上实现2.5的加速比。为了解决这个问题，我们提出了一个名为AdmisentFlow的通信后端，用于分布式DNN训练，并采用了一组网络优化技术。首先，我们将基于环的allreduce，混合精度训练和计算/通信重叠集成到ConcurrentFlow中。其次，我们提出了懒惰的allreduce通过融合多个通信操作到一个单一的，以提高网络吞吐量，并设计粗粒度稀疏通信，以减少网络流量，通过只传输重要的梯度块。当在512个GPU上训练ImageNet/AlexNet时，我们的方法实现了410.2的加速比，并在1.5分钟内完成了95个epoch的训练，优于现有的方法。
2019-10-22 cs.DC
B$^3$-PWL: GPU-Batched Branch-and-Bound for Piecewise-Linear Optimization with SOS2 Constraints
Johns Hopkins University（约翰斯·霍普金斯大学）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）；City University of Hong Kong（香港城市大学）；The Hong Kong Institute of AI for Science（香港人工智能科学研究所）
本文提出以GPU为中心的B³-PWL框架，通过批处理LP松弛子问题等技术，在PWL优化问题上实现了相对于cuOpt的9.25倍几何平均加速，性能优于多款CPU求解器。
2026-09-01 cs.DC math.OC
Whale: Efficient Giant Model Training over Heterogeneous GPUs
深度神经网络的扩展已被证明在提高模型质量方面是有效的，但也包括训练效率，可编程性和资源适应性方面的几个训练挑战。我们介绍了Whale，一个通用而高效的巨型模型分布式训练框架。为了支持各种并行策略及其混合，Whale通过定义两个新的模型注释形式的原语来概括编程接口，允许合并用户提示。Whale运行时利用这些注释并执行图形优化，以将本地深度学习DAG图形转换为分布式多GPU执行。Whale进一步引入了一种新的硬件感知并行策略，以平衡的方式提高了异构GPU上模型训练的性能。Whale部署在拥有512个GPU的生产集群中，成功训练了具有超过10万亿个模型参数的行业规模多模式模型（名为M6），展示了出色的可扩展性和效率。
2022-06-06 cs.DC
AccFFT: A library for distributed-memory FFT on CPU and GPU architectures
我们提出了一个新的库并行分布式快速傅立叶变换（FFT）。FFT在科学和工程中的重要性以及高性能计算的进步需要进一步改进。AccFFT将支持CUDA的图形处理单元（GPU）的现有FFT库扩展到分布式内存集群。我们使用重叠的通信方法来减少PCIe从/到GPU的传输开销。我们目前的数值计算结果小牛平台在得克萨斯州高级计算中心（TACC）和泰坦系统在橡树岭国家实验室（ORNL）。我们将库扩展到Titan的4，096个K20 GPU。
2016-05-25 cs.DC
SOLANET: Distributed Neighbor Graph Construction on GPU-Accelerated Systems
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
提出SOLANET，一种在GPU加速分布式系统上通过本地图构建和远程近似最近邻搜索实现高效邻居图构建的工具，在MI300A APU上单GPU性能优于现有方法，并在大规模数据上展示近线性加速。
2026-05-26 cs.DC
Poplar: Efficient Scaling of Distributed DNN Training on Heterogeneous GPU Clusters
本文提出Poplar分布式训练系统，通过扩展ZeRO实现异构感知，结合细粒度测量、批处理分配与搜索算法优化异构GPU集群利用率，实现全自动化并行，吞吐量提升1.02-3.92倍。
2024-08-22 cs.DC
Sailor: Automating Distributed Training over Dynamic, Heterogeneous, and Geo-distributed Clusters
Sailor系统通过结合搜索空间探索算法、运行时与内存模拟及支持异构的分布式训练框架，在动态、异构和地理分布式集群上自动化分布式训练，以优化吞吐量和成本。
2025-09-26 cs.DC
Distributed OpenMP Offloading of OpenMC on Intel GPU MAX Accelerators
本研究基于前期GPU适配基础，通过分布式OpenMP卸载将OpenMC蒙特卡罗代码扩展适配至Intel Data Center Max 1100 GPU，基准测试显示其相较第四代至强CPU实现显著加速，计算负载越高优势越明显。
2024-03-12 cs.DC
A GEMM interface and implementation on NVIDIA GPUs for multiple small matrices
Tech-X Corporation（Tech-X公司）
本文提出一种在NVIDIA GPU上处理多个小矩阵的GEMM接口与实现，针对小于16的矩阵尺寸，实现速度比CUDA Toolkit 5.0的批量cuBLAS快30%至600%，适用于有限元计算等应用。
2013-04-26 cs.DC cs.MS cs.NA
Communication-Efficient Sparsely-Activated Model Training via Sequence Migration and Token Condensation
本文提出分布式MoE训练系统Luffy，通过序列迁移隐藏GPU内令牌拉取路径，并利用令牌压缩消除冗余传输，在保持高专家并行度的同时显著降低通信开销，实现最高2.73倍加速。
2024-11-23 cs.DC
PRISM: Probabilistic Runtime Insights and Scalable Performance Modeling for Large-Scale Distributed Training
FAIR at Meta（Meta FAIR）；Harvard University（哈佛大学）
针对大规模分布式训练中运行时波动问题，PRISM提出一种统计方法，通过概率保证量化训练时间，实现性能优化和系统效率提升。
2026-09-23 cs.DC
Theano-MPI: a Theano-based Distributed Training Framework
University of Guelph（圭尔夫大学）；SHARCNET, Compute Canada（加拿大计算公司SHARCNET）
我们开发了一个可扩展和可扩展的训练框架，可以在集群中的节点上利用GPU，并基于数据并行加速深度学习模型的训练。同步和异步训练都在我们的框架中实现，其中GPU之间的参数交换基于CUDA感知的MPI。在本报告中，我们分析了框架的收敛性和能力，以减少AlexNet和GoogLeNet的同步训练从2个GPU扩展到8个GPU时的训练时间。此外，我们探索新的方法来减少由交换参数引起的通信开销。最后，我们将该框架作为开源发布，以便进一步研究分布式深度学习
2016-05-26 cs.DC cs.LG
Magnum.np.distributed: Accelerating Finite Difference Micromagnetic Simulations with Multiple GPUs
Kyushu University（九州大学）
本文通过PyTorch Distributed扩展Python原生微磁框架magnum.np，首次实现多GPU加速，在8个NVLink连接的GPU上对退磁有效场计算获得7.0倍加速，并通过MPI后端在CPU上实现6.8倍加速。
2026-05-31 cond-mat.mes-hall cs.DC
DRIFT: Direct Reduced Fourier Transforms for Distributed Spectral Neural Operators
研究如何将傅里叶神经算子扩展到高分辨率空间网格，核心方法是引入分布式截断谱变换（DTST）并实现为DRIFT，主要贡献是在多GPU上实现显著加速，减少通信时间，提升计算效率。
2026-07-17 cs.DC
Accelerating Exact and Approximate Inference for (Distributed) Discrete Optimization with GPUs
University of Michigan（密歇根大学）；New Mexico State University（新墨西哥州立大学）；University of California, Irvine（加利福尼亚大学尔湾分校）
离散优化问题是人工智能的核心问题。成本函数网络的聚合成本的优化出现在各种问题中，包括（W）CSP，DCOP，以及随机变量中的优化，例如在信念网络中找到最可能解释（MPE）的任务。基于推理的算法是解决离散优化问题的强大技术，可以单独使用或与其他技术结合使用。然而，它们的适用性往往受到其计算密集型性质和空间要求的限制。本文提出了一种新的推理为基础的技术，利用现代大规模并行架构，如图形处理单元（GPU），以加快精确和近似推理为基础的离散优化算法的分辨率的设计和实现。本文研究了所提出的算法在集中式和分布式优化上下文中。该文件表明，GPU的使用提供了显着的优势，在运行时间和可扩展性方面，实现了两个数量级的加速，并显示出相当大的减少执行时间（高达345倍的速度）相对于顺序版本。
2017-06-16 cs.AI cs.DC
Parallel Distributed Breadth First Search on the Kepler Architecture
我们提出的结果，通过使用我们的CUDA为基础的解决方案的探索，通过广度优先搜索，大型图形的演变。这个最新版本最大限度地利用了Kepler架构的功能，并依赖于一系列技术来减少GPU之间的通信数量和交换的数据量。最终的结果是，通过使用配备4096个Tesla K20X GPU的集群，代码可以在一秒钟内访问超过8000亿条边。
2014-12-23 cs.DC
Efficient Training of Convolutional Neural Nets on Large Distributed Systems
深度神经网络（DNN）在包括图像分类在内的许多应用领域都取得了令人印象深刻的准确性。DNN的训练是一个计算极其密集的过程，并且使用随机梯度下降（SGD）算法的变体来解决。最近的许多研究都集中在提高DNN训练的性能上。在本文中，我们提出了优化技术，以提高使用火炬框架的数据并行同步SGD算法的性能：（i）我们保持在内存中的数据，以避免文件I/O开销，（ii）我们提出了一个基于多色的MPI Allreduce算法，以最大限度地减少通信开销，（iii）我们提出了优化的火炬数据并行表框架，处理多线程。我们评估了我们的优化的Power 8 Minsky集群与32个节点和128 NVidia Pascal P100 GPU的性能。通过我们的优化，我们能够在48分钟内使用256个GPU在Imagenet-1 k数据集上训练90个epoch的ResNet-50模型。这大大提高了以前最好的性能，即在65分钟内使用256个GPU在同一数据集上训练90个epoch的ResNet-50模型。据我们所知，这是Imagenet-1 k数据集最著名的训练性能。
2017-11-02 cs.DC
A DAG Model of Synchronous Stochastic Gradient Descent in Distributed Deep Learning
凭借海量的训练数据，深度学习在许多人工智能（AI）应用中取得了重大突破。然而，这种大规模的数据集带来了计算挑战，需要将训练分布在配备GPU等加速器的集群上。随着GPU计算能力的快速提升，GPU之间的数据通信已成为影响整体训练性能的潜在瓶颈。本文首先提出了一种通用的有向无环图（DAG）模型来描述分布式同步随机梯度下降（S-SGD）算法，该算法在分布式深度学习框架中得到了广泛的应用。为了了解数据通信对训练性能的实际影响，我们对四种最先进的分布式深度学习框架（即，Caffe-MPI、CNTK、MXNet和TensorFlow）在多GPU和多节点环境中使用不同的数据通信技术，包括PCIe、NVLink、10 GbE和InfiniBand。通过分析和实验研究，我们确定了可以进一步优化的潜在瓶颈和开销。最后，我们公开了我们的实验轨迹的数据集，这可以用来支持基于模拟的研究。
2018-10-31 cs.DC
An Adaptive Load Balancer For Graph Analytical Applications on GPUs
图形分析工作负载的GPU线程之间的负载平衡是困难的，因为图形应用程序的不规则性和顶点度的高度可变性，特别是在幂律图中。我们描述了一种新的负载均衡计划来解决这个问题。我们的计划是在IrGL编译器中实现的，允许用户从高级顺序程序中为GPU生成高效的负载平衡代码。我们评估了多达16个分布式GPU上的几个图形分析应用程序，使用IrGL来编译代码，并使用Gluon基板进行GPU间通信。我们的实验表明，该计划可以实现平均速度提高2.2倍的输入，遭受严重的负载不平衡问题时，以前的国家的最先进的负载平衡计划使用。
2020-02-27 cs.DC
RDMA-Based Algorithms for Sparse Matrix Multiplication on GPUs
本文针对GPU分布式环境下的稀疏矩阵乘法，提出基于RDMA和NVSHMEM的异步SpMM与SpGEMM算法，实验表明其性能优于批量同步方案，并支持工作窃取等新算法。
2024-05-31 cs.DC
Distributed learning of CNNs on heterogeneous CPU/GPU architectures
卷积神经网络（CNN）已被证明是强大的分类工具，适用于从支票阅读到医疗诊断的各种任务，接近人类感知，在某些情况下甚至超越人类感知。然而，要解决的问题变得越来越大，越来越复杂，这意味着更大的CNN，导致更长的训练时间，即使采用图形处理单元（GPU）也无法跟上。这个问题通过使用更多的处理单元和分布式训练方法得到部分解决，这些方法由几个专用于神经网络训练的框架提供。然而，这些技术没有充分利用CNN提供的可能的并行化以及具有不同处理能力、时钟速度、存储器大小等的异构设备的协同使用。本文提出了一种用于CNN并行训练的新方法，该方法可以被认为是模型并行的一个特定实例，其中仅分布卷积层。事实上，在训练期间处理的卷积（包括前向和后向传播）表示全局处理时间的$60$ - $90$ \%。本文分析了网络规模、带宽、批量大小、设备数量（包括它们的处理能力）和其他参数的影响。结果表明，该技术能够减少训练时间，而不会影响CPU和GPU的分类性能。对于CIFAR-10数据集，分别使用具有两个卷积层的CNN以及$500$和$1500$内核，最佳加速比使用四个CPU实现$3.28\times$，使用三个GPU实现$2.45\times$。比CIFAR-10更大和更复杂的现代成像数据集肯定需要超过$60$ - $90$ \%的处理时间来计算卷积，并且加速将倾向于相应地增加。
2017-12-07 cs.DC
DiFuseR: A Distributed Sketch-based Influence Maximization Algorithm for GPUs
本文提出DiFuseR，一种面向多GPU分布式环境的高效影响力最大化算法，通过提升GPU利用率、减少通信与重叠计算，实现显著加速。
2024-10-17 cs.DC cs.PF cs.SI
H2OPUS-TLR: High Performance Tile Low Rank Symmetric Factorizations using Adaptive Randomized Approximation
密集矩阵的瓦片低秩表示将它们划分成大致均匀大小的块，其中每个非对角瓦片被压缩并存储为其自己的低秩因子分解。它们为实际应用中出现的许多数据稀疏密集算子提供了有吸引力的表示，可以实现大量压缩和更小的内存占用。TLR矩阵是规则的完全跨步数据结构的简单性与分层低秩矩阵的不平衡树的最佳复杂性之间的折衷，并且通过其瓦片大小提供方便的性能调整参数，所述瓦片大小可以被成比例以考虑瓦片驻留在存储层次结构中的高速缓存大小。目前还没有高性能算法可以生成Cholesky和$LDL^T$因子分解，特别是在GPU上。当对TLR矩阵进行因子分解时实现高性能的困难来自于在因子分解过程期间必须执行的昂贵的压缩操作以及导致处理核心的不规则工作模式的瓦片的自适应秩分布。在这项工作中，我们开发了一个动态的并行运算，并将其与批量自适应随机近似相结合，以实现GPU和CPU上的高性能。我们的实现达到了超过1.2 TFLOP/s的双精度的的V100 GPU上，并受到限制的批处理GEMM操作的性能。在空间统计中产生的大小为$N = 131K$的协方差矩阵的Cholesky因子分解可以在短短几秒钟内分解到精确度为$ε=10^{-2}$。我们相信，所提出的GEMM为中心的算法可以很容易地移植到新的硬件，如张量核心，优化小型GEMM操作。
2021-08-26 cs.DC cs.MS
PixelFlow: Token-Level Workload Management for Efficient Distributed DiT Serving
The University of Melbourne（墨尔本大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
PixelFlow通过令牌级工作负载管理实现分布式DiT服务的高效调度，在满足延迟SLO的同时提升GPU利用率，显著提高SLO达成率和有效吞吐量。
2026-09-18 cs.DC
Toward Distributed 3D Gaussian Splatting for High-Resolution Isosurface Visualization
本研究提出3D高斯泼溅的多GPU扩展方案，通过改编Grendel-GS的多GPU后端实现分布式优化，在多数据集上取得显著加速并突破单GPU显存限制，为其在HPC科学可视化中的应用奠定基础。
2025-09-05 cs.DC
NotebookOS: A Replicated Notebook Platform for Interactive Training with On-Demand GPUs
针对现有交互式深度学习训练笔记本平台GPU利用率低、成本高的问题，提出采用Raft同步复制内核、资源超额订阅、按需分配GPU等机制的NotebookOS平台，可大幅节省GPU时长并提升交互性。
2025-10-02 cs.DC
Large-Scale Stochastic Learning using GPUs
IBM Research - Zurich（IBM苏黎世研究院）
在这项工作中，我们提出了一个加速随机学习系统非常大规模的应用。加速是通过将训练算法映射到大规模并行处理器上来实现的：我们展示了广泛使用的随机坐标下降/上升算法的并行异步GPU实现，该算法可以提供高达35倍的连续CPU实现速度。为了在不适合单个GPU内存的非常大的数据集上进行训练，我们考虑了分布式随机学习技术。当训练数据通过实例或特征分布时，我们提出了一种新的方法用于最优地聚集来自工作节点的模型更新。使用这种技术，我们证明了可以在多达8个工作节点上扩展随机学习，而不会损失任何显著的训练时间。最后，我们将GPU加速与优化的分布式方法相结合，在由2亿个训练样本和7500万个特征组成的数据集上进行训练。我们表明，通过跨4个GPU扩展，可以在大约4秒内实现高度的训练准确性：与跨4个CPU的多线程分布式实现相比，训练时间加快了20倍。
2017-02-22 cs.DC cs.LG
ByteSplat: Efficient Distributed 3D Gaussian Splatting Training via Intra- and Inter-GPU communication reduction
Shanghai Jiao Tong University（上海交通大学）；IEIT SYSTEMS Co., Ltd.（亿道信息系统有限公司）
ByteSplat通过融合光栅化内核、硬件感知剪枝和梯度稀疏性通信减少，实现高效分布式3DGS训练，显著降低数据移动并提升训练速度。
2026-10-05 cs.DC
Toward Heterogeneous, Distributed, and Energy-Efficient Computing with SYCL
本文提出基于SYCL的高层编程接口，通过Celerity和SYnergy两个扩展分别解决加速器集群工作负载分配与高能效计算问题，从而简化异构高性能计算系统编程。
2025-05-09 cs.DC
Kernel-as-a-Service: A Serverless Interface to GPUs
无服务器计算使得在可扩展的云资源上部署应用程序比以往任何时候都更容易，同时也为云提供商带来了更高的利用率。虽然这种技术对于CPU和本地DRAM等容易分割的资源效果很好，但它很难整合更昂贵的单片资源，如GPU或其他应用程序加速器。我们不能简单地将GPU放在FaaS平台上，并期望保持无服务器承诺的所有好处。如果我们想最好地利用这些关键资源，我们需要一个更有针对性的方法。在本文中，我们介绍了内核即服务（KaaS），这是一种面向GPU的无服务器接口。在KaaS中，GPU是一等公民，就像任何其他无服务器功能一样被调用。KaaS不像通常那样混合主机和GPU代码，而是运行仅GPU代码的图形，而主机代码运行在传统函数上。KaaS系统负责管理GPU内存并跨整个可用GPU池调度用户内核，而不是依赖于静态分配。这种方法使我们能够更有效地共享昂贵的GPU资源，特别是在云计算等多租户环境中。我们将对KaaS的支持添加到Ray分布式计算框架中，并使用包括基于TVM的深度学习编译器和BLAS库在内的工作负载对其进行评估。我们的研究结果表明，当GPU资源竞争时，KaaS能够将吞吐量提高50倍，延迟降低16倍。
2022-12-15 cs.DC
Data-parallel distributed training of very large models beyond GPU capacity
IBM；IBM Research（IBM研究院）
GPU的内存有限，很难训练宽和/或深的模型，这会导致训练过程耗尽内存。本文展示了一种名为Large Model Support（LMS）的开源工具如何利用CPU和GPU之间的高带宽NVLink连接来完成深度卷积网络的训练。LMS在CPU内存和GPU内存之间执行张量交换，使得在训练步骤中仅将所需的最小数量的张量保留在GPU内存中。它还显示了LMS如何与基于MPI的分布式深度学习模块相结合，以跨多个GPU的数据并行方式训练模型，使得每个GPU都利用CPU内存进行张量交换。讨论了支持高带宽GPU与CPU链接的硬件架构，以及作为PowerAI包提供的相关软件工具集。
2018-11-29 cs.DC cs.LG
Accelerating an Iterative Eigensolver for Nuclear Structure Configuration Interaction Calculations on GPUs using OpenACC
为了加速在配备通用图形处理单元（GPU）的分布式内存并行系统上解决核物理多体计算中产生的大型本征值问题，我们修改了之前开发的本征值求解器的混合MPI/OpenMP实现。使用基于OpenACC指令的编程模型，以FORTRAN 90编写。这种方法需要对原始代码进行最小的更改，并且能够将大规模核结构模拟从分布式存储器众核CPU系统平滑迁移到分布式GPU系统。然而，为了使基于OpenACC的特征值求解器在GPU上高效运行，我们需要考虑众核CPU和GPU设备之间的架构差异。因此，插入OpenACC指令的最佳方式可能与插入OpenMP指令的原始方式不同。我们指出这些差异的实施稀疏矩阵矩阵乘法（SpMM），这构成了本征解算器的主要成本，以及其他差异的预处理步骤和密集的线性代数运算。我们比较了基于OpenACC的实现在多个GPU上执行的性能与分布式内存众核CPU上的性能，并证明了GPU上实现的显着加速比众核CPU的节点上性能。我们还表明，多个GPU上的特征值求解器的整体性能提高是更温和的，由于不同的MPI行列之间的通信开销。
2021-09-01 cs.DC cs.MS cs.NA
DeepCEE: Efficient Cross-Region Model Distributed Training System under Heterogeneous GPUs and Networks
针对云-边-端跨区域环境中异构GPU和不稳定网络带来的挑战，DeepCEE采用以通信为中心的设计，通过异构设备分析、零气泡流水线并行和动态环境适配，实现1.3-2.8倍训练吞吐量提升。
2025-05-27 cs.DC cs.SY eess.SY
High-Performance Multi-Mode Ptychography Reconstruction on Distributed GPUs
重叠关联成像是一种新兴的成像技术，能够从具有扩展横向尺寸的样品提供波长受限的空间分辨率。作为扫描显微镜方法，典型的二维图像需要多个数据帧。作为一种基于衍射的成像技术，必须通过迭代重建算法来恢复实空间图像。由于这两个固有方面，重叠关联重建通常是计算密集且耗时的过程，这限制了该方法的吞吐量。我们报告了一个加速版本的多模式差分映射算法的重叠关联重建使用多个分布式GPU。这种方法利用了Python中可用的科学计算包，包括mpi4py和PyCUDA，核心计算功能在CUDA C中实现。我们发现，有趣的是，即使使用MPI集体通信，GPU节点数量的弱缩放仍然可以保持几乎恒定。最重要的是，对于现实的衍射测量，我们观察到的加速范围从$10$到$10^3$的因素取决于数据的大小，这减少了重建时间显着从小时到通常约1分钟，因此是至关重要的实时数据处理和可视化。
2018-08-30 cond-mat.mes-hall cs.DC physics.comp-ph
ChainerMN: Scalable Distributed Deep Learning Framework
Preferred Networks, Inc.（Preferred Networks 公司）
深度学习之所以能够在各个领域取得突破，关键之一就是利用了以GPU为核心的高计算能力。通过分布式处理实现进一步的计算能力的使用不仅对于使深度学习更大更快，而且对于解决未解决的挑战至关重要。我们提出了ChainerMN的设计，实现和评估，我们开发的分布式深度学习框架。我们证明了ChainerMN可以将ResNet-50模型的学习过程扩展到ImageNet数据集，高达128个GPU，并行效率为90%。
2017-10-31 cs.DC cs.LG cs.NE
Cephalo: Harnessing Heterogeneous GPU Clusters for Training Transformer Models
针对异构GPU集群中因GPU算力和内存差异导致的资源分配低效问题，提出Cephalo系统，通过将计算分布与训练状态分配解耦来优化计算和内存使用，在支持更大模型和批次规模的同时实现了显著更高的训练吞吐量。
2024-11-14 cs.DC
Distributed Hybrid CPU and GPU training for Graph Neural Networks on Billion-Scale Graphs
图神经网络（GNN）在从图结构数据中学习方面取得了巨大的成功。它们被广泛用于各种应用，例如推荐、欺诈检测和搜索。在这些域中，图通常是大的和异构的，包含数百万或数十亿个不同类型的顶点和边。为了应对这一挑战，我们开发了DistDGLv 2，这是一个扩展DistDGL的系统，用于使用分布式混合CPU/GPU训练，以小批量方式在大规模异构图上训练GNN。DistDGLv 2将图形数据放置在分布式CPU内存中，并在GPU中执行小批量计算。为了便于使用，DistDGLv 2采用了与Deep Graph Library（DGL）的小批量训练和异构图形API兼容的API，这使得分布式训练几乎不需要修改代码。为了确保模型的准确性，DistDGLv 2遵循同步训练方法，并允许形成小批量的自我网络包含非局部顶点。为了保证数据的局部性和负载均衡，DistDGLv 2使用一种带最小边割和多个均衡约束的多级划分算法对异构图进行划分. DistDGLv 2部署了一个异步小批量生成管道，使计算和数据访问异步，以充分利用所有硬件（CPU，GPU，网络，PCIe）。这种组合使DistDGLv 2能够训练高质量的模型，同时实现高并行效率和内存可扩展性。我们在各种GNN工作负载上演示了DistDGLv 2。我们的结果表明，DistDGLv 2实现了2- 3倍的速度比DistDGL和18倍的速度比欧拉。在具有64个GPU的…
2022-03-13 cs.DC
Distributed Equivariant Graph Neural Networks for Large-Scale Electronic Structure Prediction
ETH Zurich（苏黎世联邦理工学院）
本文提出一种分布式等变图神经网络实现，通过GPU直接通信和图划分策略减少嵌入交换，在Alps超算上对最高19万原子结构实现512 GPU下87%并行效率。
2025-07-04 cond-mat.mtrl-sci cs.DC cs.LG
From GPUs to RRAMs: Distributed In-Memory Primal-Dual Hybrid Gradient Method for Solving Large-Scale Linear Optimization Problem
Wayne State University（韦恩州立大学）
本文提出了一种针对RRRAM的分布式内存对偶混合梯度方法，实现了在大规模线性优化问题中能耗和延迟的显著降低。
2025-12-08 cs.AR cs.DC cs.ET
SwiftFusion: Scalable Sequence Parallelism for Distributed Inference of Diffusion Transformers on GPUs
University of Toronto \&\ Institute；Amazon；University of Toronto \& Vector Institute \& NVIDIA
针对扩散Transformer推理中序列并行方法的通信和同步瓶颈，提出拓扑感知的StreamFusion引擎，通过Torus Attention和单边通信实现平均1.35倍加速。
2026-05-22 cs.CV cs.DC
Parallel Graph Coloring Algorithms for Distributed GPU Environments
图着色通常用于并行化在分布式和多GPU环境中运行的科学计算;它标识可以并行更新的独立数据集。在单个GPU或分布式存储器中存在许多用于图着色的算法，但据我们所知，混合MPI+GPU算法直到本工作才被探索。基于Gebremedhin等人的分布式着色算法和Deveci等人的共享内存着色算法，提出了几种MPI+GPU着色方法。节点上的并行着色使用KokkosKernels中的实现，它为多核CPU和GPU提供并行化。我们进一步扩展我们的方法来计算距离-2和部分距离-2着色，给出了第一个已知的分布式，多GPU算法，这些问题。此外，我们提出了一种新的启发式，以减少通信的分布式图着色的包围圈。我们的实验表明，我们的方法有效地运行在输入太大，适合在一个单一的GPU和扩展到图形与76.7十亿边运行在128个GPU。
2021-06-30 cs.DC cs.DM
Distributed Linear Programming on GPU Clusters at Extreme Scale
SHARDLP是一种分布式GPU线性规划求解器，通过全流程分区和通信优化，在极端规模下显著提升求解效率，并在基准测试中大幅超越现有CPU方法。
2026-11-10 cs.DC math.OC
Minions: A Dynamic and Distributed Virtual GPU Cloud Built on Idle Apple Silicon Devices
Apple（苹果公司）
该研究提出Minions，一种聚合闲置苹果硅GPU的分布式虚拟GPU云，用于执行大规模机器学习推理，可利用现有硬件，无需额外采购GPU，为资源受限环境提供实用分布式GPU推理平台。
2026-10-12 cs.DC cs.LG
A Second-Order Distributed Trotter-Suzuki Solver with a Hybrid Kernel
Trotter-Suzuki近似导致求解含时薛定谔方程的有效算法。使用现有的高度优化的CPU和GPU内核，我们开发了一个分布式版本的算法，有效地运行在集群上。我们的实现还提高了单节点性能，并能够在一个节点内使用多个GPU。使用CPU内核的缩放接近线性，而GPU内核的效率随着矩阵的增大而提高。我们还介绍了一个混合内核，同时使用多核CPU和GPU的分布式系统。当矩阵大小不适合GPU内存时，该内核被证明是有效的。较大的量子系统在节点数量较多的情况下扩展得特别好。该代码在开源许可证下可用。
2012-08-12 cs.DC physics.comp-ph quant-ph
Galvatron: Efficient Transformer Training over Multiple GPUs Using Automatic Parallelism
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
Transformer模型已经在各个应用领域取得了最先进的性能，并逐渐成为高级大型深度学习（DL）模型的基础。然而，由于大量的并行选择，如何在多个GPU上有效地训练这些模型仍然具有挑战性。现有的DL系统要么依赖于人工努力来制定分布式训练计划，要么在非常有限的搜索空间内应用并行组合。在这种方法中，我们提出了Galvatron，一个新的系统框架，它结合了多个流行的并行度，并自动找到最有效的混合并行策略。为了更好地探索这样一个罕见的巨大的搜索空间，我们1）涉及一个决策树进行分解和修剪的基础上一些合理的直觉，然后2）设计一个动态规划搜索算法来生成最优方案。对四个代表性的Transformer工作负载的评估表明，Galvatron可以使用不同的GPU内存预算执行自动分布式训练。在所有评估的情况下，惊破天总是实现优越的系统吞吐量相比，以前的工作与有限的并行。
2022-11-25 cs.DB cs.DC cs.LG
Ultra-Long Sequence Distributed Transformer
Oak Ridge National Laboratory（橡树岭国家实验室）；Agency for Science, Technology and Research（新加坡科技研究局）
针对传统Transformer长序列训练计算内存需求高的问题，提出LSS Transformer分布式训练方法，通过序列分段、融合通信与双梯度平均技术，实现了更优的速度、内存效率与超大规模扩展能力。
2023-11-08 cs.AI cs.DC
A Distributed-memory Tridiagonal Solver Based on a Specialised Data Structure Optimised for CPU and GPU Architectures
本文提出分布式内存三对角求解器DistD2-TDS，利用对角占优特性和专用数据结构减少通信并优化CPU/GPU性能，大规模测试显示可维持约66%的理论峰值带宽。
2024-11-20 cs.DC physics.comp-ph
