A Distributed Multi-GPU System for Large-Scale Node Embedding at Tencent
现实世界的节点嵌入应用程序通常包含数千亿条具有高维节点特征的边。扩展节点嵌入系统以有效地支持这些应用仍然是一个具有挑战性的问题。在本文中,我们提出了一个高性能的多GPU节点嵌入系统。它使用模型并行性将节点嵌入拆分到每个GPU的本地参数服务器上,并使用数据并行性在不同的边缘样本上并行训练这些嵌入。我们提出了一个分层的数据分区策略和嵌入式训练管道,以优化GPU集群上的通信和内存使用。通过CPU任务(随机游走)和GPU任务(嵌入训练)的解耦设计,我们的系统具有高度的灵活性,可以充分利用GPU集群上的所有计算资源。与目前最先进的多GPU单节点嵌入系统相比,我们的系统平均实现了5.9倍-14.4倍的加速比,在开放数据集上具有竞争力或更好的准确性。在拥有近3000亿条边和超过10亿个节点的网络上使用40个NVIDIA V100 GPU,我们的实现仅需3分钟即可完成一个训练阶段。
2021-08-18 cs.DC
Distributed OpenMP Offloading of OpenMC on Intel GPU MAX Accelerators
本研究基于前期GPU适配基础,通过分布式OpenMP卸载将OpenMC蒙特卡罗代码扩展适配至Intel Data Center Max 1100 GPU,基准测试显示其相较第四代至强CPU实现显著加速,计算负载越高优势越明显。
2024-03-12 cs.DC
Parallel Graph Coloring Algorithms for Distributed GPU Environments
图着色通常用于并行化在分布式和多GPU环境中运行的科学计算;它标识可以并行更新的独立数据集。在单个GPU或分布式存储器中存在许多用于图着色的算法,但据我们所知,混合MPI+GPU算法直到本工作才被探索。基于Gebremedhin等人的分布式着色算法和Deveci等人的共享内存着色算法,提出了几种MPI+GPU着色方法。节点上的并行着色使用KokkosKernels中的实现,它为多核CPU和GPU提供并行化。我们进一步扩展我们的方法来计算距离-2和部分距离-2着色,给出了第一个已知的分布式,多GPU算法,这些问题。此外,我们提出了一种新的启发式,以减少通信的分布式图着色的包围圈。我们的实验表明,我们的方法有效地运行在输入太大,适合在一个单一的GPU和扩展到图形与76.7十亿边运行在128个GPU。
2021-06-30 cs.DC cs.DM
DRIFT: Direct Reduced Fourier Transforms for Distributed Spectral Neural Operators
研究如何将傅里叶神经算子扩展到高分辨率空间网格,核心方法是引入分布式截断谱变换(DTST)并实现为DRIFT,主要贡献是在多GPU上实现显著加速,减少通信时间,提升计算效率。
2026-07-17 cs.DC
ByteSplat: Efficient Distributed 3D Gaussian Splatting Training via Intra- and Inter-GPU communication reduction
Shanghai Jiao Tong University(上海交通大学);IEIT SYSTEMS Co., Ltd.(亿道信息系统有限公司)
ByteSplat通过融合光栅化内核、硬件感知剪枝和梯度稀疏性通信减少,实现高效分布式3DGS训练,显著降低数据移动并提升训练速度。
2026-10-05 cs.DC
GeoMesh: Workload-Balanced and Sign-Compressed Geo-Distributed LLM Training
Korea University(高丽大学);Microsoft Research Asia(微软亚洲研究院)
针对地理分布式LLM训练中异构GPU同步等待和通信开销大的问题,提出GeoMesh框架,通过负载均衡和符号压缩伪梯度,将通信量减少近32倍,训练时间最多缩短70.2%。
2026-09-17 cs.DC
GPU-Accelerated Distributed QAOA on Large-scale HPC Ecosystems
本研究在Frontier CPU/GPU超算上通过先进问题分解与消息传递并行,提升分布式量子近似优化算法的可扩展性与效率,实现最高10倍于CPU仿真的加速,支撑混合量子-经典应用落地。
2025-06-12 cs.DC
Parallel Collaborative ADMM Privacy Computing and Adaptive GPU Acceleration for Distributed Edge Networks
College of Cyber Security, Jinan University(暨南大学网络空间安全学院);Department of Electrical and Computer Engineering, Western University(韦仕敦大学电气与计算机工程系);School of Computer Science, Guangzhou University(广州大学计算机科学与工程学院)
本文提出了一种结合并行协作ADMM与自适应GPU加速的隐私计算算法,用于优化分布式边缘网络中的协作计算任务,提升了计算效率和隐私保护能力。
2026-01-21 cs.DC
Distributed, combined CPU and GPU profiling within HPX using APEX
跨硬件平台对科学仿真的性能进行基准测试和比较是一项复杂的任务。当所讨论的模拟使用异步多任务(AMT)运行时将工作卸载到GPU时,任务变得更加复杂。在本文中,我们讨论了使用一个独特的适合的性能测量库,APEX,捕捉性能行为的模拟建立在HPX,一个高度可扩展的,分布式AMT运行时。我们研究的天体物理学模拟的性能进行了两种不同的超级计算架构的Tiger。我们分析了缩放和测量开销的结果。此外,我们深入研究了两个系统上两个配置相似的执行,以研究架构差异如何影响性能,并确定优化的机会。作为一个这样的机会,我们优化了水力求解器的通信,并研究了其性能影响。
2022-09-21 cs.DC
Distributed Hybrid CPU and GPU training for Graph Neural Networks on Billion-Scale Graphs
图神经网络(GNN)在从图结构数据中学习方面取得了巨大的成功。它们被广泛用于各种应用,例如推荐、欺诈检测和搜索。在这些域中,图通常是大的和异构的,包含数百万或数十亿个不同类型的顶点和边。为了应对这一挑战,我们开发了DistDGLv 2,这是一个扩展DistDGL的系统,用于使用分布式混合CPU/GPU训练,以小批量方式在大规模异构图上训练GNN。DistDGLv 2将图形数据放置在分布式CPU内存中,并在GPU中执行小批量计算。为了便于使用,DistDGLv 2采用了与Deep Graph Library(DGL)的小批量训练和异构图形API兼容的API,这使得分布式训练几乎不需要修改代码。为了确保模型的准确性,DistDGLv 2遵循同步训练方法,并允许形成小批量的自我网络包含非局部顶点。为了保证数据的局部性和负载均衡,DistDGLv 2使用一种带最小边割和多个均衡约束的多级划分算法对异构图进行划分. DistDGLv 2部署了一个异步小批量生成管道,使计算和数据访问异步,以充分利用所有硬件(CPU,GPU,网络,PCIe)。这种组合使DistDGLv 2能够训练高质量的模型,同时实现高并行效率和内存可扩展性。我们在各种GNN工作负载上演示了DistDGLv 2。我们的结果表明,DistDGLv 2实现了2- 3倍的速度比DistDGL和18倍的速度比欧拉。在具有64个GPU的…
2022-03-13 cs.DC
Isolated Scheduling for Distributed Training Tasks in GPU Clusters
本文针对GPU集群中分布式训练的网络争用问题,提出vClos方法通过联合优化网络拓扑和通信模式消除争用,并引入OCS-vClos减少资源碎片化,实验证明其优于现有调度策略。
2023-08-10 cs.DC
Batched matrix operations on distributed GPUs with application in theoretical physics
矩阵-矩阵乘法(GEMM)是许多线性代数函数中最重要和最常用的运算之一,它也是许多科学代码获得高性能的关键组成部分。它是一个计算密集型函数,需要$O(n^3)$操作,其高计算强度使其非常适合使用GPU进行显著加速。今天,许多研究问题需要解决大量相对较小的GEMM操作,这些操作无法利用整个GPU。为了克服这个瓶颈,开发了特殊的函数,将多个GEMM操作打包成一个,然后在GPU上同时计算它们,这被称为批处理操作。在这项研究工作中,我们提出了一种不同的方法,基于链接多个GEMM操作到MPI行列,然后绑定多个MPI行列到一个GPU。为了提高GPU利用率,增加了更多的MPI秩(即GEMM操作)。我们在理论物理领域实现并测试了这种方法,通过模拟退火蒙特卡罗模拟量子自旋链来计算纠缠特性。对于特定的用例,我们能够模拟更大的自旋系统,并实现了高达$35\times$的速度提升,与仅使用并行CPU的版本相比。
2022-03-17 cs.DC
Minions: A Dynamic and Distributed Virtual GPU Cloud Built on Idle Apple Silicon Devices
Apple(苹果公司)
该研究提出Minions,一种聚合闲置苹果硅GPU的分布式虚拟GPU云,用于执行大规模机器学习推理,可利用现有硬件,无需额外采购GPU,为资源受限环境提供实用分布式GPU推理平台。
2026-10-12 cs.DC cs.LG
Toward Distributed 3D Gaussian Splatting for High-Resolution Isosurface Visualization
本研究提出3D高斯泼溅的多GPU扩展方案,通过改编Grendel-GS的多GPU后端实现分布式优化,在多数据集上取得显著加速并突破单GPU显存限制,为其在HPC科学可视化中的应用奠定基础。
2025-09-05 cs.DC
Regain Sliding super point from distributed edge routers by GPU
滑动超点是在滑动时间窗下定义的一种特殊的宿主,它与大量的其它宿主有联系。它在网络安全和管理中起着重要的作用。但是如何在高速网络中实时的检测出这些入侵是一个非常困难的任务。分布式滑动超点检测需要一种算法,该算法能够增量地估计接触主机的数目,以比数据流速度更快的速度扫描数据包,并在一个时间段结束时重建滑动超点。但是没有一个算法同时满足这三个要求。针对这一问题,提出了一种基于GPU的分布式滑动超点检测算法。该算法的优点在于采用了一种新的滑动估计器,可以在滑动窗口下递增地估计接触主机数,以及一组可逆的哈希函数,可以在不存储IP列表等额外数据的情况下重新获得滑动超点。该算法主要包括两个过程:数据包扫描和滑动超点重构。两者可以并行运行,没有任何数据读取冲突。在低成本GPU上,该算法可以处理高达680 Gb/s的带宽。一个真实世界的核心网络流量被用来评估这种滑动超点检测算法的性能在一个廉价的GPU,Nvidia GTX 950与4 GB的图形内存。在离散时间窗下的实验结果表明,该算法具有最高的准确率。在滑动时间窗下,该算法具有与离散时间窗下相同的性能,这是其他算法无法实现的。
2018-03-29 cs.DC
Sailor: Automating Distributed Training over Dynamic, Heterogeneous, and Geo-distributed Clusters
ETH Zurich(苏黎世联邦理工学院);MIT(麻省理工学院)
Sailor系统通过结合搜索空间探索算法、运行时与内存模拟及支持异构的分布式训练框架,在动态、异构和地理分布式集群上自动化分布式训练,以优化吞吐量和成本。
2025-09-26 cs.DC
LMStream: When Distributed Micro-Batch Stream Processing Systems Meet GPU
本文介绍了LMStream,它确保有限的延迟,同时最大限度地提高吞吐量的GPU支持的微批量流媒体系统。LMStream设计背后的主要思想可以概括为两个新机制:(1)动态查询和(2)动态操作级查询规划。通过控制微批量大小,LMStream显著降低了单个数据集的延迟,因为它不执行仅用于提高GPU利用率的无条件缓冲。LMStream根据流应用程序中使用的窗口操作的特性将延迟限制为最佳值。基于数据大小和动态设备偏好的查询到执行设备之间的动态映射尽可能地提高了吞吐量和延迟。此外,LMStream提出了一种低开销的在线模型参数优化方法,而不中断实时流处理。我们在Apache Spark上实现了LMStream,它支持微批流处理。与以前的面向吞吐量的方法相比,LMStream的平均延迟最高可提高70.7%,而平均吞吐量最高可提高1.74倍。
2021-11-08 cs.DC
A DAG Model of Synchronous Stochastic Gradient Descent in Distributed Deep Learning
凭借海量的训练数据,深度学习在许多人工智能(AI)应用中取得了重大突破。然而,这种大规模的数据集带来了计算挑战,需要将训练分布在配备GPU等加速器的集群上。随着GPU计算能力的快速提升,GPU之间的数据通信已成为影响整体训练性能的潜在瓶颈。本文首先提出了一种通用的有向无环图(DAG)模型来描述分布式同步随机梯度下降(S-SGD)算法,该算法在分布式深度学习框架中得到了广泛的应用。为了了解数据通信对训练性能的实际影响,我们对四种最先进的分布式深度学习框架(即,Caffe-MPI、CNTK、MXNet和TensorFlow)在多GPU和多节点环境中使用不同的数据通信技术,包括PCIe、NVLink、10 GbE和InfiniBand。通过分析和实验研究,我们确定了可以进一步优化的潜在瓶颈和开销。最后,我们公开了我们的实验轨迹的数据集,这可以用来支持基于模拟的研究。
2018-10-31 cs.DC
HETHUB: A Distributed Training System with Heterogeneous Cluster for Large-Scale Models
Infinigence-AI;Tsinghua University(清华大学);Hangzhou Dianzi University(杭州电子科技大学);China Mobile Research Institute(中国移动研究院);Shanghai Jiao Tong University(上海交通大学)
针对现有分布式训练系统不支持异构GPU集群的问题,本文提出HETHUB,通过统一通信器、性能预测器和自动并行规划器实现混合并行,并在768个异构加速器上高效训练Llama-140B。
2024-08-09 cs.AI cs.DC
Data-parallel distributed training of very large models beyond GPU capacity
IBM;IBM Research(IBM研究院)
GPU的内存有限,很难训练宽和/或深的模型,这会导致训练过程耗尽内存。本文展示了一种名为Large Model Support(LMS)的开源工具如何利用CPU和GPU之间的高带宽NVLink连接来完成深度卷积网络的训练。LMS在CPU内存和GPU内存之间执行张量交换,使得在训练步骤中仅将所需的最小数量的张量保留在GPU内存中。它还显示了LMS如何与基于MPI的分布式深度学习模块相结合,以跨多个GPU的数据并行方式训练模型,使得每个GPU都利用CPU内存进行张量交换。讨论了支持高带宽GPU与CPU链接的硬件架构,以及作为PowerAI包提供的相关软件工具集。
2018-11-29 cs.DC cs.LG
Distributed learning of CNNs on heterogeneous CPU/GPU architectures
卷积神经网络(CNN)已被证明是强大的分类工具,适用于从支票阅读到医疗诊断的各种任务,接近人类感知,在某些情况下甚至超越人类感知。然而,要解决的问题变得越来越大,越来越复杂,这意味着更大的CNN,导致更长的训练时间,即使采用图形处理单元(GPU)也无法跟上。这个问题通过使用更多的处理单元和分布式训练方法得到部分解决,这些方法由几个专用于神经网络训练的框架提供。然而,这些技术没有充分利用CNN提供的可能的并行化以及具有不同处理能力、时钟速度、存储器大小等的异构设备的协同使用。本文提出了一种用于CNN并行训练的新方法,该方法可以被认为是模型并行的一个特定实例,其中仅分布卷积层。事实上,在训练期间处理的卷积(包括前向和后向传播)表示全局处理时间的$60$ - $90$ \%。本文分析了网络规模、带宽、批量大小、设备数量(包括它们的处理能力)和其他参数的影响。结果表明,该技术能够减少训练时间,而不会影响CPU和GPU的分类性能。对于CIFAR-10数据集,分别使用具有两个卷积层的CNN以及$500$和$1500$内核,最佳加速比使用四个CPU实现$3.28\times$,使用三个GPU实现$2.45\times$。比CIFAR-10更大和更复杂的现代成像数据集肯定需要超过$60$ - $90$ \%的处理时间来计算卷积,并且加速将倾向于相应地增加。
2017-12-07 cs.DC
PixelFlow: Token-Level Workload Management for Efficient Distributed DiT Serving
The University of Melbourne(墨尔本大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
PixelFlow通过令牌级工作负载管理实现分布式DiT服务的高效调度,在满足延迟SLO的同时提升GPU利用率,显著提高SLO达成率和有效吞吐量。
2026-09-18 cs.DC
Characterizing and Understanding Distributed GNN Training on GPUs
Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS)(中国科学院计算技术研究所);University of Chinese Academy of Sciences (UCAS)(中国科学院大学)
图神经网络(GNN)由于其在图上学习的有效性而在许多领域被证明是一种强大的模型。为了将GNN训练扩展到大型图,一种广泛采用的方法是分布式训练,它使用多个计算节点来加速训练。最大化性能是必不可少的,但分布式GNN训练的执行仍然是初步了解的。在这项工作中,我们对GPU上的分布式GNN训练进行了深入分析,揭示了几个重要的观察结果,并为软件优化和硬件优化提供了有用的指导。
2022-04-18 cs.DC cs.LG
DBCSR: A Library for Dense Matrix Multiplications on Distributed GPU-Accelerated Systems
大多数,如果不是所有的现代科学模拟软件包利用矩阵代数运算。在线性代数的运算中,最重要的核心之一就是矩阵的乘法运算,无论是稠密矩阵还是稀疏矩阵。这样的内核的应用示例是在电子结构计算、机器学习、数据采掘、图形处理和数字信号处理中。有几个优化的库可以在分布式系统上实现高性能。其中只有少数针对分布式GPU加速系统。在大多数情况下,这些库由系统供应商针对其特定计算机系统提供和优化。在本文中,我们提出了DBCSR库(分布式块压缩稀疏行)的分布式密集矩阵矩阵乘法。尽管该库是专门为块稀疏矩阵-矩阵乘法设计的,但我们针对GPU加速系统上的密集情况进行了优化。我们表明,DBCSR优于由供应商优化的GPU版本的ScaLAPACK库提供的不同大小和形状的矩阵的乘法高达2.5倍(平均1.4倍)。
2019-10-10 cs.DC cs.MS
Distributed Out-of-Memory SVD on CPU/GPU Architectures
我们提出了一种高效的,分布式的,内存不足的异构(CPU+GPU)高性能计算(HPC)系统的截断奇异值分解(t-SVD)的实现。奇异值分解的各种实现方式已经被提出,但大多数只估计奇异值作为奇异向量的估计,这会显著增加算法的时间和存储复杂度。在这项工作中,我们提出了一种基于幂方法的奇异值分解的实现,这是一种截断奇异值和奇异向量估计方法。在幂方法中看到的存储器利用瓶颈通常与Gram矩阵$\mat{A}^T\mat{A}$的计算相关联,当$\mat{A}$较大且密集时,或者当$\mat{A}$超大且稀疏时,这可能是显著的。所提出的实现是针对内存不足的问题进行优化的,其中分解给定矩阵所需的内存大于可用的GPU内存。我们降低了内存的复杂性,$\mat{A}^T\mat{A}$通过使用一个中间因素计算块块的并行策略。我们还通过使用CUDA流将每个批处理副本与计算重叠来抑制与主机到设备(H2 D)和设备到主机(D2 H)批处理副本相关的I/O延迟。此外,我们使用优化的\textit{NCCL}为基础的通信,以减少与集体通信(包括节点内和节点间)的延迟。此外,稀疏和密集矩阵乘法通过GPU内核(或张量内核(如果可用))显著加速,从而实现良好的扩展性。我们展示了我们的分布式核外SVD算法的可扩展性,成功地分解了大小为1 TB的密集矩阵和大小为128 PB的稀疏矩阵,稀疏度为1 e-6。
2022-08-17 cs.DC
JAXMg: A multi-GPU linear solver in JAX
University of Cambridge(剑桥大学);Flatiron Institute(平顶山研究所)
JAXMg通过多GPU支持在JAX中实现高效的线性求解和特征分解,提升科学计算的可扩展性与性能。
2026-09-04 cs.DC
Fused Breadth-First Probabilistic Traversals on Distributed GPU Systems
针对概率广度优先遍历(BPTs)在影响力最大化等随机扩散图问题中并行效率低的难题,提出分布式多GPU上的融合BPT算法,将多随机起点遍历合并为统一前沿,集成到gIM和Ripples后在超算上实现最高34倍和约360倍的性能提升,且具备强可扩展性。
2023-11-16 cs.DC
H2Opus: A distributed-memory multi-GPU software package for non-local operators
分层$\mathcal{H}^2$ -矩阵是非局部算子离散化的渐近最优表示,例如积分方程或核函数中的非局部算子。它们的$O(N)$在内存和操作应用程序方面的复杂性使它们特别适合于大规模问题。因此,有必要为这些矩阵上的分布式操作提供支持的软件,以允许大规模的问题被表示。在本文中,我们提出了高性能,分布式内存GPU加速算法和实现矩阵向量乘法和矩阵再压缩的分层矩阵的$\mathcal{H}^2$格式。这些算法是H2Opus的一个新模块,H2Opus是一个面向性能的软件包,支持CPU和GPU上的各种$\mathcal{H}^2$矩阵运算。分布式GPU设置中的性能是通过编组分层矩阵表示的树数据来实现的,以允许在各个GPU上执行批处理内核。MPI用于进程间通信。我们优化的通信数据量和隐藏的通信成本与本地计算阶段的算法。测试结果显示,Summit上最多可支持1024个NVIDIA V100 GPU的近乎理想的可扩展性,矩阵向量乘法的性能超过2.3 Tflops/s/GPU,矩阵压缩的性能超过670 Gflops/s/GPU,其中包括批量QR和SVD运算。我们说明了该库的灵活性和效率,通过求解一个二维可变扩散率积分分数扩散问题的代数多重网格预处理Krylov求解器,并展示了可扩展性高达16 M自由度的问题上64 GPU。
2021-09-12 cs.DC cs.MS
D-PDLP: Scaling PDLP to Distributed Multi-GPU Systems
Cardinal Operations;Shanghai University of Finance and Economics(上海财经大学);Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学)
本文提出D-PDLP框架,通过二维网格划分将PDHG算法扩展到多GPU环境,结合块状随机排列和非零元素意识矩阵划分,提升负载平衡和计算效率,实现在大规模线性规划问题上的高扩展性和性能。
2026-05-08 cs.DC math.OC
OD-MoE: On-Demand Expert Loading for Cacheless Edge-Distributed MoE Inference
The Chinese University of Hong Kong(香港中文大学)
OD-MoE通过按需专家加载技术,实现无缓存边缘分布式MoE推断,显著提升内存利用率和推断效率。
2025-12-03 cs.DC
Characterizing Compute-Communication Overlap in GPU-Accelerated Distributed Deep Learning: Performance and Power Implications
本文系统评估了 GPU 分布式训练中计算-通信重叠策略对性能和功耗的影响,发现重叠虽优于顺序执行但会造成平均 18.9% 的计算减速,并揭示了精度、专用核心及功耗限制带来的权衡。
2025-07-03 cs.DC
Magnum.np.distributed: Accelerating Finite Difference Micromagnetic Simulations with Multiple GPUs
Kyushu University(九州大学)
本文通过PyTorch Distributed扩展Python原生微磁框架magnum.np,首次实现多GPU加速,在8个NVLink连接的GPU上对退磁有效场计算获得7.0倍加速,并通过MPI后端在CPU上实现6.8倍加速。
2026-05-31 cond-mat.mes-hall cs.DC
PRISM: Probabilistic Runtime Insights and Scalable Performance Modeling for Large-Scale Distributed Training
FAIR at Meta(Meta FAIR);Harvard University(哈佛大学)
针对大规模分布式训练中运行时波动问题,PRISM提出一种统计方法,通过概率保证量化训练时间,实现性能优化和系统效率提升。
2026-09-23 cs.DC
A GPU-Accelerated Distributed Algorithm for Optimal Power Flow in Distribution Systems
针对有源配电网多相最优潮流控制问题,提出采用分量式分解的GPU加速分布式算法,通过分离等式与不等式约束利用GPU并行性大幅提速,在IEEE多规模测试系统上验证了优于CPU方案的可扩展性。
2025-01-14 cs.DC math.OC
Eidola: Modeling Multi-GPU Network Communication Traffic in Distributed AI Workloads
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);AMD Research and Advanced Development(AMD研究与先进开发)
提出Eidola,一种可扩展的gem5模拟框架扩展,通过注释时序配置精确建模多GPU间通信流量,支持细粒度同步分析和架构探索。
2026-06-12 cs.AR cs.DC
Scaled Block Vecchia Approximation for High-Dimensional Gaussian Process Emulation on GPUs
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Jülich Supercomputing Centre (JSC)(于利希超级计算中心);Indiana University(印第安纳大学);Argonne National Laboratory(阿贡国家实验室)
本文提出了一种基于GPU的缩放块Vecchia算法,用于高维高斯过程仿真的大规模计算,通过结合缩放Vecchia方法和块Vecchia方法,实现高效计算和内存优化,展示了在50M点模拟中的可扩展性和能效。
2026-03-24 cs.DC
Performance Characterization of Distributed Deep Learning Strategies: A Quantitative Evaluation of DDP, FSDP, and Parameter Server Architectures on GPU Clusters
George Mason University(乔治梅森大学)
本文通过定量评估,比较了DDP、FSDP和参数服务器架构在GPU集群上的性能,发现FSDP在内存使用上更高效,而参数服务器在异步模式下虽能提升训练速度但牺牲了精度。
2026-01-05 cs.DC
Integrating Odeint Time Stepping into OpenFPM for Distributed and GPU Accelerated Numerical Solvers
Dresden University of Technology(德累斯顿工业大学);Max Planck Institute of Molecular Cell Biology and Genetics(马克斯·普朗克分子细胞生物学与遗传学研究所);Center for Systems Biology Dresden(德累斯顿系统生物学中心);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)(可扩展数据分析与人工智能中心)
本研究将Boost的Odeint时间积分库集成到OpenFPM框架,通过扩展元编程系统支持其数据类型,实现分布式及GPU加速的显式时间积分,经基准测试与实例验证,取得了80%的强扩展效率及单GPU五倍加速的效果。
2025-10-02 cs.DC cs.MS
Scalability Evaluation of HPC Multi-GPU Training for ECG-based LLMs
本研究评估了HPC多节点与多GPU环境下训练心电图大语言模型的可扩展性,比较了Horovod、DeepSpeed及PyTorch/TensorFlow内置分布式框架,发现扩展GPU时加速比为亚线性(2个GPU为1.6倍,4个GPU为1.9倍)。
2025-03-26 cs.DC
EXaCTz: Guaranteed Extremum Graph and Contour Tree Preservation for Distributed- and GPU-Parallel Lossy Compression
The Ohio State University(俄亥俄州立大学);Oregon State University(俄勒冈州立大学);University of Utah(犹他大学)
本文提出EXaCTz算法,通过并行方法在损失压缩的标量场数据中保持极值图和轮廓树。算法通过理论证明收敛性,实现高吞吐量和拓扑一致性,实验显示其在单GPU上达到4.52GB/s的吞吐量,远超现有方法。
2026-09-24 cs.DC
HetuMoE: An Efficient Trillion-scale Mixture-of-Expert Distributed Training System
由于巨型密集模型提高了模型的质量,但需要大量的GPU预算进行训练,因此提出了一种条件计算架构--稀疏门控专家混合(MoE)来扩展模型,同时保持其计算量不变。具体来说,输入令牌由门网络路由,并且仅激活专家网络的一部分。现有的MoE训练系统仅支持昂贵的高带宽GPU集群下的部分主流MoE模型(例如Top k)训练。在本文中,我们提出了Hetu MoE,一个高性能的大规模稀疏MoE训练系统建立在Hetu。HetuMoE提供多种门控策略和高效的GPU内核实现。为了进一步提高商品GPU集群(例如,只有1个NiC)的训练效率,我们引入了分层AllToAll通信,它结合了分层网络和聚合消息。与现有的最先进的MoE系统相比,Hetu MoE获得至少15%的加速比。具体而言,HetuMoE在开关门下的性能优于DeepSpeed-MoE高达8.1倍,批量大小为32。我们的代码可在https://github.com/PKU-DAIR/Hetu上获取。
2022-11-17 cs.DC
Whale: Efficient Giant Model Training over Heterogeneous GPUs
深度神经网络的扩展已被证明在提高模型质量方面是有效的,但也包括训练效率,可编程性和资源适应性方面的几个训练挑战。我们介绍了Whale,一个通用而高效的巨型模型分布式训练框架。为了支持各种并行策略及其混合,Whale通过定义两个新的模型注释形式的原语来概括编程接口,允许合并用户提示。Whale运行时利用这些注释并执行图形优化,以将本地深度学习DAG图形转换为分布式多GPU执行。Whale进一步引入了一种新的硬件感知并行策略,以平衡的方式提高了异构GPU上模型训练的性能。Whale部署在拥有512个GPU的生产集群中,成功训练了具有超过10万亿个模型参数的行业规模多模式模型(名为M6),展示了出色的可扩展性和效率。
2022-06-06 cs.DC
Theano-MPI: a Theano-based Distributed Training Framework
University of Guelph(圭尔夫大学);SHARCNET, Compute Canada(加拿大计算公司SHARCNET)
我们开发了一个可扩展和可扩展的训练框架,可以在集群中的节点上利用GPU,并基于数据并行加速深度学习模型的训练。同步和异步训练都在我们的框架中实现,其中GPU之间的参数交换基于CUDA感知的MPI。在本报告中,我们分析了框架的收敛性和能力,以减少AlexNet和GoogLeNet的同步训练从2个GPU扩展到8个GPU时的训练时间。此外,我们探索新的方法来减少由交换参数引起的通信开销。最后,我们将该框架作为开源发布,以便进一步研究分布式深度学习
2016-05-26 cs.DC cs.LG
Distributed Linear Programming on GPU Clusters at Extreme Scale
SHARDLP是一种分布式GPU线性规划求解器,通过全流程分区和通信优化,在极端规模下显著提升求解效率,并在基准测试中大幅超越现有CPU方法。
2026-11-10 cs.DC math.OC
Prediction-Assisted Online Distributed Deep Learning Workload Scheduling in GPU Clusters
The Ohio State University(俄亥俄州立大学);Cisco Research(思科研究中心)
针对GPU集群中混合并行分布式深度学习训练的高效调度需求,提出结合随机森林迭代预测的A-SRPT算法,通过将问题映射为单机最优调度实例实现理论高效的作业分配,经实验验证了有效性。
2025-01-09 cs.DC cs.LG
A Second-Order Distributed Trotter-Suzuki Solver with a Hybrid Kernel
Trotter-Suzuki近似导致求解含时薛定谔方程的有效算法。使用现有的高度优化的CPU和GPU内核,我们开发了一个分布式版本的算法,有效地运行在集群上。我们的实现还提高了单节点性能,并能够在一个节点内使用多个GPU。使用CPU内核的缩放接近线性,而GPU内核的效率随着矩阵的增大而提高。我们还介绍了一个混合内核,同时使用多核CPU和GPU的分布式系统。当矩阵大小不适合GPU内存时,该内核被证明是有效的。较大的量子系统在节点数量较多的情况下扩展得特别好。该代码在开源许可证下可用。
2012-08-12 cs.DC physics.comp-ph quant-ph
Distributed Hierarchical GPU Parameter Server for Massive Scale Deep Learning Ads Systems
Baidu Research(百度研究院);Baidu Inc.(百度公司)
广告系统的神经网络通常从多个资源获取输入,查询广告相关性、广告特征和用户画像。这些输入被编码为一热或多热二进制特征,每个示例通常只有一小部分非零特征值。在线广告行业中的深度学习模型可能具有TB级的参数,这些参数不适合计算节点上的GPU内存或CPU主内存。例如,赞助的在线广告系统可以包含多于$10^{11}$的稀疏特征,使得神经网络成为具有大约10 TB参数的大规模模型。本文介绍了一种面向大规模深度学习广告系统的分布式GPU层次化参数服务器。我们提出了一个分层的工作流程,利用GPU高带宽内存,CPU主内存和SSD作为3层分层存储。所有的神经网络训练计算都包含在GPU中。在真实数据上的大量实验证实了该系统的有效性和可扩展性。在MPI集群中,4节点分层GPU参数服务器可以比150节点内存中分布式参数服务器快2倍以上训练模型。此外,我们提出的系统的性价比是4-9倍优于MPI集群解决方案。
2020-03-12 cs.DC cs.LG stat.ML
Flex-MIG: Enabling Distributed Execution on MIG
SungKyunKwan Univeristy(成均馆大学);Ajou Univeristy(亚洲大学)
针对MIG硬件刚性和一对一分配模型导致的集群碎片化与利用率不足问题,提出纯软件框架Flex-MIG,以一对多分配模型替代一对一模型,实现MIG实例间主机共享内存集合通信,减少碎片化并将完工时间最多缩短17%。
2025-11-13 cs.DC
A Distributed Framework for Causal Modeling of Performance Variability in GPU Traces
Texas State University(德克萨斯州立大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Argonne National Laboratory(阿贡国家实验室);Sandia National Laboratories(桑迪亚国家实验室)
针对大规模GPU轨迹性能分析计算成本高、耗时长的问题,提出一种端到端并行性能分析框架,通过并行划分处理轨迹数据、结合因果图与并行协调图分析性能变异与依赖,实现可扩展性提升67%。
2025-10-21 cs.DC cs.LG
DiFuseR: A Distributed Sketch-based Influence Maximization Algorithm for GPUs
本文提出DiFuseR,一种面向多GPU分布式环境的高效影响力最大化算法,通过提升GPU利用率、减少通信与重叠计算,实现显著加速。
2024-10-17 cs.DC cs.PF cs.SI
SIMPLE: Disaggregating Sampling from GPU Inference into a Decision Plane for Faster Distributed LLM Serving
SIMPLE通过将采样分解到CPU侧,结合序列并行和热点词汇采样,显著提升分布式LLM服务的吞吐量和效率。
2025-11-30 cs.DC
Poseidon: A System Architecture for Efficient GPU-based Deep Learning on Multiple Machines
Carnegie Mellon University(卡内基梅隆大学);Seoul National University(首尔国立大学);Institute for Infocomm Research(资讯通信研究院)
深度学习(DL)在许多机器学习任务中取得了显著的成功。已经开发了许多框架来加快设计和训练深度神经网络(DNN)的过程,例如Caffe,Torch和Theano。目前,他们可以在一台机器上利用多个GPU,但无法使用分布在多台机器上的GPU;因为即使是平均大小的DNN也需要几天的时间才能在单个GPU上训练数百GB到TB的数据,分布式GPU为扩展DL提供了一个绝佳的机会。然而,商品以太网网络上可用的有限带宽对分布式GPU训练提出了瓶颈,并阻止其琐碎的实现。为了研究如何适应现有的框架,以有效地支持分布式GPU,我们提出了波塞冬,一个可扩展的系统架构,在现有的DL框架的分布式机器间通信。我们将Poseidon与Caffe集成,并评估其在训练DNN进行对象识别方面的性能。Poseidon具有三个关键贡献,可以加速集群上的DNN训练:(1)三级混合架构,允许Poseidon支持仅CPU和配备GPU的集群,(2)分布式无等待反向传播(DWBP)算法,以提高GPU利用率并平衡通信,以及(3)结构感知通信协议(SACP),以最大限度地减少通信开销。我们的经验表明,Poseidon收敛到与单台机器相同的目标,并使用8个节点的商品GPU集群在多个模型和完善的数据集上实现了最先进的训练加速(例如AlexNet上的4.5倍加速,GoogLeNet上的4倍,CIFAR-10上的4倍)。在更大的ImageNet …
2015-12-19 cs.CV cs.DC cs.LG
OAK: Restart- and Age-Aware Scheduling for Distributed Machine Learning on Shared GPU Clusters
Oakland University(奥克兰大学)
OAK通过年龄键和分解重启因子,在共享GPU集群上实现重启与年龄感知调度,显著降低故障下的作业完成时间,且决策延迟极低。
2026-09-23 cs.DC
Characterizing and Modeling Distributed Training with Transient Cloud GPU Servers
Worcester Polytechnic Institute(伍斯特理工学院)
云GPU服务器已经成为深度学习从业者在大规模数据集上训练复杂模型的实际方式。但是,确定适当的群集配置是一项挑战,例如,服务器类型和数量-用于不同的训练工作负载,同时平衡训练时间、成本和模型准确性的权衡。增加复杂性的是通过使用更便宜但可扩展的临时GPU服务器来降低货币成本的潜力。在这项工作中,我们使用CM-DARE(一种基于云的测量和训练框架)分析了不同集群配置下的分布式训练性能。我们的经验数据集包括来自三种GPU类型、六个地理区域、二十个卷积神经网络和数千个Google Cloud服务器的测量结果。我们还证明了使用基于回归的模型预测训练速度和开销的可行性。最后,我们讨论了我们的性能建模的潜在用例,如检测和缓解性能瓶颈。
2020-04-07 cs.DC cs.LG cs.PF