Incidence Constraints in Hypergraph Partitioning on GPU
Politecnico di Milano(米兰理工大学)
本文提出在GPU上实现多级超图分区算法,针对有限分区大小和不同入边超边的约束,通过内存中存储超图的 incidence 结构和利用集合稀疏性,实现940倍加速和连接性改进。
2026-04-15 cs.DC
OLED-MoE: Accelerating MoE-Based dLLM Inference via Inter-Iteration Locality-Aware Expert Offloading
Tianjin University(天津大学)
针对扩散大语言模型(dLLM)中MoE专家卸载延迟高的问题,提出OLED-MoE,利用迭代间专家重用和置信度预测保留高价值专家,协同CPU-GPU执行,显著降低TPOT并提高缓存利用率。
2026-09-29 cs.CL cs.DC
GPU-CFR: 80x Faster Counterfactual Regret Minimization by Compiling the Game to Static Dataflow and CUDA Graph Replay
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
GPU-CFR 通过将博弈编译为静态数据流和 CUDA 图重放,消除内核启动开销,实现比先前 GPU 实现快 80 倍、比 CPU 实现快 258 倍的加速。
2026-09-11 cs.AI cs.DC cs.GT
GraphCage: Cache Aware Graph Processing on GPUs
由于图算法的不规则性,有效的图处理是具有挑战性的。使用GPU来加速不规则图算法甚至更难高效,因为GPU的高度结构化的SIMT架构并不适合不规则应用。由于之前花费了大量精力将图形算法巧妙地映射到GPU上,GPU上的图形处理性能仍然受到内存延迟的限制,导致计算资源的利用率较低。由稀疏图数据结构生成的随机存储器访问是这种显著的存储器访问延迟的主要原因。简单地应用为矩阵计算提出的常规高速缓存分块技术由于GPU上的显著开销而具有有限的益处。我们提出了GraphCage,一个以缓存为中心的优化框架,用于在GPU上进行高效的图形处理。我们首先提出了一个面向吞吐量的缓存阻塞计划(TOCAB)在推和拉方向。与传统的高速缓存阻塞,遭受重复访问时,在GPU上处理大型图形,TOCAB是专门针对GPU架构优化,以减少这种开销,提高内存访问效率。为了将我们的方案集成到最先进的实现中,而不会产生显著的开销,我们通过考虑子图的稀疏性来协调TOCAB与负载均衡策略。为了使缓存阻塞的算法,我们考虑的好处和开销在不同的迭代与不同的工作集大小,并应用TOCAB拓扑驱动的内核在拉方向。评估表明,与手工优化的实现和最先进的框架(例如CuSha和Gunrock)相比,GraphCage可以将性能提高2 ~ 4倍,并且内存消耗比CuSha更少。
2019-04-03 cs.DC
PathWeaver: A High-Throughput Multi-GPU System for Graph-Based Approximate Nearest Neighbor Search
PathWeaver提出流水线路径扩展、ghost staging和方向引导选择三种技术,构建高吞吐量多GPU框架,在大规模数据集上显著加速基于图的近似最近邻搜索,实现最高5.30倍加速。
2025-07-23 cs.DC
ARGUS: Production-Scale Tracing and Performance Diagnosis for over 10,000-GPU Clusters
Tencent(腾讯)
提出低开销、细粒度的始终在线追踪与实时分析系统ARGUS,通过分解训练调用层次、统一数据管道和渐进式诊断框架,在超过10,000 GPU集群上实现<2%开销的持续故障检测与性能优化。
2026-07-09 cs.DC
Accelerating Distributed K-FAC with Smart Parallelism of Computing and Communication Tasks
The Hong Kong University of Science and Technology(香港科技大学)
在GPU集群上使用同步随机梯度下降(SGD)的分布式训练已被广泛用于加速深度模型的训练过程。然而,SGD仅在模型参数更新中利用一阶梯度,这可能需要数天或数周。最近的研究已经成功地利用近似二阶信息来加速训练过程,其中Kronecker因子近似曲率(KFAC)成为训练深度模型的最有效的近似算法之一。然而,当利用GPU集群来训练具有分布式KFAC(D-KFAC)的模型时,其在每次迭代期间引起大量计算以及引入额外通信。在这项工作中,我们提出了D-KFAC(SPD-KFAC)与智能并行的计算和通信任务,以减少迭代时间。具体而言,1)我们首先描述了D-KFAC的性能瓶颈,2)我们设计并实现了一个流水线机制的克罗内克因子计算和通信与动态张量融合,3)我们开发了一个负载均衡布局,在GPU集群上的多个矩阵求逆。我们在一个64 GPU的集群上进行了实际的实验,该集群具有100 Gb/s的InfiniBand互连。实验结果表明,我们提出的SPD-KFAC训练方案可以实现10%-35%的国家的最先进的算法的改进。
2021-07-14 cs.AI cs.DC
Large-Scale Regularized Matching on GPU Clusters
LinkedIn Corporation(领英公司);Nubank;OpenAI
针对广告分配等大规模线性规划问题,提出基于PyTorch的分布式多GPU求解器,采用列分片并行、融合Triton内核和岭正则化,实现近线性扩展和稳定性控制,速度比DuaLip-Scala快一个数量级。
2026-06-05 cs.DC
LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load
Conscious Engines
研究评估了在持续负载下不同设备上大语言模型的性能效率,发现移动端受热管理限制,专用硬件受电池和内存带宽限制,展示了不同平台的推理表现和能效差异。
2026-06-07 cs.DC cs.LG
TENSILE: A Tensor granularity dynamic GPU memory scheduling method toward multiple dynamic workloads system
最近,深度学习一直是一个激烈的研究领域。然而,作为一种计算密集型任务,深度学习高度依赖于GPU内存的规模,这通常是令人望而却步的和稀缺的。尽管已经提出了一些针对动态GPU存储管理的广泛工作,但是它们难以应用于具有多个动态工作负载的系统,例如数据库内机器学习系统。在本文中,我们展示了TENSILE,一种在张量粒度下管理GPU内存的方法,以降低GPU内存峰值,考虑到多个动态工作负载。TENSILE解决了以往工作中存在的冷启动和跨迭代调度问题。我们在自己构建的深度学习框架上实现了Tensile,并对其性能进行了评估。实验结果表明,在单负载和多负载的动态环境下,TENSILE算法能够以更少的额外开销节省更多的GPU内存。
2022-11-06 cs.AI cs.DB cs.DC
HipBone: A performance-portable GPU-accelerated C++ version of the NekBone benchmark
我们介绍了hipBone,一个用于Nek 5000(和NekRS)CFD应用程序的开源性能便携式代理应用程序。HipBone是原始NekBone CPU代理应用程序的完全GPU加速C++实现,具有几种新颖的算法和实现改进,可优化其在现代细粒度并行GPU加速器上的性能。我们的优化包括转换存储的自由度的问题,以组装的形式,以减少移动的数据量在主迭代和便携式实现的主要泊松算子内核。我们展示了近屋顶性能的运营商内核的三个不同的现代GPU加速器从两个不同的供应商。我们提出了一种新的算法分裂的应用程序的泊松运算符的GPU积极隐藏MPI通信所需的光环交换和组装。我们的最近邻居MPI通信的实现,然后利用几种不同的路由算法和GPU-Direct RDMA功能,当可用时,这提高了基准的可扩展性。我们展示了三个不同的集群在橡树岭国家实验室,即首脑会议的超级计算机和前沿早期访问集群,斯波克和破碎机的hipBone的性能。我们的测试证明了跨不同集群的可移植性和非常好的扩展效率,特别是在大型问题上。
2022-02-25 cs.DC cs.PF
On GPU Implementation for Multi-Precision Integer Division
University of Copenhagen(哥本哈根大学);Cheriton School of Computer Science, University of Waterloo(滑铁卢大学切里顿计算机科学学院)
本文提出一种基于牛顿迭代的整数除法算法在GPU上的高效实现,针对$2^{15}$到$2^{18}$位精度,通过算法改进和成本模型实现接近最优性能。
2026-07-14 cs.DC cs.MS cs.SC
Chopper: A Multi-Level GPU Characterization Tool & Derived Insights Into LLM Training Inefficiency
University of Central Florida(中佛罗里达大学);Advanced Micro Devices, Inc.(超威半导体公司)
Chopper通过多级GPU特性分析揭示LLM训练低效原因,发现频率开销是性能差距的主要因素。
2025-12-09 cs.AR cs.DC
$ν$-LPA: Fast GPU-based Label Propagation Algorithm (LPA) for Community Detection
本文提出GPU优化的标签传播算法ν-LPA,通过异步LPA结合每4次迭代的无选择方法及逐顶点混合探测哈希表,在A100 GPU上实现每秒30亿条边处理速度,显著超越现有LPA和Louvain方法。
2025-01-06 cs.DC cs.SI
Stream-K: Work-centric Parallel Decomposition for Dense Matrix-Matrix Multiplication on the GPU
我们介绍Stream-K,一个以工作为中心的矩阵乘法(GEMM)和稠密线性代数中相关计算的并行化。而当代的分解主要是基于瓦片的,我们的方法通过在物理处理元件之间划分均匀份额的聚合内部循环迭代来操作。这提供了计算资源的近乎完美的利用,而不管任何给定问题的输出平铺跨底层处理元素量化的效率如何。在GPU处理器上,我们对GEMM的Stream-K并行化可产生高达14 $\times$和6.7 $\times$的峰值加速比,以及在32,824个GEMM问题几何中比最先进的数学库(如CUTLASS和cuBLAS)更高且更一致的平均性能响应。此外,我们从每个浮点精度的单个瓦片大小配置中实现了这种性能,而今天的数学库采用复杂的内核选择算法来从大量的内核变体中进行选择。
2023-01-09 cs.DC cs.DS
Prediction-Assisted Online Distributed Deep Learning Workload Scheduling in GPU Clusters
The Ohio State University(俄亥俄州立大学);Cisco Research(思科研究中心)
针对GPU集群中混合并行分布式深度学习训练的高效调度需求,提出结合随机森林迭代预测的A-SRPT算法,通过将问题映射为单机最优调度实例实现理论高效的作业分配,经实验验证了有效性。
2025-01-09 cs.DC cs.LG
Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
NVIDIA(英伟达);Stanford University(斯坦福大学);Microsoft Research(微软研究院)
大语言模型在一系列任务中实现了最先进的准确性。然而,由于两个原因,有效地训练这些模型是具有挑战性的:a)GPU内存容量有限,使得即使在多GPU服务器上也无法适应大型模型,以及b)训练这些模型所需的计算操作数量可能导致不切实际的长训练时间。因此,新的模型并行方法如张量和流水线并行被提出。不幸的是,这些方法的天真使用导致数千个GPU的基本缩放问题,例如,这是由于昂贵的跨节点通信或设备花费大量时间等待其他设备来取得进展。在本文中,我们将展示如何组合不同类型的并行方法(张量,管道和数据并行),以扩展到数千个GPU和具有数万亿参数的模型。我们调查技术的流水线并行,并提出了一种新的交错流水线并行计划,可以提高吞吐量的10+%的内存占用与现有的方法。我们定量地研究了张量、管道和数据并行之间的权衡,并提供了如何配置大型模型的分布式训练的直观性。我们的方法允许我们在3072个GPU上以502 petaFLOP/s的速度对具有1万亿个参数的模型执行训练迭代,实现了理论峰值的52%的每GPU吞吐量。我们的代码在https://github.com/nvidia/megatron-lm上开源。
2021-08-23 cs.CL cs.DC
GPU Load Balancing
细粒度的工作负载和资源平衡是GPU上常规和不规则计算的高性能的关键。在这篇论文中,我们进行了广泛的调查,现有的负载平衡技术,建立一个抽象的解决困难的GPU上调度计算。我们提出了一个GPU细粒度的负载平衡抽象,从工作处理中提取负载均衡,旨在支持静态和动态调度,并通过可编程接口实现新的负载平衡调度。在我们的工作之前,释放GPU在不规则问题上的潜力的唯一方法是通过特定于应用程序的紧耦合负载平衡技术来实现工作负载平衡。通过我们的开源负载平衡框架,我们希望在GPU上开发不规则并行算法时提高程序员的生产力,并通过允许快速试验各种现有负载平衡技术来提高此类应用程序的整体性能特征。利用我们从负载平衡不规则工作负载中获得的见解,我们构建了Stream-K,这是一个以工作为中心的矩阵乘法(GEMM)和密集线性代数中相关计算的并行化。而当代的分解主要是基于瓦片的,我们的方法通过在物理处理元件之间划分均匀份额的聚合内部循环迭代来操作。这提供了计算资源的近乎完美的利用,而不管任何给定问题的输出平铺跨底层处理元素量化的效率如何。在GPU处理器上,我们的Stream-K GEMM并行化可产生高达14倍和6.7倍的峰值加速比,以及在32 K GEMM问题几何中比最先进的数学库(如CUTLASS和cuBLAS)更高且更一致的平均性能响应。
2022-12-17 cs.DC cs.DS
A Novel Learning Algorithm for Bayesian Network and Its Efficient Implementation on GPU
Shanghai Jiao Tong University(上海交通大学);UM-SJTU Joint Institute(上海交通大学密西根学院)
基于复杂网络的因果关系的计算推理,如基因调控途径,是NP完全的,因为它在排列所有可能的相互作用时具有组合性质。马尔可夫链蒙特卡罗(MCMC)已被引入到样本的组合,同时仍然保证收敛性和遍历性,因此成为广泛使用的只有一部分。然而,MCMC由于其计算复杂性的原因,对于节点数超过15~20的网络,MCMC的性能不够理想。在本文中,我们使用通用处理器(GPP)和通用图形处理器(GPGPU)来实现和加速一种新的贝叶斯网络学习算法。通过一个基于哈希表的内存节省策略和一个新的任务分配策略,我们实现了10倍的加速比使用串行GPP每次迭代。特别地,我们使用贪婪方法从给定的顺序中搜索最佳图。我们在当前的评分函数中加入了一个先验分量,这进一步方便了搜索。总体而言,我们能够将该系统应用于具有超过60个节点的网络,从而可以对比当前方法更大、更复杂的网络进行推断和建模。
2012-10-18 cs.DC cs.LG
Petascale elliptic solvers for anisotropic PDEs on GPU clusters
内存受限的应用程序,如大型稀疏方程组的求解器,仍然是GPU的一个挑战。快速求解器应该基于数值高效算法,并实现全局内存访问最小化。为了解决具有高达1万亿($10^{12}$)未知数的系统,代码必须有效地利用大型GPU集群上的数百万个单独的处理器核心。我们描述了多GPU实现的两个算法最佳的迭代求解器的各向异性椭圆偏微分方程中遇到的大气建模。在这个应用程序中的条件数是大的,但独立的网格分辨率和两种方法都是渐近最优的,虽然有不同的绝对性能。我们并行求解器,并使其适应GPU架构的具体功能,特别注意高效的全局内存访问。我们实现了高达0.78 PFLOPs的性能时,解决一个方程与$0.55\cdot 10^{12}$未知数的16384 GPU;这相当于约$3\%$的理论峰值性能的机器,我们使用超过$40\%$的峰值内存带宽与共轭梯度(CG)求解器。虽然另一种求解器,几何多重网格算法,在每秒FLOPs方面的性能稍差,但总体上它更快,因为它需要更少的迭代来收敛;多重网格算法可以在大约一秒内解决具有5000亿个未知数的线性PDE。
2015-05-29 cs.DC cs.NA math.NA
ABS-SGD: A Delayed Synchronous Stochastic Gradient Descent Algorithm with Adaptive Batch Size for Heterogeneous GPU Clusters
Zhejiang University(浙江大学)
针对异构GPU集群中分布式SGD资源利用不足和收敛慢的问题,提出自适应批大小的延迟同步算法ABS-SGD,通过累积延迟梯度并充分利用计算资源,在4节点训练ResNet18时平均提速1.30倍。
2023-08-29 cs.DC cs.LG