Shortcut-connected Expert Parallelism for Accelerating Mixture-of-Experts
提出ScMoE架构与重叠并行策略,解耦通信与计算的顺序依赖实现100%重叠,在保持模型质量的同时显著提升MoE训练和推理速度。
2025-05-29 cs.CL cs.DC cs.LG
Accelerating Large Language Model Training with Hybrid GPU-based Compression
The Ohio State University(俄亥俄州立大学)
本文针对大规模LLM分布式训练中的通信瓶颈,提出按并行维度差异化设置压缩强度的混合GPU压缩方案,在192块V100 GPU上实现GPT-NeoX-20B训练吞吐量提升17.3%且保持损失收敛。
2024-09-04 cs.AI cs.DC
Accelerating Gaussian beam tracing method with dynamic parallelism on graphics processing units
本研究利用CUDA在GPU上重构高斯波束追踪算法,通过动态并行和内存优化,在城市及开阔平面环境中分别实现高达790倍和188倍的加速,并建立了性能评估策略。
2025-01-23 cs.DC cs.PF
Accelerating Sharded Data Parallelism at Scale with Federated Learning
University of Turin(都灵大学)
本工作受联邦学习通信原理启发,提出FL+FSDP和FL+HSDP两种混合算法,将分片数据并行解耦为松散耦合的联邦组,在512个A100 GPU上预训练Llama3.1 8B,实现高达8.04倍数据处理加速和4.48倍困惑度降低。
2026-09-18 cs.AI cs.DC cs.PF
Accelerating the Execution of Matrix Languages on the Cell Broadband Engine Architecture
矩阵语言,包括MATLAB和Octave,是科学和工程应用的既定标准。它们提供了交互式编程环境,由于它们的脚本语言具有矩阵数据类型,因此易于使用。矩阵语言的当前实现没有充分利用高性能、专用芯片架构,例如IBM PowerXCell处理器(Cell),该处理器目前用于世界上最快的计算机。我们提出了一个新的框架,扩展Octave利用细胞的计算能力。有了这个框架,程序员就不必再引入明确的并行性概念。相反,程序员使用一种新的矩阵数据类型,在Cell的协同处理元素(SPE)上并行执行矩阵操作。我们采用懒惰的评估语义为我们的新矩阵数据类型,以获得矩阵操作的执行轨迹。跟踪被转换为数据依赖图;数据依赖图中的操作被降低(分成子矩阵),在SPE上调度和执行。由此我们开发了矩阵语言程序的(1)数据并行,(2)指令级并行,(3)流水线并行和(4)任务并行。我们进行了大量的实验,以证明我们的方法的有效性。我们的基于Cell的实现在最新的Intel Core 2 Quad处理器上运行的代码上实现了高达12倍的加速。
2009-11-14 cs.DC cs.PL
Accelerating Heterogeneous Tensor Parallelism via Flexible Workload Control
针对异构设备与多租户资源争用导致张量并行训练出现落后任务的问题,提出 ZERO-resizing 与轻量迁移结合的 SEMI-migration,在无迁移或无精度损失间自适应均衡工作负载,并在 Colossal-AI 上验证有效。
2024-01-21 cs.DC
FlexSP: Accelerating Large Language Model Training via Flexible Sequence Parallelism
Peking University(北京大学);Beihang University(北京航空航天大学);ByteDance Inc.(字节跳动公司)
针对LLM训练中序列长度异质性导致的工作负载不均衡问题,提出FlexSP灵活序列并行方法,通过动态调整分散策略适应不同长度序列,在保持精度的同时将长上下文训练吞吐量提升1.2-1.98倍。
2025-02-11 cs.DC cs.LG
DHO$_2$: Accelerating Distributed Hybrid Order Optimization via Model Parallelism and ADMM
National University of Defense Technology, Changsha, China(国防科技大学);Fudan University, Shanghai, China(复旦大学)
本文提出DHO$_2$,一种基于模型并行和ADMM的分布式混合阶优化方法,利用部分曲率信息并行计算,在资源受限下加速DNN训练,实现内存线性降低和1.4-2.1倍加速。
2025-08-04 cs.DC cs.LG
Sky Computing: Accelerating Geo-distributed Computing in Federated Learning
HPC-AI Technology Inc.(HPC-AI技术公司);National University of Singapore(新加坡国立大学)
联邦学习是由谷歌提出的,通过在用户设备上本地训练模型来保护数据隐私。然而,随着深度学习模型的规模不断增长以获得更好的结果,在单个设备上容纳整个模型变得越来越困难。因此,然后使用模型并行来在若干设备之间划分模型权重。通过这种逻辑,目前使用的方法在设备之间均匀分配权重。然而,在现实中,由于不同用户设备的不同计算能力,可能会出现计算瓶颈。为了解决这个问题,需要负载均衡来基于设备的计算能力分配模型权重。在本文中,我们提出了天空计算,一个负载平衡的模型并行框架,自适应地分配权重的设备。当训练具有64个节点的160层BERT时,Sky Computing在训练时间上优于基线方法55%。源代码可以在https://github.com/hpcaitech/SkyComputing上找到。
2022-02-24 cs.AI cs.DC cs.LG
NSP: Accelerating Variable-Length LLM Training via Nested Sequence Parallelism
ByteDance Seed(字节跳动Seed)
NSP通过嵌套不同大小的序列并行组,在共享GPU上平衡长尾变长序列训练的通信与负载,无需修改模型,显著提升端到端吞吐量。
2026-09-22 cs.DC
Accelerating Deep Neural Network guided MCTS using Adaptive Parallelism
针对DNN-MCTS中CPU端搜索树运算串行导致的瓶颈问题,提出自适应选择最优并行方案及高效搜索通信批量大小的方法,在Alphazero棋类基准上实现1.5×-3×加速。
2023-10-09 cs.DC cs.PF
Ladder-residual: parallelism-aware architecture for accelerating large model inference with communication overlapping
Together AI;University of Southern California;MIT-IBM Watson Lab;University of Sydney;Massachusetts Institute of Technology;Princeton University
提出Ladder Residual架构修改,通过解耦通信与计算并重叠通信,在张量并行下实现70B模型推理29%端到端加速,且训练1B/3B模型性能与基线相当。
2025-06-19 cs.CL cs.DC cs.LG
Accelerating Disaggregated RL for Visual Generative LLMs with Diffusion-Based Parallelism and Trainer-Assisted Generation
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);Data Science and Analytics Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)数据科学与分析学域);Huawei Technologies Ltd.(华为技术有限公司)
提出解耦强化学习框架DigenRL,通过生成轴流水线、时间步并行和弹性训练器辅助生成,解决扩散生成式大语言模型中执行气泡问题,实现1.56-2.10倍吞吐提升。
2026-09-23 cs.AI cs.DC cs.NI
Batched Sparse Matrix Multiplication for Accelerating Graph Convolutional Networks
图卷积网络(GCN)作为一种高精度的机器学习方法,近年来在生物信息学和化学信息学领域得到了广泛的关注。GCN处理卷积运算以及图形结构,GPU用于处理大量运算,包括当图形结构表示为具有稀疏矩阵格式的邻接矩阵时的稀疏-密集矩阵乘法(SpMM)。然而,SpMM操作上的小图,其中节点的数量是几十或几百,很难利用高并行性或GPU的计算能力。因此,SpMM成为GCN应用中训练和推理的瓶颈。为了提高GCN应用程序的性能,提出了一种新的SpMM算法,特别是针对小稀疏矩阵的SpMM算法和Batched SpMM算法,该算法利用GPU的高并行性,通过单个CUDA内核处理多个SpMM操作。据我们所知,这是第一个工作的批处理方法的SpMM。我们评估了GCN应用程序在采用NVIDIA Tesla P100 GPU的TSUBAME 3.0上的性能,我们的批处理方法在训练和推理方面分别显示出高达1.59倍和1.37倍的显著加速。
2019-03-27 cs.DC
PyTorch Distributed: Experiences on Accelerating Data Parallel Training
Facebook AI;University of Warsaw(华沙大学)
本文介绍了PyTorch分布式数据并行模块的设计、实现和评估。PyTorch是一个广泛采用的科学计算包,用于深度学习研究和应用。深度学习的最新进展证明了大型数据集和大型模型的价值,这需要将模型训练扩展到更多计算资源的能力。数据并行由于其简单的原理和广泛的适用性而成为分布式训练的流行解决方案。通常,分布式数据并行技术在每个计算资源上复制模型以独立地生成梯度,然后在每次迭代时传递这些梯度以保持模型副本一致。尽管该技术在概念上很简单,但计算和通信之间的微妙依赖关系使得优化分布式训练效率变得非常重要。从v1.5开始,PyTorch原生地提供了几种技术来加速分布式数据并行,包括分级梯度,重叠计算与通信,以及跳过梯度同步。评估表明,在适当配置时,PyTorch分布式数据并行模块使用256个GPU实现了接近线性的可扩展性。
2020-06-28 cs.DC cs.LG
Optimus: Accelerating Large-Scale Multi-Modal LLM Training by Bubble Exploitation
Harvard University(哈佛大学);Bytedance(字节跳动);University of Southern California(南加州大学)
本文提出Optimus分布式训练系统,通过在LLM气泡内调度编码器计算并优化亚毫秒级气泡调度,在3072个GPU上将MLLM训练加速20.5%-21.3%。
2025-06-02 cs.AI cs.CL cs.DC
Accelerating Fortran Codes: A Method for Integrating Coarray Fortran with CUDA Fortran and OpenMP
本研究提出融合Intel Coarray Fortran、Nvidia CUDA Fortran与OpenMP的并行编程方法,优化内存管理、CPU-GPU亲和性等,经并行泊松求解器验证,其性能与MPI相近且更易实现,可助力新老代码高效迁移至并行计算。
2024-09-03 astro-ph.IM astro-ph.SR cs.DC
DynaSOAr: Accelerating Single-Method Multiple-Objects Applications on GPUs
面向对象编程(OOP)长期以来一直被认为对于SIMD高性能计算来说效率太低,尽管许多重要的HPC应用程序都具有固有的对象结构。我们发现了OOP的一个广泛的子集,可以在大规模并行SIMD加速器上有效地实现。我们称之为单方法多对象(SMMO),因为并行性是通过在一种类型的所有对象上运行一个方法来表达的。为了让GPU编程经验不足的领域专家能够快速编程,我们开发了DynaSOAr,这是一个用于SMMO应用程序的CUDA框架。DynaSOAr通过SOA数据布局提高了已分配内存的使用率,并通过无锁分层位图有效管理空闲和已分配内存块来实现低内存碎片。
2019-05-29 cs.DC cs.PL
EE-LLM: Large-Scale Training and Inference of Early-Exit Large Language Models with 3D Parallelism
Alibaba Group(阿里巴巴集团)
本文提出基于 Megatron-LM 的 EE-LLM 框架,通过3D并行及面向早退的训练、调度和 KV caching 推理优化,实现低开销大规模训练与无损质量的显著推理加速。
2024-06-16 cs.AI cs.DC cs.LG
Accelerating Causal Algorithms for Industrial-scale Data: A Distributed Computing Approach with Ray Framework
本文利用 Ray 框架并行化 EconML 等因果算法库的关键迭代步骤,以提升其在工业级数据集上的可扩展性,并通过案例评估其对估计时间与成本的影响。
2024-01-22 cs.DC
Accelerating Compound LLM Training Workloads with Maestro
Alibaba Group(阿里巴巴集团)
本文提出Maestro框架,针对复合LLM训练中的静态异构性和动态不规则性,通过分段图重构和波前调度算法提升硬件利用率,减少40%的GPU消耗。
2026-05-11 cs.DC
FastPersist: Accelerating Model Checkpointing in Deep Learning
Microsoft DeepSpeed(微软DeepSpeed)
针对深度学习训练优化重计算轻I/O导致检查点写入慢的问题,提出FastPersist框架,通过NVMe优化、多SSD并行写入及计算重叠技术,实现最高116倍的检查点加速与近乎零开销的逐迭代检查点保存。
2024-06-19 cs.AI cs.DC cs.LG
Accelerating quantum many-body configuration interaction with directives
多费米子动力学-核(Many-Fermion Dynamics-nuclear,简称MFDn)是一种用于核结构计算的组态相互作用(CI)代码。它是一个独立于平台的Fortran 90代码,使用混合MPI+X编程模型。对于CPU平台,该应用程序具有用于共享内存并行性的健壮且优化的OpenMP实现。作为NERSC最新Perlmutter系统的NESAP应用程序就绪计划的一部分,MFDn已经更新以利用加速器。目前的主流GPU端口基于OpenACC。在这项工作中,我们描述了创建一个高效的GPU实现的一些关键挑战。此外,我们还比较了AMD和NVIDIA GPU上对OpenMP和OpenACC的支持。
2021-10-20 cs.CE cs.DC cs.MS
On the Accelerating of Two-dimensional Smart Laplacian Smoothing on the GPU
本文提出了一种GPU加速实现的二维的【形】智能拉普拉斯平滑。该实现是在我们的范例的指导下开发的,用于加速基于Laplacian的网格平滑[13]。两种类型的常用数据布局,阵列的结构(AoS)和阵列的结构(SoA)被用来表示三角形网格在我们的实现。采用了两种迭代形式,对中间数据的交换有不同的选择。此外,CUDA动态并行(CDP)功能,实现智能拉普拉斯平滑嵌套并行。实验结果表明:(1)在GPU GT 640上,我们的实现可以获得高达44倍的加速比;(2)数据布局AoS总是可以获得比SoA布局更好的效率;(3)需要交换中间节点坐标的表单总是比不交换数据的表单慢;(4)使用CDP功能的实现版本比不采用CDP的版本稍快。
2015-02-02 cs.DC
Testing fine-grained parallelism for the ADMM on a factor-graph
目前正在努力开发应用分布式计算资源来解决大型问题或减少解决这些问题的时间的工具。在这种情况下,交替方向乘法(ADMM)出现作为一种方法,可以利用分布式资源,如双上升方法,并具有增广拉格朗日方法的鲁棒性和改进的收敛性。使用多核加速ADMM的传统方法是特定于问题的,并且通常需要多核编程。相比之下,我们提出了一个问题独立的计划,加速ADMM,不需要用户编写任何并行代码。我们表明,该计划,ADMM的解释作为一个消息传递算法的因子图,可以自动利用细粒度并行在GPU和共享内存的多核计算机,并实现显着的加速在不同的应用领域,如组合优化,机器学习,和最优控制。具体来说,我们在ADMM的串行优化C版本上使用GPU获得了10 - 18倍的加速,使用多个CPU核心获得了5 - 9倍的加速,这与现有GPU加速库报告的典型加速相似,包括cuFFT(19倍),cuBLAS(17倍)和cuRAND(8倍)。
2016-03-08 cs.DC cs.MS math.OC
Accelerating Deep Neural Network Training with Inconsistent Stochastic Gradient Descent
Georgia Institute of Technology(佐治亚理工学院);NEC Laboratories, USA(NEC实验室)
SGD是训练CNN广泛采用的方法。从概念上讲,它用一个随机抽样的批次来近似种群;然后通过对一个时期中的每个批次进行梯度更新来均匀地训练批次。在本文中,我们展示了采样偏差,固有图像差和固定周期伪随机采样区分训练中的批次,从而影响它们的学习速度。因此,SGD中涉及的批处理的无偏处理会导致不正确的负载均衡。为了解决这个问题,我们提出了不一致的随机梯度下降(ISGD),根据批次的学习状态动态地改变训练工作。具体来说,ISGD利用统计过程控制中的技术来识别训练不足的批次。一旦一个批处理训练不足,ISGD解决一个新的子问题,一个追逐逻辑加上一个保守约束,以加速对批处理的训练,同时避免剧烈的参数变化。在各种数据集上的大量实验表明,ISGD比SGD收敛得更快。在训练AlexNet时,ISGD比SGD快21.05%,在完全相同的实验设置下达到56%的top1精度。我们还将ISGD扩展到多GPU或基于数据并行的异构分布式系统上,使批量大小成为可扩展性的关键。然后从学习率、并行度、同步代价、系统饱和度和可扩展性等方面对ISGD批量进行了研究。我们得出结论,最佳ISGD批量大小是机器依赖性的。多GPU系统上的各种实验验证了我们的说法。特别是,ISGD在11.5小时内使用4台NVIDIA TITAN X以1536的批量大小将AlexNet训练到56.3%的top1和80.1%的top5准确率。
2017-03-28 cs.DC cs.LG
Accelerating Graph Sampling for Graph Machine Learning using GPUs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Northeastern University(东北大学)
表示学习算法自动学习数据的特征。图数据的几种表示学习算法,如DeepWalk,node 2 vec和GraphSAGE,对图进行采样以产生适合于训练DNN的小批量。然而,采样时间可能是训练时间的很大一部分,并且现有系统不能有效地并行采样。采样是一个非常复杂的并行问题,可能会出现GPU加速,但图形的不规则性使得很难有效地使用GPU资源。本文介绍了NextDoor,一个旨在有效地在GPU上执行图形采样的系统。NextDoor采用了一种新的图形采样方法,我们称之为transit-parallelism,它允许负载均衡和边缘缓存。NextDoor为最终用户提供了编写各种图形采样算法的高级抽象。我们实现了几个图形采样应用程序,并表明NextDoor运行它们的数量级比现有的系统更快。
2021-05-11 cs.DC cs.LG
Accelerating Maximal Biclique Enumeration on GPUs
针对极大双团枚举在大规模图上计算效率低的问题,提出基于GPU优化的cuMBE算法,通过紧凑数组、混合并行、细粒度优化与工作窃取机制实现显著加速。
2025-05-22 cs.DC
HierTrain: Fast Hierarchical Edge AI Learning with Hybrid Parallelism in Mobile-Edge-Cloud Computing
Sun Yat-sen University(中山大学)
如今,深度神经网络(DNN)是许多新兴边缘AI应用的核心推动力。训练DNN的传统方法通常在中央服务器或云中心实现,用于集中式学习,由于大量数据样本从设备传输到远程云,这通常是耗时且需要资源的。为了克服这些缺点,我们考虑在移动边缘云计算(MECC)范式上加速DNN的学习过程。在本文中,我们提出了HierTrain,一个分层的边缘AI学习框架,它有效地将DNN训练任务部署在分层的MECC架构上。我们开发了一种新的\textit{hybrid parallelism}方法,这是HierTrain的关键,可以在边缘设备,边缘服务器和云中心三个级别上自适应地分配DNN模型层和数据样本。然后,我们制定了在层粒度和样本粒度上调度DNN训练任务的问题。解决这个优化问题使我们能够实现最小的训练时间。我们进一步实现了一个由边缘设备、边缘服务器和云服务器组成的硬件原型,并在其上进行了大量的实验。实验结果表明,HierTrain与基于云的分层训练方法相比,可以实现高达6.9倍的加速比。
2020-03-22 cs.DC cs.LG cs.NI
CATERPILLAR: Coarse Grain Reconfigurable Architecture for Accelerating the Training of Deep Neural Networks
Stanford University(斯坦福大学);Cerebras Systems
加速经过训练的DNN的推理是一个很好的研究课题。在本文中,我们将重点转向DNN的训练。训练阶段是计算密集型的,需要复杂的数据通信,并且包含多级数据依赖性和并行性。本文提出了一种高效加速器的算法/架构空间探索,以实现更好的网络收敛速度和更高的能量效率来训练DNN。我们进一步证明,集体通信语义的分层支持的架构提供了灵活性,在训练各种网络执行随机和批量梯度下降为基础的技术。我们的研究结果表明,较小的网络有利于非批处理技术,而较大的网络的性能更高,使用批处理操作。在45纳米技术下,CATERPILLAR在小型网络上的SGD训练中实现了177 GFLOPS/W的性能效率,利用率超过80%,在较大网络上的流水线SGD/CP训练中实现了211 GFLOPS/W的性能效率,利用率超过90%,总面积分别为103.2 mm $^2$和178.9 mm $^2$。
2017-06-08 cs.DC cs.LG cs.NE
Trash Talk: Accelerating Garbage Collection on Integrated GPUs is Worthless
将异构处理器与统一存储器集成的系统以最小的开发复杂性在这些处理器之间提供了无缝集成。这些系统将GPU等加速器与CPU内核集成在同一芯片上,以适应不同并行度的并行应用程序。这种集成在现代芯片架构上变得非常普遍,并且它给应用和系统程序员带来了利用这种集成芯片的全部潜力的负担(或机会)。在本文中,我们评估我们是否可以获得任何性能的好处,从运行垃圾回收集成GPU系统,并讨论如何实现这些收益的程序员的困难。从手持移动设备到数据中心,运行在各种平台上的垃圾收集语言的激增使得垃圾回收成为在这些平台上研究的有趣目标,并可以为其他应用程序提供有价值的经验教训。我们提出了我们的分析运行垃圾回收集成系统,并发现这些系统的当前状态并没有提供一个优势,加速这样的任务。我们建立了一个框架,使我们能够卸载垃圾回收任务的集成GPU系统从JVM中。我们确定了垃圾回收的主要阶段,并研究了将它们卸载到集成GPU的可行性。我们表明,性能优势是有限的,部分原因是集成的GPU在CPU的内存带宽的优势有限,部分原因是昂贵的原子操作。
2020-12-11 cs.DC
Accelerating Deep Neuroevolution on Distributed FPGAs for Reinforcement Learning Problems
IBM Almaden Research Center(IBM阿尔马登研究中心)
由深度神经网络的表征能力增强的强化学习在高维问题上显示出有希望的结果,例如游戏和机器人控制。然而,这些问题的连续性对计算效率提出了根本性的挑战。最近,进化策略和深度神经进化等替代方法在分布式CPU内核上表现出更快的训练时间。在这里,我们报告了Atari 2600游戏使用分布式FPGA实现的深度神经进化的创纪录训练时间(每秒约100万帧)。将游戏控制台、图像预处理和神经网络的硬件实现结合在优化的流水线中,乘以系统级并行性,实现了加速。这些结果是IBM神经计算机上的第一个应用演示,这是一个定制设计的系统,由432个Xilinx FPGA以3D网状网络拓扑互连组成。除了高性能外,实验还显示,与CPU实现的相同算法相比,所有游戏的准确性都有所提高。
2020-05-10 cs.AI cs.AR cs.DC
Demystifying Parallel and Distributed Deep Learning: An In-Depth Concurrency Analysis
ETH Zurich(苏黎世联邦理工学院)
深度神经网络(DNN)正在成为现代计算应用中的重要工具。加速他们的训练是一个重大挑战,技术范围从分布式算法到低级电路设计。在这次调查中,我们从理论的角度来描述这个问题,其次是其并行化的方法。我们提出了DNN架构的趋势以及由此产生的并行化策略的影响。然后,我们回顾并建模DNN中不同类型的并发:从单个操作符,通过网络推理和训练中的并行性,到分布式深度学习。我们讨论异步随机优化,分布式系统架构,通信方案和神经结构搜索。基于这些方法,我们推断了深度学习中并行性的潜在方向。
2018-09-15 cs.CV cs.DC cs.LG
Towards Compute-Aware In-Switch Computing for LLMs Tensor-Parallelism on Multi-GPU Systems
Shanghai Jiao Tong University(上海交通大学);Huawei Technologies Co. Ltd.(华为技术有限公司);Peking University(北京大学)
本文提出CAIS框架,通过计算感知的ISA扩展、线程块协调和数据流优化,提升多GPU系统中LLM张量并行的通信与计算效率,实验显示其在训练速度上优于现有方案。
2026-05-07 cs.AR cs.DC
PipeDiT: Accelerating Diffusion Transformers in Video Generation with Task Pipelining and Model Decoupling
Sijie Wang, Qiang Wang, Shaohuai Shi(作者)
针对视频生成DiT模型推理慢、内存占用高的问题,提出集成PipeSP、DeDiVAE、Aco三项技术的PipeDiT流水线框架,在两类开源视频模型上实现最高4.02倍推理加速。
2025-11-15 cs.AI cs.CV cs.DC
DeepSpeed Ulysses: System Optimizations for Enabling Training of Extreme Long Sequence Transformer Models
Microsoft Inc(微软公司)
针对现有并行方法不适用长序列LLM训练、现有序列并行方案内存通信效率低的问题,提出DeepSpeed-Ulysses方法,通过序列维度划分数据与高效all-to-all通信实现恒定通信量,训练速度与支持序列长度均显著优于现有SOTA基线。
2023-10-04 cs.CL cs.DC cs.LG
Orchestrate: Infrastructure for Enabling Parallelism during Hyperparameter Optimization
两个关键因素主导了有效的生产级机器学习模型的开发。首先,它需要本地软件实现和迭代过程。其次,它需要分布式基础设施来有效地进行训练和超参数优化。虽然现代机器学习框架在前者非常有效,但实践者通常会为后者构建临时框架。我们提出了SigOpt架构,一个在云环境中进行同步培训的库。我们描述的激励因素和由此产生的设计,这个图书馆,从最初的测试反馈,和未来的目标。
2018-12-19 cs.DC
Brief Announcement: On the Limits of Parallelizing Convolutional Neural Networks on GPUs
GPU目前是训练神经网络的首选平台。然而,即使在GPU上训练深度神经网络(DNN)也是一个耗时的过程,因为必须学习大量的参数。因此,加速DNN训练在过去几年中一直是一个重要的研究领域。虽然早期的网络(如AlexNet)在层和操作之间具有线性依赖性,但最先进的网络(如ResNet,PathNet和GoogleNet)具有非线性结构,表现出更高水平的操作间并行性。然而,流行的深度学习(DL)框架(如TensorFlow和PyTorch)在GPU上串行启动大多数神经网络操作,特别是卷积,并且不利用这种操作间并行性。在这个简短的声明中,我们提出了在最先进的非线性网络中利用这种丰富的并行性来减少训练时间的需求和潜在好处。我们确定了在DL框架的GPU后端(如cuDNN)上启用并发层执行的挑战和限制,并提出了潜在的解决方案。
2020-05-28 cs.DC cs.NE
PiPar: Pipeline Parallelism for Collaborative Machine Learning
University of St Andrews(圣安德鲁斯大学);Rakuten Mobile, Inc.(乐天移动公司)
针对协作机器学习中资源利用率低的问题,提出PiPar框架,通过流水线并行化计算与通信,显著减少服务器空闲时间并加速训练,实验显示最高提速34.6倍。
2024-06-25 cs.DC cs.LG
Accelerating MoE with Dynamic In-Switch Computing on Multi-GPUs
Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学);Huawei Technologies Co. Ltd.(华为技术有限公司);Peking University(北京大学);Shanghai Qi Zhi Institute(上海人工智能实验室)
本文提出DySHARP,通过动态交换机计算减少MoE中GPU间通信冗余,结合动态多内存寻址和令牌中心内核融合,实现1.79倍加速。
2026-05-07 cs.AR cs.DC
Compiler-Assisted Workload Consolidation For Efficient Dynamic Parallelism on GPU
GPU已被广泛用于加速表现出简单并行模式的计算-例如平面或两级并行-以及可以基于输入数据集的大小静态确定的并行度。然而,有效地使用GPU的算法表现出复杂的模式的并行性,可能只知道在运行时,仍然是一个悬而未决的问题。最近,Nvidia在其GPU中引入了动态并行(DP)。通过使直接从GPU线程启动内核成为可能,此功能在运行时启用嵌套并行。然而,仍然必须理解DP的有效使用:天真地使用此功能可能会遭受显着的运行时开销,并导致GPU利用率不足,从而导致性能低下。在这项工作中,我们针对这个问题。首先,我们演示了如何天真的使用DP会导致性能不佳。其次,我们提出了三个工作负载整合计划,以提高性能和硬件利用率的DP为基础的代码,我们实现这些代码转换在一个基于指令的编译器。最后,我们评估我们的框架上的两类应用程序:算法,包括不规则循环和算法表现出并行递归。我们的实验表明,我们的方法显着降低了运行时开销,提高了GPU的利用率,导致加速因子从90倍到3300倍的基本基于DP的解决方案和加速从2倍到6倍的平面实现。
2016-06-27 cs.DC
Efficient and Robust Parallel DNN Training through Model Parallelism on Multi-GPU Platform
深度神经网络(DNN)的训练过程是计算密集型的,通常需要数天到数周的时间来训练DNN模型。因此,在GPU上并行执行DNN训练是当今广泛采用的加速过程的方法。由于实现简单,数据并行是目前最常用的并行化方法。然而,由于GPU之间频繁的权重同步,数据并行遭受过多的GPU间通信开销。另一种方法是流水线模型并行,它在GPU之间划分DNN模型,并并发处理多个小批。与数据并行相比,该方法可以显著降低GPU间通信成本。然而,流水线模型并行面临着权重陈旧的问题;也就是说,梯度是用陈旧的权重计算的,导致训练不稳定和精度损失。在本文中,我们提出了一种流水线模型并行执行方法,使高GPU利用率,同时保持强大的训练精度,通过一种新的权重预测技术,SpecTrain。实验结果表明,我们的建议实现了高达8.91倍的加速比相比,在4-GPU平台上的数据并行,同时保持可比的模型精度。
2019-10-28 cs.DC cs.LG
Accelerating Frontier MoE Training with 3D Integrated Optics
Lightmatter
本文研究面向万亿参数前沿MoE模型训练的纵向扩展互连瓶颈,提出用3D CPO(Passage)光学集成GPU与交换机,实现8倍扩展能力和2.7倍训练加速。
2025-09-09 cs.AI cs.AR cs.DC
Zepp: Accelerating Distributed MoE Serving under Relaxed Balance Constraints
UCSD(加州大学圣地亚哥分校);Stanford University(斯坦福大学);ETH Zürich(苏黎世联邦理工学院);NVIDIA(英伟达)
Zepp将平衡视为约束而非目标,通过分阶段优化通信等技术,实现分布式MoE服务的高效执行,在7种基准系统中最高获6.68倍MoE层加速、几何平均1.86倍加速。
2026-10-12 cs.DC
Accelerating Mobile Inference through Fine-Grained CPU-GPU Co-Execution
University of Southern California(南加州大学)
本文提出利用细粒度CPU-GPU协同执行机制,通过轻量级同步机制和机器学习模型提升移动设备推理速度,实现线性层和卷积层的加速效果
2026-02-18 cs.DC cs.LG cs.PF
Accelerating Locality-Driven Integration in Quantum Chemistry with Block-Structured Matrix Multiplication
Zhongguancun Academy(中关村学院);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院);IQuest Research(IQuest研究);University of Science and Technology of China(中国科学技术大学)
本文提出KerneLDI框架,通过设计数据布局、筛选逻辑和矩阵运算符,实现块结构矩阵乘法,提升量子化学中局部性驱动集成的效率,实现EXC计算的10倍加速和分子动力学的6倍吞吐量提升。
2026-05-13 cs.DC physics.chem-ph physics.comp-ph
MoE Parallel Folding: Heterogeneous Parallelism Mappings for Efficient Large-Scale MoE Model Training with Megatron Core
NVIDIA
本文提出MoE并行折叠方法,通过解耦注意力层和MoE层的并行化,提升大规模MoE模型训练的效率与可扩展性。
2026-03-02 cs.DC cs.LG
Maximizing Parallelism in Distributed Training for Huge Neural Networks
National University of Singapore(新加坡国立大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
最近的自然语言处理技术以令人难以置信的速度刷新了最先进的性能。因此,训练巨大的语言模型是工业界和学术界的迫切需求。然而,庞大的语言模型给硬件和软件都带来了挑战。图形处理单元(GPU)频繁迭代以满足爆炸式的需求,并产生了各种ASIC,如TPU。然而,在极其庞大的模型的快速增长和摩尔定律接近终点的事实之间仍然存在着紧张关系。为此,许多模型并行技术被提出来将模型参数分布到多个设备上,从而缓解存储和计算两方面的紧张。我们的工作是第一个引入三维模型并行,以加快巨大的语言模型。通过达到一个完美的负载平衡,我们的方法提出了更小的内存和通信成本比现有的最先进的1-D和2-D模型并行。我们在64个TACC的V100 GPU上的实验表明,我们的三维并行性能优于一维和二维并行,分别为2.32倍和1.57倍的加速比。
2021-05-30 cs.DC cs.LG cs.PF
DSL-based Design Space Exploration for Temporal and Spatial Parallelism of Custom Stream Computing
流计算是一种适合于基于FPGA的定制计算的方法,由于其高吞吐量的能力带来的流水线与定期的存储器访问。为了提高迭代流计算的性能,我们可以分别通过加深和复制管道来利用时间和空间并行性。然而,性能受到几个因素的限制,包括FPGA上的可用硬件资源,外部内存带宽和流水线阶段的利用率,因此我们需要找到不同并行性的最佳组合,以实现最高的性能单位功率。在本文中,我们提出了一个领域特定语言(DSL)的设计空间探索的时间和/或空间并行流计算与FPGA。我们定义了一个DSL,我们可以很容易地设计一个层次结构的并行流计算的抽象描述的计算。针对流体动力学模拟中的迭代流计算,我们设计了具有不同时空并行性混合的硬件结构。通过性能和功耗的测量,我们找到了其中最好的。
2015-08-27 cs.AR cs.CE cs.DC