A Flexible Programmable Pipeline Parallelism Framework for Efficient DNN Training
Shanghai AI Lab(上海人工智能实验室);Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);Peking University(北京大学)
本文提出FlexPipe,一个可编程流水线并行框架,通过DSL和自动化调度器实现灵活调度探索,相比Megtron-LM最高加速2.28倍。
2025-10-09 cs.DC
StateFlow: Sequence Pipeline Parallelism for Long-Context Modeling with Linear Recurrence
Tsinghua University(清华大学);ByteDance Inc.(字节跳动);Beijing University of Posts and Telecommunications(北京邮电大学);Hetao Institute of Mathematics and Interdisciplinary Sciences(河套数学与交叉科学研究所)
针对长上下文训练并行化难题,提出StateFlow序列流水线并行系统,通过分块调度、非均匀分块等优化,在32B参数、256K上下文模型上实现吞吐量与内存性能提升。
2026-08-10 cs.DC
Ada-Grouper: Accelerating Pipeline Parallelism in Preempted Network by Adaptive Group-Scheduling for Micro-Batches
流水线并行已被证明是一种显著的方法,可以提高在异构集群上训练具有数十亿参数的深度神经网络的吞吐量。1F 1B调度计划是一种广泛采用的内存和性能优化策略,它交换了不同微批的前向和后向阶段计算。另一方面,在使用1F 1B调度时的常见问题是,当网络资源被其他任务抢占时,即使级之间的通信最小,由于数据传输,级计算也会延迟。在云产品中无法保证对这些网络资源的独占访问。我们提出了一个通用的调度技术,以适应流水线并行抢占网络环境的代价一定量的内存压力。其核心思想是将1F 1B调度方案扩展到kFkB,将k个微批分组,交替执行k个前向和后向计算。我们提出Ada-Grouper,一个自适应kFkB调度器,定期调整组成员的数量k,以保持通信和计算效率之间的最佳平衡,对应于在不断变化的网络环境下的内存限制的变化。实验结果表明,我们的设计保持稳定的性能流水线并行,产生的性能提高了4%到30%,相比1F 1B抢占网络的情况。
2023-03-03 cs.DC
DisagFusion: Asynchronous Pipeline Parallelism and Elastic Scheduling for Disaggregated Diffusion Serving
Renmin University of China(中国人民大学);SenseTime(商汤科技);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学);Beihang University(北京航空航天大学)
针对扩散模型部署中阶段间负载不均和调度脆弱性问题,提出DisagFusion,通过异步流水线并行和混合实例调度策略,实现吞吐量提升3.4-20.5倍、端到端延迟降低18.5倍。
2026-05-25 cs.DC
PPipe: Efficient Video Analytics Serving on Heterogeneous GPU Clusters via Pool-Based Pipeline Parallelism
本文提出 PPipe 推理服务系统,利用基于池的流水线并行、MILP 控制平面和自适应批处理,在异构 GPU 集群上提升视频分析推理吞吐量与低端 GPU 利用率。
2025-07-24 cs.DC
BaPipe: Exploration of Balanced Pipeline Parallelism for DNN Training
University of Science and Technology of China(中国科学技术大学);Huawei Technologies(华为技术有限公司)
随着机器学习算法复杂度的增加,深度神经网络(DNN)的规模迅速增长。为了满足DNN训练对计算量和内存的要求,基于模型并行的分布式深度学习得到了广泛的认可。我们提出了一个新的流水线并行训练框架BaPipe,它可以自动探索DNN分布式训练的流水线并行训练方法和平衡分区策略。在BaPipe中,每个加速器计算网络不同部分的前向传播和后向传播,以实现批内流水线并行策略。BaPipe使用一种新的负载均衡自动探索策略,该策略考虑DNN模型的参数以及加速器集群的计算、内存和通信资源。我们在GPU集群上训练了不同的DNN,如VGG-16,ResNet-50和GNMT,并模拟了不同FPGA集群的性能。与最先进的数据并行和流水线并行框架相比,BaPipe在各种平台上提供高达3.2倍的加速和4倍的内存减少。
2021-01-14 cs.AI cs.DC
Pulse: Training Acceleration for Large Diffusion Models with Automatic Pipeline Parallelism
The Hong Kong University of Science and Technology(香港科技大学);Xidian University(西安电子科技大学);Shanghai Jiao Tong University(上海交通大学);Donghua University(东华大学);Pengcheng Laboratory(鹏城实验室)
提出PULSE自动流水线并行策略,通过将跳跃连接层同设备放置、局部缓存激活值,消除跨流水线通信,结合动态规划分区器、ILP调度合成器和混合并行调优器,在通信受限硬件上实现最高2.3倍吞吐提升。
2026-06-18 cs.DC
VPP: Virtual Pipeline Parallelism for Efficient Chunked Prefill in Long-Context LLM Inference
Huawei Technologies Co., Ltd.(华为技术有限公司);Shanghai Jiao Tong University(上海交通大学)
该研究提出VPP虚拟流水线并行技术,通过虚拟阶段布局优化解决长上下文LLM分块预填充的流水线气泡问题,在长序列等场景下显著提升吞吐量并降低气泡率。
2026-08-28 cs.DC
torchgpipe: On-the-fly Pipeline Parallelism for Training Giant Models
Kakao Brain;UNIST(蔚山科学技术院)
我们在PyTorch中设计并实现了一个现成的库,用于执行GPipe提出的检查点的微批处理流水线并行(Huang et al.,2019年)。特别是,我们开发了一组设计组件,以在PyTorch的运行定义和渴望执行环境中实现流水线并行梯度计算。我们表明,每个组件是必要的,以充分受益于流水线并行在这样的环境中,并证明了图书馆的效率,通过将其应用到各种网络架构,包括AmoebaNet-D和U-Net。我们的图书馆可以在https://github.com/kakaobrain/torchgpipe上找到。
2020-04-21 cs.DC cs.LG
Enhancing Memory Efficiency in Large Language Model Training Through Chronos-aware Pipeline Parallelism
针对LLM预训练的存储挑战,提出时间感知的流水线并行方法ChronosPipe,通过优化时间局部性提升HBM利用率,可将可训练模型规模扩大2.4倍且保持吞吐量,性能优于1F1B结合重计算策略1.5倍。
2025-08-23 cs.DC
AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism
Pluralis Research(Pluralis研究)
AsyncMesh通过引入异步更新和稀疏平均方法,在数据和流水线并行中实现高效优化,减少通信开销并保持性能
2026-01-30 cs.DC cs.LG
Choice of Parallelism: Multi-GPU Driven Pipeline for Huge Academic Backbone Network
科学信息网(SINET)是日本800多个研究机构和大学的学术骨干网络。在本文中,我们提出了一个多GPU驱动的流水线处理SINET的巨大的会话数据。我们的管道包括ELK堆栈,多GPU服务器和Splunk。多GPU服务器负责两个过程:判别和直方图。区分是通过子网掩码计算和网络地址匹配将会话数据划分为传入/传出。直方图是指使用map-reduce将传入/传出会话数据分组到bin中。在我们的架构中,我们使用GPU来加速会话数据的入口/出口区分。此外,我们使用平铺设计模式来构建CPU和GPU的两阶段映射缩减。我们的多GPU驱动的流水线已经成功地在24小时内处理了大约12亿到16亿个会话流(500 GB-650 GB)的巨大工作负载。
2021-06-24 cs.DC
PipeTune: Pipeline Parallelism of Hyper and System Parameters Tuning for Deep Learning Clusters
由于人工智能驱动的服务(如机器翻译和图像识别)的进步,DNN学习工作在当今的集群中很常见。这些工作中对模型性能和学习成本最关键的阶段是超参数的调整。现有的方法使用的技术,如提前停止标准,以减少调整对学习成本的影响。然而,这些策略没有考虑某些超参数和系统参数对训练时间的影响。本文介绍了PipeTune,DNN学习工作的框架,解决了这两种类型的参数之间的权衡。PipeTune利用这些作业的高并行性和重复性特征,通过同时调整超参数和系统参数的流水线来最大限度地减少学习成本。我们使用三种不同类型的工作负载进行的实验评估表明,PipeTune在调优和训练时间上分别实现了高达22.6%的减少和1.7倍的加速。PipeTune不仅提高了性能,还降低了高达29%的能耗。
2020-10-02 cs.DC
Breadth-First Pipeline Parallelism
ServiceNow Research(ServiceNow研究院)
本文提出广度优先流水线并行训练调度方法,通过结合高GPU利用率、小批量与全分片数据并行,在520亿参数模型上相比Megatron-LM实现最高43%的训练吞吐量提升。
2023-07-06 cs.AI cs.CL cs.DC
PipeSwift: Revisiting Pipeline Parallelism for Large-Scale Completion-Oriented Agentic LLM Serving
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Polar Bear Technologies(北极熊科技)
针对智能体服务完成时间目标,提出PipeSwift流水线并行运行时,通过JCT感知调度与多令牌预测,在64块H800上最高降低JCT达1.45-2.33倍。
2026-09-17 cs.DC
BSIPipe: Bidirectional Sequence-Level Interleaved Pipeline Parallelism for Long-Sequence Large Language Model Training
State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对长序列大语言模型训练的吞吐量与内存限制问题,提出BSIPipe双向序列级交错流水线并行,结合张量并行后在GPT、LLaMA3上较SOTA基线实现1.11×-1.13×平均加速比。
2026-10-14 cs.DC cs.LG
Scaling Deep Learning Training with MPMD Pipeline Parallelism
NVIDIA(英伟达)
提出 JaxPP 系统,通过灵活的流水线并行和无缝编程模型扩展大型深度学习训练,并利用 MPMD 运行时异步执行 SPMD 任务,将硬件利用率提升高达 1.11 倍。
2024-12-18 cs.DC cs.LG cs.PL
AMDP: Asynchronous Multi-Directional Pipeline Parallelism for Large-Scale Models Training
State Key Laboratory of Blockchain and Data Security, Zhejiang University, Hangzhou, China(区块链与数据安全国家重点实验室,浙江大学,杭州,中国);College of Computer Science and Technology, Zhejiang University, Hangzhou, China(计算机科学与技术学院,浙江大学,杭州,中国)
针对异步流水线并行中参数不匹配导致收敛退化的问题,提出AMDP方法,通过限制流水线第一阶段处理小批量数量、启动多条并发流水线并自适应调整数量、以及跨小批量累积梯度后单次更新,在保持高利用率的同时加速训练并保证收敛。
2026-05-28 cs.DC cs.LG
TimelyFreeze: Adaptive Parameter Freezing Mechanism for Pipeline Parallelism
Seonghye Cho;Jaemin Han;Hyunjin Kim;Euisoo Jung;Jae-Gil Lee
TimelyFreeze通过自适应参数冻结机制优化流水线并行,提升训练吞吐量并保持精度
2026-02-06 cs.AI cs.DC
Pipeline Parallelism with Controllable Memory
Sea AI Lab(Sea AI实验室);National University of Singapore(新加坡国立大学)
本文提出一种将流水线调度分解为构建块的框架,发现构建块寿命决定峰值激活内存,并设计可控内存的构建块,在纯流水线中吞吐量提升7%-55%,混合并行中提升16%。
2024-11-04 cs.CL cs.DC cs.LG
Sequence Parallelism: Long Sequence Training from System Perspective
National University of Singapore(新加坡国立大学)
Transformer在各种任务上取得了令人满意的结果。然而,自我注意遭受二次记忆要求相对于序列长度。现有的工作集中在从算法的角度降低时间和空间复杂度。在这项工作中,我们提出了序列并行,一个内存有效的并行方法,以帮助我们打破输入序列长度的限制和训练与更长的序列在GPU上有效地。我们的方法是兼容大多数现有的并行(例如,数据并行,流水线并行和张量并行),这意味着我们的序列并行使4D并行可能。更重要的是,我们不再需要一个单一的设备来保持整个序列。也就是说,在稀疏注意的情况下,我们的序列并行性使我们能够用无限长的序列来训练训练Transformer。具体来说,我们将输入序列拆分为多个块,并将每个块馈送到其对应的设备(即GPU)中。为了计算注意力输出,我们将环形通信与自注意力计算相结合,提出了环形自注意力(RSA)。实验表明,序列并行性能良好时,缩放批量大小和序列长度。与张量并行相比,我们的方法实现了$13.7\times$和$3.0\times$的最大批量大小和序列长度分别扩展到64个NVIDIA P100 GPU。利用稀疏注意力,序列可以处理具有超过114K令牌的序列,这比现有的稀疏注意力在单个设备上保持整个序列的工作时间长$27\times$。
2022-05-21 cs.DC cs.LG
HelixPipe: Efficient Distributed Training of Long Sequence Transformers with Attention Parallel Pipeline Parallelism
National University of Singapore(新加坡国立大学)
HelixPipe提出注意力并行划分与双重先进后出微批次调度,结合无注意力重计算和分块MLP,显著提升长序列Transformer分布式训练的吞吐量和可扩展性,在128k序列长度下实现26%加速。
2025-07-01 cs.DC cs.LG
MPipeMoE: Memory Efficient MoE for Pre-trained Models with Adaptive Pipeline Parallelism
本文提出MPipeMoE库,通过自适应流水线并行和内存重用策略,解决MoE训练中的通信与内存消耗问题,在8台DGX A100服务器上实现最高2.8倍加速并降低47%内存占用。
2025-06-27 cs.DC
FreeRide: Harvesting Bubbles in Pipeline Parallelism
University of Waterloo(滑铁卢大学)
FreeRide系统通过提供编程接口和资源管理机制,收集流水线并行中的气泡执行GPU侧任务,在仅约1%开销下实现7.8%的平均训练成本节省。
2025-04-27 cs.AI cs.DC
DAPPLE: A Pipelined Data Parallel Approach for Training Large Models
在具有多样化互连能力的复杂GPU平台上训练大型DNN模型是一项具有挑战性的任务。最近,流水线训练已经被提出作为提高设备利用率的有效方法。然而,仍然有几个棘手的问题需要解决:在确保收敛的同时提高计算效率,以及在不产生额外计算成本的情况下减少内存使用。我们提出了DAPPLE,一个同步训练框架,它结合了大型DNN模型的数据并行性和流水线并行。提出了一种新的并行化策略规划器来解决划分和布局问题,并探讨了数据并行和流水线并行的最优混合策略。我们还提出了一种新的运行时调度算法来减少设备内存使用,该算法与重新计算方法正交,并且不会以牺牲训练吞吐量为代价。实验表明,在同步训练场景下,DAPPLE规划器的性能始终优于PipeDream规划器生成的策略,最高可达3.23倍; DAPPLE运行时的训练吞吐量比GPipe提高了1.6倍,同时减少了12%的内存消耗。
2020-07-02 cs.DC
Concertina: Data-Centric Adaptive Pipeline Parallelism for Efficient Heterogeneous Long-Context LLM Training
Tsinghua University(清华大学);Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出弹性流水线并行和阶段感知切片级自适应检查点,以应对资源和工作负载异质性,实验证明InfiniPipe比现有系统快1.69倍。
2026-09-15 cs.AI cs.DC
ZeroPP: Unleashing Exceptional Parallelism Efficiency through Tensor-Parallelism-Free Methodology
ZeroPP提出无张量并行框架,结合流水线并行与全分片数据并行,在保持内存消耗的同时,相比三维并行实现高达33%的性能提升。
2024-05-24 cs.DC
TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models
UC Berkeley(加州大学伯克利分校);Duke University(杜克大学)
模型并行已经成为训练现代大规模深度语言模型的必要条件。在这项工作中,我们确定了一个新的和正交的维度,从现有的模型并行方法:它是可能的,以执行流水线并行在一个单一的训练序列基于transformer的语言模型由于其自回归属性。与以前的工作相比,这可以实现更细粒度的管道。基于这一核心思想,我们设计了一种高性能的令牌级流水线并行算法TeraPipe,用于基于transformer的语言模型的同步模型并行训练。我们开发了一种新的基于动态规划的算法来计算给定特定模型和集群配置的最优流水线执行方案。我们表明,与最先进的模型并行方法相比,TeraPipe可以将AWS集群上具有1750亿个参数的最大GPT-3模型的训练速度提高5.0倍,其中包含48个p3.16xlarge实例。复制代码可以在https://github.com/zhuohan123/terapipe上找到
2021-09-28 cs.CL cs.DC cs.LG
InternEvo: Efficient Long-sequence Large Language Model Training via Hybrid Parallelism and Redundant Sharding
针对长序列 LLM 训练效率低且与 FlashAttention 不兼容的问题,本文提出 InternEvo,通过分层分片解耦、混合并行、选择性通信重叠和内存管理提升模型 FLOPs 利用率。
2024-01-22 cs.DC
LoongTrain: Efficient Training of Long-Sequence LLMs with Head-Context Parallelism
提出LoongTrain系统,通过2D-Attention机制结合头并行与上下文并行,并引入Double-Ring-Attention等技术,解决了长序列LLM训练的可扩展性与效率问题,训练速度及MFU显著优于现有基线。
2024-06-26 cs.DC
Optimizing Long-context LLM Serving via Fine-grained Sequence Parallelism
针对现有长上下文LLM服务动态序列并行分配灵活性不足的问题,提出细粒度分块动态序列并行策略CDSP,构建系统Tetris,显著降低延迟并提升服务容量。
2025-11-19 cs.DC
Efficient and Robust Parallel DNN Training through Model Parallelism on Multi-GPU Platform
深度神经网络(DNN)的训练过程是计算密集型的,通常需要数天到数周的时间来训练DNN模型。因此,在GPU上并行执行DNN训练是当今广泛采用的加速过程的方法。由于实现简单,数据并行是目前最常用的并行化方法。然而,由于GPU之间频繁的权重同步,数据并行遭受过多的GPU间通信开销。另一种方法是流水线模型并行,它在GPU之间划分DNN模型,并并发处理多个小批。与数据并行相比,该方法可以显著降低GPU间通信成本。然而,流水线模型并行面临着权重陈旧的问题;也就是说,梯度是用陈旧的权重计算的,导致训练不稳定和精度损失。在本文中,我们提出了一种流水线模型并行执行方法,使高GPU利用率,同时保持强大的训练精度,通过一种新的权重预测技术,SpecTrain。实验结果表明,我们的建议实现了高达8.91倍的加速比相比,在4-GPU平台上的数据并行,同时保持可比的模型精度。
2019-10-28 cs.DC cs.LG
HSAP: A Hierarchical Sequence-aware Parallelism for Hybrid-Context Generative Models
Southern University of Science and Technology(南方科技大学);International Digital Economy Academy(国际数字经济学院)
提出一种分层序列感知并行框架,通过JIT编译优化通信策略,解决混合上下文打包序列中的因果注意力计算问题,在多个指标上优于现有方法。
2026-07-01 cs.DC cs.LG
Zero Bubble Pipeline Parallelism
Sea AI Lab
本文提出零气泡流水线并行调度,通过拆分反向计算、自动搜索最优调度并绕过优化器同步,在同步训练下消除流水线气泡,最高较 1F1B 提升 31% 吞吐量。
2023-11-30 cs.AI cs.DC cs.LG
Unleashing Scalable Context Parallelism for Foundation Models Pre-Training via FCP
University of California, Berkeley(加州大学伯克利分校);ByteDance Seed(字节跳动种子实验室);University of Washington(华盛顿大学);University of California, Davis(加州大学戴维斯分校)
本文提出FCP,一种灵活的上下文并行范式,通过块级粒度划分和调度序列,实现高效计算和负载平衡,提升基础模型预训练的可扩展性。
2026-05-08 cs.DC
ResBM: Residual Bottleneck Models for Low-Bandwidth Pipeline Parallelism
Macrocosmos AI
本文提出ResBM模型,通过残差瓶颈模块实现低带宽环境下的高效训练,达到128倍激活压缩,且不显著影响收敛速度和内存计算开销。
2026-04-13 cs.AI cs.DC cs.LG
GraphPipe: Improving Performance and Scalability of DNN Training with Graph Pipeline Parallelism
NVIDIA(英伟达);UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院);Stanford University(斯坦福大学)
针对现有流水线并行忽略DNN拓扑错失模型并行机会的问题,本文提出图流水线并行方案并开发GraphPipe系统,通过保留DNN拓扑实现算子并发,较现有系统性能最高提升1.6倍、搜索时间缩短9-21倍。
2024-10-28 cs.AI cs.DC cs.LG
ETH: Data-Balanced Heterogeneous Pipeline Parallelism for Training Large Models
University of Macau(澳门大学);Great Bay University(大湾区大学);Sun Yat-sen University(中山大学)
ETH系统针对现有大模型训练系统的缺陷,提出异构流水线并行方法,通过分层框架、分块梯度聚合等优化,实现最高2倍训练加速与最高56倍配置开销降低。
2026-10-20 cs.DC cs.LG
GNNPipe: Scaling Deep GNN Training with Pipelined Model Parallelism
Purdue University(普渡大学);Carnegie Mellon University(卡内基梅隆大学)
GNNPipe 首次将层级流水线模型并行用于全图深度 GNN 训练,通过层划分、依赖分块和历史嵌入等技术大幅降低通信量,并结合图并行实现高效可扩展训练。
2023-09-24 cs.AI cs.DC
BitPipe: Bidirectional Interleaved Pipeline Parallelism for Accelerating Large Models Training
Zhejiang University(浙江大学)
针对同步流水线并行中的气泡与通信开销问题,提出 BitPipe 双向交错流水线及 V 形即时梯度同步调度,在最多 32 GPU 上将 GPT/BERT 风格模型训练吞吐提升 1.05–1.28 倍。
2024-10-25 cs.AI cs.DC cs.LG
Heimdall++: Optimizing GPU Utilization and Pipeline Parallelism for Efficient Single-Pulse Detection
Zhejiang Lab(之江实验室);Zhejiang University(浙江大学)
Heimdall++通过优化GPU利用率和流水线并行,提升单脉冲检测效率,实现2.66倍单文件处理速度和2.05倍多文件批量处理速度。
2025-11-29 cs.DC
DSP: Dynamic Sequence Parallelism for Multi-Dimensional Transformers
National University of Singapore(新加坡国立大学)
针对多维 Transformer 长序列训练中嵌入式序列并行通信开销大的问题,提出 DSP,按计算阶段动态切换并行维度并高效重新分片,实现最高 10 倍加速。
2025-05-11 cs.DC cs.LG
Folding Tensor and Sequence Parallelism for Memory-Efficient Transformer Training & Inference
Zyphra
本文提出TSP并行策略,通过在同一设备轴上融合张量并行与序列并行,减少内存开销,适用于长上下文和内存受限的模型训练,同时可与现有并行方案结合使用。
2026-04-29 cs.CL cs.DC
LOIP:Collaborative Lossless LLM Inference Serving with Offloading-based Pipeline Parallelism on Edge Devices
School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院);School of Artificial Intelligence, Shandong University(山东大学人工智能学院);School of Cryptologic Science and Engineering, Shandong University(山东大学密码学与工程学院);Shandong Provincial Key Laboratory of Computing-Network Integration, Shandong University(山东大学计算网络集成山东省重点实验室)
提出LOIP系统,通过卸载感知的交叉流水线并行、细粒度分配调度和在线内存自适应策略,在异构边缘设备上实现LLM无损推理,相比基线加速8.8-20.3倍。
2026-09-23 cs.DC
Re-evaluating the Memory-balanced Pipeline Parallelism: BPipe
Meituan(美团)
本文重新评估了内存平衡流水线并行技术 BPipe,发现其在 LLaMA 训练及应用 flash attention 的 GPT-3 训练中收益微弱,分析了性能差异原因并提出了一种新的 BPipe 性能估计方法。
2024-01-04 cs.CL cs.DC cs.LG
TawPipe: Topology-Aware Weight Pipeline Parallelism for Accelerating Long-Context Large Models Training
针对长上下文大模型训练中现有流水线并行方法通信开销高、带宽利用率低的问题,提出拓扑感知权重流水线并行方法TawPipe,通过拓扑分组、固定分片、通信计算重叠优化效率,实验验证其吞吐量与可扩展性优于现有最优基线。
2025-11-12 cs.AI cs.DC cs.LG
BASP: Communication-Efficient Batch-Aware Sequence Parallelism for LLM Training
Clemson University(克莱姆森大学)
针对现有序列并行方法通信效率低的问题,提出BASP技术,通过按微批次大小划分GPU减少通信开销,在Llama和Qwen模型上提升训练时间1.17-1.31倍且不损失精度与内存使用。
2026-09-04 cs.DC cs.LG
Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
NVIDIA(英伟达);Stanford University(斯坦福大学);Microsoft Research(微软研究院)
大语言模型在一系列任务中实现了最先进的准确性。然而,由于两个原因,有效地训练这些模型是具有挑战性的:a)GPU内存容量有限,使得即使在多GPU服务器上也无法适应大型模型,以及b)训练这些模型所需的计算操作数量可能导致不切实际的长训练时间。因此,新的模型并行方法如张量和流水线并行被提出。不幸的是,这些方法的天真使用导致数千个GPU的基本缩放问题,例如,这是由于昂贵的跨节点通信或设备花费大量时间等待其他设备来取得进展。在本文中,我们将展示如何组合不同类型的并行方法(张量,管道和数据并行),以扩展到数千个GPU和具有数万亿参数的模型。我们调查技术的流水线并行,并提出了一种新的交错流水线并行计划,可以提高吞吐量的10+%的内存占用与现有的方法。我们定量地研究了张量、管道和数据并行之间的权衡,并提供了如何配置大型模型的分布式训练的直观性。我们的方法允许我们在3072个GPU上以502 petaFLOP/s的速度对具有1万亿个参数的模型执行训练迭代,实现了理论峰值的52%的每GPU吞吐量。我们的代码在https://github.com/nvidia/megatron-lm上开源。
2021-08-23 cs.CL cs.DC
Pipeline Parallelism for Inference on Heterogeneous Edge Computing
University of Southern California(南加州大学);Google(谷歌)
具有大模型大小的深度神经网络在计算机视觉(CV)和自然语言处理(NLP)任务中实现了最先进的结果。然而,这些大规模模型对于资源受限的边缘设备来说过于计算或内存密集型。以前关于并行和分布式执行的工作主要集中在数据中心使用同构加速器的训练-而不是推理。我们提出了EdgePipe,这是一种用于边缘系统的分布式框架,它使用流水线并行来加快推理速度,并支持运行更大(更准确)的模型,否则无法在单个边缘设备上运行。EdgePipe通过使用考虑计算、内存和网络带宽异构性的最佳分区策略来实现这些结果。我们的实证评估表明,EdgePipe实现了$10.59\times$和$11.88\times$加速使用16个边缘设备的ViT-Large和ViT-Huge模型,分别没有准确性损失。类似地,EdgePipe在使用16个边缘设备的4节点基线上通过$3.93\times$提高了ViT-Huge吞吐量,这些边缘设备无法独立地将模型放入内存中。最后,我们显示了$4.16\times$吞吐量的改善,在国家的最先进的PipeDream时,使用一组异构设备。
2021-10-28 cs.DC cs.LG
DawnPiper: A Memory-scablable Pipeline Parallel Training Framework
DawnPiper通过细粒度计算图分析、性能最优划分定理和二分划分算法,解决了流水线并行中的内存不平衡问题,显著提升了可训练批量大小和训练性能。
2025-05-09 cs.DC
Demystifying Pipeline Parallelism: First Theory for PipeDream
KAUST(卡斯土尼亚大学)
本文通过引入随机化 PipeDream (RPD) 抽象,首次为 PipeDream 风格方法提供了非凸收敛保证,并分析了其稳态延迟与阶段数的缩放关系,同时与 LocalSGD 进行了比较。
2026-06-02 cs.DC cs.LG
PipeOffload: Improving Scalability of Pipeline Parallelism with Memory Optimization
Sea AI Lab(海AI实验室);National University of Singapore(新加坡国立大学)
本文提出PipeOffload,通过内存卸载策略和检查点技术优化流水线并行中的激活内存消耗,使其不随阶段数增加,在降低内存的同时实现19%加速。
2025-06-30 cs.AI cs.DC cs.LG
NSP: Accelerating Variable-Length LLM Training via Nested Sequence Parallelism
ByteDance Seed(字节跳动Seed)
NSP通过嵌套不同大小的序列并行组,在共享GPU上平衡长尾变长序列训练的通信与负载,无需修改模型,显著提升端到端吞吐量。
2026-09-22 cs.DC
Zorse: Optimizing LLM Training Efficiency on Heterogeneous GPU Clusters
针对异构GPU集群上LLM训练的负载均衡与通信等挑战,提出首个统一非对称流水线并行与异构数据并行并配备自动规划器的Zorse系统,显著提升了异构训练效率。
2025-07-14 cs.DC