Momentum in large-batch training: Polyak enlarges the critical batch size, Nesterov improves data efficiency
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）；AI for Science Institute, Beijing（北京科学智能研究院）
该研究以幂律核回归为场景，分析单轮训练中Polyak和Nesterov动量对大批量训练的影响，推导临界学习率与风险动态标度律，得出三区域批量相图，验证了Polyak扩临界批量、Nesterov提数据效率的结论。
2026-10-28 cs.LG math.OC stat.ML
DBS: Dynamic Batch Size For Distributed Deep Neural Network Training
Sichuan University（四川大学）
具有数据并行的同步策略，如同步随机梯度下降（S-SGD）和模型平均方法，在深度神经网络（DNN）的分布式训练中得到了广泛的应用，这主要是由于其易于实现且具有良好的性能。特别地，集群的每个工作者托管DNN的副本和具有固定minibatch大小的均匀划分的共享，以保持DNN的训练收敛。在这些策略中，由于网络传输的同步和延迟，不同计算能力的工作者需要相互等待，这必然会造成高性能工作者的计算浪费，从而导致集群的利用率相对较低.为了缓解这个问题，我们提出了动态批量（DBS）策略用于DNN的分布式训练。具体地说，首先根据上一个epoch的实际情况对每个worker的性能进行评估，然后根据worker的当前性能动态调整批大小和集群划分，从而提高集群的利用率.为了验证所提策略的有效性，进行了大量的实验，实验结果表明，所提策略能够充分利用聚类的性能，减少训练时间，对不相关任务的干扰具有良好的鲁棒性.此外，还对所提出的策略的收敛性进行了严格的理论分析.
2022-11-03 cs.DC cs.LG stat.ML
Adaptive Batch Size Schedules for Distributed Training of Language Models with Data and Model Parallelism
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）；Northwestern University（西北大学）；University of Southern California Marshall School of Business（南加州大学马歇尔商学院）
本文提出兼容数据并行与模型并行、具备理论收敛保证的自适应批量大小调度，并基于 FSDP 实现，验证其在 Llama 2 小模型预训练中优于恒定与启发式预热策略。
2025-03-16 cs.LG math.OC stat.ML
Measuring the Effects of Data Parallelism on Neural Network Training
Google Brain（谷歌大脑）
最近的硬件发展已经显著地增加了可用于神经网络训练的数据并行性的规模。利用下一代硬件的最简单方法之一是增加标准小批量神经网络训练算法的批量大小。在这项工作中，我们的目标是通过实验来表征增加批量大小对训练时间的影响，通过达到目标样本外误差所需的步骤数来衡量。我们研究了这种关系如何随训练算法、模型和数据集而变化，并发现工作负载之间存在极大的变化。一路上，我们表明，文献中关于批量大小如何影响模型质量的分歧在很大程度上可以解释为不同批量大小下的元参数调整和计算预算的差异。我们发现没有证据表明较大的批量会降低样本外性能。最后，我们讨论了我们的研究结果的影响，努力训练神经网络更快地在未来。我们的实验数据是公开的，作为一个数据库，在35个工作负载的168，160个单独模型的训练过程中进行了71，638，836次损失测量。
2019-07-19 cs.LG stat.ML
Optimal Initialization of Batch Bayesian Optimization
Yeshiva University（叶史瓦大学）
本文提出一种名为最小终端方差（MTV）的批量设计采集函数，通过优化而非随机抽样设计批量贝叶斯优化的初始及后续批次，以最小化质量估计方差，数值实验表明其优于其他方法。
2024-04-27 cs.LG stat.ML
FPDeep: Scalable Acceleration of CNN Training on Deeply-Pipelined FPGA Clusters
深度神经网络（DNN）已经彻底改变了许多应用，但对更高性能的需求仍然有增无减。将DNN计算扩展到更大的集群通常是通过使用分布式同步SGD等方法以批处理模式分发任务来完成的。这种方法的问题之一是，为了使分布式集群以高利用率工作，分配给每个节点的工作负载必须很大，这意味着SGD小批量大小的增长非常重要。在本文中，我们提出了一个名为FPDeep的框架，它使用模型和层并行的混合配置分布式可重构集群训练DNN。这种方法有许多好处。首先，该设计不受批量增长的影响。第二，新的工作负载和权重划分导致节点之间的负载平衡。第三，整个系统是一个细粒度的管道。这导致了高并行性和利用率，并且还最小化了在等待反向传播时需要缓存的时间。因此，存储需求降低到只有片上存储器用于卷积层的程度。我们使用Alexnet、VGG-16和VGG-19基准测试来评估FPDeep。实验结果表明，FPDeep对大量FPGA具有良好的可扩展性，限制因素是FPGA到FPGA的带宽。每个FPGA有6个收发器，FPDeep的线性度高达83个FPGA。能源效率是相对于GOP/J进行评估的。FPDeep的能源效率平均比同类GPU服务器高6.36倍。
2020-06-21 cs.AR cs.DC cs.LG
BASP: Communication-Efficient Batch-Aware Sequence Parallelism for LLM Training
Clemson University（克莱姆森大学）
针对现有序列并行方法通信效率低的问题，提出BASP技术，通过按微批次大小划分GPU减少通信开销，在Llama和Qwen模型上提升训练时间1.17-1.31倍且不损失精度与内存使用。
2026-09-04 cs.DC cs.LG
DC-S3GD: Delay-Compensated Stale-Synchronous SGD for Large-Scale Decentralized Neural Network Training
Cray Switzerland（克雷瑞士公司）
数据并行已经成为在多个处理单元上训练深度神经网络的事实标准。在这项工作中，我们提出了DC-S3 GD，一个分散的（没有参数服务器）延迟补偿异步随机梯度下降（DC-ASGD）算法的静态同步版本。在我们的方法中，我们允许计算和通信的重叠，并通过梯度的一阶校正来补偿固有误差。我们通过大批量训练卷积神经网络，并取得了最先进的结果，证明了我们的方法的有效性。
2019-11-06 cs.DC cs.LG stat.ML
XPipe: Efficient Pipeline Model Parallelism for Multi-GPU DNN Training
National University of Defense Technology（国防科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了XPipe，一种用于多GPU DNN训练的高效异步管道模型并行方法。XPipe旨在使用多个GPU来并行和连续地训练DNN模型的不同部分。为了提高GPU利用率并实现高吞吐量，它将一个小批处理拆分为一组微批处理。它允许多个微批次的管道重叠，包括属于不同小批次的管道。最重要的是，XPipe采用的新的权重预测策略使其能够有效地解决异步流水线并行引起的权重不一致和过时问题。因此，XPipe结合了同步和异步管道模型并行方法的优点。实验结果表明，XPipe的性能优于其他同步和异步模型并行方法。
2020-11-09 cs.LG cs.PF
GSplit: Scaling Graph Neural Network Training on Large Graphs via Split-Parallelism
GSplit通过分片并行性在大规模图上高效扩展图神经网络训练，采用轻量级分区算法减少通信开销，优于现有主流系统。
2025-12-12 cs.DC cs.LG
Communication-free Sampling and 4D Hybrid Parallelism for Scalable Mini-batch GNN Training
本文提出ScaleGNN框架，通过无通信分布式采样、3D并行矩阵乘法和数据并行性，实现大规模小批量GNN训练，提升效率并减少通信开销。
2026-04-03 cs.AI cs.DC cs.LG
Cyclic Data Parallelism for Efficient Parallelism of Deep Neural Networks
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Flatiron Institute（弗拉蒂伦研究所）
针对现有数据并行方法中内存峰值和梯度通信瓶颈，提出循环数据并行范式，通过顺序执行微批次并统一延迟，实现恒定内存和平衡通信，减少GPU需求，并在CIFAR-10和ImageNet上验证了有效性。
2024-03-13 cs.AI cs.DC cs.LG
CATERPILLAR: Coarse Grain Reconfigurable Architecture for Accelerating the Training of Deep Neural Networks
Stanford University（斯坦福大学）；Cerebras Systems
加速经过训练的DNN的推理是一个很好的研究课题。在本文中，我们将重点转向DNN的训练。训练阶段是计算密集型的，需要复杂的数据通信，并且包含多级数据依赖性和并行性。本文提出了一种高效加速器的算法/架构空间探索，以实现更好的网络收敛速度和更高的能量效率来训练DNN。我们进一步证明，集体通信语义的分层支持的架构提供了灵活性，在训练各种网络执行随机和批量梯度下降为基础的技术。我们的研究结果表明，较小的网络有利于非批处理技术，而较大的网络的性能更高，使用批处理操作。在45纳米技术下，CATERPILLAR在小型网络上的SGD训练中实现了177 GFLOPS/W的性能效率，利用率超过80%，在较大网络上的流水线SGD/CP训练中实现了211 GFLOPS/W的性能效率，利用率超过90%，总面积分别为103.2 mm $^2$和178.9 mm $^2$。
2017-06-08 cs.DC cs.LG cs.NE
Breadth-First Pipeline Parallelism
ServiceNow Research（ServiceNow研究院）
本文提出广度优先流水线并行训练调度方法，通过结合高GPU利用率、小批量与全分片数据并行，在520亿参数模型上相比Megatron-LM实现最高43%的训练吞吐量提升。
2023-07-06 cs.AI cs.CL cs.DC
Sequence Parallelism: Long Sequence Training from System Perspective
National University of Singapore（新加坡国立大学）
Transformer在各种任务上取得了令人满意的结果。然而，自我注意遭受二次记忆要求相对于序列长度。现有的工作集中在从算法的角度降低时间和空间复杂度。在这项工作中，我们提出了序列并行，一个内存有效的并行方法，以帮助我们打破输入序列长度的限制和训练与更长的序列在GPU上有效地。我们的方法是兼容大多数现有的并行（例如，数据并行，流水线并行和张量并行），这意味着我们的序列并行使4D并行可能。更重要的是，我们不再需要一个单一的设备来保持整个序列。也就是说，在稀疏注意的情况下，我们的序列并行性使我们能够用无限长的序列来训练训练Transformer。具体来说，我们将输入序列拆分为多个块，并将每个块馈送到其对应的设备（即GPU）中。为了计算注意力输出，我们将环形通信与自注意力计算相结合，提出了环形自注意力（RSA）。实验表明，序列并行性能良好时，缩放批量大小和序列长度。与张量并行相比，我们的方法实现了$13.7\times$和$3.0\times$的最大批量大小和序列长度分别扩展到64个NVIDIA P100 GPU。利用稀疏注意力，序列可以处理具有超过114K令牌的序列，这比现有的稀疏注意力在单个设备上保持整个序列的工作时间长$27\times$。
2022-05-21 cs.DC cs.LG
Efficient Scaling of LLM Training with Flexible Context Parallelism
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Huawei Technologies Co., Ltd.（华为技术有限公司）
针对数据异构导致负载不均和通信冗余问题，提出自适应重配置通信组和上下文并行度的FCP策略，实现近线性加速比，最高达1.46倍吞吐提升。
2026-06-08 cs.DC cs.LG
Mesh-TensorFlow: Deep Learning for Supercomputers
Google Brain（谷歌大脑）
批量拆分（数据并行）是主要的分布式深度神经网络（DNN）训练策略，由于其普遍适用性和对单程序多数据（SPMD）编程的适应性。然而，批量拆分存在一些问题，包括无法训练非常大的模型（由于内存限制），高延迟和小批量时的低效率。所有这些都可以通过更一般的分布策略（模型并行）来解决。不幸的是，有效的模型并行算法往往是复杂的发现，描述和实现，特别是在大型集群。我们介绍Mesh-TensorFlow，一种用于指定分布式张量计算的通用语言。数据并行性可以被视为沿着“批处理”维度拆分张量和操作，在Mesh-TensorFlow中，用户可以指定任何张量维度在处理器的多维网格的任何维度上拆分。Mesh-TensorFlow图编译成SPMD程序，该程序由并行操作和集合通信原语（如Allreduce）组成。我们使用Mesh-TensorFlow来实现Transformer序列到序列模型的高效数据并行、模型并行版本。使用多达512个核心的TPU网格，我们训练具有多达50亿个参数的Transformer模型，超越了WMT'14英法翻译任务和10亿字语言建模基准的最新成果。Mesh-Tensorflow可在https://github.com/tensorflow/mesh上获得。
2018-11-05 cs.DC cs.LG stat.ML
An Empirical Model of Large-Batch Training
OpenAI；Johns Hopkins University（约翰斯·霍普金斯大学）
在越来越多的领域中，已经证明深度学习模型可以使用相对较大的批量大小进行训练，而不会牺牲数据效率。然而，这种大规模数据并行的限制似乎因域而异，从ImageNet中的数万批到玩Dota 2游戏的RL代理中的数百万批。据我们所知，对于为什么这些批量大小的限制不同，或者我们如何在新的领域中选择正确的批量大小，概念上的理解有限。在本文中，我们证明了一个简单且易于测量的统计量，称为梯度噪声尺度，可以预测许多领域和应用程序中最大的有用批量大小，包括许多监督学习数据集（MNIST，SVHN，CIFAR-10，ImageNet，Billion Word），强化学习领域（Atari和Dota），甚至生成模型训练（SVHN上的自动编码器）。我们发现，噪声尺度随着训练运行中损失的减少而增加，并且主要通过改进模型性能来依赖于模型大小。我们的理论还描述了计算效率和时间效率之间的权衡，并提供了自适应批量训练的好处的粗略模型。
2018-12-14 cs.LG stat.ML
HelixPipe: Efficient Distributed Training of Long Sequence Transformers with Attention Parallel Pipeline Parallelism
National University of Singapore（新加坡国立大学）
HelixPipe提出注意力并行划分与双重先进后出微批次调度，结合无注意力重计算和分块MLP，显著提升长序列Transformer分布式训练的吞吐量和可扩展性，在128k序列长度下实现26%加速。
2025-07-01 cs.DC cs.LG
Parallel Training of Deep Networks with Local Updates
University of Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；Graphcore Research（Graphcore研究院）；Graphcore
在大型数据集上训练的深度学习模型在视觉和语言领域都取得了广泛的成功。随着最先进的深度学习架构在参数计数方面的持续增长，训练它们所需的计算预算和时间也在不断增加，从而增加了对并行训练的计算高效方法的需求。并行化深度网络训练的两种常见方法是数据和模型并行。虽然有用，但数据和模型并行在大批量的计算效率方面的收益递减。在本文中，我们研究了如何通过局部并行性（local parallelism）在大批量的收益递减点之外继续有效地扩展计算，这是一种通过用截断的逐层反向传播（truncated layer-wise backpropagation）替换全局反向传播（global backpropagation）来并行化深度网络中各个层的训练的框架。本地并行支持完全异步的逐层并行，内存占用量低，与模型并行相比，只需要很少的通信开销。我们在视觉和语言领域的不同的架构集的结果，并发现本地并行是特别有效的高计算制度。
2021-06-15 cs.AI cs.LG cs.NE
Memory-efficient training with streaming dimensionality reduction
George Washington University（乔治华盛顿大学）；National Institute of Standards and Technology（美国国家标准与技术研究院）
在深度神经网络的训练过程中，大量数据的移动给机器学习工作负载带来了巨大的挑战。为了最大限度地减少这种开销，特别是在梯度信息的移动和计算上，我们引入了流式批量主成分分析作为更新算法。流式批量主成分分析使用随机幂迭代来生成网络梯度的随机k秩近似。我们证明了由流批主成分分析产生的低秩更新可以有效地在各种常见数据集上训练卷积神经网络，其性能与标准迷你批量梯度下降相当。这些结果可以改进用于深度学习的专用集成电路的设计，以及用数据并行训练的机器学习模型的同步速度。
2020-04-25 cs.LG stat.ML
torchgpipe: On-the-fly Pipeline Parallelism for Training Giant Models
Kakao Brain；UNIST（蔚山科学技术院）
我们在PyTorch中设计并实现了一个现成的库，用于执行GPipe提出的检查点的微批处理流水线并行（Huang et al.，2019年）。特别是，我们开发了一组设计组件，以在PyTorch的运行定义和渴望执行环境中实现流水线并行梯度计算。我们表明，每个组件是必要的，以充分受益于流水线并行在这样的环境中，并证明了图书馆的效率，通过将其应用到各种网络架构，包括AmoebaNet-D和U-Net。我们的图书馆可以在https://github.com/kakaobrain/torchgpipe上找到。
2020-04-21 cs.DC cs.LG
jaxsgp4: GPU-accelerated mega-constellation propagation with batch parallelism
Kavli Institute for Cosmology, University of Cambridge（剑桥大学卡弗里宇宙学研究所）；Institute of Astronomy, University of Cambridge（剑桥大学天文学研究所）；PolyChord Ltd.（PolyChord有限公司）
本文提出jaxsgp4，利用JAX库实现SGP4算法的高性能重写，通过GPU并行计算在4ms内完成Starlink星座1000个时间步的传播，比传统C++快1500倍。
2026-03-29 astro-ph.EP astro-ph.IM cs.DC
Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs
UC Berkeley（加州大学伯克利分校）；Allen Institute for AI（艾伦人工智能研究所）
该研究针对计算充足但数据有限的重复数据预训练，发现批量大小与轮次的U型关系、小批量的隐式正则化作用，还明确了训练方案调整方向及GPU与时间的资源权衡规则，为预训练资源分配提供了新指导。
2026-10-14 cs.CL cs.LG
Efficient Strong Scaling Through Burst Parallel Training
MIT（麻省理工学院）
随着新兴深度神经网络（DNN）模型的规模不断增长，使用大型GPU集群来训练DNN正成为实现可接受的训练时间的基本要求。在本文中，我们考虑的情况下，未来的集群大小的增加将导致全球批量大小，可用于训练模型达到一个基本的限制：超过一定的点，更大的全球批量大小导致样本效率下降，增加整体时间的准确性。因此，为了进一步提高训练性能，我们必须考虑“强缩放”策略，保持全局批量大小不变，并将较小的批量分配给每个GPU。不幸的是，这使得有效地使用集群资源变得更加困难。我们提出了DeepPool，一个通过两个关键思想来解决这一效率挑战的系统。首先，突发并行性将大量GPU分配给突发中的前台作业，以利用跨层并行性的不均匀性。其次，GPU多路复用优先考虑前台训练作业的吞吐量，同时打包后台训练作业以回收未充分利用的GPU资源，从而提高整个集群的利用率。这两个想法使DeepPool能够在集群规模较大的情况下，通过单个任务实现比标准数据并行提高1.2 - 2.3倍的集群总吞吐量。
2022-05-23 cs.CV cs.DC cs.LG
Improving Strong-Scaling of CNN Training by Exploiting Finer-Grained Parallelism
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
扩展CNN训练对于跟上不断增长的数据集并减少训练时间是必要的。我们还看到了一个新的需求，即处理具有非常大样本的数据集，其中训练的内存需求很大。现有的训练框架使用一种数据并行方法，将样本划分为一个小批量，但对小批量大小和内存消耗的限制使得这对于大样本来说是站不住脚的。我们描述和实现新的卷积方法，使用空间分解或样本和空间分解的组合进行并行化。这为网络引入了许多性能旋钮，因此我们为CNN开发了一个性能模型，并提出了一种使用它来自动确定有效并行化策略的方法。我们评估我们的算法与微基准和图像分类与ResNet-50。我们的算法使我们能够原型模型的网格缠结数据集，其中样本量非常大。我们表明，我们的并行化实现了出色的强和弱缩放，并能够训练以前无法访问的数据集。
2019-03-15 cs.DC cs.LG
Revisiting Small Batch Training for Deep Neural Networks
Graphcore Research（Graphcore研究公司）
现代深度神经网络训练通常基于小批量随机梯度优化。虽然使用大的小批量增加了可用的计算并行性，但小批量训练已被证明可以提供改进的泛化性能，并允许显著更小的内存占用，这也可以用于提高机器吞吐量。在本文中，我们回顾了常见的假设学习率缩放和训练时间，作为一个实验的基础上比较不同的小批量的测试性能。我们采用对应于每个梯度计算的恒定平均权值更新的学习率（即，每单位计算成本），并指出这导致权重更新的方差随小批量大小$m$线性增加。收集的CIFAR-10、CIFAR-100和ImageNet数据集的实验结果表明，增加小批量会逐渐减少学习率的范围，从而提供稳定的收敛和可接受的测试性能。另一方面，较小的小批量提供了更先进的梯度计算，从而产生更稳定和可靠的训练。$m = 2$和$m = 32$之间的小批量始终获得最佳性能，这与最近提倡使用数千个小批量的工作形成对比。
2018-04-20 cs.CV cs.LG stat.ML
Efficient and Robust Parallel DNN Training through Model Parallelism on Multi-GPU Platform
深度神经网络（DNN）的训练过程是计算密集型的，通常需要数天到数周的时间来训练DNN模型。因此，在GPU上并行执行DNN训练是当今广泛采用的加速过程的方法。由于实现简单，数据并行是目前最常用的并行化方法。然而，由于GPU之间频繁的权重同步，数据并行遭受过多的GPU间通信开销。另一种方法是流水线模型并行，它在GPU之间划分DNN模型，并并发处理多个小批。与数据并行相比，该方法可以显著降低GPU间通信成本。然而，流水线模型并行面临着权重陈旧的问题;也就是说，梯度是用陈旧的权重计算的，导致训练不稳定和精度损失。在本文中，我们提出了一种流水线模型并行执行方法，使高GPU利用率，同时保持强大的训练精度，通过一种新的权重预测技术，SpecTrain。实验结果表明，我们的建议实现了高达8.91倍的加速比相比，在4-GPU平台上的数据并行，同时保持可比的模型精度。
2019-10-28 cs.DC cs.LG
Parallelizing Exploration-Exploitation Tradeoffs with Gaussian Process Bandit Optimization
California Institute of Technology（加州理工学院）
一个人可以并行复杂的勘探开发权衡？作为一个例子，考虑最优高通量实验设计的问题，我们希望顺序设计实验批次，以便同时学习将刺激映射到响应的代理函数并确定函数的最大值。我们将任务形式化为多臂强盗问题，其中未知的支付函数从高斯过程（GP）中采样，而不是单个手臂，在每一轮中，我们并行地拉动一批多个手臂。我们开发的GP-BUCB，一个原则性的算法选择批次，顺序GP优化的GP-UCB算法的基础上。我们证明了一个令人惊讶的结果;与顺序方法相比，并行算法的累积遗憾仅增加一个常数因子，与批量大小B无关。我们的研究结果提供了严格的理论支持，利用并行贝叶斯全局优化。我们证明了我们的方法在两个现实世界的应用程序的有效性。
2012-06-27 cs.LG stat.ML
How Does Critical Batch Size Scale in Pre-training?
Harvard University（哈佛大学）；Kempner Institute at Harvard University（哈佛大学凯普勒研究所）；University of California, Berkeley（加州大学伯克利分校）；The University of Hong Kong（香港大学）；Amazon（亚马逊公司）
本研究提出临界批量大小（CBS）的度量方法，通过预训练85M至1.2B参数的语言模型，发现CBS主要随数据规模而非模型规模扩展，并给出理论解释。
2025-04-21 cs.AI cs.LG math.OC
Unifying Data, Model and Hybrid Parallelism in Deep Learning via Tensor Tiling
New York University（纽约大学）
深度学习系统已成为许多领域的重要工具，但不断增加的模型大小意味着必须加速训练以保持此类系统的实用性。目前的系统，如Tensorflow和MXNet，专注于一种特定的并行化策略，即数据并行，它需要大的训练批量才能扩展。我们将寻找最佳并行化策略的问题转化为寻找最佳平铺的问题，以最少的总体通信来划分张量。我们提出了一个算法，可以找到最佳的平铺。我们的并行化解决方案是数据并行和模型并行的混合。我们构建了一个可执行自动并行化的NetBeans系统。基于它找到的最佳平铺，CubeBean自动将现有深度学习系统前端捕获的串行CubeBean图转换为并行CubeBean图。我们的评估表明，对于AlexNet和VGG，CubeBean比纯数据并行快1.5倍-4倍。我们在一个新的系统中展示了这种自动平铺，该系统可以作为Tensorflow，MXNet和其他系统的后端。
2018-05-10 cs.DC cs.LG
DEEP-GAP: Deep-learning Evaluation of Execution Parallelism in GPU Architectural Performance
Independent Researcher (University of Colorado Colorado Springs Alumni)（独立研究者（科罗拉多州立大学科罗拉多斯普林斯校友））
本文通过DEEP-GAP方法系统评估NVIDIA T4和L4 GPU在不同精度下的推理性能，发现INT8精度能显著提升吞吐量，L4在小批量任务中效率更高，T4在大规模任务中仍具竞争力。
2026-04-16 cs.AR cs.LG cs.PF
WLB-LLM: Workload-Balanced 4D Parallelism for Large Language Model Training
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Meta
针对大语言模型四维并行训练中的工作负载不均衡问题，提出WLB-LLM方法，通过流水线层面的变长文档打包与上下文层面的细粒度逐文档分片实现负载均衡，实验验证其在内部训练框架中可带来1.23倍平均加速。
2025-03-23 cs.AI cs.DC cs.LG
FIXAR: A Fixed-Point Deep Reinforcement Learning Platform with Quantization-Aware Training and Adaptive Parallelism
School of Electrical Engineering KAIST（韩国科学技术院电气工程学院）
在本文中，我们提出了一个名为FIXAR的深度强化学习平台，该平台首次采用了固定点数据类型和算术单元，并采用了软硬件协同设计的方法。从32位定点数据开始，量化感知训练（QAT）根据激活范围降低其数据精度，并执行再训练以最大限度地减少奖励降级。FIXAR提出了由可配置处理元件组成的自适应阵列处理核心，以支持高吞吐量推理和训练的层内并行和批内并行。最后，在Xilinx U 50上实现了FIXAR，达到了每秒25293.3次推理（IPS）的训练吞吐量和2638.0 IPS/W的加速器效率，比CPU-GPU平台快2.7倍，节能15.4倍，而精度没有任何下降。
2021-02-24 cs.AR cs.LG
GraphPipe: Improving Performance and Scalability of DNN Training with Graph Pipeline Parallelism
NVIDIA（英伟达）；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；Stanford University（斯坦福大学）
针对现有流水线并行忽略DNN拓扑错失模型并行机会的问题，本文提出图流水线并行方案并开发GraphPipe系统，通过保留DNN拓扑实现算子并发，较现有系统性能最高提升1.6倍、搜索时间缩短9-21倍。
2024-10-28 cs.AI cs.DC cs.LG
DeepSpeed Ulysses: System Optimizations for Enabling Training of Extreme Long Sequence Transformer Models
Microsoft Inc（微软公司）
针对现有并行方法不适用长序列LLM训练、现有序列并行方案内存通信效率低的问题，提出DeepSpeed-Ulysses方法，通过序列维度划分数据与高效all-to-all通信实现恒定通信量，训练速度与支持序列长度均显著优于现有SOTA基线。
2023-10-04 cs.CL cs.DC cs.LG
The Case for Strong Scaling in Deep Learning: Training Large 3D CNNs with Hybrid Parallelism
Tokyo Institute of Technology（东京工业大学）；University of Oregon（俄勒冈大学）；RIKEN Center for Computational Science（理化学研究所计算科学研究中心）
我们提出了可扩展的混合并行算法，用于训练大规模的三维卷积神经网络。基于深度学习的新兴科学工作流通常需要使用大型高维样本进行模型训练，这可能会使训练成本更高，甚至由于过度使用内存而不可行。我们通过在整个端到端训练管道（包括计算和I/O）中广泛应用混合并行来解决这些挑战。我们的混合并行算法扩展了标准的数据并行与空间并行，它划分了一个单一的样本在空间域中，实现强大的扩展超出了小批量尺寸与更大的聚合内存容量。我们用两个具有挑战性的3D CNN，CosmoFlow和3D U-Net来评估我们提出的训练算法。我们的综合性能研究表明，使用2K GPU的两个网络都可以实现良好的弱扩展和强扩展。更重要的是，我们能够使用比以前更大的样本来训练CosmoFlow，从而实现预测准确性的数量级提高。
2020-07-25 cs.DC cs.LG
Clustering-Based Balanced Sampling and Allocation with Data Parallelism for High-Performance Fine-Tuning
KAIST（韩国科学技术院）
针对指令微调数据冗余与不平衡问题，提出聚类感知的平衡采样框架CluSTER，通过梯度空间聚类和DP感知分配实现高效数据缩减，最多减少69.6%训练时间且几乎无精度损失。
2026-09-14 cs.AI cs.LG
ShardTensor: Domain Parallelism for Scientific Machine Learning
NVIDIA Santa Clara, CA, USA（NVIDIA 圣克拉拉加州 USA）
本文提出ShardTensor，一种领域并行新范式，通过解耦输入数据的空间维度与硬件限制，实现输入数据灵活扩展，提升科学机器学习的训练和推理精度与效率。
2026-05-11 cs.DC cs.LG
Layered gradient accumulation and modular pipeline parallelism: fast and efficient training of large language models
ServiceNow（ServiceNow公司）
Transformer的出现引发了语言模型规模的快速增长，远远超过了硬件的改进。在不久的将来，（密集）Transformers预计将达到万亿参数规模，为此训练需要数千甚至数万个GPU。我们调查了在这种规模及更大规模的商用硬件上进行培训的挑战。特别是，我们分析了分布式训练的不同配置的最短可能的训练时间，利用语言模型的经验缩放定律来估计最佳（临界）批量大小。与流行的观点相反，我们没有发现记忆墙的证据，而是认为真正的限制-除了成本-在于训练时间。除了这个分析，我们介绍了两种新的方法，\textit{layered gradient accumulation}和\textit{modular pipeline parallelism}，这两种方法一起将最短的训练时间缩短了一半。这些方法还减少了数据移动，将网络要求降低到不需要快速InfiniBand连接的程度。这种提高的网络效率也改进了ZeRO优化器引入的方法，将内存使用量减少到可用GPU内存的一小部分。
2021-06-04 cs.AI cs.CL cs.DC
PRES: Toward Scalable Memory-Based Dynamic Graph Neural Networks
University of Hong Kong（香港大学）
本文针对基于记忆的动态图神经网络在大时间批量训练中的时间不连续性问题，提出迭代预测-校正方案PRES并结合记忆一致性目标，实现4倍时间批量增大和3.4倍加速而不损失泛化性能。
2024-02-26 cs.LG
Critical Batch Size Revisited: A Simple Empirical Approach to Large-Batch Language Model Training
Allen Institute for AI（人工智能研究所）
本文提出一种直接测量临界批量大小（CBS）的简单经验方法，发现 CBS 随训练先升后稳，并据此验证批量大小预热可在减少 43% 梯度步数的情况下训练 OLMo 1B 达到更优损失。
2025-11-05 cs.LG
BitPipe: Bidirectional Interleaved Pipeline Parallelism for Accelerating Large Models Training
Zhejiang University（浙江大学）
针对同步流水线并行中的气泡与通信开销问题，提出 BitPipe 双向交错流水线及 V 形即时梯度同步调度，在最多 32 GPU 上将 GPT/BERT 风格模型训练吞吐提升 1.05–1.28 倍。
2024-10-25 cs.AI cs.DC cs.LG
Characterizing Parallelism Strategies in LLM Inference: Fundamental Compute-Communication Trade-offs
Dell Technologies Inc.（戴尔科技公司）
本文提出统一解析框架，建模TP、PP和HB下分布式LLM推理的延迟分解，揭示计算-通信权衡，指导并行策略选择。
2026-10-06 cs.AI cs.DC cs.LG
Linear Attention Sequence Parallelism
Shanghai AI Laboratory（上海人工智能实验室）；TapTap
针对现有序列并行方法未利用线性注意力先右乘特性导致效率不足的问题，提出LASP方法，通过环形通信、核融合等优化，在128GPU上将序列长度扩展至现有方法的8倍，且兼容批量数据并行。
2025-05-16 cs.CL cs.LG
Sampling Parallelism for Fast and Efficient Bayesian Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Helmholtz AI（亥姆霍兹人工智能）
本文提出采样并行策略，通过分布式GPU加速采样过程，降低内存压力和训练时间，提升贝叶斯学习效率，同时与数据并行策略结合增强模型鲁棒性。
2026-04-06 cs.AI cs.DC cs.LG
Parallelism Strategy Chaining for Fast Training Convergence
Korea University（高丽大学）
本文提出CONA在线链式切换并行策略，利用吞吐量和梯度统计的替代指标动态选择最优策略，显著加速大模型训练收敛，TTP提升1.4-9.6倍。
2026-09-09 cs.AI cs.DC cs.LG
Sequence Length Scaling in Vision Transformers for Scientific Images on Frontier
Oak Ridge National Laboratory（橡树岭国家实验室）；Indiana University Bloomington（印第安纳大学伯明顿分校）；RIKEN Center for Computational Science（理化学研究所计算科学中心）
本研究提出面向ViT的分布式序列并行方法，支持百万级令牌，在2048块GPU上实现94%扩展效率，并将气候温度预测精度提升20%。
2024-04-17 cs.CV cs.LG
Shortcut-connected Expert Parallelism for Accelerating Mixture-of-Experts
提出ScMoE架构与重叠并行策略，解耦通信与计算的顺序依赖实现100%重叠，在保持模型质量的同时显著提升MoE训练和推理速度。
2025-05-29 cs.CL cs.DC cs.LG
Power Lines: Scaling Laws for Weight Decay and Batch Size in LLM Pre-training
Cerebras Systems（Cerebras系统）
本文研究了大规模语言模型预训练中权重衰减和批量大小的缩放定律，揭示了超参数在不同训练设置下的优化规律，并提出了基于令牌数比的精确预测方法。
2025-11-23 cs.AI cs.CL cs.LG
BatchGNN: Efficient CPU-Based Distributed GNN Training on Very Large Graphs
KatanaGraph（KatanaGraph公司）；Intel Corporation（英特尔公司）；Colorado School of Mines（科罗拉多矿业学院）
本文提出分布式CPU系统BatchGNN，通过宏批处理、集成图分区和原生GNN层实现等技术降低通信与采样开销，在TB级图上高效训练GNN，平均3倍快于DistDGL并优于GPU系统。
2023-06-23 cs.DC cs.LG
A Dependency-Aware Multi-GPU Training Framework for Temporal Graph Neural Networks
University of Science and Technology of China（中国科学技术大学）；Illinois Institute of Technology（伊利诺伊理工大学）
针对时序图神经网络多GPU训练的依赖限制问题，提出DepBloom框架，通过三项技术实现平均2.84倍、最高5.16倍加速，且保持相当或更优准确率。
2026-10-14 cs.DC cs.LG
A GPU-Outperforming FPGA Accelerator Architecture for Binary Convolutional Neural Networks
Arizona State University（亚利桑那州立大学）；Nanyang Technological University（南洋理工大学）
基于FPGA的卷积神经网络（CNN）硬件加速器由于其比GPU更高的能量效率而受到广泛关注。然而，基于FPGA的解决方案要实现比GPU更高的吞吐量是具有挑战性的。在本文中，我们证明了当CNN在权重和激活的二进制约束下进行训练时，FPGA加速在吞吐量和能效方面都是一种优越的解决方案。具体来说，我们提出了一种优化的FPGA加速器架构，专为逐位卷积和归一化而设计，具有大规模的空间并行性和深流水线阶段。FPGA加速器的一个关键优势是其性能对数据批量大小不敏感，而GPU加速的性能在很大程度上取决于数据的批量大小。实验结果表明，在Virtex-7 FPGA上运行的二进制CNN的加速器架构比Titan X GPU快8.3倍，能效高75倍，可以处理小批量的在线个人请求。对于处理大批量静态数据，该解决方案在吞吐量方面与Titan X GPU不相上下，同时提供9.5倍的能效。
2017-06-08 cs.AR cs.CV cs.DC
COMMET: orders-of-magnitude speed-up in finite element method via batch-vectorized neural constitutive updates
Department of BioMechanical Engineering, Faculty of Mechanical Engineering, Delft University of Technology（生物机械工程系，机械工程学院，代尔夫特理工大学）；Department of Material Science Engineering, Faculty of Mechanical Engineering, Delft University of Technology（材料科学工程系，机械工程学院，代尔夫特理工大学）
COMMET通过批量向量化的神经本构更新显著提升有限元模拟效率，实现十倍速提升。
2026-01-20 cs.CE cs.LG
