Universal Checkpointing: A Flexible and Efficient Distributed Checkpointing System for Large-Scale DNN Training with Reconfigurable Parallelis
UIUC（伊利诺伊大学香槟分校）；Microsoft（微软）；Snowflake
本文提出通用检查点系统UCP，通过将检查点结构与并行策略和硬件配置解耦，并设计基于模式的重配置流水线，实现大规模DNN训练中灵活高效的并行策略重配置，显著提升训练对动态硬件环境的适应能力。
2025-07-04 cs.DC cs.LG
Automatic Model Parallelism for Deep Neural Networks with Compiler and Hardware Support
Intel Labs（英特尔实验室）
深度神经网络（DNN）在迄今为止只有人类才能完成的任务（如图像识别和语言翻译）中取得了巨大成功。由于它们的成功，DNN正在被探索用于越来越复杂的任务。DNN为复杂任务扩展的方法之一是增加其规模-更深更宽的网络可以很好地模拟额外的复杂性。在多个计算设备（诸如多GPU和多节点系统）上使用模型并行来训练这样的大型模型。在本文中，我们开发了一个编译器驱动的方法来实现模型并行。我们模拟的计算和通信成本的一个体现神经网络的训练过程，然后，分区图使用的方式，计算设备之间的通信是最小的，我们有一个很好的负载平衡。硬件调度助手的建议，以协助编译器在运行时的工作分配微调。
2019-06-11 cs.DC cs.LG
TFApprox: Towards a Fast Emulation of DNN Approximate Hardware Accelerators on GPU
Brno University of Technology（布尔诺理工大学）
深度神经网络（DNN）硬件加速器的能量效率可以通过引入近似运算电路来提高。为了量化使用这些电路引入的误差并避免昂贵的硬件原型，DNN加速器的软件仿真器通常在CPU或GPU上执行。然而，这种仿真通常比在CPU或GPU上运行并使用标准浮点算术指令和常见DNN库操作的软件DNN实现慢两个或三个数量级。原因是在普通CPU和GPU上没有硬件支持近似算术运算，并且必须昂贵地仿真这些运算。为了解决这个问题，我们提出了一种有效的模拟方法，用于在GPU上模拟的给定DNN加速器中使用的近似电路。所有相关的近似电路都被实现为查找表，并通过支持CUDA的GPU的纹理存储器机制进行访问。我们利用的事实，纹理存储器进行了优化，不规则的只读访问，在某些GPU架构，甚至实现为一个专用的缓存。这种技术使我们能够将仿真DNN加速器的推理时间减少约200倍，相对于复杂DNN（如ResNet）上的优化CPU版本。所提出的方法扩展了TensorFlow库，可在https://github.com/ehw-fit/tf-approximate上在线获得。
2020-02-21 cs.DC cs.LG
PaSE: Parallelization Strategies for Efficient DNN Training
Baidu Research（百度研究院）
本文提出PaSE方法，从DNN计算图自动搜索高效并行化策略，实验表明其性能优于数据并行、专家设计策略及现有最先进方法。
2024-07-04 cs.DC cs.LG
Serving DNN Models with Multi-Instance GPUs: A Case of the Reconfigurable Machine Scheduling Problem
ByteDance Inc.（字节跳动公司）；Northeastern University（东北大学）；New York University（纽约大学）
多实例GPU（Multi-Instance GPU，简称GPU）是NVIDIA A100 GPU推出的一项新功能，可将一个物理GPU划分为多个GPU实例。借助GPU，A100可以成为服务于深度神经网络（DNN）的最具成本效益的GPU。然而，发现最有效的GPU分区是具有挑战性的。底层问题是NP难的，而且，它是一个新的抽象问题，我们定义为可重构机器调度问题（RMS）。本文研究了使用RMS的一个新案例-服务DNN。我们进一步提出了一个解决方案，MIG服务。分布式服务是一个算法管道，融合了各种新设计的算法和定制的经典算法，包括启发式贪心算法，遗传算法（GA）和蒙特卡罗树搜索算法（MCTS）。我们在Kubernetes上实现了MIG服务。我们的实验表明，与使用A100相比，MIG服务可以节省高达40%的GPU，同时提供相同的吞吐量。
2021-09-18 cs.DC cs.LG
Synkhronos: a Multi-GPU Theano Extension for Data Parallelism
University of California, Berkeley（加州大学伯克利分校）
我们提出了Synkhronos，一个扩展Theano的多GPU计算利用数据并行。我们的框架提供跨设备的自动执行和同步，允许用户继续编写串行程序，而不会有竞争条件的风险。NVIDIA Collective Communication Library用于GPU间的高带宽通信。Theano函数接口的进一步增强包括输入切片（具有聚合）和输入索引，它们可以有效地执行常见的数据并行计算模式。一个示例用例是同步SGD，最近已经证明它可以很好地扩展越来越多的深度学习问题。在训练ResNet-50时，我们在使用8个GPU的NVIDIA DGX-1上实现了7.5倍的近线性加速，相对于仅运行单个GPU的Theano代码。然而，Synkhronos仍然适用于Theano中可编程的任何数据并行计算。通过在单个Theano函数级别实现并行性，我们的框架独特地解决了手动多设备编程和规定的多GPU训练例程之间的利基。
2017-10-11 cs.AI cs.DC cs.LG
Galvatron: Efficient Transformer Training over Multiple GPUs Using Automatic Parallelism
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
Transformer模型已经在各个应用领域取得了最先进的性能，并逐渐成为高级大型深度学习（DL）模型的基础。然而，由于大量的并行选择，如何在多个GPU上有效地训练这些模型仍然具有挑战性。现有的DL系统要么依赖于人工努力来制定分布式训练计划，要么在非常有限的搜索空间内应用并行组合。在这种方法中，我们提出了Galvatron，一个新的系统框架，它结合了多个流行的并行度，并自动找到最有效的混合并行策略。为了更好地探索这样一个罕见的巨大的搜索空间，我们1）涉及一个决策树进行分解和修剪的基础上一些合理的直觉，然后2）设计一个动态规划搜索算法来生成最优方案。对四个代表性的Transformer工作负载的评估表明，Galvatron可以使用不同的GPU内存预算执行自动分布式训练。在所有评估的情况下，惊破天总是实现优越的系统吞吐量相比，以前的工作与有限的并行。
2022-11-25 cs.DB cs.DC cs.LG
FlashMem: Supporting Modern DNN Workloads on Mobile with GPU Memory Hierarchy Optimizations
University of Georgia（佐治亚大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
FlashMem通过GPU内存层次优化，实现移动设备上大规模DNN和多DNN工作的高效执行。
2026-02-17 cs.DC cs.LG
Harmony: Overcoming the Hurdles of GPU Memory Capacity to Train Massive DNN Models on Commodity Servers
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Lacework（Lacework公司）
在过去的十年里，深度神经网络（DNN）的规模呈指数级增长，只有那些拥有大量基于数据中心的资源的人才有能力开发和训练这样的模型。对于那些可能只有有限资源的长尾研究人员来说，主要挑战之一是，单个多GPU服务器）与模型大小相比，GPU内存容量有限。这个问题是如此严重，以至于训练大规模DNN模型的内存需求通常会超过单个服务器上所有可用GPU的总容量;随着模型大小不断增长的趋势，这个问题只会变得更糟。依赖于虚拟化GPU存储器（通过交换到CPU存储器/从CPU存储器交换）的当前解决方案招致过多的交换开销。在本文中，我们提出了一个新的训练框架Harmony，并倡导重新思考DNN框架如何调度计算和移动数据，以在单个商品服务器上有效地扩展训练海量模型的边界。在各种大规模DNN模型中，Harmony能够将交换负载减少多达两个数量级，并在使用虚拟化内存的高度优化基线上获得高达7.6倍的训练吞吐量加速。
2022-08-01 cs.DC cs.LG
DEAP: Design Space Exploration for DNN Accelerator Parallelism
University of California, Berkeley（加州大学伯克利分校）
本文提出DEAP仿真工作流，结合模型并行与多加速器仿真框架，通过设计空间探索为特定LLM推理负载定制硬件，并报告功耗、周期和延迟指标。
2023-12-24 cs.AR cs.DC cs.LG
Balancing Efficiency and Flexibility for DNN Acceleration via Temporal GPU-Systolic Array Integration
Shanghai Jiao Tong University（上海交通大学）；University of Rochester（罗切斯特大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
近年来，针对深度神经网络（DNN）的专用硬件加速器由于其优越的性能和效率而引起了人们的研究兴趣。然而，今天的DNN加速器主要专注于加速特定的“内核”，如卷积和矩阵乘法，这是至关重要的，但只是端到端DNN应用程序的一部分。对整个应用程序进行有意义的加速通常需要支持计算，而这些计算虽然大规模并行，但不适合DNN加速器。集成CPU或GPU等通用处理器会产生显著的数据移动开销，并导致DNN加速器上的资源利用不足。我们提出了同步多模式架构（SMA），这是一种新型的架构设计和执行模型，可在DNN加速器上提供通用可编程性，以加速端到端应用程序。SMA的关键是脉动执行模型与类似GPU的SIMD执行模型的时间集成。SMA利用了系统阵列加速器和GPU之间共享的通用组件，并提供了轻量级的重新配置功能，以在两种模式之间进行原位切换。SMA实现了高达63%的性能提升，同时比使用TensorCore的基准Volta架构节省了23%的能源。
2020-06-10 cs.DC cs.LG
Nonuniform-Tensor-Parallelism: Mitigating GPU failure impact for Scaled-up LLM Training
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达公司）
针对大规模LLM训练中GPU故障因纵向扩展域扩大而放大吞吐量损失的问题，本文提出非均匀张量并行（NTP）及配套机架设计，使故障副本降级运行并跟上正常副本，实现接近零的吞吐量损失。
2025-04-08 cs.DC cs.LG
Sequence Parallelism: Long Sequence Training from System Perspective
National University of Singapore（新加坡国立大学）
Transformer在各种任务上取得了令人满意的结果。然而，自我注意遭受二次记忆要求相对于序列长度。现有的工作集中在从算法的角度降低时间和空间复杂度。在这项工作中，我们提出了序列并行，一个内存有效的并行方法，以帮助我们打破输入序列长度的限制和训练与更长的序列在GPU上有效地。我们的方法是兼容大多数现有的并行（例如，数据并行，流水线并行和张量并行），这意味着我们的序列并行使4D并行可能。更重要的是，我们不再需要一个单一的设备来保持整个序列。也就是说，在稀疏注意的情况下，我们的序列并行性使我们能够用无限长的序列来训练训练Transformer。具体来说，我们将输入序列拆分为多个块，并将每个块馈送到其对应的设备（即GPU）中。为了计算注意力输出，我们将环形通信与自注意力计算相结合，提出了环形自注意力（RSA）。实验表明，序列并行性能良好时，缩放批量大小和序列长度。与张量并行相比，我们的方法实现了$13.7\times$和$3.0\times$的最大批量大小和序列长度分别扩展到64个NVIDIA P100 GPU。利用稀疏注意力，序列可以处理具有超过114K令牌的序列，这比现有的稀疏注意力在单个设备上保持整个序列的工作时间长$27\times$。
2022-05-21 cs.DC cs.LG
Compiler-Assisted Workload Consolidation For Efficient Dynamic Parallelism on GPU
GPU已被广泛用于加速表现出简单并行模式的计算-例如平面或两级并行-以及可以基于输入数据集的大小静态确定的并行度。然而，有效地使用GPU的算法表现出复杂的模式的并行性，可能只知道在运行时，仍然是一个悬而未决的问题。最近，Nvidia在其GPU中引入了动态并行（DP）。通过使直接从GPU线程启动内核成为可能，此功能在运行时启用嵌套并行。然而，仍然必须理解DP的有效使用：天真地使用此功能可能会遭受显着的运行时开销，并导致GPU利用率不足，从而导致性能低下。在这项工作中，我们针对这个问题。首先，我们演示了如何天真的使用DP会导致性能不佳。其次，我们提出了三个工作负载整合计划，以提高性能和硬件利用率的DP为基础的代码，我们实现这些代码转换在一个基于指令的编译器。最后，我们评估我们的框架上的两类应用程序：算法，包括不规则循环和算法表现出并行递归。我们的实验表明，我们的方法显着降低了运行时开销，提高了GPU的利用率，导致加速因子从90倍到3300倍的基本基于DP的解决方案和加速从2倍到6倍的平面实现。
2016-06-27 cs.DC
Synergy: Resource Sensitive DNN Scheduling in Multi-Tenant Clusters
Microsoft Research（微软研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；VMware Research（威睿研究院）
训练深度神经网络（DNN）是企业和云数据中心中广泛流行的工作负载。现有的DNN训练算法将GPU视为主要资源，并根据作业请求的GPU数量分配其他资源，如CPU和内存。不幸的是，这些配置器没有考虑作业对CPU、内存和存储资源分配的敏感性的影响。在这项工作中，我们提出了协同，一个资源敏感的调度共享GPU集群。Synergy使用乐观分析来推断DNN对不同资源的敏感性;一些作业可能会受益于超过GPU比例的分配，而一些作业可能不会受到小于GPU比例的分配的影响。Synergy使用一种新的接近最优的在线算法，在共享多租户集群上调度的一组作业中执行此类多资源工作负载感知分配。我们的实验表明，与传统的GPU比例调度相比，工作负载感知的CPU和内存分配可以提高平均JCT高达3.4倍。
2022-08-24 cs.DC cs.LG
HierTrain: Fast Hierarchical Edge AI Learning with Hybrid Parallelism in Mobile-Edge-Cloud Computing
Sun Yat-sen University（中山大学）
如今，深度神经网络（DNN）是许多新兴边缘AI应用的核心推动力。训练DNN的传统方法通常在中央服务器或云中心实现，用于集中式学习，由于大量数据样本从设备传输到远程云，这通常是耗时且需要资源的。为了克服这些缺点，我们考虑在移动边缘云计算（MECC）范式上加速DNN的学习过程。在本文中，我们提出了HierTrain，一个分层的边缘AI学习框架，它有效地将DNN训练任务部署在分层的MECC架构上。我们开发了一种新的\textit{hybrid parallelism}方法，这是HierTrain的关键，可以在边缘设备，边缘服务器和云中心三个级别上自适应地分配DNN模型层和数据样本。然后，我们制定了在层粒度和样本粒度上调度DNN训练任务的问题。解决这个优化问题使我们能够实现最小的训练时间。我们进一步实现了一个由边缘设备、边缘服务器和云服务器组成的硬件原型，并在其上进行了大量的实验。实验结果表明，HierTrain与基于云的分层训练方法相比，可以实现高达6.9倍的加速比。
2020-03-22 cs.DC cs.LG cs.NI
TensorOpt: Exploring the Tradeoffs in Distributed DNN Training with Auto-Parallelism
The Chinese University of Hong Kong（香港中文大学）；Huawei Technologies Co. Ltd（华为技术有限公司）
一个好的并行化策略可以显著提高深度神经网络（DNN）分布式训练的效率或降低成本。最近，已经提出了几种方法来找到有效的并行化策略，但它们都优化了单个目标（例如，执行时间、内存消耗）并仅产生一个策略。我们提出了FT，一个有效的算法，搜索一组最佳的并行化策略，以允许不同的目标之间的权衡。FT可以通过在设备数量有限的情况下最小化内存消耗来适应不同的场景，并充分利用额外的资源来减少执行时间。对于流行的DNN模型（例如，视觉，语言），进行了深入的分析，以了解不同的目标之间的权衡及其对并行化策略的影响。我们还开发了一个用户友好的系统，称为TensorOpt，它允许用户运行他们的分布式DNN训练作业，而不关心并行化策略的细节。实验结果表明，FT运行效率高，提供了准确的运行时成本估计，与现有框架相比，TensorOpt在适应资源可用性方面更加灵活。
2020-04-16 cs.DC cs.LG stat.ML
Breadth-First Pipeline Parallelism
ServiceNow Research（ServiceNow研究院）
本文提出广度优先流水线并行训练调度方法，通过结合高GPU利用率、小批量与全分片数据并行，在520亿参数模型上相比Megatron-LM实现最高43%的训练吞吐量提升。
2023-07-06 cs.AI cs.CL cs.DC
Tenplex: Dynamic Parallelism for Deep Learning using Parallelizable Tensor Collections
Imperial College London（伦敦帝国学院）；Aalto University（阿尔托大学）；University of Edinburgh（爱丁堡大学）
本文提出Scalai状态管理库，通过可并行化张量集合（PTC）抽象外部化作业状态，实现深度学习作业在运行时GPU分配变化后动态更改多维并行配置，且具有低开销。
2024-09-26 cs.AI cs.DC cs.LG
GSplit: Scaling Graph Neural Network Training on Large Graphs via Split-Parallelism
GSplit通过分片并行性在大规模图上高效扩展图神经网络训练，采用轻量级分区算法减少通信开销，优于现有主流系统。
2025-12-12 cs.DC cs.LG
Merak: An Efficient Distributed DNN Training Framework with Automated 3D Parallelism for Giant Foundation Models
National University of Defense Technology（国防科技大学）
基础模型正在成为主导的深度学习技术。由于基础模型的模型参数和训练数据集的规模都很大，因此对基础模型进行预训练通常很耗时。除了计算密集型之外，训练过程也是非常内存密集型和通信密集型的。这些特点使得有必要应用三维并行技术来实现高训练效率，三维并行技术集成了数据并行、管道模型并行和张量模型并行。为了实现这一目标，开发了一些定制软件框架，如Megatron-LM和DeepSpeed。然而，当前的3D并行框架仍然遇到两个问题：i）它们对模型开发人员不透明，需要手动修改模型以并行化训练。ii）它们对计算、GPU内存和网络带宽的利用不足。我们提出了Merak，一个自动化的3D并行深度学习训练框架，具有高资源利用率。Merak使用自动模型分区器自动部署，该分区器在模型的代理表示上使用图形分片算法。Merak还提供了非侵入式API，用于以最少的代码修改扩展基础模型训练。此外，我们在Merak中设计了一个高性能的3D并行运行引擎。它使用了几种技术来利用可用的训练资源，包括带来更高的计算利用率的移位关键路线流水线调度，利用空闲工作内存的阶段感知重计算，以及重叠通信和计算的子流水线张量模型并行。在64个GPU上进行的实验表明，与具有1.5亿、2.5亿、8.3亿和200亿参数的模型的最先进3D并行框架相比，Merak可以将训练性能分别提高高达1.42倍、1.39倍、1.43倍和1.61倍。
2023-03-21 cs.DC cs.LG cs.MA
A Compiler Framework for Optimizing Dynamic Parallelism on GPUs
GPU上的动态并行性允许GPU线程动态启动其他GPU线程。它在具有嵌套并行性的应用程序中非常有用，特别是在嵌套并行性的数量不规则且无法预先预测的情况下。然而，以前的工作已经表明，动态并行可能会造成高性能的惩罚时，大量的小网格启动。由于拥塞，大量的启动导致高的启动延迟，并且小的网格大小导致硬件利用不足。为了解决这个问题，我们提出了一个编译器框架，用于优化嵌套并行应用程序中的动态并行的使用。该框架具有三个关键优化：阈值化，粗化和聚合。动态保持涉及到仅当子线程的数量超过某个阈值时才动态启动网格，否则在父线程中序列化子线程。粗化涉及到由单个粗化块执行多个线程块的工作，以分摊它们之间的公共工作。聚合涉及将多个子网格合并为单个聚合网格。我们的评估表明，我们的编译器框架提高了性能的应用程序嵌套并行的几何平均值为43.0倍，使用动态并行的应用程序，8.7倍以上的应用程序，不使用动态并行，3.6倍以上的应用程序，使用动态并行与聚合单独提出在以前的工作。
2022-01-08 cs.AR cs.DC
ZeroPP: Unleashing Exceptional Parallelism Efficiency through Tensor-Parallelism-Free Methodology
ZeroPP提出无张量并行框架，结合流水线并行与全分片数据并行，在保持内存消耗的同时，相比三维并行实现高达33%的性能提升。
2024-05-24 cs.DC
Accelerating Large Language Model Training with 4D Parallelism and Memory Consumption Estimator
School of Computing, Institute of Science Tokyo（科学技术学院计算机学院）；Turing. inc（图灵公司）；Super Computing Research Center, Institute of Science Tokyo（科学技术学院超级计算研究中心）
本研究提出精确内存估计公式，用于Llama架构的4D并行训练，通过454次实验验证，当估计内存低于GPU内存80%时无内存溢出，可提前识别风险配置并缩小搜索空间，提供最优配置经验。
2024-11-10 cs.DC cs.LG
GPU-based parallelism for ASP-solving
Università di Udine（乌迪内大学）；Università di Perugia（佩鲁贾大学）；Libera Università di Bolzano（波尔扎诺自由大学）
答案集编程（ASP）已成为逻辑编程和非单调推理领域的首选范式。由于有效的求解器的可用性，ASP已成功地应用于大量的应用领域。术语GPU计算表示旨在使现代并行图形处理单元（GPU）用于通用计算的最近编程范例。在本文中，我们描述了一种利用GPU并行性解决ASP问题的方法。基于GPU的求解器的设计提出了各种挑战，由于GPU的软件和硬件架构的特殊性和可满足性问题的内在性质。
2019-09-04 cs.AI cs.DC
PPipe: Efficient Video Analytics Serving on Heterogeneous GPU Clusters via Pool-Based Pipeline Parallelism
本文提出 PPipe 推理服务系统，利用基于池的流水线并行、MILP 控制平面和自适应批处理，在异构 GPU 集群上提升视频分析推理吞吐量与低端 GPU 利用率。
2025-07-24 cs.DC
iGniter: Interference-Aware GPU Resource Provisioning for Predictable DNN Inference in the Cloud
GPU对于加速云计算中心中对延迟敏感的深度神经网络（DNN）推理工作负载至关重要。为了充分利用GPU资源，在协同定位的DNN推理工作负载之间的GPU空间共享变得越来越引人注目。然而，GPU共享不可避免地会在协同定位的推理工作负载之间带来严重的性能干扰，这是由EC2 GPU实例上DNN推理的经验测量研究所激发的。虽然现有的工作，保证推理性能服务水平目标（SLO）集中在GPU的时间共享或反应性GPU资源扩展和推理迁移技术，如何主动减轻这种严重的性能干扰得到了相对较少的关注。在本文中，我们提出了iGniter，这是一种干扰感知的GPU资源配置框架，用于在云中经济高效地实现可预测的DNN推理。iGniter由两个关键组件组成：（1）轻量级DNN推理性能模型，它利用实际可访问的系统和工作负载指标来捕获性能干扰;（2）基于我们的推理性能模型，联合优化GPU资源分配和自适应调度的具有成本效益的GPU资源供应策略，目的是实现DNN推理工作负载的可预测性能。我们实现了一个基于NVIDIA Triton推理服务器托管在EC2 GPU实例的iGniter原型。在四个有代表性的DNN模型和数据集上进行的大量原型实验表明，iGniter可以保证DNN推理工作负载的性能SLO，并且具有实际可接受的运行时开销，同时与最先进的GPU资源配置策略相比，节省了高达25%的资金成本。
2022-11-03 cs.DC
Scaling State-Space Models on Multiple GPUs with Tensor Parallelism
Stony Brook University（石溪大学）
本文提出一种通信高效的张量并行设计，用于在多GPU上加速选择性状态空间模型推理，通过状态缓存、参数分区和量化AllReduce减少通信开销，提升吞吐量。
2026-02-24 cs.DC cs.LG
DHO$_2$: Accelerating Distributed Hybrid Order Optimization via Model Parallelism and ADMM
National University of Defense Technology, Changsha, China（国防科技大学）；Fudan University, Shanghai, China（复旦大学）
本文提出DHO$_2$，一种基于模型并行和ADMM的分布式混合阶优化方法，利用部分曲率信息并行计算，在资源受限下加速DNN训练，实现内存线性降低和1.4-2.1倍加速。
2025-08-04 cs.DC cs.LG
Tesseract: Parallelize the Tensor Parallelism Efficiently
HPC-AI Technology Inc.（HPC-AI科技公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；National University of Singapore（新加坡国立大学）
随着各种任务的最新精度的提高，深度学习模型变得越来越大。然而，实现这些大型模型是极其困难的，因为有限的GPU内存使得无法将大型模型放入单个GPU甚至GPU服务器中。此外，对于大型模型，减少训练时间是非常必要的。以前的方法，如Megatron-LM，实现了一维分布式方法，使用GPU来加速训练。然而，这些方法在大规模集群上具有高通信开销和低伸缩效率。为了解决这些问题，我们提出Tesseract，一个高度可扩展的张量并行与一个新的设计。它通过减少通信开销来提高效率，并降低每个GPU所需的内存。Tesseract通过在张量并行中引入新的维数，极大地增加了张量并行的存储容量。具体地说，这个新的维度进一步增加了张量并行的程度。与以前的1-D和2-D方法相比，Tesseract设法降低了每层的通信成本，分别带来了1.38倍和1.53倍的加速比，并具有很强的伸缩性。在弱尺度实验中，Tesseract与1-D/2-D方法相比，分别实现了最大4.0/1.7倍的推理加速和3.4/1.7倍的吞吐量提高。通过引入Tesseract，我们提供了一种更有效和可扩展的方法，可以在有限的GPU资源下实现大型深度学习模型。
2022-09-01 cs.AI cs.DC cs.LG
A Flexible Programmable Pipeline Parallelism Framework for Efficient DNN Training
本文提出FlexPipe，一个可编程流水线并行框架，通过DSL和自动化调度器实现灵活调度探索，相比Megtron-LM最高加速2.28倍。
2025-10-09 cs.DC
Beyond Data and Model Parallelism for Deep Neural Networks
训练深度神经网络（DNN）的计算需求已经增长到现在并行训练的标准实践。现有的深度学习系统通常使用数据或模型并行，但不幸的是，这些策略通常会导致次优并行性能。在本文中，我们为DNN定义了一个更全面的并行化策略搜索空间，称为SOAP，其中包括在样本，操作，属性和参数维度上并行化DNN的策略。我们还提出了FlexFlow，这是一个深度学习框架，它使用SOAP空间的引导随机搜索来为特定的并行机找到快速并行化策略。为了加速这种搜索，FlexFlow引入了一种新型的执行模拟器，可以准确地预测并行化策略的性能，并且比必须执行每个策略的先前方法快三个数量级。我们在两个GPU集群上使用六个真实DNN基准测试对FlexFlow进行了评估，结果表明，FlexFlow可以将训练吞吐量提高到最先进方法的3.8倍，即使包括搜索时间，也可以提高可扩展性。
2018-07-14 cs.DC
MoE Parallel Folding: Heterogeneous Parallelism Mappings for Efficient Large-Scale MoE Model Training with Megatron Core
NVIDIA
本文提出MoE并行折叠方法，通过解耦注意力层和MoE层的并行化，提升大规模MoE模型训练的效率与可扩展性。
2026-03-02 cs.DC cs.LG
Exploration of Fine-Grained Parallelism for Load Balancing Eager K-truss on GPU and CPU
在这项工作中，我们提出了一个性能探索的渴望K-桁架，线性代数公式的K-桁架图算法。我们提出了一种细粒度的并行方法来执行支持计算，以解决对称，三角图的并行任务的负载不平衡的性能问题。这种方法还增加了可用的并行性，使其适合GPU执行。我们使用Kokkos中的实现演示了我们的细粒度并行方法，并在Intel Skylake CPU和Nvidia Tesla V100 GPU上对其进行了评估。总的来说，我们观察到1.261之间。由于我们的细粒度并行公式，CPU性能提高了48倍，GPU性能提高了9.97- 16.92倍。
2020-09-16 cs.DC cs.PF
Workload-aware Automatic Parallelization for Multi-GPU DNN Training
深度神经网络（DNN）已经成为各种人工智能应用的成功解决方案，但其非常大且深度的模型在训练期间对计算要求很高。多GPU并行化是DNN训练中加速高要求计算的一种流行选择，但大多数最先进的多GPU深度学习框架不仅要求用户深入了解框架本身的实现，而且还要求用户在不优化GPU利用率的情况下直接应用并行化。在这项工作中，我们提出了一个用于DNN训练的工作负载感知自动并行化框架（WAP），其中工作根据工作负载特性自动分配到多个GPU。我们使用流行的DNN基准测试（AlexNet和VGG-16）使用TensorFlow评估WAP，并与最先进的框架相比显示出具有竞争力的训练吞吐量，并证明WAP可以根据工作负载的计算要求自动优化GPU分配，从而提高能源效率。
2019-02-07 cs.DC
Two-dimensional Sparse Parallelism for Large Scale Deep Learning Recommendation Model Training
Meta, Inc.（Meta公司）
针对大规模DLRM嵌入表完全并行带来的扩展性瓶颈，提出二维稀疏并行（模型并行加数据并行）并配合动量缩放行式AdaGrad，在4K GPU上实现近线性加速且性能持平，树立新基准。
2025-08-05 cs.DC cs.LG
Parallel Track Transformers: Enabling Fast GPU Inference with Reduced Synchronization
Apple（苹果公司）
并行轨道变换器通过减少同步操作提升GPU推理效率，适用于大规模LLM服务。
2026-02-07 cs.DC cs.LG
GPU Asynchronous Stochastic Gradient Descent to Speed Up Neural Network Training
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
训练大规模神经网络的能力已经在计算机视觉的许多领域产生了最先进的性能。这些结果很大程度上来自两种形式的计算中断：模型并行，例如GPU加速训练，它已在计算机视觉界迅速采用，以及数据并行，例如A-SGD，其大规模主要用于工业。我们报告了早期的实验与系统，利用这两个模型并行和数据并行，我们称之为GPU A-SGD。我们表明，使用GPU A-SGD可以加速对计算机视觉有用的大型卷积神经网络的训练。我们相信GPU A-SGD将使在合理的时间内在更大的训练集上训练更大的网络成为可能。
2013-12-21 cs.CV cs.DC cs.LG
Zeus: Understanding and Optimizing GPU Energy Consumption of DNN Training
University of Michigan（密歇根大学）
训练深度神经网络（DNN）每年都变得越来越资源和能源密集。不幸的是，现有的工作主要集中在优化DNN训练，以更快地完成，通常没有考虑对能源效率的影响。在本文中，我们观察到，提高训练性能的常见做法往往会导致能源使用效率低下。更重要的是，我们证明，有一个权衡之间的能源消耗和性能优化。为此，我们提出了Zeus，一个优化框架，通过自动为重复的DNN训练作业找到最佳的作业和GPU级配置来导航这种权衡。Zeus使用在线探索开发方法与即时能源分析相结合，避免了昂贵的离线测量，同时适应数据随时间的漂移。我们的评估表明，对于不同的工作负载，Zeus可以将DNN训练的能源效率提高15.3%-75.8%。
2022-09-29 cs.AI cs.DC cs.LG
MARS: Exploiting Multi-Level Parallelism for DNN Workloads on Adaptive Multi-Accelerator Systems
Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；Sun Yat-sen University（中山大学）；Fudan University（复旦大学）
针对多加速器系统中深度神经网络的加速器组合选择与映射策略优化问题，提出新型映射框架MARS，通过感知计算的加速器选择与感知通信的分片策略最大化并行性，有效降低了典型工作负载与异构模型的推理延迟。
2023-07-23 cs.AI cs.AR cs.DC
Enabling predictable parallelism in single-GPU systems with persistent CUDA threads
针对现代单 GPU 难以提供实时时间保证的问题，本文提出利用持久化 CUDA 线程打开 GPU 架构黑盒，以实现 GPU 内部的可预测并行执行。
2023-10-02 cs.DC
DARIS: An Oversubscribed Spatio-Temporal Scheduler for Real-Time DNN Inference on GPUs
DARIS通过空间共享、时间划分和超额订阅GPU资源，实现高吞吐、低延迟的实时DNN调度，并支持零延迟任务迁移，显著优于现有方法。
2025-04-08 cs.DC
Alleviating Bottlenecks for DNN Execution on GPUs via Opportunistic Computing
边缘计算和物联网应用受到有限硬件资源的严重限制。这使得消耗内存的DNN框架不适用于边缘计算。直接卷积等简单算法正在嵌入式机器学习中找到自己的方式。作为DNN加速中应用最广泛的平台之一，GPU面临着片上带宽的瓶颈。这项工作介绍了GPU DNN执行架构，旨在通过机会计算减少数据移动来缓解片上带宽瓶颈。我们首先调查数据访问模式的硬件视图，而不是软件视图。然后，我们提出了两个机会计算技术，可预测地执行计算时，数据是可用的帮助下，助理warps。通过将计算转移到数据，我们的技术能够显著减少数据移动并缓解DNN执行瓶颈。我们的评估结果表明，所提出的技术可以提高DNN应用程序的性能高达55%。
2019-10-15 cs.DC
MegaScale-Infer: Serving Mixture-of-Experts at Scale with Disaggregated Expert Parallelism
Peking University（北京大学）
本文提出 MegaScale-Infer，通过分离 attention 与 FFN、乒乓流水线并行及 M2N 通信库优化大规模 MoE 推理，单 GPU 吞吐量最高达现有方案的 1.90 倍。
2025-07-26 cs.DC cs.LG
Diving into 3D Parallelism with Heterogeneous Spot Instance GPUs: Design and Implications
Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与产业研究院）
AutoHet通过自动优化异构GPU的3D并行计划，实现分布式训练的高效性和恢复速度提升。
2025-12-24 cs.DC cs.NI
Optimizing Network Performance for Distributed DNN Training on GPU Clusters: ImageNet/AlexNet Training in 1.5 Minutes
扩展深度神经网络（DNN）训练对于减少模型训练时间非常重要。高通信开销是多GPU分布式DNN训练的主要性能瓶颈之一。我们的调查表明，流行的开源DNN系统只能在56 Gbps网络连接的64个GPU上实现2.5的加速比。为了解决这个问题，我们提出了一个名为AdmisentFlow的通信后端，用于分布式DNN训练，并采用了一组网络优化技术。首先，我们将基于环的allreduce，混合精度训练和计算/通信重叠集成到ConcurrentFlow中。其次，我们提出了懒惰的allreduce通过融合多个通信操作到一个单一的，以提高网络吞吐量，并设计粗粒度稀疏通信，以减少网络流量，通过只传输重要的梯度块。当在512个GPU上训练ImageNet/AlexNet时，我们的方法实现了410.2的加速比，并在1.5分钟内完成了95个epoch的训练，优于现有的方法。
2019-10-22 cs.DC
Choice of Parallelism: Multi-GPU Driven Pipeline for Huge Academic Backbone Network
科学信息网（SINET）是日本800多个研究机构和大学的学术骨干网络。在本文中，我们提出了一个多GPU驱动的流水线处理SINET的巨大的会话数据。我们的管道包括ELK堆栈，多GPU服务器和Splunk。多GPU服务器负责两个过程：判别和直方图。区分是通过子网掩码计算和网络地址匹配将会话数据划分为传入/传出。直方图是指使用map-reduce将传入/传出会话数据分组到bin中。在我们的架构中，我们使用GPU来加速会话数据的入口/出口区分。此外，我们使用平铺设计模式来构建CPU和GPU的两阶段映射缩减。我们的多GPU驱动的流水线已经成功地在24小时内处理了大约12亿到16亿个会话流（500 GB-650 GB）的巨大工作负载。
2021-06-24 cs.DC
Asteroid: Resource-Efficient Hybrid Pipeline Parallelism for Collaborative DNN Training on Heterogeneous Edge Devices
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Data Science and Analytics Thrust, HKUST (GZ)（香港科技大学（广州）数据科学与分析学域）；The Chinese University of Hong Kong（香港中文大学）
针对边缘端DNN训练资源受限问题，提出分布式训练系统Asteroid，通过混合流水线并行、资源感知规划及轻量容错重放机制，在异构边缘设备上实现训练加速与鲁棒性提升。
2024-08-15 cs.AI cs.CV cs.DC
Opara: Exploiting Operator Parallelism for Expediting DNN Inference on GPUs
East China Normal University（华东师范大学）；University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）；Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）；Huazhong University of Science and Technology（华中科技大学）
本文提出Opara框架，通过CUDA Streams和CUDA Graph自动并行化DNN算子执行，并基于算子资源需求调整启动顺序以重叠计算与内存密集型算子，有效提升GPU推理速度，较现有系统最高提升1.68倍。
2024-05-30 cs.AI cs.DC
Spexis: Speculative Lookahead Scheduling for LLM Inference
Seoul National University（首尔大学）；Hanyang University（汉阳大学）
Spexis通过投机并行与前瞻调度，在不增加KV缓存内存的前提下引入新并行维度，提升多GPU LLM推理效率，较最优基线加速达34%。
2026-09-29 cs.DC cs.LG
Acceleration for Timing-Aware Gate-Level Logic Simulation with One-Pass GPU Parallelism
针对 GPU 上 VLSI 门级时序仿真的并行同步与数据传输瓶颈，提出基于波形的单遍 GPU 并行方法及动态数据结构，并在工业级开源基准上验证其加速效果。
2023-04-26 cs.AR cs.DC cs.DS
Modeling GPU Dynamic Parallelism for Self Similar Density Workloads
动态并行（DP）是GPU编程模型的运行时特征，其允许GPU线程递归地执行附加GPU内核。除了使并行分层模式的编程更容易之外，DP还可以通过细分过程将有限的GPU资源集中在表现出更多并行性的子区域上来加速表现出异构数据布局的问题。然而，做一个最佳的细分过程是不平凡的，因为有不同的参数，在DP的最终性能发挥重要作用。此外，当前DP的编程抽象还引入了可能损害最终性能的开销。在这项工作中，我们提出了一个细分成本模型的问题，表现出自相似密度（SSD）的工作负载（如分形），以了解什么参数提供最快的细分方法。此外，我们引入了一个新的细分实现，命名为\textit{Adaptive Serial Kernels}（ASK），作为一个较小的开销替代CUDA的动态细分。使用Mandelbrot集上的成本模型作为案例研究表明，最优方案是从$g=[2,16]$之间的初始细分开始，然后在$r=2,4$的区域内继续细分，当区域达到$B \sim 32$时停止。实验结果与理论参数吻合较好，验证了成本模型的可用性。在性能方面，所提出的ASK方法运行到$\sim 60\%$快于Mandelbrot集合中的动态递归，并且运行到$12\times$快于基本的穷举实现，而DP运行到$7.5\times$。
2022-06-05 cs.DC cs.PF
Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
NVIDIA（英伟达）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
大语言模型在一系列任务中实现了最先进的准确性。然而，由于两个原因，有效地训练这些模型是具有挑战性的：a）GPU内存容量有限，使得即使在多GPU服务器上也无法适应大型模型，以及b）训练这些模型所需的计算操作数量可能导致不切实际的长训练时间。因此，新的模型并行方法如张量和流水线并行被提出。不幸的是，这些方法的天真使用导致数千个GPU的基本缩放问题，例如，这是由于昂贵的跨节点通信或设备花费大量时间等待其他设备来取得进展。在本文中，我们将展示如何组合不同类型的并行方法（张量，管道和数据并行），以扩展到数千个GPU和具有数万亿参数的模型。我们调查技术的流水线并行，并提出了一种新的交错流水线并行计划，可以提高吞吐量的10+%的内存占用与现有的方法。我们定量地研究了张量、管道和数据并行之间的权衡，并提供了如何配置大型模型的分布式训练的直观性。我们的方法允许我们在3072个GPU上以502 petaFLOP/s的速度对具有1万亿个参数的模型执行训练迭代，实现了理论峰值的52%的每GPU吞吐量。我们的代码在https://github.com/nvidia/megatron-lm上开源。
2021-08-23 cs.CL cs.DC
Warp-Level Parallelism: Enabling Multiple Replications In Parallel on GPU
随机模拟需要多次重复，以建立其结果的置信区间。即使我们不需要大量的复制，使用多个并行复制（MRIP）方法来加快整个模拟时间也是一个很好的做法。这种方法通常假设可以访问并行计算机，例如对称多处理机（具有许多核心），计算集群或计算网格。在本文中，我们提出了Warp-Level并行化（WLP），这是一种支持GP-GPU的解决方案，用于在GP-GPU（通用图形处理单元）上计算MRIP。这些设备以低成本显示出大量的并行计算能力，但经过调整，可以通过不同的线程有效地处理多个数据上的相同操作。实际上，这种范例被称为单指令多线程（SIMT）。我们的方法建议依赖于小线程组，称为线程束，执行独立的计算，如复制。我们用三种不同的模型对WLP进行了基准测试：它允许MRIP的计算速度比SIMT计算模式快六倍。
2015-01-07 cs.DC
