Analysis of Large-Scale Multi-Tenant GPU Clusters for DNN Training Workloads
随着机器学习的广泛发展，许多大型企业开始在许多产品中纳入机器学习模型。这些模型通常在共享的多租户GPU集群上进行训练。与现有的集群计算工作负载类似，调度框架旨在提供高效率，资源隔离，跨用户公平共享等功能。然而，基于深度神经网络（DNN）的工作负载主要在GPU上训练，与传统的大数据分析工作负载有两个显著的不同。首先，从集群利用率的角度来看，GPU代表了一个单一的资源，不能在用户之间以细粒度共享。第二，从工作负载的角度来看，深度学习框架需要群体调度，这降低了调度的灵活性，并使作业本身对运行时的故障缺乏弹性。在本文中，我们提出了一个详细的工作负载特性的两个月长的跟踪从一个大型企业的多租户GPU集群。通过将调度器日志与来自单个作业的日志相关联，我们研究了影响多租户集群上DNN训练工作负载的集群利用率的三个不同问题：（1）组调度和局部性约束对排队的影响，（2）局部性对GPU利用率的影响，以及（3）训练期间的故障。根据我们运行大规模操作的经验，我们提供了与DNN训练工作负载的下一代集群集群路由器相关的设计指南。
2019-08-08 cs.DC
ParvaGPU: Efficient Spatial GPU Sharing for Large-Scale DNN Inference in Cloud Environments
本文提出 ParvaGPU 技术，通过集成 NVIDIA 的 MIG 和 MPS 技术实现云环境中大规模 DNN 推理的空间 GPU 共享，有效解决了资源利用不足和外部碎片化问题，在多块 A100 GPU 上评估 11 个工作负载，实现了零 SLO 违规并显著减少 GPU 用量。
2024-09-22 cs.DC
Automated Runtime-Aware Scheduling for Multi-Tenant DNN Inference on GPU
随着深度神经网络（DNN）的快速发展，许多现实世界的应用正在采用多个模型来执行复合任务，例如在自动驾驶车辆上共同运行分类，检测和分割模型。这样的多租户DNN推理情况极大地加剧了计算复杂性，并且需要针对图级操作员调度、运行时级资源感知以及硬件调度器支持的全面协作。然而，目前对这种多租户推理的调度支持仍然相对落后。在这项工作中，我们提出了一个资源感知的调度框架，用于在GPU上进行高效的多租户DNN推理，该框架自动协调不同执行级别的DNN计算。利用统一的调度中间表示和自动化的基于ML的搜索算法，可以生成最优调度，以明智地调整模型并发性和交错DNN模型运算符，在整个推理过程中保持持续平衡的资源利用率，并最终提高运行时效率。实验表明，与常规DNN运行时库（例如，CuDNN、TVM）和特定的并发调度方法（例如，NVIDIA Multi-Stream）。
2021-11-28 cs.DC
Efficient and Robust Parallel DNN Training through Model Parallelism on Multi-GPU Platform
深度神经网络（DNN）的训练过程是计算密集型的，通常需要数天到数周的时间来训练DNN模型。因此，在GPU上并行执行DNN训练是当今广泛采用的加速过程的方法。由于实现简单，数据并行是目前最常用的并行化方法。然而，由于GPU之间频繁的权重同步，数据并行遭受过多的GPU间通信开销。另一种方法是流水线模型并行，它在GPU之间划分DNN模型，并并发处理多个小批。与数据并行相比，该方法可以显著降低GPU间通信成本。然而，流水线模型并行面临着权重陈旧的问题;也就是说，梯度是用陈旧的权重计算的，导致训练不稳定和精度损失。在本文中，我们提出了一种流水线模型并行执行方法，使高GPU利用率，同时保持强大的训练精度，通过一种新的权重预测技术，SpecTrain。实验结果表明，我们的建议实现了高达8.91倍的加速比相比，在4-GPU平台上的数据并行，同时保持可比的模型精度。
2019-10-28 cs.DC cs.LG
TFApprox: Towards a Fast Emulation of DNN Approximate Hardware Accelerators on GPU
Brno University of Technology（布尔诺理工大学）
深度神经网络（DNN）硬件加速器的能量效率可以通过引入近似运算电路来提高。为了量化使用这些电路引入的误差并避免昂贵的硬件原型，DNN加速器的软件仿真器通常在CPU或GPU上执行。然而，这种仿真通常比在CPU或GPU上运行并使用标准浮点算术指令和常见DNN库操作的软件DNN实现慢两个或三个数量级。原因是在普通CPU和GPU上没有硬件支持近似算术运算，并且必须昂贵地仿真这些运算。为了解决这个问题，我们提出了一种有效的模拟方法，用于在GPU上模拟的给定DNN加速器中使用的近似电路。所有相关的近似电路都被实现为查找表，并通过支持CUDA的GPU的纹理存储器机制进行访问。我们利用的事实，纹理存储器进行了优化，不规则的只读访问，在某些GPU架构，甚至实现为一个专用的缓存。这种技术使我们能够将仿真DNN加速器的推理时间减少约200倍，相对于复杂DNN（如ResNet）上的优化CPU版本。所提出的方法扩展了TensorFlow库，可在https://github.com/ehw-fit/tf-approximate上在线获得。
2020-02-21 cs.DC cs.LG
Ocularone-Bench: Benchmarking DNN Models on GPUs to Assist the Visually Impaired
提出Ocularone-Bench基准套件，通过构建专用数据集并评估YOLO等DNN模型在边缘设备和高端GPU上的准确性与延迟权衡，为视障人士导航等视觉应用提供移动部署的实时可行性见解。
2025-03-27 cs.DC
GMLake: Efficient and Transparent GPU Memory Defragmentation for Large-scale DNN Training with Virtual Memory Stitching
针对大规模DNN训练中缓存分配器因频繁不规则内存请求导致的严重碎片问题，本文提出基于GPU虚拟内存管理的GMLake框架，通过虚拟内存拼接机制合并非连续内存块，在八个LLM模型上平均减少9.2 GB显存占用并降低15%碎片，且对模型和内存缩减技术完全透明。
2024-01-16 cs.DC
Serving DNN Models with Multi-Instance GPUs: A Case of the Reconfigurable Machine Scheduling Problem
ByteDance Inc.（字节跳动公司）；Northeastern University（东北大学）；New York University（纽约大学）
多实例GPU（Multi-Instance GPU，简称GPU）是NVIDIA A100 GPU推出的一项新功能，可将一个物理GPU划分为多个GPU实例。借助GPU，A100可以成为服务于深度神经网络（DNN）的最具成本效益的GPU。然而，发现最有效的GPU分区是具有挑战性的。底层问题是NP难的，而且，它是一个新的抽象问题，我们定义为可重构机器调度问题（RMS）。本文研究了使用RMS的一个新案例-服务DNN。我们进一步提出了一个解决方案，MIG服务。分布式服务是一个算法管道，融合了各种新设计的算法和定制的经典算法，包括启发式贪心算法，遗传算法（GA）和蒙特卡罗树搜索算法（MCTS）。我们在Kubernetes上实现了MIG服务。我们的实验表明，与使用A100相比，MIG服务可以节省高达40%的GPU，同时提供相同的吞吐量。
2021-09-18 cs.DC cs.LG
Miriam: Exploiting Elastic Kernels for Real-time Multi-DNN Inference on Edge GPU
The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
针对边缘 GPU 上多 DNN 并发推理的资源争用问题，提出 Miriam 框架，通过弹性内核生成与运行时动态协调，在仅增加不到 10% 关键任务延迟的情况下将系统吞吐量提升 92%。
2023-07-10 cs.AI cs.DC
Spatial Sharing of GPU for Autotuning DNN models
GPU用于训练、推断和调整机器学习模型。然而，深度神经网络（DNN）在充分利用高性能GPU的能力方面差异很大。GPU的空间共享使得能够在GPU上复用多个DNN，并且可以提高GPU利用率，从而提高吞吐量并降低延迟。DNN模型只要有适量的GPU资源，仍然可以提供低推理延迟，就像将所有GPU专用于其推理任务一样。改进DNN推理的一种方法是调整DNN模型。自动调优框架基于经过训练的机器学习模型为特定目标设备找到最佳低级实现，从而减少DNN的推理延迟并提高推理吞吐量。我们观察到一个相互依赖的调整模型和它的推理延迟。使用特定GPU资源调整的DNN模型在使用接近相同数量的GPU资源进行推断时提供最佳的推断延迟。而使用最大GPU资源量调优的模型在GPU资源受限时推理延迟较差。另一方面，使用适当数量的GPU资源进行调整的模型仍然可以在广泛的GPU资源可用性范围内实现良好的推理延迟。我们探讨了在不同GPU资源量下影响模型调整的原因。我们提出了许多技术，以最大限度地提高资源利用率，提高调优性能。我们启用GPU的受控空间共享，以在GPU上复用多个调优应用程序。我们扩展了调优服务器实例，并将调优模型分割到多个客户端实例中，以便同时调优模型的不同运算符，从而实现更好的GPU复用。通过我们的改进，我们将DNN自动调整时间减少了75%，并将吞吐量提高了5倍。
2020-08-08 cs.DC cs.NE cs.SY
FlashMem: Supporting Modern DNN Workloads on Mobile with GPU Memory Hierarchy Optimizations
University of Georgia（佐治亚大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
FlashMem通过GPU内存层次优化，实现移动设备上大规模DNN和多DNN工作的高效执行。
2026-02-17 cs.DC cs.LG
Harmony: Overcoming the Hurdles of GPU Memory Capacity to Train Massive DNN Models on Commodity Servers
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Lacework（Lacework公司）
在过去的十年里，深度神经网络（DNN）的规模呈指数级增长，只有那些拥有大量基于数据中心的资源的人才有能力开发和训练这样的模型。对于那些可能只有有限资源的长尾研究人员来说，主要挑战之一是，单个多GPU服务器）与模型大小相比，GPU内存容量有限。这个问题是如此严重，以至于训练大规模DNN模型的内存需求通常会超过单个服务器上所有可用GPU的总容量;随着模型大小不断增长的趋势，这个问题只会变得更糟。依赖于虚拟化GPU存储器（通过交换到CPU存储器/从CPU存储器交换）的当前解决方案招致过多的交换开销。在本文中，我们提出了一个新的训练框架Harmony，并倡导重新思考DNN框架如何调度计算和移动数据，以在单个商品服务器上有效地扩展训练海量模型的边界。在各种大规模DNN模型中，Harmony能够将交换负载减少多达两个数量级，并在使用虚拟化内存的高度优化基线上获得高达7.6倍的训练吞吐量加速。
2022-08-01 cs.DC cs.LG
Balancing Efficiency and Flexibility for DNN Acceleration via Temporal GPU-Systolic Array Integration
Shanghai Jiao Tong University（上海交通大学）；University of Rochester（罗切斯特大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
近年来，针对深度神经网络（DNN）的专用硬件加速器由于其优越的性能和效率而引起了人们的研究兴趣。然而，今天的DNN加速器主要专注于加速特定的“内核”，如卷积和矩阵乘法，这是至关重要的，但只是端到端DNN应用程序的一部分。对整个应用程序进行有意义的加速通常需要支持计算，而这些计算虽然大规模并行，但不适合DNN加速器。集成CPU或GPU等通用处理器会产生显著的数据移动开销，并导致DNN加速器上的资源利用不足。我们提出了同步多模式架构（SMA），这是一种新型的架构设计和执行模型，可在DNN加速器上提供通用可编程性，以加速端到端应用程序。SMA的关键是脉动执行模型与类似GPU的SIMD执行模型的时间集成。SMA利用了系统阵列加速器和GPU之间共享的通用组件，并提供了轻量级的重新配置功能，以在两种模式之间进行原位切换。SMA实现了高达63%的性能提升，同时比使用TensorCore的基准Volta架构节省了23%的能源。
2020-06-10 cs.DC cs.LG
ESG: Pipeline-Conscious Efficient Scheduling of DNN Workflows on Serverless Platforms with Shareable GPUs
本文提出ESG调度算法，将可共享GPU作为一阶因素，结合A*搜索与双刃剪枝技术及基于支配者的SLO分布，解决无服务器平台上DNN工作流调度空间急剧扩大的问题，显著提升SLO命中率并降低成本。
2024-04-25 cs.DC
D-STACK: High Throughput DNN Inference by Effective Multiplexing and Spatio-Temporal Scheduling of GPUs
针对DNN推理中GPU利用率不足及空间复用下资源配置、批处理与调度难题，本文提出D-STACK时空调度框架，结合并行性估计模型与轻量级批处理优化，在满足SLO的同时显著提升GPU利用率和推理吞吐量。
2023-03-31 cs.DC cs.PF cs.SY
Opara: Exploiting Operator Parallelism for Expediting DNN Inference on GPUs
East China Normal University（华东师范大学）；University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）；Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）；Huazhong University of Science and Technology（华中科技大学）
本文提出Opara框架，通过CUDA Streams和CUDA Graph自动并行化DNN算子执行，并基于算子资源需求调整启动顺序以重叠计算与内存密集型算子，有效提升GPU推理速度，较现有系统最高提升1.68倍。
2024-05-30 cs.AI cs.DC
Synergy: Resource Sensitive DNN Scheduling in Multi-Tenant Clusters
Microsoft Research（微软研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；VMware Research（威睿研究院）
训练深度神经网络（DNN）是企业和云数据中心中广泛流行的工作负载。现有的DNN训练算法将GPU视为主要资源，并根据作业请求的GPU数量分配其他资源，如CPU和内存。不幸的是，这些配置器没有考虑作业对CPU、内存和存储资源分配的敏感性的影响。在这项工作中，我们提出了协同，一个资源敏感的调度共享GPU集群。Synergy使用乐观分析来推断DNN对不同资源的敏感性;一些作业可能会受益于超过GPU比例的分配，而一些作业可能不会受到小于GPU比例的分配的影响。Synergy使用一种新的接近最优的在线算法，在共享多租户集群上调度的一组作业中执行此类多资源工作负载感知分配。我们的实验表明，与传统的GPU比例调度相比，工作负载感知的CPU和内存分配可以提高平均JCT高达3.4倍。
2022-08-24 cs.DC cs.LG
PipeDream: Fast and Efficient Pipeline Parallel DNN Training
PipeDream是一个用于GPU的深度神经网络（DNN）训练系统，通过跨多台机器的流水线执行来并行计算。它的流水线并行计算模型避免了大型模型和/或有限的网络带宽导致高通信计算比时数据并行训练所面临的减速。与数据并行训练相比，PipeDream将大型DNN的通信减少了高达95%，并允许通信和计算的完美重叠。PipeDream通过系统地划分DNN层来保持所有可用的GPU的生产力，以平衡工作并最大限度地减少通信，版本模型参数用于向后传递正确性，并以循环方式调度不同输入的向前和向后传递，以优化“目标准确性时间”。在两个不同的集群上使用五个不同的DNN进行的实验表明，与数据并行训练相比，PipeDream的准确率提高了5倍。
2018-06-08 cs.DC
A Metaprogramming and Autotuning Framework for Deploying Deep Learning Applications
近年来，深度神经网络（DNN）在广泛的应用中取得了很好的效果。图形处理单元（GPU）是导致DNN当前流行的一个关键因素。然而，尽管硬件灵活性和软件编程工具链日益成熟，但高效率的GPU编程仍然很困难：它具有高复杂性、低生产力和低便携性的缺点。像NVIDIA这样的GPU供应商已经花费了大量的精力来编写专用DNN库。然而，在其他硬件目标上，特别是移动GPU，这样的供应商库通常不可用。因此，开发用于DNN操作的可移植、开放、高性能、高能效的GPU代码将使基于DNN的算法得到更广泛的部署。为此，这项工作提出了一个框架，以实现跨硬件平台和编程模型的DNN计算的高效GPU编程。特别是，该框架提供了对元编程、自动调优和DNN定制的数据类型的特定支持。使用我们的框架，我们探索在三个不同的硬件目标上实现DNN操作：NVIDIA，AMD和Qualcomm GPU。在NVIDIA GPU上，我们展示了OpenCL和CUDA之间的可移植性以及与供应商库相比的竞争性能。在Qualcomm GPU上，我们证明了我们的框架能够有效地开发特定于目标的优化，并实现合理的绝对性能。最后，在AMD GPU上，我们展示了初步结果，表明我们的框架可以在新平台上以最小的努力产生合理的性能。
2016-11-21 cs.DC cs.MS cs.NE
HAP: SPMD DNN Training on Heterogeneous GPU Clusters with Automated Program Synthesis
HAP系统将SPMD DNN训练的模型划分形式化为程序合成问题，联合优化张量分片策略、异构设备分片比例和通信方法，在异构GPU集群上实现高达2.41倍加速。
2024-01-11 cs.DC
EdgeServing: Deadline-Aware Multi-DNN Serving at the Edge
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；New Jersey Institute of Technology（新泽西理工学院）；University of Windsor（温莎大学）；University of Delaware（特拉华大学）
本文提出EdgeServing系统，通过时间分片GPU共享和早退出推理提高预测性，引入稳定性评分量化调度决策对队列状态的影响，实验证明其在SLO违反率和P95延迟方面优于现有方法。
2026-05-07 cs.DC
Zeus: Understanding and Optimizing GPU Energy Consumption of DNN Training
University of Michigan（密歇根大学）
训练深度神经网络（DNN）每年都变得越来越资源和能源密集。不幸的是，现有的工作主要集中在优化DNN训练，以更快地完成，通常没有考虑对能源效率的影响。在本文中，我们观察到，提高训练性能的常见做法往往会导致能源使用效率低下。更重要的是，我们证明，有一个权衡之间的能源消耗和性能优化。为此，我们提出了Zeus，一个优化框架，通过自动为重复的DNN训练作业找到最佳的作业和GPU级配置来导航这种权衡。Zeus使用在线探索开发方法与即时能源分析相结合，避免了昂贵的离线测量，同时适应数据随时间的漂移。我们的评估表明，对于不同的工作负载，Zeus可以将DNN训练的能源效率提高15.3%-75.8%。
2022-09-29 cs.AI cs.DC cs.LG
EaCO: Resource Sharing Dynamics and Its Impact on Energy Efficiency for DNN Training
针对GPU集群中深度学习训练能耗高、利用率低的问题，提出能效感知调度算法EaCO，通过硬件上下文切换实现GPU共享，结合预测与观测平衡性能与能效，实验验证其能显著降能耗且性能损失极小。
2024-12-11 cs.DC
vDNN: Virtualized Deep Neural Networks for Scalable, Memory-Efficient Neural Network Design
NVIDIA（英伟达）
使用最广泛的机器学习框架需要用户仔细调整其内存使用，以便深度神经网络（DNN）适合GPU的DRAM容量。这种限制阻碍了研究人员研究不同机器学习算法的灵活性，迫使他们要么使用不太理想的网络架构，要么在多个GPU上并行处理。我们提出了一个运行时内存管理器，虚拟化DNN的内存使用，使GPU和CPU内存可以同时用于训练更大的DNN。我们的虚拟化DNN（vDNN）将AlexNet的平均GPU内存使用量减少了89%，OverFeat减少了91%，GoogLeNet减少了95%，这大大降低了DNN的内存需求。在VGG-16上进行的类似实验，VGG-16是迄今为止最深和内存饥饿的DNN之一，证明了我们的建议的内存效率。vDNN使批量大小为256（需要28 GB内存）的VGG-16能够在包含12 GB内存的单个NVIDIA Titan X GPU卡上进行训练，与具有足够内存容纳整个DNN的假设Oracle GPU相比，性能损失18%。
2016-07-28 cs.DC cs.LG cs.NE
3LegRace: Privacy-Preserving DNN Training over TEEs and GPUs
利用并行硬件（例如GPU）进行深度神经网络（DNN）训练带来了高计算性能。然而，它引起了数据隐私问题，因为GPU缺乏一个可信的环境来保护数据。可信执行环境（TEE）已经成为实现隐私保护学习的一个有前途的解决方案。不幸的是，TEE有限的计算能力使它们在性能上无法与GPU相提并论。为了改善隐私，计算性能和模型准确性之间的权衡，我们提出了一个\emph{asymmetric}模型分解框架，\AsymML{}，（1）使用并行硬件加速训练;（2）使用TEE和差分隐私（DP）实现强大的隐私保证，与DP相比，精度损失要小得多。通过利用训练数据中的低秩特征和中间特征，\AsymML{}将输入和中间激活不对称地分解为低秩和残差部分。利用分解的数据，目标DNN模型相应地被分成\emph{trusted}和\emph{untrusted}部分。可信部分在低等级数据上执行计算，具有低计算和存储成本。不可信部分被馈送以由非常小的噪声扰动的残差。通过将可信和不可信部分分别委托给TEE和GPU，可以很好地管理隐私、计算性能和模型准确性。我们提供了一个正式的DP保证，证明，对于相同的隐私保证，结合非对称数据分解和DP需要更小的噪声相比，单独使用DP没有分解。与仅使用DP方法而不分解相比，这显著改善了隐私效用权衡。此外，我们提出了一个秩界分析表明，在整个模型的每一层后，低秩结构被保留。
2022-06-17 cs.CR cs.DC
HarmonyBatch: Batching multi-SLO DNN Inference with Heterogeneous Serverless Functions
本文提出 HarmonyBatch 框架，通过 CPU/GPU 异构函数的性能成本建模与两阶段请求合并策略，在满足多 SLO 的同时显著降低 Serverless DNN 推理成本。
2024-05-09 cs.DC
Performance Modeling and Evaluation of Distributed Deep Learning Frameworks on GPUs
深度学习框架已经被广泛部署在GPU服务器上，用于学术界和工业界的深度学习应用。在训练深度神经网络（DNN）时，有许多标准的过程或算法，例如卷积和随机梯度下降（SGD），但是即使在相同的GPU硬件上运行相同的深度模型，不同框架的运行性能也可能不同。在这项研究中，我们评估了四种最先进的分布式深度学习框架（即，Caffe-MPI、CNTK、MXNet和TensorFlow）在单GPU、多GPU和多节点环境中的应用。我们首先在使用SGD训练DNN时建立标准过程的性能模型，然后我们用三种流行的卷积神经网络（即，AlexNet、GoogleNet和ResNet-50），然后分析了造成这四种框架性能差距的因素。通过分析和实验分析，我们确定了可以进一步优化的瓶颈和开销。主要的贡献是，所提出的性能模型和分析提供了进一步的优化方向，在算法设计和系统配置。
2018-08-20 cs.DC
SGDRC: Software-Defined Dynamic Resource Control for Concurrent DNN Inference on NVIDIA GPUs
针对GPU上并发DNN推理的资源分配难题，提出软件定义的SGDRC，通过逆向工程与缓存着色消除VRAM冲突，动态分配带宽和计算单元，提升SLO达标率与吞吐量。
2025-03-26 cs.AR cs.DC cs.PF
Memory Efficient and Staleness Free Pipeline Parallel DNN Training Framework with Improved Convergence Speed
提出基于流水线并行的 V-TiMePReSt 与 I-TiMePReSt，分别实现无陈旧训练及利用中间权重兼顾显存、陈旧性与收敛速度。
2025-09-27 cs.DC
PEAT: Pseudo-Error Assessment for GPU Kernel Validation in DNN Training
Seoul National University（首尔大学）；Van-Lang Institute of Semiconductor Technology (VIST)（文朗半导体技术研究所）；Vietnam National University（越南国立大学）；Moreh Vietnam（Moreh越南）
针对DNN训练中内核验证耗时且需大量存储的问题，提出PEAT轻量级框架，通过回放和频率故障注入收集状态，分析误差特征，提供充分条件关联误差模型，并在NVIDIA和AMD GPU上验证。
2026-09-15 cs.CE cs.DC cs.SE
Efficient Pipeline Planning for Expedited Distributed DNN Training
为了训练现代大型DNN模型，最近出现了流水线并行，它将模型分布在GPU上，使不同的设备能够处理流水线中的不同微批。早期的流水线设计允许多个版本的模型参数共存（类似于异步训练），并且不能确保与没有流水线相同的模型收敛和准确性性能。最近提出了同步流水线，它通过在训练迭代之间实施同步屏障来确保模型性能。然而，同步屏障需要等待来自所有微批次的梯度聚合，从而延迟训练进度。需要优化的流水线规划来最小化这种等待，从而最小化训练时间，这在文献中还没有得到很好的研究。本文设计了高效的、接近最优的算法，用于在任意GPU间连接上加速现代大型DNN的同步流水线并行训练。我们的算法框架包括两个组件：一个管道分区和设备映射算法，和一个管道调度器，决定处理顺序的分区，这一起最大限度地减少每次迭代的训练时间的微批处理。我们进行了深入的理论分析，广泛的测试床实验和跟踪驱动的模拟，并证明我们的计划可以加快训练高达157%，与最先进的设计相比。
2022-04-22 cs.DC
A Hybrid Parallelization Approach for Distributed and Scalable Deep Learning
最近，深度神经网络（DNN）在处理医疗和其他复杂分类任务方面取得了巨大成功。然而，随着DNN模型和可用数据集的大小增加，训练过程变得更加复杂和计算密集，通常需要更长的时间才能完成。在这项工作中，我们提出了一个通用的完整的端到端的混合并行化方法，结合模型和数据并行有效地分布式和可扩展的DNN模型的训练。我们还提出了一个基于遗传算法的启发式资源分配机制（GABRA）的最佳分配分区的可用GPU的计算性能优化。我们已经将我们提出的方法应用于基于3D剩余注意力深度神经网络（3D-ResAttNet）的真实用例，用于在多个GPU上进行有效的阿尔茨海默病（AD）诊断。实验结果表明，该方法是有效的和可扩展的，它实现了几乎线性的加速比，与现有的非并行DNN模型相比，在精度性能上几乎没有差异。
2022-02-06 cs.DC
Characterizing the Performance of Accelerated Jetson Edge Devices for Training Deep Learning Models
本研究系统表征了三种Jetson边缘设备上DNN训练的性能，分析了设备与训练参数的影响，揭示了资源依赖关系，并构建了预测训练时间和能耗的模型。
2025-09-24 cs.DC
An efficient and flexible inference system for serving heterogeneous ensembles of deep neural networks
TotalEnergies SE（道达尔能源公司）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）
深度神经网络（DNN）的集成已经实现了定性预测，但它们是计算和内存密集型的。因此，要求它们用可用的计算资源来回答繁重的请求工作量的需求正在增长。与最近关于推理服务器和推理框架的举措不同，这些举措专注于单个DNN的预测，我们提出了一个新的软件层，以提供DNN的灵活性和效率。我们的推理系统设计了几个技术创新。首先，我们提出了一个新的过程来找到设备（CPU或GPU）和DNN实例之间的良好分配矩阵。它连续运行最差拟合以将DNN分配到存储器设备中，并运行贪心算法以优化分配设置并加速集成。其次，我们设计的推理系统基于多个进程异步运行：搜索，预测和组合规则与一个有效的内部通信方案，以避免开销。实验表明，在极端情况下的灵活性和效率：它成功地服务于12个重DNN到4个GPU的合奏，相反，一个单一的DNN多线程到16个GPU。它还优于简单的基线，包括优化DNN的批量大小，在图像分类任务上加速高达2.7倍。
2022-08-30 cs.DC cs.LG
Performance Characterization of Containerized DNN Training and Inference on Edge Accelerators
本研究在NVIDIA AGX Orin边缘设备上对比了容器化与裸机执行DNN训练和推理的性能，发现容器化开销可忽略不计。
2024-07-18 cs.DC
Scalable Distributed DNN Training using TensorFlow and CUDA-Aware MPI: Characterization, Designs, and Performance Evaluation
TensorFlow是最广泛采用的机器/深度学习框架。然而，文献中几乎没有提供对TensorFlow为需要大规模计算和通信的大型ML/DL模型的分布式训练提供的功能的全面理解。最常用的TF分布式训练方法可以分为以下几类：1）Google Remote Procedure Call（gRPC），2）gRPC+X：X=（InfiniBand Verbs，Message Passing Interface，GPUDirect RDMA），3）No-gRPC：Baidu Allreduce with MPI，Horovod with MPI，Horovod with NVIDIA NCCL。在本文中，我们对这些分布式训练方法在各种GPU集群上的性能进行了深入的表征和分析，包括Piz Daint系统（Top500排名第6）。我们进行实验以获得以下向量的新见解：1）DNN训练的应用级可扩展性，2）批量大小对扩展效率的影响，3）用于no-gRPC方法的MPI库的影响，以及4）DNN架构的类型和大小。基于这些实验，我们提出了两个关键的见解：1）总体而言，与大多数配置的基于gRPC的方法相比，No-gRPC设计实现了更好的性能，以及2）No-gRPC的性能受到使用Allreduce的梯度聚合的严重影响。最后，我们提出了一个真正的CUDA感知MPI Allreduce设计，利用CUDA内核和指针缓存，…
2018-10-25 cs.DC
A Computational-Graph Partitioning Method for Training Memory-Constrained DNNs
许多最先进的深度神经网络（DNN）具有大量的内存需求。有限的设备内存成为训练这些模型时的瓶颈。我们提出了ParDNN，一个自动的，通用的，非侵入性的分区策略DNN表示为计算图。ParDNN决定DNN的底层计算图操作在多个设备上的放置，以便满足设备的内存约束并最小化训练时间。ParDNN完全独立于DNN的深度学习方面。它既不需要修改模型，也不需要修改其操作内核的系统级实现。ParDNN在几秒到几分钟内对具有数十亿个参数和数十万个操作的DNN进行分区。我们在16个GPU上使用TensorFlow进行的实验证明了5个非常大的模型的有效训练，同时实现了批量大小和训练吞吐量的超线性扩展。ParDNN的性能优于或在质量上改进了相关工作。
2021-05-05 cs.DC
Symphony: Optimized DNN Model Serving using Deferred Batch Scheduling
University of Washington（华盛顿大学）；Duke University（杜克大学）；Microsoft（微软公司）
本文提出 Symphony DNN 服务系统，通过可调度窗口与跨加速器细粒度协调实现延迟批量调度，在满足 SLO 的同时显著提升有效吞吐量并减少 GPU 使用。
2024-02-28 cs.DC cs.LG
Training DNN Models over Heterogeneous Clusters with Optimal Performance
针对异构集群中分布式DNN训练性能不佳的问题，提出Cannikin系统，通过建模最优性能与预测自适应批大小，实现接近最优的训练效率，实验显示训练时间显著降低。
2024-02-07 cs.DC
Efficient Training of Convolutional Neural Nets on Large Distributed Systems
深度神经网络（DNN）在包括图像分类在内的许多应用领域都取得了令人印象深刻的准确性。DNN的训练是一个计算极其密集的过程，并且使用随机梯度下降（SGD）算法的变体来解决。最近的许多研究都集中在提高DNN训练的性能上。在本文中，我们提出了优化技术，以提高使用火炬框架的数据并行同步SGD算法的性能：（i）我们保持在内存中的数据，以避免文件I/O开销，（ii）我们提出了一个基于多色的MPI Allreduce算法，以最大限度地减少通信开销，（iii）我们提出了优化的火炬数据并行表框架，处理多线程。我们评估了我们的优化的Power 8 Minsky集群与32个节点和128 NVidia Pascal P100 GPU的性能。通过我们的优化，我们能够在48分钟内使用256个GPU在Imagenet-1 k数据集上训练90个epoch的ResNet-50模型。这大大提高了以前最好的性能，即在65分钟内使用256个GPU在同一数据集上训练90个epoch的ResNet-50模型。据我们所知，这是Imagenet-1 k数据集最著名的训练性能。
2017-11-02 cs.DC
A Deep Neural Networks ensemble workflow from hyperparameter search to inference leveraging GPU clusters
TotalEnergies SE（道达尔能源公司）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）
带有集成的自动机器学习（或带有集成的AutoML）旨在自动构建深度神经网络（DNN）的集成，以实现定性预测。DNN的包围是众所周知的，以避免过度拟合，但他们是内存和时间消耗的方法。因此，理想的AutoML将在一个单一的运行时间中产生关于准确性和推理速度的不同集合。虽然以前的AutoML工作专注于搜索最佳模型以最大限度地提高其泛化能力，但我们提出了一种新的AutoML来构建更大的准确和多样化的个体模型库，然后构建集成。首先，我们广泛的基准测试表明，异步Hyperband是构建大量不同模型以组合它们的有效且健壮的方法。在此基础上，提出了一种基于多目标贪心算法的集成选择方法，通过控制计算代价来生成准确的集成。最后，我们提出了一种新的算法来优化的DNN集成在GPU集群的基础上分配优化的推理。所产生的AutoML与集成方法在训练阶段和推理阶段都使用高效的GPU集群在两个数据集上显示出稳健的结果。
2022-08-30 cs.DC cs.LG
Poseidon: A System Architecture for Efficient GPU-based Deep Learning on Multiple Machines
Carnegie Mellon University（卡内基梅隆大学）；Seoul National University（首尔国立大学）；Institute for Infocomm Research（资讯通信研究院）
深度学习（DL）在许多机器学习任务中取得了显著的成功。已经开发了许多框架来加快设计和训练深度神经网络（DNN）的过程，例如Caffe，Torch和Theano。目前，他们可以在一台机器上利用多个GPU，但无法使用分布在多台机器上的GPU;因为即使是平均大小的DNN也需要几天的时间才能在单个GPU上训练数百GB到TB的数据，分布式GPU为扩展DL提供了一个绝佳的机会。然而，商品以太网网络上可用的有限带宽对分布式GPU训练提出了瓶颈，并阻止其琐碎的实现。为了研究如何适应现有的框架，以有效地支持分布式GPU，我们提出了波塞冬，一个可扩展的系统架构，在现有的DL框架的分布式机器间通信。我们将Poseidon与Caffe集成，并评估其在训练DNN进行对象识别方面的性能。Poseidon具有三个关键贡献，可以加速集群上的DNN训练：（1）三级混合架构，允许Poseidon支持仅CPU和配备GPU的集群，（2）分布式无等待反向传播（DWBP）算法，以提高GPU利用率并平衡通信，以及（3）结构感知通信协议（SACP），以最大限度地减少通信开销。我们的经验表明，Poseidon收敛到与单台机器相同的目标，并使用8个节点的商品GPU集群在多个模型和完善的数据集上实现了最先进的训练加速（例如AlexNet上的4.5倍加速，GoogLeNet上的4倍，CIFAR-10上的4倍）。在更大的ImageNet …
2015-12-19 cs.CV cs.DC cs.LG
TiMePReSt: Time and Memory Efficient Pipeline Parallel DNN Training with Removed Staleness
本文提出TiMePReSt系统，通过结合批间与批内流水线并行、微批量分解及新颖同步方法，在去除权重陈旧性的同时降低GPU内存开销并提升DNN训练效率。
2024-10-23 cs.DC
Fulcrum: Optimizing Concurrent DNN Training and Inferencing on Edge Accelerators
针对边缘加速器上并发DNN训练与推理的挑战，提出Fulcrum调度器，通过优化时间切片、功率模式和批大小，以低剖析成本最大化训练吞吐量并满足延迟与功率约束。
2025-09-24 cs.DC
GPU Acceleration of Sparse Fully Homomorphic Encrypted DNNs
University of Glasgow（格拉斯哥大学）；University of Murcia（穆尔西亚大学）；Northeastern University（东北大学）；AMD（超威半导体公司）
本文提出在AMD GPU上加速深度神经网络中矩阵乘法的方法，利用FIDESlib库优化稀疏矩阵运算，提升运行效率并降低时间复杂度。
2026-04-13 cs.CR cs.DC cs.DS
Elastic deep learning in multi-tenant GPU cluster
我们研究如何支持弹性，即，动态调整并行度（GPU数量）的能力，用于深度神经网络（DNN）训练。弹性可以在许多方面使多租户GPU集群管理受益，例如，实现各种调度目标（例如，作业吞吐量、作业完成时间、GPU效率），最大限度地利用瞬时空闲资源、性能分析、作业迁移和落伍者缓解。然而，现有的并行性调整策略带来了很高的开销，这阻碍了许多应用程序有效地利用弹性。我们建议EDL使用简单的API实现低开销弹性深度学习。我们提出了减少并行性调整开销所需的技术，例如无停止扩展和动态数据管道。我们还证明了EDL确实可以在GPU集群管理中为上述应用程序带来显着的好处。
2019-11-30 cs.DC
Brief Announcement: On the Limits of Parallelizing Convolutional Neural Networks on GPUs
GPU目前是训练神经网络的首选平台。然而，即使在GPU上训练深度神经网络（DNN）也是一个耗时的过程，因为必须学习大量的参数。因此，加速DNN训练在过去几年中一直是一个重要的研究领域。虽然早期的网络（如AlexNet）在层和操作之间具有线性依赖性，但最先进的网络（如ResNet，PathNet和GoogleNet）具有非线性结构，表现出更高水平的操作间并行性。然而，流行的深度学习（DL）框架（如TensorFlow和PyTorch）在GPU上串行启动大多数神经网络操作，特别是卷积，并且不利用这种操作间并行性。在这个简短的声明中，我们提出了在最先进的非线性网络中利用这种丰富的并行性来减少训练时间的需求和潜在好处。我们确定了在DL框架的GPU后端（如cuDNN）上启用并发层执行的挑战和限制，并提出了潜在的解决方案。
2020-05-28 cs.DC cs.NE
OneAdapt: Fast Configuration Adaptation for Video Analytics Applications via Backpropagation
University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
针对视频分析应用现有配置自适应技术的不足，提出OneAdapt框架，利用DNN可微性计算AccGrad实现梯度上升式配置适配，在多场景下显著降低资源开销或提升推理精度。
2024-12-12 cs.AI cs.DC cs.LG
Energy-Efficient GPU Clusters Scheduling for Deep Learning
提出PowerFlow GPU集群调度器，通过性能建模、动态配置调整及网络打包与伙伴分配，在能源预算下最多将平均作业完成时间提升1.57至3.39倍。
2023-05-14 cs.DC
Optimizing DNN Compilation for Distributed Training with Joint OP and Tensor Fusion
本文提出了DisCo，一个用于数据并行分布式训练的自动深度学习编译模块。与大多数专注于在单个设备上进行训练或推理的深度学习编译器不同，DisCo优化了DNN模型，以便在多个GPU机器上进行分布式训练。现有的单设备编译策略在分布式训练中不起作用，主要是由于它们引起的通信效率低下。DisCo生成优化的联合计算算子和通信张量融合策略，以实现高效的分布式训练。构建了一个基于GNN的模拟器，以有效地估计算子/张量融合候选者实现的每次迭代训练时间。回溯搜索算法由模拟器驱动，在大的策略空间中有效地导航，以确定最小化分布式训练时间的良好算子/张量融合策略。我们比较DisCo与现有的DL融合方案，并表明它实现了良好的训练速度接近理想的，充分的计算通信重叠的情况下。
2022-09-26 cs.DC
dMath: A Scalable Linear Algebra and Math Library for Heterogeneous GP-GPU Architectures
本文介绍了一种新的可扩展并行数学库dMath，它展示了在使用节点内或节点间混合并行进行深度学习时的领先扩展能力。dMath提供易于使用的分布式基本原语和各种特定于域的算法。这些包括矩阵乘法，卷积和其他允许快速开发高度可扩展的应用程序，包括深度神经网络（DNN），而以前仅限于为单个GPU提供有效原语的库，如Nvidia cuplex和cudnn或来自Nerve neon框架的DNN原语。HPC软件的开发是一项困难的劳动密集型工作，需要独特的技能。dMath允许广泛的开发人员轻松利用并行和分布式硬件。这种方法的一个贡献是数据永久存储在GPU硬件上，避免了主机和设备之间的昂贵传输。利用了高级存储管理技术，包括对传输数据的高速缓存和通过池化的存储器重用。dMath的一个关键贡献是它为特定的支持领域提供了性能、可移植性和生产力。它使算法和应用程序编程人员能够快速解决问题，而无需管理与多级并行相关的显著复杂性。
2016-04-05 cs.DC cs.MS cs.NE
Chasing Low-Carbon Electricity for Practical and Sustainable DNN Training
University of Michigan（密歇根大学）
提出Chase解决方案，通过实时监测碳强度并控制GPU能耗，在不迁移或推迟任务的情况下减少DNN训练碳足迹，同时利用轻量级ML算法预测碳强度，在ImageNet上训练ResNet-50时减少13.6%碳排放且仅增加2.5%训练时间。
2023-04-02 cs.AI cs.DC cs.LG
QSync: Quantization-Minimized Synchronous Distributed Training Across Hybrid Devices
The University of Hong Kong（香港大学）；ByteDance Inc.（字节跳动公司）
本文提出 QSync 系统，通过双向混合精度敏感性预测、邻域感知成本估计和量化最小化分配，在异构训练与推理 GPU 上实现高效同步数据并行 DNN 训练。
2024-07-02 cs.DC cs.LG
BaPipe: Exploration of Balanced Pipeline Parallelism for DNN Training
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies（华为技术有限公司）
随着机器学习算法复杂度的增加，深度神经网络（DNN）的规模迅速增长。为了满足DNN训练对计算量和内存的要求，基于模型并行的分布式深度学习得到了广泛的认可。我们提出了一个新的流水线并行训练框架BaPipe，它可以自动探索DNN分布式训练的流水线并行训练方法和平衡分区策略。在BaPipe中，每个加速器计算网络不同部分的前向传播和后向传播，以实现批内流水线并行策略。BaPipe使用一种新的负载均衡自动探索策略，该策略考虑DNN模型的参数以及加速器集群的计算、内存和通信资源。我们在GPU集群上训练了不同的DNN，如VGG-16，ResNet-50和GNMT，并模拟了不同FPGA集群的性能。与最先进的数据并行和流水线并行框架相比，BaPipe在各种平台上提供高达3.2倍的加速和4倍的内存减少。
2021-01-14 cs.AI cs.DC
