A Data-Driven Frequency Scaling Approach for Deadline-aware Energy Efficient Scheduling on Graphics Processing Units (GPUs)
现代计算范式,如云计算,越来越多地采用GPU来提高其计算能力,这主要是由于AI/ML/深度学习工作负载的异构性。然而,GPU的能耗是一个关键问题。动态电压频率缩放(DVFS)是一种广泛使用的降低GPU动态功耗的技术。然而,由于应用程序的运行时性能特性、能量和执行时间之间的复杂非线性关系,为基本性能要求配置最佳时钟频率是一项重要的任务。当不同的应用程序在类似的时钟设置下表现不同时,这变得更具挑战性。简单的分析解决方案和标准GPU频率缩放算法无法捕捉这些复杂性并适当地缩放频率。在这方面,我们提出了一个数据驱动的频率缩放技术,通过预测一个给定的应用程序在不同的时钟设置的功率和执行时间。我们从应用程序分析中收集数据,并对模型进行训练,以准确地预测结果。所提出的解决方案是通用的,可以很容易地扩展到不同类型的工作负载和GPU架构。此外,使用预测模型的频率缩放,我们提出了一个截止日期感知的应用程序调度算法,以减少能源消耗,同时满足他们的截止日期。我们使用几个基准应用程序在NVIDIA GPU上进行了大量的实验。实验结果表明,我们的预测模型具有较高的准确性,平均均方根值为0.38和0.05的能量和时间预测,分别。此外,与基线策略相比,调度算法消耗的能量减少了15.07%。
2020-04-28 cs.DC
ESG: Pipeline-Conscious Efficient Scheduling of DNN Workflows on Serverless Platforms with Shareable GPUs
本文提出ESG调度算法,将可共享GPU作为一阶因素,结合A*搜索与双刃剪枝技术及基于支配者的SLO分布,解决无服务器平台上DNN工作流调度空间急剧扩大的问题,显著提升SLO命中率并降低成本。
2024-04-25 cs.DC
Themis: Fair and Efficient GPU Cluster Scheduling
现代分布式机器学习(ML)训练工作负载从利用GPU中受益匪浅。然而,当多个这样的工作负载在GPU的共享集群上运行时,会引起严重的争用。一个关键问题是如何在工作负载之间公平分配GPU。我们发现,由于ML工作负载的独特属性,已建立的集群调度规则不太适合:ML作业具有需要进行组调度的长时间运行的任务,并且它们的性能对任务的相对位置敏感。我们提出了Themis,这是一种用于ML训练工作负载的新调度框架。它的GPU分配策略强制ML工作负载以完成时公平的方式完成,这是我们引入的一个新概念。为了捕获放置敏感性并确保效率,Themis使用两级调度架构,其中ML工作负载对由中央仲裁器运行的拍卖中提供的可用资源进行竞标。我们的拍卖设计通过在短期内权衡效率和公平性,但从长期来看确保完成时间的公平性,将GPU分配给中标者。我们对生产跟踪的评估表明,Themis可以将公平性提高2.25倍以上,与最先进的集群相比,集群效率提高了5%到250%。
2019-10-29 cs.DC
Kernelet: High-Throughput GPU Kernel Executions with Dynamic Slicing and Scheduling
图形处理器(GPU)最近被广泛用作集群和云等共享环境中的加速器。在这样的共享环境中,许多内核从不同的用户提交给GPU,吞吐量是性能和总拥有成本的重要指标。尽管最近改进了对并发GPU内核执行的运行时支持,但GPU可能严重未得到充分利用,导致次优吞吐量。在本文中,我们提出了Kernelet,一个运行时系统与动态切片和调度技术,以提高吞吐量的并发内核执行GPU上。通过切片,Kernelet将GPU内核划分为多个子内核(即切片)。每个切片都具有可调的占用率,以允许与其他切片协同调度并充分利用GPU资源。我们开发了一种新的和有效的基于马尔可夫链的性能模型来指导调度决策。我们的实验结果表明,在NVIDIA Tesla C2050和GTX 680 GPU上,性能分别提高了31.1%和23.4%。
2013-03-21 cs.DC
FREESH: Fair, Resource- and Energy-Efficient Scheduling for LLM Serving on Heterogeneous GPUs
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Renmin University of China(中国人民大学);University of Washington(华盛顿大学);University of Alberta(阿尔伯塔大学)
FREESH针对异构GPU集群上LLM服务的碳与能耗优化问题,通过联合路由调度、动态频率缩放和LLF策略,在保证延迟与公平性的同时实现28.6%的节能和45.45%的减排。
2025-11-05 cs.DC
Energy Efficient Scheduling of AI/ML Workloads on Multi Instance GPUs with Dynamic Repartitioning
Columbia University(哥伦比亚大学);IBM TJ Watson Research Center(IBM沃森研究中心)
针对多实例GPU环境,提出结合调度算法与强化学习的动态重分区框架,优化能耗与延迟的多目标问题,相比静态分区节能26%-68%。
2026-06-25 cs.DC
Nimble: Lightweight and Parallel GPU Task Scheduling for Deep Learning
Seoul National University(首尔国立大学)
深度学习(DL)框架利用GPU来提高DL推理和训练的速度。理想情况下,DL框架应该能够充分利用GPU的计算能力,使得运行时间取决于分配给GPU的计算量。然而,我们观察到,在调度GPU任务时,现有的DL框架存在效率低下的问题,例如较大的调度开销和不必要的串行执行。为此,我们提出了Nimble,这是一个DL执行引擎,可以以最小的调度开销并行运行GPU任务。Nimble引入了一种称为提前(AoT)调度的新技术。这里,调度过程在执行GPU内核之前完成,从而在运行时间期间去除大部分调度开销。此外,Nimble通过在单个GPU中利用多个GPU流来自动并行执行GPU任务。对各种神经网络的评估表明,与PyTorch相比,Nimble的推理和训练速度分别提高了22.34 $\times$和3.61 $\times$。此外,Nimble的性能比最先进的推理系统TensorRT和TVM分别高出2.81 $\times$和1.70 $\times$。
2020-12-04 cs.DC cs.LG
Optimizing Attention on GPUs by Exploiting GPU Architectural NUMA Effects
Department of ECE, Duke University(电子工程系,杜克大学);Advanced Micro Devices Inc.(先进微器件公司);Department of Computer Science, Duke University(计算机科学系,杜克大学)
针对分解式 GPU 中 NUMA 效应影响注意力机制性能的问题,提出空间感知调度策略 Swizzled Head-first Mapping,在 MI300X 上实现高达 50% 性能提升和高缓存命中率。
2025-11-03 cs.AR cs.DC cs.LG
Efficient Pre-Training of LLMs via Topology-Aware Communication Alignment on More Than 9600 GPUs
University of Cambridge(剑桥大学);ByteDance Seed(字节跳动Seed);HKUST(香港科技大学)
本文提出调度系统Arnold,通过将LLM通信模式与数据中心物理拓扑对齐,在超过9600个GPU上实现10.6%的端到端训练性能提升。
2025-09-19 cs.DC
Hierarchical Resource Partitioning on Modern GPUs: A Reinforcement Learning Approach
Technical University of Munich(慕尼黑工业大学)
针对现代GPU单程序资源利用率低的问题,提出基于强化学习的分层资源划分与作业协同调度组协同优化方法,结合NVIDIA GPU的MPS与MIG特性,相比分时调度最高提升1.87倍吞吐量。
2024-05-14 cs.AR cs.DC cs.LG
D-STACK: High Throughput DNN Inference by Effective Multiplexing and Spatio-Temporal Scheduling of GPUs
针对DNN推理中GPU利用率不足及空间复用下资源配置、批处理与调度难题,本文提出D-STACK时空调度框架,结合并行性估计模型与轻量级批处理优化,在满足SLO的同时显著提升GPU利用率和推理吞吐量。
2023-03-31 cs.DC cs.PF cs.SY
Performance Analysis and Efficient Execution on Systems with multi-core CPUs, GPUs and MICs
我们进行了比较性能研究的多核CPU,GPU和英特尔至强融核(许多集成核心- MIC)与显微镜图像分析应用程序。我们通过实验评估计算设备对应用程序核心操作的性能。我们将观察到的性能与计算设备和数据访问模式,计算复杂性和操作的并行化形式的特性相关联。结果表明,相对于所使用的器械,操作性能存在显著差异。在MIC上进行常规数据访问的操作的性能与在GPU上进行的操作的性能相当,有时甚至更好。对于不规则访问数据的操作,GPU比MIC更有效,因为MIC用于随机数据访问的带宽较低。我们提出了新的性能感知调度策略,考虑在操作加速的变化。我们的调度策略显着提高应用程序的性能相比,经典的策略在混合配置。
2015-05-14 cs.DC
DisagFusion: Asynchronous Pipeline Parallelism and Elastic Scheduling for Disaggregated Diffusion Serving
Renmin University of China(中国人民大学);SenseTime(商汤科技);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学);Beihang University(北京航空航天大学)
针对扩散模型部署中阶段间负载不均和调度脆弱性问题,提出DisagFusion,通过异步流水线并行和混合实例调度策略,实现吞吐量提升3.4-20.5倍、端到端延迟降低18.5倍。
2026-05-25 cs.DC
Scheduling data flow program in xkaapi: A new affinity based Algorithm for Heterogeneous Architectures
在异构混合体系结构上高效实现并行应用需要在计算和与加速器设备的通信之间进行仔细的平衡。即使大部分的通信时间可以被计算重叠,减少通信数据的总量也是至关重要的。因此,文献中有大量的ad-hoc方法来达到这种平衡,但这些方法依赖于体系结构和应用程序。我们在这里提出了一个通用的机制来自动优化CPU和GPU之间的调度,并比较两种策略在此机制:经典的异构最早完成时间(HEFT)算法和我们的新的,参数化的,分布式亲和对偶近似算法(DADA),它包括在分组的任务之前,运行一个快速的对偶近似。我们在一个异构并行机上进行了实验,该并行机具有六个CPU内核和八个NVIDIA Fermi GPU。来自PLASMA库的三个标准密集线性代数内核已经移植到Xkaapi运行时之上。我们报道他们的表演。结果表明,HEFT和DADA在各种实验条件下表现良好,但DADA在较大的系统和GPU数量上表现更好,并且在大多数情况下,产生的数据传输比HEFT低得多,以实现相同的性能。
2014-04-25 cs.DC
Energy-Aware Scheduling for Serverless LLM Serving on Shared GPUs
University of Pittsburgh(匹兹堡大学);HPE Labs(惠普企业实验室)
针对无服务器LLM服务中多模型共享GPU带来的能耗优化难题,提出Festina系统,通过协同请求放置、SM分区和GPU工作点调整,在满足TTFT/TBT SLO前提下,实现集群能耗降低高达56%。
2026-10-13 cs.DC
MeanField Surrogate Modeling for Scalable Runtime Scheduling of Concurrent Heterogeneous AI Inference on Shared GPUs
Seoul National University(首尔大学);Institute of Computer Technology (ICT), Seoul National University(首尔大学计算机技术研究所)
针对共享GPU上并发异构AI推理的调度难题,提出MeanField代理模型,将其集成到遗传算法调度器中,在多类工作负载场景下实现高精度、低耗时的可扩展调度,性能接近穷举搜索且效率大幅提升。
2026-09-03 cs.AI cs.DC
Scheduling Optimization Techniques for Neural Network Training
Hanyang University(汉阳大学)
神经网络训练需要大量的计算,因此GPU通常用于加速。本文提出了一种用于神经网络训练的有效调度技术--无序反向传播(ooo)。通过利用梯度计算的依赖性,ooo backprop可以重新排序它们的执行,以充分利用GPU资源。我们表明,在单GPU,数据并行,和流水线并行训练的GPU利用率可以通过应用ooo反向传播和优先级的关键操作,通常可以提高。我们提出了三种基于面向对象反向传播的调度算法。对于单GPU训练,我们使用多流乱序计算进行调度,以掩盖内核启动开销。在数据并行训练中,我们对梯度计算进行重新排序,以最大化计算和参数通信的重叠;在流水线并行训练中,我们用十二个神经网络来评估我们的优化,包括一个轻量级的计算机视觉模型(MobileNet)和大型NLP模型(BERT和GPT-3),最多48个V100 GPU。我们的调度算法有效地提高了单GPU训练以及数据和流水线的性能。与现有技术的训练系统的相应状态相比,对于单GPU、数据并行和流水线并行训练,吞吐量显著提高。
2021-10-03 cs.DC cs.LG
A Simulation Platform for Multi-tenant Machine Learning Services on Thousands of GPUs
University of Toronto(多伦多大学);National University of Singapore(新加坡国立大学);SenseTime(商汤科技)
多租户机器学习服务已经成为数据中心中新兴的数据密集型工作负载,其大量使用GPU资源。由于集群规模大、调整参数多、资源占用量大,在真实集群上对这些机器学习服务进行评估和基准测试通常是不切实际的。在这个演示中,我们提出了AnalySIM,一个集群模拟器,允许多租户机器学习服务的有效设计探索。具体来说,通过跟踪驱动的集群工作负载模拟,AnalySIM可以轻松测试和分析各种调度策略在GPU资源利用率等多个性能指标中的表现。AnalySIM基于物理拓扑和逻辑分区模拟集群计算资源。该工具已在SenseTime中使用,以了解不同调度策略的影响,并跟踪超过1000个GPU的实际生产集群。我们发现,抢占和迁移能够显着减少平均作业完成时间,减轻资源碎片化问题。
2022-01-10 cs.AI cs.DC
GPU-enabled Function-as-a-Service for Machine Learning Inference
功能即服务(FaaS)正在成为一种重要的云计算服务模型,因为它可以提高各种应用程序的可扩展性和可用性,特别是需要可扩展资源和复杂软件配置的机器学习(ML)推理任务。这些推理任务严重依赖GPU来实现高性能;然而,现有的FaaS解决方案目前缺乏对GPU的支持。功能独特的事件触发和短暂的性质对在FaaS上启用GPU提出了新的挑战,这必须考虑传输数据的开销(例如,ML模型参数和输入/输出)。本文提出了一种新的支持GPU的FaaS解决方案,使ML推理功能能够有效地利用GPU来加速其计算。首先,它扩展了现有的FaaS框架,如OpenFaaS,以支持FaaS集群中跨GPU的功能调度和执行。其次,它提供了在GPU内存中缓存ML模型以提高模型推理功能的性能,并提供了GPU内存的全局管理以提高缓存利用率。第三,它提供了协同设计的GPU功能调度和缓存管理,以优化ML推理功能的性能。具体而言,本文提出了本地感知调度,最大限度地利用GPU内存的缓存命中和GPU核心的并行处理。基于真实世界的跟踪和ML模型的全面评估表明,所提出的支持GPU的FaaS适用于ML推理任务,与默认的负载均衡调度器相比,所提出的本地感知调度器实现了48倍的加速。
2023-03-09 cs.DC
Symphony: Optimized DNN Model Serving using Deferred Batch Scheduling
University of Washington(华盛顿大学);Duke University(杜克大学);Microsoft(微软公司)
本文提出 Symphony DNN 服务系统,通过可调度窗口与跨加速器细粒度协调实现延迟批量调度,在满足 SLO 的同时显著提升有效吞吐量并减少 GPU 使用。
2024-02-28 cs.DC cs.LG
HetRL: Efficient Reinforcement Learning for LLMs in Heterogeneous Environments
ETH Zürich(苏黎世联邦理工学院);Amazon Web Services(亚马逊云科技)
本文提出HetRL系统,通过混合调度算法和整数线性规划方法,解决异构GPU环境下大语言模型强化学习的调度问题,实验表明其在吞吐量上优于现有系统。
2026-04-11 cs.DC
Solving large permutation flow-shop scheduling problems on GPU-accelerated supercomputers
置换流水车间调度中的最小完工时间问题是一个著名的组合优化难题。在E.在1993年的Taillard,23个案件近30年来一直没有解决。在本文中,我们提出了我们的尝试,解决这些情况下的最优使用并行分支定界树搜索的GPU加速让Zay超级计算机。我们报告了11个以前未解决的问题实例的精确解,并改进了8个实例的上界。这些问题的解决方案既需要算法改进,也需要利用千万亿次高性能计算平台的计算能力。所面临的挑战在于,在由数百个大规模并行加速器设备和多核处理器组成的分布式系统上,高效地执行高度不规则的细粒度搜索树的并行深度优先遍历。我们提出并讨论了我们的基于置换的B&B的设计和实现,并通过实验评估其并行性能高达384 V100 GPU(200万CUDA核心)和3840 CPU核心。最大解决实例的最优性证明需要大约64 CPU年的计算-使用256个GPU和超过400万个并行搜索代理,搜索树的遍历在13小时内完成,探索339个$\times 10^{12}$节点。
2020-12-17 cs.DC
Intra-node Memory Safe GPU Co-Scheduling
高性能计算系统中的GPU仍然没有得到充分利用,这是因为无法安全地调度多个应用程序共享同一GPU。本文中报告的研究旨在通过提出一个框架来提高GPU的利用率,我们称之为schedGPU,以促进节点内GPU协同调度,从而通过考虑内存约束,可以在多个应用程序之间安全地共享GPU。两种方法,即客户端-服务器和共享内存的方法进行了探讨。然而,与前一种方法相比,共享内存方法更适合,因为其开销更低。schedGPU中提出了四种策略来处理等待访问GPU的应用程序,其中两种占优先级。在三个实际应用中验证了schedGPU的可行性。关键的观察结果是实现了性能增益。对于单个应用程序,获得超过10倍的增益,如通过GPU利用率和GPU内存利用率测量的。对于包含多个应用程序的工作负载,总执行时间的加速高达5倍。此外,平均GPU利用率和平均GPU内存利用率分别提高了5倍和12倍。
2017-12-12 cs.DC
DAG-based Scheduling with Resource Sharing for Multi-task Applications in a Polyglot GPU Runtime
GPU在云计算和个人设备中很容易使用,但由于它们与常见程序设计语言(如Python或Java)的集成有限,它们用于数据处理加速的速度已经放缓。此外,要充分利用GPU,需要具备异步编程的专业知识。在这项工作中,我们提出了一种新的GPU运行时间调度器的多任务GPU计算,透明地提供异步执行,空间共享和传输计算重叠,而不需要提前任何信息的程序依赖结构。我们利用GrCUDA多语言API将我们的调度器与多种高级语言集成,并提供一个快速原型设计和轻松GPU加速的平台。我们验证了我们在6个基准上的工作,这些基准是为了评估任务并行性而创建的,并且与使用C++ CUDA Graphs API编写的手动优化的主机代码相比,同步执行的平均加速率为44%,并且没有执行时间减慢。
2021-01-19 cs.AR cs.DC
Orchestrated Co-scheduling, Resource Partitioning, and Power Capping on CPU-GPU Heterogeneous Systems via Machine Learning
本文针对CPU-GPU异构系统,提出基于机器学习的预测性能建模方法,协同优化程序共置调度、CPU/GPU资源划分和功率封顶,在真实系统上相比朴素时间共享调度和均分功率封顶实现最高67%加速。
2024-05-06 cs.DC
A Simple Model for Portable and Fast Prediction of Execution Time and Power Consumption of GPU Kernels
Heidelberg University(海德堡大学)
表征GPU上的计算内核执行行为以实现高效的任务调度是一项重要的任务。我们通过一个简单的模型来解决这个问题,仅使用独立于硬件的功能在不同的GPU之间实现便携式快速预测。该模型基于随机森林构建,使用来自Parboil,Rodinia,Polybench-GPU和SHOC等基准测试的189个独立计算内核。使用交叉验证对模型性能进行评估,得出的平均百分比误差(MAPE)中位数为8.86-52.00%和1.84- 2.94%,分别用于五个不同GPU的时间功率预测,而单个预测的延迟在15到108毫秒之间变化。
2020-09-30 cs.DC cs.LG cs.PF
APEX: Asynchronous Parallel CPU-GPU Execution for Online LLM Inference on Constrained GPUs
Virginia Tech(弗吉尼亚理工大学)
APEX通过动态调度策略提升受限GPU上的LLM推理效率,提高吞吐量并保持延迟。
2026-01-14 cs.DC
VUDA: Enabling Controlled Spatial Sharing of Graphics and Compute on NVIDIA GPUs
Shanghai Jiao Tong University(上海交通大学)
VUDA通过打破CUDA与Vulkan的执行隔离,实现计算与图形任务的空间并行,提升GPU利用率并减少端到端延迟。
2026-09-29 cs.AI cs.DC cs.OS
Optimizing Hardware Resource Partitioning and Job Allocations on Modern GPUs under Power Caps
本文面向功耗受限 HPC,结合现代 GPU 的硬件分区与功耗封顶机制,基于可扩展性和干扰建模联合优化芯片分区、作业分配及功耗配置,从而在多类工作负载下获得近优方案。
2024-05-06 cs.DC
RTGPU: Real-Time GPU Scheduling of Hard Deadline Parallel Tasks with Fine-Grain Utilization
IEEE(电气与电子工程师协会);NVIDIA(英伟达)
许多新兴的网络物理系统,如自动驾驶汽车和机器人,严重依赖人工智能和机器学习算法来执行重要的系统操作。由于这些高度并行的应用程序是计算密集型的,它们需要由图形处理单元(GPU)加速以满足严格的时序约束。然而,尽管GPU被广泛采用,但在提供严格的实时的保证的同时有效地调度多个GPU应用仍然是一个挑战。在本文中,我们提出了RTGPU,它可以调度多个GPU应用程序的执行在实时的,以满足硬期限。每个GPU应用程序可以有多个CPU执行和内存复制段,以及GPU内核。我们从一个模型开始,明确说明这些应用程序的CPU和内存复制段。然后,我们考虑GPU架构中的GPU内核的精确定时模型的发展,并利用称为持久线程的技术来实现细粒度的内核调度,通过交错执行提高性能。接下来,我们提出了一种通用的方法,用于实时的调度并行GPU应用程序。最后,调度多个并行GPU应用程序,我们提出了一个实用实时的调度算法的基础上联合调度和网格搜索(GPU内核段)与单处理器固定优先级调度(多CPU和内存复制段)。通过在一个真实的NVIDIA GTX 1080 Ti GPU系统上的全面验证和评估,我们的方法提供了比以前工作更好的可扩展性,并为满足多个GPU应用的硬性期限提供了实时的保证。
2023-02-06 cs.AI cs.AR cs.DC
Characterizing LLM Kernel Access and Memory Interaction in Multi-Partition NUMA GPUs
University of Maryland College Park(马里兰大学帕克分校);AMD(超威半导体)
本文针对多分区NUMA GPU中LLM内核访问与内存交互问题,通过分析三类LLM内核实现,提出内存追踪与周期级模拟方法,划分操作数共享模式并给出对应优化策略,强调需针对性内核编程与架构支持。
2026-08-03 cs.AR cs.DC cs.PF
Frenzy: A Memory-Aware Serverless LLM Training System for Heterogeneous GPU Clusters
针对异构GPU集群手动配置硬件负担重的问题,提出无服务器LLM训练系统Frenzy,通过内存感知预测GPU需求并采用低开销异构感知调度,显著提升训练效率并降低作业完成时间。
2024-12-19 cs.DC
An Online Fragmentation-Aware GPU Scheduler for Multi-Tenant MIG-based Clouds
Fondazione Bruno Kessler (FBK)(布鲁诺·克莱斯勒基金会)
本文提出了一种面向多租户MIG云的在线碎片感知GPU调度器,通过引入碎片度量指标和贪心算法,有效减少GPU碎片化,提高工作负载调度效率。
2025-11-24 cs.DC cs.NI
DARIS: An Oversubscribed Spatio-Temporal Scheduler for Real-Time DNN Inference on GPUs
DARIS通过空间共享、时间划分和超额订阅GPU资源,实现高吞吐、低延迟的实时DNN调度,并支持零延迟任务迁移,显著优于现有方法。
2025-04-08 cs.DC
An Adaptative Multi-GPU based Branch-and-Bound. A Case Study: the Flow-Shop Scheduling Problem
Université Lille 1(里尔第一大学);CNRS(法国国家科学研究中心);INRIA Lille Nord Europe(法国国家信息与自动化研究所里尔-北欧分部)
使用分支定界(B&B)算法精确求解组合优化问题(COP)需要大量的计算资源。因此,我们最近研究了使用并行边界模型在图形处理单元(GPU)上设计B&B算法。所提出的模型假设并行评估的子问题的池上的下限。结果表明,评估池的大小对B&B的性能有显着的影响,它强烈地依赖于所解决的问题实例。在本文中,我们设计了一个自适应的并行B&B算法,用于解决基于置换的组合优化问题,如FSP(流水车间调度问题)的GPU加速器。为此,我们提出了一个动态的启发式参数自动调整在运行时。这项工作的另一个挑战是通过使用多个GPU设备的组合计算能力来利用更大程度的并行性。该方法已被应用到置换流水车间问题。广泛的实验已经进行了著名的FSP基准测试,使用Nvidia Tesla S1070计算系统配备了两个Tesla T10 GPU。与基于CPU的执行相比,对于大型问题实例,可实现高达105的加速。
2012-06-21 cs.DC cs.RO
Unleashing the Power of Preemptive Priority-based Scheduling for Real-Time GPU Tasks
针对GPU实时任务调度的现有局限,提出内核线程法和基于IOCTL的两种抢占式优先级调度方法,结合考虑任务段重叠的响应时间分析,在Nvidia Jetson平台上将可调度性最高提升40%。
2024-01-29 cs.DC cs.PF
Analysis of Large-Scale Multi-Tenant GPU Clusters for DNN Training Workloads
随着机器学习的广泛发展,许多大型企业开始在许多产品中纳入机器学习模型。这些模型通常在共享的多租户GPU集群上进行训练。与现有的集群计算工作负载类似,调度框架旨在提供高效率,资源隔离,跨用户公平共享等功能。然而,基于深度神经网络(DNN)的工作负载主要在GPU上训练,与传统的大数据分析工作负载有两个显著的不同。首先,从集群利用率的角度来看,GPU代表了一个单一的资源,不能在用户之间以细粒度共享。第二,从工作负载的角度来看,深度学习框架需要群体调度,这降低了调度的灵活性,并使作业本身对运行时的故障缺乏弹性。在本文中,我们提出了一个详细的工作负载特性的两个月长的跟踪从一个大型企业的多租户GPU集群。通过将调度器日志与来自单个作业的日志相关联,我们研究了影响多租户集群上DNN训练工作负载的集群利用率的三个不同问题:(1)组调度和局部性约束对排队的影响,(2)局部性对GPU利用率的影响,以及(3)训练期间的故障。根据我们运行大规模操作的经验,我们提供了与DNN训练工作负载的下一代集群集群路由器相关的设计指南。
2019-08-08 cs.DC
C Language Extensions for Hybrid CPU/GPU Programming with StarPU
用于高性能计算(HPC)的现代平台包括具有通用CPU和“加速器”(通常以图形处理单元(GPU)的形式)的机器。StarPU是一个利用此类平台的C库。它为用户提供了定义要在CPU或GPU上执行的“任务”的方法,以及它们之间的依赖关系,并通过在所有可用的处理单元上自动调度它们。这样,它还使程序员不必了解底层架构细节:它可以适应可用的CPU和GPU,并根据需要自动在主内存和GPU之间传输数据。虽然StarPU的方法成功地解决了运行时调度问题,但作为一个C库,它的编程接口很差,而且容易出错。本文介绍了2011年开始的一项努力,通过扩展GCC编译器套件,将库导出的一些概念作为C语言结构进行推广。我们的主要贡献是映射到StarPU的任务编程范式的语言扩展的设计和实现。我们认为,所提出的扩展使StarPU更容易入门,消除了使用C库时可能发生的错误,并帮助诊断可能的错误。我们就今后的工作作出结论。
2013-04-10 cs.CE cs.DC cs.MS
PackServe: SLO-Aware Request Scheduling for Agentic LLM Serving at Scale
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Ant Group(蚂蚁集团)
PackServe通过白盒延迟预测模型指导请求打包,在保留KVC重用和SLO约束下减少GPU资源消耗,在64块H20 GPU上节省高达24.6%的GPU小时,并在生产集群中降低34.7%资源占用。
2026-09-29 cs.DC
Optimal Workload Placement on Multi-Instance GPUs
针对支持MIG分区的GPU,本文研究LLM推理工作负载的最优放置与迁移,提出优化方法和启发式方法,显著减少GPU使用数量及资源浪费。
2024-09-10 cs.DC
JASDA: Introducing Job-Aware Scheduling in Scheduler-Driven Job Atomization
Department of Data Science and Computer Systems, Faculty of Agriculture and Technology, University of South Bohemia, Czech Republic(南波希米亚大学农业与技术学院数据科学与计算机系统系)
针对MIG GPU上工作负载复杂多变对集中式调度的挑战,提出JASDA范式,将作业原子化扩展为去中心化协商,通过作业生成子作业与调度器策略清算的迭代交互,平衡利用率、公平性与响应性,实现自适应透明调度。
2025-10-16 cs.DC
Efficient and Scalable Graph Pattern Mining on GPUs
图模式挖掘(GPM)通过搜索感兴趣的小模式来提取大型图中的高阶信息。GPM应用在计算上是昂贵的,因此对于GPU加速是有吸引力的。不幸的是,由于GPM算法和并行硬件的复杂性,手动优化GPM应用程序遭受编程复杂性,而现有的GPM框架牺牲效率的可编程性。此外,在GPU上几乎没有做过将GPM计算扩展到大问题大小的工作。我们描述了G2Miner,第一个在多个GPU上运行的图形模式挖掘(GPM)框架。G2Miner使用模式感知、输入感知和架构感知的搜索策略来在GPU上实现高效率。为了简化编程,它提供了一个代码生成器,可以自动生成模式感知的CUDA代码。G2Miner灵活地支持广度优先搜索(BFS)和深度优先搜索(DFS),以最大限度地提高内存利用率并为GPU生成足够的并行度。为了提高G2Miner的可扩展性,我们使用自定义的调度策略来平衡多个GPU之间的工作。在V100 GPU上的实验表明,G2Miner在两个最先进的单GPU系统Pangolin和PBE上分别实现了5.4倍和7.2倍的平均加速比。在多GPU设置中,G2Miner实现了从1到8个GPU的线性加速,适用于各种模式和数据图。我们还表明,在V100 GPU上的G2Miner比在56核CPU机器上的最先进的基于CPU的系统Peregrine和GraphZero快48.3倍和15.2倍。
2022-07-27 cs.DC
PARIS and ELSA: An Elastic Scheduling Algorithm for Reconfigurable Multi-GPU Inference Servers
KAIST(韩国科学技术院)
在云机器学习(ML)推理系统中,为最终用户提供低延迟至关重要。然而,最大限度地提高服务器利用率和系统吞吐量对于ML服务提供商来说也是至关重要的,因为它有助于降低总拥有成本。GPU经常因ML推理的使用而受到批评,因为其庞大的计算和内存吞吐量在低批量推理场景下难以充分利用。为了解决这种限制,NVIDIA最近发布的Ampere GPU架构提供了将一个大型单片GPU“重新配置”为多个较小的“GPU分区”的功能。这一特性为云机器学习服务提供商提供了利用可重配置GPU的能力,不仅可以进行大批量训练,还可以进行小批量推理,从而实现高资源利用率。在本文中,我们研究了这种新兴的GPU架构与可重构性,以开发一个高性能的多GPU ML推理服务器。我们的第一个命题是一个复杂的可重构GPU的分区算法,系统地确定一组异构的多粒度GPU分区,最适合推理服务器的部署。此外,我们共同设计了一个弹性调度算法,为我们的异构分区GPU服务器,有效地平衡低延迟和高GPU利用率。
2022-02-27 cs.AI cs.AR cs.DC
Characterizing Concurrency Mechanisms for NVIDIA GPUs under Deep Learning Workloads
Worcester Polytechnic Institute(伍斯特理工学院)
我们研究了NVIDIA新的Ampere GPU微架构在深度学习训练和推理工作负载下可用的并发机制的性能。与以前的研究,把GPU作为一个黑盒子,我们研究调度在微架构的水平。我们发现,缺乏细粒度的抢占机制,强大的任务优先级选项,竞争意识线程块放置策略限制了NVIDIA的并发机制的有效性。总之,深度学习工作负载的顺序性及其波动的资源需求和内核运行时,使得在当前NVIDIA硬件上执行此类工作负载,同时保持一致的高利用率和较低的可预测周转时间变得困难。
2021-10-01 cs.AR cs.DC cs.LG
MQFQ-Sticky: Fair Queueing For Serverless GPU Functions
本文提出MQFQ-Sticky,一种集成的公平排队与GPU内存管理方法,通过借鉴I/O调度原则在黑盒模式下为无服务器FaaS应用提供GPU加速,将函数延迟降低2至20倍。
2025-07-11 cs.DC cs.SY eess.SY
Resource Heterogeneity-Aware and Utilization-Enhanced Scheduling for Deep Learning Clusters
本文提出Hadar调度器,通过优化框架提升资源利用率,HadarE进一步通过并行训练提升集群资源利用率,实现深度学习模型训练时间缩短50%-80%并提升推理质量。
2025-05-21 cs.AI cs.DC cs.LG
Differentiate Quality of Experience Scheduling for Deep Learning Inferences with Docker Containers in the Cloud
随着大数据驱动的应用程序的普及,例如智能手机上的人脸识别和Google Ads的量身定制推荐,我们正在朝着比以往任何时候都更加智能的生活方式迈进。各种神经网络驱动的模型在其智能的后端运行,以实现对用户的快速响应。支持这些模型需要大量基于云的计算资源,例如,CPU和GPU。云计算提供商根据客户占用的资源量向他们收费。客户必须平衡预算和体验质量(例如,响应时间)。预算依赖于个体企业主,所需的体验质量(QoE)取决于不同应用的使用场景。例如,自动驾驶汽车需要实时响应,但解锁智能手机可以容忍延迟。然而,云提供商未能向其客户提供基于QoE的选项。在本文中,我们提出了DQoES,用于深度学习推理的差异化体验质量调度器。DQoES接受客户端对目标QoE的规范,并动态调整资源以接近其目标。通过大量基于云的实验,DQoES表明,它可以针对各种QoE调度多个并发作业,并且与现有系统相比,可以实现高达8倍的满意度模型
2022-09-22 cs.DC cs.PF
An energy-efficient scheduling algorithm for shared facility supercomputer centers
高性能计算的发展与能源消耗的增长有关。集群计算的性能(通过提高性能和使用的处理器、GPU和协处理器的数量来提高)。计算元件数量的增加导致能量消耗的显著增长。超级计算机中心(SCC)的电网限制正在推动向更节能的解决方案过渡。计算资源的升级通常是逐步完成的,即旧超级计算机的部分被从服务中删除,并被新的超级计算机取代。单个SCC在任何时候都可以操作具有不同性能和功耗的多个计算系统。这就是为什么在SCC资源上调度并行程序执行以优化能耗并最小化执行时间的增加(节能调度)的问题是重要的。所提出的工作的目标是在SCC调度计算资源的一个新的节能算法的发展。为了达到这一目标,作者分析了在共享设施中调度计算资源的方法,包括能量消耗最小化方法。该研究使得有可能制定一组CC的节能调度问题,并提出了一种算法,其解决方案。NPB基准测试的实验允许实现显着降低能耗与运行时间的小幅增加。
2021-11-17 cs.DC
C-SAW: A Framework for Graph Sampling and Random Walk on GPUs
许多应用需要学习、挖掘、分析和可视化大规模图形。这些图通常太大而不能使用传统的图处理技术有效地处理。许多应用程序都需要分析,转换,可视化和学习大规模的图形。这些图通常太大而不能使用传统的图处理技术有效地处理。最近的文献表明,图采样/随机游走可能是一个有效的解决方案。在本文中,我们提出,据我们所知,第一个基于GPU的框架图采样/随机游走。首先,我们的框架提供了一个通用的API,允许用户轻松实现各种采样和随机游走算法。其次,将该框架卸载到GPU上,我们引入了以扭曲为中心的并行选择,并对碰撞迁移进行了两次优化。第三,为了支持超过GPU内存容量的图形,我们为内存不足采样引入了有效的数据传输优化,例如工作负载感知调度和批量多实例采样。总的来说,我们的框架不断超越最先进的项目。首先,我们的框架提供了一个通用的API,允许用户轻松实现各种采样和随机游走算法。其次,卸载这个框架上的GPU,我们引入了以扭曲为中心的并行选择,和两个新的优化碰撞迁移。第三,为了支持超过GPU内存容量的图形,我们为内存不足和多GPU采样引入了有效的数据传输优化,例如工作负载感知调度和批量多实例采样。总的来说,我们的框架除了支持广泛的采样和随机游走算法的能力外,还不断超越最先进的项目。
2020-09-18 cs.DC
Prediction-Assisted Online Distributed Deep Learning Workload Scheduling in GPU Clusters
The Ohio State University(俄亥俄州立大学);Cisco Research(思科研究中心)
针对GPU集群中混合并行分布式深度学习训练的高效调度需求,提出结合随机森林迭代预测的A-SRPT算法,通过将问题映射为单机最优调度实例实现理论高效的作业分配,经实验验证了有效性。
2025-01-09 cs.DC cs.LG
Comparative Performance Analysis of Intel Xeon Phi, GPU, and CPU
我们调查和表征一类重要的GPU和许多集成核心(MIC)架构上的操作的性能。我们的工作是由应用程序,分析低维的空间数据集捕获的高分辨率传感器,如图像数据集从整个幻灯片组织标本使用显微图像扫描仪。我们确定了对象分割和特征计算类别中的操作的数据访问和计算模式。我们系统地实现和评估这些核心操作的性能在现代CPU,GPU和MIC系统的显微图像分析应用程序。我们的研究结果表明:(1)数据访问模式和操作所采用的并行化策略强烈影响其性能。虽然执行常规数据访问的操作的MIC上的性能与GPU上的性能相当或有时更好;(2)对于不规则访问数据的操作和算法,GPU比MIC更有效。这是由于后者在随机数据访问方面性能较低的结果;(3)使用性能感知任务调度策略在MIC和CPU上充分协调执行,比先来先服务策略提高了约1.29倍。示例应用程序在192个节点(3072个CPU内核和192个MIC)的执行中获得了84%的效率。
2013-11-02 cs.DC cs.PF
Managing Multi Instance GPUs for High Throughput and Energy Savings
针对现代GPU(如A100、H100)芯片分区复杂约束问题,提出动态内存估计、分区融合/裂变及进程重启等方案,提升通用、ML及LLM工作负载的吞吐量与节能效果,通用工作负载吞吐量提升达6.20倍、能耗降低达5.93倍。
2025-08-25 cs.DC
Concurrent Scheduling of High-Level Parallel Programs on Multi-GPU Systems
本文提出指令图这一低级中间表示,将SYCL分布式程序中的内存管理、数据传输、MPI通信与内核调用的调度分析移出关键路径,并在Celerity运行时中实现并发调度与内存分配优化,在多达128个GPU上验证了强扩展性能。
2025-03-13 cs.DC
Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers
University of California Merced(加州大学默塞德分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
受极端多标签分类应用的启发,我们考虑在多GPU服务器中的稀疏数据上训练深度学习模型。训练批次中非零特征数量的变化和固有的GPU异构性结合起来限制了准确性并增加了收敛时间。我们使用自适应SGD来解决这些挑战,自适应SGD是一种用于异构多GPU的自适应弹性模型平均随机梯度下降算法,其特征在于动态调度,自适应批量大小缩放和归一化模型合并。不是静态地将批划分到GPU,而是基于相对处理速度来路由批。批量大小缩放将较大的批量分配给速度较快的GPU,较小的批量分配给速度较慢的GPU,目标是达到一个稳定状态,在这个状态下,所有GPU执行相同数量的模型更新。归一化模型合并基于分配的批次为每个GPU计算最佳权重,使得组合的模型实现更好的准确性。我们的实验表明,自适应SGD在时间准确性方面优于四种最先进的解决方案,并且可以随GPU数量的增加而扩展。
2021-10-13 cs.DC cs.LG