Technical Report: A Trace-Based Performance Study of Autoscaling Workloads of Workflows in Datacenters
为了改善客户体验，数据中心运营商提供了简化应用程序和资源管理的支持。例如，代表客户运行工作流的工作负载是期望的，但是需要越来越复杂的自动缩放策略，即，为客户动态供应资源的策略。虽然选择和调整自动缩放策略对于数据中心运营商来说是一项具有挑战性的任务，但到目前为止，相对较少的研究调查了工作流工作负载的自动缩放性能。补充以前的知识，在这项工作中，我们提出了该领域的第一个全面的性能研究。使用基于跟踪的模拟，我们比较了多个应用程序域中最先进的自动缩放策略、工作负载到达模式（例如，突发性）和系统利用水平。我们进一步研究了自动缩放和常规分配策略之间的相互作用，以及自动缩放的复杂性成本。我们的定量研究不仅关注传统的性能指标和最先进的弹性指标，而且还关注与时间和内存相关的自动缩放复杂性指标。我们的主要研究结果提供了关于以前未报告的操作行为的强有力的定量证据，例如，自动缩放策略在应用程序域中的执行方式不同，以及它们之间的差异有多大。
2017-11-24 cs.DC
OpenG2G: A Simulation Platform for AI Datacenter-Grid Runtime Coordination
University of Michigan（密歇根大学）
本文提出OpenG2G平台，用于研究AI数据中心与电网的协调策略，通过模拟不同控制方法评估AI模型对数据中心灵活性的影响。
2026-05-06 cs.DC cs.LG
Carbon Responder: Coordinating Demand Response for the Datacenter Fleet
针对数据中心碳足迹问题，提出Carbon Responder框架，通过性能感知的功率分配协调需响应，实现碳足迹约2倍削减并公平分配性能损失。
2023-11-14 cs.AR cs.DC
The MIT Supercloud Workload Classification Challenge
MIT（麻省理工学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Northeastern University（东北大学）；US Air Force（美国空军）
高性能计算（HPC）中心和云提供商在异构硬件上支持越来越多样化的应用程序。随着人工智能（AI）和机器学习（ML）工作负载在计算工作负载中的份额越来越大，需要新的方法来优化资源使用、分配和部署新的AI框架。通过识别计算工作负载及其利用率特征，HPC系统可以更好地将可用资源与应用需求相匹配。通过利用数据中心仪器，可以开发基于AI的方法，可以识别工作负载并向研究人员和数据中心运营商提供反馈，以提高运营效率。为了实现这项研究，我们发布了MIT Supercloud Dataset，它提供了来自MIT Supercloud集群的详细监控日志。此数据集包括作业的CPU和GPU使用率、内存使用率和文件系统日志。在本文中，我们提出了一个基于此数据集的工作负载分类挑战。我们介绍了一个标记的数据集，可用于开发新的方法来工作量分类和现有的方法的基础上提出的初步结果。该挑战的目标是促进计算工作负载分析中的算法创新，可以实现比现有方法更高的准确性。数据和代码将通过数据中心挑战网站https://dcc.mit.edu公开提供。
2022-04-13 cs.DC cs.LG
Datacenter Energy Optimized Power Profiles
Nvidia（英伟达）
本文提出了一种基于Blackwell B200的新型数据中心功率配置，通过智能电源管理和领域知识优化HPC和AI工作负载，实现能耗降低和吞吐量提升。
2025-12-05 cs.DC
DxPU: Large Scale Disaggregated GPU Pools in the Datacenter
针对云端GPU固定组装效率低、现有解聚系统存在缺陷的问题，提出数据中心规模GPU解聚方案DxPU，构建AI负载性能模型并部署原型，多数场景下开销低于10%。
2023-10-07 cs.DC
Towards QoS-Aware and Resource-Efficient GPU Microservices Based on Spatial Multitasking GPUs In Datacenters
虽然先前的研究集中在基于CPU的微服务上，但由于不同的竞争模式，它们不适用于基于GPU的微服务。在保证GPU微服务QoS的同时优化资源利用率是一项具有挑战性的工作。我们发现，开销是由微服务间通信，GPU资源争用和微服务管道内不平衡的吞吐量引起的。我们提出了Camelot，一个运行时系统，管理GPU micorservices考虑到上述因素。在Camelot中，基于内存的全局通信机制实现了现场数据共享，大大减少了用户查询的端到端延迟。我们还提出了两个竞争意识的资源分配政策，要么最大限度地提高峰值支持的服务负载或最小化的资源使用在低负载，同时确保所需的QoS。这两种策略在为微服务分配资源时考虑了微服务管道效应和运行时GPU资源争用。与最先进的工作相比，Camelot在有限的GPU下将支持的峰值负载提高了64.5%，并在低负载下减少了35%的资源使用，同时实现了所需的99%-ile延迟目标。
2020-05-05 cs.DC
Generic and ML Workloads in an HPC Datacenter: Node Energy, Job Failures, and Node-Job Analysis
本研究基于国家级HPC数据中心的长期运行数据，对比分析ML与通用作业对数据中心性能、故障、能耗等的影响，得出多项关键结论并开源数据与工具，助力运维优化与系统研究。
2024-09-13 cs.AR cs.DC
Power- and Fragmentation-aware Online Scheduling for GPU Datacenters
Istituto di Scienza e Tecnologie dell’Informazione "Alessandro Faedo", Consiglio Nazionale delle Ricerche（阿莱索·法多信息科学与技术研究所，意大利国家研究委员会）
针对GPU数据中心在线调度问题，提出PWR调度策略，结合碎片梯度下降（FGD）方法，在降低功耗和最小化GPU碎片之间取得平衡。
2026-10-26 cs.AI cs.DC
Coordinated Cooling and Compute Management for AI Datacenters
University of Alberta（阿尔伯塔大学）
本文提出了一种协调冷却与计算管理的方法，以提高AI数据中心的能效并减少碳排放。
2026-01-13 cs.DC cs.SY eess.SY
Interference and Need Aware Workload Colocation in Hyperscale Datacenters
由于服务所有者和平台提供商的目标冲突，数据中心遭受资源利用效率低下的困扰。打算为自己维护服务水平目标（SLO）的服务所有者通常会要求保守的资源量。平台提供商希望提高运营效率，以降低资本和运营成本。由于服务工作负载特征的多样性、取决于输入负载的资源使用模式、平台、内存、I/O和网络架构的异构性以及资源捆绑，同时实现单个服务的运营效率和SLO具有挑战性。本文提出了一种可调的资源分配方法，它同时考虑了动态服务资源需求和平台异构性。此外，一个在线的K-Means为基础的服务分类方法与离线的敏感性组件一起使用。我们的可调方法允许基于服务所有者对其SLO的敏感度来交易资源利用效率以获得绝对SLO保证。我们评估我们的可调资源分配器在私有云环境中的大规模延迟关键工作负载。在调整运营效率时，我们证明所需机器减少了约50%;总拥有成本（TCO）减少了约40%; CPU和内存碎片减少了约60%，但代价是与基线相比，SLO性能下降的任务数量增加了约25%。在调整SLO时，通过引入干扰感知的托管，我们可以调整求解器，以减少与基线相比最多约22%的SLO降级任务，但在主机数量方面额外增加约30%的成本。我们强调TCO和SLO违规之间的权衡，并根据平台所有者的要求提供调优。
2022-07-25 cs.DC
Methods and Metrics for Fair Server Assessment under Real-Time Financial Workloads
能源效率一直是企业面临的一个严峻挑战。金融业经营着世界上一些最大的金融中心。随着能源成本的增加和金融服务行业的增长，新兴的金融分析工作负载可能会产生极高的运营成本，以满足其延迟目标。微服务器最近已经成为高端服务器的替代品，通过横向扩展，有望在数据中心实现可扩展的性能和低能耗。不幸的是，架构特征、形状因子和设计考虑方面的明显差异使得服务器和微服务器之间的公平比较异常具有挑战性。在本文中，我们提出了一个严格的方法和新的指标，公平比较服务器和微服务器平台。我们部署了我们的方法和指标来比较一个带有ARM内核的微服务器和两个带有x86内核的服务器，运行相同的实时的【形】财务分析工作负载。我们定义了特定于工作负载但独立于平台的性能指标，用于平台比较，目标是数据中心运营商和最终用户。我们的方法确定了基于Xeon Phi处理器的服务器可提供最高的性能和能效。然而，通过扩展节能微服务器，我们实现了竞争力或更好的能源效率比一个功率等效的服务器与两个桑迪桥插槽，尽管微服务器的核心速度较慢。使用一个新的iso-QoS（iso-服务质量）度量，我们发现，ARM微服务器的规模足以满足市场的吞吐量需求，即100%的QoS方面的及时选项定价，与少至55%的能量消耗的Sandy Bridge服务器。
2014-12-30 cs.DC
Characterization of Large Language Model Development in the Datacenter
Shanghai AI Laboratory（上海人工智能实验室）；Peking University（北京大学）；NTU（南洋理工大学）；Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；CUHK（香港中文大学）
本文基于 Acme GPU 数据中心六个月的 LLM 开发轨迹，分析其与传统 DL 工作负载的差异、资源利用及故障影响，并提出容错预训练与评估解耦调度两项系统优化。
2024-04-03 cs.DC cs.LG
CloudCoaster: Transient-aware Bursty Datacenter Workload Scheduling
今天的集群往往不得不在各种不同的工作之间分配资源。这些作业在执行时间和到达率上都是异构的。执行时间的异质性导致了混合调度器的发展，它可以调度短作业和长作业，以确保良好的任务布局。然而，到达速率异质性或突发性仍然是现有分组交换机中的一个问题。这些混合型集群管理静态配置的集群上的资源，这些资源可能很快被到达的作业数量的激增所淹没。在本文中，我们提出了CloudCoaster，一个混合调度器，动态调整集群的大小，利用廉价的瞬态服务器。CloudCoaster以智能方式安排作业，提高作业性能，同时降低总体资源成本。我们评估CloudCoaster的有效性，通过模拟现实世界的痕迹，并将其与最先进的混合调度。CloudCoaster将短作业的平均延迟时间提高了4.8倍，同时保持长作业性能。此外，CloudCoaster将短分区预算减少了29.5%以上。
2019-07-03 cs.DC cs.PF
Carbon-Aware Computing for Datacenters
电网上每千瓦时排放的CO $_2$量随时间变化，并且由于发电类型而随位置变化很大。仓库规模计算机的网络集合，有时称为超大规模计算，如果不考虑碳强度的这些变化，则会排放比所需更多的碳。本文介绍了谷歌的碳智能计算管理系统，该系统通过延迟临时灵活的工作负载，积极地最大限度地减少基于电力的碳足迹和电力基础设施成本。该系统的核心组件是一套分析管道，用于收集第二天的碳强度预测，训练前一天的需求预测模型，并使用风险感知优化为Google车队中的所有数据中心集群生成第二天的碳感知虚拟容量曲线（VCC）。VCC对时间灵活的工作负载的可用资源施加了小时限制，同时保留了整体的日容量，使所有此类工作负载都能在一天内完成。运行数据显示，当电网的能源供应组合是碳密集型时，VCC有效地限制了每小时的容量，并将时间灵活的工作负载的执行延迟到“更环保”的时间。
2021-06-11 cs.DC cs.SY eess.SY
Serving Compound Inference Systems on Datacenter GPUs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
JigsawServe通过自适应模型选择和GPU空间划分，高效优化复合推理系统的延迟、准确率和成本
2026-03-09 cs.DC
Hybrid Computing for Interactive Datacenter Applications
针对FPGA启动成本高导致难以处理延迟敏感和突发工作负载的问题，提出混合FPGA-CPU计算框架及轻量级调度器Spork，利用FPGA处理稳定负载、CPU处理突发负载，实现比同构平台更高的能效和更低的成本。
2023-04-10 cs.DC
Prediction-Based Power Oversubscription in Cloud Platforms
数据中心设计人员依靠对IT设备功耗的保守估计来配置资源。这使得资源未得到充分利用，需要建立更多的数据中心。以前的工作使用功率封顶来削减罕见的功率峰值，并向数据中心添加更多的服务器，从而超额订阅其资源并降低资本成本。当工作负载和它们的服务器位置已知时，这很有效。不幸的是，这些因素在公共云中是未知的，迫使提供商限制超额订阅，以便性能永远不会受到影响。在本文中，我们认为，供应商可以使用预测的工作负载性能的关键性和虚拟机（VM）资源利用率，以增加超额认购。这带来了许多挑战，例如从黑盒虚拟机中识别性能关键型工作负载，创建对关键感知电源管理的支持，以及在限制上限影响的同时增加超额订阅。我们为Microsoft Azure的硬件和软件基础架构解决这些挑战。结果表明，我们能够在对关键工作负载影响最小的情况下将超额订阅增加2倍。
2020-10-29 cs.DC
Carbon Explorer: A Holistic Approach for Designing Carbon Aware Datacenters
科技公司一直在引领可再生能源转型，通过投资可再生能源来减少其制造商的碳足迹。除了帮助建立新的太阳能和风力发电场，公司还签订电力购买协议或购买碳抵消，而不是每天每时每刻都依赖可再生能源。由于风能和太阳能的间歇性，24/7依赖可再生能源具有挑战性。太阳能和风能生产的内在变化导致不同时间的供应过剩或短缺。为了应对可再生能源发电的波动，必须采用多种解决方案。这些包括：太阳能和风能混合的容量调整，能源存储选项以及碳意识工作负载调度。但是，根据地区和数据中心工作负载的特点，碳优化解决方案会有所不同。在这个领域的现有工作并没有给出一个整体的观点权衡每个解决方案，往往忽略了解决方案的具体碳成本。在这项工作中，我们提供了一个框架，碳资源管理器，通过考虑解决方案的运营和维护足迹来分析多维解决方案空间，以帮助企业全天候使用可再生能源。我们分析的解决方案包括太阳能和风能的混合容量调整，电池存储和碳意识工作负载调度，这需要将工作负载从缺乏可再生能源供应的时候转移到供应充足的时候。
2023-02-22 cs.DC cs.SY eess.SY
Job Scheduling in Datacenters using Constraint Controlled RL
University of Virginia（弗吉尼亚大学）
研究了绿色制造企业的在线作业调度模型。在绿色能源中心，资源可用性取决于可再生能源的电力供应。来自可再生能源的间歇性电力供应导致间歇性的资源可用性，导致工作延迟（和相关成本）。绿色数据中心运营商必须智能地管理其工作负载和可用电源，以获得最大的效益。调度器的目标是在一组资源上调度作业，以最大化总价值（收入），同时最小化总体作业延迟。在一方面实现高工作价值和另一方面实现低预期延迟之间存在权衡。因此，实现高回报和低成本的目标是对立的。此外，数据中心运营商通常优先考虑多个目标，包括高系统利用率和作业完成率。为了实现作业总价值最大化和作业延迟最小化这两个对立的目标，将深度强化学习中的比例积分微分（PID）拉格朗日方法应用于绿色数据中心环境下的作业调度问题。拉格朗日方法是求解约束优化问题的常用算法。我们采用控制的角度来学习比例，积分和微分控制的拉格朗日乘子，实现良好的学习动态。反馈控制为学习代理定义成本项，在训练期间监视成本限制，并且连续地调整学习参数以实现稳定的性能。我们的实验表明，改进的性能相比，没有PID拉格朗日方法的调度策略。实验结果表明了约束控制强化学习（CoCoRL）调度器同时满足多个目标的有效性。
2022-11-10 cs.DC cs.LG
MemExchange: Utility-Driven Distributed Memory Reallocation for Multi-Tenant Datacenters
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Microsoft（微软）
研究云环境下内存管理问题，提出MemExchange系统，利用基于在线未命中率曲线估计的边际效用分配，通过RDMA重新分配空闲内存，设计MTC协议支持远程访问，经实验验证其能降低远程访问开销、提高内存利用率并降低租户未命中率。
2026-07-15 cs.DC
POLCA: Power Oversubscription in LLM Cloud Providers
University of Washington（华盛顿大学）；Microsoft（微软）；Microsoft Azure（微软Azure）
针对LLM云数据中心功率瓶颈问题，提出稳健可靠的POLCA功率超额订阅框架，可在推理集群中多部署30%服务器且性能损失极小，提升数据中心功率效率与部署速度。
2023-08-24 cs.AR cs.DC cs.LG
DataCenterGym: A Physics-Grounded Simulator for Multi-Objective Data Center Scheduling
Department of Information Systems, University of Maryland, Baltimore County（信息系统系，马里兰大学巴尔的摩县分校）
本文提出DataCenterGym仿真环境，整合计算队列、建筑热动态等模块，开发H-MPC算法提升调度性能。
2026-04-17 cs.AI cs.DC
Static Batching of Irregular Workloads on GPUs: Framework and Application to Efficient MoE Model Inference
Alibaba Group（阿里巴巴集团）
针对GPU上不规则工作负载难以安排和执行的问题，提出将其静态批处理为单kernel的通用框架，并应用于MoE模型推理，实现的CUDA kernel在H800和H20 GPU上分别达到91%和95%的峰值Tensor Core吞吐量。
2025-01-27 cs.DC cs.LG
ParallelKittens: Systematic and Practical Simplification of Multi-GPU AI Kernels
针对模型规模扩大导致GPU间通信成为AI工作负载瓶颈、现有系统无法跨异构工作负载和新加速器达到理论峰值性能的问题，提出极简CUDA框架ParallelKittens，通过少量可复用原则简化重叠多GPU内核开发，在多种并行工作负载上实现显著加速。
2025-11-17 cs.DC cs.LG
FissionReady: Joint Workload and Power Scheduling for Data Centers Powered by Small Modular Reactors
IIT Tirupati（蒂鲁帕蒂印度理工学院）；University of Utah（犹他大学）；Northeastern University（东北大学）
FissionReady是一种面向SMR供电数据中心的调度器，通过跟踪燃料年龄和氙状态确定运行包络，并采用双时间尺度优化协调负荷跟踪与电网购电，实现零停堆和零截止时间错过，同时大幅降低水耗和电网成本。
2026-10-01 cs.DC
FlashMem: Supporting Modern DNN Workloads on Mobile with GPU Memory Hierarchy Optimizations
University of Georgia（佐治亚大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
FlashMem通过GPU内存层次优化，实现移动设备上大规模DNN和多DNN工作的高效执行。
2026-02-17 cs.DC cs.LG
Characterizing Concurrency Mechanisms for NVIDIA GPUs under Deep Learning Workloads
Worcester Polytechnic Institute（伍斯特理工学院）
我们研究了NVIDIA新的Ampere GPU微架构在深度学习训练和推理工作负载下可用的并发机制的性能。与以前的研究，把GPU作为一个黑盒子，我们研究调度在微架构的水平。我们发现，缺乏细粒度的抢占机制，强大的任务优先级选项，竞争意识线程块放置策略限制了NVIDIA的并发机制的有效性。总之，深度学习工作负载的顺序性及其波动的资源需求和内核运行时，使得在当前NVIDIA硬件上执行此类工作负载，同时保持一致的高利用率和较低的可预测周转时间变得困难。
2021-10-01 cs.AR cs.DC cs.LG
CompPow: A Case for Component-level GPU Power Management
Advanced Micro Devices, Inc.（超威半导体公司）
本文针对现代GPU内部的电源消耗问题，提出CompPow组件级电源管理方法，通过改进电源管理提升能效和性能。
2026-05-21 cs.AR cs.DC
A Novel IaaS Tax Model as Leverage Towards Green Cloud Computing
针对云数据中心能耗增长问题，提出GreenCloud tax税收模型，通过奖惩机制引导工作负载向高能效数据中心转移，并用CloudSim结合SPEC真实数据集验证了方案可行性。
2025-09-02 cs.CY cs.DC
COMPASS-ABS: Reducing Fragmentation in Shared GPU Clusters for Deep Learning Training Workloads
针对共享GPU集群资源碎片化问题，提出基于部分节点度量的SIF指标和COMPASS-ABS调度算法，通过锚点空间限制集群状态，在理论与生产条件下保证SIF有界，实验验证能提高利用率并缩短作业完成时间。
2026-09-17 cs.DC cs.LG
ViBE: Co-Optimizing Workload Skew and Hardware Variability for MoE Serving
Georgia Institute of Technology（佐治亚理工学院）；Advanced Micro Devices, Inc.（先进微器件公司）
提出ViBE框架，通过感知硬件的专家放置方法，结合GPU性能建模与专家激活分析，最小化分布式MoE推理中的执行时间不平衡，显著提升SLO达标率并降低P90 TTFT。
2026-05-30 cs.DC cs.LG
MuxFlow: Efficient and Safe GPU Sharing in Large-Scale Production Deep Learning Clusters
大规模GPU集群被广泛用于加速延迟关键型（在线）和尽力而为型（离线）深度学习（DL）工作负载。然而，大多数DL集群要么将每个GPU专用于一个工作负载，要么及时共享工作负载，导致GPU资源利用率非常低。我们提出了MuxFlow，第一个生产集群系统，支持DL工作负载的高效和安全的空间共享。NVIDIA MPS提供了在广泛部署的NVIDIA GPU上共享空间中的多个工作负载的机会，但它无法保证在线工作负载的性能和安全性。MuxFlow为内存和计算引入了两级保护机制，以保证在线工作负载的性能。基于我们的实际错误分析，我们设计了一个混合的错误处理机制，以保证在线工作负载的安全性。MuxFlow进一步提出了动态流式多处理器（SM）分配和基于匹配的调度，以提高离线工作负载的效率。MuxFlow已经部署在CompanyX的集群中，拥有超过20，000个GPU。部署结果表明，MuxFlow将GPU利用率从26 $\%$大幅提高到76 $\%$，SM活动从16 $\%$提高到33 $\%$，GPU内存从42 $\%$提高到48 $\%$。
2023-03-24 cs.DC
Adaptive, Efficient and Fair Resource Allocation in Cloud Datacenters leveraging Weighted A3C Deep Reinforcement Learning
针对云数据中心动态工作负载下资源分配的公平性差、延迟高和能耗高等问题，提出加权 Actor-Critic 深度强化学习（WA3C）方法，通过多目标奖励结构和优先级感知优势估计器优化调度，实验证明其在大规模云系统中优于传统与强化学习基线。
2025-06-01 cs.DC
Optimal Workload Placement on Multi-Instance GPUs
针对支持MIG分区的GPU，本文研究LLM推理工作负载的最优放置与迁移，提出优化方法和启发式方法，显著减少GPU使用数量及资源浪费。
2024-09-10 cs.DC
Analysis of Large-Scale Multi-Tenant GPU Clusters for DNN Training Workloads
随着机器学习的广泛发展，许多大型企业开始在许多产品中纳入机器学习模型。这些模型通常在共享的多租户GPU集群上进行训练。与现有的集群计算工作负载类似，调度框架旨在提供高效率，资源隔离，跨用户公平共享等功能。然而，基于深度神经网络（DNN）的工作负载主要在GPU上训练，与传统的大数据分析工作负载有两个显著的不同。首先，从集群利用率的角度来看，GPU代表了一个单一的资源，不能在用户之间以细粒度共享。第二，从工作负载的角度来看，深度学习框架需要群体调度，这降低了调度的灵活性，并使作业本身对运行时的故障缺乏弹性。在本文中，我们提出了一个详细的工作负载特性的两个月长的跟踪从一个大型企业的多租户GPU集群。通过将调度器日志与来自单个作业的日志相关联，我们研究了影响多租户集群上DNN训练工作负载的集群利用率的三个不同问题：（1）组调度和局部性约束对排队的影响，（2）局部性对GPU利用率的影响，以及（3）训练期间的故障。根据我们运行大规模操作的经验，我们提供了与DNN训练工作负载的下一代集群集群路由器相关的设计指南。
2019-08-08 cs.DC
RARE: Renewable Energy Aware Resource Management in Datacenters
University of Virginia（弗吉尼亚大学）；Lancium Compute（兰cium计算公司）
对数字服务的需求呈指数级增长，导致数据中心大量能耗和负面环境影响。推动可持续解决方案以应对紧迫的能源和数字基础设施挑战至关重要。几家超大规模云提供商已经宣布计划使用可再生能源为其云计算中心供电。然而，将可再生能源整合到发电中心是一项挑战，因为发电是间歇性的，需要采取措施来解决电力供应的变化。手工设计特定于领域的基于机器人的机器人以满足这种复杂的动态绿色数据中心环境中的特定目标函数是耗时的、昂贵的，并且需要领域专家进行大量的调整。绿色能源企业需要智能系统和系统软件，通过智能地使计算适应可再生能源发电，来利用多种可再生能源（风能和太阳能）。我们提出了RARE（可再生能源感知资源管理），一个深度强化学习（DRL）作业调度器，自动学习有效的作业调度策略，同时不断适应供应商的复杂动态环境。由此产生的DRL调度器的性能优于启发式调度策略与不同的工作负载，并适应间歇性供电的可再生能源。我们演示了DRL调度器系统的设计参数，正确调整时，产生更好的性能。最后，我们证明了DRL调度程序可以学习和改进现有的启发式策略，使用离线学习。
2022-11-10 cs.AI cs.DC
DALI: A Workload-Aware Offloading Framework for Efficient MoE Inference on Local PCs
Institute of Automation, CAS（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；Shanghai Jiao Tong University（上海交通大学）；AiRiA
DALI通过动态分配和残差预取技术，提升本地PC上MoE推理效率，实现显著加速。
2026-02-03 cs.DC cs.LG
Workload-aware Automatic Parallelization for Multi-GPU DNN Training
深度神经网络（DNN）已经成为各种人工智能应用的成功解决方案，但其非常大且深度的模型在训练期间对计算要求很高。多GPU并行化是DNN训练中加速高要求计算的一种流行选择，但大多数最先进的多GPU深度学习框架不仅要求用户深入了解框架本身的实现，而且还要求用户在不优化GPU利用率的情况下直接应用并行化。在这项工作中，我们提出了一个用于DNN训练的工作负载感知自动并行化框架（WAP），其中工作根据工作负载特性自动分配到多个GPU。我们使用流行的DNN基准测试（AlexNet和VGG-16）使用TensorFlow评估WAP，并与最先进的框架相比显示出具有竞争力的训练吞吐量，并证明WAP可以根据工作负载的计算要求自动优化GPU分配，从而提高能源效率。
2019-02-07 cs.DC
Hybrid Learning and Optimization-Based Dynamic Scheduling for DL Workloads on Heterogeneous GPU Clusters
Kuwait University, Kuwait（科威特大学）；Northwestern Polytechnical University, China（西北工业大学）
RLTune通过强化学习与优化方法实现异构GPU集群上深度学习工作负载的高效动态调度，提升资源利用率并减少延迟。
2025-12-11 cs.AI cs.DC cs.LG
Online Evolutionary Batch Size Orchestration for Scheduling Deep Learning Workloads in GPU Clusters
National University of Singapore（新加坡国立大学）；ByteDance（字节跳动）
高效的GPU资源调度对于最大限度地提高资源利用率和节省训练成本至关重要，因为共享GPU集群中的深度学习工作负载量不断增加。现有的GPU处理器在很大程度上依赖于静态策略来利用深度学习作业的性能特征。然而，由于缺乏弹性，它们很难达到最佳效率。为了解决这个问题，我们提出了ONES，一个在线进化的弹性批量编排。ONES根据训练批量大小自动管理每个作业的弹性，从而最大化GPU利用率，提高调度效率。它通过在线进化搜索确定每个作业的批量大小，可以不断优化调度决策。我们评估的有效性与64 GPU的TACC的长角超级计算机上的ONES。结果表明，ONES可以以显著更短的平均作业完成时间胜过之前的深度学习算法。
2021-08-08 cs.AI cs.DC cs.LG
PRISM: Dynamic Primitive-Based Forecasting for Large-Scale GPU Cluster Workloads
Southwest Jiaotong University（西南交通大学）；Engineering Research Center of Sustainable Urban Intelligent Transportation（可持续城市智能交通工程研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
PRISM通过结合字典驱动的时间分解与自适应频谱细化，为大规模GPU集群提供动态预测，显著减少突发阶段误差，提升AI平台资源管理效率。
2026-03-26 cs.DC
Prediction-Assisted Online Distributed Deep Learning Workload Scheduling in GPU Clusters
The Ohio State University（俄亥俄州立大学）；Cisco Research（思科研究中心）
针对GPU集群中混合并行分布式深度学习训练的高效调度需求，提出结合随机森林迭代预测的A-SRPT算法，通过将问题映射为单机最优调度实例实现理论高效的作业分配，经实验验证了有效性。
2025-01-09 cs.DC cs.LG
Dynamic GPU Energy Optimization for Machine Learning Training Workloads
Harbin Institute of Technology（哈尔滨工业大学）；University of Leeds（利兹大学）
GPU被广泛用于加速机器学习工作负载的训练。随着现代机器学习模型变得越来越大，它们需要更长的训练时间，导致更高的GPU能耗。本文介绍了GPOEO，这是一个用于机器学习训练工作负载的在线GPU能量优化框架。GPOEO通过采用在线测量、多目标预测建模和搜索优化的新技术动态地确定最优能量配置。为了表征目标工作负载行为，GPOEO使用GPU性能计数器。为了减少性能计数器分析开销，它使用分析模型来检测训练迭代更改，并且仅在检测到迭代偏移时收集性能计数器数据。GPOEO采用基于梯度提升和局部搜索算法的多目标模型，以找到执行时间和能耗之间的权衡。我们通过将GPOEO应用于在NVIDIA RTX3080Ti GPU上运行的两个AI基准套件的71个机器学习工作负载来评估GPOEO。与NVIDIA默认调度策略相比，GPOEO平均节能16.2%，平均执行时间增加5.1%。
2022-01-05 cs.AI cs.DC cs.LG
An Analysis of Collocation on GPUs for Deep Learning Training
IT University of Copenhagen（哥本哈根信息技术大学）
本文在 A100 上对比 MIG、MPS 与多进程协同定位，分析不同模型组合下的深度学习训练性能，发现 MPS 对单用户最灵活高效。
2023-04-24 cs.DC cs.LG
TENSILE: A Tensor granularity dynamic GPU memory scheduling method toward multiple dynamic workloads system
最近，深度学习一直是一个激烈的研究领域。然而，作为一种计算密集型任务，深度学习高度依赖于GPU内存的规模，这通常是令人望而却步的和稀缺的。尽管已经提出了一些针对动态GPU存储管理的广泛工作，但是它们难以应用于具有多个动态工作负载的系统，例如数据库内机器学习系统。在本文中，我们展示了TENSILE，一种在张量粒度下管理GPU内存的方法，以降低GPU内存峰值，考虑到多个动态工作负载。TENSILE解决了以往工作中存在的冷启动和跨迭代调度问题。我们在自己构建的深度学习框架上实现了Tensile，并对其性能进行了评估。实验结果表明，在单负载和多负载的动态环境下，TENSILE算法能够以更少的额外开销节省更多的GPU内存。
2022-11-06 cs.AI cs.DB cs.DC
Empirical Analysis of GPU Frequency Behavior Under ML Workloads
University of Oslo（奥斯陆大学）；UiT The Arctic University of Norway（挪威北极大学）
研究英伟达GPU执行机器学习工作负载时频率缩放行为，发现低性能GPU频率受近期工作负载影响，挑战现有延迟预测假设，因GPU动态频率缩放引入内核间依赖，还给出利用此观察改进相关模型、策略及设计的方向。
2026-07-10 cs.DC
Themis: Fair and Efficient GPU Cluster Scheduling
现代分布式机器学习（ML）训练工作负载从利用GPU中受益匪浅。然而，当多个这样的工作负载在GPU的共享集群上运行时，会引起严重的争用。一个关键问题是如何在工作负载之间公平分配GPU。我们发现，由于ML工作负载的独特属性，已建立的集群调度规则不太适合：ML作业具有需要进行组调度的长时间运行的任务，并且它们的性能对任务的相对位置敏感。我们提出了Themis，这是一种用于ML训练工作负载的新调度框架。它的GPU分配策略强制ML工作负载以完成时公平的方式完成，这是我们引入的一个新概念。为了捕获放置敏感性并确保效率，Themis使用两级调度架构，其中ML工作负载对由中央仲裁器运行的拍卖中提供的可用资源进行竞标。我们的拍卖设计通过在短期内权衡效率和公平性，但从长期来看确保完成时间的公平性，将GPU分配给中标者。我们对生产跟踪的评估表明，Themis可以将公平性提高2.25倍以上，与最先进的集群相比，集群效率提高了5%到250%。
2019-10-29 cs.DC
CRIUgpu: Transparent Checkpointing of GPU-Accelerated Workloads
针对现有GPU检查点技术开销高、适配难的问题，本文提出基于新驱动功能的CRIUgpu方法，支持CUDA和ROCm应用，消除稳态开销并缩短恢复时间。
2025-02-23 cs.DC
ETCInfer: An Energy-efficient Thermal-aware Cooling-joint Scheduler for LLM Inference in AI Datacenters
The Hong Kong Polytechnic University（香港理工大学）；Hong Kong University of Science and Technology（香港科技大学）；University of Macau（澳门大学）；Wuhan University（武汉大学）
ETCInfer提出一种热感知冷却-计算联合调度器，通过设定点、频率和微批的联合优化，在保证热安全和SLO约束下，降低LLM推理作业能耗高达33.1%，并大幅减少GPU降频。
2026-09-15 cs.DC cs.PF cs.SY
DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
University of California, Berkeley（加州大学伯克利分校）
提出DriftSched框架，通过运行时反馈驱动的漂移补偿和自适应偏差校正，解决多租户LLM推理中令牌漂移导致的调度问题，在NVIDIA L4 GPU上实现平均38.8%的估计误差降低和42%的中位延迟改善。
2026-06-23 cs.DC cs.LG cs.PF
Characterizing Production GPU Workloads using System-wide Telemetry Data
University of Maryland（马里兰大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
通过分析Perlmutter超级计算机的GPU硬件计数器，研究了生产型GPU工作负载的分布特征，发现81%的作业为内存受限，且内存受限作业能耗更高。
2026-02-24 cs.DC
Capsule: Efficient Player Isolation for Datacenters
Huawei Technologies（华为技术有限公司）
本文提出Capsule机制，通过解耦玩家本地状态与全局状态实现隔离并最大化跨玩家资源共享，在数据中心中容纳多达2.25倍玩家且不降低用户体验。
2026-05-27 cs.DC cs.GR
An Online Fragmentation-Aware GPU Scheduler for Multi-Tenant MIG-based Clouds
Fondazione Bruno Kessler (FBK)（布鲁诺·克莱斯勒基金会）
本文提出了一种面向多租户MIG云的在线碎片感知GPU调度器，通过引入碎片度量指标和贪心算法，有效减少GPU碎片化，提高工作负载调度效率。
2025-11-24 cs.DC cs.NI
