Fine-Grained Scheduling for Containerized HPC Workloads in Kubernetes Clusters
容器化技术提供轻量级的操作系统级虚拟化，并通过以低性能开销和低维护和扩展工作量打包应用程序来实现可移植性、可重复性和灵活性。此外，容器编排（例如，Kubernetes）在云中被广泛用于管理运行许多容器化应用程序的大型集群。然而，考虑容器化高性能计算（HPC）工作负载的性能细微差别的调度策略尚未得到很好的探索。本文针对Kubernetes集群中的容器化HPC工作负载进行细粒度调度策略，特别关注根据应用程序配置文件将每个作业划分为合适的多容器部署。我们在不同的管理层（应用程序和基础设施）上实现我们的调度方案，这样每个组件都有自己的重点和算法，但仍然与其他组件协作。我们的研究结果表明，我们的细粒度调度策略优于基线和基线与CPU/内存亲和力启用的政策，减少整体响应时间的35%和19%，分别，也提高了34%和11%，分别。与其他类似的HPC云框架相比，它们还提供了更好的可用性和灵活性来指定HPC工作负载，同时由于其多层方法而提供了更好的调度效率。
2022-11-21 cs.DC
Singularity: Planet-Scale, Preemptive and Elastic Scheduling of AI Workloads
Microsoft（微软）
通过推动深度学习工作负载的高利用率来降低成本是云提供商的关键杠杆。我们介绍了Singularity，这是微软的全球分布式调度服务，用于高效可靠地执行深度学习训练和推理工作负载。Singularity的核心是一种新颖的工作负载感知调度器，可以透明地抢占和弹性地扩展深度学习工作负载，以提高利用率，而不会影响其正确性或性能，跨全球人工智能加速器（例如，GPU、FPGA）。默认情况下，Singularity中的所有作业都是可抢占的，可迁移的，并且可以动态调整大小（弹性）：实时作业可以动态和透明地（a）抢占并迁移到不同的节点，集群，数据中心或区域集合，并从执行被抢占的点恢复，以及（b）调整大小（即，弹性地按比例放大/缩小）。我们的机制是透明的，因为它们不需要用户对其代码进行任何更改，也不需要使用任何可能限制灵活性的自定义库。此外，我们的方法显著提高了深度学习工作负载的可靠性。我们表明，由此产生的效率和可靠性增益与奇异性的稳态性能的影响可以忽略不计。最后，我们的设计方法与DNN架构无关，并处理各种并行策略（例如，数据/流水线/模型并行）。
2022-02-21 cs.AI cs.DC
Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A Multi-Agent Reinforcement Learning Approach
Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-南洋理工大学新加坡联合研究院）；Nanyang Technological University（南洋理工大学）
本文提出一种基于多智能体强化学习与actor-critic的调度算法，用于地理分布式数据中心中可持续AIGC工作负载调度，在真实云环境中实现GPU利用率提升、成本降低和碳减排，系统效用最高提升28.6%。
2023-04-17 cs.AI cs.DC cs.LG
Online Evolutionary Batch Size Orchestration for Scheduling Deep Learning Workloads in GPU Clusters
National University of Singapore（新加坡国立大学）；ByteDance（字节跳动）
高效的GPU资源调度对于最大限度地提高资源利用率和节省训练成本至关重要，因为共享GPU集群中的深度学习工作负载量不断增加。现有的GPU处理器在很大程度上依赖于静态策略来利用深度学习作业的性能特征。然而，由于缺乏弹性，它们很难达到最佳效率。为了解决这个问题，我们提出了ONES，一个在线进化的弹性批量编排。ONES根据训练批量大小自动管理每个作业的弹性，从而最大化GPU利用率，提高调度效率。它通过在线进化搜索确定每个作业的批量大小，可以不断优化调度决策。我们评估的有效性与64 GPU的TACC的长角超级计算机上的ONES。结果表明，ONES可以以显著更短的平均作业完成时间胜过之前的深度学习算法。
2021-08-08 cs.AI cs.DC cs.LG
Hybrid Learning and Optimization-Based Dynamic Scheduling for DL Workloads on Heterogeneous GPU Clusters
Kuwait University, Kuwait（科威特大学）；Northwestern Polytechnical University, China（西北工业大学）
RLTune通过强化学习与优化方法实现异构GPU集群上深度学习工作负载的高效动态调度，提升资源利用率并减少延迟。
2025-12-11 cs.AI cs.DC cs.LG
URSA: Precise Capacity Planning and Contention-aware Scheduling for Public Clouds
数据库平台即服务（dbPaaS）发展迅速，大量数据库被迁移到云上运行，以获得低成本和灵活性。新兴云依赖租户为其数据库工作负载提供资源规范。然而，他们往往高估了数据库的资源需求，导致不必要的高成本和低云利用率。一种自动建议满足每个数据库工作负载的性能需求的“刚好够用”的资源规范的方法是有益的。为此，我们提出了URSA，dbPaaS云的容量规划和工作负载调度系统。USRA由在线容量规划器、性能干扰估计器和竞争感知调度引擎组成。容量规划器为数据库工作负载确定最具成本效益的资源规格，以实现所需的联机性能。干扰估计器量化共享资源上的压力和对每个数据库工作负荷的共享资源争用的敏感度。调度引擎会仔细地跨云节点调度工作负载，以消除协同工作负载之间的不公平性能干扰。我们的真实系统的实验结果表明，URSA减少了27.5%的CPU使用和53.4%的内存使用的数据库工作负载，同时满足他们的性能要求。与此同时，与Kubernetes相比，URSA将协同工作负载之间的性能不公平性降低了42.8%。
2019-12-27 cs.DC
Collaborative Resource Management and Workloads Scheduling in Cloud-Assisted Mobile Edge Computing across Timescales
针对边缘资源受限下的物联网服务托管与任务调度问题，提出跨时间尺度的RMWS框架，结合Gibbs采样、交替最小化和次梯度下降算法联合优化服务放置、资源供应与工作负载调度，实现至少10%的性能提升。
2024-05-31 cs.DC
Themis: Fair and Efficient GPU Cluster Scheduling
现代分布式机器学习（ML）训练工作负载从利用GPU中受益匪浅。然而，当多个这样的工作负载在GPU的共享集群上运行时，会引起严重的争用。一个关键问题是如何在工作负载之间公平分配GPU。我们发现，由于ML工作负载的独特属性，已建立的集群调度规则不太适合：ML作业具有需要进行组调度的长时间运行的任务，并且它们的性能对任务的相对位置敏感。我们提出了Themis，这是一种用于ML训练工作负载的新调度框架。它的GPU分配策略强制ML工作负载以完成时公平的方式完成，这是我们引入的一个新概念。为了捕获放置敏感性并确保效率，Themis使用两级调度架构，其中ML工作负载对由中央仲裁器运行的拍卖中提供的可用资源进行竞标。我们的拍卖设计通过在短期内权衡效率和公平性，但从长期来看确保完成时间的公平性，将GPU分配给中标者。我们对生产跟踪的评估表明，Themis可以将公平性提高2.25倍以上，与最先进的集群相比，集群效率提高了5%到250%。
2019-10-29 cs.DC
Deep Reinforcement Agent for Scheduling in HPC
Illinois Institute of Technology（伊利诺伊理工学院）；Argonne National Laboratory（阿贡国家实验室）；Northern Illinois University（北伊利诺伊大学）
集群调度器是高性能计算中的关键技术。它决定何时以及哪些用户作业应该分配给可用的系统资源。现有的集群调度算法是由人类专家根据他们对特定HPC系统和工作负载的经验开发的。然而，计算系统的日益复杂性和应用程序工作负载的高度动态性给手动设计和调整的调度算法带来了巨大的负担。HPC中的集群调度需要更积极的优化和自动化。在这项工作中，我们提出了一个自动化的HPC调度代理DRAS（深度强化代理调度），利用深度强化学习。DRAS是建立在一个新的，分层的神经网络纳入特殊的HPC调度功能，如资源预留和调度。提出了一种独特的训练策略，使DRAS能够快速学习目标环境。一旦系统管理员给出了一个特定的调度目标，DRAS自动学习，以改善其政策，通过与调度环境的互动，并动态调整其政策的工作负载的变化。不同生产负载的实验表明，DRAS优于现有的启发式和优化方法高达45%。
2021-04-19 cs.AI cs.DC cs.LG
Workload Classification & Software Energy Measurement for Efficient Scheduling on Private Cloud Platforms
目前，为基于私有云的数据中心创建节能工作负载调度程序存在许多障碍。首先，必须研究不同工作负载和功耗之间的关系。其次，当前用于提供能量使用统计的基于硬件的解决方案不适合于仓库规模的数据中心，其中低成本和可扩展性是期望的属性。在本文中，我们讨论了私有云平台中不同工作负载对服务器功耗的影响。当服务器被赋予支配各种资源（CPU、内存、硬盘和网络）的任务时，我们显示出明显的能耗差异。然后，我们使用这种洞察力来开发CloudMonitor，这是一种软件实用程序，在开发动态功耗模型的“训练阶段”之后，能够通过监视工作负载的资源消耗来进行>95%的准确功耗预测。
2011-05-12 cs.DC
TENSILE: A Tensor granularity dynamic GPU memory scheduling method toward multiple dynamic workloads system
最近，深度学习一直是一个激烈的研究领域。然而，作为一种计算密集型任务，深度学习高度依赖于GPU内存的规模，这通常是令人望而却步的和稀缺的。尽管已经提出了一些针对动态GPU存储管理的广泛工作，但是它们难以应用于具有多个动态工作负载的系统，例如数据库内机器学习系统。在本文中，我们展示了TENSILE，一种在张量粒度下管理GPU内存的方法，以降低GPU内存峰值，考虑到多个动态工作负载。TENSILE解决了以往工作中存在的冷启动和跨迭代调度问题。我们在自己构建的深度学习框架上实现了Tensile，并对其性能进行了评估。实验结果表明，在单负载和多负载的动态环境下，TENSILE算法能够以更少的额外开销节省更多的GPU内存。
2022-11-06 cs.AI cs.DB cs.DC
AI-oriented Medical Workload Allocation for Hierarchical Cloud/Edge/Device Computing
在分层结构的云/边缘/设备计算环境中，工作负载分配会极大地影响整体系统性能。本文讨论了大都市地区急诊室（ER）或重症监护室（ICU）中产生的面向AI的医疗工作量。目标是优化AI工作负载分配到云集群、边缘服务器和终端设备，以便在挽救生命的紧急应用中实现最短的响应时间。特别是，我们为分布式云/边缘/设备计算系统中的AI工作负载开发了一种新的工作负载分配方法。一个有效的调度和分配策略，以减少整体响应时间，以满足多病人的需求。我们应用了来自综合边缘计算基准Edge AIBench的几个ICU AI工作负载。涉及的医疗AI应用包括呼吸短促警报、患者表型分类和生死威胁。我们的实验结果表明，在现实生活中的医疗保健和紧急应用的高效率和有效性。
2020-02-10 cs.DC cs.PF
Evaluating Malleable Job Scheduling in HPC Clusters using Real-World Workloads
University of Kassel（卡塞尔大学）；Technical University of Darmstadt（达姆施塔特工业大学）
本文通过真实工作负载评估HPC集群中可变作业调度的效率提升，发现可变作业能显著降低作业周转时间、makespan和等待时间，提高节点利用率。
2026-02-19 cs.DC
Practical Size-based Scheduling for MapReduce Workloads
我们提出了Hadoop公平逗留协议（HFSP）调度器，它实现了基于大小的调度纪律的Hadoop。基于大小的调度规程的好处在各种环境（计算机网络、操作系统等）中得到了很好的认可，然而，它们对于诸如Hadoop的系统的实际实现提出了许多重要的挑战。与HFSP，这是一个开源项目，我们解决有关的问题，工作规模估计，资源管理和研究各种抢占策略的影响。虽然HFSP的基础架构是适合于任何基于大小的调度纪律，在这项工作中，我们重新审视和扩展的公平逗留协议，它解决了相关的问题，影响FIFO，处理器共享和一系列基于大小的纪律的工作饥饿。在我们的实验中，我们将HFSP与标准Hadoop集群进行了比较，发现平均作业逗留时间（一个衡量作业在系统中花费的总时间的指标，包括等待和服务时间）显着减少，这是我们根据文献中的生产跟踪生成的实际工作负载。
2013-05-03 cs.DC
Sustainable Graph Analytics Workload Scheduling with Evolutionary Reinforcement Learning in Edge-Cloud Systems
Colorado State University（科罗拉多州立大学）；IIIT Guwahati（古瓦哈提信息与技术研究所）；Hewlett-Packard Labs（惠普实验室）
本文提出MERSEM框架，通过进化搜索与强化学习结合，优化边缘-云计算系统中图分析工作负载的调度，减少SLA违规和碳排放。
2026-05-13 cs.DC
Co-Scheduling Algorithms for High-Throughput Workload Execution
本文研究了处理一组并行应用程序的协同调度算法。而不是一个接一个地执行每个应用程序，使用最大程度的并行性，他们每个人，我们的目标是在调度多个应用程序并发。我们将原始应用程序集划分为一系列的包，这些包被逐个执行。一个包包括几个应用程序，每个应用程序都有一个分配的处理器数量，约束条件是在一个包内分配的处理器总数不超过可用处理器的最大数量。我们的目标是确定一个分区成包，并分配处理器的应用程序，最大限度地减少包的执行时间的总和。我们深入研究了这个优化问题的复杂性，并提出了几种算法，表现出非常好的性能在各种工作负载，其应用程序的执行时间模型配置文件的并行科学代码。我们发现，联合调度导致更快的工作量完成时间和更快的响应时间平均（从而提高系统吞吐量和节省能源），从用户和系统的角度来看，传统的调度显着的好处。
2013-04-29 cs.DC cs.DS
A Case Study on Job Scheduling Policy for Workload Characterization and Power Efficiency
随着云计算的日益普及，云计算中心变得比以往任何时候都更加重要。典型的数据中心通常由大量通过网络连接的同构或异构服务器组成。不幸的是，这些服务器和网络设备往往利用率低，耗电量大。为了提高硬件资源的利用率并使其在嵌入式系统中具有功率效率，工作负载表征和分析是基础。在本文中，我们的特点和分析的作业到达率，到达时间，作业长度，功耗，和温度耗散在现实世界中的数据中心，通过使用统计方法。从表征中，我们发现工作负载中的独特功能可以用于优化调度中心的资源利用率和功耗
2014-05-14 cs.DC
OS Scheduling Algorithms for Memory Intensive Workloads in Multi-socket Multi-core servers
主要的芯片制造商都推出了多核微处理器。由这些处理器构建的多插槽系统通常用于运行各种服务器应用程序。根据系统上运行的应用程序，远程内存访问可能会影响整体性能。本文提出了一种新的操作系统（OS）调度优化，以减少这种远程内存访问的影响。通过观察每个调度量子中每个线程的本地和远程DRAM访问模式并应用不同的算法，我们为下一个量子提出了一个新的线程调度。这种新的调度可能会减少下一个调度量的远程DRAM访问，并提高整体性能。我们提出了三个这样的新算法的不同复杂度的算法，这是一个适应匈牙利算法。我们使用了三种不同的合成工作负载来评估算法。我们还对不同的DRAM延迟进行了敏感性分析。我们表明，这些算法可以减少DRAM访问延迟高达55%，这取决于所使用的算法。从算法中获得的好处取决于它们的复杂性。一般来说，复杂性越高，收益越高。匈牙利算法产生最优解。我们发现，四分之二的算法提供了一个很好的权衡性能和复杂性的工作负载，我们研究。
2018-09-23 cs.DC
Near Linear OS Scheduling Optimization for Memory Intensive Workloads on Multi-socket Multi-core servers
多插槽多核服务器用于解决计算中的一些重要问题。远程DRAM访问可能影响在此类服务器上运行的某些应用程序的性能。本文提出了一种新的近线性操作系统（OS）调度算法，以减少这种远程DRAM访问的影响。通过跟踪本地和远程DRAM访问的数量，使用性能计数器，为每个线程并应用此算法，我为下一个量子提出了一个新的线程调度。这种新的调度减少了远程DRAM访问并提高了整体性能。我还证明了这个算法在最好的情况下实际上是线性的。由于该算法是近线性的，因此它适合于在实际操作系统中实现。
2020-08-06 cs.DC
Workflow-Driven Modeling for the Compute Continuum: An Optimization Approach to Automated System and Workload Scheduling
针对云与HPC融合的计算连续体中手动调度效率低的问题，提出基于MILP和启发式方法的自动化调度框架，可兼顾小规模场景最优性与大规模场景高效性。
2025-05-18 cs.DC
OS Scheduling Algorithms for Improving the Performance of Multithreaded Workloads
主要的芯片制造商都推出了多核微处理器。从这些处理器构建的多插槽系统用于运行各种服务器应用程序。然而，据我们所知，当前的商业操作系统没有针对在这样的服务器上运行的多线程工作负载进行优化。缓存到缓存传输和远程内存访问会影响此类工作负载的性能。本文提出了一种统一的方法来优化操作系统调度算法的缓存到缓存传输和远程DRAM访问，也考虑到缓存的亲和力。通过观察每个调度量子中每个线程的本地和远程缓存到缓存传输以及本地和远程DRAM访问的模式，并应用不同的算法，我们提出了一个新的线程计划，为下一个量子考虑缓存亲和力。这种新的调度减少了下一个调度量的远程缓存到缓存传输和远程DRAM访问，并提高了整体性能。我们提出了两种算法的不同复杂度的优化缓存到缓存传输。其中之一是一种新的算法，该算法相对简单，并且在与优化远程DRAM访问的算法相结合时性能更好。为了优化远程DRAM访问，我们提出了两种算法。虽然这两种算法在算法复杂度上有所不同，但我们发现，对于我们的工作负载，它们的性能同样出色。我们使用三种不同的合成工作负载来评估这些算法。我们还进行了灵敏度分析，相对于不同的远程缓存到缓存传输延迟和远程DRAM延迟。我们表明，这些算法可以减少整体延迟高达16.79%，这取决于所使用的算法。
2018-10-21 cs.DC
Energy-Optimized Scheduling for AIoT Workloads Using TOPSIS
本文提出基于TOPSIS的GreenPod调度器，通过多准则优化Pod放置，在异构Kubernetes集群上实现最高39.1%的能效提升，有效平衡AIoT应用的可持续性与性能。
2025-06-05 cs.DC cs.PF cs.SY
Tiny Autoscalers for Tiny Workloads: Dynamic CPU Allocation for Serverless Functions
在无服务器计算中，应用程序在轻量级虚拟化和隔离环境下执行，例如容器或微型虚拟机。通常，它们的内存分配由用户在部署之前设置。所有其他资源（如CPU）由提供程序静态分配，并与内存分配成比例。这会导致利用率不足或节流。前者对供应商有很大影响，而后者对客户有很大影响。为了解决这个问题并同时适应客户端和提供程序，一个解决方案是通过自动缩放实现动态CPU分配。自动缩放已被调查的长期运行的应用程序使用基于历史的技术和预测。然而，无服务器应用程序是短期运行的工作负载，这种技术并不适合。在本文中，我们研究了小型自动缩放器以及动态CPU分配技术如何用于短期运行的无服务器工作负载。我们尝试使用Kubernetes作为底层平台，并使用其垂直pod autoscaler实现了几种动态CPU调整技术。我们使用最先进的无服务器工作负载来比较这些技术。我们的实验表明，短期运行的无服务器功能的动态CPU分配是可行的，可以实现轻量级算法，提供良好的性能。
2022-10-31 cs.DC
Analysis of Global Fixed-Priority Scheduling for Generalized Sporadic DAG Tasks
我们考虑全局固定优先级（G-FP）的并行任务调度，其中每个任务表示为一个有向无环图（DAG）。我们总结并强调了G-FP的最新分析的局限性，并提出了一种新的技术，用于限制干扰工作负载，可以直接应用于广义DAG任务。我们的技术通过构建优化问题来工作，其中最优解值作为干扰工作负载的安全和严格的上限。使用建议的工作量绑定技术，我们得到了响应时间分析，并表明它提高了国家的最先进的分析技术G-FP调度。
2019-05-13 cs.DC
Optimal Resource Scheduling and Allocation in Distributed Computing Systems
分布式计算系统的本质是如何调度传入的请求以及如何分配所有计算节点以最小化时间和计算成本。在本文中，我们提出了一个成本意识的最优调度和分配策略的分布式计算系统，同时最小化的成本函数，包括响应时间和服务成本。首先，基于所提出的代价函数，我们同时推导出最优请求调度策略和最优资源分配策略。其次，考虑到请求到达对调度策略的影响，采用加性增乘性减（AIMD）机制对请求到达与调度之间的关系进行建模。特别是，AIMD参数可以设计为使得导出的最佳策略仍然有效。最后，给出了一个数值例子来说明推导的结果。
2021-10-15 cs.DC
Quantifying the Carbon Reduction of DAG Workloads: A Job Shop Scheduling Perspective
本文从作业车间调度角度研究DAG工作负载的碳减排问题，通过建模和求解发现依赖意识方法能显著降低碳排放，且允许更长的完成时间可进一步提升碳节省效果。
2025-12-08 cs.DC
Analysis of Large-Scale Multi-Tenant GPU Clusters for DNN Training Workloads
随着机器学习的广泛发展，许多大型企业开始在许多产品中纳入机器学习模型。这些模型通常在共享的多租户GPU集群上进行训练。与现有的集群计算工作负载类似，调度框架旨在提供高效率，资源隔离，跨用户公平共享等功能。然而，基于深度神经网络（DNN）的工作负载主要在GPU上训练，与传统的大数据分析工作负载有两个显著的不同。首先，从集群利用率的角度来看，GPU代表了一个单一的资源，不能在用户之间以细粒度共享。第二，从工作负载的角度来看，深度学习框架需要群体调度，这降低了调度的灵活性，并使作业本身对运行时的故障缺乏弹性。在本文中，我们提出了一个详细的工作负载特性的两个月长的跟踪从一个大型企业的多租户GPU集群。通过将调度器日志与来自单个作业的日志相关联，我们研究了影响多租户集群上DNN训练工作负载的集群利用率的三个不同问题：（1）组调度和局部性约束对排队的影响，（2）局部性对GPU利用率的影响，以及（3）训练期间的故障。根据我们运行大规模操作的经验，我们提供了与DNN训练工作负载的下一代集群集群路由器相关的设计指南。
2019-08-08 cs.DC
Heterogeneity-Aware Cluster Scheduling Policies for Deep Learning Workloads
GPU、TPU、FPGA和定制ASIC等专用加速器已越来越多地部署用于训练深度学习模型。这些加速器在模型架构中表现出异构的性能行为。用于加速器集群的现有算法，用于在许多用户之间仲裁这些昂贵的培训资源，已经展示了如何优化各种多任务，多用户目标，如公平性和完工时间。不幸的是，现有的性能分析器在很大程度上没有考虑性能异质性。在本文中，我们提出了Gavel，一个异构性感知调度系统，广泛的现有的调度策略。Gavel将这些策略表示为优化问题，使得以异构感知的方式为目标进行优化变得容易，同时也认识到了空间共享等性能优化。然后，Gavel使用基于轮的调度机制来确保作业在给定目标调度策略的情况下获得理想的分配。Gavel的异构感知策略允许异构集群维持更高的输入负载，并将最终目标（如平均作业完成时间和完工时间）提高到异构不可知策略的3.5倍。
2020-08-20 cs.DC
Energy Efficient Scheduling of AI/ML Workloads on Multi Instance GPUs with Dynamic Repartitioning
Columbia University（哥伦比亚大学）；IBM TJ Watson Research Center（IBM沃森研究中心）
针对多实例GPU环境，提出结合调度算法与强化学习的动态重分区框架，优化能耗与延迟的多目标问题，相比静态分区节能26%-68%。
2026-06-25 cs.DC
Using Hybrid Scheduling Algorithms for Solving Blockchain Allocation on Cloud
企业正急于通过云提供服务和解决方案。调度过程在减少延迟方面非常关键。调度还可以在不需要过多等待时间的情况下访问资源。所有这一切都是在基础设施的现代进步和区块链即服务的出现的背景下发生的。如果混合调度算法和区块链技术之间通过云进行集成会怎么样？这种整合旨在不间断地增强和提供服务。该方法的特点是，与其他调度算法，如最短作业优先和优先级调度相比，它不会遭受饥饿，它有一个平衡的资源负载。基于分析性能，所提出的混合调度具有显着的结果。
2021-12-01 cs.DC
Energy hardware and workload aware job scheduling towards interconnected HPC environments
新的HPC机器正在接近艾级。这些机器的功耗一直在增加，研究人员正在研究降低功耗的方法。第二个趋势是HPC机器越来越复杂，越来越多的异构硬件组件和不同的集群架构在同一台机器中协作。我们将这些环境称为异构多集群环境。为了在这些环境中优化性能和能耗，本文提出了一种能量感知的多集群（EAMC）作业调度策略。EAMC策略能够通过预测不同硬件架构和处理器频率下到达作业的性能和能耗来优化作业的调度和放置，从而减少工作负载的能耗、完工时间和响应时间。该策略为每个作业-资源组合分配不同的优先级，以便优先考虑效率最高的作业-资源组合，而效率较低的作业-资源组合仍然在可变程度上被考虑，从而减少响应时间并提高集群利用率。我们在Slurm中实现了EAMC策略，并评估了两个CPU集群在同一台机器上协作的场景。模拟工作负载运行的应用程序从现实世界中建模显示，响应时间和完工时间减少了25%和6%，同时节省了高达20%的总能源消耗相比，最大限度地减少运行时间的政策，并通过49%，26%，和6%相比，最小限度地减少能源。
2021-06-22 cs.DC
Workload-Aware Scheduling using Markov Decision Process for Infrastructure-Assisted Learning-Based Multi-UAV Surveillance Networks
在现代网络研究中，基础设施辅助的无人驾驶自动驾驶车辆（UAV）被积极考虑用于在意外的3D自由移动和协调下进行基于学习的实时监视和空中数据传输。在该系统模型中，必须考虑无人机的功率限制和基础设施/塔中的自主对象识别（用于异常行为检测）深度学习性能。针对无人机功率受限的问题，提出了一种多无人机与多塔台之间的空中调度算法，由塔台向无人机进行无线功率传输。此外，为了照顾塔中的高性能学习模型训练，我们还提出了一种数据交付方案，该方案使无人机公平地将训练数据交付给塔，以防止由于数据不平衡而导致的问题（例如，由较大的数据传递或较少的数据传递的过拟合引起的巨大计算开销）。为此，提出了一种新的多塔多无人机负载感知调度算法，实现了多塔多无人机联合充电和多无人机联合训练数据传输。为了在单位时间内计算负载感知的最优调度决策，我们基于马尔可夫决策过程（MDP）设计了给定调度问题的求解方法，以处理（i）时变低复杂度计算和（ii）伪多项式最优性。如性能评估结果所示，我们提出的算法确保（i）塔和无人机之间的资源交换有足够的时间，（ii）与其他算法相比，在过程中最均匀和均匀的数据汇集，以及（iii）所有塔的性能收敛到最佳水平。
2023-02-14 cs.DC
Scheduling Data-Intensive Workloads in Large-Scale Distributed Systems: Trends and Challenges
该研究针对大数据背景下数据密集型工作负载的调度挑战，提出了负载分类方法，梳理了大规模分布式系统中的常用调度策略与新型方案，并指明了开放挑战与未来方向。
2025-10-29 cs.DC
Rethinking Thread Scheduling under Oversubscription: A User-Space Framework for Coordinating Multi-runtime and Multi-process Workloads
Barcelona Supercomputing Center（巴塞罗那超级计算中心）
本文提出用户空间调度框架USF和SCHED_COOP，通过减少线程切换干扰提升多进程在超订情况下的性能表现。
2026-01-28 cs.DC cs.OS
Learning to Schedule: A Supervised Learning Framework for Network-Aware Scheduling of Data-Intensive Workloads
本文提出了一种基于监督学习的网络感知任务调度框架，通过预测任务完成时间来提高数据密集型任务在多站点集群中的调度准确性。
2025-10-24 cs.DC
Optimal Resource Scheduling and Allocation under Allowable Over-Scheduling
研究了在允许超调度条件下的最优调度和资源分配问题。制定一个优化问题的过度调度是嵌入式的，我们推导出一个最优解，可以通过一个新的加法增加乘法减少（AIMD）算法来实现。在描述了AIMD的调度机制作为一个开关系统，我们显示收敛的计划，基于联合谱半径的对称矩阵，并提出了两种方法来拟合最佳AIMD调谐的最优解。最后，我们通过一个说明性的例子展示了整体的最优设计策略。
2022-03-31 cs.DC cs.SY eess.SY
DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
University of California, Berkeley（加州大学伯克利分校）
提出DriftSched框架，通过运行时反馈驱动的漂移补偿和自适应偏差校正，解决多租户LLM推理中令牌漂移导致的调度问题，在NVIDIA L4 GPU上实现平均38.8%的估计误差降低和42%的中位延迟改善。
2026-06-23 cs.DC cs.LG cs.PF
MAPA: Multi-Accelerator Pattern Allocation Policy for Multi-Tenant GPU Servers
多加速器服务器越来越多地部署在共享多租户环境中（例如云数据中心），以满足大规模计算密集型工作负载的需求。此外，这些加速器越来越多地在复杂的拓扑结构中互连，并且工作负载呈现出更广泛的加速器间通信模式。然而，现有的分配策略不适合这些新兴的用例。具体而言，这项工作确定了多加速器工作负载通常是碎片化的，导致加速器间通信的带宽减少和延迟增加。我们提出了多加速器模式分配（MAPA），一个图形模式挖掘方法，提供广义分配支持多加速器服务器上分配多加速器工作负载。我们证明，MAPA能够提高多加速器工作负载的执行时间，MAPA能够在各种加速器拓扑结构中提供普遍的好处。最后，我们证明了12.4%的加速第75百分位的作业，最坏情况下的执行时间减少了35%，对基线政策使用MAPA。
2021-10-07 cs.DC
Prediction-Assisted Online Distributed Deep Learning Workload Scheduling in GPU Clusters
The Ohio State University（俄亥俄州立大学）；Cisco Research（思科研究中心）
针对GPU集群中混合并行分布式深度学习训练的高效调度需求，提出结合随机森林迭代预测的A-SRPT算法，通过将问题映射为单机最优调度实例实现理论高效的作业分配，经实验验证了有效性。
2025-01-09 cs.DC cs.LG
Optimization of Workload Mapping and Scheduling in Scaling Heterogeneous HPC Systems: A Systematic Literature Review
Institute of Computer Science Georg-August-Universität Göttingen / GWDG（哥廷根大学计算机科学研究所 / 哥廷根科学与数据中心）
本文综述 2017–2024 年 66 篇研究，分析异构 HPC 工作负载映射与调度工具，指出 NP-hard 难题及启发式局限，并倡导融合机器学习与量子计算的混合优化方法。
2026-10-06 cs.DC
OS4M: Achieving Global Load Balance of MapReduce Workload by Scheduling at the Operation Level
MapReduce的效率与其负载平衡密切相关。现有的MapReduce负载平衡工作集中在粗粒度调度。本研究关注MapReduce操作的细粒度调度，每个操作代表Map或Reduce函数的一次调用。默认情况下，MapReduce采用基于哈希的方法来调度Reduce操作，这通常会导致负载平衡不佳。此外，Reduce任务的复制阶段与Map任务重叠，由于I/O争用，这严重阻碍了Map任务的进度。此外，Reduce任务的三个阶段按顺序运行，同时消耗不同的资源，从而未充分利用资源。为了克服这些问题，我们引入了一套名为OS 4 M（操作调度MapReduce）的机制，以提高MapReduce的性能。OS 4 M通过收集所有Map操作的统计数据来实现负载平衡，并计算全局最优调度来分配Reduce操作。在OS 4 M中，Reduce任务的复制阶段不再与Map任务重叠，Reduce任务的三个阶段根据其操作负载进行流水线处理。OS 4 M已经透明地集成到MapReduce中。对标准基准的评估表明，与Hadoop的基准相比，OS 4 M的作业持续时间可以缩短42%。
2014-06-16 cs.DC
Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse Multi-DNN Workloads
Samsung AI Center（三星人工智能中心）；University of Cambridge（剑桥大学）；Flower Labs（Flower实验室）
本文提出Sparse-DySta，一种联合静态稀疏模式与动态稀疏信息的软硬件双层调度器，用于优化稀疏多DNN工作负载调度，在延迟和周转时间上显著优于现有方法。
2023-10-17 cs.AR cs.DC cs.LG
The Serverless Scheduling Problem and NOAH
无服务器调度问题对云服务平台提供商提出了新的挑战，因为它是一个作业调度问题，而不是传统的资源分配或请求负载均衡问题。传统上，弹性云应用程序使用托管虚拟资源分配，并采用请求负载平衡器来协调部署。对于无服务器，提供商需要解决负载均衡和分配问题。这项工作回顾了当前的Apache OpenWhisk无服务器事件负载均衡和非合作博弈论负载均衡的方法在分布式系统中的响应时间最小化。仿真结果表明，既没有表现良好的高系统利用率，激发了非合作的在线分配启发式，允许调整之间的权衡响应时间和资源成本的每个无服务器功能。
2018-09-17 cs.DC
Agentic CPU-GPU Scheduling for Heterogeneous AI Workloads
Brown University（布朗大学）
研究异构人工智能工作负载的调度问题，提出将设备调度制定为三种选项，识别影响延迟的因素，构建智能调度器，该调度器在多种场景下达到最优映射，精度与经典基线匹配且无需离线训练，性能优于其他策略。
2026-07-27 cs.DC
Eventually-Consistent Federated Scheduling for Data Center Workloads
本文扩展联邦式去中心化调度架构 Megha，利用并行性与最终一致全局状态缓解大规模数据中心的次优放置问题，并通过仿真和123节点集群实验证明其可持续降低作业完成延迟。
2023-08-20 cs.DC
Dynamic Fractional Resource Scheduling vs. Batch Scheduling
提出了一种新的同构集群计算平台的作业调度方法。它的主要特点是使用虚拟机技术以精确和受控的方式共享部分节点资源。其他基于虚拟机的调度方法主要集中在技术问题或现有的批处理调度系统的扩展，而我们采取了更积极的方法，并寻求找到最大限度地提高与工作绩效相关的客观指标。我们推导出绝对性能界限，并为调度问题的在线、非透视版本开发算法。我们进一步评估这些算法在模拟合成和现实世界的HPC工作负载，并比较我们的算法标准批处理调度方法。我们发现，我们的方法提高了批量调度的数量级的工作拉伸，同时导致可比或更好的资源利用率。我们的研究结果表明，虚拟化技术与轻量级的在线调度策略相结合，可以提供显着的性能改善执行HPC工作负载。
2011-06-24 cs.DC
Scale Ratio Tuning of Group Based Job Scheduling in HPC Systems
本文研究HPC作业分组调度中规模比例参数对工作负载管理器效率指标的影响，通过基于Alea的模拟模型进行多组实验，为管理员在相互矛盾的效率指标间取得平衡提供调优依据。
2023-11-29 cs.DC
An Improved Scheduling with Advantage Actor-Critic for Storm Workloads
本文面向 Storm 流工作负载，提出结合图神经网络加权嵌入与改进 Advantage Actor-Critic 的调度器，联合优化任务选择和执行器分配，在 TPC-H 与 Alibaba 数据集上分别将完成时间降低近 17% 和 25%。
2023-12-07 cs.DC
FissionReady: Joint Workload and Power Scheduling for Data Centers Powered by Small Modular Reactors
IIT Tirupati（蒂鲁帕蒂印度理工学院）；University of Utah（犹他大学）；Northeastern University（东北大学）
FissionReady是一种面向SMR供电数据中心的调度器，通过跟踪燃料年龄和氙状态确定运行包络，并采用双时间尺度优化协调负荷跟踪与电网购电，实现零停堆和零截止时间错过，同时大幅降低水耗和电网成本。
2026-10-01 cs.DC
Blox: A Modular Toolkit for Deep Learning Schedulers
针对深度学习调度策略原型构建难、跨技术整合与对比评估难的问题，研究提出模块化工具包Blox，提炼核心抽象复现现有调度器并验证保真度，支持多场景调度评估与低代码扩展新型策略。
2023-12-19 cs.DC
Terastal: Layer-Variant-based Scheduling for Real-Time Multi-DNN Workloads on Heterogeneous Accelerators
nd IEEE International Conference on Embedded and Real-Time Computing Systems and Applications（第32届IEEE嵌入式与实时计算系统与应用国际会议）
针对异构DNN加速器上多DNN执行中因层延迟差异导致的调度灵活性不足和截止时间错过率增加问题，提出层变体概念和Terastal框架，通过离线虚拟预算分配和层变体设计结合在线调度，优化加速器映射和变体选择，实验表明截止时间错过率降低30%以上且精度损失仅2.24%。
2026-06-05 cs.AR cs.DC cs.LG
ROBUS: Fair Cache Allocation for Multi-tenant Data-parallel Workloads
处理大数据的系统-例如，Hadoop、Spark和大规模并行数据库需要同时代表多个租户运行工作负载。这些系统中丰富的基于磁盘的存储通常由更小但速度更快的{ \em缓存}来补充。缓存是一种宝贵的资源：使用缓存的租户可以看到两个数量级的性能提升。缓存也是一种有限的、因此是共享资源：与一次只能由一个租户使用的CPU核心等资源不同，缓存的数据项可以由多个租户同时访问。因此，缓存必须由多租户感知策略跨租户共享，每个租户都有一组唯一的优先级和工作负载特征。在本文中，我们开发的缓存分配策略，加快整体工作负载，同时对每个租户{ \em公平}。我们建立了一个新的公平性模型，针对共享资源设置，不仅采用了更标准的帕累托效率和共享激励的概念，但也定义了嫉妒自由度的概念，通过{ \em核心}从合作博弈论。我们的缓存管理平台，ROBUS，使用随机化在小的时间批次，我们开发了一个按比例公平分配机制，满足预期的核心属性。我们证明了该算法和相关的公平算法可以在多项式时间内逼近到任意精度。我们评估这些算法的ROBUS原型上实现的火花RDD存储作为缓存。我们的综合生成的行业标准的工作负载的评估表明，我们的算法提供了一个加速接近性能最优算法，同时保证租户之间的公平性。
2015-09-03 cs.DC
workload forecasting and resource management models based on machine learning for cloud computing environments
工作负载预测和资源分配在高效云环境的生产中起着重要的作用。在决定资源分配之后对未来工作负载的主动估计已经成为处理其他内置挑战的优先解决方案，这些挑战包括物理机器的欠载/过载、资源浪费、服务质量（QoS）违规、负载均衡、VM迁移等等。在这种情况下，本文提出了一个全面的调查工作量预测和预测资源管理模型在云环境中。讨论了与云计算有关的工作负载预测和资源管理的概念框架、现有基于机器学习的资源分配技术的分类以及物理资源分配的低效分配的主要挑战。此后，全面调查现有的国家的最先进的贡献授权机器学习为基础的方法在云工作负载预测和资源管理领域。最后，本文探讨和总结了云环境下弹性资源管理面临的各种挑战和未来的研究方向。
2021-06-29 cs.DC
Dynamic Resource Allocation Method for Load Balance Scheduling over Cloud Data Center Networks
云数据中心有许多主机和应用程序请求，其中资源是动态的。对资源分配的要求是多种多样的。这些因素可能导致负载不平衡，从而影响调度效率和资源利用率。提出了一种基于动态资源分配的负载均衡调度方法（DRALB）。所提出的解决方案包括两个步骤：首先，负载管理器分析资源需求，如CPU，内存，能量和带宽使用情况，并为每个应用程序分配适当数量的VM。其次，收集和更新资源信息，其中资源根据资源的负载（即，CPU密集型、存储器密集型、能量密集型和带宽密集型）被分类为四个队列。我们证明SLA感知调度不仅方便了云消费者的资源可用性，提高吞吐量，响应时间等，但也最大限度地提高云利润与较少的资源利用率和SLA（服务水平协议）违规处罚。该方法是基于客户端应用程序的多样性和搜索特定部署的最佳资源。基于平均响应时间、资源利用率、SLA违规率和负载均衡等参数进行了实验。实验结果表明，该方法可以减少资源的浪费，并减少了44.89和58.49在网络中的流量。
2022-11-04 cs.DC
