An Adaptive Performance-oriented Scheduler for Static and Dynamic Heterogeneity
随着异构硬件的出现为后摩尔时代铺平了道路，使运行时调度适应平台的异构性变得非常重要。为了增强自适应和响应调度，我们引入了性能跟踪表（PTT）到XiTAO，混合模式并行的弹性调度框架。PTT是每核延迟的可扩展且动态的轻量级清单，可用于指导关键和非关键任务的调度。通过了解每个任务的延迟，PTT可以推断任务性能、应用内干扰以及应用间干扰。我们在NVIDIA Jetson TX 2芯片上运行不同工作负载类别的随机直接非循环图（DAG）作为基准，与标准工作窃取调度程序相比，实现了高达3.25倍的加速。为了验证调度对干扰的适应性，我们在Intel Haswell（2650 v3）多核工作站上以高并行度运行DAG，并分析调度器对来自后台进程的干扰的响应。我们还通过移植基于卷积神经网络（CNN）的VGG-16图像分类框架来展示XiTAO的调度性能。
2020-12-30 cs.DC
Bulk Scheduling with DIANA Scheduler
结果和进展的数据密集型和网络感知（DIANA）调度引擎，主要是数据密集型科学，如物理分析的发展。科学分析任务可能涉及数千个计算、数据处理和网络资源，并且输入和输出文件的大小以及分配给用户的总存储空间的量必然会对数据密集型应用的调度具有显著影响。如果必须从远程位置检索输入或输出文件，则在为给定应用程序调度计算资源时还必须考虑传输文件所需的时间。本研究的中心问题是在多个位置协调管理计算和数据，而不仅仅是数据移动。然而，这可能是一个非常昂贵的操作，如果在没有网络成本的情况下映射计算和数据资源，则高效调度可能是一个挑战。我们已经实现了一个自适应算法的DIANA内考虑到数据的位置和大小，网络性能和计算能力，使有效的全球调度决策。DIANA是一个性能感知型和经济导向型的Meta企业。它迭代地将每个作业分配给可能产生最佳性能的站点，并为任何剩余的挂起作业优化全局队列。因此，无论是提交单个作业还是执行批量调度，都同样适用。结果表明，相当大的性能改善是通过采用DIANA调度方法。
2006-02-07 cs.DC
Client-side Straggler-Aware I/O Scheduler for Object-based Parallel File Systems
基于对象的并行文件系统已经成为高性能计算（HPC）系统的有前途的存储解决方案。尽管对象存储提供了灵活的接口，但调度访问大量对象的高度并发I/O请求仍然是一个具有挑战性的问题，特别是在系统中存在落后者（存储服务器比其他服务器慢得多）的情况下。高效的I/O调度器需要避免可能的掉队者，以实现低延迟和高吞吐量。在本文中，我们介绍了一个日志辅助的离散感知的I/O调度，以减轻存储服务器离散的影响。这项研究的贡献有三个方面。首先，我们介绍了一个客户端，日志辅助，落伍者意识的I/O调度架构，以解决在HPC系统中的存储落伍的问题。其次，我们提出了三种调度算法，可以有效地调度I/O的决策，同时避免基于这样的架构的掉队者。第三，我们使用模拟评估所提出的I/O调度器，模拟结果证实了新引入的落伍者感知的I/O调度器的承诺。
2018-05-16 cs.DC
Influence of Incremental Constraints on Energy Consumption and Static Scheduling Time for Moldable Tasks with Deadline
在具有频率缩放的并行机上的独立的、可模制的任务的静态调度包括关于核心分配、指派、频率缩放和排序的决策，以满足截止期限并最小化能量消耗。约束这些决策中的一些减少了解决方案空间，即可能增加能耗，但也可能减少调度时间或提供处理更大任务集的机会。我们调查的影响，导致从一个不受限制的调度程序，通过两个中间步骤的皇冠调度，提出整数线性规划的所有四个调度。我们比较调度时间和能源消耗的基准套件的合成任务集的不同大小。我们的研究结果表明，冠调度的最后一步-执行顺序约束-负责更快的调度时，任务集很小，当我们处理大的任务集和较低的能耗。
2020-06-19 cs.DC
MapReduce Scheduler: A 360-degree view
毫无疑问，MapReduce是分布式计算中最强大的编程范式。MapReduce的增强是必不可少的，它可以提高计算速度。因此，这里有许多调度算法，讨论基于他们的特点。此外，该领域还存在许多不足之处。在这篇文章中，我们提出了国家的最先进的调度算法，以加强对算法的理解。系统地介绍了这些算法，通过本文可以看到调度算法的许多未来可能性。在本文中，我们将深入了解MapReduce调度算法。此外，我们还讨论了MapReduce调度器开发的大规模计算以及异构环境中的各种问题。
2017-04-09 cs.DC
Survey on Improved Scheduling in Hadoop MapReduce in Cloud Environments
云计算作为一种新的计算范式转变正在兴起。Hadoop MapReduce已经成为一种强大的计算模型，用于在云等分布式商品硬件集群上处理大型数据。在所有Hadoop实现中，默认的FIFO调度器都是可用的，其中作业以FIFO顺序调度，并支持其他基于优先级的调度器。在本文中，我们研究了Hadoop可能的各种调度器改进，并提供了一些关于如何在云环境中改进Hadoop调度的指导方针。
2012-07-03 cs.DC
Scalable System Scheduling for HPC and Big Data
在快速扩展的并行处理领域，作业调度器是现代大数据架构和超级计算系统的“操作系统“。作业调度器分配计算资源并控制这些资源上的进程的执行。从历史上看，作业调度器是超级计算机的领域，而作业调度器被设计为在数天或数周内运行大规模、长时间运行的计算。最近，大数据工作负载产生了对一类新计算的需求，这些计算包括许多需要数秒或数分钟的短计算，这些计算处理大量数据。对于超级计算机和大数据系统，作业调度器的效率代表了系统效率的基本限制。详细的测量和建模的性能的集群是至关重要的最大化的大规模计算系统的性能。本文对15个超级计算和大数据集群进行了详细的特征分析。对于大数据工作负载，调度器延迟是调度器最重要的性能特征。这些调度器的延迟的理论模型的开发和用于设计实验，旨在测量调度器延迟。详细的基准测试四个最流行的插件（Slurm，网格引擎之子，Mesos和Hadoop YARN）进行。理论模型与数据进行比较，并表明，调度器的性能可以由两个关键参数：调度器的边际延迟$t_s$和非线性指数$α_s$。对于所有四个计算器，对于仅持续几秒的计算，计算系统的利用率降低到<10%。透明地聚合短计算的多级编译器可以将这些短计算的利用率提高到> 90%，用于测试的所有四个编译器。
2017-05-08 cs.DC
DQN-Scheduler: A Multi-Objective Optimization Framework for Scheduling Microservices in Cloud Computing
The University of Western Australia（西澳大利亚大学）
本文提出DQN-Scheduler，一种基于强化学习的多目标优化框架，用于云环境中微服务调度，同时优化资源利用率、负载均衡、延迟、可靠性和可用性，实验证明其优于基准算法。
2026-09-15 cs.DC
Job Scheduling in High Performance Computing
近几十年来，超级计算机不断增长的处理能力使我们能够探索越来越复杂的科学问题。有效地调度这些作业对单个作业的性能和系统效率至关重要。传统的高性能计算（HPC）中的作业调度器是简单的，集中在提高CPU利用率。新的硬件资源和新的硬件结构的出现对传统的嵌入式系统提出了严峻的挑战。日益多样化的工作负载（包括计算密集型和数据密集型应用程序）需要更高效的数据处理器。更糟糕的是，上述两个因素相互作用，这使得调度问题更具挑战性。近年来，许多研究探讨了新的调度方法，以应对系统快速变化带来的问题。在这项研究中，我们调查了HPC调度和最先进的调度方法所面临的挑战，以克服这些挑战。此外，我们提出了一个智能调度框架，以减轻现代作业调度中遇到的问题。
2021-09-20 cs.DC
Advance Reservation based DAG Application Scheduling Simulator for Grid Environment
近十年来，网格环境下有向无环图（DAG）应用的调度问题引起了众多研究者的关注。然而，网格环境的部署需要技能，努力，预算和时间。虽然有各种各样的仿真工具或框架可用于模拟网格环境，但它们要么支持网格计算领域的各种可能的研究，要么需要大量的努力来塑造它们，使其适合DAG应用程序的调度。在本文中，我们描述了在网格环境中的DAG应用程序调度的GridSim为基础的设计和实现的准备使用的应用程序调度器。该应用调度器支持DAG应用的提供和网格资源的配置。我们还描述了最小最小静态调度算法的DAG应用程序的调度，以验证所提出的调度器的实现。我们提出的DAG应用程序调度模拟器是有用的，简单的，节省时间。
2012-11-07 cs.DC
Large-scale Machine Learning Cluster Scheduling via Multi-agent Graph Reinforcement Learning
大型GPU集群中分布式深度学习（DL）作业的高效调度对于资源效率和作业性能至关重要。虽然作业之间的服务器共享提高了资源利用率，但是由于资源争用，在位于同一地点的DL作业之间发生干扰。干扰感知的工作安排进行了研究，白盒方法的基础上显式干扰建模和黑盒推理机与强化学习。在当今包含数千个GPU服务器的集群中，由于工作负载规模很大，因此运行单个调度程序以及时有效的方式管理所有到达作业是一项挑战。在大规模集群/数据中心中采用多个调度器，提出一种多智能体强化学习（MARL）调度框架，以最小化作业完成时间（JCT）为目标，协同学习细粒度的作业安排策略.为了实现拓扑感知布局，我们提出的框架使用分层图神经网络来编码数据中心拓扑和服务器架构。鉴于普遍缺乏对应于不同安置的精确奖励样本，进一步设计了工作干扰模型，以预测面对不同的协同定位时的干扰水平，用于训练MARL分类器。测试床和跟踪驱动的评估表明，我们的调度框架优于代表调度计划的平均JCT超过20%，是适应各种机器学习集群拓扑结构。
2021-12-26 cs.DC
An API for Development of User-Defined Scheduling Algorithms in Aneka PaaS Cloud Software: User Defined Schedulers in Aneka PaaS Cloud Software
云计算已经发展为基于签署的服务水平协议和按使用付费模型向最终用户提供按需资源的突出范例之一。云计算使用多租户架构提供资源，其中基础设施从多个或单个地理分布式云计算中心生成。将云应用请求调度到云基础设施是云计算的主要研究领域之一。研究人员已经开发了许多调度应用程序，他们使用了市场上可用的不同模拟器，如CloudSim。与仿真软件相比，任何调度算法在应用于实时的云环境时的性能将是不同的。Aneka是一个著名的PaaS软件，它允许用户使用各种编程模型和强调基础设施来开发云应用程序。在本章中，调度API是在Aneka软件平台上开发的，它可以很容易地与Aneka软件集成。用户可以使用该API开发自己的调度算法，并将其与Aneka软件集成，以便在真实的云环境中测试其调度算法。拟议的API提供了所有必要的功能，以便将私有云、公共云或混合云与Aneka软件集成和调度。
2019-04-06 cs.DC
Blox: A Modular Toolkit for Deep Learning Schedulers
针对深度学习调度策略原型构建难、跨技术整合与对比评估难的问题，研究提出模块化工具包Blox，提炼核心抽象复现现有调度器并验证保真度，支持多场景调度评估与低代码扩展新型策略。
2023-12-19 cs.DC
Kvik: A task based middleware with composable scheduling policies
在本文中，我们提出了Kvik：一个基于任务的“中间件”的实现共享内存并行编程的Rust语言建立在Rayon库的顶部。我们设计了一个系统，允许几个任务分解的机器人进行微调的最终用户。其中，我们提出了一个自适应调度器的实现减少任务创建（分裂）到最低限度的链接任务分裂窃取请求。另一个重要的调度程序，允许把计算序列的并行操作的描述。这个算子证明了它对可中断计算特别有用。我们展示了不同的代码示例，非常适合不同类型的编译器。我们用一组大量使用可组合性的基准来结束我们的工作。特别是，我们提出了一个并行的稳定排序实现高达1.5倍的加速比相比，最先进的并行排序实现。
2020-09-11 cs.DC
In Serverless, OS Scheduler Choice Costs Money: A Hybrid Scheduling Approach for Cheaper FaaS
针对 Linux 默认 CFS 调度器导致 serverless 高并发工作负载成本增加高达 10 倍的问题，提出一种混合两级调度方法，短时函数以无抢占 FIFO 执行，长时函数交由 CFS，显著降低用户成本且无提供商开销。
2024-11-13 cs.DC
Performant, Multi-objective Scheduling of Highly Interleaved Task Graphs on Heterogeneous System on Chip Devices
性能、功率和能量感知调度技术在优化利用异构系统的处理元件（PE）方面起着至关重要的作用。列表查询器是一类低复杂度的静态查询器，通常用于静态执行场景。然而，列表查询器不适合运行时决策，特别是当多个并发应用程序动态交错时。对于这种情况，静态任务执行时间和期望的空闲PE所承担的列表调度器导致低效的系统利用率和性能差。为了解决这个问题，我们提出了技术，通过一个家庭的启发，著名的异构最早完成时间（HEFT）列表调度算法的列表调度算法在动态运行时的情况下，优化执行。通过在开源离散事件异构SoC模拟器中模拟的动态到达的逼真工作负载场景，我们详尽地评估了Xilinx Zynq Ultrascale+ ZCU 102和O-Droid XU 3开发板之后建模的两个SoC中的每个算法。总而言之，根据这个系列算法中所选择的变体，与基线HEFT实现相比，我们能够实现高达39%的执行时间改进，高达7.24倍的算法加速，或高达30%的能耗改进。
2021-12-16 cs.DC
Fast Transaction Scheduling in Blockchain Sharding
本文针对区块链分片的交易调度问题，提出集中式、分桶式集中式及基于层次聚类的分布式三种调度器，证明了其近似/竞争比，仿真显示其延迟最高降3倍、吞吐量最高升2倍，是首个可证明快速的区块链分片交易调度算法。
2025-01-16 cs.DC
Serverless platform driven CPU loadbalancing
Indiana University Bloomington（印第安纳大学布鲁明顿分校）
该研究提出基于SchedExt(SCX)的无服务器平台驱动CPU负载均衡框架，通过自定义Linux调度器优化任务放置，8域配置可降能耗15%、减延迟最高50%，兼顾能效与性能。
2026-08-07 cs.DC
Revisiting Conventional Task Schedulers to Exploit Asymmetry in ARM big.LITTLE Architectures for Dense Linear Algebra
从调度任务并行应用程序的角度来看，处理架构中的不对称性带来了大量问题，并且存在通过嵌入到运行时框架中的自组织策略来解决这个问题的早期尝试。在本文中，我们采取了不同的路径，其中包括在解决问题的复杂性，在图书馆的水平，通过一些不对称意识的基本内核，隐藏的架构异构性的任务调度。对于稠密线性代数的特定域，我们表明，这不仅是可能的，但提供了更高的性能比一个天真的方法的基础上的不对称遗忘调度。此外，该解决方案还优于ad-hoc非对称感知调度器配备了复杂的调度技术。
2015-09-07 cs.DC
DaphneSched: A Scheduler for Integrated Data Analysis Pipelines
本文提出DaphneSched，一种用于DAPHNE基础设施的基于任务的调度器，通过结合多种任务划分与分配技术，有效解决了集成数据分析流水线的高效执行问题，并在多核实验中表现出优于常用调度技术高达13%的性能提升。
2023-08-03 cs.DC
A Kubernetes Scheduler Plugin for Cluster-Wide Placement Optimisation
TV 2 Danmark A/S（TV 2丹麦公司）；Università di Bologna（博洛尼亚大学）；INRIA（法国国家信息与自动化研究所）；University of Southern Denmark（南丹麦大学）
提出开源Kubernetes调度框架插件OPSche，结合外部约束优化求解器，通过三种触发模式及阻塞变体优化集群部署，提升资源使用率、降低调度延迟。
2026-08-10 cs.DC
Learning to Schedule: A Supervised Learning Framework for Network-Aware Scheduling of Data-Intensive Workloads
Tennessee Technological University（田纳西理工大学）
本文提出了一种基于监督学习的网络感知任务调度框架，通过预测任务完成时间来提高数据密集型任务在多站点集群中的调度准确性。
2025-10-24 cs.DC
Stable Scheduling in Transactional Memory
我们研究在一组共享对象上执行事务的计算机系统。事务不断到达，受到约束，这些约束被构建为对抗模型，并对事务生成的平均速率和事务使用的对象数量施加限制。我们发现，没有确定性的分布式调度的无障碍模型的事务自治可以提供稳定的任何积极的交易生成率。假设一个系统由$m$共享对象组成，并且对手被约束，使得每个事务最多可以访问$k$共享对象。我们证明，没有调度程序可以是稳定的，如果生成率大于$\max\bigl\{\frac{2}{k+1},\frac{2}{\lfloor \sqrt{2m} \rfloor}\bigr\}$。我们开发了一个集中式调度器，是稳定的，如果事务生成率是最多$\max\bigl\{\frac{1}{4k}, \frac{1}{4\lceil\sqrt{m}\rceil} \bigr\}$。我们设计了一个分布式调度器的基于事务自治模型，其中一个事务被分配给一个单独的处理器，保证稳定性，如果事务生成的速率小于$\max\bigl\{ \frac{1}{6k},\frac{1}{6\lceil\sqrt{m}\rceil}\bigr\}$。对于每一个调度器，我们给出了在事务生成速率范围内的队列大小和事务延迟的上限，对于该调度器是稳定的。
2022-08-15 cs.DC
Heterogeneity-Aware Cluster Scheduling Policies for Deep Learning Workloads
GPU、TPU、FPGA和定制ASIC等专用加速器已越来越多地部署用于训练深度学习模型。这些加速器在模型架构中表现出异构的性能行为。用于加速器集群的现有算法，用于在许多用户之间仲裁这些昂贵的培训资源，已经展示了如何优化各种多任务，多用户目标，如公平性和完工时间。不幸的是，现有的性能分析器在很大程度上没有考虑性能异质性。在本文中，我们提出了Gavel，一个异构性感知调度系统，广泛的现有的调度策略。Gavel将这些策略表示为优化问题，使得以异构感知的方式为目标进行优化变得容易，同时也认识到了空间共享等性能优化。然后，Gavel使用基于轮的调度机制来确保作业在给定目标调度策略的情况下获得理想的分配。Gavel的异构感知策略允许异构集群维持更高的输入负载，并将最终目标（如平均作业完成时间和完工时间）提高到异构不可知策略的3.5倍。
2020-08-20 cs.DC
MetaNet: Automated Dynamic Selection of Scheduling Policies in Cloud Environments
Imperial College London（伦敦帝国理工学院）；Loughborough University（拉夫堡大学）
在优化云计算环境的服务质量（QoS）的背景下，任务调度是被充分研究的问题。为了维持计算需求的快速增长，云计算器最重要的QoS指标之一是执行成本。在这方面，近年来已经提出了几种基于数据驱动的深度神经网络（DNN）的调度器，以允许在动态工作负载设置中进行可扩展和有效的资源管理。然而，最佳调度通常依赖于复杂的DNN，其具有高计算需求，这意味着更高的执行成本。此外，即使在非静止环境中，也可能不总是需要复杂的过滤器，为了成本效益，我们可以暂时依靠低成本的过滤器。因此，这项工作的目的是解决非平凡的Meta问题的调度策略的在线动态选择使用一个代理模型称为MetaNet。与具有固定调度策略的传统解决方案不同，MetaNet在运行中从大量基于DNN的方法中选择调度器，以同时优化任务调度和执行成本。与最先进的DNN路由器相比，这使得执行成本、能耗、响应时间和违反服务级别协议的情况分别降低了11%、43%、8%和13%。
2022-05-21 cs.AI cs.DC
PSBS: Practical Size-Based Scheduling
基于大小的调度器具有非常理想的性能属性：最优或接近最优的响应时间可以与强公平性保证相结合。尽管如此，这种系统很少在实际环境中实现，因为它们需要先验地知道完成作业所需的工作量：这个假设在具体系统中很难满足。它肯定是更有可能通知系统的工作大小的估计，但现有的研究指出，有些悲观的结果，如果现有的调度策略使用的基础上不精确的工作大小估计。我们的目标是设计调度策略，明确设计处理不准确的工作大小：首先，我们表明，现有的基于大小的调度器可以有不准确的工作大小信息时，工作大小严重偏斜的性能不佳，我们表明，这个问题，并在文献中显示的悲观结果，是由于问题的行为时，大型工作被低估。一旦发现问题，就可以修改现有的基于尺寸的尺寸来解决问题。我们推广FSP -一个公平和有效的基于大小的调度策略-为了解决上面强调的问题，此外，我们的解决方案处理不同的作业权重（可以独立于其大小分配给作业）。我们提供了一个有效的实现所产生的协议，我们称之为实用的基于大小的路由器（PSBS）。通过对合成和真实工作负载的模拟评估，我们表明PSBS在各种各样的情况下具有接近最佳的性能，具有不准确的大小信息，它表现得很好，并且正确处理作业权重。我们相信这项工作表明PSBS确实是实用的，我们认为它可以在广泛的现实世界用例中激发设计者的灵感。
2015-08-06 cs.DC
Energy Conscious Dynamic Window Scheduling of Chip Multiprocessors
开发利用多核和众核架构以减少浪费热量产生的系统的需求在计算密集型应用中至关重要。我们提出了一种节能的多核调度方法，称为非抢占式动态窗口（NPDW）调度，实现有效的负载和温度平衡芯片多处理器。NPDW利用动态时间窗口的概念来积累任务，并使用修改的Gale-Shapely算法在积累的任务和可用的处理器核之间找到最佳的稳定匹配。定义了窗口和匹配性能的度量，以创建动态窗口启发式算法，从而基于当前和先前的窗口大小来确定下一个时间窗口大小。推导公式和实验结果的基础上，我们表明，我们的NPDW调度器是能够分布在多核环境中的处理器的计算和热负载比基线调度器。我们相信，在多核计算应用程序需要温度和能源意识的系统设计，我们的调度程序可以有效地分散系统负载，并防止过多的核心加热。
2022-02-13 cs.DC
ROME: A Multi-Resource Job Scheduling Framework for Exascale HPC Systems
高性能计算（HPC）正在经历重大变革。下一代HPC系统配备有不同的全局和本地资源，诸如I/O突发缓冲器资源、存储器资源（例如，片上和片外RAM、外部RAM/NVRAM）、网络资源以及可能的其他资源。就业促进者在有效利用资源方面发挥着至关重要的作用。然而，传统的作业优化是单一目标的，不能有效地利用其他资源。在本文中，我们提出了罗马，一个新的多维作业调度框架，以探索多个资源之间的潜在权衡，并提供平衡的调度决策。我们的设计利用遗传算法作为多维优化引擎，以产生快速的调度决策，并支持有效的资源利用率。
2021-08-18 cs.DC
Model based design of super schedulers managing catastrophic scenario in hard real time systems
传统的实时方法设计严重依赖于系统的正常性能，往往无法有效地处理灾难性的情况。为了有效地应对工厂的大规模灾难，以及实时系统必须如何重组以最佳地响应不断变化的场景，以减少灾难并帮助人类干预，进行了几项调查。这里提出的研究是在这个方向和模型适应灾难产生的任务，同时它试图最大限度地减少总数量的截止日期错过，通过动态调度不寻常的任务模式。这个问题是NP难的。我们证明了一个最优调度算法的方法。我们还得到了一个模型，以保持稳定的过程。此外，我们研究的问题，最大限度地减少所需的处理器数量调度与一组周期性和零星的硬实时的任务与主/备份机制，以实现容错。EDF调度算法在每个处理器上用于管理场景变化。最后，我们提出了一个模拟的超级调度器与小型，中型和大型实时的任务模式的灾难管理。
2014-07-21 cs.DC
DAS: Dynamic Adaptive Scheduling for Energy-Efficient Heterogeneous SoCs
特定领域的片上系统（DSoCs）旨在弥合专用集成电路（ASIC）和通用处理器之间的差距。传统的操作系统（OS）调度器可能会破坏DSSoC的潜力，因为它们的执行时间可能比任务本身的执行时间大几个数量级。为了解决这个问题，我们提出了一个动态自适应调度（DAS）框架，结合了快速（低开销）调度器和缓慢（复杂，高性能，但高开销）调度器的好处。五个真实世界的流媒体应用程序的实验表明，DAS始终优于快速和缓慢的路由器。对于40种不同的工作负载，DAS在低数据率下实现了平均1.29倍的加速比，与复杂的调度器相比EDP降低了45%，在工作负载复杂性增加时，DAS实现了平均1.28倍的加速比，与快速调度器相比EDP降低了37%。
2021-09-22 cs.AR cs.DC
ReSHAPE: A Framework for Dynamic Resizing and Scheduling of Homogeneous Applications in a Parallel Environment
在科学和工程中的应用程序通常需要大量的计算资源，以在合理的时间范围内解决问题。并行超级计算机为解决此类问题提供了计算基础设施。在并行集群上运行的传统应用程序调度器仅支持静态调度，其中分配给应用程序的处理器数量在作业执行的整个生命周期内保持固定。由于作业到达时间的不可预测性和变化的资源需求，静态调度可能导致空闲的系统资源，从而降低整个系统的吞吐量。在本文中，我们提出了一个原型框架称为ReSHAPE，它支持动态的并行MPI应用程序在分布式内存平台上执行。该框架包括一个支持应用程序调度的调度程序、一个使应用程序能够与调度程序交互的API，以及一个使调度变得可行的库。使用ReSHAPE调度器框架执行的应用程序可以扩展以利用额外的空闲处理器，也可以缩小以适应高优先级应用程序，而不会挂起。在我们的研究中，我们主要集中在结构化的应用程序，具有分布在二维处理器网格的二维数据数组。调整大小库包括用于处理器选择和处理器映射的算法。实验结果表明，ReSHAPE框架可以提高单个作业的周转时间和系统的整体吞吐量。
2007-03-27 cs.DC
Node-Based Job Scheduling for Large Scale Simulations of Short Running Jobs
交互式超级计算、大数据分析和大规模AI算法开发等各种工作负载都需要高性能调度器。本文提出了一种新的基于节点的调度方法，用于在MIT SuperCloud系统上对短运行作业进行大规模模拟，该方法允许资源充分利用于长运行批处理作业，同时提供大规模短运行作业的快速启动和释放。基于节点的调度方法已经证明了比其他最先进的系统快100倍的调度器性能。
2021-08-25 cs.DC
RackSched: A Microsecond-Scale Scheduler for Rack-Scale Computers (Technical Report)
低延迟在线服务具有严格的服务级别目标（SLO），要求数据中心系统在微秒级尾部延迟下支持高吞吐量。数据平面操作系统已被设计成以最小的开销来扩展多核服务器。然而，随着应用需求的不断增加，扩展是不够的，满足更大的需求需要这些系统扩展到机架中的多个服务器。我们提出了RackSched，第一个机架级微秒级调度器，它提供了机架级计算机的抽象（即，具有数百到数千个核心的巨大服务器）到具有网络-系统协同设计的外部服务。RackSched的核心是一个两层调度框架，它集成了架顶式（ToR）交换机中的服务器间调度和每个服务器中的服务器内调度。我们使用的分析结果和模拟相结合，以表明它提供了接近最佳的性能作为集中式调度策略，并且对于低分散和高分散的工作负载都是鲁棒的。我们为服务器间调度器设计了一个自定义的交换机数据平面，实现了k次幂选择，保证了请求的亲和性，并准确有效地跟踪服务器负载。我们在通过Barefoot Tofino交换机连接的商品服务器集群上实现了RackSched原型。在十二台服务器测试床上进行的端到端实验表明，RackSched将吞吐量提高了1.44倍，并近乎线性地扩展吞吐量，同时保持与一台服务器相同的尾部延迟，直到系统饱和。
2020-10-15 cs.DC
PackServe: SLO-Aware Request Scheduling for Agentic LLM Serving at Scale
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Ant Group（蚂蚁集团）
PackServe通过白盒延迟预测模型指导请求打包，在保留KVC重用和SLO约束下减少GPU资源消耗，在64块H20 GPU上节省高达24.6%的GPU小时，并在生产集群中降低34.7%资源占用。
2026-09-29 cs.DC
Dodoor: Efficient Randomized Decentralized Scheduling with Load Caching for Heterogeneous Tasks and Clusters
University of Cambridge（剑桥大学）
本文提出的Dodoor调度器通过批量缓存刷新和异构感知资源负载评分优化，在101节点CloudLab集群上减少调度消息量，同时提升吞吐量、降低平均及尾部延迟，性能优于去中心化基线调度器。
2026-08-24 cs.DC
Performance evaluation of scheduling tasks in many-core systems utilizing processes and threads
University of Ioannina（约阿尼纳大学）
研究用基于内存的行向快速排序工作负载评估多核共享内存系统中基于进程和线程调度器的可扩展性，对比多种调度策略，实验表明线程调度器总体性能最高，基于管道的进程调度器扩展性强。
2026-07-07 cs.DC cs.PF
Beyond the Monolithic Scheduler: Lightweight Adaptive Policy Switcher for Process Scheduling Optimization
Zhejiang University（浙江大学）；HangZhou City University（杭州市大学）
针对单一静态操作系统调度器难以适配多样动态工作负载的问题，本文提出自适应调度智能体ASA，通过解耦的离线训练与在线路由机制动态选择最优专家调度策略，实验证明其性能显著优于Linux默认调度器EEVDF。
2026-10-26 cs.AI cs.DC
QOS based user driven scheduler for grid environment
由于网格在本质上是异构的、动态的、共享的和分布式的环境，有效地管理这些平台是非常复杂的。一个有前途的可扩展的方法来处理这些复杂性是设计的自主应用程序的自我管理。自治应用通过考虑自身行为和环境条件的知识来相应地调整其执行。基于QoS的网格用户驱动调度为自治应用提供了自优化能力。计算网格通过在物理位置的多台机器上分散单个大型计算，为用户提供解决大规模问题的能力。基于QoS的用户驱动网格调度器通过应用用户定义的调度策略来减少作业的执行时间，从而提高网格系统的可靠性，提高网格的性能。本文的主要目的是在网格节点之间分配计算负载，并开发一种基于QoS的网格调度算法，使网格更加可靠。网格计算系统不同于传统的分布式计算系统，它强调大规模的资源共享，其中处理器和通信对网格计算的可靠性有重要影响。由最终用户从提交到网格执行的应用程序中启动的可靠性功能。基础设施和管理服务的可靠性，这些服务执行网格系统运行所必需的基本功能，例如资源分配和调度。
2011-02-02 cs.DC
DIANA Scheduling Hierarchies for Optimizing Bulk Job Scheduling
在大规模分布式系统中使用元调度器进行资源管理通常会导致调度器的层次结构。在本文中，我们将讨论为什么现有的元调度层次结构有时是不够的网格系统，由于他们无法重新组织工作已经安排在本地。这样的工作重组是需要适应不断变化的负载，这是常见的大量使用的网格基础设施。我们提出了一个对等调度模型，并使用案例研究和数学建模进行评估。我们详细介绍了DIANA（数据密集型和网络意识）调度算法和队列管理系统，以应付负载分布和支持批量作业调度。我们证明，这样的系统是有益的动态，分布式和自组织的资源管理，并可以帮助优化负载或作业分布在复杂的网格基础设施。
2007-07-05 cs.DC
A Dynamic Distributed Scheduler for Computing on the Edge
本文提出一种持续感知边缘计算环境状态的动态分布式调度器，通过实时调度异构任务以满足延迟、隐私等应用约束，并在真实AI应用评估中优于现有方法。
2023-08-13 cs.DC
Mitigating inefficient task mappings with an Adaptive Resource-Moldable Scheduler (ARMS)
随着现代和未来的高性能计算（HPC）系统逐渐由具有非均匀存储器访问权限的多套接字和多小芯片节点组成，复杂存储层次结构上的高效运行时任务调度变得越来越重要。现有的局部感知调度方案要么需要控制内存约束任务的数据放置策略，要么最大限度地提高所有类别的计算的局部性，从而导致潜在的性能损失。虽然这样的方法是可行的，自适应调度策略是优选的，以提高本地性和资源共享效率，使用便携式编程方案。在本文中，我们提出了自适应资源可模塑的任务（ARMS），在运行时动态映射到一个分区跨越一个或多个线程的任务和DAG的要求的基础上。调度器为每个由任务类型（功能）和任务拓扑（DAG内的任务位置）组成的元组的本地和非本地调度成本构建一个在线平台独立模型。我们评估ARMS使用任务并行版本的SparseLU，2D Stentrum，FMM和MatMul为例。与以前的方法相比，ARMS实现了高达3.5倍的性能增益超过最先进的本地感知调度方案。
2021-12-17 cs.DC cs.PF
Periodic I/O scheduling for super-computers
随着HPC应用对数据需求的不断增长，I/O级的拥塞问题成为超级计算机的关键问题。诸如突发缓冲区和预取之类的架构增强被添加到机器中，但不足以防止拥塞。最近的在线I/O调度策略已经到位，但他们增加了额外的拥塞点和开销的计算应用程序。在这项工作中，我们将展示如何利用HPC应用程序的周期性，以制定有效的定期调度策略，为他们的I/O传输。我们的策略在作业调度阶段计算一次模式，它定义了每个应用程序的I/O行为，之后应用程序独立运行，在指定的时间传输它们的I/O。我们的策略限制了I/O节点级别的I/O拥塞量，并且可以很容易地集成到当前的作业调度器中。我们通过大量的模拟和实验来验证这个模型，并将其与最先进的在线解决方案进行比较，结果表明，我们的调度器不仅具有分散的优势，从而克服了在线调度器的开销，而且它的性能优于这些解决方案，将应用程序扩展提高了13%，最大系统效率提高了18%。
2017-02-22 cs.DC
Learning to Dynamically Select Cost Optimal Schedulers in Cloud Computing Environments
云计算平台的运营成本是运营商最重要的服务质量（QoS）标准之一，对于跟上不断增长的计算需求至关重要。近年来，已经提出了几种基于数据驱动的深度神经网络（DNN）的路由器，通过为动态工作负载提供可扩展和有效的资源管理，这些路由器的性能优于替代方法。然而，最先进的调度器依赖于具有高计算要求的高级DNN，这意味着高调度成本。在非固定的情况下，可能并不总是需要最复杂的过滤器，依靠低成本的过滤器可能足以暂时节省运营成本。在这项工作中，我们提出了MetaNet，一个代理模型，预测的运营成本和调度开销的大量基于DNN的调度器，并选择一个在飞行中，以共同优化作业调度和执行成本。与最先进的方法相比，这有助于改善执行成本，能源使用和服务水平协议违规高达11%，43%和13%。
2022-05-21 cs.DC cs.PF
LRScheduler: A Layer-aware and Resource-adaptive Container Scheduler in Edge Computing
本文提出并实现了边缘计算中基于容器镜像层信息的层感知与资源自适应调度器LRScheduler，通过节点评分、动态加权和负载均衡机制降低容器部署成本，并在Kubernetes框架上完成全流程自动化，实验证明其相比默认调度器能有效降低部署成本。
2025-06-04 cs.DC
A Real-Time Digital Twin for Adaptive Scheduling
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Argonne National Laboratory（阿贡国家实验室）
SchedTwin通过实时数字孪生技术实现自适应调度，优于传统静态策略并保持低开销。
2025-12-21 cs.DC
A Scheduling Algorithm to Maximize Storm Throughput in Heterogeneous Cluster
本文提出一种异构感知调度算法，通过逐步扩展应用图顶点并将算子映射到最合适的集群节点，在 Storm 上实现较默认调度器 7% 至 44% 的吞吐量提升，且接近穷举搜索的最优调度性能。
2020-01-28 cs.DC
RLWS: A Reinforcement Learning based GPU Warp Scheduler
图形处理单元（GPU）的流式多处理器（SM）执行来自一组连续线程（称为线程束）的指令。在每个周期，SM调度来自一组活动线程束的线程束，并且可以在活动线程束之间进行上下文切换以隐藏各种停顿。因此，线程调度器的性能对GPU的性能至关重要。已经提出了几种启发式翘曲调度算法，它们只适用于它们所设计的情况。GPU工作负载在本质上变得非常多样化，因此一种启发式算法可能不适用于所有情况。为了在不同的工作负载范围内工作，这可能会表现出迄今为止看不见的特点，翘曲调度算法必须能够适应在线。我们提出了一种基于强化学习的Warp调度器（RLWS），它根据内核的当前状态和调度动作的长期利益来学习调度Warp，不仅适应不同类型的工作负载，还适应每个工作负载中的不同执行阶段。由于RLWS所使用的状态变量和参数（如学习率和探索率、奖励值和惩罚值）的设计空间很大，我们使用遗传算法来识别状态变量和参数值的有用子集。我们使用GPGPU-SIM模拟器对Rodinia、Parboil、CUDA-SDK和GPGPGPU-SIM基准套件中的大量工作负载进行了评估，并与其他最先进的翘曲调度方法进行了比较。我们的基于RL的实现在80%的内核中实现了最佳或非常接近最佳性能，平均加速比为1.06倍于松散轮循策略和1.07倍于两级策略。
2017-11-17 cs.DC
SAF: Simulated Annealing Fair Scheduling for Hadoop Yarn Clusters
Apache引入了YARN作为下一代Hadoop框架，提供资源管理和中央平台，以跨Hadoop集群提供一致的数据治理工具。Hadoop YARN支持MapReduce等多个框架来处理不同类型的数据，并使用不同的调度策略，如FIFO，容量和公平调度器。DRF是使用短期的、不考虑历史信息的、收敛到多类型资源分配的公平性的最佳选择。然而，DRF性能仍然不令人满意，由于公平性和性能之间的权衡资源利用。为了解决这个问题，我们提出了模拟退火公平调度，SAF，一个长期的公平计划在资源分配具有公平性和优异的性能，在资源利用率和MakeSpan。我们引入了一个新的参数熵，这是一种方法来表示整个集群的资源分配的公平性的混乱。我们在Hadoop Yarn集群中实现了SAF作为一个可插拔的调度器，并在Yarn集群负载模拟器（SLS）和CloudSim Plus模拟框架中使用标准的MapReduce基准对其进行了评估。最后，两个模拟工具的结果都证明了我们的主张。与DRF相比，SAF显著提高了YARN集群的资源利用率，并将MakeSpan降低到适当的水平。
2020-08-28 cs.DC
Libra: An Economy driven Job Scheduling System for Clusters
计算机集群已经成为高性能、高吞吐量和高可用性计算的主流并行和分布式平台。为了实现对集群的有效资源管理，已经设计了许多集群管理系统和集群管理器。然而，他们的重点基本上是最大限度地提高CPU性能，而不是提高交付给用户的实用程序的价值和服务的服务质量。本文提出了一种新的计算经济驱动的调度系统称为天秤座，它已被设计为支持基于用户的资源分配？服务质量（QoS）要求。它旨在作为现有排队和资源管理系统的附加组件。第一个版本已经实现为PBS（便携式批处理系统）系统的插件调度程序。调度器提供基于市场的经济驱动的服务，用于管理集群上的批处理作业，根据用户的预算和最后期限，而不是系统性能考虑确定的效用调度CPU时间。Libra调度器确保在O（n）运行时间内满足这两个约束。Libra调度器已经使用GridSim工具包进行了模拟，以进行详细的性能分析。结果表明，基于截止日期和预算的比例资源分配策略相比，以系统为中心的调度策略，提高了系统的效用和用户满意度。
2002-07-22 cs.DC cs.DS
Analysis of Dynamic Scheduling Strategies for Matrix Multiplication on Heterogeneous Platforms
超级计算机的规模和异构性的巨大增加使得预测调度算法的性能变得非常困难。因此，在运行时做出调度决策的动态解决方案已经超过了静态分配策略。Hadoop等动态计算器的简单性和效率是MapReduce框架成功的关键。诸如StarPU、PaRSEC或StarSs之类的动态图也被开发用于更受约束的计算，例如来自线性代数的任务图。为了做出它们的决定，这些运行时系统利用一些静态信息，诸如任务到关键路线的距离或者任务与计算资源（CPU、GPU等）之间的亲和性。以及诸如输入数据实际位于何处的动态信息。在本文中，我们集中在两个基本的线性代数核，即外积和矩阵乘法。对于每个问题，我们提出了几个动态策略，可以在运行时使用，我们提供了一个分析研究其理论性能。我们证明，理论分析提供了很好的估计量的通信引起的动态策略，可以用来有效地确定阈值中使用的动态调度，从而使它们之间的选择为一个给定的问题和架构。
2014-04-15 cs.DC
Enabling Adaptive Grid Scheduling and Resource Management
网格概念的广泛采用使得科学家和研究人员可以使用越来越多的联合计算、存储和可视化资源。这些资源的分布式和异构性使得大多数传统的集群监控和管理方法不合适，并对此类系统的工作流调度提出了新的挑战。有效的资源利用率监控和高粒度但自适应的测量是一个更有效的网格调度的先决条件。我们提出了一套测量应用程序，能够监控每个进程的资源利用率，和一个可定制的工具，用于模拟观察到的利用率模型。我们还概述了我们未来的工作预测和概率网格调度。该研究是英国电子科学EPSRC与BT合作赞助的SO-GRM（自组织网格资源管理）项目的一部分。
2007-11-02 cs.DC
SchEdge: A Dynamic, Multi-agent, and Scalable Scheduling Simulator for IoT Edge
本文提出了SchEdge，一个用于模拟物联网边缘任务调度的动态、自适应且可扩展的框架，通过多智能体并行实现多种调度方案，并经实验验证了其效率、可扩展性和鲁棒性。
2025-04-06 cs.DC
Scalable Hierarchical Scheduling for Malleable Parallel Jobs on Multiprocessor-based Systems
多核和基于多处理器的计算机系统的激增导致了并行应用的爆炸式发展，因此需要高效的并行处理器。本文研究了多处理器系统上可延展并行作业的分层调度问题，这一问题出现在许多分布式和多层计算环境中。我们提出了一个分层调度算法，命名为AC-DS，它包括一个反馈驱动的自适应调度器，一个期望的聚合计划和一个有效的资源分配政策。从理论的角度来看，我们表明，AC-DS具有可扩展的性能，无论层次的数量。特别是，我们证明了AC-DS实现$O(1)$ -竞争力的整体完成时间的工作，或完工时间。一个详细的可延展作业模型的开发实验评估所提出的调度算法的有效性。结果验证了AC-DS的可扩展性，并表明AC-DS优于其他策略的广泛的并行工作负载。
2014-12-13 cs.DC
CloudCoaster: Transient-aware Bursty Datacenter Workload Scheduling
今天的集群往往不得不在各种不同的工作之间分配资源。这些作业在执行时间和到达率上都是异构的。执行时间的异质性导致了混合调度器的发展，它可以调度短作业和长作业，以确保良好的任务布局。然而，到达速率异质性或突发性仍然是现有分组交换机中的一个问题。这些混合型集群管理静态配置的集群上的资源，这些资源可能很快被到达的作业数量的激增所淹没。在本文中，我们提出了CloudCoaster，一个混合调度器，动态调整集群的大小，利用廉价的瞬态服务器。CloudCoaster以智能方式安排作业，提高作业性能，同时降低总体资源成本。我们评估CloudCoaster的有效性，通过模拟现实世界的痕迹，并将其与最先进的混合调度。CloudCoaster将短作业的平均延迟时间提高了4.8倍，同时保持长作业性能。此外，CloudCoaster将短分区预算减少了29.5%以上。
2019-07-03 cs.DC cs.PF
