Deep Reinforcement Learning-based Methods for Resource Scheduling in Cloud Computing: A Review and Future Directions
本文综述了基于深度强化学习的云计算资源调度方法，回顾其应用并探讨挑战与未来方向，以提升服务质量、降低成本与能耗。
2024-11-21 cs.DC
Job Scheduling in High Performance Computing
近几十年来，超级计算机不断增长的处理能力使我们能够探索越来越复杂的科学问题。有效地调度这些作业对单个作业的性能和系统效率至关重要。传统的高性能计算（HPC）中的作业调度器是简单的，集中在提高CPU利用率。新的硬件资源和新的硬件结构的出现对传统的嵌入式系统提出了严峻的挑战。日益多样化的工作负载（包括计算密集型和数据密集型应用程序）需要更高效的数据处理器。更糟糕的是，上述两个因素相互作用，这使得调度问题更具挑战性。近年来，许多研究探讨了新的调度方法，以应对系统快速变化带来的问题。在这项研究中，我们调查了HPC调度和最先进的调度方法所面临的挑战，以克服这些挑战。此外，我们提出了一个智能调度框架，以减轻现代作业调度中遇到的问题。
2021-09-20 cs.DC
Scheduling IoT Applications in Edge and Fog Computing Environments: A Taxonomy and Future Directions
雾计算作为一种分布式模式，在网络边缘提供云服务，具有低延迟和高访问带宽，以支持各种物联网应用场景。为了充分利用这种计算模式的潜力，需要可扩展的，自适应的和准确的调度机制和算法，以有效地捕获用户，物联网应用，环境属性和优化目标的动态和需求。本文介绍了在雾计算中调度物联网应用程序的最新文献分类。基于我们的新的分类方案，目前的工作在文献中进行了分析，每个类别的研究差距，并描述各自的未来发展方向。
2022-04-26 cs.DC
A Survey on Scheduling the Task in Fog Computing Environment
该综述针对雾计算环境下的任务调度问题，梳理2018-2021年相关研究，分析现有调度方法及核心挑战，并提出该领域的未来研究方向，填补了相关综合综述的空白。
2023-12-20 cs.DC
Task Scheduling in Cloud Computing Using Hybrid Meta-heuristic: A Review
近年来，随着高带宽互联网接入的出现，云计算应用蓬勃发展。随着越来越多的应用程序在云上运行以及不同云平台的总体用户群的增加，对高效作业调度技术的需求也有所增加。传统的作业调度算法的任务是确定作业的执行顺序，其使用最少的资源，如时间、处理、存储器等。通常，用户需要更多的服务和非常高的效率。有效的调度技术有助于资源的合理利用。在这个研究领域中，混合元启发式算法已经被证明是非常有效的优化任务调度提供更好的成本效率比单独使用。这项研究提出了一个系统的和广泛的分析任务调度技术在云计算使用各种混合变种的Meta探试法，如遗传算法，禁忌搜索，和谐搜索，人工蜂群，粒子群优化等在这项研究综述中，一个单独的部分讨论了使用各种性能评估指标在整个文献。
2022-01-23 cs.DC
Resource Management and Scheduling for Big Data Applications in Cloud Computing Environments
本章介绍大数据处理平台的软件架构。它将提供在云环境中部署大数据处理系统时所涉及的资源管理技术的深入知识。它从最基本的开始，逐步介绍我们分为多个层次的资源管理的核心组件。它涵盖了国家的最先进的实践和研究，在SLA为基础的资源管理，特别侧重于作业调度机制。
2018-12-31 cs.DC
A Workflow-Forecast Approach To The Task Scheduling Problem In Distributed Computing Systems
本文的目的是为学术目的的高性能计算系统提供基于深度学习的调度方法的描述。在TOP500超级计算机站点中，学术用途的分布式计算系统（DCS）的份额达到17.4个百分点（性能指标为15.6个百分点），使其成为一个有价值的研究对象。该方法的核心是利用深度学习算法，根据先前提交的任务预测系统未来的工作流程。资源管理系统（RMS）使用预测任务的信息来执行有效的调度。
2013-10-06 cs.DC
Scheduling on Grid with communication Delay
并行处理是高性能计算（HPC）的核心，过去是，现在仍然是提高计算机系统速度的最有效途径。在过去的几年里，处理器的计算能力和网络速度的大幅发展已经显著改变了HPC的格局。地理分布的异构系统现在可以合作和共享资源来执行一个应用程序。这种计算基础设施被称为计算网格或网格计算。网格可以看作是一种分布式的大规模集群计算。从另一个角度来看，它构成了云计算系统的主要部分，除了瘦客户端和实用计算[1，2，3]。因此，网格计算吸引了众多的研究者[4]。人们对网格计算的兴趣已经超越了传统的网格计算的范式，转向了无线网格计算[5，6]。
2015-12-09 cs.DC
Economic-based Distributed Resource Management and Scheduling for Grid Computing
计算网格作为下一代计算的基础设施，能够共享、选择和聚合地理上分布的资源，以解决科学、工程和商业中的大规模问题。由于网格中的资源是异构的，并且在地理上分布，具有不同的可用性以及针对不同用户在不同时间的各种使用和成本策略，并且优先级以及目标随时间而变化。在这样一个大型的分布式环境中，资源管理和应用程序调度是一项复杂的任务。本论文提出了一个分布式计算经济作为一个有效的隐喻资源管理和应用程序调度。提出了一种支持资源交易和基于服务质量的调度的体系结构框架。它使资源的供应和需求的监管，并提供了一个激励资源所有者参与网格和动机的用户之间的最后期限，预算和所需的服务质量水平进行权衡。论文通过开发用户服务质量需求驱动的调度策略和算法，展示了基于经济的系统用于对等分布式计算的能力。它证明了他们的有效性，通过执行调度实验在全球范围内的网格解决参数扫描应用程序。
2002-04-22 cs.DC
Characterizing Application Scheduling on Edge, Fog and Cloud Computing Resources
云计算已经发展成为由商业提供商提供的流行的分布式计算服务。最近，边缘和雾计算资源作为物联网（IoT）部署的一部分出现在广域网上。这三个资源抽象层是互补的，并提供独特的好处。在云上调度应用程序一直是一个活跃的研究领域，工作流和XML模型作为一个灵活的抽象来指定要执行的应用程序。然而，边缘和雾的应用程序编程和调度模型仍在成熟中，并且可以从云资源的学习中受益。同时，在应用程序的执行中使用这些资源也是有价值的。在本文中，我们提出了一个概念分类，这些概念对于指定和解决边缘上的应用程序调度问题，以及云计算资源至关重要。我们首先描述了这些基础设施的资源能力和局限性，并设计了一个分类的应用程序模型，服务质量（QoS）的约束和目标，调度技术，基于文献综述。我们还使用这种分类法列出了关键的研究原型和论文。这项调查有利于这些分布式资源的开发人员和研究人员设计和分类他们的应用程序，选择相关的计算抽象，开发或选择适当的调度算法。它还强调了文学中仍然存在开放问题的差距。
2019-04-23 cs.DC
DCSim: Computing and Networking Integration based Container Scheduling Simulator for Data Centers
本文提出DCSim容器调度模拟器，融合计算与网络建模，基于SimPy和Mininet实现数据中心容器调度仿真，以解决传统模拟器忽视网络影响的问题。
2024-11-21 cs.DC
Distributed and Application-aware Task Scheduling in Edge-clouds
边缘计算是一种新兴技术，它将计算置于网络边缘以提供超低延迟。计算卸载是一种将计算从移动设备迁移到远程服务器的范例，现在可以通过将计算卸载到边缘云中的云来使用边缘计算的力量。然而，边缘云计算卸载的任务调度面临着双重挑战。首先，由于微云在地理上是分布式的，因此在没有集中控制的情况下，每个微云很难执行负载均衡。第二，由于计算卸载的任务具有多种类型，因此在任务类型方面保证用户体验质量（QoE）是具有挑战性的。在本文中，我们提出了Petrel，一个分布式和应用程序感知的边缘云任务调度框架。Petrel实现了基于样本的负载均衡技术，并根据任务类型采用自适应调度策略。这种应用感知调度不仅提供了QoE保证，而且提高了整体调度性能。跟踪驱动的模拟表明，Petrel实现了显着的改善，现有的调度策略。
2019-02-12 cs.DC
Scheduling of Distributed Applications on the Computing Continuum: A Survey
本文综述了计算连续体中分布式应用调度研究，系统梳理了面向云、雾、边缘异构环境的目标、方法与评估工具，为NP难资源分配与调度问题提供参考。
2024-01-20 cs.DC
Scale: Deep Reinforcement Learning for Container Scheduling in Serverless Edge Computing
Nottingham Trent University（诺丁汉特伦特大学）；Loughborough University（拉夫堡大学）；University of Bologna（博洛尼亚大学）；TU Wien（维也纳工业大学）；University of Oregon（俄勒冈大学）
本文提出Scale框架，通过深度强化学习优化容器调度与资源分配，在动态负载下平衡系统稳定性和性能，实验证明其在决策效率和资源利用率方面优于整数线性规划求解器。
2026-05-15 cs.DC
An energy-efficient scheduling algorithm for shared facility supercomputer centers
高性能计算的发展与能源消耗的增长有关。集群计算的性能（通过提高性能和使用的处理器、GPU和协处理器的数量来提高）。计算元件数量的增加导致能量消耗的显著增长。超级计算机中心（SCC）的电网限制正在推动向更节能的解决方案过渡。计算资源的升级通常是逐步完成的，即旧超级计算机的部分被从服务中删除，并被新的超级计算机取代。单个SCC在任何时候都可以操作具有不同性能和功耗的多个计算系统。这就是为什么在SCC资源上调度并行程序执行以优化能耗并最小化执行时间的增加（节能调度）的问题是重要的。所提出的工作的目标是在SCC调度计算资源的一个新的节能算法的发展。为了达到这一目标，作者分析了在共享设施中调度计算资源的方法，包括能量消耗最小化方法。该研究使得有可能制定一组CC的节能调度问题，并提出了一种算法，其解决方案。NPB基准测试的实验允许实现显着降低能耗与运行时间的小幅增加。
2021-11-17 cs.DC
Scheduling in Cloud,Fog, and Edge Computing: A Comparative Analysis and Decision Framework for Technique Selection
Department of Computing and Software, McMaster University（麦克马斯特大学计算与软件系）
本综述对比分析云、雾、边缘计算中不同调度技术的权衡，开发了基于多维度因素的调度技术选择决策框架，为相关场景的调度方法选型提供指导。
2026-10-12 cs.DC
EcoLife: Carbon-Aware Serverless Function Scheduling for Sustainable Computing
本文提出ECOLIFE，首个协同优化碳足迹与性能的碳感知无服务器函数调度器，通过智能利用多代硬件并扩展粒子群优化算法，在保证高性能的同时有效降低碳足迹。
2024-10-16 cs.DC
A Fuzzy Differential Evolution Algorithm for Job Scheduling on Computational Grids
网格计算是近年来兴起的一个跨地域共享数据、存储和计算的计算领域。本文提出了一种新的模糊方法，利用差分进化（DE）的计算网格上的作业调度。基于模糊的DE生成一个最优的计划，在最短的时间内完成的工作。我们用遗传算法、模拟退火算法、差分进化算法和模糊粒子群算法对所提出的模糊DE算法进行了性能评估。实验结果表明，与其他算法相比，新算法能产生更多的最优解。
2014-07-23 cs.DC
Carbon-Neutralized Task Scheduling for Green Computing Networks
人类活动造成的碳排放量增加导致的气候变化已被确定为对地球最严重的威胁之一。碳中和作为扭转气候变化的关键方法，已引发新法规的制定，以强制经济活动转向低碳解决方案。使用户能够处理计算密集型任务的计算网络由于能源消耗的增加而产生大量的碳排放。为了分析通过调度策略可实现的碳排放减少，我们首先提出了一种新的虚拟调度网络模型，该模型捕获网络中的通信和计算过程。为了适应计算网络所利用的可再生能源的高度可变和不可预测的性质（即，网格的碳强度随时间和位置而变化），提出了一种新的基于碳强度的调度策略，通过Lyapunov优化中的漂移加惩罚方法在云上动态调度计算任务.我们使用真实世界数据的数值分析表明，与基于长度的策略相比，该策略在AI模型训练任务的累积碳排放量上减少了54%。
2022-09-06 cs.DC
Energy-Efficient Scheduling of HPC Applications in Cloud Computing Environments
高性能计算（HPC）在商业和消费者IT应用中的使用正变得越来越普遍。他们需要能够快速、可扩展地访问高端计算功能。云计算承诺使用数据中心提供这样的计算基础设施，以便HPC用户可以根据需要从世界任何地方的云访问应用程序和数据，并根据他们使用的内容付费。然而，不断增长的需求急剧增加了数据中心的能源消耗，这已成为一个关键问题。高能耗不仅意味着高能源成本，这将降低云提供商的利润率，而且还意味着高碳排放，这对环境来说是不可持续的。因此，需要节能的解决方案，不仅从云提供商的角度，而且从环境的角度来解决能源消耗的高增长。为了解决这个问题，我们提出了接近最佳的调度策略，利用跨多个数据中心的云提供商的异构性。我们考虑了许多能源效率因素，如能源成本、碳排放率、工作负载和CPU能效，这些因素在不同的数据中心中会根据位置、架构设计和管理系统而变化。与基于利润的调度政策相比，我们基于碳/能源的调度政策能够实现平均高达30%的能源节约，从而实现更高的利润和更少的碳排放。
2009-09-07 cs.DC
Scheduling Policies for Stability and Optimal Server Running Cost in Cloud Computing Platforms
我们提出了吞吐量和成本最优的作业调度算法在云计算平台提供基础设施即服务。我们首先考虑在线迁移，并提出作业调度算法，以尽量减少作业迁移和服务器运行成本。我们认为算法，假设知识的工作量到达的工作。我们刻画了系统稳定性的最优成本。我们开发了一个基于漂移加惩罚框架的算法，可以任意接近地实现最优成本。具体来说，该算法产生延迟和成本之间的权衡。然后，我们放松了工作规模的知识假设，并给出了一个算法，使用现成的服务的工作。我们表明，该算法给出了订单明智的相同成本的工作大小为基础的算法。稍后，我们考虑引起迁移延迟的离线作业迁移。我们再次提出吞吐量优化算法，最大限度地减少服务器运行成本。我们说明了所提出的算法的性能，并通过仿真比较这些现有的算法。
2022-06-05 cs.DC
Service Level Driven Job Scheduling in Multi-Tier Cloud Computing: A Biologically Inspired Approach
云计算环境通常必须处理随机到达的计算工作负载，这些计算工作负载在资源需求方面变化并且要求高服务质量（QoS）义务。通常采用服务级别协议（SLA）来管理云计算服务提供商对客户端的QoS义务。服务提供商每天面临的一个典型挑战是在可用于计算的有限资源与变化的随机需求的高QoS要求之间保持平衡。在管理这些相互冲突的目标方面的任何不平衡都可能导致客户不满意和潜在的重大商业处罚，或者导致资源过剩的云计算环境，其获取和运营成本可能非常高。因此，在客户端到达环境时调度客户端的工作负载以确保其及时执行已经成为云计算中的中心问题。在文献中已经报道了各种方法来解决这个问题：最短队列，加入空闲队列，循环，最小最小，最大最小和最小连接，仅举几例。然而，这些方法的优化策略未能捕获QoS义务及其相关的商业处罚。本文提出了一种在多层环境中实现服务级驱动的负载调度和平衡的方法。采用联合调度和平衡操作来在资源之间分配和调度作业，使得客户端作业的总等待时间最小化，并且因此减轻了由服务提供商招致的惩罚的可能性。一个惩罚模型被用来量化惩罚的服务提供商招致的作业的总等待时间的函数。一个虚拟队列抽象，提出了促进最佳的作业调度在层次上。该问题是NP完全问题，提出了一种求解作业调度问题的遗传算法。
2020-04-12 cs.DC
Reinforcement Learning based Workflow Scheduling in Cloud and Edge Computing Environments: A Taxonomy, Review and Future Directions
本文综述云与边缘环境中基于DRL的工作流调度，提出分类体系并评估现有研究优劣，指出多目标、维度灾难等挑战及未来方向。
2024-08-06 cs.DC
An optimised cuckoo-based discrete symbiotic organisms search strategy for tasks scheduling in cloud computing environment
本文提出结合Levy-Flight的C-DSOS策略用于云计算任务调度，以最小化不平衡度，实验证明其在大搜索空间下收敛率和统计显著性优于SASOS算法。
2023-11-26 cs.DC
A Stochastic Approximation Approach for Foresighted Task Scheduling in Cloud Computing
随着对云资源需求的不断增长和弹性化，寻找一种最优的任务调度机制成为云服务提供商面临的挑战。由于资源需求在长度和处理上随时间的时变性质以及云资源的动态性和异构性，旨在最大化任务调度性能的现有近视任务调度解决方案是低效的，并且牺牲了在资源利用率和响应时间方面的长期系统性能。在本文中，我们提出了一个最佳的解决方案，在云环境中执行前瞻性的任务调度。针对虚拟机队列长度动态变化的先验知识在运行时间未知的问题，提出了一种在线强化学习方法来进行有预见的任务分配.评估结果表明，我们的方法不仅减少了提交任务的响应时间和完工时间，而且提高了资源效率。因此本文提出了一种基于强化学习的调度方法。强化学习适应环境条件，响应不稳定的要求，可以使系统的性能得到长期的提高。结果表明，该方法不仅可以减少响应时间和最大完工时间，而且可以提高资源利用率作为次要目标。
2020-04-11 cs.DC
TF-DDRL: A Transformer-enhanced Distributed DRL Technique for Scheduling IoT Applications in Edge and Cloud Computing Environments
针对边缘与云计算中物联网应用调度的动态性、多任务依赖等挑战，提出融合Transformer、PER与离策略校正的分布式DRL调度技术TF-DDRL，在多类成本指标上较同类方法最高降幅达60%。
2024-10-31 cs.DC
GridSim: A Toolkit for the Modeling and Simulation of Distributed Resource Management and Scheduling for Grid Computing
集群、网格和对等（P2P）网络已成为下一代并行和分布式计算的流行范例。在这种大规模的分布式系统中，资源的管理和应用程序的调度是一项复杂的任务。为了证明资源代理和相关调度算法的有效性，需要在不同的场景下评估它们的性能，例如不同数量的资源和具有不同需求的用户。在网格环境中，由于资源和用户分布在多个组织中，并且具有各自的策略，因此很难甚至不可能以可重复和可控的方式执行调度器性能评估。为了克服这个限制，我们已经开发了一个基于Java的离散事件网格仿真工具包GridSim。该工具包支持异构网格资源（时间和空间共享）、用户和应用程序模型的建模和仿真。它为应用程序任务的创建、任务到资源的映射及其管理提供了原语。为了证明GridSim工具包的适用性，我们模拟了Nimrod-G网格资源代理和评估的最后期限和预算约束的成本和时间最小化调度算法的性能。
2002-03-14 cs.DC
Simple and Effective Distributed Computing with a Scheduling Service
高吞吐量计算项目需要解决大量问题。在许多情况下，这些问题可以在桌面PC上解决，或者可以分解为独立的“PC可解决”子问题。在这种情况下，这些项目是高性能计算项目，但这仅仅是因为所需计算的绝对数量。我们简要介绍了我们的努力，以增加这样一个项目的吞吐量。然后，我们将解释如何轻松地设置一个由运行Windows 95、98、2000或NT的标准联网PC组成的分布式计算设施。该设施不需要特殊的软件或硬件，涉及很少或不涉及应用软件的重新编码，并且对PC的所有者几乎看不见地操作。根据所招募的PC的数量和质量，性能可以与超级计算机相媲美。
2001-06-15 cs.DC
An Economic-based Resource Management and Scheduling for Grid Computing Applications
在网格计算环境中，资源管理和调度是实现资源高效利用的关键。在网格系统中，由于资源的异构性，应用程序的调度是一项非常复杂和具有挑战性的任务。在这方面的研究大多集中在提高网格系统的性能。基于可分负载理论，针对不同类型的工作负载和单个源处理器，已经提出了一些分配模型。本文介绍了一种新的资源分配模型，该模型以多个负荷源处理机作为经济模型。通过线性规划方法，得到了以电网用户成本最小为目标的最优负荷分配方案。结果表明，该资源分配模型能够有效地将工作负载分配到合适的资源上。实验结果表明，该模型在成本和时间上都得到了较好的解决方案。
2010-04-20 cs.DC
A Sum-of-Ratios Multi-Dimensional-Knapsack Decomposition for DNN Resource Scheduling
近年来，为了维持训练深度神经网络（DNN）的资源密集型计算需求，人们普遍认为，利用大规模计算集群中的并行性对于DNN训练作业的有效部署至关重要。然而，传统计算集群的现有资源调度器不太适合DNN训练，这导致作业完成时间性能不令人满意。这些资源调度方案的局限性促使我们提出一种新的计算集群资源调度框架，该框架能够利用DNN作业的特殊分层结构，并显着提高其作业完成时间。本文的贡献有三个方面：i）考虑DNN的分层结构，提出了一种新的资源调度分析模型，使我们能够解析地表达计算集群中DNN训练的资源调度优化问题; ii）基于所提出的性能分析模型，然后，我们开发了一个有效的资源调度算法的基础上，广泛采用的参数服务器架构，使用比率和多维背包分解（SMD）方法，提供强大的性能保证; iii）我们进行了广泛的数值实验，以证明所提出的调度算法的有效性和其优越的性能超过国家的艺术。
2021-05-28 cs.DC
Fine-Grained Scheduling for Containerized HPC Workloads in Kubernetes Clusters
容器化技术提供轻量级的操作系统级虚拟化，并通过以低性能开销和低维护和扩展工作量打包应用程序来实现可移植性、可重复性和灵活性。此外，容器编排（例如，Kubernetes）在云中被广泛用于管理运行许多容器化应用程序的大型集群。然而，考虑容器化高性能计算（HPC）工作负载的性能细微差别的调度策略尚未得到很好的探索。本文针对Kubernetes集群中的容器化HPC工作负载进行细粒度调度策略，特别关注根据应用程序配置文件将每个作业划分为合适的多容器部署。我们在不同的管理层（应用程序和基础设施）上实现我们的调度方案，这样每个组件都有自己的重点和算法，但仍然与其他组件协作。我们的研究结果表明，我们的细粒度调度策略优于基线和基线与CPU/内存亲和力启用的政策，减少整体响应时间的35%和19%，分别，也提高了34%和11%，分别。与其他类似的HPC云框架相比，它们还提供了更好的可用性和灵活性来指定HPC工作负载，同时由于其多层方法而提供了更好的调度效率。
2022-11-21 cs.DC
A Deep Reinforcement Learning Approach for Cost Optimized Workflow Scheduling in Cloud Computing Environments
本文针对云环境中竞价型实例价格波动与中断带来的工作流调度不确定性，提出基于深度强化学习的自主调度方法，并在 Argo 中实现，实验证明其成本表现优于现有基准。
2024-08-06 cs.DC
Megha: Decentralized Global Fair Scheduling for Federated Clusters
本文提出去中心化资源管理框架 Megha，通过集群逻辑分区和基于最终一致性的分布式全局调度器，在联邦集群中以数十毫秒级开销支持公平且满足放置约束的任务调度。
2022-11-10 cs.DC
An Online Resource Scheduling for Maximizing Quality-of-Experience in Meta Computing
BNU-HKBU United International College（北师港浸大）；Beijing Normal University（北京师范大学）；Hong Kong Baptist University（香港浸会大学）
针对元计算场景下预算有限、元计算机QoE未知的资源调度问题，本文基于MAB框架建模，提出结合凹效用函数的UCB算法，理论证明次线性遗憾上界，实验验证了其有效性。
2023-04-26 cs.DC
Practical Scheduling for Real-World Serverless Computing
无服务器计算由于其提供的易用性和成本效益而快速增长。然而，功能调度，无服务器系统的关键组成部分，一直被忽视。在本文中，我们采用第一原理方法来设计一个调度器，以满足在实际部署中看到的无服务器功能的独特特性。我们首先创建一个分类的调度策略沿三个维度。接下来，我们使用模拟来探索Azure函数的14天跟踪中的函数特征的调度策略空间，并得出结论，对于常见的执行时间分布和负载范围，经常使用的功能（如后期绑定和随机负载均衡）是次优的。我们使用这些见解来设计Hermes，这是一个具有三个关键特征的无服务器功能调度器。首先，为了避免由于高函数执行时间可变性而导致的头端阻塞，Hermes使用早期绑定和处理器共享的组合来在各个工作机器上进行调度。第二，Hermes使用混合负载均衡方法，在低负载时改进整合，同时在高负载时采用最小负载平衡来保持高性能。第三，Hermes是负载和本地感知的，与纯基于负载的策略相比，减少了冷启动的次数。我们为Apache OpenWhisk实现了Hermes，并证明了，对于在Azure和其他真实世界跟踪中观察到的函数模式，与现有策略相比，它可以降低高达85%的函数速度，提高60%的吞吐量。
2021-11-14 cs.DC
Joint Task Scheduling and Container Image Caching in Edge Computing
针对边缘计算中容器镜像下载受带宽限制的问题，提出联合任务调度与镜像缓存的深度强化学习算法及自适应缓存更新方法，实验显示总延迟和等待延迟平均分别降低23%和35%。
2023-10-01 cs.DC
A Task Allocation Schema Based on Response Time Optimization in Cloud Computing
云计算是在网格计算基础上发展起来的一种新兴的分布式计算。任务调度是云计算的核心研究内容，它研究如何在物理节点之间分配任务，使任务得到均衡的分配，或者使每个任务的执行代价降到最低，或者使系统整体性能达到最优。与以往以处理时间为目标的任务片顺序执行独立任务的模型不同，本文建立了以响应时间为目标的任务片并行执行模型。然后利用一种改进的调整熵函数方法求解。最后，设计了一种新的任务调度算法。实验结果表明，该算法的响应时间远低于博弈论算法和平衡调度算法，博弈论算法虽然目标函数值更优，但在并行性上并不一定优于平衡调度算法。
2014-04-18 cs.DC
Heterogeneity-Aware Cluster Scheduling Policies for Deep Learning Workloads
GPU、TPU、FPGA和定制ASIC等专用加速器已越来越多地部署用于训练深度学习模型。这些加速器在模型架构中表现出异构的性能行为。用于加速器集群的现有算法，用于在许多用户之间仲裁这些昂贵的培训资源，已经展示了如何优化各种多任务，多用户目标，如公平性和完工时间。不幸的是，现有的性能分析器在很大程度上没有考虑性能异质性。在本文中，我们提出了Gavel，一个异构性感知调度系统，广泛的现有的调度策略。Gavel将这些策略表示为优化问题，使得以异构感知的方式为目标进行优化变得容易，同时也认识到了空间共享等性能优化。然后，Gavel使用基于轮的调度机制来确保作业在给定目标调度策略的情况下获得理想的分配。Gavel的异构感知策略允许异构集群维持更高的输入负载，并将最终目标（如平均作业完成时间和完工时间）提高到异构不可知策略的3.5倍。
2020-08-20 cs.DC
Deep Reinforcement Learning-based Scheduling for Optimizing System Load and Response Time in Edge and Fog Computing Environments
针对边缘/雾计算环境中物联网应用调度面临的过载、依赖约束和资源限制等挑战，提出基于深度强化学习的调度算法DRLIS，在FogBus2框架中实现并显著降低了负载均衡、响应时间和加权成本。
2023-10-23 cs.DC
Collaborative Resource Management and Workloads Scheduling in Cloud-Assisted Mobile Edge Computing across Timescales
针对边缘资源受限下的物联网服务托管与任务调度问题，提出跨时间尺度的RMWS框架，结合Gibbs采样、交替最小化和次梯度下降算法联合优化服务放置、资源供应与工作负载调度，实现至少10%的性能提升。
2024-05-31 cs.DC
GADGET: Online Resource Optimization for Scheduling Ring-All-Reduce Learning Jobs
在分布式深度学习（Distributed Deep Learning，简称EML）的推动下，近年来，人们对资源密集型分布式/并行计算的需求迅速增长，以处理EML计算作业。为了解决分布式计算中的网络通信瓶颈和负载均衡问题，越来越多地采用所谓的"环全减“分散式架构来消除对专用参数服务器的需要。然而，到目前为止，仍然缺乏理论上的理解，如何设计资源优化算法，有效地调度计算集群中的环所有减少的并行作业。这促使我们提出了一系列新的资源调度设计，以填补这一空白的环所有减少的可重构作业。我们在本文中的贡献是三方面的：i）我们提出了一个新的资源调度分析模型，用于环全归约深度学习，它涵盖了性能优化中的广泛目标（例如，过度训练避免，能源效率，公平性）; ii）基于所提出的性能分析模型，我们开发了一种高效的资源调度算法，称为GADGET（贪婪环-全部-减少分布式图嵌入技术），它享有可证明的强性能保证; iii）我们进行了广泛的跟踪驱动的实验，以证明GADGET方法的有效性及其优于现有技术的优势。
2022-02-02 cs.DC
Hybrid Job-driven Scheduling for Virtual MapReduce Clusters
对于预算有限的租户来说，通过从VPS提供商租用多个虚拟专用服务器（VPS）来建立虚拟MapReduce集群是具有成本效益的。为了提供一个合适的调度方案，这种类型的计算环境，我们在本文中提出了一个混合作业驱动的调度方案（JoSS）从租户的角度来看。JoSS不仅提供作业级调度，而且提供映射任务级调度和约简任务级调度。JoSS根据作业规模和作业类型对MapReduce作业进行分类，并设计适当的调度策略来调度每类作业。目标是提高map任务和reduce任务的数据局部性，避免作业饥饿，并提高作业执行性能。JoSS的两个变化，进一步介绍了分别实现更好的地图数据的本地性和更快的任务分配。我们进行了广泛的实验，以评估和比较这两种变化与当前的调度算法支持Hadoop。结果表明，这两个变化优于其他测试算法的地图数据的局部性，减少数据的局部性，并在不产生显着的开销网络开销。此外，这两种变体分别适用于不同的MapReduce工作负载场景，并在所有测试算法中提供最佳的作业性能。
2018-09-11 cs.DC
Online Container Scheduling for Low-Latency IoT Services in Edge Cluster Upgrade: A Reinforcement Learning Approach
针对边缘集群升级时传统云调度策略不适配、易影响运行任务的问题，提出基于策略梯度的强化学习在线容器调度算法，可将总任务时延较基线降低约27%。
2023-07-22 cs.DC
Rubick: Exploiting Job Reconfigurability for Deep Learning Cluster Scheduling
针对现有深度学习集群调度将可重构训练作业视为黑盒导致的性能与利用率低下问题，提出Rubick调度系统，联合优化作业执行方案与多资源分配，在64-GPU集群上显著提升作业完成速度与集群效率。
2024-08-16 cs.DC
FlowMoE: A Scalable Pipeline Scheduling Framework for Distributed Mixture-of-Experts Training
FlowMoE提出统一流水线调度框架，覆盖MHA、门控、专家计算及A2A通信，并通过张量块优先级机制重叠全归约通信，显著降低训练时间、能耗和内存使用。
2025-10-07 cs.DC
Learning Interpretable Scheduling Algorithms for Data Processing Clusters
针对数据处理集群中DAG作业调度，提出从复杂深度学习模型行为中蒸馏简单调度策略的方法，实现可解释性并易于适应边缘情况，且保真度高、性能优于原模型。
2024-05-29 cs.DC
Alternative Mixed Integer Linear Programming Optimization for Joint Job Scheduling and Data Allocation in Grid Computing
本文针对网格计算中的作业调度与数据分配联合优化问题，提出一种交替固定决策变量并利用MILP求解的混合整数二次约束规划方法，实验证明其显著优于现有启发式方法且具强泛化性与鲁棒性。
2025-02-01 cs.DC
Data-driven scheduling in serverless computing to reduce response time
在功能即服务（FaaS）中，客户部署功能而不是完整的虚拟机或Linux容器。云提供商负责维护这些功能的运行时环境。FaaS产品由所有主要的云提供商提供（例如Amazon Lambda，Google Cloud Functions，Azure Functions）;以及独立的开源软件（例如Apache OpenWhisk）及其商业变体（例如Adobe I/O Cloud或IBM Cloud Functions）。我们采用FaaS集群中单个节点的自底向上视角。我们假设已经安装了分配给这个节点的一组函数的所有执行环境。我们的目标是调度由负载均衡器传递的函数的单独调用，以最小化与响应时间相关的性能指标。部署的函数通常会重复执行，以响应最终用户的多次调用。因此，我们的调度决策是基于本地收集的信息：记录的调用频率和执行时间。我们提出了一些算法，我们也采用了一些理论上的基础，如SEPT或SERPT。我们的模拟使用最近发布的Azure Functions Trace。我们表明，相比基线FIFO或循环，我们的数据驱动的调度决策显着提高性能。
2021-05-07 cs.DC
A Computational Economy for Grid Computing and its Implementation in the Nimrod-G Resource Brok
计算网格，耦合地理上分布的资源，如个人电脑，工作站，集群，和科学仪器，已经成为下一代的计算平台，解决大规模的问题，在科学，工程和商业。然而，这些环境中的应用程序开发、资源管理和调度仍然是一项复杂的任务。在这篇文章中，我们将讨论我们的努力，在开发一个资源管理系统调度计算分布在世界各地的资源，不同的服务质量。我们的面向服务的网格计算系统称为Nimrod-G管理与远程执行相关的所有操作，包括资源发现，交易，基于经济原则和用户定义的服务质量要求的调度。Nimrod-G资源代理是通过利用Globus等现有技术实现的，并提供了构建工业强度网格所必需的新服务。我们讨论的初步实验结果调度一些参数计算使用Nimrod-G资源代理在一个世界范围内的网格测试平台，跨越五大洲。
2001-11-17 cs.DC
A new SSO-based Algorithm for the Bi-Objective Time-constrained task Scheduling Problem in Cloud Computing Services
云计算将计算任务分布在众多分布式资源上，以实现大规模计算。任务调度问题是云计算服务中的一个长期存在的问题，其目的是确定云计算的质量、可用性、可靠性和能力。本文是对我们之前在2018年IEEE演化计算大会上发表的题为使用MOSSO的云计算中的多目标调度的会议论文的扩展和更正。更多的新算法，测试和比较已经实施，以更有效的方式解决双目标时间约束任务调度问题。此外，本文提出了一种新的基于SSO的算法称为双目标简化群优化算法，以解决任务调度问题，以解决以前的SSO算法的错误。从所进行的新实验获得的结果来看，所提出的BSSO优于现有的著名算法，例如，NSGA-II，MOPSO和MOSSO的收敛性，多样性，获得的临时非支配解的数量，并获得真正的非支配解的数量。实验结果表明，所提出的BSSO可以成功地实现本工作的目的。
2019-05-13 cs.DC math.DS
Themis: Fair and Efficient GPU Cluster Scheduling
现代分布式机器学习（ML）训练工作负载从利用GPU中受益匪浅。然而，当多个这样的工作负载在GPU的共享集群上运行时，会引起严重的争用。一个关键问题是如何在工作负载之间公平分配GPU。我们发现，由于ML工作负载的独特属性，已建立的集群调度规则不太适合：ML作业具有需要进行组调度的长时间运行的任务，并且它们的性能对任务的相对位置敏感。我们提出了Themis，这是一种用于ML训练工作负载的新调度框架。它的GPU分配策略强制ML工作负载以完成时公平的方式完成，这是我们引入的一个新概念。为了捕获放置敏感性并确保效率，Themis使用两级调度架构，其中ML工作负载对由中央仲裁器运行的拍卖中提供的可用资源进行竞标。我们的拍卖设计通过在短期内权衡效率和公平性，但从长期来看确保完成时间的公平性，将GPU分配给中标者。我们对生产跟踪的评估表明，Themis可以将公平性提高2.25倍以上，与最先进的集群相比，集群效率提高了5%到250%。
2019-10-29 cs.DC
Real-time Optimization of Simulation and Data Processing Pipelines for Experiments on Exascale Computing Platforms
Enrico Fermi Institute University of Chicago（芝加哥大学恩里科·费米研究所）；Argonne Leadership Computing Facility Argonne National Laboratory（阿贡国家实验室阿贡领导计算设施）
针对百亿亿次平台上大规模实验工作流，提出多阶段任务调度方法，并以SBND蒙特卡洛流水线为例，提供建模工具以优化资源利用。
2026-10-05 cs.DC
A Poly-Log Approximation for Transaction Scheduling in Fog-Cloud Computing and Beyond
针对雾云计算网络中事务与共享对象可移动的场景，聚焦常数加倍维度网络，提出单共享对象和多共享对象（最多k个）场景下的事务调度算法，近似比分别为O(log n·log D)和O(k·log n·log D)，还给出无需全局事务知识的分布式版本，以最小化总调度成本。
2025-11-12 cs.DC
Large-scale Machine Learning Cluster Scheduling via Multi-agent Graph Reinforcement Learning
大型GPU集群中分布式深度学习（DL）作业的高效调度对于资源效率和作业性能至关重要。虽然作业之间的服务器共享提高了资源利用率，但是由于资源争用，在位于同一地点的DL作业之间发生干扰。干扰感知的工作安排进行了研究，白盒方法的基础上显式干扰建模和黑盒推理机与强化学习。在当今包含数千个GPU服务器的集群中，由于工作负载规模很大，因此运行单个调度程序以及时有效的方式管理所有到达作业是一项挑战。在大规模集群/数据中心中采用多个调度器，提出一种多智能体强化学习（MARL）调度框架，以最小化作业完成时间（JCT）为目标，协同学习细粒度的作业安排策略.为了实现拓扑感知布局，我们提出的框架使用分层图神经网络来编码数据中心拓扑和服务器架构。鉴于普遍缺乏对应于不同安置的精确奖励样本，进一步设计了工作干扰模型，以预测面对不同的协同定位时的干扰水平，用于训练MARL分类器。测试床和跟踪驱动的评估表明，我们的调度框架优于代表调度计划的平均JCT超过20%，是适应各种机器学习集群拓扑结构。
2021-12-26 cs.DC
