Semi-Federated Scheduling of Parallel Real-Time Tasks on Multiprocessors
联合调度是一种在多核上调度并行实时的【形】任务的有效方法，其中每个重任务在多个专用处理器上独占执行，而轻任务被视为连续的零星任务并共享剩余的处理器。然而，联合调度遭受资源浪费，因为具有处理能力要求$x + ε$（其中$x$是整数并且$0 < ε< 1$）的繁重任务需要$x + 1$专用处理器。在极端情况下，几乎一半的处理能力被浪费。本文提出了半联邦调度方法，该方法只允许$x$专用处理器处理具有处理能力要求的重任务$x + ε$，而将剩余的$ε$部分与轻任务一起调度到共享处理器上。随机生成的任务集的实验表明，半联邦调度方法显着优于不仅联邦调度，而且所有现有的方法调度并行实时的【形】任务在多核上。
2017-05-09 cs.DC
Market-Oriented Online Bi-Objective Service Scheduling for Pleasingly Parallel Jobs with Variable Resources in Cloud Environments
本文从提供作业执行服务的SaaS（Software-as-as-Service）供应商的角度，研究了云环境下具有可变资源的并行作业的面向市场的在线双目标服务调度问题.在云中调度SaaS服务的主要过程是：SaaS提供商从IaaS提供商购买云实例，以调度最终用户的作业并向用户收取相应的费用。这个问题有几个特殊的功能，如面向作业的最终用户，令人愉快的并行作业与软期限约束，在线设置，和可变数量的资源。为了最大限度地提高收入和用户满意度，我们设计了一个在线算法，SaaS提供商以最佳方式购买IaaS实例和调度令人愉快的并行作业。该算法可以在多项式运行时间内实现竞争目标。理论分析和基于真实世界的谷歌工作跟踪以及合成数据集的仿真验证了我们的算法的有效性和效率。
2021-02-17 cs.DC
Flow Network Models for Online Scheduling Real-time Tasks on Multiprocessors
我们考虑流网络模型来解决多处理机实时的【形】任务调度问题。使用流网络模型或其一般形式，线性规划（LP）制定，为问题并不新鲜。然而，以前的工作有局限性，例如，它们被归类为离线调度技术，因为它们建立了流网络模型或考虑很长时间间隔的LP问题。在本研究中，我们提出如何建构多处理器上周期性实时的【形】任务线上排程的流网路模型。我们的核心思想是只为当前调度时间的活动任务实例构建流网络，同时保证未来任务实例的最优调度存在。最优调度是指当给定任务的总利用率需求不超过总处理能力时，所有实时的【形】任务都能在截止期内完成。然后，我们提出了基于流网络模型的多项式时间调度算法。有利地，流网络模型允许在特定时间间隔内不公平地收集任务工作负载，而不会失去最优性。因此，它导致我们设计三个不公平，但最优的调度算法上的连续和离散时间模型。特别是，我们的不公平，但最优的离散时间模型的调度算法是，据我们所知，在问题域中的第一。我们的实验表明，它显着减少调度开销，即，抢占的数量减少，跨处理器的任务迁移的数量相当。
2018-10-19 cs.DC
Scalable Hierarchical Scheduling for Malleable Parallel Jobs on Multiprocessor-based Systems
多核和基于多处理器的计算机系统的激增导致了并行应用的爆炸式发展，因此需要高效的并行处理器。本文研究了多处理器系统上可延展并行作业的分层调度问题，这一问题出现在许多分布式和多层计算环境中。我们提出了一个分层调度算法，命名为AC-DS，它包括一个反馈驱动的自适应调度器，一个期望的聚合计划和一个有效的资源分配政策。从理论的角度来看，我们表明，AC-DS具有可扩展的性能，无论层次的数量。特别是，我们证明了AC-DS实现$O(1)$ -竞争力的整体完成时间的工作，或完工时间。一个详细的可延展作业模型的开发实验评估所提出的调度算法的有效性。结果验证了AC-DS的可扩展性，并表明AC-DS优于其他策略的广泛的并行工作负载。
2014-12-13 cs.DC
Parallel and Memory-limited Algorithms for Optimal Task Scheduling Using a Duplicate-Free State-Space
具有通信延迟的任务调度问题是强NP-难的。状态空间搜索算法（如A*）已被证明是一种很有前途的方法，可以最佳地解决中小型实例。最近提出的状态空间模型的任务调度，被称为分配排序（AO），允许状态空间搜索方法，而不需要以前必要的重复避免机制，并导致显着改善A* 性能。无重复状态空间的属性也为存储器有限的搜索算法，如深度优先分支定界（DFBnB）和并行搜索算法提供了特别的希望。本文研究并提出了这样的算法，AO模型和比较，旧的穷举列表调度（ELS）状态空间模型。我们广泛的评估表明，AO提供了一个明显的优势DFBnB，并允许更大的可扩展性并行搜索算法。
2019-05-14 cs.DC
Index-Based Scheduling for Parallel State Machine Replication
状态机复制（SMR）是设计具有容错的服务的基本方法。然而，其对事务的确定性执行的要求通常导致单线程副本，这不能充分利用当今处理器的多核能力。因此，并行SMR已成为近年来的研究热点。它背后的基本思想是独立事务可以并行执行，而相关事务必须按其相对顺序执行，以确保副本之间的一致性。现有的并行SMR方法的依赖性检测主要是基于两两事务比较或批比较。这些方法不能同时保证有效的检测和并发执行。此外，调度过程不能并发执行，这也引入了额外的调度开销。为了进一步降低调度开销，保证事务的并行执行，我们提出了一种基于特定索引结构的高效调度器。该索引由布隆过滤器和相关的事务队列组成，分别提供有效的依赖检测和保留必要的依赖信息。基于该索引结构，我们进一步设计了一个详细的并发调度过程。实验结果表明，该调度器具有更高的效率，可扩展性和鲁棒性的比较方法。
2019-11-26 cs.DC
Online Job Scheduling in Distributed Machine Learning Clusters
如今，大规模分布式机器学习系统已被部署以支持IT公司的各种分析和智能服务。为了训练大型数据集并导出预测/推理模型，例如，在深度神经网络中，多个工作器并行运行以训练输入数据集的分区，并更新共享模型参数。在处理多个训练作业的共享集群中，一个基本问题是如何有效地调度作业并设置每个作业的并发工作者数量，从而最大限度地利用服务器资源并及时完成模型训练。针对一个分布式机器学习系统，使用参数服务器框架，我们设计了一个在线算法调度到达的作业，并决定调整的并发工人和参数服务器的数量为每个作业在其过程中，以最大限度地提高所有作业的整体效用，视其完成时间而定。我们的在线算法设计利用原始-对偶框架以及高效的对偶子程序，以多项式时间复杂度实现良好的长期性能保证。在线算法的实际有效性进行评估，使用跟踪驱动的模拟和测试床实验，这表明其优于目前的云系统中常用的调度算法相比。
2018-01-03 cs.DC
A Simulated Annealing Approach to Identical Parallel Machine Scheduling
本文研究同构并行机调度问题，提出一种基于模拟退火元启发式的启发式算法，以最小化所有机器的最大运行时间，实验表明其能在相当或更少时间内获得近优解。
2024-10-10 cs.DC
A Distributed Chunk Calculation Approach for Self-scheduling of Parallel Applications on Distributed-memory Systems
循环调度技术旨在实现科学应用程序的负载平衡执行。用于分布式存储器系统的动态循环自调度（DLS）库通常是基于MPI的，并且采用集中式块计算方法（CCA）来分配循环迭代的可变大小的块。我们提出了一个分布式块计算方法（DCA），支持各种类型的DLS技术。使用CCA和DCA，十二DLS技术的实施和评估在不同的CPU减速的情况下。结果表明，使用DCA实现的DLS技术优于其相应的CCA实现的，特别是在极端的系统减速的情况下。
2021-01-18 cs.DC
Extending Task Parallelism for Frequent Pattern Mining
频繁模式挖掘算法是一种流行的信息学应用，它具有任何现有并行工具都无法满足的独特要求。特别是，这样的应用程序在非常大的数据集上操作，并且具有不规则的存储器访问模式。为了有效地并行化这些应用程序，有必要支持动态负载均衡以及允许用户利用数据局部性的调度机制。鉴于这些要求，任务并行是最有前途的可用的并行编程模型。然而，现有的解决方案任务并行调度任务隐式，因此，自定义调度策略，可以利用数据局部性不能很容易地采用。在本文中，我们证明和特点的加速频繁模式挖掘应用程序中使用自定义集群调度策略，流行的Cilk风格的政策。我们提出了PFunc，一个新的任务并行库，其可定制的任务调度和任务优先级促进了我们的集群调度策略的实施。
2012-11-07 cs.DC
Online Parallel Scheduling of Non-uniform Tasks: Trading Failures for Energy
考虑一个系统，其中不同执行时间的任务连续到达，并且必须由一组易于崩溃和重启的处理器执行。在本文中，我们模拟和研究的影响，并行性和故障的竞争力，这样一个在线系统。在一个无故障的环境中，一个简单的最长的系统调度策略，增强了冗余避免机制，保证在长期执行的最优性。然而，在存在故障的情况下，调度成为一项更具挑战性的任务。特别是，没有一个并行确定性算法可以与离线最优解竞争，即使只有一个处理器和两个不同的执行时间的任务。我们发现，当额外的能量以处理器加速的形式提供给系统时，情况发生了变化。具体来说，我们确定阈值的加速下，这种竞争力不能实现任何确定性的算法，并在竞争力的算法存在。最后，我们提出的算法，实现小有界的竞争比时，加速比超过阈值。
2013-06-08 cs.DC
Online Distributed Scheduling on a Fault-prone Parallel System
我们考虑一个并行系统的$m$相同的机器容易发生不可预测的崩溃和重新启动，试图应付不断到来的任务要执行。任务具有不同的计算要求（即，处理时间或大小）。任务的流程、大小以及机器的崩溃和重启都被假设为由对手控制。然后，我们重点研究了在线分布式算法的任务的有效调度。我们使用竞争分析，考虑作为效率度量的完成负载，即，已完成任务的聚合大小。我们首先提出了最佳的完成负载竞争力算法时，可以注入的对手的不同的任务大小的数量是有界的。(It众所周知，如果没有限制，竞争力是无法实现的。我们首先考虑只有两种不同的任务大小，然后进行$k$不同的，在这两种情况下，最佳的完成负载的竞争力可以实现。然后，我们考虑有某种形式的资源增加的可能性，允许调度算法运行加速$s \geq 1$。在这种情况下，我们表明，所有的工作保存调度算法的竞争力可以通过使用足够大的加速比增加。
2016-03-18 cs.DC
Optimizing Task Placement and Online Scheduling for Distributed GNN Training Acceleration
在大型图上训练图神经网络（GNN）是资源密集型和耗时的，主要是由于大型图数据无法放入单个机器的内存中，而是必须从分布式图存储中获取并随时处理。与分布式深度神经网络（DNN）训练不同，分布式GNN训练的瓶颈主要在于用于构建小批量训练样本的大型图数据传输。现有的解决方案通常提倡数据计算托管，并且在托管不可行的情况下不能很好地与有限的资源一起工作。任务的战略布局和数据传输与任务执行的优化调度的潜力还没有得到很好的开发。为了提高资源利用率，改善执行流水线，加快训练完成速度，设计了一种高效的分布式GNN训练任务放置和执行调度算法框架。我们的框架由两个模块组成：（i）一个在线调度算法，调度训练任务的执行，和数据传输计划;和（ii）一个探索性的任务布局方案，决定每个训练任务的位置。我们进行了深入的理论分析，测试床实验和模拟研究，并观察到与代表性基线相比，我们的算法的训练速度提高了67%。
2022-04-24 cs.DC
A Framework for a Multiagent-based Scheduling of Parallel Jobs
本文提出了一种多智能体的方法作为一个范例调度并行系统中的并行作业。调度并行作业是平衡系统负载以提高并行应用性能的一种手段。并行作业调度被描述为两个图之间的映射：一个表示作业的依赖关系，另一个表示处理器之间的互连关系。并行作业调度算法的通常实现是通过主从模式。主从模式具有固有的通信瓶颈，当需要更多的处理器来处理作业时，会降低系统的性能。多智能体方法试图在处理器之间分配通信延迟，随着参与处理器的数量增加，这提高了系统的性能。本文提出了一个自主智能体的行为框架，它与其他智能体合作，以实现最小化处理时间的社区目标。实现此目标意味着座席必须通过{ \em标准化}、{ \em任务共享}和{ \em结果共享}过程与其他座席真实地共享信息。代理认为一个并行的科学应用程序作为一个有限的地平线游戏，真实的信息共享的结果到并行应用程序的性能改善。基于多代理的算法的性能进行比较，通过模拟的波包动力学使用量子轨道方法（QTM）作为测试应用程序的现有的。使用基于多代理的系统运行QTM的平均并行成本在更高数量的处理器上更低。
2015-06-26 cs.DC
A log-linear $(2+5/6)$-approximation algorithm for parallel machine scheduling with a single orthogonal resource
随着计算和I/O性能之间的差距越来越大，现代高性能计算（HPC）架构包括一种新的资源类型：中间持久快速内存层，称为突发缓冲区。这只是与处理器本身正交的许多可再生资源之一，例如网络带宽或软件许可证。忽略正交资源，而只为处理器的调度决策可能会导致计划外的延迟的资源需求不能立即得到满足的工作。我们专注于一个经典的问题的最大完工时间最小化的并行机调度的独立顺序工件的额外要求的数量上的一个单一的可再生的正交资源。我们提出了一个易于实现的对数线性算法，我们证明是$2\frac56$ -近似。在模拟实验中，我们比较我们的算法标准贪婪列表调度算法，并表明，相比LPT，基于资源的算法产生显着更短的时间表。
2021-08-31 cs.DC
Online Job Scheduling with Redundancy and Opportunistic Checkpointing: A Speedup-Function-Based Analysis
在一个大规模的计算集群中，作业完成可能会大大延迟，由于两个来源的可变性，即，在作业大小和机器服务能力的可变性。为了解决这个问题，现有的作品已经提出了各种调度算法，利用冗余，其中一个作业运行在多个服务器上，直到第一个完成。在本文中，我们探讨了机器服务能力的可变性的影响，并采用严格的分析方法来设计调度算法，使用冗余和检查点。我们设计了几个在线调度算法，可以动态地改变冗余副本的数量的作业。我们还提供了新的理论性能界限，这些算法的整体作业流程时间通过引入加速函数的概念，基于此可以定义一个新的潜在功能，使相应的竞争比分析。特别是，通过采用在线原始-对偶拟合的方法，我们证明了我们的SRPT+R算法在非多任务集群是$(1+ε)$ -速度，$\ O(\frac{1}ε)$ -竞争。我们还表明，我们提出的公平+R和LAPS+R（$β$）算法的多任务集群的$(4+ε)$ -速度，$\ O(\frac{1}ε)$ -竞争和{（$2 + 2β+ 2ε)$ -速度$O(\frac{1}{βε})$ -竞争}分别。我们通过大量的模拟表明，我们提出的算法可以显着减少非多任务和多任务模式下的作业流时间。
2017-07-06 cs.DC
Scheduling Task-parallel Applications in Dynamically Asymmetric Environments
共享资源干扰被应用程序观察为动态性能不对称。现有技术已经开发了主要在操作系统和体系结构级减少性能不对称的影响的方法。在这项工作中，我们研究如何应用程序级调度技术可以利用可塑性（即工作的灵活性，无论是单线程或多线程任务）和明确的知识任务的关键性，以处理的情况下，系统性能不仅是未知的，而且随着时间的推移而变化。我们提出的任务调度器动态地学习底层平台的性能特征，并使用这些知识来设计更好的时间表，了解动态性能不对称性，从而减少干扰的影响。我们的评估表明，关键感知调度和并行性调整都是解决共享和分布式内存应用中干扰的有效方案
2020-09-22 cs.DC
GPU based parallel genetic algorithm for solving an energy efficient dynamic flexible flow shop scheduling problem
由于新的政府立法、客户对环境的关注以及能源成本的持续上升，近年来能源效率正成为工业制造过程的重要参数。在调度问题中考虑能量问题的大多数努力都集中在静态调度上。但实际上，调度问题是动态的，在执行时间之后有不确定的新工件到达。本文提出了一种考虑新工件到达的动态能量有效柔性流水车间调度模型。由于该问题是强NP难问题，提出了一种基于优先级的混合并行遗传算法和预测反应式完全重调度方法。为了实现加速比，以满足在动态环境中的短响应，所提出的方法被设计为与NVIDIA CUDA软件模型高度一致。最后，通过数值实验表明，该方法不仅比传统的静态方法具有更好的性能，而且通过显著减少时间需求而获得了具有竞争力的结果。
2019-03-26 cs.DC
Early Scheduling in Parallel State Machine Replication
状态机复制是实现容错的标准方法。状态机复制的一个关键假设是副本必须确定性地执行操作，因此是串行的。为了受益于多核服务器，一些技术允许状态机复制中的操作的并发执行。当然，这些技术利用了独立操作（不共享任何公共状态或不更新共享状态的操作）可以并发执行的事实。一个有前途的解决方案类别交易调度自由的简单性。本文推广了这一类的调度解决方案。在这样做时，它提出了一种自动化的机制来调度副本中工作线程上的操作。我们将我们的贡献，一个流行的状态机复制框架和实验比较得到的系统，更经典的方法。
2018-05-14 cs.DC
Online Container Scheduling for Low-Latency IoT Services in Edge Cluster Upgrade: A Reinforcement Learning Approach
针对边缘集群升级时传统云调度策略不适配、易影响运行任务的问题，提出基于策略梯度的强化学习在线容器调度算法，可将总任务时延较基线降低约27%。
2023-07-22 cs.DC
Atos: A Task-Parallel GPU Dynamic Scheduling Framework for Dynamic Irregular Computations
我们提出Atos，一个任务并行GPU动态调度框架，特别适合于动态不规则的应用程序。与主流的大容量同步并行（BSP）框架相比，Atos通过支持具有宽松依赖关系的应用程序的任务并行公式来提供额外的并发性，从而实现更高的GPU利用率，这对于并发瓶颈问题尤为重要。除了数据并行负载均衡之外，Atos还提供隐式任务并行负载均衡，为用户提供在它们之间进行平衡的灵活性，以实现最佳性能。最后，Atos允许用户通过控制内核策略和任务并行粒度来适应不同的用例。我们证明，这些控制在实践中是很重要的。我们评估和分析Atos与BSP在三个应用程序上的性能：广度优先搜索，PageRank和图着色。与最先进的BSP GPU实现相比，Atos实现在三个案例研究中实现了3.44倍、2.1倍和2.77倍的几何加速比以及12.8倍、3.2倍和9.08倍的峰值加速比。除了简单地量化加速之外，我们还广泛地分析了每个加速背后的原因。这种更深入的了解使我们能够得出如何为不同应用选择最佳Atos配置的一般指导方针。最后，我们的分析为未来的动态调度框架设计提供了见解。
2021-11-30 cs.DC
Toward Efficient Online Scheduling for Distributed Machine Learning Systems
近年来，分布式机器学习（ML）框架迅速发展，这些框架利用计算集群的大规模并行性来加速ML训练。然而，分布式ML框架的激增也在计算系统设计和优化方面带来了许多独特的技术挑战。在支持大量训练任务的网络化计算集群中，一个关键问题是如何设计高效的调度算法，在不同的机器上分配工人和参数服务器，以最小化总的训练时间。为此，在本文中，我们开发了一个在线调度算法，共同优化资源分配和局部决策。我们的主要贡献有三个方面：（1）提出了一个新的分析模型，该模型同时考虑了资源分配和局部性;（2）基于等价的重新表述和对工作参数服务器局部性配置的观察，我们将问题转化为一个混合填充和覆盖整数规划问题，使得近似算法设计成为可能;（3）提出了一种基于随机舍入的近似算法，并对其性能进行了严格的分析。总的来说，我们的研究结果有助于分布式ML系统优化和算法设计的最新发展。
2022-05-12 cs.DC
Dynamic Fractional Resource Scheduling vs. Batch Scheduling
提出了一种新的同构集群计算平台的作业调度方法。它的主要特点是使用虚拟机技术以精确和受控的方式共享部分节点资源。其他基于虚拟机的调度方法主要集中在技术问题或现有的批处理调度系统的扩展，而我们采取了更积极的方法，并寻求找到最大限度地提高与工作绩效相关的客观指标。我们推导出绝对性能界限，并为调度问题的在线、非透视版本开发算法。我们进一步评估这些算法在模拟合成和现实世界的HPC工作负载，并比较我们的算法标准批处理调度方法。我们发现，我们的方法提高了批量调度的数量级的工作拉伸，同时导致可比或更好的资源利用率。我们的研究结果表明，虚拟化技术与轻量级的在线调度策略相结合，可以提供显着的性能改善执行HPC工作负载。
2011-06-24 cs.DC
GADGET: Online Resource Optimization for Scheduling Ring-All-Reduce Learning Jobs
在分布式深度学习（Distributed Deep Learning，简称EML）的推动下，近年来，人们对资源密集型分布式/并行计算的需求迅速增长，以处理EML计算作业。为了解决分布式计算中的网络通信瓶颈和负载均衡问题，越来越多地采用所谓的"环全减“分散式架构来消除对专用参数服务器的需要。然而，到目前为止，仍然缺乏理论上的理解，如何设计资源优化算法，有效地调度计算集群中的环所有减少的并行作业。这促使我们提出了一系列新的资源调度设计，以填补这一空白的环所有减少的可重构作业。我们在本文中的贡献是三方面的：i）我们提出了一个新的资源调度分析模型，用于环全归约深度学习，它涵盖了性能优化中的广泛目标（例如，过度训练避免，能源效率，公平性）; ii）基于所提出的性能分析模型，我们开发了一种高效的资源调度算法，称为GADGET（贪婪环-全部-减少分布式图嵌入技术），它享有可证明的强性能保证; iii）我们进行了广泛的跟踪驱动的实验，以证明GADGET方法的有效性及其优于现有技术的优势。
2022-02-02 cs.DC
Reservation-Based Federated Scheduling for Parallel Real-Time Tasks
本文研究了具有任意截止期的并行实时的【形】任务的调度问题。并行任务的每个作业被描述为一个有向无环图（DAG）。在这方面的现有工作，其中分解为基础的调度算法提出的DAG结构和任务间的干扰分析为自挂起行为的基础上，本文概括了联邦调度方法。我们提出了一个基于预约的算法，称为基于预约的联邦调度，占主导地位的联邦调度。我们提供了一般的限制，这样的系统的设计，并证明了基于预留的联邦调度有一个恒定的加速因子相对于任何最佳的DAG任务调度。此外，所提出的算法可以结合任何调度器和调度分析，适用于普通的任意截止期偶发任务集，即，没有parallelism。
2017-12-13 cs.DC cs.OS
A Granularity Characterization of Task Scheduling Effectiveness
Northeastern University（东北大学）
本文提出了一种粒度特性框架，通过任务图依赖拓扑结构解释任务调度开销与强标度性能的关系，并为运行时决策提供实用规则。
2026-02-25 cs.DC
Joint Task Partitioning and Parallel Scheduling in Device-Assisted Mobile Edge Networks
本文针对设备辅助移动边缘计算中任务划分与并行调度的联合优化问题，提出基于深度强化学习的OTPPS框架，并设计FDMTS算法解决NP-hard调度子问题，实现近最优延迟和高公平性。
2023-12-04 cs.DC
Improved Online Scheduling of Moldable Task Graphs under Common Speedup Models
针对可塑任务图的在线调度，提出新算法并在 roofline、communication、Amdahl 及一般组合加速模型下获得改进的常数竞争比，同时给出匹配或接近的下界。
2023-04-27 cs.DC cs.DS
High-Performance Computing for Scheduling Decision Support: A Parallel Depth-First Search Heuristic
University of Regensburg（雷根斯堡大学）
许多学科--包括信息系统、计算机科学和运营管理--都面临着作为重要决策任务的调度问题。由于许多调度问题是NP难的，在很强的意义上，有必要发展解决方案。对于不相关并行机上的带启动时间的调度问题，其求解方法的研究还很有限，而且据我们所知，并行计算机体系结构还没有得到充分利用。我们通过提出和实施一个新的解决方案启发式和测试不同的并行化策略来解决这个差距。在我们的计算实验中，我们表明，我们的启发式计算接近最优的解决方案，即使是大型的实例，计算时间可以大大减少我们的并行化方法。
2016-05-16 cs.AI cs.DC
Prediction-Assisted Online Distributed Deep Learning Workload Scheduling in GPU Clusters
The Ohio State University（俄亥俄州立大学）；Cisco Research（思科研究中心）
针对GPU集群中混合并行分布式深度学习训练的高效调度需求，提出结合随机森林迭代预测的A-SRPT算法，通过将问题映射为单机最优调度实例实现理论高效的作业分配，经实验验证了有效性。
2025-01-09 cs.DC cs.LG
Nimble: Lightweight and Parallel GPU Task Scheduling for Deep Learning
Seoul National University（首尔国立大学）
深度学习（DL）框架利用GPU来提高DL推理和训练的速度。理想情况下，DL框架应该能够充分利用GPU的计算能力，使得运行时间取决于分配给GPU的计算量。然而，我们观察到，在调度GPU任务时，现有的DL框架存在效率低下的问题，例如较大的调度开销和不必要的串行执行。为此，我们提出了Nimble，这是一个DL执行引擎，可以以最小的调度开销并行运行GPU任务。Nimble引入了一种称为提前（AoT）调度的新技术。这里，调度过程在执行GPU内核之前完成，从而在运行时间期间去除大部分调度开销。此外，Nimble通过在单个GPU中利用多个GPU流来自动并行执行GPU任务。对各种神经网络的评估表明，与PyTorch相比，Nimble的推理和训练速度分别提高了22.34 $\times$和3.61 $\times$。此外，Nimble的性能比最先进的推理系统TensorRT和TVM分别高出2.81 $\times$和1.70 $\times$。
2020-12-04 cs.DC cs.LG
Parallel Scheduling Algorithm based on Complex Coloring for Input-Queued Switches
本文探讨了一种新的边着色代数方法--复着色法在输入排队交换机调度问题中的应用。提出的分布式并行调度算法具有两个重要特征：最优性和可重构性。最优性确保算法总是以最少数量的所需颜色返回正确的着色，并且如果底层图仅稍微改变，则recruitment允许部分地重新着色现有的连接模式。所提出的调度算法的运行时间是在每帧$O(\log^2 N)$的数量级上，并且分摊的时间复杂度（计算每个时隙的匹配的时间）仅为$O(\log N)$。该调度算法在面对流量波动时具有很强的鲁棒性。由于变量密度越高，变量消除过程的效率越高，因此复杂着色为非均匀输入业务模式提供了自然的自适应解决方案。所提出的分组交换调度算法可以实现接近100%的吞吐量。
2016-06-23 cs.DC cs.NI
Online Evolutionary Batch Size Orchestration for Scheduling Deep Learning Workloads in GPU Clusters
National University of Singapore（新加坡国立大学）；ByteDance（字节跳动）
高效的GPU资源调度对于最大限度地提高资源利用率和节省训练成本至关重要，因为共享GPU集群中的深度学习工作负载量不断增加。现有的GPU处理器在很大程度上依赖于静态策略来利用深度学习作业的性能特征。然而，由于缺乏弹性，它们很难达到最佳效率。为了解决这个问题，我们提出了ONES，一个在线进化的弹性批量编排。ONES根据训练批量大小自动管理每个作业的弹性，从而最大化GPU利用率，提高调度效率。它通过在线进化搜索确定每个作业的批量大小，可以不断优化调度决策。我们评估的有效性与64 GPU的TACC的长角超级计算机上的ONES。结果表明，ONES可以以显著更短的平均作业完成时间胜过之前的深度学习算法。
2021-08-08 cs.AI cs.DC cs.LG
Power- and Fragmentation-aware Online Scheduling for GPU Datacenters
Istituto di Scienza e Tecnologie dell’Informazione "Alessandro Faedo", Consiglio Nazionale delle Ricerche（阿莱索·法多信息科学与技术研究所，意大利国家研究委员会）
针对GPU数据中心在线调度问题，提出PWR调度策略，结合碎片梯度下降（FGD）方法，在降低功耗和最小化GPU碎片之间取得平衡。
2026-10-26 cs.AI cs.DC
Solving the Resource Constrained Project Scheduling Problem Using the Parallel Tabu Search Designed for the CUDA Platform
Czech Technical University in Prague（布拉格捷克理工大学）
本文提出了一种求解资源受限项目调度问题的并行禁忌搜索算法。为了处理这个NP-难的组合问题，已经进行了许多优化。例如，通过启发式算法选择资源评估算法，并设计了有效的禁忌表。除此之外，提出了一种容量索引的资源评估算法，GPU（图形处理单元）版本使用同构模型来减少所需的通信带宽。实验结果表明，GPU版本在计算时间和解的质量方面优于优化的并行CPU版本。与其他现有的算法相比，所提出的解决方案往往给出更好的质量解决方案。
2017-11-13 cs.AI cs.DC
Deadline-Aware Online Scheduling for LLM Fine-Tuning with Spot Market Predictions
Fudan University（复旦大学）；University of Oregon（俄勒冈大学）；Inria（法国国家信息与自动化研究所）
本文提出了一种面向截止期限的在线调度方法，结合预留和按需实例，通过预测和策略选择算法实现大语言模型微调的低成本高效调度。
2025-12-24 cs.DC cs.LG
Multi-Resource List Scheduling of Moldable Parallel Jobs under Precedence Constraints
调度文献传统上集中于单一类型的资源（例如，计算节点）。然而，现代高性能计算（HPC）系统中的科学应用处理大量数据，因此对不同类型的资源（例如，核心、高速缓存、内存、I/O）。所有这些资源都可能被运行时调度程序利用来提高应用程序的性能。在本文中，我们研究了多资源调度，以尽量减少计算工作流的最大完工时间的并行作业受优先约束。作业被假定为可塑造的，允许调度程序在执行之前灵活地选择可变的资源集。我们提出了一个多资源，基于列表的调度算法，并证明了，在一个系统与$d$类型的可分配资源，我们的算法实现了一个近似比$1.619d+2.545\sqrt{d}+1$的任何$d$，和一个比例为$d+O(\sqrt[3]{d^2})$的大$d$。我们还提出了独立作业和具有特殊优先约束的作业（例如，串并行图和树）。最后，我们证明了$d$的一个下界的近似比的任何列表调度计划与本地优先级的考虑。据我们所知，这些是具有多个资源需求的可模塑工作流程的第一近似结果。
2021-06-13 cs.DC cs.DS
Scheduling Optimization Techniques for Neural Network Training
Hanyang University（汉阳大学）
神经网络训练需要大量的计算，因此GPU通常用于加速。本文提出了一种用于神经网络训练的有效调度技术--无序反向传播（ooo）。通过利用梯度计算的依赖性，ooo backprop可以重新排序它们的执行，以充分利用GPU资源。我们表明，在单GPU，数据并行，和流水线并行训练的GPU利用率可以通过应用ooo反向传播和优先级的关键操作，通常可以提高。我们提出了三种基于面向对象反向传播的调度算法。对于单GPU训练，我们使用多流乱序计算进行调度，以掩盖内核启动开销。在数据并行训练中，我们对梯度计算进行重新排序，以最大化计算和参数通信的重叠;在流水线并行训练中，我们用十二个神经网络来评估我们的优化，包括一个轻量级的计算机视觉模型（MobileNet）和大型NLP模型（BERT和GPT-3），最多48个V100 GPU。我们的调度算法有效地提高了单GPU训练以及数据和流水线的性能。与现有技术的训练系统的相应状态相比，对于单GPU、数据并行和流水线并行训练，吞吐量显著提高。
2021-10-03 cs.DC cs.LG
Stannic: Systolic STochAstic ONliNe SchedulIng AcCelerator
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对异构HPC系统中随机工作负载调度效率低的问题，提出两种FPGA加速器微架构Hercules和Stannic，通过并行化和预计算实现近实时调度，速度提升达1060倍。
2026-06-16 cs.DC cs.SY eess.SY
Exploiting Asynchronous Priority Scheduling in Parallel Eikonal Solvers
Eikonal方程的数值解计算使用快速推进法，快速扫描法，和快速迭代法的变种。在本文中，我们提供了一个统一的观点，这些算法，突出了它们的相似之处，并提出了更广泛的一类Eikonal求解器。然后，我们使用这个框架来证明应用并发优先级调度技术Eikonal求解器。我们证明，这样做的结果在地震学的问题，在良好的并行性能。我们解释了为什么现有的Eikonal求解器可能会产生不同的结果，尽管使用相同的差分方案，并演示了解决这些差异的技术。这些技术使我们能够从我们的异步细粒度并行Eikonal求解器获得确定性的输出。
2021-03-09 cs.DC cs.MS cs.NA
Deep Reinforcement Learning based Online Scheduling Policy for Deep Neural Network Multi-Tenant Multi-Accelerator Systems
University of Catania（卡塔尼亚大学）
针对云环境下多租户DNN调度的SLA满足与硬件利用问题，提出考虑加速器异构性和带宽争用的低开销深度强化学习调度算法RELMAS，相比现有技术SLA满足率最高提升173%，能量开销低于1.5%。
2024-04-13 cs.AR cs.DC cs.LG
Parallel/Distributed Tabu Search for Scheduling Microprocessor Tasks in Hybrid Flowshop
本文研究带多处理器任务的混合流水车间调度中的最大完工时间最小化问题，提出了一种基于并行与分布式机制的禁忌搜索算法进行邻域评估，有效平衡了异构网络环境。
2025-09-14 cs.DC cs.SY eess.SY
RTGPU: Real-Time GPU Scheduling of Hard Deadline Parallel Tasks with Fine-Grain Utilization
IEEE（电气与电子工程师协会）；NVIDIA（英伟达）
许多新兴的网络物理系统，如自动驾驶汽车和机器人，严重依赖人工智能和机器学习算法来执行重要的系统操作。由于这些高度并行的应用程序是计算密集型的，它们需要由图形处理单元（GPU）加速以满足严格的时序约束。然而，尽管GPU被广泛采用，但在提供严格的实时的保证的同时有效地调度多个GPU应用仍然是一个挑战。在本文中，我们提出了RTGPU，它可以调度多个GPU应用程序的执行在实时的，以满足硬期限。每个GPU应用程序可以有多个CPU执行和内存复制段，以及GPU内核。我们从一个模型开始，明确说明这些应用程序的CPU和内存复制段。然后，我们考虑GPU架构中的GPU内核的精确定时模型的发展，并利用称为持久线程的技术来实现细粒度的内核调度，通过交错执行提高性能。接下来，我们提出了一种通用的方法，用于实时的调度并行GPU应用程序。最后，调度多个并行GPU应用程序，我们提出了一个实用实时的调度算法的基础上联合调度和网格搜索（GPU内核段）与单处理器固定优先级调度（多CPU和内存复制段）。通过在一个真实的NVIDIA GTX 1080 Ti GPU系统上的全面验证和评估，我们的方法提供了比以前工作更好的可扩展性，并为满足多个GPU应用的硬性期限提供了实时的保证。
2023-02-06 cs.AI cs.AR cs.DC
Scheduling massively parallel multigrid for multilevel Monte Carlo methods
三维偏微分方程的朴素的、基于采样的不确定性量化的计算复杂性是非常高的。多级方法，如多级蒙特卡罗（MLMC），可以大大降低复杂性，但充分利用它们在并行环境中，复杂的调度策略是必要的。通常，并行执行的快速算法对于计算3D中的精细水平样本是必不可少的，而为了计算单独的粗略水平样本，只能有效地采用中等数量的处理器。我们利用多个实例的并行多重网格求解器结合先进的负载均衡技术。特别是，我们优化的并发执行的MLMC方法的三个层：跨级别，跨样本，跨空间网格的并行化。将分析这些方法的整体效率和性能。这里，多重网格求解器的可扩展性窗口被揭示为是必不可少的，即，该属性的解决方案可以计算的进程数的范围，同时保持良好的并行效率。我们评估了一系列的数值测试中的新的调度策略，并得出结论，证明大型3D缩放实验的文件。
2016-07-12 cs.CE cs.DC cs.MS
An Advanced Reinforcement Learning Framework for Online Scheduling of Deferrable Workloads in Cloud Computing
Microsoft（微软公司）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
本文提出了一种名为OSDEC的基于深度强化学习的在线可延迟作业调度方法，通过引入辅助任务优化状态表示，在保证高资源利用率的同时有效缩短了用户等待时间。
2024-06-03 cs.AI cs.DC cs.LG
Hybrid Offline-online Scheduling Method for Large Language Model Inference Optimization
Tsinghua University（清华大学）
本文提出一种混合离线-在线调度方法，通过MIP建模、最小化完工时间装箱及在线抢占调度，提升LLM推理系统利用率至89.1%，并缩短推理时间。
2025-02-14 cs.AI cs.AR cs.DC
