首页/论文/1912.03348

arXiv 1912.033482019-12-31cs.PFcs.DCcs.ITmath.IT

存在数据密集型计算作业的调度

Scheduling in the Presence of Data Intensive Compute Jobs

Amir Behrouzi-Far, Emina Soljanin

备注：: Accepted in IEEE BigData 2019

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们研究了非自适应调度策略在多服务器计算系统中的性能。计算工作大多是定期的，服务要求不高。然而，也有零星的数据密集型作业，其预期的服务时间是远远高于定期作业。对于这个模型，我们感兴趣的是调度策略对作业在系统中平均花费时间的影响。为此，我们在一个简化的，只到达系统中引入两个性能指标。我们相信，这些性能指标是很好的预测排队系统中的政策，这是支持模拟结果的相对性能。

英文摘要：

We study the performance of non-adaptive scheduling policies in computing systems with multiple servers. Compute jobs are mostly regular, with modest service requirements. However, there are sporadic data intensive jobs, whose expected service time is much higher than that of the regular jobs. Forthis model, we are interested in the effect of scheduling policieson the average time a job spends in the system. To this end, we introduce two performance indicators in a simplified, only-arrival system. We believe that these performance indicators are good predictors of the relative performance of the policies in the queuing system, which is supported by simulations results.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

备份作业的意图驱动调度

Intent-driven scheduling of backup jobs

本文提出一种意图驱动的备份作业调度框架，在现有调度下满足基于意图的约束而不干扰当前调度，并通过真实世界数据上的广泛测试验证其有效性。

2024-12-25cs.DCcs.PF

有效处理紧急作业-加快计算应用程序的调度

Effective Handling of Urgent Jobs - Speed Up Scheduling for Computing Applications

当服务提供商无法处理超时到达的作业时，就需要使用队列。在一个高度灵活和动态的环境中，一些作业可能需要在运行时更快地执行，特别是当资源有限且作业正在竞争获取资源时。用户可能会要求在运行时间加速队列中的某些作业（减少等待时间）。在这种情况下，需要在队列中存在的其他作业之前加速（直接将作业发送到服务器）紧急作业（请求加速），以便更早地完成紧急作业。在没有额外资源的假设下，作业的这种加速将导致队列中存在的其他作业的减慢。在本文中，我们制定了问题的加速调度，而不需要获得任何额外的资源，调度的在线加速请求所构成的用户在运行时，目前的算法相同。我们将加速调度的思想应用到两个不同的领域-Web调度和CPU调度。我们展示了我们的结果与模拟为基础的模型，使用跟踪驱动的工作负载和合成数据集，以显示加速调度的有用性。加速算法为解决紧急任务提供了一种新的方法，为调度算法的比较提供了一种不同的评价标准，具有实际应用价值。

2015-03-21cs.PF

成功工件逗留时间的优化调度

Scheduling to Optimize Sojourn Time of Successful Jobs

深度神经网络训练作业和其他迭代计算经常包括检查点，其中作业可以基于所监视的度量的当前值被取消。虽然大多数现有的结果集中在所有工作的性能（成功完成和取消），在这项工作中，我们探索调度策略，提高逗留时间的成功的工作，这通常是更有价值的用户。我们的模型假设每个作业都有一个已知的离散大小分布（例如，从先前的执行日志估计），其中最大的大小值指示成功完成，而其它大小值对应于终止检查点。在单服务器的情况下，所有的工作都可用于调度同时，我们证明了最佳的时间表不抢占作业，即使抢占开销可以忽略不计。在此基础上，我们开发了一个调度策略，使成功的工件的逗留时间渐近最小化，即，当工作的数量增长到无穷大的时候。通过广泛的数值研究，我们表明，这种政策的表现优于现有的替代品，即使工作的数量是有限的。对于更现实的情况下，多个服务器和动态的工作到达，我们提出了一个在线的方法，基于我们的单服务器调度策略。通过广泛的模拟研究，使用现实世界的痕迹，我们证明，这种在线方法的结果更好的平均逗留时间成功的工作相比，现有的技术。

2022-09-29cs.PF

heSRPT：工件规模已知的最优并行调度

heSRPT: Optimal Parallel Scheduling of Jobs With Known Sizes

当在多个服务器上并行化一组作业时，必须在授予短作业优先级和保持系统的整体效率之间进行权衡。当目标是最小化一组工件的平均流动时间时，通常情况下，人们希望在长工件之前完成短工件。然而，由于作业通常不能以完美的效率并行化，因此对短作业授予严格的优先级可能导致非常低的系统效率，这反过来又会损害作业之间的平均流动时间。在本文中，我们推导出的最优策略分配服务器的工作在每一个时刻的时间，以尽量减少平均流动时间的工作。我们假设工作遵循一个次线性的，凹加速函数，因此工作的经验收益递减分配额外的服务器。我们表明，最佳的政策，heSRPT，将完成作业根据其大小顺序，但保持整体系统的效率分配一些服务器，每个作业在每一刻的时间。我们比较heSRPT与国家的最先进的分配政策，从文献和显示，heSRPT优于其竞争对手至少30%，往往更多。

2020-11-20cs.PF

分布式量子计算任务的先进调度策略

Advanced Scheduling Strategies for Distributed Quantum Computing Jobs

Tyndall National Institute（廷德尔国家研究所）；University of Parma（帕尔马大学）

本文提出并评估了多种调度策略，以优化分布式量子计算任务的资源利用和执行效率，针对不同任务类型和网络条件进行比较。

2026-08-03cs.DCcs.PFquant-ph

CloudCoaster：瞬态感知的突发数据中心调度

CloudCoaster: Transient-aware Bursty Datacenter Workload Scheduling

今天的集群往往不得不在各种不同的工作之间分配资源。这些作业在执行时间和到达率上都是异构的。执行时间的异质性导致了混合调度器的发展，它可以调度短作业和长作业，以确保良好的任务布局。然而，到达速率异质性或突发性仍然是现有分组交换机中的一个问题。这些混合型集群管理静态配置的集群上的资源，这些资源可能很快被到达的作业数量的激增所淹没。在本文中，我们提出了CloudCoaster，一个混合调度器，动态调整集群的大小，利用廉价的瞬态服务器。CloudCoaster以智能方式安排作业，提高作业性能，同时降低总体资源成本。我们评估CloudCoaster的有效性，通过模拟现实世界的痕迹，并将其与最先进的混合调度。CloudCoaster将短作业的平均延迟时间提高了4.8倍，同时保持长作业性能。此外，CloudCoaster将短分区预算减少了29.5%以上。

2019-07-03cs.DCcs.PF

更多相关论文收起更多论文

在HPC集群上评估Apache Spark应用程序的试点作业

Evaluation of pilot jobs for Apache Spark applications on HPC clusters

大数据在许多科学领域已经变得非常突出，因此，科学界已经寻求大数据框架来加速处理其日益增长的数据密集型管道。然而，虽然科学界通常依赖高性能计算（HPC）集群来并行化其管道，但许多流行的大数据框架（如Hadoop和Apache Spark）主要设计用于在专用的商品基础设施上执行。本文评估了在HPC集群上Apache Spark的试点作业相对于传统批处理提交的优势。令人惊讶的是，我们的研究结果表明，试点工作批调度提供的速度是温和的不存在（平均0.98），尽管存在长排队时间。此外，试验作业提供了一个额外的调度层，使调试和部署复杂化。我们的结论是，传统的批处理调度应该仍然是在HPC集群上部署Apache Spark应用程序的默认策略。

2019-05-29cs.DCcs.PF

heSRPT：最小化平均慢化的并行调度

heSRPT: Parallel Scheduling to Minimize Mean Slowdown

现代数据中心为能够利用并行性的工作负载提供服务。当一个作业在多个服务器上并行化时，它将更快地完成，但是作业从分配额外的服务器中获得的回报越来越少。由于为单个作业分配多个服务器效率低下，因此不清楚如何最好地在许多可并行化的作业之间分配固定数量的服务器。本文提出了第一个最优分配策略，使已知大小的可并行作业的平均减速最小化时，所有的作业都存在于时间0。我们的政策提供了一个简单的封闭形式的公式，在每一个时刻的最佳分配。最小化平均减速通常需要支持短期工作而不是长期工作（如SRPT政策）。然而，由于可并行作业具有次线性加速函数，系统效率也是一个问题。系统效率最大化，通过平等分配给所有的工作，从而竞争的目标，优先小的工作。我们的最优策略，高效率SRPT（heSRPT），平衡这些相互竞争的目标。heSRPT根据作业的大小顺序完成作业，但通过在每个时刻为每个作业分配一些服务器来保持整体系统效率。我们的研究结果推广到也提供了最优分配政策方面的平均流时间。最后，我们考虑在线的情况下，随着时间的推移，工作到达系统。虽然优化的平均速度减慢在线设置是更加困难的，我们发现，heSRPT提供了一个很好的启发式政策的在线设置。事实上，我们的模拟表明，heSRPT显着优于国家的最先进的分配政策的并行作业。

2020-11-18cs.DCcs.PF

多阶段工件的最优调度及精确响应时间分析

Optimal Scheduling and Exact Response Time Analysis for Multistage Jobs

在M/G/1排队系统中，最小化平均响应时间的调度是一个经典问题。这个问题通常在以下两种情况下得到解决。在完美信息场景中，调度程序知道每个作业的确切大小或服务需求。在零信息场景中，调度程序仅知道每个作业的大小分布。著名的最短剩余处理时间（SRPT）的政策是最佳的完全信息的情况下，和更复杂的Gittins政策是最佳的零信息的情况下。在实际系统中，调度程序通常只知道关于每个作业大小的部分但不完整的信息。我们引入了一个新的工作模型，多级工作，捕捉这种部分信息的情况。多级作业由一系列阶段组成，其中阶段的顺序和阶段大小都是未知的，但调度程序总是知道作业的哪个阶段正在进行。本文给出了M/G/1排队中多级工件调度的一个最优算法，并对算法的响应时间进行了精确分析。

2018-11-12cs.PFmath.OC

通过Quickswap改进非抢占式多服务器作业调度

Improving Nonpreemptive Multiserver Job Scheduling with Quickswap

针对非抢占式多服务器作业调度中MSF策略等待时间波动大的问题，提出MSFQ策略，通过定期为其他作业赋予优先级降低波动，理论分析和仿真验证其在平均响应时间等方面显著优于MSF和FCFS。

2025-11-12cs.PF

先来先服务调度和Nudge调度的随机渐近改进

On the stochastic and asymptotic improvement of First-Come First-Served and Nudge scheduling

最近，它表明，与预期相反，先来先服务（FCFS）调度算法可以随机改进的调度算法称为{ \it轻尾的作业大小分布的轻尾轻推}。Nudge根据作业的大小将其分为4种类型，例如小型、中型、大型和大型作业。Nudge的操作与FCFS相同，只是每当{ \it small}作业到达时，发现队列后面等待的{ \it large}作业时，Nudge会将小作业与大作业交换，除非大作业已涉及到较早的交换。在本文中，我们证明了FCFS可以在更弱的条件下随机改进。我们考虑一个系统与$2$作业类型和有限的交换之间的类型- $1$和类型- $2$作业，但类型- $1$作业不一定小于类型- $2$作业。更具体地说，我们介绍和研究的轻推$K$调度算法，它允许类型$1$作业交换到$K$类型$2$作业等待在队列的后面，而类型$2$作业最多可以参与一个交换。我们提出了一个显式表达式的响应时间分布下轻推- $K$时，这两种作业类型遵循一个阶段型分布。关于渐近尾部改善比（ATIR），我们推导出一个简单的表达式的ATIR，以及为$K$，最大限度地提高ATIR。我们表明，ATIR是积极的，最佳的$K$趋于无穷大，在高负荷服务，只要类型$2$的工作平均长于类型$1$的工作。

2022-06-21cs.PFmath.PR

多可并行作业类的渐近最优调度

Asymptotically Optimal Scheduling of Multiple Parallelizable Job Classes

The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Carnegie Mellon University（卡内基梅隆大学）

本文研究了多可并行作业类的调度问题，提出在轻负载时优先处理最不并行化的作业，在重负载时优先处理预期剩余处理时间最短的作业，并开发了渐近最优的调度策略。

2025-12-29cs.DCcs.PF

凹加速比函数下的最优并行调度

Optimal Parallel Scheduling under Concave Speedup Functions

针对任意凹加速比函数下的并行作业调度难题，提出CDR规则、GWF方法与SmartFill算法，实现低复杂度最优分配并显著优于heSRPT。

2025-09-01cs.DCcs.PF

半批多服务器作业模型中的帕累托最优调度

Pareto-Optimal Scheduling in the Half-batch Multiserver-job Model

Northwestern University（西北大学）

研究大规模计算系统中异构服务器分配问题，引入半批多服务器作业框架，证明该模型中大作业平均响应时间和小作业吞吐量的帕累托前沿由护航策略及相邻策略凸组合生成，结果通用且非渐近。

2026-09-15cs.PFmath.PR

使用马尔可夫服务率策略改进多资源作业调度

Improving Multiresource Job Scheduling with Markovian Service Rate Policies

针对多资源作业调度问题，提出马尔可夫服务率（MSR）策略，该策略实现简单且适合响应时间分析，具有吞吐量最优性，可根据系统参数选择策略，有效最小化平均响应时间。

2025-04-17cs.PF

并行调度的最优性

Towards Optimality in Parallel Scheduling

为了跟上摩尔定律的步伐，芯片设计人员已经专注于增加每个芯片的内核数量，而不是单核性能。反过来，现代作业通常被设计为在任何数量的内核上运行。然而，为了有效地利用这些多核芯片，必须解决为每个作业分配多少个核的问题。考虑到作业会从额外的内核获得次线性的加速，这是一个明显的权衡：为单个作业分配更多的内核会减少作业的运行时间，但反过来会降低整个系统的效率。我们问系统应该如何调度跨核心的作业，以尽量减少传入的作业流的平均响应时间。为了回答这个问题，我们开发了一个多核机器上运行的作业的分析模型。我们证明了EQUI，一个政策，不断划分核心均匀跨作业，是最优的，当所有的作业遵循一个单一的加速曲线，并有指数分布的大小。EQUI要求作业在运行时更改其并行化级别。由于这对所有工作负载都是不可能的，我们考虑一类“固定宽度”策略，它选择一个单一的并行化级别k，用于所有作业。我们证明，令人惊讶的是，它是可以实现EQUI的性能，而不需要改变他们的并行化水平的作业，通过使用最佳的固定水平的并行化，k*。我们还展示了如何解析推导出最佳k* 作为系统负载，加速曲线和作业大小分布的函数。在作业可能遵循不同的加速比曲线的情况下，找到一个好的调度策略更具挑战性。我们发现，像EQUI这样的政策在单一加速功能的情况下表现良好，现在表现不佳。我们提出了一个非常简单的政策，贪婪 *，它执行近最佳相比，数值推导的最优策略。

2017-10-31cs.PF

中等工件的重尾极限与比较调度

Heavy-Tailed Limits for Medium Size Jobs and Comparison Scheduling

我们研究了处理器共享（PS），前台后台处理器共享（FBPS）和最短剩余处理时间优先（SRPT）调度纪律的条件逗留时间分布的事件中，到达平稳的客户的作业大小小于正好k>=0的前m>=k到达。然后，在前一个事件的条件下，这个新到达的客户的逗留时间分布表现为渐近相同，就好像客户被隔离地服务于PS/FBPS的速率为（1-ρ）/（k+1）的服务器，以及SRPT的速率为（1-ρ）的服务器，其中ρ是业务强度。因此，引入的概念的条件限制，使我们能够区分的渐近性能的研究，通过显示SRPT表现出相当好的渐近行为相对较小的工作比PS/FBPS。受上述结果的启发，我们提出了一个近似的SRPT纪律的基础上，一种新的自适应作业分组机制，使用相对大小比较新到达的工作，前m到达。具体地说，如果新到达的作业小于前m个作业中的k个且大于前m个作业中的m-k个，则将其路由到类k中。然后，使用静态优先级调度的类较小的作业具有较高的优先级。该机制的良好性能，即使是少量的类m+1，证明了使用渐近分析下的重尾作业要求。我们还讨论了改进的比较分组机制，提高了工作分类的准确性，在一个小的额外的复杂性为代价。

2008-05-14cs.NIcs.PF

PADLL：通过动态、与应用无关的QoS控制来驯服元数据密集型HPC作业

PADLL: Taming Metadata-intensive HPC Jobs Through Dynamic, Application-agnostic QoS Control

在HPC基础架构上运行的现代I/O应用程序正日益成为读取和元数据密集型应用程序。然而，让多个并发应用程序提交大量元数据操作很容易使共享并行文件系统的元数据资源饱和，从而导致整体性能下降和I/O不公平。我们提出PADLL，应用程序和文件系统不可知的存储中间件，使高性能计算存储系统中的数据和元数据工作流的QoS控制。它采用了软件定义存储的思想，构建了数据平面阶段，用于调解和限制提交给共享文件系统的POSIX请求，以及一个控制平面，用于全面协调所有I/O工作流的处理方式。我们证明了它的性能和可行性，在多个QoS政策下，使用合成基准测试，现实世界的应用程序，并从生产文件系统收集的痕迹。结果表明，PADLL可以执行复杂的存储QoS策略并发元数据侵略性的工作，确保公平性和优先级。

2023-03-24cs.DCcs.OScs.PF

利用马尔可夫服务速率策略改进多资源作业调度

Improving Multiresource Job Scheduling with Markovian Service Rate Policies

本文提出并分析了一类易于实现且易于分析的多资源作业调度策略——Markovian Service Rate (MSR) 策略，证明了其吞吐量最优性，推导了紧致的平均响应时间界限，并展示了如何根据系统参数选择合适的 MSR 策略。

2025-05-02cs.PF

多服务器-作业模型在高负荷下的最优调度

Optimal Scheduling in the Multiserver-job Model under Heavy Traffic

多服务器作业系统，其中的作业需要在多个服务器上并发服务，在实践中广泛存在。基本上，所有关于多服务器作业系统的理论工作都集中在最大化利用率上，而对平均响应时间几乎一无所知。在更简单的设置中，例如各种已知大小的单服务器作业设置，最小化平均响应时间只是对小作业进行优先级排序的问题。然而，对于多服务器作业系统，优先考虑小作业是不够的，因为我们还必须确保服务器不会不必要地闲置。因此，最小化平均响应时间需要优先考虑小作业，同时最大化吞吐量。我们的问题是如何实现这些共同目标。我们设计的ServerFilling-SRPT调度策略，这是第一个政策，以最大限度地减少平均响应时间在多服务器作业模型在繁忙的交通限制。除了证明这个大流量的结果，我们提出的经验证据表明，ServerFilling-SRPT优于所有现有的调度策略的所有负载，在更高的负载数量级的改进。由于ServerFilling-SRPT需要知道作业大小，因此我们还定义了ServerFilling-Gittins策略，当大小未知或部分已知时，该策略是最佳的。

2022-11-04cs.PF

部分流动部分损耗的排队系统中的动态调度

Dynamic scheduling in a partially fluid, partially lossy queueing system

我们认为一个单一的服务器排队系统与两类工作：渴望工作与小尺寸，需要服务，几乎立即开始抵达后，和宽容的工作与较大的尺寸，可以等待服务。虽然阻塞概率是相关的性能指标的渴望类，宽容类的目的是尽量减少其平均逗留时间。在本文中，我们讨论了动态调度策略下的每个类的性能，其中两个类的调度取决于系统的瞬时状态。这种分析是在一定的流动性限制下进行的，其中渴望类的到达率和服务率被缩放到无穷大，保持所提供的负载恒定。我们的性能表征揭示了一个（动态）伪守恒定律，它将两个类的性能与渴望类的独立阻塞概率联系在一起。此外，性能对于调度策略的其他细节是鲁棒的。我们还描述了在相同的流体限制下的性能向量的可实现区域的帕累托前沿，并确定（两个参数）类帕累托完全调度策略。

2021-12-23cs.PFmath.OC