Managing Uncertainty: A Case for Probabilistic Grid Scheduling
网格技术正在发展成为一个全球性的、面向服务的体系结构,一个提供未来高需求计算服务的通用平台。网格和效用计算概念的广泛采用导致越来越多的网格安装运行各种不同大小和复杂性的应用程序。在本文中,我们解决的问题交付期限/经济调度在异构应用环境中使用的统计特性的作业历史执行和相关的元数据。这种方法的动机是由一个多用途的网格集群服务于一个社区的20个电子科学项目的网格应用程序所产生的六个月的计算负载的研究。所观察到的作业统计,资源利用率和用户行为的背景下,最适合支持概率和自主调度架构的管理方法和模型进行了讨论。
2007-11-02 cs.DC
Effective Cost Mechanism for Cloudlet Retransmission and Prioritized VM Scheduling Mechanism over Broker Virtual Machine Communication Framework
在当前场景中,云计算是最广泛增加的任务执行平台。大量的研究正在进行,以减少成本和执行时间。在本文中,我们提出了一个有效的算法,有一个有效的和快速执行的任务分配给用户。提出了一种有效的代理和虚拟机之间的通信框架,使用代理虚拟机通信框架(BVCF)分配任务并以最佳的时间和成本获取结果。我们通过基于虚拟机成本的修改,在虚拟机调度策略下,在cloudsim上实现它。通过虚拟机以及Cloudlets进行调度和Cloudlets的重传是整个架构所依赖的拟议工作的基本构建块。正在通过循环调度和FCFS调度策略分析Cloudlets的执行。
2012-07-11 cs.DC
Probabilistic Scheduling of Dynamic I/O Requests via Application Clustering for Burst-Buffer Equipped HPC
突发缓冲是一种很有前途的存储解决方案,它引入了一个中间的高吞吐量存储缓冲层,以缓解当前高性能计算(HPC)平台所面临的I/O瓶颈问题。现有的基于马尔可夫链的概率I/O调度利用突发缓冲器的负载状态和应用程序的周期性特性来减少由于突发缓冲器容量有限而导致的I/O拥塞。然而,这种概率方法需要一致的I/O特性的应用程序,包括类似的I/O持续时间和长的应用程序长度,以获得准确的I/O负载估计。这些一致性条件在现实情况中往往不成立。在本文中,我们提出了一个通用的框架,基于应用程序聚类的动态概率I/O调度(DPSAC),使应用程序满足一致性要求。根据每个应用程序的I/O短语长度,我们的计划首先部署一个一维的K-均值聚类算法聚类成集群的应用程序。然后,通过应用的概率模型计算每个集群的期望工作负载,然后按比例划分Burst-Buffer。然后,处理动态变化(加入和退出)的应用程序,它更新的启发式策略的基础上的集群。最后,采用基于应用负载分布和Burst-Buffer状态的概率I/O调度方法,对所有并发应用进行I/O调度,以缓解I/O拥塞。在合成数据上的仿真结果表明,该算法是有效的。
2022-10-14 cs.DC
Data-Locality-Aware Task Assignment and Scheduling for Distributed Job Executions
针对无未来作业到达先验信息的分布式作业执行,本文提出OBTA、扩展WF并设计RD启发式与最短预估时间优先排序,以降低作业完成时间和计算开销。
2025-07-27 cs.DC
Execution Templates: Caching Control Plane Decisions for Strong Scaling of Data Analytics
云框架的控制平面在调度粒度和性能之间进行权衡。集中式系统按任务粒度进行调度,但每秒只能调度几千个任务。分布式系统每秒调度数十万个任务,但更改调度的成本很高。我们提出了执行模板,一个控制平面的抽象,可以调度每秒数十万的任务,同时支持细粒度的,每任务的调度决策。执行模板利用程序的重复控制流来缓存频繁执行的任务块。在模板中执行任务需要发送一条消息。大规模的计划更改会安装新模板,而小的更改会将编辑应用到现有模板。对Nimbus(一种数据分析框架)中的执行模板进行评估发现,它们提供了集中式控制平面的细粒度调度灵活性,同时匹配分布式控制平面的强大扩展性。执行模板支持复杂的实际应用程序,例如具有三重嵌套循环和数据相关分支的流体模拟。
2017-05-04 cs.DC
An Efficient Max-Min Resource Allocator and Task Scheduling Algorithm in Cloud Computing Environment
云计算是一种新的原型,它通过数据中心的支持向云用户提供动态计算服务,数据中心采用数据中心代理的服务,数据中心代理发现资源并虚拟地分配资源。本研究的重点是有效地优化资源分配在云中利用最大-最小调度算法,并加强它,以提高效率的完成时间(makespan)。这是提高云调度性能和缩小云服务提供商与云资源消费者/用户之间性能差距的关键。当前的Max-Min算法在能够给出最小完成时间的更快的可用机器或资源上选择具有最大执行时间的任务。该算法考虑的是先给执行时间最长的任务以优先级,然后再给执行时间最短的任务以最小化完工时间。该算法的缺点是,先执行最大执行时间的任务会增加最大完工时间,如果最大执行时间的任务数超过最小执行时间的任务数,则会导致最小执行时间的任务执行延迟,因此需要对其进行改进,以减少最小执行时间的任务执行延迟。利用CloudSim仿真软件对改进的Max-Min算法和传统的Max-Min算法进行了仿真比较。实验结果表明,改进算法是有效的,可以产生更好的最大完工时间比Max-Min和DataAware。
2016-11-27 cs.DC
Rubick: Exploiting Job Reconfigurability for Deep Learning Cluster Scheduling
针对现有深度学习集群调度将可重构训练作业视为黑盒导致的性能与利用率低下问题,提出Rubick调度系统,联合优化作业执行方案与多资源分配,在64-GPU集群上显著提升作业完成速度与集群效率。
2024-08-16 cs.DC
nOS-V: Co-Executing HPC Applications Using System-Wide Task Scheduling
未来的Exascale系统将具有大规模并行性,众核处理器和异构体系结构。在这种情况下,HPC应用程序越来越难以充分和有效地利用系统节点中的资源。此外,增加的并行性加剧了当前应用程序中现有的低效率的影响。研究表明,协同调度应用程序以共享系统节点,而不是单独执行每个应用程序,可以提高资源利用率和效率。然而,目前的超额认购和共址技术共享节点有几个缺点,限制了他们的适用性,使他们非常依赖于应用程序。本文介绍了通过系统范围内的调度协同执行。协同执行是一种新颖的细粒度技术,可在同一节点上同时执行多个HPC应用程序,性能优于当前最先进的方法。我们在nOS-V中实现了这种技术,nOS-V是一个轻量级的任务库,通过系统范围的任务调度支持协同执行。此外,nOS-V可以很容易地与现有的编程模型集成,无需更改用户应用程序。我们展示了如何与nOS-V的共同执行显着减少了单节点和分布式环境中的几个应用程序的时间表完工时间,优于以前的节点共享技术。
2022-04-22 cs.DC
Configurable Strategies for Work-stealing
工作窃取系统通常不知道他们正在调度的任务的性质。例如,它们不知道或考虑任务将花费多长时间执行或它将产生多少子任务。此外,实际任务执行顺序通常由底层任务存储数据结构确定,并且不能改变。因此,存在通过向调度系统提供关于特定任务及其优选执行顺序的信息来优化任务并行执行的可能性。我们引入调度策略,使应用程序能够动态地提供提示的任务调度系统的性质,特定的任务。调度策略可用于独立控制本地任务执行顺序以及窃取顺序。与通常在范围上是全局的常规调度策略相比,策略允许调度器对单个任务应用优化。这种灵活性大大提高了可组合性,因为它允许调度程序同时为应用程序的不同部分应用不同的特定调度选择。我们提出了一些基准,突出不同的,有益的效果,可以实现与调度策略。一些基准测试(分支绑定、单源最短路径)表明,与标准的工作窃取执行顺序相比,任务的优先级可以减少工作总量。对于其他基准测试(三角带生成),可以在更短的时间内获得更好的质量结果。其他优化,如动态合并任务或窃取一半的工作,而不是一半的任务,也被证明可以提高性能。组合性的例子,结合不同的策略,无论是在同一内核(前缀和),以及当调度多个内核(前缀和不平衡树搜索)。
2013-05-28 cs.DC
Optimizing Task Placement and Online Scheduling for Distributed GNN Training Acceleration
在大型图上训练图神经网络(GNN)是资源密集型和耗时的,主要是由于大型图数据无法放入单个机器的内存中,而是必须从分布式图存储中获取并随时处理。与分布式深度神经网络(DNN)训练不同,分布式GNN训练的瓶颈主要在于用于构建小批量训练样本的大型图数据传输。现有的解决方案通常提倡数据计算托管,并且在托管不可行的情况下不能很好地与有限的资源一起工作。任务的战略布局和数据传输与任务执行的优化调度的潜力还没有得到很好的开发。为了提高资源利用率,改善执行流水线,加快训练完成速度,设计了一种高效的分布式GNN训练任务放置和执行调度算法框架。我们的框架由两个模块组成:(i)一个在线调度算法,调度训练任务的执行,和数据传输计划;和(ii)一个探索性的任务布局方案,决定每个训练任务的位置。我们进行了深入的理论分析,测试床实验和模拟研究,并观察到与代表性基线相比,我们的算法的训练速度提高了67%。
2022-04-24 cs.DC
RFID: Towards Low Latency and Reliable DAG Task Scheduling over Dynamic Vehicular Clouds
车载云平台集成移动车辆的异构和分布式资源,以提供及时且经济高效的计算服务。然而,风险投资的动态性质(即,车辆之间的有限接触持续时间)对具有有向无环图(DAG)结构的计算密集型应用/任务的执行提出了独特的挑战,其中每个任务由多个相互依赖的组件(子任务)组成。在本文中,我们研究的DAG任务调度的动态VC,其中多个子任务的DAG任务分散在车辆,然后通过合作利用车辆的资源进行处理。我们制定DAG任务调度作为一个0-1整数规划,旨在最大限度地减少整体任务完成时间,同时确保高的执行成功率,这原来是NP-难。为了解决这个问题,我们开发了一个排名和前瞻性集成的动态调度方案(RFID)。RFID由(i)动态向下排序机制组成,该机制对不同子任务的调度优先级进行排序,同时显式地考虑到达格的顺序执行性质;(ii)基于资源稀缺性的优先级更改机制,可以克服可能导致的性能下降VC资源的波动性;以及(iii)基于度的加权最早完成时间机制,其将具有最高调度优先级的子任务分配给提供快速任务执行以及可靠传输链路的车辆。我们的仿真结果表明,我们所提出的方案相比,基准方法的有效性。
2022-08-26 cs.DC
Topology-aware Serverless Function-Execution Scheduling
本文提出声明式语言 tAPP,用于定义拓扑感知的无服务器函数调度策略,并通过扩展 Apache OpenWhisk 验证其可行性,在提升拓扑约束场景性能的同时不影响通用场景性能。
2023-07-06 cs.DC
Index-Based Scheduling for Parallel State Machine Replication
状态机复制(SMR)是设计具有容错的服务的基本方法。然而,其对事务的确定性执行的要求通常导致单线程副本,这不能充分利用当今处理器的多核能力。因此,并行SMR已成为近年来的研究热点。它背后的基本思想是独立事务可以并行执行,而相关事务必须按其相对顺序执行,以确保副本之间的一致性。现有的并行SMR方法的依赖性检测主要是基于两两事务比较或批比较。这些方法不能同时保证有效的检测和并发执行。此外,调度过程不能并发执行,这也引入了额外的调度开销。为了进一步降低调度开销,保证事务的并行执行,我们提出了一种基于特定索引结构的高效调度器。该索引由布隆过滤器和相关的事务队列组成,分别提供有效的依赖检测和保留必要的依赖信息。基于该索引结构,我们进一步设计了一个详细的并发调度过程。实验结果表明,该调度器具有更高的效率,可扩展性和鲁棒性的比较方法。
2019-11-26 cs.DC
Co-Scheduling Algorithms for High-Throughput Workload Execution
本文研究了处理一组并行应用程序的协同调度算法。而不是一个接一个地执行每个应用程序,使用最大程度的并行性,他们每个人,我们的目标是在调度多个应用程序并发。我们将原始应用程序集划分为一系列的包,这些包被逐个执行。一个包包括几个应用程序,每个应用程序都有一个分配的处理器数量,约束条件是在一个包内分配的处理器总数不超过可用处理器的最大数量。我们的目标是确定一个分区成包,并分配处理器的应用程序,最大限度地减少包的执行时间的总和。我们深入研究了这个优化问题的复杂性,并提出了几种算法,表现出非常好的性能在各种工作负载,其应用程序的执行时间模型配置文件的并行科学代码。我们发现,联合调度导致更快的工作量完成时间和更快的响应时间平均(从而提高系统吞吐量和节省能源),从用户和系统的角度来看,传统的调度显着的好处。
2013-04-29 cs.DC cs.DS
Trustworthy Scheduling for Big Data Applications
Athens University of Economics and Business(雅典经济与商业大学);National and Kapodistrian University of Athens(雅典国立卡波迪斯特里阿斯大学)
X-Sched通过整合反事实解释与机器学习模型,提供可操作的资源配置指导,提升容器化环境中的任务执行效率和透明度。
2026-01-26 cs.DC
Scheduling Computation Graphs of Deep Learning Models on Manycore CPUs
对于深度学习模型,高效执行其计算图是实现高性能的关键。以前的工作集中在提高计算图的单个节点的性能,而忽略了图作为一个整体的并行化。然而,我们观察到,同时运行多个操作而不干扰是至关重要的,有效地执行并行化的小操作。在深度学习框架中并行执行计算图的尝试通常涉及并发操作之间的大量资源争用,导致众核CPU上的性能较差。为了解决这些问题,在本文中,我们提出了Graphi,一个通用的和高性能的执行引擎,以有效地执行计算图在多核CPU上并行。具体来说,Graphi最大限度地减少了对软件/硬件资源的干扰,使用分析器发现最佳并行设置,并使用关键路径优先调度进一步优化图形执行。我们的实验表明,并行执行一致优于顺序。使用Graphi的四个不同神经网络的训练时间比使用68核英特尔至强融核处理器上的TensorFlow快2.1倍至9.5倍。
2018-07-16 cs.DC
Partitioning SKA Dataflows for Optimal Graph Execution
优化数据密集型工作流执行对于许多现代科学项目至关重要,例如平方公里阵列(SKA),它将成为世界上最大的射电望远镜,在未来几十年内每秒收集TB级数据。SKA科学数据处理器的核心是图形执行引擎,调度数万个算法组件来摄取和转换数百万个并行数据块,以便在功率预算内解决一系列大规模逆问题。为了应对这一挑战,我们开发了数据激活刘图引擎(DALiuGE),以管理多个SKA探路者项目的数据处理管道。本文讨论了大流格图调度子系统。通过扩展以前的研究图调度和分区,我们奠定了基础上,我们可以开发多项式时间优化方法,最大限度地减少工作流的执行时间和资源占用,同时满足资源的限制所施加的个别算法。我们展示了从三个射电天文学数据管道获得的初步结果。
2018-05-19 cs.DC
KubeAdaptor: A Docking Framework for Workflow Containerization on Kubernetes
针对工作流系统迁移到Kubernetes时任务调度顺序不一致的问题,本文提出云原生对接框架KubeAdaptor,通过事件触发机制实现工作流容器化并保证调度顺序一致,实验表明其在执行时间、生命周期和资源使用率上优于Argo。
2022-07-04 cs.DC
CMS Workflow Execution using Intelligent Job Scheduling and Data Access Strategies
复杂的科学工作流程可以使用数千个任务来处理大量数据。这些工作流的周转时间通常受到各种延迟的影响,例如各个工作流过程或参与者的资源发现、调度和数据访问延迟。最小化这些延迟将改善工作流的总体执行时间,从而导致更有效和更健壮的处理环境。在本文中,我们提出了一个试点作业为基础的基础设施,具有智能数据重用和作业执行策略,以尽量减少调度,排队,执行和数据访问延迟。结果表明,显着改善的整体周转时间的工作流程,可以实现这种方法。所提出的方法进行了评估,首先使用CMS Tier0数据处理工作流程,然后模拟工作流程,以评估其有效性在受控环境中。
2012-02-24 cs.DC cs.SE
Enabling Scientific Workflow Scheduling Research in Non-Uniform Memory Access Architectures
Universidad de los Andes(安第斯大学)
本文提出nFlows,一个支持在非统一内存访问架构上进行科学工作流调度研究的运行时系统,用于建模、执行、模拟和验证调度算法。
2025-11-25 cs.DC
Online Parallel Scheduling of Non-uniform Tasks: Trading Failures for Energy
考虑一个系统,其中不同执行时间的任务连续到达,并且必须由一组易于崩溃和重启的处理器执行。在本文中,我们模拟和研究的影响,并行性和故障的竞争力,这样一个在线系统。在一个无故障的环境中,一个简单的最长的系统调度策略,增强了冗余避免机制,保证在长期执行的最优性。然而,在存在故障的情况下,调度成为一项更具挑战性的任务。特别是,没有一个并行确定性算法可以与离线最优解竞争,即使只有一个处理器和两个不同的执行时间的任务。我们发现,当额外的能量以处理器加速的形式提供给系统时,情况发生了变化。具体来说,我们确定阈值的加速下,这种竞争力不能实现任何确定性的算法,并在竞争力的算法存在。最后,我们提出的算法,实现小有界的竞争比时,加速比超过阈值。
2013-06-08 cs.DC
Skedulix: Hybrid Cloud Scheduling for Cost-Efficient Execution of Serverless Applications
我们提出了一个框架,用于在混合公共-私有云上调度多功能无服务器应用程序。一组无服务器作业作为批处理输入,目标是在混合平台上调度功能执行,以最大限度地降低公共云使用的成本,同时在指定的截止日期前完成所有作业。由于这个调度问题是NP-难的,我们提出了一个贪心算法,动态地确定每个功能执行的顺序和位置,使用功能执行时间和网络延迟的预测模型。我们提出了一个原型实现我们的框架,使用AWS Lambda和OpenFaaS,分别为公共云和私有云。我们在现场实验中使用计算和I/O繁重的无服务器应用程序的混合来评估我们的原型。我们的研究结果表明,我们的框架可以实现加速批处理的方法,只使用私有云的1.92倍,在40.5%的成本,只使用公共云的方法。
2020-06-05 cs.DC cs.NI
Performant, Multi-objective Scheduling of Highly Interleaved Task Graphs on Heterogeneous System on Chip Devices
性能、功率和能量感知调度技术在优化利用异构系统的处理元件(PE)方面起着至关重要的作用。列表查询器是一类低复杂度的静态查询器,通常用于静态执行场景。然而,列表查询器不适合运行时决策,特别是当多个并发应用程序动态交错时。对于这种情况,静态任务执行时间和期望的空闲PE所承担的列表调度器导致低效的系统利用率和性能差。为了解决这个问题,我们提出了技术,通过一个家庭的启发,著名的异构最早完成时间(HEFT)列表调度算法的列表调度算法在动态运行时的情况下,优化执行。通过在开源离散事件异构SoC模拟器中模拟的动态到达的逼真工作负载场景,我们详尽地评估了Xilinx Zynq Ultrascale+ ZCU 102和O-Droid XU 3开发板之后建模的两个SoC中的每个算法。总而言之,根据这个系列算法中所选择的变体,与基线HEFT实现相比,我们能够实现高达39%的执行时间改进,高达7.24倍的算法加速,或高达30%的能耗改进。
2021-12-16 cs.DC
POAS: A high-performance scheduling framework for exploiting Accelerator Level Parallelism
异构计算在各个领域都成为主流。计算机体系结构的这个新时代带来了一种称为加速器级并行化(ALP)的新范式。在ALP中,同时使用加速器以提供前所未有的性能和能效水平。要实现这一目标,有许多问题需要解决,其中最具挑战性的是共同执行。本文开发了一个称为POAS的调度框架,一种通用的方法,为通用应用程序提供协同执行。与其他调度方法不同,POAS不直接调度应用程序。相反,它是一个通用模型,可以转换任何应用程序,使其适合于协同执行,以便可以在ALP环境中执行。我们的建议由四个不同的步骤组成:预测,优化,适应和调度。在这些阶段中,在应用程序中实现不同的修改,使其适合在ALP环境中执行。在这项工作中,我们还将我们的框架应用到矩阵乘法案例研究中,概述了将应用程序与POAS相结合的关键和最重要的步骤。我们评估了在使用CPU核、CUDA核和张量核(XPU)的CPU/GPU/XPU环境上基于POAS的矩阵乘法实现。我们的实验证明,在所研究的情况下,共同执行可以受益于ALP,产生高达45%的加速比只使用一个加速器。POAS已被证明的灵活性和潜力使其成为在未来计算机系统中实现ALP的优秀候选者。
2022-09-21 cs.DC
LOS: Local-Optimistic Scheduling of Periodic Model Training For Anomaly Detection on Sensor Data Streams in Meshed Edge Networks
异常检测对于处理边缘和雾环境、智能城市以及工业4.0中的传感器数据量越来越重要。为了确保良好的结果,需要定期更新所使用的ML模型,以适应传感器数据中的季节变化和概念漂移。尽管边缘资源可用性的增加可以允许直接在设备上原位执行模型训练,但它仍然经常被卸载到雾设备或云。在本文中,我们提出了本地乐观调度(LOS),这是一种在数据源附近执行周期性ML模型训练作业的方法,而不会使轻量级边缘设备过载。训练作业根据需要卸载到附近的邻居节点,并且资源消耗被优化以满足训练周期,同时仍然确保足够的资源用于进一步的训练执行。这种调度是以分散、协作和机会主义的方式完成的,而不需要完全了解基础设施和工作负载。我们在现实世界数据集的边缘计算测试平台上评估了我们的方法。实验结果表明,LOS的地方接近输入传感器流的训练执行,减少训练时间和训练周期之间的偏差高达40%,并增加了成功调度的训练工作量相比,在原位执行。
2021-09-27 cs.DC
Agentic CPU-GPU Scheduling for Heterogeneous AI Workloads
Brown University(布朗大学)
研究异构人工智能工作负载的调度问题,提出将设备调度制定为三种选项,识别影响延迟的因素,构建智能调度器,该调度器在多种场景下达到最优映射,精度与经典基线匹配且无需离线训练,性能优于其他策略。
2026-07-27 cs.DC
Multiprocessor Scheduling of Dependent Tasks to Minimize Makespan and Reliability Cost Using NSGA-II
异构多处理器系统上的应用程序调度算法集中在一个单一的目标,如执行时间,成本或总的数据传输时间。然而,如果考虑多个目标(例如,执行成本和时间,这可能是冲突的),那么问题变得更具挑战性。本计画旨在发展一个多目标排程演算法,利用演化技术,在多处理器环境中,以最小化最大完工时间与可靠性成本,来排程一组相依任务。一个非支配排序的遗传算法-II程序已被开发,以获得帕累托最优解。NSGA-Ⅱ是一种精英进化算法,它在每次迭代中都采用初始父解,不作任何改变,以消除Pareto最优解丢失的问题,并利用拥挤距离的概念来产生解的多样性。
2014-04-10 cs.DC
Scientific Workflow Scheduling in Cloud Considering Cold Start and Variable Pricing Model
针对科学云服务提供商面临的冷启动和多种虚拟机定价模型管理挑战,提出一种结合历史数据初始规划与实时调整的混合调度框架,在真实数据集上相比现有方法实现高达20%的利润提升。
2025-04-30 cs.DC
Integrating Abstractions to Enhance the Execution of Distributed Applications
限制分布式应用程序的规模、性能和复杂性的因素之一是难以在多个分布式计算资源上并发执行它们。在某种程度上,这是由于对应用程序和动态资源之间耦合的一般属性和性能的理解不足。本文通过将分布式应用程序、资源和执行过程的抽象集成到一个基于试点的中间件中来解决这个问题。该中间件提供了一个平台,可以指定分布式应用程序,在多个资源和不同的配置上执行它们,并被仪表化以支持调查分析。我们通过实验分析了分布式应用程序的执行,这些实验测量了使用多个资源的好处,调度决策的后期绑定以及回填调度的使用。
2016-02-18 cs.DC
Conthereum: Concurrent Ethereum Optimized Transaction Scheduling for Multi-Core Execution
Conthereum 提出一种基于柔性作业车间调度问题的贪心启发式调度器,结合智能合约静态冲突分析,实现以太坊区块内交易的并发无冲突执行,在多核环境下显著提升吞吐量并优于现有并发方案。
2025-07-22 cs.CR cs.DC
Response-Time Analysis and Optimization for Probabilistic Conditional Parallel DAG Tasks
实时系统越来越多地使用多核处理器,以满足热,功率和计算需求。为了利用多核处理器提供的架构并行性,必须提供并行任务模型、调度算法和相对于实时约束的响应时间分析。在本文中,我们提出了一个基于预约的调度算法,零星的约束最后期限并行条件DAG任务的概率执行行为的应用程序,可以容忍有限数量的最后期限错过和有限的迟到。我们设计的规则和分析,以保证有限的迟到一个指定的有界概率$k$-连续的最后期限错过,而不强制执行迟到的作业立即中止。
2021-01-26 cs.DC
Privacy in Population Protocols with Probabilistic Scheduling
该研究针对群体协议模型隐私研究不足的问题,提出多种隐私形式化定义,验证了现有Remainder计算协议在概率调度下不满足信息论隐私,并提出了满足该隐私要求的新算法。
2023-05-03 cs.CR cs.DC
Hierarchical Dynamic Loop Self-Scheduling on Distributed-Memory Systems Using an MPI+MPI Approach
计算密集型循环是科学应用中并行性的主要来源。这样的循环通常是不规则的,并且它们的循环迭代的平衡执行对于实现高性能是至关重要的。然而,有几个因素可能导致不平衡的负载执行,例如问题特征、算法和系统变化。动态循环自调度(DLS)技术的目的是减轻这些因素,从而提高应用程序的性能。在分布式存储器系统上,DLS技术可以使用分层的主-工作者执行模型来实现,因此被称为分层DLS技术。这些技术在两个硬件并行级别上自调度循环迭代:跨计算节点和计算节点内。结合消息传递接口(MPI)和开放多处理(OpenMP)的混合编程方法主导了分层DLS技术的实现。MPI-3标准包括在MPI进程之间共享内存区域的特性。该特性引入了MPI+MPI方法,简化了并行科学应用程序的实现。本工作设计和实现分层DLS技术,利用MPI+MPI的方法。四个众所周知的DLS技术被认为是在这里提出的评估。结果表明,所提出的方法相比,混合MPI+OpenMP方法的某些性能优势。
2019-03-22 cs.DC
The TensorFlow Partitioning and Scheduling Problem: It's the Critical Path!
最先进的数据流系统(如TensorFlow)对需要在异构设备(如CPU、GPU和TPU)上分区的大型图形进行迭代计算。但是,分区不能孤立地看待。每个设备必须选择要执行的下一个图形顶点,即,执行本地调度决策。这两个问题,分区和调度,本身是NP完全的,但必须结合起来解决,以最大限度地减少迭代的总执行时间。在本文中,我们提出了几种启发式策略来解决TensorFlow中的分区和调度问题。我们模拟了所提出的策略在异构环境中的性能,这些环境具有TensorFlow常见的通信密集型工作负载。我们的研究结果表明,最好的分区和调度策略是那些专注于最小化的执行时间的关键路线的图。这些策略与不知道关键路线的策略(如基于散列的分区和FIFO调度)相比,提供了高达4倍的加速。
2017-11-06 cs.DC
MetaNet: Automated Dynamic Selection of Scheduling Policies in Cloud Environments
Imperial College London(伦敦帝国理工学院);Loughborough University(拉夫堡大学)
在优化云计算环境的服务质量(QoS)的背景下,任务调度是被充分研究的问题。为了维持计算需求的快速增长,云计算器最重要的QoS指标之一是执行成本。在这方面,近年来已经提出了几种基于数据驱动的深度神经网络(DNN)的调度器,以允许在动态工作负载设置中进行可扩展和有效的资源管理。然而,最佳调度通常依赖于复杂的DNN,其具有高计算需求,这意味着更高的执行成本。此外,即使在非静止环境中,也可能不总是需要复杂的过滤器,为了成本效益,我们可以暂时依靠低成本的过滤器。因此,这项工作的目的是解决非平凡的Meta问题的调度策略的在线动态选择使用一个代理模型称为MetaNet。与具有固定调度策略的传统解决方案不同,MetaNet在运行中从大量基于DNN的方法中选择调度器,以同时优化任务调度和执行成本。与最先进的DNN路由器相比,这使得执行成本、能耗、响应时间和违反服务级别协议的情况分别降低了11%、43%、8%和13%。
2022-05-21 cs.AI cs.DC
Partition-Aware Scheduling for Mobile Heterogeneous Inference Co-Execution
University of Southern California(南加州大学)
本文提出一种分区感知的DAG调度框架,联合优化算子分区、设备分配与执行顺序,在移动异构平台上实现接近离线最优的推理延迟,且调度开销极低。
2026-09-15 cs.DC cs.LG cs.PF
Energy-aware scheduling under reliability and makespan constraints
我们考虑映射到一组同构处理器上的任务图。我们的目标是最大限度地减少能源消耗,同时执行两个约束:一个规定的执行时间(或完工时间)的界限,和可靠性阈值。动态电压和频率缩放(DVFS)是一种经常用于减少调度的能量消耗的方法,但是为了节省能量而减慢任务的执行降低了执行的可靠性。在这项工作中,为了提高可靠性的时间表,同时减少能源消耗,我们允许重新执行一些任务。我们评估的三个标准调度问题(完工时间,可靠性,能源)的复杂性,决定哪些任务重新执行,并在每个任务的执行速度应该做的,有两种不同的速度模型:处理器可以有任意的速度(连续模型),或处理器可以运行在一个有限数量的不同的速度,并在计算过程中改变其速度(VDD模型)。我们提出了几个新的三标准调度算法下的连续速度模型,我们通过一组模拟评估。这两个最好的物流是非常有效和互补的。
2012-08-02 cs.DC cs.DS
Smart Scheduling of Continuous Data-Intensive Workflows with Machine Learning Triggered Execution
为了从来自许多不同来源的不断增长的数据量中提取价值,并推动决策制定,组织经常求助于数据处理工作流的组合,因为它们具有表达性,灵活性和可扩展性。典型的工作流模型在处理步骤之间强制执行严格的时间同步,而不考虑中间计算对最终工作流输出的实际影响。然而,这在许多场景中不是最理想的行为。我们确定了一类用于连续数据处理的应用程序,其中工作流输出在短到中等的时间窗口中变化缓慢且没有很大意义,从而浪费了当前方法的计算资源和能量。为了克服这种低效率,我们引入了一种新的工作流模型,连续和数据密集型处理,能够放松触发语义根据影响输入数据评估有改变工作流输出。为了评估这种影响,学习输入和输出变化之间的相关性,并在给定的容许误差常数内保证正确性,我们依赖于机器学习。该工作流模型的功能是在SmartFlux中实现的,SmartFlux是一个中间件框架,可以毫不费力地与现有的工作流管理器集成。实验结果表明,我们能够节省大量的资源,同时不偏离工作流输出超过一个小的误差常数与高置信度。
2016-12-12 cs.DC
ODRE Workshop: Probabilistic Dynamic Hard Real-Time Scheduling in HPC
工业4.0正在从根本上改变工业过程中收集、存储和分析数据的方式。虽然这一变化使新的应用,如高度定制的产品的灵活制造,这些过程的实时的【形】控制,然而,尚未实现其全部潜力。我们相信,现代虚拟化技术,特别是应用程序容器,提供了一个独特的机会,从相关的硬件解耦控制功能。通过它,我们可以充分实现高度分布式和可转移的工业过程的潜力,即使有实时的【形】约束所产生的时间关键的子过程。在本文中,我们提出了一个专门开发的编排工具,以管理将工业控制软件从专用硬件转移到裸机服务器或(边缘)云计算平台的挑战和机遇。使用现成的技术,所提出的工具可以管理共享资源上的容器化应用程序的执行,而不损害硬实时的【形】执行确定性。通过第一次实验结果,我们证实了资源共享系统的可行性,并分析了严格的实时的【形】要求的行为。然后,我们描述了实验,以提供预期的结果,并收集性能,应用范围和所提出的方法的限制。
2020-05-09 cs.DC
Scheduling Mechanisms in Wireless Sensor-Actuator Networks for Multi-rate Periodic Control in Industry 4.0
针对工业4.0中多速率控制系统的实时调度问题,提出一种包含两阶段调度、LLF-RC算法、机会聚合和重复调度四种策略的框架,以提高可靠性、可调度性并降低通信和存储成本。
2026-05-28 cs.DC cs.ET cs.NI
Memory-aware Adaptive Scheduling of Scientific Workflows on Heterogeneous Architectures
针对异构平台上DAG形科学工作流,提出记忆感知的HEFT变体及自适应重调度策略,集成运行时系统,避免内存不足并显著缩短完工时间。
2025-03-28 cs.DC
Nimble: Lightweight and Parallel GPU Task Scheduling for Deep Learning
Seoul National University(首尔国立大学)
深度学习(DL)框架利用GPU来提高DL推理和训练的速度。理想情况下,DL框架应该能够充分利用GPU的计算能力,使得运行时间取决于分配给GPU的计算量。然而,我们观察到,在调度GPU任务时,现有的DL框架存在效率低下的问题,例如较大的调度开销和不必要的串行执行。为此,我们提出了Nimble,这是一个DL执行引擎,可以以最小的调度开销并行运行GPU任务。Nimble引入了一种称为提前(AoT)调度的新技术。这里,调度过程在执行GPU内核之前完成,从而在运行时间期间去除大部分调度开销。此外,Nimble通过在单个GPU中利用多个GPU流来自动并行执行GPU任务。对各种神经网络的评估表明,与PyTorch相比,Nimble的推理和训练速度分别提高了22.34 $\times$和3.61 $\times$。此外,Nimble的性能比最先进的推理系统TensorRT和TVM分别高出2.81 $\times$和1.70 $\times$。
2020-12-04 cs.DC cs.LG
COSM: A Cooperative Scheduling Framework for Concurrent PIM and CPU Execution on Mobile Devices
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海人工智能实验室);ETH Zurich(苏黎世联邦理工学院);Tsinghua University(清华大学);Beihang University(北京航空航天大学);Huawei Technologies Co., Ltd(华为技术有限公司)
提出COSM框架,通过低干扰PIM控制接口和空闲感知调度方法,实现移动设备上PIM与CPU的并发执行,提升PIM吞吐量达2.8倍且CPU性能损失小于2.0%。
2026-07-01 cs.AR cs.DC
A Probabilistic Machine Learning Approach to Scheduling Parallel Loops with Bayesian Optimization
提出了一种新的并行循环调度策略-贝叶斯优化增广因子分解自调度(BO FSS)。BO FSS是因子分解自调度(FSS)算法的自动调整变体,基于贝叶斯优化(BO),一种黑盒优化算法。其核心思想是通过BO求解一个优化问题来自动调整FSS的内部参数。调优过程只需要在线测量目标循环的执行时间。为了应用BO,我们使用两个高斯过程(GP)概率机器学习模型来建模执行时间。值得注意的是,我们提出了一个局部感知的GP模型,它假设时间局部性效应类似于一个指数递减函数。通过精确地建模的时间局部性效应,我们的本地感知GP模型加速BO的收敛。我们实现了BO FSS上的GCC实现的OpenMP标准,并评估其性能对其他调度算法。此外,为了量化我们的方法在不同工作负载上的性能变化,或者用我们的术语来说,工作负载鲁棒性,我们测量了极大极小遗憾。根据极大极小遗憾性,BO FSS算法比其他算法表现出更好的一致性。在考虑的工作负载中,BO FSS平均将FSS的执行时间缩短了22%和5%。
2022-06-12 cs.DC cs.PF
CROWDio: A Practical Mobile Crowd Computing Framework with Developer-Oriented Design, Adaptive Scheduling, and Fault Resilience
University of Moratuwa(莫鲁图瓦大学)
本文提出CROWDio框架,通过声明式SDK、分层检查点机制和可插拔调度框架,实现设备异构性管理、故障容忍和连接波动的透明处理,实验表明其调度策略可将执行时间减少56.9%。
2026-04-21 cs.DC
Raptor: Distributed Scheduling for Serverless Functions
针对可并行无服务器工作流的延迟与故障率问题,提出分布式调度器Raptor,利用超大规模下函数执行的统计独立性优化性能,实验验证其在跨三可用区部署的RSA密钥生成任务中延迟提升可通过指数随机变量准确预测。
2024-12-13 cs.DC
BUNDLEP: Prioritizing Conflict Free Regions in Multi-Threaded Programs to Improve Cache Reuse -- Extended Results and Technical Report
捆绑包中:Tessler和Fisher提出了一种调度机制和组合最坏情况执行时间计算方法,将指令缓存视为线程之间共享的有益资源。对象分析产生最坏情况下的执行时间界限,并将代码段划分为多个区域。线程在运行时间通过BUNDLE调度算法动态地放置在与区域关联的束中,在那里它们受益于共享的高速缓存值。在以前的工作的评价,任务创建了一个预定的最坏情况下的执行时间路径通过控制流图。先验知识的最坏情况下的路径是一个不切实际的限制任何分析。当时,唯一可用的其他解决方案是图的所有路径搜索,由于其复杂性,这是一种同样不切实际的方法。这项工作的主要重点是建立在BUNDLE的基础上,将其适用性扩展到概念验证之外。我们提出了一个完整的最坏情况下的执行时间的计算方法,包括线程级上下文切换成本,在实际程序上操作,具有代表性的架构参数,并比较我们的结果所产生的庚烷的最先进的方法。为此,我们提出了一个修改的束调度算法称为束。捆绑包被分配了优先级,这些优先级通过控制流图强制执行有序的线程流--避免了在图中进行多个全路径搜索的需要。在许多情况下,我们的评估表明,与序列化线程执行和最先进的WCET分析相比,BUNLDEP具有运行时和分析方面的优势。
2018-05-30 cs.DC
RT-Gang: Real-Time Gang Scheduling Framework for Safety-Critical Systems
在本文中,我们提出了RT-Gang:一个新的实时的【形】帮派调度框架,强制执行一个帮派在一个时间的政策。我们发现,在一个多核平台上,协同调度多个并行的实时的【形】任务将需要高度悲观的最坏情况执行时间(WCET)和可扩展性分析-即使有足够的核心-由于在共享的硬件资源,如高速缓存和DRAM控制器的竞争。RT-Gang中,一个并行实时的【形】任务的所有线程形成一个实时的【形】组,调度器全局执行一次一组的调度策略,以保证紧凑和准确的任务WCET。为了最大限度地减少利用率不足,我们集成了最先进的内存带宽节流框架,以允许安全执行尽力而为的任务。具体来说,任何空闲核心(如果存在)都用于调度尽力而为任务,但它们的最大内存带宽使用量被严格限制,以严格限制对实时的【形】群任务的干扰。我们在Linux内核中实现了RT-Gang,并使用合成和真实世界的DNN工作负载在两个代表性的嵌入式多核平台上对其进行了评估。结果表明,RT-Gang显著提高了系统的可预测性,开销可以忽略不计。
2019-03-17 cs.DC
Network-Aware Scheduling for Remote Gate Execution in Quantum Data Centers
本研究评估了量子数据中心中静态与动态纠缠调度策略,发现动态调度在高并行和资源稀缺场景下更优,并揭示了短相干时间下激进预读策略的弊端,为现实量子计算部署提供了系统级设计见解。
2025-04-28 cs.DC cs.NI cs.PF
Concurrent Scheduling of High-Level Parallel Programs on Multi-GPU Systems
本文提出指令图这一低级中间表示,将SYCL分布式程序中的内存管理、数据传输、MPI通信与内核调用的调度分析移出关键路径,并在Celerity运行时中实现并发调度与内存分配优化,在多达128个GPU上验证了强扩展性能。
2025-03-13 cs.DC
Improved Task Scheduling for Virtual Machines in the Cloud based on the Gravitational Search Algorithm
本文提出一种基于引力搜索算法的虚拟机任务调度方案,同时优化任务执行时间与系统资源利用率,仿真实验证明其优于现有方法。
2023-11-13 cs.DC
EcoLife: Carbon-Aware Serverless Function Scheduling for Sustainable Computing
本文提出ECOLIFE,首个协同优化碳足迹与性能的碳感知无服务器函数调度器,通过智能利用多代硬件并扩展粒子群优化算法,在保证高性能的同时有效降低碳足迹。
2024-10-16 cs.DC
Compiler-Guided Throughput Scheduling for Many-core Machines
多租户环境中的典型代理使用基于性能计数器的反应式、面向反馈的机制来避免资源争用,但遭受检测滞后和性能损失。在本文中,我们通过在执行过程中动态预测应用程序的资源密集区域来探索预测分析的实用性,从而解决这些限制。我们的编译器框架对程序中的循环进行分类,并利用传统的编译器分析和学习机制来量化它们的行为。基于它们的执行时间的可预测性,它然后在它们的入口/出口点插入不同类型的信标。由多个进程中的信标产生的信息由主动调度器聚合和分析,以响应预期的工作负载要求。对于吞吐量环境,我们开发了一个框架,该框架在45个基准测试的整合工作负载上展示了高质量的预测和CFS吞吐量的平均76.78%的改进,以及Amazon Graviton 2 Machine上高达3.2倍的改进。
2021-10-31 cs.DC
JOSS: Joint Exploration of CPU-Memory DVFS and Task Scheduling for Energy Efficiency
本文提出 JOSS 运行时框架,联合 CPU/内存 DVFS、核心异构性与任务特征进行建模和调度,在满足用户性能约束下平均较现有方法节能 21.2%。
2023-06-07 cs.DC