Virtual Gang based Scheduling of Real-Time Tasks on Multicore Platforms
提出了一种基于虚拟组的多核平台并行实时的【形】任务调度方法。我们的方法是基于一个虚拟的帮派,这是一组并行的实时的【形】任务,静态链接和调度在一起的帮派调度器的概念。我们提出了一个轻量级的群内同步框架,称为RTG-Sync,和虚拟群形成算法,提供强时间隔离和高实时的【形】可扩展性调度实时的【形】任务在多核上。我们评估我们的方法分析,生成的任务集对国家的最先进的方法,并与一个案例研究,涉及真实世界的工作负载在一个真正的嵌入式多核平台经验。结果表明,该方法提供了一个简单但功能强大的组合分析框架,实现了更好的分析可扩展性,特别是在考虑干扰影响的情况下,是一种实用的COTS多核平台解决方案。
2020-02-27 cs.DC cs.OS
Scheduling Policies for Stability and Optimal Server Running Cost in Cloud Computing Platforms
我们提出了吞吐量和成本最优的作业调度算法在云计算平台提供基础设施即服务。我们首先考虑在线迁移,并提出作业调度算法,以尽量减少作业迁移和服务器运行成本。我们认为算法,假设知识的工作量到达的工作。我们刻画了系统稳定性的最优成本。我们开发了一个基于漂移加惩罚框架的算法,可以任意接近地实现最优成本。具体来说,该算法产生延迟和成本之间的权衡。然后,我们放松了工作规模的知识假设,并给出了一个算法,使用现成的服务的工作。我们表明,该算法给出了订单明智的相同成本的工作大小为基础的算法。稍后,我们考虑引起迁移延迟的离线作业迁移。我们再次提出吞吐量优化算法,最大限度地减少服务器运行成本。我们说明了所提出的算法的性能,并通过仿真比较这些现有的算法。
2022-06-05 cs.DC
Modeling Processor Idle Times in MPSoC Platforms to Enable Integrated DPM, DVFS, and Task Scheduling Subject to a Hard Deadline
能源效率是现代嵌入式系统(如多处理器片上系统(MPSoC))最关键的设计标准之一。动态电压和频率缩放(DVFS)和动态功率管理(DVS)是用于降低此类嵌入式系统中的能量消耗的两种主要技术。此外,MPSoC对于许多实时应用变得越来越流行。在MPSoC上集成DVFS和实时应用的任务调度的挑战之一是在这些平台上的空闲时间间隔的建模。在本文中,我们提出了一种新的方法建模空闲时间间隔MPSoC平台,导致混合整数线性规划(MILP)制定集成的周期性任务图的硬截止日期,DVFS和任务调度。我们还提出了一个启发式的方法来解决MILP,并比较其结果与那些从解决MILP。
2018-12-19 cs.DC cs.OS
ESG: Pipeline-Conscious Efficient Scheduling of DNN Workflows on Serverless Platforms with Shareable GPUs
本文提出ESG调度算法,将可共享GPU作为一阶因素,结合A*搜索与双刃剪枝技术及基于支配者的SLO分布,解决无服务器平台上DNN工作流调度空间急剧扩大的问题,显著提升SLO命中率并降低成本。
2024-04-25 cs.DC
The Improved Job Scheduling Algorithm of Hadoop Platform
本文讨论了Hadoop平台上的一些作业调度算法,并针对现有算法的不足,提出了一种基于贝叶斯分类的作业调度优化算法。所提出的算法可以总结如下。在基于贝叶斯分类的调度算法中,将作业队列中的作业通过贝叶斯分类分为好作业和坏作业,当JobTracker收到任务请求时,从作业队列中选择一个好作业,并从好作业中选择任务分配给JobTracker,然后将执行结果反馈给JobTracker。因此,基于贝叶斯分类的调度算法通过学习JobTracker的反馈结果来影响作业分类,每次都会选择最合适的作业在TaskTracker上执行。我们需要考虑作业资源的特征使用情况和TaskTracker资源对任务执行的影响,前者我们称之为作业特征,如CPU平均使用率和内存平均使用率,后者是节点特征,如CPU使用率和空闲物理内存大小,两者称为特征变量。实验结果表明,该算法在作业调度的执行效率和稳定性方面有明显的提高.
2015-06-09 cs.DC cs.DS
Workload Classification & Software Energy Measurement for Efficient Scheduling on Private Cloud Platforms
目前,为基于私有云的数据中心创建节能工作负载调度程序存在许多障碍。首先,必须研究不同工作负载和功耗之间的关系。其次,当前用于提供能量使用统计的基于硬件的解决方案不适合于仓库规模的数据中心,其中低成本和可扩展性是期望的属性。在本文中,我们讨论了私有云平台中不同工作负载对服务器功耗的影响。当服务器被赋予支配各种资源(CPU、内存、硬盘和网络)的任务时,我们显示出明显的能耗差异。然后,我们使用这种洞察力来开发CloudMonitor,这是一种软件实用程序,在开发动态功耗模型的“训练阶段”之后,能够通过监视工作负载的资源消耗来进行>95%的准确功耗预测。
2011-05-12 cs.DC
Bi-criteria Algorithm for Scheduling Jobs on Cluster Platforms
在本文中,我们描述了一种新的方法,建立一个有效的算法调度作业在集群中。作业被认为是并行任务(PT),可以在任何数量的处理器上调度。主要特征是考虑一起优化的两个标准。这些标准是最大完工时间和加权最小平均完工时间(minsum)。选择它们是因为它们具有互补性,能够代表面向用户的目标和系统管理员的目标。我们提出了一个算法的基础上增加批量大小的批处理政策,在每一批的工作与智能选择。该算法进行了评估密集的模拟结果相比,一个新的下限(通过放松的ILP)的最优调度这两个标准分别。它目前已在实际规模的集群平台中实现。
2005-01-20 cs.DC cs.DS
Serverless platform driven CPU loadbalancing
Indiana University Bloomington(印第安纳大学布鲁明顿分校)
该研究提出基于SchedExt(SCX)的无服务器平台驱动CPU负载均衡框架,通过自定义Linux调度器优化任务放置,8域配置可降能耗15%、减延迟最高50%,兼顾能效与性能。
2026-08-07 cs.DC
Topology-aware Serverless Function-Execution Scheduling
本文提出声明式语言 tAPP,用于定义拓扑感知的无服务器函数调度策略,并通过扩展 Apache OpenWhisk 验证其可行性,在提升拓扑约束场景性能的同时不影响通用场景性能。
2023-07-06 cs.DC
A Dual Heterogeneous Island Genetic Algorithm for Solving Large Size Flexible Flow Shop Scheduling Problems on Hybrid multi-core CPU and GPU Platforms
柔性流水车间调度问题是一个NP难问题,当处理大规模的实例时,它需要大量的求解时间来找到最优甚至足够的解。为此,本文提出了一种由并行细胞模型和并行伪模型组成的双岛遗传算法。这是一种与底层架构高度一致的两级并行化,非常适合GPU和多核CPU内部或之间的并行化。在更高的层次上,通过利用不同的方法在搜索空间内探索新的区域来提高孤岛遗传算法的效率。同时,元胞模型通过分散化保持种群多样性,伪模型通过在较低层次上采用互补双亲策略增强搜索能力。为促进孤岛间的信息共享,设计了一种穿透式迁移策略,该策略自适应地设置了孤岛间的拓扑结构、迁移速率、迁移间隔和迁移策略。最后,在一些大规模柔性流水车间调度实例上进行了测试,并与其他并行算法进行了比较。计算结果表明,该方法不仅能获得较好的结果,而且能缩短计算时间。
2019-03-26 cs.DC
Real-time Optimization of Simulation and Data Processing Pipelines for Experiments on Exascale Computing Platforms
Enrico Fermi Institute University of Chicago(芝加哥大学恩里科·费米研究所);Argonne Leadership Computing Facility Argonne National Laboratory(阿贡国家实验室阿贡领导计算设施)
针对百亿亿次平台上大规模实验工作流,提出多阶段任务调度方法,并以SBND蒙特卡洛流水线为例,提供建模工具以优化资源利用。
2026-10-05 cs.DC
Meeting QoS of Users in a Edge to Cloud Platform via Optimally Placing Services and Scheduling Tasks
本文研究了在三层边缘到云平台上,用户请求必须在一定期限内得到满足时的服务放置和任务调度问题。对时间敏感的应用程序(例如,增强现实、游戏、实时视频分析)具有必须满足的严格约束。在多个可能的计算中心的情况下,解决这些请求的“地点”和“时间”在满足其最后期限时变得至关重要。我们将满足用户的最后期限同时最小化边缘到云服务提供商的总成本的问题表述为线性规划(ILP)问题。我们展示了这个问题的NP-硬度,并提出了两个基于局部与全局尺度上的决策的算法。我们改变了用户数量、QoS约束以及远程云和小云(边缘云)之间的成本差异,并对每种情况运行多个Monte-Carlo运行。我们的仿真结果表明,所提出的算法在降低复杂度的同时,性能接近最优。
2019-08-13 cs.DC cs.NI
A Framework for SLO, Carbon, and Wastewater-Aware Sustainable FaaS Cloud Platform Management
Colorado State University(科罗拉多州立大学);Hewlett Packard Labs(惠普实验室)
本文针对FaaS云平台中SLO性能、碳排放与水资源使用的冲突,提出了一种可持续性感知的FaaS调度与扩展框架,以共同优化SLO性能、碳排放和废水生成。
2024-10-09 cs.AI cs.DC cs.LG
Analysis of Dynamic Scheduling Strategies for Matrix Multiplication on Heterogeneous Platforms
超级计算机的规模和异构性的巨大增加使得预测调度算法的性能变得非常困难。因此,在运行时做出调度决策的动态解决方案已经超过了静态分配策略。Hadoop等动态计算器的简单性和效率是MapReduce框架成功的关键。诸如StarPU、PaRSEC或StarSs之类的动态图也被开发用于更受约束的计算,例如来自线性代数的任务图。为了做出它们的决定,这些运行时系统利用一些静态信息,诸如任务到关键路线的距离或者任务与计算资源(CPU、GPU等)之间的亲和性。以及诸如输入数据实际位于何处的动态信息。在本文中,我们集中在两个基本的线性代数核,即外积和矩阵乘法。对于每个问题,我们提出了几个动态策略,可以在运行时使用,我们提供了一个分析研究其理论性能。我们证明,理论分析提供了很好的估计量的通信引起的动态策略,可以用来有效地确定阈值中使用的动态调度,从而使它们之间的选择为一个给定的问题和架构。
2014-04-15 cs.DC
Multi-criteria scheduling of pipeline workflows
将工作流应用程序映射到并行平台上是一个具有挑战性的问题,即使是对于简单的应用程序模式,如管道图。应优化几个拮抗剂标准,如吞吐量和延迟(或组合)。在本文中,我们研究了通信同构平台上的管道图的双准则映射问题的复杂性。特别是,我们评估了不同速度的处理器,这原来是NP难的著名的链到链问题的复杂性。我们提供了几个有效的多项式双准则算法,并通过大量的模拟评估其相对性能。
2007-06-28 cs.DC
Function Delivery Network: Extending Serverless Computing for Heterogeneous Platforms
无服务器计算在亚马逊的Lambda平台推出后迅速发展。功能即服务(FaaS)是无服务器计算的关键推动因素,它允许将应用程序分解为在FaaS平台上执行的简单独立功能。FaaS平台负责将资源部署和促进功能。当今的一些云应用程序分布在异构的连接计算资源上,并且在其结构和资源需求方面具有高度动态性。然而,FaaS平台仅限于同构集群和同构功能,并且在调度之前不考虑功能的数据访问行为。我们引入了一个扩展的FaaS异构集群和支持异构功能,通过网络的分布式异构目标平台称为功能交付网络(FDN)。目标平台是同构节点集群和其上的FaaS平台的组合。FDN提供功能交付即服务(FDaaS),将功能交付到正确的目标平台。我们展示的机会,如不同的目标平台的特点,多个目标平台之间的协作执行的可能性,以及本地化的数据,FDN提供在实现两个目标:服务水平目标(SLO)的要求和能源效率时,通过评估超过五个分布式目标平台调度功能使用FDNInspector,我们开发的分布式目标平台的基准测试工具。与高端目标平台上的调度相比,我们评估中的边缘目标平台上的调度功能将总体能耗降低了17倍,而不违反SLO要求。
2021-02-03 cs.DC cs.PF
An Advanced Reinforcement Learning Framework for Online Scheduling of Deferrable Workloads in Cloud Computing
Microsoft(微软公司);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Tsinghua University(清华大学);Beihang University(北京航空航天大学)
本文提出了一种名为OSDEC的基于深度强化学习的在线可延迟作业调度方法,通过引入辅助任务优化状态表示,在保证高资源利用率的同时有效缩短了用户等待时间。
2024-06-03 cs.AI cs.DC cs.LG
Generic algorithms for scheduling applications on heterogeneous multi-core platforms
我们研究了在由标准计算核和加速器组成的并行机上执行由优先任务图表示的应用程序的问题。相反,大多数现有的方法,我们区分分配和调度阶段,我们主要集中在分配部分的问题:为每个任务选择最合适的类型的计算单元。我们解决离线和在线设置和设计通用调度方法。在第一种情况下,我们建立了一个已知的方法的最坏情况下的性能上的强下界线性规划的基础上解决分配问题。然后,我们细化调度阶段,我们取代贪婪的列表调度策略中使用的这种方法,更好地排序的任务。虽然这种修改导致相同的近似性保证,但它在实践中表现得更好。我们还将该算法扩展到更多类型的计算单元,实现了一个近似比,这取决于不同类型的数量。在在线的情况下,我们假设的任务到达任何,事先不知道,尊重的优先关系和调度程序必须采取不可撤销的决定,他们的分配和执行。在这种情况下,我们提出了第一个在线调度算法,考虑到优先级。我们的算法是基于足够的规则来选择处理器的类型,在那里分配的任务,它实现了一个常数因子近似保证,如果CPU的数量比GPU的数量是有界的。最后,所有以前的混合架构的算法已经实验了大量的模拟建立在实际的图书馆。这些模拟评估了算法相对于最先进的解决方案(无论何时存在这些解决方案)或基线算法的良好实际行为。
2017-11-17 cs.DC
On the Complexity of Reachability Properties in Serverless Function Scheduling
本文提出亲和性感知的调度语言aAPP,形式化其语义并研究可达性检查复杂性:无亲和性时为线性,有亲和性时为PSpace完全。
2024-07-19 cs.DC
Affinity-aware Serverless Function Scheduling
本文提出aAPP语言扩展,在FaaS层面实现亲和性感知调度,并在Apache OpenWhisk上验证其能提升性能且无额外开销。
2025-01-23 cs.DC
Demystifying Serverless Costs on Public Platforms: Bridging Billing, Architecture, and OS Scheduling
University of British Columbia(不列颠哥伦比亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
该研究自上而下贯通计费模型、服务架构与 OS 调度,量化公共 Serverless 平台计费资源最高达实际消耗 4.35 倍,并揭示隐藏成本驱动因素。
2025-09-26 cs.DC cs.OS cs.PF
Optimal Virtual Cluster-based Multiprocessor Scheduling
多处理器平台上的有限截止期偶发任务系统的调度是近年来备受关注的一个领域。人们普遍认为,找到一个最佳的调度程序是困难的,因此大多数研究都集中在开发具有良好的处理器利用率界限的算法。这些算法可以大致分为两类:分区调度,其中任务被静态分配给各个处理器,以及全局调度,其中每个任务被允许在平台中的任何处理器上执行。在本文中,我们考虑第三个,更一般的方法,称为基于集群的调度。在这种方法中,每个任务被静态地分配给一个处理器集群,每个集群中的任务在它们之间被全局地调度,并且集群又在多处理器平台上被调度。我们开发的技术,以支持这种基于集群的调度算法,并考虑属性,最大限度地减少单个集群的总处理器利用率。在本文的最后一部分,我们开发了新的基于虚拟簇的调度算法。对于隐式截止期偶发任务系统,我们提出了一个既不是Pfair也不是ERfair的最优调度算法。我们还表明,US-EDF{m/(2 m-1)}的处理器利用率的上限可以通过使用虚拟集群提高。由于分区或全局策略都不占主导地位,基于集群的调度是一个自然的研究方向,以实现提高处理器利用率的界限。
2020-04-06 cs.DC cs.OS
Multiple Workflows Scheduling in Multi-tenant Distributed Systems: A Taxonomy and Future Directions
工作流是一个通用概念,代表自动化流程以及数据流。自动化确保流程按顺序执行。因此,该功能吸引了来自各种背景的用户来构建工作流。然而,计算需求是巨大的,为这些工作流投资专用基础设施并不总是可行的。为了满足更广泛的需求,开始构建用于执行工作流的多租户平台。在本文中,我们确定的问题和挑战,坚持多个工作流调度的平台。我们提出了一个详细的分类,从现有的解决方案调度和资源配置方面的调查,在这方面的相关工作。提出了多租户分布式系统中多工作流调度问题的研究所面临的问题和挑战。
2019-05-22 cs.DC
Optimizing Task Scheduling in Heterogeneous Computing Environments: A Comparative Analysis of CPU, GPU, and ASIC Platforms Using E2C Simulator
本研究利用E2C模拟器在CPU、GPU、ASIC构成的异构计算环境中,对比了四种任务调度算法在不同负载下的性能与能效,发现MECT和MEET算法综合表现更优,为资源受限场景的调度决策提供参考。
2024-05-13 cs.DC cs.OS
Measuring scheduling efficiency of RNNs for NLP applications
递归神经网络(RNN)已经显示出用于语音识别、自然语言处理、图像描述和视频摘要应用的最新结果。这些应用程序中的许多都运行在低功耗平台上,因此它们的能效非常重要。我们观察到,在推理过程中,缓存无关的RNN调度通常会导致CPU上和CPU外传输的数据比应用程序的工作集大小多30- 50倍。这可能会影响其能源效率。本文提出了一个新的度量标准,称为数据重用效率,以衡量平台的RNN调度效率,并显示了影响DRE值的因素。此外,本文还讨论了一种提高RNN重用的优化方法,并强调了这种优化对移动SoC执行RNN应用程序期间从内存控制器读取或写入内存控制器的内存总量(以及DRE值)的积极影响。
2019-04-05 cs.DC
PySchedCL: Leveraging Concurrency in Heterogeneous Data-Parallel Systems
在过去的十年中,异构GPGPU平台所展示的高性能计算能力已经导致了数据并行程序设计语言(如CUDA和OpenCL)的流行。然而,这样的语言涉及陡峭的学习曲线以及开发对异构平台中的计算设备的底层架构的广泛理解。这导致了一些高性能计算框架的出现,这些框架提供了高级别的抽象,以简化异构平台上的数据并行应用程序的开发。然而,这样的框架所进行的调度决策只利用粗粒度的并发数据并行应用程序。在本文中,我们提出PySchedCL,一个框架,探讨细粒度的并发感知调度决策,有效地利用异构CPU/GPU架构的力量。%,这是现有HPC框架不提供的功能。我们展示了现有的粗粒度的动态调度方案进行广泛的实验评估的机器学习为基础的推理应用程序,这样的调度机制的功效。
2020-09-16 cs.DC
An SMDP-Based Approach to Thermal-Aware Task Scheduling in NoC-based MPSoC platforms
控制多核系统中芯片范围的热分布的一种有效方法是优化任务到处理核的在线分配。然而,在线任务分配面临着现实世界中的一些不确定性,并没有表现出确定性的性质。在本文中,我们考虑热感知任务调度器的操作,从到达队列中分派任务以及设置处理核心的电压和频率以优化整个芯片的平均温度裕度(即,核心以及NoC路由器)。我们的任务调度器的决策过程建模为半马尔可夫决策问题(SMDP)。然后,为了解决制定SMDP,我们提出了两个强化学习算法,能够计算最优的任务分配策略,而不需要统计知识的随机动态系统状态。所提出的算法还依赖于函数逼近技术来处理无限长的任务队列以及温度读数的连续性。仿真结果表明,与相关研究相比,系统平均峰值温度降低了近6 K,平均任务服务时间减少了66 ms。
2020-09-06 cs.DC
CASH: A Credit Aware Scheduling for Public Cloud Platforms
公共云提供了无数的服务,使其租户能够以灵活,简单和经济高效的方式处理大规模的大数据。租户通常使用大规模数据处理框架,如MapReduce,Tez,Spark等来处理他们的数据。租户可以配置他们的框架来运行框架本身的单个任务,或者使用YARN或Mesos等中间件集群管理器来仲裁公共云集群中的资源调度。集群管理器需要了解工作负载需求以及集群中CPU和磁盘等单个资源的状态。云提供商使用令牌桶机制来表示其硬件资源的服务质量。在本文中,通过我们在YARN,Hadoop和Tez中的变化,我们展示了如何使中间件集群管理器认识到集群中单个硬件资源的预期服务质量。我们优化的集群管理器与粗粒度的知识的任务要求和细粒度的知识的预期服务质量的集群中的硬件资源执行高度优化的任务布局。我们的优化实验表明,基于CPU信用的实例(如Amazon T3实例)是运行大数据工作负载的可行的成本效益选项。我们还表明,Hive仓库上的流式SQL查询可以加速高达31%,从而节省高达22%的公共云成本。
2020-09-11 cs.DC
Resource Management and Scheduling for Big Data Applications in Cloud Computing Environments
本章介绍大数据处理平台的软件架构。它将提供在云环境中部署大数据处理系统时所涉及的资源管理技术的深入知识。它从最基本的开始,逐步介绍我们分为多个层次的资源管理的核心组件。它涵盖了国家的最先进的实践和研究,在SLA为基础的资源管理,特别侧重于作业调度机制。
2018-12-31 cs.DC
Performance Reproduction and Prediction of Selected Dynamic Loop Scheduling Experiments
科学应用程序是复杂的,大型的,并且经常表现出不规则和随机的行为。在计算密集型应用程序中使用高效的循环调度技术对于提高其在高性能计算(HPC)平台上的性能至关重要。在20世纪80年代末和21世纪初,已经提出了许多动态循环调度(DLS)技术,并有效地用于科学应用。在大多数情况下,已经测试和验证它们的计算系统不再可用。这项工作涉及的不确定性的来源,在实施DLS技术,以避免不必要的影响,科学应用的性能最小化。因此,重要的是要确保在科学应用中采用的DLS技术今天坚持其最初的设计目标和规格。这项工作的目标是实现和增加信任的DLS技术在目前的研究中的实施。为了实现这一目标,从1992年的原始工作,介绍了因子分解的调度实验的选择的性能再现和预测,通过模拟和本地实验。实验表明,仿真再现了在过去的计算平台上实现的性能,并准确地预测在当前的计算平台上实现的性能。性能再现和预测确认,目前的实施DLS技术考虑,在模拟和本地,坚持其原始描述。结果证实了这一假设,即在过去和现代硬件上再现相同调度方案的实验会导致与预期完全不同的行为。
2018-06-07 cs.DC cs.PF
STOMP: A Tool for Evaluation of Scheduling Policies in Heterogeneous Multi-Processors
近年来,异构芯片多处理器的激增达到了前所未有的水平。传统的同构平台在实现高性能超低功耗计算方面表现出了根本的局限性,特别是在具有实时执行期限或关键性约束的应用领域。通过将正确的通用核心和硬件加速器组合在一起,以及适当的芯片互连和存储器技术,异构芯片多处理器已成为一种有效的高性能和低功耗计算替代方案。异构架构的挑战之一涉及跨芯片中的各种选项的应用任务(进程、线程)的高效调度。因此,关键是要提供工具,使早期的原型和评估的新的调度策略的异构平台。在本文中,我们提出了STOMP(调度技术优化在异构多处理器),一个模拟器的快速实施和评估的任务调度策略在多核/多处理器系统中的一个方便的接口,以简单的方式“插入”新的调度策略。STOMP的彻底验证表现出较小的相对误差相比,在稳态分析过程中的封闭形式的等效模型。
2020-07-28 cs.AR cs.DC
The Serverless Scheduling Problem and NOAH
无服务器调度问题对云服务平台提供商提出了新的挑战,因为它是一个作业调度问题,而不是传统的资源分配或请求负载均衡问题。传统上,弹性云应用程序使用托管虚拟资源分配,并采用请求负载平衡器来协调部署。对于无服务器,提供商需要解决负载均衡和分配问题。这项工作回顾了当前的Apache OpenWhisk无服务器事件负载均衡和非合作博弈论负载均衡的方法在分布式系统中的响应时间最小化。仿真结果表明,既没有表现良好的高系统利用率,激发了非合作的在线分配启发式,允许调整之间的权衡响应时间和资源成本的每个无服务器功能。
2018-09-17 cs.DC
SPARS: A Reinforcement Learning-Enabled Simulator for Power Management in HPC Job Scheduling
Universitas Gadjah Mada(加查马达大学);Universitas Ahmad Dahlan(艾哈迈德·达兰大学);Institut Bisnis dan Teknologi Indonesia(印度尼西亚商业技术学院);National Taiwan University of Science and Technology(台湾科技大学);Tohoku University(东北大学)
提出SPARS模拟器,通过强化学习动态管理节点电源状态,在HPC作业调度中权衡能耗与性能,支持可配置工作负载和平台,提供轻量级事件处理和可视化。
2026-05-26 cs.DC
Greedy Scheduling: A Neural Network Method to Reduce Task Failure in Software Crowdsourcing
内容:高度动态和竞争的众包软件开发(CSD)市场可能会由于不可预见的原因而遇到任务失败,例如共享供应商资源的竞争加剧,或与动态工人供应相关的不确定性。现有分析显示,软件众包市场的平均任务失败率为15.7%。目标:本研究的目的是提供一个软件众包平台的任务调度推荐模型,以提高软件众包的成功率和效率。方法:提出了一种基于神经网络的任务调度方法,并开发了一个可以预测和分析任务到达时失败概率的系统。更具体地说,该模型使用了一系列的输入变量,包括在平台上的开放任务的数量,到达任务和开放任务之间的平均任务相似度,获胜者的奖金,和任务持续时间,来预测在计划的到达日期和两个剩余的日子任务失败的概率。此预测将提供与最低任务失败概率相关联的推荐日期以发布任务。该模型基于Topcoder的工作流程和数据,Topcoder是主要的软件众包平台之一。结果如下:我们提出了一个模型,建议最好的建议到达日期为项目中的任何任务,每个任务在项目中的两天盈余。该模型平均每个项目的故障率降低了4%。
2021-02-19 cs.DC cs.HC cs.SE
Workflow-as-a-Service Cloud Platform and Deployment of Bioinformatics Workflow Applications
工作流管理系统(WMS)支持在分布式计算环境中组合和部署面向工作流的应用程序。它们隐藏了管理大规模应用程序的复杂性,包括控制任务之间的数据流水线,确保应用程序的执行,以及编排分布式计算资源以获得合理的处理时间。随着科学工作流采用趋势的增加,使用第三方服务部署它们的需求开始增加。工作流即服务(WaaS)是一个术语,代表为需要在第三方云管理服务上部署工作流应用程序的用户提供服务的平台。这一概念推动现有的WMS技术向WaaS云平台发展。基于这一需求,我们扩展了CloudBus WMS功能,以处理多个工作流的工作负载,并开发了WaaS云平台原型。我们实现了弹性预算约束的多工作流资源配置和调度算法(EBPSM)算法,该算法能够调度多个工作流,并使用两个生物信息学工作流对平台进行了评估。我们的实验结果表明,该平台是能够有效地处理多个工作流的执行,并获得其目的,以最大限度地减少完工时间,同时满足预算。
2020-06-02 cs.DC
Power Aware Scheduling of Tasks on FPGAs in Data Centers
本文提出一种针对数据中心FPGA的功耗感知调度方法,通过最大化并行计算单元实现周期性硬件任务的高效执行并最小化功耗,在Alveo-50 FPGA和Vitis 2023上验证了其优于现有方案的效率。
2023-11-18 cs.AR cs.DC
Bidding policies for market-based HPC workflow scheduling
本文研究了分布式、异构高性能计算(HPC)集群上的作业调度问题。众所周知,基于市场的办法能够有效地将有限的资源分配给最愿意支付的国家。此上下文适用于平台过载的HPC或云计算场景。在本文中,工作是由相关的任务。每个工作都有一个非递增的时间价值曲线与之相关联。工作被提交给市场清算集中拍卖人并由其安排。本文比较了几种生成任务出价的策略的性能。这里研究的目的是最大化平台提供商的价值,同时最大限度地减少未完成(或饥饿)的工作数量。它被发现,预计剩余价值投标政策给出了一个典型的过载情况下的最高水平的价值,并给出了最低数量的饥饿的任务在整个空间的利用率检查。它通过尝试捕获队列中任务的紧急性来实现这一点。在高水平的过载下,一些替代算法产生的价值略高,但代价是大量的饥饿工作流。
2016-01-26 cs.DC
Energy-Aware Scheduling of Task Graphs with Imprecise Computations and End-to-End Deadlines
不精确的计算提供了一种途径,调度算法开发的能量受限的计算设备,通过权衡输出质量与系统资源的利用率。这项工作提出了一种方法调度任务图与潜在的不精确的计算,以最大限度地提高服务质量的目标受到一个硬的最后期限和能源界。此外,为了评估所提出的方法的有效性,一个混合整数线性规划制定的问题,它提供了最佳的参考调度解决方案,也提出了。在所提出的方法中考虑了潜在的不精确输入的任务对输出质量的影响。所提出的方法和MILP制定目标多处理器平台。实验在10个随机生成的任务图上运行。基于所获得的结果,在某些情况下,可以实现一个可行的任务图的调度,其能量消耗小于完全精确地调度该任务图中的所有任务所需的最小能量的50%。
2019-05-10 cs.DC
Cortex: Workflow-Aware Resource Pooling and Scheduling for Agentic Serving
Columbia University(哥伦比亚大学);Google(谷歌)
Cortex通过阶段隔离和专用资源池,减轻智能体工作流中的阶段间干扰,提升KV缓存利用率、吞吐量和性能可预测性,为智能体原生服务范式奠定基础。
2025-10-15 cs.DC
Task Scheduling in Cloud Computing Using Hybrid Meta-heuristic: A Review
近年来,随着高带宽互联网接入的出现,云计算应用蓬勃发展。随着越来越多的应用程序在云上运行以及不同云平台的总体用户群的增加,对高效作业调度技术的需求也有所增加。传统的作业调度算法的任务是确定作业的执行顺序,其使用最少的资源,如时间、处理、存储器等。通常,用户需要更多的服务和非常高的效率。有效的调度技术有助于资源的合理利用。在这个研究领域中,混合元启发式算法已经被证明是非常有效的优化任务调度提供更好的成本效率比单独使用。这项研究提出了一个系统的和广泛的分析任务调度技术在云计算使用各种混合变种的Meta探试法,如遗传算法,禁忌搜索,和谐搜索,人工蜂群,粒子群优化等在这项研究综述中,一个单独的部分讨论了使用各种性能评估指标在整个文献。
2022-01-23 cs.DC
Non-Cooperative Scheduling of Multiple Bag-of-Task Applications
在异构平台上并发执行的多个应用程序竞争CPU和网络资源。在本文中,我们分析的行为$K$非合作的路由器使用的最佳策略,最大限度地提高他们的效率,同时在系统级的公平性,忽略应用程序的特点。我们限制我们的研究,简单的单级主工人平台的情况下,每个调度程序负责一个单一的应用程序组成的大量独立的任务。给定应用程序的任务都具有相同的计算和通信要求,但这些要求可能因应用程序而异。在这种情况下,我们假设每个调度器的目标是最大化其吞吐量。我们给出了这种系统所达到的平衡点的封闭形式的公式,并研究了它的性能。我们的特点的情况下,这个纳什均衡是最佳的(在帕累托意义上),并表明,即使没有灾难性的情况下(Braess悖论)可能会发生,这样的均衡可以任意坏的任何经典的性能指标。
2007-06-12 cs.DC cs.GT
Towards Accommodating Real-time Jobs on HPC Platforms
科学实验中不断增加的数据量需要使用高性能计算(HPC)资源进行数据分析。在许多科学领域,必须快速分析科学仪器和超级计算机模拟产生的数据。事实上,对准即时反馈的需求正在增长。科学家们希望利用一个实验的结果来指导下一个实验的选择,甚至改进单个实验的过程。当前的HPC系统通常是在策略下批调度的,在该策略中,到达的作业只有在足够的资源可用时才立即运行;否则,它将排队。这些系统很难支持实时的【形】作业。实时的【形】作业,为了满足他们的要求,有时应该抢占批处理作业和/或被安排在较早提交的批处理作业之前。中断实时的【形】作业也可能对系统利用率产生负面影响,特别是在涉及抢占/重新启动批处理作业时。我们首先探讨了几种现有的调度策略,使实时的【形】作业更有可能在适当的时间被调度。然后,我们严格制定的问题作为一个混合整数线性规划离线调度和开发新的调度算法在线调度。我们进行模拟研究,使用跟踪日志的米拉,IBM的BG/Q系统在阿贡国家实验室,以量化的实时的【形】作业的影响,批处理作业的性能为各种百分比的实时的【形】作业的工作量。我们提出了新的见解,从分组作业到不同类别的基础上运行时间和使用的节点数量和研究每个类别的性能。我们的研究结果表明,与10%的实时的【形】作业百分比,即时检查点结合我们的启发式可以提高35%的实时的【形】作业的减速,同时限制批处理作业的减速增加到10%。
2021-03-24 cs.DC
MCDS: AI Augmented Workflow Scheduling in Mobile Edge Cloud Computing Systems
Imperial College London(帝国理工学院);Loughborough University(拉夫堡大学)
工作流调度是并行和分布式计算(PDC)中一个长期研究的问题,其目的是有效地利用计算资源以满足用户的服务需求。最近提出的调度方法利用边缘计算平台的低响应时间来优化应用服务质量(QoS)。然而,由于计算异构性,移动设备的变化和工作负载资源需求的不稳定性,在移动边缘云系统中调度工作流应用程序是具有挑战性的。为了克服这些困难,这是必不可少的,但同时具有挑战性的,制定一个长远的优化方案,有效地模拟QoS目标。在这项工作中,我们提出MCDS:蒙特卡洛学习使用深度代理模型,以有效地调度工作流应用程序在移动边缘云计算系统。MCDS是一种基于人工智能(AI)的调度方法,其使用基于树的搜索策略和基于深度神经网络的代理模型来估计即时动作的长期QoS影响,以实现调度决策的鲁棒优化。在物理和模拟边缘云测试平台上的实验表明,MCDS可以在能耗、响应时间、SLA违规和成本方面分别提高至少6.13%、4.56%、45.09%和30.71%。
2021-12-14 cs.AI cs.DC cs.PF
Taming Cold Starts: Proactive Serverless Scheduling with Model Predictive Control
Umeå University(于默奥大学);Elastisys AB(Elastisys公司)
本文提出基于模型预测控制的无服务器调度框架,通过预测调用和优化容器预热,有效缓解冷启动问题,降低尾延迟并减少资源消耗。
2026-01-13 cs.DC cs.PF
Partition-Aware Scheduling for Mobile Heterogeneous Inference Co-Execution
University of Southern California(南加州大学)
本文提出一种分区感知的DAG调度框架,联合优化算子分区、设备分配与执行顺序,在移动异构平台上实现接近离线最优的推理延迟,且调度开销极低。
2026-09-15 cs.DC cs.LG cs.PF
Resource-sharing Policy in Multi-tenant Scientific Workflow-as-a-Service Cloud Platform
社区中越来越多地采用科学工作流,这促使开发多租户平台,将这些工作流执行作为服务提供。因此,工作流即服务(WaaS)的概念已被研究人员创建,以解决未来的工作流管理系统(WMS)的设计,可以从一个单一的服务点服务于大量的用户。这些平台与传统的WMS不同之处在于,它们在运行时处理工作流的工作负载。传统的WMS通常被设计为在专用流程中执行单个工作流,而WaaS云平台通过在多租户环境模型中利用多个工作流执行来增强该流程。在本文中,我们探讨了一种新的资源共享策略,以提高系统利用率,并满足各种服务质量(QoS)的要求,从多个用户在WaaS云平台。提出了一种弹性预算约束的多工作流资源配置与调度算法,该算法通过鼓励资源共享来减少计算开销,从而在满足用户定义的预算的同时最小化工作流的最大完工时间。我们的实验表明,EBPSM算法可以利用资源共享的政策,以实现更高的性能,在最小化的最大完工时间相比,国家的最先进的约束调度算法。
2020-06-23 cs.DC
An API for Development of User-Defined Scheduling Algorithms in Aneka PaaS Cloud Software: User Defined Schedulers in Aneka PaaS Cloud Software
云计算已经发展为基于签署的服务水平协议和按使用付费模型向最终用户提供按需资源的突出范例之一。云计算使用多租户架构提供资源,其中基础设施从多个或单个地理分布式云计算中心生成。将云应用请求调度到云基础设施是云计算的主要研究领域之一。研究人员已经开发了许多调度应用程序,他们使用了市场上可用的不同模拟器,如CloudSim。与仿真软件相比,任何调度算法在应用于实时的云环境时的性能将是不同的。Aneka是一个著名的PaaS软件,它允许用户使用各种编程模型和强调基础设施来开发云应用程序。在本章中,调度API是在Aneka软件平台上开发的,它可以很容易地与Aneka软件集成。用户可以使用该API开发自己的调度算法,并将其与Aneka软件集成,以便在真实的云环境中测试其调度算法。拟议的API提供了所有必要的功能,以便将私有云、公共云或混合云与Aneka软件集成和调度。
2019-04-06 cs.DC
A Survey on Scheduling Techniques in the Edge Cloud: Issues, Challenges and Future Directions
Hongik University(弘益大学)
本文综述边缘云中的调度技术,分类启发式与元启发式算法,评估其优劣、QoS与容错性,并指出问题、挑战及未来方向。
2025-10-18 cs.DC
Minimizing Energy in Reliability and Deadline-Ensured Workflow Scheduling in Cloud
针对云环境中工作流调度的能耗最小化问题,提出基于最大扇出比的自适应静态调度和基于滚动时域的动态调度方法,在满足可靠性和截止期限约束下显著降低能耗,静态方法平均优于SOTA达70%,动态方法在无截止期限场景提升82%。
2025-05-22 cs.DC
Hybrid Ant Colony Algorithm Clonal Selection in the Application of the Cloud's Resource Scheduling
本文在充分考虑蚁群优化算法特点的基础上,考虑到云计算的特点,结合克隆选择算法(CSA)全局最优的收敛优势,将克隆选择算法(CSA)引入到每一次ACO迭代中,加快了收敛速度,并引入反向变异策略,避免了蚁群优化算法陷入局部最优。深入研究了云环境下蚁群克隆选择算法的资源调度策略,克隆选择算法在求解优化问题时收敛到全局最优解的充分条件,基于克隆选择算法的各种应用如BCA和CLONALG算法,利用这些充分条件满足并通过扩展CloudSim仿真平台实现了云仿真。实验结果表明,该任务可以缩短融合算法在云环境下的运行时间,提高资源利用率。证明该方法的有效性。
2014-11-10 cs.DC
Energy-aware Scheduling of Jobs in Heterogeneous Cluster Systems Using Deep Reinforcement Learning
University of Southern California(南加州大学)
从便携式嵌入式系统到计算机集群系统,能耗是设计计算设备时最关键的问题之一。此外,在过去的十年中,集群系统已经越来越多地成为流行的平台来运行计算密集型的实时应用程序,其中的性能是非常重要的。然而,由于实时工作负载的不同特点,开发通用的作业调度解决方案,有效地解决能源消耗和性能的实时集群系统是一个具有挑战性的问题。在本文中,受到将深度强化学习应用于资源管理问题的最新进展的启发,我们提出了Deep-EAS调度器,该调度器可以为具有不同特征的工作负载学习有效的能量感知调度策略,而无需最初了解任何关于手头调度任务的信息。结果表明,Deep-EAS收敛速度快,性能优于标准的手动调整算法,特别是在重负载条件下。
2019-12-11 cs.DC cs.LG
GreenCourier: Carbon-Aware Scheduling for Serverless Functions
GreenCourier 提出一种碳感知的无服务器函数跨区域调度框架,结合 Kubernetes 与 Knative 及实时碳数据源,实验显示每次函数调用碳排放平均降低 13.25%。
2023-10-31 cs.DC cs.SE
Improving virtual host efficiency through resource and interference aware scheduling
现代的云计算结构即服务云在竞争激烈的环境中运行,可以满足任何用户对计算资源的需求。由不同应用共享各种类型的资源提出了一系列挑战,以便优化资源利用,同时避免由应用干扰引起的性能下降。在本文中,我们提出了两种调度方法,执行多核物理机上的整合技术。我们的资源感知和干扰感知调度方案的目的是提高物理主机的效率,同时考虑到主机超额认购和由此产生的工作负载干扰,保持应用程序的性能。我们通过一组代表广泛的现代云应用程序的实际工作负载来验证我们的全面运营框架。实验结果证明了我们的系统在优化资源利用率,从而能源消耗的效率,即使在存在超额认购。这两种方法实现了显着减少的CPU时间消耗,达到高达50%,而在同一时间保持工作负载性能相比,广泛使用的调度方案下的各种代表性的云平台场景。
2016-01-27 cs.DC
Hybrid Learning and Optimization-Based Dynamic Scheduling for DL Workloads on Heterogeneous GPU Clusters
Kuwait University, Kuwait(科威特大学);Northwestern Polytechnical University, China(西北工业大学)
RLTune通过强化学习与优化方法实现异构GPU集群上深度学习工作负载的高效动态调度,提升资源利用率并减少延迟。
2025-12-11 cs.AI cs.DC cs.LG