GATES: Cost-aware Dynamic Workflow Scheduling via Graph Attention Networks and Evolution Strategy
Centre for Data Science and Artificial Intelligence & School of Engineering and Computer Science(数据科学与人工智能中心及工程与计算机科学学院)
针对云计算中成本感知动态工作流调度问题,提出结合图注意力网络策略网络与进化策略的GATES方法,可捕捉任务拓扑影响、适配动态资源并稳定学习,实验表现优于现有最优算法。
2025-08-21 cs.AI
SCALE: Scalable Cross-Attention Learning with Extrapolation for Agentic Workflow Scheduling
Faculty of Arts and Sciences, Beijing Normal University(北京师范大学文理学院)
提出SCALE调度器,通过交叉注意力指针网络和结构化表示正则化,实现无需微调即可泛化到不同规模集群的深度强化学习工作流调度。
2026-06-05 cs.AI cs.LG
Demystifying Reinforcement Learning in Production Scheduling via Explainable AI
Center for Applied Data Science (CfADS), Hochschule Bielefeld(比勒费尔德应用科学大学 应用数据科学中心);Fraunhofer IOSB-INA(弗劳恩霍夫 IOSB-INA研究所)
本文通过SHAP和Captum两种可解释AI框架分析DRL生产调度决策,提出基于假设的可验证工作流程,以提升解释的因果性和可沟通性。
2024-08-30 cs.AI
Janus: Evidence-Before-Effect Sagas and Offline-Verifiable Provenance for Agentic LLMs
Independent Researcher Istanbul, T\"urkiye
Janus通过签名哈希链日志在效果释放前记录智能体LLM的提议与裁决,实现离线可验证溯源,并在借贷实验中阻止了超出授权的支付,同时发现并报告了批准后替换漏洞。
2026-10-01 cs.AI cs.CR cs.DC
SwarmX: Agentic Scheduling for Low-Latency Agentic Systems
University of Edinburgh(爱丁堡大学);Tencent(腾讯)
提出SwarmX系统,通过调度专用神经预测器捕获提示、设备、运行时和目标模型特征,结合路由器与缩放器实现尾延迟感知决策,在近千GPU和百万CPU核的生产部署中,相比现有调度器将尾延迟降低61.5%,吞吐量提升2倍。
2026-06-23 cs.AI cs.DC
Optimization Problem Solving Can Transition to Evolutionary Agentic Workflows
Tongji University(同济大学);East China Normal University(华东师范大学);University of Minnesota(明尼苏达大学)
本文提出用基础模型与进化搜索驱动的进化式智能体工作流替代依赖专家的传统优化流程,并通过云资源调度和ADMM参数自适应案例验证其可行性。
2025-05-07 cs.AI math.OC
WORKSWORLD: A Domain for Integrated Numeric Planning and Scheduling of Distributed Pipelined Workflows
本文提出WORKSWORLD领域,用于永久调度工作流的数值无关规划器,通过定义数据源、组件和目标,解决联合规划与调度问题,实验证明在普通硬件上可处理最多14个组件的线性链工作流。
2026-03-18 cs.AI cs.DC
Efficient LLM Serving for Agentic Workflows: A Data Systems Perspective
National University of Singapore(新加坡国立大学)
本文从数据系统视角重新思考LLM和服务,提出Helium框架,通过主动缓存和缓存感知调度提升代理工作流效率,实现1.56倍速度提升。
2026-03-17 cs.AI cs.DB cs.MA
Data-Aware Approximate Workflow Scheduling
在复杂的科学工作流中优化数据放置已变得非常重要,因为这些工作流生成的大量数据显著增加了端到端应用程序的周转时间。如果不考虑中间数据移动,几乎不可能对端到端工作流进行最优调度。为了降低工作流调度问题的复杂性,现有的工作大多通过一些不切实际的假设来约束问题空间,从而导致实际中的非最优调度。在这项研究中,我们提出了一个遗传数据感知算法的端到端的工作流调度问题。与以往的研究不同,我们为每个染色体开发了一个新的数据感知的评价函数,一个共同的增广交叉算子和一个简单但有效的变异算子。不同的工作流结构上的实验表明,所提出的基于遗传算法的方法给出了一个接近最优的调度。
2018-05-26 cs.DC
KCES: A Workflow Containerization Scheduling Scheme Under Cloud-Edge Collaboration Framework
针对云边协同场景下工作流容器化调度的资源协调与应用协同难题,提出KubeEdge云边调度方案KCES,通过设计调度引擎、资源混合管理算法及水平漫游与垂直卸载策略,有效提升资源利用率并优化调度性能。
2024-01-02 cs.DC
Workflow decomposition algorithm for scheduling with quantum annealer-based hybrid solver
提出串并联工作流分解(SPWD)启发式算法,结合D-Wave约束二次模型求解器解决大型工作流调度问题,突破了求解器容量限制,并在WfCommons真实实例上验证了有效性。
2025-06-02 cs.DC
Electricity Cost Minimization for Multi-Workflow Allocation in Geo-Distributed Data Centers
School of Computer Science and Engineering, Southeast University(计算机科学与工程学院,东南大学);School of Computing, Macquarie University(计算学院,麦考瑞大学)
针对地理分布式数据中心中异构资源与动态电价下多工作流调度的电费成本最小化问题,提出基于图嵌入与策略网络求解MDP的电费成本感知多工作流调度算法(ECMWS),在满足截止时间约束下较现有方法提升超15%。
2025-04-27 cs.AI cs.DC
Energy-efficient workflow scheduling based on workflow structures under deadline and budget constraints in the cloud
利用云环境部署科学工作流应用程序是科学界的一个新兴趋势。在这个领域中,主要问题是工作流的调度,这被称为NP完全问题。除了遵守用户定义的截止日期和预算外,能源消耗是云提供商在实施调度策略时的主要关注点。所使用的虚拟机(VM)的类型和数量是处理这些问题的决定性因素,并且它们的确定受到工作流结构的高度影响。在本文中,我们提出了两个工作流调度算法,利用工作流的结构特性。第一种算法被称为基于结构的多目标工作流调度与最优实例类型(SMWSO)。它引入了一种新的方法来确定最佳实例类型以及要配置的VM的最佳数量。我们还考虑在基于结构的多目标工作流调度与异构实例类型(SMWSH)中使用异构虚拟机,以突出该算法在异构环境中的优势。仿真结果表明,我们的建议产生更好的能源效率在80%的工作流/工作负载的情况下,并节省超过50%的整体能源相比,最近的国家的最先进的算法。
2022-01-14 cs.DC
An Efficient Fault Tolerant Workflow Scheduling Approach using Replication Heuristics and Checkpointing in the Cloud
科学工作流主要用于复杂和大规模的数据分析和科学计算/自动化,并且对鲁棒的工作流调度技术的需求大幅增长。但是,现有的工作流调度算法大多没有提供所需的可靠性和鲁棒性。本文提出了一种新的容错工作流调度算法,该算法以无监督的方式学习复制策略。此外,使用轻量级同步检查点可以有效地重新提交失败的任务,并确保即使在不稳定的环境中也能完成工作流。与复制所有算法相比,所提出的技术改进了资源浪费和资源使用等指标,同时与香草异构最早完成时间(HEFT)相比,Makespan保持了可接受的增加。
2019-10-31 cs.DC
Multiple Workflows Scheduling in Multi-tenant Distributed Systems: A Taxonomy and Future Directions
工作流是一个通用概念,代表自动化流程以及数据流。自动化确保流程按顺序执行。因此,该功能吸引了来自各种背景的用户来构建工作流。然而,计算需求是巨大的,为这些工作流投资专用基础设施并不总是可行的。为了满足更广泛的需求,开始构建用于执行工作流的多租户平台。在本文中,我们确定的问题和挑战,坚持多个工作流调度的平台。我们提出了一个详细的分类,从现有的解决方案调度和资源配置方面的调查,在这方面的相关工作。提出了多租户分布式系统中多工作流调度问题的研究所面临的问题和挑战。
2019-05-22 cs.DC
A Cost-Driven Fuzzy Scheduling Strategy for Intelligent Workflow Decision Making Systems in Uncertain Edge-Cloud Environments
工作流决策是执行许多实际工作流应用的关键。边缘云环境下的调度可以解决工作流应用程序的高复杂性问题,同时减少云和终端设备之间的数据传输延迟。然而,由于边缘云环境中的异构资源和工作流中任务之间复杂的数据依赖关系,工作流调度仍然存在重大挑战,包括从可能的众多组合中选择最佳的任务-服务器解决方案。现有的研究主要是在没有波动的严格条件下进行的,忽略了工作流调度通常存在于不确定环境中的事实。在这项研究中,我们专注于减少主要由任务计算和数据传输引起的工作流应用程序的执行成本,同时满足不确定的边缘云环境中的工作流截止日期。采用三角模糊数来表示任务处理时间和数据传输时间。提出了一种基于自适应离散粒子群优化(ADPSO)算法的成本驱动模糊调度策略,该算法采用了遗传算法(GA)的算子。该策略引入了遗传算法的随机两点交叉算子、邻域变异算子和自适应多点变异算子,有效地避免了陷入局部最优。实验结果表明,与其他基准解决方案相比,该策略能有效降低不确定边缘云环境下的工作流执行代价.
2022-10-28 cs.DC
Cortex: Workflow-Aware Resource Pooling and Scheduling for Agentic Serving
Cortex通过阶段隔离和专用资源池,减轻智能体工作流中的阶段间干扰,提升KV缓存利用率、吞吐量和性能可预测性,为智能体原生服务范式奠定基础。
2025-10-15 cs.DC
MCDS: AI Augmented Workflow Scheduling in Mobile Edge Cloud Computing Systems
Imperial College London(帝国理工学院);Loughborough University(拉夫堡大学)
工作流调度是并行和分布式计算(PDC)中一个长期研究的问题,其目的是有效地利用计算资源以满足用户的服务需求。最近提出的调度方法利用边缘计算平台的低响应时间来优化应用服务质量(QoS)。然而,由于计算异构性,移动设备的变化和工作负载资源需求的不稳定性,在移动边缘云系统中调度工作流应用程序是具有挑战性的。为了克服这些困难,这是必不可少的,但同时具有挑战性的,制定一个长远的优化方案,有效地模拟QoS目标。在这项工作中,我们提出MCDS:蒙特卡洛学习使用深度代理模型,以有效地调度工作流应用程序在移动边缘云计算系统。MCDS是一种基于人工智能(AI)的调度方法,其使用基于树的搜索策略和基于深度神经网络的代理模型来估计即时动作的长期QoS影响,以实现调度决策的鲁棒优化。在物理和模拟边缘云测试平台上的实验表明,MCDS可以在能耗、响应时间、SLA违规和成本方面分别提高至少6.13%、4.56%、45.09%和30.71%。
2021-12-14 cs.AI cs.DC cs.PF
CMS Workflow Execution using Intelligent Job Scheduling and Data Access Strategies
复杂的科学工作流程可以使用数千个任务来处理大量数据。这些工作流的周转时间通常受到各种延迟的影响,例如各个工作流过程或参与者的资源发现、调度和数据访问延迟。最小化这些延迟将改善工作流的总体执行时间,从而导致更有效和更健壮的处理环境。在本文中,我们提出了一个试点作业为基础的基础设施,具有智能数据重用和作业执行策略,以尽量减少调度,排队,执行和数据访问延迟。结果表明,显着改善的整体周转时间的工作流程,可以实现这种方法。所提出的方法进行了评估,首先使用CMS Tier0数据处理工作流程,然后模拟工作流程,以评估其有效性在受控环境中。
2012-02-24 cs.DC cs.SE
Scheduling Algorithms for Efficient Execution of Stream Workflow Applications in Multicloud Environments
大数据处理应用变得越来越复杂。它们在本质上不再是单一的,而是由工作流形式的解耦分析过程组成。一种类型的这样的工作流应用是流工作流应用,其集成多个流式大数据应用以支持决策制定。这些应用程序的每个分析组件连续运行并处理数据流,其速度将取决于几个因素,如网络带宽和父分析组件的处理速率。因此,在云环境中执行这些应用程序需要先进的调度技术,这些技术在数据处理和决策截止日期方面符合最终用户的要求。在本文中,我们提出了两个多云调度和资源分配技术的流工作流应用程序在多云环境中的有效执行,同时坚持工作流应用程序和用户的性能要求,并降低执行成本。实验结果表明,所提出的遗传算法是一个充分和有效的所有实验。
2019-12-18 cs.DC
Adaptive Scheduling for Efficient Execution of Dynamic Stream Workflows
在线异常检测或在线流量监控等流工作流应用将多个流大数据应用集成到数据分析管道中。这个应用程序在本质上是高度动态的,其中数据速度可能在运行时改变,因此资源应该随时间进行管理。为了管理这些变化,这个应用程序的编排需要一个动态的执行环境和动态调度技术。对于前一个需求,多云环境是一个可见的解决方案,以应对这个工作流应用程序的动态方面。而对于后一种需求,动态调度技术不仅需要满足最终用户在数据处理和决策截止时间方面的需求,以及数据流源位置约束,而且需要在运行时调整供应和调度计划,以应对流数据率的动态变化。因此,我们提出了一个两阶段的自适应调度技术,以有效地调度在多云环境中的动态工作流应用程序,可以响应在运行时的数据速度的变化。实验结果表明,该方法接近下限,对不同的实验场景是有效的。
2019-12-18 cs.DC
KubeAdaptor: A Docking Framework for Workflow Containerization on Kubernetes
针对工作流系统迁移到Kubernetes时任务调度顺序不一致的问题,本文提出云原生对接框架KubeAdaptor,通过事件触发机制实现工作流容器化并保证调度顺序一致,实验表明其在执行时间、生命周期和资源使用率上优于Argo。
2022-07-04 cs.DC
How Workflow Engines Should Talk to Resource Managers: A Proposal for a Common Workflow Scheduling Interface
针对 SWMS 与资源管理器职责重叠、接口不统一导致的可移植性差和次优调度问题,论文提出通用 REST 调度接口,并通过 Nextflow/Kubernetes 实现验证其可显著降低工作流完工时间。
2023-07-13 cs.DC
A Survey on Deadline Constrained Workflow Scheduling Algorithms in Cloud Environment
云计算是计算机科学和信息技术领域最新兴起的技术。有一个巨大的数据中心池,被称为云,其中部署了服务和相关数据,用户需要持续的互联网连接才能访问它们。云计算的亮点之一是在按需环境中交付应用程序或服务。云调度中最有前途的领域之一是工作流调度,旨在将用户的请求与适当的资源相匹配。有几种算法来自动化的工作流程的方式,以满足服务质量(QoS)的用户,其中的最后期限被认为是一个主要的标准,即满足用户的需求,以最小的成本和最小的规定时间内。本文综述了各种以截止期为准则的工作流调度算法。
2014-09-28 cs.DC cs.SE
Multi-criteria scheduling of pipeline workflows
将工作流应用程序映射到并行平台上是一个具有挑战性的问题,即使是对于简单的应用程序模式,如管道图。应优化几个拮抗剂标准,如吞吐量和延迟(或组合)。在本文中,我们研究了通信同构平台上的管道图的双准则映射问题的复杂性。特别是,我们评估了不同速度的处理器,这原来是NP难的著名的链到链问题的复杂性。我们提供了几个有效的多项式双准则算法,并通过大量的模拟评估其相对性能。
2007-06-28 cs.DC
Enabling Scientific Workflow Scheduling Research in Non-Uniform Memory Access Architectures
Universidad de los Andes(安第斯大学)
本文提出nFlows,一个支持在非统一内存访问架构上进行科学工作流调度研究的运行时系统,用于建模、执行、模拟和验证调度算法。
2025-11-25 cs.DC
Resource Provisioning and Scheduling Algorithm for Meeting Cost and Deadline-Constraints of Scientific Workflows in IaaS Clouds
云计算的基础设施即服务模型是执行成本和期限约束的工作流应用的理想平台,因为云计算的弹性允许大规模复杂的科学工作流应用根据其期限要求动态地扩展。然而,在分布式计算环境中,这些多任务工作流作业的调度是一个计算困难的多目标组合优化问题。关键的挑战是调度工作流任务,同时满足用户的服务质量服务质量(QoS)的要求和应用程序的最后期限。现有的研究工作不仅未能解决这一挑战,而且没有纳入云环境中计算资源的弹性和异构性的基本原则。在本文中,我们提出了一个资源供应和调度算法调度IaaS云上的工作流应用程序,以满足应用程序的最后期限约束,同时优化执行成本。该算法是基于自然启发的人口智能水滴(IWD)优化算法。在CloudSim仿真环境下对4个实际工作流应用的实验结果表明,IWD算法能够在指定的截止期限内以最优的代价调度工作流任务。此外,IWD算法收敛速度快,接近最优解。
2018-06-06 cs.DC
Cost and Reliability Aware Scheduling of Workflows Across Multiple Clouds with Security Constraints
本文提出一种跨多云工作流的成本与可靠性感知调度算法及密码分配算法,在满足安全约束下优化资源分配与数据传输,实验证明其在成本和可靠性上始终优于现有进化方法。
2023-04-01 cs.DC
A Workflow-Forecast Approach To The Task Scheduling Problem In Distributed Computing Systems
本文的目的是为学术目的的高性能计算系统提供基于深度学习的调度方法的描述。在TOP500超级计算机站点中,学术用途的分布式计算系统(DCS)的份额达到17.4个百分点(性能指标为15.6个百分点),使其成为一个有价值的研究对象。该方法的核心是利用深度学习算法,根据先前提交的任务预测系统未来的工作流程。资源管理系统(RMS)使用预测任务的信息来执行有效的调度。
2013-10-06 cs.DC
Efficient Probabilistic Workflow Scheduling for IaaS Clouds
针对 IaaS 云中性能不确定导致确定性调度失效、现有概率方法计算昂贵的问题,提出 EPOSS 算法,兼顾低延迟与概率约束,执行时间降低一到两个数量级并具备良好扩展性。
2024-12-08 cs.DC
Reinforcement Learning based Workflow Scheduling in Cloud and Edge Computing Environments: A Taxonomy, Review and Future Directions
本文综述云与边缘环境中基于DRL的工作流调度,提出分类体系并评估现有研究优劣,指出多目标、维度灾难等挑战及未来方向。
2024-08-06 cs.DC
Co-scheduling Ensembles of In Situ Workflows
分子动力学(MD)模拟被广泛用于研究大规模分子系统。HPC系统是运行这些研究的理想平台,然而,即使使用现代超级计算机,达到必要的模拟时间尺度来检测罕见过程也是具有挑战性的。为了克服时间尺度的限制,长MD轨迹的模拟被多个短程模拟所取代,这些短程模拟在模拟的集合中同时执行。分析通常与这些模拟共同安排,以有效地处理模拟在运行时生成的大量数据,这要归功于原位技术。执行工作流集成的模拟和他们的原位分析需要有效的协同调度策略和复杂的管理计算资源,使他们不会放慢对方。在本文中,我们提出了一种有效的方法来共同调度模拟和原位分析,使工作流集成的最大完工时间最小化。我们提出了一种新的方法来分配资源的工作流集成的资源约束下使用的理论框架建模的工作流集成的执行。我们评估所提出的方法使用一个准确的模拟器的基础上WRENCH仿真框架上的各种工作流集成配置。结果表明,协同调度模拟和原位分析的意义,耦合数据在一起,受益于数据的本地性,其中效率低下的调度决策可能会导致高达30倍的最大完工时间放缓。
2022-08-19 cs.DC
WOW: Workflow-Aware Data Movement and Task Scheduling for Dynamic Scientific Workflows
本文提出WOW调度方法,通过协同引导数据移动与任务调度并创建中间文件推测性副本,有效减少动态科学工作流的网络拥塞与运行时间,在Nextflow和Kubernetes实验中显著降低完成时间且扩展性良好。
2025-03-28 cs.DC
Balsam: Automated Scheduling and Execution of Dynamic, Data-Intensive HPC Workflows
我们引入Balsam服务来管理超级计算系统上的高吞吐量任务调度和执行。Balsam允许用户使用从简单的独立任务到动态多任务工作流的各种任务填充任务数据库。通过对本地资源调度器和MPI环境的抽象,Balsam动态地将任务打包成集成作业并管理其调度生命周期。该集成在一个试验“启动器”中执行,该“启动器”(i)确保具有异构处理器要求的任意串行和并行程序的并发、负载平衡执行,(ii)不需要修改用户应用程序,(iii)容忍任务级故障并提供若干错误恢复选项,(iv)存储起源数据(v)支持动态工作流,其中在运行时创建或终止任务。在这里,我们介绍了Balsam服务和启动器的设计和Python实现。使用两个案例研究说明了该系统的有效性:深度神经网络的超参数优化和高通量单点量子化学计算。我们发现,灵活的作业包装和自动化调度与动态(试点管理)执行的独特组合,有利于良好的资源利用率。在超级计算机上管理资源和启动工作流通常所需的脚本开销大大减少,加快了工作流的开发和执行。
2019-09-18 cs.DC
A Deep Reinforcement Learning Approach for Cost Optimized Workflow Scheduling in Cloud Computing Environments
本文针对云环境中竞价型实例价格波动与中断带来的工作流调度不确定性,提出基于深度强化学习的自主调度方法,并在 Argo 中实现,实验证明其成本表现优于现有基准。
2024-08-06 cs.DC
A Survey and Annotated Bibliography of Workflow Scheduling in Computing Infrastructures: Community, Keyword, and Article Reviews -- Extended Technical Report
工作流在当今的计算基础设施中很普遍。工作流模型支持各种不同的领域,从机器学习到金融,从天文学到化学。不同的服务质量(QoS)的要求和用户和供应商的其他愿望,使工作流调度一个棘手的问题,特别是因为资源供应商需要尽可能有效地与他们的资源竞争。对于一个新手甚至是一个有经验的研究人员来说,筛选大量的文章可能是一项艰巨的任务。关于差异技术、政策、新兴领域和机会的问题出现了。调查是解决这些问题的一种很好的方式,但调查很少公布其所依据的工具和数据。此外,这些文章背后的社区很少被研究。我们试图在这项工作中解决这些缺点。我们集中在工作流调度中的四个方面:1)工作流形式主义,2)工作流分配,3)资源供应,以及4)应用程序和服务。每个部分都包含一个或多个分类法、社区视图、重要和新兴关键字以及未来工作的方向。我们引入并开源了一种我们用来组合和存储文章元数据的工具。使用这些元数据,我们1)获得重要的关键字整体和每年,每个社区,2)确定关键字的重要性增长,3)深入了解每个社区内的结构和关系,以及4)执行系统的文献调查每个部分,以验证和补充我们的分类。
2020-04-21 cs.DC
iDDS: Intelligent Distributed Dispatch and Scheduling for Workflow Orchestration
Brookhaven National Laboratory(布鲁克海文国家实验室);University of Texas at Arlington(德克萨斯大学阿灵顿分校);University of Pittsburgh(匹兹堡大学)
iDDS是一种智能分布式调度系统,通过整合数据感知执行和可编程工作流,实现大规模分布式科学计算中的高效工作流编排与自动化处理。
2025-12-20 cs.DC
Workflow Scheduling in the Cloud with Weighted Upward-rank Priority Scheme Using Random Walk and Uniform Spare Budget Splitting
研究了在云计算环境下,如何在有限的预算下调度具有优先约束的复杂工作流这一难题。我们首先制定的调度问题作为一个整数规划问题,它可以被优化,并作为基线的性能。然后,我们考虑传统的方法调度作业的优先顺序的基础上,每个作业的向上排名。对于那些没有优先级约束的作业,简单的向上排列优先级方案以任意的方式分配优先级。我们提出了一个工作优先级计划,使用马尔可夫链平稳概率作为衡量工作的重要性。该方案保持作业之间存在优先约束的优先顺序,对没有优先约束的作业根据作业的重要性分配优先级。最后,我们设计了一个统一的备用预算分配策略,将备用预算均匀分配给所有的作业。我们在各种工作流上测试我们的算法,包括FFT,高斯消除,典型的科学工作流,随机生成的工作流和来自在线流媒体服务公司的生产集群的工作流。我们比较我们的算法与最先进的算法。实证结果表明,在大多数情况下,均匀备用预算分割方案的平均性能优于分割方案,而基于马尔可夫的优先级排序进一步提高了工作流的最大完工时间。
2019-03-04 cs.DC
Analysis of Workflow Schedulers in Simulated Distributed Environments
任务图提供了一种简单的方法来描述可以在HPC集群和云中执行的科学工作流(具有依赖关系的任务集)。执行这种图的一个重要方面是所使用的调度算法。许多调度算法已被提出在现有的作品,然而,他们往往是在过于简化的环境中进行测试。我们提供了一个可扩展的模拟环境,专为原型和基准任务的执行,其中包含各种调度算法的实现,是开源的,以完全可再现。我们使用这个环境来执行一个全面的分析工作流调度算法的重点是量化的调度挑战,迄今为止大多被忽视的影响,如调度程序调用或部分未知的任务持续时间之间的延迟。我们的研究结果表明,许多以前的作品所使用的网络模型可能会产生的结果是由一个数量级相比,一个更现实的模型。此外,我们表明,某些经常被忽视的调度算法的实现细节可以有很大的影响调度器的性能,因此,他们应该非常详细地描述,使适当的评估。
2022-04-14 cs.DC
FATE: Future-State-Aware Scheduling for Heterogeneous LLM Workflows
University of Science and Technology of China(中国科学技术大学);School of Computer Science and Technology(计算机科学与技术学院)
FATE通过结合前沿规划、前瞻性候选评分和多设备分片执行,优化异构LLM工作流的未来状态,降低延迟并提升效率。
2026-05-08 cs.DC
BeeFlow: Behavior Tree-based Serverless Workflow Modeling and Scheduling for Resource-Constrained Edge Clusters
Sun Yat-sen University(中山大学)
针对边缘集群中无服务器工作流调度表达力不足和资源争用问题,提出基于行为树的建模与调度系统BeeFlow,在边缘和云测试平台分别实现3.2倍和2.5倍加速。
2023-08-31 cs.DC cs.NI cs.RO
Scientific Workflow Scheduling in Cloud Considering Cold Start and Variable Pricing Model
针对科学云服务提供商面临的冷启动和多种虚拟机定价模型管理挑战,提出一种结合历史数据初始规划与实时调整的混合调度框架,在真实数据集上相比现有方法实现高达20%的利润提升。
2025-04-30 cs.DC
Smart Scheduling of Continuous Data-Intensive Workflows with Machine Learning Triggered Execution
为了从来自许多不同来源的不断增长的数据量中提取价值,并推动决策制定,组织经常求助于数据处理工作流的组合,因为它们具有表达性,灵活性和可扩展性。典型的工作流模型在处理步骤之间强制执行严格的时间同步,而不考虑中间计算对最终工作流输出的实际影响。然而,这在许多场景中不是最理想的行为。我们确定了一类用于连续数据处理的应用程序,其中工作流输出在短到中等的时间窗口中变化缓慢且没有很大意义,从而浪费了当前方法的计算资源和能量。为了克服这种低效率,我们引入了一种新的工作流模型,连续和数据密集型处理,能够放松触发语义根据影响输入数据评估有改变工作流输出。为了评估这种影响,学习输入和输出变化之间的相关性,并在给定的容许误差常数内保证正确性,我们依赖于机器学习。该工作流模型的功能是在SmartFlux中实现的,SmartFlux是一个中间件框架,可以毫不费力地与现有的工作流管理器集成。实验结果表明,我们能够节省大量的资源,同时不偏离工作流输出超过一个小的误差常数与高置信度。
2016-12-12 cs.DC
Minimizing Energy in Reliability and Deadline-Ensured Workflow Scheduling in Cloud
针对云环境中工作流调度的能耗最小化问题,提出基于最大扇出比的自适应静态调度和基于滚动时域的动态调度方法,在满足可靠性和截止期限约束下显著降低能耗,静态方法平均优于SOTA达70%,动态方法在无截止期限场景提升82%。
2025-05-22 cs.DC
GrapheonRL: A Graph Neural Network and Reinforcement Learning Framework for Constraint and Data-Aware Workflow Mapping and Scheduling in Heterogeneous HPC Systems
本文提出GrapheonRL框架,整合图神经网络与强化学习,用于异构HPC系统中的约束与数据感知工作流映射及调度,在保证接近ILP最优解质量的同时大幅缩短执行时间,实现稳健可扩展的调度。
2025-05-30 cs.DC cs.ET
ESG: Pipeline-Conscious Efficient Scheduling of DNN Workflows on Serverless Platforms with Shareable GPUs
本文提出ESG调度算法,将可共享GPU作为一阶因素,结合A*搜索与双刃剪枝技术及基于支配者的SLO分布,解决无服务器平台上DNN工作流调度空间急剧扩大的问题,显著提升SLO命中率并降低成本。
2024-04-25 cs.DC
Learning based Scalable Multi-Objective Scheduling of Workflows across UD-IaaS-FaaS Systems
IIT Guwahati(印度理工学院古瓦哈提分校);University of Western Australia India(西澳大学印度校区)
针对UD-IaaS-FaaS混合系统的工作流多目标调度难题,提出结合图神经网络等的学习框架,在降低完成时间、能耗和成本上优于遗传算法等方法,且接近MILP最优解。
2026-10-14 cs.DC cs.PF
Workflow-Driven Modeling for the Compute Continuum: An Optimization Approach to Automated System and Workload Scheduling
针对云与HPC融合的计算连续体中手动调度效率低的问题,提出基于MILP和启发式方法的自动化调度框架,可兼顾小规模场景最优性与大规模场景高效性。
2025-05-18 cs.DC
Carbon-Aware Workflow Scheduling with Fixed Mapping and Deadline Constraint
本文研究混合能源中心的工作流碳减排调度问题,将其形式化为固定映射与排序的调度问题,证明单处理器下多项式可解而多处理器下为NP-hard,并提出启发式框架CaWoSched,结合贪婪与局部搜索显著降低碳排放。
2025-08-11 cs.DC
Memory-aware Adaptive Scheduling of Scientific Workflows on Heterogeneous Architectures
针对异构平台上DAG形科学工作流,提出记忆感知的HEFT变体及自适应重调度策略,集成运行时系统,避免内存不足并显著缩短完工时间。
2025-03-28 cs.DC
Enhancing Energy Efficiency in Scientific Workflows through CFD based PIVAEs
University of Leicester(莱斯特大学);Rutherford Appleton Laboratory, Science and Technology Facilities Council (STFC–UKRI)(鲁瑟福阿普顿实验室,科学与工程设施委员会(STFC-UKRI))
提出一种结合计算流体动力学与物理信息变分自编码器的AI辅助调度框架,通过生成物理真实的合成工作负载数据,在HPC环境中实现能效优化,实验表明适度降低CPU性能可显著节能。
2026-05-22 cs.DC
ASA -- The Adaptive Scheduling Algorithm
针对 HPC 中预分配浪费资源与动态分配可能延长工作流完成时间的矛盾,本文提出具有收敛保证的 ASA,通过预测队列等待并提前请求资源变更,在两台超级计算机上显著降低等待与完成时间。
2024-01-18 cs.DC
HexAGenT: Efficient Agentic LLM Serving via Workflow- and Heterogeneity-Aware Scheduling
HKUST(香港科技大学);Webank(微众银行);Wuhan University(武汉大学);Tsinghua University(清华大学)
本文提出HexAGenT,一种异构prefill-decode推理服务的工作流感知调度器,通过动态调整预填和解码位置及队列优先级,减少工作流完成SLO需求,提升效率。
2026-05-15 cs.DC
Bidding policies for market-based HPC workflow scheduling
本文研究了分布式、异构高性能计算(HPC)集群上的作业调度问题。众所周知,基于市场的办法能够有效地将有限的资源分配给最愿意支付的国家。此上下文适用于平台过载的HPC或云计算场景。在本文中,工作是由相关的任务。每个工作都有一个非递增的时间价值曲线与之相关联。工作被提交给市场清算集中拍卖人并由其安排。本文比较了几种生成任务出价的策略的性能。这里研究的目的是最大化平台提供商的价值,同时最大限度地减少未完成(或饥饿)的工作数量。它被发现,预计剩余价值投标政策给出了一个典型的过载情况下的最高水平的价值,并给出了最低数量的饥饿的任务在整个空间的利用率检查。它通过尝试捕获队列中任务的紧急性来实现这一点。在高水平的过载下,一些替代算法产生的价值略高,但代价是大量的饥饿工作流。
2016-01-26 cs.DC