A Cost-Driven Fuzzy Scheduling Strategy for Intelligent Workflow Decision Making Systems in Uncertain Edge-Cloud Environments
工作流决策是执行许多实际工作流应用的关键。边缘云环境下的调度可以解决工作流应用程序的高复杂性问题,同时减少云和终端设备之间的数据传输延迟。然而,由于边缘云环境中的异构资源和工作流中任务之间复杂的数据依赖关系,工作流调度仍然存在重大挑战,包括从可能的众多组合中选择最佳的任务-服务器解决方案。现有的研究主要是在没有波动的严格条件下进行的,忽略了工作流调度通常存在于不确定环境中的事实。在这项研究中,我们专注于减少主要由任务计算和数据传输引起的工作流应用程序的执行成本,同时满足不确定的边缘云环境中的工作流截止日期。采用三角模糊数来表示任务处理时间和数据传输时间。提出了一种基于自适应离散粒子群优化(ADPSO)算法的成本驱动模糊调度策略,该算法采用了遗传算法(GA)的算子。该策略引入了遗传算法的随机两点交叉算子、邻域变异算子和自适应多点变异算子,有效地避免了陷入局部最优。实验结果表明,与其他基准解决方案相比,该策略能有效降低不确定边缘云环境下的工作流执行代价.
2022-10-28 cs.DC
Cortex: Workflow-Aware Resource Pooling and Scheduling for Agentic Serving
Columbia University(哥伦比亚大学);Google(谷歌)
Cortex通过阶段隔离和专用资源池,减轻智能体工作流中的阶段间干扰,提升KV缓存利用率、吞吐量和性能可预测性,为智能体原生服务范式奠定基础。
2025-10-15 cs.DC
Scheduling Algorithms for Efficient Execution of Stream Workflow Applications in Multicloud Environments
大数据处理应用变得越来越复杂。它们在本质上不再是单一的,而是由工作流形式的解耦分析过程组成。一种类型的这样的工作流应用是流工作流应用,其集成多个流式大数据应用以支持决策制定。这些应用程序的每个分析组件连续运行并处理数据流,其速度将取决于几个因素,如网络带宽和父分析组件的处理速率。因此,在云环境中执行这些应用程序需要先进的调度技术,这些技术在数据处理和决策截止日期方面符合最终用户的要求。在本文中,我们提出了两个多云调度和资源分配技术的流工作流应用程序在多云环境中的有效执行,同时坚持工作流应用程序和用户的性能要求,并降低执行成本。实验结果表明,所提出的遗传算法是一个充分和有效的所有实验。
2019-12-18 cs.DC
KubeAdaptor: A Docking Framework for Workflow Containerization on Kubernetes
针对工作流系统迁移到Kubernetes时任务调度顺序不一致的问题,本文提出云原生对接框架KubeAdaptor,通过事件触发机制实现工作流容器化并保证调度顺序一致,实验表明其在执行时间、生命周期和资源使用率上优于Argo。
2022-07-04 cs.DC
How Workflow Engines Should Talk to Resource Managers: A Proposal for a Common Workflow Scheduling Interface
针对 SWMS 与资源管理器职责重叠、接口不统一导致的可移植性差和次优调度问题,论文提出通用 REST 调度接口,并通过 Nextflow/Kubernetes 实现验证其可显著降低工作流完工时间。
2023-07-13 cs.DC
Multi-criteria scheduling of pipeline workflows
将工作流应用程序映射到并行平台上是一个具有挑战性的问题,即使是对于简单的应用程序模式,如管道图。应优化几个拮抗剂标准,如吞吐量和延迟(或组合)。在本文中,我们研究了通信同构平台上的管道图的双准则映射问题的复杂性。特别是,我们评估了不同速度的处理器,这原来是NP难的著名的链到链问题的复杂性。我们提供了几个有效的多项式双准则算法,并通过大量的模拟评估其相对性能。
2007-06-28 cs.DC
Enabling Scientific Workflow Scheduling Research in Non-Uniform Memory Access Architectures
Universidad de los Andes(安第斯大学)
本文提出nFlows,一个支持在非统一内存访问架构上进行科学工作流调度研究的运行时系统,用于建模、执行、模拟和验证调度算法。
2025-11-25 cs.DC
Resource Provisioning and Scheduling Algorithm for Meeting Cost and Deadline-Constraints of Scientific Workflows in IaaS Clouds
云计算的基础设施即服务模型是执行成本和期限约束的工作流应用的理想平台,因为云计算的弹性允许大规模复杂的科学工作流应用根据其期限要求动态地扩展。然而,在分布式计算环境中,这些多任务工作流作业的调度是一个计算困难的多目标组合优化问题。关键的挑战是调度工作流任务,同时满足用户的服务质量服务质量(QoS)的要求和应用程序的最后期限。现有的研究工作不仅未能解决这一挑战,而且没有纳入云环境中计算资源的弹性和异构性的基本原则。在本文中,我们提出了一个资源供应和调度算法调度IaaS云上的工作流应用程序,以满足应用程序的最后期限约束,同时优化执行成本。该算法是基于自然启发的人口智能水滴(IWD)优化算法。在CloudSim仿真环境下对4个实际工作流应用的实验结果表明,IWD算法能够在指定的截止期限内以最优的代价调度工作流任务。此外,IWD算法收敛速度快,接近最优解。
2018-06-06 cs.DC
Cost and Reliability Aware Scheduling of Workflows Across Multiple Clouds with Security Constraints
本文提出一种跨多云工作流的成本与可靠性感知调度算法及密码分配算法,在满足安全约束下优化资源分配与数据传输,实验证明其在成本和可靠性上始终优于现有进化方法。
2023-04-01 cs.DC
A Workflow-Forecast Approach To The Task Scheduling Problem In Distributed Computing Systems
本文的目的是为学术目的的高性能计算系统提供基于深度学习的调度方法的描述。在TOP500超级计算机站点中,学术用途的分布式计算系统(DCS)的份额达到17.4个百分点(性能指标为15.6个百分点),使其成为一个有价值的研究对象。该方法的核心是利用深度学习算法,根据先前提交的任务预测系统未来的工作流程。资源管理系统(RMS)使用预测任务的信息来执行有效的调度。
2013-10-06 cs.DC
Efficient Probabilistic Workflow Scheduling for IaaS Clouds
针对 IaaS 云中性能不确定导致确定性调度失效、现有概率方法计算昂贵的问题,提出 EPOSS 算法,兼顾低延迟与概率约束,执行时间降低一到两个数量级并具备良好扩展性。
2024-12-08 cs.DC
Reinforcement Learning based Workflow Scheduling in Cloud and Edge Computing Environments: A Taxonomy, Review and Future Directions
本文综述云与边缘环境中基于DRL的工作流调度,提出分类体系并评估现有研究优劣,指出多目标、维度灾难等挑战及未来方向。
2024-08-06 cs.DC
Co-scheduling Ensembles of In Situ Workflows
分子动力学(MD)模拟被广泛用于研究大规模分子系统。HPC系统是运行这些研究的理想平台,然而,即使使用现代超级计算机,达到必要的模拟时间尺度来检测罕见过程也是具有挑战性的。为了克服时间尺度的限制,长MD轨迹的模拟被多个短程模拟所取代,这些短程模拟在模拟的集合中同时执行。分析通常与这些模拟共同安排,以有效地处理模拟在运行时生成的大量数据,这要归功于原位技术。执行工作流集成的模拟和他们的原位分析需要有效的协同调度策略和复杂的管理计算资源,使他们不会放慢对方。在本文中,我们提出了一种有效的方法来共同调度模拟和原位分析,使工作流集成的最大完工时间最小化。我们提出了一种新的方法来分配资源的工作流集成的资源约束下使用的理论框架建模的工作流集成的执行。我们评估所提出的方法使用一个准确的模拟器的基础上WRENCH仿真框架上的各种工作流集成配置。结果表明,协同调度模拟和原位分析的意义,耦合数据在一起,受益于数据的本地性,其中效率低下的调度决策可能会导致高达30倍的最大完工时间放缓。
2022-08-19 cs.DC
WOW: Workflow-Aware Data Movement and Task Scheduling for Dynamic Scientific Workflows
本文提出WOW调度方法,通过协同引导数据移动与任务调度并创建中间文件推测性副本,有效减少动态科学工作流的网络拥塞与运行时间,在Nextflow和Kubernetes实验中显著降低完成时间且扩展性良好。
2025-03-28 cs.DC
Balsam: Automated Scheduling and Execution of Dynamic, Data-Intensive HPC Workflows
我们引入Balsam服务来管理超级计算系统上的高吞吐量任务调度和执行。Balsam允许用户使用从简单的独立任务到动态多任务工作流的各种任务填充任务数据库。通过对本地资源调度器和MPI环境的抽象,Balsam动态地将任务打包成集成作业并管理其调度生命周期。该集成在一个试验“启动器”中执行,该“启动器”(i)确保具有异构处理器要求的任意串行和并行程序的并发、负载平衡执行,(ii)不需要修改用户应用程序,(iii)容忍任务级故障并提供若干错误恢复选项,(iv)存储起源数据(v)支持动态工作流,其中在运行时创建或终止任务。在这里,我们介绍了Balsam服务和启动器的设计和Python实现。使用两个案例研究说明了该系统的有效性:深度神经网络的超参数优化和高通量单点量子化学计算。我们发现,灵活的作业包装和自动化调度与动态(试点管理)执行的独特组合,有利于良好的资源利用率。在超级计算机上管理资源和启动工作流通常所需的脚本开销大大减少,加快了工作流的开发和执行。
2019-09-18 cs.DC
A Deep Reinforcement Learning Approach for Cost Optimized Workflow Scheduling in Cloud Computing Environments
本文针对云环境中竞价型实例价格波动与中断带来的工作流调度不确定性,提出基于深度强化学习的自主调度方法,并在 Argo 中实现,实验证明其成本表现优于现有基准。
2024-08-06 cs.DC
A Survey and Annotated Bibliography of Workflow Scheduling in Computing Infrastructures: Community, Keyword, and Article Reviews -- Extended Technical Report
工作流在当今的计算基础设施中很普遍。工作流模型支持各种不同的领域,从机器学习到金融,从天文学到化学。不同的服务质量(QoS)的要求和用户和供应商的其他愿望,使工作流调度一个棘手的问题,特别是因为资源供应商需要尽可能有效地与他们的资源竞争。对于一个新手甚至是一个有经验的研究人员来说,筛选大量的文章可能是一项艰巨的任务。关于差异技术、政策、新兴领域和机会的问题出现了。调查是解决这些问题的一种很好的方式,但调查很少公布其所依据的工具和数据。此外,这些文章背后的社区很少被研究。我们试图在这项工作中解决这些缺点。我们集中在工作流调度中的四个方面:1)工作流形式主义,2)工作流分配,3)资源供应,以及4)应用程序和服务。每个部分都包含一个或多个分类法、社区视图、重要和新兴关键字以及未来工作的方向。我们引入并开源了一种我们用来组合和存储文章元数据的工具。使用这些元数据,我们1)获得重要的关键字整体和每年,每个社区,2)确定关键字的重要性增长,3)深入了解每个社区内的结构和关系,以及4)执行系统的文献调查每个部分,以验证和补充我们的分类。
2020-04-21 cs.DC
iDDS: Intelligent Distributed Dispatch and Scheduling for Workflow Orchestration
Brookhaven National Laboratory(布鲁克海文国家实验室);University of Texas at Arlington(德克萨斯大学阿灵顿分校);University of Pittsburgh(匹兹堡大学)
iDDS是一种智能分布式调度系统,通过整合数据感知执行和可编程工作流,实现大规模分布式科学计算中的高效工作流编排与自动化处理。
2025-12-20 cs.DC
Workflow Scheduling in the Cloud with Weighted Upward-rank Priority Scheme Using Random Walk and Uniform Spare Budget Splitting
研究了在云计算环境下,如何在有限的预算下调度具有优先约束的复杂工作流这一难题。我们首先制定的调度问题作为一个整数规划问题,它可以被优化,并作为基线的性能。然后,我们考虑传统的方法调度作业的优先顺序的基础上,每个作业的向上排名。对于那些没有优先级约束的作业,简单的向上排列优先级方案以任意的方式分配优先级。我们提出了一个工作优先级计划,使用马尔可夫链平稳概率作为衡量工作的重要性。该方案保持作业之间存在优先约束的优先顺序,对没有优先约束的作业根据作业的重要性分配优先级。最后,我们设计了一个统一的备用预算分配策略,将备用预算均匀分配给所有的作业。我们在各种工作流上测试我们的算法,包括FFT,高斯消除,典型的科学工作流,随机生成的工作流和来自在线流媒体服务公司的生产集群的工作流。我们比较我们的算法与最先进的算法。实证结果表明,在大多数情况下,均匀备用预算分割方案的平均性能优于分割方案,而基于马尔可夫的优先级排序进一步提高了工作流的最大完工时间。
2019-03-04 cs.DC
Analysis of Workflow Schedulers in Simulated Distributed Environments
任务图提供了一种简单的方法来描述可以在HPC集群和云中执行的科学工作流(具有依赖关系的任务集)。执行这种图的一个重要方面是所使用的调度算法。许多调度算法已被提出在现有的作品,然而,他们往往是在过于简化的环境中进行测试。我们提供了一个可扩展的模拟环境,专为原型和基准任务的执行,其中包含各种调度算法的实现,是开源的,以完全可再现。我们使用这个环境来执行一个全面的分析工作流调度算法的重点是量化的调度挑战,迄今为止大多被忽视的影响,如调度程序调用或部分未知的任务持续时间之间的延迟。我们的研究结果表明,许多以前的作品所使用的网络模型可能会产生的结果是由一个数量级相比,一个更现实的模型。此外,我们表明,某些经常被忽视的调度算法的实现细节可以有很大的影响调度器的性能,因此,他们应该非常详细地描述,使适当的评估。
2022-04-14 cs.DC
FATE: Future-State-Aware Scheduling for Heterogeneous LLM Workflows
University of Science and Technology of China(中国科学技术大学);School of Computer Science and Technology(计算机科学与技术学院)
FATE通过结合前沿规划、前瞻性候选评分和多设备分片执行,优化异构LLM工作流的未来状态,降低延迟并提升效率。
2026-05-08 cs.DC
Scientific Workflow Scheduling in Cloud Considering Cold Start and Variable Pricing Model
针对科学云服务提供商面临的冷启动和多种虚拟机定价模型管理挑战,提出一种结合历史数据初始规划与实时调整的混合调度框架,在真实数据集上相比现有方法实现高达20%的利润提升。
2025-04-30 cs.DC
Smart Scheduling of Continuous Data-Intensive Workflows with Machine Learning Triggered Execution
为了从来自许多不同来源的不断增长的数据量中提取价值,并推动决策制定,组织经常求助于数据处理工作流的组合,因为它们具有表达性,灵活性和可扩展性。典型的工作流模型在处理步骤之间强制执行严格的时间同步,而不考虑中间计算对最终工作流输出的实际影响。然而,这在许多场景中不是最理想的行为。我们确定了一类用于连续数据处理的应用程序,其中工作流输出在短到中等的时间窗口中变化缓慢且没有很大意义,从而浪费了当前方法的计算资源和能量。为了克服这种低效率,我们引入了一种新的工作流模型,连续和数据密集型处理,能够放松触发语义根据影响输入数据评估有改变工作流输出。为了评估这种影响,学习输入和输出变化之间的相关性,并在给定的容许误差常数内保证正确性,我们依赖于机器学习。该工作流模型的功能是在SmartFlux中实现的,SmartFlux是一个中间件框架,可以毫不费力地与现有的工作流管理器集成。实验结果表明,我们能够节省大量的资源,同时不偏离工作流输出超过一个小的误差常数与高置信度。
2016-12-12 cs.DC
Minimizing Energy in Reliability and Deadline-Ensured Workflow Scheduling in Cloud
针对云环境中工作流调度的能耗最小化问题,提出基于最大扇出比的自适应静态调度和基于滚动时域的动态调度方法,在满足可靠性和截止期限约束下显著降低能耗,静态方法平均优于SOTA达70%,动态方法在无截止期限场景提升82%。
2025-05-22 cs.DC
Model-driven Scheduling for Distributed Stream Processing Systems
随着物联网(IoT)的发展,分布式流处理框架被普遍使用。这些框架旨在通过伸缩来适应动态输入消息速率。Apache Storm最初由Twitter开发,是一个广泛使用的流处理引擎,其他包括Flink,Spark流。为了保证流媒体应用的成功运行,需要知道流媒体应用的最优资源需求,而过高的资源估计会增加额外的成本,因此需要一些策略来为给定的流媒体应用提出最优的资源需求。在这篇文章中,我们提出了一个模型驱动的方法调度流应用程序,有效地利用先验知识的应用程序提供可预测的调度行为。具体来说,我们使用应用程序性能模型来提供所需的资源分配的可靠估计。此外,这种直觉还驱动资源映射,并有助于缩小估计和实际的低性能和资源利用率。总之,这种模型驱动的调度方法给出了用于在分布式资源上以目标输入流速率执行给定DSPS应用的可预测的应用性能和资源利用行为。
2017-02-06 cs.DC
WORKSWORLD: A Domain for Integrated Numeric Planning and Scheduling of Distributed Pipelined Workflows
本文提出WORKSWORLD领域,用于永久调度工作流的数值无关规划器,通过定义数据源、组件和目标,解决联合规划与调度问题,实验证明在普通硬件上可处理最多14个组件的线性链工作流。
2026-03-18 cs.AI cs.DC
ESG: Pipeline-Conscious Efficient Scheduling of DNN Workflows on Serverless Platforms with Shareable GPUs
本文提出ESG调度算法,将可共享GPU作为一阶因素,结合A*搜索与双刃剪枝技术及基于支配者的SLO分布,解决无服务器平台上DNN工作流调度空间急剧扩大的问题,显著提升SLO命中率并降低成本。
2024-04-25 cs.DC
CMS Workflow Execution using Intelligent Job Scheduling and Data Access Strategies
复杂的科学工作流程可以使用数千个任务来处理大量数据。这些工作流的周转时间通常受到各种延迟的影响,例如各个工作流过程或参与者的资源发现、调度和数据访问延迟。最小化这些延迟将改善工作流的总体执行时间,从而导致更有效和更健壮的处理环境。在本文中,我们提出了一个试点作业为基础的基础设施,具有智能数据重用和作业执行策略,以尽量减少调度,排队,执行和数据访问延迟。结果表明,显着改善的整体周转时间的工作流程,可以实现这种方法。所提出的方法进行了评估,首先使用CMS Tier0数据处理工作流程,然后模拟工作流程,以评估其有效性在受控环境中。
2012-02-24 cs.DC cs.SE
Workflow-Driven Modeling for the Compute Continuum: An Optimization Approach to Automated System and Workload Scheduling
针对云与HPC融合的计算连续体中手动调度效率低的问题,提出基于MILP和启发式方法的自动化调度框架,可兼顾小规模场景最优性与大规模场景高效性。
2025-05-18 cs.DC
Carbon-Aware Workflow Scheduling with Fixed Mapping and Deadline Constraint
本文研究混合能源中心的工作流碳减排调度问题,将其形式化为固定映射与排序的调度问题,证明单处理器下多项式可解而多处理器下为NP-hard,并提出启发式框架CaWoSched,结合贪婪与局部搜索显著降低碳排放。
2025-08-11 cs.DC
Memory-aware Adaptive Scheduling of Scientific Workflows on Heterogeneous Architectures
针对异构平台上DAG形科学工作流,提出记忆感知的HEFT变体及自适应重调度策略,集成运行时系统,避免内存不足并显著缩短完工时间。
2025-03-28 cs.DC
Enhancing Energy Efficiency in Scientific Workflows through CFD based PIVAEs
University of Leicester(莱斯特大学);Rutherford Appleton Laboratory, Science and Technology Facilities Council (STFC–UKRI)(鲁瑟福阿普顿实验室,科学与工程设施委员会(STFC-UKRI))
提出一种结合计算流体动力学与物理信息变分自编码器的AI辅助调度框架,通过生成物理真实的合成工作负载数据,在HPC环境中实现能效优化,实验表明适度降低CPU性能可显著节能。
2026-05-22 cs.DC
Reinforcement Learning-driven Data-intensive Workflow Scheduling for Volunteer Edge-Cloud
City University of New York(纽约城市大学);University of Missouri-Columbia(密苏里大学哥伦比亚分校)
本文针对志愿者边缘云中数据密集型工作流调度问题,提出一种基于异步优势演员-评论家强化学习的方法,综合考虑工作流需求、资源偏好与资源策略,实验证明其在需求满足度和资源利用率上优于基线策略。
2024-07-01 cs.AI cs.DC
ASA -- The Adaptive Scheduling Algorithm
针对 HPC 中预分配浪费资源与动态分配可能延长工作流完成时间的矛盾,本文提出具有收敛保证的 ASA,通过预测队列等待并提前请求资源变更,在两台超级计算机上显著降低等待与完成时间。
2024-01-18 cs.DC
HexAGenT: Efficient Agentic LLM Serving via Workflow- and Heterogeneity-Aware Scheduling
HKUST(香港科技大学);Webank(微众银行);Wuhan University(武汉大学);Tsinghua University(清华大学)
本文提出HexAGenT,一种异构prefill-decode推理服务的工作流感知调度器,通过动态调整预填和解码位置及队列优先级,减少工作流完成SLO需求,提升效率。
2026-05-15 cs.DC
A Survey on Deadline Constrained Workflow Scheduling Algorithms in Cloud Environment
云计算是计算机科学和信息技术领域最新兴起的技术。有一个巨大的数据中心池,被称为云,其中部署了服务和相关数据,用户需要持续的互联网连接才能访问它们。云计算的亮点之一是在按需环境中交付应用程序或服务。云调度中最有前途的领域之一是工作流调度,旨在将用户的请求与适当的资源相匹配。有几种算法来自动化的工作流程的方式,以满足服务质量(QoS)的用户,其中的最后期限被认为是一个主要的标准,即满足用户的需求,以最小的成本和最小的规定时间内。本文综述了各种以截止期为准则的工作流调度算法。
2014-09-28 cs.DC cs.SE
Bidding policies for market-based HPC workflow scheduling
本文研究了分布式、异构高性能计算(HPC)集群上的作业调度问题。众所周知,基于市场的办法能够有效地将有限的资源分配给最愿意支付的国家。此上下文适用于平台过载的HPC或云计算场景。在本文中,工作是由相关的任务。每个工作都有一个非递增的时间价值曲线与之相关联。工作被提交给市场清算集中拍卖人并由其安排。本文比较了几种生成任务出价的策略的性能。这里研究的目的是最大化平台提供商的价值,同时最大限度地减少未完成(或饥饿)的工作数量。它被发现,预计剩余价值投标政策给出了一个典型的过载情况下的最高水平的价值,并给出了最低数量的饥饿的任务在整个空间的利用率检查。它通过尝试捕获队列中任务的紧急性来实现这一点。在高水平的过载下,一些替代算法产生的价值略高,但代价是大量的饥饿工作流。
2016-01-26 cs.DC
An Empirical Evaluation of Quantum-Inspired QUBO Methods for Heterogeneous HPC Workflow Mapping and Scheduling
Institute of Computer Science, Georg-August-Universität Göttingen(哥廷根大学计算机科学研究所);GWDG mbH(GWDG有限责任公司)
通过系统实验评估三种量子启发式QUBO变体(单次模拟退火、多次尝试退火和分层QAOA启发调度)在异构HPC工作流调度中的可行性、makespan和资源利用率,并与MILP、CP-SAT、GA和HEFT等经典基线比较,发现QUBO方法在任务数超过15时可行性下降,经典方法在现有求解器能力下仍更可靠。
2026-05-25 cs.DC
A Performance Analysis of Task Scheduling for UQ Workflows on HPC Systems
针对HPC系统上UQ工作负载原生调度低效的问题,提出结合UQ and Modelling Bridge与HyperQueue的负载均衡框架,无需系统级更改即可将调度开销降低三个数量级,并使长时间运行模拟的CPU时间最多减少38%。
2025-04-01 cs.DC
Stream-K++: Adaptive GPU GEMM Kernel Scheduling and Selection using Bloom Filters
University of Washington(华盛顿大学);Advanced Micro Devices, Inc.(超威半导体有限公司);Meta Platforms, Inc.(Meta平台公司)
Stream-K++通过布隆过滤器实现自适应GPU GEMM内核调度与选择,显著提升性能并保持高准确性。
2025-11-25 cs.DC
A Study on Messaging Trade-offs in Data Streaming for Scientific Workflows
本研究通过模拟Deleria和LCLS工作流,探讨RabbitMQ消息传递框架中影响科学工作流流传输需求的参数配置,揭示了可靠消息传输的吞吐量权衡与实用配置见解。
2025-09-08 cs.DC
Real-time Optimization of Simulation and Data Processing Pipelines for Experiments on Exascale Computing Platforms
Enrico Fermi Institute University of Chicago(芝加哥大学恩里科·费米研究所);Argonne Leadership Computing Facility Argonne National Laboratory(阿贡国家实验室阿贡领导计算设施)
针对百亿亿次平台上大规模实验工作流,提出多阶段任务调度方法,并以SBND蒙特卡洛流水线为例,提供建模工具以优化资源利用。
2026-10-05 cs.DC
Resource- and Message Size-Aware Scheduling of Stream Processing at the Edge with application to Realtime Microscopy
虽然可以利用云边缘的计算资源来改善延迟并降低各种移动,Web和IoT应用程序的云服务成本,但这些资源自然受到限制。对于分布式流处理应用程序,将一些处理工作卸载到云边缘有明显的优势。许多最先进的流处理应用程序,如Flink和Spark Streaming,被设计为专门在云中运行,不适合这种混合边缘/云部署设置,尤其是因为它们的制造商对这种部署中的异构硬件考虑有限。特别地,它们的路由器广泛地假设同构网络拓扑(除了数据局部性考虑,例如,HDFS/Spark)。专门用于这种混合部署场景的流处理框架,特别是物联网应用程序,允许开发人员手动将管道中的特定运营商分配给云边缘的节点。在本文中,我们研究了在混合云/边缘部署环境中对CPU成本和消息大小敏感的调度流处理,目的是最大化有限边缘资源的吞吐量。我们演示了电子显微镜图像流的实时边缘处理,并根据我们的方法与资源不可知的基线调度程序,在基准测试下,测量端到端延迟的一致减少。
2019-12-19 cs.DC
Benchmarking the Processing of Aircraft Tracks with Triples Mode and Self-Scheduling
随着无人机系统(UAS)不断融入美国国家空域系统(NAS),有必要量化无人机和有人机之间的空中碰撞风险,以支持法规和标准的制定。开发和验证防撞系统往往依赖于广泛使用蒙特卡洛碰撞风险分析模拟,使用飞机飞行的概率模型。为了训练这些模型,需要高性能的计算资源。我们已经在林肯实验室超级计算中心设计和部署了一个高性能计算工作流程的原型,以处理数十亿次飞机观测。然而,原型具有各种计算和存储瓶颈,限制了快速或更全面的分析和模型。作为回应,我们开发了一种新的工作流程,利用各种作业启动和任务分发技术来提高性能。该工作流程使用两个飞机观测数据集进行基准测试,其中包括一个专注于飞机周围环境的新数据集。优化工作流的并行化方式将执行时间从数周大幅缩短到数天。
2021-08-30 cs.DC
Carbon-Aware Mapping and Scheduling for Deadline-Constrained Workflows
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);ENS Lyon(里昂高等师范学院)
针对异构数据中心中具有截止时间约束的工作流,提出结合动态规划与启发式策略的碳感知映射与调度算法CWM,在满足截止时间的前提下显著降低碳排放。
2026-05-26 cs.DC
MCDS: AI Augmented Workflow Scheduling in Mobile Edge Cloud Computing Systems
Imperial College London(帝国理工学院);Loughborough University(拉夫堡大学)
工作流调度是并行和分布式计算(PDC)中一个长期研究的问题,其目的是有效地利用计算资源以满足用户的服务需求。最近提出的调度方法利用边缘计算平台的低响应时间来优化应用服务质量(QoS)。然而,由于计算异构性,移动设备的变化和工作负载资源需求的不稳定性,在移动边缘云系统中调度工作流应用程序是具有挑战性的。为了克服这些困难,这是必不可少的,但同时具有挑战性的,制定一个长远的优化方案,有效地模拟QoS目标。在这项工作中,我们提出MCDS:蒙特卡洛学习使用深度代理模型,以有效地调度工作流应用程序在移动边缘云计算系统。MCDS是一种基于人工智能(AI)的调度方法,其使用基于树的搜索策略和基于深度神经网络的代理模型来估计即时动作的长期QoS影响,以实现调度决策的鲁棒优化。在物理和模拟边缘云测试平台上的实验表明,MCDS可以在能耗、响应时间、SLA违规和成本方面分别提高至少6.13%、4.56%、45.09%和30.71%。
2021-12-14 cs.AI cs.DC cs.PF
SchEdge: A Dynamic, Multi-agent, and Scalable Scheduling Simulator for IoT Edge
本文提出了SchEdge,一个用于模拟物联网边缘任务调度的动态、自适应且可扩展的框架,通过多智能体并行实现多种调度方案,并经实验验证了其效率、可扩展性和鲁棒性。
2025-04-06 cs.DC
GrapheonRL: A Graph Neural Network and Reinforcement Learning Framework for Constraint and Data-Aware Workflow Mapping and Scheduling in Heterogeneous HPC Systems
本文提出GrapheonRL框架,整合图神经网络与强化学习,用于异构HPC系统中的约束与数据感知工作流映射及调度,在保证接近ILP最优解质量的同时大幅缩短执行时间,实现稳健可扩展的调度。
2025-05-30 cs.DC cs.ET
Exact, Efficient, and Reliable Multi-Objective and Multi-Constrained IoT Workflow Scheduling in Edge-Hub-Cloud Cyber-Physical Systems
University of Cyprus(塞浦路斯大学);KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心)
本文提出了一种基于连续时间混合整数线性规划的精确多目标多约束工作流调度方法,用于边缘-集线器-云协同物理系统,以优化延迟、能耗和可靠性,同时满足严格的时间和资源约束。
2026-04-27 cs.DC
Lotaru: Locally Estimating Runtimes of Scientific Workflow Tasks in Heterogeneous Clusters
许多科学的工作流调度算法需要事先知道任务的运行时间来进行有效的调度。在异构集群基础设施中,这个问题变得更加严重,因为每个任务节点对都需要这些运行时。使用历史数据通常是不可行的,因为日志通常不会无限期地保留,并且工作负载以及基础设施会发生变化。相比之下,在线方法在工作流运行时预测特定节点上的任务运行时间,必须应对示例运行的缺乏,特别是在启动期间。在本文中,我们提出了Lotaru,一种新的在线方法,用于在异构集群上的科学工作流中本地估计任务运行时间。Lotaru首先使用一组短期运行的统一微基准测试来分析集群中的所有节点。接下来,它在用户的本地机器上运行要调度的工作流,并使用大量减少的数据来确定重要的任务特征。基于这些测量,Lotaru学习贝叶斯线性回归模型来预测给定输入大小的任务的运行时间,并最终根据微基准测试结果专门针对集群中的每个任务节点对调整预测的运行时间。由于其贝叶斯方法,Lotaru还可以计算鲁棒的不确定性估计,并将其作为高级调度方法的输入。我们对五个真实科学工作流程和不同数据集的评估表明,Lotaru在同质和异质集群的预测误差方面明显优于基线。
2022-05-23 cs.DC
StreamFlow: cross-breeding cloud with HPC
本文提出 StreamFlow 工作流执行方法,以声明式环境描述扩展工作流图,支持 Kubernetes、批处理集群等多云/HPC 站点及无共享数据空间的跨环境执行,并通过单细胞转录组分析生物信息学流水线加以验证。
2020-08-30 cs.DC
Learning based Scalable Multi-Objective Scheduling of Workflows across UD-IaaS-FaaS Systems
IIT Guwahati(印度理工学院古瓦哈提分校);University of Western Australia India(西澳大学印度校区)
针对UD-IaaS-FaaS混合系统的工作流多目标调度难题,提出结合图神经网络等的学习框架,在降低完成时间、能耗和成本上优于遗传算法等方法,且接近MILP最优解。
2026-10-14 cs.DC cs.PF
BeeFlow: Behavior Tree-based Serverless Workflow Modeling and Scheduling for Resource-Constrained Edge Clusters
Sun Yat-sen University(中山大学)
针对边缘集群中无服务器工作流调度表达力不足和资源争用问题,提出基于行为树的建模与调度系统BeeFlow,在边缘和云测试平台分别实现3.2倍和2.5倍加速。
2023-08-31 cs.DC cs.NI cs.RO
Transitioning from file-based HPC workflows to streaming data pipelines with openPMD and ADIOS2
本文旨在为HPC环境中的科学应用程序创建从基于文件的IO到基于流的工作流的过渡路径。通过使用openPMP-api,可以克服受文件系统瓶颈限制的传统工作流程,并灵活地扩展到原位分析。openPMD-api是一个根据粒子网格数据开放标准(openPMD)描述科学数据的库。它的方法对最近的挑战所带来的硬件异构性在于解耦的数据描述领域的科学,如等离子体物理模拟,从硬件和IO的具体实现。流后端由橡树岭国家实验室开发的ADIOS 2框架提供。本文调查了两个基于openPMD的松耦合设置,以展示灵活的适用性和评估性能。在松耦合中,与紧耦合相反,两个(或更多)应用程序单独执行,例如在单独的MPI上下文中,但通过交换数据进行合作。通过这种方式,基于流的工作流允许使用独立代码而不是紧密耦合的插件,使用统一的流感知API并利用现代计算集群中可用的高速通信基础设施进行大规模数据交换。我们确定了新的挑战,在资源分配,并在需要一个灵活的数据分布的战略,展示他们的效率和缩放的首脑会议计算系统的影响。所展示的设置显示了更灵活地使用流式IO带来的计算资源的潜力,以及通过避免文件系统瓶颈来提高吞吐量的能力。
2022-01-19 cs.DC