Cortex: Workflow-Aware Resource Pooling and Scheduling for Agentic Serving
Columbia University（哥伦比亚大学）；Google（谷歌）
Cortex通过阶段隔离和专用资源池，减轻智能体工作流中的阶段间干扰，提升KV缓存利用率、吞吐量和性能可预测性，为智能体原生服务范式奠定基础。
2025-10-15 cs.DC
The Common Workflow Scheduler Interface: Status Quo and Future Plans
本文针对科学工作流管理系统与资源管理器间接口不一致及缺乏工作流依赖支持的问题，提出了通用工作流调度器接口（CWSI），使资源管理器具备工作流感知能力，原型显示可将完成时间减少25%，并探讨了现有研究的集成。
2023-11-27 cs.DC
Design Methodology and Performance Trade-offs Management for Distributed and Compound AI Systems
提出从模型中心转向系统中心的设计方法论，通过工作流拓扑和配置选择两个维度组织设计空间，识别八种设计模式以克服单体部署局限，实验表明复合AI配置在接近精度同时显著降低延迟和成本。
2026-06-15 cs.AI cs.DC
Tarema: Adaptive Resource Allocation for Scalable Scientific Workflows in Heterogeneous Clusters
像Nextflow这样的科学工作流管理系统通过抽象科学工作流的细节来支持大规模数据分析。在这些系统中，工作流由多个抽象任务组成，这些任务的实例并行运行，并将输入分区转换为输出分区。像Kubernetes这样的资源管理器在集群基础设施上执行这样的工作流任务。然而，这些资源管理器在将任务分配给资源时只考虑CPU的数量和可用内存的数量;它们不会考虑这些数量之外的硬件差异，而计算速度和内存访问速率可能会有很大差异。我们提出Tarema，一个系统，用于在执行可扩展的科学工作流的过程中分配任务实例到异构集群资源。首先，Tarema使用一组基准测试程序分析可用的基础设施，并将具有类似性能的集群节点分组。其次，Tarema使用任务的在线监控数据，根据任务的资源使用情况为任务分配标签。第三，Tarema使用节点组和任务标签，根据资源需求动态地将任务实例均匀分配给资源。我们对Kubernetes的原型实现进行了评估，使用了来自流行的nf核心框架的五个真实世界的Nextflow工作流和两个由不同虚拟机组成的15节点集群，与广泛使用的资源管理器中的流行集群相比，隔离作业运行时间平均减少了19.8%，与启发式SJFN相比减少了4.54%，同时提供了更好的集群使用率。此外，在有限资源上并行执行两个长时间运行的工作流表明，Tarema能够在提供公平的集群使用率的同时进一步减少运行时间。
2022-01-19 cs.DC
Resource-sharing Policy in Multi-tenant Scientific Workflow-as-a-Service Cloud Platform
社区中越来越多地采用科学工作流，这促使开发多租户平台，将这些工作流执行作为服务提供。因此，工作流即服务（WaaS）的概念已被研究人员创建，以解决未来的工作流管理系统（WMS）的设计，可以从一个单一的服务点服务于大量的用户。这些平台与传统的WMS不同之处在于，它们在运行时处理工作流的工作负载。传统的WMS通常被设计为在专用流程中执行单个工作流，而WaaS云平台通过在多租户环境模型中利用多个工作流执行来增强该流程。在本文中，我们探讨了一种新的资源共享策略，以提高系统利用率，并满足各种服务质量（QoS）的要求，从多个用户在WaaS云平台。提出了一种弹性预算约束的多工作流资源配置与调度算法，该算法通过鼓励资源共享来减少计算开销，从而在满足用户定义的预算的同时最小化工作流的最大完工时间。我们的实验表明，EBPSM算法可以利用资源共享的政策，以实现更高的性能，在最小化的最大完工时间相比，国家的最先进的约束调度算法。
2020-06-23 cs.DC
KCES: A Workflow Containerization Scheduling Scheme Under Cloud-Edge Collaboration Framework
针对云边协同场景下工作流容器化调度的资源协调与应用协同难题，提出KubeEdge云边调度方案KCES，通过设计调度引擎、资源混合管理算法及水平漫游与垂直卸载策略，有效提升资源利用率并优化调度性能。
2024-01-02 cs.DC
Predicting the Performance of Scientific Workflow Tasks for Cluster Resource Management: An Overview of the State of the Art
本文综述了科学工作流任务运行时间与内存预测的最新方法，比较了其关键特征，并探讨了性能预测在集群调度、节能计算及成本预测中的应用。
2025-04-29 cs.DC
How Workflow Engines Should Talk to Resource Managers: A Proposal for a Common Workflow Scheduling Interface
针对 SWMS 与资源管理器职责重叠、接口不统一导致的可移植性差和次优调度问题，论文提出通用 REST 调度接口，并通过 Nextflow/Kubernetes 实现验证其可显著降低工作流完工时间。
2023-07-13 cs.DC
Machine Learning-Driven Predictive Resource Management in Complex Science Workflows
Brookhaven National Laboratory（布鲁克海文国家实验室）；Oak Ridge National Laboratory（橡树岭国家实验室）；University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Massachusetts（马萨诸塞大学）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）
本文提出利用机器学习模型优化复杂科学工作流的资源管理，通过预测资源需求提升处理效率和资源利用率。
2025-12-19 cs.AI cs.DC cs.LG
Modular Resource Centric Learning for Workflow Performance Prediction
工作流为分布式计算环境中的大规模应用程序的细粒度控制提供了一种表达性编程模型。在大规模机器上精确估计复杂的工作流执行指标有几个关键优势。当预测的执行度量的准确性降低时，依赖于执行度量的估计的调度算法的性能降低。这篇正在进行的论文提出了一种正在开发的技术，以提高分布式平台上的大规模工作流的预测性能指标的准确性。这项工作的中心思想是训练以资源为中心的机器学习代理，以捕获一组程序指令和它们在特定资源上执行时的性能指标之间的复杂关系。这种以资源为中心的工作流视图利用了这样一个事实，即预测工作流子模块的执行时间需要对一些动态和静态特征进行监视和建模。我们将输入工作流，本质上是一个有向的非循环图的行动到一个物理资源执行计划（PREP）。这种转换使我们能够将任意复杂的工作流建模为在物理节点上运行的一组更简单的程序。我们委托一个机器学习模型来捕获每种资源类型在不同程度的资源竞争下执行不同程序指令时的性能指标。我们的算法从每个资源代理的预测指标，并利用相应的物理资源执行计划的结构组成的整体工作流性能指标。
2018-04-17 cs.DC cs.LG
Resource Provisioning and Scheduling Algorithm for Meeting Cost and Deadline-Constraints of Scientific Workflows in IaaS Clouds
云计算的基础设施即服务模型是执行成本和期限约束的工作流应用的理想平台，因为云计算的弹性允许大规模复杂的科学工作流应用根据其期限要求动态地扩展。然而，在分布式计算环境中，这些多任务工作流作业的调度是一个计算困难的多目标组合优化问题。关键的挑战是调度工作流任务，同时满足用户的服务质量服务质量（QoS）的要求和应用程序的最后期限。现有的研究工作不仅未能解决这一挑战，而且没有纳入云环境中计算资源的弹性和异构性的基本原则。在本文中，我们提出了一个资源供应和调度算法调度IaaS云上的工作流应用程序，以满足应用程序的最后期限约束，同时优化执行成本。该算法是基于自然启发的人口智能水滴（IWD）优化算法。在CloudSim仿真环境下对4个实际工作流应用的实验结果表明，IWD算法能够在指定的截止期限内以最优的代价调度工作流任务。此外，IWD算法收敛速度快，接近最优解。
2018-06-06 cs.DC
Leveraging Reinforcement Learning for Task Resource Allocation in Scientific Workflows
针对科学工作流依赖用户资源估算导致浪费或配置不足的问题，提出基于梯度赌博机和 Q-learning 的强化学习资源分配方法，并在 Nextflow 中验证可显著降低资源浪费与 CPU 小时数。
2023-07-18 cs.DC
QoS-Aware Resource Management for Multi-phase Serverless Workflows with Aquatope
多阶段无服务器应用程序，即，具有许多计算和I/O阶段的工作流正日益成为FaaS平台的代表。尽管这些应用程序在细粒度可扩展性和模块化开发方面具有优势，但与以前的简单无服务器功能相比，这些应用程序在很大程度上会受到次优性能，资源效率低下和高成本的影响。我们提出了Aquatope，一个QoS和不确定性感知的资源调度器，用于端到端的无服务器工作流，考虑到FaaS平台中存在的固有不确定性，并提高了性能的可预测性和资源效率。Aquatope使用一组可扩展且经过验证的贝叶斯模型来在函数调用之前创建预热容器，并以函数粒度分配适当的资源，以满足复杂工作流的端到端QoS，同时最大限度地降低资源成本。在各种分析和交互式多阶段无服务器工作负载中，Aquatope的性能明显优于以前的系统，将QoS违规减少了5倍，平均成本降低了34%，与其他QoS会议方法相比，成本高达52%。
2022-12-28 cs.DC cs.NI
Cloud Infrastructure Provenance Collection and Management to Reproduce Scientific Workflow Execution
云计算的出现为科学工作流的执行提供了新的计算范式。它提供了动态的、按需的和可扩展的资源，可以处理复杂的基于工作流的实验。随着实验数据规模的不断增长和处理工作流程的日益复杂，对再现性的需求也变得至关重要。起源被认为是一种验证工作流程并提供工作流程再现性的机制。再现实验执行的障碍之一是缺乏关于收集的出处中的执行基础设施的信息。在按需调配资源并指定资源配置的云环境中，此信息变得至关重要。因此，需要一种能够捕获基础设施信息以及在云上执行的工作流的来源的机制，以促进在云上重新创建执行环境。本文提出了一个框架，ReCAP，以及建议的映射方法，帮助捕获云感知的起源信息，并帮助重新配置云上的执行资源与类似的配置。实验评估表明，不同的资源配置对工作流执行性能的影响，因此证明需要收集这样的出处信息的上下文中云。评估还表明，所提出的映射方法可以在各种云使用场景中捕获云信息，而不会导致性能开销，并且还可以在云上重新配置资源。使用来自不同科学领域（如天文学和神经科学）的工作流程进行实验，以证明本研究对不同工作流程的适用性。
2018-03-19 cs.DC
It Takes Two to Tango: Serverless Workflow Serving via Bilaterally Engaged Resource Adaptation
针对无服务器平台因早期绑定函数规模导致的资源低效问题，提出Janus框架，通过晚期绑定动态适配函数规模，弥合开发者与提供者的信息壁垒，实现资源效率提升达34.7%。
2025-02-20 cs.DC
Adapting LIGO workflows to run in the Open Science Grid
在第一次观测运行期间，LIGO合作需要将一些最密集的CPU工作流从其专用计算站点卸载到机会资源。开放科学网格使LIGO能够在自有资源和机会主义资源的组合中无缝运行PyCbC、RIFT和Bayeswave工作流程。挑战之一是使工作流能够以协调和有效的方式使用多个异构资源。
2020-11-30 cs.DC physics.comp-ph
Sizey: Memory-Efficient Execution of Scientific Workflow Tasks
本文提出在线内存预测方法Sizey，通过同时训练多个机器学习模型并动态选择最佳模型来优化科学工作流任务的内存分配，在六个nf-core真实工作流上相比最佳基线中位数减少内存浪费24.68%。
2025-02-10 cs.DC
A Kubernetes 'Bridge' operator between cloud and external resources
许多科学工作流需要专用的计算资源，包括具有优化软件的HPC集群、量子资源和专用硬件集群系统（例如Ray）。与此同时，今天的许多科学工作流都建立在Kubernetes上，利用对工作流和支持工具的日益增长的支持。为了满足在云和专用计算资源上支持工作流的日益增长的需求，我们提出了Bridge Operator，这是Kubernetes中容器编排的软件扩展，可以方便地提交和监控具有自己的集群资源管理器（SLURM，LSF，量子服务和Ray）的外部系统上的长时间运行进程。Bridge Operator由一个自定义Kubernetes控制器组成，它使用Kubernetes自定义资源定义来管理应用程序。我们提出了用于管理云容器编排和外部资源工作负载管理器接口的控制器逻辑、用于向外部资源提交HTTP/HTTPS请求的资源定义以及与外部资源管理器通信以提交和管理作业执行的控制器pod。该实现允许我们在Kubernetes pod中镜像外部资源，这允许操作员使用这些pod作为代理来控制外部系统。该实现与资源管理器的选择无关，但假设系统公开了HTTP/HTTPS API以进行控制/管理。Bridge Operator自动化了操作员在黑盒外部资源上运行作业的角色，作为云上复杂混合工作流的一部分。
2022-07-06 cs.DC
Asynchronous Execution of Heterogeneous Tasks in ML-driven HPC Workflows
Brookhaven National Laboratory（布鲁克海文国家实验室）；Rutgers, the State University of New Jersey（罗格斯大学，新泽西州立大学）
本文研究了ML驱动HPC工作流的异步任务执行需求，建模了异步程度并提出关键指标，在Summit上大规模实验验证了异步执行带来的性能提升与模型一致。
2023-06-27 cs.AI cs.DC cs.LG
Scalable Runtime Architecture for Data-driven, Hybrid HPC and ML Workflow Applications
Rutgers, the State University of New Jersey（罗格斯大学（新泽西州立大学））；Brookhaven National Laboratory（布鲁克海文国家实验室）；Princeton Plasma Physics Laboratory（普林斯顿等离子体物理实验室）；Princeton University（普林斯顿大学）
本文扩展 RADICAL-Pilot，提出支持基于服务执行的可扩展运行时架构，以实现跨本地与远程 HPC/云资源的 HPC/ML 无缝耦合和低开销并发 ML 执行。
2025-03-17 cs.AI cs.DC
Evaluating Distributed Execution of Workloads
分布式执行的资源选择和任务放置带来了概念和实现上的困难。虽然资源选择和任务放置是许多工具和工作流系统的核心，但这些方法是临时的，而不是基于模型的。因此，部分和非互操作的实现激增。我们解决的概念和实施的困难，通过实验表征不同模式的资源选择和任务安排。我们比较了两个系统的架构和功能：AIMES中间件和Swift工作流脚本语言和运行时。我们将这些系统集成在一起，以便在AIMES中间件管理的Pilot-Jobs上分布式执行Swift工作流。我们的实验的特点和比较替代执行策略，通过测量的时间来完成异构的非耦合工作负载在不同的规模和多个资源上执行。我们测量的不利影响，试点碎片和早期绑定的任务资源和回填调度的好处，在多个资源上的试点。然后，我们利用这一洞察力在五个生产级资源上执行多阶段工作流程。我们讨论了其他工具和工作流系统的重要性和影响。
2021-11-02 cs.DC
A Systematic Evaluation of the Potential of Carbon-Aware Execution for Scientific Workflows
University of Glasgow（格拉斯哥大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
本研究系统评估了碳感知执行在科学工作流中的潜力，通过量化碳排放问题并展示时间偏移和资源扩展对减排的显著影响，提出更可持续的执行模型。
2026-03-06 cs.DC
KS+: Predicting Workflow Task Memory Usage Over Time
KS+通过动态分割任务执行并预测各分段内存需求，解决工作流任务内存消耗随输入和时间波动导致的静态配置浪费问题，在真实工作流上相比最优基线平均减少38%内存浪费。
2024-10-01 cs.DC
WIDESim: A toolkit for simulating resource management techniques of scientific Workflows In Distributed Environments with graph topology
针对现有模拟器无法同时支持工作流应用与D2D通信的问题，本文提出WIDESim工具包，可在图拓扑分布式环境中模拟三类科学工作流的动态资源管理，性能接近标准模拟器且具备拓扑无约束等优势。
2023-12-13 cs.DC cs.NI
BeeFlow: Behavior Tree-based Serverless Workflow Modeling and Scheduling for Resource-Constrained Edge Clusters
Sun Yat-sen University（中山大学）
针对边缘集群中无服务器工作流调度表达力不足和资源争用问题，提出基于行为树的建模与调度系统BeeFlow，在边缘和云测试平台分别实现3.2倍和2.5倍加速。
2023-08-31 cs.DC cs.NI cs.RO
A GPU-accelerated Molecular Docking Workflow with Kubernetes and Apache Airflow
本研究将专为HPC设计的GPU加速分子对接工作流迁移至基于Kubernetes和Apache Airflow的云原生环境，提供了基于DAG的实现与GPU部署细节，并利用SWEETLEAD数据集验证了其在异构云资源上有效重叠不同执行阶段的能力。
2024-10-14 cs.DC
Complex Workflow Management and Integration of Distributed Computing Resources by Science Gateway Portal for Molecular Dynamics Simulations in Materials Science
介绍了用于复杂工作流管理和分布式计算资源（如集群、服务网格、桌面网格、云）集成的“IMP Science Gateway Portal”（http：scigate.imp.kiev.ua）。它是在WS-PGRADE和gUSE技术的基础上创建的，其中WS-PGRADE是为科学工作流操作而设计的，而gUSE是为各种异构分布式计算基础设施（DCI）中的并行和分布式计算的可用资源的平滑集成而设计的。典型的科学工作流程与可能的情况下，其准备和使用。几个典型的科学应用（科学工作流程）被认为是分子动力学（MD）模拟各种纳米结构的复杂行为（石墨烯层的纳米压痕，金属纳米晶体中的缺陷系统弛豫，氮化硼纳米管的热稳定性等）。该解决方案的优点和缺点进行了简短的分析，其实际应用的背景下，MD模拟在材料科学，物理学和纳米技术与可用的异构DCI。
2014-04-22 cond-mat.mtrl-sci cs.CE cs.DC
Reshi: Recommending Resources for Scientific Workflow Tasks on Heterogeneous Infrastructures
科学工作流通常包括许多不同的处理步骤，这些处理步骤通常在输入数据的不同分区上并行执行。反过来，这些执行必须在手头的计算基础设施的计算节点上进行调度。这种分配由于以下事实而变得复杂：（a）任务通常具有高度异构的资源需求，以及（b）在许多基础设施中，计算节点提供高度异构的资源。因此，如许多调度算法所要求的，对给定节点上的给定任务的运行时间的预测通常是相当不精确的，这可能导致次优调度决策。我们提出了Reshi，一种在工作流执行过程中推荐任务节点分配的方法，可以处理异构任务和异构节点。Reshi将问题作为回归任务来处理，其中任务节点对被建模为专用微基准测试和过去任务执行结果的特征向量。基于这些功能，Reshi训练了一个回归树模型，为每个准备运行的任务排名和推荐节点，这些节点可以用作调度器的输入。在我们的评估中，我们使用三个代表性的工作流程对27种AWS机器类型进行了基准测试。我们将Reshi的建议与三种最先进的解决方案进行比较。我们的评估表明，Reshi优于HEFT的平均完工时间减少7.18%和18.01%，假设平均任务运行时预测误差为15%。
2022-10-17 cs.DC
ARRC: Explainable, Workflow-Integrated Recommender for Sustainable Resource Optimization Across the Edge-Cloud Continuum
本文提出ARRC推荐系统，通过将可解释的跨层资源优化建议直接集成到运维工作流中，在不增加技术债务的前提下，实现边缘-云连续体中可持续的资源优化，工业部署验证其可降低运维工作量50%以上并提升计算利用率最高7.7倍。
2025-07-16 cs.DC
Hybrid Reusable Computational Analytics Workflow Management with Cloudmesh
在本文中，我们总结了我们的努力，创建和利用一个简单的框架来协调计算分析任务的工作流系统的帮助下。我们的设计是基于一个极简的方法，而在同一时间允许访问通过业主的计算机，HPC计算中心，云资源和分布式系统提供的计算资源一般。对这个框架的访问包括一个用于监视和管理工作流的简单GUI、一个REST服务、一个命令行界面以及一个Python界面。由此产生的框架是针对混合计算资源上的AI应用程序基准的几个示例开发的，并作为一种教育工具，用于教授科学家和学生复杂的概念，以在从单个计算机到数千台计算机的资源上执行计算，作为内部部署和云基础设施的一部分。我们证明了一些例子的工具的实用性。该代码在GitHub中作为开源项目提供，并基于一个易于增强的工具cloudmesh。
2022-10-30 cs.DC
SAGA: Workflow-Atomic Scheduling for AI Agent Inference on GPU Clusters
The University of Hong Kong（香港大学）；Brain Investing Limited（脑投有限公司）；Stellaris AI Limited（Stellaris AI有限公司）
SAGA通过工作流级调度减少任务完成时间1.64倍，提升GPU内存利用率1.22倍，同时在多租户环境下达成99.2%的服务水平目标，但牺牲了30%的峰值吞吐量。
2026-06-23 cs.AI cs.DC cs.LG
Lotaru: Locally Predicting Workflow Task Runtimes for Resource Management on Heterogeneous Infrastructures
本文提出 Lotaru，一种面向异构集群的本地化工作流任务运行时预测方法，通过微基准测试与缩减输入数据结合贝叶斯线性回归，在无历史数据下实现高精度预测，误差降低超12.5%，并有效支持调度与碳减排优化。
2023-09-13 cs.DC
An Efficient Fault Tolerant Workflow Scheduling Approach using Replication Heuristics and Checkpointing in the Cloud
科学工作流主要用于复杂和大规模的数据分析和科学计算/自动化，并且对鲁棒的工作流调度技术的需求大幅增长。但是，现有的工作流调度算法大多没有提供所需的可靠性和鲁棒性。本文提出了一种新的容错工作流调度算法，该算法以无监督的方式学习复制策略。此外，使用轻量级同步检查点可以有效地重新提交失败的任务，并确保即使在不稳定的环境中也能完成工作流。与复制所有算法相比，所提出的技术改进了资源浪费和资源使用等指标，同时与香草异构最早完成时间（HEFT）相比，Makespan保持了可接受的增加。
2019-10-31 cs.DC
A Workflow for Fast Evaluation of Mapping Heuristics Targeting Cloud Infrastructures
如今，资源分配是云基础设施管理的一个组成部分，以有效地利用资源。云基础设施中心通常使用定制的架构来定义资源分配。这些中心的管理工具迫切需要有一个快速但相当准确的模拟和评估平台来定义云应用程序的资源分配。这项工作提出了一个框架，允许用户轻松地指定在DreamCloud欧洲项目的上下文中使用的AMALTHEA格式描述的云应用程序的映射，并评估这些映射的质量。该框架提供的两个质量指标是执行时间和能耗。
2016-01-27 cs.DC
Integrating LHCb workflows on HPC resources: status and strategies
高性能计算（HPC）超级计算机预计将在未来几年的HEP计算中发挥越来越重要的作用。虽然HPC资源不一定是HEP工作流程的最佳选择，但HPC中心的计算时间在机会主义的基础上已经可用于LHC实验一段时间了，并且将来也可能将部分承诺的计算资源作为HPC中心的CPU时间分配提供。因此，集成实验工作流程以最有效地利用HPC资源至关重要。本文介绍了在一个特定的HPC网站，Marconi-A2系统在意大利CINECA，LHCb受益于联合PRACE（合作伙伴关系在欧洲先进计算）分配与其他大型强子对撞机（LHC）实验集成LHCb工作流程所必需的工作。这需要解决两种类型的挑战：软件应用程序工作负载，优化其在众核硬件架构上的性能，该架构与WLCG中传统使用的架构有很大不同（全球大型强子对撞机计算网格），通过使用多进程方法减少内存占用;以及在分布式计算领域，用于提交这些工作负载，每个作业使用多个逻辑处理器，这在LHCb中从未实现过。
2020-06-24 cs.DC hep-ex physics.ins-det
Low-level I/O Monitoring for Scientific Workflows
本文研究科学工作流在分布式环境中的低层 I/O 监控问题，提出通过关联低层追踪元数据与 Kubernetes 任务日志信息，在逻辑任务层面分类 I/O 行为，从而识别最值得优化的低效任务。
2024-08-01 cs.DC
Serving Compound Inference Systems on Datacenter GPUs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
JigsawServe通过自适应模型选择和GPU空间划分，高效优化复合推理系统的延迟、准确率和成本
2026-03-09 cs.DC
Electricity Cost Minimization for Multi-Workflow Allocation in Geo-Distributed Data Centers
School of Computer Science and Engineering, Southeast University（计算机科学与工程学院，东南大学）；School of Computing, Macquarie University（计算学院，麦考瑞大学）
针对地理分布式数据中心中异构资源与动态电价下多工作流调度的电费成本最小化问题，提出基于图嵌入与策略网络求解MDP的电费成本感知多工作流调度算法（ECMWS），在满足截止时间约束下较现有方法提升超15%。
2025-04-27 cs.AI cs.DC
Performance-Feedback Autoscaling with Budget Constraints for Cloud-based Workloads of Workflows
工作流在云领域的日益普及促进了复杂的自动缩放策略的发展，这些策略允许自动分配和释放资源。然而，许多最先进的工作流自动缩放策略大多是基于计划的，或者是为批量（集成）工作流而设计的。这降低了他们在处理工作流的工作负载时的灵活性，因为工作负载通常会受到不可预测的资源需求波动的影响。此外，云计算中的自动缩放几乎总是施加了应该满足的预算限制。用于工作流的可感知自动缩放器通常需要预先提供任务运行时估计，由于其动态特性，在处理工作负载时并不总是可能的。为了解决这些问题，我们提出了一种新的性能反馈自动定标器（PFA），它是可感知的，不需要任务运行时估计其操作。相反，它使用性能反馈循环来监视每种资源类型的平均吞吐量。我们在流行的Apache Airflow工作流管理系统中实现了PFA，并将我们的自动缩放器与其他两种最先进的自动缩放器的性能进行了比较，并与混合编程方法获得的最优解进行了比较。我们的研究结果表明，PFA优于其他考虑在线自动缩放，因为它有效地最大限度地减少了平均作业延迟高达47%，同时仍然满足预算约束。此外，PFA的平均运行时间比竞争对手低76%。
2019-07-23 cs.DC
AARC: Automated Affinity-aware Resource Configuration for Serverless Workflows
AARC提出自动化解耦CPU与内存的资源配置框架，通过图中心调度器与优先级配置器优化无服务器工作流，显著降低搜索时间与成本，并保持SLO合规。
2025-02-28 cs.DC cs.PF cs.SY
ASA -- The Adaptive Scheduling Algorithm
针对 HPC 中预分配浪费资源与动态分配可能延长工作流完成时间的矛盾，本文提出具有收敛保证的 ASA，通过预测队列等待并提前请求资源变更，在两台超级计算机上显著降低等待与完成时间。
2024-01-18 cs.DC
Simulation Factory: Taming Application Configuration and Workflow on High-End Resources
大型高性能计算资源上的计算科学受到这些系统的复杂性的阻碍。这种复杂性的大部分是由于这些资源的低级别细节暴露给应用程序和最终用户。这包括（但不限于）远程访问机制，从源代码配置和构建应用程序，以及通过批处理队列系统管理模拟及其输出文件。这些挑战在现代研究环境中成倍增加，其中研究合作跨越多个团体，通常是在松散定义的国际合作中，其中不断有新学生涌入多年项目，并且在几个不同的资源上进行模拟。Simulation Factory通过显著简化远程访问、构建可执行文件和管理模拟来解决这些挑战。通过抽象出不同资源之间的底层差异，它为这些资源提供了一个统一的接口。与此同时，它可以强制执行某些标准来执行模拟，这些模拟封装了经验丰富的用户的最佳实践。此外，SimFactory的自动化避免了许多可能的用户错误，这些错误在最坏的情况下会使长达一个月的模拟变得毫无价值。
2010-08-26 cs.DC physics.comp-ph
A Survey and Annotated Bibliography of Workflow Scheduling in Computing Infrastructures: Community, Keyword, and Article Reviews -- Extended Technical Report
工作流在当今的计算基础设施中很普遍。工作流模型支持各种不同的领域，从机器学习到金融，从天文学到化学。不同的服务质量（QoS）的要求和用户和供应商的其他愿望，使工作流调度一个棘手的问题，特别是因为资源供应商需要尽可能有效地与他们的资源竞争。对于一个新手甚至是一个有经验的研究人员来说，筛选大量的文章可能是一项艰巨的任务。关于差异技术、政策、新兴领域和机会的问题出现了。调查是解决这些问题的一种很好的方式，但调查很少公布其所依据的工具和数据。此外，这些文章背后的社区很少被研究。我们试图在这项工作中解决这些缺点。我们集中在工作流调度中的四个方面：1）工作流形式主义，2）工作流分配，3）资源供应，以及4）应用程序和服务。每个部分都包含一个或多个分类法、社区视图、重要和新兴关键字以及未来工作的方向。我们引入并开源了一种我们用来组合和存储文章元数据的工具。使用这些元数据，我们1）获得重要的关键字整体和每年，每个社区，2）确定关键字的重要性增长，3）深入了解每个社区内的结构和关系，以及4）执行系统的文献调查每个部分，以验证和补充我们的分类。
2020-04-21 cs.DC
HyProv: Hybrid Provenance Management for Scientific Workflows
Humboldt-Universität zu Berlin（柏林洪堡大学）；University of Glasgow（格拉斯哥大学）
HyProv提出一种结合集中式与联邦式范式的混合溯源管理系统，面向科学工作流实现可扩展、在线且具备工作流感知的溯源查询，实验证明其能以亚秒级延迟处理大规模工作流并仅带来适度资源开销。
2025-11-10 cs.DC
Scaling on Frontier: Uncertainty Quantification Workflow Applications using ExaWorks to Enable Full System Utilization
本文利用 ExaWorks 的 RADICAL-EnTK 组件在 Frontier 超算上实现了 ExaAM 不确定性量化工作流，支持多达 8000 节点、异构资源与容错，并达到最高 90% 的资源利用率。
2024-07-01 cs.DC
Predicting Dynamic Memory Requirements for Scientific Workflow Tasks
本文提出一种利用监控时间序列数据预测科学工作流任务内存使用的新颖在线方法，通过划分运行时间为k段并学习峰值内存，在nf-core工作流上实现平均内存浪费减少29.48%。
2024-03-19 cs.DC
Co-scheduling Ensembles of In Situ Workflows
分子动力学（MD）模拟被广泛用于研究大规模分子系统。HPC系统是运行这些研究的理想平台，然而，即使使用现代超级计算机，达到必要的模拟时间尺度来检测罕见过程也是具有挑战性的。为了克服时间尺度的限制，长MD轨迹的模拟被多个短程模拟所取代，这些短程模拟在模拟的集合中同时执行。分析通常与这些模拟共同安排，以有效地处理模拟在运行时生成的大量数据，这要归功于原位技术。执行工作流集成的模拟和他们的原位分析需要有效的协同调度策略和复杂的管理计算资源，使他们不会放慢对方。在本文中，我们提出了一种有效的方法来共同调度模拟和原位分析，使工作流集成的最大完工时间最小化。我们提出了一种新的方法来分配资源的工作流集成的资源约束下使用的理论框架建模的工作流集成的执行。我们评估所提出的方法使用一个准确的模拟器的基础上WRENCH仿真框架上的各种工作流集成配置。结果表明，协同调度模拟和原位分析的意义，耦合数据在一起，受益于数据的本地性，其中效率低下的调度决策可能会导致高达30倍的最大完工时间放缓。
2022-08-19 cs.DC
GrapheonRL: A Graph Neural Network and Reinforcement Learning Framework for Constraint and Data-Aware Workflow Mapping and Scheduling in Heterogeneous HPC Systems
本文提出GrapheonRL框架，整合图神经网络与强化学习，用于异构HPC系统中的约束与数据感知工作流映射及调度，在保证接近ILP最优解质量的同时大幅缩短执行时间，实现稳健可扩展的调度。
2025-05-30 cs.DC cs.ET
OnePiece: A Large-Scale Distributed Inference System with RDMA for Complex AI-Generated Content (AIGC) Workflows
Tencent（腾讯）
OnePiece通过RDMA优化和微服务分解，提升AIGC工作流的吞吐量和资源利用率，减少GPU资源消耗16倍。
2026-01-28 cs.DC
Cost and Reliability Aware Scheduling of Workflows Across Multiple Clouds with Security Constraints
本文提出一种跨多云工作流的成本与可靠性感知调度算法及密码分配算法，在满足安全约束下优化资源分配与数据传输，实验证明其在成本和可靠性上始终优于现有进化方法。
2023-04-01 cs.DC
From Idle to Urgent: A Resource-Harvested HPC Workflow for High-Fidelity Seismic Estimation
The University of Tokyo（东京大学）；RIKEN Center for Computational Science（理化学研究所计算科学中心）；Japan Agency for Marine-Earth Science and Technology（日本海洋地球科学技术机构）
提出一种紧急交互式HPC工作流，结合资源收割与神经网络代理，动态集成高保真3D非线性分析，实现地震期间快速决策，降低能耗76%、吞吐量提升3.7倍，紧急时计算成本降低97.9%以上，30分钟内生成可靠地面运动分布。
2026-09-22 cs.CE cs.DC
Balsam: Automated Scheduling and Execution of Dynamic, Data-Intensive HPC Workflows
我们引入Balsam服务来管理超级计算系统上的高吞吐量任务调度和执行。Balsam允许用户使用从简单的独立任务到动态多任务工作流的各种任务填充任务数据库。通过对本地资源调度器和MPI环境的抽象，Balsam动态地将任务打包成集成作业并管理其调度生命周期。该集成在一个试验“启动器”中执行，该“启动器”（i）确保具有异构处理器要求的任意串行和并行程序的并发、负载平衡执行，（ii）不需要修改用户应用程序，（iii）容忍任务级故障并提供若干错误恢复选项，（iv）存储起源数据（v）支持动态工作流，其中在运行时创建或终止任务。在这里，我们介绍了Balsam服务和启动器的设计和Python实现。使用两个案例研究说明了该系统的有效性：深度神经网络的超参数优化和高通量单点量子化学计算。我们发现，灵活的作业包装和自动化调度与动态（试点管理）执行的独特组合，有利于良好的资源利用率。在超级计算机上管理资源和启动工作流通常所需的脚本开销大大减少，加快了工作流的开发和执行。
2019-09-18 cs.DC
Smart Scheduling of Continuous Data-Intensive Workflows with Machine Learning Triggered Execution
为了从来自许多不同来源的不断增长的数据量中提取价值，并推动决策制定，组织经常求助于数据处理工作流的组合，因为它们具有表达性，灵活性和可扩展性。典型的工作流模型在处理步骤之间强制执行严格的时间同步，而不考虑中间计算对最终工作流输出的实际影响。然而，这在许多场景中不是最理想的行为。我们确定了一类用于连续数据处理的应用程序，其中工作流输出在短到中等的时间窗口中变化缓慢且没有很大意义，从而浪费了当前方法的计算资源和能量。为了克服这种低效率，我们引入了一种新的工作流模型，连续和数据密集型处理，能够放松触发语义根据影响输入数据评估有改变工作流输出。为了评估这种影响，学习输入和输出变化之间的相关性，并在给定的容许误差常数内保证正确性，我们依赖于机器学习。该工作流模型的功能是在SmartFlux中实现的，SmartFlux是一个中间件框架，可以毫不费力地与现有的工作流管理器集成。实验结果表明，我们能够节省大量的资源，同时不偏离工作流输出超过一个小的误差常数与高置信度。
2016-12-12 cs.DC
An Architectural Model for a Grid based Workflow Management Platform in Scientific Applications
随着科学应用对计算和数据需求的日益增长，使用大型集群系统以及分布式资源是不可避免的。虽然在这些环境中执行大型应用程序可以提高性能，但过程的自动化变得越来越具有挑战性。虽然在面向业务的环境中使用复杂的工作流管理系统是这种自动化过程的可行解决方案，但可用于科学应用的开源引擎缺乏某些功能，或者对于非专业人员来说太难使用。在这项工作中，我们提出了一个基于网格的工作流管理平台提供的功能，如一个直观的方式来描述工作流，高效的数据处理机制和灵活的容错支持的架构模型。我们的集成解决方案引入了一个工作流引擎组件的基础上扩展了额外的功能和调度组件提供有效的任务和可用资源之间的映射。
2011-06-29 cs.DC
