Adapting Workflow Management Systems to BFT Blockchains -- The YAWL Example
区块链技术为信息记录提供了一个可审计和防篡改的分布式存储基础设施。这可以用来支持分布式工作流管理。与比特币和以太坊推广的工作量证明共识相比,基于BFT(拜占庭容错)的区块链订购共识交易可扩展性,以实现共识的即时性和最终性。这使得它们更容易用作分发基础设施,因为应用程序不需要进行调整以处理工作量证明区块链的最终一致性和延迟共识。因此,工作流引擎等应用程序可以很容易地移植到这样的区块链基础设施,以利用其分散的完整性保证和信息分发模型。在本文中,我们描述了如何在基于BFT的区块链基础设施上使用YAWL工作流引擎,以实现跨不同组织的协作工作流。
2020-06-10 cs.DC
How Workflow Engines Should Talk to Resource Managers: A Proposal for a Common Workflow Scheduling Interface
针对 SWMS 与资源管理器职责重叠、接口不统一导致的可移植性差和次优调度问题,论文提出通用 REST 调度接口,并通过 Nextflow/Kubernetes 实现验证其可显著降低工作流完工时间。
2023-07-13 cs.DC
CMI: An Online Multi-objective Genetic Autoscaler for Scientific and Engineering Workflows in Cloud Infrastructures with Unreliable Virtual Machines
云计算正在成为执行科学和工程工作流的领先范例。他们模拟的实验的大规模性质及其可变的工作负载使云成为理想的执行环境,因为它可以快速和弹性地访问大量的计算资源。自动缩放器是中间件级别的软件组件,其允许通过在调度工作流的任务时获取或终止虚拟机(VM)来缩放计算平台。在这项工作中,我们提出了一种新的在线多目标自动缩放命名为云多目标智能(CMI)的工作流,其目的是在最小化的完工时间,货币成本和潜在的影响,来自不可靠的虚拟机的错误。此外,这个问题还受到货币预算的限制。CMI负责定期解决工作流执行过程中遇到的自动缩放问题。四个著名的工作流程的模拟实验表明,CMI显着优于一个国家的最先进的autoscaler的类似特征,称为现场监测感知自动缩放(SIAA)。这些结果传达了一个坚实的基础,在其他Meta探试法的自动缩放工作流应用程序使用廉价的,但不可靠的基础设施的深入研究。
2018-11-02 cs.DC cs.NE
Towards a Grid Platform for Scientific Workflows Management
工作流管理系统允许用户在更高的层次上开发复杂的应用程序,通过编排功能组件而无需处理实现细节。虽然在企业环境中开发了各种各样的工作流引擎,但可用于科学应用程序的开源引擎缺乏某些功能,或者对于非专业人员来说太难使用。我们的目的是开发一个分布式系统的工作流管理平台,它将提供像一个直观的方式来描述工作流,高效的数据处理机制和灵活的容错支持的功能。我们在这里介绍一个架构模型的工作流平台,基于ActiveStream工作流引擎,我们建议增加一组额外的组件。
2009-10-04 cs.DC cs.NI
An Architectural Model for a Grid based Workflow Management Platform in Scientific Applications
随着科学应用对计算和数据需求的日益增长,使用大型集群系统以及分布式资源是不可避免的。虽然在这些环境中执行大型应用程序可以提高性能,但过程的自动化变得越来越具有挑战性。虽然在面向业务的环境中使用复杂的工作流管理系统是这种自动化过程的可行解决方案,但可用于科学应用的开源引擎缺乏某些功能,或者对于非专业人员来说太难使用。在这项工作中,我们提出了一个基于网格的工作流管理平台提供的功能,如一个直观的方式来描述工作流,高效的数据处理机制和灵活的容错支持的架构模型。我们的集成解决方案引入了一个工作流引擎组件的基础上扩展了额外的功能和调度组件提供有效的任务和可用资源之间的映射。
2011-06-29 cs.DC
WOW: Workflow-Aware Data Movement and Task Scheduling for Dynamic Scientific Workflows
本文提出WOW调度方法,通过协同引导数据移动与任务调度并创建中间文件推测性副本,有效减少动态科学工作流的网络拥塞与运行时间,在Nextflow和Kubernetes实验中显著降低完成时间且扩展性良好。
2025-03-28 cs.DC
Action Engine: Automatic Workflow Generation in FaaS
University of North Texas (UNT)(北卡罗来纳州立大学)
针对云原生开发者构建FaaS工作流的专业知识、平台依赖等挑战,本文提出核心为工具增强LLM的Action Engine机制,可自动生成并执行FaaS工作流,填补工具增强LLM研究空白,且性能与少样本学习相当、保持平台和语言无关性。
2025-08-20 cs.AI cs.DC cs.LG
Separating Intelligence from Execution: A Workflow Engine for the Model Context Protocol
Infosys
本文提出一种MCP原生编排层,将智能决策与执行分离,通过工作流蓝图减少token消耗,提升执行效率。
2026-03-13 cs.AI cs.DC cs.SE
The workflow motif: a widely-useful performance diagnosis abstraction for distributed applications
Northeastern University(东北大学);Boston University(波士顿大学);Tufts University(塔夫茨大学)
针对分布式应用诊断抽象与开发抽象不匹配的问题,提出新型性能诊断抽象工作流基序并给出形式化定义,明确适配的频繁子图挖掘算法,还通过早期版本识别出HDFS的性能优化点。
2025-05-31 cs.DC
A Case for Microservices Orchestration Using Workflow Engines
微服务已经成为云原生应用程序的事实上的软件架构。微服务中一个有争议的架构决策是使用编排或编排来组合它们。在编排中,每个服务都独立工作,而在编排中,有一个控制器来协调服务交互。这篇文章提出了一个编排的案例。微服务的承诺是每个微服务都可以独立开发,部署,测试,升级和扩展。这使得它们适合在云基础设施上运行的系统。然而,基于微服务的系统由于各种服务的复杂交互、并发事件、故障组件、开发人员缺乏全局视图以及环境配置而变得复杂。这使得维护和调试这样的系统非常具有挑战性。我们假设编排的服务更容易调试,为了测试这一点,我们将最大的公开可用的微服务基准TrainTicket(使用编排实现)移植到一个无故障的状态工作流框架Temporal。我们报告了我们将代码从传统编排的微服务架构移植到Temporal编排的微服务架构的经验,并提出了我们调试基准测试中存在的22个错误的初步发现。我们的研究结果表明,努力过渡到编排的方法是值得的,使移植的代码更容易调试。
2022-04-14 cs.DC cs.SE
Serverless Containers -- rising viable approach to Scientific Workflows
无服务器计算方法的日益普及导致了在容器即服务(CaaS)模型中工作的新云基础设施的出现,如AWS Fargate,Google Cloud Run或Azure Container Cloud。他们引入了一种创新的方法来运行云容器,使开发人员从管理底层资源中解放出来。在本文中,我们专注于评估弹性容器的功能及其在使用AWS Fargate和Google Cloud Run基础设施的科学工作流范例中对科学计算的有用性。为了对我们的方法进行实验评估,我们扩展了HyperFlow引擎以支持这些CaaS平台,并调整了由几十到一百多个任务组成的四个真实科学工作流,这些任务被组织成一个依赖图。我们使用这些工作流来创建成本性能基准和流执行图,测量延迟,弹性和可扩展性。实验证明,无服务器容器可以成功地应用于科学工作流。此外,这些结果使我们能够深入了解这些平台的具体优势和局限性。
2020-10-21 cs.DC
Towards Advancing Research with Workflows: A perspective from the Workflows Community Summit -- Amsterdam, 2025
SURF Cooperation, Innovation Team(SURF合作创新团队);University of Rennes, Inria, CNRS, IRISA(雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、IRISA);San Diego Computing Center, University of California, San Diego(加州大学圣地亚哥分校圣地亚哥计算中心);Department of Information Engineering and Computer Science, University of Trento(特伦托大学信息工程与计算机科学系);Irish Centre for High-End Computing(爱尔兰高性能计算中心);Oak Ridge National Laboratory(橡树岭国家实验室)
2025年工作流社区峰会探讨了工作流在科研中的挑战与机遇,提出通过改进评估指标、标准化、人才培养等措施推动工作流技术发展。
2026-02-04 cs.DC
SLA-aware Interactive Workflow Assistant for HPC Parameter Sweeping Experiments
科学和工程中的常见工作流程是(i)设置和部署具有包括应用程序和多个参数值的任务的大型实验;(ii)生成中间结果;(iii)分析它们;以及(iv)重新确定任务的优先级。重复这些步骤,直到达到所需的目标,这可以是复杂系统的评估/模拟或模型校准。由于时间和成本限制,扫描用户应用程序的所有可能参数值并不总是可行的。实验设计技术可以帮助用户重新组织提交-执行-分析工作流,以更及时地提供解决方案。本文介绍了一种新的工具,利用用户的反馈分析中间结果的参数扫描实验,建议他们的策略,参数选择绑在他们的SLA约束。我们评估了我们的工具与三个不同的领域和搜索空间形状的应用程序。我们的主要发现是,用户的提交-执行-分析工作流可以受益于他们的互动与中间结果,并适应自己根据自己的领域的专业知识和SLA的限制。
2016-11-09 cs.DC
Scalable AI-assisted Workflow Management for Detector Design Optimization Using Distributed Computing
Brookhaven National Laboratory(布鲁克海文国家实验室);The Catholic University of America(美国天主教大学);Duke University(杜克大学);Stony Brook University(石溪大学)
提出一种结合多目标贝叶斯优化与PanDA-iDDS工作流引擎的AI辅助框架,用于协调异构资源上的迭代仿真,实现高维参数空间的高效探索,并在ePIC和dRICH探测器设计中验证了自动化、可扩展性和效率提升。
2026-06-26 cs.AI cs.DC
Realizing Fast, Scalable and Reliable Scientific Computations in Grid Environments
有效和可靠地管理和执行大规模科学计算的实际实现是相当具有挑战性的。科学计算通常涉及对大量数据进行操作的数千甚至数百万个任务,这样的数据通常是分布式结构化的并且以异构物理格式存储,并且科学家必须在异构、分布式并且可能不断变化的计算、存储和网络资源的集合上指定和运行这样的计算。我们提出了几个先进的系统:Swift,Karajan和Falkon的集成,以解决在网格环境中运行各种大规模的科学应用程序的挑战。Swift是一种并行编程工具,用于快速可靠地规范、执行和管理大规模科学和工程工作流。Swift由一个名为SwiftScript的简单脚本语言和一个强大的运行时系统组成,该系统基于CoG Karajan工作流引擎,并集成了Falkon轻量级任务执行服务,该服务使用多级调度和流线型调度器。我们展示了集成系统的可扩展性,性能和可靠性,使用来自天文学,认知神经科学和分子动力学,这都包括大量的细粒度的工作的应用程序的例子。我们表明,Swift能够表示动态工作流,其结构只能在运行时确定,并使用SwiftScript大大减少了各种工作流表示的代码大小;通过Karajan引擎调度执行数十万并行计算;与传统的批处理器相比,执行时间减少了90%。
2008-08-26 cs.DC cs.PL
GraphBit: A Graph-based Agentic Framework for Non-Linear Agent Orchestration
MTSU;InfinitiBit GmbH;Salesforce Research
GraphBit通过显式定义DAG流程提高代理编排的可重复性和可审计性,在多个基准任务中表现优于现有框架,实现高准确率、低延迟和高吞吐量。
2026-03-08 cs.AI cs.CL cs.DC