Optimal Deployment of Geographically Distributed Workflow Engines on the Cloud
在编排Web服务工作流时，编排引擎的地理位置会极大地影响工作流性能。数据可能必须跨越很长的地理距离进行传输，这反过来又增加了执行时间并降低了工作流的整体性能。在本文中，我们提出了一个框架，给定一个基于DAG的工作流规范，计算最佳的Amazon EC2云区域来部署编排引擎和执行工作流。该框架采用了一个约束模型，解决了工作流部署问题，这是使用自动约束建模系统生成的。通过执行代表科学工作量的不同示例工作流来评估框架的可行性。实验结果表明，该框架减少了工作流的执行时间，并提供了1.3倍-2.5倍的速度超过集中式的方法。
2014-10-30 cs.DC
A Dataflow Language for Decentralised Orchestration of Web Service Workflows
部署集中式面向服务的工作流带来了重大的可扩展性挑战，包括：网络带宽消耗、性能下降和单点故障。本文提出了一种高级的可扩展性低规约语言，试图解决这些可扩展性的挑战。这种语言为编排大规模Web服务工作流提供了简单的抽象，并将工作流逻辑与其执行分开。它是基于一个数据驱动的模型，允许并行，以提高工作流的性能。我们提供了一个分散的架构，允许计算逻辑移动“更接近”的工作流程中涉及的服务。这是通过将工作流规范划分为可以发送到远程编排服务以供执行的较小片段来实现的。编排服务依赖于代理，这些代理利用与工作流中的服务的连接。这些代理代表编排服务执行服务调用和组合，并执行数据汇集、检索和中介任务。我们的架构实现的评估得出结论，我们的分散式方法减少了工作流程的执行时间，并相应地随着数据集的大小增加而扩展。
2013-05-08 cs.DC cs.SE
Location, Location, Location: Data-Intensive Distributed Computing in the Cloud
在编排高度分布式和数据密集型的Web服务工作流时，编排引擎的地理位置会极大地影响工作流的整体性能。演示引擎通常从组织的网络内运行，并且可能必须跨长的地理距离传输数据，这反过来增加了执行时间并降低了工作流的整体性能。在本文中，我们提出了CloudForecast：一个Web服务框架和分析工具，它给出了一个工作流规范，计算最佳的亚马逊EC2云区域自动部署编排引擎和执行工作流。我们使用Amazon Cloud区域和工作流节点之间的工作流地理距离、网络延迟和HTTP往返时间来查找云区域的排名。这个简单指标的组合集有效地预测了工作流编排引擎应该部署在哪里，以减少总体执行时间。我们通过执行在PlanetLab平台上部署的随机生成的数据密集型工作流来评估我们的方法，以便对Amazon EC2 Cloud区域进行排名。我们的实验结果表明，我们提出的优化策略，根据特定的工作流程，可以加快执行时间平均82.25%相比，本地执行。我们还表明，执行时间的标准差减少了近65%的平均使用优化策略。
2014-02-03 cs.DC
AI-Driven Scientific Computing Workflows: A Systems Review of Orchestration, Execution, Reproducibility and Provenance
Royal Holloway University of London（伦敦大学皇家霍洛威学院）
本综述从系统视角整合科学计算工作流中的AI参与，提出连续谱分类，围绕五个系统需求分析代表性应用，并指出动态表示与可复现执行等开放问题。
2026-09-21 cs.DC
Following the Data, Not the Function: Rethinking Function Orchestration in Serverless Computing
Serverless applications are typically composed of function workflows in which multiple short-lived functions are triggered to exchange data in response to events or state changes. Current serverless platforms coordinate and trigger functions by following high-level invocation dependencies but are oblivious to the underlying data exchanges between functions. This design is neither efficient nor easy to use in orchestrating complex workflows -- developers often have to manage complex function interactions by themselves, with customized implementation and unsatisfactory performance. In this paper…
2022-09-29 cs.DC
DataFlower: Exploiting the Data-flow Paradigm for Serverless Workflow Orchestration
针对无服务器工作流控制流编排延迟高的问题，提出基于数据流范式的DataFlower方案，通过容器双逻辑单元抽象与主机-容器协同通信机制，显著降低延迟并提升吞吐量。
2023-04-28 cs.DC
Robust Orchestration of Concurrent Application Workflows in Mobile Device Clouds
设想了一种混合移动/固定设备云，其利用现场中的移动和固定设备的感测、计算、通信和存储能力以及远程数据中心中的计算和存储服务器的感测、计算、通信和存储能力。可以利用移动终端云来实现创新的普及应用，这些应用依赖于对现场收集的传感器数据的实时、原位处理。为了支持设备云上的并发移动应用，提出了一种健壮、安全的分布式计算框架Maestro。Maestro的关键组件是（i）任务调度机制，除了任务重新分配之外，还采用受控的任务复制以实现鲁棒性，以及（ii）Dedup，用于在并发的普遍工作流中进行任务重复数据删除。提出了一种基于体系结构的解决方案，该方案依赖于任务分类和对任务类别的授权访问，用于不同级别的保护。通过基于Android和Linux的移动设备的原型测试平台以及模拟进行实验评估，以证明Maestro的能力。
2017-01-05 cs.DC
FAME: QoS-aware Async Service Orchestration for Agentic Workflows
Indian Institute of Science, Bangalore（印度科学研究所班加罗尔分校）；IBM Research Lab, Bangalore, India（印度班加罗尔IBM研究实验室）
本文提出FAME架构，利用FaaS平台优化MCP启用的智能工作流，实现模块化组合和状态持久化，提升效率与成本效益。
2026-08-11 cs.DC
Optimizing Service Orchestrations
随着工作流中涉及的服务数量和数据大小的增加，集中式编排技术正在达到可扩展性的极限。在经典的编排模型中，所有数据都通过一个集中的引擎，这导致不必要的数据传输，浪费带宽，引擎成为工作流执行的瓶颈。本文提出并评估了循环体系结构，保持了集中编排的鲁棒性和简单性，但通过允许服务直接相互交换数据来促进编排。循环可以实现在任何现有的工作流框架，在本文中，我们专注于WS-Circulate，基于Web服务的实现。从蒙太奇工作流程中获得灵感，识别并评估了许多常见的工作流程模式（序列、扇入和扇出）、输入到输出数据大小关系和网络配置。性能分析的结论是，通信开销的大幅减少会使所有模式的性能提高2-4倍。通过Montage工作流的端到端模式可带来8倍的性能优势，并展示了使用Circulate架构的优势如何随着工作流复杂性的增加而增加。
2009-01-29 cs.DC cs.SE
AgentX: Towards Orchestrating Robust Agentic Workflow Patterns with FaaS-hosted MCP Services
AgentX提出一种由阶段设计器、规划器和执行器组成的新颖智能体工作流模式，利用MCP工具及FaaS部署，在三个应用中实证评估了成功率、延迟和成本，性能优于或媲美现有模式。
2025-09-09 cs.DC
A Case for Microservices Orchestration Using Workflow Engines
微服务已经成为云原生应用程序的事实上的软件架构。微服务中一个有争议的架构决策是使用编排或编排来组合它们。在编排中，每个服务都独立工作，而在编排中，有一个控制器来协调服务交互。这篇文章提出了一个编排的案例。微服务的承诺是每个微服务都可以独立开发，部署，测试，升级和扩展。这使得它们适合在云基础设施上运行的系统。然而，基于微服务的系统由于各种服务的复杂交互、并发事件、故障组件、开发人员缺乏全局视图以及环境配置而变得复杂。这使得维护和调试这样的系统非常具有挑战性。我们假设编排的服务更容易调试，为了测试这一点，我们将最大的公开可用的微服务基准TrainTicket（使用编排实现）移植到一个无故障的状态工作流框架Temporal。我们报告了我们将代码从传统编排的微服务架构移植到Temporal编排的微服务架构的经验，并提出了我们调试基准测试中存在的22个错误的初步发现。我们的研究结果表明，努力过渡到编排的方法是值得的，使移植的代码更容易调试。
2022-04-14 cs.DC cs.SE
Configurable Runtime Orchestration for Dynamic Data Retrieval in Distributed Systems
Capital One
本文提出了一种基于配置的运行时编排框架，用于在分布式系统中实现动态数据检索，通过动态生成执行图实现低延迟编排，支持集成演变时无需重新部署工作流代码。
2026-03-07 cs.DC cs.SE
A Bayesian Approach to the Partitioning of Workflows
在现实场景中划分工作流时，处理单元的知识往往是模糊或未知的。解决这个问题的一种简单方法是针对不同的工作负载进行许多受控实验，每个实验由多个试验组成，以估计特定工作负载的均值和方差。由于这种受控的实验方法可以是相当昂贵的时间和资源方面，我们提出了一个变种的吉布斯采样算法，使用一系列的贝叶斯推理更新估计的处理单元的处理特性。使用推断的处理单元的特性，我们能够确定最好的方式来分割工作流，以最低的预期完成时间和最小的方差并行处理它。
2015-11-02 cs.DC physics.soc-ph
Omni-Flow: A Unified Workflow Orchestration and Distributed KV Cache Sharing Framework for Multimodal Inference
Meituan（美团）；Peking University（北京大学）
提出Omni-Flow框架，通过三层抽象（控制流、数据流、计算流）统一编排多模态推理工作流，实现异构单元协同、分布式KV缓存共享与高效传输，支持多种多模态场景。
2026-09-25 cs.DC
Partitioning Uncertain Workflows
通常的做法是将复杂的工作流划分为单独的通道，以加快其完成时间。当这是在分布式环境中完成时，不可避免的波动使个人实现偏离预期的平均收益。我们提出了一种方法，用于将任何复杂的工作流分解为多个工作负载，以便一旦它们的输出被加入，它们的完全完成需要更少的时间，并且比仅在一个通道中运行时表现出更小的方差。我们证明了这种方法在两种不同的情况下的有效性;凸函数的优化和在互联网上传输的大型计算机文件。
2015-07-01 cs.CY cs.DC physics.soc-ph
Kairos: Low-latency Multi-Agent Serving with Shared LLMs and Excessive Loads in the Public Cloud
针对公有云中多智能体应用共享LLM过载及调度忽略延迟与资源差异的问题，提出多智能体编排系统Kairos，通过工作流编排器、优先级调度器和内存感知调度器优化端到端延迟，相比最先进工作降低17.8%至28.4%。
2025-08-09 cs.DC
Partitioning SKA Dataflows for Optimal Graph Execution
优化数据密集型工作流执行对于许多现代科学项目至关重要，例如平方公里阵列（SKA），它将成为世界上最大的射电望远镜，在未来几十年内每秒收集TB级数据。SKA科学数据处理器的核心是图形执行引擎，调度数万个算法组件来摄取和转换数百万个并行数据块，以便在功率预算内解决一系列大规模逆问题。为了应对这一挑战，我们开发了数据激活刘图引擎（DALiuGE），以管理多个SKA探路者项目的数据处理管道。本文讨论了大流格图调度子系统。通过扩展以前的研究图调度和分区，我们奠定了基础上，我们可以开发多项式时间优化方法，最大限度地减少工作流的执行时间和资源占用，同时满足资源的限制所施加的个别算法。我们展示了从三个射电天文学数据管道获得的初步结果。
2018-05-19 cs.DC
A Kubernetes 'Bridge' operator between cloud and external resources
许多科学工作流需要专用的计算资源，包括具有优化软件的HPC集群、量子资源和专用硬件集群系统（例如Ray）。与此同时，今天的许多科学工作流都建立在Kubernetes上，利用对工作流和支持工具的日益增长的支持。为了满足在云和专用计算资源上支持工作流的日益增长的需求，我们提出了Bridge Operator，这是Kubernetes中容器编排的软件扩展，可以方便地提交和监控具有自己的集群资源管理器（SLURM，LSF，量子服务和Ray）的外部系统上的长时间运行进程。Bridge Operator由一个自定义Kubernetes控制器组成，它使用Kubernetes自定义资源定义来管理应用程序。我们提出了用于管理云容器编排和外部资源工作负载管理器接口的控制器逻辑、用于向外部资源提交HTTP/HTTPS请求的资源定义以及与外部资源管理器通信以提交和管理作业执行的控制器pod。该实现允许我们在Kubernetes pod中镜像外部资源，这允许操作员使用这些pod作为代理来控制外部系统。该实现与资源管理器的选择无关，但假设系统公开了HTTP/HTTPS API以进行控制/管理。Bridge Operator自动化了操作员在黑盒外部资源上运行作业的角色，作为云上复杂混合工作流的一部分。
2022-07-06 cs.DC
Workflow-as-a-Service Cloud Platform and Deployment of Bioinformatics Workflow Applications
工作流管理系统（WMS）支持在分布式计算环境中组合和部署面向工作流的应用程序。它们隐藏了管理大规模应用程序的复杂性，包括控制任务之间的数据流水线，确保应用程序的执行，以及编排分布式计算资源以获得合理的处理时间。随着科学工作流采用趋势的增加，使用第三方服务部署它们的需求开始增加。工作流即服务（WaaS）是一个术语，代表为需要在第三方云管理服务上部署工作流应用程序的用户提供服务的平台。这一概念推动现有的WMS技术向WaaS云平台发展。基于这一需求，我们扩展了CloudBus WMS功能，以处理多个工作流的工作负载，并开发了WaaS云平台原型。我们实现了弹性预算约束的多工作流资源配置和调度算法（EBPSM）算法，该算法能够调度多个工作流，并使用两个生物信息学工作流对平台进行了评估。我们的实验结果表明，该平台是能够有效地处理多个工作流的执行，并获得其目的，以最大限度地减少完工时间，同时满足预算。
2020-06-02 cs.DC
OrbitChain: Orchestrating In-orbit Real-time Analytics of Earth Observation Data
North Carolina State University（北卡罗来纳州立大学）；Kennesaw State University（凯尼恩州立大学）；University of Colorado Denver（科罗拉多大学丹佛分校）
OrbitChain通过在轨多卫星协同框架实现地球观测数据的实时分析，提升分析效率并减少通信开销。
2026-02-10 cs.DC cs.ET cs.LG
Workflow-Driven Modeling for the Compute Continuum: An Optimization Approach to Automated System and Workload Scheduling
针对云与HPC融合的计算连续体中手动调度效率低的问题，提出基于MILP和启发式方法的自动化调度框架，可兼顾小规模场景最优性与大规模场景高效性。
2025-05-18 cs.DC
Lachesis: Automatic Partitioning for UDF-Centric Analytics
持久分区在避免昂贵的混洗操作方面是有效的。然而，对于广泛使用用户定义函数（UDF）的大数据分析工作负载，自动化此过程仍然是一个重大挑战，与关系应用程序相比，子计算很难重新用于分区。此外，在以UDF为中心的分析中普遍存在的非结构化数据中，广泛用于分区选择的函数依赖性通常不可用。我们提出了Lachesis系统，它代表了UDF为中心的工作负载的可分析和可重用的子计算的工作流程。Lachesis进一步采用深度强化学习模型来推断哪些子计算应该用于划分底层数据。然后应用此分析来自动优化跨应用程序的数据存储，以提高性能和用户的工作效率。
2021-02-22 cs.DB cs.DC
Serdab: An IoT Framework for Partitioning Neural Networks Computation across Multiple Enclaves
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度神经网络（DNN）和边缘计算的最新进展使得通过分层集群自动分析来自家庭/安全摄像头的视频流成为可能，这些集群包括靠近视频源的边缘设备以及远程云计算资源。然而，在用户的敏感数据通过不同设备时，保护其隐私和机密性仍然是大多数用户关注的问题。私有用户数据容易受到恶意攻击者的攻击或内部管理员的滥用，这些管理员可能会在未经用户明确批准的活动中使用这些数据。为了应对这一挑战，我们提出了Serdab，这是一个分布式编排框架，用于在多个安全飞地（例如，英特尔SGX）。安全飞地为部署在其中的数据/代码的隐私提供了保证。然而，它们有限的硬件资源使它们在单独运行整个深度神经网络时效率低下。为了弥合这一差距，Serdab提出了一种DNN分区策略，将神经网络的层分布在多个飞地设备或飞地设备和其他硬件加速器上。与在一个飞地中执行整个神经网络相比，我们的分区策略实现了高达4.7倍的加速比。
2020-05-12 cs.CR cs.DC cs.LG
Reshape: Adaptive Result-aware Skew Handling for Exploratory Analysis on Big Data
数据分析的过程，特别是在基于GUI的分析系统中，是高度探索性的。在到达最终工作流之前，用户迭代地多次细化工作流。在这样的探索性设置中，如果工作流的初始结果代表最终答案，则对于用户是有价值的，使得用户可以细化工作流而无需等待其执行的完成。分区偏斜可能会导致在执行过程中产生误导性的初始结果。在本文中，我们将从显示给用户的结果的角度探讨偏斜及其缓解策略。我们提出了一个新的框架，称为重塑，可以自适应地处理分区倾斜流水线执行。Reshape采用两阶段方法，以微调的方式转移负载，以在执行期间迭代地减轻偏斜，从而使其能够处理输入数据分布中的变化。Reshape具有自适应调整偏斜处理参数的能力，这减轻了用户的技术负担。Reshape支持多种运算符，如HashJoin、Group-by和Sort。我们在Amber和Flink两个大数据引擎上实现了Reshape，以证明其通用性和效率，并使用真实和合成数据集进行了实验评估。
2022-08-28 cs.DB cs.DC
Automap: Towards Ergonomic Automated Parallelism for ML Models
DeepMind；Google Research（谷歌研究院）；EPFL（洛桑联邦理工学院）
对训练大型神经网络架构的需求的快速增长使人们关注对分区策略的需求，例如通过使用数据、模型或流水线并行。实现这些方法越来越多地通过程序原语来支持，但是识别有效的分区策略需要昂贵的实验和专业知识。我们提出了一个自动化分区的原型，无缝集成到现有的编译器和现有的用户工作流。我们的分区器支持SPMD风格的并行性，包括数据并行和参数/激活分片。通过在独立于平台的分区IR中结合归纳策略和搜索，automap可以恢复专家分区策略，例如Transformer层的Megatron分片。
2021-12-06 cs.DC cs.LG
An intelligent Data Delivery Service for and beyond the ATLAS experiment
智能数据传输服务（iDDS）是为了应对即将到来的LHC数据采集中计算和存储资源使用的巨大增长而开发的。iDDS旨在智能地协调工作流和数据管理系统，将各种工作流中的数据预处理、交付和主处理分离。它是一个围绕面向工作流的结构的实验不可知服务，用于处理ATLAS和其他实验中的现有和新兴用例。在这里，我们将介绍iDDS的动机，它的设计模式和架构，用例和当前状态，以及未来的计划。
2021-02-28 cs.DC hep-ex
SeBS-Flow: Benchmarking Serverless Cloud Function Workflows
针对现有无服务器工作流平台差异大、难公平评估的问题，提出首个平台无关的基准测试套件SeBS-Flow，含10个基准，在三大云平台完成多维度评估并开源。
2025-03-25 cs.DC cs.SE
CoEdge: Cooperative DNN Inference with Adaptive Workload Partitioning over Heterogeneous Edge Devices
Sun Yat-sen University（中山大学）；University of Nevada, Reno（内华达大学里诺分校）；Arizona State University（亚利桑那州立大学）
人工智能的最新进展已经推动了网络边缘的智能应用，例如灵巧家庭、智能工厂和智能城市。为了在资源受限的边缘设备上部署计算密集型深度神经网络（DNN），传统方法依赖于将工作负载卸载到远程云或在本地优化终端设备的计算。然而，云辅助的方法受到不可靠和延迟显著的广域网，和本地计算方法受到限制的计算能力。协同执行机制为实现高性能边缘智能提供了一种新的范式，近年来引起了越来越多的研究兴趣。在本文中，我们提出了CoEdge，这是一个分布式DNN计算系统，可以在异构边缘设备上协调协作DNN推理。CoEdge利用边缘的可用计算和通信资源，并根据设备的计算能力和网络条件动态划分DNN推理工作负载。基于实际原型的实验结果表明，CoEdge算法在推理延迟接近的情况下，比现有算法具有更好的节能效果，对4种广泛采用的CNN模型，其能耗降低幅度可达25.5%~66.9%.
2020-12-06 cs.CV cs.DC cs.NI
