Serverless Containers -- rising viable approach to Scientific Workflows
无服务器计算方法的日益普及导致了在容器即服务（CaaS）模型中工作的新云基础设施的出现，如AWS Fargate，Google Cloud Run或Azure Container Cloud。他们引入了一种创新的方法来运行云容器，使开发人员从管理底层资源中解放出来。在本文中，我们专注于评估弹性容器的功能及其在使用AWS Fargate和Google Cloud Run基础设施的科学工作流范例中对科学计算的有用性。为了对我们的方法进行实验评估，我们扩展了HyperFlow引擎以支持这些CaaS平台，并调整了由几十到一百多个任务组成的四个真实科学工作流，这些任务被组织成一个依赖图。我们使用这些工作流来创建成本性能基准和流执行图，测量延迟，弹性和可扩展性。实验证明，无服务器容器可以成功地应用于科学工作流。此外，这些结果使我们能够深入了解这些平台的具体优势和局限性。
2020-10-21 cs.DC
WorkflowHub: Community Framework for Enabling Scientific Workflow Research and Development -- Technical Report
科学工作流是现代科学计算的基石。它们用于描述复杂的计算应用程序，这些应用程序需要对大量数据进行高效和鲁棒的管理，这些数据通常在异构的分布式资源上存储/处理。工作流研究和开发社区已经采用了一些方法来定量评估现有的和新的工作流算法和系统。特别是，一种常见的方法是模拟工作流执行。在以前的工作中，我们已经提出了一系列的工具，已被用于协助研究和开发活动的飞马座项目，并已通过其他人进行工作流程研究。尽管它们很受欢迎，但有几个缺点妨碍了易于采用，维护以及与生产工作流程的不断发展的结构和计算要求的一致性。在这项工作中，我们提出了WorkflowHub，一个社区框架，提供了一个收集的工具，用于分析工作流执行的痕迹，产生现实的合成工作流的痕迹，并模拟工作流的执行。我们证明了现实主义的生成的合成痕迹，通过比较模拟执行这些痕迹与实际工作流执行。我们还将这些结果与使用以前可用的工具集时获得的结果进行了对比。我们发现我们的框架不仅可以用于生成代表性的合成工作流程轨迹（即，具有类似于从真实世界工作流执行获得的轨迹中的那些的工作流结构和任务特征分布），但是也可以以比可用工作流轨迹的尺度更大的尺度生成代表性工作流轨迹。
2020-09-01 cs.DC
Use Cases of Computational Reproducibility for Scientific Workflows at Exascale
我们提出了一种改进的再现性，包括捕获和相关的出处特征和性能指标，在一个混合的可查询系统，ProvEn服务器的方法。该系统的功能说明了两个用例：ACME气候模拟结果的科学再现性和HPC计算平台上分子动力学工作流程的性能再现性。
2018-04-20 cs.DC
Portability of Scientific Workflows in NGS Data Analysis: A Case Study
下一代测序（NGS）数据的分析需要复杂的计算工作流程，包括数十个自主开发但相互依赖的处理步骤。当需要处理大量数据时，这些工作流必须在并行和/或分布式系统上执行，以确保合理的运行时间。将为特定硬件基础设施上的特定系统开发的工作流移植到另一个系统或另一个基础设施是不平凡的，这对工作流可再现性和工作流可重用性的科学必要性构成了主要障碍。在这项工作中，我们描述了我们的努力，以港口的国家的最先进的工作流程，用于检测特定的变异，在全外显子组测序的小鼠。工作流最初是在科学工作流系统snakemake中开发的，用于在Sun Grid Engine控制的高性能集群上执行。在该项目中，我们将其移植到科学工作流系统SaasFee，该系统可以使用Hadoop在（多核）独立服务器或任意大小的集群上执行工作流。这个端口的目的是让Hadoop的低成本硬件基础设施的所有者也能够使用工作流。虽然源系统和目标系统都被称为科学工作流系统，但它们在许多方面都有所不同，从工作流语言到调度机制和文件访问接口。这些差异导致了各种各样的问题，有些是预期的，有些是意想不到的，在工作流可以以相同的语义运行之前必须解决这些问题。作为副作用，我们还报告了在非常不同的硬件平台上最先进的NGS工作流的成本/运行时间比：一个非常便宜的独立服务器（80个线程），一个中等成本，中等规模的集群（552个线程）和一个高端HPC系统（3784个线程）。
2020-06-04 cs.DC
WfBench: Automated Generation of Scientific Workflow Benchmarks
具有高计算需求的科学工作流的流行要求其在各种分布式计算平台上执行，包括大规模领导级高性能计算（HPC）集群。为了处理工作流执行的部署、监控和优化，在过去十年中开发了许多工作流系统。有一个需要的工作流基准，可用于评估当前和未来的软件栈和硬件平台上的工作流系统的性能。我们提出了一个现实的工作流基准规范，可以转化为基准代码与当前的工作流系统执行的生成器。我们的方法生成的工作流任务具有任意的性能特征（CPU，内存和I/O的使用）和现实的任务依赖结构的基础上，在生产工作流中看到的。我们目前的实验结果表明，我们的方法生成的基准是生产工作流的代表，并进行案例研究，以证明我们生成的基准的使用和有用性，以评估不同的配置方案下的工作流系统的性能。
2022-10-06 cs.DC
Introducing SWIRL: An Intermediate Representation Language for Scientific Workflows
针对科学计算中工作流执行的新需求，本文提出面向科学工作流的中间表示语言SWIRL，作为分布式工作流执行计划的底层编译目标，具备底层原语、形式化转换框架与重写优化规则，并已开发出开源编译器工具链。
2024-07-01 cs.DC
AI-Driven Scientific Computing Workflows: A Systems Review of Orchestration, Execution, Reproducibility and Provenance
Royal Holloway University of London（伦敦大学皇家霍洛威学院）
本综述从系统视角整合科学计算工作流中的AI参与，提出连续谱分类，围绕五个系统需求分析代表性应用，并指出动态表示与可复现执行等开放问题。
2026-09-21 cs.DC
Energy-Aware Workflow Execution: An Overview of Techniques for Saving Energy and Emissions in Scientific Compute Clusters
本文通过估算三个真实科学工作流的碳足迹揭示能耗问题，并系统综述了从异构架构、代码优化到电压频率调节、负载整合与调度等多种降低科学计算集群能耗与碳排放的技术。
2025-06-04 cs.DC
Towards Advanced Monitoring for Scientific Workflows
本文针对科学工作流跨组件监控割裂、指标依赖分析不足的问题，提出四层监控架构蓝图，并考察五种主流SWMS以明确落地路径。
2023-07-18 cs.DC
WfCommons: A Framework for Enabling Scientific Workflow Research and Development
科学工作流是现代科学计算的基石。它们用于描述复杂的计算应用程序，这些应用程序需要对大量数据进行有效和鲁棒的管理，这些数据通常在异构的分布式资源上存储/处理。工作流研究和开发社区已经采用了一些方法来定量评估现有的和新的工作流算法和系统。特别是，一种常见的方法是模拟工作流执行。在以前的作品中，我们已经提出了一个收集的工具，已通过社区进行工作流研究。尽管它们很受欢迎，但它们存在一些缺点，这些缺点妨碍了易于采用，维护以及与生产工作流程的不断发展的结构和计算要求的一致性。在这项工作中，我们提出了WfCommons，一个框架，它提供了一个工具的集合，用于分析工作流执行，用于生产合成工作流的生成器，并用于模拟工作流执行。我们证明了现实主义的合成工作流比较其模拟执行真实的工作流执行。我们还将这些结果与使用以前可用的工具集时获得的结果进行了对比。我们发现，由我们的框架自动构造的工作流生成器不仅生成具有代表性的相同规模的工作流（即，其结构和任务特性分布类似于在真实世界工作流中观察到的那些），而且在比可用的真实世界工作流的规模更大的规模上这样做。最后，我们进行了一个案例研究，以证明我们的框架估计大规模工作流执行的能源消耗的有用性。
2021-05-29 cs.DC
Exploring the Potential of Carbon-Aware Execution for Scientific Workflows
本文针对科学工作流高能耗与高排放问题，基于真实 Nextflow 工作流、线性功耗模型和区域 CI 数据评估时间迁移、暂停恢复及资源扩缩容，证明碳感知执行具有显著减排潜力。
2025-03-19 cs.DC
An Architectural Model for a Grid based Workflow Management Platform in Scientific Applications
随着科学应用对计算和数据需求的日益增长，使用大型集群系统以及分布式资源是不可避免的。虽然在这些环境中执行大型应用程序可以提高性能，但过程的自动化变得越来越具有挑战性。虽然在面向业务的环境中使用复杂的工作流管理系统是这种自动化过程的可行解决方案，但可用于科学应用的开源引擎缺乏某些功能，或者对于非专业人员来说太难使用。在这项工作中，我们提出了一个基于网格的工作流管理平台提供的功能，如一个直观的方式来描述工作流，高效的数据处理机制和灵活的容错支持的架构模型。我们的集成解决方案引入了一个工作流引擎组件的基础上扩展了额外的功能和调度组件提供有效的任务和可用资源之间的映射。
2011-06-29 cs.DC
Parallelization in Scientific Workflow Management Systems
在过去的二十年里，科学工作流管理系统（SWfMS）已经成为一种促进可重用科学数据处理管道的设计，执行和监控的手段。与此同时，各个科学领域产生的数据量超过了计算能力和存储能力的增强。对于生命科学来说尤其如此，新技术将测序吞吐量从每天10兆字节提高到了每天10兆字节。这种趋势需要当前的SWfMS来适应：必须提供对并行工作流执行的本机支持以提高性能;必须集成可动态扩展的“按使用付费”计算基础设施以降低硬件成本;需要分布式计算环境中的工作流的自适应调度以优化资源利用率。在这次调查中，我们给出了一个概述的并行化技术的SWFMS，无论是在理论上，并在具体的系统中实现。我们发现，目前的系统留下了相当大的改进空间，我们提出了关键的进步，SWFMS的景观。
2013-03-28 cs.DC
Scientific Workflows in Heterogeneous Edge-Cloud Computing: A Data Placement Strategy Based on Reinforcement learning
与云计算或其他传统的分布式计算环境相比，异构边缘-云计算范例可以提供部署科学工作流的最佳解决方案。由于科学数据集的大小不同以及其中一些数据集的隐私问题，因此必须找到一种数据放置策略，以最大限度地减少数据传输时间。一些最先进的数据放置策略结合边缘计算和云计算来分发科学数据集。然而，在工作流执行期间，将新生成的数据集动态分发到适当的数据中心并退出已使用的数据集仍然是一个挑战。为了应对这一挑战，本研究不仅构建了一个数据放置模型，其中包括共享数据集内的个人和跨不同地理区域的多个工作流之间，但也提出了一个数据放置策略（DYM-RL-DPS）的基础上的两个阶段的算法。首先，在工作流的构建阶段，我们使用差分进化的离散粒子群优化算法来预先分配初始数据集到适当的调度中心。然后，我们将动态数据集分布问题重新表示为马尔可夫决策过程，并提供了一种基于强化学习的方法来学习科学工作流运行时阶段的最优策略。通过模拟异构边缘云计算环境，设计了综合实验来验证DYM-RL-DPS的优越性。与其他策略相比，我们的策略可以有效地减少数据传输时间。
2022-05-14 cs.DC
Custom Execution Environments with Containers in Pegasus-enabled Scientific Workflows
科学可重复性是科学工作流程的基石特征。在大多数情况下，这已经被实现为一种精确地再现为达到最终结果所采取的计算步骤的方法。虽然这些步骤通常被完整地描述，包括输入参数、数据集和代码，但是执行这些步骤的环境仅在更高级别上用端点和操作系统名称和版本来描述。虽然这可能足以在短期内实现可重复性，但系统会随着时间的推移而发展和更换，从而打破了基本的工作流程可重复性。这个问题的一个自然解决方案是容器，因为它们定义良好，具有独立于底层系统的生命周期，并且可以由用户控制，以便在需要时提供自定义环境。本文重点介绍了在分布式科学工作流中使用容器时可能出现的一些独特挑战。此外，本文探讨了如何飞马工作流管理系统实现容器支持，以应对这些挑战。
2019-05-20 cs.DC
A Time-driven Data Placement Strategy for a Scientific Workflow Combining Edge Computing and Cloud Computing
与传统的分布式计算环境（如网格）相比，云计算提供了一种更具成本效益的方式来部署科学工作流。科学工作流的每个任务都需要多个大型数据集，这些数据集位于来自云计算环境的不同数据中心，导致严重的数据传输延迟。边缘计算降低了数据传输延迟，支持科学工作流私有数据集的固定存储方式，但其存储容量存在瓶颈。如何结合边缘计算和云计算的优势，合理安排科学工作流程的数据布局，优化不同数据中心之间的数据传输时间，是一个挑战。传统的数据布局策略在给定的节点数下保持负载均衡，导致数据传输时间较长。提出了一种基于遗传算法算子的自适应离散粒子群优化算法（GA-DPSO），用于优化科学工作流中的数据传输时间。该方法考虑了边缘计算和云计算相结合的数据放置特征。此外，还考虑了边缘节点带宽、边缘节点数量、边缘节点存储容量等因素对传输时延的影响。采用遗传算法的交叉算子和变异算子，避免了传统粒子群算法的早熟收敛，增强了种群进化的多样性，有效减少了数据传输时间。实验结果表明，基于GA-DPSO的数据放置策略能够有效减少边缘计算和云计算相结合的工作流执行过程中的数据传输时间。
2019-01-24 cs.DC
WOW: Workflow-Aware Data Movement and Task Scheduling for Dynamic Scientific Workflows
本文提出WOW调度方法，通过协同引导数据移动与任务调度并创建中间文件推测性副本，有效减少动态科学工作流的网络拥塞与运行时间，在Nextflow和Kubernetes实验中显著降低完成时间且扩展性良好。
2025-03-28 cs.DC
Towards cloud-native scientific workflow management
本文评估了Kubernetes中科学工作流的替代执行模型，提出基于微服务的自动扩展worker-pools云原生模型，在HyperFlow系统中实现并使用Montage工作流评估，相比最佳作业模型makespan提升近20%。
2024-08-27 cs.DC
Predicting the Performance of Scientific Workflow Tasks for Cluster Resource Management: An Overview of the State of the Art
本文综述了科学工作流任务运行时间与内存预测的最新方法，比较了其关键特征，并探讨了性能预测在集群调度、节能计算及成本预测中的应用。
2025-04-29 cs.DC
Ichnos: A Carbon Footprint Estimator for Scientific Workflows
本文提出Ichnos系统，基于工作流轨迹、功耗模型和碳强度数据事后估算Nextflow科学工作流碳足迹，误差3.9%-10.3%，优于基线方法。
2025-08-06 cs.DC
Tarema: Adaptive Resource Allocation for Scalable Scientific Workflows in Heterogeneous Clusters
像Nextflow这样的科学工作流管理系统通过抽象科学工作流的细节来支持大规模数据分析。在这些系统中，工作流由多个抽象任务组成，这些任务的实例并行运行，并将输入分区转换为输出分区。像Kubernetes这样的资源管理器在集群基础设施上执行这样的工作流任务。然而，这些资源管理器在将任务分配给资源时只考虑CPU的数量和可用内存的数量;它们不会考虑这些数量之外的硬件差异，而计算速度和内存访问速率可能会有很大差异。我们提出Tarema，一个系统，用于在执行可扩展的科学工作流的过程中分配任务实例到异构集群资源。首先，Tarema使用一组基准测试程序分析可用的基础设施，并将具有类似性能的集群节点分组。其次，Tarema使用任务的在线监控数据，根据任务的资源使用情况为任务分配标签。第三，Tarema使用节点组和任务标签，根据资源需求动态地将任务实例均匀分配给资源。我们对Kubernetes的原型实现进行了评估，使用了来自流行的nf核心框架的五个真实世界的Nextflow工作流和两个由不同虚拟机组成的15节点集群，与广泛使用的资源管理器中的流行集群相比，隔离作业运行时间平均减少了19.8%，与启发式SJFN相比减少了4.54%，同时提供了更好的集群使用率。此外，在有限资源上并行执行两个长时间运行的工作流表明，Tarema能够在提供公平的集群使用率的同时进一步减少运行时间。
2022-01-19 cs.DC
Resource-sharing Policy in Multi-tenant Scientific Workflow-as-a-Service Cloud Platform
社区中越来越多地采用科学工作流，这促使开发多租户平台，将这些工作流执行作为服务提供。因此，工作流即服务（WaaS）的概念已被研究人员创建，以解决未来的工作流管理系统（WMS）的设计，可以从一个单一的服务点服务于大量的用户。这些平台与传统的WMS不同之处在于，它们在运行时处理工作流的工作负载。传统的WMS通常被设计为在专用流程中执行单个工作流，而WaaS云平台通过在多租户环境模型中利用多个工作流执行来增强该流程。在本文中，我们探讨了一种新的资源共享策略，以提高系统利用率，并满足各种服务质量（QoS）的要求，从多个用户在WaaS云平台。提出了一种弹性预算约束的多工作流资源配置与调度算法，该算法通过鼓励资源共享来减少计算开销，从而在满足用户定义的预算的同时最小化工作流的最大完工时间。我们的实验表明，EBPSM算法可以利用资源共享的政策，以实现更高的性能，在最小化的最大完工时间相比，国家的最先进的约束调度算法。
2020-06-23 cs.DC
Optimal Data Placement for Data-Sharing Scientific Workflows in Heterogeneous Edge-Cloud Computing Environments
与传统的分布式计算或云计算环境相比，异构边缘-云计算范例可以为部署科学工作流提供更优化的方向。由于科学数据集的大小不一，且其中一些数据集必须保持私密性，因此寻找一种既能减少数据传输又能降低放置成本的数据放置策略仍然是一个难题。针对这一问题，结合边缘计算和云计算的优势，构建了一个数据放置模型，通过智能计算来平衡数据传输时间和数据放置成本。该模型解决的最困难的研究挑战是考虑在这种混合计算环境中的许多约束，其中包括在不同地理区域的单个和多个工作流之间的共享数据集。根据所建立的模型，提出了一种新的数据布局策略DE-DPSO-DPS，该策略采用差分进化离散粒子群优化算法（DE-DPSO-DPA）对这些科学数据集进行布局。该策略不仅考虑了边缘微处理器的数量和存储容量、不同微处理器之间的带宽以及私有数据集的比例等特性，还分析了算法在工作流执行过程中的性能。在模拟的异构边缘云计算环境中进行了综合实验，结果表明，与传统的数据共享科学工作流策略相比，该数据放置策略能够有效地减少数据传输时间和放置成本。
2021-04-13 cs.DC
Cloud Infrastructure Provenance Collection and Management to Reproduce Scientific Workflow Execution
云计算的出现为科学工作流的执行提供了新的计算范式。它提供了动态的、按需的和可扩展的资源，可以处理复杂的基于工作流的实验。随着实验数据规模的不断增长和处理工作流程的日益复杂，对再现性的需求也变得至关重要。起源被认为是一种验证工作流程并提供工作流程再现性的机制。再现实验执行的障碍之一是缺乏关于收集的出处中的执行基础设施的信息。在按需调配资源并指定资源配置的云环境中，此信息变得至关重要。因此，需要一种能够捕获基础设施信息以及在云上执行的工作流的来源的机制，以促进在云上重新创建执行环境。本文提出了一个框架，ReCAP，以及建议的映射方法，帮助捕获云感知的起源信息，并帮助重新配置云上的执行资源与类似的配置。实验评估表明，不同的资源配置对工作流执行性能的影响，因此证明需要收集这样的出处信息的上下文中云。评估还表明，所提出的映射方法可以在各种云使用场景中捕获云信息，而不会导致性能开销，并且还可以在云上重新配置资源。使用来自不同科学领域（如天文学和神经科学）的工作流程进行实验，以证明本研究对不同工作流程的适用性。
2018-03-19 cs.DC
A Fault Tolerance Mechanism for Hybrid Scientific Workflows
针对混合工作流在异构分布式环境中故障点增多的问题，本文提出并实现了一种基于恢复与回滚的容错机制，并通过形式化表示和实验验证了其有效性。
2024-07-07 cs.DC
Resource Provisioning and Scheduling Algorithm for Meeting Cost and Deadline-Constraints of Scientific Workflows in IaaS Clouds
云计算的基础设施即服务模型是执行成本和期限约束的工作流应用的理想平台，因为云计算的弹性允许大规模复杂的科学工作流应用根据其期限要求动态地扩展。然而，在分布式计算环境中，这些多任务工作流作业的调度是一个计算困难的多目标组合优化问题。关键的挑战是调度工作流任务，同时满足用户的服务质量服务质量（QoS）的要求和应用程序的最后期限。现有的研究工作不仅未能解决这一挑战，而且没有纳入云环境中计算资源的弹性和异构性的基本原则。在本文中，我们提出了一个资源供应和调度算法调度IaaS云上的工作流应用程序，以满足应用程序的最后期限约束，同时优化执行成本。该算法是基于自然启发的人口智能水滴（IWD）优化算法。在CloudSim仿真环境下对4个实际工作流应用的实验结果表明，IWD算法能够在指定的截止期限内以最优的代价调度工作流任务。此外，IWD算法收敛速度快，接近最优解。
2018-06-06 cs.DC
Lotaru: Locally Estimating Runtimes of Scientific Workflow Tasks in Heterogeneous Clusters
许多科学的工作流调度算法需要事先知道任务的运行时间来进行有效的调度。在异构集群基础设施中，这个问题变得更加严重，因为每个任务节点对都需要这些运行时。使用历史数据通常是不可行的，因为日志通常不会无限期地保留，并且工作负载以及基础设施会发生变化。相比之下，在线方法在工作流运行时预测特定节点上的任务运行时间，必须应对示例运行的缺乏，特别是在启动期间。在本文中，我们提出了Lotaru，一种新的在线方法，用于在异构集群上的科学工作流中本地估计任务运行时间。Lotaru首先使用一组短期运行的统一微基准测试来分析集群中的所有节点。接下来，它在用户的本地机器上运行要调度的工作流，并使用大量减少的数据来确定重要的任务特征。基于这些测量，Lotaru学习贝叶斯线性回归模型来预测给定输入大小的任务的运行时间，并最终根据微基准测试结果专门针对集群中的每个任务节点对调整预测的运行时间。由于其贝叶斯方法，Lotaru还可以计算鲁棒的不确定性估计，并将其作为高级调度方法的输入。我们对五个真实科学工作流程和不同数据集的评估表明，Lotaru在同质和异质集群的预测误差方面明显优于基线。
2022-05-23 cs.DC
Workflows Community Summit: Advancing the State-of-the-art of Scientific Workflows Management Systems Research and Development
科学工作流是现代科学计算的基石，它们支撑了过去十年中一些最重要的发现。这些工作流中的许多工作流具有很高的计算、存储和/或通信需求，因此必须在从大型云到即将到来的百万兆级HPC平台的各种大规模平台上执行。工作流将在面向数据和后摩尔时代的计算环境中发挥至关重要的作用，因为它们使尖端研究技术、计算密集型方法和新计算平台的使用民主化。随着科学项目和用户社区继续采用工作流程，它们变得越来越复杂。工作流越来越多地由执行计算的任务组成，例如短机器学习推理、多节点模拟、长时间运行的机器学习模型训练等，因此越来越依赖于包括CPU以及GPU和加速器的异构架构。工作流管理系统（WMS）技术前景目前是分割的，由于存在数百个看似相似但不兼容的系统，因此存在很大的进入障碍。另一个基本问题是，有冲突的理论基础和抽象的WMS。使用相同底层抽象的系统可能会在不同抽象的系统之间进行转换，而使用不同抽象的系统则不是这样。更多信息：https://workflowsri.org/summits/technical
2021-06-09 cs.DC
Scientific Workflow Systems for 21st Century e-Science, New Bottle or New Wine?
随着电子科学的进步和科学分析的日益复杂，越来越多的科学家和研究人员依赖于工作流系统进行过程协调、推导自动化、出处跟踪和簿记。虽然工作流系统已经使用了几十年，但目前还不清楚科学工作流是否可以甚至应该建立在现有的工作流技术上，或者它们需要从根本上新的方法。在本文中，我们分析了科学工作流的现状和挑战，调查了现有的技术和新兴的语言，平台和系统，并确定了在21世纪的电子科学工作流系统必须解决的关键挑战。
2008-08-26 cs.DC cs.SE
Scientific Workflow Scheduling in Cloud Considering Cold Start and Variable Pricing Model
针对科学云服务提供商面临的冷启动和多种虚拟机定价模型管理挑战，提出一种结合历史数据初始规划与实时调整的混合调度框架，在真实数据集上相比现有方法实现高达20%的利润提升。
2025-04-30 cs.DC
Predicting Dynamic Memory Requirements for Scientific Workflow Tasks
本文提出一种利用监控时间序列数据预测科学工作流任务内存使用的新颖在线方法，通过划分运行时间为k段并学习峰值内存，在nf-core工作流上实现平均内存浪费减少29.48%。
2024-03-19 cs.DC
Sizey: Memory-Efficient Execution of Scientific Workflow Tasks
本文提出在线内存预测方法Sizey，通过同时训练多个机器学习模型并动态选择最佳模型来优化科学工作流任务的内存分配，在六个nf-core真实工作流上相比最佳基线中位数减少内存浪费24.68%。
2025-02-10 cs.DC
Building Containerized Environments for Reproducibility and Traceability of Scientific Workflows
科学家们依靠模拟来研究自然现象。相信模拟结果对于任何领域的科学发展都是至关重要的。建立信任的一种方法是通过在系统级注释执行来确保模拟的可再现性和可追溯性;通过生成通过模拟工作流程移动的数据的记录跟踪。在这项工作中，我们提出了一个系统级的解决方案，利用容器的内在特性（即，可移植性、隔离、封装和唯一标识符）。我们的解决方案包括一个容器化的环境，能够注释工作流，捕获出处元数据，并建立记录跟踪。我们根据四种不同的工作流程评估我们的环境，并从时间和空间方面衡量集装箱运输成本。我们的解决方案以可容忍的时间和空间开销构建，实现了透明和自动的出处元数据收集和访问，易于阅读的记录跟踪以及数据和元数据之间的紧密连接。
2020-09-17 cs.DC
ProvDeploy: Provenance-oriented Containerization of High Performance Computing Scientific Workflows
本文提出ProvDeploy，协助用户为高性能计算科学工作流配置集成溯源数据捕获的容器，并通过科学机器学习工作流在两种HPC环境中评估了专注于溯源的容器化策略。
2024-03-25 cs.DB cs.DC
A Terminology for Scientific Workflow Systems
Oak Ridge National Laboratory（橡树岭国家实验室）；University of California, San Diego（加州大学圣迭戈分校）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；AGH University of Krakow（克拉科夫AGH科技大学）；University of Chicago（芝加哥大学）；University of Torino（都灵大学）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；Seqera Labs（Seqera实验室）；University of Innsbruck（因斯布鲁克大学）；University of Manchester（曼彻斯特大学）；Rutgers University-New Brunswick（新泽西罗格斯大学；普林斯顿等离子体物理实验室；普林斯顿大学）；Princeton Plasma Physics Laboratory（伊利诺伊大学厄巴纳-香槟分校NCSA及计算与数据科学学院）；Princeton University（杜伊斯堡-埃森大学）；NCSA & School of Computing and Data Science & iSchool, University of Illinois Urbana-Champaign；University of Duisburg-Essen
本文提出了一种基于五个轴的WMS术语，用于分类和描述现有科学工作流管理系统。
2025-07-09 cs.DC
Ichnos+: Estimating the Carbon Footprint of Scientific Workflows Using Fitted Power Models
University of Glasgow（格拉斯哥大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Sapienza University of Rome（罗马第一大学）
研究针对数据密集型科学工作流能耗大、碳排放高的问题，提出Ichnos+系统，基于工作流跟踪、节点功率模型和碳强度数据估算碳足迹，经评估其能耗估计误差低，还能扩展到其他系统，精度高。
2026-07-14 cs.DC
A Study on Messaging Trade-offs in Data Streaming for Scientific Workflows
本研究通过模拟Deleria和LCLS工作流，探讨RabbitMQ消息传递框架中影响科学工作流流传输需求的参数配置，揭示了可靠消息传输的吞吐量权衡与实用配置见解。
2025-09-08 cs.DC
Workflows Community Summit: Bringing the Scientific Workflows Community Together
科学工作流程几乎在科学领域中普遍使用，并支持了过去几十年中一些最重要的发现。这些工作流中的许多工作流具有高计算、存储和/或通信需求，因此必须在从大型云到即将到来的百万兆级高性能计算（HPC）平台的各种大规模平台上执行。这些执行必须使用一些软件基础设施进行管理。由于工作流的流行，工作流管理系统（WMS）已被开发，以提供抽象的创建和执行工作流方便，高效，和可移植的。虽然这些努力都是值得的，但现在有数百个独立的WMS，其中许多都奄奄一息。因此，WMS景观被分割，并由于存在数百个看似相似但不兼容的系统而存在重大的进入障碍。因此，许多团队，无论大小，仍然选择构建自己的自定义工作流解决方案，而不是采用或构建现有的WMS。WMS现状对工作流用户、开发人员和研究人员产生了负面影响。“工作流社区峰会”于2021年1月13日在线举行。峰会的总体目标是发展最先进的观点，并确定工作流社区的关键研究挑战。在峰会之前，向工作流社区的利益相关者（包括WMS的开发人员和工作流的用户）发送了一份调查，帮助确定了该社区的关键挑战，这些挑战被转化为峰会的6个广泛主题，每个主题都是由社区志愿者领导的重点讨论的对象。本报告记录和整理了与会者在峰会之前、期间和之后提供的大量信息。
2021-03-16 cs.DC
Workflows Community Summit: Tightening the Integration between Computing Facilities and Scientific Workflows
工作流程的重要性突出表现在它们支撑了过去几十年中一些最重要的发现。这些工作流中的许多工作流具有显著的计算、存储和通信需求，因此必须在一系列大规模计算机系统上执行，从本地集群到公共云和即将到来的百万兆级HPC平台。从历史上看，工作流执行的基础设施由复杂的集成系统组成，这些系统由工作流从业者在内部开发，对一系列遗留技术有很强的依赖性。由于对支持工作流的需求不断增加，开发了专用的工作流系统，以提供方便有效地创建、执行和调整工作流的抽象，同时确保可移植性。虽然这些努力都是值得的，但现在有数百个独立的工作流系统。由此产生的工作流系统的技术景观是支离破碎的，这可能会对未来的工作流用户的重大障碍，由于许多看似可比的，但通常是相互不兼容的系统存在。为了应对其中一些挑战，能源部资助的ExaWorks和NSF资助的WorkflowsRI项目于2021年组织了一系列名为“工作流社区峰会”的活动。第三届“工作流社区峰会”从计算中心和设施的角度探讨了工作流的挑战和机遇。第三次峰会汇集了一小群设施代表，目的是了解每个设施目前如何使用工作流程，设施如何与工作流程开发人员和用户互动，工作流程如何与设施路线图相适应，以及设施和工作流程之间更紧密整合的机会。更多信息：https://workflowsri.org/summits/facilities/
2022-01-19 cs.DC
A Cross-Layer Solution in Scientific Workflow System for Tackling Data Movement Challenge
高性能计算环境下的科学应用越来越复杂，数据密集度越来越高。科学家通常依赖于工作流系统来管理复杂性：简单地将多个处理步骤定义为单个脚本，然后让工作流系统编译它并相应地调度所有任务。许多工作流系统已经被提出并被广泛使用，如Galaxy、Pegasus、Taverna、Kepler、Swift、AWE等，举几个例子。传统上，科学工作流系统使用并行文件系统，如Lustre、PVFS、Ceph或其他形式的远程共享存储系统。因此，数据（包括在工作流执行期间生成的中间数据）需要在计算节点和存储系统之间来回传输，这在I/O操作上引入了显著的性能瓶颈。随着CPU和存储设备之间性能差距的扩大，这一瓶颈预计将变得更糟。最近，我们引入了基于数据路径计算的新概念，以使任务和数据绑定更有效，从而降低数据移动成本。对于工作流系统来说，关键是利用HPC存储层次中的数据局部性：如果数据集存储在计算节点中，靠近工作流任务，则任务可以直接访问它们，从而以更少的网络使用获得更好的性能。最近的一些研究已经完成了关于构建这样的共享存储系统，利用计算节点资源，以服务于具有局部性的HPC工作流，例如Hercules [1]和WOSS [2]等。在本研究中，我们进一步认为，提供计算节点侧存储系统不足以充分利用数据局部性。一个结合存储系统、编译器和运行时的跨层解决方案是必要的。我们以Swift/T [3]这一面向数据密集型应用的工作…
2018-05-16 cs.DC
Low-level I/O Monitoring for Scientific Workflows
本文研究科学工作流在分布式环境中的低层 I/O 监控问题，提出通过关联低层追踪元数据与 Kubernetes 任务日志信息，在逻辑任务层面分类 I/O 行为，从而识别最值得优化的低效任务。
2024-08-01 cs.DC
HyProv: Hybrid Provenance Management for Scientific Workflows
Humboldt-Universität zu Berlin（柏林洪堡大学）；University of Glasgow（格拉斯哥大学）
HyProv提出一种结合集中式与联邦式范式的混合溯源管理系统，面向科学工作流实现可扩展、在线且具备工作流感知的溯源查询，实验证明其能以亚秒级延迟处理大规模工作流并仅带来适度资源开销。
2025-11-10 cs.DC
Ponder: Online Prediction of Task Memory Requirements for Scientific Workflows
针对科学工作流内存分配保守浪费资源、现有预测方法假设在真实场景不成立的问题，提出可适配不同内存需求模式的在线任务配置策略Ponder，在真实工作流测试中显著提升内存分配质量、缩短完工时间并减少任务失败。
2024-10-10 cs.DC
Leveraging Reinforcement Learning for Task Resource Allocation in Scientific Workflows
针对科学工作流依赖用户资源估算导致浪费或配置不足的问题，提出基于梯度赌博机和 Q-learning 的强化学习资源分配方法，并在 Nextflow 中验证可显著降低资源浪费与 CPU 小时数。
2023-07-18 cs.DC
Workflows Community Summit 2024: Future Trends and Challenges in Scientific Workflows
本文总结了2024年工作流社区峰会成果，围绕时间敏感工作流、AI-HPC融合、多设施协作、异构环境、用户体验和FAIR工作流六大方向，提出标准化指标、云-HPC集成框架、分布式建模、多设施认证及AI加速管理等关键建议。
2024-10-19 cs.DC
Enabling Scientific Workflow Scheduling Research in Non-Uniform Memory Access Architectures
Universidad de los Andes（安第斯大学）
本文提出nFlows，一个支持在非统一内存访问架构上进行科学工作流调度研究的运行时系统，用于建模、执行、模拟和验证调度算法。
2025-11-25 cs.DC
SciTokens: Capability-Based Secure Access to Remote Scientific Data
安全凭证的管理（例如，密码、密钥）是科学家和信息安全官员的负担。凭证问题（例如，过期、特权不匹配）导致工作流无法获取所需的输入数据或存储有价值的科学结果，从而通过要求科学家诊断问题、重新运行他们的计算以及等待更长时间以获得他们的结果而使他们从他们的研究中分心。在本文中，我们介绍了开源软件SciTokens，以帮助科学家更可靠，更安全地管理他们的安全凭证。我们描述了SciTokens系统的架构、设计和实现，解决了激光干涉仪引力波天文台（LIGO）科学合作和大型综合巡天望远镜（LSST）项目的用例。我们还介绍了我们与广泛使用的支持分布式科学计算的软件的集成，包括HTCondor，CVMFS和XrootD。SciTokens使用IETF标准的OAuth令牌，用于基于能力的远程科学数据安全访问。访问令牌传达工作流所需的特定授权，而不是通用认证模拟凭证，以解决在包括NSF资源的分布式基础设施上运行的科学工作流的风险（例如，LIGO数据网格，开放科学网格，XSEDE）和公共云（例如，Amazon Web Services、Google Cloud、Microsoft Azure）。通过提高科学工作流程的互操作性和安全性，SciTokens 1）使分布式计算能够用于需要更大数据保护的科学领域，2）通过降低远程系统上的凭证滥用风险，使更广泛的分布式计算资源能够使用。
2018-07-12 cs.DC
Paving the Way to Hybrid Quantum-Classical Scientific Workflows
本文针对量子计算难以融入复杂科学工作流的问题，形式化混合量子-经典工作流，提出量子组件识别与资源映射方法，并通过真实用例验证及设计混合工作流管理系统架构。
2024-04-16 cs.DC cs.ET
WfChef: Automated Generation of Accurate Scientific Workflow Generators
科学工作流应用已经成为主流，它们在大规模计算平台上的自动化和高效执行是广泛研究和开发的对象。为了使这些努力取得成功，需要一个坚实的实验方法来评估工作流算法和系统。这种方法的基础是现实的工作流实例的可用性。在公共存储库中有几十个用于一些科学应用程序的工作流实例。虽然这些都是非常宝贵的，但它们是有限的：工作流实例并不适用于所有感兴趣的应用程序规模。为了解决这一限制，以前的工作已经开发出合成的，但代表性的，任意规模的工作流实例的生成器。这些生成器很受欢迎，但实现它们是一个手动的劳动密集型过程，需要专业的应用程序知识。因此，这些生成器只针对少数应用程序，尽管数百个应用程序在生产中使用工作流。在这项工作中，我们提出了WfChef，一个框架，完全自动化的过程中构建一个合成的工作流生成器的任何科学应用。基于一组输入的工作流实例，WfChef自动生成一个合成工作流生成器。我们定义和评估几个指标，量化生成的工作流的现实主义。使用这些指标，我们将WfChef生成器生成的工作流的真实性与以前可用的手工生成器生成的工作流进行比较。我们发现，WfChef生成器不仅需要零开发工作（因为它是自动生成的），而且生成的工作流比手工生成器生成的工作流更逼真。
2021-05-01 cs.DC cs.SE
A High-Quality Workflow for Multi-Resolution Scientific Data Reduction and Visualization
本文提出一种高质量工作流，通过面向压缩的ROI提取将均匀数据转为多分辨率格式，并优化三种有损压缩器，结合不确定性可视化，显著提升均匀网格与AMR仿真的多分辨率数据压缩质量。
2024-10-01 cs.DC
Wilkins: HPC In Situ Workflows Made Easy
本文提出面向 HPC 的原位工作流系统 Wilkins，通过灵活接口、基于 HDF5 的高性能传输、流控和零代码耦合，实现易用且可扩展高效的科学任务执行。
2024-04-04 cs.DC
Secure API-Driven Research Automation to Accelerate Scientific Discovery
该研究提出安全科学服务网格S3M，将近实时流处理、智能工作流编排与细粒度授权集成于服务网格架构，在保障安全的同时革新高性能计算的程序化访问，加速科学发现。
2025-06-13 cs.DC
Towards a Grid Platform for Scientific Workflows Management
工作流管理系统允许用户在更高的层次上开发复杂的应用程序，通过编排功能组件而无需处理实现细节。虽然在企业环境中开发了各种各样的工作流引擎，但可用于科学应用程序的开源引擎缺乏某些功能，或者对于非专业人员来说太难使用。我们的目的是开发一个分布式系统的工作流管理平台，它将提供像一个直观的方式来描述工作流，高效的数据处理机制和灵活的容错支持的功能。我们在这里介绍一个架构模型的工作流平台，基于ActiveStream工作流引擎，我们建议增加一组额外的组件。
2009-10-04 cs.DC cs.NI
A GPU-accelerated Molecular Docking Workflow with Kubernetes and Apache Airflow
本研究将专为HPC设计的GPU加速分子对接工作流迁移至基于Kubernetes和Apache Airflow的云原生环境，提供了基于DAG的实现与GPU部署细节，并利用SWEETLEAD数据集验证了其在异构云资源上有效重叠不同执行阶段的能力。
2024-10-14 cs.DC
