Exploring the Role of Machine Learning in Scientific Workflows: Opportunities and Challenges
在本调查中,我们讨论了执行科学工作流程的挑战以及现有的机器学习(ML)技术来缓解这些挑战。我们提供了将ML应用于这些工作流执行的每个步骤的背景和动机。此外,我们还就如何将ML技术扩展到执行科学工作流程中尚未解决的挑战提供了建议。此外,我们还讨论了使用ML技术进行原位操作的可能性。我们探讨了现场工作流的挑战,并提供了使用ML技术提高其执行性能的建议。
2021-10-26 cs.DC
KubeAdaptor: A Docking Framework for Workflow Containerization on Kubernetes
针对工作流系统迁移到Kubernetes时任务调度顺序不一致的问题,本文提出云原生对接框架KubeAdaptor,通过事件触发机制实现工作流容器化并保证调度顺序一致,实验表明其在执行时间、生命周期和资源使用率上优于Argo。
2022-07-04 cs.DC
Exploring the Potential of Carbon-Aware Execution for Scientific Workflows
本文针对科学工作流高能耗与高排放问题,基于真实 Nextflow 工作流、线性功耗模型和区域 CI 数据评估时间迁移、暂停恢复及资源扩缩容,证明碳感知执行具有显著减排潜力。
2025-03-19 cs.DC
Balsam: Automated Scheduling and Execution of Dynamic, Data-Intensive HPC Workflows
我们引入Balsam服务来管理超级计算系统上的高吞吐量任务调度和执行。Balsam允许用户使用从简单的独立任务到动态多任务工作流的各种任务填充任务数据库。通过对本地资源调度器和MPI环境的抽象,Balsam动态地将任务打包成集成作业并管理其调度生命周期。该集成在一个试验“启动器”中执行,该“启动器”(i)确保具有异构处理器要求的任意串行和并行程序的并发、负载平衡执行,(ii)不需要修改用户应用程序,(iii)容忍任务级故障并提供若干错误恢复选项,(iv)存储起源数据(v)支持动态工作流,其中在运行时创建或终止任务。在这里,我们介绍了Balsam服务和启动器的设计和Python实现。使用两个案例研究说明了该系统的有效性:深度神经网络的超参数优化和高通量单点量子化学计算。我们发现,灵活的作业包装和自动化调度与动态(试点管理)执行的独特组合,有利于良好的资源利用率。在超级计算机上管理资源和启动工作流通常所需的脚本开销大大减少,加快了工作流的开发和执行。
2019-09-18 cs.DC
RHAPSODY: Execution of Hybrid AI-HPC Workflows at Scale
Rutgers University(罗格斯大学);Hewlett Packard Enterprise(惠普企业);Brookhaven National Laboratory(布鲁克海文国家实验室);IE University(IE大学)
RHAPSODY通过统一抽象实现异构AI-HPC工作负载的并发执行,支持大规模高吞吐量推理和紧密耦合任务耦合。
2025-12-23 cs.DC
Augur: Pre-Execution Energy Prediction for Workflow Tasks in Heterogeneous Clusters
University of Glasgow(格拉斯哥大学);Humboldt-Universität zu Berlin(柏林洪堡大学)
提出Augur方法,通过高效分析集群基础设施和工作流特征,在任务执行前预测能耗,中位预测误差约16-18%,优于现有方法。
2026-05-29 cs.DC
Uncovering the Perfect Place: Optimising Workflow Engine Deployment in the Cloud
在编排高度分布式和数据密集型的Web服务工作流时,编排引擎的地理位置会极大地影响工作流的整体性能。我们提出CloudForecast:一种Web服务框架和分析工具,在给定工作流规范的情况下,计算最佳Amazon EC2 Cloud区域,以自动部署编排引擎并执行工作流。我们使用Amazon Cloud区域和工作流节点之间的工作流地理距离、网络延迟和HTTP往返时间来查找云区域的排名。这个总体排名预测了工作流编排引擎应该部署在哪里,以减少总体执行时间。我们的实验结果表明,我们提出的优化策略,根据特定的工作流程,可以加快执行时间平均82.25%相比,本地执行。
2014-10-22 cs.DC
Location, Location, Location: Data-Intensive Distributed Computing in the Cloud
在编排高度分布式和数据密集型的Web服务工作流时,编排引擎的地理位置会极大地影响工作流的整体性能。演示引擎通常从组织的网络内运行,并且可能必须跨长的地理距离传输数据,这反过来增加了执行时间并降低了工作流的整体性能。在本文中,我们提出了CloudForecast:一个Web服务框架和分析工具,它给出了一个工作流规范,计算最佳的亚马逊EC2云区域自动部署编排引擎和执行工作流。我们使用Amazon Cloud区域和工作流节点之间的工作流地理距离、网络延迟和HTTP往返时间来查找云区域的排名。这个简单指标的组合集有效地预测了工作流编排引擎应该部署在哪里,以减少总体执行时间。我们通过执行在PlanetLab平台上部署的随机生成的数据密集型工作流来评估我们的方法,以便对Amazon EC2 Cloud区域进行排名。我们的实验结果表明,我们提出的优化策略,根据特定的工作流程,可以加快执行时间平均82.25%相比,本地执行。我们还表明,执行时间的标准差减少了近65%的平均使用优化策略。
2014-02-03 cs.DC
Adaptive Scheduling for Efficient Execution of Dynamic Stream Workflows
在线异常检测或在线流量监控等流工作流应用将多个流大数据应用集成到数据分析管道中。这个应用程序在本质上是高度动态的,其中数据速度可能在运行时改变,因此资源应该随时间进行管理。为了管理这些变化,这个应用程序的编排需要一个动态的执行环境和动态调度技术。对于前一个需求,多云环境是一个可见的解决方案,以应对这个工作流应用程序的动态方面。而对于后一种需求,动态调度技术不仅需要满足最终用户在数据处理和决策截止时间方面的需求,以及数据流源位置约束,而且需要在运行时调整供应和调度计划,以应对流数据率的动态变化。因此,我们提出了一个两阶段的自适应调度技术,以有效地调度在多云环境中的动态工作流应用程序,可以响应在运行时的数据速度的变化。实验结果表明,该方法接近下限,对不同的实验场景是有效的。
2019-12-18 cs.DC
Smart Scheduling of Continuous Data-Intensive Workflows with Machine Learning Triggered Execution
为了从来自许多不同来源的不断增长的数据量中提取价值,并推动决策制定,组织经常求助于数据处理工作流的组合,因为它们具有表达性,灵活性和可扩展性。典型的工作流模型在处理步骤之间强制执行严格的时间同步,而不考虑中间计算对最终工作流输出的实际影响。然而,这在许多场景中不是最理想的行为。我们确定了一类用于连续数据处理的应用程序,其中工作流输出在短到中等的时间窗口中变化缓慢且没有很大意义,从而浪费了当前方法的计算资源和能量。为了克服这种低效率,我们引入了一种新的工作流模型,连续和数据密集型处理,能够放松触发语义根据影响输入数据评估有改变工作流输出。为了评估这种影响,学习输入和输出变化之间的相关性,并在给定的容许误差常数内保证正确性,我们依赖于机器学习。该工作流模型的功能是在SmartFlux中实现的,SmartFlux是一个中间件框架,可以毫不费力地与现有的工作流管理器集成。实验结果表明,我们能够节省大量的资源,同时不偏离工作流输出超过一个小的误差常数与高置信度。
2016-12-12 cs.DC
Evaluating Distributed Execution of Workloads
分布式执行的资源选择和任务放置带来了概念和实现上的困难。虽然资源选择和任务放置是许多工具和工作流系统的核心,但这些方法是临时的,而不是基于模型的。因此,部分和非互操作的实现激增。我们解决的概念和实施的困难,通过实验表征不同模式的资源选择和任务安排。我们比较了两个系统的架构和功能:AIMES中间件和Swift工作流脚本语言和运行时。我们将这些系统集成在一起,以便在AIMES中间件管理的Pilot-Jobs上分布式执行Swift工作流。我们的实验的特点和比较替代执行策略,通过测量的时间来完成异构的非耦合工作负载在不同的规模和多个资源上执行。我们测量的不利影响,试点碎片和早期绑定的任务资源和回填调度的好处,在多个资源上的试点。然后,我们利用这一洞察力在五个生产级资源上执行多阶段工作流程。我们讨论了其他工具和工作流系统的重要性和影响。
2021-11-02 cs.DC
Energy-Aware Workflow Execution: An Overview of Techniques for Saving Energy and Emissions in Scientific Compute Clusters
本文通过估算三个真实科学工作流的碳足迹揭示能耗问题,并系统综述了从异构架构、代码优化到电压频率调节、负载整合与调度等多种降低科学计算集群能耗与碳排放的技术。
2025-06-04 cs.DC
Custom Execution Environments with Containers in Pegasus-enabled Scientific Workflows
科学可重复性是科学工作流程的基石特征。在大多数情况下,这已经被实现为一种精确地再现为达到最终结果所采取的计算步骤的方法。虽然这些步骤通常被完整地描述,包括输入参数、数据集和代码,但是执行这些步骤的环境仅在更高级别上用端点和操作系统名称和版本来描述。虽然这可能足以在短期内实现可重复性,但系统会随着时间的推移而发展和更换,从而打破了基本的工作流程可重复性。这个问题的一个自然解决方案是容器,因为它们定义良好,具有独立于底层系统的生命周期,并且可以由用户控制,以便在需要时提供自定义环境。本文重点介绍了在分布式科学工作流中使用容器时可能出现的一些独特挑战。此外,本文探讨了如何飞马工作流管理系统实现容器支持,以应对这些挑战。
2019-05-20 cs.DC
Performance considerations on execution of large scale workflow applications on cloud functions
Function-as-a-Service是一种新型的云服务,用于创建分布式应用程序和利用计算资源。应用程序开发人员提供云功能的源代码,这些功能是小型应用程序或应用程序组件,而服务提供商负责提供基础设施,扩展和公开REST风格的API。这种环境似乎足以运行科学工作流程,近年来,科学工作流程已成为实施和维护复杂科学过程的既定范例。在本文中,我们介绍了评估三个主要的FaaS提供商(亚马逊,谷歌,IBM)作为运行科学工作流的平台所做的工作。实验进行了一个专门的基准测试框架,其中包括仪表化的工作流执行引擎。测试负载被实现为大规模的任务袋风格的工作流,其中任务计数达到5120并行运行。所研究的参数包括原始性能、基础设施配置的效率、API和网络层引入的开销,以及与运行时间计费相关的方面。结论包括对可用性能的深入了解,表示为原始GFlops值和描述性能与函数大小关系的图表。基础设施配置被证明是由并行度和速率限制控制的,这可以从包含的图表中推断出来。事实证明,使用REST API所带来的开销对单个任务的总体运行时间以及整个工作流的总体运行时间有很大影响。本文最后指出了未来可能的工作,包括建立性能模型和设计一个专用的调度算法,用于在FaaS上运行科学工作流。
2019-09-08 cs.DC
AI-coupled HPC Workflow Applications, Middleware and Performance
本文综述AI驱动的高性能计算工作流,提出六种常见执行模式,分析性能挑战,并指出开放问题与基准测试需求。
2025-06-24 cs.DC
CMS Workflow Execution using Intelligent Job Scheduling and Data Access Strategies
复杂的科学工作流程可以使用数千个任务来处理大量数据。这些工作流的周转时间通常受到各种延迟的影响,例如各个工作流过程或参与者的资源发现、调度和数据访问延迟。最小化这些延迟将改善工作流的总体执行时间,从而导致更有效和更健壮的处理环境。在本文中,我们提出了一个试点作业为基础的基础设施,具有智能数据重用和作业执行策略,以尽量减少调度,排队,执行和数据访问延迟。结果表明,显着改善的整体周转时间的工作流程,可以实现这种方法。所提出的方法进行了评估,首先使用CMS Tier0数据处理工作流程,然后模拟工作流程,以评估其有效性在受控环境中。
2012-02-24 cs.DC cs.SE
Semantics, Workflows, and Infrastructure: Understanding Agent Serving at Production Scale
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Ant Group(蚂蚁集团)
本文通过分析生产平台1170万条请求和超万块GPU的追踪数据,从任务语义、工作流模式与基础设施需求三层揭示智能体服务负载特征,并提出部署启示与开放问题。
2026-09-29 cs.DC
Workflow Cards: Structured Summaries of Workflow Executions Using Provenance Data
University of Trento(特伦托大学);Argonne National Laboratory(阿贡国家实验室);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出工作流卡片,将工作流执行的溯源数据转化为可读的结构化摘要,填补了现有模型、数据卡片缺失执行级信息的空白,使LLM回答质量较传统查询提升近一倍。
2026-08-12 cs.AI cs.DC
exa-AMD: A Scalable Workflow for Accelerating AI-Assisted Materials Discovery and Design
exa-AMD是一款基于Python的应用程序,通过集成AI/ML工具、材料数据库和量子力学计算构建可扩展的高性能工作流,利用Parsl库实现工作流逻辑与执行配置解耦,加速功能材料的发现与设计。
2025-06-26 cs.DC
Adding Workflow Management Flexibility to LSST Pipelines Execution
数据处理管道需要以从小的运行到大的生产数据发布运行的规模执行,从而产生数百万个数据产品。作为Rubin Observatory的流水线执行系统的一部分,BPS是一个抽象层,为不同的工作流管理系统(WMS)(如HTCondor和PanDA)提供接口。在提交过程中,流水线执行系统与数据管家交互,从算法任务中生成面向科学的执行图。BPS将此执行图转换为工作流图,然后使用特定于WMS的插件来提交和管理工作流。在这里,我们将讨论这个接口的架构设计,并简要报告最近的数据预览0.2版本的生产以及管道开发人员如何使用该系统。
2022-11-28 astro-ph.IM cs.DC
Serverless Everywhere: A Comparative Analysis of WebAssembly Workflows Across Browser, Edge, and Cloud
MIFT Department, University of Messina(墨西拿大学 MIFT 系);Institute of Information Technology, University of Klagenfurt(克拉根福大学信息技术研究所);Center for Ubiquitous Computing, University of Oulu(奥卢大学泛在计算中心);Department of Computer Science, University of Innsbruck(因斯布鲁克大学计算机科学系)
本文比较了浏览器、边缘和云环境中WebAssembly工作流的性能,发现AOT编译和预热显著降低启动延迟,浏览器在小负载下表现优异,但随着负载增大,边缘和云节点的AOT执行更优。
2025-11-01 cs.DC
StreamFlow: cross-breeding cloud with HPC
本文提出 StreamFlow 工作流执行方法,以声明式环境描述扩展工作流图,支持 Kubernetes、批处理集群等多云/HPC 站点及无共享数据空间的跨环境执行,并通过单细胞转录组分析生物信息学流水线加以验证。
2020-08-30 cs.DC
Towards Experiment Execution in Support of Community Benchmark Workflows for HPC
针对HPC领域基准测试有限难以展示算力的问题,研究提出可适配的工作流模板与“基准构建”概念,经两款工具在多类科学应用中验证,可提升工作流适配性,助力社区基准测试工作流落地。
2025-07-30 cs.DC
Optimal Deployment of Geographically Distributed Workflow Engines on the Cloud
在编排Web服务工作流时,编排引擎的地理位置会极大地影响工作流性能。数据可能必须跨越很长的地理距离进行传输,这反过来又增加了执行时间并降低了工作流的整体性能。在本文中,我们提出了一个框架,给定一个基于DAG的工作流规范,计算最佳的Amazon EC2云区域来部署编排引擎和执行工作流。该框架采用了一个约束模型,解决了工作流部署问题,这是使用自动约束建模系统生成的。通过执行代表科学工作量的不同示例工作流来评估框架的可行性。实验结果表明,该框架减少了工作流的执行时间,并提供了1.3倍-2.5倍的速度超过集中式的方法。
2014-10-30 cs.DC
HyProv: Hybrid Provenance Management for Scientific Workflows
Humboldt-Universität zu Berlin(柏林洪堡大学);University of Glasgow(格拉斯哥大学)
HyProv提出一种结合集中式与联邦式范式的混合溯源管理系统,面向科学工作流实现可扩展、在线且具备工作流感知的溯源查询,实验证明其能以亚秒级延迟处理大规模工作流并仅带来适度资源开销。
2025-11-10 cs.DC
Introducing SWIRL: An Intermediate Representation Language for Scientific Workflows
针对科学计算中工作流执行的新需求,本文提出面向科学工作流的中间表示语言SWIRL,作为分布式工作流执行计划的底层编译目标,具备底层原语、形式化转换框架与重写优化规则,并已开发出开源编译器工具链。
2024-07-01 cs.DC
Enabling Scientific Workflow Scheduling Research in Non-Uniform Memory Access Architectures
Universidad de los Andes(安第斯大学)
本文提出nFlows,一个支持在非统一内存访问架构上进行科学工作流调度研究的运行时系统,用于建模、执行、模拟和验证调度算法。
2025-11-25 cs.DC
Distributed In-memory Data Management for Workflow Executions
来自不同领域的复杂科学实验通常被建模为工作流,并使用并行工作流管理系统(WMS)在大型机器上执行。由于这种执行通常持续数小时或数天,因此一些WMS提供用户引导支持,即,它们允许用户运行数据分析,并根据结果在运行时调整工作流程。并行执行控制设计中的一个挑战是管理工作流数据以实现高效执行,同时支持用户转向支持。高可扩展性的数据访问通常是面向事务的,而对于数据分析,它是面向在线分析的,因此管理这种混合工作负载使挑战变得更加困难。在这项工作中,我们提出了SchalaDB,一组设计原则和技术的基础上,分布式内存中的数据管理高效的工作流执行控制和用户转向的架构。我们提出了一个分布式数据设计的可扩展的工作流任务调度和高可用性驱动的并行和分布式内存中的DBMS。为了评估我们的建议,我们开发了d-Chiron,这是一个根据SchalaDB原则设计的WMS。我们进行了广泛的实验评估的HPC集群多达960个计算核心。在其他分析中,我们表明,即使在运行数据分析用户转向,SchalaDB的开销是可以忽略不计的工作负载组成的数百个并发任务的共享数据。我们的研究结果鼓励工作流引擎开发人员遵循并行和分布式的面向数据的方法,不仅调度和监控,但也为用户转向。
2021-05-12 cs.DB cs.DC
Asynchronous Execution of Heterogeneous Tasks in ML-driven HPC Workflows
Brookhaven National Laboratory(布鲁克海文国家实验室);Rutgers, the State University of New Jersey(罗格斯大学,新泽西州立大学)
本文研究了ML驱动HPC工作流的异步任务执行需求,建模了异步程度并提出关键指标,在Summit上大规模实验验证了异步执行带来的性能提升与模型一致。
2023-06-27 cs.AI cs.DC cs.LG
Scientific Workflow Scheduling in Cloud Considering Cold Start and Variable Pricing Model
针对科学云服务提供商面临的冷启动和多种虚拟机定价模型管理挑战,提出一种结合历史数据初始规划与实时调整的混合调度框架,在真实数据集上相比现有方法实现高达20%的利润提升。
2025-04-30 cs.DC
Strategies to Measure Energy Consumption Using RAPL During Workflow Execution on Commodity Clusters
针对商用托管集群中工作流能耗测量难的问题,本文提出三种基于Intel RAPL、在Kubernetes集群上结合Nextflow引擎的能耗测量方法,经标准对比和实证评估明确各方案优劣及并发任务能耗估算方案。
2025-05-19 cs.DC
Cloud Workload Prediction based on Workflow Execution Time Discrepancies
基础设施即服务云隐藏了维护物理基础设施的复杂性,但有一个小小的缺点:它们还隐藏了内部工作细节。用户是否需要了解这些细节,例如,为了提高其应用程序的可靠性或性能,它们需要能够检测基础系统中行为变化的解决方案。现有的用于此类目的的运行时解决方案提供有限的功能,因为它们大多限于揭示基础设施中的每周或每年的行为周期。本文提出了一种通过模拟来预测通用后台工作负载的技术,该技术能够提供底层私有云系统的额外知识,以支持云编排或工作流制定等活动。我们的技术使用长期运行的科学工作流及其行为差异,并尝试在具有已知(基于跟踪)工作负载的模拟云中复制这些工作流。我们认为,我们越能更好地模拟当前的差异,我们就越能更好地了解现实生活中的云计算在不久的将来的预期工作负载。我们评估了所提出的预测方法与生物化学应用在真实和模拟的云基础设施。所提出的算法已被证明比随机工作负载选择对模拟云的未来产生显著(约20%)更好的工作负载预测。
2018-03-19 cs.DC
Towards cloud-native scientific workflow management
本文评估了Kubernetes中科学工作流的替代执行模型,提出基于微服务的自动扩展worker-pools云原生模型,在HyperFlow系统中实现并使用Montage工作流评估,相比最佳作业模型makespan提升近20%。
2024-08-27 cs.DC
Adaptive Resource Allocation for Workflow Containerization on Kubernetes
针对Kubernetes工作流引擎资源分配缺乏敏捷性和可预测性导致效率低与浪费的问题,提出自适应资源分配方案ARAS,通过资源扩展策略应对高并发场景,实验证明其显著缩短工作流执行时间并提升资源使用率。
2023-01-20 cs.DC
WfBench: Automated Generation of Scientific Workflow Benchmarks
具有高计算需求的科学工作流的流行要求其在各种分布式计算平台上执行,包括大规模领导级高性能计算(HPC)集群。为了处理工作流执行的部署、监控和优化,在过去十年中开发了许多工作流系统。有一个需要的工作流基准,可用于评估当前和未来的软件栈和硬件平台上的工作流系统的性能。我们提出了一个现实的工作流基准规范,可以转化为基准代码与当前的工作流系统执行的生成器。我们的方法生成的工作流任务具有任意的性能特征(CPU,内存和I/O的使用)和现实的任务依赖结构的基础上,在生产工作流中看到的。我们目前的实验结果表明,我们的方法生成的基准是生产工作流的代表,并进行案例研究,以证明我们生成的基准的使用和有用性,以评估不同的配置方案下的工作流系统的性能。
2022-10-06 cs.DC
Towards Advanced Monitoring for Scientific Workflows
本文针对科学工作流跨组件监控割裂、指标依赖分析不足的问题,提出四层监控架构蓝图,并考察五种主流SWMS以明确落地路径。
2023-07-18 cs.DC
Memory-aware Adaptive Scheduling of Scientific Workflows on Heterogeneous Architectures
针对异构平台上DAG形科学工作流,提出记忆感知的HEFT变体及自适应重调度策略,集成运行时系统,避免内存不足并显著缩短完工时间。
2025-03-28 cs.DC
Efficient Probabilistic Workflow Scheduling for IaaS Clouds
针对 IaaS 云中性能不确定导致确定性调度失效、现有概率方法计算昂贵的问题,提出 EPOSS 算法,兼顾低延迟与概率约束,执行时间降低一到两个数量级并具备良好扩展性。
2024-12-08 cs.DC
WOW: Workflow-Aware Data Movement and Task Scheduling for Dynamic Scientific Workflows
本文提出WOW调度方法,通过协同引导数据移动与任务调度并创建中间文件推测性副本,有效减少动态科学工作流的网络拥塞与运行时间,在Nextflow和Kubernetes实验中显著降低完成时间且扩展性良好。
2025-03-28 cs.DC
Efficiently Reproducing Distributed Workflows in Notebook-based Systems
University of Missouri(密苏里大学);DePaul University(德保罗大学);University of Notre Dame(圣母大学)
本文提出NBRewind系统,通过增量检查点和日志提升分布式工作流在笔记中的可重现性与效率,减少全量重执行开销。
2026-03-27 cs.DC cs.SE
Flow-Bench: A Dataset for Computational Workflow Anomaly Detection
本文针对计算工作流异常检测缺乏开放数据与基准的问题,构建 Flow-Bench,通过异常注入、日志采集、多模态表示及监督/无监督方法评测,提供公开数据集与基准代码。
2024-06-13 cs.DC
Modular Resource Centric Learning for Workflow Performance Prediction
工作流为分布式计算环境中的大规模应用程序的细粒度控制提供了一种表达性编程模型。在大规模机器上精确估计复杂的工作流执行指标有几个关键优势。当预测的执行度量的准确性降低时,依赖于执行度量的估计的调度算法的性能降低。这篇正在进行的论文提出了一种正在开发的技术,以提高分布式平台上的大规模工作流的预测性能指标的准确性。这项工作的中心思想是训练以资源为中心的机器学习代理,以捕获一组程序指令和它们在特定资源上执行时的性能指标之间的复杂关系。这种以资源为中心的工作流视图利用了这样一个事实,即预测工作流子模块的执行时间需要对一些动态和静态特征进行监视和建模。我们将输入工作流,本质上是一个有向的非循环图的行动到一个物理资源执行计划(PREP)。这种转换使我们能够将任意复杂的工作流建模为在物理节点上运行的一组更简单的程序。我们委托一个机器学习模型来捕获每种资源类型在不同程度的资源竞争下执行不同程序指令时的性能指标。我们的算法从每个资源代理的预测指标,并利用相应的物理资源执行计划的结构组成的整体工作流性能指标。
2018-04-17 cs.DC cs.LG
QoSFlow: Ensuring Service Quality of Distributed Workflows Using Interpretable Sensitivity Models
University of Delaware(特拉华大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);Illinois Institute of Technology(伊利诺伊理工学院)
QoSFlow通过可解释的敏感性模型,高效确保分布式工作流的服务质量,其推荐性能优于标准启发式方法27.38%。
2026-02-27 cs.DC cs.PF
Comprehensive Plugin-Based Monitoring of Nexflow Workflow Executions
Zuse Institute Berlin(齐泽柏林研究所);TU Darmstadt(达姆施塔特工业大学)
本文提出一种基于插件的Nexflow工作流监控方法,提供更详细灵活的监控能力,兼容wf-instances并支持在线监控。
2026-03-19 cs.DC cs.PF
Aragog: Just-in-Time Model Routing for Scalable Serving of Agentic Workflows
Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
Aragog通过动态配置调整提升工作流服务吞吐量和降低延迟,保持准确性。
2025-12-12 cs.DC
KS+: Predicting Workflow Task Memory Usage Over Time
KS+通过动态分割任务执行并预测各分段内存需求,解决工作流任务内存消耗随输入和时间波动导致的静态配置浪费问题,在真实工作流上相比最优基线平均减少38%内存浪费。
2024-10-01 cs.DC
Improving Scientific Workflow with Cloud Offloading
科学工作流是一种有效的工具,可以简化和组织科学应用的计算步骤。本文介绍了Emerald,这是一个为科学工作流程添加复杂云卸载功能的系统。Emerald自动将科学工作流的计算密集型步骤卸载到云端,以提高工作流性能。Emerald提供易于使用的API,帮助开发人员构建支持云卸载的科学工作流程。评估表明,Emerald可以有效地减少高达55%的科学应用程序的执行时间。
2017-10-04 cs.DC
Analyzing the HCP Datasets using GPUs: The Anatomy of a Science Engagement
本文记录了提高人类连接组项目的HCP 900数据集分析的数据处理工作流程的性能的经验。它描述了在科学参与过程中如何发现和解决网络和计算瓶颈。描述了对FSL BedpostX工作流程的一系列计算增强。这些增强功能将工作流程从Slurm调度程序不兼容导致的缓慢串行计算执行迁移到GPU资源上的最终执行,从单个CPU核心上的21天执行到GPU上的2小时执行。此工作流程为使用额外GPU构建园区计算集群提供了重要的用例,并增强了网络带宽。它还分享了对科学软件分发的潜在改进的见解,以避免特定地点部署决策的停滞。讨论强调了开放许可证和流行的代码协作网站(如GitHub.com)在上游提供贡献方面的优势。
2019-09-07 cs.DC
Parallelization in Scientific Workflow Management Systems
在过去的二十年里,科学工作流管理系统(SWfMS)已经成为一种促进可重用科学数据处理管道的设计,执行和监控的手段。与此同时,各个科学领域产生的数据量超过了计算能力和存储能力的增强。对于生命科学来说尤其如此,新技术将测序吞吐量从每天10兆字节提高到了每天10兆字节。这种趋势需要当前的SWfMS来适应:必须提供对并行工作流执行的本机支持以提高性能;必须集成可动态扩展的“按使用付费”计算基础设施以降低硬件成本;需要分布式计算环境中的工作流的自适应调度以优化资源利用率。在这次调查中,我们给出了一个概述的并行化技术的SWFMS,无论是在理论上,并在具体的系统中实现。我们发现,目前的系统留下了相当大的改进空间,我们提出了关键的进步,SWFMS的景观。
2013-03-28 cs.DC
Descriptive Execution of HPC Applications and Workflows
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
研究评估智能框架在高性能计算中的表现,该框架结合大语言模型及资源,能完成扩展研究、作业规范转换和生物科学工作流三项任务,揭示特定任务失败模式,为多集群设置开发提供宝贵信息。
2026-07-14 cs.DC
Bridging Design and Execution: A Visual Graph Editor for Edge and Cloud Workflows
Faculty of Technical Sciences, University of Novi Sad(诺维萨德大学技术科学学院);School of Electrical Engineering, University of Belgrade(贝尔格莱德大学电气工程学院)
提出一种领域特定可视化图形编辑器,通过内核、共享内存节点和事件触发器三种抽象,支持边缘和云应用的模块化设计,自动序列化为可执行表示,弥合设计与部署的鸿沟。
2026-06-23 cs.DC cs.SE
Tuning for Tissue Image Segmentation Workflows for Accuracy and Performance
我们提出了一个软件平台,该平台集成了组织图像分割工作流程中多目标参数自动调整的方法和工具。我们工作的目标是提供一种通过调整输入参数来提高细胞核/细胞分割管道的准确性的方法。组织中细胞核的形状、大小和纹理特征是疾病预后的重要生物标志物,这些特征的准确计算依赖于细胞核边界的准确描绘。许多细胞核分割工作流程中的输入参数会影响分割精度,必须进行调整以获得最佳性能。这是一个耗时且计算成本高的过程;自动化此步骤有助于实现更强大的图像分割工作流,并能够在大型图像数据集中更有效地应用图像分析。我们的软件平台调整核分割算法的参数,以最大限度地提高图像分割结果的质量,同时最大限度地减少执行时间。它实现了几种优化方法来有效地搜索参数空间。此外,该方法被开发为在高性能计算系统上执行,以减少参数调整阶段的执行时间。我们使用三个真实世界的图像分割工作流程的结果表明,所提出的解决方案能够(1)搜索一小部分(约100个点)的参数空间,其中包含数十亿到数万亿个点,并将分割输出的质量平均提高1.20倍、1.29倍和1.29倍;(2)将分割工作流的执行时间减少多达11.79倍,同时提高输出质量;以及(3)有效使用并行系统来加速参数调整和分割阶段。
2018-10-05 cs.DC
A Cost-Driven Fuzzy Scheduling Strategy for Intelligent Workflow Decision Making Systems in Uncertain Edge-Cloud Environments
工作流决策是执行许多实际工作流应用的关键。边缘云环境下的调度可以解决工作流应用程序的高复杂性问题,同时减少云和终端设备之间的数据传输延迟。然而,由于边缘云环境中的异构资源和工作流中任务之间复杂的数据依赖关系,工作流调度仍然存在重大挑战,包括从可能的众多组合中选择最佳的任务-服务器解决方案。现有的研究主要是在没有波动的严格条件下进行的,忽略了工作流调度通常存在于不确定环境中的事实。在这项研究中,我们专注于减少主要由任务计算和数据传输引起的工作流应用程序的执行成本,同时满足不确定的边缘云环境中的工作流截止日期。采用三角模糊数来表示任务处理时间和数据传输时间。提出了一种基于自适应离散粒子群优化(ADPSO)算法的成本驱动模糊调度策略,该算法采用了遗传算法(GA)的算子。该策略引入了遗传算法的随机两点交叉算子、邻域变异算子和自适应多点变异算子,有效地避免了陷入局部最优。实验结果表明,与其他基准解决方案相比,该策略能有效降低不确定边缘云环境下的工作流执行代价.
2022-10-28 cs.DC
Resource-sharing Policy in Multi-tenant Scientific Workflow-as-a-Service Cloud Platform
社区中越来越多地采用科学工作流,这促使开发多租户平台,将这些工作流执行作为服务提供。因此,工作流即服务(WaaS)的概念已被研究人员创建,以解决未来的工作流管理系统(WMS)的设计,可以从一个单一的服务点服务于大量的用户。这些平台与传统的WMS不同之处在于,它们在运行时处理工作流的工作负载。传统的WMS通常被设计为在专用流程中执行单个工作流,而WaaS云平台通过在多租户环境模型中利用多个工作流执行来增强该流程。在本文中,我们探讨了一种新的资源共享策略,以提高系统利用率,并满足各种服务质量(QoS)的要求,从多个用户在WaaS云平台。提出了一种弹性预算约束的多工作流资源配置与调度算法,该算法通过鼓励资源共享来减少计算开销,从而在满足用户定义的预算的同时最小化工作流的最大完工时间。我们的实验表明,EBPSM算法可以利用资源共享的政策,以实现更高的性能,在最小化的最大完工时间相比,国家的最先进的约束调度算法。
2020-06-23 cs.DC