Carbon-aware Resource Management for Latency-Sensitive Cloud Computing Environments: A Taxonomy and Future Directions
University of Melbourne（墨尔本大学）；University of Amsterdam（阿姆斯特丹大学）
本文针对延迟敏感型云计算环境的碳感知资源管理问题，对相关最新文献进行分类分析，指出现有研究差距并提出未来研究方向，助力平衡延迟约束与碳减排目标。
2026-10-22 cs.DC
SLA Management in Intent-Driven Service Management Systems: A Taxonomy and Future Directions
本文通过系统文献综述研究意图驱动服务管理系统中的SLA管理，识别出四种意图管理活动并提出分类法，为工业界和学术界提供未来研究方向。
2023-05-26 cs.DC
A Bespoke Workflow Management System for Data-Driven Urgent HPC
在本文中，我们提出了一个工作流管理系统，它允许紧急计算所需的各种数据驱动的工作流，即新的数据被集成到工作流作为一个灾难的进展，以完善随着时间的推移的预测，这使得工作流，以适应新的数据在运行时，大多数工作流管理系统不具备的能力。工作流管理系统是为欧盟资助的VESTEC项目开发的，该项目旨在将HPC与实时数据融合，以支持紧急决策。我们首先描述了VESTEC项目的一个示例工作流，并说明了为什么现有的工作流技术不能满足项目的需求。然后，我们继续介绍我们的工作流管理系统的设计，描述它是如何实现到VESTEC系统，并提供了一个测试用例中使用的工作流系统的例子。
2020-10-23 cs.DC
Energy and Thermal-aware Resource Management of Cloud Data Centres: A Taxonomy and Future Directions
University of Melbourne（墨尔本大学）
本文研究了云数据中心现有的资源管理方法，以提高能源和热效率。它确定了在资源管理系统中集成计算和冷却系统管理以及基于学习的解决方案的需求。在对文献进行深入分析的基础上，提出了数据中心节能和热高效资源管理的分类方法。此外，根据分类法对现有方法进行了详细的调查，并讨论了最近的进展，包括基于机器学习的资源管理方法和冷却管理技术。
2021-07-06 cs.DC cs.LG cs.NI
A Taxonomy and Survey of Grid Resource Planning and Reservation Systems for Grid Enabled Analysis Environment
耦合地理上分布的资源来解决大规模问题的概念正变得越来越流行，形成了通常所说的网格计算。网格环境中的资源管理变得复杂，因为资源在地理上是分布的，本质上是异构的，并且由不同的个人和组织拥有，每个人都有自己的资源管理策略和不同的访问和成本模型。已经有许多项目设计和实现了具有各种架构和服务的资源管理系统。在本文中，我们提出了资源管理系统应满足的一般要求。分类也已定义的基础上，在不同的现有网格项目的资源管理系统的调查已进行，以确定这些系统缺乏所需的功能的关键领域。
2018-01-14 cs.DC
Workflow Management on the Blockchain --- Implications and Recommendations
区块链技术最初由加密货币推广，已被提出作为一种基础设施技术，在许多业务管理领域都有应用。区块链提供了不可变的交易记录，这使得它们在业务参与者可能不完全信任彼此的情况下非常有用。区块链的分布式特性使其特别适合组织间电子商务应用。在本文中，我们研究了使用区块链来执行组织间工作流。我们讨论了架构选项，并描述了基于区块链的工作流管理系统（WfMS）的原型实现，突出了与传统WfMS的差异。我们的主要贡献是识别区块链基础设施带来的潜在问题，并提出解决这些问题的建议。
2019-10-29 cs.DC
Adapting Workflow Management Systems to BFT Blockchains -- The YAWL Example
区块链技术为信息记录提供了一个可审计和防篡改的分布式存储基础设施。这可以用来支持分布式工作流管理。与比特币和以太坊推广的工作量证明共识相比，基于BFT（拜占庭容错）的区块链订购共识交易可扩展性，以实现共识的即时性和最终性。这使得它们更容易用作分发基础设施，因为应用程序不需要进行调整以处理工作量证明区块链的最终一致性和延迟共识。因此，工作流引擎等应用程序可以很容易地移植到这样的区块链基础设施，以利用其分散的完整性保证和信息分发模型。在本文中，我们描述了如何在基于BFT的区块链基础设施上使用YAWL工作流引擎，以实现跨不同组织的协作工作流。
2020-06-10 cs.DC
Performance-Aware Management of Cloud Resources: A Taxonomy and Future Directions
云环境的动态特性使得分布式资源管理流程成为云服务提供商面临的挑战。根据客户期望保持服务质量的重要性以及云托管应用程序的高度动态性增加了流程的复杂性。大数据学习方法的进步已经将传统的静态容量规划解决方案转变为复杂的性能感知资源管理方法。它表明，资源调整的决策过程是密切相关的系统的行为，包括资源和应用程序组件的利用率。因此，对系统属性和性能度量的连续监视为影响应用程序性能的问题的分析提供了原始数据。统计和机器学习方法等数据分析方法提供了所需的概念、模型和工具，以挖掘数据，找到定义系统功能的一般规则、模式和特征。从数据分析过程中获得的知识有助于找出可能导致系统性能下降的工作负载变化、故障组件或问题。对性能降级的及时反应可以通过执行包括自动缩放或其他资源调整解决方案在内的适当纠正动作来避免违反服务级别协议。在本文中，我们调查云资源管理的主要要求和限制，包括在云性能管理的上下文中的工作负载和异常分析的方法的研究。分类的工作在这个问题上提出了确定现有的研究从数据分析方面的资源调整技术的主要方法。
2018-08-07 cs.DC
Workflow Management on BFT Blockchains
区块链技术已被提出作为用于各种新颖应用的新基础设施技术。区块链提供了一个不可变的交易记录，当业务参与者不信任彼此时，它们非常有用。它们的分布式特性使它们适合于组织间应用程序。然而，基于工作量证明的区块链在计算上效率低下，并且不能提供最终共识，尽管它们可以很好地扩展到大型网络。相比之下，围绕拜占庭容错（BFT）算法构建的区块链更有效，并提供即时和最终的共识，但不能很好地扩展到大型网络。我们认为，这使得他们非常适合工作流管理应用程序，通常包括不超过几十个参与者，但需要最终的共识。在本文中，我们讨论了架构选项，并提出了一个基于BFT区块链的工作流管理系统（WfMS）的原型实现。
2019-08-26 cs.DC
An Architectural Model for a Grid based Workflow Management Platform in Scientific Applications
随着科学应用对计算和数据需求的日益增长，使用大型集群系统以及分布式资源是不可避免的。虽然在这些环境中执行大型应用程序可以提高性能，但过程的自动化变得越来越具有挑战性。虽然在面向业务的环境中使用复杂的工作流管理系统是这种自动化过程的可行解决方案，但可用于科学应用的开源引擎缺乏某些功能，或者对于非专业人员来说太难使用。在这项工作中，我们提出了一个基于网格的工作流管理平台提供的功能，如一个直观的方式来描述工作流，高效的数据处理机制和灵活的容错支持的架构模型。我们的集成解决方案引入了一个工作流引擎组件的基础上扩展了额外的功能和调度组件提供有效的任务和可用资源之间的映射。
2011-06-29 cs.DC
A Test Taxonomy and Continuous Integration Ecosystem for Dynamic Resource Management in HPC
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）
本文提出一种结合MPI可变库测试分类的持续集成生态系统，用于评估动态资源管理框架的正确性，通过容器化虚拟集群实现自动化验证，提升了早期故障检测和维护效率。
2026-04-29 cs.DC cs.SE
A Taxonomy for Management and Optimization of Multiple Resources in Edge Computing
边缘计算的推广是为了在当前网络的边缘使用靠近终端设备的计算和存储资源来满足数据驱动服务日益增长的性能需求。为了在这种新模式中实现更高的性能，必须考虑如何在所有三个架构层（终端设备、边缘设备和云）上结合资源使用效率。虽然云容量是弹性可扩展的，但终端设备和边缘设备在不同程度上受到资源约束。因此，有效的资源管理对于实现边缘计算至关重要。在这项工作中，我们首先提出术语和架构来描述边缘计算领域内的当前工作。然后，我们回顾了广泛的最近的文章，并将相关方面的4个方面：资源类型，资源管理目标，资源定位，资源使用。这种分类和随后的分析是用来确定现有研究中的一些差距。在几个研究差距中，我们发现，数据，存储和能源作为一种资源的研究不太普遍，并且对估计，发现和共享目标的研究也不太广泛。至于资源类型，研究最多的资源是计算和通信资源。我们的分析表明，边缘的资源管理需要更深入地了解在不同级别应用的方法以及面向不同资源类型的方法如何相互作用。具体而言，与传统的云解决方案相比，需要激励的移动性和协作方案的影响预计在边缘架构中会有所不同。最后，我们发现，较少的作品致力于研究非功能属性或量化资源管理技术的足迹，包括边缘特定的手段迁移数据和服务。
2018-04-19 cs.DC
A Taxonomy of Data Grids for Distributed Data Sharing, Management and Processing
数据网格已被用作科学界的平台，科学界需要共享、访问、传输、处理和管理分布在世界各地的大型数据汇集。它们将高端计算技术与高性能网络和广域存储管理技术相结合。在本文中，我们讨论了数据网格背后的关键概念，并将其与其他数据共享和分发范例，如内容分发网络，对等网络和分布式数据库进行比较。然后，我们提供了全面的分类法，涵盖了体系结构，数据传输，数据复制和资源分配和调度的各个方面。最后，我们将建议的分类映射到各种数据网格系统，不仅验证分类，而且确定未来探索的领域。通过这种分类法，我们的目标是对现有系统进行分类，以更好地了解它们的目标和方法。这将有助于评估它们对解决类似问题的适用性。这种分类法还提供了这一领域的“差距分析”，通过这种分析，研究人员可以潜在地确定新的问题进行调查。最后，我们希望提出的分类和映射也有助于为新的从业者提供一个简单的方法来理解这个复杂的研究领域。
2005-06-10 cs.CE cs.DC
Predicting the Performance of Scientific Workflow Tasks for Cluster Resource Management: An Overview of the State of the Art
本文综述了科学工作流任务运行时间与内存预测的最新方法，比较了其关键特征，并探讨了性能预测在集群调度、节能计算及成本预测中的应用。
2025-04-29 cs.DC
Parallelization in Scientific Workflow Management Systems
在过去的二十年里，科学工作流管理系统（SWfMS）已经成为一种促进可重用科学数据处理管道的设计，执行和监控的手段。与此同时，各个科学领域产生的数据量超过了计算能力和存储能力的增强。对于生命科学来说尤其如此，新技术将测序吞吐量从每天10兆字节提高到了每天10兆字节。这种趋势需要当前的SWfMS来适应：必须提供对并行工作流执行的本机支持以提高性能;必须集成可动态扩展的“按使用付费”计算基础设施以降低硬件成本;需要分布式计算环境中的工作流的自适应调度以优化资源利用率。在这次调查中，我们给出了一个概述的并行化技术的SWFMS，无论是在理论上，并在具体的系统中实现。我们发现，目前的系统留下了相当大的改进空间，我们提出了关键的进步，SWFMS的景观。
2013-03-28 cs.DC
AI-based Fog and Edge Computing: A Systematic Review, Taxonomy and Future Directions
计算中的资源管理是一个非常具有挑战性的问题，涉及到顺序决策。资源限制、资源异构性、工作负载的动态性和多样性以及雾/边缘计算环境的不可预测性使得雾环境中的资源管理更具挑战性。近年来，基于人工智能（AI）和机器学习（ML）的解决方案被用来解决这个问题。能够做出顺序决策的AI/ML方法，如强化学习，似乎最有希望解决这类问题。但是这些算法也有自己的挑战，比如高方差、可解释性和在线训练。不断变化的雾/边缘环境动态需要在线学习的解决方案，以适应不断变化的计算环境。在本文中，我们使用标准的综述方法进行了系统性文献综述（SLR），以分析AI/ML算法的作用以及这些算法在雾/边缘计算环境中资源管理的适用性所面临的挑战。此外，还讨论了用于边缘AI管理的各种机器学习、深度学习和强化学习技术。此外，我们还介绍了基于AI/ML的雾/边缘计算的背景和现状。此外，基于AI/ML的雾/边缘计算的资源管理技术的分类已经提出，并比较现有的技术的基础上提出的分类。最后，在基于AI/ML的雾/边缘计算领域，已经确定并讨论了开放的挑战和有前途的未来研究方向。
2022-12-09 cs.DC
HyProv: Hybrid Provenance Management for Scientific Workflows
HyProv提出一种结合集中式与联邦式范式的混合溯源管理系统，面向科学工作流实现可扩展、在线且具备工作流感知的溯源查询，实验证明其能以亚秒级延迟处理大规模工作流并仅带来适度资源开销。
2025-11-10 cs.DC
Towards cloud-native scientific workflow management
本文评估了Kubernetes中科学工作流的替代执行模型，提出基于微服务的自动扩展worker-pools云原生模型，在HyperFlow系统中实现并使用Montage工作流评估，相比最佳作业模型makespan提升近20%。
2024-08-27 cs.DC
Application Management in Fog Computing Environments: A Taxonomy, Review and Future Directions
物联网（IoT）模式正在迅速被用于在各个领域创建智能环境。与智慧城市、医疗保健、工业4.0和Agtech相关的物联网网络物理系统（CPS）处理大量数据，并需要来自不同类型应用程序的实时数据处理服务。物联网应用程序的以云为中心的执行几乎无法满足这些要求，因为云计算中心与物联网设备之间存在多跳距离。\textit{Fog computing}是云在边缘网络上的扩展，可以在更靠近数据源的地方执行这些应用程序。因此，雾计算可以提高应用服务的交付时间，抵抗网络拥塞。然而，雾节点是高度分布，异构和大多数的资源和空间共享的限制。因此，有效管理应用程序是充分利用雾节点功能的必要条件。在这项工作中，我们调查了雾计算中现有的应用程序管理策略，并在架构，放置和维护方面对其进行了审查。此外，我们提出了一个全面的分类，并强调了基于雾的应用程序管理的研究差距。我们还讨论了一个前景模型，并提供了未来的研究方向，进一步改善雾计算中的应用程序管理。
2020-05-21 cs.DC eess.SP
Recent Advances in Energy Efficient Resource Management Techniques in Cloud Computing Environments
如今，由于硬件、软件和维护成本的降低，云计算作为托管应用程序和服务的一种形式被广泛采用。云支持访问托管在大型高能耗数据中心的虚拟资源共享池，以提供具有动态工作负载的各种信息和通信服务。云数据中心的巨大能源消耗导致了高昂的电费以及大量二氧化碳气体的排放。毋庸置疑，云环境中的高效资源管理已成为云提供商最重要的优先事项之一，因此增加了研究人员提出新的节能解决方案的兴趣。本章对云环境中最新的节能云资源管理解决方案进行了科学和分类调查。本研究的主要目的是提出一个新的完整的分类，节能的云资源管理解决方案，回顾最近在这方面的研究进展，分类现有的技术的基础上，我们提出的分类，并开辟新的研究方向。此外，它还回顾和调查了2015年至2021年期间有关节能云资源管理技术的文献，并将其映射到其建议的分类中，从而揭示了新的研究方向，并促进了未来研究的开展。
2021-07-13 cs.DC
Towards a Grid Platform for Scientific Workflows Management
工作流管理系统允许用户在更高的层次上开发复杂的应用程序，通过编排功能组件而无需处理实现细节。虽然在企业环境中开发了各种各样的工作流引擎，但可用于科学应用程序的开源引擎缺乏某些功能，或者对于非专业人员来说太难使用。我们的目的是开发一个分布式系统的工作流管理平台，它将提供像一个直观的方式来描述工作流，高效的数据处理机制和灵活的容错支持的功能。我们在这里介绍一个架构模型的工作流平台，基于ActiveStream工作流引擎，我们建议增加一组额外的组件。
2009-10-04 cs.DC cs.NI
Workflows Community Summit: Advancing the State-of-the-art of Scientific Workflows Management Systems Research and Development
科学工作流是现代科学计算的基石，它们支撑了过去十年中一些最重要的发现。这些工作流中的许多工作流具有很高的计算、存储和/或通信需求，因此必须在从大型云到即将到来的百万兆级HPC平台的各种大规模平台上执行。工作流将在面向数据和后摩尔时代的计算环境中发挥至关重要的作用，因为它们使尖端研究技术、计算密集型方法和新计算平台的使用民主化。随着科学项目和用户社区继续采用工作流程，它们变得越来越复杂。工作流越来越多地由执行计算的任务组成，例如短机器学习推理、多节点模拟、长时间运行的机器学习模型训练等，因此越来越依赖于包括CPU以及GPU和加速器的异构架构。工作流管理系统（WMS）技术前景目前是分割的，由于存在数百个看似相似但不兼容的系统，因此存在很大的进入障碍。另一个基本问题是，有冲突的理论基础和抽象的WMS。使用相同底层抽象的系统可能会在不同抽象的系统之间进行转换，而使用不同抽象的系统则不是这样。更多信息：https://workflowsri.org/summits/technical
2021-06-09 cs.DC
Cloud Infrastructure Provenance Collection and Management to Reproduce Scientific Workflow Execution
云计算的出现为科学工作流的执行提供了新的计算范式。它提供了动态的、按需的和可扩展的资源，可以处理复杂的基于工作流的实验。随着实验数据规模的不断增长和处理工作流程的日益复杂，对再现性的需求也变得至关重要。起源被认为是一种验证工作流程并提供工作流程再现性的机制。再现实验执行的障碍之一是缺乏关于收集的出处中的执行基础设施的信息。在按需调配资源并指定资源配置的云环境中，此信息变得至关重要。因此，需要一种能够捕获基础设施信息以及在云上执行的工作流的来源的机制，以促进在云上重新创建执行环境。本文提出了一个框架，ReCAP，以及建议的映射方法，帮助捕获云感知的起源信息，并帮助重新配置云上的执行资源与类似的配置。实验评估表明，不同的资源配置对工作流执行性能的影响，因此证明需要收集这样的出处信息的上下文中云。评估还表明，所提出的映射方法可以在各种云使用场景中捕获云信息，而不会导致性能开销，并且还可以在云上重新配置资源。使用来自不同科学领域（如天文学和神经科学）的工作流程进行实验，以证明本研究对不同工作流程的适用性。
2018-03-19 cs.DC
Hybrid Reusable Computational Analytics Workflow Management with Cloudmesh
在本文中，我们总结了我们的努力，创建和利用一个简单的框架来协调计算分析任务的工作流系统的帮助下。我们的设计是基于一个极简的方法，而在同一时间允许访问通过业主的计算机，HPC计算中心，云资源和分布式系统提供的计算资源一般。对这个框架的访问包括一个用于监视和管理工作流的简单GUI、一个REST服务、一个命令行界面以及一个Python界面。由此产生的框架是针对混合计算资源上的AI应用程序基准的几个示例开发的，并作为一种教育工具，用于教授科学家和学生复杂的概念，以在从单个计算机到数千台计算机的资源上执行计算，作为内部部署和云基础设施的一部分。我们证明了一些例子的工具的实用性。该代码在GitHub中作为开源项目提供，并基于一个易于增强的工具cloudmesh。
2022-10-30 cs.DC
Container-based Cluster Orchestration Systems: A Taxonomy and Future Directions
容器能够实现轻量级的环境和性能隔离，快速灵活的部署以及细粒度的资源共享，除了硬件虚拟化之外，还在更好的应用程序管理和部署方面获得了普及。它们正被组织广泛用于在专有集群或私有云和公共云数据中心中部署来自现代应用程序（如Web服务、大数据和物联网）的日益多样化的工作负载。这导致了容器编排平台的出现，这些平台旨在管理大规模集群中容器化应用程序的部署。这些系统能够在数千台机器上运行数十万个作业。为了有效地做到这一点，他们必须解决几个重要的挑战，包括可伸缩性，容错和可用性，有效的资源利用率，以及请求吞吐量最大化等。本文研究了这些管理系统，并提出了一个分类，确定不同的机制，可用于满足上述挑战。建议的分类，然后应用到各种国家的最先进的系统，导致识别开放的研究挑战和差距，在文献中打算作为未来的研究方向。
2018-11-02 cs.DC
A Taxonomy and Future Directions for Sustainable Cloud Computing: 360 Degree View
云计算范例通过互联网提供按需服务并支持各种各样的应用。随着最近基于物联网（IoT）的应用的增长，云服务的使用呈指数级增长。下一代云计算必须是节能和可持续的，以满足不断变化的最终用户需求。目前，云计算提供商面临着确保其服务的能源效率和可持续性的挑战。大量云计算中心的使用增加了成本和碳足迹，这进一步影响了云服务的可持续性。在本文中，我们提出了一个全面的分类可持续的云计算。分类法是用来调查现有的技术，可持续发展，需要仔细的关注和调查所提出的几个学术和工业团体。此外，目前对可持续云计算的研究分为几个类别：应用程序设计，可持续性指标，容量规划，能源管理，虚拟化，热感知调度，冷却管理，可再生能源和废热利用。对现有技术进行了比较，并根据共同的特点和性质进行了分类。提出了可持续云计算的概念模型，并讨论了未来的研究方向。
2018-07-09 cs.DC
Lotaru: Locally Predicting Workflow Task Runtimes for Resource Management on Heterogeneous Infrastructures
本文提出 Lotaru，一种面向异构集群的本地化工作流任务运行时预测方法，通过微基准测试与缩减输入数据结合贝叶斯线性回归，在无历史数据下实现高精度预测，误差降低超12.5%，并有效支持调度与碳减排优化。
2023-09-13 cs.DC
A Taxonomy of Performance Prediction Systems in the Parallel and Distributed Computing Grids
由于网格是地理上分布的异构资源的松散耦合集合，因此网格资源的有效利用需要一个良好的性能预测系统（PPS）的支持。网格资源的性能预测有助于资源管理系统和网格用户做出优化的资源使用决策。已经有许多PPS项目在多个维度上跨越多个网格资源。在本文中，分类描述PPS体系结构进行了讨论。分类法是用来分类和识别的方法，在现有的PPS网格的实施。分类法和调查结果用于确定研究中尚未充分探讨的方法和问题。
2013-07-12 cs.DC
Adding Workflow Management Flexibility to LSST Pipelines Execution
数据处理管道需要以从小的运行到大的生产数据发布运行的规模执行，从而产生数百万个数据产品。作为Rubin Observatory的流水线执行系统的一部分，BPS是一个抽象层，为不同的工作流管理系统（WMS）（如HTCondor和PanDA）提供接口。在提交过程中，流水线执行系统与数据管家交互，从算法任务中生成面向科学的执行图。BPS将此执行图转换为工作流图，然后使用特定于WMS的插件来提交和管理工作流。在这里，我们将讨论这个接口的架构设计，并简要报告最近的数据预览0.2版本的生产以及管道开发人员如何使用该系统。
2022-11-28 astro-ph.IM cs.DC
WIDESim: A toolkit for simulating resource management techniques of scientific Workflows In Distributed Environments with graph topology
针对现有模拟器无法同时支持工作流应用与D2D通信的问题，本文提出WIDESim工具包，可在图拓扑分布式环境中模拟三类科学工作流的动态资源管理，性能接近标准模拟器且具备拓扑无约束等优势。
2023-12-13 cs.DC cs.NI
Applying Distributed Ledgers to Manage Workflow Provenance
在工作流管理系统之间自动共享出处目前是不可能的，但这种能力的价值很高，因为它可以大大减少重复工作流的数量，加速新知识的发现，并验证过去和现在分析的完整性。尽管在跨工作流管理系统有效共享出处信息方面存在许多技术挑战，但许可分布式账本可以克服其中许多挑战。与其他技术相比，许可分布式账本的主要好处是，它们的分布是通过点对点网络进行的，该网络将整个网络中的交易编码为不可变的哈希列表，并通过共同的共识机制对新数据的有效性达成共识。这项工作讨论了出处和分布式账本本身，然后提出了一个论点，即分布式账本自然满足工作流出处的许多要求，出处信息可以以多种方式存在于账本中，并且基于这种策略存在许多新的研究领域。
2018-04-15 cs.DC
Distributed In-memory Data Management for Workflow Executions
来自不同领域的复杂科学实验通常被建模为工作流，并使用并行工作流管理系统（WMS）在大型机器上执行。由于这种执行通常持续数小时或数天，因此一些WMS提供用户引导支持，即，它们允许用户运行数据分析，并根据结果在运行时调整工作流程。并行执行控制设计中的一个挑战是管理工作流数据以实现高效执行，同时支持用户转向支持。高可扩展性的数据访问通常是面向事务的，而对于数据分析，它是面向在线分析的，因此管理这种混合工作负载使挑战变得更加困难。在这项工作中，我们提出了SchalaDB，一组设计原则和技术的基础上，分布式内存中的数据管理高效的工作流执行控制和用户转向的架构。我们提出了一个分布式数据设计的可扩展的工作流任务调度和高可用性驱动的并行和分布式内存中的DBMS。为了评估我们的建议，我们开发了d-Chiron，这是一个根据SchalaDB原则设计的WMS。我们进行了广泛的实验评估的HPC集群多达960个计算核心。在其他分析中，我们表明，即使在运行数据分析用户转向，SchalaDB的开销是可以忽略不计的工作负载组成的数百个并发任务的共享数据。我们的研究结果鼓励工作流引擎开发人员遵循并行和分布式的面向数据的方法，不仅调度和监控，但也为用户转向。
2021-05-12 cs.DB cs.DC
Formal Definition and Implementation of Reproducibility Tenets for Computational Workflows
针对SKA等大规模科学项目的复现性挑战，提出与系统无关的工作流模型，将可复现性概念扩展为七个原则，并利用密码学原语在摊销常数时间内生成工作流执行签名，在DALiuGE中实现以促进科学质量的自动形式化验证。
2024-12-23 cs.DC
Scalable HPC Job Scheduling and Resource Management in SST
本文在SST中引入了一个可扩展的HPC作业调度与资源管理组件，支持工作流任务依赖与资源分配仿真，并在多项指标上验证了其高精度与良好的并行性能。
2025-01-30 cs.DC
Nalar: Workflow-Aware Management of Agentic Applications
UT Austin（德克萨斯大学奥斯汀分校）；Cisco Research（思科研究）
Nalar是一个高效代理服务框架，通过分离工作流规范与执行，实现异构代理应用的可扩展、高效和基于策略的服务，显著提升性能和稳定性。
2026-10-02 cs.DC cs.MA
QoS-Aware Resource Management for Multi-phase Serverless Workflows with Aquatope
多阶段无服务器应用程序，即，具有许多计算和I/O阶段的工作流正日益成为FaaS平台的代表。尽管这些应用程序在细粒度可扩展性和模块化开发方面具有优势，但与以前的简单无服务器功能相比，这些应用程序在很大程度上会受到次优性能，资源效率低下和高成本的影响。我们提出了Aquatope，一个QoS和不确定性感知的资源调度器，用于端到端的无服务器工作流，考虑到FaaS平台中存在的固有不确定性，并提高了性能的可预测性和资源效率。Aquatope使用一组可扩展且经过验证的贝叶斯模型来在函数调用之前创建预热容器，并以函数粒度分配适当的资源，以满足复杂工作流的端到端QoS，同时最大限度地降低资源成本。在各种分析和交互式多阶段无服务器工作负载中，Aquatope的性能明显优于以前的系统，将QoS违规减少了5倍，平均成本降低了34%，与其他QoS会议方法相比，成本高达52%。
2022-12-28 cs.DC cs.NI
Adaptive Client Clustering and Coordination for Federated Learning Workflow Management in Edge Networks
University of Oxford（牛津大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）；The First Affiliated Hospital, Sun Yat-Sen University（中山大学附属第一医院）；Zhejiang University of Technology（浙江工业大学）
针对边缘网络中依赖型联邦学习工作流，提出A-CoDa框架，通过LDD聚类、FedMIX参与机制和DAG调度器，在保证精度的同时降低端到端完成时间。
2026-09-29 cs.DC
Monitoring Fog Computing: a Review, Taxonomy and Open Challenges
雾计算是一种在用户附近提供计算资源的分布式范例。雾编排是一组功能，用于协调动态基础设施和管理服务，以保证服务级别协议。监控是一项最重要的编排功能。它是资源管理操作的基础，收集资源和服务的状态，并将更新的数据交付给协调器。有几种云监控解决方案和工具，但它们都不符合雾的特征和挑战。雾监控解决方案很少，它们可能没有准备好组成编排服务。本文更新了有关雾监测的知识库，评估了可观测性，数据标准化和仪器领域等方面的最新主题。我们提出了一种新的分类雾监测解决方案，支持系统的文献综述。雾监测建议进行分析和分类，这一新的分类，为研究人员提供了一个全面的概述。这项工作还突出了主要的挑战和开放的研究问题。
2022-06-16 cs.DC
Cosmos: A Cost Model for Serverless Workflows in the 3D Compute Continuum
本文提出Cosmos成本与性能权衡模型，用于分析3D计算连续体中无服务器工作流的成本驱动因素，并在AWS和GCP上验证了其在数据与计算密集型任务中的成本分类与量化效果。
2025-04-30 cs.DC
Complex Workflow Management and Integration of Distributed Computing Resources by Science Gateway Portal for Molecular Dynamics Simulations in Materials Science
介绍了用于复杂工作流管理和分布式计算资源（如集群、服务网格、桌面网格、云）集成的“IMP Science Gateway Portal”（http：scigate.imp.kiev.ua）。它是在WS-PGRADE和gUSE技术的基础上创建的，其中WS-PGRADE是为科学工作流操作而设计的，而gUSE是为各种异构分布式计算基础设施（DCI）中的并行和分布式计算的可用资源的平滑集成而设计的。典型的科学工作流程与可能的情况下，其准备和使用。几个典型的科学应用（科学工作流程）被认为是分子动力学（MD）模拟各种纳米结构的复杂行为（石墨烯层的纳米压痕，金属纳米晶体中的缺陷系统弛豫，氮化硼纳米管的热稳定性等）。该解决方案的优点和缺点进行了简短的分析，其实际应用的背景下，MD模拟在材料科学，物理学和纳米技术与可用的异构DCI。
2014-04-22 cond-mat.mtrl-sci cs.CE cs.DC
A Workflow for Fast Evaluation of Mapping Heuristics Targeting Cloud Infrastructures
如今，资源分配是云基础设施管理的一个组成部分，以有效地利用资源。云基础设施中心通常使用定制的架构来定义资源分配。这些中心的管理工具迫切需要有一个快速但相当准确的模拟和评估平台来定义云应用程序的资源分配。这项工作提出了一个框架，允许用户轻松地指定在DreamCloud欧洲项目的上下文中使用的AMALTHEA格式描述的云应用程序的映射，并评估这些映射的质量。该框架提供的两个质量指标是执行时间和能耗。
2016-01-27 cs.DC
SWARM+: Scalable and Resilient Multi-Agent Consensus for Decentralized Data-Aware Workload Management
Renaissance Computing Institute, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校文艺复兴计算研究所）；Argonne National Laboratory（阿贡国家实验室）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
提出SWARM+，一种通过分层多智能体共识实现去中心化工作负载管理的系统，在提高可扩展性和弹性的同时支持数据感知调度策略。
2026-07-15 cs.DC
Scalable AI-assisted Workflow Management for Detector Design Optimization Using Distributed Computing
Brookhaven National Laboratory（布鲁克海文国家实验室）；The Catholic University of America（美国天主教大学）；Duke University（杜克大学）；Stony Brook University（石溪大学）
提出一种结合多目标贝叶斯优化与PanDA-iDDS工作流引擎的AI辅助框架，用于协调异构资源上的迭代仿真，实现高维参数空间的高效探索，并在ePIC和dRICH探测器设计中验证了自动化、可扩展性和效率提升。
2026-06-26 cs.AI cs.DC
Complexity and Scale in AI-Assisted Workflow Management: A Federated Learning Case Study
RENCI, University of North Carolina at Chapel Hill, NC, USA（RENCI，北卡罗来纳大学教堂山分校）；Information Sciences Institute, University of Southern California, Marina del Rey, CA, USA（信息科学研究所，南加州大学马里纳德尔雷耶斯分校）
提出一种AI辅助方法，通过规范驱动的工作流生成、自动化调试和分布式执行，结合Pegasus与MCP层，实现从自然语言到大规模科学工作流的端到端管理。
2026-09-09 cs.AI cs.DC cs.SE
Machine Learning-Driven Predictive Resource Management in Complex Science Workflows
Brookhaven National Laboratory（布鲁克海文国家实验室）；Oak Ridge National Laboratory（橡树岭国家实验室）；University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Massachusetts（马萨诸塞大学）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）
本文提出利用机器学习模型优化复杂科学工作流的资源管理，通过预测资源需求提升处理效率和资源利用率。
2025-12-19 cs.AI cs.DC cs.LG
Semantic interoperability and characterization of data provenance in computational molecular engineering
通过引入一个通用的表示系统的元数据，描述所采用的模拟工作流程，不同的数据源和计算分子工程平台，如工作流管理系统，可以成为在语义层面上的互操作性。为了实现语义互操作性，目前的工作介绍了两个本体，提供了一个正式规范的实体发生在一个模拟工作流和它们之间的关系：在MODA的基础上，提出了用于描述软件包及其特征的软件本体VISO和用于仿真、建模和优化的本体OSMO，一个以前开发的半直观的图形符号，用于材料建模的工作流程。作为概念证明，OSMO被用来描述TaLPas工作流管理系统的一个用例，该系统是一个用于基于粒子的模拟的调度器和工作流优化器。
2019-11-15 cs.CE cs.DC cs.SE
