VM Power Prediction in Distributed Systems for Maximizing Renewable Energy Usage
在GreenPAD项目的背景下，重要的是预测单个（和混合）VM/工作负载的能耗以实现最佳调度（当有更多绿色能源可用时运行需要更高能量的那些VM，反之亦然），以便最大限度地利用绿色能源。为此，我们在由富士通服务器组成的Openstack云测试平台上执行以下实验：不同配置（风味+工作负载）的VM能量测量和新配置的VM能量预测。运行这些实验的自动化框架使用bash脚本，这些脚本调用诸如“stress”（模拟工作负载）、“collected”（资源使用）和“IPMI”（功率测量）之类的工具。我们提出了一个线性模型，用于预测基于回归的VM的功率使用。我们首先收集不同VM配置的资源使用情况（使用collected）和相关的功耗（使用IPMI），并使用这些数据构建（资源使用情况和VM能耗之间的）（多）回归模型。然后，我们使用新工作负载的资源使用模式的信息来预测功率使用。为了预测混合工作负载的功率，我们使用随机工作负载执行实验（构建回归模型）。我们观察到CPU密集型工作负载的能耗最高，其次是内存密集型工作负载。
2014-02-23 cs.DC
Augur: Pre-Execution Energy Prediction for Workflow Tasks in Heterogeneous Clusters
University of Glasgow（格拉斯哥大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
提出Augur方法，通过高效分析集群基础设施和工作流特征，在任务执行前预测能耗，中位预测误差约16-18%，优于现有方法。
2026-05-29 cs.DC
Predicting Intermediate Storage Performance for Workflow Applications
配置存储系统以更好地服务于应用是一项具有挑战性的任务，由于多维、离散的配置空间和空间探索的高成本（例如，通过运行具有不同存储配置的应用程序）。为了能够在合理的时间内选择最佳配置，我们设计了一个端到端的性能预测机制，估计周转时间的应用程序使用存储系统在给定的配置下。这种方法侧重于通用的基于对象的存储系统设计，支持探索针对工作流应用程序的优化的影响（例如，各种数据放置方案）以及其它更传统的配置旋钮（例如，条带大小或复制级别），并在数据块和控制消息级别对系统操作进行建模。本文介绍了我们的经验，设计和使用这种预测机制。我们评估这种机制使用微观以及合成基准模仿真实的工作流程应用程序，和一个真正的应用程序。初步评估表明，我们在实现目标方面进展顺利：它可以扩展以模拟在整个群集上运行的工作流应用程序，同时与运行实际应用程序相比，提供超过200倍的加速因子（按资源标准化），并且可以在我们研究的有限数量的场景中实现预测准确性，从而能够确定最佳存储系统配置。
2013-06-10 cs.DC cs.PF
An Efficient Fault Tolerant Workflow Scheduling Approach using Replication Heuristics and Checkpointing in the Cloud
科学工作流主要用于复杂和大规模的数据分析和科学计算/自动化，并且对鲁棒的工作流调度技术的需求大幅增长。但是，现有的工作流调度算法大多没有提供所需的可靠性和鲁棒性。本文提出了一种新的容错工作流调度算法，该算法以无监督的方式学习复制策略。此外，使用轻量级同步检查点可以有效地重新提交失败的任务，并确保即使在不稳定的环境中也能完成工作流。与复制所有算法相比，所提出的技术改进了资源浪费和资源使用等指标，同时与香草异构最早完成时间（HEFT）相比，Makespan保持了可接受的增加。
2019-10-31 cs.DC
Real-time Optimization of Simulation and Data Processing Pipelines for Experiments on Exascale Computing Platforms
Enrico Fermi Institute University of Chicago（芝加哥大学恩里科·费米研究所）；Argonne Leadership Computing Facility Argonne National Laboratory（阿贡国家实验室阿贡领导计算设施）
针对百亿亿次平台上大规模实验工作流，提出多阶段任务调度方法，并以SBND蒙特卡洛流水线为例，提供建模工具以优化资源利用。
2026-10-05 cs.DC
Python Workflows on HPC Systems
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；Offenburg University（奥芬堡大学）
计算密集型机器学习和数据分析方法最近的成功和广泛应用促进了Python程序设计语言在HPC系统上的使用。虽然Python为用户提供了许多优势，但它的设计并没有专注于多用户环境或并行编程，这使得在HPC系统上维护稳定和安全的Python工作流变得非常具有挑战性。在本文中，我们分析了在HPC集群上使用Python所引发的关键问题，并概述了有效维护多用户Python软件环境、保护和限制Python作业资源以及包含Python进程的适当解决方案，同时重点关注在GPU集群上运行的深度学习应用程序。
2020-12-01 cs.DC cs.LG
WfBench: Automated Generation of Scientific Workflow Benchmarks
具有高计算需求的科学工作流的流行要求其在各种分布式计算平台上执行，包括大规模领导级高性能计算（HPC）集群。为了处理工作流执行的部署、监控和优化，在过去十年中开发了许多工作流系统。有一个需要的工作流基准，可用于评估当前和未来的软件栈和硬件平台上的工作流系统的性能。我们提出了一个现实的工作流基准规范，可以转化为基准代码与当前的工作流系统执行的生成器。我们的方法生成的工作流任务具有任意的性能特征（CPU，内存和I/O的使用）和现实的任务依赖结构的基础上，在生产工作流中看到的。我们目前的实验结果表明，我们的方法生成的基准是生产工作流的代表，并进行案例研究，以证明我们生成的基准的使用和有用性，以评估不同的配置方案下的工作流系统的性能。
2022-10-06 cs.DC
Strategies to Measure Energy Consumption Using RAPL During Workflow Execution on Commodity Clusters
针对商用托管集群中工作流能耗测量难的问题，本文提出三种基于Intel RAPL、在Kubernetes集群上结合Nextflow引擎的能耗测量方法，经标准对比和实证评估明确各方案优劣及并发任务能耗估算方案。
2025-05-19 cs.DC
ASA -- The Adaptive Scheduling Algorithm
针对 HPC 中预分配浪费资源与动态分配可能延长工作流完成时间的矛盾，本文提出具有收敛保证的 ASA，通过预测队列等待并提前请求资源变更，在两台超级计算机上显著降低等待与完成时间。
2024-01-18 cs.DC
KubeAdaptor: A Docking Framework for Workflow Containerization on Kubernetes
针对工作流系统迁移到Kubernetes时任务调度顺序不一致的问题，本文提出云原生对接框架KubeAdaptor，通过事件触发机制实现工作流容器化并保证调度顺序一致，实验表明其在执行时间、生命周期和资源使用率上优于Argo。
2022-07-04 cs.DC
Towards Experiment Execution in Support of Community Benchmark Workflows for HPC
针对HPC领域基准测试有限难以展示算力的问题，研究提出可适配的工作流模板与“基准构建”概念，经两款工具在多类科学应用中验证，可提升工作流适配性，助力社区基准测试工作流落地。
2025-07-30 cs.DC
Adaptive Resource Allocation for Workflow Containerization on Kubernetes
针对Kubernetes工作流引擎资源分配缺乏敏捷性和可预测性导致效率低与浪费的问题，提出自适应资源分配方案ARAS，通过资源扩展策略应对高并发场景，实验证明其显著缩短工作流执行时间并提升资源使用率。
2023-01-20 cs.DC
KCES: A Workflow Containerization Scheduling Scheme Under Cloud-Edge Collaboration Framework
针对云边协同场景下工作流容器化调度的资源协调与应用协同难题，提出KubeEdge云边调度方案KCES，通过设计调度引擎、资源混合管理算法及水平漫游与垂直卸载策略，有效提升资源利用率并优化调度性能。
2024-01-02 cs.DC
Cloud Infrastructure Provenance Collection and Management to Reproduce Scientific Workflow Execution
云计算的出现为科学工作流的执行提供了新的计算范式。它提供了动态的、按需的和可扩展的资源，可以处理复杂的基于工作流的实验。随着实验数据规模的不断增长和处理工作流程的日益复杂，对再现性的需求也变得至关重要。起源被认为是一种验证工作流程并提供工作流程再现性的机制。再现实验执行的障碍之一是缺乏关于收集的出处中的执行基础设施的信息。在按需调配资源并指定资源配置的云环境中，此信息变得至关重要。因此，需要一种能够捕获基础设施信息以及在云上执行的工作流的来源的机制，以促进在云上重新创建执行环境。本文提出了一个框架，ReCAP，以及建议的映射方法，帮助捕获云感知的起源信息，并帮助重新配置云上的执行资源与类似的配置。实验评估表明，不同的资源配置对工作流执行性能的影响，因此证明需要收集这样的出处信息的上下文中云。评估还表明，所提出的映射方法可以在各种云使用场景中捕获云信息，而不会导致性能开销，并且还可以在云上重新配置资源。使用来自不同科学领域（如天文学和神经科学）的工作流程进行实验，以证明本研究对不同工作流程的适用性。
2018-03-19 cs.DC
Enhancing Energy Efficiency in Scientific Workflows through CFD based PIVAEs
University of Leicester（莱斯特大学）；Rutherford Appleton Laboratory, Science and Technology Facilities Council (STFC–UKRI)（鲁瑟福阿普顿实验室，科学与工程设施委员会（STFC-UKRI））
提出一种结合计算流体动力学与物理信息变分自编码器的AI辅助调度框架，通过生成物理真实的合成工作负载数据，在HPC环境中实现能效优化，实验表明适度降低CPU性能可显著节能。
2026-05-22 cs.DC
Accelerating Cloud-Based Transcriptomics: Performance Analysis and Optimization of the STAR Aligner Workflow
本文面向云端大规模 RNA-seq 数据处理，提出云原生 STAR 比对工作流架构并实施多项优化，实验证明总比对时间降低 23%，同时给出 EC2 与竞价实例选择建议。
2025-06-14 cs.DC
Cloud Workload Prediction based on Workflow Execution Time Discrepancies
基础设施即服务云隐藏了维护物理基础设施的复杂性，但有一个小小的缺点：它们还隐藏了内部工作细节。用户是否需要了解这些细节，例如，为了提高其应用程序的可靠性或性能，它们需要能够检测基础系统中行为变化的解决方案。现有的用于此类目的的运行时解决方案提供有限的功能，因为它们大多限于揭示基础设施中的每周或每年的行为周期。本文提出了一种通过模拟来预测通用后台工作负载的技术，该技术能够提供底层私有云系统的额外知识，以支持云编排或工作流制定等活动。我们的技术使用长期运行的科学工作流及其行为差异，并尝试在具有已知（基于跟踪）工作负载的模拟云中复制这些工作流。我们认为，我们越能更好地模拟当前的差异，我们就越能更好地了解现实生活中的云计算在不久的将来的预期工作负载。我们评估了所提出的预测方法与生物化学应用在真实和模拟的云基础设施。所提出的算法已被证明比随机工作负载选择对模拟云的未来产生显著（约20%）更好的工作负载预测。
2018-03-19 cs.DC
Benchmarking Resource Usage for Efficient Distributed Deep Learning
MIT（麻省理工学院）；Northeastern University（东北大学）
深度学习（DL）工作流程需要不断增加的计算和能源预算，以实现超大收益。神经结构搜索、超参数扫描和快速原型设计消耗了大量资源，这可能会阻止资源受限的研究人员进行大型模型实验，并带来相当大的环境影响。因此，了解不同的深度神经网络（DNN）和训练如何利用不断增加的计算和能源资源变得至关重要-特别是跨不同领域和应用程序的专用计算密集型模型。在本文中，我们进行了3,400多个实验，在多达424个图形处理单元（GPU）上训练了一系列代表各种领域/任务的深度网络-自然语言处理，计算机视觉和化学。在训练过程中，我们的实验系统地改变了计算资源特性和节能机制，例如功率利用率和GPU时钟速率限制，以捕获和说明每个代表性模型在各种资源和能量约束机制下表现出的不同权衡和缩放行为。我们拟合幂律模型，描述训练时间如何与可用的计算资源和能量约束相匹配。我们预计，这些发现将有助于通知和指导高性能计算提供商优化资源利用率，通过选择性地降低不同深度学习任务/工作流程的能耗，同时对培训的影响最小。
2022-01-28 cs.DC cs.LG
Complex Workflow Management and Integration of Distributed Computing Resources by Science Gateway Portal for Molecular Dynamics Simulations in Materials Science
介绍了用于复杂工作流管理和分布式计算资源（如集群、服务网格、桌面网格、云）集成的“IMP Science Gateway Portal”（http：scigate.imp.kiev.ua）。它是在WS-PGRADE和gUSE技术的基础上创建的，其中WS-PGRADE是为科学工作流操作而设计的，而gUSE是为各种异构分布式计算基础设施（DCI）中的并行和分布式计算的可用资源的平滑集成而设计的。典型的科学工作流程与可能的情况下，其准备和使用。几个典型的科学应用（科学工作流程）被认为是分子动力学（MD）模拟各种纳米结构的复杂行为（石墨烯层的纳米压痕，金属纳米晶体中的缺陷系统弛豫，氮化硼纳米管的热稳定性等）。该解决方案的优点和缺点进行了简短的分析，其实际应用的背景下，MD模拟在材料科学，物理学和纳米技术与可用的异构DCI。
2014-04-22 cond-mat.mtrl-sci cs.CE cs.DC
Modular Resource Centric Learning for Workflow Performance Prediction
工作流为分布式计算环境中的大规模应用程序的细粒度控制提供了一种表达性编程模型。在大规模机器上精确估计复杂的工作流执行指标有几个关键优势。当预测的执行度量的准确性降低时，依赖于执行度量的估计的调度算法的性能降低。这篇正在进行的论文提出了一种正在开发的技术，以提高分布式平台上的大规模工作流的预测性能指标的准确性。这项工作的中心思想是训练以资源为中心的机器学习代理，以捕获一组程序指令和它们在特定资源上执行时的性能指标之间的复杂关系。这种以资源为中心的工作流视图利用了这样一个事实，即预测工作流子模块的执行时间需要对一些动态和静态特征进行监视和建模。我们将输入工作流，本质上是一个有向的非循环图的行动到一个物理资源执行计划（PREP）。这种转换使我们能够将任意复杂的工作流建模为在物理节点上运行的一组更简单的程序。我们委托一个机器学习模型来捕获每种资源类型在不同程度的资源竞争下执行不同程序指令时的性能指标。我们的算法从每个资源代理的预测指标，并利用相应的物理资源执行计划的结构组成的整体工作流性能指标。
2018-04-17 cs.DC cs.LG
Task Runtime Prediction in Scientific Workflows Using an Online Incremental Learning Approach
The University of Melbourne（墨尔本大学）
工作流调度和资源配置中的许多算法都依赖于任务的性能估计来产生调度计划。因此，一个能够对任务的执行进行建模并准确预测其运行时间的分析器成为任何工作流管理系统（WMS）的重要组成部分。随着使用云部署科学工作流的多租户工作流即服务（WaaS）平台的出现，任务运行时预测变得更具挑战性，因为它需要在近实时场景中处理大量数据，同时处理云资源的性能变化。因此，依赖于诸如使用基本统计描述（例如，平均值、标准偏差）或批量离线回归技术来估计运行时间可能不适合于这样的环境。在本文中，我们提出了一种在线增量学习方法来预测云中科学工作流中任务的运行时间。为了提高预测的性能，我们利用细粒度的资源监控数据的形式的CPU利用率，内存使用量和I/O活动的时间序列记录，反映了任务的执行的独特特征。我们将我们的解决方案与利用基于回归机器学习技术的资源监控数据的最先进方法进行比较。从我们的实验中，所提出的策略提高了性能，在误差方面，高达29.89%，相比国家的最先进的解决方案。
2018-10-10 cs.DC cs.LG
Representation Learning for Resource Usage Prediction
NEC Laboratories Europe（NEC欧洲实验室）
创建一个计算机系统的模型，可用于预测未来的资源使用和检测异常的任务是一个具有挑战性的问题。当前的大多数系统依赖于对工作负载和系统统计数据的分析和过于简单的假设。这些解决方案通常是一种通用的解决方案，以便适用于广泛的应用和系统环境。在本文中，我们提出了我们正在进行的工作，从标准的资源使用统计到内核和库调用的应用程序集成到一个机器学习模型的系统遥测。直观地说，这样的ML模型在任何时间点都近似于系统的状态，并允许我们解决资源使用预测和异常检测等任务。为了实现这一目标，我们利用现成的信息，而不需要对系统上运行的应用程序进行任何更改。我们训练递归神经网络来学习所考虑的系统的模型。作为概念证明，我们专门对模型进行训练，以预测正在运行的应用程序的未来资源使用情况。
2018-02-02 cs.DC cs.LG cs.OS
A System Aware Resource Allocation for Distributed Workflows in Quantum Computing Environments
The University of Melbourne（墨尔本大学）
本文提出了一种综合解决方案，用于高效地将量子程序分配到适当的量子设备，考虑了包括保真度、执行时间和通信开销在内的所有相关成本指标，并提出了改进的图基算法来解决此类用例的分配问题，假设混合经典-量子网络。
2026-05-18 cs.DC quant-ph
Efficient Chromosome Parallelization for Precision Medicine Genomic Workflows
本文提出高效染色体并行化方法，通过动态调度器和静态调度器优化资源分配，减少内存溢出并提升基因组工作流执行效率。
2025-11-20 cs.AI cs.DC cs.LG
Deep Learning on Operational Facility Data Related to Large-Scale Distributed Area Scientific Workflows
分布式计算平台通过在多个位置（可能在地理上相隔数千英里）之间分割任务和数据来提供执行大规模计算的鲁棒机制。尽管这种资源分布可以带来好处，但是它也伴随着其相关的问题，例如文件传输的猖獗复制增加拥塞、长的作业完成时间、意外的站点崩溃、次优的数据传送率、时间范围内不可预测的可靠性以及存储元件的次优使用。此外，每个子系统都成为可能触发系统范围中断的潜在故障节点。在这篇愿景论文中，我们概述了我们利用深度学习算法来发现解决方案的方法，这些解决方案可以解决具有分布在广泛区域的计算基础设施的系统中出现的独特问题。所提出的愿景，来自Belle II实验的真实科学用例，旨在开发多层神经网络，以解决复杂和分布式数据移动环境中的预测，异常检测和优化挑战。通过这一基于深度学习原理的愿景，我们的目标是减少拥塞事件、加快文件传送率并增强站点可靠性。
2018-04-20 cs.DC cs.LG cs.PF
