Data Sharing Options for Scientific Workflows on Amazon EC2
高效的数据管理是在分布式环境中实现科学工作流良好性能的关键组成部分。工作流应用程序通常使用文件在任务之间传递数据。当任务被分发时，这些文件或者从一个计算节点传输到另一个计算节点，或者通过共享存储系统访问。在网格和集群中，工作流数据通常存储在网络和并行文件系统上。在本文中，我们研究了一些在云中管理工作流数据的方法。我们在Amazon的EC2上使用三个典型的工作流应用程序进行了实验。我们讨论了我们使用的各种存储和文件系统，描述了我们在EC2上部署它们时遇到的问题，并分析了工作流的性能和成本。
2010-10-22 astro-ph.IM cs.DC
Omni-Flow: A Unified Workflow Orchestration and Distributed KV Cache Sharing Framework for Multimodal Inference
Meituan（美团）；Peking University（北京大学）
提出Omni-Flow框架，通过三层抽象（控制流、数据流、计算流）统一编排多模态推理工作流，实现异构单元协同、分布式KV缓存共享与高效传输，支持多种多模态场景。
2026-09-25 cs.DC
Costless: Optimizing Cost of Serverless Computing through Function Fusion and Placement
无服务器计算最近被几个应用程序大量采用，特别是物联网（IoT）应用程序。在无服务器计算中，用户不必部署和管理专用的虚拟机，而是能够部署单独的功能，并且只需支付代码实际执行的时间。然而，由于无服务器平台相对较新，它们具有完全不同的定价模型，这取决于内存，持续时间和功能序列/工作流的执行次数。在本文中，我们提出了一种优化AWS Lambda中无服务器应用程序价格的算法。我们首先描述了影响无服务器应用程序价格的因素，包括：（1）融合一系列功能，（2）跨边缘和云资源拆分功能，以及（3）为每个功能分配内存。然后，我们提出了一个有效的算法来探索不同的功能融合放置解决方案，并找到解决方案，优化应用程序的价格，同时保持在一定的阈值下的延迟。我们对图像处理工作流程的研究结果表明，该算法可以找到优化价格超过35%-57%的解决方案，而延迟仅增加5%-15%。我们还表明，我们的算法可以找到非平凡的内存配置，降低延迟和价格。
2018-11-23 cs.DC
HexAGenT: Efficient Agentic LLM Serving via Workflow- and Heterogeneity-Aware Scheduling
HKUST（香港科技大学）；Webank（微众银行）；Wuhan University（武汉大学）；Tsinghua University（清华大学）
本文提出HexAGenT，一种异构prefill-decode推理服务的工作流感知调度器，通过动态调整预填和解码位置及队列优先级，减少工作流完成SLO需求，提升效率。
2026-05-15 cs.DC
Optimal Deployment of Geographically Distributed Workflow Engines on the Cloud
在编排Web服务工作流时，编排引擎的地理位置会极大地影响工作流性能。数据可能必须跨越很长的地理距离进行传输，这反过来又增加了执行时间并降低了工作流的整体性能。在本文中，我们提出了一个框架，给定一个基于DAG的工作流规范，计算最佳的Amazon EC2云区域来部署编排引擎和执行工作流。该框架采用了一个约束模型，解决了工作流部署问题，这是使用自动约束建模系统生成的。通过执行代表科学工作量的不同示例工作流来评估框架的可行性。实验结果表明，该框架减少了工作流的执行时间，并提供了1.3倍-2.5倍的速度超过集中式的方法。
2014-10-30 cs.DC
Interference-Aware Cross-Application Placement: A Multi-Objective Optimization Approach for Microservice Clusters
Hasso Plattner Institute（哈索·普拉特纳研究所）
针对微服务集群中跨应用干扰问题，提出基于因果效应的时空数据结构，结合多目标优化器Optuna进行服务部署优化，显著降低干扰并提升响应性能。
2026-06-25 cs.DC
Uncovering the Perfect Place: Optimising Workflow Engine Deployment in the Cloud
在编排高度分布式和数据密集型的Web服务工作流时，编排引擎的地理位置会极大地影响工作流的整体性能。我们提出CloudForecast：一种Web服务框架和分析工具，在给定工作流规范的情况下，计算最佳Amazon EC2 Cloud区域，以自动部署编排引擎并执行工作流。我们使用Amazon Cloud区域和工作流节点之间的工作流地理距离、网络延迟和HTTP往返时间来查找云区域的排名。这个总体排名预测了工作流编排引擎应该部署在哪里，以减少总体执行时间。我们的实验结果表明，我们提出的优化策略，根据特定的工作流程，可以加快执行时间平均82.25%相比，本地执行。
2014-10-22 cs.DC
Data-Aware Approximate Workflow Scheduling
在复杂的科学工作流中优化数据放置已变得非常重要，因为这些工作流生成的大量数据显著增加了端到端应用程序的周转时间。如果不考虑中间数据移动，几乎不可能对端到端工作流进行最优调度。为了降低工作流调度问题的复杂性，现有的工作大多通过一些不切实际的假设来约束问题空间，从而导致实际中的非最优调度。在这项研究中，我们提出了一个遗传数据感知算法的端到端的工作流调度问题。与以往的研究不同，我们为每个染色体开发了一个新的数据感知的评价函数，一个共同的增广交叉算子和一个简单但有效的变异算子。不同的工作流结构上的实验表明，所提出的基于遗传算法的方法给出了一个接近最优的调度。
2018-05-26 cs.DC
Sea: A lightweight data-placement library for Big Data scientific computing
最近大量的开放科学数据促使科学计算从计算密集型向数据密集型转变。虽然存在许多大数据框架，可以最大限度地降低数据传输的成本，但很少有科学应用程序集成这些框架或采用数据放置策略来降低成本。科学应用程序通常依赖于成熟的命令行工具，这些工具需要完整的重新配置才能整合现有的框架。我们开发Sea是为了实现在HPC集群上执行的科学应用程序的数据放置策略，而无需重新编写工作流。Sea利用GNU C库拦截来拦截应用程序进行的符合POSIX的文件系统调用。我们设计了一个性能模型，并评估了Sea在处理代表性神经成像数据集（Big Brain）的合成数据密集型应用程序上的性能。我们的研究结果表明，海显着提高性能，高达3 $\times$的一个因素。
2022-07-04 cs.DC
A decentralized FAIR platform to facilitate data sharing in the life sciences
混合技术中心和许多其他研究中心在跨职能团队中工作，其工作流程不一定是线性的，在许多情况下，技术进步是通过并行工作完成的。缺乏适当的协作环境工具和平台可能会造成协调方面的时间滞后，并限制研究成果的分享。为了解决这个问题，我们开发了一个简单，用户友好的平台，用于学术和科研合作。为了确保公平合规性，该平台包括基于区块链技术的元数据质量控制。数据单独存储在分布式对象存储中，该存储充当云。该平台还实现了一个版本控制系统;它提供了项目的历史跟踪以及审查项目开发的可能性。该平台旨在成为混合技术中心内的标准化工具，以简化协作，加快研究工作流程并提高研究质量。
2021-02-08 cs.DC
Adapting The Secretary Hiring Problem for Optimal Hot-Cold Tier Placement under Top-$K$ Workloads
Top-K查询是信息检索中的一种启发式查询。本文提出了一种方法，最佳分层存储分配流处理工作负载下使用这种启发式：那些只需要分析顶部的$K$排名最相关的，或最有趣的，文件从一个固定长度的流，流窗口，或批处理作业。在该工作流中，利用用户指定的兴趣度函数来分析文档的相关性，基于该兴趣度函数对文档进行排名，选择（并因此存储）顶部$K$以用于进一步处理。此工作流程允许人在回路系统中，包括监督机器学习，以优先考虑文档。这种情况与经典的秘书招聘问题（SHP）相似，并且文档写入的预期速率和文档生命周期可以建模为文档索引的函数。我们提出了基于参数的算法存储层的位置，最大限度地减少文件的存储和运输成本。我们表明，最佳参数值是这些成本的函数。可以为这类工作负载先验地建模应用程序IO行为。当与分层存储结合使用时，IO概率模型的易处理性使得优化层分配变得容易，从而产生简单的分析解决方案。此相反分层存储优化方面的现有工作（通常很复杂），这些工作要么与特定使用情形紧密结合，要么需要主动监视应用程序IO负载（反应式方法）-不适合科学计算领域中常见的长期运行或一次性操作。我们用生物化学模型探索的跟踪驱动模拟来验证我们的模型，并给出了两个云存储案例研究的工作示例。
2019-03-12 cs.DC
Efficiently Reproducing Distributed Workflows in Notebook-based Systems
University of Missouri（密苏里大学）；DePaul University（德保罗大学）；University of Notre Dame（圣母大学）
本文提出NBRewind系统，通过增量检查点和日志提升分布式工作流在笔记中的可重现性与效率，减少全量重执行开销。
2026-03-27 cs.DC cs.SE
TFR-GNN: Topology- and Fault-Aware Graph Neural Scheduling for Heterogeneous Distributed Computing Systems
University of California, Los Angeles（加州大学洛杉矶分校）；New York University（纽约大学）；University of Utah（犹他大学）
针对异构系统调度中故障影响，提出TFR-GNN图神经网络调度器，结合拓扑与故障感知，蒸馏容错预言机，显著降低预期完工时间并泛化至大规模工作流。
2026-09-10 cs.DC
EP-NCO: Latency-Aware Service Placement using Neural Combinatorial Optimisers for Edge-Cloud Systems
Queen’s University Belfast（贝尔法斯特女王大学）；Karlstad University（卡尔斯特德大学）
提出EP-NCO框架，利用双图模型和图神经网络学习结构嵌入，结合强化学习策略在边缘-云系统中实现延迟感知的服务放置，相比元启发式算法降低46%-50%响应时间。
2026-10-22 cs.DC
A Secure and Multi-objective Virtual Machine Placement Framework for Cloud Data Centre
为了向云用户提供具有成本效益和弹性的计算优势，虚拟机（VM）的节能和安全分配在数据中心发挥着重要作用。虚拟机部署（VM Placement，VMP）效率低下，多个用户共享公共物理机，导致资源浪费、功耗过高、通信成本增加和安全漏洞。为了解决上述挑战，提出了一种新的安全和多目标虚拟机放置（SM-VMP）框架，具有高效的VM迁移。建议的框架，确保能源效率的物理资源之间的虚拟机，强调安全和及时执行的用户应用程序，通过减少相互通信延迟的分布。VMP进行应用建议鲸鱼优化遗传算法（WOGA），启发鲸鱼进化优化和非支配排序的遗传算法。静态和动态VMP的性能评估以及与最新技术水平的比较观察到共享服务器、内部通信成本、功耗和执行时间分别显著降低28.81%、25.7%、35.9%和82.21%，并且资源利用率提高30.21%。
2021-07-28 cs.DC
LegoDiffusion: Micro-Serving Text-to-Image Diffusion Workflows
Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）
LegoDiffusion通过将扩散工作流分解为松耦合的模型执行节点，实现高效管理与调度，提升请求率和突发流量容忍度。
2026-04-09 cs.AI cs.DC
Location, Location, Location: Data-Intensive Distributed Computing in the Cloud
在编排高度分布式和数据密集型的Web服务工作流时，编排引擎的地理位置会极大地影响工作流的整体性能。演示引擎通常从组织的网络内运行，并且可能必须跨长的地理距离传输数据，这反过来增加了执行时间并降低了工作流的整体性能。在本文中，我们提出了CloudForecast：一个Web服务框架和分析工具，它给出了一个工作流规范，计算最佳的亚马逊EC2云区域自动部署编排引擎和执行工作流。我们使用Amazon Cloud区域和工作流节点之间的工作流地理距离、网络延迟和HTTP往返时间来查找云区域的排名。这个简单指标的组合集有效地预测了工作流编排引擎应该部署在哪里，以减少总体执行时间。我们通过执行在PlanetLab平台上部署的随机生成的数据密集型工作流来评估我们的方法，以便对Amazon EC2 Cloud区域进行排名。我们的实验结果表明，我们提出的优化策略，根据特定的工作流程，可以加快执行时间平均82.25%相比，本地执行。我们还表明，执行时间的标准差减少了近65%的平均使用优化策略。
2014-02-03 cs.DC
SWARM+: Scalable and Resilient Multi-Agent Consensus for Decentralized Data-Aware Workload Management
Renaissance Computing Institute, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校文艺复兴计算研究所）；Argonne National Laboratory（阿贡国家实验室）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
提出SWARM+，一种通过分层多智能体共识实现去中心化工作负载管理的系统，在提高可扩展性和弹性的同时支持数据感知调度策略。
2026-07-15 cs.DC
Enabling Scientific Workflow Scheduling Research in Non-Uniform Memory Access Architectures
Universidad de los Andes（安第斯大学）
本文提出nFlows，一个支持在非统一内存访问架构上进行科学工作流调度研究的运行时系统，用于建模、执行、模拟和验证调度算法。
2025-11-25 cs.DC
StreamFlow: cross-breeding cloud with HPC
本文提出 StreamFlow 工作流执行方法，以声明式环境描述扩展工作流图，支持 Kubernetes、批处理集群等多云/HPC 站点及无共享数据空间的跨环境执行，并通过单细胞转录组分析生物信息学流水线加以验证。
2020-08-30 cs.DC
Task Containerization and Container Placement Optimization for MEC: A Joint Communication and Computing Perspective
针对MEC中容器部署导致的通信开销与资源不均衡问题，提出基于工作流的数学模型与多目标组合优化方法，联合优化任务容器化与容器放置，有效降低开销并平衡资源。
2023-05-23 cs.DC cs.NI
FATE: Future-State-Aware Scheduling for Heterogeneous LLM Workflows
University of Science and Technology of China（中国科学技术大学）；School of Computer Science and Technology（计算机科学与技术学院）
FATE通过结合前沿规划、前瞻性候选评分和多设备分片执行，优化异构LLM工作流的未来状态，降低延迟并提升效率。
2026-05-08 cs.DC
Nalar: Workflow-Aware Management of Agentic Applications
UT Austin（德克萨斯大学奥斯汀分校）；Cisco Research（思科研究）
Nalar是一个高效代理服务框架，通过分离工作流规范与执行，实现异构代理应用的可扩展、高效和基于策略的服务，显著提升性能和稳定性。
2026-10-02 cs.DC cs.MA
Accelerating the Operation of Complex Workflows through Standard Data Interfaces
本文提出通过标准化网络层数据接口，将工作流步骤从DAG点对点连接改为消息系统共享通道，以解耦数据共享与处理，提升复杂工作流的部署和运行效率。
2024-12-17 cs.DC cs.NI
WORKSWORLD: A Domain for Integrated Numeric Planning and Scheduling of Distributed Pipelined Workflows
本文提出WORKSWORLD领域，用于永久调度工作流的数值无关规划器，通过定义数据源、组件和目标，解决联合规划与调度问题，实验证明在普通硬件上可处理最多14个组件的线性链工作流。
2026-03-18 cs.AI cs.DC
Using GANs for Sharing Networked Time Series Data: Challenges, Initial Promise, and Open Questions
Carnegie Mellon University（卡内基梅隆大学）；IBM（国际商业机器公司）
有限的数据访问是网络系统社区中数据驱动研究和开发的长期障碍。在这项工作中，我们探索了生成对抗网络（GANs）是否以及如何通过启用一个通用框架来共享合成数据集，从而以最少的专家知识来激励数据共享。作为一个特定的目标，我们在本文中的重点是时间序列数据集与元数据（例如，与相应ISP的分组丢失率测量）。我们确定了现有GAN方法在保真度方面对此类工作负载的关键挑战（例如，长期依赖性、复杂的多维关系、模式坍塌）和隐私（即，对现有担保的了解很少，可能会牺牲忠诚度）。为了提高保真度，我们设计了一个名为DoppelGANger（DG）的自定义工作流程，并证明了在不同的真实世界数据集（例如，带宽测量、集群请求、web会话）和使用情况（例如，结构表征、预测建模、算法比较），DG比基线模型的保真度高出43%。虽然我们在这项工作中没有解决隐私问题，但我们确定了经典隐私概念和最新进展的基本挑战，以改善GANs的隐私特性，并提出了解决这些挑战的潜在路线图。通过阐明承诺和挑战，我们希望我们的工作可以重新点燃关于数据共享工作流程的对话。
2021-01-17 cs.DC cs.LG cs.NI
LIDC: A Location Independent Multi-Cluster Computing Framework for Data Intensive Science
Tennessee Tech（田纳西科技大学）
针对多组织协作中集中式计算放置的不足，提出基于语义名称的去中心化控制平面，实现位置无关的动态计算放置，使任何有足够资源的K8s集群均可执行任务。
2025-10-24 cs.DC cs.NI
ODT FLOW: A Scalable Platform for Extracting, Analyzing, and Sharing Multi-source Multi-scale Human Mobility
为应对人类流动数据需求的飙升，特别是在COVID-19大流行等灾难事件期间，以及相关的大数据挑战，我们开发了一个可扩展的在线平台，用于提取，分析和共享多源多规模的人类流动流。在该平台中，提出了一个起点-目的地-时间（ODT）数据模型，与可扩展的查询引擎协同工作，以处理具有广泛空间覆盖的大容量异构移动数据，从而允许在服务器端并行地高效提取、查询和聚合十亿级的起点-目的地（OD）流。一个交互式的空间门户网站，ODT流浏览器，允许用户探索多源移动数据集与用户定义的时空尺度。为了提高可重复性和可复制性，我们进一步开发了ODT Flow REST API，为研究人员提供了通过工作流、代码和程序以编程方式访问数据的灵活性。提供演示来说明API与科学工作流和Applyter Notebook环境集成的潜力。我们相信，该平台加上衍生的多尺度流动数据，可协助在灾害事件（例如持续的COVID-19大流行）期间进行人员流动监测和分析，并使科学界和公众了解人员流动动态。
2021-04-11 cs.DB cs.DC cs.SI
Workflow-Driven Modeling for the Compute Continuum: An Optimization Approach to Automated System and Workload Scheduling
针对云与HPC融合的计算连续体中手动调度效率低的问题，提出基于MILP和启发式方法的自动化调度框架，可兼顾小规模场景最优性与大规模场景高效性。
2025-05-18 cs.DC
ESG: Pipeline-Conscious Efficient Scheduling of DNN Workflows on Serverless Platforms with Shareable GPUs
本文提出ESG调度算法，将可共享GPU作为一阶因素，结合A*搜索与双刃剪枝技术及基于支配者的SLO分布，解决无服务器平台上DNN工作流调度空间急剧扩大的问题，显著提升SLO命中率并降低成本。
2024-04-25 cs.DC
Batch Query Processing and Optimization for Agentic Workflows
National University of Singapore（新加坡国立大学）
Halo通过统一查询优化与异构LLM服务，提升代理工作流在批量推理和在线服务中的效率，实现3.6倍速度提升和2.6倍吞吐量改进。
2026-01-19 cs.DB cs.DC
Databelt: A Continuous Data Path for Serverless Workflows in the 3D Compute Continuum
针对3D计算连续体中无服务器函数因网络拓扑动态变化导致的高延迟状态访问问题，提出Databelt框架，通过SLO感知状态传播和状态融合机制，减少执行时间达66%、提升吞吐量50%并降低存储操作延迟20%。
2025-08-26 cs.DC
Atlas: Optimizing Deployment of Compound AI Workflows on Heterogeneous Clusters
TU Wien（维也纳工业大学）
Atlas是优化复合AI工作流部署的框架，通过马尔可夫准确性预测器（MAP）实现高效准确性估计，在满足SLO的同时，可降低部署成本并提升计划排序准确性。
2026-09-07 cs.AI cs.DC
AiiDA 1.0, a scalable computational infrastructure for automated reproducible workflows and data provenance
计算能力的不断增长和先进计算方法的持续发展对最近的科学进步做出了很大贡献。这些发展带来了新的挑战，这是由大量的计算和数据管理驱动的。下一代百亿亿次超级计算机将强化这些挑战，因此自动化和可扩展的解决方案变得至关重要。近年来，我们一直在开发AiiDA（http：www.aiida.net），这是一个强大的开源高吞吐量基础设施，可解决自动化工作流程管理和数据来源记录需求带来的挑战。在这里，我们介绍了实现持续性能所需的开发和功能，AiiDA支持数万个进程/小时的吞吐量，同时自动保存和存储关系数据库中的完整数据出处，使其可查询和可遍历，从而实现高性能数据分析。AiiDA的工作流语言提供了先进的自动化、错误处理功能和灵活的插件模型，允许与任何仿真软件进行接口。相关的插件注册表可以无缝共享扩展，使一个充满活力的用户社区致力于使模拟更加强大，用户友好和可重复。
2020-03-24 cond-mat.mtrl-sci cs.DC
Cybercosm: New Foundations for a Converged Science Data Ecosystem
科学界自然倾向于围绕数据生态系统进行组织，这些生态系统是由观测设备、数据存储库以及将研究从观测到发现所必需的工作流程相结合而创建的。然而，这些遗留数据生态系统现在在这些工作流的数量和速度呈指数增长的压力下正在崩溃，而这些工作流由于需要集成人工智能革命的高度数据密集型方法而变得更加复杂。要实现充分利用这种新的数据饱和研究环境的突破性科学，就需要分布式系统支持显著改善的资源共享、工作流可移植性和可组合性以及数据生态系统融合。本白皮书中提出的Cybercosm愿景描述了一种完全不同的方法，用于数据密集型科学及其应用工作流程的分布式系统架构。与传统的通过将存储、网络和计算资源分离到单独的技术孤岛中来限制互操作性的模型相反，Cybercosm定义了一个最低限度足够的管理程序作为其数据平面的跨越层，以完全互操作的方式虚拟化和聚合系统节点的本地资源。通过构建一个通用的通用接口，可以分解和攻击影响当今数据密集型工作流程的问题，Cybercosm旨在支持可扩展，可移植和可组合的工作流程，这些工作流程跨越并合并了当今领先的研究社区的分布式数据生态系统。
2021-06-29 cs.DC cs.NI
