ECAS: An Edge-Controlled Agentic System for Validation-Gated Scientific Application Execution
Argonne National Laboratory(阿贡国家实验室);Oregon State University(俄勒冈州立大学)
针对科学应用HPC执行中LLM智能体面临的凭证安全和一次性生成失败问题,提出ECAS系统,通过边缘控制与验证门控机制实现闭环修复,实验成功率从0/6提升至6/6。
2026-09-15 cs.AI cs.DC
Energy-Aware Workflow Execution: An Overview of Techniques for Saving Energy and Emissions in Scientific Compute Clusters
本文通过估算三个真实科学工作流的碳足迹揭示能耗问题,并系统综述了从异构架构、代码优化到电压频率调节、负载整合与调度等多种降低科学计算集群能耗与碳排放的技术。
2025-06-04 cs.DC
Custom Execution Environments with Containers in Pegasus-enabled Scientific Workflows
科学可重复性是科学工作流程的基石特征。在大多数情况下,这已经被实现为一种精确地再现为达到最终结果所采取的计算步骤的方法。虽然这些步骤通常被完整地描述,包括输入参数、数据集和代码,但是执行这些步骤的环境仅在更高级别上用端点和操作系统名称和版本来描述。虽然这可能足以在短期内实现可重复性,但系统会随着时间的推移而发展和更换,从而打破了基本的工作流程可重复性。这个问题的一个自然解决方案是容器,因为它们定义良好,具有独立于底层系统的生命周期,并且可以由用户控制,以便在需要时提供自定义环境。本文重点介绍了在分布式科学工作流中使用容器时可能出现的一些独特挑战。此外,本文探讨了如何飞马工作流管理系统实现容器支持,以应对这些挑战。
2019-05-20 cs.DC
WorkflowHub: Community Framework for Enabling Scientific Workflow Research and Development -- Technical Report
科学工作流是现代科学计算的基石。它们用于描述复杂的计算应用程序,这些应用程序需要对大量数据进行高效和鲁棒的管理,这些数据通常在异构的分布式资源上存储/处理。工作流研究和开发社区已经采用了一些方法来定量评估现有的和新的工作流算法和系统。特别是,一种常见的方法是模拟工作流执行。在以前的工作中,我们已经提出了一系列的工具,已被用于协助研究和开发活动的飞马座项目,并已通过其他人进行工作流程研究。尽管它们很受欢迎,但有几个缺点妨碍了易于采用,维护以及与生产工作流程的不断发展的结构和计算要求的一致性。在这项工作中,我们提出了WorkflowHub,一个社区框架,提供了一个收集的工具,用于分析工作流执行的痕迹,产生现实的合成工作流的痕迹,并模拟工作流的执行。我们证明了现实主义的生成的合成痕迹,通过比较模拟执行这些痕迹与实际工作流执行。我们还将这些结果与使用以前可用的工具集时获得的结果进行了对比。我们发现我们的框架不仅可以用于生成代表性的合成工作流程轨迹(即,具有类似于从真实世界工作流执行获得的轨迹中的那些的工作流结构和任务特征分布),但是也可以以比可用工作流轨迹的尺度更大的尺度生成代表性工作流轨迹。
2020-09-01 cs.DC
A Gain Function for Architectural Decision-Making in Scientific Computing
科学计算通常需要大量的计算需求,这已经通过高性能分布式计算来解决。高效地部署许多复杂的科学应用程序是至关重要的,这些应用程序具有不同的特性,因此也需要不同的计算资源。然而,在许多研究实验室中,这种高性能架构并不是专用的。因此,必须共享架构来执行一组科学应用程序,这些应用程序具有许多不同的执行时间和对研究的相对重要性。此外,高性能架构具有不同的特性和成本。当必须获得新的基础设施来满足这种场景的需求时,决策是困难和复杂的。在这项工作中,我们提出了一个增益函数作为一个模型的效用函数,它是可能的决策与信心。通过该功能,可以评估最佳架构选项,同时考虑应用程序和架构的各个方面,包括执行时间,架构成本,每个应用程序的相对重要性以及最终评估中性能和成本的相对重要性。本文介绍了增益函数,例子,并通过一个实际案例来说明它们的适用性。
2016-02-01 cs.DC cs.PF
WfCommons: A Framework for Enabling Scientific Workflow Research and Development
科学工作流是现代科学计算的基石。它们用于描述复杂的计算应用程序,这些应用程序需要对大量数据进行有效和鲁棒的管理,这些数据通常在异构的分布式资源上存储/处理。工作流研究和开发社区已经采用了一些方法来定量评估现有的和新的工作流算法和系统。特别是,一种常见的方法是模拟工作流执行。在以前的作品中,我们已经提出了一个收集的工具,已通过社区进行工作流研究。尽管它们很受欢迎,但它们存在一些缺点,这些缺点妨碍了易于采用,维护以及与生产工作流程的不断发展的结构和计算要求的一致性。在这项工作中,我们提出了WfCommons,一个框架,它提供了一个工具的集合,用于分析工作流执行,用于生产合成工作流的生成器,并用于模拟工作流执行。我们证明了现实主义的合成工作流比较其模拟执行真实的工作流执行。我们还将这些结果与使用以前可用的工具集时获得的结果进行了对比。我们发现,由我们的框架自动构造的工作流生成器不仅生成具有代表性的相同规模的工作流(即,其结构和任务特性分布类似于在真实世界工作流中观察到的那些),而且在比可用的真实世界工作流的规模更大的规模上这样做。最后,我们进行了一个案例研究,以证明我们的框架估计大规模工作流执行的能源消耗的有用性。
2021-05-29 cs.DC
Sizey: Memory-Efficient Execution of Scientific Workflow Tasks
本文提出在线内存预测方法Sizey,通过同时训练多个机器学习模型并动态选择最佳模型来优化科学工作流任务的内存分配,在六个nf-core真实工作流上相比最佳基线中位数减少内存浪费24.68%。
2025-02-10 cs.DC
rDLB: A Novel Approach for Robust Dynamic Load Balancing of Scientific Applications with Parallel Independent Tasks
科学应用程序通常包含大型和计算密集型并行循环。动态循环自调度(DLS)用于在高性能计算(HPC)系统上实现此类应用程序的平衡负载执行。大型HPC系统易受处理器或节点故障以及资源可用性扰动的影响。大多数自调度方法不考虑容错调度,或者依赖于故障或扰动检测,并通过重新调度失败的任务来做出反应。在这项工作中,一个强大的动态负载均衡(rDLB)方法提出了强大的独立任务的自我调度。所提出的方法是主动的,不依赖于故障或扰动检测。理论分析表明,该方法具有线性可扩展性,且开销随系统规模的增加呈二次方下降。rDLB集成到MPI DLS库中,通过两个计算密集型科学应用程序通过实验评估其性能。结果表明,rDLB使容忍高达(P减一)处理器故障,其中P是执行应用程序的处理器的数量。在存在扰动的情况下,与没有rDLB的对应物相比,rDLB将DLS技术的鲁棒性提高了30倍,并将应用程序执行时间降低了7倍。
2019-10-04 cs.DC cs.PF
Scientific Workflow Scheduling in Cloud Considering Cold Start and Variable Pricing Model
针对科学云服务提供商面临的冷启动和多种虚拟机定价模型管理挑战,提出一种结合历史数据初始规划与实时调整的混合调度框架,在真实数据集上相比现有方法实现高达20%的利润提升。
2025-04-30 cs.DC
Towards Advanced Monitoring for Scientific Workflows
本文针对科学工作流跨组件监控割裂、指标依赖分析不足的问题,提出四层监控架构蓝图,并考察五种主流SWMS以明确落地路径。
2023-07-18 cs.DC
Proposal for improvement in the transfer and execution of multiple instances of a virtual image
虚拟化技术允许当前任何应用程序在异构分布式系统上运行任何复杂和昂贵的计算应用程序(科学应用程序就是一个很好的例子),这些系统经常使用网格和云技术,从而大大节省了计算时间。该模型对于科学模拟和计算的大规模执行特别有趣,允许使用科学家通常使用的相同执行环境(未更改)并行执行应用程序。但是,使用和分发大型虚拟映像可能会成为一个问题(高达数十个千兆字节),当试图在大量分布式计算机上发送大量邮件时,这个问题会变得更加严重。这项工作的主要目标是提出一个分析如何实现和建议的虚拟图像假装减少分布式系统中的分发时间的改进(减少大小)。这种分析是在非常具体的要求下完成的,即需要一个操作系统(来宾操作系统)对其执行的某些方面。
2011-08-02 cs.DC
Ascend to Science: Exploration of AI Chips for Scientific Computing
Pengcheng Laboratory(鹏城实验室)
研究探讨人工智能芯片用于科学计算的条件,以昇腾910 NPU为平台刻画瓶颈,针对五个应用研究开发特定映射,通过协调数值公式、执行位置和数据移动,使原生人工智能NPU实现数值稳健性、性能和可扩展性,区分优化原则与实现细节。
2026-07-23 cs.DC
Introducing SWIRL: An Intermediate Representation Language for Scientific Workflows
针对科学计算中工作流执行的新需求,本文提出面向科学工作流的中间表示语言SWIRL,作为分布式工作流执行计划的底层编译目标,具备底层原语、形式化转换框架与重写优化规则,并已开发出开源编译器工具链。
2024-07-01 cs.DC
Towards cloud-native scientific workflow management
本文评估了Kubernetes中科学工作流的替代执行模型,提出基于微服务的自动扩展worker-pools云原生模型,在HyperFlow系统中实现并使用Montage工作流评估,相比最佳作业模型makespan提升近20%。
2024-08-27 cs.DC
Performance considerations on execution of large scale workflow applications on cloud functions
Function-as-a-Service是一种新型的云服务,用于创建分布式应用程序和利用计算资源。应用程序开发人员提供云功能的源代码,这些功能是小型应用程序或应用程序组件,而服务提供商负责提供基础设施,扩展和公开REST风格的API。这种环境似乎足以运行科学工作流程,近年来,科学工作流程已成为实施和维护复杂科学过程的既定范例。在本文中,我们介绍了评估三个主要的FaaS提供商(亚马逊,谷歌,IBM)作为运行科学工作流的平台所做的工作。实验进行了一个专门的基准测试框架,其中包括仪表化的工作流执行引擎。测试负载被实现为大规模的任务袋风格的工作流,其中任务计数达到5120并行运行。所研究的参数包括原始性能、基础设施配置的效率、API和网络层引入的开销,以及与运行时间计费相关的方面。结论包括对可用性能的深入了解,表示为原始GFlops值和描述性能与函数大小关系的图表。基础设施配置被证明是由并行度和速率限制控制的,这可以从包含的图表中推断出来。事实证明,使用REST API所带来的开销对单个任务的总体运行时间以及整个工作流的总体运行时间有很大影响。本文最后指出了未来可能的工作,包括建立性能模型和设计一个专用的调度算法,用于在FaaS上运行科学工作流。
2019-09-08 cs.DC
Realizing Fast, Scalable and Reliable Scientific Computations in Grid Environments
有效和可靠地管理和执行大规模科学计算的实际实现是相当具有挑战性的。科学计算通常涉及对大量数据进行操作的数千甚至数百万个任务,这样的数据通常是分布式结构化的并且以异构物理格式存储,并且科学家必须在异构、分布式并且可能不断变化的计算、存储和网络资源的集合上指定和运行这样的计算。我们提出了几个先进的系统:Swift,Karajan和Falkon的集成,以解决在网格环境中运行各种大规模的科学应用程序的挑战。Swift是一种并行编程工具,用于快速可靠地规范、执行和管理大规模科学和工程工作流。Swift由一个名为SwiftScript的简单脚本语言和一个强大的运行时系统组成,该系统基于CoG Karajan工作流引擎,并集成了Falkon轻量级任务执行服务,该服务使用多级调度和流线型调度器。我们展示了集成系统的可扩展性,性能和可靠性,使用来自天文学,认知神经科学和分子动力学,这都包括大量的细粒度的工作的应用程序的例子。我们表明,Swift能够表示动态工作流,其结构只能在运行时确定,并使用SwiftScript大大减少了各种工作流表示的代码大小;通过Karajan引擎调度执行数十万并行计算;与传统的批处理器相比,执行时间减少了90%。
2008-08-26 cs.DC cs.PL
Parallelization in Scientific Workflow Management Systems
在过去的二十年里,科学工作流管理系统(SWfMS)已经成为一种促进可重用科学数据处理管道的设计,执行和监控的手段。与此同时,各个科学领域产生的数据量超过了计算能力和存储能力的增强。对于生命科学来说尤其如此,新技术将测序吞吐量从每天10兆字节提高到了每天10兆字节。这种趋势需要当前的SWfMS来适应:必须提供对并行工作流执行的本机支持以提高性能;必须集成可动态扩展的“按使用付费”计算基础设施以降低硬件成本;需要分布式计算环境中的工作流的自适应调度以优化资源利用率。在这次调查中,我们给出了一个概述的并行化技术的SWFMS,无论是在理论上,并在具体的系统中实现。我们发现,目前的系统留下了相当大的改进空间,我们提出了关键的进步,SWFMS的景观。
2013-03-28 cs.DC
Memory-aware Adaptive Scheduling of Scientific Workflows on Heterogeneous Architectures
针对异构平台上DAG形科学工作流,提出记忆感知的HEFT变体及自适应重调度策略,集成运行时系统,避免内存不足并显著缩短完工时间。
2025-03-28 cs.DC
Enabling Scientific Workflow Scheduling Research in Non-Uniform Memory Access Architectures
Universidad de los Andes(安第斯大学)
本文提出nFlows,一个支持在非统一内存访问架构上进行科学工作流调度研究的运行时系统,用于建模、执行、模拟和验证调度算法。
2025-11-25 cs.DC
Asynchronous Execution of Heterogeneous Tasks in ML-driven HPC Workflows
Brookhaven National Laboratory(布鲁克海文国家实验室);Rutgers, the State University of New Jersey(罗格斯大学,新泽西州立大学)
本文研究了ML驱动HPC工作流的异步任务执行需求,建模了异步程度并提出关键指标,在Summit上大规模实验验证了异步执行带来的性能提升与模型一致。
2023-06-27 cs.AI cs.DC cs.LG
Augur: Pre-Execution Energy Prediction for Workflow Tasks in Heterogeneous Clusters
University of Glasgow(格拉斯哥大学);Humboldt-Universität zu Berlin(柏林洪堡大学)
提出Augur方法,通过高效分析集群基础设施和工作流特征,在任务执行前预测能耗,中位预测误差约16-18%,优于现有方法。
2026-05-29 cs.DC
A Self-adaptive Auto-scaling Method for Scientific Applications on HPC Environments and Clouds
高强度计算应用程序通常需要几天到几个月才能完成执行。在此期间,当考虑到这种硬件通常在组织内的多个研究人员/部门之间共享时,通常具有可用资源的变化。另一方面,高性能集群可以利用云计算突发技术来执行应用程序以及内部资源。为了满足最后期限,高密集型计算应用程序可以在数据和任务并行时使用云来提高其性能。本文介绍了一项正在进行的工作,旨在将HPC执行平台的扩展资源与云一起使用。我们提出了一个统一的视图,这样的异构环境和方法,监测,预测应用程序的执行时间,并动态地转移域的一部分-以前运行在本地HPC硬件-在云计算,然后满足特定的截止日期。该方法与地震应用程序一起举例说明,该应用程序在运行时自适应将部分处理移动到云(在称为突发的移动中),并在云节点上自动缩放(移动的部分)。我们的初步结果表明,执行此移动和同步结果会产生预期的开销,但我们的结果表明,在内部部署集群过载或无法提供特定项目所需的容量的情况下,这是满足最后期限的重要功能。
2015-01-26 cs.DC
HyProv: Hybrid Provenance Management for Scientific Workflows
Humboldt-Universität zu Berlin(柏林洪堡大学);University of Glasgow(格拉斯哥大学)
HyProv提出一种结合集中式与联邦式范式的混合溯源管理系统,面向科学工作流实现可扩展、在线且具备工作流感知的溯源查询,实验证明其能以亚秒级延迟处理大规模工作流并仅带来适度资源开销。
2025-11-10 cs.DC
WfBench: Automated Generation of Scientific Workflow Benchmarks
具有高计算需求的科学工作流的流行要求其在各种分布式计算平台上执行,包括大规模领导级高性能计算(HPC)集群。为了处理工作流执行的部署、监控和优化,在过去十年中开发了许多工作流系统。有一个需要的工作流基准,可用于评估当前和未来的软件栈和硬件平台上的工作流系统的性能。我们提出了一个现实的工作流基准规范,可以转化为基准代码与当前的工作流系统执行的生成器。我们的方法生成的工作流任务具有任意的性能特征(CPU,内存和I/O的使用)和现实的任务依赖结构的基础上,在生产工作流中看到的。我们目前的实验结果表明,我们的方法生成的基准是生产工作流的代表,并进行案例研究,以证明我们生成的基准的使用和有用性,以评估不同的配置方案下的工作流系统的性能。
2022-10-06 cs.DC
Design and implementation of self-adaptable parallel algorithms for scientific computing on highly heterogeneous HPC platforms
传统的异构并行算法是为异构工作站集群设计的,它们基于这样的假设:处理器的绝对速度不取决于计算任务的大小。事实证明,这种假设对于现代和未来高度异构的HPC平台是不准确的。新的一类算法的基础上的功能性能模型(FPM),表示处理器的速度的函数的问题大小,最近已经提出。然而,这些算法不能采用自适应的应用程序,因为非常高的成本建设的功能性能模型。本文提出了一类新的并行算法的高度异构的HPC平台。与传统的基于FPM的算法一样,这些算法假设处理器的速度由速度函数而不是速度常数来表征。与传统的算法不同,它们不假设速度函数是给定的。相反,他们估计的速度函数的处理器在其执行过程中的不同大小的问题。这些算法不为每个处理器构建全速函数,而是构建和使用它们的部分估计,足以以给定的精度进行计算的最佳分布。在这些算法中,异构处理器之间的计算分布的低执行成本使它们适合于在自适应应用中就业。基于这种方法的并行矩阵乘法应用程序的实验进行本地和全球异构计算集群。结果表明,处理器之间的最佳矩阵分布的执行时间显着减少,由数量级,比优化的应用程序的总执行时间。
2011-09-14 cs.DC
Reshi: Recommending Resources for Scientific Workflow Tasks on Heterogeneous Infrastructures
科学工作流通常包括许多不同的处理步骤,这些处理步骤通常在输入数据的不同分区上并行执行。反过来,这些执行必须在手头的计算基础设施的计算节点上进行调度。这种分配由于以下事实而变得复杂:(a)任务通常具有高度异构的资源需求,以及(b)在许多基础设施中,计算节点提供高度异构的资源。因此,如许多调度算法所要求的,对给定节点上的给定任务的运行时间的预测通常是相当不精确的,这可能导致次优调度决策。我们提出了Reshi,一种在工作流执行过程中推荐任务节点分配的方法,可以处理异构任务和异构节点。Reshi将问题作为回归任务来处理,其中任务节点对被建模为专用微基准测试和过去任务执行结果的特征向量。基于这些功能,Reshi训练了一个回归树模型,为每个准备运行的任务排名和推荐节点,这些节点可以用作调度器的输入。在我们的评估中,我们使用三个代表性的工作流程对27种AWS机器类型进行了基准测试。我们将Reshi的建议与三种最先进的解决方案进行比较。我们的评估表明,Reshi优于HEFT的平均完工时间减少7.18%和18.01%,假设平均任务运行时预测误差为15%。
2022-10-17 cs.DC
WOW: Workflow-Aware Data Movement and Task Scheduling for Dynamic Scientific Workflows
本文提出WOW调度方法,通过协同引导数据移动与任务调度并创建中间文件推测性副本,有效减少动态科学工作流的网络拥塞与运行时间,在Nextflow和Kubernetes实验中显著降低完成时间且扩展性良好。
2025-03-28 cs.DC
Towards Experiment Execution in Support of Community Benchmark Workflows for HPC
针对HPC领域基准测试有限难以展示算力的问题,研究提出可适配的工作流模板与“基准构建”概念,经两款工具在多类科学应用中验证,可提升工作流适配性,助力社区基准测试工作流落地。
2025-07-30 cs.DC
Task Runtime Prediction in Scientific Workflows Using an Online Incremental Learning Approach
The University of Melbourne(墨尔本大学)
工作流调度和资源配置中的许多算法都依赖于任务的性能估计来产生调度计划。因此,一个能够对任务的执行进行建模并准确预测其运行时间的分析器成为任何工作流管理系统(WMS)的重要组成部分。随着使用云部署科学工作流的多租户工作流即服务(WaaS)平台的出现,任务运行时预测变得更具挑战性,因为它需要在近实时场景中处理大量数据,同时处理云资源的性能变化。因此,依赖于诸如使用基本统计描述(例如,平均值、标准偏差)或批量离线回归技术来估计运行时间可能不适合于这样的环境。在本文中,我们提出了一种在线增量学习方法来预测云中科学工作流中任务的运行时间。为了提高预测的性能,我们利用细粒度的资源监控数据的形式的CPU利用率,内存使用量和I/O活动的时间序列记录,反映了任务的执行的独特特征。我们将我们的解决方案与利用基于回归机器学习技术的资源监控数据的最先进方法进行比较。从我们的实验中,所提出的策略提高了性能,在误差方面,高达29.89%,相比国家的最先进的解决方案。
2018-10-10 cs.DC cs.LG
Graph for Science: From API based Programming to Graph Engine based Programming for HPC
本文提出Graph for Science范式,将矩阵计算转化为图表示,利用图处理引擎提供统一编程接口,使领域专家无需HPC专业知识即可高效实现大规模科学计算,性能与现有最佳实现相当。
2024-04-02 cs.DC
ProvDeploy: Provenance-oriented Containerization of High Performance Computing Scientific Workflows
本文提出ProvDeploy,协助用户为高性能计算科学工作流配置集成溯源数据捕获的容器,并通过科学机器学习工作流在两种HPC环境中评估了专注于溯源的容器化策略。
2024-03-25 cs.DB cs.DC
CMI: An Online Multi-objective Genetic Autoscaler for Scientific and Engineering Workflows in Cloud Infrastructures with Unreliable Virtual Machines
云计算正在成为执行科学和工程工作流的领先范例。他们模拟的实验的大规模性质及其可变的工作负载使云成为理想的执行环境,因为它可以快速和弹性地访问大量的计算资源。自动缩放器是中间件级别的软件组件,其允许通过在调度工作流的任务时获取或终止虚拟机(VM)来缩放计算平台。在这项工作中,我们提出了一种新的在线多目标自动缩放命名为云多目标智能(CMI)的工作流,其目的是在最小化的完工时间,货币成本和潜在的影响,来自不可靠的虚拟机的错误。此外,这个问题还受到货币预算的限制。CMI负责定期解决工作流执行过程中遇到的自动缩放问题。四个著名的工作流程的模拟实验表明,CMI显着优于一个国家的最先进的autoscaler的类似特征,称为现场监测感知自动缩放(SIAA)。这些结果传达了一个坚实的基础,在其他Meta探试法的自动缩放工作流应用程序使用廉价的,但不可靠的基础设施的深入研究。
2018-11-02 cs.DC cs.NE
Leveraging LLMs to Automate Energy-Aware Refactoring of Parallel Scientific Codes
本文研究LLM能否在经验执行反馈指导下生成能源高效的并行科学代码,提出LASSI-EE框架,通过多阶段迭代方法结合运行时功耗分析、能源感知提示、自纠正反馈循环和LLM作为裁判代理,实现代码重构。
2026-05-09 cs.AI cs.DC cs.PL
Avatar: Toward Autonomous End-to-End Orchestration of Scientific Workflows using LLMs
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
Avatar提出基于actor的架构,通过可插拔决策策略实现科学工作流自主编排,规则模式复现原生执行,LLM模式减少55%计算浪费和40%GPU繁忙时间。
2026-09-10 cs.DC cs.MA
Novel Runtime Systems Support for Adaptive Compositional Modeling on the Grid
网格基础设施和计算环境在过去几年中取得了显著的进步。真正无缝网格使用的愿景依赖于运行时系统的支持,是认识到网格计算的基础上的操作问题,同时,是足够灵活,以适应不同的应用场景。本文讨论了网格基础设施和应用程序支持的两个方面,通过一个新的组合两种计算技术:编织-源语言独立的并行运行时组成框架,通过反向分析编译的目标文件,运行时推荐系统,帮助动态知识为基础的应用程序组合。特定于域的自适应性是通过一个新的组合系统,支持运行时推荐的代码模块和一个复杂的检查点和运行时迁移解决方案,可以透明地部署在网格基础设施。一组核心的“自适应模式”提供了大规模的科学计算的自适应组合的模板。实施问题,激励应用程序的背景下,和初步的结果进行了说明。
2003-01-21 cs.CE cs.DC
Design and Implementation of an Analysis Pipeline for Heterogeneous Data
本文提出 Radical-Cylon 异构运行时系统,将 Cylon 作为 Radical Pilot 任务执行,以低开销支持跨节点异构 MPI,并在云和超算 HPC 上显著提升大规模连接、排序性能。
2024-04-08 cs.DC
Analyzing Performance Properties Collected by the PerSyst Scalable HPC Monitoring Tool
了解科学应用程序如何在大型HPC系统上执行的能力对于在HPC数据中心内分配资源非常重要。在本文中,我们描述了我们如何使用系统性能数据来识别:执行模式,可能的代码优化和系统监控的改进。我们还确定了采用机器学习技术来预测类似科学代码的性能的候选人。
2020-09-13 cs.DC
Hierarchical Dynamic Loop Self-Scheduling on Distributed-Memory Systems Using an MPI+MPI Approach
计算密集型循环是科学应用中并行性的主要来源。这样的循环通常是不规则的,并且它们的循环迭代的平衡执行对于实现高性能是至关重要的。然而,有几个因素可能导致不平衡的负载执行,例如问题特征、算法和系统变化。动态循环自调度(DLS)技术的目的是减轻这些因素,从而提高应用程序的性能。在分布式存储器系统上,DLS技术可以使用分层的主-工作者执行模型来实现,因此被称为分层DLS技术。这些技术在两个硬件并行级别上自调度循环迭代:跨计算节点和计算节点内。结合消息传递接口(MPI)和开放多处理(OpenMP)的混合编程方法主导了分层DLS技术的实现。MPI-3标准包括在MPI进程之间共享内存区域的特性。该特性引入了MPI+MPI方法,简化了并行科学应用程序的实现。本工作设计和实现分层DLS技术,利用MPI+MPI的方法。四个众所周知的DLS技术被认为是在这里提出的评估。结果表明,所提出的方法相比,混合MPI+OpenMP方法的某些性能优势。
2019-03-22 cs.DC
PESC -- Parallel Experiment for Sequential Code
随着计算算法在科学界的不同部门越来越受欢迎,对计算资源的需求也在增长。这种搜索刺激了几个云平台的开发,这些平台抽象了计算基础设施的复杂性。不幸的是,访问这些资源的成本可能会忽略可以由更简单的基础设施进行的各种研究。在这篇文章中,我们提出了一个平台,用于分布计算机模拟上的资源在网络上使用容器,抽象的复杂性需要配置这些执行环境,并允许任何用户都可以受益于此基础设施。模拟可以用任何程序设计语言(如Python、Java、C、R)开发,并以一般方式满足科学界的特定执行需求。我们将展示在运行模拟中获得的结果,这些模拟需要使用不同的初始参数进行1000多次运行,以及从使用该平台中受益的各种其他实验。
2023-01-13 cs.DC
Containers for portable, productive and performant scientific computing
容器是一种新兴技术,有望提高科学计算的生产力和代码可移植性。我们研究了Linux容器技术,用于分发非平凡的科学计算软件堆栈,并在从膝上计算机到高性能计算(HPC)系统的各种平台上执行。我们在一个工作站和一个领先的HPC系统上显示,当部署得当时,在容器内运行科学程序不会有性能损失。对于在大型并行计算机上运行的Python代码,由于更快的库导入,容器内的运行时间减少了。我们提供的软件分发方法和数据将帮助开发人员和用户决定容器技术是否适合他们。我们还为依赖专有库来提高性能的HPC系统供应商提供指导,说明他们可以做些什么来使容器无缝工作,而不会带来性能损失。
2016-11-03 cs.DC cs.MS cs.SE
Toward Privacy in Quantum Program Execution On Untrusted Quantum Cloud Computing Machines for Business-sensitive Quantum Needs
针对不可信量子云中机密代码泄露风险,提出首个基于量子计算原理的轻量级、可扩展方案SPYCE,通过混淆量子代码与输出来有效保护隐私。
2023-07-31 cs.AR cs.DC cs.ET
Chiminey: Reliable Computing and Data Management Platform in the Cloud
将高度并行、长时间运行和数据密集型的科学实验引入基于云的执行环境是一项令人向往的任务,尽管对许多研究人员来说很复杂。这种虚拟环境的管理是繁琐的,不一定是科学家和工程师的核心技能。Chiminey是一个软件平台,它使研究人员能够(i)在传统的高性能计算和基于云的计算基础设施上运行应用程序,(ii)处理执行过程中的故障,(iii)管理和可视化执行输出,(iv)与合作者或公众共享这些数据,以及(v)搜索公开可用的数据。
2015-07-06 cs.DC cs.SE
Accelerating discovery across scientific disciplines through reproducible workflows with AiiDAlab
Centre for Computational Chemistry, School of Chemistry, University of Bristol(布里斯托大学化学学院计算化学中心);PSI Center for Scientific Computing, Theory and Data, Paul Scherrer Institute(保罗谢尔研究所科学计算、理论与数据中心);Department of Information Technology and Electrical Engineering, ETH Zurich(苏黎世联邦理工学院信息技术与电气工程系);PSI Center for Neutron and Muon Sciences, Paul Scherrer Institute(保罗谢尔研究所中子与缪子科学中心)
提出基于Jupyter和AiiDA的AiiDAlab平台,通过用户友好的应用和完整溯源追踪,简化复杂计算工作流的设置、执行与分析,从而加速跨学科科学发现。
2026-05-26 cond-mat.mtrl-sci cs.DC
Co-Scheduling Algorithms for High-Throughput Workload Execution
本文研究了处理一组并行应用程序的协同调度算法。而不是一个接一个地执行每个应用程序,使用最大程度的并行性,他们每个人,我们的目标是在调度多个应用程序并发。我们将原始应用程序集划分为一系列的包,这些包被逐个执行。一个包包括几个应用程序,每个应用程序都有一个分配的处理器数量,约束条件是在一个包内分配的处理器总数不超过可用处理器的最大数量。我们的目标是确定一个分区成包,并分配处理器的应用程序,最大限度地减少包的执行时间的总和。我们深入研究了这个优化问题的复杂性,并提出了几种算法,表现出非常好的性能在各种工作负载,其应用程序的执行时间模型配置文件的并行科学代码。我们发现,联合调度导致更快的工作量完成时间和更快的响应时间平均(从而提高系统吞吐量和节省能源),从用户和系统的角度来看,传统的调度显着的好处。
2013-04-29 cs.DC cs.DS