Analyzing Performance Properties Collected by the PerSyst Scalable HPC Monitoring Tool
了解科学应用程序如何在大型HPC系统上执行的能力对于在HPC数据中心内分配资源非常重要。在本文中，我们描述了我们如何使用系统性能数据来识别：执行模式，可能的代码优化和系统监控的改进。我们还确定了采用机器学习技术来预测类似科学代码的性能的候选人。
2020-09-13 cs.DC
ElasticBroker: Combining HPC with Cloud to Provide Realtime Insights into Simulations
对于大规模的科学模拟，存储原始模拟结果以执行后分析是昂贵的。为了最大限度地减少昂贵的I/O，通常使用“原位”分析，其中分析应用程序与科学模拟紧密耦合，并且可以在内存中访问和处理模拟结果。科学领域越来越多地采用大数据方法来分析科学发现的模拟。然而，在两个语义不同的生态系统（HPC和云系统）之间大规模组织、转换和传输数据仍然是一个挑战。为了应对这些挑战，我们设计并实现了ElasticBroker软件框架，该框架将HPC和云应用程序连接起来，形成一个“原位”科学工作流程。ElasticBroker不是将模拟结果写入并行文件系统，而是执行数据过滤、聚合和格式转换，以缩小HPC生态系统和不同云生态系统之间的差距。为了实现这一目标，ElasticBroker将模拟快照重组为连续的数据流，并将其发送到云端。在云中，我们部署分布式流处理服务来执行在线数据分析。在我们的实验中，我们使用ElasticBroker设置和执行跨生态系统的科学工作流，其中包括在超级计算机上运行的并行计算流体动力学（CFD）模拟，以及在云计算平台上运行的并行动态模式分解（DMD）分析应用程序。我们的研究结果表明，使用ElasticBroker在其原生环境中运行由解耦的HPC和大数据作业组成的科学工作流，可以实现高服务质量，良好的可扩展性，并为正在进行的模拟提供高质量的分析。
2020-11-30 cs.DC
PROV-IO+: A Cross-Platform Provenance Framework for Scientific Data on HPC Systems
本文提出跨平台溯源框架PROV-IO+，通过以I/O为中心的溯源模型精确描述科学数据及其I/O操作，在HPC系统上以低于3.5%的开销实现端到端溯源支持，性能优于ProvLake。
2023-08-02 cs.DC
SciChain: Trustworthy Scientific Data Provenance
在高性能计算（HPC）系统上审计和再现科学应用的最新技术是通过数据出处子系统。虽然最近在数据出处方面的进展在于减少性能开销和提高用户的查询灵活性，但数据出处的保真度往往被忽视：没有这样的方法来确保出处数据本身没有被捏造或伪造。本文主张利用区块链提供不可变和自主的数据来源服务，使科学数据值得信赖。将区块链应用于HPC的挑战包括设计一个与HPC平台兼容的新区块链架构，更重要的是，为区块链上的科学应用设计一套新的共识协议。为此，我们设计了可扩展性证明（POST）协议，并在区块链原型中实现了它，即SciChain，这是HPC的第一个区块链系统。我们通过与多个最先进的系统进行比较来评估SciChain;实验结果表明，SciChain保证了可信的数据，同时降低了几个数量级的开销。
2020-02-01 cs.DC
Demystifying the Performance of HPC Scientific Applications on NVM-based Memory Systems
高密度字节可寻址非易失性存储器（NVM）的出现有望加速数据和计算密集型应用。当前的NVM技术具有比DRAM更低的性能，并且因此在异构主存储器中经常与DRAM配对。最近，字节可寻址NVM硬件变得可用。这项工作提供了一个及时的评估代表HPC应用程序从“七个小矮人”基于NVM的主内存。我们的研究结果量化的DRAM缓存的NVM加速HPC应用程序的有效性，并使大的问题超出DRAM容量。在非高速缓存NVM上，HPC应用表现出三层性能敏感性，即，不敏感、缩放和检查。我们确定写节流和并发控制作为优化应用程序的优先事项。我们强调，并发性的变化可能会有不同的影响，在应用程序中的读和写访问。基于这些发现，我们探索两种优化方法。首先，我们提供了一个预测模型，该模型使用来自一小组配置的数据集来估计各种并发和数据大小下的性能，以避免在配置空间中进行穷举搜索。第二，我们证明了写感知数据放置在未缓存的NVM可以实现$2$ x的性能提高与DRAM的使用减少60%。
2020-02-16 cs.DC
Hadoop on HPC: Integrating Hadoop and Pilot-based Dynamic Resource Management
传统上，诸如超级计算机之类的高性能计算平台被设计成满足科学应用的计算需求。因此，他们被设计为数据的生产者而不是消费者。Apache Hadoop生态系统已经发展到满足数据处理应用程序的要求，并解决了HPC平台的许多限制。然而，有一类科学应用程序需要传统高性能计算环境和Apache Hadoop生态系统的集体能力。例如，生物分子动力学、基因组学和网络科学等科学领域需要将传统计算与基于Hadoop/Spark的分析相结合。我们调查的关键问题，如何提出的能力，这两个计算环境，这样的科学应用。而这个问题需要在多个层次上的答案，我们专注于资源管理中间件的设计，可能会支持这两个需求。我们建议扩展的试点抽象提供一个统一的资源管理层。这是一个重要的步骤，允许应用程序将HPC阶段（例如模拟）集成到数据分析中。许多超级计算中心已经开始正式支持Hadoop环境，无论是在专用环境中还是使用myHadoop等工具的混合部署中。这通常涉及许多需要掌握的内在的、特定于环境的细节，并且经常淹没概念性问题，例如：如何最好地耦合HPC和Hadoop应用程序阶段？如何探索运行时的权衡（数据位置与数据移动）？本文提供了概念上的理解和实际的解决方案，以集成使用HPC和Hadoop环境。
2016-01-31 cs.DC
Enabling Seamless Transitions from Experimental to Production HPC for Interactive Workflows
本文提出一种在OLCF开发的结构化过渡路径，通过引入数据流架构、安全服务接口和自适应资源调度框架，解决技术与政策挑战，将传统批处理HPC转变为支持近实时分析和实验引导的动态生态系统，实现交互式工作流从实验环境到生产级HPC的无缝过渡。
2025-06-02 cs.DC
Integrating Quantum Computing Resources into Scientific HPC Ecosystems
本文提出一个硬件无关的框架，将量子计算作为加速器集成到经典科学HPC生态系统中，结合ORNL与DOE的专业知识优化工作流，旨在促进量子与经典计算的协同研究并推动科学创新。
2024-08-28 cs.DC quant-ph
An HPC Benchmark Survey and Taxonomy for Characterization
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文调查了HPC基准并提出分类学，以明确描述基准，帮助系统架构师和研究人员评估硬件、软件和算法性能。
2025-09-10 cs.DC
Is Disaggregation possible for HPC Cognitive Simulation?
认知模拟（CogSim）是HPC科学探索和科学机器学习（SciML）的重要新兴工作流程。CogSim的一个具有挑战性的工作量是用计算循环“内部”的快速、学习的代理模型替换复杂物理模拟中的一个组件。这种环内推理的执行特别具有挑战性，因为它需要跨多个可能的目标模型进行频繁的推理，可能在仿真的关键路线（延迟边界）上，受到来自多个MPI等级的请求的影响，并且通常每个请求包含少量样本。在本文中，我们将探讨如何使用大型专用的深度学习/ AI加速器，这些加速器从计算节点中分离出来，用于此CogSim工作负载。我们比较了在领先级HPC系统上使用这些加速器与节点本地GPU加速器的权衡。
2021-12-09 cs.DC
Energy-aware operation of HPC systems in Germany
本文针对德国HPC系统面临的能源挑战，综述了异构硬件、高温冷却、能源感知调度和动态功耗管理等前沿节能策略，并通过德国领先HPC中心的案例研究为全球HPC社区提供可持续运行的实践经验。
2024-11-25 cs.DC
Reproducible Cross-border High Performance Computing for Scientific Portals
针对科学工作流跨边界访问远程HPC资源以实现可复现性的挑战，提出基于容器打包与设置自动化的解决方案，使科学门户能跨边界访问远程计算与数据资源，增强eScience的可复现性。
2022-09-01 cs.DC
LEONARDO: A Pan-European Pre-Exascale Supercomputer for HPC and AI Applications
本文介绍了旨在促进欧洲科研创新的百亿亿次级预级超级计算机LEONARDO的总体架构及其GPU加速分区技术，指出其能灵活可扩展地运行密集型工作负载，使传统HPC和新兴AI应用在求解时间与能耗上获益。
2023-07-31 cs.DC
Self-Scaling Clusters and Reproducible Containers to Enable Scientific Computing
Docker等容器技术已经成为许多软件行业实践的重要组成部分，特别是那些与可复制性和可移植性有关的实践。容器化哲学影响了科学计算界，科学计算界已经开始采用甚至开发容器技术（例如Singularity）。将容器用于科学软件通常会带来与工业中遇到的挑战不同的挑战，并且需要不同的方法。对于HPC来说尤其如此。随着云中HPC的选择越来越多（包括NSF资助的云项目），人们有强烈的动机寻求解决方案，这些解决方案能够以可移植和可复制的方式在各种计算基础设施上灵活地开发和部署科学软件。云服务提供的灵活性使虚拟HPC集群能够按需扩展，XSEDE项目中的网络基础设施资源集成团队开发了一套工具，可在云中提供可扩展的基础设施。我们现在提出一个解决方案，它在一个支持MPI的Docker容器中使用Nix包管理器，该容器被转换为Singularity。它在每个映像中提供一致的安装、依赖项和环境，这些映像可跨科学计算基础架构进行复制和移植。我们使用部署在Jetstream和Aristotle Red Cloud OpenStack云中的Slurm调度器在自扩展虚拟集群中运行集群基准测试来演示这些容器的实用性。我们的结论是，这种技术是有用的科学软件应用程序容器的模板中使用的XSEDE计算环境，其他奇点HPC环境，和云计算环境。
2020-08-03 cs.DC
SIREN: Software Identification and Recognition in HPC Systems
针对HPC系统中传统软件识别方法的局限性，提出SIREN进程级数据收集框架，通过分析进程元数据、环境信息和可执行文件模糊哈希，实现软件识别与重复执行识别，提升系统优化与安全性。
2025-08-26 cs.DC
A Self-adaptive Auto-scaling Method for Scientific Applications on HPC Environments and Clouds
高强度计算应用程序通常需要几天到几个月才能完成执行。在此期间，当考虑到这种硬件通常在组织内的多个研究人员/部门之间共享时，通常具有可用资源的变化。另一方面，高性能集群可以利用云计算突发技术来执行应用程序以及内部资源。为了满足最后期限，高密集型计算应用程序可以在数据和任务并行时使用云来提高其性能。本文介绍了一项正在进行的工作，旨在将HPC执行平台的扩展资源与云一起使用。我们提出了一个统一的视图，这样的异构环境和方法，监测，预测应用程序的执行时间，并动态地转移域的一部分-以前运行在本地HPC硬件-在云计算，然后满足特定的截止日期。该方法与地震应用程序一起举例说明，该应用程序在运行时自适应将部分处理移动到云（在称为突发的移动中），并在云节点上自动缩放（移动的部分）。我们的初步结果表明，执行此移动和同步结果会产生预期的开销，但我们的结果表明，在内部部署集群过载或无法提供特定项目所需的容量的情况下，这是满足最后期限的重要功能。
2015-01-26 cs.DC
Design and implementation of self-adaptable parallel algorithms for scientific computing on highly heterogeneous HPC platforms
传统的异构并行算法是为异构工作站集群设计的，它们基于这样的假设：处理器的绝对速度不取决于计算任务的大小。事实证明，这种假设对于现代和未来高度异构的HPC平台是不准确的。新的一类算法的基础上的功能性能模型（FPM），表示处理器的速度的函数的问题大小，最近已经提出。然而，这些算法不能采用自适应的应用程序，因为非常高的成本建设的功能性能模型。本文提出了一类新的并行算法的高度异构的HPC平台。与传统的基于FPM的算法一样，这些算法假设处理器的速度由速度函数而不是速度常数来表征。与传统的算法不同，它们不假设速度函数是给定的。相反，他们估计的速度函数的处理器在其执行过程中的不同大小的问题。这些算法不为每个处理器构建全速函数，而是构建和使用它们的部分估计，足以以给定的精度进行计算的最佳分布。在这些算法中，异构处理器之间的计算分布的低执行成本使它们适合于在自适应应用中就业。基于这种方法的并行矩阵乘法应用程序的实验进行本地和全球异构计算集群。结果表明，处理器之间的最佳矩阵分布的执行时间显着减少，由数量级，比优化的应用程序的总执行时间。
2011-09-14 cs.DC
Characterizing Impacts of Storage Faults on HPC Applications: A Methodology and Insights
近年来，科学模拟的复杂性日益增加，训练重型人工智能模型的需求不断增加，这就要求高性能计算（HPC）平台必须配备更先进的存储基础设施，如固态硬盘（SSD）。虽然SSD提供高性能I/O，但HPC应用程序在SSD相关故障下面临的可靠性挑战仍不清楚，特别是导致数据损坏的故障。本文的目标是了解SSD相关故障对复杂HPC应用程序行为的影响。为此，我们提出了FFIS，一个基于FUSE的故障注入框架，系统地将存储故障引入应用层，以模拟来自SSD的错误。FFIS能够将不同的I/O相关故障植入从底层文件系统返回的数据中，这使得能够对科学文件格式的错误恢复特性进行调查。我们演示了使用FFIS与三个代表性的真正的HPC应用程序，显示每个应用程序如何对数据损坏的反应，并提供了广泛采用的HDF 5文件格式的HPC应用程序的错误恢复能力的见解。
2021-08-02 cs.DC
Dynamic Resource Management in Production HPC Clusters
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）
针对生产HPC集群中刚性固定分配的问题，提出一种基于MPI可塑性的动态资源管理方法，通过DMR框架实现非侵入式集成，在三个TOP500超算上验证了与静态基线相当的性能并显著减少节点小时消耗。
2026-07-22 cs.DC
Pilot-Abstraction: A Valid Abstraction for Data-Intensive Applications on HPC, Hadoop and Cloud Infrastructures?
传统上，HPC环境的设计是为了满足科学应用的计算需求，而数据只是第二位的关注点。随着科学转向数据驱动的发现，更多地依赖数据中的相关性来形成科学假设，HPC方法的局限性变得显而易见：存储和计算分离等架构范例对于I/O密集型工作负载（例如数据准备，转换和SQL）并不是最佳的。虽然HPC上有许多强大的计算和分析库（例如可扩展线性代数），但它们通常缺乏其他环境（例如Apache Hadoop生态系统）中的可用性和分析库的多样性。此外，缺乏统一访问日益异构的基础设施（HPC，Hadoop，云）的抽象，并允许在这个复杂的环境中进行性能权衡的推理。与此同时，Hadoop生态系统正在快速发展，并已成为行业中数据密集型工作负载的事实标准，并越来越多地用于解决科学问题。在本文中，我们将探索Hadoop和HPC之间的互操作性路径，研究差异和挑战，例如不同的架构范式和抽象，并研究解决这些问题的方法。我们建议将Pilot-Abstraction扩展到Hadoop，作为跨不同基础设施分配和管理资源的互操作性层。此外，已经部署了内存能力来增强大规模数据分析（例如迭代算法）的性能，其中跨迭代重用数据的能力至关重要。由于内存自然适合与飞行员的概念，保留资源的一组任务，我们提出了扩展的飞行员抽象内存中的资源。
2015-01-21 cs.DC
Wilkins: HPC In Situ Workflows Made Easy
本文提出面向 HPC 的原位工作流系统 Wilkins，通过灵活接口、基于 HDF5 的高性能传输、流控和零代码耦合，实现易用且可扩展高效的科学任务执行。
2024-04-04 cs.DC
Bridging HPC Communities through the Julia Programming Language
Julia程序设计语言已经发展成为一种现代化的替代方案，以填补科学计算和数据科学应用中的现有空白。Julia利用统一协调的单一语言和生态系统范例，在不牺牲用户生产力的情况下实现高性能方面有着良好的记录。这些方面使Julia成为高性能计算（HPC）现有的且成本越来越高的多体工作流组合策略的可行替代方案，其中传统HPC语言（例如，Fortran、C、C++）用于模拟，而更高级的语言（例如，Python、R、MATLAB）用于数据分析和交互式计算。Julia在语言能力、包生态系统和社区方面的快速增长使其成为HPC的一种有前途的通用语言。本文介绍了来自学术界、政府和工业界的多学科研究人员的观点，他们倡导一种强调开发人员生产力、工作流可移植性和低准入门槛的HPC软件开发范式。我们相信Julia程序设计语言、它的生态系统和它的社区提供了现代和强大的功能，可以实现这个小组的目标。至关重要的是，我们相信Julia可以提供一种可行且成本更低的方法来编程针对HPC设施的科学应用程序和工作流程。在这项工作中，我们研究了Julia作为一个通用的端到端编程模型的当前实践和作用，以解决科学可重复性，数据驱动的AI/机器学习，协同设计和工作流程，异构计算，网络通信，数据管理和社区教育中的可扩展性和性能可移植性方面的主要挑战。因此，随着越来越多的超级计算中心为艾级时代做准备，当前投资的多样化以满足未来十年的需求至…
2022-11-10 cs.DC
Federated Single Sign-On and Zero Trust Co-design for AI and HPC Digital Research Infrastructures
针对AI与HPC数字研究基础设施中异构科学工作流的IAM及网络安全挑战，提出结合多层安全控制、多因素认证等的联邦IAM解决方案，已在英国Isambard DRIs部署，平衡无缝访问与合规性。
2024-11-26 cs.DC
Evaluation of pilot jobs for Apache Spark applications on HPC clusters
大数据在许多科学领域已经变得非常突出，因此，科学界已经寻求大数据框架来加速处理其日益增长的数据密集型管道。然而，虽然科学界通常依赖高性能计算（HPC）集群来并行化其管道，但许多流行的大数据框架（如Hadoop和Apache Spark）主要设计用于在专用的商品基础设施上执行。本文评估了在HPC集群上Apache Spark的试点作业相对于传统批处理提交的优势。令人惊讶的是，我们的研究结果表明，试点工作批调度提供的速度是温和的不存在（平均0.98），尽管存在长排队时间。此外，试验作业提供了一个额外的调度层，使调试和部署复杂化。我们的结论是，传统的批处理调度应该仍然是在HPC集群上部署Apache Spark应用程序的默认策略。
2019-05-29 cs.DC cs.PF
AI-coupled HPC Workflows
Rutgers University（罗格斯大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
科学发现越来越需要复杂和可扩展的工作流程。工作流已经成为“新的应用程序”，其中多尺度计算活动包括多个和异构的可执行任务。特别是，将AI/ML模型引入到传统HPC工作流程中，可以实现高度准确的建模，与传统方法相比，通常可以减少计算需求。本章讨论将AI/ML模型集成到HPC计算的各种模式，从而产生各种类型的AI耦合HPC工作流。跨科学领域耦合AI/ML和HPC的需求日益增长，然后通过每种模式的许多生产级用例来举例说明。我们还讨论了极端规模的AI耦合HPC活动的主要挑战-任务异构性，自适应性，性能-以及旨在解决这些问题的几个框架和中间件解决方案。虽然HPC工作流和AI/ML计算范式都是独立有效的，但我们强调了它们的集成和最终融合如何在一系列领域中显著提高科学性能，最终导致科学探索无法实现。
2022-08-24 cs.AI cs.DC cs.LG
Workshop Scientific HPC in the pre-Exascale era (part of ITADATA 2024) Proceedings
该论文集收录了2024年ITADATA会议上SHPC研讨会的成果，聚焦前百亿亿次时代HPC在科学应用中的关键问题，涵盖性能可移植性、绿色计算、机器学习、大数据管理及异构与加速器编程等主题。
2025-03-26 cs.DB cs.DC cs.LG
Enhancing Energy Efficiency in Scientific Workflows through CFD based PIVAEs
University of Leicester（莱斯特大学）；Rutherford Appleton Laboratory, Science and Technology Facilities Council (STFC–UKRI)（鲁瑟福阿普顿实验室，科学与工程设施委员会（STFC-UKRI））
提出一种结合计算流体动力学与物理信息变分自编码器的AI辅助调度框架，通过生成物理真实的合成工作负载数据，在HPC环境中实现能效优化，实验表明适度降低CPU性能可显著节能。
2026-05-22 cs.DC
Towards Experiment Execution in Support of Community Benchmark Workflows for HPC
针对HPC领域基准测试有限难以展示算力的问题，研究提出可适配的工作流模板与“基准构建”概念，经两款工具在多类科学应用中验证，可提升工作流适配性，助力社区基准测试工作流落地。
2025-07-30 cs.DC
MPI Streams for HPC Applications
数据流是在源进程和目标进程之间流动的数据序列。流媒体技术因其流水线效率高、内存占用少而被广泛应用于信号、图像和视频处理。这项工作的目标是扩展数据流的使用，以支持在HPC平台上运行的传统科学应用和新兴数据分析应用。我们介绍了一个扩展名为MPIStream的事实上的编程标准的HPC，MPI。MPIStream支持单个应用程序内或多个应用程序之间的数据流。我们提出了三个用例，使用MPI流在HPC应用程序及其并行性能。我们展示了使用MPI流来支持在超级计算机上运行的传统HPC和新兴数据分析应用程序的需求的便利性。
2017-08-03 cs.DC
MLPerf HPC: A Holistic Benchmark Suite for Scientific Machine Learning on HPC Systems
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Argonne National Laboratory（阿贡国家实验室）；Maxwell Labs（麦克斯韦实验室）；Swiss National Supercomputing Centre（瑞士国家超级计算中心）；RIKEN Center for Computational Science（日本理化学研究所计算科学研究中心）；University of Virginia（弗吉尼亚大学）；MLCommons；NVIDIA（英伟达）；Google（谷歌）；National Center for Supercomputing Applications（美国国家超级计算应用中心）；Texas Advanced Computing Center（德克萨斯高级计算中心）；Fujitsu Limited（富士通株式会社）；Oak Ridge National Laboratory（橡树岭国家实验室）；Microsoft（微软）；Cruise；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）
科学界越来越多地在其应用中采用机器学习和深度学习模型，以加速科学见解。高性能计算系统正在以丰富多样的硬件资源和大规模横向扩展能力推动性能的前沿。我们迫切需要了解机器学习应用程序的公平有效的基准测试，这些应用程序代表了现实世界的科学用例。MLPerf是一个社区驱动的标准，用于对机器学习工作负载进行基准测试，重点关注端到端性能指标。在本文中，我们介绍了MLPerf HPC，一个由MLCommons协会驱动的大规模科学机器学习训练应用程序的基准套件。我们展示了第一轮提交的结果，其中包括一些世界上最大的HPC系统。我们开发了一个系统的框架，他们的联合分析，并比较他们的数据分期，算法收敛和计算性能。因此，我们获得了不同的子系统，如登台和节点上的数据加载，计算单元利用率和通信调度，使整体$>10 \times$（端到端）的性能改进，通过系统扩展的优化定量的了解。值得注意的是，我们的分析显示了数据集大小，系统的存储层次结构和训练收敛之间的规模依赖性相互作用，强调了近计算存储的重要性。为了克服大批量数据并行可扩展性的挑战，我们讨论了特定的学习技术和混合数据和模型并行，是有效的大型系统。最后，我们通过表征每个基准测试的低级别内存，I/O和网络行为，以在未来的几轮中参数化扩展的屋顶性能模型。
2021-10-26 cs.DC cs.LG
Driving Computational Efficiency in Large-Scale Platforms using HPC Technologies
Universidad Industrial de Santander（桑坦德工业大学）；Centre for Energy, Environmental and Technological Research (CIEMAT)（能源、环境与技术研究中心）；LIG/INRIA DataMove（格勒诺布尔信息与自动化实验室/法国国家信息与自动化研究所数据移动项目）；CITI/INRIA SiNDY（信息交叉技术研究中心/法国国家信息与自动化研究所SiNDY项目）
本文通过分析LAGO项目中HPC资源利用效率，揭示了粗粒度任务并行模型下的资源消耗模式，并提出优化资源请求和工作流管理策略以提升计算效率。
2026-01-19 cs.DC
RADICAL-Pilot and Parsl: Executing Heterogeneous Workflows on HPC Platforms
工作流应用程序在支持科学发现方面变得越来越重要。这导致工作流程管理系统激增，从而导致软件生态系统支离破碎。现有工作流工具之间的集成可以提高开发效率，并最终提高科学工作流软件的可持续性。我们描述了我们的经验与集成的RADICAL-Pilot（RP）和Parsl作为一种方式，使用户能够开发和执行工作流应用程序与异构的高性能计算资源上的异构任务。我们描述了我们的方法来整合这两个系统，并详细介绍了RPEX，一个Parsl执行器，它使用RP作为其工作负载管理器的发展。我们开发了一个RP执行器，在CPU内核和GPU上执行异构MPI Python函数。当为两个典型用例提供新功能时，我们测量了RPEX、RP和Parsl的弱伸缩性和强伸缩性：Colmena和Ice Wedge Polyclonal
2022-08-30 cs.DC
Enabling Scientific Workflow Scheduling Research in Non-Uniform Memory Access Architectures
Universidad de los Andes（安第斯大学）
本文提出nFlows，一个支持在非统一内存访问架构上进行科学工作流调度研究的运行时系统，用于建模、执行、模拟和验证调度算法。
2025-11-25 cs.DC
Ten Simple Rules for Success with HPC, i.e. Responsibly BASHing that Linux Cluster
高性能计算（HPC）集群广泛用于科学和学术研究机构的内部。对于一些用户来说，从在单个工作站上运行分析到在复杂的多租户集群上运行分析的过渡（通常采用某种程度的并行性）可能具有挑战性，如果不是令人困惑的话，特别是对于其角色在本质上不是主要计算的用户。另一方面，有更多经验丰富的用户，他们可以从如何从HPC的使用中获得最佳效果的指针中受益。这十条简单规则指南旨在帮助您确定提高HPC利用率的方法，避免可能对其他用户产生负面影响的常见陷阱，并有助于减轻HPC系统管理员的负载（双关语）。它旨在提供使用LSF、Slurm、PBS/Torque、SGE、LoadLeveler和YARN（与Hadoop/Spark平台一起使用的调度程序）等HPC平台的常见技术建议。
2021-01-17 cs.DC
Reproducible and Portable Workflows for Scientific Computing and HPC in the Cloud
科学领域越来越多的云计算服务改变了科学代码的开发、部署和运行方式。许多现代科学工作流能够在云计算资源上运行。因此，科学计算社区对能够将应用程序移动到云并简化过程并减少获得有意义的科学结果的时间的方法、工具和实现越来越感兴趣。在本文中，我们将可移植性容器化和多云自动化部署的概念与行业标准工具应用于三个科学工作流程。我们展示了我们的实现如何降低应用程序本身的可移植性的复杂性，以及它们在私有云和公共云中的部署。每个应用程序都已打包在Docker容器中，其中包含其依赖项和必要的环境设置，以供生产运行。Terraform和Ansible已被用于自动配置计算资源和在多VM集群中部署每个科学应用程序。每个应用程序都已部署在AWS和Aristotle Cloud Federation平台上。数据管理约束的变化，多虚拟机MPI通信，以及并行实例部署都进行了探索和报告。因此，我们提出了一个科学工作流的样本，可以使用的工具和我们提出的实现，部署和运行在各种云环境中简化。
2020-06-09 cs.DC cs.SE
HPC Containers for EBRAINS: Towards Portable Cross-Domain Software Environment
Simulation & Data Lab Neuroscience, Jülich Supercomputing Centre, Forschungszentrum Jülich（于利希研究中心）；Kirchhoff Institute for Physics, Ruprecht-Karls-Universität（海德堡大学）；ATHENA Research & Innovation Center（阿瑞塔研究与创新中心）；Computer Engineering, FernUniversität in Hagen（哈根远程大学）
本文提出了一种基于Apptainer的容器化策略，用于构建便携式、支持MPI和CUDA的HPC软件环境，通过动态利用主机硬件实现跨域高性能计算的可移植性和性能验证。
2026-03-12 cs.DC
Simplifying the Development, Use and Sustainability of HPC Software
开发软件以进行复杂的计算密集型科学过程需要专业领域知识和软件开发技能的挑战性组合，以将这些知识转换为高效的代码。随着计算平台变得越来越异构，以及诸如云结构即服务（IaaS）云计算等较新类型的平台变得越来越广泛地被HPC计算所接受，科学家需要计算机科学家和资源提供商提供更多的支持，以开发高效的代码并最佳地利用可用的资源。作为libhpc第一阶段和第二阶段项目的一部分，我们正在开发一个框架，以提供更丰富的作业规范和在异构基础设施上有效执行复杂科学软件的方法。这种框架的使用对科学软件的可持续性有影响。在本文中，我们阐述了我们对这些挑战的发展理解的基础上进行的工作libhpc项目。
2013-09-04 cs.DC cs.SE
Towards Accommodating Real-time Jobs on HPC Platforms
科学实验中不断增加的数据量需要使用高性能计算（HPC）资源进行数据分析。在许多科学领域，必须快速分析科学仪器和超级计算机模拟产生的数据。事实上，对准即时反馈的需求正在增长。科学家们希望利用一个实验的结果来指导下一个实验的选择，甚至改进单个实验的过程。当前的HPC系统通常是在策略下批调度的，在该策略中，到达的作业只有在足够的资源可用时才立即运行;否则，它将排队。这些系统很难支持实时的【形】作业。实时的【形】作业，为了满足他们的要求，有时应该抢占批处理作业和/或被安排在较早提交的批处理作业之前。中断实时的【形】作业也可能对系统利用率产生负面影响，特别是在涉及抢占/重新启动批处理作业时。我们首先探讨了几种现有的调度策略，使实时的【形】作业更有可能在适当的时间被调度。然后，我们严格制定的问题作为一个混合整数线性规划离线调度和开发新的调度算法在线调度。我们进行模拟研究，使用跟踪日志的米拉，IBM的BG/Q系统在阿贡国家实验室，以量化的实时的【形】作业的影响，批处理作业的性能为各种百分比的实时的【形】作业的工作量。我们提出了新的见解，从分组作业到不同类别的基础上运行时间和使用的节点数量和研究每个类别的性能。我们的研究结果表明，与10%的实时的【形】作业百分比，即时检查点结合我们的启发式可以提高35%的实时的【形】作业的减速，同时限制批处理作业的减速增加到10%。
2021-03-24 cs.DC
The Petascale DTN Project: High Performance Data Transfer for HPC Facilities
在高性能计算（HPC）设施之间移动大规模（数十TB和更大）数据集是一种重要且日益关键的能力。越来越多的科学合作依赖于HPC设施来完成需要大规模数据集作为输入或产生大规模数据集作为输出的任务。为了能够根据科学界的需要传输这些数据集，HPC设施必须设计和部署适当的数据传输功能，以允许用户进行大规模的数据放置。本文介绍了Petascale DTN项目，由四个HPC设施，成功地实现了超过1 PB/周的设施之间的日常数据传送率的努力。我们描述的设计和配置的数据传输节点（DTN）集群用于大规模的数据传输，在这些设施，所使用的软件工具，以及性能调整，使这种能力。
2021-09-09 cs.DC cs.PF
Usability Evaluation of Cloud for HPC Applications
本文跨三大云、六种环境及CPU/GPU配置评估11个HPC代理应用与基准，并与本地集群对比，通过大规模扩展测试为云上HPC最佳实践提供依据。
2025-06-06 cs.DC cs.PF
DiT-HC: Enabling Efficient Training of Visual Generation Model DiT on HPC-oriented CPU Cluster
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Sun Yat-sen University（中山大学）；National University of Singapore（新加坡国立大学）；National Supercomputing Center in Shenzhen（国家超级计算深圳中心）
DiT-HC通过三项关键技术在HPC CPU集群上实现生成模型DiT的高效训练与扩展，实验显示在CPU库上速度提升达8.2至87.7倍，且在256节点上达到90.6%的弱标度效率。
2026-02-18 cs.DC
Coupling streaming AI and HPC ensembles to achieve 100-1000x faster biomolecular simulations
Argonne National Laboratory（阿贡国家实验室）；University of Chicago（芝加哥大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rutgers University（罗格斯大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
基于机器学习（ML）的转向可以通过允许在线选择更具科学意义的计算来提高基于集成的模拟的性能。我们提出了DeepDriveMD，这是一个ML驱动的科学模拟转向框架，我们已经使用该框架通过在大型并行计算机上有效耦合ML和HPC来实现分子动力学（MD）性能的数量级改进。我们讨论了DeepDriveMD的设计并表征了其性能。我们证明，DeepDriveMD相对于其他方法可以实现100- 1000倍的蛋白质折叠模拟加速，如所执行的模拟时间量所测量的，同时覆盖模拟期间采样的状态所量化的相同构象景观。实验在多达1020个节点的领导级平台上进行。结果将DeepDriveMD确立为ML驱动的HPC模拟场景的高性能框架，支持各种MD模拟和ML后端，并通过改进当前计算能力可访问的长度和时间尺度来实现新的科学见解。
2022-07-12 cs.DC cs.LG
Using Intel Optane Devices for In-situ Data Staging in HPC Workflows
新兴的非易失性存储器技术（NVRAM）提供了持久的硬盘驱动器的替代品，同时提供了与DRAM类似的延迟。英特尔最近发布了Optane驱动器，它采用了3D XPoint内存技术。该设备可以部署为SSD或持久性内存。在本文中，我们提供了Optane（SSD DC4800X）和NVMe（SSD DC3700）驱动器作为块设备之间的性能比较。我们从两个角度研究性能：1）使用FIO工作负载对驱动器进行基准测试，以及2）评估在DataSpaces框架内使用Optane over NVMe进行内存数据分段以支持原位科学工作流的影响。
2018-07-11 cs.DC
Reinventing High Performance Computing: Challenges and Opportunities
计算世界正处于快速转型期，目前由智能手机和云服务主导，这对先进科学计算的未来产生了深远的影响。简而言之，高性能计算（HPC）正处于一个重要的转折点。在过去的60年里，世界上最快的超级计算机几乎都是在美国生产的，用于国家实验室的科学研究。变革即将来临。虽然成本现在已经超出了美国政府对先进计算的资助范围，但日本和中国现在是由政府授权资助的定制HPC系统的领导者。与此同时，全球半导体短缺和围绕制造设施的政治斗争影响着每个人。然而，另一个可能更深刻的根本性变化已经发生。主要的云计算供应商已经投资于大规模系统的全球网络，使当今的HPC系统相形见绌。在人工智能计算需求的推动下，这些云系统越来越多地使用定制半导体构建，从而降低了传统计算供应商的财务杠杆。这些云系统正在打破游戏和计算机视觉的障碍，重塑我们对科学计算本质的看法。构建下一代领先的HPC系统需要重新思考许多基础和历史方法，包括端到端协同设计、定制硬件配置和封装、大规模原型设计（如30年前常见的那样）以及与占主导地位的计算生态系统公司、智能手机和云计算供应商的合作伙伴关系。
2022-03-04 cs.DC
Dynamic scheduling of virtual machines running hpc workloads in scientific grids
采用虚拟化的主要动机是资源隔离、容量管理和资源定制，允许资源提供商将其资源整合到虚拟机中。已经采取了各种方法来将虚拟化集成到科学网格中，特别是在高性能计算（HPC）的领域中，以在虚拟机中运行网格作业，从而能够更好地提供底层资源并在运行时定制执行环境。尽管有这些好处，但虚拟化层也会带来性能损失，而且还没有很好地理解这种开销将如何影响系统的性能，其中作业的调度时间很紧。由于这种开销会改变工作负载的类型，无论它们是内存密集型，CPU密集型还是网络I/O绑定，并且可能导致系统中运行作业的不可预测的截止日期估计。在我们的研究中，我们试图通过开发一种智能调度技术来解决这个问题，该技术用于监控虚拟机的工作负载类型和最后期限，并实时的计算系统开销，以最大限度地提高在商定的最后期限内完成的作业数量。
2010-09-24 cs.DC cs.DS cs.PF
Enabling Machine Learning-Ready HPC Ensembles with Merlin
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
随着计算和实验设备的日益复杂，许多科学研究人员转向机器学习（ML）技术来分析大规模集成数据。由于多组件工作流、异构机器体系结构、并行文件系统和批处理调度等复杂性，必须注意在高性能计算（HPC）环境中促进这种分析。在本文中，我们提出了梅林，一个工作流框架，使大ML友好的合奏科学HPC模拟。通过使用分布式计算技术增强传统HPC，Merlin旨在降低科学主题专家将ML纳入其分析的障碍。除了其设计之外，我们还描述了Merlin在领导级HPC资源上启用的一些示例应用程序，例如核聚变实验的ML增强优化和传染病模型的校准，以研究COVID-19的进展和可能的缓解策略。
2021-07-01 cs.DC cs.LG physics.comp-ph
A GPU-accelerated Molecular Docking Workflow with Kubernetes and Apache Airflow
本研究将专为HPC设计的GPU加速分子对接工作流迁移至基于Kubernetes和Apache Airflow的云原生环境，提供了基于DAG的实现与GPU部署细节，并利用SWEETLEAD数据集验证了其在异构云资源上有效重叠不同执行阶段的能力。
2024-10-14 cs.DC
A Study on Messaging Trade-offs in Data Streaming for Scientific Workflows
本研究通过模拟Deleria和LCLS工作流，探讨RabbitMQ消息传递框架中影响科学工作流流传输需求的参数配置，揭示了可靠消息传输的吞吐量权衡与实用配置见解。
2025-09-08 cs.DC
Containers for portable, productive and performant scientific computing
容器是一种新兴技术，有望提高科学计算的生产力和代码可移植性。我们研究了Linux容器技术，用于分发非平凡的科学计算软件堆栈，并在从膝上计算机到高性能计算（HPC）系统的各种平台上执行。我们在一个工作站和一个领先的HPC系统上显示，当部署得当时，在容器内运行科学程序不会有性能损失。对于在大型并行计算机上运行的Python代码，由于更快的库导入，容器内的运行时间减少了。我们提供的软件分发方法和数据将帮助开发人员和用户决定容器技术是否适合他们。我们还为依赖专有库来提高性能的HPC系统供应商提供指导，说明他们可以做些什么来使容器无缝工作，而不会带来性能损失。
2016-11-03 cs.DC cs.MS cs.SE
StreamGuard: Low-Overhead Resilience for Real-time HPC Data Streams
Argonne National Laboratory（阿贡国家实验室）；University of Chicago（芝加哥大学）
针对实时科学工作流在故障频发基础设施上的弹性需求，提出动态异步非阻塞检查点与进度感知负载重分配两种互补技术，在引入低于1%开销的同时将故障影响降低6倍。
2026-07-01 cs.DC
Porting Large HPC Applications to GPU Clusters: The Codes GENE and VERTEX
我们已经为两个主要的高性能计算（HPC）应用开发了GPU版本，这两个应用来自两个不同的科学领域。GENE是一个用于核聚变等离子体数值模拟的等离子体微湍流程序。VERTEX是一个中微子辐射流体动力学代码，用于“第一原理”-模拟核心坍缩超新星爆炸。这些代码被认为是各自科学领域的最新技术，无论是关于其科学范围和功能，还是可实现的计算性能，特别是在所有相关HPC平台上的并行可扩展性。我们将GENE和VERTEX移植到HPC集群架构中，每个节点中安装了两个NVidia Kepler GPU，以及两个Sandy Bridge系列的Intel Xeon CPU。在这样的平台上，我们实现了高达两倍的增益，在整体应用程序的性能在某种意义上减少的时间来解决一个给定的设置相对于一个纯CPU集群。本文描述了我们的基本移植策略和基准测试方法，并详细介绍了我们面临的新的异构体系结构的主要算法和技术挑战。
2013-10-05 astro-ph.SR cs.DC physics.comp-ph
A HPC Co-Scheduler with Reinforcement Learning
本文提出一种基于自适应强化学习的HPC协同调度算法，结合应用性能分析与集群监控，利用决策树建模实际资源使用，集成Slurm与Mesos，实验显示集群利用率最高提升51%，低负载下平均队列makespan减少55%。
2024-01-18 cs.DC
Staged deployment of interactive multi-application HPC workflows
在超级计算机上运行科学工作流程对于科学领域专家来说可能是一项艰巨的任务。工作流管理解决方案（WMS）是一种标准方法，用于降低在高性能计算（HPC）基础设施上部署应用程序的复杂性。我们介绍了一个中间件系统的设计，扩展和结合现有的解决方案的功能，以创建一个高层次的，分阶段的以用户为中心的操作/部署模型。这种设计满足了生命科学中几个用例的要求，重点是神经科学。在这篇手稿中，我们专注于两个用例：1）三个耦合的神经元模拟器（用于三个不同的空间/时间尺度），具有在途可视化和2）通过机器学习优化的闭环工作流程，将机器人与神经网络模拟耦合。我们提供了与HPC作业相关的应用程序集成监控的详细概述。我们在这里提出了一种新的使用模型，用于在HPC系统上运行的大规模交互式多应用程序工作流，其目的是降低部署和执行的复杂性，从而实现新的科学。
2019-07-29 cs.DC cs.HC
Experimental Verification and Analysis of Dynamic Loop Scheduling in Scientific Applications
科学应用程序通常是不规则的，其特征是大型计算密集型并行循环。动态循环调度（DLS）技术通过在高性能计算（HPC）系统上执行计算密集型科学应用的负载均衡来提高其性能。确定最合适的数据分布策略，系统大小和DLS技术的选择，提高给定应用程序的性能，需要密集的评估和大量的探索性本地实验（使用真实系统上的真实应用程序），这可能并不总是可行的或实际的，由于相关的时间和成本。在这种情况下，模拟实验更适合研究应用程序的性能。这激发了这样一个问题：在HPC平台上使用DLS执行科学应用程序的模拟有多现实？在目前的工作中，设计了一种方法来回答这个问题。它涉及DLS在科学应用中的性能的实验验证和分析。所提出的方法是用于一个计算机视觉应用程序执行使用四个DLS技术在两个不同的HPC平台，无论是通过本地和模拟实验。通过对仿真结果和原始结果的分析和评价，表明应用程序计算量的提取方法对仿真实验的准确性有很大的影响（基于FLOP或基于时间）、模拟中应用模型表示的选择（数据或任务并行）以及模拟器中可用的HPC子系统模型（多核CPU、存储层次结构和网络拓扑）。模拟实验与仿真实验的最小和最大误差分别为0.95%和8.03%。
2018-04-30 cs.DC cs.PF
