Integrating and Characterizing HPC Task Runtime Systems for hybrid AI-HPC workloads
RADICAL-Computing Inc. Wilmington, DE USA;Brookhaven National Laboratory Upton NY USA;Rutgers University -- New Brunswick New Brunswick NJ USA;IE University Madrid Spain;Princeton Plasma Physics Laboratory\ University Princeton NJ USA;RADICAL-Computing Inc.;Brookhaven National Laboratory;Rutgers University -- New Brunswick;IE University;Princeton Plasma Physics Laboratory\ University
本研究集成并表征RADICAL-Pilot与Flux和Dragon运行时,以提升混合AI-HPC工作负载的任务执行性能,相比srun显著提高吞吐量和利用率。
2025-09-25 cs.DC
Towards Experiment Execution in Support of Community Benchmark Workflows for HPC
针对HPC领域基准测试有限难以展示算力的问题,研究提出可适配的工作流模板与“基准构建”概念,经两款工具在多类科学应用中验证,可提升工作流适配性,助力社区基准测试工作流落地。
2025-07-30 cs.DC
nOS-V: Co-Executing HPC Applications Using System-Wide Task Scheduling
未来的Exascale系统将具有大规模并行性,众核处理器和异构体系结构。在这种情况下,HPC应用程序越来越难以充分和有效地利用系统节点中的资源。此外,增加的并行性加剧了当前应用程序中现有的低效率的影响。研究表明,协同调度应用程序以共享系统节点,而不是单独执行每个应用程序,可以提高资源利用率和效率。然而,目前的超额认购和共址技术共享节点有几个缺点,限制了他们的适用性,使他们非常依赖于应用程序。本文介绍了通过系统范围内的调度协同执行。协同执行是一种新颖的细粒度技术,可在同一节点上同时执行多个HPC应用程序,性能优于当前最先进的方法。我们在nOS-V中实现了这种技术,nOS-V是一个轻量级的任务库,通过系统范围的任务调度支持协同执行。此外,nOS-V可以很容易地与现有的编程模型集成,无需更改用户应用程序。我们展示了如何与nOS-V的共同执行显着减少了单节点和分布式环境中的几个应用程序的时间表完工时间,优于以前的节点共享技术。
2022-04-22 cs.DC
StreamFlow: cross-breeding cloud with HPC
本文提出 StreamFlow 工作流执行方法,以声明式环境描述扩展工作流图,支持 Kubernetes、批处理集群等多云/HPC 站点及无共享数据空间的跨环境执行,并通过单细胞转录组分析生物信息学流水线加以验证。
2020-08-30 cs.DC
JobPruner: A Machine Learning Assistant for Exploring Parameter Spaces in HPC Applications
高性能计算(HPC)应用程序对于科学家和工程师创建和理解模型及其属性至关重要。这些专业人员依赖于执行大型计算作业集,这些作业集探索参数值的组合。避免执行不必要的作业不仅可以加快这些实验的速度,还可以减少基础设施的使用,这一点尤其重要,因为这些应用程序已转移到HPC云平台。我们的假设是,这些实验产生的数据可以帮助用户识别这些工作。为了解决这一假设,我们需要了解工作淘汰决策所需的多个实验之间的相似性水平,以及自动化这一过程所需的步骤。在本文中,我们提出了一项研究和一个基于机器学习的工具,称为JobPruner,以支持参数探索HPC实验。该工具通过来自不同领域的三个真实用例进行了评估,包括地震分析和农学。我们观察到该工具在一次实验中减少了93%的工作,同时在大多数情况下提高了质量。此外,即使考虑到过去相关性较低的实验,也有可能减少工作执行。
2018-02-14 cs.DC
Posit NPB: Assessing the Precision Improvement in HPC Scientific Applications
浮点运算可以显著影响大规模并行系统上科学应用的精度和性能。最近,一种称为Posit的新兴浮点格式作为标准IEEE浮点格式的替代方案引起了人们的关注,因为它可以使用相同数量的位实现比IEEE格式更高的精度。在这项工作中,我们首先探讨了Posit编码在代表性的HPC应用程序的可行性,提供了一个32位的Posit NAS并行基准测试(NPB)套件。然后,我们评估的准确性提高,在不同的HPC内核相比,IEEE 754格式。我们的研究结果表明,使用Posit编码实现了优化的精度,范围从0.6到1.4小数位,所有测试的内核和代理应用程序。此外,我们量化的开销,目前的软件实现的Posit编码的IEEE 754硬件实现的4倍-19倍。我们的研究突出了Posit的硬件实现的潜力,以造福于广泛的HPC应用。
2019-07-12 cs.DC
Performance vs Portability in Heterogeneous HPC Environments: Why Pre-execution Benchmarking is Required
Institute of Chemical Physics, Faculty of Physics, Vilnius University(维尔纽斯大学物理学院化学物理研究所)
本研究对比了容器化与系统直接执行量子化学软件的性能,发现编译、启动开销和配置影响性能,强调需针对工作负载进行预执行基准测试和用户级监控。
2026-09-29 cs.DC physics.comp-ph
Hydra: Brokering Cloud and HPC Resources to Support the Execution of Heterogeneous Workloads at Scale
Hydra是一个跨云与HPC的代理系统,可并发获取异构资源并管理异构工作流执行,通过四项贡献(设计、实现、实验表征和海平面工作流)验证了其可扩展性。
2024-07-16 cs.DC cs.SE
Balsam: Automated Scheduling and Execution of Dynamic, Data-Intensive HPC Workflows
我们引入Balsam服务来管理超级计算系统上的高吞吐量任务调度和执行。Balsam允许用户使用从简单的独立任务到动态多任务工作流的各种任务填充任务数据库。通过对本地资源调度器和MPI环境的抽象,Balsam动态地将任务打包成集成作业并管理其调度生命周期。该集成在一个试验“启动器”中执行,该“启动器”(i)确保具有异构处理器要求的任意串行和并行程序的并发、负载平衡执行,(ii)不需要修改用户应用程序,(iii)容忍任务级故障并提供若干错误恢复选项,(iv)存储起源数据(v)支持动态工作流,其中在运行时创建或终止任务。在这里,我们介绍了Balsam服务和启动器的设计和Python实现。使用两个案例研究说明了该系统的有效性:深度神经网络的超参数优化和高通量单点量子化学计算。我们发现,灵活的作业包装和自动化调度与动态(试点管理)执行的独特组合,有利于良好的资源利用率。在超级计算机上管理资源和启动工作流通常所需的脚本开销大大减少,加快了工作流的开发和执行。
2019-09-18 cs.DC
Understanding Layered Portability from HPC to Cloud in Containerized Environments
该研究在三个 ARM 平台上用六个 HPC 应用评估容器虚拟化、主机 OS/内核及执行模式对 HPC 向云迁移的性能影响,发现多数应用开销较低,且无根与特权模式差异可忽略。
2024-06-17 cs.DC
HPC-vQPU: A Service-Export Architecture for Virtual QPUs on Batch-Scheduled HPC Systems
Pawsey Supercomputing Research Centre(帕西超级计算研究中心);The University of Western Australia(西澳大学)
针对HPC系统缺乏交互式量子后端接口的问题,提出HPC-vQPU架构,通过分离云侧控制面与HPC执行面,利用拓扑和校准感知的设备快照实现批调度环境下的虚拟QPU服务,实验验证了其低开销、高保真和容错性。
2026-05-13 cs.DC quant-ph
A Self-adaptive Auto-scaling Method for Scientific Applications on HPC Environments and Clouds
高强度计算应用程序通常需要几天到几个月才能完成执行。在此期间,当考虑到这种硬件通常在组织内的多个研究人员/部门之间共享时,通常具有可用资源的变化。另一方面,高性能集群可以利用云计算突发技术来执行应用程序以及内部资源。为了满足最后期限,高密集型计算应用程序可以在数据和任务并行时使用云来提高其性能。本文介绍了一项正在进行的工作,旨在将HPC执行平台的扩展资源与云一起使用。我们提出了一个统一的视图,这样的异构环境和方法,监测,预测应用程序的执行时间,并动态地转移域的一部分-以前运行在本地HPC硬件-在云计算,然后满足特定的截止日期。该方法与地震应用程序一起举例说明,该应用程序在运行时自适应将部分处理移动到云(在称为突发的移动中),并在云节点上自动缩放(移动的部分)。我们的初步结果表明,执行此移动和同步结果会产生预期的开销,但我们的结果表明,在内部部署集群过载或无法提供特定项目所需的容量的情况下,这是满足最后期限的重要功能。
2015-01-26 cs.DC
Design and implementation of self-adaptable parallel algorithms for scientific computing on highly heterogeneous HPC platforms
传统的异构并行算法是为异构工作站集群设计的,它们基于这样的假设:处理器的绝对速度不取决于计算任务的大小。事实证明,这种假设对于现代和未来高度异构的HPC平台是不准确的。新的一类算法的基础上的功能性能模型(FPM),表示处理器的速度的函数的问题大小,最近已经提出。然而,这些算法不能采用自适应的应用程序,因为非常高的成本建设的功能性能模型。本文提出了一类新的并行算法的高度异构的HPC平台。与传统的基于FPM的算法一样,这些算法假设处理器的速度由速度函数而不是速度常数来表征。与传统的算法不同,它们不假设速度函数是给定的。相反,他们估计的速度函数的处理器在其执行过程中的不同大小的问题。这些算法不为每个处理器构建全速函数,而是构建和使用它们的部分估计,足以以给定的精度进行计算的最佳分布。在这些算法中,异构处理器之间的计算分布的低执行成本使它们适合于在自适应应用中就业。基于这种方法的并行矩阵乘法应用程序的实验进行本地和全球异构计算集群。结果表明,处理器之间的最佳矩阵分布的执行时间显着减少,由数量级,比优化的应用程序的总执行时间。
2011-09-14 cs.DC
Wave-Based Dispatch for Circuit Cutting in Hybrid HPC-Quantum Systems
Universitat Oberta de Catalunya (UOC)(加泰罗尼亚开放大学);Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心)
本文提出DQR框架,通过将电路片段作为可调度单元,解决HPC与量子系统中电路切割的调度问题,实现高效的资源管理和故障恢复。
2026-11-06 cs.DC
Characterization and Comparison of Application Resilience for Serial and Parallel Executions
兆级应用的软错误是现代高性能计算面临的一个挑战性问题。为了量化应用程序的弹性和脆弱性,应用程序级故障注入方法被HPC用户广泛采用。然而,这并不容易,因为用户需要注入大量的故障,以确保统计意义,特别是对于并行版本的程序。通常,并行执行比串行执行更复杂,需要更多的硬件资源。因此,根据并行应用程序的串行版本来预测并行应用程序的出错率是非常必要的。在这张海报中,我们描述了串行和并行执行中的故障模式。首先,我们发现在串行和并行执行中有相同的故障源。其次,与串行执行相比,并行执行也有一些独特的故障源。这些独特的故障源对于我们理解串行和并行执行之间的故障模式的差异是非常重要的。
2018-08-03 cs.DC
Asynchronous Execution of Heterogeneous Tasks in ML-driven HPC Workflows
Brookhaven National Laboratory(布鲁克海文国家实验室);Rutgers, the State University of New Jersey(罗格斯大学,新泽西州立大学)
本文研究了ML驱动HPC工作流的异步任务执行需求,建模了异步程度并提出关键指标,在Summit上大规模实验验证了异步执行带来的性能提升与模型一致。
2023-06-27 cs.AI cs.DC cs.LG
Quantum Mini-Apps: A Framework for Developing and Benchmarking Quantum-HPC Applications
本文提出量子迷你应用框架,通过识别六种量子-HPC执行模式并构建简化应用原型,为异构量子-HPC应用的性能表征和中间件开发提供支持。
2024-05-12 cs.DC quant-ph
Descriptive Execution of HPC Applications and Workflows
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
研究评估智能框架在高性能计算中的表现,该框架结合大语言模型及资源,能完成扩展研究、作业规范转换和生物科学工作流三项任务,揭示特定任务失败模式,为多集群设置开发提供宝贵信息。
2026-07-14 cs.DC
Optimization of hybrid parallel application execution in heterogeneous high performance computing systems considering execution time and power consumption
许多重要的计算问题需要利用高性能计算(HPC)系统,所述高性能计算(HPC)系统由组合越来越多数量的具有各种特性的设备的多级结构组成。利用这样的系统的全部功率需要编程在两个意义上混合的并行应用:它们可以同时在多个级别上利用并行性并且将专用于各种类型的计算设备的编程接口组合在一起。并行处理的主要目标是提高处理性能,从而减少应用程序的执行时间。国际HPC社区的目标是到2020年开发“Exascale”超级计算机(能够维持每秒$10^{18}$浮点运算)。实现该目标的主要障碍之一是计算系统的功耗超过能量供应限制。考虑到这一标准的新的编程模型和算法是实现这一目标需要取得重大进展的关键领域之一。本论文的目标是提取一个通用模型的混合并行应用程序执行在异构HPC系统,这是一个现有的具体方法的合成,并开发一种优化方法,这种执行旨在最大限度地减少应用程序的执行时间和功耗的矛盾目标所利用的计算硬件。这两种意义的应用程序的混合性的执行参数的非平凡的相互依赖性和所考虑的优化标准的影响的多重性的结果。应用程序进程在计算设备上的映射也对这些标准产生重大影响。
2018-09-20 cs.DC
Job Placement Advisor Based on Turnaround Predictions for HPC Hybrid Clouds
一些公司和研究机构正在将其CPU密集型应用程序迁移到混合高性能计算(HPC)云环境中。这种转变取决于软件系统的创建,这些软件系统可以帮助用户考虑执行时间和访问本地集群的队列等待时间来决定应该将作业放置在哪里。盲目依赖周转预测技术将对HPC云环境内部的响应时间产生负面影响。本文介绍了一种工具,使HPC混合云环境中的工作安排决策,考虑到执行和等待时间预测的不准确性。我们使用来自真实超级计算中心的作业跟踪来运行我们的实验,并使用真实的加速比曲线来比较环境之间的性能。我们还扩展了最先进的基于机器学习的预测器,以处理来自集群调度器的数据。我们的主要发现是:(i)取决于工作负载特性,存在一个转折点,在该转折点处,预测应该被忽略,以支持更保守的决策,以最小化作业周转时间;(ii)调度器数据在使用作业跟踪数据改进机器学习生成的预测方面起着关键作用--我们的实验显示预测准确度提高了约20%。
2016-08-26 cs.DC
Performance Evaluation of ParalleX Execution model on Arm-based Platforms
HPC社区对在CPU生态系统中创造多样性表现出浓厚的兴趣。基于ARM的处理器的出现为现有的HPC生态系统提供了一种替代方案,该生态系统主要由x86处理器主导。在本文中,我们移植了一个基于ParalleX模型的异步多任务运行时系统,高性能并行X(HPX),并使用一套基准测试在Arm生态系统上进行评估。我们编写这些基准测试的重点是矢量化和分布式扩展。我们展示了各种Arm处理器的性能结果,并将其与英特尔的x86处理器进行了比较。我们表明,所获得的结果是同样好或更好的比他们的x86兄弟。最后,我们还讨论了目前Arm生态系统的一些缺点。
2020-10-23 cs.DC
White Paper from Workshop on Large-scale Parallel Numerical Computing Technology (LSPANC 2020): HPC and Computer Arithmetic toward Minimal-Precision Computing
在数值计算中,浮点计算的精度是决定性能(速度和能量效率)以及可靠性(准确性和再现性)的关键因素。然而,精确度通常对两者起相反的作用。因此,同时最大化两者的最终概念是通过精度调整的最小精度计算,它为每个操作和数据调整最佳精度。到目前为止,已经进行了几项研究(例如Precimoniuos和Verrou),但这些研究的范围仅限于精确调谐。因此,我们的目标是提出一个更广泛的概念,最小精度计算系统的精度调整,涉及硬件和软件栈。2019年,我们启动了最低精度计算项目,提出了一个更广泛的概念,即具有精度调整的最低精度计算系统,涉及硬件和软件堆栈。具体而言,我们的系统结合了(1)基于离散随机算法(DSA)的精度调整方法,(2)任意精度算术库,(3)快速准确的数值库,以及(4)现场可编程门阵列(FPGA)与高级综合(HLS)。在本白皮书中,我们的目标是概述与最小精度和混合精度相关的各种技术,概述项目的未来方向,并与我们的项目成员和LSPANC 2020研讨会的嘉宾演讲者一起讨论当前的挑战。https://www.r-ccs.riken.jp/labs/lpnctrt/lspanc2020jan/
2020-04-11 cs.DC
Scalable Runtime Architecture for Data-driven, Hybrid HPC and ML Workflow Applications
Rutgers, the State University of New Jersey(罗格斯大学(新泽西州立大学));Brookhaven National Laboratory(布鲁克海文国家实验室);Princeton Plasma Physics Laboratory(普林斯顿等离子体物理实验室);Princeton University(普林斯顿大学)
本文扩展 RADICAL-Pilot,提出支持基于服务执行的可扩展运行时架构,以实现跨本地与远程 HPC/云资源的 HPC/ML 无缝耦合和低开销并发 ML 执行。
2025-03-17 cs.AI cs.DC
Enabling Scientific Workflow Scheduling Research in Non-Uniform Memory Access Architectures
Universidad de los Andes(安第斯大学)
本文提出nFlows,一个支持在非统一内存访问架构上进行科学工作流调度研究的运行时系统,用于建模、执行、模拟和验证调度算法。
2025-11-25 cs.DC
Architectural Foundations for Checkpointing and Restoration in Quantum HPC Systems
Kent State University(肯特州立大学);Saint Louis University(圣路易斯大学);University of Florida(佛罗里达大学);University of Central Florida(中佛罗里达大学)
本文提出了一种基于动态电路技术的量子HPC系统检查点与恢复机制,通过控制流和算法状态管理实现容错执行,适用于变分本征求解器等迭代算法。
2026-02-10 cs.DC quant-ph
ARC-V: Vertical Resource Adaptivity for HPC Workloads in Containerized Environments
本文针对容器化环境中HPC工作负载的动态资源消耗问题,提出ARC-V策略,通过结合KubernetesPod的实时资源更新和HPC应用的内存消耗模式,实现节点级别的弹性内存资源配置,有效减少内存使用并避免内存溢出。
2025-05-05 cs.DC
SLA-aware Interactive Workflow Assistant for HPC Parameter Sweeping Experiments
科学和工程中的常见工作流程是(i)设置和部署具有包括应用程序和多个参数值的任务的大型实验;(ii)生成中间结果;(iii)分析它们;以及(iv)重新确定任务的优先级。重复这些步骤,直到达到所需的目标,这可以是复杂系统的评估/模拟或模型校准。由于时间和成本限制,扫描用户应用程序的所有可能参数值并不总是可行的。实验设计技术可以帮助用户重新组织提交-执行-分析工作流,以更及时地提供解决方案。本文介绍了一种新的工具,利用用户的反馈分析中间结果的参数扫描实验,建议他们的策略,参数选择绑在他们的SLA约束。我们评估了我们的工具与三个不同的领域和搜索空间形状的应用程序。我们的主要发现是,用户的提交-执行-分析工作流可以受益于他们的互动与中间结果,并适应自己根据自己的领域的专业知识和SLA的限制。
2016-11-09 cs.DC
Double-precision FPUs in High-Performance Computing: an Embarrassment of Riches?
高性能计算(HPC)中的(无争议的)共同智慧之一是应用程序需要硬件中的大量双精度的【形】支持。毫无疑问,硬件制造商、TOP500榜单和(很少重新访问的)遗留软件都遵循并促成了这一观点。在本文中,我们挑战的智慧,我们这样做的详尽比较了大量的HPC代理应用程序在两个处理器:英特尔的骑士登陆(KNL)和骑士磨坊(KNM)。虽然类似,但KNM和KNL在架构上有一个重要的区别:用于双精度的【形】算术的硅面积。这种幸运的差异使我们能够凭经验量化减少硬件双精度的【形】运算量对性能的影响。我们的分析表明,这种普遍的智慧可能并不总是正确的。我们发现,所调查的HPC代理应用程序确实允许(显着)减少双精度的【形】,几乎没有性能影响。随着摩尔定律失败的出现,我们的研究结果部分加强了现代工业(例如即将推出的富士通ARM64FX)集成混合精度硬件单元的观点。
2019-03-26 cs.DC
Strategies for Molecular Dynamics using Hybrid Systems: LAMMPS Use Case
Universidade São Francisco (USF)(圣弗朗西斯科大学)
本文以抗菌肽Tritrpticin为工作负载,系统分析了LAMMPS模拟器在粗粒化生物分子模拟中的纯MPI与混合MPI+OpenMP性能,发现纯MPI在多节点扩展性差,而混合策略在大规模下更高效。
2026-06-01 cs.DC
StreamGuard: Low-Overhead Resilience for Real-time HPC Data Streams
Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学)
针对实时科学工作流在故障频发基础设施上的弹性需求,提出动态异步非阻塞检查点与进度感知负载重分配两种互补技术,在引入低于1%开销的同时将故障影响降低6倍。
2026-07-01 cs.DC
Interactive Debugger for Performance Portable Python HPC Kernels
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
PKDB是首个面向Python HPC内核的交互式调试器,支持断点、实时代码评估与内核调用点替换,在多种CPU和GPU上开销低,填补了该领域调试空白。
2026-09-09 cs.DC
ODRE Workshop: Probabilistic Dynamic Hard Real-Time Scheduling in HPC
工业4.0正在从根本上改变工业过程中收集、存储和分析数据的方式。虽然这一变化使新的应用,如高度定制的产品的灵活制造,这些过程的实时的【形】控制,然而,尚未实现其全部潜力。我们相信,现代虚拟化技术,特别是应用程序容器,提供了一个独特的机会,从相关的硬件解耦控制功能。通过它,我们可以充分实现高度分布式和可转移的工业过程的潜力,即使有实时的【形】约束所产生的时间关键的子过程。在本文中,我们提出了一个专门开发的编排工具,以管理将工业控制软件从专用硬件转移到裸机服务器或(边缘)云计算平台的挑战和机遇。使用现成的技术,所提出的工具可以管理共享资源上的容器化应用程序的执行,而不损害硬实时的【形】执行确定性。通过第一次实验结果,我们证实了资源共享系统的可行性,并分析了严格的实时的【形】要求的行为。然后,我们描述了实验,以提供预期的结果,并收集性能,应用范围和所提出的方法的限制。
2020-05-09 cs.DC
Hybrid Quantum-HPC Middleware Systems for Adaptive Resource, Workload and Task Management
Ludwig Maximilian University(路德维希-马克西米利安大学);BMW Group(宝马集团);Utrecht University(乌得勒支大学);Rutgers University-New Brunswick(罗格斯大学新不伦瑞克校区);Princeton Plasma Physics Laboratory(普林斯顿等离子体物理实验室);Princeton University(普林斯顿大学)
本文提出混合量子-高性能计算系统中自适应资源、工作负载和任务管理的中间件方法,通过四层架构、执行动机集、Pilot-Quantum框架和Q-Dreamer工具包实现应用感知调度和性能建模。
2026-04-03 cs.DC quant-ph
ECAS: An Edge-Controlled Agentic System for Validation-Gated Scientific Application Execution
Argonne National Laboratory(阿贡国家实验室);Oregon State University(俄勒冈州立大学)
针对科学应用HPC执行中LLM智能体面临的凭证安全和一次性生成失败问题,提出ECAS系统,通过边缘控制与验证门控机制实现闭环修复,实验成功率从0/6提升至6/6。
2026-09-15 cs.AI cs.DC
Power Redistribution for Optimizing Performance in MPI Clusters
功率效率近来已成为高性能计算领域中的主要关注点。HPC中心由影响执行时间的功率限制提供。自然地,在功率效率和计算效率之间出现折衷。本文解决了MPI应用程序的性能优化问题,其中功率界假设。本文公开了使用MPI利用集群并行的HPC应用程序的子集,其中节点遇到多个同步点并表现出节点间的依赖性。我们将这种结构抽象成一个依赖图,并利用不同节点上的并行作业执行时间的不对称性,通过将空闲阻塞节点获得的功率重新分配给工作滞后的节点。我们介绍了一种基于整数线性规划(ILP)的最优功率分配算法,最大限度地减少总的执行时间,同时保持一个上限的功率解决方案。然后,我们提出了一个在线的启发式,动态重新分配权力在运行时间。启发式显示显着减少了一组并行基准的总执行时间,加速高达2.25倍。
2014-10-24 cs.DC
Performance Analysis of Scientific Computing Workloads on Trusted Execution Environments
科学计算有时涉及对敏感数据的计算。根据数据和执行环境,HPC(高性能计算)用户或数据提供者可能需要机密性和/或完整性保证。为了研究基于硬件的可信执行环境(TEE)在实现安全科学计算方面的适用性,我们深入分析了AMD SEV和英特尔SGX对各种HPC基准测试的性能影响,包括传统科学计算、机器学习、图形分析和新兴科学计算工作负载。我们观察到三个主要发现:1)SEV需要在大规模NUMA机器上仔细放置内存(1个$\times$ $-$ 3.4 $\times$减速,无NUMA感知放置,1个$\times$ $-$ 1.15 $\times$减速),2)虚拟化$-$是SEV $-$的先决条件,这会导致具有不规则内存访问和大型工作集的工作负载的性能下降(1 $\times$ $-$ 4 $\times$与图形应用程序的本机执行相比减慢)和3)SGX不适合HPC,因为其有限的安全存储器大小和不灵活的编程模型(1.2 $\times$ $-$ 126 $\times$在不安全执行上减慢)。最后,我们将讨论即将推出的新的TEE设计及其对科学计算的潜在影响。
2020-10-25 cs.AR cs.CR cs.DC
Comparison of HPC Architectures for Computing All-Pairs Shortest Paths. Intel Xeon Phi KNL vs NVIDIA Pascal
如今,高性能计算系统的主要挑战之一是通过将能耗保持在可接受的水平来提高其性能。在这种情况下,整合策略包括使用GPU或众核英特尔至强融核处理器等加速器。在这项工作中,NVIDIA Pascal和英特尔至强融核骑士登陆架构的设备进行了描述和比较。选择Floor-Warshall算法作为图形和内存受限应用的代表案例,开发了优化的实现,以分析和比较两种设备的性能和能效。正如预期的那样,Xeon Phi在考虑双精度数据时表现出优越性。然而,与我们初步分析中所考虑的相反,我们发现使用单精度数据类型时,两种设备的性能和能效相当。
2021-05-15 cs.DC
Execution-Centric Characterization of FP8 Matrix Cores, Asynchronous Execution, and Structured Sparsity on AMD MI300A
University of Delaware(特拉华大学)
本文通过微观基准测试分析了AMD MI300A上的FP8矩阵执行、ACE并发性和结构稀疏性,揭示了其执行特性及对HPC和HPC-AI工作负载性能的影响。
2026-02-10 cs.AR cs.DC
RedThreads: An Interface for Application-level Fault Detection/Correction through Adaptive Redundant Multithreading
在加速故障率的存在下,这预计将成为未来艾级系统的标准,高性能计算(HPC)应用程序将变得越来越难以完成有用的计算。由于当前HPC编程范例和执行环境的故障不经意性质,HPC应用不足以处理错误。我们认为,HPC应用程序应该能够主动搜索和纠正计算中的错误。冗余多线程(RMT)方法在单个应用进程的上下文中提供程序指令的轻量级复制执行流。然而,使用完全冗余会对应用程序性能产生显著的开销。在本文中,我们提出了RedThreads,一个接口,提供应用程序级的故障检测和纠正的基础上RMT,但适用于线程级的冗余自适应。我们描述了RedThreads的语法和语义,以及支持编译器的基础设施和运行时系统。我们的方法使应用程序员的范围内的冗余计算。另外,运行时系统允许基于应用的弹性需求和系统的状态来动态地启用或禁用RMT的使用。我们的实验结果表明,自适应RMT如何利用程序员的洞察力和运行时推理,动态导航应用程序的弹性覆盖和冗余计算的相关性能开销之间的权衡空间。
2017-01-17 cs.DC
Diamond Agent: Agentic Control of Federated HPC Resources as a Service
Rutgers University(罗格斯大学);University of Rochester(罗切斯特大学);National Center for Supercomputing Applications(国家超级计算应用中心);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
Diamond Agent通过类型化技能和事件驱动机制,实现跨异构HPC集群的智能工作流执行,将中位额外完成时间降低10.5倍。
2026-09-09 cs.AI cs.DC
GPU-Accelerated Distributed QAOA on Large-scale HPC Ecosystems
本研究在Frontier CPU/GPU超算上通过先进问题分解与消息传递并行,提升分布式量子近似优化算法的可扩展性与效率,实现最高10倍于CPU仿真的加速,支撑混合量子-经典应用落地。
2025-06-12 cs.DC
Design and Optimization of OpenFOAM-based CFD Applications for Hybrid and Heterogeneous HPC Platforms
硬件感知的设计和优化是至关重要的,在利用新兴的架构,基于偏微分方程的计算流体动力学应用。在这项工作中,我们研究的优化,旨在加速基于OpenFOAM的应用程序在新兴的混合异构平台。OpenFOAM使用MPI来提供并行多处理器功能,该功能在同构系统上可以很好地扩展,但在混合异构平台上不能充分利用潜在的每个节点性能。在我们的研究中,我们使用两个OpenFOAM应用程序,icoFoam和laplacianFoam,都基于Krylov迭代法。我们提出了一些Krylov求解器的主导内核的优化,旨在加速现代GPU加速异构平台上的应用程序的整体执行。实验结果表明,所提出的混合实现显着优于国家的最先进的实现。
2015-05-28 cs.DC
Towards Management of Energy Consumption in HPC Systems with Fault Tolerance
高性能计算不断提高其计算能力和能源效率。然而,能源消耗持续上升,找到限制和/或减少能源消耗的方法是当前研究的关键点。对于高性能MPI应用程序,存在基于回滚恢复的容错方法,例如不协调的检查点。这些方法只允许一些进程在遇到故障时返回,而其余的进程继续运行。在这篇文章中,我们专注于继续执行的进程,并提出了一系列的策略来管理能源消耗时,发生故障和不协调的检查点使用。我们提出了一个能量模型来评估策略,并通过仿真分析了应用程序在不同配置和故障时间下的行为。因此,我们展示了在HPC系统中存在故障时提高能效的可行性。
2021-08-17 cs.DC
HP2C-DT: High-Precision High-Performance Computer-enabled Digital Twin
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
HP2C-DT通过整合高性能计算,提升数字孪生的实时响应和计算能力,实现高效的任务分配与资源利用。
2026-01-15 cs.DC
Towards Energy Efficient Co-Scheduling in HPC
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Argonne National Laboratory(阿贡国家实验室)
本文提出EcoSched调度器,通过联合优化GPU数量选择与应用协同调度,提升多GPU系统的任务效率,实现14.8%的能耗节省和30.1%的作业跨度提升。
2026-04-19 cs.DC
Online Job Failure Prediction in an HPC System
CINECA(奇内卡国家计算中心)
本研究针对HPC系统中的作业失败预测问题,提出结合经典机器学习与NLP的在线预测方法,在提交时识别高风险作业,以减少资源浪费并提升系统性能与能效,实验验证了其有效性。
2023-06-30 cs.AI cs.DC cs.LG
Harvesting energy consumption on European HPC systems: Sharing Experience from the CEEC project
Friedrich-Alexander-University(弗里德里希·阿列克桑德大学);University of Stuttgart(斯图加特大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Uppsala University(乌普萨拉大学)
本文分享了CEEC项目在测量和优化欧洲主要HPC系统能耗方面的经验,通过CFD应用案例研究评估了不同架构的能耗与时间指标,并强调了加速器和混合精度技术在降低能耗中的优势。
2025-11-04 cs.DC
MEMPOWER: Efficient Power Management with Fine-grained Memory Analysis and Modeling for HPC Workloads
Oregon State University(俄勒冈州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对HPC应用的计算与数据移动不平衡问题,提出基于细粒度内存行为建模的MEMPOWER框架,可降低6%-42%的EDP且对执行时间影响小。
2026-08-24 cs.DC
CHAMB-GA: A Containerized HPC Scalable Microservice-Based Framework for Genetic Algorithms
Forschungszentrum Jülich GmbH(于利希研究中心);RWTH Aachen University(亚琛工业大学)
提出CHAMB-GA框架,通过容器编排和批调度实现遗传算法从个人电脑到分布式集群的无缝扩展,支持异步并行进化操作和适应度评估,在3500+CPU核心上开销极小,并成功应用于德国电网HVDC线路优化。
2026-07-28 cs.DC math.OC
Toward Real-time Analysis of Experimental Science Workloads on Geographically Distributed Supercomputers
科学基础设施的大规模升级正在推动数据速度的上升,同时刺激采用越来越多的数据密集型分析。虽然下一代百亿亿次超级计算机承诺为I/O密集型工作流提供强有力的支持,但HPC在很大程度上仍未被现场实验所利用,因为在面对稀缺的仪器时间时,数据传输和不同的批处理策略是禁止的。为了弥合这一鸿沟,我们引入了Balsam:一个分布式编排平台,使边缘工作流能够安全有效地触发用户管理的HPC执行站点联合会的分析任务。我们描述的香脂服务,它提供了一个工作流管理API的体系结构,和分布式站点,提供资源和调度可扩展的,容错的执行。我们展示了Balsam如何有效地将两个DOE光源的实时的【形】分析同时扩展到三台超级计算机(Theta,Summit和Cori)上,同时保持按需计算的低开销,并提供Python库与现有的数据分析工具生态系统无缝集成。
2021-07-02 cs.DC
HPC-based Solvers of Minimisation Problems for Signal Processing
本文比较分析了信号处理中近似与去噪两类最小化问题的高性能计算求解方法,并在Cineca Marconi100集群上验证了PRAXIS优化器在极小值计算与并行效率上的最优表现。
2023-11-03 cs.DC cs.GR eess.SP
Evaluation of DVFS techniques on modern HPC processors and accelerators for energy-aware applications
对于计算系统,特别是对于大规模HPC设施,能量效率变得越来越重要。在这项工作中,我们评估,从用户的角度来看,使用动态电压和频率调节(DVFS)技术,辅助现代处理器的功率和能源监测能力,以调整应用程序的能源效率。我们在HPC环境中广泛使用的两个高端处理器上运行选定的内核和完整的HPC应用程序,即NVIDIA K80 GPU和Intel Haswell CPU。我们评估可用的能源之间的权衡解决方案和时间的解决方案,尝试一个功能的功能频率调谐。最后,我们估计了在HPC多GPU节点上运行完整代码所能获得的好处,相对于默认的时钟频率调控器。我们对代码进行检测,以准确监控功耗和执行时间,而无需任何额外的硬件,并且我们使其能够在运行时更改CPU和GPU的时钟频率。我们分析了我们的结果不同的架构,使用一个简单的能源性能模型,并得出了一些节能策略,可以很容易地通过最近的高端HPC系统的通用应用程序。
2017-03-08 cs.DC cs.PF
A Resourceful Coordination Approach for Multilevel Scheduling
HPC用户的目标是改善他们的执行时间,而不特别考虑增加系统利用率。相反,HPC运营商倾向于增加每时间单位执行的应用程序数量并提高系统利用率。这种偏好的差异促进了以下操作模型。应用程序在特定时间内在独占分配的计算资源上执行,并且假定应用程序有效地利用所分配的资源。在许多情况下,这种操作模式是低效的,即,应用程序可能无法充分利用其分配的资源。这种低效率导致应用程序执行时间增加和系统利用率降低。在这项工作中,我们提出了一个足智多谋的协调方法(RCA),使合作之间,目前独立的,批处理和应用程序级的制造商。RCA使应用程序调度器能够通过批处理系统与其他应用程序共享其已分配但空闲的计算资源。有效系统性能(ESP)基准被用来评估所提出的方法。结果表明,RCA在不影响应用程序性能的情况下,将系统利用率提高了12.6%,并将系统完工时间降低了相同的百分比。
2021-03-10 cs.DC
On the Relevance of Wait-free Coordination Algorithms in Shared-Memory HPC:The Global Virtual Time Case
共享存储器/多核架构上的高性能计算可能由于协调算法而遭受不可忽略的性能瓶颈,然而协调算法对于确保总体正确性和/或支持内务操作的执行(例如,恢复计算资源(例如,内存)。虽然在设计/开发上更加复杂,但是从经典协调算法到无等待算法的范式切换可以显著提高HPC应用程序的性能。在本文中,我们探讨了这种模式的转变在共享内存架构的相关性,通过集中在并行离散事件仿真的背景下,其中的全球虚拟时间(GVT)代表一个基本的协调算法。它允许计算参与并行/分布式计算的所有实体通过的逻辑时间值的下限。因此,它可以用来区分哪些事件属于计算的过去历史-从而被认为是提交的-并允许内存恢复(例如,为了支持状态可恢复性而采取的过时日志)和不可撤销的操作(例如I/O)。我们比较的参考(阻塞)算法共享内存,一个由藤本和Hybinette \cite{Fuj97},提出了一个创新的无等待的实现,强调什么设计选择必须执行这种范式转变,以及什么是协调算法中删除关键部分的性能影响。
2020-04-21 cs.DC