Workshop Scientific HPC in the pre-Exascale era (part of ITADATA 2024) Proceedings
该论文集收录了2024年ITADATA会议上SHPC研讨会的成果，聚焦前百亿亿次时代HPC在科学应用中的关键问题，涵盖性能可移植性、绿色计算、机器学习、大数据管理及异构与加速器编程等主题。
2025-03-26 cs.DB cs.DC cs.LG
A Performance Model for the Communication in Fast Multipole Methods on HPC Platforms
预计Exascale系统将拥有大约10亿个内核，假设是千兆赫内核。这种大规模的分布式存储系统的负担得起的网络拓扑结构的限制带来了新的挑战，目前的并行编程模型。目前，有许多努力来评估的硬件和软件的艾级设计的瓶颈。因此，迫切需要对应用程序性能进行建模，并了解需要进行哪些更改以确保外推的可伸缩性。快速多极子方法（FMM）最初是为加速天体物理学和分子动力学中的N体问题而开发的，但最近已扩展到更广泛的问题，包括稀疏线性求解器的预处理器。它的高运算强度结合其线性复杂度和异步通信模式，使它成为一个有前途的算法的兆级系统。在本文中，我们讨论了当前的并行计算机和未来的exascale架构上的FMM的挑战，重点是节点间的通信。我们开发了一个性能模型，考虑FMM的通信模式，并观察到我们的模型和实际通信时间之间的良好匹配，当延迟，带宽，网络拓扑结构和多核惩罚都考虑在内。据我们所知，这是FMM中节点间通信的第一个正式表征，它验证了模型对通信时间的实际测量。
2014-05-25 cs.DC
Preparing for Performance Analysis at Exascale
在分析执行度量时，新兴异构艾级平台的性能工具必须解决两个主要挑战。首先，大规模执行的度量可能会记录大量的性能数据。其次，并行程序的性能测量在两个方面是稀疏的：存在于任何上下文的度量集和存在于不同线程中的上下文集。对于GPU加速的应用程序，稀疏性的一个重要来源是，无数的GPU指标都不适用于许多CPU上下文中的任何一个。为了解决这些挑战，我们开发了一种新的流聚合方法来进行事后分析，该方法采用共享和分布式内存并行性来聚合来自应用程序的每个等级，线程和GPU流的稀疏性能测量，并将异构调用路径配置文件和跟踪属性添加到源代码。使用相同数量的资源，我们的方法分析了GPU加速的应用程序的大规模性能测量的速度比HPCToolkit的数量级快，其稀疏的分析结果是多达三个数量级小于HPCToolkit的密集表示的指标。
2022-03-10 cs.DC cs.PF
Harvesting energy consumption on European HPC systems: Sharing Experience from the CEEC project
Friedrich-Alexander-University（弗里德里希·阿列克桑德大学）；University of Stuttgart（斯图加特大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Uppsala University（乌普萨拉大学）
本文分享了CEEC项目在测量和优化欧洲主要HPC系统能耗方面的经验，通过CFD应用案例研究评估了不同架构的能耗与时间指标，并强调了加速器和混合精度技术在降低能耗中的优势。
2025-11-04 cs.DC
RISC-V for HPC: Where we are and where we need to go
在英国ExCALIBUR H&ES exascale计划的资助下，自2022年初以来，我们为HPC提供了一个RISC-V测试平台，为科学软件开发人员提供免费访问权限，让他们在工作负载中尝试RISC-V。基于我们为HPC社区提供RISC-V访问的经验，以及我们与RISC-V社区的广泛参与，在此扩展摘要中，我们总结了RISC-V for HPC的当前状态，并考虑了应解决的高优先级领域，以帮助推动采用。
2024-06-18 cs.DC
Experiences of running an HPC RISC-V testbed
本文介绍了由英国ExCALIBUR H&ES项目资助搭建的HPC RISC-V测试平台的运行情况，总结其成果、挑战与经验，为明确RISC-V在HPC领域的适配性及社区后续重点方向提供参考。
2023-04-30 cs.DC
SAGE: Percipient Storage for Exascale Data Centric Computing
我们的目标是实现一个大数据/极端计算（BDEC）能力的系统基础设施，因为我们走向时代的Exascale计算-称为SAGE（Percipient StorAGe for Exascale Data Centric Computing）。SAGE系统将能够在Exascale范围内存储和处理大量数据，并为Exascale级应用程序提供使用这种存储基础设施的能力。SAGE解决了在下一代以数据为中心的计算时代，大数据分析和HPC之间越来越多的重叠，由于大量数据源的激增，例如大型分散的科学仪器和传感器，其数据需要处理，分析和集成到模拟中，以获得科学和创新的见解。事实上，Exascale I/O作为模拟代码尚未充分处理的问题，已由SAGE平台适当解决。本文的目的是讨论的软件架构的SAGE系统，并期待在早期的结果，我们已经获得了一些关键的方法，系统的不断发展。
2018-05-01 cs.DC
exaCB: Reproducible Continuous Benchmark Collections at Scale Leveraging an Incremental Approach
Jülich Supercomputing Centre Forschungszentrum Jülich（于利希超级计算中心 于利希研究中心）
exaCB通过增量方法实现大规模可重复的连续基准集合，支持在Exascale系统中对多样化的科学应用进行持续基准测试，提升性能和能效评估的可重复性和可验证性。
2026-03-23 cs.DC
Online Fault Classification in HPC Systems through Machine Learning
随着高性能计算（HPC）系统努力实现艾级目标，研究表明它们将经历过高的故障率。因此，在HPC系统中发生故障时对其进行检测和分类，并在其转变为故障之前采取纠正措施，对于持续运行至关重要。在本文中，我们提出了一种故障分类方法的HPC系统的基础上机器学习，专门设计的实时流数据操作。我们投的问题和它的解决方案在现实的操作限制在线使用。我们的研究结果表明，几乎完美的分类精度可以达到不同的故障类型，低的计算开销和最小的延迟。我们的研究基于一个本地数据集，我们公开提供，这是通过注入故障到内部实验HPC系统获得的。
2019-07-11 cs.DC
ExaWorks: Workflows for Exascale
Exascale计算机将提供变革性的能力，将数据驱动和基于学习的方法与传统的模拟应用相结合，以加速科学发现和洞察力。然而，这些软件的组合和集成，是难以实现的，由于协调和部署异构的软件组件在不同的和大规模的平台上的挑战。我们提出ExaWorks项目，它可以解决这些挑战中的许多：ExaWorks正在领导一个共同设计过程，以创建一个工作流软件开发工具包（SDK），该工具包由各种工作流管理工具组成，可以通过通用接口进行组合和互操作。我们描述了SDK支持的初始工具和接口集，使它们更容易应用于复杂的科学挑战的努力，以及它们应用于典型案例的例子。此外，我们还将讨论我们的项目如何与工作流社区、大型计算设施以及HPC平台供应商合作，以可持续地满足亿级工作流的要求。
2021-08-30 cs.DC
Modernizing the HPC System Software Stack
整个20世纪90年代，国家实验室、大学和其他大型站点的HPC中心设计了分布式系统架构和软件堆栈，实现了极端规模的计算。到2010年代，这些中心被网络规模和云计算架构的规模所掩盖，今天即使是即将到来的亿级HPC系统，规模也比大型网络公司雇用的数据中心小。与此同时，HPC社区允许系统软件设计停滞不前，依赖于对经过验证的设计进行增量更改，以便在几代系统之间移动。我们认为，注重可扩展性、可扩展性、安全性和现代方法的现代系统软件堆栈将使整个HPC社区受益。在本文中，我们分解了一个典型的HPC系统软件堆栈的逻辑部分，看看更现代的方法来满足他们的需求，并提出建议，未来的工作，将有助于社区朝着这个方向前进。
2020-07-20 cs.DC
EuroHPC SPACE CoE: Redesigning Scalable Parallel Astrophysical Codes for Exascale
CINECA；IT4Innovations, VSB-TU Ostrava（IT4Innovations，俄斯特拉发科技大学）；University of Turin（都灵大学）；E4 COMPUTER ENGINEERING SpA（E4计算机工程公司）；INAF（意大利国家天体物理研究所）；KU Leuven（荷语鲁汶大学）；Goethe-Universität（法兰克福歌德大学）；CRAL, CNRS, ENS Lyon（里昂天文中心，法国国家科学研究中心，巴黎高等师范学院里昂校区）；CEPP, Eviden（CEPP，Eviden）；University of Oslo（奥斯陆大学）
EuroHPC SPACE CoE通过创新编程范式和软件解决方案，重设计可扩展并行天体物理代码以适应百亿亿次计算需求。
2025-12-21 astro-ph.IM cs.DC
Preparing for the Future -- Rethinking Proxy Apps
大量的研究和工程设计进入了代理应用程序的设计，这些应用程序代表了常见的高性能计算工作负载，以共同设计和评估当前一代的超级计算机，例如，RIKEN的超级计算机Fugaku，ANL的Aurora或ORNL的Frontier。这一过程对于标准化采购是必要的，同时避免每个HPC中心重复开发自己的基准。不幸的是，与当前技术和未来异构性的快速发展趋势相比，代理应用程序迫使HPC中心和提供商（供应商）进入一种不受欢迎的僵化状态。为了适应一个极端异构的未来，我们必须重新考虑如何在未来十年内共同设计超级计算机，并避免重复过去的错误。这份立场文件概述了系统协同设计的当前最新水平、过去几年遇到的挑战以及拟议的前进计划。
2022-04-15 cs.DC
Scaling the memory wall using mixed-precision -- HPG-MxP on an exascale machine
本研究针对百亿亿次系统提出了高度优化的 HPG-MxP 基准测试实现及算法增强，首次在现代基于 GPU 的超级计算机上利用双精度与单精度结合实现了 1.6 倍的加速。
2025-07-15 cs.DC cs.NA cs.PF
Type oriented parallel programming for Exascale
虽然近年来HPC硬件和软件有了很大的进步，但我们用来编程这些机器的语言和模型仍然更加静态。这并不是因为缺乏努力，而是因为许多程序设计语言构建的基础不足以满足并行工作所需的表达能力。其结果是可编程性和性能之间的隐含权衡，由于许多科学用户是自己领域的专家，而不是HPC专家，这使得情况变得更糟。面向类型的编程通过类型系统编码语言的复杂性来解决这个问题。大多数语言功能都包含在一个松散耦合的类型库中，可以灵活地用于控制许多方面，如并行性。由于这种方法的高级性质，在编译过程中有很多信息可用于优化，并且在没有类型信息的情况下，编译器可以应用合理的默认选项，从而支持专家程序员和新手。我们证明，在没有性能或可扩展性的损失时，运行在高达8196个核心的Cray XE6系统，在这种类型的面向方式编写的代码提供了改进的可编程性。程序员能够在高级别上编写简单的隐式并行HPC代码，然后在需要时通过添加其他类型信息来显式调优。
2016-10-27 cs.DC cs.PL
Sustainability in HPC: Vision and Opportunities
本文面向百亿亿次时代 HPC 系统碳排放问题，分析设计与运行中的挑战，并提出降低碳足迹的多种机遇。
2023-09-23 cs.AR cs.DC
Crossing the Architectural Barrier: Evaluating Representative Regions of Parallel HPC Applications
Exascale计算将使人类更接近解决重要的社会，科学和工程问题。由于高原型成本，高性能计算（HPC）系统架构师利用仿真模型进行设计空间探索和软硬件协同设计。然而，随着HPC系统达到百万兆级的比例，模拟的成本增加，因为模拟器本身主要是单线程的。用于选择并行应用程序的代表性部分以降低运行成本的工具是普遍的，例如，BarrierPoint通过在模拟中分析基本块和重用距离等抽象特征来实现这一点。但是，HPC的新架构具有有限的可用工具集。在这项工作中，我们提供了一个独立的跨架构评估的实际硬件-跨英特尔和ARM -的BarrierPoint方法，当应用到并行HPC代理应用程序。我们提出这两种情况：当方法可以应用时，它不能。在前一种情况下，结果表明，我们可以通过运行较短的代表性部分来预测完整应用程序执行的性能。在后一种情况下，我们深入研究潜在的问题并提出改进建议。我们展示了高达178倍的总仿真时间减少，同时保持误差低于2.3%的周期和指令。
2018-03-20 cs.AR cs.DC cs.PF
Cosmological Simulations in Exascale Era
Exascale计算设施的体系结构涉及数百万个异构处理单元，将对科学应用产生深刻影响。未来的天体物理HPC应用程序必须设计成使这样的计算系统可利用。ExaNeSt H2020由欧盟资助，旨在设计和开发一个基于低能耗ARM 64内核和FPGA加速器的千兆级原型。我们参与了平台的设计和原型的验证，宇宙学N体和流体动力学代码适合于进行大规模，高分辨率的宇宙结构形成和演化的数值模拟。我们讨论我们的活动，天体物理学的应用，以利用基础架构。
2017-12-01 astro-ph.GA astro-ph.IM cs.DC
Analysis of the carbon footprint of HPC
本文针对高性能计算能耗与碳排放问题，结合系统全生命周期、能源结构及2030年轨迹，分析Top500/Green500并建立未来5年HPC碳足迹预测模型。
2025-09-16 cs.DC
The SAGE Project: a Storage Centric Approach for Exascale Computing
SAGE（Percipient StorAGe for Exascale Data Centric Computing）是欧盟委员会资助的一个面向Exascale计算时代的项目。它的目标是设计和实现一个具有大数据/极端计算（BDEC）能力的基础设施和相关的软件栈。SAGE系统遵循“以存储为中心”的方法，因为它能够以Exascale方式存储和处理大量数据。SAGE致力于在下一代以数据为中心的计算时代实现大数据分析和HPC的融合。这种融合是由大量数据源的激增所推动的，例如大型分散的科学仪器和传感器，这些数据需要进行处理，分析并集成到模拟中，以获得科学和创新的见解。SAGE系统的第一个原型已经在Julich超级计算中心实施和安装。SAGE存储系统由多层I/O层次结构中的多种存储设备技术组成，包括闪存、磁盘和非易失性存储器技术。主要的SAGE软件组件是Seagate Mero对象存储，可通过Clovis API和更高级别的接口访问。SAGE项目还包括用于验证SAGE概念的科学应用。本文的目的是介绍SAGE项目的概念，SAGE平台的原型，并讨论了SAGE系统的软件体系结构。
2018-07-06 cs.DC
Preparing for HPC on RISC-V: Examining Vectorization and Distributed Performance of an Astrophyiscs Application with HPX and Kokkos
本研究基于天体物理应用Octo-Tiger，将依托HPX、Kokkos的C++代码移植到RISC-V架构，验证向量扩展的性能影响，并对比其与A64FX系统的性能、扩展性及功耗，为RISC-V在HPC领域的应用做准备。
2024-08-15 cs.DC
Power-Capping Metric Evaluation for Improving Energy Efficiency in HPC Applications
本文针对百亿亿次高性能计算，利用NVIDIA GH200架构探索集成CPU-GPU功率限制优化，通过加速比-能耗-延迟和欧几里得多目标方法评估，发现动态功率调整可显著提升应用能效。
2025-06-24 cs.CE cs.DC cs.PF
Experiences Readying Applications for Exascale
本文总结了为OLCF的Frontier百亿亿次系统准备科学应用的四年经验，涵盖软件可编程性、调优、可移植性等关键问题，评估了早期访问系统的开发作用，并介绍了最佳实践的传播方式与未来系统应用就绪的建议。
2023-10-02 cs.DC
Performance Analysis of HPC applications on the Aurora Supercomputer: Exploring the Impact of HBM-Enabled Intel Xeon Max CPUs
本文分析了Aurora超级计算机上HBM与DDR内存系统的性能权衡，通过微基准测试和HPC应用评估不同内存与集群模式对带宽和延迟的影响，为百亿亿次系统用户提供最佳内存配置选择指导。
2025-04-04 cs.AR cs.DC cs.PF
Development and performance of a HemeLB GPU code for human-scale blood flow simulation
近年来，高性能计算机（HPC）拥有某种程度的异构架构（通常以GPU加速器的形式）变得越来越普遍。在某些机器中，这些GPU被隔离在专用分区内，而在其他机器中，它们与所有计算节点集成在一起-通常每个节点有多个GPU-并提供机器的大部分计算性能。鉴于这一趋势，更新部署在HPC上的代码以在加速器硬件上执行变得至关重要。在本文中，我们介绍了一个GPU实现的三维血流模拟代码HemeLB已开发使用CUDA C++。我们演示了如何利用NVIDIA GPU硬件可以实现显着的性能改进相比，它已经建立在同等的CPU上的代码，同时保留了出色的强大的可扩展特性，已多次证明了CPU版本。随着HPC处于亿亿次时代的边缘，我们以HemeLB为动机，讨论了许多用户在即将到来的亿次机器上部署自己的应用程序时将面临的一些挑战。
2022-01-13 cs.DC physics.flu-dyn
Asynchronous-Many-Task Systems: Challenges and Opportunities -- Scaling an AMR Astrophysics Code on Exascale machines using Kokkos and HPX
针对异构超级计算机上自适应网格细化代码的性能可移植性挑战，提出基于Kokkos、HPX和SIMD的Octo-Tiger系统，在Perlmutter和Frontier上实现高并行效率，验证了异步多任务方法的可扩展性。
2025-09-11 cs.DC
Exploring the Frontiers of Energy Efficiency using Power Management at System Scale
本文提出遥测数据驱动的节能预测方法，结合GPU基准测试分析应用功耗，并在Frontier超级计算机上验证，揭示资源受限作业最高可节能8.5%且不影响性能。
2024-08-02 cs.DC
Bridging HPC Communities through the Julia Programming Language
Julia程序设计语言已经发展成为一种现代化的替代方案，以填补科学计算和数据科学应用中的现有空白。Julia利用统一协调的单一语言和生态系统范例，在不牺牲用户生产力的情况下实现高性能方面有着良好的记录。这些方面使Julia成为高性能计算（HPC）现有的且成本越来越高的多体工作流组合策略的可行替代方案，其中传统HPC语言（例如，Fortran、C、C++）用于模拟，而更高级的语言（例如，Python、R、MATLAB）用于数据分析和交互式计算。Julia在语言能力、包生态系统和社区方面的快速增长使其成为HPC的一种有前途的通用语言。本文介绍了来自学术界、政府和工业界的多学科研究人员的观点，他们倡导一种强调开发人员生产力、工作流可移植性和低准入门槛的HPC软件开发范式。我们相信Julia程序设计语言、它的生态系统和它的社区提供了现代和强大的功能，可以实现这个小组的目标。至关重要的是，我们相信Julia可以提供一种可行且成本更低的方法来编程针对HPC设施的科学应用程序和工作流程。在这项工作中，我们研究了Julia作为一个通用的端到端编程模型的当前实践和作用，以解决科学可重复性，数据驱动的AI/机器学习，协同设计和工作流程，异构计算，网络通信，数据管理和社区教育中的可扩展性和性能可移植性方面的主要挑战。因此，随着越来越多的超级计算中心为艾级时代做准备，当前投资的多样化以满足未来十年的需求至…
2022-11-10 cs.DC
Metascheduling of HPC Jobs in Day-Ahead Electricity Markets
高性能网格计算是实现大规模协同计算科学的关键。随着百亿亿次计算的发展，高性能网格系统预计将产生随时间超线性增长的电费。为了实现这些系统的成本效益，这是必不可少的调度算法，以利用电力价格的变化，在空间和时间，这是普遍存在的动态电价市场。在本文中，我们提出了一个元调度算法，以优化放置的工作在一个计算网格消耗电力的一天前的批发市场。我们制定的调度问题作为一个最小成本最大流问题，并利用排队等待时间和电价预测，以准确地估计在系统中的作业执行的成本。使用基于跟踪的模拟与真实和合成的工作负载跟踪，和真实的电价数据集，我们证明了我们的方法在两个目前运行的电网，XSEDE和NorduGrid。我们的实验设置总共包括超过433K的处理器，分布在17个地理位置的58个计算系统中。实验表明，我们的方法同时优化了总的电力成本和平均响应时间的网格，而不会对用户的本地批处理系统是不公平的。
2017-12-29 cs.DC
Challenges and Considerations for Utilizing Burst Buffers in High-Performance Computing
随着高性能计算（HPC）进入亿亿次时代，计算机科学家和工程师必须找到传输和处理前所未有的数据量的创新方法。随着在这些机器上运行的应用程序的规模和复杂性的增加，它们的交互和数据交换的成本（在延迟、能量、运行时间等方面）会呈指数级增长为了解决I/O协调和通信问题，计算供应商正在开发计算节点与由不同类型的存储器（NVRAM、DRAM、SSD）组成的并行文件系统之间的中间层。这些大规模的存储器设备被称为“突发缓冲器”。“在本文中，我们设想了HPC硬件的各种级别的高级内存，并推导出如何利用它的潜在用例。然后，我们提出了在下一代超级计算机中使用突发缓冲区时出现的挑战和问题，并将挑战映射到用例。最后，我们讨论了新兴的最先进的突发缓冲解决方案，预计将在今年年底前在新的HPC系统中推出，以及这些实现可能满足哪些用例。
2015-09-29 cs.DC
ExaWorks Software Development Kit: A Robust and Scalable Collection of Interoperable Workflow Technologies
为解决高性能计算平台上异构科学工作流软件选择困难的问题，本文开发了ExaWorks SDK，这是一个遵循最佳实践、专门用于HPC平台的工作流技术集合，并详细介绍了其策划、集成、测试、文档等经验，为支持百亿亿次级平台提供了蓝图。
2024-07-23 cs.DC cs.SE
A Practical Overview of Quantum Computing: Is Exascale Possible?
本文概述量子计算的实际挑战，探讨混合架构、工具演进及纠错问题，并指出HPC技能在量子时代仍具价值。
2023-06-21 cs.DC cs.ET
Performance characterisation of the 64-core SG2042 RISC-V CPU for HPC
本文使用NASA NPB基准套件评估64核SG2042 RISC-V CPU的HPC性能，发现其显著领先其他RISC-V方案，但内存子系统是相对x86-64/AArch64平台的主要瓶颈。
2024-06-18 cs.DC
High Performance Computing for Geospatial Applications: A Prospective View
在过去的十年中，传统计算机硬件性能的改进速度已经显著放缓，这主要是由于达到了制造过程的物理极限。为了抵消这种放缓，HPC的新方法正在快速发展。本章介绍了目前正在开发的尖端艾级计算系统，这些系统将于2021年投入使用，然后讨论HPC的其他几个重要发展，其中一些还处于早期开发阶段。特定于领域的异构处理方法使用针对特定问题类型量身定制的硬件。神经形态系统被设计成模仿大脑功能，并且非常适合机器学习。还有量子计算，这是一个有争议的话题，尽管有大量的资金计划来确保系统继续从目前的小型演示系统扩展。
2019-12-11 cs.DC
Conceptual and Technical Challenges for High Performance Computing
高性能计算（HPC）旨在为科学和现实生活中的问题提供合理快速的计算解决方案。多核架构的出现在HPC历史上是引人注目的，因为它将底层的并行编程概念带入了共同的考虑。在更大的范围内，人们对构建或托管前线超级计算机有着浓厚的兴趣; Top500排名很好地说明了这种（隐含的）竞赛。超级计算机和普通计算机一样，在获得处理能力的同时，价格多年来一直在下降。我们清楚地看到，当谈到HPC时，通常会想到的是计算机能力。然而，当深入研究该主题时，特别是在大规模问题上，处理速度本身似乎不再足够。事实上，HPC用户真正关心的是输出时间。因此，我们需要研究输入和输出之间的关键路线中的每个重要方面。第一步显然是方法，这是建模与特定考虑（假设，简化，约束，仅举几例）和相应算法的结合，可以是数值和/或非数值。然后是编程的主题，这应该会产生一个巧妙的映射算法到HPC机器。基于多核处理器，可能通过加速单元增强，当前一代超级计算机被评为提供不断增长的峰值性能，Exascale时代是当前的地平线。然而，获得可用峰值性能的高分数越来越困难。设计一个高效的代码，在超级计算机上很好地扩展是一个不平凡的任务。本说明将讨论上述各点，并结合文献中的评论和我们个人的意见。
2020-10-06 cs.DC
Precision-Aware application execution for Energy-optimization in HPC node system
功耗是高性能计算系统中的关键考虑因素，并且它正在成为构建和操作Petascale和Exascale系统的限制因素。在研究运行HPC工作负载的现有系统的功耗时，我们发现功率、能量和性能密切相关，这使得在不牺牲（很多或根本不牺牲）性能的情况下优化能量消耗成为可能。在本文中，我们提出了一个运行在GNU/Linux操作系统和实时的资源管理器（RTRM），是知道和监测平台的健康HPC系统。在该系统上，运行一个灾难管理应用程序。应用程序可以根据情况以不同的QoS运行。我们定义了两种主要情况。正常执行，当没有灾难的风险时，即使我们仍然必须运行系统，以便在不久的将来，如果情况突然发生变化，可以进行预测。在第二种情况下，发生灾难的可能性非常高。因此，必须考虑分配更多的资源以提高精度和人为决策。该文件表明，在设计时，它是可能的，以描述不同的最佳点，将在运行时使用的RTOS与应用程序。这种环境有助于必须全天候运行的系统节省能源，同时损失精度。本文展示了一个模型执行，通过将迭代次数从1 e3增加到1 e4，可以将结果的精度平均提高65%。这也会使执行时间增加一个数量级，从而需要使用多节点解决方案。精确度与执行时间之间的最佳权衡由RTOS计算，时间开销小于本机执行的10%。
2015-01-26 cs.DC
Language Support for Reliable Memory Regions
目前的软件技术不足以适应超级计算系统架构的快速发展，这对高性能计算（HPC）系统中的百亿亿级计算能力提出了挑战。功率的限制已经驱使系统设计包括越来越多的异构体系结构和多样化的存储器技术和接口。预计未来的系统也会遇到更高的错误率，这样应用程序将不再能够假设底层机器的正确行为。为了使科学界能够成功地扩展他们的应用程序，并利用exascale系统的能力，我们需要软件策略，提供明确的管理机制，在系统中的错误，除了在未来的HPC系统的复杂存储层次结构的引用的局部性。在之前的工作中，我们引入了明确可靠的记忆区域的概念，称为避风港。使用避风港的存储管理通过基于区域的存储分配方法支持可靠性管理。避风港可以创建强大的内存区域，其弹性行为由基于软件的保护方案保证。在本文中，我们提出了语言支持避风港，通过类型注释，使一个程序的避风港的结构更加明确和方便的HPC程序员使用。我们描述了如何实现扩展的基于港口的存储管理模型，并演示了使用基于语言的注释来影响共轭梯度求解器应用程序的弹性。
2016-11-23 cs.DC cs.PL cs.SE
Still Unsolved High-Performance Computing Challenges for up to Pre-Petascale Homogeneous Supercomputers
根据HPLinpack基准测试，兆兆级前的高性能计算机（HPC）的实际性能可以达到400 Pflop/s以上。对于纳米科学和量子生物学来说，要求那些基于量子物理算法的程序代码难以理想地并行化。这样的并行代码在万亿级性能集群上达到了它们的极限。标准的Amdahl定律对代码并行化的建议使并行代码开发的下一步的重点和计划变得复杂。在这份报告中，我们集中在三个关键的应用领域，这是高度并行化：HPC基准，量子计算模拟器和汽车Parinello分子动力学。根据计算结果，我们总结了Amdahl定律和并行加速比的性能成就与超级计算机与前千万亿次同构HPC硬件。我们得出结论，作为一个通用的计算机，前千万亿次超级计算性能同构硬件仍然有基本的挑战，必须解决的研究人员或开发人员，以有效地使用它们。
2022-10-03 cs.DC physics.comp-ph
A Scalable Pattern Mining Workflow for Interpretable Machine Log Analysis in High-Performance Computing Environments
Argonne National Laboratory（阿贡国家实验室）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
研究高性能计算环境中机器日志分析问题，结合先进模式匹配与挖掘技术，利用系统层次结构和消息优先级提取模式序列，关联聚类错误序列与作业日志，经案例研究证明该方法可释放日志数据潜力，助力HPC系统优化。
2026-07-22 cs.DC
Anomaly Detection in High Performance Computers: A Vicinity Perspective
Technische Universität Dresden（德累斯顿工业大学）；University of Basel（巴塞尔大学）
为了响应对更高计算能力的需求，高性能计算机（HPC）中的计算节点的数量迅速增加。Exascale HPC系统预计将于2020年推出。随着HPC系统组件数量的急剧增加，预计会观察到故障数量的突然增加，从而对HPC系统的连续操作构成威胁。尽可能早地检测故障，并在理想情况下预测故障，是避免HPC系统运行中断的必要步骤。异常检测是计算系统中用于故障检测的公知通用方法。大多数现有方法是针对特定架构设计的，需要对计算系统硬件和软件进行调整，需要过多的信息，或者对用户和系统的隐私构成威胁。本文提出了一种基于邻域统计异常检测方法的节点故障检测机制，该方法使用被动收集和匿名化的系统日志条目。应用所提出的方法收集超过8个月的系统日志表明异常检测精度在62%至81%之间。
2019-06-11 cs.CV cs.DC cs.SY
Optimization of hybrid parallel application execution in heterogeneous high performance computing systems considering execution time and power consumption
许多重要的计算问题需要利用高性能计算（HPC）系统，所述高性能计算（HPC）系统由组合越来越多数量的具有各种特性的设备的多级结构组成。利用这样的系统的全部功率需要编程在两个意义上混合的并行应用：它们可以同时在多个级别上利用并行性并且将专用于各种类型的计算设备的编程接口组合在一起。并行处理的主要目标是提高处理性能，从而减少应用程序的执行时间。国际HPC社区的目标是到2020年开发“Exascale”超级计算机（能够维持每秒$10^{18}$浮点运算）。实现该目标的主要障碍之一是计算系统的功耗超过能量供应限制。考虑到这一标准的新的编程模型和算法是实现这一目标需要取得重大进展的关键领域之一。本论文的目标是提取一个通用模型的混合并行应用程序执行在异构HPC系统，这是一个现有的具体方法的合成，并开发一种优化方法，这种执行旨在最大限度地减少应用程序的执行时间和功耗的矛盾目标所利用的计算硬件。这两种意义的应用程序的混合性的执行参数的非平凡的相互依赖性和所考虑的优化标准的影响的多重性的结果。应用程序进程在计算设备上的映射也对这些标准产生重大影响。
2018-09-20 cs.DC
Rolex: Resilience-Oriented Language Extensions for Extreme-Scale Systems
未来的亿级高性能计算（HPC）系统将由VLSI设备构建，这些设备的可靠性将低于今天使用的设备，故障将成为常态，而不是例外。这将给系统设计师和程序员带来重大问题，半个世纪以来，他们一直享受着由底层计算系统承担正确行为的执行模型。系统的平均故障前时间（MTTF）与系统中的组件的数量成反比，因此，随着系统在所使用的处理器核和存储器模块的数量方面的扩展，故障和所导致的系统级故障将增加。然而，检测到的每个错误不一定会导致灾难性的故障。许多HPC应用程序具有固有的故障恢复能力。然而，正是应用程序员拥有这些知识，但缺乏将其传达给系统的机制。在本文中，我们提出了新的弹性导向的语言扩展（劳力士），便于纳入故障恢复作为一个内在属性的应用程序代码。我们描述的语法和语义的语言扩展，以及支持编译器的基础设施和运行时系统的实现。我们的实验表明，一种方法，利用程序员的洞察力，原因的上下文和意义的故障的应用程序的结果显着提高了概率，应用程序运行到一个成功的结论。
2016-05-23 cs.DC
Next-generation HPC models for future rotorcraft applications
旋翼机技术对数值计算提出了巨大的科学和工业挑战。随着可用的计算资源接近百万亿级，更精细的尺度，因此更准确的模拟工程测试用例变得容易。然而，在新硬件上转移传统工作流并优化现有软件的并行效率和可扩展性通常是非常苛刻的。本文报告了采用Leonardo S.p.A.上的T106 A低压涡轮（LPT）叶片几何形状进行CFD和结构动力学模拟的初步结果。的davinci-1高性能计算（HPC）设施。商业软件包Ansys Fluent，STAR-CCM+和ABAQUS，以及开源科学计算框架PyFR的解决方案和可扩展性的时间进行了评估。在可压缩流体流动的直接数值模拟中，发现使用PyFR获得的归一化时间解值比使用Fluent和STAR-CCM+获得的值小8倍。研究结果扩展到不可压缩的情况下。所有型号在多达48个计算节点上进行的测试中都提供了弱扩展和强扩展，每个节点都有4个Nvidia A100 GPU。在使用ABAQUS进行的线弹性模拟中，迭代求解器和直接求解器在初步缩放测试中都提供了加速，迭代求解器在求解时间和内存使用方面优于直接求解器。这些结果首次表明了HPC架构在通过模拟验证工程应用方面的潜力，也是公司在旋翼机技术领域使用尖端HPC工具包的第一步。
2022-07-05 cs.DC cs.NA math.NA
Multi-GPU Hybrid Particle-in-Cell Monte Carlo Simulations for Exascale Computing Systems
KTH Royal Institute of Technology（皇家理工学院）；Max Planck Institute for Plasma Physics（马克斯·普朗克等离子体物理研究所）；Faculty of Mechanical Engineering, University of Ljubljana（卢布尔雅那大学机械工程学院）；Max Planck Computing and Data Facility（马克斯·普朗克计算与数据中心）；Institute of Plasma Physics of the CAS（捷克科学院等离子体物理研究所）；University of Oregon（俄勒冈大学）
本文提出一种多GPU混合MPI+OpenMP实现，通过OpenMP目标任务重叠计算与通信，提升异构HPC系统中PIC蒙特卡洛模拟的可扩展性与效率。
2026-06-08 cs.DC cs.PF physics.plasm-ph
Exploring Uncore Frequency Scaling for Heterogeneous Computing
本文针对异构CPU-GPU系统中GPU主导负载下非核心频率无法有效降低导致功耗浪费的问题，提出用户透明的运行时MAGUS，通过内存吞吐量预测与相位管理实现最高27%节能和26% EDP降低。
2025-02-06 cs.DC
accelerating wrf i/o performance with adios2 and network-based streaming
本文提出将ADIOS2并行I/O框架集成到WRF中，通过流式传输、突发缓冲区和无损压缩等技术，使I/O性能较传统MPI-I/O提升十倍以上，并显著缩短整体求解时间。
2023-04-13 cs.DC
System-level Scalable Checkpoint-Restart for Petascale Computing
对于即将到来的兆兆级的容错一直是一个活跃的研究领域。容错策略的组成部分之一是检查点。Petascale级别的检查点是通过一种新的机制来演示的，该机制用于虚拟化InfiniBand UD（不可靠数据报）模式，并用于在每个基于UD的发送上更新远程地址，因为缺乏固定的对等体。请注意，需要InfiniBand UD来支持现代MPI实现。从目前的结果到未来的SSD存储系统的外推提供了证据，目前的方法将保持实用的艾级一代。这种透明的检查点方法使用DMTCP检查点包的框架进行评估。结果显示为HPCG（线性代数），NAMD（分子动力学），和NAS NPB基准。在32，752个CPU内核上测试了多达32，752个MPI进程，演示了在11分钟内使用38 TB内存占用进行计算的检查点操作。将系统开销降低到1%以下。该方法还评估了三个广泛使用的MPI实现。
2016-09-24 cs.DC cs.OS
Accelerating MPI Collectives with Process-in-Process-based Multi-object Techniques
针对HPC中MPI集合通信的性能瓶颈，提出基于Process-in-Process共享内存的PiP-MColl设计，消除系统调用与数据复制开销，在多种消息大小上较主流MPI库性能提升达4.6倍。
2023-05-17 cs.DC
mdspan in C++: A Case Study in the Integration of Performance Portable Features into International Language Standards
多维数组在高性能计算（HPC）中无处不在，但它们在C++语言标准中的缺失是其用于HPC的长期和众所周知的限制。本文描述了mdspan的设计和实现，mdspan是一个建议的C++标准多维数组视图（计划包含在C++23中）。该提案在很大程度上受到Kokkos项目中所做工作的启发，Kokkos项目是许多HPC机构部署的C++性能可移植编程模型，用于为exascale级超级计算系统准备代码库。本文描述了mdspan的最终设计，经过五年的过程，在C++社区达成共识。特别是，我们将阐述该设计如何解决性能可移植编程的一些核心挑战，以及其定制点如何允许无缝扩展到目前C++标准未解决的领域，但在当今系统的异构计算世界中至关重要。最后，我们提供了当前形式的提案的生产质量实现。这项工作包括几个基准，旨在展示现代设计的零开销性质的实现。
2020-10-13 cs.DC cs.PL
Challenges in Automatic Software Optimization: the Energy Efficiency Case
本文以能源效率为例，探讨自动软件优化面临的挑战，指出能源感知代码的必要性，并提出未来在两种粒度上进行能源优化的研究方向。
2023-05-10 cs.DC
Optimization and Portability of a Fusion OpenACC-based FORTRAN HPC Code from NVIDIA to AMD GPUs
本文介绍了将基于 FORTRAN 和 OpenACC 的融合模拟工具 CGYRO 从 NVIDIA 移植到 AMD GPU 的经验，通过针对 AMD 的代码优化使其达到预期性能，并在 NVIDIA GPU 上获得了意外的速度提升。
2023-05-17 cs.DC cs.PF physics.plasm-ph
Workflows Community Summit 2024: Future Trends and Challenges in Scientific Workflows
本文总结了2024年工作流社区峰会成果，围绕时间敏感工作流、AI-HPC融合、多设施协作、异构环境、用户体验和FAIR工作流六大方向，提出标准化指标、云-HPC集成框架、分布式建模、多设施认证及AI加速管理等关键建议。
2024-10-19 cs.DC
A Survey of Methods for Collective Communication Optimization and Tuning
HPC技术在多核/多核处理器、高带宽存储器/IO子系统和通信互连方面的新发展对软件和运行时系统开发产生了直接影响。这些进步在生产高性能集体通信接口方面变得非常有用，这些接口可以在各种平台和环境上有效集成。然而，随着每种新技术或软件框架出现的优化选项的数量已经导致特征空间中的\emph{combinatorial explosion}用于调整集体参数，使得找到最优集合已经成为几乎不可能的任务。可用于优化集体通信的算法选择的适用性在很大程度上取决于特定用例的可扩展性要求。这个问题可能会进一步恶化的任何要求运行集体问题在非常大的规模，如在exascale计算的情况下，在不切实际的调整通过蛮力可能需要许多个月的资源。因此，统计、数据采掘和人工智能或更一般的混合学习模型的应用在许多集体参数优化问题中显得至关重要。我们希望探索当前和最前沿的集体通信优化和调优方法，并最终解决这个问题的未来可能的方向。
2016-11-19 cs.DC
THAPI: Tracing Heterogeneous APIs
本文提出 THAPI，一个可移植、以编程模型为中心的追踪框架，通过捕获 HPC 软件栈各层全面的 API 调用细节，实现对异构硬件上多层编程模型交互的细粒度分析，用于性能瓶颈诊断、应用行为优化和编程模型实现调试。
2025-04-14 cs.DC cs.PF
