PETSc/TAO Developments for GPU-Based Early Exascale Systems
本文介绍了PETSc/TAO库为支持早期百亿亿次GPU系统在GPU后端、设备端矩阵组装、异步性与通信基础设施等方面的开发，并在Frontier和Aurora等系统上验证了其性能可移植性。
2024-11-14 cs.DC cs.MS
Enhancing Performance Insight at Scale: A Heterogeneous Framework for Exascale Diagnostics
Rice University（莱斯大学）
本文提出一种异构框架，利用高性能C++API和GPU并行计算，实现高吞吐量诊断，展示了在Aurora上对10万个MPI进程的快速处理及314倍的加速效果。
2026-05-09 cs.DC cs.PF
Characterizing GPU Energy Usage in Exascale-Ready Portable Science Applications
Oak Ridge National Laboratory（橡树岭国家实验室）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, Davis（加州大学戴维斯分校）
本文研究了适用于exascale的便携式科学应用中GPU能耗的特征，通过混合精度基准测试分析了QMCPACK和AMReXCastro的能耗与性能权衡，发现混合精度可节省6-45%的能耗。
2025-11-26 cs.CE cs.DC cs.PF
Multi-GPU Hybrid Particle-in-Cell Monte Carlo Simulations for Exascale Computing Systems
KTH Royal Institute of Technology（皇家理工学院）；Max Planck Institute for Plasma Physics（马克斯·普朗克等离子体物理研究所）；Faculty of Mechanical Engineering, University of Ljubljana（卢布尔雅那大学机械工程学院）；Max Planck Computing and Data Facility（马克斯·普朗克计算与数据中心）；Institute of Plasma Physics of the CAS（捷克科学院等离子体物理研究所）；University of Oregon（俄勒冈大学）
本文提出一种多GPU混合MPI+OpenMP实现，通过OpenMP目标任务重叠计算与通信，提升异构HPC系统中PIC蒙特卡洛模拟的可扩展性与效率。
2026-06-08 cs.DC cs.PF physics.plasm-ph
Running a Pre-Exascale, Geographically Distributed, Multi-Cloud Scientific Simulation
当我们接近Exascale时代时，重要的是要验证现有的框架和工具仍然可以在该规模下工作。此外，公共云计算已经成为原型设计和紧急计算的可行解决方案。利用云的弹性，我们因此建立了一个用于在云中运行科学模拟的前exascale HTCondor设置，所选应用程序是IceCube的光子传播模拟。也就是说，这不是一个纯粹的演示运行，但它也被用来为IceCube合作产生有价值和急需的科学成果。为了达到所需的规模，我们将来自Amazon Web Services、Microsoft Azure和Google Cloud Platform的许多地理区域的8种GPU型号的GPU资源进行了聚合。使用这种设置，我们达到了超过51k GPU的峰值，对应于近380个PFLOP32，总集成计算约为100k GPU小时。在本文中，我们提供了设置的描述，发现和克服的问题，以及演习的实际科学输出的简短描述。
2020-02-16 cs.DC
A Massive Data Parallel Computational Framework for Petascale/Exascale Hybrid Computer Systems
异构系统在高性能计算（HPC）系统上变得越来越普遍。即使使用像CUDA和OpenCL这样的工具，在GPU上获得最佳性能也是一项重要的任务。简化此任务的方法包括Merge（用于异构多核系统的基于库的框架），Zippy（用于在多个GPU上并行执行代码的框架），BSGP（用于GPU上通用计算的新程序设计语言）和CUDA-lite（基于注释转换代码的CUDA增强）。此外，正在努力改进编译器工具，以实现GPU仿射循环嵌套的自动并行化和优化，以及将OpenMP并行代码自动转换为CUDA。在本文中，我们提出了一种替代方法：一个新的计算框架的大规模数据的并行科学代码的应用程序，适用于这样的千万亿次/亿亿次混合动力系统的高度可扩展的仙人掌框架的发展。作为其实用性的第一个非平凡的演示，我们成功地开发了一个新的3D CFD代码，实现了改进的性能。
2012-01-10 cs.DC
Fine-Grained Power and Energy Attribution on AMD GPU/APU-Based Exascale Nodes
University of Tennessee（田纳西大学）；Hewlett Packard Enterprise (HPE)（惠普企业）；Advanced Micro Devices, Inc.（超威半导体）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出了一种方法，通过控制的正方形波工作负载量化更新间隔、延迟、混叠和变异性，以归因于短生命周期加速器活动的功率和能耗。
2026-04-09 cs.AR cs.DC
Optimizing High Performance Markov Clustering for Pre-Exascale Architectures
HipMCL是流行的马尔可夫聚类算法（MCL）的高性能分布式内存实现，可以使用几千个配备CPU的节点在数小时内对大规模网络进行聚类。它依赖于稀疏矩阵计算，并大量使用稀疏矩阵-稀疏矩阵乘法内核（SpGEMM）。HipMCL中现有的并行算法不能扩展到Exascale架构，这既是因为它们的通信成本在大并发时占主导地位，也是因为它们无法利用越来越受欢迎的加速器。在这项工作中，我们系统地消除HipMCL的可扩展性和性能瓶颈。我们通过在GPU上执行MCL算法的昂贵扩展阶段来启用GPU。我们提出了一个CPU-GPU联合分布式SpGEMM算法称为流水线稀疏SUMMA和集成的概率内存需求估计，是快速和准确的。我们提出了一种新的合并算法，对GPU产生的部分结果进行增量处理，提高了重叠效率和峰值内存使用率。我们还集成了一个最近的和更快的算法在CPU上执行SpGEMM。我们通过广泛的评估来验证我们的新算法和优化。通过启用GPU和集成新算法，HipMCL的速度提高了12.4倍，能够使用ORNL的Summit超级计算机的1024个节点在不到15分钟的时间内将7000万蛋白质和680亿个连接的网络集群化。
2020-02-24 cs.DC
Accelerating X-Ray Tracing for Exascale Systems using Kokkos
即将推出的exascale计算系统Frontier和Aurora将从GPU加速器中汲取大部分计算能力。这些系统的硬件将分别由AMD和英特尔提供，各自支持自己的GPU编程模型。对于利用这些兆级系统之一的应用程序来说，挑战将是避免锁定并保持性能可移植性。我们在这里报告了使用Kokkos在NERSC的Perlmutter Phase 1（使用NVIDIA A100加速器）和OLCF的Frontier测试平台系统（使用AMD MI250 X）上加速实际应用程序的结果。通过移植到Kokkos，我们能够在两个系统上成功运行相同的X-光线追踪代码，与原始CUDA代码相比，速度提高了13%到66%。这些结果是使用Kokkos加速生产科学代码的一个非常令人鼓舞的演示。
2022-05-16 cs.DC
HPL and HPL-MxP at Exascale on Aurora: Performance Engineering and Characterization
Intel Corporation（英特尔公司）；Argonne National Laboratory（阿贡国家实验室）
本文通过Aurora上的HPL和HPL-MxP测试，探讨了维持exascale性能所需的关键工程决策和操作实践，展示了混合精度计算和Intel AMX加速对性能提升的影响。
2026-09-25 cs.DC
Universal Quantum Computer Simulation of 50 Qubits on Europe`s First Exascale Supercomputer Harnessing Its Heterogeneous CPU-GPU Architecture
Jülich Supercomputing Centre, Forschungzentrum Jülich（于利希超级计算中心，于利希研究中心）；NVIDIA（英伟达）
本文提出了一种新的高性能通用量子计算机模拟器JUQCS-50，利用GH200超级芯片的关键特性，在欧洲首个exascale超级计算机上实现了50个量子比特的通用量子计算机模拟，通过三个创新方法实现了16.6倍的速度提升。
2026-05-20 cs.DC physics.comp-ph quant-ph
Scalable CP Decomposition for Tensor Learning using GPU Tensor Cores
University of Rochester（罗切斯特大学）；Huazhong University of Science and Technology（华中科技大学）
提出基于压缩的 Exascale-Tensor 张量分解框架，利用固有并行性提升计算效率，支持百亿亿级张量分解，规模扩大 8,000 倍且加速达 6.95 倍，并在基因分析和神经网络中验证其有效性。
2023-11-22 cs.AI cs.DC cs.LG
Power-Capping Metric Evaluation for Improving Energy Efficiency in HPC Applications
本文针对百亿亿次高性能计算，利用NVIDIA GH200架构探索集成CPU-GPU功率限制优化，通过加速比-能耗-延迟和欧几里得多目标方法评估，发现动态功率调整可显著提升应用能效。
2025-06-24 cs.CE cs.DC cs.PF
Measurement and Analysis of GPU-accelerated Applications with HPCToolkit
为了应对美国能源部即将推出的百万兆级超级计算机性能分析的挑战，莱斯大学一直在扩展其HPCToolkit性能工具，以支持GPU加速应用程序的测量和分析。为了帮助开发人员从整体上了解加速应用程序的性能，HPCToolkit的测量和分析工具将指标归因于跨CPU和GPU的调用上下文。为了有效地测量GPU加速的应用程序，HPCToolkit采用了一种新颖的无等待数据结构来协调GPU性能的监控和归因。为了帮助开发人员了解从高级编程模型生成的复杂GPU代码的性能，HPCToolkit为GPU计算构建了复杂的调用路径配置文件近似值。为了支持细粒度的分析和调优，HPCToolkit使用PC采样和检测来测量GPU性能指标，并将其归因于源代码行、循环和内联代码。为了补充细粒度测量，HPCToolkit可以使用硬件性能计数器测量GPU内核执行。为了提供一个执行如何随时间演变的视图，HPCToolkit可以收集、分析和可视化节点内和节点间的调用路径跟踪。最后，在NVIDIA GPU上，HPCToolkit可以根据使用GPU PC样本的测量结果导出并归属一系列有用的性能指标。我们说明了HPCToolkit的新功能，分析GPU加速的应用程序开发的Exascale计算项目的一部分，与几个代码。
2021-09-14 cs.DC
Simulating the weak death of the neutron in a femtoscale universe with near-Exascale computing
被称为量子色动力学（QCD）的基本粒子理论决定了质子和中子的一切，从它们的内在属性到将它们结合成原子核的相互作用。无法通过实验完全解决的问题，例如中子寿命（其精确值对于使太阳发光和生命成为可能的光原子元素的存在很重要），可以通过QCD的数值解来理解。我们用格点规范理论直接求解QCD，并计算了中子寿命等核观测量。我们已经开发了一种改进的算法，指数减少的时间解决方案，并将其应用于新的珊瑚超级计算机，塞拉利昂和首脑会议。我们使用运行时自动调优来分配GPU资源，在低节点数下实现20%的性能。我们还通过作业管理器开发了最佳应用程序映射，允许CPU和GPU作业交错，当部署在CORAL的大部分区域时，可获得15%的峰值性能。
2018-10-10 cs.DC hep-lat nucl-th
Methodology for GPU Frequency Switching Latency Measurement
本文提出一种系统测量GPU频率切换延迟的方法，通过人工迭代工作负载和统计过滤，在GH200、A100和RTX Quadro 6000上揭示显著差异，为能效运行时系统设计提供关键依据。
2025-02-27 cs.DC
Aurora: Architecting Argonne's First Exascale Supercomputer for Accelerated Scientific Discovery
Aurora 是阿贡国家实验室为加速科学发现而构建的首台 exascale 超级计算机，采用前沿架构创新，集成了新型存储解决方案和 oneAPI 编程环境。
2025-12-08 cs.AR cs.CE cs.DC
HPDR: High-Performance Portable Scientific Data Reduction Framework
本文提出高性能可移植数据缩减框架 HPDR，通过支持多处理器架构并优化内存传输与多 GPU 扩展，在 Frontier 超算上实现 103 TB/s 吞吐量和最高 4 倍并行 I/O 加速。
2025-03-08 cs.DC
MSREP: A Fast yet Light Sparse Matrix Framework for Multi-GPU Systems
稀疏线性代数内核在许多应用中发挥着关键作用，涵盖了从exascale科学模拟到大规模数据分析。在这些应用程序中，将线性代数内核卸载到一个GPU上将不再可行，因为快速增长的数据量可能会超过单个GPU的内存容量和计算能力。目前，多GPU系统在超级计算机和数据中心中无处不在，在扩展大型稀疏线性代数内核方面具有巨大的潜力。在这项工作中，我们设计了一个新的稀疏矩阵表示框架的多GPU系统称为MSREP，规模稀疏线性代数运算的基础上，我们的增强稀疏矩阵格式的平衡模式。与密集运算不同，稀疏性显著加剧了以平衡方式在多个GPU之间分配计算工作量的难度。我们增强了三种主流的稀疏数据格式-- CSR、CSC和COO，以实现细粒度的数据分发。我们以稀疏矩阵向量乘法（SpMV）为例，以证明我们的MSREP框架的效率。此外，MSREP可以容易地扩展以支持基于三种基本格式的其他稀疏线性代数内核（即，CSR、CSC和COO）。
2022-09-15 cs.DC
Heterogeneous CPU/GPU co-execution of CFD simulations on the POWER9 architecture: Application to airplane aerodynamics
高保真计算流体动力学模拟通常与大型计算需求相关联，随着每一代新的超级计算机的出现，这种需求越来越尖锐。然而，需要大量的研究工作来解锁前沿系统的计算能力，目前被称为pre-Exascale系统，基于日益复杂的架构。在本文中，我们提出了在计算力学代码Alya中实现的方法。我们详细描述的并行化策略，充分利用不同层次的并行性，以及一种新的协同执行方法，异构CPU/GPU架构的有效利用。后者是基于多代码协同执行的方法与动态负载均衡机制。所有提出的策略的性能评估已经进行了飞机模拟的POWER 9架构与NVIDIA伏打V100 GPU加速。
2020-07-06 cs.CE cs.DC
Prediction of Performance and Power Consumption of GPGPU Applications
本研究针对GPU应用性能与功耗优化需求，提出基于PTX代码静态分析的CUDA内核执行时间预测模型和机器学习功耗预测模型，并用多维度数据集及配套工具验证了其作为GPU设计辅助工具的有效性。
2023-05-03 cs.DC cs.PF
Harvesting energy consumption on European HPC systems: Sharing Experience from the CEEC project
Friedrich-Alexander-University（弗里德里希·阿列克桑德大学）；University of Stuttgart（斯图加特大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Uppsala University（乌普萨拉大学）
本文分享了CEEC项目在测量和优化欧洲主要HPC系统能耗方面的经验，通过CFD应用案例研究评估了不同架构的能耗与时间指标，并强调了加速器和混合精度技术在降低能耗中的优势。
2025-11-04 cs.DC
A Comparison of the Performance of the Molecular Dynamics Simulation Package GROMACS Implemented in the SYCL and CUDA Programming Models
本文针对多种标准GROMACS基准，在P100、V100和A100三种Nvidia GPU上比较SYCL与CUDA版本GROMACS的性能，以评估跨厂商异构编程模型。
2024-06-14 cs.DC cs.PF
Exploring Uncore Frequency Scaling for Heterogeneous Computing
本文针对异构CPU-GPU系统中GPU主导负载下非核心频率无法有效降低导致功耗浪费的问题，提出用户透明的运行时MAGUS，通过内存吞吐量预测与相位管理实现最高27%节能和26% EDP降低。
2025-02-06 cs.DC
Auto-SpMV: Automated Optimizing SpMV Kernels on GPU
稀疏矩阵向量乘法（SpMV）是一种基本的线性代数运算，在许多科学应用中占主导地位的计算成本。由于GPU提供了大规模并行性和高内存带宽，因此通常用于加速SpMV内核。以前的研究主要集中在减少GPU上的SpMV内核的延迟。然而，很少有人尝试提高SpMV内核的能效，导致GPU被排除在低功耗应用范围之外。此外，先前的工作主要集中在优化SpMV内核的稀疏格式上，文献忽略了评估调整编译参数的影响。最后，很少注意准备运行SpMV内核的综合训练数据集和微调学习超参数。为了解决这些限制，我们提出了一个新的框架，称为Auto-SpMV，使GPU上的节能和低延迟的SpMV内核。为了达到最佳的运行时间性能，Auto-SpMV提出了两种优化模式：编译时和运行时。在编译时模式下，Auto-SpMV调整编译参数，而在运行时模式下，Auto-SpMV为稀疏输入矩阵选择最佳稀疏格式。为了获得最佳的分类结果，1）我们收集了有史以来最大的数据集，其中包含30个不同的稀疏矩阵，运行超过15 K个不同的配置，2）我们通过自动微调学习超参数来提升分类模型。实验结果表明，与默认设置相比，Auto-SpMV在编译时模式下将延迟、能耗、平均功耗和能效分别优化了51.9%、52%、33.2%和53%。与默认设置相比，Auto-SpMV可在运行时模式下将平均功耗和能效分别优化高达34.6%和99.7%。
2023-02-11 cs.DC
