Optimizing Communication for Latency Sensitive HPC Applications on up to 48 FPGAs Using ACCL
本文研究FPGA上通信性能与资源消耗的权衡，通过合成基准评估ACCL配置对延迟和吞吐量的影响，并实现浅水模拟，在48个FPGA上展示了良好的低延迟扩展性能。
2024-04-07 cs.AR cs.DC
Power Redistribution for Optimizing Performance in MPI Clusters
功率效率近来已成为高性能计算领域中的主要关注点。HPC中心由影响执行时间的功率限制提供。自然地，在功率效率和计算效率之间出现折衷。本文解决了MPI应用程序的性能优化问题，其中功率界假设。本文公开了使用MPI利用集群并行的HPC应用程序的子集，其中节点遇到多个同步点并表现出节点间的依赖性。我们将这种结构抽象成一个依赖图，并利用不同节点上的并行作业执行时间的不对称性，通过将空闲阻塞节点获得的功率重新分配给工作滞后的节点。我们介绍了一种基于整数线性规划（ILP）的最优功率分配算法，最大限度地减少总的执行时间，同时保持一个上限的功率解决方案。然后，我们提出了一个在线的启发式，动态重新分配权力在运行时间。启发式显示显着减少了一组并行基准的总执行时间，加速高达2.25倍。
2014-10-24 cs.DC
Harvesting energy consumption on European HPC systems: Sharing Experience from the CEEC project
Friedrich-Alexander-University（弗里德里希·阿列克桑德大学）；University of Stuttgart（斯图加特大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Uppsala University（乌普萨拉大学）
本文分享了CEEC项目在测量和优化欧洲主要HPC系统能耗方面的经验，通过CFD应用案例研究评估了不同架构的能耗与时间指标，并强调了加速器和混合精度技术在降低能耗中的优势。
2025-11-04 cs.DC
Optimizing edge AI models on HPC systems with the edge in the loop
Jülich Supercomputing Centre, Jülich, Germany（耶拿超级计算中心）；ProductionS core lab, Flanders Make, Lommel/Leuven, Belgium（生产核心实验室，弗拉芒制造）
本研究提出一种硬件感知的神经架构搜索方法，通过结合比利时边缘设备与德国HPC系统，加速架构候选训练并提升模型质量与推理速度。
2025-05-26 cs.CV cs.DC
Driving Computational Efficiency in Large-Scale Platforms using HPC Technologies
Universidad Industrial de Santander（桑坦德工业大学）；Centre for Energy, Environmental and Technological Research (CIEMAT)（能源、环境与技术研究中心）；LIG/INRIA DataMove（格勒诺布尔信息与自动化实验室/法国国家信息与自动化研究所数据移动项目）；CITI/INRIA SiNDY（信息交叉技术研究中心/法国国家信息与自动化研究所SiNDY项目）
本文通过分析LAGO项目中HPC资源利用效率，揭示了粗粒度任务并行模型下的资源消耗模式，并提出优化资源请求和工作流管理策略以提升计算效率。
2026-01-19 cs.DC
HPCClusterScape: Increasing Transparency and Efficiency of Shared High-Performance Computing Clusters for Large-scale AI Models
本文提出HPCClusterScape可视化系统，通过系统级和应用级信息监控及诊断工具，提升共享HPC集群对大规模AI模型的透明度和资源利用效率。
2023-12-21 cs.DC cs.HC
Optimizing CNN Model Inference on CPUs
卷积神经网络（CNN）模型的流行和CPU的普及意味着CPU上CNN模型推理的更好性能可以为大量用户提供显著的收益。为了提高CPU上CNN推理的性能，目前的方法（如MXNet和Intel OpenVINO）通常将模型视为图，并使用Intel MKL-DNN等高性能库来实现图的操作。虽然在来自现成库的各个操作上实现了合理的性能，但该解决方案使得在图级别进行优化变得不灵活，因为本地操作级别优化是预定义的。因此，它是限制性的，并且错过了整体优化端到端推理流水线的机会。本文介绍了\emph{NeoCPU}，一种在CPU上进行CNN模型推理的综合方法，它采用了全栈和系统的优化方案。\emph{NeoCPU}将操作作为模板进行优化，而不依赖于第三方库，这使得通过操作级和图级联合优化进一步提高性能。实验表明，\emph{NeoCPU}实现了高达3.45 $\times$更低的延迟CNN模型推理比目前最先进的各种流行的CPU上的实现。
2019-07-05 cs.DC
Optimizing Hardware Resource Partitioning and Job Allocations on Modern GPUs under Power Caps
本文面向功耗受限 HPC，结合现代 GPU 的硬件分区与功耗封顶机制，基于可扩展性和干扰建模联合优化芯片分区、作业分配及功耗配置，从而在多类工作负载下获得近优方案。
2024-05-06 cs.DC
MMStencil: Optimizing High-order Stencils on Multicore CPU using Matrix Unit
MMStencil针对多核CPU矩阵单元优化3D高阶模板计算，通过SIMD与矩阵单元算法优化、内存优化及多线程并行范式，结合DMA跨NUMA通信，在Nvidia A100 GPGPU上最高实现2.1倍性能提升，并使RTM应用加速1.8倍。
2025-07-15 cs.DC
Wattlytics: A Web Platform for Co-Optimizing Performance, Energy, and TCO in HPC Clusters
Department of Computer Science, Friedrich-Alexander-Universität（弗里德里希-亚历山大大学计算机系）
Wattlyics通过整合GPU性能缩放、DVFS功率建模和TCO分析，提供一个交互式平台，帮助用户在不确定条件下进行HPC集群设计和采购决策。
2026-10-16 cs.AR cs.DC cs.ET
Parallel I/O Characterization and Optimization on Large-Scale HPC Systems: A 360-Degree Survey
本文调研了131篇论文，以分类法形式系统综述了大规模HPC系统并行I/O表征、分析与优化方法，旨在为提升HPC应用I/O性能提供参考资源。
2024-12-31 cs.DC cs.PF
Optimizing performance per watt on GPUs in High Performance Computing: temperature, frequency and voltage effects
大型射电天文天线阵所面临的实时数字信号处理的巨大挑战促使人们使用高性能计算系统。远程观测站对高能效（每瓦性能）的需求与HPC中的需求大致相同，其中效率是一个新兴的关键指标。我们研究了图形处理单元（GPU）的每瓦性能如何受到温度，核心时钟频率和电压的影响。我们的研究结果突出了管理晶体管操作的基本物理过程如何影响功率效率。特别是，我们的实验表明，GPU的功耗与温度和电源电压的非线性增长，预测的物理晶体管模型。我们发现，在运行xGPU（射电天文学中使用的计算密集型代码）时，降低GPU电源电压并提高时钟频率，同时保持较低的芯片温度，可使NVIDIA K20 GPU的能效比默认设置提高37-48%。我们将讨论如何使用温度感知功耗模型来降低未来HPC安装的功耗。自动温度感知和应用相关的电压和频率缩放（T-DVFS和A-DVFS）可以提供一种机制，以针对在GPU上运行的更宽范围的代码实现更好的功率效率
2015-10-20 astro-ph.IM cs.DC
Efficient Generation of Parallel Spin-images Using Dynamic Loop Scheduling
高性能计算（HPC）系统在其处理能力方面经历了显著的增长。现代HPC系统结合了大量的同构和异构计算资源。因此，可扩展性是科学应用的一个重要方面，以有效地利用现代HPC系统的大规模并行性。这项工作介绍了一个有效的版本的并行自旋图像算法（PSIA），称为EPSIA。PSIA是自旋图像算法（SIA）的并行版本。（P）SIA被用于各种领域，诸如3D对象识别、分类和3D面部识别。EPSIA是指PSIA的扩展版本，它集成了各种众所周知的动态循环调度（DLS）技术。目前的工作：（1）提出了一种新的灵活的PSIA版本EPSIA;（2）展示了应用DLS技术优化PSIA性能的好处;（3）通过进行几个可扩展性实验来评估所提出的EPSIA的性能。性能结果是有希望的，并表明，使用众所周知的DLS技术，性能的EPSIA优于性能的PSIA的一个因素为1.2和2的同构和异构的计算资源，分别。
2018-11-02 cs.DC
Prediction of High-Performance Computing Input/Output Variability and Its Application to Optimization for System Configurations
性能可变性是衡量高性能计算系统可靠性的重要指标。性能可变性受到许多因素之间复杂交互的影响，例如CPU频率、输入/输出（IO）线程数和IO调度程序。在本文中，我们专注于HPC IO可变性。预测HPC的可变性是一个具有挑战性的问题，在工程的HPC系统，有很少的统计工作，这个问题的日期。虽然有许多方法可在计算机实验文献中，现有的方法HPC性能变化的适用性需要调查，特别是，当目标是预测性能变化的内插和外推设置。一个数据分析框架的开发，从大规模的实验收集的数据建模。各种有前途的方法被用来建立预测模型的变化HPC系统。我们通过测量预测精度在以前看不见的系统配置的方法的性能进行评估。我们还讨论了优化系统配置的方法，使用估计的变异图。本文中的方法比较和开发的工具集的结果产生了新的见解现有的统计方法，可以是有益的HPC变异性管理的实践。本文在线提供补充材料。
2020-12-14 cs.DC stat.AP
Optimizing Semiconductor Device Simulations through Low-Precision Arithmetic
D-ITET, ETH Zurich（苏黎世联邦理工学院电子信息与电气工程系）
本文研究在GPU架构变化下，使用低精度算术加速半导体器件模拟，通过分析开源量子输运求解器quatrex的数值稳定性，在保持精度的同时实现高达51%的吞吐量提升，并节省40%的HPC资源。
2026-06-25 cs.CE cs.DC
Optimizing the Whole-life Cost in End-to-end CNN Acceleration
University of Florida（佛罗里达大学）
自CNN在计算机视觉领域取得成功以来，其加速问题受到越来越多的关注。由于卷积层的加速器无法处理异构的功能层，现代端到端CNN加速解决方案要么将各种计算转换为矩阵/向量运算，从而失去卷积中的数据重用机会，要么为每种层引入专用功能单元，从而导致利用不足和高更新费用。为了提高整个生命周期的成本效率，我们需要一种加速解决方案，该解决方案在处理CNN层时是有效的，并且具有适用于各种现有和新兴层的通用性。为此，我们提出了GCONV Chain，一种将整个CNN计算转换为标准通用卷积（GCONV）链的方法，该方法可以由现有的CNN加速器有效地处理。本文全面分析了GCONV Chain模型，并提出了一种支持GCONV Chain的全栈实现。一方面，七种CNN的结果表明，GCONV Chain将现有CNN加速器的性能和能效平均提高了3.4倍和3.2倍。另一方面，我们表明GCONV Chain为CNN加速提供了较低的整个生命周期成本，包括开发人员的努力和用户的总拥有成本。
2021-07-22 cs.DC cs.LG
HPC-Coder: Modeling Parallel Programs using Large Language Models
University of Maryland（马里兰大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对HPC并行程序开发优化难度大的问题，研究构建HPC科学代码数据集，微调得到专用模型HPC-Coder，可实现HPC函数补全、OpenMP制导指令添加及性能变化建模，效果优于通用大模型。
2024-05-14 cs.AI cs.DC
Optimizing Deep Learning Recommender Systems' Training On CPU Cluster Architectures
Intel Technology India Private Ltd.（英特尔技术印度私人有限公司）；Intel Corporation（英特尔公司）；Intel China Co. Ltd.（英特尔中国有限公司）；Intel Russia（英特尔俄罗斯公司）
在过去的两年里，许多研究人员的目标是从HPC系统中挤出最后一点性能来执行AI任务。通常，这种讨论是在如何快速训练ResNet 50的背景下进行的。不幸的是，ResNet 50在2020年不再是一个代表性的工作负载。因此，我们专注于推荐系统，它占了云计算中心的大部分AI周期。更具体地说，我们专注于Facebook的DLRM基准。通过使其能够在为HPC定制的最新CPU硬件和软件上运行，与参考CPU实现相比，我们能够在单个插槽上实现超过两个数量级的性能提升（110倍），以及高达64个插槽的高扩展效率，同时适应超大型数据集。本文讨论了DLRM中的各种运营商的优化技术，以及这些不同的运营商强调系统的组成部分。所提出的技术适用于提出与DLRM相同的缩放挑战/特性的更广泛的DL工作负载集合。
2020-05-10 cs.DC cs.IR cs.LG
LM4HPC: Towards Effective Language Model Application in High-Performance Computing
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Iowa State University（爱荷华州立大学）；Argonne National Laboratory（阿贡国家实验室）
本文提出LM4HPC框架，通过提供兼容Hugging Face的API及多层组件，支持HPC数据集与模型，解决语言模型在高性能计算软件分析优化中缺乏特定支持的问题，实验证明其能快速评估模型并生成排行榜。
2023-06-26 cs.DC cs.LG
Optimizing Memory Efficiency for Deep Convolutional Neural Networks on GPUs
North Carolina State University（北卡罗来纳州立大学）；NEC Labs America（NEC美国实验室）
利用大型数据集，深度卷积神经网络（CNN）实现了最先进的识别精度。然而，由于大量的计算和存储器操作，它们需要大量的执行时间。GPU的大规模并行计算能力使其成为加速CNN的理想平台之一，并且已经开发了许多基于GPU的CNN库。虽然现有的工作主要集中在CNN的计算效率，CNN的内存效率在很大程度上被忽视。然而，CNN具有复杂的数据结构，并且它们的存储器行为可以对性能产生重大影响。在这项工作中，我们研究了各种CNN层的内存效率，并揭示了数据布局和内存访问模式的性能影响。实验表明，我们提出的优化对单层和各种网络的普遍效果，单层高达27.9倍，整个网络高达5.6倍。
2016-10-12 cs.DC cs.LG cs.NE
Next-generation HPC models for future rotorcraft applications
旋翼机技术对数值计算提出了巨大的科学和工业挑战。随着可用的计算资源接近百万亿级，更精细的尺度，因此更准确的模拟工程测试用例变得容易。然而，在新硬件上转移传统工作流并优化现有软件的并行效率和可扩展性通常是非常苛刻的。本文报告了采用Leonardo S.p.A.上的T106 A低压涡轮（LPT）叶片几何形状进行CFD和结构动力学模拟的初步结果。的davinci-1高性能计算（HPC）设施。商业软件包Ansys Fluent，STAR-CCM+和ABAQUS，以及开源科学计算框架PyFR的解决方案和可扩展性的时间进行了评估。在可压缩流体流动的直接数值模拟中，发现使用PyFR获得的归一化时间解值比使用Fluent和STAR-CCM+获得的值小8倍。研究结果扩展到不可压缩的情况下。所有型号在多达48个计算节点上进行的测试中都提供了弱扩展和强扩展，每个节点都有4个Nvidia A100 GPU。在使用ABAQUS进行的线弹性模拟中，迭代求解器和直接求解器在初步缩放测试中都提供了加速，迭代求解器在求解时间和内存使用方面优于直接求解器。这些结果首次表明了HPC架构在通过模拟验证工程应用方面的潜力，也是公司在旋翼机技术领域使用尖端HPC工具包的第一步。
2022-07-05 cs.DC cs.NA math.NA
Data Augmentation and Convolutional Network Architecture Influence on Distributed Learning
Federal University of Viçosa (UFV)（维索萨联邦大学）；Federal University of Uberlândia (UFU)（乌贝兰迪亚联邦大学）；University of Minho (UMINHO)（米尼奥大学）
本研究探讨了数据增强和CNN架构对分布式学习效率的影响，分析了模型精度与计算效率之间的关系，为资源密集型场景下的CNN部署提供了优化方向。
2026-03-11 cs.DC
Accelerating MPI Collectives with Process-in-Process-based Multi-object Techniques
针对HPC中MPI集合通信的性能瓶颈，提出基于Process-in-Process共享内存的PiP-MColl设计，消除系统调用与数据复制开销，在多种消息大小上较主流MPI库性能提升达4.6倍。
2023-05-17 cs.DC
An Energy-Efficient FPGA-based Deconvolutional Neural Networks Accelerator for Single Image Super-Resolution
卷积神经网络（CNN）在各种计算机视觉应用中表现出优异的性能。近年来，已经提出了基于FPGA的CNN加速器以优化性能和功率效率。大多数加速器都是针对在低分辨率（LR）图像上执行的目标检测和识别算法而设计的。然而，实时图像超分辨率（SR）不能在典型的加速器上实现，因为生成高分辨率（HR）图像所需的执行周期很长，例如超高清（UHD）系统中使用的图像。在本文中，我们提出了一种新的CNN加速器与高效的并行化方法SR应用。首先，我们提出了一种新的方法来优化用于增加特征图的去卷积神经网络（DCNN）。其次，我们提出了一种新的方法来优化CNN低功耗，使SR算法可以在显示应用中以低功耗驱动。最后，我们将一个基于DCNN的SR算法压缩成一个最佳模型，以使用片上存储器进行有效的推理。我们提出了一个节能的架构SR和验证我们的架构上的移动面板与四高清晰度（QHD）的分辨率。我们的实验结果表明，在相同的硬件资源，建议的DCNN加速器实现了高达108倍的吞吐量比传统的DCNN加速器。此外，我们的SR系统在SR比例因子为2、3和4时分别实现了144.9 GOPS/W、293.0 GOPS/W和500.2 GOPS/W的能效。此外，我们证明了我们的系统可以恢复HR图像的高质量，同时大大减少了数据的位宽和参数的数量相比，传统的SR算法。
2018-12-18 cs.AR cs.DC
S2Engine: A Novel Systolic Architecture for Sparse Convolutional Neural Networks
Beihang University（北京航空航天大学）
卷积神经网络（CNN）在执行认知任务方面取得了巨大成功。然而，CNN的执行需要大量的计算资源，并产生大量的内存流量，这对计算系统设计提出了严峻的挑战。通过优化卷积的并行执行和数据重用，脉动架构在加速CNN计算方面表现出巨大的优势。然而，传统脉动架构中的规则内部数据传输路径阻止脉动架构完全利用由神经网络稀疏性引入的益处。部署细粒度稀疏现有的脉动架构是极大地阻碍了所产生的计算开销。在这项工作中，我们提出了S2引擎$-$一种新的脉动架构，可以充分利用CNN的稀疏性，最大限度地提高数据重用。S2Engine在内部传输压缩数据，并允许每个处理元件在卷积中动态地从压缩数据流中选择对齐的数据。与原始脉动阵列相比，S2引擎在速度和能效上分别实现了约$3.2\times$和约$3.0\times$的改进。
2021-06-15 cs.AR cs.DC cs.LG
