Beyond Profiling: Scaling Profiling Data Usage to Multiple Applications
分析技术广泛用于计算堆栈的不同部分,以实现许多目标。一个主要目标是使一个软件在特定的硬件平台上更有效地执行,其中效率跨越标准,如功率,性能,资源要求等研究人员,无论是在学术界和工业界,已经引入了许多技术来收集,并利用,分析数据。但是,有一件事保持不变:使应用程序A在机器1上更有效地运行。在本文中,我们扩展这个标准,问:可以分析信息的应用程序A在机器1上可以用来使应用程序B更有效地运行在机器1上?如果是这样,那么这意味着随着机器1继续执行更多的应用程序,它变得更好、更高效。我们提出了一个通用的方法,使用分析信息收集的程序执行从有限的语料库的应用程序,以提高我们的语料库之外的软件的性能。作为概念证明,我们将我们的技术应用到选择最有效的最后一级缓存来执行应用程序的具体问题。我们能够为PARSEC基准测试套件中的选定程序关闭平均19%的末级缓存块,而末级缓存未命中率仅平均增加2.8%。
2017-11-05 cs.DC
ucTrace: A Multi-Layer Profiling Tool for UCX-driven Communication
Koç University(科奇大学);Simula Research Laboratory(西穆拉研究实验室)
ucTrace是一种用于HPC环境的多层剖析工具,通过在UCX层面剖析消息传递,帮助优化和调试大规模工作负载的通信性能。
2026-02-22 cs.DC
ThirstyFLOPS: Water Footprint Modeling and Analysis Toward Sustainable HPC Systems
Northeastern University(东北大学);Indian Institute of Technology Tirupati(蒂鲁帕蒂印度理工学院);University of Utah(犹他大学)
针对HPC系统水足迹研究不足的问题,提出ThirstyFLOPS综合分析框架,结合区域指标用真实数据量化水耗,通过四个典型系统案例分析区域缺水与核能战略的影响,助力可持续计算基建发展。
2025-10-01 cs.DC
DOLMA: A Data Object Level Memory Disaggregation Framework for HPC Applications
Oregon State University(俄勒冈州立大学);College of William & Mary(威廉与玛丽学院)
DOLMA通过数据对象级内存解耦技术,高效管理HPC应用的内存资源,减少本地内存使用并保持应用性能。
2025-12-02 cs.DC
MPI Implementation Profiling for Better Application Performance
针对MPI等通信中间件性能分析不足的问题,提出两种通用性能分析方法并应用于现有实现,以检测MPI代码性能缺陷,推动通信优化研究。
2024-02-19 cs.DC cs.PF cs.SE
A Workload Analysis of NSF's Innovative HPC Resources Using XDMoD
性能表征是高性能计算(HPC)系统性能分析的重要组成部分。对工作负载属性的理解有助于了解资源利用率,并可用于在软件和系统配置级别上进行性能优化。它可以提供有关计算科学使用模式如何变化的信息,这可能有助于更广泛的HPC生态系统的整体容量规划。在这里,我们报告的超级计算机组合的详细工作负载分析的结果,包括NSF创新HPC计划,以表征其过去和当前的工作负载,并寻找趋势,以了解如何支持广泛的计算科学研究组合的性质,以及它如何随着时间的推移而变化。工作负载分析还试图说明在这些系统上运行的作业的各种使用模式和性能要求。对于作业级性能数据可用的所有系统,还研究了文件系统性能、内存利用率和用户采用的并行类型(MPI、线程等)。
2018-01-12 cs.DC
A General Framework for Static Profiling of Parametric Resource Usage
传统的静态资源分析是在不执行程序的情况下估计程序的总资源使用量,本文提出了一种新的资源分析方法,其目的是对累积成本进行静态分析,即,对于节目的选定部分,发现在这些部分中的每一个中累积的资源使用的估计或界限。传统的资源分析是参数化的,因为结果可以是输入数据大小的函数。我们的静态分析也是参数化的,即,我们的累积成本估计也由输入数据大小参数化。我们的建议是基于成本中心的概念和一个程序转换,允许静态推断的功能,返回这些累积的成本取决于输入数据大小的界限,为每个成本中心的利益。这样的信息比传统的资源使用函数对软件开发者更有用,因为它允许识别应该被优化的程序的部分,因为它们对程序执行的总成本的影响更大。我们还报告了我们的实施所提出的技术使用CiaoPP程序分析框架,并提供了一些实验结果。本文件正在考虑被TPLP接受。
2016-10-17 cs.DC cs.PL
dynamicMF: A Matrix Factorization Approach to Monitor Resource Usage in High Performance Computing Systems
高性能计算(HPC)设施由大量互连的计算单元(或节点)组成,这些计算单元(或节点)执行高度复杂的科学模拟以支持科学研究。实时监测这些设施对于确保系统以最高效率运行至关重要。这种系统通常使用各种测量和日志数据来监测,这些数据以规则的时间间隔捕获系统内各种组件的状态。随着现代HPC系统在容量和复杂性方面的增长,由当前资源监视工具产生的数据的规模使得分析师不再能够进行可视化监视。我们提出了一种方法,将资源监控工具的多维输出转换为低维表示,便于理解的高性能计算(HPC)系统的行为。该方法能够自动提取数据中的低维信号,用于跟踪系统效率和识别性能异常。该方法将资源使用数据建模为三维张量(捕获所有计算节点随时间的不同资源的资源使用)。一个动态矩阵分解算法,称为dynamicMF,提出了提取一个低维的时间信号为每个节点,这是随后送入异常检测器。从德克萨斯州高级计算中心的Lonestar 4系统收集的资源使用数据的结果表明,所识别的异常与系统日志消息中报告的实际异常事件相关。
2018-09-26 cs.DC
LLload: Simplifying Real-Time Job Monitoring for HPC Users
LLload 是 MIT Lincoln Laboratory Supercomputing Center 开发的 HPC 作业资源监控工具,通过按用户捕获作业资源快照,帮助研究人员尤其是新手更简便地跟踪资源使用、培养性能监控能力并优化资源请求。
2024-07-01 cs.DC cs.PF
Python Workflows on HPC Systems
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);Offenburg University(奥芬堡大学)
计算密集型机器学习和数据分析方法最近的成功和广泛应用促进了Python程序设计语言在HPC系统上的使用。虽然Python为用户提供了许多优势,但它的设计并没有专注于多用户环境或并行编程,这使得在HPC系统上维护稳定和安全的Python工作流变得非常具有挑战性。在本文中,我们分析了在HPC集群上使用Python所引发的关键问题,并概述了有效维护多用户Python软件环境、保护和限制Python作业资源以及包含Python进程的适当解决方案,同时重点关注在GPU集群上运行的深度学习应用程序。
2020-12-01 cs.DC cs.LG
ParaCodex: A Profiling-Guided Autonomous Coding Agent for Reliable Parallel Code Generation and Translation
Technion – Israel Institute of Technology(以色列理工学院);Argonne National Laboratory(阿贡国家实验室);Code Metal;Stanford University(斯坦福大学)
ParaCodex是一种基于性能分析的自主编码代理,通过分阶段热点分析、显式数据规划和正确性门控,实现高效并行代码生成与翻译,显著提升GPU性能。
2026-01-07 cs.AI cs.DC
Exploring the Use of WebAssembly in HPC
基于Linux内核提供的命名空间的容器化方法在HPC社区中越来越受欢迎,既可以作为隔离应用程序的方法,也可以作为打包和分发应用程序的格式。然而,它们在HPC系统中的采用和使用面临着一些挑战。其中包括直接在HPC资源上无特权运行和构建科学应用容器映像的困难,HPC架构的异构性增加,以及访问仅在HPC系统上可用的专用网络库。基于容器的HPC应用程序开发的这些挑战与一种名为WebAssembly(Wasm)的新通用中间二进制格式所提供的几个优势密切相关。这些包括轻量级的用户空间隔离机制和跨操作系统和处理器架构的可移植性。在本文中,我们探讨了Wasm作为基于MPI的HPC应用程序的分发格式的使用。为此,我们提出了MPIWasm,一种新的Wasm嵌入器,用于基于MPI的HPC应用程序,使Wasm代码的高性能执行,具有低开销的MPI调用,并支持高性能网络互连HPC系统上存在。我们使用标准化HPC基准测试评估了MPIWasm在生产HPC系统和AWS Graviton 2节点上的性能和开销。我们的实验结果表明,MPIWasm在所有情况下都能提供具有竞争力的本机应用程序性能。此外,我们观察到Wasm二进制文件平均比不同标准化基准的静态链接二进制文件小139.5倍。
2023-01-10 cs.DC cs.PF
The Technologies Required for Fusing HPC and Real-Time Data to Support Urgent Computing
使用高性能计算(HPC)在发生灾难时辅助紧急决策是超级计算机未来的一个重要潜在用途。然而,所涉及的使用模式与传统上使用HPC的方式有很大不同。因此,有许多障碍需要克服,尤其是在批处理系统队列中的无限等待时间,使HPC在灾难响应中的使用切实可行。在本文中,我们介绍了VESTEC项目计划如何克服这些问题,并开发一个紧急计算控制系统的工作原型。我们描述了这样一个系统的要求,并分析了不同的技术,可以利用成功地建立这样一个系统。最后,我们探讨了VESTEC系统的设计,并讨论了实现生产级系统需要解决的持续挑战。
2020-10-04 cs.DC
Rethinking Burst Buffer Optimization: Enabling Layout Heterogeneity via Hybrid Analysis and LLM Guidance
National University of Defense Technology(国防科技大学);Hunan University(湖南大学);Central South University(中南大学)
提出Proteus系统,通过结合静态代码结构和轻量级运行时信号重建I/O意图,在无需训练或详尽分析的情况下优化突发缓冲区的数据布局,实现高达3.24倍和2.9倍的写密集和元数据密集工作负载加速。
2026-06-23 cs.DC
Quantifying OpenMP: Statistical Insights into Usage and Adoption
本文构建含 C/C++/Fortran 的 GitHub 代码数据库 HPCORPUS,统计分析 OpenMP 构造的使用与趋势,发现其占并行 API 的 45% 且持续增长,并揭示语言差异及 simd、target、task 等新采用趋势。
2023-08-17 cs.DB cs.DC
Pseudonymization at Scale: OLCF's Summit Usage Data Case Study
大量数据的分析和复杂计算作业的处理传统上依赖于高性能计算(HPC)系统。了解这些分析的需求对于设计能够带来更好科学的解决方案至关重要,同样,了解这些系统上的用户行为特征对于改善HPC系统上的用户体验也很重要。收集有关用户行为的数据的常用方法是分析仅系统管理员可用的系统日志数据。然而,最近在橡树岭领导计算设施(OLCF),我们通过使用普通Unix命令从用户的角度收集数据,揭示了Summit超级计算机的用户行为。在这里,我们讨论了准备发布和提交开放数据挑战的过程,挑战和经验教训。原始数据集包含有关OLCF用户的个人身份信息(PII),这些信息需要在发布之前进行屏蔽,我们确定完全擦洗PII的匿名化破坏了太多的数据结构,因此无法进行数据挑战。相反,我们选择对数据集进行匿名化,以减少其与用户身份的关联性。假名化比匿名化在计算上要昂贵得多,我们的数据集的大小(大约1.75亿行原始文本)需要开发一个可以在不同HPC机器上重用的并行工作流。我们在OLCF的两个领导级HPC系统上演示了工作流的扩展行为,并且我们表明,我们能够将单个节点上的整体完工时间从不切实际的20多个小时降低到2小时左右。作为这项工作的结果,我们发布了整个匿名数据集,并公开了工作流程和源代码。
2022-12-19 cs.DC cs.DL
It's all about data movement: Optimising FPGA data access to boost performance
使用可重构计算,特别是FPGA来加速计算内核,有可能对科学代码和HPC社区产生巨大的好处。然而,虽然FPGA工具的最新进展使得编程可重构架构的物理行为变得更加容易,但为了获得良好的性能,整个算法必须重新思考并以一种简单的方式进行重铸。降低所有计算设备的数据移动成本至关重要,在本文中,我们将探讨最适合FPGA的技术。我们这样做,通过描述现有的FPGA实现的大气模型的平流方案的优化。通过采用比CPU上运行慢四倍以上的FPGA代码,主要是由于数据移动开销,我们描述了所采用的分析和优化策略,以显着减少运行时间,并将FPGA内核的性能提高到更实用的水平,以供实际使用。这项工作的结果是一组技术,步骤和经验教训,我们发现显着提高基于FPGA的HPC代码的性能,其他人可以在自己的代码中采用,以实现类似的结果。
2020-10-04 cs.DC
The MIT Supercloud Dataset
MIT(麻省理工学院);Northeastern University(东北大学);US Air Force(美国空军)
人工智能(AI)和机器学习(ML)工作负载在传统高性能计算(HPC)中心和商业云系统中的计算工作负载中所占份额越来越大。这导致HPC集群和商业云的部署方法发生变化,并重新关注优化资源使用的方法,新AI框架的分配和部署,以及支持快速原型设计和部署的功能,如Xueyter笔记本电脑。随着这些变化,需要更好地了解群集/数据中心操作,目标是开发改进的调度策略,识别资源利用率、能源/功耗、故障预测方面的低效率,以及识别违反策略的情况。在本文中,我们介绍了MIT超级云数据集,该数据集旨在促进创新的AI/ML方法来分析大规模HPC和数据中心/云操作。我们提供来自MIT Supercloud系统的详细监控日志,其中包括按作业划分的CPU和GPU使用情况、内存使用情况、文件系统日志和物理监控数据。本文讨论了数据集的细节,收集方法,数据的可用性,并讨论了使用这些数据正在开发的潜在挑战问题。数据集和未来的挑战公告将通过https://dcc.mit.edu提供。
2021-08-04 cs.AI cs.DC cs.LG
Usage Scenarios for Byte-Addressable Persistent Memory inHigh-Performance and Data Intensive Computing
字节可寻址持久存储器(B-APM)为弥补主存和存储之间的性能差距提供了一个新的机会。在本文中,我们将根据英特尔DCPMM的功能,介绍这项新技术的使用场景。我们概述了DCPMM的一些基本性能特征,并解释了如何配置和使用它来满足HPC和数据密集型领域中内存和I/O密集型应用程序的需求。两个决策树提出了建议的配置选项B-APM,他们的使用说明了两个例子。我们表明,该技术的灵活性具有真正颠覆性的潜力,不仅因为它可以提供的性能改进,还因为它允许系统在同质硬件上满足更广泛的应用。
2020-12-10 cs.DC cs.PF
Can Large Language Models Predict Parallel Code Performance?
Virginia Tech, USA(弗吉尼亚理工大学);LLNL, USA(劳伦斯利弗莫尔国家实验室);Code Metal, USA(Code Metal公司);Stanford University, Technion, USA(斯坦福大学、技术学院)
准确确定并行GPU代码的性能通常需要在目标硬件上进行执行时间分析-由于对高端GPU的访问有限,这是一个越来越令人望而却步的步骤。本文探讨了大语言模型(LLM)是否可以为GPU性能预测提供一种替代方法,而不依赖于硬件。我们将这个问题视为一个屋顶分类任务:给定GPU内核的源代码和目标GPU的硬件规格,LLM能否预测GPU内核是计算受限还是带宽受限?在这项研究中,我们构建了一个由340个GPU内核组成的平衡数据集,这些内核是从HeCBench基准测试中获得的,用CUDA和OpenMP编写,以及通过经验GPU分析获得的地面真实标签。我们在四种情况下评估LLM:(1)访问内核源代码的分析数据,(2)仅使用源代码的zero-shot,(3)使用代码和标签对的Few-Shot,以及(4)在小型自定义数据集上进行微调。我们的研究结果表明,最先进的LLM对Roofline模型有很强的理解,当提供显式分析数据时,可以达到100%的分类准确率。我们还发现,推理能力的LLM显着优于标准的LLM在零和Few-Shot设置,实现高达64%的准确性GPU源代码,没有剖析信息。最后,我们发现LLM微调将需要比我们目前可用的更多的数据。这项工作是第一批使用LLM通过分类进行源代码级屋顶性能预测的工作之一,并说明了它们在运行时分析不可行时指导优化工作的潜力。我们的研究结果表明,有了更好的数据集和及时的策略,LLM可以…
2025-05-06 cs.AI cs.DC cs.PF
Next-generation HPC models for future rotorcraft applications
旋翼机技术对数值计算提出了巨大的科学和工业挑战。随着可用的计算资源接近百万亿级,更精细的尺度,因此更准确的模拟工程测试用例变得容易。然而,在新硬件上转移传统工作流并优化现有软件的并行效率和可扩展性通常是非常苛刻的。本文报告了采用Leonardo S.p.A.上的T106 A低压涡轮(LPT)叶片几何形状进行CFD和结构动力学模拟的初步结果。的davinci-1高性能计算(HPC)设施。商业软件包Ansys Fluent,STAR-CCM+和ABAQUS,以及开源科学计算框架PyFR的解决方案和可扩展性的时间进行了评估。在可压缩流体流动的直接数值模拟中,发现使用PyFR获得的归一化时间解值比使用Fluent和STAR-CCM+获得的值小8倍。研究结果扩展到不可压缩的情况下。所有型号在多达48个计算节点上进行的测试中都提供了弱扩展和强扩展,每个节点都有4个Nvidia A100 GPU。在使用ABAQUS进行的线弹性模拟中,迭代求解器和直接求解器在初步缩放测试中都提供了加速,迭代求解器在求解时间和内存使用方面优于直接求解器。这些结果首次表明了HPC架构在通过模拟验证工程应用方面的潜力,也是公司在旋翼机技术领域使用尖端HPC工具包的第一步。
2022-07-05 cs.DC cs.NA math.NA
Validating Memory-Optimal Transformer Kernels on Real Hardware: From Formal Derivation to Measured Performance Across Two HPC Clusters
University at Albany (SUNY)(纽约州立大学奥尔巴尼分校);Université Paris-Est Créteil(巴黎东克雷泰伊大学)
本文在真实HPC集群上验证MoA推导的Transformer内核内存最优成本函数,发现并修复GPU原子争用回归(达2.5倍加速),揭示拓扑导致的成本差异,并提出固定DNF的ONF重写方法论。
2026-09-29 cs.AI cs.DC
A novel scalable high performance diffusion solver for multiscale cell simulations
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心);Universitat Politecnica de Catalunya (UPC)(加泰罗尼亚理工大学);Institute for Integrative Systems Biology (I2SysBio), CSIC-UV(整合系统生物学研究所(CSIC-瓦伦西亚大学));ICREA(加泰罗尼亚高级研究学院)
本文提出了一种基于高效有限体积法的高性能计算求解器,用于多尺度细胞模拟,实现了200倍的加速和36%的内存节省。
2026-02-04 cs.DC q-bio.CB
The MIT Supercloud Workload Classification Challenge
MIT(麻省理工学院);MIT Lincoln Laboratory(麻省理工学院林肯实验室);Northeastern University(东北大学);US Air Force(美国空军)
高性能计算(HPC)中心和云提供商在异构硬件上支持越来越多样化的应用程序。随着人工智能(AI)和机器学习(ML)工作负载在计算工作负载中的份额越来越大,需要新的方法来优化资源使用、分配和部署新的AI框架。通过识别计算工作负载及其利用率特征,HPC系统可以更好地将可用资源与应用需求相匹配。通过利用数据中心仪器,可以开发基于AI的方法,可以识别工作负载并向研究人员和数据中心运营商提供反馈,以提高运营效率。为了实现这项研究,我们发布了MIT Supercloud Dataset,它提供了来自MIT Supercloud集群的详细监控日志。此数据集包括作业的CPU和GPU使用率、内存使用率和文件系统日志。在本文中,我们提出了一个基于此数据集的工作负载分类挑战。我们介绍了一个标记的数据集,可用于开发新的方法来工作量分类和现有的方法的基础上提出的初步结果。该挑战的目标是促进计算工作负载分析中的算法创新,可以实现比现有方法更高的准确性。数据和代码将通过数据中心挑战网站https://dcc.mit.edu公开提供。
2022-04-13 cs.DC cs.LG
Improving the Efficiency of a Deep Reinforcement Learning-Based Power Management System for HPC Clusters Using Curriculum Learning
Department of Computer Science and Electronics, Universitas Gadjah Mada(加雅达大学计算机科学与电子系);Cyberscience Center, Tohoku University(东大网络科学中心);Department of Industrial Management, National Taiwan University of Science and Technology(台湾科技大学工业管理系)
本研究通过课程学习改进HPC集群电源管理的深度强化学习效率,实现能耗降低和作业执行优化。
2025-03-14 cs.DC cs.LG