LLM-HPC++: Evaluating LLM-Generated Modern C++ and MPI+OpenMP Codes for Scalable Mandelbrot Set Computation
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Louisiana State University(路易斯安那州立大学);Texas A&M University-Central Texas(德克萨斯农工大学中央得克萨斯分校)
本文评估了LLM生成的C++和MPI+OpenMP代码在曼德勃罗集计算中的性能,发现ChatGPT-4和5在语法精度和可扩展性方面表现突出。
2026-03-13 cs.DC cs.SE
Static Generation of Efficient OpenMP Offload Data Mappings
本文提出静态分析工具 OMPDart,通过建模主机与设备区域的数据依赖并实施源代码转换,自动生成高效 OpenMP 卸载数据映射,在九个 HPC 基准上显著减少数据传输。
2024-09-07 cs.DC
Quantifying OpenMP: Statistical Insights into Usage and Adoption
本文构建含 C/C++/Fortran 的 GitHub 代码数据库 HPCORPUS,统计分析 OpenMP 构造的使用与趋势,发现其占并行 API 的 45% 且持续增长,并揭示语言差异及 simd、target、task 等新采用趋势。
2023-08-17 cs.DB cs.DC
DiOMP-Offloading: Toward Portable Distributed Heterogeneous OpenMP
Stony Brook University(石溪大学)
针对传统HPC混合编程模型在分布式GPU内存管理与可移植性上的不足,提出分布式OpenMP框架DiOMP,融合OpenMP目标卸载与PGAS模型,实验证明其在多类异构平台上具备更优性能、可扩展性与可编程性。
2025-06-03 cs.DC
OMPGPT: A Generative Pre-trained Transformer Model for OpenMP
ISU(爱荷华州立大学);Intel(英特尔公司);Technion(以色列理工学院)
提出领域特定模型OMPGPT,利用语言模型优势生成OpenMP pragma,并引入Chain-of-OMP提示策略提升效能,在保持较小规模的同时优于现有专用大模型,连接语言模型与HPC需求。
2024-06-22 cs.DC cs.LG cs.SE
The OpenMP Cluster Programming Model
尽管有各种研究计划和提出的编程模型,但HPC集群中并行编程的有效解决方案仍然依赖于不同编程模型的复杂组合(例如,OpenMP和MPI)、语言(例如,C++和CUDA)和专用运行时(例如,Charm++和Legion)。另一方面,任务并行性已被证明是一个高效和无缝的集群编程模型。本文介绍了OpenMP集群(OMPC),任务并行模型,扩展了集群编程的OpenMP。OMPC利用OpenMP的卸载标准在分布式系统的节点之间分发带注释的代码区域。为了实现这一点,它将基于MPI的数据分发和负载平衡机制隐藏在OpenMP任务依赖关系后面。由于OMPC与OpenMP兼容,它允许应用程序使用相同的编程模型来利用节点内和节点间的并行性,从而简化了开发过程和维护。我们评估OMPC使用任务工作台,一个综合的基准集中在任务并行性,比较其性能与其他分布式运行时。实验结果表明,OMPC可以提供高达1.53倍和2.43倍的性能比Charm++的CCR和可扩展性实验,分别。实验还表明,OMPC性能弱规模的任务台和现实世界的地震成像应用。
2022-08-13 cs.DC
An Introduction to hpxMP: A Modern OpenMP Implementation Leveraging HPX, An Asynchronous Many-Task System
异步多任务(AMT)运行时系统由于细粒度任务运行时系统提供的性能改进而在HPC社区中获得越来越多的接受。与此同时,C++标准化工作的重点是创建更高级别的接口,以取代现代C++代码中的OpenMP或OpenACC。这些更高级别的函数已经在符合标准的运行时系统(如HPX)中采用,使用户能够在自己的代码中简单地利用fork-join并行性。尽管在运行时系统和标准化工作方面有创新,但用户在移植遗留应用程序时仍面临巨大挑战。用户不仅必须移植自己的代码,而且通常依赖于高度优化的库,如BLAS和LAPACK,它们使用OpenMP进行并行化。当前创建平滑迁移路径的努力一直在努力应对这些挑战,特别是AMT库的线程系统经常与OpenMP的线程系统竞争。为了克服这些问题,我们的团队开发了hpxMP,这是一种OpenMP标准的实现,它利用底层AMT系统来调度和管理任务。这种方法利用了HPX公开的C++接口,并允许用户在AMT系统上执行他们的应用程序,而无需更改他们的代码。在这项工作中,我们比较hpxMP与Clang的OpenMP库与Blaze C++库的四个线性代数基准。虽然hpxMP往往无法达到相同的性能,我们证明了可行性,为应用程序提供一个顺利的迁移,但必须扩展到受益于更一般的基于任务的编程模型。
2019-07-05 cs.DC
ParaCodex: A Profiling-Guided Autonomous Coding Agent for Reliable Parallel Code Generation and Translation
Technion – Israel Institute of Technology(以色列理工学院);Argonne National Laboratory(阿贡国家实验室);Code Metal;Stanford University(斯坦福大学)
ParaCodex是一种基于性能分析的自主编码代理,通过分阶段热点分析、显式数据规划和正确性门控,实现高效并行代码生成与翻译,显著提升GPU性能。
2026-01-07 cs.AI cs.DC
Comparing Llama-2 and GPT-3 LLMs for HPC kernels generation
Oak Ridge National Laboratory(橡树岭国家实验室);Texas A&M International University(德州农工国际大学)
研究比较开源Llama-2与GPT-3基线在多语言多并行模型下生成HPC内核的准确率,发现Llama-2简化模型准确率具竞争力且正确时优化更优,而Copilot代码更可靠但优化较少。
2023-09-12 cs.AI cs.DC cs.PL
ParaGraph: Weighted Graph Representation for Performance Optimization of HPC Kernels
Iowa State University(爱荷华州立大学);Stony Brook University(石溪大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
本文提出ParaGraph,一种扩展AST并引入边权重的加权图程序表示方法,通过训练GNN预测OpenMP代码在CPU和GPU上的运行时来优化HPC内核性能,归一化RMSE低至0.004。
2023-04-07 cs.DC cs.LG cs.PF
Hybrid MPI/StarSs - a case study
混合并行编程模型结合了分布式和共享内存的范例,在高性能计算中得到了很好的建立。HPC中混合编程的经典原型是MPI/OpenMP,但许多其他组合正在研究中。最近,数据依赖性驱动,任务并行模型共享内存并行命名StarSs已被建议与MPI结合使用。在本文中,我们应用混合MPI/StarSs的格子玻尔兹曼代码。特别是,我们提出的混合编程模型,我们期望的好处,在移植的挑战,最后比较MPI/StarSs混合,MPI/OpenMP混合和原来的MPI只有版本的相同的代码的性能。
2012-04-18 cs.DC
Scaling Sample-Based Quantum Diagonalization on GPU-Accelerated Systems using OpenMP Offload
Advanced Micro Devices, Inc.(超威半导体公司);Oak Ridge National Laboratory(橡树岭国家实验室);National Center for Computational Sciences(国家计算科学中心);Quantum Science Center(量子科学中心)
本文提出在GPU加速系统上通过OpenMP卸载实现高效可扩展的基于样本的量子对角化,利用GPU的并行计算能力提升基态能量计算效率。
2026-01-22 cs.DC cs.ET
Unified Shared Memory in OpenMP: Implementation, Programmability, and Performance on Intel Accelerators
Intel Corporation(英特尔公司)
本文介绍英特尔实现的OpenMP USM特性,评估其在HPC应用中的采用复杂度与Battlemage GPU上的性能,指出该特性虽有低开销,但部分应用可从中受益,利于快速原型开发与移植。
2026-07-30 cs.DC cs.PF
Aspect-Oriented Programming based building block platform to construct Domain-Specific Language for HPC application
HPC系统的世界正在向一个更复杂的系统转变,因为处理器的性能改进已经放缓。领域特定语言(Domain-Specific Language,DSL)是一种很有前途的方法,它提供了一个高效的环境来创建一个高效的程序。然而,现有的DSL平台本身往往缺乏可移植性和成本DSL开发人员的巨大努力。为了解决这个问题,我们提出了一个基于面向方面编程(AOP)的DSL构建平台,使开发人员能够通过组合方面模块来构建DSL平台。方面模块管理抽象的应用程序流、数据结构和我们平台上的内存访问。因此,开发人员可以创建任何DSL平台,其目标应用程序具有HPC应用程序通常具有的属性,抽象假设。本研究实现了一个原型平台,可以处理MPI和OpenMP层。原型支持三种类型的应用程序(结构化网格,非结构化网格和粒子模拟)。然后,我们评估了实现平台的灵活性和生产力所带来的开销。
2022-08-29 cs.DC cs.PL
HPC-Coder: Modeling Parallel Programs using Large Language Models
University of Maryland(马里兰大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对HPC并行程序开发优化难度大的问题,研究构建HPC科学代码数据集,微调得到专用模型HPC-Coder,可实现HPC函数补全、OpenMP制导指令添加及性能变化建模,效果优于通用大模型。
2024-05-14 cs.AI cs.DC
Exploring the Role of LLMs in HPC Programming: A Survey
Universitat Oberta de Catalunya (UOC)(开放大学加泰罗尼亚分校(UOC));Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心(BSC))
本综述梳理了LLM在HPC编程五大类任务中的应用,指出通用LLM在串行等任务表现尚可但分布式范式不足,领域专用模型准确率更高但范围狭窄,LLM短期内无法取代HPC专家,将成为软件开发的强大合作者,二者融合是长期共同演化过程。
2026-08-28 cs.AI cs.DC
UniPar: A Unified LLM-Based Framework for Parallel and Accelerated Code Translation in HPC
Technion(以色列理工学院);Ben-Gurion University(本-古里安大学);IAEC(以色列原子能委员会);Argonne National Laboratory(阿贡国家实验室);Code Metal;Stanford University(斯坦福大学)
本文提出UniPar框架,系统评估GPT-4o-mini等LLM在HPC中串行、CUDA与OpenMP间代码翻译能力,通过微调、超参数调优和编译器引导修复将性能提升2倍,并构建了PARATRANS数据集。
2025-09-15 cs.DC
Application Experiences on a GPU-Accelerated Arm-based HPC Testbed
本文评估了十个团队在GPU加速的Arm测试平台上移植和基准测试HPC应用的经验,证明当前软件和工具已成熟,足以支持大规模生产部署。
2022-12-19 cs.AR cs.DC