A Study of Performance Programming of CPU, GPU accelerated Computers and SIMD Architecture
该研究梳理CPU、GPU、SIMD三类并行计算实现方式及现有研究瓶颈,汇总并行编程技术资料,呈现其现状与趋势,为后续研究提供背景支撑。
2024-09-16 cs.DC
GPGPU Processing in CUDA Architecture
计算的未来是图形处理单元,即GPU。图形卡在图像处理和3D场景加速渲染领域所显示出的潜力,以及这些GPU所拥有的计算能力,它们正在发展成为巨大的并行计算单元。对图形处理器进行编程以执行一般并行任务是相当简单的。但是在理解了图形处理器的各种架构方面之后,它也可以用来执行其他繁重的任务。在本文中,我们将展示CUDA如何充分利用这些GPU的巨大功能。CUDA是NVIDIA的并行计算架构。它通过利用GPU的强大功能,大幅提高了计算性能。本文介绍了CUDA及其体系结构。它将CUDA C/C++与其他并行程序设计语言(如OpenCL和DirectCompute)进行了比较。本文还列出了关于CUDA的常见神话,以及CUDA的未来似乎是多么有希望。
2012-02-20 cs.DC
Parallelizing the Unpacking and Clustering of Detector Data for Reconstruction of Charged Particle Tracks on Multi-core CPUs and Many-core GPUs
我们提出的结果从并行化的解包和聚类步骤的原始数据从硅带模块重建带电粒子轨道。通过在CPU上使用嵌套的OpenMP并行性或在GPU上使用CUDA流来并发处理多个事件,吞吐量得到进一步改进。新的实现以及早期的工作,在开发一个并行化和矢量化的组合卡尔曼滤波器算法的实现,使整个事件的有效的全球重建现代计算机架构。我们展示了在英特尔至强和NVIDIA GPU架构上的新实现的性能。
2021-01-27 cs.DC hep-ex
Exploring the Limits of GPUs With Parallel Graph Algorithms
在本文中,我们探讨了通用并行计算的图形处理器(GPU)的限制,通过研究问题,需要高度不规则的数据访问模式:列表排名和连接组件的并行图算法。这样的图形问题代表了合并GPU上的并行存储器访问的最坏情况,这对于良好的GPU性能至关重要。我们的实验研究表明,PRAM算法是一个很好的起点,开发高效的并行GPU方法,但需要非平凡的修改,以确保良好的GPU性能。我们提出了一套指导方针,帮助算法设计人员适应PRAM图算法的并行GPU计算。我们指出,GPU的并行图形算法的研究是更广泛的兴趣,一般的离散和组合问题,因为这些问题中的许多需要类似的不规则的数据访问模式。
2010-02-24 cs.CC cs.DC cs.DS
WarpSpeed: A High-Performance Library for Concurrent GPU Hash Tables
Northeastern University(东北大学)
本文提出WarpSpeed库,实现八种先进GPU哈希表设计,通过指纹元数据等优化降低并发开销,并在三个应用中验证其正确性、可扩展性与实际价值。
2025-10-23 cs.DC cs.DS
GPA: A GPU Performance Advisor Based on Instruction Sampling
由于GPU架构和编程模型的复杂性,开发高效的GPU内核可能很困难。现有的性能工具只在内核级别提供粗粒度的建议(如果有的话)。在本文中,我们介绍了GPA,NVIDIA GPU的性能顾问,它在层次结构中提出了潜在的代码优化机会,包括单独的行,循环和函数。为了减轻用户解释性能计数器和分析瓶颈的负担,GPA使用数据流分析来近似地将测量到的指令停顿归因于其根本原因,并使用有关程序结构和GPU的信息来将低效率模式与优化建议相匹配。为了量化每个建议的潜在好处,我们开发了基于PC采样的性能模型来估计其加速。我们的基准测试和应用程序的实验表明,GPA提供了一个有见地的报告,以指导性能优化。使用GPA,我们在Volta V100 GPU上获得了从1.01 $\times$到3.53 $\times$的加速比,几何平均值为1.22 $\times$。
2020-11-24 cs.DC cs.PF
Black-Scholes Option Pricing on Intel CPUs and GPUs: Implementation on SYCL and Optimization Techniques
本文针对Black-Scholes期权定价问题,基于SYCL语言开发高性能可移植代码,提出CPU与GPU适配的优化方案,验证其性能接近优化后C++代码,为同类代码移植提供参考。
2024-07-10 cs.DC cs.MS cs.PF
Developing a High Performance Software Library with MPI and CUDA for Matrix Computations
如今,并行计算的范式正在发生变化。CUDA现在是GPU上通用计算的流行编程模型,大量应用程序被移植到CUDA,与优化的CPU实现相比,获得了数量级的加速。将消息传递模型与用于并行计算的共享内存模型相结合的混合方法是非常大型应用程序的解决方案。我们考虑了一个异构集群,它使用MPI和CUDA将CPU和GPU计算结合起来,以开发高性能线性代数库。我们的图书馆处理大型线性系统求解器,因为它们是科学和工程领域的常见问题。由于高存储器需求和计算成本,用于计算此类系统的解的直接方法可能非常昂贵。一种有效的替代方法是只计算解的近似值的迭代法。在本文中,我们提出了一个实现的库,使用MPI和CUDA实现直接和迭代线性系统求解器的混合计算模型。我们的库使用MPI/CUDA组合实现了基于LU和Cholesky分解的求解器和一些非平稳迭代法。我们比较了我们的MPI/CUDA实现的性能与经典的程序写在一个单一的CPU上运行。
2015-11-23 cs.DC cs.MS
Efficient GPU Implementation for Single Block Orthogonal Dictionary Learning
University Politehnica of Bucharest(布加勒斯特理工大学)
稀疏表示的字典训练涉及处理大量数据和复杂的算法,这些算法决定了耗时的实现。SBO是一种迭代字典学习算法,基于通过奇异值分解构建标准正交基的并集,其通过单个最佳拟合标准正交基来表示每个数据项。在本文中,我们提出了一个GPGPU的方法来实现SBO在OpenCL。我们提供了一个无锁的解决方案,通过遵循稀疏编码阶段的map-reduce模型和使用分区全局地址空间(PGAS)模型来开发并行字典更新,确保GPU的完全占用。由此产生的实施实现了一个有利的权衡算法的复杂性和数据表示质量相比,PAK-SVD,这是标准的过完备字典学习方法。我们提出和讨论的数值结果显示了显着的加速字典学习过程的执行时间。
2014-12-16 cs.CV cs.DC
Understanding the Impact of Input Entropy on FPU, CPU, and GPU Power
在高性能GPU加速计算系统中,电源正日益成为一种限制性资源。了解功率变化的范围和来源对于设定机架和系统峰值功率的实际界限以及开发最小化能耗的技术至关重要。虽然之前已经研究了制造过程中产生的变化和其他因素,如算法等,但这项工作表明,程序输入不仅会严重影响GPU的功耗,还会影响CPU的功耗。在NVIDIA Ampere A100 GPU上,对于相同的算法(DGEMM基准测试)和不同矩阵值的输入大小,观察到高达67%的功耗变化。我们的调查表明,作为矩阵元素,它们的位置,它们的唯一性的值强烈影响功耗。这一结果对超级计算机性能和能源效率的影响进行了进一步讨论。
2022-12-17 cs.AR cs.DC cs.PF
A (Somewhat Dated) Comparative Study of Betweenness Centrality Algorithms on GPU
计算介数中心性(BC)的问题是很重要的分析图在许多实际应用中,如社交网络,生物网络,交通网络,电路等,因为这个问题是计算密集型,研究人员一直在开发算法,使用高性能的计算资源,如超级计算机,集群,图形处理单元(GPU)。当前用于计算BC的GPU算法采用Brandes的顺序算法,对于线程调度、数据结构和原子操作具有不同的折衷。在本文中,我们研究了三个GPU算法计算BC的未加权,有向,无标度网络。我们讨论和衡量他们的平衡线程调度,原子操作,同步和延迟隐藏的设计选择的权衡。我们的程序是用NVIDIA CUDA C编写的,并在NVIDIA Tesla M2050 GPU上测试。
2014-09-27 cs.DC cs.DS cs.SI
Towards a High-performance and Secure Memory System and Architecture for Emerging Applications
在这篇论文中,我们提出了一个内存和计算协调的方法,充分利用基于GPU的异构系统的特点和能力,有效地优化应用程序的性能和隐私。具体而言,1)我们提出了一个任务感知和动态的存储管理机制,以共同优化应用程序的延迟和内存占用,特别是在多任务的情况下。2)我们提出了一种新的延迟感知的存储管理框架,分析应用程序的特点和硬件功能,以减少应用程序的初始化延迟和响应时间。3)我们开发了一种新的模型窃取攻击,该攻击探索GPU统一内存系统的漏洞,以准确窃取私有DNN模型。4)我们提出了一种CPU/GPU协同加密机制,可以在集成的CPU/GPU平台上防御时间相关攻击,为边缘应用提供安全的执行环境。本论文旨在GPU异构平台上开发一种高性能、安全的存储系统和架构,以高效、安全地部署新兴的AI应用。
2022-09-06 cs.CR cs.DC
The GPU vs Phi Debate: Risk Analytics Using Many-Core Computing
再保险投资组合的风险覆盖全球发生的自然灾害,如地震和飓风,量化采用模拟。这些模拟是计算密集型的,需要处理大量的数据。使用众核硬件加速器(如英特尔至强融核和NVIDIA图形处理单元(GPU))是实现高性能风险分析的理想选择。在本文中,我们着手研究如何加速器可以在风险分析中使用,重点是开发并行算法的聚合风险分析,模拟计算的可能最大损失的投资组合考虑主要和次要的不确定性。关键的结果是,这两种硬件加速器在不同的环境中都很有用;在不考虑数据传输时间的情况下,Phi在独立使用时的执行时间最低,而GPU与混合平台中的主机一起产生了最佳性能。
2015-01-26 cs.CE cs.DC
A Highly Accelerated Parallel Multi-GPU based Reconstruction Algorithm for Generating Accurate Relative Stopping Powers
低剂量质子计算机断层成像(pCT)是一种不断发展的成像模式,用于解决范围不确定性问题的质子治疗计划。pCT的目标是在临床要求的时间范围内以高精度生成相对阻止本领(RSP)测量的3D图。在最短的时间内生成准确的RSP值被认为是开发pCT软件时的关键目标。现有的pCT软件已经成功地满足了这一时间范围,甚至成功地实现了这一时间目标,但需要具有数百个处理器的集群。本文介绍了一种新的重建技术,使用两个图形处理单元(GPU)的核心,如可在一个单一的Nvidia P100。所提出的重建技术进行了测试模拟和实验数据集和两个不同的系统,即Nvidia K40和P100 GPU从IBM和Cray。实验结果表明,我们提出的重建方法符合时间和准确性的好处,具有合理的成本,并有效地利用电力。
2018-02-04 cs.DC physics.med-ph
On the Partitioning of GPU Power among Multi-Instances
针对 MIG 缺少硬件级功耗分摊支持的问题,本文提出基于分区利用率指标的在线 ML 功耗模型,并在 A100 上验证其可准确估计矩阵乘法和 LLM 推理等工作负载的分区功耗。
2025-05-14 cs.DC cs.PF
Accelerating Nonlinear Time-History Analysis with Complex Constitutive Laws via Heterogeneous Memory Management: From 3D Seismic Simulation to Neural Network Training
The University of Tokyo(东京大学);RIKEN Center for Computational Science(理化学研究所计算科学中心);Research Institute for Value-Added-Information Generation, Japan Agency for Marine-Earth Science and Technology(日本海洋地球科学厅增值信息生成研究所)
本文提出一种基于异构内存管理的框架,解决高保真物理模型下非线性时程分析的计算成本和内存需求问题,通过CPU-GPU协同提升效率,并利用生成的数据集开发神经网络代理模型,展示其在3D仿真和数据驱动科学发现中的应用潜力。
2026-04-03 cs.DC
A Practical Two-Stage Framework for GPU Resource and Power Prediction in Heterogeneous HPC Systems
Boston University(波士顿大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出一种两阶段框架,利用Slurm日志和DCGM数据预测HPC应用的GPU功率和内存利用率,实现更高效的调度和动态电源管理。
2026-04-02 cs.DC cs.LG cs.PF
A parallel pattern for iterative stencil + reduce
我们提倡使用Loop-of-Stencil-Reduce模式来简化异构多核平台上数据并行程序的实现。Loop-of-stencil-reduce足够通用,可以在数据并行和流应用程序中或两者的组合中使用map、reduce、map-reduce、stencil、stencil-reduce,以及更重要的是,它们在循环中的使用。该模式使得在不同的GPU上部署单个模板计算内核成为可能。我们讨论了在FastFlow中实现Loop-of-stencil-reduce,FastFlow是一个基于并行模式的应用程序实现框架。实验来说明使用环的模板减少在开发数据并行内核运行在异构系统上。
2016-09-15 cs.DC
Performance Tuning for GPU-Embedded Systems: Machine-Learning-based and Analytical Model-driven Tuning Methodologies
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of A Coruña(拉科鲁尼亚大学)
本文针对GPU嵌入式系统,提出并比较了分析模型驱动与机器学习驱动的两种调优方法,在NVIDIA Jetson上评估BPLG库并行前缀实现,并与穷举搜索及CUSPARSE等库对比,为性能可移植性提供指导。
2023-10-24 cs.DC cs.LG cs.PF
MSCCL++: Rethinking GPU Communication Abstractions for AI Inference
Microsoft Research(微软研究院);Microsoft Azure(微软Azure)
MSCCL++通过提供高性能、可移植的通信内核设计方法,优化AI推理和集体通信性能,已在微软Azure和AMD的GPU库中应用。
2026-01-27 cs.AI cs.DC
PySchedCL: Leveraging Concurrency in Heterogeneous Data-Parallel Systems
在过去的十年中,异构GPGPU平台所展示的高性能计算能力已经导致了数据并行程序设计语言(如CUDA和OpenCL)的流行。然而,这样的语言涉及陡峭的学习曲线以及开发对异构平台中的计算设备的底层架构的广泛理解。这导致了一些高性能计算框架的出现,这些框架提供了高级别的抽象,以简化异构平台上的数据并行应用程序的开发。然而,这样的框架所进行的调度决策只利用粗粒度的并发数据并行应用程序。在本文中,我们提出PySchedCL,一个框架,探讨细粒度的并发感知调度决策,有效地利用异构CPU/GPU架构的力量。%,这是现有HPC框架不提供的功能。我们展示了现有的粗粒度的动态调度方案进行广泛的实验评估的机器学习为基础的推理应用程序,这样的调度机制的功效。
2020-09-16 cs.DC
Packaging HEP Heterogeneous Mini-apps for Portable Benchmarking and Facility Evaluation on Modern HPCs
针对 HEP 异构迷你应用在新 HPC 设施部署繁琐的问题,本文利用容器化与 Spack 等自动化配置构建技术实现交钥匙部署,以最少干预完成跨平台、跨设施基准评估并持续跟踪性能。
2025-05-13 cs.DC hep-ex
Fine-Tuning GPT-5 for GPU Kernel Generation
通过强化学习微调GPT-5提升GPU内核生成性能,实现正确率和效率的显著提升。
2026-02-11 cs.AI cs.DC cs.LG
Development of an Equation-based Parallelization Method for Multiphase Particle-in-Cell Simulations
制造商一直在开发具有大容量、高带宽存储器和极高带宽节点内互连的新图形处理单元(GPU)节点。这使得能够以低成本在同一节点上的GPU之间移动大量数据。然而,小数据包的带宽和延迟并没有减少,这使得全球点产品昂贵。这些特点有利于一种新的问题分解称为“方程分解”,而不是传统的区域分解。在这种方法中,每个GPU被分配一个方程组并行求解,从而消除了传统分布式线性求解器中频繁和昂贵的点积同步点。作为交换,该方法涉及状态变量在高带宽、节点内互连上的不频繁移动。为了测试这一理论,我们将旗舰代码Multiphase Flow with Interphase eXchanges(MFiX)移植到了TensorFlow。这种新产品被称为MFiX-AI,可以产生与原始版本MFiX几乎相同的结果,并在多相粒子模拟(MP-PIC)中显着加速。通过NVLINK 2.0连接4个NVIDIA A100的单个节点的性能与JOULE 2.0超级计算机上的1000个CPU核心(25个节点)相比具有竞争力,从而节省高达90%的能源。这对于小型到中型的问题来说是一个巨大的性能优势。随着GPU节点变得更加强大,这一优势预计将不断增长。此外,MFiX-AI准备接受原生人工智能/机器学习模型,以进一步加速和开发。
2022-11-28 cs.DC cs.MS cs.SE
PGAbB: A Block-Based Graph Processing Framework for Heterogeneous Platforms
设计灵活的图形内核,可以在各种平台上运行良好,是一个至关重要的研究问题,由于频繁使用的图形建模数据和最近的架构的进步和品种。在这项工作中,我们提出了一种新的图形处理框架,PGAbB(块并行图算法),现代共享内存异构平台。我们的框架实现了一个基于块的编程模型。这允许用户使用对子图进行操作的内核来表达图算法。PGAbB支持适合主机DRAM但不适合GPU设备存储器的图形计算,并提供简单但有效的调度技术,以将计算调度到异构架构中的所有可用资源。我们已经证明,可以很容易地实现一组不同的图算法在我们的框架中开发五个算法。我们的实验结果表明,PGAbB实现实现更好的或有竞争力的性能相比,手工优化的实现。基于我们对五种图形算法和44种图形的实验,在中值中,PGAbB分别比GAPBS、Galois、Ligra、LAGraph Galois-GPU和Gunrock图形处理系统的性能高1.6、1.6、5.7、3.4、4.5和2.4倍。
2022-09-09 cs.DC cs.DS
Cost-effective Deep Learning Infrastructure with NVIDIA GPU
Central Department of Physics(物理系);Tribhuvan University(特里布文大学);Kathmandu University of Wolverhampton(沃尔夫汉普顿大学加德满都分校);Herald College(赫尔德学院)
本研究通过构建低成本深度学习基础设施,利用NVIDIA GPU实现高效计算资源管理与安全防护,满足学术研究和大数据处理需求。
2025-03-14 cs.AR cs.DC cs.LG
Future Computing Platforms for Science in a Power Constrained Era
功耗将是高能物理(HEP)使用的分布式高吞吐量计算(DHTC)未来增长的关键制约因素。这使得性能功耗比成为选择经济高效的计算解决方案的关键指标。在本文中,我们对市场上可用的当前和新兴架构进行了广泛的调查,包括x86-64变体,ARMv7 32位,ARMv 8 64位,众核和GPU解决方案,以及较新的片上系统(SoC)解决方案。我们使用一套不断发展的标准化HEP相关基准和我们一直在开发的功率测量技术来比较性能和能效。我们评估的DHTC系统,如全球大型强子对撞机计算网格(WLCG)的背景下使用这种计算解决方案的潜力。
2015-07-28 cs.DC hep-ex
ALPHA-PIM: Analysis of Linear Algebraic Processing for High-Performance Graph Applications on a Real Processing-In-Memory System
Simon Fraser University(西蒙菲莎大学);ETH Zürich(苏黎世联邦理工学院);University of Toronto(多伦多大学);NVIDIA(英伟达);American University of Beirut(贝鲁特美国大学)
本研究探讨了在真实PIM系统中优化图算法性能,通过数据分区策略和硬件改进提升计算效率。
2026-02-09 cs.AR cs.DC
Cross-Platform Performance Portability Using Highly Parametrized SYCL Kernels
Codeplay Software Ltd.(Codeplay软件有限公司)
近年来,异构系统在HPC系统中变得越来越普遍,TOP500中有100多台超级计算机采用了GPU或其他加速器。这些硬件平台具有不同的性能特征和优化要求。为了充分利用多个加速器,开发人员必须提供针对每个设备调整的算法的实现。硬件供应商提供专门针对其设备的库,这些库提供良好的性能,但通常具有不同的API设计,阻碍了可移植性。SYCL编程模型允许用户使用完全标准的C++编写异构程序,因此开发人员在开发计算内核时可以使用C++模板的强大功能。在本文中,我们表明,通过编写高度参数化的内核矩阵乘法和卷积,我们实现了跨不同架构的供应商实现的性能竞争力。此外,针对新设备进行调优相当于选择在硬件上性能最佳的内核参数组合。
2019-04-10 cs.DC cs.LG cs.MS