A Flexible Patch-Based Lattice Boltzmann Parallelization Approach for Heterogeneous GPU-CPU Clusters
在并行计算中维持单个GPU的大部分性能被认为是基于GPU的集群的主要问题。在这篇文章中,这一主题是解决的背景下,晶格玻尔兹曼流求解器,集成在WaLBerla软件框架。我们提出了一个多GPU实现使用块结构的MPI并行化,适用于负载均衡和异构计算的CPU和GPU。详细讨论了多GPU模拟所需的开销,并证明了内核性能可以在很大程度上得到维持。通过我们的GPU实现,我们在InfiniBand集群上实现了近乎完美的弱可扩展性。然而,在强扩展场景中,多GPU对硬件的利用效率低于IBM BG/P和x86集群。因此,成本分析必须为特定的模拟任务确定最佳的行动方案。此外,弱规模的异构模拟CPU和GPU同时进行的结果,提出了使用集群配备不同的节点配置。
2010-07-08 cs.DC cs.PF
The Vectorization of the Tersoff Multi-Body Potential: An Exercise in Performance Portability
分子动力学模拟是计算化学和材料科学中不可或缺的研究工具,占据了全球超级计算周期的重要部分。我们专注于多体潜力,旨在实现性能的可移植性。与研究充分的对电位相比,多体电位提供了更高的模拟精度,但过于复杂,无法进行有效的编译器优化。因此,实现跨平台性能仍然是一个悬而未决的问题。通过从目标体系结构和计算精度的抽象,我们开发了一个向量化方案适用于CPU和加速器。我们目前的结果Tersoff潜在的分子动力学代码LAMMPS在几个架构,不仅为计算内核,但也为大规模的模拟效率的提高。在英特尔至强融核的集群上,我们优化的求解器比纯MPI参考快3到5倍。
2016-07-11 cs.CE cs.DC cs.MS
A Fine-Grained Hybrid CPU-GPU Algorithm for Betweenness Centrality Computations
介数中心性(BC)是大规模图的一个重要的图分析应用。虽然有许多努力在多核CPU和众核GPU上并行化介数中心算法,在这项工作中,我们提出了一种新的细粒度CPU-GPU混合算法,将图形划分为CPU和GPU分区,并同时在CPU和GPU资源上执行BC计算,同时具有非常少量的CPU-GPU通信。在我们的混合BC算法的正向阶段利用BC问题中固有的多源属性。我们还执行了一个新的混合和异步向后阶段,执行最小的CPU-GPU同步。使用大量具有不同特征的图进行的评估表明,我们的混合方法比基于流行的批量同步范式(BSP)方法的现有混合算法在性能上提高了80%,并且CPU-GPU通信减少了80 - 90%。
2020-08-13 cs.DC
Performance comparison of CFD-DEM solver MFiX-Exa, on GPUs and CPUs
我们目前的计算性能比较的气固模拟在当前的CPU和GPU架构上使用MFiX Exa,CFD-DEM求解器,利用混合CPU+GPU并行。一个有代表性的流化床模拟不同的颗粒数从2至67万是用来比较串行和并行的性能。据观察,与单个CPU核心相比,单个GPU的速度大约快10倍。在单个计算节点上使用3个GPU比使用所有64个CPU核心快4倍。我们还观察到,使用误差控制的自适应时间步进方案进行粒子推进,在CPU和GPU上提供了一致的4倍加速。弱的缩放结果表明,优越的并行效率时,使用GPU相比,CPU的问题规模在这项工作中研究。
2021-08-19 cs.DC
HybridGen: Efficient LLM Generative Inference via CPU-GPU Hybrid Computing
University of California, Merced(加州大学默塞德分校);NVIDIA(英伟达)
HybridGen通过CPU-GPU混合计算解决长上下文LLM推理中的内存带宽和负载不平衡问题,采用注意力logit并行、反馈调度器和语义感知的KV缓存映射,提升效率1.41倍至3.2倍。
2026-04-20 cs.DC cs.PF
Enabling Simulation of High-Dimensional Micro-Macro Biophysical Models through Hybrid CPU and Multi-GPU Parallelism
微观-宏观模型为研究微观机制与宏观涌现行为之间的关系提供了强有力的工具。然而,详细的微观建模可能需要以高计算成本跟踪和演化高维配置空间。在这项工作中,我们提出了一个并行算法模拟一个高维的微观宏观模型的滑动运动检测。我们采用了一种整体方法,将数据驻留和模拟规模与混合CPU和多GPU硬件相结合。通过结合算法修改、GPU优化和扩展到多个GPU,我们实现了比以前的混合CPU-GPU实现高达27的加速因子,比我们的单线程实现高达540的加速因子。这种方法使微观宏观模拟的复杂性和分辨率高于其他可行的方法。
2019-08-12 cs.DC physics.comp-ph q-bio.QM
A Unified CPU-GPU Protocol for GNN Training
针对现有GNN框架无法高效利用CPU-GPU平台资源的问题,提出统一CPU-GPU协议,通过并行实例化训练进程协同计算并动态负载均衡,最高将训练速度提升1.41倍。
2024-03-25 cs.DC
CPU and/or GPU: Revisiting the GPU Vs. CPU Myth
使用加速器的并行计算在过去几年中获得了广泛的研究关注。特别是,使用GPU进行通用计算已经在时间、成本、功耗和其他指标方面取得了一些成功。然而,基于加速器的计算已经显著地降低了CPU在计算中的作用。随着CPU的发展,也提供了匹配的计算资源,在计算中也包括CPU是很重要的。我们称之为混合计算模型。实际上,当代的大多数计算机系统提供一定程度的异质性,因此这样的模型是相当自然的。我们重新评估的索赔最近的一份文件,李等人。(ISCA 2010年)。我们认为Lee等人(ISCA 2010)提出的正确问题应该是如何有效地使用CPU+GPU平台,而不是应该专门使用CPU还是GPU。为此,我们实验了一组13个不同的工作负载,从数据库,图像处理,稀疏矩阵内核和图形。我们使用两种不同的混合平台进行实验:一种由6核Intel i7- 980 X CPU和NVidia Tesla T10 GPU组成,另一种由Intel E7400双核CPU和NVidia GT 520 GPU组成。在这两个平台上,我们表明,混合解决方案提供了良好的优势,CPU或GPU单独的解决方案。在这两个平台上,我们还证明了我们的解决方案平均具有90%的资源效率。因此,我们的工作表明,混合计算不仅可以在研究规模的平台上提供巨大的优势,而且可以在更现实的规模系统中为大规模用户社区提供显着的性能增益和资源效率。
2013-03-09 cs.DC
Summarizing CPU and GPU Design Trends with Product Data
摩尔定律和Dennard Scaling在过去几十年中一直指导着半导体行业。最近,随着晶体管尺寸接近物理学的实际极限,这两个定律都面临着有效性的挑战。我们有兴趣测试这些法律的有效性,并反思责任的原因。在这项工作中,我们收集了4000多个公开的CPU和GPU产品的数据。我们发现,晶体管的缩放仍然是至关重要的,在保持法律有效。然而,建筑解决方案变得越来越重要,并将在未来发挥更大的作用。我们观察到GPU始终提供比CPU更高的性能。由于GPU频率的提高、热设计功耗(TDP)的改善以及芯片尺寸的增长,GPU性能持续提升。但我们也看到GPU与CPU性能的比率越来越接近平价,这要归功于CPU上新的SIMD扩展和CPU核心数量的增加。
2020-07-13 cs.DC
Hybrid KNN-Join: Parallel Nearest Neighbor Searches Exploiting CPU and GPU Architectural Features
K最近邻(KNN)连接用于科学领域的数据分析,并且是几种知名算法的构建块。KNN连接查找数据集中所有点的KNN。本文重点介绍了一种低维KNN连接的混合CPU/GPU方法,其中GPU可能不会产生比并行CPU算法更大的性能增益。我们利用一个工作队列,优先计算GPU上的高密度区域和CPU上的低密度区域中的数据点,从而利用每个架构的相对优势。我们的方法HybridKNN-Join有效地增强了最先进的多核CPU算法。我们提出的优化,$(i)$最大限度地提高GPU查询吞吐量分配GPU大批量的工作; $(ii)$增加工作负载粒度,以优化GPU的利用率;和,$(iii)$限制CPU和GPU架构之间的负载不平衡。我们比较HybridKNN-Join到一个GPU和两个并行CPU参考实现。与参考实现相比,我们发现混合算法在较大的工作负载(数据集大小和K)上表现最好。本文所采用的方法显示出在其他混合算法的一般分工的承诺。
2020-11-17 cs.DC
Comparative Performance Analysis of Intel Xeon Phi, GPU, and CPU
我们调查和表征一类重要的GPU和许多集成核心(MIC)架构上的操作的性能。我们的工作是由应用程序,分析低维的空间数据集捕获的高分辨率传感器,如图像数据集从整个幻灯片组织标本使用显微图像扫描仪。我们确定了对象分割和特征计算类别中的操作的数据访问和计算模式。我们系统地实现和评估这些核心操作的性能在现代CPU,GPU和MIC系统的显微图像分析应用程序。我们的研究结果表明:(1)数据访问模式和操作所采用的并行化策略强烈影响其性能。虽然执行常规数据访问的操作的MIC上的性能与GPU上的性能相当或有时更好;(2)对于不规则访问数据的操作和算法,GPU比MIC更有效。这是由于后者在随机数据访问方面性能较低的结果;(3)使用性能感知任务调度策略在MIC和CPU上充分协调执行,比先来先服务策略提高了约1.29倍。示例应用程序在192个节点(3072个CPU内核和192个MIC)的执行中获得了84%的效率。
2013-11-02 cs.DC cs.PF
Analyzing the Performance Portability of SYCL across CPUs, GPUs, and Hybrid Systems with SW Sequence Alignment
本研究通过SW序列比对案例,系统评估了SYCL在NVIDIA、Intel和AMD的CPU、GPU及混合架构上的性能可移植性,证明其可作为异构计算环境中可行的统一编程模型。
2025-04-14 cs.DC
Revisiting Co-Processing for Hash Joins on the Coupled CPU-GPU Architecture
在图形处理器(GPU)上进行查询协同处理已成为提高内存数据库性能的有效手段。然而,PCI-e总线的相对低的带宽和高延迟通常是协处理的瓶颈问题。最近,耦合的CPU-GPU架构受到了很多关注,例如,AMD APU将CPU和GPU集成到单个芯片中。这为优化查询协同处理提供了新的机会。在本文中,我们实验重温哈希连接,最重要的连接算法之一的主存数据库,在一个耦合的CPU-GPU架构。特别是,我们研究了细粒度的协同处理机制的散列连接和不分区。协同处理勾勒出一个有趣的设计空间。我们扩展了现有的成本模型,以自动指导设计空间的决策。我们在最新的AMD APU上的实验结果表明:(1)耦合架构能够实现细粒度的协处理和缓存重用,这在分立的CPU-GPU架构上是低效的;(2)成本模型可以自动指导设计和设计空间中的调整旋钮;(3)细粒度协处理比仅CPU、仅GPU和传统CPU-GPU协处理分别实现高达53%、35%和28%的性能提升。我们相信,从这项研究的见解和影响是初步的,但重要的是进一步研究耦合CPU-GPU架构上的查询协同处理。
2013-07-08 cs.DC
Hybrid CPU-GPU Framework for Network Motifs
由于最近数据的激增,诸如GPU的大规模并行架构变得越来越重要。在本文中,我们提出了一类关键的混合并行graphlet算法,利用多个CPU和GPU同时计算k-顶点诱导子图统计(称为graphlet)。除了混合多核CPU-GPU框架之外,我们还研究了单GPU方法(使用多核)和多GPU方法,这些方法同时利用所有可用的GPU来计算诱导子图统计。这两种方法都只利用GPU设备,而混合多核CPU-GPU框架利用所有可用的多核CPU和多个GPU来计算大型网络中的graphlet。与最近的方法相比,我们的方法速度快了几个数量级,同时也更具成本效益,人均和每瓦性能优越。特别是,该方法比最近的最先进的方法快300倍。据我们所知,这是第一个同时利用多个CPU和GPU来计算诱导子图统计的工作。
2016-10-28 cs.DC cs.SI stat.ML
Execution of Compound Multi-Kernel OpenCL Computations in Multi-CPU/Multi-GPU Environments
当前的计算系统本质上是异构的,其特征在于CPU和GPU的组合。由于后者正在成为高性能计算的既定平台,重点正在转向这些混合系统作为一个整体的无缝编程。现有架构和执行模型的独特性质带来了一些挑战,因为最佳硬件配置取决于行为和工作负载。在本文中,我们解决了在多CPU/多GPU环境中执行复合,多内核,OpenCL计算。我们解决这些计算如何可以有效地调度到目标硬件,以及系统如何可以适应自己的工作量的变化,以处理和波动的CPU的负载。实验评估证明了CPU和GPU设备的联合使用所获得的性能增益,相比仅GPU执行,以及在CPU环境中使用数据局部优化。
2015-10-22 cs.DC
Concurrent CPU-GPU Task Programming using Modern C++
在本文中,我们介绍了Heteroflow,一个新的C++库,以帮助开发人员使用任务依赖图快速编写并行CPU-GPU程序。Heteroflow利用了现代C++和基于任务的方法的强大功能来实现异构分解策略的高效实现。我们新的CPU-GPU编程模型允许用户以一种适应有效分离关注点和专业知识封装的方式来表达问题。与现有库相比,Heteroflow在性能扩展、编程效率和解决方案通用性方面更具成本效益。我们已经在VLSI设计自动化的两个实际应用中评估了Heteroflow,并展示了不同CPU-GPU数量和问题大小的性能可扩展性。在百万级任务处理的超大规模集成电路时序分析的一个特定示例中,Heteroflow在具有40个CPU核心和4个GPU的机器上实现了比基线高出7.7倍的运行时速度(99分钟vs 13分钟)。
2022-03-16 cs.DC
Comparing CPU and GPU compute of PERMANOVA on MI300A
本文在统一 HBM 架构的 AMD MI300A 上评估内存受限的 PERMANOVA,发现 GPU 采用暴力实现显著快于已优化缓存局部性的 CPU 版本,且 SMT 收益明显。
2025-05-07 cs.DC cs.PF q-bio.QM
Efficient CPU-GPU Collaborative Inference for MoE-based LLMs on Memory-Limited Systems
National Taiwan University(台湾大学);National Tsing Hua University(清华大学)
本文提出一种CPU-GPU协同推理框架,通过专家缓存机制减少数据传输并提升推理效率,适用于内存受限系统的MoE大语言模型。
2025-12-18 cs.DC
Dynamic autotuning of adaptive fast multipole methods on hybrid multicore CPU & GPU systems
我们讨论了自适应快速多极方法的实现目标混合多核CPU和GPU系统。根据我们的快速多极算法版本的计算配置文件的先前经验,适当的部分被卸载到GPU,而其余部分被线程化并由CPU并发执行。定义算法的参数会影响性能,通过测量这种影响,我们能够动态地平衡算法以达到最佳性能。我们的设置使用的动态性质的计算,因此是一般的字符。
2014-03-17 cs.DC
Characterizing CPU-Induced Slowdowns in Multi-GPU LLM Inference
Georgia Institute of Technology(佐治亚理工学院)
通过分析多GPU大语言模型推理负载,发现CPU资源不足导致GPU利用率低下,增加CPU核心数可显著提升性能并降低首令牌延迟。
2026-08-28 cs.AR cs.DC
Understanding the Impact of Input Entropy on FPU, CPU, and GPU Power
在高性能GPU加速计算系统中,电源正日益成为一种限制性资源。了解功率变化的范围和来源对于设定机架和系统峰值功率的实际界限以及开发最小化能耗的技术至关重要。虽然之前已经研究了制造过程中产生的变化和其他因素,如算法等,但这项工作表明,程序输入不仅会严重影响GPU的功耗,还会影响CPU的功耗。在NVIDIA Ampere A100 GPU上,对于相同的算法(DGEMM基准测试)和不同矩阵值的输入大小,观察到高达67%的功耗变化。我们的调查表明,作为矩阵元素,它们的位置,它们的唯一性的值强烈影响功耗。这一结果对超级计算机性能和能源效率的影响进行了进一步讨论。
2022-12-17 cs.AR cs.DC cs.PF
Accelerating Mobile Inference through Fine-Grained CPU-GPU Co-Execution
University of Southern California(南加州大学)
本文提出利用细粒度CPU-GPU协同执行机制,通过轻量级同步机制和机器学习模型提升移动设备推理速度,实现线性层和卷积层的加速效果
2026-02-18 cs.DC cs.LG cs.PF
Agentic CPU-GPU Scheduling for Heterogeneous AI Workloads
Brown University(布朗大学)
研究异构人工智能工作负载的调度问题,提出将设备调度制定为三种选项,识别影响延迟的因素,构建智能调度器,该调度器在多种场景下达到最优映射,精度与经典基线匹配且无需离线训练,性能优于其他策略。
2026-07-27 cs.DC
Combining GPU and CPU for accelerating evolutionary computing workloads
本文提出一种依据基准结果动态分配 CPU 与 GPU 模拟任务的混合方案,并通过多类物理模拟模型评估其在进化计算工作负载中的加速潜力。
2025-02-16 cs.DC
TREES: A CPU/GPU Task-Parallel Runtime with Explicit Epoch Synchronization
我们已经开发了一个任务并行运行时系统,称为TREES,这是专为CPU/GPU平台上的高性能。在具有多个CPU的平台上,Cilk的“工作优先”原则是任务并行应用程序如何实现性能的基础,但工作优先不适合GPU。我们以工作第一为基础,创建了“协同工作”原则,以解决GPU的具体优势和劣势。协同工作原则扩展了工作优先原则,指出:(a)关键路线上的间接费用应由整个系统立即支付;(b)工作间接费用应由合作支付。我们在OpenCL中实现了TREES运行时,并在CPU/GPU平台上对TREES应用程序进行了实验评估。
2016-08-01 cs.DC cs.OS cs.PL
A Distributed-memory Tridiagonal Solver Based on a Specialised Data Structure Optimised for CPU and GPU Architectures
本文提出分布式内存三对角求解器DistD2-TDS,利用对角占优特性和专用数据结构减少通信并优化CPU/GPU性能,大规模测试显示可维持约66%的理论峰值带宽。
2024-11-20 cs.DC physics.comp-ph
Performance Engineering of the Kernel Polynomial Method on Large-Scale CPU-GPU Systems
核多项式方法(KPM)是量子物理和量子化学中确定大型稀疏矩阵的特征值密度和谱性质的一种行之有效的方法。在这项工作中,我们展示了高优化潜力和千万亿次异构CPU-GPU实现的KPM的可行性。在节点级,我们表明,它是可能的解耦的稀疏矩阵问题所造成的KPM从主内存带宽的CPU和GPU。为了减轻分散的数据访问的影响,我们结合松散耦合的外部迭代与紧密耦合的块稀疏矩阵多向量操作,这使得纯数据流。所有优化都由性能分析和建模过程指导,该过程指示计算瓶颈如何随着每个优化步骤而变化。最后,我们使用优化的节点级KPM与混合并行框架进行大规模的非均质电子结构计算的新拓扑材料的千万亿次级Cray XC 30系统。
2015-07-29 cond-mat.mes-hall cs.CE cs.DC
Efficient Irregular Wavefront Propagation Algorithms on Hybrid CPU-GPU Machines
在本文中,我们解决的问题,高效执行的计算模式,在这里被称为不规则波前传播模式(IWPP),在混合动力系统与多个CPU和GPU。IWPP在若干图像处理操作中是通用的。在IWPP中,如果满足传播条件,则波前中的数据元素将波传播到网格上的其相邻元素。接收传播波的元件成为波前的一部分。这种模式导致不规则的数据访问和计算。我们开发和评估的策略,使用多级队列结构的波前的有效计算和传播。这种队列结构提高了GPU中快速存储器的利用率,并减少了同步开销。我们还开发了一个基于瓦片的并行化策略,以支持在多个CPU和GPU上执行。我们评估我们的方法在一个国家的最先进的GPU加速机器(配备3个GPU和2个多核CPU)使用IWPP实现两个广泛使用的图像处理操作:形态重建和欧氏距离变换。我们的研究结果表明,GPU的性能显着改善。多个CPU和GPU的协同使用相对于单核CPU执行分别实现了50倍和85倍的加速比,用于形态重建和欧几里得距离变换。
2012-09-14 cs.DC cs.DS
Measurement-Driven Diagnosis and Mitigation of Host-CPU Co-location Interference in Single-GPU LLM Serving on a Multi-GPU Server
School of Software Technology, Zhejiang University(浙江大学软件学院)
针对单GPU LLM服务中主机CPU共置干扰问题,提出测量驱动的诊断程序CoTail,通过核心路径尾部指数和核心尾部抑制指标,筛选风险、分析尾部、选择OS级保护并验证SLO,显著提升吞吐量并降低延迟。
2026-09-09 cs.DC
Performance Comparison Between OpenCV Built in CPU and GPU Functions on Image Processing Operations
图像处理是数字信号处理的一个专门领域,它包含各种数学和代数运算,如矩阵求逆、矩阵转置、导数、卷积、傅立叶变换等。这些运算需要比计算机日常使用目的更高的计算能力。在这一点上,随着图像大小的增加和更复杂的操作,CPU可能无法令人满意,因为它们默认使用串行处理。GPU是与CPU相比速度更快的解决方案,因为它们的并行处理/计算性质。CUDA是NVIDIA公司开发的一种并行计算平台和编程模型,由NVIDIA公司生产的图形处理器(GPU)实现。本文将在OpenCV的内置的CPU和使用CUDA的GPU函数上比较一些常用的图像处理操作的计算性能。
2019-06-20 cs.DC
TURNIP: A "Nondeterministic" GPU Runtime with CPU RAM Offload
本文提出TURNIP系统,通过将AI计算编译为依赖图并在运行时根据实时事件动态选择操作顺序,解决CPU卸载中内存传输的非确定性问题,从而在利用CPU RAM扩展存储的同时避免计算阻塞。
2024-10-03 cs.DC
NeutronOrch: Rethinking Sample-based GNN Training under CPU-GPU Heterogeneous Environments
Northeastern University(东北大学)
针对CPU-GPU异构环境下现有GNN训练任务编排方法资源利用率低的问题,提出NeutronOrch系统,采用基于层的任务编排与细粒度流水线设计,实现CPU与GPU均衡利用,最高达11.51倍性能加速。
2023-12-12 cs.DC cs.LG
pytest-gpu-proof: Enabling Cloud-CPU Continuous Integration for GPU Code with Local GPU Attestation
Dartmouth College(达特茅斯学院)
针对云 GPU CI 成本高导致 GPU 代码测试不足的问题,提出开源 pytest 插件 pytest-gpu-proof,通过本地运行并签名凭证,实现将 GPU 测试集成到标准 CPU CI 工作流中。
2026-09-25 cs.DC cs.SE
APEX: Asynchronous Parallel CPU-GPU Execution for Online LLM Inference on Constrained GPUs
Virginia Tech(弗吉尼亚理工大学)
APEX通过动态调度策略提升受限GPU上的LLM推理效率,提高吞吐量并保持延迟。
2026-01-14 cs.DC
Blink: CPU-Free LLM Inference by Delegating the Serving Stack to GPU and SmartNIC
KTH Royal Institute of Technology(瑞典皇家理工学院)
Blink通过将服务栈责任转移至GPU和智能网卡,消除主机CPU在推理路径中的作用,从而提升LLM推理性能,减少延迟并提高吞吐量。
2026-04-08 cs.DC cs.LG cs.OS
CPU and GPU Accelerated Fully Homomorphic Encryption
全同态加密(FHE)是隐私保护中最有前途的技术之一,因为它允许对加密数据进行任意数量的函数计算。然而,这些FHE系统的计算成本限制了它们的广泛应用。在本文中,我们的目标是通过设计高效的并行框架,以提高性能的FHE计划。特别地,我们选择环面全同态加密(TFHE),因为它为无限数量的布尔门(例如,AND、XOR)评估。我们首先将门操作扩展到代数电路,如加法,乘法,以及它们的向量和矩阵等价物。其次,我们考虑多核CPU来提高门和算术运算的效率。最后,我们将TFHE移植到图形处理单元(GPU),并对采用多个内核的布尔和算术电路进行了新的优化。我们还通过实验分析了不同数值表示(16至32位)的CPU和GPU并行框架。我们的GPU实现优于现有的技术,它实现了20倍的加速任何32位布尔运算和14.5倍的乘法。
2020-05-05 cs.CR cs.DC cs.PF
A Hybrid Multi-GPU Implementation of Simplex Algorithm with CPU Collaboration
单纯形算法已成功地用于求解线性规划问题多年。由于所需的密集计算(特别是对于大型LP问题的解决方案),并行方法也得到了广泛的研究。现代GPU提供的计算能力以及多核CPU系统的快速发展,使OpenMP和CUDA编程模型在过去几年中成为首选。然而,通过结合使用上述编程模型,CPU和GPU之间所需的高效协作仍然被认为是一个很难的研究问题。在上述背景下,我们在这里展示了标准单工的高效实现,目标是在具有多个支持CUDA的GPU的多核平台上最大限度地利用所有计算资源的并发使用。更具体地说,我们提出了一种新的混合协作方案,这是基于适当的分散CPU分配(通过多线程)和GPU卸载计算的并发执行。通过在一个非常强大的现代混合平台(由32个核心和两个高规格GPU组成,Titan Rtx和Rtx 2080 Ti)上合作使用OpenMP和CUDA提取的实验结果突出显示,这里提出的混合GPU/CPU协作方案的性能在几乎所有条件下都明显优于仅GPU实现。相应的测量验证了并发使用所有资源的价值,即使是在多GPU配置平台的情况下。此外,给定的实现与参考书目中的其他相关尝试完全相当(在大多数情况下略优于),并且明显优于具有32个内核的本机CPU实现。
2022-11-20 cs.DC
Heterogeneous CPU+GPU Stochastic Gradient Descent Algorithms
University of California Merced(加州大学默塞德分校)
广泛采用的做法是使用专用硬件加速器训练深度学习模型,例如,GPU或TPU,由于其在线性代数运算上的卓越性能。然而,这种策略并没有有效地利用大量的CPU和内存资源--它们只用于预处理、数据传输和调度--这些资源在加速服务器上默认可用。在本文中,我们研究了异构CPU + GPU架构上的深度学习训练算法。我们的双重目标-同时最大化收敛速度和资源利用率-使问题具有挑战性。为了允许对设计空间进行原则性探索,我们首先介绍了一个通用的深度学习框架,该框架通过异步消息传递利用CPU和GPU之间的计算能力和存储层次结构的差异。通过实验的框架获得的见解的基础上,我们设计了两个异构异步随机梯度下降(SGD)算法。第一种算法-CPU + GPU Hogbatch-将CPU上的小批量与GPU上的大批量相结合,以最大限度地利用两种资源。然而,这会产生一个不平衡的模型更新分布,这阻碍了统计收敛。第二种算法-自适应Hogbatch-根据CPU和GPU的相对速度分配具有不断变化的大小的批次。这以可定制的利用率降低为代价来平衡模型更新率。我们表明,在拟议的CPU + GPU框架中实现这些算法,在几个真实数据集和两个计算架构(本地服务器和云实例)上实现了比TensorFlow更快的收敛和更高的资源利用率。
2020-04-19 cs.DB cs.DC cs.LG
Co-Design and Evaluation of a CPU-Free MPI GPU Communication Abstraction and Implementation
University of New Mexico(新墨西哥大学);Oak Ridge National Laboratory(橡树岭国家实验室);Tennessee Tech University(田纳西科技大学);University of Alabama(阿拉巴马大学);Center for Computing Research Sandia National Laboratories(桑迪亚国家实验室计算研究中心)
本文提出了一种无CPU的MPI GPU通信API,通过利用MPI扩展和HPE网络卡能力,实现了高效且易用的GPU通信,实验显示其在GPU通信和强标量扩展中性能提升显著。
2026-03-05 cs.DC
From Task-Based GPU Work Aggregation to Stellar Mergers: Turning Fine-Grained CPU Tasks into Portable GPU Kernels
同时满足可扩展性和性能可移植性要求对于任何HPC应用程序都是一个挑战,特别是对于自适应改进的应用程序。在用于模拟恒星合并的天体物理学应用程序Tiger-Tiger中,我们使用现有的解决方案来实现这一点:我们使用HPX来获得细粒度的任务,以轻松分配工作并精细地重叠通信和计算。对于计算本身,我们使用Kokkos将这些任务转换为能够在从几个CPU内核到强大加速器的硬件上运行的计算内核。然而,有一个缺失的环节:虽然HPX暴露的细粒度并行性对可扩展性很有用,但当任务变得太小而无法使设备饱和时,它可能会阻碍GPU性能,从而导致资源利用率低下。为了弥补这一差距,我们调查了Tiger中多种不同的GPU工作聚合策略,添加了一种新策略,并评估了节点级性能对最新AMD和NVIDIA GPU的影响,实现了明显的加速。
2023-03-04 cs.DC
GPU First -- Execution of Legacy CPU Codes on GPUs
本文提出名为“GPU First”的新型编译方案,无需修改源码即可自动将传统CPU应用编译为GPU代码,通过部分libc GPU实现或远程过程调用解析库函数,在多个基准测试中实现高达14.36倍加速,有效指导大型传统应用的GPU移植。
2023-06-26 cs.DC
AccFFT: A library for distributed-memory FFT on CPU and GPU architectures
我们提出了一个新的库并行分布式快速傅立叶变换(FFT)。FFT在科学和工程中的重要性以及高性能计算的进步需要进一步改进。AccFFT将支持CUDA的图形处理单元(GPU)的现有FFT库扩展到分布式内存集群。我们使用重叠的通信方法来减少PCIe从/到GPU的传输开销。我们目前的数值计算结果小牛平台在得克萨斯州高级计算中心(TACC)和泰坦系统在橡树岭国家实验室(ORNL)。我们将库扩展到Titan的4,096个K20 GPU。
2016-05-25 cs.DC
NEO: Saving GPU Memory Crisis with CPU Offloading for Online LLM Inference
Peking University(北京大学);UC Berkeley(加州大学伯克利分校);UC Davis(加州大学戴维斯分校);Harvard University(哈佛大学)
针对在线LLM推理中GPU内存不足限制批大小与吞吐量的问题,提出NEO系统通过CPU卸载部分注意力计算与KV缓存,结合非对称流水线与负载感知调度,在多场景下显著提升推理吞吐量。
2024-11-02 cs.AI cs.DC cs.LG
Characterizing and Optimizing LLM Inference Workloads on CPU-GPU Coupled Architectures
Carnegie Mellon University(卡内基梅隆大学);Samsung Semiconductor, Inc.(三星半导体公司)
本文研究了CPU-GPU耦合架构上大语言模型推理工作负载的性能特性,揭示了GH200在大批次时的性能优势及CPU瓶颈,并提出通过内核融合优化低批次延迟的方法。
2025-04-16 cs.AI cs.AR cs.DC
Multi-GPU Communication Schemes for Iterative Solvers: When CPUs are Not in Charge
Koç University(科奇大学);RIKEN(理化学研究所)
本文提出一种完全排除CPU参与的多GPU自主执行模型,利用现有技术编写自主多GPU代码,在8个NVIDIA A100 GPU上使3D雅可比模板通信延迟降58.8%、共轭梯度加速1.63倍。
2026-10-14 cs.DC
Comparative Analysis of CPU and GPU Profiling for Deep Learning Models
Louisiana State University(路易斯安那州立大学)
本文使用 PyTorch 追踪并比较深度神经网络训练时 CPU 与 GPU 的时间和内存分配,证明 GPU 更适合复杂深度网络,但对简单网络提升有限。
2023-12-09 cs.DC cs.LG
Performance Analysis of Noise Subspace-based Narrowband Direction-of-Arrival (DOA) Estimation Algorithms on CPU and GPU
阵列信号处理问题的高性能计算是一项关键任务,因为许多应用都需要实时系统性能。基于噪声子空间的波达方向(DOA)估计算法因其具有较高的角分辨率和鲁棒性而受到广泛关注。在这项研究中,我们研究了各种优化策略的高性能DOA估计GPU和比较分析替代实现(MATLAB,C/C++和CUDA)。实验表明,与基准多线程CPU实现相比,GPU上可以实现高达3.1倍的加速比。源代码可在以下链接中公开获得:https://github.com/erayhamza/NssDOACuda
2020-07-28 cs.DC eess.SP
Universal Quantum Computer Simulation of 50 Qubits on Europe`s First Exascale Supercomputer Harnessing Its Heterogeneous CPU-GPU Architecture
Jülich Supercomputing Centre, Forschungzentrum Jülich(于利希超级计算中心,于利希研究中心);NVIDIA(英伟达)
本文提出了一种新的高性能通用量子计算机模拟器JUQCS-50,利用GH200超级芯片的关键特性,在欧洲首个exascale超级计算机上实现了50个量子比特的通用量子计算机模拟,通过三个创新方法实现了16.6倍的速度提升。
2026-05-20 cs.DC physics.comp-ph quant-ph
Tensor Contractions with Extended BLAS Kernels on CPU and GPU
张量压缩构成了数值多线性代数的关键计算成分。然而,随着张量的阶数和维数的增长,基于张量的计算的时间和空间复杂度快速增长。张量收缩的现有方法通常涉及显式复制和转置操作。在本文中,我们提出并评估了一个新的BLAS-like的原始的mendedbatchedgemm,能够有效地执行广泛的张量收缩的CPU和GPU。通过系统的基准测试,我们证明了我们的方法比传统方法的优势。具体地说,我们实现了塔克分解,并表明使用我们的内核产生100倍的加速比使用现有的国家的最先进的库的实现。
2016-10-02 cs.DC
Orchestrated Co-scheduling, Resource Partitioning, and Power Capping on CPU-GPU Heterogeneous Systems via Machine Learning
本文针对CPU-GPU异构系统,提出基于机器学习的预测性能建模方法,协同优化程序共置调度、CPU/GPU资源划分和功率封顶,在真实系统上相比朴素时间共享调度和均分功率封顶实现最高67%加速。
2024-05-06 cs.DC
Harnessing Integrated CPU-GPU System Memory for HPC: a first look into Grace Hopper
本文首次深入研究Grace Hopper超级芯片的集成CPU-GPU系统内存在HPC场景下的内存管理特性,通过6个代表性应用测试量化其影响并给出优化策略,验证了系统分配内存的低移植成本与普适收益。
2024-07-10 cs.DC
A hybrid CPU-GPU parallelization scheme of variable neighborhood search for inventory optimization problems
在本文中,我们研究了不同的并行化方案的可变邻域搜索(VNS)元启发式的CPU-GPU系统通过OpenMP和OpenACC。一个混合并行VNS方法应用于最近的基准问题的实例,多产品的产品退货和回收的动态批量问题,出现在逆向物流,这是已知的NP-难。我们报告我们的研究结果,这些并行化的方法和目前有前途的计算结果。
2017-04-17 cs.DC cs.DM cs.NE
Signal Processing for a Reverse-GPS Wildlife Tracking System: CPU and GPU Implementation Experiences
我们提出了强大的高性能实现的高吞吐量的野生动物跟踪系统ATLAS执行的信号处理任务。该系统通过估计无线电数据包到达多个接收器(基站)的时间来跟踪附着在野生动物身上的无线电发射器。宽带无线电信号的到达时间估计在计算上是昂贵的,特别是在捕获模式下(当传输时间未知时,甚至不近似)。这些计算是限制系统吞吐量的瓶颈。几年前,我们开发了一个连续的高性能CPU计算实现,最近又开发了一个GPU实现。两者都努力在性能与简单性、可维护性和开发工作之间取得平衡,就像大多数真实世界的代码一样。本文报告了这两种实现并仔细评估了它们的性能。评估表明,GPU实现显着提高性能和功率性能相对于在当前基站中的计算机的典型桌面CPU上运行的顺序CPU实现。性能在高端GPU上提高了50倍以上,在GPU平台上提高了4倍以上,功耗几乎是CPU平台的5倍。每瓦性能比也有所提高(提高了16倍以上),性价比也有所提高。
2021-05-27 cs.DC cs.MS
Parallelizing the Unpacking and Clustering of Detector Data for Reconstruction of Charged Particle Tracks on Multi-core CPUs and Many-core GPUs
我们提出的结果从并行化的解包和聚类步骤的原始数据从硅带模块重建带电粒子轨道。通过在CPU上使用嵌套的OpenMP并行性或在GPU上使用CUDA流来并发处理多个事件,吞吐量得到进一步改进。新的实现以及早期的工作,在开发一个并行化和矢量化的组合卡尔曼滤波器算法的实现,使整个事件的有效的全球重建现代计算机架构。我们展示了在英特尔至强和NVIDIA GPU架构上的新实现的性能。
2021-01-27 cs.DC hep-ex