Summarizing CPU and GPU Design Trends with Product Data
摩尔定律和Dennard Scaling在过去几十年中一直指导着半导体行业。最近，随着晶体管尺寸接近物理学的实际极限，这两个定律都面临着有效性的挑战。我们有兴趣测试这些法律的有效性，并反思责任的原因。在这项工作中，我们收集了4000多个公开的CPU和GPU产品的数据。我们发现，晶体管的缩放仍然是至关重要的，在保持法律有效。然而，建筑解决方案变得越来越重要，并将在未来发挥更大的作用。我们观察到GPU始终提供比CPU更高的性能。由于GPU频率的提高、热设计功耗（TDP）的改善以及芯片尺寸的增长，GPU性能持续提升。但我们也看到GPU与CPU性能的比率越来越接近平价，这要归功于CPU上新的SIMD扩展和CPU核心数量的增加。
2020-07-13 cs.DC
Hybrid KNN-Join: Parallel Nearest Neighbor Searches Exploiting CPU and GPU Architectural Features
K最近邻（KNN）连接用于科学领域的数据分析，并且是几种知名算法的构建块。KNN连接查找数据集中所有点的KNN。本文重点介绍了一种低维KNN连接的混合CPU/GPU方法，其中GPU可能不会产生比并行CPU算法更大的性能增益。我们利用一个工作队列，优先计算GPU上的高密度区域和CPU上的低密度区域中的数据点，从而利用每个架构的相对优势。我们的方法HybridKNN-Join有效地增强了最先进的多核CPU算法。我们提出的优化，$(i)$最大限度地提高GPU查询吞吐量分配GPU大批量的工作; $(ii)$增加工作负载粒度，以优化GPU的利用率;和，$(iii)$限制CPU和GPU架构之间的负载不平衡。我们比较HybridKNN-Join到一个GPU和两个并行CPU参考实现。与参考实现相比，我们发现混合算法在较大的工作负载（数据集大小和K）上表现最好。本文所采用的方法显示出在其他混合算法的一般分工的承诺。
2020-11-17 cs.DC
Analyzing the Performance Portability of SYCL across CPUs, GPUs, and Hybrid Systems with SW Sequence Alignment
本研究通过SW序列比对案例，系统评估了SYCL在NVIDIA、Intel和AMD的CPU、GPU及混合架构上的性能可移植性，证明其可作为异构计算环境中可行的统一编程模型。
2025-04-14 cs.DC
CPU-GPU Heterogeneous Code Acceleration of a Finite Volume Computational Fluid Dynamics Solver
本文研究有限体积CFD求解器SENSEI的CPU-GPU异构加速，提出考虑ghost cell交换的性能模型，并通过超声速进气道算例验证异构计算相比纯CPU或纯GPU的性能优势。
2023-05-29 cs.DC cs.PF
Revisiting Co-Processing for Hash Joins on the Coupled CPU-GPU Architecture
在图形处理器（GPU）上进行查询协同处理已成为提高内存数据库性能的有效手段。然而，PCI-e总线的相对低的带宽和高延迟通常是协处理的瓶颈问题。最近，耦合的CPU-GPU架构受到了很多关注，例如，AMD APU将CPU和GPU集成到单个芯片中。这为优化查询协同处理提供了新的机会。在本文中，我们实验重温哈希连接，最重要的连接算法之一的主存数据库，在一个耦合的CPU-GPU架构。特别是，我们研究了细粒度的协同处理机制的散列连接和不分区。协同处理勾勒出一个有趣的设计空间。我们扩展了现有的成本模型，以自动指导设计空间的决策。我们在最新的AMD APU上的实验结果表明：（1）耦合架构能够实现细粒度的协处理和缓存重用，这在分立的CPU-GPU架构上是低效的;（2）成本模型可以自动指导设计和设计空间中的调整旋钮;（3）细粒度协处理比仅CPU、仅GPU和传统CPU-GPU协处理分别实现高达53%、35%和28%的性能提升。我们相信，从这项研究的见解和影响是初步的，但重要的是进一步研究耦合CPU-GPU架构上的查询协同处理。
2013-07-08 cs.DC
Large-Scale Geospatial Processing on Multi-Core and Many-Core Processors: Evaluations on CPUs, GPUs and MICs
地理空间处理，例如基于点到点最短距离和点在多边形测试的查询，是许多科学和工程应用的基础，包括后处理大规模环境和气候模型输出以及分析交通工程和城市研究中大量GPS收集的交通和出行模式。商用并行硬件，如多核CPU，众核GPU和英特尔MIC加速器，提供了巨大的计算能力，可以在现有的地理空间处理上实现显着的加速，并为新的应用程序打开机会。然而，这些新的硬件设备上的地理空间处理的可实现的潜力在很大程度上是未知的，由于在移植串行算法到不同的并行硬件平台的复杂性。在这项研究中，我们的目标是实验我们的数据并行设计和实现的点到点的最短距离计算（P2P）和点在多边形拓扑测试（PIP）在不同的商品硬件使用真正的大规模地理空间数据，比较它们的性能和讨论的重要因素，可能会显着影响性能。我们的实验表明，虽然GPU可以比多核CPU快几倍，而无需利用多核CPU和MIC附带的向量处理单元（VPU）上日益可用的SIMD计算能力，但当使用VPU时，多核CPU和MIC可以比GPU快几倍。通过采用领域特定语言（DSL）的方法来开发VPU在地理空间处理中的计算能力，我们摆脱了直接编写SIMD内部函数的束缚，这使得新方法更加有效、可移植和可扩展。我们的设计，实现和实验可以作为现代商品并行硬件上的并行地理空间计算的案例研究。
2014-03-04 cs.DB cs.DC
Execution of Compound Multi-Kernel OpenCL Computations in Multi-CPU/Multi-GPU Environments
当前的计算系统本质上是异构的，其特征在于CPU和GPU的组合。由于后者正在成为高性能计算的既定平台，重点正在转向这些混合系统作为一个整体的无缝编程。现有架构和执行模型的独特性质带来了一些挑战，因为最佳硬件配置取决于行为和工作负载。在本文中，我们解决了在多CPU/多GPU环境中执行复合，多内核，OpenCL计算。我们解决这些计算如何可以有效地调度到目标硬件，以及系统如何可以适应自己的工作量的变化，以处理和波动的CPU的负载。实验评估证明了CPU和GPU设备的联合使用所获得的性能增益，相比仅GPU执行，以及在CPU环境中使用数据局部优化。
2015-10-22 cs.DC
Concurrent CPU-GPU Task Programming using Modern C++
在本文中，我们介绍了Heteroflow，一个新的C++库，以帮助开发人员使用任务依赖图快速编写并行CPU-GPU程序。Heteroflow利用了现代C++和基于任务的方法的强大功能来实现异构分解策略的高效实现。我们新的CPU-GPU编程模型允许用户以一种适应有效分离关注点和专业知识封装的方式来表达问题。与现有库相比，Heteroflow在性能扩展、编程效率和解决方案通用性方面更具成本效益。我们已经在VLSI设计自动化的两个实际应用中评估了Heteroflow，并展示了不同CPU-GPU数量和问题大小的性能可扩展性。在百万级任务处理的超大规模集成电路时序分析的一个特定示例中，Heteroflow在具有40个CPU核心和4个GPU的机器上实现了比基线高出7.7倍的运行时速度（99分钟vs 13分钟）。
2022-03-16 cs.DC
Efficient CPU-GPU Collaborative Inference for MoE-based LLMs on Memory-Limited Systems
National Taiwan University（台湾大学）；National Tsing Hua University（清华大学）
本文提出一种CPU-GPU协同推理框架，通过专家缓存机制减少数据传输并提升推理效率，适用于内存受限系统的MoE大语言模型。
2025-12-18 cs.DC
Dynamic autotuning of adaptive fast multipole methods on hybrid multicore CPU & GPU systems
我们讨论了自适应快速多极方法的实现目标混合多核CPU和GPU系统。根据我们的快速多极算法版本的计算配置文件的先前经验，适当的部分被卸载到GPU，而其余部分被线程化并由CPU并发执行。定义算法的参数会影响性能，通过测量这种影响，我们能够动态地平衡算法以达到最佳性能。我们的设置使用的动态性质的计算，因此是一般的字符。
2014-03-17 cs.DC
Hybrid CPU-GPU Framework for Network Motifs
由于最近数据的激增，诸如GPU的大规模并行架构变得越来越重要。在本文中，我们提出了一类关键的混合并行graphlet算法，利用多个CPU和GPU同时计算k-顶点诱导子图统计（称为graphlet）。除了混合多核CPU-GPU框架之外，我们还研究了单GPU方法（使用多核）和多GPU方法，这些方法同时利用所有可用的GPU来计算诱导子图统计。这两种方法都只利用GPU设备，而混合多核CPU-GPU框架利用所有可用的多核CPU和多个GPU来计算大型网络中的graphlet。与最近的方法相比，我们的方法速度快了几个数量级，同时也更具成本效益，人均和每瓦性能优越。特别是，该方法比最近的最先进的方法快300倍。据我们所知，这是第一个同时利用多个CPU和GPU来计算诱导子图统计的工作。
2016-10-28 cs.DC cs.SI stat.ML
Agentic CPU-GPU Scheduling for Heterogeneous AI Workloads
Brown University（布朗大学）
研究异构人工智能工作负载的调度问题，提出将设备调度制定为三种选项，识别影响延迟的因素，构建智能调度器，该调度器在多种场景下达到最优映射，精度与经典基线匹配且无需离线训练，性能优于其他策略。
2026-07-27 cs.DC
Combining GPU and CPU for accelerating evolutionary computing workloads
本文提出一种依据基准结果动态分配 CPU 与 GPU 模拟任务的混合方案，并通过多类物理模拟模型评估其在进化计算工作负载中的加速潜力。
2025-02-16 cs.DC
Measurement-Driven Diagnosis and Mitigation of Host-CPU Co-location Interference in Single-GPU LLM Serving on a Multi-GPU Server
School of Software Technology, Zhejiang University（浙江大学软件学院）
针对单GPU LLM服务中主机CPU共置干扰问题，提出测量驱动的诊断程序CoTail，通过核心路径尾部指数和核心尾部抑制指标，筛选风险、分析尾部、选择OS级保护并验证SLO，显著提升吞吐量并降低延迟。
2026-09-09 cs.DC
Performance Comparison Between OpenCV Built in CPU and GPU Functions on Image Processing Operations
图像处理是数字信号处理的一个专门领域，它包含各种数学和代数运算，如矩阵求逆、矩阵转置、导数、卷积、傅立叶变换等。这些运算需要比计算机日常使用目的更高的计算能力。在这一点上，随着图像大小的增加和更复杂的操作，CPU可能无法令人满意，因为它们默认使用串行处理。GPU是与CPU相比速度更快的解决方案，因为它们的并行处理/计算性质。CUDA是NVIDIA公司开发的一种并行计算平台和编程模型，由NVIDIA公司生产的图形处理器（GPU）实现。本文将在OpenCV的内置的CPU和使用CUDA的GPU函数上比较一些常用的图像处理操作的计算性能。
2019-06-20 cs.DC
TURNIP: A "Nondeterministic" GPU Runtime with CPU RAM Offload
本文提出TURNIP系统，通过将AI计算编译为依赖图并在运行时根据实时事件动态选择操作顺序，解决CPU卸载中内存传输的非确定性问题，从而在利用CPU RAM扩展存储的同时避免计算阻塞。
2024-10-03 cs.DC
Characterizing CPU-Induced Slowdowns in Multi-GPU LLM Inference
Georgia Institute of Technology（佐治亚理工学院）
通过分析多GPU大语言模型推理负载，发现CPU资源不足导致GPU利用率低下，增加CPU核心数可显著提升性能并降低首令牌延迟。
2026-08-28 cs.AR cs.DC
APEX: Asynchronous Parallel CPU-GPU Execution for Online LLM Inference on Constrained GPUs
Virginia Tech（弗吉尼亚理工大学）
APEX通过动态调度策略提升受限GPU上的LLM推理效率，提高吞吐量并保持延迟。
2026-01-14 cs.DC
Approximate Similarity Search for Online Multimedia Services on Distributed CPU-GPU Platforms
高维空间中的相似性搜索是各种数据库应用中的关键操作。最近，已经有越来越多的兴趣在相似性搜索的在线基于内容的多媒体服务。然而，这些服务带来了新的挑战，因为必须对大量数据进行索引/搜索，而且需要尽量缩短最终用户观察到的响应时间。此外，这些用户与系统动态交互，导致查询请求率波动，需要搜索算法进行调整，以便更好地利用下划线硬件来减少响应时间。为了解决这些挑战，我们引入hypercurves，一个灵活的框架，回答近似k-最近邻（kNN）查询非常大的多媒体数据库，针对在线基于内容的多媒体服务。Hypercurves在混合CPU-GPU环境中执行，并且能够协同使用这些设备来支持大规模的查询请求速率。为了在请求率变化时保持最佳的响应时间，它采用了一种新型的动态调度器来在CPU和GPU之间划分工作。使用多媒体描述符的大型数据库对Hypercurves进行了全面评估。与单CPU核心版本相比，其协同CPU-GPU执行实现了高达30倍的性能提升。与最佳静态CPU-GPU任务分区配置相比，动态工作分区机制将观察到的查询响应时间减少了约50%。此外，Hypercurves在分布式（多节点）执行中实现了超线性可扩展性，同时保持了与其顺序版本的高度等价性--这要归功于概率等价性的证明，这支持了其积极的并行化设计。
2012-09-03 cs.DB cs.DC cs.MM
Chrion: Optimizing Recurrent Neural Network Inference by Collaboratively Utilizing CPUs and GPUs
针对循环神经网络推理优化问题，提出协同利用CPU与GPU的Chrion系统，将模型部署建模为异质设备有向无环图NP难调度问题，可显著降低推理延迟与GPU内存占用。
2023-07-21 cs.DC
A Hybrid Multi-GPU Implementation of Simplex Algorithm with CPU Collaboration
单纯形算法已成功地用于求解线性规划问题多年。由于所需的密集计算（特别是对于大型LP问题的解决方案），并行方法也得到了广泛的研究。现代GPU提供的计算能力以及多核CPU系统的快速发展，使OpenMP和CUDA编程模型在过去几年中成为首选。然而，通过结合使用上述编程模型，CPU和GPU之间所需的高效协作仍然被认为是一个很难的研究问题。在上述背景下，我们在这里展示了标准单工的高效实现，目标是在具有多个支持CUDA的GPU的多核平台上最大限度地利用所有计算资源的并发使用。更具体地说，我们提出了一种新的混合协作方案，这是基于适当的分散CPU分配（通过多线程）和GPU卸载计算的并发执行。通过在一个非常强大的现代混合平台（由32个核心和两个高规格GPU组成，Titan Rtx和Rtx 2080 Ti）上合作使用OpenMP和CUDA提取的实验结果突出显示，这里提出的混合GPU/CPU协作方案的性能在几乎所有条件下都明显优于仅GPU实现。相应的测量验证了并发使用所有资源的价值，即使是在多GPU配置平台的情况下。此外，给定的实现与参考书目中的其他相关尝试完全相当（在大多数情况下略优于），并且明显优于具有32个内核的本机CPU实现。
2022-11-20 cs.DC
Co-Design and Evaluation of a CPU-Free MPI GPU Communication Abstraction and Implementation
University of New Mexico（新墨西哥大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；Tennessee Tech University（田纳西科技大学）；University of Alabama（阿拉巴马大学）；Center for Computing Research Sandia National Laboratories（桑迪亚国家实验室计算研究中心）
本文提出了一种无CPU的MPI GPU通信API，通过利用MPI扩展和HPE网络卡能力，实现了高效且易用的GPU通信，实验显示其在GPU通信和强标量扩展中性能提升显著。
2026-03-05 cs.DC
From Task-Based GPU Work Aggregation to Stellar Mergers: Turning Fine-Grained CPU Tasks into Portable GPU Kernels
同时满足可扩展性和性能可移植性要求对于任何HPC应用程序都是一个挑战，特别是对于自适应改进的应用程序。在用于模拟恒星合并的天体物理学应用程序Tiger-Tiger中，我们使用现有的解决方案来实现这一点：我们使用HPX来获得细粒度的任务，以轻松分配工作并精细地重叠通信和计算。对于计算本身，我们使用Kokkos将这些任务转换为能够在从几个CPU内核到强大加速器的硬件上运行的计算内核。然而，有一个缺失的环节：虽然HPX暴露的细粒度并行性对可扩展性很有用，但当任务变得太小而无法使设备饱和时，它可能会阻碍GPU性能，从而导致资源利用率低下。为了弥补这一差距，我们调查了Tiger中多种不同的GPU工作聚合策略，添加了一种新策略，并评估了节点级性能对最新AMD和NVIDIA GPU的影响，实现了明显的加速。
2023-03-04 cs.DC
Importance of Explicit Vectorization for CPU and GPU Software Performance
当前高性能计算的大部分焦点是多线程、多计算和图形处理单元（GPU）计算。然而，向量化和非并行优化技术，往往可以采用额外的，不经常讨论。在本文中，我们提出了一个分析的几个优化上完成的中央处理器（CPU）和GPU实现的一个特定的计算密集型大都市蒙特卡罗算法。显式向量化的CPU和等价的，显式内存合并，在GPU上被发现是至关重要的，以实现良好的性能，该算法在这两种环境中。完全优化的CPU版本实现了9倍到12倍的速度比原来的CPU版本，除了从多线程加速。这比完全优化的GPU版本快2倍。
2010-03-31 cs.DC cs.PF physics.comp-ph
Efficient Irregular Wavefront Propagation Algorithms on Hybrid CPU-GPU Machines
在本文中，我们解决的问题，高效执行的计算模式，在这里被称为不规则波前传播模式（IWPP），在混合动力系统与多个CPU和GPU。IWPP在若干图像处理操作中是通用的。在IWPP中，如果满足传播条件，则波前中的数据元素将波传播到网格上的其相邻元素。接收传播波的元件成为波前的一部分。这种模式导致不规则的数据访问和计算。我们开发和评估的策略，使用多级队列结构的波前的有效计算和传播。这种队列结构提高了GPU中快速存储器的利用率，并减少了同步开销。我们还开发了一个基于瓦片的并行化策略，以支持在多个CPU和GPU上执行。我们评估我们的方法在一个国家的最先进的GPU加速机器（配备3个GPU和2个多核CPU）使用IWPP实现两个广泛使用的图像处理操作：形态重建和欧氏距离变换。我们的研究结果表明，GPU的性能显着改善。多个CPU和GPU的协同使用相对于单核CPU执行分别实现了50倍和85倍的加速比，用于形态重建和欧几里得距离变换。
2012-09-14 cs.DC cs.DS
GPU First -- Execution of Legacy CPU Codes on GPUs
本文提出名为“GPU First”的新型编译方案，无需修改源码即可自动将传统CPU应用编译为GPU代码，通过部分libc GPU实现或远程过程调用解析库函数，在多个基准测试中实现高达14.36倍加速，有效指导大型传统应用的GPU移植。
2023-06-26 cs.DC
Block-Relaxation Methods for 3D Constant-Coefficient Stencils on GPUs and Multicore CPUs
块迭代法作为多重网格法的光滑器、Krylov方法的预处理器和对角占优线性方程组的求解器是非常重要的。开发适用于当前和不断发展的GPU和多核CPU系统的强大而高效的算法是一项重大挑战。我们解决这个问题的情况下，常系数的stenestransom结构的三维均匀和自适应细化网格上的椭圆型偏微分方程的解决方案中产生的。鲁棒性，高度并行实现块雅可比和混沌块高斯-赛德尔算法的块精确反演开发使用不同的并行化技术。NVIDIA费米GPU和AMD多核系统的实验结果。
2019-07-15 cs.DC
TREES: A CPU/GPU Task-Parallel Runtime with Explicit Epoch Synchronization
我们已经开发了一个任务并行运行时系统，称为TREES，这是专为CPU/GPU平台上的高性能。在具有多个CPU的平台上，Cilk的“工作优先”原则是任务并行应用程序如何实现性能的基础，但工作优先不适合GPU。我们以工作第一为基础，创建了“协同工作”原则，以解决GPU的具体优势和劣势。协同工作原则扩展了工作优先原则，指出：（a）关键路线上的间接费用应由整个系统立即支付;（b）工作间接费用应由合作支付。我们在OpenCL中实现了TREES运行时，并在CPU/GPU平台上对TREES应用程序进行了实验评估。
2016-08-01 cs.DC cs.OS cs.PL
NeutronOrch: Rethinking Sample-based GNN Training under CPU-GPU Heterogeneous Environments
Northeastern University（东北大学）
针对CPU-GPU异构环境下现有GNN训练任务编排方法资源利用率低的问题，提出NeutronOrch系统，采用基于层的任务编排与细粒度流水线设计，实现CPU与GPU均衡利用，最高达11.51倍性能加速。
2023-12-12 cs.DC cs.LG
AccFFT: A library for distributed-memory FFT on CPU and GPU architectures
我们提出了一个新的库并行分布式快速傅立叶变换（FFT）。FFT在科学和工程中的重要性以及高性能计算的进步需要进一步改进。AccFFT将支持CUDA的图形处理单元（GPU）的现有FFT库扩展到分布式内存集群。我们使用重叠的通信方法来减少PCIe从/到GPU的传输开销。我们目前的数值计算结果小牛平台在得克萨斯州高级计算中心（TACC）和泰坦系统在橡树岭国家实验室（ORNL）。我们将库扩展到Titan的4，096个K20 GPU。
2016-05-25 cs.DC
pytest-gpu-proof: Enabling Cloud-CPU Continuous Integration for GPU Code with Local GPU Attestation
Dartmouth College（达特茅斯学院）
针对云 GPU CI 成本高导致 GPU 代码测试不足的问题，提出开源 pytest 插件 pytest-gpu-proof，通过本地运行并签名凭证，实现将 GPU 测试集成到标准 CPU CI 工作流中。
2026-09-25 cs.DC cs.SE
Multi-GPU Communication Schemes for Iterative Solvers: When CPUs are Not in Charge
Koç University（科奇大学）；RIKEN（理化学研究所）
本文提出一种完全排除CPU参与的多GPU自主执行模型，利用现有技术编写自主多GPU代码，在8个NVIDIA A100 GPU上使3D雅可比模板通信延迟降58.8%、共轭梯度加速1.63倍。
2026-10-14 cs.DC
Exploration of Fine-Grained Parallelism for Load Balancing Eager K-truss on GPU and CPU
在这项工作中，我们提出了一个性能探索的渴望K-桁架，线性代数公式的K-桁架图算法。我们提出了一种细粒度的并行方法来执行支持计算，以解决对称，三角图的并行任务的负载不平衡的性能问题。这种方法还增加了可用的并行性，使其适合GPU执行。我们使用Kokkos中的实现演示了我们的细粒度并行方法，并在Intel Skylake CPU和Nvidia Tesla V100 GPU上对其进行了评估。总的来说，我们观察到1.261之间。由于我们的细粒度并行公式，CPU性能提高了48倍，GPU性能提高了9.97- 16.92倍。
2020-09-16 cs.DC cs.PF
Tensor Contractions with Extended BLAS Kernels on CPU and GPU
张量压缩构成了数值多线性代数的关键计算成分。然而，随着张量的阶数和维数的增长，基于张量的计算的时间和空间复杂度快速增长。张量收缩的现有方法通常涉及显式复制和转置操作。在本文中，我们提出并评估了一个新的BLAS-like的原始的mendedbatchedgemm，能够有效地执行广泛的张量收缩的CPU和GPU。通过系统的基准测试，我们证明了我们的方法比传统方法的优势。具体地说，我们实现了塔克分解，并表明使用我们的内核产生100倍的加速比使用现有的国家的最先进的库的实现。
2016-10-02 cs.DC
A Flexible Patch-Based Lattice Boltzmann Parallelization Approach for Heterogeneous GPU-CPU Clusters
在并行计算中维持单个GPU的大部分性能被认为是基于GPU的集群的主要问题。在这篇文章中，这一主题是解决的背景下，晶格玻尔兹曼流求解器，集成在WaLBerla软件框架。我们提出了一个多GPU实现使用块结构的MPI并行化，适用于负载均衡和异构计算的CPU和GPU。详细讨论了多GPU模拟所需的开销，并证明了内核性能可以在很大程度上得到维持。通过我们的GPU实现，我们在InfiniBand集群上实现了近乎完美的弱可扩展性。然而，在强扩展场景中，多GPU对硬件的利用效率低于IBM BG/P和x86集群。因此，成本分析必须为特定的模拟任务确定最佳的行动方案。此外，弱规模的异构模拟CPU和GPU同时进行的结果，提出了使用集群配备不同的节点配置。
2010-07-08 cs.DC cs.PF
Orchestrated Co-scheduling, Resource Partitioning, and Power Capping on CPU-GPU Heterogeneous Systems via Machine Learning
本文针对CPU-GPU异构系统，提出基于机器学习的预测性能建模方法，协同优化程序共置调度、CPU/GPU资源划分和功率封顶，在真实系统上相比朴素时间共享调度和均分功率封顶实现最高67%加速。
2024-05-06 cs.DC
Harnessing Integrated CPU-GPU System Memory for HPC: a first look into Grace Hopper
本文首次深入研究Grace Hopper超级芯片的集成CPU-GPU系统内存在HPC场景下的内存管理特性，通过6个代表性应用测试量化其影响并给出优化策略，验证了系统分配内存的低移植成本与普适收益。
2024-07-10 cs.DC
Enabling Simulation of High-Dimensional Micro-Macro Biophysical Models through Hybrid CPU and Multi-GPU Parallelism
微观-宏观模型为研究微观机制与宏观涌现行为之间的关系提供了强有力的工具。然而，详细的微观建模可能需要以高计算成本跟踪和演化高维配置空间。在这项工作中，我们提出了一个并行算法模拟一个高维的微观宏观模型的滑动运动检测。我们采用了一种整体方法，将数据驻留和模拟规模与混合CPU和多GPU硬件相结合。通过结合算法修改、GPU优化和扩展到多个GPU，我们实现了比以前的混合CPU-GPU实现高达27的加速因子，比我们的单线程实现高达540的加速因子。这种方法使微观宏观模拟的复杂性和分辨率高于其他可行的方法。
2019-08-12 cs.DC physics.comp-ph q-bio.QM
Evaluating the performance portability of SYCL across CPUs and GPUs on bandwidth-bound applications
本文评估SYCL编程模型在最新CPU和GPU上的性能可移植性，发现其在GPU上略优于原生方法，但在CPU上仍落后，表明SYCL虽提供统一编程模型，仍需改进CPU性能。
2023-09-18 cs.DC cs.PF
Comparative Analysis of CPU and GPU Profiling for Deep Learning Models
Louisiana State University（路易斯安那州立大学）
本文使用 PyTorch 追踪并比较深度神经网络训练时 CPU 与 GPU 的时间和内存分配，证明 GPU 更适合复杂深度网络，但对简单网络提升有限。
2023-12-09 cs.DC cs.LG
Performance Analysis of Noise Subspace-based Narrowband Direction-of-Arrival (DOA) Estimation Algorithms on CPU and GPU
阵列信号处理问题的高性能计算是一项关键任务，因为许多应用都需要实时系统性能。基于噪声子空间的波达方向（DOA）估计算法因其具有较高的角分辨率和鲁棒性而受到广泛关注。在这项研究中，我们研究了各种优化策略的高性能DOA估计GPU和比较分析替代实现（MATLAB，C/C++和CUDA）。实验表明，与基准多线程CPU实现相比，GPU上可以实现高达3.1倍的加速比。源代码可在以下链接中公开获得：https://github.com/erayhamza/NssDOACuda
2020-07-28 cs.DC eess.SP
Performance Analysis and Efficient Execution on Systems with multi-core CPUs, GPUs and MICs
我们进行了比较性能研究的多核CPU，GPU和英特尔至强融核（许多集成核心- MIC）与显微镜图像分析应用程序。我们通过实验评估计算设备对应用程序核心操作的性能。我们将观察到的性能与计算设备和数据访问模式，计算复杂性和操作的并行化形式的特性相关联。结果表明，相对于所使用的器械，操作性能存在显著差异。在MIC上进行常规数据访问的操作的性能与在GPU上进行的操作的性能相当，有时甚至更好。对于不规则访问数据的操作，GPU比MIC更有效，因为MIC用于随机数据访问的带宽较低。我们提出了新的性能感知调度策略，考虑在操作加速的变化。我们的调度策略显着提高应用程序的性能相比，经典的策略在混合配置。
2015-05-14 cs.DC
NEO: Saving GPU Memory Crisis with CPU Offloading for Online LLM Inference
Peking University（北京大学）；UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；Harvard University（哈佛大学）
针对在线LLM推理中GPU内存不足限制批大小与吞吐量的问题，提出NEO系统通过CPU卸载部分注意力计算与KV缓存，结合非对称流水线与负载感知调度，在多场景下显著提升推理吞吐量。
2024-11-02 cs.AI cs.DC cs.LG
GSoFa: Scalable Sparse Symbolic LU Factorization on GPUs
将矩阵A分解为下矩阵L和上矩阵U，也称为LU分解，是数值线性代数中的一项基本运算。对于稀疏矩阵，LU分解通常在L和U因子中引入比原始矩阵更多的非零项。需要一个符号分解步骤来识别L和U矩阵的非零结构。由于图形处理单元（GPU）的巨大潜力，一系列努力已经激增，以在GPU上部署除符号因式分解之外的各种LU因式分解步骤。本文介绍了gSoFa，第一个基于GPU的符号因式分解设计，具有以下三个优化，以实现GPU上非对称模式稀疏矩阵的可扩展LU符号因式分解。首先，我们介绍了一种新的细粒度并行符号因式分解算法，非常适合于单指令多线程（SIMT）架构的GPU。其次，我们将超级节点检测定制为SIMT友好过程，并努力平衡工作负载，最大限度地减少通信，并在超级节点检测期间饱和GPU计算资源。第三，我们引入了一个三管齐下的优化，以减少多源并发符号因式分解所面临的过度空间消耗问题。总的来说，gSoFa从1到44个Summit节点（6到264个GPU）实现了高达31倍的加速，平均性能超过最先进的CPU项目5倍。值得注意的是，gSoFa还实现了Summit中V100 GPU峰值内存吞吐量的{高达47%}。
2021-05-09 cs.DC
HybridGen: Efficient LLM Generative Inference via CPU-GPU Hybrid Computing
University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）
HybridGen通过CPU-GPU混合计算解决长上下文LLM推理中的内存带宽和负载不平衡问题，采用注意力logit并行、反馈调度器和语义感知的KV缓存映射，提升效率1.41倍至3.2倍。
2026-04-20 cs.DC cs.PF
HongTu: Scalable Full-Graph GNN Training on Multiple GPUs (via communication-optimized CPU data offloading)
提出可扩展全图GNN训练系统HongTu，通过CPU数据卸载、去重通信和成本模型引导的图重组技术，在多GPU上支持十亿规模图训练，显著降低通信开销并实现大幅加速。
2023-11-25 cs.DC
Pangolin: An Efficient and Flexible Graph Pattern Mining System on CPU and GPU
图模式挖掘（GPM）问题，如模体计数，有越来越多的兴趣。GPM系统已经开发出来，为这些问题的编程算法提供统一的接口，并在并行系统上运行它们。然而，现有的系统可能需要几个小时才能在中等大小的图形中挖掘简单的模式，这大大限制了它们在现实世界中的可用性。我们提出了Pangolin，一个高性能和灵活的内存GPM框架，目标是共享内存CPU和GPU。Pangolin是第一个为GPU处理提供高级抽象的GPM系统。它提供了一个简单的编程接口的基础上的扩展-减少-过滤器模型，使用户能够指定特定于应用程序的知识，搜索空间修剪和同构测试消除。我们描述了新的优化，利用局部性，减少内存消耗，并减轻动态内存分配和同步的开销。在28核CPU上的评估表明，Pangolin的性能平均分别比现有的GPM框架Arabesque、RStream和Fractal高出49倍、88倍和80倍。V100 GPU上的加速将Pangolin的性能平均提高了15倍。与最先进的手工优化的GPM应用程序相比，Pangolin以更少的编程工作提供了有竞争力的性能。
2020-01-17 cs.DC
Solving large number of non-stiff, low-dimensional ordinary differential equation systems on GPUs and CPUs: performance comparisons of MPGOS, ODEINT and DifferentialEquations.jl
在本文中，不同的解决方案的技术和程序包，以解决大量的独立的常微分方程系统的性能特点进行了检查。所采用的硬件是Intel Core i7- 4820 K CPU，每核心具有30.4 GFLOPS峰值双精度性能，以及Nvidia GeForce Titan Black GPU，具有总计1707 GFLOPS峰值双精度性能。所测试的系统（Lorenz方程，Keller-Miksis方程和泄压阀模型）是非刚性的，具有低维。因此，代码的性能不受内存带宽的限制，Runge-Kutta型求解器是有效和合适的选择。测试的程序包是用C++编写的MPGOS，只针对GPU;用C++实现的ODEINT，支持在CPU和GPU上执行;最后，用Julia编写的DifferentialEquations.jl也支持在CPU和GPU上执行。使用GPU，程序包MPGOS是优越的。对于CPU计算，ODEINT程序包具有最佳性能。
2020-11-02 cs.DC cs.MS cs.NA
Signal Processing for a Reverse-GPS Wildlife Tracking System: CPU and GPU Implementation Experiences
我们提出了强大的高性能实现的高吞吐量的野生动物跟踪系统ATLAS执行的信号处理任务。该系统通过估计无线电数据包到达多个接收器（基站）的时间来跟踪附着在野生动物身上的无线电发射器。宽带无线电信号的到达时间估计在计算上是昂贵的，特别是在捕获模式下（当传输时间未知时，甚至不近似）。这些计算是限制系统吞吐量的瓶颈。几年前，我们开发了一个连续的高性能CPU计算实现，最近又开发了一个GPU实现。两者都努力在性能与简单性、可维护性和开发工作之间取得平衡，就像大多数真实世界的代码一样。本文报告了这两种实现并仔细评估了它们的性能。评估表明，GPU实现显着提高性能和功率性能相对于在当前基站中的计算机的典型桌面CPU上运行的顺序CPU实现。性能在高端GPU上提高了50倍以上，在GPU平台上提高了4倍以上，功耗几乎是CPU平台的5倍。每瓦性能比也有所提高（提高了16倍以上），性价比也有所提高。
2021-05-27 cs.DC cs.MS
Accelerating Matrix Multiplication: A Performance Comparison Between Multi-Core CPU and GPU
本文在消费级异构平台上比较顺序 C++、OpenMP 多核 CPU 与带共享内存优化的 CUDA GPU 矩阵乘法，证明 GPU 在大矩阵上可获得最高约593倍加速。
2025-07-26 cs.DC
VaultxGPU: GPU-Accelerated Blockchain Consensus
College of Computing Illinois Institute of Technology Chicago, USA
提出VaultxGPU，利用GPU加速Blake3哈希流水线，实现Proof-of-Space绘图速度比单线程CPU提升59.2倍，K=31绘图仅需45.4秒。
2026-06-15 cs.DC
A Preliminary Study on Simultaneous Coscheduling for Discrete GPU vs. Fused GPU
Virginia Tech（弗吉尼亚理工大学）
本研究对比GH200超级芯片与H100 PCIe平台的CPU-GPU协同调度，以稀疏共轭梯度为案例，发现GH200可让更多工作划分具备竞争力，提升协同调度的性能与可编程性。
2026-08-11 cs.DC
Optimizing Allreduce Operations for Modern Heterogeneous Architectures with Multiple Processes per GPU
University of New Mexico（新墨西哥大学）
本文提出通过利用多CPU核心优化GPU-aware所有reduce操作，显著提升在异构架构上的通信效率。
2026-08-26 cs.DC
A hybrid CPU-GPU parallelization scheme of variable neighborhood search for inventory optimization problems
在本文中，我们研究了不同的并行化方案的可变邻域搜索（VNS）元启发式的CPU-GPU系统通过OpenMP和OpenACC。一个混合并行VNS方法应用于最近的基准问题的实例，多产品的产品退货和回收的动态批量问题，出现在逆向物流，这是已知的NP-难。我们报告我们的研究结果，这些并行化的方法和目前有前途的计算结果。
2017-04-17 cs.DC cs.DM cs.NE
