Hybrid KNN-Join: Parallel Nearest Neighbor Searches Exploiting CPU and GPU Architectural Features
K最近邻（KNN）连接用于科学领域的数据分析，并且是几种知名算法的构建块。KNN连接查找数据集中所有点的KNN。本文重点介绍了一种低维KNN连接的混合CPU/GPU方法，其中GPU可能不会产生比并行CPU算法更大的性能增益。我们利用一个工作队列，优先计算GPU上的高密度区域和CPU上的低密度区域中的数据点，从而利用每个架构的相对优势。我们的方法HybridKNN-Join有效地增强了最先进的多核CPU算法。我们提出的优化，$(i)$最大限度地提高GPU查询吞吐量分配GPU大批量的工作; $(ii)$增加工作负载粒度，以优化GPU的利用率;和，$(iii)$限制CPU和GPU架构之间的负载不平衡。我们比较HybridKNN-Join到一个GPU和两个并行CPU参考实现。与参考实现相比，我们发现混合算法在较大的工作负载（数据集大小和K）上表现最好。本文所采用的方法显示出在其他混合算法的一般分工的承诺。
2020-11-17 cs.DC
Analyzing the Performance Portability of SYCL across CPUs, GPUs, and Hybrid Systems with SW Sequence Alignment
本研究通过SW序列比对案例，系统评估了SYCL在NVIDIA、Intel和AMD的CPU、GPU及混合架构上的性能可移植性，证明其可作为异构计算环境中可行的统一编程模型。
2025-04-14 cs.DC
CPU-GPU Heterogeneous Code Acceleration of a Finite Volume Computational Fluid Dynamics Solver
本文研究有限体积CFD求解器SENSEI的CPU-GPU异构加速，提出考虑ghost cell交换的性能模型，并通过超声速进气道算例验证异构计算相比纯CPU或纯GPU的性能优势。
2023-05-29 cs.DC cs.PF
Revisiting Co-Processing for Hash Joins on the Coupled CPU-GPU Architecture
在图形处理器（GPU）上进行查询协同处理已成为提高内存数据库性能的有效手段。然而，PCI-e总线的相对低的带宽和高延迟通常是协处理的瓶颈问题。最近，耦合的CPU-GPU架构受到了很多关注，例如，AMD APU将CPU和GPU集成到单个芯片中。这为优化查询协同处理提供了新的机会。在本文中，我们实验重温哈希连接，最重要的连接算法之一的主存数据库，在一个耦合的CPU-GPU架构。特别是，我们研究了细粒度的协同处理机制的散列连接和不分区。协同处理勾勒出一个有趣的设计空间。我们扩展了现有的成本模型，以自动指导设计空间的决策。我们在最新的AMD APU上的实验结果表明：（1）耦合架构能够实现细粒度的协处理和缓存重用，这在分立的CPU-GPU架构上是低效的;（2）成本模型可以自动指导设计和设计空间中的调整旋钮;（3）细粒度协处理比仅CPU、仅GPU和传统CPU-GPU协处理分别实现高达53%、35%和28%的性能提升。我们相信，从这项研究的见解和影响是初步的，但重要的是进一步研究耦合CPU-GPU架构上的查询协同处理。
2013-07-08 cs.DC
Execution of Compound Multi-Kernel OpenCL Computations in Multi-CPU/Multi-GPU Environments
当前的计算系统本质上是异构的，其特征在于CPU和GPU的组合。由于后者正在成为高性能计算的既定平台，重点正在转向这些混合系统作为一个整体的无缝编程。现有架构和执行模型的独特性质带来了一些挑战，因为最佳硬件配置取决于行为和工作负载。在本文中，我们解决了在多CPU/多GPU环境中执行复合，多内核，OpenCL计算。我们解决这些计算如何可以有效地调度到目标硬件，以及系统如何可以适应自己的工作量的变化，以处理和波动的CPU的负载。实验评估证明了CPU和GPU设备的联合使用所获得的性能增益，相比仅GPU执行，以及在CPU环境中使用数据局部优化。
2015-10-22 cs.DC
Concurrent CPU-GPU Task Programming using Modern C++
在本文中，我们介绍了Heteroflow，一个新的C++库，以帮助开发人员使用任务依赖图快速编写并行CPU-GPU程序。Heteroflow利用了现代C++和基于任务的方法的强大功能来实现异构分解策略的高效实现。我们新的CPU-GPU编程模型允许用户以一种适应有效分离关注点和专业知识封装的方式来表达问题。与现有库相比，Heteroflow在性能扩展、编程效率和解决方案通用性方面更具成本效益。我们已经在VLSI设计自动化的两个实际应用中评估了Heteroflow，并展示了不同CPU-GPU数量和问题大小的性能可扩展性。在百万级任务处理的超大规模集成电路时序分析的一个特定示例中，Heteroflow在具有40个CPU核心和4个GPU的机器上实现了比基线高出7.7倍的运行时速度（99分钟vs 13分钟）。
2022-03-16 cs.DC
Efficient CPU-GPU Collaborative Inference for MoE-based LLMs on Memory-Limited Systems
National Taiwan University（台湾大学）；National Tsing Hua University（清华大学）
本文提出一种CPU-GPU协同推理框架，通过专家缓存机制减少数据传输并提升推理效率，适用于内存受限系统的MoE大语言模型。
2025-12-18 cs.DC
Dynamic autotuning of adaptive fast multipole methods on hybrid multicore CPU & GPU systems
我们讨论了自适应快速多极方法的实现目标混合多核CPU和GPU系统。根据我们的快速多极算法版本的计算配置文件的先前经验，适当的部分被卸载到GPU，而其余部分被线程化并由CPU并发执行。定义算法的参数会影响性能，通过测量这种影响，我们能够动态地平衡算法以达到最佳性能。我们的设置使用的动态性质的计算，因此是一般的字符。
2014-03-17 cs.DC
Hybrid CPU-GPU Framework for Network Motifs
由于最近数据的激增，诸如GPU的大规模并行架构变得越来越重要。在本文中，我们提出了一类关键的混合并行graphlet算法，利用多个CPU和GPU同时计算k-顶点诱导子图统计（称为graphlet）。除了混合多核CPU-GPU框架之外，我们还研究了单GPU方法（使用多核）和多GPU方法，这些方法同时利用所有可用的GPU来计算诱导子图统计。这两种方法都只利用GPU设备，而混合多核CPU-GPU框架利用所有可用的多核CPU和多个GPU来计算大型网络中的graphlet。与最近的方法相比，我们的方法速度快了几个数量级，同时也更具成本效益，人均和每瓦性能优越。特别是，该方法比最近的最先进的方法快300倍。据我们所知，这是第一个同时利用多个CPU和GPU来计算诱导子图统计的工作。
2016-10-28 cs.DC cs.SI stat.ML
Agentic CPU-GPU Scheduling for Heterogeneous AI Workloads
Brown University（布朗大学）
研究异构人工智能工作负载的调度问题，提出将设备调度制定为三种选项，识别影响延迟的因素，构建智能调度器，该调度器在多种场景下达到最优映射，精度与经典基线匹配且无需离线训练，性能优于其他策略。
2026-07-27 cs.DC
Combining GPU and CPU for accelerating evolutionary computing workloads
本文提出一种依据基准结果动态分配 CPU 与 GPU 模拟任务的混合方案，并通过多类物理模拟模型评估其在进化计算工作负载中的加速潜力。
2025-02-16 cs.DC
C Language Extensions for Hybrid CPU/GPU Programming with StarPU
用于高性能计算（HPC）的现代平台包括具有通用CPU和“加速器”（通常以图形处理单元（GPU）的形式）的机器。StarPU是一个利用此类平台的C库。它为用户提供了定义要在CPU或GPU上执行的“任务”的方法，以及它们之间的依赖关系，并通过在所有可用的处理单元上自动调度它们。这样，它还使程序员不必了解底层架构细节：它可以适应可用的CPU和GPU，并根据需要自动在主内存和GPU之间传输数据。虽然StarPU的方法成功地解决了运行时调度问题，但作为一个C库，它的编程接口很差，而且容易出错。本文介绍了2011年开始的一项努力，通过扩展GCC编译器套件，将库导出的一些概念作为C语言结构进行推广。我们的主要贡献是映射到StarPU的任务编程范式的语言扩展的设计和实现。我们认为，所提出的扩展使StarPU更容易入门，消除了使用C库时可能发生的错误，并帮助诊断可能的错误。我们就今后的工作作出结论。
2013-04-10 cs.CE cs.DC cs.MS
Measurement-Driven Diagnosis and Mitigation of Host-CPU Co-location Interference in Single-GPU LLM Serving on a Multi-GPU Server
School of Software Technology, Zhejiang University（浙江大学软件学院）
针对单GPU LLM服务中主机CPU共置干扰问题，提出测量驱动的诊断程序CoTail，通过核心路径尾部指数和核心尾部抑制指标，筛选风险、分析尾部、选择OS级保护并验证SLO，显著提升吞吐量并降低延迟。
2026-09-09 cs.DC
Performance Comparison Between OpenCV Built in CPU and GPU Functions on Image Processing Operations
图像处理是数字信号处理的一个专门领域，它包含各种数学和代数运算，如矩阵求逆、矩阵转置、导数、卷积、傅立叶变换等。这些运算需要比计算机日常使用目的更高的计算能力。在这一点上，随着图像大小的增加和更复杂的操作，CPU可能无法令人满意，因为它们默认使用串行处理。GPU是与CPU相比速度更快的解决方案，因为它们的并行处理/计算性质。CUDA是NVIDIA公司开发的一种并行计算平台和编程模型，由NVIDIA公司生产的图形处理器（GPU）实现。本文将在OpenCV的内置的CPU和使用CUDA的GPU函数上比较一些常用的图像处理操作的计算性能。
2019-06-20 cs.DC
TURNIP: A "Nondeterministic" GPU Runtime with CPU RAM Offload
本文提出TURNIP系统，通过将AI计算编译为依赖图并在运行时根据实时事件动态选择操作顺序，解决CPU卸载中内存传输的非确定性问题，从而在利用CPU RAM扩展存储的同时避免计算阻塞。
2024-10-03 cs.DC
Characterizing CPU-Induced Slowdowns in Multi-GPU LLM Inference
Georgia Institute of Technology（佐治亚理工学院）
通过分析多GPU大语言模型推理负载，发现CPU资源不足导致GPU利用率低下，增加CPU核心数可显著提升性能并降低首令牌延迟。
2026-08-28 cs.AR cs.DC
APEX: Asynchronous Parallel CPU-GPU Execution for Online LLM Inference on Constrained GPUs
Virginia Tech（弗吉尼亚理工大学）
APEX通过动态调度策略提升受限GPU上的LLM推理效率，提高吞吐量并保持延迟。
2026-01-14 cs.DC
Chrion: Optimizing Recurrent Neural Network Inference by Collaboratively Utilizing CPUs and GPUs
针对循环神经网络推理优化问题，提出协同利用CPU与GPU的Chrion系统，将模型部署建模为异质设备有向无环图NP难调度问题，可显著降低推理延迟与GPU内存占用。
2023-07-21 cs.DC
A Hybrid Multi-GPU Implementation of Simplex Algorithm with CPU Collaboration
单纯形算法已成功地用于求解线性规划问题多年。由于所需的密集计算（特别是对于大型LP问题的解决方案），并行方法也得到了广泛的研究。现代GPU提供的计算能力以及多核CPU系统的快速发展，使OpenMP和CUDA编程模型在过去几年中成为首选。然而，通过结合使用上述编程模型，CPU和GPU之间所需的高效协作仍然被认为是一个很难的研究问题。在上述背景下，我们在这里展示了标准单工的高效实现，目标是在具有多个支持CUDA的GPU的多核平台上最大限度地利用所有计算资源的并发使用。更具体地说，我们提出了一种新的混合协作方案，这是基于适当的分散CPU分配（通过多线程）和GPU卸载计算的并发执行。通过在一个非常强大的现代混合平台（由32个核心和两个高规格GPU组成，Titan Rtx和Rtx 2080 Ti）上合作使用OpenMP和CUDA提取的实验结果突出显示，这里提出的混合GPU/CPU协作方案的性能在几乎所有条件下都明显优于仅GPU实现。相应的测量验证了并发使用所有资源的价值，即使是在多GPU配置平台的情况下。此外，给定的实现与参考书目中的其他相关尝试完全相当（在大多数情况下略优于），并且明显优于具有32个内核的本机CPU实现。
2022-11-20 cs.DC
Co-Design and Evaluation of a CPU-Free MPI GPU Communication Abstraction and Implementation
University of New Mexico（新墨西哥大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；Tennessee Tech University（田纳西科技大学）；University of Alabama（阿拉巴马大学）；Center for Computing Research Sandia National Laboratories（桑迪亚国家实验室计算研究中心）
本文提出了一种无CPU的MPI GPU通信API，通过利用MPI扩展和HPE网络卡能力，实现了高效且易用的GPU通信，实验显示其在GPU通信和强标量扩展中性能提升显著。
2026-03-05 cs.DC
From Task-Based GPU Work Aggregation to Stellar Mergers: Turning Fine-Grained CPU Tasks into Portable GPU Kernels
同时满足可扩展性和性能可移植性要求对于任何HPC应用程序都是一个挑战，特别是对于自适应改进的应用程序。在用于模拟恒星合并的天体物理学应用程序Tiger-Tiger中，我们使用现有的解决方案来实现这一点：我们使用HPX来获得细粒度的任务，以轻松分配工作并精细地重叠通信和计算。对于计算本身，我们使用Kokkos将这些任务转换为能够在从几个CPU内核到强大加速器的硬件上运行的计算内核。然而，有一个缺失的环节：虽然HPX暴露的细粒度并行性对可扩展性很有用，但当任务变得太小而无法使设备饱和时，它可能会阻碍GPU性能，从而导致资源利用率低下。为了弥补这一差距，我们调查了Tiger中多种不同的GPU工作聚合策略，添加了一种新策略，并评估了节点级性能对最新AMD和NVIDIA GPU的影响，实现了明显的加速。
2023-03-04 cs.DC
Importance of Explicit Vectorization for CPU and GPU Software Performance
当前高性能计算的大部分焦点是多线程、多计算和图形处理单元（GPU）计算。然而，向量化和非并行优化技术，往往可以采用额外的，不经常讨论。在本文中，我们提出了一个分析的几个优化上完成的中央处理器（CPU）和GPU实现的一个特定的计算密集型大都市蒙特卡罗算法。显式向量化的CPU和等价的，显式内存合并，在GPU上被发现是至关重要的，以实现良好的性能，该算法在这两种环境中。完全优化的CPU版本实现了9倍到12倍的速度比原来的CPU版本，除了从多线程加速。这比完全优化的GPU版本快2倍。
2010-03-31 cs.DC cs.PF physics.comp-ph
Efficient Irregular Wavefront Propagation Algorithms on Hybrid CPU-GPU Machines
在本文中，我们解决的问题，高效执行的计算模式，在这里被称为不规则波前传播模式（IWPP），在混合动力系统与多个CPU和GPU。IWPP在若干图像处理操作中是通用的。在IWPP中，如果满足传播条件，则波前中的数据元素将波传播到网格上的其相邻元素。接收传播波的元件成为波前的一部分。这种模式导致不规则的数据访问和计算。我们开发和评估的策略，使用多级队列结构的波前的有效计算和传播。这种队列结构提高了GPU中快速存储器的利用率，并减少了同步开销。我们还开发了一个基于瓦片的并行化策略，以支持在多个CPU和GPU上执行。我们评估我们的方法在一个国家的最先进的GPU加速机器（配备3个GPU和2个多核CPU）使用IWPP实现两个广泛使用的图像处理操作：形态重建和欧氏距离变换。我们的研究结果表明，GPU的性能显着改善。多个CPU和GPU的协同使用相对于单核CPU执行分别实现了50倍和85倍的加速比，用于形态重建和欧几里得距离变换。
2012-09-14 cs.DC cs.DS
GPU First -- Execution of Legacy CPU Codes on GPUs
本文提出名为“GPU First”的新型编译方案，无需修改源码即可自动将传统CPU应用编译为GPU代码，通过部分libc GPU实现或远程过程调用解析库函数，在多个基准测试中实现高达14.36倍加速，有效指导大型传统应用的GPU移植。
2023-06-26 cs.DC
TREES: A CPU/GPU Task-Parallel Runtime with Explicit Epoch Synchronization
我们已经开发了一个任务并行运行时系统，称为TREES，这是专为CPU/GPU平台上的高性能。在具有多个CPU的平台上，Cilk的“工作优先”原则是任务并行应用程序如何实现性能的基础，但工作优先不适合GPU。我们以工作第一为基础，创建了“协同工作”原则，以解决GPU的具体优势和劣势。协同工作原则扩展了工作优先原则，指出：（a）关键路线上的间接费用应由整个系统立即支付;（b）工作间接费用应由合作支付。我们在OpenCL中实现了TREES运行时，并在CPU/GPU平台上对TREES应用程序进行了实验评估。
2016-08-01 cs.DC cs.OS cs.PL
NeutronOrch: Rethinking Sample-based GNN Training under CPU-GPU Heterogeneous Environments
Northeastern University（东北大学）
针对CPU-GPU异构环境下现有GNN训练任务编排方法资源利用率低的问题，提出NeutronOrch系统，采用基于层的任务编排与细粒度流水线设计，实现CPU与GPU均衡利用，最高达11.51倍性能加速。
2023-12-12 cs.DC cs.LG
Black-Scholes Option Pricing on Intel CPUs and GPUs: Implementation on SYCL and Optimization Techniques
本文针对Black-Scholes期权定价问题，基于SYCL语言开发高性能可移植代码，提出CPU与GPU适配的优化方案，验证其性能接近优化后C++代码，为同类代码移植提供参考。
2024-07-10 cs.DC cs.MS cs.PF
AccFFT: A library for distributed-memory FFT on CPU and GPU architectures
我们提出了一个新的库并行分布式快速傅立叶变换（FFT）。FFT在科学和工程中的重要性以及高性能计算的进步需要进一步改进。AccFFT将支持CUDA的图形处理单元（GPU）的现有FFT库扩展到分布式内存集群。我们使用重叠的通信方法来减少PCIe从/到GPU的传输开销。我们目前的数值计算结果小牛平台在得克萨斯州高级计算中心（TACC）和泰坦系统在橡树岭国家实验室（ORNL）。我们将库扩展到Titan的4，096个K20 GPU。
2016-05-25 cs.DC
pytest-gpu-proof: Enabling Cloud-CPU Continuous Integration for GPU Code with Local GPU Attestation
Dartmouth College（达特茅斯学院）
针对云 GPU CI 成本高导致 GPU 代码测试不足的问题，提出开源 pytest 插件 pytest-gpu-proof，通过本地运行并签名凭证，实现将 GPU 测试集成到标准 CPU CI 工作流中。
2026-09-25 cs.DC cs.SE
Multi-GPU Communication Schemes for Iterative Solvers: When CPUs are Not in Charge
Koç University（科奇大学）；RIKEN（理化学研究所）
本文提出一种完全排除CPU参与的多GPU自主执行模型，利用现有技术编写自主多GPU代码，在8个NVIDIA A100 GPU上使3D雅可比模板通信延迟降58.8%、共轭梯度加速1.63倍。
2026-10-14 cs.DC
Exploration of Fine-Grained Parallelism for Load Balancing Eager K-truss on GPU and CPU
在这项工作中，我们提出了一个性能探索的渴望K-桁架，线性代数公式的K-桁架图算法。我们提出了一种细粒度的并行方法来执行支持计算，以解决对称，三角图的并行任务的负载不平衡的性能问题。这种方法还增加了可用的并行性，使其适合GPU执行。我们使用Kokkos中的实现演示了我们的细粒度并行方法，并在Intel Skylake CPU和Nvidia Tesla V100 GPU上对其进行了评估。总的来说，我们观察到1.261之间。由于我们的细粒度并行公式，CPU性能提高了48倍，GPU性能提高了9.97- 16.92倍。
2020-09-16 cs.DC cs.PF
Tensor Contractions with Extended BLAS Kernels on CPU and GPU
张量压缩构成了数值多线性代数的关键计算成分。然而，随着张量的阶数和维数的增长，基于张量的计算的时间和空间复杂度快速增长。张量收缩的现有方法通常涉及显式复制和转置操作。在本文中，我们提出并评估了一个新的BLAS-like的原始的mendedbatchedgemm，能够有效地执行广泛的张量收缩的CPU和GPU。通过系统的基准测试，我们证明了我们的方法比传统方法的优势。具体地说，我们实现了塔克分解，并表明使用我们的内核产生100倍的加速比使用现有的国家的最先进的库的实现。
2016-10-02 cs.DC
A Flexible Patch-Based Lattice Boltzmann Parallelization Approach for Heterogeneous GPU-CPU Clusters
在并行计算中维持单个GPU的大部分性能被认为是基于GPU的集群的主要问题。在这篇文章中，这一主题是解决的背景下，晶格玻尔兹曼流求解器，集成在WaLBerla软件框架。我们提出了一个多GPU实现使用块结构的MPI并行化，适用于负载均衡和异构计算的CPU和GPU。详细讨论了多GPU模拟所需的开销，并证明了内核性能可以在很大程度上得到维持。通过我们的GPU实现，我们在InfiniBand集群上实现了近乎完美的弱可扩展性。然而，在强扩展场景中，多GPU对硬件的利用效率低于IBM BG/P和x86集群。因此，成本分析必须为特定的模拟任务确定最佳的行动方案。此外，弱规模的异构模拟CPU和GPU同时进行的结果，提出了使用集群配备不同的节点配置。
2010-07-08 cs.DC cs.PF
Orchestrated Co-scheduling, Resource Partitioning, and Power Capping on CPU-GPU Heterogeneous Systems via Machine Learning
本文针对CPU-GPU异构系统，提出基于机器学习的预测性能建模方法，协同优化程序共置调度、CPU/GPU资源划分和功率封顶，在真实系统上相比朴素时间共享调度和均分功率封顶实现最高67%加速。
2024-05-06 cs.DC
Heterogeneous CPU+GPU Stochastic Gradient Descent Algorithms
University of California Merced（加州大学默塞德分校）
广泛采用的做法是使用专用硬件加速器训练深度学习模型，例如，GPU或TPU，由于其在线性代数运算上的卓越性能。然而，这种策略并没有有效地利用大量的CPU和内存资源--它们只用于预处理、数据传输和调度--这些资源在加速服务器上默认可用。在本文中，我们研究了异构CPU + GPU架构上的深度学习训练算法。我们的双重目标-同时最大化收敛速度和资源利用率-使问题具有挑战性。为了允许对设计空间进行原则性探索，我们首先介绍了一个通用的深度学习框架，该框架通过异步消息传递利用CPU和GPU之间的计算能力和存储层次结构的差异。通过实验的框架获得的见解的基础上，我们设计了两个异构异步随机梯度下降（SGD）算法。第一种算法-CPU + GPU Hogbatch-将CPU上的小批量与GPU上的大批量相结合，以最大限度地利用两种资源。然而，这会产生一个不平衡的模型更新分布，这阻碍了统计收敛。第二种算法-自适应Hogbatch-根据CPU和GPU的相对速度分配具有不断变化的大小的批次。这以可定制的利用率降低为代价来平衡模型更新率。我们表明，在拟议的CPU + GPU框架中实现这些算法，在几个真实数据集和两个计算架构（本地服务器和云实例）上实现了比TensorFlow更快的收敛和更高的资源利用率。
2020-04-19 cs.DB cs.DC cs.LG
Harnessing Integrated CPU-GPU System Memory for HPC: a first look into Grace Hopper
本文首次深入研究Grace Hopper超级芯片的集成CPU-GPU系统内存在HPC场景下的内存管理特性，通过6个代表性应用测试量化其影响并给出优化策略，验证了系统分配内存的低移植成本与普适收益。
2024-07-10 cs.DC
Enabling Simulation of High-Dimensional Micro-Macro Biophysical Models through Hybrid CPU and Multi-GPU Parallelism
微观-宏观模型为研究微观机制与宏观涌现行为之间的关系提供了强有力的工具。然而，详细的微观建模可能需要以高计算成本跟踪和演化高维配置空间。在这项工作中，我们提出了一个并行算法模拟一个高维的微观宏观模型的滑动运动检测。我们采用了一种整体方法，将数据驻留和模拟规模与混合CPU和多GPU硬件相结合。通过结合算法修改、GPU优化和扩展到多个GPU，我们实现了比以前的混合CPU-GPU实现高达27的加速因子，比我们的单线程实现高达540的加速因子。这种方法使微观宏观模拟的复杂性和分辨率高于其他可行的方法。
2019-08-12 cs.DC physics.comp-ph q-bio.QM
ChASE -- A Distributed Hybrid CPU-GPU Eigensolver for Large-scale Hermitian Eigenvalue Problems
随着现代大规模并行集群越来越大，计算节点越来越强，传统的并行特征值求解器（如直接求解器）很难跟上硬件发展的步伐，并且由于额外的通信和同步层而能够有效地扩展。当将传统库移植到配备加速器的异构计算架构（如图形处理单元（GPU））时，这种困难尤为重要。最近，有显着的科学贡献的发展，基于滤波器的子空间本征求解器计算部分本征谱。这些类型的算法的结构更简单，使他们更容易避免通信和同步瓶颈的直接求解器的典型。Chebyshev Accelerated Subspace Eigensolver（ChASE）是一种基于Chebyshev多项式的滤波器加速的现代子空间特征值求解器，用于计算大规模Hermitian特征值问题的部分极值特征对。在这项工作中，我们扩展了我们以前的工作ChASE增加支持分布式混合CPU多GPU计算架构。我们的测试表明，ChASE在最大为$360$ k的密集本征问题上实现了非常好的扩展性能，最大可扩展到144个节点，总共526个NVIDIA A100 GPU。
2022-05-05 cs.DC cs.MS cs.PF
Comparative Analysis of CPU and GPU Profiling for Deep Learning Models
Louisiana State University（路易斯安那州立大学）
本文使用 PyTorch 追踪并比较深度神经网络训练时 CPU 与 GPU 的时间和内存分配，证明 GPU 更适合复杂深度网络，但对简单网络提升有限。
2023-12-09 cs.DC cs.LG
Performance Analysis of Noise Subspace-based Narrowband Direction-of-Arrival (DOA) Estimation Algorithms on CPU and GPU
阵列信号处理问题的高性能计算是一项关键任务，因为许多应用都需要实时系统性能。基于噪声子空间的波达方向（DOA）估计算法因其具有较高的角分辨率和鲁棒性而受到广泛关注。在这项研究中，我们研究了各种优化策略的高性能DOA估计GPU和比较分析替代实现（MATLAB，C/C++和CUDA）。实验表明，与基准多线程CPU实现相比，GPU上可以实现高达3.1倍的加速比。源代码可在以下链接中公开获得：https://github.com/erayhamza/NssDOACuda
2020-07-28 cs.DC eess.SP
NEO: Saving GPU Memory Crisis with CPU Offloading for Online LLM Inference
Peking University（北京大学）；UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；Harvard University（哈佛大学）
针对在线LLM推理中GPU内存不足限制批大小与吞吐量的问题，提出NEO系统通过CPU卸载部分注意力计算与KV缓存，结合非对称流水线与负载感知调度，在多场景下显著提升推理吞吐量。
2024-11-02 cs.AI cs.DC cs.LG
HybridGen: Efficient LLM Generative Inference via CPU-GPU Hybrid Computing
University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）
HybridGen通过CPU-GPU混合计算解决长上下文LLM推理中的内存带宽和负载不平衡问题，采用注意力logit并行、反馈调度器和语义感知的KV缓存映射，提升效率1.41倍至3.2倍。
2026-04-20 cs.DC cs.PF
HongTu: Scalable Full-Graph GNN Training on Multiple GPUs (via communication-optimized CPU data offloading)
提出可扩展全图GNN训练系统HongTu，通过CPU数据卸载、去重通信和成本模型引导的图重组技术，在多GPU上支持十亿规模图训练，显著降低通信开销并实现大幅加速。
2023-11-25 cs.DC
Pangolin: An Efficient and Flexible Graph Pattern Mining System on CPU and GPU
图模式挖掘（GPM）问题，如模体计数，有越来越多的兴趣。GPM系统已经开发出来，为这些问题的编程算法提供统一的接口，并在并行系统上运行它们。然而，现有的系统可能需要几个小时才能在中等大小的图形中挖掘简单的模式，这大大限制了它们在现实世界中的可用性。我们提出了Pangolin，一个高性能和灵活的内存GPM框架，目标是共享内存CPU和GPU。Pangolin是第一个为GPU处理提供高级抽象的GPM系统。它提供了一个简单的编程接口的基础上的扩展-减少-过滤器模型，使用户能够指定特定于应用程序的知识，搜索空间修剪和同构测试消除。我们描述了新的优化，利用局部性，减少内存消耗，并减轻动态内存分配和同步的开销。在28核CPU上的评估表明，Pangolin的性能平均分别比现有的GPM框架Arabesque、RStream和Fractal高出49倍、88倍和80倍。V100 GPU上的加速将Pangolin的性能平均提高了15倍。与最先进的手工优化的GPM应用程序相比，Pangolin以更少的编程工作提供了有竞争力的性能。
2020-01-17 cs.DC
Accelerating Matrix Multiplication: A Performance Comparison Between Multi-Core CPU and GPU
本文在消费级异构平台上比较顺序 C++、OpenMP 多核 CPU 与带共享内存优化的 CUDA GPU 矩阵乘法，证明 GPU 在大矩阵上可获得最高约593倍加速。
2025-07-26 cs.DC
VaultxGPU: GPU-Accelerated Blockchain Consensus
College of Computing Illinois Institute of Technology Chicago, USA
提出VaultxGPU，利用GPU加速Blake3哈希流水线，实现Proof-of-Space绘图速度比单线程CPU提升59.2倍，K=31绘图仅需45.4秒。
2026-06-15 cs.DC
A Preliminary Study on Simultaneous Coscheduling for Discrete GPU vs. Fused GPU
Virginia Tech（弗吉尼亚理工大学）
本研究对比GH200超级芯片与H100 PCIe平台的CPU-GPU协同调度，以稀疏共轭梯度为案例，发现GH200可让更多工作划分具备竞争力，提升协同调度的性能与可编程性。
2026-08-11 cs.DC
Optimizing Allreduce Operations for Modern Heterogeneous Architectures with Multiple Processes per GPU
University of New Mexico（新墨西哥大学）
本文提出通过利用多CPU核心优化GPU-aware所有reduce操作，显著提升在异构架构上的通信效率。
2026-08-26 cs.DC
A hybrid CPU-GPU parallelization scheme of variable neighborhood search for inventory optimization problems
在本文中，我们研究了不同的并行化方案的可变邻域搜索（VNS）元启发式的CPU-GPU系统通过OpenMP和OpenACC。一个混合并行VNS方法应用于最近的基准问题的实例，多产品的产品退货和回收的动态批量问题，出现在逆向物流，这是已知的NP-难。我们报告我们的研究结果，这些并行化的方法和目前有前途的计算结果。
2017-04-17 cs.DC cs.DM cs.NE
Parallel Digital Predistortion Design on Mobile GPU and Embedded Multicore CPU for Mobile Transmitters
数字预失真（DPD）是当前无线电发射机中广泛采用的基带处理技术。虽然DPD可以有效地抑制由模拟RF和基带电子器件的缺陷引起的不必要的杂散频谱发射，但它也引入了额外的处理复杂性，并对高效和灵活的实现提出了挑战，特别是对于移动蜂窝发射机，考虑到其与基站相比有限的计算能力。在本文中，我们提出了高数据率宽带DPD的现代嵌入式处理器，如移动GPU和多核CPU，利用新兴的并行计算技术，利用其计算资源的实现。在实际的无线电硬件平台上，我们进一步验证了DPD的抑制效果。我们的DPD设计的性能评估结果证明了现代通用移动处理器在加速移动发射机的DPD处理方面的高效率。
2016-12-28 cs.DC
Parallelizing the Unpacking and Clustering of Detector Data for Reconstruction of Charged Particle Tracks on Multi-core CPUs and Many-core GPUs
我们提出的结果从并行化的解包和聚类步骤的原始数据从硅带模块重建带电粒子轨道。通过在CPU上使用嵌套的OpenMP并行性或在GPU上使用CUDA流来并发处理多个事件，吞吐量得到进一步改进。新的实现以及早期的工作，在开发一个并行化和矢量化的组合卡尔曼滤波器算法的实现，使整个事件的有效的全球重建现代计算机架构。我们展示了在英特尔至强和NVIDIA GPU架构上的新实现的性能。
2021-01-27 cs.DC hep-ex
ZNNi - Maximizing the Inference Throughput of 3D Convolutional Networks on Multi-Core CPUs and GPUs
Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）
滑动窗口卷积网络（ConvNets）已经成为解决诸如图像分割、目标检测和定位等计算机视觉问题的流行方法。在这里，我们考虑推理问题，即应用先前训练的ConvNet，重点是3D图像。我们的目标是最大限度地提高吞吐量，定义为每单位时间计算的输出体素的平均数量。在其他条件相同的情况下，处理较大的图像往往会增加吞吐量，因为在图像的边界上浪费的计算很少。因此，如果一个明显较慢的算法可以在可用RAM的约束范围内处理更大的图像，那么它最终可能具有更高的吞吐量。我们为卷积层和池化层引入了新颖的CPU和GPU原语，旨在最大限度地减少内存开销。基元包括基于高效修剪FFT的卷积。我们的理论分析和实证检验揭示了一些有趣的发现。对于某些ConvNet架构，cuDNN的性能优于我们基于FFT的GPU原语，而这些原语又可以优于我们的CPU原语。由于CPU可以快速访问更多的RAM，因此可以实现更高的吞吐量。GPU访问主机RAM的新原语可以显着提高GPU吞吐量。最后，CPU-GPU算法实现了所有算法中最大的吞吐量，是其他公开的滑动窗口3D ConvNets实现的10倍或更多。我们所有的代码都是开源项目。
2016-06-17 cs.DC cs.LG
Towards Affordable, Adaptive and Automatic GNN Training on CPU-GPU Heterogeneous Platforms
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Qingdao Research Institute, Beihang University（北京航空航天大学青岛研究院）；School of Software, Beihang University（北京航空航天大学软件学院）
针对GNN训练依赖昂贵平台的问题，提出A3GNN框架，通过局部感知采样、细粒度并行调度及强化学习优化资源利用，在CPU-GPU异构平台实现经济、自适应、自动化训练，提升吞吐量并缩小性能差距。
2025-10-15 cs.DC
On the performance of various parallel GMRES implementations on CPU and GPU clusters
随着对计算能力和效率的需求的增加，并行系统在各个科学领域中变得越来越流行。虽然多核架构多年来一直是关注的焦点，但基于GPU的通用架构的快速发展将高性能计算提升到了一个新的水平。在这项工作中，不同的实现并行版本的预处理GMRES -一个建立的迭代求解大型和稀疏的线性方程组-，他们每个人都在不同的计算架构：从分布式和共享内存核心为基础的GPU架构。计算实验源自于用有限元法对基准边值问题的离散化。各种实现的主要优点和缺点的并行加速，执行时间和内存问题。其中，在不同的架构的结果比较，显示基于GPU的架构的高潜力。
2019-06-10 cs.DC
