Dissecting CPU-GPU Unified Physical Memory on AMD MI300A APUs
KTH Royal Institute of Technology（瑞典皇家理工学院）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文首次对AMD MI300A APUs上的统一物理内存架构进行分析，提出移植策略并评估六个应用程序，显示统一内存模型在性能和成本上的优势。
2025-08-18 cs.DC cs.PF
Efficient GPU-Centered Singular Value Decomposition Using the Divide-and-Conquer Method
针对传统SVD方法在异构系统中面板分解慢、CPU-GPU数据传输频繁的问题，提出GPU中心化SVD算法，融合基于GPU的双对角分治方法，重构计算流程消除数据传输，优化BLAS利用率，在AMD MI210和NVIDIA V100上实现显著加速。
2025-08-15 cs.DC cs.PF
Comparing CPU and GPU compute of PERMANOVA on MI300A
本文在统一 HBM 架构的 AMD MI300A 上评估内存受限的 PERMANOVA，发现 GPU 采用暴力实现显著快于已优化缓存局部性的 CPU 版本，且 SMT 收益明显。
2025-05-07 cs.DC cs.PF q-bio.QM
Understanding the Impact of Input Entropy on FPU, CPU, and GPU Power
在高性能GPU加速计算系统中，电源正日益成为一种限制性资源。了解功率变化的范围和来源对于设定机架和系统峰值功率的实际界限以及开发最小化能耗的技术至关重要。虽然之前已经研究了制造过程中产生的变化和其他因素，如算法等，但这项工作表明，程序输入不仅会严重影响GPU的功耗，还会影响CPU的功耗。在NVIDIA Ampere A100 GPU上，对于相同的算法（DGEMM基准测试）和不同矩阵值的输入大小，观察到高达67%的功耗变化。我们的调查表明，作为矩阵元素，它们的位置，它们的唯一性的值强烈影响功耗。这一结果对超级计算机性能和能源效率的影响进行了进一步讨论。
2022-12-17 cs.AR cs.DC cs.PF
Accelerating Mobile Inference through Fine-Grained CPU-GPU Co-Execution
University of Southern California（南加州大学）
本文提出利用细粒度CPU-GPU协同执行机制，通过轻量级同步机制和机器学习模型提升移动设备推理速度，实现线性层和卷积层的加速效果
2026-02-18 cs.DC cs.LG cs.PF
CPU and GPU Accelerated Fully Homomorphic Encryption
全同态加密（FHE）是隐私保护中最有前途的技术之一，因为它允许对加密数据进行任意数量的函数计算。然而，这些FHE系统的计算成本限制了它们的广泛应用。在本文中，我们的目标是通过设计高效的并行框架，以提高性能的FHE计划。特别地，我们选择环面全同态加密（TFHE），因为它为无限数量的布尔门（例如，AND、XOR）评估。我们首先将门操作扩展到代数电路，如加法，乘法，以及它们的向量和矩阵等价物。其次，我们考虑多核CPU来提高门和算术运算的效率。最后，我们将TFHE移植到图形处理单元（GPU），并对采用多个内核的布尔和算术电路进行了新的优化。我们还通过实验分析了不同数值表示（16至32位）的CPU和GPU并行框架。我们的GPU实现优于现有的技术，它实现了20倍的加速任何32位布尔运算和14.5倍的乘法。
2020-05-05 cs.CR cs.DC cs.PF
Optimization strategies for parallel CPU and GPU implementations of a meshfree particle method
当前计算流体动力学（CFD）高性能计算（HPC）中的大部分焦点都涉及基于网格的方法。然而，新的无网格粒子方法，如光滑粒子流体动力学（SPH）的并行实现研究较少。在这项工作中，我们提出了优化的中央处理单元（CPU）和图形处理单元（GPU）的SPH方法。这些优化策略可以进一步应用于许多其他无网格方法。所获得的性能为每个架构和CPU和GPU的最有效的实现之间的比较。
2011-11-18 cs.CE cs.PF
Digital Blood in Massively Parallel CPU/GPU Systems for the Study of Platelet Transport
我们提出了一个高度通用的计算框架，用于模拟细胞血流，专注于极端的性能，而不影响准确性或复杂性。该工具耦合的晶格玻尔兹曼求解器Palabos的血浆的模拟，一种新的有限元法（FEM）求解器的分辨率的可变形的血细胞，和浸没的边界法的两相耦合。该工具的设计支持混合CPU-GPU执行（CPU上的流体，流体-固体交互，GPU上的FEM求解器），并且是非侵入式的，因为三个组件中的每一个都可以以模块化的方式替换。基于FEM的固体动力学内核优于其他FEM求解器，其性能可与最先进的质量弹簧系统相媲美。我们在瑞士国家超级计算中心对Piz Daint进行了详尽的性能分析，并提供了专注于血小板运输的案例研究。测试表明，这个多功能的框架结合了前所未有的准确性和巨大的性能，使其适合即将到来的exascale架构。
2019-11-08 cs.DC cs.PF physics.comp-ph
Astrophysical Particle Simulations on Heterogeneous CPU-GPU Systems
异构的CPU-GPU节点在HPC集群中越来越流行。我们需要根据CPU与GPU的相对性能重新考虑此类系统的算法和优化技术。在本文中，我们报告了一个性能优化的粒子模拟程序“OTOO”，它是基于八叉树方法，为异质系统。OTOO的主要应用是天体物理模拟，如N体模型和恒星剧烈合并的演化。我们提出了CPU和GPU之间的最佳任务分配，其中GPU仅用于计算粒子力的计算。此外，我们描述了优化技术，如控制力的准确性，矢量化树行走，和多个GPU之间的工作划分。我们使用OTOO模拟了两颗白矮星的合并过程，发现OTOO在模拟这一过程的命运方面是强大而实用的。
2012-06-06 astro-ph.IM cs.PF physics.comp-ph
Blink: CPU-Free LLM Inference by Delegating the Serving Stack to GPU and SmartNIC
KTH Royal Institute of Technology（瑞典皇家理工学院）
Blink通过将服务栈责任转移至GPU和智能网卡，消除主机CPU在推理路径中的作用，从而提升LLM推理性能，减少延迟并提高吞吐量。
2026-04-08 cs.DC cs.LG cs.OS
Characterizing and Optimizing LLM Inference Workloads on CPU-GPU Coupled Architectures
Carnegie Mellon University（卡内基梅隆大学）；Samsung Semiconductor, Inc.（三星半导体公司）
本文研究了CPU-GPU耦合架构上大语言模型推理工作负载的性能特性，揭示了GH200在大批次时的性能优势及CPU瓶颈，并提出通过内核融合优化低批次延迟的方法。
2025-04-16 cs.AI cs.AR cs.DC
ChASE -- A Distributed Hybrid CPU-GPU Eigensolver for Large-scale Hermitian Eigenvalue Problems
随着现代大规模并行集群越来越大，计算节点越来越强，传统的并行特征值求解器（如直接求解器）很难跟上硬件发展的步伐，并且由于额外的通信和同步层而能够有效地扩展。当将传统库移植到配备加速器的异构计算架构（如图形处理单元（GPU））时，这种困难尤为重要。最近，有显着的科学贡献的发展，基于滤波器的子空间本征求解器计算部分本征谱。这些类型的算法的结构更简单，使他们更容易避免通信和同步瓶颈的直接求解器的典型。Chebyshev Accelerated Subspace Eigensolver（ChASE）是一种基于Chebyshev多项式的滤波器加速的现代子空间特征值求解器，用于计算大规模Hermitian特征值问题的部分极值特征对。在这项工作中，我们扩展了我们以前的工作ChASE增加支持分布式混合CPU多GPU计算架构。我们的测试表明，ChASE在最大为$360$ k的密集本征问题上实现了非常好的扩展性能，最大可扩展到144个节点，总共526个NVIDIA A100 GPU。
2022-05-05 cs.DC cs.MS cs.PF
Architectural Implications of Embedding Dimension during GCN on CPU and GPU
Harvard University（哈佛大学）
图神经网络（GNN）是一类设计用于从数据的图形结构中提取信息的神经网络。图卷积网络（Graph Convolutional Network，GCN）是一种广泛应用于图学习的GNN，它利用卷积从图中学习信息。GCN是一个具有挑战性的算法，从体系结构的角度来看，由于固有的稀疏性，低数据重用，和大量的内存容量的要求。传统的神经算法利用GPU的高计算能力来实现推理和训练的高性能。使用GPU进行GCN推理的架构决策是本工作中探讨的一个问题。为了更好地理解图大小、嵌入维数和采样对性能的影响，对CPU和GPU上的GCN进行了表征。
2022-12-01 cs.LG cs.PF
General-purpose molecular dynamics simulations on GPU-based clusters
我们提出了一个GPU实现的LAMMPS，广泛使用的并行分子动力学（MD）的软件包，并显示5倍至13倍的单节点加速比仅CPU版本的LAMMPS。这个新的LAMMPS CUDA包还支持在混合异构集群上进行多GPU模拟，使用MPI进行节点间通信，GPU上的CUDA内核用于处理粒子数据的所有方法，以及用于CPU执行的标准LAMMPS C++代码。比较了单元和邻居列表方法在GPU上的最佳性能，每原子线程和每原子块邻居列表变体分别在低邻居计数和高邻居计数时显示出最佳性能。GPU支持的LAMMPS的计算性能结果针对各种材料类别（例如生物分子，聚合物，金属，半导体），以及与其他可用的GPU支持的MD软件的速度比较。最后，我们展示了使用多达128个双GPU节点的CPU/GPU集群上的强和弱扩展性能。
2011-03-06 cond-mat.mtrl-sci cs.DC cs.PF
Performance Engineering of the Kernel Polynomial Method on Large-Scale CPU-GPU Systems
核多项式方法（KPM）是量子物理和量子化学中确定大型稀疏矩阵的特征值密度和谱性质的一种行之有效的方法。在这项工作中，我们展示了高优化潜力和千万亿次异构CPU-GPU实现的KPM的可行性。在节点级，我们表明，它是可能的解耦的稀疏矩阵问题所造成的KPM从主内存带宽的CPU和GPU。为了减轻分散的数据访问的影响，我们结合松散耦合的外部迭代与紧密耦合的块稀疏矩阵多向量操作，这使得纯数据流。所有优化都由性能分析和建模过程指导，该过程指示计算瓶颈如何随着每个优化步骤而变化。最后，我们使用优化的节点级KPM与混合并行框架进行大规模的非均质电子结构计算的新拓扑材料的千万亿次级Cray XC 30系统。
2015-07-29 cond-mat.mes-hall cs.CE cs.DC
Hybrid GPU-CPU Retrieval for Personalized Search at Ultra-Large Scale
Meta Platforms, Inc.（元平台公司）
针对万亿级个性化搜索的规模悖论，提出GPU-CPU混合协同检索系统，GPU处理深度交互预排序，CPU覆盖更广库存，经A/B测试验证提升相关性与参与度。
2026-09-21 cs.DC cs.IR cs.LG
An Efficient Hybrid Sparse Attention with CPU-GPU Parallelism for Long-Context Inference
Beijing University of Technology（北京理工大学）；Microsoft Research（微软研究院）；Beijing Jiaotong University（北京交通大学）
本文提出Fluxion，通过输出感知的KV预算分配、头特定的稀疏配置和跨设备协调执行，提升长上下文推断的效率与准确性，实测在多种任务中取得显著加速效果。
2026-05-08 cs.AI cs.LG cs.PF
Benchmarking TPU, GPU, and CPU Platforms for Deep Learning
Harvard University（哈佛大学）
训练深度学习模型是计算密集型的，并且整个行业都倾向于硬件专业化以提高性能。为了系统地对深度学习平台进行基准测试，我们引入了ParaDnn，这是一个用于深度学习的参数化基准测试套件，可以为全连接（FC）、卷积（CNN）和递归（RNN）神经网络生成端到端模型。除了六个真实的世界模型外，我们还对Google的Cloud TPU v2/v3、NVIDIA的V100 GPU和Intel Skylake CPU平台进行了基准测试。我们深入研究TPU架构，揭示其瓶颈，并强调为未来的专业系统设计所吸取的宝贵经验。我们还提供了对平台的全面比较，并发现每个平台对于某些类型的模型都具有独特的优势。最后，我们量化了专用软件栈为TPU和GPU平台提供的快速性能改进。
2019-10-22 cs.LG cs.PF stat.ML
Task-parallelism in SWIFT for heterogeneous compute architectures
The University of Manchester（曼彻斯特大学）；Durham University（杜伦大学）；Leiden University（莱顿大学）
本文提出在异构计算架构中利用GPU加速SWIFT的改进方法，通过任务并行性实现内存绑定和计算绑定计算的结合，提升流体动力学求解性能。
2026-01-21 astro-ph.IM cs.PF
Confidential LLM Inference: Performance and Cost Across CPU and GPU TEEs
ETH Zurich（苏黎世联邦理工学院）
本文首次在 CPU 和 GPU 可信执行环境中全面评估机密大语言模型推理，揭示 CPU TEE 开销低于 10%-20% 且可由 AMX 进一步降低，并证明其在成本与安全性上可优于 GPU 方案。
2025-09-23 cs.AR cs.CR cs.LG
