AdaptGear: Accelerating GNN Training via Adaptive Subgraph-Level Kernels on GPUs
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海期智研究院）
AdaptGear提出利用子图层级密度特征定制内核并动态选择最优内核集合，以平衡稀疏性收益与执行效率，在NVIDIA GPU上实现GNN训练最高6.49倍加速。
2023-05-27 cs.DC cs.LG
Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving with Workload Awareness
University of Edinburgh（爱丁堡大学）；Imperial College London（帝国理工学院）；Alibaba Group（阿里巴巴集团）
Quiver是一个分布式GPU GNN服务系统，通过工作负载感知指标预测计算不规则性，智能调度GPU图采样与特征聚合，实现低延迟高吞吐量。
2023-05-18 cs.AI cs.DC cs.LG
Towards Affordable, Adaptive and Automatic GNN Training on CPU-GPU Heterogeneous Platforms
针对GNN训练依赖昂贵平台的问题，提出A3GNN框架，通过局部感知采样、细粒度并行调度及强化学习优化资源利用，在CPU-GPU异构平台实现经济、自适应、自动化训练，提升吞吐量并缩小性能差距。
2025-10-15 cs.DC
BitGNN: Unleashing the Performance Potential of Binary Graph Neural Networks on GPUs
North Carolina State University（北卡罗来纳州立大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出 BitGNN，面向 GPU 位操作特性重构二元 GNN 推理后端，在保持准确率不变的情况下较现有实现提速 8–22 倍。
2023-06-03 cs.DC cs.LG
LSM-GNN: Large-scale Storage-based Multi-GPU GNN Training by Optimizing Data Transfer Scheme
NVIDIA（英伟达）；NVIDIA/UIUC（英伟达/伊利诺伊大学厄巴纳-香槟分校）
本文提出LSM-GNN框架，通过优化数据传输方案提升多GPU环境下GNN训练效率，实验表明其在单节点双GPU配置下优于双节点四GPU的Dist-DGL基线，实现端到端训练时间的3.75倍加速。
2026-03-28 cs.DC cs.LG
PiPAD: Pipelined and Parallel Dynamic GNN Training on GPUs
Beihang University（北京航空航天大学）
针对动态图神经网络训练中内存访问低效和数据传输开销大的问题，提出GPU上的流水线并行训练框架PiPAD，通过多图快照并行处理优化性能，实现最高9.57倍加速。
2023-01-05 cs.DC cs.LG
A Unified CPU-GPU Protocol for GNN Training
针对现有GNN框架无法高效利用CPU-GPU平台资源的问题，提出统一CPU-GPU协议，通过并行实例化训练进程协同计算并动态负载均衡，最高将训练速度提升1.41倍。
2024-03-25 cs.DC
Accelerating Sparse Matrix-Matrix Multiplication on GPUs with Processing Near HBMs
本文提出了一种基于哈希的多阶段SpGEMM方法和AIA技术，通过近内存处理优化GPU HBM上的稀疏矩阵矩阵乘法，显著提升性能，尤其在图分析和GNN训练任务中表现突出。
2025-12-12 cs.DC
DistShap: Scalable GNN Explanations with Distributed Shapley Values
Indiana University Bloomington Indiana, USA；Wake Forest University North Carolina, USA；Texas A\&M University Texas, USA；Indiana University Bloomington；Wake Forest University；Texas A\&M University
为解决图神经网络预测归因计算成本高的问题，提出分布式并行算法 DistShap，通过跨 GPU 采样子图、并行推理和求解分布式最小二乘问题计算边重要性，首次将解释扩展至数百万特征并实现高准确率。
2025-06-27 cs.AI cs.DC cs.LG
SDT-GNN: Streaming-based Distributed Training Framework for Graph Neural Networks
Texas State University（德克萨斯州立大学）；Beijing Normal–Hong Kong Baptist University（北京师范大学-香港 Baptist大学）；SK hynix America（SK hynix美国分公司）；NVIDIA（英伟达公司）
SDT-GNN提出了一种基于流的分布式图神经网络训练框架，通过流式边输入减少内存需求，并引入SPRING算法提升划分质量，实验证明其在内存占用和性能上的优势。
2025-12-08 cs.DC cs.LG
BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；ByteDance（字节跳动）；Cornell University（康奈尔大学）
图神经网络（GNN）将深度神经网络（DNN）的成功扩展到非欧几里德图数据，在节点分类和图属性预测等各种任务上实现了突破性的性能。尽管如此，现有的系统对于用GPU训练具有数十亿个节点和边的大型图是低效的。主要的瓶颈是为GPU准备数据的过程-子图采样和特征检索。本文提出了BGL，一个分布式GNN训练系统，旨在通过一些关键思想解决瓶颈。首先，我们提出了一个动态缓存引擎，以尽量减少功能检索流量。通过对缓存策略和采样顺序的协同设计，我们找到了一个低开销和高缓存命中率的最佳点。其次，我们改进了图划分算法，以减少子图采样过程中的跨分区通信。最后，仔细的资源隔离减少了不同数据预处理阶段之间的争用。在各种GNN模型和大型图数据集上进行的大量实验表明，BGL的平均性能明显优于现有的GNN训练系统20.68倍。
2021-12-16 cs.DC cs.LG
Dorylus: Affordable, Scalable, and Accurate GNN Training with Distributed CPU Servers and Serverless Threads
UCLA（加州大学洛杉矶分校）；University of Wisconsin（威斯康星大学）；CMU（卡内基梅隆大学）；Google Brain（谷歌大脑）；Simon Fraser（西蒙弗雷泽大学）；Princeton University（普林斯顿大学）
图神经网络（GNN）使得能够对结构化图数据进行深度学习。GNN训练有两个主要障碍：1）它依赖于高端服务器，这些服务器具有许多购买和维护昂贵的GPU，2）GPU上有限的内存无法扩展到今天的十亿边图。本文介绍了Dorylus：一个用于训练GNN的分布式系统。独特的是，Dorylus可以利用无服务器计算以低成本提高可扩展性。指导我们设计的关键见解是计算分离。计算分离使得构建一个深度的有界异步流水线成为可能，其中图和张量并行任务可以完全重叠，有效地隐藏了Lambdas引起的网络延迟。在数千个Lambda线程的帮助下，Dorylus将GNN训练扩展到十亿边图。目前，对于大型图形，CPU服务器提供了比GPU服务器更好的每美元性能。仅在CPU服务器上使用Lambdas，每美元的性能就比仅使用CPU服务器的培训高出2.75倍。具体来说，对于大规模稀疏图，Dorylus比GPU服务器快1.22倍，便宜4.83倍。与现有的基于采样的系统相比，Dorylus的速度快3.8倍，价格便宜10.7倍。
2021-05-25 cs.DC cs.LG
Legion: Automatically Pushing the Envelope of Multi-GPU System for Billion-Scale GNN Training
针对现有单机多GPU缓存式GNN系统难以高效训练十亿规模图的问题，本文提出Legion系统，通过分层图划分、统一多GPU缓存及自动缓存管理机制提升训练效率，支持十亿规模GNN训练且性能优于现有最优系统。
2023-06-12 cs.DC
Comprehensive Evaluation of GNN Training Systems: A Data Management Perspective
Northeastern University（东北大学）；National University of Singapore（新加坡国立大学）
本文从数据管理视角全面评估了GNN训练系统，分析了数据划分、批次准备和CPU与GPU间数据传输等独特挑战，并通过基准数据集实验提供了有助于未来系统设计的实用技巧。
2024-03-20 cs.DC cs.LG
RTop-K: Ultra-Fast Row-Wise Top-K Selection for Neural Network Acceleration on GPUs
本文提出专为GPU设计的高效并行按行top-k选择算法RTop-K，利用二分搜索优化选择并结合提前停止机制，在保持模型精度的同时实现最高11.49倍加速，并使MaxK-GNN训练流程加速11.97%至33.29%。
2025-04-02 cs.DC
Distributed Hybrid CPU and GPU training for Graph Neural Networks on Billion-Scale Graphs
图神经网络（GNN）在从图结构数据中学习方面取得了巨大的成功。它们被广泛用于各种应用，例如推荐、欺诈检测和搜索。在这些域中，图通常是大的和异构的，包含数百万或数十亿个不同类型的顶点和边。为了应对这一挑战，我们开发了DistDGLv 2，这是一个扩展DistDGL的系统，用于使用分布式混合CPU/GPU训练，以小批量方式在大规模异构图上训练GNN。DistDGLv 2将图形数据放置在分布式CPU内存中，并在GPU中执行小批量计算。为了便于使用，DistDGLv 2采用了与Deep Graph Library（DGL）的小批量训练和异构图形API兼容的API，这使得分布式训练几乎不需要修改代码。为了确保模型的准确性，DistDGLv 2遵循同步训练方法，并允许形成小批量的自我网络包含非局部顶点。为了保证数据的局部性和负载均衡，DistDGLv 2使用一种带最小边割和多个均衡约束的多级划分算法对异构图进行划分. DistDGLv 2部署了一个异步小批量生成管道，使计算和数据访问异步，以充分利用所有硬件（CPU，GPU，网络，PCIe）。这种组合使DistDGLv 2能够训练高质量的模型，同时实现高并行效率和内存可扩展性。我们在各种GNN工作负载上演示了DistDGLv 2。我们的结果表明，DistDGLv 2实现了2- 3倍的速度比DistDGL和18倍的速度比欧拉。在具有64个GPU的…
2022-03-13 cs.DC
Efficient Scaling of Dynamic Graph Neural Networks
IBM Research, India（IBM印度研究院）；University of Utah（犹他大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Tokyo（东京大学）
我们提出了分布式算法训练动态图神经网络（GNN）的大规模图跨越多节点，多GPU系统。据我们所知，这是第一次对动态GNN进行缩放研究。我们设计了减少GPU内存使用的机制，并确定了两个执行时间瓶颈：CPU-GPU数据传输和通信量。利用动态图的性质，我们设计了一个基于图差异的策略，以显着减少传输时间。我们开发了一个简单，但有效的数据分配技术，通信量保持固定和线性的输入大小，对于任何数量的GPU。我们在128个GPU的系统上使用十亿大小的图进行的实验表明：（i）分布方案在128个GPU上实现了高达30倍的加速;（ii）图差技术将传输时间减少了4.1倍，总执行时间减少了40%
2021-09-16 cs.DC cs.LG
Plexus: Taming Billion-edge Graphs with 3D Parallel Full-graph GNN Training
Department of Computer Science\ of Maryland College Park Maryland USA；Department of Computer Science\ of Maryland
针对大规模图GNN训练的内存限制与分布式全图训练的通信、负载问题，提出带双重置换负载均衡等优化的3D并行全图训练框架Plexus，在超算多GPU上实现显著性能提升。
2025-10-29 cs.AI cs.DC cs.LG
Communication-free Sampling and 4D Hybrid Parallelism for Scalable Mini-batch GNN Training
本文提出ScaleGNN框架，通过无通信分布式采样、3D并行矩阵乘法和数据并行性，实现大规模小批量GNN训练，提升效率并减少通信开销。
2026-04-03 cs.AI cs.DC cs.LG
Reducing Communication in Graph Neural Network Training
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
图神经网络（GNN）是一种强大而灵活的神经网络，它使用数据的自然稀疏连接信息。GNN将这种连接表示为稀疏矩阵，与密集矩阵相比，稀疏矩阵具有较低的算术强度，因此通信成本较高，这使得GNN比卷积或全连接神经网络更难扩展到高并发。我们介绍了一系列用于训练GNN的并行算法，并表明与以前的并行GNN训练方法相比，它们可以渐进地减少通信。我们实现了这些算法，这是基于1D，1.5D，2D和3D稀疏密集矩阵乘法，使用火炬。分布在配备GPU的集群。我们的算法优化了整个GNN训练管道的通信。我们在多个数据集上的100多个GPU上训练GNN，包括具有超过10亿条边的蛋白质网络。
2020-09-02 cs.DC cs.LG stat.ML
Distributed Matrix-Based Sampling for Graph Neural Network Training
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出基于矩阵的批量采样方法，将采样表示为稀疏矩阵乘法，减少分布式GNN训练通信开销，支持更大图，在128 GPU上比Quiver快2.5倍，并展示扩展性。
2024-04-19 cs.DC cs.LG cs.PF
GSplit: Scaling Graph Neural Network Training on Large Graphs via Split-Parallelism
GSplit通过分片并行性在大规模图上高效扩展图神经网络训练，采用轻量级分区算法减少通信开销，优于现有主流系统。
2025-12-12 cs.DC cs.LG
GNNPipe: Scaling Deep GNN Training with Pipelined Model Parallelism
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
GNNPipe 首次将层级流水线模型并行用于全图深度 GNN 训练，通过层划分、依赖分块和历史嵌入等技术大幅降低通信量，并结合图并行实现高效可扩展训练。
2023-09-24 cs.AI cs.DC
GreenGNN: Energy-Aware Windowed Communication Optimization for Distributed GNN Training
Tennessee Technological University（田纳西理工大学）；University at Buffalo（布法罗大学）
提出GreenGNN系统，通过窗口化通信优化和离线模拟器选择窗口大小，在分布式GNN训练中减少通信能耗并提升吞吐量。
2026-06-01 cs.DC
Code generation and runtime techniques for enabling data-efficient deep learning training on GPUs
本文针对 GNN 与 LLM 训练中的数据移动、PCIe 传输和 GPU 显存瓶颈，提出 PyTorch-Direct、Hector IR 代码生成器及 SSDTrain 卸载框架。
2024-12-06 cs.DC cs.NE
SNI-GNN: SmartNIC-Assisted Full-Graph GNN Training with In-Network Embedding Prediction
SNI-GNN是借助SmartNIC的全图GNN训练系统，通过网络内嵌入预测减少通信，在保持精度的同时实现21%-45%通信量降低，1.3-3.6倍加速，可高效扩展至16个GPU。
2026-08-10 cs.DC cs.LG
EnGN: A High-Throughput and Energy-Efficient Accelerator for Large Graph Neural Networks
本文提出专用加速器EnGN，通过RER数据流和图分块策略解决大规模图神经网络计算与内存开销问题，性能和能效显著优于CPU、GPU及HyGCN。
2020-04-07 cs.DC
Accelerating SpMM Kernel with Cache-First Edge Sampling for Graph Neural Networks
University of Washington（华盛顿大学）；Facebook Inc.（Facebook公司）
图神经网络（GNN）是一种新兴的深度学习模型类，可以从高度表达的图结构数据中提取有意义的表示，因此在更广泛的应用中越来越受欢迎。然而，当前的GNN遭受其稀疏密集矩阵乘法（SpMM）运算符的性能差，即使在使用强大的GPU时也是如此。我们的分析表明，在NVIDIA先进的V100 GPU上运行流行的GNN模型时，95%的推理时间可以花在SpMM上。这种SpMM性能瓶颈阻碍了GNN对大规模问题的适用性或更复杂的GNN模型的开发。为了解决这个推理时间瓶颈，我们引入了ES-SpMM，缓存优先边缘采样机制和协同设计的SpMM内核。ES-SpMM使用边采样来缩小图形的大小，以适应GPU的共享内存。因此，它降低了计算成本，提高了SpMM的缓存局部性。为了评估ES-SpMM的性能，我们将其与流行的GNN框架DGL集成，并使用代表性的GNN模型和数据集对其进行测试。我们的研究结果表明，ES-SpMM比高度优化的cuSPARSE SpMM内核性能高出4.35倍，没有精度损失，45.3倍，精度损失小于1%。
2021-04-23 cs.DC cs.LG
FastCHGNet: Training one Universal Interatomic Potential to 1.5 Hours with 32 GPUs
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所处理器重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Semiconductor, Chinese Academy of Sciences（中国科学院半导体研究所）
针对CHGNet训练耗时问题，本文提出FastCHGNet，通过力/应力读出分解、算子优化和多GPU负载均衡，将训练时间降至32 GPU上1.53小时且精度无损。
2025-03-14 cs.DC cs.LG
Scalable Graph Indexing using GPUs for Approximate Nearest Neighbor Search
本文提出由GPU加速的图索引库Tagore，包含k-NN图初始化算法GNN-Descent、通用剪枝计算流程CFS及异步GPU-CPU-磁盘框架，在7个数据集上实现1.32至112.79倍加速且保持索引质量。
2025-08-13 cs.DB cs.DC
Towards Efficient Large-Scale Graph Neural Network Computing
Peking University（北京大学）；Microsoft Research（微软研究院）
最近的深度学习模型已经超越了图像、视频和语音等低维规则网格，转向了高维图形结构数据，如社交网络、大脑连接和知识图谱。这种演变导致了基于图的大型不规则和稀疏模型，这些模型超出了现有深度学习框架的设计目标。此外，这些模型不容易在并行硬件（例如GPU）上进行有效的大规模加速。我们介绍NGra，这是第一个基于图的深度神经网络（GNNs）的并行处理框架。NGra提出了一种新的SAGA-NN模型，用于将深度神经网络表示为顶点程序，每一层都处于明确定义的（Scatter，ApplyEdge，Gather，ApplyVertex）图操作阶段。该模型不仅允许直观地表达GNN，而且还有助于映射到有效的递归表示。NGra通过自动图形分区和GPU核心外或多个GPU上的基于块的流处理透明地解决了可扩展性挑战，它仔细考虑了数据局部性，数据移动以及并行处理和数据移动的重叠。NGra通过GPU上高度优化的Scatter/Gather运算符进一步实现了效率，尽管它是稀疏的。我们的评估表明，NGra可以扩展到现有框架都无法直接处理的大型真实图，同时即使在TensorFlow上的多基线设计的小规模下也可以实现高达4倍的加速。
2018-10-19 cs.DC cs.LG
GriNNder: Breaking the Memory Capacity Wall in Full-Graph GNN Training with Storage Offloading
Seoul National University（首尔大学）
GriNNder通过结构化存储卸载框架，利用NVMe SSD的高容量和带宽，实现有限内存下的全图GNN训练，实验显示其在单GPU上实现了9.78倍的加速和与分布式系统相当的吞吐量。
2026-05-12 cs.DC
Global Neighbor Sampling for Mixed CPU-GPU Training on Giant Graphs
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；AWS AI（亚马逊云科技人工智能部门）
图神经网络（GNN）是用于从图数据学习的强大工具，并且广泛用于各种应用，诸如社交网络推荐、欺诈检测和图搜索。这些应用程序中的图通常很大，通常包含数亿个节点。在如此大的图上有效地训练GNN模型仍然是一个巨大的挑战。尽管已经提出了许多基于采样的方法来支持大型图上的小批量训练，但这些方法尚未被证明适用于真正的行业规模图，这些图需要GPU或混合CPU-GPU训练。最先进的基于采样的方法通常不会针对这些现实世界的硬件设置进行优化，其中CPU和GPU之间的数据移动是一个瓶颈。为了解决这个问题，我们提出了全局邻域采样，旨在在巨型图上训练GNN，专门用于混合CPU-GPU训练。该算法定期对所有小批量节点的全局缓存进行采样，并将其存储在GPU中。这种全局缓存允许小批量的GPU内重要性采样，这大大减少了小批量中的节点数量，特别是在输入层中，以减少CPU和GPU之间的数据复制和小批量计算，而不影响训练收敛速度或模型精度。我们提供了一个高效的实现这种方法，并表明我们的实现优于一个有效的节点明智的邻居采样基线的一个因素的2X-4X的巨型图。该算法的性能比具有小层数的LARKING算法高出2X-14 X倍，同时精度也比LARKING算法高得多。我们还从理论上分析了该算法，并表明在缓存节点数据大小合适的情况下，该算法的收敛速度与底层的逐节点采样方法相当。
2021-06-11 cs.DC cs.LG
HC-SpMM: Accelerating Sparse Matrix-Matrix Multiplication for Graphs with Hybrid GPU Cores
针对真实图不规则性导致GPU上SpMM效率低的问题，提出HC-SpMM算法，利用混合GPU核心并结合数据划分、核心选择等优化，还集成至GNN流水线，在14个数据集上实现优于现有方案的加速效果。
2024-12-12 cs.DC
CaPGNN: Optimizing Parallel Graph Neural Network Training with Joint Caching and Resource-Aware Graph Partitioning
School of Microelectronics, South China University of Technology（华南理工大学微电子学院）
CaPGNN通过联合缓存和资源感知图划分优化并行图神经网络训练，显著提升训练效率并降低通信成本。
2026-02-07 cs.DC
Distributed Graph Neural Network Training: A Survey
Beijing University of Posts and Telecommunications（北京邮电大学）；Carnegie Mellon University（卡内基梅隆大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；HEC Montréal（蒙特利尔高等商学院）；Peking University（北京大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本综述针对分布式图神经网络训练的三大挑战，提出优化技术新分类体系并梳理各类技术，总结了适配不同硬件的现有系统，指明了未来研究方向。
2023-08-25 cs.AI cs.DB cs.DC
Morphling: Fast, Fused, and Flexible GNN Training at Scale
IIT Madras（印度理工学院马德拉斯学院）
提出Morphling领域特定代码合成器，通过架构感知的原语和运行时稀疏感知执行引擎，在CPU、GPU和分布式环境下显著提升GNN训练吞吐量并降低内存消耗。
2026-05-25 cs.DC cs.LG cs.PL
Accelerating Sampling and Aggregation Operations in GNN Frameworks with GPU Initiated Direct Storage Accesses
UIUC USA（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA USA（英伟达公司）；NVIDIA/UIUC USA（英伟达公司/伊利诺伊大学厄巴纳-香槟分校）
针对大规模图神经网络训练中CPU数据加载瓶颈和内存不足问题，提出GIDS数据加载器，利用GPU直接访问存储、并行容忍延迟并消除缺页异常，使整体训练流程加速高达392倍。
2024-03-06 cs.AI cs.AR cs.DC
Armada: Memory-Efficient Distributed Training of Large-Scale Graph Neural Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Apple（苹果公司）
Armada提出GREM分区算法与解耦架构，实现高效大规模GNN分布式训练，分区质量媲美METIS，内存减少8-65倍，速度提升8-46倍，运行时间改进达4.5倍。
2025-02-25 cs.DC cs.LG
GraphLeap: Decoupling Graph Construction and Convolution for Vision GNN Acceleration on FPGA
University of Southern California, Los Angeles, California, USA（美国南加州大学）
GraphLeap通过解耦图构建与特征更新，提升FPGA上视觉图神经网络的推理速度，实现95.7倍CPU和8.5倍GPU的加速效果。
2026-04-23 cs.CV cs.DC
Efficient Sparse Matrix Kernels based on Adaptive Workload-Balancing and Parallel-Reduction
稀疏矩阵-向量和矩阵-矩阵乘法（SpMV和SpMM）在传统（图分析，科学计算）和新兴（稀疏DNN，GNN）领域都是基础。工作负载平衡和并行减少是高效SpMV的广泛使用的设计原则。然而，以前的工作未能解决如何实现和自适应地使用这两个原则的SpMV/MM。为了克服这一障碍，我们首先完成了实现空间的优化，填补了以前的工作中缺失的三个部分，包括：（1）我们表明，工作负载平衡和并行减少可以通过一个片段减少算法实现SIMD洗牌原语相结合。(2)我们表明，并行减少可以实现在SpMM通过加载稠密矩阵行与向量记忆操作。(3)我们表明，稀疏行的向量化加载，并行减少的好处的一部分，可以共存的顺序减少SpMM通过临时缓存稀疏矩阵元素在共享内存中。在自适应使用方面，我们分析了两个原则的好处如何从输入数据空间的两个特性：不同的稀疏模式和密集矩阵宽度的变化。我们发现这两个原则的好处随着总工作量的增加而消失，即增加密集矩阵宽度。我们还确定，SpMV和SpMM，不同的稀疏矩阵功能，影响工作负载平衡的有效性。我们的设计在不同的GPU和密集矩阵宽度上始终超过cuSPARSE 1.07 - 1.57倍，与最佳选择相比，内核选择规则涉及5 - 12%的性能损失。我们的内核正在被集成到流行的图学习框架中，以加速GNN训练。
2021-10-14 cs.DC
Optimizing Data Distribution and Kernel Performance for Efficient Training of Chemistry Foundation Models: A Case Study with MACE
Pacific Northwest National Laboratory（太平洋西北国家实验室）；SISSA（国际高等研究学院）；NVIDIA（英伟达）；University of Cambridge（剑桥大学）；University of Utah（犹他大学）
针对化学基础模型（CFM）训练中数据分布和模型训练的优化需求，以MACE为例，提出多目标装箱问题的迭代算法优化数据分布、优化对称张量收缩内核，显著提升训练效率。
2025-04-14 cs.AI cs.DC
Enabling AI Deep Potentials for Ab Initio-quality Molecular Dynamics Simulations in GROMACS
KTH Royal Institute of Technology（皇家理工学院）
本研究在GROMACS中集成AI深势能，通过对比DPA2和DPA3的性能，发现DPA2在GPU上具有更高的吞吐量，同时识别了优化AI深势能在生产MD模拟中的关键因素。
2026-02-02 cs.DC physics.chem-ph physics.comp-ph
ParaGraph: Weighted Graph Representation for Performance Optimization of HPC Kernels
Iowa State University（爱荷华州立大学）；Stony Brook University（石溪大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出ParaGraph，一种扩展AST并引入边权重的加权图程序表示方法，通过训练GNN预测OpenMP代码在CPU和GPU上的运行时来优化HPC内核性能，归一化RMSE低至0.004。
2023-04-07 cs.DC cs.LG cs.PF
