DistDGL: Distributed Graph Neural Network Training for Billion-Scale Graphs
AWS AI（AWS 人工智能部门）；AWS Shanghai AI Lab（AWS 上海人工智能实验室）
图神经网络（GNN）在从图结构数据中学习方面取得了巨大的成功。它们被广泛用于各种应用，例如推荐、欺诈检测和搜索。在这些域中，图通常很大，包含数亿个节点和数十亿条边。为了应对这一挑战，我们开发了DistDGL，这是一个在机器集群上以小批量方式训练GNN的系统。DistDGL基于Deep Graph Library（DGL），这是一个流行的GNN开发框架。DistDGL将图及其相关数据（初始特征和嵌入）分布在机器上，并使用此分布通过遵循所有者计算规则来导出计算分解。DistDGL遵循同步训练方法，并允许形成小批量的自我网络包含非本地节点。为了最大限度地减少与分布式计算相关的管理费用，DistDGL使用高质量且轻量级的最小割图划分算法以及多个平衡约束。这允许它减少通信开销并静态平衡计算。它通过复制光环节点和使用稀疏嵌入更新进一步减少了通信。这些设计选择的组合使DistDGL能够训练高质量的模型，同时实现高并行效率和内存可扩展性。我们展示了我们的优化归纳和transductive GNN模型。我们的研究结果表明，DistDGL在不影响模型准确性的情况下实现了线性加速，并且在16台机器的集群上，仅需13秒即可完成具有1亿个节点和30亿条边的图的训练时期。DistDGL现在作为DGL的一部分公开提供：https://github.com/dmlc/dgl/tree/master/python/…
2021-08-02 cs.DC cs.LG
Scalable Graph Neural Networks via Bidirectional Propagation
Renmin University of China（中国人民大学）；Alibaba Group（阿里巴巴集团）；Beijing Institute of Technology（北京理工大学）
图神经网络是一个新兴的非欧数据学习领域。最近，人们对设计可扩展到大型图的GNN越来越感兴趣。大多数现有的方法使用“图采样”或“逐层采样”技术来减少训练时间。然而，这些方法在应用于具有数十亿条边的图时仍然存在性能下降和可扩展性问题。本文介绍了GBP，一个可扩展的GNN，利用本地化的双向传播过程中的特征向量和训练/测试节点。理论分析表明，GBP算法是第一个在预计算和训练阶段都达到次线性时间复杂度的算法。一项广泛的实证研究表明，GBP实现了最先进的性能与显着更少的训练/测试时间。最值得注意的是，GBP可以在一台机器上在不到半小时的时间内在具有超过6000万个节点和18亿条边的图形上提供卓越的性能。GBP的代码可以在https://github.com/chennnM/GBP上找到。
2021-09-02 cs.LG
Scaling Laws of Graph Neural Networks for Atomistic Materials Modeling
Oak Ridge National Laboratory（橡树岭国家实验室）；Georgia Institute of Technology（佐治亚理工学院）
本文通过构建数十亿参数、太字节数据规模的基础GNN模型，系统研究图神经网络在原子尺度材料建模中的规模法则，揭示模型规模、数据量与准确性的关系，并提供优化模型与代码库。
2025-04-10 cond-mat.mtrl-sci cs.LG
InferTurbo: A Scalable System for Boosting Full-graph Inference of Graph Neural Network over Huge Graphs
Ant Group（蚂蚁集团）
针对巨型图GNN推理面临的可扩展性、采样不一致和冗余计算挑战，提出可扩展系统InferTurbo，采用类GAS模式及影子节点等策略实现无采样全图推理，2小时内完成千亿边规模图推理，性能显著优于传统流水线。
2023-07-01 cs.LG
Towards Training Billion Parameter Graph Neural Networks for Atomic Simulations
Meta FAIR；National Energy Research Scientific Computing Center (NERSC)（美国国家能源研究科学计算中心）
最近，用于原子模拟建模的图神经网络（GNN）取得了进展，有可能彻底改变催化剂的发现，这是在应对气候变化所需的能源突破方面取得进展的关键一步。然而，已被证明对这项任务最有效的GNN是内存密集型的，因为它们对图中的高阶相互作用进行建模，例如三重态或四重态原子之间的相互作用，这使得扩展这些模型具有挑战性。在本文中，我们介绍了Graph Graphelism，这是一种将输入图分布在多个GPU上的方法，使我们能够训练具有数亿或数十亿参数的非常大的GNN。我们通过将最近提出的DimeNet++和GemNet模型的参数数量增加一个数量级来实证评估我们的方法。在大规模Open Catalyst 2020（OC20）数据集上，这些图形并行化模型导致1）S2EF任务的力MAE指标相对提高了15%，2）IS2RS任务的AFbT指标相对提高了21%，建立了新的最先进的结果。
2022-03-18 cs.LG physics.comp-ph stat.ML
Taurus: Accelerating Out-of-Core Graph Neural Network Inference on Billion-Scale Graphs
Department of Computational and Data Sciences (CDS), Indian Institute of Science (IISc), Bangalore 560012 India（计算与数据科学系，印度科学院（IISc），班加罗尔）
针对十亿规模图的GNN推理难题，提出单机系统金牛座，通过重新制定推理方式，借助多种技术手段，在核外图推理中避免读取浪费，减少相关压力和开销，相比基线性能提升显著。
2026-07-21 cs.DC cs.LG
Dorylus: Affordable, Scalable, and Accurate GNN Training with Distributed CPU Servers and Serverless Threads
UCLA（加州大学洛杉矶分校）；University of Wisconsin（威斯康星大学）；CMU（卡内基梅隆大学）；Google Brain（谷歌大脑）；Simon Fraser（西蒙弗雷泽大学）；Princeton University（普林斯顿大学）
图神经网络（GNN）使得能够对结构化图数据进行深度学习。GNN训练有两个主要障碍：1）它依赖于高端服务器，这些服务器具有许多购买和维护昂贵的GPU，2）GPU上有限的内存无法扩展到今天的十亿边图。本文介绍了Dorylus：一个用于训练GNN的分布式系统。独特的是，Dorylus可以利用无服务器计算以低成本提高可扩展性。指导我们设计的关键见解是计算分离。计算分离使得构建一个深度的有界异步流水线成为可能，其中图和张量并行任务可以完全重叠，有效地隐藏了Lambdas引起的网络延迟。在数千个Lambda线程的帮助下，Dorylus将GNN训练扩展到十亿边图。目前，对于大型图形，CPU服务器提供了比GPU服务器更好的每美元性能。仅在CPU服务器上使用Lambdas，每美元的性能就比仅使用CPU服务器的培训高出2.75倍。具体来说，对于大规模稀疏图，Dorylus比GPU服务器快1.22倍，便宜4.83倍。与现有的基于采样的系统相比，Dorylus的速度快3.8倍，价格便宜10.7倍。
2021-05-25 cs.DC cs.LG
Empowering Credit Risk Detection in Weixin Pay with Billion-Scale Deep Graph Learning
Tongji University（同济大学）；Tencent Inc.（腾讯公司）
该研究针对微信支付十亿级用户信用风险检测需求，提出风险感知重叠子图学习框架，解决工业级GNN拓扑完整性损失问题，实验显示其性能优于现有策略。
2026-08-13 cs.LG
Communication-Free Distributed GNN Training with Vertex Cut
Stanford University（斯坦福大学）；Amazon（亚马逊）
本文提出CoFree-GNN框架，采用顶点割划分实现无通信分布式GNN训练，并通过重加权机制和改进DropEdge技术保持精度并进一步加速，实验表明训练速度最高可达现有方法的10倍。
2023-08-06 cs.LG
Graph Neural Network Training with Data Tiering
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Buffalo（布法罗大学）；AWS Shanghai AI Lab（AWS上海人工智能实验室）；NVIDIA（英伟达）
图神经网络（GNN）在从图结构数据中学习方面取得了成功，并应用于欺诈检测、推荐和知识图谱推理。然而，有效地训练GNN是具有挑战性的，因为：1）GPU存储器容量有限，并且对于大型数据集可能不足，以及2）基于图形的数据结构导致不规则的数据访问模式。在这项工作中，我们提供了一种方法来统计分析和识别GNN训练之前更频繁访问的数据。我们的数据分层方法不仅利用了输入图的结构，还利用了从实际GNN训练过程中获得的洞察力，以实现更高的预测结果。通过我们的数据分层方法，我们还提供了一种新的数据放置和访问策略，以进一步减少CPU-GPU通信开销。我们还考虑了多GPU GNN训练，并在多GPU系统中证明了我们的策略的有效性。评估结果表明，我们的工作将CPU-GPU流量减少了87 - 95%，并将GNN的训练速度提高了1.6 - 2.1倍，而现有的解决方案具有数亿个节点和数十亿条边。
2021-11-10 cs.LG
GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy
Ant Group（蚂蚁集团）；Fudan University（复旦大学）；Guangzhou University（广州大学）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）
图神经网络（GNNs）已被证明是一个强大的工具，用于分析非欧几里德图数据。然而，缺乏有效的分布式图学习系统严重阻碍了GNN的应用，特别是当图很大并且GNN相对较深时。在这里，我们提出了GraphTheta，第一个分布式和可扩展的图形学习系统建立在以顶点为中心的分布式图形处理与神经网络运营商实现为用户定义的功能。该系统支持多种训练策略，并在低内存的分布式（虚拟）机器上实现高效和可扩展的大图学习。为了方便图卷积，GraphTheta提出了一种新的图学习抽象NN-TGAR，以弥合图处理和图深度学习之间的差距。提出了一种分布式图引擎来进行混合并行执行的随机梯度下降优化，并支持一种新的集群批量训练策略。我们使用几个数据集来评估GraphTheta，这些数据集的网络大小从小到大。实验结果表明，GraphTheta可以很好地扩展到1，024名员工，用于在具有14亿个节点和41亿条属性边的行业规模支付宝数据集上训练内部开发的GNN，其中每个CPU虚拟机（dockers）的内存较小（5个）。$\sim$ 12 GB）。此外，GraphTheta可以通过高达$2.02\times$的性能优于DistDGL，具有更好的可扩展性，并且GraphLearn可以高达$30.56\times$。至于模型的准确性，GraphTheta能够学习与现有框架一样好的GNN。据我们所知，这项工作提出了文献中最大的边缘属性…
2023-01-17 cs.DC cs.LG
GPT-GNN: Generative Pre-Training of Graph Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Microsoft Research（微软研究院）
图神经网络（GNN）已被证明是强大的建模图结构的数据。然而，训练GNN通常需要大量特定于任务的标记数据，而获得这些数据通常非常昂贵。减少标记工作的一种有效方法是在具有自我监督的未标记数据上预训练表达性GNN模型，然后将学习到的模型转移到只有几个标签的下游任务。在本文中，我们提出了GPT-GNN框架，通过生成预训练来初始化GNN。GPT-GNN引入了一个自监督的属性图生成任务来预训练GNN，以便它可以捕获图的结构和语义属性。我们将图生成的可能性分解为两个部分：1）属性生成和2）边生成。通过对这两个组件进行建模，GPT-GNN在生成过程中捕获了节点属性和图结构之间的固有依赖关系。在十亿规模的开放学术图谱和亚马逊推荐数据上进行的综合实验表明，GPT-GNN在各种下游任务中的性能明显优于没有预训练的最先进的GNN模型，最高可达9.1%。
2020-06-27 cs.LG cs.SI stat.ML
GraphScale: A Framework to Enable Machine Learning over Billion-node Graphs
Bytedance（字节跳动）；Dartmouth College（达特茅斯学院）
GraphScale提出统一框架，通过分离存储与计算工作节点解耦图训练，异步流水线提升十亿节点图监督与无监督学习效率，端到端训练时间至少减少40%，已部署于TikTok生产环境。
2024-07-22 cs.DC cs.LG cs.SI
SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization
Nanyang Technological University（南洋理工大学）；East China Normal University（华东师范大学）；Google Research（谷歌研究院）
针对大规模图上 GNN 消息传递开销过高的问题，本文提出 SCARA，通过面向特征的计算选择与复用实现次线性复杂度，并在 Papers100M 上实现最高 100 倍加速。
2022-07-19 cs.DB cs.LG
BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；ByteDance（字节跳动）；Cornell University（康奈尔大学）
图神经网络（GNN）将深度神经网络（DNN）的成功扩展到非欧几里德图数据，在节点分类和图属性预测等各种任务上实现了突破性的性能。尽管如此，现有的系统对于用GPU训练具有数十亿个节点和边的大型图是低效的。主要的瓶颈是为GPU准备数据的过程-子图采样和特征检索。本文提出了BGL，一个分布式GNN训练系统，旨在通过一些关键思想解决瓶颈。首先，我们提出了一个动态缓存引擎，以尽量减少功能检索流量。通过对缓存策略和采样顺序的协同设计，我们找到了一个低开销和高缓存命中率的最佳点。其次，我们改进了图划分算法，以减少子图采样过程中的跨分区通信。最后，仔细的资源隔离减少了不同数据预处理阶段之间的争用。在各种GNN模型和大型图数据集上进行的大量实验表明，BGL的平均性能明显优于现有的GNN训练系统20.68倍。
2021-12-16 cs.DC cs.LG
SmartSAGE: Training Large-scale Graph Neural Networks using In-Storage Processing Architectures
KAIST（韩国科学技术院）
图神经网络（GNN）可以通过学习每个对象的表示（即，图形节点）和不同对象之间的关系（即，连接节点的边），在各种基于图形的任务中实现最先进的性能。尽管这些算法具有优势，但在生产环境中使用这些算法面临着几个挑战，因为图节点和边的数量达到数十亿到数千亿的规模，需要大量的存储空间用于训练。不幸的是，最先进的ML框架采用内存处理模型，这大大阻碍了ML从业者的生产力，因为它要求整个工作集适应DRAM容量。在这项工作中，我们首先对最先进的大规模GNN训练算法GraphSAGE进行了详细的描述。基于表征，然后我们探索了利用容量优化的NVM SSD存储内存饥饿的GNN数据的可行性，这使得大规模GNN训练超出了主存储器大小的限制。然而，鉴于DRAM和SSD之间的巨大性能差距，盲目地利用SSD作为DRAM的直接替代品会导致显著的性能损失。因此，我们开发SmartSAGE，我们的软件/硬件协同设计的基础上存储处理（ISP）架构。我们的工作表明，基于ISP的大规模GNN训练系统可以实现高容量存储和高性能，为ML从业者提供了训练大型GNN数据集的机会，而不会受到主存大小的物理限制。
2022-05-10 cs.AI cs.AR cs.LG
Reducing Communication in Graph Neural Network Training
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
图神经网络（GNN）是一种强大而灵活的神经网络，它使用数据的自然稀疏连接信息。GNN将这种连接表示为稀疏矩阵，与密集矩阵相比，稀疏矩阵具有较低的算术强度，因此通信成本较高，这使得GNN比卷积或全连接神经网络更难扩展到高并发。我们介绍了一系列用于训练GNN的并行算法，并表明与以前的并行GNN训练方法相比，它们可以渐进地减少通信。我们实现了这些算法，这是基于1D，1.5D，2D和3D稀疏密集矩阵乘法，使用火炬。分布在配备GPU的集群。我们的算法优化了整个GNN训练管道的通信。我们在多个数据集上的100多个GPU上训练GNN，包括具有超过10亿条边的蛋白质网络。
2020-09-02 cs.DC cs.LG stat.ML
Hardware/Software Co-Programmable Framework for Computational SSDs to Accelerate Deep Learning Service on Large-Scale Graphs
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
图神经网络（GNN）处理由一千亿条边组成的大规模图。与传统的深度学习相比，新兴GNN的独特行为涉及大量的图形和嵌入存储的数据，这表现出复杂和不规则的预处理。我们提出了一个新的大型图上的深度学习框架HolisticGNN，它提供了一个易于使用的，接近存储的推理基础设施，用于快速，节能的GNN处理。为了实现最佳的端到端延迟和高能效，HolisticGNN允许用户实现各种GNN算法，并以整体方式在实际数据存在的地方直接执行这些算法。它还支持PCIe上的RPC，这样用户就可以通过图形语义库简单地对GNN进行编程，而无需了解底层硬件或存储配置。我们制作了HolisticGNN的硬件RTL，并在基于FPGA的计算SSD（CSSD）上实现了其软件。我们的实证评估表明，HolisticGNN的推理时间比使用高性能现代GPU的GNN推理服务高出7.1倍，同时平均降低了33.2倍的能耗。
2022-01-23 cs.AR cs.LG
Deal: Distributed End-to-End GNN Inference for All Nodes
Amazon（亚马逊）；Rutgers University（罗格斯大学）
本文提出Deal，一个专用于数十亿边图的所有节点端到端推理的分布式GNN推理系统，通过挖掘采样中的共享机会、引入内存节省和通信高效的分布式原语以及分区流水线通信，将端到端推理时间最多减少7.70倍，图构建时间最多减少21.05倍。
2025-03-04 cs.DC cs.LG
Towards Sparsification of Graph Neural Networks
University of Connecticut（康涅狄格大学）；University of Rochester（罗切斯特大学）；George Mason University（乔治梅森大学）
随着现实世界的图规模扩大，部署了具有数十亿参数的更大的GNN模型。这种模型中的高参数计数使得图上的训练和推理昂贵且具有挑战性。为了减少GNN的计算和存储成本，通常采用诸如修剪输入图中的冗余节点和边的优化方法。然而，直接以模型层的稀疏化为目标的模型压缩主要限于用于诸如图像分类和目标检测之类的任务的传统深度神经网络（DNN）。在本文中，我们利用两种最先进的模型压缩方法（1）训练和修剪（2）稀疏训练用于GNN中权重层的稀疏化。我们评估和比较这两种方法的准确性，训练稀疏性和训练FLOPs在现实世界中的图形的效率。我们的实验结果表明，在ia-email，wiki-talk和stackoverflow数据集上进行链接预测，具有低得多的训练FLOP的稀疏训练与训练和修剪方法实现了相当的准确性。在用于节点分类的大脑数据集上，稀疏训练使用较低数量的FLOP（小于训练和修剪方法的1/7 FLOP），并且在极端模型稀疏度下保持更好的准确性性能。
2023-02-24 cs.LG
Scalable and Certifiable Graph Unlearning: Overcoming the Approximation Error Barrier
Renmin University of China（中国人民大学）
针对现有可认证图遗忘方法在大规模图上因需重新计算图传播而不实用的问题，提出ScaleGUN，集成近似图传播技术实现十亿边图的可认证遗忘，在三种场景下提供保证且效率远超重新训练/传播。
2025-02-18 cs.LG
Neighbor2Seq: Deep Learning on Massive Graphs by Transforming Neighbors to Sequences
Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）
现代图神经网络（GNNs）使用消息传递方案，并在许多领域取得了巨大的成功。然而，这种递归设计固有地导致过多的计算和内存需求，使其不适用于大规模的现实世界的图。在这项工作中，我们提出了Neighbor2Seq将每个节点的分层邻域转换为序列。这种新颖的转换使后续的小批量训练能够用于一般的深度学习操作，例如卷积和注意力，这些操作是为网格状数据设计的，并且在各个领域都表现出强大的功能。因此，我们的Neighbor2Seq通过预先计算Neighbor2Seq变换，自然赋予GNN在网格状数据上进行深度学习操作的效率和优势。我们在一个拥有超过1.11亿个节点和16亿条边的大型图以及几个中等规模的图上评估了我们的方法。结果表明，我们提出的方法是可扩展的大规模图，并实现了卓越的性能在大规模和中等规模的图。我们的代码可在https://github.com/divelab/Neighbor2Seq上获得。
2022-02-07 cs.LG
Hierarchical Sparse Circuit Extraction from Billion-Parameter Language Models through Scalable Attribution Graph Decomposition
Department of CSE, Muffakham Jah College of Engineering and Technology (MJCET)（计算机科学与工程系，穆法卡姆·贾赫工程与技术学院（MJCET））
提出分层归因图分解（HAGD）方法，通过跨层编码器训练、谱粗化、GNN引导分层遍历和因果干预验证，将电路提取复杂度降至O(n² log n)，在多个大模型上实现高行为保留。
2026-06-23 cs.AI cs.CL cs.LG
Entropy Aware Training for Fast and Accurate Distributed GNN
IIT Bhilai（印度理工学院比莱分校）
针对分布式GNN框架图分区存在的数据分布异构、类别不平衡导致性能不佳的问题，提出边加权分区、异步个性化阶段和类别平衡采样器的熵感知训练方法，在DistDGL上实现后训练速度提升2-3倍，微F1值平均提升4%。
2023-11-04 cs.DC cs.LG
Distributed Graph Neural Network Training with Periodic Stale Representation Synchronization
George Mason University（乔治梅森大学）；Emory University（埃默里大学）
尽管图神经网络最近取得了成功，但在具有数百万个节点和数十亿条边的大型图上训练GNN仍然具有挑战性，这在许多基于图的应用中很普遍。传统的基于采样的方法通过丢弃边和节点来加速GNN训练，这会损害图的完整性和模型性能。目前，分布式GNN算法通过利用多个计算设备来加速GNN训练，并且可以分为两种类型：“基于分区”的方法具有较低的通信成本，但由于丢弃边缘而遭受信息丢失，而“基于传播”的方法避免了信息丢失，但由于邻居爆炸而遭受禁止的通信开销。为了共同解决这些问题，本文提出了DIGEST（DIRECT Graph Representation SynchronizaTion），这是一种新型的分布式GNN训练框架，它可以协同现有方法的互补优势。我们建议允许每个设备在子图并行训练期间利用其邻居在其他子图中的陈旧表示。通过这种方式，我们的方法保留了邻居的全局图信息，以避免信息丢失并降低通信成本。我们的收敛性分析表明，DIGEST享有国家的最先进的收敛速度。对大型真实图形数据集的广泛实验评估表明，与最先进的分布式GNN训练框架相比，DIGEST在不影响性能的情况下实现了高达21.82的加速比。
2022-10-02 cs.DC cs.LG
Not All Neighbors Matter: Understanding the Impact of Graph Sparsification on GNN Pipelines
Boston University（波士顿大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文研究图稀疏化对GNN流程的影响，发现稀疏化能提升模型准确性并显著加快训练和推理速度。
2026-11-03 cs.DB cs.LG
Unifews: You Need Fewer Operations for Efficient Graph Neural Networks
College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡）；College of Computing（计算学院）；Data Science, Nanyang Technological University, Singapore（数据科学，南洋理工大学，新加坡）
提出Unifews联合稀疏化技术统一图与权重矩阵操作，在保证精度下实现10-20倍操作减少及最高100倍加速，显著提升GNN学习效率。
2025-07-10 cs.DB cs.LG
MariusGNN: Resource-Efficient Out-of-Core Training of Graph Neural Networks
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；ETH Zürich（苏黎世联邦理工学院）
我们研究大规模图的图神经网络（GNNs）的训练。我们重新审视了对十亿级图使用分布式训练的前提，并表明对于适合主内存或单机SSD的图，使用单个GPU的核外流水线训练可以优于最先进的（SoTA）多GPU解决方案。我们介绍MariusGNN，这是第一个利用整个存储层次结构（包括磁盘）进行GNN训练的系统。MariusGNN引入了一系列数据组织和算法贡献，1）最大限度地减少训练所需的端到端时间，2）确保通过基于磁盘的训练学习的模型表现出与在内存中完全训练的模型相似的准确性。我们评估了MariusGNN与SoTA系统在学习GNN模型方面的对比，发现MariusGNN中的单GPU训练比这些系统中的多GPU训练快8倍，从而实现了数量级的货币成本降低。MariusGNN在www.marius-project.org上开源。
2022-10-11 cs.DB cs.LG
Detecting Fraud in Financial Networks: A Semi-Supervised GNN Approach with Granger-Causal Explanations
University of Amsterdam（阿姆斯特丹大学）；KPMG Netherlands（荷兰德勤）
本文提出半监督图神经网络方法SAGE-FIN，利用弱标记数据检测金融网络欺诈，并通过格兰杰因果关系提供可解释性，在Elliptic++数据集上验证了其有效性。
2025-06-25 cs.LG q-fin.ST stat.ML
Distributed Graph Neural Network Inference With Just-In-Time Compilation For Industry-Scale Graphs
Ant Group（蚂蚁集团）
本文针对工业级大规模图数据上GNN推理的内存与计算瓶颈，提出基于新编程接口和即时编译的分布式图学习范式，消除子图采样带来的信息丢失与冗余计算，在5亿节点、224亿边的图上实现最高27.4倍性能提升。
2025-03-08 cs.AI cs.DC cs.LG
Retrofitting Temporal Graph Neural Networks with Transformer
School of Computer Science, Wuhan University（武汉大学计算机学院）；Centre for Perceptual and Interactive Intelligence (CPII)（感知与交互智能中心）；ETH Zürich（苏黎世联邦理工学院）；eBay（易贝）；Peking University（北京大学）
本文提出TF-TGN，用Transformer解码器作为时序图神经网络骨干，通过序列化消息聚合、并行CSR转换与图采样，实现超2.2倍训练加速且精度不降。
2024-09-18 cs.LG
Armada: Memory-Efficient Distributed Training of Large-Scale Graph Neural Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Apple（苹果公司）
Armada提出GREM分区算法与解耦架构，实现高效大规模GNN分布式训练，分区质量媲美METIS，内存减少8-65倍，速度提升8-46倍，运行时间改进达4.5倍。
2025-02-25 cs.DC cs.LG
Heterogeneous Graph Transformer
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
近年来，图神经网络（GNNs）在结构化数据建模方面取得了巨大的成功。然而，大多数GNN都是为同构图设计的，其中所有节点和边都属于相同的类型，这使得它们无法表示异构结构。在本文中，我们提出了异构图Transformer（HGT）的架构建模Web规模的异构图。为了对异质性进行建模，我们设计了节点和边缘类型相关的参数来表征每个边缘上的异质注意力，使HGT能够为不同类型的节点和边缘保持专用的表示。为了处理动态异构图，我们将相对时间编码技术引入到HGT中，它能够捕获具有任意持续时间的动态结构依赖。为了处理Web规模的图数据，我们设计了异构小批量图采样算法--HGSampling--以实现高效和可扩展的训练。在1.79亿个节点和20亿条边的Open Academic Graph上进行的大量实验表明，所提出的HGT模型在各种下游任务上的性能始终优于所有最先进的GNN基线9%-21%。
2020-03-03 cs.LG cs.SI stat.ML
LinkSAGE: Optimizing Job Matching Using Graph Neural Networks
LinkedIn Corporation（领英公司）
LinkSAGE 通过构建大规模职位市场图，并将 GNN 训练与现有 DNN 解耦、结合近线推理，在 LinkedIn 场景中显著提升职位匹配的参与度、相关性和留存率。
2024-02-20 cs.AI cs.LG cs.SI
FastGL: A GPU-Efficient Framework for Accelerating Sampling-Based GNN Training at Large Scale
Institute of Automation, CAS（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；Shanghai Jiao Tong University（上海交通大学）；AiRiA
针对大规模图神经网络基于采样的训练在子图采样、内存IO和计算三阶段的瓶颈，提出GPU高效框架FastGL，通过Match-Reorder、Memory-Aware和Fused-Map方法优化全流程，较PyG、DGL和GNNLab实现显著加速。
2024-09-23 cs.AR cs.DC cs.LG
Efficient Scaling of Dynamic Graph Neural Networks
IBM Research, India（IBM印度研究院）；University of Utah（犹他大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Tokyo（东京大学）
我们提出了分布式算法训练动态图神经网络（GNN）的大规模图跨越多节点，多GPU系统。据我们所知，这是第一次对动态GNN进行缩放研究。我们设计了减少GPU内存使用的机制，并确定了两个执行时间瓶颈：CPU-GPU数据传输和通信量。利用动态图的性质，我们设计了一个基于图差异的策略，以显着减少传输时间。我们开发了一个简单，但有效的数据分配技术，通信量保持固定和线性的输入大小，对于任何数量的GPU。我们在128个GPU的系统上使用十亿大小的图进行的实验表明：（i）分布方案在128个GPU上实现了高达30倍的加速;（ii）图差技术将传输时间减少了4.1倍，总执行时间减少了40%
2021-09-16 cs.DC cs.LG
3D Object Detection in LiDAR Point Clouds using Graph Neural Networks
LiDAR（Light Detection and Ranging）是一种先进的主动遥感技术，其工作原理是旅行时间（ToT），用于捕获周围环境的高精度3D信息。LiDAR在研发方面获得了广泛关注，预计到2025年LiDAR产业将达到28亿美元。虽然LiDAR数据集具有高密度和高空间分辨率，但由于其固有的3D几何形状和庞大的体积，处理LiDAR数据具有挑战性。但是这样的高分辨率数据集在许多应用中具有巨大的潜力，并且在3D目标检测和识别中具有巨大的潜力。在这项研究中，我们提出了基于图神经网络（GNN）的框架来学习和识别三维激光雷达点云中的对象。GNN是一类深度学习，它基于图学习的原理学习模式和对象，在各种3D计算机视觉任务中取得了成功。
2023-02-08 cs.CV cs.LG stat.ML
Convolutional Neural Networks on Graphs with Chebyshev Approximation, Revisited
Renmin University of China（中国人民大学）
针对ChebNet等切比雪夫基谱图卷积性能反直觉弱于其他基的问题，研究者指出其性能差源于非法系数导致的过拟合，提出基于切比雪夫插值的ChebNetII模型，在节点分类任务及十亿级ogbn-papers100M数据集上均取得优异表现。
2024-03-12 cs.AI cs.LG
Multilayer GNN for Predictive Maintenance and Clustering in Power Grids
organization= Industrial \& Manufacturing Engineering, North Dakota State University , addressline= NDSU Dept. 2485, PO Box 6050 , city= Fargo , postcode= 58108-6050 , state= ND , country= USA；organization= Department of Engineering Technology \& Construction Management, University of North Carolina at Charlotte , postcode= 28223 , state= NC , country= USA；organization= Department of Industrial \& Systems Engineering, North Carolina Agriculture \& Tech State University , city= Greensboro , postcode= 27411 , state= NC , country= USA；organization= Department of Industrial \& Management Systems Engineering, University of South Florida , addressline= 4202 East Fowler Avenue, ENG 030 , city= Tampa , postcode= 33620 , state= FL , country= USA
针对电网预测性维护忽视空间、时间和因果依赖的问题，提出多层GNN框架，整合图注意力、卷积和同构网络，提升故障预测精度并实现基于韧性的变电站聚类，支持主动电网管理。
2025-07-09 cs.LG cs.SY eess.SY
ZOOMER: Boosting Retrieval on Web-scale Graphs by Regions of Interest
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
我们介绍ZOOMER，这是一个部署在中国最大的电子商务平台淘宝上的系统，用于在网络规模的图上训练和提供基于GNN的推荐。ZOOMER旨在解决淘宝海量用户数据带来的两个挑战：由于图的规模巨大而导致的低训练/服务效率，以及由于信息过载而导致的低推荐质量，这分散了推荐模型对特定用户意图的注意力。ZOOMER通过在GNN中引入一个关键概念，即用于推荐的感兴趣区域（ROI）来实现这一点，即，图中与强用户意图显著相关的邻域区域。ZOOMER缩小了整个图的焦点，并“放大”了更相关的ROI，从而降低了培训/服务成本，同时减轻了信息过载。通过精心设计的机制，ZOOMER识别每个推荐请求所表达的兴趣，通过对兴趣进行采样来构建ROI子图，并通过多层次注意力模块引导GNN对ROI的不同部分进行重新加权。作为一个大规模的分布式系统部署，ZOOMER支持具有数十亿个节点的图形进行训练，每秒可处理数千个请求。ZOOMER在缩小采样规模时实现了高达14倍的加速，与基线方法相比具有相当（甚至更好）的AUC性能。此外，离线评估和在线A/B测试都证明了ZOOMER的有效性。
2022-03-20 cs.AI cs.IR cs.LG
Learning Graph Representations
National Institute of Science Education and Research（国家科学教育与研究学院）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
社交网络和信息网络由于其各种应用而最近获得了巨大的普及。通过节点和边形式的图进行的知识表示应尽可能多地保留原始数据的特征。这些图的一些有趣和有用的应用是图分类，节点分类，链接预测等图神经网络在过去的几年中已经发展。图神经网络（GNN）是深入了解大型动态图数据集的有效方法，这些数据集捕获数十亿实体之间的关系，也称为知识图谱。本文讨论了图卷积神经网络、图自编码器和时空图神经网络。可以使用这些方法学习图在较低维度中的表示。较低维度的表示可以进一步用于下游机器学习任务。
2021-02-03 cs.LG cs.SI
Next Word Suggestion using Graph Neural Network
University of Memphis（孟菲斯大学）
针对大型语言模型参数与计算成本高昂的问题，提出结合 GNN 图卷积上下文编码与 LSTM 的下一个词预测方法，并在自定义 Wikipedia 语料上验证有效。
2025-05-13 cs.CL cs.LG
Accurate and Scalable Graph Neural Networks via Message Invariance
University of Science and Technology of China（中国科学技术大学）
提出拓扑补偿（TOP）方法，利用消息不变性将昂贵的批外消息传递转换为批内消息传递，实现大规模图上的高效准确小批量学习，速度提升一个数量级。
2025-02-27 cs.AI cs.LG
Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling
AI VK
该研究针对生产级社交图的好友推荐问题，提出结合多哈希用户嵌入与时序邻居采样的可扩展GNN排序系统，经实验验证可提升好友推荐效果并发布了相关分布式框架。
2026-08-28 cs.IR cs.LG cs.SI
Improving Graph Neural Networks with Simple Architecture Design
Tokyo Institute of Technology（东京工业大学）；AIRC, AIST（人工智能研究中心，日本产业技术综合研究所）
图神经网络已经成为一种有用的工具，通过应用基于图结构的附加约束来学习数据。这些图通常是用实体之间的假定内在关系创建的。近年来，在架构设计方面有了巨大的改进，在各种预测任务中提高了性能。一般来说，这些神经架构结合了层深度和节点特征聚合步骤。这使得分析不同跳处特征的重要性和神经网络层的表达能力变得具有挑战性。由于不同的图数据集在特征和类标签分布中表现出不同程度的同质性和异质性，因此在没有任何先验信息的情况下，了解哪些特征对预测任务很重要变得至关重要。在这项工作中，我们解耦的节点特征聚合步骤和深度的图神经网络，并介绍了几个关键的设计策略，图神经网络。更具体地说，我们建议使用softmax作为正则化器和从不同跳距的邻居聚合的特征的"软正则化";以及GNN层上的"跳归一化"。结合这些技术，我们提出了一个简单而浅层的模型，特征选择图神经网络（FSGNN），并实证表明，所提出的模型优于其他国家的最先进的GNN模型，并实现高达64%的节点分类任务的准确性提高。此外，分析学习的模型的软选择参数提供了一种简单的方法来研究预测任务中的特征的重要性。最后，我们用实验证明了该模型对于具有数百万节点和数十亿条边的大型图是可扩展的。
2021-05-17 cs.AI cs.LG stat.ML
Simplifying Distributed Neural Network Training on Massive Graphs: Randomized Partitions Improve Model Aggregation
University of Michigan（密歇根大学）；Amazon（亚马逊）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；Microsoft（微软）
提出一种简化的分布式GNN训练框架，通过随机化分区和周期性模型聚合提升数据均匀性，在减少开销的同时实现优于基线的性能、2.31倍加速及更强鲁棒性。
2023-05-17 cs.DC cs.LG
Flood Risk Follows Valleys, Not Grids: Graph Neural Networks for Flash Flood Susceptibility Mapping in Himachal Pradesh with Conformal Uncertainty Quantification
Independent Researcher（独立研究者）；Dr. YSPUHF, Solan, H.P., India（印度希马恰尔邦索兰的YSPUHF博士）
本文利用图神经网络分析喜马拉尔邦的山洪风险，通过流域连通性图提升预测精度，首次实现具有统计保证的90%覆盖区间。
2026-03-15 cs.LG
ParaVS: A Simple, Fast, Efficient and Flexible Graph Neural Network Framework for Structure-Based Virtual Screening
Global Health Drug Discovery Institute（全球健康药物研发中心）
基于结构的虚拟筛选（SBVS）是一种将计算方法集成到药物设计中的有前途的计算机技术。在SBVS中广泛使用的方法是分子对接。然而，由于该方法采用经典力学评分函数来逼近量子力学精度，难以达到量子力学精度，因此很难同时保证计算效率和精确度。为了降低蛋白质-配体评分过程的计算成本并使用数据驱动方法来提高评分函数的准确性，我们引入了基于对接的SBVS方法，此外，还引入了一种基于深度学习的非对接方法，该方法能够避免对接过程的计算成本。然后，我们尝试将这两种方法集成到一个易于使用的框架，ParaVS，为研究人员提供两种选择。ParaVS中采用了图神经网络（GNN），我们解释了我们内部的GNN如何工作以及如何对配体和分子靶标进行建模。为了验证我们的方法，交叉验证实验在两个数据集上进行，一个开放的数据集有用的诱饵目录：增强（DUD.E）和一个内部专有的数据集没有计算生成的人工诱饵（NoDecoy）。在DUD.E上，我们实现了0.981的最先进AUC和36.2的2%的最先进富集因子;在NoDecoy上，我们实现了0.974的AUC。我们进一步完成了一个开放的数据库，烯胺REAL数据库（RDB），其中包括超过13.6亿分子在4050核心小时使用我们的ParaVS非对接方法（ParaVS-ND）的推断。ParaVS-ND的推理速度约为3.6e5个分子/核心-小时，而传统的基于对接的方法的这个数量约为20个…
2021-02-08 cs.LG q-bio.BM q-bio.QM
GraphGPT: Generative Pre-trained Graph Eulerian Transformer
Alibaba Inc.（阿里巴巴公司）
GraphGPT提出基于图欧拉Transformer的自监督生成式预训练模型，通过将图可逆地转换为token序列并进行下一token或掩码token预测预训练，在OGB多个数据集上达到领先性能，并可扩展至20亿参数，突破传统图模型的可扩展性瓶颈。
2025-06-06 cs.AI cs.LG
SA-GNAS: Seed Architecture Expansion for Efficient Large-scale Graph Neural Architecture Search
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学 现代软件工程国家重点实验室）
针对大规模图神经架构搜索成本高的问题，提出SA-GNAS，通过性能排序一致性选择种子架构并基于熵最小化迭代扩展，在五个大规模图上提升性能与搜索效率。
2024-12-03 cs.LG
Symbiotic Message Passing Model for Transfer Learning between Anti-Fungal and Anti-Bacterial Domains
Technion（以色列理工学院）
本文提出共生消息传递神经网络（SMPNN），通过在来自不同领域的图神经网络之间建立新的消息传递通道来融合模型，实现从抗细菌活性到抗真菌活性的迁移学习，实验表明其性能优于标准迁移学习方法且更稳定。
2023-04-14 cs.LG q-bio.QM
