Accelerating SpMM Kernel with Cache-First Edge Sampling for Graph Neural Networks
University of Washington（华盛顿大学）；Facebook Inc.（Facebook公司）
图神经网络（GNN）是一种新兴的深度学习模型类，可以从高度表达的图结构数据中提取有意义的表示，因此在更广泛的应用中越来越受欢迎。然而，当前的GNN遭受其稀疏密集矩阵乘法（SpMM）运算符的性能差，即使在使用强大的GPU时也是如此。我们的分析表明，在NVIDIA先进的V100 GPU上运行流行的GNN模型时，95%的推理时间可以花在SpMM上。这种SpMM性能瓶颈阻碍了GNN对大规模问题的适用性或更复杂的GNN模型的开发。为了解决这个推理时间瓶颈，我们引入了ES-SpMM，缓存优先边缘采样机制和协同设计的SpMM内核。ES-SpMM使用边采样来缩小图形的大小，以适应GPU的共享内存。因此，它降低了计算成本，提高了SpMM的缓存局部性。为了评估ES-SpMM的性能，我们将其与流行的GNN框架DGL集成，并使用代表性的GNN模型和数据集对其进行测试。我们的研究结果表明，ES-SpMM比高度优化的cuSPARSE SpMM内核性能高出4.35倍，没有精度损失，45.3倍，精度损失小于1%。
2021-04-23 cs.DC cs.LG
Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks
Wuhan University（武汉大学）；Imperial College（帝国理工学院）；JD Explore Academy（京东探索研究院）；Yunnan University（云南大学）
图神经网络（Graph Neural Network，GNNs）由于图数据规模和模型参数数量呈指数级增长而导致计算成本高，限制了其在实际应用中的实用性。为此，最近的一些工作专注于使用彩票假设（LTH）稀疏化GNN，以降低推理成本，同时保持性能水平。然而，基于LTH的方法有两个主要缺点：1）它们需要对密集模型进行穷举和迭代训练，导致极大的训练计算成本，以及2）它们只修剪图结构和模型参数，但忽略了节点特征维度，其中存在显著的冗余。为了克服上述限制，我们提出了一个全面的图逐步修剪框架CGP。这是通过设计一个训练期间图修剪范例来实现的，以便在一个训练过程中动态地修剪GNN。与基于LTH的方法不同，所提出的CGP方法不需要重新训练，这显著降低了计算成本。此外，我们还设计了一种协同稀疏化策略来全面修剪GNN的所有三个核心元素：图结构、节点特征和模型参数。同时，为了改进剪枝操作，我们在CGP框架中引入了一个再生过程，以重新建立被剪枝但重要的连接。建议的CGP通过使用跨6个GNN架构的节点分类任务进行评估，包括浅模型（GCN和GAT），浅但深传播模型（SGC和APPNP）和深模型（GCNII和ResGCN），共14个真实世界的图数据集，包括来自具有挑战性的开放图基准的大规模图数据集。实验表明，我们提出的策略大大提高了训练和推理效率，同时匹配甚至超过现有方法的准确性。
2022-07-19 cs.AI cs.LG
Hierarchical Attention-based Graph Neural Network with Relevance-driven Pruning
Korea Electronics Technology Institute (KETI)（韩国电子技术研究所）
本文提出HA-HeteroGNN框架，通过统一的可解释性到剪枝流程解决异构图中节点类型可解释性不足和计算开销大的问题，实验显示剪枝能提升分类准确率并降低计算开销。
2026-05-10 cs.AI cs.LG
GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training
Princeton University（普林斯顿大学）；Zhongguancun Haihua Institute for Frontier Information Technology（中关村海华前沿信息技术研究院）；Peking University（北京大学）；Pazhou Lab（琶洲实验室）；Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）
已知归一化有助于深度神经网络的优化。奇怪的是，不同的架构需要专门的规范化方法。在本文中，我们研究了什么样的归一化对图神经网络（GNNs）是有效的。首先，我们调整和评估现有的方法从其他领域的GNN。与BatchNorm和LayerNorm相比，InstanceNorm实现了更快的收敛。我们通过展示InstanceNorm作为GNN的预处理器来提供解释，但是由于图数据集中的批量噪声，BatchNorm的预处理效果较弱。其次，我们证明了InstanceNorm中的移位操作会导致高度正则图的GNNs的表达能力下降。我们通过提出具有可学习转变的GraphNorm来解决这个问题。经验上，与使用其他归一化的GNN相比，使用GraphNorm的GNN收敛得更快。GraphNorm还提高了GNN的泛化能力，在图分类基准测试中实现了更好的性能。
2021-06-11 cs.LG math.OC stat.ML
Adaptive Graph Pruning with Sudden-Events Evaluation for Traffic Prediction using Online Semi-Decentralized ST-GNNs
University of Zagreb, Faculty of Electrical Engineering and Computing（Zagreb大学电子工程与计算学院）；RISE Research Institutes of Sweden（瑞典RISE研究机构）；KTH Royal Institute of Technology（皇家理工学院）
本文提出了一种自适应剪枝算法和SEPA度量标准，用于在在线半去中心化设置中降低通信开销并提高交通预测对突发事件的响应能力。
2025-12-19 cs.AI cs.DC cs.LG
SENSEi: Input-Sensitive Compilation for Accelerating GNNs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
针对图神经网络加速问题，提出SENSEi输入敏感编译系统，通过矩阵重结合枚举与剪枝、在线轻量代价模型选优，在GPU和CPU上实现了多种GNN的显著加速，且可与不同GNN系统协同优化。
2024-03-09 cs.LG cs.PF
On the Feasibility of Fidelity$^-$ for Graph Pruning
Yonsei University（延世大学）
本文研究fidelity能否诱导全局软掩码以指导图剪枝，提出FiP框架从局部解释构建全局边掩码，并通过7种边归因方法发现通用XAI方法的剪枝表现优于GNN专用方法。
2024-06-17 cs.AI cs.IT cs.LG
Rethinking Pruning for Backdoor Mitigation: An Optimization Perspective
School of Cyber Science and Engineering, Shanghai Jiao Tong University（上海交通大学网络空间安全学院）
本文提出结合图神经网络与强化学习的优化神经元剪枝方法，通过建模神经元连接并学习剪枝策略，有效清除后门攻击植入的神经元，实现后门缓解的最优性能。
2024-05-28 cs.AI cs.CR cs.LG
MGG: Accelerating Graph Neural Networks with Fine-grained intra-kernel Communication-Computation Pipelining on Multi-GPU Platforms
University of Rochester（罗切斯特大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
提出MGG系统，通过动态软件流水线实现多GPU平台GNN内核内细粒度计算与通信重叠，结合负载均衡与运行时优化，性能显著优于现有系统。
2023-06-27 cs.DC cs.LG
Accelerating Generic Graph Neural Networks via Architecture, Compiler, Partition Method Co-Design
Shanghai Jiao Tong University（上海交通大学）
本文提出SwitchBlade协同设计框架，通过分区级算子融合、多线程和细粒度图分区，在支持通用GNN的同时实现优于V100且媲美专用加速器的性能与能效。
2023-08-16 cs.AR cs.LG
Deep Surrogate Docking: Accelerating Automated Drug Discovery with Graph Neural Networks
University of Michigan（密歇根大学）；Argonne National Laboratory（阿贡国家实验室）；University of Chicago（芝加哥大学）
筛选具有所需性质的分子的过程是从药物发现到材料设计等多种应用中的关键步骤。在药物发现过程中，蛋白质-配体对接或化学对接是一种标准的计算机模拟评分技术，用于评估分子与特定蛋白质靶标的结合亲和力。然而，最近，随着可用于测试的虚拟分子的数量迅速增长，这些经典的对接算法已经产生了显着的计算瓶颈。我们通过引入深度代理对接（DSD）来解决这个问题，DSD是一个应用基于深度学习的代理建模来大幅加速对接过程的框架。DSD可以被解释为几个早期的代理预过滤技术的形式主义，增加了新的指标和实际的培训实践。具体来说，我们表明，图神经网络（GNNs）可以作为快速和准确的估计经典的对接算法。此外，我们还介绍了FiLMv 2，这是一种新型的GNN架构，我们证明它优于现有的最先进的GNN架构，通过允许模型更有效地从数据中过滤掉不相关的信息，从而获得更准确和稳定的性能。通过大量的实验和分析，我们表明，DSD工作流结合FiLMv 2架构提供了一个9.496倍的加速在分子筛选与<3%的召回出错率的一个例子对接任务。我们的开源代码可以在https://github.com/ryienh/graph-dock上找到。
2022-11-04 cs.LG
Improved Aggregating and Accelerating Training Methods for Spatial Graph Neural Networks on Fraud Detection
Nanjing University of Posts and Telecommunications（南京邮电大学）；Nanjing Normal University（南京师范大学）
图神经网络（GNNs）已被广泛应用于众多领域。最近的一项工作结合分层结构和剩余连接，提出了一种改进的深度架构，将CAmouflage-Resistant GNN（CARE-GNN）扩展到称为Residual Layered CARE-GNN（RLC-GNN）的深度模型，形成自校正和增量学习机制，并在欺诈检测任务上实现了显着的性能改进。然而，我们发现RLC-GNN的三个问题，这是相邻信息的使用达到限制，训练困难，这是深层模型的固有问题，缺乏对节点特征和外部模式的综合考虑。在这项工作中，我们提出了三种方法来解决这三个问题分别。首先，我们建议通过余弦距离进行相似性度量，同时考虑局部特征和外部模式。然后，将相似性度量模块和邻域规范化思想与节点规范化和批量规范化相结合，提出了部分邻域规范化方法，克服了训练困难，同时减轻了图的高密度带来的噪声影响。最后，提出了中间信息补充的方法来解决信息不足的问题。实验在Yelp和Amazon数据集上进行。实验结果表明，本文提出的方法有效地解决了这三个问题。在Yelp数据集上，应用这三种方法后，我们在召回率、AUC和Macro-F1指标上分别获得了4.81%、6.62%和6.81%的改善。在Amazon数据集上，我们分别获得了1.65%和0.29%的召回率和AUC改善。
2022-02-14 cs.AI cs.LG
FastGL: A GPU-Efficient Framework for Accelerating Sampling-Based GNN Training at Large Scale
Institute of Automation, CAS（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；Shanghai Jiao Tong University（上海交通大学）；AiRiA
针对大规模图神经网络基于采样的训练在子图采样、内存IO和计算三阶段的瓶颈，提出GPU高效框架FastGL，通过Match-Reorder、Memory-Aware和Fused-Map方法优化全流程，较PyG、DGL和GNNLab实现显著加速。
2024-09-23 cs.AR cs.DC cs.LG
Self-Improving Neural-Guided Pruning: A Graph Neural Network Framework for Scalable Mixed Bundle Pricing
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
提出图神经网络引导的剪枝框架，通过将实例编码为客户-产品图并训练边输出GNN学习最优捆绑分配概率，经剪枝生成候选捆绑集，结合局部搜索和自改进过程，实现可扩展的混合捆绑定价，在小实例上恢复98%以上最优利润。
2026-07-13 cs.LG math.OC
Accelerating Graph Neural Networks via Edge Pruning for Power Allocation in Wireless Networks
University of Melbourne（墨尔本大学）
本文首次提出基于邻居的阈值方法对图神经网络进行边剪枝，用于解决无线网络中的功率分配问题，在保持性能和泛化能力的同时，将时间复杂度从O(|V|^2)降至O(|V|)。
2024-06-03 cs.IT cs.LG cs.NI
GDeR: Safeguarding Efficiency, Balancing, and Robustness via Prototypical Graph Pruning
Tongji Univerity（同济大学）；Shanghai AI Laboratory（上海人工智能实验室）；CUHK（香港中文大学）；UCAS（中国科学院大学）；NUS（新加坡国立大学）；UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；HKUST (Guangzhou)（香港科技大学（广州））；NTU（南洋理工大学）
本文提出动态软剪枝方法GDeR，通过可训练原型构建图嵌入超球面并采样代表性、平衡且无偏的子集，在减少30%~50%训练样本的同时实现最高2.81倍无损加速，并在不平衡和含噪场景下显著优于现有剪枝方法。
2024-10-17 cs.LG
Accelerating Molecular Graph Neural Networks via Knowledge Distillation
Linköping University（林雪平大学）；Imperial College London（伦敦帝国理工学院）；Technical University of Munich（慕尼黑工业大学）；Google Research（谷歌研究院）
本文提出利用知识蒸馏加速分子图神经网络，通过蒸馏有向和等变GNN的隐藏表示，在不改变学生模型架构的情况下将能量和力预测精度差距分别缩小96.7%和62.5%，同时保持轻量模型的推理吞吐量。
2023-10-28 cs.LG physics.chem-ph
MaxK-GNN: Extremely Fast GPU Kernel Design for Accelerating Graph Neural Networks Training
University of Connecticut（康涅狄格大学）；Northeastern University（东北大学）
MaxK-GNN通过算法与系统垂直优化，引入MaxK非线性和CBSR格式，设计高效前向与后向内核，在Reddit上实现3.22/4.24倍加速，接近理论极限。
2024-03-19 cs.AI cs.DC cs.LG
A Dynamical Systems-Inspired Pruning Strategy for Addressing Oversmoothing in Graph Neural Networks
Georgia Institute of Technology（佐治亚理工学院）
本文从动力系统视角分析 GNN 过度平滑的成因，提出 DYNAMO-GAT，通过噪声驱动协方差分析与反 Hebb 剪枝维持特征多样性，并在基准上验证其性能与效率。
2024-12-10 cs.AI cs.LG
Accelerating Sampling and Aggregation Operations in GNN Frameworks with GPU Initiated Direct Storage Accesses
UIUC USA（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA USA（英伟达公司）；NVIDIA/UIUC USA（英伟达公司/伊利诺伊大学厄巴纳-香槟分校）
针对大规模图神经网络训练中CPU数据加载瓶颈和内存不足问题，提出GIDS数据加载器，利用GPU直接访问存储、并行容忍延迟并消除缺页异常，使整体训练流程加速高达392倍。
2024-03-06 cs.AI cs.AR cs.DC
Heterogeneous Graph Prompt Learning via Adaptive Weight Pruning
College of Electrical and Information Engineering, Beijing University of Civil Engineering and Architecture（北京建筑大学电气与信息工程学院）；College of Cyber Security of Jinan University（济南大学网络安全学院）；School of Computer, Sun Yat-sen University（中山大学计算机学院）；Guangdong Key Laboratory of Data Security and Privacy Preserving（广东省数据安全与隐私保护重点实验室）；Machine Learning Department, Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（人工智能 Mohamed Bin Zayed 大学机器学习部门）
提出结合图提示与权重剪枝的GPAWP框架，通过重要性评估函数区分正负权重并进行分层剪枝，在减少参数的同时提升模型性能与效率。
2025-07-12 cs.AI cs.LG
Accelerating discrete dislocation dynamics simulations with graph neural networks
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
提出DDD-GNN框架，用图神经网络替代DDD模拟中昂贵的时间积分，在位错线滑过障碍物模型上验证其能稳定重现真实响应，无需显式计算节点力或位错迁移率，为加速DDD模拟开辟新途径。
2023-04-21 cond-mat.mtrl-sci cs.LG
NeuraChip: Accelerating GNN Computations with a Hash-based Decoupled Spatial Accelerator
Northeastern University（东北大学）；KAIST（韩国科学技术院）；Universidad de Murcia（穆尔西亚大学）；Boston University（波士顿大学）
提出基于Gustavson算法的GNN空间加速器NeuraChip，通过解耦稀疏矩阵乘法计算、滚动逐出策略和动态重置种子的哈希映射实现负载均衡，显著提升了计算速度并开源了模拟器NeuraSim。
2024-04-26 cs.AR cs.DC cs.LG
GARNET: Reduced-Rank Topology Learning for Robust and Scalable Graph Neural Networks
Cornell University（康奈尔大学）；UC Berkeley（加州大学伯克利分校）；Stevens Institute of Technology（史蒂文斯理工学院）
图神经网络（GNN）已经越来越多地部署在涉及对非欧几里德数据进行学习的各种应用中。然而，最近的研究表明，GNN容易受到图对抗攻击的攻击。虽然有几种防御方法可以通过消除对抗性组件来提高GNN的鲁棒性，但它们也可能损害有助于GNN训练的底层干净图结构。此外，由于其高计算复杂性和存储器使用，这些防御模型中很少有可以扩展到大型图的。在本文中，我们提出了GARNET，一种可扩展的谱方法，以提高GNN模型的对抗鲁棒性。GARNET首先利用加权谱嵌入来构建一个基础图，它不仅能抵抗对抗攻击，而且还包含用于GNN训练的关键（干净）图结构。接下来，GARNET通过基于概率图模型修剪额外的非关键边来进一步细化基础图。GARNET已经在各种数据集上进行了评估，包括具有数百万节点的大型图。我们广泛的实验结果表明，GARNET在最先进的GNN（防御）模型上分别实现了高达13.27%和14.7倍的对抗准确性提高和运行时加速。
2023-01-08 cs.LG
iSpLib: A Library for Accelerating Graph Neural Networks using Auto-tuned Sparse Operations
Indiana University Bloomington（印第安纳大学伯明顿分校）
提出基于PyTorch的C++库iSpLib，通过自动调优稀疏操作和启用缓存的反向传播加速GNN训练，仅需两行代码即可集成，在CPU上实现高达27倍训练加速。
2024-03-21 cs.DC cs.LG cs.PF
Spectral Theory for Edge Pruning in Asynchronous Recurrent Graph Neural Networks
Mathematical Institute, University of Oxford（牛津大学数学研究所）
针对异步循环图神经网络模型庞大、计算成本高的问题，本文提出基于图谱理论、利用拉普拉斯特征值虚部的动态边剪枝方法，以提升效率且不显著降低性能。
2025-02-23 cs.AI cs.LG
Accelerating Storage-Based Training for Graph Neural Networks
Hanyang University（翰江大学）；Chung-Ang University（Chung-Ang 大学）
AGNES通过块级存储I/O处理和超批次策略，提升大规模图神经网络训练效率，比现有方法快4.1倍。
2026-01-06 cs.AI cs.DB cs.LG
Single-Edge Node Injection Threats to GNN-Based Security Monitoring in Industrial Graph Systems
本文提出单边图注入攻击（SEGIA），通过单边连接注入假冒节点，提升攻击成功率25%以上，揭示工业GNN部署中的系统级安全风险。
2026-02-01 cs.LG
Less Can Be More: Unsupervised Graph Pruning for Large-scale Dynamic Graphs
Sun Yat-sen University（中山大学）；Ant Group（蚂蚁集团）；The University of Queensland（昆士兰大学）
提出自监督时间剪枝框架STEP，解决动态图无监督剪枝问题，在百万级工业图上剪枝超50%边且保持98%原始性能。
2023-05-18 cs.AI cs.LG
Taurus: Accelerating Out-of-Core Graph Neural Network Inference on Billion-Scale Graphs
Department of Computational and Data Sciences (CDS), Indian Institute of Science (IISc), Bangalore 560012 India（计算与数据科学系，印度科学院（IISc），班加罗尔）
针对十亿规模图的GNN推理难题，提出单机系统金牛座，通过重新制定推理方式，借助多种技术手段，在核外图推理中避免读取浪费，减少相关压力和开销，相比基线性能提升显著。
2026-07-21 cs.DC cs.LG
Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets
Tokyo Institute of Technology（东京工业大学）
本文针对深层 GNN 的强彩票假设问题，提出自适应 M-Sup、多阶段折叠与非共享掩码，发现未经训练的循环网络可媲美训练后的前馈网络，并在 OGB 等数据集上实现高稀疏性、竞争力性能与最高 98.7% 的内存节省。
2023-12-06 cs.AI cs.LG stat.ML
Fast Track to Winning Tickets: Repowering One-Shot Pruning for Graph Neural Networks
Tongji University（同济大学）
针对基于迭代幅度剪枝的图彩票假设方法计算成本高的问题，提出一次性剪枝去噪框架，实现了更高稀疏度与更快速度的双赢。
2024-12-10 cs.LG
Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation
The University of Queensland（昆士兰大学）；Peking University（北京大学）；National Engineering Laboratory for Big Data Analysis and Applications（国家大数据分析与应用工程实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）；Griffith University（格里菲斯大学）
针对归纳式场景下可扩展GNN推理的可扩展性问题，提出带节点自适应传播的在线框架及Inception Distillation方法，实现了准确率与效率的双重提升，在大数据集上最高达75倍加速。
2023-12-09 cs.AI cs.LG
GNNGuard: Defending Graph Neural Networks against Adversarial Attacks
Harvard University（哈佛大学）
图的深度学习方法在各种领域都取得了卓越的性能。然而，最近的研究结果表明，即使是最强大和最流行的图神经网络（GNN），图结构的小而不明显的扰动也会灾难性地降低其性能。在这里，我们开发了GNNGuard，这是一种通用算法，可以抵御各种干扰离散图结构的训练时间攻击。GNNGuard可以直接并入任何GNN。它的核心原理是检测和量化图结构和节点特征之间的关系（如果存在），然后利用这种关系来减轻攻击的负面影响。GNNGuard学习如何最好地为连接相似节点的边分配更高的权重，同时修剪不相关节点之间的边。修改后的边缘允许在底层GNN中鲁棒地传播神经消息。GNNGuard引入了两个新的组件，邻居重要性估计和逐层图存储器，我们的经验表明，这两个组件是必要的一个成功的防御。在五个GNN、三种防御方法和五个数据集（包括一个具有挑战性的人类疾病图）上，实验表明GNNGuard的平均性能比现有的防御方法高出15.3%。值得注意的是，GNNGuard可以在面对各种对抗攻击（包括针对性和非针对性攻击）时，有效地恢复GNN的最先进性能，并可以防御对异质图的攻击。
2020-10-28 cs.LG stat.ML
Robust GNN Watermarking via Implicit Perception of Topological Invariants
针对GNN现有水印易受剪枝等攻击削弱的问题，提出InvGNN-WM方法，通过拓扑不变量预测实现鲁棒水印，在基准测试中验证了其高保真度与检测性能。
2026-10-28 cs.CR cs.LG
Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning
Iowa State University（爱荷华州立大学）；Technical University of Darmstadt（达姆施塔特工业大学）
模型压缩是在功率和内存受限的资源上部署深度神经网络（DNN）的基本技术。然而，现有的模型压缩方法往往依赖于人类的专业知识，并专注于参数的局部重要性，忽略了DNN中丰富的拓扑信息。在本文中，我们提出了一种新的多阶段图嵌入技术的基础上图神经网络（GNNs）识别DNN拓扑结构，并使用强化学习（RL）找到一个合适的压缩策略。我们进行了资源受限（即，FLOPs）通道修剪，并将我们的方法与最先进的模型压缩方法进行了比较。我们在从典型到移动友好网络的各种模型上评估了我们的方法，例如ResNet系列，VGG-16，MobileNet-v1/v2和ShuffleNet。结果表明，我们的方法可以实现更高的压缩比与最小的微调成本，但产生出色的和有竞争力的性能。
2022-07-01 cs.CV cs.LG
Tackling Oversmoothing in GNN via Graph Sparsification: A Truss-based Approach
Department of Computer Science, Georgia State University（计算机科学系，佐治亚州立大学）
针对GNN重复聚合导致的过平滑问题，提出基于桁架的图稀疏化模型，从密集区域修剪冗余边以减少过度邻域信息聚合，将其应用于多种基线模型后，在真实数据集的图分类任务中显著提升性能。
2024-07-16 cs.AI cs.LG
Fast Graph Sharpness-Aware Minimization for Enhancing and Accelerating Few-Shot Node Classification
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of California, Merced（加州大学默塞德分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Createlink Technology（创联科技）；School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络空间安全学院）
本文提出FGSAM及FGSAM+算法，将GNN参数扰动与MLP快速最小化结合，以更低计算成本实现平坦最小值优化，从而增强并加速少样本节点分类。
2024-10-22 cs.AI cs.LG
REMuS-GNN: A Rotation-Equivariant Model for Simulating Continuum Dynamics
Imperial College London（帝国理工学院）
数值模拟是许多科学和工程领域的重要工具，但其性能往往限制了其在实践中的应用或用于探索大参数空间。另一方面，代理深度学习模型虽然加速了模拟，但通常表现出较差的准确性和泛化能力。为了改善这两个因素，我们引入了REMuS-GNN，一个旋转等变多尺度模型，用于模拟包含一系列长度尺度的连续动力系统。REMuS-GNN被设计为从物理域上的输入向量场预测输出向量场，该物理域被离散为一组非结构化节点。域的旋转的等变性是一种理想的归纳偏差，它允许网络更有效地学习底层物理，从而与缺乏这种对称性的类似架构相比，提高了准确性和泛化能力。本文以椭圆柱绕流为例，对该方法进行了验证和评价。
2022-05-05 cs.LG physics.flu-dyn
Shapley-Value-Based Graph Sparsification for GNN Inference
Department of Intelligent Systems Engineering Indiana University Bloomington Bloomington Indiana USA；Department of Computer Science \& Engineering Texas A\&M University College Station Texas USA；Indiana University Bloomington；Texas A\&M University
针对 GNN 推理中的图稀疏化问题，提出利用 Shapley 值识别边的正负贡献并剪枝误导性连接，从而在保持预测性能的同时降低复杂度并提升可解释性。
2025-07-28 cs.AI cs.LG
Make Heterophily Graphs Better Fit GNN: A Graph Rewiring Approach
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Microsoft Research Asia（微软亚洲研究院）
图神经网络（GNN）是用于对图数据建模的流行的机器学习方法。许多GNN在同质图上表现良好，但在异质图上表现不佳。近年来，一些研究者将注意力转向通过调整消息传递机制或扩大消息传递的感受野来设计异质图的GNN。与现有的从模型设计的角度减轻异质性问题的工作不同，我们建议从正交的角度研究异质性图，通过重新布线图结构来减少异质性，使传统的GNN表现得更好。通过全面的实证研究和分析，我们验证了重新布线方法的潜力。为了充分利用它的潜力，我们提出了一种名为Deep Heterophily Graph Rewiring（DHGR）的方法，通过添加同伦边和修剪异伦边来重新连接图。通过比较节点邻居的标签/特征分布的相似性来确定重新布线的详细方式。此外，我们设计了一个可扩展的实现DHGR，以保证高效率。DHRG可以很容易地用作插件模块，即，图预处理步骤，用于任何GNN，包括同质性和异质性的GNN，以提高它们在节点分类任务上的性能。据我们所知，这是第一个研究异形图的图重布线的工作。在11个公共图数据集上的实验证明了本文方法的优越性。
2022-09-17 cs.AI cs.LG
Rethinking Graph Lottery Tickets: Graph Sparsity Matters
Auburn University（奥本大学）；The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Clemson University（克莱姆森大学）
该研究针对图神经网络剪枝中高图稀疏度导致性能骤降的问题，提出含辅助损失头与最小-最大优化的改进剪枝方法，性能优于UGS，还提出并验证了可迁移图彩票假设。
2023-05-03 cs.AI cs.LG
Flow-Aware GNN for Transmission Network Reconfiguration via Substation Breaker Optimization
本文提出OptiGridML，一种两阶段流感知GNN框架，通过LGNN近似潮流和HeteroGNN预测断路器状态，在合成网络上实现高达18%的电力输出提升，并将推理时间从小时级降至毫秒级。
2025-08-03 cs.AI cs.LG
Measuring and Sampling: A Metric-guided Subgraph Learning Framework for Graph Neural Network
University of California, Davis（加州大学戴维斯分校）；Florida State University（佛罗里达州立大学）
图神经网络（GNN）在学习既保留节点属性又保留图结构信息的强大节点表示方面表现出令人信服的性能。然而，许多GNN在设计有更深的网络结构或处理大型图时会遇到有效性和效率方面的问题。已经提出了几种采样算法来改进和加速GNN的训练，但它们忽略了理解GNN性能增益的来源。对图数据内部信息的度量可以帮助采样算法在去除冗余信息甚至噪声的同时保留高价值信息。在本文中，我们提出了一个度量引导（MeGuide）子图学习框架的GNN。MeGuide采用两个新的指标：特征平滑度和连接失败距离来指导子图采样和基于小批量的训练。特征平滑度用于分析节点的特征以保留最有价值的信息，而连接失效距离用于度量结构信息以控制子图的大小。我们证明了MeGuide在多个数据集上训练各种GNN的有效性和效率。
2021-12-30 cs.AI cs.LG
Efficient Low-Rank GNN Defense Against Structural Attacks
Carleton University（卡尔顿大学）；Amii（阿尔伯塔机器智能研究所）
本文提出ELR-GNN防御方法，通过截断SVD初始化和联合学习低秩稀疏图结构，高效防御针对GNN的结构攻击，性能优于现有方法且易于训练。
2023-09-18 cs.AI cs.LG
RSC: Accelerating Graph Neural Networks Training via Randomized Sparse Computations
Rice University（莱斯大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出RSC框架，通过逐层和逐epoch优化计算资源分配、缓存采样矩阵及切换机制，首次实现用近似运算加速GNNs稀疏计算，在精度几乎无损下获11.6倍单算子与1.6倍端到端加速。
2023-07-02 cs.AI cs.LG
LightGNN: Simple Graph Neural Network for Recommendation
University of Hong Kong（香港大学）
针对GNN在大规模推荐中面临的可扩展性与鲁棒性挑战，提出基于知识蒸馏的轻量级剪枝框架LightGNN，通过自适应移除冗余边和嵌入项大幅降低模型复杂度，在保持推荐性能的同时实现80%边与90%嵌入项的减少。
2025-02-04 cs.AI cs.IR cs.LG
LoRAP: Low-Rank Aggregation Prompting for Quantized Graph Neural Networks Training
The Hong Kong Polytechnic University（香港理工大学）
LoRAP通过低秩聚合提示提升量化图神经网络训练性能，减少计算开销并提高低比特量化效果。
2026-01-21 cs.LG cs.SI
A Microstructure-based Graph Neural Network for Accelerating Multiscale Simulations
Delft University of Technology（代尔夫特理工大学）
本文提出一种基于图神经网络的混合数据-物理代理模型，通过预测微观全场应变并结合微观本构模型保留多尺度特性，在保证精度的同时显著加速FE2多尺度模拟。
2024-02-20 cs.LG cs.NA math.NA
Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification
Georgia Institute of Technology（佐治亚理工学院）；IQVIA（艾昆纬）；University of Illinois, Urbana-Champagne（伊利诺伊大学厄巴纳-香槟分校）
注意力机制在图神经网络（GNN）中的节点上的推理表现出优越的性能，然而，它们在训练和推理期间都导致高计算负担。我们提出了FastGAT，这是一种通过使用频谱稀疏化来生成输入图的最佳修剪来使基于注意力的GNNs轻量化的方法。这导致每纪元时间在图节点的数量上几乎是线性的，而不是二次的。我们从理论上证明，频谱稀疏保留的GAT模型计算的功能，从而证明我们的算法。我们实验评估FastGAT在几个大的真实世界的图形数据集的节点分类任务下的归纳和转换设置。FastGAT可以显著减少（高达\textbf{10x}）计算时间和内存需求，允许在大型图上使用基于注意力的GNN。
2020-10-05 cs.LG stat.ML
On the Robustness of Graph Reduction Against GNN Backdoor
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Ulsan National Institute of Science and Technology（蔚山国家科学技术研究院）；The University of Hong Kong（香港大学）
该研究针对图约简技术与GNN后门攻击的相互作用不明确的问题，分析了12种图约简方法在3种GNN架构下抵御3种后门攻击的鲁棒性，发现不同方法效果差异大，部分会加剧攻击，强调需在图约简中纳入鲁棒性考量以保障GNN安全。
2024-07-09 cs.CR cs.LG
PF-GNN: Differentiable particle filtering based approximation of universal graph representations
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；PayPal Innovation Lab（PayPal创新实验室）
针对消息传递GNN表达能力受1-WL测试限制的问题，提出基于可微粒子滤波的PF-GNN，通过采样IR范式的着色搜索树近似通用图表示，端到端可微且仅线性增加耗时，在合成与真实数据集上性能优于主流GNN。
2024-01-31 cs.AI cs.LG
Pruning Graphs by Adversarial Robustness Evaluation to Strengthen GNN Defenses
Yongyu Wang（王永宇）
本研究通过对抗鲁棒性评估修剪图结构，提升GNN在高扰动环境下的防御能力。
2025-11-29 cs.CR cs.LG
Layer Pruning for Accelerating Very Deep Neural Networks
Cloudwalk Technology（云从科技）
在本文中，我们提出了一种自适应修剪方法。该方法能够自适应地截断信道和层。自适应地学习待切割的层和通道的比例。本文提出的剪枝方法可以减少一半的参数，并且精度不会下降甚至高于基线。
2019-10-28 cs.CV cs.LG
