Improving Your Graph Neural Networks: A High-Frequency Booster
Tsinghua University（清华大学）；Tencent（腾讯）
针对图神经网络在半监督节点分类中存在的过度平滑与异质性问题，提出补拉普拉斯正则化方法引入高频信息，提升了模型效果与拓扑鲁棒性。
2023-05-03 cs.LG
Improving the Expressive Power of Graph Neural Network with Tinhofer Algorithm
近年来，图神经网络（GNN）在处理基于图的数据方面取得了长足的发展。大多数GNN遵循消息传递方案，并且它们的表达能力在数学上受到Weisfeiler-Lehman（WL）测试的区分能力的限制。根据Tinhofer对紧致图的研究，我们提出了一种称为Weisfeiler-Lehman-Tinhofer GNN（WLT-GNN）的消息传递方案的变体，该方案在理论上突破了WL测试的限制。此外，我们进行了比较实验和消融研究几个著名的数据集。实验结果表明，本文提出的方法在这些数据集上具有相当的性能和更好的表达能力。
2021-04-05 cs.LG
ITEM: Improving Training and Evaluation of Message-Passing based GNNs for top-k recommendation
Conservatoire national des arts et métiers（法国国立工艺学院）；Sorbonne Université（索邦大学）
本研究针对top-k推荐中基于消息传递的GNN训练与评估问题，提出排序损失平滑优化方法与个性化PageRank负采样策略，还拓展了归纳式用户中心评估协议，在多数据集和架构上实现性能与训练速度的双重提升。
2024-07-03 cs.IR cs.LG
Understanding and Improving Deep Graph Neural Networks: A Probabilistic Graphical Model Perspective
Southeast University（东南大学）；Chinese Academy of Sciences（中国科学院）；Purple Mountain Laboratories（紫金山实验室）
近年来，为下游任务设计的基于图的模型极大地推进了对图神经网络（GNN）的研究。基于神经消息传递机制（如GCN和GAT）的GNN基线随着网络的深化而表现更差。因此，已经提出了许多GNN变体来解决这个性能下降问题，包括许多深度GNN。然而，仍然缺乏一个统一的框架来连接这些现有的模型，并在高层次上解释其有效性。在这项工作中，我们专注于深度GNN，并提出了一个新的观点来理解它们。我们建立了一个理论框架，通过推理的概率图模型。给定从马尔可夫随机场的变分推理导出的不动点方程（FPE），深度GNN（包括JKNet，GCNII，DGCN）和经典GNN（如GCN，GAT和APPNP）可以被视为FPE的不同近似。此外，在此框架下，FPE的更准确的近似，指导我们设计一个更强大的GNN：耦合图神经网络（CoGNet）。对引文网络和自然语言处理下游任务进行了广泛的实验。结果表明，CoGNet优于SOTA模型。
2023-01-25 cs.LG
FP-GNN: a versatile deep learning architecture for enhanced molecular property prediction
South China University of Technology（华南理工大学）
深度学习是分子设计的一种重要方法，具有相当大的预测分子特性的能力，包括物理化学、生物活性和ADME/T（吸收、分布、代谢、排泄和毒性）特性。在这项研究中，我们提出了一种新的深度学习架构，称为FP-GNN，它结合并同时学习来自分子图和指纹的信息。为了评估FP-GNN模型，我们对13个公共数据集，无偏LIT-PCBA数据集和14个乳腺细胞系表型筛选数据集进行了实验。广泛的评估结果表明，与先进的深度学习和传统的机器学习算法相比，FP-GNN算法在这些数据集上实现了最先进的性能。此外，我们还分析了不同分子指纹的影响，以及分子图和分子指纹对FP-GNN模型性能的影响。抗噪声能力和解释能力的分析也表明，FP-GNN在现实世界的情况下是有竞争力的。
2022-05-08 cs.LG q-bio.MN
Measuring and Improving the Use of Graph Information in Graph Neural Networks
The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）
图神经网络（GNN）已被广泛用于对图数据的表示学习。然而，对于GNN实际上从图形数据中获得多少性能的理解有限。本文介绍了一个上下文周围的GNN框架，并提出了两个平滑度度量，以衡量从图数据中获得的信息的数量和质量。一个新的GNN模型，称为CS-GNN，然后设计，以提高使用的图信息的基础上的平滑度值。CS-GNN在不同类型的实数图中表现出比现有方法更好的性能。
2022-06-27 cs.AI cs.LG
HighwayGraph: Modelling Long-distance Node Relations for Improving General Graph Neural Network
Peking University（北京大学）；Tencent Inc（腾讯公司）
图神经网络是处理图结构数据的有效方法。建立长距离节点关系模型对于GNN的训练和应用至关重要。然而，由于有限层信息传播，传统的GNN在建模长距离节点关系时表现不佳。现有的研究主要集中在构建深度GNN架构上，这面临着过度平滑的问题，并且无法在特别长的距离上建模节点关系。为了解决这个问题，我们建议通过简单地依赖于浅GNN架构来建模长距离节点关系，有两种解决方案：（1）通过学习预测节点对关系来进行隐式建模（2）通过在可能具有相同标签的节点之间添加边来进行显式建模。为了结合我们的两种解决方案，我们提出了一个与模型无关的训练框架HighwayGraph，它通过从训练集中采样节点对并采用自训练方法来克服标记节点不足的挑战。大量的实验结果表明，我们的HighwayGraph在三个基准数据集上的四个代表性GNN上实现了一致和显着的改进。
2020-05-17 cs.CL cs.LG cs.SI
GRAPHTEXTACK: A Realistic Black-Box Node Injection Attack on LLM-Enhanced GNNs
针对现有单模态攻击对LLM增强GNN效果有限、攻击假设不现实的问题，提出黑盒多模态节点注入攻击GRAPHTEXTACK，通过进化优化框架构造注入节点，实验证明其攻击效果显著优于现有基线。
2025-11-16 cs.CR cs.LG
CAP: Co-Adversarial Perturbation on Weights and Features for Improving Generalization of Graph Neural Networks
Jilin University（吉林大学）；Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
尽管最近图神经网络（GNNs）在建模图数据方面取得了进展，但由于过拟合，在大型数据集上训练GNNs非常困难。对抗性训练通过使用最坏情况下的对抗性样本来增强数据，已被广泛证明可以提高模型对对抗攻击的鲁棒性和泛化能力。然而，虽然以前的对抗性训练通常侧重于保护GNN免受恶意攻击，但目前尚不清楚对抗性训练如何提高GNN在图分析问题中的泛化能力。在本文中，我们从权重和特征损失景观的角度研究GNN，即，损失分别相对于模型权重和节点特征而变化。我们得出的结论是，在这两个损失景观中，GNNs容易陷入尖锐的局部极小值，其中GNNs具有较差的泛化性能。为了解决这个问题，我们构建了共同对抗扰动（CAP）优化问题的权重和功能，并设计了交替对抗扰动算法，以平坦的重量和功能损失景观交替。此外，我们将训练过程分为两个阶段：一个阶段进行标准的交叉熵最小化，以确保GNN模型的快速收敛，另一个阶段应用我们的交替对抗训练，以避免陷入局部尖锐极小值。大量的实验表明，我们的CAP可以普遍提高GNN在各种基准图数据集上的泛化性能。
2021-10-28 cs.LG
Improving the Expressiveness of $K$-hop Message-Passing GNNs by Injecting Contextualized Substructure Information
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出子结构编码函数并注入情境化子结构信息，以克服$K$跳消息传递GNN的局限性，在理论和实验上均显著提升了模型的表达能力与性能。
2024-06-27 cs.LG
The Split Matters: Flat Minima Methods for Improving the Performance of GNNs
Universität Ulm（乌尔姆大学）
本研究探讨平坦最小值方法对图神经网络性能的影响，发现随机分割下可提升超过2个百分点，并推荐使用权重平均技术如EWA以提升泛化与公平评估。
2023-06-15 cs.LG
Improving the Stability of GNN Force Field Models by Reducing Feature Correlation
Samsung Research Institute China（三星中国研究院）；Samsung Advanced Institute of Technology（三星先进技术研究院）
针对GNNFF模型在分布外数据集长时间MD模拟中的不稳定性问题，本文通过揭示特征相关性与模型稳定性的负相关关系，设计含动态损失系数调度器的损失函数降低边缘特征相关性，显著提升稳定性且计算开销低于3%。
2025-02-18 cs.AI cs.LG
Improving Fairness in Graph Neural Networks via Counterfactual Debiasing
Tianjin University（天津大学）
针对图神经网络（GNNs）因图结构和消息传递机制加剧的预测偏差问题，提出Fair-ICD方法：通过反事实数据增强创建多样化邻域学习无偏表示，结合对抗性判别器减少偏差，实验证明其在保持预测性能的同时显著提升公平性指标。
2025-08-20 cs.LG
Improving Subgraph-GNNs via Edge-Level Ego-Network Encodings
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；ISI Foundation Turin（都灵ISI基金会）
本文提出边级自我网络编码以增强子图GNN，理论上证明其表达能力优于基于节点的子图MP-GNN，并在多个基准上匹配或改进基线且显著降低内存使用。
2024-05-02 cs.AI cs.LG
Neural Enhanced Belief Propagation on Factor Graphs
University of Amsterdam（阿姆斯特丹大学）；UvA-Bosch Delta Lab（阿姆斯特丹大学博世三角洲实验室）
图模型是局部相关随机变量的结构化表示。对这些随机变量进行推理的传统方法是使用置信传播进行推理。当提供真实的数据生成过程时，置信传播可以推断树结构因子图中的最优后验概率估计。然而，在许多情况下，我们可能只能获得数据生成过程的差近似，或者我们可能会面临因子图中的循环，导致次优估计。在这项工作中，我们首先扩展图神经网络的因子图（FG-GNN）。然后，我们提出了一个新的混合模型，结合运行的FG-GNN与信念传播。FG-GNN在每次推理迭代时接收来自置信传播的输入消息，并输出它们的校正版本。因此，我们得到一个更准确的算法，结合了信念传播和图神经网络的好处。我们将我们的想法纠错解码任务，我们表明，我们的算法可以优于信念传播LDPC码在突发信道。
2021-03-16 cs.LG stat.ML
Auditing Privacy Risks in LLM-Enhanced Graph Neural Networks
Beijing University of Posts and Telecommunications（北京邮电大学）
本文通过5阶段统一框架评估LLM增强型GNNs的隐私风险，发现其隐私脆弱性高于浅层文本基线，差分隐私可部分缓解风险但会导致效用下降，凸显了该领域的隐私-效用权衡。
2026-10-08 cs.CR cs.LG
Structure Enhanced Graph Neural Networks for Link Prediction
Alibaba Group（阿里巴巴集团）
图神经网络（GNNs）在各种任务中表现出了良好的效果，其中链接预测是一个重要的任务。GNN模型通常遵循以节点为中心的消息传递过程，该过程递归地将邻域信息聚合到中心节点。在这种范式下，节点的特征通过边传递，而不关心节点位于何处以及它们扮演的角色。然而，被忽视的拓扑信息被证明是有价值的链接预测任务。在本文中，我们提出了结构增强图神经网络（SEG）的链接预测。SEG引入路径标记方法来获取目标节点周围的拓扑信息，然后将其结构融入到普通的GNN模型中。通过联合训练结构编码器和深度GNN模型，SEG融合拓扑结构和节点特征，充分利用图信息。在OGB链接预测数据集上的实验表明，SEG在所有三个公共数据集上都取得了最先进的结果。
2022-01-14 cs.LG
GraphFM: Improving Large-Scale GNN Training via Feature Momentum
Texas A&M University（德克萨斯农工大学）；The University of Iowa（爱荷华大学）
用于大规模节点分类的图神经网络（GNN）的训练是具有挑战性的。一个关键的困难在于获得准确的隐藏节点表示，同时避免邻域爆炸问题。在这里，我们提出了一种新的技术，命名为功能动量（FM），使用动量步骤，将历史嵌入时更新功能表示。我们开发了两种特定的算法，称为GraphFM-IB和GraphFM-OB，分别考虑批内和批外数据。GraphFM-IB将FM应用于批内采样数据，而GraphFM-OB将FM应用于批外数据，这些数据是批内数据的1跳邻域。我们提供了一个收敛性分析GraphFM-IB和一些理论见解GraphFM-OB。经验上，我们观察到GraphFM-IB可以有效地缓解现有方法的邻域爆炸问题。此外，GraphFM-OB在多个大规模图形数据集上实现了有前途的性能。
2022-06-18 cs.AI cs.LG
TuneUp: A Simple Improved Training Strategy for Graph Neural Networks
Stanford University（斯坦福大学）；Amazon（亚马逊公司）；National University of Singapore（新加坡国立大学）
针对GNN传统均等训练策略的次优问题，提出两阶段课程学习训练策略TuneUp，通过合成尾节点数据优化难样本学习，理论证明并实验验证其在多架构多任务下显著提升尾节点乃至整体预测性能。
2023-08-26 cs.AI cs.LG stat.ML
Improving Molecular Modeling with Geometric GNNs: an Empirical Study
Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央高等电力学院）；École Normale Supérieure Paris-Saclay（巴黎-萨克雷高等师范学院）；École Polytechnique, IP Paris（巴黎综合理工学院（巴黎理工大学））；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Entalpic（恩塔尔皮克公司）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Inria Saclay（萨克雷国家计算机与自动化研究院）
针对机器学习方法激增导致科研人员难选最优技术的问题，本文开展三维原子系统几何图神经网络的实证研究，分析三类组件对模型多方面表现的影响，为分子建模的组件选择提供参考。
2024-07-11 cs.LG
GNN-DT: Graph Neural Network Enhanced Decision Transformer for Efficient Optimization in Dynamic Environments
Delft University of Technology, Intelligent Electrical Power Grids（代尔夫特理工大学，智能电力电网）
针对动态环境中RL的稀疏奖励与可扩展性挑战，提出GNN-DT，融合GNN嵌入与残差连接，在EV充电优化中实现更优性能与更高样本效率，并具备强泛化能力。
2025-09-25 cs.LG cs.SY eess.SY
Theoretically Improving Graph Neural Networks via Anonymous Walk Graph Kernels
Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）
图神经网络在图挖掘中取得了巨大的成功。然而，GNN无法对图中的子结构进行建模仍然是一个显著的缺点。具体来说，作为GNN的主流类型，消息传递GNN（MPGNN）在理论上已经被证明无法区分，检测或计数许多图的子结构。虽然已经付出了努力，以补充的能力，现有的作品要么依赖于预定义的子结构集，从而不太灵活，或缺乏理论见解。在本文中，我们提出了GSKN，一个GNN模型，具有理论上更强的区分图结构的能力。具体来说，我们设计GSKN的基础上匿名散步（AW），灵活的子结构单元，并得出它的特征映射的图形内核（GK）。我们从理论上证明了GSKN可证明地扩展了1-WL测试，因此从图级和节点级的角度来看，最强大的MPGNN。相应地，利用各种实验来评估GSKN，其中GSKN优于广泛的基线，从而支持分析。
2021-04-07 cs.AI cs.LG
PM2.5-GNN: A Domain Knowledge Enhanced Graph Neural Network For PM2.5 Forecasting
School of Systems Science, Beijing Normal University（北京师范大学系统科学学院）
在预测PM2.5浓度时，需要考虑复杂的信息来源，因为浓度在很长一段时间内受到各种因素的影响。在本文中，我们确定了一组关键领域的知识PM2.5预测和开发一种新的基于图形的模型，PM2.5-GNN，能够捕捉长期的依赖关系。在一个真实的数据集上，我们验证了所提出的模型的有效性，并考察了其捕获细粒度和长期影响PM2.5过程的能力。拟议的PM2.5-GNN亦已在网上部署，以提供免费预报服务。
2021-10-11 cs.LG eess.IV eess.SP
Exploring and Improving Initialization for Deep Graph Neural Networks: A Signal Propagation Perspective
The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心）
本文从信号传播视角提出控制前向传播、后向传播和图嵌入变化三个指标，并设计SPoGInit初始化方法优化权重方差，有效解决了深度图神经网络性能下降问题。
2025-07-15 cs.LG
Grain: Improving Data Efficiency of Graph Neural Networks via Diversified Influence Maximization
Peking University（北京大学）；Tencent Inc.（腾讯公司）
数据选择方法，如主动学习和核心集选择，是提高大规模数据集上深度学习模型数据效率的有用工具。然而，最近的深度学习模型已经从独立和相同分布的数据向前发展到图形结构的数据，例如社交网络，电子商务用户项图和知识图谱。这种演变导致了图神经网络（GNN）的出现，它超越了现有数据选择方法所设计的模型。因此，我们提出了Grain，这是一个有效的框架，通过将GNN中的数据选择与社会影响力最大化联系起来，开辟了一个新的视角。通过利用GNN的常见模式，Grain引入了一种新的特征传播概念，一个具有新的影响力和多样性函数的多样化影响力最大化目标，以及一个具有近似保证的贪心算法。对公共数据集的实证研究表明，Grain显著提高了GNN数据选择（包括主动学习和核心集选择）的性能和效率。据我们所知，这是第一次尝试在GNN的设置中连接两个基本平行的研究线程，数据选择和社会影响力最大化，为提高数据效率铺平了新的道路。
2021-07-31 cs.AI cs.LG
Improving Expressivity of GNNs with Subgraph-specific Factor Embedded Normalization
Zhejiang University（浙江大学）；China Electric Power Research Institute（中国电力科学研究院）；State Grid Shanghai Municipal Electric Power Company（国网上海市电力公司）
针对现有GNN忽略节点诱导子图结构特征、表达能力受限的问题，提出即插即用的SuperNorm归一化方案，理论上证明其可使GNN达到1-WL测试的区分能力，还能缓解过平滑，多数据集实验验证了有效性。
2023-06-11 cs.AI cs.LG
Every Node Counts: Improving the Training of Graph Neural Networks on Node Classification
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；University of British Columbia（不列颠哥伦比亚大学）
图神经网络（GNN）在高效处理稀疏和非结构化数据方面表现突出。具体来说，GNN被证明对节点分类任务非常有效，其中标记的信息仅适用于一小部分节点。通常，通过目标函数，优化过程仅考虑标记的节点，而忽略其余节点。在本文中，我们提出了新的目标术语来训练用于节点分类的GNN，旨在利用所有可用数据并提高准确性。我们的第一项旨在最大限度地提高节点和标签特征之间的互信息，同时考虑优化过程中的标记和未标记节点。我们的第二项促进了预测图中的各向异性平滑度。最后，我们提出了一种交叉验证梯度方法来增强对标记数据的学习。我们提出的目标是通用的，可以应用于各种GNN，不需要架构修改。广泛的实验证明了我们的方法使用流行的GNN，如GCN，GAT和GCNII，在10个真实世界的节点分类数据集上读取一致和显着的准确性提高。
2022-11-29 cs.LG cs.SI
Improving Graph Neural Networks at Scale: Combining Approximate PageRank and CoreRank
Télécom Paris, IP Paris（巴黎电信学院，巴黎理工学院）；École Polytechnique, IP Paris（巴黎综合理工学院，巴黎理工学院）；Sorbonne University（索邦大学）；CNRS-LIP6（法国国家科学研究中心-巴黎第六大学计算机实验室）
图神经网络（GNNs）在许多图结构的学习任务中取得了巨大的成功。尽管如此，为了传播信息，GNN依赖于消息传递方案，当使用工业规模的图时，该方案可能变得过于昂贵。受PPRGo模型的启发，我们提出了CorePPR模型，这是一种可扩展的解决方案，利用近似个性化PageRank和CoreRank的可学习凸组合来扩散GNN中的多跳邻域信息。此外，我们还引入了一种动态机制来为特定节点选择最有影响力的邻居，从而减少了训练时间，同时保持了模型的性能。总的来说，我们证明了CorePPR优于PPRGo，特别是在选择最有影响力的节点与可扩展性特别相关的大型图形上。我们的代码可在https://github.com/arielramos97/CorePPR上公开获取。
2022-11-08 cs.LG cs.SI stat.ML
Edge Contraction Pooling for Graph Neural Networks
fortiss GmbH（fortiss有限公司）；An-Institut Technische Universität München（慕尼黑工业大学附属研究所）
图神经网络（GNN）的研究集中在改进卷积层，很少关注开发图池层。然而，池化层可以使GNN能够在抽象的节点组而不是单个节点上进行推理。为了缩小这一差距，我们提出了一个依赖于边收缩概念的图池层：EdgePool学习了一个局部和稀疏的硬池化变换。我们表明，EdgePool优于其他池化方法，可以轻松集成到大多数GNN模型中，并提高节点和图分类的性能。
2019-05-27 cs.LG stat.ML
Improving Graph Neural Networks on Multi-node Tasks with the Labeling Trick
Institute for Artificial Intelligence Peking University（北京大学人工智能研究院）；School of Electrical and Computer Engineering Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
本文提出标注技巧，通过在GNN前标注节点与目标节点集合的关系，解决多节点表示学习中无法捕捉节点间依赖的问题，并在链接预测、超边预测和子图预测等任务上验证其有效性。
2025-03-09 cs.LG
Evolving Computation Graphs
Mila – Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；HEC Montréal（蒙特利尔高等商学院）
提出演化计算图（ECGs）方法，通过重连图神经网络的计算图以添加同类节点间的边，利用弱分类器识别，从而提升异质性数据集上的GNN性能。
2023-06-22 cs.AI cs.LG cs.SI
On Improving Graph Neural Networks for QSAR by Pre-training on Extended-Connectivity Fingerprints
Department of Statistics, University of Oxford（牛津大学统计系）；Mathematical Institute, University of Oxford（牛津大学数学院）；Molecular Informatics and AI, Lhasa Limited（Lhasa有限公司分子信息学与人工智能部门）
本文通过预训练扩展连接指纹提升图神经网络在QSAR中的性能，验证了在生物生成基准测试中标准性能指标的显著提升，但对复杂终点如结合亲和力预测在分布外设置中表现欠佳。
2026-05-11 cs.LG
GNN-ViTCap: GNN-Enhanced Multiple Instance Learning with Vision Transformers for Whole Slide Image Classification and Captioning
Centre for Pattern Analysis and Machine Intelligence, Department of Electrical and Computer Engineering, University of Waterloo（模式分析与机器智能中心，电气与计算机工程系，滑铁库大学）；Machine Learning Department at Mohamed bin Zayed University of Artificial Intelligence（人工智能穆罕默德·本·扎耶德大学机器学习系）
提出GNN-ViTCap框架，结合深度嵌入聚类去除冗余补丁、图神经网络捕获上下文及视觉-语言模型微调，在WSI分类和描述生成任务上超越现有方法。
2025-07-09 cs.CV cs.LG
FLEE-GNN: A Federated Learning System for Edge-Enhanced Graph Neural Network in Analyzing Geospatial Resilience of Multicommodity Food Flows
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；Ohio State University（俄亥俄州立大学）；University of California, Davis（加州大学戴维斯分校）
本文提出FLEE-GNN联邦学习系统，结合边增强图神经网络与去中心化联邦学习，解决了多商品粮食流动网络地理空间韧性分析中泛化性、可扩展性与隐私局限，为利用AI保障全球粮食安全提供新方法。
2023-10-20 cs.AI cs.CY cs.LG
Improving Graph Machine Learning Performance Through Feature Augmentation Based on Network Control Theory
Vanderbilt University（范德堡大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Information Technology University（信息技术大学）
本文提出 NCT-EFA 方法，将网络控制理论中的平均可控性及中心性指标用于特征增强，以解决节点特征缺失问题，在六个基准 GNN 模型上实现最高 11% 的性能提升。
2024-05-03 cs.LG
Explainability in subgraphs-enhanced Graph Neural Networks
UiT the Arctic University of Norway（挪威北极大学）；Sapienza University of Rome（罗马第一大学）；NORCE Norwegian Research Centre（挪威NORCE研究中心）
近年来，为了提高图神经网络（GNNs）的表达能力，引入了子图增强的图神经网络（SGNNs）。新范式建议使用从输入图中提取的子图来提高模型的表达能力，但额外的复杂性加剧了GNN中已经具有挑战性的问题：解释它们的预测。在这项工作中，我们将PGExplainer（GNN的最新解释器之一）改编为SGNN。所提出的解释器考虑了所有不同子图的贡献，并且可以产生人类可以解释的有意义的解释。我们在真实和合成数据集上进行的实验表明，我们的框架成功地解释了SGNN在图分类任务上的决策过程。
2023-01-19 cs.LG
Return of ChebNet: Understanding and Improving an Overlooked GNN on Long Range Tasks
本文重新审视ChebNet，发现其在长距离任务上优于经典MPNNs，但存在训练不稳定问题，通过将其建模为稳定非耗散动态系统提出Stable-ChebNet，无需特征分解等，达到接近最先进性能。
2025-10-24 cs.LG
Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence
Beihang University（北洋大学）；The Hong Kong Polytechnic University（香港理工大学）
本研究提出GNN+框架，通过集成六种常用技术增强经典GNN，在14个图级数据集上系统评估表明，经典GNN性能匹配或超越GTs且效率更高，挑战了复杂机制对图级性能必不可少的观念。
2025-11-01 cs.LG
A General Recipe for Contractive Graph Neural Networks -- Technical Report
Blavatnik School of Computer Science（布拉瓦尼克计算机科学学院）；Tel-Aviv University（特拉维夫大学）；University of Cambridge（剑桥大学）
本文提出一种通用方法，通过SVD正则化使任意图神经网络具备收缩性，提高其稳定性与泛化能力。
2024-11-04 cs.LG stat.ML
SizeShiftReg: a Regularization Method for Improving Size-Generalization in Graph Neural Networks
University of Padova（帕多瓦大学）；University of Cambridge（剑桥大学）
在过去的几年里，图神经网络（GNNs）已经成为图分类的事实上的模型选择。虽然从理论的角度来看，大多数GNN可以在任何大小的图上操作，但根据经验观察，当它们应用于大小与训练数据中的大小不同的图时，它们的分类性能会下降。以前的作品已经试图解决这个问题，在图分类提供的模型与归纳偏见来自假设的生成过程中的图形，或通过要求访问图从测试域。第一种策略与生成过程假设的质量有关，需要使用在明确定义数据生成过程后设计的特定模型，从而留下了如何在一般设置中提高通用GNN模型性能的问题。另一方面，第二种策略可以应用于任何GNN，但需要访问并不总是容易获得的信息。在这项工作中，我们考虑的情况下，我们只能访问的训练数据，我们提出了一个正则化策略，可以应用于任何GNN，以提高其泛化能力，从较小的到较大的图形，而不需要访问的测试数据。我们的正则化是基于使用粗化技术模拟训练图大小变化的想法，并强制模型对这种变化具有鲁棒性。在标准数据集上的实验结果表明，在数据集中50%最小图上训练并在10%最大图上测试的流行GNN模型，在使用我们的正则化策略训练时，性能提高了30%。
2022-10-20 cs.LG
An Empirical Study of Retrieval-enhanced Graph Neural Networks
University of Oxford（牛津大学）；Mila-HEC Montreal（蒙特利尔高等商学院米拉实验室）；University of Cambridge（剑桥大学）；Tencent AI Lab（腾讯人工智能实验室）；BioMap（百图生科）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；The University of Hong Kong（香港大学）
本文提出与具体GNN模型无关的检索增强方案GRAPHRETRIEVAL，通过检索相似图及其真实标签来增强图属性预测，在13个数据集上取得显著提升，并证明其有助于缓解长尾标签分布问题。
2023-09-18 cs.AI cs.LG
SaGIF: Improving Individual Fairness in Graph Neural Networks via Similarity Encoding
School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）；School of Software Engineering, Sun Yat-Sen University（中山大学软件工程学院）
本文提出SaGIF，通过相似性编码改善图神经网络的个体公平性，引入拓扑融合和特征融合指标，实验验证其优于现有方法。
2025-06-23 cs.LG
Adversarial Defense Framework for Graph Neural Network
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；NEC Laboratories America（美国NEC实验室）
图神经网络作为一种强大的图数据表示学习模型，受到了各学科的广泛关注。然而，最近的研究表明，GNN容易受到对抗攻击。如何使GNN更健壮？GNN中的关键漏洞是什么？如何解决GNN的漏洞并防御对抗攻击？在本文中，我们提出了DefNet，这是一个有效的GNN对抗防御框架。特别是，我们首先研究了GNN每一层中的潜在漏洞，并提出了相应的策略，包括双阶段聚合和瓶颈感知器。然后，为了应对训练数据的稀缺性，我们提出了一种对抗性对比学习方法，通过利用高级图表示以条件GAN方式训练GNN。在三个公共数据集上的大量实验证明了DefNet在提高流行的GNN变体（如图卷积网络和GraphSAGE）在各种类型的对抗攻击下的鲁棒性方面的有效性。
2019-05-10 cs.CR cs.LG stat.ML
How Robust Are Graph Neural Networks to Structural Noise?
Georgia Institute of Technology（佐治亚理工学院）；Sandia National Laboratories（桑迪亚国家实验室）
图神经网络（GNNs）是一种新兴的用于学习图嵌入和对图结构数据进行预测的模型。然而，图神经网络的鲁棒性还没有得到很好的理解。在这项工作中，我们专注于节点结构身份预测，其中代表性的GNN模型能够实现近乎完美的准确性。我们还通过一个受控的数据集和一组实验表明，相同的GNN模型对增加结构噪声不具有鲁棒性。最后，我们证明了在正确的条件下，图增强训练能够显着提高对结构噪声的鲁棒性。
2019-12-21 cs.LG stat.ML
Are LLM-Enhanced Graph Neural Networks Robust against Poisoning Attacks?
State Key Laboratory of Integrated Services Networks, School of Cyber Engineering, Xidian University（西安电子科技大学网络与信息安全学院综合业务网理论及关键技术国家重点实验室）；Hangzhou Institute of Technology, Xidian University（西安电子科技大学杭州研究院）
本文研究了大语言模型增强的图神经网络在面对污染攻击时的鲁棒性，通过系统评估框架评估了24种模型，分析了影响鲁棒性的关键因素，并提出了新的攻击方法和防御策略。
2026-03-27 cs.LG
Gradient Gating for Deep Multi-Rate Learning on Graphs
ETH Zürich（苏黎世联邦理工学院）；ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）；Charm Therapeutics（查姆治疗公司）；LBNL（劳伦斯伯克利国家实验室）；University of Oxford（牛津大学）
我们提出了梯度门控（G $^2$），一种新的框架，用于提高图神经网络（GNNs）的性能。我们的框架是基于门控GNN层的输出，具有跨底层图的节点传递信息的多速率消息流的机制。利用局部梯度来进一步调制消息传递更新。我们的框架灵活地允许使用任何基本的GNN层作为包装器，围绕该包装器构建多速率梯度门控机制。我们严格证明了G $^2$解决了过平滑问题，并允许设计深度GNN。实证结果表明，所提出的框架实现了各种图学习任务，包括大规模的heterophilic图的最先进的性能。
2023-03-15 cs.LG stat.ML
Improving Expressivity of Graph Neural Networks
University of Innsbruck（因斯布鲁克大学）
我们提出了一个图神经网络，其表达能力比常用的GNN更强-不限于仅区分Weisfeiler-Lehman测试识别为非同构的图。我们使用一个具有扩展注意力窗口的图注意力网络，它以指数方式聚集来自遥远节点的信息。我们还使用了部分随机的初始嵌入，允许区分看起来相同的节点。这可能会导致传统的dropout机制出现问题，因此我们使用“head dropout”，随机忽略一些注意力头，而不是嵌入的一些维度。
2020-04-08 cs.LG stat.ML
A multi-scale feature enhanced graph neural network for fluid dynamics prediction in complex geometries
针对车辆和航空航天工程等领域流体动力学模拟成本高的问题，提出多尺度特征增强图神经网络（ME-GNN），通过两步消息传递、集成注意力U-Net等方法，在三个基准数据集上取得了先进的流体动力学预测结果。
2026-07-14 cs.LG physics.flu-dyn
Improving Graph Neural Networks with Learnable Propagation Operators
Ben-Gurion University（本-古里安大学）；Emory University（埃默里大学）
针对图神经网络传播算子表达受限、易过平滑的问题，提出带可训练逐通道加权因子的ωGNN方法，混合多种传播算子，两种变体经理论与实验验证无过平滑，在15个真实数据集上性能达SOTA水平。
2023-05-05 cs.LG
Rethinking the Power of Graph Canonization in Graph Representation Learning with Stability
Washington University in St. Louis（圣路易斯华盛顿大学）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文通过图规范化最大化GNN表达能力，并引入通用图规范化解决表达能力与稳定性的权衡，实验表明该方法在多个基准上提升性能，最高提升SOTA达31%。
2024-02-09 cs.LG
Ordered Subgraph Aggregation Networks
TU Munich（慕尼黑工业大学）；RWTH Aachen University（亚琛工业大学）；University of Antwerp（安特卫普大学）；University of Stuttgart（斯图加特大学）
最近出现了许多子图增强的图神经网络（GNN），可以证明它提高了标准（消息传递）GNN的表达能力。然而，有一个有限的理解，这些方法是如何相互关联，以及Weisfeiler-Leman层次。此外，目前的方法要么使用给定大小的所有子图，随机均匀地对它们进行采样，要么使用手工制作的算法，而不是学习以数据驱动的方式选择子图。在这里，我们通过引入理论框架并扩展子图增强GNN的已知表达性结果，提供了一种统一的方法来研究此类架构。具体而言，我们表明，增加子图的大小总是增加的表达能力，并制定了更好地了解他们的局限性，将它们与建立$k\text{-}\mathsf{WL}$层次。此外，我们探索不同的方法来学习采样子图使用最近的方法通过复杂的离散概率分布的反向传播。从经验上讲，我们研究了不同子图增强型GNN的预测性能，表明与非数据驱动的子图增强型图神经网络相比，我们的数据驱动架构提高了标准基准数据集的预测准确性，同时减少了计算时间。
2022-10-15 cs.AI cs.DS cs.LG
Improving Predictions of Molecular Properties with Graph Featurisation and Heterogeneous Ensemble Models
Optibrium Ltd.（Optibrium有限公司）
本文提出结合GNN特征与通用描述符及异构集成模型的MetaModel框架，在多个数据集上优于ChemProp，证明融合任务特定特征与多样模型对提升分子性质预测至关重要。
2025-10-27 cs.LG
Understanding and Improving Laplacian Positional Encodings For Temporal GNNs
Technion – Israel Institute of Technology（技术学院–以色列理工学院）；Ben-Gurion University of the Negev（贝纳-加隆大学奈杰夫分校）；University of Cambridge（剑桥大学）；NVIDIA（英伟达）
本文针对时序图神经网络中拉普拉斯位置编码计算成本高、理论不清的问题，提出理论框架和高效计算方法，并通过实验揭示其适用场景。
2025-06-02 cs.AI cs.LG
The Surprising Power of Graph Neural Networks with Random Node Initialization
University of Oxford（牛津大学）；RWTH Aachen University（亚琛工业大学）
图神经网络是关系数据表示学习的有效模型。然而，标准GNN的表达能力有限，因为它们无法区分超出Weisfeiler-Leman图同构启发式能力的图。为了打破这一表达障碍，GNN已经通过随机节点初始化（RNI）进行了增强，其中的想法是用随机初始节点特征训练和运行模型。在这项工作中，我们用RNI分析了GNNs的表达能力，并证明了这些模型是通用的，这是GNNs不依赖于计算要求较高的高阶属性的第一个结果。这个普适性结果即使在部分随机化的初始节点特征下也成立，并且在预期中保持了GNN的不变性。然后，我们根据精心构建的数据集，实证分析了RNI对GNN的影响。我们的实证研究结果支持GNNs与RNI相比标准GNNs的优越性能。
2021-06-04 cs.AI cs.LG stat.ML
