Specformer: Spectral Graph Neural Networks Meet Transformers
University of British Columbia（不列颠哥伦比亚大学）
谱图神经网络（GNN）通过谱域图卷积来学习图表示。然而，大多数现有的谱图滤波器是标量到标量函数，即，将单个特征值映射到单个滤波值，从而忽略频谱的全局模式。此外，这些滤波器往往是基于一些固定阶多项式，这具有有限的表达性和灵活性。为了解决这些问题，我们引入了Specformer，它有效地对所有特征值的集合进行编码，并在谱域中执行自注意，从而形成可学习的集合到集合的谱滤波器。我们还设计了一个具有可学习基础的解码器，以实现非局部图卷积。重要的是，Specformer与置换是等变的。通过堆叠多个Specformer层，可以构建强大的光谱GNN。在合成数据集上，我们证明了我们的Specformer可以比其他光谱GNN更好地恢复地面实况光谱滤波器。在真实世界的图数据集上进行的节点级和图级任务的广泛实验表明，我们的Specformer优于最先进的GNN，并学习有意义的频谱模式。代码和数据可在https://github.com/bdy9527/Specformer上获得。
2023-03-02 cs.AI cs.LG cs.SI
Graph Neural Networks as a Substitute for Transformers in Single-Cell Transcriptomics
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Hangzhou, China（杭州高等研究 Institute，中国科学院大学，杭州）
本文研究在位置无关的单细胞转录组学任务中，图神经网络能否替代Transformer，通过理论分析和实验证明GNN在更少计算资源下可取得有竞争力的性能。
2025-07-05 cs.LG q-bio.GN
AdaGNN: A multi-modal latent representation meta-learner for GNNs based on AdaBoosting
University of California, Berkeley（加州大学伯克利分校）；LinkedIn（领英）
图神经网络（GNNs）作为深度学习的一个特殊领域，专注于提取网络的内在特征，在学术界和工业界都受到了前所未有的关注。大多数最先进的GNN模型都提供了富有表现力的，鲁棒的，可扩展的和归纳的解决方案，使社交网络推荐系统具有丰富的网络功能，这些功能在计算上难以利用基于图遍历的方法。最近的GNN遵循编码器-解码器范式，将子图中的高维异构信息编码到一个低维嵌入空间中。然而，一个单一的嵌入空间通常无法捕捉所有方面的图形信号。在这项工作中，我们提出了基于提升的GNN Meta学习器，它自动学习多个投影和相应的嵌入空间，捕获图形信号的不同方面。因此，子图之间的相似性通过在多个嵌入空间上嵌入接近度来量化。AdaGNN对于具有丰富多样的节点邻域信息的应用程序表现非常出色。此外，AdaGNN与任何归纳GNN兼容，用于节点级和边缘级任务。
2021-08-14 cs.LG cs.SI
Graphtester: Exploring Theoretical Boundaries of GNNs on Graph Datasets
ETH Zürich（苏黎世联邦理工学院）
本文提出Graphtester工具，用于全面分析GNN在各种数据集和任务上的理论能力，确定了基于层数的性能上界，并扩展至Graph Transformers，同时提供合成数据集用于基准测试。
2023-06-30 cs.AI cs.LG
Meta-Learning with Graph Neural Networks: Methods and Applications
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Northwestern University（西北大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
图神经网络（GNN）是深度神经网络在图数据上的推广，已广泛应用于从药物发现到推荐系统的各个领域。然而，当可用样本很少时，这些应用程序上的GNN是有限的。元学习一直是解决机器学习中样本缺乏的重要框架，近年来，研究人员开始将元学习应用于GNN。在这项工作中，我们提供了一个全面的调查不同的元学习方法，涉及GNN对各种图形问题显示使用这两种方法一起的力量。我们根据建议的架构，共享表示和应用程序对文献进行分类。最后，我们讨论了几个令人兴奋的未来研究方向和开放的问题。
2021-11-06 cs.AI cs.LG
Enriching GNNs with Text Contextual Representations for Detecting Disinformation Campaigns on Social Media
Universidade de São Paulo（圣保罗大学）；Institut Polytechnique de Paris（巴黎综合理工学院）
本文将Transformer文本上下文表示融入GNN进行假新闻检测，Macro F1相对提升最高达33.8%，并公开代码。
2024-11-23 cs.AI cs.CL cs.LG
Prot2Text: Multimodal Protein's Function Generation with GNNs and Transformers
École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Université Paris Cité（巴黎城市大学）；University of Cyprus（塞浦路斯大学）
本文提出Prot2Text，结合GNNs和LLMs在编码器-解码器框架中整合蛋白质序列、结构和文本信息，以自由文本形式生成功能描述，超越传统分类方法。
2024-04-20 cs.CL cs.LG q-bio.QM
Graph Integrated Transformers for Community Detection in Social Networks
School of Information Technology Carleton University Ottawa, ON, Canada（信息科技学院卡尔顿大学渥太华，加拿大）
本文提出一种结合GNN和Transformer的混合模型GIT-CD，用于提升社交网络中的社区检测性能。
2026-01-07 cs.AI cs.SI
Global Minima, Recoverability Thresholds, and Higher-Order Structure in GNNS
Brigham Young University（杨百翰大学）
本文从随机图理论出发，分析GNN在典型数据下的性能，刻画GCN的节点级准确性，绘制四种架构的可恢复性阈值，并揭示高阶结构对性能的负面影响。
2023-10-11 cs.AI cs.LG
Message-Passing GNNs Fail to Approximate Sparse Triangular Factorizations
AIC, Skoltech（斯克里普金技术大学人工智能中心）；Skoltech AI4S Center（斯克里普金技术大学AI4S中心）；Sberbank of Russia（俄罗斯储蓄银行）；AIRI
本文通过理论和实验证明，消息传递图神经网络在逼近稀疏三角分解时存在根本性局限，需要超越消息传递的架构创新。
2026-05-25 cs.AI cs.LG cs.NA
SEA: Graph Shell Attention in Graph Neural Networks
Institute for Informatics（信息学研究所）
图神经网络（GNN）中的一个常见问题被称为过度平滑。通过增加GNN的消息传递中的迭代次数，输入图的节点表示彼此对齐并且变得不可辨别。最近，已经表明，通过集成注意力机制来增加模型的复杂性会产生更具表现力的架构。这主要有助于将节点的表示仅转向比其他节点信息更多的节点。Transformer模型与GNN的结合导致包括图形Transformer层（GTL）的架构，其中层完全基于注意力操作。然而，节点表示的计算仍然局限于GNN的计算工作流程。在我们的工作中，我们放松的GNN架构，通过实现路由启发式。具体地，节点的表示被路由到专门的专家。每个专家根据他们各自的GNN工作流程计算表示。可区分的GNN的定义来自于从中心节点开始的k-局部化视图。我们称这个过程为Graph Shell Attention（SEA），其中专家以transformer-motivated方式处理不同的子图。直觉上，通过增加专家的数量，模型获得了表现力，使得节点的表示仅基于位于专家的感受场内的节点。我们在各种基准数据集上评估我们的架构，与最先进的模型相比，显示出具有竞争力的结果。
2021-10-20 cs.AI cs.LG
Plain Transformers are Surprisingly Powerful Link Predictors
Department of Computer Science and Engineering, Michigan State University, East Lansing, MI, USA.（计算机科学与工程系，密歇根州立大学，东兰辛，MI，美国。）；Department of Computer Science（计算机科学系）；Engineering, Michigan State University, East Lansing, MI, USA.（工程，密歇根州立大学，东兰辛，MI，美国。）
提出PENCIL，一种仅编码器的普通Transformer，通过采样局部子图的注意力机制替代手工先验，在保持标准Transformer可扩展性的同时，隐式泛化多种启发式方法，实现高效且参数经济的链接预测。
2026-09-29 cs.AI cs.LG
NAGphormer: A Tokenized Graph Transformer for Node Classification in Large Graphs
Huazhong University of Science and Technology（华中科技大学）
图Transformer作为一种新的体系结构出现，并在各种图挖掘任务上显示出卓越的性能。在这项工作中，我们观察到，现有的图Transformers处理节点作为独立的令牌，并构造一个单一的长序列组成的所有节点令牌，以便训练的Transformer模型，导致它很难扩展到大的图，由于二次复杂性的节点数量的自注意力计算。为此，我们提出了一个邻域聚合图Transformer（NAGphormer），它将每个节点视为一个序列，其中包含一系列由我们提出的Hop2Token模块构建的令牌。对于每个节点，Hop2Token将来自不同跳的邻域特征聚合成不同的表示，从而产生一系列令牌向量作为一个输入。通过这种方式，NAGphormer可以以小批量的方式进行训练，从而可以扩展到大型图形。此外，我们在数学上表明，相比一类先进的图神经网络（GNN），解耦的图卷积网络，NAGphormer可以学习更多的信息节点表示从多跳的邻居。在从小到大的基准数据集上进行了广泛的实验，以证明NAGphormer始终优于现有的图Transformers和主流GNN。代码可在https://github.com/JHL-HUST/NAGphormer上获得。
2023-02-27 cs.AI cs.LG
Transformer and Snowball Graph Convolution Learning for Brain functional network Classification
School of Computer Science and Engineering（计算机科学与工程学院）；South China University of Technology（华南理工大学）
本文提出 TSEN 模型用于脑功能网络分类，通过将图 Snowball 连接与图 Transformer 结合并引入 Snowball 图卷积作为位置嵌入，有效捕获多尺度全局与局部模式，在自闭症和抑郁症数据集上优于现有 GNN 模型。
2023-08-02 cs.AI cs.LG
Graph as Point Set
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种图到集合的双射转换方法，将互联节点转为独立点集并用集合编码器学习图表示，显著扩展了GNN设计空间，并据此构建了Point Set Transformer（PST），在理论和实验上均展现出更优的表达能力与现实性能。
2024-05-30 cs.LG
ParaFormer: A Generalized PageRank Graph Transformer for Graph Representation Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group, Hupan Lab（达摩院、阿里集团、乎盘实验室）
ParaFormer通过PageRank增强的注意力模块缓解深度GNNs中的过平滑问题，实现节点和图分类任务的性能提升。
2025-12-16 cs.LG
Meta-Weight Graph Neural Network: Push the Limits Beyond Global Homophily
Peking University（北京大学）；Alibaba Inc（阿里巴巴集团）
图神经网络（GNNs）通过聚集邻居的信息并在下游任务中使用集成表示，在图数据采掘中显示出强大的表达能力。图中每个节点的相同聚合方法和参数用于使GNN能够利用同构关系数据。然而，并不是所有的图都是同构的，即使在同一个图中，分布也可能有很大的不同。在所有节点上使用相同的卷积可能会导致忽略各种图形模式。此外，许多现有的GNN集成节点特征和结构相同，这忽略了节点的分布，进一步限制了GNN的表达能力。为了解决这些问题，我们提出了Meta Weight图神经网络（MWGNN）来自适应地为不同的节点构造图卷积层。首先，我们从节点特征、拓扑结构和位置标识三个方面对节点局部分布（NLD）进行元权重建模。然后，基于元权重，我们生成自适应图卷积来执行特定于节点的加权聚合并提升节点表示。最后，我们设计了广泛的实验，在现实世界和合成基准，以评估MWGNN的有效性。这些实验表明，MWGNN在处理各种分布的图形数据时具有良好的表达能力。
2022-03-19 cs.LG cs.SI
Avoiding Over-smoothing in Social Media Rumor Detection with Pre-trained Propagation Tree Transformer
Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence（北京交通大数据挖掘与具身智能重点实验室）
本文提出基于Transformer的P2T3方法，通过提取传播树中的对话链并引入诱导偏置，解决谣言传播结构中的过平滑问题，实验表明其在多个基准数据集上优于现有方法。
2026-03-24 cs.AI cs.CL
GrokFormer: Graph Fourier Kolmogorov-Arnold Transformers
Nanjing University of Science and Technology（南京理工大学）
针对图Transformer自注意力仅保留低频信号的局限，提出GrokFormer模型，通过傅里叶级数建模可学习激活函数以构建自适应频谱滤波器，在多个节点和图分类数据集上优于现有方法。
2025-05-29 cs.AI cs.LG
Heterogeneous Graph Transformer
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research（微软研究院）
近年来，图神经网络（GNNs）在结构化数据建模方面取得了巨大的成功。然而，大多数GNN都是为同构图设计的，其中所有节点和边都属于相同的类型，这使得它们无法表示异构结构。在本文中，我们提出了异构图Transformer（HGT）的架构建模Web规模的异构图。为了对异质性进行建模，我们设计了节点和边缘类型相关的参数来表征每个边缘上的异质注意力，使HGT能够为不同类型的节点和边缘保持专用的表示。为了处理动态异构图，我们将相对时间编码技术引入到HGT中，它能够捕获具有任意持续时间的动态结构依赖。为了处理Web规模的图数据，我们设计了异构小批量图采样算法--HGSampling--以实现高效和可扩展的训练。在1.79亿个节点和20亿条边的Open Academic Graph上进行的大量实验表明，所提出的HGT模型在各种下游任务上的性能始终优于所有最先进的GNN基线9%-21%。
2020-03-03 cs.LG cs.SI stat.ML
NN-Former: Rethinking Graph Structure in Neural Architecture Representation
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学）；Northwestern Polytechnical University（西北工业大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出NN-Former预测器，通过结合GNN与Transformer并引入考虑兄弟节点的token mixer和双向图同构前馈网络，提升神经架构准确率与延迟预测性能。
2025-07-01 cs.AI cs.LG
Graph Transformer Networks
Korea University（高丽大学）
图神经网络（GNN）已被广泛用于图的表示学习，并在节点分类和链接预测等任务中实现了最先进的性能。然而，大多数现有的GNN被设计为学习固定和均匀图上的节点表示。当在错误指定的图或由各种类型的节点和边组成的异构图上学习表示时，这些限制尤其成问题。在本文中，我们提出了图形Transformer网络（GTN），能够生成新的图形结构，其中包括识别原始图形上未连接节点之间的有用连接，同时以端到端的方式学习新图形上的有效节点表示。图Transformer层是GTN的核心层，它学习边类型和复合关系的软选择，以生成有用的多跳连接，即所谓的元路径。我们的实验表明，GTN学习新的图形结构，基于数据和任务没有领域知识，并通过卷积产生强大的节点表示新的图形。在没有特定于域的图预处理的情况下，GTN在所有三个基准节点分类任务中都取得了最佳性能，而最先进的方法需要从域知识中预先定义元路径。
2020-02-05 cs.LG cs.SI stat.ML
Pre-training of Graph Augmented Transformers for Medication Recommendation
IQVIA（艾昆纬）；Georgia Institute of Technology（佐治亚理工学院）；IBM Research AI（IBM人工智能研究院）
药物推荐是一个重要的医疗保健应用。它通常被表述为时间预测任务。因此，大多数现有的作品只利用纵向电子健康记录（EHR）从少数患者多次访问忽略了大量的患者与一次访问（选择偏差）。此外，在表示学习过程中没有利用重要的分层知识，例如诊断分层。为了应对这些挑战，我们提出了G-BERT，这是一种新的模型，它结合了图神经网络（GNNs）和BERT（来自Transformers的双向编码器表示）的功能，用于医疗代码表示和药物推荐。我们使用GNN来表示医疗代码的内部层次结构。然后，我们将GNN表示集成到一个基于transformer的访问编码器中，并在来自仅进行一次访问的患者的EHR数据上对其进行预训练。然后，针对来自多次就诊的患者的纵向EHR的下游预测任务，对预先训练的就诊编码器和表示进行微调。G-BERT是第一个将语言模型预训练模式引入医疗保健领域的公司，它在药物推荐任务上取得了最先进的性能。
2019-11-27 cs.AI cs.CL cs.LG
The prediction of the quality of results in Logic Synthesis using Transformer and Graph Neural Networks
Ningbo University（宁波大学）；University of New South Wales（新南威尔士大学）
本文提出基于Transformer和图神经网络的深度学习方法，用于预测逻辑综合结果的质量，实验表明该方法在预测精度上表现最佳。
2025-12-15 cs.AR cs.LG
Diffusing Graph Attention
Tel-Aviv University（特拉维夫大学）；Technion（以色列理工学院）
图上机器学习的主要范例使用消息传递图神经网络（MP-GNN），其中节点表示通过聚合其局部邻域中的信息来更新。最近，已经有越来越多的尝试使Transformer架构适应于图形，以努力解决MP-GNN的一些已知限制。设计图Transformers的一个挑战性方面是将任意图结构集成到体系结构中。我们提出了图扩散器（GD）来解决这一挑战。GD学习提取图中遥远节点之间的结构和位置关系，然后使用这些关系来引导Transformer的注意力和节点表示。我们展示了现有的GNN和Graph Transformers很难捕捉远程交互，以及Graph Diffuser如何在承认直观可视化的同时做到这一点。在八个基准测试上的实验表明，Graph Diffuser是一个非常有竞争力的模型，在不同的领域中表现优于最先进的模型。
2023-03-01 cs.LG
The Logical Expressiveness of Temporal GNNs via Two-Dimensional Product Logics
RPTU Kaiserslautern-Landau（亚琛工业大学凯撒斯劳滕-兰道分校）；Queen Mary University of London（伦敦女王大学）；University of Łódź（卢宾大学）；Theoretical Computer Science / Formal Methods（理论计算机科学/形式方法）；University of Kassel（卡塞尔大学）
该研究首次通过二维乘积逻辑刻画时序GNN的表达能力，证明递归应用静态GNN的时序GNN可表达PTL与K的乘积逻辑的全部性质，而图-时间、全局TGNN仅能表达受限片段。
2025-10-28 cs.AI cs.LG cs.LO
Less Is More -- On the Importance of Sparsification for Transformers and Graph Neural Networks for TSP
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Group Trucks Technology（沃尔沃集团卡车技术部门）
针对机器学习求解TSP时编码器在全图聚合信息的问题，提出图稀疏化与注意力掩码的数据预处理方法及多级集成策略，显著提升了GNN性能，并设计了达到SOTA的transformer编码器，大幅缩小了模型与最优解的差距。
2024-03-25 cs.AI cs.LG
SignGT: Signed Attention-based Graph Transformer for Graph Representation Learning
Huazhong University of Science and Technology（华中科技大学）；Cornell University（康奈尔大学）
提出基于符号注意力的图Transformer（SignGT），通过符号自注意力机制捕获高低频信息，并引入结构感知前馈网络保留局部拓扑，在节点级和图级任务上超越现有图Transformer和GNN。
2023-10-17 cs.LG cs.SI
Attention-based graph neural networks: a survey
School of Computer Science and Technology, China University of Mining and Technology（中国矿业大学计算机科学与技术学院）；Mine Digitization Engineering Research Center, Ministry of Education of the People’s Republic of China（教育部矿山数字化工程研究中心）
本文综述了基于注意力机制的图神经网络的最新进展，提出两级分类法，分析了发展历史和架构，并总结了各种模型的优缺点及未来方向。
2026-05-09 cs.AI cs.LG cs.SI
Long Range Graph Benchmark
Nanyang Technological University（南洋理工大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；NJIT（新泽西理工学院）；Valence Discovery
本文提出长程图基准LRGB，包含5个需长程交互推理的图数据集，用于评估消息传递GNN与图Transformer在捕获长程依赖上的表现。
2023-11-28 cs.LG
Structure-Aware Transformer for Graph Representation Learning
ETH Zürich（苏黎世联邦理工学院）；SIB Swiss Institute of Bioinformatics（SIB瑞士生物信息学研究所）
最近，Transformer架构在图表示学习中获得了越来越多的关注，因为它通过避免严格的结构归纳偏差而自然地克服了图神经网络（GNN）的几个限制，而是仅通过位置编码对图结构进行编码。在这里，我们表明，由Transformer与位置编码生成的节点表示不一定捕获它们之间的结构相似性。为了解决这个问题，我们提出了结构感知的Transformer，一类简单而灵活的图形Transformers建立在一个新的自我注意力机制。这种新的自我注意力通过在计算注意力之前提取以每个节点为根的子图表示来将结构信息并入原始自我注意力。我们提出了几种方法自动生成的子图表示，并从理论上表明，所得到的表示至少是表达的子图表示。从经验上讲，我们的方法在五个图形预测基准上实现了最先进的性能。我们的结构感知框架可以利用任何现有的GNN来提取子图表示，我们表明，它系统地提高了相对于基本GNN模型的性能，成功地结合了GNN和Transformers的优势。我们的代码可在https://github.com/BorgwardtLab/SAT上获得。
2022-06-13 cs.LG stat.ML
Federated Spectral Graph Transformers Meet Neural Ordinary Differential Equations for Non-IID Graphs
Indian Institute of Information Technology Kottayam (IIITK)（印度信息技术学院科塔亚姆分校（IIITK））；International Institute of Information Technology Hyderabad (IIITH)（印度信息技术学院海得拉巴分校（IIITH））
针对联邦GNN学习未被充分探索的问题，提出结合谱图Transformer与神经常微分方程的方法，处理非IID图，在同构/异构图上性能优异，推动联邦GNN发展。
2025-04-16 cs.LG
Graph Neural Networks with Learnable Structural and Positional Representations
Nanyang Technological University（南洋理工大学）；Loyola Marymount University（洛约拉马利蒙特大学）；Mila（米拉）；University of Montréal（蒙特利尔大学）；CIFAR（加拿大高级研究所）；National University of Singapore（新加坡国立大学）
图神经网络（GNN）已经成为图的标准学习架构。GNN已应用于从量子化学、推荐系统到知识图谱和自然语言处理等众多领域。任意图的一个主要问题是缺乏节点的规范位置信息，这降低了GNN区分同构节点和其他图对称性的表示能力。解决这个问题的一种方法是引入节点的位置编码（PE），并将其注入到输入层中，就像Transformers中一样。可能的图PE是拉普拉斯特征向量。在这项工作中，我们建议解耦结构和位置表示，使网络更容易学习这两个基本属性。我们介绍了一种新的通用架构，我们称之为LSPE（可学习的结构和位置编码）。我们研究了几个稀疏和全连接（类似于transformer）的GNN，并观察到分子数据集的性能提高，当考虑两个GNN类的可学习PE时，从1.79%提高到64.14%。
2022-02-10 cs.LG
Rethinking Graph Transformers with Spectral Attention
McGill University（麦吉尔大学）；Mila（米拉人工智能研究所）；Valence Discovery；University of Ottawa（渥太华大学）
近年来，Transformer体系结构已被证明在序列处理中非常成功，但由于难以正确定义位置，其在其他数据结构（如图）中的应用仍然有限。在这里，我们提出了$\textit{Spectral Attention Network}$（SAN），它使用一个学习的位置编码（LPE），可以利用完整的拉普拉斯频谱来学习给定图中每个节点的位置。然后将此LPE添加到图的节点特征中，并传递给全连接的Transformer。通过利用拉普拉斯算子的全谱，我们的模型理论上在区分图方面是强大的，并且可以更好地从它们的共振中检测相似的子结构。此外，通过完全连接图形，Transformer不会遭受过度挤压，这是大多数GNN的信息瓶颈，并且能够更好地建模物理现象，例如热传递和电相互作用。当在一组4个标准数据集上进行经验测试时，我们的模型的性能与最先进的GNN相当或更好，并且远远优于任何基于注意力的模型，成为第一个在图形基准上表现良好的全连接架构。
2021-10-27 cs.LG
Technical Report: The Graph Spectral Token -- Enhancing Graph Transformers with Spectral Information
The University of Chicago（芝加哥大学）；Tsinghua University（清华大学）
本文提出 Graph Spectral Token，通过参数化 [CLS] token 将图谱全局结构信息注入图 Transformer，并在 GraphTrans 与 SubFormer 上验证其性能与效率收益。
2024-04-08 cs.LG
Graph Representation Learning for Multi-Task Settings: a Meta-Learning Approach
University of Padova（帕多瓦大学）
图神经网络（GNNs）已经成为许多图结构数据应用的最先进方法。GNN是用于图表示学习的模型，其目的是学习生成封装结构和特征相关信息的低维节点嵌入。GNN通常以端到端的方式进行训练，导致高度专业化的节点嵌入。虽然这种方法在单任务设置中取得了很好的效果，但生成可用于执行多个任务的节点嵌入（性能与单任务模型相当）仍然是一个悬而未决的问题。我们建议使用元学习来训练能够产生多任务节点嵌入的GNN模型。特别是，我们利用基于优化的元学习的特性来学习GNN，这些GNN可以通过学习参数来生成通用节点表示，这些参数可以快速（即通过几步梯度下降）适应多个任务。我们的实验表明，使用我们特意设计的元学习过程训练的模型产生的嵌入可以用于执行多个任务，其性能与单任务和多任务端到端模型相当，甚至更高。
2022-05-20 cs.LG
Personalised Meta-path Generation for Heterogeneous GNNs
University of Luxembourg（卢森堡大学）；National Cheng Kung University（台湾成功大学）
近年来，异构图表示学习（HGRL）的研究受到越来越多的关注，它旨在将异构信息网络（HIN）中丰富的结构和语义信息嵌入到低维节点表示中。到目前为止，大多数HGRL模型依赖于手工制作的元路径。然而，依赖于手动定义的元路径需要领域知识，这是很难获得复杂的HIN。更重要的是，附加到每个节点类型或节点对的所有现有HGRL方法的预定义或生成的元路径不能被个性化到每个单独的节点。为了充分释放HGRL的力量，我们提出了一种新的框架，基于个性化元路径的异构图神经网络（PM-HGNN），以联合生成HIN中每个节点的个性化元路径，并学习目标下游任务（如节点分类）的节点表示。准确地说，PM-HGNN将元路径生成视为马尔可夫决策过程，并利用策略网络自适应地为每个节点生成元路径，同时学习有效的节点表示。策略网络通过利用下游任务的性能改进来利用深度强化学习进行训练。我们进一步提出了一个扩展PM-HGNN++，以更好地编码关系结构并加速元路径生成过程中的训练。实验结果表明，PM-HGNN和PM-HGNN++在各种节点分类设置中都可以显著且一致地优于16种竞争基线和最先进的方法。定性分析还表明，PM-HGNN++可以识别被人类知识忽略的有意义的元路径。
2022-10-11 cs.LG
Synergistic Fusion of Graph and Transformer Features for Enhanced Molecular Property Prediction
Quantiphi（Quantiphi公司）
针对GNN和Transformer在分子性质预测中的局限，提出SYN-FUSION方法协同融合二者预训练特征，在MoleculeNet基准上取得优异性能，验证了协同融合的有效性。
2023-08-25 cs.AI cs.LG physics.chem-ph
Exploring the Global-to-Local Attention Scheme in Graph Transformers: An Empirical Study
School of Computer Science and Engineering（计算机科学与工程学院）
G2LFormer通过全局到局部注意力机制提升图变换器性能，结合注意力与GNN模块，缓解信息丢失并保持线性复杂度。
2026-02-03 cs.AI cs.LG
Graph Neural Aggregation-diffusion with Metastability
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Statistics and Data Science, Nankai University（南开大学统计与数据科学学院）
本文提出GRADE模型，利用图聚合-扩散方程中的非线性扩散与聚合平衡产生亚稳态节点表示，以缓解GNN过度平滑问题，并在多个基准上取得竞争性能。
2024-03-29 cs.AI cs.LG
Classic GNNs are Strong Baselines: Reassessing GNNs for Node Classification
Beihang University（北京航空航天大学）；The Hong Kong Polytechnic University（香港理工大学）
本文通过充分调参与消融实验重新评估 GCN、GAT、GraphSAGE，发现经典 GNN 在 18 个数据集中的 17 个上可匹敌甚至超越 GT。
2024-10-28 cs.LG
Spatio-Spectral Graph Neural Networks
Technical University of Munich（慕尼黑工业大学）
针对MPGNNs感受野受限和过度挤压问题，提出S²GNNs，通过协同结合空间和谱参数化图滤波器实现全局高效信息传播，克服过度挤压，表达力强于1-WL测试，并在长程基准任务上表现优异且支持大规模扩展。
2024-06-02 cs.AI cs.LG
TransGNN: Harnessing the Collaborative Power of Transformers and Graph Neural Networks for Recommender Systems
Hong Kong University of Science and Technology（香港科技大学）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；Interdisciplinary Institute for Medical Engineering, Fuzhou University（福州大学医学工程跨学科研究院）；Microsoft Research Asia（微软亚洲研究院）；Central South University（中南大学）；Jinan University（暨南大学）
针对GNN推荐系统感受野有限、含噪声连接，Transformer难处理大规模图的问题，本文提出交替融合两者的TransGNN模型，通过解耦聚合、结构编码与采样策略提升效果，经理论与实验验证其有效性与效率。
2024-05-18 cs.IR cs.LG
PatchGT: Transformer over Non-trainable Clusters for Learning Graph Representations
University of Notre Dame（圣母大学）；Tufts University（塔夫茨大学）；University of Pennsylvania（宾夕法尼亚大学）
提出 PatchGT，一种基于非可训练谱聚类图块的 Transformer 图神经网络，结合 GNN 与 Transformer 优势，实现更高表达能力并在基准数据集上取得竞争力且具可解释性。
2023-04-07 cs.AI cs.LG math.GT
Meta-Path Learning for Multi-relational Graph Neural Networks
University of Trento（特伦托大学）；Aalborg University（奥尔堡大学）
提出一种基于少量信息元路径学习高准确率元路径GNNs的新方法，通过评分函数衡量关系潜在信息量，在大量关系下仍能正确识别元路径并显著优于现有多关系GNNs。
2023-11-20 cs.AI cs.LG
Is Meta-Path Attention an Explanation? Evidence of Alignment and Decoupling in Heterogeneous GNNs
Indian Institute of Technology（印度理工学院）；Brown University（布朗大学）
本文通过MetaXplain协议实证研究元路径注意力在异构图神经网络中的解释有效性，发现其在不同数据集上表现出高对齐性和解耦性，且解释诱导子图可提升预测性能。
2026-02-09 cs.LG
Beyond Grid Data: Exploring Graph Neural Networks for Earth Observation
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Yardi School of Artificial Intelligence（雅迪人工智能学院）；Indian Institute of Technology Delhi（印度理工学院德里分校）
该综述系统介绍图神经网络在地球观测多模态异构数据中的应用，涵盖基础、问题、领域案例与挑战，并探讨其与Transformer的协同潜力。
2024-11-06 cs.AI cs.CV cs.LG
ROLAND: Graph Learning Framework for Dynamic Graphs
Stanford University（斯坦福大学）
图神经网络（GNNs）已经成功地应用于许多现实世界的静态图。然而，由于模型设计、评估设置和训练策略的限制，静态图的成功还没有完全转化为动态图。具体地说，现有的动态GNN没有结合静态GNN的最新设计，这限制了它们的性能。动态GNN的当前评估设置不能完全反映动态图的演变性质。最后，动态GNN的常用训练方法是不可扩展的。在这里，我们提出了ROLAND，一个有效的图形表示学习框架，为现实世界的动态图形。在其核心，ROLAND框架可以帮助研究人员轻松地将任何静态GNN重新用于动态图形。我们的见解是将不同GNN层的节点嵌入视为分层节点状态，然后随着时间的推移循环更新它们。然后，我们为动态图引入了一个实时更新评估设置，该设置模拟了真实世界的用例，其中GNN正在进行预测并在滚动的基础上进行更新。最后，我们通过增量训练和元学习为动态GNN提出了一种可扩展且高效的训练方法。我们在八个不同的动态图数据集上对未来的链接预测任务进行了实验。在三个数据集的标准评估设置下，使用ROLAND框架构建的模型相对于最先进的基线平均实现了62.7%的相对平均倒数秩（MRR）改进。我们发现，对于较大的数据集，最先进的基线会出现内存不足的错误，而ROLAND可以轻松扩展到具有5600万条边的动态图形。在使用ROLAND培训策略重新实施这些基线后，ROLAND模型仍然比基线平均提高了15.5%的相对MRR。
2022-08-15 cs.AI cs.LG cs.SI
Pre-trained Graphformer-based Ranking at Web-scale Search (Extended Abstract)
Baidu Inc.（百度公司）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang Lab（之江实验室）
针对 Web 规模搜索中 Transformer 与 GNN 难以集成于统一学习排序框架的问题，提出 MPGraf 模型，利用模块化和基于胶囊的预训练策略融合两者优势，并通过离线与在线实验验证了其性能。
2024-09-25 cs.IR cs.LG
Size-Transferability of Graph Transformers with Convolutional Positional Encodings
Department of Electrical and Systems Engineering（电气与系统工程系）；University of Pennsylvania（宾夕法尼亚大学）；University of California San Diego（圣地亚哥大学）
通过图神经网络位置编码建立图Transformer与流形神经网络的联系，证明其在小图上训练后可泛化到大图，并在标准基准和实际地形最短路径估计任务中验证可扩展性。
2026-10-16 cs.LG
Fixed Aggregation Features Can Rival GNNs
Celia Rubio-Madrigal；Rebekka Burkholz
提出固定聚合特征（FAFs）方法，将图学习转化为表格问题，通过非训练聚合特征结合表格模型，在多数基准上达到或超越GNN性能。
2026-06-03 cs.LG
A Metadata-Driven Approach to Understand Graph Neural Networks
University of Michigan（密歇根大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出元数据驱动方法，通过对GNN基准测试元数据进行多元稀疏回归识别关键数据属性，并以度分布为例通过理论与受控实验验证其对GNN性能的影响。
2023-10-30 cs.LG
Expressivity and Generalization: Fragment-Biases for Molecular GNNs
School of Computation, Information & Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院）；Munich Data Science Institute（慕尼黑数据科学研究所）；Helmholtz Center for Computational Health（亥姆霍兹计算健康中心）
本文提出Fragment-WL测试以理论分析片段偏置GNNs，并基于此开发新架构与无限词表片段化方法，显著提升表达力，在多个分子数据集上超越现有GNNs，泛化能力优于基于transformer的架构。
2024-07-25 cs.LG
On Efficient Scaling of GNNs via IO-Aware Layers Implementations
HSE University（俄罗斯高等经济大学）；ITMO University（ITMO大学）
针对GNN中稀疏不规则内存访问瓶颈，提出三种GPU内核族（SpMM卷积、归约聚合、注意力层）以减少数据移动并提升局部性，在真实图上实现高达8.5倍加速和76倍内存降低。
2026-05-29 cs.AI cs.LG
