Graph Transformers: A Survey
School of Software, Dalian University of Technology(大连理工大学软件学院);School of Computing Technologies, RMIT University(皇家墨尔本理工大学计算技术学院);Institute of Innovation, Science and Sustainability, Federation University Australia(联邦大学澳大利亚创新、科学与可持续性研究所);School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Foreign Languages and School of Software Technology, Dalian University of Technology(大连理工大学外语学院和软件技术学院)
本文综述了图变换器的研究进展,探讨了其设计、应用及面临的挑战,为未来研究提供了方向。
2025-12-20 cs.AI cs.LG
Towards Mechanistic Interpretability of Graph Transformers via Attention Graphs
Stanford University(斯坦福大学);University of Oxford(牛津大学);University of Cambridge(剑桥大学)
本文提出注意力图工具,基于GNN消息传递与Transformer自注意力的数学等价性,分析图Transformer的信息流动,发现其学习结构不相关于输入图,且异质性图中不同变体可殊途同归。
2025-02-25 cs.AI cs.LG
Transformer for Graphs: An Overview from Architecture Perspective
The University of Manchester(曼彻斯特大学);Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
近年来,Transformer模型在人工智能领域取得了巨大的成功,在图结构数据建模方面显示出了巨大的潜力。到目前为止,已经提出了各种各样的Transformers来适应图结构数据。然而,这些Transformer变体的全面文献综述和系统评价仍然不可用。因此,有必要对现有的图的Transformer模型进行梳理,并系统地研究它们在各种图任务上的有效性。在本调查中,我们从体系结构设计的角度对各种Graph Transformer模型进行了全面的回顾。我们首先拆解了现有的模型,并总结出三种典型的方法来将图信息融入到香草Transformer中:1)GNN作为辅助模块,2)改进的位置嵌入图,3)改进的注意力矩阵图。此外,我们实现了三组代表性的组件,并进行了全面的比较各种著名的图形数据基准,调查每个组件的实际性能增益。我们的实验证实了Transformer上当前特定于图形的模块的优点,并揭示了它们在不同类型的图形任务上的优势。
2022-02-17 cs.AI cs.LG
A Survey on Structure-Preserving Graph Transformers
The Catholic University of Korea(韩国天主教大学)
本文针对现有图结构保持策略缺乏体系化梳理的问题,对结构保持型图Transformer展开全面综述,按设计目标将策略分为四大类并细分,同时探讨了相关挑战与未来方向。
2024-01-29 cs.AI cs.LG
Scaling Graph Transformers: A Comparative Study of Sparse and Dense Attention
Technical University of Munich(慕尼黑技术大学)
针对传统图神经网络难以捕获节点长程依赖的问题,本文比较图Transformer中密集与稀疏两种注意力机制的权衡及适用场景,概述其设计挑战,为图Transformer的扩展提供参考。
2025-08-24 cs.AI cs.LG
Pure Transformers are Powerful Graph Learners
KAIST(韩国科学技术院);LG AI Research(LG人工智能研究院);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
我们表明,标准的Transformers没有特定于图的修改,可以导致有前途的结果,在图学习的理论和实践。给定一个图,我们简单地将所有节点和边视为独立的令牌,用令牌嵌入来增强它们,并将它们馈送到Transformer。通过适当选择令牌嵌入,我们证明了这种方法在理论上至少与由等变线性层组成的不变图网络(2-IGN)一样具有表达性,该网络已经比所有消息传递图神经网络(GNN)更具表达性。当在大规模图数据集(PCQM 4 Mv 2)上训练时,我们的方法创造的令牌化图Transformer(TokenGT)与GNN基线相比取得了显着更好的结果,并且与具有复杂的特定于图的感应偏差的Transformer变体相比取得了有竞争力的结果。我们的实现可以在https://github.com/jw9730/tokengt上获得。
2022-10-22 cs.AI cs.LG
Transformers over Directed Acyclic Graphs
Beihang University(北京航空航天大学);MIT-IBM Watson AI Lab, IBM Research(MIT-IBM沃森人工智能实验室,IBM研究院)
本文针对有向无环图提出高效注意力机制和偏序位置编码,使图Transformer在源代码图分类和引文网络节点分类等任务上超越定制图神经网络并提升SOTA性能。
2023-10-30 cs.AI cs.LG
Hierarchical Graph Transformer with Adaptive Node Sampling
University of Science and Technology of China(中国科学技术大学);Hong Kong University of Science and Technology(香港科技大学);Tencent America(美国腾讯公司)
Transformer架构在包括自然语言处理和计算机视觉在内的多个领域取得了显著的成功。然而,当涉及到图结构数据时,Transformers还没有达到有竞争力的性能,特别是在大型图上。本文指出了当前图变换器的主要不足:(1)现有图Transformers中的节点采样策略与图的特征和训练过程无关。(2)大多数采样策略只关注局部邻居,而忽略了图中的长程依赖关系。我们在合成数据集上进行实验研究,以表明现有的采样策略是次优的。为了解决上述问题,我们制定了图Transformer中节点采样的优化策略作为一个对手的强盗问题,其中的奖励与注意力权重相关,并可以在训练过程中变化。同时,我们提出了一个分层的注意力计划与图粗化捕捉的远程相互作用,同时降低计算复杂性。最后,我们在真实世界的数据集上进行了广泛的实验,以证明我们的方法优于现有的图Transformers和流行的GNN。
2022-10-08 cs.AI cs.LG
Graph Propagation Transformer for Graph Representation Learning
OPPO Research Institute(OPPO研究院)
该研究提出图传播Transformer(GPTrans)架构,通过支持三类信息传播的图传播注意力机制学习图表示,在多个基准实验中性能优于现有基于Transformer的图模型。
2024-10-09 cs.AI cs.LG
Relational Attention: Generalizing Transformers for Graph-Structured Tasks
Rice University(莱斯大学);Microsoft Research(微软研究院)
Transformers在表示任务特定实体及其属性的实值向量集上灵活地操作,其中每个向量可以编码一个单词段标记及其在序列中的位置,或者编码一些根本不携带位置的信息段。但作为集合处理器,Transformers在对更一般的图结构数据进行推理时处于劣势,其中节点表示实体,边表示实体之间的关系。为了解决这个缺点,我们概括了Transformer的注意力,以考虑和更新每个Transformer层中的边缘向量。我们评估这种关系的Transformer上的一系列不同的图形结构的任务,包括大型和具有挑战性的CLRS数学推理基准。在那里,它大大优于最先进的图神经网络,专门设计用于对图结构数据进行推理。我们的分析表明,这些收益是由于关系注意力的内在能力,利用更大的表现力的图形集。
2023-03-10 cs.AI cs.LG
NAGphormer: A Tokenized Graph Transformer for Node Classification in Large Graphs
Huazhong University of Science and Technology(华中科技大学)
图Transformer作为一种新的体系结构出现,并在各种图挖掘任务上显示出卓越的性能。在这项工作中,我们观察到,现有的图Transformers处理节点作为独立的令牌,并构造一个单一的长序列组成的所有节点令牌,以便训练的Transformer模型,导致它很难扩展到大的图,由于二次复杂性的节点数量的自注意力计算。为此,我们提出了一个邻域聚合图Transformer(NAGphormer),它将每个节点视为一个序列,其中包含一系列由我们提出的Hop2Token模块构建的令牌。对于每个节点,Hop2Token将来自不同跳的邻域特征聚合成不同的表示,从而产生一系列令牌向量作为一个输入。通过这种方式,NAGphormer可以以小批量的方式进行训练,从而可以扩展到大型图形。此外,我们在数学上表明,相比一类先进的图神经网络(GNN),解耦的图卷积网络,NAGphormer可以学习更多的信息节点表示从多跳的邻居。在从小到大的基准数据集上进行了广泛的实验,以证明NAGphormer始终优于现有的图Transformers和主流GNN。代码可在https://github.com/JHL-HUST/NAGphormer上获得。
2023-02-27 cs.AI cs.LG
Generalized Graph Transformer Variational Autoencoder
Department of Computer Science and Software Engineering(计算机科学与软件工程系)
本文提出GGT-VAE,通过广义图变换器与变分自编码器结合,实现无需消息传递的图链接预测,并在多个数据集上取得优于基线的性能。
2025-11-29 cs.AI cs.LG
Do Transformers Really Perform Bad for Graph Representation?
Dalian University of Technology(大连理工大学);Princeton University(普林斯顿大学);Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
Transformer架构已经成为许多领域的主要选择,例如自然语言处理和计算机视觉。然而,与主流GNN变体相比,它在图形级预测的流行排行榜上没有取得有竞争力的性能。因此,Transformers如何在图表示学习中表现良好仍然是一个谜。在本文中,我们通过介绍Graphormer来解决这个谜团,Graphormer建立在标准的Transformer架构之上,并且可以在广泛的图表示学习任务上取得优异的成绩,特别是在最近的OGB大规模挑战赛上。我们在图中使用Transformer的关键见解是必须将图的结构信息有效地编码到模型中。为此,我们提出了几种简单而有效的结构编码方法,以帮助Graphormer更好地建模图结构数据。此外,我们在数学上描述了Graphormer的表达能力,并展示了我们对图的结构信息进行编码的方式,许多流行的GNN变体可以作为Graphormer的特例。
2021-11-24 cs.AI cs.LG
Transformers are Graph Neural Networks
Department of Computer Science and Technology University of Cambridge, UK(计算机科学与技术系剑桥大学)
本文揭示了Transformer架构与图神经网络(GNN)的数学联系,指出Transformer可视为在全连接标记图上运行的消息传递GNN,其凭借在现代硬件上更高效的密集矩阵运算赢得了硬件彩票。
2025-06-27 cs.AI cs.LG
Attending to Topological Spaces: The Cellular Transformer
Universitat de Barcelona(巴塞罗那大学);Universidad de Salamanca(萨拉曼卡大学);University of California Santa Barbara(加州大学圣巴巴拉分校);Harvard University(哈佛大学);Imperial College London(伦敦帝国学院);University San Francisco(旧金山大学)
本文提出细胞Transformer(CT),将图Transformer推广至细胞复形,利用关联关系与拓扑位置编码,在三个数据集上无需复杂增强即达最先进性能。
2024-05-26 cs.AI cs.CV cs.LG
On Structural Expressive Power of Graph Transformers
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
针对图Transformer结构表达能力缺乏理论分析的问题,提出SEG-WL测试作为广义图同构算法,证明其为多种图Transformer表达能力上界,并据此开发了更强的SPIS结构编码方法。
2023-05-23 cs.AI cs.LG
Graph Transformers Dream of Electric Flow
Duke University(杜克大学);Technical University of Munich(慕尼黑工业大学)
该研究从理论和实验证明线性 Transformer 可通过图的关联矩阵实现电力流和特征向量分解算法,并发现其在分子回归任务中能学习比默认更优的位置编码。
2025-03-02 cs.AI cs.LG
Graph Representation Learning Network via Adaptive Sampling
Wattpad
图注意力网络(GAT)和GraphSAGE是对图结构数据进行操作的神经网络架构,并且已经被广泛研究用于链接预测和节点分类。GraphSAGE提出的一个挑战是如何基于图结构巧妙地组合相邻特征。GAT通过注意力来处理这个问题,但是GAT的挑战是它在大型和密集图上的可扩展性。在这项工作中,我们提出了一个新的架构,以解决这些问题,是更有效的,是能够将不同的边缘类型的信息。它通过关注从加权多步转移概率中采样的邻居来生成节点表示。我们进行实验,在两个转导和归纳设置。实验在几个图形基准上取得了相当或更好的结果,包括Cora,Citeseer,Pubmed,PPI,Twitter和YouTube数据集。
2020-06-08 cs.LG stat.ML
Graph Transformers without Positional Encodings
本文提出Eigenformer,通过谱感知注意力机制直接利用图拉普拉斯谱,证明图Transformer无需位置编码即可在标准GNN基准上达到与最先进方法相当的性能,并能表达多种图结构连通性矩阵。
2024-05-06 cs.AI cs.LG
Understanding Transformer Reasoning Capabilities via Graph Algorithms
Google Research(谷歌研究院);Columbia University(哥伦比亚大学);Google DeepMind(谷歌DeepMind)
本文通过引入表示层级,从深度、宽度和额外标记维度分析Transformer在9个算法推理问题上的能力,证明了对数深度和小嵌入单层的适用性,并在GraphQA基准上验证其优于图神经网络。
2024-05-28 cs.AI cs.LG
A Survey of Graph Transformers: Architectures, Theories and Applications
The Chinese University of Hong Kong(香港中文大学);SIGS, Tsinghua University(清华大学深圳国际研究生院);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);DAMO Academy, Alibaba Group(阿里巴巴达摩院);Hupan Lab(湖畔实验室);Renmin University of China(中国人民大学)
本文对图变换器进行全面综述,涵盖架构、理论基础及应用。依处理结构信息策略分类架构,从理论考察表现力并与其他算法对比,按四种图组织形式整理应用文献,还讨论了挑战和未来研究方向。
2026-07-28 cs.AI cs.LG
Leveraging Manifold Embeddings for Enhanced Graph Transformer Representations and Learning
针对图变换器单一欧氏空间嵌入的局限,提出黎曼混合专家层路由节点至多种流形,集成后提升节点分类准确率至多3%,并增强可解释性。
2025-07-09 cs.AI cs.LG
Graph Tokenization for Bridging Graphs and Transformers
Beijing University of Posts and Telecom.(北京邮电大学)
本文提出图标记化框架,结合可逆图序列化与BPE,使变换器模型可直接应用于图结构数据,实现对图基准测试的高性能表现。
2026-03-11 cs.AI cs.LG
Transforming Graphs for Enhanced Attribute Clustering: An Innovative Graph Transformer-Based Method
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院)
本文提出GTAGC方法,将图自编码器与图Transformer结合以捕捉节点全局依赖,通过图嵌入与聚类交替优化增强图聚类性能,并在多个基准数据集上验证其优于现有方法。
2023-08-12 cs.AI cs.LG
PolarFormer: Multi-camera 3D Object Detection with Polar Transformer
Fudan University(复旦大学)
自动驾驶中的3D目标检测旨在推理感兴趣的对象在3D世界中存在"什么"和"哪里"。现有的二维目标检测方法沿用传统的二维检测方法,通常采用直角坐标系。然而,我们共轭,这并不符合自我汽车的视角的性质,因为每个车载摄像头感知世界的楔形固有的成像几何形状与激进(非垂直)轴。因此,在本文中,我们提倡开发的极坐标系,并提出了一个新的极Transformer(PolarFormer)更准确的3D目标检测在鸟瞰图(BEV)作为输入,只有多个摄像头的2D图像。具体而言,我们设计了一个基于交叉注意力的Polar检测头,不受输入结构形状的限制,以处理不规则的Polar网格。为了解决不受约束的对象尺度变化沿极地的距离维,我们进一步引入了多尺度极地表示学习策略。因此,我们的模型可以充分利用极坐标表示光栅化,通过参加相应的图像观察在序列到序列的方式受到几何约束。在nuScenes数据集上进行的全面实验表明,我们的PolarFormer的性能明显优于最先进的3D目标检测替代方案。
2023-01-16 cs.AI cs.CV
Transformer and Snowball Graph Convolution Learning for Brain functional network Classification
School of Computer Science and Engineering(计算机科学与工程学院);South China University of Technology(华南理工大学)
本文提出 TSEN 模型用于脑功能网络分类,通过将图 Snowball 连接与图 Transformer 结合并引入 Snowball 图卷积作为位置嵌入,有效捕获多尺度全局与局部模式,在自闭症和抑郁症数据集上优于现有 GNN 模型。
2023-08-02 cs.AI cs.LG
Less is More: on the Over-Globalizing Problem in Graph Transformers
School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院);School of Software, Beihang University(北京航空航天大学软件学院)
本文揭示图Transformer的过度全局化问题,提出双层全局图Transformer与协作训练(CoBFormer),兼顾远近节点信息提取,实验验证其有效性。
2024-05-24 cs.AI cs.LG
SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity
Broad Institute of MIT and Harvard(麻省理工学院与哈佛 broad 研究所);Shanghai Jiao Tong University(上海交通大学);University of Illinois, Chicago(芝加哥大学伊利诺伊分校);Amazon Web Service(亚马逊网络服务)
针对图Transformer多层注意力效率受限的问题,本文提出单层图Transformer SGFormer,其无近似的线性复杂度全局注意力可扩展至超大规模图,推理速度显著提升且标注数据需求低。
2024-09-13 cs.AI cs.LG
Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs
Massachusetts Institute of Technology(麻省理工学院)
尽管Transformer网络在各个领域都取得了广泛的成功,但即使考虑到与3D相关的诱导偏差(如平移不变性和旋转等变性),它也尚未在3D原子图(如分子)领域的数据集上表现良好。在本文中,我们证明了Transformers可以很好地推广到3D原子图,并提出了Equiformer,这是一种利用Transformer架构的优势并基于不可约表示(irreps)结合SE(3)/E(3)-等变特征的图神经网络。首先,我们提出了一个简单而有效的架构,只取代原来的操作在Transformers与他们的等变同行,并包括张量积。使用等变操作使得能够在不使图结构复杂化的情况下在irreps特征的通道中编码等变信息。通过对Transformers的最小修改,该架构已经取得了很好的经验结果。其次,我们提出了一种新的注意力机制,称为等变图注意力,它改善了典型的注意力在Transformers,通过取代点积的注意力与多层感知器的注意力,并包括非线性消息传递。通过这两项创新,Equiformer在QM 9,MD 17和OC 20数据集上实现了与以前模型竞争的结果。
2023-02-28 cs.AI cs.LG physics.comp-ph
Enhancing Graph Transformers with Hierarchical Distance Structural Encoding
Beihang University(北京航空航天大学);The Hong Kong Polytechnic University(香港理工大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出层级距离结构编码(HDSE)增强图变换器,建模节点多级距离,可集成于注意力机制,理论上优于最短路径距离,并在图分类、回归及大规模节点分类任务中表现优异。
2024-05-27 cs.AI cs.LG cs.SI
Scalable and Adaptive Parallel Training of Graph Transformer on Large Graphs
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种分布式训练框架,通过自动选择和优化并行策略提升图变换器在大规模图上的可扩展性,实现3.8倍的加速和78%的内存节省。
2026-04-17 cs.AI cs.DC cs.LG
Hierarchical Transformer for Scalable Graph Learning
Peking University(北京大学);Yuanpei College, Peking University(北京大学元培学院);Microsoft(微软);Alibaba Group(阿里巴巴集团)
针对图Transformer在大规模图上全批量训练复杂度高、采样法易丢失高层信息的问题,提出分层可扩展图TransformerHSGT,结合图层次结构与采样训练,在百万节点级大规模基准上高效实现当前最优性能。
2023-05-05 cs.AI cs.LG cs.SI
Are More Layers Beneficial to Graph Transformers?
Peking University(北京大学);Microsoft Research(微软研究院)
尽管在许多神经架构中已经证明了深入是成功的,但现有的图形Transformers相对较浅。在这项工作中,我们探讨了更多的层是否有利于图形Transformers,并发现目前的图形Transformers遭受的瓶颈,提高性能的增加深度。我们进一步分析发现,这是因为深度图Transformers受到全局注意力消失能力的限制,限制了图Transformer对关键子结构的关注,无法获得表达特征。为此,我们提出了一种新的图形Transformer模型DeepGraph,它在编码表示中显式地使用子结构标记,并在相关节点上应用局部注意力以获得基于子结构的注意力编码。我们的模型增强了全局注意力集中在子结构上的能力,并提高了表示的表达能力,解决了自注意力随着图Transformer的深化而受到限制的问题。实验表明,我们的方法解开了图Transformers的深度限制,并在具有更深模型的各种图基准测试中获得了最先进的性能。
2023-03-01 cs.LG
PatchGT: Transformer over Non-trainable Clusters for Learning Graph Representations
University of Notre Dame(圣母大学);Tufts University(塔夫茨大学);University of Pennsylvania(宾夕法尼亚大学)
提出 PatchGT,一种基于非可训练谱聚类图块的 Transformer 图神经网络,结合 GNN 与 Transformer 优势,实现更高表达能力并在基准数据集上取得竞争力且具可解释性。
2023-04-07 cs.AI cs.LG math.GT
Graph Transformer Networks: Learning Meta-path Graphs to Improve GNNs
Korea University(高丽大学)
图神经网络(GNN)由于其对图结构数据的强大表示能力,已被广泛应用于各个领域。尽管GNN取得了成功,但大多数现有的GNN都被设计为学习固定和同构图上的节点表示。当在错误指定的图或由各种类型的节点和边组成的异构图上学习表示时,这些限制尤其成问题。为了解决这一限制,我们提出了能够生成新的图结构的图Transformer网络(GTN),其排除了噪声连接并包括有用的连接(例如,元路径),同时以端到端的方式学习新图形上的有效节点表示。我们进一步提出了GTN的增强版本,快速图Transformer网络(FastGTN),提高了图变换的可扩展性。与GTN相比,FastGTN的速度快230倍,使用的内存少100倍,同时允许与GTN相同的图形转换。此外,我们扩展图变换的语义接近的节点,允许非本地操作超越元路径。在同构图和异构图上的大量实验表明,具有非局部操作的GTN和FastGTN实现了节点分类任务的最新性能。代码可在以下网址获得:https://github.com/seongjunyun/Graph_Transformer_Networks
2021-06-11 cs.AI cs.LG cs.SI
Leveraging Auto-Distillation and Generative Self-Supervised Learning in Residual Graph Transformers for Enhanced Recommender Systems
Declic AI Research(Declic人工智能研究院);CESI LINEACT Laboratory(CESI LINEACT实验室);Université Paris-Est(巴黎东部大学);UPEC(巴黎第十二大学)
本文提出一种集成生成式自监督学习(SSL)与残差图Transformer的前沿方法,通过理性感知SSL自动化数据增强、拓扑感知Transformer捕捉全局上下文及自动蒸馏优化信号,在多数据集上持续优于基线方法,增强推荐系统性能。
2025-04-08 cs.AI cs.IR cs.LG
Multi-head or Single-head? An Empirical Comparison for Transformer Training
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
多头注意力在最近Transformer模型的成功中起着至关重要的作用,这导致了在各种应用中相对于传统注意力的一致性能改进。普遍的看法是,这种有效性源于共同参加多个职位的能力。在本文中,我们首先证明,共同出席多个位置是不是一个独特的特点,多头注意力,作为多层次的单头注意也出席多个位置,更有效。然后,我们认为多头注意力的主要优点是训练的稳定性,因为它具有较少的层数比单头注意,当出席相同数量的位置。例如,24层16头Transformer(BERT-large)和384层单头Transformer的总关注头数相同,模型尺寸大致相同,而多头的要明显浅一些。同时,我们表明,随着深度学习的最新进展,我们可以成功地稳定384层Transformer的训练。由于训练难度不再是瓶颈,因此更深的单头Transformer实现了一致的性能改进,而无需调整超参数。
2021-06-17 cs.CL cs.LG
Topology-Informed Graph Transformer
National Institute for Mathematical Sciences(数学科学研究院);Max Planck Institute(马克斯·普朗克研究所)
本研究提出拓扑感知图Transformer,通过增强图同构判别能力与整体性能,提升图神经网络在区分同构类任务中的表现。
2026-01-08 cs.LG
Gophormer: Ego-Graph Transformer for Node Classification
University of Notre Dame(圣母大学);Microsoft Research(微软研究院);Michigan State University(密歇根州立大学);Microsoft(微软)
Transformers在包括自然语言处理和计算机视觉在内的无数领域都取得了卓越的性能。然而,当涉及到图挖掘领域时,其中图神经网络(GNN)一直是主导范式,Transformers还没有达到有竞争力的性能,特别是在节点分类任务上。现有的图Transformer模型通常在整个输入图上采用全连接注意力机制,因此存在严重的可扩展性问题,并且在数据不足的情况下难以进行训练。为了缓解这些问题,我们提出了一种新的Gophormer模型,该模型将Transformers应用于自我图而不是全图。具体而言,Node2Seq模块被提出来采样自我图作为Transformers的输入,这解决了可扩展性的挑战,并作为一种有效的数据增强技术来提高模型性能。此外,不同于vanilla Transformers中基于特征的注意策略,我们提出了一种邻近增强的注意力机制来捕获细粒度的结构偏差。为了处理自我图采样引入的不确定性,我们进一步提出了一致性正则化和多样本推理策略,分别用于稳定训练和测试。在六个基准数据集上进行了大量的实验,以证明Gophormer相对于现有的图Transformers和流行的GNN的优越性,揭示了图Transformers的光明前景。
2021-10-25 cs.LG
Triplet Interaction Improves Graph Transformers: Accurate Molecular Graph Learning with Triplet Graph Transformers
Department of Computer Science, Rensselaer Polytechnic Institute, Troy, NY, USA(理海理工学院计算机科学系);IBM Thomas J. Watson Research Center, Yorktown Heights, NY, USA(IBM 玛丽·沃森研究中心)
针对图变换器缺乏三阶交互的问题,提出三元组图变换器(TGT),通过三元组注意力与聚合机制实现节点间直接通信,在多个分子基准及TSP上取得最先进结果。
2024-06-10 cs.LG
Graph-to-Graph Transformer for Transition-based Dependency Parsing
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
我们提出了Graph2Graph Transformer架构,用于调节和预测任意图形,并将其应用于基于转换的依存句法分析的挑战性任务。在提出了两个新的Transformer模型的过渡为基础的依存句法分析作为强基线后,我们表明,添加所提出的机制,条件和预测图的Graph2Graph Transformer的结果显着改善,无论有和没有BERT预训练。新的基线及其与Graph2Graph Transformer的集成在英语Penn Treebank和13种语言的Universal Advertisements Treebanks上的性能明显优于传统的基于转换的依存句法分析。Graph2Graph Transformer可以与许多以前的结构化预测方法集成,使其易于应用于广泛的NLP任务。
2020-10-30 cs.CL cs.LG
Pre-training with Graph Transformers
National University of Singapore(新加坡国立大学);Loyola Marymount University(洛约拉马利蒙特大学)
本文通过实验探究生物化学领域图变换器的预训练策略,发现基于计算属性的监督预训练效果最佳,并强调限制模型容量以防过拟合。
2026-09-15 cs.LG
A Graph VAE and Graph Transformer Approach to Generating Molecular Graphs
University of Glasgow(格拉斯哥大学)
我们提出了一个变分自编码器和一个基于Transformer的模型,它充分利用图卷积和图池层直接在图上操作的组合。Transformer模型实现了一个新的节点编码层,取代了Transformers中通常使用的位置编码,以创建一个没有位置信息的Transformer,该transformer对图形进行操作,将相邻节点的属性编码到边生成过程中。所提出的模型建立在对具有边缘特征的图进行操作的图生成工作的基础上,创建了一个模型,该模型提供了图中节点数量的改进的可扩展性。此外,我们的模型能够学习一个解纠缠的,可解释的潜在空间,通过潜在变量和图形属性之间的映射来表示图形属性。在实验中,我们选择了一个基准任务的分子生成,生成的节点和边缘功能的重要性。使用QM9数据集,我们证明了我们的模型在生成有效,独特和新颖分子的任务中表现出色。最后,我们证明了该模型是可解释的生成分子控制的分子特性,然后我们分析和可视化学习的潜在表示。
2021-04-09 cs.LG
NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);Institute of Artificial Intelligence, Huazhong University of Science and Technology(华中科技大学人工智能研究院);Hopcroft Center on Computing Science, Huazhong University of Science and Technology(华中科技大学霍普克罗夫特计算科学中心)
提出NTFormer图Transformer,通过Node2Par生成多类型token序列全面表达图特征,无需图特定修改即可在节点分类任务上超越现有方法。
2024-06-27 cs.LG
Bridging Graph Position Encodings for Transformers with Weighted Graph-Walking Automata
University of Notre Dame(圣母大学)
本文提出基于加权图行走自动机的新图位置编码GAPE,在机器翻译和图结构任务上验证其性能并证明其能泛化多种现有PE方案,同时对图Transformer中多种PE进行了独立于边特征的理论与实验比较。
2023-04-09 cs.LG
AGFormer: Efficient Graph Representation with Anchor-Graph Transformer
Anhui University(安徽大学);Northwestern Polytechnical University(西北工业大学)
针对图Transformer计算成本高且对噪声敏感的问题,提出锚点图Transformer(AGFormer),通过锚点将节点间消息传递转为锚点间及锚点-节点传递,提升效率与鲁棒性,并在多个基准数据集上验证了有效性。
2023-05-12 cs.LG
Relphormer: Relational Graph Transformer for Knowledge Graph Representations
Zhejiang University(浙江大学);Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph(浙江大学蚂蚁集团知识图谱联合实验室);Alibaba Group(阿里巴巴集团)
针对原始Transformer难以捕捉知识图谱异构信息的问题,提出Relphormer模型,通过Triple2Seq动态采样子图序列和结构增强自注意力机制编码关系与语义,并利用掩码知识建模在多项KG任务上取得优于基线的性能。
2023-11-21 cs.AI cs.CL cs.IR
Technical Report: The Graph Spectral Token -- Enhancing Graph Transformers with Spectral Information
The University of Chicago(芝加哥大学);Tsinghua University(清华大学)
本文提出 Graph Spectral Token,通过参数化 [CLS] token 将图谱全局结构信息注入图 Transformer,并在 GraphTrans 与 SubFormer 上验证其性能与效率收益。
2024-04-08 cs.LG
GITO: Graph-Informed Transformer Operator for Learning Complex Partial Differential Equations
Applied Research, Quantiphi(Quantiphi应用研究)
本研究提出了由混合图Transformer和Transformer神经算子组成的GITO架构,可高效学习不规则几何与非均匀网格上的复杂偏微分方程,性能优于现有同类神经算子,为工程领域网格无关的代理求解器提供了新方案。
2025-06-16 cs.LG
Transformers Generalize DeepSets and Can be Extended to Graphs and Hypergraphs
School of Computing, KAIST(韩国科学技术院计算学院)
我们提出了一个推广的Transformers的任何顺序置换不变的数据(集,图,超图)。我们首先观察到Transformers推广了DeepSets,或一阶(集合输入)置换不变MLP。然后,基于最近表征的高阶不变MLP,我们将自注意力的概念扩展到高阶,并提出了高阶Transformers用于阶$k$数据($k=2$用于图和$k>2$用于超图)。不幸的是,高阶Transformers的复杂度$\mathcal{O}(n^{2k})$超过了输入节点$n$的数量。为了解决这个问题,我们提出了稀疏高阶Transformers,具有二次复杂度的输入超边的数量,并进一步采用核注意力的方法,以减少复杂度的线性。特别是,我们表明,稀疏的二阶Transformers与内核的注意力,理论上更有表现力的消息传递操作,同时具有渐近相同的复杂性。我们的模型在大规模图回归和集到(超)图预测任务中,与不变的MLP和消息传递图神经网络相比,实现了显着的性能改进。我们的实现可以在https://github.com/jw9730/hot上获得。
2022-01-22 cs.LG
Comparing Graph Transformers via Positional Encodings
School of Electrical Engineering and Computer Science, Oregon State University(俄勒冈州立大学电气与计算机工程学院)
本文研究了图Transformer中绝对位置编码与相对位置编码的关系,证明了两者在区分能力上等价且可互换,并基于理论比较了多种位置编码的区分能力,为未来设计提供指导。
2024-08-22 cs.LG
Attamba: Attending To Multi-Token States
Cornell University(康奈尔大学);Google(谷歌公司)
针对普通transformer注意力计算量随序列长度二次方增长的问题,提出Attamba架构,用状态空间模型压缩token块并对压缩键值表示应用注意力,可提升模型质量、实现灵活分块,在相似计算量下困惑度提升24%,或在5%困惑度损失下减少4倍计算量。
2024-11-26 cs.CL cs.LG
Stronger Graph Transformer with Regularized Attention Scores
HDSI, UCSD(加州大学圣地亚哥分校HDSI)
针对Graph Transformer的内存消耗问题,提出一种新颖的边正则化技术,在缓解对Positional Encoding需求的同时解决内存溢出问题,并稳定提升模型性能。
2024-03-22 cs.LG
Transformers are efficient hierarchical chemical graph learners
The University of Chicago(芝加哥大学);Tsinghua University(清华大学)
针对图Transformer自注意力计算量随token数二次增长的问题,提出基于子图和消息传递的SubFormer,在分子性质预测任务上以极低计算成本达到前沿性能,还能缓解过平滑与过挤压问题。
2023-10-02 cs.LG