Player-Team Heterogeneous Interaction Graph Transformer for Soccer Outcome Prediction
The University of Sydney（悉尼大学）；Stats Perform Limited（Stats Perform有限公司）
提出HIGFormer模型，通过多级异构交互图框架同时捕捉球员动态与团队交互，结合Transformer联合分析预测足球比赛结果，准确率显著优于现有方法。
2025-07-14 cs.AI cs.LG
Temporal Heterogeneous Graph Transformer for Credit Card Fraud Detection
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
提出THGT-FD时间异构图变换器，用交易与关系令牌结合Time2Vec编码，在IEEE-CIS数据上取得AUC-ROC 0.8536，验证关系令牌对欺诈风险排序有效。
2026-09-09 cs.AI cs.LG
HDGT: Heterogeneous Driving Graph Transformer for Multi-Agent Trajectory Prediction via Scene Encoding
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Lab（上海人工智能实验室）
针对自动驾驶场景元素异质、空间关系具相对性的特点，提出将场景建模为异质图、采用分层Transformer聚合的HDGT方法，在两项轨迹预测挑战赛中达到SOTA性能。
2023-07-20 cs.AI cs.CV cs.LG
One Router to Route Them All: Homogeneous Expert Routing for Heterogeneous Graph Transformers
本文提出同质专家路由（HER），通过随机掩码类型嵌入促进类型无关的专业化，从而在异构图变换器中提升链接预测性能。
2026-01-21 cs.AI cs.LG
Entity Alignment with Reliable Path Reasoning and Relation-Aware Heterogeneous Graph Transformer
South China Normal University（华南师范大学）；Hanshan Normal University（韩山师范学院）
实体对齐是从不同的知识图谱中寻找具有相同意义的实体的一种方法，已引起学术界和工业界的广泛关注。知识库中实体之间存在大量的多步关系路径，反映了实体之间的语义关系。然而，现有的方法很少考虑路径信息，因为不是所有的自然路径有利于EA判断。在本文中，我们提出了一个更有效的实体对齐框架，RPR-RHGT，它集成了关系和路径结构信息，以及在知识库中的异构信息。令人印象深刻的是，一个初始的可靠路径推理算法的发展，产生的路径有利于EA任务的关系结构的KG，这是第一个算法在文献中成功地使用不受限制的路径信息。此外，为了有效地捕捉实体邻域中的异构特征，设计了一个关系感知的异构图转换器Transformer来建模KG的关系和路径结构。在三个知名数据集上的大量实验表明，RPR-RHGT显著优于11种最先进的方法，在Hits@1上超过最佳性能基线高达8.62%。我们还展示了它在不同比例的训练集和更硬的数据集上比基线更好的性能。
2022-08-07 cs.AI cs.CL cs.LG
MiGHT-EHR: A Multi-task Graph Transformer for Heterogeneous Temporal Electronic Health Records
MiGHT-EHR是针对异构时序EHR的多任务图变换器，在MIMIC-III/IV数据集上的四项临床预测任务中优于现有最优方法，且表示具有临床可解释性。
2026-08-10 cs.LG q-bio.QM
Heterogeneous Line Graph Transformer for Math Word Problems
Southeast University（东南大学）；University of Notre Dame（圣母大学）
本文描述了一个新的机器学习模型的设计和实现的在线学习系统。我们的目标是提高系统的智能化水平，使一个自动化的数学应用题求解器，可以支持广泛的功能，如家庭作业校正，难度估计，优先级推荐。我们最初计划使用现有的模型，但意识到它们将数学单词问题处理为令牌的序列或同构图。忽略了实体、单位、比率和数字等多种类型的令牌之间的关系。我们决定设计和实现一个新的模型，使用这种关系数据来弥合人类可读语言和机器可理解逻辑形式之间的信息鸿沟。提出了一种异构线图Transformer（HLGT）模型，该模型通过对数学应用题进行语义角色标注，构建异构线图，然后进行感知边类型的节点表示学习。我们添加了数值比较作为辅助任务，以改进模型训练以供实际使用。实验结果表明，该模型实现了更好的性能比现有的模型，并建议它仍然远远低于人类的表现。信息利用和知识发现是不断需要改进的在线学习系统。
2022-08-12 cs.AI cs.CL cs.LG
SHGNN: Structure-Aware Heterogeneous Graph Neural Network
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
许多现实世界的图（网络）是异构的，具有不同类型的节点和边。异构图嵌入旨在学习异构图的低维节点表示，对于各种下游应用至关重要。近年来，人们提出了许多基于元路径的嵌入方法来学习异构图的语义信息。然而，大多数现有的技术忽略了图的结构信息时，学习异构图嵌入。本文提出了一种新的结构感知异构图神经网络（SHGNN），以解决上述限制。具体而言，首先利用特征传播模块获取元路径中中间结点的局部结构信息，然后利用树-注意力聚合器将图结构信息融合到元路径上的聚合模块中，最后利用元路径聚合器对不同元路径上的聚合信息进行融合.我们在节点分类和聚类任务上进行了实验，并在基准数据集上取得了最先进的结果，这表明了我们提出的方法的有效性。
2021-12-14 cs.LG cs.SI
Time-aware Heterogeneous Graph Transformer with Adaptive Attention Merging for Health Event Prediction
针对现有EHR深度学习方法未充分挖掘数据潜力、缺乏领域知识融入等不足，提出带自适应注意力融合的时间感知异构图Transformer模型，在两个数据集上预测准确性和可解释性显著提升，推进个性化医疗管理。
2024-11-27 cs.LG
MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding
The Chinese University of Hong Kong（香港中文大学）
大量的现实世界的图或网络本质上是异构的，涉及到节点类型和关系类型的多样性。异构图嵌入是将异构图丰富的结构和语义信息嵌入到低维节点表示中。现有的模型通常在异构图中定义多个元路径来捕获复合关系并指导邻居选择。然而，这些模型要么忽略节点内容特征，要么丢弃元路径上的中间结点，要么只考虑一个元路径。为了解决这三个限制，我们提出了一个新的模型命名为元路径聚合图神经网络（MAGNN），以提高最终的性能。具体来说，MAGNN采用三个主要组件，即，用于封装输入节点属性的节点内容转换、用于合并中间语义节点的元路径内聚合以及用于组合来自多个元路径的消息的元路径间聚合。在三个真实世界的异构图数据集上进行的节点分类、节点聚类和链接预测的广泛实验表明，MAGNN实现了比最先进的基线更准确的预测结果。
2020-03-31 cs.LG cs.SI
HeSRN: Representation Learning On Heterogeneous Graphs via Slot-Aware Retentive Network
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Zayed University（扎耶德大学）；Higher Colleges of Technology（高等技术学院）；Monash University（莫纳什大学）；Hangzhou Dianzi University（杭州电子科技大学）；University of Southampton（南安普顿大学）
HeSRN通过槽感知保留网络高效建模异构图，解决语义纠缠和计算复杂度问题，提升节点分类性能。
2025-12-16 cs.LG
DSHGT: Dual-Supervisors Heterogeneous Graph Transformer -- A pioneer study of using heterogeneous graph learning for detecting software vulnerabilities
Tongji University（同济大学）；Ping An Technology（平安科技）；Fudan University（复旦大学）；Ant Group（蚂蚁集团）；Macquarie University（麦考瑞大学）
本文首次将代码属性图形式的异构图表示与双监督器异构图网络DSHGT相结合用于软件漏洞检测，在真实项目上平均F1提升超10%，并展现出从C/C++到其他语言的良好可迁移性。
2024-06-06 cs.LG cs.SE
Metapaths guided Neighbors aggregated Network for?Heterogeneous Graph Reasoning
Alibaba Group（阿里巴巴集团）
大多数真实世界的数据集本质上是异构的图，涉及到节点和关系类型的多样性。异构图嵌入是从图中学习结构和语义信息，然后嵌入到低维节点表示中。现有的方法通常通过定义元路径来捕捉异构图的复合关系，元路径表示图的语义。然而，这些方法要么忽略节点属性，要么丢弃图的局部和全局信息，要么只考虑一个元路径。为了解决这些限制，我们提出了一个元路径引导的邻居聚集异构图神经网络（MHN），以提高性能。特别地，MHN采用节点基嵌入来封装节点属性，元路径内的BFS和DFS邻居聚合来捕获局部和全局信息，以及元路径聚合来组合异构图的不同语义。我们在三个真实世界的异构图数据集上进行了大量的实验，包括节点分类，链接预测和阿里巴巴移动应用程序的在线A/B测试。结果表明，MHN表现优于其他国家的最先进的基线。
2021-03-11 cs.AI cs.LG cs.SI
HGTDR: Advancing Drug Repurposing with Heterogeneous Graph Transformers
针对现有药物重定位方法数据处理范围有限、异质数据易丢失信息、缺乏端到端功能的问题，提出三步式异构图Transformer模型HGTDR，性能与现有方法相当，且可预测多种生物关系。
2024-05-18 cs.AI cs.LG q-bio.QM
Hyperbolic Heterogeneous Graph Attention Networks
Chungnam National University（忠南大学）
针对欧氏空间表示异构图易失真的问题，提出结合元路径实例在双曲空间学习表示的HHGAT模型，在三个真实数据集的节点分类、聚类任务上性能超越现有最优模型。
2024-04-15 cs.LG
Graph Transformer Network for Flood Forecasting with Heterogeneous Covariates
Florida International University（佛罗里达国际大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出FloodGTN，一种结合图神经网络、LSTM和变换器的洪水预报工具，通过建模水位时空依赖及外部协变量注意力，在佛罗里达数据上相比HEC-RAS精度提升70%，速度提升至少500倍。
2023-10-11 cs.LG
Multi-Hyperbolic Space-based Heterogeneous Graph Attention Network
Department of Computer Science and Engineering, Chungnam National University, Daejeon, South Korea（计算机科学与工程系，全南国立大学，大田，韩国）
针对异质图嵌入中单一双曲空间难以捕获多样幂律结构的问题，提出多双曲空间异质图注意力网络MSGAT，实验证明其在多种图任务上优于现有基线。
2024-11-18 cs.AI cs.LG
Heterogeneous Graph Neural Networks for Malicious Account Detection
Ant Financial Services Group（蚂蚁金融服务集团）；Georgia Institute of Technology（佐治亚理工学院）
我们目前，创业板，第一个异构图神经网络的方法来检测恶意帐户在支付宝，世界领先的移动无现金支付平台之一。我们的方法，灵感来自连接子图的方法，自适应地学习歧视性嵌入从异构的帐户设备图的基础上攻击者的两个基本弱点，即设备聚合和活动聚合。针对异构图中包含多种类型节点的情况，提出了一种注意力机制来学习不同类型节点的重要性，同时利用求和算子对每种类型节点的聚集模式进行建模。实验表明，随着时间的推移，我们的方法始终执行有前途的结果相比，竞争力的方法。
2020-02-27 cs.CR cs.LG stat.ML
Spiking Heterogeneous Graph Attention Networks
SpikingHAN通过融合脉冲神经网络的节能特性，降低异构图学习的计算成本，同时保持性能。
2025-12-31 cs.LG cs.NE cs.SI
RHCO: A Relation-aware Heterogeneous Graph Neural Network with Contrastive Learning for Large-scale Graphs
Beihang University（北京航空航天大学）
异构图神经网络（HGNNs）在异构信息网络任务中得到了广泛的应用，但大多数HGNNs在应用于大规模异构图时存在可扩展性差或表示能力弱的问题。为了解决这些问题，我们提出了一种新的异构图神经网络与对比学习（RHCO）的大规模异构图表示学习。与传统的异构图神经网络不同，我们采用对比学习机制来处理大规模异构图的复杂异构性。我们首先学习网络模式视图下的关系感知节点嵌入。然后提出了一种新的正样本选择策略来选择有意义的正样本。在正样本图视图下学习节点嵌入之后，我们执行跨视图对比学习以获得最终的节点表示。此外，我们采用标签平滑技术，以提高性能的RHCO。在三个大规模学术异构图数据集上的大量实验表明，RHCO在最先进的模型中取得了最佳性能。
2022-11-20 cs.AI cs.LG
HEIGHT: Heterogeneous Interaction Graph Transformer for Robot Navigation in Crowded and Constrained Environments
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
HEIGHT通过异构交互图变压器提升机器人在拥挤和受限环境中的导航性能，有效捕捉时空异构交互，提高路径安全性和效率。
2026-01-23 cs.AI cs.LG cs.RO
Training-free Heterogeneous Graph Condensation via Data Selection
Peking University（北京大学）；The University of Queensland（昆士兰大学）；Huawei Cloud BU（华为云业务部）
针对异构图凝缩方法HGCond效率低和泛化弱的问题，提出首个无训练异构图凝缩方法FreeHGC，通过将凝缩问题转化为数据选择问题，利用元路径设计选择准则并设计无训练策略，实现高效高质量的异构凝缩图生成。
2024-12-20 cs.LG
Spectral Heterogeneous Graph Convolutions via Positive Noncommutative Polynomials
Renmin University of China（中国人民大学）；Baidu Inc.（百度公司）
本文提出PSHGCN，通过正非交换多项式实现谱域异构图卷积，可学习任意有效异构图滤波器，并在开放基准上优于所有基线且具备大规模图可扩展性。
2024-05-07 cs.LG
PDNS-Net: A Large Heterogeneous Graph Benchmark Dataset of Network Resolutions for Graph Learning
University of Colombo（科伦坡大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
为了推进图学习算法的发展，有必要构建大型真实世界数据集。虽然有许多同质图的基准数据集，但只有少数可用于异构图。此外，后一种图的尺寸小，使得它们不足以理解图学习算法在分类度量和计算资源利用方面如何执行。我们引入PDNS-Net，这是最大的公共异构图数据集，包含447 K节点和897 K边缘，用于恶意域分类任务。与流行的异构数据集IMDB和DBLP相比，PDNS-Net分别大38倍和17倍。我们提供了一个详细的分析PDNS-Net，包括数据汇集方法，异构图建设，描述性统计和初步的图分类性能。该数据集可在https://github.com/qcri/PDNS-Net上公开获得。我们在PDNS-Net上对流行的同构和异构图神经网络的初步评估表明，需要进一步的研究来提高这些模型在大型异构图上的性能。
2022-03-15 cs.CR cs.LG
Heterogeneous Graph Condensation via Role-Aware Clustering
针对大规模异构图上HGNN训练计算量大的问题，提出HGC - RC框架。先经轻量级传播提取节点嵌入，再用角色感知混合聚类策略，最后重构紧凑异构图，有效加速HGNN训练且不牺牲性能。
2026-07-07 cs.LG
Are More Layers Beneficial to Graph Transformers?
Peking University（北京大学）；Microsoft Research（微软研究院）
尽管在许多神经架构中已经证明了深入是成功的，但现有的图形Transformers相对较浅。在这项工作中，我们探讨了更多的层是否有利于图形Transformers，并发现目前的图形Transformers遭受的瓶颈，提高性能的增加深度。我们进一步分析发现，这是因为深度图Transformers受到全局注意力消失能力的限制，限制了图Transformer对关键子结构的关注，无法获得表达特征。为此，我们提出了一种新的图形Transformer模型DeepGraph，它在编码表示中显式地使用子结构标记，并在相关节点上应用局部注意力以获得基于子结构的注意力编码。我们的模型增强了全局注意力集中在子结构上的能力，并提高了表示的表达能力，解决了自注意力随着图Transformer的深化而受到限制的问题。实验表明，我们的方法解开了图Transformers的深度限制，并在具有更深模型的各种图基准测试中获得了最先进的性能。
2023-03-01 cs.LG
Heterogeneous Graph Tree Networks
Institute for Financial Services Analytics University of Delaware Newark, USA
异构图神经网络（HGNNs）是近三年来研究的热点。大多数现有的HGNN分为两类。一类是基于元路径的HGNN，它要么需要领域知识来手工制作元路径，要么消耗大量的时间和内存来自动构建元路径。另一类不依赖于元路径构造。它以同构卷积图神经网络（Conv-GNNs）为骨干，通过引入节点类型和边类型相关的参数将其扩展到异构图。无论元路径依赖性如何，大多数现有的HGNN都采用诸如GCN和GAT之类的浅层Conv-GNN来聚合邻域信息，并且可能具有有限的从高阶邻域捕获信息的能力。在这项工作中，我们提出了两个异构图树网络模型：异构图树卷积网络（HetGTCN）和异构图树注意力网络（HetGTAN），它不依赖于元路径来编码节点特征和图结构的异构性。在三个真实世界的异构图数据上进行的大量实验表明，所提出的HetGTCN和HetGTAN是有效的，并且在半监督节点分类任务上始终优于所有最先进的HGNN基线，并且可以深入而不影响性能。
2022-09-01 cs.LG
Molecular Representation Learning via Heterogeneous Motif Graph Neural Networks
Iowa State University（爱荷华州立大学）
我们考虑分子图的特征表示学习问题。图神经网络已广泛应用于分子图的特征表示学习。然而，大多数现有的方法单独处理分子图，而忽略了它们的连接，如基序水平的关系。我们提出了一种新的分子图表示学习方法，通过构建异构模体图来解决这个问题。特别是，我们建立了一个异构的模体图，包含模体节点和分子节点。每个基序节点对应于从分子中提取的基序。然后，我们提出了一个异构模体图神经网络（HM-GNN）学习的异构模体图中的每个节点的特征表示。我们的异构基序图还可以实现有效的多任务学习，特别是对于小分子数据集。为了解决潜在的效率问题，我们建议使用边缘采样器，这可以显着减少计算资源的使用。实验结果表明，我们的模型始终优于以前的国家的最先进的模型。在多任务设置下，我们的方法在组合数据集上的良好表现为小分子数据集提供了一种新的学习范式。最后，我们证明了我们的模型通过使用我们的边缘采样器，以更少的计算资源实现了类似的性能。
2022-06-06 cs.LG
HeteroMILE: a Multi-Level Graph Representation Learning Framework for Heterogeneous Graphs
The Ohio State University（俄亥俄州立大学）
HeteroMILE提出一种多层级嵌入框架，通过反复粗化保留骨干结构并利用异构图卷积细化，使异构图嵌入方法能扩展到大规模图，在链路预测和节点分类上实现约20倍加速且提升嵌入质量。
2024-03-31 cs.AI cs.LG
Graph-to-Graph Transformer for Transition-based Dependency Parsing
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
我们提出了Graph2Graph Transformer架构，用于调节和预测任意图形，并将其应用于基于转换的依存句法分析的挑战性任务。在提出了两个新的Transformer模型的过渡为基础的依存句法分析作为强基线后，我们表明，添加所提出的机制，条件和预测图的Graph2Graph Transformer的结果显着改善，无论有和没有BERT预训练。新的基线及其与Graph2Graph Transformer的集成在英语Penn Treebank和13种语言的Universal Advertisements Treebanks上的性能明显优于传统的基于转换的依存句法分析。Graph2Graph Transformer可以与许多以前的结构化预测方法集成，使其易于应用于广泛的NLP任务。
2020-10-30 cs.CL cs.LG
HRGCN: Heterogeneous Graph-level Anomaly Detection with Hierarchical Relation-augmented Graph Neural Networks
University of Technology Sydney（悉尼科技大学）；Singapore Management University（新加坡管理大学）；University of Wollongong（伍伦贡大学）
针对异构图级异常检测需求，提出无监督层次关系增强异构图神经网络HRGCN，通过建模实体交互与节点、边类型学习图表示，在数据集和工业案例中均优于现有方法。
2023-08-28 cs.LG
Topology-Informed Graph Transformer
National Institute for Mathematical Sciences（数学科学研究院）；Max Planck Institute（马克斯·普朗克研究所）
本研究提出拓扑感知图Transformer，通过增强图同构判别能力与整体性能，提升图神经网络在区分同构类任务中的表现。
2026-01-08 cs.LG
Heterogeneous Similarity Graph Neural Network on Electronic Health Records
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Beihang University（北京航空航天大学）；Lehigh University（理海大学）
由于电子健康档案包含丰富的信息，因此挖掘电子健康档案成为一个很有前途的研究课题。通过从EHR中学习，可以构建机器学习模型来帮助人类专家做出医疗决策，从而提高医疗质量。近年来，许多基于序列模型或图模型的模型被提出来实现这一目标。EHR包含多个实体和关系，可以视为一个异构图。然而，以往的研究忽略了EHR的异质性。另一方面，现有的异构图神经网络不能简单地应用于EHR图，因为EHR图中存在枢纽节点，针对这一问题，本文提出了异构相似性图神经网络（HSGNN），利用一种新的异构GNN来分析EHR图。我们的框架包括两个部分：一个是预处理方法，另一个是端到端的GNN。该预处理方法对EHR图的边缘进行归一化处理，将EHR图分割成多个同构图，每个同构图包含原始EHR图的部分信息。GNN将所有同构图作为输入，并将所有同构图融合到一个图中进行预测。实验结果表明，HSGNN在诊断预测任务中优于其他基线。
2021-01-17 cs.LG
Gophormer: Ego-Graph Transformer for Node Classification
University of Notre Dame（圣母大学）；Microsoft Research（微软研究院）；Michigan State University（密歇根州立大学）；Microsoft（微软）
Transformers在包括自然语言处理和计算机视觉在内的无数领域都取得了卓越的性能。然而，当涉及到图挖掘领域时，其中图神经网络（GNN）一直是主导范式，Transformers还没有达到有竞争力的性能，特别是在节点分类任务上。现有的图Transformer模型通常在整个输入图上采用全连接注意力机制，因此存在严重的可扩展性问题，并且在数据不足的情况下难以进行训练。为了缓解这些问题，我们提出了一种新的Gophormer模型，该模型将Transformers应用于自我图而不是全图。具体而言，Node2Seq模块被提出来采样自我图作为Transformers的输入，这解决了可扩展性的挑战，并作为一种有效的数据增强技术来提高模型性能。此外，不同于vanilla Transformers中基于特征的注意策略，我们提出了一种邻近增强的注意力机制来捕获细粒度的结构偏差。为了处理自我图采样引入的不确定性，我们进一步提出了一致性正则化和多样本推理策略，分别用于稳定训练和测试。在六个基准数据集上进行了大量的实验，以证明Gophormer相对于现有的图Transformers和流行的GNN的优越性，揭示了图Transformers的光明前景。
2021-10-25 cs.LG
Triplet Interaction Improves Graph Transformers: Accurate Molecular Graph Learning with Triplet Graph Transformers
Department of Computer Science, Rensselaer Polytechnic Institute, Troy, NY, USA（理海理工学院计算机科学系）；IBM Thomas J. Watson Research Center, Yorktown Heights, NY, USA（IBM 玛丽·沃森研究中心）
针对图变换器缺乏三阶交互的问题，提出三元组图变换器（TGT），通过三元组注意力与聚合机制实现节点间直接通信，在多个分子基准及TSP上取得最先进结果。
2024-06-10 cs.LG
HiGPT: Heterogeneous Graph Language Model
Musketeers Foundation Institute of Data Science（火枪手基金会数据科学研究所）；University of Hong Kong（香港大学）；Baidu Inc.（百度公司）
针对现有异构图学习框架跨数据集泛化性弱的问题，该研究提出采用异构图指令调优范式的通用大图模型HiGPT，结合上下文令牌化器与MoT指令增强，无需下游微调即可实现强泛化性能。
2024-05-19 cs.CL cs.LG
Heterogeneous Graph Neural Network with Multi-view Representation Learning
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huazhong University of Science and Technology（华中科技大学）；Singapore Management University（新加坡管理大学）
用于异构图嵌入的图神经网络通过挖掘异构图的异构性和语义，将节点投影到低维空间中。然而，现有的异构图嵌入方法一方面对特定语义下的局部结构建模不足，或者在聚合信息时忽略了局部结构的异构性，另一方面没有综合集成多种语义的表示以获得通用的节点嵌入.为了解决这个问题，我们提出了一个异构图神经网络与多视图表示学习（MV-HetGNN）的异构图嵌入通过引入多视图表示学习的思想。该模型包括节点特征转换、视图特定的自我图编码和自动多视图融合，以彻底学习复杂的结构和语义信息，生成全面的节点表示。在三个真实世界的异构图数据集上进行的大量实验表明，所提出的MV-HetGNN模型在各种下游任务中始终优于所有最先进的GNN基线，例如，节点分类、节点聚类和链接预测。
2022-11-30 cs.AI cs.LG
Graph Attention for Heterogeneous Graphs with Positional Encoding
Harvard University（哈佛大学）
该研究基准测试了异构图上的GNN架构，发现图注意力网络在节点分类和链路预测中表现优异，并通过整合基于完整Laplacian谱的位置编码来增强节点嵌入，进一步提升下游任务性能。
2025-04-03 cs.AI cs.DM cs.LG
Pre-training with Graph Transformers
National University of Singapore（新加坡国立大学）；Loyola Marymount University（洛约拉马利蒙特大学）
本文通过实验探究生物化学领域图变换器的预训练策略，发现基于计算属性的监督预训练效果最佳，并强调限制模型容量以防过拟合。
2026-09-15 cs.LG
Graph Transformers: A Survey
School of Software, Dalian University of Technology（大连理工大学软件学院）；School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）；Institute of Innovation, Science and Sustainability, Federation University Australia（联邦大学澳大利亚创新、科学与可持续性研究所）；School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；School of Foreign Languages and School of Software Technology, Dalian University of Technology（大连理工大学外语学院和软件技术学院）
本文综述了图变换器的研究进展，探讨了其设计、应用及面临的挑战，为未来研究提供了方向。
2025-12-20 cs.AI cs.LG
A Graph VAE and Graph Transformer Approach to Generating Molecular Graphs
University of Glasgow（格拉斯哥大学）
我们提出了一个变分自编码器和一个基于Transformer的模型，它充分利用图卷积和图池层直接在图上操作的组合。Transformer模型实现了一个新的节点编码层，取代了Transformers中通常使用的位置编码，以创建一个没有位置信息的Transformer，该transformer对图形进行操作，将相邻节点的属性编码到边生成过程中。所提出的模型建立在对具有边缘特征的图进行操作的图生成工作的基础上，创建了一个模型，该模型提供了图中节点数量的改进的可扩展性。此外，我们的模型能够学习一个解纠缠的，可解释的潜在空间，通过潜在变量和图形属性之间的映射来表示图形属性。在实验中，我们选择了一个基准任务的分子生成，生成的节点和边缘功能的重要性。使用QM9数据集，我们证明了我们的模型在生成有效，独特和新颖分子的任务中表现出色。最后，我们证明了该模型是可解释的生成分子控制的分子特性，然后我们分析和可视化学习的潜在表示。
2021-04-09 cs.LG
NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；Institute of Artificial Intelligence, Huazhong University of Science and Technology（华中科技大学人工智能研究院）；Hopcroft Center on Computing Science, Huazhong University of Science and Technology（华中科技大学霍普克罗夫特计算科学中心）
提出NTFormer图Transformer，通过Node2Par生成多类型token序列全面表达图特征，无需图特定修改即可在节点分类任务上超越现有方法。
2024-06-27 cs.LG
Bridging Graph Position Encodings for Transformers with Weighted Graph-Walking Automata
University of Notre Dame（圣母大学）
本文提出基于加权图行走自动机的新图位置编码GAPE，在机器翻译和图结构任务上验证其性能并证明其能泛化多种现有PE方案，同时对图Transformer中多种PE进行了独立于边特征的理论与实验比较。
2023-04-09 cs.LG
Heterogeneous Graph Neural Networks using Self-supervised Reciprocally Contrastive Learning
Tianjin University（天津大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Alberta（阿尔伯塔大学）
针对现有异构图对比学习忽略噪声的问题，提出HGCL方法，通过双视图互惠对比机制整合属性与拓扑信息，在三个真实数据集上验证了优越性和鲁棒性。
2023-11-16 cs.LG
AGFormer: Efficient Graph Representation with Anchor-Graph Transformer
Anhui University（安徽大学）；Northwestern Polytechnical University（西北工业大学）
针对图Transformer计算成本高且对噪声敏感的问题，提出锚点图Transformer（AGFormer），通过锚点将节点间消息传递转为锚点间及锚点-节点传递，提升效率与鲁棒性，并在多个基准数据集上验证了有效性。
2023-05-12 cs.LG
BHGNN-RT: Network embedding for directed heterogeneous graphs
RIKEN Center for Brain Science（理化学研究所脑科学中心）；The University of Tokyo（东京大学）
本文提出了一种用于有向异构图的网络嵌入方法BHGNN-RT，通过双向消息传递和随机传送机制克服过平滑问题，在节点分类和无监督聚类任务中达到了最先进的性能。
2023-11-24 cs.LG
Heterogeneous Graph Alignment for Joint Reasoning and Interpretability
Department of Statistics, University of California, Irvine（统计学系，加州大学伊维特分校）；Department of Neurobiology and Behavior, University of California, Irvine（神经生物学与行为系，加州大学伊维特分校）
本文提出MGMT框架，通过元图实现异构图的联合推理与可解释性，优于现有方法并在神经科学应用中表现优异。
2026-01-30 cs.LG
DURENDAL: Graph deep learning framework for temporal heterogeneous networks
Department of Computer Science University of Milan（计算机科学系米兰大学）
本文提出DURENDAL框架，用于处理时序异构网络，通过结合快照式和多关系消息传递模型的设计原则，改进异构图学习模型，并引入新的高分辨率时序异构网络数据集进行实验验证。
2023-09-30 cs.LG
Towards Mechanistic Interpretability of Graph Transformers via Attention Graphs
Stanford University（斯坦福大学）；University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
本文提出注意力图工具，基于GNN消息传递与Transformer自注意力的数学等价性，分析图Transformer的信息流动，发现其学习结构不相关于输入图，且异质性图中不同变体可殊途同归。
2025-02-25 cs.AI cs.LG
Transformer for Graphs: An Overview from Architecture Perspective
The University of Manchester（曼彻斯特大学）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
近年来，Transformer模型在人工智能领域取得了巨大的成功，在图结构数据建模方面显示出了巨大的潜力。到目前为止，已经提出了各种各样的Transformers来适应图结构数据。然而，这些Transformer变体的全面文献综述和系统评价仍然不可用。因此，有必要对现有的图的Transformer模型进行梳理，并系统地研究它们在各种图任务上的有效性。在本调查中，我们从体系结构设计的角度对各种Graph Transformer模型进行了全面的回顾。我们首先拆解了现有的模型，并总结出三种典型的方法来将图信息融入到香草Transformer中：1）GNN作为辅助模块，2）改进的位置嵌入图，3）改进的注意力矩阵图。此外，我们实现了三组代表性的组件，并进行了全面的比较各种著名的图形数据基准，调查每个组件的实际性能增益。我们的实验证实了Transformer上当前特定于图形的模块的优点，并揭示了它们在不同类型的图形任务上的优势。
2022-02-17 cs.AI cs.LG
Heterogeneous Graph Neural Network for Privacy-Preserving Recommendation
Guangxi Normal University（广西师范大学）；Beihang University（北京航空航天大学）；Macquarie University（麦考瑞大学）
社交网络被认为是具有深度学习技术进步的异构图神经网络（HGNNs）。与同质数据相比，HGNN在训练阶段吸收了关于个人的各个方面的信息。这意味着学习结果中包含了更多的信息，特别是敏感信息。然而，同质图上的隐私保护方法仅保留相同类型的节点属性或关系，由于复杂性，不能有效地工作在异构图上。针对这一问题，提出了一种基于差分隐私机制的异构图神经网络隐私保护方法HeteDP，该方法提供了图特征和拓扑的双重保证.特别是，我们首先定义了一个新的攻击方案，以揭示隐私泄漏的异构图。具体来说，我们设计了一个两阶段的流水线框架，包括隐私保护特征编码器和基于差分隐私的梯度扰动异构链路重构器，以容忍数据多样性和抵抗攻击。为了更好地控制噪声和提高模型性能，我们利用一个双层优化模式来分配一个合适的隐私预算的上述两个模块。我们在四个公共基准测试上的实验表明，HeteDP方法具有良好的模型泛化能力，可以抵抗异构图隐私泄漏。
2022-10-09 cs.CR cs.LG
MANDO: Multi-Level Heterogeneous Graph Embeddings for Fine-Grained Detection of Smart Contract Vulnerabilities
L3S Research Center, Leibniz Universität Hannover（汉诺威莱布尼茨大学L3S研究中心）；Singapore Management University（新加坡管理大学）
学习由不同类型的节点和边组成的异构图增强了同构图技术的结果。这样的图的一个有趣的例子是控制流图表示可能的软件代码执行流。由于这种图代表了代码的更多语义信息，因此开发用于这种图的技术和工具对于检测软件中的漏洞以提高其可靠性非常有益。然而，现有的异构图技术仍然不足以处理复杂的图，其中不同类型的节点和边的数量是大的和可变的。本文集中讨论以太坊智能合约，作为由异构合约图表示的软件代码样本，这些合约图构建在包含不同类型节点和链接的控制流图和调用图上。我们提出了MANDO，一个新的异构图表示学习这种异构合同图的结构。MANDO提取定制的元路径，这些元路径组成不同类型的节点及其邻居之间的关系连接。此外，它还开发了一个多元路径异构图注意力网络，用于学习不同类型节点及其元路径在异构合约图中的多级嵌入，可以更准确地捕获智能合约的代码语义，并促进细粒度行级和粗粒度合约级漏洞检测。我们对大型智能合约数据集的广泛评估表明，MANDO在粗粒度合约级别上改善了其他技术的漏洞检测结果。更重要的是，它是第一个能够在细粒度行级别识别漏洞的基于学习的方法，并将传统的基于代码分析的漏洞检测方法的F1分数提高了11.35%至70.81%。
2022-09-07 cs.LG cs.SE
A Survey on Structure-Preserving Graph Transformers
The Catholic University of Korea（韩国天主教大学）
本文针对现有图结构保持策略缺乏体系化梳理的问题，对结构保持型图Transformer展开全面综述，按设计目标将策略分为四大类并细分，同时探讨了相关挑战与未来方向。
2024-01-29 cs.AI cs.LG
Scaling Graph Transformers: A Comparative Study of Sparse and Dense Attention
Technical University of Munich（慕尼黑技术大学）
针对传统图神经网络难以捕获节点长程依赖的问题，本文比较图Transformer中密集与稀疏两种注意力机制的权衡及适用场景，概述其设计挑战，为图Transformer的扩展提供参考。
2025-08-24 cs.AI cs.LG
