Graph External Attention Enhanced Transformer
Shanxi University(山西大学);School of Computer and Information Technology, Shanxi University(山西大学计算机与信息技术学院)
针对现有图Transformer忽略图间相关性的问题,提出图外部注意力(GEA)机制及GEAET架构,整合局部结构与全局交互,在基准数据集上取得最先进性能。
2024-06-03 cs.LG
Graph Collaborative Attention Network for Link Prediction in Knowledge Graphs
VNUHCM - University of Science(胡志明市国家大学-科技大学)
本文针对知识图谱链接预测任务,在对比传统规则方法与深度学习方法、分析KBGAT模型的基础上,提出增强异构节点上下文聚合交互的GCAT模型,在四个基准数据集上取得更优性能,验证了注意力架构在知识图谱补全中的优势。
2025-07-30 cs.LG
Neural Message-Passing on Attention Graphs for Hallucination Detection
研究大语言模型幻觉检测问题,提出CHARM方法,将其视为图学习任务,通过在属性图上应用图神经网络解决,实验证明该方法优于其他方法,揭示图结构作用,展现跨数据集转移的零样本性能。
2026-07-28 cs.LG
Not All Neighbors Are Worth Attending to: Graph Selective Attention Networks for Semi-supervised Learning
Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Nanyang Technological University(南洋理工大学)
图形注意力网络(GAT)是分析各种真实场景中图形数据的强大工具。为了学习下游任务的表示,GAT通常在聚合特征时关注中心节点的所有邻居。在本文中,我们表明,很大一部分的邻居是无关的中心节点在许多现实世界的图,可以排除邻居聚合。以此为线索,我们提出了选择性注意(SA)和一系列新的注意力机制的图神经网络(GNNs)。SA利用各种形式的可学习的节点-节点相异性来获取每个节点的关注范围,从中排除不相关的邻居。我们进一步提出了图选择性注意网络(SAT)来学习表示从高度相关的节点特征识别和不同的SA机制进行调查。最后,对所提出的SAT的表达能力进行了理论分析,并对SAT在挑战现实世界的数据集上与最先进的GNN进行了全面的实证研究,以证明SAT的有效性。
2022-10-28 cs.LG
Hyperbolic Heterogeneous Graph Attention Networks
Chungnam National University(忠南大学)
针对欧氏空间表示异构图易失真的问题,提出结合元路径实例在双曲空间学习表示的HHGAT模型,在三个真实数据集的节点分类、聚类任务上性能超越现有最优模型。
2024-04-15 cs.LG
SFi-Former: Sparse Flow Induced Attention for Graph Transformer
Harbin Institute of Technology(哈尔滨工业大学)
提出SFi-Former,通过最小化基于l1范数正则化网络流的能量函数学习稀疏注意力模式,缓解图Transformer密集注意力导致的过拟合等问题,在长程依赖图数据集上达到SOTA性能。
2025-04-29 cs.LG
HopFormer: Sparse Graph Transformers with Explicit Receptive Field Control
University of California, Irvine(加州大学欧文分校)
HopFormer通过n跳掩码稀疏注意力实现图结构的显式感受野控制,无需位置编码或架构修改,从而在多种图结构上实现高效且稳定的性能。
2026-02-02 cs.LG
Learning Conjoint Attentions for Graph Neural Nets
Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(新加坡科技研究局)
在本文中,我们提出了联合注意力(CA),一类新的学习参加图神经网络(GNNs)的战略。除了考虑在GNN内传播的逐层节点特征外,CA还可以在计算注意力分数时结合各种结构干预,例如节点簇嵌入和可以在GNN外部学习的高阶结构相关性。因此,被联合标准视为重要的节点特征更有可能在GNN中传播。鉴于新的联合注意力策略,我们提出了图联合注意力网络(CAT),它可以学习嵌入有联合注意力所认为的重要潜在特征的表示。此外,我们从理论上验证了CAT的辨别能力。利用所提出的联合注意力策略的CAT已经在成熟的基准数据集中进行了广泛的测试,并与最先进的基线进行了全面的比较。所获得的显着性能证明了所提出的联合注意力的有效性。
2021-12-13 cs.LG
LightTopoGAT: Enhancing Graph Attention Networks with Topological Features for Efficient Graph Classification
Indira Gandhi National Open University (IGNOU)(英迪拉·甘地国立开放大学(IGNOU))
LightTopoGAT通过引入拓扑特征增强图注意力网络,提升图分类性能,实现轻量高效模型
2025-12-15 cs.LG
SGAT: Simplicial Graph Attention Network
Nanyang Technological University(南洋理工大学)
异构图具有多个节点和边类型,并且比同构图在语义上更丰富。为了学习这种复杂的语义,许多用于异构图的图神经网络方法使用元路径来捕获节点之间的多跳交互。通常,来自非目标节点的特征不被并入学习过程中。然而,可能存在涉及多个节点或边的非线性高阶相互作用。在本文中,我们提出了单纯形图注意力网络(SGAT),单纯复杂的方法来表示这种高阶的相互作用,将功能从非目标节点上的简单。然后,我们使用注意力机制和上邻接生成表示。我们经验证明了我们的方法与异构图数据集上的节点分类任务的有效性,并进一步显示SGAT的能力,通过采用随机节点特征提取结构信息。数值实验表明,SGAT性能优于其他当前最先进的异构图学习方法。
2022-07-24 cs.LG
Attn-JGNN: Attention Enhanced Join-Graph Neural Networks
Key Labroatory of Symbolic Computation and Knowledge Engineering of Ministry of Education(符号计算与知识工程教育部重点实验室);Jilin University(吉林大学);Knowledge Engineering of Ministry of Education(知识工程教育部);Changchun, 130012, China(长春,130012,中国)
Attn-JGNN通过引入注意力机制提升连接图神经网络在#SAT问题中的求解精度和效率。
2026-01-14 cs.LG
Towards Mechanistic Interpretability of Graph Transformers via Attention Graphs
Stanford University(斯坦福大学);University of Oxford(牛津大学);University of Cambridge(剑桥大学)
本文提出注意力图工具,基于GNN消息传递与Transformer自注意力的数学等价性,分析图Transformer的信息流动,发现其学习结构不相关于输入图,且异质性图中不同变体可殊途同归。
2025-02-25 cs.AI cs.LG
On Classification Thresholds for Graph Attention with Edge Features
University of Waterloo(滑铁卢大学);Google Waterloo(谷歌滑铁卢);Google Research(谷歌研究院)
近年来,我们已经看到了图神经网络的兴起,用于图上的预测任务。其中一个主要的架构是图形注意力,因为它能够使用加权边缘特征而不仅仅是节点特征进行预测。在本文中,我们分析,理论和经验,图形注意力网络和他们的能力,正确标记节点在一个经典的分类任务。更具体地说,我们研究了经典的上下文随机块模型(CSBM)上的图形注意的性能。在CSBM中,节点和边缘特征是从高斯和随机块模型的边缘的混合中获得的。我们考虑一个一般的图注意力机制,随机边缘特征作为输入,以确定注意系数。我们研究了两种情况,在第一种情况下,当边缘特征有噪声时,我们证明了大多数的注意力系数是一个常数均匀。这使我们能够证明,具有边缘特征的图注意力并不比简单的图卷积更好地实现完美的节点分类。其次,我们证明了当边缘特征是干净的图注意力可以区分内部和内部边缘,这使得图注意力优于经典的图卷积。
2022-10-18 cs.AI cs.LG
Scaling Graph Transformers: A Comparative Study of Sparse and Dense Attention
Technical University of Munich(慕尼黑技术大学)
针对传统图神经网络难以捕获节点长程依赖的问题,本文比较图Transformer中密集与稀疏两种注意力机制的权衡及适用场景,概述其设计挑战,为图Transformer的扩展提供参考。
2025-08-24 cs.AI cs.LG
Quantum Graph Attention Networks: Trainable Quantum Encoders for Inductive Graph Learning
Pasqal NL
本文提出量子图注意力网络(QGATs),通过参数化量子电路和量子注意力机制编码图结构,实验证明其在QM9数据集上能提升预测性能,尤其在大型分子图上表现优异。
2025-09-14 cs.LG quant-ph
Adaptive Multi-Neighborhood Attention based Transformer for Graph Representation Learning
Huazhong University of Science and Technology(华中科技大学)
通过将图的结构信息融入到Transformers中,图Transformers近年来在图表示学习方面表现出了良好的性能。现有的图Transformers利用特定的策略,例如节点对的拉普拉斯特征向量和最短路径,来保留节点的结构特征,并将它们馈送到普通的Transformer中以学习节点的表示。对于拓扑结构变化较大的任意图,这种预定义的规则很难提取信息丰富的图结构特征,限制了模型的学习能力。为此,我们提出了一个自适应图Transformer,称为多邻域注意基于图Transformer(MNA-GT),它捕获的多邻域注意力机制自适应的每个节点的图结构信息。MNA-GT通过将执行缩放点积的输入定义为注意力核,基于邻域的不同跳数构造多个注意力核,使得每个注意力核可以捕获每个节点对的对应邻域的特定图结构信息。通过这种方式,MNA-GT可以通过合并由不同注意力核学习的节点表示来有效地保留图的结构信息。MNA-GT还采用注意力层来学习不同注意力核的重要性,以使模型能够自适应地捕获不同节点的图结构信息。在各种图基准上进行了大量的实验,实证结果表明,MNA-GT优于许多强基线。
2022-11-15 cs.LG cs.SI
Graph Decoupling Attention Markov Networks for Semi-supervised Graph Node Classification
Fudan University(复旦大学);University of Sydney(悉尼大学)
图神经网络(GNN)在图节点分类任务中已经普遍存在。大多数GNN方法通过聚集其邻居的信息来迭代地更新节点嵌入。然而,他们经常遭受负面的干扰,由于边缘连接节点与不同的标签。减轻这种负面干扰的一种方法是使用注意力来学习聚合的权重,但目前基于注意力的GNN只考虑特征相似性,并且缺乏监督。在本文中,我们考虑了图节点的标签依赖,并提出了一个解耦的注意力机制学习硬和软的注意力。通过对具有较少类间边的精细图结构的标签学习硬注意力,从而减少聚集的负干扰。软注意力的目的是学习基于特征的聚合权重,以增强消息传递过程中的信息增益。特别是,我们制定我们的模型下EM框架,学习的注意是用来指导标签传播的M-步骤和特征传播的E-步骤,分别。在六个著名的基准图数据集上进行了大量的实验,以验证所提出的方法的有效性。
2022-02-01 cs.AI cs.LG
Bi-Level Attention Graph Neural Networks
University of California, Los Angeles(加州大学洛杉矶分校)
针对异构图中节点级与关系级注意力难以联合建模且关系依赖被忽视的问题,提出BA-GNN,利用局部邻域上下文分层建模两类交互,并在七个真实数据集上验证其优越性能与注意力可迁移性。
2023-04-23 cs.IR cs.LG
k-Maximum Inner Product Attention for Graph Transformers and the Expressive Power of GraphGPS
Stanford University(斯坦福大学);University of Oxford(牛津大学)
针对图Transformer全连接注意力复杂度高的问题,提出k-MIP稀疏注意力机制,实现线性复杂度与量级加速且不损失表达性,还分析了GraphGPS的表达上界,在多基准上验证了其优异性能。
2026-04-07 cs.AI cs.LG
Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification
Georgia Institute of Technology(佐治亚理工学院);IQVIA(艾昆纬);University of Illinois, Urbana-Champagne(伊利诺伊大学厄巴纳-香槟分校)
注意力机制在图神经网络(GNN)中的节点上的推理表现出优越的性能,然而,它们在训练和推理期间都导致高计算负担。我们提出了FastGAT,这是一种通过使用频谱稀疏化来生成输入图的最佳修剪来使基于注意力的GNNs轻量化的方法。这导致每纪元时间在图节点的数量上几乎是线性的,而不是二次的。我们从理论上证明,频谱稀疏保留的GAT模型计算的功能,从而证明我们的算法。我们实验评估FastGAT在几个大的真实世界的图形数据集的节点分类任务下的归纳和转换设置。FastGAT可以显著减少(高达\textbf{10x})计算时间和内存需求,允许在大型图上使用基于注意力的GNN。
2020-10-05 cs.LG stat.ML
Towards Deep Attention in Graph Neural Networks: Problems and Remedies
KAIST(韩国科学技术院);Carnegie Mellon University(卡内基梅隆大学)
本文针对深度图注意力中的特征过平滑与累积注意力平滑问题,提出AERO-GNN架构,并在最多64层及12个节点分类基准中的9个上验证其性能优势。
2023-06-04 cs.AI cs.LG
Tailoring Self-Attention for Graph via Rooted Subtrees
Shanghai Jiaotong University(上海交通大学)
针对现有图注意力机制长程信息捕获不足或局部细粒度信息缺失的问题,提出基于有根子树的多跳子树注意力STA及高效形式,构建STAGNN模型,在10个节点分类任务上性能优于现有图Transformer和主流GNN。
2023-10-08 cs.AI cs.LG
GraphTARIF: Linear Graph Transformer with Augmented Rank and Improved Focus
Zhejiang University(浙江大学);United Arab Emirates University(阿联酋大学)
GraphTARIF通过增强注意力的秩和焦点,改进了图变换器的表达能力,从而在保持线性时间复杂度的同时提升了分类性能。
2026-01-28 cs.CV cs.LG
Cluster Attention for Graph Machine Learning
HSE University(高等经济学院);Yandex Research(Yandex研究院)
本文提出集群注意力机制CLATT,通过将图节点划分为集群并让每个节点关注集群内其他节点,扩大感受野同时保持图结构归纳偏置,提升图神经网络和图变压器在多种图数据集上的性能。
2026-08-10 cs.AI cs.LG
SignGT: Signed Attention-based Graph Transformer for Graph Representation Learning
Huazhong University of Science and Technology(华中科技大学);Cornell University(康奈尔大学)
提出基于符号注意力的图Transformer(SignGT),通过符号自注意力机制捕获高低频信息,并引入结构感知前馈网络保留局部拓扑,在节点级和图级任务上超越现有图Transformer和GNN。
2023-10-17 cs.LG cs.SI
Supervised Attention Using Homophily in Graph Neural Networks
École Polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院)
针对GAT聚合异类别邻居导致表示分离不足的问题,提出一种可嵌入任意图注意力模型的同质性监督注意力技术,并在多个节点分类数据集上验证其优于基线。
2023-07-15 cs.LG cs.SI
FairGAT: Fairness-aware Graph Attention Networks
University of California, Irvine(加州大学欧文分校)
图形可以方便地建模各种复杂系统,如基因网络和电网,以及分析它们之间的潜在关系。图上的学习最近吸引了越来越多的关注,特别是基于图神经网络(GNN)的解决方案,其中图注意力网络(GAT)已经成为用于基于图的任务的最广泛使用的神经网络结构之一。虽然有研究表明,在学习过程中使用图结构会导致算法偏见的放大,但GAT中的注意设计对算法偏见的影响还没有研究。基于此,本研究首先进行了理论分析,以证明算法偏见在基于GAT的学习节点分类的来源。然后,一种新的算法,FairGAT,利用公平意识的注意设计的理论研究结果的基础上开发。在真实网络上的实验结果表明,FairGAT提高了组公平性措施,同时也提供了相当的效用,节点分类和链接预测的公平性感知基线。
2023-03-26 cs.CY cs.LG
Sparse Graph Attention Networks
Georgia State University(佐治亚州立大学)
图神经网络(GNN)已被证明是图结构数据的有效表示学习框架,并且在许多实际预测任务(例如节点分类、链接预测和图分类)上实现了最先进的性能。在GNN的变体中,图注意力网络(GAT)学习在节点的所有邻居上分配密集的注意力系数以进行特征聚合,并提高许多图学习任务的性能。然而,现实世界的图通常非常大,而且有噪声,如果没有适当地正则化,GAT很容易过拟合。更糟糕的是,GAT的局部聚合机制可能会在区分图上失败,其中局部邻域内的节点提供更多的噪声而不是用于特征聚合的有用信息。在本文中,我们提出了稀疏图注意力网络(SGAT),它在$L_0$范数正则化下学习稀疏注意力系数,然后将学习到的稀疏注意力用于所有GNN层,从而产生边缘稀疏图。通过这样做,我们可以识别噪声/任务无关的边缘,从而对大多数信息丰富的邻居进行特征聚合。在合成和真实世界的图学习基准上进行的大量实验证明了SGAT的优越性能。特别地,SGAT可以在保持相似分类精度的情况下,从大的平行图中去除约50%~ 80%的边.在离散图上,SGAT修剪了大多数噪声边缘,并在分类精度上显著优于GAT。此外,去除的边缘可以直观和定量地解释。据我们所知,这是第一个图学习算法,显示显着的冗余图和边缘稀疏图可以实现类似的或有时更高的预测性能比原来的图。
2021-04-11 cs.LG stat.ML
Multi-hop Attention Graph Neural Network
JD AI Research(京东人工智能研究院);Stanford University(斯坦福大学)
图神经网络的自注意机制在许多图表示学习任务上具有最先进的性能。目前,在每一层,注意力都是在连接的节点对之间计算的,并且仅仅取决于两个节点的表示。然而,这种注意力机制不考虑不直接连接但提供重要网络上下文的节点。在这里,我们提出了多跳注意力图神经网络(MAGNA),一个原则性的方法,将多跳上下文信息到每一层的注意力计算。MAGNA将注意力分数扩散到整个网络,从而增加GNN每一层的感受野。与以前的方法不同,MAGNA使用注意力值的扩散先验,以有效地解释断开连接的节点对之间的所有路径。我们在理论和实验中证明,MAGNA捕获大规模的结构信息,在每一层,并具有低通效应,消除噪声的高频信息从图形数据。节点分类以及知识图谱完成基准测试的实验结果表明,MAGNA实现了最先进的结果:MAGNA实现了高达5.7%的相对错误减少比以前的最先进的Cora,Citeseer和Pubmed。MAGNA还在大规模Open Graph Benchmark数据集上获得了最佳性能。在知识图谱完成方面,MAGNA在WN 18 RR和FB 15 k-237上的四个不同性能指标上都达到了最先进的水平。
2021-08-25 cs.LG stat.ML
DAGCN: Dual Attention Graph Convolutional Networks
University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学)
图卷积网络(GCN)最近已经成为众多应用中用于图分析任务的最强大的工具之一,范围从社交网络和自然语言处理到生物信息学和化学信息学,这要归功于它们捕获概念之间复杂关系的能力。目前,绝大多数GCN使用邻域聚合框架来学习连续且紧凑的向量,然后执行池化操作来概括分类任务的图嵌入。这些方法在图分类任务中具有两个缺点:(1)当仅最大的子图结构($k$ -跳邻居)用于邻域聚合时,在图卷积步骤期间丢失了大量的早期信息;(2)利用简单的平均/总和池化或最大池化,这丢失了每个节点的特征和节点之间的拓扑。在本文中,我们提出了一种新的框架,称为双注意力图卷积网络(DAGCN)来解决这些问题。DAGCN使用新的注意力图卷积层自动学习不同跳处的邻居的重要性,然后采用第二个注意力组件,即自注意力池层,从矩阵图嵌入的各个方面概括图表示。双注意力网络以端到端的方式训练用于图分类任务。我们将我们的模型与最先进的图内核和其他深度学习方法进行比较。实验结果表明,我们的框架不仅优于其他基线,但也取得了更好的收敛速度。
2019-04-04 cs.LG stat.ML
Robust Hierarchical Graph Classification with Subgraph Attention
IBM Research AI(IBM 人工智能研究院);Indian Institute of Science(印度科学理工学院)
图神经网络在机器学习领域的图表示和分类方面得到了广泛的关注。将注意力机制应用于节点的邻域,提高了图神经网络的性能。通常,它有助于识别起更重要作用的邻居节点,以确定所考虑的节点的标签。但在现实世界的场景中,节点的特定子集在一起,而不是子集中的个体对,可能对确定图的标签很重要。为了解决这个问题,我们引入了子图注意力的概念。另一方面,分层图池已被证明是有前途的,在最近的文献。但由于现实世界图的噪声层次结构,并不是所有的层次图分类发挥同等的作用。为此,我们提出了一个图分类算法SubGattPool,共同学习子图的注意力,并采用两种不同类型的层次注意力机制,以找到重要的节点层次结构和个别层次结构的重要性在一个图。不同类型的图分类算法的实验评估表明,SubGattPool能够提高最先进的技术水平或在多个公开可用的图分类数据集上保持竞争力。我们在合成和真实世界的图数据集上进行了进一步的实验,以证明SubGattPool不同组件的有用性,并显示其在其他下游任务上的一致性能。
2020-07-19 cs.LG cs.SI
Attention-Based Recommendation On Graphs
图神经网络(GNN)在不同的任务中表现出了卓越的性能。然而,目前关于GNN在推荐系统上的研究还很少。GCN作为GNN的一种类型,可以为图中的不同实体提取高质量的嵌入。在协同过滤任务中,核心问题是找出实体对预测目标用户未来行为的信息量。使用注意力机制,当底层数据被建模为图时,我们可以使GCN能够进行这样的分析。在这项研究中,我们提出了GARec作为一个基于模型的推荐系统,它应用了一个注意力机制以及一个空间GCN的推荐图,以提取嵌入的用户和项目。注意力机制告诉GCN一个相关的用户或项目应该在多大程度上影响目标实体的最终表示。我们比较的性能GARec对一些基线算法的RMSE。该方法在不同的MovieLens数据集上优于现有的基于模型的非图神经网络和图神经网络。
2022-01-04 cs.IR cs.LG
Co-attention Graph Pooling for Efficient Pairwise Graph Interaction Learning
Korea University(高丽大学);LG AI Research(LG人工智能研究院);Korea University College of Medicine(高丽大学医学院)
提出CAGPool方法,通过图池化中的协同注意力在图级别高效提取图对交互表示,降低计算复杂度并在分类和回归任务中保持竞争性能。
2023-07-28 cs.AI cs.LG
GSTAM: Efficient Graph Distillation with Structural Attention-Matching
University of Toronto(多伦多大学);National University of Singapore(新加坡国立大学)
本文提出GSTAM方法,通过结构注意力匹配机制将GNN关注的关键图结构信息蒸馏到合成图中,用于图分类数据集压缩,在极端压缩比下性能优于现有方法0.45%至6.5%。
2024-08-29 cs.AI cs.LG
Improving Attention Mechanism in Graph Neural Networks via Cardinality Preservation
The Graduate Center, The City University of New York(纽约市立大学研究生中心);Hunter College, The City University of New York(纽约市立大学亨特学院)
图神经网络(GNN)在学习图结构数据的表示方面非常强大。大多数GNN使用消息传递方案,其中节点的嵌入通过聚合其邻居的信息来迭代更新。为了更好地表达节点的影响力,注意力机制已经变得流行,以向聚合中的节点分配可训练的权重。虽然基于注意力的GNN在各种任务中取得了显着的成果,但人们对其辨别能力缺乏清晰的认识。在这项工作中,我们提出了一个理论分析的GNN,采用注意力机制作为聚合器的代表性的属性。我们的分析确定了那些基于注意力的GNN总是无法区分某些不同结构的所有情况。这些情况的出现是由于忽视了基于注意力的聚合中的基数信息。为了提高基于注意力的GNNs的性能,我们提出了基数保持注意力(CPA)模型,可以应用于任何类型的注意力机制。我们对节点和图分类的实验证实了我们的理论分析,并显示了我们的CPA模型的竞争力。
2020-05-04 cs.LG stat.ML
Knowledge Graph Embedding using Graph Convolutional Networks with Relation-Aware Attention
IBM Research - Almaden(IBM阿尔马登研究中心);IBM Research - Zurich(IBM苏黎世研究中心)
知识图谱嵌入方法学习低维空间中的实体和关系的嵌入,其可用于各种下游机器学习任务,诸如链接预测和实体匹配。已经提出了各种图卷积网络方法,其使用不同类型的信息来学习实体和关系的特征。然而,这些方法在聚合信息时为邻居分配相同的权重(重要性),忽略了与邻居实体的不同关系的作用。为此,我们提出了一个关系感知的图注意力模型,利用关系信息来计算不同的权重到相邻节点学习嵌入的实体和关系。我们评估我们提出的方法上的链接预测和实体匹配任务。我们在三个数据集(一个专有数据集和两个公共数据集)上的链接预测实验结果和在一个专有数据集上的无监督实体匹配实验结果证明了关系感知注意的有效性。
2021-02-14 cs.AI cs.LG
Edge-Featured Graph Attention Network
School of Software(软件学院);Shanghai Jiao Tong University(上海交通大学)
已经提出了许多神经网络架构来处理图结构数据上的学习任务。然而,这些模型中的大多数在学习过程中只关注节点特征。边缘特征通常起着与节点相似的重要作用,但这些模型往往忽略或简化了边缘特征。在本文中,我们提出了边特征图注意力网络,即EGAT,将图神经网络的使用扩展到具有节点和边特征的图上的学习任务。这些模型可以看作是图注意力网络(GATs)的扩展。通过改革模型结构和学习过程,新模型可以接受节点和边特征作为输入,将边信息纳入特征表示中,并以并行但相互的方式迭代节点和边特征。结果表明,我们的工作是非常有竞争力的其他节点分类方法,可以很好地应用于边特征图学习任务。
2021-01-19 cs.AI cs.LG
How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision
KAIST(韩国科学技术院)
图神经网络中的注意力机制被设计为向重要的邻居节点分配更大的权重以更好地表示。然而,图形注意力学习的是什么还没有很好地理解,特别是当图形是嘈杂的。在本文中,我们提出了一个自监督图注意力网络(SuperGAT),一个改进的图注意力模型的噪声图。具体来说,我们利用两个注意力形式兼容的自我监督任务来预测边缘,其存在和不存在包含的固有信息的重要性节点之间的关系。通过对边进行编码,SuperGAT在区分错误链接的邻居时学习到更多的表达注意力。我们发现两个图形特征影响注意形式和自我监督的有效性:同质性和平均度。因此,我们的配方提供了指导,当这两个图形特征已知时,使用哪种注意力设计。我们在17个真实数据集上的实验表明,我们的配方可以推广到其中的15个数据集,并且我们通过配方设计的模型显示出比基线更好的性能。
2022-04-11 cs.AI cs.LG cs.SI
Wind Park Power Prediction: Attention-Based Graph Networks and Deep Learning to Capture Wake Losses
University of Oslo(奥斯陆大学);Institute for Energy Systems(能源系统研究所)
随着风能向电网渗透的增加,能够预测大型风电场的预期发电量变得越来越重要。深度学习(DL)模型可以学习数据中的复杂模式,并在预测尾流损失和预期发电量方面取得了广泛的成功。提出了一种基于注意力的图神经网络(GNN)的模块化框架,其中注意力可以应用于图块的任何期望组件。结果表明,该模型的性能明显优于多层感知器(MLP)和双向LSTM(BLSTM)模型,同时提供与普通GNN模型相当的性能。此外,我们认为,所提出的图形注意力架构可以很容易地适应不同的应用程序,通过提供灵活性到所需的注意力操作,这可能取决于具体的应用程序。通过对注意力权重的分析,表明采用基于注意力的GNN可以深入了解模型的学习内容。特别是,注意力网络似乎意识到涡轮机的依赖性,这与一些关于尾流损失的物理直觉一致。
2022-06-06 cs.AI cs.LG
Exploring the Global-to-Local Attention Scheme in Graph Transformers: An Empirical Study
School of Computer Science and Engineering(计算机科学与工程学院)
G2LFormer通过全局到局部注意力机制提升图变换器性能,结合注意力与GNN模块,缓解信息丢失并保持线性复杂度。
2026-02-03 cs.AI cs.LG
PiNet: Attention Pooling for Graph Classification
University College London(伦敦大学学院)
我们提出了PiNet,一个通用的可微分注意力池机制,利用图卷积操作进行图级分类。我们展示了高样本效率和优于其他图神经网络的性能,在区分同构图类,以及竞争力的结果与最先进的方法对标准的化学信息学数据集。
2020-08-11 cs.CV cs.LG stat.ML
Understanding Attention and Generalization in Graph Neural Networks
University of Guelph(圭尔夫大学);Vector Institute(向量研究所);SRI International(斯坦福国际研究院)
我们的目标是更好地理解图神经网络(GNNs)中节点的注意力,并确定影响其有效性的因素。我们特别关注注意力GNN推广到更大,更复杂或噪声图的能力。受图同构网络工作的启发,我们设计了简单的图推理任务,使我们能够在受控环境中研究注意力。我们发现,在典型的条件下,注意力的影响是可以忽略不计的,甚至是有害的,但在某些条件下,它提供了一个特殊的性能增益超过60%,在我们的一些分类任务。在实践中满足这些条件是具有挑战性的,往往需要最佳的初始化或监督训练的注意力。我们提出了一个替代的配方和训练注意力在弱监督的方式,接近监督模型的性能,并与无监督模型相比,提高了几个合成以及真实数据集的结果。源代码和数据集可在https://github.com/bknyaz/graph_attention_pool上获得。
2019-10-28 cs.AI cs.LG stat.ML
Spectral Graph Attention Network with Fast Eigen-approximation
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);University of California at Berkeley(加州大学伯克利分校);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
用于表示学习的图神经网络(GNNs)的变体近年来被提出并在各个领域取得了丰硕的成果。其中,图注意力网络(GAT)首先采用自注意策略来学习空间域中每条边的注意力权重。然而,学习边上的注意力只能关注图的局部信息,大大增加了计算成本。在本文中,我们首先介绍了注意力机制在频谱域的图和频谱图注意力网络(SpGAT),学习表示不同的频率分量的加权滤波器和图形小波基。通过这种方式,SpGAT可以更好地捕捉全局模式的图形在一个有效的方式与少得多的学习参数比GAT。此外,为了减少由特征分解带来的SpGAT的计算成本,我们提出了一种快速近似变体SpGAT-Cheby。我们彻底评估了SpGAT和SpGAT-Cheby在半监督节点分类任务中的性能,并验证了在谱域中学习注意力的有效性。
2021-07-27 cs.LG cs.SI stat.ML
A Bird's-Eye Tutorial of Graph Attention Architectures
Emory University(埃默里大学)
图神经网络(GNN)在解决图结构问题方面表现出了巨大的进步,特别是在自然语言处理、计算机视觉和推荐系统领域。受Transformer架构成功的启发,关于GNN的注意力变体的工作越来越多,试图在许多这些问题中推进最先进的技术。将“注意力”引入图挖掘被认为是克服图结构数据的噪声、异质性和复杂性以及编码软归纳偏差的一种方法。因此,从鸟瞰图研究这些变体以评估其优点和缺点是至关重要和有利的。我们提供了一个系统的和集中的教程,围绕基于注意力的GNN,希望有利于研究人员处理图结构的问题。我们的教程从注意力函数的角度来看GNN变体,并迭代地构建读者对不同图形注意力变体的理解。
2022-06-06 cs.AI cs.CL cs.LG
GraphSpeech: Syntax-Aware Graph Attention Network For Neural Speech Synthesis
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
基于注意力的端到端文本到语音合成(TTS)在许多方面优于传统的统计方法。基于transformer的TTS就是这样一种成功的实现。虽然Transformer TTS很好地利用自注意机制对语音帧序列进行建模,但它没有从句子级别的句法角度将输入文本与输出话语相关联。我们提出了一种新的神经TTS模型,表示为GraphSpeech,这是制定下图神经网络框架。GraphSpeech对句子中输入词汇标记的句法关系进行显式编码,并结合这些信息来导出TTS注意力机制的句法动机字符嵌入。实验表明,GraphSpeech在语音的频谱和韵律渲染方面始终优于Transformer TTS基线。
2021-03-26 cs.LG cs.SD eess.AS
Dynamic Graph Representation Learning via Self-Attention Networks
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Visa Research(Visa研究院)
学习图中节点的潜在表示是一项重要且普遍存在的任务,具有广泛的应用,例如链接预测,节点分类和图可视化。以往的图表示学习方法主要集中在静态图上,然而,许多现实世界的图是动态的,并随着时间的推移而演变。在本文中,我们提出了动态自注意力网络(DySAT),一种新的神经架构,操作动态图和学习节点表示,捕捉结构特性和时间演化模式。具体来说,DySAT通过沿两个维度联合采用自注意力层来计算节点表示:结构邻域和时间动态。我们进行链接预测实验两类图:通信网络和二分评级网络。我们的实验结果表明,DySAT在几个不同的最先进的图嵌入基线上具有显着的性能增益。
2019-06-15 cs.LG cs.SI stat.ML
Causal-Based Supervision of Attention in Graph Neural Network: A Better and Simpler Choice towards Powerful Attention
Southern University of Science and Technology(南方科技大学);Microsoft Research Asia(微软亚洲研究院)
针对基于注意力的图神经网络因缺乏直接监督在含噪图上鲁棒性差的问题,提出利用因果效应监督注意力学习的即插即用框架,可加速收敛、提升性能。
2023-07-18 cs.AI cs.CY cs.LG
PPDiff: Diffusing in Hybrid Sequence-Structure Space for Protein-Protein Complex Design
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);NEC Laboratories America(日本电报电话公司美洲实验室)
提出非自回归扩散模型 PPDiff,联合设计任意蛋白靶点的结合蛋白序列与结构,在数据集 PPBench 预训练及两项实际应用微调中成功率超越基线。
2025-10-31 cs.CE cs.LG
Path-Aware Graph Attention for HD Maps in Motion Prediction
QCraft Inc(QCraft公司)
自动驾驶运动预测的成功依赖于高清地图信息的整合。由于地图是自然的图形结构,近年来对用于编码HD地图的图神经网络(GNN)的研究正在蓬勃发展。然而,与直接部署GNN的许多其他应用程序不同,HD地图是异构图,其中顶点(车道)由各种性质的边缘(车道-车道交互关系)连接,并且大多数基于图的模型并没有设计用于理解各种边缘类型,这些边缘类型为预测智能体将如何行驶车道提供关键线索。为了克服这一挑战,我们提出了路径感知图注意力,一种新的注意力架构,通过解析形成连接它们的路径的边缘序列来推断两个顶点之间的注意力。我们的分析说明了所提出的注意力机制如何促进学习的教学问题,现有的图形网络,如GCN的斗争。通过改进地图编码,该模型在Argoverse运动预测数据集上超越了先前的最新技术水平,并在2021年Argoverse运动预测竞赛中获得第一名。
2022-02-23 cs.AI cs.LG cs.RO
Meta Graph Attention on Heterogeneous Graph with Node-Edge Co-evolution
Didi Chuxing(滴滴出行)
图神经网络已成为结构化数据建模的重要工具。在许多现实世界的系统中,可能存在复杂的隐藏信息,例如,节点/边的异质性、静态节点/边属性和时空节点/边特征。然而,大多数现有的方法只考虑了部分信息。在本文中,我们提出了协同进化的Meta图神经网络(CoMGNN),它适用于元图注意异构图的节点和边缘状态的协同进化。我们进一步提出了一个时空适应的CoMGNN(ST-CoMGNN)的节点和边缘的时空模式建模。我们在两个大规模的真实世界数据集上进行了实验。实验结果表明,我们的模型显着优于国家的最先进的方法,从不同方面的编码不同的信息的有效性。
2020-10-09 cs.LG cs.SI stat.ML
Attentional Multilabel Learning over Graphs: A Message Passing Approach
Applied AI Institute, Deakin University(迪肯大学应用人工智能研究所)
我们解决了一个很大程度上开放的问题,多标签分类图。与传统的向量输入不同,图具有丰富的可变大小的子结构,这些子结构在某些方面与标签相关。我们相信,揭示这些关系可能是分类性能和可解释性的关键。我们引入GAML(图注意力多标签学习),一种新的图神经网络,可以有效地处理这个问题。GAML将标签视为辅助节点,并结合输入图对其进行建模。通过对标签节点和输入节点迭代地应用消息传递和注意力机制,GAML可以在各种分辨率下捕获标签和输入子图之间的关系。此外,我们的模型可以利用显式标签依赖性。由于我们提出的分层注意力,它还与标签数量和图大小呈线性关系。我们评估GAML的一组广泛的实验与图形结构的输入和经典的非结构化输入。结果表明,GAML显著优于其他竞争方法。重要的是,GAML可以实现直观的可视化,以便更好地理解标签-子结构关系和解释模型行为。
2018-04-11 cs.AI cs.LG stat.ML
Enhancing Graph Representation Learning with Attention-Driven Spiking Neural Networks
Tsinghua University(清华大学)
本文提出将注意力机制与脉冲神经网络相结合以改善图表示学习,使模型能选择性地聚焦重要节点及特征,在多个基准数据集上取得了与现有技术相当的性能。
2024-03-25 cs.AI cs.LG cs.NE
Graph Attention for Heterogeneous Graphs with Positional Encoding
Harvard University(哈佛大学)
该研究基准测试了异构图上的GNN架构,发现图注意力网络在节点分类和链路预测中表现优异,并通过整合基于完整Laplacian谱的位置编码来增强节点嵌入,进一步提升下游任务性能。
2025-04-03 cs.AI cs.DM cs.LG
Superpixel Image Classification with Graph Attention Networks
Federal University of Rio Grande do Sul(南里奥格兰德联邦大学);Data Science Brigade;Federal University of Rio Grande(里奥格兰德联邦大学)
提出了一种基于图神经网络(GNN)模型的图像分类方法。我们将输入图像转换成区域邻接图(RAG),其中区域是超像素,边缘连接相邻的超像素。我们的实验表明,将图卷积与自注意机制相结合的图注意力网络(GATs)优于其他GNN模型。尽管由于在RAG生成过程中的信息丢失,原始图像分类器的性能优于GAT,但我们的方法为矩形网格图像(如360度视场图像)之外的深度学习研究开辟了一条有趣的途径。目前最先进的方法的传统卷积核不能处理卷积核,而适应的超像素算法和产生的区域邻接图可以自然地为GNN提供数据,而没有拓扑问题。
2020-11-15 cs.CV cs.LG stat.ML