GACAN: Graph Attention-Convolution-Attention Networks for Traffic Forecasting Based on Multi-granularity Time Series
Beijing Institute of Technology（北京理工大学）；The University of Auckland（奥克兰大学）
交通预测是智能交通系统（ITS）的重要组成部分。由于道路网络的高动态性和复杂的时空依赖性，实现高预测精度是一项具有挑战性的任务。为此，我们提出了图注意力-卷积-注意力网络（GACAN）。该模型使用了一种新的Att-Conv-Att（ACA）块，其中包含两个图注意层和一个基于频谱的GCN层夹在中间。图关注层旨在捕获时间特征，而基于频谱的GCN层旨在捕获空间特征。该模型的主要新颖之处在于整合了四种不同时间粒度的时间序列：原始时间序列，以及每小时，每日和每周的时间序列。与以前通过单独处理每个时间序列来使用多粒度时间序列的工作不同，GACAN在每个图形注意层之后结合了处理所有时间序列的结果。因此，不同时间粒度的影响被集成在整个模型中。我们在三个真实世界的数据集上进行了一系列实验。实验结果验证了使用多粒度时间序列的优势，所提出的GACAN模型优于国家的最先进的基线。
2021-10-27 cs.LG stat.ML
Edge Attention-based Multi-Relational Graph Convolutional Networks
图卷积网络（GCN）是卷积神经网络（CNN）的推广，可以处理任意结构的图。二进制邻接矩阵通常用于训练GCN。最近，注意力机制允许网络学习邻域的动态和自适应聚合。我们提出了一个新的GCN模型的图，其边缘的特点是在多个视图或精确的多个关系。例如，在化学图论中，化合物结构通常由氢耗尽的分子图表示，其中节点对应于原子，边对应于化学键。多个属性对于表征化学键可能很重要，例如原子对（键连接的原子类型），芳香性以及键是否在环中。不同的属性导致相同分子的不同图形表示。在化学和机器学习领域，人们越来越感兴趣的是从分子图中直接学习化合物的分子性质，而不是从化学家预先定义的指纹中。所提出的GCN模型，我们称之为基于边缘注意力的多关系GCN（EAGCN），在图卷积中联合学习注意力权重和节点特征。对于每个键属性，使用实值注意矩阵来代替二进制邻接矩阵。通过为边缘注意力设计字典，并通过查找字典形成每个分子的注意力矩阵，EAGCN利用不同分子中键之间的对应关系。化合物性质的预测是基于聚合的节点特征，这是独立的变化的分子（图）的大小。我们证明了EAGCN对多个化学数据集的有效性：Tox21，HIV，Freesolv和亲脂性，并解释了由此产生的注意力权重。
2018-05-20 cs.LG stat.ML
Relational Graph Attention Networks
Babylon Health（巴比伦健康）
我们研究关系图注意力网络，一类模型，扩展非关系图注意力机制，将关系信息，开放这些方法，以更广泛的各种问题。对这些模型进行了全面的评价，并与既定的基准进行了比较。为了提供有意义的比较，我们重新训练关系图注意力网络的光谱对应物-关系图卷积网络，并在相同条件下对其进行评估。我们发现，关系图注意力网络的表现比预期的要差，尽管有些配置对建模分子特性略有好处。我们提供的见解，为什么这可能是，并建议修改评估策略，以及方向，以调查未来的工作。
2019-04-11 cs.AI cs.LG stat.ML
Retrospective Sparse Attention for Efficient Long-Context Generation
Seoul National University（首尔国立大学）
本文提出RetroAttention，一种新的KV缓存更新技术，通过回顾后续解码步骤的KV条目来修正过去的注意力输出，从而提高长上下文生成的效率和准确性。
2026-05-20 cs.AI cs.CL cs.LG
Causally-guided Regularization of Graph Attention Improves Generalizability
MIT（麻省理工学院）；Twitter Cortex（推特Cortex）；Twitter（推特）
图注意力网络估计节点邻居的关系重要性，以聚合局部邻域的相关信息用于预测任务。然而，推断的注意力容易受到训练数据中的虚假相关性和连通性的影响，从而阻碍了模型的推广。我们介绍CAR，这是一个用于图注意力网络的通用正则化框架。CAR体现了一种因果推理方法，以可扩展的方式将注意力机制与主动干预对图连接性的因果影响对齐。CAR与各种图形注意力架构兼容，我们表明它系统地提高了各种节点分类任务的泛化能力。我们的消融研究表明，CAR在与预测最相关的图结构方面进行了磨练（例如，同质性），并且比替代方法更有效。最后，我们还表明，CAR通过强调指向因果假设的节点-邻居关系来增强注意力权重的可解释性。对于社交媒体网络大小的图，CAR引导的图重新布线方法可以使我们将图卷积方法的可扩展性与更高的图注意力性能相结合。
2023-03-01 cs.LG
Gating and Learnable Temperature for Graph Attention Mechanisms
School of Cybersecurity, Northwestern Polytechnical University（网络安全学院，西北工业大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出门控图注意力和可学习温度机制，通过过滤不可靠特征维度并动态调整注意力系数分布的锐度，提升图注意力网络在均匀和异质异配基准上的性能。
2026-10-27 cs.LG
Graph Attention Auto-Encoders
Arizona State University（亚利桑那州立大学）
自动编码器已经成为无监督学习的成功框架。然而，传统的自动编码器不能利用结构化数据中的显式关系。为了利用图结构数据中的关系，最近提出了几种图自动编码器，但它们忽略了重建图结构或节点属性。在本文中，我们提出了图形注意力自动编码器（GATE），一个神经网络架构的无监督表示学习的图形结构的数据。我们的架构是能够重建图形结构的输入，包括节点属性和图形结构，通过堆叠的编码器/解码器层配备自注意力机制。在编码器中，通过将节点属性视为初始节点表示，每个层通过关注其邻居的表示来生成节点的新表示。在解码器中，我们尝试逆编码过程来重构节点属性。此外，节点表示正则化，以重建图结构。我们提出的架构不需要预先知道图的结构，因此它可以应用于归纳学习。我们的实验表明，在几个节点分类基准数据集上，对于转换和归纳任务，我们的性能具有竞争力，在大多数情况下甚至超过了监督学习基线的性能。
2019-05-26 cs.LG cs.SI stat.ML
Graph Convolutional Neural Networks via Motif-based Attention
Beihang University（北京航空航天大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
许多现实世界的问题可以表示为基于图的学习问题。在本文中，我们提出了一个新的框架学习空间和注意力卷积神经网络在任意图。与以往的图上的卷积神经网络不同，我们首先设计了一个图案匹配引导的子图归一化方法来捕获邻域信息。然后，我们实现子图级的自注意层，从不同的子图学习不同的重要性，以解决图分类问题。类似于基于图像的注意力卷积网络，它在输入的局部连接和加权区域上操作，我们还通过利用图案匹配将图规范化从一维节点序列扩展到二维节点网格，并设计自注意力层，而不需要依赖于图结构的先验知识的任何类型的成本。我们在生物信息学和社交网络数据集上的结果表明，我们可以显着改进传统图内核和现有深度模型的图分类基准。
2019-02-25 cs.LG
How Attentive are Graph Attention Networks?
Technion（以色列理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Language Technologies Institute（语言技术研究所）
图注意力网络（GAT）是最受欢迎的GNN架构之一，被认为是使用图进行表示学习的最先进架构。在GAT中，每个节点都关注其邻居，并将其自己的表示作为查询。然而，在本文中，我们表明，GAT计算一种非常有限的注意力：排名的注意力分数是无条件的查询节点。我们正式定义这种有限的注意力为静态注意力，并将其与严格更具表现力的动态注意力区分开来。由于GAT使用静态注意力机制，有简单的图形问题，GAT不能表示：在一个受控的问题，我们表明，静态注意力阻碍GAT甚至拟合的训练数据。为了消除这一限制，我们引入了一个简单的修复修改操作的顺序，并提出GATv2：一个动态的图形注意力的变种，是严格的表达比GAT。我们进行了广泛的评估，并表明GATv2在11 OGB和其他基准测试中优于GAT，同时我们匹配它们的参数成本。我们的代码可在https://github.com/tech-srl/how_attentive_are_gats上获得。GATv2作为PyTorch Geometric库、Deep Graph库和TensorFlow GNN库的一部分提供。
2022-01-31 cs.LG
Quantum Graph Attention Network: A Novel Quantum Multi-Head Attention Mechanism for Graph Learning
An Ning School of Electrical Engineering（电气工程学院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；National Center for High-performance Computing (NCHC)（高性能计算中心）
本文提出混合图神经网络 QGAT，用单个强纠缠变分量子电路并行生成多头注意力系数，并端到端联合优化经典与量子参数，提升泛化、抗噪性和可集成性。
2025-08-28 cs.LG
Self-Attention in Colors: Another Take on Encoding Graph Structure in Transformers
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
本文提出 CSA 与全注意力图 Transformer CGT，通过随机游走相对位置编码和高阶拓扑信息在无消息传递情况下建模图结构，并在 ZINC 上达到最优性能。
2023-04-21 cs.LG
A Multi-channel EEG Data Analysis for Poor Neuro-prognostication in Comatose Patients with Self and Cross-channel Attention Mechanism
Oslo University Hospital（奥斯陆大学医院）；University of Oslo（奥斯陆大学）；Norwegian University of Science and Technology（挪威科技大学）
本研究提出结合一维卷积、可学习位置编码与注意力机制的混合深度学习框架OUS IVS，用于多通道EEG的昏迷患者不良神经预后预测，在隐藏验证集上得分为0.57。
2023-09-24 cs.AI cs.LG eess.SP
Spiking GATs: Learning Graph Attentions via Spiking Neural Network
Anhui University（安徽大学）
图注意力网络（GATs）已被深入研究并广泛应用于图数据学习任务。现有的GAT一般采用自注意力机制来进行图边注意学习，需要昂贵的计算。众所周知，脉冲神经网络（SNN）可以通过将输入信号数据传输到离散的脉冲串中来执行廉价的计算，并且还可以返回稀疏的输出。受SNN优点的启发，在这项工作中，我们提出了一种新的图形尖峰注意力网络（GSAT）用于图形数据表示和学习。与现有GAT中的自注意力机制相比，GSAT采用了SNN模块结构，具有明显的节能性。此外，GSAT可以返回稀疏的注意力系数在自然，从而可以进行选择性的邻居，这使得GSAT执行鲁棒性w.r.t图边缘噪声的特征聚合。在多个数据集上的实验结果证明了GSAT模型的有效性、能量效率和鲁棒性。
2022-09-05 cs.LG cs.NE
Interpretable and Generalizable Graph Learning via Stochastic Attention Mechanism
Purdue University（普渡大学）
可解释图学习是需要的，因为许多科学应用依赖于学习模型来从图结构数据中收集见解。以前的工作主要集中在使用事后方法来解释预先训练的模型（特别是图神经网络）。他们反对内在可解释的模型，因为这些模型的良好可解释性往往是以其预测准确性为代价的。然而，这些事后的方法往往无法提供稳定的解释，并可能提取的功能是虚假的相关任务。在这项工作中，我们通过提出图随机注意（GSAT）来解决这些问题。从信息瓶颈原理出发，GSAT在注意力权重中注入随机性，以屏蔽与任务无关的图成分中的信息，同时学习随机性减少的注意力，以选择与任务相关的子图进行解释。在某些假设下，选定的子图可证明不包含与任务虚假相关的模式。在8个数据集上的大量实验表明，GSAT在解释AUC方面优于最先进的方法达20% $\uparrow$，在预测准确性方面优于最先进的方法达5% $\uparrow$。我们的代码可在https://github.com/Graph-COM/GSAT上获得。
2022-06-17 cs.LG
GaAN: Gated Attention Networks for Learning on Large and Spatiotemporal Graphs
The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）；Amazon Web Services（亚马逊网络服务）；Microsoft Research（微软研究院）
我们提出了一种新的网络架构，门控注意力网络（GaAN），用于图上的学习。与传统的多头注意力机制不同，GaAN使用卷积子网络来控制每个注意力头的重要性。我们证明了GaAN在归纳节点分类问题上的有效性。此外，以GaAN为构建块，我们构建了图门循环单元（GGRU）来解决交通速度预测问题。在三个真实世界数据集上的广泛实验表明，我们的GaAN框架在这两个任务上都取得了最先进的结果。
2018-03-20 cs.LG cs.SI
r-GAT: Relational Graph Attention Network for Multi-Relational Graphs
Peking University（北京大学）
图注意力网络（GAT）专注于建模简单的无向和单一的关系图数据。这限制了它处理更一般和复杂的多关系图的能力，这些图包含具有不同标签的有向链接的实体（例如，知识图谱）。因此，直接将GAT应用于多关系图会导致次优解决方案。为了解决这个问题，我们提出了r-GAT，一个关系图注意力网络来学习多通道实体表示。具体地，每个通道对应于实体的潜在语义方面。这使我们能够使用关系特征来聚合当前方面的邻域信息。我们进一步提出了一个查询感知的注意力机制，为后续的任务选择有用的方面。在链接预测和实体分类任务上的大量实验表明，我们的r-GAT可以有效地建模多关系图。此外，我们通过案例研究表明我们的方法的可解释性。
2021-09-13 cs.AI cs.CL cs.LG
Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs
Massachusetts Institute of Technology（麻省理工学院）
尽管Transformer网络在各个领域都取得了广泛的成功，但即使考虑到与3D相关的诱导偏差（如平移不变性和旋转等变性），它也尚未在3D原子图（如分子）领域的数据集上表现良好。在本文中，我们证明了Transformers可以很好地推广到3D原子图，并提出了Equiformer，这是一种利用Transformer架构的优势并基于不可约表示（irreps）结合SE（3）/E（3）-等变特征的图神经网络。首先，我们提出了一个简单而有效的架构，只取代原来的操作在Transformers与他们的等变同行，并包括张量积。使用等变操作使得能够在不使图结构复杂化的情况下在irreps特征的通道中编码等变信息。通过对Transformers的最小修改，该架构已经取得了很好的经验结果。其次，我们提出了一种新的注意力机制，称为等变图注意力，它改善了典型的注意力在Transformers，通过取代点积的注意力与多层感知器的注意力，并包括非线性消息传递。通过这两项创新，Equiformer在QM 9，MD 17和OC 20数据集上实现了与以前模型竞争的结果。
2023-02-28 cs.AI cs.LG physics.comp-ph
Are Graph Attention Networks Able to Model Structural Information?
Monash University（莫纳什大学）
本文提出GSAT，通过整合属性和结构表示，提升图学习效果，验证了结构信息在图表示学习中的重要性。
2026-02-04 cs.AI cs.LG
Graph Attention Inference of Network Topology in Multi-Agent Systems
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
针对多智能体系统底层图结构难以识别的问题，提出利用注意力机制学习节点表示并依据注意力强度推断网络拓扑的数据驱动模型，在未知动力学下仍取得良好链路预测 F1 分数。
2024-10-26 cs.LG cs.MA
Graph Convolutions Enrich the Self-Attention in Transformers!
Yonsei University（延世大学）；KAIST（韩国科学技术院）；Arizona State University（亚利桑那州立大学）；University of Pennsylvania（宾夕法尼亚大学）
针对深度Transformer的过平滑问题，该研究从图信号处理角度将自注意力重构为图滤波器，提出复杂度略高的GFSA机制，有效提升了多领域任务的性能。
2024-11-01 cs.AI cs.LG
GSA-Forecaster: Forecasting Graph-Based Time-Dependent Data with Graph Sequence Attention
Carnegie Mellon University（卡内基梅隆大学）；Iowa State University（爱荷华州立大学）；Microsoft（微软公司）
本文提出GSA-Forecaster，一种基于图序列注意力机制的新型深度学习模型，用于预测图结构时变数据，同时捕捉空间与时间依赖并整合辅助信息，在真实数据集上优于现有最先进模型。
2025-02-27 cs.AI cs.LG
Attention-based Spatial-Temporal Graph Convolutional Recurrent Networks for Traffic Forecasting
Soochow University（苏州大学）；University of North Carolina at Greensboro（北卡罗来纳大学格林斯伯勒分校）；The Hong Kong Polytechnic University（香港理工大学）
交通量预测是交通科学和人工智能研究中最基本的问题之一。关键的挑战是有效地建模复杂的时空依赖性和现代交通数据的相关性。然而，现有的方法，不能同时准确地建模长期和短期的时间相关性，限制了他们的表达能力复杂的时空模式。本文提出了一种新的时空神经网络框架：基于注意力的时空图卷积递归网络（ASTGCRN），它由图卷积递归模块（GCRN）和全局注意力模块组成。特别是，GCRN集成了门控递归单元和自适应图卷积网络，用于动态学习图结构并捕获空间依赖性和局部时间关系。为了有效地提取全局时间依赖，设计了时间注意层，并将其实现为三个独立的模块，分别基于多头自注意、Transformer和Informer。在五个真实流量数据集上进行的大量实验表明，我们的三种模型都具有出色的预测性能，其平均MAE，RMSE和MAPE在测试数据集上均低于基线方法。
2023-02-25 cs.AI cs.LG
Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers
本文提出 Graph-Aware Isomorphic Attention，将注意力机制重构为图操作，利用 GIN 和 PNA 增强关系结构表示，并引入 Sparse GIN-Attention 微调法，以更低开销提升预训练模型的图感知能力与泛化性。
2025-03-05 cond-mat.mes-hall cond-mat.mtrl-sci cs.AI
Fine-Grained Modeling of Narrative Context: A Coherence Perspective via Retrospective Questions
Pattern Recognition Center, WeChat AI（腾讯微信AI模式识别中心）；Tencent（腾讯）
提出细粒度叙事上下文建模方法NarCo，通过LLMs两阶段提示构建包含回顾性问题的图来显式捕捉任务无关的连贯性依赖，在边关系效能、局部上下文丰富化和QA等任务中均展现效用。
2024-06-04 cs.CL cs.LG
Detecting drug-drug interactions using artificial neural networks and classic graph similarity measures
Ben-Gurion University of the Negev（本-古里安大学）
药物相互作用是可预防的医疗损伤的原因，往往导致医生和急诊室的访问。计算技术可用于预测潜在的药物相互作用。我们将药物相互作用预测问题视为一个链接预测问题，并提出了两种基于人工神经网络和图节点上的因子传播的药物相互作用预测新方法：邻接矩阵因子分解（AMF）和邻接矩阵因子分解与传播（AMFP）。我们通过在先前发布的DrugBank数据库上训练我们的模型进行回顾性分析，其中包含1，141种药物和45，296种药物相互作用，并在DrugBank的后续版本上评估结果，其中包含1，440种药物和248，146种药物相互作用。此外，我们使用DrugBank进行了保留分析。我们报告的受试者工作特征曲线下面积分别为0.807和0.990的回顾性分析和holdout分析。最后，我们使用AMF、AMFP和现有的链接预测方法创建了一个基于集成的分类器，并获得了0.814和0.991的受试者工作特征曲线下面积，用于回顾性分析和保留分析。我们证明，AMF和AMFP提供了最先进的结果相比，现有的方法和基于集成的分类器，通过结合各种预测提高了性能。这些结果表明，AMF，AMFP，和建议的基于集成的分类器可以提供重要的信息，在药物开发和药物处方只给出部分或噪声数据。这些方法也可用于解决其他链接预测问题。在使用交互网络训练我们的模型时创建的药物嵌入（压缩表示）已经公开。
2019-08-05 cs.LG q-bio.QM stat.ML
HopGAT: Hop-aware Supervision Graph Attention Networks for Sparsely Labeled Graphs
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
由于标记节点的成本，在保持预测精度的同时对稀疏标记图中的节点进行分类值得关注。算法的关键是如何从多个不同跳距的邻居节点中学习到足够的信息。本研究首先提出一个跳感知的注意力监督机制的节点分类任务。然后采用模拟退火学习策略来平衡两个学习任务，节点分类和跳感知注意系数，沿训练时间轴。实验结果表明，与现有模型相比，所提出的HopGAT模型具有更好的性能.特别是对于蛋白质-蛋白质相互作用网络，在40%标记图中，与完全标记图相比，性能损失仅为3.9%，从98.5%到94.6%。大量的实验也证明了监督注意系数和学习策略的有效性。
2020-04-09 cs.LG stat.ML
Graph Representation Learning via Hard and Channel-Wise Attention Networks
Texas A&M University（德克萨斯农工大学）
注意力算子在计算机视觉、自然语言处理、网络嵌入学习等领域有着广泛的应用。图数据上的注意力操作符在聚合来自相邻节点的信息时启用可学习的权重。然而，图注意力算子（GAO）消耗过多的计算资源，阻碍了它们在大型图上的应用。此外，GAO属于软注意力家族，而不是硬注意力，这已被证明可以产生更好的性能。在这项工作中，我们提出了新的硬图注意力算子（hGAO）和通道式图注意力算子（cGAO）。hGAO通过仅关注重要节点来使用硬注意力机制。与GAO算法相比，hGAO算法只关注重要节点，提高了性能，节省了计算开销。为了进一步降低对计算资源的需求，我们提出了cGAO，它沿着通道执行注意力操作。cGAO避免了对邻接矩阵的依赖，从而大大减少了计算资源需求。实验结果表明，我们提出的深度模型与新的运营商实现了一贯更好的性能。比较结果还表明，hGAO在节点和图嵌入任务上的性能明显优于GAO。效率比较表明，我们的cGAO导致计算资源的显着节省，使其适用于大型图形。
2019-07-05 cs.LG stat.ML
Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification
Georgia Institute of Technology（佐治亚理工学院）；IQVIA（艾昆纬）；University of Illinois, Urbana-Champagne（伊利诺伊大学厄巴纳-香槟分校）
注意力机制在图神经网络（GNN）中的节点上的推理表现出优越的性能，然而，它们在训练和推理期间都导致高计算负担。我们提出了FastGAT，这是一种通过使用频谱稀疏化来生成输入图的最佳修剪来使基于注意力的GNNs轻量化的方法。这导致每纪元时间在图节点的数量上几乎是线性的，而不是二次的。我们从理论上证明，频谱稀疏保留的GAT模型计算的功能，从而证明我们的算法。我们实验评估FastGAT在几个大的真实世界的图形数据集的节点分类任务下的归纳和转换设置。FastGAT可以显著减少（高达\textbf{10x}）计算时间和内存需求，允许在大型图上使用基于注意力的GNN。
2020-10-05 cs.LG stat.ML
Sparse Graph Attention Networks
Georgia State University（佐治亚州立大学）
图神经网络（GNN）已被证明是图结构数据的有效表示学习框架，并且在许多实际预测任务（例如节点分类、链接预测和图分类）上实现了最先进的性能。在GNN的变体中，图注意力网络（GAT）学习在节点的所有邻居上分配密集的注意力系数以进行特征聚合，并提高许多图学习任务的性能。然而，现实世界的图通常非常大，而且有噪声，如果没有适当地正则化，GAT很容易过拟合。更糟糕的是，GAT的局部聚合机制可能会在区分图上失败，其中局部邻域内的节点提供更多的噪声而不是用于特征聚合的有用信息。在本文中，我们提出了稀疏图注意力网络（SGAT），它在$L_0$范数正则化下学习稀疏注意力系数，然后将学习到的稀疏注意力用于所有GNN层，从而产生边缘稀疏图。通过这样做，我们可以识别噪声/任务无关的边缘，从而对大多数信息丰富的邻居进行特征聚合。在合成和真实世界的图学习基准上进行的大量实验证明了SGAT的优越性能。特别地，SGAT可以在保持相似分类精度的情况下，从大的平行图中去除约50%~ 80%的边.在离散图上，SGAT修剪了大多数噪声边缘，并在分类精度上显著优于GAT。此外，去除的边缘可以直观和定量地解释。据我们所知，这是第一个图学习算法，显示显着的冗余图和边缘稀疏图可以实现类似的或有时更高的预测性能比原来的图。
2021-04-11 cs.LG stat.ML
Multi-hop Attention Graph Neural Network
JD AI Research（京东人工智能研究院）；Stanford University（斯坦福大学）
图神经网络的自注意机制在许多图表示学习任务上具有最先进的性能。目前，在每一层，注意力都是在连接的节点对之间计算的，并且仅仅取决于两个节点的表示。然而，这种注意力机制不考虑不直接连接但提供重要网络上下文的节点。在这里，我们提出了多跳注意力图神经网络（MAGNA），一个原则性的方法，将多跳上下文信息到每一层的注意力计算。MAGNA将注意力分数扩散到整个网络，从而增加GNN每一层的感受野。与以前的方法不同，MAGNA使用注意力值的扩散先验，以有效地解释断开连接的节点对之间的所有路径。我们在理论和实验中证明，MAGNA捕获大规模的结构信息，在每一层，并具有低通效应，消除噪声的高频信息从图形数据。节点分类以及知识图谱完成基准测试的实验结果表明，MAGNA实现了最先进的结果：MAGNA实现了高达5.7%的相对错误减少比以前的最先进的Cora，Citeseer和Pubmed。MAGNA还在大规模Open Graph Benchmark数据集上获得了最佳性能。在知识图谱完成方面，MAGNA在WN 18 RR和FB 15 k-237上的四个不同性能指标上都达到了最先进的水平。
2021-08-25 cs.LG stat.ML
DAGCN: Dual Attention Graph Convolutional Networks
University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）
图卷积网络（GCN）最近已经成为众多应用中用于图分析任务的最强大的工具之一，范围从社交网络和自然语言处理到生物信息学和化学信息学，这要归功于它们捕获概念之间复杂关系的能力。目前，绝大多数GCN使用邻域聚合框架来学习连续且紧凑的向量，然后执行池化操作来概括分类任务的图嵌入。这些方法在图分类任务中具有两个缺点：（1）当仅最大的子图结构（$k$ -跳邻居）用于邻域聚合时，在图卷积步骤期间丢失了大量的早期信息;（2）利用简单的平均/总和池化或最大池化，这丢失了每个节点的特征和节点之间的拓扑。在本文中，我们提出了一种新的框架，称为双注意力图卷积网络（DAGCN）来解决这些问题。DAGCN使用新的注意力图卷积层自动学习不同跳处的邻居的重要性，然后采用第二个注意力组件，即自注意力池层，从矩阵图嵌入的各个方面概括图表示。双注意力网络以端到端的方式训练用于图分类任务。我们将我们的模型与最先进的图内核和其他深度学习方法进行比较。实验结果表明，我们的框架不仅优于其他基线，但也取得了更好的收敛速度。
2019-04-04 cs.LG stat.ML
Self-Attention Graph Pooling
Korea University（高丽大学）
近年来，已经提出了将深度学习应用于诸如图的结构化数据的高级方法。特别是，研究集中在将卷积神经网络推广到图形数据，包括重新定义卷积和图形的下采样（池化）操作。将卷积运算推广到图形的方法已被证明可以提高性能并被广泛使用。然而，将下采样应用于图的方法仍然难以执行，并且具有改进的空间。在本文中，我们提出了一种基于自注意力的图池方法。使用图卷积的自注意力允许我们的池化方法同时考虑节点特征和图拓扑。为了确保公平的比较，现有的池化方法和我们的方法使用了相同的训练过程和模型架构。实验结果表明，我们的方法在基准数据集上使用合理数量的参数实现了卓越的图分类性能。
2019-06-13 cs.LG stat.ML
Improving Attention Mechanism in Graph Neural Networks via Cardinality Preservation
The Graduate Center, The City University of New York（纽约市立大学研究生中心）；Hunter College, The City University of New York（纽约市立大学亨特学院）
图神经网络（GNN）在学习图结构数据的表示方面非常强大。大多数GNN使用消息传递方案，其中节点的嵌入通过聚合其邻居的信息来迭代更新。为了更好地表达节点的影响力，注意力机制已经变得流行，以向聚合中的节点分配可训练的权重。虽然基于注意力的GNN在各种任务中取得了显着的成果，但人们对其辨别能力缺乏清晰的认识。在这项工作中，我们提出了一个理论分析的GNN，采用注意力机制作为聚合器的代表性的属性。我们的分析确定了那些基于注意力的GNN总是无法区分某些不同结构的所有情况。这些情况的出现是由于忽视了基于注意力的聚合中的基数信息。为了提高基于注意力的GNNs的性能，我们提出了基数保持注意力（CPA）模型，可以应用于任何类型的注意力机制。我们对节点和图分类的实验证实了我们的理论分析，并显示了我们的CPA模型的竞争力。
2020-05-04 cs.LG stat.ML
Understanding Graph Neural Networks from Graph Signal Denoising Perspectives
The Chinese University of Hong Kong（香港中文大学）
图神经网络（GNNs）因其在节点分类等任务上的优异性能而备受关注。然而，对GNN如何以及为什么工作的理解还不够，特别是对于节点表示学习。本文旨在从图信号去噪的角度提供一个理论框架来理解GNN，特别是谱图卷积网络和图注意力网络。我们的框架表明，GNN隐式地解决了图信号去噪问题：谱图卷积作为去噪节点特征，而图注意力作为去噪边缘权重。我们还表明，一个线性的自我注意力机制是能够竞争的国家的最先进的图形注意力的方法。我们的理论结果进一步导致两个新的模型，GSDN-F和GSDN-EF，有效地工作与噪声节点功能和/或噪声边缘的图。我们通过在基准数据集上的实验验证了我们的理论研究结果以及我们的新模型的有效性。源代码可从\url{https://github.com/fuguoji/GSDN}获得。
2020-06-08 cs.LG stat.ML
PiNet: Attention Pooling for Graph Classification
University College London（伦敦大学学院）
我们提出了PiNet，一个通用的可微分注意力池机制，利用图卷积操作进行图级分类。我们展示了高样本效率和优于其他图神经网络的性能，在区分同构图类，以及竞争力的结果与最先进的方法对标准的化学信息学数据集。
2020-08-11 cs.CV cs.LG stat.ML
Understanding Attention and Generalization in Graph Neural Networks
University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）；SRI International（斯坦福国际研究院）
我们的目标是更好地理解图神经网络（GNNs）中节点的注意力，并确定影响其有效性的因素。我们特别关注注意力GNN推广到更大，更复杂或噪声图的能力。受图同构网络工作的启发，我们设计了简单的图推理任务，使我们能够在受控环境中研究注意力。我们发现，在典型的条件下，注意力的影响是可以忽略不计的，甚至是有害的，但在某些条件下，它提供了一个特殊的性能增益超过60%，在我们的一些分类任务。在实践中满足这些条件是具有挑战性的，往往需要最佳的初始化或监督训练的注意力。我们提出了一个替代的配方和训练注意力在弱监督的方式，接近监督模型的性能，并与无监督模型相比，提高了几个合成以及真实数据集的结果。源代码和数据集可在https://github.com/bknyaz/graph_attention_pool上获得。
2019-10-28 cs.AI cs.LG stat.ML
Spectral Graph Attention Network with Fast Eigen-approximation
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；University of California at Berkeley（加州大学伯克利分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
用于表示学习的图神经网络（GNNs）的变体近年来被提出并在各个领域取得了丰硕的成果。其中，图注意力网络（GAT）首先采用自注意策略来学习空间域中每条边的注意力权重。然而，学习边上的注意力只能关注图的局部信息，大大增加了计算成本。在本文中，我们首先介绍了注意力机制在频谱域的图和频谱图注意力网络（SpGAT），学习表示不同的频率分量的加权滤波器和图形小波基。通过这种方式，SpGAT可以更好地捕捉全局模式的图形在一个有效的方式与少得多的学习参数比GAT。此外，为了减少由特征分解带来的SpGAT的计算成本，我们提出了一种快速近似变体SpGAT-Cheby。我们彻底评估了SpGAT和SpGAT-Cheby在半监督节点分类任务中的性能，并验证了在谱域中学习注意力的有效性。
2021-07-27 cs.LG cs.SI stat.ML
Dynamic Graph Representation Learning via Self-Attention Networks
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Visa Research（Visa研究院）
学习图中节点的潜在表示是一项重要且普遍存在的任务，具有广泛的应用，例如链接预测，节点分类和图可视化。以往的图表示学习方法主要集中在静态图上，然而，许多现实世界的图是动态的，并随着时间的推移而演变。在本文中，我们提出了动态自注意力网络（DySAT），一种新的神经架构，操作动态图和学习节点表示，捕捉结构特性和时间演化模式。具体来说，DySAT通过沿两个维度联合采用自注意力层来计算节点表示：结构邻域和时间动态。我们进行链接预测实验两类图：通信网络和二分评级网络。我们的实验结果表明，DySAT在几个不同的最先进的图嵌入基线上具有显着的性能增益。
2019-06-15 cs.LG cs.SI stat.ML
How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision
KAIST（韩国科学技术院）
图神经网络中的注意力机制被设计为向重要的邻居节点分配更大的权重以更好地表示。然而，图形注意力学习的是什么还没有很好地理解，特别是当图形是嘈杂的。在本文中，我们提出了一个自监督图注意力网络（SuperGAT），一个改进的图注意力模型的噪声图。具体来说，我们利用两个注意力形式兼容的自我监督任务来预测边缘，其存在和不存在包含的固有信息的重要性节点之间的关系。通过对边进行编码，SuperGAT在区分错误链接的邻居时学习到更多的表达注意力。我们发现两个图形特征影响注意形式和自我监督的有效性：同质性和平均度。因此，我们的配方提供了指导，当这两个图形特征已知时，使用哪种注意力设计。我们在17个真实数据集上的实验表明，我们的配方可以推广到其中的15个数据集，并且我们通过配方设计的模型显示出比基线更好的性能。
2022-04-11 cs.AI cs.LG cs.SI
Attention Graphons: A Graph Limit Perspective on Graph Transformers
Johns Hopkins University（约翰霍普金斯大学）；University of Cambridge（剑桥大学）
本研究利用稠密图极限理论证明图变换器的注意力矩阵随规模增长收敛到稳定的注意力图极限，并提出估计与诊断方法，实验验证了其稳定性与可迁移性。
2026-09-29 cs.LG
Meta Graph Attention on Heterogeneous Graph with Node-Edge Co-evolution
Didi Chuxing（滴滴出行）
图神经网络已成为结构化数据建模的重要工具。在许多现实世界的系统中，可能存在复杂的隐藏信息，例如，节点/边的异质性、静态节点/边属性和时空节点/边特征。然而，大多数现有的方法只考虑了部分信息。在本文中，我们提出了协同进化的Meta图神经网络（CoMGNN），它适用于元图注意异构图的节点和边缘状态的协同进化。我们进一步提出了一个时空适应的CoMGNN（ST-CoMGNN）的节点和边缘的时空模式建模。我们在两个大规模的真实世界数据集上进行了实验。实验结果表明，我们的模型显着优于国家的最先进的方法，从不同方面的编码不同的信息的有效性。
2020-10-09 cs.LG cs.SI stat.ML
Attentional Multilabel Learning over Graphs: A Message Passing Approach
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
我们解决了一个很大程度上开放的问题，多标签分类图。与传统的向量输入不同，图具有丰富的可变大小的子结构，这些子结构在某些方面与标签相关。我们相信，揭示这些关系可能是分类性能和可解释性的关键。我们引入GAML（图注意力多标签学习），一种新的图神经网络，可以有效地处理这个问题。GAML将标签视为辅助节点，并结合输入图对其进行建模。通过对标签节点和输入节点迭代地应用消息传递和注意力机制，GAML可以在各种分辨率下捕获标签和输入子图之间的关系。此外，我们的模型可以利用显式标签依赖性。由于我们提出的分层注意力，它还与标签数量和图大小呈线性关系。我们评估GAML的一组广泛的实验与图形结构的输入和经典的非结构化输入。结果表明，GAML显著优于其他竞争方法。重要的是，GAML可以实现直观的可视化，以便更好地理解标签-子结构关系和解释模型行为。
2018-04-11 cs.AI cs.LG stat.ML
Superpixel Image Classification with Graph Attention Networks
Federal University of Rio Grande do Sul（南里奥格兰德联邦大学）；Data Science Brigade；Federal University of Rio Grande（里奥格兰德联邦大学）
提出了一种基于图神经网络（GNN）模型的图像分类方法。我们将输入图像转换成区域邻接图（RAG），其中区域是超像素，边缘连接相邻的超像素。我们的实验表明，将图卷积与自注意机制相结合的图注意力网络（GATs）优于其他GNN模型。尽管由于在RAG生成过程中的信息丢失，原始图像分类器的性能优于GAT，但我们的方法为矩形网格图像（如360度视场图像）之外的深度学习研究开辟了一条有趣的途径。目前最先进的方法的传统卷积核不能处理卷积核，而适应的超像素算法和产生的区域邻接图可以自然地为GNN提供数据，而没有拓扑问题。
2020-11-15 cs.CV cs.LG stat.ML
Flow-Attentional Graph Neural Networks
University of Kassel（卡塞尔大学）；University of Greifswald（格里夫斯瓦尔德大学）
针对现有图神经网络未考虑物理资源流相关图的守恒定律导致性能下降的问题，提出满足基尔霍夫第一定律的流注意力机制，验证其表达能力优势并通过实验证明其可提升相关GNN任务性能。
2025-11-14 cs.LG
Watch Your Step: Learning Node Embeddings via Graph Attention
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）；Google AI（谷歌人工智能）
图嵌入方法表示连续向量空间中的节点，保留来自图的信息（例如通过随机游走采样）。这些方法有许多超参数（如随机游走长度），必须为每个图手动调整。在本文中，我们将随机游走超参数替换为通过反向传播自动学习的可训练参数。特别是，我们学习了一种新的注意力模型的转移矩阵的幂级数，引导随机游走优化上游目标。与以前的注意力模型方法不同，我们提出的方法只利用数据上的注意力参数（例如随机游走），而不是由模型用于推理。我们在链接预测任务上进行实验，因为我们的目标是产生最好地保留图结构的嵌入，从而推广到看不见的信息。我们在一套全面的现实世界数据集上改进了最先进的技术，包括社交，协作和生物网络。在我们尝试的数据集上，添加对随机游走的关注可以将错误减少20%到45%。此外，我们学习的注意力参数对于每个图都是不同的，如果我们手动调整现有方法，我们自动找到的值与超参数的最佳选择一致。
2018-09-12 cs.LG cs.SI stat.ML
Hierarchical Attention Models for Multi-Relational Graphs
University of California, Los Angeles（加州大学洛杉矶分校）
该研究提出结合双层注意力与关系图卷积的BR-GCN模型，将Transformer和GAT注意力拓展到大规模异构图，在节点分类、链路预测任务上性能优于现有基线，且具备可扩展性。
2024-04-14 cs.LG
Neighbor Overlay-Induced Graph Attention Network
针对现有图注意力网络依赖节点特征、缺乏结构上下文的问题，提出从邻接矩阵学习覆盖邻居信息并注入特征传播以联合计算注意力的NO-GAT，性能超越当前最优模型。
2024-08-16 cs.LG
Graph External Attention Enhanced Transformer
Shanxi University（山西大学）；School of Computer and Information Technology, Shanxi University（山西大学计算机与信息技术学院）
针对现有图Transformer忽略图间相关性的问题，提出图外部注意力（GEA）机制及GEAET架构，整合局部结构与全局交互，在基准数据集上取得最先进性能。
2024-06-03 cs.LG
Towards Mechanistic Interpretability of Graph Transformers via Attention Graphs
Stanford University（斯坦福大学）；University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
本文提出注意力图工具，基于GNN消息传递与Transformer自注意力的数学等价性，分析图Transformer的信息流动，发现其学习结构不相关于输入图，且异质性图中不同变体可殊途同归。
2025-02-25 cs.AI cs.LG
Multi-view Fuzzy Graph Attention Networks for Enhanced Graph Learning
North Carolina State University（北卡罗来纳州立大学）；South China University of Technology（华南理工大学）；University of Michigan（密歇根大学）；Yeshiva University（叶史瓦大学）；Guangxi University（广西大学）
针对现有模糊图注意力网络难以捕获多视角依赖的问题，提出多视图模糊图注意力网络（MFGAT），通过转换块动态转换并加权聚合多视图信息以增强模糊图卷积，并引入可学习全局池化机制，在图分类任务上优于基线方法。
2024-12-23 cs.LG
Graph Collaborative Attention Network for Link Prediction in Knowledge Graphs
VNUHCM - University of Science（胡志明市国家大学-科技大学）
本文针对知识图谱链接预测任务，在对比传统规则方法与深度学习方法、分析KBGAT模型的基础上，提出增强异构节点上下文聚合交互的GCAT模型，在四个基准数据集上取得更优性能，验证了注意力架构在知识图谱补全中的优势。
2025-07-30 cs.LG
Neural Message-Passing on Attention Graphs for Hallucination Detection
研究大语言模型幻觉检测问题，提出CHARM方法，将其视为图学习任务，通过在属性图上应用图神经网络解决，实验证明该方法优于其他方法，揭示图结构作用，展现跨数据集转移的零样本性能。
2026-07-28 cs.LG
Not All Neighbors Are Worth Attending to: Graph Selective Attention Networks for Semi-supervised Learning
Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）
图形注意力网络（GAT）是分析各种真实场景中图形数据的强大工具。为了学习下游任务的表示，GAT通常在聚合特征时关注中心节点的所有邻居。在本文中，我们表明，很大一部分的邻居是无关的中心节点在许多现实世界的图，可以排除邻居聚合。以此为线索，我们提出了选择性注意（SA）和一系列新的注意力机制的图神经网络（GNNs）。SA利用各种形式的可学习的节点-节点相异性来获取每个节点的关注范围，从中排除不相关的邻居。我们进一步提出了图选择性注意网络（SAT）来学习表示从高度相关的节点特征识别和不同的SA机制进行调查。最后，对所提出的SAT的表达能力进行了理论分析，并对SAT在挑战现实世界的数据集上与最先进的GNN进行了全面的实证研究，以证明SAT的有效性。
2022-10-28 cs.LG
On Classification Thresholds for Graph Attention with Edge Features
University of Waterloo（滑铁卢大学）；Google Waterloo（谷歌滑铁卢）；Google Research（谷歌研究院）
近年来，我们已经看到了图神经网络的兴起，用于图上的预测任务。其中一个主要的架构是图形注意力，因为它能够使用加权边缘特征而不仅仅是节点特征进行预测。在本文中，我们分析，理论和经验，图形注意力网络和他们的能力，正确标记节点在一个经典的分类任务。更具体地说，我们研究了经典的上下文随机块模型（CSBM）上的图形注意的性能。在CSBM中，节点和边缘特征是从高斯和随机块模型的边缘的混合中获得的。我们考虑一个一般的图注意力机制，随机边缘特征作为输入，以确定注意系数。我们研究了两种情况，在第一种情况下，当边缘特征有噪声时，我们证明了大多数的注意力系数是一个常数均匀。这使我们能够证明，具有边缘特征的图注意力并不比简单的图卷积更好地实现完美的节点分类。其次，我们证明了当边缘特征是干净的图注意力可以区分内部和内部边缘，这使得图注意力优于经典的图卷积。
2022-10-18 cs.AI cs.LG
