Disentangling and Integrating Relational and Sensory Information in Transformer Architectures
Yale University（耶鲁大学）；Wu Tsai Institute, Yale University（耶鲁大学吴莎研究所）
针对Transformer缺乏显式关系信息处理机制的问题，提出双注意力Transformer（DAT），通过感官注意力和关系注意力分别处理两类信息，在合成基准及语言建模、视觉任务上显著提升数据与参数效率。
2025-06-20 cs.LG
Relational Learning with Gated and Attentive Neighbor Aggregator for Few-Shot Knowledge Graph Completion
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Alibaba Group（阿里巴巴集团）
为了扩大知识图（KG）中少镜头关系（Few-Shot relations）的覆盖范围，少镜头知识图谱补全（FKGC）近年来引起了更多的研究兴趣。Few-Shot关系补全（FKGC）。一些现有的模型采用了Few-Shot关系的多跳邻居信息来增强其语义表示。然而，当邻域过于稀疏并且没有邻域可用于表示Few-Shot关系时，噪声邻域信息可能被放大。此外，以往的知识图谱完备方法在建模和推理1-N、N-1和N-N等复杂关系时，需要较高的模型复杂度和大量的训练实例。因此，由于有限的训练实例，FKGC模型很难在Few-Shot场景中推断复杂的关系。在本文中，我们提出了一个Few-Shot关系学习的全局-局部框架，以解决上述问题。在全局阶段，构建了一种新型的门控和专注的邻居聚合器，用于准确集成Few-Shot关系邻居的语义，即使KG包含极其稀疏的邻居，这也有助于过滤噪音邻居。对于局部阶段，设计了基于元学习的transH（MTtransH）方法来对复杂关系进行建模，并以少样本学习的方式对模型进行训练。大量的实验表明，我们的模型优于最先进的FKGC方法上常用的基准数据集NELL-One和Wiki-One。与强基线模型MetaR相比，我们的模型在NELL-One上实现了8.0%的5次FKGC性能改进，在Wiki-One上实现了2.8%的指标Hits@10。
2021-06-05 cs.AI cs.CL
QUARTET: Quad-branch cross-Attention and Random-walk Traces for Enhancing Transformers on Relational Graphs
Capital One（第一资本）
QUARTET通过因果随机游走采样和四分支交叉注意力，在局部与全局层面增强图Transformer，于RelBench v1分类任务中匹配或超越现有最先进模型。
2026-10-08 cs.AI cs.LG
Knowledge Graph Reasoning with Relational Digraph
Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）
知识图谱（KG）上的推理旨在从现有事实推断新事实。基于关系路径的方法已经显示出强大的、可解释的和可转移的推理能力。然而，路径在捕获图中的局部证据方面自然受到限制。在本文中，我们介绍了一种新的关系结构，即，关系有向图（r-degraph），它是由重叠的关系路径，捕捉KG的本地证据。由于r-有向图比路径更复杂，如何有效地构造和有效地从中学习是一个挑战。直接编码的r-有向图不能很好地扩展和捕获查询相关的信息是困难的r-有向图。我们提出了一种图神经网络的变体，即，RED-GNN，以应对上述挑战。具体地说，RED-GNN利用动态规划递归地编码多个具有共享边的r-有向图，并利用查询相关的注意力机制来选择强相关的边。我们证明了RED-GNN不仅是有效的，而且可以在归纳和转换推理任务中实现显着的性能增益。此外，RED-GNN中学习的注意力权重可以为KG推理提供可解释的证据。
2022-01-21 cs.AI cs.CL
RESOLVE: Relational Reasoning with Symbolic and Object-Level Features Using Vector Symbolic Processing
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出 RESOLVE 神经向量符号架构，通过打包和绑定操作结合对象级特征与关系表示，并引入双极高维注意力机制，解决了现有模型在纯关系和部分关系推理任务中的不足，实现了低延迟、高内存效率及更高的准确率与泛化能力。
2024-11-13 cs.AI cs.LG
Stock Movement Prediction Based on Bi-typed Hybrid-relational Market Knowledge Graph via Dual Attention Networks
Southwestern University of Finance and Economics（西南财经大学）；Beihang University（北京航空航天大学）；Kwai Inc.（快手公司）
股票走势预测的目的是预测上市公司股票未来的价格走势，由于金融市场的波动性，这是一项具有挑战性的任务。近年来的金融研究表明，动量溢出效应在股票波动中起着重要的作用。然而，以往的研究往往只学习关联公司之间简单的关联信息，无法对现实金融市场中上市公司之间的复杂关系进行建模。为了解决这个问题，我们首先构建了一个更全面的市场知识图（MKG），它包含了两种类型的实体，包括上市公司及其关联高管，和混合关系，包括显式关系和隐式关系。之后，我们提出了DanSmp，一个新的双注意力网络学习动量溢出信号的基础上构建的MKG股票预测。在我们构建的数据集上对9个SOTA基线进行的实证实验表明，所提出的DanSmp能够提高股票预测与构建的MKG。
2022-01-24 cs.AI cs.LG q-fin.ST
Enhancing the Transformer with Explicit Relational Encoding for Math Problem Solving
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；The Swiss AI Lab IDSIA / USI / SUPSI（瑞士人工智能实验室IDSIA / 瑞士意大利语大学 / 瑞士南方应用科技大学）
我们在Transformer中加入了张量积表示，以便更好地支持关系结构的显式表示。我们的Tensor-Product Transformer（TP-Transformer）在最近推出的包含56类自由形式数学应用题的数学数据集上开创了新的艺术水平。该模型的基本组成部分是一种新的注意力机制，称为TP-注意力，它明确编码每个Transformer细胞和其他细胞之间的关系，从这些细胞中的值已被检索的注意。TP-Attention超越了检索值的线性组合，加强了表征构建并解决了多层标准注意力引入的歧义。TP-Transformer的注意力地图可以更好地了解它如何能够解决数学数据集的挑战性问题。预训练的模型和代码将在发布后提供。
2020-11-04 cs.LG stat.ML
Link Prediction on N-ary Relational Facts: A Graph-based Approach
Baidu Inc.（百度公司）
基于知识图谱的链接预测是一个重要的研究课题。以往的工作主要集中在二元关系，较少关注高元关系，虽然它们在现实世界的知识库中是普遍存在的。本文考虑了n元关系事实的链接预测，并提出了一种基于图的方法来完成这项任务。我们的方法的关键是将事实的n元结构表示为一个小的异构图，并使用边偏置全连接注意力对该图进行建模。完全连接的注意捕捉普遍的顶点间的相互作用，而与边缘意识的注意的偏见，特别是编码的图形结构和它的异质性。以这种方式，我们的方法完全模型的全局和局部的依赖关系，在每个n元的事实，因此可以更有效地捕捉其中的关联。广泛的评估验证了我们的方法的有效性和优越性。它在各种n元关系基准测试中的表现都比当前最先进的技术要好得多。我们的代码是公开的。
2021-05-18 cs.AI
Link Prediction on N-ary Relational Data Based on Relatedness Evaluation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
随着知识图（Knowledge Graphs，KG）的广泛应用，链接预测填补知识图中缺失的信息一直是研究者关注的焦点。然而，它们主要集中在二进制关系数据上的链接预测，其中事实通常以（头实体，关系，尾实体）的形式表示为三元组。在实践中，n元关系事实也无处不在。当遇到这样的事实，现有的研究通常分解成三元组，通过引入大量的辅助虚拟实体和额外的三元组。这些转换导致在n元关系数据上执行链接预测的复杂性。它甚至已经证明，它们可能会导致结构信息的丢失。为了克服这些问题，在本文中，我们表示每个n元的关系事实作为一组的角色和角色-值对。然后，我们提出了一种称为NaLP的方法进行链接预测的n元关系数据，显式模型的相关性的所有角色和角色-值对的n元关系事实。我们进一步扩展了NaLP，引入了角色和角色值的类型约束，而没有任何外部类型特定的监督，并提出了一个更合理的负采样机制。实验结果验证了所提方法的有效性和优越性。
2021-04-21 cs.AI cs.CL cs.LG
Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers
本文提出 Graph-Aware Isomorphic Attention，将注意力机制重构为图操作，利用 GIN 和 PNA 增强关系结构表示，并引入 Sparse GIN-Attention 微调法，以更低开销提升预训练模型的图感知能力与泛化性。
2025-03-05 cond-mat.mes-hall cond-mat.mtrl-sci cs.AI
Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data
Stanford University（斯坦福大学）；Kumo AI；University of Oxford（牛津大学）；SAP Labs LLC（SAP实验室有限责任公司）
关系变换器通过零样本迁移能力，为关系数据提供高效的基础模型解决方案。
2026-03-02 cs.AI cs.DB cs.LG
Edge Attention-based Multi-Relational Graph Convolutional Networks
图卷积网络（GCN）是卷积神经网络（CNN）的推广，可以处理任意结构的图。二进制邻接矩阵通常用于训练GCN。最近，注意力机制允许网络学习邻域的动态和自适应聚合。我们提出了一个新的GCN模型的图，其边缘的特点是在多个视图或精确的多个关系。例如，在化学图论中，化合物结构通常由氢耗尽的分子图表示，其中节点对应于原子，边对应于化学键。多个属性对于表征化学键可能很重要，例如原子对（键连接的原子类型），芳香性以及键是否在环中。不同的属性导致相同分子的不同图形表示。在化学和机器学习领域，人们越来越感兴趣的是从分子图中直接学习化合物的分子性质，而不是从化学家预先定义的指纹中。所提出的GCN模型，我们称之为基于边缘注意力的多关系GCN（EAGCN），在图卷积中联合学习注意力权重和节点特征。对于每个键属性，使用实值注意矩阵来代替二进制邻接矩阵。通过为边缘注意力设计字典，并通过查找字典形成每个分子的注意力矩阵，EAGCN利用不同分子中键之间的对应关系。化合物性质的预测是基于聚合的节点特征，这是独立的变化的分子（图）的大小。我们证明了EAGCN对多个化学数据集的有效性：Tox21，HIV，Freesolv和亲脂性，并解释了由此产生的注意力权重。
2018-05-20 cs.LG stat.ML
Biquaternionic Space with Complex-valued Attention for Temporal Knowledge Graph Completion
University of Chinese Academy of Sciences（中国科学院大学）
提出BSCA模型，在双四元数空间中结合圆与双曲旋转，用复值注意力动态融合实体表示，在GDELT等基准上显著提升时序知识图谱补全性能。
2026-09-15 cs.AI cs.LG
Geometric Structural Knowledge Graph Foundation Model
University of Stuttgart（斯图加特大学）；University of Southampton（南安普顿大学）；Shahrood University of Technology（沙霍尔德大学）
Gamma通过引入多头几何注意力机制，提升知识图谱推理的表达能力，优于现有方法Ultra，在零样本归纳链接预测中表现更优。
2025-12-28 cs.AI cs.LG
Gated MLPs as Symmetry-Broken Rank-1 Bilinear Attention
LLMs（大型语言模型）
将门控MLP视为秩1双线性注意力的近似，通过非线性打破对称性，解释其有效性并指导架构设计。
2026-06-23 cs.AI cs.LG
HERMES: Heterogeneous Edge-Relational Multi-Head Embedded SSM Attention for Traffic Conflict Prediction at Signalized Intersections
研究针对交通冲突预测，提出HERMES异构边缘关系图神经网络，利用特定关系注意力等方法，在多指标上表现优异，优于基线模型，联合训练提升目标站点性能，为信号交叉口路边安全监测提供支持。
2026-07-24 cs.LG cs.RO
hia-gat: A Heterogeneous Interaction-Aware Graph Attention Network For Frame-Level Traffic Conflict Risk Prediction On Freeways
DENSO International America, Inc.（电装国际美国公司）
提出HIA-GAT，一种双流异构图注意力网络，通过专用注意力路径处理纵向和横向交互，并利用冲突类型感知门控机制融合，在NGSIM数据集上实现最佳风险排名性能（AUC最高0.867），并提供可解释的车辆级冲突归因。
2026-06-29 cs.AI cs.LG
Gated-Attention Readers for Text Comprehension
Carnegie Mellon University（卡内基梅隆大学）
本文研究了基于文档的完形填空题的回答问题。我们的模型，门控注意力（GA）阅读器，集成了一个新的注意力机制，这是基于查询嵌入和递归神经网络文档阅读器的中间状态之间的乘法相互作用的多跳架构。这使读者能够在文档中构建特定于查询的标记表示，以实现准确的答案选择。GA阅读器在三个基准上获得了最先进的结果-CNN \& Daily Mail新闻故事和Who Did What数据集。通过消融研究证明了乘法交互的有效性，并通过与用于实施门控注意的替代组合算子进行比较。该代码可在https://github.com/bdhingra/ga-reader上获得。
2017-04-21 cs.CL cs.LG
Value-State Gated Attention for Mitigating Extreme-Token Phenomena in Transformers
Ant Group（蚂蚁集团）；WICT, Peking University（北京大学信息学院）
本文提出价值状态门控注意力机制，通过直接打破注意力与价值状态的循环，有效缓解Transformer中的极端令牌现象，提升模型性能与可解释性。
2026-01-26 cs.AI cs.LG
How Attentive are Graph Attention Networks?
Technion（以色列理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Language Technologies Institute（语言技术研究所）
图注意力网络（GAT）是最受欢迎的GNN架构之一，被认为是使用图进行表示学习的最先进架构。在GAT中，每个节点都关注其邻居，并将其自己的表示作为查询。然而，在本文中，我们表明，GAT计算一种非常有限的注意力：排名的注意力分数是无条件的查询节点。我们正式定义这种有限的注意力为静态注意力，并将其与严格更具表现力的动态注意力区分开来。由于GAT使用静态注意力机制，有简单的图形问题，GAT不能表示：在一个受控的问题，我们表明，静态注意力阻碍GAT甚至拟合的训练数据。为了消除这一限制，我们引入了一个简单的修复修改操作的顺序，并提出GATv2：一个动态的图形注意力的变种，是严格的表达比GAT。我们进行了广泛的评估，并表明GATv2在11 OGB和其他基准测试中优于GAT，同时我们匹配它们的参数成本。我们的代码可在https://github.com/tech-srl/how_attentive_are_gats上获得。GATv2作为PyTorch Geometric库、Deep Graph库和TensorFlow GNN库的一部分提供。
2022-01-31 cs.LG
Attention on Abstract Visual Reasoning
注意力机制一直在提高深度学习模型在从语音理解到程序归纳等广泛应用中的性能。然而，尽管心理学实验表明，注意力在视觉推理中起着至关重要的作用，但到目前为止，注意力机制的全部潜力还没有被探索用于解决图像数据上的抽象认知任务。在这项工作中，我们提出了一个混合网络架构，自我注意力和关系推理的基础上。我们称这种新的模型为注意力关系网络（ARNe）。ARNe结合了最近引入的Transformer和Wild Relation Network（WReN）的功能。我们测试ARNe的程序生成矩阵（PGMs）数据集的抽象视觉推理。ARNe在这项任务上优于WReN模型11.28 ppt。对象之间的关系概念被有效地学习，只需要35%的训练样本就可以超过基线模型的报告精度。我们提出的混合模型，代表了一种替代学习抽象的关系，使用自我注意力，并证明了Transformer网络也非常适合抽象的视觉推理。
2019-11-14 cs.LG stat.ML
Gating and Learnable Temperature for Graph Attention Mechanisms
School of Cybersecurity, Northwestern Polytechnical University（网络安全学院，西北工业大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出门控图注意力和可学习温度机制，通过过滤不可靠特征维度并动态调整注意力系数分布的锐度，提升图注意力网络在均匀和异质异配基准上的性能。
2026-10-27 cs.LG
A Statistical Theory of Gated Attention through the Lens of Hierarchical Mixture of Experts
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内理工大学）；Purdue University（普渡大学）；Trivita AI
本文通过层次混合专家视角，理论分析了门控注意力机制的样本效率优势及其在不同位置的性能差异。
2026-02-01 cs.LG stat.ML
Toward Manifest Relationality in Transformers via Symmetry Reduction
University of Graz (Uni Graz)（格拉茨大学）；Masaryk University (MUNI)（马萨里克大学）；Mons University (UMONS)（蒙斯大学）
本文提出通过对称性减少方法，改进变换器模型以减少参数冗余并分析优化。
2026-07-22 cs.LG cs.NE hep-th
Discovering Predictive Relational Object Symbols with Symbolic Attentive Layers
Bogazici University（博加齐奇大学）；Ozyegin University（奥哲因大学）；Osaka University（大阪大学）
提出一种基于自注意力层的深度学习架构，通过机械臂自监督交互自然处理动态数量物体，显式映射物体间关系为符号，在效果预测上优于基线并成功发现反映环境规律的物体与关系符号。
2023-09-02 cs.LG cs.RO
Gating Enables Curvature: A Geometric Expressivity Gap in Attention
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Southern California（南加州大学）
研究揭示门控注意力机制在几何表达性上的优势，通过分析高斯分布均值参数的几何结构，发现门控能产生非平坦流形，提升模型表现，尤其在非线性决策边界任务中表现更佳。
2026-04-16 cs.LG stat.ML
Spiking GATs: Learning Graph Attentions via Spiking Neural Network
Anhui University（安徽大学）
图注意力网络（GATs）已被深入研究并广泛应用于图数据学习任务。现有的GAT一般采用自注意力机制来进行图边注意学习，需要昂贵的计算。众所周知，脉冲神经网络（SNN）可以通过将输入信号数据传输到离散的脉冲串中来执行廉价的计算，并且还可以返回稀疏的输出。受SNN优点的启发，在这项工作中，我们提出了一种新的图形尖峰注意力网络（GSAT）用于图形数据表示和学习。与现有GAT中的自注意力机制相比，GSAT采用了SNN模块结构，具有明显的节能性。此外，GSAT可以返回稀疏的注意力系数在自然，从而可以进行选择性的邻居，这使得GSAT执行鲁棒性w.r.t图边缘噪声的特征聚合。在多个数据集上的实验结果证明了GSAT模型的有效性、能量效率和鲁棒性。
2022-09-05 cs.LG cs.NE
GaAN: Gated Attention Networks for Learning on Large and Spatiotemporal Graphs
The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）；Amazon Web Services（亚马逊网络服务）；Microsoft Research（微软研究院）
我们提出了一种新的网络架构，门控注意力网络（GaAN），用于图上的学习。与传统的多头注意力机制不同，GaAN使用卷积子网络来控制每个注意力头的重要性。我们证明了GaAN在归纳节点分类问题上的有效性。此外，以GaAN为构建块，我们构建了图门循环单元（GGRU）来解决交通速度预测问题。在三个真实世界数据集上的广泛实验表明，我们的GaAN框架在这两个任务上都取得了最先进的结果。
2018-03-20 cs.LG cs.SI
Quadratic Gating Mixture of Experts: Statistical Insights into Self-Attention
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Johns Hopkins University（约翰霍普金斯大学）
本文建立MoE与自注意力的理论联系，提出二次门控MoE的收敛性分析，并据此设计主动注意力机制，在图像分类、语言建模和时序预测中优于标准自注意力。
2025-07-08 cs.LG stat.ML
GAT-RWOS: Graph Attention-Guided Random Walk Oversampling for Imbalanced Data Classification
College of Information Technology, United Arab Emirates University（阿拉伯联合酋长国大学信息技术学院）；KU Leuven（鲁汶大学）
针对类别不平衡导致模型偏向多数类的问题，提出GAT-RWOS方法，利用图注意力网络引导随机游走并在路径上插值生成少数类样本，有效提升分类性能并优于现有过采样技术。
2024-12-20 cs.LG stat.ML
Deep Neural Network Embeddings with Gating Mechanisms for Text-Independent Speaker Verification
University of Science and Technology of China（中国科学技术大学）
本文将门控机制应用于深度神经网络（DNN）训练中，用于基于x向量的文本无关说话人验证。首先，采用门控卷积神经网络（GCNN）对帧级嵌入层进行建模。与时间延迟DNN（TDNN）相比，GCNN通过精心设计的存储单元和门控机制，可以获得更具表现力的帧级表示。此外，我们提出了一种新的门控注意力统计池策略，其中的注意力分数与输出门共享。门控注意统计池将门控和注意机制结合到一个框架中，因此，我们可以在时间池层中捕获更多有用的信息。使用NIST SRE 16和SRE 18评估数据集进行实验。实验结果证明了GCNN的有效性，并表明所提出的门控注意力统计池可以进一步提高性能。
2019-04-04 cs.LG cs.SD eess.AS
GATCluster: Self-Supervised Gaussian-Attention Network for Image Clustering
Xidian University（西安电子科技大学）；Tencent AI Healthcare（腾讯AI医疗）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们提出了一个自监督高斯注意力网络图像聚类（GATCluster）。GATCluster不是先提取中间特征，然后执行传统的聚类算法，而是直接输出语义聚类标签，无需进一步的后处理。从理论上讲，我们给出了一个标签特征定理，以保证学习的特征是一个热编码向量，并避免平凡的解决方案。为了以完全无监督的方式训练GATCluster，我们设计了四个具有变换不变性、可分性最大化、熵分析和注意力映射约束的自学习任务。具体来说，变换不变性和可分性最大化任务学习样本对之间的关系。熵分析任务旨在避免平凡的解决方案。为了捕捉面向对象的语义，我们设计了一个自我监督的注意力机制，其中包括一个参数化的注意力模块和软注意力损失。所有用于聚类的引导信号都是在训练过程中自生成的。此外，我们开发了一个两步的学习算法，是内存效率的聚类大尺寸的图像。大量的实验表明，我们提出的方法相比，国家的最先进的图像聚类基准的优越性。我们的代码已在https://github.com/niuchuangnn/GATCluster上公开发布。
2020-06-06 cs.CV cs.LG eess.IV
A Robust graph attention network with dynamic adjusted Graph
National University of Defense Technology（国防科技大学）
图注意力网络（GATs）是处理图数据的有用的深度学习模型。然而，最近的工作表明，经典的GAT是脆弱的对抗攻击。它会随着轻微的扰动而急剧退化。因此，如何增强GAT的鲁棒性是一个关键问题。为了提高GAT算法的鲁棒性，在对注意力机制进行改进的基础上，提出了鲁棒GAT算法（RoGAT）。与原GAT算法对不同边缘采用注意力机制，但仍对扰动敏感不同，RoGAT算法逐步增加了一个额外的动态注意力分数，提高了鲁棒性。首先，RoGAT修改的基础上的光滑性假设，这是很常见的普通图的边的重量。其次，RoGAT进一步修正特征以抑制特征噪声。然后，通过动态边的权重生成额外的注意力分数，并可用于减少对抗攻击的影响。针对引文数据的有针对性和无针对性攻击的不同实验表明，RoGAT优于大多数最近的防御方法。
2022-08-04 cs.LG stat.ML
PREF-Gate: Provenance-Constrained Relational Evidence Fusion with Validation-Gated Selection for Graph Fraud Detection
Central South University（中南大学）；University of Technology Sydney, Australian Artificial Intelligence Institute（悉尼科技大学，澳大利亚人工智能研究所）
研究图欺诈检测问题，提出PREF-Gate框架，结合无标签图上下文与标签衍生邻域证据，通过验证门控选择专家或概率混合，在多数据集实验中取得较好结果，提供可审计决策管道。
2026-07-14 cs.AI cs.LG
Relational Attention: Generalizing Transformers for Graph-Structured Tasks
Rice University（莱斯大学）；Microsoft Research（微软研究院）
Transformers在表示任务特定实体及其属性的实值向量集上灵活地操作，其中每个向量可以编码一个单词段标记及其在序列中的位置，或者编码一些根本不携带位置的信息段。但作为集合处理器，Transformers在对更一般的图结构数据进行推理时处于劣势，其中节点表示实体，边表示实体之间的关系。为了解决这个缺点，我们概括了Transformer的注意力，以考虑和更新每个Transformer层中的边缘向量。我们评估这种关系的Transformer上的一系列不同的图形结构的任务，包括大型和具有挑战性的CLRS数学推理基准。在那里，它大大优于最先进的图神经网络，专门设计用于对图结构数据进行推理。我们的分析表明，这些收益是由于关系注意力的内在能力，利用更大的表现力的图形集。
2023-03-10 cs.AI cs.LG
MetaRTL: Meta-path Attention Enhanced Relational Table Learning
Shanghai Jiao Tong University（上海交通大学）；Shanghai Key Laboratory of Integrated Administration Technologies for Information Security（上海市信息安全综合管理技术重点实验室）
MetaRTL提出两阶段框架，通过轻量预训练和非参数元路径聚合替代深度GNN，在10个数据集24项任务上实现高效且富有表现力的关系表学习。
2026-09-18 cs.AI
InRTL: Effective Intra-Inter Interaction Learning for Relational Tables
Shanghai Jiao Tong University（上海交通大学）
本文提出InRTL，一个统一框架，通过列感知编码器、Transformer自注意力与交叉注意力，以及线性化注意力和异构图神经网络，显式建模关系型表格的表内与表间交互，在24个真实任务上验证了有效性。
2026-09-14 cs.AI cs.LG
MUREL: Multimodal Relational Reasoning for Visual Question Answering
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Heuritech（赫瑞泰克公司）；Conservatoire National des Arts et Métiers（法国国立工艺学院）
多模态注意网络是目前涉及真实图像的视觉问答（VQA）任务的最新模型。虽然注意力可以集中在与问题相关的视觉内容上，但这种简单的机制可能不足以模拟VQA或其他高级任务所需的复杂推理功能。在本文中，我们提出了MuRel，这是一种多模态关系网络，它是端到端学习的，可以在真实图像上进行推理。我们的第一个贡献是介绍了MuRel细胞，原子推理原语表示问题和图像区域之间的相互作用，通过丰富的矢量表示，并与成对组合的区域关系建模。其次，我们将细胞整合到一个完整的MuRel网络中，该网络逐步细化视觉和问题交互，并且可以用来定义比单纯的注意力地图更精细的可视化方案。我们验证了我们的方法与各种消融研究的相关性，并在三个数据集上显示了其优于基于注意力的方法：VQA 2.0，VQA-CP v2和TDIUC。我们最终的MuRel网络在这种具有挑战性的环境中具有竞争力或优于最先进的结果。我们的代码可在：https://github.com/Cadene/murel.bootstrap.pytorch
2019-02-25 cs.AI cs.CL cs.CV
Rel-MOSS: Towards Imbalanced Relational Deep Learning on Relational Databases
Department of Data Science and Artificial Intelligence（数据科学与人工智能系）；Hong Kong Polytechnic University（香港理工大学）；School of Computer Science and Engineering（计算机科学与工程学院）；Central South University（中南大学）；School of Information and Communication Technology（信息与通信技术学院）；Griffith University（格里菲斯大学）；National Super Computing Center（国家超级计算中心）
针对关系数据库中实体分类的类别不平衡问题，提出关系中心少数类合成过采样GNN（Rel-MOSS），通过关系门控控制器和关系引导的少数类合成器提升少数类表示，在12个数据集上平均平衡准确率提升2.46%，G-Mean提升4.00%。
2026-05-28 cs.AI cs.DB cs.LG
Relational Intervention During Functional Collapse in Large Language Models: A Lexical-Statistical Ablation and a Structure x Register Factorial
Universidad de la República (UDELAR)（乌拉圭共和国大学）；DigitalIA Cloud（DigitalIA云）
通过析因实验，研究在小型语言模型功能崩溃时，关系性干预（承认、宽恕、代理恢复、无条件接纳）与技术性反馈、词汇打乱控制及单独维度对行为的影响，发现注意-行为分离及结构×语域交互作用。
2026-05-31 cs.AI cs.CL cs.HC
Latent Relational Metric Learning via Memory-based Attention for Collaborative Ranking
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（信息通信研究院）
提出了一种新的隐式反馈协同排序神经网络结构。我们的模型LRML（\textit{Latent Relational Metric Learning}）是一种新颖的推荐指标学习方法。更具体地说，而不是简单的推拉机制之间的用户和项目对，我们建议学习潜在的关系，描述每个用户项目的互动。这有助于缓解现有度量学习方法的潜在几何不确定性。这不仅可以实现更好的性能，还可以实现更大程度的建模能力，允许我们的模型扩展到更大数量的交互。为了做到这一点，我们采用了一个增强的记忆模块，并学习关注这些记忆块来构建潜在的关系。基于记忆的注意力模块由用户-项目交互控制，使得学习到的关系向量特定于每个用户-项目对。因此，这可以被解释为学习每个用户-项目交互的排他性和最佳关系翻译。所提出的架构展示了跨多个推荐基准的最先进的性能。LRML在Netflix和MovieLens 20 M等大型数据集上的Hits@10和nDCG@10方面优于$6\%-7.5\%$的其他度量学习模型。此外，定性研究还证明，我们提出的模型能够推断和编码明确的情感，时间和属性信息，尽管只接受隐式反馈的训练。因此，这保证了LRML发现隐式数据集中隐藏的关系结构的能力。
2018-02-13 cs.AI cs.IR
FloydNet: A Learning Paradigm for Global Relational Reasoning
Beijing Academy of Artificial Intelligence（北京人工智能研究院）
FloydNet通过全局关系张量和动态规划操作符，实现高效图推理，展现超越传统GNN的性能和表达能力。
2026-09-02 cs.AI cs.LG
Integrating Temporal and Structural Context in Graph Transformers for Relational Deep Learning
University of Pennsylvania（宾夕法尼亚大学）；SAP（SAP公司）
本文针对关系数据建模中时间信息利用不足和单任务限制问题，提出时间子图采样器和关系图感知器RGP，通过潜在瓶颈整合时空上下文并支持多任务联合学习，在多个基准上取得最优性能。
2025-11-06 cs.AI cs.LG
Relational Graph Transformer
Stanford University（斯坦福大学）；NVIDIA
RelGT通过新颖的多元素分词策略，解决关系图中异构性、时效性和拓扑结构的编码问题，实现对关系数据的高效建模，优于GNN基线。
2026-02-05 cs.AI cs.DB cs.LG
Task-Driven Graph Attention for Hierarchical Relational Object Navigation
Stanford University（斯坦福大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究提出了层次化关系目标导航（HRON）任务，并开发了一种基于场景图和图神经网络骨干、集成任务驱动注意力机制的解决方案，有效提升了大型场景中目标导航的可扩展性与学习效率。
2023-06-23 cs.AI
Reinforcement Learning with Analogical Similarity to Guide Schema Induction and Attention
University of Colorado, Boulder（科罗拉多大学博尔德分校）
类比推理的研究表明，高阶认知功能，如抽象推理，远迁移和创造力是建立在识别关系系统之间的结构相似性。在这里，我们将类比理论与强化学习（RL）的计算框架相结合。我们提出了一种心理学理论，即类比和RL之间的计算协同作用，其中类比比较为RL学习算法提供了关系相似性的度量，RL提供了可以驱动类比学习的反馈信号。仿真结果支持这种方法的力量。
2017-12-28 cs.AI
Griffin: Towards a Graph-Centric Relational Database Foundation Model
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Amazon Web Services（亚马逊网络服务）
本研究提出首个专门面向关系数据库的图中心基础模型Griffin，通过统一编解码架构、交叉注意力模块等创新组件及多数据集预训练，在超1.5亿节点的多领域图任务上性能优异，低数据场景和迁移能力突出。
2025-06-11 cs.AI cs.DB cs.LG
LCG: Long-Context Consistent Image Generation with Sparse Relational Attention
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Hong Kong University of Science and Technology（香港科技大学）
提出LCG框架，利用稀疏关系注意力（SRA）和路由一致性约束（RCC），在长序列图像生成中保持语义和外观一致性，并构建了大规模数据集LCCD进行训练和评估。
2026-06-26 cs.AI cs.CV
MST-GAT: A Multimodal Spatial-Temporal Graph Attention Network for Time Series Anomaly Detection
East China Normal University（华东师范大学）
针对多模态时间序列异常检测中未显式建模模态间时空关系的问题，提出MST-GAT网络，结合图注意力与时序卷积捕获相关性，在四个基准上优于现有方法并提升可解释性。
2023-10-17 cs.AI cs.LG
Generating Realistic Synthetic Relational Data through Graph Variational Autoencoders
Aindo；University of Trieste（的里雅斯特大学）；Katholieke Universiteit Leuven（鲁汶大学）；Business Integration Partners (BIP)（商业集成伙伴公司（BIP））；Chaucer（乔叟公司）
合成数据生成作为传统数据匿名化的更可靠的替代方案最近获得了广泛的关注。所涉及的方法最初是为图像合成而开发的。因此，它们在医疗保健、金融和其他行业的典型表格和关系数据集上的应用是非常重要的。虽然大量的研究已经致力于现实的表格数据集的生成，合成关系数据库的研究仍处于起步阶段。在本文中，我们结合变分自编码器框架与图神经网络来生成真实的合成关系数据库。然后，我们将得到的方法应用到两个公开的数据库中的计算实验。结果表明，真实数据库的结构准确地保留在合成数据集，即使是大型数据集与先进的数据类型。
2022-11-30 cs.AI cs.LG
Multimodal Function Vectors for Visual Relations
University of California, Berkeley（加州大学伯克利分校）
通过因果中介分析提取多模态函数向量，操纵注意力头以改善视觉关系推理，并实现零样本和微调性能提升。
2026-05-29 cs.AI cs.LG
Methodological and Conceptual Framework for 5D Multi-Table Analysis: A Unified Approach for Complex Data Reuse
CHU de Lille（里尔大学中心医院）；Lille Centrale Institute（里尔中央理工学院）；Lille University（里尔大学）
本文提出关系超图Transformer（RHT）架构，用于解决复杂关系数据的多表学习问题，在Synthea数据集上验证其生成语义连贯嵌入的能力，计划后续在MIMIC-IV上开展临床验证。
2026-08-28 cs.AI cs.LG
Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty
Ant Group（蚂蚁集团）
联邦学习（FL）近年来受到越来越多的关注。作为一种保护隐私的协作学习范式，它可以实现更广泛的应用，特别是对于计算机视觉和自然语言处理任务。然而，迄今为止，联邦学习在关系数据上的研究有限，即知识图谱（KG）。在这项工作中，我们提出了一个修改后的版本的图神经网络算法，在不同的参与者进行联合建模的KG。具体来说，为了解决固有的数据异构性问题和算法收敛效率低下，我们提出了一种新的优化算法，命名为FedAlign，1）最佳运输（OT）的客户端个性化和2）重量约束，以加快收敛。在几个广泛使用的数据集上进行了大量的实验。实验结果表明，我们提出的方法优于最先进的FL方法，如FedAVG和FedProx，具有更好的收敛性。
2020-11-23 cs.AI cs.LG
Pair-Based Joint Encoding with Relational Graph Convolutional Networks for Emotion-Cause Pair Extraction
South China University of Technology（华南理工大学）
情感-原因对提取（ECPE）是近年来受到广泛关注的一个研究课题，旨在提取情感小句及其对应的原因小句。先前的方法以指定的顺序顺序对特征进行顺序编码。他们首先编码的情感和原因特征提取小句，然后将它们结合起来对提取。这导致任务间特征交互的不平衡，其中稍后提取的特征与前者没有直接接触。为了解决这个问题，我们提出了一种新的基于对的联合编码（PBJE）网络，它产生的对和子句功能，同时在一个联合特征编码的方式来建模子句中的因果关系。PBJE能够平衡情感小句、原因小句和语对之间的信息流。从多关系的角度出发，构造了一个异构无向图，并应用关系图卷积网络（RGCN）来刻画子句之间的各种关系以及对与子句之间的关系。实验结果表明，PBJE在中文基准语料库上达到了最佳的性能。
2022-12-04 cs.AI cs.CL
