Supervised Learning on Relational Databases with Graph Neural Networks
Amazon Web Services（亚马逊云服务）
大多数数据科学家和机器学习从业者在工作中使用关系数据[State of ML and Data Science 2017，Kaggle，Inc.]。但是在存储在关系数据库中的数据上训练机器学习模型需要大量的数据提取和特征工程工作。这些工作不仅代价高昂，而且还破坏了数据中潜在的重要关系结构。我们介绍了一种方法，使用图神经网络来克服这些挑战。我们提出的方法在三个数据集中的两个数据集上的性能优于最先进的自动特征工程方法。
2020-02-06 cs.AI cs.DB cs.LG
SRNN: Spatiotemporal Relational Neural Network for Intuitive Physics Understanding
CogBeauty Lab（CogBeauty实验室）
针对机器直觉物理能力弱于人类的问题，本文提出受大脑启发的时空关系神经网络SRNN，通过统一神经表征连接感知与语言，在CLEVRER基准取得竞争性性能，揭示基准偏差并能精准定位错误根源。
2025-11-19 cs.AI cs.LG
Neural Relational Inference with Efficient Message Passing Mechanisms
Sun Yat-sen University（中山大学）
许多复杂的过程可以看作是相互作用的动力系统。在许多情况下，只观察到单个代理的状态序列，而相互作用的关系和动力学规则是未知的。神经关系推理（NRI）模型采用图神经网络，通过潜在图传递消息，以根据观察到的数据共同学习关系和动态。然而，NRI独立推断的关系，遭受的多步预测在动态学习过程中的误差积累。此外，在更复杂的系统中，没有先验知识的关系重构变得更加困难。针对这些问题，本文在具有结构先验知识的图神经网络中引入了有效的消息传递机制。提出了一种关系交互机制来捕获所有关系的共存，并提出了一种时空消息传递机制，利用历史信息来减轻错误积累。此外，结构先验知识，对称性作为一种特殊情况下，更好地预测在更复杂的系统中的关系。在模拟物理系统上的实验结果表明，该方法优于现有的最先进的方法。
2021-01-23 cs.AI cs.LG
TMR-GGNN: Credit Card Fraud Detection based on Time-Aware Multi-Relational Guided Graph Neural Network
Unysis Truist Banks Infinity Tech Group Technical Product（Unysis 信任银行 Infinity 技术集团技术产品）；Fairfax, USA（美国费尔法克斯）；Atlanta, USA（美国亚特兰大）；Sunnyvale, USA（美国 Sunnyvale）；Persistent Systems IEEE Vice Chair AeroSpace Chapter（Persistent 系统 IEEE 副主席航空航天分会）；Discover Financial Services（Discover 金融服务）；Edison, USA（美国埃迪森）
提出TMR-GGNN框架，通过时间窗口内异构实体交互建模、动态多关系图构建、时间感知注意力机制和对比学习解码器，结合InfoNCE与Focal Loss复合损失函数，解决数据不平衡和欺诈模式演化问题。
2026-06-18 cs.AI cs.LG
Multi-Relational Graph Neural Network for Out-of-Domain Link Prediction
Universitá di Pisa（比萨大学）；H&M Group（H&M集团）
针对动态多关系图中的域外链接预测任务，提出GOOD模型，通过解耦关系嵌入混合比例实现泛化，在零售领域基准上取得最优结果。
2024-03-17 cs.AI cs.LG
Beyond Graph Neural Networks with Lifted Relational Neural Networks
Czech Technical University in Prague（布拉格捷克理工大学）
我们展示了一个声明式可微编程框架的语言的提升关系神经网络，其中小的参数化逻辑程序被用来编码关系学习的情况下。当呈现诸如各种形式的图形的关系数据时，程序解释器动态地展开可微计算图形以通过标准手段用于程序参数优化。从使用的声明式数据库抽象，这导致到紧凑和优雅的学习程序，与现有的程序方法直接操作的计算图的水平。我们说明了这个想法如何用于现有各种先进神经架构的有效编码，特别关注图神经网络（GNN）。此外，我们还展示了当代GNN模型如何轻松扩展到更高的关系表达能力。在实验中，我们通过与专门的GNN深度学习框架进行比较来证明正确性和计算效率，同时对现有GNN模型的学习性能进行了一些说明。
2020-07-13 cs.AI cs.LG cs.LO
Implicit Hypergraph Neural Networks: A Stable Framework for Higher-Order Relational Learning with Provable Guarantees
针对超图神经网络因堆叠显式层导致长程依赖受限和训练不稳定的问题，提出隐式超图神经网络IHGNN，通过求解非线性不动点方程实现稳定全局传播，并证明其收敛性与泛化能力。
2025-08-13 cs.AI cs.LG
Stacked Structure Learning for Lifted Relational Neural Networks
Faculty of Electrical Engineering, CTU in Prague（布拉格捷克理工大学电气工程学院）；School of Computer Science, Cardiff University（卡迪夫大学计算机科学学院）
提升关系神经网络（LRNN）使用加权一阶规则来描述关系域，这些规则用作构建前馈神经网络的模板。虽然以前的工作已经表明，使用LRNN可以在各种ILP任务中产生最先进的结果，但这些结果依赖于手工制作的规则。在本文中，我们用结构学习扩展了LRNN的框架，从而实现了完全自动化的学习过程。类似于许多ILP方法，我们的结构学习算法进行迭代的方式，通过自上而下的搜索，通过假设空间的所有可能的霍恩条款，考虑到谓词中出现的训练样本，以及发明的软概念所涉及的最佳加权规则迄今为止。在实验中，我们展示了自动诱导有用的分层软概念的能力，从而产生具有竞争力预测能力的深度LRNN。
2017-10-05 cs.AI cs.LG stat.ML
Relational reasoning and generalization using non-symbolic neural networks
Stanford University（斯坦福大学）
平等（身份）的概念是简单和普遍存在的，使其成为一个关键的案例研究更广泛的问题表示支持抽象的关系推理。以前的研究表明，神经网络不是人类关系推理的合适模型，因为它们不能表示数学上的同一性，即最基本的平等形式。我们重新讨论这个问题。在我们的实验中，我们使用任意表示和在单独的任务上预先训练的表示来评估平等的样本外泛化，以使它们具有结构。我们发现神经网络能够学习（1）基本等式（数学恒等式），（2）仅使用正训练实例的序列等式问题（学习ABA模式序列），以及（3）仅使用基本等式训练实例的复杂分层等式问题（“零射击”泛化）。在后两种情况下，我们的模型执行先前工作中提出的任务，以划分人类独特的符号能力。这些结果表明，符号推理的基本方面可以从数据驱动的非符号学习过程中出现。
2022-05-01 cs.AI cs.CL cs.LG
Relation Matters in Sampling: A Scalable Multi-Relational Graph Neural Network for Drug-Drug Interaction Prediction
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Goldman Sachs（高盛）；OPKO Diagnostics（OPKO诊断公司）
采样是将图神经网络扩展到大型图的既定技术。然而，目前的方法假设图是同质的关系，忽略了关系类型，在生物医学图中至关重要。多关系图包含各种类型的关系，这些关系通常具有可变的频率，并且对于手头的问题具有不同的重要性。我们提出了一种在图神经网络中对邻域采样的关系类型的重要性进行建模的方法，并表明我们可以学习正确的平衡：反映频率和重要性的关系类型概率。我们对药物相互作用预测的实验表明，最先进的图神经网络在准确性和效率方面都受益于依赖关系的采样。
2021-05-28 cs.AI cs.LG stat.ML
Systematic Relational Reasoning With Epistemic Graph Neural Networks
Cardiff University（卡迪夫大学）
针对图神经网络系统性推理能力不足的问题，提出认知图神经网络（EpiGNN），以认知状态作为节点嵌入并相应实现消息传递，在需要系统性推理的链接预测任务上达到最先进性能，并能在多路径聚合的新基准上准确推理。
2025-02-27 cs.AI cs.LG
Neural-Symbolic Relational Reasoning on Graph Models: Effective Link Inference and Computation from Knowledge Bases
Institute of Informatics, UFRGS（UFRGS信息学院）；City, University of London（伦敦大学城市学院）
神经符号模型的最新发展和日益增长的兴趣表明，混合方法可以为人工智能提供更丰富的模型。有效的关系学习和推理方法的整合是这一方向的关键挑战之一，因为神经学习和符号推理提供了互补的特征，有利于人工智能系统的开发。知识图谱上的关系标注或链接预测已经成为基于深度学习的自然语言处理研究的主要问题之一。此外，利用神经符号技术的其他领域也可能从这种研究努力中受益。在知识图谱中，已经有几种努力从现有事实中识别缺失的事实。两条研究路线试图通过考虑连接两个实体的所有已知事实或连接它们的几条事实路径来预测它们之间的知识关系。我们提出了一个神经符号图神经网络，它适用于学习所有的路径喂养的模型与嵌入的最小子集的知识图谱包含这样的路径。通过学习生成对应于词嵌入的实体和事实的表示，我们展示了如何端到端地训练模型来解码这些表示并以多任务方法推断实体之间的关系。我们的贡献是双重的：一个神经符号的方法，利用大型图的关系推理的分辨率，我们也证明了这种神经符号模型比基于路径的方法更有效
2020-05-05 cs.AI cs.LG stat.ML
Link Prediction with Relational Hypergraphs
University of Oxford（牛津大学）；Universidad Católica de Chile（智利天主教大学）
本文提出关系超图链接预测框架，使图神经网络适用于 k 元完全关系结构，并结合关系型 Weisfeiler-Leman 算法与逻辑表达性分析其能力，实验在归纳式和直推式任务上取得优异结果。
2025-06-09 cs.AI cs.LG
From Relational Pooling to Subgraph GNNs: A Universal Framework for More Expressive Graph Neural Networks
Tsinghua University（清华大学）；Peking University（北京大学）
本文提出从关系池化出发，通过显式节点标签和$k,l$-WL算法构建通用框架，统一子图GNN并提升任意基础GNN的表达力，实验验证其优越性能。
2023-05-08 cs.AI cs.LG
Reducing Over-smoothing in Graph Neural Networks Using Relational Embeddings
University of Amsterdam（阿姆斯特丹大学）
图神经网络（GNN）在处理图结构数据方面取得了很大的成功。然而，据观察，GNN的性能不会随着层数的增加而改善（甚至恶化）。这种效应被称为过度平滑，这意味着当堆叠多个层时，不同类的图节点的表示将变得无法区分。在这项工作中，我们提出了一种新的简单而有效的方法，通过显式地使用节点嵌入之间的关系来减轻GNNs中过度平滑问题的影响。在真实世界数据集上的实验表明，利用节点嵌入关系使GNN模型（如图注意力网络）对过度平滑更具鲁棒性，并在更深的GNN中实现更好的性能。我们的方法可以与其他方法结合使用，以获得最佳性能。GNN应用程序是无止境的，取决于用户的目标和他们拥有的数据类型。解决过度平滑问题可以潜在地提高模型在所有这些任务上的性能。
2023-01-07 cs.AI cs.LG
Controllable Edge-Type-Specific Interpretation in Multi-Relational Graph Neural Networks for Drug Response Prediction
School of Information and Artificial Intelligence, Anhui Agricultural University（安徽农业大学信息与人工智能学院）
本文提出 CETExplainer，一种面向癌症药物反应预测的可控边类型特异性事后可解释算法，通过互信息与结构评分提供具有生物学意义的细粒度解释，并在真实数据集上验证其稳定性和解释质量优于现有方法。
2024-09-03 cs.AI cs.LG
Hyperbolic Hypergraph Neural Networks for Multi-Relational Knowledge Hypergraph Representation
National Engineering Research Center for Big Data Technology and System（国家大数据技术与系统工程研究中心）；School of Computer Science and Technology（计算机科学与技术学院）；Huazhong University of Science and Technology（华中科技大学）
针对知识超图表示中信息损失问题，提出双曲超图神经网络H2GNN，采用超星消息传递捕获层次结构，在节点分类和链接预测上超越15个基线方法。
2024-12-11 cs.AI cs.LG
Knowledge Enhanced Neural Networks for relational domains
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
在最近的过去，对神经符号积分框架的兴趣越来越大，即，结合联结主义和符号方法的混合系统，以获得两个世界的最佳效果。在这项工作中，我们专注于一个特定的方法，KENN（知识增强神经网络），神经符号架构，注入到一个神经网络的顶部添加一个剩余层，修改相应的知识的初始预测的先验逻辑知识。在这种策略的优点中，包括子句权重，代表子句强度的可学习参数，这意味着模型可以学习每个规则对最终预测的影响。作为一种特殊情况，如果训练数据与约束相矛盾，KENN会学习忽略它，使系统对错误知识的存在具有鲁棒性。在本文中，我们提出了一个扩展的KENN的关系数据。KENN的主要优势之一在于其可扩展性，这要归功于对通过堆叠多个逻辑层获得的规则之间的依赖关系的灵活处理。我们的实验表明，这种策略的有效性。结果表明，KENN能够提高底层神经网络的性能，获得更好的或相当的精度方面的其他两个相关的方法，结合学习与逻辑，需要显着更少的时间学习。
2022-05-31 cs.AI cs.LG cs.LO
SPARE: A Single-Pass Neural Model for Relational Databases
Technical University of Darmstadt（达姆施塔特工业大学）；DFKI（德国人工智能研究中心）
本文提出了一种用于关系型数据库的新型单遍神经网络模型SPARE，通过利用数据的规则结构在单次遍历中完成训练，在保持与GNNs相似准确率的同时显著提升了训练和推理速度。
2023-10-20 cs.AI cs.DB
SMiLE: Provably Enforcing Global Relational Properties in Neural Networks
本文扩展SMiLE框架以支持神经网络上的全局关系性质强制执行，在单调性、全局鲁棒性和个体公平性任务上验证其通用性、可扩展性与完整保证能力。
2025-11-10 cs.AI cs.LG math.OC
What Planning Problems Can A Relational Neural Network Solve?
MIT（麻省理工学院）；MIT Computer Science & Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；MIT Department of Brain and Cognitive Sciences（麻省理工学院脑与认知科学系）；Center for Brains, Minds and Machines（脑、心智与机器中心）
本文通过电路复杂度分析，将关系神经网络可解决的规划问题分为三类，并给出构造性证明，为策略学习网络设计提供理论指导。
2024-05-02 cs.AI cs.LG cs.NE
Analogical and Relational Reasoning with Spiking Neural Networks
瑞文推理测验已被广泛用于测量人类的抽象推理和智力。然而，对于人工学习系统，抽象推理仍然是一个具有挑战性的问题。在本文中，我们研究如何增强生物启发尖峰模块的神经网络在解决这个问题中获得显着的优势。为了说明这一点，我们首先研究了我们的网络的性能与监督学习，然后与无监督学习。在RAVEN数据集上的实验表明，我们的监督网络的整体准确性超过了人类水平的性能，而我们的无监督网络则明显优于现有的无监督方法。最后，我们从监督和无监督学习的结果表明，与非增强的对应物不同，具有尖峰模块的网络能够在没有任何明确指令的情况下提取和编码时间特征，不严重依赖于训练数据，并且更容易推广到新问题。总之，这里报告的结果表明，具有尖峰模块的人工神经网络非常适合解决抽象推理。
2021-08-17 cs.AI cs.LG cs.NE
Relational Weight Priors in Neural Networks for Abstract Pattern Learning and Language Modelling
深度神经网络已经成为自然语言处理（NLP）中的主导方法。然而，近年来，很明显，系统性方面存在缺陷，限制了NLP中深度学习的性能和数据效率。这些缺点可以在低级人工任务中清楚地显示出来，主要是在合成数据上。抽象模式是神经网络在对未知数据进行概括方面的最著名的难题。它们是由项目之间的关系定义的，比如相等，而不是它们的值。有人认为，这些低级问题表明神经网络无法系统地学习。在这项研究中，我们提出了嵌入式基于关系的模式（ERBP）作为一种新的方式来创建一个关系的归纳偏见，鼓励学习平等和基于距离的关系抽象模式。ERBP基于基于关系模式（RBP），但被建模为网络权重的贝叶斯先验，并在其他标准网络学习中作为正则化项实现。ERBP易于集成到标准神经网络中，并且不影响其学习能力。在我们的实验中，ERBP先验导致几乎完美的泛化时，从合成的无噪声序列学习抽象模式。ERBP还使用RNN、GRU和LSTM网络改进了单词和字符级别的自然语言模型以及旋律中的音高预测。我们还发现，在更复杂的任务学习图编辑距离和组合句子蕴涵的改进。ERBP始终优于RBP和标准网络，表明它能够实现抽象模式学习，这有助于自然语言任务的性能。
2021-03-10 cs.AI cs.CL cs.LG
Lagrangian Neural Network with Differentiable Symmetries and Relational Inductive Bias
Indian Institute of Technology Delhi（印度德里理工学院）
物理世界的现实模型依赖于可微对称性，而这些对称性又对应于守恒定律。最近的拉格朗日和哈密顿神经网络的工作表明，一个系统的基本对称性可以很容易地通过一个神经网络时，提供了一个适当的归纳偏置学习。然而，这些模型仍然存在一些问题，例如无法推广到任意系统大小，可解释性差，最重要的是，无法学习平移和旋转对称性，这分别导致线性和角动量守恒定律。在这里，我们提出了一个动量守恒拉格朗日神经网络（MCLNN），学习系统的拉格朗日，同时也保持平移和旋转对称性。我们测试我们的方法对线性和非线性弹簧系统，和重力系统，展示了能量和动量守恒。我们还表明，开发的模型可以推广到任何任意大小的系统。最后，我们讨论了MCLNN的可解释性，它直接提供了多粒子系统相互作用的物理见解。
2021-10-12 cond-mat.mtrl-sci cs.AI cs.LG
Towards Foundation Models for Relational Databases with Language Models and Graph Neural Networks
University of Stuttgart, Stuttgart, Germany（斯图加特大学）；Internet Science Research Group, University of Southampton, Southampton, United Kingdom（互联网科学研究组，南安普顿大学）
本文提出结合语言模型和图神经网络的混合架构，通过关系实体图建模提升关系数据库的预测性能，实验表明其在多个任务中表现优异，接近监督基线并缩小与RDL的差距。
2026-05-15 cs.AI cs.DB
Effective Analog ICs Floorplanning with Relational Graph Neural Networks and Reinforcement Learning
University of Trieste（的里雅斯特大学）；Infineon Technologies AT（英飞凌科技奥地利公司）；Infineon Technologies AG（英飞凌科技股份公司）
本文提出结合关系图卷积神经网络与强化学习的模拟IC自动布局规划方法，实现跨电路设计知识迁移，在6个工业电路上较现有技术显著提升速度、面积与线长，并大幅缩短整体布局时间。
2024-11-20 cs.AI cs.LG cs.SY
The relational processing limits of classic and contemporary neural network models of language processing
University of Edinburgh（爱丁堡大学）；Universidad de Tarapacá（塔拉帕卡大学）；Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）
本研究测试经典PDP文本理解模型与当代带注意力的序列到序列模型，发现二者因无法实现角色与填充项的动态绑定，受故事统计结构变化影响性能跌至随机水平以下，对传统神经网络解释关系推理类语言现象的适用性提出质疑。
2019-05-12 cs.AI cs.CL
The Complexity of Bayesian Networks Specified by Propositional and Relational Languages
我们研究的复杂性推理的逻辑语言指定的贝叶斯网络。我们认为，范围从命题逻辑片段的功能免费的一阶逻辑与平等的表示，在这样做，我们涵盖了各种板模型和概率关系模型。我们研究了当网络、查询和域为输入时的推理复杂度（推理复杂度和组合复杂度），当网络固定且查询和域为输入时的推理复杂度（查询/数据复杂度），以及当网络和查询固定且域为输入时的推理复杂度（域复杂度）。我们绘制连接概率数据库和liftability结果，并获得复杂性类，范围从多项式到指数级。
2017-01-06 cs.AI
Propositional and Relational Bayesian Networks Associated with Imprecise and Qualitative Probabilistic Assesments
Universidade Estadual de Ponta Grossa（蓬塔格罗萨州立大学）
本文研究了一种表示语言的灵活性启发的概率逻辑和紧凑性启发的关系贝叶斯网络。我们的目标是处理命题和一阶结构与精确，不精确，不确定和定性概率评估。本文展示了如何通过信用网络理论来实现这一点。新的精确和近似推理算法的基础上多线性规划和迭代/循环传播的区间概率，其优越的性能，相比现有的，经验表明。
2012-07-11 cs.AI
GINA: Neural Relational Inference From Independent Snapshots
Saarland University（萨尔兰大学）
在自然界和社会中，动力系统普遍存在，在这种系统中，主体之间的局部相互作用引起复杂的新兴现象。这项工作探讨的问题，推断未知的相互作用结构（表示为一个图形），这样一个系统的测量其组成代理或单个组件（表示为节点）。我们考虑一种设置，其中底层动力学模型是未知的，并且其中不同的测量（即，快照）可以是独立的（例如，可能来自不同的实验）。我们提出了GINA（图推理网络架构），一个图神经网络（GNN），同时学习潜在的相互作用图，并在相互作用图的条件下，预测一个节点的可观察状态的基础上相邻顶点。GINA基于以下假设：在所有其他潜在图中，地面真实交互图允许预测节点的状态，给定其邻居的状态，具有最高的准确性。我们测试这一假设，并证明GINA的有效性在广泛的相互作用图和动态过程。
2021-05-29 cs.AI cs.IR cs.LG
Relational Bayesian Networks
Computer Science Department, Stanford University（斯坦福大学计算机科学系）
提出了一种表示多个随机事件概率关系的新方法。在先前包含概率规则的知识库用于此目的的情况下，在此关系上的概率分布直接由贝叶斯网络表示。通过使用一种强大的方式来指定这些网络中的条件概率分布，所得到的形式主义比以前的形式主义更具表达力。特别地，它提供了对事件的等式的约束，并且它允许定义复杂的嵌套组合函数。
2013-02-06 cs.AI
Relational Dynamic Bayesian Networks
University of Washington（华盛顿大学）
涉及随着时间的推移创建对象和关系的随机过程很普遍，但研究相对较少。例如，工厂装配过程中的准确故障诊断需要推断错误装配操作的概率，但高效且准确地做到这一点是困难的。这些过程被建模为动态贝叶斯网络，具有非常大的域和极高的维度的离散变量。在本文中，我们介绍了关系动态贝叶斯网络（RDBN），这是一个扩展的动态贝叶斯网络（DBNs）的一阶逻辑。RDBN是动态概率关系模型（DPRM）的推广，我们在以前的工作中提出了动态不确定域的模型。首先，我们扩展了Rao-Blackwellised粒子滤波在我们的早期工作中描述的RDBN。接下来，我们解除了与Rao Blackwellization在RDBN中的假设，并提出了两种新形式的粒子滤波。第一种方法使用谓词上的抽象层次来平滑粒子滤波器的估计。第二个采用核密度估计与核函数专门设计的关系域。实验结果表明，这两种方法在装配计划执行监控任务上的性能明显优于标准粒子滤波。
2011-09-09 cs.AI
A Sound and Complete Algorithm for Learning Causal Models from Relational Data
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
PC算法学习最大定向因果贝叶斯网络。然而，没有等价的完整算法来学习关系模型的结构，这是贝叶斯网络的一个更有表现力的概括。关系模型的理论和表示的最新发展支持关于条件独立性的提升推理。这使得一个强大的约束定向二元依赖关系，并形成了一个新的算法学习结构的基础。我们提出了学习因果关系模型的关系因果发现（RCD）算法。我们证明了RCD是健全和完整的，我们提出的实证结果表明，有效性。
2013-09-26 cs.AI
Canonicalizing Open Knowledge Bases with Multi-Layered Meta-Graph Neural Network
Harbin Institute of Technology（哈尔滨工业大学）；University of Notre Dame（圣母大学）
开放知识库中的名词短语和关系短语往往不规范，导致冗余和模糊的事实。在这项工作中，我们综合结构信息（从哪个元组，哪个句子）和语义信息（语义相似度）来做规范化。我们将两种类型的信息表示为多层图：结构信息形成跨句子、关系短语和名词短语层的链接;语义信息形成每层的加权层内链接。我们提出了一个图神经网络模型，通过多层元图结构聚合名词短语和关系短语的表示。实验表明，我们的模型优于现有的方法在一个公共数据集在一般领域。
2020-06-17 cs.AI cs.CL
Relational Neural Markov Random Fields
University of Texas at Dallas（德克萨斯大学达拉斯分校）
统计关系学习（SRL）模型由于其在处理不确定性的同时对复杂数据建模的能力而引起了人们的极大关注。然而，大多数这些模型已被限制到离散域，由于其有限的潜在功能。我们引入关系神经马尔可夫随机场（RN-MRFs），它允许处理复杂的关系混合域。我们的模型的主要优点是，它使最小的数据分布假设，并可以无缝地允许人类的知识，通过潜力或关系规则。我们提出了一种基于最大伪像估计的重要性采样学习算法来训练神经电位参数。我们在不同领域的经验评估，如图像处理和关系对象映射，清楚地证明了其对非神经同行的有效性。
2021-10-18 cs.AI cs.LG
Neural Feature Learning From Relational Database
IBM Research（IBM研究院）；Dublin Research Laboratory（都柏林研究实验室）
特征工程是数据科学中最重要也是最繁琐的任务之一。本文研究了从关系数据库中进行特征学习的自动化。我们首先从理论上证明，从关系数据中找到预测任务的最佳特征是NP难的。我们提出了一种有效的基于规则的方法的基础上，数学和深度神经网络自动学习适当的功能，从关系数据。我们在过去的Kaggle比赛中对我们的方法进行了基准测试。我们的新方法赢得了最后的奖牌，并以显著的优势击败了最先进的解决方案。据我们所知，这是自动化数据科学系统首次在Kaggle竞赛中使用复杂的关系数据库赢得奖牌。
2019-06-15 cs.AI cs.LG
Relational Neural Machines
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
深度学习已被证明在有大量训练数据可用的几个任务中取得了令人印象深刻的结果。然而，深度学习只关注预测的准确性，忽略了导致决策的推理过程，这是生命关键应用中的一个主要问题。概率逻辑推理允许利用统计知识和特定领域的专业知识在不确定性下进行推理，但其可扩展性和与处理传感数据的层的脆弱集成极大地限制了其应用。出于这些原因，将深度架构和概率逻辑推理相结合是开发在复杂环境中运行的智能代理的基本目标。本文介绍了关系神经机，一种新的框架，允许联合训练的参数的学习者和一阶逻辑为基础的推理。关系神经机能够在纯子符号学习的情况下从监督数据恢复经典学习，并且在纯符号推理的情况下恢复马尔可夫逻辑网络，同时允许联合训练并在混合学习任务中执行推理。设计适当的算法解决方案，使学习和推理在大规模问题中易于处理。实验结果表明，在不同的关系任务有希望的结果。
2020-02-06 cs.AI cs.LG
Towards Few-shot Inductive Link Prediction on Knowledge Graphs: A Relational Anonymous Walk-guided Neural Process Approach
Nanjing University of Science and Technology（南京理工大学）；Monash University（莫纳什大学）；Griffith University（格里菲斯大学）
本文提出RawNP方法，通过关系匿名游走提取少样本观测中的关系模体，并结合神经过程建模链接预测函数分布，以快速适应新实体并估计不确定性，从而在知识图谱少样本归纳式链接预测任务上取得最先进性能。
2023-06-26 cs.AI cs.LG
Project Auto-World: Towards Automated Benchmarking of Neural Relational Reasoners
Cardiff University（卡迪夫大学）；University of Pennsylvania（宾夕法尼亚大学）
利用大语言模型自动化生成基准测试实例，通过进化搜索和自主代理搜索发现困难样本，提升Edge Transformer的泛化能力，并应用于新世界以推动神经关系推理的自主研究。
2026-06-25 cs.AI cs.LG
On Neural Architecture Inductive Biases for Relational Tasks
Mila, Quebec AI Institute（米拉魁北克人工智能研究所）
目前的深度学习方法已经显示出良好的分布内泛化性能，但难以实现分布外泛化。这在涉及抽象关系的任务中尤其如此，比如识别序列中的规则，正如我们在许多智力测试中发现的那样。最近的研究探索了如何迫使关系表征与感官表征保持区别，就像大脑中的情况一样，可以帮助人工系统。在这项工作的基础上，我们进一步探索和形式化的优势提供的“分区”表示的关系和感官细节，以及如何这种归纳偏见可以帮助重组学习的关系结构，在新遇到的设置。我们引入了一个简单的架构，我们命名为组合关系网络（CoRelNet）的相似性分数的基础上。使用这个模型，我们调查了一系列的归纳偏见，确保抽象的关系，学习和代表明显的感官数据，并探讨其影响分布外泛化的一系列关系心理物理学任务。我们发现，简单的架构选择可以优于现有的模型在分布外泛化。总之，这些结果表明，分区关系表示从其他信息流可能是一种简单的方式来增强现有的网络架构的鲁棒性时，执行分布外的关系计算。
2022-06-09 cs.AI cs.LG cs.NE
Relational Graph Attention Networks
Babylon Health（巴比伦健康）
我们研究关系图注意力网络，一类模型，扩展非关系图注意力机制，将关系信息，开放这些方法，以更广泛的各种问题。对这些模型进行了全面的评价，并与既定的基准进行了比较。为了提供有意义的比较，我们重新训练关系图注意力网络的光谱对应物-关系图卷积网络，并在相同条件下对其进行评估。我们发现，关系图注意力网络的表现比预期的要差，尽管有些配置对建模分子特性略有好处。我们提供的见解，为什么这可能是，并建议修改评估策略，以及方向，以调查未来的工作。
2019-04-11 cs.AI cs.LG stat.ML
r-GAT: Relational Graph Attention Network for Multi-Relational Graphs
Peking University（北京大学）
图注意力网络（GAT）专注于建模简单的无向和单一的关系图数据。这限制了它处理更一般和复杂的多关系图的能力，这些图包含具有不同标签的有向链接的实体（例如，知识图谱）。因此，直接将GAT应用于多关系图会导致次优解决方案。为了解决这个问题，我们提出了r-GAT，一个关系图注意力网络来学习多通道实体表示。具体地，每个通道对应于实体的潜在语义方面。这使我们能够使用关系特征来聚合当前方面的邻域信息。我们进一步提出了一个查询感知的注意力机制，为后续的任务选择有用的方面。在链接预测和实体分类任务上的大量实验表明，我们的r-GAT可以有效地建模多关系图。此外，我们通过案例研究表明我们的方法的可解释性。
2021-09-13 cs.AI cs.CL cs.LG
Complementary Structure-Learning Neural Networks for Relational Reasoning
UC Davis（加州大学戴维斯分校）
支持灵活关系推理的神经机制，特别是在新的情况下，是当前研究的一个主要焦点。在互补学习系统框架中，海马体中的模式分离允许在新环境中快速学习，而新皮层中的较慢学习积累小的权重变化以从良好学习的环境中提取系统结构。在这项工作中，我们适应这个框架的任务，从最近的功能磁共振成像实验中，新的传递性推理必须根据隐式关系结构。我们发现，计算模型捕捉这两个系统的基本认知特性可以解释在熟悉和新颖的环境中的关系传递性推理，并再现在功能磁共振成像实验中观察到的关键现象。
2021-05-19 cs.LG q-bio.NC
Relational Graph Convolutional Neural Networks for Multihop Reasoning: A Comparative Study
University of Cambridge（剑桥大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
多跳问答是一个复杂的自然语言处理任务，需要多个推理步骤来找到给定问题的正确答案。以前的研究已经探索了使用基于图神经网络的模型来解决这一任务。已经提出了各种架构，包括关系图卷积网络（RGCN）。对于这些许多节点类型和它们之间的关系已经被引入，例如简单的实体同现，建模共引用，或通过中间实体从问题到答案的“推理路径”。然而，关于哪些关系、节点类型、嵌入和架构对这项任务最有益的深入分析仍然缺失。在本文中，我们探索了一些基于RGCN的多跳QA模型，图关系和节点嵌入，并实证探索每个对WikiHop数据集上的多跳QA性能的影响。
2022-10-13 cs.AI cs.CL cs.LG
RelNN: A Deep Neural Model for Relational Learning
University of British Columbia（不列颠哥伦比亚大学）
Statistical Relational AI（StarAI）旨在通过将概率与一阶逻辑相结合，在以对象和关系描述的噪声域中进行推理和学习。随着近年来深度学习的巨大进步，将深度网络与一阶逻辑相结合一直是最近几项研究的重点。然而，许多现有的尝试只关注关系而忽略对象属性。考虑对象属性的尝试在建模能力或可伸缩性方面受到限制。在本文中，我们开发的关系神经网络（RelNN）添加隐藏层的关系逻辑斯谛回归（关系对应的逻辑斯谛回归）。我们直接或通过一般规则学习对象的潜在属性。反向传播用于训练这些模型。模块化的分层架构有助于将深度学习社区中开发的技术用于我们的架构。在三个真实世界数据集上的八个任务上的初步实验表明，RelNN是关系学习的有前途的模型。
2017-12-07 cs.LG stat.ML
Ensemble Multi-Relational Graph Neural Networks
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan（美团）
图神经网络可以从优化目标的角度进行解释和设计。由于优化目标明确，因此所推导的GNNs结构具有良好的理论基础，能够灵活地弥补GNNs的不足。然而，这个优化目标仅针对具有单关系图的GNN被证明。我们能否通过扩展这个优化目标来推断一种新的多关系图GNN，以便同时解决以前多关系GNN中的问题，例如，过度参数化在本文中，我们提出了一种新的集成多关系GNNs通过设计一个集成多关系（EMR）优化目标。该EMR优化目标能够导出迭代更新规则，该规则可以形式化为具有多个关系的集成消息传递（EnMP）层。我们进一步分析了EnMP层的优良特性，例如，与多关系的个性化PageRank。最后，提出了一种新的多关系GNNs，很好地缓解了过度平滑和过度参数化的问题。在四个基准数据集上进行的大量实验很好地证明了该模型的有效性。
2022-05-24 cs.LG cs.SI
Grid-to-Graph: Flexible Spatial Relational Inductive Biases for Reinforcement Learning
University College London（伦敦大学学院）
尽管近年来强化学习在许多领域得到了成功的应用，但我们仍然缺乏能够系统推广的智能体。虽然适合任务的关系归纳偏差可以提高RL代理的泛化能力，但这些偏差通常直接硬编码在代理的神经架构中。在这项工作中，我们表明，我们可以将关系归纳偏见，编码的关系图的形式，到代理。基于这一见解，我们提出了网格到图（GTG），从网格结构到关系图的映射，当通过关系图卷积网络（R-GCN）处理时，关系图携带有用的空间关系归纳偏差。我们表明，与基于卷积神经网络和神经逻辑机的基线相比，在具有挑战性的程序生成环境和MinAtar上，R-GCN在分布内和分布外都具有更好的泛化能力。此外，我们表明，GTG产生的代理，可以共同的原因在观察和环境动态编码的知识库。
2021-02-08 cs.LG
Sparse Relational Reasoning with Object-Centric Representations
Imperial College London（帝国理工学院）
我们研究了在各种稀疏诱导约束下，在以对象为中心（基于槽）的表示上操作时，由关系神经架构学习的软规则的可组合性。我们发现，增加稀疏性，特别是在功能上，提高了一些模型的性能，并导致更简单的关系。此外，我们观察到，当并非所有对象都被完全捕获时，以对象为中心的表示可能是有害的; CNN不太容易出现这种故障模式。这些发现证明了可解释性和性能之间的权衡，即使是针对处理关系任务的模型。
2022-07-15 cs.AI cs.LG
Relational recurrent neural networks
DeepMind；University College London（伦敦大学学院）
基于记忆的神经网络通过利用长时间记忆信息的能力来对时态数据进行建模。然而，目前还不清楚他们是否也有能力用他们记住的信息进行复杂的关系推理。在这里，我们首先证实了我们的直觉，即标准的内存架构可能会在大量涉及理解实体连接方式的任务中挣扎-即，涉及关系推理的任务。然后，我们通过使用一种新的记忆模块--\textit{Relational Memory Core}（RMC）--来改善这些缺陷，这种记忆模块采用多头点积注意力来允许记忆相互作用。最后，我们在一系列任务上测试了RMC，这些任务可能会从跨序列信息的更强大的关系推理中受益，并在RL域（例如Mini PacMan），程序评估和语言建模中显示出巨大的收益，在WikiText-103，Project Gutenberg和GigaWord数据集上实现了最先进的结果。
2018-06-28 cs.LG stat.ML
An Explicitly Relational Neural Network Architecture
DeepMind（深度思维）；Imperial College London（伦敦帝国理工学院）
为了弥合深度学习和符号AI之间的差距，我们提出了一种新的端到端神经网络架构，该架构可以学习从原始像素数据中形成具有显式关系结构的命题表示。为了评估和分析的体系结构，我们介绍了一个家庭的简单的视觉关系推理任务的不同复杂性。我们表明，所提出的架构，当预先训练的课程，这样的任务，学习生成可重用的表示，更好地促进后续学习以前看不见的任务相比，一些基线架构。一个成功训练的模型的工作是可视化的，以揭示架构如何运作。
2020-06-23 cs.LG stat.ML
Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic Approach
Örebro University（厄勒布鲁大学）；KU Leuven（鲁汶大学）
本文提出神经符号框架 DERRL，将符号规划的关系表示、约束与深度学习结合，提取逻辑规则形式的可解释策略，并在多种环境中验证其可迁移与泛化能力。
2023-07-14 cs.AI cs.LG
HIRE: Distilling High-order Relational Knowledge From Heterogeneous Graph Neural Networks
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Zhejiang University（浙江大学）
由于异构图在学术界和工业界的普遍存在，近年来研究人员提出了大量的异构图神经网络（HGNNs）。在本文中，我们没有追求更强大的HGNN模型，而是有兴趣设计一个通用的即插即用模块，该模块负责从预训练的HGNN中提取关系知识。据我们所知，我们是第一个在异构图上提出高阶关系（HIRE）知识蒸馏框架的人，无论HGNN的模型架构如何，它都可以显着提高预测性能。具体地说，我们的HIRE框架最初执行一阶节点级知识蒸馏，它编码的教师HGNN的语义与其预测逻辑。同时，二阶关系级知识蒸馏模仿由教师HGNN生成的不同类型的节点嵌入之间的关系相关性。在各种流行的HGNNs模型和三个真实世界的异构图上进行的大量实验表明，我们的方法获得了一致和可观的性能增强，证明了其有效性和泛化能力。
2022-07-25 cs.LG
Neural Tensor Factorization
University of Notre Dame（圣母大学）；Microsoft Research（微软研究院）
神经协同过滤（NCF）和递归推荐系统（RRN）已经成功地建模用户项关系数据。然而，它们也局限于它们对关系数据的静态或顺序建模的假设，因为它们不考虑随着时间的推移而演变的用户偏好以及驱动用户-项目关系随着时间的推移而变化的潜在因素的变化。我们通过提出一个神经张量因子分解（NTF）模型来解决这些限制，用于动态关系数据的预测任务。NTF模型从两个方面推广了传统的张量分解：首先，它利用长短期记忆架构来表征关系数据上的多维时态交互。其次，它采用了多层感知器结构，用于学习不同潜在因素之间的非线性。我们的大量实验表明，显着改善评级预测和链接预测的动态关系数据，我们的NTF模型比基于神经网络的因子分解模型和其他传统的方法。
2018-02-13 cs.LG
A simple neural network module for relational reasoning
DeepMind
关系推理是一般智能行为的核心组成部分，但已证明神经网络难以学习。在本文中，我们描述了如何使用关系网络（RN）作为一个简单的即插即用模块来解决从根本上依赖于关系推理的问题。我们在三个任务上测试了RN增强的网络：使用一个名为CLEVR的具有挑战性的数据集进行视觉问答，我们在此基础上实现了最先进的超人性能;使用bAbI任务套件进行基于文本的问答;以及对动态物理系统进行复杂推理。然后，使用一个名为Sort-of-CLEVR的策划数据集，我们证明了强大的卷积网络不具备解决关系问题的一般能力，但在使用RN增强时可以获得这种能力。我们的工作展示了配备RN模块的深度学习架构如何隐式地发现和学习推理实体及其关系。
2017-06-05 cs.CL cs.LG
