Non-Parametric Inference of Relational Dependence
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Adobe Research（奥多比研究院）
独立性检验在从观测数据进行统计和因果推断中起着核心作用。标准的独立性检验假设数据样本是独立且同分布（i.i.d.）的。但在许多现实世界的数据集和以关系系统为中心的应用程序中，这一假设是不成立的。这项工作探讨的问题，从关系系统中提取的数据，通过定义足够的代表性的观察集影响个别实例的估计独立性。具体来说，我们定义了边缘和条件独立性测试的关系数据考虑内核均值嵌入作为一个灵活的聚合函数的关系变量。我们提出了一个一致的，非参数的，可扩展的内核测试，可操作的关系独立性测试非i.i.d.在一组结构假设下的观测数据。我们在各种合成和半合成网络上实证评估了我们提出的方法，并与最先进的基于内核的独立性测试相比，证明了其有效性。
2022-06-30 cs.AI cs.LG stat.ML
Graph State-Space Models and Latent Relational Inference
Università della Svizzera italiana, IDSIA, Switzerland（瑞士意大利语区大学，IDSIA，瑞士）；EPFL, IMOS Lab, Switzerland（瑞士洛桑联邦理工学院，IMOS实验室，瑞士）；Politecnico di Milano, Italy（米兰理工大学，意大利）
本文提出图状态-空间模型，通过联合学习状态空间动态和潜在关系结构，提升时空数据的预测准确性。
2026-04-05 cs.LG
Enhancing Asynchronous Time Series Forecasting with Contrastive Relational Inference
Ant Group（蚂蚁集团）
针对现有TPP模型未显式建模事件交互的问题，提出基于对比关系推理的霍克斯过程CRIHP，结合NRI与变分推理，通过强度学习对比关系约束，在三个真实数据集上验证了捕捉事件交互的有效性，代码将集成入EasyTPP。
2023-10-07 cs.LG
Analogical Inference for Multi-Relational Embeddings
Carnegie Mellon University（卡内基梅隆大学）
大规模多关系嵌入是指学习大型知识图谱中实体和关系的潜在表示的任务。一个有效的和可扩展的解决方案，这个问题是基于知识的推理在广泛的应用中的真正成功的关键。本文提出了一种新的框架，优化潜在的表示方面的\textit{analogical}属性的嵌入式实体和关系。通过以可微的方式制定学习目标，我们的模型具有理论能力和计算可扩展性，并且在基准数据集上显著优于大量代表性基线方法。此外，该模型提供了一个优雅的统一的几个著名的方法在多关系嵌入，这可以被证明是我们的框架的特殊实例。
2017-07-06 cs.AI cs.CL cs.LG
Neural Relational Inference with Fast Modular Meta-learning
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
本研究将关系推断视为模块化元学习问题，通过元学习提议函数加速内循环搜索，实现数据高效且能推断未观测实体状态，将可处理问题规模提升两个数量级。
2023-10-10 cs.LG
Graph Based Relational Features for Collective Classification
Google Inc.（谷歌公司）；University of Konstanz（康斯坦茨大学）
统计关系学习（SRL）方法已经表明，通过整合样本之间的关系可以提高分类精度。迭代分类或松弛标记等技术通过在推理过程中在相关样本之间传播信息来实现这一点。当只有少数样本被标记并且样本之间的连接稀疏时，集体推理方法比标准的基于特征的ML方法有很大的改进。然而，与基于特征的ML相比，集体推理方法需要复杂的推理过程，并且通常依赖于相关样本之间标签一致性的强假设。在本文中，我们通过从直接和间接关系中提取信息，为标准ML方法引入了新的关系特征。我们在三个标准基准数据集上的经验表明，我们的关系特征产生的结果与集体推理方法相当。最后，我们表明，我们的建议优于这些方法时，额外的信息。
2017-02-09 cs.AI cs.IR cs.LG
The Duck's Brain: Training and Inference of Neural Networks in Modern Database Engines
University of Bamberg（班贝格大学）；TUM（慕尼黑工业大学）
本文提出在SQL中通过关系表示训练神经网络，克服关系模型障碍，并比较数组类型与关系表示的性能，证明现代数据库适用于矩阵运算。
2023-12-28 cs.DB cs.LG
Adaptive Neighborhood Graph Construction for Inference in Multi-Relational Networks
University of Maryland, College Park（马里兰大学帕克分校）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
邻域图将实例表示为顶点，将它们的关系表示为加权边，是许多用于节点标记和链接预测的半监督和关系模型的基础。大多数方法采用顺序过程来构造邻域图。该过程通常包括生成候选图，修剪候选图以形成邻域图，然后对变量执行推断（即，节点）在邻域图中。在本文中，我们提出了一个框架，可以动态地适应邻居图的基础上的状态变量从中间推理结果，以及连接它们的关系的结构属性。我们的框架的一个关键优势是它能够处理多关系数据，并根据中间推理结果为每个实例采用不同数量的关系。我们制定的链接预测任务作为推理的邻域图，并包括初步结果，说明在我们提出的框架中的不同策略的影响。
2016-07-02 cs.AI cs.LG cs.SI
Complementary Structure-Learning Neural Networks for Relational Reasoning
UC Davis（加州大学戴维斯分校）
支持灵活关系推理的神经机制，特别是在新的情况下，是当前研究的一个主要焦点。在互补学习系统框架中，海马体中的模式分离允许在新环境中快速学习，而新皮层中的较慢学习积累小的权重变化以从良好学习的环境中提取系统结构。在这项工作中，我们适应这个框架的任务，从最近的功能磁共振成像实验中，新的传递性推理必须根据隐式关系结构。我们发现，计算模型捕捉这两个系统的基本认知特性可以解释在熟悉和新颖的环境中的关系传递性推理，并再现在功能磁共振成像实验中观察到的关键现象。
2021-05-19 cs.LG q-bio.NC
Uncertainty in Neural Relational Inference Trajectory Reconstruction
University of Cambridge（剑桥大学）
用于多交互轨迹重构的神经网络缺乏估计其输出中的不确定性的能力，这将有助于更好地分析和理解它们所建模的系统。在本文中，我们扩展了因子化神经关系推理模型输出的相空间向量的每个组成部分的平均值和标准差，这与一个适当的损失函数，可以考虑到不确定性。各种损失函数的研究，包括凸化和贝叶斯处理的问题的想法。我们表明，当考虑不确定性时，变量的物理意义是重要的，并证明了在训练过程中难以避免的病态局部极小值的存在。
2020-06-25 cs.LG stat.ML
Inferring Individual Level Causal Models from Graph-based Relational Time Series
Adobe Research（Adobe研究）；Intel Labs（英特尔实验室）
在这项工作中，我们正式的因果推理的问题，在基于图的关系时间序列数据中，图中的每个节点有一个或多个时间序列相关联的，我们提出了因果推理模型，利用图的拓扑结构和时间序列，以准确地估计节点的局部因果效应。此外，关系时间序列因果推理模型能够通过利用局部以节点为中心的时间依赖性和拓扑/结构依赖性来估计单个节点的局部效应。我们发现，简单的因果模型，不考虑图形拓扑恢复的特殊情况下，建议的关系时间序列因果推理模型。我们描述的条件下，由此产生的估计可用于估计因果关系的影响，并描述如何的Durbin-Wu-Hausman测试规格可用于测试的一致性，从数据的建议估计。从经验上讲，我们证明了因果推理模型的有效性与已知的地面真理和一个大规模的观测关系的时间序列数据集从维基百科收集的合成数据。
2020-01-23 cs.LG cs.SI stat.ML
Combining Gradient Boosting Machines with Collective Inference to Predict Continuous Values
Purdue University（普渡大学）
回归树的梯度提升是用于学习连续数据的预测模型的竞争性过程，其用加性非参数模型拟合数据。梯度提升的经典版本假设数据是独立同分布的。然而，具有相互依赖的关联实例的关系数据现在很常见，并且可以利用此类数据中的依赖关系来提高预测性能。集体推理是一种利用关系相关模式并显着减少分类错误的方法。然而，大部分关于集体学习和推理的工作都集中在离散预测任务上，而不是连续的。%目标值在集体推理方面没有得到关注。在这项工作中，我们研究如何将这两种范式结合在一起，以提高回归关系域。具体来说，我们提出了一种用于学习预测连续目标变量的集体推理模型的提升算法。在该算法中，我们学习一个基本的关系模型，集体推断的目标值，然后迭代学习关系模型预测残差。我们在一个真实的网络数据集上评估了我们提出的算法，并表明它优于其他提升方法。然而，我们的调查还显示，关系特征相互作用，以产生更好的预测。
2016-07-01 cs.LG stat.ML
Conditional Neural Relational Inference for Interacting Systems
University of Geneva（日内瓦大学）；Geneva School of Business Administration, HES-SO（瑞士西部高等专业学院日内瓦工商管理学院）
在这项工作中，我们希望学习模拟相似但不同的相互作用对象组的动态。这些群体遵循一些共同的物理定律，这些定律表现出通过一些矢量描述捕获的特异性。我们开发了一个模型，使我们能够从任何这样的组给出其矢量描述的条件生成。与以前的工作学习动力系统，只能做轨迹完成，并要求轨迹动态的一部分，以提供作为输入的生成时间，我们只使用条件向量没有访问生成时间的轨迹。我们评估我们的模型中的设置建模人类步态，特别是病理人类步态。
2021-07-02 cs.LG
Online Relational Inference for Evolving Multi-agent Interacting Systems
Georgia Institute of Technology（佐治亚理工学院）
提出在线关系推断框架ORI，利用流式数据和在线反向传播实时识别演化多智能体系统中的交互图，并通过AdaRelation和轨迹镜像增强准确性与泛化能力。
2024-11-07 cs.AI cs.LG cs.MA
Exact and efficient top-K inference for multi-target prediction by querying separable linear relational models
Poznan University of Technology（波兹南理工大学）；Ghent University（根特大学）
许多涉及大目标空间的复杂多目标预测问题的特征在于需要有效的预测策略，以避免明确计算所有目标的预测。这些问题的例子出现在机器学习的几个子领域，如协同过滤，多标签分类，二元预测和生物网络推理。在这篇文章中，我们分析了高效和精确的算法，用于计算上述问题设置中的前$K$预测，使用我们称为可分离线性关系模型的一般类模型。我们展示了如何使用这些推理算法，这是众所周知的信息检索方法的修改，在各种机器学习设置。此外，我们还研究了项目评分不完全的可能性，同时仍然保留了一个确切的前K检索。在几个应用领域的实验结果表明，所谓的阈值算法是非常可扩展的，执行往往比天真的方法更有效的许多数量级。
2016-06-14 cs.IR cs.LG
Collective Relational Inference for learning heterogeneous interactions
ETH Zürich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
本文提出一种集体关系推断概率方法，通过联合分布编码边间相关性并支持时变拓扑，在多个基准上优于现有方法，可结合约束发现物理一致的交互规律，且数据高效、可推广至大系统。
2024-01-23 cs.LG
Neural Relational Inference for Interacting Systems
University of Amsterdam（阿姆斯特丹大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Canadian Institute for Advanced Research（加拿大高级研究所）
交互系统在自然界中普遍存在，从物理学中的动力系统到复杂的社会动力学。组件之间的相互作用会导致复杂的行为，这通常可以用系统组成部分的简单模型来解释。在这项工作中，我们介绍了神经关系推理（NRI）模型：一个无监督的模型，学习推断相互作用，同时学习纯粹从观察数据的动态。我们的模型采用变分自动编码器的形式，其中的潜在代码表示底层的交互图和重建是基于图神经网络。在模拟物理系统的实验中，我们证明了我们的NRI模型可以以无监督的方式准确地恢复地面真实的相互作用。我们进一步证明，我们可以找到一个可解释的结构，并预测复杂的动态在真正的运动捕捉和运动跟踪数据。
2018-06-06 cs.LG stat.ML
Analogy as Nonparametric Bayesian Inference over Relational Systems
Harvard University（哈佛大学）；Princeton University（普林斯顿大学）
本文研究多环境经验对推理的影响，提出非参数贝叶斯模型解释类比推理行为，为类比的计算思路提供互补视角。
2026-08-07 cs.AI cs.LG
A Graph Dynamics Prior for Relational Inference
University of Science and Technology of China（中国科学技术大学）；Nanjing Normal University（南京师范大学）
本文提出图动力学先验（GDP），通过结合单步与多步多项式模型并利用误差放大，提升关系推断中图重建的准确性，且对欠采样鲁棒。
2023-12-20 cs.LG stat.ML
Causal Relational Learning
University of Washington（华盛顿大学）；Duke University（杜克大学）；University of California at Santa Cruz（加州大学圣克鲁兹分校）
因果推理是自然科学和社会科学实证研究的核心，对于科学发现和知情决策至关重要。因果推理的黄金标准是进行随机对照试验;不幸的是，由于伦理、法律或成本的限制，这些试验并不总是可行的。作为一种替代办法，统计研究和社会科学已经发展出从观测数据进行因果推断的方法。然而，现有的方法严重依赖于限制性的假设，如研究人口组成的同质元素，可以表示在一个单一的平面表，其中每一行被称为一个单位。相比之下，在许多现实环境中，研究领域自然由具有复杂关系结构的异构元素组成，其中数据自然表示在多个相关表中。在本文中，我们提出了一个正式的框架，因果关系的数据推断。我们提出了一种称为CaRL的声明性语言，用于捕获因果背景知识和假设，并使用简单的数据日志式规则指定因果查询。CaRL为推断因果关系和推理关系域中复杂干预的影响提供了基础。我们对真实的关系数据进行了广泛的实验评估，以说明CaRL在社会科学和医疗保健中的适用性。
2020-04-07 cs.AI cs.DB cs.LG
STEER: Reducing Inference Cost in Relational Foundation Models through Semantically Informed Sampling
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
STEER通过利用大型语言模型对数据库模式外键进行相关性排序，将推理上下文集中在最相关的表上，平均减少约40%的上下文大小，同时保持或提升预测准确性。
2026-10-02 cs.DB cs.LG
Hierarchical Relational Inference
Swiss AI Lab IDSIA, USI, SUPSI（瑞士IDSIA人工智能实验室，瑞士意大利语区大学，瑞士应用科学与艺术大学（SUPSI））
现实世界中的常识物理推理需要学习对象的相互作用及其动力学。然而，抽象对象的概念包括各种各样的物理对象，这些物理对象在它们所支持的复杂行为方面有很大的不同。为了解决这个问题，我们提出了一种新的物理推理方法，模型对象的层次结构的部分，可以在本地单独的行为，但也作为一个整体更全球性。与以前的方法不同，我们的方法直接从原始视觉图像中以无监督的方式学习，以发现对象，部件及其关系。它明确区分了多个抽象级别，并在对合成和真实世界视频建模时提供了强大的基线。
2020-12-14 cs.AI cs.LG stat.ML
Neural Relational Inference with Efficient Message Passing Mechanisms
Sun Yat-sen University（中山大学）
许多复杂的过程可以看作是相互作用的动力系统。在许多情况下，只观察到单个代理的状态序列，而相互作用的关系和动力学规则是未知的。神经关系推理（NRI）模型采用图神经网络，通过潜在图传递消息，以根据观察到的数据共同学习关系和动态。然而，NRI独立推断的关系，遭受的多步预测在动态学习过程中的误差积累。此外，在更复杂的系统中，没有先验知识的关系重构变得更加困难。针对这些问题，本文在具有结构先验知识的图神经网络中引入了有效的消息传递机制。提出了一种关系交互机制来捕获所有关系的共存，并提出了一种时空消息传递机制，利用历史信息来减轻错误积累。此外，结构先验知识，对称性作为一种特殊情况下，更好地预测在更复杂的系统中的关系。在模拟物理系统上的实验结果表明，该方法优于现有的最先进的方法。
2021-01-23 cs.AI cs.LG
Discriminative Nonparametric Latent Feature Relational Models with Data Augmentation
Tsinghua University（清华大学）
提出了一种判别式非参数潜在特征关系模型（LFRM），用于链接预测自动推断潜在特征的维数。在一般的RegBayes（regularized Bayesian inference）框架下，我们将贝叶斯模型的预测损失与概率推理相结合，为不同类型的链路设置不同的正则化参数，以处理真实网络中的不平衡问题，并统一分析平滑对数损失和分段线性铰链损失。对于非共轭后验推断，我们提出了一个简单的吉布斯采样通过数据增强，而不作限制性的假设，在变分方法。我们进一步开发了一个近似采样器，使用随机梯度Langevin动力学来处理具有数十万个实体和数百万个链接的大型网络，其数量级大于现有LFRM模型可以处理的数量级。对各种真实网络的广泛研究显示出良好的性能。
2015-12-07 cs.LG stat.ML
Unboxing the graph: Neural Relational Inference for Mobility Prediction
Machine Learning for Smart Mobility, Transport Division, DTU Management（丹麦技术大学管理学院交通系智慧出行机器学习组）
预测交通系统的供给和需求对于有效的交通管理、控制、优化和规划至关重要。例如，预测人们打算乘坐出租车从哪里/到哪里以及何时出行可以支持车队管理者分配资源;更好地预测交通速度/拥堵可以采取主动控制措施或让用户更好地选择他们的路径。进行时空预测是一项艰巨的任务，但最近图神经网络（GNNs）已被广泛应用于非欧空间数据。然而，大多数GNN模型都需要一个预定义的图，到目前为止，研究人员依靠算法来生成这个图供模型使用。在本文中，我们使用神经关系推理来学习模型的最优图。我们的方法有几个优点：1）变分自动编码器结构允许图形由数据动态确定，可能随时间变化; 2）编码器结构允许在图形生成中使用外部数据; 3）可以在生成的图形上放置贝叶斯先验来编码领域知识。我们在两个数据集上进行实验，即纽约市黄色出租车和PEMS道路交通数据集。在这两个数据集中，我们的表现优于基准测试，并显示出与最先进的性能相当的性能。此外，我们对学习的图形进行了深入分析，提供了关于GNN在传输域中用于时空预测的连接类型的见解。
2022-01-25 cs.LG
Synthesis Without Training: An Inference-Only Pipeline for Tabular, Temporal, and Relational Synthetic Data
Betterdata AI；National University of Singapore（新加坡国立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；KAJIMA Technical Research Institute Singapore（鹿岛技术研究所新加坡分所）
提出GENSCRIPT纯推理流水线，通过统计画像和语言模型推断约束，无需训练即可生成表格、时序和关系型合成数据，兼顾效率与保真度。
2026-10-01 cs.LG
Neural-Symbolic Relational Reasoning on Graph Models: Effective Link Inference and Computation from Knowledge Bases
Institute of Informatics, UFRGS（UFRGS信息学院）；City, University of London（伦敦大学城市学院）
神经符号模型的最新发展和日益增长的兴趣表明，混合方法可以为人工智能提供更丰富的模型。有效的关系学习和推理方法的整合是这一方向的关键挑战之一，因为神经学习和符号推理提供了互补的特征，有利于人工智能系统的开发。知识图谱上的关系标注或链接预测已经成为基于深度学习的自然语言处理研究的主要问题之一。此外，利用神经符号技术的其他领域也可能从这种研究努力中受益。在知识图谱中，已经有几种努力从现有事实中识别缺失的事实。两条研究路线试图通过考虑连接两个实体的所有已知事实或连接它们的几条事实路径来预测它们之间的知识关系。我们提出了一个神经符号图神经网络，它适用于学习所有的路径喂养的模型与嵌入的最小子集的知识图谱包含这样的路径。通过学习生成对应于词嵌入的实体和事实的表示，我们展示了如何端到端地训练模型来解码这些表示并以多任务方法推断实体之间的关系。我们的贡献是双重的：一个神经符号的方法，利用大型图的关系推理的分辨率，我们也证明了这种神经符号模型比基于路径的方法更有效
2020-05-05 cs.AI cs.LG stat.ML
OR-Net: Pointwise Relational Inference for Data Completion under Partial Observation
University of Technology Sydney（悉尼科技大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
当代数据驱动的方法通常需要对大规模数据集进行全面监督，这限制了它们的适用性。然而，在实际系统中，由于测量误差和数据采集等问题的限制，人们通常得到的数据是不完整的。虽然数据补全已经引起了广泛的关注，但底层的数据模式和相关性仍然不成熟。目前，潜变量模型家族允许通过拟合边缘分布来学习深度潜变量。目前的方法不能很好地理解部分观测下的数据相关性。针对不完备数据的建模问题，采用关系推理的方法对不完备数据进行填充。具体地说，我们期望在部分观测和潜变量上近似真实的联合分布，从而分别推断出不可见的目标。为此，我们提出了全关系网络（OR-Net）模型的逐点相关性在两个方面：（i）一方面，在部分观察的上下文点之间建立内在的关系;（ii）另一方面，未见过的目标是通过学习与观察到的数据点的交叉关系推断。进一步发现，所提出的方法可以推广到不同的场景，无论是否可以观察到的物理结构。结果表明，所提出的OR-网络可以很好地推广到各种形式的数据完成任务，包括函数回归，MNIST和CelebA数据集上的图像完成，以及观察到的姿势条件下的顺序运动生成。
2021-05-05 cs.LG cs.MM
Boosting Relational Deep Learning with Pretrained Tabular Models
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；Trento University（特伦托大学）；Purdue University（普渡大学）
本文提出LightRDL方法，通过结合GNNs建模复杂关系与工程化特征编码时间信息，在RelBench上相比GNNs实现最高33%性能提升和526倍推理加速，显著提升关系数据库实时推理效率。
2025-04-07 cs.AI cs.DB cs.LG
Interpretable Relational Inference with LLM-Guided Symbolic Dynamics Modeling
School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）
本文提出COSINE框架，通过联合发现交互图和稀疏符号动力学，实现对复杂系统中潜在相互作用结构的可解释推断，实验表明其在合成系统和大规模真实世界数据中的鲁棒性。
2026-04-14 cs.LG
Relational reasoning and inductive bias in transformers and large language models
Imperial College London（帝国理工学院伦敦分校）；Google（谷歌）；DeepMind（深度Mind）；Columbia University（哥伦比亚大学）
本文研究了变换器和大语言模型在关系推理中的表现，比较了基于权重学习和上下文学习的机制，发现基于权重学习的模型能进行传递推理，而基于上下文学习的模型则依赖训练数据进行传递推理，预训练可使上下文学习模型更接近权重学习模型。
2026-05-11 cs.LG q-bio.NC
Factorised Neural Relational Inference for Multi-Interaction Systems
University of Cambridge（剑桥大学）
许多复杂的自然和文化现象都可以通过粒子之间简单的相互作用系统来很好地模拟。已经开发了许多体系结构来隐式和显式地表达这种结构。我们考虑一个无监督的显式模型，NRI模型，并作出了一系列的代表性的适应和物理动机的变化。最值得注意的是，我们将推断出的潜在交互图分解为多路复用图，允许每一层编码不同的交互类型。这种fNRI模型的尺寸更小，在边缘和轨迹预测方面明显优于原始模型，建立了一种新的最先进的模型。我们还提出了一种简化的模型变体，它表明NRI作为变分自动编码器的配方对于良好的性能是不必要的，并适应NRI的训练例程，显着提高了其对复杂物理动力系统建模的能力。
2019-05-21 cs.LG stat.ML
GINA: Neural Relational Inference From Independent Snapshots
Saarland University（萨尔兰大学）
在自然界和社会中，动力系统普遍存在，在这种系统中，主体之间的局部相互作用引起复杂的新兴现象。这项工作探讨的问题，推断未知的相互作用结构（表示为一个图形），这样一个系统的测量其组成代理或单个组件（表示为节点）。我们考虑一种设置，其中底层动力学模型是未知的，并且其中不同的测量（即，快照）可以是独立的（例如，可能来自不同的实验）。我们提出了GINA（图推理网络架构），一个图神经网络（GNN），同时学习潜在的相互作用图，并在相互作用图的条件下，预测一个节点的可观察状态的基础上相邻顶点。GINA基于以下假设：在所有其他潜在图中，地面真实交互图允许预测节点的状态，给定其邻居的状态，具有最高的准确性。我们测试这一假设，并证明GINA的有效性在广泛的相互作用图和动态过程。
2021-05-29 cs.AI cs.IR cs.LG
FERMI: Exploiting Relations for Membership Inference Against Tabular Diffusion Models
University of Waterloo（多伦多大学）；Vector Institute（向量研究所）
FERMI研究了在多表设置下利用关系信息提升成员推断攻击性能，通过特征映射增强单表特征，实验证明在白盒和黑盒设置下攻击性能显著提升。
2026-05-12 cs.CR cs.DB cs.LG
Self-Aware Vector Embeddings for Retrieval-Augmented Generation: A Neuroscience-Inspired Framework for Temporal, Confidence-Weighted, and Relational Knowledge
Principal Consultant, CMC APAC（CMC APAC 主任顾问）
本文提出SmartVector框架，通过引入时间意识、置信度衰减和关系意识，改进检索增强生成系统，提升准确性与鲁棒性。
2026-04-22 cs.CL cs.DB cs.IR
Extending Relational Query Processing with ML Inference
Microsoft（微软）；University of California, Berkeley（加州大学伯克利分校）；University of California, San Diego（加州大学圣地亚哥分校）
机器学习在企业中的广泛采用增加了严格治理和经济高效性能的压力，特别是对于模型存储和推理的常见和后续步骤。RDBMS提供了一个自然的起点，考虑到其用于快速数据访问和处理的成熟基础设施，以及对企业功能（例如，加密、审计、高可用性）。为了利用上述所有优势，我们需要解决一个关键问题：ML模型的RDBMS内评分是否匹配（优于？）专用框架的性能？我们通过构建Raven来积极回答上述问题，Raven是一个利用ML运行时的本地集成的系统（即，ONNX数据库）和统一的中间表示（IR），以实现ML和DB操作符之间的高级交叉优化。在这个优化领域中，我们发现了结合DB/机器学习/ML思维的最令人兴奋的研究机会。我们对真实数据的初步评估表明，在SQL Server中原生集成ML的性能提升高达5.5倍，交叉优化的性能提升高达24倍-我们将在会议期间现场演示Raven。
2019-11-01 cs.DB cs.LG
Spatially-Aware Graph Neural Networks for Relational Behavior Forecasting from Sensor Data
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）
在本文中，我们解决了从传感器数据的关系行为预测的问题。为了实现这一目标，我们提出了一种新的空间感知图神经网络（SpAGNN），模型代理在场景中的相互作用。具体来说，我们利用一个卷积神经网络来检测演员和计算他们的初始状态。然后，图神经网络通过消息传递过程迭代地更新参与者状态。受高斯信念传播的启发，我们将消息设计为邻近代理的输出分布的空间变换参数。我们的模型是完全可区分的，从而实现端到端的培训。重要的是，我们的概率预测可以在轨迹层面上对不确定性进行建模。我们通过在两个现实世界的自动驾驶数据集：ATG4D和nuScenes上实现对最先进技术的显著改进来证明我们方法的有效性。
2019-10-18 cs.CV cs.LG cs.RO
Relational Neural Machines
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
深度学习已被证明在有大量训练数据可用的几个任务中取得了令人印象深刻的结果。然而，深度学习只关注预测的准确性，忽略了导致决策的推理过程，这是生命关键应用中的一个主要问题。概率逻辑推理允许利用统计知识和特定领域的专业知识在不确定性下进行推理，但其可扩展性和与处理传感数据的层的脆弱集成极大地限制了其应用。出于这些原因，将深度架构和概率逻辑推理相结合是开发在复杂环境中运行的智能代理的基本目标。本文介绍了关系神经机，一种新的框架，允许联合训练的参数的学习者和一阶逻辑为基础的推理。关系神经机能够在纯子符号学习的情况下从监督数据恢复经典学习，并且在纯符号推理的情况下恢复马尔可夫逻辑网络，同时允许联合训练并在混合学习任务中执行推理。设计适当的算法解决方案，使学习和推理在大规模问题中易于处理。实验结果表明，在不同的关系任务有希望的结果。
2020-02-06 cs.AI cs.LG
Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds
Department of Computer Science and Technology（计算机科学与技术系）；University of Cambridge（剑桥大学）
虽然当测试数据从与训练数据相同的分布中采样时，现代深度神经架构可以很好地推广，但当测试数据分布与训练分布甚至在几个维度上都不同时，它们会严重失败。当任务变得更加抽象和复杂时，例如在关系推理中，这种分布外概括的缺乏越来越明显。在本文中，我们提出了一个神经科学启发的归纳偏置模块，可以很容易地与当前的神经网络架构合并，以提高关系推理任务的分布外（o.o.d）泛化性能。该模块学习将高维对象表示投影到低维流形，以实现更有效和更通用的关系比较。我们表明，这种归纳偏见的神经网络实现了相当好的O.O.D的概括性能的一系列关系推理任务。最后，我们分析了所提出的归纳偏差模块，以了解低维投影的重要性，并提出了一个增强的算法对齐理论，以更好地衡量算法对齐与概括。
2020-10-03 cs.LG stat.ML
Predicting Cellular Responses with Variational Causal Inference and Refined Relational Information
University of California, Berkeley（加利福尼亚大学伯克利分校）；Immunai（Immunai公司）；Amazon（亚马逊公司）
为预测细胞在扰动下的响应，本文提出图变分贝叶斯因果推断框架，结合基因调控网络（GRN）并通过邻接矩阵更新技术精炼GRN，还提出稳健估计器，实验表明其在个体响应预测上优于现有深度学习模型。
2025-02-11 cs.AI cs.LG q-bio.GN
Fast inference of latent space dynamics in huge relational event networks
Università della Svizzera italiana（瑞士意大利语区大学）
提出一种基于似然的分层算法，利用平滑样条过程和凸聚类惩罚，在可解释潜在空间中快速推断大型关系事件网络的社区动力学，数分钟内可在公共GPU上拟合数百万节点。
2023-03-29 cs.LG cs.SI stat.CO
Discriminative Relational Topic Models
Tsinghua University（清华大学）
许多科学和工程领域涉及分析网络数据。对于文档网络，关系主题模型（RTMs）提供了一个概率生成过程来描述链接结构和文档内容，并且它们在预测网络结构和发现潜在主题表示方面表现出了希望。然而，现有的RTMs在有限的模型表达能力和处理不平衡的网络数据的能力的局限性。为了扩大RTMs的适用范围并提高其推理精度，本文提出了三个扩展：1）不同于通常的只允许相同主题交互的对角权重矩阵的链接似然，我们将其推广为使用一个完整的权重矩阵，它可以捕获所有成对主题交互，并且适用于非对称网络; 2）而不是做标准的贝叶斯推理，我们执行正则化贝叶斯推理，（RegBayes）通过引入正则化参数，解决了一般真实网络中链路结构不平衡的问题，提高了学习后的潜规则的判别能力，陈述; 3）在不做严格平均场假设的情况下，通过探索数据增强，给出了广义关系主题模型的收缩Gibbs抽样算法，而不是用严格平均场假设进行变分近似.在一般的RegBayes框架下，我们仔细研究了两个流行的判别损失函数，即逻辑对数损失和最大边际铰链损失。在几个真实网络数据集上的实验结果表明，这些扩展对提高预测性能具有重要意义，并且通过一种简单的快速近似方法可以显著提高时间效率。
2013-10-09 cs.IR cs.LG stat.ML
An Insect-Inspired Randomly, Weighted Neural Network with Random Fourier Features For Neuro-Symbolic Relational Learning
Arizona State University（亚利桑那州立大学）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（RUDN大学））；Joint Institute for Nuclear Research（联合核研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）
昆虫，如果蝇和蜜蜂，可以解决简单的联想学习任务，并学习抽象概念，如“相同”和“差异”，这被视为高阶认知功能，通常被认为取决于自上而下的新皮层处理。果蝇的实证研究强烈支持，一个随机的代表性架构是用于在昆虫大脑的嗅觉处理。基于这些结果，我们提出了一种随机加权特征网络（RWFN），它在编码器中采用随机抽取的未经训练的权重，该编码器使用自适应线性模型作为解码器。在RWFN中，输入神经元和输入大脑中的高阶处理中心之间的随机投影被一个单隐藏层神经网络模仿，该网络使用随机傅立叶特征在隐藏层中专门构造潜在表示，这些特征使用核近似更好地表示输入之间的复杂关系。由于这种特殊的表示，RWFN可以通过只训练线性解码器模型来有效地学习输入之间的关系程度。我们比较了RWFNs的性能，LTNs的语义图像判读（SII）的任务，已被用作一个代表性的例子，LTNs如何利用推理一阶逻辑超越性能的单独的数据驱动的方法。我们证明，与LTNs相比，RWFN可以实现更好或相似的性能，同时使用少得多的可学习参数（1：62的比例）和更快的学习过程（1：2的运行速度比）的SII任务中的对象分类和检测对象之间的部分关系。此外，我们表明，由于随机权重不依赖于数据，几个解码器可以共享一个随机编码器，使RWFN的空间规模的同时分类任务的独特经济。
2021-09-11 cs.CV cs.LG
The Role of Isomorphism Classes in Multi-Relational Datasets
University of Cambridge（剑桥大学）
自然界中存在大量的多相互作用系统，从胶体悬浮液到基因调控回路。这些系统可以产生复杂的动力学，并且已经提出了图神经网络作为提取潜在交互并预测系统将如何演变的方法。然而，通过使用合成的多关系数据集对这些模型进行的当前训练和评估程序对交互网络同构类是不可知的，这些类在初始条件下产生相同的动态。我们广泛地分析了同构类意识如何影响这些模型，重点是神经关系推理（NRI）模型，这是独特的明确推断的相互作用，以预测在无监督的设置动态。具体而言，我们证明了同构泄漏高估了多关系推理的性能，并且在多交互网络生成过程中存在的采样偏差可能会损害泛化。为了弥补这一点，我们提出了同构感知模型评估的合成基准。我们使用这些基准测试的泛化能力，并证明存在一个阈值采样频率的同构类成功的学习。此外，我们还证明了同构类可以通过一个简单的优先级方案来提高模型的性能，训练过程中的稳定性和减少训练时间。
2020-09-30 cs.LG cs.SI physics.soc-ph
A Theory of Relation Learning and Cross-domain Generalization
The University of Edinburgh（爱丁堡大学）；Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）；Radboud University（拉德堡德大学）；University of Illinois（伊利诺伊大学）
该研究提出了一种基于类比推理的关系学习模型，能够从非关系性输入中学习结构化关系表示，并实现跨领域零样本学习。
2021-12-07 cs.AI cs.LG cs.NE
A mathematical theory of balancing relational generalization and memorization
Center for Theoretical Neuroscience（理论神经科学中心）
提出带例外的传递推理任务，利用核岭回归模型分析表示几何如何影响关系泛化与记忆的平衡，并在预训练语言模型中验证理论预测。
2026-05-21 cs.AI cs.LG
When Does Synthetic Relational Data Teach Models to Use Relations? Tracing Predictive Structure from Pretraining Data to Model Behavior
Lexsi Labs
本研究通过数据归因方法，发现合成预训练数据中跨表信息的预测必要性促使关系模型学习关系机制，RelDiff因外键链接增益最大而表现最佳，干预实验验证了其因果作用。
2026-10-05 cs.LG
Relational Learning between Multiple Pulmonary Nodules via Deep Set Attention Transformers
Shanghai Jiao Tong University（上海交通大学）；Diannei Technology（电内科技）；Huawei Hisilicon（华为海思）
多发性肺结节的诊断和治疗具有重要的临床意义和挑战性。以往的结节定性研究多采用孤立结节的方法，忽略了结节之间的关系。在这项研究中，我们提出了一种多实例学习（MIL）方法，并实证证明了学习多个结节之间的关系的好处。通过将来自同一患者的多个结节作为整体来处理，提取孤立结节体素之间的关键关系信息。据我们所知，这是第一个研究，以了解肺多发结节之间的关系。受自然语言处理（NLP）领域最新进展的启发，我们引入了一种配备3D CNN的自注意力Transformer，命名为{NoduleSAT}，以取代多实例学习中典型的基于池的聚合。在LUNA 16数据库上进行肺结节假阳性减少实验，在LIDC-IDRI数据库上进行恶性肿瘤分类实验，验证了该方法的有效性。
2020-04-12 cs.CV cs.LG eess.IV
SRNN: Spatiotemporal Relational Neural Network for Intuitive Physics Understanding
CogBeauty Lab（CogBeauty实验室）
针对机器直觉物理能力弱于人类的问题，本文提出受大脑启发的时空关系神经网络SRNN，通过统一神经表征连接感知与语言，在CLEVRER基准取得竞争性性能，揭示基准偏差并能精准定位错误根源。
2025-11-19 cs.AI cs.LG
Explainable Deep Relational Networks for Predicting Compound-Protein Affinities and Contacts
Department of Electrical；Computer Engineering, Texas A\&M University, College Station, TX 77843, United States；Department of Computer Science；Engineering, Texas A\&M University, College Station, TX 77843, United States
预测化合物与蛋白质的亲和力对于加速药物发现至关重要。机器学习最近取得的进展主要集中在准确性上，但在可解释性方面还有很多需要改进的地方。通过分子联系的基础亲和力，我们的大规模的可解释性评估发现常用的注意力机制不足。因此，我们制定了一个层次化的多目标学习问题，其预测的接触形成的基础上预测的亲和力。我们进一步设计了一个物理启发的深度关系网络，DeepRelations，具有内在可解释的架构。具体来说，各种原子级接触或“关系”导致分子级亲和力预测。嵌入式注意与预测的结构上下文和监督部分可用的训练接触。DeepRelations表现出了卓越的可解释性：在不影响亲和力预测的情况下，它分别将测试、化合物独特、蛋白质独特和两者都独特的接触预测的AUPRC提高了9.5、16.9、19.3和5.7倍。我们的研究代表了第一个专门的模型开发和系统的模型评估，可解释的机器学习的化合物-蛋白质亲和力。
2019-12-29 cs.LG q-bio.BM
Where Do We Go from Here? Multi-scale Allocentric Relational Inference from Natural Spatial Descriptions
Google（谷歌公司）；Bar-Ilan University（巴伊兰大学）
本文提出Rendezvous（RVS）任务与含10,404个示例的数据集，研究基于地图知识的非顺序、他我地理空间指令推理。
2024-08-04 cs.CL cs.LG cs.MM
Neuro-Relational Programs: Unifying Queries and Neural Computation over Structured Data
ILLC, University of Amsterdam（伊拉斯谟罗素学院，阿姆斯特丹大学）；Leipzig University（莱比锡大学）；ScaDS.AI Center（ScaDS.AI研究中心）；Technion（技术学院）；RelationalAI（关系AI）
提出神经关系程序（NRP），一种扩展Datalog规则的声明式查询语言，通过嵌入操作融合关系推理与可学习神经组件，实现关系数据上的通用神经计算。
2026-10-16 cs.CC cs.DB cs.LG
Modeling Relational Data with Graph Convolutional Networks
University of Amsterdam（阿姆斯特丹大学）；VU Amsterdam（阿姆斯特丹自由大学）；CIFAR（加拿大高等研究院）
知识图谱支持各种各样的应用，包括问答和信息检索。尽管在创建和维护方面投入了巨大的努力，但即使是最大的（例如，Yago、DBPedia或Wikidata）仍然不完整。我们介绍了关系图卷积网络（R-GCN），并将其应用于两个标准的知识库完成任务：链接预测（恢复丢失的事实，即主谓宾三元组）和实体分类（恢复丢失的实体属性）。R-GCN与最近一类在图上操作的神经网络相关，并且专门开发用于处理现实知识库的高度多关系数据特性。我们证明了R-GCN作为实体分类的独立模型的有效性。我们进一步表明，通过使用编码器模型来丰富它们，以在关系图中的多个推理步骤中积累证据，可以显着改进用于链接预测的因子分解模型（如DistMult），与仅解码器基线相比，FB 15 k-237有29.8%的大幅改进。
2017-10-26 cs.AI cs.DB cs.LG
A Framework for Inference Inspired by Human Memory Mechanisms
University of Electronic Science and Technology of China（电子科技大学）
本研究受人类记忆机制启发提出包含感知、记忆、推理组件的PMI框架，通过双记忆结构与可微分读写机制提升推理能力，在多类任务上显著增强了Transformer和CNN模型的性能。
2024-05-20 cs.AI cs.CL cs.LG
