Multi-Agent Dynamic Relational Reasoning for Social Robot Navigation
University of California, Riverside（加州大学河滨分校）；University of California, Berkeley（加州大学伯克利分校）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Stanford University（斯坦福大学）
本文提出一种多智能体动态关系推理方法，通过推断动态演化的关系图与超图实现群体级推理，结合轨迹预测与深度强化学习框架，显著提升了社交机器人导航在密集交互场景下的安全性、效率与社交合规性。
2024-11-11 cs.AI cs.CV cs.LG
ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation
Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）
提出 ReKep，一种基于3D关键点的视觉约束表示，通过分层优化实时求解机器人动作，并利用视觉语言模型自动生成约束，实现无需任务特定数据的多样化操作。
2024-11-12 cs.AI cs.CV cs.RO
RelAfford6D: Relational 6D Affordance Graphs for Constraint-Driven Robotic Manipulation
School of Computer Science, Shanghai Jiaotong University（上海交通大学计算机科学学院）
提出RelAfford6D框架，通过构建关系型6D可操作图将语义指令转化为SE(3)位姿约束，并利用运动学约束求解实现零样本操作，在仿真和真实环境中优于数据驱动方法。
2026-06-26 cs.RO
Relational Deep Reinforcement Learning
Google（谷歌）
我们介绍了一种深度强化学习（RL）的方法，通过结构化感知和关系推理提高了传统方法的效率，泛化能力和可解释性。它使用自我注意力来迭代地推理场景中实体之间的关系，并指导无模型策略。我们的研究结果表明，在一个名为Box-World的新型导航和规划任务中，我们的智能体找到了可解释的解决方案，这些解决方案在样本复杂性、泛化到比训练过程中经历的更复杂场景的能力以及整体性能方面都有所改善。在星际争霸II学习环境中，我们的智能体在六个小游戏中达到了最先进的性能-超过了人类大师在四个小游戏中的性能。通过考虑架构归纳偏差，我们的工作为克服深度RL中重要但顽固的挑战开辟了新的方向。
2018-06-28 cs.LG stat.ML
Morphology and actuation as inductive biases in robotic hand manipulation
Pázmány Péter Catholic University（帕兹曼尼·彼得天主教大学）
本文提出统一框架分析机器人手的形态与驱动对操作控制的影响，针对两款不同设计理念的机器人手开展研究，通过强化学习实验验证相关指标的预测效果。
2026-09-07 cs.RO cs.SY eess.SY
Agent-Centric Representations for Multi-Agent Reinforcement Learning
DeepMind；Google Research（谷歌研究院）
以对象为中心的表示最近在处理关系推理任务方面取得了重大进展。通过在神经架构中构建强的以对象为中心的归纳偏差，最近的努力已经提高了这些问题的机器学习算法的泛化和数据效率。涉及关系推理的一个问题类别仍然未得到充分探讨，那就是多智能体强化学习（MARL）。在这里，我们调查是否以对象为中心的表示也是有益的，在充分合作的MARL设置。具体来说，我们研究了两种方法，将代理为中心的归纳偏见到我们的RL算法：1。引入一个以代理为中心的注意力模块，并在代理之间建立显式连接2。添加以代理为中心的无监督预测目标（即不使用动作标签），用作MARL的辅助损失，或作为预训练步骤的基础。我们在Google Research Football环境和DeepMind Lab 2D上评估了这些方法。经验上，以主体为中心的表示学习导致主体之间更复杂的合作策略的出现，以及增强的样本效率和泛化能力。
2021-04-19 cs.AI cs.LG
Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers
Yale University（耶鲁大学）；UCLA（加利福尼亚大学洛杉矶分校）；Princeton University（普林斯顿大学）
该研究提出含关系交叉注意力的Abstractor模块扩展Transformer，通过解耦关系与对象特征实现显式关系推理，在多类任务上提升了性能与样本效率。
2024-04-12 cs.LG stat.ML
Towards Practical Multi-Object Manipulation using Relational Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；University of California Berkeley（加州大学伯克利分校）
使用具有稀疏奖励的强化学习来学习机器人操作任务目前是不切实际的，因为数据要求非常高。许多实际任务需要操纵多个对象，并且这些任务的复杂性随着对象的数量而增加。从日益复杂的任务课程中学习似乎是一种自然的解决方案，但不幸的是，在许多情况下都不起作用。我们假设，最先进的算法无法有效地利用任务课程源于缺乏归纳偏见，从简单到复杂的任务转移知识。我们表明，基于图的关系架构克服了这一限制，并使学习复杂的任务时，提供了一个简单的课程的任务与越来越多的对象。我们演示了我们的框架上的模拟块堆叠任务的实用程序。从零开始，我们的智能体学习将六个街区堆叠成一座塔。尽管使用了逐步稀疏奖励，但我们的方法的数据效率要高出几个数量级，并且优于现有的利用人类演示的最先进方法。此外，学习到的策略表现出零射击（zero-shot）概括，无需任何进一步的训练即可成功地将积木堆叠成更高的塔楼和以前从未见过的配置，例如金字塔。
2019-12-23 cs.AI cs.LG cs.RO
Deep Inductive Logic Programming meets Reinforcement Learning
University of Edinburgh（爱丁堡大学）
本研究将可微神经逻辑网络应用于关系强化学习，通过引入非线性连续谓词改进归纳逻辑编程方法，使智能体能够在动态连续环境中进行推理和决策。
2023-08-30 cs.LG cs.LO cs.SC
Relational Graph Learning for Crowd Navigation
Simon Fraser University（西蒙弗雷泽大学）；UT Austin（德克萨斯大学奥斯汀分校）
我们提出了一种基于模型的深度强化学习的机器人人群导航的关系图学习方法，该方法通过展望未来来规划行动。我们的方法的原因，所有代理之间的关系的基础上，他们的潜在功能，并使用图卷积网络编码高阶交互在每个代理的状态表示，随后利用状态预测和价值估计。预测人类运动的能力使我们能够执行多步前瞻规划，考虑到人类人群的时间演变。我们评估了我们的方法对一个国家的最先进的基线人群导航和消融我们的模型，以证明导航与我们的方法是更有效的，导致更少的碰撞，并避免涉及振荡和冻结行为的失败情况。
2020-08-03 cs.AI cs.LG cs.RO
Trajectory Entropy Reinforcement Learning for Robust Robot Motor Skill Learning
Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）
针对深度强化学习易受环境扰动影响的问题，提出轨迹熵强化学习方法，通过最小化动作轨迹熵引入简洁性归纳偏置，并联合优化策略与预测模型，在多个高维运动任务中实现了更优的性能与鲁棒性。
2026-09-21 cs.LG cs.RO stat.ML
Improving Inductive Link Prediction Using Hyper-Relational Facts
University of Bonn（波恩大学）；Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)（弗劳恩霍夫智能分析与信息系统研究所（IAIS））；Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学（慕尼黑大学））；McGill University（麦吉尔大学）；Mila（米拉研究所）；IBM Research（IBM研究院）；Siemens AG（西门子股份公司）
多年来，知识图谱（KG）上的链接预测一直是一个纯粹的转换任务，不允许对看不见的实体进行推理。最近，越来越多的努力投入到探索半和完全归纳的情况下，使推理看不见的和新兴的实体。尽管如此，所有这些方法仅考虑基于三元组的\glspl{kg}，而它们更丰富的对应物，超关系KG（例如，Wikidata），尚未得到适当的研究。在这项工作中，我们对不同的归纳设置进行分类，并研究了在图神经网络的最新进展驱动的广泛的半和全归纳链接预测任务上采用超关系KG的好处。我们在一组新的基准测试上的实验表明，与仅三重基准相比，类型化边缘上的限定符可以导致6%的绝对增益（对于Hits@10度量）的性能改进。我们的代码可在\url{https://github.com/mali-git/hyper_relational_ilp}上找到。
2021-07-10 cs.LG
Learning Onto-Relational Rules with Inductive Logic Programming
规则补充和扩展了语义Web上的本体。我们将这些规则称为本体关系，因为它们结合了基于DL的本体语言和支持逻辑编程和演绎数据库传统内的关系数据模型的知识表示形式。规则编写是一项要求非常高的知识工程任务，可以通过应用机器学习算法来部分自动化。在这一章中，我们将展示归纳逻辑程序设计（ILP），诞生于机器学习和逻辑程序设计的交叉点，并被认为是关系学习的主要方法，可以适应本体关系学习。为了说明，我们提供了一个具体的本体关系学习解决方案的问题，学习基于规则的定义DL概念和角色与ILP的细节。
2012-10-29 cs.AI cs.DB cs.LG
Towards Few-shot Inductive Link Prediction on Knowledge Graphs: A Relational Anonymous Walk-guided Neural Process Approach
Nanjing University of Science and Technology（南京理工大学）；Monash University（莫纳什大学）；Griffith University（格里菲斯大学）
本文提出RawNP方法，通过关系匿名游走提取少样本观测中的关系模体，并结合神经过程建模链接预测函数分布，以快速适应新实体并估计不确定性，从而在知识图谱少样本归纳式链接预测任务上取得最先进性能。
2023-06-26 cs.AI cs.LG
Relational inductive biases on attention mechanisms
Facultad de Ciencias, UNAM（全国自治大学科学学院）；CEIICH, UNAM（全国自治大学计算机工程与信息学学院）
本文从几何深度学习视角分析注意力机制关于置换子群的等变性质，提出基于关系归纳偏置的分类，揭示不同注意力层对输入数据潜在关系的不同假设。
2025-07-05 cs.CL cs.LG
A Locality Radius Framework for Understanding Relational Inductive Bias in Database Learning
Vishwakarma Institute of Technology（维什瓦卡玛技术学院）
本文提出局部半径框架，用于分析数据库学习中关系归纳偏置的影响，通过实验揭示任务局部半径与架构聚合深度的对齐关系。
2026-02-19 cs.LG
On Neural Architecture Inductive Biases for Relational Tasks
Mila, Quebec AI Institute（米拉魁北克人工智能研究所）
目前的深度学习方法已经显示出良好的分布内泛化性能，但难以实现分布外泛化。这在涉及抽象关系的任务中尤其如此，比如识别序列中的规则，正如我们在许多智力测试中发现的那样。最近的研究探索了如何迫使关系表征与感官表征保持区别，就像大脑中的情况一样，可以帮助人工系统。在这项工作的基础上，我们进一步探索和形式化的优势提供的“分区”表示的关系和感官细节，以及如何这种归纳偏见可以帮助重组学习的关系结构，在新遇到的设置。我们引入了一个简单的架构，我们命名为组合关系网络（CoRelNet）的相似性分数的基础上。使用这个模型，我们调查了一系列的归纳偏见，确保抽象的关系，学习和代表明显的感官数据，并探讨其影响分布外泛化的一系列关系心理物理学任务。我们发现，简单的架构选择可以优于现有的模型在分布外泛化。总之，这些结果表明，分区关系表示从其他信息流可能是一种简单的方式来增强现有的网络架构的鲁棒性时，执行分布外的关系计算。
2022-06-09 cs.AI cs.LG cs.NE
GLIB: Efficient Exploration for Relational Model-Based Reinforcement Learning via Goal-Literal Babbling
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
我们解决了在基于关系模型的强化学习环境中没有外在目标或奖励的过渡模型学习的有效探索问题。受人类好奇心的启发，我们提出了目标文字咿呀学语（GLIB），一个简单而通用的方法，探索在这样的问题。GLIB对关系连接目标进行采样，这些目标可以被理解为智能体希望在世界上实现的特定目标，并计划使用正在学习的过渡模型来实现这些目标。我们提供的理论保证表明，与GLIB的探索几乎肯定会收敛到地面实况模型。在实验中，我们发现GLIB在一系列任务的预测和规划方面都强于现有方法，包括标准PDDL和PPDDL规划基准以及PyBullet物理模拟器中实现的机器人操作任务。视频：https://youtu.be/F6lmrPT6TOY代码：https://git.io/JIsTB
2020-12-08 cs.AI cs.LG
Inductive Relation Prediction from Relational Paths and Context with Hierarchical Transformers
University of Science and Technology of China（中国科学技术大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出REPORT框架，利用分层Transformer同时聚合关系路径和上下文，仅依赖关系语义实现完全归纳式关系预测，并在两个数据集上一致优于基线且具备可解释性。
2023-07-10 cs.AI cs.CL cs.LG
Deconstructing the Inductive Biases of Hamiltonian Neural Networks
New York University（纽约大学）
物理启发的神经网络（NN），如哈密顿或拉格朗日NN，通过利用强归纳偏差，大大优于其他学习动力学模型。然而，这些模型很难应用于许多现实世界的系统，例如那些不节能或不包含接触的系统，这是机器人和强化学习的常见设置。在本文中，我们研究了归纳偏见，使物理启发的模型在实践中取得成功。我们表明，与传统观点相反，HNN的改进泛化是直接建模加速和避免坐标系人工复杂性的结果，而不是辛结构或能量守恒。我们表明，通过放松这些模型的归纳偏差，我们可以匹配或超过节能系统的性能，同时显着提高性能的实际，非保守的系统。我们将这种方法扩展到构建常见Mujoco环境的过渡模型，表明我们的模型可以适当地平衡基于模型的控制所需的灵活性与归纳偏差。
2022-02-12 cs.LG math.DS physics.data-an
On Inductive Abilities of Latent Factor Models for Relational Learning
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；NAVER LABS Europe（NAVER LABS 欧洲）；Bloomsbury AI（布卢姆斯伯里人工智能公司）；University College London（伦敦大学学院）
潜在因素模型越来越多地用于多关系知识图谱的建模。由于它们的向量性质，不仅很难解释为什么这类模型如此有效，而且也很难理解它们在哪里失败以及如何改进。我们对最先进的模型进行了实验调查，不是为了纯粹的比较目的，而是为了了解他们的归纳能力。为了评估每个模型的优点和缺点，我们创建了简单的任务，首先展示二元关系的原子属性，然后通过合成系谱进行常见的相互关系推理。基于这些实验结果，我们提出了新的研究方向，以改善现有的模型。
2017-09-17 cs.AI cs.LG stat.ML
Learning Visual Dynamics Models of Rigid Objects using Relational Inductive Biases
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT）人类工程学与机器人研究所）；Stanford University（斯坦福大学）
赋予机器人类似人类的物理推理能力仍然具有挑战性。我们认为，现有的方法往往忽视时空关系，并通过使用图神经网络（GNNs），结合了关系归纳偏见，我们可以转向利用关系的学习过程。在这项工作中，我们学习行动条件的前向动力学模型的模拟操作任务，从视觉观察，涉及杂乱和不规则形状的物体。我们研究了两种GNN方法，并根据经验评估了它们推广到具有新颖和越来越多对象的场景的能力。第一种，基于图网络（GN）的方法，考虑了显式定义的边缘属性，它不仅始终表现不佳，我们修改了预测未来状态的自动编码器基线，我们的结果表明不同的边缘属性可以显着影响预测。因此，我们开发的自动预测，不依赖于明确定义的边缘属性。它优于基线和基于GN的模型。总的来说，我们的研究结果显示了基于GNN的方法对任务表示的敏感性，关系归纳偏差的有效性，并主张选择轻量级方法，这些方法隐含地推理关系，而不是将这些决定留给人类设计师。
2019-10-23 cs.CV cs.LG eess.IV
Communicative Subgraph Representation Learning for Multi-Relational Inductive Drug-Gene Interaction Prediction
Sun Yat-sen University（中山大学）；Galixir Technologies Ltd（Galixir科技有限公司）
阐明药物和基因之间的相互联系是药物开发和精准医学的重要课题。目前，药物-基因相互作用的计算预测主要集中在结合相互作用上，而不考虑其他关系类型，如激动剂，拮抗剂等。此外，现有的方法要么严重依赖于高质量的域特征，要么本质上是转导的，这限制了模型推广到缺乏外部信息或在训练过程中看不到的药物/基因的能力。为了解决这些问题，我们提出了一种新的通信子图表示学习的多关系诱导药物-基因相互作用预测（CoSMIG），其中药物-基因关系的预测是通过子图模式，因此是自然的诱导看不见的药物/基因，而无需重新训练或利用外部域功能。此外，该模型通过一个可通信的消息传递机制，加强了药物-基因图上的关系。为了评估我们的方法，我们从DrugBank和DGIdb编译了两个新的基准数据集。在两个数据集上的综合实验表明，我们的方法在转导场景中的性能优于最先进的基线，并在归纳场景中取得了优异的性能。进一步的实验分析，包括LINCS实验验证和文献验证也证明了我们的模型的价值。
2022-05-12 cs.LG
Inductive Link Prediction on N-ary Relational Facts via Semantic Hypergraph Reasoning
Harbin Institute of Technology（哈尔滨工业大学）
针对n元关系事实的完全归纳链接预测难题，提出基于n元语义超图的子图推理框架NS-HART，通过局部子图推理捕获实体无关的n元模式，实验证明其优越的归纳能力。
2025-03-26 cs.AI cs.LG
Group Relative Knowledge Distillation: Learning from Teacher's Relational Inductive Bias
China Mobile Information Technology Co.,Ltd.（中国移动信息技术有限公司）；Fudan University（复旦大学）
针对现有知识蒸馏忽略教师模型相对预测中的关系归纳偏置导致曝光偏差的问题，提出GRKD框架，通过组相对损失学习类别间相对排序，在分类基准上取得更优泛化能力。
2025-04-29 cs.AI cs.LG
A Relational Inductive Bias for Dimensional Abstraction in Neural Networks
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
本文提出关系瓶颈这一归纳偏置，使神经网络学习因子化、正交的低维表征，从而提升泛化与学习效率，并涌现类人规律性偏置和类符号灵活性。
2024-02-28 cs.AI cs.LG
Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds
Department of Computer Science and Technology（计算机科学与技术系）；University of Cambridge（剑桥大学）
虽然当测试数据从与训练数据相同的分布中采样时，现代深度神经架构可以很好地推广，但当测试数据分布与训练分布甚至在几个维度上都不同时，它们会严重失败。当任务变得更加抽象和复杂时，例如在关系推理中，这种分布外概括的缺乏越来越明显。在本文中，我们提出了一个神经科学启发的归纳偏置模块，可以很容易地与当前的神经网络架构合并，以提高关系推理任务的分布外（o.o.d）泛化性能。该模块学习将高维对象表示投影到低维流形，以实现更有效和更通用的关系比较。我们表明，这种归纳偏见的神经网络实现了相当好的O.O.D的概括性能的一系列关系推理任务。最后，我们分析了所提出的归纳偏差模块，以了解低维投影的重要性，并提出了一个增强的算法对齐理论，以更好地衡量算法对齐与概括。
2020-10-03 cs.LG stat.ML
On the Transferability of VAE Embeddings using Relational Knowledge with Semi-Supervision
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）；City University of London（伦敦城市大学）
我们提出了一个新的关系VAE半监督模型，能够平衡解纠缠和低复杂度的关系建模与不同的符号属性。我们比较了关系解码器复杂度和潜在空间结构对归纳和转导迁移学习的相对好处。我们的研究结果描绘了一个复杂的画面，在半监督表示上强制执行结构可以大大提高zero-shot转导传输，但可能不太有利，甚至对感应传输的能力产生负面影响。
2020-11-13 cs.AI cs.LG
Lagrangian Neural Network with Differentiable Symmetries and Relational Inductive Bias
Indian Institute of Technology Delhi（印度德里理工学院）
物理世界的现实模型依赖于可微对称性，而这些对称性又对应于守恒定律。最近的拉格朗日和哈密顿神经网络的工作表明，一个系统的基本对称性可以很容易地通过一个神经网络时，提供了一个适当的归纳偏置学习。然而，这些模型仍然存在一些问题，例如无法推广到任意系统大小，可解释性差，最重要的是，无法学习平移和旋转对称性，这分别导致线性和角动量守恒定律。在这里，我们提出了一个动量守恒拉格朗日神经网络（MCLNN），学习系统的拉格朗日，同时也保持平移和旋转对称性。我们测试我们的方法对线性和非线性弹簧系统，和重力系统，展示了能量和动量守恒。我们还表明，开发的模型可以推广到任何任意大小的系统。最后，我们讨论了MCLNN的可解释性，它直接提供了多粒子系统相互作用的物理见解。
2021-10-12 cond-mat.mtrl-sci cs.AI cs.LG
Inductive Logic Boosting
Nanjing University（南京大学）
近年来，人们对概率逻辑编程（PLP）和统计关系学习（SRL）模型的兴趣激增，这些模型将逻辑与概率相结合。这些系统的结构学习是归纳逻辑程序设计（ILP）和统计学习（SL）的交叉领域。然而，ILP不能处理概率，SL不能建模关系假设。集成这两个机器学习框架的最大挑战是如何仅从对接地逻辑原子的观察来估计逻辑子句的概率。现有的联合概率建模方法将子句表示为图模型，文字表示为图模型中的顶点，这种模型仍然过于复杂，只能用伪似然来近似。我们提出了归纳逻辑提升框架，将关系数据集转换为基于特征的数据集，通过提升Problog规则树来归纳逻辑规则，放松伪似然的独立性约束。在基准数据集上的实验结果表明，ILP学习规则的AUC-PR和AUC-ROC值高于当前最先进的SRL方法。
2014-02-25 cs.AI cs.LG
Nested Inductive Bias Framework for SPD Manifold Learning
National Institute of Technology Jamshedpur（杰姆谢德布尔国家理工学院）
本文提出嵌套归纳偏置框架，将非欧几何拉回至SPD流形，构建曲率对齐的黎曼分类器，实验表明度量曲率与数据分布对齐可提升类可分性，还提出RCM增强几何鲁棒性。
2026-09-07 cs.LG
Power to the Relational Inductive Bias: Graph Neural Networks in Electrical Power Grids
Siemens（西门子）
图神经网络（GNNs）在电网领域的应用对智能电网监控具有很大的潜在影响。尽管GNN中的潮流与消息传递有着天然的对应关系，但它们在电网上的性能还没有得到很好的理解。我们认为，GNN的研究驱动的基准，其中包含的图形，不同的电网在几个重要方面之间存在差距。此外，还没有用真实世界的数据探索跨多个电网拓扑结构的GNN的归纳学习。我们解决这个差距，通过（i）定义电网图形数据集在归纳设置，（ii）图形属性的探索性分析，和（iii）在现实世界的电网状态估计的具体学习任务的实证研究。我们的研究结果表明，与基线相比，GNN对噪声的鲁棒性更强，误差降低了400%。此外，由于电网的独特性质，我们没有观察到GNN的众所周知的过度平滑现象，并发现性能最好的模型非常深，最多可达13层。这与现有的基准数据集形成鲜明对比，其中共识是2到3层GNN表现最好。我们的研究结果表明，在这一领域的一个关键挑战是有效地处理长程依赖。
2021-09-08 cs.LG eess.SP
Relational inductive biases, deep learning, and graph networks
DeepMind（深度思维）；Google Brain（谷歌大脑）；MIT（麻省理工学院）；University of Edinburgh（爱丁堡大学）
人工智能（AI）最近经历了一次复兴，在视觉、语言、控制和决策等关键领域取得了重大进展。这在一定程度上是由于廉价的数据和廉价的计算资源，这符合深度学习的自然优势。然而，人类智力的许多决定性特征是在不同的压力下发展起来的，目前的方法仍然无法达到。特别是，超越个人经验的概括--这是人类智能从婴儿期开始的标志--仍然是现代人工智能面临的巨大挑战。以下是部分立场文件，部分审查，部分统一。我们认为，组合泛化必须是AI实现类似人类能力的首要任务，而结构化表示和计算是实现这一目标的关键。正如生物学合作使用先天和后天一样，我们拒绝在“手工工程”和“端到端”学习之间做出错误的选择，而是提倡一种从两者互补优势中受益的方法。我们探讨了如何在深度学习架构中使用关系归纳偏差来促进对实体、关系和组成它们的规则的学习。我们提出了一个新的构建块的人工智能工具包与强大的关系归纳偏见-图网络-它概括和扩展了各种方法的神经网络上运行的图形，并提供了一个简单的接口，操作结构化的知识和产生结构化的行为。我们讨论了图网络如何支持关系推理和组合泛化，为更复杂，可解释和灵活的推理模式奠定了基础。作为本文的配套，我们发布了一个用于构建图网络的开源软件库，并演示了如何在实践中使用它们。
2018-10-17 cs.AI cs.LG stat.ML
A Relational Model for One-Shot Classification
Aalto University（阿尔托大学）
我们发现，具有内置关系归纳偏差的深度学习模型可以为样本有效学习带来好处，而不依赖于广泛的数据增强。所提出的一次分类模型执行本地和成对注意力形式的一对输入的关系匹配。我们的方法完美地解决了一次性图像分类Omniglot的挑战。我们的模型超过了人类水平的准确性，以及以前的最先进的，没有数据增强。
2021-11-08 cs.AI cs.CV cs.LG
RetaGNN: Relational Temporal Attentive Graph Neural Networks for Holistic Sequential Recommendation
National Cheng Kung University（国立成功大学）
顺序推荐（SR）是根据用户当前访问的项目，为用户准确地推荐一个项目列表。当新用户不断进入现实世界时，一个关键的任务是拥有归纳SR，它可以在不重新训练的情况下生成用户和项目的嵌入。考虑到用户-项目交互可能非常稀疏，另一个关键任务是具有可转移的SR，可以将从一个具有丰富数据的领域中获得的知识转移到另一个领域。在这项工作中，我们的目标是提出整体SR，同时容纳传统的，归纳的，和可转移的设置。我们提出了一种新的基于深度学习的模型，关系时间注意图神经网络（RetaGNN），用于整体SR。首先，具有归纳和可转移的能力，我们训练一个关系关注GNN上的局部子图提取的用户项目对，其中可学习的权重矩阵是在用户，项目和属性之间的各种关系，而不是节点或边缘。其次，长期和短期的时间模式的用户偏好编码的建议顺序自我注意力机制。第三，设计了一个关系感知的正则化项，以更好地训练RetaGNN。在MovieLens，Instagram和Book-Crossing数据集上进行的实验表明，RetaGNN在传统，归纳和可转移的设置下可以胜过最先进的方法。导出的注意力权重也带来了模型的可解释性。
2021-01-29 cs.IR cs.LG cs.SI
Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery
The Chinese University of Hong Kong（香港中文大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
自动手术手势识别对于机器人手术中的智能认知辅助至关重要。随着近年来机器人辅助微创手术的发展，可以记录包括手术视频和机器人运动学在内的丰富信息，这些信息为理解手术手势提供了补充知识。然而，现有的方法要么单独采用单模态数据或直接连接多模态表示，这不能充分利用视觉和运动学数据中固有的信息相关性来提高手势识别的准确性。在这方面，我们提出了一种新的多模态关系图网络的在线方法（即，MRG-Net）通过在潜在特征空间中的交互式消息传播来动态地整合视觉和运动学信息。具体来说，我们首先使用时间卷积网络和LSTM单元从视频和运动序列中提取嵌入。接下来，我们识别这些多模态嵌入中的多关系，并通过层次关系图学习模块来利用它们。我们的方法的有效性证明了国家的最先进的结果在公共JIGSAWS数据集，优于目前的单模态和多模态的方法在两个节点和结类型的任务。此外，我们在两个中心的da Vinci Research Kit（dVRK）平台收集的内部视觉运动学数据集上验证了我们的方法，并实现了一致的有希望的性能。
2021-06-29 cs.AI cs.CV cs.LG
CuriousBot: Interactive Mobile Exploration via Actionable 3D Relational Object Graph
School of Engineering and Applied Science, Columbia University（工程与应用科学学院，哥伦比亚大学）；Robotics and AI Institute（机器人与人工智能研究所）
CuriousBot通过可操作的3D关系物体图实现交互式移动探索，优于仅依赖视觉-语言模型的方法。
2026-03-09 cs.CV cs.LG cs.RO
Few-Sample Traffic Prediction with Graph Networks using Locale as Relational Inductive Biases
The Hong Kong Polytechnic University（香港理工大学）；University of Hong Kong（香港大学）；The Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院）；Research Institute for Sustainable Urban Development, The Hong Kong Polytechnic University（香港理工大学可持续城市发展研究院）
准确的短期交通预测在各种智能移动运营和管理系统中发挥着关键作用。目前，大多数最先进的预测模型是基于图神经网络（GNNs），所需的训练样本是成比例的交通网络的大小。在许多城市中，由于数据汇集费用，可用的交通数据量大大低于最低要求。在大规模网络中，如何利用少量的训练数据建立流量预测模型仍然是一个悬而未决的问题。我们注意到，一个节点的交通状态在不久的将来只取决于其本地化的邻居，这可以表示使用图关系归纳偏差的交通状态。有鉴于此，本文开发了一种基于图网络（GN）的深度学习模型LocaleGN，该模型使用局部数据聚合和更新函数以及逐节点递归神经网络来描述交通动态。LocaleGN是一种轻量级模型，设计用于在少量样本上训练而不会过度拟合，因此它可以解决少样本流量预测问题。用六个数据集对所提出的模型进行了检验，实验结果表明LocaleGN优于现有的最先进的基线模型。它还表明，从LocaleGN学到的知识可以跨城市转移。研究成果可以帮助开发轻量级的交通预测系统，特别是对于缺乏历史存档交通数据的城市。
2022-11-10 cs.LG stat.AP
Feed-Forward Neural Networks Need Inductive Bias to Learn Equality Relations
City, University of London（伦敦大学城市学院）
基本的二进制关系，如相等和不等是关系数据结构的基础。神经网络应该学习这种关系，并推广到新的看不见的数据。然而，我们在这项研究中表明，这种泛化失败与二进制向量的标准前馈网络。即使当训练最大的训练数据，标准的网络不可靠地检测equality.We引入差分整流器（DR）的单位，我们添加到网络中的不同配置。DR单元在网络中产生了一种归纳偏差，因此它们确实学会了泛化，即使是从少量的例子中，我们也没有发现它们包含在网络中的任何负面影响。鉴于这些关系的基本性质，我们假设前馈神经网络学习也受益于其他关系中的归纳偏差。因此，适当的归纳偏差的进一步发展将有利于神经网络的关系学习中的许多任务。
2018-12-04 cs.LG stat.ML
Inductive Logical Query Answering in Knowledge Graphs
Mila（米拉研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）；HEC Montréal（蒙特利尔高等商学院）
制定和回答逻辑查询是知识图谱（KG）的标准通信接口。神经方法通过学习实体、关系和查询的表示，减轻了现实世界KG的不完整性，在链接预测和复杂查询回答任务中取得了令人印象深刻的结果。尽管如此，大多数现有的查询应答方法依赖于转换实体嵌入，并且在不重新训练实体嵌入的情况下不能推广到包含新实体的KG。在这项工作中，我们研究了归纳查询应答任务，其中推理是在一个包含新实体的图上进行的，查询既可以看到，也可以看到实体。为此，我们设计了两种机制，利用由图神经网络（GNNs）驱动的归纳节点和关系结构表示。实验表明，归纳模型能够在推理时对看不见的节点进行逻辑推理，并将其推广到比训练图大500%的图。探索效率-有效性权衡，我们发现归纳关系结构表示方法通常具有更高的性能，而归纳节点表示方法能够在仅推理的情况下回答复杂的查询，而无需对查询进行任何训练，并且可以扩展到数百万节点的图形。代码可在https://github.com/DeepGraphLearning/InductiveQE上获得。
2022-11-08 cs.AI cs.LG
Disentangled Relational Representations for Explaining and Learning from Demonstration
University of Edinburgh（爱丁堡大学）
示教学习是人类用户指导机器人行为的有效方法。然而，对于大多数具有实际意义的重要任务来说，有效的示教学习在很大程度上取决于所选奖励/成本和政策结构中的归纳偏差。我们解决的情况下，这种归纳偏见来自与人类用户的交流。我们提出了一种方法，在该方法中，学习代理利用高参数变分神经模型的信息瓶颈层，辅助损失条款，以地面抽象概念，如空间关系。这些概念在自然语言指令中被引用，并在智能体从世界接收的高维感觉输入流中表现出来。我们评估了学习模型在真实感合成环境中的潜在空间的属性，特别是专注于研究其对下游任务的可用性。此外，通过一系列受控桌面操作实验，我们证明了学习的流形可以用于地面演示作为符号计划，然后可以在PR 2机器人上执行。
2019-10-06 cs.LG cs.RO
Generating Contrastive Explanations for Inductive Logic Programming Based on a Near Miss Approach
University of Bamberg（班贝格大学）
在最近的研究中，人类可以理解的机器学习模型解释受到了广泛关注。解释通常以模型简化或可视化的形式给出。然而，正如认知科学和早期人工智能研究所显示的那样，概念理解也可以通过将概念的给定实例与类似的反例对齐来提高。将一个给定的实例与一个结构相似但不属于该概念的实例进行对比，突出了概念成员资格所必需的特征。温斯顿（Winston，1970）提出了这种近乎失败的学习方法，作为关系领域学习的有效指导。我们介绍了一个解释生成算法的关系概念与归纳逻辑程序设计（\textsc{GeNME}）。该算法从给定的一组实例中识别出近距离错过的实例，并根据这些实例与特定正实例的接近程度对这些实例进行排名。一个修改后的规则，它涵盖了近距离错过，但不是原来的情况下，作为一个解释。我们说明\textsc{GeNME}与著名的家庭域组成的亲属关系，视觉关系温斯顿拱门域和现实世界的域处理文件管理。我们还提出了一个心理实验，比较人类的偏好，基于规则的，基于例子的，和近错过的解释在家庭和拱门域。
2021-06-15 cs.AI cs.LG
Relational reasoning and inductive bias in transformers and large language models
Imperial College London（帝国理工学院伦敦分校）；Google（谷歌）；DeepMind（深度Mind）；Columbia University（哥伦比亚大学）
本文研究了变换器和大语言模型在关系推理中的表现，比较了基于权重学习和上下文学习的机制，发现基于权重学习的模型能进行传递推理，而基于上下文学习的模型则依赖训练数据进行传递推理，预训练可使上下文学习模型更接近权重学习模型。
2026-05-11 cs.LG q-bio.NC
Gromov-Wasserstein Distillation for Inductive Multi-View Embedding
Instituto Federal do Ceará (IFCE)（塞阿拉联邦学院）；Federal University of Ceará (UFC)（塞阿拉联邦大学）；Sigma Nova
提出基于重心蒸馏的归纳式框架，将转导式GW-MDS嵌入转化为显式神经映射，在未见样本上保持几何结构并优于直接神经GW训练。
2026-10-01 cs.LG stat.ML
Subgraph Neighboring Relations Infomax for Inductive Link Prediction on Knowledge Graphs
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
针对知识图谱的归纳链接预测旨在预测在训练阶段未示出的看不见的实体之间的缺失链接。大多数以前的作品学习实体特定的嵌入实体，不能处理看不见的实体。最近的几种方法利用封闭子图来获得归纳能力。然而，这些工作都只考虑子图的封闭部分，而没有考虑完全的邻接关系，导致部分邻接关系被忽略，稀疏子图难以处理。为了解决这个问题，我们提出了子图相邻关系Infomax，SNRI，它充分利用完全相邻关系从两个方面：相邻关系特征的节点特征和相邻关系路径的稀疏子图。为了进一步在全局范围内对相邻关系进行建模，我们创新性地将互信息（MI）最大化应用于知识图谱。实验结果表明，SNRI算法在归纳链接预测任务上的性能明显优于现有方法，并验证了该算法在稀疏子图上以全局的方式探索节点间的完全邻接关系来刻画节点特征和推理的有效性.
2022-08-26 cs.AI cs.LG
Structural Abstraction as an Inductive Bias for Non-Stationary Language Model Training
University of Southern California（南加州大学）
提出抽象增强训练（AAT）方法，通过联合优化具体实例及其结构抽象，减少灾难性干扰并提升关系泛化能力，在非平稳语言模型训练中验证了结构抽象作为稳定学习信号的有效性。
2026-05-22 cs.CL cs.LG
Relational Learning for Skill Preconditions
Carnegie Mellon University（卡内基梅隆大学）
为了确定一项技能是否可以在任何给定的环境中执行，机器人需要学习该技能的先决条件。随着机器人开始在动态和非结构化环境中运行，前提条件模型将需要推广到不同形状和大小的可变数量的对象。在这项工作中，我们专注于学习的先决条件模型在无约束的环境中的操作技能。我们的工作是出于直觉，许多复杂的操作任务，多个对象，可以简化专注于不太复杂的成对对象关系。我们提出了一个对象关系模型，学习这些成对对象关系的连续表示。我们的对象关系模型完全在模拟中训练，一旦学习，就被一个单独的前提条件模型用来预测现实世界任务的技能前提条件。我们评估我们的前提条件模型上$3$不同的操作任务：清扫，切割和unstacking。我们表明，我们的方法在预测所有3个任务的前提条件方面都有了显着的改进，这些任务跨越了不同形状和大小的对象。
2020-12-03 cs.CV cs.LG cs.RO
Learning Neuro-Symbolic Relational Transition Models for Bilevel Planning
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在机器人领域，学习和规划由于连续的状态空间、连续的动作空间和长的任务范围而变得复杂。在这项工作中，我们用神经符号关系转换模型（NSRT）来解决这些挑战，NSRT是一类新型的模型，它具有数据学习效率，与强大的机器人规划方法兼容，并可在对象上推广。NSRT具有符号和神经组件，实现了双层规划方案，其中外循环中的符号AI规划指导内环中的神经模型的连续规划。在四个机器人规划领域的实验表明，NSRT可以在数十或数百次训练后学习，然后用于快速规划新任务，这些任务需要多达60个动作，涉及的对象比训练期间看到的要多得多。视频：https://tinyurl.com/chitnis-nsrts
2022-06-30 cs.AI cs.LG cs.RO
Learning Hierarchical Relational Representations through Relational Convolutions
Yale University（耶鲁大学）；Wu Tsai Institute（吴蔡研究院）
本文提出“关系卷积网络”，通过组合图元滤波器与输入子集卷积来捕获对象群体中的关系模式，构建深度架构以学习高阶层次关系表示，为层次结构关系任务提供有效建模框架。
2024-09-26 cs.LG
World-as-Graph: Relational World Modeling Through Latent Space Graphs
RMIT University（皇家墨尔本理工大学）；Monash University（莫纳什大学）；KStelrix（KStelrix公司）；The University of Melbourne（墨尔本大学）
提出世界即图（WAG），一种基于图的对象中心世界模型，通过关系感知结构归纳和对象中心记忆转换，在JEPA框架中引入关系归纳偏置，实现显式关系建模与自回归预测，在视觉推理和机器人操作任务中表现优越。
2026-10-01 cs.CV cs.LG
Systematic Relational Reasoning With Epistemic Graph Neural Networks
Cardiff University（卡迪夫大学）
针对图神经网络系统性推理能力不足的问题，提出认知图神经网络（EpiGNN），以认知状态作为节点嵌入并相应实现消息传递，在需要系统性推理的链接预测任务上达到最先进性能，并能在多路径聚合的新基准上准确推理。
2025-02-27 cs.AI cs.LG
Geometric Structural Knowledge Graph Foundation Model
University of Stuttgart（斯图加特大学）；University of Southampton（南安普顿大学）；Shahrood University of Technology（沙霍尔德大学）
Gamma通过引入多头几何注意力机制，提升知识图谱推理的表达能力，优于现有方法Ultra，在零样本归纳链接预测中表现更优。
2025-12-28 cs.AI cs.LG
Towards Probabilistic Inductive Logic Programming with Neurosymbolic Inference and Relaxation
TNO（荷兰应用科学研究组织）
针对传统ILP无法处理概率背景知识的问题，提出Propper框架，结合神经符号推理、连续假设选择标准（BCE）和约束松弛（NoisyCombo），能从极少示例中学习并优于现有模型。
2024-09-20 cs.AI cs.LG
Slot Abstractors: Toward Scalable Abstract Visual Reasoning
Princeton University（普林斯顿大学）；Princeton Neuroscience Institute（普林斯顿神经科学研究所）；University of California Los Angeles（加州大学洛杉矶分校）
本文提出Slot Abstractors方法，结合基于槽的物体中心表示与Abstractors的关系归纳偏置，解决了多物体多关系视觉推理的可扩展性问题，在多个任务上达到最先进性能。
2024-06-02 cs.CV cs.LG
