Inductive Logic Boosting
Nanjing University（南京大学）
近年来，人们对概率逻辑编程（PLP）和统计关系学习（SRL）模型的兴趣激增，这些模型将逻辑与概率相结合。这些系统的结构学习是归纳逻辑程序设计（ILP）和统计学习（SL）的交叉领域。然而，ILP不能处理概率，SL不能建模关系假设。集成这两个机器学习框架的最大挑战是如何仅从对接地逻辑原子的观察来估计逻辑子句的概率。现有的联合概率建模方法将子句表示为图模型，文字表示为图模型中的顶点，这种模型仍然过于复杂，只能用伪似然来近似。我们提出了归纳逻辑提升框架，将关系数据集转换为基于特征的数据集，通过提升Problog规则树来归纳逻辑规则，放松伪似然的独立性约束。在基准数据集上的实验结果表明，ILP学习规则的AUC-PR和AUC-ROC值高于当前最先进的SRL方法。
2014-02-25 cs.AI cs.LG
RetaGNN: Relational Temporal Attentive Graph Neural Networks for Holistic Sequential Recommendation
National Cheng Kung University（国立成功大学）
顺序推荐（SR）是根据用户当前访问的项目，为用户准确地推荐一个项目列表。当新用户不断进入现实世界时，一个关键的任务是拥有归纳SR，它可以在不重新训练的情况下生成用户和项目的嵌入。考虑到用户-项目交互可能非常稀疏，另一个关键任务是具有可转移的SR，可以将从一个具有丰富数据的领域中获得的知识转移到另一个领域。在这项工作中，我们的目标是提出整体SR，同时容纳传统的，归纳的，和可转移的设置。我们提出了一种新的基于深度学习的模型，关系时间注意图神经网络（RetaGNN），用于整体SR。首先，具有归纳和可转移的能力，我们训练一个关系关注GNN上的局部子图提取的用户项目对，其中可学习的权重矩阵是在用户，项目和属性之间的各种关系，而不是节点或边缘。其次，长期和短期的时间模式的用户偏好编码的建议顺序自我注意力机制。第三，设计了一个关系感知的正则化项，以更好地训练RetaGNN。在MovieLens，Instagram和Book-Crossing数据集上进行的实验表明，RetaGNN在传统，归纳和可转移的设置下可以胜过最先进的方法。导出的注意力权重也带来了模型的可解释性。
2021-01-29 cs.IR cs.LG cs.SI
Few-Sample Traffic Prediction with Graph Networks using Locale as Relational Inductive Biases
The Hong Kong Polytechnic University（香港理工大学）；University of Hong Kong（香港大学）；The Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院）；Research Institute for Sustainable Urban Development, The Hong Kong Polytechnic University（香港理工大学可持续城市发展研究院）
准确的短期交通预测在各种智能移动运营和管理系统中发挥着关键作用。目前，大多数最先进的预测模型是基于图神经网络（GNNs），所需的训练样本是成比例的交通网络的大小。在许多城市中，由于数据汇集费用，可用的交通数据量大大低于最低要求。在大规模网络中，如何利用少量的训练数据建立流量预测模型仍然是一个悬而未决的问题。我们注意到，一个节点的交通状态在不久的将来只取决于其本地化的邻居，这可以表示使用图关系归纳偏差的交通状态。有鉴于此，本文开发了一种基于图网络（GN）的深度学习模型LocaleGN，该模型使用局部数据聚合和更新函数以及逐节点递归神经网络来描述交通动态。LocaleGN是一种轻量级模型，设计用于在少量样本上训练而不会过度拟合，因此它可以解决少样本流量预测问题。用六个数据集对所提出的模型进行了检验，实验结果表明LocaleGN优于现有的最先进的基线模型。它还表明，从LocaleGN学到的知识可以跨城市转移。研究成果可以帮助开发轻量级的交通预测系统，特别是对于缺乏历史存档交通数据的城市。
2022-11-10 cs.LG stat.AP
Feed-Forward Neural Networks Need Inductive Bias to Learn Equality Relations
City, University of London（伦敦大学城市学院）
基本的二进制关系，如相等和不等是关系数据结构的基础。神经网络应该学习这种关系，并推广到新的看不见的数据。然而，我们在这项研究中表明，这种泛化失败与二进制向量的标准前馈网络。即使当训练最大的训练数据，标准的网络不可靠地检测equality.We引入差分整流器（DR）的单位，我们添加到网络中的不同配置。DR单元在网络中产生了一种归纳偏差，因此它们确实学会了泛化，即使是从少量的例子中，我们也没有发现它们包含在网络中的任何负面影响。鉴于这些关系的基本性质，我们假设前馈神经网络学习也受益于其他关系中的归纳偏差。因此，适当的归纳偏差的进一步发展将有利于神经网络的关系学习中的许多任务。
2018-12-04 cs.LG stat.ML
Inductive Logical Query Answering in Knowledge Graphs
Mila（米拉研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）；HEC Montréal（蒙特利尔高等商学院）
制定和回答逻辑查询是知识图谱（KG）的标准通信接口。神经方法通过学习实体、关系和查询的表示，减轻了现实世界KG的不完整性，在链接预测和复杂查询回答任务中取得了令人印象深刻的结果。尽管如此，大多数现有的查询应答方法依赖于转换实体嵌入，并且在不重新训练实体嵌入的情况下不能推广到包含新实体的KG。在这项工作中，我们研究了归纳查询应答任务，其中推理是在一个包含新实体的图上进行的，查询既可以看到，也可以看到实体。为此，我们设计了两种机制，利用由图神经网络（GNNs）驱动的归纳节点和关系结构表示。实验表明，归纳模型能够在推理时对看不见的节点进行逻辑推理，并将其推广到比训练图大500%的图。探索效率-有效性权衡，我们发现归纳关系结构表示方法通常具有更高的性能，而归纳节点表示方法能够在仅推理的情况下回答复杂的查询，而无需对查询进行任何训练，并且可以扩展到数百万节点的图形。代码可在https://github.com/DeepGraphLearning/InductiveQE上获得。
2022-11-08 cs.AI cs.LG
Investigating Relational State Abstraction in Collaborative MARL
University of Warwick（华威大学）；Nanyang Technological University（南洋理工大学）
本文提出基于空间关系的状态抽象方法MARC，通过图神经网络编码空间归纳偏置，在六个协作任务中显著提升样本效率和渐近性能，无需复杂设计即可实现高效泛化。
2024-12-19 cs.AI cs.LG cs.MA
Systematic Relational Reasoning With Epistemic Graph Neural Networks
Cardiff University（卡迪夫大学）
针对图神经网络系统性推理能力不足的问题，提出认知图神经网络（EpiGNN），以认知状态作为节点嵌入并相应实现消息传递，在需要系统性推理的链接预测任务上达到最先进性能，并能在多路径聚合的新基准上准确推理。
2025-02-27 cs.AI cs.LG
Relational program synthesis with numerical reasoning
University of Oxford（牛津大学）
程序合成方法努力学习具有数值的程序。一个特别困难的问题是在多个示例中学习连续值，例如区间。为了克服这个限制，我们引入了一个归纳逻辑程序设计方法，它结合了关系学习与数值推理。我们的方法，我们称之为NUMSYNTH，使用可满足性模理论求解器，有效地学习程序的数值。我们的方法可以识别线性算术片段中的数值，如实数差分逻辑，以及无穷域中的数值，如实数或整数。我们在四个不同领域的实验，包括游戏和程序合成，表明我们的方法可以（i）学习程序的数值线性算术推理，（ii）优于现有的方法在预测精度和学习时间。
2022-10-04 cs.LG cs.PL
Towards Probabilistic Inductive Logic Programming with Neurosymbolic Inference and Relaxation
TNO（荷兰应用科学研究组织）
针对传统ILP无法处理概率背景知识的问题，提出Propper框架，结合神经符号推理、连续假设选择标准（BCE）和约束松弛（NoisyCombo），能从极少示例中学习并优于现有模型。
2024-09-20 cs.AI cs.LG
Link Prediction with Relational Hypergraphs
University of Oxford（牛津大学）；Universidad Católica de Chile（智利天主教大学）
本文提出关系超图链接预测框架，使图神经网络适用于 k 元完全关系结构，并结合关系型 Weisfeiler-Leman 算法与逻辑表达性分析其能力，实验在归纳式和直推式任务上取得优异结果。
2025-06-09 cs.AI cs.LG
Inductive Relation Prediction by Subgraph Reasoning
McGill University（麦吉尔大学）；Mila
知识图谱中的关系预测的主导范例涉及对潜在表示的学习和操作（即，嵌入）实体和关系。然而，这些基于嵌入的方法并不明确地捕获知识图谱底层的组成逻辑规则，并且它们仅限于转换设置，其中在训练期间必须知道完整的实体集。在这里，我们提出了一个基于图神经网络的关系预测框架，GraIL，原因在当地的子图结构，并有很强的归纳偏见，学习实体独立的关系语义。与基于嵌入的模型不同，GraIL是自然归纳的，可以在训练后推广到看不见的实体和图形。我们提供了理论证明和强有力的经验证据，GraIL可以代表一阶逻辑的有用子集，并表明GraIL优于现有的规则归纳基线的归纳设置。我们还展示了通过在转导设置中将GraIL与各种知识图谱嵌入方法相结合所获得的显着收益，突出了我们方法的互补归纳偏差。
2020-02-12 cs.AI cs.LG stat.ML
Grid-to-Graph: Flexible Spatial Relational Inductive Biases for Reinforcement Learning
University College London（伦敦大学学院）
尽管近年来强化学习在许多领域得到了成功的应用，但我们仍然缺乏能够系统推广的智能体。虽然适合任务的关系归纳偏差可以提高RL代理的泛化能力，但这些偏差通常直接硬编码在代理的神经架构中。在这项工作中，我们表明，我们可以将关系归纳偏见，编码的关系图的形式，到代理。基于这一见解，我们提出了网格到图（GTG），从网格结构到关系图的映射，当通过关系图卷积网络（R-GCN）处理时，关系图携带有用的空间关系归纳偏差。我们表明，与基于卷积神经网络和神经逻辑机的基线相比，在具有挑战性的程序生成环境和MinAtar上，R-GCN在分布内和分布外都具有更好的泛化能力。此外，我们表明，GTG产生的代理，可以共同的原因在观察和环境动态编码的知识库。
2021-02-08 cs.LG
A Critical Review of Inductive Logic Programming Techniques for Explainable AI
Auburn University（奥本大学）
尽管现代机器学习算法最近取得了进展，但其底层机制的不透明性仍然是采用的障碍。为了在人工智能系统中灌输信心和信任，可解释的人工智能已经出现作为对提高现代机器学习算法的可解释性的响应。归纳逻辑程序设计（ILP）是符号人工智能的一个分支，由于其直观的逻辑驱动框架，在生成可解释的解释方面发挥着重要作用。ILP有效地利用溯因推理从实例和背景知识中生成可解释的一阶小句理论。然而，在开发方法的启发ILP的几个挑战需要解决他们在实践中的成功应用。例如，现有的ILP系统通常具有巨大的解空间，并且诱导解对噪声和干扰非常敏感。本文综述了ILP的最新进展，并讨论了统计关系学习和神经符号算法，它们为ILP提供了协同的观点。在对最近的进展进行了严格的回顾之后，我们描述了观察到的挑战，并强调了进一步发展自解释人工智能系统的ILP动机研究的潜在途径。
2023-03-03 cs.LG
kLog: A Language for Logical and Relational Learning with Kernels
Università degli Studi di Firenze（佛罗伦萨大学）；KU Leuven（鲁汶大学）；Albert-Ludwigs-Universität（阿尔伯特-路德维希大学）
我们介绍kLog，一种新的统计关系学习方法。与标准方法不同，kLog不直接表示概率分布。它更像是一种在表达性逻辑和关系表示上执行基于内核的学习的语言。kLog允许用户以声明的方式指定学习问题。它建立在简单但强大的概念上：从解释中学习，实体/关系数据建模，逻辑编程和演绎数据库。内核对丰富表示的访问是通过一种我们称为图形化的技术来进行的：关系表示首先被转换成一个图-特别是一个接地的实体/关系图。随后，图核的选择定义特征空间。kLog支持混合的数字和符号数据，以及以Prolog或Datalog程序形式存在的背景知识，如归纳逻辑程序设计系统。kLog框架可以应用于处理使统计关系学习如此流行的相同范围的任务，包括分类，回归，多任务学习和集体分类。我们还报告了经验比较，表明kLog可以更准确，或者在相同的精度水平下比Tilde和Alchemy快得多。kLog是GPL v3许可的，可在http://klog.dinfo.unifi.it上获得，并附有教程。
2014-07-28 cs.AI cs.LG cs.PL
Non-Intrusive Graph-Based Bot Detection for E-Commerce Using Inductive Graph Neural Networks
College of Engineering Northeastern University Boston, USA（工程学院 哈佛大学 波士顿 美国）；Khoury College of Computer Sciences Northeastern University Boston, USA（计算机科学学院 哈佛大学 波士顿 美国）；College of Professional Studies Northeastern University Boston, USA（专业研究学院 哈佛大学 波士顿 美国）
本文提出了一种基于归纳图神经网络的非侵入式电商-bot检测框架，通过图表示建模用户行为，有效识别自动化活动，提升检测准确性和鲁棒性。
2026-02-17 cs.LG
Neural Message Passing on Structural Interaction Graphs for Fully-Inductive Graph Neural Networks
该研究提出SIGIL框架，通过结构交互图和关系消息传递网络实现图特征的统一表示，可用于全归纳链接预测，还能统一多种图基础模型设计范式。
2026-08-14 cs.LG
Towards Few-shot Inductive Link Prediction on Knowledge Graphs: A Relational Anonymous Walk-guided Neural Process Approach
Nanjing University of Science and Technology（南京理工大学）；Monash University（莫纳什大学）；Griffith University（格里菲斯大学）
本文提出RawNP方法，通过关系匿名游走提取少样本观测中的关系模体，并结合神经过程建模链接预测函数分布，以快速适应新实体并估计不确定性，从而在知识图谱少样本归纳式链接预测任务上取得最先进性能。
2023-06-26 cs.AI cs.LG
Relational inductive biases on attention mechanisms
Facultad de Ciencias, UNAM（全国自治大学科学学院）；CEIICH, UNAM（全国自治大学计算机工程与信息学学院）
本文从几何深度学习视角分析注意力机制关于置换子群的等变性质，提出基于关系归纳偏置的分类，揭示不同注意力层对输入数据潜在关系的不同假设。
2025-07-05 cs.CL cs.LG
On Neural Architecture Inductive Biases for Relational Tasks
Mila, Quebec AI Institute（米拉魁北克人工智能研究所）
目前的深度学习方法已经显示出良好的分布内泛化性能，但难以实现分布外泛化。这在涉及抽象关系的任务中尤其如此，比如识别序列中的规则，正如我们在许多智力测试中发现的那样。最近的研究探索了如何迫使关系表征与感官表征保持区别，就像大脑中的情况一样，可以帮助人工系统。在这项工作的基础上，我们进一步探索和形式化的优势提供的“分区”表示的关系和感官细节，以及如何这种归纳偏见可以帮助重组学习的关系结构，在新遇到的设置。我们引入了一个简单的架构，我们命名为组合关系网络（CoRelNet）的相似性分数的基础上。使用这个模型，我们调查了一系列的归纳偏见，确保抽象的关系，学习和代表明显的感官数据，并探讨其影响分布外泛化的一系列关系心理物理学任务。我们发现，简单的架构选择可以优于现有的模型在分布外泛化。总之，这些结果表明，分区关系表示从其他信息流可能是一种简单的方式来增强现有的网络架构的鲁棒性时，执行分布外的关系计算。
2022-06-09 cs.AI cs.LG cs.NE
Incorporating Relational Background Knowledge into Reinforcement Learning via Differentiable Inductive Logic Programming
Georgia Institute of Technology（佐治亚理工学院）
关系强化学习（RRL）可以提供各种理想的功能。最重要的是，它允许将专家知识融入学习中，因此与标准的深度强化学习相比，它可以实现更快的学习和更好的泛化。然而，大多数现有的RRL方法要么不能结合专家背景知识（例如，以显式谓词语言的形式）或者不能直接从诸如图像的非关系数据学习。在本文中，我们提出了一种新的深度RRL的基础上可微归纳逻辑程序设计（ILP），可以有效地学习关系信息的图像和目前的状态的环境作为一阶逻辑谓词。此外，它可以采用专家背景知识，并使用适当的谓词将其纳入学习问题。可区分的ILP允许用于在RRL中学习策略的整个框架的端到端优化。我们使用BoxWorld，GridWorld以及CLEVR数据集的关系推理等环境来展示这种新型RRL框架的有效性。
2020-03-23 cs.LG stat.ML
Inductive Relation Prediction from Relational Paths and Context with Hierarchical Transformers
University of Science and Technology of China（中国科学技术大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出REPORT框架，利用分层Transformer同时聚合关系路径和上下文，仅依赖关系语义实现完全归纳式关系预测，并在两个数据集上一致优于基线且具备可解释性。
2023-07-10 cs.AI cs.CL cs.LG
Learning Graph Structure from Convolutional Mixtures
University of Rochester（罗切斯特大学）；University of Pennsylvania（宾夕法尼亚大学）
诸如图神经网络之类的机器学习框架通常依赖于给定的固定图来利用关系归纳偏差，从而有效地从网络数据中学习。然而，当所述图是（部分）未观察到的、有噪声的或动态的时，从数据推断图结构的问题变得相关。在本文中，我们假设观察图和潜在图之间的图卷积关系，并将图学习任务制定为网络逆（反卷积）问题。代替基于特征分解的谱方法或迭代优化解决方案，我们展开并截断邻近梯度迭代，以达到一个参数化的神经网络架构，我们称之为图形反卷积网络（GDN）。GDN可以以监督的方式学习图的分布，通过调整损失函数来执行链接预测或边权重回归任务，并且它们本质上是归纳的。我们证实了GDN的优越的图形恢复性能和它的推广到更大的图形使用合成数据在监督设置。此外，我们证明了GDN在现实世界神经成像和社交网络数据集上的鲁棒性和表示能力。
2022-05-19 cs.LG cs.SI eess.SP
Towards Abstract Relational Learning in Human Robot Interaction
Sapienza University of Rome（罗马第一大学（萨皮恩扎大学））
人类对环境中的实体有着丰富的表征。实体由其属性描述，共享属性的实体通常在语义上相关。例如，如果两本书的“title”属性的值都是“自然语言处理“，那么我们可以预期它们的”topic“属性也是相等的，即“NLP”。人类倾向于概括这样的观察，并推断出任何实体的“主题”属性是“NLP”的充分条件。如果机器人需要与人类成功交互，它们需要以类似的方式表示实体，属性和概括。这最终导致一个语境化的认知主体能够适应其理解，其中语境为正确的理解提供了充分的条件。在这项工作中，我们解决的问题，如何获得这些表示通过人机交互。我们整合视觉感知和自然语言输入，以增量方式构建世界的语义模型，然后使用归纳推理来推断捕捉通用语义关系的逻辑规则，在此模型中为真。这些关系可用于丰富人机交互，用推断的事实填充知识库，或消除机器人的感官输入中的不确定性。
2020-11-20 cs.AI cs.CL cs.LG
HEHRGNN: A Unified Embedding Model for Knowledge Graphs with Hyperedges and Hyper-Relational Edges
organization= Department of Computer Science；Engineering Indian Institute of Technology Palakkad , country= India
HEHRGNN是一种统一的嵌入模型，用于处理具有超边和超关系边的n-元关系知识图谱，通过统一的事实表示格式和新型消息传播模型，提升链接预测性能。
2026-02-21 cs.AI cs.LG
Communicative Subgraph Representation Learning for Multi-Relational Inductive Drug-Gene Interaction Prediction
Sun Yat-sen University（中山大学）；Galixir Technologies Ltd（Galixir科技有限公司）
阐明药物和基因之间的相互联系是药物开发和精准医学的重要课题。目前，药物-基因相互作用的计算预测主要集中在结合相互作用上，而不考虑其他关系类型，如激动剂，拮抗剂等。此外，现有的方法要么严重依赖于高质量的域特征，要么本质上是转导的，这限制了模型推广到缺乏外部信息或在训练过程中看不到的药物/基因的能力。为了解决这些问题，我们提出了一种新的通信子图表示学习的多关系诱导药物-基因相互作用预测（CoSMIG），其中药物-基因关系的预测是通过子图模式，因此是自然的诱导看不见的药物/基因，而无需重新训练或利用外部域功能。此外，该模型通过一个可通信的消息传递机制，加强了药物-基因图上的关系。为了评估我们的方法，我们从DrugBank和DGIdb编译了两个新的基准数据集。在两个数据集上的综合实验表明，我们的方法在转导场景中的性能优于最先进的基线，并在归纳场景中取得了优异的性能。进一步的实验分析，包括LINCS实验验证和文献验证也证明了我们的模型的价值。
2022-05-12 cs.LG
Representational Alignment with Chemical Induced Fit for Molecular Relational Learning
Wuhan University of Technology（武汉理工大学）；Yonsei University（延世大学）；Hubei Key Laboratory of Transportation Internet of Things（湖北省交通运输物联网重点实验室）；Dalian University（大连大学）
提出ReAlignFit方法，通过引入化学诱导契合的归纳偏置动态对齐子结构表征，并利用子图信息瓶颈优化高化学功能兼容性的子结构对，以提升分子关系学习在化学空间偏移数据上的稳定性。
2026-06-09 cs.AI cs.LG
Relational inductive bias for physical construction in humans and machines
DeepMind；MIT（麻省理工学院）；Department of Brain and Cognitive Sciences（脑与认知科学系；麻省理工学院）；MIT
虽然当前的深度学习系统擅长对象分类、语言处理和游戏等任务，但很少有人能够构建或修改复杂的系统，如积木塔。我们假设，这些系统缺乏的是一个“关系归纳偏见”：推理对象间的关系，并作出选择的一个场景的结构化描述的能力。为了验证这一假设，我们专注于一项任务，该任务涉及将成对的块粘在一起以稳定塔，并量化人类的表现。然后，我们引入了一个深度强化学习代理，它使用以对象和关系为中心的场景和策略表示，并将其应用于任务。我们的研究结果表明，这些结构化表示允许代理优于人类和更天真的方法，这表明关系归纳偏差是解决结构化推理问题和构建更智能，更灵活的机器的重要组成部分。
2018-06-04 cs.AI cs.LG stat.ML
Inductive Link Prediction on N-ary Relational Facts via Semantic Hypergraph Reasoning
Harbin Institute of Technology（哈尔滨工业大学）
针对n元关系事实的完全归纳链接预测难题，提出基于n元语义超图的子图推理框架NS-HART，通过局部子图推理捕获实体无关的n元模式，实验证明其优越的归纳能力。
2025-03-26 cs.AI cs.LG
Group Relative Knowledge Distillation: Learning from Teacher's Relational Inductive Bias
China Mobile Information Technology Co.,Ltd.（中国移动信息技术有限公司）；Fudan University（复旦大学）
针对现有知识蒸馏忽略教师模型相对预测中的关系归纳偏置导致曝光偏差的问题，提出GRKD框架，通过组相对损失学习类别间相对排序，在分类基准上取得更优泛化能力。
2025-04-29 cs.AI cs.LG
Sparse Graph Learning from Spatiotemporal Time Series
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；Università della Svizzera italiana（瑞士意大利语区大学）；Politecnico di Milano（米兰理工大学）
提出一种基于概率分数的图学习框架，通过蒙特卡洛方差减少技术学习关系依赖分布，在控制稀疏性与可扩展性的同时实现端到端时空时间序列预测的最先进性能。
2023-08-02 cs.AI cs.LG
A Relational Inductive Bias for Dimensional Abstraction in Neural Networks
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
本文提出关系瓶颈这一归纳偏置，使神经网络学习因子化、正交的低维表征，从而提升泛化与学习效率，并涌现类人规律性偏置和类符号灵活性。
2024-02-28 cs.AI cs.LG
Hierarchical Protein Function Prediction with Tail-GNNs
University of Belgrade（贝尔格莱德大学）；DeepMind
蛋白质功能预测可以被构建为预测描述蛋白质功能层次结构的有向非循环图的子图（具有某些封闭性质）。图神经网络（GNN）具有内置的关系数据归纳偏差，因此自然适合这项任务。然而，与大多数GNN应用程序相比，图与输入无关，而是与标签空间相关。因此，我们提出了Tail-GNNs，即自然与任何神经网络的输出空间组合以进行多任务预测的神经网络，以提供关系增强标签。对于蛋白质功能预测，我们将Tail-GNN与学习蛋白质序列表示的扩张卷积网络相结合，使F_1得分显着提高，并展示了Tail-GNN学习有用的标签表示并将其用于现实世界问题解决的能力。
2020-07-24 cs.LG q-bio.BM stat.ML
Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds
Department of Computer Science and Technology（计算机科学与技术系）；University of Cambridge（剑桥大学）
虽然当测试数据从与训练数据相同的分布中采样时，现代深度神经架构可以很好地推广，但当测试数据分布与训练分布甚至在几个维度上都不同时，它们会严重失败。当任务变得更加抽象和复杂时，例如在关系推理中，这种分布外概括的缺乏越来越明显。在本文中，我们提出了一个神经科学启发的归纳偏置模块，可以很容易地与当前的神经网络架构合并，以提高关系推理任务的分布外（o.o.d）泛化性能。该模块学习将高维对象表示投影到低维流形，以实现更有效和更通用的关系比较。我们表明，这种归纳偏见的神经网络实现了相当好的O.O.D的概括性能的一系列关系推理任务。最后，我们分析了所提出的归纳偏差模块，以了解低维投影的重要性，并提出了一个增强的算法对齐理论，以更好地衡量算法对齐与概括。
2020-10-03 cs.LG stat.ML
Filling the G_ap_s: Multivariate Time Series Imputation by Graph Neural Networks
The Swiss AI Lab IDSIA, Università della Svizzera italiana（瑞士人工智能实验室IDSIA，瑞士意大利语区大学）；Politecnico di Milano（米兰理工大学）
处理缺失值和不完整的时间序列是一项劳动密集型，繁琐，不可避免的任务，当处理来自现实世界的应用程序的数据。有效的时空表示将允许插补方法通过利用来自不同位置的传感器的信息来重建缺失的时间数据。然而，标准方法在捕获互连传感器网络内存在的非线性时间和空间依赖性方面存在不足，并且没有充分利用可用的（并且通常是强的）关系信息。值得注意的是，大多数基于深度学习的最先进的插补方法没有明确地对关系方面进行建模，并且在任何情况下都没有利用能够充分表示结构化时空数据的处理框架。相反，图神经网络最近作为处理具有关系归纳偏差的序列数据的表达和可扩展工具而流行起来。在这项工作中，我们提出了第一个评估的图神经网络的背景下，多变量时间序列插补。特别是，我们介绍了一种新的图神经网络架构，名为GRIN，其目的是在重建丢失的数据在不同渠道的多元时间序列通过学习时空表示通过消息传递。实证结果表明，我们的模型优于国家的最先进的方法在相关的现实世界的基准与平均绝对误差的改善往往高于20%的插补任务。
2022-02-10 cs.AI cs.LG
Nested Inductive Bias Framework for SPD Manifold Learning
National Institute of Technology Jamshedpur（杰姆谢德布尔国家理工学院）
本文提出嵌套归纳偏置框架，将非欧几何拉回至SPD流形，构建曲率对齐的黎曼分类器，实验表明度量曲率与数据分布对齐可提升类可分性，还提出RCM增强几何鲁棒性。
2026-09-07 cs.LG
SpatialSim: Recognizing Spatial Configurations of Objects with Graph Neural Networks
Inria（法国国家信息与自动化研究所）；Microsoft Research（微软研究院）
识别物体群的精确几何构型是人类空间认知的一项关键能力，但迄今为止在深度学习文献中的研究还很少。特别是，一个基本问题是机器如何学习和比较几何空间配置的类别，这些几何空间配置对于外部观察者的观点是不变的。在本文中，我们做了两个关键的贡献。首先，我们提出了SpatialSim（空间相似性），一种新的几何推理基准，并认为在这个基准上的进展将为解决现实世界中的这一挑战铺平道路。这个基准测试由两个任务组成：识别和比较，每个任务的难度都在增加。其次，我们研究了全连接消息传递图神经网络（MPGNNs）所表现出的关系归纳偏差如何有助于解决这些任务，并展示了它们相对于关系较少的基线（如深度集）和非结构化模型（如多层感知器）的优势。最后，我们强调了GNN在这些任务中的当前限制。
2020-07-16 cs.CV cs.LG stat.ML
On the Transferability of VAE Embeddings using Relational Knowledge with Semi-Supervision
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）；City University of London（伦敦城市大学）
我们提出了一个新的关系VAE半监督模型，能够平衡解纠缠和低复杂度的关系建模与不同的符号属性。我们比较了关系解码器复杂度和潜在空间结构对归纳和转导迁移学习的相对好处。我们的研究结果描绘了一个复杂的画面，在半监督表示上强制执行结构可以大大提高zero-shot转导传输，但可能不太有利，甚至对感应传输的能力产生负面影响。
2020-11-13 cs.AI cs.LG
Learning Latent Graph Structures and their Uncertainty
Politecnico di Milano, Milan, Italy（米兰理工大学，米兰，意大利）
针对图神经网络中潜在图结构学习无法通过点预测损失保证正确学习关系及不确定性的问题，提出基于采样的联合学习方法，同时学习潜在图分布并实现目标变量最优预测。
2025-05-28 cs.AI cs.LG stat.ML
Lagrangian Neural Network with Differentiable Symmetries and Relational Inductive Bias
Indian Institute of Technology Delhi（印度德里理工学院）
物理世界的现实模型依赖于可微对称性，而这些对称性又对应于守恒定律。最近的拉格朗日和哈密顿神经网络的工作表明，一个系统的基本对称性可以很容易地通过一个神经网络时，提供了一个适当的归纳偏置学习。然而，这些模型仍然存在一些问题，例如无法推广到任意系统大小，可解释性差，最重要的是，无法学习平移和旋转对称性，这分别导致线性和角动量守恒定律。在这里，我们提出了一个动量守恒拉格朗日神经网络（MCLNN），学习系统的拉格朗日，同时也保持平移和旋转对称性。我们测试我们的方法对线性和非线性弹簧系统，和重力系统，展示了能量和动量守恒。我们还表明，开发的模型可以推广到任何任意大小的系统。最后，我们讨论了MCLNN的可解释性，它直接提供了多粒子系统相互作用的物理见解。
2021-10-12 cond-mat.mtrl-sci cs.AI cs.LG
Relational inductive biases, deep learning, and graph networks
DeepMind（深度思维）；Google Brain（谷歌大脑）；MIT（麻省理工学院）；University of Edinburgh（爱丁堡大学）
人工智能（AI）最近经历了一次复兴，在视觉、语言、控制和决策等关键领域取得了重大进展。这在一定程度上是由于廉价的数据和廉价的计算资源，这符合深度学习的自然优势。然而，人类智力的许多决定性特征是在不同的压力下发展起来的，目前的方法仍然无法达到。特别是，超越个人经验的概括--这是人类智能从婴儿期开始的标志--仍然是现代人工智能面临的巨大挑战。以下是部分立场文件，部分审查，部分统一。我们认为，组合泛化必须是AI实现类似人类能力的首要任务，而结构化表示和计算是实现这一目标的关键。正如生物学合作使用先天和后天一样，我们拒绝在“手工工程”和“端到端”学习之间做出错误的选择，而是提倡一种从两者互补优势中受益的方法。我们探讨了如何在深度学习架构中使用关系归纳偏差来促进对实体、关系和组成它们的规则的学习。我们提出了一个新的构建块的人工智能工具包与强大的关系归纳偏见-图网络-它概括和扩展了各种方法的神经网络上运行的图形，并提供了一个简单的接口，操作结构化的知识和产生结构化的行为。我们讨论了图网络如何支持关系推理和组合泛化，为更复杂，可解释和灵活的推理模式奠定了基础。作为本文的配套，我们发布了一个用于构建图网络的开源软件库，并演示了如何在实践中使用它们。
2018-10-17 cs.AI cs.LG stat.ML
Graph Neural Networks for Relational Inductive Bias in Vision-based Deep Reinforcement Learning of Robot Control
Technical University of Munich（慕尼黑工业大学）
最先进的强化学习算法主要从数值状态向量或图像中学习策略。这两种方法通常不考虑任务的结构知识，这在机器人应用中特别普遍，如果利用，可以有益于学习。这项工作引入了一种神经网络架构，该架构结合了关系归纳偏差和视觉反馈，以学习机器人操作的有效位置控制策略。我们推导出一个图形表示模型的机械手的物理结构，并结合机器人的内部状态与低维描述的图像编码网络生成的视觉场景。在此基础上，用强化学习训练的图神经网络预测关节速度来控制机器人。我们进一步介绍了一种不对称的方法，训练图像编码器单独的政策，使用监督学习。实验结果表明，对于一个2自由度的平面机器人在一个几何简单的2D环境中，学习表示的视觉场景可以取代访问的显式坐标的到达目标，而不损害的质量和样本效率的政策。我们进一步展示了该模型的能力，以提高样本效率的6自由度的机器人手臂在视觉上逼真的3D环境。
2022-03-11 cs.CV cs.LG cs.RO
Generating Contrastive Explanations for Inductive Logic Programming Based on a Near Miss Approach
University of Bamberg（班贝格大学）
在最近的研究中，人类可以理解的机器学习模型解释受到了广泛关注。解释通常以模型简化或可视化的形式给出。然而，正如认知科学和早期人工智能研究所显示的那样，概念理解也可以通过将概念的给定实例与类似的反例对齐来提高。将一个给定的实例与一个结构相似但不属于该概念的实例进行对比，突出了概念成员资格所必需的特征。温斯顿（Winston，1970）提出了这种近乎失败的学习方法，作为关系领域学习的有效指导。我们介绍了一个解释生成算法的关系概念与归纳逻辑程序设计（\textsc{GeNME}）。该算法从给定的一组实例中识别出近距离错过的实例，并根据这些实例与特定正实例的接近程度对这些实例进行排名。一个修改后的规则，它涵盖了近距离错过，但不是原来的情况下，作为一个解释。我们说明\textsc{GeNME}与著名的家庭域组成的亲属关系，视觉关系温斯顿拱门域和现实世界的域处理文件管理。我们还提出了一个心理实验，比较人类的偏好，基于规则的，基于例子的，和近错过的解释在家庭和拱门域。
2021-06-15 cs.AI cs.LG
Relational reasoning and inductive bias in transformers and large language models
Imperial College London（帝国理工学院伦敦分校）；Google（谷歌）；DeepMind（深度Mind）；Columbia University（哥伦比亚大学）
本文研究了变换器和大语言模型在关系推理中的表现，比较了基于权重学习和上下文学习的机制，发现基于权重学习的模型能进行传递推理，而基于上下文学习的模型则依赖训练数据进行传递推理，预训练可使上下文学习模型更接近权重学习模型。
2026-05-11 cs.LG q-bio.NC
Gromov-Wasserstein Distillation for Inductive Multi-View Embedding
Instituto Federal do Ceará (IFCE)（塞阿拉联邦学院）；Federal University of Ceará (UFC)（塞阿拉联邦大学）；Sigma Nova
提出基于重心蒸馏的归纳式框架，将转导式GW-MDS嵌入转化为显式神经映射，在未见样本上保持几何结构并优于直接神经GW训练。
2026-10-01 cs.LG stat.ML
Subgraph Neighboring Relations Infomax for Inductive Link Prediction on Knowledge Graphs
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
针对知识图谱的归纳链接预测旨在预测在训练阶段未示出的看不见的实体之间的缺失链接。大多数以前的作品学习实体特定的嵌入实体，不能处理看不见的实体。最近的几种方法利用封闭子图来获得归纳能力。然而，这些工作都只考虑子图的封闭部分，而没有考虑完全的邻接关系，导致部分邻接关系被忽略，稀疏子图难以处理。为了解决这个问题，我们提出了子图相邻关系Infomax，SNRI，它充分利用完全相邻关系从两个方面：相邻关系特征的节点特征和相邻关系路径的稀疏子图。为了进一步在全局范围内对相邻关系进行建模，我们创新性地将互信息（MI）最大化应用于知识图谱。实验结果表明，SNRI算法在归纳链接预测任务上的性能明显优于现有方法，并验证了该算法在稀疏子图上以全局的方式探索节点间的完全邻接关系来刻画节点特征和推理的有效性.
2022-08-26 cs.AI cs.LG
Structural Abstraction as an Inductive Bias for Non-Stationary Language Model Training
University of Southern California（南加州大学）
提出抽象增强训练（AAT）方法，通过联合优化具体实例及其结构抽象，减少灾难性干扰并提升关系泛化能力，在非平稳语言模型训练中验证了结构抽象作为稳定学习信号的有效性。
2026-05-22 cs.CL cs.LG
Disentangled Relational Representations for Explaining and Learning from Demonstration
University of Edinburgh（爱丁堡大学）
示教学习是人类用户指导机器人行为的有效方法。然而，对于大多数具有实际意义的重要任务来说，有效的示教学习在很大程度上取决于所选奖励/成本和政策结构中的归纳偏差。我们解决的情况下，这种归纳偏见来自与人类用户的交流。我们提出了一种方法，在该方法中，学习代理利用高参数变分神经模型的信息瓶颈层，辅助损失条款，以地面抽象概念，如空间关系。这些概念在自然语言指令中被引用，并在智能体从世界接收的高维感觉输入流中表现出来。我们评估了学习模型在真实感合成环境中的潜在空间的属性，特别是专注于研究其对下游任务的可用性。此外，通过一系列受控桌面操作实验，我们证明了学习的流形可以用于地面演示作为符号计划，然后可以在PR 2机器人上执行。
2019-10-06 cs.LG cs.RO
Geometric Structural Knowledge Graph Foundation Model
University of Stuttgart（斯图加特大学）；University of Southampton（南安普顿大学）；Shahrood University of Technology（沙霍尔德大学）
Gamma通过引入多头几何注意力机制，提升知识图谱推理的表达能力，优于现有方法Ultra，在零样本归纳链接预测中表现更优。
2025-12-28 cs.AI cs.LG
Deeply Semantic Inductive Spatio-Temporal Learning
Spatial Reasoning（空间推理）；The DesignSpace Group（设计空间集团）；University of Bremen（不来梅大学）；University of Münster（明斯特大学）
我们提出了一个归纳时空学习框架植根于归纳逻辑程序设计。强调视觉空间语言，逻辑和认知，该框架支持学习与关系的时空特征，可识别的一系列领域，涉及动态视觉空间图像的处理和解释。我们提出了一个原型系统，并在视觉艺术和计算认知科学计算领域的一个例子应用。
2016-08-09 cs.AI cs.CV cs.LG
Graph Machine: Exploring Edge Mechanisms as an Inductive Bias
该研究提出Graph Machine架构，含边增强注意力与以边为中心的引用两种边机制，在数独任务上优于Transformer基线，证明显式边机制是有前景的架构设计。
2026-08-21 cs.LG
Graph State-Space Models and Latent Relational Inference
Università della Svizzera italiana, IDSIA, Switzerland（瑞士意大利语区大学，IDSIA，瑞士）；EPFL, IMOS Lab, Switzerland（瑞士洛桑联邦理工学院，IMOS实验室，瑞士）；Politecnico di Milano, Italy（米兰理工大学，意大利）
本文提出图状态-空间模型，通过联合学习状态空间动态和潜在关系结构，提升时空数据的预测准确性。
2026-04-05 cs.LG
Relational Message Passing for Knowledge Graph Completion
Stanford University（斯坦福大学）
知识图谱补全的目的是预测知识图谱中实体之间缺失的关系。在这项工作中，我们提出了一个关系消息传递方法的知识图谱完成。与现有的基于嵌入的方法不同，关系消息传递仅考虑边缘特征（即，关系类型），并迭代地在边之间传递关系消息以聚合邻域信息。具体而言，在关系消息传递框架下，为给定实体对建模了两种邻域拓扑：（1）关系上下文，它捕获给定实体对相邻边的关系类型;（2）关系路径，它表征给定两个实体在知识图谱中的相对位置。这两个消息传递模块结合在一起进行关系预测。在知识图谱基准测试和我们新提出的数据集上的实验结果表明，我们的方法PathCon的性能大大优于最先进的知识图谱完成方法。PathCon也被证明适用于在训练阶段看不到实体的归纳设置，并且能够为预测结果提供可解释的解释。代码和所有数据集都可以在https://github.com/hwwang55/PathCon上找到。
2021-05-27 cs.LG stat.ML
Topology-Aware Correlations Between Relations for Inductive Link Prediction in Knowledge Graphs
University of Science and Technology of China（中国科学技术大学）
归纳链接预测--其中在训练和推理阶段的实体可以是不同的--已被证明有希望完成不断进化的知识图谱。现有的归纳推理模型主要集中在通过学习逻辑规则来预测缺失环节。然而，许多现有的方法不考虑关系之间的语义相关性，这是常见的在现实世界的知识图谱。为了解决这个问题，我们提出了一种新的归纳推理方法，即TACT，它可以有效地利用拓扑感知的关系之间的关联，在一个实体独立的方式。TACT的灵感来自于观察到两个关系之间的语义相关性与它们在知识图谱中的拓扑结构高度相关。具体来说，我们将所有的关系对分为几个拓扑模式，然后提出了一个关系相关网络（RCN）学习的重要性，归纳链接预测的不同模式。实验表明，TACT可以有效地建模关系之间的语义相关性，并显着优于现有的国家的最先进的方法在基准数据集上的归纳链接预测任务。
2021-03-05 cs.CL cs.LG
What Structural Inductive Bias Helps Transformers Reason Over Knowledge Graphs? A Study with Tabula RASA
ETH Zurich（苏黎世联邦理工学院）
通过最小化Transformer修改的消融实验，发现稀疏邻接掩码是驱动多跳推理的主要结构归纳偏置，而关系参数贡献有限。
2026-06-03 cs.AI cs.LG
