Knowledge Enhanced Neural Networks for relational domains
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
在最近的过去，对神经符号积分框架的兴趣越来越大，即，结合联结主义和符号方法的混合系统，以获得两个世界的最佳效果。在这项工作中，我们专注于一个特定的方法，KENN（知识增强神经网络），神经符号架构，注入到一个神经网络的顶部添加一个剩余层，修改相应的知识的初始预测的先验逻辑知识。在这种策略的优点中，包括子句权重，代表子句强度的可学习参数，这意味着模型可以学习每个规则对最终预测的影响。作为一种特殊情况，如果训练数据与约束相矛盾，KENN会学习忽略它，使系统对错误知识的存在具有鲁棒性。在本文中，我们提出了一个扩展的KENN的关系数据。KENN的主要优势之一在于其可扩展性，这要归功于对通过堆叠多个逻辑层获得的规则之间的依赖关系的灵活处理。我们的实验表明，这种策略的有效性。结果表明，KENN能够提高底层神经网络的性能，获得更好的或相当的精度方面的其他两个相关的方法，结合学习与逻辑，需要显着更少的时间学习。
2022-05-31 cs.AI cs.LG cs.LO
Efficient Symbolic Reasoning for Neural-Network Verification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Google Research（谷歌研究院）
神经网络已成为现代软件系统的一个组成部分。然而，它们仍然存在各种问题，特别是易受对抗攻击的伤害。在这项工作中，我们提出了一个新的程序推理框架的神经网络验证，我们称之为符号推理。我们的框架的关键组成部分是使用的符号域和二次关系。符号域具有非常灵活的语义，二次关系具有很强的表达能力。它们允许我们将神经网络的许多验证问题编码为二次规划。我们的计划，然后放松二次规划的半定规划，可以有效地解决。这个框架允许我们在不同的场景下验证各种神经网络属性，特别是那些对非符号域具有挑战性的属性。此外，它引入了新的表示和观点的验证任务。我们相信，我们的框架可以带来新的理论见解和实用工具的验证问题的神经网络。
2023-03-23 cs.AI cs.LG cs.SC
Neural-Symbolic Argumentation Mining: an Argument in Favor of Deep Learning and Reasoning
University of Bologna（博洛尼亚大学）；TU Darmstadt（达姆施塔特工业大学）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
深度学习为论证挖掘领域带来了显着的贡献，但现有的方法仍然需要填补执行高级推理任务的空白。在这份立场文件中，我们认为神经符号和统计关系学习可以在整合符号和子符号方法以实现这一目标方面发挥至关重要的作用。
2020-01-28 cs.AI
RESOLVE: Relational Reasoning with Symbolic and Object-Level Features Using Vector Symbolic Processing
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出 RESOLVE 神经向量符号架构，通过打包和绑定操作结合对象级特征与关系表示，并引入双极高维注意力机制，解决了现有模型在纯关系和部分关系推理任务中的不足，实现了低延迟、高内存效率及更高的准确率与泛化能力。
2024-11-13 cs.AI cs.LG
Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic Approach
Örebro University（厄勒布鲁大学）；KU Leuven（鲁汶大学）
本文提出神经符号框架 DERRL，将符号规划的关系表示、约束与深度学习结合，提取逻辑规则形式的可解释策略，并在多种环境中验证其可迁移与泛化能力。
2023-07-14 cs.AI cs.LG
Relational Abstractions for Generalized Reinforcement Learning on Symbolic Problems
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）
符号状态空间问题中的强化学习具有挑战性，因为需要长时间的推理。本文提出了一种新的方法，利用关系抽象结合深度学习来学习此类问题的可推广的Q函数。学习的Q函数可以有效地转移到具有不同对象名称和对象数量的相关问题，从而具有完全不同的状态空间。我们表明，学习广义Q函数可以用于zero-shot转移到相关的问题，没有明确的，手工编码的课程。对一系列问题的实证评估表明，我们的方法有利于有效的zero-shot转移的学习知识，包含许多对象的更大的问题实例。
2022-04-27 cs.AI cs.LG
Learning Neuro-Symbolic Relational Transition Models for Bilevel Planning
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在机器人领域，学习和规划由于连续的状态空间、连续的动作空间和长的任务范围而变得复杂。在这项工作中，我们用神经符号关系转换模型（NSRT）来解决这些挑战，NSRT是一类新型的模型，它具有数据学习效率，与强大的机器人规划方法兼容，并可在对象上推广。NSRT具有符号和神经组件，实现了双层规划方案，其中外循环中的符号AI规划指导内环中的神经模型的连续规划。在四个机器人规划领域的实验表明，NSRT可以在数十或数百次训练后学习，然后用于快速规划新任务，这些任务需要多达60个动作，涉及的对象比训练期间看到的要多得多。视频：https://tinyurl.com/chitnis-nsrts
2022-06-30 cs.AI cs.LG cs.RO
Geometric Relational Embeddings
Universität Stuttgart（斯图加特大学）；Institut für Künstliche Intelligenz (KI) der Universität Stuttgart（斯图加特大学人工智能研究所）
针对向量表示难以捕捉关系数据复杂符号属性的问题，提出几何关系嵌入范式，通过多种模型捕捉网络、知识图谱及本体中的复杂结构、逻辑约束与高阶结构，有效保留数据的离散符号特性。
2024-09-18 cs.AI cs.LG cs.SI
Relational Reasoning Networks
KU Leuven（鲁汶大学）；University of Siena（锡耶纳大学）；Scuola Normale Superiore（比萨高等师范学校）
针对现有神经符号方法难以兼顾不确定性处理与可扩展性的问题，提出能在潜空间执行关系推理的端到端模型R2N，通过额外计算结构处理高阶关系，可适配纯符号或异构任务，在多实验设置下达到SOTA效果。
2025-01-15 cs.AI cs.LG
LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules
Georgia Institute of Technology（佐治亚理工学院）
本文提出LARS-VSA架构，利用超维计算和关系瓶颈策略构建组合式神经符号系统，通过高维注意力机制实现高效抽象规则学习，在多个数据集上达到更优或相当的准确率且效率显著提升。
2024-05-23 cs.AI cs.LG
Reasoning in Large Language Models Through Symbolic Math Word Problems
University of Pennsylvania（宾夕法尼亚大学）；Aragon High School（阿拉贡高中）；Princeton University（普林斯顿大学）；Google Research（谷歌研究院）
本文通过创建SVAMP数据集的符号版本SVAMP_Sym，研究LLMs在数学应用题中的推理能力，提出自我提示方法使符号推理与数值答案对齐，提升推理可解释性并实现集成效果。
2023-08-03 cs.AI cs.CL cs.LG
SciReC: Diagnostic Evaluation of Multimodal, Multi-Turn Relational Reasoning with Adaptive Interaction
Arizona State University（亚利桑那州立大学）；Capital One（第一资本金融公司）
本研究构建了多模态学术对话基准SciReC，提出缺陷诊断框架DMRA评估多模态大语言模型的关系推理能力，发现不同模型在各类关系及领域上的表现差异，明确错误的主要来源。
2026-08-31 cs.AI cs.CL cs.LG
Improved Logical Reasoning of Language Models via Differentiable Symbolic Programming
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Petuum Inc.（Petuum公司）
本文提出DSR-LM可微符号推理框架，结合预训练语言模型与符号模块，学习加权规则并应用语义损失，在演绎推理基准上准确率提升超20%，且优于多种基线。
2023-05-05 cs.AI cs.CL cs.LG
NeSTR: A Neuro-Symbolic Abductive Framework for Temporal Reasoning in Large Language Models
National Key Laboratory of Big Data and Decision（大数据与决策国家重点实验室）
NeSTR通过结合符号表示与反思推理，提升大语言模型在复杂时间约束下的推理能力。
2025-12-08 cs.AI cs.CL cs.LG
Interpretable by AI Mother Tongue: Native Symbolic Reasoning in Neural Models
PARRAWA AI
该框架让神经模型发展出原生符号语言AI母语，通过嵌入推理、门控归纳和顺序训练，实现透明推理，在AI任务上兼顾准确性与可验证性。
2025-08-26 cs.AI cs.CL cs.LG
Weakly Supervised Reasoning by Neuro-Symbolic Approaches
College of Computer Science, Sichuan University（四川大学计算机学院）；University of Alberta（阿尔伯塔大学）
本文提出神经符号方法，将符号潜在结构与神经网络结合，通过强化学习或松弛形式实现弱监督推理，并在表格查询、句法、信息抽取和规则推理等任务中验证有效性。
2023-09-19 cs.AI cs.CL cs.LG
Relational Graph Convolutional Neural Networks for Multihop Reasoning: A Comparative Study
University of Cambridge（剑桥大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
多跳问答是一个复杂的自然语言处理任务，需要多个推理步骤来找到给定问题的正确答案。以前的研究已经探索了使用基于图神经网络的模型来解决这一任务。已经提出了各种架构，包括关系图卷积网络（RGCN）。对于这些许多节点类型和它们之间的关系已经被引入，例如简单的实体同现，建模共引用，或通过中间实体从问题到答案的“推理路径”。然而，关于哪些关系、节点类型、嵌入和架构对这项任务最有益的深入分析仍然缺失。在本文中，我们探索了一些基于RGCN的多跳QA模型，图关系和节点嵌入，并实证探索每个对WikiHop数据集上的多跳QA性能的影响。
2022-10-13 cs.AI cs.CL cs.LG
Interpretable Relational Inference with LLM-Guided Symbolic Dynamics Modeling
School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）
本文提出COSINE框架，通过联合发现交互图和稀疏符号动力学，实现对复杂系统中潜在相互作用结构的可解释推断，实验表明其在合成系统和大规模真实世界数据中的鲁棒性。
2026-04-14 cs.LG
Discovering Predictive Relational Object Symbols with Symbolic Attentive Layers
Bogazici University（博加齐奇大学）；Ozyegin University（奥哲因大学）；Osaka University（大阪大学）
提出一种基于自注意力层的深度学习架构，通过机械臂自监督交互自然处理动态数量物体，显式映射物体间关系为符号，在效果预测上优于基线并成功发现反映环境规律的物体与关系符号。
2023-09-02 cs.LG cs.RO
Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering
University of Southern California（南加州大学）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的关于用外部知识（例如，知识图谱）要么难以有效地对多跳关系进行建模，要么对模型的预测原理缺乏透明度。在本文中，我们提出了一种新的知识感知的方法，装备预训练的语言模型（PTLM）与多跳关系推理模块，命名为多跳图关系网络（MHGRN）。它对从外部知识图谱中提取的子图执行多跳、多关系推理。所提出的推理模块结合了基于路径的推理方法和图神经网络，以实现更好的可解释性和可扩展性。我们还在CommonsenseQA和OpenbookQA数据集上实证展示了其有效性和可扩展性，并通过案例研究解释了其行为。
2020-09-18 cs.CL cs.LG
GRAIL: Autonomous Concept Grounding for Neuro-Symbolic Reinforcement Learning
Technical University of Darmstadt（达姆施塔特技术大学）；Google Intrinsic（谷歌内在）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Centre for Cognitive Science, TU Darmstadt（达姆施塔特技术大学认知科学中心）
GRAIL通过环境交互自主 grounding 关系概念，利用大语言模型提供弱监督，提升在稀疏奖励和概念对齐问题中的性能，实验显示其在Atari游戏中表现优异。
2026-04-18 cs.AI cs.LG
A simple neural network module for relational reasoning
DeepMind
关系推理是一般智能行为的核心组成部分，但已证明神经网络难以学习。在本文中，我们描述了如何使用关系网络（RN）作为一个简单的即插即用模块来解决从根本上依赖于关系推理的问题。我们在三个任务上测试了RN增强的网络：使用一个名为CLEVR的具有挑战性的数据集进行视觉问答，我们在此基础上实现了最先进的超人性能;使用bAbI任务套件进行基于文本的问答;以及对动态物理系统进行复杂推理。然后，使用一个名为Sort-of-CLEVR的策划数据集，我们证明了强大的卷积网络不具备解决关系问题的一般能力，但在使用RN增强时可以获得这种能力。我们的工作展示了配备RN模块的深度学习架构如何隐式地发现和学习推理实体及其关系。
2017-06-05 cs.CL cs.LG
Sparse Relational Reasoning with Object-Centric Representations
Imperial College London（帝国理工学院）
我们研究了在各种稀疏诱导约束下，在以对象为中心（基于槽）的表示上操作时，由关系神经架构学习的软规则的可组合性。我们发现，增加稀疏性，特别是在功能上，提高了一些模型的性能，并导致更简单的关系。此外，我们观察到，当并非所有对象都被完全捕获时，以对象为中心的表示可能是有害的; CNN不太容易出现这种故障模式。这些发现证明了可解释性和性能之间的权衡，即使是针对处理关系任务的模型。
2022-07-15 cs.AI cs.LG
PAC-Reasoning in Relational Domains
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）；Cardiff University（卡迪夫大学）
我们考虑的问题，在关系数据中预测似是而非的缺失事实，给定一组不完美的逻辑规则。特别是，我们的目标是提供的（预期）数量的不正确的推断，以这种方式的界限。由于经典推理一般不可能以非平凡的方式约束这个数，我们考虑两个推理关系，它们削弱了经典推理，但在精神上仍然接近经典推理。
2018-07-04 cs.AI cs.LG
SARN: Relational Reasoning through Sequential Attention
Seoul National University（首尔国立大学）
本文提出了一种基于注意力模块的增强关系网络SARN（Sequential Attention Relational Network），它通过提取参考对象并在对象之间进行有效的配对来实现关系推理。SARN大大降低了关系网络的计算和内存需求，关系网络计算所有对象对。与其他模型相比，它在Sort-of-CLEVR数据集上的准确性也很高，特别是在关系问题上。
2018-11-01 cs.LG stat.ML
Neural-Symbolic VQA: Disentangling Reasoning from Vision and Language Understanding
Harvard University（哈佛大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；DeepMind（深度思维）
我们结合了两个强大的想法：用于视觉识别和语言理解的深度表示学习，以及用于推理的符号程序执行。我们的神经符号视觉问答（NS-VQA）系统首先从图像中恢复一个结构化的场景表示，并从问题中恢复一个程序跟踪。然后，它在场景表示上执行程序以获得答案。将符号结构作为先验知识提供了三个独特的优势。首先，在符号空间上执行程序对长程序跟踪更鲁棒;我们的模型可以更好地解决复杂的推理任务，在CLEVR数据集上实现了99.8%的准确率。第二，该模型具有更高的数据和内存效率：它在少量训练数据上学习后表现良好;它还可以将图像编码为紧凑的表示，比现有的离线问答方法需要更少的存储空间。第三，符号程序的执行为推理过程提供了完全的透明性;因此我们能够解释和诊断每个执行步骤。
2019-01-14 cs.AI cs.CL cs.CV
Dilated DenseNets for Relational Reasoning
University of Edinburgh（爱丁堡大学）
尽管深度神经网络在许多任务中表现令人印象深刻，但它们往往在关系推理方面表现不佳。最近，通过引入一个考虑对象对之间关系的插件关系模块，这一问题得到了补救。不幸的是，这是组合昂贵。在这个扩展的摘要中，我们证明了一个包含扩张卷积的DenseNet在Sort-of-CLEVR数据集上的关系推理方面表现出色，允许我们放弃这个关系模块及其相关费用。
2018-11-01 cs.LG stat.ML
Neuro-Symbolic Reasoning Shortcuts: Mitigation Strategies and their Limitations
University of Trento（特伦托大学）；University of Pisa（比萨大学）
神经符号预测器学习从子符号输入到更高级别概念的映射，然后对这个中间表示进行（概率）逻辑推理。这种设置在与符号先验知识的一致性方面提供了明显的优势，并且通常被认为提供了可解释性的好处，因为-凭借遵守知识-所学习的概念可以被人类利益相关者更好地理解。然而，最近的研究表明，这种设置受到推理捷径的影响，从而通过利用具有非预期语义的概念来实现高准确性，从而产生差的分布性能并损害可解释性。在这篇简短的论文中，我们建立了推理捷径和最优的损失函数之间的正式联系，并确定推理捷径可能出现的情况。在此基础上，我们讨论了自然缓解策略，如重建和概念监督的局限性。
2023-03-22 cs.AI cs.LG
Neuro-Symbolic Artificial Intelligence: Towards Improving the Reasoning Abilities of Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术重点实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）；School of Intelligence Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学，中国）
本文系统综述了利用神经符号方法提升大语言模型推理能力的最新进展，从Symbolic->LLM、LLM->Symbolic和LLM+Symbolic三个视角梳理方法，并讨论关键挑战与未来方向。
2025-08-19 cs.AI cs.LG
Relational Neural Machines
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
深度学习已被证明在有大量训练数据可用的几个任务中取得了令人印象深刻的结果。然而，深度学习只关注预测的准确性，忽略了导致决策的推理过程，这是生命关键应用中的一个主要问题。概率逻辑推理允许利用统计知识和特定领域的专业知识在不确定性下进行推理，但其可扩展性和与处理传感数据的层的脆弱集成极大地限制了其应用。出于这些原因，将深度架构和概率逻辑推理相结合是开发在复杂环境中运行的智能代理的基本目标。本文介绍了关系神经机，一种新的框架，允许联合训练的参数的学习者和一阶逻辑为基础的推理。关系神经机能够在纯子符号学习的情况下从监督数据恢复经典学习，并且在纯符号推理的情况下恢复马尔可夫逻辑网络，同时允许联合训练并在混合学习任务中执行推理。设计适当的算法解决方案，使学习和推理在大规模问题中易于处理。实验结果表明，在不同的关系任务有希望的结果。
2020-02-06 cs.AI cs.LG
Temporal Fact Reasoning over Hyper-Relational Knowledge Graphs
LMU Munich（慕尼黑大学）；University of Cambridge（剑桥大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Stuttgart（斯图加特大学）；Technical University of Munich（慕尼黑工业大学）
针对现有超关系知识图谱缺乏时序信息、推理方法无专用时序模块的问题，提出超关系时序知识图谱结构，构建两个基准数据集并提出高效推理模型，开源相关资源以支持后续研究。
2024-10-03 cs.AI cs.LG
CoG: Controllable Graph Reasoning via Relational Blueprints and Failure-Aware Refinement over Knowledge Graphs
Zhejiang University（浙江大学）
本文提出CoG框架，通过关系蓝图和故障感知细化模块，解决知识图谱中推理稳定性与效率问题，实验显示其在准确性和效率上均优于现有方法。
2026-04-14 cs.CL cs.LG
Symbolic Network: Generalized Neural Policies for Relational MDPs
Indian Institute of Technology Delhi（印度理工学院德里分校）
关系马尔可夫决策过程（Relational Markov Decision Process，RMDP）是一种一阶表示方法，用于表示单个概率规划域的所有实例，其中对象的数量可能是无限的。RMDPs的早期工作输出了广义（独立于实例）的一阶策略或价值函数，作为一种同时解决域的所有实例的方法。不幸的是，由于在这些策略或价值函数中使用的表示空间的固有限制，这类工作取得了有限的成功。神经模型是否可以通过轻松地表示更复杂的广义策略来提供缺失的环节，从而使它们对给定域的所有实例都有效？我们提出了SymNet，第一个神经方法来解决RMDPs的概率规划语言的RMDPs。SymNet使用来自域的训练实例为Rounds域训练一组共享参数。对于每个实例，SymNet首先将其转换为实例图，然后使用关系神经模型来计算节点嵌入。然后，它将每个地面动作作为一阶动作符号和与动作相关的节点嵌入的函数进行评分。给定来自同一域的新测试实例，具有预训练参数的SymNet架构会对每个地面动作进行评分并选择最佳动作。这可以在单个前向传递中完成，而无需对测试实例进行任何重新训练，从而隐式地表示整个域的神经广义策略。我们在IPPC的九个Rendezvous域上的实验表明，SymNet策略明显优于随机策略，有时甚至比从头开始训练最先进的深度反应策略更有效。
2020-06-29 cs.AI cs.LG stat.ML
Advanced Weakly-Supervised Formula Exploration for Neuro-Symbolic Mathematical Reasoning
The University of Tokyo（东京大学）
针对神经符号推理中中间标签难获取且大模型生成指令不可靠的问题，提出利用问题输入与最终输出的弱监督来探索中间标签的高级方法，并在 Mathematics 数据集上验证了其有效性。
2025-02-02 cs.AI cs.LG
Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers
Yale University（耶鲁大学）；UCLA（加利福尼亚大学洛杉矶分校）；Princeton University（普林斯顿大学）
该研究提出含关系交叉注意力的Abstractor模块扩展Transformer，通过解耦关系与对象特征实现显式关系推理，在多类任务上提升了性能与样本效率。
2024-04-12 cs.LG stat.ML
Knowledge-based Analogical Reasoning in Neuro-symbolic Latent Spaces
TCS Research（塔塔咨询服务公司研究院）
类比推理问题挑战了连接主义和符号AI系统，因为这些系统需要结合背景知识、推理和模式识别。虽然符号系统摄取明确的领域知识并执行演绎推理，但它们对噪声敏感，并且需要将输入映射到预设的符号特征。另一方面，连接主义系统可以直接摄取丰富的输入空间，如图像，文本或语音，即使有噪声输入也能识别模式。然而，联结主义模型努力包括演绎推理的明确领域知识。在本文中，我们提出了一个框架，结合了神经网络的模式识别能力与符号推理和背景知识解决一类类比推理问题的属性集和可能的关系，他们是已知的先验。我们从“神经算法推理”方法[DeepMind 2020]中获得灵感，并通过以下方式使用特定于问题的背景知识：（i）基于问题的符号模型学习分布式表示;（ii）训练反映问题中所涉及关系的神经网络转换;最后（iii）训练从图像到分布式表示的神经网络编码器（i）。这三个要素使我们能够使用神经网络作为操纵分布式表示的基本函数来执行基于搜索的推理。我们在RAVENs Progressive Matrices中的视觉类比问题上测试了这一点，并实现了与人类表现相竞争的准确性，并且在某些情况下，优于最初的端到端基于神经网络的方法。虽然最近的神经模型在规模上训练产生SOTA，但我们新的神经符号推理方法是解决这个问题的一个有希望的方向，并且可以说是更通用的，特别是对于领域知识可用的问题。
2022-09-19 cs.AI cs.LG
Cognitive Knowledge Graph Reasoning for One-shot Relational Learning
Tsinghua University（清华大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
利用可解释的推理过程从已有的知识图谱中推理出新的事实是一个重要的问题，近年来受到了广泛的关注。然而，很少有研究集中在原始KG中看不到的关系类型，只给出一个或几个训练实例。为了弥合这一差距，我们提出了CogKR的一杆KG推理。一次性关系学习问题通过两个模块来解决：摘要模块总结给定实例的潜在关系，推理模块在此基础上推断正确答案。受认知科学中的双加工理论的启发，在推理模块中，通过迭代协调检索（系统1，直观地收集相关证据）和推理（系统2，对收集的信息进行关系推理）来构建认知图。认知图提供的结构信息使我们的模型能够从多个推理路径中聚合证据，并以图形方式解释推理过程。实验表明，CogKR大大优于以前的国家的最先进的模型在一次KG推理基准，与MRR的相对提高了24.3%-29.7%。源代码可在https://github.com/THUDM/CogKR上获得。
2019-06-13 cs.CL cs.LG stat.ML
Lifted Representation of Relational Causal Models Revisited: Implications for Reasoning and Structure Learning
Artificial Intelligence Research Laboratory（人工智能研究实验室）；College of Information Sciences and Technology（信息科学与技术学院）；Pennsylvania State University（宾夕法尼亚州立大学）
Maier等人（2010）介绍了关系因果模型（RCM），用于表示和推断关系数据中的因果关系。抽象地图（AGG）是一种提升表示，在RCM的推理和学习中起着核心作用。Maier等人（2013 a）提出的从数据中学习RCM的算法的正确性依赖于AGG对于关系d-分离的可靠性和完整性，以将RCM的学习减少到AGG的学习。我们重新审视了AGG的定义，并表明Maier等人（2013 b）定义的AGG并没有正确地抽象所有的基础图。我们修改了AGG的定义，以确保它正确地抽象所有的地面图。我们进一步证明了AGG表示对于关系d-分离是不完全的，也就是说，在一个RCM中可以存在不被AGG蕴涵的条件独立关系。仔细检查之间的关系D-分离和忠诚条件的AGG的完整性的缺乏之间的关系表明，较弱的概念的完整性，即邻接忠诚度和方向的忠诚度之间的RCM和它的AGG，可以用来学习的RCM数据。
2015-08-17 cs.AI cs.LG
Learning Generalized Relational Heuristic Networks for Model-Agnostic Planning
Arizona State University（亚利桑那州立大学）
计算目标导向行为对于设计高效的AI系统至关重要。由于规划的计算复杂性，目前的方法主要依赖于手工编码的符号动作模型和手工编码的数学函数生成器的效率。对于这样的问题，学习的数学方法已经具有有限的实用性，因为它们难以应用于具有与训练数据中的那些显著不同的对象和对象量的问题。本文开发了一种新的方法，在没有符号动作模型的情况下，使用深度神经网络学习广义语义，该深度神经网络利用输入谓词词汇，但对对象名称和数量不可知。它使用抽象的状态表示来促进数据高效，可推广的学习。一系列基准领域的实证评估表明，与以前的方法相比，用这种方法计算的广义动力学可以很容易地转移到不同的对象和对象的数量远远大于那些在训练数据的问题。
2020-10-20 cs.AI cs.LG
Neuro-Symbolic Continual Learning: Knowledge, Reasoning Shortcuts and Concept Rehearsal
University of Trento（特伦托大学）；University of Pisa（比萨大学）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
针对神经符号持续学习中现有方法易灾难性遗忘、易出现推理捷径的问题，提出概念级持续学习策略COOL，在三个新基准上实现了其他策略无法达到的持续高性能。
2023-12-19 cs.AI cs.LG
Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning
University of California, Los Angeles（加州大学洛杉矶分校）
神经符号计算的目标是整合联结主义和符号主义范式。先前的方法使用强化学习（RL）方法来学习神经符号模型，该方法忽略了符号推理模块中的错误传播，因此在稀疏奖励的情况下收敛缓慢。在本文中，我们解决这些问题，并关闭循环的神经符号学习（1）引入\textbf{grammar}模型作为一个\textit{symbolic prior}桥梁神经感知和符号推理，（2）提出了一种新的\textbf{back-search}算法，模仿自上而下的人类学习过程，通过符号推理模块有效地传播错误。我们进一步解释所提出的学习框架作为极大似然估计使用马尔可夫链蒙特卡罗采样和回搜索算法作为一个大都会黑斯廷斯采样器。实验在两个弱监督的神经符号任务上进行：（1）新引入的HWF数据集上的手写公式识别;（2）CLEVR数据集上的视觉问题回答。结果表明，我们的方法显着优于RL方法的性能，收敛速度和数据效率。我们的代码和数据在\url{https://liqing-ustc.github.io/NGS}上发布。
2020-07-27 cs.AI cs.CV cs.LG
Better Set Representations For Relational Reasoning
Cornell University（康奈尔大学）；University of Southampton（南安普顿大学）；Facebook AI（脸书人工智能）
将关系推理扩展到神经网络中，极大地扩展了它们的能力和范围。关系推理的一个定义特征是它对一组实体进行操作，而不是标准的向量表示。现有的端到端方法通常通过直接将潜在特征表示解释为集合来从输入中提取实体。我们发现，这些方法不尊重集置换不变性，从而有根本的代表性的限制。为了解决这个问题，我们提出了一个简单而通用的网络模块，称为集细化网络（SRN）。我们首先使用合成图像实验来演示我们的方法如何在没有明确监督的情况下有效地分解对象。然后，我们将我们的模块插入到现有的关系推理模型，并表明尊重集不变性导致大量收益的预测性能和鲁棒性的几个关系推理任务。
2020-06-17 cs.CV cs.LG stat.ML
End-to-End Neuro-Symbolic Architecture for Image-to-Image Reasoning Tasks
IIT Delhi（印度理工学院德里分校）；Google Research India（谷歌印度研究院）
神经模型和符号算法最近已经结合起来，用于需要感知和推理的任务。神经模型将感知输入接地到概念词汇表中，在此基础上应用经典推理算法来生成输出。一个关键的限制是，这种神经到符号模型只能针对输出空间是符号的任务进行端到端的训练。在本文中，我们研究了用于推理任务的神经-符号-神经模型，这些推理任务需要从图像输入（例如，部分填充的数独）到图像输出（例如，完成的数独的图像）。虽然设计这样一个三步混合架构可能很简单，但关键的技术挑战是端到端的培训--如何在没有中间监督的情况下通过符号组件进行反向传播。我们提出了NSNnet，一个架构，结合了图像重建损失与一种新的输出编码器，以产生一个监督信号，开发更新算法，利用策略梯度方法进行监督，并优化损失使用一种新的子采样启发式。我们实验的问题设置，符号算法很容易指定：视觉迷宫解决任务和视觉数独求解器的监督是在图像的形式。实验表明，与纯神经方法相比，具有更高的准确性和更少的数据。
2021-06-06 cs.AI cs.CV cs.LG
Heterogeneous Relational Reasoning in Knowledge Graphs with Reinforcement Learning
University of Notre Dame（圣母大学）
知识图谱上基于路径的关系推理由于诸如对话系统中的问答、事实预测和推荐系统等各种下游应用而变得越来越流行。近年来，强化学习（RL）提供了比其他深度学习模型更可解释和解释的解决方案。然而，这些解决方案仍然面临着一些挑战，包括RL代理的大动作空间和实体邻域结构的准确表示。我们解决这些问题，通过引入一个类型增强RL代理，使用本地邻域信息的有效路径为基础的推理知识图谱。我们的解决方案使用图神经网络（GNN）编码的邻域信息，并利用实体类型修剪的动作空间。在真实世界数据集上的实验表明，该方法的性能优于最先进的强化学习方法，并在训练过程中发现了更多的新路径。
2020-03-12 cs.CL cs.LG stat.ML
SpatialMath: Spatial Comprehension-Infused Symbolic Reasoning for Mathematical Problem-Solving
Indian Institute of Technology Delhi（印度理工学院德里）；Indian Institute of Technology Abu Dhabi（印度理工学院阿布扎克）；Microsoft Research（微软研究院）
SpatialMath通过整合空间表示到结构化符号推理链中，提升多模态模型在视觉密集型数学问题中的推理能力。
2026-01-24 cs.CL cs.CV cs.LG
Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds
Department of Computer Science and Technology（计算机科学与技术系）；University of Cambridge（剑桥大学）
虽然当测试数据从与训练数据相同的分布中采样时，现代深度神经架构可以很好地推广，但当测试数据分布与训练分布甚至在几个维度上都不同时，它们会严重失败。当任务变得更加抽象和复杂时，例如在关系推理中，这种分布外概括的缺乏越来越明显。在本文中，我们提出了一个神经科学启发的归纳偏置模块，可以很容易地与当前的神经网络架构合并，以提高关系推理任务的分布外（o.o.d）泛化性能。该模块学习将高维对象表示投影到低维流形，以实现更有效和更通用的关系比较。我们表明，这种归纳偏见的神经网络实现了相当好的O.O.D的概括性能的一系列关系推理任务。最后，我们分析了所提出的归纳偏差模块，以了解低维投影的重要性，并提出了一个增强的算法对齐理论，以更好地衡量算法对齐与概括。
2020-10-03 cs.LG stat.ML
RAVEN: A Dataset for Relational and Analogical Visual rEasoNing
UCLA Center for Vision, Cognition, Learning and Autonomy（加州大学洛杉矶分校视觉、认知、学习与自主性中心）；International Center for AI and Robot Autonomy (CARA)（人工智能与机器人自主性国际中心（CARA））
在涉及低水平感知的基本视觉任务中，如物体识别，检测和跟踪，已经取得了巨大的进展。不幸的是，人工视觉系统和人类智能在更高层次的视觉问题，特别是涉及推理的问题方面仍然存在巨大的性能差距。早期为机器配备高级推理的尝试一直围绕着视觉问答（VQA），这是一项将视觉和语言理解相关联的典型任务。在这项工作中，我们提出了一个新的数据集，内置的乌鸦的渐进矩阵（RPM）的背景下，旨在提升机器智能相关联的视觉与结构，关系，和类比推理的层次表示。与以往的作品中使用RPM测量抽象推理，我们建立了一个语义之间的联系，通过提供结构表示的视觉和推理。这一增加使得一种新的类型的抽象推理，通过联合操作的结构表示。使用现代计算机视觉的机器推理能力在这个新提出的数据集进行评估。此外，我们还提供了人的表现作为参考。最后，我们通过结合一个简单的神经模块，结合视觉理解和结构推理，在所有模型中显示出一致的改进。
2019-03-07 cs.AI cs.CV cs.LG
GroupNet: Multiscale Hypergraph Neural Networks for Trajectory Prediction with Relational Reasoning
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
从过去的轨迹中揭示多个智能体之间的相互作用是精确和可解释的轨迹预测的基础。然而，以前的作品只考虑有限的关系推理的成对的相互作用。为了促进关系推理更全面的交互建模，我们提出了GroupNet，一个多尺度超图神经网络，这是新颖的交互捕获和表示学习。从交互捕获的角度，我们提出了一个可训练的多尺度超图来捕获多个组大小下的成对和成组交互。从交互表示学习的角度出发，提出了一种可端到端学习的三要素模式，并对交互强度和类别等相关因素进行了显式推理。我们将GroupNet应用到基于CVAE的预测系统和以前的最先进的预测系统中，用于预测具有关系推理的社会合理轨迹。为了验证关系推理的能力，我们用合成物理模拟实验来反映捕捉群体行为、推理交互强度和交互类别的能力。为了验证预测的有效性，我们对三个真实世界的轨迹预测数据集进行了广泛的实验，包括NBA，SDD和ETH-UCY;我们表明，使用GroupNet，基于CVAE的预测系统优于最先进的方法。我们还表明，添加GroupNet将进一步提高以前最先进的预测系统的性能。
2022-04-20 cs.CV cs.LG
Relational program synthesis with numerical reasoning
University of Oxford（牛津大学）
程序合成方法努力学习具有数值的程序。一个特别困难的问题是在多个示例中学习连续值，例如区间。为了克服这个限制，我们引入了一个归纳逻辑程序设计方法，它结合了关系学习与数值推理。我们的方法，我们称之为NUMSYNTH，使用可满足性模理论求解器，有效地学习程序的数值。我们的方法可以识别线性算术片段中的数值，如实数差分逻辑，以及无穷域中的数值，如实数或整数。我们在四个不同领域的实验，包括游戏和程序合成，表明我们的方法可以（i）学习程序的数值线性算术推理，（ii）优于现有的方法在预测精度和学习时间。
2022-10-04 cs.LG cs.PL
Complementary Structure-Learning Neural Networks for Relational Reasoning
UC Davis（加州大学戴维斯分校）
支持灵活关系推理的神经机制，特别是在新的情况下，是当前研究的一个主要焦点。在互补学习系统框架中，海马体中的模式分离允许在新环境中快速学习，而新皮层中的较慢学习积累小的权重变化以从良好学习的环境中提取系统结构。在这项工作中，我们适应这个框架的任务，从最近的功能磁共振成像实验中，新的传递性推理必须根据隐式关系结构。我们发现，计算模型捕捉这两个系统的基本认知特性可以解释在熟悉和新颖的环境中的关系传递性推理，并再现在功能磁共振成像实验中观察到的关键现象。
2021-05-19 cs.LG q-bio.NC
Dynamic-Group-Aware Networks for Multi-Agent Trajectory Prediction with Relational Reasoning
Shanghai Jiao Tong University（上海交通大学）；University of Oxford（牛津大学）
从过去的轨迹中揭示多个智能体之间的相互作用是精确和可解释的轨迹预测的基础。然而，以前的作品主要考虑静态的，成对的相互作用与有限的关系推理。为了促进更全面的交互建模和关系推理，我们提出了DynGroupNet，一个动态组感知网络，它可以i）在高度动态的场景中建模时变交互; ii）捕获成对和组间交互; iii）在没有直接监督的情况下推理交互强度和类别。基于DynGroupNet，我们进一步设计了一个预测系统，预测社会合理的轨迹与动态关系推理。该预测系统利用高斯混合模型、多重采样和预测细化分别提高预测多样性、训练稳定性和轨迹平滑性。大量的实验表明：1）DynGroupNet可以捕获时变群体行为，在轨迹预测过程中推断时变交互类别和交互强度，无需对物理仿真数据集进行任何关系监督; 2）DynGroupNet在NBA的ADE/FDE上比现有的轨迹预测方法分别提高了22.6%/28.0%、26.9%/34.9%、5.1%/13.0%，NFL足球和SDD数据集，并在ETH-UCY数据集上实现最先进的性能。
2022-06-27 cs.LG
EvolveHypergraph: Group-Aware Dynamic Relational Reasoning for Trajectory Prediction
Stanford University（斯坦福大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of California, Berkeley（加州大学伯克利分校）
虽然成对关系的建模在多智能体交互系统中得到了广泛的研究，但其捕获更高级别和更大规模的群体活动的能力是有限的。在本文中，我们提出了一个群体感知的关系推理方法（名为EvolveHypergraph）与显式推理的基础动态演变的关系结构，我们证明了它的有效性多智能体轨迹预测。除了一对节点之间的边（即，代理），我们建议推断hyperedges，自适应地连接多个节点，使组感知的关系推理在无监督的方式，而不固定的hyperedges的数量。所提出的方法推断动态演变的关系图和超图随着时间的推移，以捕获的关系，这是由轨迹预测器，以获得未来的状态的演变。此外，我们提出了正则化的关系演化的光滑性和稀疏的推断图或超图，这有效地提高了训练的稳定性，增强了推断关系的可解释性。所提出的方法在合成人群模拟和多个真实世界的基准数据集上进行了验证。我们的方法推断出可解释的，合理的群体感知关系，并在长期预测中实现了最先进的性能。
2022-08-10 cs.AI cs.CV cs.LG
Self-Supervised Relational Reasoning for Representation Learning
University of Edinburgh（爱丁堡大学）
在自监督学习中，系统的任务是通过在一组未标记的数据上定义替代目标来实现替代目标。其目的是构建可用于下游任务的有用表示，而无需昂贵的手动注释。在这项工作中，我们提出了一种新的自我监督制定的关系推理，允许学习者引导信号的信息隐含在未标记的数据。训练一个关系头来区分实体如何与自己（内部推理）和其他实体（内部推理）相关，在底层神经网络骨干中产生丰富的描述性表示，可以用于分类和图像检索等下游任务。我们评估所提出的方法严格的实验程序，使用标准的数据集，协议和骨干。在所有条件下，自我监督关系推理的准确性平均超过最佳竞争对手14%，最新的最先进模型为3%。我们链接的有效性的方法的伯努利对数似然，这可以被认为是一个代理最大化的互信息，从而在一个更有效的目标，相对于常用的对比损失的最大化。
2020-11-10 cs.LG stat.ML
Dynamic Language Binding in Relational Visual Reasoning
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能学院）
我们提出了一种具有约束力的对象图网络，它是第一种在视觉和文本领域具有动态关系结构的神经推理方法，并应用于视觉问答。放松目前的模型，对象谓词预先存在，并保持静态，被动的推理过程的共同假设，我们建议，这些动态谓词扩展跨域边界，包括成对的视觉语言对象绑定。在我们的方法中，这些上下文对象的链接，积极发现在每个循环推理步骤，而不依赖于外部预测先验。这些动态结构反映了条件双域对象依赖性，通过共同注意推理的不断发展的背景。这种发现的动态图促进了多步骤知识组合和细化，其迭代地推导出最终答案的紧凑表示。该模型的有效性证明了图像问答表现出良好的性能上的主要VQA数据集。我们的方法优于其他方法在复杂的问答任务，其中涉及多个对象的关系。图结构有效地帮助训练的进展，因此与其他推理模型相比，网络学习效率更高。
2021-02-18 cs.CV cs.LG
