A Comparative Study of Distributional and Symbolic Paradigms for Relational Learning
KU Leuven（鲁汶大学）；EPFL（洛桑联邦理工学院）；NEC Labs（日本电气实验室）
许多现实世界的领域可以表示为图，更一般地，表示为多关系知识图谱。虽然知识图谱的推理和学习传统上是通过符号方法来解决的，但（深度）表示学习的最新方法已经显示出对专门任务（如知识库完成）有希望的结果。这些方法摒弃了传统的符号范式，用欧氏空间中的向量代替符号。除了少数例外，象征性和分配性办法在不同社区得到探讨，但对它们各自的优缺点知之甚少。在这项工作中，我们比较表示学习和关系学习的各种关系分类和聚类任务，并分析这些方法隐式使用的规则的复杂性。初步结果揭示了可能的指标，有助于为特定的知识图谱选择一种方法而不是另一种方法。
2020-03-24 cs.AI cs.LG stat.ML
Reverse Engineering and Symbolic Knowledge Extraction on Łukasiewicz Fuzzy Logics using Linear Neural Networks
Departamento de Matemática（数学系）；Instituto Superior de Engenharia de Lisboa（里斯本高等工程学院）
这项工作描述了一种方法，结合逻辑为基础的系统和连接系统。我们的方法使用了有限真值逻辑，在这种逻辑中，我们利用了这样一个事实，即在这种类型的逻辑中，每个连接符都可以由人工网络中的神经元定义，该神经元具有由激活函数截断为零和一的身份。这允许在网络架构中注入一阶公式，也简化了符号规则提取。我们的方法使用Levenderg-Marquardt算法训练神经网络，其中我们限制了网络结构中的知识传播。我们展示了这是如何降低神经网络的可塑性，而不会严重损害学习性能。使生成的神经网络的描述能力类似于Jukasiewicz逻辑语言的描述能力，简化符号和连接结构之间的转换。这种方法被用于逆向工程问题，寻找用于生成多值Rukasiewicz逻辑的真值表的公式。对于真实数据集的方法是特别有用的属性选择，对使用名义属性定义的二进制分类问题。在属性选择和可能的数据集完成后，在所得到的连接主义模型中：神经元可以直接用一个析取或合取公式表示，或者神经元是可以用符号规则近似的解释。这一事实是例证，提取符号知识从连接模型生成的数据集蘑菇从UCI机器学习知识库。
2016-04-11 cs.AI cs.NE
SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified Pre-training
Carnegie Mellon University（卡内基梅隆大学）；Virginia Tech（弗吉尼亚理工大学）
SNIP通过符号与数值域间的对比学习统一预训练，增强跨域嵌入相似性，在数学性质预测和符号回归等任务上优于全监督基线，尤其在小数据场景下表现突出。
2024-03-15 cs.AI cs.LG
Incorporating Symbolic Domain Knowledge into Graph Neural Networks
APP Centre for Artificial Intelligence Research（APP人工智能研究中心）；BITS Pilani（毕拉尼理工学院）；TCS Innovation Labs（塔塔咨询服务公司创新实验室）
我们感兴趣的是具有以下特征的科学问题：（1）数据自然地表示为图形;（2）可用的数据量通常很小;（3）有重要的领域知识，通常以某种符号形式表示。这些类型的问题在过去已经被归纳逻辑程序设计（ILP）有效地解决了，凭借2个重要的特征：（a）使用一种表示语言，可以很容易地捕获编码在图结构数据中的关系，以及（b）包含编码为特定于域的关系的先验信息，这可以缓解数据稀缺的问题，并构建新的关系。最近的进展已经看到了专门为图结构数据开发的深度神经网络（基于图的神经网络，或GNN）的出现。虽然GNN已经被证明能够处理图结构数据，但在研究领域知识的包含方面做得很少。在这里，我们通过采用我们称之为“顶点富集”的操作来经验性地研究GNN的这一方面，并将相应的GNN表示为“VEGNN”。使用超过70个真实世界的数据集和大量的符号领域知识，我们检查了5种不同GNN变体的顶点富集结果。我们的研究结果提供了以下支持：（a）包含领域知识的顶点富集可以显着提高GNN的性能。也就是说，在所有GNN变体中，VEGNN的性能明显优于GNN;（b）包含使用ILP构建的特定于域的关系，提高了VEGNN在所有GNN变体中的性能。两者合计，结果提供的证据表明，它是可能的，将符号域知识到GNN，ILP可以发挥重要作用，提供高层次的关系，不容易发现的GNN。
2021-02-19 cs.AI cs.LG cs.NE
Distilling Wikipedia mathematical knowledge into neural network models
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
机器学习在符号数学中的应用正变得越来越流行，但缺乏一个集中的真实世界符号表达式源来用作训练数据。相比之下，自然语言处理领域利用了维基百科等提供大量真实文本数据的资源。采用“数学作为语言”的哲学，我们通过引入一个管道来弥合这一差距，该管道用于将嵌入在维基百科中的数学表达式提取为符号编码，以用于下游机器学习任务。我们证明了一个$\textit{mathematical}$ $\textit{language}$ $\textit{model}$在这个“语料库”的表达式训练，可以作为一个优先级，以提高性能的神经引导搜索的任务的符号回归。
2021-04-13 cs.AI cs.LG
Neural, Symbolic and Neural-Symbolic Reasoning on Knowledge Graphs
Renmin University of China（中国人民大学）
知识图谱推理是支持信息抽取、信息检索和推荐等机器学习应用的基本组成部分。由于知识图谱可以被看作是知识的离散符号表示，因此知识图谱上的推理可以自然地利用符号技术。然而，符号推理是不容忍的歧义和噪音的数据。相反，深度学习的最新进展促进了知识图谱上的神经推理，这对模糊和噪声数据具有鲁棒性，但与符号推理相比缺乏可解释性。考虑到这两种方法的优点和缺点，最近的努力已经取得了这两种推理方法相结合。在这篇综述中，我们深入研究了知识图谱上的符号推理、神经推理和混合推理的发展。我们调查两个具体的推理任务，知识图完成和知识图谱上的问答，并解释他们在一个统一的推理框架。我们还简要讨论了知识图谱推理的未来发展方向。
2021-03-31 cs.AI cs.LO
Embeddings as representation for symbolic music
Universidad EAFIT（EAFIT大学）
一种允许以包含音乐意义的方式对音乐进行编码的表示技术将改善任何为计算机音乐任务训练的模型的结果，例如生成更好质量的旋律和和声。自然语言处理领域在寻找捕获单词和句子的语义的方法方面做了大量的工作，并且词嵌入已经成功地显示了这样的任务的能力。在本文中，我们尝试使用嵌入来表示来自数据集的3种不同变体的音符，并分析模型是否可以捕获有用的音乐模式。为此，使用t-SNE技术在投影中可视化得到的嵌入。
2020-05-19 cs.AI cs.CL
Evaluating NLP Embedding Models for Handling Science-Specific Symbolic Expressions in Student Texts
Physics Education Group, Leibniz University Hannover（莱布尼茨汉诺威大学物理教育组）；Leibniz Institute for Science and Mathematics Education（莱布尼茨科学与数学教育研究所）
本研究针对当前NLP嵌入模型难以处理科学文本中符号表达式的问题，用真实学生物理回答中的符号表达式，通过相似度分析和机器学习流水线集成两种方法评估多款嵌入模型，发现GPT-text-embedding-3-large性能最优但优势中等，为教育数据挖掘的模型选择提供参考。
2025-10-22 cs.AI cs.CL physics.ed-ph
Symbolic Querying of Vector Spaces: Probabilistic Databases Meets Relational Embeddings
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了统一的技术，从概率数据库和关系嵌入模型的目标执行复杂的查询不完整和不确定的数据。我们形式化的概率数据库模型，所有的查询。这使我们能够利用来自概率数据库的丰富的理论和算法文献来解决问题。虽然这种形式化可以与任何关系嵌入模型一起使用，但缺乏定义良好的联合概率分布会导致简单的查询问题变得难以证明。考虑到这一点，我们引入\TO，一个关系嵌入模型，旨在成为一个易于处理的概率数据库，利用典型的嵌入假设的概率框架。使用一个原则，高效的推理算法，可以从它的定义，我们经验证明，\TOs是一个有效的和一般的模型，这些查询任务。
2020-06-27 cs.AI cs.DB
Vehicle: Bridging the Embedding Gap in the Verification of Neuro-Symbolic Programs
University of Western Australia（西澳大利亚大学）；Well-Typed（Well-Typed公司）；University of Strathclyde（思克莱德大学）；Heriot-Watt University（赫瑞-瓦特大学）；University of Birmingham（伯明翰大学）
本文提出 Vehicle 验证条件语言，通过通用分解与定制类型化编译流程，弥合神经符号程序验证中的嵌入鸿沟，并成功验证神经网络自动驾驶汽车的安全性。
2025-06-06 cs.AI
A Domain-Knowledge-Inspired Music Embedding Space and a Novel Attention Mechanism for Symbolic Music Modeling
Singapore University of Technology and Design（新加坡科技设计大学）
针对现有符号音乐建模忽略相对音乐属性的问题，提出兼具绝对与相对属性表征的基础音乐嵌入FME，及结合领域知识的RIPO注意力机制，在旋律补全与生成任务上性能优于现有最优Transformer模型，解决了生成退化问题。
2022-12-02 cs.AI cs.SD eess.AS
Fast and scalable learning of neuro-symbolic representations of biomedical knowledge
Medical University of Vienna（维也纳医科大学）
在这项工作中，我们解决的问题，快速和可扩展的学习一般生物知识的神经符号表示。基于最近发表的用于演示神经符号表示学习的综合生物知识图谱（Alshahrani，2017），我们展示了如何训练实体的快速（不到1分钟）对数线性神经嵌入。我们利用这些表示作为机器学习分类器的输入，以实现生物链接预测等重要任务。分类器通过连接学习的实体嵌入来表示实体关系，并在连接的嵌入上训练分类器以从自动生成的否定示例中辨别真实关系来训练。我们简单的嵌入方法大大提高了分类错误相比，以前发表的国家的最先进的结果，产生最大的增加$+0.28$ F-措施和$+0.22$ ROC AUC得分最困难的生物链接预测问题。最后，我们的嵌入方法训练的速度快了几个数量级（$\leq$ 1分钟vs.小时），在嵌入维度方面更经济（$d=50$ vs. $d=512$），并且自然地编码了不对称生物关系的方向性，这可以通过我们连接嵌入的顺序来控制。
2018-04-30 cs.AI cs.CL
A short Survey: Exploring knowledge graph-based neural-symbolic system from application perspective
University of Toronto（多伦多大学）
本文从应用视角综述基于知识图谱的神经符号集成，按Symbol for Neural、Neural for Symbol与混合集成三类梳理进展，并展望未来方向。
2025-02-18 cs.AI
Pitchclass2vec: Symbolic Music Structure Segmentation with Chord Embeddings
University of Bologna（博洛尼亚大学）
结构知觉是人类音乐认知的一个基本方面。从历史上看，音乐的结构层次组织作为一种叙事手段，用于传达意义，创造期望，唤起听众的情感。因此，音乐结构在音乐创作中起着至关重要的作用，因为它们塑造了作曲家组织思想的音乐话语。在本文中，我们提出了一种新的音乐分割方法，pitchclass2vec，基于符号和弦注释，这是嵌入到连续矢量表示使用自然语言处理技术和定制的编码。我们的算法基于长短期记忆（LSTM）神经网络，并且优于该领域中基于符号和弦注释的最先进技术。
2023-03-24 cs.AI cs.LG cs.SD
A Neuro-Symbolic Framework for Sequence Classification with Relational and Temporal Knowledge
University of Pisa（比萨大学）；University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学）；University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
本文提出一种结合关系与时间知识的神经符号序列分类框架，针对不同时间步需使用不同知识且含时间关系的知识驱动序列分类问题，通过新基准对比神经符号与纯神经架构，揭示了现有神经符号方法的不足。
2025-05-08 cs.AI
Neural-Symbolic Reasoning over Knowledge Graphs: A Survey from a Query Perspective
Wayne State University（韦恩州立大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
该综述从查询视角全面梳理知识图谱推理，涵盖神经符号推理分类及与大语言模型的融合，旨在为多领域研究者提供当前态势与未来方向的相关见解。
2026-08-25 cs.AI
Neuro-Symbolic Query Optimization in Knowledge Graphs
Technical University of Munich（慕尼黑工业大学）；Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS（弗劳恩霍夫智能分析与信息系统研究所）
本章提出神经符号查询优化器，融合符号推理与神经计算以改进知识图谱查询执行计划的选择，并分析现有神经组件及实际部署中的挑战。
2024-11-21 cs.AI cs.DB
Scalable Regularization of Scene Graph Generation Models using Symbolic Theories
University of Padova（帕多瓦大学）；Samsung AI Research（三星人工智能研究院）
最近有几种技术旨在通过结合背景知识来提高用于场景图生成（SGG）的深度学习模型的性能。国家的最先进的技术可以分为两个家庭：一个是背景知识被纳入到一个subsymbolic时尚的模型，和另一个在其中的背景知识是保持在符号形式。尽管有希望的结果，这两个家庭的技术面临着几个缺点：第一个需要特设的，更复杂的神经架构，增加训练或推理成本;第二个遭受有限的可扩展性w.r.t.背景知识的大小。我们的工作介绍了一种正则化技术注入符号背景知识到神经SGG模型，克服了现有技术的局限性。我们的技术是模型不可知的，不产生任何成本在推理时间，并扩展到以前难以管理的背景知识大小。我们证明，我们的技术可以提高最先进的SGG模型的准确性，高达33%。
2022-09-06 cs.AI cs.CV cs.LG
Dual Embodied-Symbolic Concept Representations for Deep Learning
IBM（IBM（国际商业机器公司））
基于认知神经科学的最新研究结果，我们主张使用双层次模型进行概念表征：具体层次由面向概念的特征表征组成，符号层次由概念图组成。概念表示是模态特定的，并且在特征空间中以特征向量的形式存在。另一方面，符号概念表示是非模态的和语言特定的，并且以词/知识图嵌入概念/知识空间的形式存在。人类的概念系统包括具体的表征和符号表征，它们通常相互作用以驱动概念处理。因此，我们进一步提倡使用双重符号化概念表示进行深度学习。为了证明它们的使用和价值，我们讨论了两个重要的用例：用于Few-Shot类增量学习的符号化知识蒸馏，以及用于图像-文本匹配的符号化融合表示。双符号概念表示是深度学习和符号AI集成的基础。我们讨论了两个重要的例子，这种集成：场景图生成与知识图桥接，和多模态知识图谱。
2022-03-01 cs.AI cs.LG
EGG-SR: Embedding Symbolic Equivalence into Symbolic Regression via Equality Graph
University of Texas at El Paso（德克萨斯理工大学）；Purdue University（普渡大学）
EGG-SR通过引入等式图模块，将符号等价性整合到符号回归方法中，以减少搜索空间并提升学习效率。
2026-02-12 cs.AI cs.LG cs.SC
Unsupervised Neural-Symbolic Integration
The Australian E-Health Research Center, CSIRO（澳大利亚电子健康研究中心，澳大利亚联邦科学与工业研究组织）
符号一直被认为是人类智能的语言，而神经网络具有计算鲁棒性和处理噪声数据的优势。神经-符号的整合可以提供更好的学习和推理，同时通过符号知识的表示提供可解释性的手段。虽然以前的工作集中在有监督的前馈神经网络，很少有人做了无监督的同行。在本文中，我们展示了如何将符号知识集成到无监督神经网络。我们用不同形式的知识来描述我们的方法，包括用于DNA启动子预测的命题逻辑和用于理解家庭关系的一阶逻辑。
2017-06-22 cs.AI
Neuro-Symbolic Continual Learning: Knowledge, Reasoning Shortcuts and Concept Rehearsal
University of Trento（特伦托大学）；University of Pisa（比萨大学）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
针对神经符号持续学习中现有方法易灾难性遗忘、易出现推理捷径的问题，提出概念级持续学习策略COOL，在三个新基准上实现了其他策略无法达到的持续高性能。
2023-12-19 cs.AI cs.LG
Clustering-Based Approaches for Symbolic Knowledge Extraction
Università degli Studi di Urbino “Carlo Bo”（乌尔比诺“卡洛·博”大学）
属于机器学习世界的不透明模型在大多数不同的应用领域中得到了越来越多的利用。从人类的角度来看，这些模型就像是黑盒（BB），如果应用程序是关键的，就不能完全信任，除非有一种方法可以从中提取符号和人类可读的知识。在本文中，我们分析了符号知识提取BB回归器所采用的递归设计-也就是说，与超立方输入空间区域相关的规则的创建。我们认为，这种分区可能会导致次优的解决方案时，手头的数据集是高维或不满足对称约束。然后，我们提出了一种基于（深度）聚类的方法，在符号知识提取之前进行，以实现更好的性能与任何类型的数据集。
2022-11-01 cs.AI cs.LG
SYNERGY: Building Task Bots at Scale Using Symbolic Knowledge and Machine Teaching
Microsoft Research（微软研究院）；Iowa State University（爱荷华州立大学）
在本文中，我们探索了使用符号知识和机器教学来减少人类在构建神经任务机器人时的数据标记工作。我们提出了SYNERGY，一个混合学习框架，其中的任务机器人的开发分为两个步骤：（i）符号知识的神经网络：大量的模拟对话会话生成的基础上，特定于任务的符号知识表示为一个任务模式，包括对话流和面向任务的数据库。然后，预先训练的神经对话模型SOLOIST在模拟对话框上进行微调，以构建用于任务的机器人。(ii)神经学习：微调的神经对话模型通过机器教学不断完善，其中训练样本由人类教师与任务机器人交互生成。我们在四个对话任务上验证SYNERGY。实验结果表明，SYNERGY将特定于任务的知识映射到神经对话模型中，实现了更大的对话流多样性和覆盖率，并通过机器教学不断提高模型性能，从而展示了符号知识和机器教学的强大协同效应。
2021-10-21 cs.AI cs.CL
SJEPA: Learning Elegant Latent Dynamics with Hybrid Symbolic-Neural Predictors
SJEPA是一种无重构的JEPA框架，结合符号定律与神经修正学习简洁潜在动力学，在受控摆实验中展现更优性能，揭示了多目标间的可控权衡。
2026-08-06 cs.AI cs.LG
EXplainable Neural-Symbolic Learning (X-NeSyL) methodology to fuse deep learning representations with expert knowledge graphs: the MonuMAI cultural heritage use case
ENSTA, Institut Polytechnique Paris（巴黎综合理工学院ENSTA）；Inria（法国国家信息与自动化研究所）；DaSCI Andalusian Institute in Data Science and Computational Intelligence, University of Granada（格拉纳达大学DaSCI安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）；Free University of Bozen-Bolzano（波尔扎诺自由大学）
最新的用于检测和分类的深度学习（DL）模型比经典的机器学习算法实现了前所未有的性能。然而，DL模型是难以调试、解释和验证的黑盒方法。DL本身无法提供非技术受众可以验证的解释。相比之下，将概念转换为规则或符号的符号人工智能系统-例如知识图谱-更容易解释。然而，它们具有较低的泛化和扩展能力。一个非常重要的挑战是融合DL表示与专家知识。解决这一挑战以及性能-可解释性权衡的一种方法是在不排除领域专家知识的情况下利用两个流的最佳效果。我们通过考虑符号知识以领域专家知识图谱的形式表示来解决这个问题。我们提出了可解释的神经符号学习（X-NeSyL）方法，旨在学习符号和深度表示，以及一个可解释性指标，以评估机器和人类专家解释的一致性水平。最终目标是在学习过程中将DL表示与专家领域知识融合，以作为可解释性的良好基础。X-NeSyL方法分别涉及在推理和训练时具体使用两种解释概念：1）EXPLANet：基于专家对齐的可解释部分的cLAsifier NETwork架构，一种使用符号表示的组合CNN，以及2）SHAP-Backprop，一种可解释的AI通知训练程序，引导DL过程与知识图谱形式的符号表示对齐。我们展示了使用MonuMAI数据集进行纪念碑立面图像分类的X-NeSyL方法，并证明了我们的方法提高了可解释性和性能。
2021-10-13 cs.AI cs.CV cs.LG
Towards Data-and Knowledge-Driven Artificial Intelligence: A Survey on Neuro-Symbolic Computing
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文系统综述了神经符号计算（NeSy）的发展历史、关键驱动因素、方法分类、应用与基准评测，并展望未来方向，旨在推动数据与知识驱动的人工智能发展。
2024-10-03 cs.AI cs.CV cs.LG
Option Discovery for Autonomous Generation of Symbolic Knowledge
University of Turin（都灵大学）；Roma Tre University（罗马第三大学）；ISTC-CNR（意大利国家研究委员会认知科学与技术研究所）
在这项工作中，我们提出了一个实证研究，我们证明了开发一个人工代理，能够自主探索实验方案的可能性。在探索过程中，智能体能够发现和学习有趣的选项，允许在没有任何预先分配的目标的情况下与环境进行交互，然后抽象和重用所获得的知识来解决事后分配的可能任务。我们在最近的文献中描述的所谓的宝藏游戏域中测试该系统，并且我们根据经验证明，所发现的选项可以在概率符号规划模型（使用PPDDL语言）中进行抽象，该模型允许代理生成符号计划以实现外部目标。
2022-06-03 cs.AI
Publishing FAIR and Machine-actionable Reviews in Materials Science: The Case for Symbolic Knowledge in Neuro-symbolic Artificial Intelligence
TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学技术信息中心）；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）；Eindhoven University of Technology (TU/e)（埃因霍温理工大学）；University of Warwick（华威大学）；Leibniz Institute for Solid State and Materials Research (IFW)（莱布尼茨固体与材料研究所）
本文提出通过FAIR标准和ORKG发布可机器执行的材料科学评论，强调符号层在神经符号AI中的核心作用。
2026-01-08 cs.AI cs.CL cs.DL
Combining Rules and Embeddings via Neuro-Symbolic AI for Knowledge Base Completion
IBM Research（IBM研究院）
最近对知识库补全（KBC）的兴趣导致了基于强化学习、归纳逻辑程序设计和图嵌入的大量方法。特别是，基于规则的KBC导致了可解释的规则，同时在性能上与图嵌入相当。即使在基于规则的KBC中，也存在不同的方法，导致不同质量的规则，以前的工作并不总是精确地突出这些差异。困扰大多数基于规则的KBC的另一个问题是关系路径的不一致性：一些关系序列出现在非常少的路径中，而另一些关系序列出现得非常频繁。在本文中，我们证明了并非所有基于规则的KBC模型都是相同的，并提出了两种不同的学习方法：1）混合关系和2）混合路径。当在神经符号AI之上实现时，后者通过将布尔逻辑扩展到实值逻辑来学习规则，后者模型在平均倒数排名方面的KBC准确性优于最先进的基于规则的KBC 2-10%。此外，为了解决关系路径的不一致性，我们将基于规则的KBC与图嵌入相结合，从而进一步改善了我们的结果，并实现了两全其美。
2021-09-16 cs.AI cs.LG cs.LO
Perform Like an Engine: A Closed-Loop Neural-Symbolic Learning Framework for Knowledge Graph Inference
Beihang University（北京航空航天大学）；Hikvision Research Institute（海康威视研究院）
知识图谱（KG）推理旨在解决知识图谱的自然不完备性，包括基于规则学习的知识图谱模型和知识图谱嵌入模型。然而，基于规则学习的模型效率低，通用性差，而KGE模型缺乏可解释性。为了解决这些挑战，我们提出了一个新的和有效的闭环神经符号学习框架EngineKG通过结合我们开发的KGE和规则学习模块。KGE模块利用符号规则和路径来增强实体和关系之间的语义关联，以提高KG的嵌入性和可解释性。在规则学习模块中提出了一种新的规则剪枝机制，以路径为初始候选规则，采用KG嵌入和概念相结合的方法来提取更高质量的规则。在四个真实数据集上的实验结果表明，我们的模型在链接预测任务上优于相关基线，证明了我们的KG推理模型在神经符号学习方式上的优越性。
2022-08-21 cs.AI cs.CL
Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability
HumemAI（胡梅人工智能公司）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；ELLIS Institute Finland & Abo Akademi University（芬兰埃利斯研究所和图尔库大学）
研究部分可观测性下的强化学习，提出神经符号元策略，结合知识图谱编码与值头，通过RDF表示等实现语义网基础，在特定设置下限定符感知的StarE - GNN配置性能最佳且有可追溯性。
2026-11-02 cs.AI
Practical and Reproducible Symbolic Music Generation by Large Language Models with Structural Embeddings
LG AI Research（LG人工智能研究院）；Seoul National University（首尔国立大学）
针对现有音乐生成模型依赖特定标注且缺乏可复现性的缺陷，本文开发了基于MIDI的音乐生成框架，实证研究了两种不依赖领域特定标注的结构嵌入，并通过开源实现促进了实用且可复现的音乐生成。
2024-07-29 cs.AI cs.SD eess.AS
Enhancing Symbolic Machine Learning by Subsymbolic Representations
Johannes Gutenberg Universität Mainz（莱茵河畔明斯特大学）
针对现有神经符号系统在简单判别式机器学习等场景效率偏低，研究提出为符号机器学习方案引入神经嵌入以增强性能，经三个真实域实验显示该方法F1分数优于所有基线，且可拓展至多类应用场景。
2025-06-17 cs.AI cs.LO
SymLoc: Symbolic Localization of Hallucination across HaluEval and TruthfulQA
CAIMIF \& Dept. of CSA Sharda University Greater Noida India；University of Maryland Baltimore County USA；Sharda University；University of Maryland
针对LLMs在符号触发因素下的幻觉问题，提出首个符号定位框架SymLoc，利用符号语言知识追踪模型层中幻觉发展，发现早期层符号语义处理崩溃，且符号知识是理解幻觉机制的关键。
2025-11-18 cs.AI cs.CL
SNIP++: Fine-Grained Symbolic-Numerical Alignment for Symbolic Regression
Université Laval（拉瓦尔大学）；Mila（米拉研究所）；Carnegie Mellon University（卡内基梅隆大学）
针对符号回归中多模态嵌入仅全局对齐、无法感知局部编辑影响的问题，提出SNIP++方法，通过结构位置编码与多粒度对比学习实现细粒度符号-数值对齐，显著提升局部编辑区分能力并迁移至外部语料库。
2026-09-29 cs.AI cs.LG cs.NE
Knowledge-enhanced Neuro-Symbolic AI for Cybersecurity and Privacy
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Mississippi State University（密西西比州立大学）
本文探讨神经符号AI结合神经网络与知识图谱，以解决网络安全与隐私领域中对可解释性和安全性的需求，使AI系统能在复杂环境中实现高准确性与专家可理解的推理。
2023-07-25 cs.AI cs.CR cs.CY
Geometric Relational Embeddings
Universität Stuttgart（斯图加特大学）；Institut für Künstliche Intelligenz (KI) der Universität Stuttgart（斯图加特大学人工智能研究所）
针对向量表示难以捕捉关系数据复杂符号属性的问题，提出几何关系嵌入范式，通过多种模型捕捉网络、知识图谱及本体中的复杂结构、逻辑约束与高阶结构，有效保留数据的离散符号特性。
2024-09-18 cs.AI cs.LG cs.SI
XAI-MeD: Explainable Knowledge Guided Neuro-Symbolic Framework for Domain Generalization and Rare Class Detection in Medical Imaging
XAI-MeD通过整合临床知识的神经符号框架，提升医学影像中领域泛化和稀有类别检测的性能，实现更鲁棒和可解释的多模态医学AI。
2026-01-05 cs.AI cs.CV
Data-Efficient Symbolic Regression via Foundation Model Distillation
Institute for Clarity in Documentation（文档清晰研究所）；Inria Paris-Rocquencourt（巴黎-罗克琴特研究所）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）；Arizona State University（亚利桑那州立大学）；Clemson University（克莱姆森大学）
本文提出EQUATE框架，通过质量对齐的迁移嵌入和评估器引导的嵌入优化，将离散方程搜索转化为连续优化问题，在低数据条件下实现数据高效且鲁棒的符号回归。
2025-08-27 cs.AI cs.LG
RNNCTPs: A Neural Symbolic Reasoning Method Using Dynamic Knowledge Partitioning Technology
School of Mathematical Sciences（数学科学学院）；University of Electronic Science and Technology of China（电子科技大学）
传统的符号推理方法虽然具有高度的可解释性，但由于计算效率低，在知识图谱链接预测中的应用受到限制。在本文中，我们提出了一种新的神经符号推理方法：RNNCTPs，它通过重新过滤条件定理证明器（CTPs）的知识选择，提高了计算效率，并且对嵌入大小参数不太敏感。RNNCTP分为关系选择器和预测器。关系选择器被有效地和可解释地训练，使得整个模型可以动态地生成用于预测器的推理的知识。在所有四个数据集上，该方法在链接预测任务上均表现出与传统方法相比较的竞争性能，并且相对于CTP，在数据集的选择上具有更高的适用性。
2022-04-19 cs.AI cs.NA math.LO
Saliency Map-Guided Knowledge Discovery for Subclass Identification with LLM-Based Symbolic Approximations
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Semantic Information Systems, Osnabrück University（语义信息系统，奥斯纳布吕克大学）
本文提出一种神经符号方法，利用显著性图引导聚类，并结合LLM符号近似与模糊知识图匹配，从时间序列多类分类问题中识别潜在子类，实验证明其优于仅用信号的基线方法。
2025-11-10 cs.AI
Facts as Experts: Adaptable and Interpretable Neural Memory over Symbolic Knowledge
Google Research（谷歌研究院）
大量的语言模型是现代NLP建模的核心，并且已经被证明可以编码大量的常识和事实信息。然而，这些知识只存在于模型的潜在参数中，无法进行检查和解释，更糟糕的是，随着世界的变化，从训练语料库中记忆的事实信息可能会变得陈旧。作为参数存储的知识也将不可避免地表现出源材料中固有的所有偏见。为了解决这些问题，我们开发了一个神经语言模型，其中包括一个明确的接口之间的象征性可解释的事实信息和subsymbolic神经知识。我们表明，该模型显着提高了两个知识密集型问答任务的性能。更有趣的是，模型可以通过操纵其符号表示来更新，而无需重新训练。特别是，这个模型允许我们添加新的事实，并以早期模型不可能的方式覆盖现有的事实。
2020-07-02 cs.AI cs.CL cs.LG
A Reinforcement Learning Approach to Domain-Knowledge Inclusion Using Grammar Guided Symbolic Regression
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学与应用数学实验室）；Réseau de Transport d’Electricité (Rte) R&D（法国电力传输网络研发部）
近年来，符号回归一直受到广泛关注，为潜在的大数据关系提供可解释的符号表示。符号回归方法最初被圈到遗传算法，现在包括各种基于深度学习的替代方法。然而，这些方法仍然不能很好地推广到现实世界的数据，主要是因为它们几乎不包括领域知识，也不考虑变量之间的物理关系，如已知的方程和单位。针对这些问题，我们提出了一种基于强化的语法引导的符号回归（RBG 2-SR）方法，该方法使用上下文无关文法作为强化动作空间，利用领域知识约束表示空间。我们详细介绍了一个部分可观测马尔可夫决策过程（POMDP）建模的问题和基准我们的方法对国家的最先进的方法。我们还分析了POMDP状态定义，并提出了一个物理方程搜索用例，我们比较我们的方法，基于语法和非基于语法的符号回归方法。实验结果表明，我们的方法是有竞争力的对其他国家的最先进的方法的基准，并提供了最好的错误复杂性权衡，突出了在现实世界中使用基于语法的方法的兴趣。
2022-02-09 cs.AI cs.LG
Knowledge-based Analogical Reasoning in Neuro-symbolic Latent Spaces
TCS Research（塔塔咨询服务公司研究院）
类比推理问题挑战了连接主义和符号AI系统，因为这些系统需要结合背景知识、推理和模式识别。虽然符号系统摄取明确的领域知识并执行演绎推理，但它们对噪声敏感，并且需要将输入映射到预设的符号特征。另一方面，连接主义系统可以直接摄取丰富的输入空间，如图像，文本或语音，即使有噪声输入也能识别模式。然而，联结主义模型努力包括演绎推理的明确领域知识。在本文中，我们提出了一个框架，结合了神经网络的模式识别能力与符号推理和背景知识解决一类类比推理问题的属性集和可能的关系，他们是已知的先验。我们从“神经算法推理”方法[DeepMind 2020]中获得灵感，并通过以下方式使用特定于问题的背景知识：（i）基于问题的符号模型学习分布式表示;（ii）训练反映问题中所涉及关系的神经网络转换;最后（iii）训练从图像到分布式表示的神经网络编码器（i）。这三个要素使我们能够使用神经网络作为操纵分布式表示的基本函数来执行基于搜索的推理。我们在RAVENs Progressive Matrices中的视觉类比问题上测试了这一点，并实现了与人类表现相竞争的准确性，并且在某些情况下，优于最初的端到端基于神经网络的方法。虽然最近的神经模型在规模上训练产生SOTA，但我们新的神经符号推理方法是解决这个问题的一个有希望的方向，并且可以说是更通用的，特别是对于领域知识可用的问题。
2022-09-19 cs.AI cs.LG
Online Vision- and Action-Based Object Classification Using Both Symbolic and Subsymbolic Knowledge Representations
如果机器人要漫游环境并与物体进行交互，通常需要提前知道所有可能的物体，以便可以生成具有所有物体模型的数据库以进行视觉识别。然而，这一限制并不总是得到满足。由于这个原因，基于模型的对象识别不能用于指导机器人的交互。因此，本文提出了一个系统，分析遇到的对象的功能，然后使用这些功能来比较未知的对象，已经知道的。从所得到的相似性中可以得出适当的行动。此外，该系统使机器人能够通过对相似对象进行分组或通过拆分现有类别来学习对象类别。为了表示知识的混合形式使用，包括符号和子符号表示。
2015-10-02 cs.AI
Knowledge Extraction and Knowledge Integration governed by Łukasiewicz Logics
Instituto Superior de Engenharia de Lisboa（里斯本高等工程学院）
特别是机器学习和一般人工智能的发展一直受到演绎、溯因和归纳之间缺乏适当接口层的强烈制约。在这项工作中，我们扩展了传统的代数规范方法在这个方向上。在这里，我们假设这样的人工智能接口出现从一个适当的神经符号积分。这种整合是由一个多值的Rukasiewicz逻辑的Topos描述的话语的宇宙。句子被集成在描述问题域的符号知识库中，使用基于图形的语言进行编码，其中每个逻辑连接符由人工网络中的神经元定义。这允许将一阶公式作为背景知识集成到网络架构中，并简化了从训练网络中提取符号规则。对于这种神经网络的训练，我们改变了Levenderg-Marquardt算法，采用软结晶的方法将知识的传播限制在网络结构中。这个过程降低了神经网络的可塑性，而不会严重损害学习性能，允许出现符号模式。这使得所产生的神经网络的描述能力类似于Jukasiewicz逻辑语言的描述能力，减少了符号结构和连接结构之间的翻译信息损失。我们测试了这种方法从指定的结构中提取知识。对于它，我们提出了模糊状态自动机的概念，我们使用自动机的行为来推断其结构。我们使用这种类型的自动机上指定为符号背景知识的关系模型的生成。
2016-04-11 cs.AI
Deciphering Raw Data in Neuro-Symbolic Learning with Provable Guarantees
Nanjing University（南京大学）
本文提出一种刻画知识库监督信号的新方法并建立可学习性判定准则，首次从理论上解释神经符号混合系统何时成功或失败，并通过基准实验验证其有效性。
2024-01-23 cs.AI cs.LG
Symbolic Knowledge Extraction using Łukasiewicz Logics
Instituto Superior de Engenharia de Lisboa（里斯本高等工程学院）
这项工作描述了一种方法，结合逻辑为基础的系统和连接系统。我们的方法使用有限的真值逻辑，其中每个连接可以定义一个人工网络中的神经元。这允许将一阶公式注入到网络架构中，并且还简化了符号规则提取。为此，我们使用Levenderg-Marquardt算法训练了一个神经网络，其中我们限制了网络结构中的知识传播。这个过程降低了神经网络的可塑性，而不会严重损害学习性能，从而使所产生的神经网络的描述能力类似于Mikukasiewicz逻辑语言的描述能力，并简化了符号和连接结构之间的转换。我们将这种方法用于逆向工程真值表和从实际数据集中提取公式。
2016-04-11 cs.AI cs.LG
Evaluation Metrics for Symbolic Knowledge Extracted from Machine Learning Black Boxes: A Discussion Paper
University of Urbino（乌尔比诺大学）；Alma Mater Studiorum —University of Bologna（博洛尼亚大学）
随着不透明决策系统越来越多地被应用于几乎所有的应用领域，其缺乏透明度和人类可读性的问题成为最终用户的具体问题。在将人类可解释的知识与不透明模型提供的准确预测相关联的现有建议中，存在规则提取技术，能够从不透明模型中提取符号知识。然而，如何定量地评估提取的知识的可读性水平仍然是一个悬而未决的问题。找到这样一个指标将是关键，例如，使一组不同的知识表示之间的自动比较，为知识提取器的参数自动调整算法的发展铺平了道路。在本文中，我们讨论了这样一个指标的必要性以及可读性评估和评价的关键性，考虑到最常见的知识表示，同时突出最令人困惑的问题。
2022-11-01 cs.AI cs.LG
Neural-Symbolic Knowledge Tracing: Injecting Educational Knowledge into Deep Learning for Responsible Learner Modelling
Tallinn University（塔林大学）；University of Jyväskylä（于韦斯屈莱大学）；Czech Technical University（捷克技术大学）；Kangwon National University（江原大学）；University College London（伦敦大学学院）；The University of Hong Kong（香港大学）；Monash University（莫纳什大学）；University of Central Florida（中佛罗里达大学）
本文提出Responsible-DKT，通过整合教育符号知识提升学习者建模的性能与可解释性，实验表明其在预测准确率和时间可靠性方面优于传统方法。
2026-04-09 cs.AI
MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning
AI21 Labs（AI21实验室）
巨大的语言模型（LM）开创了人工智能的新时代，成为基于自然语言的知识任务的门户。虽然LM是现代AI的基本要素，但它在许多方面也有固有的局限性。我们将讨论这些限制，以及如何通过采用系统方法来避免这些限制。将挑战概念化为除了语言处理之外还涉及知识和推理的挑战，我们定义了一个具有多个神经模型的灵活架构，并辅以离散知识和推理模块。我们描述了这种神经符号架构，称为模块化推理，知识和语言（MRKL，发音为“奇迹”）系统，实现它的一些技术挑战，以及Jurassic-X，AI 21 Labs的MRKL系统实现。
2022-05-01 cs.AI cs.CL
Neural-Symbolic Entangled Framework for Complex Query Answering
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）；Alibaba Group（阿里巴巴集团）；Hangzhou Innovation Center, Zhejiang University（浙江大学杭州国际科创中心）
在知识图谱（KG）上进行复杂查询是一项重要但具有挑战性的任务，因为KG不完整性问题和推理过程中的级联错误。最近的查询嵌入（QE）方法嵌入的KG和一阶逻辑（FOL）查询到一个低维空间的实体和关系，回答查询密集相似性搜索。然而，以前的工作主要集中在目标答案，忽略了中间实体的有用性，这是必要的，以减轻级联错误的问题，在逻辑查询回答。此外，这些方法通常设计有自己的几何或分布嵌入来处理逻辑运算符，如并集，交集和否定，牺牲了基本运算符-投影的准确性，并且它们不能将其他嵌入方法吸收到它们的模型中。在这项工作中，我们提出了一个神经和符号纠缠框架（ENeSy）的复杂查询回答，这使得神经和符号推理，以减轻级联错误和KG不完整性，以加强对方。ENeSy中的投影算子可以是具有链接预测能力的任何嵌入方法，并且其他FOL算子在没有参数的情况下被处理。通过包含神经和符号推理结果，ENeSy以集合的形式回答查询。ENeSy在几个基准测试中达到了SOTA性能，特别是在训练模型只与链接预测任务的设置中。
2022-09-19 cs.AI cs.DB cs.LO
Abductive Knowledge Induction From Raw Data
Imperial College London（伦敦帝国学院）
对于许多涉及原始输入的推理繁重的任务，设计适当的端到端学习管道具有挑战性。神经符号学习，将过程分为子符号感知和符号推理，试图同时利用数据驱动的机器学习和知识驱动的推理。然而，它们遭受这两个组件之间的接口内的指数计算复杂性，其中子符号学习模型缺乏直接监督，并且符号模型缺乏准确的输入事实。因此，他们中的大多数人假设存在一个强大的符号知识库，只学习感知模型，而避免了一个关键问题：知识来自哪里？本文提出了一种结合溯因和归纳的溯因元解释学习方法（$Meta_{Abd}$），用于从原始数据中学习神经网络和归纳逻辑理论。实验结果表明，$Meta_{Abd}$不仅在预测精度和数据效率方面优于同类系统，而且还能诱导出逻辑程序，这些逻辑程序可以作为背景知识在后续的学习任务中重复使用。据我们所知，$Meta_{Abd}$是第一个可以从头开始共同学习神经网络并通过谓词发明归纳递归一阶逻辑理论的系统。
2021-05-20 cs.AI cs.LG
