Efficient Symbolic Reasoning for Neural-Network Verification
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google Research(谷歌研究院)
神经网络已成为现代软件系统的一个组成部分。然而,它们仍然存在各种问题,特别是易受对抗攻击的伤害。在这项工作中,我们提出了一个新的程序推理框架的神经网络验证,我们称之为符号推理。我们的框架的关键组成部分是使用的符号域和二次关系。符号域具有非常灵活的语义,二次关系具有很强的表达能力。它们允许我们将神经网络的许多验证问题编码为二次规划。我们的计划,然后放松二次规划的半定规划,可以有效地解决。这个框架允许我们在不同的场景下验证各种神经网络属性,特别是那些对非符号域具有挑战性的属性。此外,它引入了新的表示和观点的验证任务。我们相信,我们的框架可以带来新的理论见解和实用工具的验证问题的神经网络。
2023-03-23 cs.AI cs.LG cs.SC
PruneSymNet: A Symbolic Neural Network and Pruning Algorithm for Symbolic Regression
Institute of Semiconductors, Chinese Academy of Sciences(中国科学院半导体研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Key Laboratory of Semiconductor Neural Network Intelligent Sensing and Computing Technology(北京半导体神经网络智能感知与计算技术重点实验室)
本研究针对符号回归任务提出可微符号网络PruneSymNet及结合束搜索的贪心剪枝算法,能在保证拟合精度的前提下提取符号表达式,在公开数据集上精度优于主流算法。
2024-01-25 cs.AI cs.LG
NEUROSPF: A tool for the Symbolic Analysis of Neural Networks
University of Texas at Austin(德克萨斯大学奥斯汀分校);National University of Singapore(新加坡国立大学);Carnegie Mellon University(卡内基梅隆大学);KBR Inc.(KBR公司);NASA Ames(美国国家航空航天局艾姆斯研究中心);Queen’s University Belfast(贝尔法斯特女王大学)
本文介绍了NEUROSPF,神经网络的符号分析工具。给定一个经过训练的神经网络模型,该工具提取体系结构和模型参数,并将其转换为Java表示,该表示适合使用Symbolic Pathlogic符号执行工具进行分析。值得注意的是,NEUROSPF编码专门的对等类来解析模型的参数,从而实现高效的分析。使用NEUROSPF,用户可以灵活地将输入或网络内部参数指定为符号,促进了程序分析和测试方法从软件工程到机器学习领域的应用。例如,NEUROSPF可用于基于覆盖率的测试和测试生成,查找对抗性示例以及神经网络的基于约束的修复,从而提高神经网络和使用它们的应用程序的可靠性。视频网址:https://youtu.be/seal8fG78LI
2021-02-27 cs.AI cs.LG cs.SE
Learning neuro-symbolic convergent term rewriting systems
Department One(部门一);Department Two(部门二);Department of Mathematics, University of Padova(帕多瓦大学数学系);Department of General Psychology, University of Padova(帕多瓦大学普通心理学系);Augmented Intelligence Center, Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会增强智能中心)
本文提出受重写算法启发的神经符号框架及 NRS、FastNRS,用于学习收敛项重写系统,并在公式化简和多领域任务中展现强分布外泛化,性能优于强神经基线并追平或超过 o1-preview。
2025-07-25 cs.AI cs.LG
Neural-Symbolic Relational Reasoning on Graph Models: Effective Link Inference and Computation from Knowledge Bases
Institute of Informatics, UFRGS(UFRGS信息学院);City, University of London(伦敦大学城市学院)
神经符号模型的最新发展和日益增长的兴趣表明,混合方法可以为人工智能提供更丰富的模型。有效的关系学习和推理方法的整合是这一方向的关键挑战之一,因为神经学习和符号推理提供了互补的特征,有利于人工智能系统的开发。知识图谱上的关系标注或链接预测已经成为基于深度学习的自然语言处理研究的主要问题之一。此外,利用神经符号技术的其他领域也可能从这种研究努力中受益。在知识图谱中,已经有几种努力从现有事实中识别缺失的事实。两条研究路线试图通过考虑连接两个实体的所有已知事实或连接它们的几条事实路径来预测它们之间的知识关系。我们提出了一个神经符号图神经网络,它适用于学习所有的路径喂养的模型与嵌入的最小子集的知识图谱包含这样的路径。通过学习生成对应于词嵌入的实体和事实的表示,我们展示了如何端到端地训练模型来解码这些表示并以多任务方法推断实体之间的关系。我们的贡献是双重的:一个神经符号的方法,利用大型图的关系推理的分辨率,我们也证明了这种神经符号模型比基于路径的方法更有效
2020-05-05 cs.AI cs.LG stat.ML
Training neural networks to encode symbols enables combinatorial generalization
New Bulgarian University(新保加利亚大学);University of Bristol(布里斯托大学)
组合泛化(Combinatorial generalization)--理解和产生已经熟悉的元素的新组合的能力--被认为是人类思维的核心能力,也是神经网络模型面临的主要挑战。大量研究表明,传统的神经网络无法解决这个问题,除非它们被赋予专门设计用于表示符号的机制。在本文中,我们介绍了一种新的方式来表示符号结构的连接术语-向量的方法来表示符号(VARS),它允许训练标准的神经架构,以编码符号知识明确在其输出层。在两个模拟中,我们表明,神经网络不仅可以学习产生VARS表示,但在这样做,他们实现了组合泛化的符号和非符号输出。这增加了其他最近的工作,已经显示出在特定的训练条件下改进的组合泛化,并提出了是否需要特定的机制或训练例程来支持符号处理的问题。
2019-09-23 cs.AI cs.CL
Distilling Symbolic Priors for Concept Learning into Neural Networks
Princeton University(普林斯顿大学);Yale University(耶鲁大学)
本文提出通过元学习从符号 Bayesian 模型中蒸馏先验分布,将支持快速概念学习的归纳偏置迁移到神经网络中,实验证明该方法对短逻辑公式概念的归纳偏置与人类表现高度一致。
2024-02-10 cs.AI cs.LG
Neural-Symbolic Argumentation Mining: an Argument in Favor of Deep Learning and Reasoning
University of Bologna(博洛尼亚大学);TU Darmstadt(达姆施塔特工业大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
深度学习为论证挖掘领域带来了显着的贡献,但现有的方法仍然需要填补执行高级推理任务的空白。在这份立场文件中,我们认为神经符号和统计关系学习可以在整合符号和子符号方法以实现这一目标方面发挥至关重要的作用。
2020-01-28 cs.AI
Formal Explanations for Neuro-Symbolic AI
Monash University(莫纳什大学)
本文针对神经符号AI系统行为难以解释的问题,提出一种基于形式化溯因解释的分层解释方法,先解释符号组件以确定需解释的神经输入子集,再独立解释各神经输入,实验证明其在解释规模、时间、训练效率和模型大小等方面优于纯神经系统。
2024-10-18 cs.AI cs.LG cs.LO
Interpreting Neural Network Judgments via Minimal, Stable, and Symbolic Corrections
MIT(麻省理工学院);Google Brain(谷歌大脑)
我们提出了一种新的算法来生成最小的,稳定的,符号化的输入校正,这将导致具有ReLU激活的神经网络改变其输出。我们认为,这样的校正是一个有用的方式来提供反馈给用户时,网络的输出是不同于所需的输出。我们的算法通过求解一系列线性约束满足问题来产生这样的校正。该技术进行评估的三个神经网络模型:一个预测申请人是否会支付抵押贷款,一个预测是否一阶定理可以有效地证明由求解器使用一定的数学,最后一个判断是否是一个准确的绘制一只猫的规范图纸。
2018-08-30 cs.AI cs.LG stat.ML
Optimized Symbolic Interval Propagation for Neural Network Verification
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
神经网络越来越多地应用于安全关键领域,因此其验证变得越来越重要。目前证明前馈神经网络输入输出关系的算法中有一大类是基于线性松弛和符号区间传播的。然而,由于变量的依赖性,近似随着网络深度的增加而恶化。在本文中,我们提出了DPNeurifyFV,这是一种用于低维输入空间的ReLU网络的新型分支定界求解器,它基于具有新鲜变量和输入分裂的符号区间传播。一个新的启发式选择新鲜的变量可以改善依赖性问题,而我们的新的分裂启发式,结合其他几个改进,加快了分支定界过程。我们评估我们的方法在空中防撞网络ACAS徐和演示运行时的改进相比,国家的最先进的工具。
2022-12-15 cs.AI cs.CR cs.LG
Worrisome Properties of Neural Network Controllers and Their Symbolic Representations
University of Warsaw(华沙大学);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学)
该研究针对简单强化学习基准问题,发现神经网络控制器及其低神经元、符号抽象表示存在大量持续低回报解的鲁棒性问题,越简单的控制器这类问题越严重,同时提出了系统鲁棒性研究算法并借助计算机辅助证明验证了相关解的存在性。
2023-07-28 cs.AI cs.LG math.DS
Beyond Neural Networks: Symbolic Reasoning over Wavelet Logic Graph Signals
UC Berkeley, School of Information(伯克利大学信息学院)
本研究提出基于图拉普拉斯小波变换的非神经学习框架,通过谱域多尺度滤波、非线性收缩与符号DSL实现图任务,性能媲美轻量级GNN且更透明高效,为图学习提供可解释的深度架构替代方案。
2025-07-27 cs.LG
FGeo-HyperGNet: Geometric Problem Solving Integrating FormalGeo Symbolic System and Hypergraph Neural Network
School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院);School of Future Technology, Shanghai University(上海大学未来技术学院);College of Sciences, Shanghai University(上海大学理学院)
针对几何问题求解难题,提出融合FormalGeo符号系统与超图神经网络的FGeo-HyperGNet神经符号系统,通过预测-应用循环实现可读可追溯求解,在FormalGeo7K数据集上取得SOTA结果。
2025-07-31 cs.AI
Verification of Neural Network Control Systems using Symbolic Zonotopes and Polynotopes
Univ. Bordeaux(波尔多大学);CNRS(法国国家科学研究中心);Bordeaux INP(波尔多国立理工学院);IMS(IMS实验室);Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学)
本文提出一种基于符号 zonotope 和 polynotope 的组合方法,通过保持包含性的符号依赖建模和输入分区算法,高效抽象并分析神经网络控制系统的输入输出映射,在低保守性与计算效率间取得良好折衷。
2023-06-26 cs.AI cs.SY eess.SY
Ordering Chaos: Memory-Aware Scheduling of Irregularly Wired Neural Networks for Edge Devices
University of California, San Diego(加利福尼亚大学圣地亚哥分校);Qualcomm AI Research(高通人工智能研究院);Duke University(杜克大学)
最近的进展表明,来自神经架构搜索(NAS)和随机布线的不规则布线神经网络不仅可以自动设计深度神经网络,而且还可以产生优于以前手动设计的模型。这些设计在硬资源约束(内存,MAC,. . .),突出了这类设计神经网络的重要性。然而,这一举措使以前精简的执行模式变得复杂。事实上,主要挑战之一是神经网络中这些节点的顺序显著影响中间激活的记忆足迹。当前的编译器没有关于激活内存占用进行调度,与最佳值相比,它显著增加了其峰值,使其不适用于边缘设备。为了解决这个长期存在的问题,我们提出了一个内存感知编译器,称为SERENITY,利用动态规划找到一个序列,找到一个最佳的内存占用的时间表。我们的解决方案还包括图重写技术,允许进一步减少超过最佳。因此,SERENITY实现了最佳峰值内存,图形重写技术进一步改进了这一点,使用基于动态规划的调度器时,性能提高了1.68倍,使用图形重写时,性能提高了1.86倍,而TensorFlow Lite的开销不到一分钟。
2020-03-04 cs.DC cs.LG stat.ML
Combining Neural Networks and Symbolic Regression for Analytical Lyapunov Function Discovery
UC San Diego(加州大学圣地亚哥分校)
本研究提出结合神经网络与符号回归的CoNSAL框架,既能将神经李雅普诺夫函数提炼为解析形式,又能通过符号回归发现反例,在多个非线性系统中成功找到有效且可解释性更强的解析李雅普诺夫函数。
2024-07-12 cs.AI cs.SC cs.SY
Reverse Engineering and Symbolic Knowledge Extraction on Łukasiewicz Fuzzy Logics using Linear Neural Networks
Departamento de Matemática(数学系);Instituto Superior de Engenharia de Lisboa(里斯本高等工程学院)
这项工作描述了一种方法,结合逻辑为基础的系统和连接系统。我们的方法使用了有限真值逻辑,在这种逻辑中,我们利用了这样一个事实,即在这种类型的逻辑中,每个连接符都可以由人工网络中的神经元定义,该神经元具有由激活函数截断为零和一的身份。这允许在网络架构中注入一阶公式,也简化了符号规则提取。我们的方法使用Levenderg-Marquardt算法训练神经网络,其中我们限制了网络结构中的知识传播。我们展示了这是如何降低神经网络的可塑性,而不会严重损害学习性能。使生成的神经网络的描述能力类似于Jukasiewicz逻辑语言的描述能力,简化符号和连接结构之间的转换。这种方法被用于逆向工程问题,寻找用于生成多值Rukasiewicz逻辑的真值表的公式。对于真实数据集的方法是特别有用的属性选择,对使用名义属性定义的二进制分类问题。在属性选择和可能的数据集完成后,在所得到的连接主义模型中:神经元可以直接用一个析取或合取公式表示,或者神经元是可以用符号规则近似的解释。这一事实是例证,提取符号知识从连接模型生成的数据集蘑菇从UCI机器学习知识库。
2016-04-11 cs.AI cs.NE
Verification of Neural Control Barrier Functions with Symbolic Derivative Bounds Propagation
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出一种基于符号导数边界传播的高效验证框架,用于验证基于ReLU的神经控制屏障函数,在多种机器人动力学实验中验证率和验证时间均优于区间算术基线方法。
2024-10-04 cs.LG cs.RO cs.SY
Does Symbolic Knowledge Prevent Adversarial Fooling?
University of Trento(特伦托大学)
支持将符号知识注入神经结构的论点比比皆是。如果处理得当,约束子符号模型可以大大提高其性能和样本复杂性,并防止其预测无效配置。专注于深度概率(逻辑)图形模型-即,约束联合分布,其参数(部分)由基于低级输入的神经网络确定-我们提请注意符号知识的一个基本但无意的后果:由此产生的约束可能会传播对抗性示例的负面影响。
2019-12-19 cs.LG stat.ML
Symbolically Solving Partial Differential Equations using Deep Learning
我们描述了一种基于神经元的方法,用于以数学表达式的形式生成微分方程的精确或近似解。与其他神经方法不同,我们的系统返回可以直接解释的符号表达式。我们的方法使用神经架构来学习数学表达式以优化可定制的目标,并且是可扩展的,紧凑的,并且容易适应各种任务和配置。该系统已被证明可以有效地找到各种微分方程的精确或近似符号解,并在自然科学中得到应用。在这项工作中,我们强调我们的方法如何适用于多变量偏微分方程和更复杂的边界和初值条件。
2020-11-12 cs.LG cs.NE cs.SC
NeuTral Rewriter: A Rule-Based and Neural Approach to Automatic Rewriting into Gender-Neutral Alternatives
Tilburg University(蒂尔堡大学)
近年来,越来越需要性别中立和包容性的语言。在NLP领域,有各种单语言和双语用例,其中性别包容性语言是适当的,如果不是首选,由于模糊或不确定性的性别方面的参考。在这项工作中,我们提出了一个基于规则的和神经的方法,以性别中立的重写英语以及手动策划的合成数据(WinoBias+)和自然数据(OpenSubtitles和Reddit)基准。详细的手动和自动评估强调了我们的Neutral Rewriter如何在基于规则的方法生成的数据上进行训练,在合成,域内和域外测试集上获得低于0.18%的单词出错率(WER)。
2021-09-13 cs.AI cs.CL
SymRTLO: Enhancing RTL Code Optimization with LLMs and Neuron-Inspired Symbolic Reasoning
University of Maryland, College Park(马里兰大学科帕克分校);City University of Hong Kong(香港城市大学);University of Southern California(南加州大学)
SymRTLO提出一种融合LLM代码重写、RAG优化规则、AST模板与FSM符号推理的RTL优化框架,并配合快速验证流水线,在PPA指标上相比现有方法最高提升62.5%。
2025-09-22 cs.AI cs.AR cs.LG
Improving Neural Retrieval with Attribution-Guided Query Rewriting
IRIT, UMR5505 CNRS Université Toulouse Capitole(IRIT,CNRS 5505 机构,图卢兹大学);IRIT, UMR5505 CNRS UT2J, Université de Toulouse(IRIT,CNRS 5505 机构,图卢兹大学)
本文提出归因引导的查询重写方法,通过标记级解释指导LLM澄清模糊查询,提升神经检索效果。
2026-02-12 cs.AI cs.IR cs.LG
Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision
Northwestern University(西北大学);Tel-Aviv University(特拉维夫大学);Google Inc.(谷歌公司)
利用神经网络的统计能力来执行语言理解和符号推理是困难的,当它需要对大型知识库执行有效的离散操作时。在这项工作中,我们介绍了一个神经符号机,它包含(a)一个神经“程序员”,即,将语言语句映射到程序并利用键变量存储器来处理组合性的序列到序列模型(b)符号“计算机”,即,一个Lisp解释器,执行程序执行,并通过修剪搜索空间来帮助找到好的程序。我们应用REINFORCE直接优化这个结构化预测问题的任务奖励。为了在弱监督下进行训练并提高REINFORCE的稳定性,我们使用迭代最大似然训练过程对其进行了增强。当仅从问答对进行训练时,NSM在Websites SP数据集上的表现优于最先进的技术,而不需要任何特征工程或特定领域的知识。
2017-04-23 cs.AI cs.CL cs.LG
Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
受人类如何总结长文档的启发,我们提出了一个准确快速的摘要模型,首先选择突出的句子,然后抽象地重写它们(即,压缩和释义)以生成简明的总体概要。我们使用了一种新的策略级策略梯度方法,以分层的方式在这两个神经网络之间架起不可微计算的桥梁,同时保持语言的流畅性。从经验上讲,我们在CNN/Daily Mail数据集上的所有指标(包括人工评估)上都达到了最新水平,而且抽象度得分也显著提高。此外,通过首先在段落级操作,然后在单词级操作,我们实现了神经生成模型的并行解码,这使得推理速度比以前的长段落编码器-解码器模型快得多(10- 20倍),训练收敛速度也快4倍。我们还展示了我们的模型在仅测试DUC-2002数据集上的泛化,在那里我们获得了比最先进的模型更高的分数。
2018-05-28 cs.AI cs.CL cs.LG
Interpretable by AI Mother Tongue: Native Symbolic Reasoning in Neural Models
PARRAWA AI
该框架让神经模型发展出原生符号语言AI母语,通过嵌入推理、门控归纳和顺序训练,实现透明推理,在AI任务上兼顾准确性与可验证性。
2025-08-26 cs.AI cs.CL cs.LG
Facts as Experts: Adaptable and Interpretable Neural Memory over Symbolic Knowledge
Google Research(谷歌研究院)
大量的语言模型是现代NLP建模的核心,并且已经被证明可以编码大量的常识和事实信息。然而,这些知识只存在于模型的潜在参数中,无法进行检查和解释,更糟糕的是,随着世界的变化,从训练语料库中记忆的事实信息可能会变得陈旧。作为参数存储的知识也将不可避免地表现出源材料中固有的所有偏见。为了解决这些问题,我们开发了一个神经语言模型,其中包括一个明确的接口之间的象征性可解释的事实信息和subsymbolic神经知识。我们表明,该模型显着提高了两个知识密集型问答任务的性能。更有趣的是,模型可以通过操纵其符号表示来更新,而无需重新训练。特别是,这个模型允许我们添加新的事实,并以早期模型不可能的方式覆盖现有的事实。
2020-07-02 cs.AI cs.CL cs.LG
Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision (Short Version)
Northwestern University(西北大学);Tel-Aviv University(特拉维夫大学);Google Inc.(谷歌公司)
将深度神经网络的成功扩展到自然语言理解和符号推理需要复杂的运算和外部记忆。最近的神经程序诱导方法试图解决这个问题,但通常限于可微记忆,因此不能扩展到小的合成任务之外。在这项工作中,我们提出了管理员-程序员-计算机框架,它集成了神经网络与不可微的内存,以支持抽象的,可扩展的和精确的操作,通过一个友好的神经计算机接口。具体来说,我们介绍了一个神经符号机,其中包含一个序列到序列的神经“程序员”,和一个不可微的“计算机”,这是一个Lisp解释器与代码辅助。为了成功地将REINFORCE应用于训练,我们使用通过迭代最大似然训练过程找到的近似黄金程序来增强它。NSM能够从大型知识库的弱监督中学习语义解析器。它实现了新的国家的最先进的性能在WebSites SP,一个具有挑战性的语义解析数据集,与弱监督。与以前的方法相比,NSM是端到端的,因此不依赖于特征工程或领域特定知识。
2016-12-04 cs.AI cs.CL cs.LG
Neural-Symbolic Integration for Interactive Learning and Conceptual Grounding
City, University of London(伦敦大学城市学院)
我们提出了神经-符号积分的抽象概念解释和互动学习。神经符号积分和解释允许用户和领域专家了解大型神经模型的数据驱动决策过程。使用符号逻辑语言查询模型。然后,与用户的交互使用可以被提取到模型架构中的基于逻辑的约束来确认或拒绝神经模型的修订。该方法使用逻辑张量网络框架和概念激活向量来说明,并应用于卷积神经网络。
2022-01-17 cs.AI cs.LG
Neural Sequence-to-grid Module for Learning Symbolic Rules
Seoul National University(首尔大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
符号上的逻辑推理任务,例如学习算术运算和计算机程序评估,已经成为深度学习的挑战。特别是,即使是最先进的神经网络也无法实现符号推理任务的\textit{out-of-distribution}(OOD)泛化,而人类可以很容易地扩展学习的符号规则。为了解决这个困难,我们提出了一个神经序列到网格(seq2grid)模块,这是一个输入预处理器,可以自动将输入序列分割并对齐到网格中。由于我们的模块通过一种新的可微映射输出网格,因此任何接受网格输入的神经网络结构,如ResNet或TextCNN,都可以与我们的模块以端到端的方式进行联合训练。大量的实验表明,我们的模块作为输入预处理器的神经网络实现面向对象的推广各种算术和算法问题,包括数字序列预测问题,代数字的问题,和计算机程序评估问题,而其他国家的最先进的序列转导模型不能。此外,我们还验证了我们的模块增强了TextCNN,可以在没有外部存储器的情况下解决bAbI QA任务。
2021-04-26 cs.AI cs.CL cs.LG
Improving Coherence and Consistency in Neural Sequence Models with Dual-System, Neuro-Symbolic Reasoning
MIT(麻省理工学院);DeepMind;NYU(纽约大学);Facebook AI Research(Facebook人工智能研究院)
人类推理通常可以理解为两个系统之间的相互作用:直觉和联想(“系统1”)和深思熟虑和逻辑(“系统2”)。神经序列模型-在执行复杂的结构化任务方面越来越成功-展示了系统1的优势和失败模式:它们速度快,可以从数据中学习模式,但通常不一致和不连贯。在这项工作中,我们寻求一种轻量级的,无需训练的方法,通过添加System 2启发的逻辑推理来改进现有的System 1类序列模型。我们探讨了这个主题的几种变化,其中候选人的神经序列模型的逻辑一致性检查的符号推理模块,它可以接受或拒绝的代。我们的方法使用神经推理在神经系统1和逻辑系统2之间进行调解。结果表明,该方法可以提高基于神经的故事生成的一致性和准确性。
2021-12-15 cs.AI cs.CL cs.LG
A Neural Rewriting System to Solve Algorithmic Problems
University of Padova(帕多瓦大学)
针对神经网络难学习算法流程、分布外泛化弱的问题,提出受符号重写系统启发的三模块神经架构,在公式化简任务上优于Neural Data Router和GPT-4,提升了分布外泛化能力。
2024-07-12 cs.AI cs.CL cs.NE
BlendRL: A Framework for Merging Symbolic and Neural Policy Learning
Technical University of Darmstadt(达姆施塔特工业大学);Eindhoven University of Technology(埃因霍温理工大学);Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for Cognitive Science, Technical University of Darmstadt(达姆施塔特工业大学认知科学中心)
BlendRL是一个神经符号强化学习框架,融合逻辑与神经策略,在Atari环境中优于纯神经和纯符号基线,并展现出对环境变化的鲁棒性。
2025-04-21 cs.AI cs.LG
SJEPA: Learning Elegant Latent Dynamics with Hybrid Symbolic-Neural Predictors
SJEPA是一种无重构的JEPA框架,结合符号定律与神经修正学习简洁潜在动力学,在受控摆实验中展现更优性能,揭示了多目标间的可控权衡。
2026-08-06 cs.AI cs.LG
NeuralFastLAS: Fast Logic-Based Learning from Raw Data
Imperial College London(帝国理工学院)
针对神经符号联合训练不稳定、速度慢的问题,提出NeuralFastLAS端到端方法,通过学习规则后验分布提升稳定性,在算术逻辑任务上达SOTA准确率且训练速度最快快两个数量级。
2023-10-08 cs.AI cs.LG
Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning
University of California, Los Angeles(加州大学洛杉矶分校)
神经符号计算的目标是整合联结主义和符号主义范式。先前的方法使用强化学习(RL)方法来学习神经符号模型,该方法忽略了符号推理模块中的错误传播,因此在稀疏奖励的情况下收敛缓慢。在本文中,我们解决这些问题,并关闭循环的神经符号学习(1)引入\textbf{grammar}模型作为一个\textit{symbolic prior}桥梁神经感知和符号推理,(2)提出了一种新的\textbf{back-search}算法,模仿自上而下的人类学习过程,通过符号推理模块有效地传播错误。我们进一步解释所提出的学习框架作为极大似然估计使用马尔可夫链蒙特卡罗采样和回搜索算法作为一个大都会黑斯廷斯采样器。实验在两个弱监督的神经符号任务上进行:(1)新引入的HWF数据集上的手写公式识别;(2)CLEVR数据集上的视觉问题回答。结果表明,我们的方法显着优于RL方法的性能,收敛速度和数据效率。我们的代码和数据在\url{https://liqing-ustc.github.io/NGS}上发布。
2020-07-27 cs.AI cs.CV cs.LG
Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting
University of Waterloo(滑铁卢大学);Academia Sinica(中央研究院);National Chengchi University(国立政治大学)
会话搜索在会话信息搜索中起着至关重要的作用。由于自然语言对话中固有的共指和遗漏问题,传统的自组织信息检索(IR)系统在信息搜索对话中的查询是模糊的,因此解决这些模糊性是至关重要的。在本文中,我们解决对话通道检索(ConvPR),对话搜索的一个重要组成部分,通过解决查询歧义与查询重组集成到一个多阶段的ad-hoc IR系统。具体来说,我们提出了两种会话查询重构(CQR)方法:(1)术语重要性估计和(2)神经查询重写。对于前者,我们扩展会话查询使用的重要条款提取的会话上下文与基于频率的信号。对于后者,我们用一个预先训练的序列到序列模型将会话查询重新表达为自然的、独立的、人类可理解的查询。定量和定性地详细分析了两种CQR方法,解释了它们的优点,缺点和不同的行为。此外,为了利用这两种CQR方法的优势,我们建议将它们的输出与倒数等级融合相结合,产生最先进的检索效果,与TREC CAST 2019的最佳提交相比,NDCG@3提高了30%。
2021-03-11 cs.AI cs.CL cs.IR
Symbol Correctness in Deep Neural Networks Containing Symbolic Layers
School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院)
本文提出符号正确性概念,作为神经符号深度神经网络(NS-DNN)中神经层预测符号与真实符号一致性的原则,证明其对可解释性和迁移学习必要,并揭示训练权衡。
2024-02-06 cs.AI cs.LG
Neural-Symbolic VQA: Disentangling Reasoning from Vision and Language Understanding
Harvard University(哈佛大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);DeepMind(深度思维)
我们结合了两个强大的想法:用于视觉识别和语言理解的深度表示学习,以及用于推理的符号程序执行。我们的神经符号视觉问答(NS-VQA)系统首先从图像中恢复一个结构化的场景表示,并从问题中恢复一个程序跟踪。然后,它在场景表示上执行程序以获得答案。将符号结构作为先验知识提供了三个独特的优势。首先,在符号空间上执行程序对长程序跟踪更鲁棒;我们的模型可以更好地解决复杂的推理任务,在CLEVR数据集上实现了99.8%的准确率。第二,该模型具有更高的数据和内存效率:它在少量训练数据上学习后表现良好;它还可以将图像编码为紧凑的表示,比现有的离线问答方法需要更少的存储空间。第三,符号程序的执行为推理过程提供了完全的透明性;因此我们能够解释和诊断每个执行步骤。
2019-01-14 cs.AI cs.CL cs.CV
Neural-Symbolic Integration: A Compositional Perspective
Samsung Research(三星研究院);Open University of Cyprus(塞浦路斯开放大学);Research Center on Interactive Media, Smart Systems, and Emerging Technologies(互动媒体、智能系统与新兴技术研究中心)
尽管神经符号框架的发展取得了重大进展,但如何以\emph{compositional}的方式整合神经系统和符号系统的问题仍然是开放的。我们的工作旨在填补这一空白,将这两个系统视为黑盒子,作为模块集成到一个单一的体系结构中,而不对它们的内部结构和语义进行假设。相反,我们只期望每个模块公开某些方法来访问模块实现的函数:符号模块公开一个演绎方法来计算给定输入的函数输出,以及一个溯因方法来计算给定输出的函数输入;神经模块暴露用于在给定输入上计算函数的输出的演绎方法,以及在给定输入输出训练实例的情况下更新函数的归纳方法。然后,我们能够证明,一个符号模块--只要暴露演绎和溯因方法,就可以选择任何语法和语义--可以干净地与神经模块集成,并促进后者的有效训练,实现超过以前工作的经验性能。
2020-10-22 cs.AI cs.LG
The Emergent Symbolic Structure of Artificial Neural Networks
Yale University(耶鲁大学);Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学);Microsoft Research(微软研究院)
该研究发现神经网络内部表征隐含符号结构,可通过符号结构近似其向量表征,还能精准干预修改大型语言模型行为,为调和智能的符号概念与现代AI的向量本质提供了新途径。
2026-09-01 cs.AI cs.CL
SYNERGY: Building Task Bots at Scale Using Symbolic Knowledge and Machine Teaching
Microsoft Research(微软研究院);Iowa State University(爱荷华州立大学)
在本文中,我们探索了使用符号知识和机器教学来减少人类在构建神经任务机器人时的数据标记工作。我们提出了SYNERGY,一个混合学习框架,其中的任务机器人的开发分为两个步骤:(i)符号知识的神经网络:大量的模拟对话会话生成的基础上,特定于任务的符号知识表示为一个任务模式,包括对话流和面向任务的数据库。然后,预先训练的神经对话模型SOLOIST在模拟对话框上进行微调,以构建用于任务的机器人。(ii)神经学习:微调的神经对话模型通过机器教学不断完善,其中训练样本由人类教师与任务机器人交互生成。我们在四个对话任务上验证SYNERGY。实验结果表明,SYNERGY将特定于任务的知识映射到神经对话模型中,实现了更大的对话流多样性和覆盖率,并通过机器教学不断提高模型性能,从而展示了符号知识和机器教学的强大协同效应。
2021-10-21 cs.AI cs.CL
Controllable Neural Symbolic Regression
CSEM SA(瑞士电子与微技术中心);ETH Zürich(苏黎世联邦理工学院);Meta AI;Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(巴黎智能系统与机器人研究所)
针对现有神经符号回归无法利用用户先验知识的问题,提出NSRwH,将真实表达式的预期结构假设显式注入预测,提升准确率并控制表达式结构。
2023-04-20 cs.AI cs.LG
Unsupervised Neural-Symbolic Integration
The Australian E-Health Research Center, CSIRO(澳大利亚电子健康研究中心,澳大利亚联邦科学与工业研究组织)
符号一直被认为是人类智能的语言,而神经网络具有计算鲁棒性和处理噪声数据的优势。神经-符号的整合可以提供更好的学习和推理,同时通过符号知识的表示提供可解释性的手段。虽然以前的工作集中在有监督的前馈神经网络,很少有人做了无监督的同行。在本文中,我们展示了如何将符号知识集成到无监督神经网络。我们用不同形式的知识来描述我们的方法,包括用于DNA启动子预测的命题逻辑和用于理解家庭关系的一阶逻辑。
2017-06-22 cs.AI
Compositional Generalization via Neural-Symbolic Stack Machines
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
尽管取得了巨大的成功,但现有的深度学习模型已经暴露了组合泛化的局限性,即学习组合规则并以系统的方式将其应用于看不见的案例的能力。为了解决这个问题,我们提出了神经符号堆栈机(NeSS)。它包含一个神经网络来生成跟踪,然后由一个增强了序列操作操作的符号堆栈机执行。NeSS将神经序列模型的表达能力与符号堆栈机支持的递归相结合。在没有对执行轨迹进行训练监督的情况下,NeSS在四个领域实现了100%的泛化性能:语言驱动导航任务的SCAN基准测试、组合指令的少样本学习任务、组合机器翻译基准测试和上下文无关文法解析任务。
2020-10-22 cs.AI cs.LG stat.ML
Perform Like an Engine: A Closed-Loop Neural-Symbolic Learning Framework for Knowledge Graph Inference
Beihang University(北京航空航天大学);Hikvision Research Institute(海康威视研究院)
知识图谱(KG)推理旨在解决知识图谱的自然不完备性,包括基于规则学习的知识图谱模型和知识图谱嵌入模型。然而,基于规则学习的模型效率低,通用性差,而KGE模型缺乏可解释性。为了解决这些挑战,我们提出了一个新的和有效的闭环神经符号学习框架EngineKG通过结合我们开发的KGE和规则学习模块。KGE模块利用符号规则和路径来增强实体和关系之间的语义关联,以提高KG的嵌入性和可解释性。在规则学习模块中提出了一种新的规则剪枝机制,以路径为初始候选规则,采用KG嵌入和概念相结合的方法来提取更高质量的规则。在四个真实数据集上的实验结果表明,我们的模型在链接预测任务上优于相关基线,证明了我们的KG推理模型在神经符号学习方式上的优越性。
2022-08-21 cs.AI cs.CL
Symbolic Branch Networks: Tree-Inherited Neural Models for Interpretable Multiclass Classification
Independent Researcher(独立研究者)
符号分支网络通过继承决策树结构实现多类分类的可解释性,结合符号结构与神经优化提升预测性能。
2026-11-17 cs.AI cs.LG
A short Survey: Exploring knowledge graph-based neural-symbolic system from application perspective
University of Toronto(多伦多大学)
本文从应用视角综述基于知识图谱的神经符号集成,按Symbol for Neural、Neural for Symbol与混合集成三类梳理进展,并展望未来方向。
2025-02-18 cs.AI
OrthoReg: Orthogonal Regularization for Hybrid Symbolic-Neural Dynamical Systems
Technical University of Munich(慕尼黑技术大学);Helmholtz Munich(海德堡-慕尼黑医学中心)
针对混合建模中神经部分可能重复学习符号结构导致模型冗余的问题,提出正交正则化方法OrthoReg,直接惩罚符号与神经组件间的重叠,实现互补分解,提升符号恢复和分布外行为。
2026-07-07 cs.AI cs.LG cs.SY
Neuro-Symbolic Decoding of Neural Activity
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
NEURONA通过结合符号推理与fMRI基础,提升神经活动解码的准确性和泛化能力。
2026-02-22 cs.AI cs.LG q-bio.NC
NeuroSymActive: Differentiable Neural-Symbolic Reasoning with Active Exploration for Knowledge Graph Question Answering
University of Macau(澳门大学);University of Chinese Academy of Sciences(中国科学院大学);The Australian National University(澳大利亚国立大学);Juntendo University(静冈大学);Guangdong Institute of Intelligence Science and Technology(广东智能科学与技术研究院);Central South University(中南大学);Southeast University(东南大学);China Agricultural University(中国农业大学);Adelaide University(阿德莱德大学)
NeuroSymActive结合可微神经符号推理层和主动探索控制器,通过软统一流程模块和神经路径评估器提升知识图谱问答的准确性和效率。
2026-07-29 cs.AI cs.CL
Empirical Investigation of Neural Symbolic Reasoning Strategies
Tohoku University(东北大学);Langsmith, Inc.(Langsmith公司);RIKEN(理化学研究所)
当生成中间推理步骤时,神经推理准确性提高。然而,这种改善的来源尚不清楚。在这里,我们调查和分解的好处,产生符号推理的中间步骤。具体来说,我们分解的推理策略w.r.t.步骤粒度和链接策略。对于纯符号数值推理数据集(例如,A=1,B=3,C=A+3,C?),我们发现推理策略的选择显著地影响性能,随着外推长度变长,差距变得更大。令人惊讶的是,我们还发现,某些配置导致几乎完美的性能,即使在长度外推的情况下。我们的研究结果表明,进一步探索有效的策略神经推理模型的重要性。
2023-02-16 cs.AI cs.CL
Neural, Symbolic and Neural-Symbolic Reasoning on Knowledge Graphs
Renmin University of China(中国人民大学)
知识图谱推理是支持信息抽取、信息检索和推荐等机器学习应用的基本组成部分。由于知识图谱可以被看作是知识的离散符号表示,因此知识图谱上的推理可以自然地利用符号技术。然而,符号推理是不容忍的歧义和噪音的数据。相反,深度学习的最新进展促进了知识图谱上的神经推理,这对模糊和噪声数据具有鲁棒性,但与符号推理相比缺乏可解释性。考虑到这两种方法的优点和缺点,最近的努力已经取得了这两种推理方法相结合。在这篇综述中,我们深入研究了知识图谱上的符号推理、神经推理和混合推理的发展。我们调查两个具体的推理任务,知识图完成和知识图谱上的问答,并解释他们在一个统一的推理框架。我们还简要讨论了知识图谱推理的未来发展方向。
2021-03-31 cs.AI cs.LO