Learning First-Order Rules with Differentiable Logic Program Semantics
Peking University(北京大学);National Institute of Informatics(国立信息学研究所);Guangzhou University(广州大学)
从关系事实中学习一阶逻辑程序(LP),从而产生对数据的直观见解是神经符号研究中的一个具有挑战性的课题。本文提出了一种新的可微归纳逻辑程序设计(ILP)模型,称为可微一阶规则学习器(DFOL),它通过搜索LP的可解释矩阵表示,从关系事实中找到正确的LP。这些可解释的矩阵被认为是神经网络(NN)中的可训练张量。神经网络是根据LP的可微语义设计的。具体来说,我们首先采用了一种新的命题化方法,将事实转移到NN可读的向量对表示解释对。我们取代了直接后果运营商与NN约束函数组成的代数运算和S形的激活函数。我们映射到NN约束函数的符号前向链格式的LP子符号向量表示的原子之间的操作。通过应用梯度下降,神经网络的训练好的参数可以解码成精确的符号LP在前向链逻辑格式。我们证明了DFOL可以在几个标准的ILP数据集,知识库和概率关系事实上执行,并优于几个著名的可微ILP模型。实验结果表明,DFOL是一个精确的,鲁棒的,可扩展的,计算成本低的可微ILP模型。
2022-04-28 cs.AI
Differentiable Logic Cellular Automata: From Game of Life to Pattern Generation
Google, Paradigms of Intelligence Team(谷歌,智能范式团队)
本文提出可微逻辑元胞自动机(DiffLogic CA),将可微逻辑门网络与神经细胞自动机结合,在保持离散推理的同时实现端到端梯度训练,成功学习生命游戏规则并完成多种图案生成任务。
2025-06-05 cs.AI
Differentiable Logic Programming for Distant Supervision
National Institute of Informatics(信息学研究所)
提出一种在NeSy中将神经网络与逻辑编程集成的可微方法,通过矩阵嵌入评估逻辑蕴含与约束,无需符号求解器推理缺失标签,在准确率和学习效率上均超越现有方法。
2024-08-25 cs.AI
Neuro-Symbolic Reinforcement Learning with First-Order Logic
IBM Research(IBM研究院)
深度强化学习(RL)方法在收敛之前通常需要多次试验,并且不提供训练策略的直接可解释性。为了实现快速收敛和可解释的策略在强化学习,我们提出了一种新的基于文本的游戏强化学习方法与最近的神经符号框架称为逻辑神经网络,它可以学习符号和可解释的规则在其可微网络。该方法首先从文本观察和外部词义网络(ConceptNet)中提取一阶逻辑事实,然后在网络中用可直接解释的逻辑算子训练策略。我们的实验结果表明,在TextWorld基准测试中,使用该方法进行RL训练的收敛速度明显快于其他最先进的神经符号方法。
2021-10-21 cs.AI cs.CL cs.LG
Quantum Long Short-term Memory with Differentiable Architecture Search
Wells Fargo(沃克斯·福杰公司);School of Information Technology, Halmstad University(信息科技学院,哈姆斯塔德大学)
本文提出DiffQAS-QLSTM,通过端到端可微架构搜索同时优化变分量子电路参数与结构,在多种测试中优于手工基线,推动可扩展自适应量子序列学习。
2025-08-20 cs.AI cs.ET cs.LG
Inductive Logic Programming via Differentiable Deep Neural Logic Networks
Georgia Institute of Technology(佐治亚理工学院)
提出了一种新的范式,通过深度递归神经网络解决归纳逻辑程序设计(ILP)问题。这个建议的ILP求解器的设计基础上,通过正向链接的演绎微分实现。与以往的大多数方法不同,本文通过引入一种新的可微神经逻辑(dNL)网络,直接学习符号逻辑谓词规则,而不是使用一些限制性规则模板搜索可能的一阶逻辑规则空间。所提出的dNL网络能够以显式的方式有效地学习和表示布尔函数。我们表明,建议的dNL-ILP求解器支持理想的功能,如递归和谓词发明。此外,我们研究了所提出的ILP求解器在涉及基准关系数据集的分类任务中的性能。特别是,我们表明,我们提出的方法在Mutagenesis,Cora和IMDB数据集的分类任务中优于最先进的ILP求解器。
2019-06-08 cs.AI cs.LO
Differentiable Inductive Logic Programming for Structured Examples
Kyoto University(京都大学);NTT Communication Science Laboratories(NTT通信科学实验室)
逻辑的可微分实现产生了符号推理和深度神经网络的无缝组合。最近的研究,开发了一个可微的框架来学习逻辑程序的例子,甚至可以获得合理的解决方案,从嘈杂的数据集。然而,这个框架严重限制了解决方案的表达,例如,不允许使用函数符号,子句的形状是固定的。因此,该框架不能处理结构化的示例。因此,我们提出了一个新的框架,学习逻辑程序从嘈杂和结构化的例子,包括以下贡献。首先,我们提出了一种自适应子句搜索方法,通过结构化的空间,这是由条款的一般性定义,以产生一个有效的搜索空间可微求解器。其次,我们提出了地面原子的枚举算法,它确定了一个必要的和充分的地面原子执行可微推理功能。最后,我们提出了一种新的软组织逻辑程序的方法,使系统能够处理由多个子句组成的复杂程序。我们的实验表明,我们的新框架可以从有噪和结构化的示例(例如序列或树)中学习逻辑程序。我们的框架可以扩展到处理复杂的程序,包括几个条款的功能符号。
2021-03-02 cs.AI cs.LG
Differentiable Probabilistic Logic Networks
SingularityNET Foundation(SingularityNET基金会);ITMO University(ITMO大学)
概率逻辑推理是OpenCog等认知架构的核心组件。然而,作为一个综合架构,OpenCog通过混合不同的推理方法促进认知协同。在本文中,我们介绍了一个可微版本的概率逻辑网络,规则操作张量真值的方式,一个链的推理步骤构建一个计算图的张量,接受真值的前提知识库作为输入,并产生真值的结论作为输出。这允许通过结合子符号优化和符号推理的反向传播来学习前提的真值和规则的公式(以具有可训练权重的形式指定)。
2019-07-10 cs.AI cs.LO
logLTN: Differentiable Fuzzy Logic in the Logarithm Space
Sony AI(索尼人工智能研究所);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出logLTN,一种在对数空间中端到端grounding公式的可微模糊算子配置,通过新颖的语义和优化改进,在有效性、数值稳定性和泛化能力上超越了现有方法。
2023-06-26 cs.AI
A Method for Optimizing Connections in Differentiable Logic Gate Networks
我们提出一种部分优化深度可微分逻辑门网络连接的方法,通过概率分布选择连接,在多个基准上以更少门数超越固定连接网络,并展示完全可训练布尔逻辑的路径。
2025-07-08 cs.AI cs.LG
Exploring End-to-End Differentiable Natural Logic Modeling
Queen’s University(女王大学);Ingenuity Labs Research Institute(Ingenuity Labs研究院);iFLYTEK Research(科大讯飞研究院);State Key Laboratory of Cognitive Intelligence(认知智能全国重点实验室)
我们探索了端到端的训练可微模型,将自然逻辑与神经网络相结合,旨在保持基于自然逻辑形式主义的自然语言推理的骨干,同时引入子符号向量表示和神经组件。该模型采用模块网络来模拟自然的逻辑运算,并通过内存组件来增强对上下文信息的建模。实验结果表明,该框架可以有效地建模基于单调性的推理,相比之下,基线神经网络模型没有内置的基于单调性推理的归纳偏差。我们提出的模型是强大的,当从向上向下的推断。我们对所提出的模型在聚合上的性能进行了进一步的分析,显示了所提出的子组件在帮助实现更好的中间聚合性能上的有效性。
2020-11-08 cs.AI cs.CL
Logic of Differentiable Logics: Towards a Uniform Semantics of DL
Heriot-Watt University(赫瑞-瓦特大学)
针对现有可微逻辑(DL)种类繁杂、难以系统比较的问题,提出元语言LDL统一其句法与语义,可推导DL理论性质并支撑神经网络验证的实证研究。
2023-10-05 cs.AI cs.LG cs.LO
Differentiable Logic Programming to Mitigate Reasoning Shortcuts in Neurosymbolic Systems
研究神经符号系统易出现的推理捷径问题,提出基于矩阵的可微逻辑编程方法,通过统一编码规则和约束、连接模糊逻辑t-范数等减轻两种捷径类型,实验表明该方法能显著减少捷径,架构选择对减轻捷径起关键作用。
2026-07-24 cs.AI cs.LO
Differentiable Logics for Neural Network Training and Verification
Heriot-Watt University(赫瑞-瓦特大学)
近年来,神经网络(NN)的日益普及及其在现实世界应用中的日益普及引起了人们对其验证的重要性的关注。虽然验证是已知的计算困难的理论,许多技术已经提出了解决它在实践中。在文献中已经观察到,默认情况下,神经网络很少满足我们想要验证的逻辑约束。一个很好的行动过程是在验证它们之前训练给定的NN以满足所述约束。这个想法有时被称为持续验证,指的是训练和验证之间的循环。通常,通过指定将给定形式逻辑语言翻译成损失函数来实现具有约束的训练。这些损失函数然后被用于训练神经网络。因为出于训练目的,这些函数需要是可微的,所以这些转换被称为可微逻辑(DL)。这就提出了几个研究问题。什么样的可微逻辑是可能的?在持续验证的背景下,DL的特定选择有什么不同?从所得到的损失函数的角度来看,DL的理想标准是什么?在这篇扩展摘要中,我们将讨论并回答这些问题。
2022-07-14 cs.AI cs.LG cs.LO
Quantum Circuit Reasoning Models: A Variational Framework for Differentiable Logical Inference
UC Berkeley, School of Information(伯克利大学信息学院)
量子电路推理模型通过变分框架实现可微逻辑推理,将量子力学操作映射到推理原语,用于科学、生物医学和化学领域的推理任务。
2025-11-26 cs.AI quant-ph
ANDRE: An Attention-based Neuro-symbolic Differentiable Rule Extractor for Inductive Logic Programming
Dept. of Mechanical and Aerospace Engineering, George Washington University, USA(机械与航空航天工程系,乔治华盛顿大学);Dept. of Mechanical Engineering Sciences, University of Surrey, UK(机械工程科学系,萨里大学)
提出ANDRE框架,通过注意力驱动的可微逻辑算子优化连续规则空间,实现从概率数据中学习一阶逻辑规则,在噪声环境下保持鲁棒性和可解释性。
2026-05-31 cs.AI cs.LG cs.LO
DeepLogic: Towards End-to-End Differentiable Logical Reasoning
Imperial College London(帝国理工学院)
将机器学习与基于逻辑的专家系统相结合,以获得两个世界的最佳效果,正变得越来越流行。然而,机器学习在多大程度上可以学习基于规则的知识进行推理仍然是一个悬而未决的问题。在本文中,我们将探讨如何符号逻辑,定义为逻辑程序在字符级别,学习表示在一个高维向量空间使用基于RNN的迭代神经网络进行推理。我们创建了一个新的数据集,定义了12类逻辑程序,举例说明增加了逻辑推理的复杂性,并以端到端的方式对网络进行训练,以了解逻辑程序是否需要给定的查询。我们分析了如何学习推理算法产生的原子,文字和规则的表示在逻辑程序和评估对增加长度的谓词和常量符号,以及增加多跳推理的步骤。
2019-03-07 cs.AI cs.LO cs.NE
Differentiable Inductive Logic Programming in High-Dimensional Space
Czech Academy of Sciences Institute of Computer Science(捷克科学院计算机科学研究所);University of Innsbruck(因斯布鲁克大学);University of Melbourne(墨尔本大学)
本文扩展 δILP,利用高维梯度下降实现大规模谓词发明,使可微归纳逻辑程序设计能在不预设解结构的情况下解决现有神经符号 ILP 系统无法完成的任务。
2025-01-08 cs.AI cs.LO
Comparing Differentiable Logics for Learning Systems: A Research Preview
Maynooth University(梅努斯大学);Hamilton Institute(汉密尔顿研究所)
本研究预览比较了多种可微分逻辑在弱监督学习中的应用,发现其能编码背景知识但引入难调超参数,影响模型有效性。
2023-11-16 cs.AI cs.LG cs.LO
Analyzing Differentiable Fuzzy Logic Operators
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Civic AI Lab, Amsterdam(阿姆斯特丹公民人工智能实验室)
人工智能社区越来越多地将注意力放在结合符号和神经方法上,因为人们经常认为这些方法的优点和缺点是互补的。文献中的一个最近的趋势是采用来自模糊逻辑的算子的弱监督学习技术。特别地,这些使用在这样的逻辑中描述的先验背景知识来帮助从未标记和噪声数据训练神经网络。通过使用神经网络解释逻辑符号,可以将这种背景知识添加到常规损失函数中,从而使推理成为学习的一部分。我们研究,正式和经验,如何从模糊逻辑文学的逻辑运算符的大集合表现在可微学习设置。我们发现,许多这些运营商,包括一些最知名的,是非常不适合在这种情况下。进一步的发现涉及这些模糊逻辑中蕴涵的处理,并且显示出由蕴涵的前件和后件驱动的梯度之间的强烈不平衡。此外,我们引入了一个新的家庭的模糊影响(称为sigmoidal影响),以解决这一现象。最后,我们经验表明,它是可能的,使用可微模糊逻辑的半监督学习,并比较不同的运营商在实践中的行为。我们发现,为了在监督基线上实现最大的性能改进,我们必须求助于在学习中表现良好的逻辑运算符的非标准组合,但不再满足通常的逻辑定律。
2021-08-24 cs.AI cs.LG cs.LO
Differentiable Modal Logic for Multi-Agent Diagnosis, Orchestration and Communication
Lawrence Berkeley National Lab(伯克利劳伦斯国家实验室);Berkeley(伯克利)
本文提出可微模态逻辑,通过神经符号方法实现多智能体系统的调试与协调,结合知识注入和多模态推理,提升智能体间的信任与因果推理能力。
2026-02-12 cs.AI cs.LO
Resource Constrained Dialog Policy Learning via Differentiable Inductive Logic Programming
Facebook(脸书)
针对资源受限的对话策略学习的需要,提出了基于可微归纳逻辑的对话策略。我们在SimDial和MultiWoZ上探索了使用DIRECT进行一次性学习和zero-shot域转移的任务。使用来自餐厅领域的单个代表性对话,我们在SimDial数据集上训练DIRECT,并获得99+%的域内测试准确度。我们还表明,训练的DIRECT zero-shot转移到所有其他领域的99+%的准确性,证明DIRECT插槽填充对话框的适用性。我们进一步将我们的研究扩展到MultiWoZ数据集,实现了90%以上的信息和成功指标。我们还观察到,这些指标没有捕捉到DIRECT在误报方面的一些缺点,这促使我们测量辅助Action F1分数。我们表明,DIRECT的数据效率比MultiWoZ上最先进的神经方法高出100倍,同时实现了类似的性能指标。最后,我们讨论了DIMENSIONAL的优点和缺点。
2020-11-10 cs.AI cs.CL
GLIDR: Graph-Like Inductive Logic Programming with Differentiable Reasoning
Georgia Institute of Technology(佐治亚理工学院)
提出GLIDR可微规则学习方法,通过可微消息传递算法支持分支和循环等复杂逻辑规则结构,在知识图谱补全任务上显著优于现有方法且能与神经网络端到端联合优化。
2025-08-08 cs.AI cs.LG cs.LO
Differentiable Fuzzy $\mathcal{ALC}$: A Neural-Symbolic Representation Language for Symbol Grounding
National Key Laboratory for Novel Software Technology, Nanjing University(计算机软件新技术全国重点实验室,南京大学)
神经符号计算旨在将强大的神经学习和合理的符号推理集成到一个框架中,以便利用这两种看似无关(甚至可能是矛盾的)AI范式的互补优势。神经-符号计算的核心挑战是将神经学习和符号推理的公式化统一到一个具有公共语义的单一框架中,也就是说,在神经模型和逻辑理论之间寻求一种联合表示,这种联合表示可以支持神经模型学习的基本基础,也可以坚持逻辑理论的语义。在本文中,我们提出了可微模糊$\mathcal{ALC}$(DF- $\mathcal{ALC}$)的这个角色,作为一个神经符号表示语言与所需的语义。DF- $\mathcal{ALC}$统一了描述逻辑$\mathcal{ALC}$和神经模型,用于符号基础;特别是,它通过可区分的概念和角色嵌入将$\mathcal{ALC}$知识库注入神经模型。我们定义了一个层次损失的约束,神经模型学习的接地必须与$\mathcal{ALC}$知识库的语义一致。我们发现,仅仅通过最大化可满足性来捕捉接地的语义并不能合理地修改接地。我们进一步定义了一个基于规则的DF适应符号接地问题的损失。实验结果表明,基于规则丢失的DF- $\mathcal{ALC}$能够以无监督学习的方式提高图像目标检测器的性能,即使在资源不足的情况下也能有效地提高检测器的性能。
2022-12-01 cs.AI
From MNIST to ImageNet: Understanding the Scalability Boundaries of Differentiable Logic Gate Networks
针对可微分逻辑门网络(DLGNs)仅在小类别数据集测试的局限,研究其在大型多类数据集上的表达能力与可扩展性,验证温度调优的作用及Group-Sum层在最多2000类分类任务中的应用条件。
2025-09-30 cs.AI cs.CV cs.LG
A Unified Differentiable Boolean Operator with Fuzzy Logic
Roblox(罗布乐思);University of British Columbia(不列颠哥伦比亚大学);Stanford University(斯坦福大学);University of Utah(犹他大学);McGill University(麦吉尔大学)
针对传统CSG布尔算子不连续、难优化的问题,提出基于模糊逻辑的统一可微布尔算子,可同时优化基元与运算,适配锐利与光滑形状建模,为全连续CSG优化提供新方向。
2024-07-15 cs.AI cs.GR cs.LG
SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
在深度学习架构中集成逻辑推理一直是现代AI系统的主要目标。在本文中,我们通过引入可微分(平滑)最大可满足性(MAXSAT)求解器来实现这一目标,该求解器可以集成到更大的深度学习系统的循环中。我们的(近似)求解器是基于一个快速的坐标下降的方法来解决半定规划(SDP)与MAXSAT问题。我们展示了如何通过这个SDP的解决方案来解析区分,并有效地解决相关的向后传递。我们证明,通过将此求解器集成到端到端学习系统中,我们可以以最小监督的方式学习具有挑战性的问题的逻辑结构。特别是,我们证明了我们可以使用单比特监督来学习奇偶校验函数(传统上对深度网络来说是一项艰巨的任务),并仅从示例中学习如何玩9x9数独。我们还解决了一个“视觉数独”的问题,映射图像的数独谜题,以其相关的逻辑解决方案相结合,我们的MAXSAT求解器与传统的卷积架构。因此,我们的方法在深度学习中集成逻辑结构方面表现出了希望。
2019-05-29 cs.AI cs.LG stat.ML
Polynomial Surrogate Training for Differentiable Ternary Logic Gate Networks
University of Maryland(马里兰大学)
多项式代理训练通过减少参数并提升训练效率,实现了对三分逻辑门网络的可微训练,提升了在不确定性下的预测准确性。
2026-02-27 cs.AI cs.LG cs.LO
Logi-PAR: Logic-Infused Patient Activity Recognition via Differentiable Rule
School of Computer Software, Tianjin University, China(天津大学软件学院)
Logi-PAR通过可微规则融合实现患者活动识别,首次将逻辑推理融入模型以生成可解释的活动分析和反事实干预。
2026-03-05 cs.AI cs.CV
Analyzing Differentiable Fuzzy Implications
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
结合符号和神经方法在人工智能社区中获得了相当大的关注,因为人们经常认为这些方法的优点和缺点是互补的。文献中的一个这样的趋势是弱监督学习技术,其采用来自模糊逻辑的算子。特别是,他们使用这种逻辑中描述的先验背景知识来帮助从未标记和噪声数据中训练神经网络。通过使用神经网络解释逻辑符号(或将其接地),可以将此背景知识添加到常规损失函数中,从而使推理成为学习的一部分。在本文中,我们研究如何从模糊逻辑文献的影响表现在可微设置。在这样的设置,我们分析这些模糊蕴涵的形式属性之间的差异。事实证明,各种模糊含义,包括一些最著名的,是非常不适合用于可微学习设置。进一步的发现表明,由前件驱动的梯度之间的强烈不平衡和后果的含义。此外,我们引入了一个新的家庭的模糊影响(称为sigmoidal影响),以解决这一现象。最后,我们的经验表明,这是可能的,使用可微模糊逻辑的半监督学习,并表明,sigmoidal的影响优于其他选择的模糊影响。
2020-06-04 cs.AI cs.LO stat.ML
Differentiable Inductive Logic Programming for Fraud Detection
University of Amsterdam(阿姆斯特丹大学);ILLC & IvI, University of Amsterdam(阿姆斯特丹大学ILLC与IvI研究院)
本研究探讨可微归纳逻辑编程(DILP)在欺诈检测中的适用性,通过数据整理提升其可用性,结果显示其性能与传统及新型方法相当,同时指出其局限、改进方向及递归规则学习等潜在优势场景。
2024-10-29 cs.AI cs.LG q-fin.RM
Differentiable Inference of Temporal Logic Formulas
Oregon State University(俄勒冈州立大学)
我们展示了第一个用于学习信号时序逻辑公式的递归神经网络架构,并首次系统地比较了公式推理方法。遗留系统中嵌入了大量的专家知识,这些知识没有被明确地形式化。人们对学习描述这种系统的理想行为的形式规范有很大的兴趣,即系统输出信号所满足的时态逻辑中的公式。这样的规范可以用来更好地理解系统的行为,并改进其下一次迭代的设计。以前的推理方法要么假设某些公式模板,要么对所有可能的模板进行启发式枚举。这项工作提出了一种神经网络架构,通过梯度下降推断公式结构,消除了对强加任何特定模板的需要。它将公式结构和参数的学习结合在一次优化中。通过系统的比较,我们证明了这种方法实现了类似或更好的错误分类率(MCR)比枚举和格方法。我们还观察到,不同的公式可以实现类似的MCR,实证证明了时间逻辑推理问题的不确定性。
2022-08-10 cs.AI cs.LG cs.LO
Differentiable Logic Gate Networks for Low-Latency EEG Classification on Edge Devices
The University of Winnipeg(温尼伯大学);University of Manitoba(曼尼托巴大学);University of Calgary(卡尔加里大学)
研究边缘设备上低延迟脑电图分类问题,提出可微逻辑门网络Diff-Logic,通过实验将其与MLP、BNN比较,结果表明Diff-Logic在痴呆筛查中表现优,推理时间稳定,确立其为资源受限脑机接口实用范式。
2026-07-21 cs.AI cs.LG
Learning Differentiable Logic Programs for Abstract Visual Reasoning
针对抽象视觉推理中一阶逻辑表达受限与内存开销大的问题,提出图基可微前向推理器NEUMANN及高效结构学习算法,并引入幕后视觉推理任务,实验表明其性能优于神经、符号及神经符号基线。
2025-07-04 cs.AI cs.CV cs.LG
Fully Trainable Deep Differentiable Logic Gate Networks and Lookup Table Networks
imec
该研究提出新方法优化深度可微逻辑门网络和查找表网络连接,利用概率分布选最优连接,并行学习门类型等。在多个基准测试中表现优于固定连接网络,减少门数量,确保多层训练稳定,还提出LUT神经元描述,提升模型性能。
2026-07-13 cs.AI cs.LG
A Scalable, Interpretable, Verifiable & Differentiable Logic Gate Convolutional Neural Network Architecture From Truth Tables
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
我们提出了$\mathcal{T}$ Ruth $\mathcal{T}$ able net($\mathcal{TT}$ net),一种新的卷积神经网络(CNN)架构,通过设计,解决了可解释性,形式化验证和逻辑门转换的开放挑战。$\mathcal{TT}$网络是使用CNN的过滤器构建的,这些过滤器相当于易处理的真值表,我们称之为学习真值表(LTT)块。LTT块的对偶形式允许使用梯度下降轻松训练真值表,并使这些CNN易于解释、验证和推断。具体而言,$\mathcal{TT}$网是一种深度CNN模型,在训练后转换之后,可以自动表示为布尔决策树的总和,或表示为析取/合取范式(DNF/CNF)公式的总和,或表示为紧凑的布尔逻辑电路。我们证明了$\mathcal{TT}$网在多个数据集上的有效性和可扩展性,与最先进的方法相比,具有与决策树相当的可解释性,快速完整/健全的形式化验证和可扩展的逻辑门表示。我们相信这项工作代表了使CNN在现实世界的关键应用中更加透明和值得信赖的一步。
2023-02-02 cs.AI cs.FL cs.LG
Learn to Explain Efficiently via Neural Logic Inductive Learning
Georgia Institute of Technology(佐治亚理工学院)
做出可解释和自我解释的决策的能力对于开发负责任的机器学习系统至关重要。本文在归纳逻辑程序设计(ILP)的范围内研究了解释问题的学习。我们提出了神经逻辑归纳学习(NLIL),一个有效的可微ILP框架,学习一阶逻辑规则,可以解释数据中的模式。在实验中,与最先进的方法相比,我们发现NLIL可以搜索x10倍长的规则,同时保持x3倍的速度。我们还表明,NLIL可以扩展到大型图像数据集,即视觉基因组,1M实体。
2020-02-18 cs.AI
Evaluating Relaxations of Logic for Neural Networks: A Comprehensive Study
University of Utah(犹他大学)
符号知识可以为训练神经模型提供关键的归纳偏差,特别是在低数据状态下。一个成功的策略,将这些知识包括放松逻辑语句到次微分损失的优化。在本文中,我们研究的问题,如何最好地放松逻辑表达式,代表标记的例子和知识的问题,我们专注于次可微的t-范数松弛的逻辑。我们提出的理论和经验标准,表征放松将在各种情况下表现最好。在我们的理论研究的目标,保持重言式,Lukasiewicz t-范数表现最好。然而,在我们对文本组块和数字识别任务的实证分析中,乘积t范数具有最佳的预测性能。我们分析了这种明显的差异,并总结了一系列通过逻辑定义损失函数的最佳实践。
2021-07-28 cs.AI cs.LG
Universal Reasoning, Rational Argumentation and Human-Machine Interaction
University of Luxemburg(卢森堡大学);Freie Universität Berlin(柏林自由大学)
经典高阶逻辑,当被用作元逻辑时,其中各种其他(经典和非经典)逻辑可以被浅嵌入,非常适合于实现通用逻辑推理方法。反过来,正如莱布尼茨所设想的那样,普遍逻辑推理可能支持机器内理性论证的严格形式化和深入逻辑分析。描述了相应的通用逻辑推理框架,并讨论了一系列示例性应用。在未来,通用逻辑推理与适当的、受控形式的理性论证相结合,可能会成为人类和智能机器之间的沟通层。
2017-03-28 cs.AI
End-to-End Differentiable Proving
University of Oxford(牛津大学);University College London(伦敦大学学院);Bloomsbury AI(布卢姆斯伯里人工智能公司)
我们介绍了神经网络的端到端的可微证明的查询知识库的操作上密集的矢量表示的符号。这些神经网络是通过从Prolog中使用的反向链接算法中获得灵感而递归地构造的。具体来说,我们取代符号统一与可微计算的符号向量表示使用径向基函数内核,从而结合符号推理与学习subsymbolic向量表示。通过使用梯度下降,得到的神经网络可以被训练为从给定的不完整的知识库中推断事实。它学习(i)在向量空间中紧密接近地放置相似符号的表示,(ii)利用这种相似性来证明查询,(iii)归纳逻辑规则,以及(iv)使用提供的和归纳的逻辑规则进行多跳推理。我们证明,这种架构优于COMPLEX,一个国家的最先进的神经链接预测模型,在四个基准知识库中的三个,而在同一时间诱导可解释的功能免费的一阶逻辑规则。
2017-12-04 cs.AI cs.LG cs.LO
A short note on the decision tree based neural turing machine
grusoft(格鲁软件)
图灵机和决策树独立发展了很长时间。近年来随着可微模型的发展,它们之间出现了交叉。神经图灵机(NTM)为记忆网络打开了大门。它采用微分注意力机制来读写外部存储体。可微森林给经典决策树带来了可微的性质。在这个简短的说明中,我们展示了这两个模型之间的深层联系。即:可微森林是NTM的一个特例。可区分森林实际上是基于决策树的神经图灵机。基于这种深层联系,我们提出了一个响应增强差分森林(RaDF)。RaDF的控制器是可微森林,外部存储器是响应向量,可由叶子节点读写。
2020-10-27 cs.AI cs.LG cs.NE
LGML: Logic Guided Machine Learning
University of Waterloo(滑铁卢大学)
我们介绍了逻辑引导机器学习(LGML),一种新的方法,共生结合机器学习(ML)和逻辑求解器的目标是从数据中学习数学函数。LGML由两个阶段组成,即学习阶段和具有校正反馈回路的逻辑阶段,使得学习阶段从输入数据学习符号表达式,并且逻辑阶段交叉验证学习的表达式与已知辅助真理的一致性。如果不一致,逻辑阶段将“反例”反馈给学习阶段。重复这个过程,直到学习的表达式与辅助真理一致。使用LGML,我们能够学习对应于勾股定理和正弦函数的表达式,与基于开箱即用的多层感知器(MLP)的方法相比,数据效率提高了几个数量级。
2021-03-29 cs.AI
HolStep: A Machine Learning Dataset for Higher-order Logic Theorem Proving
University of Innsbruck(因斯布鲁克大学);Google Research(谷歌研究院)
大型计算机可理解的证明由数百万个中间逻辑步骤组成。这些步骤中的绝大多数源自应用于中间目标的手动选择和手动引导的策略。到目前为止,机器学习通常还没有被用于过滤或生成这些步骤。在本文中,我们介绍了一个新的数据集的基础上高阶逻辑(HOL)的证明,开发新的机器学习为基础的定理证明策略的目的。我们在BSD许可证下公开提供此数据集。我们提出了各种机器学习任务,可以在这个数据集上执行,并讨论了它们的意义定理证明。我们还对一组适合任务的简单基线机器学习模型(包括逻辑回归、卷积神经网络和递归神经网络)进行了基准测试。我们的基线模型的结果表明,应用机器学习HOL定理证明的承诺。
2017-03-01 cs.AI
Reduced Implication-bias Logic Loss for Neuro-Symbolic Learning
Nanjing University(南京大学)
本文针对神经符号学习中模糊逻辑算子引起的蕴含偏差,提出减少蕴含偏差的逻辑损失(RILL),通过转换损失函数提升性能,尤其在知识库不完整和标注数据不足时表现更稳健。
2023-09-25 cs.AI cs.LG cs.LO
dPASP: A Comprehensive Differentiable Probabilistic Answer Set Programming Environment For Neurosymbolic Learning and Reasoning
Universidade de São Paulo(圣保罗大学)
本文提出 dPASP 框架,通过整合神经谓词、逻辑约束与区间值概率选择,在多种概率逻辑程序语义下实现可微神经符号推理与端到端学习,并提供易用的实现软件包。
2023-08-05 cs.AI cs.LG cs.LO
Open Problems in Differentiable Social Choice: Learning Mechanisms, Decisions, and Alignment
本文探讨了可微社会选择中的18个开放问题,研究如何将投票规则、机制和聚合过程作为可学习模型进行优化,揭示了经典公理在机器学习中的新应用。
2026-02-20 cs.AI cs.LG
PyReason: Software for Open World Temporal Logic
Arizona State University(亚利桑那州立大学)
神经符号推理的日益普及导致了各种形式的可微(即,模糊)一阶逻辑。我们介绍PyReason,一个基于广义注释逻辑的软件框架,它既可以捕获当前的可微逻辑队列,又可以进行时间扩展,以支持在有限时间内进行推理,并具有开放世界推理的能力。此外,PyReason被实现为直接支持对图形结构的推理(例如,知识图谱、社交网络、生物网络等),产生完全可解释的推理痕迹,并包括各种实用功能,如类型检查和内存效率的实现。本文回顾了各种扩展的广义注释逻辑集成到我们的实现,我们的现代,高效的基于Python的实现,进行精确但可扩展的演绎推理,和一套实验。PyReason可以在github.com/lab-v2/pyreason上找到。
2023-03-04 cs.AI cs.LO cs.PL
Neural Field Turing Machine: A Differentiable Spatial Computer
本研究提出可微架构神经场图灵机(NFTM),结合神经控制器、连续记忆场与可移动读写头,实现线性扩展且保持图灵完备性,在元胞自动机模拟、PDE求解和图像修复任务中验证了其长时稳定推演与泛化能力,为统一离散算法与连续场动力学提供了计算基底。
2025-08-27 cs.AI cs.NE
Interpretable and Explainable Logical Policies via Neurally Guided Symbolic Abstraction
Technical University of Darmstadt(达姆施塔特工业大学);National Research Center for Applied Cybersecurity(国家应用网络安全研究中心);Eindhoven University of Technology(埃因霍温理工大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);German Research Center for AI (DFKI)(德国人工智能研究中心)
本文提出NUDGE框架,通过神经引导的可微逻辑规则搜索,构建兼具可解释性与可说明性的策略,其性能优于纯神经网络且适应不同环境规模。
2023-10-25 cs.AI cs.CL cs.LG
diffSPH: Differentiable Smoothed Particle Hydrodynamics for Adjoint Optimization and Machine Learning
Technical University Munich(慕尼黑技术大学)
本研究提出基于PyTorch的GPU加速开源可微SPH框架diffSPH,支持多类流体物理求解,可用于粒子偏移优化、参数优化等多种CFD场景,为伴随优化与ML应用提供基础平台。
2025-07-29 cs.AI cs.LG physics.flu-dyn
Logic Locking at the Frontiers of Machine Learning: A Survey on Developments and Opportunities
RWTH Aachen University(亚琛工业大学)
在过去的十年中,在逻辑锁定的设计和评估方面取得了很大的进展;这是一种在整个电子供应链中保护集成电路完整性的首要技术。然而,机器学习的广泛普及最近引入了一种评估逻辑锁定方案的新途径。本文综述了逻辑锁攻击的最新进展和当代机器学习模型前沿的对策。基于所提出的工作,重点外卖,机遇和挑战,提供下一代逻辑锁定的设计建议。
2021-11-23 cs.AI cs.CR
Mirrored Language Structure and Innate Logic of the Human Brain as a Computable Model of the Oracle Turing Machine
Weimingbosi Corporation(未名博思公司);PKU Biocity(北大生物城)
本文提出了一种可计算Oracle图灵机模型的镜像语言结构(MLS)和由该结构确定的四条逻辑规则。MLS具有相当大的生物学和计算意义的新功能。提出了一种关系学习与识别(RLR)算法,使确定性计算机能够模拟Oracle图灵机的机制,即数学术语中的P = NP。
2010-06-12 cs.AI cs.LO
Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory
University of Geneva(日内瓦大学);Geneva School of Business Administration, HES-SO(日内瓦高等商业学院(瑞士西部高等专业学院));Apple(苹果公司);Deepmind(深度思维)
情景记忆和语义记忆是人类记忆模型的重要组成部分。互补学习系统理论(McClelland et al.,1995)提出,由一系列事件产生的压缩表征(情景记忆)随后被重构,以构建更普遍形式的可重用知识(语义记忆)。在这项工作中,我们开发了一个新的原则贝叶斯记忆分配方案,通过分层潜变量模型的桥梁情节和语义记忆之间的差距。我们从传统的堆分配的灵感,并扩展本地连续内存的思想Kanerva机,使一个新的可微块分配的潜在内存。与Kanerva机器相比,我们简化了内存写入的过程,将其视为一个完全前馈的确定性过程,依靠随机性的读取密钥分布来分散内存中的信息。我们证明了这种分配方案提高了内存条件图像生成的性能,在二值化MNIST(<=41.58 nats/image),二值化Omniglot(<=66.24 nats/image)上产生了新的最先进的条件似然值,并在CIFAR 10,DMLab迷宫,Celeb-A和ImageNet 32 x32上表现出竞争力。
2022-02-07 cs.AI cs.CV cs.LG
Efficient data transport over multimode light-pipes with Megapixel images using differentiable ray tracing and Machine-learning
Microsoft Research(微软研究院)
针对多模光纤图像解码计算复杂度高的问题,提出结合可训练光线追踪数字孪生体与U-Net的方法,用基于冯·米塞斯分布的可微互信息估计器端到端训练,实现66 kB数据高效恢复,性能优于本征模方案。
2023-08-24 cs.AI cs.CV physics.optics