Representing Meaning with a Combination of Logical and Distributional Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
NLP任务在它们所需的语义信息方面有所不同，并且此时没有单一的语义表示满足所有要求。基于逻辑的表征表征句子结构，但不捕获意义的分级方面。分布模型为单词和短语提供分级的相似性评级，但不像基于逻辑的方法那样详细地捕获句子结构。因此，有人认为两者是互补的。我们采用了一种混合的方法，结合了基于逻辑和分布式语义通过概率逻辑推理马尔可夫逻辑网络（MLNs）。在本文中，我们集中在一个实际的系统集成逻辑和分布式模型的三个组成部分：1）解析和任务表示是基于逻辑的部分，其中输入问题表示在概率逻辑。这与用标准的一阶逻辑表示它们是完全不同的。2)对于知识库的建设，我们形成加权推理规则。我们整合和比较分布信息与其他来源，特别是WordNet和现有的释义收集。特别是，我们使用我们的系统来评估分布式词汇蕴涵方法。我们使用一个变种的罗宾逊决议，以确定必要的推理规则。通过将它们映射到逻辑规则，可以轻松地添加更多的源;我们的系统学习特定于资源的权重，以纠正资源之间的缩放差异。3)在讨论概率推理时，我们展示了如何有效地解决推理问题。为了评估我们的方法，我们使用文本蕴涵（RTE）的任务，它可以利用基于逻辑和分布表示的优势。特别是，我们专注于SICK数据集，在那里我们实现了最先进的结果。
2016-06-08 cs.CL
A CCG-based Compositional Semantics and Inference System for Comparatives
Ochanomizu University（御茶水女子大学）
比较结构在自然语言推理中起着重要的作用。然而，由于比较句句法结构和推理模式的复杂性，从计算角度研究比较句的语义表征和逻辑推理的尝试还没有得到很好的发展。在这项研究中，使用组合范畴语法（CCG）的基础上的框架，我们提出了一个组合语义，映射在英语中的各种比较结构的语义表示，并引入了一个推理系统，有效地处理逻辑推理与比较，包括那些涉及数字形容词，反义词，和量化。我们评估我们的系统的性能FraCaS测试套件，并表明该系统可以处理各种复杂的逻辑推理与比较。
2019-10-02 cs.CL
NatLogAttack: A Framework for Attacking Natural Language Inference Models with Natural Logic
Ingenuity Labs Research Institute（Ingenuity Labs 研究院）
提出基于自然逻辑的对抗攻击框架 NatLogAttack，通过生成保留和翻转标签的对抗样本，揭示自然语言推理模型的脆弱性，为评估其真实推理能力提供新视角。
2024-10-11 cs.CL
MonaLog: a Lightweight System for Natural Language Inference Based on Monotonicity
Indiana University（印第安纳大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
提出了一种新的基于逻辑的自然语言推理机MonaLog。与现有的基于逻辑的方法相比，我们的系统被故意设计为尽可能轻量级，并使用一小部分关于量词，词汇项和标记级极性信息的众所周知的（表面级）单调性事实进行操作。尽管它的简单性，我们发现我们的方法是有竞争力的其他基于逻辑的NLI模型的SICK基准。我们还将MonaLog与当前最先进的模型BERT结合使用，用于各种设置，包括组合数据增强。我们表明，MonaLog能够为BERT生成大量高质量的训练数据，提高其在SICK上的准确性。
2019-10-19 cs.CL
NeuralLog: Natural Language Inference with Joint Neural and Logical Reasoning
Rose-Hulman Institute of Technology（罗斯-霍曼理工学院）；Indiana University（印第安纳大学）
基于深度学习（DL）的语言模型在自然语言推理（NLI）的各种基准测试中实现了高性能。在这个时候，象征性的方法NLI受到较少的关注。这两种方法（符号和DL）都有其优点和缺点。然而，目前，没有方法将它们结合在一个系统中来解决NLI的任务。为了融合符号学习和深度学习方法，我们提出了一个名为NeuralLog的推理框架，它利用基于单调性的逻辑推理引擎和神经网络语言模型进行短语对齐。我们的框架模型的NLI任务作为一个经典的搜索问题，并使用束搜索算法搜索最佳推理路径。实验表明，我们的联合逻辑和神经推理系统提高了NLI任务的准确性，并可以在SICK和MED数据集上达到最先进的准确性。
2021-06-10 cs.AI cs.CL
ÆTHEL: Automatically Extracted Typelogical Derivations for Dutch
Utrecht University（乌得勒支大学）；CNRS（法国国家科学研究中心）
我们提出了一个语义组合数据集的书面荷兰语。《巴塞尔公约》由两部分组成。首先，它包含了一个字典的supertags约90万字的上下文中。超标记对应于简单类型线性代数演算的类型，增强了依赖性装饰，捕获补充函数-论元结构的语法角色。在这些类型的基础上，WARTHEL进一步提供了72192个有效的推导，以四种格式呈现：自然演绎和序列式证明，线性逻辑证明网和相关的程序（lambda术语）的意义组合。通过对荷兰语书面语的金标准语料库LASSY Small进行句法分析，利用提取算法得到了AZTHEL的类型和派生词。我们讨论的提取算法，并显示如何“虚拟元素”在原来的LASSY注释的无界依赖关系和协调现象产生高阶类型。我们提出了一些示例用例，突出了类型驱动方法在语法语义接口上的好处。以下资源是由CITTHEL开源的：单词和类型之间的词法映射，由7924个语义解析组成的数据集子集，以及实现提取算法的Python代码。
2020-03-06 cs.CL
FSLI: An Interpretable Formal Semantic System for One-Dimensional Ordering Inference
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
FSLI将自然语言排序推理转化为一阶逻辑，通过基于组合语义的解析算法和约束逻辑编程实现可解释的符号演绎，在BIG-bench上达100%准确率并优于LLM基线。
2025-09-19 cs.CL cs.LO
Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic
Johns Hopkins University（约翰斯·霍普金斯大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Arizona（亚利桑那大学）
针对分解式文本推理缺乏明确判定协议导致的数据集噪声、性能受限问题，提出有理论依据的分解式蕴含标注方法，构建内部一致性提升9%的RDTE数据集，结合知识蒸馏训练的分类器可有效提升蕴含树推理的准确率与证明质量。
2024-08-12 cs.AI cs.CL
Understanding as No-Arbitrage: Bounded Dutch Books as a Definition and Training Objective for Language Models
本文提出以无套利定义语言模型理解，通过有界荷兰赌量化逻辑不一致性，并引入Arbitr训练框架显著降低模型的可利用性，同时揭示缩放错觉，表明一致性是知识必要但非充分条件。
2026-10-01 cs.AI cs.CL cs.LG
Proceedings End-to-End Compositional Models of Vector-Based Semantics
基于向量语义的端到端组合模型研讨会于2022年8月15日和16日在NUI Galway举行，作为第33届欧洲逻辑，语言和信息暑期学校（ESSLLI 2022）的一部分。该研讨会由研究项目“基于向量的语义建模与荷兰本地化的组合演算”（荷兰研究委员会360-89-070，2017-2022）赞助。讲习班方案由两部分组成，第一部分报告上述项目的成果，第二部分包括就相关方法提交的论文。本卷收集了投稿论文和特邀演讲的摘要。
2022-08-10 cs.CL
Learning Phonotactics Using ILP
Alfa-Informatica（阿尔法信息学研究所）
本文描述了使用归纳逻辑程序设计，一个机器学习学科的基础上归纳逻辑运算符学习荷兰语音位规则的实验。两种不同的方法来解决这个问题进行了实验，并相互比较，以及与相关的工作任务。结果表明，背景知识和构建的理论的质量和信息之间的直接对应关系，证明了ILP的能力，以充分利用现有的领域知识。进一步的研究进行了概述。
2007-08-11 cs.CL
Dutch Books for Language Models
MIT（麻省理工学院）；NBER（美国国家经济研究局）；University of Chicago（芝加哥大学）
本文基于德菲内蒂定理构建流程，以股票收益数据生成的事件为样本，用线性规划计算最大荷兰赌利润衡量语言模型概率预测的自洽性，发现其存在大量自洽性不足的情况，并探讨了改善策略。
2026-09-03 cs.AI cs.CL cs.LG
Variational Inference for Logical Inference
功能分布语义学是一个旨在从文本中学习可以用真理来解释的语义表示的框架。在这里，我们对这个框架做了两个贡献。第一个是展示如何通过评估条件概率来执行一种类型的逻辑推理。第二是使这些计算易于处理的变分近似的手段。这种近似还可以在训练过程中实现更快的收敛，使我们能够在评估语义相似性时缩小与最先进的向量空间模型的差距。我们在两项任务上表现出了良好的性能。
2017-09-01 cs.CL
Probabilistic Constraint Logic Programming. Formal Foundations of Quantitative and Statistical Inference in Constraint-Based Natural Language Processing
在这篇论文中，我们提出了两种方法，在基于约束的自然语言处理中，为定量和统计推理建立严格的数学和算法基础。第一种方法，称为定量约束逻辑编程，是概念化的一个明确的逻辑框架，并提出了一个健全的和完整的定量推理系统的主观权重注释的确定条款。这种方法结合了严格的形式语义的定量推理的基础上，有效的基于权重的修剪约束为基础的系统的主观权重。第二种方法，称为概率约束逻辑编程，在约束逻辑程序的证明树上引入对数线性概率分布，以及用于从不完整的概率模型中统计推断这种概率模型的参数和属性的算法，即，未解析数据。将证明树的任意性质定义为对数线性概率模型的性质并有效地估计它们的适当参数值的可能性允许在约束逻辑程序中对任意上下文依赖性进行概率建模。这些想法的有用性进行评估经验上的小规模实验，找到正确的解析基于约束的语法。此外，我们解决的问题，计算的预期在推理任务中的计算棘手，并提出了各种技术来近似解决这个任务。此外，我们提出了一个近似的启发式技术，搜索概率约束逻辑程序中的最可能的分析。
2000-08-30 cs.CL
Enhancing Retrieval Systems with Inference-Time Logical Reasoning
MIT（麻省理工学院）；Center for Advanced AI, Accenture（埃森哲高级人工智能中心）
针对传统检索方法难以处理含逻辑结构复杂查询的问题，本文提出推理时逻辑推理框架，通过提取查询逻辑结构组合余弦相似度得分，在保证效率的同时显著提升复杂查询检索性能。
2025-03-22 cs.CL
Implementing a Logical Inference System for Japanese Comparatives
The University of Tokyo（东京大学）；Riken（理化学研究所）
本文提出基于组合语义的日语比较级逻辑推理系统ccg-jcomp，通过在日语NLI数据集上与现有LLMs比较准确率，验证了其有效性。
2025-09-17 cs.CL
We Hebben Een Serieus Translatie: Modeling Intercomprehension as Probabilistic Inference
研究如何实现零样本跨语言理解，通过扩展噪声信道推理算法模型，在贝叶斯框架下建模互理解，用L1语言模型和通用噪声模型推断L2与L1单词映射，实验表明完整模型性能优于消融模型及大模型零样本提示。
2026-07-15 cs.CL
PLOG: Table-to-Logic Pretraining for Logical Table-to-Text Generation
Tokyo Institute of Technology（东京工业大学）；Microsoft Research（微软研究院）
逻辑表到文本生成是一项涉及从表中生成逻辑上忠实的句子的任务，这需要模型通过逻辑推理从表记录中导出逻辑级事实。它对表到文本模型的逻辑级内容规划提出了新的挑战。然而，由于自然语言的模糊性和并行数据的稀缺性，直接从表-文本对中学习逻辑推理知识对于神经模型来说是非常困难的。因此，即使是大规模的预先训练的语言模型也会在逻辑表到文本上表现出低逻辑保真度。在这项工作中，我们提出了一个PLOG（预训练逻辑形式生成器）框架，以提高生成保真度。具体来说，PLOG首先在表到逻辑表单生成（表到逻辑）任务上进行预训练，然后在下游表到文本任务上进行微调。逻辑形式的形式化定义使我们能够在不需要人工标注的情况下从表格中收集大量准确的逻辑形式。此外，PLOG可以从表逻辑对学习逻辑推理比表文本对更明确。为了评估我们的模型，我们进一步收集了一个基于现有数据集的受控逻辑表到文本数据集CONTINUS。在两个基准测试LOGICNLG和CONTRACTOR上，PLOG在逻辑保真度上大幅优于强基线，证明了表到逻辑预训练的有效性。
2022-10-26 cs.CL
Leveraging LLMs for Hypothetical Deduction in Logical Inference: A Neuro-Symbolic Approach
University of Science and Technology of China（中国科学技术大学）
针对大语言模型逻辑推理依赖外部符号求解器、泛化性差且易丢失信息的问题，提出神经符号方法LINA，由LLM自主完成全流程逻辑推理，采用假设演绎范式缩小搜索空间，在多项逻辑推理任务上性能显著优于现有方法。
2024-10-29 cs.CL
LogiDynamics: Unraveling the Dynamics of Inductive, Abductive and Deductive Logical Inferences in LLM Reasoning
Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程系）；NVIDIA AI Technology Center (NVAITC), NVIDIA（NVIDIA AI技术中心）
本文系统研究了LLM中归纳（System 1）与溯因/演绎（System 2）逻辑推断的动态机制，发现System 2在视觉/符号及困难任务中表现更优，而任务格式显著影响两者相对优势，并证明高级System 2策略可大幅扩展推理能力。
2025-09-17 cs.CL
A Probabilistic-Logic based Commonsense Representation Framework for Modelling Inferences with Multiple Antecedents and Varying Likelihoods
Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
常识知识图（CKG）是构建机器的重要资源，这些机器可以对文本或环境输入进行“推理”，并做出超越感知的推断。虽然目前的CKG编码大量概念的世界知识，并已被有效地用于将常识纳入神经模型中，但它们主要编码陈述性或单条件推理知识，并假设所有概念信念具有相同的可能性。此外，这些CKG利用跨概念共享的关系的有限集合，并且缺乏连贯的知识组织结构，从而导致跨较大知识图谱的冗余以及稀疏。因此，今天的CKG，而有用的第一级推理，不足以捕捉更深层次的人类水平的常识推理，可以更细致入微，并受多种上下文或情境因素的影响。因此，在这项工作中，我们研究如何常识知识可以更好地表示-（一）利用概率逻辑表示方案来模拟复合推理知识，并表示概念的信念与不同的可能性和（ii）将分层概念本体，以确定显着的概念相关的关系和组织的信念在不同的概念层次。我们由此产生的知识表示框架可以编码更广泛的世界知识，并表示信仰灵活地使用接地的概念，以及自由文本短语。因此，该框架既可以用作传统的自由文本知识图谱，也可以用作更适合于神经符号应用的基于接地逻辑的推理系统。我们描述了我们如何扩展PrimeNet知识库与我们的框架，通过众包和专家注释，并展示了其应用程序更可解释的基于语义解析和问答。
2022-12-15 cs.CL
Neural Proof Nets
Utrecht Institute of Linguistics OTS, Utrecht University（乌得勒支大学乌得勒支语言学研究所OTS）；LIRMM, Université de Montpellier, CNRS（法国国家科学研究中心蒙彼利埃大学计算机信息与机器人微电子实验室）
线性逻辑和线性λ演算在自然语言形式和意义的研究中有着悠久的传统。在线性逻辑的证明演算中，证明网特别令人感兴趣，它提供了一种有吸引力的推导几何表示，不受传统证明理论格式的官僚复杂性的影响。基于集合论学习的最新进展，我们提出了一种基于Sinkhorn网络的证明网络的神经变体，这使我们能够将解析转换为提取句法原语并将其排列成对齐的问题。我们的方法诱导了一个批处理效率，端到端的差异化架构，实现了一个正式接地，但高效的神经符号解析器。我们测试了我们的方法，一个数据集的类型逻辑推导的书面荷兰语，在那里它设法正确地将原始文本句子转换成证明和线性λ演算的条款，准确率高达70%。
2020-09-26 cs.CL cs.LG cs.LO
Selection-Inference: Exploiting Large Language Models for Interpretable Logical Reasoning
DeepMind（深度思维）
大语言模型（LLM）已经被证明能够对新任务进行令人印象深刻的Few-Shot概括。然而，他们仍然倾向于在多步逻辑推理问题上表现不佳。在这里，我们对50个任务进行了全面的LLM评估，这些任务探索了逻辑推理的不同方面。我们发现，语言模型往往在单步的推理或蕴涵任务中表现得相当好，但很难将多个推理步骤链接在一起来解决更复杂的问题。有鉴于此，我们提出了一个选择-推理（SI）框架，该框架利用预先训练的LLM作为通用处理模块，并在选择和推理之间交替，以生成一系列可解释的、随意的推理步骤，从而得出最终答案。我们表明，在SI框架内使用的7 B参数LLM在5杆泛化设置，没有微调，产生超过100%的性能改善相比，一套10逻辑推理任务的等效香草基线。在相同的设置中，相同的模型在相同的任务套件上甚至优于显著更大的280 B参数基线。此外，由SI框架产生的答案伴随着因果自然语言为基础的推理轨迹，这对系统的安全性和可信度具有重要意义。
2022-05-19 cs.AI cs.CL
Neuro-Symbolic Contrastive Learning for Cross-domain Inference
University of Durham（杜伦大学）；University of Tokyo（东京大学）；Kyoto University（京都大学）；National Institute of Informatics（信息学国立研究院）
针对预训练语言模型在自然语言推理中过度依赖浅层启发式、归纳逻辑编程受限于离散输入的问题，提出神经符号对比学习方法，通过可微分优化提升逻辑准确性，显著增强模型跨域推理的泛化与推理能力。
2025-02-13 cs.CL cs.LG
Benchmarking LLM Competence on Logical Inference over Probability Operators
Haverford College（哈维福德学院）
本研究构建含14320个提示的概率算子推理基准，评估29个大语言模型，发现多数模型存在答案偏差，仅9个超随机水平，且各维度均有偏差。
2026-08-05 cs.AI cs.CL
Clinical Temporal Relation Extraction with Probabilistic Soft Logic Regularization and Global Inference
University of California, Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加州大学）
医学界一直需要精确地提取临床事件之间的时间关系。具体地，时间信息可以促进各种下游应用，诸如病例报告检索和医学问答。现有的方法要么需要昂贵的功能工程或无法建模的全局关系的事件之间的依赖关系。在本文中，我们提出了一种新的方法，临床时间关系提取与概率软逻辑正则化和全局推理（CTRL-PG）来解决这个问题的文件级别。在两个基准数据集I2 B2 -2012和TB-Dense上的大量实验表明，CTRL-PG在时间关系抽取方面明显优于基线方法。
2020-12-16 cs.CL cs.LG
Probing Linguistic Information For Logical Inference In Pre-trained Language Models
Rose-Hulman Institute of Technology（罗斯-霍曼理工学院）
预先训练的语言模型的进展导致了下游任务自然语言理解的令人印象深刻的结果激增。最近关于探测预先训练的语言模型的工作揭示了编码在其上下文表示中的广泛的语言属性。然而，目前还不清楚它们是否编码了对符号推理方法至关重要的语义知识。我们提出了一种方法来探测语言信息的逻辑推理预训练语言模型表示。我们的探测数据集涵盖了主要符号推理系统所需的语言现象列表。我们发现：（i）预训练的语言模型确实编码了几种类型的语言信息用于推理，但也有一些类型的信息是弱编码的，（ii）语言模型可以通过微调有效地学习缺失的语言信息。总的来说，我们的研究结果提供了关于语言模型及其预训练过程捕获逻辑推理的语言信息的哪些方面的见解。此外，我们已经证明了语言模型的潜在语义和背景知识基础，支持符号推理方法。
2022-03-21 cs.AI cs.CL cs.LG
Which Programming Language and What Features at Pre-training Stage Affect Downstream Logical Inference Performance?
The University of Tokyo（东京大学）
本研究在相同条件下从头预训练模型，发现使用编程语言训练的模型在逻辑推理和指令遵循上优于自然语言模型，且抽象语法树深度也影响推理性能。
2025-06-28 cs.AI cs.CL
DEL-ToM: Inference-Time Scaling for Theory-of-Mind Reasoning via Dynamic Epistemic Logic
Stanford University（斯坦福大学）；Lambda, Inc.（Lambda公司）；Stevens Institute of Technology（史蒂文斯理工学院）
本文提出 DEL-ToM 框架，将心智理论任务分解为基于动态认知逻辑的信念更新，并用过程信念模型在推理时选择最佳候选轨迹，从而无需重训即可提升 LLM 的可验证 ToM 推理。
2025-09-28 cs.AI cs.CL
Knowledge Representation for Lexical Semantics: Is Standard First Order Logic Enough?
交互式规划和面对面翻译等自然语言理解应用需要广泛的推理。这些推论中的许多都是基于特定的开放类词的含义。提供一个表示，可以支持这种基于词汇的推理是词汇语义的主要关注。一阶逻辑的表示语言具有很好的语义理解能力，并且已经实现了大量的推理系统，因此它是作为词汇语义表示的最佳候选语言。然而，我们认为，FOL，虽然是一个很好的起点，需要扩展之前，它可以有效地和简洁地支持所有基于词汇的推理所需的。
1994-12-10 cmp-lg cs.CL
Logicbreaks: A Framework for Understanding Subversion of Rule-based Inference
University of Pennsylvania（宾夕法尼亚大学）
提出基于命题Horn逻辑的框架，形式化分析并证明恶意提示可颠覆LLM的规则遵循能力，为逻辑推理与越狱攻击提供理论基础。
2025-02-28 cs.AI cs.CL cs.CR
Can the Inference Logic of Large Language Models be Disentangled into Symbolic Concepts?
Shanghai Jiao Tong University（上海交通大学）
本文提出将大语言模型在对话任务中的推理逻辑解耦为少量稀疏符号概念，验证了这些概念能有效估计推理分数、具备跨句迁移性，并可用于解释模型预测错误的确切原因。
2023-04-03 cs.AI cs.CL cs.CV
SPINDLE: Spinning Raw Text into Lambda Terms with Graph Attention
Utrecht University（乌得勒支大学）；Université de Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）
本文介绍了SPINDLE -一个开源的Python模块，实现了一个高效和准确的语法分析器，用于书面荷兰语，将原始文本输入转换为程序的意义组合，表示为λ术语。解析器集成了近年来取得的一些突破性进展。它的输出包括一个多模态类型逻辑语法的高分辨率推导，捕获两个正交轴的语法，即深功能参数结构和依赖关系。这些是由三个相互依赖的系统产生的：一个静态类型检查器断言语法分析的格式良好，一个最先进的，结构感知的supertagger基于异构图卷积，和一个大规模并行证明搜索组件的基础上Sinkhorn迭代。软件中还包含方便的实用程序和额外的证明可视化和推理，旨在促进最终用户的使用。
2023-02-23 cs.AI cs.CL cs.LG
