A CCG-based Compositional Semantics and Inference System for Comparatives
Ochanomizu University(御茶水女子大学)
比较结构在自然语言推理中起着重要的作用。然而,由于比较句句法结构和推理模式的复杂性,从计算角度研究比较句的语义表征和逻辑推理的尝试还没有得到很好的发展。在这项研究中,使用组合范畴语法(CCG)的基础上的框架,我们提出了一个组合语义,映射在英语中的各种比较结构的语义表示,并引入了一个推理系统,有效地处理逻辑推理与比较,包括那些涉及数字形容词,反义词,和量化。我们评估我们的系统的性能FraCaS测试套件,并表明该系统可以处理各种复杂的逻辑推理与比较。
2019-10-02 cs.CL
A logical word embedding for learning grammar
Cornell University(康奈尔大学)
提出受前置群语法和范畴语法启发的 LGE 模型,可从极少语料中无监督推断词汇类别与句法规则,并透明生成新句子。
2023-06-06 cs.CL
Leveraging LLMs for Hypothetical Deduction in Logical Inference: A Neuro-Symbolic Approach
University of Science and Technology of China(中国科学技术大学)
针对大语言模型逻辑推理依赖外部符号求解器、泛化性差且易丢失信息的问题,提出神经符号方法LINA,由LLM自主完成全流程逻辑推理,采用假设演绎范式缩小搜索空间,在多项逻辑推理任务上性能显著优于现有方法。
2024-10-29 cs.CL
LogiDynamics: Unraveling the Dynamics of Inductive, Abductive and Deductive Logical Inferences in LLM Reasoning
Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系);NVIDIA AI Technology Center (NVAITC), NVIDIA(NVIDIA AI技术中心)
本文系统研究了LLM中归纳(System 1)与溯因/演绎(System 2)逻辑推断的动态机制,发现System 2在视觉/符号及困难任务中表现更优,而任务格式显著影响两者相对优势,并证明高级System 2策略可大幅扩展推理能力。
2025-09-17 cs.CL
Grammar Induction for Minimalist Grammars using Variational Bayesian Inference : A Technical Report
Stanford University(斯坦福大学);McGill University(麦吉尔大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of California, San Diego(加利福尼亚大学圣地亚哥分校)
下面的技术报告提出了一个正式的方法,概率最低限度的语法参数估计。我们描述了一个形式化的最低限度的语法。然后,我们提出了一个算法的应用变分贝叶斯推理,这种形式化。
2019-08-29 cs.CL
NeuralLog: Natural Language Inference with Joint Neural and Logical Reasoning
Rose-Hulman Institute of Technology(罗斯-霍曼理工学院);Indiana University(印第安纳大学)
基于深度学习(DL)的语言模型在自然语言推理(NLI)的各种基准测试中实现了高性能。在这个时候,象征性的方法NLI受到较少的关注。这两种方法(符号和DL)都有其优点和缺点。然而,目前,没有方法将它们结合在一个系统中来解决NLI的任务。为了融合符号学习和深度学习方法,我们提出了一个名为NeuralLog的推理框架,它利用基于单调性的逻辑推理引擎和神经网络语言模型进行短语对齐。我们的框架模型的NLI任务作为一个经典的搜索问题,并使用束搜索算法搜索最佳推理路径。实验表明,我们的联合逻辑和神经推理系统提高了NLI任务的准确性,并可以在SICK和MED数据集上达到最先进的准确性。
2021-06-10 cs.AI cs.CL
Selection-Inference: Exploiting Large Language Models for Interpretable Logical Reasoning
DeepMind(深度思维)
大语言模型(LLM)已经被证明能够对新任务进行令人印象深刻的Few-Shot概括。然而,他们仍然倾向于在多步逻辑推理问题上表现不佳。在这里,我们对50个任务进行了全面的LLM评估,这些任务探索了逻辑推理的不同方面。我们发现,语言模型往往在单步的推理或蕴涵任务中表现得相当好,但很难将多个推理步骤链接在一起来解决更复杂的问题。有鉴于此,我们提出了一个选择-推理(SI)框架,该框架利用预先训练的LLM作为通用处理模块,并在选择和推理之间交替,以生成一系列可解释的、随意的推理步骤,从而得出最终答案。我们表明,在SI框架内使用的7 B参数LLM在5杆泛化设置,没有微调,产生超过100%的性能改善相比,一套10逻辑推理任务的等效香草基线。在相同的设置中,相同的模型在相同的任务套件上甚至优于显著更大的280 B参数基线。此外,由SI框架产生的答案伴随着因果自然语言为基础的推理轨迹,这对系统的安全性和可信度具有重要意义。
2022-05-19 cs.AI cs.CL
Probing Linguistic Information For Logical Inference In Pre-trained Language Models
Rose-Hulman Institute of Technology(罗斯-霍曼理工学院)
预先训练的语言模型的进展导致了下游任务自然语言理解的令人印象深刻的结果激增。最近关于探测预先训练的语言模型的工作揭示了编码在其上下文表示中的广泛的语言属性。然而,目前还不清楚它们是否编码了对符号推理方法至关重要的语义知识。我们提出了一种方法来探测语言信息的逻辑推理预训练语言模型表示。我们的探测数据集涵盖了主要符号推理系统所需的语言现象列表。我们发现:(i)预训练的语言模型确实编码了几种类型的语言信息用于推理,但也有一些类型的信息是弱编码的,(ii)语言模型可以通过微调有效地学习缺失的语言信息。总的来说,我们的研究结果提供了关于语言模型及其预训练过程捕获逻辑推理的语言信息的哪些方面的见解。此外,我们已经证明了语言模型的潜在语义和背景知识基础,支持符号推理方法。
2022-03-21 cs.AI cs.CL cs.LG
Benchmarking LLM Competence on Logical Inference over Probability Operators
Haverford College(哈维福德学院)
本研究构建含14320个提示的概率算子推理基准,评估29个大语言模型,发现多数模型存在答案偏差,仅9个超随机水平,且各维度均有偏差。
2026-08-05 cs.AI cs.CL
Which Programming Language and What Features at Pre-training Stage Affect Downstream Logical Inference Performance?
The University of Tokyo(东京大学)
本研究在相同条件下从头预训练模型,发现使用编程语言训练的模型在逻辑推理和指令遵循上优于自然语言模型,且抽象语法树深度也影响推理性能。
2025-06-28 cs.AI cs.CL
Neuro-Symbolic Contrastive Learning for Cross-domain Inference
University of Durham(杜伦大学);University of Tokyo(东京大学);Kyoto University(京都大学);National Institute of Informatics(信息学国立研究院)
针对预训练语言模型在自然语言推理中过度依赖浅层启发式、归纳逻辑编程受限于离散输入的问题,提出神经符号对比学习方法,通过可微分优化提升逻辑准确性,显著增强模型跨域推理的泛化与推理能力。
2025-02-13 cs.CL cs.LG
FSLI: An Interpretable Formal Semantic System for One-Dimensional Ordering Inference
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
FSLI将自然语言排序推理转化为一阶逻辑,通过基于组合语义的解析算法和约束逻辑编程实现可解释的符号演绎,在BIG-bench上达100%准确率并优于LLM基线。
2025-09-19 cs.CL cs.LO
Logical subspace in LLMs
本研究提出最小可行子空间(MVS)方法,在LLM中定位支持逻辑推理的低秩子空间,并证明其与其他认知能力分离,揭示类似人脑的逻辑核心机制。
2026-09-29 cs.AI cs.CL
Incorporating Causal Analysis into Diversified and Logical Response Generation
Alibaba Group(阿里巴巴集团);Huazhong University of Science and Technology(华中科技大学);Ant Group(蚂蚁集团)
虽然条件变分自编码器(CVAE)模型可以比传统的Seq 2Seq模型生成更多样化的响应,但是响应通常与输入的单词相关性低或者与问题不合逻辑。本文通过因果分析来研究其背后的原因,并提出了寻找调解人和减轻对话中混杂偏见的方法。具体来说,我们建议预测的介质,以保持相关的信息和自回归纳入生成过程中的介质。此外,一个动态的主题图引导的条件变分自编码器(TGG-CVAE)模型被用来补充的语义空间,减少混淆的偏见的反应。大量的实验表明,该模型能够生成相关的和信息丰富的响应,并优于国家的最先进的自动度量和人类的评价。
2022-10-11 cs.AI cs.CL
Logical Natural Language Generation from Open-Domain Tables
University of California Santa Barbara(加州大学圣巴巴拉分校);Tencent AI Lab(腾讯人工智能实验室);The Ohio State University(俄亥俄州立大学)
神经自然语言生成(NLG)模型最近在流畅性和连贯性方面取得了显著的进展。然而,现有的神经NLG的研究主要集中在表面水平的实现与有限的重视逻辑推理,人类思维和语言的一个重要方面。在本文中,我们提出了一个新的NLG任务,模型的任务是生成自然语言语句,可以是\emph{logically entailed}的事实在一个开放域的半结构化表。为了便于研究所提出的逻辑NLG问题,我们使用现有的TabFact数据集\cite{chen2019tabfact}具有广泛的逻辑/符号推理作为我们的测试床,并提出新的自动度量来评估生成模型的保真度w.r.t.逻辑推理由于序列顺序和逻辑顺序之间的不匹配,新任务对现有的单调生成框架提出了挑战。在我们的实验中,我们全面调查了不同的生成架构,(LSTM、Transformer、Pre-Trained LM)使用不同算法训练(RL,对抗训练,从粗到精),并进行了以下观察:1)预先训练的LM可以显著提高流畅性和逻辑保真度指标,2)RL和对抗训练是为了保真度而交易流畅性,3)从粗到精的生成可以部分缓解保真度问题,同时保持较高的语言流畅性。代码和数据可在\url{https://github.com/wenhuchen/LogicNLG}上获得。
2020-04-28 cs.AI cs.CL
Inferring Acceptance and Rejection in Dialogue by Default Rules of Inference
本文讨论了会话者在对话中推断自己的主张和建议是否被对方接受或拒绝的过程。它扩展了以前的工作表明,逻辑一致性是一个必要的指标接受,但它是不够的,逻辑不一致性是足够的指标拒绝,但它不是必要的。我将展示如何转换可以使用信息结构和韵律以及逻辑推理在区分接受和逻辑上一致的拒绝,并将这项工作的含义和默认推理以前的工作,通过引入三类新的拒绝:{ \sc含义拒绝},{ \sc认知拒绝}和{ \sc审议拒绝}。我展示了这些拒绝是如何推断出默认推理的结果,而默认推理,通过其他分析,会被上下文所阻止。为了解释这些事实,我提出了一个共同点模型,允许这些默认推理通过,并展示了模型,最初提出的各种形式的接受,也可以模拟所有类型的拒绝。
1996-09-07 cmp-lg cs.CL
Semi-Amortized Variational Autoencoders
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
摊销变分推断(AVI)用全局推理网络代替特定于实例的局部推理。虽然AVI已经实现了深度生成模型(如变分自编码器(VAE))的有效训练,但最近的经验研究表明,推理网络可能会产生次优的变分参数。我们提出了一种混合的方法,使用AVI初始化变分参数和运行随机变分推断(SVI)来完善它们。最重要的是,局部SVI过程本身是可微的,因此推理网络和生成模型可以通过基于梯度的优化进行端到端的训练。这种半摊销方法可以使用丰富的生成模型,而不会遇到在训练VAE时常见的后崩溃现象,例如文本生成。实验表明,该方法在标准文本和图像数据集上的性能优于强自回归和变分基线。
2018-07-23 cs.CL cs.LG stat.ML
Neural Variational Inference for Text Processing
University of Oxford(牛津大学);Google Deepmind(谷歌DeepMind)
神经变分推理的最新进展催生了深层潜变量模型的复兴。在本文中,我们介绍了一个通用的变分推理框架的生成和条件模型的文本。虽然传统的变分方法推导出一个解析近似的棘手的分布在潜在的变量,在这里,我们构建了一个推理网络的条件下的离散文本输入,以提供变分分布。我们验证这个框架上的两个非常不同的文本建模应用程序,生成文档建模和监督问答。我们的神经变分文档模型结合了连续的随机文档表示与词袋生成模型,并在两个标准测试语料库上实现了最低的困惑。神经答案选择模型采用注意力机制内的随机表示层来提取问题和答案对之间的语义。在两个问答基准测试中,该模型超过了所有以前发布的基准测试。
2016-06-04 cs.CL cs.LG stat.ML
Variational Inference In Pachinko Allocation Machines
University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);Google Brain(谷歌大脑)
Pachinko分配机(PAM)是一个深度主题模型,它允许通过主题上的有向无环图来表示主题之间丰富的相关结构。然而,由于模型的灵活性,近似推理非常困难。也许由于这个原因,文献中只探索了少量潜在的PAM架构。在本文中,我们提出了一个有效的和灵活的摊销变分推理方法PAM,使用深度推理网络参数化的近似后验分布的方式类似于变分自编码器。我们的推理方法产生更多的连贯性主题比国家的最先进的推理方法PAM,同时是一个数量级更快,这使得探索更广泛的PAM架构比以前研究。
2018-04-21 cs.CL cs.LG stat.ML