Laziness Is a Virtue When It Comes to Compositionality in Neural Semantic Parsing
IBM Research(IBM研究院)
本研究提出一种自底向上的懒惰式神经语义解析生成方法,从逻辑形式叶子节点逐步构建,仅扩展最有希望的候选解析,在CFQ和三个Text-to-SQL数据集上优于通用解析器并具竞争力。
2023-05-07 cs.AI cs.CL
On the Potential of Lexico-logical Alignments for Semantic Parsing to SQL Queries
Cornell University(康奈尔大学);University of Maryland(马里兰大学);Microsoft Research(微软研究院)
用逻辑形式注释的大规模语义解析数据集使监督方法取得了重大进展。但更丰富的监管能起到更大的作用吗?为了探索细粒度的词汇级监督的实用性,我们引入了Squall,这是一个数据集,它通过手动创建的SQL等价物以及SQL和问题片段之间的对齐来丰富11,276个WikiTableQuestions英语问题。我们的注释为编码器-解码器模型提供了新的训练可能性,包括以前因缺乏对齐而无法使用的机器翻译方法。我们提出并测试了两种方法:(1)监督注意;(2)采用一个辅助目标,消除歧义的输入查询表列中的引用。在5折交叉验证中,这些策略在强基线上提高了4.4%的执行准确性。Oracle实验表明,注释比对可以支持高达23.9%的进一步准确性增益。
2020-10-21 cs.AI cs.CL
Adversarially Regularising Neural NLI Models to Integrate Logical Background Knowledge
University College London(伦敦大学学院)
对抗性示例是机器学习模型的输入,旨在导致模型出错。它们对于理解机器学习模型的缺点、解释其结果以及正则化都很有用。然而,在NLP中,大多数示例生成策略通过使用已知的、预先指定的语义转换来生成输入文本,这需要大量的手动工作以及对问题和领域的深入理解。本文研究了在自然语言推理(NLI)中自动生成违反给定一阶逻辑约束的对抗性实例的问题。我们减少了识别这种对抗性的例子的问题,一个组合优化问题,通过最大化的数量测量违反这些约束的程度,并通过使用一个语言模型生成语言上合理的例子。此外,我们提出了一种方法,逆向正则化神经NLI模型,将背景知识。我们的研究结果表明,虽然所提出的方法并不总是改善SNLI和MultiNLI数据集的结果,但它显着且一致地提高了对恶意数据集的预测准确性-相对提高高达79.6%-同时大大减少了背景知识违规的数量。此外,我们表明,对抗性的例子之间的模型架构的转移,并提出的对抗性训练过程提高了NLI模型的对抗性的例子的鲁棒性。
2018-08-26 cs.AI cs.CL cs.LG
A Neural-Symbolic Approach to Natural Language Understanding
Shanghai Jiaotong University(上海交通大学);ByteDance(字节跳动)
由预先训练的语言模型授权的深度神经网络在自然语言理解(NLU)任务中取得了显着的成果。然而,当需要逻辑推理时,它们的性能会急剧恶化。这是因为NLU原则上不仅依赖于深度神经网络擅长的类比推理,还依赖于逻辑推理。根据双加工理论,类比推理和逻辑推理分别由人脑中的系统1和系统2完成。受该理论的启发,我们提出了一个新的框架NLU称为神经符号处理器(NSP),它执行基于神经处理的类比推理和基于神经和符号处理的逻辑推理。作为一个案例研究,我们进行了两个NLU任务,问答(QA)和自然语言推理(NLI),当数值推理(一种逻辑推理)是必要的实验。实验结果表明,我们的方法显着优于国家的最先进的方法在这两个任务。
2022-10-21 cs.CL
Logical Parsing from Natural Language Based on a Neural Translation Model
Beihang University(北京航空航天大学)
语义解析已经成为自然语言接口和问答系统的重要和强大的范例。传统的语义分析方法依赖于高质量的词典、手工编写的语法和语言特征,这些都受到应用领域或表示的限制。在本文中,我们提出了一种通用的方法来学习的表示的基础上Seq2Seq模型增强注意力机制。我们将输入序列编码为向量,并使用动态规划来推断候选逻辑形式。我们利用相似的话语应该具有相似的逻辑形式这一事实来帮助减少搜索空间。在我们的学习策略下,Seq2Seq模型可以逐渐学习带有噪声的映射。采用课程学习,使学习更加顺畅。我们测试我们的方法在算术域,这表明我们的模型可以成功地推断出正确的逻辑形式,并学习单词的含义,组合性和操作顺序的同时。
2017-05-09 cs.CL
Constructive Type-Logical Supertagging with Self-Attention Networks
Utrecht University(乌得勒支大学)
我们提出了一个新的应用程序的自我注意网络语法归纳。我们提出了一个注意力为基础的supertagger的一个精致的类型逻辑语法,训练建设类型归纳。除了实现高的整体类型准确性,我们的模型能够学习语法的类型系统的语法及其指称语义。这提升了词汇化语法超标注者通常所做的封闭世界假设,大大增强了其泛化潜力。这一点可以通过它对稀疏词类型的足够准确性以及它正确构建训练期间从未见过的复杂类型的能力来证明,据我们所知,这是尚未完成的。
2019-05-31 cs.CL cs.LG
Is logical analysis performed by transformers taking place in self-attention or in the fully connected part?
School of Mathematics, Georgia Institute of Technology(佐治亚理工学院数学学院)
本文通过手工构建单层编码器并在语法类别对预测任务上测试,发现Transformer的逻辑分析可在自注意力中完成,并计算了梯度下降中的不希望零点以避免其影响。
2025-01-20 cs.AI cs.CL cs.LG
Learning an Executable Neural Semantic Parser
University of Edinburgh(爱丁堡大学);Stanford University(斯坦福大学);IBM T.J. Watson Research(IBM T.J. 沃森研究中心)
本文描述了一种神经语义解析器,它将自然语言语句映射到逻辑形式上,这些逻辑形式可以针对特定于任务的环境(如知识库或数据库)执行,以产生响应。该分析器生成树结构的逻辑形式与基于转换的方法相结合的通用树生成算法与域的一般操作定义的逻辑语言。生成过程是由结构化的递归神经网络,它提供了一个丰富的编码的原始上下文和生成历史进行预测。为了解决自然语言和逻辑形式标记之间的不匹配,探索了各种注意力机制。最后,我们考虑神经语义解析器的不同训练设置,包括给出注释逻辑形式的全监督训练,提供表示的弱监督训练,以及只有未标记句子和知识库可用的远程监督。在广泛的数据集上的实验证明了我们的解析器的有效性。
2018-08-12 cs.CL
Braid: Weaving Symbolic and Neural Knowledge into Coherent Logical Explanations
Elemental Cognition Inc.(元素认知公司)
传统的符号推理引擎,虽然有吸引力的精度和可解释性,有几个主要的缺点:使用脆弱的推理过程,依赖于精确匹配(统一)的逻辑术语,无法处理不确定性,并需要一个预编译的规则库的知识(“知识获取“的问题)。为了解决这些问题,我们设计了一种新的逻辑推理机称为辫子,支持概率规则,并使用自定义统一功能和动态规则生成的概念,以克服传统推理机中普遍存在的脆弱匹配和知识差距问题。在本文中,我们描述的推理算法中使用的辫子,并在一个分布式的基于任务的框架,建立证明/解释图的输入查询实现。我们使用一个来自儿童故事的简单QA示例来激发Braid的设计,并解释各种组件如何协同工作以产生连贯的逻辑解释。最后,我们在ROC故事完形填空测试中对Braid进行了评估,并在提供基于框架的解释的同时获得了接近最先进的结果。
2021-12-05 cs.CL
Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer
Duke University(杜克大学);Tencent AI Lab(腾讯人工智能实验室)
开发能够进行逻辑推理的神经架构对于广泛的应用(例如,自然语言处理)。为了实现这一宏伟目标,我们提出了一个符号推理架构,链接许多连接运算符在一起,以模拟输出逻辑表达式。特别是,我们证明了这样的合奏的连接链可以表示一个广泛的子集的“树结构”的一阶逻辑表达式,名为FOET,这是特别有用的建模自然语言。为了赋予它可微的学习能力,我们仔细研究了各种神经算子近似的符号连接链。有趣的是,我们发现Transformer中广泛使用的多头自注意模块可以理解为一种特殊的神经算子,它实现了概率谓词空间中连接算子的联合界。我们的分析不仅为BERT等预训练模型用于自然语言理解的机制提供了新的视角,而且还提出了几个重要的未来改进方向。
2022-10-23 cs.CL cs.LG
A Densely Connected Criss-Cross Attention Network for Document-level Relation Extraction
Xiamen University(厦门大学)
文档级关系抽取(RE)旨在识别给定文档中两个实体之间的关系。与文档级RE相比,文档级RE需要复杂的推理。以往的研究通常通过在文档图的提及层或实体层上进行信息传播来完成推理,而很少考虑到实体对层上的推理,本文提出了一种新的文档级RE模型--密集连接交叉注意网络(Densely Connected Criss-Cross Attention Network,Dense-CCNet),该模型能够在实体对层上完成逻辑推理。具体而言,Dense-CCNet通过交叉注意(CCA)进行实体对级别的逻辑推理,可以在实体对矩阵上收集水平和垂直方向的上下文信息,以增强相应的实体对表示。此外,我们密集地连接CCA的多个层,以同时捕获单跳和多跳逻辑推理的特征。我们在三个公共文档级RE数据集DocRED,CDR和GDA上评估了我们的Dense-CCNet模型。实验结果表明,我们的模型在这三个数据集上达到了最先进的性能。
2022-03-26 cs.CL
A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for Question Answering Over Dynamic Contexts
Sun Yat-sen University(中山大学);Microsoft Research(微软研究院)
我们在一个动态的文本环境中研究问答。虽然神经网络模型通过从输入输出示例中学习来实现令人印象深刻的准确性,但它们很少利用各种类型的知识,并且通常不可解释。在这项工作中,我们提出了一个基于图的方法,其中一个异构的图是自动构建的上下文的事实知识,过去的状态的时间知识,和逻辑知识,结合人类策划的知识库和规则库。我们在构建的图上开发了一个图神经网络,并以端到端的方式对模型进行训练。在基准数据集上的实验结果表明,注入各种类型的知识提高了强大的神经网络基线。我们的方法的另一个好处是,图形本身自然地充当决策背后的理性。
2020-04-25 cs.CL
Neural Multi-Step Reasoning for Question Answering on Semi-Structured Tables
Department of Computer Science ETH Zurich(苏黎世联邦理工学院计算机科学系);ETH Zurich(苏黎世联邦理工学院);Switzerland(瑞士)
近年来,由于神经网络方法的日益流行,自然语言处理任务的进展获得了动力。在本文中,我们探讨了用于回答半结构化表上操作的多步推理问题的深度学习技术。这里的挑战来自于问题所表达的逻辑组合性的水平,以及领域的开放性。我们的方法是弱监督的,在问答表三元组上训练,而不需要中间的强监督。它执行两个阶段:首先,机器可理解的逻辑形式(程序)是根据[Pasupat和Liang,2015]的工作从自然语言问题中生成的。第二,使用单词和字符卷积神经网络将逻辑形式和问题的释义嵌入到联合学习的向量空间中。神经评分函数进一步用于对问题的最可能的逻辑形式(解释)进行排名和检索。我们最好的单个模型在WikiTableQuestions数据集上达到了34.8%的准确率,而我们模型的最佳集合将这项任务的最先进分数推高到38.7%,从而略微超过了工程特征评分基线以及Neelakantan等人的神经程序员模型,2016年]。
2018-03-22 cs.CL
Recursive Neural Networks Can Learn Logical Semantics
Stanford(斯坦福大学)
用于句子意义的树结构递归神经网络(TreeRNNs)在许多应用中都取得了成功,但它们学习的固定长度表示是否能够支持像逻辑推理这样要求苛刻的任务仍然是一个悬而未决的问题。我们通过评估两个这样的模型--普通TreeRNN和树结构神经张量网络(TreeRNTNs)--是否可以正确地学习识别逻辑关系,如使用这些表示的蕴涵和矛盾。在我们的第一组实验中,我们从逻辑语法中生成人工数据,并使用它来评估模型学习处理基本关系推理、递归结构和量化的能力。然后,我们在更自然的SICK挑战数据上评估模型。这两个模型在SICK数据上表现出竞争力,并且在模拟数据的所有三个实验中都具有很好的泛化能力,这表明它们可以学习自然语言中逻辑推理的合适表示。
2015-05-14 cs.CL cs.LG cs.NE
Can recursive neural tensor networks learn logical reasoning?
Stanford University(斯坦福大学)
递归神经网络模型及其伴随的单词向量表示在一系列语义日益复杂的任务中取得了成功,但几乎没有人知道它们准确捕捉解释或推理所需的语言意义方面的能力。为了评估这一点,我训练了一个递归模型,在一个新的语料库上构建了短句逻辑推理的例子,比如从"一些狗走路"或"一些猫走路"推断"一些动物走路",假设狗和猫是动物。该模型学习的表示,以及推广到新类型的推理模式,在所有,但少数情况下,结果是有希望的学习表示模型捕捉逻辑推理的能力。
2014-02-15 cs.CL cs.LG
Retrieval-Augmented Neural Response Generation Using Logical Reasoning and Relevance Scoring
Norwegian Computing Center(挪威计算中心);University of Bamberg(班贝格大学)
本文提出一种结合检索增强语言模型与逻辑推理的知识基础响应生成方法,通过概率逻辑编程丰富知识图谱并利用神经模型评分筛选关键元素,有效提升了任务导向对话系统响应的事实性与流畅性。
2023-10-20 cs.AI cs.CL
Contextual Graph Attention for Answering Logical Queries over Incomplete Knowledge Graphs
UCSB(加州大学圣巴巴拉分校);SayMosaic Inc.(赛摩赛克公司)
最近,一些研究探索了使用KG嵌入来回答逻辑查询的方法。这些方法要么将嵌入学习和查询应答视为两个独立的学习任务,要么无法处理来自不同查询路径的贡献的可变性。我们提出利用图注意力机制来处理不同查询路径的不平等贡献。然而,通常使用的图注意力假设提供了中心节点嵌入,这在该任务中是不可用的,因为中心节点是要预测的。针对这一问题,提出了一种基于多头注意力的端到端逻辑查询应答模型--上下文图注意力模型(CGA),该模型使用初始邻域聚合层生成中心嵌入,并在原始KG结构和采样的查询-应答对上对整个模型进行联合训练。我们还介绍了两个新的数据集,DB 18和WikiGeo 19,这是相当大的规模相比,现有的数据集,并包含更多的关系类型,并使用它们来评估所提出的模型的性能。我们的结果表明,所提出的CGA具有较少的可学习参数,在两个数据集以及Bio数据集上的性能始终优于基线模型。
2019-09-30 cs.AI cs.CL cs.LG
Answering Conversational Questions on Structured Data without Logical Forms
Google Research(谷歌研究院)
我们提出了一种新的方法来回答基于结构化对象(如知识库或表)的顺序问题,而不使用逻辑形式作为中间表示。我们使用基于Transformer架构的图神经网络模型将表编码为图。然后使用指针网络从编码图中选择答案。此模型适用于处理围绕结构化数据的会话,其中选择问题答案的注意力机制也可用于解析会话引用。我们证明了这种方法的有效性与竞争的结果顺序问答(SQA)任务(Iyyer等人,2017年)。
2019-08-30 cs.CL
Context-Dependent Semantic Parsing for Temporal Relation Extraction
University of California, San Diego(加利福尼亚大学圣迭戈分校);The Hong Kong University of Science and Technology(香港科技大学);National Taiwan University(台湾大学)
从非结构化文本中提取事件间的时态关系在时态推理、问答等领域有着广泛的应用。虽然这是困难的,但最近发展的神经符号方法在解决类似的任务上显示出有希望的结果。现有的时态关系抽取方法表达能力有限,关系推理不一致.例如,在TimeML注释中,没有交集的概念。此外,当前的方法不能保证预测的注释之间的一致性。在这项工作中,我们提出了SMARTER,神经语义解析器,有效地提取文本中的时间信息。SMARTER基于自定义类型的λ演算将自然语言解析为可执行的逻辑形式表示。在训练阶段,使用表示上的动态规划(DPD)技术来提供对逻辑形式的弱监督。在推理阶段,SMARTER通过执行逻辑形式生成时间关系图。因此,我们的神经语义解析器产生的逻辑形式捕捉文本的时间信息准确。给定上下文的事件的准确逻辑形式表示确保了所提取的关系的正确性。
2021-12-02 cs.CL
LogicENN: A Neural Based Knowledge Graphs Embedding Model with Logical Rules
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
知识图谱嵌入模型在人工智能研究中得到了广泛的关注。最近的工作表明,包含背景知识,如逻辑规则,可以提高嵌入在下游机器学习任务的性能。然而,到目前为止,大多数现有模型不允许包含规则。我们解决了包括规则的挑战,并提出了一个新的基于神经的嵌入模型(LogicENN)。我们证明了LogicENN可以学习知识图谱中编码规则的每一个基础事实。据我们所知,到目前为止,这还没有被证明为基于神经的嵌入模型家族。此外,我们推导出公式包含各种规则,包括(反)对称,逆,非自反和传递,蕴涵,组合,等价和否定。我们的提法可以避免接地的含义和等价关系。我们的实验表明,逻辑ENN优于国家的最先进的模型在链接预测。
2019-08-20 cs.AI cs.CL
Neural Logic Analogy Learning
Rutgers University(罗格斯大学)
字母串类比是一个重要的类比学习任务,对人类来说似乎很容易,但对机器来说却很有挑战性。当前解决字母串类比问题的主要思想是设计启发式规则来提取类比结构和构造类比映射。然而,一个关键的问题是,很难建立一个全面和详尽的类比结构,可以充分描述类比的微妙之处。这个问题使得目前的方法无法处理复杂的字母串类比问题。在本文中,我们提出了神经逻辑类比学习(Noan),这是一个动态的神经结构驱动的可微逻辑推理来解决类比问题。每个类比问题都被转换成由逻辑变量和基本逻辑运算(AND,OR和NOT)组成的逻辑表达式。更具体地说,Noan将逻辑变量学习为向量嵌入,并将每个逻辑运算学习为神经模块。该模型将神经网络与逻辑推理相结合,构建计算图,捕捉输入字符串的内部逻辑结构。然后,类比学习问题变成逻辑表达式的真/假评估问题。实验表明,我们基于机器学习的Noan方法在标准字母串类比基准数据集上的性能优于最先进的方法。
2022-04-08 cs.AI cs.CL cs.IR
PLOG: Table-to-Logic Pretraining for Logical Table-to-Text Generation
Tokyo Institute of Technology(东京工业大学);Microsoft Research(微软研究院)
逻辑表到文本生成是一项涉及从表中生成逻辑上忠实的句子的任务,这需要模型通过逻辑推理从表记录中导出逻辑级事实。它对表到文本模型的逻辑级内容规划提出了新的挑战。然而,由于自然语言的模糊性和并行数据的稀缺性,直接从表-文本对中学习逻辑推理知识对于神经模型来说是非常困难的。因此,即使是大规模的预先训练的语言模型也会在逻辑表到文本上表现出低逻辑保真度。在这项工作中,我们提出了一个PLOG(预训练逻辑形式生成器)框架,以提高生成保真度。具体来说,PLOG首先在表到逻辑表单生成(表到逻辑)任务上进行预训练,然后在下游表到文本任务上进行微调。逻辑形式的形式化定义使我们能够在不需要人工标注的情况下从表格中收集大量准确的逻辑形式。此外,PLOG可以从表逻辑对学习逻辑推理比表文本对更明确。为了评估我们的模型,我们进一步收集了一个基于现有数据集的受控逻辑表到文本数据集CONTINUS。在两个基准测试LOGICNLG和CONTRACTOR上,PLOG在逻辑保真度上大幅优于强基线,证明了表到逻辑预训练的有效性。
2022-10-26 cs.CL
Improving Logical-Level Natural Language Generation with Topic-Conditioned Data Augmentation and Logical Form Generation
Tokyo Institute of Technology(东京工业大学);University of Electronic Science and Technology of China(电子科技大学)
逻辑自然语言生成,即,由于生成的低保真度,生成可以由结构化表逻辑地包含的文本描述一直是一个挑战。\citet{chen2020logic2text}通过对中间逻辑程序进行注释来控制生成内容和语义,提出了将表感知逻辑形式的任务转化为文本生成(Logic 2 text)的方法。然而,尽管现实世界中有大量的表实例,但与文本描述配对的逻辑形式需要昂贵的人工注释工作,这限制了神经模型的性能。为了缓解这一问题,我们提出了主题条件数据增强(TopicDA),它利用GPT-2直接从表中生成不成对的逻辑形式和文本描述。我们进一步介绍了逻辑表单生成(LG),这是Logic 2 text的一个双重任务,需要根据表的文本描述生成有效的逻辑表单。我们还提出了一种半监督学习方法,联合训练一个Logic 2 text和LG模型的标记和增强数据。这两种模型通过反向翻译提供额外的监督信号,从而相互受益。在Logic 2 text数据集和LG任务上的实验结果表明,我们的方法可以有效地利用增强的数据,并大大优于监督基线。
2021-12-12 cs.CL
Breaking the Language Barrier: Improving Cross-Lingual Reasoning with Structured Self-Attention
EPFL(洛桑联邦理工学院)
研究多语言模型在语码转换设置下跨语言推理能力的迁移困难,提出一种使用专用参数鼓励跨语言注意力的新机制,在RuleTaker和LeapOfThought数据集上分别提升推理性能14%和4%。
2023-10-23 cs.CL
Improving Coherence and Consistency in Neural Sequence Models with Dual-System, Neuro-Symbolic Reasoning
MIT(麻省理工学院);DeepMind;NYU(纽约大学);Facebook AI Research(Facebook人工智能研究院)
人类推理通常可以理解为两个系统之间的相互作用:直觉和联想(“系统1”)和深思熟虑和逻辑(“系统2”)。神经序列模型-在执行复杂的结构化任务方面越来越成功-展示了系统1的优势和失败模式:它们速度快,可以从数据中学习模式,但通常不一致和不连贯。在这项工作中,我们寻求一种轻量级的,无需训练的方法,通过添加System 2启发的逻辑推理来改进现有的System 1类序列模型。我们探讨了这个主题的几种变化,其中候选人的神经序列模型的逻辑一致性检查的符号推理模块,它可以接受或拒绝的代。我们的方法使用神经推理在神经系统1和逻辑系统2之间进行调解。结果表明,该方法可以提高基于神经的故事生成的一致性和准确性。
2021-12-15 cs.AI cs.CL cs.LG
Utterance Classification with Logical Neural Network: Explainable AI for Mental Disorder Diagnosis
IBM Research(IBM研究院);Columbia University(哥伦比亚大学)
本文提出基于 LNN 的神经符号话语分类系统,利用临床访谈谓词、谓词剪枝和洞见提取实现可解释的精神障碍诊断。
2023-06-06 cs.AI cs.CL cs.LO
Complex Query Answering on Eventuality Knowledge Graph with Implicit Logical Constraints
HKUST(香港科技大学);Amazon.com Inc(亚马逊公司)
本文针对事件性知识图谱提出CEQA任务和MEQE方法,通过引入事件发生与顺序的隐式逻辑约束,并利用定理证明器构建基准,显著提升复杂逻辑查询回答性能。
2023-10-27 cs.CL cs.LO
Neural Contextual Reinforcement Framework for Logical Structure Language Generation
本文提出Neural Contextual Reinforcement Framework,通过强化学习、自定义奖励函数、动态上下文对齐及多头注意力机制,有效提升了大语言模型生成文本的逻辑连贯性与结构一致性,并在多语言、多规模及噪声环境下展现出高效性与鲁棒性。
2025-08-08 cs.AI cs.CL
Logical Natural Language Generation from Open-Domain Tables
University of California Santa Barbara(加州大学圣巴巴拉分校);Tencent AI Lab(腾讯人工智能实验室);The Ohio State University(俄亥俄州立大学)
神经自然语言生成(NLG)模型最近在流畅性和连贯性方面取得了显著的进展。然而,现有的神经NLG的研究主要集中在表面水平的实现与有限的重视逻辑推理,人类思维和语言的一个重要方面。在本文中,我们提出了一个新的NLG任务,模型的任务是生成自然语言语句,可以是\emph{logically entailed}的事实在一个开放域的半结构化表。为了便于研究所提出的逻辑NLG问题,我们使用现有的TabFact数据集\cite{chen2019tabfact}具有广泛的逻辑/符号推理作为我们的测试床,并提出新的自动度量来评估生成模型的保真度w.r.t.逻辑推理由于序列顺序和逻辑顺序之间的不匹配,新任务对现有的单调生成框架提出了挑战。在我们的实验中,我们全面调查了不同的生成架构,(LSTM、Transformer、Pre-Trained LM)使用不同算法训练(RL,对抗训练,从粗到精),并进行了以下观察:1)预先训练的LM可以显著提高流畅性和逻辑保真度指标,2)RL和对抗训练是为了保真度而交易流畅性,3)从粗到精的生成可以部分缓解保真度问题,同时保持较高的语言流畅性。代码和数据可在\url{https://github.com/wenhuchen/LogicNLG}上获得。
2020-04-28 cs.AI cs.CL
The neural correlates of logical-mathematical symbol systems processing resemble that of spatial cognition more than natural language processing
Tsinghua University(清华大学);Beijing Normal University(北京师范大学)
本研究通过元分析和合成神经图谱对比发现,逻辑-数学符号加工的神经关联更接近空间认知而非语言加工,支持空间认知是其基础的假说,可为解释大语言模型的逻辑推理局限提供参考。
2024-06-20 cs.AI cs.CL q-bio.NC
Learning Language Representations with Logical Inductive Bias
Tencent AI Lab(腾讯人工智能实验室)
Transformer架构在解决自然语言任务方面取得了巨大的成功,这些任务从大规模未标记的文本中学习强语言表示。在本文中,我们寻求更进一步,探索一个新的逻辑归纳偏见,更好的语言表示学习。逻辑推理是从已知的知识和事实中得出答案的一种形式化方法。受这种观点的启发,我们开发了一种名为FOLNet(一阶逻辑网络)的新型神经架构,以编码这种新的归纳偏差。我们构建了一组神经逻辑运算符作为可学习的Horn子句,这些子句进一步被前向链接到完全可微的神经架构(FOLNet)中。有趣的是,我们发现Transformers中的自我注意模块可以由我们的两个神经逻辑运算符组成,这可能解释了它们强大的推理性能。我们提出的FOLNet具有与其他预训练模型相同的输入和输出接口,因此可以通过使用类似的损失进行预训练/微调。它还允许在替换其他预训练模型时以即插即用的方式使用FOLNet。由于我们的逻辑归纳偏见,通过预训练学习的同一套“逻辑推理技能”预计同样能够解决不同的下游任务。出于这个原因,FOLNet学习具有更强迁移能力的语言表示。几个语言理解任务的实验结果表明,我们的预训练的FOLNet模型优于现有的强转换为基础的方法。
2023-02-19 cs.CL cs.LG cs.LO
Discrete Word Embedding for Logical Natural Language Understanding
MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);IBM Research(IBM研究院)
我们提出了一个无监督的神经模型,用于学习单词的离散嵌入。与现有的离散嵌入不同,我们的二进制嵌入支持类似于连续嵌入的向量算术运算。我们的嵌入表示每个词作为一组命题语句描述的过渡规则在经典/CIPPS规划形式主义。这使得嵌入直接兼容的象征性,国家的最先进的经典规划求解器。
2020-10-15 cs.AI cs.CL
Interpretable and Explainable Logical Policies via Neurally Guided Symbolic Abstraction
Technical University of Darmstadt(达姆施塔特工业大学);National Research Center for Applied Cybersecurity(国家应用网络安全研究中心);Eindhoven University of Technology(埃因霍温理工大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);German Research Center for AI (DFKI)(德国人工智能研究中心)
本文提出NUDGE框架,通过神经引导的可微逻辑规则搜索,构建兼具可解释性与可说明性的策略,其性能优于纯神经网络且适应不同环境规模。
2023-10-25 cs.AI cs.CL cs.LG
AdaLoGN: Adaptive Logic Graph Network for Reasoning-Based Machine Reading Comprehension
Nanjing University(南京大学)
最近的机器阅读理解数据集,如ReClor和LogiQA,需要对文本进行逻辑推理。传统的神经模型不足以进行逻辑推理,而符号推理不能直接应用于文本。为了应对这一挑战,我们提出了一种神经符号的方法,预测答案,通过一个图表示文本单元之间的逻辑关系的消息。它采用了自适应逻辑图网络(AdaLoGN),自适应地推断逻辑关系,以扩展图形,本质上,实现神经和符号推理之间的相互和迭代增强。我们还实现了一种新的子图到节点的消息传递机制,以增强上下文选项的交互回答多项选择题。我们的方法在ReClor和LogiQA上显示出有希望的结果。
2022-03-16 cs.AI cs.CL cs.NE
Revealing Algorithmic Deductive Circuits for Logical Reasoning
Japan Advanced Institute of Science and Technology(日本科学技术先进研究院)
本研究通过因果中介分析定位大语言模型中负责逻辑推理步骤的注意力头,发现少量专用头处理事实和规则信息,而高层头促进信息整合和全局推理策略的出现。
2026-05-27 cs.AI cs.CL
A Comparative Study of Neurosymbolic AI Approaches to Interpretable Logical Reasoning
Raffles Institution(拉夫斯学院)
本研究比较了神经符号AI中整合与混合两种方法,发现混合方法(如LLM-SS)在通用逻辑推理上更具可解释性和优势,并提出了一个模块化、模型无关的通用框架。
2025-08-05 cs.AI cs.CL cs.LG
Child vs. machine language learning: Can the logical structure of human language unleash LLMs?
ZAS(莱布尼茨语言信息中心);HU Berlin(柏林洪堡大学)
本文对比人类与机器语言学习差异,通过德语复数形成实验证明大语言模型遗漏语言逻辑,提出关注结构差异以提升性能。
2025-02-24 cs.AI cs.CL
Weakly Supervised Named Entity Tagging with Learnable Logical Rules
University of California San Diego(加州大学圣地亚哥分校);Bosch Research North America(博世北美研究院);Bosch Research(博世研究院)
本文研究了在弱监督的情况下,使用少量规则建立实体标注系统的问题。以前的方法主要集中在基于上下文和专家提供的规则消除歧义的实体类型,而假设实体跨度是给定的。在这项工作中,我们提出了一种新的方法TALLOR,引导高质量的逻辑规则训练神经标签在一个完全自动化的方式。具体来说,我们引入了由简单规则组成的复合规则,以提高边界检测的精度,并生成更多样化的伪标签。我们进一步设计了一个动态标签选择策略,以确保伪标签的质量,从而避免过拟合的神经标签。在三个数据集上的实验表明,我们的方法优于其他弱监督方法,甚至可以与最先进的远程监督标记器相媲美,该标记器从20个简单规则开始时拥有超过2,000个术语。我们的方法可以作为一种工具,在新兴领域和任务中快速构建标记。案例研究表明,学习的规则可以潜在地解释预测的实体。
2021-07-05 cs.AI cs.CL
Logical Reasoning over Natural Language as Knowledge Representation: A Survey
Nanyang Technological University(南洋理工大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文综述了以自然语言作为知识表示、预训练语言模型作为推理器的逻辑推理新范式,涵盖其优势、基准、挑战及未来方向,该范式有效缓解了形式表示的瓶颈并优于端到端神经方法。
2024-02-16 cs.AI cs.CL
Measuring Systematic Generalization in Neural Proof Generation with Transformers
Polytechnique Montréal(蒙特利尔综合理工学院);McGill University(麦吉尔大学);Facebook AI Research(脸书人工智能研究院);ElementAI(元素人工智能公司)
我们感兴趣的是了解如何以及Transformer语言模型(TLM)可以执行推理任务时,在自然语言的形式编码的知识进行训练。我们调查他们的系统概括能力的逻辑推理任务,在自然语言,其中包括推理的基础上的一阶逻辑证明实体之间的关系。具体来说,我们执行软定理证明利用TLM生成自然语言证明。我们测试生成的证明的逻辑一致性,以及最终推理的准确性。我们观察到在比训练序列长的序列上进行评估时的长度泛化问题。然而,我们观察到TLM在暴露于更长,更详尽的证明后提高了其泛化性能。此外,我们发现,TLM能够更好地推广使用后向链证明相比,他们的前向链同行,而他们发现更容易生成前向链证明。我们观察到,没有经过训练来生成证明的模型更善于推广到基于较长证明的问题。这表明,Transformers具有高效的内部推理策略,但很难解释。这些结果突出了TLM在逻辑推理背景下的系统泛化行为,我们相信这项工作激发了对其潜在推理策略的更深入研究。
2020-10-20 cs.AI cs.CL cs.LG
Entity-Enriched Neural Models for Clinical Question Answering
UMass-Amherst(马萨诸塞大学阿默斯特分校);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research, Cambridge(IBM剑桥研究院)
我们探索了最先进的神经模型,用于电子医疗记录上的问答,并提高了它们在测试时更好地概括以前看不见的(释义)问题的能力。我们通过学习预测逻辑形式作为辅助任务以及答案广度检测的主要任务来实现这一点。预测的逻辑形式也可以作为答案的基本原理。此外,我们还通过ERNIE架构将医疗实体信息纳入这些模型中。我们在大规模emrQA数据集上训练我们的模型,并观察到我们的多任务实体丰富模型比基线BERT模型更好地泛化到释义问题~5%。
2021-02-20 cs.AI cs.CL cs.LG
Balancing Efficiency and Efficacy: Training-Free Attention-Guided Switching Between Explicit and Latent Thoughts for MLLMs
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
针对MLLM推理中感知与逻辑混淆的问题,提出无训练的注意力引导式切换框架,通过视觉-文本注意力比率自适应切换显式与隐式推理,实现性能与效率的双重提升。
2026-08-05 cs.AI cs.CL cs.CV
Quantifying Logical Consistency in Transformers via Query-Key Alignment
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);CNRS(法国国家科学研究中心);Université Paris Cité(巴黎西岱大学);Artificial Intelligence Research Institute (AIRI)(人工智能研究所(AIRI))
本文提出一种轻量级逻辑推理评估方法,通过Transformer注意力头中的查询-键对齐计算QK分数,无需额外训练即可区分有效与无效推理,并在多基准上验证了其鲁棒性和可扩展性。
2026-09-10 cs.AI cs.CL cs.IT
Low-Dimensional Hyperbolic Knowledge Graph Embeddings
Stanford University(斯坦福大学);Google Research(谷歌研究院);Amazon Alexa(亚马逊Alexa)
知识图谱(KG)嵌入学习实体和关系的低维表示以预测缺失的事实。KG经常表现出层次和逻辑模式,必须在嵌入空间中保存。对于分层数据,双曲线嵌入方法已经显示出高保真和简约表示的前景。然而,现有的双曲嵌入方法没有考虑到KG中丰富的逻辑模式。在这项工作中,我们引入了一类双曲KG嵌入模型,同时捕获层次和逻辑模式。我们的方法结合了双曲反射和旋转,并注意对复杂的关系模式进行建模。在标准KG基准上的实验结果表明,我们的方法在低维的平均倒数秩(MRR)上比以前基于欧几里得和双曲线的方法提高了6.1%。此外,我们观察到,不同的几何变换捕获不同类型的关系,而基于注意力的变换推广到多个关系。在高维度上,我们的方法在WN 18 RR上产生了49.6%的最新MRR,在YAGO 3 -10上产生了57.7%的最新MRR。
2020-05-01 cs.AI cs.CL cs.LG