EvoLearner: Learning Description Logics with Evolutionary Algorithms
Paderborn University（帕德博恩大学）
对知识图谱中的节点进行分类是一项重要的任务，例如，用于预测缺失的实体类型，预测哪些分子导致癌症，或预测哪些药物是有希望的治疗候选物。虽然黑盒模型通常具有很高的预测性能，但它们只是事后和局部可解释的，并且不允许学习的模型容易地用领域知识来丰富。为此，学习描述逻辑概念，从正面和负面的例子已经提出。然而，学习这些概念通常需要很长时间，并且最先进的方法对文字数据值的支持有限，尽管它们对许多应用程序至关重要。在本文中，我们提出了EvoLearner -一种进化方法来学习ALCQ（D）中的概念，ALCQ（D）是带有补充的属性语言（ALC），带有合格的基数限制（Q）和数据属性（D）。我们贡献了一个新的初始化方法的初始人口：从积极的例子，我们执行有偏随机游动，并将其转换为描述逻辑概念。此外，我们通过在决定在哪里分割数据时最大化信息增益来提高对数据属性的支持。我们证明了我们的方法在结构化机器学习的基准测试框架SML-Bench上的表现明显优于最先进的水平。我们的消融研究证实，这是由于我们的新的初始化方法和数据属性的支持。
2022-03-08 cs.AI cs.LG cs.NE
Transformers for Complex Query Answering over Knowledge Hypergraphs
CSE, HKUST, HKSAR, China（计算机科学与工程系，香港科技大学，香港特别行政区，中国）
针对知识超图上的复杂查询回答，提出两阶段Transformer模型LKHGT，结合投影与逻辑编码器及类型感知偏置，在CQA数据集上达到最先进性能并泛化至分布外查询。
2025-04-23 cs.AI cs.CL
LogiCoT: Logical Chain-of-Thought Instruction-Tuning
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Tencent AI lab（腾讯AI实验室）；Alibaba Group（阿里巴巴集团）；Westlake University（西湖大学）
本文提出LogiCoT数据集，通过收集指令引导GPT-4生成逻辑思维链推理依据，用于指令微调以提升模型在复杂推理任务上的能力，弥补现有自指令微调方法在逻辑推理方面的不足。
2023-10-28 cs.AI cs.CL
Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex Logical Queries
Tsinghua University（清华大学）；Meituan-Dianping Group（美团点评集团）
知识图谱（KG）嵌入已成为不完备知识图谱推理的主流方法。然而，受限于其固有的浅层次和静态的体系结构，它们很难处理日益增长的对复杂逻辑查询的关注，这些查询包括逻辑运算符、估算边、多个源实体和未知的中间实体。在这项工作中，我们提出了知识图谱Transformer（kgTransformer）与掩蔽的预训练和微调策略。我们设计了一个KG三重变换方法，使Transformer处理KG，这是进一步加强混合专家（MoE）稀疏激活。然后，我们制定了复杂的逻辑查询作为屏蔽预测，并引入了两个阶段的屏蔽预训练策略，以提高可移植性和泛化能力。在两个基准测试上进行的大量实验表明，kgTransformer在九个域内和域外推理任务上的性能始终优于基于KG嵌入的基线和高级编码器。此外，kgTransformer可以通过提供完整的推理路径来解释给定的答案，从而实现可解释性。
2022-08-16 cs.AI cs.LG
The Role of Logic and Automata in Understanding Transformers
Max-Planck Institute for Software Systems, Kaiserslautern, Germany University of Kaiserslautern-Landau, Kaiserslautern, Germany Institute for Mathematical
本文综述逻辑、自动机及电路复杂性在分析 Transformer 表达能力方面的作用，并指出其与验证交叉领域的开放问题。
2025-09-28 cs.CL cs.FL cs.LG
Deductive Logic in Language Models: Horizontal vs Vertical Reasoning
Department of Computer Science and Engineering, University of Bologna（博洛尼亚大学计算机科学与工程系）
研究小型Transformer语言模型在演绎任务中的推理机制，区分横向推理（自回归生成中间步骤）和纵向推理（跨层隐式推理），发现思维链监督有助于学习基于规则的推理，并通过机械可解释性揭示其实现方式。
2026-07-01 cs.AI cs.CL
Quantifying Logical Consistency in Transformers via Query-Key Alignment
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；CNRS（法国国家科学研究中心）；Université Paris Cité（巴黎西岱大学）；Artificial Intelligence Research Institute (AIRI)（人工智能研究所（AIRI））
本文提出一种轻量级逻辑推理评估方法，通过Transformer注意力头中的查询-键对齐计算QK分数，无需额外训练即可区分有效与无效推理，并在多基准上验证了其鲁棒性和可扩展性。
2026-09-10 cs.AI cs.CL cs.IT
NASP-T: A Fuzzy Neuro-Symbolic Transformer for Logic-Constrained Aviation Safety Report Classification
Faculty of Science and Technology (REALTEK)（科学与技术学院）；Norwegian University of Life Sciences (NMBU)（挪威生命科学大学）；Dresden International University (DIU)（德累斯顿国际大学）
提出NASP-T模糊神经符号框架，融合ASP规则与Transformer，通过数据增强和模糊正则化提升ASRS报告分类的逻辑一致性，F1分数提高且规则违规减少86%。
2025-10-06 cs.AI cs.LG
Logical Reasoning over Natural Language as Knowledge Representation: A Survey
Nanyang Technological University（南洋理工大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文综述了以自然语言作为知识表示、预训练语言模型作为推理器的逻辑推理新范式，涵盖其优势、基准、挑战及未来方向，该范式有效缓解了形式表示的瓶颈并优于端到端神经方法。
2024-02-16 cs.AI cs.CL
Measuring Systematic Generalization in Neural Proof Generation with Transformers
Polytechnique Montréal（蒙特利尔综合理工学院）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）；ElementAI（元素人工智能公司）
我们感兴趣的是了解如何以及Transformer语言模型（TLM）可以执行推理任务时，在自然语言的形式编码的知识进行训练。我们调查他们的系统概括能力的逻辑推理任务，在自然语言，其中包括推理的基础上的一阶逻辑证明实体之间的关系。具体来说，我们执行软定理证明利用TLM生成自然语言证明。我们测试生成的证明的逻辑一致性，以及最终推理的准确性。我们观察到在比训练序列长的序列上进行评估时的长度泛化问题。然而，我们观察到TLM在暴露于更长，更详尽的证明后提高了其泛化性能。此外，我们发现，TLM能够更好地推广使用后向链证明相比，他们的前向链同行，而他们发现更容易生成前向链证明。我们观察到，没有经过训练来生成证明的模型更善于推广到基于较长证明的问题。这表明，Transformers具有高效的内部推理策略，但很难解释。这些结果突出了TLM在逻辑推理背景下的系统泛化行为，我们相信这项工作激发了对其潜在推理策略的更深入研究。
2020-10-20 cs.AI cs.CL cs.LG
HT-HEDL: High-Throughput Hypothesis Evaluation in Description Logic
King Saud University（沙特国王大学）
本文提出 HT-HEDL 引擎，面向 $\mathcal{ALCQI}^{\mathcal{(D)}}$ 描述逻辑的 ILP 假设评估，通过 GPU 与向量化多线程 CPU 在单假设和批量假设两个层面实现显著加速与吞吐量提升。
2024-12-01 cs.AI cs.DC cs.DS
Implementing Derivations of Definite Logic Programs with Self-Attention Networks
Graduate School of Informatics（情报学研究科）；Kyoto University（京都大学）；Center for Innovative Research and Education in Data Science（数据科学创新研究与教育中心）
本文提出逻辑推理的限制版本可通过自注意力网络实现，证明了结合 FFNs 的自注意力网络分层结构能为一类逻辑公式实现自顶向下和自底向上的推导，揭示了 LLMs 隐式具备逻辑推理能力。
2024-10-15 cs.AI
Conditional Logical Message Passing Transformer for Complex Query Answering
South China University of Technology（华南理工大学）；Guangdong University of Petrochemical Technology（广东石油化工学院）；Jiangmen Polytechnic（江门职业技术学院）
本文提出 CLMPT，通过区分常量与变量节点进行条件消息传递，并用 Transformer 自注意力自适应聚合消息、建模逻辑依赖，在降低计算成本的同时成为 CQA 新的最先进模型。
2024-08-10 cs.AI cs.LG cs.LO
Teaching Temporal Logics to Neural Networks
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Saarland University（萨尔大学）；Google Research（谷歌研究院）
我们研究了神经符号计算中的两个基本问题：深度学习能否端到端地解决逻辑中的挑战性问题，以及神经网络能否学习逻辑的语义。在这项工作中，我们专注于线性时间时序逻辑（LTL），因为它被广泛用于验证。我们针对问题对一个Transformer进行训练，以直接预测给定LTL公式的解，即迹。训练数据是用经典解算器生成的，然而，经典解算器仅为每个公式提供许多可能的解之一。我们证明，这是足够的训练这些特定的解决方案的公式，和Transformers可以预测解决方案，甚至公式从基准的经典求解器超时的文献。Transformers还可以推广到逻辑的语义：虽然它们经常偏离经典求解器找到的解，但它们仍然可以预测大多数公式的正确解。
2021-02-18 cs.AI cs.LG cs.LO
SPILDL: A Scalable and Parallel Inductive Learner in Description Logic
King Saud University（沙特国王大学）
本文提出面向描述逻辑的可扩展并行归纳学习器 SPILDL，支持 $\mathcal{ALCQI}^{\mathcal{(D)}}$ 与字符串属性，并结合共享内存、分布式内存及 CPU+GPU 评估，最高实现约 560 倍加速。
2024-12-01 cs.AI cs.DC cs.DS
Symbolic Rule Extraction from Attention-Guided Sparse Representations in Vision Transformers
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出从视觉转换器中提取可执行逻辑程序的方法，通过稀疏概念层和逻辑程序生成算法提升模型的可解释性和可验证性。
2025-05-10 cs.AI cs.CV
Causal Language Modeling Can Elicit Search and Reasoning Capabilities on Logic Puzzles
UT Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）
本研究验证了基于逻辑步骤序列训练的Transformer因果语言模型可学会解数独（正确率94.21%）与Zebra谜题（正确率92.04%），且其内部表示隐含推理能力，证明该训练方式能激发搜索与推理能力。
2024-09-16 cs.CL cs.LG
Reasoning in Transformers -- Mitigating Spurious Correlations and Reasoning Shortcuts
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文研究Transformer在命题逻辑推理中如何避免虚假相关导致的推理捷径，提出神经符号模型SIP-BART并验证其有效性，同时识别出四类新的推理错误。
2024-03-17 cs.CL cs.LG
LOLAMEME: Logic, Language, Memory, Mechanistic Framework
Amazon（亚马逊）；Dartmouth（达特茅斯学院）
本文提出了 LOLAMEME 框架，通过结合逻辑、记忆和语言细微差别评估语言模型机制，并提出了混合架构 T HEX，在特定任务上优于 GPT-2 和 Hyena。
2024-05-31 cs.AI cs.CL cs.LG
Logicbreaks: A Framework for Understanding Subversion of Rule-based Inference
University of Pennsylvania（宾夕法尼亚大学）
提出基于命题Horn逻辑的框架，形式化分析并证明恶意提示可颠覆LLM的规则遵循能力，为逻辑推理与越狱攻击提供理论基础。
2025-02-28 cs.AI cs.CL cs.CR
Constructing a Neuro-Symbolic Mathematician from First Principles
Keqin Xie
本文提出Mathesis架构，通过神经符号方法将数学状态编码为超图，并利用可微逻辑引擎实现逻辑一致性与能量最小化，以提升复杂推理能力。
2025-12-31 cs.AI
Learning Semantic Structure through First-Order-Logic Translation
IRIT（法国图卢兹计算机科学、电子与通信研究所）；CNRS（法国国家科学研究中心）
针对Transformer语言模型易混淆谓词与对应宾语的问题，该研究探索问答、一阶逻辑翻译两项任务及提示、微调两种范式，发现大语言模型的一阶逻辑翻译更适合学习谓词论元结构。
2024-10-04 cs.CL cs.LG
Bi-Link: Bridging Inductive Link Predictions from Text via Contrastive Learning of Transformers and Prompts
Modelbest；Tsinghua University（清华大学）；University College London（伦敦大学学院）
归纳知识图谱完备化要求模型理解关系的底层语义和逻辑模式。随着预训练语言模型的发展，最近的研究已经为链接预测任务设计了Transformers。然而，实证研究表明，线性化三元组会影响关系模式的学习，如反转和对称。在本文中，我们提出了双链接，一个对比学习框架与概率语法提示链接预测。使用语法知识的BERT，我们有效地搜索关系提示，根据学习的语法模式，推广到大型知识图谱。为了更好地表达对称关系，我们设计了一个对称链接预测模型，在前向预测和后向预测之间建立双向链接。这种双向链接在测试时提供灵活的自集成策略。在我们的实验中，Bi-Link在链接预测数据集（WN 18 RR，FB 15 K-237和Wikidata 5 M）上的表现优于最近的基线。此外，我们构造Zeshel-Ind作为一个域内的归纳实体连接的环境，以评估双链接。实验结果表明，我们的方法产生鲁棒的表示，可以推广下域移位。
2022-10-26 cs.CL
Neuro-Symbolic Graph Transformers for Hierarchical Intention Recognition from Multimodal Human Activity Sequences
本文针对人机协作中分层意图识别的需求，提出神经符号图Transformer（NSGT），结合人类推理图与可微分一阶逻辑损失，在NTU-Hierarchy数据集上验证了其在动作准确率、逻辑一致性及本体一致性上的优势。
2026-10-14 cs.AI cs.LG
When Decodability Is Not Enough: Logical Validity Representations, Behavioral Dissociation, and Causal Tests in Language Models
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本研究针对5个开放权重Transformer模型，揭示语言模型中逻辑有效性的表征、行为表达与因果运用存在分离，其有效性信息可从隐藏状态强解码却未必在输出中体现。
2026-09-03 cs.CL cs.LG
A neurosymbolic Approach with Epistemic Deep Learning for Hierarchical Image Classification
Institute for AI, Data Analysis and Systems (AIDAS) School of Engineering, Computing and Mathematics, Oxford Brookes University, UK（人工智能、数据分析和系统研究所（AIDAS）工程、计算与数学学院，英国奥克斯福德布鲁克斯大学）
本文提出一种统一的神经符号和认知建模框架，通过融合Swin Transformer、焦点集推理和可微模糊逻辑，提升分层图像分类的准确性和逻辑一致性。
2026-05-11 cs.AI cs.CV stat.ML
The Ditmarsch Tale of Wonders - The Dynamics of Lying
University of Seville（塞维利亚大学）
我们提出了一个动态的说谎逻辑，其中一个“说谎，φ”（其中φ是一个公式的逻辑）是一个动作的意义上的动态模态逻辑，这是解释为一个状态Transformer相对于公式φ。被转换的状态是指向的Kripke模型，编码了代理人对他们信念的不确定性。谎言可以是关于事实命题的，也可以是关于模态公式的，比如其他代理人的信念或其他代理人谎言的信念后果。我们区分（i）一个外部观察者对系统中建模的代理人撒谎，（ii）一个代理人对另一个代理人撒谎，并且两者都在系统中建模。对于这两种情况，我们进一步区分了（iii）相信它被告知的一切（即使以不一致为代价）的代理人，（iv）只相信它被告知的与其当前信念一致的代理人，以及（v）通过不断修改其当前信念来相信它被告知的一切的代理人。逻辑有完整的公理化，这可以通过它们嵌入到所谓的动作模型逻辑或该逻辑的扩展到信念修正中来最优雅地显示。
2012-03-21 cs.AI cs.LO
Is Next Token Prediction Sufficient for GPT? Exploration on Code Logic Comprehension
Microsoft Cloud and AI（微软云与人工智能）；School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
该研究针对现有大语言模型仅靠下一个词元预测难以真正理解代码逻辑的问题，提出逻辑等价代码选择任务验证缺陷，并推出Next Token Prediction+预训练任务，在不损失生成能力的前提下显著提升了Code Llama等代码模型的相关任务表现。
2024-04-13 cs.CL cs.LG cs.PL
Hierarchical Neuro-Symbolic Decision Transformer
Rochester Institute of Technology（罗切斯特理工学院）
提出层次化神经符号控制框架，通过耦合符号规划器与基于Transformer的策略解决不确定性下长时序决策问题，兼顾可解释性与适应性，在随机网格世界中表现优于纯符号、纯神经及层次化基线。
2025-05-29 cs.AI cs.LG cs.SC
Tensor Logic: The Language of AI
University of Washington（华盛顿大学）
本文提出张量逻辑语言，通过统一神经与符号AI，以张量方程为核心，实现多种AI范式，并支持嵌入空间中的可靠推理，结合可扩展性与透明性。
2025-10-16 cs.AI cs.LG cs.NE
Assessing Logical Reasoning Capabilities of Encoder-Only Transformer Models
Instituto Mauá de Tecnologia（莫阿技术学院）；University of Alberta（阿尔伯塔大学）；Universidade de São Paulo（圣保罗大学）
本文通过定理推导、交叉探测和逐层分析评估仅编码器Transformer模型的逻辑推理能力，发现其学到的多为数据集特定特征而非通用逻辑能力，且任务主要由高层网络解决。
2024-07-01 cs.AI cs.CL
Bridging Logic and Learning: Decoding Temporal Logic Embeddings via Transformers
AILab, MIGe, University of Trieste（特里埃斯特大学）；Center for Language and Cognition (CLCG), University of Groningen（格罗宁根大学语言与认知中心）
针对逻辑公式连续表示的不可逆问题，提出基于Transformer的纯解码器模型，将STL公式的语义嵌入逆映射为具体规约，并在需求挖掘任务中验证了其有效捕获语义信息及分布外泛化的能力。
2025-07-10 cs.AI cs.CL
Is logical analysis performed by transformers taking place in self-attention or in the fully connected part?
School of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学学院）
本文通过手工构建单层编码器并在语法类别对预测任务上测试，发现Transformer的逻辑分析可在自注意力中完成，并计算了梯度下降中的不希望零点以避免其影响。
2025-01-20 cs.AI cs.CL cs.LG
Logical Reasoning for Task Oriented Dialogue Systems
Amazon（亚马逊）
近年来，大型预训练模型已被用于对话系统中，以提高成功的任务完成率。然而，对话平台的推理能力的缺乏使得难以提供相关且流畅的响应，除非对话体验的设计者花费大量时间在基于外部规则的模块中实现这些能力。在这项工作中，我们提出了一种新的方法来微调预训练的Transformer模型，如Roberta和T5。在给定的对话环境中对一组事实进行推理。我们的方法包括一个合成数据生成机制，它可以帮助模型学习逻辑关系，例如数值列表之间的比较，逆关系（和否定），分类属性的包含和排除，以及数值和分类值的属性组合的应用，以及数值的口语形式，而不需要额外的训练数据集。我们表明，基于Transformer的模型可以执行逻辑推理来回答问题时，对话上下文包含所有所需的信息，否则它是能够提取适当的约束传递到下游组件（例如知识库）时，部分信息可用。我们观察到，基于Transformer的模型（如UnifiedQA-T5）可以被微调，以对在训练时间中看到的属性（例如，对于小于$k_{\max}$ =5的值与保留测试数据集的比较，准确度为90%+）。
2022-02-08 cs.AI cs.CL
Logiformer: A Two-Branch Graph Transformer Network for Interpretable Logical Reasoning
Xi’an Jiaotong University（西安交通大学）；Shaanxi Province Key Laboratory of Satellite and Terrestrial Network Tech. R&D（陕西省卫星与地面网络技术研发重点实验室）；National Engineering lab for Big Data Analytics（国家大数据分析工程实验室）
机器阅读理解由于探索了模型在文本理解中的潜力而受到广泛关注。为了进一步使机器具有推理能力，提出了逻辑推理的挑战性任务。以往的逻辑推理研究从不同的角度提出了一些逻辑单位抽取的策略。然而，仍然存在对逻辑单元之间的长距离依赖性建模的挑战。此外，它要求揭示文本的逻辑结构，并进一步融合离散逻辑的连续文本嵌入。为了解决上述问题，我们提出了一个端到端的模型Logiformer，它利用一个双分支图Transformer网络的文本逻辑推理。首先，我们引入不同的抽取策略，将文本分成两组逻辑单元，分别构造逻辑图和语法图。逻辑图对逻辑分支的因果关系进行建模，而语法图捕获语法分支的同现关系。其次，为了对长距离依赖进行建模，每个图的节点序列被馈送到全连接图Transformer结构中。两个相邻的矩阵被视为图Transformer层的注意力偏差，图层将离散的逻辑结构映射到连续的文本嵌入空间。第三，在答案预测之前引入了动态门机制和问题感知自注意模块来更新特征。推理过程通过使用与人类认知一致的逻辑单位来提供可解释性。实验结果表明，我们的模型的优越性，它优于国家的最先进的单一模型在两个逻辑推理基准。
2022-07-08 cs.CL
Understanding Inter-Session Intentions via Complex Logical Reasoning
HKUST（香港科技大学）；Amazon.com Inc（亚马逊公司）
本文提出逻辑会话复杂查询回答（LS-CQA）任务，将跨会话复杂意图建模为超图上的逻辑查询，并设计 LSGT 模型，在三个数据集上取得最先进结果。
2024-06-14 cs.AI cs.CL
Counting Like Transformers: Compiling Temporal Counting Logic Into Softmax Transformers
University of Notre Dame（圣母大学）
该研究提出时序计数逻辑 K_t[#] 与 C-RASP，并证明二者等价且可编译为未来掩码软注意力 Transformer，从而给出其无界输入下表达能力的已知最佳下界。
2024-12-01 cs.CL cs.FL cs.LG
Can Transformers Reason in Fragments of Natural Language?
ASUS Intelligent Cloud Services (AICS)（华硕智能云服务（AICS））；University of Manchester（曼彻斯特大学）；Instytut Informatyki Uniwersytet Opolski（奥波莱大学信息学研究所）
最先进的基于深度学习的自然语言处理（NLP）方法被认为具有涉及自然语言文本推理的各种能力。在本文中，我们进行了一个大规模的实证研究调查的检测正式有效的推理控制片段的自然语言的可满足性问题变得越来越复杂。我们发现，虽然基于transformer的语言模型在这些场景中表现得令人惊讶，但更深入的分析表明，它们似乎过拟合数据中的表面模式，而不是获得控制这些片段中推理的逻辑原则。
2022-11-10 cs.AI cs.CL
Enhanced Sentiment Interpretation via a Lexicon-Fuzzy-Transformer Framework
本文提出一种结合规则启发式、上下文深度学习和模糊逻辑的混合框架，用于提升领域特定文本中情感极性和强度的识别精度。
2025-12-09 cs.AI cs.CL
Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer
Duke University（杜克大学）；Tencent AI Lab（腾讯人工智能实验室）
开发能够进行逻辑推理的神经架构对于广泛的应用（例如，自然语言处理）。为了实现这一宏伟目标，我们提出了一个符号推理架构，链接许多连接运算符在一起，以模拟输出逻辑表达式。特别是，我们证明了这样的合奏的连接链可以表示一个广泛的子集的“树结构”的一阶逻辑表达式，名为FOET，这是特别有用的建模自然语言。为了赋予它可微的学习能力，我们仔细研究了各种神经算子近似的符号连接链。有趣的是，我们发现Transformer中广泛使用的多头自注意模块可以理解为一种特殊的神经算子，它实现了概率谓词空间中连接算子的联合界。我们的分析不仅为BERT等预训练模型用于自然语言理解的机制提供了新的视角，而且还提出了几个重要的未来改进方向。
2022-10-23 cs.CL cs.LG
Does Entity Abstraction Help Generative Transformers Reason?
Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（Mila））；Polytechnique Montreal（蒙特利尔理工学院）；ServiceNow Research（ServiceNow研究院）；McGill University（麦吉尔大学）
我们研究了将实体类型抽象纳入预先训练的Transformers的实用性，并在四个需要不同形式逻辑推理的NLP任务上测试这些方法：（1）基于文本的关系推理（CLUTRR）的组合语言理解，（2）溯因推理（ProofWriter），（3）多跳问答（HotpotQA），以及（4）会话问答（CoQA）。我们提出并经验性地探索了三种添加这种抽象的方法：（i）作为额外的输入嵌入，（ii）作为单独的编码序列，以及（iii）作为模型的辅助预测任务。总体而言，我们的分析表明，模型与抽象实体知识的表现优于没有它。最好的抽象感知模型实现了88.8%和91.8%的整体准确率相比，基线模型实现62.9%和89.8%的CLUTRR和ProofWriter分别。然而，对于HotpotQA和CoQA，我们发现F1分数平均只提高了0.5%。我们的研究结果表明，显式抽象的好处是显着的，在正式定义的逻辑推理设置需要许多推理跳，但点的概念，它是不太有益的NLP任务具有不太正式的逻辑结构。
2022-11-21 cs.AI cs.CL cs.LG
Learning to Estimate System Specifications in Linear Temporal Logic using Transformers and Mamba
Middle East Technical University（中东技术大学）；Microsoft（微软）
本文提出基于自回归的Transformer和Mamba架构，从系统轨迹生成线性时序逻辑公式以解决规约挖掘问题，并设计了独特性量化指标与语法约束算法，以极低计算成本生成正确且独特的公式。
2024-05-31 cs.CL cs.LG cs.LO
Exploring Graph Representations of Logical Forms for Language Modeling
University at Buffalo（布法罗大学）；Saarland University（萨尔兰州大学）
本文提出基于逻辑形式图表示的预训练语言模型 GFoLDS，证明其比文本模型 BERT 更数据高效，并能随参数和数据扩展，验证了逻辑形式语言模型的可行性。
2025-07-18 cs.AI cs.CL
Logical Natural Language Generation from Open-Domain Tables
University of California Santa Barbara（加州大学圣巴巴拉分校）；Tencent AI Lab（腾讯人工智能实验室）；The Ohio State University（俄亥俄州立大学）
神经自然语言生成（NLG）模型最近在流畅性和连贯性方面取得了显著的进展。然而，现有的神经NLG的研究主要集中在表面水平的实现与有限的重视逻辑推理，人类思维和语言的一个重要方面。在本文中，我们提出了一个新的NLG任务，模型的任务是生成自然语言语句，可以是\emph{logically entailed}的事实在一个开放域的半结构化表。为了便于研究所提出的逻辑NLG问题，我们使用现有的TabFact数据集\cite{chen2019tabfact}具有广泛的逻辑/符号推理作为我们的测试床，并提出新的自动度量来评估生成模型的保真度w.r.t.逻辑推理由于序列顺序和逻辑顺序之间的不匹配，新任务对现有的单调生成框架提出了挑战。在我们的实验中，我们全面调查了不同的生成架构，（LSTM、Transformer、Pre-Trained LM）使用不同算法训练（RL，对抗训练，从粗到精），并进行了以下观察：1）预先训练的LM可以显著提高流畅性和逻辑保真度指标，2）RL和对抗训练是为了保真度而交易流畅性，3）从粗到精的生成可以部分缓解保真度问题，同时保持较高的语言流畅性。代码和数据可在\url{https://github.com/wenhuchen/LogicNLG}上获得。
2020-04-28 cs.AI cs.CL
Transformers as Soft Reasoners over Language
Allen Institute for AI（艾伦人工智能研究所）
从McCarthy的Advice Taker（1959）开始，AI追求的目标是提供一个具有明确的一般知识的系统，并让系统对这些知识进行推理。然而，表达的知识在一个正式的（逻辑或概率）表示一直是一个主要的障碍，这项研究。本文研究了一种现代的方法来解决这个问题，其中的事实和规则提供的自然语言句子，从而绕过了正式的表示。我们训练Transformers使用综合生成的数据对这些句子进行推理（或模拟推理）。我们的模型，我们称之为RuleTakers，提供了第一个经验证明，这种对语言的软推理是可学习的，可以达到高（99%）的准确率，并推广到测试数据，需要比训练期间更深的链接（95%+分数）。我们还表明，模型转移到两个手工编写的规则库，并解释成更多的自然语言的规则库。这些发现是重要的，因为它表明了Transformers的新作用，即作为有限的“软定理证明器”在语言中的明确理论操作。这反过来又为问答中的可解释性、可纠正性和反事实推理提供了新的可能性。
2020-05-05 cs.AI cs.CL
Evaluating the Logical Reasoning Ability of ChatGPT and GPT-4
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Fudan University（复旦大学）
该研究通过多个逻辑推理基准及自建分布外数据集测试ChatGPT和GPT-4的推理能力，发现二者在知名数据集表现较好但新数据集和分布外场景性能下降，同时发布了LogiEval基准套件。
2023-05-05 cs.AI cs.CL
Sparse Universal Transformer
MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；Mila, University of Montreal（蒙特利尔大学米拉研究所）
针对通用 Transformer 扩展参数计算和内存开销大的问题，提出稀疏通用 Transformer，结合稀疏专家混合与基于 stick-breaking 的动态停止机制，在保持参数效率和泛化能力的同时降低计算复杂度，实验证明性能相当且推理计算减半。
2023-10-11 cs.AI cs.CL
Rule Learning as Machine Translation using the Atomic Knowledge Bank
University of Bergen（卑尔根大学）；University of Oslo（奥斯陆大学）
针对语言模型推理可信度存疑、人工构建逻辑规则系统耗时易错的问题，本研究探索用Transformer将自然语言规则译为逻辑规则，复用现有推理器，并基于Atomic知识库构建了翻译数据集。
2023-11-05 cs.AI cs.CL
Neural Unification for Logic Reasoning over Natural Language
IBM Research / Europe（IBM研究院欧洲分院）
自动定理证明（ATP）涉及计算机程序的开发，该程序能够表明某些查询（查询）是一组公理（事实和规则）的逻辑结果。存在几个成功的ATP，其中形式化地提供了公理和公理（例如，形式化为一阶逻辑公式）。最近的方法，例如（Clark等人，2020）提出了基于变换器的架构，用于导出以自然语言（英语）表示的给定公理的结构。通过二进制文本分类器验证猜想，其中Transformers模型被训练以预测给定公理的猜想的真值。RuleTaker方法（Clark等人，2020）在准确性和泛化能力方面都取得了令人瞩目的结果，表明当模型使用足够深的查询（至少3个推理步骤）进行训练时，Transformers能够正确回答大多数查询（97.6%），这些查询需要多达5个推理步骤。在这项工作中，我们提出了一种新的架构，即神经统一器，以及一个相对的训练过程，它在泛化方面取得了最先进的结果，表明模仿一个众所周知的推理过程，反向链接，即使模型只在浅层上训练，也可以回答深层查询。该方法在实验中使用不同的基准数据集证明。
2021-09-17 cs.CL
Three tiers of computation in transformers and in brain architectures
Dartmouth College（达特茅斯学院）
本文基于语法–自动机层级提出三层计算框架，通过人类与十五个语言模型的基准评估，说明层级过渡而非模型规模决定语言与逻辑能力。
2026-10-06 cs.CL cs.NE q-bio.NC
Learning Language Representations with Logical Inductive Bias
Tencent AI Lab（腾讯人工智能实验室）
Transformer架构在解决自然语言任务方面取得了巨大的成功，这些任务从大规模未标记的文本中学习强语言表示。在本文中，我们寻求更进一步，探索一个新的逻辑归纳偏见，更好的语言表示学习。逻辑推理是从已知的知识和事实中得出答案的一种形式化方法。受这种观点的启发，我们开发了一种名为FOLNet（一阶逻辑网络）的新型神经架构，以编码这种新的归纳偏差。我们构建了一组神经逻辑运算符作为可学习的Horn子句，这些子句进一步被前向链接到完全可微的神经架构（FOLNet）中。有趣的是，我们发现Transformers中的自我注意模块可以由我们的两个神经逻辑运算符组成，这可能解释了它们强大的推理性能。我们提出的FOLNet具有与其他预训练模型相同的输入和输出接口，因此可以通过使用类似的损失进行预训练/微调。它还允许在替换其他预训练模型时以即插即用的方式使用FOLNet。由于我们的逻辑归纳偏见，通过预训练学习的同一套“逻辑推理技能”预计同样能够解决不同的下游任务。出于这个原因，FOLNet学习具有更强迁移能力的语言表示。几个语言理解任务的实验结果表明，我们的预训练的FOLNet模型优于现有的强转换为基础的方法。
2023-02-19 cs.CL cs.LG cs.LO
Pushing the Limits of Rule Reasoning in Transformers through Natural Language Satisfiability
Allen Institute for AI（艾伦人工智能研究所）
研究Transformer模型的推理能力，并为它们发现新的挑战性任务，一直是人们感兴趣的话题。最近的研究发现，这些模型在对用自然语言表达的形式逻辑理论进行演绎推理时表现得出奇的强大。然而，这些研究的一个缺点是，它们没有考虑到逻辑理论，当随机均匀抽样时，不一定会导致硬实例。我们提出了一种新的方法来创建具有挑战性的算法推理数据集，专注于自然语言可满足性（NLSat）的问题。其核心思想是从命题SAT难题的经验抽样和语言的复杂性理论研究中汲取见解。这种方法使我们能够区分容易和困难的实例，并系统地增加现有的推理基准，如RuleTaker的复杂性。我们发现，电流Transformers，有足够的训练数据，是令人惊讶的强大的解决所产生的NLSat问题的难度大大增加。它们还表现出一定程度的尺度不变性--能够推广到更大规模和范围的问题。然而，我们的研究结果也揭示了重要的局限性：对训练数据进行仔细的采样对于构建可推广到更大问题的模型至关重要，而Transformer模型有限的尺度不变性表明它们远不能学习鲁棒的演绎推理算法。
2021-12-16 cs.CL
Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models
University of Manchester（曼彻斯特大学）；National Biomarker Centre, CRUK-MI, University of Manchester（曼彻斯特大学国家生物标志物中心，英国癌症研究中心曼彻斯特研究所）；Idiap Research Institute（Idiap 研究所）
本文针对基于 Transformer 的 NLI 模型，利用因果效应估计和干预实验分析自然逻辑特征，揭示相近基准准确率背后的行为差异及单调性、否定相关偏差。
2024-04-03 cs.CL
Simulating Hard Attention Using Soft Attention
University of Notre Dame（诺丁汉大学）；Umeå University（乌梅大学）；Yale University（耶鲁大学）
研究软注意力 transformers 模拟硬注意力的条件，证明利用无界位置嵌入或温度缩放可计算线性时序逻辑公式，并使 softmax transformers 能模拟通用硬注意力 transformers。
2025-06-26 cs.CL cs.FL cs.LG
