Does Entity Abstraction Help Generative Transformers Reason?
Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（Mila））；Polytechnique Montreal（蒙特利尔理工学院）；ServiceNow Research（ServiceNow研究院）；McGill University（麦吉尔大学）
我们研究了将实体类型抽象纳入预先训练的Transformers的实用性，并在四个需要不同形式逻辑推理的NLP任务上测试这些方法：（1）基于文本的关系推理（CLUTRR）的组合语言理解，（2）溯因推理（ProofWriter），（3）多跳问答（HotpotQA），以及（4）会话问答（CoQA）。我们提出并经验性地探索了三种添加这种抽象的方法：（i）作为额外的输入嵌入，（ii）作为单独的编码序列，以及（iii）作为模型的辅助预测任务。总体而言，我们的分析表明，模型与抽象实体知识的表现优于没有它。最好的抽象感知模型实现了88.8%和91.8%的整体准确率相比，基线模型实现62.9%和89.8%的CLUTRR和ProofWriter分别。然而，对于HotpotQA和CoQA，我们发现F1分数平均只提高了0.5%。我们的研究结果表明，显式抽象的好处是显着的，在正式定义的逻辑推理设置需要许多推理跳，但点的概念，它是不太有益的NLP任务具有不太正式的逻辑结构。
2022-11-21 cs.AI cs.CL cs.LG
Emergent Analogical Reasoning in Transformers
The University of Tokyo（东京大学）；Google Deep Mind（谷歌深Mind）
本研究通过范畴论中的函子概念形式化类比推理，设计合成任务探究Transformer中类比推理的涌现机制，发现其依赖于数据特征、优化选择和模型规模，并通过机制分析揭示几何对齐和函子应用两个关键组件。
2026-05-27 cs.AI
A Theoretical Understanding of Chain-of-Thought: Coherent Reasoning and Error-Aware Demonstration
Michigan State University（密歇根州立大学）；Amazon（亚马逊公司）
本文从理论上证明连贯思维链（Coherent CoT）相比逐步上下文学习具有更好的纠错能力，并发现Transformer对中间推理步骤错误更敏感，据此提出在演示中同时纳入正确与错误推理路径的改进方法并实验验证其有效性。
2024-10-21 cs.AI cs.CL cs.LG
Hypergraph Transformer: Weakly-supervised Multi-hop Reasoning for Knowledge-based Visual Question Answering
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；AI Institute (AIIS), Seoul National University（首尔国立大学人工智能研究院（AIIS））
基于知识的视觉问答（QA）的目的是回答一个问题，这需要视觉基础的外部知识超越图像内容本身。在弱监督下对需要多跳推理的复杂问题进行推理被认为是一个具有挑战性的问题，因为i）没有对推理过程进行监督，ii）需要捕获多跳知识事实的高阶语义。在本文中，我们引入超图的概念来编码问题和知识库的高级语义，并学习它们之间的高阶关联。提出的模型Hypergraph Transformer构造了一个问题超图和一个查询感知知识超图，并通过编码超图之间的关联和超图本身的关联来推断答案。在两个基于知识的视觉问答和两个基于知识的文本问答上的实验证明了该方法的有效性，特别是对于多跳推理问题。我们的源代码可以在https://github.com/yujungheo/kbvqa-public上找到。
2022-04-22 cs.AI cs.CL cs.CV
Logiformer: A Two-Branch Graph Transformer Network for Interpretable Logical Reasoning
Xi’an Jiaotong University（西安交通大学）；Shaanxi Province Key Laboratory of Satellite and Terrestrial Network Tech. R&D（陕西省卫星与地面网络技术研发重点实验室）；National Engineering lab for Big Data Analytics（国家大数据分析工程实验室）
机器阅读理解由于探索了模型在文本理解中的潜力而受到广泛关注。为了进一步使机器具有推理能力，提出了逻辑推理的挑战性任务。以往的逻辑推理研究从不同的角度提出了一些逻辑单位抽取的策略。然而，仍然存在对逻辑单元之间的长距离依赖性建模的挑战。此外，它要求揭示文本的逻辑结构，并进一步融合离散逻辑的连续文本嵌入。为了解决上述问题，我们提出了一个端到端的模型Logiformer，它利用一个双分支图Transformer网络的文本逻辑推理。首先，我们引入不同的抽取策略，将文本分成两组逻辑单元，分别构造逻辑图和语法图。逻辑图对逻辑分支的因果关系进行建模，而语法图捕获语法分支的同现关系。其次，为了对长距离依赖进行建模，每个图的节点序列被馈送到全连接图Transformer结构中。两个相邻的矩阵被视为图Transformer层的注意力偏差，图层将离散的逻辑结构映射到连续的文本嵌入空间。第三，在答案预测之前引入了动态门机制和问题感知自注意模块来更新特征。推理过程通过使用与人类认知一致的逻辑单位来提供可解释性。实验结果表明，我们的模型的优越性，它优于国家的最先进的单一模型在两个逻辑推理基准。
2022-07-08 cs.CL
Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis
研究通过可控数据集和激活分析，揭示Transformer模型中回忆与推理的分离电路，为模型泛化和安全部署提供依据。
2026-03-13 cs.AI cs.LG
Bottlenecked Transformers: Periodic KV Cache Consolidation for Generalised Reasoning
University College London（伦敦大学学院）；Huawei Noah’s Ark（华为诺亚方舟）
本文提出瓶颈化Transformer，通过周期性非因果的KV重写提升推理能力，基于信息瓶颈理论分析其有效性，并在数学推理任务中验证性能提升。
2026-03-25 cs.AI cs.IT cs.LG
AlphaIntegrator: Transformer Action Search for Symbolic Integration Proofs
ETH Zurich（苏黎世联邦理工学院）
AlphaIntegrator提出用GPT transformer策略引导符号积分规则搜索，构建逐步积分数据集，在准确率与效率上超越数据生成器，并证明仅微调LLM不足以解决该数学任务。
2024-10-03 cs.AI cs.LG cs.SC
Can Transformers Reason in Fragments of Natural Language?
ASUS Intelligent Cloud Services (AICS)（华硕智能云服务（AICS））；University of Manchester（曼彻斯特大学）；Instytut Informatyki Uniwersytet Opolski（奥波莱大学信息学研究所）
最先进的基于深度学习的自然语言处理（NLP）方法被认为具有涉及自然语言文本推理的各种能力。在本文中，我们进行了一个大规模的实证研究调查的检测正式有效的推理控制片段的自然语言的可满足性问题变得越来越复杂。我们发现，虽然基于transformer的语言模型在这些场景中表现得令人惊讶，但更深入的分析表明，它们似乎过拟合数据中的表面模式，而不是获得控制这些片段中推理的逻辑原则。
2022-11-10 cs.AI cs.CL
T^2MLR: Transformer with Temporal Middle-Layer Recurrence
Princeton University（普林斯顿大学）
研究针对Transformer推理受自回归解码限制问题，提出T2MLR架构，将前token缓存中间层表示融合到当前token较早层，在自然语言预训练和多跳推理微调中表现优，且局部中层块应用循环效果好，还无需从头预训练，降低实际应用门槛。
2026-07-20 cs.AI cs.CL
Behavior Cloned Transformers are Neurosymbolic Reasoners
University of Arizona（亚利桑那大学）；Microsoft Research（微软研究院）；Allen Institute for AI（艾伦人工智能研究所）
在这项工作中，我们将探索用符号模块中的信息增强交互式代理的技术，就像人类使用计算器和GPS系统等工具来辅助算术和导航一样。我们测试我们的代理人的能力，在文本游戏-具有挑战性的基准评估多步推理能力的游戏代理人在接地，基于语言的环境。我们的实验研究表明，从这些符号模块注入到行为克隆Transformer代理的动作空间的动作增加性能测试算术，导航，排序和常识推理的四个文本游戏基准，平均22%，允许代理达到最高的性能看不见的游戏。这种动作注入技术很容易扩展到新的代理、环境和符号模块。
2023-02-11 cs.AI cs.CL
When can transformers reason with abstract symbols?
Apple（苹果公司）；MIT（麻省理工学院）；EPFL（洛桑联邦理工学院）
本文证明在充足数据和梯度下降训练下，transformer 可对抽象关系实现分布外泛化，并提出每头仅增加两个可训练参数的架构改进以提升推理学习的数据效率。
2024-04-16 cs.AI cs.CL cs.LG
Assessing Logical Reasoning Capabilities of Encoder-Only Transformer Models
Instituto Mauá de Tecnologia（莫阿技术学院）；University of Alberta（阿尔伯塔大学）；Universidade de São Paulo（圣保罗大学）
本文通过定理推导、交叉探测和逐层分析评估仅编码器Transformer模型的逻辑推理能力，发现其学到的多为数据集特定特征而非通用逻辑能力，且任务主要由高层网络解决。
2024-07-01 cs.AI cs.CL
Are Transformers Able to Reason by Connecting Separated Knowledge in Training Data?
Northwestern University（西北大学）
本文引入FTCT任务验证Transformers连接分离知识进行组合推理的能力，发现少样本思维链提示能促使其推断完整因果图轨迹，且该能力与模型复杂度和训练-测试数据相似度高度相关。
2025-10-11 cs.AI cs.CL cs.LG
Decoupling Knowledge and Reasoning in Transformers: A Modular Architecture with Generalized Cross-Attention
Tsinghua University（清华大学）；Ant Group（蚂蚁集团）
提出模块化 Transformer，通过带层特定变换的广义交叉注意力解耦知识与推理，并证明标准 FFN 是其特例。
2025-01-06 cs.AI cs.CL cs.LG
Reasoning in Transformers -- Mitigating Spurious Correlations and Reasoning Shortcuts
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文研究Transformer在命题逻辑推理中如何避免虚假相关导致的推理捷径，提出神经符号模型SIP-BART并验证其有效性，同时识别出四类新的推理错误。
2024-03-17 cs.CL cs.LG
Grokked Transformers are Implicit Reasoners: A Mechanistic Journey to the Edge of Generalization
The Ohio State University（俄亥俄州立大学）；Carnegie Mellon University（卡内基梅隆大学）
该研究发现Transformer可通过grokking学会隐式推理，不同推理类型泛化能力有差异，揭示了其内部机制，为架构改进提供方向，且完全grokked的Transformer在复杂推理上优于主流大模型。
2024-10-30 cs.CL
Pushing the Limits of Rule Reasoning in Transformers through Natural Language Satisfiability
Allen Institute for AI（艾伦人工智能研究所）
研究Transformer模型的推理能力，并为它们发现新的挑战性任务，一直是人们感兴趣的话题。最近的研究发现，这些模型在对用自然语言表达的形式逻辑理论进行演绎推理时表现得出奇的强大。然而，这些研究的一个缺点是，它们没有考虑到逻辑理论，当随机均匀抽样时，不一定会导致硬实例。我们提出了一种新的方法来创建具有挑战性的算法推理数据集，专注于自然语言可满足性（NLSat）的问题。其核心思想是从命题SAT难题的经验抽样和语言的复杂性理论研究中汲取见解。这种方法使我们能够区分容易和困难的实例，并系统地增加现有的推理基准，如RuleTaker的复杂性。我们发现，电流Transformers，有足够的训练数据，是令人惊讶的强大的解决所产生的NLSat问题的难度大大增加。它们还表现出一定程度的尺度不变性--能够推广到更大规模和范围的问题。然而，我们的研究结果也揭示了重要的局限性：对训练数据进行仔细的采样对于构建可推广到更大问题的模型至关重要，而Transformer模型有限的尺度不变性表明它们远不能学习鲁棒的演绎推理算法。
2021-12-16 cs.CL
Neural Algorithmic Reasoning for Hypergraphs with Looped Transformers
Department of XXX, University of YYY, Location, Country（YYY大学XXX系）；School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院）
本文提出基于循环变换器的超图神经算法推理方法，通过退化机制和超边感知编码方案模拟超图算法，展示其在高维数据处理中的可行性。
2026-01-24 cs.AI cs.CC cs.CL
Graph Integrated Language Transformers for Next Action Prediction in Complex Phone Calls
Infinitus Systems, Inc.（无限系统公司）
针对现有对话式AI预测下一动作依赖多组件流水线、复杂度高且易出错的问题，提出图集成语言Transformer模型，无需外部依赖即可理解话语与动作的关联，在真实通话场景中性能优于现有生产级系统。
2024-04-11 cs.CL
Advancing Transformer's Capabilities in Commonsense Reasoning
University of California, Los Angeles（加州大学洛杉矶分校）
本研究通过引入知识迁移、模型集成和成对对比目标等现代机器学习方法，显著提升了通用预训练语言模型在常识推理基准（如Com2Sense）上的表现，分别获得约15%和8.7%的绝对准确率提升。
2023-10-10 cs.AI cs.CL cs.LG
LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University Health Network（大学健康网络）
LoopFormer通过弹性深度循环变换器实现基于快捷键调制的潜在推理，具备适应不同计算预算的鲁棒性与扩展性。
2026-02-11 cs.CL
Transformer Working Memory Enables Regular Language Reasoning and Natural Language Length Extrapolation
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
针对Transformer难以建模正则语言的问题，提出RegularGPT变体，通过权重共享、自适应深度和滑动膨胀注意力构建工作记忆，成功建模PARITY等正则语言，并在长度外推中重现局部窗口注意力效应。
2023-05-05 cs.CL
Dynamic Reasoning Chains through Depth-Specialized Mixture-of-Experts in Transformer Architectures
School of Computer Science University of Petroleum
提出DS-MoE框架，通过深度专业化专家模块和动态路由，按输入复杂度组装推理链，实现计算节省16%、推理提速35%、复杂推理准确率提升2.8%，兼顾效率与可解释性。
2025-09-24 cs.AI cs.CL cs.IR
Unveiling Transformers with LEGO: a synthetic reasoning task
Microsoft Research（微软研究院）
我们提出了一个综合推理任务，乐高（学习平等和组操作），封装的问题，以下的推理链，我们研究了如何学习这个任务的Transformer架构。我们特别关注数据效果，例如预训练（在看似无关的NLP任务上）和数据集组成（例如，在训练和测试时不同的链长度），以及架构变体，如权重绑定层或添加卷积组件。我们研究了经过训练的模型最终是如何成功完成任务的，特别是，我们设法了解了一些注意力头部以及信息在网络中的流动方式。特别是，我们已经确定了一个新的\emph{association}模式，全球只关注相同的令牌。基于这些观察，我们提出了一个假设，即由于某些结构化注意力模式，预训练有助于乐高任务，并且我们通过实验验证了这一假设。我们还观察到，在一些数据制度的训练Transformer找到“捷径”的解决方案，以遵循链的推理，这阻碍了模型的鲁棒性，此外，我们提出了方法来防止它。我们的结构化注意力模式的研究结果的动机，我们提出了乐高注意力模块，香草注意力头的下降，在替代品。这种架构上的改变显著地减少了Flop，并在大规模预训练中保持甚至\emph{improves}模型的性能。
2023-02-17 cs.AI cs.CL cs.LG
Transformer in action: a comparative study of transformer-based acoustic models for large scale speech recognition applications
Facebook AI（Facebook人工智能研究院）
本文综述了Transformer及其可流化的变体--基于Emformer的声学模型在大规模语音识别中的应用。我们将基于Transformer的声学模型与工业规模任务的LSTM模型进行了比较。具体来说，我们将Emformer与延迟控制的BLSTM（LCBLSTM）在中等延迟任务上进行比较，并将LSTM在低延迟任务上进行比较。在低延迟语音助理任务中，Emformer获得24%至26%的相对单词出错率降低（WERR）。对于中等延迟场景，与模型大小和延迟相似的LCBLSTM相比，Emformer在视频描述数据集上获得了跨4种语言的显著WERR，推理实时因素减少了2-3倍。
2020-10-29 cs.CL cs.SD
Developmental Negation Processing in Transformer Language Models
University of South Florida（南佛罗里达大学）
使用否定的推理对于基于转换器的语言模型来说是困难的。虽然之前的研究已经使用心理语言学工具来探讨Transformer推理否定的能力，但没有人关注发展心理学中研究的否定类型。我们探讨如何以及Transformers可以处理这些类别的否定，通过框架的问题作为一个自然语言推理（NLI）的任务。我们从流行的NLI数据集中为我们的目标类别策划了一组诊断问题，并评估了一套模型对它们的推理能力。我们发现，模型只在某些类别上表现得更好，这表明它们在处理方式上有明显的区别。
2022-04-29 cs.CL
Dialog Action-Aware Transformer for Dialog Policy Learning
The Chinese University of Hong Kong（香港中文大学）；Tencent（腾讯）
本文提出对话动作感知Transformer（DaTrans），利用预训练语言模型知识并设计掩码最后动作任务，加速强化学习对话策略学习，经模拟器与人工评估验证有效。
2023-09-05 cs.CL
Disentangling Reasoning Capabilities from Language Models with Compositional Reasoning Transformers
Sun Yat-sen University（中山大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
本文介绍了ReasonFormer，一个统一的推理框架，用于反映人类在复杂决策中的模块化和组合推理过程。受认知科学中双加工理论的启发，表征模块（自动思维）和推理模块（控制思维）被解耦，以捕获不同层次的认知。在表示模块的顶部，预先训练的推理模块是模块化的，并且在特定和基本的推理技能方面是专业的（例如，逻辑、简单QA等）。为了模拟受控组合思维过程，不同的推理模块被动态激活，并以并行和级联的方式组合，以控制激活什么推理技能以及推理过程将达到多深以解决当前问题。统一推理框架用单个模型解决多个任务，并以端到端的方式进行训练和推理。在11个需要不同推理技能和复杂性的数据集上进行评估，ReasonFormer表现出显著的性能提升，揭示了组合推理能力。Few-Shot实验通过学习为有限数据的新任务组合预训练技能，并将表示模块和推理模块解耦，从而表现出更好的泛化能力。进一步的分析表明，推理模块的模块化，不同的任务激活不同的推理技能在不同的推理深度。
2022-12-07 cs.CL
Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation
University of Washington（华盛顿大学）；NVIDIA（英伟达）
Transformers凭借其在大型数据集上的扩展能力，彻底改变了视觉和自然语言处理。但在机器人操作中，数据既有限又昂贵。在正确的问题表述下，Transformers还能使操纵受益吗？我们调查这个问题与PerAct，语言条件的行为克隆代理多任务6自由度操作。PerAct使用Perceiver Transformer对语言目标和RGB-D体素观察进行编码，并通过"检测下一个最佳体素动作“输出离散化动作。与在2D图像上操作的框架不同，体素化的3D观察和动作空间为有效学习6-DoF动作提供了强大的结构先验。有了这个公式，我们训练一个单一的多任务Transformer，用于18个RLBench任务（有249个变体）和7个现实世界的任务（有18个变体），每个任务只需几个演示。我们的研究结果表明，PerAct在广泛的桌面任务中显著优于非结构化图像到动作代理和3D ConvNet基线。
2022-11-11 cs.AI cs.CL cs.CV
Transformers meet Neural Algorithmic Reasoners
Google DeepMind（谷歌DeepMind）
本文提出混合架构 TransNAR，通过两阶段训练让 Transformer 交叉注意 NAR 的节点嵌入，从而增强语言模型的算法推理能力。
2024-06-13 cs.CL cs.LG
Transformer See, Transformer Do: Copying as an Intermediate Step in Learning Analogical Reasoning
University of Amsterdam（阿姆斯特丹大学）
本文研究了通过Meta-Learning for Compositionality训练的Transformer在类比推理任务中的表现，发现引入复制任务可提升模型对字母字符串类比的学习能力，并通过异质数据集训练提高了对新字母集的泛化能力。
2026-08-21 cs.CL cs.LG
AbductionRules: Training Transformers to Explain Unexpected Inputs
Strong AI Lab（强人工智能实验室）；School of Computer Science（计算机学院）；University of Auckland（奥克兰大学）
针对Transformer溯因推理研究不足的问题，该研究提出用于训练测试自然语言溯因能力的AbductionRules数据集，微调预训练Transformer后发现模型掌握可泛化溯因技巧也会利用数据结构，并探讨了方法可行性与改进方向。
2022-03-23 cs.CL
Barriers to Discrete Reasoning with Transformers: A Survey Across Depth, Exactness, and Bandwidth
Oracle AI
本文综述了Transformer在离散推理任务中的理论限制，从电路复杂度、近似理论和通信复杂度三个角度分析了深度、精确性和带宽等障碍，并探讨了模型设计的改进方向。
2026-01-19 cs.CL
Implicit Reasoning in Transformers is Reasoning through Shortcuts
Fudan University（复旦大学）
本文通过在多步数学推理数据上训练GPT-2并进行解析实验，发现语言模型的隐式推理能力源于捷径学习，仅在固定模式数据上训练时才能涌现并泛化，而在非固定模式数据上则过拟合特定模式、缺乏泛化，且该局限性同样存在于最先进的大语言模型中。
2025-06-02 cs.CL
ClarET: Pre-training a Correlation-Aware Context-To-Event Transformer for Event-Centric Generation and Classification
University of Technology Sydney（悉尼科技大学）；Microsoft（微软）
在许多以事件为中心的推理任务中，在给定上下文的情况下生成具有相关性的新事件起着至关重要的作用。现有的作品要么限制他们的范围，以特定的场景或忽略事件级的相关性。在本文中，我们提出了预训练一个通用的相关性感知的上下文到事件的Transformer（ClarET）的事件为中心的推理。为了实现这一点，我们提出了三个新的以事件为中心的目标，即，整体事件恢复、对比事件相关性编码和基于事件相关性的事件定位，通过有效的训练突出事件级的相关性。所提出的ClarET适用于广泛的以事件为中心的推理场景，考虑到其（i）事件相关类型（例如，因果、时间、对比），（ii）应用制剂（即，生成和分类），以及（iii）推理类型（例如，溯因推理、反事实推理和结尾推理）。在9个基准测试（5个生成任务和4个分类任务，覆盖4种具有不同事件相关性的推理类型）上的经验微调结果以及零样本学习和少样本学习结果验证了该方法的有效性和泛化能力。
2022-03-09 cs.CL
ReSSFormer: A Recursive Sparse Structured Transformer for Scalable and Long-Context Reasoning
Columbia University（哥伦比亚大学）；Hebei Institute of Communications（河北通信学院）
针对Transformer在长上下文推理、效率和结构泛化上的痛点，提出整合循环推理记忆单元、自适应稀疏注意力和自组织编码器结构的ReSSFormer，在多类任务同等算力参数下性能优于强基线。
2025-10-02 cs.CL cs.NI
Seq-VCR: Preventing Collapse in Intermediate Transformer Representations for Enhanced Reasoning
Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；ServiceNow（ServiceNow公司）；Polytechnique Montreal（蒙特利尔理工学院）；Meta FAIR；New York University（纽约大学）
针对仅解码器Transformer因中间层表示坍缩导致算术推理能力受限的问题，提出Seq-VCR正则化方法结合虚拟暂停token，无需显式思维链监督即可在多类算术推理任务上取得远超同规模模型及GPT-4的性能。
2025-03-20 cs.CL cs.LG
Complexity Control Facilitates Reasoning-Based Compositional Generalization in Transformers
School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Institute for Advanced Algorithms Research, Shanghai Seres Information Technology Co., Ltd（上海赛尔斯信息技术有限公司高级算法研究院）
该研究探究Transformer组合任务行为的内部机制，发现复杂度控制策略影响其学习推理规则还是依赖记忆映射，基于推理的方案有更低复杂度偏差，且结论在多类真实任务中得到验证。
2025-01-15 cs.CL cs.LG
Feature Resemblance: Towards a Theoretical Understanding of Analogical Reasoning in Transformers
Department of Information Engineering, The Chinese University of Hong Kong, Hong Kong（香港中文大学信息工程系）
本文通过最小化Transformer抽象模型，从理论上证明联合训练和特定课程顺序能使实体在表示空间中对齐，从而通过特征相似性实现属性转移，即类比推理。
2026-05-25 cs.CL cs.LG
Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers
UW-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）；ETH Zürich（苏黎世联邦理工学院）；KRAFTON（魁匠团）；Ludo Robotics
提出LOTUS方法，利用循环Transformer在潜在空间进行多步推理，通过并行监督潜在块上的CoT令牌，首次在3B规模弥合与显式CoT的差距，并将推理延迟降低2.5-6.9倍。
2026-07-14 cs.CL cs.LG
Autoregressive Reasoning over Chains of Facts with Transformers
KU Leuven（鲁汶大学）
提出了一种多跳解释再生的迭代推理算法，该算法在给定自然语言问题及其答案的情况下，以文本片段的形式检索相关事实证据。当进行推理所需的来源数量增加时，组合多个证据或事实来源进行多跳推理变得越来越困难。我们的算法通过分解从语料库自回归中选择的事实来处理这个问题，条件是下一次迭代之前选择的事实。这允许我们使用成对学习排序损失。我们在TextGraphs 2019和2020共享任务的数据集上验证了我们的方法，以进行解释再生。这项任务的现有工作要么孤立地评估事实，要么人为地限制可能的事实链，从而限制多跳推理。我们证明了我们的算法，当与预先训练的Transformer模型一起使用时，在精度，训练时间和推理效率方面优于以前的最新技术。
2020-12-17 cs.CL cs.IR cs.LG
