Grokked Transformers are Implicit Reasoners: A Mechanistic Journey to the Edge of Generalization
The Ohio State University（俄亥俄州立大学）；Carnegie Mellon University（卡内基梅隆大学）
该研究发现Transformer可通过grokking学会隐式推理，不同推理类型泛化能力有差异，揭示了其内部机制，为架构改进提供方向，且完全grokked的Transformer在复杂推理上优于主流大模型。
2024-10-30 cs.CL
Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；Toyota Technological Institute at Chicago（丰田技术研究所（芝加哥））；Peking University（北京大学）；Tsinghua University（清华大学）
本文提出CCDD模型，结合连续和离散空间，提升扩散语言模型的表达能力和训练效果，通过联合多模态扩散过程实现高质量的生成与推理。
2026-05-12 cs.AI cs.CL
Integrating question answering and text-to-SQL in Portuguese
Universidade de São Paulo（圣保罗大学）；Center for Artificial Intelligence (C4AI)（人工智能中心（C4AI））
深度学习Transformers极大地改进了用自然语言自动回答问题的系统。然而，不同的问题需要不同的回答技术;在这里，我们提出，构建和验证一个架构，集成不同的模块来回答两种不同的查询。我们的架构采用自由形式的自然语言文本，并将其分类，将其发送到神经问答推理器或自然语言解析器到SQL。我们为葡萄牙语实现了一个完整的系统，使用了该语言的一些主要工具，并翻译了培训和测试数据集。实验结果表明，该系统能够以较高的准确率（99%以上）选择合适的回答方法，从而验证了模块化问答策略的有效性。
2022-09-21 cs.CL
A Systematic Analysis of Large Language Models as Soft Reasoners: The Case of Syllogistic Inferences
University of Trento（特伦托大学）；Utrecht University（乌得勒支大学）
本文系统分析了思维链、上下文学习和监督微调对LLMs三段论推理的影响，发现SFT在提升有效推理表现的同时能缓解多数推理偏差且不损害一致性。
2024-10-17 cs.CL
Encoder-Decoder Transformers: Logical Characterizations and Periodicity
Mathematics Research Centre, Tampere University（塔尔皮奥大学数学研究中心）
本文通过一种新的时序逻辑对编码器-解码器变换器进行逻辑刻画，扩展了命题逻辑并引入计数全局模态和过去模态，同时探讨了变换器在自回归设置中的应用。
2026-09-29 cs.AI cs.LO
JEPA-Reasoner: Decoupling Latent Reasoning from Token Generation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
JEPA-Reasoner通过解耦潜在推理与标记生成，提升模型在复杂推理任务中的准确率和鲁棒性。
2026-01-28 cs.CL
Logical Reasoning over Natural Language as Knowledge Representation: A Survey
Nanyang Technological University（南洋理工大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文综述了以自然语言作为知识表示、预训练语言模型作为推理器的逻辑推理新范式，涵盖其优势、基准、挑战及未来方向，该范式有效缓解了形式表示的瓶颈并优于端到端神经方法。
2024-02-16 cs.AI cs.CL
SLPO: Scaling Latent Reasoning via a Surrogate Policy
The Hong Kong Polytechnic University（香港理工大学）；Sichuan University（四川大学）
研究如何让潜在推理器实现测试时扩展，引入代理潜在策略优化（SLPO），通过经验代理策略密度和正确性监督停止头，将结果奖励强化学习引入自回归潜在推理器，在连续和软思维设置中提升了性能。
2026-10-06 cs.AI cs.CL cs.LG
Conversational Multi-Hop Reasoning with Neural Commonsense Knowledge and Symbolic Logic Rules
Facebook（脸书）；EPFL（洛桑联邦理工学院）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
会话代理所面临的挑战之一是他们无法识别用户命令的未陈述假设，这对于人类来说是一项微不足道的任务，因为他们的常识。在本文中，我们提出了一个用于会话代理的零射击（zero-shot）常识推理系统，试图实现这一目标。我们的推理器揭示了用户命令中未声明的假设，这些用户命令满足一个通用模板，即if-（state），then-（action），because-（goal）。我们的推理机使用一个国家的最先进的基于转换器的生成常识知识库（KB）作为其背景知识的来源进行推理。我们提出了一种新的和迭代的知识查询机制，提取多跳推理链的神经知识库，使用符号逻辑规则，显着减少搜索空间。与迄今为止收集的任何知识库类似，我们的常识知识库容易丢失知识。因此，我们提出了对话式引出人类用户与我们的新的动态问题生成策略，生成和呈现上下文查询人类用户的缺失的知识。我们通过对人类用户的用户研究来评估该模型，与SOTA相比，该模型的成功率高出35%。
2021-09-17 cs.AI cs.CL cs.LG
Rule Learning as Machine Translation using the Atomic Knowledge Bank
University of Bergen（卑尔根大学）；University of Oslo（奥斯陆大学）
针对语言模型推理可信度存疑、人工构建逻辑规则系统耗时易错的问题，本研究探索用Transformer将自然语言规则译为逻辑规则，复用现有推理器，并基于Atomic知识库构建了翻译数据集。
2023-11-05 cs.AI cs.CL
To Softmax, or not to Softmax: that is the question when applying Active Learning for Transformer Models
Technische Universität Dresden（德累斯顿工业大学）；Hochschule für Technik und Wirtschaft Dresden（德累斯顿工程与经济应用科学大学）
本文研究 Transformer 模型主动学习中 softmax 置信度不可靠的问题，在七个数据集上比较八种替代方法，发现只标注离群点会降低性能，并提出系统性忽略离群样本的启发式策略以改进多种主动学习方法。
2022-10-06 cs.AI cs.CL cs.DB
Counting Like Transformers: Compiling Temporal Counting Logic Into Softmax Transformers
University of Notre Dame（圣母大学）
该研究提出时序计数逻辑 K_t[#] 与 C-RASP，并证明二者等价且可编译为未来掩码软注意力 Transformer，从而给出其无界输入下表达能力的已知最佳下界。
2024-12-01 cs.CL cs.FL cs.LG
EDITOR: an Edit-Based Transformer with Repositioning for Neural Machine Translation with Soft Lexical Constraints
University of Maryland（马里兰大学）
我们介绍了一个基于编辑的Transformer与重新定位（EDITOR），这使得序列生成灵活，无缝地允许用户指定的偏好在输出词汇的选择。基于最近的非自回归序列生成模型（Gu等人，2019），EDITOR通过迭代编辑假设来生成新序列。它依赖于一种新的重新定位操作，旨在将词汇选择从单词定位决策中解脱出来，同时在解码时实现有效的模仿学习和并行编辑。经验上，EDITOR比Levenshtein Transformer更有效地使用软词汇约束（Gu等人，2019），同时与受约束的束搜索相比，大大加快了解码速度（Post和Vilar，2018）。在标准的罗马尼亚语-英语、英语-德语和英语-日语机器翻译任务中，EDITOR的解码速度比Levenshtein Transformer快，翻译质量相当或更好。
2021-01-19 cs.CL cs.LG
An Efficient Sparse Inference Software Accelerator for Transformer-based Language Models on CPUs
Intel（英特尔）；Intel Labs（英特尔实验室）；Stanford University（斯坦福大学）
提出一种面向CPU的高效稀疏推理软件栈，利用Intel Deep Learning Boost优化SpMM计算，在多种Transformer模型和稀疏率下显著超越现有稀疏库与主流推理框架，实现大幅加速。
2023-06-28 cs.AI cs.CL cs.LG
FaiRR: Faithful and Robust Deductive Reasoning over Natural Language
University of Southern California（南加州大学）；Indian Institute of Technology, Delhi（印度理工学院德里分校）
Transformers已经被证明能够在包含以自然语言编写的规则和语句的逻辑规则库上执行演绎推理。最近的工作表明，这种模型也可以产生推理步骤（即，证明图），模拟模型的逻辑推理过程。目前，这些黑盒模型在同一个模型中生成证明图和中间推理，因此可能是不忠实的。在这项工作中，我们框架的演绎逻辑推理任务，通过定义三个模块化的组成部分：规则选择，事实选择和知识组成。规则和事实选择步骤选择要使用的候选规则和事实，然后知识组合将它们组合以生成新的推断。这保证了模型的忠实性，从证明步骤的因果关系，推理。为了测试我们的框架，我们提出了FaiRR（忠实和强大的推理），其中上述三个组件独立建模的Transformers器。我们观察到，FaiRR对新的语言扰动是鲁棒的，并且在推理方面比现有推理数据集上的先前工作更快。此外，与黑盒生成模型相比，由于采用了模块化方法，FaiRR产生的错误更容易解释。
2022-03-19 cs.AI cs.CL cs.LG
Simulating Hard Attention Using Soft Attention
University of Notre Dame（诺丁汉大学）；Umeå University（乌梅大学）；Yale University（耶鲁大学）
研究软注意力 transformers 模拟硬注意力的条件，证明利用无界位置嵌入或温度缩放可计算线性时序逻辑公式，并使 softmax transformers 能模拟通用硬注意力 transformers。
2025-06-26 cs.CL cs.FL cs.LG
Language Modelling for Source Code with Transformer-XL
University of Newcastle（纽卡斯尔大学）
已经发现，软件，如自然语言文本，表现出“自然性”，这可以通过统计语言模型来捕获。近年来，已经提出了神经语言模型，以通过深度学习来表示软件的自然性。在本文中，我们进行了实验评估的国家的最先进的神经语言模型的源代码，包括基于RNN的模型和基于Transformer-XL的模型。通过在大规模Python代码语料库上的实验，我们发现Transformer-XL模型在捕捉软件自然性方面优于基于RNN的模型（包括LSTM和GRU模型），并且计算成本要低得多。
2020-07-31 cs.CL cs.LG cs.SE
Transformer-Assisted LLM-Based Source Code Summarisation: to Enable More Secure Software Development
School of Computing and Communications, Lancaster University, UK（兰卡斯特大学计算与通讯学院）；College of Engineering & Computer Science, VinUniversity（Vin大学工程与计算机科学学院）
研究旨在解决软件系统中源代码摘要缺失、不完整或过时的问题，通过结合特定任务Transformer模型和大语言模型，利用Transformer生成的摘要辅助提示工程，使LLMs创建更好的源代码摘要，提升了BLEU - 4等指标。
2026-07-24 cs.CL cs.SE
problemConquero at SemEval-2020 Task 12: Transformer and Soft label-based approaches
Indian Institute of Technology Kanpur (IITK)（印度理工学院坎普尔分校）
在本文中，我们介绍了我们的团队problemConquero为SemEval-2020提交的各种系统共享任务12社交媒体中的多语言攻击性语言识别。我们参与了OffensEval-2020的所有三个子任务，我们在评估阶段的最终提交包括基于transformer的方法和基于软标签的方法。为子任务A（攻击性推文识别）的每种语言提交基于BERT的微调模型。提出了基于RoberTa的子任务B（犯罪类型自动分类）的微调模型。我们为子任务C（攻击目标识别）提交了两个模型，一个使用软标签，另一个使用基于BERT的微调模型。我们在子任务A中的排名是希腊语-37人中有19人，土耳其语-46人中有22人，丹麦语-39人中有26人，阿拉伯语-53人中有39人，英语-85人中有20人。我们在子任务B的43个任务中获得了28分。使用基于BERT的微调模型，子任务C的最佳排名为39分中的20分。
2020-07-21 cs.CL cs.LG
Exploring Software Naturalness through Neural Language Models
IBM Research（IBM研究院）
软件自然性假设认为，程序设计语言可以通过自然语言处理中使用的相同技术来理解。我们通过使用预先训练的基于transformer的语言模型来执行代码分析任务来探索这一假设。目前的代码分析方法在很大程度上依赖于从抽象树（AST）的功能，而我们的基于transformer的语言模型的原始源代码的工作。这项工作是第一次调查是否这样的语言模型可以自动发现AST功能。为了实现这一点，我们引入了一个序列标记任务，直接探测的语言模型理解AST。我们的研究结果表明，Transformer为基础的语言模型实现高精度的AST标注任务。此外，我们评估我们的模型上的软件漏洞识别任务。重要的是，我们表明，我们的方法获得的漏洞识别结果相比，严重依赖编译器的特征提取基于图的方法。
2020-06-24 cs.CL cs.LG cs.PL
Why Softmax Attention Outperforms Linear Attention
The University of Washington（华盛顿大学）；Adobe Research（Adobe研究）；University of Bologna（博洛尼亚大学）；University of Southern California（南加州大学）
本文通过对比分析Softmax与线性注意力机制，揭示了Softmax在多数场景下性能更优的原因，探讨了两者在计算效率与性能间的权衡。
2026-03-13 cs.CL cs.LG
CodeTrans: Towards Cracking the Language of Silicon's Code Through Self-Supervised Deep Learning and High Performance Computing
Technical University of Munich（慕尼黑工业大学）；Google AI（谷歌AI）；Google（谷歌）；Nvidia（英伟达）
目前，越来越多成熟的自然语言处理应用使人们的生活更加方便。这样的应用程序是由源代码构建的--源代码是软件工程中的语言。然而，理解源代码语言，以简化软件工程过程的应用研究不足。同时，Transformer模型，特别是它与迁移学习的结合，已被证明是自然语言处理任务的强大技术。这些突破为处理源代码和破解软件工程任务指明了一个有希望的方向。本文描述了CodeTrans --一种软件工程领域任务的编码器-解码器转换器Transformer模型，探讨了编码器-解码器转换器Transformer模型对6个软件工程任务（包括13个子任务）的有效性。此外，我们还研究了不同训练策略的效果，包括单任务学习、迁移学习、多任务学习和微调多任务学习。CodeTrans在所有任务上都优于最先进的模型。为了加快软件工程领域的未来工作，我们发布了我们的CodeTrans预训练模型。https://github.com/agemagician/CodeTrans
2021-05-12 cs.AI cs.CL cs.LG
Selective Rotary Position Embedding
ELLIS Institute Tübingen（图宾根埃利斯研究所）；LIONS, EPFL（日内瓦理工学院LIONS实验室）；University of Freiburg（弗赖堡大学）；Max-Planck-Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Prior Labs（Prior实验室）
本文提出选择性RoPE，一种输入依赖的旋转嵌入机制，适用于线性和softmax变压器，通过任意角度旋转提升语言建模和复杂序列任务性能。
2026-06-24 cs.CL cs.LG
