Frequency Effects on Syntactic Rule Learning in Transformers
Google Research（谷歌研究院）；New York University（纽约大学）；Brown University（布朗大学）
预先训练的语言模型在各种需要符号推理的语言任务上表现良好，这就提出了这样的模型是否隐含地表示抽象符号和规则的问题。本文通过对BERT在英语主谓一致方面的表现的个案研究来探讨这一问题。与之前的工作不同，我们从零开始训练多个BERT实例，允许我们在训练前执行一系列受控干预。我们发现，BERT通常可以很好地概括训练中从未出现过的主谓对，这表明一定程度的规则支配的行为。然而，我们也发现，表现受到词频的严重影响，实验表明，无论是动词形式的绝对频率，以及频率相对于交替的变化，有因果关系牵连的预测BERT在推理时间。对这些频率效应的进一步分析表明，BERT的行为与一般正确应用SVA规则的系统是一致的，但该系统难以克服强训练先验，并难以估计不常见词汇项的一致性特征（单数与复数）。
2021-09-14 cs.CL
From Rule-Based Models to Deep Learning Transformers Architectures for Natural Language Processing and Sign Language Translation Systems: Survey, Taxonomy and Performance Evaluation
United Arab Emirates University（阿联酋大学）；Emirates Center for Mobility Research（阿联酋移动性研究中心）
本文综述手语机器翻译从规则模型到 Transformers 架构的发展与分类，指出实时端到端手语-gloss-文本互译系统的需求和未来方向。
2024-08-27 cs.AI cs.CL cs.CV
Ethics, Rules of Engagement, and AI: Neural Narrative Mapping Using Large Transformer Language Models
ASRC Federal（ASRC联邦）；UMBC（马里兰大学巴尔的摩县分校）；Lockheed-Martin（洛克希德·马丁）
确定一个军事单位是否正确地理解了一个命令，并正确地执行它的问题是一个困扰军事规划者在整个历史。OpenAI的GPT系列等高级语言模型的出现为解决这一问题提供了新的可能性。本文提出了一种机制，利用大语言模型的叙述性输出，并产生图或"地图"的关系，是潜在的权重等模型的GPT-3。由此产生的"神经叙事图"（NNM）旨在提供对模型中信息、观点和信念的组织的洞察，这反过来又提供了在物理距离的背景下理解意图和响应的方法。本文讨论了映射信息空间的一般问题，然后在OpenAI的GPT-3语言模型的上下文中提出了这一概念的具体实现，以确定下属是否在高风险情况下遵循指挥官的意图。下属在NNM中的位置允许一种新的能力来评估下属相对于指挥官的意图。我们表明，这不仅是可能的，以确定他们是否在附近的叙事空间，而且他们是如何定向，以及什么“轨迹”，他们是在。我们的研究结果表明，我们的方法是能够产生高质量的地图，并展示新的方法来评估意图更普遍。
2022-02-05 cs.AI cs.CL
Learning Elementary Cellular Automata with Transformers
London Institute for Mathematical Sciences（伦敦数学科学学院）；Royal Institution（英国皇家研究院）
本文训练 Transformers 从随机初始状态序列中学习初等元胞自动机规则，发现其可抽象固定元数 Boolean 规则，但长程多步规划受限；未来状态或规则预测损失及增加深度可显著改善性能。
2024-12-02 cs.AI cs.FL cs.NE
Word Meanings in Transformer Language Models
University of Reading, Department of Philosophy（reading大学哲学系）；University of Oxford, Mathematical Institute（牛津大学数学研究所）
本文通过聚类RoBERTa-base的token嵌入空间并检验其对语义及心理语言学指标的敏感性，证明Transformer语言模型内部编码了丰富的词义信息，从而反驳了意义取消主义假说。
2025-08-18 cs.AI cs.CL
Transparent AI for Mathematics: Transformer-Based Large Language Models for Mathematical Entity Relationship Extraction with XAI
本文提出基于Transformer的大语言模型，结合XAI方法，实现数学实体关系提取，达到高准确率并提升模型可解释性，为自动问题解决和知识图谱构建提供有效框架。
2026-03-06 cs.CL
Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers
The Ohio State University（俄亥俄州立大学）
本文研究了隐式推理能力，探讨了递归深度变换器在系统泛化和深度扩展中的作用，发现其能有效提升多跳推理能力，但过度递归会导致泛化能力下降。
2026-08-12 cs.AI cs.CL cs.LG
Out-of-distribution generalization via composition: a lens through induction heads in Transformers
BIGAI（北京智源人工智能研究院）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文通过归纳头视角研究Transformer的分布外泛化机制，发现模型可通过组合两个自注意力层学习隐藏规则，并提出嵌入空间中的共享潜在子空间作为组合桥梁的共同桥接表示假说。
2024-12-28 cs.AI cs.CL cs.LG
Circuit Complexity Bounds for RoPE-based Transformer Architecture
Middle Tennessee State University（中田纳西州立大学）；Stevens Institute of Technology（史蒂文斯理工学院）；The University of Hong Kong（香港大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；South China University of Technology（华南理工大学）；The Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；University of California, Berkeley（加利福尼亚大学伯克利分校）
为理解Transformer的容量限制，本文针对在长上下文场景表现优异且泛化能力更强的基于RoPE的Transformer架构，建立其电路复杂度界限，发现特定条件下该架构无法解决算术公式评估等问题，为后续研究提供理论指导。
2024-12-01 cs.AI cs.CC cs.CL
Rule Extrapolation in Language Models: A Study of Compositional Generalization on OOD Prompts
University of Cambridge（剑桥大学）；AI Center, UCL（伦敦大学学院人工智能中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Institute Tübingen（蒂宾根ELLIS研究所）；Tübingen AI Center（蒂宾根人工智能中心）
本文提出形式语言中的“规则外推”OOD组合泛化场景，比较多种架构的表现，并借鉴Solomonoff先验奠定规范理论基础。
2024-10-24 cs.CL cs.LG stat.ML
Extracting Definienda in Mathematical Scholarly Articles with Transformers
DI ENS（高等师范学院数字科学系）；ENS（高等师范学院）；PSL University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Institut Universitaire de France（法国大学研究院）
本文研究从学术文章中自动提取数学定义的被定义项，将其建模为基于微调预训练transformers的token级分类任务和使用GPT的问答任务，并提出基于规则的数据集构建方法，实验证明GPT 4与微调的简单模型均能达到高精确率与召回率。
2023-11-21 cs.AI
Learning Mathematical Rules with Large Language Models
J.P. Morgan AI Research（摩根大通人工智能研究院）
该研究提出构建含数学规则的合成数据并微调大型语言模型，实证表明模型可在一定程度上学习、泛化分配律和方程化简等规则，并迁移到应用题中。
2024-10-25 cs.AI cs.CL cs.LG
Enabling Robust In-Context Memory and Rapid Task Adaptation in Transformers with Hebbian and Gradient-Based Plasticity
St Paul’s School（圣保罗学校）
本文在仅解码器Transformer中引入赫布型与基于梯度的快速权重可塑性模块，发现赫布规则在小样本泛化上更强，梯度更新擅长长时程信用分配，并揭示了可塑性有效的边界条件。
2025-11-04 cs.AI cs.LG cs.NE
Logicbreaks: A Framework for Understanding Subversion of Rule-based Inference
University of Pennsylvania（宾夕法尼亚大学）
提出基于命题Horn逻辑的框架，形式化分析并证明恶意提示可颠覆LLM的规则遵循能力，为逻辑推理与越狱攻击提供理论基础。
2025-02-28 cs.AI cs.CL cs.CR
Pause Tokens Strictly Increase the Expressivity of Constant-Depth Transformers
Department of Computer Science University of Oxford（计算机科学系牛津大学）
本文首次从理论上证明，向常数深度且对数宽度的Transformer中添加pause tokens能严格增加其计算表达能力，并在有界和对数精度下分别达到表达$\mathsf{AC}^0$和$\mathsf{TC}^0$的能力，且实验证实其能使两层Transformer学会奇偶性。
2025-05-27 cs.CL cs.LG
In-Context Learning of a Linear Transformer Block: Benefits of the MLP Component and One-Step GD Initialization
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文研究线性Transformer块的上下文学习能力，证明其结合MLP组件可实现接近贝叶斯最优的ICL风险，并揭示其与一步梯度下降估计器的对应关系，凸显MLP层在降低近似误差中的关键作用。
2024-02-22 cs.CL cs.LG stat.ML
AlphaIntegrator: Transformer Action Search for Symbolic Integration Proofs
ETH Zurich（苏黎世联邦理工学院）
AlphaIntegrator提出用GPT transformer策略引导符号积分规则搜索，构建逐步积分数据集，在准确率与效率上超越数据生成器，并证明仅微调LLM不足以解决该数学任务。
2024-10-03 cs.AI cs.LG cs.SC
A Mathematical Explanation of Transformers
NORCE Norwegian Research Centre（挪威研究中心）；Department of Mathematics, Hong Kong Baptist University（香港浸会大学数学系）；School of Data Science and Department of Operations and Risk Management, Lingnan University（岭南大学数据科学学院与运营及风险管理系）
本文提出一种连续框架，将Transformer架构解释为结构积分微分方程的离散化，揭示自注意力机制和归一化操作的数学本质，为理解Transformer的核心组件提供了统一的理论基础。
2026-04-12 cs.AI cs.LG cs.NA
Integrating Transformer and Paraphrase Rules for Sentence Simplification
School of Computing and Information（计算与信息学院）；School of Health and Rehabilitation Sciences（健康与康复科学学院）；University of Pittsburgh（匹兹堡大学）
句子简化的目的是减少句子的复杂性，同时保留其原始意义。现有的句子简化模型借鉴了机器翻译研究的思想，并从普通简单句对中隐式学习简化映射规则。在本文中，我们探索了一种新的模型的基础上，多层和多头注意力架构，我们提出了两个创新的方法来集成简单的PPDB（一个释义数据库简化），一个外部释义知识库的简化，涵盖了广泛的现实世界的简化规则。实验结果表明，该集成模型具有两个主要优点：（1）集成模型的性能优于文献中的多个最先进的句子简化基线模型;（2）通过对规则利用率的分析，该模型寻求选择更准确的简化规则。本文中使用的代码和模型可在https://github.com/ Sanqiang/text_simplification上获得。
2018-10-26 cs.AI cs.CL
TransCouplet:Transformer based Chinese Couplet Generation
University of Southern California（南加州大学）
对联是一种特殊的诗歌形式，它是用古老的汉语语言，用复杂的句法组合而成的。由于对联的语义和语法规则的复杂性，创造一个合适的对联是一个艰巨的挑战。提出了一种基于变换器的序列对生成模型。利用AnchiBERT，该模型能够捕捉古代汉语的语言理解。此外，我们还对对联语法规则的字形标注、拼音标注和词性标注进行了评估，以进一步完善模型。
2021-12-03 cs.AI cs.CL
Guiding Symbolic Natural Language Grammar Induction via Transformer-Based Sequence Probabilities
SingularityNET Foundation（奇点网基金会）；The Hong Kong Polytechnic University（香港理工大学）
提出了一种基于Transformer神经网络语言模型分配给句子（以及可能更长的单词序列）的概率来指导聚类和规则归纳等符号学习过程的自然语言句法规则自动学习的新方法。这种方法利用Transformers学习的语言知识，没有任何参考他们的内部表示，因此，该技术很容易适应更强大的语言模型的连续出现。我们展示了我们所提出的技术的概念验证示例，使用它来指导从我们先前的研究中得出的无监督符号链接语法归纳方法。
2020-05-26 cs.AI cs.CL
Do Transformers know symbolic rules, and would we know if they did?
University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）；University of Waterloo（滑铁卢大学）
为了提高NLP中使用的主要Transformer网络的可解释性，重要的是要将真正的符号规则与仅仅是关联的输入输出模式区分开来。然而，我们发现了几个不一致的“象征性”已在最近的NLP文献解释。为了缓解这个问题，我们提出了两个标准是最相关的，一个有关系统的内部架构和其他抽象规则和具体的输入身份之间的分离。从这个角度来看，我们严格审查以前的工作的象征性能力的Transformers，并认为结果是从根本上不确定的内在原因在实验设计。我们还认为，这个问题没有简单的解决办法，因为它在某种程度上出现在所有端到端的设置中。尽管如此，我们强调需要更有力的评估是否存在非象征性的解释，在看似象征性的任务的成功。为了促进这一点，我们在T5 Transformer上的四个序列建模任务上进行了两种实验设置：zero-shot泛化，以及在训练集和测试集之间翻转的类特定词汇的泛化。我们观察到，T5的概括是显着更强的序列到序列的任务比可比的分类任务。基于此，我们提出了一个迄今为止被忽视的分析，其中Transformer本身不需要是符号的，作为处理器的符号架构的一部分，作为外部存储器组件在输入和输出上操作。
2023-03-01 cs.AI cs.CL cs.LG
Limit Analysis for Symbolic Multi-step Reasoning Tasks with Information Propagation Rules Based on Transformers
Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University（上海交通大学理论科学研究院）；School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；School of Mathematics and Statistics, Wuhan University（武汉大学数学学院）
针对 Transformers 多步推理机制不明的问题，提出信息传播规则并通过符号任务进行理论分析，给出 L 层注意力模型单次前向推理步数介于 O(3^{L-1}) 与 O(2^{L-1}) 之间的界限。
2026-11-09 cs.AI
Symbolic Rule Extraction from Attention-Guided Sparse Representations in Vision Transformers
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出从视觉转换器中提取可执行逻辑程序的方法，通过稀疏概念层和逻辑程序生成算法提升模型的可解释性和可验证性。
2025-05-10 cs.AI cs.CV
NASP-T: A Fuzzy Neuro-Symbolic Transformer for Logic-Constrained Aviation Safety Report Classification
Faculty of Science and Technology (REALTEK)（科学与技术学院）；Norwegian University of Life Sciences (NMBU)（挪威生命科学大学）；Dresden International University (DIU)（德累斯顿国际大学）
提出NASP-T模糊神经符号框架，融合ASP规则与Transformer，通过数据增强和模糊正则化提升ASRS报告分类的逻辑一致性，F1分数提高且规则违规减少86%。
2025-10-06 cs.AI cs.LG
Multi-Agent Decision Transformers for Dynamic Dispatching in Material Handling Systems Leveraging Enterprise Big Data
Industrial A.I. Lab.（工业人工智能实验室）；Hitachi America Ltd.（日立美国有限公司）；JR Automation Collaboration Project（JR自动化合作项目）
本研究探讨决策变换器在实际多智能体物料搬运系统中作为动态调度策略的应用，发现其在原始启发式方法表现中等且无随机性时能显著提升吞吐量，但存在性能边界。
2024-11-04 cs.AI cs.LG cs.MA
PRover: Proof Generation for Interpretable Reasoning over Rules
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
Clark等人（2020）的最新研究表明，Transformers可以通过回答自然语言中显式提供的知识的问题来充当“软定理证明器”。在我们的工作中，我们通过提出PROVER，一个可解释的基于transformer的模型，共同回答规则库上的二元问题，并生成相应的证明，更接近于模拟形式定理证明器。我们的模型学习预测节点和边缘对应的证明图在一个有效的约束训练范式。在推理过程中，生成满足一组全局约束的有效证明。我们进行实验合成，手工创作，和人类释义的规则库，以显示有前途的结果QA和证明生成，具有较强的泛化性能。首先，与RuleTakers相比，PROVER以87%的准确率生成证明，同时保留或提高QA任务的性能（zero-shot评估提高了6%）。第二，当在需要较低推理深度的问题上进行训练时，它可以更好地推广到更高的深度（高达15%的改进）。第三，PROVER仅使用40%的训练数据就获得了98%的近乎完美的QA准确度。然而，为需要更高推理深度的问题生成证明变得具有挑战性，并且对于“深度5”，准确率下降到65%，这表明未来工作的重要范围。我们的代码和模型可在https://github.com/swarnaHub/PRover上公开获取
2020-10-06 cs.AI cs.CL cs.LG
Learning Chess With Language Models and Transformers
Whiting School of Engineering, Johns Hopkins University（约翰斯·霍普金斯大学怀廷工程学院）
通过基于文本的符号表示棋盘游戏及其位置，使NLP应用成为可能。语言模型，可以帮助深入了解各种有趣的问题，如游戏的无监督学习规则，检测玩家的行为模式，玩家归因，并最终学习游戏击败最先进的状态。在这项研究中，我们应用BERT模型，首先对简单的Nim游戏进行分析，以分析其在少样本学习架构中存在噪声时的性能。我们通过三个虚拟玩家，即Nim Guru，Random Player和Q-learner，分析了模型的性能。在第二部分中，我们将游戏学习语言模型应用到国际象棋游戏中，以及一大组具有详尽百科全书开口的特级大师游戏。最后，我们已经证明，该模型实际上学习了国际象棋游戏的规则，并且可以在A类评级水平下与Stockfish进行比赛。
2022-09-24 cs.AI cs.CL cs.GT
Layer Specialization Underlying Compositional Reasoning in Transformers
ENS, Université PSL, EHESS, CNRS（高等科学研究院、巴黎高等科学研究所、国家科学研究中心）
该研究利用 Random Hierarchy Model 分析 Transformer 的组合推理，揭示层特化随训练逐步形成，并与不同泛化条件下的性能相关。
2025-10-20 cs.AI cs.LG
What is my math transformer doing? -- Three results on interpretability and generalization
Meta AI
本文研究了故障情况下和分布外的行为训练的Transformers器矩阵求逆和特征值分解。我表明，不正确的模型预测仍然保留深的数学性质的解决方案（例如正确的特征值，单位范数的特征向量），几乎所有的模型故障可以归因于，并预测，属性的问题或解决方案。这表明，当有疑问时，数学Transformers不会产生荒谬的解决方案（正如有时提出的那样），而是保持“大致正确”。我还表明，精心选择训练数据集可以加速训练，同时允许模型从其训练分布中泛化，使Transformers“仅仅插值”的想法无效。
2022-10-31 cs.AI cs.LG
A Study of Rule Omission in Raven's Progressive Matrices
University of California, Los Angeles（加州大学洛杉矶分校）
本文通过在I-RAVEN训练中刻意遗漏结构规则，评估transformer与CoPINet等模型的泛化能力，发现其面对新规则时准确率显著下降，揭示当前模型依赖模式而非稳健抽象推理。
2025-10-03 cs.AI
Empowering Bengali Education with AI: Solving Bengali Math Word Problems through Transformer Models
Ahsanullah University of Science and Technology（阿萨努拉科技大学）
本文构建含10,000道题的PatiGonit数据集，并微调多种Transformer模型求解孟加拉语数学应用题，其中mT5以97.30%准确率取得最佳效果。
2025-01-05 cs.AI cs.CL cs.CY
FaiRR: Faithful and Robust Deductive Reasoning over Natural Language
University of Southern California（南加州大学）；Indian Institute of Technology, Delhi（印度理工学院德里分校）
Transformers已经被证明能够在包含以自然语言编写的规则和语句的逻辑规则库上执行演绎推理。最近的工作表明，这种模型也可以产生推理步骤（即，证明图），模拟模型的逻辑推理过程。目前，这些黑盒模型在同一个模型中生成证明图和中间推理，因此可能是不忠实的。在这项工作中，我们框架的演绎逻辑推理任务，通过定义三个模块化的组成部分：规则选择，事实选择和知识组成。规则和事实选择步骤选择要使用的候选规则和事实，然后知识组合将它们组合以生成新的推断。这保证了模型的忠实性，从证明步骤的因果关系，推理。为了测试我们的框架，我们提出了FaiRR（忠实和强大的推理），其中上述三个组件独立建模的Transformers器。我们观察到，FaiRR对新的语言扰动是鲁棒的，并且在推理方面比现有推理数据集上的先前工作更快。此外，与黑盒生成模型相比，由于采用了模块化方法，FaiRR产生的错误更容易解释。
2022-03-19 cs.AI cs.CL cs.LG
NRTR: Neuron Reconstruction with Transformer from 3D Optical Microscopy Images
Xiamen University（厦门大学）；Central China Normal University（华中师范大学）
从原始光学显微镜（OM）图像中重建神经元是神经科学的基础。人工标注和半自动神经元追踪算法耗时且效率低下。现有的深度学习神经元重建方法虽然展示了示例性的性能，但极大地需要复杂的基于规则的组件。因此，一个关键的挑战是设计一种端到端的神经元重建方法，使整个框架更简单，模型训练更容易。我们提出了一个神经元重建Transformer（NRTR），丢弃复杂的基于规则的组件，神经元重建直接设置预测问题。据我们所知，NRTR是第一个用于端到端神经元重建的图像到集合深度学习模型。在使用BigNeuron和VISoR-40数据集的实验中，NRTR在综合基准测试中获得了出色的神经元重建结果，并优于竞争对手的基线。大量的实验结果表明，NRTR可以有效地将神经元重建视为一个集合预测问题，这使得端到端的模型训练变得可用。
2022-12-08 cs.AI cs.CV
RewriteNets: End-to-End Trainable String-Rewriting for Generative Sequence Modeling
Rutgers University-New Brunswick（罗格斯大学新不伦瑞克分校）
RewriteNets通过显式字符串重写机制，在生成序列建模中实现端到端训练，展现优异的系统泛化能力和计算效率。
2026-01-10 cs.AI cs.LG
Heterogeneous Line Graph Transformer for Math Word Problems
Southeast University（东南大学）；University of Notre Dame（圣母大学）
本文描述了一个新的机器学习模型的设计和实现的在线学习系统。我们的目标是提高系统的智能化水平，使一个自动化的数学应用题求解器，可以支持广泛的功能，如家庭作业校正，难度估计，优先级推荐。我们最初计划使用现有的模型，但意识到它们将数学单词问题处理为令牌的序列或同构图。忽略了实体、单位、比率和数字等多种类型的令牌之间的关系。我们决定设计和实现一个新的模型，使用这种关系数据来弥合人类可读语言和机器可理解逻辑形式之间的信息鸿沟。提出了一种异构线图Transformer（HLGT）模型，该模型通过对数学应用题进行语义角色标注，构建异构线图，然后进行感知边类型的节点表示学习。我们添加了数值比较作为辅助任务，以改进模型训练以供实际使用。实验结果表明，该模型实现了更好的性能比现有的模型，并建议它仍然远远低于人类的表现。信息利用和知识发现是不断需要改进的在线学习系统。
2022-08-12 cs.AI cs.CL cs.LG
A Deep Reinforcement Learning (DRL)-Based Transformer Method for Solving the Open Shop Scheduling Problem
Louisiana State University（路易斯安那州立大学）；University of Minnesota Duluth（明尼苏达大学杜鲁斯分校）
提出一种基于Transformer编码器-解码器架构的调度策略，仅以加工时间矩阵为输入，在Taillard小规模实例上训练后可直接推广至40x40至100x100的大规模问题，与经典调度规则相比具有竞争力。
2026-06-15 cs.AI cs.LG
Teaching Transformers Causal Reasoning through Axiomatic Training
uiuc（伊利诺伊大学香槟分校）；mit（麻省理工学院）；msr（微软研究院）；cispa（CISPA信息安全研究中心）
本文提出公理训练方法，通过因果公理演示训练Transformer，使模型从线性链泛化到复杂图，并微调Llama-3-8B提升因果基准性能，部分超越GPT-4。
2025-10-24 cs.AI cs.CL cs.LG
Int2Int: a framework for mathematics with transformers
FAIR, Meta（Meta FAIR研究院）；Ecole Nationale des Ponts et Chaussées（巴黎路桥学院）
Int2Int 是一个开源的 PyTorch 框架，用于在数论等数学问题上应用 transformer，提供完整的实现、数据准备工具和可视化支持。
2025-03-24 cs.AI cs.LG cs.MS
PrefixGPT: Prefix Adder Optimization by a Generative Pre-trained Transformer
PrefixGPT通过生成式预训练变换器优化前缀加法器，实现7.7%的ADP改进和79.1%的平均ADP降低。
2025-11-26 cs.AI cs.AR cs.LG
Spatial Induction Heads: In-Context Learning of Multidimensional Cellular Automata
Cornell University（康奈尔大学）
针对多维元胞自动机中上下文学习因序列化破坏空间邻域连续性的问题，提出空间归纳头两层收集-匹配电路，实现贝叶斯计数，实验验证泛化与机制。
2026-10-08 cs.AI cs.LG
Adversarially Robust Abductive Fusion of Pre-trained Transformer-based Perception Models
本文提出无领域知识的元认知层，通过标签向量池学习几何规则，将多个ViT检测器的融合建模为溯因问题，在航拍基准测试中对抗标签翻转攻击时性能优于多数投票基线。
2026-08-06 cs.AI cs.CV cs.LG
Liquid Reasoning Transformers: A Sudoku-Based Prototype for Chess-Scale Algorithmic Tasks
Detroit Country Day School（底特律国家日学校）
液体推理变换器通过迭代更新和内部调整机制，在数独任务中实现了高准确率，展示了其在复杂算法任务中的潜力。
2025-12-14 cs.AI cs.LG
The two clocks and the innovation window: When and how generative models learn rules
Kempner Institute at Harvard University（哈佛大学凯普纳研究所）
本文研究生成模型在学习规则时的两个关键时间尺度，分析了规则有效性与记忆时间对创新窗口的影响，并揭示了扩散和自回归模型中的一致结构。
2026-05-11 cs.AI cs.CC cs.LG
Symmetry Reveals Layerwise Dynamics: How Transformers Perform In-Context Classification
Boston University, Departments of Computer Science
通过强制特征和标签排列等变性，从Transformer中提取出显式的深度索引递归更新规则，揭示了上下文分类的几何驱动算法。
2026-08-11 cs.AI cs.LG
Transformers Provably Learn Chain-of-Thought Reasoning with Length Generalization
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）
本文从理论上证明Transformer通过注意力集中机制实现思维链推理的长度泛化，并首次给出常数深度Transformer可证明学习NC^1-完全问题的优化保证。
2025-11-10 cs.AI cs.LG math.OC
