Copy the Same, Distill the Difference: Initializing Linear Vision Transformers
Institute of Advanced Intelligence and Computing (IAIC), A*STAR（先进智能与计算研究所（IAIC），新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；ST Engineering Geo-Insights（新科工程地理信息公司）；Sichuan University（四川大学）；Shanghai Jiao Tong University（上海交通大学）；University of Science and Technology of China（中国科学技术大学）
本文研究线性ViT的初始化，发现复制MLP权重并蒸馏注意力可有效迁移Softmax ViT预训练权重，使线性ViT性能匹敌甚至超越Softmax版本。
2026-09-29 cs.AI cs.CV cs.LG
Mitigating Copy Bias in In-Context Learning through Neuron Pruning
Tel Aviv University（特拉维夫大学）；University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
本文提出通过 Integrated Gradients 识别并剪枝偏向复制示例的神经元，以缓解 LLM 上下文学习中的复制偏差，在多种架构和任务上提升泛化性能并改善任务向量质量。
2024-10-03 cs.CL cs.LG
Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks
Stanford University（斯坦福大学）
Transformer网络在自然语言处理和机器视觉方面取得了巨大成功，其中下一个单词预测和图像分类等任务目标受益于高维输入的细微上下文敏感性。然而，有一个正在进行的辩论如何以及何时Transformers可以获得高度结构化的行为，并实现系统的推广。在这里，我们探讨如何以及因果Transformer可以执行一组算法任务，包括复制，排序，和这些操作的分层组合。我们展示了强大的泛化序列比那些在训练中使用的替换标准的位置编码通常用于Transformers器与标签任意配对的序列中的项目。我们寻找足以解决这些任务的层次和头部配置，然后探索潜在表征和注意模式中系统处理的迹象。我们表明，两层Transformers学习可靠的解决方案，多层次的问题，开发任务分解的迹象，并编码输入项的方式，鼓励利用共享计算相关的任务。这些结果提供了关于注意力层如何在任务内和跨多个任务支持结构化计算的关键见解。
2022-12-10 cs.AI cs.LG
Representing Rule-based Chatbots with Transformers
Princeton University（普林斯顿大学）
针对Transformer对话内部机制不明的问题，以经典规则聊天机器人ELIZA为分析场景，构建实现ELIZA的Transformer理论模型并实证分析其训练模型的机制偏好，为对话智能体机械分析提供新框架。
2025-02-12 cs.AI cs.CL cs.LG
Barriers to Universal Reasoning With Transformers (And How to Overcome Them)
Saarland University（萨尔兰大学）；Ohio State University（俄亥俄州立大学）
研究探讨了Transformer在长CoT轨迹上的泛化能力限制，并提出通过动态词汇增长和符号标记实现长度可扩展性。
2026-08-11 cs.CL cs.LG
Born a Transformer -- Always a Transformer? On the Effect of Pretraining on Architectural Abilities
Saarland University（萨尔兰大学）；Brown University（布朗大学）
本研究通过检索与复制任务，发现预训练Transformer存在归纳优于反归纳的不对称性，且该不对称性在理论保证下可经微调消除，表明预训练增强特定能力但未克服长度泛化限制。
2025-10-23 cs.CL cs.LG
Transformers need glasses! Information over-squashing in language tasks
University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
本文通过理论信号传播分析证明 decoder-only Transformer 存在表示坍缩与信息过度挤压，并在当代 LLM 上实证验证及提出简单缓解思路。
2024-10-24 cs.CL cs.LG
Selective Rotary Position Embedding
ELLIS Institute Tübingen（图宾根埃利斯研究所）；LIONS, EPFL（日内瓦理工学院LIONS实验室）；University of Freiburg（弗赖堡大学）；Max-Planck-Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Prior Labs（Prior实验室）
本文提出选择性RoPE，一种输入依赖的旋转嵌入机制，适用于线性和softmax变压器，通过任意角度旋转提升语言建模和复杂序列任务性能。
2026-06-24 cs.CL cs.LG
Enabling Robust In-Context Memory and Rapid Task Adaptation in Transformers with Hebbian and Gradient-Based Plasticity
St Paul’s School（圣保罗学校）
本文在仅解码器Transformer中引入赫布型与基于梯度的快速权重可塑性模块，发现赫布规则在小样本泛化上更强，梯度更新擅长长时程信用分配，并揭示了可塑性有效的边界条件。
2025-11-04 cs.AI cs.LG cs.NE
Transformer See, Transformer Do: Copying as an Intermediate Step in Learning Analogical Reasoning
University of Amsterdam（阿姆斯特丹大学）
本文研究了通过Meta-Learning for Compositionality训练的Transformer在类比推理任务中的表现，发现引入复制任务可提升模型对字母字符串类比的学习能力，并通过异质数据集训练提高了对新字母集的泛化能力。
2026-08-21 cs.CL cs.LG
Incorporating Copying Mechanism in Sequence-to-Sequence Learning
The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们解决了序列到序列（Seq 2Seq）学习中的一个重要问题，即复制，其中输入序列中的某些片段在输出序列中被选择性地复制。在人类语言交流中也可以观察到类似的现象。例如，人类倾向于在谈话中重复实体名称甚至长短语。在Seq 2Seq中复制的挑战是需要新的机器来决定何时执行操作。在本文中，我们将复制到基于神经网络的Seq 2Seq学习，并提出了一个新的模型称为CopyNet的编码器-解码器结构。CopyNet可以很好地将解码器中的常规单词生成方式与新的复制机制相结合，该机制可以选择输入序列中的子序列，并将它们放在输出序列中的适当位置。我们对合成数据集和真实世界数据集的实证研究证明了CopyNet的有效性。例如，CopyNet可以在文本摘要任务上超越常规的基于RNN的模型，具有显着的优势。
2016-06-08 cs.AI cs.CL cs.LG
Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers
Yale University（耶鲁大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
该研究针对Transformer各模块对上下文学习的贡献不明确的问题，通过分析含相对位置嵌入等的两层注意力Transformer在n-gram马尔可夫链数据上的训练，证明梯度流收敛到由各模块协同实现的广义归纳头极限模型，并经实验验证。
2024-09-09 cs.AI cs.CL cs.LG
Toeplitz MLP Mixers are Low Complexity, Information-Rich Sequence Models
IBM；AE Studio
本文提出Toeplitz MLP Mixer，通过三角掩码的Toeplitz矩阵乘法替代注意力机制，实现更低的计算复杂度，同时在信息保留和复制能力上表现更优。
2026-04-24 cs.AI cs.CL cs.LG
Transformers Meet ACT-R: Repeat-Aware and Sequential Listening Session Recommendation
Deezer Research（Deezer研究院）
本文提出PISA，一种基于Transformer与ACT-R认知架构的会话级序列推荐系统，通过捕捉用户行为的动态与重复模式，有效预测后续收听歌曲，并在公开与专有数据上验证了重复建模的关键作用。
2024-08-29 cs.IR cs.LG
Beyond Semantics: How Temporal Biases Shape Retrieval in Transformer and State-Space Models
本研究探究了Transformer和状态空间模型在上下文学习中受时间偏差影响的检索行为，通过消除语义混淆的序列实验发现模型偏向于检索输入开头或结尾附近的重复标记后的信息，且该现象与归纳头相关，揭示了时间分离对情景记忆检索的作用。
2026-09-30 cs.AI cs.CL
Copy-Paste Language Models
Cornell University（康奈尔大学）
该研究提出CPLMs，通过添加轻量级复制-粘贴头提升LLMs的上下文复制能力，在1.35亿至17亿参数规模的模型上验证了其在训练效率、下游性能等方面的优势，缓解了LM头的梯度瓶颈。
2026-10-15 cs.AI cs.CL
How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations
UC Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）；Salesforce AI Research（赛富时人工智能研究院）
本文通过构造组合结构的合成ICL问题，从理论和实验两方面证明Transformer能通过表示函数转换输入、上层执行线性ICL，实现近最优的复杂上下文学习。
2023-10-16 cs.LG
Birdie: Advancing State Space Models with Reward-Driven Objectives and Curricula
George Mason University（乔治梅森大学）；Stanford University（斯坦福大学）；Liquid AI；Archimedes AI
针对状态空间模型长程上下文内检索能力弱的问题，提出不改动架构的训练流程Birdie，结合双向处理、动态预训练目标与强化学习，显著提升检索密集型任务性能，缩小与Transformers的差距并保持计算效率。
2025-02-21 cs.AI cs.CL cs.LG
Abrupt Learning in Transformers: A Case Study on Matrix Completion
University of Michigan（密歇根大学）；Harvard University（哈佛大学）
该研究将低秩矩阵补全建模为MLM任务，发现训练BERT时损失会先平台后骤降，通过分析模型预测、注意力头及隐藏状态等揭示了突变式学习的内在机制。
2024-10-29 cs.LG stat.ML
Coinductive guide to inductive transformer heads
我们认为，所有的构建块的Transformer模型可以表示为一个单一的概念：组合Hopf代数。Transformer学习的出现是由于组合Hopf代数的代数运算和共代数运算之间微妙的相互作用。从这个角度来看，Transformer模型变成了一个线性时不变系统，其中注意力机制计算广义卷积变换，而残留流充当单位脉冲。注意力Transformers器通过在这两条路径之间强制执行一个不变量来学习。我们称之为不变的霍普夫相干性。由于这一点，在一定程度上，人们可以将组合Hopf代数称为“具有内置损失函数梯度的张量”。该损失函数梯度发生在单层内，并且不需要向后传递。这与自动微分相反，自动微分发生在整个图上，需要显式的向后传递。这一性质是由于组合霍普夫代数具有通过重复平方计算特征值的惊人性质。
2023-02-03 cs.AI cs.LG
Identifiable Token Correspondence for World Models
Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能交叉学科项目，首尔国立大学）；Department of Computer Science（计算机科学系）；Engineering, Seoul National University（工程系，首尔国立大学）
提出可辨识的令牌对应关系（ITC）方法，通过将下一帧预测建模为结构化分配问题，解决基于令牌的Transformer世界模型在长程推演中的时间不一致性，在四个基准上达到最先进性能。
2026-05-26 cs.AI cs.CV cs.LG
Talking Heads: Understanding Inter-layer Communication in Transformer Language Models
Department of Computer Science（计算机科学系）；Brown University（布朗大学）；School of Medicine（医学院）；University of Tübingen（图宾根大学）
本文发现Transformer语言模型通过残差流中的低秩子空间实现层间通信，并利用SVD分解注意力头解释列表位置索引机制，据此编辑模型表示和权重，在Laundry List任务上将准确率提升超过20%。
2025-05-08 cs.AI cs.CL
Transformer-Lite: High-efficiency Deployment of Large Language Models on Mobile Phone GPUs
OPPO AI Center（OPPO AI中心）
本文提出四项优化技术并实现于移动推理引擎Transformer-Lite，在手机GPU上大幅提升大语言模型推理速度，预填充加速超10倍、解码加速2到3倍。
2024-07-05 cs.CL
Fast Transformer Decoding: One Write-Head is All You Need
Google（谷歌）
在Transformer神经序列模型中使用的多头注意力层是RNN的一个强大的替代方案，用于在序列之间移动信息。虽然训练这些层通常是快速和简单的，由于跨序列长度的并行化，增量推理（这种并行化是不可能的）通常是缓慢的，由于重复加载大的“键”和“值”张量的内存带宽成本。我们提出了一种称为多查询注意力的变体，其中键和值在所有不同的注意力“头”之间共享，大大减少了这些张量的大小，从而减少了增量解码的内存带宽要求。我们通过实验验证，由此产生的模型确实可以更快地解码，并且只会导致基线的轻微质量下降。
2019-11-06 cs.CL cs.LG cs.NE
An Empirical Study of Mamba-based Language Models
NVIDIA（英伟达）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）；Together AI；Carnegie Mellon University（卡内基梅隆大学）；Cartesia AI
本文在相同数据和最高 3.5T tokens 条件下对比 8B 参数 Mamba、Mamba-2、Transformer 及混合模型，发现 Mamba-2-Hybrid 在标准与长上下文任务上整体更优且推理更快。
2024-06-12 cs.CL cs.LG
Recursive transformers for semiconductor thermo-mechanical reliability
本文针对小数据工程代理建模的过拟合与资源开销问题，评估三种递归Transformer架构，验证其在两项任务中可实现预测精度、参数效率与计算成本的有效权衡。
2026-07-31 cs.AI cs.LG
Mapping the Edge of Chaos: Fractal-Like Boundaries in The Trainability of Decoder-Only Transformer Models
本研究将微型神经网络训练结果边界的分形特征扩展到中等规模仅解码器Transformer，通过一致收敛度量分析注意力与全连接层学习率景观，发现可训练性前沿为多尺度自相似随机结构，稳定区域被混沌边界包围。
2025-02-15 cs.AI cs.LG
Beyond Induction Heads: In-Context Meta Learning Induces Multi-Phase Circuit Emergence
The University of Tokyo（东京大学）
本文将复制任务扩展为上下文内元学习设置，通过分析训练动态发现模型能力获得经历多个阶段且各阶段涌现独特电路，从而解释 Transformer 超越简单复制的 ICL 能力来源。
2025-06-10 cs.AI cs.CL
Probability-Preserving Transformer for the Time-Dependent Schrödinger Equation
University of Education Lahore（拉合尔教育大学）；Xiamen University（厦门大学）
该研究针对含时薛定谔方程求解，提出将概率守恒作为硬约束的Transformer架构，相比传统软约束方法，兼具物理精确性与计算优势。
2026-08-18 cs.LG math-ph math.MP
Fixed-Point RNNs: Interpolating from Diagonal to Dense
ELLIS Institute Tuebingen（图宾根ELLIS研究所）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Department of Mathematics, Imperial College London（伦敦帝国学院数学系）
本文提出将稠密线性RNN参数化为可并行对角线性RNN的固定点，在固定参数下权衡表达与效率，在A5和S5基准上达到最优，并匹配复制等任务性能。
2025-10-24 cs.LG
Mimetic Initialization Helps State Space Models Learn to Recall
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
针对 Mamba 等 state space models 在 recall 任务上表现不佳的问题，提出一种结构化初始化技术，使其更易模仿 attention，从而显著提升从头学习复制与关联 recall 的能力。
2024-10-14 cs.CL cs.LG
Expressivity-Efficiency Tradeoffs for Hybrid Sequence Models
本文研究了混合序列模型在表达性与效率之间的权衡，证明了非混合模型的限制，并展示了混合模型在解决选择性复制和联想回忆任务中的优势。
2026-03-09 cs.LG
Counterfactual reasoning: an analysis of in-context emergence
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
本文研究语言模型的上下文内反事实推理，通过需噪声反演的合成线性回归任务证明其能力，并从可辨识性、架构机制及 SDE 序列设定揭示关键因素。
2025-10-21 cs.AI cs.CL cs.LG
Staircase Attention for Recurrent Processing of Sequences
Facebook AI Research（脸书人工智能研究院）
注意力机制已经成为序列建模任务的标准工具，特别是通过在整个输入序列上堆叠自注意力层，如在Transformer架构中。在这项工作中，我们介绍了一种新的注意力程序称为楼梯注意力，不像自我注意力，在整个序列（在时间上）通过添加另一个步骤的处理递归地处理输入。阶梯中的一个步骤由向后标记（编码到目前为止看到的序列）和向前标记（插入序列的新部分）组成，或者是一个极端的阶梯版本，向前步骤为零，简单地在阶梯的每一步上重复Transformer，共享权重。因此，我们描述了一系列这样的模型，可以权衡性能和计算，通过增加随时间推移的递归量，通过递归深度的顺序处理量，或两者兼而有之。楼梯的注意力被证明能够解决的任务，涉及跟踪，传统的Transformers不能，由于这种复发。此外，它被证明提供了改进的建模能力为相同大小的模型（参数数）相比，自我专注的Transformers对大型语言建模和对话任务，产生显着的困惑收益。
2021-06-08 cs.CL cs.LG
Contextual Representation Flow Across Depth in State-Space and Transformer Architectures
Nanyang Technological University（南洋理工大学）；National University of Singapore（国立新加坡大学）
本文比较了状态空间与变换器架构中上下文表示流，揭示了两者在表示传播和过度平滑机制上的差异，为长上下文推理模型设计提供指导。
2026-10-14 cs.CL cs.LG
Directional Optimization Asymmetry in Transformers: A Synthetic Stress Test
本研究通过合成压力测试揭示Transformer在方向优化上的不对称性，发现即使从头训练的GPT-2模型也表现出显著的方向优化差距。
2025-11-25 cs.AI cs.CL
ADPTNet: Adaptive with Prescriptive Timescales Non-Linear SSM for Sequence Modelling
International Centre for Neuromorphic Systems（国际神经形态系统中心）；The University of Manchester（曼彻斯特大学）
ADPTNet通过结合线性注意力与黎曼优化的局部拓扑共轭，实现数据自适应、长程依赖、GPU并行及非线性递归，提升序列建模性能并引入高效并行扩展。
2026-09-29 cs.AI cs.DC cs.LG
ViTA: A Vision Transformer Inference Accelerator for Edge Applications
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Southern California（南加州大学）；Intel Labs（英特尔实验室）
针对视觉Transformer模型在资源受限边缘设备上难以部署的问题，提出可配置硬件加速器ViTA，采用头级流水线和层间MLP优化避免重复片外内存访问，在多数模型上实现近90%硬件利用率，功耗0.88W，适用于边缘应用。
2023-02-17 cs.AR cs.CV cs.LG
Centered Self-Attention Layers
Tel Aviv University（特拉维夫大学）；Massachusetts Institute of Technology（麻省理工学院）
本文分析自注意力与消息传递重复堆叠导致的过度平滑问题，并为聚合算子引入简单修正项，从而提升视觉 Transformer 弱监督分割性能及超深图神经网络的训练效果。
2023-06-02 cs.LG
When Vision Transformers Outperform ResNets without Pre-training or Strong Data Augmentations
Google Research（谷歌研究院）；UCLA（加州大学洛杉矶分校）
视觉Transformer（ViTs）和MLP标志着用通用神经架构取代手工布线功能或电感偏置的进一步努力。现有的工作通过大量数据来增强模型，例如大规模预训练和/或重复的强数据增强，并且仍然报告优化相关的问题（例如，对初始化和学习率的敏感性）。因此，本文从损失几何的角度研究了ViTs和MLP混合器，旨在提高模型在训练和推理时的数据效率。可视化和Hessian揭示了收敛模型的非常尖锐的局部极小值。通过使用最近提出的锐度感知优化器来促进平滑度，我们大大提高了ViTs和MLP混合器在各种任务上的准确性和鲁棒性，这些任务包括监督、对抗、对比和迁移学习（例如，ViT-B/16和Mixer-B/16在ImageNet上的top-1准确率分别为+5.3\%和+11.0\%，使用简单的Inception风格预处理）。我们表明，改进的平滑属性稀疏活跃的神经元在前几层。当在ImageNet上从头开始训练时，所得到的ViT优于类似大小和吞吐量的ResNet，而无需大规模的预训练或强大的数据增强。模型检查点位于\url{https://github.com/google-research/vision_transformer}。
2022-03-13 cs.CV cs.LG
MSF3DDETR: Multi-Sensor Fusion 3D Detection Transformer for Autonomous Driving
Institute of System and Robotics（系统与机器人研究所）；University of Coimbra（科英布拉大学）
3D目标检测是自动驾驶的重要任务。近年来随着视觉Transformer的发展，2D目标检测问题正以集合到集合的损失来处理。受这些二维目标检测方法和多视角三维目标检测方法DETR 3D的启发，我们提出了MSF 3DDETR：Multi-Sensor Fusion 3D Detection Transformer架构，融合图像和LiDAR特征，提高检测精度。我们的端到端单级、无锚点和无NMS网络可以接收多视图图像和LiDAR点云，并预测3D边界框。首先，我们使用一种新的MSF 3DDETR交叉注意块将从数据中学习到的对象查询与图像和LiDAR特征联系起来。其次，对象查询在多头自注意块中相互交互。最后，将MSF 3DDETR块重复$L$多次以细化对象查询。MSF 3DDETR网络使用基于匈牙利算法的二分匹配和受DETR启发的集到集损失在nuScenes数据集上进行端到端训练。我们提出了定量和定性的结果，这是有竞争力的国家的最先进的方法。
2022-10-27 cs.CV cs.LG cs.RO
Generative Pre-Trained Transformer for Cardiac Abnormality Detection
Swiss Center for Electronics and Microtechnology (CSEM SA)（瑞士电子与微技术中心）
心搏分类在心律失常的诊断中起着至关重要的作用。Physionet/CinC 2021挑战赛的目标是根据12、6、4、3或2导联ECG记录对临床诊断进行准确分类，以帮助医生诊断不同的心脏疾病。Transformers在过去的几年里在自然语言处理领域取得了巨大的成功。我们的团队CinCSEM提出，通过将重复的周期视为单词，将整个信号视为这些单词的序列，来绘制文本和周期时间序列信号之间的平行关系。以这种方式，Transformers的注意力机制可以应用于周期性时间序列信号。在我们的实现中，我们遵循Transformer Encoder架构，该架构将几个编码器层与密集层结合起来，分别用于生成预训练或分类。这里介绍的用例是挑战共享的ECG记录的心跳异常的多标签分类。我们最好的参赛作品，没有超过挑战的硬件限制，分别在12导联、6导联、4导联、3导联和2导联测试集上获得了0.12、0.07、0.10、0.10和0.07的分数。不幸的是，我们的团队无法排名，因为缺少预印。
2021-10-07 cs.LG eess.SP
Selective Induction Heads: How Transformers Select Causal Structures In Context
Theory of Machine Learning Lab, EPFL, Lausanne, Switzerland（机器学习理论实验室，EPFL，拉瓦尔湖，瑞士）
本文提出交错马尔可夫链框架，揭示选择性归纳头的形成，使Transformer能在上下文中动态选择正确因果结构，并通过3层构造和理论分析证明其渐近收敛于最大似然解。
2025-09-09 cs.LG stat.ME
Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts
University of Cambridge（剑桥大学）
研究循环变换器中自适应深度，通过轨迹——读出视角，涵盖合成任务与大规模检查点。发现固定先验深度监督可产生有益轨迹，简单读出表现良好，拟合冻结轨迹定位失败原因，Ouro评估有类似情况，重新定义自适应深度为联合问题。
2026-07-24 cs.LG
QuEPT: Quantized Elastic Precision Transformers with One-Shot Calibration for Multi-Bit Switching
QuEPT通过单次校准实现多比特切换，结合多比特标记融合和级联低秩适配器提升后训练量化性能。
2026-02-13 cs.AI cs.CV
Interpreting Affine Recurrence Learning in GPT-style Transformers
Thomas Jefferson High School for Science and Technology（托马斯·杰斐逊科技高中）
本文通过训练三层Transformer预测仿射递推，揭示其先在第零层复制形成初始估计、再在第二层用负相似性头细化，从而推进对GPT风格Transformer上下文学习机制的理解。
2024-10-22 cs.AI cs.LG
In-Context Algebra
Northeastern University（东北大学）；TU Clausthal（图鲁姆大学）
本研究探讨了transformer在上下文代数任务中学习的机制，发现模型能通过动态变量分配实现符号推理。
2026-02-25 cs.CL cs.LG
Universal Transformers
University of Amsterdam（阿姆斯特丹大学）；DeepMind（深度思维）；Google Brain（谷歌大脑）
递归神经网络（RNN）通过使用每个新数据点更新其状态来顺序处理数据，并且长期以来一直是序列建模任务的事实上的选择。然而，它们固有的顺序计算使它们训练缓慢。前馈和卷积架构最近已被证明在某些序列建模任务（如机器翻译）上取得了优异的结果，其附加优势是它们同时处理序列中的所有输入，从而易于并行化和更快的训练时间。然而，尽管取得了这些成功，但流行的前馈序列模型（如Transformer）在许多递归模型轻松处理的简单任务中无法泛化，例如，当字符串或公式长度超过训练时观察到的长度时，复制字符串或甚至简单的逻辑推理。我们提出了通用的Transformer（UT），一个并行的时间自我关注的经常性序列模型，它可以被铸造作为一个概括的Transformer模型，并解决了这些问题。UT将前馈序列模型（如Transformer）的并行性和全局感受野与RNN的经常性感应偏置相结合。我们还增加了一个动态的每位置停止机制，并发现它提高了几个任务的准确性。与标准的Transformer相比，在某些假设下，UT可以被证明是图灵完备的。我们的实验表明，UT在广泛的算法和语言理解任务上优于标准Transformers，包括具有挑战性的LAMBADA语言建模任务，其中UT实现了最新的技术水平，以及机器翻译，其中UT在WMT 14 En-De数据集上实现了比Transformers 0.9 BLEU的改进。
2019-03-05 cs.CL cs.LG stat.ML
Transformers as Transducers
Umeå University（于默奥大学）；Yale University（耶鲁大学）；University of Notre Dame（圣母大学）；San José State University（圣何塞州立大学）；Allen Institute for AI（艾伦人工智能研究所）
本文通过RASP变体将Transformer与有限转换器关联，证明其能表达大类的序列到序列映射，并引入B-RASP[pos]和S-RASP扩展，最后证明掩码平均硬注意力Transformer可模拟S-RASP。
2024-11-05 cs.FL cs.LG
How Many Different Outputs Can a Transformer Generate?
Department of Mathematics, National University of Singapore, Singapore, 117543（新加坡国立大学数学系）；School of Computing, National University of Singapore, Singapore, 117543（新加坡国立大学计算学院）；Aix Marseille Univ, CNRS, I2M, Marseille, France（法国马赛大学、国家科学研究中心、I2M研究所）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电子与计算机工程系）
研究如何利用变换器架构中的少量特性来准确预测其能生成的不同序列数量，包括定性和定量分析，并提供基于提示长度的上限，实验证明在不同架构和模型大小下该上限紧致于10倍以内。分析还解释了之前在简单序列任务（如复制和填塞）中观察到的变换器经验性失败现象。
2026-08-11 cs.LG
From Shortcut to Induction Head: How Data Diversity Shapes Algorithm Selection in Transformers
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；Flatiron Institute（Flatiron研究所）；CNRS（法国国家科学研究中心）；Université Côte d’Azur（蔚蓝海岸大学）；New York University（纽约大学）
本研究探讨了数据多样性如何影响Transformer算法选择，证明输入多样性可使模型实现归纳头并泛化，而低多样性则导致位置捷径失效，同时揭示了预训练上下文长度与泛化能力的权衡。
2025-12-21 cs.LG stat.ML
Robust and Unbounded Length Generalization in Autoregressive Transformer-Based Text-to-Speech
Google DeepMind（谷歌DeepMind）
本文提出Very Attentive Tacotron，通过可学习的对齐机制为交叉注意力提供相对位置信息，解决了自回归Transformer TTS在长语音上的重复、丢词和长度泛化问题，同时保持与T5基线相当的自然度。
2025-03-11 cs.CL cs.LG cs.SD
LoGAH: Predicting 774-Million-Parameter Transformers using Graph HyperNetworks with 1/100 Parameters
EPFL（洛桑联邦理工学院）；Samsung - SAIT AI Lab（三星-SAIT AI实验室）；HKUST（香港科技大学）
提出LoGAH，一种低秩图超网络，以1/100的参数高效预测7.74亿参数的Transformer，提升ViT和GPT-2的初始化性能，并支持迁移学习。
2024-05-25 cs.LG
Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA
KAIST AI（韩国科学技术院人工智能学院）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本研究提出松弛递归Transformer，通过层间LoRA实现参数共享，将LLM转换为紧凑模型，性能优于同类模型，并引入连续深度批处理以提升推理吞吐量。
2025-02-28 cs.CL cs.LG
