Length-Aware Multi-Kernel Transformer for Long Document Classification
University of Memphis（孟菲斯大学）
针对长文档分类中现有模型存在的上下文碎片化、长度泛化性差的问题，提出长度感知多核Transformer（LAMKIT），通过多Transformer核编码与长度向量化提升鲁棒性，在5个基准上最高超SOTA模型10.9%。
2024-05-11 cs.CL
A Decoding Algorithm for Length-Control Summarization Based on Directed Acyclic Transformers
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
本文提出基于有向无环Transformer和SeqMAP解码的长度控制摘要算法，通过路径边缘化与束搜索重排序，在Gigaword和DUC2004上取得最优性能。
2025-02-06 cs.CL
Length Generalization of Causal Transformers without Position Encoding
School of Computer Science, East China Normal University（华东师范大学计算机科学学院）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；International Human Phenome Institutes, Shanghai（国际人类表型组研究院（上海））；Shanghai AI Lab（上海人工智能实验室）；Institute of Modern Languages and Linguistics, Fudan University（复旦大学现代语言与语言学研究所）
本文研究无位置编码（NoPE）的因果Transformer的长度泛化问题，发现其失败与注意力分散有关，并提出参数高效的温度超参数调优方法，显著扩展上下文长度，在长序列任务上取得与最先进算法竞争的性能。
2024-05-28 cs.CL
$\infty$-former: Infinite Memory Transformer
Instituto de Telecomunicações（电信研究所）；DeepMind（深度思维）；Institute of Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico（里斯本高等理工学院）；Unbabel（Unbabel公司）
Transformers无法有效地对长期记忆建模，因为它们需要执行的计算量随着上下文长度而增长。虽然已经提出了高效Transformers的变体，但它们都具有有限的存储容量，并且被迫丢弃旧信息。在本文中，我们提出了$\infty$ -前，它扩展了香草Transformer与无界的长期记忆。通过利用连续空间的注意力机制来关注长期记忆，$\infty$ -former的注意复杂度变得与上下文长度无关，从而在记忆长度与精度之间进行权衡。为了控制精度更重要的地方，$\infty$ -former保持“粘性记忆”，能够在保持计算预算固定的同时对任意长的上下文进行建模。综合排序任务，语言建模和文档接地对话生成的实验证明了$\infty$ -前者的能力，以保留信息的长序列。
2022-03-25 cs.CL
Efficient Pretraining Length Scaling
ByteDance Seed（字节跳动种子）；Peking University（北京大学）；Hong Kong University（香港大学）
提出PHD-Transformer框架，通过区分原始与隐藏解码令牌的KV缓存管理，在预训练中实现高效长度扩展，并推出PHD-SWA和PHD-CSWA变体，在多个基准上取得一致改进。
2025-04-24 cs.CL
Unlimiformer: Long-Range Transformers with Unlimited Length Input
Carnegie Mellon University（卡内基梅隆大学）
本文提出 Unlimiformer，通过 kNN 索引卸载交叉注意力并检索 top-k 键，使预训练编码器-解码器 Transformer 无需新增权重或改代码即可处理最长 50 万 token 的输入。
2023-10-30 cs.CL
Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search
Clova AI, NAVER Corp.（NAVER公司Clova AI）；New York University（纽约大学）
尽管Transformers具有令人印象深刻的精度，但其计算成本通常在有限的计算资源下无法使用。大多数以前的方法，以提高推理效率需要一个单独的模型，为每一个可能的计算预算。在本文中，我们扩展了POWER-BERT（Goyal等人，2020），并提出了长度自适应Transformer，可用于各种推理场景后，一次性训练。我们用LengthDrop（dropout的一种结构变体）训练一个Transformer，它随机确定每一层的序列长度。然后，我们进行多目标的进化搜索，找到一个长度配置，最大限度地提高精度，并在任何给定的计算预算的效率指标最小化。此外，我们显着扩展的POWER-BERT的适用性超出序列级分类到标记级分类与丢弃和恢复过程，暂时丢弃字向量在中间层和恢复在最后一层，如果必要的。我们实证验证所提出的方法的效用，通过展示优越的准确性和效率的权衡下，各种设置，包括跨度为基础的问答和文本分类。代码可在https://github.com/clovaai/length-adaptive-transformer上获得。
2021-06-11 cs.CL cs.LG
LongT5: Efficient Text-To-Text Transformer for Long Sequences
Google Research（谷歌研究院）
最近的研究表明，（1）增加输入长度或（2）增加模型大小可以提高基于Transformer的神经模型的性能。在本文中，我们提出了一个新的模型，称为LongT 5，我们探讨了同时缩放输入长度和模型大小的影响。具体来说，我们整合了长输入Transformers（ETC）的注意力思想，并采用了总结预训练（PEGASUS）的预训练策略到可扩展的T5架构中。其结果是一个新的注意力机制，我们称之为{ \em瞬态全局}（TGlobal），它模仿ETC的局部/全局注意力机制，但不需要额外的侧输入。我们能够在几个摘要任务上实现最先进的结果，并在问答任务上优于原始的T5模型。
2022-05-03 cs.CL
Efficient Transformers with Dynamic Token Pooling
University of Edinburgh（爱丁堡大学）；Pathway；NVIDIA（英伟达）；University of Wrocław（弗罗茨瓦夫大学）
提出动态池化机制，通过自回归预测段边界来减少Transformer中间层序列长度，在相同计算预算下比vanilla Transformer和固定长度池化更快更准确。
2023-05-24 cs.CL
LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University Health Network（大学健康网络）
LoopFormer通过弹性深度循环变换器实现基于快捷键调制的潜在推理，具备适应不同计算预算的鲁棒性与扩展性。
2026-02-11 cs.CL
DAPE V2: Process Attention Score as Feature Map for Length Extrapolation
CUHK（香港中文大学）；NUS（新加坡国立大学）；HKU（香港大学）；HKBU（香港浸会大学）
本文将Transformer的注意力机制概念化为特征图，应用卷积算子处理相邻注意力分数，解决了由点积表达能力有限导致的长度外推问题，显著提升了模型性能。
2024-10-10 cs.CL
Processing Long Legal Documents with Pre-trained Transformers: Modding LegalBERT and Longformer
Athens University of Economics and Business（雅典经济与商业大学）；University of Copenhagen（哥本哈根大学）；Cognitiv+
预先训练的Transformers目前主导着大多数NLP任务。然而，它们对最大输入长度（BERT中的512个子字）施加了限制，这在法律领域中限制太多。即使是稀疏注意模型，如Longformer和BigBird，将最大输入长度增加到4，096个子词，也会严重截断LexGLUE六个数据集中的三个数据集的文本。具有TF-IDF特征的更简单的线性分类器可以处理任何长度的文本，需要更少的资源来训练和部署，但通常优于预先训练的Transformers。我们探索了两个方向来处理长的法律文本：（i）修改从LegalBERT开始的Longformer warm-started来处理更长的文本（多达8，192个子字），以及（ii）修改LegalBERT以使用TF-IDF表示。第一种方法在性能方面是最好的，超过了LegalBERT的分层版本，这是LexGLUE之前的最先进的方法。第二种方法以较低的性能为代价导致计算效率更高的模型，但所得模型在长法律文档分类中的整体性能仍然优于具有TF-IDF特征的线性SVM。
2022-11-10 cs.CL
Learned Token Pruning for Transformers
University of California, Berkeley（加州大学伯克利分校）；Samsung Semiconductor, Inc.（三星半导体公司）
在实践中部署Transformer模型是具有挑战性的，因为它们的推理成本与输入序列长度成二次方。为了解决这个问题，我们提出了一种新的学习令牌修剪（LTP）方法，自适应地删除不重要的令牌作为输入序列通过Transformer层。特别是，LTP会修剪注意力分数低于阈值的令牌，该阈值是在训练期间为每层学习的。我们的基于阈值的方法允许修剪序列的长度根据输入序列自适应地变化，并避免了算法上昂贵的操作，如top-k令牌选择。我们广泛地测试了LTP在GLUE任务上的性能，并表明我们的方法在相同数量的FLOP的情况下，比现有的最先进的令牌修剪方法高出约2.5%的准确性。特别是，LTP在精度下降不到1%的情况下实现了高达2.1倍的FLOPs减少，这使得Intel Haswell CPU和NVIDIA V100 GPU的吞吐量分别提高了1.9倍和2.0倍。此外，我们证明了LTP比以前的方法更强大的输入句子长度的变化。我们的代码是在PyTorch中开发的，并且是开源的。
2022-06-02 cs.CL
Input-length-shortening and text generation via attention values
The University of Auckland（奥克兰大学）
识别对任务性能影响更大的单词是自然语言处理中的一个挑战。Transformers模型最近通过结合分配更多注意力的注意力机制（即，相关性）得分比其他一些词。由于注意力机制的高计算成本，Transformer模型通常具有由硬件约束引起的输入长度限制。这种限制适用于许多Transformers，包括众所周知的Transformer（BERT）模型的双向编码器表示。在本文中，我们研究了BERT的注意力分配机制，主要集中在两个问题：（1）如何利用注意力来减少输入长度？(2)如何将注意力用作条件文本生成的控制机制？我们在文本分类任务的背景下研究了这些问题。我们发现，与后面的层相比，BERT的早期层为文本分类任务分配了更多的关键注意力分数。我们证明了第一层的注意力总和可以用于过滤给定序列中的令牌，大大减少了输入长度，同时保持了良好的测试精度。我们还应用了过滤，它使用计算效率高的语义相似性算法，并发现保留约6%的原始序列足以获得86.5%的准确性。最后，我们证明了我们可以以稳定的方式生成数据，并且根据BERT的第一层，仅使用一小部分（10%）具有高注意力分数的标记，就可以与原始数据区分开来。
2023-03-14 cs.CL
Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling
本技术综述梳理 Transformer 各类位置编码方法，推导 RoPE 原理并对比不同方法特性，研究长上下文扩展方案，明确长上下文泛化能力需多任务评估。
2026-08-12 cs.CL
Controlling the Output Length of Neural Machine Translation
Amazon（亚马逊）
神经机器翻译（NMT）的最新进展正在迅速扩大机器翻译的应用领域，并重塑目标质量水平。特别是，如果翻译必须符合某种特定的布局，则质量不仅应根据适当性和流畅性来衡量，还应根据长度来衡量。示例性情况是文档文件、字幕和配音脚本的翻译，其中输出长度理想地应该尽可能接近输入文本的长度。本文地址的第一次，尽我们所知，在NMT的输出长度控制的问题。我们研究了两种使用Transformer架构偏置输出长度的方法：i）将输出调节为给定的目标源长度比类，ii）使用长度信息丰富Transformer位置嵌入。我们的实验表明，这两种方法都可以诱导网络生成更短的翻译，并获得可解释的语言技能。
2019-10-25 cs.CL
Switch Attention: Towards Dynamic and Fine-grained Hybrid Transformers
State Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室）；School of Computer Science, PKU-Anker LLM Lab, Peking University（计算机科学学院，PKU-Anker LLM实验室，北京大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文提出Switch Attention，一种动态路由全注意力与滑动窗口注意力的混合变换器，通过自适应正则化和持续预训练提升长上下文语言模型的效率与性能。
2026-09-01 cs.CL
Longformer: The Long-Document Transformer
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
基于transformer的模型无法处理长序列，因为它们的自注意操作与序列长度成二次方关系。为了解决这个限制，我们引入了Longformer，它具有一个注意力机制，可以随序列长度线性扩展，从而可以轻松处理数千个令牌或更长时间的文档。Longformer的注意力机制是标准自我注意力的一种替代，它结合了局部窗口注意力和任务驱动的全局注意力。在长序列Transformers的先前工作之后，我们评估了Longformer的字符级语言建模，并在text 8和enwik 8上获得了最先进的结果。与大多数先前的工作相比，我们还对Longformer进行预训练，并在各种下游任务上对其进行微调。我们经过预训练的Longformer在长文档任务上的表现一直优于RoBERTa，并在WikiHop和TriviaQA上设置了最先进的结果。最后，我们介绍了Longformer-Encoder-Decoder（LED），这是一种用于支持长文档生成序列到序列任务的Longformer变体，并在arXiv摘要数据集上展示了其有效性。
2020-12-02 cs.CL
Shortformer: Better Language Modeling using Shorter Inputs
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）；Allen Institute for AI（艾伦人工智能研究所）
增加输入长度一直是使用Transformers进行语言建模的一个推动力。我们确定的条件下，较短的输入是无害的，并通过两种新的方法，减少输入长度实现困惑和效率的改善。首先，我们表明，在开始训练较长的模型之前，先在短时间内训练一个模型，这既减少了整体训练时间，也令人惊讶地大大改善了困惑。其次，我们展示了如何提高Transformers中递归方法的效率，当生成的序列超过Transformer一次可以处理的最大长度时，该方法让模型以先前处理的令牌为条件。现有的方法需要计算昂贵的相对位置嵌入，我们引入了一个简单的替代添加绝对位置嵌入查询和键，而不是词嵌入，有效地产生优越的结果。我们发现，这些经常性的模型也受益于短的输入长度。结合这些技术可以将训练速度提高1.65倍，减少内存使用，并在不添加任何参数的情况下大大改善WikiText-103的困惑。
2021-06-03 cs.CL
From Interpolation to Extrapolation: Complete Length Generalization for Arithmetic Transformers
RDFZ（中国人民大学附属中学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
针对 Transformer 学习算术算法时难以外推到更长序列的问题，提出 Attention Bias Calibration（ABC）自动校准注意力偏置，实现近乎完美的长度泛化并攻克 Parity 任务。
2024-05-10 cs.CL cs.LG
Parallelizing Linear Transformers with the Delta Rule over Sequence Length
Massachusetts Institute of Technology（麻省理工学院）；Soochow University（苏州大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
具有线性注意力的Transformers（即，线性Transformers）和状态空间模型最近被建议作为具有softmax关注的Transformers的可行线性时间替代。然而，这些模型仍然不如transformer，特别是在需要上下文检索的任务上。虽然已经发现用增量规则（DeltaNet）替换线性Transformers中的加法更新的线性Transformers的更有表现力的变体在关联召回方面更有效，但是用于训练这种模型的现有算法在序列长度上不并行化，因此在现代硬件上训练效率低下。这项工作描述了一个硬件高效的算法，用于训练线性Transformers的delta规则，它利用了一个内存高效的表示计算产品的Householder矩阵。该算法允许我们将DeltaNet扩展到标准语言建模设置。我们训练了一个1.3B模型，用于100 B令牌，发现它在下游任务的困惑和zero-shot性能方面优于最近的线性时间基线，如Mamba和GLA。我们还对两个混合模型进行了实验，这些模型将DeltaNet层与（1）每隔一层的滑动窗口注意力层或（2）两个全局注意力层相结合，并发现这些混合模型的性能优于强Transformer基线。
2025-01-15 cs.CL cs.LG
Your Context Is Not an Array: Unveiling Random Access Limitations in Transformers
University of Toronto（多伦多大学）；Qualcomm AI Research（高通人工智能研究中心）；Qualcomm Technologies, Inc.（高通技术公司）
本研究针对Transformer大语言模型的长度泛化失效问题，通过奇偶校验任务分析发现其根源在于模型无法在上下文窗口内执行随机内存访问，并通过相关方法验证及注意力图可视化佐证了该假设。
2024-08-10 cs.CL
Hi-Transformer: Hierarchical Interactive Transformer for Efficient and Effective Long Document Modeling
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
Transformer对于文本建模非常重要。然而，由于输入文本长度的二次复杂性，它在处理长文档时有困难。为了处理这个问题，我们提出了一个层次化的交互式Transformer（Hi-Transformer），以实现高效和有效的长文档建模。Hi-Transformer以分层的方式对文档进行建模，即，首先学习句子表示，然后学习文档表示。它可以有效地降低复杂度，同时捕获全局文档上下文的建模中的每一个句子。更具体地说，我们首先使用句子Transformer来学习每个句子的表示。然后，我们使用一个文档Transformer来从这些句子表示中建模全局文档上下文。接下来，我们使用另一个句子Transformer来使用全局文档上下文增强句子建模。最后，我们使用层次池方法来获得文档嵌入。在三个基准数据集上的大量实验验证了Hi-Transformer在长文档建模中的效率和有效性。
2021-12-09 cs.CL
Transformers Can Achieve Length Generalization But Not Robustly
Google DeepMind（谷歌DeepMind）；University of Toronto（多伦多大学）
本文通过整数加法任务测试了Transformer的长度泛化能力，发现使用正确的数据格式与位置编码组合可实现2.5倍长度外推，但该能力受随机种子等因素影响仍显脆弱。
2024-02-14 cs.AI cs.CL cs.LG
Extrapolation by Association: Length Generalization Transfer in Transformers
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Microsoft Research（微软研究院）
本文通过任务关联视角研究Transformer的长度泛化，发现相关任务间可迁移该能力，并在算法任务及预训练模型中验证，机制上与注意力头重用相关。
2025-08-04 cs.AI cs.CL
Barriers to Universal Reasoning With Transformers (And How to Overcome Them)
Saarland University（萨尔兰大学）；Ohio State University（俄亥俄州立大学）
研究探讨了Transformer在长CoT轨迹上的泛化能力限制，并提出通过动态词汇增长和符号标记实现长度可扩展性。
2026-08-11 cs.CL cs.LG
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
Transformers具有学习长期依赖的潜力，但在语言建模的设置中受到固定长度上下文的限制。我们提出了一种新的神经架构transformer-XL，使学习的依赖性超过一个固定的长度，而不会破坏时间的连贯性。它包括一个段级递归机制和一个新的位置编码方案。我们的方法不仅能够捕获长期依赖，而且还解决了上下文碎片问题。因此，Transformer-XL学习的依赖性比RNN长80%，比vanilla Transformers长450%，在短序列和长序列上都实现了更好的性能，并且在评估过程中比vanilla Transformers快1,800多倍。值得注意的是，我们将bpc/困惑度的最新结果提高到enwiki 8上的0.99，text 8上的1.08，WikiText-103上的18.3，One Billion Word上的21.8，以及Penn Treebank上的54.5（没有微调）。当只在WikiText-103上训练时，Transformer-XL设法生成具有数千个令牌的合理连贯，新颖的文本文章。我们的代码、预训练模型和超参数在Tensorflow和PyTorch中都可用。
2019-06-02 cs.CL cs.LG stat.ML
The Role of Sparsity for Length Generalization in Transformers
MIT EECS（麻省理工学院电子工程与计算机科学系）；Harvard University（哈佛大学）；Kempner Institute at Harvard University（哈佛大学肯普纳研究所）
本文提出理论框架证明，当每个预测词元仅依赖少量先前词元（稀疏依赖）时，Transformer可实现长度泛化，并据此引入预测性位置耦合方法以扩展应用范围。
2025-02-24 cs.AI cs.CL cs.LG
What Algorithms can Transformers Learn? A Study in Length Generalization
Apple（苹果公司）；Mila, Université de Montréal（米拉研究所，蒙特利尔大学）；Tel Aviv University（特拉维夫大学）
研究Transformer在算法任务上的长度泛化能力，提出RASP泛化猜想，指出若任务可用适用于所有输入长度的简短RASP程序解决则Transformer能实现长度泛化，并据此大幅提升了奇偶性和加法等困难任务的泛化性能。
2023-10-24 cs.AI cs.CL cs.LG
Spike-Triggered Non-Autoregressive Transformer for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
非自回归Transformer模型在神经机器翻译中实现了极快的推理速度和与自回归序列到序列模型相当的性能。大多数非自回归Transformers从预定义长度的掩码序列解码目标序列。如果预定义的长度太长，则会导致大量的冗余计算。如果预定义的长度小于目标序列的长度，则会损害模型的性能。为了解决这个问题，提高推理速度，本文提出了一种用于端到端语音识别的尖峰触发非自回归Transformer模型，该模型引入CTC模块来预测目标序列的长度，加速收敛。所有的实验都是在公开的汉语普通话数据集AISHELL-1上进行的。结果表明，该模型能够准确预测目标序列的长度，并取得了与先进的Transformers竞争的性能。更重要的是，该模型甚至达到了0.0056的实时系数，超过了所有主流的语音识别模型。
2020-05-16 cs.CL cs.SD eess.AS
On the "Induction Bias" in Sequence Models
Qualcomm AI Research is an initiative of Qualcomm Technologies, Inc（高通人工智能研究，由高通技术公司发起）
通过大规模实验比较Transformer和RNN在状态跟踪任务上的数据效率，发现Transformer需要更多训练数据且难以跨长度共享权重，而RNN通过权重共享实现有效学习。
2026-05-29 cs.CL cs.LG
A Comparison of Transformer, Convolutional, and Recurrent Neural Networks on Phoneme Recognition
Seoul National University（首尔国立大学）
音素识别是语音识别的一个重要组成部分，它要求能够从多帧中提取语音特征。在本文中，我们比较和分析CNN，RNN，Transformer和Conformer模型使用音素识别。对于CNN，使用ContextNet模型进行实验。首先，我们比较了不同的约束条件下，如感受野长度，参数大小和层深度的各种架构的准确性。其次，我们解释了这些模型的性能差异，特别是当可观测序列长度变化时。我们的分析表明，Transformer和Conformer模型受益于通过输入帧的自我注意的长距离可达性。
2022-10-01 cs.CL eess.AS
The Impact of Positional Encoding on Length Generalization in Transformers
Mila, McGill University（米拉-麦吉尔大学）；IBM Research（IBM研究院）；Facebook CIFAR AI Chair（Facebook CIFAR AI主席）；ServiceNow Research（ServiceNow研究院）
该研究通过实证对比五种位置编码方案在仅解码器Transformer上的长度泛化表现，发现无位置编码方案性能更优且无需额外计算，同时指出草稿板对长度泛化的作用不稳定，证明显式位置嵌入并非长序列泛化的必需条件。
2023-11-06 cs.AI cs.CL cs.LG
Randomized Positional Encodings Boost Length Generalization of Transformers
DeepMind（深度思维（DeepMind））
本文提出随机化位置编码方案，通过模拟更长序列位置并随机选取有序子集，解决Transformer在长度泛化上的分布外问题，在15个算法推理任务上平均提升测试准确率12.0%。
2023-05-26 cs.AI cs.CL cs.LG
Fusion Matters: Length-Aware Analysis of Positional-Encoding Fusion in Transformers
School of Computer Science and Technology（计算机科学与技术学院）；Harbin Institute of Technology（哈尔滨工业大学）
本文研究了Transformer中位置编码融合机制对长序列性能的影响，发现融合策略的选择对长文档有显著提升，且提出了轻量级卷积门控机制以增强模型效果。
2026-01-09 cs.CL cs.LG
Landmark Attention: Random-Access Infinite Context Length for Transformers
EPFL（洛桑联邦理工学院）
提出Landmark Attention方法，通过landmark token表示输入块并直接利用注意力机制检索相关块，在保留随机访问灵活性的同时支持无限上下文长度，微调LLaMA 7B将上下文扩展至32k tokens。
2023-11-20 cs.CL cs.LG
Born a Transformer -- Always a Transformer? On the Effect of Pretraining on Architectural Abilities
Saarland University（萨尔兰大学）；Brown University（布朗大学）
本研究通过检索与复制任务，发现预训练Transformer存在归纳优于反归纳的不对称性，且该不对称性在理论保证下可经微调消除，表明预训练增强特定能力但未克服长度泛化限制。
2025-10-23 cs.CL cs.LG
Position as Probability: Self-Supervised Transformers that Think Past Their Training for Length Extrapolation
Xenon Labs LLC（Xenon实验室）
PRISM通过概率相对位置隐式叠加模型实现超越训练长度的稳健外推，提升Transformer在复杂任务中的泛化能力。
2025-12-22 cs.AI cs.CL cs.LG
Bridging Kolmogorov Complexity and Deep Learning: Asymptotically Optimal Description Length Objectives for Transformers
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文提出基于柯尔莫哥洛夫复杂性的渐近最优描述长度目标，用于改进Transformer模型的压缩与泛化能力，揭示了优化挑战。
2026-03-02 cs.AI cs.CL cs.LG
On The Adaptation of Unlimiformer for Decoder-Only Transformers
Microsoft（微软）
本文研究将Unlimiformer向量检索增强方法适配到仅解码器Transformer，通过一系列修改克服其不兼容问题，并在摘要生成、自由形式问答和指令微调模型上验证了有效性。
2024-10-02 cs.CL cs.LG
Position Coupling: Improving Length Generalization of Arithmetic Transformers Using Task Structure
Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）；Google Research（谷歌研究院）；NYU（纽约大学）
针对Transformer算术任务长度泛化差的问题，提出将任务结构嵌入位置编码的位置耦合方法，经实验和理论验证可大幅提升泛化能力，且适用于多种算法任务。
2024-10-30 cs.AI cs.CL cs.LG
FNet: Mixing Tokens with Fourier Transforms
Google Research（谷歌研究院）
我们表明，Transformer编码器架构可以加快，有限的精度成本，通过用简单的线性变换“混合”输入令牌取代自我注意力子层。这些线性混合器，以及前馈层中的标准非线性，证明了在几个文本分类任务中建模语义关系的能力。最令人惊讶的是，我们发现用标准的非参数化傅立叶变换替换Transformer编码器中的自注意子层，在GLUE基准测试中实现了BERT对应物的92-97%的准确度，但在标准512输入长度下，GPU上的训练速度快了80%，TPU上的训练速度快了70%。在较长的输入长度下，我们的FNet模型明显更快：与Long Range Arena基准测试中的“高效”Transformers相比，FNet与最准确模型的准确性相匹配，同时在GPU上的所有序列长度（以及TPU上相对较短的长度）上都超过了最快的模型。最后，FNet的内存占用量很小，在较小的模型尺寸下特别有效;对于固定的速度和精度预算，小型FNet模型优于Transformer模型。
2022-05-26 cs.CL cs.LG
Efficiently Scaling Transformer Inference
Google（谷歌）
我们研究了Transformer模型的高效生成推理问题，在其最具挑战性的设置之一：大型深度模型，具有紧密的延迟目标和长序列长度。更好地理解大型基于transformer的模型的推理的工程权衡非常重要，因为这些模型的用例在整个应用领域中快速增长。我们开发了一个简单的推理效率分析模型，根据应用需求选择最佳的TPU v4切片优化多维分区技术。我们将这些与一套低级优化相结合，以在500 B+参数模型上实现延迟和模型FLOPS利用率（MFU）权衡的新Pareto前沿，该模型优于FasterTransformer基准测试套件。我们进一步表明，通过适当的分区，多查询注意力（即多个查询头共享单个键/值头）的内存需求较低，可以扩展到32倍更大的上下文长度。最后，我们在生成过程中实现了每个令牌29 ms的低批量延迟（使用int 8权重量化），在输入令牌的大批量处理过程中实现了76%的MFU，同时在PaLM 540 B参数模型上支持长2048令牌上下文长度。
2022-11-09 cs.CL cs.LG
LeaPformer: Enabling Linear Transformers for Autoregressive and Simultaneous Tasks via Learned Proportions
Oregon State University（俄勒冈州立大学）
提出LeaPformer，通过将重加权函数从依赖序列长度泛化为依赖序列比例，并引入动态比例模块，使线性Transformer适用于自回归和同步任务，在多项基准上取得最佳质量-吞吐量权衡和竞争性结果。
2024-05-18 cs.CL cs.LG
Evaluation of Coding Schemes for Transformer-based Gene Sequence Modeling
University of Science and Technology of China（科学技术大学）；University of Washington（华盛顿大学）
本文系统比较了k-mer切分、BPE分词及三种位置编码在DNA Transformer中的效果，发现BPE整体性能更高更稳定，RoPE擅长周期性基序与长序列外推，并指出12层为较优深度。
2025-07-20 cs.AI cs.CL
Striped Attention: Faster Ring Attention for Causal Transformers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MosaicML（MosaicML公司）；MIT EECS（麻省理工学院电气工程与计算机科学系）
针对因果Transformer中环形注意力因三角结构导致的工作负载不均衡，提出条纹注意力，通过均匀分布token子集实现更均衡负载，在A100和TPUv4上分别获得最高1.45倍和1.65倍的吞吐量提升。
2023-11-15 cs.CL cs.LG
On the Ability of Transformers to Verify Plans
Saarland University（萨尔兰大学）；Australian National University（澳大利亚国立大学）；University of Toulouse / LAAS-CNRS（图卢兹大学 / LAAS-CNRS）
研究分析了解码器-only模型验证计划的能力，提出C*-RASP框架以保证序列长度和词汇量增长时的泛化能力，发现某些经典规划领域中Transformer能有效学习验证长计划。
2026-07-07 cs.AI cs.CL cs.LG
Robust and Unbounded Length Generalization in Autoregressive Transformer-Based Text-to-Speech
Google DeepMind（谷歌DeepMind）
本文提出Very Attentive Tacotron，通过可学习的对齐机制为交叉注意力提供相对位置信息，解决了自回归Transformer TTS在长语音上的重复、丢词和长度泛化问题，同时保持与T5基线相当的自然度。
2025-03-11 cs.CL cs.LG cs.SD
LongNet: Scaling Transformers to 1,000,000,000 Tokens
Microsoft Research（微软研究院）；Xi’an Jiaotong University（西安交通大学）
针对大语言模型序列长度扩展受限的问题，研究提出带扩张注意力的Transformer变体LongNet，可将序列扩展至超10亿token且不损失短序列性能，兼具线性复杂度等优势，在长序列和通用语言任务上表现优异。
2023-07-19 cs.CL cs.LG
Levenshtein Transformer
Facebook AI Research（Facebook人工智能研究院）；New York University（纽约大学）；Tigerobo Inc.（虎博科技）
现代神经序列生成模型被构建为从零开始逐步生成令牌，或者（迭代地）修改由固定长度限定的令牌序列。在这项工作中，我们开发Levenshtein Transformer，一个新的部分自回归模型，设计更灵活，更适合序列生成。与以前的方法不同，我们模型的原子操作是插入和删除。它们的组合不仅有利于生成，而且有利于允许动态长度变化的序列细化。我们还提出了一套专门针对它们的新训练技术，由于它们的互补性，有效地利用一个作为另一个的学习信号。应用该模型的实验实现了相当的性能，但大大提高了效率的生成（例如机器翻译，文本摘要）和细化任务（例如自动后期编辑）。我们通过展示由机器翻译训练的Levenshtein Transformer可以直接用于自动后期编辑来进一步确认我们模型的灵活性。
2019-10-28 cs.CL cs.LG
Recurrent Looped Transformer
Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）
提出循环循环 Transformer（RLT），通过循环解码器使计算路径随序列长度增长，在算法任务上显著提升状态跟踪泛化能力，超越固定深度 Transformer。
2026-10-14 cs.AI cs.CL cs.LG
Discovering Interpretable Algorithms by Decompiling Transformers to RASP
Saarland Informatics Campus, Saarland University（萨尔兰大学信息学院校区，萨尔兰大学）；University of Oxford（牛津大学）；Allen Institute for AI（人工智能研究所）
提出一种将训练好的Transformer忠实重参数化为RASP程序，并通过因果干预发现小型充分子程序的方法，实验表明长度泛化的Transformer内部实现了简单可解释的RASP程序。
2026-06-05 cs.AI cs.CL cs.LG
TexIm FAST: Text-to-Image Representation for Semantic Similarity Evaluation using Transformers
A. K. Choudhury School of IT（A.K.乔杜里信息技术学院）；University of Calcutta（加尔各答大学）；Bangabasi Morning College（班加巴希晨学院）
本文提出TexIm FAST方法，利用自监督VAE和Transformer将变长文本转换为固定长度图像表示，在语义相似度任务中减少75%以上内存占用并提升6%准确率。
2024-06-06 cs.AI cs.CL
DeepSpeed Ulysses: System Optimizations for Enabling Training of Extreme Long Sequence Transformer Models
Microsoft Inc（微软公司）
针对现有并行方法不适用长序列LLM训练、现有序列并行方案内存通信效率低的问题，提出DeepSpeed-Ulysses方法，通过序列维度划分数据与高效all-to-all通信实现恒定通信量，训练速度与支持序列长度均显著优于现有SOTA基线。
2023-10-04 cs.CL cs.DC cs.LG
