Theoretical Analysis of Hierarchical Language Recognition and Generation by Transformers without Positional Encoding
The University of Tokyo（东京大学）
本文通过构造性证明表明，无需特定位置编码，Transformer 仅依赖因果掩码和起始标记即可高效识别与生成层级语言，并指出显式位置编码可能对序列长度泛化产生不利影响。
2024-10-16 cs.CL
Position Coupling: Improving Length Generalization of Arithmetic Transformers Using Task Structure
Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）；Google Research（谷歌研究院）；NYU（纽约大学）
针对Transformer算术任务长度泛化差的问题，提出将任务结构嵌入位置编码的位置耦合方法，经实验和理论验证可大幅提升泛化能力，且适用于多种算法任务。
2024-10-30 cs.AI cs.CL cs.LG
RoFormer: Enhanced Transformer with Rotary Position Embedding
Zhuiyi Technology Co., Ltd.（追一科技有限公司）
本文提出 RoPE 旋转位置嵌入，用旋转矩阵编码绝对位置并在自注意力中融入相对位置依赖，由此构建的 RoFormer 在长文本分类任务上持续优于对比方法。
2023-11-08 cs.AI cs.CL cs.LG
SHAPE: Shifted Absolute Position Embedding for Transformers
RIKEN（日本理化学研究所）；Tohoku University（东北大学）；Preferred Networks, Inc.（Preferred Networks公司）
位置表示对于在Transformers中构建位置感知表示至关重要。现有的位置表示遭受缺乏推广到具有不可见长度或高计算成本的测试数据。我们研究了移位绝对位置嵌入（SHAPE）来解决这两个问题。SHAPE的基本思想是通过在训练期间随机移动绝对位置来实现移位不变性，这是最近成功的位置表示的关键属性。我们证明，形状是经验可比的，它的对应，同时更简单，更快。
2021-09-13 cs.CL
Where does Absolute Position come from in decoder-only Transformers?
Sapienza University of Rome（罗马大学萨皮恩扎分校）；Intuition Machines（直觉机器）
本文研究了RoPE训练的仅解码器Transformer中绝对位置信息的来源，发现因果掩码和残差流是导致绝对位置泄露的两个关键组件，并提出了通过替换BOS嵌入来减少残差流成分的方法。
2026-06-04 cs.AI cs.CL
Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Toronto（多伦多大学）
本文提出并验证了因果Transformer无需位置编码即可通过邻近嵌入相似性存储位置信息的假设，并证明该模式在训练和随机初始化模型中均会出现。
2024-12-30 cs.CL cs.LG
A Simple and Effective Positional Encoding for Transformers
Google Research（谷歌研究院）
Transformer模型是置换等变的。为了提供输入标记的顺序和类型信息，位置和段嵌入通常被添加到输入中。最近的工作提出了具有实现更好性能的相对位置编码的位置编码的变型。我们的分析表明，增益实际上来自于将位置信息从输入移动到注意层。受此启发，我们引入了Transformers的去耦位置注意力（DIET），这是一种简单而有效的机制，可以将位置和分段信息编码到Transformer模型中。所提出的方法具有更快的训练和推理时间，同时在GLUE，XTREME和WMT基准测试中获得了有竞争力的性能。我们进一步推广我们的方法，远程Transformers和性能增益。
2021-11-03 cs.CL cs.LG
The Case for Translation-Invariant Self-Attention in Transformer-Based Language Models
KTH Royal Institute of Technology（瑞典皇家理工学院）
编码位置信息的机制是基于转换器的语言模型的核心。在本文中，我们分析了现有的语言模型的位置嵌入，发现强有力的证据，翻译不变性，无论是嵌入本身和他们的自我注意的影响。翻译不变性的程度在训练过程中增加，并与模型性能呈正相关。我们的研究结果使我们提出了一种不变性自我注意（TISA），它以一种可解释的方式解释了标记之间的相对位置，而不需要传统的位置嵌入。我们的建议有几个理论上的优势，现有的位置表示方法。实验结果表明，该算法在GLUE任务上比常规ALBERT算法有了明显的改进，而位置参数的增加数量级更少。
2021-06-03 cs.AI cs.CL cs.LG
Decoupling Positional and Symbolic Attention Behavior in Transformers
University of Chile（智利大学）；CENIA；Faculty of mathematics UC（数学学院 UC）；IMC UC
本研究针对Transformer中RoPE的注意力行为二分特性，从理论与实证层面定义并量化互斥的位置、符号注意力行为，验证行为与频率使用的因果关联，深化了对RoPE机制的理解。
2025-10-03 cs.AI cs.CL cs.LG
Dynamic Position Encoding for Transformers
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Amazon（亚马逊）
在过去的几年里，递归模型一直主导着神经机器翻译（NMT）领域。Transformers \citep{vaswani2017attention}通过提出一种依赖于前馈骨干和自注意力机制的新颖体系结构，从根本上改变了它。虽然Transformers功能强大，但由于其非循环特性，它们可能无法正确编码顺序/位置信息。为了解决这个问题，位置嵌入被专门定义为每个时间步，以丰富单词信息。然而，这样的嵌入在训练之后是固定的，而不管源或目标语言的任务和单词排序系统如何。在本文中，我们提出了一种新的架构，新的位置嵌入取决于输入文本，以解决这个缺点，考虑到目标词的顺序。我们的解决方案没有使用预定义的位置嵌入，而是生成新的嵌入来细化每个单词的位置信息。由于我们不指定源标记的位置并以端到端的方式学习它们，因此我们将我们的方法称为动态位置编码（DPE）。我们评估了我们的模型对多个数据集的影响，从英语翻译成德语，法语和意大利语，并观察到与原始Transformer相比有意义的改进。
2022-10-22 cs.CL
The Impact of Positional Encoding on Length Generalization in Transformers
Mila, McGill University（米拉-麦吉尔大学）；IBM Research（IBM研究院）；Facebook CIFAR AI Chair（Facebook CIFAR AI主席）；ServiceNow Research（ServiceNow研究院）
该研究通过实证对比五种位置编码方案在仅解码器Transformer上的长度泛化表现，发现无位置编码方案性能更优且无需额外计算，同时指出草稿板对长度泛化的作用不稳定，证明显式位置嵌入并非长序列泛化的必需条件。
2023-11-06 cs.AI cs.CL cs.LG
Hate-Alert@DravidianLangTech-EACL2021: Ensembling strategies for Transformer-based Offensive language Detection
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
社交媒体经常成为不同形式的攻击性内容的滋生地。对于像泰米尔语这样的低资源语言，由于多语言或特定语言模型的性能不佳以及缺乏适当的基准数据集，情况更加复杂。基于EACL 2021上的Dravidian语言中的攻击性语言识别这一共同任务，我们对不同的Transformer模型进行了详尽的探索，并提供了一种用于集成不同模型的遗传算法技术。我们为每种语言单独训练的集成模型在泰米尔语中获得了第一名，在卡纳达语中获得了第二名，在马拉雅拉姆语子任务中获得了第一名。给出了模型和代码。
2021-02-19 cs.AI cs.CL
ExPe: Exact Positional Encodings for Generative Transformer Models with Extrapolating Capabilities
Faculty of Mathematics and Informatics, Sofia University St. Kliment Ohridski（数学与信息学系，索菲亚大学）；Graphwise
针对传统Transformer位置嵌入长序列外推能力不足的问题，提出精确位置嵌入ExPE，通过覆写嵌入向量特定维度编码精确位置信息，在因果语言建模长序列测试中显著降低困惑度，提升模型长序列泛化能力。
2025-09-23 cs.CL
P-Transformer: Towards Better Document-to-Document Neural Machine Translation
Northwest Minzu University（西北民族大学）；Soochow University（苏州大学）；Huawei Translation Services Center（华为翻译服务中心）
通过Transformer从头开始直接训练文档到文档（Doc 2Doc）神经机器翻译（NMT），特别是在小数据集上，通常无法收敛。我们专门的探测任务表明：1）绝对位置和相对位置信息一旦到达编码器上层就会逐渐减弱甚至消失，2）编码器输出中绝对位置信息的消失导致Doc 2Doc NMT的训练失败。为了缓解这个问题，我们提出了一个位置感知的Transformer（P-Transformer），以提高绝对和相对位置信息的自我注意和交叉注意。具体地，我们整合绝对位置信息，即，位置嵌入，通过一个简单而有效的加法运算，在自注意和交叉注意中的查询键对中。此外，我们还整合了自我注意中的相对位置编码。所提出的P-变压器利用正弦位置编码，不需要任何任务指定的位置嵌入，段嵌入，或注意力机制。通过上述方法，我们使用P-Transformer构建了一个Doc 2Doc NMT模型，该模型以序列到序列（seq 2seq）的方式摄取源文档并完整地生成目标文档。此外，P-Transformer还可以应用于基于seq 2seq的文档到句子（Doc 2Sent）和句子到句子（Sent 2Sent）翻译。Doc 2Doc NMT的大量实验结果表明，P-Transformer在广泛使用的9个文档级数据集、7个语言对上的表现显著优于强基线，达到了新的水平。对话语现象的实验表明，我们的Doc 2Doc NMT模型在BLEU和话…
2022-12-12 cs.CL
The Double Helix inside the NLP Transformer
World Wide Technology（世界宽科技公司）
提出NLP Transformer信息分析框架，区分四层信息并用Linear-and-Add方法替代次优的位置加法，揭示了位置信息在深层呈螺旋分离及词性聚类现象，为理解深层信息处理提供了新途径。
2023-06-23 cs.AI cs.CL
Improve Transformer Models with Better Relative Position Embeddings
AWS AI（亚马逊云服务人工智能（AWS AI））
Transformer体系结构依赖于显式的位置编码，以保持词序的概念。在本文中，我们认为，现有的工作并没有充分利用位置信息。例如，正弦曲线嵌入的初始建议是固定的，不可学习。在本文中，我们首先回顾绝对位置嵌入和相对位置嵌入的现有方法。然后，我们提出了新的技术，鼓励增加查询，关键和相对位置嵌入在自我注意力机制之间的互动。我们最有前途的方法是绝对位置嵌入的推广，与以前的位置嵌入方法相比，SQuAD 1.1的结果有所改善。此外，我们解决的归纳属性的位置嵌入是否可以足够强大，以处理长序列。我们的经验表明，我们的相对位置嵌入方法是合理的推广和强大的归纳的角度来看。最后，我们表明，我们提出的方法可以作为一个近下降的替代，以提高大型模型的精度与一个小的计算预算。
2020-09-28 cs.CL
Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling
本技术综述梳理 Transformer 各类位置编码方法，推导 RoPE 原理并对比不同方法特性，研究长上下文扩展方案，明确长上下文泛化能力需多任务评估。
2026-08-12 cs.CL
Non-autoregressive Transformer by Position Learning
Nanjing University（南京大学）；ByteDance AI Lab（字节跳动人工智能实验室）
非自回归模型在各种文本生成任务中很有前途。以前的工作很少考虑显式建模生成的单词的位置。然而，位置建模是非自回归文本生成中的一个基本问题。在这项研究中，我们提出PNAT，它将位置作为一个潜在的变量到文本生成过程。实验结果表明，PNAT在机器翻译和释义生成任务上取得了最好的结果，优于几个强基线。
2019-11-25 cs.CL cs.LG
The Role of Sparsity for Length Generalization in Transformers
MIT EECS（麻省理工学院电子工程与计算机科学系）；Harvard University（哈佛大学）；Kempner Institute at Harvard University（哈佛大学肯普纳研究所）
本文提出理论框架证明，当每个预测词元仅依赖少量先前词元（稀疏依赖）时，Transformer可实现长度泛化，并据此引入预测性位置耦合方法以扩展应用范围。
2025-02-24 cs.AI cs.CL cs.LG
Segatron: Segment-Aware Transformer for Language Modeling and Understanding
University of Waterloo（滑铁卢大学）；Peking University（北京大学）
Transformers对于序列建模非常强大。几乎所有最先进的语言模型和预训练的语言模型都基于Transformer架构。但是，它仅通过标记位置索引来区分连续标记。我们假设，更好的上下文表示可以从具有更丰富的位置信息的Transformer生成。为了验证这一点，我们提出了一个段感知的Transformer（Segatron），通过替换原来的令牌位置编码与段落，句子和令牌的组合位置编码。我们首先将段感知机制引入到Transformer-XL，这是一种流行的基于transformer的语言模型，具有内存扩展和相对位置编码。我们发现，我们的方法可以进一步改善Transformer-XL基础模型和大模型，在WikiText-103数据集上实现17.1困惑度。我们进一步研究了Segatron的预训练掩蔽语言建模任务。实验结果表明，使用Segatron（SegaBERT）预训练的BERT在各种NLP任务上的性能优于使用vanilla Transformer的BERT，在zero-shot句子表示学习上的性能优于RoBERTa。
2020-12-15 cs.CL cs.LG
Generalized Attention Mechanism and Relative Position for Transformer
本文首先对Vaswani等人的自我注意力机制提出了一种新的解释，然后提出了广义注意力机制（GAM）。在解释之后，我们提供了对注意力机制的不同变体的描述，这些变体一起形成GAM。此外，我们提出了一个新的相对位置表示GAM的框架内。这种表示可以很容易地用于输入序列中彼此相邻的元素可以位于实际数据集/语料库中的随机位置的情况。
2022-07-24 cs.CL cs.LG
Attention Alignment and Flexible Positional Embeddings Improve Transformer Length Extrapolation
Carnegie Mellon University（卡内基梅隆大学）
本文提出通过温度缩放的注意力对齐策略，缓解T5模型因位置嵌入灵活性导致的注意力分散问题，从而无需微调即可提升其在长上下文任务中的外推能力。
2023-11-15 cs.CL cs.LG
Position: The Turing-Completeness of Autoregressive Transformers Relies Heavily on Context Management
Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院）；DEKE Lab, Renmin University of China, Beijing, China（中国人民大学北京校区DEKE实验室）
本文通过区分固定系统和缩放族两种设置，论证了上下文管理方法对自回归Transformer计算能力的决定性影响，并指出缩放族设置下的图灵完备性证明不适用于实际部署的固定系统。
2026-05-27 cs.AI cs.CL cs.LG
Source Code Summarization with Structural Relative Position Guided Transformer
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；The Chinese University of Hong Kong（香港中文大学）
源代码摘要旨在为程序设计语言生成简洁明了的自然语言描述。编写良好的代码摘要有利于程序员参与软件开发和维护过程。为了学习源代码的语义表示，最近的努力集中在将代码的语法结构合并到神经网络（如Transformer）中。这种基于变换器的方法可以比包括递归神经网络（RNN）的其他神经网络更好地捕获长程依赖性，然而，它们中的大多数没有考虑令牌之间的结构相对相关性，例如，抽象树（AST）中的相对位置，这有利于代码语义学习。为了对结构依赖性进行建模，我们提出了一种结构相对位置引导的Transformer，命名为STRT。该算法首先通过解析源代码的AST来获得标记之间的结构相对位置，然后将其传递给两种类型的Transformer编码器。一个Transformer根据结构相对距离直接调整输入，另一个Transformer在计算自我注意分数时对结构相对位置进行编码。最后，我们堆叠这两种类型的Transformer编码器来学习源代码的表示。实验结果表明，该方法在BLEU、ROUGE-L和METEOR三种测试数据集上的性能分别比现有方法提高了1.6%、1.4%和2.8%。我们进一步表明，如何建议的CRAFT捕获的结构相对依赖关系。
2022-02-14 cs.CL cs.SE
AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing
National Institute of Technology Trichy（特里奇国立理工学院）
基于transformer的预训练语言模型（T-PTLM）在几乎所有的NLP任务中都取得了巨大的成功。这些模型的发展始于GPT和BERT。这些模型是建立在Transformers，自监督学习和迁移学习。基于转换的PTLM使用自监督学习从大量文本数据中学习通用语言表示，并将此知识转移到下游任务。这些模型为下游任务提供了良好的背景知识，避免了从头开始训练下游模型。在这篇全面的综述论文中，我们首先简要概述了自监督学习。接下来，我们将解释各种核心概念，如预训练，预训练方法，预训练任务，嵌入和下游适应方法。接下来，我们提出了一个新的分类T-PTLM，然后简要概述了各种基准，包括内在和外在的。我们总结了各种有用的库与T-PTLM一起工作。最后，我们强调了一些未来的研究方向，这将进一步改善这些模型。我们坚信，这份全面的调查报告将作为一个很好的参考，以了解核心概念，以及保持与最近发生的T-PTLM更新。
2021-08-28 cs.CL
Position as Probability: Self-Supervised Transformers that Think Past Their Training for Length Extrapolation
Xenon Labs LLC（Xenon实验室）
PRISM通过概率相对位置隐式叠加模型实现超越训练长度的稳健外推，提升Transformer在复杂任务中的泛化能力。
2025-12-22 cs.AI cs.CL cs.LG
Length Generalization of Causal Transformers without Position Encoding
School of Computer Science, East China Normal University（华东师范大学计算机科学学院）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；International Human Phenome Institutes, Shanghai（国际人类表型组研究院（上海））；Shanghai AI Lab（上海人工智能实验室）；Institute of Modern Languages and Linguistics, Fudan University（复旦大学现代语言与语言学研究所）
本文研究无位置编码（NoPE）的因果Transformer的长度泛化问题，发现其失败与注意力分散有关，并提出参数高效的温度超参数调优方法，显著扩展上下文长度，在长序列任务上取得与最先进算法竞争的性能。
2024-05-28 cs.CL
Position-Agnostic Pre-Projection for Transformer Attention: Nonlinear Feature Construction and Content Skip Before Q/K/V
Independent Researcher（独立研究员）
本文提出两种改进Transformer注意力机制的方法，通过非线性预投影MLP构建位置无关的丰富特征，并通过内容跳过连接绕过注意力机制，提升模型在Pythia-160M和410M上的表现，实现LAMBADA准确率提升40.6%和困惑度降低39%。
2026-04-12 cs.CL cs.LG
Transformers with convolutional context for ASR
Facebook AI Research（脸书人工智能研究院）
最近，Transformer网络在神经机器翻译和其他NLP任务中的成功，导致了试图将其应用于语音识别的研究工作激增。最近的努力研究了关键的研究问题，围绕位置嵌入与语音特征相结合的方式，以及Transformer网络大规模学习的优化稳定性。在本文中，我们建议用卷积学习的输入表示来取代Transformers的正弦位置嵌入。这些上下文表示为后续的Transformer块提供了发现局部概念之间的远程关系所需的相对位置信息。所提出的系统具有良好的优化特性，我们的报告结果产生固定的学习率为1.0，没有热身步骤。当没有额外的LM文本提供时，该模型在Librispeech“测试清洁”和“测试其他”子集上实现了4.7%和12.9%的竞争力WER。
2020-03-02 cs.CL
Verb Conjugation in Transformers Is Determined by Linear Encodings of Subject Number
New York University（纽约大学）
本文通过因果干预分析证明，BERT的动词变位能力依赖于主语数的线性可解释编码，该编码在不同网络层中呈现位置分布差异。
2023-10-23 cs.AI cs.CL cs.LG
Length Extrapolation of Transformers: A Survey from the Perspective of Positional Encoding
Harbin Institute of Technology（哈尔滨工业大学）；The University of Hong Kong（香港大学）；Peng Cheng Laboratory（鹏城实验室）；Du Xiaoman Financial (Beijing)（度小满金融（北京））
该综述针对Transformer模型长度外推能力不足的问题，从位置编码视角系统梳理了可外推位置编码及基于其的位置插值、随机位置等外推方法，并提出了该领域的挑战与未来方向。
2024-10-06 cs.CL
Language Modeling with Deep Transformers
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
我们探索深度自回归Transformer模型在语音识别语言建模中的应用。我们重点关注两个方面。首先，我们回顾专门用于语言建模的Transformer模型配置。我们发现，基于LSTM递归神经网络层的浅栈，配置良好的Transformer模型优于我们的基线模型。我们在开源LibriSpeech 960 hr任务上进行了实验，用于200 K词汇单词级和10 K字节对编码子单词级语言建模。我们应用我们的词级模型，传统的混合语音识别的格重评分，和子词级模型的注意基于编码器-解码器模型的浅层融合。其次，我们证明了深度Transformer语言模型不需要位置编码。位置编码是自我注意力机制的一种重要的增强机制，它对序列排序是不变的。然而，在自回归设置中，就像语言建模的情况一样，信息量沿着位置维度增加，这本身就是一个位置信号。对注意权重的分析表明，深度自回归自注意模型可以自动利用这种位置信息。我们发现，删除位置编码，甚至略有改善这些模型的性能。
2019-07-11 cs.CL cs.LG
Mitigating the Position Bias of Transformer Models in Passage Re-Ranking
TU Wien（维也纳工业大学）；University College London（伦敦大学学院）
受监督的机器学习模型及其评估在很大程度上取决于底层数据集的质量。当我们搜索一条相关的信息时，它可能出现在给定段落的任何地方。然而，我们观察到一个偏见的正确答案在文本中的位置在两个流行的问答数据集用于通道重新排名。过度偏爱通道内的较早位置是不想要的人工制品。这导致了三种常见的基于transformer的重新排序模型，以忽略未看到的段落中的相关部分。更令人担忧的是，由于评估集来自相同的偏置分布，因此过拟合该偏置的模型高估了它们的真实有效性。在这项工作中，我们分析了数据集上的位置偏差，上下文表示，以及它们对检索结果的影响。我们提出了一个去偏方法检索数据集。我们的研究结果表明，在位置偏置数据集上训练的模型在去偏置数据集上进行评估时，重新排名的有效性显着降低。我们证明，通过减轻位置偏差，基于transformer的重新排序模型在有偏和去偏数据集上同样有效，并且在两个不同偏数据集之间的迁移学习设置中更有效。
2021-01-18 cs.CL cs.IR
PoPE: Legendre Orthogonal Polynomials Based Position Encoding for Large Language Models
Airtel Africa Digital Labs（Airtel非洲数字实验室）
针对正弦位置编码在高维表示上的局限，本文提出基于勒让德正交多项式的 PoPE，并在 Multi30k 翻译任务中验证其性能与收敛优势。
2024-04-29 cs.AI cs.CL cs.LG
Linearized Relative Positional Encoding
Shanghai AI Laboratory（上海人工智能实验室）；Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）；The University of Hong Kong（香港大学）
本研究针对线性Transformer缺乏适用相对位置编码设计原则的问题，整合现有方法并通过酉变换提出LRPE编码族，在多项任务中取得最优性能，提供了通用设计范式。
2023-07-18 cs.CL
Mitigating Position Bias in Transformers via Layer-Specific Positional Embedding Scaling
Fudan University（复旦大学）；Westlake University（西湖大学）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）
提出层特定位置嵌入缩放方法，通过遗传算法优化各层缩放因子，无需微调或增加延迟，有效缓解长上下文中的位置偏差，在关键值检索任务上准确率提升11.2%。
2026-06-29 cs.CL
Efficient transformer with reinforced position embedding for language models
University of Connecticut（康涅狄格大学）
本研究提出带增强位置嵌入的高效Transformer，通过拼接位置编码与可训练嵌入、归一化嵌入矩阵列等设计，在参数量约减三分之二的情况下，于葡英翻译及14个TensorFlow翻译数据集上实现更优的损失表现与训练效率。
2024-10-07 cs.CL
SeqPE: Transformer with Sequential Position Encoding
Nara Institute of Science and Technology（奈良科学技术研究所）；Kuaishou Technology（快手科技）；Tencent（腾讯）
针对传统位置编码外推能力弱、跨模态适配成本高的问题，提出全可学习的SeqPE框架，通过序列编码位置索引并结合对比与蒸馏目标正则化，在多任务上超越基线且支持多维输入无缝泛化。
2025-06-17 cs.AI cs.CL cs.CV
A Length-Extrapolatable Transformer
Microsoft（微软）
位置建模在Transformers中起着至关重要的作用。在本文中，我们专注于长度外推，即，在评估较长序列的同时训练短文本。我们将注意力分辨率定义为外推的指标。然后，我们提出了两个设计，以改善上述度量的Transformers。具体来说，我们引入了一个相对位置嵌入显式最大化注意力分辨率。此外，我们在推理过程中使用分块因果注意力，以获得更好的解决方案。我们用语言建模来评估不同的Transformer变体。实验结果表明，我们的模型实现了很强的性能，在两个内插和外推设置。该代码将在https://aka.ms/LeX-Transformer上提供。
2022-12-20 cs.CL
Selective Rotary Position Embedding
ELLIS Institute Tübingen（图宾根埃利斯研究所）；LIONS, EPFL（日内瓦理工学院LIONS实验室）；University of Freiburg（弗赖堡大学）；Max-Planck-Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Prior Labs（Prior实验室）
本文提出选择性RoPE，一种输入依赖的旋转嵌入机制，适用于线性和softmax变压器，通过任意角度旋转提升语言建模和复杂序列任务性能。
2026-06-24 cs.CL cs.LG
LayerNorm Induces Recency Bias in Transformer Decoders
KAIST（韩国科学技术院）；Microsoft Research（微软研究院）
研究揭示Transformer解码器中层归一化与自注意力机制相互作用导致近期偏差的机制，分析残差连接和输入嵌入分布的影响，提出改进位置编码的新思路。
2026-04-20 cs.CL cs.LG
Multi-head or Single-head? An Empirical Comparison for Transformer Training
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
多头注意力在最近Transformer模型的成功中起着至关重要的作用，这导致了在各种应用中相对于传统注意力的一致性能改进。普遍的看法是，这种有效性源于共同参加多个职位的能力。在本文中，我们首先证明，共同出席多个位置是不是一个独特的特点，多头注意力，作为多层次的单头注意也出席多个位置，更有效。然后，我们认为多头注意力的主要优点是训练的稳定性，因为它具有较少的层数比单头注意，当出席相同数量的位置。例如，24层16头Transformer（BERT-large）和384层单头Transformer的总关注头数相同，模型尺寸大致相同，而多头的要明显浅一些。同时，我们表明，随着深度学习的最新进展，我们可以成功地稳定384层Transformer的训练。由于训练难度不再是瓶颈，因此更深的单头Transformer实现了一致的性能改进，而无需调整超参数。
2021-06-17 cs.CL cs.LG
Efficient Transformers: A Survey
Google Research（谷歌研究院）
Transformer模型架构最近引起了人们极大的兴趣，因为它们在语言、视觉和强化学习等一系列领域都很有效。例如，在自然语言处理领域，Transformers已经成为现代深度学习堆栈中不可或缺的主食。最近，已经提出了令人眼花缭乱的“X-former”模型-- Reformer、Linformer、Performer、Longformer，仅举几例--它们改进了原始的Transformer架构，其中许多改进了计算和内存效率。为了帮助狂热的研究人员驾驭这场风暴，本文描述了最近效率风味的“X-former”模型的大量和深思熟虑的选择，为跨多个领域的现有工作和模型提供了一个有组织的全面概述。
2022-03-14 cs.AI cs.CL cs.CV
A Primer on the Inner Workings of Transformer-based Language Models
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of Groningen（格罗宁根大学）；Meta
本文提供了解释Transformer-based语言模型内部工作原理的当前技术的简明技术介绍，重点关注生成式decoder-only架构，并全面概述了这些模型的已知内部机制及研究方向间的联系。
2024-10-13 cs.CL
PermuteFormer: Efficient Relative Position Encoding for Long Sequences
Peking University（北京大学）
Transformer，Performer的最新变体使用线性注意力机制将Transformer扩展到更长的序列。然而，它与相对位置编码不兼容，相对位置编码优于绝对位置编码。在本文中，我们讨论了可能的方式来添加相对位置编码的表演者。基于分析，我们提出了PermuteFormer，一个基于性能的模型，具有相对位置编码，在长序列上线性缩放。PermuteFormer对查询和键应用位置相关的转换，将位置信息编码到attention模块中。这种转换是精心制作的，因此自我注意的最终输出不受标记的绝对位置的影响。PermuteFormer通过设计引入了可以忽略的计算开销，其运行速度与Performer一样快。我们评估PermuteFormer的长距离竞技场，长序列的数据集，以及WikiText-103，语言建模数据集。实验结果表明，PermuteFormer在几乎没有计算开销的情况下均匀地提高了Performer的性能，并且在大多数任务上的性能优于vanilla Transformer。
2021-09-08 cs.CL cs.LG
An Augmented Transformer Architecture for Natural Language Generation Tasks
Hong Kong Applied Science and Technology Research Institute Company Limited（香港应用科技研究院有限公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
基于Transformer的神经网络由于其固有的基于结构的优势，在各种自然语言处理和其他序列到序列任务的大多数评估中显示出显著的优势。尽管人们一直在探索Transformer的主要架构，但很少关注位置编码模块。在本文中，我们通过最大化编码的连续位置之间的方差来增强正弦位置编码算法以获得额外的提升。此外，我们提出了一种增强的Transformer架构，该架构编码有额外的语言知识，例如词性（POS）标记，以提高某些自然语言生成任务的性能，例如，自动翻译和摘要任务。实验表明，该架构达到不断优于香草相比，Transformer的结果。
2019-10-30 cs.CL cs.LG
Learning to Encode Position for Transformer with Continuous Dynamical Model
UCLA（加州大学洛杉矶分校）；UT Austin（德克萨斯大学奥斯汀分校）；Amazon Inc.（亚马逊公司）
我们引入了一种新的学习方法来编码非递归模型（如Transformer模型）的位置信息。与RNN和LSTM不同，它们通过顺序加载输入令牌来包含归纳偏差，非循环模型对位置不太敏感。主要原因是输入设备之间的位置信息不是固有编码的，即，这些模型是置换等价的;这个问题证明了为什么所有现有模型在输入处都伴随有正弦编码/嵌入层。然而，这种解决方案有明显的局限性：正弦编码不够灵活，因为它是手动设计的，不包含任何可学习的参数，而位置嵌入限制了输入序列的最大长度。因此，需要设计一种新的位置层，其包含可学习的参数以适应不同的数据集和不同的架构。同时，我们还希望编码能够根据输入的可变长度进行外推。在我们提出的解决方案中，我们借鉴了最近的神经ODE方法，该方法可以被视为ResNet的通用连续版本。该模型能够对多种动力系统进行建模。我们通过这样一个动力系统来模拟编码结果沿位置索引的演化，从而克服了现有方法的上述局限性。我们在各种神经机器翻译和语言理解任务上评估了我们的新位置层，实验结果显示出与基线相比的一致改进。
2020-03-13 cs.CL cs.LG stat.ML
Why Are Positional Encodings Nonessential for Deep Autoregressive Transformers? Revisiting a Petroglyph
Harvard University（哈佛大学）
本文重温并解释了为何多层自回归 Transformer 无需显式位置编码即可区分序列顺序，指出该特性早在 GPT-2 时期已被发现但未获广泛传播，旨在将其重新确立为常识。
2025-05-30 cs.CL cs.LG
