Simultaneous paraphrasing and translation by fine-tuning Transformer models
Amazon.com, Inc.（亚马逊公司）
本文介绍了在ACL 2020第四届神经生成和翻译（WNGT）研讨会上，语言教育同声翻译和释义共享任务的第三名提交。最终的系统利用预先训练的翻译模型，并使用Transformer架构与过采样策略相结合，以实现有竞争力的性能。该系统在匈牙利语（加权宏F1评分绝对提高27%）和葡萄牙语（绝对提高33%）上的表现明显优于基线。
2020-05-12 cs.CL cs.LG
ExPe: Exact Positional Encodings for Generative Transformer Models with Extrapolating Capabilities
Faculty of Mathematics and Informatics, Sofia University St. Kliment Ohridski（数学与信息学系，索菲亚大学）；Graphwise
针对传统Transformer位置嵌入长序列外推能力不足的问题，提出精确位置嵌入ExPE，通过覆写嵌入向量特定维度编码精确位置信息，在因果语言建模长序列测试中显著降低困惑度，提升模型长序列泛化能力。
2025-09-23 cs.CL
Improve Transformer Models with Better Relative Position Embeddings
AWS AI（亚马逊云服务人工智能（AWS AI））
Transformer体系结构依赖于显式的位置编码，以保持词序的概念。在本文中，我们认为，现有的工作并没有充分利用位置信息。例如，正弦曲线嵌入的初始建议是固定的，不可学习。在本文中，我们首先回顾绝对位置嵌入和相对位置嵌入的现有方法。然后，我们提出了新的技术，鼓励增加查询，关键和相对位置嵌入在自我注意力机制之间的互动。我们最有前途的方法是绝对位置嵌入的推广，与以前的位置嵌入方法相比，SQuAD 1.1的结果有所改善。此外，我们解决的归纳属性的位置嵌入是否可以足够强大，以处理长序列。我们的经验表明，我们的相对位置嵌入方法是合理的推广和强大的归纳的角度来看。最后，我们表明，我们提出的方法可以作为一个近下降的替代，以提高大型模型的精度与一个小的计算预算。
2020-09-28 cs.CL
Multiplicative Position-aware Transformer Models for Language Understanding
AWS AI（亚马逊网络服务人工智能研究院）
Transformer模型利用了自注意力等架构改进，在自然语言处理（NLP）任务上表现非常出色。自我注意力机制是位置不可知的。为了捕获位置排序信息，已经提出了各种风格的绝对和相对位置嵌入。然而，没有系统的分析，这些方法的贡献和全面的比较是在文献中失踪。在本文中，我们回顾了现有的主要位置嵌入方法，并使用我们自己的实现比较了它们在下游NLP任务上的准确性。我们还提出了一种新的乘法嵌入方法，导致优越的精度相比，现有的方法。最后，我们证明了我们提出的嵌入方法，作为默认绝对位置嵌入的直接替代，可以改进SQuAD1.1和SQuAD2.0数据集上的RoBERTa-base和RoBERTa-large模型。
2021-09-27 cs.AI cs.CL
Transformer Language Models without Positional Encodings Still Learn Positional Information
Tel Aviv University（特拉维夫大学）；University of Washington（华盛顿大学）；Intel Labs（英特尔实验室）；Meta AI
因果Transformer语言模型（LM），例如GPT-3，通常需要某种形式的位置编码，例如位置嵌入。然而，我们表明，没有任何明确的位置编码的LM仍然与标准模型竞争，并且这种现象在不同的数据集，模型大小和序列长度上是鲁棒的。探测实验表明，这种模型在整个网络中获得了绝对位置的隐含概念，有效地补偿了丢失的信息。我们推测，因果注意力使模型能够推断出每个标记可以注意的前任的数量，从而近似其绝对位置。我们的研究结果表明，因果性LMs可能不仅从外显定位机制中获得位置意识，而且还从因果性面具的影响中获得位置意识。
2022-12-05 cs.AI cs.CL cs.LG
The Curious Case of Absolute Position Embeddings
McGill University（麦吉尔大学）；Mila - Quebec AI（魁北克人工智能研究所米拉）；Meta AI
Transformer语言模型使用位置信息对词序的概念进行编码。最常见的是，这种位置信息由绝对位置嵌入（APE）表示，它是从预训练数据中学习的。然而，在自然语言中，重要的不是绝对位置，而是相对位置，并且APE可以捕获这种类型的信息的程度尚未被研究。在这项工作中，我们观察到用APE训练的模型过度依赖位置信息，以至于当遇到具有移动位置信息的句子时它们会崩溃。具体来说，当模型受到从非零位置开始的句子（不包括启动的影响）时，它们在一系列模型系列和模型大小的零到全拍摄任务上表现出明显的性能下降。我们的研究结果提出了问题的有效性APE模型的位置信息的相关性，并邀请进一步反省这些模型所采用的句子和词序处理策略。
2022-10-23 cs.CL cs.LG
Transformer Language Models with LSTM-based Cross-utterance Information Representation
Cambridge University Engineering Dept.（剑桥大学工程系）
跨话语信息的有效结合有可能改进用于自动语音识别（ASR）的语言模型（LM）。为了为Transformer LM（TLM）提取更强大和鲁棒的跨话语表示，本文提出了在长短期记忆（LSTM）LM中使用隐藏状态的R-TLM。为了对交叉话语信息进行编码，R-TLM将LSTM模块与部分Transformer块中的分段递归结合在一起。除了LSTM模块输出之外，还研究了使用绕过LSTM模块的融合层的快捷连接。该系统在AMI会议语料库、Eval 2000和RT 03电话会话评估集上进行了评估。在AMI评估集Eval 2000和RT 03上，最佳R-TLM在单话语TLM基线上分别实现了0.9%、0.6%和0.8%的绝对WER降低，在强跨话语TLM基线上分别实现了0.5%、0.3%和0.2%的绝对WER降低。显著性检验进一步支持Eval 2000和RT 03的改进。R-TLM被发现在识别错误更容易发生的单词上有更好的LM分数。R-TLM WER可以通过利用LSTM-LM的插值来进一步减小。
2021-02-12 cs.AI cs.CL
CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings
Apple（苹果公司）；Facebook AI Research（Facebook 人工智能研究院）；Herophilus, Inc.（Herophilus 公司）
在没有位置信息的情况下，基于注意力的Transformer神经网络是置换不变的。绝对或相对位置嵌入是向Transformer模型提供位置信息的最常用方法。绝对位置嵌入易于实现，但在对比训练时看到的更长的序列进行评估时会遇到泛化问题。相对位置对输入长度变化更鲁棒，但实现起来更复杂，并且由于额外的计算和内存成本而产生较差的模型吞吐量。在本文中，我们提出了一种基于增广的方法（CAPE）的绝对位置嵌入，它保持了绝对（简单和速度）和相对位置嵌入（更好的泛化）的优点。此外，我们对机器翻译、图像和语音识别中最先进的模型的经验评估表明，CAPE导致了更好的泛化性能以及训练超参数的稳定性。
2021-11-09 cs.CL cs.CV cs.LG
PermuteFormer: Efficient Relative Position Encoding for Long Sequences
Peking University（北京大学）
Transformer，Performer的最新变体使用线性注意力机制将Transformer扩展到更长的序列。然而，它与相对位置编码不兼容，相对位置编码优于绝对位置编码。在本文中，我们讨论了可能的方式来添加相对位置编码的表演者。基于分析，我们提出了PermuteFormer，一个基于性能的模型，具有相对位置编码，在长序列上线性缩放。PermuteFormer对查询和键应用位置相关的转换，将位置信息编码到attention模块中。这种转换是精心制作的，因此自我注意的最终输出不受标记的绝对位置的影响。PermuteFormer通过设计引入了可以忽略的计算开销，其运行速度与Performer一样快。我们评估PermuteFormer的长距离竞技场，长序列的数据集，以及WikiText-103，语言建模数据集。实验结果表明，PermuteFormer在几乎没有计算开销的情况下均匀地提高了Performer的性能，并且在大多数任务上的性能优于vanilla Transformer。
2021-09-08 cs.CL cs.LG
StableMask: Refining Causal Masking in Decoder-only Transformer
Zhejiang University（浙江大学）；Peking University（北京大学）；Tencent AI Lab（腾讯AI实验室）；Eastern Institute of Technology（东方理工大学）
针对解码器专用Transformer中因果掩码的局限，提出无参数方法StableMask，通过伪注意力值和递减掩码比率平衡注意力并编码绝对位置，提升71M至1.4B参数模型性能，支持高效外推与集成。
2024-02-07 cs.AI cs.CL
The Impact of Positional Encoding on Length Generalization in Transformers
Mila, McGill University（米拉-麦吉尔大学）；IBM Research（IBM研究院）；Facebook CIFAR AI Chair（Facebook CIFAR AI主席）；ServiceNow Research（ServiceNow研究院）
该研究通过实证对比五种位置编码方案在仅解码器Transformer上的长度泛化表现，发现无位置编码方案性能更优且无需额外计算，同时指出草稿板对长度泛化的作用不稳定，证明显式位置嵌入并非长序列泛化的必需条件。
2023-11-06 cs.AI cs.CL cs.LG
Conformer-based End-to-end Speech Recognition With Rotary Position Embedding
Northwestern Polytechnical University（西北工业大学）
近年来，基于transformer的端到端语音识别模型由于其高训练速度和对长距离全局上下文建模的能力而受到相当大的关注。Transformer架构中的位置嵌入是必不可少的，因为它为输入序列中不同位置的元素之间的依赖性建模提供了监督。为了利用输入序列的时间顺序，许多作品将元素的相对或绝对位置信息注入到输入序列中。在这项工作中，我们研究了各种位置嵌入方法的卷积增强的Transformer（conformer），并采用了一种新的实现称为旋转位置嵌入（RoPE）。RoPE通过旋转矩阵将绝对位置信息编码到输入序列中，然后自然地将显式相对位置信息并入自注意模块中。为了评估RoPE方法的有效性，我们在AISHELL-1和LibriSpeech语料库上进行了实验。实验结果表明，在语音识别任务中，用RoPE增强的构象子取得了较好的性能.具体来说，我们的模型实现了一个相对字的出错率减少8.70%和7.27%，分别在测试清洁和测试其他集的LibriSpeech语料库的一致。
2021-07-13 cs.CL cs.SD eess.AS
