Attention's Gravitational Field:A Power-Law Interpretation of Positional Correlation
Edward Zhang 1（Edward Zhang）
本文提出注意力引力场概念，通过解耦位置编码与语义嵌入优化模型架构，展现其与万有引力定律的一致性，推动注意力机制的解释与模型优化研究。
2026-02-06 cs.AI cs.CL
What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
National Taiwan University（台湾大学）
近年来，预先训练的Transformers已经主导了大多数NLP基准测试任务。许多经过预先训练的Transformers变体不断爆发，大多数都专注于设计不同的预先训练目标或自我注意力的变体。在自我注意力机制中嵌入位置信息也是Transformers中不可或缺的因素，但经常被随意讨论。因此，本文对主流的预训练Transformers的职位嵌入进行了实证研究，主要关注两个问题：1）职位嵌入是否真的学习了职位的含义？2)这些不同的学习位置嵌入如何影响NLP任务的Transformers？本文旨在通过对大多数标志性NLP任务的特征级分析和实证实验，为预训练位置嵌入提供新的见解。相信我们的实验结果可以指导未来的工作，选择合适的位置编码功能，为特定的任务给定的应用属性。
2020-10-10 cs.AI cs.CL
Round and Round We Go! What makes Rotary Positional Encodings useful?
University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
本文通过分析 Gemma 7B 内部机制并结合数学证明，揭示 RoPE 主要利用高频形成位置注意力、低频承载语义，进而提出改进 RoPE 以修复问题并提升性能。
2025-05-13 cs.CL cs.LG
MetaBackdoor: Exploiting Positional Encoding as a Backdoor Attack Surface in LLMs
Institute of Science Tokyo（东京科学研究院）；Microsoft Azure（微软Azure）；Microsoft Security Response Center（微软安全响应中心）
本文提出MetaBackdoor，通过利用位置信息作为触发器，而非修改文本内容，实现对大语言模型的后门攻击，展示了长度相关的触发器可激活隐蔽后门，并展示了自我激活场景和与内容后门的组合攻击。
2026-05-14 cs.CL cs.CR
Mitigating Coordinate Prediction Bias from Positional Encoding Failures
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）；The University of Queensland（昆士兰大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出VPSG方法，通过shuffle位置编码纠正坐标偏移，提升定位精度，无需重新训练。
2026-04-28 cs.AI cs.CL cs.CV
HoPE: A Novel Positional Encoding Without Long-Term Decay for Enhanced Context Awareness and Extrapolation
Xiaomi AI Lab（小米AI实验室）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对现有位置编码的长期衰减特性不适用于LLMs精确检索任意位置上下文信息的问题，提出HoPE，替换RoPE中特定组件为位置无关组件保留高频信号，消除长期衰减约束，优化位置与语义表示组件，增强模型上下文感知与外推能力。
2024-12-05 cs.AI cs.CL cs.LG
The Impact of Positional Encodings on Multilingual Compression
University of Oslo（奥斯陆大学）；University of Copenhagen（哥本哈根大学）
为了在非自回归设置中保留词序信息，Transformer架构倾向于通过（例如）向令牌嵌入添加位置编码来包括位置知识。在原始Transformer架构中使用的正弦位置编码上已经提出了几种修改;例如，这些修改包括分离位置编码和标记嵌入，或者基于单词对之间的距离直接修改注意力权重。我们首先表明，令人惊讶的是，虽然这些修改往往会改善单语语言模型，没有一个更好的多语言语言模型的结果。然后我们回答为什么：正弦编码被明确设计为通过允许在任意时间步长上的线性投影来促进组合性。多语言训练分布的差异越大，就需要更高的压缩，在这种情况下，组合性就变得不可或缺。学习的绝对位置编码（例如，在mBERT中）倾向于在多语言环境中近似正弦嵌入，但更复杂的位置编码架构缺乏有效学习组合性和跨语言对齐的归纳偏差。换句话说，虽然正弦位置编码最初是为单语应用设计的，但它们在多语言语言模型中特别有用。
2021-09-11 cs.CL
Theoretical Analysis of Hierarchical Language Recognition and Generation by Transformers without Positional Encoding
The University of Tokyo（东京大学）
本文通过构造性证明表明，无需特定位置编码，Transformer 仅依赖因果掩码和起始标记即可高效识别与生成层级语言，并指出显式位置编码可能对序列长度泛化产生不利影响。
2024-10-16 cs.CL
Document-aware Positional Encoding and Linguistic-guided Encoding for Abstractive Multi-document Summarization
The University of Adelaide（阿德莱德大学）
多文档摘要中的一个关键挑战是捕获输入文档之间的关系，以区分单文档摘要（SDS）和多文档摘要（MDS）。现有的MDS工程很少解决这个问题。一种有效的方法是对文档位置信息进行编码，以帮助模型捕获跨文档关系。然而，现有的MDS模型，如基于转换器的模型，只考虑令牌级的位置信息。此外，这些模型无法捕捉句子的语言结构，这不可避免地导致在生成的摘要混乱。因此，在本文中，我们提出了文档感知的位置编码和语言指导的编码，可以融合Transformer架构的MDS。对于文档感知的位置编码，我们引入了一个通用协议来指导文档编码函数的选择。对于语言引导的编码，我们建议将句法依赖关系嵌入到依赖关系掩码中，并使用简单但有效的非线性编码学习器进行特征学习。大量的实验表明，该模型可以生成高质量的摘要。
2022-09-13 cs.CL
Linearized Relative Positional Encoding
Shanghai AI Laboratory（上海人工智能实验室）；Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）；The University of Hong Kong（香港大学）
本研究针对线性Transformer缺乏适用相对位置编码设计原则的问题，整合现有方法并通过酉变换提出LRPE编码族，在多项任务中取得最优性能，提供了通用设计范式。
2023-07-18 cs.CL
DAPE: Data-Adaptive Positional Encoding for Length Extrapolation
CUHK（香港中文大学）；NUS（新加坡国立大学）；HKU（香港大学）；HKBU（香港浸会大学）
本文提出数据自适应位置编码（DAPE），根据输入上下文动态调整位置编码，在Arxiv、Books3和CHE数据集上显著提升长度泛化性能，并在128训练长度下于8192评估长度上优于静态方法。
2024-11-05 cs.CL
Towards More Efficient Insertion Transformer with Fractional Positional Encoding
Carnegie Mellon University（卡内基梅隆大学）；Apple Inc.（苹果公司）；Microsoft Research（微软研究院）
自回归神经序列模型已被证明在文本生成任务中是有效的。然而，它们从左到右的解码顺序阻止了并行生成。插入式Transformer（Stern等人，2019）是一个有吸引力的替代方案，它允许在单个生成步骤中输出多个令牌。然而，由于绝对位置编码和基于插入的生成方案之间的不兼容性，需要在每个步骤刷新所生成的部分假设中的每个标记的编码，这可能是昂贵的。我们设计了一种新的可重用的位置编码方案的插入Transformers称为分数位置编码（FPE），它允许重用表示计算在前面的步骤。对各种文本生成任务的实证研究证明了FPE的有效性，它可以减少浮点运算并改善批量解码的延迟。
2023-01-31 cs.CL
Keyframe Segmentation and Positional Encoding for Video-guided Machine Translation Challenge 2020
视频引导的机器翻译是多模态神经机器翻译任务之一，其目标是通过有形地结合视频和文本来生成高质量的文本翻译。在这项工作中，我们提出了我们的视频引导机器翻译系统，以接近视频引导机器翻译挑战2020。该系统采用基于关键帧的视频特征提取以及视频特征位置编码。在评估阶段，我们的系统获得了36.60的语料库级别BLEU-4，并在2020年视频引导机器翻译挑战赛中获得第一名。
2020-06-23 cs.CL
Positional Encoding to Control Output Sequence Length
Tokyo Institute of Technology（东京工业大学）
神经编码器-解码器模型在自然语言生成任务中已经取得了成功。然而，抽象摘要的实际应用必须考虑生成的摘要不应超过期望长度的附加约束。在本文中，我们提出了正弦位置编码的简单但有效的扩展（Vaswani等人，2017），以使神经编码器-解码器模型能够保留长度约束。与以前的研究不同，在以前的研究中，学习嵌入表示每个长度，所提出的方法可以生成任何长度的文本，即使目标长度不存在于训练数据中。实验结果表明，该方法不仅可以控制生成长度，而且提高了ROUGE分数。
2019-04-16 cs.CL
On the Interplay between Positional Encodings, Morphological Complexity, and Word Order Flexibility
NLP, Department of Computer Science, KU Leuven（自然语言处理，计算机科学系，鲁汶大学）
针对语言模型架构因先适配英语而可能对结构差异语言性能下降的问题，本文以位置编码为对象，结合形态复杂性与词序灵活性的权衡假设，通过7种语言的单语模型预训练与4项下游任务评估，发现位置编码与该权衡无明确相互作用，强调任务、语言和指标选择对结论稳定性的重要性。
2025-11-11 cs.CL
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories（NTT通信科学实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
非自回归神经机器翻译（NAT）通常采用序列级知识蒸馏使用自回归神经机器翻译（AT）作为其教师模型。然而，NAT模型通常输出比AT模型更短的句子。在这项工作中，我们提出了序列级知识蒸馏（SKD）使用扰动长度感知位置编码，并将其应用到学生模型，Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点，在双语评估替补（BLEU）在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
The Locality and Symmetry of Positional Encodings
Inria（法国国家信息与自动化研究所）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
本研究系统性分析了双向掩蔽语言模型中位置编码的局部性与对称性属性，揭示了其与下游任务性能的关联，并通过新探测任务量化了现有方法的弱点，为开发更优位置编码奠定基础。
2023-10-19 cs.CL
Distance generalization in transformers: why bother with positional encoding?
Institute for Theoretical Physics, Goethe University Frankfurt（法兰克福大学理论物理研究所）
本文研究Transformer在固定上下文长度下对未见词元间距离的泛化能力，通过合成延迟复制任务，探讨位置编码、数据多样性及迁移学习正负性，强调理解底层机制的重要性。
2026-09-11 cs.CL
Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Toronto（多伦多大学）
本文提出并验证了因果Transformer无需位置编码即可通过邻近嵌入相似性存储位置信息的假设，并证明该模式在训练和随机初始化模型中均会出现。
2024-12-30 cs.CL cs.LG
ExPe: Exact Positional Encodings for Generative Transformer Models with Extrapolating Capabilities
Faculty of Mathematics and Informatics, Sofia University St. Kliment Ohridski（数学与信息学系，索菲亚大学）；Graphwise
针对传统Transformer位置嵌入长序列外推能力不足的问题，提出精确位置嵌入ExPE，通过覆写嵌入向量特定维度编码精确位置信息，在因果语言建模长序列测试中显著降低困惑度，提升模型长序列泛化能力。
2025-09-23 cs.CL
A Simple and Effective Positional Encoding for Transformers
Google Research（谷歌研究院）
Transformer模型是置换等变的。为了提供输入标记的顺序和类型信息，位置和段嵌入通常被添加到输入中。最近的工作提出了具有实现更好性能的相对位置编码的位置编码的变型。我们的分析表明，增益实际上来自于将位置信息从输入移动到注意层。受此启发，我们引入了Transformers的去耦位置注意力（DIET），这是一种简单而有效的机制，可以将位置和分段信息编码到Transformer模型中。所提出的方法具有更快的训练和推理时间，同时在GLUE，XTREME和WMT基准测试中获得了有竞争力的性能。我们进一步推广我们的方法，远程Transformers和性能增益。
2021-11-03 cs.CL cs.LG
Transformer Language Models without Positional Encodings Still Learn Positional Information
Tel Aviv University（特拉维夫大学）；University of Washington（华盛顿大学）；Intel Labs（英特尔实验室）；Meta AI
因果Transformer语言模型（LM），例如GPT-3，通常需要某种形式的位置编码，例如位置嵌入。然而，我们表明，没有任何明确的位置编码的LM仍然与标准模型竞争，并且这种现象在不同的数据集，模型大小和序列长度上是鲁棒的。探测实验表明，这种模型在整个网络中获得了绝对位置的隐含概念，有效地补偿了丢失的信息。我们推测，因果注意力使模型能够推断出每个标记可以注意的前任的数量，从而近似其绝对位置。我们的研究结果表明，因果性LMs可能不仅从外显定位机制中获得位置意识，而且还从因果性面具的影响中获得位置意识。
2022-12-05 cs.AI cs.CL cs.LG
Shifting Mechanisms: How Positional Encoding Choice Shapes In-Context Retrieval
Cornell University（康奈尔大学）
本研究通过机制性分析揭示，位置编码选择（如RoPE与混合PE）会改变语言模型上下文内检索的内部机制，从位置检索转向语义检索，并带来多目标检索增益但损害竞争键区分。
2026-10-01 cs.CL cs.LG
When Attention Goes Blind: Numerical Failure in ALiBi Positional Encodings
该研究发现ALiBi位置编码存在线性偏置缩放导致浮点下溢的失效模式，提出四种训练缓解策略，发现对数缩放距离在密码检索中改进最稳定，为ALiBi模型训练提供具体建议。
2026-08-05 cs.CL
Two Stones Hit One Bird: Bilevel Positional Encoding for Better Length Extrapolation
Peking University（北京大学）；ByteDance Inc（字节跳动公司）
本文提出 Bilevel Positional Encoding（BiPE），通过融合段内绝对位置编码与段间相对位置编码来解耦位置信息，从而提升 Transformer 在多种文本模态任务上的长度外推能力。
2024-06-17 cs.AI cs.CL cs.LG
On the Geometry of Positional Encodings in Transformers
Laboratoire LTI, Université de Picardie Jules Verne（皮卡第儒勒·凡尔纳大学LTI实验室）
本文探讨了变换器中位置编码的几何特性，通过理论推导证明了位置编码在解决顺序敏感任务中的必要性，并提出基于Hellinger距离的MDS方法优化编码质量。
2026-04-06 cs.CL cs.LG
Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation
MALTA – Machine Learning Theory and Applications Lab, PUCRS – Porto Alegre, Brazil（MALTA机器学习理论与应用实验室，PUCRS-波士顿实验室，巴西）；Kunumi Institute, Brazil（昆米研究所，巴西）
本文提出贝叶斯注意机制，通过概率模型将位置编码作为先验，统一了现有方法并改进了长上下文泛化能力，在500倍训练上下文长度下实现更准确的信息检索。
2026-05-07 cs.CL cs.LG
MDLMPE: Distribution Aware Positional Encoding for Masked Diffusion Language Models
针对掩码扩散语言模型位置编码对动态标记可用性结构不敏感的问题，提出MDLMPE，通过编码标记可用性等实现分布感知，在LLaDA、DREAM等实验中性能优于传统方法。
2026-08-05 cs.AI cs.CL
Rethinking Positional Encoding in Language Pre-training
Microsoft Research（微软研究院）
在这项工作中，我们研究了用于语言预训练的位置编码方法（例如，BERT）并识别现有公式中的几个问题。首先，我们证明了在绝对位置编码中，位置嵌入和词嵌入上的加法运算带来了两个异构信息资源之间的混合相关性。它可能会在注意力上带来不必要的随机性，并进一步限制模型的表达能力。第二，我们质疑，考虑到符号\texttt{[CLS]}在下游任务中的特殊作用（代表整个句子），将符号的位置与其他单词相同是否是一个合理的设计。基于上述分析，我们提出了一种新的位置编码方法--\textbf{T} transformer with \textbf{U} ntied \textbf{P} ositional \textbf{E} ncoding（TUPE）.在自注意模块中，TUPE分别计算了词的上下文相关度和位置相关度，并将它们相加。这种设计消除了异构嵌入上的混合和噪声相关性，并通过使用不同的投影矩阵提供了更多的表现力。此外，TUPE将\texttt{[CLS]}符号与其他位置分开，从而更容易从所有位置捕获信息。大量的实验和GLUE基准上的烧蚀研究证明了该方法的有效性。代码和模型在https://github.com/guolinke/TUPE上发布。
2021-03-15 cs.CL cs.LG
Anti-Periodic Positional Encoding: Möbius Boundary Conditions Make In-Context Retrieval Reliable
JRTI（联合研究与技术研究所）
研究提出基于反周期频率阶梯的莫比乌斯旋转位置编码，经数值验证和模型预训练，发现其能使上下文检索可靠，混合困惑度不变，不同频率阶梯效果有差异，还探讨了交换频率表及NoPE的影响，为单针检索提供保障。
2026-07-24 cs.CL
Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Zhejiang University（浙江大学）；Princeton University（普林斯顿大学）
本文提出上下文化等变位置编码框架 TAPE，通过动态上下文感知的位置编码提升 Transformer 的寻址能力、长程依赖建模与推理性能，并在多项任务中验证其优越性。
2025-08-21 cs.CL cs.LG
ROPE: Reading Order Equivariant Positional Encoding for Graph-based Document Information Extraction
Google Cloud AI（谷歌云人工智能）；McGill University（麦吉尔大学）；Google Research（谷歌研究院）
自然的单词阅读顺序是从表单文档中提取信息抽取的关键。尽管图卷积网络（GCN）在建模文档的空间布局模式方面取得了最新进展，但它们捕获图中给定单词级节点表示的阅读顺序的能力有限。我们提出了阅读顺序等变位置编码（ROPE），一种新的位置编码技术，旨在理解顺序呈现的话在文件中。ROPE生成唯一的阅读顺序代码的相邻单词相对于给定的单词级图形连接的目标单词。我们研究了两个基本的文档实体提取任务，包括单词标记和单词分组的公共FUNSD数据集和大规模支付数据集。我们表明，ROPE一贯改善现有的GCN与利润高达8.4%F1分数。
2021-06-21 cs.CL cs.LG
CONFLATOR: Incorporating Switching Point based Rotatory Positional Encodings for Code-Mixed Language Modeling
San Diego State University（圣地亚哥州立大学）；San Jose State University（圣何塞州立大学）；Wipro AI Labs（威普罗人工智能实验室）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Stanford University（斯坦福大学）；University of South Carolina（南卡罗来纳大学）；Amazon AI（亚马逊人工智能）
针对代码混合语言建模中语言切换点的挑战，提出CONFLATOR方法，通过结合旋转位置编码与切换点信息，在情感分析和机器翻译任务上超越现有技术。
2023-10-18 cs.CL cs.LG
Fusion Matters: Length-Aware Analysis of Positional-Encoding Fusion in Transformers
School of Computer Science and Technology（计算机科学与技术学院）；Harbin Institute of Technology（哈尔滨工业大学）
本文研究了Transformer中位置编码融合机制对长序列性能的影响，发现融合策略的选择对长文档有显著提升，且提出了轻量级卷积门控机制以增强模型效果。
2026-01-09 cs.CL cs.LG
Positional Encoding via Token-Aware Phase Attention
Meta
本文提出Token-Aware Phase Attention，通过可学习的相函数改进注意力机制，实现长距离token交互，支持更长上下文的持续预训练，并在长上下文场景下取得更低的困惑度和更强的检索性能。
2026-09-09 cs.AI cs.CL
Position-aware Self-attention with Relative Positional Encodings for Slot Filling
Center for Information and Language Processing（信息与语言处理中心）；Ludwig Maximilian University of Munich（慕尼黑大学）
本文介绍了如何将自注意与相对位置编码的任务的关系抽取。我们建议使用自注意编码器层与一个额外的位置感知注意层，考虑到查询和对象在句子中的位置。自注意编码器还使用相对位置编码的自定义实现，该相对位置编码允许句子中的每个单词考虑其左右上下文。该模型的评估是在TACRED数据集上完成的。所提出的模型仅依赖于注意力（不使用递归层或卷积层），同时提高了w.r.t.以前的艺术状态。
2018-07-09 cs.AI cs.CL cs.LG
LazyAttention: Efficient Retrieval-Augmented Generation with Deferred Positional Encoding
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院）；Google（谷歌）；Amazon（亚马逊）
针对检索增强生成中KV缓存位置编码复用性差的问题，提出LazyAttention机制，通过核化延迟位置编码实现零拷贝、位置无关的KV重用，显著降低首令牌延迟并提升推理吞吐量。
2026-06-03 cs.CL cs.LG
CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings
Apple（苹果公司）；Facebook AI Research（Facebook 人工智能研究院）；Herophilus, Inc.（Herophilus 公司）
在没有位置信息的情况下，基于注意力的Transformer神经网络是置换不变的。绝对或相对位置嵌入是向Transformer模型提供位置信息的最常用方法。绝对位置嵌入易于实现，但在对比训练时看到的更长的序列进行评估时会遇到泛化问题。相对位置对输入长度变化更鲁棒，但实现起来更复杂，并且由于额外的计算和内存成本而产生较差的模型吞吐量。在本文中，我们提出了一种基于增广的方法（CAPE）的绝对位置嵌入，它保持了绝对（简单和速度）和相对位置嵌入（更好的泛化）的优点。此外，我们对机器翻译、图像和语音识别中最先进的模型的经验评估表明，CAPE导致了更好的泛化性能以及训练超参数的稳定性。
2021-11-09 cs.CL cs.CV cs.LG
Beyond Sinusoids: A Morlet Wavelet Framework for Transformer Positional Encoding
Independent Researcher（独立研究者）；Athens, Greece（希腊雅典）
提出Morlet位置编码（MoPE），通过可学习的频率和局部带宽统一了正弦位置编码和旋转位置编码，并在TinyShakespeare上结合能量门控注意力提升了0.119的性能。
2026-05-31 cs.CL cs.LG eess.SP
Randomized Positional Encodings Boost Length Generalization of Transformers
DeepMind（深度思维（DeepMind））
本文提出随机化位置编码方案，通过模拟更长序列位置并随机选取有序子集，解决Transformer在长度泛化上的分布外问题，在15个算法推理任务上平均提升测试准确率12.0%。
2023-05-26 cs.AI cs.CL cs.LG
Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding
注意力模块是Transformer中的重要组成部分，由于其二次复杂度，无法有效地扩展到长序列。许多工作集中在近似原始注意力中的点然后取幂softmax函数，导致次二次甚至线性复杂度的Transformer架构。然而，我们表明，这些方法不能应用于更强大的注意力模块，超越了点然后指数风格，例如，具有相对位置编码（RPE）的Transformers。由于在许多最先进的模型中，相对位置编码被用作默认值，因此设计可以包含RPE的高效Transformers是有吸引力的。在本文中，我们提出了一种新的方法来加速Transformers的注意力计算与RPE的核心化的注意力。基于相对位置编码形成Toeplitz矩阵的观察，我们在数学上表明，使用快速傅立叶变换（FFT）可以有效地计算具有RPE的核化注意。通过FFT，我们的方法达到了$\mathcal{O}(n\log n)$的时间复杂度。有趣的是，我们进一步证明，正确使用相对位置编码可以减轻香草核化注意力的训练不稳定性问题。在广泛的任务中，我们的经验表明，我们的模型可以从头开始训练，没有任何优化问题。学习模型的性能优于许多高效的Transformer变体，并且在长序列状态下比标准Transformer更快。
2021-11-03 cs.CL cs.LG stat.ML
PESTO: Switching Point based Dynamic and Relative Positional Encoding for Code-Mixed Languages
IIIT Sri City（印度信息技术学院斯里城）；UCLA（加州大学洛杉矶分校）；Wipro AI Labs（威普罗人工智能实验室）；AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）
代码混合（CM）或混合语言文本的NLP应用最近获得了显著的发展势头，主要原因是在印度，墨西哥，欧洲，美国部分地区等多语言社会的社交媒体通信中语言混合的流行。词嵌入是当今任何NLP系统的基本构建块，然而，CM语言的词嵌入是一个未开发的领域。CM词嵌入的主要瓶颈是切换点，即语言切换的地方。这些位置缺乏上下文，并且由于所见示例中的高方差，统计系统无法对这种现象进行建模。在本文中，我们提出了我们的初步观察应用切换点为基础的位置编码技术的CM语言，特别是印度式英语（印地语-英语）。结果仅略好于SOTA，但很明显，位置编码可以是训练CM文本的位置敏感语言模型的有效方法。
2021-11-12 cs.AI cs.CL cs.LG
Relative Positional Encoding for Transformers with Linear Complexity
Inria（法国国家信息与自动化研究所）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）；Research Center for IT Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Taiwan AI Labs（台湾人工智能实验室）；PSL Research University（巴黎文理研究大学）；École Normale Supérieure（巴黎高等师范学院）
由于线性空间和时间复杂度，Transformer模型的最新进展允许前所未有的序列长度。与此同时，相对位置编码（RPE）被认为对经典的Transformers是有益的，并且包括利用滞后而不是绝对位置进行推理。尽管如此，RPE不适用于Transformer的最近线性变体，因为它需要显式计算注意力矩阵，而这正是这些方法所避免的。在本文中，我们弥合这一差距，并提出随机位置编码作为一种方式来产生PE，可以用作替代经典的加法（正弦）PE和可证明的行为像RPE。主要的理论贡献是使位置编码和相关高斯过程的互协方差结构之间的连接。我们说明了我们的方法在远程竞技场基准和音乐生成的性能。
2021-06-10 cs.CL cs.LG cs.SD
The Impact of Positional Encoding on Length Generalization in Transformers
Mila, McGill University（米拉-麦吉尔大学）；IBM Research（IBM研究院）；Facebook CIFAR AI Chair（Facebook CIFAR AI主席）；ServiceNow Research（ServiceNow研究院）
该研究通过实证对比五种位置编码方案在仅解码器Transformer上的长度泛化表现，发现无位置编码方案性能更优且无需额外计算，同时指出草稿板对长度泛化的作用不稳定，证明显式位置嵌入并非长序列泛化的必需条件。
2023-11-06 cs.AI cs.CL cs.LG
RoPE is Dead, Long Live RoPE: Towards Scalable Data-aware Positional Encodings
Meta AI；Inria, Université Paris-Saclay（法国国家信息与自动化研究所，巴黎-萨克雷大学）
针对RoPE对邻近令牌的偏见及推断时未见角度问题，提出数据感知RoPE（DaRoPE），在快频带保留RoPE、慢频带用学习坐标，跨多领域实验显示其缓解近期偏差并保持最优或持平性能。
2026-10-06 cs.CL cs.LG
Transformer with Tree-order Encoding for Neural Program Generation
TU Dresden（德累斯顿工业大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
虽然相当多的语义解析方法已经将RNN架构用于代码生成任务，但只有很少的尝试来研究Transformers在此任务中的适用性。包括底层程序设计语言语法的分层信息已被证明对于代码生成是有效的。由于Transformer的位置编码只能表示平面序列中的位置，因此我们扩展了编码方案，以允许注意力机制也关注输入中的分层位置。此外，我们还实现了一个基于限制性文法图模型的解码器，以提高生成的准确性，并确保生成代码的良好格式。虽然我们没有超越最先进的技术，我们的研究结果表明，采用基于树的位置编码与共享的自然语言子词汇表相结合，提高了生成性能的顺序位置编码。
2022-05-30 cs.AI cs.CL
Give it Space! Explicit Disentangling of Positional and Semantic Representations in Encoders
Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、信息研究所）；Orange Innovation（Orange创新）
通过将位置和语义信号分离为三个独立流，研究Transformer中位置编码的机制，发现解缠方法能保留宏观结构并提升语言表示性能。
2026-09-03 cs.AI cs.CL
Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks
School of Physics, Ningxia University（宁夏大学物理学院）
本文提出了一种非半单相对位置编码Jordan-RoPE，通过复旋转特征和Nilpotent响应在同一缺陷Jordan块中实现距离调制的相位基，从而生成振荡-多项式特征，如e^{-γd}cos(ωd)、e^{-γd}sin(ωd)等，并在语言模型中验证了其有效性。
2026-05-21 cs.CL cs.LG
Relative Positional Encoding for Speech Recognition and Direct Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Maastricht University（马斯特里赫特大学）；Carnegie Mellon University（卡内基梅隆大学）
Transformer模型是功能强大的序列到序列架构，能够直接将语音输入映射到transformer或翻译。然而，该模型中用于对位置进行建模的机制是针对文本建模而定制的，因此对于声学输入来说不太理想。在这项工作中，我们适应的相对位置编码方案的语音Transformer，其中的关键除了在自注意网络中的输入状态之间的相对距离。因此，网络可以更好地适应语音数据中存在的可变分布。实验结果表明，该模型在非增强条件下的Switchboard测试中取得了最好的识别效果，在Must-C语音翻译测试中取得了最好的识别效果。我们还表明，该模型是能够更好地利用合成数据比Transformer，并适应更好地为语音翻译的变量句子分割质量。
2020-05-20 cs.CL cs.SD eess.AS
