Relative Positional Encoding for Transformers with Linear Complexity
Inria（法国国家信息与自动化研究所）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）；Research Center for IT Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Taiwan AI Labs（台湾人工智能实验室）；PSL Research University（巴黎文理研究大学）；École Normale Supérieure（巴黎高等师范学院）
由于线性空间和时间复杂度，Transformer模型的最新进展允许前所未有的序列长度。与此同时，相对位置编码（RPE）被认为对经典的Transformers是有益的，并且包括利用滞后而不是绝对位置进行推理。尽管如此，RPE不适用于Transformer的最近线性变体，因为它需要显式计算注意力矩阵，而这正是这些方法所避免的。在本文中，我们弥合这一差距，并提出随机位置编码作为一种方式来产生PE，可以用作替代经典的加法（正弦）PE和可证明的行为像RPE。主要的理论贡献是使位置编码和相关高斯过程的互协方差结构之间的连接。我们说明了我们的方法在远程竞技场基准和音乐生成的性能。
2021-06-10 cs.CL cs.LG cs.SD
MrRoPE: Mixed-radix Rotary Position Embedding
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）
MrRoPE通过混合基数转换策略，统一了RoPE扩展方法，实现了无需微调的长序列泛化，提升了编码长度上限和检索准确性。
2026-01-28 cs.CL
DoPE: Denoising Rotary Position Embedding
The University of Hong Kong（香港大学）；University of Michigan, Ann Arbor（密歇根大学安阿伯分校）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所）
DoPE通过去噪旋转位置嵌入提升大型语言模型在长上下文外推和鲁棒性方面的性能。
2026-01-06 cs.CL
Round and Round We Go! What makes Rotary Positional Encodings useful?
University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
本文通过分析 Gemma 7B 内部机制并结合数学证明，揭示 RoPE 主要利用高频形成位置注意力、低频承载语义，进而提出改进 RoPE 以修复问题并提升性能。
2025-05-13 cs.CL cs.LG
TransXSSM: A Hybrid Transformer State Space Model with Unified Rotary Position Embedding
HKUST (Guangzhou)（香港科技大学（广州））
针对Transformer与SSM混合模型中位置编码不兼容的问题，提出统一旋转位置嵌入方法，构建TransXSSM混合架构，在速度、准确率和扩展性上均优于基线模型。
2025-06-18 cs.AI cs.CL
Phase Structure in Rotary Attention: A Spectral Framework for Semantic Continuity and Execution-Boundary Governance
ENTRUST AI（ENTRUST人工智能公司）
研究Transformer语言模型中旋转注意力的相位结构，通过定义有效域、推导分数和引入函数构建谱框架，可区分表征连续性与执行边界可接受性，为相关研究提供理论和方法程序。
2026-09-10 cs.CL
Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai AI Lab（上海人工智能实验室）；China Unicom（中国联合网络通信集团）
本文提出通过复数扩展提升旋转位置嵌入，以增强长上下文LLM对位置信息的建模能力。
2025-12-08 cs.CL
RoFormer: Enhanced Transformer with Rotary Position Embedding
Zhuiyi Technology Co., Ltd.（追一科技有限公司）
本文提出 RoPE 旋转位置嵌入，用旋转矩阵编码绝对位置并在自注意力中融入相对位置依赖，由此构建的 RoFormer 在长文本分类任务上持续优于对比方法。
2023-11-08 cs.AI cs.CL cs.LG
StableMask: Refining Causal Masking in Decoder-only Transformer
Zhejiang University（浙江大学）；Peking University（北京大学）；Tencent AI Lab（腾讯AI实验室）；Eastern Institute of Technology（东方理工大学）
针对解码器专用Transformer中因果掩码的局限，提出无参数方法StableMask，通过伪注意力值和递减掩码比率平衡注意力并编码绝对位置，提升71M至1.4B参数模型性能，支持高效外推与集成。
2024-02-07 cs.AI cs.CL
Benchmarking Rotary Position Embeddings for Automatic Speech Recognition
AI Center, Samsung Cambridge, UK（三星人工智能中心，英国坎特伯雷）
本研究针对自动语音识别领域中相对位置嵌入复杂度高、适配性差的问题，评估了旋转位置嵌入（RoPE）在多场景多数据规模下的表现，证明其效果更优且训练速度更快。
2025-06-15 cs.AI cs.CL eess.AS
The Impact of Positional Encoding on Length Generalization in Transformers
Mila, McGill University（米拉-麦吉尔大学）；IBM Research（IBM研究院）；Facebook CIFAR AI Chair（Facebook CIFAR AI主席）；ServiceNow Research（ServiceNow研究院）
该研究通过实证对比五种位置编码方案在仅解码器Transformer上的长度泛化表现，发现无位置编码方案性能更优且无需额外计算，同时指出草稿板对长度泛化的作用不稳定，证明显式位置嵌入并非长序列泛化的必需条件。
2023-11-06 cs.AI cs.CL cs.LG
HoPE: A Novel Positional Encoding Without Long-Term Decay for Enhanced Context Awareness and Extrapolation
Xiaomi AI Lab（小米AI实验室）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对现有位置编码的长期衰减特性不适用于LLMs精确检索任意位置上下文信息的问题，提出HoPE，替换RoPE中特定组件为位置无关组件保留高频信号，消除长期衰减约束，优化位置与语义表示组件，增强模型上下文感知与外推能力。
2024-12-05 cs.AI cs.CL cs.LG
ExPe: Exact Positional Encodings for Generative Transformer Models with Extrapolating Capabilities
Faculty of Mathematics and Informatics, Sofia University St. Kliment Ohridski（数学与信息学系，索菲亚大学）；Graphwise
针对传统Transformer位置嵌入长序列外推能力不足的问题，提出精确位置嵌入ExPE，通过覆写嵌入向量特定维度编码精确位置信息，在因果语言建模长序列测试中显著降低困惑度，提升模型长序列泛化能力。
2025-09-23 cs.CL
Positional Encoding via Token-Aware Phase Attention
Meta
本文提出Token-Aware Phase Attention，通过可学习的相函数改进注意力机制，实现长距离token交互，支持更长上下文的持续预训练，并在长上下文场景下取得更低的困惑度和更强的检索性能。
2026-09-09 cs.AI cs.CL
Breaking the Stage Barrier: A Novel Single-Stage Approach to Long Context Extension for Large Language Models
Beihang University（北京航空航天大学）；Kuaishou Technology（快手科技）；Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）
针对多阶段长上下文扩展依赖人工调优的问题，本文提出单阶段 HARPE，通过为不同注意力头设置不同 RoPE 基频并直接训练目标长度，在 RULER 等 4 个基准上媲美甚至超越多阶段方法。
2024-12-10 cs.CL
Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks
School of Physics, Ningxia University（宁夏大学物理学院）
本文提出了一种非半单相对位置编码Jordan-RoPE，通过复旋转特征和Nilpotent响应在同一缺陷Jordan块中实现距离调制的相位基，从而生成振荡-多项式特征，如e^{-γd}cos(ωd)、e^{-γd}sin(ωd)等，并在语言模型中验证了其有效性。
2026-05-21 cs.CL cs.LG
Spherical Position Encoding for Transformers
Datategy SAS（Datategy SAS公司）
针对地理词元场景下序列位置不重要、需体现地理坐标相对关系的需求，提出基于适配球面坐标的RoPE架构的球面位置编码机制，可保持物理距离与嵌入空间距离的比例。
2023-10-04 cs.AI cs.CL
Layer-Specific Scaling of Positional Encodings for Superior Long-Context Modeling
Fudan University（复旦大学）；Westlake University（西湖大学）
针对LLM的“中间丢失”问题，提出层级特定位置编码缩放方法，利用遗传算法为各层选择最优缩放因子以减缓RoPE衰减，显著提升长上下文准确率及模型外推能力。
2025-03-06 cs.CL
HySPE: Positional Encoding via Symplectic Dual Shears
HySPE通过辛对剪切实现双曲位置编码，在保持数值稳定和低延迟的同时，显著提升Transformer的长序列外推能力。
2026-10-08 cs.CL
RIG-RoPE: Relation-Stratified Multimodal Attention with Instance-Local Rotary Geometry and Representation-Aware Traversal Coordinates
Sichuan University（四川大学）
本研究针对多模态场景中静态多维位置分配的局限，提出RIG-RoPE机制，通过关系与实例门控及时长感知时间坐标优化位置编码，未增加可学习参数，确立了相关公式与验证路径。
2026-08-26 cs.CL cs.CV
PoPE: Legendre Orthogonal Polynomials Based Position Encoding for Large Language Models
Airtel Africa Digital Labs（Airtel非洲数字实验室）
针对正弦位置编码在高维表示上的局限，本文提出基于勒让德正交多项式的 PoPE，并在 Multi30k 翻译任务中验证其性能与收敛优势。
2024-04-29 cs.AI cs.CL cs.LG
LaMPE: Length-aware Multi-grained Positional Encoding for Adaptive Long-context Scaling Without Training
LaMPE通过长度感知多粒度位置编码，无需训练即可自适应扩展LLM长上下文，显著提升性能。
2025-08-05 cs.CL
Geotokens and Geotransformers
本文提出geotokens，将输入token与地理位置关联，并借鉴RoPE设计适用于球面坐标的位置编码方法，以平衡现实距离与嵌入空间距离。
2024-03-23 cs.AI cs.CL
Anti-Periodic Positional Encoding: Möbius Boundary Conditions Make In-Context Retrieval Reliable
JRTI（联合研究与技术研究所）
研究提出基于反周期频率阶梯的莫比乌斯旋转位置编码，经数值验证和模型预训练，发现其能使上下文检索可靠，混合困惑度不变，不同频率阶梯效果有差异，还探讨了交换频率表及NoPE的影响，为单针检索提供保障。
2026-07-24 cs.CL
SWAN-GPT: An Efficient and Scalable Approach for Long-Context Language Modeling
NVIDIA（英伟达）
SWAN-GPT通过交替使用无位置编码层和滑动窗口旋转位置编码注意力层，结合推理时注意力分数动态缩放，在不额外训练的情况下实现长上下文外推，并支持高效转换现有预训练模型。
2025-04-11 cs.CL
PaTH Attention: Position Encoding via Accumulating Householder Transformations
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（MIT-IBM Watson人工智能实验室）；Stanford University（斯坦福大学）；Microsoft（微软公司）
PaTH Attention通过累积Householder变换实现数据依赖的位置编码，提升Transformer模型的表达能力。
2026-02-03 cs.CL cs.LG
Beyond Sinusoids: A Morlet Wavelet Framework for Transformer Positional Encoding
Independent Researcher（独立研究者）；Athens, Greece（希腊雅典）
提出Morlet位置编码（MoPE），通过可学习的频率和局部带宽统一了正弦位置编码和旋转位置编码，并在TinyShakespeare上结合能量门控注意力提升了0.119的性能。
2026-05-31 cs.CL cs.LG eess.SP
Advancing General Multimodal Capability of Vision-language Models with Pyramid-descent Visual Position Encoding
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；Tencent（腾讯）
针对视觉语言模型（VLMs）中视觉位置编码不合理导致的多粒度感知性能受限问题，提出金字塔式递减视觉位置编码（PyPE）方法，通过优化位置索引分配与感受野扩展提升注意力权重分配合理性，实验证明其能持续增强不同规模VLMs的通用能力。
2025-02-12 cs.AI cs.CL cs.CV
RoPE is Dead, Long Live RoPE: Towards Scalable Data-aware Positional Encodings
Meta AI；Inria, Université Paris-Saclay（法国国家信息与自动化研究所，巴黎-萨克雷大学）
针对RoPE对邻近令牌的偏见及推断时未见角度问题，提出数据感知RoPE（DaRoPE），在快频带保留RoPE、慢频带用学习坐标，跨多领域实验显示其缓解近期偏差并保持最优或持平性能。
2026-10-06 cs.CL cs.LG
When Precision Meets Position: BFloat16 Breaks Down RoPE in Long-Context Training
National University of Singapore（新加坡国立大学）；Sea AI Lab（Sea AI实验室）
针对BFloat16格式下RoPE在长上下文训练中因精度有限出现数值问题的现象，提出即插即用的AnchorAttention方法，将首个token作为共享锚点，显著提升长上下文性能，训练时间减少超50%且保留通用任务能力。
2024-11-26 cs.CL
How Local Mixing Encodes Relative Position in Global NoPE Attention
Zyphra Research（Zyphra研究院）
本文解释混合模型（含滑动窗口注意力或门控线性注意力）如何在全局NoPE注意力中隐式编码相对位置，通过近因偏差机制实现，并支持长序列外推。
2026-09-30 cs.AI cs.CL cs.LG
Understanding the RoPE Extensions of Long-Context LLMs: An Attention Perspective
Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算与智能学院）；Xiaohongshu Inc.（小红书科技有限公司）
该研究从注意力视角探究长上下文LLM的RoPE扩展机制，通过两项基准任务的实验得出三项发现，为提升RoPE长上下文外推效果提供了参考。
2024-12-12 cs.CL
On the token distance modeling ability of higher RoPE attention dimension
Tsinghua University（清华大学）；Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信AI模式识别中心）
本文通过维度级分析发现长度外推模型中存在专注于长距离依赖的“位置头”，并证明其高维注意力分配扩展与长度外推效率相关，为长文本理解提供新视角。
2024-10-21 cs.AI cs.CL
Frayed RoPE and Long Inputs: A Geometric Perspective
IBM Research（IBM研究院）；University at Albany, SUNY（纽约州立大学阿尔巴尼分校）
本文从几何角度分析RoPE在长输入下的问题，发现注意力机制导致键和查询向量紧密聚类，而RoPE在长输入时破坏这种聚类，产生病态行为。提出RoPE-ID方法通过高频率应用部分通道解决此问题。
2026-02-24 cs.CL cs.LG
PSC: Extending Context Window of Large Language Models via Phase Shift Calibration
HiThink Research（恒生电子研究院）
针对现有基于RoPE的大模型上下文窗口扩展方法难以确定最优基频缩放因子的问题，提出相移校准模块PSC，可有效提升PI、YaRN等多种现有方法的性能，在多模型多任务上具备鲁棒性，且随窗口扩大困惑度下降更显著。
2025-05-18 cs.AI cs.CL
Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings
DeepMind, London, UK（深度Mind，伦敦，英国）
提出极坐标位置嵌入（PoPE）以解耦Transformer注意力机制中的内容和位置，在诊断任务、序列建模和语言模型中优于RoPE，并展现零样本长度外推能力。
2026-06-08 cs.AI cs.CL cs.LG
Mitigating Object Hallucination via Concentric Causal Attention
Nanyang Technological University（南洋理工大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出同心因果注意力（CCA）位置对齐策略，通过缩小视觉与指令token的相对距离来缓解RoPE长距离衰减导致的物体幻觉，在多个基准上大幅超越现有方法。
2024-10-21 cs.CL cs.CV
