PoPE: Legendre Orthogonal Polynomials Based Position Encoding for Large Language Models
Airtel Africa Digital Labs(Airtel非洲数字实验室)
针对正弦位置编码在高维表示上的局限,本文提出基于勒让德正交多项式的 PoPE,并在 Multi30k 翻译任务中验证其性能与收敛优势。
2024-04-29 cs.AI cs.CL cs.LG
RoPE is Dead, Long Live RoPE: Towards Scalable Data-aware Positional Encodings
Meta AI;Inria, Université Paris-Saclay(法国国家信息与自动化研究所,巴黎-萨克雷大学)
针对RoPE对邻近令牌的偏见及推断时未见角度问题,提出数据感知RoPE(DaRoPE),在快频带保留RoPE、慢频带用学习坐标,跨多领域实验显示其缓解近期偏差并保持最优或持平性能。
2026-10-06 cs.CL cs.LG
CoPE: A Lightweight Complex Positional Encoding
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对Transformer位置编码的有效性问题,提出轻量级复杂位置编码CoPE,通过复嵌入整合内容与位置信息、引入相位感知注意力,在GLUE基准上以更低复杂度实现更优性能且无长期衰减。
2025-08-23 cs.AI cs.LG
Round and Round We Go! What makes Rotary Positional Encodings useful?
University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind)
本文通过分析 Gemma 7B 内部机制并结合数学证明,揭示 RoPE 主要利用高频形成位置注意力、低频承载语义,进而提出改进 RoPE 以修复问题并提升性能。
2025-05-13 cs.CL cs.LG
Vocabulary In-Context Learning in Transformers: Benefits of Positional Encoding
School of Mathematical Sciences, Beijing Normal University(北京师范大学数学学院)
本文研究单层Transformer中词汇上下文学习(VICL)的通用逼近性质,证明无位置编码时不具备UAP,而加入位置编码并满足若干充分条件后可以实现UAP,从逼近论角度揭示了位置编码的益处。
2025-11-09 cs.LG
Rethinking Positional Encoding
University of Adelaide(阿德莱德大学)
值得注意的是,基于坐标的MLP通过将坐标位置编码为傅立叶特征阵列而在保留高频信息方面受益。迄今为止,这些位置编码的有效性的基本原理仅通过傅立叶透镜进行了研究。在本文中,我们努力扩大这种理解,表明替代非傅立叶嵌入函数确实可以用于位置编码。此外,我们表明,它们的性能完全取决于嵌入矩阵的稳定秩和嵌入坐标之间的距离保持之间的权衡。我们进一步确定,现在无处不在的位置的傅立叶特征映射是满足这些条件的特殊情况。因此,我们提出了一个更一般的理论来分析位置编码的移位基函数。为此,我们开发了必要的理论公式,并以经验验证我们的理论主张在实践中成立。代码可在https://github.com/osiriszjq/Rethinking-positional-encoding获得。
2021-10-11 cs.CV cs.LG
The role of positional encodings in the ARC benchmark
INESC-ID;NeuralShift
本研究以CodeT5+为例探讨位置编码对ARC基准中抽象推理的影响,发现2D位置编码在数据受限场景下表现更优,凸显其在ARC任务中的有效性。
2025-01-31 cs.AI cs.LG
Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding
注意力模块是Transformer中的重要组成部分,由于其二次复杂度,无法有效地扩展到长序列。许多工作集中在近似原始注意力中的点然后取幂softmax函数,导致次二次甚至线性复杂度的Transformer架构。然而,我们表明,这些方法不能应用于更强大的注意力模块,超越了点然后指数风格,例如,具有相对位置编码(RPE)的Transformers。由于在许多最先进的模型中,相对位置编码被用作默认值,因此设计可以包含RPE的高效Transformers是有吸引力的。在本文中,我们提出了一种新的方法来加速Transformers的注意力计算与RPE的核心化的注意力。基于相对位置编码形成Toeplitz矩阵的观察,我们在数学上表明,使用快速傅立叶变换(FFT)可以有效地计算具有RPE的核化注意。通过FFT,我们的方法达到了$\mathcal{O}(n\log n)$的时间复杂度。有趣的是,我们进一步证明,正确使用相对位置编码可以减轻香草核化注意力的训练不稳定性问题。在广泛的任务中,我们的经验表明,我们的模型可以从头开始训练,没有任何优化问题。学习模型的性能优于许多高效的Transformer变体,并且在长序列状态下比标准Transformer更快。
2021-11-03 cs.CL cs.LG stat.ML
Rotary Position Encodings for Graphs
研究旋转位置编码(RoPE)在图结构数据上的应用,提出基于图拉普拉斯谱的旋转方法(WIRE),提升图学习性能,并具有理论性质。
2026-08-27 cs.AI cs.LG
How Local Mixing Encodes Relative Position in Global NoPE Attention
Zyphra Research(Zyphra研究院)
本文解释混合模型(含滑动窗口注意力或门控线性注意力)如何在全局NoPE注意力中隐式编码相对位置,通过近因偏差机制实现,并支持长序列外推。
2026-09-30 cs.AI cs.CL cs.LG
HyPE: Attention with Hyperbolic Biases for Relative Positional Encoding
Independent Researcher(独立研究者)
本文提出HyPE方法,利用双曲函数编码token相对位置,在不存储$O(L^2)$掩码的情况下为注意力机制施加偏置,兼容FlashAttention-2并支持梯度回传,且可近似ALiBi的注意力偏置以提升长上下文泛化能力。
2026-10-20 cs.LG
LieRE: Lie Rotational Positional Encodings
Computer Science Department, Stanford University, USA(斯坦福大学计算机科学系);Radiology Department, Stanford University, USA(斯坦福大学放射学系)
本文提出 LieRE,通过可学习的李代数元素生成高维旋转矩阵来泛化 RoPE,在 2D 和 3D 视觉任务中提升了位置编码的表示能力,并能高效泛化到更高输入分辨率。
2025-08-16 cs.CV cs.LG
Alternative positional encoding functions for neural transformers
Department of Computer Languages and Computer Science University of Málaga(计算机语言与计算机科学系马拉加大学);Department of Systems Engineering and Automation University of Málaga(系统工程与自动化系马拉加大学);ITIS Software. Universidad de Málaga(ITIS软件. 马拉加大学)
本文提出了一种替代的位置编码函数,以改进神经变换器的表现,实验显示其在某些情况下优于传统的正弦函数。
2025-12-22 cs.AI cs.LG
Deconstructing Positional Information: From Attention Logits to Training Biases
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);Antai College of Economics and Management, Shanghai Jiao Tong University(上海交通大学安泰经济管理学院)
本文通过分析注意力logits和位置编码形式,揭示了乘法编码在整合位置与语义信息上的优势,并发现训练过程中存在的单头沉积模式。
2026-02-10 cs.LG
Dynamical Properties of Tokens in Self-Attention and Effects of Positional Encoding
FPT Software AI Center(FPT软件AI中心);National University of Singapore(国立新加坡大学);Ho Chi Minh University of Economics(胡志明经济大学)
本文研究了Transformer中令牌的动力学特性,揭示了位置编码对模型性能的影响,并提出了改进方法以缓解收敛问题。
2025-11-25 cs.LG
RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings
Seoul National University(首尔国立大学);Independent(独立);Google Research(谷歌研究);Google DeepMind(谷歌DeepMind);Columbia University(哥伦比亚大学)
RelFlexformer引入了基于任意可积分调制函数f的通用3D相对位置编码方法,实现O(L log L)复杂度的高效注意力计算,适用于非结构化异质场景中的点云建模。
2026-05-11 cs.LG
FastRPB: a Scalable Relative Positional Encoding for Long Sequence Tasks
Moscow Institute of Physics and Technology(莫斯科物理技术学院);VK Lab(VK实验室);Tinkoff(Tinkoff公司)
Transformers在各个领域都取得了卓越的性能,包括NLP、CV、音频处理和图形分析。然而,他们没有规模以及长序列的任务,由于其二次复杂性w.r.t.输入长度。线性Transformers被提出来解决这个限制。然而,这些模型在长序列任务上的性能较弱。在本文中,我们探讨线性Transformer模型,重新思考他们的两个核心组成部分。首先,采用平移不变核函数SIKF对线性Transformer进行改进,在不损失速度的前提下提高了精度。其次,我们介绍了FastRPB,它代表快速相对位置偏差,它有效地增加了位置信息,自我注意使用快速傅立叶变换。FastRPB独立于自注意机制,可以与原始自注意及其所有有效变体相结合。FastRPB具有O(N log(N))计算复杂性,需要O(N)内存w.r.t.输入序列长度N。
2022-02-23 cs.LG
Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
Johns Hopkins University(约翰斯·霍普金斯大学);University of Toronto(多伦多大学)
本文提出并验证了因果Transformer无需位置编码即可通过邻近嵌入相似性存储位置信息的假设,并证明该模式在训练和随机初始化模型中均会出现。
2024-12-30 cs.CL cs.LG
On the Geometry of Positional Encodings in Transformers
Laboratoire LTI, Université de Picardie Jules Verne(皮卡第儒勒·凡尔纳大学LTI实验室)
本文探讨了变换器中位置编码的几何特性,通过理论推导证明了位置编码在解决顺序敏感任务中的必要性,并提出基于Hellinger距离的MDS方法优化编码质量。
2026-04-06 cs.CL cs.LG
Shifting Mechanisms: How Positional Encoding Choice Shapes In-Context Retrieval
Cornell University(康奈尔大学)
本研究通过机制性分析揭示,位置编码选择(如RoPE与混合PE)会改变语言模型上下文内检索的内部机制,从位置检索转向语义检索,并带来多目标检索增益但损害竞争键区分。
2026-10-01 cs.CL cs.LG
Rethinking Positional Encoding in Language Pre-training
Microsoft Research(微软研究院)
在这项工作中,我们研究了用于语言预训练的位置编码方法(例如,BERT)并识别现有公式中的几个问题。首先,我们证明了在绝对位置编码中,位置嵌入和词嵌入上的加法运算带来了两个异构信息资源之间的混合相关性。它可能会在注意力上带来不必要的随机性,并进一步限制模型的表达能力。第二,我们质疑,考虑到符号\texttt{[CLS]}在下游任务中的特殊作用(代表整个句子),将符号的位置与其他单词相同是否是一个合理的设计。基于上述分析,我们提出了一种新的位置编码方法--\textbf{T} transformer with \textbf{U} ntied \textbf{P} ositional \textbf{E} ncoding(TUPE).在自注意模块中,TUPE分别计算了词的上下文相关度和位置相关度,并将它们相加。这种设计消除了异构嵌入上的混合和噪声相关性,并通过使用不同的投影矩阵提供了更多的表现力。此外,TUPE将\texttt{[CLS]}符号与其他位置分开,从而更容易从所有位置捕获信息。大量的实验和GLUE基准上的烧蚀研究证明了该方法的有效性。代码和模型在https://github.com/guolinke/TUPE上发布。
2021-03-15 cs.CL cs.LG
Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding
University of Texas at Austin(德克萨斯大学奥斯汀分校);Zhejiang University(浙江大学);Princeton University(普林斯顿大学)
本文提出上下文化等变位置编码框架 TAPE,通过动态上下文感知的位置编码提升 Transformer 的寻址能力、长程依赖建模与推理性能,并在多项任务中验证其优越性。
2025-08-21 cs.CL cs.LG
Transformer Language Models without Positional Encodings Still Learn Positional Information
Tel Aviv University(特拉维夫大学);University of Washington(华盛顿大学);Intel Labs(英特尔实验室);Meta AI
因果Transformer语言模型(LM),例如GPT-3,通常需要某种形式的位置编码,例如位置嵌入。然而,我们表明,没有任何明确的位置编码的LM仍然与标准模型竞争,并且这种现象在不同的数据集,模型大小和序列长度上是鲁棒的。探测实验表明,这种模型在整个网络中获得了绝对位置的隐含概念,有效地补偿了丢失的信息。我们推测,因果注意力使模型能够推断出每个标记可以注意的前任的数量,从而近似其绝对位置。我们的研究结果表明,因果性LMs可能不仅从外显定位机制中获得位置意识,而且还从因果性面具的影响中获得位置意识。
2022-12-05 cs.AI cs.CL cs.LG
Theoretical Analysis of Hierarchical Language Recognition and Generation by Transformers without Positional Encoding
The University of Tokyo(东京大学)
本文通过构造性证明表明,无需特定位置编码,Transformer 仅依赖因果掩码和起始标记即可高效识别与生成层级语言,并指出显式位置编码可能对序列长度泛化产生不利影响。
2024-10-16 cs.CL
Linearized Relative Positional Encoding
Shanghai AI Laboratory(上海人工智能实验室);Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学);The University of Hong Kong(香港大学)
本研究针对线性Transformer缺乏适用相对位置编码设计原则的问题,整合现有方法并通过酉变换提出LRPE编码族,在多项任务中取得最优性能,提供了通用设计范式。
2023-07-18 cs.CL
DAPE: Data-Adaptive Positional Encoding for Length Extrapolation
CUHK(香港中文大学);NUS(新加坡国立大学);HKU(香港大学);HKBU(香港浸会大学)
本文提出数据自适应位置编码(DAPE),根据输入上下文动态调整位置编码,在Arxiv、Books3和CHE数据集上显著提升长度泛化性能,并在128训练长度下于8192评估长度上优于静态方法。
2024-11-05 cs.CL
Beyond Sinusoids: A Morlet Wavelet Framework for Transformer Positional Encoding
Independent Researcher(独立研究者);Athens, Greece(希腊雅典)
提出Morlet位置编码(MoPE),通过可学习的频率和局部带宽统一了正弦位置编码和旋转位置编码,并在TinyShakespeare上结合能量门控注意力提升了0.119的性能。
2026-05-31 cs.CL cs.LG eess.SP
Towards More Efficient Insertion Transformer with Fractional Positional Encoding
Carnegie Mellon University(卡内基梅隆大学);Apple Inc.(苹果公司);Microsoft Research(微软研究院)
自回归神经序列模型已被证明在文本生成任务中是有效的。然而,它们从左到右的解码顺序阻止了并行生成。插入式Transformer(Stern等人,2019)是一个有吸引力的替代方案,它允许在单个生成步骤中输出多个令牌。然而,由于绝对位置编码和基于插入的生成方案之间的不兼容性,需要在每个步骤刷新所生成的部分假设中的每个标记的编码,这可能是昂贵的。我们设计了一种新的可重用的位置编码方案的插入Transformers称为分数位置编码(FPE),它允许重用表示计算在前面的步骤。对各种文本生成任务的实证研究证明了FPE的有效性,它可以减少浮点运算并改善批量解码的延迟。
2023-01-31 cs.CL
The Impact of Positional Encoding on Length Generalization in Transformers
Mila, McGill University(米拉-麦吉尔大学);IBM Research(IBM研究院);Facebook CIFAR AI Chair(Facebook CIFAR AI主席);ServiceNow Research(ServiceNow研究院)
该研究通过实证对比五种位置编码方案在仅解码器Transformer上的长度泛化表现,发现无位置编码方案性能更优且无需额外计算,同时指出草稿板对长度泛化的作用不稳定,证明显式位置嵌入并非长序列泛化的必需条件。
2023-11-06 cs.AI cs.CL cs.LG
CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings
Apple(苹果公司);Facebook AI Research(Facebook 人工智能研究院);Herophilus, Inc.(Herophilus 公司)
在没有位置信息的情况下,基于注意力的Transformer神经网络是置换不变的。绝对或相对位置嵌入是向Transformer模型提供位置信息的最常用方法。绝对位置嵌入易于实现,但在对比训练时看到的更长的序列进行评估时会遇到泛化问题。相对位置对输入长度变化更鲁棒,但实现起来更复杂,并且由于额外的计算和内存成本而产生较差的模型吞吐量。在本文中,我们提出了一种基于增广的方法(CAPE)的绝对位置嵌入,它保持了绝对(简单和速度)和相对位置嵌入(更好的泛化)的优点。此外,我们对机器翻译、图像和语音识别中最先进的模型的经验评估表明,CAPE导致了更好的泛化性能以及训练超参数的稳定性。
2021-11-09 cs.CL cs.CV cs.LG
Randomized Positional Encodings Boost Length Generalization of Transformers
DeepMind(深度思维(DeepMind))
本文提出随机化位置编码方案,通过模拟更长序列位置并随机选取有序子集,解决Transformer在长度泛化上的分布外问题,在15个算法推理任务上平均提升测试准确率12.0%。
2023-05-26 cs.AI cs.CL cs.LG
HoPE: A Novel Positional Encoding Without Long-Term Decay for Enhanced Context Awareness and Extrapolation
Xiaomi AI Lab(小米AI实验室);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对现有位置编码的长期衰减特性不适用于LLMs精确检索任意位置上下文信息的问题,提出HoPE,替换RoPE中特定组件为位置无关组件保留高频信号,消除长期衰减约束,优化位置与语义表示组件,增强模型上下文感知与外推能力。
2024-12-05 cs.AI cs.CL cs.LG
PESTO: Switching Point based Dynamic and Relative Positional Encoding for Code-Mixed Languages
IIIT Sri City(印度信息技术学院斯里城);UCLA(加州大学洛杉矶分校);Wipro AI Labs(威普罗人工智能实验室);AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所)
代码混合(CM)或混合语言文本的NLP应用最近获得了显著的发展势头,主要原因是在印度,墨西哥,欧洲,美国部分地区等多语言社会的社交媒体通信中语言混合的流行。词嵌入是当今任何NLP系统的基本构建块,然而,CM语言的词嵌入是一个未开发的领域。CM词嵌入的主要瓶颈是切换点,即语言切换的地方。这些位置缺乏上下文,并且由于所见示例中的高方差,统计系统无法对这种现象进行建模。在本文中,我们提出了我们的初步观察应用切换点为基础的位置编码技术的CM语言,特别是印度式英语(印地语-英语)。结果仅略好于SOTA,但很明显,位置编码可以是训练CM文本的位置敏感语言模型的有效方法。
2021-11-12 cs.AI cs.CL cs.LG
HoPE: Hyperbolic Rotary Positional Encoding for Stable Long-Range Dependency Modeling in Large Language Models
Peking University(北京大学);Tianjin University(天津大学);Tencent(腾讯);Fudan University(复旦大学)
针对RoPE等位置编码在长序列建模中的振荡问题,本文提出基于双曲几何洛伦兹旋转的HoPE,实现注意力权重随距离单调衰减,在多个基准上超越现有方法。
2025-09-08 cs.AI cs.CL
3D-RPE: Enhancing Long-Context Modeling Through 3D Rotary Position Encoding
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Beijing Wenge Technology Co. Ltd.(北京文阁科技有限公司)
本文受 Bloch Sphere 启发提出三维旋转位置编码 3D-RPE,通过可控长期衰减和更高位置分辨率增强长上下文建模,并在长上下文 NLU 与长序列 LM 任务上验证其优于 RoPE。
2024-06-14 cs.CL
ZetaGPT: A Reference Implementation of Positional--Encoding--Free State--Space--Attention Language Models
University of Galway(戈尔韦大学)
ZetaGPT是首款无显式位置编码的开源小型语言模型,它将因果状态空间方程与自注意力结合,提供全开源训练流水线,为无位置编码语言模型的研究提供紧凑可复现的参考实现。
2026-08-11 cs.AI cs.CL
Word Order Matters when you Increase Masking
École Normale Supérieure-PSL(巴黎高等师范学院-巴黎文理研究大学);CNRS(法国国家科学研究中心);U. Sorbonne Nouvelle(新索邦大学);University of Pisa(比萨大学)
词序是自然语言的一个基本属性,使用位置编码将词序注入到基于transformer的神经语言模型中。然而,最近的实验表明,显式位置编码并不总是有用的,因为一些没有这种功能的模型设法在某些任务上实现了最先进的性能。为了更好地理解这种现象,我们检查了去除位置编码对预训练目标本身的影响(即,掩蔽语言建模),以测试模型是否可以单独从同现重构位置信息。我们通过控制输入句子中的掩蔽标记的数量来实现这一点,作为影响任务位置信息重要性的代理。我们发现,位置信息的必要性随着掩蔽量的增加而增加,并且没有位置编码的掩蔽语言模型无法在任务上重建此信息。这些发现指向掩蔽量和Transformers使用位置编码捕获语言的顺序敏感方面的能力之间的直接关系。
2022-11-08 cs.CL cs.LG cs.NE
Contextual Position Encoding: Learning to Count What's Important
FAIR at Meta(Meta FAIR实验室)
针对现有位置编码无法泛化到句子等高抽象层级的问题,提出上下文位置编码(CoPE),通过模型决定的特定token递增位置,实现更通用的位置寻址,在多项任务上克服了传统方法的失败并改善了困惑度。
2024-05-30 cs.AI cs.CL
Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling
本技术综述梳理 Transformer 各类位置编码方法,推导 RoPE 原理并对比不同方法特性,研究长上下文扩展方案,明确长上下文泛化能力需多任务评估。
2026-08-12 cs.CL
Positional Encoding to Control Output Sequence Length
Tokyo Institute of Technology(东京工业大学)
神经编码器-解码器模型在自然语言生成任务中已经取得了成功。然而,抽象摘要的实际应用必须考虑生成的摘要不应超过期望长度的附加约束。在本文中,我们提出了正弦位置编码的简单但有效的扩展(Vaswani等人,2017),以使神经编码器-解码器模型能够保留长度约束。与以前的研究不同,在以前的研究中,学习嵌入表示每个长度,所提出的方法可以生成任何长度的文本,即使目标长度不存在于训练数据中。实验结果表明,该方法不仅可以控制生成长度,而且提高了ROUGE分数。
2019-04-16 cs.CL
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories(NTT通信科学实验室);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
非自回归神经机器翻译(NAT)通常采用序列级知识蒸馏使用自回归神经机器翻译(AT)作为其教师模型。然而,NAT模型通常输出比AT模型更短的句子。在这项工作中,我们提出了序列级知识蒸馏(SKD)使用扰动长度感知位置编码,并将其应用到学生模型,Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点,在双语评估替补(BLEU)在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
Encoding Sentence Position in Context-Aware Neural Machine Translation with Concatenation
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Naver Labs Europe(Naver欧洲实验室)
本文研究在基于拼接的上下文感知机器翻译中,通过多种方法将句子位置显式编码至 token 表示,发现特定编码方法在上下文折扣损失下可提升英译俄效果,但英译德未见相同益处。
2023-04-04 cs.CL
Spherical Position Encoding for Transformers
Datategy SAS(Datategy SAS公司)
针对地理词元场景下序列位置不重要、需体现地理坐标相对关系的需求,提出基于适配球面坐标的RoPE架构的球面位置编码机制,可保持物理距离与嵌入空间距离的比例。
2023-10-04 cs.AI cs.CL
Relative Positional Encoding for Transformers with Linear Complexity
Inria(法国国家信息与自动化研究所);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);Research Center for IT Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);National Taiwan University(台湾大学);Taiwan AI Labs(台湾人工智能实验室);PSL Research University(巴黎文理研究大学);École Normale Supérieure(巴黎高等师范学院)
由于线性空间和时间复杂度,Transformer模型的最新进展允许前所未有的序列长度。与此同时,相对位置编码(RPE)被认为对经典的Transformers是有益的,并且包括利用滞后而不是绝对位置进行推理。尽管如此,RPE不适用于Transformer的最近线性变体,因为它需要显式计算注意力矩阵,而这正是这些方法所避免的。在本文中,我们弥合这一差距,并提出随机位置编码作为一种方式来产生PE,可以用作替代经典的加法(正弦)PE和可证明的行为像RPE。主要的理论贡献是使位置编码和相关高斯过程的互协方差结构之间的连接。我们说明了我们的方法在远程竞技场基准和音乐生成的性能。
2021-06-10 cs.CL cs.LG cs.SD
What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
National Taiwan University(台湾大学)
近年来,预先训练的Transformers已经主导了大多数NLP基准测试任务。许多经过预先训练的Transformers变体不断爆发,大多数都专注于设计不同的预先训练目标或自我注意力的变体。在自我注意力机制中嵌入位置信息也是Transformers中不可或缺的因素,但经常被随意讨论。因此,本文对主流的预训练Transformers的职位嵌入进行了实证研究,主要关注两个问题:1)职位嵌入是否真的学习了职位的含义?2)这些不同的学习位置嵌入如何影响NLP任务的Transformers?本文旨在通过对大多数标志性NLP任务的特征级分析和实证实验,为预训练位置嵌入提供新的见解。相信我们的实验结果可以指导未来的工作,选择合适的位置编码功能,为特定的任务给定的应用属性。
2020-10-10 cs.AI cs.CL
The Locality and Symmetry of Positional Encodings
Inria(法国国家信息与自动化研究所);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
本研究系统性分析了双向掩蔽语言模型中位置编码的局部性与对称性属性,揭示了其与下游任务性能的关联,并通过新探测任务量化了现有方法的弱点,为开发更优位置编码奠定基础。
2023-10-19 cs.CL
Verb Conjugation in Transformers Is Determined by Linear Encodings of Subject Number
New York University(纽约大学)
本文通过因果干预分析证明,BERT的动词变位能力依赖于主语数的线性可解释编码,该编码在不同网络层中呈现位置分布差异。
2023-10-23 cs.AI cs.CL cs.LG
Dynamic Position Encoding for Transformers
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Amazon(亚马逊)
在过去的几年里,递归模型一直主导着神经机器翻译(NMT)领域。Transformers \citep{vaswani2017attention}通过提出一种依赖于前馈骨干和自注意力机制的新颖体系结构,从根本上改变了它。虽然Transformers功能强大,但由于其非循环特性,它们可能无法正确编码顺序/位置信息。为了解决这个问题,位置嵌入被专门定义为每个时间步,以丰富单词信息。然而,这样的嵌入在训练之后是固定的,而不管源或目标语言的任务和单词排序系统如何。在本文中,我们提出了一种新的架构,新的位置嵌入取决于输入文本,以解决这个缺点,考虑到目标词的顺序。我们的解决方案没有使用预定义的位置嵌入,而是生成新的嵌入来细化每个单词的位置信息。由于我们不指定源标记的位置并以端到端的方式学习它们,因此我们将我们的方法称为动态位置编码(DPE)。我们评估了我们的模型对多个数据集的影响,从英语翻译成德语,法语和意大利语,并观察到与原始Transformer相比有意义的改进。
2022-10-22 cs.CL
LLM as Effective Streaming Processor: Bridging Streaming-Batch Mismatches with Group Position Encoding
Shanghai Jiao Tong University(上海交通大学);Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative(宁波空间智能与数字衍生关键实验室);Institute of Digital Twin, EIT(数字孪生研究所);National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Meituan Inc.(美团公司)
本文提出一种基于批处理架构的分组位置编码范式,解决了LLMs在流式处理中的输入-注意力、输出-注意力和位置-ID不匹配问题,无需架构修改即可提升流式与批处理的一致性和泛化能力。
2025-05-29 cs.CL
Distance generalization in transformers: why bother with positional encoding?
Institute for Theoretical Physics, Goethe University Frankfurt(法兰克福大学理论物理研究所)
本文研究Transformer在固定上下文长度下对未见词元间距离的泛化能力,通过合成延迟复制任务,探讨位置编码、数据多样性及迁移学习正负性,强调理解底层机制的重要性。
2026-09-11 cs.CL
Transformer with Tree-order Encoding for Neural Program Generation
TU Dresden(德累斯顿工业大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
虽然相当多的语义解析方法已经将RNN架构用于代码生成任务,但只有很少的尝试来研究Transformers在此任务中的适用性。包括底层程序设计语言语法的分层信息已被证明对于代码生成是有效的。由于Transformer的位置编码只能表示平面序列中的位置,因此我们扩展了编码方案,以允许注意力机制也关注输入中的分层位置。此外,我们还实现了一个基于限制性文法图模型的解码器,以提高生成的准确性,并确保生成代码的良好格式。虽然我们没有超越最先进的技术,我们的研究结果表明,采用基于树的位置编码与共享的自然语言子词汇表相结合,提高了生成性能的顺序位置编码。
2022-05-30 cs.AI cs.CL
Length Generalization of Causal Transformers without Position Encoding
School of Computer Science, East China Normal University(华东师范大学计算机科学学院);School of Computer Science, Fudan University(复旦大学计算机科学学院);International Human Phenome Institutes, Shanghai(国际人类表型组研究院(上海));Shanghai AI Lab(上海人工智能实验室);Institute of Modern Languages and Linguistics, Fudan University(复旦大学现代语言与语言学研究所)
本文研究无位置编码(NoPE)的因果Transformer的长度泛化问题,发现其失败与注意力分散有关,并提出参数高效的温度超参数调优方法,显著扩展上下文长度,在长序列任务上取得与最先进算法竞争的性能。
2024-05-28 cs.CL
SeqPE: Transformer with Sequential Position Encoding
Nara Institute of Science and Technology(奈良科学技术研究所);Kuaishou Technology(快手科技);Tencent(腾讯)
针对传统位置编码外推能力弱、跨模态适配成本高的问题,提出全可学习的SeqPE框架,通过序列编码位置索引并结合对比与蒸馏目标正则化,在多任务上超越基线且支持多维输入无缝泛化。
2025-06-17 cs.AI cs.CL cs.CV
ExPe: Exact Positional Encodings for Generative Transformer Models with Extrapolating Capabilities
Faculty of Mathematics and Informatics, Sofia University St. Kliment Ohridski(数学与信息学系,索菲亚大学);Graphwise
针对传统Transformer位置嵌入长序列外推能力不足的问题,提出精确位置嵌入ExPE,通过覆写嵌入向量特定维度编码精确位置信息,在因果语言建模长序列测试中显著降低困惑度,提升模型长序列泛化能力。
2025-09-23 cs.CL