Self-Attention with Structural Position Representations
Tencent AI Lab(腾讯人工智能实验室)
虽然自我注意网络(SAN)已经在各种NLP任务上发展了最先进的技术,但是对SAN的一个批评是它们对输入单词的位置进行编码的能力(Shaw等人,2018年)。在这项工作中,我们建议增加SAN与结构位置表示模型的潜在结构的输入句子,这是补充标准的顺序位置表示。具体来说,我们使用依存树来表示句子的语法结构,并提出了两种策略来编码依存树中的词之间的位置关系。NIST中文到英文和WMT14英文到德文翻译任务的实验结果表明,所提出的方法一致提高性能的绝对和相对顺序位置表示。
2019-09-01 cs.CL
Latent Positional Information is in the Self-Attention Variance of Transformer Language Models Without Positional Embeddings
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
本文证明无位置嵌入的Transformer语言模型通过自注意力方差收缩编码位置信息,该效应在预训练后依然存在,为放弃位置嵌入以提升预训练效率提供了依据。
2023-05-23 cs.CL
Attention Instruction: Amplifying Attention in the Middle via Prompting
University of Cambridge(剑桥大学);University of Glasgow(格拉斯哥大学)
本文提出通过提示扩充注意力指令以缓解大语言模型的位置偏差,发现模型缺乏相对位置感知能力,但能利用匹配索引将注意力调整至特定片段,从而提升RAG应用中的信息利用率。
2024-06-24 cs.CL
Cascaded Semantic and Positional Self-Attention Network for Document Classification
College of Internet of Things Engineering, Hohai University(河海大学物联网工程学院);Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University(复旦大学类脑智能科学与技术研究院);Department of Computer & Information Sciences, Temple University(天普大学计算机与信息科学系)
Transformers在学习语言建模的表示方面取得了巨大的成功。然而,一个开放的挑战仍然是如何系统地聚合语义信息(词嵌入)与位置(或时间)信息(词序)。在这项工作中,我们提出了一个新的架构来聚合的两个来源的信息,使用级联的语义和位置的自我注意力网络(CSPAN)的文件分类的背景下。CSPAN使用与Bi-LSTM级联的语义自注意层,以顺序的方式处理语义和位置信息,然后通过残差连接将它们自适应地组合在一起。与常用的位置编码方案相比,CSPAN能够更好地利用语义和词位置之间的相互作用,具有更强的可解释性和自适应性,在保持模型规模和收敛速度的同时,分类性能得到显著提高。我们评估了CSPAN模型的几个基准数据集的文件分类仔细消融研究,并证明了令人鼓舞的结果与最先进的。
2020-09-19 cs.CL
Relative Position Prediction as Pre-training for Text Encoders
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
意义是由它所拥有的公司来定义的。然而,公司是双重的:它基于令牌的身份以及它们的位置(拓扑)。我们认为,一个位置为中心的角度是更普遍和有用的。NLP中经典的MLM和CLM目标很容易被表述为对整个词汇的位置预测。在NLP中采用相对位置编码范式来创建自监督学习的相对标签,我们试图通过下游任务的表现来显示优越的预训练。
2022-02-02 cs.CL
Improve Transformer Models with Better Relative Position Embeddings
AWS AI(亚马逊云服务人工智能(AWS AI))
Transformer体系结构依赖于显式的位置编码,以保持词序的概念。在本文中,我们认为,现有的工作并没有充分利用位置信息。例如,正弦曲线嵌入的初始建议是固定的,不可学习。在本文中,我们首先回顾绝对位置嵌入和相对位置嵌入的现有方法。然后,我们提出了新的技术,鼓励增加查询,关键和相对位置嵌入在自我注意力机制之间的互动。我们最有前途的方法是绝对位置嵌入的推广,与以前的位置嵌入方法相比,SQuAD 1.1的结果有所改善。此外,我们解决的归纳属性的位置嵌入是否可以足够强大,以处理长序列。我们的经验表明,我们的相对位置嵌入方法是合理的推广和强大的归纳的角度来看。最后,我们表明,我们提出的方法可以作为一个近下降的替代,以提高大型模型的精度与一个小的计算预算。
2020-09-28 cs.CL
Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
Shanghai Innovation Institute(上海创新研究院);OpenMOSS Team(OpenMOSS团队);Fudan University(复旦大学)
本文提出长上下文混合模型机制,分析全注意力与SWA/LA混合的跷跷板效应,揭示SWA陷阱,并提出滑动窗口线性注意力实现16倍免训练外推且保持高准确率。
2026-10-08 cs.CL
Position-aware Self-attention with Relative Positional Encodings for Slot Filling
Center for Information and Language Processing(信息与语言处理中心);Ludwig Maximilian University of Munich(慕尼黑大学)
本文介绍了如何将自注意与相对位置编码的任务的关系抽取。我们建议使用自注意编码器层与一个额外的位置感知注意层,考虑到查询和对象在句子中的位置。自注意编码器还使用相对位置编码的自定义实现,该相对位置编码允许句子中的每个单词考虑其左右上下文。该模型的评估是在TACRED数据集上完成的。所提出的模型仅依赖于注意力(不使用递归层或卷积层),同时提高了w.r.t.以前的艺术状态。
2018-07-09 cs.AI cs.CL cs.LG
Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling
本技术综述梳理 Transformer 各类位置编码方法,推导 RoPE 原理并对比不同方法特性,研究长上下文扩展方案,明确长上下文泛化能力需多任务评估。
2026-08-12 cs.CL
Look to the Right: Mitigating Relative Position Bias in Extractive Question Answering
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
当训练集存在非预期偏差时,提取式问答(QA)模型倾向于利用虚假相关性进行预测。这种倾向导致模型不能推广到相关性不成立的例子。确定QA模型可以利用的虚假相关性对于在现实应用中构建可推广的QA模型至关重要;此外,需要开发一种方法,即使在训练集有偏差时,也可以防止这些模型学习虚假相关性。在这项研究中,我们发现,答案的相对位置,这是定义为相对距离从答案跨度最接近的问题上下文重叠字,可以利用QA模型作为表面线索进行预测。具体来说,我们发现,当训练集中的相对位置有偏差时,在训练过程中看不到相对位置的例子的性能会显着下降。为了减轻看不见的相对位置的性能下降,我们提出了一个基于集合的去偏置方法,不需要先验知识的相对位置的分布。我们证明了所提出的方法减轻了模型对使用有偏和完整SQuAD数据集的相对位置的依赖。我们希望这项研究可以帮助提高QA模型在实际应用中的泛化能力。
2022-10-26 cs.CL
Generalized Attention Mechanism and Relative Position for Transformer
本文首先对Vaswani等人的自我注意力机制提出了一种新的解释,然后提出了广义注意力机制(GAM)。在解释之后,我们提供了对注意力机制的不同变体的描述,这些变体一起形成GAM。此外,我们提出了一个新的相对位置表示GAM的框架内。这种表示可以很容易地用于输入序列中彼此相邻的元素可以位于实际数据集/语料库中的随机位置的情况。
2022-07-24 cs.CL cs.LG
ATP: A holistic attention integrated approach to enhance ABSA
Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学);Indian Institute of Technology(印度理工学院)
基于方面的情感分析(ABSA)处理的是识别评论句子对给定方面的情感极性。深度学习序列模型,如RNN,LSTM和GRU是目前最先进的推断情感极性的方法。这些方法可以很好地捕捉复习句子中单词之间的上下文关系。然而,这些方法在捕获长期依赖性方面是微不足道的。注意力机制通过只关注句子中最关键的部分而发挥重要作用。在ABSA的情况下,体位置起着至关重要的作用。接近体的词在决定对体的情感时贡献更大。因此,我们提出了一种方法,捕获基于位置的信息,使用依存句法分析树,并帮助注意力机制。在简单的基于单词距离的位置上使用这种类型的位置信息可以增强深度学习模型的性能。我们在SemEval'14数据集上进行了实验,以证明基于依存句法分析关系的注意对ABSA的影响。
2022-08-04 cs.CL
What Makes Position Zero Special? A Mechanistic Study of Position Zero Attention Sinks in LLMs
New York University(纽约大学);Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);NYU Shanghai(上海纽约大学)
本研究从可解释性角度探讨了大语言模型中注意力汇流的形成机制,发现P0汇流回路能无需语义信息在两个transformer块内诱导注意力汇流,并揭示其在训练早期的出现及集中趋势。
2026-08-04 cs.CL cs.LG
Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Facebook AI Research(脸书人工智能研究院);Allen Institute for AI(艾伦人工智能研究所)
自Vaswani等人(2017)引入Transformer模型以来,一个基本问题尚未得到回答:对于比训练期间看到的更长的序列,模型如何在推理时间实现外推?我们首先表明,外推可以通过简单地改变位置表示方法,虽然我们发现,目前的方法不允许有效的外推。因此,我们引入了一种更简单,更有效的位置方法,注意力与线性偏差(ALiBi)。ALiBi不会在词嵌入中添加位置嵌入;相反,它会对查询键的注意力分数施加与距离成比例的惩罚。我们证明了这种方法在长度为1024的输入序列上训练了一个13亿参数的模型,该模型外推到长度为2048的输入序列,实现了与在长度为2048的输入上训练的正弦位置嵌入模型相同的困惑,但训练速度快了11%,使用的内存少了11%。ALiBi对近因的归纳偏见也使其在WikiText-103基准测试中优于多个强位置方法。
2022-04-22 cs.CL
ZetaGPT: A Reference Implementation of Positional--Encoding--Free State--Space--Attention Language Models
University of Galway(戈尔韦大学)
ZetaGPT是首款无显式位置编码的开源小型语言模型,它将因果状态空间方程与自注意力结合,提供全开源训练流水线,为无位置编码语言模型的研究提供紧凑可复现的参考实现。
2026-08-11 cs.AI cs.CL
Position Bias Correction is Insufficient for One-Pass Attention Sorting
Analemma
针对长上下文语言模型的位置偏差问题,提出去偏单遍注意力排序方法,通过估计位置偏差曲线校正注意力分数,实验表明校正效果有限,无法替代迭代排序。
2026-06-29 cs.AI cs.CL
How Local Mixing Encodes Relative Position in Global NoPE Attention
Zyphra Research(Zyphra研究院)
本文解释混合模型(含滑动窗口注意力或门控线性注意力)如何在全局NoPE注意力中隐式编码相对位置,通过近因偏差机制实现,并支持长序列外推。
2026-09-30 cs.AI cs.CL cs.LG
Paying More Attention to Self-attention: Improving Pre-trained Language Models via Attention Guiding
Shandong University(山东大学);WeChat, Tencent(腾讯微信)
预训练的语言模型(PLM)已经证明了它们在广泛的信息检索和自然语言处理任务中的有效性。作为生命周期管理的核心部分,多头自注意因其能够从不同的位置共同关注信息而备受关注。然而,研究人员发现,PLM总是表现出固定的注意力模式,而不管输入是什么(例如,过度关注[CLS]或[SEP]),我们认为这可能会忽略其他位置的重要信息。在这项工作中,我们提出了一个简单而有效的注意力引导机制,以提高PLM的性能,鼓励对既定目标的关注。具体来说,我们提出了两种注意引导方法,即,地图辨别引导(MDG)和注意模式去相关引导(PDG)。前者肯定鼓励多个自我注意头之间的多样性,以共同关注来自不同表征子空间的信息,而后者鼓励自我注意关注尽可能多的输入的不同位置。我们使用多个一般的预训练模型(即,BERT、ALBERT和Roberta)和领域特定的预训练模型(即,BioBERT、ClinicalBERT、BlueBert和SciBERT)在三个基准数据集(即,MultiNLI、MedNLI和Cross-genre-IR)。大量的实验结果表明,我们提出的MDG和PDG带来了稳定的性能提高所有数据集的高效率和低成本。
2022-04-06 cs.CL
Position-Agnostic Pre-Projection for Transformer Attention: Nonlinear Feature Construction and Content Skip Before Q/K/V
Independent Researcher(独立研究员)
本文提出两种改进Transformer注意力机制的方法,通过非线性预投影MLP构建位置无关的丰富特征,并通过内容跳过连接绕过注意力机制,提升模型在Pythia-160M和410M上的表现,实现LAMBADA准确率提升40.6%和困惑度降低39%。
2026-04-12 cs.CL cs.LG
Understanding Long Documents with Different Position-Aware Attentions
Carnegie Mellon University(卡内基梅隆大学);Microsoft Azure AI(微软Azure人工智能部门)
尽管在文档理解方面取得了一些成功,但由于计算和如何有效地吸收长多模态输入方面的几个挑战,长文档理解的实际任务在很大程度上未得到充分探索。目前大多数基于transformer的方法只处理短文档,并且由于其过高的计算和内存限制而仅采用文本信息来引起注意。为了解决长文档理解中的这些问题,我们探索了不同的方法来处理1D和新的2D位置感知注意,基本上缩短了上下文。实验结果表明,我们提出的模型具有优势,这项任务的基础上,各种评价指标。此外,我们的模型只对注意力进行更改,因此可以轻松地适应任何基于transformer的架构。
2022-08-17 cs.AI cs.CL
Attention Basin: Why Contextual Position Matters in Large Language Models
本研究揭示大语言模型存在“注意力盆地”现象,即对序列首尾信息注意力高、中间低,据此提出无需训练的AttnRank重排序框架,将关键内容对齐至高注意力位置,在10种模型上显著提升多跳问答与少样本学习性能。
2025-08-07 cs.AI cs.CL
From Independent Prediction to Re-ordered Prediction: Integrating Relative Position and Global Label Information to Emotion Cause Identification
Nanjing University of Science and Technology(南京理工大学)
情感原因识别的目的是识别导致文本中某种情感表达的潜在原因。基于人工设计的规则和特征,已经提出了包括基于规则的方法和传统机器学习方法在内的几种技术来解决这个问题。最近,一些深度学习方法也被应用于这一任务,试图自动捕捉文本中体现的情感及其原因的因果关系。在这项工作中,我们发现,除了文本的内容,还有另外两种信息,即相对位置和全局标签,这也是非常重要的情感原因识别。为了整合这些信息,我们提出了一个基于神经网络架构的模型,以统一和端到端的方式对三个元素($i.e.$,文本内容,相对位置和全局标签)进行编码。我们引入了一个相对位置增强的嵌入学习算法,并将任务从一个独立的预测问题转化为一个重排序的预测问题,其中的动态全局标签信息。在基准情感原因数据集上的实验结果表明,我们的模型实现了新的最先进的性能,并且比许多竞争基线表现得更好。进一步的分析表明,相对位置增强嵌入学习算法和动态全局标签的重排序预测机制的有效性。
2019-06-04 cs.CL
Wavelet-based Positional Representation for Long Context
NTT Human Informatics Laboratories, NTT Corporation(NTT公司NTT人类信息学研究所)
本文针对长上下文位置外推问题,提出基于小波变换的多尺度位置表示方法,在不限制注意力场的前提下提升模型在短长上下文中的性能。
2025-02-04 cs.CL
DecBERT: Enhancing the Language Understanding of BERT with Causal Attention Masks
Hong Kong Baptist University(香港浸会大学);NetEase Inc.(网易公司);Jilin University(吉林大学)
自2017年以来,基于transformer的模型在各种下游自然语言处理任务中发挥着关键作用。然而,Transformer Encoder中使用的注意力机制的一个共同限制是它不能自动捕获词序信息,因此通常需要将显式位置嵌入馈送到目标模型中。相比之下,Transformer Decoder具有因果注意面具,对词序自然敏感。在这项工作中,我们专注于提高BERT的位置编码能力的因果注意面具。此外,我们提出了一个新的预训练的语言模型DecBERT和评估它的GLUE基准。实验结果表明:(1)因果注意掩模对BERT在语言理解任务上是有效的;(2)我们的DecBERT模型在GLUE基准测试中获得了相当的性能;(3)我们的修改加速了预训练过程,并且在使用相同计算资源的预训练时,DecBERT w/ PE获得了比基线系统更好的整体性能。
2022-04-19 cs.CL
Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding
注意力模块是Transformer中的重要组成部分,由于其二次复杂度,无法有效地扩展到长序列。许多工作集中在近似原始注意力中的点然后取幂softmax函数,导致次二次甚至线性复杂度的Transformer架构。然而,我们表明,这些方法不能应用于更强大的注意力模块,超越了点然后指数风格,例如,具有相对位置编码(RPE)的Transformers。由于在许多最先进的模型中,相对位置编码被用作默认值,因此设计可以包含RPE的高效Transformers是有吸引力的。在本文中,我们提出了一种新的方法来加速Transformers的注意力计算与RPE的核心化的注意力。基于相对位置编码形成Toeplitz矩阵的观察,我们在数学上表明,使用快速傅立叶变换(FFT)可以有效地计算具有RPE的核化注意。通过FFT,我们的方法达到了$\mathcal{O}(n\log n)$的时间复杂度。有趣的是,我们进一步证明,正确使用相对位置编码可以减轻香草核化注意力的训练不稳定性问题。在广泛的任务中,我们的经验表明,我们的模型可以从头开始训练,没有任何优化问题。学习模型的性能优于许多高效的Transformer变体,并且在长序列状态下比标准Transformer更快。
2021-11-03 cs.CL cs.LG stat.ML
The Rotary Position Embedding May Cause Dimension Inefficiency in Attention Heads for Long-Distance Retrieval
University of Southern California(南加州大学)
该研究通过受控实验和对三个 LLM 的分析,揭示 RoPE 在长上下文中因旋转角度范围过大而造成部分维度低效,且这些维度不助益长上下文问答。
2025-02-16 cs.CL cs.LG
The Case for Translation-Invariant Self-Attention in Transformer-Based Language Models
KTH Royal Institute of Technology(瑞典皇家理工学院)
编码位置信息的机制是基于转换器的语言模型的核心。在本文中,我们分析了现有的语言模型的位置嵌入,发现强有力的证据,翻译不变性,无论是嵌入本身和他们的自我注意的影响。翻译不变性的程度在训练过程中增加,并与模型性能呈正相关。我们的研究结果使我们提出了一种不变性自我注意(TISA),它以一种可解释的方式解释了标记之间的相对位置,而不需要传统的位置嵌入。我们的建议有几个理论上的优势,现有的位置表示方法。实验结果表明,该算法在GLUE任务上比常规ALBERT算法有了明显的改进,而位置参数的增加数量级更少。
2021-06-03 cs.AI cs.CL cs.LG
Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation
MALTA – Machine Learning Theory and Applications Lab, PUCRS – Porto Alegre, Brazil(MALTA机器学习理论与应用实验室,PUCRS-波士顿实验室,巴西);Kunumi Institute, Brazil(昆米研究所,巴西)
本文提出贝叶斯注意机制,通过概率模型将位置编码作为先验,统一了现有方法并改进了长上下文泛化能力,在500倍训练上下文长度下实现更准确的信息检索。
2026-05-07 cs.CL cs.LG
PermuteFormer: Efficient Relative Position Encoding for Long Sequences
Peking University(北京大学)
Transformer,Performer的最新变体使用线性注意力机制将Transformer扩展到更长的序列。然而,它与相对位置编码不兼容,相对位置编码优于绝对位置编码。在本文中,我们讨论了可能的方式来添加相对位置编码的表演者。基于分析,我们提出了PermuteFormer,一个基于性能的模型,具有相对位置编码,在长序列上线性缩放。PermuteFormer对查询和键应用位置相关的转换,将位置信息编码到attention模块中。这种转换是精心制作的,因此自我注意的最终输出不受标记的绝对位置的影响。PermuteFormer通过设计引入了可以忽略的计算开销,其运行速度与Performer一样快。我们评估PermuteFormer的长距离竞技场,长序列的数据集,以及WikiText-103,语言建模数据集。实验结果表明,PermuteFormer在几乎没有计算开销的情况下均匀地提高了Performer的性能,并且在大多数任务上的性能优于vanilla Transformer。
2021-09-08 cs.CL cs.LG
PaTH Attention: Position Encoding via Accumulating Householder Transformations
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(MIT-IBM Watson人工智能实验室);Stanford University(斯坦福大学);Microsoft(微软公司)
PaTH Attention通过累积Householder变换实现数据依赖的位置编码,提升Transformer模型的表达能力。
2026-02-03 cs.CL cs.LG
Where does Absolute Position come from in decoder-only Transformers?
Sapienza University of Rome(罗马大学萨皮恩扎分校);Intuition Machines(直觉机器)
本文研究了RoPE训练的仅解码器Transformer中绝对位置信息的来源,发现因果掩码和残差流是导致绝对位置泄露的两个关键组件,并提出了通过替换BOS嵌入来减少残差流成分的方法。
2026-06-04 cs.AI cs.CL
Position-Aware Self-Attention based Neural Sequence Labeling
School of Computer Science and Technology, Huazhong University of Science and Technology (HUST)(华中科技大学计算机科学与技术学院);School of Computer, Beijing Institute of Technology(北京理工大学计算机学院);School of Computer, Central China Normal University(华中师范大学计算机学院);School of Electronic Information and Communications, Huazhong University of Science and Technology (HUST)(华中科技大学电子信息与通信学院)
序列标注是自然语言处理中的一项基本任务,已得到广泛的研究。最近,基于RNN的序列标记模型越来越受到关注。尽管通过学习长短期(即,连续)依赖性,顺序处理输入的方式可能限制捕获句子内的标记上的非连续关系的能力。为了解决这个问题,我们专注于如何有效地建模连续和离散的依赖关系,每个令牌,以提高序列标记的性能。具体来说,我们提出了一个创新的基于注意力的模型(称为位置感知的自我注意力,即,PSA)以及神经网络架构内的精心设计的自注意上下文融合层,以探索输入序列的位置信息,用于捕获令牌之间的潜在关系。对序列标记领域的三个经典任务进行了广泛的实验,词性标注、命名实体识别和短语组块等实验结果表明,在没有任何外部知识的情况下,我们提出的模型在各种度量方面都优于现有技术。
2021-10-16 cs.CL cs.LG
Information Representation Fairness in Long-Document Embeddings: The Peculiar Interaction of Positional and Language Bias
Department of Computational Linguistics(计算语言学系)
研究提出基于排列的评估框架,发现长文档嵌入模型存在系统性位置和语言偏见,早期段落和高资源语言段落被过度表示,而后期段落和低资源语言段落被边缘化,提出注意力校准方法缓解此问题。
2026-04-20 cs.AI cs.CL
Integrating a Heterogeneous Graph with Entity-aware Self-attention using Relative Position Labels for Reading Comprehension Model
Semnan University(塞姆南大学)
本文提出一种无需外部知识的注意力模式,将异构图推理知识与LUKE实体感知自注意力结合,并在ReCoRD和WikiHop上超越LUKE及LUKE-Graph模型。
2024-01-13 cs.CL cs.LG
Improving Generalization of Transformer for Speech Recognition with Parallel Schedule Sampling and Relative Positional Embedding
Tsinghua University(清华大学);Sogou(搜狗);UCLA(加州大学洛杉矶分校)
Transformer最近在许多序列到序列转换任务中显示出了有希望的结果。它利用了一些前馈自注意层,以取代递归神经网络(RNN)在基于注意力的编码器解码器(AED)架构。自我注意层通过将符号的正弦位置嵌入序列中以进行并行计算来学习时间依赖性。在训练过程中,可以获得比RNN顺序运算更快的迭代速度。Transformer的更深层也使其性能优于基于RNN的AED。然而,这种并行化能力在应用预定的采样训练时丢失。正弦位置嵌入的自注意可能会导致在不同位置具有相似声学或语义信息的较长序列的性能下降。为了解决这些问题,我们建议使用并行调度采样(PSS)和相对位置嵌入(RPE),以帮助Transformer推广到看不见的数据。我们提出的方法实现了7%的相对改善短话语和70%的相对增益长话语的10,000小时的普通话ASR任务。
2020-11-30 cs.CL eess.AS
Why Any-Order Autoregressive Models Need Two-Stream Attention: A Structural-Semantic Tradeoff
本文提出Decoupled RoPE,通过解耦位置与内容信息,揭示任意顺序生成中结构-语义权衡的本质,表明双流注意力的作用在于解决这一深层权衡而非单纯解耦位置与内容。
2026-02-17 cs.CL cs.LG
Position Focused Attention Network for Image-Text Matching
Tencent(腾讯);Xi’an Jiaotong University(西安交通大学);Tencent AI Lab(腾讯人工智能实验室)
图像-文本匹配任务最近在计算机视觉领域引起了很多关注。这种跨领域问题的关键是如何准确地度量视觉内容和文本内容之间的相似性,这需要对视觉和文本两种模态有很好的理解。在本文中,我们提出了一个新的位置集中注意力网络(PFAN)的视觉和文本的意见之间的关系进行调查。在这项工作中,我们整合的对象位置线索,以加强视觉-文本联合嵌入学习。我们首先将图像分割成块,通过块来推断区域在图像中的相对位置。然后,提出一种注意力机制,对图像区域和块之间的关系进行建模,生成有价值的位置特征,进一步利用这些位置特征增强区域表达,并在视觉图像和文本语句之间建立更可靠的关系。在Flickr 30 K和MS-COCO数据集上的实验表明了该方法的有效性。除公开数据集外,本文还在实际的大规模新闻数据集(Criminent-News)上进行了实验,验证了该方法的实际应用价值。据我们所知,这是第一次尝试在实际应用中测试性能。我们的方法在所有这三个数据集上都达到了最先进的性能。
2019-07-23 cs.CL cs.IR cs.LG
Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
Johns Hopkins University(约翰斯·霍普金斯大学);University of Toronto(多伦多大学)
本文提出并验证了因果Transformer无需位置编码即可通过邻近嵌入相似性存储位置信息的假设,并证明该模式在训练和随机初始化模型中均会出现。
2024-12-30 cs.CL cs.LG
LayerNorm Induces Recency Bias in Transformer Decoders
KAIST(韩国科学技术院);Microsoft Research(微软研究院)
研究揭示Transformer解码器中层归一化与自注意力机制相互作用导致近期偏差的机制,分析残差连接和输入嵌入分布的影响,提出改进位置编码的新思路。
2026-04-20 cs.CL cs.LG
Fourier Position Embedding: Enhancing Attention's Periodic Extension for Length Generalization
Tsinghua University(清华大学);Northeastern University(东北大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Jiaotong University(上海交通大学)
本文揭示了语言模型各部分对长度泛化的不利影响,基于离散信号处理理论提出 Fourier Position Embedding (FoPE),通过构造 Fourier Series 并将破坏性频率成分置零来增强注意力的频域特性,显著提升了模型的周期性扩展和长度泛化能力。
2025-07-14 cs.AI cs.CL
TidalDecode: Fast and Accurate LLM Decoding with Position Persistent Sparse Attention
Carnegie Mellon University(卡内基梅隆大学)
针对大语言模型解码阶段KV缓存内存瓶颈及现有稀疏注意力的两大局限,提出TidalDecode算法,利用层间token空间连贯性,通过少量全注意力层选token、其余层用预选token做稀疏注意力,在保证生成质量的同时最高降低2.1倍解码延迟。
2024-10-07 cs.AI cs.CL cs.LG
KERPLE: Kernelized Relative Positional Embedding for Length Extrapolation
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
相对位置嵌入(RPE)受到了相当大的关注,因为RPE有效地模拟了令牌之间的相对距离,并实现了长度外推。我们提出了KERPLE,一个框架,概括了相对位置嵌入外推核位置差异。我们使用条件正定(CPD)内核实现这一目标,这是一类用于推广距离度量的函数。为了保持自注意的内积解释,我们表明,CPD内核可以通过添加一个恒定的偏移量转化为PD内核。这种偏移在自我注意期间被隐含地吸收在Softmax归一化中。CPD内核的多样性使我们能够推导出各种RPE,这些RPE以原则性的方式实现长度外推。实验表明,对数变体在三个大型语言建模数据集上实现了良好的外推性能。我们的实现和预先训练的检查点在https://github.com/chijames/KERPLE.git上发布。
2022-10-13 cs.CL cs.LG
Causal Attention with Lookahead Keys
Princeton University(普林斯顿大学)
本文提出 CASTLE 注意力机制,通过随上下文更新的前瞻键融入后续 token 信息,同时保持自回归性,并利用数学等价实现并行训练,在语言建模和下游任务上优于标准因果注意力。
2025-09-29 cs.CL cs.LG
Source Code Summarization with Structural Relative Position Guided Transformer
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);The Chinese University of Hong Kong(香港中文大学)
源代码摘要旨在为程序设计语言生成简洁明了的自然语言描述。编写良好的代码摘要有利于程序员参与软件开发和维护过程。为了学习源代码的语义表示,最近的努力集中在将代码的语法结构合并到神经网络(如Transformer)中。这种基于变换器的方法可以比包括递归神经网络(RNN)的其他神经网络更好地捕获长程依赖性,然而,它们中的大多数没有考虑令牌之间的结构相对相关性,例如,抽象树(AST)中的相对位置,这有利于代码语义学习。为了对结构依赖性进行建模,我们提出了一种结构相对位置引导的Transformer,命名为STRT。该算法首先通过解析源代码的AST来获得标记之间的结构相对位置,然后将其传递给两种类型的Transformer编码器。一个Transformer根据结构相对距离直接调整输入,另一个Transformer在计算自我注意分数时对结构相对位置进行编码。最后,我们堆叠这两种类型的Transformer编码器来学习源代码的表示。实验结果表明,该方法在BLEU、ROUGE-L和METEOR三种测试数据集上的性能分别比现有方法提高了1.6%、1.4%和2.8%。我们进一步表明,如何建议的CRAFT捕获的结构相对依赖关系。
2022-02-14 cs.CL cs.SE
Multi-head or Single-head? An Empirical Comparison for Transformer Training
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
多头注意力在最近Transformer模型的成功中起着至关重要的作用,这导致了在各种应用中相对于传统注意力的一致性能改进。普遍的看法是,这种有效性源于共同参加多个职位的能力。在本文中,我们首先证明,共同出席多个位置是不是一个独特的特点,多头注意力,作为多层次的单头注意也出席多个位置,更有效。然后,我们认为多头注意力的主要优点是训练的稳定性,因为它具有较少的层数比单头注意,当出席相同数量的位置。例如,24层16头Transformer(BERT-large)和384层单头Transformer的总关注头数相同,模型尺寸大致相同,而多头的要明显浅一些。同时,我们表明,随着深度学习的最新进展,我们可以成功地稳定384层Transformer的训练。由于训练难度不再是瓶颈,因此更深的单头Transformer实现了一致的性能改进,而无需调整超参数。
2021-06-17 cs.CL cs.LG
A Simple and Effective Positional Encoding for Transformers
Google Research(谷歌研究院)
Transformer模型是置换等变的。为了提供输入标记的顺序和类型信息,位置和段嵌入通常被添加到输入中。最近的工作提出了具有实现更好性能的相对位置编码的位置编码的变型。我们的分析表明,增益实际上来自于将位置信息从输入移动到注意层。受此启发,我们引入了Transformers的去耦位置注意力(DIET),这是一种简单而有效的机制,可以将位置和分段信息编码到Transformer模型中。所提出的方法具有更快的训练和推理时间,同时在GLUE,XTREME和WMT基准测试中获得了有竞争力的性能。我们进一步推广我们的方法,远程Transformers和性能增益。
2021-11-03 cs.CL cs.LG
Attention Calibration for Position-Fair Dense Retrieval
Department of Computational Linguistics University of Zurich(计算语言学系苏黎世大学)
针对密集检索模型的位置偏差问题,提出在推理时通过注意力校准(引入强度系数λ插值原始与完全校准分布)来提升位置公平性,无需重新训练且不牺牲整体检索效果,在多个数据集和模型上验证了部分校准优于完全校准,并提供了默认配置。
2026-09-16 cs.AI cs.CL cs.IR
On the token distance modeling ability of higher RoPE attention dimension
Tsinghua University(清华大学);Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信AI模式识别中心)
本文通过维度级分析发现长度外推模型中存在专注于长距离依赖的“位置头”,并证明其高维注意力分配扩展与长度外推效率相关,为长文本理解提供新视角。
2024-10-21 cs.AI cs.CL
Segmental Attention Decoding With Long Form Acoustic Encodings
AppleUSA(苹果公司)
本文提出改进注意力解码器以处理长形式音频编码,通过引入显式位置编码、扩展上下文训练、段拼接和语义分段,实现自回归解码。
2025-12-16 cs.CL eess.AS
Multi-Head Attention with Disagreement Regularization
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);University of Macau(澳门大学)
多头注意力要求能够在不同位置共同注意来自不同表示子空间的信息。在这项工作中,我们引入了一个不一致的正则化,明确鼓励多个注意头之间的多样性。具体来说,我们提出了三种类型的分歧正则化,分别鼓励子空间,参加的位置,并与每个注意头的输出表示是不同的,从其他头。在广泛使用的WMT 14英-德和WMT 17汉英翻译任务上的实验结果证明了该方法的有效性和通用性。
2018-10-24 cs.AI cs.CL
Shifting Mechanisms: How Positional Encoding Choice Shapes In-Context Retrieval
Cornell University(康奈尔大学)
本研究通过机制性分析揭示,位置编码选择(如RoPE与混合PE)会改变语言模型上下文内检索的内部机制,从位置检索转向语义检索,并带来多目标检索增益但损害竞争键区分。
2026-10-01 cs.CL cs.LG
CoCA: Fusing Position Embedding with Collinear Constrained Attention in Transformers for Long Context Window Extending
Ant Group(蚂蚁集团)
本文提出 CoCA 共线约束注意力,通过在 $Q$、$K$ 间加入共线约束融合 RoPE 与自注意力,以低成本实现超长上下文外推,并在 GPT 与 LLaMA-7B 上验证可达 32K。
2024-02-28 cs.AI cs.CL cs.LG
Eliminating Position Bias of Language Models: A Mechanistic Approach
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Harvard University(哈佛大学);Texas A&M University(德克萨斯农工大学)
本文通过机制分析将语言模型的位置偏差归因于因果注意力和相对位置编码,提出无需训练的零样本方法PINE,将文档间因果注意力改为双向注意力并利用注意力值决定文档顺序,实现文档级位置不变推理,在多项下游任务中显著提升性能与可靠性。
2025-03-31 cs.CL cs.LG
Benchmarking Rotary Position Embeddings for Automatic Speech Recognition
AI Center, Samsung Cambridge, UK(三星人工智能中心,英国坎特伯雷)
本研究针对自动语音识别领域中相对位置嵌入复杂度高、适配性差的问题,评估了旋转位置嵌入(RoPE)在多场景多数据规模下的表现,证明其效果更优且训练速度更快。
2025-06-15 cs.AI cs.CL eess.AS