Text Compression-aided Transformer Encoding
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology（国立信息通信技术研究所）
文本编码是自然语言处理（NLP）中最重要的步骤之一。在当前最先进的Transformer编码器中，自注意力机制已经做得很好，这为许多NLP任务的性能带来了显着的改进。虽然Transformer编码器可以有效地捕获一般信息，在其产生的表示，骨干信息，意思是输入文本的要点，是不是特别focusedon.In本文中，我们提出了显式和隐式的文本压缩方法，以提高Transformer编码和评估模型使用这种方法在几个典型的下游任务，严重依赖于编码。我们的显式文本压缩方法使用专用模型来压缩文本，而我们的隐式文本压缩方法只是在主模型中添加了一个额外的模块来处理文本压缩。我们提出了三种集成方式，即骨干源端融合，目标端融合，双方融合，集成的骨干信息到基于transformer的模型，为各种下游任务。我们对基准数据集的评估表明，与强基线相比，所提出的显式和隐式文本压缩方法改善了结果。因此，我们得出结论，当将编码与基线模型进行比较时，文本压缩有助于编码器学习更好的语言表示。
2021-02-11 cs.CL
Cluster-Former: Clustering-based Sparse Transformer for Long-Range Dependency Encoding
Microsoft Corporation（微软公司）
Transformer在深度学习领域已经变得无处不在。决定其成功的关键因素之一是自我注意力机制，它允许在输入标记上进行完全连接的上下文编码。然而，尽管它在建模短序列时有效，但当处理具有极长范围依赖性的输入时，自我注意力会受到影响，因为其复杂性相对于序列长度呈二次增长。因此，长序列通常由Transformer使用滑动窗口以块的形式编码。在本文中，我们提出了一种新的基于聚类的稀疏Transformer，以执行跨块序列的注意力。该框架基于两种独特的Transformer层：滑动窗口层和前处理层，它们联合迭代地编码局部序列信息和全局上下文。这种新设计允许在本地窗口之外进行信息集成，这对于依赖于远程依赖关系的问答（QA）任务尤其有益。实验表明，在几个主要的QA基准测试中，该算法达到了最先进的性能。
2021-06-07 cs.CL
Linearized Relative Positional Encoding
Shanghai AI Laboratory（上海人工智能实验室）；Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）；The University of Hong Kong（香港大学）
本研究针对线性Transformer缺乏适用相对位置编码设计原则的问题，整合现有方法并通过酉变换提出LRPE编码族，在多项任务中取得最优性能，提供了通用设计范式。
2023-07-18 cs.CL
Distance generalization in transformers: why bother with positional encoding?
Institute for Theoretical Physics, Goethe University Frankfurt（法兰克福大学理论物理研究所）
本文研究Transformer在固定上下文长度下对未见词元间距离的泛化能力，通过合成延迟复制任务，探讨位置编码、数据多样性及迁移学习正负性，强调理解底层机制的重要性。
2026-09-11 cs.CL
On the Encoding of Gender in Transformer-based ASR Representations
Saarland University（萨尔大学）
本研究针对Transformer架构的Wav2Vec2和HuBERT两种ASR模型，探究其隐表征中的性别编码机制，通过线性擦除验证了可在不明显影响识别性能的前提下移除各层性别信息，且性别信息集中在末层首尾帧，为构建性别中立的ASR嵌入提供了依据。
2024-06-14 cs.CL
Length Generalization of Causal Transformers without Position Encoding
School of Computer Science, East China Normal University（华东师范大学计算机科学学院）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；International Human Phenome Institutes, Shanghai（国际人类表型组研究院（上海））；Shanghai AI Lab（上海人工智能实验室）；Institute of Modern Languages and Linguistics, Fudan University（复旦大学现代语言与语言学研究所）
本文研究无位置编码（NoPE）的因果Transformer的长度泛化问题，发现其失败与注意力分散有关，并提出参数高效的温度超参数调优方法，显著扩展上下文长度，在长序列任务上取得与最先进算法竞争的性能。
2024-05-28 cs.CL
Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Toronto（多伦多大学）
本文提出并验证了因果Transformer无需位置编码即可通过邻近嵌入相似性存储位置信息的假设，并证明该模式在训练和随机初始化模型中均会出现。
2024-12-30 cs.CL cs.LG
Brain encoding models based on multimodal transformers can transfer across language and vision
UT Austin（德克萨斯大学奥斯汀分校）；Intel Labs（英特尔实验室）；UCLA（加州大学洛杉矶分校）
本研究利用多模态transformers的表示训练脑编码模型，发现其能跨语言和视觉模态迁移以预测fMRI大脑反应，揭示了大脑多模态概念处理的共享语义维度。
2023-05-20 cs.CL cs.CV
A Simple and Effective Positional Encoding for Transformers
Google Research（谷歌研究院）
Transformer模型是置换等变的。为了提供输入标记的顺序和类型信息，位置和段嵌入通常被添加到输入中。最近的工作提出了具有实现更好性能的相对位置编码的位置编码的变型。我们的分析表明，增益实际上来自于将位置信息从输入移动到注意层。受此启发，我们引入了Transformers的去耦位置注意力（DIET），这是一种简单而有效的机制，可以将位置和分段信息编码到Transformer模型中。所提出的方法具有更快的训练和推理时间，同时在GLUE，XTREME和WMT基准测试中获得了有竞争力的性能。我们进一步推广我们的方法，远程Transformers和性能增益。
2021-11-03 cs.CL cs.LG
Cyberbullying detection across social media platforms via platform-aware adversarial encoding
Queen Mary University of London（伦敦玛丽女王大学）
尽管人们对网络欺凌检测的兴趣越来越大，但现有的努力在很大程度上仅限于在单一平台上进行实验，并且它们在不同社交媒体平台上的普遍性受到的关注较少。我们提出了XP-CB，一种基于Transformers和对抗学习的新型跨平台框架。XP-CB可以增强Transformer，利用来自源平台和目标平台的未标记数据来提出公共表示，同时防止特定于平台的训练。为了验证我们提出的框架，我们通过六个跨平台的配置，从三个不同的平台上的网络欺凌数据集进行实验，显示其有效性与BERT和RoBERTa作为底层的Transformer模型。
2022-04-01 cs.CL
Transformer with Tree-order Encoding for Neural Program Generation
TU Dresden（德累斯顿工业大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
虽然相当多的语义解析方法已经将RNN架构用于代码生成任务，但只有很少的尝试来研究Transformers在此任务中的适用性。包括底层程序设计语言语法的分层信息已被证明对于代码生成是有效的。由于Transformer的位置编码只能表示平面序列中的位置，因此我们扩展了编码方案，以允许注意力机制也关注输入中的分层位置。此外，我们还实现了一个基于限制性文法图模型的解码器，以提高生成的准确性，并确保生成代码的良好格式。虽然我们没有超越最先进的技术，我们的研究结果表明，采用基于树的位置编码与共享的自然语言子词汇表相结合，提高了生成性能的顺序位置编码。
2022-05-30 cs.AI cs.CL
ExPe: Exact Positional Encodings for Generative Transformer Models with Extrapolating Capabilities
Faculty of Mathematics and Informatics, Sofia University St. Kliment Ohridski（数学与信息学系，索菲亚大学）；Graphwise
针对传统Transformer位置嵌入长序列外推能力不足的问题，提出精确位置嵌入ExPE，通过覆写嵌入向量特定维度编码精确位置信息，在因果语言建模长序列测试中显著降低困惑度，提升模型长序列泛化能力。
2025-09-23 cs.CL
Hierarchical GPT with Congruent Transformers for Multi-Sentence Language Models
School of Electrical Engineering, Korea Advanced Institute of Science and Technology（韩国科学技术院电气工程学院）；KI for Artificial Intelligence, Korea Advanced Institute of Science and Technology（韩国科学技术院人工智能研究所）
我们报告了一个基于GPT的多句子语言模型的对话生成和文档理解。首先，我们提出了一个分层的GPT，它由三个块组成，即，句子编码块、句子生成块和句子解码块。句子编码和解码块基本上是标准Transformers的编码器-解码器块，它们独立地处理每个句子。句子生成块被插入在编码块和解码块之间，并且从先前的句子嵌入向量生成下一个句子嵌入向量。我们认为这是人类进行对话和理解段落和文档的方式。由于每个句子可以由更少的单词组成，所以句子编码和解码Transformers可以使用小得多的维度嵌入向量。其次，我们注意到在Transformers中使用了内积相似性度量。因此，为了比较同一空间中的两个向量，我们将查询和键的转换矩阵设置为相同。否则，相似性概念是不一致的。我们报告的实验结果表明，这两个修改增加了语言模型的多个句子的任务的性能。
2020-09-18 cs.CL
Length Extrapolation of Transformers: A Survey from the Perspective of Positional Encoding
Harbin Institute of Technology（哈尔滨工业大学）；The University of Hong Kong（香港大学）；Peng Cheng Laboratory（鹏城实验室）；Du Xiaoman Financial (Beijing)（度小满金融（北京））
该综述针对Transformer模型长度外推能力不足的问题，从位置编码视角系统梳理了可外推位置编码及基于其的位置插值、随机位置等外推方法，并提出了该领域的挑战与未来方向。
2024-10-06 cs.CL
3D-RPE: Enhancing Long-Context Modeling Through 3D Rotary Position Encoding
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Beijing Wenge Technology Co. Ltd.（北京文阁科技有限公司）
本文受 Bloch Sphere 启发提出三维旋转位置编码 3D-RPE，通过可控长期衰减和更高位置分辨率增强长上下文建模，并在长上下文 NLU 与长序列 LM 任务上验证其优于 RoPE。
2024-06-14 cs.CL
AST-Transformer: Encoding Abstract Syntax Trees Efficiently for Code Summarization
Nanjing University（南京大学）；Saarland Informatics Campus（萨尔兰信息学园区）
代码摘要旨在为源代码生成简短的自然语言描述。由于源代码是高度结构化的，并且遵循严格的程序设计语言语法，因此通常利用其抽象树（AST）来通知编码器有关结构信息。然而，AST通常比源代码长得多。目前的方法忽略了大小限制，并简单地将整个线性化AST馈送到编码器中。为了解决这个问题，我们提出了AST-Transformer来有效地编码树结构的AST。实验结果表明，AST-变压器优于国家的艺术由一个相当大的保证金，同时能够降低$90\sim95\%$的计算复杂性在编码过程中。
2021-12-02 cs.CL cs.SE
Spherical Position Encoding for Transformers
Datategy SAS（Datategy SAS公司）
针对地理词元场景下序列位置不重要、需体现地理坐标相对关系的需求，提出基于适配球面坐标的RoPE架构的球面位置编码机制，可保持物理距离与嵌入空间距离的比例。
2023-10-04 cs.AI cs.CL
On the Interplay between Positional Encodings, Morphological Complexity, and Word Order Flexibility
NLP, Department of Computer Science, KU Leuven（自然语言处理，计算机科学系，鲁汶大学）
针对语言模型架构因先适配英语而可能对结构差异语言性能下降的问题，本文以位置编码为对象，结合形态复杂性与词序灵活性的权衡假设，通过7种语言的单语模型预训练与4项下游任务评估，发现位置编码与该权衡无明确相互作用，强调任务、语言和指标选择对结论稳定性的重要性。
2025-11-11 cs.CL
Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling
本技术综述梳理 Transformer 各类位置编码方法，推导 RoPE 原理并对比不同方法特性，研究长上下文扩展方案，明确长上下文泛化能力需多任务评估。
2026-08-12 cs.CL
TableFormer: Robust Transformer Modeling for Table-Text Encoding
Georgia Institute of Technology（佐治亚理工学院）；Google Assistant（谷歌助手）
表格理解是自然语言理解的一个重要方面。现有的表格理解模型需要表格结构的线性化，其中行或列顺序被编码为不必要的偏差。这种虚假的偏见使模型容易受到行和列顺序扰动。此外，以前的工作没有彻底建模的表结构或表文本对齐，阻碍了表文本的理解能力。在这项工作中，我们提出了一个强大的和结构感知的表格文本编码架构TableFormer，表格结构偏见完全通过学习的注意力偏见。TableFormer（1）严格不改变行和列的顺序，（2）由于其表格归纳偏差，可以更好地理解表格。我们的评估表明，TableFormer在SQA，WTQ和TabFact表推理数据集的所有设置中均优于强基线，并在SQA上实现了最先进的性能，特别是在面对答案不变的行和列顺序扰动时（比最佳基线提高6%），因为以前的SOTA模型在面对此类扰动时性能下降4% - 6%，而TableFormer不受影响。
2022-05-03 cs.CL
Pushdown Layers: Encoding Recursive Structure in Transformer Language Models
Stanford University（斯坦福大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出下推层，通过栈带跟踪递归深度并调制注意力，使Transformer在保持困惑度的同时实现3-5倍更高效的句法泛化，并可直接替换标准自注意力。
2023-10-29 cs.CL
A Transformer-based joint-encoding for Emotion Recognition and Sentiment Analysis
Information, Signal and Artificial Intelligence Lab（信息、信号与人工智能实验室）；University of Mons（蒙斯大学）
理解所表达的情感和情绪是人类多模态语言的两个关键因素。本文描述了一种基于转换器的联合编码（TBJE）的任务，情感识别和情感分析。除了使用Transformer架构之外，我们的方法还依赖于模块化的共同关注和一瞥层来联合编码一个或多个模态。提出的解决方案也已提交给ACL 20：第二次多模态语言大挑战，将在CMU-MOSEI数据集上进行评估。复制所呈现实验的代码是开源的：https://github.com/jbdel/MOSEI_UMONS。
2020-06-29 cs.CL cs.HC cs.LG
Verb Conjugation in Transformers Is Determined by Linear Encodings of Subject Number
New York University（纽约大学）
本文通过因果干预分析证明，BERT的动词变位能力依赖于主语数的线性可解释编码，该编码在不同网络层中呈现位置分布差异。
2023-10-23 cs.AI cs.CL cs.LG
Encoding Agent Trajectories as Representations with Sequence Transformers
Systems & Technology Research (STR)（系统与技术研究公司（STR））
提出STARE模型，利用Transformer将高维时空轨迹编码为离散位置序列，通过监督与自监督任务学习表示，在合成与真实数据上验证了其在下游任务及智能体与位置关系学习中的有效性。
2024-10-11 cs.AI cs.CL cs.LG
Fusion Matters: Length-Aware Analysis of Positional-Encoding Fusion in Transformers
School of Computer Science and Technology（计算机科学与技术学院）；Harbin Institute of Technology（哈尔滨工业大学）
本文研究了Transformer中位置编码融合机制对长序列性能的影响，发现融合策略的选择对长文档有显著提升，且提出了轻量级卷积门控机制以增强模型效果。
2026-01-09 cs.CL cs.LG
Randomized Positional Encodings Boost Length Generalization of Transformers
DeepMind（深度思维（DeepMind））
本文提出随机化位置编码方案，通过模拟更长序列位置并随机选取有序子集，解决Transformer在长度泛化上的分布外问题，在15个算法推理任务上平均提升测试准确率12.0%。
2023-05-26 cs.AI cs.CL cs.LG
Transformer Language Models without Positional Encodings Still Learn Positional Information
Tel Aviv University（特拉维夫大学）；University of Washington（华盛顿大学）；Intel Labs（英特尔实验室）；Meta AI
因果Transformer语言模型（LM），例如GPT-3，通常需要某种形式的位置编码，例如位置嵌入。然而，我们表明，没有任何明确的位置编码的LM仍然与标准模型竞争，并且这种现象在不同的数据集，模型大小和序列长度上是鲁棒的。探测实验表明，这种模型在整个网络中获得了绝对位置的隐含概念，有效地补偿了丢失的信息。我们推测，因果注意力使模型能够推断出每个标记可以注意的前任的数量，从而近似其绝对位置。我们的研究结果表明，因果性LMs可能不仅从外显定位机制中获得位置意识，而且还从因果性面具的影响中获得位置意识。
2022-12-05 cs.AI cs.CL cs.LG
PermuteFormer: Efficient Relative Position Encoding for Long Sequences
Peking University（北京大学）
Transformer，Performer的最新变体使用线性注意力机制将Transformer扩展到更长的序列。然而，它与相对位置编码不兼容，相对位置编码优于绝对位置编码。在本文中，我们讨论了可能的方式来添加相对位置编码的表演者。基于分析，我们提出了PermuteFormer，一个基于性能的模型，具有相对位置编码，在长序列上线性缩放。PermuteFormer对查询和键应用位置相关的转换，将位置信息编码到attention模块中。这种转换是精心制作的，因此自我注意的最终输出不受标记的绝对位置的影响。PermuteFormer通过设计引入了可以忽略的计算开销，其运行速度与Performer一样快。我们评估PermuteFormer的长距离竞技场，长序列的数据集，以及WikiText-103，语言建模数据集。实验结果表明，PermuteFormer在几乎没有计算开销的情况下均匀地提高了Performer的性能，并且在大多数任务上的性能优于vanilla Transformer。
2021-09-08 cs.CL cs.LG
Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding
注意力模块是Transformer中的重要组成部分，由于其二次复杂度，无法有效地扩展到长序列。许多工作集中在近似原始注意力中的点然后取幂softmax函数，导致次二次甚至线性复杂度的Transformer架构。然而，我们表明，这些方法不能应用于更强大的注意力模块，超越了点然后指数风格，例如，具有相对位置编码（RPE）的Transformers。由于在许多最先进的模型中，相对位置编码被用作默认值，因此设计可以包含RPE的高效Transformers是有吸引力的。在本文中，我们提出了一种新的方法来加速Transformers的注意力计算与RPE的核心化的注意力。基于相对位置编码形成Toeplitz矩阵的观察，我们在数学上表明，使用快速傅立叶变换（FFT）可以有效地计算具有RPE的核化注意。通过FFT，我们的方法达到了$\mathcal{O}(n\log n)$的时间复杂度。有趣的是，我们进一步证明，正确使用相对位置编码可以减轻香草核化注意力的训练不稳定性问题。在广泛的任务中，我们的经验表明，我们的模型可以从头开始训练，没有任何优化问题。学习模型的性能优于许多高效的Transformer变体，并且在长序列状态下比标准Transformer更快。
2021-11-03 cs.CL cs.LG stat.ML
What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
National Taiwan University（台湾大学）
近年来，预先训练的Transformers已经主导了大多数NLP基准测试任务。许多经过预先训练的Transformers变体不断爆发，大多数都专注于设计不同的预先训练目标或自我注意力的变体。在自我注意力机制中嵌入位置信息也是Transformers中不可或缺的因素，但经常被随意讨论。因此，本文对主流的预训练Transformers的职位嵌入进行了实证研究，主要关注两个问题：1）职位嵌入是否真的学习了职位的含义？2)这些不同的学习位置嵌入如何影响NLP任务的Transformers？本文旨在通过对大多数标志性NLP任务的特征级分析和实证实验，为预训练位置嵌入提供新的见解。相信我们的实验结果可以指导未来的工作，选择合适的位置编码功能，为特定的任务给定的应用属性。
2020-10-10 cs.AI cs.CL
The Impact of Positional Encoding on Length Generalization in Transformers
Mila, McGill University（米拉-麦吉尔大学）；IBM Research（IBM研究院）；Facebook CIFAR AI Chair（Facebook CIFAR AI主席）；ServiceNow Research（ServiceNow研究院）
该研究通过实证对比五种位置编码方案在仅解码器Transformer上的长度泛化表现，发现无位置编码方案性能更优且无需额外计算，同时指出草稿板对长度泛化的作用不稳定，证明显式位置嵌入并非长序列泛化的必需条件。
2023-11-06 cs.AI cs.CL cs.LG
SEE: Sememe Entanglement Encoding for Transformer-bases Models Compression
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Beijing Wenge Technology Co., Ltd（北京文格科技有限公司）
提出SEE算法，利用专家先验知识和低秩近似及量子纠缠思想压缩Transformer模型，在降低参数与计算成本的同时保持稳定性能。
2024-12-15 cs.AI cs.CL cs.LG
Relative Positional Encoding for Transformers with Linear Complexity
Inria（法国国家信息与自动化研究所）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）；Research Center for IT Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Taiwan AI Labs（台湾人工智能实验室）；PSL Research University（巴黎文理研究大学）；École Normale Supérieure（巴黎高等师范学院）
由于线性空间和时间复杂度，Transformer模型的最新进展允许前所未有的序列长度。与此同时，相对位置编码（RPE）被认为对经典的Transformers是有益的，并且包括利用滞后而不是绝对位置进行推理。尽管如此，RPE不适用于Transformer的最近线性变体，因为它需要显式计算注意力矩阵，而这正是这些方法所避免的。在本文中，我们弥合这一差距，并提出随机位置编码作为一种方式来产生PE，可以用作替代经典的加法（正弦）PE和可证明的行为像RPE。主要的理论贡献是使位置编码和相关高斯过程的互协方差结构之间的连接。我们说明了我们的方法在远程竞技场基准和音乐生成的性能。
2021-06-10 cs.CL cs.LG cs.SD
ZetaGPT: A Reference Implementation of Positional--Encoding--Free State--Space--Attention Language Models
University of Galway（戈尔韦大学）
ZetaGPT是首款无显式位置编码的开源小型语言模型，它将因果状态空间方程与自注意力结合，提供全开源训练流水线，为无位置编码语言模型的研究提供紧凑可复现的参考实现。
2026-08-11 cs.AI cs.CL
KPE: Keypoint Pose Encoding for Transformer-based Image Generation
University of Surrey（萨里大学）
Transformers最近被证明可以从文本输入生成高质量的图像。然而，现有的使用骨架图像标记的姿态调节方法在计算上是低效的并且生成低质量的图像。因此，我们提出了一种新的方法;关键点姿势编码（KPE）; KPE的内存效率提高了10倍，并且在从以姿势为条件的文本输入生成高质量图像时速度提高了73%以上。姿态约束提高了图像质量，并减少了身体四肢（如手臂和腿）上的误差。额外的好处包括对目标图像域和图像分辨率的变化的不变性，使其易于扩展到更高分辨率的图像。我们通过从DeepFashion数据集生成逼真的多人图像来展示KPE的多功能性。我们还介绍了一种评价方法人数错误（PCE），这是有效的检测错误生成的人体图像。
2022-10-06 cs.AI cs.CL cs.CV
Segatron: Segment-Aware Transformer for Language Modeling and Understanding
University of Waterloo（滑铁卢大学）；Peking University（北京大学）
Transformers对于序列建模非常强大。几乎所有最先进的语言模型和预训练的语言模型都基于Transformer架构。但是，它仅通过标记位置索引来区分连续标记。我们假设，更好的上下文表示可以从具有更丰富的位置信息的Transformer生成。为了验证这一点，我们提出了一个段感知的Transformer（Segatron），通过替换原来的令牌位置编码与段落，句子和令牌的组合位置编码。我们首先将段感知机制引入到Transformer-XL，这是一种流行的基于transformer的语言模型，具有内存扩展和相对位置编码。我们发现，我们的方法可以进一步改善Transformer-XL基础模型和大模型，在WikiText-103数据集上实现17.1困惑度。我们进一步研究了Segatron的预训练掩蔽语言建模任务。实验结果表明，使用Segatron（SegaBERT）预训练的BERT在各种NLP任务上的性能优于使用vanilla Transformer的BERT，在zero-shot句子表示学习上的性能优于RoBERTa。
2020-12-15 cs.CL cs.LG
Language Modeling with Deep Transformers
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
我们探索深度自回归Transformer模型在语音识别语言建模中的应用。我们重点关注两个方面。首先，我们回顾专门用于语言建模的Transformer模型配置。我们发现，基于LSTM递归神经网络层的浅栈，配置良好的Transformer模型优于我们的基线模型。我们在开源LibriSpeech 960 hr任务上进行了实验，用于200 K词汇单词级和10 K字节对编码子单词级语言建模。我们应用我们的词级模型，传统的混合语音识别的格重评分，和子词级模型的注意基于编码器-解码器模型的浅层融合。其次，我们证明了深度Transformer语言模型不需要位置编码。位置编码是自我注意力机制的一种重要的增强机制，它对序列排序是不变的。然而，在自回归设置中，就像语言建模的情况一样，信息量沿着位置维度增加，这本身就是一个位置信号。对注意权重的分析表明，深度自回归自注意模型可以自动利用这种位置信息。我们发现，删除位置编码，甚至略有改善这些模型的性能。
2019-07-11 cs.CL cs.LG
On the Geometry of Positional Encodings in Transformers
Laboratoire LTI, Université de Picardie Jules Verne（皮卡第儒勒·凡尔纳大学LTI实验室）
本文探讨了变换器中位置编码的几何特性，通过理论推导证明了位置编码在解决顺序敏感任务中的必要性，并提出基于Hellinger距离的MDS方法优化编码质量。
2026-04-06 cs.CL cs.LG
A text autoencoder from transformer for fast encoding language representation
Nanyang Technological University（南洋理工大学）
近年来，BERT在自然语言处理任务中显示出明显的优势和巨大的潜力。然而，无论是训练还是应用BERT都需要大量的时间和资源来计算上下文语言表示，这阻碍了它的通用性和适用性。为了克服这一瓶颈，我们提出了一个深度双向语言模型，在注意层使用窗口掩蔽机制。这项工作计算上下文语言表示没有随机掩蔽在BERT，并保持像BERT深双向架构。为了计算相同的句子表示，我们的方法显示O（n）的复杂度低于其他基于转换器的模型O（$n^2$）。为了进一步证明其优越性，在CPU环境下进行计算上下文语言表示，通过使用所提出的方法的嵌入，逻辑回归在SMS分类方面显示出更高的准确性。此外，所提出的方法在语义相似性任务中也取得了显着的更高性能。
2021-11-04 cs.AI cs.CL
Contextual Position Encoding: Learning to Count What's Important
FAIR at Meta（Meta FAIR实验室）
针对现有位置编码无法泛化到句子等高抽象层级的问题，提出上下文位置编码（CoPE），通过模型决定的特定token递增位置，实现更通用的位置寻址，在多项任务上克服了传统方法的失败并改善了困惑度。
2024-05-30 cs.AI cs.CL
LAIT: Efficient Multi-Segment Encoding in Transformers with Layer-Adjustable Interaction
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出LAIT框架，将分段输入先独立编码再联合编码，把预训练Transformer转换为双塔与全自注意力混合架构，在保持高准确率的同时减少30-50%注意力FLOPs并显著降低实际延迟。
2023-05-31 cs.CL cs.LG
Position-aware Self-attention with Relative Positional Encodings for Slot Filling
Center for Information and Language Processing（信息与语言处理中心）；Ludwig Maximilian University of Munich（慕尼黑大学）
本文介绍了如何将自注意与相对位置编码的任务的关系抽取。我们建议使用自注意编码器层与一个额外的位置感知注意层，考虑到查询和对象在句子中的位置。自注意编码器还使用相对位置编码的自定义实现，该相对位置编码允许句子中的每个单词考虑其左右上下文。该模型的评估是在TACRED数据集上完成的。所提出的模型仅依赖于注意力（不使用递归层或卷积层），同时提高了w.r.t.以前的艺术状态。
2018-07-09 cs.AI cs.CL cs.LG
Beyond Sinusoids: A Morlet Wavelet Framework for Transformer Positional Encoding
Independent Researcher（独立研究者）；Athens, Greece（希腊雅典）
提出Morlet位置编码（MoPE），通过可学习的频率和局部带宽统一了正弦位置编码和旋转位置编码，并在TinyShakespeare上结合能量门控注意力提升了0.119的性能。
2026-05-31 cs.CL cs.LG eess.SP
Two Stones Hit One Bird: Bilevel Positional Encoding for Better Length Extrapolation
Peking University（北京大学）；ByteDance Inc（字节跳动公司）
本文提出 Bilevel Positional Encoding（BiPE），通过融合段内绝对位置编码与段间相对位置编码来解耦位置信息，从而提升 Transformer 在多种文本模态任务上的长度外推能力。
2024-06-17 cs.AI cs.CL cs.LG
Visio-Linguistic Brain Encoding
INRIA（法国国家信息与自动化研究所）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
实现有效的脑机接口需要了解人类大脑如何编码刺激跨模态，如视觉，语言（或文本）等。大脑编码的目的是构建功能磁共振成像大脑活动的刺激。存在过多的神经编码模型，它们研究单一模式刺激的大脑编码：视觉（预训练的CNN）或文本（预训练的语言模型）。最近的一些论文也获得了单独的视觉和文本表示模型，并使用简单的算法进行后期融合。然而，以前的工作未能探索：（a）图像Transformer模型编码视觉刺激的有效性，以及（b）视觉和文本推理的共同关注多模态建模。在本文中，我们系统地探讨了图像Transformers（ViT，DEiT和BEiT）和多模态Transformers（VisualBERT，LXMERT和CLIP）对大脑编码的有效性。在两个流行的数据集BOLD 5000和Pereira上进行的广泛实验提供了以下见解。(1)据我们所知，我们是第一个调查图像和多模态Transformers的大脑编码的有效性。(2)我们发现，VisualBERT，多模态Transformer，显着优于以前提出的单模CNN，图像Transformers以及其他以前提出的多模态模型，从而建立新的国家的最先进的。至高无上的语言模型提出了一个问题，即使被动地观看图像的视觉区域引起的反应是否隐含的语言处理的影响。未来的fMRI任务可以在适当的实验环境中验证这种计算洞察力。
2022-04-18 cs.AI cs.CL cs.CV
Why Are Positional Encodings Nonessential for Deep Autoregressive Transformers? Revisiting a Petroglyph
Harvard University（哈佛大学）
本文重温并解释了为何多层自回归 Transformer 无需显式位置编码即可区分序列顺序，指出该特性早在 GPT-2 时期已被发现但未获广泛传播，旨在将其重新确立为常识。
2025-05-30 cs.CL cs.LG
PoPE: Legendre Orthogonal Polynomials Based Position Encoding for Large Language Models
Airtel Africa Digital Labs（Airtel非洲数字实验室）
针对正弦位置编码在高维表示上的局限，本文提出基于勒让德正交多项式的 PoPE，并在 Multi30k 翻译任务中验证其性能与收敛优势。
2024-04-29 cs.AI cs.CL cs.LG
Rethinking Positional Encoding in Language Pre-training
Microsoft Research（微软研究院）
在这项工作中，我们研究了用于语言预训练的位置编码方法（例如，BERT）并识别现有公式中的几个问题。首先，我们证明了在绝对位置编码中，位置嵌入和词嵌入上的加法运算带来了两个异构信息资源之间的混合相关性。它可能会在注意力上带来不必要的随机性，并进一步限制模型的表达能力。第二，我们质疑，考虑到符号\texttt{[CLS]}在下游任务中的特殊作用（代表整个句子），将符号的位置与其他单词相同是否是一个合理的设计。基于上述分析，我们提出了一种新的位置编码方法--\textbf{T} transformer with \textbf{U} ntied \textbf{P} ositional \textbf{E} ncoding（TUPE）.在自注意模块中，TUPE分别计算了词的上下文相关度和位置相关度，并将它们相加。这种设计消除了异构嵌入上的混合和噪声相关性，并通过使用不同的投影矩阵提供了更多的表现力。此外，TUPE将\texttt{[CLS]}符号与其他位置分开，从而更容易从所有位置捕获信息。大量的实验和GLUE基准上的烧蚀研究证明了该方法的有效性。代码和模型在https://github.com/guolinke/TUPE上发布。
2021-03-15 cs.CL cs.LG
TransXSSM: A Hybrid Transformer State Space Model with Unified Rotary Position Embedding
HKUST (Guangzhou)（香港科技大学（广州））
针对Transformer与SSM混合模型中位置编码不兼容的问题，提出统一旋转位置嵌入方法，构建TransXSSM混合架构，在速度、准确率和扩展性上均优于基线模型。
2025-06-18 cs.AI cs.CL
Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Zhejiang University（浙江大学）；Princeton University（普林斯顿大学）
本文提出上下文化等变位置编码框架 TAPE，通过动态上下文感知的位置编码提升 Transformer 的寻址能力、长程依赖建模与推理性能，并在多项任务中验证其优越性。
2025-08-21 cs.CL cs.LG
