A Structural Theory of Position Bias in Transformers
University of Hamburg（汉堡大学）
本文通过残差感知累积注意力展开，提出一种结构理论解释因果Transformer中位置偏差的起源，并揭示残差连接如何改变无限深度下的注意力动力学，从而解释Lost-in-the-Middle现象。
2026-10-14 cs.LG
A Simple and Effective Positional Encoding for Transformers
Google Research（谷歌研究院）
Transformer模型是置换等变的。为了提供输入标记的顺序和类型信息，位置和段嵌入通常被添加到输入中。最近的工作提出了具有实现更好性能的相对位置编码的位置编码的变型。我们的分析表明，增益实际上来自于将位置信息从输入移动到注意层。受此启发，我们引入了Transformers的去耦位置注意力（DIET），这是一种简单而有效的机制，可以将位置和分段信息编码到Transformer模型中。所提出的方法具有更快的训练和推理时间，同时在GLUE，XTREME和WMT基准测试中获得了有竞争力的性能。我们进一步推广我们的方法，远程Transformers和性能增益。
2021-11-03 cs.CL cs.LG
A Unified Geometric Field Theory Framework for Transformers: From Manifold Embeddings to Kernel Modulation
针对Transformer核心组件缺乏统一物理或数学解释的问题，本文提出整合位置编码、核积分算子和注意力机制的几何场论框架，将离散位置映射到连续流形空间函数，为Transformer层提供核调制算子的场论解释。
2025-11-12 cs.LG
ESTformer: Transformer utilising spatiotemporal dependencies for electroencephalogram super-resolution
East China University of Science and Technology（东华大学）
提出ESTformer框架，基于Transformer利用时空依赖关系进行EEG超分辨率，通过级联空间插置与时间重建模块有效提升数据质量，在识别任务中实现显著性能提升。
2025-10-31 cs.LG eess.SP
Alternative positional encoding functions for neural transformers
Department of Computer Languages and Computer Science University of Málaga（计算机语言与计算机科学系马拉加大学）；Department of Systems Engineering and Automation University of Málaga（系统工程与自动化系马拉加大学）；ITIS Software. Universidad de Málaga（ITIS软件. 马拉加大学）
本文提出了一种替代的位置编码函数，以改进神经变换器的表现，实验显示其在某些情况下优于传统的正弦函数。
2025-12-22 cs.AI cs.LG
Segatron: Segment-Aware Transformer for Language Modeling and Understanding
University of Waterloo（滑铁卢大学）；Peking University（北京大学）
Transformers对于序列建模非常强大。几乎所有最先进的语言模型和预训练的语言模型都基于Transformer架构。但是，它仅通过标记位置索引来区分连续标记。我们假设，更好的上下文表示可以从具有更丰富的位置信息的Transformer生成。为了验证这一点，我们提出了一个段感知的Transformer（Segatron），通过替换原来的令牌位置编码与段落，句子和令牌的组合位置编码。我们首先将段感知机制引入到Transformer-XL，这是一种流行的基于transformer的语言模型，具有内存扩展和相对位置编码。我们发现，我们的方法可以进一步改善Transformer-XL基础模型和大模型，在WikiText-103数据集上实现17.1困惑度。我们进一步研究了Segatron的预训练掩蔽语言建模任务。实验结果表明，使用Segatron（SegaBERT）预训练的BERT在各种NLP任务上的性能优于使用vanilla Transformer的BERT，在zero-shot句子表示学习上的性能优于RoBERTa。
2020-12-15 cs.CL cs.LG
Generalized Attention Mechanism and Relative Position for Transformer
本文首先对Vaswani等人的自我注意力机制提出了一种新的解释，然后提出了广义注意力机制（GAM）。在解释之后，我们提供了对注意力机制的不同变体的描述，这些变体一起形成GAM。此外，我们提出了一个新的相对位置表示GAM的框架内。这种表示可以很容易地用于输入序列中彼此相邻的元素可以位于实际数据集/语料库中的随机位置的情况。
2022-07-24 cs.CL cs.LG
Position-Agnostic Pre-Projection for Transformer Attention: Nonlinear Feature Construction and Content Skip Before Q/K/V
Independent Researcher（独立研究员）
本文提出两种改进Transformer注意力机制的方法，通过非线性预投影MLP构建位置无关的丰富特征，并通过内容跳过连接绕过注意力机制，提升模型在Pythia-160M和410M上的表现，实现LAMBADA准确率提升40.6%和困惑度降低39%。
2026-04-12 cs.CL cs.LG
RoFormer: Enhanced Transformer with Rotary Position Embedding
Zhuiyi Technology Co., Ltd.（追一科技有限公司）
本文提出 RoPE 旋转位置嵌入，用旋转矩阵编码绝对位置并在自注意力中融入相对位置依赖，由此构建的 RoFormer 在长文本分类任务上持续优于对比方法。
2023-11-08 cs.AI cs.CL cs.LG
Language Modeling with Deep Transformers
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
我们探索深度自回归Transformer模型在语音识别语言建模中的应用。我们重点关注两个方面。首先，我们回顾专门用于语言建模的Transformer模型配置。我们发现，基于LSTM递归神经网络层的浅栈，配置良好的Transformer模型优于我们的基线模型。我们在开源LibriSpeech 960 hr任务上进行了实验，用于200 K词汇单词级和10 K字节对编码子单词级语言建模。我们应用我们的词级模型，传统的混合语音识别的格重评分，和子词级模型的注意基于编码器-解码器模型的浅层融合。其次，我们证明了深度Transformer语言模型不需要位置编码。位置编码是自我注意力机制的一种重要的增强机制，它对序列排序是不变的。然而，在自回归设置中，就像语言建模的情况一样，信息量沿着位置维度增加，这本身就是一个位置信号。对注意权重的分析表明，深度自回归自注意模型可以自动利用这种位置信息。我们发现，删除位置编码，甚至略有改善这些模型的性能。
2019-07-11 cs.CL cs.LG
Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors
York University（约克大学）
本文通过展开图平滑先验优化算法构建可解释轻量Transformer，用浅CNN学习图结构替代自注意力，大幅减少参数，并在图像插值中验证了性能与鲁棒性。
2024-11-05 cs.CV cs.LG eess.IV
MixUp Training Leads to Reduced Overfitting and Improved Calibration for the Transformer Architecture
MixUp是一种计算机视觉数据增强技术，它使用输入数据及其标签的凸插值来增强训练期间的模型泛化。然而，MixUp在自然语言理解（NLU）领域的应用受到了限制，因为很难直接在输入空间中插入文本。在这项研究中，我们提出了混合方法在输入，流形，句子嵌入水平的Transformer架构，并应用它们来微调BERT模型的一组不同的NLU任务。我们发现MixUp可以提高模型性能，并将测试损失和模型校准误差降低高达50%。
2021-02-22 cs.CL cs.LG
Fusion Matters: Length-Aware Analysis of Positional-Encoding Fusion in Transformers
School of Computer Science and Technology（计算机科学与技术学院）；Harbin Institute of Technology（哈尔滨工业大学）
本文研究了Transformer中位置编码融合机制对长序列性能的影响，发现融合策略的选择对长文档有显著提升，且提出了轻量级卷积门控机制以增强模型效果。
2026-01-09 cs.CL cs.LG
Positional Knowledge is All You Need: Position-induced Transformer (PiT) for Operator Learning
Southern University of Science and Technology（南方科技大学）；Shenzhen International Center for Mathematics（深圳国际数学中心）；National Center for Applied Mathematics Shenzhen (NCAMS)（深圳国家应用数学中心）
针对Transformer类算子学习计算成本高的问题，提出仅依赖采样位置空间关联的位置注意力机制及PiT模型，效率与性能优于现有先进神经算子，且离散收敛性更优。
2024-05-15 cs.LG cs.NA math.NA
Selective Rotary Position Embedding
ELLIS Institute Tübingen（图宾根埃利斯研究所）；LIONS, EPFL（日内瓦理工学院LIONS实验室）；University of Freiburg（弗赖堡大学）；Max-Planck-Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Prior Labs（Prior实验室）
本文提出选择性RoPE，一种输入依赖的旋转嵌入机制，适用于线性和softmax变压器，通过任意角度旋转提升语言建模和复杂序列任务性能。
2026-06-24 cs.CL cs.LG
LayerNorm Induces Recency Bias in Transformer Decoders
KAIST（韩国科学技术院）；Microsoft Research（微软研究院）
研究揭示Transformer解码器中层归一化与自注意力机制相互作用导致近期偏差的机制，分析残差连接和输入嵌入分布的影响，提出改进位置编码的新思路。
2026-04-20 cs.CL cs.LG
Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding
注意力模块是Transformer中的重要组成部分，由于其二次复杂度，无法有效地扩展到长序列。许多工作集中在近似原始注意力中的点然后取幂softmax函数，导致次二次甚至线性复杂度的Transformer架构。然而，我们表明，这些方法不能应用于更强大的注意力模块，超越了点然后指数风格，例如，具有相对位置编码（RPE）的Transformers。由于在许多最先进的模型中，相对位置编码被用作默认值，因此设计可以包含RPE的高效Transformers是有吸引力的。在本文中，我们提出了一种新的方法来加速Transformers的注意力计算与RPE的核心化的注意力。基于相对位置编码形成Toeplitz矩阵的观察，我们在数学上表明，使用快速傅立叶变换（FFT）可以有效地计算具有RPE的核化注意。通过FFT，我们的方法达到了$\mathcal{O}(n\log n)$的时间复杂度。有趣的是，我们进一步证明，正确使用相对位置编码可以减轻香草核化注意力的训练不稳定性问题。在广泛的任务中，我们的经验表明，我们的模型可以从头开始训练，没有任何优化问题。学习模型的性能优于许多高效的Transformer变体，并且在长序列状态下比标准Transformer更快。
2021-11-03 cs.CL cs.LG stat.ML
Transformers Can Learn Rules They've Never Seen: Proof of Computation Beyond Interpolation
Kortical
本文通过两个实验展示，Transformer 能够学习未在训练中直接观察到的规则结构，通过多步约束传播和符号推导，证明了其超越插值的能力。
2026-07-30 cs.LG
NIERT: Accurate Numerical Interpolation through Unifying Scattered Data Representations using Transformer Encoder
University of Chinese Academy of Sciences（中国科学院大学）；Zhongke Big Data Academy（中科大数据研究院）
散乱数据的插值问题是数值分析中的经典问题，在理论和实践上都有着悠久的历史。最近的进展利用深度神经网络来构造插值器，表现出优异的和可推广的性能。然而，它们仍然在两个方面不足：\textbf{1) inadequate representation learning}，由流行的编码器-解码器框架中的观察点和目标点的单独嵌入引起，以及\textbf{2) limited generalization power}，由忽略跨不同域共享的先前插值知识引起。为了克服这些局限性，我们提出了一种使用\textbf{E}编码器\textbf{R}表示\textbf{T}变换器（称为\textbf{NIERT}）的\textbf{N}数值\textbf{I}插值方法。一方面，NIERT利用仅编码器框架而不是编码器-解码器结构。通过这种方式，NIERT可以将观察点和目标点嵌入到统一的编码器表示空间中，从而有效地利用它们之间的相关性并获得更精确的表示。另一方面，我们建议在大规模综合数学函数上预训练NIERT以获得先验插值知识，并将其转移到具有一致性能增益的多个插值域。在合成和真实世界的数据集上，NIERT都比现有的方法有很大的优势，即，4.3 $\sim$ 14.3 $\times$降低TFRD子集的MAE，1.7/1.8/8.7 $\times$降低Mathit/PhysioNet/PTV数据集的MSE…
2023-03-14 cs.LG
Synthesizer Preset Interpolation using Transformer Auto-Encoders
University of Mons（蒙斯大学）；HE2B-ISIB Research Institute（HE2B-ISIB研究院）
声音合成器在现代音乐制作中很普遍，但它们越来越需要掌握专业技能。这项工作的重点是插值之间的，即，所有声音合成参数的值的集合，以使得能够从现有声音直观地创建新声音。我们介绍了一个双模态自动编码器神经网络，它同时处理使用多头注意力块和使用卷积的音频。该模型已在一个流行的频率调制合成器上进行了测试，有一百多个参数。实验将该模型与相关的架构和方法进行了比较，并证明了它执行更平滑的插值。训练后，所提出的模型可以集成到商业合成器中，用于现场插值或声音设计任务。
2023-03-09 cs.LG cs.SD eess.AS
Position Interpolation Improves ALiBi Extrapolation
Cerebras Systems（赛瑞博思系统公司）
本文提出利用线性位置插值扩展基于ALiBi模型的上下文外推范围，实验证明该方法在上游语言建模及下游摘要、检索任务上显著提升了长序列外推能力。
2023-10-18 cs.AI cs.CL cs.LG
Measure-to-measure interpolation using Transformers
本文提出了一种基于Transformer的测度到测度插值方法，通过显式参数选择实现对任意输入和目标测度的映射。
2026-02-13 cs.LG math.OC stat.ML
From Interpolation to Extrapolation: Complete Length Generalization for Arithmetic Transformers
RDFZ（中国人民大学附属中学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
针对 Transformer 学习算术算法时难以外推到更长序列的问题，提出 Attention Bias Calibration（ABC）自动校准注意力偏置，实现近乎完美的长度泛化并攻克 Parity 任务。
2024-05-10 cs.CL cs.LG
Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
提出一种可扩展框架，通过参数化权重变换和双向优化实现十亿参数预训练Transformer的线性模式连通性与合并，显著降低插值障碍。
2026-06-23 cs.AI cs.LG
Comparing Graph Transformers via Positional Encodings
School of Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气与计算机工程学院）
本文研究了图Transformer中绝对位置编码与相对位置编码的关系，证明了两者在区分能力上等价且可互换，并基于理论比较了多种位置编码的区分能力，为未来设计提供指导。
2024-08-22 cs.LG
Improving Transformers using Faithful Positional Encoding
IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；Ikerlan Research Center（伊克尔兰研究中心）
该研究针对Transformer提出一种基于坚实数学基础、可保证不丢失输入序列位置顺序信息的忠实位置编码方法，经实验验证其能系统性提升时间序列分类任务的预测性能。
2024-05-16 cs.LG
Positional Encoding in Transformer-Based Time Series Models: A Survey
本文系统综述了Transformer时间序列模型中的位置编码技术，比较固定、可学习、相对和混合方法在不同任务中的效果，并指出数据特征与计算复杂度之间的权衡，为方法选择与设计提供指导。
2025-09-18 cs.LG
DyWPE: Signal-Aware Dynamic Wavelet Positional Encoding for Time Series Transformers
Computer Science Department, Texas State University San Marcos, TX 78666, USA（德克萨斯州立大学计算机科学系）
本文提出信号感知的动态小波位置编码 DyWPE，利用离散小波变换从输入时间序列生成位置嵌入，在十个数据集上超越八种现有方法，生物医学信号中平均相对提升 9.1%。
2025-09-18 cs.LG
Q-ROAR: Outlier-Aware Rescaling for RoPE Position Interpolation in Quantized Long-Context LLMs
本文系统分析了位置插值与训练后量化结合导致的精度下降问题，并提出Q-ROAR方法，通过将RoPE维度分组并搜索每频带尺度，有效缓解了异常值偏移引发的噪声，在恢复长上下文任务精度的同时保持了短上下文性能。
2025-09-17 cs.AI cs.LG
Bridging Graph Position Encodings for Transformers with Weighted Graph-Walking Automata
University of Notre Dame（圣母大学）
本文提出基于加权图行走自动机的新图位置编码GAPE，在机器翻译和图结构任务上验证其性能并证明其能泛化多种现有PE方案，同时对图Transformer中多种PE进行了独立于边特征的理论与实验比较。
2023-04-09 cs.LG
Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Toronto（多伦多大学）
本文提出并验证了因果Transformer无需位置编码即可通过邻近嵌入相似性存储位置信息的假设，并证明该模式在训练和随机初始化模型中均会出现。
2024-12-30 cs.CL cs.LG
HyPE-GT: where Graph Transformers meet Hyperbolic Positional Encodings
Indian Statistical Institute（印度统计研究所）
HyPE-GT框架在双曲空间生成可学习位置编码，既增强图变换器对图层次关系的捕捉能力，又减轻深度GNN的过平滑问题，经多类基准实验验证了其有效性。
2026-08-19 cs.LG
Stronger Graph Transformer with Regularized Attention Scores
HDSI, UCSD（加州大学圣地亚哥分校HDSI）
针对Graph Transformer的内存消耗问题，提出一种新颖的边正则化技术，在缓解对Positional Encoding需求的同时解决内存溢出问题，并稳定提升模型性能。
2024-03-22 cs.LG
Graph Transformer with Disease Subgraph Positional Encoding for Improved Comorbidity Prediction
University of Delaware（特拉华大学）
本研究提出TSPE模型，结合Transformer注意力与子图位置编码，在共病预测中显著优于现有方法，最高提升ROC AUC 28.24%，准确率4.93%。
2025-03-04 cs.LG
Size-Transferability of Graph Transformers with Convolutional Positional Encodings
Department of Electrical and Systems Engineering（电气与系统工程系）；University of Pennsylvania（宾夕法尼亚大学）；University of California San Diego（圣地亚哥大学）
通过图神经网络位置编码建立图Transformer与流形神经网络的联系，证明其在小图上训练后可泛化到大图，并在标准基准和实际地形最短路径估计任务中验证可扩展性。
2026-10-16 cs.LG
Attention-Based Learning for Fluid State Interpolation and Editing in a Time-Continuous Framework
Autodesk Research（欧特克研究中心）
本文提出 FluidsFormer，融合 PITT 与 RNN 在连续时间框架内解析预测流体状态，实现关键帧间子步插值，提升烟雾动画的平滑性与清晰度，并初步验证液体场景。
2024-06-12 cs.GR cs.LG
Non-autoregressive Transformer by Position Learning
Nanjing University（南京大学）；ByteDance AI Lab（字节跳动人工智能实验室）
非自回归模型在各种文本生成任务中很有前途。以前的工作很少考虑显式建模生成的单词的位置。然而，位置建模是非自回归文本生成中的一个基本问题。在这项研究中，我们提出PNAT，它将位置作为一个潜在的变量到文本生成过程。实验结果表明，PNAT在机器翻译和释义生成任务上取得了最好的结果，优于几个强基线。
2019-11-25 cs.CL cs.LG
GRPE: Relative Positional Encoding for Graph Transformer
Seoul National University（首尔国立大学）；Standigm
我们提出了一种新的位置编码学习图的Transformer架构。现有的方法要么对图进行线性化以编码节点序列中的绝对位置，要么使用偏置项编码与另一节点的相对位置。前者由于线性化而失去了相对位置的精确性，而后者则失去了节点-边和节点-拓扑相互作用的紧密结合。为了克服以前的方法的弱点，我们的方法编码的图没有线性化，并考虑节点拓扑和节点边的相互作用。我们将我们的方法命名为图相对位置编码，专用于图表示学习。在不同的图数据集上进行的实验表明，该方法明显优于以前的方法。我们的代码可在https://github.com/lenscloth/GRPE上公开获取。
2022-10-14 cs.AI cs.LG
Attention Alignment and Flexible Positional Embeddings Improve Transformer Length Extrapolation
Carnegie Mellon University（卡内基梅隆大学）
本文提出通过温度缩放的注意力对齐策略，缓解T5模型因位置嵌入灵活性导致的注意力分散问题，从而无需微调即可提升其在长上下文任务中的外推能力。
2023-11-15 cs.CL cs.LG
Beyond Position: the emergence of wavelet-like properties in Transformers
Sapienza University of Rome（罗马萨皮恩扎大学）
本文揭示带 RoPE 的 Transformer 会自发演化出类小波的多分辨率处理能力，以克服位置编码的理论限制，并证明该行为具有尺度不变性且符合不确定性原理。
2025-06-04 cs.AI cs.LG
Conditional Positional Encodings for Vision Transformers
Meituan Inc.（美团公司）；Beijing Academy of AI（北京人工智能研究院）；Zhejiang University（浙江大学）
我们提出了一个条件位置编码（CPE）方案的视觉Transformer。与之前的固定或可学习的位置编码不同，CPE是动态生成的，并以输入标记的局部邻域为条件。因此，CPE可以很容易地推广到比模型在训练过程中看到的更长的输入序列。此外，CPE在图像分类任务中可以保持期望的不变性，从而提高性能。我们用一个简单的位置编码生成器（PEG）实现CPE，以无缝地集成到当前的Transformer框架中。在PEG的基础上，我们提出了条件位置编码视觉Transformer（CPVT）。我们证明，CPVT有视觉上相似的注意力地图相比，那些与学习位置编码，并提供优于结果。我们的代码可在https://github.com/Meituan-AutoML/CPVT上获得。
2023-02-13 cs.AI cs.CV cs.LG
Transformer Language Models without Positional Encodings Still Learn Positional Information
Tel Aviv University（特拉维夫大学）；University of Washington（华盛顿大学）；Intel Labs（英特尔实验室）；Meta AI
因果Transformer语言模型（LM），例如GPT-3，通常需要某种形式的位置编码，例如位置嵌入。然而，我们表明，没有任何明确的位置编码的LM仍然与标准模型竞争，并且这种现象在不同的数据集，模型大小和序列长度上是鲁棒的。探测实验表明，这种模型在整个网络中获得了绝对位置的隐含概念，有效地补偿了丢失的信息。我们推测，因果注意力使模型能够推断出每个标记可以注意的前任的数量，从而近似其绝对位置。我们的研究结果表明，因果性LMs可能不仅从外显定位机制中获得位置意识，而且还从因果性面具的影响中获得位置意识。
2022-12-05 cs.AI cs.CL cs.LG
Theoretical Analysis of Positional Encodings in Transformer Models: Impact on Expressiveness and Generalization
University of Birmingham Dubai（布里斯托尔大学迪拜分校）
本文构建理论框架分析正弦、可学习、相对及ALiBi等位置编码对Transformer表达、泛化与长度外推的影响，并提出基于小波和Legendre多项式的正交编码，实验证明其优于传统正弦编码。
2025-06-05 cs.AI cs.LG
Improving Position Encoding of Transformers for Multivariate Time Series Classification
Monash University（莫纳什大学）
本文针对多元时间序列分类中位置编码争议，提出 tAPE 绝对位置编码和高效 eRPE 相对位置编码，并结合卷积输入编码构建 ConvTran 模型，在 32 个数据集上显著超越现有方法。
2023-05-26 cs.CV cs.LG
How Vision Transformers Represent Position: A Mechanistic Comparison of Absolute and Rotary Positional Encodings
ESSTHS；DJSCE；Lotte Innovate（乐天创新）；New York University（纽约大学）
本研究对比了视觉Transformer中绝对位置编码（APE）与旋转位置编码（RoPE）的位置表征机制，发现二者编码方式不同，且均对分类准确率有关键作用，为视觉模型的针对性干预提供了基础。
2026-10-14 cs.CV cs.LG
Impact of Positional Encoding: Clean and Adversarial Rademacher Complexity for Transformers under In-Context Regression
Michigan State University（密歇根州立大学）
本文分析了位置编码对Transformer在上下文回归中的泛化能力的影响，提出清洁和对抗Rademacher复杂性的理论框架，证明位置编码扩大了泛化差距，并通过实验验证了其在对抗攻击下的脆弱性。
2026-03-24 cs.LG stat.ML
Position Coupling: Improving Length Generalization of Arithmetic Transformers Using Task Structure
Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）；Google Research（谷歌研究院）；NYU（纽约大学）
针对Transformer算术任务长度泛化差的问题，提出将任务结构嵌入位置编码的位置耦合方法，经实验和理论验证可大幅提升泛化能力，且适用于多种算法任务。
2024-10-30 cs.AI cs.CL cs.LG
Masked Hard-Attention Transformers Recognize Exactly the Star-Free Languages
University of Notre Dame（圣母大学）；Yale University（耶鲁大学）
该研究通过形式语言识别刻画硬注意力掩码Transformer的表达能力，证明严格掩码无位置嵌入时其等价于定义无星语言的LTL，并借助Boolean RASP中间语言分析了位置嵌入等因素对表达能力的提升作用。
2024-10-30 cs.FL cs.LG cs.LO
Causality-Induced Positional Encoding for Transformer-Based Representation Learning of Non-Sequential Features
Department of Computer Science, Emory University（埃默里大学计算机科学系）；School of Statistics and Mathematics, Zhongnan University of Economics and Law（中南财经政法大学统计与数学学院）；School of Medicine, Department of Human Genetics, Emory University（埃默里大学医学院人类遗传学系）
针对现有位置编码需预定义特征顺序、不适用于非序列因果特征的问题，提出CAPE方法，通过结构方程建模因果DAG并嵌入双曲空间生成因果感知旋转位置编码，增强Transformer自注意力，经理论与实验验证有效。
2025-09-23 cs.LG q-bio.QM
Rethinking the Role of Positional Encoding: Sliding-Window Transformers without PE Remain Turing Complete
Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Southern California（南加州大学）
本文证明，在滑动窗口机制下，无需位置编码的Transformer仍可通过窗口演化模拟图灵完备的Post机器，从而具备通用计算能力。
2026-06-02 cs.CC cs.LG
SILK: Smooth InterpoLation frameworK for motion in-betweening A Simplified Computational Approach
SEED, Electronic Arts（SEED电子艺术公司）；Electronic Arts（电子艺术公司）
本文提出 SILK，一种仅用单个 Transformer 编码器的动作中间帧生成框架，并证明数据量、姿态表示和速度特征对动画质量的关键作用。
2025-06-09 cs.CV cs.GR cs.LG
Transition Information Density: Morphological Trajectories, Synesthetic Perception, and Structured Interpolation in Neural Training (or: The Synesthetic AI)
New York University（纽约大学）；Interactive Media Arts（互动媒体艺术）
介绍过渡信息密度及位置标识，基于联觉等实证背景研究。通过结构化插值训练的探针在语音/语言和语义描述媒介中维度更低，贡献相关定义、框架及实验设计，区分轨迹结构等因素。
2026-07-07 cs.AI cs.CL cs.LG
Study of positional encoding approaches for Audio Spectrogram Transformers
针对Audio Spectrogram Transformer（AST）需ImageNet预训练才能超越CNN的问题，研究AST的位置编码组件，提出多种变体提升从头训练的AST性能，最优模型融合条件位置编码，在Audioset和ESC-50上性能显著优于原始AST。
2021-10-13 cs.LG cs.SD eess.AS
Graph Neural Networks as a Substitute for Transformers in Single-Cell Transcriptomics
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Hangzhou, China（杭州高等研究 Institute，中国科学院大学，杭州）
本文研究在位置无关的单细胞转录组学任务中，图神经网络能否替代Transformer，通过理论分析和实验证明GNN在更少计算资源下可取得有竞争力的性能。
2025-07-05 cs.LG q-bio.GN
