Segatron: Segment-Aware Transformer for Language Modeling and Understanding
University of Waterloo（滑铁卢大学）；Peking University（北京大学）
Transformers对于序列建模非常强大。几乎所有最先进的语言模型和预训练的语言模型都基于Transformer架构。但是，它仅通过标记位置索引来区分连续标记。我们假设，更好的上下文表示可以从具有更丰富的位置信息的Transformer生成。为了验证这一点，我们提出了一个段感知的Transformer（Segatron），通过替换原来的令牌位置编码与段落，句子和令牌的组合位置编码。我们首先将段感知机制引入到Transformer-XL，这是一种流行的基于transformer的语言模型，具有内存扩展和相对位置编码。我们发现，我们的方法可以进一步改善Transformer-XL基础模型和大模型，在WikiText-103数据集上实现17.1困惑度。我们进一步研究了Segatron的预训练掩蔽语言建模任务。实验结果表明，使用Segatron（SegaBERT）预训练的BERT在各种NLP任务上的性能优于使用vanilla Transformer的BERT，在zero-shot句子表示学习上的性能优于RoBERTa。
2020-12-15 cs.CL cs.LG
ENTP: Encoder-only Next Token Prediction
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Korea University（高丽大学）
本文提出仅编码器下一词元预测（ENTP），通过理论分析与实验证明其在表达能力和多项任务上优于仅解码器 Transformer。
2025-02-04 cs.CL cs.LG
Bridging the Dimensional Chasm: Uncover Layer-wise Dimensional Reduction in Transformers through Token Correlation
School of Physics, Peking University（北京大学物理学院）；Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）；Center for High Energy Physics, Peking University（北京大学高能物理研究中心）；Beijing Computational Science Research Center（北京计算科学研究中心）
本研究通过几何框架分析Transformer各层令牌内在维度，揭示扩张-收缩模式，发现有效模型将令牌压缩至约10维子流形，与人类语义空间相似，为LLM可解释性和模型诊断提供新视角。
2025-03-28 cs.CL cs.LG
Moving Beyond Next-Token Prediction: Transformers are Context-Sensitive Language Generators
Inha University（仁荷大学）
本文提出将Transformer驱动的LLMs解释为概率性左上下文敏感语言生成器的框架，分解其为三个基础组件，突破传统观点，为生成式AI理论与应用发展奠定基础。
2025-04-15 cs.AI cs.CL
Let's Think Dot by Dot: Hidden Computation in Transformer Language Models
Center for Data Science（数据科学中心）；New York University（纽约大学）
本文研究了语言模型思维链性能提升是否源于额外计算量，发现Transformer可利用无意义填充词元解决复杂算法任务，但需密集监督，并揭示了中间词元可能引发无法审计的隐藏计算风险。
2024-04-24 cs.AI cs.CL
No Clustering, No Routing: How Transformers Actually Process Rare Tokens
ENS, Université PSL, EHESS, CNRS Paris, France（巴黎大学PSL研究所、EHESS、CNRS）
该研究针对大语言模型稀有词元特化机制不明的问题，通过神经元分析、聚类和注意力头消融实验，发现稀有词元处理依赖分布式的平台神经元形成双重计算机制，且无注意力优先路由，揭示其特化源于训练驱动的分布式分化而非架构模块化。
2025-08-30 cs.AI cs.CL
Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；AWS AI（AWS人工智能研究院）；University of Minnesota, Minneapolis（明尼苏达大学双城分校）
本文提出VIP令牌中心压缩方案VCC，通过选择性压缩序列提升Transformer处理超长序列的效率，可扩展至128K令牌并保持精度提升。
2023-05-27 cs.CL cs.LG
Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior
Microsoft（微软公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）
提出潜在循环Transformer（LRT），通过跨层循环潜在路径重用前一token的高层隐藏状态作为记忆，在不增加暂停token或额外深度循环的情况下，以约2倍基线计算实现并行训练，在匹配有效计算下提升语言建模损失和上下文学习能力，仅增加0.3%参数。
2026-09-02 cs.CL cs.LG
Looking Beyond The Top-1: Transformers Determine Top Tokens In Order
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；The University of Chicago（芝加哥大学）
本文揭示 Transformers 按排名顺序依次确定 top-k tokens 的饱和现象，提出任务转换机制并加以验证，据此设计出更优的 token 级早退策略。
2024-10-26 cs.CL cs.LG
Memory-Efficient Fine-Tuning of Transformers via Token Selection
Meta AI
本文提出 TokenTune 方法，通过仅对部分输入 token 反向传播并缓存其中间激活值，大幅降低 Transformer 模型微调的内存开销，且可与 LoRA 等方法结合，在数十亿参数模型的少样本任务中达到与全量微调相当的性能。
2025-01-31 cs.CL cs.LG
Sparse Token Routing in Efficient Transformers
Institute for Artificial Intelligence and Data Science (IAD)（人工智能与数据科学研究所）；University at Buffalo（布法罗大学）
该研究针对高效Transformer的令牌计算分配问题，采用SEWN模型的双流路由机制，验证了令牌路由对精度影响极小，且完全上下文门控在两项任务上实现了高度显著分离，为高效Transformer的稀疏令牌路由提供了有效方案。
2026-08-24 cs.CL
Addressing Token Uniformity in Transformers via Singular Value Transformation
University of Warwick（华威大学）；The Hong Kong Polytechnic University（香港理工大学）；The Alan Turing Institute（艾伦·图灵研究所）
针对Transformer模型的Token同质化问题，提出基于奇异值分布表征与新型奇异值变换函数的方法，在保留嵌入空间局部邻域结构的同时缓解同质化，在多个主流语言模型和GLUE等任务上取得性能提升。
2023-12-19 cs.CL
Planning Transformer: Long-Horizon Offline Reinforcement Learning with Planning Tokens
Durham University（杜伦大学）
针对Decision Transformer等离线强化学习监督方法在长时序任务中累积误差高的问题，提出带有规划令牌的Planning Transformer，通过双时间尺度令牌预测实现隐式规划指导低层策略，在D4RL环境中达SOTA并提升策略可解释性。
2024-09-14 cs.AI cs.CL cs.LG
Scaling Transformer to 1M tokens and beyond with RMT
MIPT（莫斯科物理技术学院）；AIRI（人工智能研究所）；London Institute for Mathematical Sciences（伦敦数学科学研究所）
本研究提出循环记忆增强方法（RMT），使预训练Transformer在计算量线性扩展下处理长达两百万token的输入，提升语言建模困惑度，增强长期依赖处理能力。
2024-02-06 cs.AI cs.CL cs.LG
Quantifying Attention Flow in Transformers
University of Amsterdam（阿姆斯特丹大学）
在Transformer模型中，“自我关注”将来自关注嵌入的信息组合到下一层的焦点嵌入的表示中。因此，跨Transformer的层，源自不同令牌的信息变得越来越混合。这使得注意力权重在解释探测时变得不可靠。在本文中，我们考虑的问题，通过自我关注的信息流的量化。我们提出了两种方法近似的注意力输入令牌的注意力权重，注意滚动和注意流，作为事后的方法，当我们使用的注意力权重作为输入令牌的相对相关性。我们发现，这些方法提供了信息流的互补意见，并与原始注意力相比，两者都产生较高的相关性与使用消融方法和输入梯度获得的输入标记的重要性分数。
2020-05-31 cs.AI cs.CL cs.LG
A path to natural language through tokenisation and transformers
Centre for Theoretical Physics, Queen Mary University of London（理论物理中心，伦敦女王学院）
本文研究了BPE分词对自然语言统计特性的影响，发现其不仅压缩数据，还重构了语言的信息属性。
2026-01-06 cs.CL cs.LG stat.ML
Smart Bird: Learnable Sparse Attention for Efficient and Effective Transformer
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft STC Asia（微软亚太研发集团）
Transformer在NLP方面取得了巨大的成功。但是，Transformer中自注意力机制的二次复杂性使其在处理长序列时效率低下。许多现有的作品都在探索通过计算稀疏的自我注意力而不是密集的自我注意力来加速Transformers，后者通常关注某些位置的代币或随机选择的代币。然而，手动选择的或随机的令牌对于上下文建模可能是无信息的。在本文中，我们提出了智能鸟，这是一个高效和有效的Transformer与可学习的稀疏注意。在Smart Bird中，我们首先使用单头低维Transformer计算草图注意力矩阵，旨在发现令牌之间潜在的重要交互。然后，我们根据从草图的注意力矩阵导出的概率得分对标记对进行采样，以针对不同的注意力头部生成不同的稀疏注意力索引矩阵。最后，我们根据索引矩阵选择标记嵌入，形成稀疏注意网络的输入。在六个不同任务的基准数据集上进行的大量实验验证了Smart Bird在文本建模中的效率和有效性。
2021-09-02 cs.CL
Bigram Subnetworks: Mapping to Next Tokens in Transformer Language Models
Department of Cognitive Science University of California San Diego（认知科学系，加州大学圣地亚哥分校）
研究发现Transformer语言模型中存在双元子网络，这些子网络能基于当前标记预测下一个标记，且对模型性能至关重要。
2025-12-03 cs.CL
Scaled and Inter-token Relation Enhanced Transformer for Sample-restricted Residential NILM
Int’l Islamic University Chittagong（吉大港国际伊斯兰大学）
针对小数据集下Transformer注意力过度平滑、词元间依赖捕捉不足的问题，提出带词元间关系增强与动态温度调优的新型Transformer，在REDD数据集NILM任务上F1分数优于基线10-15%。
2024-12-06 cs.AI cs.CL
Learned Token Pruning for Transformers
University of California, Berkeley（加州大学伯克利分校）；Samsung Semiconductor, Inc.（三星半导体公司）
在实践中部署Transformer模型是具有挑战性的，因为它们的推理成本与输入序列长度成二次方。为了解决这个问题，我们提出了一种新的学习令牌修剪（LTP）方法，自适应地删除不重要的令牌作为输入序列通过Transformer层。特别是，LTP会修剪注意力分数低于阈值的令牌，该阈值是在训练期间为每层学习的。我们的基于阈值的方法允许修剪序列的长度根据输入序列自适应地变化，并避免了算法上昂贵的操作，如top-k令牌选择。我们广泛地测试了LTP在GLUE任务上的性能，并表明我们的方法在相同数量的FLOP的情况下，比现有的最先进的令牌修剪方法高出约2.5%的准确性。特别是，LTP在精度下降不到1%的情况下实现了高达2.1倍的FLOPs减少，这使得Intel Haswell CPU和NVIDIA V100 GPU的吞吐量分别提高了1.9倍和2.0倍。此外，我们证明了LTP比以前的方法更强大的输入句子长度的变化。我们的代码是在PyTorch中开发的，并且是开源的。
2022-06-02 cs.CL
Byte Language Models: Scaling, Emergent Abstractions, and Information Allocation
East China Normal University（华东师范大学）；Fudan University（复旦大学）
本研究探究字节级无分词器Transformer，发现其通过令牌叠加和哈希嵌入在扩展时优于子词模型，并自发形成局部文本抽象，利用这些结构可提升投机解码效率。
2026-10-06 cs.CL
Non-Autoregressive Machine Translation with Disentangled Context Transformer
University of Washington（华盛顿大学）；Facebook AI（Facebook人工智能）
最先进的神经机器翻译模型生成从左到右的翻译，并且每一步都以先前生成的标记为条件。这个生成过程的顺序性导致了推理的基本延迟，因为我们不能在每个句子中并行生成多个标记。我们提出了一个基于注意力掩蔽的模型，称为解纠缠上下文（DisCo）Transformer，同时生成所有令牌给定不同的上下文。训练DisCo Transformer以在给定其他参考令牌的任意子集的情况下预测每个输出令牌。我们还开发了并行的简单优先推理算法，它迭代地并行细化每个令牌，并减少了所需的迭代次数。我们在7个不同数据大小的翻译方向上进行了大量实验，结果表明，与非自回归机器翻译的最新技术相比，我们的模型即使没有更好的性能，也具有竞争力，同时显著减少了平均解码时间。我们的代码可在https://github.com/facebookresearch/DisCo上获得。
2020-06-30 cs.CL
FIT: Far-reaching Interleaved Transformers
Google Deepmind（谷歌DeepMind）
本文提出FIT架构，通过将数据标记分组并结合局部层与全局潜在标记层的交错设计，在保持表达能力的同时将全局注意力复杂度降至O(L^{4/3})，并展示了其在千兆级数据上端到端训练的潜力。
2023-05-25 cs.AI cs.CL cs.CV
Constraint-aware and Ranking-distilled Token Pruning for Efficient Transformer Inference
Zhejiang University（浙江大学）；Microsoft Research（微软研究院）；Microsoft（微软）
提出约束感知与排序蒸馏的Token剪枝方法ToP，通过蒸馏Token排序和改进$L_0$正则化优化剪枝决策，在保持准确率的同时显著减少BERT的计算量并实现大幅推理加速。
2023-06-26 cs.CL
Bird-Eye Transformers for Text Generation Models
University of Oxford（牛津大学）
Transformers在机器翻译中取得巨大成功后，已经成为文本生成模型中不可或缺的模块。以前的工作的~ Transformers的成功归因于查询键值点积注意，它提供了一个强大的电感偏置的全连接的令牌图。然而，我们发现自我注意力有严重的局限性。在预测第（i+1）个token时，自我注意只把第i个token作为信息收集器，倾向于对与自己相似的token赋予较高的注意权重。因此，在第i个令牌之前发生的大多数历史信息都没有被考虑在内。基于这一观察，在本文中，我们提出了一种新的架构，称为鸟瞰Transformer（BET），这进一步提高Transformers的性能，通过重新加权自我注意力，鼓励它更专注于重要的历史信息。我们对多个文本生成任务进行了实验，包括机器翻译（2个数据集）和语言模型（3个数据集）。这些实验结果表明，我们提出的模型实现了更好的性能比基线Transformer架构上的所有数据集。代码发布于：\url{https://sites.google.com/view/bet-transformer/home}。
2022-10-08 cs.CL
GlobEnc: Quantifying Global Token Attribution by Incorporating the Whole Encoder Layer in Transformers
University of Tehran（德黑兰大学）；Tehran Institute for Advanced Studies, Khatam University（哈塔姆大学德黑兰高等研究院）；Iran University of Science and Technology（伊朗科技大学）
人们对解释Transformers的潜在动力学越来越感兴趣。虽然自我注意力模式最初被认为是主要的选择，但最近的研究表明，整合其他成分可以产生更准确的解释。本文介绍了一种新的令牌属性分析方法，该方法将编码器块中的所有组件合并在一起，并在整个层中聚合。通过大量的定量和定性实验，我们证明了我们的方法可以产生忠实和有意义的全球令牌属性。我们的实验表明，将几乎每个编码器组件都集成在一起，可以在局部（单层）和全局（整个模型）设置中进行越来越准确的分析。我们的全球归因分析显着优于以前的方法在各种任务的相关性与基于梯度的显着性分数。我们的代码可以在https://github.com/mohsenfayyaz/GlobEnc上免费获得。
2022-05-06 cs.CL
Zero-shot Sequence Labeling for Transformer-based Sentence Classifiers
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）
我们研究如何在没有任何直接监督的情况下，在令牌级别将并行级Transformers修改为有效的序列标记器。当应用于基于变换器的架构时，用于zero-shot序列标记的现有方法不能很好地执行。由于Transformers包含多层多头自我注意，句子中的信息会分布在许多标记之间，从而对zero-shot标记级性能产生负面影响。我们发现，一个软的注意力模块，明确鼓励关注权重的锐度可以显着优于现有的方法。
2021-06-08 cs.AI cs.CL
Mitigating Over-smoothing in Transformers via Regularized Nonlocal Functionals
Rice University（莱斯大学）；National University of Singapore（新加坡国立大学）
本文提出NeuTRENO模型，通过在自注意力平滑输出与输入token之间引入正则化非局部泛函，有效缓解深度Transformer的过度平滑问题，并在分类、分割和语言建模任务中验证其优势。
2023-12-01 cs.AI cs.CL
Token Masking Improves Transformer-Based Text Classification
University of Pittsburgh School of Computing and Information（匹兹堡大学计算机与信息学院）
本文提出以概率 p 随机替换输入 token 的 token masking regularization，并在 mBERT、Qwen2.5-0.5B 和 TinyLlama-1.1B 上验证其可稳定提升文本分类性能。
2025-05-16 cs.AI cs.CL
Loss Masking Is Not Needed in Decoder-only Transformer for Discrete-token-based ASR
Alibaba Group（阿里巴巴集团）
针对解码器专用Transformer在离散词元ASR中依赖损失掩蔽的问题，提出平滑标签蒸馏（SLD）方法，以自回归方式建模语音词元，实验证明SLD优于损失掩蔽。
2024-02-05 cs.CL cs.SD eess.AS
