Shatter: An Efficient Transformer Encoder with Single-Headed Self-Attention and Relative Sequence Partitioning
Google Research Language（谷歌研究院语言部门）
基于自我注意力的高度流行的Transformer架构是大型预训练模型（如BERT）的基础，这些模型已成为NLP中持久的范式。虽然功能强大，但预训练此类模型所需的计算资源和时间可能令人望而却步。在这项工作中，我们提出了一种替代的自我注意力架构，破碎，更有效地编码序列信息，通过软分区的相对位置的空间和应用不同的值矩阵的序列的不同部分。这种机制进一步允许我们将Transformer中的多头注意简化为单头注意。我们进行了大量的实验，表明Shatter比BERT实现了更好的性能，预训练每步更快（TPU上为15%），收敛步骤更少，并节省了大量内存（>50%）。总之，Shatter可以在7天内在8个V100 GPU上进行预训练，并与BERT_Base的性能相匹配-使预训练的成本更加实惠。
2021-08-30 cs.CL cs.LG
Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers
针对多语言Transformer模型随适配语言增多性能下降的干扰问题，提出用Shapley值识别引发干扰的注意力头并剪枝的方法，最高可提升目标语言任务性能24.7%，并通过可视化提供了相关洞见。
2022-10-11 cs.CL cs.LG
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
Google Research（谷歌研究院）；University of Southern California（南加利福尼亚大学）
本文提出GQA（分组查询注意力），一种介于多头与多查询注意力之间的键值头配置，并给出利用5%预训练计算将现有检查点升级为GQA的方法，在保持接近多头注意力的质量下获得与MQA相当的速度。
2023-12-23 cs.CL cs.LG
ComplexFormer: Disruptively Advancing Transformer Inference Ability via Head-Specific Complex Vector Attention
ComplexFormer通过复数多头注意力机制，在每个注意力头中统一建模语义和位置差异，显著提升了Transformer在多项任务上的性能与长上下文连贯性。
2025-05-27 cs.CL cs.LG
Scheduled DropHead: A Regularization Method for Transformer Models
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们介绍了DropHead，这是一种专门为正则化多头注意力机制而设计的结构化dropout方法，它是Transformer的关键组件，这是一种用于各种NLP任务的最先进模型。与传统的随机丢弃单元或连接的丢弃机制相比，所提出的DropHead是一种结构化的丢弃方法。它在训练期间丢弃整个注意力头部，并且防止多头注意力模型被一小部分注意力头部支配，同时还降低了过拟合训练数据的风险，从而更有效地利用多头注意力机制。基于对多头注意力机制学习动态的研究，提出了一种特定的丢弃率调度方案，自适应地调整DropHead的丢弃率，以达到更好的正则化效果.在机器翻译和文本分类基准数据集上的实验结果证明了该方法的有效性。
2020-11-01 cs.CL cs.LG
Layer-wise Pruning of Transformer Attention Heads for Efficient Language Modeling
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）
虽然基于transformer的模型已经显示出令人印象深刻的语言建模性能，但大量的计算成本通常使实际使用望而却步。注意头修剪技术是解决这一问题的一种有效方法，它可以去除多个注意头中不必要的注意头。然而，它并没有均匀地减少整体负载，因为重前馈模块不受头部修剪的影响。在本文中，我们将逐层注意力头部修剪应用于全注意力Transformer，使得整个计算和参数的数量可以与修剪头部的数量成比例地减少。虽然该架构有可能充分利用头部修剪，我们提出了三种训练方法，特别有助于最大限度地减少性能下降和稳定的修剪过程。我们的修剪模型在WikiText-103语言建模基准测试中显示出比Transformer-XL更低的困惑度。
2021-10-07 cs.CL
Improving Transformers with Probabilistic Attention Keys
FPT Software AI Center（FPT软件人工智能中心）；University of California, Los Angeles（加州大学洛杉矶分校）；VinUniversity（文大）；Deezer Research（Deezer研究院）；Rice University（莱斯大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
多头注意力是最先进的Transformers背后的驱动力，它在各种自然语言处理（NLP）和计算机视觉任务中实现了卓越的性能。已经观察到，对于许多应用，这些注意力头学习冗余嵌入，并且其中大多数可以在不降低模型性能的情况下被移除。受此启发，我们提出了Transformer与混合高斯密钥（transformer-MGK），一种新的Transformer架构，取代冗余的头在每个头的混合密钥的变压器。这些键的混合遵循高斯混合模型，并允许每个注意力头有效地集中在输入序列的不同部分。与传统的Transformer相比，Transformer-MGK加速了训练和推理，参数更少，需要计算的FLOP更少，同时在任务中实现了相当或更好的准确性。transformer-MGK也可以很容易地扩展到使用线性注意力。我们经验证明了Transformer-MGK在一系列实际应用中的优势，包括语言建模和涉及很长序列的任务。在Wikitext-103和Long Range Arena基准测试中，具有4个头的Transformer-MGK获得了与具有8个头的基线Transformers相当或更好的性能。
2022-06-13 cs.CL cs.LG stat.ML
Plausibility Processing in Transformer Language Models: Focusing on the Role of Attention Heads in GPT
University of Michigan（密歇根大学）
本文探索Transformer语言模型如何处理名词与动词关系的合理性，发现GPT2与人类处理方式高度相似，并证实其内部多个注意力头共同因果地促成了这种合理性处理能力。
2023-10-20 cs.CL
Fast Transformer Decoding: One Write-Head is All You Need
Google（谷歌）
在Transformer神经序列模型中使用的多头注意力层是RNN的一个强大的替代方案，用于在序列之间移动信息。虽然训练这些层通常是快速和简单的，由于跨序列长度的并行化，增量推理（这种并行化是不可能的）通常是缓慢的，由于重复加载大的“键”和“值”张量的内存带宽成本。我们提出了一种称为多查询注意力的变体，其中键和值在所有不同的注意力“头”之间共享，大大减少了这些张量的大小，从而减少了增量解码的内存带宽要求。我们通过实验验证，由此产生的模型确实可以更快地解码，并且只会导致基线的轻微质量下降。
2019-11-06 cs.CL cs.LG cs.NE
Linking In-context Learning in Transformers to Human Episodic Memory
University of California, San Diego（加利福尼亚大学圣迭戈分校）；New York University（纽约大学）
本研究揭示Transformer大语言模型中的诱导头与人类情景记忆的CMR模型在多层面相似，发现类CMR头的层级分布与记忆偏差对应且对上下文学习有因果作用，为AI与神经科学研究提供新视角。
2024-10-31 cs.CL cs.LG
Tree Transformer: Integrating Tree Structures into Self-Attention
National Taiwan University（台湾大学）
从大规模原始文本中预训练Transformer并对所需任务进行微调，在各种NLP任务上取得了最先进的结果。然而，目前还不清楚学习的注意力捕捉到了什么。注意力头计算出的注意力似乎与人类对层次结构的直觉不符。本文提出了树型Transformer，它对双向Transformer编码器的注意头增加了一个额外的约束，以鼓励注意头遵循树结构。我们提出的“成分注意力”模块可以从原始文本中自动归纳出树结构，该模块简单地通过两个相邻单词之间的自我注意力来实现。使用与BERT相同的训练过程，实验证明了Tree Transformer在诱导树结构、更好的语言建模和进一步学习更多可解释的注意力分数方面的有效性。
2019-11-01 cs.CL cs.LG
Asymmetric Attention Heads: Structured Head-Wise Context Allocation for Transformer Attention
本文提出非对称注意力头（AAH）框架，通过分层分组头并分配不同因果局部窗口，在4096-token实验中实现比纯全注意力更低的验证损失，为Transformer注意力提供结构化上下文分配机制。
2026-08-21 cs.AI cs.CL cs.LG
Cascaded Head-colliding Attention
The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Transformers在各种重要任务上推进了自然语言处理（NLP）领域。Transformer体系结构的基石是多头注意力（MHA）机制，它对序列元素之间的成对交互进行建模。尽管取得了巨大的成功，但目前的框架忽略了不同头部之间的相互作用，导致许多头部在实践中是多余的，这极大地浪费了模型的容量。为了提高参数效率，我们重新制定的MHA作为一个潜在的变量模型从概率的角度来看。我们提出了级联头碰撞注意力（CODA），显式模型之间的相互作用，通过层次变分分布的注意头。我们进行了大量的实验，并证明CODA优于Transformer基线，通过在语言建模中的\texttt{Wikitext-103}上的$0.6$困惑，以及在机器翻译中的\texttt{WMT14 EN-DE}上的$0.6$ BLEU，由于它在参数效率上的改进。\footnote{Our implementation is publicly available at \url{https://github.com/LZhengisme/CODA}.}
2021-05-31 cs.CL cs.LG
Differentiable Subset Pruning of Transformer Heads
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
本文提出一种名为可微子集剪枝的 Transformer 头部剪枝新方法，通过随机梯度下降学习每个头的重要性变量并施加硬约束以控制未剪枝头数量，在自然语言推理和机器翻译任务中表现优于以往工作且能精确控制稀疏度。
2023-07-27 cs.CL
Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer
Duke University（杜克大学）；Tencent AI Lab（腾讯人工智能实验室）
开发能够进行逻辑推理的神经架构对于广泛的应用（例如，自然语言处理）。为了实现这一宏伟目标，我们提出了一个符号推理架构，链接许多连接运算符在一起，以模拟输出逻辑表达式。特别是，我们证明了这样的合奏的连接链可以表示一个广泛的子集的“树结构”的一阶逻辑表达式，名为FOET，这是特别有用的建模自然语言。为了赋予它可微的学习能力，我们仔细研究了各种神经算子近似的符号连接链。有趣的是，我们发现Transformer中广泛使用的多头自注意模块可以理解为一种特殊的神经算子，它实现了概率谓词空间中连接算子的联合界。我们的分析不仅为BERT等预训练模型用于自然语言理解的机制提供了新的视角，而且还提出了几个重要的未来改进方向。
2022-10-23 cs.CL cs.LG
SAP: Syntactic Attention Pruning for Transformer-based Language Models
Institute of Information Science, Academia Sinica（学术院信息研究所）
SAP通过结合句法结构和注意力模式，提升Transformer模型的剪枝效果和可解释性，优于现有方法。
2025-12-22 cs.CL cs.LG
Influence Score and Transformers interpretability: Measure of the Effective Impact of Attention Heads at inference time
Thales CDI（泰雷兹CDI公司）；Inria Paris（法国国家信息与自动化研究所巴黎中心）；Sorbonne Université（索邦大学）
该研究提出影响分数，结合定向影响与结构贡献分析Transformer注意力头，应用于DeBERTa模型揭示预测行为差异，为研究Transformer分类器决策机制提供系统方法。
2026-09-07 cs.CL
Bias A-head? Analyzing Bias in Transformer-Based Language Model Attention Heads
University of Notre Dame（圣母大学）
本文提出偏见分析框架，识别BERT和GPT中导致刻板印象偏见的少数注意力头，并通过实验揭示其行为机制，为模型公平性评估与偏见缓解提供依据。
2024-06-16 cs.CL
Transformer Language Models Handle Word Frequency in Prediction Head
Tohoku University（东北大学）；RIKEN（理化学研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究通过BERT和GPT-2实验揭示预测头偏置参数在反映词频中的关键作用，并证明控制偏置可在不降低文本质量的前提下提升生成多样性。
2023-05-29 cs.CL
Entropy Meets Importance: A Unified Head Importance-Entropy Score for Stable and Efficient Transformer Pruning
Department of Computer Science and Engineering, Korea University, Seoul, South Korea（计算机科学与工程系，韩国大学，首尔，韩国）；School of Software, Soongsil University, Seoul, South Korea（软件学院，顺天大学，首尔，韩国）
本文提出HIES剪枝方法，结合头部重要性评分与注意力熵，提升Transformer模型的压缩效率和稳定性。
2026-02-02 cs.AI cs.CL cs.LG
Multi-level Head-wise Match and Aggregation in Transformer for Textual Sequence Matching
Singapore Management University（新加坡管理大学）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）；Nanyang Technological University（南洋理工大学）
Transformer已成功应用于许多自然语言处理任务。然而，对于文本序列匹配，一对序列的表示之间的简单匹配可能会带来不必要的噪声。在本文中，我们提出了一种新的方法，序列对匹配与Transformer，通过学习头部的匹配表示在多个级别上。实验表明，我们提出的方法可以实现新的国家的最先进的性能在多个任务，只依赖于预先计算的序列向量表示，如SNLI，MNLI匹配，MNLI不匹配，QQP和SQuAD二进制。
2020-01-20 cs.CL
Laughing Heads: Can Transformers Detect What Makes a Sentence Funny?
EPFL（洛桑联邦理工学院）
幽默的自动检测对自然语言处理提出了巨大的挑战。基于transformer的系统最近在这项任务上取得了显着的成果，但它们通常（1）~在严肃与幽默文本来自完全不同来源的设置中进行评估，（2）~专注于基准性能，而不提供对模型如何工作的见解。我们在这两个方面都取得了进展，通过训练和分析基于transformer的幽默识别模型，最近推出的数据集由最小对对齐的句子组成，一个严重，另一个幽默。我们发现，尽管我们的对齐数据集比以前的数据集要难得多，但基于transformer的模型以高准确率（78%）识别对齐对中的幽默句子。在仔细的错误分析中，我们描述了简单与困难的实例。最后，通过分析注意力权重，我们获得了重要的见解的机制，Transformers识别幽默。最值得注意的是，我们发现了明确的证据，表明一个单一的注意头学会识别使测试句子幽默的单词，即使在训练时没有获得这些信息。
2021-08-25 cs.AI cs.CL cs.LG
Magnitude Profile Pruning: Calibration-Free Structured Attention Head Removal for Transformer Compression
提出无校准的注意力头重要性评分方法MP及GQA变体MP-G，通过权重范数统计异常值检测剪枝，在多个模型上匹配或超越数据依赖方法，实现零成本结构化剪枝。
2026-09-23 cs.AI cs.CL cs.LG
Do Transformer Attention Heads Provide Transparency in Abstractive Summarization?
University of Amsterdam（阿姆斯特丹大学）；De Persgroep（荷兰Persgroep集团）
学习算法变得更加强大，但往往以增加复杂性为代价。作为回应，对算法透明的需求正在增长。在NLP任务中，通过基于注意力的深度学习模型学习的注意力分布用于获得对模型行为的洞察。这种观点在多大程度上适用于所有NLP任务？我们调查是否分布计算不同的注意头在一个Transformer架构可以用来提高抽象摘要的任务的透明度。为此，我们提出了一个定性和定量的分析，以调查的注意头的行为。我们发现，一些注意头确实专门对句法和语义不同的输入。我们提出了一种方法来评估Transformer模型在多大程度上依赖于专门学习的注意力分布。我们还讨论了这意味着使用注意力分配作为一种手段的透明度。
2019-07-08 cs.AI cs.CL cs.IR
Adaptively Sparse Transformers
Instituto de Telecomunicações（电信研究所）；Unbabel
注意力机制在NLP中已经变得无处不在。最近的架构，特别是Transformer，通过分层的、多头的注意力来学习强大的上下文感知单词表示。多个头学习不同类型的单词关系。然而，使用标准softmax attention，所有attention heads都是密集的，为所有上下文单词分配非零权重。在这项工作中，我们引入了自适应稀疏Transformer，其中注意头具有灵活的，上下文相关的稀疏模式。这种稀疏性是通过将softmax替换为$α$ -entmax来实现的：softmax的可微分推广，允许低得分单词精确地接收零权重。此外，我们推导出一种自动学习$α$参数的方法-该参数控制$α$ -entmax的形状和稀疏性-允许注意力头在集中或分散行为之间进行选择。与机器翻译数据集上的softmax Transformers相比，我们的自适应稀疏Transformer提高了可解释性和头部多样性。我们的方法的定量和定性分析的结果包括，头部在不同的层学习不同的稀疏偏好，往往是更多样化的注意力分布比softmax Transformers。此外，在不损失准确性的情况下，注意力头部的稀疏性有助于揭示不同的头部专业化。
2019-09-06 cs.CL stat.ML
Are Neighbors Enough? Multi-Head Neural n-gram can be Alternative to Self-attention
Tokyo Institute of Technology（东京工业大学）
Transformer令人印象深刻的性能归因于自我关注，其中在每个位置都考虑了序列中整个输入之间的依赖关系。在这项工作中，我们改革的神经$n$ -gram模型，专注于每个位置的几个周围的表示，与Vaswani等人的多头机制。（2017年）。通过序列到序列任务的实验，我们表明，在Transformer中，用多头神经元$n$ -gram替换自我注意可以获得与Transformer相当或更好的性能。从我们提出的方法的各种分析，我们发现，多头神经$n$ -gram是互补的自我注意，和他们的组合可以进一步提高香草Transformer的性能。
2022-07-27 cs.CL
Stochastic Attention Head Removal: A simple and effective method for improving Transformer Based ASR Models
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
最近，基于Transformer的模型已经显示出有竞争力的自动语音识别（ASR）性能。这些模型成功的一个关键因素是多头注意力机制。然而，对于训练好的模型，我们之前已经观察到许多注意力矩阵接近对角线，这表明相应注意力头部的冗余。我们还发现，一些减少注意力头数量的架构具有更好的性能。由于搜索最佳结构的时间限制，我们建议在训练过程中随机删除注意头，并在测试时保留所有注意头，因此最终模型是具有不同架构的模型的集合。所提出的方法还迫使每个头独立地学习最有用的模式。我们应用所提出的方法训练基于Transformer和基于卷积增强的Transformer（Conformer）的ASR模型。我们的方法在华尔街日报，AISHELL，Switchboard和AMI数据集的强基线上提供了一致的性能增益。据我们所知，我们已经在Switchboard和AMI上实现了最先进的基于端到端Transformer的模型性能。
2021-04-06 cs.CL cs.SD eess.AS
The Communication Map of a Transformer
St. John Fisher University（圣约翰费舍尔大学）
该研究提出仅从权重生成语言模型所有潜在通信通道的通信图，通过实验验证其可恢复诱导电路并消除模型的诱导能力，发布了相关工具套件。
2026-09-28 cs.CL cs.LG
RecurFormer: Not All Transformer Heads Need Self-Attention
Nanyang Technological University（南洋理工大学）；The University of New South Wales（新南威尔士大学）；Shanghai Jiao Tong University（上海交通大学）；The College of William and Mary（威廉玛丽学院）
RecurFormer 通过将近期感知的注意力头替换为线性 RNN（Mamba），在保持长程依赖建模和重用预训练权重的同时，显著提升了基于 Transformer 的 LLMs 的推理效率。
2024-10-10 cs.AI cs.CL cs.LG
Rethinking Associative Memory Mechanism in Induction Head
The University of Tokyo（东京大学）
本文从联想记忆视角，理论分析并实验验证了两层Transformer在下一词预测中如何捕获上下文信息并平衡预训练二元语法知识，揭示了归纳头机制的内在运作原理。
2025-07-08 cs.CL cs.LG
Adaptive Sparse and Monotonic Attention for Transformer-based Automatic Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Tsinghua University（清华大学）；The Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
基于自注意和多头注意力的Transformer架构模型在离线端到端自动语音识别（ASR）中取得了显著的成功。然而，自我注意力和多头注意力不能容易地应用于流或在线ASR。针对Transformer语音识别中的自注意问题，基于softmax归一化函数的注意力机制使得语音识别中的重要语音信息无法突出。对于Transformer ASR中的多头注意力，不容易对不同头中的单调对齐进行建模。为了克服这两个限制，我们将稀疏注意力和单调注意力集成到基于transformer的ASR中。稀疏机制引入了一个学习的稀疏方案，使每个自注意力结构，以适应相应的头部更好。单调注意部署正则化以修剪用于多头注意力结构的冗余头。实验结果表明，该方法可以有效地改善语音识别中广泛使用的基准测试的注意力机制。
2022-09-30 cs.AI cs.CL
Head Pursuit: Probing Attention Specialization in Multimodal Transformers
Area Science Park（面积科学公园）；Sapienza University of Rome（罗马萨皮恩扎大学）；Institute of Science and Technology（科学与技术研究所）
本研究通过分析多模态转换器中注意力头的专业化，揭示了模型内部可控的结构，并展示了通过编辑少量头部以增强或抑制特定概念的可行性。
2026-01-14 cs.CL cs.CV cs.LG
What's in your Head? Emergent Behaviour in Multi-Task Transformer Models
Blavatnik School of Computer Science, Tel-Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
自然语言处理中多任务训练的主要范例是用共享的预训练语言模型表示输入，并为每个任务添加一个小而薄的网络（头）。给定输入，目标头部是被选择用于输出最终预测的头部。在这项工作中，我们研究了非目标头的行为，也就是说，头的输出时，给定的输入属于一个不同的任务比他们被训练。我们发现，非目标头表现出紧急的行为，这可以解释目标任务，或概括超出他们原来的任务。例如，在数值推理任务中，跨度提取头从输入中提取参数以进行计算，从而产生由目标生成头生成的数字。此外，用目标问答头训练的摘要头在给定问题和要从中提取答案的上下文时输出基于查询的摘要。这种涌现的行为表明，多任务训练会导致技能的非平凡外推，这可以用于解释性和概括性。
2021-09-05 cs.CL
MiniLMv2: Multi-Head Self-Attention Relation Distillation for Compressing Pretrained Transformers
Microsoft Research（微软研究院）
我们在MiniLM中推广了深度自我注意力蒸馏（Wang et al.，2020）通过仅使用自注意关系蒸馏来对预训练的Transformers进行任务不可知压缩。特别是，我们定义了多头自我注意力的关系，每个自我注意力模块内的查询，键和值向量对之间的缩放点积。然后运用上述相关知识对学生模型进行训练。除了简单和统一的原则，更有利的是，它没有限制的数量方面的学生的注意头，而大多数以前的工作必须保证相同的头数之间的教师和学生。此外，细粒度的自注意关系倾向于充分利用Transformer学习的交互知识。此外，我们彻底研究了教师模型的层选择策略，而不是像MiniLM中那样只依赖最后一层。我们对压缩单语和多语言预训练模型进行了广泛的实验。实验结果表明，我们的模型提取的基础大小和大尺寸的教师（BERT，RoBERTa和XLM-R）优于国家的最先进的。
2021-06-27 cs.CL
Interpreting Transformers Through Attention Head Intervention
Computing and Software, Faculty of Engineering, McMaster University（工程学院计算机与软件系，麦斯特大学）
通过注意力头干预方法，研究变换器的机理可解释性，实现对模型行为的定向控制，提升AI安全性和实用性。
2026-02-26 cs.CL
Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation
University of Helsinki（赫尔辛基大学）
基于transformer的模型给神经机器翻译带来了根本性的变化。Transformer架构的一个关键特性是所谓的多头注意力机制，它允许模型同时关注输入的不同部分。然而，最近的研究表明，大多数注意力头学习简单的，往往是多余的，位置模式。在本文中，我们建议取代所有，但一个注意头的每个编码器层与简单的固定-非学习-专注模式，完全基于位置，不需要任何外部知识。我们对不同数据大小和多语言对的实验表明，在训练时将注意力头固定在Transformer的编码器端不会影响翻译质量，甚至在低资源场景中将BLEU分数提高多达3分。
2020-10-05 cs.CL
Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
Indiana University Bloomington（印第安纳大学布鲁明顿分校）
本研究通过认知科学方法分析不同规模GPT-2模型的注意力分数与输出，发现其注意力头存在类似人类情景记忆的时间连续性等效应，归纳头是连续性效应的关键，揭示Transformer上下文学习中信息时间组织机制。
2025-02-09 cs.AI cs.CL cs.LG
Investigating Neurons and Heads in Transformer-based LLMs for Typographical Errors
NAIST（奈良先端科学技术大学院大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Fujitsu Ltd.（富士通公司）
本文提出识别LLM中处理拼写错误的神经元和注意力头的方法，发现它们利用局部与全局上下文修正错误，并同时参与一般上下文理解。
2025-02-27 cs.CL
DHA: Learning Decoupled-Head Attention from Transformer Checkpoints via Adaptive Heads Fusion
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Baidu Inc.（百度公司）
针对大语言模型中多头注意力推理成本高的问题，提出解耦头注意力DHA机制，通过自适应头分组与相似头线性融合将MHA检查点转换为DHA模型，以极低预训练预算实现性能与效率的更优平衡，训练速度与性能表现优于GQA。
2024-12-07 cs.AI cs.CL cs.LG
Rank, Head-Channel Non-Identifiability, and Symmetry Breaking: A Precise Analysis of Representational Collapse in Transformers
Laboratoire LTI, Université de Picardie Jules Verne, Chemin du Thil, 80025 Amiens, France（里尔理工大学，皮卡第大学朱利斯·弗尔内大学，Thil路，法国阿姆斯泰尔）
本文分析了Transformer中表征崩溃现象，指出层归一化对秩的精确保持，残差连接阻碍秩崩溃，以及头部通道不可识别性等核心贡献。
2026-04-26 cs.CL cs.LG stat.ML
Sentiment analysis with adaptive multi-head attention in Transformer
Northwestern University（西北大学）；Tianjin University（天津大学）
针对传统Transformer多头注意力数量固定的问题，提出能按句子长度档位调整注意力头数的AdaptAttn架构，在电影评论情感分析任务上F1值与基线模型相当。
2024-03-11 cs.CL
The Anxiety of Influence: Bloom Filters in Transformer Attention Heads
研究发现变换器注意力头中存在布洛姆过滤器功能，通过成员测试策略实现高效重复标记识别，且误报率随嵌入距离降低而减少。
2026-02-19 cs.AI cs.CL cs.LG
Efficient Prompt Compression with Evaluator Heads for Long-Context Transformer Inference
Tsinghua University（清华大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文提出无需训练的提示压缩方法EHPC，利用Transformer中能识别关键token的评估器头在预填充阶段快速筛选重要信息，在提示压缩和长上下文推理加速基准上达到最先进水平，有效降低API调用成本。
2025-02-05 cs.CL
Streaming Transformer Transducer Based Speech Recognition Using Non-Causal Convolution
Facebook AI（Facebook 人工智能研究院）
本文利用非因果卷积改进了用于语音识别的流式Transformer变换器。许多工作应用因果卷积来改进流Transformer，忽略了前视上下文。我们建议使用非因果卷积来分别处理中心块和前瞻上下文。该方法利用卷积中的前瞻上下文，并保持类似的训练和解码效率。给定类似的延迟，使用具有前瞻上下文的非因果卷积给出比因果卷积更好的准确性，特别是对于开放域听写场景。此外，本文采用了说话人注意力和一种新的历史上下文压缩方案，以进一步提高性能。说话头注意通过在不同头之间传递信息来改善多个头的自注意。历史上下文压缩方法引入了更多的扩展历史上下文压缩。在我们的内部数据上，所提出的方法在开放域听写、辅助通用场景和辅助调用场景上分别提高了具有前瞻上下文的小Emformer基线的相对WRR 5.1\%、14.5\%、8.4\%。
2021-10-07 cs.CL cs.LG eess.AS
Surgical Repair of Collapsed Attention Heads in ALiBi Transformers
Independent researcher（独立研究者）
在ALiBi变换器中，通过手术重新初始化修复塌陷的注意力头，恢复98.7%的操作能力，并发现预训练配置可能为次优局部极小值。
2026-03-10 cs.CL
The Dual-Stream Transformer: Channelized Architecture for Interpretable Language Modeling
Georgia Tech Research Institute（佐治亚理工学院研究机构）
双流变压器通过分解残差流为两个功能组件，实现可解释性与性能之间的权衡，适用于可解释语言模型。
2026-03-08 cs.AI cs.CL cs.LG
Decoupling Positional and Symbolic Attention Behavior in Transformers
University of Chile（智利大学）；CENIA；Faculty of mathematics UC（数学学院 UC）；IMC UC
本研究针对Transformer中RoPE的注意力行为二分特性，从理论与实证层面定义并量化互斥的位置、符号注意力行为，验证行为与频率使用的因果关联，深化了对RoPE机制的理解。
2025-10-03 cs.AI cs.CL cs.LG
Multiformer: A Head-Configurable Transformer-Based Model for Direct Speech Translation
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
基于transformer的模型已经在自然语言处理的多个领域取得了最先进的成果。然而，它的直接应用到语音任务是不平凡的。这种序列的性质带来了诸如长序列长度和相邻令牌之间的冗余之类的问题。因此，我们认为常规的自我注意机制可能并不适合于它，人们提出了不同的方法来克服这些问题，例如使用有效的注意力机制。然而，这些方法的使用通常伴随着成本，这是由信息丢失引起的性能降低。在这项研究中，我们提出了Multiformer，一个基于transformer的模型，它允许在每个头上使用不同的注意力机制。通过这样做，该模型能够将自我注意力偏向于提取更多样化的令牌交互，并减少信息损失。最后，我们执行的头的贡献的分析，我们观察到，这些架构中的所有头的相关性是均匀分布的获得更好的结果。我们的研究结果表明，沿着不同的头部和层混合注意力模式比我们的基线高出0.7 BLEU。
2022-05-14 cs.AI cs.CL cs.MM
Probing for Bridging Inference in Transformer Language Models
University of Lille（里尔大学）；INRIA Lille（法国国家信息与自动化研究所里尔分部）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；IBM Research Europe（IBM欧洲研究院）
我们探测用于桥接推理的预训练的Transformer语言模型。我们首先考察了BERT中的个体注意头，发现与低层和中层注意头相比，高层注意头更显著地关注桥接关系，并且很少有特定的注意头持续地关注桥接关系。更重要的是，我们认为语言模型作为一个整体，在我们的第二种方法，桥接回指的决议制定为一个掩蔽的令牌预测任务（过完形填空测试）。我们的公式产生了乐观的结果，没有任何微调，这表明预训练的语言模型基本上捕获桥接推理。进一步的研究表明，回指先行词与提供给语言模型的上下文之间的距离在推理中起着重要的作用。
2021-04-19 cs.CL
Multi-Head Attention: Collaborate Instead of Concatenate
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
注意层广泛应用于自然语言处理（NLP）中，并开始影响计算机视觉架构。训练非常大的Transformer模型可以在这两个领域都有显着的改进，但是一旦训练好，这些网络就会显示出过度参数化的症状。例如，已知可以在不影响准确性的情况下修剪许多注意力头部。这项工作旨在加强目前对多个头如何相互作用的理解。出于观察，注意头学习冗余的关键字/查询投影，我们提出了一个合作的多头注意力层，使头部学习共享的投影。我们的方案减少了注意层中的参数数量，可以用作任何Transformer架构中的插入式替代。我们的实验证实，共享密钥/查询维度可以在语言理解，机器翻译和视觉中利用。我们还表明，它是可能的重新参数化一个预先训练的多头注意力层到我们的协作注意力层。协作多头注意力将关键字和查询投影的大小减少了4，以获得相同的精度和速度。代码是公开的。
2021-05-20 cs.CL cs.LG stat.ML
Transformers are Stateless Differentiable Neural Computers
Department of Electrical and Computer Engineering（电气与计算机工程系）；Worcester Polytechnic Institute（沃斯特理工学院）
本文证明因果Transformer层等同于无状态可微神经计算机(sDNC)，并扩展到交叉注意力，为Transformer提供统一的记忆中心解释。
2026-02-27 cs.AI cs.CL cs.CV
Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers
Yale University（耶鲁大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
该研究针对Transformer各模块对上下文学习的贡献不明确的问题，通过分析含相对位置嵌入等的两层注意力Transformer在n-gram马尔可夫链数据上的训练，证明梯度流收敛到由各模块协同实现的广义归纳头极限模型，并经实验验证。
2024-09-09 cs.AI cs.CL cs.LG
Picking the Underused Heads: A Network Pruning Perspective of Attention Head Selection for Fusing Dialogue Coreference Information
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
该研究从网络剪枝视角提出基于层级重要度的注意力头选择策略，通过操控未充分利用的头注入结构感知特征，在对话摘要任务中融入共指信息实现了性能提升，无需额外增加神经组件与参数量。
2023-12-15 cs.CL
Spurious Attention Heads in Vision Transformers: Mechanistic Identification of Annotation-Driven Bias in Medical Chest X-Ray Analysis
Makerere University（马凯雷雷大学）
该研究识别出ViT家族中存在关注医学胸部X射线注释的虚假注意力头，其无法被输出级评估检测，机制审计可发现行为测试遗漏的偏差。
2026-10-16 cs.CL cs.CV
