Asymmetric Attention Heads: Structured Head-Wise Context Allocation for Transformer Attention
本文提出非对称注意力头（AAH）框架，通过分层分组头并分配不同因果局部窗口，在4096-token实验中实现比纯全注意力更低的验证损失，为Transformer注意力提供结构化上下文分配机制。
2026-08-21 cs.AI cs.CL cs.LG
AdaRoPE: Not All Attention Heads Should Rotate and Scale Equally
研究发现Transformer中不同功能的注意力头需不同频率范围和缩放因子，提出AdaRoPE为各头配备可学习参数，实验表明其性能优于现有变体，能更好地进行上下文扩展并保留短上下文性能，凸显在单头级别优化旋转位置嵌入之重要性。
2026-09-14 cs.AI cs.CL
Focusing on Language: Revealing and Exploiting Language Attention Heads in Multilingual Large Language Models
本文提出LAHIS方法，通过分析多语言大语言模型中的注意力头，揭示语言特定与通用头的作用，并通过轻量级适应提升多语言性能。
2025-12-03 cs.AI cs.CL
Information Aggregation for Multi-Head Attention with Routing-by-Agreement
The Chinese University of Hong Kong（香港中文大学）；University of Macau（澳门大学）；Carnegie Mellon University（卡内基梅隆大学）；Tencent AI Lab（腾讯人工智能实验室）
多头注意力因其能够从多个表征子空间中联合提取不同类型的信息而备受关注。关于信息聚合，通常的做法是使用连接，然后进行线性变换，这可能无法充分利用多头注意力的表现力。在这项工作中，我们提出了一个更强大的路由协议算法，以改善多头注意力的信息聚合。具体而言，路由算法基于部分和整体之间的一致性迭代地更新部分（即，从特定子空间学习的不同信息）应该被分配给整体（即，最终输出表示）的比例。语言探测任务和机器翻译任务的实验结果证明了先进的信息聚合比标准的线性变换的优越性。
2019-04-05 cs.AI cs.CL
Sycophancy Hides Linearly in the Attention Heads
MBZUAI, Abu Dhabi, UAE（穆扎伊大学）；RIKEN AIP, Japan（日本理化学研究所AIP）；Tohoku University, Japan（日本东北大学）
研究发现通过线性干预可缓解注意力机制中的谄媚现象，揭示了事实准确性与抵抗倾向的不同机制。
2026-01-23 cs.AI cs.CL
Attention Lens: A Tool for Mechanistically Interpreting the Attention Head Information Retrieval Mechanism
University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）
针对LLM中注意力头作用不明的问题，提出Attention Lens工具，通过学习的特定变换将注意力头输出转换为词汇token，初步发现表明注意力头在语言模型中具有高度专业化角色。
2023-10-25 cs.AI cs.CL cs.LG
Mixture of Attention Heads: Selecting Attention Heads Per Token
Beihang University（北京航空航天大学）；Mila, University of Montreal（蒙特利尔大学米拉研究所）；Tencent（腾讯）
混合专家（MoE）网络已被提出作为一种有效的方式来扩展模型容量和实现条件计算。然而，对MoE组件的研究主要集中在Transformer架构中的前馈层。本文提出了一种新的体系结构-混合注意头（MoA），它将多头注意力与MoE机制相结合。MoA包括一组注意力头，每个注意力头都有自己的一组参数。给定输入，路由器动态地选择每个令牌的$k$注意报头的子集。这种条件计算模式允许MoA实现比标准多头注意力层更强的性能。此外，稀疏门控MoA可以很容易地扩大注意头的数量和参数的数量，同时保持计算效率。除了性能改进之外，MoA还自动区分头部的效用，为讨论模型的可解释性提供了一个新的视角。我们对几个重要任务进行了实验，包括机器翻译和掩蔽语言建模。实验表明，在涉及大型和非常深的模型的强基线上，几个任务的结果很有希望。
2022-10-11 cs.CL
Pit One Against Many: Leveraging Attention-head Embeddings for Parameter-efficient Multi-head Attention
University of Sheffield（谢菲尔德大学）
针对多头注意力内存开销大的问题，提出仅用单个共享投影矩阵和每头嵌入的MHE注意力，在显著降低内存和参数的同时，保持高预测性能。
2023-10-11 cs.CL
Identifying Semantic Induction Heads to Understand In-Context Learning
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）
本文通过分析注意力头对token间句法依赖和知识图谱关系的编码，发现语义归纳头的形成与LLMs上下文学习能力的涌现密切相关，推进了对transformers内部机制的理解。
2024-07-25 cs.AI cs.CL
Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Baidu Inc.（百度公司）
本研究提出无数据稀疏注意力方法 AoH，通过查询-键投影谱几何识别检索头与流头，在 50% 稀疏度下平均保留全注意力 96.5% 性能，同时显著降低 LLM 的计算延迟与 KV-cache 内存。
2026-08-10 cs.AI cs.CL
Explicit Multi-head Attention for Inter-head Interaction in Large Language Models
Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）
本文提出显式多头注意力机制，通过显式建模头间交互提升注意力性能，实现更高效的参数利用和内存压缩，同时保持模型性能。
2026-01-27 cs.AI cs.CL cs.LG
Knocking-Heads Attention
Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）；Westlake University（西湖大学）；Renmin University of China（中国人民大学）
针对多头注意力头间缺乏交互的问题，提出敲头注意力（KHA），通过共享对角初始化投影矩阵实现跨头特征交互，仅增少量参数，在6.1B MoE模型上训练1T token，取得更优且更稳定的训练效果和下游性能。
2025-10-27 cs.CL
Learning to Route Queries to Heads for Attention-based Re-ranking with Large Language Models
McGill University \& MILA Montreal Canada；McGill University \& MILA
本文提出RouteHead方法，通过学习轻量级路由器选择最优头部集合以提升注意力重排序性能，实验表明优于现有基线。
2026-04-27 cs.AI cs.CL cs.IR
Alleviating the Inequality of Attention Heads for Neural Machine Translation
ByteDance AI Lab（字节跳动人工智能实验室）；Nanjing University（南京大学）；Peng Cheng Laboratory（鹏城实验室）
最近的研究表明，《Transformer》中的注意力是不平等的。我们将这种现象与多头注意力的不平衡训练和对特定头部的模型依赖性联系起来。为了解决这个问题，我们提出了一种简单的掩蔽方法：HeadMask，有两种具体的方法。实验表明，翻译的改善实现了多语言对。随后的实证分析也支持了我们的假设，并证实了该方法的有效性。
2022-08-31 cs.CL
Layer-wise Pruning of Transformer Attention Heads for Efficient Language Modeling
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）
虽然基于transformer的模型已经显示出令人印象深刻的语言建模性能，但大量的计算成本通常使实际使用望而却步。注意头修剪技术是解决这一问题的一种有效方法，它可以去除多个注意头中不必要的注意头。然而，它并没有均匀地减少整体负载，因为重前馈模块不受头部修剪的影响。在本文中，我们将逐层注意力头部修剪应用于全注意力Transformer，使得整个计算和参数的数量可以与修剪头部的数量成比例地减少。虽然该架构有可能充分利用头部修剪，我们提出了三种训练方法，特别有助于最大限度地减少性能下降和稳定的修剪过程。我们的修剪模型在WikiText-103语言建模基准测试中显示出比Transformer-XL更低的困惑度。
2021-10-07 cs.CL
MuDAF: Long-Context Multi-Document Attention Focusing through Contrastive Learning on Attention Heads
Microsoft Corporation（微软公司）
针对LLM长上下文中的注意力分散问题，本文提出MuDAF，通过对比学习在注意力头层面优化注意力分布，显著提升多文档长上下文问答性能。
2025-02-19 cs.CL
Safety Alignment Should Be Made More Than Just A Few Attention Heads
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）
本文发现LLM安全对齐过度集中于少数注意力头，提出RDSHA定位安全关键头，并设计AHD训练策略将安全能力分布到更多注意力头，从而提升模型对越狱攻击的鲁棒性。
2025-08-27 cs.AI cs.CL cs.CR
Task-KV: Task-aware KV Cache Optimization via Semantic Differentiation of Attention Heads
College of Artificial Intelligence, NanKai University（南开大学人工智能学院）
提出Task-KV方法，利用注意力头的语义差异为不同任务动态分配KV cache预算，为异质头保留完整预算并为非异质头保留关键信息，显著优于现有基线。
2025-01-25 cs.CL
DHA: Learning Decoupled-Head Attention from Transformer Checkpoints via Adaptive Heads Fusion
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Baidu Inc.（百度公司）
针对大语言模型中多头注意力推理成本高的问题，提出解耦头注意力DHA机制，通过自适应头分组与相似头线性融合将MHA检查点转换为DHA模型，以极低预训练预算实现性能与效率的更优平衡，训练速度与性能表现优于GQA。
2024-12-07 cs.AI cs.CL cs.LG
Do Multilingual Neural Machine Translation Models Contain Language Pair Specific Attention Heads?
NAVER LABS Europe（NAVER欧洲实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；LIG（格勒诺布尔信息学实验室）
最近的多语言表示分析的研究集中在确定是否出现了语言无关的表示，或是否一个多语言模型划分其权重之间的不同语言。虽然大多数此类工作都是以“黑箱”方式进行的，但本文旨在分析多语言神经翻译（NMT）模型的各个组件。特别是，我们研究了编码器自我注意力和编码器-解码器注意力头（在多对一NMT模型中），这些注意力头比其他注意力头更具体地针对某个语言对的翻译，方法是（1）采用量化注意力权重的某些方面的度量，如“方差”或“置信度”，以及（2）系统地对注意力头相对于翻译质量的重要性进行排名。实验结果表明，令人惊讶的是，最重要的注意力中心语的集合在语言对之间非常相似，并且可以在不严重损害翻译质量的情况下删除近三分之一的不太重要的中心语。
2021-05-31 cs.AI cs.CL cs.LG
Picking the Underused Heads: A Network Pruning Perspective of Attention Head Selection for Fusing Dialogue Coreference Information
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
该研究从网络剪枝视角提出基于层级重要度的注意力头选择策略，通过操控未充分利用的头注入结构感知特征，在对话摘要任务中融入共指信息实现了性能提升，无需额外增加神经组件与参数量。
2023-12-15 cs.CL
Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned
Yandex（扬德克斯）；University of Amsterdam（阿姆斯特丹大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
多头自注意是Transformer的关键组件，它是神经机器翻译的最新架构。在这项工作中，我们评估了编码器中的各个注意头对模型整体性能的贡献，并分析了它们所扮演的角色。我们发现，最重要和最自信的头扮演一致的，往往是语言解释的角色。当使用基于随机门和L0惩罚的可微松弛的方法修剪头部时，我们观察到专门的头部最后被修剪。我们的新修剪方法删除了绝大多数的头部，而不会严重影响性能。例如，在英语-俄语WMT数据集上，修剪48个编码器头中的38个导致仅0.15 BLEU的下降。
2019-06-07 cs.CL
Multi-Head Decoder for End-to-End Speech Recognition
Nagoya University（名古屋大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种新的网络结构称为多头解码器的端到端语音识别作为一个扩展的多头注意力模型。在多头注意力模型中，计算多个注意力，然后将它们整合为单个注意力。另一方面，我们提出的方法不是在注意力水平上进行整合，而是对每个注意力使用多个解码器，并整合它们的输出以生成最终输出。此外，为了使每个头部捕捉不同的模态，不同的注意力函数被用于每个头部，导致识别性能的提高与集成效应。为了评估我们所提出的方法的有效性，我们进行了实验评估使用语料库的自发日语。实验结果表明，我们提出的方法优于传统的方法，如基于位置和多头注意力模型，它可以捕获不同的语音/语言上下文内的注意力为基础的编码器-解码器框架。
2018-07-28 cs.CL
Analyzing the Attention Heads for Pronoun Disambiguation in Context-aware Machine Translation Models
Maastricht University（马斯特里赫特大学）
本文分析上下文感知机器翻译模型中注意力头对代词消歧的影响，发现部分头未充分利用，微调后准确率提升最多5个百分点。
2024-12-15 cs.AI cs.CL cs.LG
Sparse Attention Decomposition Applied to Circuit Tracing
Boston University（波士顿大学）
本研究提出基于注意力头矩阵奇异向量的稀疏注意力分解方法，分离识别GPT-2 small中注意力头通信特征，在IOI任务电路追踪中发现更多冗余路径细节与通信特征。
2024-10-28 cs.AI cs.CL cs.LG
Multi-Head Self-Attention with Role-Guided Masks
University of Copenhagen（哥本哈根大学）
学习单词的有意义语义表征的最新技术是Transformer模型及其注意力机制。简单地说，注意力机制学会关注输入的特定部分，从而消除重复和回旋。虽然一些习得的注意头被发现扮演着语言学上可解释的角色，但它们可能是多余的或容易出错。我们提出了一种方法来引导注意力的头部对在以前的工作中确定的角色作为重要的。我们通过定义特定于角色的掩码来约束头部，使其专注于输入的特定部分，从而使不同的头部被设计为扮演不同的角色。使用7个不同的数据集进行文本分类和机器翻译的实验表明，我们的方法优于基于注意力的竞争，CNN和RNN基线。
2020-12-22 cs.CL
Do Attention Heads in BERT Track Syntactic Dependencies?
New York University（纽约大学）；Verisk Analytics（Verisk分析公司）
我们研究了在预训练的Transformer语言模型（如BERT和RoBERTa）中，个体注意力在多大程度上隐式地捕获句法依赖关系。我们采用两种方法-采取最大的注意力权重和计算最大生成树-提取隐含的依赖关系，从每个层/头的注意力权重，并将它们与地面真理通用依赖（UD）树进行比较。我们发现，对于一些UD关系类型，存在头部，可以恢复的依赖类型显着优于基线上解析的英文文本，这表明一些自我注意头作为代理的句法结构。我们还分析了BERT微调两个数据集--面向语法的CoLA和面向语义的MNLI--调查微调是否会影响他们的自我注意力的模式，但我们没有观察到使用我们的方法提取的整体依赖关系的实质性差异。我们的研究结果表明，这些模型有一些专业的注意力头，跟踪个别的依赖类型，但没有通才头，执行整体解析显着优于一个平凡的基线，并直接分析注意力权重可能不会揭示很多的句法知识，BERT风格的模型是已知的学习。
2019-11-27 cs.CL
Scaling Parameter and Context in Attention: Native Sparse Attention from Mixture-of-Head
Peking University（北京大学）
提出NAMOH稀疏注意力机制，通过每词元激活K个头的设计，实现参数缩放直接驱动上下文缩放，在相同参数下超越全激活模型并提升长上下文推理效率。
2026-10-01 cs.CL
Measuring Affinity between Attention-Head Weight Subspaces via the Projection Kernel
Kyoto University（京都大学）；RIKEN AIP（理化学研究所AIP）
本文提出通过投影核测量注意力头权重子空间间的亲和力，以更准确地捕捉Transformer内部结构关系。
2026-11-03 cs.CL
Analysis of Self-Attention Head Diversity for Conformer-based Automatic Speech Recognition
Google LLC（谷歌有限责任公司）
注意层是现代端到端自动语音识别系统的组成部分，例如作为Transformer或Conformer架构的一部分。注意力通常是多头的，其中每个头具有学习参数的独立集并且对相同的输入特征序列进行操作。多头注意的输出是来自各个头的输出的融合。我们实证分析了不同的注意头所产生的表征之间的差异，并证明了头部在训练过程中变得高度相关。我们研究了几种增加注意力头部多样性的方法，包括对每个头部使用不同的注意力机制和辅助训练损失函数来促进头部多样性。我们发现，在训练过程中引入多样性促进辅助损失函数是一种更有效的方法，并获得WER相对于Libri语音语料库的6%的改善。最后，我们得出了注意头的多样性和头部参数梯度的相似性之间的联系。
2022-09-13 cs.CL cs.SD eess.AS
A Dynamic Head Importance Computation Mechanism for Neural Machine Translation
International Institute of Information Technology - Hyderabad（海得拉巴国际信息技术学院）
使用多个注意力头的多个并行注意力机制促进了用于各种应用的Transformer模型的更大性能，神经机器翻译（NMT），文本分类。在多头注意力机制中，不同的头注意输入的不同部分。然而，限制是多个磁头可能会处理输入的同一部分，导致多个磁头冗余。因此，模型资源未得到充分利用。避免这种情况的一种方法是基于某个重要性分数来修剪最不重要的头部。在这项工作中，我们专注于设计一个动态的头部重要性计算机制（DHICM），动态地计算相对于输入的头部的重要性。我们的想法是设计一个额外的注意力层与多头注意力，并利用输出的多头注意力与输入，计算每个头的重要性。此外，我们增加了一个额外的损失函数，以防止模型分配相同的分数给所有的头，以识别更重要的头和即兴表演。我们分析了不同语言的NMT的DHICM的性能。在不同数据集上的实验表明，DHICM的性能明显优于传统的基于transformer的方法，特别是在训练数据较少的情况下。
2021-08-03 cs.CL
Are Neighbors Enough? Multi-Head Neural n-gram can be Alternative to Self-attention
Tokyo Institute of Technology（东京工业大学）
Transformer令人印象深刻的性能归因于自我关注，其中在每个位置都考虑了序列中整个输入之间的依赖关系。在这项工作中，我们改革的神经$n$ -gram模型，专注于每个位置的几个周围的表示，与Vaswani等人的多头机制。（2017年）。通过序列到序列任务的实验，我们表明，在Transformer中，用多头神经元$n$ -gram替换自我注意可以获得与Transformer相当或更好的性能。从我们提出的方法的各种分析，我们发现，多头神经$n$ -gram是互补的自我注意，和他们的组合可以进一步提高香草Transformer的性能。
2022-07-27 cs.CL
Sentiment analysis with adaptive multi-head attention in Transformer
Northwestern University（西北大学）；Tianjin University（天津大学）
针对传统Transformer多头注意力数量固定的问题，提出能按句子长度档位调整注意力头数的AdaptAttn架构，在电影评论情感分析任务上F1值与基线模型相当。
2024-03-11 cs.CL
Do Transformer Attention Heads Provide Transparency in Abstractive Summarization?
University of Amsterdam（阿姆斯特丹大学）；De Persgroep（荷兰Persgroep集团）
学习算法变得更加强大，但往往以增加复杂性为代价。作为回应，对算法透明的需求正在增长。在NLP任务中，通过基于注意力的深度学习模型学习的注意力分布用于获得对模型行为的洞察。这种观点在多大程度上适用于所有NLP任务？我们调查是否分布计算不同的注意头在一个Transformer架构可以用来提高抽象摘要的任务的透明度。为此，我们提出了一个定性和定量的分析，以调查的注意头的行为。我们发现，一些注意头确实专门对句法和语义不同的输入。我们提出了一种方法来评估Transformer模型在多大程度上依赖于专门学习的注意力分布。我们还讨论了这意味着使用注意力分配作为一种手段的透明度。
2019-07-08 cs.AI cs.CL cs.IR
Data-Efficient Adaptation of LLMs via Attention Head Reweighting
针对大语言模型在有限数据学习中的难题，提出注意力头重新加权（AHR）方法，通过为每个注意力头学习单个标量来适应新任务，大幅减少需学习的参数，实验表明该方法在有限样本学习时优于标准基线，且权重易解释。
2026-07-16 cs.AI cs.CL cs.LG
Plausibility Processing in Transformer Language Models: Focusing on the Role of Attention Heads in GPT
University of Michigan（密歇根大学）
本文探索Transformer语言模型如何处理名词与动词关系的合理性，发现GPT2与人类处理方式高度相似，并证实其内部多个注意力头共同因果地促成了这种合理性处理能力。
2023-10-20 cs.CL
Have Attention Heads in BERT Learned Constituency Grammar?
Uppsala University（乌普萨拉大学）
近年来，随着预训练语言模型的成功，越来越多的研究者开始关注如何打开这些模型的“黑箱”。基于这种兴趣，我们对BERT和RoBERTa的注意中心语中的选区语法进行了定性和定量分析。我们采用句法距离的方法来提取隐含的选区语法的注意力权重的每个头。我们的研究结果表明，存在的头，可以诱导一些语法类型比基线好得多，这表明，一些头作为选民语法的代理。我们还分析了在句子语义相似性（SMS）和自然语言推理（NLI）两种任务下，注意中心成分语法诱导（CGI）能力在微调后的变化。我们的结果表明SMS任务降低了上层的平均CGI能力，而NLI任务提高了上层的平均CGI能力。最后，我们考察了QQP和MNLI任务中CGI能力与自然语言理解能力之间的关系。
2021-06-02 cs.CL
Assortment of Attention Heads: Accelerating Federated PEFT with Head Pruning and Strategic Client Selection
Department of Electrical Engineering, Yale University（耶鲁大学电气工程系）；Intel Labs（英特尔实验室）
提出一种在联邦学习框架内通过头剪枝、特定头加权聚合和客户端选择策略加速大型语言模型PEFT的方法，在保持准确率的同时大幅降低通信与训练开销。
2025-05-31 cs.AI cs.CL cs.DC
Which Attention Heads Matter for In-Context Learning?
UC Berkeley（加州大学伯克利分校）
本研究比较了12个语言模型中的归纳头和函数向量（FV）头，发现少样本ICL性能主要依赖FV头，且FV头在训练中多由归纳头转变而来，表明归纳机制促进了驱动ICL的复杂FV机制的学习。
2025-02-19 cs.AI cs.CL cs.LG
CNRL at SemEval-2020 Task 5: Modelling Causal Reasoning in Language with Multi-Head Self-Attention Weights based Counterfactual Detection
BITS Pilani（比尔拉科学技术学院）
在本文中，我们描述了一种方法，通过使用多头自注意权重检测文本中的反事实，在自然语言的因果推理建模。我们使用预训练的Transformer模型从文本中提取上下文嵌入和自我注意力权重。我们展示了卷积层的使用，从这些自我注意力权重中提取特定于任务的特征。此外，我们描述了一个微调的方法与一个共同的基础模型之间的知识共享的两个密切相关的子任务反事实检测。我们在实验中分析和比较了各种Transformer模型的性能。最后，我们进行了定性分析与多头自我注意力的权重来解释我们的模型的动力学。
2020-05-31 cs.CL
Multi-head or Single-head? An Empirical Comparison for Transformer Training
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
多头注意力在最近Transformer模型的成功中起着至关重要的作用，这导致了在各种应用中相对于传统注意力的一致性能改进。普遍的看法是，这种有效性源于共同参加多个职位的能力。在本文中，我们首先证明，共同出席多个位置是不是一个独特的特点，多头注意力，作为多层次的单头注意也出席多个位置，更有效。然后，我们认为多头注意力的主要优点是训练的稳定性，因为它具有较少的层数比单头注意，当出席相同数量的位置。例如，24层16头Transformer（BERT-large）和384层单头Transformer的总关注头数相同，模型尺寸大致相同，而多头的要明显浅一些。同时，我们表明，随着深度学习的最新进展，我们可以成功地稳定384层Transformer的训练。由于训练难度不再是瓶颈，因此更深的单头Transformer实现了一致的性能改进，而无需调整超参数。
2021-06-17 cs.CL cs.LG
Inferring Functionality of Attention Heads from their Parameters
Blavatnik School of Computer Science, Tel Aviv University（巴尔-以色列计算机科学学院，特拉维夫大学）
本文提出 MAPS 框架，无需训练或推理即可从注意力头参数推断其功能，在多个 LLM 上验证了其估计与推理输出相关且具有因果性，并揭示了被忽视的注意力头功能及架构偏好。
2025-06-01 cs.CL
Heads-up! Unsupervised Constituency Parsing via Self-Attention Heads
University of Edinburgh（爱丁堡大学）；Seoul National University（首尔国立大学）
基于transformer的预训练语言模型（PLM）在许多任务中显着改善了NLP的最新技术水平。这导致了对分析PLM学习的语法知识的浓厚兴趣。以前解决这个问题的方法是有限的，主要是使用测试套件或探测器。在这里，我们提出了一种新的完全无监督的解析方法，提取选区树PLM注意头。我们根据Transformer注意力头部的固有属性对其进行排名，并创建一个高排名头部的集合来生成最终的树。我们的方法适用于低资源语言，因为它不依赖于开发集，这可能是昂贵的注释。我们的实验表明，所提出的方法往往优于现有的方法，如果没有开发集。我们的无监督解析器也可以用作分析PLM隐式学习的语法的工具。为此，我们使用我们的方法诱导的解析树来训练神经PCFG，并将其与来自人类注释树库的语法进行比较。
2020-10-19 cs.CL
Magnitude Profile Pruning: Calibration-Free Structured Attention Head Removal for Transformer Compression
提出无校准的注意力头重要性评分方法MP及GQA变体MP-G，通过权重范数统计异常值检测剪枝，在多个模型上匹配或超越数据依赖方法，实现零成本结构化剪枝。
2026-09-23 cs.AI cs.CL cs.LG
Improving Multi-Head Attention with Capsule Networks
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
多头注意力通过在不同的子空间中计算出多个版本的注意力来推进神经机器翻译，但忽视子空间之间的语义重叠增加了翻译的难度，从而阻碍了翻译性能的进一步提高。本文利用胶囊网络对多个注意力头部的信息进行梳理，从而实现相似信息的聚类和独特信息的保留。为此，我们采用了动态路由和EM路由两种路由机制，以实现分簇和分离。我们对汉英和英德翻译任务进行了实验，并在强Transformer基线上获得了一致的改善。
2019-08-31 cs.CL
Attention Head Masking for Inference Time Content Selection in Abstractive Summarization
University of Michigan（密歇根大学）
如何在基于transformer的抽象摘要模型中有效地通知内容选择？在这项工作中，我们提出了一个简单而有效的注意头掩蔽技术，这是适用于编码器-解码器的注意力，以查明在推理时间的显着内容。利用注意力头部掩蔽，我们能够揭示编码器-解码器注意力和摘要模型的内容选择行为之间的关系。然后，我们证明了其有效性的三个文档摘要数据集的基础上，在域和跨域设置。重要的是，我们的模型在CNN/Daily Mail和New York Times数据集上的表现优于之前最先进的模型。此外，我们的推理时间掩蔽技术也是数据高效的，只需要20%的训练样本就可以在完整的CNN/DailyMail数据集上超越BART微调。
2021-04-06 cs.CL
On The Alignment Problem In Multi-Head Attention-Based Neural Machine Translation
RWTH Aachen University（亚琛工业大学）
本文研究了基于Transformer结构的多头注意力模型中的对齐问题。我们证明，对准提取Transformer模型可以通过增加一个额外的对准头的多头源到目标的注意力组件。这用于计算更清晰的注意力权重。我们描述了如何使用对准头来实现有竞争力的性能。为了研究添加对齐头的效果，我们模拟了一个字典引导的翻译任务，其中用户希望使用预定义的字典条目来指导翻译。使用所提出的方法，我们实现了$3.8$ % BLEU的改善时，使用的字典相比，在基线情况下的$2.4$ % BLEU。我们还提出了对齐修剪，以加快解码基于语义的神经机器翻译（ANMT），这加快了翻译的一个因素的$1.8$没有损失的翻译性能。我们在共享的WMT 2016英语$\to$罗马尼亚语新闻任务和BOLT中文$\to$英语论坛任务上进行实验。
2018-09-11 cs.CL
Multi-Head Attention: Collaborate Instead of Concatenate
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
注意层广泛应用于自然语言处理（NLP）中，并开始影响计算机视觉架构。训练非常大的Transformer模型可以在这两个领域都有显着的改进，但是一旦训练好，这些网络就会显示出过度参数化的症状。例如，已知可以在不影响准确性的情况下修剪许多注意力头部。这项工作旨在加强目前对多个头如何相互作用的理解。出于观察，注意头学习冗余的关键字/查询投影，我们提出了一个合作的多头注意力层，使头部学习共享的投影。我们的方案减少了注意层中的参数数量，可以用作任何Transformer架构中的插入式替代。我们的实验证实，共享密钥/查询维度可以在语言理解，机器翻译和视觉中利用。我们还表明，它是可能的重新参数化一个预先训练的多头注意力层到我们的协作注意力层。协作多头注意力将关键字和查询投影的大小减少了4，以获得相同的精度和速度。代码是公开的。
2021-05-20 cs.CL cs.LG stat.ML
Acceleration Multiple Heads Decoding for LLM via Dynamic Tree Attention
针对大语言模型多头解码，在MEDUSA框架下用动态树注意力替代固定树注意力，以简单低复杂度策略构建动态树生成候选，实验显示在保持生成质量的同时提升了解码效率，证明了多头解码候选生成的改进潜力。
2025-02-09 cs.CL cs.CV
Successor Heads: Recurring, Interpretable Attention Heads In The Wild
University of Cambridge（剑桥大学）
本研究提出并验证了大语言模型中普遍存在的可解释“后继头”注意力组件，揭示其跨架构通用的mod-10数值表征机制，为理解LLM内部运算逻辑提供了新视角。
2023-12-14 cs.AI cs.CL cs.LG
SAS: Simulated Attention Score
Morgan Stanley（摩根大通）；Stanford（斯坦福大学）；Microsoft Research（微软研究院）；NUS（新加坡国立大学）；UT Austin（得克萨斯大学奥斯汀分校）；HKU（香港大学）
SAS通过模拟更多注意力头和特征维度，以低成本提升模型性能，同时保持参数效率。
2025-11-25 cs.CL
Understanding Multi-Head Attention in Abstractive Summarization
DPG Media（DPG传媒）；University of Amsterdam（阿姆斯特丹大学）
深度学习架构中的注意力机制通常被用作透明的手段，因此，可以揭示架构的内部工作原理。最近，人们越来越关注这种假设是否正确。在本文中，我们调查的可解释性多头注意力在抽象摘要，序列到序列的任务，注意力没有一个直观的对齐的作用，如在机器翻译。我们首先介绍了三个指标，以获得洞察力的关注头的焦点，并观察到这些头专门对相对位置，特定的词性标签，命名实体。然而，我们也发现，烧蚀和修剪这些头不会导致性能显着下降，这表明冗余。通过将softmax激活函数替换为sparsemax激活函数，我们发现注意力头的行为似乎更透明：我们可以消融更少的头，头在我们的可解释性指标上得分更高。然而，如果我们将修剪应用于sparsemax模型，我们发现我们可以修剪更多的头部，这就提出了一个问题，即强制稀疏性是否真的提高了透明度。最后，我们发现，相对位置头似乎不可或缺的摘要性能和持久保持修剪后。
2019-11-10 cs.CL cs.LG
Generating Diverse Translation by Manipulating Multi-Head Attention
Nanjing University（南京大学）
Transformer模型在机器翻译任务中得到了广泛的应用，并取得了很好的效果。在本文中，我们报告了一个有趣的现象，在其编码器-解码器的多头注意力：不同的注意头的最终解码器层对齐不同的单词翻译候选。我们经验验证了这一发现，并提出了一种方法来产生不同的翻译操纵头。此外，我们利用这些不同的翻译与回译技术更好的数据增强。实验结果表明，我们的方法产生不同的翻译没有严重下降的翻译质量。实验还表明，这些不同的翻译回译可以带来显着的提高翻译任务的性能。会话反应生成任务的辅助实验也证明了多样性的影响。
2019-11-21 cs.CL
Are Sixteen Heads Really Better than One?
Carnegie Mellon University（卡内基梅隆大学）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）
注意力是一种强大且无处不在的机制，它允许神经模型在进行预测时通过加权平均来关注特定的突出信息。特别是，多头注意力是许多最近最先进的NLP模型（如基于transformer的MT模型和BERT）背后的驱动力。这些模型并行地应用多个注意力机制，每个注意力“头”潜在地集中在输入的不同部分，这使得有可能表达超出简单加权平均值的复杂函数。在本文中，我们做出了令人惊讶的观察，即使模型已经使用多个头部进行了训练，在实践中，很大一部分注意力头部可以在测试时被移除，而不会显著影响性能。事实上，有些层甚至可以减少到一个头。我们进一步研究了用于修剪模型的贪心算法，以及由此获得的潜在速度、存储器效率和准确性改进。最后，我们分析了模型的哪些部分更依赖于多个头部的结果，并提供了初步证据，证明训练动态在多头注意力提供的收益中发挥了作用。
2019-11-04 cs.CL
