Localizing Task Recognition and Task Learning in In-Context Learning via Attention Head Analysis
University of Chicago(芝加哥大学);Tohoku University(东北大学);RIKEN(日本研究机构);JAIST(日本产业技术综合研究所)
本文通过分析注意力头,提出任务子空间logit归因框架,揭示大语言模型在上下文学习中任务识别与任务学习的独立作用机制。
2026-04-30 cs.CL
HiFi: High-Information Attention Heads Hold for Parameter-Efficient Model Adaptation
Xiamen University(厦门大学)
本文提出参数高效微调方法HiFi,仅微调信息丰富且相关性强的注意力头,通过图建模和PageRank算法识别重要头部,在GLUE基准上取得最优性能。
2023-05-08 cs.CL
AttentionInfluence: Adopting Attention Head Influence for Weak-to-Strong Pretraining Data Selection
ByteDance Seed(字节跳动 Seed)
本文提出无需监督的 AttentionInfluence,利用小模型检索头掩码后的损失差异筛选推理数据,并显著提升7B模型在多项知识与推理基准上的表现。
2025-05-12 cs.CL
Align Attention Heads Before Merging Them: An Effective Way for Converting MHA to GQA
Beihang University(北航大学);OPPO AI Center(OPPO人工智能中心)
本文提出先用 Procrustes 分析对齐注意力头、再以 $L_0$ 正则化剪枝的 MHA 转 GQA 方法,可在任意 KV 头压缩比下显著减少缓存并保持可接受性能。
2025-07-26 cs.CL
Acceleration Multiple Heads Decoding for LLM via Dynamic Tree Attention
针对大语言模型多头解码,在MEDUSA框架下用动态树注意力替代固定树注意力,以简单低复杂度策略构建动态树生成候选,实验显示在保持生成质量的同时提升了解码效率,证明了多头解码候选生成的改进潜力。
2025-02-09 cs.CL cs.CV
Attention Sink Forges Native MoE in Attention Layers: Sink-Aware Training to Address Head Collapse
Institute for Artificial Intelligence, Peking University, Beijing(人工智能研究院,北京大学,北京);School of Integrated Circuits, Peking University, Beijing(集成电路学院,北京大学,北京)
本文通过理论和实证证明注意力汇聚自然构建了注意力层内的混合专家机制,并提出汇聚感知训练算法以缓解头部坍塌问题,提升模型性能。
2026-05-27 cs.CL cs.LG
ProxyAttn: Guided Sparse Attention via Representative Heads
Harbin Institute of Technology(哈尔滨工业大学);Baidu Inc.(百度公司)
本文提出ProxyAttn,一种无需训练的稀疏注意力算法,通过压缩注意力头维度实现更精确的块估计,结合代表性头得分和多头动态预算,提升长文本任务的效率和性能。
2026-03-31 cs.CL cs.LG
AdaRoPE: Not All Attention Heads Should Rotate and Scale Equally
研究发现Transformer中不同功能的注意力头需不同频率范围和缩放因子,提出AdaRoPE为各头配备可学习参数,实验表明其性能优于现有变体,能更好地进行上下文扩展并保留短上下文性能,凸显在单头级别优化旋转位置嵌入之重要性。
2026-09-14 cs.AI cs.CL
Focusing on Language: Revealing and Exploiting Language Attention Heads in Multilingual Large Language Models
本文提出LAHIS方法,通过分析多语言大语言模型中的注意力头,揭示语言特定与通用头的作用,并通过轻量级适应提升多语言性能。
2025-12-03 cs.AI cs.CL
Explicit Multi-head Attention for Inter-head Interaction in Large Language Models
Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学)
本文提出显式多头注意力机制,通过显式建模头间交互提升注意力性能,实现更高效的参数利用和内存压缩,同时保持模型性能。
2026-01-27 cs.AI cs.CL cs.LG
Semantic Head Specialization Guides Hybrid ViT Attention for Multimodal LLMs
Peking University(北京大学);Xiaomi Corporation(小米公司);The University of Hong Kong(香港大学)
该研究针对多模态LLM中混合ViT注意力设计不足的问题,提出语义头专业化(SHS)概念,据此设计Ariadne注意力机制,在22项图像视频任务上性能与全注意力相当,计算量降低6.5倍。
2026-08-31 cs.CL cs.CV
Learning to Route Queries to Heads for Attention-based Re-ranking with Large Language Models
McGill University \& MILA Montreal Canada;McGill University \& MILA
本文提出RouteHead方法,通过学习轻量级路由器选择最优头部集合以提升注意力重排序性能,实验表明优于现有基线。
2026-04-27 cs.AI cs.CL cs.IR
Safety Alignment Should Be Made More Than Just A Few Attention Heads
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院)
本文发现LLM安全对齐过度集中于少数注意力头,提出RDSHA定位安全关键头,并设计AHD训练策略将安全能力分布到更多注意力头,从而提升模型对越狱攻击的鲁棒性。
2025-08-27 cs.AI cs.CL cs.CR
DHA: Learning Decoupled-Head Attention from Transformer Checkpoints via Adaptive Heads Fusion
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Baidu Inc.(百度公司)
针对大语言模型中多头注意力推理成本高的问题,提出解耦头注意力DHA机制,通过自适应头分组与相似头线性融合将MHA检查点转换为DHA模型,以极低预训练预算实现性能与效率的更优平衡,训练速度与性能表现优于GQA。
2024-12-07 cs.AI cs.CL cs.LG
Identifying Semantic Induction Heads to Understand In-Context Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
本文通过分析注意力头对token间句法依赖和知识图谱关系的编码,发现语义归纳头的形成与LLMs上下文学习能力的涌现密切相关,推进了对transformers内部机制的理解。
2024-07-25 cs.AI cs.CL
Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing University of Posts and Telecommunications(北京邮电大学);Baidu Inc.(百度公司)
本研究提出无数据稀疏注意力方法 AoH,通过查询-键投影谱几何识别检索头与流头,在 50% 稀疏度下平均保留全注意力 96.5% 性能,同时显著降低 LLM 的计算延迟与 KV-cache 内存。
2026-08-10 cs.AI cs.CL
Data-Efficient Adaptation of LLMs via Attention Head Reweighting
针对大语言模型在有限数据学习中的难题,提出注意力头重新加权(AHR)方法,通过为每个注意力头学习单个标量来适应新任务,大幅减少需学习的参数,实验表明该方法在有限样本学习时优于标准基线,且权重易解释。
2026-07-16 cs.AI cs.CL cs.LG
Which Attention Heads Matter for In-Context Learning?
UC Berkeley(加州大学伯克利分校)
本研究比较了12个语言模型中的归纳头和函数向量(FV)头,发现少样本ICL性能主要依赖FV头,且FV头在训练中多由归纳头转变而来,表明归纳机制促进了驱动ICL的复杂FV机制的学习。
2025-02-19 cs.AI cs.CL cs.LG
On the Role of Attention Heads in Large Language Model Safety
Tongyi Lab(通义实验室);USTC(中国科学技术大学);Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
本文提出安全头重要性分数(Ships)与安全注意力头归因算法(Sahara),揭示注意力头对LLM安全的关键作用:消融单个安全头仅修改0.006%参数即可使有害查询响应增加16倍,为安全机制可解释性提供新视角。
2025-02-24 cs.AI cs.CL cs.CR
Successor Heads: Recurring, Interpretable Attention Heads In The Wild
University of Cambridge(剑桥大学)
本研究提出并验证了大语言模型中普遍存在的可解释“后继头”注意力组件,揭示其跨架构通用的mod-10数值表征机制,为理解LLM内部运算逻辑提供了新视角。
2023-12-14 cs.AI cs.CL cs.LG
Mixture of Attention Heads: Selecting Attention Heads Per Token
Beihang University(北京航空航天大学);Mila, University of Montreal(蒙特利尔大学米拉研究所);Tencent(腾讯)
混合专家(MoE)网络已被提出作为一种有效的方式来扩展模型容量和实现条件计算。然而,对MoE组件的研究主要集中在Transformer架构中的前馈层。本文提出了一种新的体系结构-混合注意头(MoA),它将多头注意力与MoE机制相结合。MoA包括一组注意力头,每个注意力头都有自己的一组参数。给定输入,路由器动态地选择每个令牌的$k$注意报头的子集。这种条件计算模式允许MoA实现比标准多头注意力层更强的性能。此外,稀疏门控MoA可以很容易地扩大注意头的数量和参数的数量,同时保持计算效率。除了性能改进之外,MoA还自动区分头部的效用,为讨论模型的可解释性提供了一个新的视角。我们对几个重要任务进行了实验,包括机器翻译和掩蔽语言建模。实验表明,在涉及大型和非常深的模型的强基线上,几个任务的结果很有希望。
2022-10-11 cs.CL
Alleviating the Inequality of Attention Heads for Neural Machine Translation
ByteDance AI Lab(字节跳动人工智能实验室);Nanjing University(南京大学);Peng Cheng Laboratory(鹏城实验室)
最近的研究表明,《Transformer》中的注意力是不平等的。我们将这种现象与多头注意力的不平衡训练和对特定头部的模型依赖性联系起来。为了解决这个问题,我们提出了一种简单的掩蔽方法:HeadMask,有两种具体的方法。实验表明,翻译的改善实现了多语言对。随后的实证分析也支持了我们的假设,并证实了该方法的有效性。
2022-08-31 cs.CL
Layer-wise Pruning of Transformer Attention Heads for Efficient Language Modeling
Seoul National University(首尔国立大学);Hanyang University(汉阳大学)
虽然基于transformer的模型已经显示出令人印象深刻的语言建模性能,但大量的计算成本通常使实际使用望而却步。注意头修剪技术是解决这一问题的一种有效方法,它可以去除多个注意头中不必要的注意头。然而,它并没有均匀地减少整体负载,因为重前馈模块不受头部修剪的影响。在本文中,我们将逐层注意力头部修剪应用于全注意力Transformer,使得整个计算和参数的数量可以与修剪头部的数量成比例地减少。虽然该架构有可能充分利用头部修剪,我们提出了三种训练方法,特别有助于最大限度地减少性能下降和稳定的修剪过程。我们的修剪模型在WikiText-103语言建模基准测试中显示出比Transformer-XL更低的困惑度。
2021-10-07 cs.CL
Picking the Underused Heads: A Network Pruning Perspective of Attention Head Selection for Fusing Dialogue Coreference Information
Institute for Infocomm Research, A*STAR(资讯通信研究院,新加坡科技研究局)
该研究从网络剪枝视角提出基于层级重要度的注意力头选择策略,通过操控未充分利用的头注入结构感知特征,在对话摘要任务中融入共指信息实现了性能提升,无需额外增加神经组件与参数量。
2023-12-15 cs.CL
Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned
Yandex(扬德克斯);University of Amsterdam(阿姆斯特丹大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);University of Edinburgh(爱丁堡大学);University of Zurich(苏黎世大学)
多头自注意是Transformer的关键组件,它是神经机器翻译的最新架构。在这项工作中,我们评估了编码器中的各个注意头对模型整体性能的贡献,并分析了它们所扮演的角色。我们发现,最重要和最自信的头扮演一致的,往往是语言解释的角色。当使用基于随机门和L0惩罚的可微松弛的方法修剪头部时,我们观察到专门的头部最后被修剪。我们的新修剪方法删除了绝大多数的头部,而不会严重影响性能。例如,在英语-俄语WMT数据集上,修剪48个编码器头中的38个导致仅0.15 BLEU的下降。
2019-06-07 cs.CL
Multi-Head Decoder for End-to-End Speech Recognition
Nagoya University(名古屋大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出了一种新的网络结构称为多头解码器的端到端语音识别作为一个扩展的多头注意力模型。在多头注意力模型中,计算多个注意力,然后将它们整合为单个注意力。另一方面,我们提出的方法不是在注意力水平上进行整合,而是对每个注意力使用多个解码器,并整合它们的输出以生成最终输出。此外,为了使每个头部捕捉不同的模态,不同的注意力函数被用于每个头部,导致识别性能的提高与集成效应。为了评估我们所提出的方法的有效性,我们进行了实验评估使用语料库的自发日语。实验结果表明,我们提出的方法优于传统的方法,如基于位置和多头注意力模型,它可以捕获不同的语音/语言上下文内的注意力为基础的编码器-解码器框架。
2018-07-28 cs.CL
Multi-Head Self-Attention with Role-Guided Masks
University of Copenhagen(哥本哈根大学)
学习单词的有意义语义表征的最新技术是Transformer模型及其注意力机制。简单地说,注意力机制学会关注输入的特定部分,从而消除重复和回旋。虽然一些习得的注意头被发现扮演着语言学上可解释的角色,但它们可能是多余的或容易出错。我们提出了一种方法来引导注意力的头部对在以前的工作中确定的角色作为重要的。我们通过定义特定于角色的掩码来约束头部,使其专注于输入的特定部分,从而使不同的头部被设计为扮演不同的角色。使用7个不同的数据集进行文本分类和机器翻译的实验表明,我们的方法优于基于注意力的竞争,CNN和RNN基线。
2020-12-22 cs.CL
Do Attention Heads in BERT Track Syntactic Dependencies?
New York University(纽约大学);Verisk Analytics(Verisk分析公司)
我们研究了在预训练的Transformer语言模型(如BERT和RoBERTa)中,个体注意力在多大程度上隐式地捕获句法依赖关系。我们采用两种方法-采取最大的注意力权重和计算最大生成树-提取隐含的依赖关系,从每个层/头的注意力权重,并将它们与地面真理通用依赖(UD)树进行比较。我们发现,对于一些UD关系类型,存在头部,可以恢复的依赖类型显着优于基线上解析的英文文本,这表明一些自我注意头作为代理的句法结构。我们还分析了BERT微调两个数据集--面向语法的CoLA和面向语义的MNLI--调查微调是否会影响他们的自我注意力的模式,但我们没有观察到使用我们的方法提取的整体依赖关系的实质性差异。我们的研究结果表明,这些模型有一些专业的注意力头,跟踪个别的依赖类型,但没有通才头,执行整体解析显着优于一个平凡的基线,并直接分析注意力权重可能不会揭示很多的句法知识,BERT风格的模型是已知的学习。
2019-11-27 cs.CL
Scaling Parameter and Context in Attention: Native Sparse Attention from Mixture-of-Head
Peking University(北京大学)
提出NAMOH稀疏注意力机制,通过每词元激活K个头的设计,实现参数缩放直接驱动上下文缩放,在相同参数下超越全激活模型并提升长上下文推理效率。
2026-10-01 cs.CL
Measuring Affinity between Attention-Head Weight Subspaces via the Projection Kernel
Kyoto University(京都大学);RIKEN AIP(理化学研究所AIP)
本文提出通过投影核测量注意力头权重子空间间的亲和力,以更准确地捕捉Transformer内部结构关系。
2026-11-03 cs.CL
A Dynamic Head Importance Computation Mechanism for Neural Machine Translation
International Institute of Information Technology - Hyderabad(海得拉巴国际信息技术学院)
使用多个注意力头的多个并行注意力机制促进了用于各种应用的Transformer模型的更大性能,神经机器翻译(NMT),文本分类。在多头注意力机制中,不同的头注意输入的不同部分。然而,限制是多个磁头可能会处理输入的同一部分,导致多个磁头冗余。因此,模型资源未得到充分利用。避免这种情况的一种方法是基于某个重要性分数来修剪最不重要的头部。在这项工作中,我们专注于设计一个动态的头部重要性计算机制(DHICM),动态地计算相对于输入的头部的重要性。我们的想法是设计一个额外的注意力层与多头注意力,并利用输出的多头注意力与输入,计算每个头的重要性。此外,我们增加了一个额外的损失函数,以防止模型分配相同的分数给所有的头,以识别更重要的头和即兴表演。我们分析了不同语言的NMT的DHICM的性能。在不同数据集上的实验表明,DHICM的性能明显优于传统的基于transformer的方法,特别是在训练数据较少的情况下。
2021-08-03 cs.CL
Are Neighbors Enough? Multi-Head Neural n-gram can be Alternative to Self-attention
Tokyo Institute of Technology(东京工业大学)
Transformer令人印象深刻的性能归因于自我关注,其中在每个位置都考虑了序列中整个输入之间的依赖关系。在这项工作中,我们改革的神经$n$ -gram模型,专注于每个位置的几个周围的表示,与Vaswani等人的多头机制。(2017年)。通过序列到序列任务的实验,我们表明,在Transformer中,用多头神经元$n$ -gram替换自我注意可以获得与Transformer相当或更好的性能。从我们提出的方法的各种分析,我们发现,多头神经$n$ -gram是互补的自我注意,和他们的组合可以进一步提高香草Transformer的性能。
2022-07-27 cs.CL
Sentiment analysis with adaptive multi-head attention in Transformer
Northwestern University(西北大学);Tianjin University(天津大学)
针对传统Transformer多头注意力数量固定的问题,提出能按句子长度档位调整注意力头数的AdaptAttn架构,在电影评论情感分析任务上F1值与基线模型相当。
2024-03-11 cs.CL
Plausibility Processing in Transformer Language Models: Focusing on the Role of Attention Heads in GPT
University of Michigan(密歇根大学)
本文探索Transformer语言模型如何处理名词与动词关系的合理性,发现GPT2与人类处理方式高度相似,并证实其内部多个注意力头共同因果地促成了这种合理性处理能力。
2023-10-20 cs.CL
CNRL at SemEval-2020 Task 5: Modelling Causal Reasoning in Language with Multi-Head Self-Attention Weights based Counterfactual Detection
BITS Pilani(比尔拉科学技术学院)
在本文中,我们描述了一种方法,通过使用多头自注意权重检测文本中的反事实,在自然语言的因果推理建模。我们使用预训练的Transformer模型从文本中提取上下文嵌入和自我注意力权重。我们展示了卷积层的使用,从这些自我注意力权重中提取特定于任务的特征。此外,我们描述了一个微调的方法与一个共同的基础模型之间的知识共享的两个密切相关的子任务反事实检测。我们在实验中分析和比较了各种Transformer模型的性能。最后,我们进行了定性分析与多头自我注意力的权重来解释我们的模型的动力学。
2020-05-31 cs.CL
Heads-up! Unsupervised Constituency Parsing via Self-Attention Heads
University of Edinburgh(爱丁堡大学);Seoul National University(首尔国立大学)
基于transformer的预训练语言模型(PLM)在许多任务中显着改善了NLP的最新技术水平。这导致了对分析PLM学习的语法知识的浓厚兴趣。以前解决这个问题的方法是有限的,主要是使用测试套件或探测器。在这里,我们提出了一种新的完全无监督的解析方法,提取选区树PLM注意头。我们根据Transformer注意力头部的固有属性对其进行排名,并创建一个高排名头部的集合来生成最终的树。我们的方法适用于低资源语言,因为它不依赖于开发集,这可能是昂贵的注释。我们的实验表明,所提出的方法往往优于现有的方法,如果没有开发集。我们的无监督解析器也可以用作分析PLM隐式学习的语法的工具。为此,我们使用我们的方法诱导的解析树来训练神经PCFG,并将其与来自人类注释树库的语法进行比较。
2020-10-19 cs.CL
Improving Multi-Head Attention with Capsule Networks
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
多头注意力通过在不同的子空间中计算出多个版本的注意力来推进神经机器翻译,但忽视子空间之间的语义重叠增加了翻译的难度,从而阻碍了翻译性能的进一步提高。本文利用胶囊网络对多个注意力头部的信息进行梳理,从而实现相似信息的聚类和独特信息的保留。为此,我们采用了动态路由和EM路由两种路由机制,以实现分簇和分离。我们对汉英和英德翻译任务进行了实验,并在强Transformer基线上获得了一致的改善。
2019-08-31 cs.CL
Attention Head Masking for Inference Time Content Selection in Abstractive Summarization
University of Michigan(密歇根大学)
如何在基于transformer的抽象摘要模型中有效地通知内容选择?在这项工作中,我们提出了一个简单而有效的注意头掩蔽技术,这是适用于编码器-解码器的注意力,以查明在推理时间的显着内容。利用注意力头部掩蔽,我们能够揭示编码器-解码器注意力和摘要模型的内容选择行为之间的关系。然后,我们证明了其有效性的三个文档摘要数据集的基础上,在域和跨域设置。重要的是,我们的模型在CNN/Daily Mail和New York Times数据集上的表现优于之前最先进的模型。此外,我们的推理时间掩蔽技术也是数据高效的,只需要20%的训练样本就可以在完整的CNN/DailyMail数据集上超越BART微调。
2021-04-06 cs.CL
On The Alignment Problem In Multi-Head Attention-Based Neural Machine Translation
RWTH Aachen University(亚琛工业大学)
本文研究了基于Transformer结构的多头注意力模型中的对齐问题。我们证明,对准提取Transformer模型可以通过增加一个额外的对准头的多头源到目标的注意力组件。这用于计算更清晰的注意力权重。我们描述了如何使用对准头来实现有竞争力的性能。为了研究添加对齐头的效果,我们模拟了一个字典引导的翻译任务,其中用户希望使用预定义的字典条目来指导翻译。使用所提出的方法,我们实现了$3.8$ % BLEU的改善时,使用的字典相比,在基线情况下的$2.4$ % BLEU。我们还提出了对齐修剪,以加快解码基于语义的神经机器翻译(ANMT),这加快了翻译的一个因素的$1.8$没有损失的翻译性能。我们在共享的WMT 2016英语$\to$罗马尼亚语新闻任务和BOLT中文$\to$英语论坛任务上进行实验。
2018-09-11 cs.CL
SAS: Simulated Attention Score
Morgan Stanley(摩根大通);Stanford(斯坦福大学);Microsoft Research(微软研究院);NUS(新加坡国立大学);UT Austin(得克萨斯大学奥斯汀分校);HKU(香港大学)
SAS通过模拟更多注意力头和特征维度,以低成本提升模型性能,同时保持参数效率。
2025-11-25 cs.CL
Generating Diverse Translation by Manipulating Multi-Head Attention
Nanjing University(南京大学)
Transformer模型在机器翻译任务中得到了广泛的应用,并取得了很好的效果。在本文中,我们报告了一个有趣的现象,在其编码器-解码器的多头注意力:不同的注意头的最终解码器层对齐不同的单词翻译候选。我们经验验证了这一发现,并提出了一种方法来产生不同的翻译操纵头。此外,我们利用这些不同的翻译与回译技术更好的数据增强。实验结果表明,我们的方法产生不同的翻译没有严重下降的翻译质量。实验还表明,这些不同的翻译回译可以带来显着的提高翻译任务的性能。会话反应生成任务的辅助实验也证明了多样性的影响。
2019-11-21 cs.CL
Are Sixteen Heads Really Better than One?
Carnegie Mellon University(卡内基梅隆大学);Facebook Artificial Intelligence Research(Facebook人工智能研究院)
注意力是一种强大且无处不在的机制,它允许神经模型在进行预测时通过加权平均来关注特定的突出信息。特别是,多头注意力是许多最近最先进的NLP模型(如基于transformer的MT模型和BERT)背后的驱动力。这些模型并行地应用多个注意力机制,每个注意力“头”潜在地集中在输入的不同部分,这使得有可能表达超出简单加权平均值的复杂函数。在本文中,我们做出了令人惊讶的观察,即使模型已经使用多个头部进行了训练,在实践中,很大一部分注意力头部可以在测试时被移除,而不会显著影响性能。事实上,有些层甚至可以减少到一个头。我们进一步研究了用于修剪模型的贪心算法,以及由此获得的潜在速度、存储器效率和准确性改进。最后,我们分析了模型的哪些部分更依赖于多个头部的结果,并提供了初步证据,证明训练动态在多头注意力提供的收益中发挥了作用。
2019-11-04 cs.CL
MiniLMv2: Multi-Head Self-Attention Relation Distillation for Compressing Pretrained Transformers
Microsoft Research(微软研究院)
我们在MiniLM中推广了深度自我注意力蒸馏(Wang et al.,2020)通过仅使用自注意关系蒸馏来对预训练的Transformers进行任务不可知压缩。特别是,我们定义了多头自我注意力的关系,每个自我注意力模块内的查询,键和值向量对之间的缩放点积。然后运用上述相关知识对学生模型进行训练。除了简单和统一的原则,更有利的是,它没有限制的数量方面的学生的注意头,而大多数以前的工作必须保证相同的头数之间的教师和学生。此外,细粒度的自注意关系倾向于充分利用Transformer学习的交互知识。此外,我们彻底研究了教师模型的层选择策略,而不是像MiniLM中那样只依赖最后一层。我们对压缩单语和多语言预训练模型进行了广泛的实验。实验结果表明,我们的模型提取的基础大小和大尺寸的教师(BERT,RoBERTa和XLM-R)优于国家的最先进的。
2021-06-27 cs.CL
Identifying Crucial Attention Heads for Multilingual Language Models: Retrieval and Retrieval-Transition Heads
New York University(纽约大学)
本研究通过引入检索-过渡头(RTH)揭示多语言模型中负责目标语言生成的关键注意力机制,并通过实验验证其在链式推理中的重要性。
2026-09-15 cs.CL
Advancing Sentiment Analysis: A Novel LSTM Framework with Multi-head Attention
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出一种结合多头注意力与TF-IDF优化的LSTM情感分类模型,在公开数据集上准确率达80.28%,较标准LSTM提升约12%,验证了各模块的有效性。
2025-03-11 cs.CL
HydraHead: From Head-Level Functional Heterogeneity to Specialized Attention Hybridization
Alibaba Group(阿里巴巴集团)
提出HydraHead架构,沿头部维度混合全注意力和线性注意力,通过可解释性驱动的头部选择和尺度归一化融合模块,在长上下文任务中优于层级混合设计,仅用15B token训练即在512K上下文长度上提升69%。
2026-06-19 cs.CL
Influence Score and Transformers interpretability: Measure of the Effective Impact of Attention Heads at inference time
Thales CDI(泰雷兹CDI公司);Inria Paris(法国国家信息与自动化研究所巴黎中心);Sorbonne Université(索邦大学)
该研究提出影响分数,结合定向影响与结构贡献分析Transformer注意力头,应用于DeBERTa模型揭示预测行为差异,为研究Transformer分类器决策机制提供系统方法。
2026-09-07 cs.CL
Know What You Don't Need: Single-Shot Meta-Pruning for Attention Heads
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
深度预训练的Transformer模型在各种自然语言处理(NLP)任务中取得了最先进的结果。通过学习具有数百万个参数的丰富语言知识,这些模型通常是过度参数化的,并显着增加了应用程序中的计算开销。通过模型压缩来解决这个问题是直观的。在这项工作中,我们提出了一种名为Single-Shot Meta-Pruning的方法,用于在微调之前压缩深度预训练的Transformers。具体来说,我们专注于修剪不必要的注意头自适应不同的下游任务。为了测量注意头的信息量,我们训练我们的单镜头元修剪(SMP)与元学习范式,旨在保持修剪后的文本表示的分布。与现有的预训练模型压缩方法相比,我们的方法可以减少微调和推理的开销。实验结果表明,我们的修剪器可以选择性地修剪50%的注意力头,对下游任务的性能影响不大,甚至提供更好的文本表示。源代码将在未来发布。
2020-11-07 cs.CL
Interpreting Transformers Through Attention Head Intervention
Computing and Software, Faculty of Engineering, McMaster University(工程学院计算机与软件系,麦斯特大学)
通过注意力头干预方法,研究变换器的机理可解释性,实现对模型行为的定向控制,提升AI安全性和实用性。
2026-02-26 cs.CL
The heads hypothesis: A unifying statistical approach towards understanding multi-headed attention in BERT
Robert Bosch Centre for Data Science and Artificial Intelligence (RBC-DSAI) IIT Madras(罗伯特·博世数据科学与人工智能中心(RBC-DSAI),印度理工学院马德拉斯分校)
多头注意力头是基于变形金刚的模型中的中流砥柱。已经提出了不同的方法来分类的基础上的令牌之间的关系,具有高的成对注意力的每个注意头的作用。这些角色包括句法(具有某种句法关系的标记)、局部(邻近标记)、块(同一句子中的标记)和块(特殊的[CLS]、[SEP]标记)。现有的分类方法存在两个主要挑战:(a)没有跨研究或跨功能角色的标准分数,以及(b)这些分数通常是跨句子测量的平均数量,而没有捕获统计意义。在这项工作中,我们正式提出了一个简单而有效的分数,概括了所有的角色的注意头,并采用假设检验这个分数的强大的推理。这为我们提供了正确的镜头来系统地分析注意力头,并自信地评论分析BERT模型的许多常见问题。特别是,我们评论在同一个注意头的多个功能角色的协同定位,跨层的注意头的分布,以及微调特定的NLP任务对这些功能角色的影响。
2021-01-22 cs.AI cs.CL
Analyzing Multi-Head Attention on Trojan BERT Models
Hofstra University(霍夫斯特拉大学)
本研究分析Transformer模型中多头注意力在良性模型与特洛伊木马模型间的行为差异,通过识别特定的“特洛伊”注意力头并分析其功能,揭示了特洛伊攻击对模型注意力机制的影响。
2024-06-12 cs.AI cs.CL
Asymmetric Attention Heads: Structured Head-Wise Context Allocation for Transformer Attention
本文提出非对称注意力头(AAH)框架,通过分层分组头并分配不同因果局部窗口,在4096-token实验中实现比纯全注意力更低的验证损失,为Transformer注意力提供结构化上下文分配机制。
2026-08-21 cs.AI cs.CL cs.LG
Multi-Head Attention with Disagreement Regularization
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);University of Macau(澳门大学)
多头注意力要求能够在不同位置共同注意来自不同表示子空间的信息。在这项工作中,我们引入了一个不一致的正则化,明确鼓励多个注意头之间的多样性。具体来说,我们提出了三种类型的分歧正则化,分别鼓励子空间,参加的位置,并与每个注意头的输出表示是不同的,从其他头。在广泛使用的WMT 14英-德和WMT 17汉英翻译任务上的实验结果证明了该方法的有效性和通用性。
2018-10-24 cs.AI cs.CL
Multi-head or Single-head? An Empirical Comparison for Transformer Training
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
多头注意力在最近Transformer模型的成功中起着至关重要的作用,这导致了在各种应用中相对于传统注意力的一致性能改进。普遍的看法是,这种有效性源于共同参加多个职位的能力。在本文中,我们首先证明,共同出席多个位置是不是一个独特的特点,多头注意力,作为多层次的单头注意也出席多个位置,更有效。然后,我们认为多头注意力的主要优点是训练的稳定性,因为它具有较少的层数比单头注意,当出席相同数量的位置。例如,24层16头Transformer(BERT-large)和384层单头Transformer的总关注头数相同,模型尺寸大致相同,而多头的要明显浅一些。同时,我们表明,随着深度学习的最新进展,我们可以成功地稳定384层Transformer的训练。由于训练难度不再是瓶颈,因此更深的单头Transformer实现了一致的性能改进,而无需调整超参数。
2021-06-17 cs.CL cs.LG