AdapterEM: Pre-trained Language Model Adaptation for Generalized Entity Matching using Adapter-tuning
University of Tsukuba(筑波大学);National Institute of Advanced Industrial Science & Technology (AIST)(产业技术综合研究所)
本文提出AdapterEM,通过冻结预训练语言模型参数、仅微调适配器和分类器,结合预训练适配器与可逆适配器实现广义实体匹配,在仅用约13%参数的情况下达到与全量微调和提示微调相当或更优的性能。
2023-05-30 cs.CL cs.DB
Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension
Shanghai Jiao Tong University(上海交通大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
训练机器理解自然语言并与人类交互是人工智能的主要目标之一。近年来,已经见证了从匹配网络到预训练语言模型(PrLM)的演变。相对于纯文本建模的重点PrLM,对话文本涉及多个扬声器,并反映特殊的特性,如主题转换和结构之间的依赖关系遥远的话语。然而,相关的PrLM模型通常表示对话顺序处理成对的对话历史作为一个整体。因此,无论是话语的相互关系或扬声器的角色耦合在这样的表示的层次信息没有得到很好的解决。在这项工作中,我们提出了组合学习的整体互动的话语超越顺序的语境化从PrLM,为了捕捉话语意识和说话者意识的表示所涉及的对话历史。我们通过基于Transformer的PrLM中的掩蔽机制来解耦上下文化的单词表示,使得每个单词仅关注当前话语中的单词、其他话语和两个说话者角色(即,发送者的话语和接收者的话语)。此外,我们采用领域自适应训练策略,以帮助模型适应对话域。实验结果表明,我们的方法大大提高了四个公共基准数据集的强PrLM基线,实现了新的最先进的性能比以前的方法。
2023-01-11 cs.AI cs.CL cs.HC
Accurate Word Representations with Universal Visual Guidance
Shanghai Jiao Tong University(上海交通大学);National Institute of Information(国立信息研究所)
词汇表征是神经语言理解模型的一个基本组成部分。最近,预训练的语言模型(PrLM)提供了一种新的高性能的上下文化的单词表示方法,利用序列级的上下文建模。虽然PrLM一般给出更准确的语境化的词表示比非语境化的模型做,他们仍然受到一系列的文本上下文没有不同的提示,从多模态的词表示。因此,本文提出了一种视觉表示方法,显式地增强传统的词嵌入与多方面的意义,从视觉指导。详细地说,我们从多模态种子数据集构建了一个小规模的单词图像字典,其中每个单词对应于不同的相关图像。文本和成对的图像被并行编码,然后是一个注意层来整合多模态表示。我们表明,该方法大大提高了消歧的准确性。在12个自然语言理解和机器翻译任务上的实验进一步验证了该方法的有效性和泛化能力。
2020-12-30 cs.AI cs.CL cs.CV
Instance Regularization for Discriminative Language Model Pre-training
Shanghai Jiao Tong University(上海交通大学);Langboat Technology(澜舟科技)
区分性预训练语言模型(PrLM)可以概括为去噪自动编码器,其使用两个过程,即去噪和去噪。首先,噪声化过程用任意噪声函数破坏文本以构建训练实例。然后,训练去噪语言模型以恢复损坏的令牌。现有的研究已经取得了进展,通过优化独立的策略,无论是去噪或去噪。他们在整个训练过程中平等地对待训练实例,很少关注这些实例的个体贡献。为了对实例贡献的显式信号进行建模,本文提出在语言模型预训练中估计从损坏的句子恢复原始句子的复杂度。估计包括去噪数据构造过程中的腐败程度和去噪对应物中的预测置信度。在自然语言理解和阅读理解基准测试上的实验结果表明,该方法提高了预训练的效率、有效性和鲁棒性。代码可在https://github.com/cooelf/InstanceReg上公开获取
2022-10-11 cs.AI cs.CL
Dialogue-adaptive Language Model Pre-training From Quality Estimation
Shanghai Jiao Tong University(上海交通大学)
预训练语言模型(Pre-trained language models,PrLM)凭借其在大规模语料库上通过自监督学习获得的通用语言表示能力,在广泛的自然语言处理任务中取得了巨大的成功。这些模型是在具有一般语言模型(LM)训练目标的标准纯文本上预训练的,这将不足以对这些任务中反映的对话专有属性(如特异性和信息性)进行建模,这些对话专有属性未被预训练的通用语言表示明确捕获。在这项工作中,我们提出了对话自适应预训练目标(DAPO)来自质量估计模拟对话特定的功能,即连贯性,特异性和信息量。作为模型预训练的基础,我们合成了一个新的对话语料库,并使用两种无监督的方法来建立我们的训练集:1)面向连贯性的语境破坏,包括话语排序,插入和替换,以帮助模型捕获对话语境中的连贯性; 2)面向特异性的自动重评分,这鼓励模型通过考虑特异性和信息量来测量用于对话自适应预训练的合成数据的质量。在广泛使用的开放域响应选择和质量估计基准上的实验结果表明,DAPO显著改善了基线模型,并在Mutual排行榜上实现了最先进的性能,验证了将质量评估因素估计到预训练中的有效性。
2022-10-20 cs.CL cs.LG
Sparse Attention Is Matrix Approximation, Not Choosing from a Bag of Values
Stony Brook University(石溪大学);Duke University(杜克大学)
该研究指出现有稀疏注意力方法的核心概念错误,提出矩阵近似稀疏注意力(MASA),将其作为插件式修正加入现有框架,经多组实验验证可提升准确率,支持稀疏注意力的矩阵近似观点。
2026-10-09 cs.CL
It's Not RoPE that Creates Sinks: The Role of Self-Concentration and Value-Non-Mixing in Attention
Tohoku University(东北大学);SOKENDAI(综合研究大学院大学);NINJAL(日本国立国语研究所);MBZUAI(Mohamed bin Zayed 人工智能大学);RIKEN(日本理化学研究所);Preferred Networks, Inc.(Preferred Networks公司)
本研究揭示注意力汇聚与大规模激活源于因果掩码引发的自集中和值非混合,而非RoPE,为量化策略提供新见解。
2026-09-09 cs.CL
Late Attention Layers Alone Can Copy Entity Tokens, but Not Without Attending to Their Context
Drexel University(德雷塞尔大学);University of Pennsylvania(宾夕法尼亚大学)
本研究通过两种新方法在Qwen3-8B上揭示,模型后半部分的两组层在上下文标记引导下对实体复制既必要又充分,且上下文标记的注意力不可或缺,确立了后期层的关键作用。
2026-10-27 cs.CL
Attention Reveals More Than Tokens: Training-Free Long-Context Reasoning with Attention-guided Retrieval
University of California, San Diego(加利福尼亚大学圣迭戈分校);Cisco(思科公司)
针对 LLM 长上下文推理中隐含事实召回不足的问题,提出免训练的 Attrieval,利用 CoT token 的注意力权重检索并注入相关事实,显著提升多模型在合成与真实 QA 数据集上的表现。
2025-03-12 cs.CL
Coherence boosting: When your pretrained language model is not paying enough attention
Mila / Université de Montréal(米拉 / 蒙特利尔大学);Ohio State University(俄亥俄州立大学);Microsoft Research(微软研究院)
针对预训练语言模型注意力不足导致的长程语义连贯性问题,提出无需额外训练的连贯性增强推理方法,可提升模型对长上下文的关注度,在文本生成、对话响应及零样本 NLP 任务中均能带来性能增益。
2026-11-19 cs.CL
AdaRoPE: Not All Attention Heads Should Rotate and Scale Equally
研究发现Transformer中不同功能的注意力头需不同频率范围和缩放因子,提出AdaRoPE为各头配备可学习参数,实验表明其性能优于现有变体,能更好地进行上下文扩展并保留短上下文性能,凸显在单头级别优化旋转位置嵌入之重要性。
2026-09-14 cs.AI cs.CL
Learning When Not to Attend Globally
Department of Computer Science, UC Santa Barbara(计算机科学系,加州大学圣巴巴拉分校)
AHA通过动态切换全关注与局部滑动窗口关注,实现高效推理,减少93%的完全关注操作。
2025-12-27 cs.AI cs.CL
Last But Not Least: Boundary Attention CalibratiON for Multimodal KV Cache Compression
KAIST(韩国科学技术院);Zhejiang Laboratory(之江实验室);The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学)
针对多模态大语言模型长视觉上下文中KV缓存压缩导致关键证据丢失的问题,提出BACON方法,通过校准观察窗口注意力与最后查询注意力,并利用层内一致性和层间持久性抑制噪声,在激进压缩下平均提升7.5%性能。
2026-10-05 cs.CL cs.CV
Attention Score is not All You Need for Token Importance Indicator in KV Cache Reduction: Value Also Matters
Nara Institute of Science and Technology(奈良科学技术研究所)
针对 KV 缓存 token 剪枝仅依赖注意力分数的问题,本文提出 VATP,联合注意力分数与 value 向量 $\ell_1$ 范数评估重要性,并在 16 项 LongBench 任务中验证其优势。
2024-10-02 cs.CL cs.LG
Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China(教育部多媒体可信感知与高效计算重点实验室);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院)
本文提出高效注意力跳过方法,通过减少冗余注意力计算提升多模态大语言模型的推理效率与性能。
2026-02-26 cs.CL cs.MM
Not All Features Deserve Attention: Graph-Guided Dependency Learning for Tabular Data Generation with Language Models
Technical University of Munich(慕尼黑工业大学)
针对LLM生成表格数据时自注意力过度分散的问题,提出GraDe方法,通过图引导动态学习稀疏依赖,优先关键特征交互,在复杂数据集上性能提升达12%。
2025-09-08 cs.CL cs.LG
Unveiling and Harnessing Hidden Attention Sinks: Enhancing Large Language Models without Training through Attention Calibration
Georgia Institute of Technology(佐治亚理工学院)
该研究发现大语言模型中存在序列后续位置的隐藏注意力汇聚点且部分汇聚点对准确率无正向影响,提出无需训练的输入自适应注意力校准技术ACT,可显著提升多类大模型的任务准确率。
2024-06-22 cs.CL cs.LG
Do Transformer Models Show Similar Attention Patterns to Task-Specific Human Gaze?
TU Berlin(柏林工业大学);University of Copenhagen(哥本哈根大学)
在最先进的NLP模型中,习得的自我注意力功能通常与人类的注意力相关。我们研究了大规模预训练语言模型中的自我注意力是否能像经典的人类注意力认知模型一样预测任务阅读过程中的人眼注视模式。我们比较了两个特定于任务的阅读数据集的情感分析和关系抽取的注意力函数。我们发现,大规模预先训练的自我注意力对人类注意力的预测性取决于“尾巴里有什么”,例如,罕见语境的句法性质。此外,我们观察到,特定任务的微调并没有增加与人类特定任务的阅读相关性。通过一个输入减少实验,我们给出了稀疏性和保真度权衡的补充见解,表明低熵的注意力向量更忠实。
2022-04-25 cs.CL cs.LG
Memory-efficient Transformers via Top-$k$ Attention
IBM Research(IBM研究院);Tel Aviv University(特拉维夫大学);Allen Institute for AI(艾伦人工智能研究所)
随着点积注意力在Transformers中的成功,最近提出了许多近似来解决其关于输入长度的二次复杂性。虽然这些变体是存储器和计算高效的,但是不可能在没有昂贵的校正预训练阶段的情况下将它们直接与使用普通注意力训练的流行的预训练语言模型一起使用。在这项工作中,我们提出了一个简单而高度准确的近似香草注意。我们以块的形式处理查询,并且对于每个查询,计算关于键的前$k$分数。我们的方法提供了几个优点:(a)它的内存使用在输入大小上是线性的,类似于线性注意力变体,例如Performer和RFA;(b)它是香草注意力的直接替代品,不需要任何纠正性的预训练;(c)在将前馈层转换为熟悉的查询-键值框架后,它还可以在前馈层中节省大量内存。我们评估了长距离竞技场基准上的多头注意力层以及多个QA数据集上的T5和UnifiedQA的前馈层的顶级$k$近似的质量。我们表明,我们的方法在多个设置中的准确性与香草注意力几乎相同,包括从头开始训练,微调和zero-shot推理。
2021-06-13 cs.CL cs.LG
Attention Sensitivity Is Not Enough: Dissociating Attention-Level and Behavioural In-Context Learning under Fine-Tuning
Hubei University(湖北大学)
本文针对Llama-2-7B,发现微调下注意力层级的ICL代理与实际行为分离,提出ICS指标,验证其需经行为差距验证才适合作为训练目标。
2026-09-02 cs.AI cs.CL cs.LG
What Matters in Transformers? Not All Attention is Needed
University of Maryland, College Park(马里兰大学帕克分校)
本文研究Transformer中注意力层与MLP层的冗余问题,发现大量注意力层可被剪枝且性能损失极小,并提出联合丢弃注意力层和MLP层的方法,在保持性能的同时显著提升推理效率。
2024-10-17 cs.AI cs.CL cs.LG
RecurFormer: Not All Transformer Heads Need Self-Attention
Nanyang Technological University(南洋理工大学);The University of New South Wales(新南威尔士大学);Shanghai Jiao Tong University(上海交通大学);The College of William and Mary(威廉玛丽学院)
RecurFormer 通过将近期感知的注意力头替换为线性 RNN(Mamba),在保持长程依赖建模和重用预训练权重的同时,显著提升了基于 Transformer 的 LLMs 的推理效率。
2024-10-10 cs.AI cs.CL cs.LG
Integral Transformer: Denoising Attention, Not Too Much Not Too Little
Huawei Noah’s Ark Lab, Montreal Research Center, Canada(华为诺亚实验室,蒙特利尔研究中心,加拿大)
针对Softmax自注意力中的噪声问题,提出积分Transformer,通过整合logit分布采样信号去噪并保留特殊标记贡献,在知识和推理基准上优于现有变体,且低层用普通注意力、高层用积分注意力效果更佳。
2025-08-25 cs.CL
You May Not Need Attention
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
在NMT中,没有注意力,没有单独的编码和解码,我们能走多远?为了回答这个问题,我们引入了一个循环神经翻译模型,它不使用注意力,也没有单独的编码器和解码器。我们的即时翻译模型是低延迟的,在读取第一个源令牌时立即写入目标令牌,并在解码期间使用恒定内存。它的表现与Bahdanau et al.(2014)的标准注意力模型相当,并且在长句上表现更好。
2018-10-31 cs.CL
Attention is not not Explanation
Georgia Institute of Technology(佐治亚理工学院)
注意力机制在自然语言处理系统中起着核心作用,特别是在递归神经网络(RNN)模型中。最近,人们越来越感兴趣的是,这些模块提供的中间表示是否可以用来解释模型预测的推理,从而获得关于模型决策过程的见解。最近的一篇论文声称“注意力不是解释”(Jain和Wallace,2019)。我们对这项工作的许多假设提出了挑战,认为这种说法取决于人们对解释的定义,并且测试它需要考虑模型的所有元素,使用严格的实验设计。我们提出了四种替代测试来确定何时/是否可以使用注意力作为解释:简单的统一权重基线;基于多个随机种子运行的方差校准;使用预训练模型的冻结权重的诊断框架;以及端到端的对抗性注意力训练协议。每个都允许对RNN模型中的注意力机制进行有意义的解释。我们发现,即使可以找到可靠的对抗分布,他们不执行简单的诊断,表明以前的工作并没有反驳注意力机制的可解释性的有用性。
2019-09-05 cs.CL
Attention is Not Only a Weight: Analyzing Transformers with Vector Norms
Tohoku University(东北大学);Langsmith Inc.(朗史密斯公司);RIKEN(理化学研究所)
注意力是Transformers的一个关键组成部分,它最近在自然语言处理方面取得了相当大的成功。因此,人们对注意力进行了广泛的研究,以考察Transformers的各种语言能力,重点分析注意力权重与特定语言现象之间的相似性。本文表明,注意力权重只是决定注意力输出的两个因素之一,并提出了一个基于范数的分析,其中包括第二个因素,变换后的输入向量的范数。我们的基于规范的分析BERT和基于transformer的神经机器翻译系统的结果包括以下几点:(i)与以前的研究相反,BERT不注意特殊的令牌,(ii)合理的词对齐可以从Transformer的注意力机制中提取。这些发现提供了对Transformers内部工作原理的深入了解。
2020-10-06 cs.CL
In Conclusion Not Repetition: Comprehensive Abstractive Summarization With Diversified Attention Based On Determinantal Point Processes
Beijing University of Posts and Telecommunications(北京邮电大学);Shamoon College of Engineering(沙蒙工程学院)
近年来,各种为机器翻译设计的Seq2Seq学习模型被应用于抽象摘要任务。尽管这些模型提供了很高的ROUGE分数,但由于其退化的注意力分布,它们仅限于生成具有高抽象级别的综合摘要。我们引入了多样卷积Seq2Seq模型(DivCNN Seq2Seq),使用确定性点过程方法(微观DPPs和宏观DPPs)来产生考虑质量和多样性的注意力分布。在不破坏端到端架构的情况下,DivCNN Seq2Seq实现了比普通模型和强大基线更高水平的全面性。所有可复制的代码和数据集都可以在线获得。
2020-01-02 cs.CL
"Killing Me" Is Not a Spoiler: Spoiler Detection Model using Graph Neural Networks with Dependency Relation-Aware Attention Mechanism
Hyperconnect(Hyperconnect公司);Korea University(高丽大学)
最近提出了几种基于机器学习的剧透检测模型,以保护用户免受评论网站上剧透的影响。虽然上下文词之间的依赖关系对于检测剧透是重要的,但是当前基于注意力的剧透检测模型不足以利用依赖关系。为了解决这个问题,我们提出了一个新的剧透检测模型称为SDGNN,是基于语法感知的图神经网络。在两个真实世界的基准数据集上的实验中,我们表明我们的SDGNN优于现有的剧透检测模型。
2021-01-15 cs.CL
Is Sparse Attention more Interpretable?
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);University of Copenhagen(哥本哈根大学)
稀疏注意力被认为可以增加模型的可解释性,前提是它突出了有影响力的输入。然而,注意力分布通常是在模型内部的表示上,而不是在输入本身上,这表明这种假设可能没有价值。我们建立在最近的工作探索的可解释性的注意,我们设计了一组实验,以帮助我们了解稀疏性如何影响我们的能力,使用注意力作为一个可解释性的工具。在三个文本分类任务中,我们验证了输入和共索引中间表示之间只存在弱关系-在稀疏注意和其他情况下。此外,我们没有找到任何合理的映射从稀疏的注意力分布到一个稀疏的有影响力的输入通过其他途径。相反,我们观察到在这种情况下,诱导稀疏性可能会使注意力作为理解模型行为的工具变得不那么可信。
2021-06-08 cs.CL
Fine-grained Sentiment Analysis with Faithful Attention
Columbia University(哥伦比亚大学)
虽然文本情感分类的一般任务已经被广泛研究,但很少有研究专门关注指定源和目标之间的情感。为了解决这个问题,我们尝试了一个最先进的关系抽取模型。令人惊讶的是,我们发现,尽管有合理的表现,模型的注意力往往是系统性的不一致的话,有助于情绪。因此,我们直接用人类的理性来训练模型的注意力,并在我们定义的所有任务上将我们的模型性能提高了4~8个点。我们还使用新颖直观的指标对模型的注意力进行了严格的分析,包括训练和未训练的注意力。我们的研究结果表明,未经训练的注意力不提供忠实的解释,然而,经过训练的注意力与简明注释的人类理性不仅提高性能,而且带来忠实的解释。令人鼓舞的是,少量注释的人类原理足以纠正我们任务中的注意力。
2019-08-19 cs.CL
Not all parameters are born equal: Attention is mostly what you need
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学);United Kingdom(英国)
Transformers广泛应用于最先进的机器翻译中,但其成功的关键仍然是未知的。为了深入了解这一点,我们考虑三组参数:嵌入,注意力和前馈神经网络(FFN)层。我们通过执行消融研究来检查每个的相对重要性,在消融研究中,我们随机初始化它们并冻结它们,以便它们的权重在训练过程中不会改变。通过这一点,我们证明了注意力和FFN同样重要,并且在模型中实现了相同的功能。我们表明,关于组件是否被冻结或允许训练的决定对于最终模型性能至少与其参数数量一样重要。同时,参数的数量本身并不能表明一个组成部分的重要性。最后,虽然嵌入层对于机器翻译任务来说是最不重要的,但它是语言建模任务中最重要的组件。
2021-09-21 cs.CL
Layer-wise Pruning of Transformer Attention Heads for Efficient Language Modeling
Seoul National University(首尔国立大学);Hanyang University(汉阳大学)
虽然基于transformer的模型已经显示出令人印象深刻的语言建模性能,但大量的计算成本通常使实际使用望而却步。注意头修剪技术是解决这一问题的一种有效方法,它可以去除多个注意头中不必要的注意头。然而,它并没有均匀地减少整体负载,因为重前馈模块不受头部修剪的影响。在本文中,我们将逐层注意力头部修剪应用于全注意力Transformer,使得整个计算和参数的数量可以与修剪头部的数量成比例地减少。虽然该架构有可能充分利用头部修剪,我们提出了三种训练方法,特别有助于最大限度地减少性能下降和稳定的修剪过程。我们的修剪模型在WikiText-103语言建模基准测试中显示出比Transformer-XL更低的困惑度。
2021-10-07 cs.CL
Hierarchically-Refined Label Attention Network for Sequence Labeling
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
CRF已被用作统计序列标记的强大模型。然而,对于神经序列标记,与BiLSTM-softmax局部分类相比,BiLSTM-CRF并不总是产生更好的结果。这可能是因为CRF的简单马尔可夫标签转换模型在强神经编码上没有提供太多的信息增益。为了更好地表示标签序列,我们研究了一个分层细化的标签注意力网络,该网络明确地利用标签嵌入,并通过给每个单词递增细化的标签分布与分层注意力来捕获潜在的长期标签依赖性。在词性标注、NER和CCG超标注上的实验结果表明,该模型不仅在参数数量相近的情况下提高了整体标注准确率,而且与BiLSTM-CRF相比,训练和测试速度明显加快。
2019-11-07 cs.CL
Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation
University of Helsinki(赫尔辛基大学)
基于transformer的模型给神经机器翻译带来了根本性的变化。Transformer架构的一个关键特性是所谓的多头注意力机制,它允许模型同时关注输入的不同部分。然而,最近的研究表明,大多数注意力头学习简单的,往往是多余的,位置模式。在本文中,我们建议取代所有,但一个注意头的每个编码器层与简单的固定-非学习-专注模式,完全基于位置,不需要任何外部知识。我们对不同数据大小和多语言对的实验表明,在训练时将注意力头固定在Transformer的编码器端不会影响翻译质量,甚至在低资源场景中将BLEU分数提高多达3分。
2020-10-05 cs.CL
Understanding Self-Attention of Self-Supervised Audio Transformers
National Taiwan University(台湾大学)
自监督音频Transformers(SAT)在许多下游语音应用(如ASR)中取得了巨大成功,但它们的工作原理尚未得到广泛探讨。在这项工作中,我们提出了多种策略的注意力机制在SAT的分析。我们将注意力分为可解释的类别,我们发现每个类别都有自己独特的功能。我们提供了一个可视化的工具,了解多头自我注意,重要性排名策略,识别关键的注意力,注意力细化技术,以提高模型的性能。
2020-08-10 cs.CL
Why Self-Attention? A Targeted Evaluation of Neural Machine Translation Architectures
Uppsala University(乌普萨拉大学);University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学)
最近,非递归架构(卷积,自我注意)在神经机器翻译中的表现优于RNN。CNN和自我注意网络可以通过比RNN更短的网络路径连接遥远的单词,据推测,这提高了它们对远程依赖关系建模的能力。然而,这一理论论点尚未得到实证检验,也没有深入探讨其强劲表现的其他解释。我们假设CNN和自我注意网络的强大性能也可能是由于它们从源文本中提取语义特征的能力,我们在两个任务上评估了RNN,CNN和自我注意网络:主语-动词一致性(需要捕获长距离依赖关系)和词义消歧(需要语义特征提取)。我们的实验结果表明:1)自我注意网络和CNN在长距离主谓一致性建模方面并没有优于RNN; 2)自我注意网络在词义消歧方面明显优于RNN和CNN。
2018-11-11 cs.CL
Incorporating Residual and Normalization Layers into Analysis of Masked Language Models
Tohoku University(东北大学);Langsmith Inc.(Langsmith 公司);RIKEN(理化学研究所)
Transformer架构在自然语言处理领域已经变得无处不在。为了解释基于transformer的模型,他们的注意力模式已经被广泛分析。然而,Transformer架构不仅由多头注意力组成;其他组件也可以有助于Transformers的渐进性能。在这项研究中,我们将Transformers的分析范围从单纯的注意模式扩展到整个注意块,即,多头注意力、剩余连接和层归一化。我们对基于transformer的掩蔽语言模型的分析表明,通过注意力进行的标记到标记的交互对中间表示的影响比以前假设的要小。这些结果为现有报告提供了新的直观解释;例如,丢弃学习到的注意力模式往往不会对性能产生不利影响。我们的实验代码是公开的。
2021-09-15 cs.CL
Self-Attention with Relative Position Representations
Google(谷歌);Google Brain(谷歌大脑)
完全依靠注意力机制,Vaswani等人(2017)引入的Transformer实现了机器翻译的最新成果。与递归和卷积神经网络相比,它没有明确地在其结构中对相对或绝对位置信息进行建模。相反,它需要将绝对位置的表示添加到其输入。在这项工作中,我们提出了一种替代方法,扩展自我注意力机制,有效地考虑表示的相对位置,或序列元素之间的距离。在WMT 2014英语到德语和英语到法语的翻译任务中,这种方法分别比绝对位置表示提高了1.3 BLEU和0.3 BLEU。值得注意的是,我们观察到,结合相对和绝对位置表示不会进一步提高翻译质量。我们描述了一个有效的实现我们的方法,并把它作为一个实例的关系感知自我注意力机制,可以推广到任意图形标记的输入。
2018-04-12 cs.CL
Attention is not Explanation
Northeastern University(东北大学)
注意力机制在神经NLP模型中得到了广泛的应用。除了提高预测性能外,这些通常被吹捧为提供透明度:配备了注意力的模型提供了关注输入设备的分布,这通常被(至少是隐含地)表示为传达输入的相对重要性。然而,目前还不清楚注意力权重和模型输出之间存在什么关系。在这项工作中,我们在各种NLP任务中进行了广泛的实验,旨在评估注意力权重为预测提供有意义的“解释”的程度。我们发现,他们基本上没有。例如,学习的注意力权重通常与基于梯度的特征重要性度量不相关,并且可以识别非常不同的注意力分布,但仍然产生等效的预测。我们的研究结果表明,标准的注意力模块并不能提供有意义的解释,也不应该被当作有意义的解释。所有实验的代码可在https://github.com/successar/AttentionExplanation上获得。
2019-05-08 cs.AI cs.CL
Mortality Prediction Models with Clinical Notes Using Sparse Attention at the Word and Sentence Levels
University of Vienna(维也纳大学);Amsterdam UMC(阿姆斯特丹大学医学中心);University of Amsterdam(阿姆斯特丹大学)
重症监护病房住院死亡率预测具有多种临床应用。神经预测模型,特别是在利用临床笔记时,已经被提出作为对现有模型的改进。然而,要被接受,这些模型应该是高性能和透明的。本工作研究了不同的注意力机制的临床神经预测模型的歧视和校准。具体来说,我们调查稀疏注意力作为一种替代密集的注意力权重的任务,在医院的死亡率预测从临床笔记。我们评估的注意力机制的基础上:i)本地自我注意的话在一个句子中,和ii)全球自我注意的Transformer架构跨句子。我们证明了稀疏机制的方法优于密集的本地自我注意力的预测性能与公开可用的数据集,并把更高的关注预先指定的相关指令的话。然而,句子层面的表现会恶化,因为包括有影响力的指示词的句子往往会一起被删除。
2022-12-12 cs.CL cs.LG
Is It Worth the Attention? A Comparative Evaluation of Attention Layers for Argument Unit Segmentation
University of Bremen(不来梅大学)
近年来,注意力机制在自然语言处理下游任务中取得了一些成功,并产生了新的最先进的结果。然而,对论证挖掘任务的注意力机制的彻底评估却缺失了。在本文中,我们报告了一个比较评估的注意层结合双向长短期记忆网络,这是目前最先进的方法,以单位分割任务。我们还比较了上下文层次的词嵌入预生成的。我们的研究结果表明,对于这项任务,额外的注意力层并没有改善一个不太复杂的方法。在大多数情况下,情境化嵌入也没有显示出基线得分的改善。
2019-06-24 cs.CL cs.LG
Attention Is (not) All You Need for Commonsense Reasoning
SAP Machine Learning Research(SAP机器学习研究院)
最近引入的BERT模型在几个语言理解基准测试中表现出很强的性能。在本文中,我们描述了一个简单的重新实现BERT的常识推理。我们表明,由BERT产生的注意力可以直接用于代词消歧问题和Winograd模式挑战等任务。我们提出的注意力引导的常识推理方法在概念上简单,但经验上强大。对多个数据集的实验分析表明,我们提出的系统在所有情况下都表现得非常好,同时比以前报道的最先进的系统表现得更好。虽然结果表明,BERT似乎隐含地学习建立实体之间的复杂关系,解决常识推理任务可能需要更多的从巨大的文本语料库学习的无监督模型。
2019-05-31 cs.AI cs.CL
Not All Attention Is Needed: Gated Attention Network for Sequence Data
The Hong Kong University of Science and Technology(香港科技大学);HKUST-Xiaoi Joint Lab(香港科技大学-小i联合实验室);Amazon Web Services(亚马逊云科技)
虽然深度神经网络一般具有固定的网络结构,但近年来动力机制的概念越来越受到关注。注意力机制计算依赖于输入的动态注意力权重,用于聚集隐藏状态序列。卷积神经网络(CNN)中的动态网络配置针对不同的输入选择性地一次仅激活网络的一部分。在本文中,我们结合这两个动态机制的文本分类任务。传统的注意力机制关注输入句子的整个隐藏状态序列,而在大多数情况下,特别是对于长序列,并不需要所有的注意力。我们提出了一种新的方法称为门控注意力网络(GA-Net)动态选择一个子集的元素参加使用辅助网络,并计算注意力权重聚合所选元素。它避免了在无人参与的元素上进行大量不必要的计算,并允许模型关注序列的重要部分。在不同数据集上的实验表明,该方法在计算量小、可解释性好的同时,与所有全局或局部关注的基线模型相比,具有更好的性能.它也有望将这一想法扩展到更复杂的基于注意力的模型,如Transformers和seq-to-seq模型。
2019-12-01 cs.CL cs.LG stat.ML
Understanding Multi-Head Attention in Abstractive Summarization
DPG Media(DPG传媒);University of Amsterdam(阿姆斯特丹大学)
深度学习架构中的注意力机制通常被用作透明的手段,因此,可以揭示架构的内部工作原理。最近,人们越来越关注这种假设是否正确。在本文中,我们调查的可解释性多头注意力在抽象摘要,序列到序列的任务,注意力没有一个直观的对齐的作用,如在机器翻译。我们首先介绍了三个指标,以获得洞察力的关注头的焦点,并观察到这些头专门对相对位置,特定的词性标签,命名实体。然而,我们也发现,烧蚀和修剪这些头不会导致性能显着下降,这表明冗余。通过将softmax激活函数替换为sparsemax激活函数,我们发现注意力头的行为似乎更透明:我们可以消融更少的头,头在我们的可解释性指标上得分更高。然而,如果我们将修剪应用于sparsemax模型,我们发现我们可以修剪更多的头部,这就提出了一个问题,即强制稀疏性是否真的提高了透明度。最后,我们发现,相对位置头似乎不可或缺的摘要性能和持久保持修剪后。
2019-11-10 cs.CL cs.LG
Neural Attention: Enhancing QKV Calculation in Self-Attention Mechanism with Neural Networks
Fuzhou University(福州大学)
本文提出用专门设计的神经网络替代传统线性变换来计算自注意力机制中的QKV,实验表明该方法在IWSLT 2017翻译任务上提升了BLEU分数,并在Wikitext-103上降低了Roberta模型的困惑度。
2023-10-24 cs.AI cs.CL
Attention Is Not All You Need: The Importance of Feedforward Networks in Transformer Models
Johns Hopkins University(约翰霍普金斯大学)
本文通过预训练实验检验Transformer中FFN的作用,证明三层FFN且减少块数的配置能以更少参数和更短时间获得更低训练损失。
2025-05-10 cs.CL cs.LG
Limited Attention and Discourse Structure
这个哑炮探讨有限的注意力在话语结构理论中的作用,并提出了一个注意力状态模型,将当前的话语结构层次理论与人类话语处理能力的经验证据联系起来。首先,我提出的例子,没有预测Grosz和Sidner的堆栈模型的注意力状态。然后,我考虑注意状态的另一种模型,缓存模型,它占的例子,并作出特定的处理预测。最后,我提出了一些方法,未来的研究可以区分缓存模型和堆栈模型的预测。
1996-08-14 cmp-lg cs.CL
Attention, not scale, drives human-AI alignment in multimodal language prediction
Psychology and Language Science, Experimental Psychology, University College London, London, UK(心理学与语言科学、实验心理学,伦敦大学学院,伦敦,英国);Google Deepmind, Mountain View, US(谷歌DeepMind,山景城,美国);Princeton Neuroscience Institute, Princeton University, Princeton, NJ, USA(普林斯顿神经科学研究所,普林斯顿大学,普林斯顿,新泽西州,美国);Computer Science Department, Exeter University(计算机科学系,埃克塞特大学)
本研究通过比较五种视觉-语言模型与600名人类在视觉世界范式中的表现,发现添加视觉上下文显著提升模型与人类在预测评分上的一致性,且注意力机制而非模型规模是主要驱动因素。
2026-06-16 cs.AI cs.CL
Adaptive Sparse and Monotonic Attention for Transformer-based Automatic Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Tsinghua University(清华大学);The Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
基于自注意和多头注意力的Transformer架构模型在离线端到端自动语音识别(ASR)中取得了显著的成功。然而,自我注意力和多头注意力不能容易地应用于流或在线ASR。针对Transformer语音识别中的自注意问题,基于softmax归一化函数的注意力机制使得语音识别中的重要语音信息无法突出。对于Transformer ASR中的多头注意力,不容易对不同头中的单调对齐进行建模。为了克服这两个限制,我们将稀疏注意力和单调注意力集成到基于transformer的ASR中。稀疏机制引入了一个学习的稀疏方案,使每个自注意力结构,以适应相应的头部更好。单调注意部署正则化以修剪用于多头注意力结构的冗余头。实验结果表明,该方法可以有效地改善语音识别中广泛使用的基准测试的注意力机制。
2022-09-30 cs.AI cs.CL
Probing self-attention in self-supervised speech models for cross-linguistic differences
University of Maryland, College Park(马里兰大学帕克分校)
本文以小型自监督语音Transformer模型TERA为对象,探究自注意力机制在不同语言中的差异,发现注意力头模式多样且与语言无关,并证明模型能学到音系信息,且主要依赖对角注意力头进行音素分类。
2024-09-04 cs.CL cs.LG
Tree Transformer: Integrating Tree Structures into Self-Attention
National Taiwan University(台湾大学)
从大规模原始文本中预训练Transformer并对所需任务进行微调,在各种NLP任务上取得了最先进的结果。然而,目前还不清楚学习的注意力捕捉到了什么。注意力头计算出的注意力似乎与人类对层次结构的直觉不符。本文提出了树型Transformer,它对双向Transformer编码器的注意头增加了一个额外的约束,以鼓励注意头遵循树结构。我们提出的“成分注意力”模块可以从原始文本中自动归纳出树结构,该模块简单地通过两个相邻单词之间的自我注意力来实现。使用与BERT相同的训练过程,实验证明了Tree Transformer在诱导树结构、更好的语言建模和进一步学习更多可解释的注意力分数方面的有效性。
2019-11-01 cs.CL cs.LG
Sparse Attention with Linear Units
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);ILLC, University of Amsterdam(阿姆斯特丹大学语言、逻辑与计算研究所);Department of Computational Linguistics, University of Zurich(苏黎世大学计算语言学系)
最近,有人认为,编码器-解码器模型可以通过将注意力中的softmax函数替换为其稀疏变量来变得更可解释。在这项工作中,我们介绍了一种新的,简单的方法来实现注意力的稀疏性:我们用ReLU代替softmax激活,并表明稀疏性自然地从这样的公式中出现。训练稳定性是通过层归一化来实现的,该层归一化具有专门的初始化或附加的门控功能。我们的模型,我们称之为矫正线性注意力(ReLA),是很容易实现的,比以前提出的稀疏注意力机制更有效。我们将ReLA应用于Transformer,并在五个机器翻译任务上进行实验。ReLA实现了与几个强基线相当的翻译性能,其训练和解码速度与vanilla attention相似。我们的分析表明,ReLA提供了高稀疏率和头部多样性,诱导的交叉注意实现了更好的准确性,相对于源-目标词对齐比最近的稀疏softmax为基础的模型。有趣的是,ReLA头也学会了对某些查询不做任何事情(即“关闭”),这是稀疏化的softmax替代方案所不可能的。
2021-10-06 cs.CL cs.LG
Tri-Attention: Explicit Context-Aware Attention Mechanism for Natural Language Processing
Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Brock University(布鲁克大学);University of Technology Sydney(悉尼科技大学)
在自然语言处理中,单词或句子的上下文起着至关重要的作用。上下文信息,如段落或历史对话的语义表示,构成了对话的重要组成部分,也是对当前短语或句子的准确理解。然而,标准的注意力机制通常使用查询和键生成权重,但忽略上下文,形成双注意力框架,尽管它们在建模序列比对方面取得了巨大的成功。这种双注意力机制没有明确地对目标序列的上下文、查询和键之间的交互进行建模,丢失了重要的上下文信息,导致注意力表现不佳。因此,一个新的和一般的三重注意力(三注意力)框架扩展了标准的双注意力机制,并显式地交互查询,关键字,上下文作为第三个维度在计算相关性分数。通过将Bi-Attention中基于二维向量的加法、点积、缩放点积和双线性运算扩展为Tri-Attention的张量运算,生成了Tri-Attention的四种变体。对三个NLP任务的广泛实验表明,Tri-Attention优于大约30种最先进的非注意力,标准的Bi-Attention,上下文Bi-Attention方法和预训练的神经语言模型。
2022-11-05 cs.AI cs.CL
Integrating Dependency Tree Into Self-attention for Sentence Representation
Chongqing University(重庆大学);The University of Queensland(昆士兰大学)
用于句子表示学习的解析树编码器的最新进展是显著的。然而,这些工作主要是对树结构进行递归编码,不利于并行化。另一方面,这些工作很少考虑依赖树中弧的标签。为了解决这两个问题,我们提出了依赖转换器,它适用于关系注意力机制,与自我注意力机制。该机制的目的是编码的依赖关系和节点之间的空间位置关系的依存关系树的句子。通过一种基于分数的方法,我们成功地注入了语法信息,而不影响Transformer的并行性。我们的模型优于或相当于国家的最先进的方法在四个任务的句子表示,并具有明显的优势,在计算效率。
2022-05-07 cs.CL cs.LG