How Knowledge Graph and Attention Help? A Quantitative Analysis into Bag-level Relation Extraction
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Virginia Tech(弗吉尼亚理工大学)
知识图谱和注意力机制在弱监督方法中引入和选择有用信息的有效性已经得到证明。然而,仅提供定性分析和消融研究作为证据。在本文中,我们贡献了一个数据集,并提出了一个范式,定量评估的影响,注意力和KG袋级关系抽取(RE)。我们发现:(1)更高的注意力准确度可能会导致更差的性能,因为它可能会损害模型提取实体提及特征的能力;(2)注意力的性能在很大程度上受到各种噪声分布模式的影响,这与真实世界的数据集密切相关;(3)KG增强的注意力确实提高了RE性能,但不是通过增强注意力,而是通过引入实体先验;以及(4)注意力机制可能加剧训练数据不足的问题。基于这些发现,我们表明,与三个最先进的基线相比,RE模型的直接变体可以在两个真实世界的数据集上实现显着改善(平均6% AUC)。我们的代码和数据集可在https://github.com/zig-kwin-hu/how-KG-ATT-help上获得。
2021-07-26 cs.AI cs.CL
DA-Transformer: Distance-aware Transformer
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
Transformer在NLP领域取得了巨大的成功,它包含了各种先进的模型,如BERT和GPT。然而,Transformer及其现有变体在捕获标记距离方面可能不是最佳的,因为这些方法所使用的位置或距离嵌入通常不能保持真实距离的精确信息,这可能不利于对上下文的顺序和关系进行建模。在本文中,我们提出了DA-Transformer,这是一个距离感知的Transformer,可以利用真实的距离。我们建议将令牌之间的真实距离重新缩放原始的自我注意力权重,这是由注意力查询和键之间的相关性计算。具体地说,在不同的自我注意头的每对令牌之间的相对距离加权不同的可学习参数,控制这些头的长期或短期信息的不同偏好。由于原始的加权实距离可能不是调整自我注意力权重的最佳选择,我们提出了一个可学习的sigmoid函数来将它们映射到具有适当范围的重新缩放系数中。我们首先通过ReLU函数裁剪原始的自我注意力权重,以保持非负性并引入稀疏性,然后将它们与重新缩放的系数相乘,将真实的距离信息编码为自我注意力。在五个基准数据集上的大量实验表明,DA-Transformer可以有效地提高许多任务的性能,并优于vanilla Transformer及其几个变体。
2021-04-11 cs.CL
Does RoBERTa Perform Better than BERT in Continual Learning: An Attention Sink Perspective
Stony Brook University(石溪大学)
本研究从注意力汇视角探究高下游能力预训练模型的持续学习表现,发现注意力汇会干扰持续学习,提出预缩放机制提升无回放持续学习性能。
2024-10-08 cs.CL cs.LG
Not All Attention Is All You Need
Shanghai Jiao Tong University(上海交通大学);Soochow University(苏州大学)
除了在最近的自然语言处理中预先训练的语言模型(PrLM)的成功故事之外,由于不寻常的大模型大小,它们容易过度拟合。为此,辍学作为一种治疗。然而,现有的方法,如基于随机的,基于知识的和基于搜索的丢弃更普遍,但对基于自我注意力的模型,这是广泛选择的基本架构的PrLM的有效性较低。在本文中,我们提出了一种新的dropout方法AttendOut,让自我注意力授权的PrLM能够更强大的特定于任务的调整。我们证明了具有精心训练设计的最先进模型可以实现更强大的结果。我们验证了广泛的自然语言处理任务,我们的方法的普遍性。
2021-06-01 cs.CL
Integral Transformer: Denoising Attention, Not Too Much Not Too Little
Huawei Noah’s Ark Lab, Montreal Research Center, Canada(华为诺亚实验室,蒙特利尔研究中心,加拿大)
针对Softmax自注意力中的噪声问题,提出积分Transformer,通过整合logit分布采样信号去噪并保留特殊标记贡献,在知识和推理基准上优于现有变体,且低层用普通注意力、高层用积分注意力效果更佳。
2025-08-25 cs.CL
Smart Bird: Learnable Sparse Attention for Efficient and Effective Transformer
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Microsoft STC Asia(微软亚太研发集团)
Transformer在NLP方面取得了巨大的成功。但是,Transformer中自注意力机制的二次复杂性使其在处理长序列时效率低下。许多现有的作品都在探索通过计算稀疏的自我注意力而不是密集的自我注意力来加速Transformers,后者通常关注某些位置的代币或随机选择的代币。然而,手动选择的或随机的令牌对于上下文建模可能是无信息的。在本文中,我们提出了智能鸟,这是一个高效和有效的Transformer与可学习的稀疏注意。在Smart Bird中,我们首先使用单头低维Transformer计算草图注意力矩阵,旨在发现令牌之间潜在的重要交互。然后,我们根据从草图的注意力矩阵导出的概率得分对标记对进行采样,以针对不同的注意力头部生成不同的稀疏注意力索引矩阵。最后,我们根据索引矩阵选择标记嵌入,形成稀疏注意网络的输入。在六个不同任务的基准数据集上进行的大量实验验证了Smart Bird在文本建模中的效率和有效性。
2021-09-02 cs.CL
LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning
Texas A&M University(德克萨斯农工大学);Amazon(亚马逊公司);Rice University(莱斯大学);Case Western Reserve University(凯斯西储大学)
针对LLM难以泛化到超出训练长度的长上下文问题,提出无需微调的SelfExtend方法,通过构建分组与邻域双层注意力扩展上下文窗口,仅少量代码修改即可生效,多基准实验验证了其有效性。
2024-07-11 cs.AI cs.CL cs.LG
May I have your Attention? Breaking Fine-Tuning based Prompt Injection Defenses using Architecture-Aware Attacks
UC San Diego(加州大学圣迭戈分校)
本文提出一种基于注意力的攻击算法,揭示了现有白盒提示注入防御的不足,攻击成功率高达85-95%
2025-12-17 cs.AI cs.CL cs.CR
Attention is not not Explanation
Georgia Institute of Technology(佐治亚理工学院)
注意力机制在自然语言处理系统中起着核心作用,特别是在递归神经网络(RNN)模型中。最近,人们越来越感兴趣的是,这些模块提供的中间表示是否可以用来解释模型预测的推理,从而获得关于模型决策过程的见解。最近的一篇论文声称“注意力不是解释”(Jain和Wallace,2019)。我们对这项工作的许多假设提出了挑战,认为这种说法取决于人们对解释的定义,并且测试它需要考虑模型的所有元素,使用严格的实验设计。我们提出了四种替代测试来确定何时/是否可以使用注意力作为解释:简单的统一权重基线;基于多个随机种子运行的方差校准;使用预训练模型的冻结权重的诊断框架;以及端到端的对抗性注意力训练协议。每个都允许对RNN模型中的注意力机制进行有意义的解释。我们发现,即使可以找到可靠的对抗分布,他们不执行简单的诊断,表明以前的工作并没有反驳注意力机制的可解释性的有用性。
2019-09-05 cs.CL
An Analysis of Attention over Clinical Notes for Predictive Tasks
Northeastern University(东北大学)
向电子医疗记录(EMR)的转变引发了对机器学习和自然语言技术的研究,以分析患者记录,并从这些感兴趣的临床结果中进行预测。两个观察激发了我们的目标。首先,EMR中包含的非结构化注释通常包含关键信息,因此应该由模型利用。其次,虽然强大的预测性能很重要,但模型的可解释性对于这一领域的应用来说可能同样重要。总之,这些观点表明,EMR的神经模型可能会受益于将注意力纳入笔记,人们可能希望这既能提高性能,又能提供预测的透明度。在这项工作中,我们使用两个EMR语料库和四个不同的预测任务进行实验来探索这个问题,即:(i)包含注意力机制对于在音符字段上操作的神经编码器模块至关重要,以产生竞争性性能,但是,(ii)不幸的是,虽然这些提高了预测性能,但它们是否为预测提供有意义的支持显然不太清楚。
2019-04-05 cs.AI cs.CL
Beyond Sparse Weights: When Is Attention Compressible?
City University of Hong Kong(香港城市大学);University of New South Wales(新南威尔士大学)
该研究针对KV缓存压缩的假设缺陷,提出无需训练的压缩器CertKV,在多个长上下文基准测试中表现优异,明确注意力可压缩性的决定因素。
2026-08-25 cs.CL cs.LG
Learning Linear Attention in Polynomial Time
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT Brain and Cognitive Sciences(麻省理工学院脑科学与认知科学);TUM Munich, MCML, MIT CSAIL(慕尼黑技术大学、MCML、麻省理工学院计算机科学与人工智能实验室)
本研究首次证明单层线性注意力Transformer可在多项式时间内强健地不可知PAC学习,通过将其转化为RKHS中的线性预测器,并实证验证于联想记忆、有限自动机等任务,弥合了表达性与可学习性之间的鸿沟。
2025-10-23 cs.AI cs.CL cs.DS
Attention is not Explanation
Northeastern University(东北大学)
注意力机制在神经NLP模型中得到了广泛的应用。除了提高预测性能外,这些通常被吹捧为提供透明度:配备了注意力的模型提供了关注输入设备的分布,这通常被(至少是隐含地)表示为传达输入的相对重要性。然而,目前还不清楚注意力权重和模型输出之间存在什么关系。在这项工作中,我们在各种NLP任务中进行了广泛的实验,旨在评估注意力权重为预测提供有意义的“解释”的程度。我们发现,他们基本上没有。例如,学习的注意力权重通常与基于梯度的特征重要性度量不相关,并且可以识别非常不同的注意力分布,但仍然产生等效的预测。我们的研究结果表明,标准的注意力模块并不能提供有意义的解释,也不应该被当作有意义的解释。所有实验的代码可在https://github.com/successar/AttentionExplanation上获得。
2019-05-08 cs.AI cs.CL
Positional Encoding via Token-Aware Phase Attention
Meta
本文提出Token-Aware Phase Attention,通过可学习的相函数改进注意力机制,实现长距离token交互,支持更长上下文的持续预训练,并在长上下文场景下取得更低的困惑度和更强的检索性能。
2026-09-09 cs.AI cs.CL
Learning to Attribute with Attention
MIT(麻省理工学院)
针对语言模型生成序列的标记归因成本高问题,提出将不同注意力头权重作为特征学习有效利用的AT2方法,性能与大量消融方法相当且效率更高,在问答场景中修剪上下文次要部分提升回答质量。
2025-04-18 cs.CL cs.LG
Not All Attention Is Needed: Gated Attention Network for Sequence Data
The Hong Kong University of Science and Technology(香港科技大学);HKUST-Xiaoi Joint Lab(香港科技大学-小i联合实验室);Amazon Web Services(亚马逊云科技)
虽然深度神经网络一般具有固定的网络结构,但近年来动力机制的概念越来越受到关注。注意力机制计算依赖于输入的动态注意力权重,用于聚集隐藏状态序列。卷积神经网络(CNN)中的动态网络配置针对不同的输入选择性地一次仅激活网络的一部分。在本文中,我们结合这两个动态机制的文本分类任务。传统的注意力机制关注输入句子的整个隐藏状态序列,而在大多数情况下,特别是对于长序列,并不需要所有的注意力。我们提出了一种新的方法称为门控注意力网络(GA-Net)动态选择一个子集的元素参加使用辅助网络,并计算注意力权重聚合所选元素。它避免了在无人参与的元素上进行大量不必要的计算,并允许模型关注序列的重要部分。在不同数据集上的实验表明,该方法在计算量小、可解释性好的同时,与所有全局或局部关注的基线模型相比,具有更好的性能.它也有望将这一想法扩展到更复杂的基于注意力的模型,如Transformers和seq-to-seq模型。
2019-12-01 cs.CL cs.LG stat.ML