Decoding-History-Based Adaptive Control of Attention for Neural Machine Translation
Peking University（北京大学）
基于注意力的序列到序列模型在神经机器翻译（NMT）中已被证明是成功的。然而，不考虑解码历史的注意，包括解码器中的过去信息和注意力机制，往往会导致大量的重复。为了解决这个问题，我们提出了解码历史为基础的自适应注意力控制（ACA）的NMT模型。蚁群算法通过记忆向量跟踪解码历史和当前信息来学习控制注意力，从而使模型能够考虑翻译后的内容和当前信息。在汉英翻译和英越翻译上的实验表明，我们的模型显著优于强基线。分析表明，我们的模型是能够生成翻译与较少的重复和更高的准确性。代码将在https://github.com/lancopku上提供
2018-02-06 cs.AI cs.CL cs.LG
A General Survey on Attention Mechanisms in Deep Learning
Erasmus School of Economics（伊拉斯姆斯经济学院）；Erasmus University Rotterdam（鹿特丹伊拉斯姆斯大学）
注意力是一种重要的机制，可以用于跨许多不同领域和任务的各种深度学习模型。本调查提供了文献中提出的最重要的注意力机制的概述。各种注意力机制解释的一般注意力模型，统一的符号，和注意力机制的综合分类的框架。此外，评价注意力模型的各种措施进行了审查，并讨论了方法来表征的结构的注意力模型的基础上提出的框架。最后，在注意力模型领域的未来工作被认为是。
2022-03-27 cs.LG
Understanding Attention and Generalization in Graph Neural Networks
University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）；SRI International（斯坦福国际研究院）
我们的目标是更好地理解图神经网络（GNNs）中节点的注意力，并确定影响其有效性的因素。我们特别关注注意力GNN推广到更大，更复杂或噪声图的能力。受图同构网络工作的启发，我们设计了简单的图推理任务，使我们能够在受控环境中研究注意力。我们发现，在典型的条件下，注意力的影响是可以忽略不计的，甚至是有害的，但在某些条件下，它提供了一个特殊的性能增益超过60%，在我们的一些分类任务。在实践中满足这些条件是具有挑战性的，往往需要最佳的初始化或监督训练的注意力。我们提出了一个替代的配方和训练注意力在弱监督的方式，接近监督模型的性能，并与无监督模型相比，提高了几个合成以及真实数据集的结果。源代码和数据集可在https://github.com/bknyaz/graph_attention_pool上获得。
2019-10-28 cs.AI cs.LG stat.ML
EEG motor imagery decoding: A framework for comparative analysis with channel attention mechanisms
Institute of Signal Processing and System Theory, University of Stuttgart（斯图加特大学信号处理与系统理论研究所）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；Charité - Universitätsmedizin Berlin（柏林夏里特医学院）
本文提出一个轻量级脑电运动想象解码框架，系统比较多种通道注意力机制在相同条件下的效果，并在四个数据集上验证其性能提升、低计算复杂度和跨数据集泛化能力。
2024-02-21 cs.AI cs.HC cs.LG
Assessing the Impact of Attention and Self-Attention Mechanisms on the Classification of Skin Lesions
Instituto Superior Técnico（里斯本高等理工学院）；INESC-ID（INESC-ID 研究所）
注意力机制已经引起了研究界的极大兴趣，因为它们承诺显着改善神经网络架构的性能。然而，在任何具体的问题中，我们仍然缺乏一种原则性的方法来选择特定的机制和超参数，以确保改进。最近，自注意力被提出并广泛应用于变压器式架构中，在某些应用中取得了重大突破。在这项工作中，我们集中在两种形式的注意力机制：注意模块和自我注意。注意力模块用于重新加权每个层输入张量的特征。不同的模块有不同的方式在全连接或卷积层中执行这种重新加权。研究的注意力模型是完全模块化的，在这项工作中，它们将与流行的ResNet架构一起使用。自注意（Self-Attention）最初是在自然语言处理领域中提出的，它使得将输入序列中的所有项目联系起来成为可能。自注意力在计算机视觉中越来越受欢迎，有时它与卷积层结合在一起，尽管最近的一些架构完全取消了卷积。在这项工作中，我们研究和执行一个特定的计算机视觉任务，在广泛使用的皮肤癌MNIST数据集中的样本分类的一些不同的注意力机制的客观比较。结果表明，注意力模块有时确实提高了卷积神经网络架构的性能，但这种改进尽管明显且具有统计学意义，但在不同的设置中并不一致。另一方面，用自注意力机制获得的结果显示出一致且显著的改进，即使在具有减少的参数数量的架构中也能获得最佳结果。
2021-12-23 cs.AI cs.CV cs.LG
Improving Speech Emotion Recognition Through Focus and Calibration Attention Mechanisms
Dongguk University（东国大学）
注意力已经成为深度学习方法中最常用的机制之一。注意力机制可以帮助系统更多地关注特征空间的关键区域。例如，高振幅区域可以在语音情感识别（SER）中发挥重要作用。在本文中，我们确定在现有的多头自注意之间的注意和信号幅度的失调。为了改善注意区域，我们提出了一个焦点-注意（FA）机制和一个新的校准-注意（CA）机制结合多头自我注意。通过FA机制，网络可以检测到段中幅度最大的部分。通过采用CA机制，网络可以通过为每个注意头分配不同的权重来调节信息流，并提高周围上下文的利用率。为了评估所提出的方法，实验进行了IEMOCAP和RAVDESS数据集。实验结果表明，该框架显着优于国家的最先进的方法在这两个数据集。
2022-08-21 cs.AI cs.LG cs.SD
SALO: An Efficient Spatial Accelerator Enabling Hybrid Sparse Attention Mechanisms for Long Sequences
Shanghai Jiao Tong University（上海交通大学）
Transformers的注意力机制有效地从输入序列中提取相关信息。然而，自我注意序列长度的二次复杂性会带来沉重的计算和记忆负担，特别是对于长序列的任务。现有的加速器在这些任务中面临性能下降。为此，我们提出SALO，使混合稀疏注意力机制长序列。SALO包含一个数据调度器，用于将混合稀疏注意模式映射到硬件上，以及一个空间加速器，用于执行有效的注意计算。我们表明，SALO实现了17.66倍和89.33倍的加速平均相比，GPU和CPU的实现，分别在典型的工作负载，即，Longformer和ViL。
2022-06-29 cs.AI cs.AR cs.LG
Integrating Biological and Machine Intelligence: Attention Mechanisms in Brain-Computer Interfaces
The School of Biomedical Engineering（生物医学工程学院）；The Guangdong Provincial Key Laboratory of Biomedical Measurements（生物医学测量与超声成像广东省重点实验室）；Shien-Ming Wu School of Intelligent Engineering（沈铭武智能工程学院）；Institute for Super Robotics（超机器人研究所）
本文系统综述了传统与Transformer注意力机制在EEG脑机接口中的嵌入策略、多模态融合应用及未来趋势，为提升EEG解读性能提供参考。
2025-07-07 cs.AI cs.LG eess.SP
Deep neural network loses attention to adversarial images
Kyushu University（九州大学）
对抗性算法已被证明对各种任务的神经网络是有效的。在图像分类中，一些对抗性算法对于图像分类任务最小地扰动图像中的所有像素。相比之下，一些算法强烈地扰动少数像素。然而，关于为什么这些对抗样本彼此如此不同的信息很少。最近，Vargas等人表明，这些对抗样本的存在可能是由于神经网络内的显着性冲突。我们通过分析原始和少数不同类型的对抗样本的显着性图（SM）和一致性加权类激活图（Grad-CAM）来测试这种冲突显着性的假设。我们还分析了与原始样本相比，不同的对抗样本如何扭曲神经网络的注意力。我们表明，在像素攻击的情况下，受干扰的像素要么将网络注意力吸引到自己身上，要么将注意力从它们身上转移开。同时，投影梯度下降攻击会干扰像素，使神经网络内部的中间层失去对正确类的注意力。我们还表明，这两种攻击的显着性地图和激活地图的影响不同。因此，揭示了为什么一些成功抵御某些攻击的防御仍然容易受到其他攻击的影响。我们希望这种分析将提高对对抗样本的存在和影响的理解，并使社区能够开发更强大的神经网络。
2021-06-10 cs.AI cs.CV cs.LG
ChordMixer: A Scalable Neural Attention Model for Sequences with Different Lengths
Norwegian University of Science and Technology（挪威科技大学）
提出ChordMixer，一种可扩展的神经注意力模型，通过位置旋转层和MLP层处理变长序列，在长序列任务上显著优于现有模型。
2023-05-05 cs.LG
A General Neural Backbone for Mixed-Integer Linear Optimization via Dual Attention
Shenzhen Research Institute, Shandong University, China（山东大学深圳研究院，中国）
提出基于元素中心视角和双重注意力（内部自注意力和交叉注意力）的神经骨干，在实例、元素和求解状态三个层面优于传统GNN架构，为学习增强组合优化提供强大基础。
2026-07-03 cs.AI
Attention Mechanism in Neural Networks: Where it Comes and Where it Goes
University of Leuven (KU Leuven)（鲁汶大学）
很久以前，在机器学习文献中，引入了将受人类视觉系统启发的机制并入神经网络的想法。这种思想被命名为注意力机制，它经历了一个漫长的发展时期。今天，许多作品都致力于这一想法在各种任务。最近表现出了显著的业绩。本文的目的是提供一个概述，从早期的工作，寻找方法来实现注意的想法与神经网络，直到最近的趋势。这次审查强调了在这一进展过程中有关不同任务的重要里程碑。通过这种方式，本研究旨在为研究人员提供一个路线图，以探索目前的发展和获得灵感的新方法以外的关注。
2022-04-27 cs.LG
Attention Based Neural Networks for Wireless Channel Estimation
University of Edinburgh（爱丁堡大学）
在本文中，我们部署的自注意机制，以实现改进的信道估计的正交频分复用波形在下行链路中。具体来说，我们提出了一个新的混合编码器-解码器结构（称为HA 02）的第一次利用的注意力机制，专注于最重要的输入信息。特别是，我们实现了一个Transformer编码器块作为编码器，以实现输入特征的稀疏性，并分别实现了一个残差神经网络作为解码器，受到注意力机制成功的启发。使用3GPP信道模型，我们的仿真显示出优越的估计性能相比，其他候选神经网络方法的信道估计。
2022-04-28 cs.AI eess.SP
A$^3$: Accelerating Attention Mechanisms in Neural Networks with Approximation
Seoul National University（首尔国立大学）；Sungkyunkwan University（成均馆大学）；SK Hynix（SK海力士）
随着神经网络计算需求的不断增长，已经提出了许多用于神经网络的硬件加速器。这种现有的神经网络加速器通常专注于流行的神经网络类型，如卷积神经网络（CNN）和递归神经网络（RNN）;然而，没有太多的关注注意力机制，一种新兴的神经网络原语，使神经网络能够从知识库，外部存储器或过去的状态中检索最相关的信息。注意力机制被许多最先进的神经网络广泛采用，用于计算机视觉、自然语言处理和机器翻译，并且占总执行时间的很大一部分。我们观察到今天使用矩阵向量乘法实现该机制的实践是次优的，因为注意力机制在语义上是基于内容的搜索，其中大部分计算最终没有被使用。基于这一观察，我们设计并构建了A3，它通过算法近似和硬件专业化来加速神经网络中的注意力机制。我们提出的加速器实现了多个数量级的提高能源效率（性能/瓦），以及大大加快了国家的最先进的传统硬件。
2020-02-22 cs.DC cs.LG
Frustratingly Short Attention Spans in Neural Language Modeling
University College London（伦敦大学学院）
神经语言模型使用即时标记历史的潜在表示来预测下一个标记。最近，已经提出了在可微记忆上用注意力机制增强神经语言模型的各种方法。为了预测下一个令牌，这些模型从最近历史的记忆中查询信息，这可以促进学习中长期依赖性。然而，在记忆增强神经语言模型中使用的常规注意力机制在每个时间步产生单个输出向量。该向量既用于预测下一个令牌，也用于令牌历史的可微存储器的键和值。在本文中，我们提出了一个神经语言模型的关键值注意力机制，输出单独的表示的关键和值的微分记忆，以及编码的下一个词的分布。该模型在两个语料库上的性能优于现有的记忆增强神经语言模型。然而，我们发现我们的方法主要利用了五个最近的输出表示的记忆。这导致了一个意想不到的主要发现，即一个简单得多的模型，只基于前一个时间步的最近输出表示的串联，与更复杂的记忆增强神经语言模型不相上下。
2017-02-15 cs.AI cs.CL cs.LG
Attention with Intention for a Neural Network Conversation Model
Microsoft Research（微软研究院）；Chinese University of Hong Kong（香港中文大学）
在对话或对话过程中，注意力和意图起着内在的作用。本文提出了一种基于神经网络的方法，模型的注意和意图的过程。它基本上由三个经常性网络组成。编码器网络是表示源侧句的词级模型。意图网络是一个循环网络，它模拟了意图过程的动态。解码器网络是对来自源侧的输入产生响应的递归网络。它是一种依赖于意图的语言模型，当预测响应中的符号时，它具有注意力机制来关注特定的源边词。该模型是端到端训练的，没有标记数据。实验表明，该模型对用户输入产生自然的反应。
2015-11-05 cs.AI cs.HC cs.LG
Graph Convolutional Neural Networks via Motif-based Attention
Beihang University（北京航空航天大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
许多现实世界的问题可以表示为基于图的学习问题。在本文中，我们提出了一个新的框架学习空间和注意力卷积神经网络在任意图。与以往的图上的卷积神经网络不同，我们首先设计了一个图案匹配引导的子图归一化方法来捕获邻域信息。然后，我们实现子图级的自注意层，从不同的子图学习不同的重要性，以解决图分类问题。类似于基于图像的注意力卷积网络，它在输入的局部连接和加权区域上操作，我们还通过利用图案匹配将图规范化从一维节点序列扩展到二维节点网格，并设计自注意力层，而不需要依赖于图结构的先验知识的任何类型的成本。我们在生物信息学和社交网络数据集上的结果表明，我们可以显着改进传统图内核和现有深度模型的图分类基准。
2019-02-25 cs.LG
Neural Attention: Enhancing QKV Calculation in Self-Attention Mechanism with Neural Networks
Fuzhou University（福州大学）
本文提出用专门设计的神经网络替代传统线性变换来计算自注意力机制中的QKV，实验表明该方法在IWSLT 2017翻译任务上提升了BLEU分数，并在Wikitext-103上降低了Roberta模型的困惑度。
2023-10-24 cs.AI cs.CL
Generalized Attention Mechanism and Relative Position for Transformer
本文首先对Vaswani等人的自我注意力机制提出了一种新的解释，然后提出了广义注意力机制（GAM）。在解释之后，我们提供了对注意力机制的不同变体的描述，这些变体一起形成GAM。此外，我们提出了一个新的相对位置表示GAM的框架内。这种表示可以很容易地用于输入序列中彼此相邻的元素可以位于实际数据集/语料库中的随机位置的情况。
2022-07-24 cs.CL cs.LG
Towards understanding how attention mechanism works in deep learning
本研究将自注意力机制分解为可学习伪度量与信息传播过程，证明其收敛于漂移-扩散过程，并提出改进的 metric-attention 机制，在训练效率、准确性和鲁棒性上优于自注意力。
2024-12-24 cs.AI cs.CV cs.LG
4D Attention-based Neural Network for EEG Emotion Recognition
Peking University（北京大学）；Beijing Jiaotong University（北京交通大学）
脑电情感识别是脑机接口领域的一个重要课题。尽管近年来提出了许多深度学习方法，但如何充分利用脑电信号不同域所包含的信息仍然是一个挑战。在本文中，我们提出了一种新的方法，称为四维注意力为基础的神经网络（4D-aNN）的EEG情绪识别。首先，原始EEG信号被转换成4D空间-频谱-时间表示。然后，采用频谱和空间注意力机制自适应地分配不同脑区和频带的权重，并利用卷积神经网络（CNN）处理4D表示的频谱和空间信息。此外，时间注意力机制被集成到双向长短期记忆（LSTM）中，以探索4D表示的时间依赖性。我们的模型在主题内分裂的SEED数据集上实现了最先进的性能。实验结果表明了不同领域的注意力机制对脑电情感识别的有效性。
2021-01-14 cs.LG
Generalized Probabilistic Attention Mechanism in Transformers
Handong Global University（韩东全球大学）
本文提出广义概率注意力机制 GPAM 及其双注意力实现 daGPAM，通过允许负注意力分数同时缓解 Transformer 中的秩坍缩和梯度消失问题，并在语言建模和机器翻译任务中验证了其有效性。
2024-10-21 cs.CL cs.LG
Hierarchical Attentional Hybrid Neural Networks for Document Classification
Universidade Federal de Pernambuco（伯南布哥联邦大学）
文档分类是一项具有挑战性的任务，具有重要的应用。解决这个问题的深度学习方法最近受到了广泛关注。尽管取得了进展，所提出的模型没有有效地将文档结构的知识纳入体系结构中，也没有考虑到单词和句子的上下文重要性。在本文中，我们提出了一种新的方法，结合卷积神经网络，门控递归单元，和注意力机制的文件分类任务。本文的主要贡献是通过卷积层的分层表示来提取更有意义的、可推广的和抽象的特征。本文提出的方法改进了目前基于注意力的文档分类方法的结果。
2019-06-28 cs.AI cs.CL cs.LG
Text Classification based on Multi-granularity Attention Hybrid Neural Network
China University of Political Science and Law（中国政法大学）；University of Science and Technique of China（中国科学技术大学）
基于神经网络的方法已经成为自然语言处理（NLP）任务的驱动力。传统上，NLP任务有两种主流神经架构：递归神经网络（RNN）和卷积神经网络（ConvNet）。RNN擅长对输入文本的长期依赖关系进行建模，但排除了并行计算。ConvNets没有内存能力，它必须将顺序数据建模为无序特征。因此，ConvNets无法学习输入文本的顺序依赖关系，但它能够进行高效的并行计算。由于RNN和ConvNets等每种神经架构都有自己的优点和缺点，因此不同架构的集成被认为能够丰富文本的语义表示，从而提高NLP任务的性能。然而，很少有调查探讨这些看似不兼容的架构的和解。为了解决这个问题，我们提出了一种混合架构的基础上，一种新的分层多粒度的注意力机制，命名为多粒度的基于注意力的混合神经网络（MahNN）。注意力机制是对输入序列的不同部分分配不同的权重，以提高神经模型的计算效率和性能。在MahNN中，引入了两种类型的注意：句法注意和语义注意。句法注意力计算较低符号层次的句法元素（如单词或句子）的重要性，语义注意力计算较高层潜在语义对应的嵌入空间维度的重要性。我们采用文本分类作为例证的方式来说明MahNN理解文本的能力。
2020-08-12 cs.AI cs.CL
Dynamic N:M Fine-grained Structured Sparse Attention Mechanism
University of California, Santa Barbara（加州大学圣巴巴拉分校）；ALIBABA DAMO Academy（阿里巴巴达摩院）
Transformers正在成为NLP和计算机视觉等各种任务的主流解决方案。尽管它们取得了成功，但注意力机制的高度复杂性阻碍了它们应用于延迟敏感的任务。为了缓解这个问题，已经做出了巨大的努力，其中许多人成功地将渐近复杂性降低到线性。然而，他们中的大多数未能实现实际的加速比在中等序列长度下的原始的全注意力，是不友好的微调。在本文中，我们提出了DFSS，一个注意力机制，动态修剪的完整的注意力权重矩阵的N：M细粒度结构稀疏模式。我们提供的理论和经验证据表明，DFSS是一个很好的近似的完整的注意力机制。我们提出了一个专用的CUDA内核设计，完全消除了动态修剪开销，并实现任意序列长度下的加速比。我们在不同的配置下评估了1：2和2：4的稀疏性，并在全注意力机制上实现了1.27~1.89倍的加速比。它只需要从预训练模型中进行几次微调，就可以在384到4096的不同序列长度下，对来自不同领域的任务进行完全注意力机制，达到同等精度。
2022-02-28 cs.LG
Co-Attention Based Neural Network for Source-Dependent Essay Scoring
University of Pittsburgh（匹兹堡大学）；Department of Computer Science（计算机科学系）；LRDC（LRDC（此处LRDC未明确全称，按原文提取））；Department of Computer Science & LRDC（计算机科学系及LRDC（此处LRDC未明确全称，按原文提取））；Pittsburgh, PA 15260（（地址信息，非机构，已排除））
本文提出了一种基于共同注意力的神经网络用于基于源的作文评分的研究。我们使用了一个共同的注意力机制来帮助模型更准确地学习文章每个部分的重要性。此外，本文表明，基于共同注意的神经网络模型提供了可靠的分数预测的源依赖性的反应。我们评估我们的模型上的两个源依赖响应语料库。结果表明，我们的模型优于基线上的两个语料库。我们还表明，该模型的注意力是类似的专家意见的例子。
2019-08-06 cs.AI cs.CL
Generating News Headlines with Recurrent Neural Networks
我们描述了具有LSTM单元和注意力的编码器-解码器递归神经网络的应用，以从新闻文章的文本中生成标题。我们发现，该模型是相当有效的，在简明的释义新闻文章。此外，我们还研究了神经网络如何决定要注意哪些输入单词，特别是我们确定了简化的注意力机制中不同神经元的功能。有趣的是，我们简化的注意力机制比更复杂的注意力机制在一组文章上表现得更好。
2015-12-05 cs.CL cs.LG cs.NE
Is Attention All What You Need? -- An Empirical Investigation on Convolution-Based Active Memory and Self-Attention
The University of Newcastle（纽卡斯尔大学）
Transformer模型的关键是自注意力机制，它允许模型以计算高效的方式分析整个序列。最近的研究表明，RNN使用的一般注意力机制可能被主动记忆机制取代。在这项工作中，我们评估是否各种主动记忆机制可以取代自注意力力的Transformer。我们的实验表明，单独使用主动记忆可以达到与语言建模的自注意力机制相当的结果，但最佳结果大多是通过同时使用主动记忆和自注意力机制来实现的。我们还注意到，对于某些特定的算法任务，主动记忆机制单独优于自注意力和两者的组合。
2019-12-30 cs.CL cs.LG stat.ML
Spiking GATs: Learning Graph Attentions via Spiking Neural Network
Anhui University（安徽大学）
图注意力网络（GATs）已被深入研究并广泛应用于图数据学习任务。现有的GAT一般采用自注意力机制来进行图边注意学习，需要昂贵的计算。众所周知，脉冲神经网络（SNN）可以通过将输入信号数据传输到离散的脉冲串中来执行廉价的计算，并且还可以返回稀疏的输出。受SNN优点的启发，在这项工作中，我们提出了一种新的图形尖峰注意力网络（GSAT）用于图形数据表示和学习。与现有GAT中的自注意力机制相比，GSAT采用了SNN模块结构，具有明显的节能性。此外，GSAT可以返回稀疏的注意力系数在自然，从而可以进行选择性的邻居，这使得GSAT执行鲁棒性w.r.t图边缘噪声的特征聚合。在多个数据集上的实验结果证明了GSAT模型的有效性、能量效率和鲁棒性。
2022-09-05 cs.LG cs.NE
Memory Efficient Neural Processes via Constant Memory Attention Block
Borealis AI（博雷亚利斯人工智能公司）；Mila – Université de Montréal（米拉-蒙特利尔大学）
针对神经过程注意力机制内存开销大的问题，提出常数内存注意力块（CMAB）及CMANPs模型，实现常数内存与计算更新，在基准上取得最先进结果且内存效率显著提升。
2024-05-27 cs.CV cs.LG
A Primal-Dual Framework for Transformers and Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究提出Transformer与神经网络的原始-对偶理论框架，证明自注意力对应SVR的支持向量展开，推导两种新型注意力并验证其在多任务中降冗余、提精度与效率的优势。
2024-06-19 cs.AI cs.CL cs.CV
Rethinking Self-Attention: Towards Interpretability in Neural Parsing
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Adobe Research（Adobe研究）
注意力机制提高了NLP任务的性能，同时允许模型保持可解释性。自我注意是目前广泛使用的，但解释是困难的，由于众多的注意力分布。最近的工作表明，模型表示可以受益于标签特定的信息，同时促进预测的解释。我们引入标签注意层：一种新的自我注意形式，其中注意头代表标签。我们通过运行选区和依存句法分析实验来测试我们的新层，并表明我们的新模型在Penn Treebank（PTB）和Chinese Treebank上都获得了新的最先进的结果。此外，与现有工作相比，我们的模型需要更少的自我注意层。最后，我们发现标签注意脑能够学习句法范畴之间的关系，并显示出分析错误的路径。
2020-10-29 cs.CL cs.LG
A Deep Neural Network for Audio Classification with a Classifier Attention Mechanism
University of Ottawa（渥太华大学）
音频分类被认为是模式识别中的一个具有挑战性的问题。最近，已经提出了许多使用深度神经网络的算法。在本文中，我们介绍了一种新的基于注意力的神经网络架构，称为基于分类器注意力的卷积神经网络（CAB-CNN）。该算法使用了一个新设计的架构，包括一个简单的分类器和一个注意力机制作为一个分类器选择器的列表。这种设计大大减少了分类器所需的参数数量，从而降低了它们的复杂性。以这种方式，变得更容易训练分类器并实现高且稳定的性能。实验结果证实了我们的主张。与最先进的算法相比，我们的算法在所有选定的测试成绩上都有超过10%的改进。
2020-06-14 cs.LG cs.SD eess.AS
BA-Net: Bridge Attention for Deep Convolutional Neural Networks
SUN YAT-SUN University（中山大学）
近年来，通道注意力机制因其在提高深度卷积神经网络（CNN）在许多视觉任务中的性能方面的巨大潜力而受到广泛研究。然而，在大多数现有的方法中，仅将相邻卷积层的输出馈送到注意层以用于计算信道权重。来自其他卷积层的信息已被忽略。通过这些观察，本文提出了一种简单的策略，命名为桥注意力网络（BA-Net），更好的性能与通道注意力机制。这种设计的核心思想是通过跳过连接来桥接先前卷积层的输出，以生成通道权重。基于我们的实验和理论分析，我们发现前几层的特征也对权重有很大的贡献。综合评价表明，该方法实现了国家的最先进的（SOTA）性能相比，现有的方法在准确性和速度。这表明桥注意力为神经网络结构的设计提供了一个新的视角，在提高性能方面具有很大的潜力。该代码可在https://github.com/zhaoy376/Bridge-Attention上获得。
2022-06-01 cs.AI cs.CV
An Attention Based Neural Network for Code Switching Detection: English & Roman Urdu
National University of Computer and Emerging Sciences, FAST（国家计算机与新兴科学大学FAST校区）
语码转换是不同语言背景的人之间的一种普遍现象，在网络交际中被广泛使用。在本文中，我们提出了一个递归神经网络结合注意力模型的语言识别代码交换数据在英语和低资源罗马乌尔都语。注意力模型使体系结构能够学习语言的重要特征，从而对代码切换数据进行分类。我们通过将结果与最先进的模型（即隐马尔可夫模型，条件随机场和双向LSTM）进行比较来展示我们的方法。使用混淆矩阵度量的模型评估表明，与其他模型相比，注意力机制提供了改进的精确度和准确度。
2021-03-03 cs.AI cs.CL
Explaining the Attention Mechanism of End-to-End Speech Recognition Using Decision Trees
Beijing Forestry University（北京林业大学）；Chinese Academy of Sciences（中国科学院）
注意力机制在很大程度上提高了端到端语音识别系统的性能。然而，注意力的潜在行为还不清楚。在这项研究中，我们使用决策树来解释注意力机制如何影响自己在语音识别。结果表明，注意力水平在很大程度上是由他们以前的状态，而不是编码器和解码器模式的影响。此外，默认的注意力机制似乎对更接近的状态赋予了更多的权重，但在对注意力状态的长期依赖性进行建模时表现不佳。
2021-10-08 cs.CL cs.LG cs.SD
Full-attention based Neural Architecture Search using Context Auto-regression
Tianjin University（天津大学）；University of Western Ontario（西安大略大学）
自我注意架构已经成为最近的进步，以提高视觉任务的性能。人工确定自注意网络的架构依赖于专家的经验，不能自动适应各种场景。同时，神经结构搜索（NAS）也极大地促进了神经结构的自动设计。因此，考虑使用NAS方法来自动发现更好的自注意体系结构是合适的。然而，由于基于单元的搜索空间的统一性和缺乏长期的内容依赖性，直接使用现有的NAS方法来搜索注意力网络是具有挑战性的。为了解决这个问题，我们提出了一种基于全注意力的NAS方法。更具体地说，逐阶段的搜索空间的构造，允许各种注意力操作，以采用不同的网络层。为了提取全局特征，提出了一种自监督搜索算法，该算法使用上下文自回归来发现全注意力结构。为了验证所提出的方法的有效性，我们进行了广泛的实验，各种学习任务，包括图像分类，细粒度图像识别，和zero-shot图像检索。实证结果表明，我们的方法是能够发现高性能，全注意力架构，同时保证所需的搜索效率强有力的证据。
2021-11-13 cs.CV cs.LG
Exploring Attention Map Reuse for Efficient Transformer Neural Networks
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）
基于变换器的深度神经网络由于其强大的建模远程依赖性的能力，在各种序列应用中取得了巨大的成功。Transformer的核心模块是自注意（SA），它从整个序列中提取特征，而不考虑位置之间的距离。虽然SA有助于Transformer在长距离任务上执行得特别好，但SA需要与输入序列长度成二次的计算和内存复杂度。最近，注意力图重用，其中组多个SA层共享一个注意力图，已被提出，并取得了显着的加速语音识别模型。在本文中，我们提供了一个全面的研究注意力图重用集中在其能力，以加速推理。我们比较了该方法与其他SA压缩技术，并进行了故障分析，其优点为长序列。我们通过测量CPU和GPU平台上的延迟来证明注意力地图重用的有效性。
2023-01-29 cs.AI eess.SP
Attention-based Graph Convolution Fusing Latent Structures and Multiple Features for Graph Neural Networks
Tokyo University of Agriculture and Technology（东京农工大学）；Osaka University（大阪大学）
提出了一种基于注意力的图神经网络空间图卷积算法。现有的AGC集中在只使用节点的功能，并利用一种类型的注意力函数时，计算注意力权重。相反，我们提出了两种方法来提高AGCs的表示能力，利用1）在高维空间中的结构信息和2）多个注意力函数时，计算它们的权重。第一种方法计算高维空间中图的局部结构表示。第二种方法在一个AGC中同时使用多个注意函数。这两种方法可以结合起来。我们还提出了一个GNN的分类点云和点标签的预测点云建议AGC的基础上。实验结果表明，所提方法的性能优于现有方法。我们的代码在https://github.com/liyang-tuat/SFAGC上打开。
2023-03-03 cs.AI cs.CV
A Regularized Framework for Sparse and Structured Neural Attention
Cornell University（康奈尔大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
现代神经网络通常增加了注意力机制，它告诉网络在输入中关注哪里。在本文中，我们提出了一个新的框架，稀疏和结构化的注意，建立在一个平滑的最大算子。我们表明，该算子的梯度定义了一个映射，从实际值的概率，适合作为一个注意力机制。我们的框架包括softmax和最近提出的sparsemax作为特例的轻微推广。然而，我们还展示了我们的框架如何结合现代结构化的惩罚，从而产生更可解释的注意力机制，专注于输入的整个部分或组。我们推导出有效的算法来计算我们的注意力机制的向前和向后传递，使其能够在用反向传播训练的神经网络中使用。为了展示它们作为现有替代品的潜力，我们在三个大规模任务上评估了我们的注意力机制：文本蕴涵，机器翻译和句子摘要。我们的注意力机制在不牺牲性能的情况下提高了可解释性;值得注意的是，在文本蕴涵和摘要方面，我们优于基于softmax和sparsemax的标准注意力机制。
2019-02-23 cs.CL cs.LG stat.ML
Pre-training Attention Mechanisms
Stanford University（斯坦福大学）
具有可区分注意力机制的递归神经网络在生成和分类任务中取得了成功。我们表明，这样的模型的分类性能可以通过引导随机初始化的模型参加在早期的训练迭代的输入的显着区域，以提高。我们进一步表明，如果没有明确的指导策略，则在无监督重建任务上进行预训练的模型可以在没有监督的情况下发现良好的注意力策略。我们证明，提高效率的注意力机制本身有助于这些性能的改善。基于这些见解，我们引入了自举式的一瞥模仿，这是一种简单的，理论上更有效地训练注意力模型的任务通用方法。我们的工作从人类学习注意力的结果中汲取灵感，并与之平行。
2017-12-15 cs.CV cs.LG
An Empirical Study of Spatial Attention Mechanisms in Deep Networks
University of Science and Technology of China（中国科学技术大学）；Beijing Institute of Technology（北京理工大学）；Microsoft Research Asia（微软亚洲研究院）
注意力机制已经成为深度神经网络中的一个流行组件，但很少有人研究不同的影响因素和从这些因素计算注意力的方法如何影响性能。为了更好地理解注意力机制，我们提出了一个实证研究，消融各种空间注意力元素内的广义注意力公式，包括占主导地位的Transformer注意力以及流行的变形卷积和动态卷积模块。该研究在各种应用中进行，产生了关于深度网络中空间注意力的重要发现，其中一些与传统理解背道而驰。例如，我们发现Transformer注意中的查询和关键内容比较对于自我注意是可以忽略的，但是对于编码器-解码器注意是至关重要的。可变形卷积与仅关键内容显著性的适当组合在自注意中实现了最佳的准确性-效率权衡。我们的研究结果表明，在注意力机制的设计上还有很大的改进空间。
2019-04-11 cs.CL cs.CV cs.LG
Recognizing Implicit Discourse Relations via Repeated Reading: Neural Networks with Multi-Level Attention
Key Laboratory of Computational Linguistics, Peking University, MOE, China（北京大学计算语言学教育部重点实验室）；ILCC, School of Informatics, University of Edinburgh, United Kingdom（爱丁堡大学信息学院语言认知计算研究所）
隐含语篇关系的识别是自然语言处理领域中一个具有挑战性的重要课题。对于这样一个复杂的文本处理任务，不同于以往的研究，我们认为，有必要反复阅读的论点，并动态地利用有效的功能，用于识别话语关系。为了模拟重复阅读策略，我们提出了多层次注意神经网络（NNMA），将注意力机制与外部记忆相结合，逐渐将注意力固定在有助于判断语篇关系的特定词汇上。在PDTB数据集上的实验表明，该方法取得了较好的效果。注意力权重的可视化也说明了我们的模型在每个级别上观察参数并逐步定位重要单词的过程。
2016-09-20 cs.AI cs.CL
Location-Relative Attention Mechanisms For Robust Long-Form Speech Synthesis
Google Research（谷歌研究院）
尽管能够为域内文本产生人类水平的语音，但基于注意力的端到端文本到语音（TTS）系统遭受文本对齐失败，其对于域外文本的频率增加。我们表明，这些故障可以使用简单的位置相关的注意力机制，消除基于内容的查询/关键字比较。我们比较了两类注意力机制：基于位置相关GMM的机制和基于附加能量的机制。我们建议对基于GMM的注意力进行简单的修改，使其能够在训练过程中快速一致地对齐，并将一种新的位置相关注意力机制引入到基于加性能量的家族中，称为动态卷积注意力（DCA）。我们比较了各种机制在训练过程中的对齐速度和一致性，自然性和推广到长话语的能力，并得出结论，GMM注意力和DCA可以推广到很长的话语，同时保留自然性较短，域内话语。
2020-04-22 cs.CL cs.LG cs.SD
AttViz: Online exploration of self-attention for transparent neural language modeling
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；University of Ljubljana（卢布尔雅那大学）
神经语言模型正在成为查询回答、文本分类、消歧、补全和翻译任务的主流方法。这些神经网络模型通常由数亿个参数组成，以可解释性为代价提供了最先进的性能;人类不再能够跟踪和理解决策是如何做出的。最初为翻译任务引入的注意力机制已成功地用于其他与语言相关的任务。我们提出AttViz，一个在线工具包，用于探索自注意力-与单个文本标记相关的真实值。我们展示了现有的深度学习管道如何产生适合AttViz的输出，以最小的努力在线提供注意力头及其聚合的新颖可视化。我们在新闻片段的例子中展示了如何使用所提出的系统来检查并可能更好地理解模型已经学习（或强调）的内容。
2020-05-12 cs.LG stat.ML
Band Selection from Hyperspectral Images Using Attention-based Convolutional Neural Networks
Silesian University of Technology（西里西亚工业大学）；KP Labs（KP实验室）
本文介绍了新的注意力为基础的卷积神经网络选择波段的高光谱图像。所提出的方法在不同深度处重复使用卷积激活，在门控机制的帮助下识别频谱中信息量最大的区域。我们的注意力技术是模块化的，易于实现，并且可以使用梯度下降进行端到端的无缝训练。我们严格的实验表明，配备了注意力机制的深度模型可以提供高质量的分类，并反复识别训练数据中的重要波段，从而可以创建保留最有意义特征的精细且极其紧凑的集合。
2020-01-09 cs.CV cs.LG stat.ML
Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models
University of Copenhagen（哥本哈根大学）
提出NAtS-L框架，在同一层内对不同令牌自适应选择线性注意力或softmax注意力，以平衡效率与表达能力。
2026-06-02 cs.CL cs.LG
Cost-effective Interactive Attention Learning with Neural Attention Processes
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Yonsei University College of Medicine（延世大学医学院）；AITRICS
我们提出了一种新的交互式学习框架，我们称之为交互式注意力学习（IAL），其中人类主管交互式地操纵分配的注意力，通过更新注意力生成网络来纠正模型的行为。然而，由于缺乏人类注释，这样的模型容易过度拟合，并且需要昂贵的重新训练。此外，它几乎是不可行的，为人类的注释员，以审查对吨的实例和功能的关注。我们通过提出一种样本高效的注意力机制和一种针对实例和特征的经济高效的重新排序算法来应对这些挑战。首先，我们提出了神经注意力过程（NAP），这是一个注意力发生器，可以通过合并新的注意力水平监督来更新其行为，而无需任何重新训练。其次，我们提出了一种算法，优先考虑的实例和功能的负面影响，使模型可以产生很大的改善与最小的人的反馈。我们在来自多个领域（医疗保健，房地产和计算机视觉）的各种时间序列数据集上验证了IAL，在这些数据集上，IAL的性能显着优于传统注意力机制的基线，或者没有成本效益的重新排序，具有更少的再培训和人类模型交互成本。
2020-06-09 cs.HC cs.LG stat.ML
Why Attention Fails: A Taxonomy of Faults in Attention-Based Neural Networks
Dalhousie University（达尔豪斯大学）
本研究针对注意力机制引发的独特故障，分析了来自96个项目的555个真实故障，提出了包含七个类别的注意力故障分类法，并发现四种诊断启发式规则可解释33.0%的注意力特定故障。
2025-11-02 cs.AI cs.SE
Sams-Net: A Sliced Attention-based Neural Network for Music Source Separation
Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）；Tiangong University（天津工业大学）；Tencent Inc.（腾讯公司）
卷积神经网络（CNN）或具有频谱图或波形输入的基于长短期记忆（LSTM）的模型通常用于基于深度学习的音频源分离。在本文中，我们提出了一个分层注意的神经网络（Sams-Net）在频谱域的音乐源分离任务。与LSTM和CNN相比，它使光谱特征与多头注意机制相互作用，实现更容易的并行计算，并具有更大的感受野。在MUSDB 18数据集上的实验结果表明，该方法具有更少的参数，优于大多数最先进的基于DNN的方法。
2020-05-19 cs.IR cs.LG cs.SD
A Cheap Linear Attention Mechanism with Fast Lookups and Fixed-Size Representations
MILA, University of Montréal（蒙特利尔大学 MILA）
softmax基于内容的注意力机制已被证明在递归神经网络的许多应用中非常有益。然而，它受到两个主要的计算限制。首先，它对注意力查找的计算在关注序列的大小上线性缩放。其次，它不将序列编码为固定大小的表示，而是需要记住所有隐藏状态。这两个限制将softmax注意力机制的使用限制在具有短序列和每个序列很少查找的相对小规模的应用中。在这项工作中，我们介绍了一个家庭的线性注意力机制，旨在克服上述两个限制。我们表明，从传统的注意力公式中去除softmax非线性，可以产生恒定时间的注意力查找和固定大小的出席序列表示。这些属性使得这些线性注意力机制特别适合于具有极端查询负载、实时要求和存储器约束的大规模应用。在问答任务上的早期实验表明，这些线性机制产生的准确性结果明显优于没有注意力，但明显不如他们的softmax替代方案。
2016-09-19 cs.IR cs.LG cs.NE
Improving Non-Intrusive Load Disaggregation through an Attention-Based Deep Neural Network
University of Rome Tor Vergata（罗马第二大学）
能量分解，在文献中称为非侵入式负载监测（NILM），是在给定由监测多个电器的单个智能电表记录的总功率需求的情况下推断各个电器的功率需求的任务。在本文中，我们提出了一个深度神经网络，它结合了回归子网络和分类子网络来解决NILM问题。具体来说，我们通过在回归子网络中包含具有定制注意力机制的编码器-解码器来提高整体架构的泛化能力。注意力机制受到时间注意力的启发，时间注意力已成功应用于神经机器翻译、文本摘要和语音识别。在两个公开的数据集-REDD和UK-DALE-上进行的实验表明，我们提出的深度神经网络在所有考虑的实验条件下都优于最先进的技术。我们还表明，建模注意力转化为网络的能力，正确地检测打开或关闭一个设备，并定位信号部分具有高功耗，这是在能源分解领域的极大兴趣。
2021-02-08 cs.LG eess.SP stat.ML
Recurrent Neural Network Encoder with Attention for Community Question Answering
Massachusetts Institute of Technology（麻省理工学院）
我们将通用循环神经网络（RNN）编码器框架应用于社区问答（cQA）任务。我们的方法不依赖于任何语言处理，可以应用于不同的语言或领域。当我们用神经注意力机制扩展RNN编码器时，可以观察到进一步的改进，该机制鼓励对整个序列进行推理。为了解决数据稀疏和标签不平衡等实际问题，我们采用了各种技术，如迁移学习和多任务学习。我们在SemEval-2016 cQA任务上的实验显示，与基于信息检索的方法相比，MAP得分提高了10%，并且实现了与基于特征的强大手工方法相当的性能。
2016-03-23 cs.CL cs.LG cs.NE
Regularity Normalization: Neuroscience-Inspired Unsupervised Attention across Neural Network Layers
Columbia University Irving Medical Center（哥伦比亚大学欧文医学中心）
受神经元放电自适应现象的启发，我们提出了一种无监督的注意力机制--正则化（RN），它根据最小描述长度（MDL）原则计算神经网络隐空间的统计正则性.将神经网络优化过程视为部分可观察的模型选择问题，正则性归一化通过归一化因子（通用码长）来约束隐空间。我们在神经网络层上递增地计算这个通用代码，并展示了包括自上而下的注意力和其他Oracle信息等数据先验的灵活性。从经验上讲，我们的方法在处理图像分类，经典控制，过程生成的强化学习，生成建模，手写生成和各种神经网络架构的问答任务中的有限，不平衡和非平稳输入分布方面优于现有的归一化方法。最后，无监督的注意力机制是神经网络的一个有用的探测工具，它通过跟踪深度网络的层和循环时间步长的依赖性和关键学习阶段。
2021-12-23 cs.CV cs.IT cs.LG
