ChunkAttention: Efficient Self-Attention with Prefix-Aware KV Cache and Two-Phase Partition
Microsoft(微软)
ChunkAttention通过前缀树共享多租户LLM请求的KV缓存,并采用两阶段划分自注意力内核,在1024-4096长度系统提示词下实现3.2-4.8倍加速。
2024-08-01 cs.CL cs.LG
Multi-Scale Self-Attention for Text Classification
Fudan University(复旦大学);AWS Shanghai AI Lab(AWS上海人工智能实验室);New York University Shanghai(上海纽约大学)
在本文中,我们引入先验知识,多尺度结构,自注意模块。我们提出了一种多尺度的Transformer,它使用多尺度多头自注意力来捕获不同尺度的特征。基于语言学的观点和对大规模语料库上预训练的Transformer(BERT)的分析,我们进一步设计了一种控制各层规模分布的策略。三种不同类型的任务(21个数据集)的结果表明,我们的多尺度Transformer优于标准的Transformer一致和显着的中小规模的数据集。
2019-12-02 cs.CL cs.LG
You Only Sample (Almost) Once: Linear Cost Self-Attention Via Bernoulli Sampling
University of Wisconsin(威斯康星大学);University of Illinois(伊利诺伊大学);American Family Insurance(美国家庭保险公司)
基于转换器的模型广泛应用于自然语言处理(NLP)中。Transformer模型的核心是自注意力机制,它捕获输入序列中标记对的交互,并二次依赖于序列长度。在更长的序列上训练这样的模型是昂贵的。在本文中,我们证明了一个伯努利抽样注意力机制的基础上局部敏感哈希(LSH),降低了这种模型的二次复杂性线性。我们通过将自注意力视为与伯努利随机变量相关的单个令牌的总和来绕过二次成本,原则上,可以通过单个散列一次采样(尽管在实践中,这个数字可能是一个小常数)。这导致了一个有效的采样方案来估计自注意力力,这依赖于LSH的特定修改(以实现在GPU架构上的部署)。我们在具有标准512序列长度的GLUE基准上评估我们的算法,其中我们看到相对于标准预训练的Transformer的有利性能。在长距离竞技场(LRA)基准测试中,为了评估长序列的性能,我们的方法实现了与softmax自注意力一致的结果,但具有相当大的加速和内存节省,并且通常优于其他有效自注意力方法。我们的代码可在https://github.com/mlpen/YOSO上获得
2021-11-18 cs.CL cs.LG
Dynamic Self-Attention : Computing Attention over Words Dynamically for Sentence Embedding
Korea University(高丽大学)
本文提出了一种新的句子嵌入的自注意机制动态自注意(DSA)。我们通过修改胶囊网络中的动态路由来设计DSA(Sabouretal.,2017)用于自然语言处理。DSA采用动态权向量处理信息词。我们在斯坦福自然语言推理(SNLI)数据集上以最少的参数实现了句子编码方法之间的新的最先进的结果,同时在斯坦福情感树库(SST)数据集上显示了比较结果。
2018-08-22 cs.CL cs.LG stat.ML
Theoretical Limitations of Self-Attention in Neural Sequence Models
Stanford University(斯坦福大学)
Transformers正在成为NLP的新主力,在各种任务中取得了巨大的成功。与LSTM不同,Transformers完全通过自我注意来处理输入序列。以前的工作表明,自我注意处理层次结构的计算能力是有限的。在这项工作中,我们从数学上研究了自注意模型形式语言的计算能力。在软注意力和硬注意力中,我们展示了自我注意力计算能力的强大理论局限性,发现它不能模拟周期性有限状态语言,也不能模拟层次结构,除非层或头的数量随输入长度增加。考虑到自我注意的实际成功和语言学中层次结构的突出作用,这些局限性似乎令人惊讶,这表明自然语言可以很好地近似于理论语言学中通常假设的形式语言的模型。
2020-02-12 cs.CL cs.FL cs.LG
The Depth-to-Width Interplay in Self-Attention
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
自注意力架构正在迅速推动自然语言处理的前沿,它表现出令人惊讶的深度效率低下的行为:以前的工作表明,增加内部表示(网络宽度)和增加自注意力层的数量(网络深度)一样有用。我们从理论上预测了自注意力的深度效率和深度效率低下之间的宽度依赖的过渡。我们对深度为6至48的网络进行了系统的经验消融,清楚地揭示了理论预测的行为,并提供了关于给定自注意力网络大小的最佳深度-宽度分配的明确定量建议。超越1-Triangle参数语言模型的竞赛使得增加自注意力力深度和宽度的明智指南成为一个必不可少的因素。我们的指南阐明了自注意力网络的深度与宽度的权衡,其规模高达GPT 3(我们预计其规模太深),甚至更高,标志着前所未有的30 K宽度对于1-Triangle参数网络来说是最佳的。
2021-01-17 cs.CL cs.LG stat.ML
Position-aware Self-attention with Relative Positional Encodings for Slot Filling
Center for Information and Language Processing(信息与语言处理中心);Ludwig Maximilian University of Munich(慕尼黑大学)
本文介绍了如何将自注意与相对位置编码的任务的关系抽取。我们建议使用自注意编码器层与一个额外的位置感知注意层,考虑到查询和对象在句子中的位置。自注意编码器还使用相对位置编码的自定义实现,该相对位置编码允许句子中的每个单词考虑其左右上下文。该模型的评估是在TACRED数据集上完成的。所提出的模型仅依赖于注意力(不使用递归层或卷积层),同时提高了w.r.t.以前的艺术状态。
2018-07-09 cs.AI cs.CL cs.LG
Linear Complexity Randomized Self-attention Mechanism
The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
最近,随机特征注意力(RFAs)被提出来近似softmax注意力的线性时间和空间复杂度通过线性化的指数核。在本文中,我们首先提出了一个新的角度来理解这种近似的偏见,通过重新铸造RFAs作为自归一化的重要性采样器。这种观点进一步揭示了整个softmax注意力的\emph{unbiased}估计量,称为随机注意力(RA)。RA通过查询特定的分布构造正随机特征,并极大地提高了近似保真度,尽管表现出二次复杂性。通过结合RA的表达能力和RFA的效率,我们开发了一种新的线性复杂性自注意力机制,称为线性随机注意(LARA)。在各个领域的广泛实验表明,RA和LARA显着提高了RFA的性能,由一个相当大的利润。
2022-06-15 cs.CL cs.CV cs.LG
Is logical analysis performed by transformers taking place in self-attention or in the fully connected part?
School of Mathematics, Georgia Institute of Technology(佐治亚理工学院数学学院)
本文通过手工构建单层编码器并在语法类别对预测任务上测试,发现Transformer的逻辑分析可在自注意力中完成,并计算了梯度下降中的不希望零点以避免其影响。
2025-01-20 cs.AI cs.CL cs.LG
PLS in the Mirror of Self-Attention
将偏最小二乘法(PLS)视为线性化自注意力机制,从而在神经网络框架内研究PLS,同时PLS的降维和预测变量选择表明自注意力包含一定程度的维度归一化以改进学习。
2026-05-27 cs.LG
Self-Attentional Models Application in Task-Oriented Dialogue Generation Systems
University of Alberta(阿尔伯塔大学)
自注意模型是序列建模任务的一种新范式,它不同于常见的序列建模方法,如基于递归和基于卷积的序列学习,因为它们的体系结构仅基于注意力机制。自我注意模型已经被用于许多NLP任务中最先进的模型的创建,例如神经机器翻译,但是它们的使用还没有被探索用于训练端到端面向任务的对话生成系统的任务。在这项研究中,我们将这些模型应用于三个不同的数据集,用于训练面向任务的聊天机器人。我们的研究结果表明,自我注意力模型可以用来创建端到端的面向任务的聊天机器人,与基于递归的模型相比,这些聊天机器人不仅可以获得更高的评估分数,而且可以更有效地完成任务。
2019-09-11 cs.CL cs.LG stat.ML
SANVis: Visual Analytics for Understanding Self-Attention Networks
Korea University(高丽大学);University of Maryland(马里兰大学);IBM Research(IBM研究院);University of Waterloo(滑铁卢大学);FXPAL;NCSOFT Co. LTD.(NCSOFT有限公司)
注意力网络是一种受人类注意力机制启发的深度神经网络架构,在图像描述、机器翻译和许多其他应用中取得了重大成功。最近,它们已经进一步发展成一种称为多头自注意网络的高级方法,该方法可以对一组输入向量进行编码,例如,一个句子中的词向量,转化成另一组向量。这种编码的目的是在一个集合中同时捕捉不同的句法和语义特征,每个特征对应一个特定的注意力中心,从而形成多头注意力。同时,增加的模型复杂性使用户无法轻松理解和操纵模型的内部工作。为了应对这些挑战,我们提出了一个名为SANVis的可视化分析系统,它可以帮助用户了解多头自注意网络的行为和特征。使用一个最先进的自我注意力模型称为Transformer,我们演示了SANVis在机器翻译任务中的使用场景。我们的系统可在http://short.sanvis.org上获得
2019-09-13 cs.CL cs.LG cs.NE
Augmenting Self-attention with Persistent Memory
Facebook AI Research(脸书人工智能研究院)
Transformer网络在语言建模和机器翻译方面取得了重要进展。这些模型包括两个连续的模块,前馈层和自注意力层。后者允许网络捕获长期依赖性,并且通常被认为是Transformers成功的关键因素。基于这种直觉,我们提出了一个新的模型,仅由注意力层。更准确地说,我们用持久记忆向量来增强自注意力层,这些向量扮演着与前馈层类似的角色。由于这些矢量,我们可以在不降低Transformer性能的情况下移除前馈层。我们的评估显示了我们的模型在标准字符和单词级语言建模基准测试中所带来的好处。
2019-07-02 cs.CL cs.LG stat.ML
Faster Transformer Decoding: N-gram Masked Self-Attention
Google, Inc.(谷歌公司)
针对Transformer解码加速问题,提出基于N-gram假设截断目标侧自注意力窗口的方法,在WMT数据集上几乎不损失BLEU分数。
2024-12-18 cs.CL cs.LG stat.ML
Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa AI(亚马逊 Alexa 人工智能)
由于自注意力模块的二次空间复杂度和时间复杂度,基于变换的模型在处理长序列时效率不高。为了解决这个问题,Linformer和Informer分别通过低维投影和行选择将二次复杂度降低到线性(模对数因子)。这两个模型是内在联系的,为了理解它们的联系,我们引入了矩阵素描的理论框架。在理论分析的基础上,提出了Skeinformer算法,通过列采样、自适应行归一化和导频采样重用三个部分,进一步提高了自注意力矩阵逼近的精度。长距离竞技场(LRA)基准上的实验表明,我们的方法优于替代品,具有一贯较小的时间/空间足迹。
2021-12-10 cs.CL cs.LG stat.ML
Attention and Self-Attention in Random Forests
Peter the Great St.Petersburg Polytechnic University(彼得大帝圣彼得堡理工大学)
提出了一种新的随机森林模型,该模型结合了注意力和自注意力机制来求解回归问题。该模型可以看作是基于注意力的随机森林的扩展,其思想源于应用Nadaraya-Watson核回归和Huber污染模型的组合到随机森林。自注意力的目的是捕获树预测的依赖性,并去除随机森林中的噪声或异常预测。自注意力模块与注意模块联合训练以计算权重。它表明,注意力权重的训练过程减少到解决一个单一的二次或线性优化问题。三个修改的一般方法提出和比较。还考虑了随机森林的一种特殊的多头自注意力。通过改变模型的核参数和污染参数等自注意调节参数,得到自注意力的头部。不同数据集上的数值实验表明,自注意力的引入提高了模型的性能。
2022-07-09 cs.LG stat.ML
Multi Resolution Analysis (MRA) for Approximate Self-Attention
University of Wisconsin, Madison(威斯康星大学麦迪逊分校);American Family Insurance(美国家庭保险公司)
Transformers已经成为自然语言处理和视觉中许多任务的首选模型。最近在更有效地训练和部署Transformers方面的努力已经确定了许多策略来近似自注意力矩阵,这是Transformer架构中的关键模块。有效的想法包括各种预先指定的稀疏模式,低秩基扩展及其组合。在本文中,我们重新审视经典的多分辨率分析(MRA)的概念,如Wavelet,其潜在的价值,在这种情况下仍然underexplored迄今为止。我们表明,简单的近似基于经验反馈和设计选择告知现代硬件和实现的挑战,最终产生一个基于MRA的方法,在大多数感兴趣的标准具有出色的性能配置文件的自注意力。我们进行了广泛的实验,并证明了这种多分辨率方案优于最有效自注意力力的建议,是有利于短和长序列。代码可在\url{https://github.com/mlpen/mra-attention}上获得。
2022-07-21 cs.CL cs.LG eess.SP
Self-attention Does Not Need $O(n^2)$ Memory
Google Research(谷歌研究院)
我们提出了一个非常简单的算法注意,需要$O(1)$内存相对于序列长度和自注意力,需要$O(\log n)$内存的扩展。这与人们常说的自注意力需要$O(n^2)$记忆的观点形成了鲜明对比。虽然时间复杂度仍然是$O(n^2)$,但设备内存而不是计算能力通常是现代加速器的限制因素。因此,减少注意力的记忆要求允许处理比其他方式可行的更长的序列。我们提供了一个实际的实现加速器,需要$O(\sqrt{n})$内存,是数字稳定,是在百分之几的运行时间内的标准实现的注意力。我们还演示了如何区分功能,同时保持内存效率。对于序列长度为16384的情况,自注意力的内存开销对于推理减少了59倍,对于微分减少了32倍。
2022-10-10 cs.LG
SparseBERT: Rethinking the Importance Analysis in Self-attention
Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Sun Yat-sen University(中山大学)
基于转换器的模型广泛应用于自然语言处理(NLP)中。它的核心组成部分,自注意力,引起了广泛的兴趣。为了理解自注意力机制,一个直接的方法是可视化预训练模型的注意力图。基于观察到的模式,一系列有效的Transformers与不同的稀疏注意掩模已被提出。从理论的角度来看,最近也证明了基于变换器的模型的通用逼近性。然而,上述对自注意力的理解和分析是基于预先训练的模型。为了重新思考自注意力中的重要性分析,我们研究了预训练过程中注意矩阵中不同位置的重要性。一个令人惊讶的结果是,与其他注意力位置相比,注意力地图中的对角线元素是最不重要的。我们提供了一个证明,这些对角线元素确实可以被删除,而不会恶化模型的性能。此外,我们还提出了一种可区分注意力掩模(DAM)算法,进一步指导了SparseBERT的设计。大量的实验验证了我们有趣的发现,并说明了所提出的算法的效果。
2021-07-01 cs.LG
Sigmoid Self-Attention has Lower Sample Complexity than Softmax Self-Attention: A Mixture-of-Experts Perspective
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文从混合专家视角理论证明,sigmoid 自注意力比 softmax 自注意力具有更低的样本复杂度,即达到相同近似误差所需数据更少,从而更高效。
2025-05-24 cs.AI cs.LG
On the Relationship between Self-Attention and Convolutional Layers
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
最近将注意力机制纳入视觉的趋势使研究人员重新考虑卷积层作为主要构建块的优越性。除了帮助CNN处理长期依赖性之外,Ramachandran等人(2019)还表明,注意力可以完全取代卷积,并在视觉任务上实现最先进的性能。这就提出了一个问题:学习的注意力层是否与卷积层类似?这项工作提供了证据,证明注意力层可以执行卷积,事实上,它们经常在实践中学习这样做。具体来说,我们证明了具有足够数量头部的多头自注意力层至少与任何卷积层一样具有表达力。然后,我们的数值实验表明,自注意力层关注像素网格模式类似于CNN层,证实了我们的分析。我们的代码是公开的。
2020-01-10 cs.CL cs.CV cs.LG
Memory Controlled Sequential Self Attention for Sound Recognition
Queen Mary University of London(伦敦玛丽女王大学);The Alan Turing Institute(艾伦·图灵研究所)
在本文中,我们调查的重要性,记忆的程度在顺序自我注意的声音识别。我们建议使用一个记忆控制的顺序自我注意机制上的卷积递归神经网络(CRNN)模型的复调声音事件检测(SED)。URBAN-SED数据集上的实验证明了记忆程度对自我注意诱导的SED模型的声音识别性能的影响。我们扩展了所提出的想法与多头自我注意机制,每个注意头处理音频嵌入显式注意宽度值。建议使用记忆控制的顺序自我注意提供了一种方法来诱导声音事件令牌帧之间的关系。我们表明,我们的记忆控制自我注意力模型在URBAN-SED数据集上实现了33.92%的基于事件的F分数,优于没有自我注意力的模型报告的20.10%的F分数。
2020-08-06 cs.LG cs.SD eess.AS
An extension of linear self-attention for in-context learning
Faculty of Education, Mie University(三重大学教育学部)
本文针对线性自注意力在上下文学习中的矩阵计算局限性,提出通过引入偏置矩阵进行扩展,使其能输出常数、输入及多矩阵乘积,并据此启发式构造了岭回归的批量梯度下降实现。
2025-03-31 cs.LG
Sum-Product-Attention Networks: Leveraging Self-Attention in Probabilistic Circuits
TU Darmstadt(达姆施塔特工业大学);Centre for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心);Hessian Center for AI (hessian.AI)(黑森州人工智能中心)
概率电路(PC)已经成为概率建模中学习和推理的事实标准。我们介绍和产品注意力网络(SPAN),一个新的生成模型,集成了概率电路与Transformers。SPAN使用自注意力来选择概率电路中最相关的部分,这里是和积网络,以提高底层和积网络的建模能力。我们表明,在建模时,SPAN专注于一组特定的独立的假设,在每一个产品层的总和产品网络。我们的实证评估表明,SPAN优于国家的最先进的概率生成模型在各种基准数据集,以及是一个有效的生成图像模型。
2021-09-14 cs.LG
Modeling Document Interactions for Learning to Rank with Regularized Self-Attention
Johns Hopkins University(约翰斯·霍普金斯大学)
学习排序是一个重要的任务,已经成功地部署在许多现实世界的信息检索系统。大多数现有的方法计算独立的文档的相关性判断,没有整体考虑整个竞争文件集。在本文中,我们将探讨基于自注意的神经网络的文档交互建模。虽然自我注意网络在许多NLP任务中取得了最先进的成果,但我们发现,经验表明,自我注意与基线神经学习排序架构相比,几乎没有什么好处。为了改进自注意权重的学习,我们提出了简单而有效的正则化项,旨在对文档之间的交互进行建模。在公开的学习排序(LETOR)数据集上的评估表明,使用我们提出的正则化项训练自注意网络可以显着优于现有的学习排序方法。
2020-05-08 cs.IR cs.LG
Unveiling the Hidden Structure of Self-Attention via Kernel Principal Component Analysis
National University of Singapore(新加坡国立大学)
本研究从核主成分分析推导自注意力,揭示其隐藏结构,提出鲁棒主成分注意力RPC-Attention,在多个视觉与语言任务上优于softmax注意力。
2024-10-30 cs.AI cs.CL cs.CV
Capturing Multi-Resolution Context by Dilated Self-Attention
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
自注意力已经成为一种重要且广泛使用的神经网络组件,有助于为各种应用建立新的最先进的结果,例如机器翻译和自动语音识别(ASR)。然而,自注意的计算复杂度与输入序列长度成二次方增长。这对于诸如ASR之类的应用可能是特别有问题的,其中从话语生成的输入序列可能相对较长。在这项工作中,我们提出了一个限制性的自我注意力和膨胀机制,我们称之为膨胀的自我注意力的组合。受限的自关注允许以高分辨率关注查询的相邻帧,并且膨胀机制总结远距离信息以允许以较低分辨率关注它。不同的方法来总结遥远的帧进行了研究,如子采样,均值池,和基于注意力池。ASR结果表明,与单独的限制性自我注意相比,有了很大的改进,与基于全序列的自我注意相比,实现了类似的结果,而计算成本只有一小部分。
2021-04-07 cs.LG cs.SD eess.AS
Self-Attention for Audio Super-Resolution
卷积只在局部操作,因此无法对全局交互进行建模。然而,自我注意力能够学习捕捉序列中的长程依赖关系的表征。我们提出了一种结合卷积和自注意力的音频超分辨率网络架构。基于注意力的智能线性调制(AFiLM)使用自注意力机制代替递归神经网络来调制卷积模型的激活。大量的实验表明,我们的模型优于现有的标准基准测试方法。此外,它允许更多的并行化,从而显著加快训练速度。
2021-08-26 cs.LG cs.SD eess.AS
Dual Causal/Non-Causal Self-Attention for Streaming End-to-End Speech Recognition
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
基于注意力的端到端自动语音识别(ASR)系统最近已经展示了用于许多任务的最先进的结果。然而,自我注意和基于注意的编码器-解码器模型的应用对于流式ASR仍然具有挑战性,其中每个单词必须在说出后不久被识别。在这项工作中,我们提出了双重因果/非因果自我注意力(DCN)架构,与限制自我注意力相比,它可以防止整体上下文在深层架构中使用时超出单层的前瞻性。使用流式Transformer和Conformer架构将DCN与基于块的和受限的自注意进行比较,示出了与受限的自注意相比的改进的ASR性能和与基于块的自注意相比的竞争性ASR结果,同时提供了帧同步处理的优点。结合触发注意力,所提出的流媒体端到端ASR系统在LibriSpeech、HKUST和Switchboard ASR任务上获得了最先进的结果。
2021-07-02 cs.LG cs.SD eess.AS
The Lipschitz Constant of Self-Attention
DeepMind(深度思维)
神经网络的Lipschitz常数已经在深度学习的各种背景下进行了探索,例如可证明的对抗鲁棒性,估计瓦瑟斯坦距离,稳定GANs的训练,以及制定可逆的神经网络。这些工作集中在完全连接或卷积网络的Lipschitz常数的边界上,这些网络由线性映射和逐点非线性组成。在本文中,我们研究的Lipschitz常数的自我注意,一个非线性神经网络模块广泛应用于序列建模。我们证明了标准点积自注意在无界输入域上不是Lipschitz,并提出了一种替代的L2自注意是Lipschitz。我们推导出了L2自注意力Lipschitz常数的上界,并为它的渐近紧性提供了经验证据。为了证明我们的理论工作的实际相关性,我们制定了可逆的自我注意力,并将其用于基于transformer的架构中的字符级语言建模任务。
2021-06-09 cs.LG stat.ML
On The Computational Complexity of Self-Attention
New York University(纽约大学);Microsoft(微软)
Transformer架构在许多最先进的应用中取得了显著的进步。然而,尽管他们的成功,现代Transformers依赖于自注意力机制,其时间和空间的复杂性是输入长度的平方。已经提出了几种方法来加速自注意力机制,以实现次二次运行时间,然而,这些作品中的绝大多数都没有严格的错误保证。在这项工作中,我们建立了一些场景中的自注意力的计算复杂性的下限。我们证明了自注意力的时间复杂度必然是输入长度的二次方,除非强指数时间假设(SETH)是假的。即使注意力计算只是近似地进行,并且对于各种注意力机制,这个论点也成立。作为我们的下限的补充,我们表明,它确实是可以近似点积自注意力使用有限泰勒级数在线性时间,在成本上有一个指数依赖的多项式阶。
2022-09-11 cs.CC cs.LG
Revisiting Linformer with a modified self-attention with linear complexity
尽管Transformer模型(如Google的BERT和OpenAI的GPT-3)在许多自然语言处理任务中取得了成功,但训练和部署这些模型的成本高昂且效率低下。即使使用预先训练的模型,由于模型体积庞大,部署这些模型仍然是一个挑战。除了部署,这些模型在推理过程中需要更长的时间,限制了用户友好性。主要的瓶颈是自注意力,它使用与序列长度成二次关系的时间和空间。为了降低自注意力机制的二次时间复杂度,Facebook的AI研究团队引入了Linformer,他们表明自注意力机制可以用低秩矩阵来近似,并利用这一发现,他们提出了一种具有线性时间和空间复杂度的自注意力新方法。在Linformer中,时间复杂度取决于作为超参数并影响模型性能的投影映射维度,调整该超参数可能是耗时的。在本文中,我提出了另一种方法的自注意力具有线性的时间和空间的复杂性,是独立的投影映射维。由于这种方法适用于长序列,因此可以用于图像和音频。
2020-12-16 cs.LG
Inductive Biases and Variable Creation in Self-Attention Mechanisms
Harvard University(哈佛大学);Microsoft Research NYC(微软研究院纽约)
自注意力是一种设计用于模拟序列数据中的远程交互的架构主题,它推动了自然语言处理及其他领域的许多最新突破。本文从理论上分析了自注意力模块的归纳偏差。我们的重点是严格建立哪些功能和长期依赖性的自注意力块更喜欢代表。我们的主要结果表明,有界范数Transformer网络“创建稀疏变量”:一个单一自注意力头可以表示输入序列的稀疏函数,样本复杂度缩放仅与上下文长度的几何关系。为了支持我们的分析,我们提出了合成实验,以探讨学习稀疏布尔函数与Transformers的样本复杂度。
2022-06-24 cs.LG stat.ML
Linformer: Self-Attention with Linear Complexity
Facebook AI(脸书人工智能研究院)
大型Transformer模型在许多自然语言处理应用中取得了非凡的成功。然而,对于长序列,训练和部署这些模型的成本可能过高,因为Transformer的标准自注意机制使用关于序列长度的$O(n^2)$时间和空间。在本文中,我们证明了自注意机制可以近似为一个低秩矩阵。我们进一步利用这一发现,提出了一个新的自我注意机制,它降低了整体的自我注意的复杂性从$O(n^2)$到$O(n)$在时间和空间。由此产生的线性Transformer,\textit{Linformer},性能与标准的Transformer模型相当,同时具有更高的内存和时间效率。
2020-06-14 cs.LG stat.ML
Grad-SAM: Explaining Transformers via Gradient Self-Attention Maps
The Open University(开放大学);IDC Herzeliya(赫兹利亚跨学科研究中心);Bar-Ilan University(巴伊兰大学);Microsoft(微软);Technion(以色列理工学院);Tel Aviv University(特拉维夫大学)
基于transformer的语言模型在许多语言任务中显著地推进了最先进的技术。随着这场革命的继续,解释模型预测的能力已经成为NLP社区感兴趣的主要领域。在这项工作中,我们提出了梯度自注意力地图(Grad-SAM)-一种新的基于梯度的方法,分析自注意力单位,并确定输入元素,解释模型的预测最好的。对各种基准的广泛评估表明,Grad-SAM比最先进的替代品有了显着的改进。
2022-04-23 cs.LG
Some Attention is All You Need for Retrieval
University of Groningen(格罗宁根大学)
本研究证明混合SSM-Transformer架构中检索完全依赖自注意力,稀疏至15%头仍保性能,揭示功能专门化,挑战冗余假设。
2025-10-21 cs.LG
Differential Gated Self-Attention
提出多头差分门控自注意力(M-DGSA),通过输入依赖门控动态抑制注意力噪声,在视觉和语言基准上提升鲁棒性。
2025-09-25 cs.LG
Relative Molecule Self-Attention Transformer
Jagiellonian University(雅盖隆大学);Ardigen(阿尔迪根公司);NVIDIA(英伟达公司)
自监督学习有望通过从稀缺的实验数据中进行数据有效学习来彻底改变分子性质预测-这是药物发现和更多行业的中心任务。尽管取得了重大进展,但非预先训练的方法在某些环境中仍然具有竞争力。我们认为架构可能是一个关键的瓶颈。特别是,用特定领域的归纳偏差来丰富主干架构是自监督学习在其他领域成功的关键。本着这种精神,我们在方法论上探索了为分子数据量身定制的自注意力机制的设计空间。我们确定了一种新的自注意力适应处理分子的变体,其灵感来自于相对自注意力层,该层涉及融合原子之间的嵌入图和距离关系。我们的主要贡献是相对分子注意力Transformer(R-MAT):一种基于自注意力层的新型transformer模型,在广泛的分子性质预测任务中实现了最先进或非常有竞争力的结果。
2021-10-12 cs.AI cs.LG
Perceive, Attend, and Drive: Learning Spatial Attention for Safe Self-Driving
Uber ATG(优步先进技术集团);University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
在本文中,我们提出了一个端到端的自动驾驶网络,该网络具有稀疏注意力模块,可以学习自动关注输入的重要区域。注意力模块专门针对运动规划,而先前的文献仅在感知任务中应用注意力。学习直接针对运动规划的注意力掩模通过执行更集中的计算而显著地提高了规划器的安全性。此外,将注意力可视化可以提高端到端自动驾驶的可解释性。
2021-03-26 cs.CV cs.LG cs.RO
Sequential Recommendation with Relation-Aware Kernelized Self-Attention
最近的研究表明,顺序推荐是由注意力机制改善。通过这种发展,我们提出了一个自注意力机制的Transformer的概率模型的增强的感知核自注意力(RKSA)。Transformer最初的自注意力是一种确定性测度,没有关系意识。因此,我们引入了一个潜在的空间的自注意力力,和潜在的空间模型的推荐上下文的关系作为一个多变量的偏态正态分布与核化协方差矩阵的同现,项目的特点,和用户信息。该工作通过添加推荐任务细节的概率模型,将Transformer的自注意力和顺序推荐相结合。我们在基准数据集上进行了RKSA实验,与最近的基线模型相比,RKSA显示出显着的改进。此外,RKSA还能够生成一个潜在空间模型来回答推荐的原因。
2019-11-15 cs.IR cs.LG stat.ML
The Origin of Self-Attention: Pairwise Affinity Matrices in Feature Selection and the Emergence of Self-Attention
本文追溯自注意力的概念起源,指出其与 Inf-FS 同属基于成对亲和矩阵的计算范式,并阐明二者在亲和矩阵定义与传播方式上的联系和区别。
2025-07-26 cs.CV cs.LG
Reinforcement Learning with Attention that Works: A Self-Supervised Approach
注意力模型在一系列任务中对深度学习产生了显著的积极影响。然而,之前将注意力与强化学习相结合的尝试未能产生显着的改善。我们提出了自注意力和强化学习的第一个组合,能够产生显着的改进,包括在街机学习环境中的最先进的新成果。与以前尝试中使用的选择性注意力模型不同,它通过先入为主的重要性概念来限制注意力,我们的实现利用了状态输入中固有的马尔可夫特性。我们的方法产生了一个忠实的可视化的政策,专注于代理的行为。我们的实验表明,经过训练的策略同时使用多个注意力焦点,并且能够随着时间的推移调整注意力,以处理部分可观察性的情况。
2019-04-06 cs.LG stat.ML
Robust Filter Attention: Self-Attention as Precision-Weighted State Estimation
Independent Researcher, Los Angeles, CA, USA(独立研究者,美国加利福尼亚州洛杉矶)
提出鲁棒滤波注意力(RFA),将自注意力建模为基于线性随机微分方程的状态估计,在语言建模中实现优于RoPE的困惑度与零样本外推稳定性。
2026-11-01 cs.AI cs.LG
Untangling tradeoffs between recurrence and self-attention in neural networks
Mila - Quebec AI Institute(Mila-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
注意力和自注意力机制现在是最先进的顺序任务深度学习的核心。然而,最近的进展取决于启发式方法,对注意力在模型优化和计算中的作用了解有限,并且依赖于相当大的内存和计算资源,可扩展性差。在这项工作中,我们提出了一个正式的分析,自注意力如何影响梯度传播的递归网络,并证明它减轻了消失的梯度时,试图捕捉长期依赖性的问题,建立具体的界限梯度规范。基于这些结果,我们提出了一个相关性筛选机制,灵感来自记忆巩固的认知过程,允许可扩展的使用稀疏自注意力与复发。在保证避免梯度消失的同时,我们使用简单的数值实验来证明通过有效地平衡注意力和递归来权衡性能和计算资源。基于我们的研究结果,我们提出了一个具体的研究方向,以提高专注网络的可扩展性。
2020-12-10 cs.LG stat.ML
Self-supervised Attention Model for Weakly Labeled Audio Event Classification
Northwestern University(西北大学);Bosch Research and Technology Center(博世研究与技术中心)
我们描述了一种新的弱标记的音频事件分类方法的基础上的自监督注意力模型。弱标记框架用于消除对昂贵的数据标记过程的需要,并且部署自监督注意力以帮助模型以与先前注意力模型相比更有效的方式区分弱标记音频片段的相关和不相关部分。我们还提出了一个高效的强监督注意力模型时,强标签。该模型也可以作为自监督模型的上限。具有自监督注意训练的模型的性能与使用强标签训练的强监督模型相当。我们表明,我们的自我监督的注意力方法是特别有益的短音频事件。我们实现了8.8%和17.6%的相对平均平均精度的改善,目前国家的最先进的系统SL-DCASE-17和平衡的AudioSet。
2019-08-07 cs.LG cs.SD eess.AS
Assessing the Impact of Attention and Self-Attention Mechanisms on the Classification of Skin Lesions
Instituto Superior Técnico(里斯本高等理工学院);INESC-ID(INESC-ID 研究所)
注意力机制已经引起了研究界的极大兴趣,因为它们承诺显着改善神经网络架构的性能。然而,在任何具体的问题中,我们仍然缺乏一种原则性的方法来选择特定的机制和超参数,以确保改进。最近,自注意力被提出并广泛应用于变压器式架构中,在某些应用中取得了重大突破。在这项工作中,我们集中在两种形式的注意力机制:注意模块和自我注意。注意力模块用于重新加权每个层输入张量的特征。不同的模块有不同的方式在全连接或卷积层中执行这种重新加权。研究的注意力模型是完全模块化的,在这项工作中,它们将与流行的ResNet架构一起使用。自注意(Self-Attention)最初是在自然语言处理领域中提出的,它使得将输入序列中的所有项目联系起来成为可能。自注意力在计算机视觉中越来越受欢迎,有时它与卷积层结合在一起,尽管最近的一些架构完全取消了卷积。在这项工作中,我们研究和执行一个特定的计算机视觉任务,在广泛使用的皮肤癌MNIST数据集中的样本分类的一些不同的注意力机制的客观比较。结果表明,注意力模块有时确实提高了卷积神经网络架构的性能,但这种改进尽管明显且具有统计学意义,但在不同的设置中并不一致。另一方面,用自注意力机制获得的结果显示出一致且显著的改进,即使在具有减少的参数数量的架构中也能获得最佳结果。
2021-12-23 cs.AI cs.CV cs.LG
Gaussian Equivalence for Multi-Head Self-Attention
Artificial Intelligence Research Center (AIRC), AIST(日本产业技术综合研究所人工智能研究中心(AIRC));RIKEN AIP(理化学研究所AIP中心)
本文利用随机矩阵理论建立多头自注意力的高斯等价性,证明用重缩放分数加噪声替换softmax可保持谱律,并分离头分配与投影宽度的影响。
2026-10-08 cs.LG math.PR stat.ML
How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision
KAIST(韩国科学技术院)
图神经网络中的注意力机制被设计为向重要的邻居节点分配更大的权重以更好地表示。然而,图形注意力学习的是什么还没有很好地理解,特别是当图形是嘈杂的。在本文中,我们提出了一个自监督图注意力网络(SuperGAT),一个改进的图注意力模型的噪声图。具体来说,我们利用两个注意力形式兼容的自我监督任务来预测边缘,其存在和不存在包含的固有信息的重要性节点之间的关系。通过对边进行编码,SuperGAT在区分错误链接的邻居时学习到更多的表达注意力。我们发现两个图形特征影响注意形式和自我监督的有效性:同质性和平均度。因此,我们的配方提供了指导,当这两个图形特征已知时,使用哪种注意力设计。我们在17个真实数据集上的实验表明,我们的配方可以推广到其中的15个数据集,并且我们通过配方设计的模型显示出比基线更好的性能。
2022-04-11 cs.AI cs.LG cs.SI
Is Cross-Attention Preferable to Self-Attention for Multi-Modal Emotion Recognition?
Queen Mary University of London(伦敦玛丽女王大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
人类通过面部表情、语音语调和词语选择来表达自己的情感。为了推断潜在情感的性质,识别模型可以使用单个模态,诸如视觉、音频和文本,或者模态的组合。一般来说,融合来自多模态的互补信息的模型优于它们的单模态对应物。然而,一个成功的模型,融合模态需要组件,可以有效地聚合任务相关的信息,从每一个模态。由于跨模态注意被认为是一种有效的多模态融合机制,在本文中,我们量化的增益,这样的机制相比,相应的自注意力机制。为此,我们实现和比较交叉注意力和自注意力模型。除了注意力,每个模型都使用卷积层进行局部特征提取,并使用递归层进行全局顺序建模。我们比较了使用IEMOCAP数据集的7类情感分类任务的不同模态组合的模型。实验结果表明,虽然这两个模型改进后的国家的最先进的加权和未加权的三模态和双模态配置的准确性方面,他们的性能一般是统计上相当的。重复实验的代码可在https://github.com/smartcameras/SelfCrossAttn上获得
2022-02-18 cs.LG cs.MM
Linear Self-Attention Approximation via Trainable Feedforward Kernel
Czech Technical University in Prague(捷克布拉格技术大学)
为了追求更快的计算速度,高效的Transformers展示了令人印象深刻的各种方法-达到次二次注意力复杂度的模型可以利用稀疏性或输入的低秩近似来减少参与密钥的数量;其他降低复杂度的方法包括局部敏感散列,密钥池,额外的内存来存储压缩或与其他架构(如CNN)混合的信息。通常基于强大的数学基础,内核化方法允许线性复杂度近似注意力,同时保持高准确性。因此,在本文中,我们的目标是扩展可训练核方法的思想,以近似Transformer架构的自注意力机制。
2022-11-08 cs.AI cs.LG
Multistability of Self-Attention Dynamics in Transformers
Division of Automatic Control, Dept. of Electrical Engineering, Linköping University(自动控制系,电气工程系,_linköping大学)
本文针对Transformer的自注意力机制,证明其连续时间类多智能体动力学与多智能体版Oja流相关,分类单头自注意力系统平衡点并分析其多稳定性与特征向量对齐特性。
2025-11-14 cs.LG cs.SY eess.SY
Axial-DeepLab: Stand-Alone Axial-Attention for Panoptic Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
卷积利用局部性来提高效率,代价是丢失长范围上下文。自注意力已经被用来增强具有非局部相互作用的CNN。最近的工作证明,通过将注意力限制在局部区域,可以堆叠自我注意层以获得完全注意力网络。在本文中,我们试图通过将2D自注意分解为两个1D自注意来消除这个约束。这降低了计算复杂度,并允许在更大或甚至全局区域内执行注意力。在同伴中,我们还提出了一个位置敏感的自我注意设计。将两者结合起来就产生了我们的位置敏感轴向注意层,这是一种新的构建块,可以堆叠形成用于图像分类和密集预测的轴向注意模型。我们证明了我们的模型在四个大规模数据集上的有效性。特别是,我们的模型优于ImageNet上所有现有的独立自我注意力模型。我们的Axial-DeepLab在COCO测试开发上比自下而上的最先进技术提高了2.8% PQ。我们的小变体实现了先前的最先进技术,其参数效率为3.8倍,计算效率为27倍。Axial-DeepLab还在Mapillary Vistas和Cityscapes上实现了最先进的结果。
2020-08-06 cs.CV cs.LG
Complex-Valued Time-Frequency Self-Attention for Speech Dereverberation
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
当深度复杂神经网络(DCNN)与自注意(SA)网络相结合时,几个语音处理系统已经表现出相当大的性能改进。然而,大多数基于DCNN的语音去混响研究采用自我注意力,并没有明确考虑到计算注意力时真实和想象特征之间的相互依赖性。在这项研究中,我们提出了一个复值T-F注意(TFA)模块,通过计算跨时间和频率维度的二维注意图来建模频谱和时间依赖性。我们使用REVERB挑战语料库验证了我们提出的复值TFA模块与深度复卷积递归网络(DCCRN)的有效性。实验结果表明,将我们的复杂的TFA模块与DCCRN集成,提高了整体语音质量和性能的后端语音应用程序,如自动语音识别,与早期的自我注意的方法相比。
2022-11-22 cs.LG cs.SD eess.AS
Quantum Mixed-State Self-Attention Network
Macau University of Science and Technology(澳门科技大学);Putian University(莆田学院);Jimei University(集美大学)
提出QMSAN,用混合态量子注意力直接计算查询-键相似度,并以固定量子门实现无额外量子比特的位置编码,文本分类性能优于QSANN且抗量子噪声。
2024-11-30 cs.LG quant-ph