Affine-Scaled Attention: Towards Flexible and Stable Transformer Attention
仿射缩放注意力通过引入输入依赖的缩放和偏置项,提升Transformer模型的训练稳定性与注意力行为控制能力。
2026-02-26 cs.AI cs.CL
TransformerFAM: Feedback attention is working memory
Google LLC(谷歌公司)
本文提出TransformerFAM架构,通过反馈回路让Transformer关注自身潜在表示以形成工作记忆,无需额外权重即可无缝集成预训练模型,并在1B、8B和24B模型规模的长上下文任务上显著提升性能。
2024-05-07 cs.AI cs.CL cs.LG
Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
Indiana University Bloomington(印第安纳大学布鲁明顿分校)
本研究通过认知科学方法分析不同规模GPT-2模型的注意力分数与输出,发现其注意力头存在类似人类情景记忆的时间连续性等效应,归纳头是连续性效应的关键,揭示Transformer上下文学习中信息时间组织机制。
2025-02-09 cs.AI cs.CL cs.LG
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
Google(谷歌公司)
本研究提出含Infini-attention的高效方法,通过在Transformer块融合压缩记忆、局部与长期线性注意力,以有限内存和计算实现LLM的无限长输入支持,在多项长上下文任务中验证了有效性并支持快速流式推理。
2024-08-09 cs.AI cs.CL cs.LG
Transition-based Parsing with Stack-Transformers
IBM Research(IBM研究院);Amazon AI(亚马逊人工智能);Georgetown University(乔治敦大学)
在基于转换的解析中,对解析器状态进行建模是获得良好性能的关键。递归神经网络通过对全局状态进行建模(例如stack-LSTM解析器)或对上下文化特征进行局部状态建模(例如Bi-LSTM解析器),大大提高了基于转换的系统的性能。鉴于Transformer架构在最近的解析系统中的成功,本文探讨了序列到序列的Transformer架构的修改,以在基于转换的解析中对全局或局部解析器状态进行建模。我们发现,修改的交叉注意力机制的Transformer大大加强性能的依赖和抽象意义表示(AMR)解析任务,特别是对于较小的模型或有限的训练数据。
2020-10-20 cs.CL
Stack Attention: Improving the Ability of Transformers to Model Hierarchical Patterns
University of Notre Dame(圣母大学);ETH Zürich(苏黎世联邦理工学院)
本文提出结合栈机制的 stack attention,使 Transformer 无需句法监督即可建模任意深度层次结构,并在困难 CFL、语言建模和机器翻译任务上验证其优势。
2024-01-24 cs.CL
Multi-Pass Transformer for Machine Translation
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));Chinese University of Hong Kong(香港中文大学);Rutgers University(罗格斯大学)
与以前的方法相比,信息只流向堆栈的更深层,我们考虑了多通道Transformer(MPT)架构,其中允许较早的层根据较晚层的输出来处理信息。为了维持有向非循环图结构,Transformer的编码器堆栈沿着新的多遍维度重复,从而保持参数绑定,并且允许信息朝向编码器堆栈内的较深层以及朝向后续堆栈的任何层单向地前进。我们认为两者都是软的(即,连续的)和硬的(即,离散的)并行编码器栈之间的连接,依赖于神经架构搜索来找到困难情况下的最佳连接模式。我们进行了广泛的消融研究所提出的MPT架构,并将其与其他国家的最先进的Transformer架构。令人惊讶的是,在具有挑战性的机器翻译En-De和En-Fr数据集上,配备MPT的Base Transformer可以超越Large Transformer的性能。在硬连接的情况下,最佳的连接模式发现En-De也导致提高性能的En-Fr。
2020-09-23 cs.CL
Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations
University of California San Diego(加州大学圣地亚哥分校);Facebook AI Research(Facebook人工智能研究院);University of California, Berkeley(加州大学伯克利分校)
长短期记忆(LSTM)和Transformers是两种用于自然语言处理任务的流行神经架构。理论结果表明,两者都是图灵完备的,可以表示任何上下文无关语言(CFL)。在实践中,经常观察到Transformer模型比LSTM具有更好的表示能力。但其中的原因却鲜为人知。我们研究了LSTM和Transformer之间的实际差异,并基于它们的潜在空间分解模式提出了一种解释。为了实现这一目标,我们引入了一个oracle训练范式,它强制分解LSTM和Transformer的潜在表示,并监督相应CFL的下推自动机(PDA)的转换。通过强制分解,我们证明了LSTM和Transformer在学习CFL方面的性能上限是接近的:它们都可以模拟堆栈并执行堆栈操作以及状态转换。然而,缺乏强制分解导致LSTM模型无法捕获堆栈和堆栈操作,同时对Transformer模型产生轻微影响。最后,我们将PDA原型上的实验与真实的句法分析任务相结合,再次验证了本文的结论
2022-03-23 cs.CL
Causal Evidence of Stack Representations in Modeling Counter Languages Using Transformers
Birla Institute of Technology and Science, Pilani(比拉理工学院和科学学院,皮兰)
通过线性探针和消融实验,证明Transformer在计数器语言任务中学习的栈表示对其性能具有因果必要性。
2026-06-02 cs.AI cs.CL
Context Transformer with Stacked Pointer Networks for Conversational Question Answering over Knowledge Graphs
Technische Universität Darmstadt(达姆施塔特工业大学);University of Bonn(波恩大学);Zerotha Research(泽罗塔研究院);Cerence GmbH(赛轮思有限公司);Osthus GmbH(奥斯图斯有限公司);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
神经语义解析方法已广泛应用于基于知识图谱的问答系统。这样的方法提供了处理具有复杂查询和大量实体的QA数据集的灵活性。在这项工作中,我们提出了一个新的框架名为纸箱,它执行多任务的语义解析处理问题的会话问答在一个大规模的知识图谱。我们的框架包括一个堆栈的指针网络作为一个上下文Transformer模型的扩展,用于解析输入的问题和对话的历史。框架生成可以在知识图谱上执行的动作序列。我们在一个标准数据集上对CARTON进行了评估,以进行复杂的顺序问答,CARTON在该数据集上的表现优于所有基线。具体来说,我们观察到的性能改善F1分数的10个问题类型相比,以前的状态。对于逻辑推理问题,11个绝对点的改善达到。
2021-06-24 cs.CL
Emergent Stack Representations in Modeling Counter Languages Using Transformers
Birla Institute of Technology and Science, Pilani(比拉理工学院皮拉尼分校);Saarland University(萨尔大学)
本文在4种计数器语言上训练Transformer模型,并用栈等价表示这些语言,通过探测内部表示发现模型作为下一token预测器学习到了类似栈的表示,为理解Transformer学习语言的算法机制和电路发现提供了新见解。
2025-02-03 cs.CL cs.LG
Attention is Not Only a Weight: Analyzing Transformers with Vector Norms
Tohoku University(东北大学);Langsmith Inc.(朗史密斯公司);RIKEN(理化学研究所)
注意力是Transformers的一个关键组成部分,它最近在自然语言处理方面取得了相当大的成功。因此,人们对注意力进行了广泛的研究,以考察Transformers的各种语言能力,重点分析注意力权重与特定语言现象之间的相似性。本文表明,注意力权重只是决定注意力输出的两个因素之一,并提出了一个基于范数的分析,其中包括第二个因素,变换后的输入向量的范数。我们的基于规范的分析BERT和基于transformer的神经机器翻译系统的结果包括以下几点:(i)与以前的研究相反,BERT不注意特殊的令牌,(ii)合理的词对齐可以从Transformer的注意力机制中提取。这些发现提供了对Transformers内部工作原理的深入了解。
2020-10-06 cs.CL
Smart Bird: Learnable Sparse Attention for Efficient and Effective Transformer
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Microsoft STC Asia(微软亚太研发集团)
Transformer在NLP方面取得了巨大的成功。但是,Transformer中自注意力机制的二次复杂性使其在处理长序列时效率低下。许多现有的作品都在探索通过计算稀疏的自我注意力而不是密集的自我注意力来加速Transformers,后者通常关注某些位置的代币或随机选择的代币。然而,手动选择的或随机的令牌对于上下文建模可能是无信息的。在本文中,我们提出了智能鸟,这是一个高效和有效的Transformer与可学习的稀疏注意。在Smart Bird中,我们首先使用单头低维Transformer计算草图注意力矩阵,旨在发现令牌之间潜在的重要交互。然后,我们根据从草图的注意力矩阵导出的概率得分对标记对进行采样,以针对不同的注意力头部生成不同的稀疏注意力索引矩阵。最后,我们根据索引矩阵选择标记嵌入,形成稀疏注意网络的输入。在六个不同任务的基准数据集上进行的大量实验验证了Smart Bird在文本建模中的效率和有效性。
2021-09-02 cs.CL
Integral Transformer: Denoising Attention, Not Too Much Not Too Little
Huawei Noah’s Ark Lab, Montreal Research Center, Canada(华为诺亚实验室,蒙特利尔研究中心,加拿大)
针对Softmax自注意力中的噪声问题,提出积分Transformer,通过整合logit分布采样信号去噪并保留特殊标记贡献,在知识和推理基准上优于现有变体,且低层用普通注意力、高层用积分注意力效果更佳。
2025-08-25 cs.CL
Understanding Self-Attention of Self-Supervised Audio Transformers
National Taiwan University(台湾大学)
自监督音频Transformers(SAT)在许多下游语音应用(如ASR)中取得了巨大成功,但它们的工作原理尚未得到广泛探讨。在这项工作中,我们提出了多种策略的注意力机制在SAT的分析。我们将注意力分为可解释的类别,我们发现每个类别都有自己独特的功能。我们提供了一个可视化的工具,了解多头自我注意,重要性排名策略,识别关键的注意力,注意力细化技术,以提高模型的性能。
2020-08-10 cs.CL
Accelerating Neural Transformer via an Average Attention Network
Xiamen University(厦门大学);Beijing Advanced Innovation Center for Language Resources(北京语言资源高精尖创新中心);Soochow University(苏州大学)
利用可并行化的注意力网络,神经Transformer的训练速度非常快。然而,由于自回归结构和自注意力在解码器中,解码过程变得缓慢。为了缓解这个问题,我们提出了一个平均注意力网络作为替代的自我注意力网络的神经Transformer的解码器。平均注意力网络由两层组成,平均层对先前位置的依赖性进行建模,门控层堆叠在平均层上,以增强所提出的注意力网络的表现力。我们将此网络应用于神经Transformer的解码器部分,以取代原始的目标侧自我注意模型。通过掩蔽技巧和动态规划,我们的模型使神经Transformer能够以比原始版本快四倍的速度解码句子,而几乎没有损失训练时间和翻译性能。我们对WMT 17翻译任务进行了一系列实验,在6种不同的语言对上,我们获得了鲁棒且一致的解码速度。
2018-05-07 cs.CL
Pushdown Layers: Encoding Recursive Structure in Transformer Language Models
Stanford University(斯坦福大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出下推层,通过栈带跟踪递归深度并调制注意力,使Transformer在保持困惑度的同时实现3-5倍更高效的句法泛化,并可直接替换标准自注意力。
2023-10-29 cs.CL
Full Stack Optimization of Transformer Inference: a Survey
UC Berkeley(加州大学伯克利分校);NVIDIA(英伟达);ICSI(国际计算机科学研究所);LBNL(劳伦斯伯克利国家实验室)
本综述梳理了Transformer推理效率优化的五类研究方向,并通过Gemmini加速器案例验证,证实全栈协同设计可实现最高88.7倍的推理加速且性能损耗极小。
2023-02-27 cs.CL cs.LG
Layer-wise Pruning of Transformer Attention Heads for Efficient Language Modeling
Seoul National University(首尔国立大学);Hanyang University(汉阳大学)
虽然基于transformer的模型已经显示出令人印象深刻的语言建模性能,但大量的计算成本通常使实际使用望而却步。注意头修剪技术是解决这一问题的一种有效方法,它可以去除多个注意头中不必要的注意头。然而,它并没有均匀地减少整体负载,因为重前馈模块不受头部修剪的影响。在本文中,我们将逐层注意力头部修剪应用于全注意力Transformer,使得整个计算和参数的数量可以与修剪头部的数量成比例地减少。虽然该架构有可能充分利用头部修剪,我们提出了三种训练方法,特别有助于最大限度地减少性能下降和稳定的修剪过程。我们的修剪模型在WikiText-103语言建模基准测试中显示出比Transformer-XL更低的困惑度。
2021-10-07 cs.CL
Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation
University of Helsinki(赫尔辛基大学)
基于transformer的模型给神经机器翻译带来了根本性的变化。Transformer架构的一个关键特性是所谓的多头注意力机制,它允许模型同时关注输入的不同部分。然而,最近的研究表明,大多数注意力头学习简单的,往往是多余的,位置模式。在本文中,我们建议取代所有,但一个注意头的每个编码器层与简单的固定-非学习-专注模式,完全基于位置,不需要任何外部知识。我们对不同数据大小和多语言对的实验表明,在训练时将注意力头固定在Transformer的编码器端不会影响翻译质量,甚至在低资源场景中将BLEU分数提高多达3分。
2020-10-05 cs.CL
Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers
Alibaba Group(阿里巴巴集团)
本文提出 Skip-Layer Attention(SLA),允许层查询同时与当前层和前一层的键值交互,以无额外计算开销的方式增强多头注意力多样性,并在语言建模任务中验证其性能优势。
2024-06-17 cs.CL
How Redundant Is the Transformer Stack in Speech Representation Models?
Technical University of Denmark(丹麦技术大学)
该研究针对基于Transformer的自监督语音表示模型,通过三种相似度指标分析发现层间存在显著冗余,验证了无需后训练的剪枝及知识蒸馏方法可大幅缩减模型规模与推理时间且性能损失极小。
2025-01-17 cs.CL cs.LG cs.SD
Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
Universidade de Vigo(维戈大学)
本文提出基于Stack-Transformers的移进-归约任务型语义解析器,融合自底向上和按序转移系统,在Facebook TOP的高、低资源设置中均优于现有方法。
2024-09-10 cs.CL
Self-Attention Attribution: Interpreting Information Interactions Inside Transformer
Microsoft Research(微软研究院)
基于transformer的模型的巨大成功得益于强大的多头自我注意力机制,它学习令牌依赖性并从输入中编码上下文信息。先前的工作努力将模型决策归因于具有不同显着性度量的单个输入特征,但它们未能解释这些输入特征如何相互作用以达到预测。本文提出了一种自我注意归因方法来解释Transformer内部的信息交互。我们以BERT为例进行了广泛的研究。首先,我们应用自我注意归因来识别重要的注意头,而其他人可以修剪边际性能下降。此外,我们提取每个层中最显著的依赖关系来构建属性树,从而揭示了Transformer内部的分层交互。最后,我们表明,归因结果可以用作对抗模式,实现非针对性攻击BERT。
2021-02-25 cs.CL
Neural Architecture Search on Efficient Transformers and Beyond
SenseTime Research(商汤科技研究院);Australian National University(澳大利亚国立大学);Shanghai AI Lab(上海人工智能实验室)
近年来,许多高效的Transformers被提出来降低Softmax引起的标准Transformers的二次计算复杂性。然而,大多数人只是简单地将Softmax与有效的注意力机制交换,而没有考虑专门针对有效注意力的定制架构。在本文中,我们认为Softmax关注的手工香草Transformer架构可能不适合高效的Transformers。为了解决这个问题,我们提出了一个新的框架,找到最佳的架构,高效的Transformers与神经架构搜索(NAS)技术。该方法在流行的机器翻译和图像分类任务上进行了验证。我们观察到,高效的Transformer的最佳架构具有减少的计算相比,标准的Transformer,但一般的准确性是不太可比的。结果表明,Softmax注意和高效注意各有特点,但都不能很好地兼顾准确性和效率。这促使我们将两种类型的注意力混合起来,以减少表现的不平衡。除了现有的NAS Transformer方法中常用的搜索空间之外,我们提出了一个新的搜索空间,该空间允许NAS算法自动搜索注意力变量以及架构。在WMT' 14 En-De和CIFAR-10上的大量实验表明,我们搜索的架构保持了与标准Transformer相当的精度,并显着提高了计算效率。
2022-07-28 cs.CL
Characterizing the Expressivity of Local Attention in Transformers
本文研究了变换器中局部注意力的表达力,通过形式语言理论分析了局部注意力如何扩展可识别的正则语言,并证明了全局和局部注意力在表达力上的互补性,实验表明混合型变换器在形式语言识别和自然语言建模中表现更优。
2026-06-29 cs.CL
Diverse Title Generation for Stack Overflow Posts with Multiple Sampling Enhanced Transformer
Wuhan University(武汉大学);Huazhong University of Science and Technology(华中科技大学);Wuhan University of Technology(武汉理工大学);Deakin University(迪肯大学);City University of Hong Kong(香港城市大学)
Stack Overflow是最受欢迎的编程社区之一,开发人员可以在这里为遇到的问题寻求帮助。然而,如果没有经验的开发人员不能清楚地描述他们的问题,他们很难引起足够的注意并得到预期的答案。我们提出了M $_3$ NSCT 5,一种新的方法来自动生成多个职位的标题从给定的代码片段。开发人员可以使用生成的标题来查找密切相关的帖子并完成其问题描述。M $_3$ NSCT 5采用CodeT5主干,这是一个预先训练的Transformer模型,具有出色的语言理解和生成能力。为了减轻歧义问题,相同的代码片段可以对齐不同的标题在不同的上下文,我们提出了最大边际多核抽样策略,以产生多个高质量和多样化的标题候选人在同一时间供开发人员选择。我们构建了一个包含890,000个问题帖子的大规模数据集,涵盖8种程序设计语言,以验证M $_3$ NSCT 5的有效性。BLEU和ROUGE指标的自动评估结果证明了M $_3$ NSCT 5优于六种最先进的基线模型。此外,具有值得信赖的结果的人类评估也证明了我们的方法在现实世界中应用的巨大潜力。
2022-08-24 cs.CL cs.SE
Stack-VS: Stacked Visual-Semantic Attention for Image Caption Generation
近年来,图像字幕的自动生成已成为多模态翻译研究的一个重要热点。现有的方法可以大致分为两类,即,自顶向下和自底向上两种方式,前者将图像信息(称为视觉级特征)直接转换为字幕,后者利用提取的词语(称为语义级属性)生成描述。然而,以前的方法要么是典型的基于一级解码器或部分利用部分视觉级或语义级信息的图像字幕生成。在本文中,我们解决了这个问题,并提出了一个创新的多阶段架构(称为堆栈VS)丰富的精细获得的图像字幕生成,通过结合自下而上和自上而下的注意力模型,有效地处理输入图像的视觉级和语义级信息。具体来说,我们还提出了一种新的精心设计的堆栈解码器模型,它是由一系列的解码器单元,其中每个单元包含两个LSTM层交互工作,以重新优化视觉级特征向量和语义级属性嵌入的注意力权重,以生成一个精细的图像标题。在流行的基准数据集MSCOCO上进行的大量实验表明,不同的评估指标,即,与现有技术相比,BLEU-4/CIDER/SPICE评分的改善分别为0.372、1.226和0.216。
2019-09-05 cs.CL cs.CV
Stacked DeBERT: All Attention in Incomplete Data for Text Classification
Kyungpook National University(庆北大学)
在本文中,我们提出了堆叠DeBERT,短期堆叠降噪双向编码器表示从Transformers。与现有系统相比,该新模型通过在BERT中设计一种新的编码方案来提高不完整数据的鲁棒性,该编码方案是一种仅基于注意力机制的强大语言表示模型。自然语言处理中的不完整数据指的是缺少或不正确单词的文本,它的存在会阻碍当前模型的性能,这些模型没有实现以抵御此类噪声,但即使在胁迫下也必须表现良好。这是由于当前的方法是针对干净和完整的数据构建和训练的,因此无法提取可以充分表示不完整数据的特征。我们提出的方法包括通过将嵌入层应用于输入令牌,然后通过香草Transformers来获得中间输入表示。这些中间特征作为输入提供给负责获得更丰富的输入表示的新型去噪Transformers。该方法利用多层感知器的堆栈,通过提取更抽象和更有意义的隐藏特征向量来重建缺失词的嵌入,并利用双向Transformers来改进嵌入表示。我们考虑两个数据集进行训练和评估:聊天机器人自然语言理解评估语料库和Kaggle的Twitter情感语料库。我们的模型显示了改进的F1分数和更好的鲁棒性,在非正式/不正确的文本中存在的推文和文本与语音到文本错误的情感和意图分类任务。
2021-01-14 cs.CL cs.LG
Tree Transformer: Integrating Tree Structures into Self-Attention
National Taiwan University(台湾大学)
从大规模原始文本中预训练Transformer并对所需任务进行微调,在各种NLP任务上取得了最先进的结果。然而,目前还不清楚学习的注意力捕捉到了什么。注意力头计算出的注意力似乎与人类对层次结构的直觉不符。本文提出了树型Transformer,它对双向Transformer编码器的注意头增加了一个额外的约束,以鼓励注意头遵循树结构。我们提出的“成分注意力”模块可以从原始文本中自动归纳出树结构,该模块简单地通过两个相邻单词之间的自我注意力来实现。使用与BERT相同的训练过程,实验证明了Tree Transformer在诱导树结构、更好的语言建模和进一步学习更多可解释的注意力分数方面的有效性。
2019-11-01 cs.CL cs.LG
Adaptive Sparse and Monotonic Attention for Transformer-based Automatic Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Tsinghua University(清华大学);The Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
基于自注意和多头注意力的Transformer架构模型在离线端到端自动语音识别(ASR)中取得了显著的成功。然而,自我注意力和多头注意力不能容易地应用于流或在线ASR。针对Transformer语音识别中的自注意问题,基于softmax归一化函数的注意力机制使得语音识别中的重要语音信息无法突出。对于Transformer ASR中的多头注意力,不容易对不同头中的单调对齐进行建模。为了克服这两个限制,我们将稀疏注意力和单调注意力集成到基于transformer的ASR中。稀疏机制引入了一个学习的稀疏方案,使每个自注意力结构,以适应相应的头部更好。单调注意部署正则化以修剪用于多头注意力结构的冗余头。实验结果表明,该方法可以有效地改善语音识别中广泛使用的基准测试的注意力机制。
2022-09-30 cs.AI cs.CL
Dissociating Decodability and Causal Use in Bracket-Sequence Transformers
Yale University(耶鲁大学);Harvard University(哈佛大学)
通过探针和干预实验,发现Dyck语言Transformer中层级表示虽可解码,但仅注意力模式中的栈顶位置对长距离准确性有因果影响。
2026-06-17 cs.CL cs.LG
Explicit Sparse Transformer: Concentrated Attention Through Explicit Selection
Peking University(北京大学)
基于自注意的Transformer在许多自然语言处理任务中表现出了最先进的性能。自我注意能够对长期依赖进行建模,但它可能会受到提取上下文中不相关信息的影响。为了解决这个问题,我们提出了一个新的模型称为\textbf{Explicit Sparse Transformer}。显式稀疏Transformer能够通过显式选择最相关的片段来提高对全局上下文的注意力集中。在一系列自然语言处理和计算机视觉任务(包括神经机器翻译、图像描述和语言建模)上的大量实验结果都证明了显式稀疏Transformer在模型性能上的优势。我们还表明,我们提出的稀疏注意力方法比以前的稀疏注意力方法取得了相当或更好的结果,但显着减少了训练和测试时间。例如,推理速度是Transformer模型中sparsemax的两倍。代码将在\url{https://github.com/lancopku/Explicit-Sparse-Transformer}上提供
2019-12-25 cs.CL cs.LG
Co-Stack Residual Affinity Networks with Multi-level Attention Refinement for Matching Text Sequences
Institute for Infocomm Research, A*Star(新加坡科技研究局资讯通信研究院);Nanyang Technological University(南洋理工大学)
学习两个文本序列之间的匹配函数是NLP研究中的一个长期问题。该任务使许多潜在的应用,如问答和释义识别。本文提出了一种新的通用神经网络结构,即共栈剩余亲和网络(CSRAN)。CSRAN是一种深度架构,涉及堆叠(多层)递归编码器。传统上,堆叠/深度架构难以训练,这是由于其固有的弱点,例如难以进行特征传播和梯度消失。CSRAN结合了两个新的组件,以利用堆叠架构。首先,它引入了一种新的双向比对机制,通过融合堆叠层次结构中的序列对来学习亲和度权重。其次,它利用堆叠的递归层之间的多级注意力细化组件。关键的直觉是,通过利用所有网络层次结构中的信息,我们不仅可以改善梯度流,还可以改善整体性能。我们在六个经过充分研究的文本序列匹配数据集上进行了广泛的实验,在所有数据集上都达到了最先进的性能。
2018-10-06 cs.AI cs.CL cs.IR
VieCap4H-VLSP 2021: ObjectAoA-Enhancing performance of Object Relation Transformer with Attention on Attention for Vietnamese image captioning
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
图像描述目前是一项具有挑战性的任务,它需要理解视觉信息并使用人类语言来描述图像中的视觉信息的能力。在本文中,我们提出了一种有效的方法来提高图像的理解能力的transformer为基础的方法,通过扩展对象关系Transformer架构与注意力的注意力机制。在VieCap4H数据集上的实验表明,该方法在VLSP图像描述共享任务的公开测试和私有测试中均优于原结构.
2023-03-20 cs.CL cs.CV
Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences
Yale University(耶鲁大学)
高效的Transformers已经被开发用于长序列建模,由于它们的次二次存储器和时间复杂度。稀疏Transformer是一种通过将自注意力限制在由预定义的稀疏模式指定的位置来提高Transformers效率的流行方法。然而,当重要的标记相关性是多跳时,与全注意力相比,利用稀疏性可能会牺牲表现力。结合稀疏Transformer的高效性和全注意力Transformer的表现力,提出了一种新的高效Transformer-\textit{Diffuser}.扩散器将所有令牌交互集成在一个注意力层中,同时保持低计算和内存成本。其关键思想是使用注意力扩散来扩展稀疏注意力的感受野,该注意力扩散基于对应断开的标记之间的所有路径以及相邻标记之间的注意力来计算多跳标记相关性。从理论上讲,我们展示了扩散器作为序列到序列建模的通用序列近似器的表现力,并通过从谱的角度分析图扩展器属性来研究其近似全注意力的能力。在实验中,我们调查扩散器的有效性进行了广泛的评估,包括语言建模,图像建模和远程竞技场(LRA)。评测结果表明,与最先进的基准测试相比,Diffuser在文本分类任务上平均提高了0.94%,在LRA上平均提高了2.30%,节省了1.67 $\times$内存,这表明Diffuser在表现力和效率方面都具有卓越的性能。
2023-01-31 cs.CL cs.LG
Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers
ETH Zurich(苏黎世联邦理工学院)
本研究探讨用浅层前馈网络替代Transformer注意力层,通过知识蒸馏训练,在IWSLT2017上验证其性能媲美原架构,并通过消融实验证明该方法可行,为简化序列到序列模型提供新思路。
2024-02-04 cs.CL cs.LG
Pruning Attention Heads of Transformer Models Using A* Search: A Novel Approach to Compress Big NLP Architectures
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Corporate Model Risk, Wells Fargo(富国银行企业模型风险部)
近年来,在自然语言处理甚至在计算机视觉中越来越多地采用Transformer模型,例如BERT。然而,由于它们的大小,在资源受限的计算环境中,这种模型的采用有限。提出了一种新的剪枝算法,通过消除冗余的注意头来压缩Transformer模型。我们应用A* 搜索算法来获得具有严格精度保证的修剪模型。实验结果表明,该方法可以消除BERT Transformer模型中多达40%的注意头,而不损失准确性。
2021-11-17 cs.CL cs.LG
The Devil in Linear Transformer
SenseTime Research(商汤科技研究院);Australian National University(澳大利亚国立大学);OPPO Research Institute(OPPO研究院);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
线性Transformers的目标是降低vanilla Transformers的二次空间-时间复杂度。然而,他们通常遭受各种任务和语料的性能下降。在本文中,我们研究了现有的基于内核的线性Transformers,并确定了两个关键问题,导致这种性能差距:1)在注意力计算的无界梯度的线性Transformer模型的收敛性产生不利影响; 2)注意力稀释,平凡地分布在长序列的注意力得分,而忽略了相邻的结构。为了解决这些问题,我们首先确定注意力矩阵的缩放是无界梯度中的魔鬼,这在线性注意力中是不必要的,因为我们从理论和经验上证明了这一点。为此,我们提出了一个新的线性注意力,取代了缩放操作的归一化,以稳定梯度。对于注意力稀释的问题,我们利用对角注意力将注意力限制在早期层中的相邻标记上。受益于稳定的梯度和改进的注意力,我们的新线性Transformer模型transNormer在文本分类和语言建模任务以及具有挑战性的Long-Range Arena基准测试中表现出卓越的性能,明显超过了vanilla Transformer和现有的线性变体,同时具有更高的时空效率。该代码可在https://github.com/OpenNLPLab/Transnormer上获得。
2022-10-19 cs.CL cs.LG
LayerNorm Induces Recency Bias in Transformer Decoders
KAIST(韩国科学技术院);Microsoft Research(微软研究院)
研究揭示Transformer解码器中层归一化与自注意力机制相互作用导致近期偏差的机制,分析残差连接和输入嵌入分布的影响,提出改进位置编码的新思路。
2026-04-20 cs.CL cs.LG
Generalized Attention Mechanism and Relative Position for Transformer
本文首先对Vaswani等人的自我注意力机制提出了一种新的解释,然后提出了广义注意力机制(GAM)。在解释之后,我们提供了对注意力机制的不同变体的描述,这些变体一起形成GAM。此外,我们提出了一个新的相对位置表示GAM的框架内。这种表示可以很容易地用于输入序列中彼此相邻的元素可以位于实际数据集/语料库中的随机位置的情况。
2022-07-24 cs.CL cs.LG
Input-independent Attention Weights Are Expressive Enough: A Study of Attention in Self-supervised Audio Transformers
National Taiwan University(台湾大学)
在本文中,我们寻求解决方案,以减少基于变换的语音表示学习模型的计算复杂度。我们评估了10种注意力算法;然后,我们以自我监督的方式用这些注意力算法预训练基于transformer的模型,并将它们视为下游任务的特征提取器,包括音素分类和说话人分类。在t-SNE、PCA和一些观察的帮助下,自监督音频Transformers中的注意力权重可以分为四种一般情况。基于这些案例和一些分析,我们能够使用一组特定的注意力权重来初始化模型。我们的方法显示出与典型的自我注意相当的性能,但在训练和推理方面需要的时间减少了20%。
2020-11-03 cs.CL cs.SD eess.AS
Delta Keyword Transformer: Bringing Transformers to the Edge through Dynamically Pruned Multi-Head Self-Attention
Technical University of Denmark(丹麦技术大学);Demant A/S(丹麦德玛特公司);KU Leuven(鲁汶大学)
多头自注意形成了Transformer网络的核心。然而,它们相对于输入序列长度的二次增长的复杂性阻碍了它们在资源受限的边缘设备上的部署。我们通过提出一种动态修剪方法来解决这一挑战,该方法利用令牌之间数据的时间稳定性来降低推理成本。基于阈值的方法仅保留后续令牌之间的显著差异,有效地减少了乘法累积的数量以及内部张量数据大小。在Google Speech Commands Dataset上对该方法进行了关键字识别评估,并将其性能与基线关键字Transformer进行了比较。我们的实验表明,我们可以减少约80%的操作,同时保持原来的98.4%的准确率。此外,当仅降低1- 4%的准确性时,可以实现约87-94%的操作减少,从而将多头自注意推理加速约7.5-16倍。
2022-03-20 cs.CL cs.LG
Image Captioning using Multiple Transformers for Self-Attention Mechanism
实时图像描述,以及足够的精度,是这个研究领域的主要挑战。目前的工作,多个Transformers的自我注意力机制(MTSM),利用多个变压器来解决这些问题。所提出的算法,MTSM,获取区域的建议,使用Transformer检测器(DETR)。MTSM通过另一个Transformer来传递这些区域建议及其视觉和几何特征,并学习对象的局部和全局互连,从而实现自注意力机制。所提出的算法,MTSM,定性和定量的结果显示在MSCOCO数据集。
2021-02-14 cs.AI cs.CL cs.CV
Attention Alignment and Flexible Positional Embeddings Improve Transformer Length Extrapolation
Carnegie Mellon University(卡内基梅隆大学)
本文提出通过温度缩放的注意力对齐策略,缓解T5模型因位置嵌入灵活性导致的注意力分散问题,从而无需微调即可提升其在长上下文任务中的外推能力。
2023-11-15 cs.CL cs.LG
Striped Attention: Faster Ring Attention for Causal Transformers
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MosaicML(MosaicML公司);MIT EECS(麻省理工学院电气工程与计算机科学系)
针对因果Transformer中环形注意力因三角结构导致的工作负载不均衡,提出条纹注意力,通过均匀分布token子集实现更均衡负载,在A100和TPUv4上分别获得最高1.45倍和1.65倍的吞吐量提升。
2023-11-15 cs.CL cs.LG
H-Transformer-1D: Fast One-Dimensional Hierarchical Attention for Sequences
Google Research(谷歌研究院)
我们描述了一个有效的分层方法来计算注意力的Transformer架构。所提出的注意力机制利用类似于由数值分析团体开发的分层矩阵(H-Matrix)的矩阵结构,并且具有线性的运行时间和存储复杂度。我们进行了大量的实验,以表明我们的分层注意体现的归纳偏见是有效的捕捉典型的自然语言和视觉任务的序列中的层次结构。我们的方法优于其他次二次建议,在长距离竞技场基准上平均超过+6点。它还在10亿字数据集上设置了一个新的SOTA测试困惑度,模型参数比以前最好的基于transformer的模型少5倍。
2021-07-25 cs.CL cs.LG
Quantifying Attention Flow in Transformers
University of Amsterdam(阿姆斯特丹大学)
在Transformer模型中,“自我关注”将来自关注嵌入的信息组合到下一层的焦点嵌入的表示中。因此,跨Transformer的层,源自不同令牌的信息变得越来越混合。这使得注意力权重在解释探测时变得不可靠。在本文中,我们考虑的问题,通过自我关注的信息流的量化。我们提出了两种方法近似的注意力输入令牌的注意力权重,注意滚动和注意流,作为事后的方法,当我们使用的注意力权重作为输入令牌的相对相关性。我们发现,这些方法提供了信息流的互补意见,并与原始注意力相比,两者都产生较高的相关性与使用消融方法和输入梯度获得的输入标记的重要性分数。
2020-05-31 cs.AI cs.CL cs.LG
Weak-Attention Suppression For Transformer Based Speech Recognition
Facebook AI(Facebook人工智能研究院)
Transformers最初是为自然语言处理(NLP)任务提出的,最近在自动语音识别(ASR)中取得了巨大的成功。然而,相邻的声学单元(即,框架)高度相关,并且它们之间的长距离依赖性很弱,不像文本单元。这表明ASR可能会受益于稀疏和局部注意力。在本文中,我们提出了弱注意抑制(WAS),一种方法,动态地引起注意概率稀疏。我们证明,WAS导致一致的字错误率(WER)改善强Transformer基线。在广泛使用的LibriSpeech基准测试中,我们提出的方法在测试清洁时将WER降低了10%,在测试其他时降低了5%,从而在流模型中产生了新的最先进的技术。进一步的分析表明,WAS学习抑制非关键和冗余的连续声学帧的注意,更有可能抑制过去的帧,而不是未来的。这表明了前视在基于注意力的ASR模型中的重要性。
2020-05-18 cs.CL eess.AS
Generalized Probabilistic Attention Mechanism in Transformers
Handong Global University(韩东全球大学)
本文提出广义概率注意力机制 GPAM 及其双注意力实现 daGPAM,通过允许负注意力分数同时缓解 Transformer 中的秩坍缩和梯度消失问题,并在语言建模和机器翻译任务中验证了其有效性。
2024-10-21 cs.CL cs.LG
WavSpA: Wavelet Space Attention for Boosting Transformers' Long Sequence Learning Ability
UC San Diego(加州大学圣地亚哥分校);Mindverse
本文提出 Wavelet Space Attention(WavSpA),通过在可学习小波系数空间中进行注意力学习来替代传统 Transformer 注意力,在保持线性时间复杂度的同时捕获位置与频率信息,显著提升了模型的长序列学习与推理外推能力。
2023-05-22 cs.CL cs.LG
An Attention Matrix for Every Decision: Faithfulness-based Arbitration Among Multiple Attention-Based Interpretations of Transformers in Text Classification
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
Transformers广泛用于自然语言处理中,它们始终实现最先进的性能。这主要是由于它们基于注意力的架构,这使得它们能够对(子)词之间丰富的语言关系进行建模。然而,Transformers很难解释。能够为其决策提供推理是影响人类生活的领域中模型的重要属性。随着Transformers在这些领域的广泛使用,需要为他们量身定制的可解释性技术。我们提出了一种新的技术,选择最忠实的基于注意力的解释之间的几个,可以通过结合不同的头,层和矩阵操作。此外,引入了两种变化,以(i)降低计算复杂性,从而更快和更友好的环境,以及(ii)提高多标签数据的性能。我们进一步提出了一个新的忠诚度度量,更适合于Transformer模型,并表现出高度的相关性,根据地面真理的基础上的准确率-召回率曲线下的面积。我们验证了我们的贡献的效用与一系列的定量和定性实验7个数据集。
2022-11-28 cs.CL cs.LG
Selective Attention Improves Transformer
Google Research(谷歌研究)
本文提出一种无需参数的选择性注意力机制,通过减少对无关上下文的关注,在多种规模下提升语言建模性能,并大幅降低推理内存需求。
2025-04-24 cs.AI cs.CL cs.LG
Analyzing the Structure of Attention in a Transformer Language Model
Palo Alto Research Center(帕洛阿尔托研究中心)
Transformer是一种完全基于注意力的递归网络替代方案,在一系列NLP任务中取得了最先进的结果。在本文中,我们分析了Transformer语言模型,GPT-2小型预训练模型的注意力结构。我们可视化的个别实例的注意力,并在一个大型语料库中分析注意力和语法之间的相互作用。我们发现,注意力针对模型中不同层深度的不同部分,并且注意力与中间层中最强烈的依赖关系保持一致。我们还发现,模型的最深层捕捉了最遥远的关系。最后,我们提取的例句,揭示了高度具体的模式,针对特定的注意头。
2019-06-18 cs.CL cs.LG stat.ML