Generalized Attention Flow: Feature Attribution for Transformer Models via Maximum Flow
Simon Fraser University(西蒙菲莎大学);University of California, Berkeley(加州大学伯克利分校)
针对现有Transformer特征归因方法的局限,本文提出融合注意力权重、梯度、最大流与障碍法的广义注意力流GAF,经序列分类基准测试,其特定变体多场景下优于SOTA方法,提升了模型可解释性。
2025-02-14 cs.AI cs.LG
Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost
LG AI Research(LG人工智能研究院);KAIST(韩国科学技术院);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
为了克服自我注意的二次成本,最近的工作提出了各种稀疏注意模块,其中大部分属于两组之一:1)手工制作的模式下的稀疏注意和2)完全注意,然后是softmax的稀疏变体,如$α$ -entmax。不幸的是,第一组缺乏对数据的适应性,而第二组仍然需要二次训练成本。在这项工作中,我们提出了SBM-变压器,一个模型,解决了这两个问题,赋予每个注意头与一个混合成员随机块模型(SBM)。然后,每个注意头数据自适应地采样二分图,其邻接被用作每个输入的注意掩码。在反向传播过程中,直通估计器用于使梯度超出离散采样步骤,并基于预测损失调整采样边缘的概率。因此,前向和后向成本与边的数量成线性关系,每个注意力头也可以基于输入灵活地选择边的数量。通过评估图的分布,我们从理论上证明了SBM-Transformer是期望中任意序列到序列函数的通用逼近器。LRA和GLUE基准下的实证评估表明,我们的模型优于以前的有效的变种,以及充分注意到原来的Transformer。我们的实现可以在https://github.com/sc782/SBM-Transformer中找到。
2022-10-27 cs.AI cs.LG
PENGUIN: Enhancing Transformer with Periodic-Nested Group Attention for Long-term Time Series Forecasting
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai Key Laboratory of Data Science, Fudan University(复旦大学上海市数据科学重点实验室);Xiaohongshu Inc.(小红书公司)
本文提出PENGUIN,一种周期-嵌套组注意力机制,用于提升Transformer在长期时间序列预测中的性能,通过捕捉周期结构和处理多重周期性。
2026-03-29 cs.AI cs.LG
Flowformer: Linearizing Transformers with Conservation Flows
Tsinghua University(清华大学)
基于注意力机制的Transformers在各个领域都取得了令人瞩目的成功。然而,注意力机制具有二次复杂性,这显著阻碍了Transformers处理大量令牌并扩展到更大的模型。以往的方法主要是利用矩阵乘法的相似性分解和结合性来设计线性时间的注意力机制。它们通过重新引入诸如局部性之类的归纳偏差,从而以牺牲模型的通用性和表达性为代价,避免了注意力退化到一个平凡的分布。在本文中,我们线性化的Transformers从特定的感性偏见的基础上的流网络理论。我们将注意力视为通过学习流能力(注意力)从源(值)聚集到汇(结果)的信息流。在此框架下,我们将流守恒的性质应用到注意中,提出了线性复杂度的流-注意力机制。通过分别保存源竞争和源分配的源的流出的流入的汇,流注意固有地产生信息的注意力,而不使用特定的归纳偏差。在Flow-Attention的支持下,Flowformer在线性时间内为广泛的领域提供强大的性能,包括长序列,时间序列,视觉,自然语言和强化学习。代码和设置可在以下存储库中找到:https://github.com/thuml/Flowformer。
2022-06-16 cs.AI cs.LG
Transformers Learn Low Sensitivity Functions: Investigations and Implications
University of Southern California(南加州大学)
本研究将输入逐token随机扰动的敏感度作为统一指标,揭示Transformer的低敏感度归纳偏置及其在鲁棒性、损失景观和平坦性、grokking进度衡量中的启示,并通过理论与实验验证其优于MLP、CNN等架构。
2025-02-13 cs.AI cs.CL cs.LG
Quantifying Attention Flow in Transformers
University of Amsterdam(阿姆斯特丹大学)
在Transformer模型中,“自我关注”将来自关注嵌入的信息组合到下一层的焦点嵌入的表示中。因此,跨Transformer的层,源自不同令牌的信息变得越来越混合。这使得注意力权重在解释探测时变得不可靠。在本文中,我们考虑的问题,通过自我关注的信息流的量化。我们提出了两种方法近似的注意力输入令牌的注意力权重,注意滚动和注意流,作为事后的方法,当我们使用的注意力权重作为输入令牌的相对相关性。我们发现,这些方法提供了信息流的互补意见,并与原始注意力相比,两者都产生较高的相关性与使用消融方法和输入梯度获得的输入标记的重要性分数。
2020-05-31 cs.AI cs.CL cs.LG
Selective Attention Improves Transformer
Google Research(谷歌研究)
本文提出一种无需参数的选择性注意力机制,通过减少对无关上下文的关注,在多种规模下提升语言建模性能,并大幅降低推理内存需求。
2025-04-24 cs.AI cs.CL cs.LG
Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs
Massachusetts Institute of Technology(麻省理工学院)
尽管Transformer网络在各个领域都取得了广泛的成功,但即使考虑到与3D相关的诱导偏差(如平移不变性和旋转等变性),它也尚未在3D原子图(如分子)领域的数据集上表现良好。在本文中,我们证明了Transformers可以很好地推广到3D原子图,并提出了Equiformer,这是一种利用Transformer架构的优势并基于不可约表示(irreps)结合SE(3)/E(3)-等变特征的图神经网络。首先,我们提出了一个简单而有效的架构,只取代原来的操作在Transformers与他们的等变同行,并包括张量积。使用等变操作使得能够在不使图结构复杂化的情况下在irreps特征的通道中编码等变信息。通过对Transformers的最小修改,该架构已经取得了很好的经验结果。其次,我们提出了一种新的注意力机制,称为等变图注意力,它改善了典型的注意力在Transformers,通过取代点积的注意力与多层感知器的注意力,并包括非线性消息传递。通过这两项创新,Equiformer在QM 9,MD 17和OC 20数据集上实现了与以前模型竞争的结果。
2023-02-28 cs.AI cs.LG physics.comp-ph
Attention Hijacking in Trojan Transformers
Stony Brook University(石溪大学);IBM Research(IBM研究院)
木马攻击对AI系统构成严重威胁。最近Transformer模型的作品受到了爆炸性的欢迎,自我关注现在是无可争议的。这就提出了一个核心问题:我们能否通过BERT和ViTs中的注意力机制来揭示特洛伊木马?在本文中,我们调查的注意力劫持模式,木马AI,\ie,触发令牌“绑架”的注意力权重时,一个特定的触发器。我们从自然语言处理(NLP)和计算机视觉(CV)领域观察到特洛伊木马Transformers中一致的注意力劫持模式。这个有趣的属性有助于我们理解BERT和ViTs中的特洛伊机制。我们还提出了一个注意力劫持木马检测器(AHTD)区分木马AI从干净的。
2022-08-09 cs.AI cs.CR cs.LG
TransformerFAM: Feedback attention is working memory
Google LLC(谷歌公司)
本文提出TransformerFAM架构,通过反馈回路让Transformer关注自身潜在表示以形成工作记忆,无需额外权重即可无缝集成预训练模型,并在1B、8B和24B模型规模的长上下文任务上显著提升性能。
2024-05-07 cs.AI cs.CL cs.LG
Attention-Only Transformers and Implementing MLPs with Attention Heads
本文证明只要激活函数属于受限类(含SiLU及ReLU和GeLU近似),内部维度为1的掩码注意力头即可实现MLP神经元,从而将标准Transformer转换为仅注意力Transformer,并证明注意力头能分别执行MLP组件及编码任意掩码模式。
2023-09-15 cs.LG
Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
Indiana University Bloomington(印第安纳大学布鲁明顿分校)
本研究通过认知科学方法分析不同规模GPT-2模型的注意力分数与输出,发现其注意力头存在类似人类情景记忆的时间连续性等效应,归纳头是连续性效应的关键,揭示Transformer上下文学习中信息时间组织机制。
2025-02-09 cs.AI cs.CL cs.LG
From Cognition to Computation: A Comparative Review of Human Attention and Transformer Architectures
UCLA(加利福尼亚大学洛杉矶分校)
本文从认知—功能视角比较人类注意力与 Transformer 的注意力机制,剖析二者在容量约束、通路和意图机制上的差异,并指出跨学科借鉴对通用人工智能的意义。
2024-04-25 cs.AI cs.LG q-bio.OT
Linear Transformers as VAR Models: Aligning Autoregressive Attention Mechanisms with Autoregressive Forecasting
Georgia Institute of Technology(佐治亚理工学院)
本文提出SAMoVAR,一种将Transformer架构与自回归目标对齐的线性变换器变体,通过整合可解释的动态VAR权重,提升时间序列预测的性能和可解释性。
2026-02-05 cs.AI cs.LG stat.ML
Dilated Neighborhood Attention Transformer
U of Oregon(俄勒冈大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR))
Transformers正在迅速成为跨模态、领域和任务应用最广泛的深度学习架构之一。在愿景中,除了正在进行的普通Transformers的努力之外,分层Transformers也受到了极大的关注,这要归功于它们的性能和易于集成到现有框架中。这些模型通常采用局部注意力机制,例如滑动窗口邻域注意(NA)或Swin Transformer的移位窗口自注意。虽然局部注意力有效地降低了自我注意力的二次复杂性,但它削弱了自我注意力的两个最理想的特性:长距离相互依赖模型和全局感受野。在本文中,我们介绍了扩张邻域注意力(DiNA),一个自然,灵活和有效的扩展NA,可以捕捉更多的全球范围内,并在没有额外的成本呈指数级扩大感受野。NA的局部注意力和DiNA的稀疏全局注意力相辅相成,因此我们引入了扩张邻域注意力Transformer(DiNAT),这是一种建立在两者之上的新的分层视觉Transformer。DiNAT变体比NAT、Swin和ConvNeXt等强基线有显著改进。我们的大型模型更快,在COCO目标检测中有1.6%的box AP,在COCO实例分割中有1.4%的mask AP,在ADE 20 K语义分割中有1.4%的mIoU。与新框架配对,我们的大型变体是COCO(58.5 PQ)和ADE 20 K(49.4 PQ)上最先进的新全景分割模型,以及Cityscapes(45.1 AP)和ADE …
2023-01-16 cs.AI cs.CV cs.LG
Generic Interpretation Approach for Transformer Models Incorporating Heterogenous Attention Structures
Zhejiang University(浙江大学)
针对Transformer中异质注意力结构(如共注意力)带来的多源信息融合挑战,提出一种通用解释方法,并通过实验分析范式对代表性模型进行语义和逻辑解释。
2026-06-01 cs.AI cs.CL cs.CV
Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers
Tel Aviv University(特拉维夫大学);Facebook AI Research (FAIR)(Facebook AI研究院)
Transformers越来越多地主导多模态推理任务,例如视觉问答,由于其使用自我注意和协同注意力机制将信息上下文化的能力,实现了最先进的结果。这些注意力模块还在其他计算机视觉任务中发挥作用,包括目标检测和图像分割。与仅使用自我注意力的Transformers不同,具有共同注意力的Transformers需要并行考虑多个注意力地图,以突出与模型输入中的预测相关的信息。在这项工作中,我们提出了第一种方法来解释预测的任何变压器为基础的架构,包括双模态Transformers和Transformers共同关注。我们提供了通用的解决方案,并将其应用于这些架构中最常用的三种:(i)纯自我注意,(ii)自我注意与共同注意相结合,以及(iii)编码器-解码器注意。我们表明,我们的方法是优于所有现有的方法,这是适应单一的模态可解释性。
2021-03-29 cs.CV cs.LG
RealFormer: Transformer Likes Residual Attention
Google Research(谷歌研究院)
Transformer是现代NLP模型的支柱。在本文中,我们提出了RealFormer,一个简单而通用的技术来创建剩余注意力层Transformer网络,显着优于规范的Transformer及其变体(BERT,ETC等)。在各种各样的任务上,包括Masked Language Modeling、GLUE、SQuAD、Neural机器翻译、WikiHop、HotpotQA、Natural Questions和OpenKP。我们还根据经验观察到,RealFormer稳定了训练,并导致模型具有更稀疏的注意力。RealFormer的源代码和预先训练的检查点可以在https://github.com/google-research/google-research/tree/master/realformer上找到。
2021-09-10 cs.LG
Space-time Mixing Attention for Video Transformer
Samsung AI Cambridge(三星剑桥人工智能中心);Queen Mary University of London(伦敦玛丽女王大学)
本文是关于使用Transformers的视频识别。最近在这一领域的尝试已经证明了有前途的结果方面的识别精度,但他们也被证明,在许多情况下,由于额外的建模的时间信息,导致显着的计算开销。在这项工作中,我们提出了一个视频Transformer模型的复杂性与视频序列中的帧的数量成线性比例,因此不会引起任何开销相比,基于图像的Transformer模型。为了实现这一点,我们的模型做了两个近似的视频Transformers中使用的全时空注意:(a)它限制时间注意到一个本地的时间窗口,并利用Transformer的深度,以获得完整的时间覆盖的视频序列。(b)它使用有效的时空混合来共同关注空间和时间位置,而不会在仅空间注意力模型之上产生任何额外成本。我们还展示了如何整合2个非常轻量级的机制,全球时间只注意,以最小的计算成本提供额外的精度提高。我们证明了我们的模型在最流行的视频识别数据集上产生了非常高的识别精度,同时比其他视频Transformer模型更有效。代码将提供。
2021-06-11 cs.AI cs.CV cs.LG
Understanding the Parameter Space Geometry of Transformers Encoding Boolean Functions
Machine Learning, ICML(机器学习,ICML)
针对Transformer无法学习某些简单布尔函数(如奇偶函数)的问题,通过分析参数空间几何,证明敏感函数在参数空间中占据极小区域,随机初始化几乎必然错过,从而解释了可表达但不可学习的现象。
2026-06-07 cs.LG
Preconditioned Attention: Enhancing Efficiency in Transformers
Australian Institute for Machine Learning (AIML), Adelaide University(阿德莱德大学澳大利亚机器学习研究所(AIML))
本文提出预条件注意力机制,通过引入条件矩阵降低注意力矩阵的条件数,提升训练效率,适用于多种Transformer应用。
2026-03-28 cs.LG
DINT Transformer
Tsinghua University(清华大学);Peking University School of Public Health(北京大学公共卫生学院)
DIFF Transformer通过引入差分注意力机制来增强局部注意力的鲁棒性,从而解决了不相关上下文干扰的问题。然而,它有两个关键的限制:缺乏全局上下文建模,这是必不可少的识别全局显着的令牌,和数值不稳定,由于缺乏严格的行规范化的注意矩阵。为了克服这些挑战,我们提出了DINT Transformer,它通过引入微分积分机制来扩展DIFF Transformer。通过计算全局重要性分数并将其集成到注意力矩阵中,DINT Transformer提高了捕获全局依赖关系的能力。此外,统一的参数设计强制执行行归一化的注意矩阵,提高数值稳定性。实验结果表明,DINT Transformer在长上下文语言建模和关键信息检索等实际应用中具有良好的准确性和鲁棒性。这些结果将DINT Transformer定位为高效且有前途的架构。
2025-01-29 cs.AI cs.CL cs.LG
Spectral Conditioning of Attention Improves Transformer Performance
Australian Institute for Machine Learning(澳大利亚机器学习研究所)
通过优化注意力层的谱特性以降低雅可比矩阵的条件数,提升变换器模型的性能。
2026-03-07 cs.LG
FANTF: Fuzzy attention network based transformers for time series analysis
本文提出 FANTF 框架,通过将模糊逻辑与模糊隶属函数嵌入 Transformer 自注意力模块,有效处理时间序列数据的不确定性,显著提升了预测、分类与异常检测性能。
2026-10-16 cs.LG
Transformer Acceleration with Dynamic Sparse Attention
University of California, Santa Barbara(加州大学圣巴巴拉分校)
Transformers是NLP应用的主流,在其他领域(如计算机视觉)也越来越受欢迎。尽管改进了模型质量,但巨大的计算成本使得Transformers难以部署,特别是当新兴应用中的序列长度很大时。处理注意力机制作为Transformer的重要组成部分,由于其二次复杂度,成为其执行的瓶颈。现有技术探索注意力中的稀疏模式以支持长序列建模,但是这些工作是关于静态或固定模式的。我们证明了稀疏模式是动态的,取决于输入序列。因此,我们提出了动态稀疏注意力(DSA),可以有效地利用动态稀疏的Transformers的注意。与其他方法相比,我们的方法可以实现更好的平衡精度和模型的复杂性。展望未来,我们将确定挑战并提供解决方案,以便在现有硬件(GPU)和专用硬件上实现DSA,从而实现Transformer执行的实际加速和效率改进。
2021-10-21 cs.LG
Attention Flows for General Transformers
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
在本文中,我们研究了Transformer模型中的输入令牌对其预测的影响程度的计算。我们正式的方法来构建一个流网络的关注值的编码器,只有Transformer模型,并将其扩展到一般的Transformer架构,包括自回归解码器。我们表明,运行一个最大流算法的流网络建设产生Shapley值,这决定了一个球员在合作博弈论的影响。通过将流网络中的输入标记解释为参与者,我们可以计算它们对导致解码器决策的总注意力流的影响。此外,我们还提供了一个库,用于计算和可视化任意Transformer模型的注意力流。我们展示了我们在自然语言处理和推理任务上训练的各种模型上实现的有用性。
2022-05-30 cs.LG
Tree Transformer: Integrating Tree Structures into Self-Attention
National Taiwan University(台湾大学)
从大规模原始文本中预训练Transformer并对所需任务进行微调,在各种NLP任务上取得了最先进的结果。然而,目前还不清楚学习的注意力捕捉到了什么。注意力头计算出的注意力似乎与人类对层次结构的直觉不符。本文提出了树型Transformer,它对双向Transformer编码器的注意头增加了一个额外的约束,以鼓励注意头遵循树结构。我们提出的“成分注意力”模块可以从原始文本中自动归纳出树结构,该模块简单地通过两个相邻单词之间的自我注意力来实现。使用与BERT相同的训练过程,实验证明了Tree Transformer在诱导树结构、更好的语言建模和进一步学习更多可解释的注意力分数方面的有效性。
2019-11-01 cs.CL cs.LG
Why Attention Fails: The Degeneration of Transformers into MLPs in Time Series Forecasting
Shanghai Jiaotong University(上海交通大学)
本文通过逐步将Transformer修改为MLP的实验,揭示时间序列预测中Transformer常退化为MLP,并从理论和可解释数据集角度分析注意力机制失效及嵌入方法缺陷的深层原因。
2025-09-25 cs.LG
FMMformer: Efficient and Flexible Transformer via Decomposed Near-field and Far-field Attention
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Utah(犹他大学);University of California, Irvine(加利福尼亚大学欧文分校)
我们提出FMMformers,一类高效和灵活的Transformers的灵感来自著名的快速多极子方法(FMM)加速相互作用的粒子模拟。FMM将粒子间的相互作用分解为近场和远场分量,分别进行直接计算和粗粒度计算。类似地,FMMformer将注意力分解为近场注意力和远场注意力,通过带状矩阵对近场注意力进行建模,通过低秩矩阵对远场注意力进行建模。计算FMMformer的注意矩阵需要相对于序列长度的计算时间和存储器占用的线性复杂度。相比之下,标准Transformers遭受二次复杂性。我们分析并验证了FMMformer在Long Range Arena和语言建模基准测试中相对于标准Transformer的优势。FMMformer甚至可以在精度方面远远超过标准Transformer。例如,FMMformer在五个长距离竞技场任务上实现$60.74\%$的平均分类准确度,这显著优于标准Transformer的$58.70\%$的平均准确度。
2021-08-05 cs.AI cs.LG cs.NA
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
The University of Tokyo(东京大学)
现有的Transformer模型的表达能力的分析需要过深的数据存储层,导致与实际使用的Transformers不一致。这主要是由于将softmax函数解释为hardmax函数的近似。通过澄清softmax函数和玻尔兹曼算子之间的联系,我们证明了具有低秩权重矩阵的单层自注意力具有完美捕获整个输入序列的上下文的能力。因此,我们表明,一层和单头Transformers有记忆能力有限的样本,和Transformers组成的一个自注意力层与两个前馈神经网络是通用的逼近连续置换等变函数的紧域。
2024-01-29 cs.LG
Data Efficient Any Transformer-to-Mamba Distillation via Attention Bridge
National University of Singapore(新加坡国立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出CAB框架,通过注意力桥接实现Transformer到Mamba的跨架构蒸馏,支持令牌级中间监督,在有限监督下提升图像分类和语言建模性能。
2026-09-17 cs.LG
Transformer Dissection: A Unified Understanding of Transformer's Attention via the Lens of Kernel
Carnegie Mellon University(卡内基梅隆大学);Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心)
Transformer是一个功能强大的架构,可以在各种序列学习任务上实现卓越的性能,包括神经机器翻译、语言理解和序列预测。Transformer的核心是注意力机制,它同时处理流中的所有输入。在本文中,我们提出了一个新的配方的注意通过镜头的内核。更准确地说,我们意识到注意力可以被看作是对输入应用内核平滑器,内核得分是输入之间的相似性。这个新的公式为我们提供了一个更好的方法来理解Transformer注意力的各个组成部分,例如整合位置嵌入的更好方法。我们基于内核的公式化的另一个重要优点是,它为Transformer的注意力组成的更大空间铺平了道路。作为一个例子,我们提出了一个新的变形Transformer的注意力模型的输入作为一个产品的对称内核。这种方法实现了竞争力的性能,以更少的计算量的最先进的模型的当前状态。在我们的实验中,我们实证研究了两个广泛使用的任务:神经机器翻译和序列预测不同的内核构建策略。
2019-11-11 cs.LG stat.ML
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
Google(谷歌公司)
本研究提出含Infini-attention的高效方法,通过在Transformer块融合压缩记忆、局部与长期线性注意力,以有限内存和计算实现LLM的无限长输入支持,在多项长上下文任务中验证了有效性并支持快速流式推理。
2024-08-09 cs.AI cs.CL cs.LG
Do Transformer Attention Heads Provide Transparency in Abstractive Summarization?
University of Amsterdam(阿姆斯特丹大学);De Persgroep(荷兰Persgroep集团)
学习算法变得更加强大,但往往以增加复杂性为代价。作为回应,对算法透明的需求正在增长。在NLP任务中,通过基于注意力的深度学习模型学习的注意力分布用于获得对模型行为的洞察。这种观点在多大程度上适用于所有NLP任务?我们调查是否分布计算不同的注意头在一个Transformer架构可以用来提高抽象摘要的任务的透明度。为此,我们提出了一个定性和定量的分析,以调查的注意头的行为。我们发现,一些注意头确实专门对句法和语义不同的输入。我们提出了一种方法来评估Transformer模型在多大程度上依赖于专门学习的注意力分布。我们还讨论了这意味着使用注意力分配作为一种手段的透明度。
2019-07-08 cs.AI cs.CL cs.IR
BOAT: Bilateral Local Attention Vision Transformer
Baidu Research(百度研究院);The University of Hong Kong(香港大学)
视觉Transformer在许多计算机视觉任务中取得了出色的性能。早期的视觉Transformer(如ViT和DeiT)采用全局自注意,当补丁数量很大时,这在计算上是昂贵的。为了提高效率,最近的视觉Transformer采用局部自注意力机制,其中在局部窗口内计算自注意力。尽管基于窗口的局部自我注意显著提高了效率,但它未能捕捉图像平面中遥远但相似的斑块之间的关系。为了克服图像空间的局部注意力的限制,在本文中,我们进一步利用补丁在特征空间中的局部性。我们使用它们的特征将补丁分组为多个簇,并在每个簇内计算自我注意力。这种特征空间局部注意力有效地捕捉了不同局部窗口中补丁之间的联系,但仍然相关。我们提出了一个双边局部注意力转换器视觉Transformer(BOAT),它集成了特征空间的局部注意力和图像空间的局部注意力。我们进一步将BOAT与Swin和CSWin模型集成,在几个基准数据集上进行的大量实验表明,我们的BOAT-CSWin模型明显且一致地优于现有的最先进的CNN模型和视觉Transformer。
2022-10-19 cs.CV cs.LG
Multi-View Self-Attention Based Transformer for Speaker Recognition
Microsoft Research Asia(微软亚洲研究院)
Transformer模型最初是为自然语言处理(NLP)而开发的,由于其强大的序列建模能力,现在被广泛用于语音处理任务,例如说话人识别。然而,传统的自注意机制最初是为了对文本序列进行建模而设计的,而没有考虑语音和说话人建模的特点。此外,用于说话人识别的不同Transformer变体还没有得到很好的研究。在这项工作中,我们提出了一种新的多视图的自我注意机制,并提出了一个实证研究不同的Transformer变量与或不建议的注意机制说话人识别。具体而言,为了平衡捕获全局依赖和建模局部性的能力,我们提出了一个多视图的自我注意机制的扬声器Transformer,其中不同的注意头可以参加不同范围的感受野。此外,我们介绍和比较了五个Transformer变体,它们具有不同的网络架构、嵌入位置和池化方法来学习说话人嵌入。在VoxCeleb1和VoxCeleb2数据集上的实验结果表明,所提出的多视角自注意机制提高了说话人识别的性能,与现有的说话人识别模型相比,所提出的说话人Transformer网络取得了优异的识别效果.
2022-01-27 cs.AI cs.LG cs.SD
Explicit Sparse Transformer: Concentrated Attention Through Explicit Selection
Peking University(北京大学)
基于自注意的Transformer在许多自然语言处理任务中表现出了最先进的性能。自我注意能够对长期依赖进行建模,但它可能会受到提取上下文中不相关信息的影响。为了解决这个问题,我们提出了一个新的模型称为\textbf{Explicit Sparse Transformer}。显式稀疏Transformer能够通过显式选择最相关的片段来提高对全局上下文的注意力集中。在一系列自然语言处理和计算机视觉任务(包括神经机器翻译、图像描述和语言建模)上的大量实验结果都证明了显式稀疏Transformer在模型性能上的优势。我们还表明,我们提出的稀疏注意力方法比以前的稀疏注意力方法取得了相当或更好的结果,但显着减少了训练和测试时间。例如,推理速度是Transformer模型中sparsemax的两倍。代码将在\url{https://github.com/lancopku/Explicit-Sparse-Transformer}上提供
2019-12-25 cs.CL cs.LG
Understanding Differential Transformer Unchains Pretrained Self-Attentions
TwelveLabs;Seoul National University(首尔国立大学)
本研究揭示差分Transformer成功的三大关键因素,提出DEX方法通过复用softmax分数、添加轻量差分操作,以极少适配数据将差分注意力优势高效整合进预训练LLM,实现多基准性能显著提升。
2025-10-21 cs.LG
Convexifying Transformers: Improving optimization and understanding of transformer networks
Google Research(谷歌研究院)
理解Transformer网络成功背后的基本机制在深度学习文献中仍然是一个悬而未决的问题。虽然他们的显着表现主要归因于自我注意机制,但文献仍然缺乏对这些网络的坚实分析和对它们所学到的功能的解释。为此,我们研究了注意力/Transformer网络的训练问题,并引入了一种新的凸分析方法来提高对这些网络的理解和优化。特别地,我们首先引入了一个凸的替代自我注意机制和重新制定的正则化训练问题的Transformer网络与我们的替代凸注意。然后,我们将重新表述为一个凸优化问题,这是可解释的,更容易优化。此外,作为凸分析的副产品,我们揭示了一种隐式正则化机制,它可以促进令牌之间的稀疏性。因此,我们不仅改进了注意力/Transformer网络的优化,而且还提供了对它们所学习的函数的坚实的理论理解。我们还证明了我们的理论的有效性,通过几个数值实验。
2022-11-20 cs.AI cs.CL cs.LG
Are More Layers Beneficial to Graph Transformers?
Peking University(北京大学);Microsoft Research(微软研究院)
尽管在许多神经架构中已经证明了深入是成功的,但现有的图形Transformers相对较浅。在这项工作中,我们探讨了更多的层是否有利于图形Transformers,并发现目前的图形Transformers遭受的瓶颈,提高性能的增加深度。我们进一步分析发现,这是因为深度图Transformers受到全局注意力消失能力的限制,限制了图Transformer对关键子结构的关注,无法获得表达特征。为此,我们提出了一种新的图形Transformer模型DeepGraph,它在编码表示中显式地使用子结构标记,并在相关节点上应用局部注意力以获得基于子结构的注意力编码。我们的模型增强了全局注意力集中在子结构上的能力,并提高了表示的表达能力,解决了自注意力随着图Transformer的深化而受到限制的问题。实验表明,我们的方法解开了图Transformers的深度限制,并在具有更深模型的各种图基准测试中获得了最先进的性能。
2023-03-01 cs.LG
Hierarchical Shift Mixing -- Beyond Dense Attention in Transformers
Dept. of Electrical Engineering, Linköping University, Linköping, Sweden(电子工程系,林霍普大学);RISE Research Institutes of Sweden, Linköping, Sweden(瑞典RISE研究机构)
层次化位移混合通过分布计算token交互,实现线性时间复杂度,同时在性能上接近或超越传统softmax注意力,且减少计算成本。
2026-01-30 cs.LG
FAST: Factorizable Attention for Speeding up Transformers
University of Maryland(马里兰大学)
受快速多极子法启发,提出可因式分解的FAST注意力机制,将Transformer复杂度降至$O(N)$,在保持注意力矩阵完整表示与全对全关系的同时实现稳健性能。
2024-02-12 cs.AI cs.LG cs.NA
Adaptive Attention Span in Transformers
Facebook AI Research(脸书人工智能研究院)
我们提出了一种新的自我注意机制,可以学习其最佳的注意广度。这使我们能够显著扩展Transformer中使用的最大上下文大小,同时保持对它们的内存占用和计算时间的控制。我们展示了我们的方法在字符级语言建模任务上的有效性,通过使用最大8k字符的上下文,我们在text8和enwiki8上实现了最先进的性能。
2019-08-08 cs.LG stat.ML
Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences
Yale University(耶鲁大学)
高效的Transformers已经被开发用于长序列建模,由于它们的次二次存储器和时间复杂度。稀疏Transformer是一种通过将自注意力限制在由预定义的稀疏模式指定的位置来提高Transformers效率的流行方法。然而,当重要的标记相关性是多跳时,与全注意力相比,利用稀疏性可能会牺牲表现力。结合稀疏Transformer的高效性和全注意力Transformer的表现力,提出了一种新的高效Transformer-\textit{Diffuser}.扩散器将所有令牌交互集成在一个注意力层中,同时保持低计算和内存成本。其关键思想是使用注意力扩散来扩展稀疏注意力的感受野,该注意力扩散基于对应断开的标记之间的所有路径以及相邻标记之间的注意力来计算多跳标记相关性。从理论上讲,我们展示了扩散器作为序列到序列建模的通用序列近似器的表现力,并通过从谱的角度分析图扩展器属性来研究其近似全注意力的能力。在实验中,我们调查扩散器的有效性进行了广泛的评估,包括语言建模,图像建模和远程竞技场(LRA)。评测结果表明,与最先进的基准测试相比,Diffuser在文本分类任务上平均提高了0.94%,在LRA上平均提高了2.30%,节省了1.67 $\times$内存,这表明Diffuser在表现力和效率方面都具有卓越的性能。
2023-01-31 cs.CL cs.LG
Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers
ETH Zurich(苏黎世联邦理工学院)
本研究探讨用浅层前馈网络替代Transformer注意力层,通过知识蒸馏训练,在IWSLT2017上验证其性能媲美原架构,并通过消融实验证明该方法可行,为简化序列到序列模型提供新思路。
2024-02-04 cs.CL cs.LG
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);University of Washington(华盛顿大学);University of Geneva(日内瓦大学)
Transformers在几个任务中实现了卓越的性能,但由于其二次复杂性,相对于输入的长度,它们对于非常长的序列是非常慢的。为了解决这一问题,我们将自注意力表示为核特征映射的线性点积,并利用矩阵积的结合性将复杂度从$\mathcal{O}\left(N^2\right)$降低到$\mathcal{O}\left(N\right)$,其中$N$是序列长度.我们表明,这种提法允许迭代实现,大大加快自回归Transformers,并揭示了它们的关系,经常性的神经网络。我们的线性Transformers实现了与vanilla Transformers相似的性能,并且在对非常长的序列进行自回归预测时,它们的速度快达4000倍。
2020-08-31 cs.LG stat.ML
Domain Adaptation via Bidirectional Cross-Attention Transformer
Southern University of Science and Technology(南方科技大学)
领域自适应(Domain Adaptation,DA)的目的是将从具有大量标记数据的源领域学习到的知识利用到仅具有未标记数据的目标领域。大多数现有的研究DA有助于学习域不变的特征表示为两个域的最小化域间隙基于卷积的神经网络。最近,视觉Transformer显着提高了多个视觉任务的性能。在视觉Transformer的基础上,本文提出了一种用于DA的双向交叉注意Transformer(BCAT),旨在提高DA的性能。在所提出的BCAT中,注意力机制可以提取隐含的源和目标混淆特征表示,以缩小域差异。具体来说,在BCAT中,我们设计了一个权重共享的四分支Transformer,它具有双向交叉注意力机制来学习域不变特征表示。大量的实验表明,所提出的BCAT模型在四个基准数据集上的性能优于现有的基于卷积或Transformers的最先进的DA方法。
2022-10-03 cs.CV cs.LG
Formal Language Recognition by Hard Attention Transformers: Perspectives from Circuit Complexity
Yale University(耶鲁大学)
本文分析了Transformer编码器的三种形式化模型,它们的自注意力机制的形式不同:独特硬注意力(UHAT);广义独特硬注意力(GUHAT),它是UHAT的推广;平均硬注意力(AHAT)。我们表明,UHAT和GUHAT Transformers,被视为字符串受体,只能识别形式语言的复杂性类AC $^0$,一类语言可识别的布尔电路的恒定深度和多项式大小的家庭。该上限包含了Hahn(2020)的结果,即GUHAT不能识别DYCK语言或PARITY语言,因为这些语言在AC $^0$之外(Furst等人,1984年)。相反,非AC $^0$语言MAJORITY和DYCK-1可被AHAT网络识别,这意味着AHAT可以识别UHAT和GUHAT不能识别的语言。
2022-04-13 cs.AI cs.CC cs.CL
Adaptive Multi-Neighborhood Attention based Transformer for Graph Representation Learning
Huazhong University of Science and Technology(华中科技大学)
通过将图的结构信息融入到Transformers中,图Transformers近年来在图表示学习方面表现出了良好的性能。现有的图Transformers利用特定的策略,例如节点对的拉普拉斯特征向量和最短路径,来保留节点的结构特征,并将它们馈送到普通的Transformer中以学习节点的表示。对于拓扑结构变化较大的任意图,这种预定义的规则很难提取信息丰富的图结构特征,限制了模型的学习能力。为此,我们提出了一个自适应图Transformer,称为多邻域注意基于图Transformer(MNA-GT),它捕获的多邻域注意力机制自适应的每个节点的图结构信息。MNA-GT通过将执行缩放点积的输入定义为注意力核,基于邻域的不同跳数构造多个注意力核,使得每个注意力核可以捕获每个节点对的对应邻域的特定图结构信息。通过这种方式,MNA-GT可以通过合并由不同注意力核学习的节点表示来有效地保留图的结构信息。MNA-GT还采用注意力层来学习不同注意力核的重要性,以使模型能够自适应地捕获不同节点的图结构信息。在各种图基准上进行了大量的实验,实证结果表明,MNA-GT优于许多强基线。
2022-11-15 cs.LG cs.SI
On the Efficacy of Co-Attention Transformer Layers in Visual Question Answering
Birla Institute of Technology, Mesra(比尔拉理工学院,梅斯拉);Harvard Medical School(哈佛医学院)
近年来,多模态Transformers在视觉语言任务(如视觉问答(VQA))方面取得了显着进展,大大优于以前的架构。VQA的这种改进通常归因于视觉和语言流之间的丰富交互。在这项工作中,我们研究了共同关注Transformer层在回答问题时帮助网络关注相关区域的功效。我们使用这些共同注意层中的问题条件图像注意力分数生成视觉注意力图。我们评估了以下关键组件对最先进的VQA模型的视觉注意力的影响:(i)对象区域提案的数量,(ii)问题词性(POS)标签,(iii)问题语义,(iv)共同注意层的数量,以及(v)答案准确性。我们将神经网络的注意力图与人类的注意力图进行了定性和定量的比较。我们的研究结果表明,共同关注Transformer模块是至关重要的,在出席有关地区的图像给出了一个问题。重要的是,我们观察到问题的语义含义并不是驱动视觉注意力的原因,而是问题中的特定关键词。我们的工作揭示了共同注意Transformer层的功能和解释,突出了当前网络中的差距,并可以指导未来VQA模型和网络的发展,同时处理视觉和语言流。
2022-01-11 cs.CV cs.LG
Analyzing the Structure of Attention in a Transformer Language Model
Palo Alto Research Center(帕洛阿尔托研究中心)
Transformer是一种完全基于注意力的递归网络替代方案,在一系列NLP任务中取得了最先进的结果。在本文中,我们分析了Transformer语言模型,GPT-2小型预训练模型的注意力结构。我们可视化的个别实例的注意力,并在一个大型语料库中分析注意力和语法之间的相互作用。我们发现,注意力针对模型中不同层深度的不同部分,并且注意力与中间层中最强烈的依赖关系保持一致。我们还发现,模型的最深层捕捉了最遥远的关系。最后,我们提取的例句,揭示了高度具体的模式,针对特定的注意头。
2019-06-18 cs.CL cs.LG stat.ML
Pruning Attention Heads of Transformer Models Using A* Search: A Novel Approach to Compress Big NLP Architectures
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Corporate Model Risk, Wells Fargo(富国银行企业模型风险部)
近年来,在自然语言处理甚至在计算机视觉中越来越多地采用Transformer模型,例如BERT。然而,由于它们的大小,在资源受限的计算环境中,这种模型的采用有限。提出了一种新的剪枝算法,通过消除冗余的注意头来压缩Transformer模型。我们应用A* 搜索算法来获得具有严格精度保证的修剪模型。实验结果表明,该方法可以消除BERT Transformer模型中多达40%的注意头,而不损失准确性。
2021-11-17 cs.CL cs.LG
AttentionViz: A Global View of Transformer Attention
Harvard University(哈佛大学);Google(谷歌)
本文提出AttentionViz交互式可视化工具,通过联合嵌入query和key向量揭示Transformer注意力的全局模式,并验证其在语言和视觉模型理解中的价值。
2023-08-09 cs.CL cs.CV cs.HC
How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers
Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of Washington(华盛顿大学);Apple, Inc.(苹果公司);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
注意力机制被认为是广泛使用的Transformer架构的支柱。它通过计算特定于输入的注意力矩阵来将输入情境化。我们发现,这种机制虽然强大而优雅,但并不像预训练的语言模型那样重要。我们引入PAPA,一种新的探测方法,它用恒定的注意力矩阵(多个输入的平均注意力权重)代替了依赖于输入的注意力矩阵。我们使用PAPA来分析六个下游任务上的几个已建立的预先训练的Transformers。我们发现,在没有任何依赖于输入的注意力的情况下,所有模型都实现了具有竞争力的性能--与探测基线相比,平均相对下降仅为8%。此外,很少或没有观察到性能下降时,更换一半的输入相关的注意力矩阵与常数(输入无关)。有趣的是,我们发现,性能较好的模型在应用我们的方法时比较弱的模型损失更多,这表明依赖输入的注意力机制的利用可能是它们成功的一个因素。我们的研究结果激发了对输入依赖注意的更简单的替代方案的研究,以及在Transformer架构中更好地利用这种机制的方法。
2022-11-07 cs.CL cs.LG