Continuous-Time Attention: PDE-Guided Mechanisms for Long-Sequence Transformers
The Chinese University Of Hongkong(香港中文大学);Fudan University(复旦大学)
本文提出连续时间注意力机制,通过引入偏微分方程提升长序列Transformer对长距离依赖性和梯度流动的处理能力。
2025-05-27 cs.AI cs.LG
TransformerFAM: Feedback attention is working memory
Google LLC(谷歌公司)
本文提出TransformerFAM架构,通过反馈回路让Transformer关注自身潜在表示以形成工作记忆,无需额外权重即可无缝集成预训练模型,并在1B、8B和24B模型规模的长上下文任务上显著提升性能。
2024-05-07 cs.AI cs.CL cs.LG
Attention-Only Transformers and Implementing MLPs with Attention Heads
本文证明只要激活函数属于受限类(含SiLU及ReLU和GeLU近似),内部维度为1的掩码注意力头即可实现MLP神经元,从而将标准Transformer转换为仅注意力Transformer,并证明注意力头能分别执行MLP组件及编码任意掩码模式。
2023-09-15 cs.LG
PENGUIN: Enhancing Transformer with Periodic-Nested Group Attention for Long-term Time Series Forecasting
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai Key Laboratory of Data Science, Fudan University(复旦大学上海市数据科学重点实验室);Xiaohongshu Inc.(小红书公司)
本文提出PENGUIN,一种周期-嵌套组注意力机制,用于提升Transformer在长期时间序列预测中的性能,通过捕捉周期结构和处理多重周期性。
2026-03-29 cs.AI cs.LG
Flowformer: Linearizing Transformers with Conservation Flows
Tsinghua University(清华大学)
基于注意力机制的Transformers在各个领域都取得了令人瞩目的成功。然而,注意力机制具有二次复杂性,这显著阻碍了Transformers处理大量令牌并扩展到更大的模型。以往的方法主要是利用矩阵乘法的相似性分解和结合性来设计线性时间的注意力机制。它们通过重新引入诸如局部性之类的归纳偏差,从而以牺牲模型的通用性和表达性为代价,避免了注意力退化到一个平凡的分布。在本文中,我们线性化的Transformers从特定的感性偏见的基础上的流网络理论。我们将注意力视为通过学习流能力(注意力)从源(值)聚集到汇(结果)的信息流。在此框架下,我们将流守恒的性质应用到注意中,提出了线性复杂度的流-注意力机制。通过分别保存源竞争和源分配的源的流出的流入的汇,流注意固有地产生信息的注意力,而不使用特定的归纳偏差。在Flow-Attention的支持下,Flowformer在线性时间内为广泛的领域提供强大的性能,包括长序列,时间序列,视觉,自然语言和强化学习。代码和设置可在以下存储库中找到:https://github.com/thuml/Flowformer。
2022-06-16 cs.AI cs.LG
From Cognition to Computation: A Comparative Review of Human Attention and Transformer Architectures
UCLA(加利福尼亚大学洛杉矶分校)
本文从认知—功能视角比较人类注意力与 Transformer 的注意力机制,剖析二者在容量约束、通路和意图机制上的差异,并指出跨学科借鉴对通用人工智能的意义。
2024-04-25 cs.AI cs.LG q-bio.OT
Understanding Scaling Laws with Statistical and Approximation Theory for Transformer Neural Networks on Intrinsically Low-dimensional Data
Georgia Institute of Technology(佐治亚理工学院)
针对Transformer缩放定律缺乏严格理论解释的问题,本文基于低维流形假设建立统计估计与逼近理论,证明了泛化误差遵循由数据内在维度决定的幂律,并在浅层架构下得到实验验证。
2024-11-11 cs.AI cs.CL cs.LG
Linear Transformers as VAR Models: Aligning Autoregressive Attention Mechanisms with Autoregressive Forecasting
Georgia Institute of Technology(佐治亚理工学院)
本文提出SAMoVAR,一种将Transformer架构与自回归目标对齐的线性变换器变体,通过整合可解释的动态VAR权重,提升时间序列预测的性能和可解释性。
2026-02-05 cs.AI cs.LG stat.ML
Dilated Neighborhood Attention Transformer
U of Oregon(俄勒冈大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR))
Transformers正在迅速成为跨模态、领域和任务应用最广泛的深度学习架构之一。在愿景中,除了正在进行的普通Transformers的努力之外,分层Transformers也受到了极大的关注,这要归功于它们的性能和易于集成到现有框架中。这些模型通常采用局部注意力机制,例如滑动窗口邻域注意(NA)或Swin Transformer的移位窗口自注意。虽然局部注意力有效地降低了自我注意力的二次复杂性,但它削弱了自我注意力的两个最理想的特性:长距离相互依赖模型和全局感受野。在本文中,我们介绍了扩张邻域注意力(DiNA),一个自然,灵活和有效的扩展NA,可以捕捉更多的全球范围内,并在没有额外的成本呈指数级扩大感受野。NA的局部注意力和DiNA的稀疏全局注意力相辅相成,因此我们引入了扩张邻域注意力Transformer(DiNAT),这是一种建立在两者之上的新的分层视觉Transformer。DiNAT变体比NAT、Swin和ConvNeXt等强基线有显著改进。我们的大型模型更快,在COCO目标检测中有1.6%的box AP,在COCO实例分割中有1.4%的mask AP,在ADE 20 K语义分割中有1.4%的mIoU。与新框架配对,我们的大型变体是COCO(58.5 PQ)和ADE 20 K(49.4 PQ)上最先进的新全景分割模型,以及Cityscapes(45.1 AP)和ADE …
2023-01-16 cs.AI cs.CV cs.LG
Transformer Dissection: A Unified Understanding of Transformer's Attention via the Lens of Kernel
Carnegie Mellon University(卡内基梅隆大学);Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心)
Transformer是一个功能强大的架构,可以在各种序列学习任务上实现卓越的性能,包括神经机器翻译、语言理解和序列预测。Transformer的核心是注意力机制,它同时处理流中的所有输入。在本文中,我们提出了一个新的配方的注意通过镜头的内核。更准确地说,我们意识到注意力可以被看作是对输入应用内核平滑器,内核得分是输入之间的相似性。这个新的公式为我们提供了一个更好的方法来理解Transformer注意力的各个组成部分,例如整合位置嵌入的更好方法。我们基于内核的公式化的另一个重要优点是,它为Transformer的注意力组成的更大空间铺平了道路。作为一个例子,我们提出了一个新的变形Transformer的注意力模型的输入作为一个产品的对称内核。这种方法实现了竞争力的性能,以更少的计算量的最先进的模型的当前状态。在我们的实验中,我们实证研究了两个广泛使用的任务:神经机器翻译和序列预测不同的内核构建策略。
2019-11-11 cs.LG stat.ML
Multi-View Self-Attention Based Transformer for Speaker Recognition
Microsoft Research Asia(微软亚洲研究院)
Transformer模型最初是为自然语言处理(NLP)而开发的,由于其强大的序列建模能力,现在被广泛用于语音处理任务,例如说话人识别。然而,传统的自注意机制最初是为了对文本序列进行建模而设计的,而没有考虑语音和说话人建模的特点。此外,用于说话人识别的不同Transformer变体还没有得到很好的研究。在这项工作中,我们提出了一种新的多视图的自我注意机制,并提出了一个实证研究不同的Transformer变量与或不建议的注意机制说话人识别。具体而言,为了平衡捕获全局依赖和建模局部性的能力,我们提出了一个多视图的自我注意机制的扬声器Transformer,其中不同的注意头可以参加不同范围的感受野。此外,我们介绍和比较了五个Transformer变体,它们具有不同的网络架构、嵌入位置和池化方法来学习说话人嵌入。在VoxCeleb1和VoxCeleb2数据集上的实验结果表明,所提出的多视角自注意机制提高了说话人识别的性能,与现有的说话人识别模型相比,所提出的说话人Transformer网络取得了优异的识别效果.
2022-01-27 cs.AI cs.LG cs.SD
RealFormer: Transformer Likes Residual Attention
Google Research(谷歌研究院)
Transformer是现代NLP模型的支柱。在本文中,我们提出了RealFormer,一个简单而通用的技术来创建剩余注意力层Transformer网络,显着优于规范的Transformer及其变体(BERT,ETC等)。在各种各样的任务上,包括Masked Language Modeling、GLUE、SQuAD、Neural机器翻译、WikiHop、HotpotQA、Natural Questions和OpenKP。我们还根据经验观察到,RealFormer稳定了训练,并导致模型具有更稀疏的注意力。RealFormer的源代码和预先训练的检查点可以在https://github.com/google-research/google-research/tree/master/realformer上找到。
2021-09-10 cs.LG
BOAT: Bilateral Local Attention Vision Transformer
Baidu Research(百度研究院);The University of Hong Kong(香港大学)
视觉Transformer在许多计算机视觉任务中取得了出色的性能。早期的视觉Transformer(如ViT和DeiT)采用全局自注意,当补丁数量很大时,这在计算上是昂贵的。为了提高效率,最近的视觉Transformer采用局部自注意力机制,其中在局部窗口内计算自注意力。尽管基于窗口的局部自我注意显著提高了效率,但它未能捕捉图像平面中遥远但相似的斑块之间的关系。为了克服图像空间的局部注意力的限制,在本文中,我们进一步利用补丁在特征空间中的局部性。我们使用它们的特征将补丁分组为多个簇,并在每个簇内计算自我注意力。这种特征空间局部注意力有效地捕捉了不同局部窗口中补丁之间的联系,但仍然相关。我们提出了一个双边局部注意力转换器视觉Transformer(BOAT),它集成了特征空间的局部注意力和图像空间的局部注意力。我们进一步将BOAT与Swin和CSWin模型集成,在几个基准数据集上进行的大量实验表明,我们的BOAT-CSWin模型明显且一致地优于现有的最先进的CNN模型和视觉Transformer。
2022-10-19 cs.CV cs.LG
Preconditioned Attention: Enhancing Efficiency in Transformers
Australian Institute for Machine Learning (AIML), Adelaide University(阿德莱德大学澳大利亚机器学习研究所(AIML))
本文提出预条件注意力机制,通过引入条件矩阵降低注意力矩阵的条件数,提升训练效率,适用于多种Transformer应用。
2026-03-28 cs.LG
Spectral Conditioning of Attention Improves Transformer Performance
Australian Institute for Machine Learning(澳大利亚机器学习研究所)
通过优化注意力层的谱特性以降低雅可比矩阵的条件数,提升变换器模型的性能。
2026-03-07 cs.LG
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
Google(谷歌公司)
本研究提出含Infini-attention的高效方法,通过在Transformer块融合压缩记忆、局部与长期线性注意力,以有限内存和计算实现LLM的无限长输入支持,在多项长上下文任务中验证了有效性并支持快速流式推理。
2024-08-09 cs.AI cs.CL cs.LG
DINT Transformer
Tsinghua University(清华大学);Peking University School of Public Health(北京大学公共卫生学院)
DIFF Transformer通过引入差分注意力机制来增强局部注意力的鲁棒性,从而解决了不相关上下文干扰的问题。然而,它有两个关键的限制:缺乏全局上下文建模,这是必不可少的识别全局显着的令牌,和数值不稳定,由于缺乏严格的行规范化的注意矩阵。为了克服这些挑战,我们提出了DINT Transformer,它通过引入微分积分机制来扩展DIFF Transformer。通过计算全局重要性分数并将其集成到注意力矩阵中,DINT Transformer提高了捕获全局依赖关系的能力。此外,统一的参数设计强制执行行归一化的注意矩阵,提高数值稳定性。实验结果表明,DINT Transformer在长上下文语言建模和关键信息检索等实际应用中具有良好的准确性和鲁棒性。这些结果将DINT Transformer定位为高效且有前途的架构。
2025-01-29 cs.AI cs.CL cs.LG
Transformer Acceleration with Dynamic Sparse Attention
University of California, Santa Barbara(加州大学圣巴巴拉分校)
Transformers是NLP应用的主流,在其他领域(如计算机视觉)也越来越受欢迎。尽管改进了模型质量,但巨大的计算成本使得Transformers难以部署,特别是当新兴应用中的序列长度很大时。处理注意力机制作为Transformer的重要组成部分,由于其二次复杂度,成为其执行的瓶颈。现有技术探索注意力中的稀疏模式以支持长序列建模,但是这些工作是关于静态或固定模式的。我们证明了稀疏模式是动态的,取决于输入序列。因此,我们提出了动态稀疏注意力(DSA),可以有效地利用动态稀疏的Transformers的注意。与其他方法相比,我们的方法可以实现更好的平衡精度和模型的复杂性。展望未来,我们将确定挑战并提供解决方案,以便在现有硬件(GPU)和专用硬件上实现DSA,从而实现Transformer执行的实际加速和效率改进。
2021-10-21 cs.LG
Do Transformer Attention Heads Provide Transparency in Abstractive Summarization?
University of Amsterdam(阿姆斯特丹大学);De Persgroep(荷兰Persgroep集团)
学习算法变得更加强大,但往往以增加复杂性为代价。作为回应,对算法透明的需求正在增长。在NLP任务中,通过基于注意力的深度学习模型学习的注意力分布用于获得对模型行为的洞察。这种观点在多大程度上适用于所有NLP任务?我们调查是否分布计算不同的注意头在一个Transformer架构可以用来提高抽象摘要的任务的透明度。为此,我们提出了一个定性和定量的分析,以调查的注意头的行为。我们发现,一些注意头确实专门对句法和语义不同的输入。我们提出了一种方法来评估Transformer模型在多大程度上依赖于专门学习的注意力分布。我们还讨论了这意味着使用注意力分配作为一种手段的透明度。
2019-07-08 cs.AI cs.CL cs.IR
Attention Flows for General Transformers
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
在本文中,我们研究了Transformer模型中的输入令牌对其预测的影响程度的计算。我们正式的方法来构建一个流网络的关注值的编码器,只有Transformer模型,并将其扩展到一般的Transformer架构,包括自回归解码器。我们表明,运行一个最大流算法的流网络建设产生Shapley值,这决定了一个球员在合作博弈论的影响。通过将流网络中的输入标记解释为参与者,我们可以计算它们对导致解码器决策的总注意力流的影响。此外,我们还提供了一个库,用于计算和可视化任意Transformer模型的注意力流。我们展示了我们在自然语言处理和推理任务上训练的各种模型上实现的有用性。
2022-05-30 cs.LG
AttentionViz: A Global View of Transformer Attention
Harvard University(哈佛大学);Google(谷歌)
本文提出AttentionViz交互式可视化工具,通过联合嵌入query和key向量揭示Transformer注意力的全局模式,并验证其在语言和视觉模型理解中的价值。
2023-08-09 cs.CL cs.CV cs.HC
Why Attention Fails: The Degeneration of Transformers into MLPs in Time Series Forecasting
Shanghai Jiaotong University(上海交通大学)
本文通过逐步将Transformer修改为MLP的实验,揭示时间序列预测中Transformer常退化为MLP,并从理论和可解释数据集角度分析注意力机制失效及嵌入方法缺陷的深层原因。
2025-09-25 cs.LG
Convexifying Transformers: Improving optimization and understanding of transformer networks
Google Research(谷歌研究院)
理解Transformer网络成功背后的基本机制在深度学习文献中仍然是一个悬而未决的问题。虽然他们的显着表现主要归因于自我注意机制,但文献仍然缺乏对这些网络的坚实分析和对它们所学到的功能的解释。为此,我们研究了注意力/Transformer网络的训练问题,并引入了一种新的凸分析方法来提高对这些网络的理解和优化。特别地,我们首先引入了一个凸的替代自我注意机制和重新制定的正则化训练问题的Transformer网络与我们的替代凸注意。然后,我们将重新表述为一个凸优化问题,这是可解释的,更容易优化。此外,作为凸分析的副产品,我们揭示了一种隐式正则化机制,它可以促进令牌之间的稀疏性。因此,我们不仅改进了注意力/Transformer网络的优化,而且还提供了对它们所学习的函数的坚实的理论理解。我们还证明了我们的理论的有效性,通过几个数值实验。
2022-11-20 cs.AI cs.CL cs.LG
Adaptive Attention Span in Transformers
Facebook AI Research(脸书人工智能研究院)
我们提出了一种新的自我注意机制,可以学习其最佳的注意广度。这使我们能够显著扩展Transformer中使用的最大上下文大小,同时保持对它们的内存占用和计算时间的控制。我们展示了我们的方法在字符级语言建模任务上的有效性,通过使用最大8k字符的上下文,我们在text8和enwiki8上实现了最先进的性能。
2019-08-08 cs.LG stat.ML
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
The University of Tokyo(东京大学)
现有的Transformer模型的表达能力的分析需要过深的数据存储层,导致与实际使用的Transformers不一致。这主要是由于将softmax函数解释为hardmax函数的近似。通过澄清softmax函数和玻尔兹曼算子之间的联系,我们证明了具有低秩权重矩阵的单层自注意力具有完美捕获整个输入序列的上下文的能力。因此,我们表明,一层和单头Transformers有记忆能力有限的样本,和Transformers组成的一个自注意力层与两个前馈神经网络是通用的逼近连续置换等变函数的紧域。
2024-01-29 cs.LG
InAttention: Linear Context Scaling for Transformers
针对Transformer自注意力机制显存随上下文长度二次增长的问题,提出InAttention机制替换自注意力,实现推理时显存线性增长,可在消费级GPU处理长序列,微调能低成本扩展上下文长度,为长距离依赖建模提供可扩展方案。
2024-10-09 cs.LG
Data Efficient Any Transformer-to-Mamba Distillation via Attention Bridge
National University of Singapore(新加坡国立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出CAB框架,通过注意力桥接实现Transformer到Mamba的跨架构蒸馏,支持令牌级中间监督,在有限监督下提升图像分类和语言建模性能。
2026-09-17 cs.LG
Formal Language Recognition by Hard Attention Transformers: Perspectives from Circuit Complexity
Yale University(耶鲁大学)
本文分析了Transformer编码器的三种形式化模型,它们的自注意力机制的形式不同:独特硬注意力(UHAT);广义独特硬注意力(GUHAT),它是UHAT的推广;平均硬注意力(AHAT)。我们表明,UHAT和GUHAT Transformers,被视为字符串受体,只能识别形式语言的复杂性类AC $^0$,一类语言可识别的布尔电路的恒定深度和多项式大小的家庭。该上限包含了Hahn(2020)的结果,即GUHAT不能识别DYCK语言或PARITY语言,因为这些语言在AC $^0$之外(Furst等人,1984年)。相反,非AC $^0$语言MAJORITY和DYCK-1可被AHAT网络识别,这意味着AHAT可以识别UHAT和GUHAT不能识别的语言。
2022-04-13 cs.AI cs.CC cs.CL
Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences
Yale University(耶鲁大学)
高效的Transformers已经被开发用于长序列建模,由于它们的次二次存储器和时间复杂度。稀疏Transformer是一种通过将自注意力限制在由预定义的稀疏模式指定的位置来提高Transformers效率的流行方法。然而,当重要的标记相关性是多跳时,与全注意力相比,利用稀疏性可能会牺牲表现力。结合稀疏Transformer的高效性和全注意力Transformer的表现力,提出了一种新的高效Transformer-\textit{Diffuser}.扩散器将所有令牌交互集成在一个注意力层中,同时保持低计算和内存成本。其关键思想是使用注意力扩散来扩展稀疏注意力的感受野,该注意力扩散基于对应断开的标记之间的所有路径以及相邻标记之间的注意力来计算多跳标记相关性。从理论上讲,我们展示了扩散器作为序列到序列建模的通用序列近似器的表现力,并通过从谱的角度分析图扩展器属性来研究其近似全注意力的能力。在实验中,我们调查扩散器的有效性进行了广泛的评估,包括语言建模,图像建模和远程竞技场(LRA)。评测结果表明,与最先进的基准测试相比,Diffuser在文本分类任务上平均提高了0.94%,在LRA上平均提高了2.30%,节省了1.67 $\times$内存,这表明Diffuser在表现力和效率方面都具有卓越的性能。
2023-01-31 cs.CL cs.LG
Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers
ETH Zurich(苏黎世联邦理工学院)
本研究探讨用浅层前馈网络替代Transformer注意力层,通过知识蒸馏训练,在IWSLT2017上验证其性能媲美原架构,并通过消融实验证明该方法可行,为简化序列到序列模型提供新思路。
2024-02-04 cs.CL cs.LG
On the Efficacy of Co-Attention Transformer Layers in Visual Question Answering
Birla Institute of Technology, Mesra(比尔拉理工学院,梅斯拉);Harvard Medical School(哈佛医学院)
近年来,多模态Transformers在视觉语言任务(如视觉问答(VQA))方面取得了显着进展,大大优于以前的架构。VQA的这种改进通常归因于视觉和语言流之间的丰富交互。在这项工作中,我们研究了共同关注Transformer层在回答问题时帮助网络关注相关区域的功效。我们使用这些共同注意层中的问题条件图像注意力分数生成视觉注意力图。我们评估了以下关键组件对最先进的VQA模型的视觉注意力的影响:(i)对象区域提案的数量,(ii)问题词性(POS)标签,(iii)问题语义,(iv)共同注意层的数量,以及(v)答案准确性。我们将神经网络的注意力图与人类的注意力图进行了定性和定量的比较。我们的研究结果表明,共同关注Transformer模块是至关重要的,在出席有关地区的图像给出了一个问题。重要的是,我们观察到问题的语义含义并不是驱动视觉注意力的原因,而是问题中的特定关键词。我们的工作揭示了共同注意Transformer层的功能和解释,突出了当前网络中的差距,并可以指导未来VQA模型和网络的发展,同时处理视觉和语言流。
2022-01-11 cs.CV cs.LG
A Multiscale Visualization of Attention in the Transformer Model
Palo Alto Research Center(帕洛阿尔托研究中心)
Transformer是一个序列模型,它放弃了传统的递归架构,而采用了完全基于注意力的方法。除了提高性能外,使用注意力的一个优点是,它还可以通过显示模型如何为不同的输入元素分配权重来帮助解释模型。然而,Transformer模型中的多层、多头注意力机制可能难以破译。为了使模型更容易访问,我们引入了一个开源工具,它可以在多个尺度上可视化注意力,每个尺度都提供了关于注意力机制的独特视角。我们在BERT和OpenAI GPT-2上演示了该工具,并给出了三个示例用例:检测模型偏差,定位相关注意力头,以及将神经元连接到模型行为。
2019-06-12 cs.CL cs.HC cs.LG
How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers
Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of Washington(华盛顿大学);Apple, Inc.(苹果公司);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
注意力机制被认为是广泛使用的Transformer架构的支柱。它通过计算特定于输入的注意力矩阵来将输入情境化。我们发现,这种机制虽然强大而优雅,但并不像预训练的语言模型那样重要。我们引入PAPA,一种新的探测方法,它用恒定的注意力矩阵(多个输入的平均注意力权重)代替了依赖于输入的注意力矩阵。我们使用PAPA来分析六个下游任务上的几个已建立的预先训练的Transformers。我们发现,在没有任何依赖于输入的注意力的情况下,所有模型都实现了具有竞争力的性能--与探测基线相比,平均相对下降仅为8%。此外,很少或没有观察到性能下降时,更换一半的输入相关的注意力矩阵与常数(输入无关)。有趣的是,我们发现,性能较好的模型在应用我们的方法时比较弱的模型损失更多,这表明依赖输入的注意力机制的利用可能是它们成功的一个因素。我们的研究结果激发了对输入依赖注意的更简单的替代方案的研究,以及在Transformer架构中更好地利用这种机制的方法。
2022-11-07 cs.CL cs.LG
Understanding Differential Transformer Unchains Pretrained Self-Attentions
TwelveLabs;Seoul National University(首尔国立大学)
本研究揭示差分Transformer成功的三大关键因素,提出DEX方法通过复用softmax分数、添加轻量差分操作,以极少适配数据将差分注意力优势高效整合进预训练LLM,实现多基准性能显著提升。
2025-10-21 cs.LG
SAF3R: Dynamic Sparse Attention for Feed-Forward 3D Reconstruction Transformers
University of Pittsburgh(匹兹堡大学);University of Arizona(亚利桑那大学);Tongji University(同济大学);University of Central Florida(中佛罗里达大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
研究前馈3D重建Transformer,分析其全局注意力模式,提出SAF3R框架,集成稀疏注意力机制、离线头部分析和在线适应策略,在保持质量同时提高稀疏率加速端到端速度。
2026-08-14 cs.CV cs.LG
Is Random Attention Sufficient for Sequence Modeling? Disentangling Trainable Components in the Transformer
Princeton University(普林斯顿大学);ETH Zurich(苏黎世联邦理工学院)
该研究通过冻结Transformer的注意力或MLP权重、设计全随机注意力的MixiT架构,探究各组件对模型性能的贡献,发现Transformer内置形成专用回路的归纳偏置。
2025-09-03 cs.CL cs.LG
Generalized Attention Mechanism and Relative Position for Transformer
本文首先对Vaswani等人的自我注意力机制提出了一种新的解释,然后提出了广义注意力机制(GAM)。在解释之后,我们提供了对注意力机制的不同变体的描述,这些变体一起形成GAM。此外,我们提出了一个新的相对位置表示GAM的框架内。这种表示可以很容易地用于输入序列中彼此相邻的元素可以位于实际数据集/语料库中的随机位置的情况。
2022-07-24 cs.CL cs.LG
H-Transformer-1D: Fast One-Dimensional Hierarchical Attention for Sequences
Google Research(谷歌研究院)
我们描述了一个有效的分层方法来计算注意力的Transformer架构。所提出的注意力机制利用类似于由数值分析团体开发的分层矩阵(H-Matrix)的矩阵结构,并且具有线性的运行时间和存储复杂度。我们进行了大量的实验,以表明我们的分层注意体现的归纳偏见是有效的捕捉典型的自然语言和视觉任务的序列中的层次结构。我们的方法优于其他次二次建议,在长距离竞技场基准上平均超过+6点。它还在10亿字数据集上设置了一个新的SOTA测试困惑度,模型参数比以前最好的基于transformer的模型少5倍。
2021-07-25 cs.CL cs.LG
Enhancing the Transformer with Explicit Relational Encoding for Math Problem Solving
Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学);The Swiss AI Lab IDSIA / USI / SUPSI(瑞士人工智能实验室IDSIA / 瑞士意大利语大学 / 瑞士南方应用科技大学)
我们在Transformer中加入了张量积表示,以便更好地支持关系结构的显式表示。我们的Tensor-Product Transformer(TP-Transformer)在最近推出的包含56类自由形式数学应用题的数学数据集上开创了新的艺术水平。该模型的基本组成部分是一种新的注意力机制,称为TP-注意力,它明确编码每个Transformer细胞和其他细胞之间的关系,从这些细胞中的值已被检索的注意。TP-Attention超越了检索值的线性组合,加强了表征构建并解决了多层标准注意力引入的歧义。TP-Transformer的注意力地图可以更好地了解它如何能够解决数学数据集的挑战性问题。预训练的模型和代码将在发布后提供。
2020-11-04 cs.LG stat.ML
Improving Transformers with Probabilistic Attention Keys
FPT Software AI Center(FPT软件人工智能中心);University of California, Los Angeles(加州大学洛杉矶分校);VinUniversity(文大);Deezer Research(Deezer研究院);Rice University(莱斯大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
多头注意力是最先进的Transformers背后的驱动力,它在各种自然语言处理(NLP)和计算机视觉任务中实现了卓越的性能。已经观察到,对于许多应用,这些注意力头学习冗余嵌入,并且其中大多数可以在不降低模型性能的情况下被移除。受此启发,我们提出了Transformer与混合高斯密钥(transformer-MGK),一种新的Transformer架构,取代冗余的头在每个头的混合密钥的变压器。这些键的混合遵循高斯混合模型,并允许每个注意力头有效地集中在输入序列的不同部分。与传统的Transformer相比,Transformer-MGK加速了训练和推理,参数更少,需要计算的FLOP更少,同时在任务中实现了相当或更好的准确性。transformer-MGK也可以很容易地扩展到使用线性注意力。我们经验证明了Transformer-MGK在一系列实际应用中的优势,包括语言建模和涉及很长序列的任务。在Wikitext-103和Long Range Arena基准测试中,具有4个头的Transformer-MGK获得了与具有8个头的基线Transformers相当或更好的性能。
2022-06-13 cs.CL cs.LG stat.ML
Efficient Attention-free Video Shift Transformers
Samsung AI Center(三星人工智能中心);Queen Mary University London(伦敦玛丽女王大学)
本文解决了有效的视频识别问题。在这一领域,视频Transformers最近主导了效率(前1精度与FLOP)频谱。同时,在图像领域中已经有一些尝试,其挑战Transformer架构内的自注意操作的必要性,提倡使用更简单的方法来进行令牌混合。然而,对于视频识别的情况还没有结果,其中自注意算子对效率具有显著更高的影响(与图像的情况相比)。为了解决这个问题,在本文中,我们做了以下贡献:(a)我们构建了一个高效的\&准确的注意力自由块的基础上的移位运算符,创造仿射移位块,专门设计来尽可能接近的操作在MHSA块的Transformer层。基于我们的Affine-Shift块,我们构建了我们的Affine-Shift Transformer,并表明它已经优于所有现有的基于移位/MLP的ImageNet分类架构。(b)我们扩展我们的配方在视频域构建视频仿射移位Transformer(VAST),第一个纯粹的注意力自由移位为基础的视频Transformer。(c)我们表明,VAST显着优于最近的国家最先进的Transformers器上最流行的动作识别基准的情况下,低计算和内存占用的模型。代码将提供。
2022-08-23 cs.CV cs.LG
Hierarchical Shift Mixing -- Beyond Dense Attention in Transformers
Dept. of Electrical Engineering, Linköping University, Linköping, Sweden(电子工程系,林霍普大学);RISE Research Institutes of Sweden, Linköping, Sweden(瑞典RISE研究机构)
层次化位移混合通过分布计算token交互,实现线性时间复杂度,同时在性能上接近或超越传统softmax注意力,且减少计算成本。
2026-01-30 cs.LG
Generalized Probabilistic Attention Mechanism in Transformers
Handong Global University(韩东全球大学)
本文提出广义概率注意力机制 GPAM 及其双注意力实现 daGPAM,通过允许负注意力分数同时缓解 Transformer 中的秩坍缩和梯度消失问题,并在语言建模和机器翻译任务中验证了其有效性。
2024-10-21 cs.CL cs.LG
WavSpA: Wavelet Space Attention for Boosting Transformers' Long Sequence Learning Ability
UC San Diego(加州大学圣地亚哥分校);Mindverse
本文提出 Wavelet Space Attention(WavSpA),通过在可学习小波系数空间中进行注意力学习来替代传统 Transformer 注意力,在保持线性时间复杂度的同时捕获位置与频率信息,显著提升了模型的长序列学习与推理外推能力。
2023-05-22 cs.CL cs.LG
A Tensorized Transformer for Language Modeling
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Microsoft Research Asia(微软亚洲研究院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机学院)
神经模型的最新发展是通过自我注意力机制将编码器和解码器连接起来。特别是完全基于自我注意力的Transformer,在自然语言处理(NLP)任务上取得了突破性进展。然而,作为Transformer关键组件的多头注意力机制限制了模型在资源有限的环境中的有效部署。基于张量分解和参数共享的思想,提出了一种新的基于块项张量分解的自注意模型(即多线性注意力模型).我们在三个语言建模任务上测试和验证了所提出的注意力方法(即,PTB、WikiText-103和10亿)和神经机器翻译任务(即,WMT-2016英语-德语)。与Transformer、Transformer-XL和带张量训练分解的Transformer等语言建模方法相比,多线性注意力不仅可以大大压缩模型参数,而且可以获得性能上的提高。
2019-11-06 cs.CL cs.LG
Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling?
Apple(苹果公司);Google Research(谷歌研究院);DeepMind(深度思维)
人们对Transformer模型的标度特性非常感兴趣。然而,在研究不同电感偏置和模型架构的标度特性的影响方面,还没有做太多的工作。模型架构的扩展方式是否不同?如果是这样的话,感应偏置是如何影响标度行为的?这是如何影响上游(预培训)和下游(转移)的?本文系统地研究了十种不同的模型架构的缩放行为,如Transformers,Switch Transformers,Universal Transformers,Dynamic convolutions,Performers和最近提出的MLP-Mixers。通过大量的实验,我们证明了(1)在进行缩放时,架构确实是一个重要的考虑因素,(2)性能最好的模型可以在不同的尺度上波动。我们相信,在这项工作中概述的结果有显着的影响,如何模型架构目前在社区中进行评估。
2022-07-21 cs.CL cs.LG
Synthesizer: Rethinking Self-Attention in Transformer Models
Google Research(谷歌研究院)
点积自注意力是最先进的Transformer模型的核心和不可或缺的。但这真的是必需的吗?本文研究了基于点积的自注意力机制对Transformer模型性能的真正重要性和贡献。通过大量的实验,我们发现(1)随机对齐矩阵令人惊讶地表现得相当有竞争力,(2)从令牌-令牌(查询-密钥)交互中学习注意力权重是有用的,但毕竟不是那么重要。为此,我们提出了\textsc{Synthesizer},一个模型,学习合成注意力权重没有令牌令牌的相互作用。在我们的实验中,我们首先表明,简单的合成器实现了高度竞争力的性能相比,香草Transformer模型在一系列的任务,包括机器翻译,语言建模,文本生成和GLUE/SuperGLUE基准。当与点积注意组成时,我们发现合成器始终优于Transformers。此外,我们进行了额外的比较合成器对动态卷积,表明简单的随机合成器不仅$60\%$更快,但也提高了相对$3.5\%$的困惑。最后,我们证明了简单的因式分解合成器在仅编码任务上的性能优于Linformer。
2021-05-24 cs.CL cs.IR cs.LG
Combiner: Full Attention Transformer with Sparse Computation Cost
Stanford University(斯坦福大学);Google Research(谷歌研究院);University of Alberta(阿尔伯塔大学)
Transformers提供了一类对序列建模非常有效的表达架构。然而,Transformers的关键限制是它们的二次记忆和时间复杂度$\mathcal{O}(L^2)$相对于序列长度在注意层,这限制了应用在极长的序列。大多数现有的方法利用稀疏或低秩的假设在注意力矩阵,以降低成本,但牺牲表现力。相反,我们提出了组合器,它提供了充分的注意力能力,在每个注意力头,同时保持低的计算和内存的复杂性。其核心思想是将自我注意机制视为对每个位置嵌入的条件期望,并使用结构化因子分解来近似条件分布。每个位置都可以通过直接注意或间接注意抽象来关注所有其他位置,这些抽象也是对来自相应局部区域的嵌入的条件期望。我们发现,在现有的稀疏Transformers中使用的大多数稀疏注意模式能够激发充分注意的这种因式分解的设计,从而导致相同的次二次成本($\mathcal{O}(L\log(L))$或$\mathcal{O}(L\sqrt{L})$)。Combiner是现有Transformers中注意层的替代品,可以在通用框架中轻松实现。对自回归和双向序列任务的实验评估证明了这种方法的有效性,在几个图像和文本建模任务上产生了最先进的结果。
2021-10-28 cs.CL cs.CV cs.LG
The Pitfall of Scaling Up: Uncovering and Mitigating Popularity Bias Amplification in Scaling Transformer-based Recommenders
Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学)
发现扩大Transformer推荐模型规模会放大流行度偏差,通过理论和实证分析揭示注意力聚合和前馈投影导致谱坍缩是根本原因,提出SPRINT正则化方法缓解该问题,在0.05M至0.34B参数规模上实现更优的扩展行为。
2026-06-23 cs.IR cs.LG
Rethinking Attention: Polynomial Alternatives to Softmax in Transformers
Australian Institute for Machine Learning, University of Adelaide(澳大利亚机器学习研究院,阿德莱德大学)
本文质疑softmax在transformer中的高性能是否源于对输入的概率分布,提出softmax的有效性在于其对注意力矩阵Frobenius范数的隐式正则化。通过探索多项式替代方案,理论分析显示某些多项式可有效替代softmax,保持强性能。
2026-03-13 cs.CV cs.LG stat.ML
Multichannel consecutive data cross-extraction with 1DCNN-attention for diagnosis of power transformer
Xi’an Jiaotong University(西安交通大学);State Key Lab of Electrical Insulation and Power Equipment(电力设备电气绝缘国家重点实验室)
针对变压器诊断忽视多通道连续数据的问题,提出MCDC结构与1DCNN-attention机制,在真实运行数据上验证了其有效性和优越的泛化能力与稳定性。
2023-10-11 cs.LG cs.SY eess.SY
Multistability of Self-Attention Dynamics in Transformers
Division of Automatic Control, Dept. of Electrical Engineering, Linköping University(自动控制系,电气工程系,_linköping大学)
本文针对Transformer的自注意力机制,证明其连续时间类多智能体动力学与多智能体版Oja流相关,分类单头自注意力系统平衡点并分析其多稳定性与特征向量对齐特性。
2025-11-14 cs.LG cs.SY eess.SY
Relaxed Attention for Transformer Models
Technische Universität Braunschweig(布伦瑞克工业大学)
基于所有注意力的Transformer架构的强大建模能力通常会导致过拟合,并且对于自然语言处理任务,会导致自回归Transformer解码器中隐式学习的内部语言模型,从而使外部语言模型的集成变得复杂。在本文中,我们探讨放松注意力,一个简单的和易于实现的平滑的注意力权重,产生两个方面的改进,一般的Transformer架构:首先,放松注意力提供正则化时,应用到编码器中的自我注意力层。其次,我们表明,它自然支持外部语言模型的整合,因为它通过放松解码器中的交叉注意力来抑制内隐学习的内部语言模型。我们证明了放松注意力在几个任务中的好处,结合最近的基准方法有明显的改善。具体而言,我们在最大的公共唇读LRS 3基准测试中超过了26.90%的最先进的单词出错率,单词出错率为26.31%,并且我们在IWSLT14(DE $\rightarrow$ EN)机器翻译任务中获得了37.67的最佳BLEU得分,而无需外部语言模型,几乎没有额外的模型参数。代码和模型将公开发布。
2022-09-20 cs.CL cs.LG eess.AS
Keyword Transformer: A Self-Attention Model for Keyword Spotting
Arm ML Research Lab(Arm机器学习研究实验室);Lund University(隆德大学)
Transformer架构在许多领域都取得了成功,包括自然语言处理、计算机视觉和语音识别。在关键字识别中,自注意主要用于卷积或递归编码器之上。我们研究了一系列使Transformer架构适应关键字定位的方法,并引入了关键字Transformer(KWT),这是一种完全自我注意的架构,在没有任何预训练或额外数据的情况下,它在多个任务中的性能超过了最先进的水平。令人惊讶的是,这种简单的架构优于混合卷积层、递归层和注意层的更复杂的模型。KWT可以作为这些模型的替代品,在Google Speech Commands数据集上创造了两个新的基准记录,分别在12和35个命令任务上的准确率分别为98.6%和97.7%。
2021-06-15 cs.CL cs.LG cs.SD