On the Generalisation of Koopman Representations for Chaotic System Control
University of Groningen(格罗宁根大学)
本文提出三阶段方法(自编码学习Koopman嵌入、Transformer预训练、安全控制微调),在Lorenz系统上验证了Koopman表示在预测和控制任务中的泛化性,优于PCA基线,且固定预训练权重不损性能,支持多任务学习基础。
2025-08-26 cs.LG
Koopman operator theory: fundamentals, control, and applications
Department of Mechanical Engineering, University of California, Santa Barbara(加州大学圣芭芭拉分校机械工程系);Department of Mechanical and Aerospace Engineering, University of California, San Diego(加州大学圣地亚哥分校机械与航空航天工程系);Optimization-based Control Group, TU Ilmenau(图林根工业大学优化控制组);Constrained Control of Complex Systems Lab, Control Systems Group, Department of Electrical Engineering, TU Eindhoven(埃因霍温理工大学复杂系统约束控制实验室,控制系统组,电气工程系);Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系)
本文介绍Koopman算子理论,通过数据驱动方法(如EDMD和机器学习)构建非线性系统的全局线性表示,并扩展到有输入系统的控制器设计,提供仿真代码。
2026-10-09 cs.LG cs.SY eess.SY
Physics-Informed Koopman Network
University of Washington(华盛顿大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
Koopman算子理论由于其线性化非线性动力学的前景而受到越来越多的关注。神经网络的发展,以代表库普曼运营商已显示出巨大的成功,由于他们的能力,以近似任意复杂的功能。然而,尽管它们具有巨大的潜力,但它们通常需要来自真实系统的测量或来自高保真仿真的大的训练数据集。在这项工作中,我们提出了一种受物理信息神经网络启发的新架构,该架构利用自动微分在模型训练期间通过软惩罚约束来施加潜在的物理定律。我们证明,它不仅减少了大的训练数据集的需要,但也保持了高效率的近似库普曼特征函数。
2022-11-17 cs.LG math.AP math.DS
Towards Efficient and Stable Ocean State Forecasting: A Continuous-Time Koopman Approach
Department of Engineering University of Cambridge(工程系剑桥大学);Alan Turing Institute(艾伦·图灵研究所);INRIA Paris(巴黎国家信息与自动化研究所)
本文提出连续时间Koopman自编码器用于高效稳定的海洋状态预测,通过线性微分方程建模非线性动力学,实现时间不变预测并优于Transformer基线。
2026-03-19 cs.AI cs.LG physics.app-ph
Learning Koopman operators for coupled systems via information on governing equations of subsystems
Saitama University(埼玉大学)
本文针对纯数据驱动的EDMD在有限数据下对耦合系统建模不稳定的问题,提出利用子系统控制方程作为先验的Koopman算子学习方法,经耦合振子系统数值实验验证了有效性。
2026-11-13 cs.LG
Learning Deep Neural Network Representations for Koopman Operators of Nonlinear Dynamical Systems
Pacific Northwest National Laboratory(太平洋西北国家实验室)
Koopman算子最近因其在动力系统分析和数据驱动模型发现中的价值而受到广泛关注。然而,它的应用一直受到扩展动态模式分解的计算复杂性的阻碍,这需要一个组合大的基集,以充分描述许多感兴趣的非线性系统,例如网络物理基础设施系统,生物网络,社会系统和流体动力学。通常,为这些问题生成的字典是手动管理的,需要特定领域的知识和艰苦的调整。在本文中,我们介绍了一个深度学习框架,用于学习非线性动力系统的Koopman算子。我们表明,这种新方法自动选择有效的深度字典,优于最先进的方法。我们对这种方法进行了基准测试,部分观察到的非线性系统,包括糖酵解振荡器,并表明它能够定量预测未来100步,仅使用一个时间点,定性振荡行为400步。
2017-11-17 cs.AI cs.LG math.DS
Echo: KV-Cache-Free Associative Recall with Spectral Koopman Operators
Stanford University(斯坦福大学)
Echo通过谱Koopman算子实现无KV缓存的关联回忆,解决了传统Transformer的内存瓶颈问题,在多个基准测试中展现出卓越的检索性能。
2026-05-07 cs.LG
Enhancing Predictive Capabilities in Data-Driven Dynamical Modeling with Automatic Differentiation: Koopman and Neural ODE Approaches
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出一种利用自动微分改进EDMD-DL的Koopman算子学习框架,同时学习字典和算子,并在多种ODE/PDE系统上验证其优于现有方法,且与神经ODE性能相当。
2024-03-17 cs.LG
Credit Assignment for Trained Neural Networks Based on Koopman Operator Theory
National University of Defense Technology(国防科技大学);Institute of Software CAS(中国科学院软件研究所)
神经网络的信用分配问题是指评估网络中各个组成部分对最终输出的信用。对于未经训练的神经网络,对其进行处理的方法在训练阶段的参数更新和模型更新方面做出了巨大贡献。训练好的神经网络的这一问题很少受到关注,但它在神经网络的修补、规范和验证中起着越来越重要的作用。基于Koopman算子理论,本文提出了一种线性动力学的观点来处理训练好的神经网络的信用分配问题。将神经网络看作子动力学序列的组合,利用步长延迟嵌入捕捉每个分量的快照,尽可能精确地表征所建立的映射。为了规避嵌入过程中遇到的维度差异问题,一个辅助线性层的组成和分解,称为最小线性维度对齐,精心设计了严格的形式保证。之后,每个组件是近似的Koopman运营商,我们推导出雅可比矩阵及其相应的行列式,类似于反向传播。然后,我们可以为每个网络组件的信用分配定义一个具有代数可解释性的度量。在典型神经网络上进行的实验表明了该方法的有效性。
2022-12-02 cs.LG
VCformer: Variable Correlation Transformer with Inherent Lagged Correlation for Multivariate Time Series Forecasting
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University(深圳大学国家大数据系统计算技术工程实验室)
本文提出 VCFormer,通过可整合滞后互相关的 VCA 模块与基于 Koopman 理论的 KTD 模块,同时建模变量关系和时间依赖,并在八个真实数据集上达到先进预测性能。
2024-05-19 cs.AI cs.LG
Bilevel optimization for data-driven learning of Koopman embeddings using kernel-based autoencoders
Maxwell Institute for Mathematical Sciences, The University of Edinburgh(爱丁堡大学麦克斯韦数学研究所);Heriot–Watt University(赫瑞瓦特大学);Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);LAAS-CNRS(法国国家科学研究中心自动控制与系统分析实验室);Université de Toulouse(图卢兹大学);School of Mathematical & Computer Sciences, Heriot–Watt University(赫瑞瓦特大学数学与计算机科学学院)
该研究提出EDMD-kDL方法,结合配置法与双层优化,通过核字典学习从数据中学习Koopman嵌入,在海温预测、视频学习等实验中性能优于或相当ANN方法,且可扩展至大数据集。
2026-10-09 cs.LG math.DS stat.ML
Bayesian Transfer Operators in Reproducing Kernel Hilbert Spaces
Paderborn University(帕德博恩大学);TU Dortmund(多特蒙德技术大学);Heriot–Watt University(赫里奥特-瓦特大学)
本文提出在再生核希尔伯特空间中结合贝叶斯转移算子,通过高斯过程方法解决核基Koopman算法的稀疏性和超参数优化问题。
2026-11-16 cs.LG math.DS nlin.CD
Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers
Tel Aviv University(特拉维夫大学);Facebook AI Research (FAIR)(Facebook AI研究院)
Transformers越来越多地主导多模态推理任务,例如视觉问答,由于其使用自我注意和协同注意力机制将信息上下文化的能力,实现了最先进的结果。这些注意力模块还在其他计算机视觉任务中发挥作用,包括目标检测和图像分割。与仅使用自我注意力的Transformers不同,具有共同注意力的Transformers需要并行考虑多个注意力地图,以突出与模型输入中的预测相关的信息。在这项工作中,我们提出了第一种方法来解释预测的任何变压器为基础的架构,包括双模态Transformers和Transformers共同关注。我们提供了通用的解决方案,并将其应用于这些架构中最常用的三种:(i)纯自我注意,(ii)自我注意与共同注意相结合,以及(iii)编码器-解码器注意。我们表明,我们的方法是优于所有现有的方法,这是适应单一的模态可解释性。
2021-03-29 cs.CV cs.LG
Attention-Only Transformers and Implementing MLPs with Attention Heads
本文证明只要激活函数属于受限类(含SiLU及ReLU和GeLU近似),内部维度为1的掩码注意力头即可实现MLP神经元,从而将标准Transformer转换为仅注意力Transformer,并证明注意力头能分别执行MLP组件及编码任意掩码模式。
2023-09-15 cs.LG
Tree Transformer: Integrating Tree Structures into Self-Attention
National Taiwan University(台湾大学)
从大规模原始文本中预训练Transformer并对所需任务进行微调,在各种NLP任务上取得了最先进的结果。然而,目前还不清楚学习的注意力捕捉到了什么。注意力头计算出的注意力似乎与人类对层次结构的直觉不符。本文提出了树型Transformer,它对双向Transformer编码器的注意头增加了一个额外的约束,以鼓励注意头遵循树结构。我们提出的“成分注意力”模块可以从原始文本中自动归纳出树结构,该模块简单地通过两个相邻单词之间的自我注意力来实现。使用与BERT相同的训练过程,实验证明了Tree Transformer在诱导树结构、更好的语言建模和进一步学习更多可解释的注意力分数方面的有效性。
2019-11-01 cs.CL cs.LG
RealFormer: Transformer Likes Residual Attention
Google Research(谷歌研究院)
Transformer是现代NLP模型的支柱。在本文中,我们提出了RealFormer,一个简单而通用的技术来创建剩余注意力层Transformer网络,显着优于规范的Transformer及其变体(BERT,ETC等)。在各种各样的任务上,包括Masked Language Modeling、GLUE、SQuAD、Neural机器翻译、WikiHop、HotpotQA、Natural Questions和OpenKP。我们还根据经验观察到,RealFormer稳定了训练,并导致模型具有更稀疏的注意力。RealFormer的源代码和预先训练的检查点可以在https://github.com/google-research/google-research/tree/master/realformer上找到。
2021-09-10 cs.LG
Preconditioned Attention: Enhancing Efficiency in Transformers
Australian Institute for Machine Learning (AIML), Adelaide University(阿德莱德大学澳大利亚机器学习研究所(AIML))
本文提出预条件注意力机制,通过引入条件矩阵降低注意力矩阵的条件数,提升训练效率,适用于多种Transformer应用。
2026-03-28 cs.LG
Transformer Dissection: A Unified Understanding of Transformer's Attention via the Lens of Kernel
Carnegie Mellon University(卡内基梅隆大学);Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心)
Transformer是一个功能强大的架构,可以在各种序列学习任务上实现卓越的性能,包括神经机器翻译、语言理解和序列预测。Transformer的核心是注意力机制,它同时处理流中的所有输入。在本文中,我们提出了一个新的配方的注意通过镜头的内核。更准确地说,我们意识到注意力可以被看作是对输入应用内核平滑器,内核得分是输入之间的相似性。这个新的公式为我们提供了一个更好的方法来理解Transformer注意力的各个组成部分,例如整合位置嵌入的更好方法。我们基于内核的公式化的另一个重要优点是,它为Transformer的注意力组成的更大空间铺平了道路。作为一个例子,我们提出了一个新的变形Transformer的注意力模型的输入作为一个产品的对称内核。这种方法实现了竞争力的性能,以更少的计算量的最先进的模型的当前状态。在我们的实验中,我们实证研究了两个广泛使用的任务:神经机器翻译和序列预测不同的内核构建策略。
2019-11-11 cs.LG stat.ML
Spectral Conditioning of Attention Improves Transformer Performance
Australian Institute for Machine Learning(澳大利亚机器学习研究所)
通过优化注意力层的谱特性以降低雅可比矩阵的条件数,提升变换器模型的性能。
2026-03-07 cs.LG
FANTF: Fuzzy attention network based transformers for time series analysis
本文提出 FANTF 框架,通过将模糊逻辑与模糊隶属函数嵌入 Transformer 自注意力模块,有效处理时间序列数据的不确定性,显著提升了预测、分类与异常检测性能。
2026-10-16 cs.LG
Scaling Graph Transformers: A Comparative Study of Sparse and Dense Attention
Technical University of Munich(慕尼黑技术大学)
针对传统图神经网络难以捕获节点长程依赖的问题,本文比较图Transformer中密集与稀疏两种注意力机制的权衡及适用场景,概述其设计挑战,为图Transformer的扩展提供参考。
2025-08-24 cs.AI cs.LG
BOAT: Bilateral Local Attention Vision Transformer
Baidu Research(百度研究院);The University of Hong Kong(香港大学)
视觉Transformer在许多计算机视觉任务中取得了出色的性能。早期的视觉Transformer(如ViT和DeiT)采用全局自注意,当补丁数量很大时,这在计算上是昂贵的。为了提高效率,最近的视觉Transformer采用局部自注意力机制,其中在局部窗口内计算自注意力。尽管基于窗口的局部自我注意显著提高了效率,但它未能捕捉图像平面中遥远但相似的斑块之间的关系。为了克服图像空间的局部注意力的限制,在本文中,我们进一步利用补丁在特征空间中的局部性。我们使用它们的特征将补丁分组为多个簇,并在每个簇内计算自我注意力。这种特征空间局部注意力有效地捕捉了不同局部窗口中补丁之间的联系,但仍然相关。我们提出了一个双边局部注意力转换器视觉Transformer(BOAT),它集成了特征空间的局部注意力和图像空间的局部注意力。我们进一步将BOAT与Swin和CSWin模型集成,在几个基准数据集上进行的大量实验表明,我们的BOAT-CSWin模型明显且一致地优于现有的最先进的CNN模型和视觉Transformer。
2022-10-19 cs.CV cs.LG
Transformer Acceleration with Dynamic Sparse Attention
University of California, Santa Barbara(加州大学圣巴巴拉分校)
Transformers是NLP应用的主流,在其他领域(如计算机视觉)也越来越受欢迎。尽管改进了模型质量,但巨大的计算成本使得Transformers难以部署,特别是当新兴应用中的序列长度很大时。处理注意力机制作为Transformer的重要组成部分,由于其二次复杂度,成为其执行的瓶颈。现有技术探索注意力中的稀疏模式以支持长序列建模,但是这些工作是关于静态或固定模式的。我们证明了稀疏模式是动态的,取决于输入序列。因此,我们提出了动态稀疏注意力(DSA),可以有效地利用动态稀疏的Transformers的注意。与其他方法相比,我们的方法可以实现更好的平衡精度和模型的复杂性。展望未来,我们将确定挑战并提供解决方案,以便在现有硬件(GPU)和专用硬件上实现DSA,从而实现Transformer执行的实际加速和效率改进。
2021-10-21 cs.LG
Explicit Sparse Transformer: Concentrated Attention Through Explicit Selection
Peking University(北京大学)
基于自注意的Transformer在许多自然语言处理任务中表现出了最先进的性能。自我注意能够对长期依赖进行建模,但它可能会受到提取上下文中不相关信息的影响。为了解决这个问题,我们提出了一个新的模型称为\textbf{Explicit Sparse Transformer}。显式稀疏Transformer能够通过显式选择最相关的片段来提高对全局上下文的注意力集中。在一系列自然语言处理和计算机视觉任务(包括神经机器翻译、图像描述和语言建模)上的大量实验结果都证明了显式稀疏Transformer在模型性能上的优势。我们还表明,我们提出的稀疏注意力方法比以前的稀疏注意力方法取得了相当或更好的结果,但显着减少了训练和测试时间。例如,推理速度是Transformer模型中sparsemax的两倍。代码将在\url{https://github.com/lancopku/Explicit-Sparse-Transformer}上提供
2019-12-25 cs.CL cs.LG
Attention Flows for General Transformers
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
在本文中,我们研究了Transformer模型中的输入令牌对其预测的影响程度的计算。我们正式的方法来构建一个流网络的关注值的编码器,只有Transformer模型,并将其扩展到一般的Transformer架构,包括自回归解码器。我们表明,运行一个最大流算法的流网络建设产生Shapley值,这决定了一个球员在合作博弈论的影响。通过将流网络中的输入标记解释为参与者,我们可以计算它们对导致解码器决策的总注意力流的影响。此外,我们还提供了一个库,用于计算和可视化任意Transformer模型的注意力流。我们展示了我们在自然语言处理和推理任务上训练的各种模型上实现的有用性。
2022-05-30 cs.LG
Towards Mechanistic Interpretability of Graph Transformers via Attention Graphs
Stanford University(斯坦福大学);University of Oxford(牛津大学);University of Cambridge(剑桥大学)
本文提出注意力图工具,基于GNN消息传递与Transformer自注意力的数学等价性,分析图Transformer的信息流动,发现其学习结构不相关于输入图,且异质性图中不同变体可殊途同归。
2025-02-25 cs.AI cs.LG
Quantifying Attention Flow in Transformers
University of Amsterdam(阿姆斯特丹大学)
在Transformer模型中,“自我关注”将来自关注嵌入的信息组合到下一层的焦点嵌入的表示中。因此,跨Transformer的层,源自不同令牌的信息变得越来越混合。这使得注意力权重在解释探测时变得不可靠。在本文中,我们考虑的问题,通过自我关注的信息流的量化。我们提出了两种方法近似的注意力输入令牌的注意力权重,注意滚动和注意流,作为事后的方法,当我们使用的注意力权重作为输入令牌的相对相关性。我们发现,这些方法提供了信息流的互补意见,并与原始注意力相比,两者都产生较高的相关性与使用消融方法和输入梯度获得的输入标记的重要性分数。
2020-05-31 cs.AI cs.CL cs.LG
Why Attention Fails: The Degeneration of Transformers into MLPs in Time Series Forecasting
Shanghai Jiaotong University(上海交通大学)
本文通过逐步将Transformer修改为MLP的实验,揭示时间序列预测中Transformer常退化为MLP,并从理论和可解释数据集角度分析注意力机制失效及嵌入方法缺陷的深层原因。
2025-09-25 cs.LG
Selective Attention Improves Transformer
Google Research(谷歌研究)
本文提出一种无需参数的选择性注意力机制,通过减少对无关上下文的关注,在多种规模下提升语言建模性能,并大幅降低推理内存需求。
2025-04-24 cs.AI cs.CL cs.LG
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
The University of Tokyo(东京大学)
现有的Transformer模型的表达能力的分析需要过深的数据存储层,导致与实际使用的Transformers不一致。这主要是由于将softmax函数解释为hardmax函数的近似。通过澄清softmax函数和玻尔兹曼算子之间的联系,我们证明了具有低秩权重矩阵的单层自注意力具有完美捕获整个输入序列的上下文的能力。因此,我们表明,一层和单头Transformers有记忆能力有限的样本,和Transformers组成的一个自注意力层与两个前馈神经网络是通用的逼近连续置换等变函数的紧域。
2024-01-29 cs.LG
Data Efficient Any Transformer-to-Mamba Distillation via Attention Bridge
National University of Singapore(新加坡国立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出CAB框架,通过注意力桥接实现Transformer到Mamba的跨架构蒸馏,支持令牌级中间监督,在有限监督下提升图像分类和语言建模性能。
2026-09-17 cs.LG
AttentionViz: A Global View of Transformer Attention
Harvard University(哈佛大学);Google(谷歌)
本文提出AttentionViz交互式可视化工具,通过联合嵌入query和key向量揭示Transformer注意力的全局模式,并验证其在语言和视觉模型理解中的价值。
2023-08-09 cs.CL cs.CV cs.HC
Adaptive Attention Span in Transformers
Facebook AI Research(脸书人工智能研究院)
我们提出了一种新的自我注意机制,可以学习其最佳的注意广度。这使我们能够显著扩展Transformer中使用的最大上下文大小,同时保持对它们的内存占用和计算时间的控制。我们展示了我们的方法在字符级语言建模任务上的有效性,通过使用最大8k字符的上下文,我们在text8和enwiki8上实现了最先进的性能。
2019-08-08 cs.LG stat.ML
Analyzing the Structure of Attention in a Transformer Language Model
Palo Alto Research Center(帕洛阿尔托研究中心)
Transformer是一种完全基于注意力的递归网络替代方案,在一系列NLP任务中取得了最先进的结果。在本文中,我们分析了Transformer语言模型,GPT-2小型预训练模型的注意力结构。我们可视化的个别实例的注意力,并在一个大型语料库中分析注意力和语法之间的相互作用。我们发现,注意力针对模型中不同层深度的不同部分,并且注意力与中间层中最强烈的依赖关系保持一致。我们还发现,模型的最深层捕捉了最遥远的关系。最后,我们提取的例句,揭示了高度具体的模式,针对特定的注意头。
2019-06-18 cs.CL cs.LG stat.ML
Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs
Massachusetts Institute of Technology(麻省理工学院)
尽管Transformer网络在各个领域都取得了广泛的成功,但即使考虑到与3D相关的诱导偏差(如平移不变性和旋转等变性),它也尚未在3D原子图(如分子)领域的数据集上表现良好。在本文中,我们证明了Transformers可以很好地推广到3D原子图,并提出了Equiformer,这是一种利用Transformer架构的优势并基于不可约表示(irreps)结合SE(3)/E(3)-等变特征的图神经网络。首先,我们提出了一个简单而有效的架构,只取代原来的操作在Transformers与他们的等变同行,并包括张量积。使用等变操作使得能够在不使图结构复杂化的情况下在irreps特征的通道中编码等变信息。通过对Transformers的最小修改,该架构已经取得了很好的经验结果。其次,我们提出了一种新的注意力机制,称为等变图注意力,它改善了典型的注意力在Transformers,通过取代点积的注意力与多层感知器的注意力,并包括非线性消息传递。通过这两项创新,Equiformer在QM 9,MD 17和OC 20数据集上实现了与以前模型竞争的结果。
2023-02-28 cs.AI cs.LG physics.comp-ph
Attention Hijacking in Trojan Transformers
Stony Brook University(石溪大学);IBM Research(IBM研究院)
木马攻击对AI系统构成严重威胁。最近Transformer模型的作品受到了爆炸性的欢迎,自我关注现在是无可争议的。这就提出了一个核心问题:我们能否通过BERT和ViTs中的注意力机制来揭示特洛伊木马?在本文中,我们调查的注意力劫持模式,木马AI,\ie,触发令牌“绑架”的注意力权重时,一个特定的触发器。我们从自然语言处理(NLP)和计算机视觉(CV)领域观察到特洛伊木马Transformers中一致的注意力劫持模式。这个有趣的属性有助于我们理解BERT和ViTs中的特洛伊机制。我们还提出了一个注意力劫持木马检测器(AHTD)区分木马AI从干净的。
2022-08-09 cs.AI cs.CR cs.LG
Generic Interpretation Approach for Transformer Models Incorporating Heterogenous Attention Structures
Zhejiang University(浙江大学)
针对Transformer中异质注意力结构(如共注意力)带来的多源信息融合挑战,提出一种通用解释方法,并通过实验分析范式对代表性模型进行语义和逻辑解释。
2026-06-01 cs.AI cs.CL cs.CV
Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences
Yale University(耶鲁大学)
高效的Transformers已经被开发用于长序列建模,由于它们的次二次存储器和时间复杂度。稀疏Transformer是一种通过将自注意力限制在由预定义的稀疏模式指定的位置来提高Transformers效率的流行方法。然而,当重要的标记相关性是多跳时,与全注意力相比,利用稀疏性可能会牺牲表现力。结合稀疏Transformer的高效性和全注意力Transformer的表现力,提出了一种新的高效Transformer-\textit{Diffuser}.扩散器将所有令牌交互集成在一个注意力层中,同时保持低计算和内存成本。其关键思想是使用注意力扩散来扩展稀疏注意力的感受野,该注意力扩散基于对应断开的标记之间的所有路径以及相邻标记之间的注意力来计算多跳标记相关性。从理论上讲,我们展示了扩散器作为序列到序列建模的通用序列近似器的表现力,并通过从谱的角度分析图扩展器属性来研究其近似全注意力的能力。在实验中,我们调查扩散器的有效性进行了广泛的评估,包括语言建模,图像建模和远程竞技场(LRA)。评测结果表明,与最先进的基准测试相比,Diffuser在文本分类任务上平均提高了0.94%,在LRA上平均提高了2.30%,节省了1.67 $\times$内存,这表明Diffuser在表现力和效率方面都具有卓越的性能。
2023-01-31 cs.CL cs.LG
Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers
ETH Zurich(苏黎世联邦理工学院)
本研究探讨用浅层前馈网络替代Transformer注意力层,通过知识蒸馏训练,在IWSLT2017上验证其性能媲美原架构,并通过消融实验证明该方法可行,为简化序列到序列模型提供新思路。
2024-02-04 cs.CL cs.LG
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);University of Washington(华盛顿大学);University of Geneva(日内瓦大学)
Transformers在几个任务中实现了卓越的性能,但由于其二次复杂性,相对于输入的长度,它们对于非常长的序列是非常慢的。为了解决这一问题,我们将自注意力表示为核特征映射的线性点积,并利用矩阵积的结合性将复杂度从$\mathcal{O}\left(N^2\right)$降低到$\mathcal{O}\left(N\right)$,其中$N$是序列长度.我们表明,这种提法允许迭代实现,大大加快自回归Transformers,并揭示了它们的关系,经常性的神经网络。我们的线性Transformers实现了与vanilla Transformers相似的性能,并且在对非常长的序列进行自回归预测时,它们的速度快达4000倍。
2020-08-31 cs.LG stat.ML
Domain Adaptation via Bidirectional Cross-Attention Transformer
Southern University of Science and Technology(南方科技大学)
领域自适应(Domain Adaptation,DA)的目的是将从具有大量标记数据的源领域学习到的知识利用到仅具有未标记数据的目标领域。大多数现有的研究DA有助于学习域不变的特征表示为两个域的最小化域间隙基于卷积的神经网络。最近,视觉Transformer显着提高了多个视觉任务的性能。在视觉Transformer的基础上,本文提出了一种用于DA的双向交叉注意Transformer(BCAT),旨在提高DA的性能。在所提出的BCAT中,注意力机制可以提取隐含的源和目标混淆特征表示,以缩小域差异。具体来说,在BCAT中,我们设计了一个权重共享的四分支Transformer,它具有双向交叉注意力机制来学习域不变特征表示。大量的实验表明,所提出的BCAT模型在四个基准数据集上的性能优于现有的基于卷积或Transformers的最先进的DA方法。
2022-10-03 cs.CV cs.LG
Understanding Differential Transformer Unchains Pretrained Self-Attentions
TwelveLabs;Seoul National University(首尔国立大学)
本研究揭示差分Transformer成功的三大关键因素,提出DEX方法通过复用softmax分数、添加轻量差分操作,以极少适配数据将差分注意力优势高效整合进预训练LLM,实现多基准性能显著提升。
2025-10-21 cs.LG
Adaptive Multi-Neighborhood Attention based Transformer for Graph Representation Learning
Huazhong University of Science and Technology(华中科技大学)
通过将图的结构信息融入到Transformers中,图Transformers近年来在图表示学习方面表现出了良好的性能。现有的图Transformers利用特定的策略,例如节点对的拉普拉斯特征向量和最短路径,来保留节点的结构特征,并将它们馈送到普通的Transformer中以学习节点的表示。对于拓扑结构变化较大的任意图,这种预定义的规则很难提取信息丰富的图结构特征,限制了模型的学习能力。为此,我们提出了一个自适应图Transformer,称为多邻域注意基于图Transformer(MNA-GT),它捕获的多邻域注意力机制自适应的每个节点的图结构信息。MNA-GT通过将执行缩放点积的输入定义为注意力核,基于邻域的不同跳数构造多个注意力核,使得每个注意力核可以捕获每个节点对的对应邻域的特定图结构信息。通过这种方式,MNA-GT可以通过合并由不同注意力核学习的节点表示来有效地保留图的结构信息。MNA-GT还采用注意力层来学习不同注意力核的重要性,以使模型能够自适应地捕获不同节点的图结构信息。在各种图基准上进行了大量的实验,实证结果表明,MNA-GT优于许多强基线。
2022-11-15 cs.LG cs.SI
On the Efficacy of Co-Attention Transformer Layers in Visual Question Answering
Birla Institute of Technology, Mesra(比尔拉理工学院,梅斯拉);Harvard Medical School(哈佛医学院)
近年来,多模态Transformers在视觉语言任务(如视觉问答(VQA))方面取得了显着进展,大大优于以前的架构。VQA的这种改进通常归因于视觉和语言流之间的丰富交互。在这项工作中,我们研究了共同关注Transformer层在回答问题时帮助网络关注相关区域的功效。我们使用这些共同注意层中的问题条件图像注意力分数生成视觉注意力图。我们评估了以下关键组件对最先进的VQA模型的视觉注意力的影响:(i)对象区域提案的数量,(ii)问题词性(POS)标签,(iii)问题语义,(iv)共同注意层的数量,以及(v)答案准确性。我们将神经网络的注意力图与人类的注意力图进行了定性和定量的比较。我们的研究结果表明,共同关注Transformer模块是至关重要的,在出席有关地区的图像给出了一个问题。重要的是,我们观察到问题的语义含义并不是驱动视觉注意力的原因,而是问题中的特定关键词。我们的工作揭示了共同注意Transformer层的功能和解释,突出了当前网络中的差距,并可以指导未来VQA模型和网络的发展,同时处理视觉和语言流。
2022-01-11 cs.CV cs.LG
Leveraging redundancy in attention with Reuse Transformers
Google Research(谷歌研究院)
基于成对点积的注意力允许Transformers以依赖于输入的方式在令牌之间交换信息,并且是它们在语言和视觉的不同应用中成功的关键。然而,典型的Transformer模型在多个层中的多个头部中针对相同序列重复地计算这样的成对注意力分数。我们系统地分析了这些分数的经验相似性头和层,发现它们是相当冗余的,特别是相邻层显示出高相似性。出于这些发现,我们提出了一种新的架构,重用在一个层中计算的注意力分数在多个后续层。在许多标准基准测试上的实验表明,重用注意力可以提供与标准Transformers相当或更好的性能,同时减少计算和内存使用。
2021-10-13 cs.CL cs.CV cs.LG
Pruning Attention Heads of Transformer Models Using A* Search: A Novel Approach to Compress Big NLP Architectures
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Corporate Model Risk, Wells Fargo(富国银行企业模型风险部)
近年来,在自然语言处理甚至在计算机视觉中越来越多地采用Transformer模型,例如BERT。然而,由于它们的大小,在资源受限的计算环境中,这种模型的采用有限。提出了一种新的剪枝算法,通过消除冗余的注意头来压缩Transformer模型。我们应用A* 搜索算法来获得具有严格精度保证的修剪模型。实验结果表明,该方法可以消除BERT Transformer模型中多达40%的注意头,而不损失准确性。
2021-11-17 cs.CL cs.LG
Simulating Hard Attention Using Soft Attention
University of Notre Dame(诺丁汉大学);Umeå University(乌梅大学);Yale University(耶鲁大学)
研究软注意力 transformers 模拟硬注意力的条件,证明利用无界位置嵌入或温度缩放可计算线性时序逻辑公式,并使 softmax transformers 能模拟通用硬注意力 transformers。
2025-06-26 cs.CL cs.FL cs.LG
How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers
Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of Washington(华盛顿大学);Apple, Inc.(苹果公司);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
注意力机制被认为是广泛使用的Transformer架构的支柱。它通过计算特定于输入的注意力矩阵来将输入情境化。我们发现,这种机制虽然强大而优雅,但并不像预训练的语言模型那样重要。我们引入PAPA,一种新的探测方法,它用恒定的注意力矩阵(多个输入的平均注意力权重)代替了依赖于输入的注意力矩阵。我们使用PAPA来分析六个下游任务上的几个已建立的预先训练的Transformers。我们发现,在没有任何依赖于输入的注意力的情况下,所有模型都实现了具有竞争力的性能--与探测基线相比,平均相对下降仅为8%。此外,很少或没有观察到性能下降时,更换一半的输入相关的注意力矩阵与常数(输入无关)。有趣的是,我们发现,性能较好的模型在应用我们的方法时比较弱的模型损失更多,这表明依赖输入的注意力机制的利用可能是它们成功的一个因素。我们的研究结果激发了对输入依赖注意的更简单的替代方案的研究,以及在Transformer架构中更好地利用这种机制的方法。
2022-11-07 cs.CL cs.LG
SAF3R: Dynamic Sparse Attention for Feed-Forward 3D Reconstruction Transformers
University of Pittsburgh(匹兹堡大学);University of Arizona(亚利桑那大学);Tongji University(同济大学);University of Central Florida(中佛罗里达大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
研究前馈3D重建Transformer,分析其全局注意力模式,提出SAF3R框架,集成稀疏注意力机制、离线头部分析和在线适应策略,在保持质量同时提高稀疏率加速端到端速度。
2026-08-14 cs.CV cs.LG
Mechanism and Emergence of Stacked Attention Heads in Multi-Layer Transformers
ETH Zürich(苏黎世联邦理工学院)
该研究提出需最少层数Transformer求解的检索问题,证实大模型无需微调即可完成,通过训练分析揭示隐式课程引导下注意力头按序涌现的机制。
2025-03-29 cs.CL cs.LG
Is Random Attention Sufficient for Sequence Modeling? Disentangling Trainable Components in the Transformer
Princeton University(普林斯顿大学);ETH Zurich(苏黎世联邦理工学院)
该研究通过冻结Transformer的注意力或MLP权重、设计全随机注意力的MixiT架构,探究各组件对模型性能的贡献,发现Transformer内置形成专用回路的归纳偏置。
2025-09-03 cs.CL cs.LG
TransformerFAM: Feedback attention is working memory
Google LLC(谷歌公司)
本文提出TransformerFAM架构,通过反馈回路让Transformer关注自身潜在表示以形成工作记忆,无需额外权重即可无缝集成预训练模型,并在1B、8B和24B模型规模的长上下文任务上显著提升性能。
2024-05-07 cs.AI cs.CL cs.LG
The Devil in Linear Transformer
SenseTime Research(商汤科技研究院);Australian National University(澳大利亚国立大学);OPPO Research Institute(OPPO研究院);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
线性Transformers的目标是降低vanilla Transformers的二次空间-时间复杂度。然而,他们通常遭受各种任务和语料的性能下降。在本文中,我们研究了现有的基于内核的线性Transformers,并确定了两个关键问题,导致这种性能差距:1)在注意力计算的无界梯度的线性Transformer模型的收敛性产生不利影响; 2)注意力稀释,平凡地分布在长序列的注意力得分,而忽略了相邻的结构。为了解决这些问题,我们首先确定注意力矩阵的缩放是无界梯度中的魔鬼,这在线性注意力中是不必要的,因为我们从理论和经验上证明了这一点。为此,我们提出了一个新的线性注意力,取代了缩放操作的归一化,以稳定梯度。对于注意力稀释的问题,我们利用对角注意力将注意力限制在早期层中的相邻标记上。受益于稳定的梯度和改进的注意力,我们的新线性Transformer模型transNormer在文本分类和语言建模任务以及具有挑战性的Long-Range Arena基准测试中表现出卓越的性能,明显超过了vanilla Transformer和现有的线性变体,同时具有更高的时空效率。该代码可在https://github.com/OpenNLPLab/Transnormer上获得。
2022-10-19 cs.CL cs.LG
Generalized Attention Mechanism and Relative Position for Transformer
本文首先对Vaswani等人的自我注意力机制提出了一种新的解释,然后提出了广义注意力机制(GAM)。在解释之后,我们提供了对注意力机制的不同变体的描述,这些变体一起形成GAM。此外,我们提出了一个新的相对位置表示GAM的框架内。这种表示可以很容易地用于输入序列中彼此相邻的元素可以位于实际数据集/语料库中的随机位置的情况。
2022-07-24 cs.CL cs.LG