Benchmarking down-scaled (not so large) pre-trained language models
Ludwig-Maximilians-Universität（路德维希-马克西米利安大学）
基于transformer的大型语言模型在不同大小的语料库上进行预训练，步骤数量不同，批量大小也不同。与此同时，更基本的组件，如预训练目标或架构超参数，被修改。因此，总体而言，很难将业绩变化归因于具体因素。由于在整个系统上搜索超参数空间的成本太高，因此我们在公共预训练语料库上预训练几种流行的基于Transformer的架构的缩小版本，并在GLUE任务的子集上对它们进行基准测试（Wang等人，2018年）。具体来说，我们系统地比较了不同形状参数和模型大小的三个预训练目标，同时还改变了预训练步骤的数量和批量大小。在我们的实验中，MLM + NSP（BERT风格）始终优于MLM（Roberta风格）以及标准LM目标。此外，我们发现额外的计算应该主要分配给增加的模型大小，而训练更多的步骤是低效的。基于这些观察结果，作为最后一步，我们尝试使用适合基于transformer的语言模型的复合缩放（Tan和Le，2019）来扩展几个系统。
2021-05-11 cs.CL cs.LG stat.ML
Weight subcloning: direct initialization of transformers using larger pretrained ones
Apple（苹果公司）
该研究提出权重亚克隆技术，通过神经元重要性排序降维、删减模块两步，用大尺寸预训练Transformer初始化小模型，显著提升了视觉与语言Transformer的训练速度。
2023-12-14 cs.CL cs.CV cs.LG
KS-DETR: Knowledge Sharing in Attention Learning for Detection Transformer
Toyota Technological Institute（丰田工业大学）
Scaled dot-product attention对查询和键的缩放点积应用softmax函数来计算权重，然后将权重和值相乘。在这项工作中，我们研究了如何改善缩放点积注意力的学习，以提高DETR的准确性。我们的方法基于以下观察：使用地面真实前景-背景掩码（GT Fg-Bg掩码）作为权重/值学习中的额外线索，可以学习更好的权重/值;使用更好的权重/值，可以学习更好的值/权重。我们提出了一个三重注意力模块，其中第一个注意力是一个普通的缩放点积注意力，第二/第三个注意力生成高质量的权重/值（在GT Fg-Bg Mask的帮助下），并与第一个注意力共享值/权重，以提高值/权重的质量。第二和第三注意力在推理过程中被移除。我们称我们的方法知识共享DETR（KS-DETR），这是一个扩展的知识蒸馏（KD）的方式，改进的权重和值的教师（第二次和第三次注意）直接共享，而不是模仿，由学生（第一次注意），使更有效的知识转移从教师到学生。各种DETR类方法的实验表明，在MS COCO基准的基线方法的一致改进。代码可在https://github.com/edocanonymous/KS-DETR上获得。
2023-03-16 cs.CV cs.LG
Softmax Attention with Constant Cost per Token
Glassroom（格拉斯鲁姆公司）
提出对Transformer注意力机制的修改，用缩放点积的指数的对数替代传统点积量化相似度，通过指数核特征映射线性化注意力，实现每个token恒定时空复杂度，并验证其作为传统注意力替代方案的有效性。
2024-04-27 cs.CL cs.LG
EcoTransformer: Attention without Multiplication
Department of Mathematics and Statistics（数学与统计学系）；York University（约克大学）；Department of Computer Science（计算机科学系）；University of California Davis（加州大学戴维斯分校）；Market Risk Model Bank of Montreal Financial Group（蒙特利尔银行市场风险模型财务集团）
EcoTransformer提出一种无需乘法的注意力机制，利用拉普拉斯核和L1距离构建上下文向量，在多个任务上性能相当且能耗更低。
2025-08-06 cs.AI cs.CL cs.LG
Scaled Idempotence in Transformer Attention: Paired OV Geometry and Shared-Value Algebras
College of Computer Science, Beijing University of Technology（北京工业大学计算机学院）；School of Mathematics, Statistics and Mechanics, Beijing University of Technology（北京工业大学数学、统计与力学学院）
该研究发现Transformer注意力中存在缩放幂等性的代数规律，通过OV几何分解与值共享扩展，揭示了训练注意力头的稀疏方向特性及局部算子代数关系。
2026-09-02 cs.LG
Synthesizer: Rethinking Self-Attention in Transformer Models
Google Research（谷歌研究院）
点积自注意力是最先进的Transformer模型的核心和不可或缺的。但这真的是必需的吗？本文研究了基于点积的自注意力机制对Transformer模型性能的真正重要性和贡献。通过大量的实验，我们发现（1）随机对齐矩阵令人惊讶地表现得相当有竞争力，（2）从令牌-令牌（查询-密钥）交互中学习注意力权重是有用的，但毕竟不是那么重要。为此，我们提出了\textsc{Synthesizer}，一个模型，学习合成注意力权重没有令牌令牌的相互作用。在我们的实验中，我们首先表明，简单的合成器实现了高度竞争力的性能相比，香草Transformer模型在一系列的任务，包括机器翻译，语言建模，文本生成和GLUE/SuperGLUE基准。当与点积注意组成时，我们发现合成器始终优于Transformers。此外，我们进行了额外的比较合成器对动态卷积，表明简单的随机合成器不仅$60\%$更快，但也提高了相对$3.5\%$的困惑。最后，我们证明了简单的因式分解合成器在仅编码任务上的性能优于Linformer。
2021-05-24 cs.CL cs.IR cs.LG
PairConnect: A Compute-Efficient MLP Alternative to Attention
Rice University（莱斯大学）
Transformer模型在自然语言处理方面表现出了优越的性能。Transformer中的点积自我注意力使我们能够对单词之间的交互进行建模。然而，这种建模伴随着显著的计算开销。在这项工作中，我们重新审视了与Transformer相关的内存-计算权衡，特别是多头注意力，并显示了一个内存繁重但计算效率更高的替代方案Transformer。我们的建议，表示为PairConnect，多层感知器（MLP），模型的两两之间的相互作用，明确的两两词嵌入。因此，PairConnect用一个简单的嵌入查找代替了自点积。我们在数学上表明，尽管是一个MLP，我们的计算效率PairConnect严格比Transformer更有表现力。我们在语言建模任务上的实验表明，PairConnect可以实现与Transformer相当的结果，同时显著降低与推理相关的计算成本。
2021-06-15 cs.CL cs.LG
Neural Attention: A Novel Mechanism for Enhanced Expressive Power in Transformer Models
Department of Computer Science University of Bridgeport（计算机科学系布里奇波特大学）
本文提出神经注意力机制，用前馈网络替代点积计算注意力矩阵，在保持维度不变的同时提升Transformer表达能力，并在语言建模和图像分类任务上取得显著性能提升。
2025-11-07 cs.LG cs.NE
TENER: Adapting Transformer Encoder for Named Entity Recognition
Fudan University（复旦大学）
双向长短期记忆网络（BiLSTM）已被广泛用作解决命名实体识别（NER）任务的模型中的编码器。近年来，由于其并行性和优越的性能，Transformer在各种自然语言处理（NLP）任务中被广泛采用。然而，Transformer在NER中的性能不如在其他NLP任务中的性能好。在本文中，我们提出了TENER，NER架构采用自适应Transformer编码器来模拟字符级特征和单词级特征。通过结合方向和相对距离感知注意力和未缩放注意力，我们证明了类似于transformer的编码器对于NER和其他NLP任务一样有效。
2019-12-10 cs.CL cs.LG
Transformer with Fourier Integral Attentions
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Los Angeles（加州大学洛杉矶分校）
多头注意力使Transformers最近取得了成功，transformers是最先进的模型，在序列建模和其他方面取得了显著的成功。这些注意力机制计算查询和键之间的成对点积，这是由于使用非归一化高斯核，假设查询遵循高斯分布的混合。不能保证这一假设在实践中是有效的。作为回应，我们首先将Transformers中的注意力解释为非参数核回归。然后，我们提出了FourierFormer，一类新的Transformers，其中的点积内核被取代的新的广义傅立叶积分内核。与点积核不同，我们需要选择一个好的协方差矩阵来捕获数据特征的依赖性，广义傅立叶积分核可以自动捕获这种依赖性，并且不需要调整协方差矩阵。我们从理论上证明了我们提出的傅立叶积分核可以有效地近似任何关键字和查询分布。与传统的点积注意力Transformers相比，FourierFormers获得了更好的精度，并减少了注意力头之间的冗余。我们的经验证实了FourierFormers的优势，在各种实际应用中，包括语言建模和图像分类的基线Transformers器。
2022-06-01 cs.LG stat.ML
The Inhibitor: ReLU and Addition-Based Attention for Efficient Transformers under Fully Homomorphic Encryption on the Torus
该研究提出基于ReLU与加法的注意力机制替代传统点积Softmax注意力，提升量化Transformer效率，在四项基准任务上性能相当，且明文与加密场景下均显著节省计算量，有望支撑同态加密下的隐私保护AI应用。
2025-10-01 cs.LG
Macformer: Transformer with Random Maclaurin Feature Attention
Beijing Institute of Technology（北京理工大学）
提出Macformer架构，利用随机麦克劳林特征（RMF）近似点积核以加速长序列注意力计算，结合RMFA与ppSBN机制，在LRA基准上验证了其加速效果与准确性。
2024-08-21 cs.LG
Why don't Graph Transformers attend to the same token?
University of Oxford（牛津大学）
该研究发现图Transformer GRIT 与LLMs注意力汇趋势相反，注意力汇是点积注意力的属性，替换GRIT的注意力评分函数可显著改变汇率。
2026-10-14 cs.LG
Challenges and Thrills of Legal Arguments
UC Santa Barbara（加州大学圣巴巴拉分校）
最先进的基于注意力的模型，主要集中在Transformer架构，解决了使用所谓的缩放点积注意力的序列到序列转换的问题。虽然这种技术对于估计令牌间注意力非常有效，但当我们处理类似对话的场景时，它并不能回答序列间注意力的问题。我们提出了一个扩展，HumBERT，试图使用本地训练的Transformers执行连续的上下文参数生成。
2020-06-06 cs.CL cs.LG
InhibiDistilbert: Knowledge Distillation for a ReLU and Addition-based Transformer
本研究提出结合模型压缩与抑制注意力的优化方法，改进基于ReLU和加法的Transformer训练效率，经知识蒸馏在DistilBERT架构上验证，在GLUE等NLP基准上取得有竞争力的性能。
2025-03-20 cs.AI cs.CL cs.LG
GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
Transformer结构由一系列编码器和解码器网络层堆叠而成，在神经机器翻译中取得了重大发展。然而，vanilla Transformer主要利用顶层表示，假设较低层提供琐碎或冗余的信息，因此忽略了潜在有价值的底层功能。在这项工作中，我们提出了组转换器模型（GTrans），灵活地将编码器和解码器的多层表示分为不同的组，然后融合这些组特征来生成目标词。为了验证该方法的有效性，在IWLST-14、IWLST-17、LDC、WMT-14和OPUS-100等三个双语翻译基准和两个多语种翻译任务上进行了大量实验和分析实验。实验和分析结果表明，我们的模型优于它的Transformer同行一致的增益。此外，它可以成功地扩展到60个编码器层和36个解码器层。
2022-11-07 cs.CL cs.LG
L1 Augmented Attention as an Improved Vector Similarity Metric
研究针对缩放点积注意力在Transformer模型中作为相似性度量的局限，提出L1增强注意力方法，通过减去特定头的L1距离改进相似性计算，经实验在WikiText 2上取得更好效果，揭示了各层几何作用及头级专业化，有效提升语言模型相似性计算。
2026-07-21 cs.CL cs.LG
Logic and the $2$-Simplicial Transformer
我们介绍$2$ -单纯Transformer，扩展的Transformer，其中包括一种形式的高维注意力概括的点产品的注意，并使用这种注意力更新实体表示与张量产品的值向量。我们表明，这种架构是一个有用的归纳偏见的逻辑推理的背景下，深度强化学习。
2019-09-02 cs.LG cs.LO stat.ML
Residual Matrix Transformers: Scaling the Size of the Residual Stream
University of California Santa Cruz（加州大学圣克鲁兹分校）
本文提出Residual Matrix Transformer (RMT)，通过外积记忆矩阵替换传统残差流，使残差流规模能独立扩展，在减少计算量、参数和训练数据的同时提升性能并优于传统transformer。
2025-06-28 cs.CL cs.LG
Redesigning the Transformer Architecture with Insights from Multi-particle Dynamical Systems
Jadavpur University（贾达普大学）；IIIT-Delhi（德里印度信息技术学院）；IIT-Bombay（孟买印度理工学院）
Transformer及其变体已被证明是许多不同领域中的有效序列学习器。尽管它们取得了惊人的成功，但一个关键问题是必须训练大量的参数（从$10^7$到$10^{11}$）以及点积注意力的二次复杂性。在这项工作中，我们调查的问题，近似的两个中心组成部分的Transformer -多头自关注和逐点前馈变换，减少参数空间和计算复杂性。我们建立在分析深度神经网络作为常微分方程的数值求解器的最新发展。利用Transformer阶段和多个相互作用的粒子的动力系统的演化之间的类比，我们制定了一个时间演化方案，transEvolve，绕过昂贵的点产品注意多个堆叠层。我们进行详尽的实验与TransEvolve著名的编码器解码器以及编码器的任务。我们观察到，近似的程度（或相反，参数减少的程度）对性能有不同的影响，这取决于任务。在编码器-解码器机制中，TransEvolve提供的性能可与原始Transformer媲美，在仅编码器任务中，它始终优于Transformer以及几个后续变体。
2021-10-27 cs.LG
Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding
注意力模块是Transformer中的重要组成部分，由于其二次复杂度，无法有效地扩展到长序列。许多工作集中在近似原始注意力中的点然后取幂softmax函数，导致次二次甚至线性复杂度的Transformer架构。然而，我们表明，这些方法不能应用于更强大的注意力模块，超越了点然后指数风格，例如，具有相对位置编码（RPE）的Transformers。由于在许多最先进的模型中，相对位置编码被用作默认值，因此设计可以包含RPE的高效Transformers是有吸引力的。在本文中，我们提出了一种新的方法来加速Transformers的注意力计算与RPE的核心化的注意力。基于相对位置编码形成Toeplitz矩阵的观察，我们在数学上表明，使用快速傅立叶变换（FFT）可以有效地计算具有RPE的核化注意。通过FFT，我们的方法达到了$\mathcal{O}(n\log n)$的时间复杂度。有趣的是，我们进一步证明，正确使用相对位置编码可以减轻香草核化注意力的训练不稳定性问题。在广泛的任务中，我们的经验表明，我们的模型可以从头开始训练，没有任何优化问题。学习模型的性能优于许多高效的Transformer变体，并且在长序列状态下比标准Transformer更快。
2021-11-03 cs.CL cs.LG stat.ML
Conformal Transformations for Symmetric Power Transformers
Stanford University（斯坦福大学）；Manifest AI
针对对称幂Transformer循环状态容量有限导致长上下文性能下降的问题，提出共形对称幂Transformer，通过数据相关乘法门控和旋转嵌入动态管理容量，在LongCrawl64上实现稳健的长上下文性能。
2025-05-03 cs.AI cs.LG
A Probabilistic Interpretation of Transformers
ML Collective（ML集体）
我们提出了一个概率解释指数点积的Transformers和对比学习的基础上关闭的指数家庭的注意。Transformers的attention子层相当于log normalizer的梯度上升步骤，这是Hopfield注意力理论中的log-sum-exp项。该上升步骤引起点的平行扩展，其由来自层归一化的收缩来平衡。我们还指出我们的理论和Hopfield理论的理论局限性，并提出解决的方向。
2022-04-28 cs.LG
Ister: Linear Transformer for Efficient Multivariate Time Series Forecasting
Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州））；ShenZhen University（深圳大学）；Shenzhen Energy Group Co., Ltd.（深圳能源集团有限公司）；South China University of Technology（华南理工大学）
Ister提出了一种线性复杂度的注意力机制和倒置季节趋势分解策略，提升多变量时间序列预测的准确性和效率，实验证明其在多个基准上达到最优性能。
2026-05-09 cs.AI cs.LG
Leveraging redundancy in attention with Reuse Transformers
Google Research（谷歌研究院）
基于成对点积的注意力允许Transformers以依赖于输入的方式在令牌之间交换信息，并且是它们在语言和视觉的不同应用中成功的关键。然而，典型的Transformer模型在多个层中的多个头部中针对相同序列重复地计算这样的成对注意力分数。我们系统地分析了这些分数的经验相似性头和层，发现它们是相当冗余的，特别是相邻层显示出高相似性。出于这些发现，我们提出了一种新的架构，重用在一个层中计算的注意力分数在多个后续层。在许多标准基准测试上的实验表明，重用注意力可以提供与标准Transformers相当或更好的性能，同时减少计算和内存使用。
2021-10-13 cs.CL cs.CV cs.LG
Plain Transformers Can be Powerful Graph Learners
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克人工智能研究所）；Huawei Noah’s Ark Lab, Montreal（华为诺亚实验室，蒙特利尔）；University of Oxford（牛津大学）
本研究证明原始变换器可通过简单修改成为强大图学习者，提出PPGT架构在图学习任务中表现优异。
2026-08-28 cs.CL cs.LG
Calibrating Transformers via Sparse Gaussian Processes
Imperial College London（伦敦帝国学院）
提出稀疏高斯过程注意力（SGPA），在Transformer的多头注意力输出空间进行贝叶斯推理，以校准不确定性，提升分布内校准和分布外鲁棒性。
2025-09-10 cs.LG stat.ML
Efficient Scaling of Diffusion Transformers for Text-to-Image Generation
Amazon AGI（亚马逊AGI）；AWS AI Labs（AWS AI实验室）
本研究通过大规模实验证明，基于纯自注意力的U-ViT扩散Transformer在文生图任务中扩展更高效，23亿参数的U-ViT在受控设置下优于SDXL UNet，且增大数据集和增强长标题能提升文图对齐性能。
2024-12-16 cs.CL cs.CV cs.LG
Highway Transformer: Self-Gating Enhanced Self-Attentive Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Pittsburgh（匹兹堡大学）
自我注意力机制在各种序列学习任务中取得了令人瞩目的最新进展，它立足于多头点积注意，关注不同位置的全局情境。通过一个伪信息高速公路，我们引入了一个门控组件的自我依赖单位（SDU），采用LSTM风格的门控单元，以补充内部的语义重要性内的多维潜在空间的个人表示。辅助的基于内容的SDU门允许通过跳过的连接的调制的潜在嵌入的信息流，从而导致利用梯度下降算法的收敛速度的明显裕度。我们可以揭示门控机制的作用，以帮助基于上下文的Transformer模块，假设SDU门，特别是在浅层上，可以在优化过程中更快地推动它走向次优点。
2020-11-24 cs.CL cs.LG
Building Blocks for a Complex-Valued Transformer Architecture
CiM IMPRS Graduate School Münster（明斯特国际马克斯·普朗克研究生院（CiM IMPRS））
针对复值信号处理需求，研究提出复值Transformer的构建模块，包含复值缩放点积注意力与层归一化，在MusicNet数据集上实现了与实值架构性能相当且抗过拟合鲁棒性提升的效果。
2023-06-16 cs.CV cs.LG cs.NE
End-to-End Analysis of Charge Stability Diagrams with Transformers
Department of Engineering Science, University of Oxford（工程科学系，牛津大学）；Department of Materials, University of Oxford（材料系，牛津大学）；Intel Corporation, Technology Research Group（英特尔公司，技术研究组）；Kavli Institute of Nanoscience, Delft University of Technology（纳米科学研究所，代尔夫特理工大学）；NVIDIA Corporation（NVIDIA公司）
本文提出将目标检测Transformer应用于半导体量子点阵列的电荷稳定性图分析，识别三重态点及其连接性，在三种自旋量子比特架构上无需重训练即超越卷积神经网络，显著降低复杂度并提升泛化能力。
2025-08-21 cond-mat.mes-hall cond-mat.mtrl-sci cs.LG
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；University of Washington（华盛顿大学）；University of Geneva（日内瓦大学）
Transformers在几个任务中实现了卓越的性能，但由于其二次复杂性，相对于输入的长度，它们对于非常长的序列是非常慢的。为了解决这一问题，我们将自注意力表示为核特征映射的线性点积，并利用矩阵积的结合性将复杂度从$\mathcal{O}\left(N^2\right)$降低到$\mathcal{O}\left(N\right)$，其中$N$是序列长度.我们表明，这种提法允许迭代实现，大大加快自回归Transformers，并揭示了它们的关系，经常性的神经网络。我们的线性Transformers实现了与vanilla Transformers相似的性能，并且在对非常长的序列进行自回归预测时，它们的速度快达4000倍。
2020-08-31 cs.LG stat.ML
The Brownian motion in the transformer model
Transformer是许多语言和视觉任务的最新模型。本文对它的多头自注意（MHSA）模块进行了深入的分析，发现：1）每个标记在高维特征空间中是一个随机变量。2)在层归一化之后，这些变量被映射到超球体上的点。3)这些标记的更新是布朗运动。布朗运动具有特殊的性质，其二阶项是不可忽略的。因此，我们提出了一个新的二阶优化器（迭代K-FAC算法）的MHSA模块。简而言之：所有令牌都映射到高维超球体。标度点积注意力$softmax(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d}})$就是球上随机游动的马尔可夫转移矩阵。而深度学习过程将学习适当的核函数来获得这些标记的适当位置。MHSA模块中的训练过程对应于一个值得进一步研究的布朗运动。
2021-07-12 cs.LG
O-ViT: Orthogonal Vision Transformer
East China Normal University（华东师范大学）；Fujian Institute of Research on the Structure of Matter, Chinese Academy of Sciences（中国科学院福建物质结构研究所）
受自注意力机制在自然语言处理中取得的巨大成功的启发，视觉Transformer（ViT）创造性地将其应用于图像补丁序列，并取得了令人难以置信的性能。然而，ViT的缩放点积自注意带来了规模模糊的原始特征空间的结构。为了解决这个问题，我们提出了一种新的方法命名为正交视觉Transformer（O-ViT），优化ViT的几何角度。O-ViT将自注意块的参数限制在保持范数的正交流形上，这样可以保持特征空间的几何形状。O-ViT通过在正交群与其李代数之间建立满射映射，既实现了正交约束，又降低了优化开销。我们在图像识别任务上进行了对比实验，证明了O-ViT的有效性，实验结果表明，O-ViT可以将ViT的性能提高3.6%。
2022-02-16 cs.CV cs.LG
An Attention Free Transformer
Apple Inc.（苹果公司）；MILA（米拉研究所）
我们介绍注意自由Transformer（AFT），一个有效的变种Transformers，消除了点积自注意力的需要。在AFT层中，键和值首先与一组学习的位置偏差组合，其结果以元素方式与查询相乘。这种新的操作具有线性w.r.t.的内存复杂度。上下文大小和特征的维度，使其兼容大输入和模型大小。我们还介绍了AFT-local和AFT-conv，这两个模型变体利用了局部性和空间权重共享的思想，同时保持了全局连通性。我们对两个自回归建模任务（CIFAR 10和Enwik 8）以及图像识别任务（ImageNet-1 K分类）进行了广泛的实验。我们表明，AFT在所有基准测试中表现出具有竞争力的性能，同时提供出色的效率。
2021-09-21 cs.CL cs.CV cs.LG
Rethinking Decoders for Transformer-based Semantic Segmentation: A Compression Perspective
School of Artificial Intelligence（人工智能学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文从压缩视角重新解释Transformer语义分割解码器，提出白盒注意力解码器DEPICT，在ADE20K上优于Segmenter且更轻量鲁棒。
2025-10-09 cs.CV cs.LG
Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；AI for Science Institute Beijing（北京AI for Science研究院）
该研究系统分析Transformer序列建模的逼近性质，明确各组件及层数、头数等参数对表达能力的影响机制，通过显式逼近速率验证组合效应，理论结论经实验验证并为架构设计提供参考。
2024-10-30 cs.LG stat.ML
Link Prediction with Mutual Attention for Text-Attributed Networks
Université de Lyon, Lyon 2（里昂大学里昂第二大学）
在这个扩展的摘要中，我们提出了一个算法，该算法从结构化语料库的网络拓扑结构中学习文档之间的相似性度量。我们利用最近提出的一种注意力机制Scaled Dot-Product Attention来设计文档对之间的相互注意力机制。为了训练其参数，我们使用网络链路作为监督。我们提供了两个预测任务的引文数据集的初步实验结果，证明了我们的模型学习有意义的文本相似性的能力。
2019-03-20 cs.CL cs.LG cs.SI
FAST: Factorizable Attention for Speeding up Transformers
University of Maryland（马里兰大学）
受快速多极子法启发，提出可因式分解的FAST注意力机制，将Transformer复杂度降至$O(N)$，在保持注意力矩阵完整表示与全对全关系的同时实现稳健性能。
2024-02-12 cs.AI cs.LG cs.NA
Enhancing compact convolutional transformers with super attention
C.V. Raman Global University（C.V. Raman全球大学）；Assam Royal Global University（阿萨姆皇家全球大学）
本文提出一种结合令牌混合、序列池化和卷积令牌化器的视觉Transformer，在CIFAR100上显著提升准确率并降低计算成本，且训练稳定，不依赖数据增强等技术。
2025-08-26 cs.CV cs.LG
NeuroPath: A Neural Pathway Transformer for Joining the Dots of Human Connectomes
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出受生物学启发的 NeuroPath 深度模型，利用 SC-FC 耦合中的多跳拓扑绕行与 Transformer 多头注意力学习连接组表示，并在 HCP、UK Biobank 上取得最先进性能。
2024-10-27 cs.AI cs.CV cs.LG
LEMON: Lossless model expansion
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ByteDance Inc.（字节跳动公司）；Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
LEMON利用小模型预训练权重初始化大模型，配合定制学习率调度，显著降低训练成本，对Vision Transformers和BERT分别减少56.7%和33.2%的计算开销。
2023-10-12 cs.LG stat.ML
Eigen Analysis of Self-Attention and its Reconstruction from Partial Computation
Google Research（谷歌研究院）
最先进的Transformer模型使用基于成对点积的自注意力，其计算成本是输入序列长度的二次方。在本文中，我们调查的全球结构的注意力分数计算使用这种点积机制上的一个典型的分布的输入，并研究其变化的主成分。通过特征分析的完整的注意力得分矩阵，以及他们的个人行，我们发现，大部分的注意力得分之间的变化在于在一个低维的特征空间。此外，我们发现这些特征空间之间的显着重叠，为不同的层，甚至不同的Transformer模型。在此基础上，我们建议只计算分数的令牌对的一部分子集，并使用它们来估计分数的其余对。除了研究重建注意力分数本身的准确性之外，我们还研究了采用这些近似的训练Transformer模型，并分析了对整体准确性的影响。我们的分析和所提出的方法提供了如何平衡精确的成对注意力的好处及其显着的计算费用的见解。
2021-06-16 cs.LG
TD-STGT: A Spatio-Temporal Graph Transformer for Mobile Traffic Demand Forecasting
Communications Research Centre Canada（加拿大通信研究中心）；Carleton University（卡尔顿大学）
本文提出TD-STGT时空图变换器，利用人口规模需求代理预测细粒度移动流量需求变化，在加拿大五个都市区实验中达到最优性能，为5G/6G网络容量升级提供决策支持。
2026-09-09 cs.AI cs.LG cs.SY
SOFT: Softmax-free Transformer with Linear Complexity
Fudan University（复旦大学）；University of Surrey（萨里大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
视觉Transformer（ViTs）通过逐块图像标记化以及自我注意力，推动了各种视觉识别任务的最新技术。然而，自注意模块的使用导致计算和存储器使用的二次复杂度。在自然语言处理中，已经进行了各种尝试来近似具有线性复杂度的自注意计算。然而，在这项工作中的深入分析表明，他们要么是理论上有缺陷的或经验无效的视觉识别。我们进一步确定，它们的局限性根源于在近似过程中保持softmax自我注意力。具体地说，传统的自我注意力是通过标准化标记特征向量之间的缩放点积来计算的。保持这种softmax操作对后续的线性化工作提出了挑战。基于这种见解，首次提出了一种无softmax的Transformer或SOFT。为了消除自注意中的softmax，使用高斯核函数代替点积相似性，而无需进一步归一化。这使得完全自注意矩阵能够通过低秩矩阵分解来近似。近似的鲁棒性是通过使用牛顿-拉夫森方法计算其Moore-Penrose逆来实现的。在ImageNet上进行的大量实验表明，我们的SOFT显著提高了现有ViT变体的计算效率。重要的是，在线性复杂度下，SOFT中允许更长的令牌序列，从而在准确性和复杂度之间实现更好的权衡。
2022-04-30 cs.AI cs.CV cs.LG
Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors
York University（约克大学）
本文通过展开图平滑先验优化算法构建可解释轻量Transformer，用浅CNN学习图结构替代自注意力，大幅减少参数，并在图像插值中验证了性能与鲁棒性。
2024-11-05 cs.CV cs.LG eess.IV
Fast and Simplex: 2-Simplicial Attention in Triton
Meta
本文提出在 Triton 中高效实现 2-单纯 Transformer，将点积注意力推广为三线性函数，证明其在固定 token 预算下比标准 Transformer 具有更好的 token 效率，并改变了知识与推理任务的缩放定律指数。
2025-07-03 cs.AI cs.LG
Adaptive Multi-Neighborhood Attention based Transformer for Graph Representation Learning
Huazhong University of Science and Technology（华中科技大学）
通过将图的结构信息融入到Transformers中，图Transformers近年来在图表示学习方面表现出了良好的性能。现有的图Transformers利用特定的策略，例如节点对的拉普拉斯特征向量和最短路径，来保留节点的结构特征，并将它们馈送到普通的Transformer中以学习节点的表示。对于拓扑结构变化较大的任意图，这种预定义的规则很难提取信息丰富的图结构特征，限制了模型的学习能力。为此，我们提出了一个自适应图Transformer，称为多邻域注意基于图Transformer（MNA-GT），它捕获的多邻域注意力机制自适应的每个节点的图结构信息。MNA-GT通过将执行缩放点积的输入定义为注意力核，基于邻域的不同跳数构造多个注意力核，使得每个注意力核可以捕获每个节点对的对应邻域的特定图结构信息。通过这种方式，MNA-GT可以通过合并由不同注意力核学习的节点表示来有效地保留图的结构信息。MNA-GT还采用注意力层来学习不同注意力核的重要性，以使模型能够自适应地捕获不同节点的图结构信息。在各种图基准上进行了大量的实验，实证结果表明，MNA-GT优于许多强基线。
2022-11-15 cs.LG cs.SI
Choose a Transformer: Fourier or Galerkin
Washington University in St. Louis（圣路易斯华盛顿大学）
在本文中，我们首次将Attention Is All You Need中最先进的Transformer中的自注意力应用于与偏微分方程相关的数据驱动算子学习问题。努力放在一起解释的原理，并提高注意力机制的功效。利用Hilbert空间中的算子逼近理论，首次证明了在标度点积注意力中的softmax归一化是充分的，但不是必要的。在没有softmax的情况下，可以证明线性化的Transformer变体的近似能力与逐层的Petrov-Galerkin投影相当，并且估计与序列长度无关。提出了一种新的层归一化方案，该方案模仿Petrov-Galerkin投影，以允许缩放通过注意层传播，这有助于模型在具有未归一化数据的算子学习任务中实现显着的准确性。最后，我们提出了三个操作学习实验，包括粘性Burgers方程，界面达西流，和反界面系数识别问题。新提出的简单的基于注意力的算子学习器Galerkin Transformer，在训练成本和评估精度方面都比其softmax归一化的同类算法有了显着的改进。
2021-11-01 cs.LG cs.NA math.NA
Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs
Massachusetts Institute of Technology（麻省理工学院）
尽管Transformer网络在各个领域都取得了广泛的成功，但即使考虑到与3D相关的诱导偏差（如平移不变性和旋转等变性），它也尚未在3D原子图（如分子）领域的数据集上表现良好。在本文中，我们证明了Transformers可以很好地推广到3D原子图，并提出了Equiformer，这是一种利用Transformer架构的优势并基于不可约表示（irreps）结合SE（3）/E（3）-等变特征的图神经网络。首先，我们提出了一个简单而有效的架构，只取代原来的操作在Transformers与他们的等变同行，并包括张量积。使用等变操作使得能够在不使图结构复杂化的情况下在irreps特征的通道中编码等变信息。通过对Transformers的最小修改，该架构已经取得了很好的经验结果。其次，我们提出了一种新的注意力机制，称为等变图注意力，它改善了典型的注意力在Transformers，通过取代点积的注意力与多层感知器的注意力，并包括非线性消息传递。通过这两项创新，Equiformer在QM 9，MD 17和OC 20数据集上实现了与以前模型竞争的结果。
2023-02-28 cs.AI cs.LG physics.comp-ph
Scaling and Distilling Transformer Models for sEMG
Viterbi School of Engineering, University of Southern California（南加州大学工程学院）；Meta FAIR
针对sEMG任务训练数据有限、部署计算受限的问题，本文验证了普通Transformer可规模化至1.1亿参数提升跨用户性能，且能蒸馏为原大小1/50的小模型，性能损失不足1.5%，适配真实场景实时sEMG任务。
2025-07-29 cs.AI cs.HC cs.LG
Stochastic Clock Attention for Aligning Continuous and Ordered Sequences
Department of Physics Education, Seoul National University, Seoul 08826, Korea（物理教育系，首尔国立大学）；Center for Theoretical Physics and Artificial Intelligence Institute, Seoul National University, Seoul 08826, Korea（理论物理与人工智能研究所，首尔国立大学）；Artificial Intelligence Institute, Seoul National University, Seoul 08826, Korea（人工智能研究所，首尔国立大学）；School of Computational Sciences, Korea Institute for Advanced Study, Seoul 02455, Korea（计算科学学院，韩国高级研究院）
本文提出随机时钟注意力机制，将注意力建模为源与目标时钟的相遇概率，无需外部位置正则化即可实现因果、平滑、近对角线的对齐，在文本到语音任务中提升了对齐稳定性和时间缩放鲁棒性。
2025-09-18 cs.LG physics.data-an
EDiT: Efficient Diffusion Transformers with Linear Compressed Attention
Samsung, AI Center Cambridge（三星人工智能中心剑桥）
本文提出高效扩散Transformer（EDiT）及多模态MM-EDiT架构，通过引入线性压缩注意力与混合注意力方案，在保持图像质量的同时实现高达2.2倍的加速。
2025-08-11 cs.CV cs.LG
