A Neural ODE Interpretation of Transformer Layers
Siemens Technology(西门子技术研究院)
Transformer层使用多头注意力和多层感知器(MLP)层的交替模式,为各种机器学习问题提供了有效的工具。由于Transformer层使用剩余连接来避免梯度消失的问题,因此它们可以被视为微分方程的数值积分。在这个扩展的摘要中,我们建立在这种连接的基础上,并提出了一个Transformer层的内部架构的修改。该模型将多头注意力子层和MLP子层并行放置。我们的实验表明,这种简单的修改提高了Transformer网络在多个任务中的性能。此外,对于图像分类任务,我们表明,使用神经ODE求解器与一个复杂的集成方案,进一步提高性能。
2022-12-12 cs.AI cs.LG
SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity
Broad Institute of MIT and Harvard(麻省理工学院与哈佛 broad 研究所);Shanghai Jiao Tong University(上海交通大学);University of Illinois, Chicago(芝加哥大学伊利诺伊分校);Amazon Web Service(亚马逊网络服务)
针对图Transformer多层注意力效率受限的问题,本文提出单层图Transformer SGFormer,其无近似的线性复杂度全局注意力可扩展至超大规模图,推理速度显著提升且标注数据需求低。
2024-09-13 cs.AI cs.LG
What One Cannot, Two Can: Two-Layer Transformers Provably Represent Induction Heads on Any-Order Markov Chains
Massachusetts Institute of Technology(麻省理工学院);École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院);University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
针对两层单头Transformer能否表示任意k阶马尔可夫过程的开放问题,本文从理论上证明其可表示任意条件k元语法,给出了ICL场景下Transformer深度与马尔可夫阶数作用关系的最紧刻画,深化了对Transformer上下文学习的理解。
2025-11-14 cs.AI cs.LG
DNNFuser: Generative Pre-Trained Transformer as a Generalized Mapper for Layer Fusion in DNN Accelerators
Georgia Institute of Technology(佐治亚理工学院)
数据流/映射决定了DNN加速器的计算和能源效率。已经提出了许多映射器来处理层内映射空间。然而,用于层间映射空间(aka层融合映射空间)的映射器很少被讨论。在这项工作中,我们提出了一个映射器,DNNFuser,专门专注于这个层融合映射空间。虽然现有的SOTA DNN映射探索依赖于基于搜索的映射器,但据我们所知,这是第一个提出基于一次性推理的映射器的工作。我们利用Transformer作为DNN架构,将层融合优化作为序列建模问题进行学习。此外,经过训练的DNNFuser可以概括其知识,并为看不见的条件推断新的解决方案。在一次推理过程中,DNNFuser可以推断出与高度优化的基于搜索的映射器找到的解决方案具有兼容性能的解决方案,同时速度提高66 - 127倍。
2022-06-07 cs.AI cs.LG
Improving Parameter Utilization by Sharing Neural Experts Across Layers in Transformers
China Electronics Cloud Technology Co., Ltd.(中国电子云科技有限公司)
针对Transformer层间参数冗余,提出跨层共享专家的CS-MoE架构,实现更低困惑度并仅激活55%参数,为计算受限环境提供高效方案。
2026-09-22 cs.AI cs.LG
What Does Layer-Importance Reveal About Transformers and State-Space Models?
Chandar Research Lab(Chandar 研究实验室);Mila - Quebec AI Institute(Mila - 魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔理工学院)
本研究通过分解层重要性为必要性和可塑性,发现Transformer中两者反对齐而SSM中重叠,且对齐符号预测下游适应行为,影响灾难性遗忘。
2026-09-16 cs.AI cs.LG
Layer Specialization Underlying Compositional Reasoning in Transformers
ENS, Université PSL, EHESS, CNRS(高等科学研究院、巴黎高等科学研究所、国家科学研究中心)
该研究利用 Random Hierarchy Model 分析 Transformer 的组合推理,揭示层特化随训练逐步形成,并与不同泛化条件下的性能相关。
2025-10-20 cs.AI cs.LG
ReSAE: Residualized Sparse Autoencoders for Multi-Layer Transformer Interventions
Georgia Institute of Technology(佐治亚理工学院)
针对多层稀疏自编码器(SAE)在Transformer中因层间耦合导致的冗余和交互问题,提出残差化稀疏自编码器(ReSAE),通过拟合层间仿射映射并训练SAE于残差上,减少解码器冗余并提升多层替换下的交叉熵恢复。
2026-05-27 cs.AI cs.LG
Transformer-based ASR Incorporating Time-reduction Layer and Fine-tuning with Self-Knowledge Distillation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
端到端自动语音识别(ASR)与传统的ASR不同,它不具有从语音编码器学习语义表示的模块。此外,语音表示的较高帧率阻碍了模型正确地学习语义表示。因此,在较低帧率下构建的语音编码器模型具有较好的性能。对于基于transformer的ASR,较低的帧速率不仅对于学习更好的语义表示很重要,而且对于降低计算复杂性也很重要,因为自注意力机制在训练和推理中都具有O(n^2)阶的复杂性。在本文中,我们提出了一个基于transformer的ASR模型的时间减少层,其中我们将时间减少层内的Transformer编码器层除了传统的子采样方法输入的功能,进一步降低帧速率。这可以帮助降低用于训练和推理的自注意过程的计算成本,同时提高性能。此外,我们引入了一个微调的预训练ASR模型使用自知识蒸馏(S-KD),进一步提高了我们的ASR模型的性能。LibriSpeech数据集上的实验表明,我们提出的方法优于所有其他基于transformer的ASR系统。此外,通过语言模型(LM)融合,我们在没有任何外部数据的情况下,仅用3000万个参数训练基于Transformer的ASR模型,就实现了新的最先进的单词出错率(WER)结果。
2021-03-17 cs.AI cs.LG
Transformers Can Overcome the Curse of Dimensionality: A Theoretical Study from an Approximation Perspective
School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院);Hubei Key Laboratory of Computational Science, Wuhan University(湖北省计算科学重点实验室);Department of Mathematics, The Hong Kong University of Science and Technology(香港科技大学数学系)
本文从逼近视角理论研究Transformer,构建出可克服维度灾难的Transformer结构,基于Kolmogorov-Arnold定理简化证明,提出平移技术,证实Transformer对Hölder连续函数类的高效逼近能力。
2025-04-18 cs.AI cs.LG
Uncovering Layer-Dependent Activation Sparsity Patterns in ReLU Transformers
Google Research(谷歌研究院)
本研究针对ReLU Transformer中MLP的激活稀疏性问题,深入探究token级稀疏性的训练演变及层间差异,发现首尾层稀疏模式反向、神经元死亡由训练动态驱动,为理解模型不同深度的特征表示结构提供了新依据。
2024-07-10 cs.AI cs.LG
Parity, Sensitivity, and Transformers
CENIA;IPPT PAN;Queen Mary University of London(伦敦大学Queen Mary)
本文研究了变换器计算奇偶性任务的最小层数,证明单层变换器无法解决该任务,而两层变换器可实现,并提出改进的构造方法去除不切实际的假设。
2026-09-09 cs.AI cs.LG
Different Layers, Different Manifolds: Module-Wise Weight-Space Geometry in Transformer Optimization
School of Engineering Science, The University of Osaka(大阪大学工程科学学院)
研究Transformer不同模块偏好不同流形几何,提出为注意力层和MLP层分别分配Stiefel和DGram约束,在GPT-2预训练中取得最佳性能。
2026-06-12 cs.AI cs.LG
Symmetry Reveals Layerwise Dynamics: How Transformers Perform In-Context Classification
Boston University, Departments of Computer Science
通过强制特征和标签排列等变性,从Transformer中提取出显式的深度索引递归更新规则,揭示了上下文分类的几何驱动算法。
2026-08-11 cs.AI cs.LG
Revisiting Transformer Layer Parameterization Through Causal Energy Minimization
Microsoft(微软);Microsoft Research Cambridge(微软研究院剑桥)
本文提出因果能量最小化框架,将Transformer层视为条件能量函数的优化步骤,揭示了权重共享、低秩交互等设计空间,验证了在百万人参数规模下,能量引导的层设计能稳定训练并匹配基线模型。
2026-05-08 cs.AI cs.LG stat.ML
Impact of Layer Norm on Memorization and Generalization in Transformers
本文针对Pre/Post-LayerNorm两类Transformer,探究LayerNorm对模型记忆与学习能力的影响,明确不同位置LayerNorm的作用差异,通过多数据集多模型实验验证结论,为理解LayerNorm的作用提供新视角。
2025-11-13 cs.AI cs.CL cs.CV
Stability of Transformers under Layer Normalization
UCLA(加州大学洛杉矶分校);UT Austin(德克萨斯大学奥斯汀分校);UNC Chapel Hill(北卡罗来纳大学教堂山分校);SRI International(SRI国际);UMass Amherst(马萨诸塞大学阿姆赫斯特分校)
本文系统性研究不同层归一化放置下Transformer的前向与反向稳定性,推导相关边界、分析梯度反向传播影响,为残差步长缩放提供指导,其框架可用于检查新型Transformer架构的稳定性。
2026-08-10 cs.AI cs.LG math.OC
Transformer tricks: Precomputing the first layer
OpenMachine
本文提出一种预计算Transformer第一层部分内容的推理加速技巧,可降低带RoPE的Transformer模型的推理延迟与单token成本,节省量随模型总层数变化,已开源相关代码。
2024-03-12 cs.LG
One-Layer Transformer Provably Learns One-Nearest Neighbor In Context
Princeton University(普林斯顿大学);The University of Hong Kong(香港大学);Northwestern University(西北大学)
本文从理论上证明,使用梯度下降训练的单层Transformer能学会在上下文中实现最近邻分类器,揭示了其实现非参数机器学习算法的机制及softmax注意力的作用。
2024-11-16 cs.AI cs.LG math.OC
Improving Graph Convolutional Networks with Transformer Layer in social-based items recommendation
HMI Lab VNU University of Engineering and Technology(河内国立大学工程与技术大学 HMI 实验室)
本文提出在GCN中引入Transformer编码器层,通过注意力机制重排节点特征空间,提升社交网络评分预测和链接预测性能。
2024-01-12 cs.AI cs.IR cs.LG
MoEUT: Mixture-of-Experts Universal Transformers
Stanford University(斯坦福大学);Center for Brain Science, Harvard University(哈佛大学脑科学中心);The Swiss AI Lab IDSIA, USI & SUPSI(瑞士IDSIA人工智能实验室(隶属于瑞士意大利语区大学与瑞士南部应用科学大学));AI Initiative, KAUST(阿卜杜拉国王科技大学人工智能倡议)
提出基于混合专家的共享层Transformer架构MoEUT,通过结合MoE进展与新型层归一化和分组方案,首次在BLiMP和PIQA等语言建模任务上以更少计算和内存略优于标准Transformers。
2024-10-13 cs.AI cs.LG cs.NE
On the Theory of Implicit Deep Learning: Global Convergence with Implicit Layers
Harvard University(哈佛大学)
深度平衡模型使用隐式层,隐式层通过无限计算序列的平衡点来隐式定义。它避免了任何显式计算的无穷序列找到一个平衡点直接通过求根和计算梯度通过隐式微分。本文分析了仅在权矩阵和权的非凸目标函数上具有非线性的深度均衡模型的梯度动力学,用于回归和分类。尽管非凸性,收敛到全局最优的线性速率是保证没有任何假设的模型的宽度,允许宽度小于输出尺寸和数据点的数量。此外,我们还证明了深隐层的梯度动力学与浅显层的信赖域牛顿法的动力学之间的关系。这个数学上证明的关系以及我们的数值观察表明,理解隐层的隐偏置的重要性和一个开放的问题。我们的证明涉及隐层、权捆绑和权的非线性,与相关文献中的证明不同。
2021-02-18 cs.AI cs.CV cs.LG
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
The University of Tokyo(东京大学)
现有的Transformer模型的表达能力的分析需要过深的数据存储层,导致与实际使用的Transformers不一致。这主要是由于将softmax函数解释为hardmax函数的近似。通过澄清softmax函数和玻尔兹曼算子之间的联系,我们证明了具有低秩权重矩阵的单层自注意力具有完美捕获整个输入序列的上下文的能力。因此,我们表明,一层和单头Transformers有记忆能力有限的样本,和Transformers组成的一个自注意力层与两个前馈神经网络是通用的逼近连续置换等变函数的紧域。
2024-01-29 cs.LG
When Does Recurrence Become an Algorithm? Convergence Selection in Weight-Tied Looped Transformers
Fudan University(复旦大学);Peking University(北京大学)
研究权重绑定循环变换器何时实现算法,通过群字问题得出预算定律、架构先验决定算法等四个发现,介绍收敛时间缩放工具并验证其因果关系,结果可复现。
2026-07-24 cs.AI cs.LG stat.ML
LayerShuffle: Enhancing Robustness in Vision Transformers by Randomizing Layer Execution Order
University of Copenhagen(哥本哈根大学);IT University of Copenhagen(哥本哈根信息技术大学)
针对人工神经网络测试时对层剪枝或打乱操作鲁棒性不足的问题,提出LayerShuffle方法,通过训练时随机化视觉Transformer注意力模块执行顺序,使其测试时适应任意层序(精度降约20%),且剪枝后性能优雅下降。
2024-12-06 cs.AI cs.CV cs.LG
DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
DAGFormer是一种Transformer语言模型,通过联合训练的拓扑预测器全局规划跨层连接,在多个参数规模、评估任务及结构化剪枝场景下均优于普通Transformer和现有路由基线。
2026-10-15 cs.AI cs.CL cs.LG
Analogies between Transformer Layers and Power Method
本文揭示了Transformer层中的操作(投影和层归一化,忽略前馈神经网络)与幂法步骤之间的类比,并证明通过层后token倾向于与该层输出权重矩阵和值权重矩阵乘积的主特征向量对齐,同时提出了一种将Transformer输出导向任意期望方向的方法。
2026-05-25 cs.LG
One-layer transformers fail to solve the induction heads task
Columbia University(哥伦比亚大学);New York University(纽约大学)
通过通信复杂度论证证明,单层Transformer的规模需比双层Transformer呈指数级增大才能解决归纳头任务。
2024-08-26 cs.LG stat.ML
Universal Approximation Theorem for a Single-Layer Transformer
Department of Computer Science, University of Sana'a(萨那大学计算机科学系)
本文研究了深度学习与Transformer的数学基础,证明包含自注意力层和ReLU位置前馈网络的单层Transformer能以任意精度近似紧致域上的连续序列到序列映射,推进了模型的理论理解。
2025-07-11 cs.AI cs.LG stat.ML
InfoFlow: A Framework for Multi-Layer Transformer Analysis
Department of Mathematics(数学系);National University of Singapore(新加坡国立大学);Institute for Functional Intelligent Materials(功能智能材料研究所)
该研究通过分析多层Transformer的近似能力,揭示了其与单层Transformer的根本差异,并提出InfoFlow框架以提升多层Transformer的近似效率。
2026-05-18 cs.LG
Diversity of Transformer Layers: One Aspect of Parameter Scaling Laws
Nara Institute of Science and Technology(奈良科学技術大學);RIKEN Center for Advanced Intelligence Project(RIKEN先進 Intelligenceプロジェクト);Chungnam National University(Chungnam國立大學);The University of Tokyo(東京大學);Institute of Science Tokyo(東京科學研究院)
本文通过偏置-多样性分解与信息论多样性分析Transformer层,揭示层数增加仅在新增层行为多样时提升性能,且增益具有子模性。
2025-06-06 cs.AI cs.CL cs.LG
Lower bounds for one-layer transformers that compute parity
Daniel Hsu(丹尼尔·胡)
该研究证明,除非头数与后处理函数次数的乘积与输入长度线性增长,否则无法用有理函数后处理的自注意力层表示异或函数,并扩展了ReLU网络的自注意力层。
2026-05-12 cs.LG
Theoretical limitations of multi-layer Transformer
UC Berkeley(加州大学伯克利分校);Simons Institute, UC Berkeley(加州大学伯克利分校西蒙斯研究所)
本研究首次证明多层仅解码器Transformer的无条件下界,提出多方自回归通信模型及新证明技术,揭示其深度-宽度权衡、编码器-解码器差异及思维链优势,推动对Transformer计算能力的理论理解。
2024-12-04 cs.AI cs.CC cs.DS
No Free Swap: Protocol-Dependent Layer Redundancy in Transformers
Independent Researcher(独立研究者)
本文研究了Transformer中层冗余问题,通过比较替换和交换两种协议,发现它们在压缩中的效果存在显著差异,且在相同评估器下,不同协议可能导致层剪枝结果的变化,尤其在高替换距离时更为明显。
2026-05-18 cs.AI cs.CL cs.LG
What Matters in Transformers? Not All Attention is Needed
University of Maryland, College Park(马里兰大学帕克分校)
本文研究Transformer中注意力层与MLP层的冗余问题,发现大量注意力层可被剪枝且性能损失极小,并提出联合丢弃注意力层和MLP层的方法,在保持性能的同时显著提升推理效率。
2024-10-17 cs.AI cs.CL cs.LG
GRIT: Graph Transformer For Internal Ice Layer Thickness Prediction
Department of Computer Science and Engineering(计算机科学与工程系);Lehigh University(莱斯大学);Department of Civil and Environmental Engineering(土木与环境工程系)
GRIT是一种结合图神经网络与注意力机制的图变换器,用于预测雷达图像中内部冰层厚度,通过映射浅深层关系,实现比基线更低的预测误差。
2025-07-10 cs.LG
Are More Layers Beneficial to Graph Transformers?
Peking University(北京大学);Microsoft Research(微软研究院)
尽管在许多神经架构中已经证明了深入是成功的,但现有的图形Transformers相对较浅。在这项工作中,我们探讨了更多的层是否有利于图形Transformers,并发现目前的图形Transformers遭受的瓶颈,提高性能的增加深度。我们进一步分析发现,这是因为深度图Transformers受到全局注意力消失能力的限制,限制了图Transformer对关键子结构的关注,无法获得表达特征。为此,我们提出了一种新的图形Transformer模型DeepGraph,它在编码表示中显式地使用子结构标记,并在相关节点上应用局部注意力以获得基于子结构的注意力编码。我们的模型增强了全局注意力集中在子结构上的能力,并提高了表示的表达能力,解决了自注意力随着图Transformer的深化而受到限制的问题。实验表明,我们的方法解开了图Transformers的深度限制,并在具有更深模型的各种图基准测试中获得了最先进的性能。
2023-03-01 cs.LG
Training Dynamics of Transformers on Unbounded Inputs: Attention Learning Can Lag Output Layer Learning
Technical University of Munich(慕尼黑工业大学)
该研究针对无界输入下Transformer的训练动力学,发现注意力学习可滞后于输出层学习,提出三阶段梯度下降训练法,验证其在多类任务中有效。
2026-10-14 cs.LG
Multi-Layer Transformers Gradient Can be Approximated in Almost Linear Time
The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Tsinghua University(清华大学);The Simons Institute for the Theory of Computing at the University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所);University of Pennsylvania(宾夕法尼亚大学)
本文针对多层Transformer模型自注意力机制计算梯度存在的二次时间复杂度瓶颈,提出一种新颖的快速近似方法,在近线性时间内计算梯度并保持多项式级微小误差,适用于包含残差连接等子模块的一般损失函数,有望促进长上下文语言模型的高效训练与部署。
2024-10-15 cs.AI cs.CL cs.LG
Concise One-Layer Transformers Can Perform Dictionary Lookup
Umeå University(于默奥大学);Yale University(耶鲁大学)
本文研究简洁单层Transformer能否执行从[n]到[n]的任意函数求值任务,证明在特定输入表示下可行,但在函数输入和值仅编码于不同位置时不可行;简洁两层Transformer在更困难表示下也能完成,实验验证了理论结果与实际可学习性的大致对齐。
2026-10-28 cs.LG
Training Graph Neural Networks with 1000 Layers
Intel Labs(英特尔实验室);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
深度图神经网络(GNN)在具有数百万个节点和边的越来越大的图数据集上的各种任务上取得了优异的结果。然而,由于节点、边和中间激活的数量巨大,在为实际应用训练深度GNN时,内存复杂性已成为一个主要障碍。为了提高GNN的可扩展性,先前的工作提出了智能图采样或划分策略,以训练具有较小的节点或子图集合的GNN。在这项工作中,我们研究了可逆连接,群卷积,权重绑定和平衡模型,以提高GNN的记忆和参数效率。我们发现,可逆连接与深度网络架构相结合,可以训练过参数化的GNN,这些GNN在多个数据集上的性能明显优于现有方法。我们的模型RevGNN-Deep(1001层,每个层80个通道)和RevGNN-Wide(448层,每个层224个通道)都是在单个商品GPU上训练的,并在ogbn蛋白质数据集上实现了$87.74 \pm 0.13$和$88.24 \pm 0.15$的ROC-AUC。据我们所知,RevGNN-Deep是文献中最深的GNN。请访问我们的项目网站https://www.deepgcns.org/arch/gnn1000了解更多信息。
2022-04-11 cs.AI cs.LG cs.SI
GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression
MWS AI(MWS人工智能公司);ITMO University(圣彼得堡国立信息技术机械与光学大学)
提出免训练的跨层权重配对与共享字典分解框架,保留层几何结构,实现高效压缩并优于现有方法。
2026-11-13 cs.LG
Swapout: Learning an ensemble of deep architectures
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们描述了一种新的随机训练方法Swapout,它的性能优于相同网络结构的ResNet,在CIFAR-10和CIFAR-100上取得了令人印象深刻的结果。交换样本来自一组丰富的架构,包括辍学,随机深度和残留架构作为特殊情况。当被视为一种正则化方法时,swapout不仅抑制了层中单元的共同适应,类似于dropout,而且还跨网络层。我们推测,swapout实现强正则化隐式绑定跨层的参数。当被视为一种集成训练方法时,它比现有的方法(如dropout或随机深度)采样更丰富的架构集。我们提出了一个参数化,揭示了连接到现有的架构,并提出了一个更丰富的架构进行探索。我们表明,我们的公式提出了一种有效的训练方法,并验证了我们对CIFAR-10和CIFAR-100匹配最先进准确性的结论。值得注意的是,我们的32层更宽的模型与1001层的ResNet模型表现相似。
2016-05-20 cs.CV cs.LG cs.NE
GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
Transformer结构由一系列编码器和解码器网络层堆叠而成,在神经机器翻译中取得了重大发展。然而,vanilla Transformer主要利用顶层表示,假设较低层提供琐碎或冗余的信息,因此忽略了潜在有价值的底层功能。在这项工作中,我们提出了组转换器模型(GTrans),灵活地将编码器和解码器的多层表示分为不同的组,然后融合这些组特征来生成目标词。为了验证该方法的有效性,在IWLST-14、IWLST-17、LDC、WMT-14和OPUS-100等三个双语翻译基准和两个多语种翻译任务上进行了大量实验和分析实验。实验和分析结果表明,我们的模型优于它的Transformer同行一致的增益。此外,它可以成功地扩展到60个编码器层和36个解码器层。
2022-11-07 cs.CL cs.LG
Flowing Through Layers: A Continuous Dynamical Systems Perspective on Transformers
本研究将Transformer层更新视为连续动力系统的欧拉离散化,证明其收敛性及收缩性,为加速收敛和架构创新提供新视角。
2025-05-23 cs.LG math.DS
Explainable AI: Context-Aware Layer-Wise Integrated Gradients for Explaining Transformer Models
College of Engineering and Applied Science, University of Colorado Colorado Springs(科罗拉多州立大学工程与应用科学学院)
本文提出了一种上下文感知分层集成梯度框架(CA-LIG),用于解释Transformer模型的决策过程,通过计算每个Transformer块内的分层集成梯度,并将这些token级属性与类特定的注意力梯度融合,从而生成具有符号和上下文敏感性的属性图,以捕捉支持和反对的证据,并追踪Transformer层中的相关性层次流动。
2026-05-19 cs.AI cs.CL cs.CV
MLKV: Multi-Layer Key-Value Heads for Memory Efficient Transformer Decoding
Institut Teknologi Bandung(万隆理工学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对Transformer自回归推理中KV缓存导致的内存瓶颈,提出跨层共享KV的MLKV方法,在性能损失极小的前提下将内存占用较MQA降低6倍,助力模型高效部署。
2024-10-15 cs.LG
When Does Depth Matter For In-Context Learning? Adaptive Inference in Deep Transformers
Joseph Henry Laboratories of Physics, Princeton University(普林斯顿大学约瑟夫·亨利物理实验室)
提出深度变换器作为平均场交互系统实现分布式推理的理论,利用函数向量逐层推断潜在上下文变量,在上下文回归任务中预测非高斯分层结构与深度的关系,并通过约束线性注意力变换器验证。
2026-11-20 cs.AI cs.LG physics.app-ph
AutoCompress: Critical Layer Isolation for Efficient Transformer Compression
Independent Researcher(独立研究者)
本文提出AutoCompress,通过保护第0层并压缩中间层,实现Transformer压缩,实验表明在WikiText-103上取得优异性能。
2026-04-04 cs.LG
One-Layer Transformer Provably Learns Multiclass One-Nearest Neighbor in Context
James B. Conant High School(詹姆斯·B·柯南特高中);Illinois Institute of Technology(伊利诺伊理工大学)
该研究将单层Transformer与最近邻分类器的等价性从二分类扩展至多分类,证明带argmax头的单层Transformer等价于多分类单最近邻,填补了前期研究的空白。
2026-09-02 cs.LG stat.ML
What Can Transformer Learn with Varying Depth? Case Studies on Sequence Learning Tasks
The University of Hong Kong(香港大学)
本文通过设计序列学习任务,系统研究了Transformer深度对其记忆、推理、泛化和上下文泛化能力的影响,发现不同能力所需的最小注意力层数不同,并指出复杂任务可由单层可执行的简单操作组合并通过堆叠多层注意力层解决。
2024-04-02 cs.LG
DeepNet: Scaling Transformers to 1,000 Layers
Microsoft Research(微软研究院)
在本文中,我们提出了一个简单而有效的方法来稳定极深的Transformers。具体来说,我们引入了一个新的规范化函数(DeepNorm)来修改Transformer中的剩余连接,并伴随着理论推导的初始化。深入的理论分析表明,模型更新可以以稳定的方式有界。所提出的方法结合了两个世界中最好的,即,Post-LN的良好性能和Pre-LN的稳定训练,使DeepNorm成为首选。我们成功地将Transformers扩展到1,000层(即,2,500个注意力和前馈网络子层),这比之前的深度Transformers要深一个数量级。值得注意的是,在一个具有7,482个翻译方向的多语言基准测试中,我们的200层模型(3.2B参数)的性能明显优于48层最先进的模型(12 B参数)5个BLEU点,这表明了一个有希望的缩放方向。
2022-03-01 cs.CL cs.LG
On the Expressivity Role of LayerNorm in Transformers' Attention
Carnegie Mellon University(卡内基梅隆大学);Technion(以色列理工学院)
本文揭示LayerNorm通过投影和缩放两个几何操作增强Transformer注意力表达性,使其能平等关注所有键且防止键不可选,实验证明其在语言建模和简单函数计算中的有效性。
2023-05-11 cs.LG
AttnLRP: Attention-Aware Layer-Wise Relevance Propagation for Transformers
Fraunhofer Heinrich-Hertz-Institute(弗劳恩霍夫海因茨·赫兹研究所);Technische Universität Berlin(柏林工业大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所(BIFOLD))
本文提出AttnLRP方法,通过扩展逐层相关性传播以处理注意力层,首次实现对Transformer输入和潜在表示的高效忠实归因,并在多个模型上验证其优越性。
2024-06-10 cs.AI cs.CL cs.CV