Merging Feed-Forward Sublayers for Compressed Transformers
Johns Hopkins University（约翰斯·霍普金斯大学）
提出一种通过选择、对齐和合并Transformer中相似前馈子层的新型模型压缩方法，在保持99%性能的同时移除超21%参数，优于层剪枝基线。
2025-03-28 cs.CL cs.LG
On the Role of Transformer Feed-Forward Layers in Nonlinear In-Context Learning
Massachusetts Institute of Technology（麻省理工学院）
本文研究了Transformer在非线性函数类上的上下文学习（ICL），证明了纯线性自注意力无法胜任非线性任务，并揭示结合前馈层可实现基于多项式核回归的梯度下降，深度网络通过跨块分布计算克服了单块维度限制，从而提供可扩展的非线性表征机制。
2025-10-11 cs.AI cs.LG
FL-Tuning: Layer Tuning for Feed-Forward Network in Transformer
East China University of Science and Technology（华东理工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Tencent AI Lab（腾讯人工智能实验室）
提示微调是一种使预训练的语言模型适应下游任务的新兴方式。然而，现有的研究主要是在输入序列中添加提示。这种方法由于中间的多头自注意和前馈网络计算，使模型优化不是很顺利，不能达到预期的效果。因此，我们提出了一种新的调优方式称为层调优，旨在增加可学习的参数在Transformer层。具体而言，我们专注于前馈网络的层调谐在Transformer，即FL调谐。它在每个前馈网络的隐藏层中引入了额外的单元。我们在公共CLUE基准上进行了广泛的实验。结果表明：1）在几乎所有情况下，无论是全数据还是Few-Shot设置下，我们的FL-调谐都优于提示微调方法。特别是，与P-tuning v2相比，它在WSC 1.0上将精度提高了17.93%（全数据设置），在CLUENER上将精度提高了16.142%（Few-Shot设置）。2)我们的FL调谐更稳定，收敛速度比P调谐v2快1.17倍。3)由于只有大约3%的Transformer参数要训练，FL调整与大多数数据集上的微调相当，并且显著优于微调（例如，在WSC 1.1上的准确性提高了12.9%）。源代码可在https://github.com/genggui001/FL-Tuning上获得。
2022-06-30 cs.CL cs.LG
SAF3R: Dynamic Sparse Attention for Feed-Forward 3D Reconstruction Transformers
University of Pittsburgh（匹兹堡大学）；University of Arizona（亚利桑那大学）；Tongji University（同济大学）；University of Central Florida（中佛罗里达大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
研究前馈3D重建Transformer，分析其全局注意力模式，提出SAF3R框架，集成稀疏注意力机制、离线头部分析和在线适应策略，在保持质量同时提高稀疏率加速端到端速度。
2026-08-14 cs.CV cs.LG
Sequence-to-sequence Singing Synthesis Using the Feed-forward Transformer
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术小组）
我们提出了一种序列到序列的歌唱合成器，它避免了需要预先对齐的语音和声学特征的训练数据。而不是一个基于内容的注意力机制结合自回归解码器的更常见的方法，我们使用不同的机制，适合前馈合成。鉴于语音的时间在唱歌是高度限制的乐谱，我们得到一个近似的初始对齐的帮助下，一个简单的持续时间模型。然后，使用基于Transformer模型的前馈变体的解码器，一系列自关注和卷积层细化初始对准的结果以达到目标声学特征。这种方法的优点包括更快的推理和避免影响教师强迫训练的自回归模型的暴露偏差问题。我们评估了该模型的有效性相比，自回归基线，自我注意的重要性，以及持续时间模型的准确性的重要性。
2020-02-20 cs.LG cs.SD eess.AS
Label-Synchronous Speech-to-Text Alignment for ASR Using Forward and Backward Transformers
LINE Corporation（LINE公司）
本文提出了一种新的标签同步语音到文本对齐技术的自动语音识别（ASR）。语音到文本对齐是将具有未对齐的转录本的长音频记录分割成语音和文本的话语对的问题。与传统的基于帧同步预测的方法不同，该方法将语音到文本对齐重新定义为标签同步文本映射问题。这使得能够实现准确的对齐，受益于最先进的基于注意力的编码器-解码器模型的强推理能力，这不能应用于传统方法。两种不同的Transformer模型，即前向Transformer和后向Transformer，分别用于基于教师强迫的句尾预测来估计给定语音段的初始和最终标记。使用语料库的自发日语（CSJ）的实验表明，所提出的方法提供了一个准确的话语明智的对齐，匹配手动注释对齐的误差只有0.2%。实验结果表明，基于Transformer的CTC/Attention ASR混合模型将对齐后的语音和文本对作为额外的训练数据，可以将字符错误率降低到59.0%，明显优于基于连接主义时间分类模型的传统对齐方法的39.0%。
2021-04-21 cs.LG cs.SD eess.AS
Transformer Field Theory: A Response-Theoretic Approach to Mechanistic Interpretability
Universidade de Vigo（维戈大学）；Independent Researcher（独立研究员）
本文提出场论框架，将残差流视为深度-标记场，通过局部源插入、灵敏度场预测、经验格林函数响应和伴随变分问题来组织和预测Transformer激活修补干预，并在GPT-2风格自回归Transformer中验证了前向响应理论。
2026-06-12 cs.AI cs.LG
Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior
Microsoft（微软公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）
提出潜在循环Transformer（LRT），通过跨层循环潜在路径重用前一token的高层隐藏状态作为记忆，在不增加暂停token或额外深度循环的情况下，以约2倍基线计算实现并行训练，在匹配有效计算下提升语言建模损失和上下文学习能力，仅增加0.3%参数。
2026-09-02 cs.CL cs.LG
Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale
IIIT, Hyderabad（海得拉巴国际信息技术学院）
本文发现 LayerNorm 的逆尺度方向是后最终归一化中心激活协方差矩阵的精确代数核，可仅从参数中读取死方向，无需前向或后向传播，并在 14 个预训练模型上验证了其有效性。
2026-06-19 cs.LG stat.ML
Physics-Augmented Graph Transformers for Patch-Antenna Forward and Inverse Design
Tel Aviv University（特拉维夫大学）
提出物理增强图变换器框架，通过预测表面电流的中间监督和可微辐射损失，实现贴片天线高效正演与逆向设计，在8万样本基准上达到MSE 0.17，逆向设计相对误差降低32%。
2026-10-06 cs.LG physics.comp-ph
Feed-Forward Steering in Transformer Residual Dynamics
University of Luxembourg（卢森堡大学）；London Institute of Mathematical Sciences（伦敦数学科学研究所）
该研究扩展Transformer残差动力学理论，引入FFN作为转向场，经多模型实验验证其提升角预测性能，且切向分量对模型质量与输出多样性至关重要，还可指导块级干预的并行化应用。
2026-08-04 cs.LG math.DS
Neural Nets via Forward State Transformation and Backward Loss Transformation
Radboud University Nijmegen（奈梅亨拉德堡德大学）
这篇文章研究（多层感知器）神经网络，重点是所涉及的转换-向前和向后-为了开发一个符合标准程序语义的语义/逻辑视角。常见的两遍神经网络训练算法使这一观点特别适合。在正向方向上，神经网络充当状态Transformers。然而，在相反的方向上，神经网络将输出的损失改变为输入的损失，从而像（实值）谓词Transformer一样起作用。通过这种方式，反向传播是构造函数的，正如最近的其他工作中所示。我们通过训练一个简单的神经网络实例来说明这一观点。
2018-03-25 cs.LG cs.NE
Looping Back to Move Forward: Recursive Transformers for Efficient and Flexible Large Multimodal Models
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学）；AntGroup（蚂蚁集团）
RecursiveVLM通过递归细化机制提升多模态模型效率，实现参数复用和性能提升。
2026-02-09 cs.AI cs.LG
A Reproducibility Study of Partial Residual Ablations in Pre-LN Transformers
本文通过对10M和124M参数的预LN GPT风格Transformer开展部分残差消融可复现性研究，揭示注意力与前馈残差路径的不同作用，修正实验混淆并发布完整实验材料。
2026-11-10 cs.LG
Kformer: Knowledge Injection in Transformer Feed-Forward Layers
Zhejiang University（浙江大学）；Microsoft Research（微软研究院）
近年来，针对预训练语言模型（PTM）的知识注入模型层出不穷，但大多数研究都忽略了PTM自身的能力，即大量隐含知识存储在参数中。最近的一项研究观察到前馈网络（FFN）中的知识神经元，这些神经元负责表达事实知识。在这项工作中，我们提出了一个简单的模型，Kformer，它利用存储在PTM和外部知识，通过知识注入Transformer FFN层的知识。经验上的结果对两个知识密集型任务，常识推理（即，SocialIQA）和医学问答（即，MedQA-USMLE），证明Kformer可以比其他知识注入技术（如级联或基于注意力的注入）产生更好的性能。我们认为，所提出的简单模型和实证研究结果可能有助于社区开发更强大的知识注入方法。代码可在https://github.com/zjunlp/Kformer获得。
2022-08-10 cs.AI cs.CL cs.DB
Explicit Dropout: Deterministic Regularization for Transformer Architectures
Faculty of Information Technology and Communications（信息科技与通信学院）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出显式Dropout作为Transformer架构的确定性正则化方法，通过直接纳入训练损失来表达Dropout，提供对注意力和前馈网络层的更精细控制，并在多个任务中表现优异。
2026-04-22 cs.LG
Fighter: Unveiling the Graph Convolutional Nature of Transformers in Time Series Modeling
The University of Hong Kong（香港大学）；Reversible Inc（Reversible公司）；Hong Kong University of Science and Technology（香港科学与技术大学）
本文揭示 Transformer 编码器与 GCN 的等价性，并据此提出去除冗余投影、引入多跳图聚合的 Fighter 架构，在预测基准上兼顾性能与可解释性。
2025-10-20 cs.LG
Pay Attention when Required
NVIDIA（英伟达公司）
基于transformer的模型由交错的前馈块（捕获内容含义）和相对更昂贵的自我注意块（捕获上下文含义）组成。在本文中，我们探讨了权衡和排序的块，以改善目前的Transformer架构，并提出了PAR Transformer。它需要比Transformer-XL减少35%的计算时间，通过使用前馈块替换约63%的自注意块来实现，并保留WikiText-103语言建模基准的困惑。我们在text 8和enwiki 8数据集以及BERT模型上进一步验证了我们的结果。
2021-05-17 cs.CL cs.LG
iTransformer: Inverted Transformers Are Effective for Time Series Forecasting
Tsinghua University（清华大学）；Ant Group（蚂蚁集团）
iTransformer通过倒置Transformer的注意力与前馈网络，将时间点嵌入为变量令牌以捕捉多元相关性，在真实数据集上达到最先进性能，提升了泛化能力与回溯窗口利用率。
2024-03-14 cs.LG
Integrating Quantum-Classical Attention in Patch Transformers for Enhanced Time Series Forecasting
Linköping University（林雪平大学）；Techno International New Town
QCAAPatchTF将量子-经典混合自注意力机制集成到基于patch的transformer编码器中，通过量子原理降低计算复杂度并增强多变量相关性，在时间序列预测、分类和异常检测任务上实现了最先进的准确性和效率。
2025-03-31 cs.LG
The Discrete Charm of the MLP: Binary Routing of Continuous Signals in Transformer Feed-Forward Layers
Transformer前馈层通过二进制路由机制对连续信号进行处理，该机制在不同层中逐步形成共识与异常处理架构，验证了二进制决策在非线性处理中的有效性。
2026-03-11 cs.LG
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
The University of Tokyo（东京大学）
现有的Transformer模型的表达能力的分析需要过深的数据存储层，导致与实际使用的Transformers不一致。这主要是由于将softmax函数解释为hardmax函数的近似。通过澄清softmax函数和玻尔兹曼算子之间的联系，我们证明了具有低秩权重矩阵的单层自注意力具有完美捕获整个输入序列的上下文的能力。因此，我们表明，一层和单头Transformers有记忆能力有限的样本，和Transformers组成的一个自注意力层与两个前馈神经网络是通用的逼近连续置换等变函数的紧域。
2024-01-29 cs.LG
Interpretation of the Transformer and Improvement of the Extractor
School of Computer Science and Engineering（计算机科学与工程学院）；Northeastern University（东北大学）
本文全面解释了Transformer架构及Extractor系列，并提出一种无需额外可训练参数即可优于自注意力的Extractor改进方法，实验证明其性能更佳，为改进Transformer架构提供了新途径。
2023-11-21 cs.LG
PolyGLU: State-Conditional Activation Routing in Transformer Feed-Forward Networks
Independent researcher（独立研究者）
PolyGLU通过动态路由机制使FFN神经元可选择四种激活函数，提升模型灵活性和性能，实验表明其在标准基准测试中表现优异。
2026-03-07 cs.AI cs.ET cs.LG
A KL Lens on Quantization: Fast, Forward-Only Sensitivity for Mixed-Precision SSM-Transformer Models
本文提出一种轻量级、无需反向传播的替代敏感性分析框架，用于识别混合SSM-Transformer组件对量化退化最敏感的部分，通过KL散度指标提升边缘设备上混合模型的部署效率。
2026-04-15 cs.AI cs.LG
Pretraining Transformers with Quantized Softmax in Attention
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究探讨预训练中注意力softmax的量化近似，通过K区间注意力分析校准与代理位置的影响，发现固定窗口校准和归一化后代理可最小化验证损失差距。
2026-10-19 cs.LG
Forward-Free LLM Depth Pruning via Weight Redundancy
University of Southern California（南加州大学）；Seoul National University（首尔大学）
提出免前向传播的权重冗余剪枝方法，利用检查点权重估计层间冗余选择Transformer块，无需校准数据，性能优于现有免前向传播方法并接近基于激活的方法。
2026-09-16 cs.AI cs.LG cs.PF
RelightFormer: Feed-forward Generative Transformer for Multiview Object Relighting
Shenzhen Research Institute, The Hong Kong Polytechnic University（香港理工大学深圳研究院）
提出前馈生成式Transformer RelightFormer，通过潜在照明模块和置换不变编码实现单/多视图物体重照明，并构建大规模LOD数据集，达到最先进效果与零样本泛化。
2026-09-09 cs.AI cs.CV cs.GR
Accelerating Transformer Inference and Training with 2:4 Activation Sparsity
Meta
该研究利用Squared-ReLU激活的固有稀疏性，结合2:4硬件加速GPU稀疏模式，在无精度损失下将Transformer前馈网络的正反传播速度最高提升1.3倍，为大语言模型训练与推理加速提供了稀疏性方向的可行路径。
2025-03-20 cs.AI cs.LG
Dynamic sparsity in tree-structured feed-forward layers at scale
CITEC, Bielefeld University（比勒费尔德大学认知交互技术研究中心）；Department of Computer Science, Royal Holloway, University of London（伦敦大学皇家霍洛威学院计算机科学系）
本文研究了树状结构前馈层作为Transformer中密集MLP块的替代方案，实现条件计算无需额外路由网络。通过动态稀疏性技术，在大规模模型中实现高效的语言建模和问答任务。
2026-03-18 cs.AI cs.CL cs.LG
Transformer Acceleration with Dynamic Sparse Attention
University of California, Santa Barbara（加州大学圣巴巴拉分校）
Transformers是NLP应用的主流，在其他领域（如计算机视觉）也越来越受欢迎。尽管改进了模型质量，但巨大的计算成本使得Transformers难以部署，特别是当新兴应用中的序列长度很大时。处理注意力机制作为Transformer的重要组成部分，由于其二次复杂度，成为其执行的瓶颈。现有技术探索注意力中的稀疏模式以支持长序列建模，但是这些工作是关于静态或固定模式的。我们证明了稀疏模式是动态的，取决于输入序列。因此，我们提出了动态稀疏注意力（DSA），可以有效地利用动态稀疏的Transformers的注意。与其他方法相比，我们的方法可以实现更好的平衡精度和模型的复杂性。展望未来，我们将确定挑战并提供解决方案，以便在现有硬件（GPU）和专用硬件上实现DSA，从而实现Transformer执行的实际加速和效率改进。
2021-10-21 cs.LG
Universal Transformers
University of Amsterdam（阿姆斯特丹大学）；DeepMind（深度思维）；Google Brain（谷歌大脑）
递归神经网络（RNN）通过使用每个新数据点更新其状态来顺序处理数据，并且长期以来一直是序列建模任务的事实上的选择。然而，它们固有的顺序计算使它们训练缓慢。前馈和卷积架构最近已被证明在某些序列建模任务（如机器翻译）上取得了优异的结果，其附加优势是它们同时处理序列中的所有输入，从而易于并行化和更快的训练时间。然而，尽管取得了这些成功，但流行的前馈序列模型（如Transformer）在许多递归模型轻松处理的简单任务中无法泛化，例如，当字符串或公式长度超过训练时观察到的长度时，复制字符串或甚至简单的逻辑推理。我们提出了通用的Transformer（UT），一个并行的时间自我关注的经常性序列模型，它可以被铸造作为一个概括的Transformer模型，并解决了这些问题。UT将前馈序列模型（如Transformer）的并行性和全局感受野与RNN的经常性感应偏置相结合。我们还增加了一个动态的每位置停止机制，并发现它提高了几个任务的准确性。与标准的Transformer相比，在某些假设下，UT可以被证明是图灵完备的。我们的实验表明，UT在广泛的算法和语言理解任务上优于标准Transformers，包括具有挑战性的LAMBADA语言建模任务，其中UT实现了最新的技术水平，以及机器翻译，其中UT在WMT 14 En-De数据集上实现了比Transformers 0.9 BLEU的改进。
2019-03-05 cs.CL cs.LG stat.ML
Augmenting Self-attention with Persistent Memory
Facebook AI Research（脸书人工智能研究院）
Transformer网络在语言建模和机器翻译方面取得了重要进展。这些模型包括两个连续的模块，前馈层和自注意力层。后者允许网络捕获长期依赖性，并且通常被认为是Transformers成功的关键因素。基于这种直觉，我们提出了一个新的模型，仅由注意力层。更准确地说，我们用持久记忆向量来增强自注意力层，这些向量扮演着与前馈层类似的角色。由于这些矢量，我们可以在不降低Transformer性能的情况下移除前馈层。我们的评估显示了我们的模型在标准字符和单词级语言建模基准测试中所带来的好处。
2019-07-02 cs.CL cs.LG stat.ML
Transformers from an Optimization Perspective
University of Michigan（密歇根大学）；Fudan University（复旦大学）；Amazon Web Services（亚马逊云科技）
深度学习模型（如Transformer）通常是通过理论和经验构建的。为了提供一个补充的基础，在这项工作中，我们研究了以下问题：是否有可能找到一个能量函数的基础上的Transformer模型，使下降步骤沿着这个能量对应的Transformer向前通过？通过找到这样一个函数，我们可以将Transformers视为跨迭代的可解释优化过程的展开。这种展开的观点在过去经常被用来阐明更直接的深度模型，如MLP和CNN;然而，迄今为止，它仍然难以获得具有自注意机制（如Transformer）的更复杂模型的类似等价性。为此，我们首先概述了几个主要的障碍，然后提供配套技术，至少部分地解决他们，第一次展示了能量函数最小化和深层自我注意之间的密切联系。这种解释有助于我们对Transformers的直觉和理解，同时可能为新模型设计奠定基础。
2023-02-27 cs.LG
Wavy Transformer
Research Institute for Value-Added Information Generation（价值信息生成研究所）；JAMSTEC Center for Advanced Intelligence Project（JAMSTEC高级智能项目中心）；RIKEN（理化学研究所）；Graduate School of Information Science and Technology（信息科学与技术研究生院）；The University of Osaka（大阪大学）；Center for Advanced Intelligence Project（高级智能项目中心）
Transformers在自然语言处理（NLP）和计算机视觉（CV）领域取得了显著的成功。然而，深度Transformer模型经常遭受过度平滑的问题，其中令牌表示在它们通过连续的Transformer块时收敛到类似的值。在本文中，我们建立了一个等价的隐藏状态的动力学引起的堆叠的注意层和图神经扩散上一个完整的图。从这个角度来看，过度平滑可以被解释为潜在的扩散动力学的耗散性质的结果。出于这种物理解释，我们提出了Wavy Transformer，它由一个基于二阶波浪动力学的新型注意力层组成。我们还引入了一个前馈网络和一个规范化层，旨在保持链规则下的物理状态-速度关系，从而扩展了Transformer架构。我们进一步验证了我们提出的技术在各种Transformer模型的NLP和CV任务。结果一致地表明，Wavy Transformer以最少的附加参数提高了性能，并且没有额外的超参数调整。
2025-10-20 cs.LG
Transformer Reconstructed with Dynamic Value Attention
College of Artificial Intelligence（人工智能学院）；China University of Petroleum (Beijing)（中国石油大学（北京））
本文提出动态值注意力（DVA）方法，通过动态分配值减少冗余头和前馈网络，提升Transformer的训练效率和学习能力。
2025-12-22 cs.LG
Curvature Cryptanalysis of Smooth Transformer Feed-Forward Networks
National Institute of Standards and Technology（美国国家标准与技术研究院）；Michigan Technological University（密歇根理工大学）
该研究针对带GELU/SiLU激活的Transformer前馈网络，利用黑盒二阶观测的曲率泄漏，仅用少量查询即可恢复其内部结构，生成高保真替代模型。
2026-09-18 cs.AI cs.CR cs.LG
A Controlled Study of Attention-Only Transformers
研究针对前馈网络占Transformer多数非嵌入参数却缺相关必要性测试的情况，预训练仅注意力机制的解码器Transformer并与标准Transformer对照，发现删除前馈层成本高，重分配预算可缩小差距，还定位了剩余差距原因，预注册测试证实相关解释。
2026-07-22 cs.AI cs.CL cs.LG
Stability of Transformers under Layer Normalization
UCLA（加州大学洛杉矶分校）；UT Austin（德克萨斯大学奥斯汀分校）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；SRI International（SRI国际）；UMass Amherst（马萨诸塞大学阿姆赫斯特分校）
本文系统性研究不同层归一化放置下Transformer的前向与反向稳定性，推导相关边界、分析梯度反向传播影响，为残差步长缩放提供指导，其框架可用于检查新型Transformer架构的稳定性。
2026-08-10 cs.AI cs.LG math.OC
Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix
University of Electronic Science and Technology of China（电子科技大学）
本文提出一种通过集成替代注意力块和前馈块来增强Transformer模型的新框架，在保持表达能力的同时降低复杂度，实验显示平均性能提升12.4%，参数量减少61.3%。
2024-12-16 cs.AI cs.LG
JDI-T: Jointly trained Duration Informed Transformer for Text-To-Speech without Explicit Alignment
Kakao Corp.（卡考公司）；Kakao Enterprise Corp.（卡考企业公司）
我们提出了联合训练的持续时间通知Transformer（JDI-T），前馈Transformer与持续时间预测器联合训练，没有明确的对齐，以产生一个声学特征序列从输入文本。在这项工作中，受FastSpeech和Durian等持续时间通知网络最近成功的启发，我们进一步将其顺序的两阶段训练管道简化为单阶段训练。具体来说，我们在联合训练期间从自回归Transformer中实时提取音素持续时间，而不是预先训练自回归模型并将其用作音素持续时间提取器。据我们所知，这是第一个联合训练前馈Transformer而不依赖于单个训练管道中的预训练音素持续时间提取器的实现。我们评估所提出的模型的有效性公开可用的韩国单说话人语音（KSS）数据集相比，基线文本转语音（TTS）模型训练ESPnet-TTS。
2020-10-05 cs.CL cs.LG cs.SD
How Linear Is a Transformer Feed-Forward Block? Per-Block Linear Recoverability Is Learned, Not Architectural
Independent Research（独立研究）
通过精确最小二乘线性近似，测量训练后 Transformer 各前馈块的线性可恢复性，发现其高度异质且非单调，是学习得到的属性而非架构决定，并可用于压缩和诊断。
2026-06-19 cs.AI cs.CL cs.LG
Advancing accelerator virtual beam diagnostics through latent evolution modeling: an integrated solution to forward, inverse, tuning, and UQ problems
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出潜在演化模型（LEM），通过混合机器学习解决加速器虚拟束诊断中的正向、逆向、调优和不确定性量化问题。
2026-02-26 cs.LG physics.acc-ph
Effective Theory of Transformers at Initialization
Meta AI；Meta Platforms, Inc.（Meta平台公司）
本文对宽且深的Transformers的前向-后向信号传播进行有效理论分析，推导出初始化与训练超参数的宽度缩放建议，并在实际设置中成功训练了视觉和语言Transformers。
2023-04-04 cs.CL cs.LG hep-th
Two Steps Forward and One Behind: Rethinking Time Series Forecasting with Deep Learning
Politecnico di Milano（米兰理工大学）
本文质疑Transformer在时间序列预测中的有效性，通过实验证明简化模型常能提升性能，并提出无注意力机制的浅层模型，在长时间序列预测中达到最先进水平，同时强调使用简单基线验证模型的重要性。
2023-05-08 cs.AI cs.LG
Non-asymptotic Convergence of Training Transformers for Next-token Prediction
The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）
本文对单层Transformer在下一词元预测中的训练动态进行非渐近分析，提出两阶段训练算法，证明前馈层和注意力层均以次线性速度收敛到最大间隔解方向，且交叉熵损失具有线性收敛速率，并揭示了其在数据集偏移下的泛化能力。
2024-09-29 cs.LG stat.ML
Ordinary Least Squares is a Special Case of Transformer
Center for Peak Performance, Department of Psychology and Behavioral Sciences, Zhejiang University（高峰表现中心，心理学与行为科学系，浙江大学）；Hangzhou Higgs Asset Management Co., Ltd.（杭州恒辉资产管理有限公司）；College of Control Science and Engineering, Zhejiang University（控制科学与工程学院，浙江大学）
本文通过代数证明，揭示变换器的本质是普通最小二乘的特例，展示了注意力机制与最小二乘法的等价性，并提出变换器中的分离记忆机制。
2026-04-15 cs.AI cs.LG math.ST
Flowing Through Layers: A Continuous Dynamical Systems Perspective on Transformers
本研究将Transformer层更新视为连续动力系统的欧拉离散化，证明其收敛性及收缩性，为加速收敛和架构创新提供新视角。
2025-05-23 cs.LG math.DS
Legible-by-Construction: Attention and End-to-End Transformers
Professor School of Computer Science and Engineering University of Washington（计算机科学与工程教授 美国华盛顿大学）
研究将变换器前馈层可读化的思想应用于注意力机制，提出最小化机制及布尔变体，通过选择性压力使值通道成为可读探测器，在多注意力设计中提升了可读性，还训练了端到端可读语言模型。
2026-07-07 cs.CL cs.LG
Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；AI for Science Institute Beijing（北京AI for Science研究院）
该研究系统分析Transformer序列建模的逼近性质，明确各组件及层数、头数等参数对表达能力的影响机制，通过显式逼近速率验证组合效应，理论结论经实验验证并为架构设计提供参考。
2024-10-30 cs.LG stat.ML
Staircase Attention for Recurrent Processing of Sequences
Facebook AI Research（脸书人工智能研究院）
注意力机制已经成为序列建模任务的标准工具，特别是通过在整个输入序列上堆叠自注意力层，如在Transformer架构中。在这项工作中，我们介绍了一种新的注意力程序称为楼梯注意力，不像自我注意力，在整个序列（在时间上）通过添加另一个步骤的处理递归地处理输入。阶梯中的一个步骤由向后标记（编码到目前为止看到的序列）和向前标记（插入序列的新部分）组成，或者是一个极端的阶梯版本，向前步骤为零，简单地在阶梯的每一步上重复Transformer，共享权重。因此，我们描述了一系列这样的模型，可以权衡性能和计算，通过增加随时间推移的递归量，通过递归深度的顺序处理量，或两者兼而有之。楼梯的注意力被证明能够解决的任务，涉及跟踪，传统的Transformers不能，由于这种复发。此外，它被证明提供了改进的建模能力为相同大小的模型（参数数）相比，自我专注的Transformers对大型语言建模和对话任务，产生显着的困惑收益。
2021-06-08 cs.CL cs.LG
Which the Eye Fears: Writing with Read-Blindness Explains Massive Activations in Transformers
PsiDagger；IIT Delhi（德里印度理工学院）
本研究通过算子级机制分析发现，Transformer中巨大激活的持续存在源于注意力和前馈层在读取时忽略MA坐标的“读盲”现象，该现象先于FFN放大出现，且模型主动维持此不对称性。
2026-09-29 cs.CL cs.LG
Memory-efficient Transformers via Top-$k$ Attention
IBM Research（IBM研究院）；Tel Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
随着点积注意力在Transformers中的成功，最近提出了许多近似来解决其关于输入长度的二次复杂性。虽然这些变体是存储器和计算高效的，但是不可能在没有昂贵的校正预训练阶段的情况下将它们直接与使用普通注意力训练的流行的预训练语言模型一起使用。在这项工作中，我们提出了一个简单而高度准确的近似香草注意。我们以块的形式处理查询，并且对于每个查询，计算关于键的前$k$分数。我们的方法提供了几个优点：（a）它的内存使用在输入大小上是线性的，类似于线性注意力变体，例如Performer和RFA;（b）它是香草注意力的直接替代品，不需要任何纠正性的预训练;（c）在将前馈层转换为熟悉的查询-键值框架后，它还可以在前馈层中节省大量内存。我们评估了长距离竞技场基准上的多头注意力层以及多个QA数据集上的T5和UnifiedQA的前馈层的顶级$k$近似的质量。我们表明，我们的方法在多个设置中的准确性与香草注意力几乎相同，包括从头开始训练，微调和zero-shot推理。
2021-06-13 cs.CL cs.LG
Towards A Unified View of Sparse Feed-Forward Network in Pretraining Large Language Model
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Washington, Seattle（华盛顿大学西雅图分校）；Meta AI
本研究在稀疏神经记忆框架下分析了S-FFN的设计选择，并提出更简单的Avg-K选择方法，在预训练中比Switch Transformer和HashLayer等现有MoE架构实现了更低的困惑度。
2023-10-24 cs.CL cs.LG
