Initialization is Critical to Whether Transformers Fit Composite Functions by Reasoning or Memorizing
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；Shanghai Seres Information Technology Co., Ltd（上海赛尔斯信息技术有限公司）；Center for LLM, Institute for Advanced Algorithms Research（高级算法研究院大语言模型中心）
该研究发现参数初始化尺度决定Transformer学习推理型还是记忆型组合解，揭示了两类解的不同机制与低复杂度偏差的作用，提出初始化率$γ$作为可调超参数，为调节模型推理与记忆能力提供了新视角。
2025-01-13 cs.LG
Procedural Core: A Compact Recurrent Initialization for Vision Transformers
Australian Institute for Machine Learning (AIML), Adelaide University（阿德莱德大学澳大利亚机器学习研究所）；Bielefeld University（比勒费尔德大学）；Metacognition AI；Idiap Research Institute（Idiap 研究所）
提出程序化核心初始化方法，用极小循环Transformer在程序化数据上训练紧凑权重，扩展后可初始化任意ViT，在图像分类、自监督学习等任务上超越随机初始化，证明Transformer无需从零开始。
2026-09-30 cs.CV cs.LG
Merging Text Transformer Models from Different Initializations
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta
本研究提出一种模型合并技术，探究不同初始化Transformer极小值间关系，发现其损失障碍低于模型平均，表明极小值更平缓且不孤立，为合并独立训练的Transformer模型奠定基础。
2024-12-16 cs.AI cs.CL cs.LG
In-Context Learning of a Linear Transformer Block: Benefits of the MLP Component and One-Step GD Initialization
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文研究线性Transformer块的上下文学习能力，证明其结合MLP组件可实现接近贝叶斯最优的ICL风险，并揭示其与一步梯度下降估计器的对应关系，凸显MLP层在降低近似误差中的关键作用。
2024-02-22 cs.CL cs.LG stat.ML
Mimetic Initialization of Self-Attention Layers
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
针对小数据集训练Transformer困难的问题，提出模仿预训练模型权重模式的闭式初始化方案，显著提升了原始Transformer在视觉任务上的训练速度与准确率。
2023-05-16 cs.AI cs.CV cs.LG
Multimodal Object Query Initialization for 3D Object Detection
Robert Bosch GmbH, Corporate Research（罗伯特·博世有限公司 企业研究部）；Delft University of Technology（代尔夫特理工大学）；Ulm University（乌尔姆大学）
针对现有3D检测查询初始化过度依赖LiDAR、图像利用不足且延迟高的问题，提出EfficientQ3M多模态初始化与模态平衡解码器，在nuScenes上提升性能与效率。
2023-10-16 cs.CV cs.LG
Weight subcloning: direct initialization of transformers using larger pretrained ones
Apple（苹果公司）
该研究提出权重亚克隆技术，通过神经元重要性排序降维、删减模块两步，用大尺寸预训练Transformer初始化小模型，显著提升了视觉与语言Transformer的训练速度。
2023-12-14 cs.CL cs.CV cs.LG
Global Convergence of Gradient Descent for Deep Linear Residual Networks
Princeton University（普林斯顿大学）
通过提出一种新的初始化方法：零非对称（ZAS）初始化，分析了深度线性残差网络的梯度下降算法的全局收敛性.它的动机是避免鞍点的稳定流形。我们证明了在ZAS初始化下，对于任意目标矩阵，梯度下降算法在$O(L^3 \log(1/\varepsilon))$迭代中收敛到$\varepsilon$ -最优点，该最优点与网络深度$L$成多项式关系.我们的结果和标准初始化（Xavier或近似恒等式）的$\exp(Ω(L))$收敛时间[Shamir，2018]一起证明了残差结构和初始化在深度线性神经网络优化中的重要性，特别是当$L$很大时。
2019-11-02 cs.LG stat.ML
On the Convergence of Encoder-only Shallow Transformers
EPFL（洛桑联邦理工学院）；University of Warwick（华威大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对有限宽度仅编码器浅层 Transformer，本文分析 softmax、缩放与 He/LeCun 初始化，证明二次超参数化足以实现全局收敛，并辅以 NTK 比较。
2023-11-02 cs.LG
Foldable SuperNets: Scalable Merging of Transformers with Different Initializations and Tasks
Electrical and Computer Engineering Department, Technion（技术学院电子与计算机工程系）；Habana Labs – An Intel company（英特尔旗下Habana实验室）
本文提出 FS-Merge 方法，通过训练包含冻结原始模型权重的 SuperNet 并进行折叠，解决了不同初始化和任务下 Transformer 的合并难题，在低数据场景下取得 SOTA 结果。
2025-08-15 cs.LG
Learning interpretable positional encodings in transformers depends on initialization
Mathematics \& Theoretical Computer Science Department, IBM Research, NY, USA；QIMR Berghofer Medical Research Institute Brisbane, QLD, Australia
本研究探讨了Transformer中可学习位置编码的初始化对其学习可解释编码及提升泛化能力的影响，通过三个实验验证了小范数初始化的优势。
2025-06-23 cs.LG
Fast Global Convergence for Low-rank Matrix Recovery via Riemannian Gradient Descent with Random Initialization
本文对黎曼流形上的一类低秩矩阵恢复问题提出了一个新的整体分析框架。我们分析了随机初始条件下黎曼优化的全局性态。我们使用黎曼梯度下降算法来最小化最小二乘损失函数，并研究了渐近行为以及精确的收敛速度。我们揭示了一个以前未知的几何性质的低秩矩阵流形，这是虚假的临界点的存在简单的最小二乘函数的流形上。我们表明，在某些假设下，黎曼梯度下降开始从一个随机的初始化，以高概率避免这些虚假的临界点，只有在接近线性收敛速度收敛到地面真相，即$\mathcal{O}(\text{log}(\frac{1}ε)+ \text{log}(n))$迭代，以达到$ε$ -准确的解决方案。我们使用两个应用程序作为我们的全局分析的例子。第一个是秩1矩阵恢复问题。第二个是高斯相位恢复问题的推广。它只满足弱等距性，但除了多了一个鞍集外，其行为与第一个相似。我们的收敛保证是接近最优的，几乎是无量纲的，这充分解释了数值观测。全局分析可以潜在地扩展到具有随机测量结构和经验最小二乘损失函数的其他数据问题。
2021-04-19 cs.IT cs.LG math.IT
From Condensation to Rank Collapse: A Two-Stage Analysis of Transformer Training Dynamics
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；Institute of Natural Sciences, MOE-LSC, CMA-Shanghai, Shanghai Jiao Tong University（上海交通大学自然科学院）
本文提出两阶段框架分析Transformer训练动力学，揭示从凝聚到秩坍缩的演化过程，并推广了经典定向收敛结果。
2025-10-08 cs.LG
Weight Initialization and Variance Dynamics in Deep Neural Networks and Large Language Models
University of Florida（佛罗里达大学）
本文通过理论分析和实证，研究了深度神经网络与GPT-2风格Transformer中的权重初始化，发现Kaiming初始化优于Xavier，并揭示了层间方差均衡规律，为稳健训练提供了实用指导。
2025-10-10 cs.LG
Global Convergence of Four-Layer Matrix Factorization under Random Initialization
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）；Paul G. Allen School of Computer Science and Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）；Electrical and Computer Engineering（电气与计算机工程）
针对随机初始化下通用深度矩阵分解缺乏全局收敛保证的问题，本文证明了带平衡正则的四层矩阵分解上随机初始化梯度下降的多项式时间全局收敛性，拓展了相关收敛理论。
2025-11-19 cs.LG math.OC stat.ML
Fair Marriage Principle and Initialization Map for the EM Algorithm
流行的期望最大化算法收敛理论解释了观测到的不完全数据对数似然L和完全数据对数似然Q是正相关的，我们可以通过最大化Q来最大化L。为了避免Q值局部最大，提出了确定性退火EM（DAEM）算法。本文给出了不同的结论：1）流行的收敛理论是错误的; 2）局部最大Q值可以影响收敛速度，但不能阻止全局收敛; 3）两个分量之间的不公平竞争与婚姻竞争一样，会大大降低全局收敛速度; 4）局部收敛是因为样本太小，存在不公平竞争; 5）提出了一种改进的期望最大化算法，称为信道匹配（CM）期望最大化算法，它能加速算法的全局收敛。本文以DAEM算法的作者研究的二元混合高斯模型为例，给出了一个以两个均值为两个轴的初始化映射。该映射可以反映出不同初始值的收敛速度以及某些区域的点不适合作为初始点的原因。二维算例表明，大样本或公平初始化可以避免全局收敛。对于更复杂的混合模型，我们需要进一步研究如何将公平婚姻原则转化为具体的初始化方法。
2020-07-25 cs.LG stat.ML
Discrete Cosine Transform Based Decorrelated Attention for Vision Transformers
Machine and Hybrid Intelligence Lab, Northwestern University（机器与混合智能实验室，西北大学）；Department of Electrical and Computer Engineering, University of Illinois Chicago（电气与计算机工程系，伊利诺伊大学香槟分校）
本文提出基于DCT的去相关注意力机制，通过改进初始化策略和压缩技术提升视觉Transformer的效率和性能，实验表明在Swin Transformer上显著降低计算开销且保持性能。
2026-05-15 cs.CV cs.LG eess.SP
Scaling Limit of Neural Networks with the Xavier Initialization and Convergence to a Global Minimum
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Boston University（波士顿大学）
我们分析了单层神经网络的Xavier初始化在大量的隐藏单元和大量的随机梯度下降训练步骤的渐近制度。在训练过程中的神经网络的演变可以被看作是一个随机系统，并使用随机分析的技术，我们证明了神经网络收敛于分布的高斯分布的随机常微分方程。由于Xavier初始化中的$\frac{1}{\sqrt{N}}$归一化因子（与典型平均场框架中的$\frac{1}{N}$因子相比），该限制与神经网络的典型平均场结果完全不同。尽管优化神经网络的预极限问题是非凸的（并且因此神经网络可以收敛到局部极小值），但是极限方程使（二次）凸目标函数最小化并且因此收敛到全局极小值。此外，在合理的假设下，极限二次目标函数中的矩阵是正定的，因此神经网络（在极限中）将收敛到全局极小值，并且训练集上的损失为零。
2022-04-12 cs.LG math.PR stat.ML
Signal Propagation in Transformers: Theoretical Perspectives and the Role of Rank Collapse
ETH Zürich（苏黎世联邦理工学院）；CSEM SA（瑞士电子与微技术中心）；University of Basel（巴塞尔大学）
从自然语言处理到计算机视觉，Transformers在多个领域取得了显著的成功。然而，最近已经表明，堆叠自我关注层-Transformers的独特架构组件-可能导致令牌表示在初始化时的等级崩溃。等级崩溃是否以及如何影响训练的问题在很大程度上仍然没有答案，它的调查对于更全面地理解这种架构是必要的。在这项工作中，我们揭示了这种现象的原因和影响。首先，我们证明了令牌表示的秩崩溃会导致查询和密钥的梯度在初始化时消失，从而阻碍训练。此外，我们提供了一个彻底的描述秩崩溃的起源，并讨论如何防止它通过一个适当的深度依赖缩放的残留分支。最后，我们的分析揭示了特定的架构超参数会以不同的方式影响查询和值的梯度，从而导致不成比例的梯度范数。这就解释了自适应方法在Transformers优化中的广泛应用。
2022-06-07 cs.LG
Saddle-to-Saddle Dynamics in Deep Linear Networks: Small Initialization Training, Symmetry, and Sparsity
EPFL（洛桑联邦理工学院 (EPFL)）
深度线性网络（DLN）的动态特性受到初始化$θ_0$时参数方差$σ^2$的显著影响。对于宽度为$w$的DLN，我们给出了一个相变w.r.t.方差$σ^2=w^{-γ}$的缩放$γ$为$w\to\infty$：对于大方差（$γ<1$），$θ_0$非常接近全局最小值但远离任何鞍点，而对于小方差（$γ>1$），$θ_0$接近鞍点且远离任何全局最小值。虽然第一种情况与研究充分的NTK制度相对应，但第二种情况却不太清楚。这激发了对案例$γ\to +\infty$的研究，在该案例中，我们推测了一个鞍到鞍动态：在整个训练过程中，梯度下降访问一系列鞍的邻域，每个鞍对应于秩递增的线性映射，直到达到稀疏的全局最小值。我们支持这一猜想的前两个鞍之间的动力学定理，以及一些数值实验。
2022-01-31 cs.LG stat.ML
On Layer Normalization in the Transformer Architecture
Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）；Microsoft Research（微软研究院）；Nankai University（南开大学）
Transformer广泛用于自然语言处理任务。然而，为了训练Transformer，通常需要精心设计的学习率预热阶段，这对最终性能至关重要，但会减慢优化并带来更多的超参数调整。在本文中，我们首先从理论上研究为什么学习率预热阶段是必不可少的，并表明层归一化的位置问题。具体而言，我们证明了平均场理论，在初始化时，对于原始设计的后LN Transformer，它的地方之间的残留块的层归一化，输出层附近的参数的预期梯度是大的。因此，在这些梯度上使用大的学习率会使训练不稳定。预热阶段实际上有助于避免这个问题。另一方面，我们的理论还表明，如果将层归一化放在残差块内部（最近提出的Pre-LN Transformer），则梯度在初始化时表现良好。这促使我们取消了LN前Transformers训练的热身阶段。我们在实验中表明，没有预热阶段的Pre-LN Transformers可以达到与基线相当的结果，同时在广泛的应用中需要显著减少的训练时间和超参数调整。
2020-06-29 cs.CL cs.LG stat.ML
Global Convergence of Sub-gradient Method for Robust Matrix Recovery: Small Initialization, Noisy Measurements, and Over-parameterization
University of Michigan（密歇根大学）
在这项工作中，我们研究了次梯度方法（SubGM）的性能上的自然非凸和非光滑配方的低秩矩阵恢复与$\ell_1$ -损失，其中的目标是恢复一个低秩矩阵从有限数量的测量，其中的一个子集可能是严重损坏的噪声。我们研究的情况下，真正的解决方案的秩是未知的，而不是高估。秩的过度估计导致过度参数化模型，其中存在比所需更多的自由度。这种过度参数化可能导致过度拟合，或者对算法的性能产生不利影响。我们证明了一个简单的SubGM与小的初始化是不可知的过参数化和噪声的测量。特别是，我们表明，小的初始化抵消了SubGM的性能上的过参数化的影响，导致其收敛速度的指数改善。此外，我们提供了第一个统一的框架，用于分析SubGM在离群值和高斯噪声模型下的行为，表明SubGM收敛到真正的解决方案，即使在任意大和任意密集的噪声值下，并且-也许令人惊讶的是-即使全局最优解不对应于地面真相。在我们的研究结果的核心是一个强大的变种的限制等距属性，称为签名RIP，它控制的偏差的次微分的$\ell_1$ -损失从一个理想的，预期的损失。作为我们的结果的副产品，我们考虑了一个子类的鲁棒低秩矩阵恢复高斯测量，并表明，所需的样本数量，以保证SubGM的全局收敛性是独立的过参数化的秩。
2022-02-17 cs.LG math.OC stat.ML
No More Adam: Learning Rate Scaling at Initialization is All You Need
University of Warwick（华威大学）；Collov Labs（科洛弗实验室）
本文提出 SGD-SaI，一种在初始化时按梯度信噪比缩放学习率的简单 SGD 增强方法，无需自适应动量，内存减半，并在 Transformer 任务中匹配或超越 AdamW。
2024-12-17 cs.AI cs.LG
Transformers learn through gradual rank increase
Apple（苹果公司）；MIT（麻省理工学院）；EPFL（洛桑联邦理工学院）
本文研究 transformer 的学习动态，证明并实验验证训练权重与初始权重之差的秩会逐步增加，且该现象在一般实践条件下也可出现。
2023-12-11 cs.LG
Gradient Descent with Random Initialization: Fast Global Convergence for Nonconvex Phase Retrieval
Department of Electrical Engineering, Princeton University（普林斯顿大学电气工程系）；Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
本文研究了通过二次方程恢复目标对象的问题，证明了在高斯设计下，随机初始化的梯度下降能在O(log n + log(1/ε))次迭代中获得ε精度的解，从而实现了计算和样本复杂度的近最优性，为相位恢复提供了首个无需精心设计初始化、样本分割或复杂鞍点逃离方案的全局收敛保证。
2019-04-15 cs.IT cs.LG cs.NA
Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning
Intento
研究发现通用转换器在解决数独难题时需依赖记忆token，通过实验确定内存token数量的阈值及影响因素，揭示ACT初始化陷阱及递归深度中注意力头的功能分化。
2026-04-27 cs.AI cs.CL cs.LG
A Note on the Global Convergence of Multilayer Neural Networks in the Mean Field Regime
Stanford University（斯坦福大学）
在最近的工作中，我们引入了一个严格的框架来描述多层神经网络的基于梯度的学习动力学的平均场极限，基于神经元嵌入的思想。在那里，我们还证明了使用这个框架的三层（以及两层）网络的全局收敛保证。在这篇文章中，我们指出，我们以前工作中的见解可以很容易地扩展到证明任何深度的多层网络的全局收敛保证。与我们之前假设i.i.d.的三层全局收敛保证不同。初始化，我们目前的结果适用于一种类型的相关初始化。这种初始化允许在任何有限的训练时间，通过神经网络的深度传播某种通用近似属性。为了实现这种效果，我们引入了双向分集条件。
2020-06-16 cs.LG math.OC math.ST
An Analysis for Reasoning Bias of Language Models with Small Initialization
Shanghai Jiao Tong University（上海交通大学）
该研究探究参数初始化规模对大语言模型训练行为与任务偏好的影响，发现小初始化使模型偏好推理任务、大初始化使其偏好记忆任务，通过实验与理论框架解释了成因并提供训练指导。
2025-05-21 cs.CL cs.LG
Distributed Gradient Clustering: Convergence and the Effect of Initialization
Carnegie Mellon University（卡内基梅隆大学）；Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Faculty of Technical Sciences, University of Novi Sad（诺维萨德大学技术科学学院）；Faculty of Sciences, University of Novi Sad（诺维萨德大学理学院）
研究了中心初始化对分布式梯度聚类算法性能的影响，提出改进的分布式中心初始化方案，提升算法鲁棒性与性能。
2026-03-20 cs.LG stat.ML
Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation
The University of Sydney（悉尼大学）；Together AI；University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft（微软）
提出Taylor-Calibrate方法，利用泰勒引导的教师注意力统计初始化混合线性注意力学生模型，显著减少蒸馏所需训练令牌数。
2026-06-16 cs.CL cs.LG
Provable Benefit of Orthogonal Initialization in Optimizing Deep Linear Networks
Princeton University（普林斯顿大学）；Google Brain（谷歌大脑）
深度神经网络基于梯度的优化的初始参数值的选择是深度学习系统中最有影响力的超参数选择之一，影响收敛时间和模型性能。然而，尽管有大量的经验和理论分析，相对较少被证明不同的初始化方案的具体效果。在这项工作中，我们分析了深度线性网络中初始化的影响，并首次提供了一个严格的证明，即从正交组中提取初始权重可以相对于具有iid权重的标准高斯初始化加速收敛。我们发现，对于深度网络，使用正交初始化有效收敛到全局最小值所需的宽度与深度无关，而使用高斯初始化有效收敛所需的宽度在深度上线性缩放。我们的研究结果证明了良好初始化的好处如何在整个学习过程中持续存在，这表明了最近通过根据动态等距原理初始化非常深的非线性网络所发现的经验成功的解释。
2020-01-16 cs.LG cs.NE math.OC
Continual Local Training for Better Initialization of Federated Models
Tsinghua University（清华大学）；BNRist（北京国家研究院（BNRist））；Key Laboratory of Pervasive Computing, Ministry of Education（教育部普适计算重点实验室）
联邦学习（FL）是指在由智能边缘设备组成的分散系统中直接训练机器学习模型而不传输原始数据的学习范式，这避免了沉重的通信成本和隐私问题。在这种情况下，给定典型的异构数据分布，流行的FL算法\emph{Federated Averaging}（FedAvg）遭受权重发散，因此不能实现全局模型（表示为FL中的\emph{initial performance}）相比，集中式方法的竞争力的性能。在本文中，我们提出了本地持续培训策略来解决这个问题。重要性权重在中央服务器上的小代理数据集上进行评估，然后用于约束本地训练。通过这个附加项，我们减轻了权重发散，并不断将不同本地客户端的知识整合到全局模型中，从而确保更好的泛化能力。不同FL设置的实验表明，我们的方法显着提高了联邦模型的初始性能与一些额外的通信成本。
2020-05-26 cs.LG stat.ML
Mimetic Initialization Helps State Space Models Learn to Recall
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
针对 Mamba 等 state space models 在 recall 任务上表现不佳的问题，提出一种结构化初始化技术，使其更易模仿 attention，从而显著提升从头学习复制与关联 recall 的能力。
2024-10-14 cs.CL cs.LG
Geometric Dynamics of Signal Propagation Predict Trainability of Transformers
Stanford University（斯坦福大学）
该研究将Transformer中token表征传播视为粒子动力系统，推导几何演化方程与两个Lyapunov指数，发现其可预测训练最终测试损失，且指数同时为零是实现最小损失的充要条件。
2024-03-05 cond-mat.dis-nn cs.LG
Favorability of Loss Landscape with Weight Decay Requires Both Large Overparametrization and Initialization
INRIA LMO, Université Paris-Saclay（法国国家信息与自动化研究所 LMO，巴黎-萨克雷大学）
研究探讨了在大规模过参数化和初始化下，带权重衰减的损失景观的良性特性，揭示了其在不同初始化阶段的优化行为差异。
2026-06-29 cs.LG
Global Federated Learning Strategies for Building Efficient Personalized Models
Kim Jaechul Graduate School of AI（金宰哲人工智能研究生院）
该研究针对联邦学习中全局与个性化性能同时恶化的问题，提出缓解特征向量差异、结合特征蒸馏及调整全局初始化策略的方法，实现了全局知识保留与个性化性能的平衡。
2026-08-18 cs.LG
DeepNet: Scaling Transformers to 1,000 Layers
Microsoft Research（微软研究院）
在本文中，我们提出了一个简单而有效的方法来稳定极深的Transformers。具体来说，我们引入了一个新的规范化函数（DeepNorm）来修改Transformer中的剩余连接，并伴随着理论推导的初始化。深入的理论分析表明，模型更新可以以稳定的方式有界。所提出的方法结合了两个世界中最好的，即，Post-LN的良好性能和Pre-LN的稳定训练，使DeepNorm成为首选。我们成功地将Transformers扩展到1,000层（即，2,500个注意力和前馈网络子层），这比之前的深度Transformers要深一个数量级。值得注意的是，在一个具有7，482个翻译方向的多语言基准测试中，我们的200层模型（3.2B参数）的性能明显优于48层最先进的模型（12 B参数）5个BLEU点，这表明了一个有希望的缩放方向。
2022-03-01 cs.CL cs.LG
Training Dynamics of Transformers to Recognize Word Co-occurrence via Gradient Flow Analysis
Lawrence Livermore National Laboratory (LLNL)（劳伦斯利弗莫尔国家实验室）；Princeton University（普林斯顿大学）；UT Austin（德克萨斯大学奥斯汀分校）；OSU（俄亥俄州立大学）
本文研究了浅层 Transformer 在词共现识别任务上的训练动力学，通过耦合动力系统框架分析了从随机初始化同时训练注意力矩阵和 MLP 层的梯度流，发现训练自然分为两阶段并证明了梯度自动平衡性质，最终实现接近最小的训练损失。
2024-10-12 cs.CL cs.LG
GMAT: Global Memory Augmentation for Transformers
Tel Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
基于transformer的模型由于其大容量、固有的并行性和高性能而在自然语言处理中无处不在。Transformer块的上下文组件是$\textit{pairwise dot-product}$ attention，它对长度$L$序列有很大的$Ω(L^2)$内存需求，限制了它处理长文档的能力。这一直是最近的实质性兴趣的主题，其中提出了多个近似，以减少使用稀疏注意矩阵的二次记忆要求。在这项工作中，我们建议增加稀疏的Transformer块与密集的注意力为基础的$\textit{global memory}$的长度$M$（$\ll L$），它提供了一个聚合的全局视图的整个输入序列的每个位置。我们的增强具有可管理的$O(M\cdot(L+M))$内存开销，并且可以与先前的稀疏解决方案无缝集成。此外，全局存储器也可以用于序列压缩，通过仅用存储器表示来表示长输入序列。我们的经验表明，我们的方法导致一系列任务的实质性改善，包括（a）需要全局推理的合成任务，（b）掩蔽语言建模，（c）阅读理解。
2020-06-05 cs.CL cs.LG stat.ML
Rethinking the initialization of Momentum in Federated Learning with Heterogeneous Data
School of Computer Science, University of Birmingham（伯明翰大学计算机科学学院）
针对联邦学习中传统动量累积在异构数据下的次优问题，提出反向动量联邦学习（RMFL），通过对梯度分配随时间指数衰减的权重优化本地初始化动量，在不同异构性基准数据集上验证了有效性。
2024-11-29 cs.LG
FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA
DGIST（大邱庆北科学技术院）；Samsung（三星）
FedPA-LoRA是缓解异构联邦LoRA聚合与初始化误差的产品对齐框架，在多任务实验中较基线方法平均GLUE准确率最高提升6.82个百分点。
2026-11-02 cs.AI cs.LG
Understanding the Parameter Space Geometry of Transformers Encoding Boolean Functions
Machine Learning, ICML（机器学习，ICML）
针对Transformer无法学习某些简单布尔函数（如奇偶函数）的问题，通过分析参数空间几何，证明敏感函数在参数空间中占据极小区域，随机初始化几乎必然错过，从而解释了可表达但不可学习的现象。
2026-06-07 cs.LG
Less is More: on the Over-Globalizing Problem in Graph Transformers
School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院）；School of Software, Beihang University（北京航空航天大学软件学院）
本文揭示图Transformer的过度全局化问题，提出双层全局图Transformer与协作训练（CoBFormer），兼顾远近节点信息提取，实验验证其有效性。
2024-05-24 cs.AI cs.LG
Optimizer-Induced Low-Dimensional Drift and Transverse Dynamics in Transformer Training
研究揭示了Transformer训练中优化器诱导的低维漂移方向，分析了其在不同优化器下的稳定性及影响因素，强调累积更新动态的重要性。
2026-03-18 cs.AI cs.LG
Unraveling the Gradient Descent Dynamics of Transformers
University of Minnesota, Twin Cities（明尼苏达大学双城分校）；Amazon Web Services（亚马逊网络服务）
研究Transformer的梯度下降动力学，通过分析单层Softmax和Gaussian注意力核的损失景观，证明在适当初始化下可全局收敛，且Gaussian核优于Softmax核。
2024-11-12 cs.LG math.OC
Composable Function-preserving Expansions for Transformer Architectures
Google DeepMind（谷歌DeepMind）；IRIT（图卢兹计算机研究所）；University of Toulouse（图卢兹大学）
本文提出六种可组合变换，在保持功能不变的条件下逐步扩展Transformer架构，并证明其在最小初始化约束下可精确保函数，从而支持按需扩容和高效训练更大模型。
2023-08-11 cs.LG
S$^2$Transformer: Scalable Structured Transformers for Global Station Weather Forecasting
Harbin Institute of Technology（哈尔滨工业大学）；Swiss Data Science Center（瑞士数据科学中心）
针对全球站点天气预报中空间相关性建模不足的问题，提出S$^2$Transformer，通过空间结构化注意力块划分子图并传递消息，实现可扩展且结构化的多尺度时空预测，性能提升最高达16.8%。
2025-09-25 cs.LG physics.ao-ph
Exploiting Local and Global Features in Transformer-based Extreme Multi-label Text Classification
Flexport（飞协博）
极端多标签文本分类（XMTC）是从一个非常大的预定义类别空间中为每个文档添加相关标签的任务。最近，大型预训练的Transformer模型在XMTC中取得了显著的性能改进，XMTC通常使用特殊CLS令牌的嵌入来将整个文档语义表示为全局特征向量，并将其与候选标签进行匹配。然而，我们认为，这样一个全球性的特征向量可能不足以表示不同粒度级别的语义在文档中，并补充它与本地字级功能可以带来额外的收益。基于这一认识，我们提出了一种方法，结合本地和全局功能产生的Transformer模型，以提高分类器的预测能力。我们的实验表明，该模型的性能优于或相当于基准数据集上的最先进的方法。
2022-04-02 cs.CL cs.LG
Understanding How Consistency Works in Federated Learning via Stage-wise Relaxed Initialization
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
本文针对联邦学习中客户端漂移导致的本地不一致性问题，提出带阶段式松弛初始化的FedInit算法，通过理论与实验证明不一致性主要影响泛化误差，该算法可在无额外成本下取得SOTA性能，且可集成到现有算法中提升效果。
2023-06-09 cs.DC cs.LG math.OC
Global Voxel Transformer Networks for Augmented Microscopy
Texas A&M University（德州农工大学）
深度学习的进步使增强显微镜技术取得了显著的成功，使我们能够在不使用昂贵的显微镜硬件和样品制备技术的情况下获得高质量的显微镜图像。然而，目前用于增强显微镜的深度学习模型大多是基于U-Net的神经网络，因此存在某些限制性能的缺点。在这项工作中，我们介绍了全局体素Transformer网络（GVTNets），这是一种用于增强显微镜的高级深度学习工具，它克服了当前基于U-Net的模型的固有局限性，并实现了性能的提高。GVTNet建立在全局体素Transformer运算符（GVTO）上，与卷积等局部运算符相反，GVTO能够聚合全局信息。我们将所提出的方法应用于现有的数据集上，在各种设置下进行三种不同的增强显微镜任务。性能显著且始终优于以前的基于U-Net的方法。
2020-11-23 cs.CV cs.LG eess.IV
InjectTST: A Transformer Method of Injecting Global Information into Independent Channels for Long Time Series Forecasting
China Mobile Research Institute（中国移动研究院）
针对多变量时间序列预测中通道独立与通道混合结构难以兼顾的问题，提出InjectTST方法，通过通道标识符、全局混合模块与自上下文注意力模块，在保留通道独立骨干的同时选择性注入全局信息，实现隐式通道混合，较现有最优模型取得稳定性能提升。
2024-03-05 cs.AI cs.LG
Global Clipper: Enhancing Safety and Reliability of Transformer-based Object Detection Models
Intel Labs（英特尔实验室）；University of British Columbia（不列颠哥伦比亚大学）；Technical University of Munich（慕尼黑工业大学）
针对传统CNN范围限制方案无法适配Transformer模型、软错误会影响目标检测性能的问题，提出Global Clipper等专属缓解策略，经多场景大量推理测试，可将错误推理率降至约0%，还探究了Transformer注意力模块特性。
2024-07-09 cs.AI cs.CV cs.LG
DINT Transformer
Tsinghua University（清华大学）；Peking University School of Public Health（北京大学公共卫生学院）
DIFF Transformer通过引入差分注意力机制来增强局部注意力的鲁棒性，从而解决了不相关上下文干扰的问题。然而，它有两个关键的限制：缺乏全局上下文建模，这是必不可少的识别全局显着的令牌，和数值不稳定，由于缺乏严格的行规范化的注意矩阵。为了克服这些挑战，我们提出了DINT Transformer，它通过引入微分积分机制来扩展DIFF Transformer。通过计算全局重要性分数并将其集成到注意力矩阵中，DINT Transformer提高了捕获全局依赖关系的能力。此外，统一的参数设计强制执行行归一化的注意矩阵，提高数值稳定性。实验结果表明，DINT Transformer在长上下文语言建模和关键信息检索等实际应用中具有良好的准确性和鲁棒性。这些结果将DINT Transformer定位为高效且有前途的架构。
2025-01-29 cs.AI cs.CL cs.LG
