Towards Quantifying the Preconditioning Effect of Adam
UT Austin(德克萨斯大学奥斯汀分校);Google DeepMind(谷歌DeepMind)
本文分析了Adam在二次函数上的预处理效应,发现其能减轻对Hessian条件数的依赖但引入维度相关量,并在特定维度条件下优于GD,但在非对角Hessian下可能更差。
2024-02-11 cs.LG cs.NA math.NA
Toward Understanding Why Adam Converges Faster Than SGD for Transformers
Carnegie Mellon University(卡内基梅隆大学)
本文提出方向锐度概念解释 Adam 训练 Transformer 时比 SGD 收敛更快的原因,发现少数坐标损害 SGD,并证明逐坐标裁剪可降低锐度、加速优化。
2023-05-31 cs.AI cs.LG
Neglected Hessian component explains mysteries in Sharpness regularization
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文通过 Hessian 分解识别被忽视的 NME 特征探索项,解释 SAM、梯度惩罚与权重噪声的效果差异,并据此设计性能改进干预。
2024-01-24 cs.LG
Gradient Heterogeneity Complements Hessian Heterogeneity in Transformer Optimization
Department of Computer Science, The University of Tokyo(东京大学计算机科学系)
通过梯度异质性分析,揭示Adam优化器优于SGD的原因,证明其与符号方法的关联,以及层归一化对异质性的影响。
2026-08-19 cs.AI cs.LG cs.NE
On the Principles Behind Neural Network Optimizers
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
本论文为优化器Adam建立了有原则的基础,通过海森矩阵结构分析其在Transformer上优于SGD的原因,提出内存减半且性能不变的新优化器Adam-mini,还为其他NN优化器提供了新见解。
2026-08-18 cs.LG math.OC
Deterministic Adam-Inspired Methods with Accelerated Convergence Rate
School of Mathematics, Sichuan University(四川大学数学学院);Department of Mathematics, University of California, Irvine(加州大学尔湾分校数学系)
本文提出Adam-HNAG算法,通过结合变量分割和算子分割,实现Adam算法的收敛性重新表述,证明其在凸光滑设置下的收敛性,包括加速收敛。
2026-08-18 cs.LG math.OC
Why Muon Outperforms Adam: A Curvature Perspective
National University of Singapore(新加坡国立大学);Yale University(耶鲁大学);University of Minnesota(明尼苏达大学)
从曲率视角出发,通过泰勒展开和曲率分解,发现 Muon 因更低的归一化方向锐度(NDS)而比 Adam 实现更大的一步损失下降,数据不平衡和层内曲率是其主要优势来源。
2026-06-03 cs.AI cs.LG
Why $β_1 = β_2$ Is Dynamically Special in Adam
Universitat Politècnica de València(巴塞罗那理工大学);Universitat Jaume I(Jaime I 大学)
本文揭示了Adam优化器中β₁=β₂与梯度尺度不变性原理的关系,通过理论分析和实验验证,证明此设置能提升训练效果。
2026-09-18 cs.AI cs.LG stat.ML
Towards Theoretically Understanding Why SGD Generalizes Better Than ADAM in Deep Learning
Salesforce Research(Salesforce研究院);National University of Singapore(新加坡国立大学);Princeton University(普林斯顿大学)
目前还不清楚为什么ADAM类自适应梯度算法遭受更差的泛化性能比SGD尽管其更快的训练速度。这项工作旨在通过分析它们的局部收敛行为来提供对这种推广差距的理解。具体来说,我们观察到这些算法中的梯度噪声的重尾。这促使我们分析这些算法通过他们的Levy驱动的随机微分方程(SDEs),因为一个算法和它的收敛行为相似。然后,我们建立这些SDES从当地盆地的逃逸时间。结果表明:(1)SGD和ADAM~的逃逸时间与盆地的氡测度呈正相关,与梯度噪声的强弱呈负相关;(2)对于同一流域,SGD比ADAM具有更小的逃逸时间,主要是因为(a)ADAM中的几何适应~通过对各梯度坐标的自适应缩放,很好地消除了梯度噪声中的各向异性结构,使盆地的Radon测度增大;(b)ADAM~中的指数梯度平均平滑其梯度并导致比SGD更轻的梯度噪声尾部。因此SGD在局部Radon测度小的极小点处比ADAM~更不稳定,并能更好地从局部Radon测度小的极小点处逃逸到Radon测度大的平坦极小点处。由于这里的平坦极小值通常指的是平坦或不对称盆地/山谷处的极小值,通常比尖锐的极小值更好地推广,我们的结果解释了SGD优于ADAM的推广性能。最后,实验结果证实了我们的重尾梯度噪声的假设和理论的肯定。
2021-11-29 cs.AI cs.LG math.OC
From Geometry to Generalization: Why Row Normalization Can Beat Adam and Muon
Seoul National University(首尔国立大学);KAIST(韩国科学技术院);University of California, Davis(加州大学戴维斯分校)
该研究证明行归一化在高维多分类任务中泛化性能优于Adam和Muon,其逐类几何结构可保留决策边界方向,合成与语言模型实验验证了该优势。
2026-10-09 cs.AI cs.LG math.OC
Adaptive Gradient Methods at the Edge of Stability
Google Research, Brain Team(谷歌研究院大脑团队)
本文实证发现Adam等自适应梯度方法在训练中会达到“自适应稳定性边缘”,并能通过调整预条件器继续进入高曲率区域,区别于非自适应方法在稳定性边缘的行为,为理解其训练动力学奠定基础。
2024-04-15 cs.LG
Spectral Asymptotics of Neural Network Loss Landscapes: An Exact Decomposition of the Curvature Exponent
D Labs(9D实验室)
本文通过谱对齐分解证明曲率指数α=2+dlogΦ_k/dlogσ_k,揭示了不同层类型曲率指数变化的几何原因,并推导出谱传递恒等式s=αγ,在无自由参数下以约2%中位误差预测Hessian衰减指数。
2026-05-22 cs.LG
Heavy-Tailed Class Imbalance and Why Adam Outperforms Gradient Descent on Language Models
University of British Columbia(不列颠哥伦比亚大学);Flatiron Institute(弗拉蒂伦研究所)
该研究揭示语言任务中的重尾类别不平衡是Adam在大语言模型上表现优于梯度下降的关键原因,通过多架构实验验证及理论证明,解释了两类优化器的性能差异机制。
2024-07-12 cs.CL cs.LG math.OC
Block-diagonal Hessian-free Optimization for Training Neural Networks
Syracuse University(雪城大学);Salesforce Research(Salesforce 研究院)
用于神经网络优化的二阶方法与基于一阶梯度下降的方法相比具有几个优点,包括更好地扩展到大的小批量大小和收敛所需的更新更少。但它们在实践中很少应用于深度学习,因为计算成本高,需要依赖于模型的算法变化。我们引入了一个变体的海森自由的方法,利用块对角近似的广义高斯-牛顿矩阵。我们的方法只计算曲率近似矩阵的参数对从同一层或块的神经网络和共轭梯度更新独立地为每个块。在深度自动编码器、深度卷积网络和多层LSTM上的实验表明,与原始的Hessian-free方法和Adam方法相比,该方法具有更好的收敛性和泛化能力。
2017-12-20 cs.AI cs.LG stat.ML
Why the Maximum Second Derivative of Activations Matters for Adversarial Robustness
Tsinghua University(清华大学)
研究探讨了激活函数曲率对对抗鲁棒性的影响,发现曲率与模型表达能力和鲁棒泛化存在权衡,最优鲁棒性出现在最大二阶导数在4到10之间。
2026-03-25 cs.AI cs.LG
On a Conjecture Regarding the Adam Optimizer
AIP Labs(AIP实验室);University of Toronto(多伦多大学)
为什么Adam优化器在深度学习应用中表现如此出色?亚当的创始人,金马和巴,提出了一个数学论点,旨在帮助解释其成功,但博克和同事们报告说,一个关键的一块是失踪的论点$-$一个未经证明的引理,我们将称为博克猜想。在这里,我们表明,这一猜想是假的,但我们证明了一个修改后的版本,它$-$一个概括的结果Reddi和同事$-$,它可以取代亚当的分析。
2022-09-08 cs.LG
Spectral Allocation: Why Muon Outperforms Adam, and How to Improve Muon
University of Cambridge(剑桥大学);Tsinghua University(清华大学)
本文通过频谱分析揭示Muon优于Adam的机制,提出SAMuon及其简化版SAMuon-lite,在多规模modded-nanogpt模型上,二者均优于AdamW和Muon,且SAMuon可减少13.3%-24.0%训练令牌。
2026-08-27 cs.LG
Curriculum Learning with Adam: The Devil Is in the Wrong Details
University Pompeu Fabra(庞培法布拉大学);University of Amsterdam(阿姆斯特丹大学);FAIR(Facebook人工智能研究院)
本研究针对课程学习在自然语言处理领域效果有限的问题,发现其与Adam优化算法结合时易适配次优参数,各类课程方法均不及超参数得当的纯Adam优化,为理解课程学习机制提供参考并提醒审慎宣称正向结果。
2023-08-23 cs.CL cs.LG
Is your batch size the problem? Revisiting the Adam-SGD gap in language modeling
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ELLIS Institute(ELLIS研究所);Tübingen AI Center(图宾根人工智能中心)
本研究重新审视语言建模中Adam与SGD的优化器性能差距,通过全面调优的Transformer实验发现小批次下带动量的SGD调优后性能可接近Adam,并基于随机微分方程模型提出批次大小影响训练动态的新见解。
2025-06-14 cs.LG math.OC
Normalized Direction-preserving Adam
University of Calgary(卡尔加里大学);Wuhan University(武汉大学);The University of Hong Kong(香港大学)
自适应优化算法,如Adam和RMSprop,在某些情况下表现出比随机梯度下降(SGD)更好的优化性能。然而,最近的研究表明,它们通常会导致比SGD更差的泛化性能,特别是在训练深度神经网络(DNN)时。在这项工作中,我们确定的原因,亚当概括比SGD差,并开发了一个变种的亚当,以消除泛化差距。所提出的方法,归一化的方向保持亚当(ND-Adam),使更新权重向量的方向和步长更精确的控制,从而显着提高泛化性能。遵循类似的原理,我们通过正则化softmax logits进一步提高分类任务的泛化性能。通过弥合SGD和Adam之间的差距,我们还希望阐明为什么某些优化算法比其他算法更好地推广。
2018-09-18 cs.LG stat.ML
Adam Reduces a Unique Form of Sharpness: Theoretical Insights Near the Minimizer Manifold
Tsinghua University(清华大学);Institute for Interdisciplinary Information Sciences(交叉信息研究院)
本文证明Adam优化器隐式降低由其自适应更新塑造的独特锐度度量,在极小值流形附近表现出与SGD性质不同的优化行为,并在标签噪声和稀疏回归场景中展现出更好的稀疏性与泛化能力,为自适应梯度方法提供了统一分析视角。
2025-11-04 cs.LG
On the Convergence of Adam-Type Algorithm for Bilevel Optimization under Unbounded Smoothness
George Mason University(乔治梅森大学)
本文将Adam扩展至下层强凸、上层非凸且具无界平滑性的双层优化问题,提出单循环AdamBO算法,通过新颖的随机性解耦引理实现$\widetilde{O}(ε^{-4})$的oracle复杂度,并在RNNs和transformers等任务上验证了其有效性。
2025-03-05 cs.LG math.OC
AdaSGD: Bridging the gap between SGD and Adam
University of Michigan(密歇根大学)
在随机梯度下降(SGD)和自适应矩估计(Adam)的背景下,研究人员最近提出了从Adam过渡到SGD的优化技术,其目标是提高收敛和泛化性能。然而,每一种方法如何权衡早期进展和普遍化还没有得到很好的理解;因此,不清楚何时或甚至是否应该从一种方法过渡到另一种方法。在这项工作中,通过首先研究凸设置,我们确定了潜在的贡献者之间观察到的性能差异SGD和亚当。特别是,我们提供了理论上的见解时,为什么亚当优于SGD,反之亦然。我们通过为SGD调整单个全局学习率来解决性能差距,我们将其称为AdaSGD。我们证明这种方法与非凸设置的实证分析。在跨越三个不同领域的几个数据集上,我们展示了AdaSGD如何结合SGD和Adam的优点,消除了从Adam过渡到SGD的方法的需要。
2020-06-30 cs.LG stat.ML
The exploding gradient problem demystified - definition, prevalence, impact, origin, tradeoffs, and solutions
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
尽管人们认为Adam、批量归一化以及最近的SeLU非线性等技术“解决”了梯度爆炸问题,但我们发现,一般情况下并非如此,在一系列流行的MLP架构中,存在梯度爆炸,它们限制了网络在理论和实践中可以有效训练的深度。我们解释了为什么会发生梯度爆炸,并强调了 * 崩溃域问题 *,这可能会出现在避免梯度爆炸的架构中。ResNet的梯度明显较低,因此可以避免梯度爆炸问题,从而能够有效地训练更深的网络。我们表明,这是一个直接后果的毕达哥拉斯方程。通过注意到 * 任何神经网络都是一个残差网络 *,我们设计了 * 残差技巧 *,它揭示了引入跳跃连接在数学上简化了网络,这种简单性可能是它们成功的主要原因。
2018-04-06 cs.CV cs.LG
Cumulative Learning Rate Adaptation: Revisiting Path-Based Schedules for SGD and Adam
Ruhr University Bochum(博德姆鲁尔大学)
本文重新审视2017年提出的累积路径学习率自适应方案,指出其对Adam存在概念不一致,提出修正变体,并通过基准测试评估SGD和Adam在有无自适应下的实际价值。
2025-08-07 cs.LG
How noise affects the Hessian spectrum in overparameterized neural networks
Northwestern University(西北大学);Facebook AI Research(Facebook人工智能研究院)
随机梯度下降(SGD)是深度神经网络的核心优化方法。虽然已经取得了一些理论上的进展,但仍然不清楚为什么SGD会将过参数化网络中的学习动力学引导到具有良好泛化能力的解决方案。在这里,我们表明,对于在其损失景观退化谷的过参数化网络,平均SGD减少了损失的Hessian的踪迹。我们还将这一结果推广到其他噪声结构,并表明各向同性噪声的非退化子空间的海森降低其行列式。除了解释SGD在塑造Hessian谱中的作用外,这为新的优化方法打开了大门,这些方法可能会带来更好的泛化性能。我们用玩具模型和深度神经网络的实验来测试我们的结果。
2019-10-29 cs.LG stat.ML
Noise Is Not the Main Factor Behind the Gap Between SGD and Adam on Transformers, but Sign Descent Might Be
University of British Columbia(不列颠哥伦比亚大学);CIFAR(加拿大高等研究院);Amii(阿尔伯塔机器智能研究所)
本文通过改变批量大小直至全批量来检验重尾噪声假设,证明随机性并非 Transformer 上 Adam 优于 SGD 的主因,并发现大批量 Adam 的行为接近带动量的符号下降。
2023-04-27 cs.LG math.OC
Why Warmup the Learning Rate? Underlying Mechanisms and Improvements
University of Maryland(马里兰大学)
该研究揭示深度学习学习率预热的核心机制是让网络进入损失景观条件更优区域以承受更大目标学习率,还提出基于损失弹射的初始学习率选择方法与Adam方差初始化方案,可减少甚至消除预热需求。
2024-11-01 cond-mat.dis-nn cs.LG stat.ML
Dual Averaging is Surprisingly Effective for Deep Learning Optimization
Facebook AI Research(脸书人工智能研究院);Princeton University(普林斯顿大学);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
一阶随机优化方法是目前使用最广泛的一类用于训练深度神经网络的方法。但是,优化器的选择已经成为一个特殊的规则,它会显著影响性能。例如,具有动量的SGD(SGD+M)通常用于计算机视觉(CV),而Adam用于训练自然语言处理(NLP)的Transformer模型。使用错误的方法会导致性能显著下降。受双重平均算法的启发,我们提出了Modernized Dual Averaging(MDA),这是一种能够在CV中执行SGD+M以及在NLP中执行Adam的优化器。我们的方法不是自适应的,而且比亚当简单得多。我们发现,MDA诱导一个衰减的非中心$L_2$正则化相比,香草SGD+M和假设,这可以解释为什么它的工作在NLP问题SGD+M失败。
2020-10-20 cs.LG math.OC stat.ML
Why are Adaptive Methods Good for Attention Models?
MIT(麻省理工学院);EPFL(洛桑联邦理工学院);Google Research(谷歌研究院)
虽然随机梯度下降(SGD)仍然是深度学习中的\emph{de facto}算法,但已观察到像Clipped SGD/Adam这样的自适应方法在重要任务(如注意力模型)中的表现优于SGD。与自适应方法相比,SGD表现不佳的设置尚未得到很好的理解。在本文中,我们提供的经验和理论证据表明,随机梯度中的噪声的重尾分布是SGD的性能不佳的原因之一。给出了重尾噪声下自适应梯度法的第一个紧收敛上界和下界。此外,我们演示了梯度裁剪如何在解决重尾梯度噪声中发挥关键作用。随后,我们展示了如何裁剪可以应用于实践中开发的\emph{adaptive}坐标明智的裁剪算法(ACClip),并证明其优越的性能BERT预训练和微调任务。
2020-10-23 cs.LG math.OC
Adaptive Inertia: Disentangling the Effects of Adaptive Learning Rate and Momentum
The University of Tokyo(东京大学);RIKEN Center for AIP(理化学研究所人工智能研究中心);Microsoft Research Asia(微软亚洲研究院)
自适应矩估计(Adam)结合了自适应学习率和动量,将是最受欢迎的随机优化器,用于加速深度神经网络的训练。然而,经验上已知,亚当通常比随机梯度下降(SGD)更差地概括。本文的目的是在扩散理论框架下揭开这一行为的神秘面纱。具体来说,我们解开的自适应学习率和亚当动力学的动量鞍点逃逸和平坦的最小值选择的影响。我们证明了自适应学习率可以有效地逃脱鞍点,但不能选择平坦的极小SGD。相比之下,Momentum提供了一个漂移效应来帮助训练过程通过鞍点,并且几乎不影响平坦最小值的选择。这在一定程度上解释了为什么SGD(带动量)的泛化能力更好,而Adam的泛化能力更差,但收敛速度更快。此外,在分析的基础上,我们设计了一个新的自适应优化框架Adaptive Inertia,它使用参数自适应惯性来加速训练,并可证明有利于平坦最小值和SGD。我们的大量实验表明,所提出的自适应惯性方法可以推广显着优于SGD和传统的自适应梯度方法。
2022-06-14 cs.LG stat.ML
ASGO: Adaptive Structured Gradient Optimization
Rice University(里士大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta Platforms, Inc.(Meta平台公司);Columbia University(哥伦比亚大学)
针对现有优化器未利用深度神经网络训练中梯度低秩、Hessian近似块对角的结构特性问题,提出自适应结构化梯度优化算法ASGO,经理论证明其收敛速率更优,且在语言模型任务上验证了有效性。
2025-10-29 cs.LG math.OC
Non-convergence to global minimizers for Adam and stochastic gradient descent optimization and constructions of local minimizers in the training of artificial neural networks
Shenzhen Research Institute of Big Data(深圳大数据研究院)
本研究证明在浅层ReLU神经网络训练中,SGD类优化器(含Adam)以高概率不收敛于全局极小值,并构造了风险值不同的局部极小值层次结构,解释其训练成功的原因。
2024-02-07 cs.LG math.OC
The Implicit Regularization of Dynamical Stability in Stochastic Gradient Descent
Peking University(北京大学);University of Pennsylvania(宾夕法尼亚大学)
本文从动力学稳定性视角分析 SGD 的隐式正则化,证明稳定最小值约束 Hessian 迹并等价于参数范数,从而解释大学习率 SGD 优于 GD 的泛化表现。
2023-06-01 cs.LG stat.ML
Why flatness does and does not correlate with generalization for deep neural networks
University of Oxford(牛津大学);Hertford college(赫特福德学院)
损失景观的局部平坦性与深度神经网络(DNN)的更好泛化相关的直觉已经探索了几十年,产生了许多不同的平坦性度量。最近,这种与泛化的联系受到了质疑,因为许多平坦度的度量容易受到参数重新缩放的影响,参数重新缩放任意地改变它们的值而不改变神经网络的输出。在这里,我们表明,此外,一些流行的SGD的变体,如亚当和熵SGD,也可以打破平坦化的相关性。作为平坦度测量的替代方案,我们使用基于函数的图片,并建议使用初始化时贝叶斯先验的对数,$\log P(f)$,作为DNN在训练到零误差后收敛于函数$f$时的泛化预测。对于在测试集上给出零误差的函数,先验与贝叶斯后验成正比。对于图像分类的情况下,我们表明,$\log P(f)$是一个显着更强大的预测比平坦度的措施的推广。虽然局部平坦度测量在参数重新缩放下失败,但作为全局量的先验/后验在重新缩放下保持不变。此外,作为数据复杂性的函数,与泛化的相关性对于SGD的不同变体仍然很好。
2021-06-21 cs.LG stat.ML
Dynamic Differential-Privacy Preserving SGD
Ant Group(蚂蚁集团);Shanghai Jiao Tong University(上海交通大学);University of Minnesota(明尼苏达大学)
普通的差分私有随机梯度下降(DP-SGD),包括DP-Adam和其他变体,通过在训练步骤中均匀分布隐私成本来确保训练数据的隐私。当与非DP对应物相比时,通过在每个步骤中维持相同的梯度裁剪阈值和噪声功率来控制的等效隐私成本导致不稳定的更新和较低的模型精度。在本文中,我们提出了动态DP-SGD(以及动态DP-Adam等),以减少性能损失的差距,同时保持隐私,通过动态调整限幅阈值和噪声功率,同时坚持总隐私预算约束。对各种深度学习任务(包括图像分类、自然语言处理和联邦学习)的广泛实验表明,与普通DP-SGD相比,所提出的动态DP-SGD算法稳定了更新,因此显著提高了强隐私保护区域的模型准确性。我们还进行了理论分析,以更好地理解动态DP-SGD的隐私-效用权衡,并了解为什么动态DP-SGD可以优于普通DP-SGD。
2022-01-17 cs.CR cs.LG
Why Does Sharpness-Aware Minimization Generalize Better Than SGD?
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文通过理论分析和实验证明,在特定数据模型和两层卷积 ReLU 网络中,SAM 通过早期防止噪声学习而比 SGD 泛化得更好。
2023-10-11 cs.LG math.OC stat.ML
Why SGD is not Brownian Motion: A New Perspective on Stochastic Dynamics
Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)(人工智能基础研究实验室(BRAIn Lab));Innopolis University(因诺普利斯大学);P.N. Lebedev Physical Institute of the Russian Academy of Sciences(俄罗斯科学院皮亚琴佐·列别杰夫物理研究所)
本文从离散更新出发,提出了一种将SGD视为在波动损失景观中确定性动力学的新方法,揭示了在临界点附近SGD的动力学行为,并通过实验验证了其在神经网络模型中的表现。
2026-05-21 cs.LG
Small Batch Size Training for Language Models: When Vanilla SGD Works, and Why Gradient Accumulation Is Wasteful
New York University(纽约大学);Columbia University(哥伦比亚大学)
本研究发现小批量训练可稳定训练语言模型,优于大批次,且能使用普通SGD实现稳定训练,无需动量和优化器状态。
2025-12-15 cs.LG
Why Some Models Resist Unlearning: A Linear Stability Perspective
Purdue University(普渡大学)
本文从线性稳定性视角分析了机器遗忘的机制,揭示了数据一致性与遗忘能力之间的关系,表明高SNR环境下模型更难遗忘。
2026-02-03 cs.LG stat.ML
When and Why Momentum Accelerates SGD:An Empirical Study
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
该研究通过实证探究动量加速SGD的时机与原因,构建有效学习率比较框架发现其优势随学习率和批量大小变化,且动量通过阻止或推迟方向海森矩阵的突变锐化实现加速,深化了对动量机制的理解。
2023-06-15 cs.CV cs.LG
Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise
Department of Mathematics, University of California, Berkeley, CA, USA(加州大学伯克利分校数学系);Department of EECS, University of California, Berkeley, CA, USA(加州大学伯克利分校电子工程与计算机科学系);Department of IEOR, University of California, Berkeley, CA, USA(加州大学伯克利分校工业工程与运营研究系)
本文提出针对重尾噪声下的随机预条件SGD的最坏情况复杂性理论,证明归一化在收敛速率上优于裁剪,解释了大规模训练中归一化的偏好。
2026-02-13 cs.LG cs.NA math.NA
On the Trajectories of SGD Without Replacement
Princeton University(普林斯顿大学)
本文研究了无放回SGD的隐式正则化效应,证明其期望轨迹可解耦为高曲率方向的有放回SGD和平坦方向的噪声协方差迹正则化,从而更快穿越平坦区并逃离鞍点,且在视觉任务中鼓励Hessian谱稀疏性。
2024-04-20 cs.LG math.OC stat.ML