Worker Disagreement Reveals Sharp Directions in Local SGD
New York University（纽约大学）
本文通过理论分析和实验证明，局部SGD中的工作者平均间隙协方差能够捕捉Hessian矩阵的尖锐方向，从而提供一种廉价的无Hessian估计方法。
2026-05-26 cs.AI cs.LG
Eigencurve: Optimal Learning Rate Schedule for SGD on Quadratic Objectives with Skewed Hessian Spectrums
The Hong Kong University of Science and Technology（香港科技大学）；Xi’an Jiaotong University（西安交通大学）；Google Research（谷歌研究院）
学习率优化器已被广泛用于训练深度神经网络。尽管它们具有重要的实际意义，但其实践与理论分析之间存在差异。例如，它是不知道什么时间表的SGD实现最佳收敛，即使是简单的问题，如优化二次目标。在本文中，我们提出了特征曲线，第一个家庭的学习率调度，可以实现极小极大最优收敛速度（常数）SGD二次目标时的特征值分布的基础海森矩阵是偏斜的。这种情况在实践中很常见。实验结果表明，特征曲线在CIFAR-10上的图像分类任务中，尤其是当epoch数较小时，性能明显优于阶跃衰减。此外，该理论启发了两个简单的学习率的实际应用，可以近似特征曲线。对于某些问题，所提出的最佳形状类似于余弦衰减，这揭示了余弦衰减在这种情况下的成功。对于其他情况，所提出的余弦衰减优于余弦衰减。
2022-06-14 cs.LG math.OC
A Hessian-Aware Stochastic Differential Equation for Modelling SGD
ETH Zurich（苏黎世联邦理工学院）
本文提出海森感知随机修正方程（HA-SME），将目标函数的海森信息融入SDE的漂移和扩散项，实现了SGD连续时间建模的阶最优近似，并在二次目标下首次精确恢复SGD动力学，从而更准确地刻画SGD的局部逃逸行为。
2025-06-03 cs.LG math.OC stat.ML
Better SGD using Second-order Momentum
Boston University（波士顿大学）
我们开发了一个新的算法，非凸随机优化，找到一个$ε$ -临界点的最佳$O(ε^{-3})$随机梯度和海森向量积计算。我们的算法使用海森矢量积来“校正”SGD动量中的偏置项。这导致更好的梯度估计的方式类似于方差减少方法。与以前的工作相比，我们不需要过大的批量大小，并能够提供一个自适应算法，其收敛速度自动提高，降低梯度估计的方差。我们在各种大规模深度学习架构和基准测试任务上验证了我们的结果。
2021-07-12 cs.LG stat.ML
Covariance Estimators for the ROOT-SGD Algorithm in Online Learning
Georgia Institute of Technology（佐治亚理工学院）
在线学习自然出现在许多统计和机器学习问题中。在线学习中最广泛使用的方法是随机一阶算法。在这个系列的算法中，有一个最近开发的算法，递归一过T SGD（ROOT-SGD）。ROOT-SGD的优点在于它以非渐近快的速率收敛，并且其估计量进一步收敛到正态分布。然而，这种正态分布具有未知的渐近协方差，因此不能直接应用于测量不确定性。为了填补这一空白，我们开发了两个估计的渐近协方差的ROOT-SGD。我们的协方差估计是有用的统计推断在ROOT-SGD。我们的第一个估计器采用了插件的思想。对于渐近协方差公式中的每一个未知分量，我们用它的经验对应物来代替它。插入式估计器以速率$\mathcal{O}(1/\sqrt{t})$收敛，其中$t$是样本量。尽管其快速收敛，但插件估计器具有依赖于损失函数的Hessian的局限性，这在某些情况下可能不可用。我们的第二个估计量是克服上述限制的无Hessian估计量。Hessian-free估计使用随机尺度技术，我们证明了它是真实协方差的渐近相合估计量。
2022-12-02 cs.LG stat.ML
On the Superlinear Relationship between SGD Noise Covariance and Loss Landscape Curvature
School of Physics, Peking University（北京大学物理系）；Peking University Chengdu Academy for Advanced Interdisciplinary Biotechnologies（北京大学成都先进交叉生物技术研究院）；Flatiron Institute（Flatiron研究所）
本文发现SGD噪声协方差与Hessian矩阵之间存在超线性关系，而非简单的正比关系，并通过实验验证了层间幂律标度。
2026-06-06 cs.LG
How Many Factors Influence Minima in SGD?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计系）
随机梯度下降（SGD）经常被应用于训练深度神经网络（DNN），并且研究工作一直致力于研究SGD的收敛动力学和由SGD发现的最小值。在文献中确定的影响因素包括学习率，批量大小，海森，和梯度协方差，和随机微分方程被用来模拟SGD和建立这些因素之间的关系，以表征最小发现SGD。已经发现，批量大小与学习率的比率是突出基本SGD动态的主要因素;然而，其他重要因素（例如Hessian和梯度协方差）的影响并不完全一致。本文介绍了在最近的文献中的因素和关系，并提出了数值结果的关系。特别是，它证实了Wang（2019）中获得的四因素和一般关系结果，而Jastrzobbski等人（2018）中发现的三因素和相关关系结果可能不适用于所考虑的特殊情况。
2020-09-24 cs.LG stat.ML
Fast large-scale optimization by unifying stochastic gradient and quasi-Newton methods
我们提出了一种算法，用于最小化的功能，结合了计算效率的随机梯度下降（SGD）的二阶曲率信息利用拟牛顿方法的总和。我们统一这些不同的方法，保持一个独立的海森近似的每个贡献函数的总和。我们保持计算的易处理性和限制内存的要求，即使是高维的优化问题，通过存储和操纵这些二次近似在一个共享的，随时间变化的，低维的子空间。每个更新步骤只需要一个贡献函数或小批量评估（如SGD），每个步骤都使用近似逆Hessian进行缩放，并且几乎不需要调整超参数（如拟牛顿方法的典型）。该算法与早期的随机二阶技术相比，该技术将每个贡献函数的Hessian视为对完整Hessian的噪声近似，而不是作为直接估计的目标。我们的实验证明了七个不同的优化问题的收敛性。该算法作为开源Python和MATLAB软件包发布。
2014-11-30 cs.LG
Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression
H. Milton Stewart School of Industrial；Systems Engineering, Georgia Institute of Technology e1,e2
本文研究了Polyak-Ruppert平均随机梯度下降的在线协方差矩阵估计，改进了批量均值收敛速率并实现了最小最大最优性，通过轨迹回归方法分解误差并建立下限。
2026-04-12 cs.LG math.ST stat.TH
Accelerating Neural Network Training Along Sharp and Flat Directions
本文研究限制更新于 Hessian 主导子空间正交补的 Bulk-SGD，分析其收敛与稳定性，并提出统一 SGD、Dom-SGD 和 Bulk-SGD 的插值梯度方法。
2025-05-17 cs.LG stat.ML
The alignment property of SGD noise and how it helps select flat minima: A stability analysis
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
随机梯度下降（SGD）有利于平坦极小值的现象在理解SGD的隐式正则化中发挥了关键作用。在本文中，我们通过将SGD的特定噪声结构与其\emph{linear stability}相关联来解释这一惊人现象（Wu等人，2018年）。具体来说，我们考虑训练具有平方损失的过参数化模型。我们证明了如果一个全局最小值$θ^*$对于SGD是线性稳定的，那么它必须满足$\|H(θ^*)\|_F\leq O(\sqrt{B}/η)$，其中$\|H(θ^*)\|_F, B,η$表示Hessian在$θ^*$，批量大小和学习率上的Frobenius范数。否则，SGD将快速从最小值\emph{exponentially}逃逸。因此，对于SGD可达到的最小值，锐度（由Hessian的Frobenius范数测量）受模型大小和样本量的\emph{independently}限制。获得这些结果的关键是利用SGD噪声的特殊结构：噪声集中在局部景观的尖锐方向，并且大小与损失值成正比。SGD噪声的这种对齐特性可证明适用于线性网络和随机特征模型（RFM），并在非线性网络中得到经验验证。此外，我们的理论研究结果的有效性和实际意义也证明了广泛的实验CIFAR-10数据集。
2022-10-17 cs.LG stat.ML
Gradient Heterogeneity Complements Hessian Heterogeneity in Transformer Optimization
Department of Computer Science, The University of Tokyo（东京大学计算机科学系）
通过梯度异质性分析，揭示Adam优化器优于SGD的原因，证明其与符号方法的关联，以及层归一化对异质性的影响。
2026-08-19 cs.AI cs.LG cs.NE
Distributed Hessian-Free Optimization for Deep Neural Network
Lehigh University（理海大学）；Intel Labs（英特尔实验室）
训练深度神经网络是一个高维、高度非凸的优化问题。随机梯度下降（SGD）算法及其变体是当前最先进的解决方案。然而，由于问题的非凸性性质，观察到SGD在鞍点附近减慢。最近的实证研究表明，通过有效地检测和逃逸鞍点，更有可能提高训练性能。为此，我们重新审视了深度网络的无海森优化方法。我们还开发了它的分布式变体，并展示了SGD的卓越扩展潜力，它允许更有效地利用更大的计算资源，从而实现大型模型和更快的时间来获得所需的解决方案。此外，不同于截断牛顿法（Marten的HF），忽略负曲率信息，通过使用朴素的共轭梯度法和高斯-牛顿海森近似信息-我们提出了一种新的算法来探索负曲率方向，通过稳定的双共轭方法解决的子问题，涉及可能的不确定的随机海森信息。我们表明，这些技术加快了标准MNIST数据集和TIMIT语音识别问题的训练过程，表现出强大的性能，批量大小高达一个数量级。对于一个简单的4层网络，最多可在16个CPU节点上实现接近线性的加速，说明了这种增加的扩展潜力。
2017-01-15 cs.DC cs.LG math.OC
Local SGD Accelerates Convergence by Exploiting Second Order Information of the Loss Function
The Hong Kong University of Science and Technology（香港科技大学）
本文从理论上证明局部SGD在IID数据下能有效利用损失函数的二阶信息，在小特征值特征向量上投影更大，从而加速收敛并可逼近牛顿法，实验验证了该理论。
2023-05-26 cs.LG
Decentralized SGD with Controlled Disagreement Finds Flatter Minima
Division of Decision and Control Systems（决策与控制系统系）；KTH Royal Institute of Technology（皇家理工学院）
提出DSGD-AC算法，通过自适应共识机制平衡分歧方向，使分布式训练找到更平坦的极小值，提升泛化性能。
2026-06-24 cs.DC cs.LG
Curvature-Weighted Gradient Diversity: A Noise Measure for Geometry-Adaptive SGD Schedules
Indian Institute of Technology Kharagpur (IIT KGP)（印度理工学院卡格浦分校（IIT KGP））
提出曲率加权梯度多样性（CWGD），一种几何感知的噪声度量，通过Hessian逆平方根加权梯度多样性，并证明CWGD调制的余弦学习率调度可将渐近优化误差降低至标准余弦退火的一半。
2026-06-29 cs.LG math.OC stat.ML
On the Trajectories of SGD Without Replacement
Princeton University（普林斯顿大学）
本文研究了无放回SGD的隐式正则化效应，证明其期望轨迹可解耦为高曲率方向的有放回SGD和平坦方向的噪声协方差迹正则化，从而更快穿越平坦区并逃离鞍点，且在视觉任务中鼓励Hessian谱稀疏性。
2024-04-20 cs.LG math.OC stat.ML
First and zeroth-order implementations of the regularized Newton method with lazy approximated Hessians
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Université catholique de Louvain（鲁汶天主教大学）
本文提出三次正则化牛顿方法的一阶与零阶实现，利用有限差分和自适应搜索避免Lipschitz常数，并引入惰性Hessian更新，显著提升非凸优化的复杂度界。
2023-09-05 cs.LG math.OC
Research of Damped Newton Stochastic Gradient Descent Method for Neural Network Training
Beihang University（北京航空航天大学）
随机梯度下降法（SGD）等一阶方法是近年来训练深度神经网络（DNN）的主流优化方法，而二阶方法由于在获取高阶信息时计算代价过高而很少使用。本文针对均方误差（MSE）回归问题和交叉熵损失（CEL）分类问题，提出了阻尼牛顿随机梯度下降（DN-SGD）方法和随机梯度下降阻尼牛顿（SGD-DN）方法来训练DNN。与其他二阶方法估计所有参数的海森矩阵不同，该方法只精确计算一小部分参数，大大降低了计算量，使得学习过程的收敛速度和精度都比SGD方法快得多。在真实数据集上进行了几个数值实验，以验证我们的方法对回归和分类问题的有效性。
2021-03-31 cs.LG math.OC
Deep learning, stochastic gradient descent and diffusion maps
Uppsala University（乌普萨拉大学）
随机梯度下降（SGD）由于其计算效率而广泛用于深度学习，但完全理解SGD为何表现如此出色仍然是一个重大挑战。经验上已经观察到，过度参数化的深度神经网络的损失景观上的损失函数的Hessian的大多数特征值接近于零，而只有少数特征值较大。零特征值表示沿相应方向的零扩散。这表明，极小值的选择过程主要发生在相对低维的子空间对应的顶部特征值的Hessian。虽然参数空间是非常高维的，这些发现似乎表明，SGD动力学可能主要生活在一个低维流形。在本文中，我们追求一个真正的数据驱动的方法，以获得一个潜在的更深入的理解的高维参数表面的问题，特别是，通过分析SGD生成的数据，由SGD跟踪出的景观，或任何其他优化器，为了可能发现（本地）低维表示的优化景观。作为我们探索的工具，我们使用R. Coifman和合著者。
2022-06-17 cs.LG stat.ML
ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm
UC Berkeley（加州大学伯克利分校）
本研究提出基于递归平均随机梯度的ROOT-SGD算法，可同时在非渐近和渐近层面达到强凸光滑无约束优化的最优性能，兼具精确有限样本风险界与最优渐近协方差特性。
2024-09-17 cs.LG math.OC stat.ML
Edge of Stochastic Stability: Revisiting the Edge of Stability for SGD
Princeton University（普林斯顿大学）；MIT（麻省理工学院）
该研究重新审视了SGD的稳定性边缘，揭示了小批量SGD在边缘随机稳定性下的训练机制及批量尖锐度的稳定性特性。
2025-12-29 cs.LG math.OC stat.ML
The Implicit Regularization of Dynamical Stability in Stochastic Gradient Descent
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
本文从动力学稳定性视角分析 SGD 的隐式正则化，证明稳定最小值约束 Hessian 迹并等价于参数范数，从而解释大学习率 SGD 优于 GD 的泛化表现。
2023-06-01 cs.LG stat.ML
On the Promise of the Stochastic Generalized Gauss-Newton Method for Training DNNs
ETH Zurich（苏黎世联邦理工学院）；University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
在早期关于深度学习的Hessian-free方法的工作之后，我们研究了用于训练DNN的随机广义高斯-牛顿方法（SGN）。SGN是一种二阶优化方法，具有高效的迭代，我们证明通常需要比标准SGD少得多的迭代来收敛。顾名思义，SGN对Hessian矩阵使用高斯-牛顿近似，并且为了计算近似搜索方向，依赖于结合正向和反向自动微分的共轭梯度法。尽管SGD及其一阶变体取得了成功，尽管基于高斯-牛顿海森近似的无海森方法在理论上已经被提出作为训练DNN的实用方法，但我们认为SGN在大的小批量场景中有很多未被发现的潜力。对于这种设置，我们证明了SGN不仅在迭代次数方面大大优于SGD，而且在运行时间方面也有所改善。这是通过我们在Theano深度学习平台中提出的高效，易于使用和灵活的SGN实现的，与Tensorflow和Pytorch不同，它支持向前自动微分。这使研究人员能够进一步研究和改进这种有前途的优化技术，并希望重新考虑将随机二阶方法作为训练DNN的竞争性优化技术;我们还希望SGN的承诺可能导致将前向自动微分添加到Tensorflow或Pytorch中。我们的结果还表明，在大的小批量场景中，SGN在其超参数方面比SGD更鲁棒（我们从来没有调整过我们的基准测试的步长！），这简化了超参数调整的昂贵过程，而超参数调整对于一阶方法的性能是至关重要的。
2020-06-09 cs.LG stat.ML
Curvature-Informed SGD via General Purpose Lie-Group Preconditioners
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出一种利用曲率信息并通过李群约束的预条件子来加速SGD的方法，该方法无需线搜索或阻尼，在视觉、NLP和RL任务上超越了当前最优性能。
2024-02-07 cs.LG
Quasi-Newton Optimization Methods For Deep Learning Applications
深度学习算法通常需要解决高度非线性和非凸无约束优化问题。解决大规模机器学习中优化问题的方法，如深度学习和深度强化学习（RL），通常限于一阶算法，如随机梯度下降（SGD）。虽然SGD迭代的计算成本很低，但它们的理论收敛速度很慢。此外，它们需要详尽的试错来微调许多学习参数。使用二阶曲率信息来寻找搜索方向可以帮助非凸优化问题更鲁棒的收敛。然而，计算大型问题的海森矩阵在计算上是不实际的。或者，拟牛顿方法构造海森矩阵的近似，以构建目标函数的二次模型。拟牛顿方法，如SGD，只需要一阶梯度信息，但它们可以导致超线性收敛，这使得它们成为SGD的有吸引力的替代品。有限记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在这一章中，我们提出了有效的优化方法的基础上L-BFGS拟牛顿方法使用线搜索和信赖域策略。我们的方法通过使用梯度信息来计算Hessian近似的低秩更新，从而弥合了一阶和二阶方法之间的差距。我们提供了这些方法的正式收敛分析以及深度学习应用的经验结果，例如图像分类任务和ATARI 2600视频游戏集上的深度强化学习。我们的研究结果表明，一个强大的收敛与首选的泛化特性，以及快速的训练时间。
2019-09-04 cs.LG math.OC stat.ML
Why SGD is not Brownian Motion: A New Perspective on Stochastic Dynamics
Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)（人工智能基础研究实验室（BRAIn Lab））；Innopolis University（因诺普利斯大学）；P.N. Lebedev Physical Institute of the Russian Academy of Sciences（俄罗斯科学院皮亚琴佐·列别杰夫物理研究所）
本文从离散更新出发，提出了一种将SGD视为在波动损失景观中确定性动力学的新方法，揭示了在临界点附近SGD的动力学行为，并通过实验验证了其在神经网络模型中的表现。
2026-05-21 cs.LG
Nys-Newton: Nyström-Approximated Curvature for Stochastic Optimization
RIKEN AIP（理化学研究所（RIKEN）计算科学中心（AIP））；Kyoto University（京都大学）
二阶最优化方法是用于凸优化问题的最广泛使用的优化方法之一，并且最近已被用于优化诸如深度学习模型的非凸优化问题。广泛使用的二阶最优化方法，如拟牛顿法，通常通过使用割线方程近似Hessian来提供曲率信息。然而，割线方程由于使用一阶导数而在近似牛顿步骤时变得乏味。在这项研究中，我们提出了一个近似牛顿草图为基础的随机最优化算法的大规模经验风险最小化。具体来说，我们计算一个部分列的海森大小（$d\times m$）与$m\ll d$随机选择的变量，然后使用\emph{Nyström method}更好地近似完整的海森矩阵。为了进一步降低每次迭代的计算复杂性，我们直接计算更新步长（$Δ\boldsymbol{w}$），而不计算和存储完整的Hessian或其逆。然后，我们将我们的近似海森与随机梯度下降和随机方差-约化梯度法。对凸函数和非凸函数的数值实验结果表明，该方法能够获得更好的牛顿\textquotesingle方法的逼近，表现出与现有的一阶拟牛顿方法和随机拟牛顿方法相当的性能.此外，我们提供了一个理论上的凸函数的收敛性分析。
2022-01-29 cs.LG math.OC stat.ML
Training Neural Networks with Stochastic Hessian-Free Optimization
University of Alberta（阿尔伯塔大学）
Hessian-free（HF）优化已成功用于训练深度自动编码器和递归网络。HF使用共轭梯度算法通过曲率向量乘积来构造更新方向，曲率向量乘积可以在与梯度相同的时间顺序上计算。在本文中，我们利用这个属性，研究随机HF的梯度和曲率小批量独立的数据集大小。我们修改马滕斯的HF为这些设置和集成dropout，一种方法，用于防止特征检测器的共同适应，以防止过度拟合。随机无Hessian优化提供了SGD和HF之间的中介，在分类和深度自动编码器实验中都实现了有竞争力的性能。
2013-05-01 cs.LG cs.NE stat.ML
The Expected Loss of Preconditioned Langevin Dynamics Reveals the Hessian Rank
Technion – Israel Institute of Technology（以色列理工学院）
本文推导了预条件朗之万动力学在驻点附近期望损失的闭式解，证明在特定预条件与噪声协方差关系下期望损失正比于 Hessian 秩，并据此比较了 SGD 类与 Adam 类预条件器的适用条件。
2024-02-21 cs.LG
Stochastic Runge-Kutta methods and adaptive SGD-G2 stochastic gradient descent
CEREMADE, Université Paris Dauphine - PSL Research University（CEREMADE，巴黎多芬大学-巴黎文理研究大学）
损失函数的最小化在深度神经网络中至关重要。另一方面，许多流行的优化算法已被证明是对应于一些梯度流类型的发展方程。受一般发展方程数值方法的启发，我们引入了一个二阶随机龙格库塔法，并证明了它产生了一个一致的程序的损失函数的最小化。此外，在自适应框架中，它可以与随机梯度下降（SGD）耦合，以自动调整SGD的学习率，而不需要关于损失泛函的Hessian的任何附加信息。自适应SGD，称为SGD-G2，已在标准数据集上成功测试。
2020-02-20 cs.LG cs.NA math.NA
Spectral alignment of stochastic gradient descent for high-dimensional classification tasks
Courant Institute, New York University（纽约大学Courant研究所）；Department of Mathematics, Northwestern University（西北大学数学系）；Department of Statistics and Data Science, University of Pennsylvania（宾夕法尼亚大学统计与数据科学系）；Department of Statistics and Actuarial Science, Department of Applied Mathematics, and Cheriton School of Computer Science, University of Waterloo（滑铁卢大学统计与精算系、应用数学系及Cheriton计算机科学学院）
该研究严格分析高维分类任务中SGD训练动力学与经验Hessian、梯度矩阵谱的关系，证明二者轨迹与离群特征空间共对齐于低维子空间，多层网络逐层对齐且末层离群特征空间随训练演化、次优收敛时秩亏，验证了过往过参数化网络谱特性的数值预测。
2025-05-15 cs.LG math.PR stat.ML
Sharp Analysis for Nonconvex SGD Escaping from Saddle Points
在本文中，我们给出了一个尖锐的分析随机梯度下降（SGD），并证明了SGD是能够有效地逃离鞍点，并找到一个$(ε, O(ε^{0.5}))$ -近似二阶稳定点的$\tilde{O}(ε^{-3.5})$随机梯度计算一般非凸最优化问题，当目标函数满足梯度Lipschitz，Hessian-Lipschitz和分散噪声的假设。这一结果颠覆了经典的信念，SGD至少需要$O(ε^{-4})$随机梯度计算获得一个$(ε,O(ε^{0.5}))$ -近似二阶稳定点。这样的SGD速率匹配，直到问题相关参数的多对数因子，最加速的非凸随机最优化算法的速率，该算法采用额外的技术，如Nesterov的动量加速，负曲率搜索，以及二次和三次正则化技巧。我们的新的分析提供了新的见解，非凸SGD，并可能推广到广泛的一类随机最优化算法。
2019-06-04 cs.CC cs.LG math.OC
Sharp Stationary Gaussian Approximation for Constant-Stepsize SGD
PIT IN Corp.（PIT IN 公司）
针对常步长SGD，证明了其不变分布与高斯分布的锐利逼近，结合分块比较与收缩技术，并通过四状态例子验证下界。
2026-10-02 cs.LG math.OC
Black Box Lie Group Preconditioners for SGD
Facebook（脸书）
提出了一种无矩阵和低秩近似预条件子，利用Hessian向量积或参数和梯度的有限差分中的曲率信息，加速随机梯度下降（SGD）算法的收敛，类似于BFGS算法.这两个预处理器都采用在线更新的方式，最小化了一个标准，该标准没有线搜索，对随机梯度噪声具有鲁棒性，并且进一步约束在某些连通李群上，以保持它们相应的对称性或不变性，例如，用具有正行列式的连通一般线性群确定坐标的方向。李群的等方差性质便于预处理器拟合，其不变性性质节省了任何阻尼的需要，这在二阶优化器中很常见，但难以调整。参数更新的学习率和预条件拟合的步长是自然归一化的，它们的默认值在大多数情况下都很好。
2022-11-08 cs.LG stat.ML
The Heavy-Tail Phenomenon in SGD
Rutgers Business School（罗格斯商学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Florida State University（佛罗里达州立大学）
近年来，人们提出了各种容量和复杂度的概念来表征深度学习中随机梯度下降（SGD）的泛化特性。与对不可见数据的性能良好相关的一些流行概念是（i）由SGD找到的局部极小值的“平坦度”，其与Hessian的特征值有关，（ii）步长$η$与批量大小$b$的比率，其基本上控制随机梯度噪声的幅度，以及（iii）“尾部指数”，其测量收敛时网络权重尾部的重量。在本文中，我们认为，这三个看似无关的推广的角度是深深地联系在一起。我们声称，取决于最小损失的Hessian的结构，以及算法参数$η$和$b$的选择，SGD迭代将收敛到\emph{heavy-tailed}平稳分布。我们严格证明了这一要求的设置二次优化：我们表明，即使在一个简单的线性回归问题，独立和同分布的数据，其分布有有限的时刻的所有顺序，迭代可以重尾无限的方差。我们进一步描述的行为的尾巴相对于算法参数，尺寸和曲率。然后，我们将我们的结果转化为关于SGD在深度学习中的行为的见解。我们通过在合成数据、全连接和卷积神经网络上进行的实验来支持我们的理论。
2021-06-14 cs.LG math.OC math.ST
Improving SGD convergence by online linear regression of gradients in multiple statistically relevant directions
Jagiellonian University（雅盖隆大学）
深度神经网络通常使用随机梯度下降（SGD）进行训练，该算法使用非常粗略的梯度近似来最小化目标函数，仅对实际梯度进行平均。标准的方法，如动量或ADAM只考虑一个方向，并不试图从极值模型的距离-忽略了有价值的信息，从计算的梯度序列，往往停滞在一些次优的高原。二阶方法可以利用这些错过的机会，然而，除了遭受非常大的成本和数值不稳定性之外，由于忽略曲率的符号（作为Hessian的特征值），其中许多方法会吸引到次优点，如鞍点。无鞍牛顿法是解决这个问题的一个罕见的例子-将鞍吸引力变为排斥力，并被证明可以通过这种方式对最终值提供本质的改进。然而，它忽略了噪声，而建模二阶行为，专注于Krylov子空间的数值原因，并需要昂贵的特征分解。在保持SFN优势的情况下，提出了用于利用这些机会的廉价方式。二阶行为是一阶导数的线性依赖-我们可以用最小二乘线性回归从噪声梯度序列中最佳地估计它，在这里的在线设置中：用旧梯度的弱化权重。统计相关子空间由最近的噪声梯度的PCA建议-在在线设置中，它可以通过缓慢地将所考虑的方向旋转到新的梯度，逐渐用最近的统计相关取代旧的方向来实现。特征分解也可以在线执行：定期执行QR方法的步骤，以保持对角Hessian。在二阶建模子空间之外，我们可以同时执行梯度下降。
2023-03-13 cs.LG stat.ML
On the Relation Between the Sharpest Directions of DNN Loss and the SGD Step Length
Jagiellonian University（雅盖隆大学）；Mila / University of Montreal（Mila / 蒙特利尔大学）；Facebook AI Research（Facebook人工智能研究院）；Ruhr University Bochum（波鸿鲁尔大学）；University of Edinburgh（爱丁堡大学）
具有大学习率或小批量的神经网络的基于随机梯度下降（SGD）的训练通常在权重空间的良好泛化的平坦区域中结束，如训练损失的Hessian的小特征值所指示的。然而，沿着SGD轨迹的曲率知之甚少。实证研究表明，初始SGD访问越来越尖锐的区域，达到最大的尖锐度决定的学习率和批量的SGD。当研究SGD动力学在这个初始阶段的最尖锐的方向，我们发现，SGD步骤是大的曲率相比，通常无法最大限度地减少损失沿最尖锐的方向。此外，在这些方向上使用降低的学习率可以提高训练速度，同时与vanilla SGD相比，可以获得更清晰和更好的泛化解决方案。总之，我们对SGD在最尖锐方向的子空间中的动态分析表明，它们影响SGD转向的区域（较大的学习率或较小的批量大小导致访问更广泛的区域），整体训练速度以及最终模型的泛化能力。
2019-12-23 cs.LG stat.ML
NeCPD: An Online Tensor Decomposition with Optimal Stochastic Gradient Descent
The University of Sydney（悉尼大学）
多路数据分析已成为捕获存储在张量$\mathcal{X} \in \mathbb{R} ^{I_1 \times \dots \times I_N} $中的高阶数据集中的底层结构的重要工具。$CANDECOMP/PARAFAC$（CP）分解已被广泛研究并应用于通过$N$加载矩阵$A^{(1)}, \dots, A^{(N)}$来近似$\mathcal{X}$，其中$N$表示张量的阶。基于随机梯度下降（SGD）算法，提出了一种新的多路在线数据非凸问题CP分解求解器NeCPD。SGD在在线设置中非常有用，因为它允许我们在一个单步的步骤中更新$\mathcal{X}^{(t+1)}$。就全局收敛性而言，SGD算法在处理非凸问题时，存在许多鞍点。我们研究了Hessian矩阵来识别这些鞍点，然后尝试使用扰动方法来逃避它们，该方法在梯度更新步骤中添加了很少的噪声。我们进一步应用Nesterov的加速梯度（NAG）方法在SGD算法，以最佳地加快收敛速度和补偿海森计算延迟时间每历元。在结构健康监测领域使用基于实验室和现实生活中的结构数据集的实验评估表明，我们的方法提供了更准确的结果相比，现有的在线张量分析方法。
2020-03-18 cs.LG stat.ML
Power-law escape rate of SGD
RIKEN Center for Emergent Matter Science (CEMS)（理化学研究所新兴物质科学研究中心）；The University of Tokyo（东京大学）
随机梯度下降（SGD）算法由于均方损失而受到复杂的乘性噪声的影响。我们利用SGD噪声的这一特性，通过执行随机时间变化，推导出具有更简单的加性噪声的随机微分方程（RSDs）。使用这种形式主义，我们表明，局部最小值$θ^*$和鞍$θ^s$之间的对数损失势垒$Δ\log L=\log[L(θ^s)/L(θ^*)]$决定SGD从局部最小值的逃逸率，与以前的结果相反，借用物理学的线性损失势垒$ΔL=L(θ^s)-L(θ^*)$决定逃逸率。我们的逃逸率公式强烈地依赖于典型的大小$h^*$和海森的离群本征值的数量$n$。这一结果解释了一个经验事实，即SGD更喜欢低有效维度的平坦极小值，从而深入了解SGD的内隐偏差。
2022-01-29 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Entropy-SGD: Biasing Gradient Descent Into Wide Valleys
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）；Politecnico di Torino（都灵理工大学）；Microsoft Research New England（微软研究院新英格兰分部）
本文提出了一种新的优化算法，称为Entropy-SGD，用于训练深度神经网络，其动机是能量景观的局部几何形状。具有低泛化误差的局部极值在具有很少的正或负特征值的Hessian中具有大比例的几乎为零的特征值。我们利用这一观察，构建一个局部熵为基础的目标函数，有利于良好的概括性的解决方案，躺在大的平坦地区的能源景观，同时避免较差的概括性的解决方案位于尖锐的山谷。从概念上讲，我们的算法类似于SGD的两个嵌套循环，其中我们在内部循环中使用Langevin动力学来计算每次更新权重之前的局部熵的梯度。我们表明，新的目标具有更平滑的能量景观，并在一定的假设下，使用一致稳定性，显示出比SGD更好的泛化能力。我们在卷积和递归网络上的实验表明，熵SGD在泛化误差和训练时间方面优于最先进的技术。
2017-04-21 cs.LG stat.ML
Suspicious Alignment of SGD: A Fine-Grained Step Size Condition Analysis
Dartmouth College（达特茅斯学院）；University of Birmingham（伯明翰大学）；KAIST（韩国科学技术院）
本文研究了在退化优化中SGD的可疑对齐现象，探讨了步长选择如何导致对齐阶段的变化，揭示了在低对齐阶段适应性步长与对齐变化的关系，以及在高对齐阶段自修正特性。
2026-05-07 cs.LG
Non-Euclidean SGD for Structured Optimization: Unified Analysis and Improved Rates
Yandex Research（Yandex研究院）
针对非欧几里得SGD（如SignSGD、Lion、Muon）在深度学习中成功但理论速率不如欧几里得SGD的问题，提出统一收敛分析，证明其能利用稀疏/低秩结构、受益于外推或动量方差缩减，并匹配AdaGrad等自适应算法的最优速率。
2026-06-23 cs.LG math.OC
Mini-batch Noise Lowers Sharpness via Dominant-Subspace Fluctuations
Ajou University（韩国亚洲大学）
研究SGD训练中主导子空间与损失、锐度的关系，通过推导主导方向波动的平均梯度及小批量噪声引起的锐度校正项，实验表明添加校正项能让GD锐度演变更接近SGD。
2026-07-28 cs.LG
SGD at the Edge of Stability: The Stochastic Sharpness Gap
Rice CS（Rice 计算机科学系）；Rice CS, Ken Kennedy Institute（Rice 计算机科学系，肯·肯尼迪研究所）
本文研究了SGD在稳定性边缘的随机尖锐性间隙，提出随机自稳定机制，推导了闭合形式的平衡尖锐性间隙公式，揭示了小批量对解平坦性的影响。
2026-04-22 cs.AI cs.LG math.OC
When and Why Momentum Accelerates SGD:An Empirical Study
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
该研究通过实证探究动量加速SGD的时机与原因，构建有效学习率比较框架发现其优势随学习率和批量大小变化，且动量通过阻止或推迟方向海森矩阵的突变锐化实现加速，深化了对动量机制的理解。
2023-06-15 cs.CV cs.LG
HERO: Hessian-Enhanced Robust Optimization for Unifying and Improving Generalization and Quantization Performance
Duke University（杜克大学）
随着最近在移动和边缘设备上部署神经网络模型的需求，期望提高模型对看不见的测试数据的泛化能力，以及增强模型在定点量化下的鲁棒性以进行有效部署。然而，最小化训练损失对泛化和量化性能几乎没有保证。在这项工作中，我们满足需要，同时提高泛化和量化性能的理论统一的框架下，提高模型的鲁棒性有界的权重扰动和最小化的Hessian矩阵的特征值相对于模型的权重。因此，我们提出了HERO，一种Hessian增强的鲁棒优化方法，通过基于梯度的训练过程来最小化Hessian特征值，同时提高泛化和量化性能。HERO使测试准确度提高了3.8%，在80%的训练标签扰动下准确度提高了30%，并且在广泛的精度范围内具有最佳的训练后量化准确度，包括在各种数据集上的通用模型架构中，比SGD训练模型的准确度提高了>10%。
2021-11-23 cs.LG math.OC
SGD without Replacement: Sharper Rates for General Smooth Convex Functions
Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）
研究光滑凸函数的随机梯度下降算法{ \em without replacement}（\sgdwor）.广泛观察到\sgdwor比真正的\sgd收敛得更快，其中每个样本都是独立绘制的{ \em with replacement} \cite{bottou2009curiously}，因此在实践中更受欢迎。但它的收敛性还没有得到很好的理解，因为没有替换的采样导致迭代和梯度之间的耦合。利用可交换对的方法来限定Wasserstein距离，给出了\sgdwor应用于{ \em一般光滑强凸}函数时的第一个非渐近结果.特别是，我们表明，\sgdwor收敛速度为$O(1/K^2)$，而\sgd是已知的收敛速度为$O(1/K)$，其中$K$表示通过数据的数量，并需要{ \em足够大}。在这种情况下，\sgdwor的现有结果需要额外的{ \em Hessian Lipschitz假设} \cite{gurbuzbalaban2015random,haochen2018random}。对于{ \em small} $K$，我们证明了对于{ \em一般光滑强凸}函数，\sgdwor可以达到与\sgd相同的收敛速度.此设置中的现有结果需要$K=1$，并且仅适用于广义线性模型\cite{shamir2016without}。此外，通过仔细的耦合分析，无论是大的和小的$K$，我们得到更好的依赖于问题相关的参数…
2020-02-27 cs.LG math.OC stat.ML
Is your batch size the problem? Revisiting the Adam-SGD gap in language modeling
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Institute（ELLIS研究所）；Tübingen AI Center（图宾根人工智能中心）
本研究重新审视语言建模中Adam与SGD的优化器性能差距，通过全面调优的Transformer实验发现小批次下带动量的SGD调优后性能可接近Adam，并基于随机微分方程模型提出批次大小影响训练动态的新见解。
2025-06-14 cs.LG math.OC
Label Noise SGD Provably Prefers Flat Global Minimizers
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
在过参数化模型中，随机梯度下降（SGD）中的噪声隐式地正则化优化轨迹并确定SGD收敛到哪个局部最小值。受实证研究的启发，这些研究表明，使用带噪声的标签进行训练可以提高泛化能力，我们研究了带有标签噪声的SGD的隐式正则化效果。我们发现，SGD与标签噪声收敛到一个固定点的正则化损失$L(θ) +λR(θ)$，其中$L(θ)$是训练损失，$λ$是一个有效的正则化参数，取决于步长，标签噪声的强度，和批量大小，和$R(θ)$是一个明确的正则化惩罚尖锐的极小。我们的分析揭示了一个额外的正则化效果的大学习率超出了线性缩放规则，惩罚大的特征值的海森比小的。我们还证明了一般损失函数的分类扩展，动量的SGD和一般噪声协方差的SGD，显着加强了Blanc等人的工作。全局收敛和大学习率和HaoChen等人。一般模型。
2021-12-04 cs.IT cs.LG math.IT
SASSHA: Sharpness-aware Adaptive Second-order Optimization with Stable Hessian Approximation
针对二阶优化方法泛化较差的问题，提出 Sassha，通过显式降低解的锐度并稳定 Hessian 近似计算，在保证效率的同时显著提升了泛化性能。
2025-06-24 cs.AI cs.LG
Trajectory of Mini-Batch Momentum: Batch Size Saturation and Convergence in High Dimensions
McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）；Google Research（谷歌研究院）
在最小二乘问题上，当样本个数和维数都很大时，我们分析了大批量带动量随机梯度下降（SGD+M）的动力学。在这种情况下，我们表明，SGD+M的动态收敛到一个确定性的离散Volterra方程的维数增加，我们分析。我们确定了一个稳定的测量，隐式条件反射比（ICR），它调节SGD+M的能力，以加速算法。当批量大小超过该ICR时，SGD+M以$\mathcal{O}(1/\sqrtκ)$的速率线性收敛，匹配最佳的全批量动量（特别是执行和全批量一样好，但具有一小部分大小）。相比之下，对于小于ICR的批量，SGD+M的比例类似于单批SGD比例的倍数。我们给出了明确的选择学习率和动量参数的Hessian谱，实现这一性能。
2022-06-02 cs.LG math.OC math.PR
Information-Theoretic Trust Regions for Stochastic Gradient-Based Optimization
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
本文提出信息论信赖域优化方法 arTuRO，通过高斯建模参数并用 KL 散度约束步长，仅凭一阶信息近似 Hessian 对角元素，兼顾快速收敛与泛化能力。
2023-10-31 cs.LG
SGD with Variance Reduction beyond Empirical Risk Minimization
CNRS（法国国家科学研究中心）；Ecole Polytechnique（巴黎综合理工学院）；Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）
我们引入了一个双随机邻近梯度算法优化的有限平均光滑凸函数，其梯度依赖于数值昂贵的期望。我们的主要动机是加速正则化Cox偏似然（生存分析中使用的核心模型）的优化，但我们的算法也可以用于不同的设置。所提出的算法是双重随机的，在这个意义上，梯度步骤是使用随机梯度下降（SGD）方差减少，其中内部的期望近似的蒙特卡洛马尔可夫链（MCMC）算法。我们得到了MCMC迭代次数保证收敛的条件，并得到了强凸性下的线性收敛速度和次线性收敛速度。我们说明了这样一个事实，我们的算法提高了国家的最先进的求解器正则化Cox偏似然从生存分析的几个数据集。
2016-11-08 cs.LG stat.ML
