The Anisotropic Noise in Stochastic Gradient Descent: Its Behavior of Escaping from Sharp Minima and Regularization Effects
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
最近,在深度神经网络的背景下理解随机梯度下降(SGD)的行为引起了很多关注。沿着这条线,我们研究了一般形式的基于梯度的优化动力学无偏噪声,它统一了SGD和标准朗之万动力学。通过研究这种一般的优化动力学,我们分析了SGD从最小值逃逸的行为及其正则化效果。通过测量噪声协方差和损失函数的曲率来表征算法的最小值逃逸效率。在此基础上,建立了两个条件,以表明哪种类型的噪声结构在逃逸效率方面优于各向同性噪声。我们进一步证明了SGD中的各向异性噪声满足这两个条件,从而有助于有效地逃离尖锐和贫穷的最小值,走向更稳定和平坦的最小值,通常推广良好。我们系统地设计了各种实验来验证各向异性噪声的好处,与全梯度下降加各向同性扩散(即朗之万动力学)相比。
2019-06-10 cs.LG stat.ML
Sharp Convergence and Sample Complexity of Policy Mirror Descent for Average-Reward MDPs
The Ohio State University(俄亥俄州立大学)
本文针对平均奖励MDPs中的策略镜像下降,提出统一主递归分析,证明精确、非精确表格及线性函数逼近下的线性收敛,并将LFA样本复杂度从$t_{\mathrm{mix}}^5$改进至$t_{\mathrm{mix}}^3/\varepsilon^2$,且证明该复杂度不可改进。
2026-11-03 cs.LG math.OC
Convergence diagnostics for stochastic gradient descent with constant step size
University of Chicago(芝加哥大学);University of Chicago, Booth School of Business(芝加哥大学布斯商学院)
随机最优化中的许多迭代过程都表现出一个过渡阶段,然后是一个稳定阶段。在瞬态阶段期间,该过程朝向感兴趣的区域收敛,并且在稳定阶段期间,该过程在该区域中振荡,通常围绕单个点。在本文中,我们开发了一个统计诊断测试,以检测这样的相变的背景下,随机梯度下降恒定的学习率。我们目前的理论和实验表明,该地区的建议的诊断被激活与收敛区域相吻合。对于一类损失函数,我们得到了一个封闭形式的解决方案,描述这样的区域。最后,我们提出了一个应用程序,以加快收敛的随机梯度下降减半的学习率,每次检测到平稳。这导致了随机梯度下降的一个新变体,在许多情况下可以与最先进的方法相媲美。
2018-02-23 cs.LG math.ST stat.CO
Self-Stabilization: The Implicit Bias of Gradient Descent at the Edge of Stability
Princeton University(普林斯顿大学)
本文提出自稳定概念,用三次 Taylor 展开解释梯度下降在稳定性边缘的动力学,并证明其隐式等价于约束 $S(θ) \le 2/η$ 下的投影梯度下降,从而揭示梯度下降隐式偏向稳定性的机制。
2023-04-10 cs.IT cs.LG math.IT
SGD at the Edge of Stability: The Stochastic Sharpness Gap
Rice CS(Rice 计算机科学系);Rice CS, Ken Kennedy Institute(Rice 计算机科学系,肯·肯尼迪研究所)
本文研究了SGD在稳定性边缘的随机尖锐性间隙,提出随机自稳定机制,推导了闭合形式的平衡尖锐性间隙公式,揭示了小批量对解平坦性的影响。
2026-04-22 cs.AI cs.LG math.OC
DOME: Improving Signal-to-Noise in Stochastic Gradient Descent via Sharp-Direction Subspace Filtering
International Laboratory on Learning Systems (ILLS), Montreal, Canada;Mila – Quebec AI Institute, Montreal, Canada;McGill University, Montreal, Canada;Inria, INSA Lyon, CITI, UR3720, 69621 Villeurbanne, France;CNRS, INSA Lyon, LIRIS, UMR 5205, 69621 Villeurbanne, France
DOME通过尖锐方向子空间过滤技术,提高随机梯度下降的信噪比,减少优化过程中的噪声干扰。
2026-02-02 cs.LG
A Diffusion Theory For Deep Learning Dynamics: Stochastic Gradient Descent Exponentially Favors Flat Minima
The University of Tokyo(东京大学);RIKEN Center for AIP(理化学研究所人工智能中心)
随机梯度下降(SGD)及其变体是实践中训练深度网络的主流方法。SGD被称为找到一个平坦的最小值,通常推广良好。但是,从数学上讲,深度学习如何在如此多的最小值中选择一个平坦的最小值还不清楚。为了定量地回答这个问题,我们发展了一个密度扩散理论(DDT)来揭示极小值的选择如何定量地依赖于极小值的锐度和超参数。据我们所知,我们是第一个从理论上和经验上证明,受益于随机梯度噪声的海森相关的协方差,SGD有利于平坦的最小值指数比尖锐的最小值,而梯度下降(GD)与注入白噪声只有利于平坦的最小值多项式比尖锐的最小值。我们还发现,无论是小学习率还是大批量训练,都需要指数级的多次迭代才能摆脱批量大小和学习率之比的最小值。因此,大批量训练无法在实际计算时间内有效地搜索平坦极小值。
2021-01-15 cs.LG stat.ML
SANE: The phases of gradient descent through Sharpness Adjusted Number of Effective parameters
Oxford University(牛津大学)
本文提出基于局部曲率的有效维度度量 SANE,用于衡量解的质量并比较模型,证明其对大学习率具有鲁棒性,并通过 Hessian 近似在深层网络中验证其有效性。
2023-05-29 cs.LG
Non-Euclidean Gradient Descent Has Many Edges of Stability
University of Cambridge(剑桥大学)
该研究针对非欧几里得梯度下降的稳定性,明确其存在多个稳定性边界,通过线性共轭关系分析中间区域行为,给出二维构造验证相关性质的稳定性。
2026-10-14 cs.LG math.OC
Gradient Descent Converges Linearly to Flatter Minima than Gradient Flow in Shallow Linear Networks
Princeton University(普林斯顿大学);George Washington University(乔治华盛顿大学)
本文研究浅层线性网络中梯度下降的收敛动力学,证明其以线性速率收敛到比梯度流更平坦且范数更小的全局最小值,并揭示了收敛速度与隐式正则化之间的权衡。
2025-01-21 cs.LG math.OC stat.ML
A stochastic behavior analysis of stochastic restricted-gradient descent algorithm in reproducing kernel Hilbert spaces
Keio University(庆应义塾大学);CNRS(法国国家科学研究中心)
本文提出了一种基于核的随机约束梯度下降方法的随机行为分析。限制梯度在所谓的字典子空间内给出最陡的上升方向。分析提供了均方误差准则下的瞬态和稳态性能。它还包括平均值和均方意义上的稳定性条件。本研究是基于分析核归一化最小均方(KNLMS)算法最初提出的Chen等人。仿真结果验证了分析。
2014-10-14 cs.LG stat.ML
Dynamics of Gradient Descent with Large Step Size Near a Manifold of Flat Minima
University of Pennsylvania(宾夕法尼亚大学)
本文将梯度下降理论扩展到向量值输出的超参数化最小二乘及平坦极小值流形邻域,推广了范式和收敛定理,克服技术挑战,还表明框架适用于深度矩阵分解,得出新结构结果。
2026-09-09 cs.LG math.DS math.OC
Improving the Transient Times for Distributed Stochastic Gradient Methods
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
我们考虑分布式最优化问题,其中每个$n$代理拥有一个本地的成本函数,协作最小化的平均$n$费用函数在一个连接的网络。假设随机梯度信息是可用的,我们研究了分布式随机梯度算法,称为精确扩散与自适应步长(EDAS)适应的精确扩散方法和NIDS和执行非渐近收敛分析。我们不仅表明,EDAS渐近实现相同的网络独立的收敛速度集中随机梯度下降(SGD)最小化强凸和光滑的目标函数,但也表征了所需的瞬态时间的算法接近渐近收敛速度,表现为$K_T=\mathcal{O}\left(\frac{n}{1-λ_2}\right)$,其中$1-λ_2$代表混合矩阵的谱隙。据我们所知,当$n$费用函数的平均值是强凸的并且每个费用函数是平滑的时,EDAS实现了最短的过渡时间。数值模拟进一步证实和加强所获得的理论结果。
2021-05-11 cs.DC cs.LG cs.MA
A Markov Chain Theory Approach to Characterizing the Minimax Optimality of Stochastic Gradient Descent (for Least Squares)
Microsoft Research(微软研究院);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
这项工作提供了一个简化的证明统计极小极大最优性(平均)随机梯度下降(SGD),为特殊情况下的最小二乘。这一结果是通过将SGD分析为随机过程并通过精确地表征该过程的平稳协方差阵而获得的。有限速率最优性表征捕获了常数因子并解决了模型错误指定。
2018-07-21 cs.LG math.OC stat.ML
Edge Flow: A Tractable and Predictive Continuous-Time Model for Gradient Descent at the Edge of Stability
Inria, École Normale Supérieure, PSL Research University(法国国家信息与自动化研究所,巴黎高等师范学院,PSL研究大学)
针对深度学习梯度下降在稳定性边缘(EoS)的动力学,提出Edge Flow模型,通过三个耦合常微分方程分解为中心、振荡方向和幅度,实现可处理且预测性的建模,并揭示锐度自稳定机制。
2026-06-17 cs.LG
On Convergence-Diagnostic based Step Sizes for Stochastic Gradient Descent
EPFL(洛桑联邦理工学院);École Polytechnique(巴黎综合理工学院)
恒定步长的随机梯度下降具有两个阶段:一个过渡阶段,在此期间,迭代快速向最优值前进,其次是一个稳定阶段,在此期间,迭代振荡的最佳点。在本文中,我们表明,有效地检测这种过渡和适当地减少步长可以导致快速收敛速度。我们分析了Pflug(1983)提出的基于连续随机梯度之间的内积的经典统计检验。即使在简单的情况下,目标函数是二次的,我们表明,这种测试不能导致足够的收敛诊断。然后,我们提出了一种新的和简单的统计过程,准确地检测平稳性,我们提供的实验结果显示最先进的性能在合成和真实世界的数据集。
2020-07-01 cs.LG math.OC stat.ML
On the Complexity Analysis of Randomized Block-Coordinate Descent Methods
Simon Fraser University(西蒙弗雷泽大学);Microsoft Research(微软研究院)
本文分析了[8,11]中提出的随机块坐标下降(RBCD)方法,该方法用于极小化光滑凸函数与块可分凸函数之和.特别地,我们将Nesterov在[8]中提出的用于分析块可分闭凸集上最小化光滑凸函数的RBCD方法的技术推广到上述更一般的问题,并获得了比[11]中隐含的更尖锐的期望值型收敛速度。此外,我们获得了更好的高概率类型的迭代复杂度,它比[11]中的迭代复杂度至少提高了$O(n/ε)$,其中$ε$是目标解精度,$n$是问题块的数量。此外,对于无约束光滑凸极小化问题,我们提出了一种新的技术,称为{ \it随机估计序列},用于分析Nesterov [11]提出的加速RBCD方法,并建立了比[11]更精确的期望值型收敛速度.
2013-05-21 cs.LG cs.NA math.NA
Understanding Gradient Descent on Edge of Stability in Deep Learning
Princeton University(普林斯顿大学)
Cohen等人[2021]使用确定性梯度下降(GD)的深度学习实验揭示了当学习率(LR)和锐度(即,Hessian的最大特征值)不再表现为传统的优化。Shark稳定在$2/$ LR附近,损失在迭代中上下波动,但总体趋势仍是下降的。本文从数学上分析了EoS阶段隐式正则化的一种新机制,即由于非光滑损失景观而导致的GD更新沿着最小损失流形上的某些确定性流发展。这与许多以前的结果相反,隐式偏差依赖于无穷小更新或噪声梯度。形式上,对于具有一定正则性条件的任何光滑函数$L$,这种效应被证明为(1)归一化GD,即,GD伴不同LR $η_t =\fracη{\| \nabla L(x(t)) \|}$和$L$丢失;(2)GD伴恒定LR和$\sqrt{L- \min_x L(x)}$丢失。两者都可证明进入稳定边缘,流形上的相关流使$λ_{1}(\nabla^2 L)$最小化。上述理论结果得到了实验研究的证实。
2022-10-28 cs.LG math.OC
Sharp Generalization for Nonparametric Regression in Interpolation Space by Over-Parameterized Neural Networks Trained with Preconditioned Gradient Descent and Early Stopping
School of Computing and Augmented Intelligence(计算与增强智能学院);Arizona State University(亚利桑那州立大学);VecML Inc.(VecML公司)
本文针对插值空间下的非参数回归问题,提出带早停的预处理梯度下降算法训练过参数化两层神经网络,通过RKHS分解与局部Rademacher复杂度分析,证明其获得了优于现有近似最优速率与标准NTK机制下核回归速率的锐化泛化速率。
2026-10-27 cs.LG math.ST stat.ML
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science(魏茨曼科学研究所);TTI Chicago(芝加哥丰田工业大学)
当梯度延迟并反映$τ$轮前的迭代时,我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先,我们表明,没有随机噪声,延迟强烈影响可达到的优化误差:事实上,错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是,我们量化了随机噪声如何使延迟的影响可以忽略不计,改进了以前的工作,这些工作只显示了这种现象渐近或更小的延迟。此外,在分布式优化的背景下,结果表明,具有延迟的梯度下降的性能是有竞争力的同步方法,如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法,使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
A Bifurcation Theory Framework for Gradient Descent on the Edge of Stability
Eric Gan(埃里克·甘)
提出分岔理论框架,通过将训练动力学分解为法向和切向分量,证明稳定性边缘训练源于法向的翻转分岔,并收敛到最小化流形。
2026-06-16 cs.LG
A Theoretical Analysis of Noise Geometry in Stochastic Gradient Descent
School of Mathematical Sciences(数学科学学院);Peking University(北京大学);Center for Machine Learning Research(机器学习研究中心)
本文针对小批量随机梯度下降的噪声几何结构开展理论研究,提出量化对齐强度的指标,证明过参数化模型中对齐特性的可保证性,揭示SGD逃离尖锐极小值的独特机制,并通过实验验证理论结论。
2024-02-01 cs.LG stat.ML
Gradient Descent with Large Step Size Restores Symmetry in Deep Linear Networks with Multi-Pathway
University of California, Berkeley(加州大学伯克利分校)
本文研究大步长离散梯度下降如何通过边缘稳定性振荡使多路径深度线性网络从对称性破坏转向信号重新分配,从而偏好共享表示而非单路径主导。
2026-05-29 cs.AI cs.LG
Adaptive Heavy-Tailed Stochastic Gradient Descent
本文提出AHTSGD,依据Edge of Stability动态将优化器注入噪声由重尾过渡到轻尾,从而加速收敛至宽盆地并提升干净与含噪场景下的泛化。
2025-08-29 cs.AI cs.LG
Product-Stability: Provable Convergence for Gradient Descent on the Edge of Stability
Independent Researcher(独立研究者)
本文提出产品稳定性这一损失函数结构特性,证明在边缘稳定性区域训练时,梯度下降可收敛至局部最小值,扩展了先前结果并适用于广泛损失函数类。
2026-09-29 cs.LG
Variance Reduced Stochastic Gradient Descent with Neighbors
ETH Zurich(苏黎世联邦理工学院);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院)
随机梯度下降(SGD)是机器学习中的主力,但其缓慢的收敛可能是计算瓶颈。方差减少技术,如SAG,SVRG和SAGA已被提出来克服这一弱点,实现线性收敛。然而,这些方法要么基于枢轴点处的全梯度的计算,要么基于在存储器中保持每个数据点的校正。因此,相对于SGD的加速可能需要最少数量的时期才能实现。本文研究了可以利用训练数据中的邻域结构来共享和重用关于数据点之间的过去随机梯度的信息的算法,这在瞬态优化阶段提供了优势。作为副产品,我们提供了一个统一的收敛性分析的方差减少算法,我们称之为记忆算法的家庭。我们提供实验结果支持我们的理论。
2016-02-26 cs.LG math.OC stat.ML
Flatland: The Adventures of Gradient Descent with Large Step Sizes
University of British Columbia(不列颠哥伦比亚大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Canada CIFAR AI Chair (Amii)(加拿大CIFAR人工智能主席(Amii))
针对非全局L-光滑的神经网络目标函数,提出一种只需梯度局部Lipschitz连续的定义,设计自适应一阶方法实现大步长并始终处于稳定性边缘,发现过早进入全局平坦区域会降低收敛速度和泛化能力。
2026-06-04 cs.LG
Gradient Descent Finds Over-Parameterized Neural Networks with Sharp Generalization for Nonparametric Regression
Arizona State University(亚利桑那州立大学);VecML Inc.(VecML公司)
本文证明带早停的梯度下降训练过参数化两层神经网络可在有界协变量无分布假设下达到与经典核回归相同的锐利非参数回归风险速率,并解决了停止时间、网络宽度下界和恒定学习率等开放问题。
2025-11-06 cs.IT cs.LG math.IT
Extending the step-size restriction for gradient descent to avoid strict saddle points
Carnegie Mellon University(卡内基梅隆大学);Montana State University(蒙大拿州立大学)
我们提供了更大的步长限制,基于梯度下降的算法(几乎肯定)避免严格的鞍点。特别地,考虑一个二次可微(非凸)目标函数,其梯度具有Lipschitz常数L,并且其Hessian是良好的。我们证明了,初始条件的概率梯度下降的步长为2/L收敛到一个严格的鞍点,给定一个一致随机初始化,是零。这扩展了以前的结果,由凸的情况下施加的尖锐的限制。此外,参数的情况下,当给定的学习率时间表,无论是连续衰减率或分段恒定的时间表。
2019-08-05 cs.LG stat.ML
Algorithmic Instabilities of Accelerated Gradient Descent
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
研究了Nesterov加速梯度法的算法稳定性。对于凸二次目标,Chen et al.(2018)证明了该方法的一致稳定性随着优化步骤的数量呈二次增长,并证明了对于一般的凸和光滑情况也是如此。我们反驳这一猜想,并显示,两个概念的算法稳定性(包括一致稳定性),Nesterov的加速方法的稳定性,实际上恶化指数快速梯度步骤的数量。这与二次情况下的边界形成鲜明对比,也与非加速梯度方法的已知结果形成鲜明对比,其中稳定性通常随步骤数线性增长。
2021-06-19 cs.LG math.OC stat.ML
The Multiple Timescales of Gradient Descent on the Edge of Stability: A Perturbative Derivation of the Central Flow
Sorbonne Université(索邦大学);Inria(法国国家信息与自动化研究所);Centre Inria de Sorbonne Université(索邦大学法国国家信息与自动化中心)
该研究针对Cohen等人2025年提出的启发式推导的中心流,通过多尺度微扰方法,分析稳定性边界上梯度下降的三个时间尺度,推导中心流及自稳定机制,解释波动持续的原因。
2026-09-02 cs.LG math.OC stat.ML
Understanding and Detecting Convergence for Stochastic Gradient Descent with Momentum
Baidu Research(百度研究院)
迭代随机优化方法的收敛性检测具有重要的实际意义。研究了具有恒定学习率和动量的随机梯度下降算法。我们发现,存在一个瞬态阶段,迭代移动到一个区域的利益,和一个固定阶段,迭代保持有界的区域周围的最小点。我们构造了一个统计诊断测试收敛到平稳阶段使用连续梯度之间的内积,并证明所提出的诊断工作良好。我们从理论上和经验上描述了动量如何影响诊断的测试统计量,以及测试统计量如何在收敛的梯度内捕获相对稀疏的信号。最后,我们展示了一个应用程序,自动调整学习率,减少它每次检测到平稳性,并显示该程序是强大的错误指定的初始速率。
2020-08-27 cs.LG stat.ML
A Comparative Analysis of the Optimization and Generalization Property of Two-layer Neural Network and Random Feature Models Under Gradient Descent Dynamics
Princeton University(普林斯顿大学);Beijing Institute of Big Data Research(北京大数据研究院)
对两层神经网络模型在两层参数同时更新时的梯度下降动态进行了较全面的分析。一般的初始化方案,以及一般制度的网络宽度和训练数据大小被认为是。在过参数化的制度,它表明,梯度下降动态可以实现零训练损失指数快速,无论标签的质量。此外,证明了在整个训练过程中,由神经网络模型表示的函数一致地接近于核方法的函数。对于网络宽度和训练数据大小的一般值,在适当的再生核Hilbert空间中为目标函数建立了泛化误差的尖锐估计。
2020-02-21 cs.LG math.OC stat.ML
Rank-one matrix estimation: analytic time evolution of gradient descent dynamics
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们考虑一个秩一对称矩阵被加性噪声破坏。秩一矩阵由半径为$\sqrt{n}$的球体上的$n$ -分量未知向量形成,并且我们考虑了在$n$大的高维极限中通过球体上的二次成本函数的梯度下降从损坏的矩阵估计该向量的问题。严格推导出估计量和未知向量之间的重叠以及成本的整个时间演化的显式公式。在很长的时间限制,我们恢复众所周知的光谱相变,作为信噪比的函数。显式公式还允许指出有趣的瞬态特性的时间演化。我们的分析技术是基于随机矩阵理论的最新进展,并使用当地版本的半圆法。
2021-05-25 cs.LG math.PR stat.ML
Dynamic of Stochastic Gradient Descent with State-Dependent Noise
Microsoft Research Asia(微软亚洲研究院);University of Chinese Academy of Sciences(中国科学院大学)
随机梯度下降(SGD)及其变体是训练深度神经网络的主流方法。由于神经网络的非凸性,越来越多的工作研究SGD的动态行为及其对泛化能力的影响,特别是对局部极小值的逃逸效率。然而,这些工作采取了过于简化的假设,即SGD中噪声的协方差是常数(或可以是上界),尽管它实际上是状态相关的。在这项工作中,我们进行了正式的研究与状态依赖噪声的SGD的动力学行为。具体来说,我们表明,在局部极小值的局部区域的SGD噪声的协方差是一个状态的二次函数。因此,我们提出了一种新的幂律动力学与状态相关的扩散近似的SGD的动态。我们证明了幂律动力系统逃离尖锐极小点的速度比平坦极小点快,而以前的动力系统只能以多项式的速度逃离尖锐极小点。我们的实验很好地验证了我们的理论结果。受我们理论的启发,我们提出在(大批量)SGD中加入额外的状态相关噪声,以进一步提高其泛化能力。实验证明了该方法的有效性。
2020-10-12 cs.LG stat.ML
Large Spikes in Stochastic Gradient Descent: A Large-Deviations View
Technische Universität Berlin(柏林工业大学);University of Oslo(奥斯陆大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所)
研究随机梯度下降中的大损失spikes,通过大偏差分析揭示其在NTK缩放下的行为,发现其分裂为膨胀和收缩阶段,且spikes出现概率至少为多项式级别,从而促进平坦解的形成。
2026-04-13 cs.LG math.PR
On Asymptotic Linear Convergence of Projected Gradient Descent for Constrained Least Squares
Oregon State University(俄勒冈州立大学)
信号处理和机器学习中的许多最新问题,如压缩感知,图像恢复,矩阵/张量恢复和非负矩阵因子分解,都可以转换为约束优化。投影梯度下降法是求解此类约束最优化问题的一种简单而有效的方法。局部收敛分析进一步加深了我们对其在解附近的渐近行为的理解,与整体收敛分析相比,它提供了更清晰的收敛速度界限。然而,局部保证通常分散在机器学习和信号处理的特定问题领域。这份手稿提出了一个统一的框架内的局部收敛分析投影梯度下降的约束最小二乘的背景下。所提出的分析提供了深入了解关键的局部收敛特性,如线性收敛的条件,收敛区域,精确的渐近收敛速率,以及达到一定精度所需的迭代次数的限制。为了证明所提出的方法的适用性,我们提出了一个配方的收敛分析投影梯度下降,并证明它通过一个迭代到结束的应用程序的配方上的四个基本问题,即,线性等式约束的最小二乘,稀疏恢复,最小二乘与单位范数约束,和矩阵完成。
2022-06-20 cs.LG math.OC
Finite-Time Analysis of Gradient Descent for Shallow Transformers
The Ohio State University(俄亥俄州立大学);RWTH Aachen University(亚琛工业大学)
本文研究了浅层变换器在核域内通过投影梯度下降训练的有限时间性能,发现其宽度需求与样本量呈对数关系,优化误差与序列长度无关,与递归架构形成对比。
2026-04-02 cs.AI cs.LG math.OC
Adaptive Stopping Rule for Kernel-based Gradient Descent Algorithms
针对基于核的梯度下降算法,提出引入经验有效维度的自适应早停准则,通过积分算子方法证明其最优学习速率,并给出迭代次数精确界以体现计算优势。
2023-06-13 cs.LG stat.ML
Superpolynomial Lower Bounds for Learning One-Layer Neural Networks using Gradient Descent
University of Texas at Austin(得克萨斯大学奥斯汀分校);Shanghai Jiao Tong University(上海交通大学)
我们使用梯度下降证明了关于高斯分布的单层神经网络学习的第一个超多项式下界。我们表明,任何分类器训练使用梯度下降相对于平方损失将无法实现小的测试误差在多项式时间访问标记的一层神经网络的样本。对于分类,我们给出了一个更强的结果,即任何统计查询(SQ)算法(包括梯度下降)都将无法在多项式时间内实现小的测试误差。以前的工作只适用于小批量运行的梯度下降,需要急剧的激活,并适用于特定类别的查询。我们的下限适用于广泛的激活类别,包括ReLU和sigmoid。我们的结果的核心依赖于一个简单的神经网络家族的新结构,这些网络相对于所有球对称分布都是完全正交的。
2020-10-22 cs.DS cs.LG stat.ML
Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
本文研究了固定步长下随机梯度下降的收敛诊断,提出一种基于耦合的动态步长方案,通过监测耦合迭代距离检测平稳性,实现更高效的收敛性能。
2024-12-15 cs.LG math.OC stat.ML
Adaptive Stochastic Primal-Dual Coordinate Descent for Separable Saddle Point Problems
The University of Edinburgh(爱丁堡大学)
考虑一类具有可分结构的一般凸凹鞍点问题,这种形式涵盖了广泛的机器学习应用。在这种问题结构下,我们遵循鞍点问题的原始-对偶更新框架,并将具有自适应步长的随机块坐标下降纳入该框架中。我们从理论上表明,我们的建议的自适应步长可能实现一个尖锐的线性收敛速度相比,现有的方法。此外,由于我们可以选择“小批量”块坐标更新,我们的方法也适合于大规模数据的并行处理。我们将所提出的方法应用于正则化经验风险最小化,并表明它在合成数据集和真实数据集上的表现往往优于最先进的方法。
2015-06-12 cs.LG stat.ML
On the convergence of mirror descent beyond stochastic convex programming
Stanford University(斯坦福大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
在本文中,我们研究了一类随机最优化问题的镜像下降的收敛性,这些问题不一定是凸的(甚至是拟凸的),我们称之为变分相干的。由于标准技术的“遍历平均”提供没有实际的好处以外的凸规划,我们直接专注于算法的最后生成的样本(其“最后一个”),我们表明,它收敛的概率$1$,如果根本的问题是一致的。我们进一步考虑了一个局部版本的变分相干,它确保随机镜像下降(SMD)的局部收敛的高概率。这些结果表明(准)凸性对于收敛到全局极小值并不是必需的,从而为非凸随机最优化的前景做出了贡献:相反,变分相干性(一个弱得多的要求)就足够了。最后,在上述基础上,我们揭示了一个关于SMD收敛速度的有趣见解:在具有尖锐极小值的问题(如一般线性规划或凹极小化问题)中,SMD在有限步数(a.s.)中达到极小点,即使存在持续的梯度噪声。这一结果是对比现有的黑盒收敛速度估计,只有渐近。
2018-07-16 cs.LG math.OC
Generalization Analysis of Distributed Kernel-based Robust Gradient Descent Algorithms
Zhejiang University(浙江大学);Huazhong Agricultural University(华中农业大学)
本文针对分布式核鲁棒梯度下降算法,通过谱特征与误差分析优化参数选择,放宽机器数量限制并保持最优学习率,同时提出通信高效策略提升收敛性能。
2026-09-11 cs.LG math.OA math.PR
Stabilizing Sharpness-aware Minimization Through A Simple Renormalization Strategy
School of Mathematics and Statistics(数学与统计学院);Xi’an Jiaotong University(西安交通大学);Centrum Wiskunde & Informatica(国家数学和计算机科学研究院( Centrum Wiskunde & Informatica))
针对 SAM 易陷入鞍点且有效学习率区间有限的问题,本文提出轻量重归一化方法 SSAM,扩展有效学习率区间并在多个数据集和任务上稳定提升性能。
2024-09-10 cs.AI cs.LG
On Large Batch Training and Sharp Minima: A Fokker-Planck Perspective
研究了随机梯度下降(SGD)算法的动态轨迹的统计性质。我们近似的小批量SGD和动量SGD的随机微分方程(SDES)。我们利用连续公式化的方法和Fokker-Planck方程的理论,对逃逸现象以及与大批量和尖锐极小值的关系进行了新的研究。特别是,我们发现,随机过程的解决方案往往收敛到平坦的最小值,无论批量大小的渐近制度。然而,收敛速度被严格证明取决于批量大小。这些结果与各种数据集和模型进行了经验验证。
2021-12-02 cs.LG math.ST stat.TH
Generalization Bounds of Stochastic Gradient Descent for Wide and Deep Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们研究了过参数化机制下深度神经网络(DNN)的训练和泛化,其中网络宽度(即,每层隐藏节点的数量)远大于训练数据点的数量。我们证明,使用随机梯度下降(SGD)和随机初始化训练的足够宽的ReLU网络的预期$0$ - $1$损失可以由初始化时网络梯度引起的随机特征模型的训练损失来限制,我们称之为神经正切随机特征(NTRF)模型。对于可以用NTRF模型进行分类的数据分布,具有足够小的误差,我们的结果产生了$\tilde{\mathcal{O}}(n^{-1/2})$阶的泛化误差界,它与网络宽度无关。我们的结果比现有的过参数神经网络的泛化误差界更一般和尖锐。此外,我们建立了我们的泛化误差界和神经切线核(NTK)在最近的工作中提出的强连接。
2019-11-12 cs.LG math.OC stat.ML
Robust descent using smoothed multiplicative noise
Osaka University(大阪大学)
为了改善经典过程的离样本泛化,最大限度地减少潜在重尾数据下的经验风险,近年来提出了新的鲁棒学习算法,其中广义均值策略尤为突出。这些程序在弱矩假设下的潜在损失上享有尖锐的风险界限形式的性能保证,但通常遭受大量的计算开销和大量的偏差时,数据恰好是次高斯,限制了它们的效用。在这项工作中,我们提出了一种新的鲁棒梯度下降过程,它利用平滑乘性噪声直接应用于观察之前,构建一个软截断梯度坐标的总和。我们表明,该程序具有竞争力的理论保证,与一个简单的实现,不需要一个迭代子例程的鲁棒性的主要优势。实证检验加强了理论,更有效的泛化在更广泛的数据分布类。
2018-10-15 cs.LG stat.ML
Analyzing Sharpness along GD Trajectory: Progressive Sharpening and Edge of Stability
Tsinghua University(清华大学)
最近的研究结果(例如,arXiv:2103.00065)证明了通过全批梯度下降训练的现代神经网络通常会进入称为稳定边缘(EOS)的状态。在这种情况下,锐度,即,最大Hessian特征值首先增加到值2/(步长)(渐进锐化阶段),然后围绕该值振荡(EOS阶段)。本文旨在分析GD动力学和沿优化轨迹的锐度。我们的分析自然地将GD轨迹分为四个阶段,这取决于锐度的变化。我们凭经验确定输出层权重的范数作为锐度动态的有趣指标。基于这一经验观察,我们试图从理论和经验上解释导致EOS每个阶段锐度变化的各种关键量的动力学。此外,基于一定的假设,我们提供了一个理论证明的清晰度行为在EOS制度的两层全连接线性神经网络。我们还讨论了其他一些实证结果和我们的理论结果的局限性。
2022-11-03 cs.LG
Parameter Symmetry and Noise Equilibrium of Stochastic Gradient Descent
Massachusetts Institute of Technology(麻省理工学院);NTT Research(NTT研究院);Peking University(北京大学);The University of Tokyo(东京大学)
本文研究指数对称性下随机梯度下降的动力学,证明梯度噪声产生诺特流并收敛到唯一噪声均衡点,该机制可解释渐进锐化/平坦化及表征形成,并指导表征归一化与预热等技术。
2024-11-07 cs.LG math.OC stat.ML
Towards Theoretical Understanding of Large Batch Training in Stochastic Gradient Descent
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
随机梯度下降(SGD)几乎普遍用于训练非凸优化任务。最近,Keskar et al. [2017]提出的一个假设,即大批量方法倾向于收敛到尖锐的极小值,这一假设受到了越来越多的关注。我们从理论上证明了这一假设,通过提供新的性质的SGD在有限时间和渐近制度。特别是,我们给出了一个明确的逃逸时间SGD从局部最小值在有限时间制度,并证明SGD往往收敛到平坦的最小值在渐近制度(虽然可能需要指数时间收敛),无论批量大小。我们还发现,具有较大的学习率与批量大小的比率的SGD倾向于更快地收敛到平坦的最小值,然而,其泛化性能可能比具有较小的学习率与批量大小的比率的SGD差。我们包括数值实验来证实这些理论研究结果。
2018-12-03 cs.LG stat.ML
Convergence Rates for Gradient Descent on the Edge of Stability in Overparametrised Least Squares
Innovation in Data Engineering and Science (IDEAS) University of Pennsylvania(数据工程与科学创新研究所(IDEAS)宾夕法尼亚大学)
本文研究过参数化最小二乘中大学习率梯度下降的“稳定性边缘”现象,利用全局极小值黎曼流形分解动力学,给出亚临界、临界和超临界三种区间的收敛速率。
2025-10-20 cs.LG math.OC
Accelerating Stochastic Gradient Descent For Least Squares Regression
Microsoft Research(微软研究院);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
人们普遍认为,由于快速梯度法的不稳定性和误差积累,不可能有效地利用快速梯度法(例如Nesterov的加速法、共轭梯度法、重球法)进行随机最优化,这一概念在d'Aspremont 2008和Devolder、Glineur和Nesterov 2014中得到了精确阐述。这项工作认为这些问题的特殊情况下的最小二乘回归问题的随机逼近,我们的主要结果驳斥了传统的智慧,表明加速可以强大的统计误差。特别是,这项工作介绍了一种加速随机梯度方法,可证明实现最小最大最优统计风险比随机梯度下降。分析的关键是加速随机梯度下降作为一个随机过程的一个尖锐的特点。我们希望这种特性提供了更广泛的问题,设计简单,有效的加速随机方法更一般的凸和非凸优化问题的见解。
2018-07-31 cs.LG math.OC math.ST
Stabilize Deep ResNet with A Sharp Scaling Factor $τ$
Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学);University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
我们研究了用梯度下降训练深度ResNets的稳定性和收敛性。具体来说,我们表明,在残留块的参数分支应按比例缩小的一个因素$τ=O(1/\sqrt{L})$,以保证稳定的前向/后向过程,其中$L$是残留块的数量。此外,我们还建立了一个逆结果,即当对任意正常数$c$,有$τ>L^{-\frac{1}{2}+c}$时,正向过程是无界的.上述两个结果共同建立了确定深度ResNet稳定性的比例因子的尖锐值。基于稳定性结果,我们进一步表明,如果ResNet被适当地过参数化,则梯度下降会找到全局最小值,这比以前的工作有显着改善,$τ$的范围更大,允许全局收敛。此外,我们证明了收敛速度与深度无关,从理论上证明了ResNet优于vanilla前馈网络的优势。根据经验,使用这样的因子$τ$,可以在没有规范化层的情况下训练深度ResNet。此外,对于具有规范化层的ResNet,添加这样的因子$τ$也可以稳定训练,并为深度ResNet获得显着的性能增益。
2023-01-31 cs.LG stat.ML