Differentially Private SGD with Non-Smooth Losses
Northwest University(西北大学);University of Birmingham(伯明翰大学);State University of New York at Albany(纽约州立大学奥尔巴尼分校)
在本文中,我们关注的差异私人{随机梯度下降(SGD)}算法在随机凸优化(SCO)的设置。现有的工作大多要求损失是Lipschitz连续和强光滑的,模型参数是一致有界的。然而,这些假设是限制性的,因为许多流行的损失违反这些条件,包括SVM的铰链损失,鲁棒回归中的绝对损失,甚至是无界域中的最小二乘损失。我们显着放松这些限制性的假设,并建立隐私和泛化(实用程序)保证私人SGD算法使用输出和梯度扰动与非光滑凸损失。具体地,损失函数被放松以具有$α$连续梯度(称为$α$平滑度),其实例化Lipschitz连续性($α=0$)和强平滑性($α=1$)。我们证明了噪声SGD与$α$ -Hölder平滑损失使用梯度扰动可以保证$(ε,δ)$ -差分隐私(DP),并达到最佳的超额人口风险$\mathcal{O}\Big(\frac{\sqrt{d\log(1/δ)}}{nε}+\frac{1}{\sqrt{n}}\Big)$,对数项,与梯度复杂度$ \mathcal{O}( n^{2-α\over 1+α}+ n).$这表明了一个重要的权衡之间的$α$ -Hölder平滑的损失和计算复杂度的私人SGD统计最优性能。特别是,我们的研究结果表明,$α$ -Hölder光滑与$α\ge {1/2}$是足以保证$(ε,δ)$ -DP的噪声SGD算法,同时实现最佳的超额风险与线性梯度复杂度$\mathcal{…
2021-06-26 cs.LG stat.ML
Stability and Convergence of Stochastic Gradient Clipping: Beyond Lipschitz Continuity and Smoothness
KTH Royal Institute of Technology(瑞典皇家理工学院)
随机梯度算法在应用于不具有Lipschitz连续和/或有界梯度的函数时通常是不稳定的。梯度裁剪是一种简单而有效的技术,可以稳定训练过程,解决容易出现梯度爆炸问题的问题。尽管它的广泛流行,梯度裁剪启发式算法的收敛特性知之甚少,特别是对于随机问题。建立了次梯度快速增长的非光滑凸函数的剪裁随机(次)梯度法(SCD)的定性和定量收敛结果。我们的分析表明,裁剪增强了SGD的稳定性,裁剪SGD算法在许多情况下具有有限的收敛速度。在标准假设下,我们还研究了带动量的剪切方法的收敛性,其中包括剪切SGD作为特殊情况。与一个新的李雅普诺夫分析,我们表明,所提出的方法达到了最好的已知率所考虑的一类问题,证明了有效性的裁剪方法也在这一制度。数值结果证实了我们的理论发展。
2021-06-10 cs.LG math.OC
High-Probability Convergence of Clipped SGD under Heavy-Tailed Noise and $(L_0,L_1)$-Smoothness
MCAS(麦吉尔-西奈大学(McGill-Sinai Academy));MBZUAI(穆罕默德·本·拉希德智能研究院(MBZUAI))
本文研究重尾噪声与 $(L_0,L_1)$-光滑性下凸优化的 Clip-SGD 收敛问题,首次建立高概率收敛界,并统一恢复确定性和 $L_1=0$ 随机特例。
2026-09-30 cs.LG math.OC
Towards Noise-adaptive, Problem-adaptive (Accelerated) Stochastic Gradient Descent
Simon Fraser University(西蒙弗雷泽大学);DI ENS, Ecole normale supérieure, Université PSL, CNRS, INRIA, 75005 Paris, France(巴黎第七大学、法国国家科学研究中心、INRIA、ENS巴黎研究院);SAIT AI lab, Montreal(蒙特利尔SAIT人工智能实验室)
本文研究了适应噪声和问题特性的加速随机梯度下降方法,通过引入随机线搜索和指数步长策略,实现了在未知噪声情况下达到最优收敛速率。
2026-03-23 cs.LG math.OC stat.ML
Revisiting Gradient Normalization and Clipping for Nonconvex SGD under Heavy-Tailed Noise: Necessity, Sufficiency, and Acceleration
College of Computer Science and Technology National University of Defense Technology(计算机科学与技术学院 国防科技大学);Center for Machine Learning Research (CMLR) Peking University(机器学习研究中心(CMLR) 北京大学)
本文针对重尾噪声下的非凸SGD收敛问题,重新探究梯度归一化与裁剪的作用,证明归一化单独即可保证收敛,二者结合可提升收敛速率,还提出了加速变体并给出统一理论与实践指导。
2025-11-19 cs.LG math.OC stat.ML
Provable Adaptivity of Adam under Non-uniform Smoothness
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Peking University(北京大学);Chinese Academy of Mathematics and Systems Science(中国科学院数学与系统科学研究院);Microsoft(微软);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文针对现有Adam收敛分析依赖的L-光滑假设不适用于多数深度学习任务的问题,首次在$(L_0, L_1)$-光滑条件下证明了学习率递减的RR Adam的收敛性,并在相同设置下严谨对比证明Adam收敛速度优于SGD。
2024-06-24 cs.LG math.OC
Stochastic Gradient Descent for Non-smooth Optimization: Convergence Results and Optimal Averaging Schemes
Microsoft Research(微软研究院);Rutgers University(罗格斯大学)
随机梯度下降(SGD)是最简单、最流行的随机优化方法之一。虽然它已经在理论上研究了几十年,经典的分析通常需要非平凡的光滑性假设,这并不适用于SGD的许多现代应用与非光滑的目标函数,如支持向量机。在本文中,我们调查的性能SGD没有这样的平滑性假设,以及一个运行平均计划转换SGD迭代的解决方案,最佳的优化精度。在这个框架中,我们证明了T轮后,最后的SGD迭代的次优性尺度为O(log(T)/ \sqrt{T})的非光滑凸目标函数,和O(log(T)/T)的非光滑强凸的情况下。据我们所知,这些是第一种界限,几乎匹配的最小最优率可通过适当的平均计划。我们还提出了一种新的简单的平均方案,它不仅可以获得最佳速率,而且还可以很容易地实时计算(相比之下,Rakhlin等人(2011)提出的后缀平均方案并不容易实现)。最后,我们提供了一些实验说明。
2012-12-28 cs.LG math.OC stat.ML
Convergent Privacy Loss of Noisy-SGD without Convexity and Smoothness
Georgia Institute of Technology(佐治亚理工学院)
针对Noisy-SGD隐私分析中内部状态暴露导致界发散的问题,在非凸非光滑损失下证明其收敛R'enyi DP界(仅需Hölder连续梯度),并优化光滑强凸损失的隐私界,拓展了隐藏状态分析的DP适用性。
2025-02-18 cs.CR cs.LG
Making SGD Parameter-Free
本文提出一种无参数随机凸优化算法,通过新型 SGD 步长选择凭证与时间一致集中结果,使收敛速度仅比已知参数最优速度差双对数因子。
2024-03-01 cs.LG math.OC stat.ML
Optimality of the final model found via Stochastic Gradient Descent
研究了在无光滑性和严格凸性假设的情况下,随机梯度下降算法在凸目标下的收敛性质。我们考虑的问题,建立高概率的目标评估在候选极小返回SGD接近的最小值的目标。我们将关于最终候选最小值的结果(即在所有梯度步骤之后学习的最终模型参数)与[Zin03]的在线学习技术进行比较,该技术在SGD的不同步骤处获取模型参数的滚动平均值。
2018-10-22 cs.LG math.OC stat.ML
Stochastic Gradient Descent in Hilbert Scales: Smoothness, Preconditioning and Earlier Stopping
Technical University Berlin(柏林工业大学);University of Potsdam(波茨坦大学)
随机梯度下降(SGD)已成为解决广泛机器学习问题的首选方法。然而,它的一些学习特性仍然没有完全理解。我们考虑再生核希尔伯特空间(RKHS)中的最小二乘学习,并将经典的SGD分析扩展到希尔伯特尺度中的学习环境,包括紧黎曼流形上的Sobolev空间和扩散空间。我们表明,即使对于指定的模型,违反传统的基准平滑假设对学习率有巨大的影响。此外,我们表明,错过指定的模型,预处理在适当的希尔伯特尺度有助于减少迭代次数,即允许“提前停止”。
2020-06-18 cs.LG math.ST stat.ML
Accelerated zero-order SGD under high-order smoothness and overparameterized regime
Lomonosov MSU(罗蒙诺索夫莫斯科大学);ISP RAS(俄罗斯科学院信息问题研究所);HSE University(高等经济大学);MIPT(莫斯科物理技术学院);MSU Institute for Artificial Intelligence(莫斯科大学人工智能研究所);Innopolis University(因诺波利斯大学);IITP RAS(俄罗斯科学院信息传输问题研究所);Skoltech(斯科尔科沃科学技术研究院)
本文提出一种适用于高阶光滑凸随机优化问题的加速零阶随机梯度下降算法,在过参数化情形下具有最优预言机复杂度,并给出两类噪声下的收敛保证及最大可容许噪声水平估计。
2024-11-21 cs.LG math.OC
Sharper Rates and Flexible Framework for Nonconvex SGD with Client and Data Sampling
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
我们重温经典的问题,找到一个近似的平稳点的平均$n$光滑和可能的非凸函数。随机一阶方法在单个函数的梯度评估的数量方面的最优复杂度是$\mathcal{O}\left(n + n^{1/2}\varepsilon^{-1}\right)$,例如,通过最优SGD方法$\small\sf\color{green}{SPIDER}$(arXiv:1807.01695)和$\small\sf\color{green}{PAGE}$(arXiv:2008.10898)获得,其中$\varepsilon$是误差容限。然而,i)大- $\mathcal{O}$符号隐藏了对与函数相关联的平滑常数的关键依赖性,并且ii)这些方法中的速率和理论假设了不提供任何灵活性的简单采样机制。在这项工作中,我们纠正了这种情况。首先,我们推广的$\small\sf\color{green}{PAGE}$算法,使它可以证明几乎任何(无偏)采样机制。这在联邦学习中特别有用,因为它允许我们构建和更好地理解客户端和数据采样策略的各种组合的影响。其次,我们的分析是尖锐的,因为我们明确使用某些新颖的不等式,捕捉光滑常数和采样过程之间的复杂的相互作用。事实上,我们的分析是更好的,即使是在$\small\sf\color{green}{PAGE}$文件中分析的简单的抽样程序。然而,这个已经改进的边界可以进一步锐化,我们提出了一个不同…
2022-06-05 cs.LG math.OC stat.ML
Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent
University of Kaiserslautern(凯泽斯劳滕大学)
近年来,关于随机梯度下降算法的稳定性和推广性的研究已成为一个热点。然而,现有的稳定性分析需要对梯度的有界性、损失函数的强光滑性和凸性等条件进行限制性假设。在本文中,我们提供了一个细粒度的分析稳定性和推广的SGD大幅放宽这些假设。首先,我们建立稳定性和推广SGD通过删除现有的有界梯度假设。关键的想法是引入一个新的稳定性措施,称为平均模型稳定性,我们开发新的边界控制的风险SGD迭代。这产生的泛化边界取决于最佳模型的行为,并导致有史以来第一次已知的快速边界在低噪声设置使用稳定性方法。其次,光滑性假设放宽考虑损失函数与持有人连续(子)梯度,我们表明,最佳的界限仍然是通过平衡计算和稳定性。据我们所知,这给出了第一个已知的稳定性和推广范围的SGD甚至不可微的损失函数。最后,我们研究了具有(强)凸目标但非凸损失函数的学习问题。
2020-06-15 cs.LG stat.ML
The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication
研究分布式异构学习中局部随机梯度下降的局限性与潜力,在一阶数据异构性假设下给出其新下界,证明加速小批量SGD的极小极大最优性,考虑高阶假设给出新上界,强调需更好数据异构性模型理解其有效性。
2026-07-15 cs.DC cs.LG math.OC
Robustness to Unbounded Smoothness of Generalized SignSGD
George Mason University(乔治梅森大学);Boston University(波士顿大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
非凸优化中的传统分析通常依赖于平滑性假设,即要求梯度是Lipschitz。然而,最近的证据表明,这种平滑条件并没有捕捉到一些深度学习目标函数的属性,包括涉及递归神经网络和LSTM的目标函数。相反,它们满足一个更宽松的条件,具有潜在的无界光滑性。在这种宽松的假设下,理论和经验表明,梯度剪切SGD比香草SGD具有优势。在本文中,我们表明,裁剪是不必要的亚当型算法在处理这种情况下:我们从理论上证明,广义SignSGD算法可以获得类似的收敛速度SGD裁剪,但不需要明确的裁剪。这一系列算法的一端恢复SignSGD,另一端非常类似于流行的Adam算法。我们的分析强调了动量在分析SignSGD型和Adam型算法中的关键作用:它不仅减少了噪声的影响,从而消除了以前SignSGD型算法分析中对大型小批量的需要,而且还大大减少了无界平滑和梯度范数的影响。我们还在一组深度学习任务上将这些算法与流行的优化器进行了比较,观察到我们可以在击败其他人的同时匹配Adam的性能。
2022-08-23 cs.LG math.OC
What Makes Local Updates Effective: The Role of Data Heterogeneity and Smoothness
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO(芝加哥丰田技术研究所)
本文从理论上刻画了有界二阶异质性条件下 Local SGD 等本地更新算法在联邦优化中的紧收敛界与极小极大复杂度,并基于共识误差分析框架给出更锐利的有限时间收敛保证,同时扩展至在线联邦学习的遗憾界分析。
2025-06-30 cs.AI cs.LG cs.MA
SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and Interpolation
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院LTCI研究所);ENS Paris, CREST-ENSAE, CNRS(巴黎高等师范学院、CREST-ENSAE、法国国家科学研究中心);Mila and DIRO, Université de Montréal(蒙特利尔大学Mila研究所与计算机科学与运筹学系)
随机梯度下降(SGD)通常用于优化非凸函数。然而,标准的收敛理论SGD在光滑的非凸设置给出了一个缓慢的次线性收敛到一个稳定点。在这项工作中,我们提供了几个收敛定理SGD显示收敛到一个全局极小值的非凸问题,满足一些额外的结构假设。特别是,我们专注于两个大类的结构化非凸函数:(i)类(强)凸函数(凸函数的推广)和(ii)函数满足Polyak-Lojasiewicz条件(强凸函数的推广)。我们的分析依赖于预期残差条件,我们表明这是一个严格弱于以前使用的增长条件,预期平滑或有界方差假设的假设。我们提供了不同的步长选择,包括常数,减少和最近提出的随机Polyak步长的SGD的收敛性的理论保证。此外,我们所有的分析都适用于任意采样范例,因此,我们深入了解了minibatch的复杂性,并确定了最佳的minibatch大小。最后,我们表明,对于插值训练数据的模型,我们可以免除我们的期望残差条件,并在此设置中给出最先进的结果。
2021-03-22 cs.LG math.OC stat.ML
Bias-Optimal Bounds for Stochastic Gradient Descent
University of Oxford(牛津大学);University of Groningen(格罗宁根大学);Université Paris Cité and Sorbonne Université(巴黎大学与索邦大学)
本文通过计算机辅助的李雅普诺夫分析,推导出SGD在偏差最优意义上的收敛界限,适用于常数步长范围,包括之前未探索的临界和大步长区域。
2026-11-16 cs.LG math.OC stat.ML
Generalization Error Bounds for Deep Neural Networks Trained by SGD
Peking University(北京大学);Stanford University(斯坦福大学)
本文通过参数范数动力学控制与Rademacher复杂度估计相结合,为SGD训练的深度神经网络(含MLP和CNN)推导出不依赖$L$-光滑性且直接适用于SGD的泛化误差界,数值实验验证了其非空洞性与鲁棒性。
2023-05-29 cs.LG stat.ML
A Hessian-Aware Stochastic Differential Equation for Modelling SGD
ETH Zurich(苏黎世联邦理工学院)
本文提出海森感知随机修正方程(HA-SME),将目标函数的海森信息融入SDE的漂移和扩散项,实现了SGD连续时间建模的阶最优近似,并在二次目标下首次精确恢复SGD动力学,从而更准确地刻画SGD的局部逃逸行为。
2025-06-03 cs.LG math.OC stat.ML
Better Theory for SGD in the Nonconvex World
KAUST(阿卜杜拉国王科技大学);Cairo University(开罗大学)
大规模非凸最优化问题在现代机器学习中无处不在,在有兴趣解决这些问题的从业者中,随机梯度下降(SGD)占据了主导地位。我们重新审视分析SGD在非凸设置,并提出了一个新的变种,最近推出的预期平滑假设,管理的行为的二阶矩的随机梯度。我们表明,我们的假设是更一般和更合理的假设在所有以前的工作。此外,我们的结果得到了最佳的$\mathcal{O}(\varepsilon^{-4})$率找到一个非凸光滑函数的一个稳定点,并恢复最佳的$\mathcal{O}(\varepsilon^{-1})$率找到一个整体解决方案,如果Polyak-Eschojasiewicz条件得到满足。比较了凸性条件下SGD的收敛速度,证明了SGD在二次函数增长和凸性条件下的收敛性定理,这可能是一个独立的结果。此外,我们执行我们的分析框架,允许一个详细的研究的影响,广泛的抽样策略和minibatch大小有限和最优化问题。我们证实了我们的理论结果与实验的真实和合成数据。
2020-07-24 cs.LG math.OC stat.ML
Unified Optimal Analysis of the (Stochastic) Gradient Method
EPFL(洛桑联邦理工学院)
本文在$L$ -光滑性假设下,给出了随机梯度(SGD)方法在$μ$ -凸函数上的收敛性的一个简单证明.我们表明,对于精心选择的步长SGD收敛后$T$迭代为$O\left( LR^2 \exp \bigl[-\fracμ{4L}T\bigr] + \frac{σ^2}{μT} \right)$其中$σ^2$措施的随机噪声的方差。对于确定性梯度下降(GD)和SGD的插值设置,我们有$σ^2 =0$,我们恢复指数收敛速度。该界与GD和SGD的最佳已知迭代复杂度匹配,直到常数。
2019-12-23 cs.LG cs.NA math.NA
Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences
本文提出了一种基于任意时间有效置信序列的SGD停止规则,适用于凸和非凸优化问题,提供统计上有效的停止条件。
2026-02-20 cs.LG math.OC math.ST
On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization
Cornell University(康奈尔大学)
本文研究了在强凸性和光滑性条件下,随机梯度下降及其动量变体(Polyak重球和Nesterov)在跟踪时间变化最优解时的性能,揭示了动量方法在分布偏移下导致的显式漂移放大惩罚,并证明了这种惩罚并非分析伪影,而是信息论障碍,为动量方法在动态环境中的经验不稳定性提供了理论依据。
2026-07-27 cs.LG math.OC stat.ML
Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise and Hölder Smoothness
Indian Institute of Science Education and Research Kolkata(印度科学教育与研究学院加尔各答分校);The University of Manchester(曼彻斯特大学)
本文在Hölder光滑和重尾噪声下,证明标准SGD、δ-GClip和G-Clip的收敛速率,其中G-Clip在极重尾区域首次获得收敛保证。
2026-09-14 cs.LG math.OC stat.ML
SGD: General Analysis and Improved Rates
Télécom Paris Tech(巴黎电信学院);University of Edinburgh(爱丁堡大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
我们提出了一个一般而简单的定理描述任意采样范式下的SGD的收敛性。我们的定理描述了一个无限阵列的SGD变量的收敛性,其中每个变量都与一个特定的概率定律相关联,该概率定律支配用于形成小批量的数据选择规则。这是第一次进行这样的分析,我们的大多数SGD变体在文献中从未明确考虑过。我们的分析依赖于最近推出的预期平滑的概念,并不依赖于一个统一的约束的随机梯度的方差。通过将我们的定理专门化到不同的小批量策略,例如替换抽样和独立抽样,我们推导出步长作为小批量大小的函数的精确表达式。有了这个,我们还可以确定优化总复杂度的小批量大小,并明确表明,随着最小值处评估的随机梯度的方差的增长,最佳小批量大小也会增长。对于零方差,最佳小批量大小为1。此外,我们证明了有见地的步长切换规则,它描述了当一个人应该从一个常数切换到一个逐步减少的步长制度。
2019-05-01 cs.LG math.OC stat.ML
Random Shuffling Beats SGD after Finite Epochs
随机梯度下降(SGD)理论中的一个长期存在的问题是证明其无替换版本RandomShuffle比通常的有替换版本更快地收敛。我们提出了第一个(据我们所知)这个问题的非渐近解决方案,这表明,经过“合理”的时期RandomShuffle确实比SGD收敛得更快。具体地,我们证明了在强凸性和二阶光滑性下,RandomShuffle产生的序列以O(1/T^2 + n^3/T^3)的速度收敛到最优解,其中n是目标中的分量数,T是迭代的总次数.这个结果表明,在合理数量的epoch之后,RandomShuffle严格优于SGD(其收敛为O(1/T))。要显示这种对T更好的依赖性,关键的一步是将n引入到界中;正如我们的分析所示,一般来说,对n的依赖性是不可避免的,而不需要进一步改变算法。我们证明了对于稀疏数据,RandomShuffle的速率为O(1/T^2),再次严格优于SGD。此外,我们讨论了非凸梯度控制函数的扩展,以及非强凸设置。
2019-10-08 math.OC stat.ML
SGD with Adaptive Preconditioning: Unified Analysis and Momentum Acceleration
Yandex Research(Yandex研究院)
本文提出自适应预条件SGD的统一收敛分析,恢复多种自适应梯度方法的最优结果,并首次证明利用Nesterov动量可加速AdaGrad等方法收敛,为Adam的效率提供理论解释。
2025-06-30 cs.LG math.OC
On Uniform Boundedness Properties of SGD and its Momentum Variants
KTH - Royal Institute of Technology(KTH皇家理工学院)
随机梯度下降的一个理论问题,也是潜在的实际问题是轨迹可能逃逸到无穷大。本文研究了随机梯度下降算法及其重要的动量变量的迭代点和函数值沿轨迹的一致有界性。在光滑性和$R$ -损失函数的耗散性下,我们证明了广泛的步长家族,包括广泛使用的步进衰减和带有(或不带有)重新启动步长的余弦,会导致一致有界的迭代和函数值。几个重要的应用,满足这些假设,包括相位恢复问题,高斯混合模型,和一些神经网络分类器,进行了详细讨论。对于尾部增长慢于二次函数的函数,我们进一步推广了SGD及其动量变量在广义耗散性下的一致有界性。这包括一些有趣的应用,例如,贝叶斯逻辑回归和逻辑回归与$\ell_1$正则化。
2022-06-22 cs.LG math.OC
Non-Euclidean SGD for Structured Optimization: Unified Analysis and Improved Rates
Yandex Research(Yandex研究院)
针对非欧几里得SGD(如SignSGD、Lion、Muon)在深度学习中成功但理论速率不如欧几里得SGD的问题,提出统一收敛分析,证明其能利用稀疏/低秩结构、受益于外推或动量方差缩减,并匹配AdaGrad等自适应算法的最优速率。
2026-06-23 cs.LG math.OC
Symmetry-quotient Flatness and Generalization
本文提出对称商空间下的平坦性理论,证明商线性稳定性、商平坦性、输入光滑性与泛化之间的定理级联系,并给出基于批大小和学习率的显式界及人群泛化界。
2026-09-29 cs.LG stat.ML
Information-Theoretic Generalization Bounds for Stochastic Gradient Descent
Universitat Pompeu Fabra(庞培法布拉大学);Element AI(Element AI公司);Mila(米拉实验室);University of Toronto(多伦多大学);Vector Institute(矢量研究院)
我们研究了流行的随机优化方法称为随机梯度下降(SGD)优化一般非凸损失函数的推广性能。我们的主要贡献是提供上界的泛化误差,依赖于本地统计的随机梯度评估沿路径的迭代计算SGD。我们的边界取决于梯度的方差(相对于数据分布)和目标函数沿SGD路径的局部平滑度,以及损失函数对最终输出扰动的敏感性。我们的关键技术工具是结合信息理论的推广边界先前用于分析随机变量的SGD与扰动分析的迭代。
2021-08-15 cs.LG stat.ML
Distributed Stochastic Optimization via Adaptive SGD
Stanford University(斯坦福大学);Yahoo! Research(雅虎研究院)
随机凸优化算法是在大规模数据上训练机器学习模型的最流行的方法。扩大这些模型的训练过程是至关重要的,但最流行的算法,随机梯度下降(SGD),是一个串行方法,令人惊讶地难以并行化。在本文中,我们提出了一个有效的分布式随机最优化方法相结合的自适应性和方差减少技术。我们的分析产生了线性加速的机器,恒定的内存占用的数量,只有对数数量的通信轮。至关重要的是,我们的方法是一个黑盒简化,并行化任何串行在线学习算法,简化先验分析,并允许我们利用在设计自适应算法方面取得的重大进展。特别是,我们实现了最佳的收敛速度,没有任何先验知识的平滑参数,产生一个更强大的算法,减少了超参数调整的需要。我们在Spark分布式框架中实现了我们的算法,并在大规模逻辑斯谛回归问题上表现出显着的性能增益。
2018-10-29 cs.LG stat.ML
A Comprehensive Framework for Analyzing the Convergence of Adam: Bridging the Gap with SGD
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Vector Institute(向量研究所);University of Waterloo(滑铁卢大学)
针对Adam收敛性分析依赖比SGD更严苛假设的问题,提出全新综合分析框架,在SGD常用的L-光滑性与ABC不等式松弛假设下,证明了Adam的渐近收敛性并得到与SGD相近的非渐近样本复杂度界,弥合二者理论差距。
2025-05-19 cs.LG math.OC
When and Why SignSGD Outperforms SGD: A Theoretical Study Based on $\ell_1$-norm Lower Bounds
State Key Laboratory of Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
本文通过分析ℓ1范数站稳性、ℓ∞光滑性和可分离噪声模型,揭示SignSGD在稀疏噪声下比SGD更高效的原因,并证明其在矩阵域中的最优性。
2026-05-07 cs.AI cs.CL cs.LG
A Convergence Theory for Federated Average: Beyond Smoothness
University of British Columbia(不列颠哥伦比亚大学);Adobe Research(奥多比研究院);Columbia University(哥伦比亚大学);McGill University(麦吉尔大学)
联邦学习使得大量边缘计算设备能够学习模型,而无需联合进行数据共享。作为该设置中的领先算法,Federated Average FedAvg在本地设备上并行运行随机梯度下降(SGD)并且仅偶尔对序列进行平均,由于其简单性和低通信成本而被广泛使用。然而,尽管最近的研究工作,它缺乏理论分析的假设下超越平滑。本文分析了FedAvg的收敛性。与已有工作不同的是,我们放宽了强光滑性的假设。更具体地说,我们假设半光滑性和半Lipschitz性质的损失函数,其中有一个额外的一阶项的假设定义。此外,我们还假设梯度上有界,这比收敛性分析格式中常用的有界梯度假设要弱。作为一种解决方案,本文对联邦学习的收敛性进行了理论研究。
2022-11-03 cs.LG stat.ML
Sharp Bounds for Federated Averaging (Local SGD) and Continuous Perspective
Stanford University(斯坦福大学)
Federated Averaging(FedAvg),也称为Local SGD,是联邦学习(FL)中最流行的算法之一。尽管FedAvg简单且流行,但它的收敛速度至今尚未确定。即使在最简单的假设下(凸、光滑、齐次和有界协方差),最著名的上界和下界也不匹配,并且不清楚现有的分析是否捕获了算法的能力。在这项工作中,我们首先解决这个问题,通过提供一个下限FedAvg匹配现有的上限,这表明现有的FedAvg上限分析是不可改进的。此外,我们建立了一个在异构环境中的下限,几乎匹配现有的上限。虽然我们的下界显示了FedAvg的局限性,但在三阶平滑的额外假设下,我们证明了在凸和非凸设置中更乐观的最先进的收敛结果。我们的分析源于一个我们称之为“随机偏差”的概念,它是由SGD轨迹的期望值与具有相同初始化的无噪声梯度下降轨迹的偏差定义的。我们证明了这个量的新的尖锐界限,并直观地展示了如何从随机微分方程(SDD)的角度来分析这个量。
2022-02-11 cs.DC cs.LG math.OC
Tighter Analysis of Alternating Stochastic Gradient Method for Stochastic Nested Problems
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of California, Los Angeles(加州大学洛杉矶分校)
随机嵌套优化,包括随机组合优化、最小最大优化和双层优化,在许多机器学习应用中越来越受欢迎。虽然这三个问题共享的嵌套结构,现有的作品往往把它们分开,从而开发特定问题的算法和分析。在各种令人兴奋的发展中,简单的SGD型更新(可能是多个变量)在解决这类嵌套问题中仍然很普遍,但与非嵌套问题相比,它们的收敛速度较慢。本文将求解随机嵌套问题的几种SGD型修正方法统一为一种SGD方法,我们称之为交替随机梯度法(ALSET)。通过利用隐藏的光滑性问题,本文提出了一个更严格的分析ALSET随机嵌套问题。在新的分析下,要实现嵌套问题的$ε$ -平稳点,需要${\cal O}(ε^{-2})$样本。在一定的正则条件下,将我们的结果应用于随机组合,最小最大和强化学习问题,可以提高或匹配相应情况下最知名的样本复杂度。我们的研究结果解释了为什么简单的SGD型算法在随机嵌套问题中都工作得很好,在实践中,而不需要进一步的修改。
2021-06-25 cs.LG math.OC stat.ML
Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization
University of California, Berkeley(加州大学伯克利分校);Alphabetical order;Harvard University(哈佛大学);Google DeepMind(谷歌DeepMind)
本文通过实例比较线性回归中梯度下降、岭回归和随机梯度下降的有限样本风险,发现梯度下降优于岭回归,但与随机梯度下降不可比,且在某些问题中梯度下降可能更差。
2026-06-09 cs.LG stat.ML
Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们考虑光滑,强凸损失函数的经验风险最小化(ERM)的问题,使用迭代梯度为基础的方法。这篇文献的一个主要目标是比较不同的算法,如梯度下降(GD)或随机梯度下降(SGD),通过分析他们的速度收敛到$ε$ -近似的解决方案。例如,GD的oracle复杂度是$O(n\log(ε^{-1}))$,其中$n$是训练样本的数量。当$n$很大时,这在实践中可能是昂贵的,并且SGD由于其$O(ε^{-1})$的Oracle复杂性而被优选。这样的标准分析仅利用被优化的参数中的损失函数的平滑性。相比之下,我们证明了当损失函数在数据中是平滑的时,我们可以在每次迭代中学习预言,并在重要的制度中击败GD和SGD的预言复杂性。具体来说,在每次迭代中,我们提出的算法执行局部多项式回归来学习损失函数的梯度,然后估计ERM目标函数的真实梯度。我们建立了我们的算法的甲骨文复杂性规模像$\tilde{O}((p ε^{-1})^{d/(2η)})$(忽略次主导因素),其中$d$和$p$分别是数据和参数空间维度,损失函数的梯度属于$η$ -Hölder类的数据。我们的证明扩展了非参数统计中的局部多项式回归分析,以提供多变量设置中的插值保证,并且还利用了不精确GD文献中的工具。与GD和SGD不同,我们的方法的复杂性取决于$d$和$p$。然而,当$d$很小,损失函数在数据中表现出适度的平滑性时,我们的算法在非常广泛…
2020-11-04 cs.LG math.OC math.ST
Adam Exploits $\ell_\infty$-geometry of Loss Landscape via Coordinate-wise Adaptivity
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
该研究揭示Adam在语言模型训练中优于SGD的核心原因是其利用了损失景观的ℓ∞几何特性,通过新收敛分析与实验验证了该结论,并将分析扩展至分块Adam。
2025-06-11 cs.LG
Can SGD Handle Heavy-Tailed Noise?
ETH Zürich(苏黎世联邦理工学院);Georgia Institute of Technology(佐治亚理工学院)
本文严格证明朴素SGD在仅假设随机梯度有界p阶矩(1<p≤2)时,在凸、强凸和非凸问题中分别达到极小极大最优或匹配下界的样本复杂度,挑战重尾噪声使SGD失效的观点,确立其稳健的理论基础。
2026-10-05 cs.LG math.OC
Rennala MVR: Improved Time Complexity for Parallel Stochastic Optimization via Momentum-Based Variance Reduction
KAUST(卡塔尔科技大学)
本文提出Rennala MVR算法,通过基于动量的方差缩减技术,在异构系统中改进时间复杂度,验证了方差缩减对时间复杂度的提升效果。
2026-05-09 cs.DC cs.LG math.OC
Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文通过引入更契合自适应梯度方法逐坐标特性的光滑性与噪声假设,并采用梯度 l1-范数作为平稳性度量,首次在非凸优化中证明了 AdaGrad 相对 SGD 的迭代复杂度可改进达维度因子 d,并给出匹配下界。
2025-06-06 cs.LG math.OC stat.ML
Complexity Lower Bounds of Adaptive Gradient Algorithms for Non-convex Stochastic Optimization under Relaxed Smoothness
George Mason University(乔治梅森大学)
本文在 $(L_0, L_1)$-光滑条件下研究自适应梯度算法的复杂度下界,证明 AdaGrad 多种变体对问题参数至少存在二次依赖,并揭示该设定比标准光滑设定本质上更难。
2025-05-07 cs.LG math.OC
AdaGrad under Anisotropic Smoothness
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对AdaGrad在大批量设置下理论优势未明的问题,提出各向异性广义平滑性假设并分析AdaGrad,证明其比统一步长算法具有更好的维度依赖性和更快收敛性,经逻辑回归和指令微调实验验证。
2024-10-14 cs.LG math.OC
Generalized Convexity and Smoothness via Conjugate Duality, with Applications to Deep Network Training
College of Electronics and Information Engineering Tongji University(同济大学电子与信息工程学院);Zhejiang Yuying College of Vocational Technology(浙江育英职业技术学院)
该研究通过Legendre函数与凸共轭构建DNN训练的统一优化框架,引入广义凸性与光滑性,推导广义梯度类优化器的收敛速率,定量分析训练影响因素,实验验证理论与训练动态的一致性。
2026-10-21 cs.LG
Sharper Analysis for Minibatch Stochastic Proximal Point Methods: Stability, Smoothness, and Deviation
Baidu Research(百度研究院)
随机邻近点(SPP)方法最近受到随机最优化的关注,其具有强的收敛保证和优于经典随机梯度下降(SGD)方法的鲁棒性,并且几乎不增加计算开销。在这篇文章中,我们研究了一个小批变体的SPP,即M-SPP,解决凸复合风险最小化问题。核心贡献是一组新的超额风险界限的M-SPP通过算法稳定性理论的镜头。特别是在光滑性和二次增长条件下,我们证明了具有小批量$n$和迭代次数$T$的M-SPP具有由$\mathcal{O}\left(\frac{1}{T^2}\right)$偏差衰减项和$\mathcal{O}\left(\frac{1}{nT}\right)$方差衰减项组成的期望中的快速收敛速度.在小- $n$ -大- $T$设置中,该结果通过揭示模型的噪声水平对收敛速度的影响而大大改进了SPP型方法的最佳已知结果。在互补的小- $T$ -大- $n$制度,我们提供了一个两阶段的扩展M-SPP实现可比的收敛速度。此外,我们推导出一个近紧的高概率(超过数据的随机性)的参数估计误差的采样无替换的M-SPP的变种。数值证据支持我们的理论预测时,充实到Lasso和逻辑斯谛回归模型。
2023-01-09 cs.LG math.OC stat.ML
Empirical Risk Minimization with Shuffled SGD: A Primal-Dual Perspective and Improved Bounds
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对洗牌SGD理论界过于悲观的问题,从原始-对偶视角分析线性预测器的经验风险最小化,提出依赖数据矩阵的细粒度复杂度界,预测收敛速度更快且实验验证更紧。
2024-02-07 cs.LG math.OC
Graph-Dependent Implicit Regularisation for Distributed Stochastic Subgradient Descent
University of Oxford(牛津大学)
我们提出了基于图的隐式正则化策略,用于多智能体学习中凸问题的分布式随机次梯度下降(Distributed SGD)。在凸性、Lipschitz连续性和平滑性的标准假设下,我们建立了统计学习率,该学习率保留了对数项,通过隐式正则化(步长调整和早期停止)对图形拓扑结构的适当依赖,集中了统计保证。我们的方法避免了去中心化学习问题中明确正则化的需要,例如对经验风险最小化规则添加约束。特别是对于分布式方法,隐式正则化的使用允许算法保持简单,没有投影或对偶方法。为了证明我们的结果,我们建立了与集中式设置相匹配的分布式SGD的图形独立的泛化边界(使用算法稳定性),并且我们建立了独立感兴趣的图形依赖的优化边界。我们提出的数值实验表明,我们得到的上界的定性性质可以代表真实的行为。
2018-09-18 cs.LG math.OC stat.ML
A Unified Theory of Stochastic Proximal Point Methods without Smoothness
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
本文提出一个统一理论框架,在无光滑性假设下,通过参数化假设和单一定理,为随机近端点方法的多种变体(包括新提出的三种)建立线性收敛保证,并恢复现有方法的最优复杂度。
2024-05-24 cs.LG math.OC
STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization
Technion(以色列理工学院);EPFL(洛桑联邦理工学院)
本文研究了随机非凸优化问题,其中目标函数是光滑损失函数上的期望,目标是找到一个近似的稳定点。处理此类问题的最流行的方法是方差缩减技术,该技术也被称为获得紧收敛速度,在这种情况下匹配下界。然而,这些技术需要结合适当选择的“超大批量”仔细维护锚点。这导致了一个具有挑战性的超参数调整问题,削弱了它们的实用性。最近,[Cutkosky和Orabona,2019]已经表明,可以使用递归动量来避免使用锚点和大批量,并且仍然获得此设置的最佳速率。然而,他们称为STORM的方法关键依赖于光滑性的知识,以及梯度范数的界限。在这项工作中,我们提出了风暴+,一个新的方法,是完全无参数,不需要大批量,并获得最佳的$O(1/T^{1/3})$率找到一个近似的稳定点。我们的工作建立在STORM算法的基础上,结合一种新的方法来自适应地设置学习率和动量参数。
2021-11-01 cs.LG math.OC
A Rule for Gradient Estimator Selection, with an Application to Variational Inference
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
随机梯度下降(SGD)是现代机器学习的主力。有时,可以使用许多不同的潜在梯度估计器。在这种情况下,选择成本和方差之间的最佳折衷是很重要的。本文分析了SGD的收敛速度作为时间的函数,而不是迭代。这导致一个简单的规则来选择估计,导致最佳的优化收敛保证。这个选择对于SGD的不同变体是相同的,并且具有关于目标的不同假设(例如凸性或平滑性)。受这一原则的启发,我们提出了一种技术,自动选择一个估计时,有限池的估计。然后,我们扩展到无限的估计池,其中每一个控制变量的权重索引。这是通过减少到一个混合整数二次规划。从经验上讲,自动选择一个估计量执行的是事后选择的最佳估计量。
2019-11-05 cs.LG stat.ML