Momentum via Primal Averaging: Theoretical Insights and Learning Rate Schedules for Non-Convex Optimization
Facebook AI Research(脸书人工智能研究院)
动量方法现在在机器学习社区中广泛使用,用于训练非凸模型,例如深度神经网络。从经验上讲,它们优于传统的随机梯度下降(SGD)方法。在这项工作中,我们开发了一个李雅普诺夫分析的SGD与动量(SGD+M),利用等效重写的方法称为随机原始平均(SPA)的形式。在非凸情况下,这种分析比以前的理论要严格得多,因此,我们能够精确地了解SGD+M何时可能优于SGD,以及什么超参数计划将起作用以及为什么。
2021-06-01 cs.LG math.OC stat.ML
Linear Convergence of Accelerated Stochastic Gradient Descent for Nonconvex Nonsmooth Optimization
本文研究了求解非凸非光滑最优化问题的随机梯度下降(SGD)方法,提出了一种结合方差缩减技术和Nesterov外推技术的加速SGD方法。此外,基于局部误差界条件,我们建立了该方法的线性收敛性,以获得非凸优化的稳定点。特别地,我们证明了不仅生成的序列线性收敛到问题的一个稳定点,而且相应的目标值序列也线性收敛。最后,数值实验验证了该方法的有效性.据我们所知,它首先证明了加速SGD方法线性收敛到非凸优化的局部极小值。
2019-02-14 cs.LG math.OC stat.ML
Fast and Faster Convergence of SGD for Over-Parameterized Models and an Accelerated Perceptron
University of British Columbia(不列颠哥伦比亚大学);INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
现代机器学习专注于高度表达的模型,这些模型能够完全拟合或插值数据,从而实现零训练损失。对于这样的模型,我们证明了常见的损失函数的随机梯度满足强增长条件。在此条件下,我们证明了恒定步长随机梯度下降(SGD)与Nesterov加速匹配的确定性加速方法的收敛速度的凸和强凸函数。我们还表明,这一条件意味着SGD可以找到一个一阶稳定点,有效的全梯度下降在非凸设置。在插值条件下,我们进一步证明了所有具有有限和结构的光滑损失函数满足一个较弱的增长条件。在这个较弱的条件下,我们证明了具有常数步长的SGD在强凸和凸的情况下都达到了确定性收敛速度。在额外的假设下,上述结果使我们能够证明使用平方铰链损失的随机感知器算法的k次迭代的O(1/k^2)错误界。最后,我们验证了我们的理论研究结果与合成和真实数据集上的实验。
2019-04-05 cs.LG stat.ML
Accelerating SGD with momentum for over-parameterized learning
The Ohio State University(俄亥俄州立大学)
Nesterov SGD被广泛用于训练现代神经网络和其他机器学习模型。然而,其相对于SGD的优势尚未在理论上阐明。事实上,正如我们在我们的论文中所示,无论是理论上还是经验上,Nesterov SGD与任何参数选择一般不会提供普通SGD的加速。此外,Nesterov SGD可以发散步长,以确保普通SGD的收敛。这与确定性场景中的经典结果相反,其中相同的步长确保Nesterov方法在最优梯度下降上的加速收敛。为了解决非加速问题,我们向Nesterov SGD引入补偿条款。由此产生的算法,我们称之为MaSS,收敛相同的步长为SGD。我们证明了在线性环境下,对于任何小批量,MaSS都能获得比SGD更快的收敛速度。对于整批,MaSS的收敛速度与众所周知的Nesterov方法的加速速度相匹配。我们还分析了收敛速度和最优超参数对小批量大小的依赖性的实际重要问题,展示了三种不同的制度:线性缩放,收益递减和饱和。针对深度网络的几种标准架构(包括ResNet和卷积网络)对MaSS进行的实验评估显示,其性能优于SGD、Nesterov SGD和Adam。
2019-09-27 cs.LG stat.ML
How To Make the Gradients Small Stochastically: Even Faster Convex and Nonconvex SGD
Microsoft Research(微软研究院)
随机梯度下降(SGD)给出了最小化凸随机目标$f(x)$时的最优收敛速度。然而,就使梯度变小而言,即使当$f(x)$是凸的时,原始SGD也没有给出最优速率。如果$f(x)$是凸的,为了找到具有梯度范数$\varepsilon$的点,我们设计了具有接近最优速率$\tilde{O}(\varepsilon^{-2})$的算法SGD 3,改进了[18]的最佳已知速率$O(\varepsilon^{-8/3})$。如果$f(x)$是非凸的,为了找到它的$\varepsilon$ -近似局部最小值,我们设计了一个具有速率$\tilde{O}(\varepsilon^{-3.5})$的算法SGD 5,其中以前的SGD变体仅实现$\tilde{O}(\varepsilon^{-4})$ [6,15,33]。在所有参数范围内,这并不比牛顿方法的最佳已知随机版本慢[30]。
2021-07-28 cs.DS cs.LG math.OC
Yet Another Accelerated SGD: ResNet-50 Training on ImageNet in 74.7 seconds
Fujitsu Laboratories Ltd.(富士通实验室有限公司)
人们对能够尽可能快地执行机器学习的算法有着强烈的需求,仅在过去两年中,深度学习的速度就加快了30倍。使用大型小批量的分布式深度学习是解决需求的关键技术,并且是一个巨大的挑战,因为很难在不牺牲准确性的情况下在大型集群上实现高可扩展性。在本文中,我们介绍了我们适用于这一挑战的优化方法。我们在ABCI集群上使用2,048个GPU实现了74.7秒的训练时间。训练吞吐量超过173万张图像/秒,top-1验证准确率为75.08%。
2019-03-29 cs.LG stat.ML
Is Local SGD Better than Minibatch SGD?
Toyota Technological Institute at Chicago(芝加哥丰田工业大学);EPFL(洛桑联邦理工学院);University of Chicago(芝加哥大学);Google(谷歌);Weizmann Institute of Science(魏茨曼科学研究所)
我们研究本地SGD(也称为并行SGD和联邦平均),一种自然的和经常使用的随机分布式优化方法。它的理论基础目前缺乏,我们强调如何在凸设置所有现有的误差保证是由一个简单的基线,minibatch SGD为主。(1)对于二次型目标,我们证明了局部SGD严格优于minibatch SGD,并且对于二次型目标,加速局部SGD是minimax最优的:(2)对于一般凸目标,我们提供了第一个保证,至少有时优于minibatch SGD;(三)我们表明,确实本地SGD不占主导地位的minibatch SGD提出了一个下界的性能本地SGD是比minibatch SGD差保证.
2020-07-20 cs.LG math.OC stat.ML
Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates
本文提出了一种适用于非凸优化的自适应SGD方法,通过线搜索和Polyak步长实现了O(1/√T)和O(1/T)的收敛速率。
2025-12-01 math.OC stat.ML
SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and Interpolation
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院LTCI研究所);ENS Paris, CREST-ENSAE, CNRS(巴黎高等师范学院、CREST-ENSAE、法国国家科学研究中心);Mila and DIRO, Université de Montréal(蒙特利尔大学Mila研究所与计算机科学与运筹学系)
随机梯度下降(SGD)通常用于优化非凸函数。然而,标准的收敛理论SGD在光滑的非凸设置给出了一个缓慢的次线性收敛到一个稳定点。在这项工作中,我们提供了几个收敛定理SGD显示收敛到一个全局极小值的非凸问题,满足一些额外的结构假设。特别是,我们专注于两个大类的结构化非凸函数:(i)类(强)凸函数(凸函数的推广)和(ii)函数满足Polyak-Lojasiewicz条件(强凸函数的推广)。我们的分析依赖于预期残差条件,我们表明这是一个严格弱于以前使用的增长条件,预期平滑或有界方差假设的假设。我们提供了不同的步长选择,包括常数,减少和最近提出的随机Polyak步长的SGD的收敛性的理论保证。此外,我们所有的分析都适用于任意采样范例,因此,我们深入了解了minibatch的复杂性,并确定了最佳的minibatch大小。最后,我们表明,对于插值训练数据的模型,我们可以免除我们的期望残差条件,并在此设置中给出最先进的结果。
2021-03-22 cs.LG math.OC stat.ML
Minibatch vs Local SGD for Heterogeneous Distributed Learning
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们分析本地SGD(又名并行或联合SGD)和Minibatch SGD在异构分布式设置,其中每台机器都可以访问随机梯度估计不同的,机器特定的,凸目标;目标是优化w.r.t.平均目标;机器只能间歇性地通信。我们认为,(一)迷你批SGD(即使没有加速)占主导地位的所有现有的分析本地SGD在此设置中,(二)加速迷你批SGD是最佳的异质性高时,和(iii)目前的第一个上限本地SGD,提高了迷你批SGD在一个非均匀的制度。
2022-03-01 cs.LG math.OC stat.ML
SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
Technion(以色列理工学院)
针对异构分布式学习,提出SLowcal-SGD方法,通过定制慢查询技术,首次在理论上证明优于Minibatch-SGD和Local-SGD,有效缓解局部更新偏差。
2025-01-18 cs.LG math.OC
Non-Convex SGD Learns Halfspaces with Adversarial Label Noise
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究了分布特定PAC模型中齐次半空间的不可知学习问题。对于一个广泛的家庭的结构化分布,包括对数凹分布,我们表明,非凸SGD有效地收敛到一个解决方案的误分类误差$O(\opt)+\eps$,其中$\opt$是最佳拟合半空间的误分类误差。与此形成鲜明对比的是,我们表明,优化任何凸代理固有地导致误分类错误的$ω(\opt)$,即使在高斯边缘。
2020-06-11 cs.LG stat.ML
Dimension Independent Generalization of DP-SGD for Overparameterized Smooth Convex Optimization
University of California, San Diego(加州大学圣地亚哥分校);Google Research(谷歌研究院);The Hong Kong University of Science and Technology(香港科技大学)
本文研究了差分私有凸学习的泛化性能。我们证明了Langevin算法的收敛性分析,可以用来获得新的广义界的差分隐私保证DP-SGD。更具体地说,通过使用最近获得的随机Langevin算法与凸目标函数的维数无关的收敛结果,我们获得了$O(n^{-1/4})$隐私保证DP-SGD的最佳超额泛化误差$\tilde{O}(n^{-1/2})$某些类的overparameterized光滑凸优化问题。这改善了以前的DP-SGD结果,包含显式的尺寸依赖关系的问题,使由此产生的泛化界限变得不适合在实际应用中使用的过参数化模型。
2022-06-03 cs.LG math.OC
Stagewise Training Accelerates Convergence of Testing Error Over SGD
The University of Iowa(爱荷华大学);Alibaba Group(阿里巴巴集团)
逐步训练策略广泛用于学习神经网络,其运行随机算法(例如,SGD)以相对较大的步长(也称为学习率)开始,并在多次迭代后以几何方式减小步长。已经观察到,在训练误差和测试误差方面,逐阶段SGD比具有多项式衰减步长的香草SGD具有快得多的收敛。{ \it但如何解释这一现象在很大程度上被现有的研究所忽视。}本文为解释这种快速收敛提供了一些理论依据。特别是,我们考虑了一个阶段式的训练策略,以最大限度地减少经验风险,满足Polyak-Jasojasiewicz(PL)条件,这已被观察/证明为神经网络,也适用于一个广泛的家庭的凸函数。对于凸损失函数和两类接近凸函数的“良好行为”非凸目标,我们在PL条件下建立了比香草SGD更快的阶段训练收敛,无论是训练误差还是测试误差。对深度残差网络的阶段式学习的实验表明,它满足一种非凸性假设,因此可以用我们的理论来解释。独立的利益,所考虑的非凸损失函数的测试误差界的维数和范数独立。
2019-02-02 cs.LG math.OC stat.ML
The Convergence Rate of SGD's Final Iterate: Analysis on Dimension Dependence
University of Washington(华盛顿大学);Princeton University(普林斯顿大学)
随机梯度下降(SGD)是最简单和最流行的优化方法之一。SGD算法的收敛速度已经得到了广泛的研究,对运行平均算法也进行了严密的分析,但是最终算法的次优性仍然没有得到很好的理解。shamir 2013 stochastic给出了SGD最小化非光滑凸函数的最终解的最佳已知上界,对于Lipschitz凸函数为$O(\log T/\sqrt{T})$,对于强凸性为附加假设的$O(\log T/ T)$。然而,最著名的下限比上限差$\log T$倍。harvey2019tight给出了匹配的下界,但它们的构造需要维度$d= T$。koren2020open随后询问如何在恒定维度设置下表征SGD的最终收敛。在本文中,我们回答了这个问题,在更一般的设置为任何$d\leq T$,证明$Ω(\log d/\sqrt{T})$和$Ω(\log d/T)$下界的次优性的最后的SGD在最小化非光滑Lipschitz凸和强凸函数分别与标准的步长时间表。我们的结果提供了第一个一般的尺寸依赖的SGD的最终收敛的下限,部分解决了一个COLT公开问题koren2020open提出的。我们还提出了进一步的证据表明,正确率在一个维度应该是$Θ(1/\sqrt{T})$,如证明了一个紧$O(1/\sqrt{T})$上限的一维特殊情况下,设置更一般的koren2020open。
2021-06-28 cs.LG math.OC stat.ML
What's in a Smoothness Constant? Tighter Rates for Local SGD with Bounded Second-order Heterogeneity
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
研究局部随机梯度下降在有界二阶异质性下的收敛情况,通过建立改进收敛保证证明相关推测,改进了下界,使上界更紧,为其提供更清晰收敛理论,还给出串行随机梯度下降下界展示二阶异质性影响。
2026-07-17 cs.LG math.OC stat.ML
SGD Converges to Global Minimum in Deep Learning via Star-convex Path
Duke University(杜克大学);University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);The Ohio State University(俄亥俄州立大学)
随机梯度下降(SGD)在训练各种深度神经网络方面令人惊讶地有效。然而,仍然缺乏对SGD如何以及为什么能够训练这些复杂网络以实现全局最小化的理解。在这项研究中,我们建立了SGD收敛到全局最小值的非凸优化问题,通常会遇到神经网络训练。我们的论点利用了以下两个重要性质:1)训练损失可以(近似)达到零值,这在深度学习中已经被广泛观察到; 2)SGD遵循星凸路径,这在本文中通过各种实验进行了验证。在这样的背景下,我们的分析表明,SGD,虽然长期以来一直被认为是一个随机算法,收敛在一个内在的确定性的方式到一个全局最小值。
2019-01-02 cs.LG stat.ML
Natasha 2: Faster Non-Convex Optimization Than SGD
Microsoft Research(微软研究院)
我们设计了一个随机算法来训练任何光滑的神经网络$\varepsilon$ -近似局部极小值,使用$O(\varepsilon^{-3.25})$反向传播。最好的结果基本上是SGD的$O(\varepsilon^{-4})$。更广泛地说,它发现$\varepsilon$ -近似局部极小值的任何光滑非凸函数率$O(\varepsilon^{-3.25})$,只有oracle访问随机梯度。
2018-06-11 cs.DS cs.LG cs.NE
On the Computation and Communication Complexity of Parallel SGD with Dynamic Batch Sizes for Stochastic Non-Convex Optimization
Alibaba Group (U.S.) Inc.(阿里巴巴集团(美国)公司)
对于基于SGD的分布式随机最优化,计算复杂度和通信复杂度是两个最重要的性能度量,计算复杂度由随机梯度调用的数量方面的收敛速度来测量,通信复杂度由节点间通信循环的数量来测量。SGD在$N$工作者上的经典数据并行实现可以实现其收敛速度的线性加速,但在每批处理时会引起节点间通信轮。我们研究的好处,使用动态增加批量的并行SGD随机非凸优化的特点达到的收敛速度和所需的通信轮数。我们证明了对于P-L条件下的随机非凸优化问题,批规模呈指数增长的经典数据并行SGD算法仅使用$\log(T)$通信轮就能以线性加速比实现已知的最快$O(1/(NT))$收敛.对于一般的随机非凸优化问题,我们提出了一个类似催化剂的算法,该算法仅用$O(\sqrt{NT}\log(\frac{T}{N}))$通信轮就能实现已知最快的$O(1/\sqrt{NT})$收敛。
2019-05-10 cs.LG math.OC
Characterization of Convex Objective Functions and Optimal Expected Convergence Rates for SGD
University of Connecticut(康涅狄格大学);IBM Research(IBM研究院)
研究了凸目标函数的步长递减的随机梯度下降算法。我们介绍了一个定义框架和理论,定义和表征的核心属性,称为曲率,凸目标函数。在曲率方面,我们可以导出一个新的不等式,该不等式可以用于通过求解微分方程来计算最优的减小步长序列。我们的精确解证实了文献中的已知结果,并使我们能够充分表征一个新的正则化与其相应的预期收敛速度。
2019-05-14 cs.LG math.OC
On the Linear Speedup Analysis of Communication Efficient Momentum SGD for Distributed Non-Convex Optimization
Alibaba Group (U.S.) Inc.(阿里巴巴集团(美国)公司)
大规模分布式机器学习应用的最新发展,例如,深度神经网络极大地受益于分布式非凸优化技术的进步,例如,随机梯度下降(SGD)最近的一系列工作研究了分布式SGD变体的线性加速特性,减少了通信。线性加速特性使我们能够通过向系统中添加更多的计算节点来扩展计算能力。降低通信复杂度是期望的,因为通信开销通常是分布式系统中的性能瓶颈。最近,动量方法越来越广泛地用于训练机器学习模型,并且通常可以更快地收敛和更好地推广。例如,许多从业者使用分布式SGD与动量,用大数据训练深度神经网络。然而,目前还不清楚是否有任何分布式动量SGD具有相同的线性加速性能的分布式SGD,并降低了通信的复杂性。本文填补了这一空白,考虑分布式通信有效的动量SGD方法,并证明其线性加速性能。
2019-05-09 cs.LG math.OC
Closing the convergence gap of SGD without replacement
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
无替换采样的随机梯度下降在实际中被广泛用于模型训练。然而,绝大多数SGD分析假设数据是通过替换采样的,并且当最小化的函数是强凸函数时,当SGD运行$T$迭代时,可以建立$\mathcal{O}\left(\frac{1}{T}\right)$速率。无替换SGD(SGDo)最近的一系列突破性工作建立了当最小化函数是强凸的并且是$n$光滑函数的和时的$\mathcal{O}\left(\frac{n}{T^2}\right)$收敛速率,以及二次和的$\mathcal{O}\left(\frac{1}{T^2}+\frac{n^3}{T^3}\right)$速率。另一方面,已知的最严格的下限假定了一个$Ω\left(\frac{1}{T^2}+\frac{n^2}{T^3}\right)$速率,从而在一般情况下有可能获得更好的SGDo收敛速率。在本文中,我们关闭这一差距,并表明,SGD没有更换时,达到$\mathcal{O}\left(\frac{1}{T^2}+\frac{n^2}{T^3}\right)$率的功能是一个二次的,并提供了一个新的下限$Ω\left(\frac{n}{T^2}\right)$的强凸函数,光滑函数的总和。
2020-07-09 cs.LG math.OC stat.ML
Momentum-Based Variance Reduction in Non-Convex SGD
Google Research(谷歌研究院);Boston University(波士顿大学)
近年来,方差缩减算法在非凸问题中成为随机梯度下降的有力竞争者,它为提高随机梯度下降的收敛速度提供了第一个算法。然而,方差减少技术通常需要仔细调整的学习率和愿意使用过大的“大批量”,以实现其改进的结果。我们提出了一种新的算法,风暴,不需要任何批次,并利用自适应学习率,使更简单的实现和更少的超参数调整。我们的技术,用于删除批次使用一个变种的动量,以实现非凸优化的方差减少。在平滑损失$F$上,STORM在梯度中具有$σ^2$方差的$T$迭代中找到具有$\mathbb{E}[\|\nabla F(\boldsymbol{x})\|]\le O(1/\sqrt{T}+σ^{1/3}/T^{1/3})$的点$\boldsymbol{x}$,匹配最优速率,但不需要$σ$的知识。
2020-04-21 cs.LG math.OC stat.ML
Convergence Analysis of Homotopy-SGD for non-convex optimization
University of Freiburg(弗莱堡大学);University of North Carolina(北卡罗来纳大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
用于解决大规模非凸优化问题的一阶随机方法广泛用于许多大数据应用中,例如训练深度神经网络以及其他复杂和潜在非凸的机器学习模型。它们的廉价迭代通常伴随着缓慢的全局收敛速度(主要是次线性的),导致在迭代到达极小值的邻域之前必须进行非常多的迭代。在这项工作中,我们提出了一个一阶随机算法的基础上的同伦方法和SGD相结合,称为同伦-随机梯度下降(H-SGD),发现有趣的连接与文献中提出的算法,例如优化高斯连续,扩散训练,软化网络。在对问题结构作了一些温和的假设的情况下,对算法进行了理论分析。我们的分析表明,一个专门设计的同伦参数的计划,H-SGD享有一个全局的线性收敛到一个最小值的邻域的速度,同时保持快速和廉价的迭代。实验结果证实了理论分析的正确性,并表明H-SGD的性能优于标准SGD。
2020-11-20 cs.LG math.OC
Provable Complexity Improvement of AdaGrad over SGD: Upper and Lower Bounds in Stochastic Non-Convex Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文通过引入更契合自适应梯度方法逐坐标特性的光滑性与噪声假设,并采用梯度 l1-范数作为平稳性度量,首次在非凸优化中证明了 AdaGrad 相对 SGD 的迭代复杂度可改进达维度因子 d,并给出匹配下界。
2025-06-06 cs.LG math.OC stat.ML
Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses
The Ohio State University(俄亥俄州立大学);Google Research(谷歌研究院);Pontificia Universidad Católica de Chile(智利天主教大学)
一致稳定性是算法稳定性的一个概念,当数据集中的单个数据点被替换时,它限制了算法输出的模型中的最坏情况变化。Hardt等人(2016)的一项有影响力的工作提供了随机梯度下降(SGD)算法在充分光滑凸损失上的一致稳定性的强上界。这些结果导致了重要的进展,在理解的推广性质的SGD和几个应用程序的差异私人凸优化光滑损失。我们的工作是第一个解决的一致稳定性SGD { \em nonsmooth}凸损失。具体来说,我们提供了尖锐的上限和下限的几种形式的SGD和全批GD任意Lipschitz非光滑凸损失。我们的下界表明,在非光滑的情况下,(S)GD可以是固有的稳定性比在光滑的情况下。另一方面,我们的上界表明(S)GD是足够稳定的推导新的和有用的泛化误差的界限。最值得注意的是,我们得到了第一个维度独立的推广界多通SGD在非光滑的情况下。此外,我们的界限允许我们推导出一个新的算法差分私人非光滑随机凸优化与最优超额人口风险。对于非光滑情况,我们的算法比最著名的算法更简单,更有效。Feldman et al.(2020)。
2020-06-12 cs.LG math.OC stat.ML
Generalization Error Bounds with Probabilistic Guarantee for SGD in Nonconvex Optimization
Duke University(杜克大学);The Ohio State University(俄亥俄州立大学);Microsoft Research, Asia(微软研究院亚洲研究院(微软亚洲研究院))
深度学习的成功使得人们对随机梯度下降(SGD)方法的推广特性越来越感兴趣,稳定性是研究SGD方法的一种常用方法,已有的基于稳定性的研究工作研究了非凸损失函数,但只考虑了SGD方法的推广误差。在本文中,我们建立了各种推广误差界的概率保证的SGD。具体来说,对于一般的非凸损失函数和梯度主导损失函数,我们的平均稳定性的随机梯度的平均方差的SGD生成的迭代。这样的特征导致改进的SGD的泛化误差的界限。然后,我们研究了具有强凸正则化的正则化风险最小化问题,得到了改进的推广误差界。利用强凸正则化子,我们进一步建立了具有高概率保证的近似SGD下非凸损失函数的推广误差界,即,概率的指数集中
2019-03-07 cs.LG math.OC stat.ML
On the Last Iterate Convergence of Momentum Methods
Boston University(波士顿大学);George Mason University(乔治梅森大学)
SGD with Momentum(SGDM)是一种广泛用于机器学习问题大规模优化的算法族。然而,当优化通用凸函数时,任何SGDM算法都没有比普通SGD算法更好的优势。此外,即使是最新的结果需要改变的SGDM算法,如平均的迭代和投影到一个有界域,这是很少使用在实践中。在本文中,我们主要关注的SGDM的最后一个收敛速度。第一次证明了对于任意的常数动量因子,存在一个Lipschitz凸函数,使得SGDM的最后一步迭代在经过$T$迭代后收敛速度为$Ω(\frac{\ln T}{\sqrt{T}})$.基于这一事实,我们研究了一类(自适应和非自适应)基于Follow-The-Regularized-Leader-based SGDM算法的增加动量和收缩更新。对于这些算法,我们证明了最后一个无约束凸随机优化问题的最佳收敛$O(\frac{1}{\sqrt{T}})$没有投影到有界域,也没有知识的$T$。此外,我们展示了各种基于FTRL的SGDM与自适应步长一起使用时的结果。实证结果也显示。
2022-07-24 cs.LG math.OC stat.ML
VR-SGD: A Simple Stochastic Variance Reduction Method for Machine Learning
Xidian University(西安电子科技大学);The Chinese University of Hong Kong(香港中文大学);University of Technology Sydney(悉尼科技大学);Nanjing University(南京大学);University of Sydney(悉尼大学)
在本文中,我们提出了一个简单的变种,原来的SVRG,称为方差减少随机梯度下降(VR-SGD)。与SVRG及其邻近变体Prox-SVRG中的快照和起始点的选择不同,VR-SGD的两个向量分别设置为前一个历元的平均值和最后一个历元。这些设置允许我们使用更大的学习率,也使我们的收敛分析更具挑战性。我们还分别为光滑和非光滑目标函数设计了两种不同的更新规则,这意味着VR-SGD可以直接处理非光滑和/或非强凸问题,而无需任何约简技术。此外,我们还分析了VR-SGD在强凸问题上的收敛性,证明了VR-SGD具有线性收敛性。不同于其同行,没有收敛保证的非强凸问题,我们还提供了这种情况下的VR-SGD的收敛保证,并实证验证了VR-SGD与不同的学习率达到类似的性能,其动量加速的变种,具有最佳的收敛速度$\mathcal{O}(1/T^2)$。最后,我们应用VR-SGD解决各种机器学习问题,如凸和非凸经验风险最小化,和领先的特征值计算。实验结果表明,VR-SGD的收敛速度明显快于SVRG和Prox-SVRG,并且通常优于最先进的加速方法,例如,喀秋莎
2018-10-28 cs.CV cs.LG math.OC
Mixing of Stochastic Accelerated Gradient Descent
ETH Zurich(苏黎世联邦理工学院)
研究了随机加速梯度下降(SAGD)模型在最小二乘回归下的混合性质。首先,我们证明了随机梯度下降(SGD)和SAGD模拟相同的不变分布。受此启发,我们然后建立混合率SAGD迭代,并将其与SGD迭代进行比较。理论上,我们证明了链的SAGD迭代是几何遍历-使用适当的参数选择和输入分布的正则性假设。更具体地说,我们得到一个明确的混合率取决于前4个时刻的数据分布。通过实例证明了SAGD-BLM链的混合速度比SGD迭代链的混合速度快。此外,我们强调应用建立的混合率在SAGD的收敛性分析可实现的目标。所提出的分析是基于一种新的随机矩阵的产品的非渐近分析。这一理论结果得到了实验的证实和验证。
2019-10-31 cs.LG math.OC
Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(RIKEN高级智能项目中心)
本研究提出泊松SGD变体,利用随机学习率处理退化更新方向,证明其在弱假设下收敛至平稳分布,并找到非凸优化的全局最小值,同时评估泛化误差。
2025-09-06 cs.LG stat.ML
An Analysis of Constant Step Size SGD in the Non-convex Regime: Asymptotic Normality and Bias
University of Toronto(多伦多大学);Vector Institute(向量学院);University of California, Davis(加州大学戴维斯分校)
结构化非凸学习问题是统计机器学习中经常遇到的一类问题,其临界点具有良好的统计性质。数学收敛和统计估计率是很好地理解这样的问题。然而,量化与底层训练算法相关的不确定性在非凸设置中没有得到很好的研究。为了解决这个缺点,在这项工作中,我们建立了一个渐近正态性结果的恒定步长随机梯度下降(SGD)算法-在实践中广泛使用的算法。特别地,基于SGD和马尔可夫链之间的关系[DDB 19],我们证明了SGD迭代的平均值在其唯一不变分布的期望值周围渐近正态分布,只要非凸和非光滑的目标函数满足耗散性。我们还刻画了在各种局部正则条件下,期望值与目标函数临界点之间的偏差。总之,可以利用上述两个结果来构建使用SGD算法训练的非凸问题的置信区间。
2020-07-30 cs.LG math.OC math.ST
Global Convergence of Stochastic Gradient Descent for Some Non-convex Matrix Problems
Stanford University(斯坦福大学)
低秩分解上的随机梯度下降(SGD)通常用于加速矩阵问题,包括矩阵完成,子空间跟踪和SDP松弛。在本文中,我们展示了一个步长计划SGD的低秩最小二乘问题,我们证明了,在广泛的采样条件下,我们的方法收敛全局从一个随机的起始点内$O(ε^{-1} n \log n)$步骤与常数概率的常秩问题。我们的SGD修改涉及到随机幂迭代。我们还展示了实验来说明该算法的运行时间和收敛性。
2015-02-10 cs.LG math.OC stat.ML
Stochastic Polyak Step-size for SGD: An Adaptive Learning Rate for Fast Convergence
Mila(米拉研究所);DIRO(计算机科学与运筹学系(蒙特利尔大学));Université de Montréal(蒙特利尔大学);University of Alberta(阿尔伯塔大学);McGill(麦吉尔大学);Element AI(Element AI公司);CIFAR(加拿大高级研究院)
我们提出了一个随机变量的经典Polyak步长(Polyak,1987年)常用的次梯度法。虽然计算Polyak步长需要了解最佳函数值,但此信息可随时用于典型的现代机器学习应用程序。因此,提出的随机Polyak步长(SPS)是一个有吸引力的选择,用于设置随机梯度下降(SGD)的学习率。我们提供了理论上的收敛性保证配备SPS SGD在不同的设置,包括强凸,凸和非凸函数。此外,我们的分析结果在新的收敛保证SGD与一个恒定的步长。我们表明,SPS是特别有效的训练过参数化模型能够插值的训练数据。在这种情况下,我们证明了SPS使SGD收敛到真正的解决方案,在一个快速的速度,而不需要任何问题相关的常数或额外的计算开销的知识。我们通过对合成数据集和真实数据集的大量实验来验证我们的理论结果。我们证明了与最先进的最优化方法相比,在训练过参数化模型时,具有SPS的SGD具有强大的性能。
2021-03-22 cs.LG math.OC stat.ML
Permutation-Based SGD: Is Random Optimal?
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
最近一系列基于置换的SGD的突破性结果证实了一个广泛观察到的现象:随机置换比置换采样提供更快的收敛速度。然而,随机是最优的吗?我们表明,这在很大程度上取决于我们正在优化的函数,最佳和随机排列之间的收敛差距可以从指数变化到不存在。我们首先表明,对于1维强凸函数,光滑的二阶导数,存在排列,提供指数更快的收敛速度相比,随机。然而,对于一般的强凸函数,随机置换是最优的。最后,我们表明,对于二次,强凸函数,有容易构造的排列,导致加速收敛相比,随机。我们的研究结果表明,一般的收敛特性的最佳排列不能捕捉个别函数类的细微差别,并可能错误地表明,一个不能做得比随机更好。
2021-11-25 cs.LG math.OC stat.ML
Towards Noise-adaptive, Problem-adaptive (Accelerated) Stochastic Gradient Descent
Simon Fraser University(西蒙弗雷泽大学);DI ENS, Ecole normale supérieure, Université PSL, CNRS, INRIA, 75005 Paris, France(巴黎第七大学、法国国家科学研究中心、INRIA、ENS巴黎研究院);SAIT AI lab, Montreal(蒙特利尔SAIT人工智能实验室)
本文研究了适应噪声和问题特性的加速随机梯度下降方法,通过引入随机线搜索和指数步长策略,实现了在未知噪声情况下达到最优收敛速率。
2026-03-23 cs.LG math.OC stat.ML
Ordered SGD: A New Stochastic Optimization Framework for Empirical Risk Minimization
MIT(麻省理工学院);Google Research(谷歌研究院)
我们提出了一个新的随机最优化框架的经验风险最小化问题,如那些出现在机器学习。传统的方法,如(小批量)随机梯度下降(SGD),利用经验平均损失的无偏梯度估计。相比之下,我们开发了一种计算效率高的方法来构建一个梯度估计器,该估计器故意偏向于那些具有较高电流损耗的观测值。在理论方面,我们表明,所提出的方法最大限度地减少了一个新的有序修改的经验平均损失,并保证以次线性率收敛到全局最优凸损失和弱凸(非凸)损失的临界点。此外,我们证明了一个新的泛化界所提出的算法。在经验方面,数值实验表明,与标准小批量SGD相比,我们提出的方法在包括SVM,逻辑斯谛回归和深度学习问题在内的各种模型中始终改善了测试误差。
2020-02-01 cs.LG math.OC stat.ML
Tighter Lower Bounds for Shuffling SGD: Random Permutations and Beyond
KAIST(韩国科学技术院)
该研究针对光滑凸有限和最小化问题,推导了无放回SGD加权平均迭代的更紧收敛下界,填补了强凸与凸情形的上下界差距,并改进了任意置换类SGD的下界使其匹配GraB算法的上界。
2023-06-09 cs.LG math.OC stat.ML
Making SGD Parameter-Free
本文提出一种无参数随机凸优化算法,通过新型 SGD 步长选择凭证与时间一致集中结果,使收敛速度仅比已知参数最优速度差双对数因子。
2024-03-01 cs.LG math.OC stat.ML
Taming Convergence for Asynchronous Stochastic Gradient Descent with Unbounded Delay in Non-Convex Learning
Iowa State University(爱荷华州立大学)
异步随机梯度下降方法(Async-SGD)是机器学习的基础性方法,其收敛性能的研究近年来受到越来越多的关注。然而,到目前为止,大多数现有的工作都局限于要么有界梯度延迟或凸设置。在本文中,我们专注于Async-SGD和它的变体Async-SGDI(它使用增加批量大小)的非凸优化问题的无界梯度延迟。我们证明了$o(1/\sqrt{k})$收敛速度的Async-SGD和$o(1/k)$的Async-SGDI。此外,建立了Async-SGD收敛的一个统一的充分条件,其中包括文献中的两个主要的梯度延迟模型作为特殊情况,并产生一个新的延迟模型迄今没有考虑。
2020-09-01 cs.DC cs.LG stat.ML
STL-SGD: Speeding Up Local SGD with Stagewise Communication Period
University of Science and Technology of China(中国科学技术大学);Ant Financial Services Group(蚂蚁集团);IFLYTEK Co., Ltd.(科大讯飞股份有限公司);Hong Kong University of Science and Technology(香港科技大学)
分布式并行随机梯度下降算法是大规模机器学习任务的主力。其中,局部随机梯度下降算法(Local SGD)由于其较低的通信复杂度而引起了人们的广泛关注。已有的研究证明,当客户端的数据分布相同(IID)或不相同(Non-IID)时,具有固定通信周期或自适应通信周期的Local SGD的通信复杂度为$O (N^{\frac{3}{2}} T^{\frac{1}{2}})$和$O (N^{\frac{3}{4}} T^{\frac{3}{4}})$,其中$N$为客户端数目,$T$为迭代次数.为了通过降低通信复杂度来加快收敛速度,提出了\textit{ST}逐时\textit{L}局部\textit{SGD}(STL-SGD),它随着学习速率的降低而逐渐增加通信周期.我们证明了STL-SGD可以保持与mini-batch SGD相同的收敛速度和线性加速比。此外,由于增加通信周期的好处,当目标是强凸的或满足Polyak-Chojasiewicz条件时,STL-SGD的通信复杂度对于IID情况和非IID情况分别是$O (N \log{T})$和$O (N^{\frac{1}{2}} T^{\frac{1}{2}})$,相对于Local SGD实现了显著的改进。在凸问题和非凸问题上的实验表明了STL-SGD的优越性能。
2020-12-15 cs.DC cs.LG math.OC
SGD with shuffling: optimal rates without component convexity and large epoch requirements
研究了求解有限和最优化问题的无替换SGD算法。具体来说,根据有限和的索引如何洗牌,我们考虑RandomShuffle(在每个纪元开始时洗牌)和SingleShuffle(仅洗牌一次)算法。首先,我们建立这些算法的最小最大最优收敛速度的poly-log因素。值得注意的是,我们的分析是一般性的,足以涵盖梯度主导的非凸成本,并不依赖于凸的个别组件功能,不像现有的最优收敛结果。其次,假设各个分量的凸性,我们通过去除所有现有技术共有的缺点来进一步锐化RandomShuffle的紧密收敛结果:结果保持所需的大量时期,以及到下界的额外多对数因子间隙。
2020-06-22 math.OC stat.ML
Learning with Non-Convex Truncated Losses by SGD
The University of Iowa(爱荷华大学);Alibaba Group(阿里巴巴集团)
使用{ \it凸损失}函数进行学习多年来一直是一种主导范式。非凸损失函数如何提高学习的泛化能力,并具有广泛的适用性,仍然是一个有趣的问题。本文研究了通过截断传统的损失函数而形成的一族目标函数,它既适用于浅层学习,也适用于深度学习。截断损失函数有可能不那么脆弱,并且对可能是对抗性的观测中的大噪声更鲁棒。更重要的是,它是一种通用的技术,而无需假设噪声分布的知识。为了证明截断损失下的非凸学习的合理性,基于截断损失和随机梯度下降(SGD)方法找到的一个近似平稳点的统计误差,建立了经验风险最小化的超额风险界.我们的实验为浅和深度学习回归离群值,损坏的数据和重尾噪声进一步证明了所提出的方法。
2018-05-21 cs.LG stat.ML
Second-order step-size tuning of SGD for non-convex optimization
CNRS - IRIT(法国国家科学研究中心 - 图卢兹计算机研究所);Université de Toulouse(图卢兹大学);Toulouse School of Economics(图卢兹经济学院);DEEL, IRT Saint Exupery(DEEL,圣埃克苏佩里研究所)
针对小批量情况,对普通SGD算法进行了直接而简单的改进,并对其步长进行了微调。为此,基于局部二次模型并且仅使用噪声梯度近似来估计曲率。一个得到一个新的随机一阶方法(步调谐SGD),增强二阶信息,它可以被看作是一个随机版本的经典Barzilai-Borwein方法。我们的理论结果确保几乎肯定收敛到临界集,我们提供收敛速度。深度残差网络训练的实验说明了我们的方法的良好特性。对于这样的网络,我们观察到,在训练过程中,损失的突然下降和中期测试精度的提高,产生比SGD,RMSprop或ADAM更好的结果。
2021-11-21 cs.LG math.OC
Computing the Variance of Shuffling Stochastic Gradient Algorithms via Power Spectral Density Analysis
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
在解决有限和最小化问题时,随机梯度下降(SGD)的两个常见替代方案具有理论上的优势,即随机重排(SGD-RR)和洗牌一次(SGD-SO),其中函数在循环中采样而不替换。在实验上成立的方便的随机噪声近似下,我们研究了SGD、SGD-RR和SGD-SO迭代的平稳方差,其首项按此顺序减少,并获得了简单的近似。为了得到我们的结果,我们研究了随机梯度噪声序列的功率谱密度。我们的分析扩展到SGD与动量和随机Nesterov的加速梯度法的SGD。我们在二次目标函数上进行实验,以检验我们的近似的有效性和我们的发现的正确性。
2022-06-01 cs.LG math.OC stat.ML
Can SGD Handle Heavy-Tailed Noise?
ETH Zürich(苏黎世联邦理工学院);Georgia Institute of Technology(佐治亚理工学院)
本文严格证明朴素SGD在仅假设随机梯度有界p阶矩(1<p≤2)时,在凸、强凸和非凸问题中分别达到极小极大最优或匹配下界的样本复杂度,挑战重尾噪声使SGD失效的观点,确立其稳健的理论基础。
2026-10-05 cs.LG math.OC
Scheduled Restart Momentum for Accelerated Stochastic Gradient Descent
University of Utah(犹他大学);Rice University(莱斯大学);National University of Defense Technology(国防科技大学);University of California, Los Angeles(加州大学洛杉矶分校)
具有恒定动量的随机梯度下降(SGD)及其变体(如Adam)是训练深度神经网络(DNN)的首选优化算法。由于DNN训练在计算上非常昂贵,因此人们对加速收敛非常感兴趣。Nesterov加速梯度(NAG)使用特殊设计的动量提高了凸优化的梯度下降(GD)的收敛速度;然而,当使用不精确的梯度时(如SGD),它会积累误差,最好的情况下会减慢收敛速度,最坏的情况下会发散。在本文中,我们提出了计划重启SGD(SRSGD),这是一种新的NAG风格的DNN训练方案。SRSGD用NAG中增加的动量代替SGD中的恒定动量,但根据时间表将动量重置为零来稳定迭代。使用各种图像分类的模型和基准,我们证明,在训练DNN时,SRSGD显着提高了收敛性和泛化能力;例如,在训练ResNet 200进行ImageNet分类时,SRSGD实现了20.93%的出错率,而基准为22.13%。随着网络的深入,这些改进变得更加重要。此外,在CIFAR和ImageNet上,SRSGD达到了类似甚至更好的出错率,与SGD基线相比,训练时间明显减少。
2020-04-26 cs.LG cs.NE stat.ML
Optimal Stochastic Strongly Convex Optimization with a Logarithmic Number of Projections
Yahoo Research(雅虎研究院);The University of Iowa(爱荷华大学);Nanjing University(南京大学)
本文研究了带复不等式约束的随机强凸优化问题。这种复杂的不等式约束可能导致在随机梯度下降~(SGD)方法的算法迭代中计算昂贵的投影。为了减少投影的计算量,我们提出了一种Epoch-Projection随机梯度下降~(Epro-SGD)方法。所提出的Epro-SGD方法由一系列的epochs组成;它在epochs内的每次迭代中将SGD应用于增强的目标函数,然后在每个epochs结束时执行投影。给定强凸优化和$T$迭代的总次数,Epro-SGD仅需要$\log(T)$投影,并且同时在期望和高概率中获得$O(1/T)$的最优收敛速率。为了利用优化问题的结构,我们提出了一个近似的变体Epro-SGD,即Epro-RDA,基于最优正则化对偶平均方法。我们将所提出的方法应用于实际应用中,实验结果证明了我们的方法的有效性。
2016-05-24 cs.LG stat.ML
Stability of SGD: Tightness Analysis and Improved Bounds
Rutgers University(罗格斯大学);Queens College of CUNY(纽约市立大学皇后学院);Indian Institute of Science(印度科学学院);Stony Brook University(石溪大学)
基于随机梯度下降(SGD)的方法已被广泛用于训练大规模机器学习模型,这些模型在实践中也推广得很好。对于这种泛化性能,已经提供了几种解释,其中一个突出的是算法稳定性[18]。然而,没有已知的平滑损失函数的例子,可以证明其分析是严密的。此外,除了损失函数的属性,数据分布也被证明是泛化性能的一个重要因素。这就提出了一个问题:文[18]的稳定性分析对于光滑函数是否是紧的,如果不是,对于什么样的损失函数和数据分布可以改进稳定性分析?在本文中,我们首先解决开放的问题,在数据无关的设置的界限的紧密性:我们表明,对于一般的数据集,现有的分析凸和强凸损失函数是紧的,但它可以改善非凸损失函数。接下来,我们给出了一个新的和改进的数据依赖的边界:我们显示了稳定性上界的一大类凸正则化损失函数,可以忽略不计的正则化参数,并改善现有的数据依赖的边界在非凸设置。我们希望我们的研究结果将启动进一步的努力,以更好地理解非凸损失函数下的数据依赖设置,从而提高对深度网络泛化能力的理解。
2021-02-10 cs.LG math.OC stat.ML
Universal Stagewise Learning for Non-Convex Problems with Convergence on Averaged Solutions
虽然随机梯度下降(SGD)方法及其变体(例如,随机动量方法(AdaGrad)是解决非凸问题(特别是深度学习)的算法选择,但理论与实践之间仍存在很大差距,许多问题尚未解决。例如,仍然缺乏SGD及其变体的收敛理论,其使用逐阶段步长并在实践中返回平均解。此外,对于非凸优化,AdaGrad的自适应步长可以改善{ \sgd }的非自适应步长的理论解释仍然缺乏。本文旨在解决这些问题,填补理论与实践之间的空白。我们提出了一个通用的阶段优化框架,用于一个广泛的{ \bf非光滑非凸}(即弱凸)问题,具有以下关键特征:(i)在每个阶段,任何合适的随机凸优化算法(例如,SGD或AdaGrad),其返回平均解,可以用于最小化正则化凸问题;(ii)步长以逐阶段的方式减小;(iii)返回平均解作为最终解,该最终解是从具有采样概率{ \it递增}作为阶段号的所有逐阶段平均解中选择的。我们的理论结果阶段AdaGrad显示其自适应收敛,因此,它的收敛速度比阶段SGD稀疏随机梯度问题的见解。据我们所知,这些新的结果是第一个解决先前提到的现有理论中未解决的问题。除了理论上的贡献,我们的实证研究表明,我们的stagewise SGD和ADAGRAD提高泛化性能的现有的变体/实现SGD和ADAGRAD。
2019-03-06 math.OC stat.ML
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University(密歇根州立大学)
众所周知,梯度下降(GD)中的有限步长($h$)隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球(H.B)动量加速梯度下降(GD+M)的隐式正则化中起作用吗?".为了回答这个问题,首先,我们证明了离散H.B动量更新(GD+M)遵循由修改的损失引起的连续轨迹,该修改的损失由原始损失和隐式正则化子组成。然后,我们证明了(GD+M)的隐正则化子比(GD)强$(\frac{1+β}{1-β})$倍,从而解释了为什么(GD+M)比(GD)具有更好的推广性能和更高的测试精度.此外,我们将我们的分析扩展到具有动量(SGD+M)的梯度下降的随机版本,并在逐点意义上描述(SGD+M)的更新的连续轨迹。我们通过一系列实验验证了我们的理论,探索了(SGD+M)和(GD+M)中的隐式正则化。
2023-02-02 cs.LG math.OC
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping
MIPT(莫斯科物理技术学院);HSE(高等经济学院);ICS RAS(俄罗斯科学院系统编程研究所)
本文提出了一种新的加速随机一阶方法--剪切SSTM,用于求解随机梯度中带重尾分布噪声的光滑凸随机最优化问题,并给出了该方法的第一个高概率复杂度界,填补了带重尾噪声的随机最优化理论的空白.我们的方法是基于加速随机梯度下降(SGD)和随机梯度裁剪的一个特殊的变种。我们将我们的方法扩展到强凸的情况下,并证明了新的复杂性界限,在这种情况下优于国家的最先进的结果。最后,我们扩展了我们的证明技术,并推导出第一个非平凡的高概率复杂性界的SGD裁剪没有轻尾假设的噪声。
2020-10-23 cs.LG math.OC
Error Lower Bounds of Constant Step-size Stochastic Gradient Descent
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
随机梯度下降(SGD)在现代机器学习中起着核心作用。虽然有大量的工作,提供误差上界的SGD,不知道很多关于SGD误差下界。本文研究了定步长SGD算法的收敛性。对于具有Lipschitz梯度的潜在非凸目标函数,给出了SGD的误差下界。据我们所知,这是第一次分析SGD误差下界没有强凸性假设。我们用实验来说明我们的理论结果。
2019-10-18 cs.LG math.OC
Lower Generalization Bounds for GD and SGD in Smooth Stochastic Convex Optimization
Yale University(耶鲁大学);Tsinghua University(清华大学);Shanghai Qizhi Institute(上海期智研究院)
本文针对光滑随机凸优化中的GD和SGD,给出了训练步数与步长乘积在不同量级下的过量风险下界,揭示过拟合现象,并指出在长训练时间下上下界存在可缩小的差距。
2023-05-10 cs.LG math.OC stat.ML