The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof
CEREMADE - CNRS(CEREMADE - 法国国家科学研究中心);Université Paris Dauphine - PSL Research University(巴黎第九大学 - PSL研究大学)
本文自包含地证明了随机梯度下降(SGD)的收敛性,无需外部依赖。
2023-11-14 cs.LG math.PR stat.ML
Convergence and Optimality of Policy Gradient Methods in Weakly Smooth Settings
University of Toronto(多伦多大学);Vector Institute(向量研究所)
策略梯度方法已被频繁地应用于控制和强化学习中的问题,并取得了巨大的成功,然而现有的收敛分析仍然依赖于非直观的,不切实际的,往往是不透明的条件。特别是,现有的比率是在有限的环境中,在严格的规律性条件下实现的。在这项工作中,我们建立了明确的策略梯度方法的收敛速度,扩展的收敛制度,弱光滑的政策类$L_2$可积梯度。我们提供直观的例子来说明这些新条件背后的洞察力。值得注意的是,我们的分析还表明,在这些假设下,标准策略梯度和自然策略梯度算法的收敛速度是可以实现的。最后,我们为融合策略提供性能保证。
2022-04-07 cs.AI cs.LG cs.SY
AdaL: Adaptive Gradient Transformation Contributes to Convergences and Generalizations
Beijing Institute of Technology(北京理工大学);Shenzhen University(深圳大学)
自适应优化方法在深度学习中得到了广泛的应用。它们根据过去的梯度自适应地缩放学习率,这已被证明是有效的,以加速收敛。然而,他们遭受的泛化性能差相比,SGD。最近的研究指出,平滑指数梯度噪声会导致泛化退化现象。受此启发,我们提出了AdaL,在原始梯度上进行了变换。AdaL通过在初始阶段放大梯度来加速收敛,并通过在后期收缩梯度来抑制振荡和稳定优化。这种改进增强了梯度噪声的平滑性,从而产生更好的泛化性能。我们已经从理论上证明了AdaL的收敛性,并在几个基准测试中证明了其有效性。
2021-07-04 cs.AI cs.LG
Stochastic gradient descent algorithms for strongly convex functions at O(1/T) convergence rates
传统的随机梯度下降(SGD)算法在权值与t成正比的情况下,对强凸函数的概率收敛速度为O(κ/T),而不是O(κ ln(T)/T).我们还证明了一个加速的SGD算法也达到了O(κ/T)的速度。
2013-05-09 cs.AI cs.LG
Convergence of Gradient Algorithms for Nonconvex C^{1+alpha} Cost Functions
Fudan University(复旦大学)
研究了非凸情形下带动量项的随机梯度算法的收敛性。一类随机动量方法,包括随机梯度下降,重球,Nesterov的加速梯度,在一般框架下进行了分析,温和的假设。在期望梯度收敛的基础上,通过详细讨论动量和上交叉数的影响,证明了算法的几乎必然收敛。值得注意的是,没有对目标函数和步长施加额外的限制。另一个改进是将已有的梯度的利普希茨条件放宽为Holder连续条件。作为一个副产品,我们应用本地化程序扩展我们的结果随机步长。
2021-09-30 cs.LG math.OC
Global convergence of gradient descent for phase retrieval
Ecole Polytechnique(巴黎综合理工学院);Columbia University(哥伦比亚大学)
本文提出基于张量的良性景观准则,证明相位恢复中梯度轨迹有界,从而保证梯度下降几乎处处收敛到全局最优解。
2024-10-17 cs.LG math.OC
A Policy Gradient Framework for Stochastic Optimal Control Problems with Global Convergence Guarantee
Duke University(杜克大学)
针对连续时间随机最优控制问题,提出策略梯度方法,分析其连续时间极限的梯度流,在正则性假设下证明全局收敛性并建立收敛速率,引入局部最优控制函数刻画迭代局部最优性。
2025-04-14 cs.LG cs.SY eess.SY
A decentralized proximal-gradient method with network independent step-sizes and separated convergence rates
Michigan State University(密歇根州立大学);Princeton University(普林斯顿大学)
针对一类具有光滑项和非光滑项的分散最优化问题,提出了一种新的近似梯度算法。具体地说,平滑和非平滑项分别由梯度和邻近更新处理。所提出的算法是密切相关的以前的算法,PG-EXTRA \cite{shi2015proximal},但有一些优点。首先,代理使用不协调的步长,稳定的上界步长是独立的网络拓扑结构。步长取决于局部目标函数,并且它们可以与梯度下降的步长一样大。其次,对于不含非光滑项的特殊情形,在强凸性假设下,可以达到线性收敛。新算法的收敛速度与目标函数和网络的依赖性是分离的,其收敛速度与一般梯度下降法和一致平均法的典型收敛速度相当。我们提供了数值实验来证明所介绍的算法的有效性,并验证我们的理论发现。
2019-06-18 cs.DC cs.LG cs.NA
A Novel Stochastic Stratified Average Gradient Method: Convergence Rate and Its Complexity
Guangdong University of Finance & Economics(广东财经大学);Wayne State University(韦恩州立大学)
SGD(随机梯度下降)算法是求解大规模优化问题的一种常用算法。然而,由于SGD算法固有的梯度方差,SGD算法不能像FGD(Full梯度下降)算法那样获得线性收敛速度。为了解决这一问题,提出了小批量SGD算法,以在收敛速度和迭代代价方面取得折衷。本文给出了一个广义的CVI(Convergence-Variance Inequality)方程,形式化地描述了收敛速度与梯度方差的相互作用。然后引入了一种新的算法SSAG(随机分层平均梯度)来减少梯度方差,该算法基于分层采样和迭代平均两种技术,这是SAG(随机平均梯度)的关键思想。此外,SSAG算法能以较小的存储和迭代代价获得$\mathcal {O}((1-\fracμ{8CL})^k)$的线性收敛速度,其中$C\geq 2$为训练数据的类别数.这种收敛速度主要取决于类之间的方差,而不是类内的方差。在$C\ll N$($N$是训练数据大小)的情况下,SSAG的收敛速度远远优于SAG的$\mathcal {O}((1-\fracμ{8NL})^k)$的收敛速度。实验结果表明,SSAG算法的性能优于SAG算法和许多其他算法。
2017-12-03 cs.AI cs.LG stat.ML
On the Convergence of Discounted Policy Gradient Methods
Autonomous Learning Laboratory(自主学习实验室);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
许多流行的强化学习策略梯度方法遵循对策略梯度的有偏近似,称为折扣近似。虽然已经证明了策略梯度的贴现近似不是任何目标函数的梯度,但对其收敛行为或性质知之甚少。在本文中,我们表明,如果贴现近似如下,折扣因子缓慢增加的速度相关的下降学习率,由此产生的方法恢复的标准保证梯度上升的未贴现的目标。
2023-01-09 cs.AI cs.LG
A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
Durham University(杜伦大学)
该研究提出速率转移方法,通过随机微积分将SDE的李雅普诺夫估计转化为随机梯度算法的收敛界,可复现经典方法速率并用于新优化算法的收敛速率分析。
2026-10-14 cs.AI cs.LG math.OC
Concavifiability and convergence: necessary and sufficient conditions for gradient descent analysis
IIT Madras(马德拉斯印度理工学院)
梯度下降算法的收敛性由于其在深度学习应用中的实用性而引起了新的兴趣。即使提出了梯度下降的多种变体,目标梯度是Lipschitz连续的假设仍然是分析的一个组成部分,直到最近。在这项工作中,我们着眼于收敛性分析的一个属性,我们术语为concavifiability,而不是Lipschitz连续梯度。我们表明,凹性是一个充要条件,以满足上二次近似,这是关键证明,目标函数减少后,每一个梯度下降更新。我们还证明了任何梯度Lipschitz函数满足凹性。一个常数称为concavifier类似于梯度Lipschitz常数推导出这是指示的最佳步长。作为一个应用,我们通过一个受神经网络启发的例子证明了梯度下降收敛的凹函数的实用性。我们推导出凹函数的边界,以获得单个隐藏层ReLU网络的固定步长。
2019-05-28 cs.LG math.OC
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Nevada(内华达大学)
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降,它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是,它的学习率配备了乘法随机性,产生一个随机学习率计划。理论结果表明,加速几乎必然收敛率的随机梯度下降在一个非凸设置时,使用适当的随机学习率相比,确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Stability and Convergence of Stochastic Gradient Clipping: Beyond Lipschitz Continuity and Smoothness
KTH Royal Institute of Technology(瑞典皇家理工学院)
随机梯度算法在应用于不具有Lipschitz连续和/或有界梯度的函数时通常是不稳定的。梯度裁剪是一种简单而有效的技术,可以稳定训练过程,解决容易出现梯度爆炸问题的问题。尽管它的广泛流行,梯度裁剪启发式算法的收敛特性知之甚少,特别是对于随机问题。建立了次梯度快速增长的非光滑凸函数的剪裁随机(次)梯度法(SCD)的定性和定量收敛结果。我们的分析表明,裁剪增强了SGD的稳定性,裁剪SGD算法在许多情况下具有有限的收敛速度。在标准假设下,我们还研究了带动量的剪切方法的收敛性,其中包括剪切SGD作为特殊情况。与一个新的李雅普诺夫分析,我们表明,所提出的方法达到了最好的已知率所考虑的一类问题,证明了有效性的裁剪方法也在这一制度。数值结果证实了我们的理论发展。
2021-06-10 cs.LG math.OC
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size
Massachusetts Institute of Technology(麻省理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
建立最优化方法的快速收敛速度对于它们在实践中的适用性至关重要。随着过去十年深度学习的日益普及,随机梯度下降及其自适应变体(例如Adagrad,Adam等)已经成为机器学习从业者的首选方法。虽然大量的工作已经证明,这些一阶最优化方法可以实现次线性或线性收敛,我们建立了局部平方收敛的随机梯度下降与自适应步长的问题,如矩阵求逆。
2021-12-30 cs.LG math.OC
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks
Institute of Informatics, University of Warsaw(华沙大学信息学研究所)
研究了一类单隐层前馈神经网络的随机梯度下降算法全局收敛所需的过参数化界,考虑了实际中使用的大多数激活函数,包括ReLU.我们改进了现有的国家的最先进的结果方面所需的隐藏层的宽度。我们介绍了一种新的证明技术相结合的非线性分析与网络的随机初始化的性质。首先,我们建立了微分包含作为梯度流的非光滑模拟的MSE损失的连续解的全局收敛性。其次,我们提供了一个技术性的结果(也适用于一般逼近器),将上述微分包含的解与(离散的)随机梯度下降序列相关联,从而建立了随机梯度下降迭代向零损失的线性收敛。
2022-11-16 cs.LG math.OC
On Linear Convergence of Policy Gradient Methods for Finite MDPs
Columbia University(哥伦比亚大学);Simons Institute, UC Berkeley(加州大学伯克利分校西蒙斯研究所)
我们在最简单的设置之一中重新审视了策略梯度方法的有限时间分析:有限状态和动作MDP,其策略类由所有随机策略组成,并具有精确的梯度评估。最近有一些工作将此设置视为平滑非线性优化问题的实例,并显示出具有小步长的次线性收敛率。在这里,我们采取了不同的角度与政策迭代的连接的基础上,并表明,许多变种的策略梯度方法成功地与大的步长,并达到线性收敛速度。
2021-12-13 cs.LG math.OC stat.ML
On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow
IBM Research(IBM研究院);Akron University(阿克伦大学)
我们考虑最大平均差异($\mathrm{MMD}$)GAN问题,并提出了一个参数核化梯度流,模仿梯度正则化$\mathrm{MMD}$ GAN中的最小-最大博弈。我们发现,这个流提供了一个下降方向最小化的概率分布的统计流形上的$\mathrm{MMD}$。然后,我们推导出一个明确的条件,确保梯度正则化$\mathrm{MMD}$ GAN的生成器的参数空间上的梯度下降是全局收敛到目标分布。在此条件下,我们给出了MMD GAN中梯度下降的非渐近收敛性结果。本文的另一个贡献是介绍了一个动态制定的正则化的$\mathrm{MMD}$,并证明参数核下降$\mathrm{MMD}$是梯度流的功能相对于新的黎曼结构。我们得到的理论结果允许人们处理相当一般的泛函的梯度流,因此有潜在的应用程序的其他类型的变分推理的统计流形超越GANs。最后,数值实验表明,我们的参数核化梯度流稳定GAN训练,并保证收敛。
2020-11-04 cs.LG stat.ML
Open Problem: Anytime Convergence Rate of Gradient Descent
Weizmann Institute of Science(魏茨曼科学研究所)
该开放问题针对光滑凸目标下仅靠调整步长加速的普通梯度下降会长期产生大误差的现象,探讨是否存在可在任意停止时刻加速梯度下降经典$\u212a(1/T)$收敛速率的步长策略。
2024-06-19 cs.LG math.OC
On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
Indiana University(印第安纳大学);The Pennsylvania State University(宾夕法尼亚州立大学);The University of Hong Kong(香港大学);Rice University(莱斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文针对非凸优化中自适应梯度方法收敛性研究不足的问题,对AMSGrad、RMSProp、AdaGrad等方法做细粒度分析,证明其期望收敛到一阶驻点且维度相关收敛速率更优,还首次建立三类方法的高概率收敛界,助力理解其非凸优化机制。
2024-06-20 cs.LG math.OC stat.ML
Taming Convergence for Asynchronous Stochastic Gradient Descent with Unbounded Delay in Non-Convex Learning
Iowa State University(爱荷华州立大学)
异步随机梯度下降方法(Async-SGD)是机器学习的基础性方法,其收敛性能的研究近年来受到越来越多的关注。然而,到目前为止,大多数现有的工作都局限于要么有界梯度延迟或凸设置。在本文中,我们专注于Async-SGD和它的变体Async-SGDI(它使用增加批量大小)的非凸优化问题的无界梯度延迟。我们证明了$o(1/\sqrt{k})$收敛速度的Async-SGD和$o(1/k)$的Async-SGDI。此外,建立了Async-SGD收敛的一个统一的充分条件,其中包括文献中的两个主要的梯度延迟模型作为特殊情况,并产生一个新的延迟模型迄今没有考虑。
2020-09-01 cs.DC cs.LG stat.ML
Convergence of gradient descent for learning linear neural networks
RWTH Aachen University(亚琛工业大学)
我们研究了用于训练深度线性神经网络的梯度下降的收敛性质,即,深度矩阵分解,通过扩展相关梯度流的先前分析。我们证明了在适当的步长条件下,梯度下降收敛到损失函数的临界点,即,这篇文章中的平方损失。此外,我们证明了几乎所有的初始化梯度下降收敛到一个全局最小值的情况下,两层。在三层或多层的情况下,我们证明了梯度下降收敛到一个全局最小值的流形矩阵的一些固定的秩,秩不能被确定的先验。
2021-11-24 cs.LG math.OC
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science(魏茨曼科学研究所);TTI Chicago(芝加哥丰田工业大学)
当梯度延迟并反映$τ$轮前的迭代时,我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先,我们表明,没有随机噪声,延迟强烈影响可达到的优化误差:事实上,错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是,我们量化了随机噪声如何使延迟的影响可以忽略不计,改进了以前的工作,这些工作只显示了这种现象渐近或更小的延迟。此外,在分布式优化的背景下,结果表明,具有延迟的梯度下降的性能是有竞争力的同步方法,如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法,使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
Global Convergence of Adaptive Gradient Methods for An Over-parameterized Neural Network
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学)
AdaGrad等自适应梯度方法广泛用于优化神经网络。然而,现有的自适应梯度方法的收敛保证要求凸性或光滑性,并且在光滑设置中,仅保证收敛到一个稳定点。我们提出了一种自适应梯度方法,并表明,对于两层过参数化神经网络-如果宽度足够大(多项式)-那么所提出的方法收敛\emph{to the global minimum}在多项式时间,收敛是强大的,\emph{ without the need to fine-tune hyper-parameters such as the step-size schedule and with the level of over-parametrization independent of the training error}。我们的分析特别表明,过度参数化对于在神经网络环境中充分发挥自适应梯度方法的潜力至关重要。
2019-10-19 cs.LG math.OC stat.ML
Global Convergence of Policy Gradient Methods in Reinforcement Learning, Games and Control
Carnegie Mellon University(卡内基梅隆大学)
本文综述了强化学习、博弈与控制领域中具备全局收敛保证的策略梯度方法的最新研究进展,重点关注其有限时间收敛速率,回应了价值函数非凹导致的全局最优性难保证的问题。
2023-10-08 cs.GT cs.IT cs.LG
Global Convergence Using Policy Gradient Methods for Model-free Markovian Jump Linear Quadratic Control
IIT-Bombay(印度理工学院孟买分校)
由于强化学习在过去几年中的兴趣增长,基于梯度的策略控制方法也在控制问题中越来越受欢迎。这是正确的,因为梯度策略方法具有以端到端的方式优化感兴趣的度量的优势,并且在不完全了解底层系统的情况下相对容易实现。本文研究离散无模型马尔可夫跳变线性系统二次控制的基于梯度的策略优化方法的全局收敛性。我们克服了无数的挑战,因为一个以上的国家加上缺乏知识的系统动力学和显示全局收敛的政策,使用梯度下降和自然的策略梯度方法。我们还提供模拟研究来证实我们的说法。
2021-11-30 cs.LG math.OC
On the Linear convergence of Natural Policy Gradient Algorithm
Georgia Institute of Technology(佐治亚理工学院)
马尔可夫决策过程通常使用值迭代和策略迭代算法来解决。最近对强化学习的兴趣激发了对受优化启发的方法的研究,例如梯度上升。其中,一个流行的算法是自然策略梯度,它是MDP的镜像下降变体。该算法形成了几种流行的强化学习算法的基础,如自然演员-评论家,TRPO,PPO等,因此正在受到越来越多的关注。它已被证明,具有恒定步长的自然策略梯度以O(1/k)的次线性速度收敛到全局最优。本文给出了改进的有限时间收敛界,并证明了该算法具有几何(也称为线性)渐近收敛速度。我们进一步改善这种收敛结果,通过引入一个变种的自然策略梯度自适应步长。最后,我们通过实验比较了不同的策略梯度方法。
2021-05-04 cs.LG
On Asymptotic Linear Convergence of Projected Gradient Descent for Constrained Least Squares
Oregon State University(俄勒冈州立大学)
信号处理和机器学习中的许多最新问题,如压缩感知,图像恢复,矩阵/张量恢复和非负矩阵因子分解,都可以转换为约束优化。投影梯度下降法是求解此类约束最优化问题的一种简单而有效的方法。局部收敛分析进一步加深了我们对其在解附近的渐近行为的理解,与整体收敛分析相比,它提供了更清晰的收敛速度界限。然而,局部保证通常分散在机器学习和信号处理的特定问题领域。这份手稿提出了一个统一的框架内的局部收敛分析投影梯度下降的约束最小二乘的背景下。所提出的分析提供了深入了解关键的局部收敛特性,如线性收敛的条件,收敛区域,精确的渐近收敛速率,以及达到一定精度所需的迭代次数的限制。为了证明所提出的方法的适用性,我们提出了一个配方的收敛分析投影梯度下降,并证明它通过一个迭代到结束的应用程序的配方上的四个基本问题,即,线性等式约束的最小二乘,稀疏恢复,最小二乘与单位范数约束,和矩阵完成。
2022-06-20 cs.LG math.OC
Generalized conditional gradient: analysis of convergence and applications
Université de Rouen(鲁昂大学);Lagrange(拉格朗日);CNRS(法国国家科学研究中心);UNS(尼斯大学);OCA(蔚蓝海岸天文台);Université de Bretagne du Sud(南布列塔尼大学);IRISA(法国国家信息与自动化研究所雷恩分院)
本技术报告的目的是提供Bredies等人[BLM05]引入的广义条件梯度方法的其他结果。事实上,当目标函数是光滑的,我们提供了一个新的证书的最优性,我们表明,该算法具有线性收敛速度。文中还讨论了该算法的应用。
2015-10-22 cs.LG math.OC stat.ML
Competitive Gradient Optimization
Purdue University(普渡大学)
本文研究了零和对策的稳定点收敛问题。我们提出了竞争梯度优化(CGO),一个基于梯度的方法,结合了零和对策优化更新的两个球员之间的相互作用。我们提供了连续时间分析CGO及其收敛特性,同时表明,在连续极限,CGO前辈退化到他们的梯度下降上升(GDA)的变种。我们提供了一个收敛到稳定点的速度,并进一步提出了一个广义类的$α$ -相干函数,我们提供了收敛性分析。我们证明了对于严格$α$ -相干函数,我们的算法收敛到一个鞍点。此外,我们提出了乐观CGO(OCGO),一个乐观的变种,我们证明了收敛速度鞍点的$α$ -连贯类的功能。
2022-05-27 cs.LG math.OC
On the Convergence of Multicalibration Gradient Boosting
Meta;LSE, Department of Statistics(伦敦经济学院统计系)
本文研究了多校准梯度提升的收敛性,证明了预测更新的幅度以O(1/√T)衰减,并在额外的平滑假设下实现线性收敛,实验验证了理论结果和方法的快速收敛性。
2026-06-04 cs.LG stat.ML
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business(巴塞罗那经济学院和巴塞罗那大学)
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似,确立了收敛的一般充分条件,扩展了Chatterjee(2022)的非随机结果,并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent
Technische Universität Darmstadt(达姆施塔特工业大学);Concordia University(康考迪亚大学)
该研究针对带全局平均池化层的过参数化卷积神经网络图像分类场景,分析梯度下降训练下的收敛特性,推导了其误分类风险与最优值差值的收敛速率界。
2024-05-13 cs.LG stat.ML
Linear Convergence of Gradient and Proximal-Gradient Methods Under the Polyak-Łojasiewicz Condition
University of British Columbia(不列颠哥伦比亚大学)
1963年,Polyak提出了一个简单的条件,足以证明梯度下降的全局线性收敛速度。这个条件是同年提出的Jasojasiewicz不等式的一个特例,它不需要强凸性(甚至不需要凸性)。在这项工作中,我们表明,这个更古老的Polyak-Jasojasiewicz(PL)不等式实际上比过去25年中已经探索的显示线性收敛速度而没有强凸性的主要条件更弱。我们还使用PL不等式给出新的分析随机和贪婪的坐标下降方法,基于符号的梯度下降方法,和随机梯度方法在经典的设置(减少或不变的步长),以及方差减少设置。我们进一步提出了一个推广,适用于非光滑优化的近似梯度方法,导致这些方法的线性收敛的简单证明。在此过程中,我们给出了机器学习中各种问题的简单收敛结果:最小二乘法,逻辑回归,boosting,弹性反向传播,L1正则化,支持向量机,随机对偶坐标上升和随机方差缩减梯度方法。
2020-09-12 cs.LG math.OC stat.CO
A SOM-based Gradient-Free Deep Learning Method with Convergence Analysis
针对深度学习中梯度下降法存在的一系列问题,提出了一种新的无梯度深度学习结构。通过在传统的自组织映射中增加一个新的模块,并在映射中引入残差,构造了一种深度值自组织映射网络。并对这种深值自组织映射网络的收敛性能进行了分析,给出了设计参数与输入维数和预测损失之间的不等式。
2022-01-26 cs.LG
Global Convergence of Gradient Descent for Deep Linear Residual Networks
Princeton University(普林斯顿大学)
通过提出一种新的初始化方法:零非对称(ZAS)初始化,分析了深度线性残差网络的梯度下降算法的全局收敛性.它的动机是避免鞍点的稳定流形。我们证明了在ZAS初始化下,对于任意目标矩阵,梯度下降算法在$O(L^3 \log(1/\varepsilon))$迭代中收敛到$\varepsilon$ -最优点,该最优点与网络深度$L$成多项式关系.我们的结果和标准初始化(Xavier或近似恒等式)的$\exp(Ω(L))$收敛时间[Shamir,2018]一起证明了残差结构和初始化在深度线性神经网络优化中的重要性,特别是当$L$很大时。
2019-11-02 cs.LG stat.ML
Understanding and Detecting Convergence for Stochastic Gradient Descent with Momentum
Baidu Research(百度研究院)
迭代随机优化方法的收敛性检测具有重要的实际意义。研究了具有恒定学习率和动量的随机梯度下降算法。我们发现,存在一个瞬态阶段,迭代移动到一个区域的利益,和一个固定阶段,迭代保持有界的区域周围的最小点。我们构造了一个统计诊断测试收敛到平稳阶段使用连续梯度之间的内积,并证明所提出的诊断工作良好。我们从理论上和经验上描述了动量如何影响诊断的测试统计量,以及测试统计量如何在收敛的梯度内捕获相对稀疏的信号。最后,我们展示了一个应用程序,自动调整学习率,减少它每次检测到平稳性,并显示该程序是强大的错误指定的初始速率。
2020-08-27 cs.LG stat.ML
Convergence and Privacy of Decentralized Nonconvex Optimization with Gradient Clipping and Communication Compression
Carnegie Mellon University(卡内基梅隆大学)
本文首次研究了在带有通信压缩的去中心化非凸优化中梯度裁剪的作用,提出PORTER框架及其两种变体,在无需梯度有界假设下证明了收敛性并分析了收敛速率、压缩比、网络连通性与隐私间的权衡。
2023-05-17 cs.LG math.OC
Gradient Temporal Difference with Momentum: Stability and Convergence
Indian Institute of Science(印度科学理工学院)
梯度时间差分(Gradient Temporal Difference,TD)算法是一类在强化学习中用于策略评估的随机逼近(Stochastic Approximation,SA)算法。在这里,我们考虑梯度TD算法与一个额外的重球动量项,并提供选择的步长和动量参数,以确保这些算法几乎肯定渐近收敛。在这样做时,我们将重球梯度TD迭代分解为具有不同步长的三个单独的迭代。我们首先分析这些迭代下一个时标SA设置使用当前文献的结果。然而,一个时间尺度的情况是限制性的,可以通过查看迭代的三个时间尺度分解来提供更一般的分析。在这个过程中,我们提供了一般的三时标SA的稳定性和收敛性的第一个条件。然后,我们证明了重球梯度TD算法是收敛的,使用我们的三时标SA分析。最后,我们评估这些算法的标准强化学习问题和报告的性能改善香草算法。
2021-11-22 cs.LG
Convergence of Gradient Methods on Bilinear Zero-Sum Games
School of Computer Science(计算机学院);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
由于深度生成模型和对抗方法的兴起,Min-max公式在ML社区中引起了极大的关注,而理解求解此类公式的梯度算法的动态仍然是一个巨大的挑战。作为第一步,我们限制到双线性零和游戏,并给出了一个系统的分析流行的梯度更新,同时和交替的版本。我们提供了精确的条件,他们的收敛性,并找到最佳的参数设置和收敛速度。特别是,我们的研究结果提供了正式的证据,交替更新收敛“更好”比同步的。
2020-03-03 cs.GT cs.LG math.OC
A simplified convergence theory for Byzantine resilient stochastic gradient descent
Australian National University(澳大利亚国立大学);University of Sydney(悉尼大学)
在分布式学习中,中央服务器根据保存本地数据样本的节点提供的更新来训练模型。在存在一个或多个发送不正确信息的恶意服务器(拜占庭对手)的情况下,用于模型训练的标准算法(例如随机梯度下降(SGD))无法收敛。在本文中,我们提出了一种简化的收敛理论,用于最初由Blanchard等人[NeurIPS 2017]提出的通用拜占庭弹性SGD方法。与现有的分析相比,我们在标准假设(可能是非凸的)目标函数和随机梯度的灵活假设下,收敛到一个稳定点。
2022-08-25 cs.LG math.OC
On the Convergence of Gradient Descent Training for Two-layer ReLU-networks in the Mean Field Regime
Princeton University(普林斯顿大学)
我们描述了一个充要条件的收敛到最小贝叶斯风险时,训练两层ReLU-网络的梯度下降在平均场制度与全向初始参数分布。本文将Chizat和Bach最近的结果扩展到ReLU激活的网络以及没有参数可以精确实现MBR的情况。该条件不依赖于参数的初始化,只涉及神经网络实现的弱收敛性,而不涉及其参数分布。
2020-05-27 cs.LG math.AP stat.ML
Reusing Historical Trajectories in Natural Policy Gradient via Importance Sampling: Convergence and Convergence Rate
Georgia Institute of Technology(佐治亚理工学院)
本文研究通过重要性采样重用历史轨迹的自然策略梯度方法变体,证明其梯度估计器偏差渐近可忽略、算法收敛且能提高收敛速率,并在经典基准上验证了理论结果。
2025-03-05 cs.LG math.OC
A Methodology Establishing Linear Convergence of Adaptive Gradient Methods under PL Inequality
Tata Consultancy Services Research(塔塔咨询服务研究中心);Indian Institute of Technology(印度理工学院)
本文证明AdaGrad和Adam在光滑且满足PL不等式的代价函数下线性收敛,提出统一理论框架,适用于批量和随机梯度。
2024-07-17 cs.AI cs.LG math.OC
Convergence Rates of Inexact Proximal-Gradient Methods for Convex Optimization
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’École Normale Supérieure(巴黎高等师范学院计算机实验室)
我们考虑的问题,优化的光滑凸函数和非光滑凸函数使用近似梯度方法,其中存在的误差在计算的梯度的光滑项或在邻近算子相对于非光滑项的总和。我们证明了基本近似梯度法和加速近似梯度法都能达到与无误差情况下相同的收敛速度,只要误差以适当的速率减小,在一组结构稀疏性问题上,我们的性能与精心选择的固定误差水平一样好或更好。
2011-12-01 cs.LG math.OC
Revisiting Gradient Clipping: Stochastic bias and tight convergence guarantees
EPFL(洛桑联邦理工学院);Inria Grenoble(法国国家信息与自动化研究所格勒诺布尔研究中心);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
该研究针对梯度裁剪收敛保证依赖特定阈值与强噪声假设的问题,推导了其与任意裁剪阈值相关的紧收敛界,证明随机场景下标准假设无法保证收敛到最优解,并通过实验验证了理论结果。
2023-11-09 cs.DC cs.LG math.OC
Policy Gradient in Partially Observable Environments: Approximation and Convergence
California Institute of Technology(加州理工学院)
策略梯度是一种通用且灵活的强化学习方法,通常在分析、实现和部署方面都很简单。在过去的几十年里,这种方法已经被广泛地用于完全可观察的环境。在本文中,我们概括了各种这些进展部分可观察的设置,并类似于完全可观察的情况下,我们保持我们的重点是类马尔可夫政策。我们提出了一系列的技术工具,包括一个新的优势函数的概念,开发策略梯度算法,并研究其收敛性能在这样的环境中。部署这些工具,我们推广了各种现有的理论保证,如策略梯度和收敛定理,部分可观察的域,这些也可以进行更多的设置的兴趣。这项研究还揭示了在现实世界中的应用,往往是部分可观察的策略梯度方法的理解。
2020-05-24 cs.LG stat.ML
On the Convergence Rates of Policy Gradient Methods
Meta AI Research(Meta人工智能研究院)
我们考虑有限状态和行动空间的无限时域折扣马尔可夫判定问题,并研究了在策略空间中直接参数化的投影策略梯度法和一般类策略镜像下降法的收敛速度。首先,我们发展了一个弱梯度映射优势理论,并利用它证明了投影策略梯度法具有更快的次线性收敛速度。然后,我们表明,随着步长的几何增加,一般类的政策镜像下降法,包括自然政策梯度法和投影Q-下降法,都享有线性收敛速率,而不依赖于熵或其他强凸正则化。最后,我们还分析了不精确策略镜像下降法的收敛速度,并在一个简单的生成模型下估计了其样本复杂度。
2022-03-06 cs.LG math.OC
Vanilla SGD with Momentum Survives Heavy-Tailed Noise: Convergence Analysis without Gradient Clipping or Normalization
Meiji University(明治大学)
研究普通SGD尤其是带动量的在重尾噪声下的表现,通过细化收敛结果及全面分析,揭示其在重尾噪声下收敛率低于裁剪或归一化变体,展现普通方法局限性,合成函数实验支持理论发现。
2026-08-14 cs.LG
Exponential convergence of testing error for stochastic gradient methods
INRIA(法国国家信息与自动化研究所);Département d’Informatique de l’ENS(巴黎高等师范学院计算机系);Ecole Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本文考虑了具有正定核和平方损失的二元分类问题,研究了随机梯度方法的收敛速度。我们表明,虽然过量的测试损失(平方损失)慢慢收敛到零的观察(从而迭代)的数量趋于无穷大,测试误差(分类误差)收敛指数快速,如果假设低噪声条件。
2018-11-20 cs.LG stat.ML
Exponential Convergence of Gradient Methods in Concave Network Zero-sum Games
University of British Columbia(不列颠哥伦比亚大学)
受生成对抗网络的启发,我们研究了凹网络零和博弈(NNORGs)中纳什均衡的计算问题,NNORGs是线性支付的二人零和博弈的多人推广.推广以前的结果,我们表明,各种博弈论性质的凹凸两个球员零和游戏保持在这个推广。然后,我们推广了最后的收敛结果先前在两个球员零和游戏。我们分析收敛速度时,球员更新他们的策略使用梯度上升,其变体,乐观梯度上升,显示最后的收敛在三个设置-当球员的收益是线性的,强凹和Lipschitz,强凹和光滑。我们提供的实验结果支持这些理论研究结果。
2020-07-10 cs.GT cs.LG math.OC
A Letter on Convergence of In-Parameter-Linear Nonlinear Neural Architectures with Gradient Learnings
University of South Bohemia in Ceske Budejovice(南波西米亚大学);Czech Technical University in Prague(布拉格捷克理工大学);Tohoku University(东北大学)
这封信总结并证明了有界输入有界状态(BIBS)稳定性的概念的权重收敛的一个广泛的家庭在参数线性非线性神经架构,因为它通常适用于一个广泛的家庭的增量梯度学习算法。一个实用的BIBS收敛条件的结果,从每个单独的学习点或批次的实时应用程序派生的证明。
2021-11-25 cs.LG cs.NE math.DS
On the convergence of gradient-like flows with noisy gradient input
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LIG(格勒诺布尔信息实验室);Maastricht University(马斯特里赫特大学)
针对带噪声梯度输入的凸优化问题,分析了随机扰动下类梯度流的渐近行为。具体来说,我们专注于广泛研究的类镜像下降计划的凸计划与紧凑的可行域,我们研究的动力学的收敛性和浓度的存在噪声的性质。在消失的噪声限制,我们表明,动态收敛到解决方案的基本问题(a.s.)。否则,当噪声是持久的,我们表明,从长远来看,动力学集中在内部解决方案,他们收敛到边界的解决方案,是足够的“尖锐”。最后,我们证明了一个适当的整流的方法收敛的变体,而不管噪声的大小(或结构的基本凸计划),我们推导出一个明确的估计其收敛速率。
2017-09-20 cs.LG math.DS math.OC
General Proximal Incremental Aggregated Gradient Algorithms: Better and Novel Results under General Scheme
National University of Defense Technology(国防科技大学);University of California, Los Angeles(加州大学洛杉矶分校);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
增量聚合梯度算法是网络优化和机器学习研究中的一种常用算法。然而,目前的收敛结果要求目标函数是强凸的。现有的收敛速度也仅限于线性收敛。由于数学技术的原因,算法中的步长受到强凸常数的限制,这可能使得步长很小(强凸常数可能很小)。在本文中,我们提出了一个通用的近似增量聚合梯度算法,它包含了各种现有的算法,包括基本的增量聚合梯度法。即使在一般格式下也证明了更好的收敛结果。本文给出的新结果包括:一般格式,非凸分析,函数值的次线性收敛速度,保证收敛的大步长,噪声存在时的收敛性,邻近增量聚合梯度算法的线搜索策略及其收敛性。
2019-10-11 cs.LG math.OC stat.ML