Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size
Massachusetts Institute of Technology(麻省理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
建立最优化方法的快速收敛速度对于它们在实践中的适用性至关重要。随着过去十年深度学习的日益普及,随机梯度下降及其自适应变体(例如Adagrad,Adam等)已经成为机器学习从业者的首选方法。虽然大量的工作已经证明,这些一阶最优化方法可以实现次线性或线性收敛,我们建立了局部平方收敛的随机梯度下降与自适应步长的问题,如矩阵求逆。
2021-12-30 cs.LG math.OC
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks
Institute of Informatics, University of Warsaw(华沙大学信息学研究所)
研究了一类单隐层前馈神经网络的随机梯度下降算法全局收敛所需的过参数化界,考虑了实际中使用的大多数激活函数,包括ReLU.我们改进了现有的国家的最先进的结果方面所需的隐藏层的宽度。我们介绍了一种新的证明技术相结合的非线性分析与网络的随机初始化的性质。首先,我们建立了微分包含作为梯度流的非光滑模拟的MSE损失的连续解的全局收敛性。其次,我们提供了一个技术性的结果(也适用于一般逼近器),将上述微分包含的解与(离散的)随机梯度下降序列相关联,从而建立了随机梯度下降迭代向零损失的线性收敛。
2022-11-16 cs.LG math.OC
Open Problem: Anytime Convergence Rate of Gradient Descent
Weizmann Institute of Science(魏茨曼科学研究所)
该开放问题针对光滑凸目标下仅靠调整步长加速的普通梯度下降会长期产生大误差的现象,探讨是否存在可在任意停止时刻加速梯度下降经典$\u212a(1/T)$收敛速率的步长策略。
2024-06-19 cs.LG math.OC
Convergence of gradient descent for learning linear neural networks
RWTH Aachen University(亚琛工业大学)
我们研究了用于训练深度线性神经网络的梯度下降的收敛性质,即,深度矩阵分解,通过扩展相关梯度流的先前分析。我们证明了在适当的步长条件下,梯度下降收敛到损失函数的临界点,即,这篇文章中的平方损失。此外,我们证明了几乎所有的初始化梯度下降收敛到一个全局最小值的情况下,两层。在三层或多层的情况下,我们证明了梯度下降收敛到一个全局最小值的流形矩阵的一些固定的秩,秩不能被确定的先验。
2021-11-24 cs.LG math.OC
On Asymptotic Linear Convergence of Projected Gradient Descent for Constrained Least Squares
Oregon State University(俄勒冈州立大学)
信号处理和机器学习中的许多最新问题,如压缩感知,图像恢复,矩阵/张量恢复和非负矩阵因子分解,都可以转换为约束优化。投影梯度下降法是求解此类约束最优化问题的一种简单而有效的方法。局部收敛分析进一步加深了我们对其在解附近的渐近行为的理解,与整体收敛分析相比,它提供了更清晰的收敛速度界限。然而,局部保证通常分散在机器学习和信号处理的特定问题领域。这份手稿提出了一个统一的框架内的局部收敛分析投影梯度下降的约束最小二乘的背景下。所提出的分析提供了深入了解关键的局部收敛特性,如线性收敛的条件,收敛区域,精确的渐近收敛速率,以及达到一定精度所需的迭代次数的限制。为了证明所提出的方法的适用性,我们提出了一个配方的收敛分析投影梯度下降,并证明它通过一个迭代到结束的应用程序的配方上的四个基本问题,即,线性等式约束的最小二乘,稀疏恢复,最小二乘与单位范数约束,和矩阵完成。
2022-06-20 cs.LG math.OC
Competitive Gradient Optimization
Purdue University(普渡大学)
本文研究了零和对策的稳定点收敛问题。我们提出了竞争梯度优化(CGO),一个基于梯度的方法,结合了零和对策优化更新的两个球员之间的相互作用。我们提供了连续时间分析CGO及其收敛特性,同时表明,在连续极限,CGO前辈退化到他们的梯度下降上升(GDA)的变种。我们提供了一个收敛到稳定点的速度,并进一步提出了一个广义类的$α$ -相干函数,我们提供了收敛性分析。我们证明了对于严格$α$ -相干函数,我们的算法收敛到一个鞍点。此外,我们提出了乐观CGO(OCGO),一个乐观的变种,我们证明了收敛速度鞍点的$α$ -连贯类的功能。
2022-05-27 cs.LG math.OC
Convergence and Privacy of Decentralized Nonconvex Optimization with Gradient Clipping and Communication Compression
Carnegie Mellon University(卡内基梅隆大学)
本文首次研究了在带有通信压缩的去中心化非凸优化中梯度裁剪的作用,提出PORTER框架及其两种变体,在无需梯度有界假设下证明了收敛性并分析了收敛速率、压缩比、网络连通性与隐私间的权衡。
2023-05-17 cs.LG math.OC
A simplified convergence theory for Byzantine resilient stochastic gradient descent
Australian National University(澳大利亚国立大学);University of Sydney(悉尼大学)
在分布式学习中,中央服务器根据保存本地数据样本的节点提供的更新来训练模型。在存在一个或多个发送不正确信息的恶意服务器(拜占庭对手)的情况下,用于模型训练的标准算法(例如随机梯度下降(SGD))无法收敛。在本文中,我们提出了一种简化的收敛理论,用于最初由Blanchard等人[NeurIPS 2017]提出的通用拜占庭弹性SGD方法。与现有的分析相比,我们在标准假设(可能是非凸的)目标函数和随机梯度的灵活假设下,收敛到一个稳定点。
2022-08-25 cs.LG math.OC
Convergence Rates of Inexact Proximal-Gradient Methods for Convex Optimization
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’École Normale Supérieure(巴黎高等师范学院计算机实验室)
我们考虑的问题,优化的光滑凸函数和非光滑凸函数使用近似梯度方法,其中存在的误差在计算的梯度的光滑项或在邻近算子相对于非光滑项的总和。我们证明了基本近似梯度法和加速近似梯度法都能达到与无误差情况下相同的收敛速度,只要误差以适当的速率减小,在一组结构稀疏性问题上,我们的性能与精心选择的固定误差水平一样好或更好。
2011-12-01 cs.LG math.OC
On the Convergence Rates of Policy Gradient Methods
Meta AI Research(Meta人工智能研究院)
我们考虑有限状态和行动空间的无限时域折扣马尔可夫判定问题,并研究了在策略空间中直接参数化的投影策略梯度法和一般类策略镜像下降法的收敛速度。首先,我们发展了一个弱梯度映射优势理论,并利用它证明了投影策略梯度法具有更快的次线性收敛速度。然后,我们表明,随着步长的几何增加,一般类的政策镜像下降法,包括自然政策梯度法和投影Q-下降法,都享有线性收敛速率,而不依赖于熵或其他强凸正则化。最后,我们还分析了不精确策略镜像下降法的收敛速度,并在一个简单的生成模型下估计了其样本复杂度。
2022-03-06 cs.LG math.OC
Non-Asymptotic Convergence Analysis of Inexact Gradient Methods for Machine Learning Without Strong Convexity
The Chinese University of Hong Kong(香港中文大学)
最近在机器学习和数据拟合中的许多应用需要结构光滑凸优化问题的算法解决方案。虽然梯度下降法是此任务的自然选择,但它需要精确的梯度计算,因此当问题大小很大或梯度难以评估时效率低下。因此,不精确梯度法(IGM),其中一个有效的可计算的近似梯度被用来执行在每次迭代的更新,一直有很大的兴趣。目前,IGM的非渐近线性收敛结果通常是在目标函数是强凸的假设下建立的,这在许多感兴趣的应用中是不满足的;而不需要强凸性假设的线性收敛结果通常本质上是渐近的。在本文中,我们结合了这两种类型的结果,并建立-在标准的假设下,梯度逼近误差线性下降到零-非渐近线性收敛的IGMs时,适用于一类结构凸优化问题。这样的类覆盖目标函数不一定是强凸的设置,并且包括最小二乘和逻辑斯谛回归问题。我们相信,我们的技术将找到进一步的应用在非渐近收敛分析的其他一阶方法。
2013-08-31 cs.LG math.OC
Gradient Methods with Online Scaling Part II. Practical Aspects
Department of Mathematics, Stanford University(斯坦福大学数学系);ICME, Stanford University(斯坦福大学工业工程与运营管理系);Department of Management Science and Engineering, Stanford University(斯坦福大学管理科学与工程系)
本文基于在线缩放梯度方法框架,设计自适应一阶方法OSGM-Best,以更低内存和迭代成本匹配拟牛顿性能,并扩展至非凸优化。
2025-10-06 cs.LG math.OC stat.ML
On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
Indiana University(印第安纳大学);The Pennsylvania State University(宾夕法尼亚州立大学);The University of Hong Kong(香港大学);Rice University(莱斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文针对非凸优化中自适应梯度方法收敛性研究不足的问题,对AMSGrad、RMSProp、AdaGrad等方法做细粒度分析,证明其期望收敛到一阶驻点且维度相关收敛速率更优,还首次建立三类方法的高概率收敛界,助力理解其非凸优化机制。
2024-06-20 cs.LG math.OC stat.ML
A Tight Convergence Analysis for Stochastic Gradient Descent with Delayed Updates
Weizmann Institute of Science(魏茨曼科学研究所);TTI Chicago(芝加哥丰田工业大学)
当梯度延迟并反映$τ$轮前的迭代时,我们为二次函数上的梯度下降和随机梯度下降提供了严格的有限时间收敛界。首先,我们表明,没有随机噪声,延迟强烈影响可达到的优化误差:事实上,错误可以作为坏的非延迟梯度下降运行仅$1/τ$的梯度。与此形成鲜明对比的是,我们量化了随机噪声如何使延迟的影响可以忽略不计,改进了以前的工作,这些工作只显示了这种现象渐近或更小的延迟。此外,在分布式优化的背景下,结果表明,具有延迟的梯度下降的性能是有竞争力的同步方法,如mini-slip。我们的研究结果是基于一种新的技术分析收敛性的优化算法,使用生成函数。
2018-06-26 cs.LG math.OC stat.ML
Can speed up the convergence rate of stochastic gradient methods to $\mathcal{O}(1/k^2)$ by a gradient averaging strategy?
Princeton University(普林斯顿大学);Nanjing University(南京大学)
在本文中,我们考虑的问题是,是否有可能应用梯度平均策略,以改善次线性收敛速度没有任何增加的存储。我们的分析表明,一个积极的答案需要一个适当的平均策略和迭代,满足方差占主导地位的条件。作为一个有趣的事实,我们表明,如果我们定义的迭代方差总是占主导地位,即使是一点点的随机梯度迭代,建议的梯度平均策略可以增加收敛速度$\mathcal{O}(1/k)$ $\mathcal{O}(1/k^2)$的概率为Lipschitz梯度的强凸目标。这一结论为如何控制随机梯度迭代以提高算法的收敛速率提供了依据。
2020-02-25 cs.LG cs.NA math.NA
Generalized conditional gradient: analysis of convergence and applications
Université de Rouen(鲁昂大学);Lagrange(拉格朗日);CNRS(法国国家科学研究中心);UNS(尼斯大学);OCA(蔚蓝海岸天文台);Université de Bretagne du Sud(南布列塔尼大学);IRISA(法国国家信息与自动化研究所雷恩分院)
本技术报告的目的是提供Bredies等人[BLM05]引入的广义条件梯度方法的其他结果。事实上,当目标函数是光滑的,我们提供了一个新的证书的最优性,我们表明,该算法具有线性收敛速度。文中还讨论了该算法的应用。
2015-10-22 cs.LG math.OC stat.ML
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business(巴塞罗那经济学院和巴塞罗那大学)
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似,确立了收敛的一般充分条件,扩展了Chatterjee(2022)的非随机结果,并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
On the convergence of gradient-like flows with noisy gradient input
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LIG(格勒诺布尔信息实验室);Maastricht University(马斯特里赫特大学)
针对带噪声梯度输入的凸优化问题,分析了随机扰动下类梯度流的渐近行为。具体来说,我们专注于广泛研究的类镜像下降计划的凸计划与紧凑的可行域,我们研究的动力学的收敛性和浓度的存在噪声的性质。在消失的噪声限制,我们表明,动态收敛到解决方案的基本问题(a.s.)。否则,当噪声是持久的,我们表明,从长远来看,动力学集中在内部解决方案,他们收敛到边界的解决方案,是足够的“尖锐”。最后,我们证明了一个适当的整流的方法收敛的变体,而不管噪声的大小(或结构的基本凸计划),我们推导出一个明确的估计其收敛速率。
2017-09-20 cs.LG math.DS math.OC
General Proximal Incremental Aggregated Gradient Algorithms: Better and Novel Results under General Scheme
National University of Defense Technology(国防科技大学);University of California, Los Angeles(加州大学洛杉矶分校);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
增量聚合梯度算法是网络优化和机器学习研究中的一种常用算法。然而,目前的收敛结果要求目标函数是强凸的。现有的收敛速度也仅限于线性收敛。由于数学技术的原因,算法中的步长受到强凸常数的限制,这可能使得步长很小(强凸常数可能很小)。在本文中,我们提出了一个通用的近似增量聚合梯度算法,它包含了各种现有的算法,包括基本的增量聚合梯度法。即使在一般格式下也证明了更好的收敛结果。本文给出的新结果包括:一般格式,非凸分析,函数值的次线性收敛速度,保证收敛的大步长,噪声存在时的收敛性,邻近增量聚合梯度算法的线搜索策略及其收敛性。
2019-10-11 cs.LG math.OC stat.ML
On the Convergence of SGD with Biased Gradients
University of Lausanne(洛桑大学);EPFL(瑞士洛桑联邦理工学院)
我们分析了有偏随机梯度方法(SGD)的复杂性,其中个别更新被破坏的确定性,即有偏误差项。我们推导出光滑(非凸)函数的收敛结果,并在Polyak-Lojasiewicz条件下给出改进的速率。我们量化了偏差的大小如何影响可达到的精度和收敛速度(有时会导致发散)。我们的框架涵盖了许多应用程序,其中只有偏置梯度更新可用,或首选,无偏的性能原因。例如,在分布式学习领域,已经提出了诸如top-k压缩的有偏梯度压缩技术作为缓解通信瓶颈的工具,并且在无导数优化中,只能查询有偏梯度估计器。我们讨论了一些指导性的例子,显示了我们的分析的广泛适用性。
2021-05-09 cs.LG math.OC stat.ML
On the convergence of gradient descent for two layer neural networks
已经表明,梯度下降可以在过参数化的区域(神经网络的宽度远大于数据点的数量)中产生零训练损失。在这项工作中,结合一些现有的工作的思想,我们研究的梯度下降法训练两层神经网络逼近一些目标连续函数。通过使用一般的链接技术从概率论,我们表明,梯度下降可以产生指数收敛速度,而所需的神经网络的宽度是独立的训练数据的大小。这一结果也暗示了两层神经网络在没有维数灾难的情况下具有较强的逼近能力。
2019-11-04 cs.LG math.OC stat.ML
Stochastic Gradient Descent with Exponential Convergence Rates of Expected Classification Errors
The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们考虑再生核希尔伯特空间中的二进制分类问题的随机梯度下降及其平均变量。在使用损失函数的一致性性质的传统分析中,已知即使在条件标签概率上假设低噪声条件时,期望分类误差也比期望风险收敛得更慢。因此,所得速率是次线性的。因此,重要的是考虑是否可以实现预期分类误差的更快收敛。在最近的研究中,在强低噪声条件下显示了随机梯度下降的指数收敛率,但理论分析仅限于平方损失函数,这对于二元分类任务来说有些不足。在本文中,我们显示了一个指数收敛的期望分类误差在最后阶段的随机梯度下降的一类广泛的可微凸损失函数在类似的假设。至于平均随机梯度下降,我们表明,从训练的早期阶段相同的收敛速度。在实验中,我们验证了我们的分析上的$L_2$正则化逻辑斯谛回归。
2022-07-25 cs.LG math.OC stat.ML
Toward Global Convergence of Gradient EM for Over-Parameterized Gaussian Mixture Models
University of Washington(华盛顿大学)
研究过参数化GMM中梯度EM算法的全局收敛性,提出基于似然的收敛分析框架,首次证明任意成分数下以次线性速率全局收敛,并揭示不良局部区域导致指数级步数停滞的挑战。
2025-06-01 cs.LG math.OC stat.ML
SGD and Hogwild! Convergence Without the Bounded Gradients Assumption
Lehigh University(理海大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Connecticut(康涅狄格大学);KAUST(阿卜杜拉国王科技大学);MIPT(莫斯科物理技术学院)
随机梯度下降(SGD)是许多机器学习应用中的首选优化算法,例如正则化经验风险最小化和训练深度神经网络。在随机梯度范数一致有界的假设下,对SGD算法进行了经典的收敛性分析。虽然这可能适用于某些损失函数,但在目标函数是强凸的情况下总是违反这一点。在(Bottou等人,2016),在随机梯度相对于真实梯度范数有界的假设下,对SGD的收敛性进行了新的分析。在这里,我们表明,对于机器学习中出现的随机问题,这样的界限总是成立的;我们还提出了一种具有递减学习率机制的SGD的另一种收敛分析,这导致了比Bottou等人,2016年)。然后,我们移动的异步并行设置,并证明收敛的Hogwild!算法在相同的制度,获得第一个收敛结果,这种方法的情况下,减少学习率。
2018-06-08 cs.LG math.OC stat.ML
A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
Durham University(杜伦大学)
该研究提出速率转移方法,通过随机微积分将SDE的李雅普诺夫估计转化为随机梯度算法的收敛界,可复现经典方法速率并用于新优化算法的收敛速率分析。
2026-10-14 cs.AI cs.LG math.OC
Linear Convergence of Gradient and Proximal-Gradient Methods Under the Polyak-Łojasiewicz Condition
University of British Columbia(不列颠哥伦比亚大学)
1963年,Polyak提出了一个简单的条件,足以证明梯度下降的全局线性收敛速度。这个条件是同年提出的Jasojasiewicz不等式的一个特例,它不需要强凸性(甚至不需要凸性)。在这项工作中,我们表明,这个更古老的Polyak-Jasojasiewicz(PL)不等式实际上比过去25年中已经探索的显示线性收敛速度而没有强凸性的主要条件更弱。我们还使用PL不等式给出新的分析随机和贪婪的坐标下降方法,基于符号的梯度下降方法,和随机梯度方法在经典的设置(减少或不变的步长),以及方差减少设置。我们进一步提出了一个推广,适用于非光滑优化的近似梯度方法,导致这些方法的线性收敛的简单证明。在此过程中,我们给出了机器学习中各种问题的简单收敛结果:最小二乘法,逻辑回归,boosting,弹性反向传播,L1正则化,支持向量机,随机对偶坐标上升和随机方差缩减梯度方法。
2020-09-12 cs.LG math.OC stat.CO
Convergence of Gradient Methods on Bilinear Zero-Sum Games
School of Computer Science(计算机学院);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
由于深度生成模型和对抗方法的兴起,Min-max公式在ML社区中引起了极大的关注,而理解求解此类公式的梯度算法的动态仍然是一个巨大的挑战。作为第一步,我们限制到双线性零和游戏,并给出了一个系统的分析流行的梯度更新,同时和交替的版本。我们提供了精确的条件,他们的收敛性,并找到最佳的参数设置和收敛速度。特别是,我们的研究结果提供了正式的证据,交替更新收敛“更好”比同步的。
2020-03-03 cs.GT cs.LG math.OC
A Methodology Establishing Linear Convergence of Adaptive Gradient Methods under PL Inequality
Tata Consultancy Services Research(塔塔咨询服务研究中心);Indian Institute of Technology(印度理工学院)
本文证明AdaGrad和Adam在光滑且满足PL不等式的代价函数下线性收敛,提出统一理论框架,适用于批量和随机梯度。
2024-07-17 cs.AI cs.LG math.OC
Revisiting Gradient Clipping: Stochastic bias and tight convergence guarantees
EPFL(洛桑联邦理工学院);Inria Grenoble(法国国家信息与自动化研究所格勒诺布尔研究中心);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
该研究针对梯度裁剪收敛保证依赖特定阈值与强噪声假设的问题,推导了其与任意裁剪阈值相关的紧收敛界,证明随机场景下标准假设无法保证收敛到最优解,并通过实验验证了理论结果。
2023-11-09 cs.DC cs.LG math.OC
Convergence of two-timescale gradient descent ascent dynamics: finite-dimensional and mean-field perspectives
本文分析双时间尺度梯度下降上升算法在有限维和平均场设置下的收敛性,通过次相干性方法和混合同步-反射耦合技术,分别证明了近准静态区域和有限尺度比值下的收敛结果。
2025-10-10 cs.LG cs.NA math.NA
AdaL: Adaptive Gradient Transformation Contributes to Convergences and Generalizations
Beijing Institute of Technology(北京理工大学);Shenzhen University(深圳大学)
自适应优化方法在深度学习中得到了广泛的应用。它们根据过去的梯度自适应地缩放学习率,这已被证明是有效的,以加速收敛。然而,他们遭受的泛化性能差相比,SGD。最近的研究指出,平滑指数梯度噪声会导致泛化退化现象。受此启发,我们提出了AdaL,在原始梯度上进行了变换。AdaL通过在初始阶段放大梯度来加速收敛,并通过在后期收缩梯度来抑制振荡和稳定优化。这种改进增强了梯度噪声的平滑性,从而产生更好的泛化性能。我们已经从理论上证明了AdaL的收敛性,并在几个基准测试中证明了其有效性。
2021-07-04 cs.AI cs.LG
Stochastic gradient descent algorithms for strongly convex functions at O(1/T) convergence rates
传统的随机梯度下降(SGD)算法在权值与t成正比的情况下,对强凸函数的概率收敛速度为O(κ/T),而不是O(κ ln(T)/T).我们还证明了一个加速的SGD算法也达到了O(κ/T)的速度。
2013-05-09 cs.AI cs.LG
Convergence Analysis of Fractional Gradient Descent
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文分析了分数阶梯度下降在光滑且凸、强凸及非凸设置下的收敛性,建立了连接分数阶与整数阶导数的新界限,证明了不同条件下的线性或O(1/T)收敛性,并展示了其相比标准梯度下降的加速效果。
2024-06-04 cs.LG cs.NA math.NA
A SOM-based Gradient-Free Deep Learning Method with Convergence Analysis
针对深度学习中梯度下降法存在的一系列问题,提出了一种新的无梯度深度学习结构。通过在传统的自组织映射中增加一个新的模块,并在映射中引入残差,构造了一种深度值自组织映射网络。并对这种深值自组织映射网络的收敛性能进行了分析,给出了设计参数与输入维数和预测损失之间的不等式。
2022-01-26 cs.LG
The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof
CEREMADE - CNRS(CEREMADE - 法国国家科学研究中心);Université Paris Dauphine - PSL Research University(巴黎第九大学 - PSL研究大学)
本文自包含地证明了随机梯度下降(SGD)的收敛性,无需外部依赖。
2023-11-14 cs.LG math.PR stat.ML
A Novel Stochastic Stratified Average Gradient Method: Convergence Rate and Its Complexity
Guangdong University of Finance & Economics(广东财经大学);Wayne State University(韦恩州立大学)
SGD(随机梯度下降)算法是求解大规模优化问题的一种常用算法。然而,由于SGD算法固有的梯度方差,SGD算法不能像FGD(Full梯度下降)算法那样获得线性收敛速度。为了解决这一问题,提出了小批量SGD算法,以在收敛速度和迭代代价方面取得折衷。本文给出了一个广义的CVI(Convergence-Variance Inequality)方程,形式化地描述了收敛速度与梯度方差的相互作用。然后引入了一种新的算法SSAG(随机分层平均梯度)来减少梯度方差,该算法基于分层采样和迭代平均两种技术,这是SAG(随机平均梯度)的关键思想。此外,SSAG算法能以较小的存储和迭代代价获得$\mathcal {O}((1-\fracμ{8CL})^k)$的线性收敛速度,其中$C\geq 2$为训练数据的类别数.这种收敛速度主要取决于类之间的方差,而不是类内的方差。在$C\ll N$($N$是训练数据大小)的情况下,SSAG的收敛速度远远优于SAG的$\mathcal {O}((1-\fracμ{8NL})^k)$的收敛速度。实验结果表明,SSAG算法的性能优于SAG算法和许多其他算法。
2017-12-03 cs.AI cs.LG stat.ML
On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow
IBM Research(IBM研究院);Akron University(阿克伦大学)
我们考虑最大平均差异($\mathrm{MMD}$)GAN问题,并提出了一个参数核化梯度流,模仿梯度正则化$\mathrm{MMD}$ GAN中的最小-最大博弈。我们发现,这个流提供了一个下降方向最小化的概率分布的统计流形上的$\mathrm{MMD}$。然后,我们推导出一个明确的条件,确保梯度正则化$\mathrm{MMD}$ GAN的生成器的参数空间上的梯度下降是全局收敛到目标分布。在此条件下,我们给出了MMD GAN中梯度下降的非渐近收敛性结果。本文的另一个贡献是介绍了一个动态制定的正则化的$\mathrm{MMD}$,并证明参数核下降$\mathrm{MMD}$是梯度流的功能相对于新的黎曼结构。我们得到的理论结果允许人们处理相当一般的泛函的梯度流,因此有潜在的应用程序的其他类型的变分推理的统计流形超越GANs。最后,数值实验表明,我们的参数核化梯度流稳定GAN训练,并保证收敛。
2020-11-04 cs.LG stat.ML
On the Convergence of Multicalibration Gradient Boosting
Meta;LSE, Department of Statistics(伦敦经济学院统计系)
本文研究了多校准梯度提升的收敛性,证明了预测更新的幅度以O(1/√T)衰减,并在额外的平滑假设下实现线性收敛,实验验证了理论结果和方法的快速收敛性。
2026-06-04 cs.LG stat.ML
Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent
Technische Universität Darmstadt(达姆施塔特工业大学);Concordia University(康考迪亚大学)
该研究针对带全局平均池化层的过参数化卷积神经网络图像分类场景,分析梯度下降训练下的收敛特性,推导了其误分类风险与最优值差值的收敛速率界。
2024-05-13 cs.LG stat.ML
Global Convergence of Gradient Descent for Deep Linear Residual Networks
Princeton University(普林斯顿大学)
通过提出一种新的初始化方法:零非对称(ZAS)初始化,分析了深度线性残差网络的梯度下降算法的全局收敛性.它的动机是避免鞍点的稳定流形。我们证明了在ZAS初始化下,对于任意目标矩阵,梯度下降算法在$O(L^3 \log(1/\varepsilon))$迭代中收敛到$\varepsilon$ -最优点,该最优点与网络深度$L$成多项式关系.我们的结果和标准初始化(Xavier或近似恒等式)的$\exp(Ω(L))$收敛时间[Shamir,2018]一起证明了残差结构和初始化在深度线性神经网络优化中的重要性,特别是当$L$很大时。
2019-11-02 cs.LG stat.ML
Understanding and Detecting Convergence for Stochastic Gradient Descent with Momentum
Baidu Research(百度研究院)
迭代随机优化方法的收敛性检测具有重要的实际意义。研究了具有恒定学习率和动量的随机梯度下降算法。我们发现,存在一个瞬态阶段,迭代移动到一个区域的利益,和一个固定阶段,迭代保持有界的区域周围的最小点。我们构造了一个统计诊断测试收敛到平稳阶段使用连续梯度之间的内积,并证明所提出的诊断工作良好。我们从理论上和经验上描述了动量如何影响诊断的测试统计量,以及测试统计量如何在收敛的梯度内捕获相对稀疏的信号。最后,我们展示了一个应用程序,自动调整学习率,减少它每次检测到平稳性,并显示该程序是强大的错误指定的初始速率。
2020-08-27 cs.LG stat.ML
Taming Convergence for Asynchronous Stochastic Gradient Descent with Unbounded Delay in Non-Convex Learning
Iowa State University(爱荷华州立大学)
异步随机梯度下降方法(Async-SGD)是机器学习的基础性方法,其收敛性能的研究近年来受到越来越多的关注。然而,到目前为止,大多数现有的工作都局限于要么有界梯度延迟或凸设置。在本文中,我们专注于Async-SGD和它的变体Async-SGDI(它使用增加批量大小)的非凸优化问题的无界梯度延迟。我们证明了$o(1/\sqrt{k})$收敛速度的Async-SGD和$o(1/k)$的Async-SGDI。此外,建立了Async-SGD收敛的一个统一的充分条件,其中包括文献中的两个主要的梯度延迟模型作为特殊情况,并产生一个新的延迟模型迄今没有考虑。
2020-09-01 cs.DC cs.LG stat.ML
Local Convergence of Adaptive Gradient Descent Optimizers
OTH Regensburg(雷根斯堡应用技术大学)
自适应矩估计(ADAM)是一种非常流行的深度神经网络训练算法,属于自适应梯度下降优化器家族。然而,据作者所知,没有完整的收敛分析存在的ADAM。本文的贡献是对确定性固定训练集的批处理模式下的局部收敛性分析方法,给出了ADAM算法超参数的必要条件。由于参数的局部性质,目标函数可以是非凸的,但必须至少是两次连续可微的。然后,我们将这个过程应用到其他自适应梯度下降算法,并显示他们中的大多数超参数界的局部收敛。
2021-02-19 cs.LG cs.NA math.NA
Exponential convergence of testing error for stochastic gradient methods
INRIA(法国国家信息与自动化研究所);Département d’Informatique de l’ENS(巴黎高等师范学院计算机系);Ecole Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本文考虑了具有正定核和平方损失的二元分类问题,研究了随机梯度方法的收敛速度。我们表明,虽然过量的测试损失(平方损失)慢慢收敛到零的观察(从而迭代)的数量趋于无穷大,测试误差(分类误差)收敛指数快速,如果假设低噪声条件。
2018-11-20 cs.LG stat.ML
On the Convergence of Gradient Descent Training for Two-layer ReLU-networks in the Mean Field Regime
Princeton University(普林斯顿大学)
我们描述了一个充要条件的收敛到最小贝叶斯风险时,训练两层ReLU-网络的梯度下降在平均场制度与全向初始参数分布。本文将Chizat和Bach最近的结果扩展到ReLU激活的网络以及没有参数可以精确实现MBR的情况。该条件不依赖于参数的初始化,只涉及神经网络实现的弱收敛性,而不涉及其参数分布。
2020-05-27 cs.LG math.AP stat.ML
Convergence rates for the stochastic gradient descent method for non-convex objective functions
University of Oxford(牛津大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学与自然科学研究所);Universität Bielefeld(比勒费尔德大学);ETH Zurich(苏黎世联邦理工学院)
在目标函数不一定是全局凸的或收缩的目标函数的情况下,证明了随机梯度下降法的局部收敛性,并对收敛速率进行了估计.特别是,结果适用于机器学习中出现的简单目标函数。
2019-07-26 cs.LG cs.NA math.NA
Convergence Analysis of Gradient EM for Multi-component Gaussian Mixture
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了高斯混合模型的梯度期望最大化算法\cite{lange1995gradient}在一般聚类数和混合系数下的收敛性。我们推导出的收敛速度依赖于混合系数,最小和最大成对的距离之间的真实中心和维数和组件的数量,并获得一个接近最优的局部收缩半径。虽然最近已经有一些值得注意的作品,得出EM在两个相等的混合对称GMM的局部收敛率,在更一般的情况下,推导需要结构上不同的和非平凡的参数。我们使用最近的学习理论和经验过程的工具,以实现我们的理论结果。
2017-12-04 cs.LG math.ST stat.TH
Dimension-free convergence rates for gradient Langevin dynamics in RKHS
CREST, ENSAE, IP Paris(巴黎理工学院国立统计与经济管理学院经济与统计研究中心);The University of Tokyo(东京大学);INRIA, Université Paris-Saclay(巴黎萨克雷大学法国国家信息与自动化研究所);Riken AIP(理化学研究所先进智能项目中心)
梯度朗之万动力学(GLD)和随机GLD(SGLD)最近引起了相当大的关注,作为一种在非凸设置中提供收敛保证的方式。然而,已知的速率随着空间的维度呈指数增长。在这项工作中,我们提供了一个收敛性分析GLD和SGLD的优化空间是一个无限维的希尔伯特空间。更准确地说,我们推导出非渐近的,无量纲的收敛速度GLD/SGLD进行正则化的非凸优化在再生核希尔伯特空间。其中,收敛性分析依赖于一个随机微分方程,其离散时间Galerkin近似和相关的马尔可夫链的几何遍历性的属性。
2020-03-26 cs.LG math.PR stat.ML
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提供了一个新的收敛性分析随机梯度Langevin动力学(SGLD)的抽样从一类分布,可以是非对数凹的。在我们的方法的核心是一个新的电导分析SGLD使用辅助时间可逆马尔可夫链。在一定条件下的目标分布,我们证明了$\tilde O(d^4ε^{-2})$随机梯度评价足以保证$ε$ -抽样误差的总变异距离,其中$d$是问题的尺寸。这改进了SGLD收敛速度的现有结果(Raginsky等人,2017年; Xu等人,2018年)。我们进一步表明,提供了一个额外的Hessian Lipschitz条件的对数密度函数,SGLD保证实现$ε$ -采样误差内$\tilde O(d^{15/4}ε^{-3/2})$随机梯度评价。我们的证明技术提供了一种新的方法来研究基于Langevin算法的收敛性,并揭示了一些基于随机梯度的快速采样算法的设计。
2021-02-23 cs.LG math.ST stat.ML
Global Convergence Using Policy Gradient Methods for Model-free Markovian Jump Linear Quadratic Control
IIT-Bombay(印度理工学院孟买分校)
由于强化学习在过去几年中的兴趣增长,基于梯度的策略控制方法也在控制问题中越来越受欢迎。这是正确的,因为梯度策略方法具有以端到端的方式优化感兴趣的度量的优势,并且在不完全了解底层系统的情况下相对容易实现。本文研究离散无模型马尔可夫跳变线性系统二次控制的基于梯度的策略优化方法的全局收敛性。我们克服了无数的挑战,因为一个以上的国家加上缺乏知识的系统动力学和显示全局收敛的政策,使用梯度下降和自然的策略梯度方法。我们还提供模拟研究来证实我们的说法。
2021-11-30 cs.LG math.OC
Reusing Historical Trajectories in Natural Policy Gradient via Importance Sampling: Convergence and Convergence Rate
Georgia Institute of Technology(佐治亚理工学院)
本文研究通过重要性采样重用历史轨迹的自然策略梯度方法变体,证明其梯度估计器偏差渐近可忽略、算法收敛且能提高收敛速率,并在经典基准上验证了理论结果。
2025-03-05 cs.LG math.OC
Elementary Analysis of Policy Gradient Methods
School of Data Science, Fudan University(复旦大学数据科学学院)
该研究针对折扣MDP场景,采用新的基础分析技术,系统推导了投影策略梯度、softmax策略梯度等六类强化学习策略优化方法的收敛特性,完善了相关理论认知。
2024-04-11 cs.LG math.OC
New insights in smoothness and strong convexity with improved convergence of gradient descent
研究梯度型方法的收敛性和复杂性的起始假设可能是光滑性(也称为梯度的Lipschitz连续性)和强凸性。在这篇文章中,我们重新审视这两个基本属性,从一个新的角度,激发他们的定义和等价刻画,以及改进的线性收敛的梯度下降法。
2021-10-29 math.OC
On Linear Convergence of Policy Gradient Methods for Finite MDPs
Columbia University(哥伦比亚大学);Simons Institute, UC Berkeley(加州大学伯克利分校西蒙斯研究所)
我们在最简单的设置之一中重新审视了策略梯度方法的有限时间分析:有限状态和动作MDP,其策略类由所有随机策略组成,并具有精确的梯度评估。最近有一些工作将此设置视为平滑非线性优化问题的实例,并显示出具有小步长的次线性收敛率。在这里,我们采取了不同的角度与政策迭代的连接的基础上,并表明,许多变种的策略梯度方法成功地与大的步长,并达到线性收敛速度。
2021-12-13 cs.LG math.OC stat.ML