A geometric alternative to Nesterov's accelerated gradient descent
Microsoft Research(微软研究院);MIT(麻省理工学院)
本文提出了一种新的无约束优化方法,针对光滑强凸函数,达到Nesterov加速梯度下降的最优收敛速率,其几何解释灵感源自椭球法。
2015-06-26 cs.DS cs.LG cs.NA
Accelerated Proximal Envelopes: Application to the Coordinate Descent Method
这篇文章致力于一个特殊的情况下,使用通用加速邻近包络,以获得计算效率的加速版本的方法,用于解决各种最优化问题设置。在本文中,我们提出了一个近似加速坐标下降法,实现了有效的迭代算法的复杂性,并允许一个利用问题的稀疏性。应用所提出的方法来优化SoftMax类函数的一个例子考虑,其中所描述的方法允许削弱依赖的计算复杂性的问题$n$的尺寸在$\mathcal{O}(\sqrt{n})$倍,并在实践中证明了一个更快的收敛速度与标准方法相比。
2021-01-12 math.OC
Adaptive Accelerated Gradient Descent Methods for Convex Optimization
University of California, Irvine(加州大学尔湾分校)
本文提出A$^2$GD方法,通过自适应步长和动量加速,在凸优化中实现更高效的梯度下降算法。
2026-02-08 math.OC
Accelerated Distributed Projected Gradient Descent for Convex Optimization with Clique-wise Coupled Constraints
研究了由团模型的多个群体组成的多智能体系统中一类带耦合约束的分布式凸优化问题。首先,我们提出了一个完全分布式的基于梯度的算法与一个新的运营商的启发凸投影,称为基于投影。接下来,我们仔细检查收敛性能的递减和固定的步长。对于递减问题,在目标函数光滑和约束集紧的假设下,证明了算法收敛到最优解。另外,当目标函数是强单调的时,在不作紧性假设的情况下,证明了严格收敛于唯一解。对于固定步长,在目标函数光滑的假设下,证明了目标残差的非遍历收敛速度为O(1/k).此外,我们将Nesterov的加速方法应用于所提出的算法,并建立了O(1/k^2)的收敛速度。数值实验表明了该方法的有效性。
2022-11-18 cs.SY eess.SY math.OC
Accelerated and nonaccelerated stochastic gradient descent with inexact model
在本文中,我们提出了一种新的方法来获得光滑随机(强)凸优化任务的最佳收敛速度。我们的方法是基于梯度具有非随机噪声的优化任务的结果。与以前已知的结果相反,我们将我们的想法扩展到不精确的模型概念。
2020-04-15 math.OC
Accelerated iterative regularization via dual diagonal descent
提出加速迭代双重对角下降算法求解线性逆问题,分析惯性方法的收敛性与稳定性,并利用非精确近端演算证明早停最优收敛速率。
2019-12-27 math.OC
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Nevada(内华达大学)
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降,它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是,它的学习率配备了乘法随机性,产生一个随机学习率计划。理论结果表明,加速几乎必然收敛率的随机梯度下降在一个非凸设置时,使用适当的随机学习率相比,确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Adaptive Accelerated Mirror Descent in Primal and Dual Spaces
University of California, Irvine(加州大学尔湾分校)
提出自适应加速镜像下降(AAMD)方法,结合非线性预处理、加速和镜像几何自适应,通过累积Lyapunov扰动预算实现稳定加速,证明了对偶相对光滑/凸性下的加速收敛和凸目标的O(1/k^2)速率。
2026-06-01 math.OC
Accelerated gradient descent method for functionals of probability measures by new convexity and smoothness based on transport maps
本文针对欧几里得空间上概率测度泛函最小化问题,基于传输映射引入新凸性与光滑性,提出不依赖Wasserstein几何的确定性加速梯度下降算法,并证明其收敛快于普通梯度下降,数值实验验证了理论。
2023-09-03 cs.NA math.NA math.OC
On the Computational Efficiency of Catalyst Accelerated Coordinate Descent
这篇文章致力于一个特殊的情况下,使用通用加速邻近包络,以获得计算效率的加速版本的方法,用于解决各种最优化问题设置。我们提出了一个近似加速坐标下降法,实现了有效的算法复杂度的迭代,并允许利用数据稀疏。它被认为是一个例子,应用所提出的方法来优化SoftMax类函数,其中所描述的方法允许削弱依赖的计算复杂性的尺寸$n$在$\mathcal{O}(\sqrt{n})$倍,并在实践中,证明了更快的收敛与标准方法相比。作为应用所提出的方法的一个例子,它示出了一种变体,在其基础上获得一些有效的方法,用于优化马尔可夫决策过程(MDP)的极小极大制定与Nesterov平滑的目标功能。
2021-03-11 math.OC
Robust Data-Driven Accelerated Mirror Descent
针对学习优化中数据驱动镜像下降的收敛与稳定性问题,提出引入动量的加速镜像下降方法,兼顾短时加速收敛与长时稳定,并在去噪和反卷积实验中验证多参数鲁棒性。
2023-06-02 math.OC
Accelerating Greedy Coordinate Descent Methods
我们研究如何在理论和实践中加速贪婪坐标下降,其中“加速”是指$O(1/k^2)$收敛在理论上,在实践中,或两者兼而有之。本文介绍并研究了两种算法:加速半贪婪坐标下降算法(ASCD)和加速贪婪坐标下降算法(AGCD)。虽然ASCD在$x$更新中采取贪婪步骤,在$z$更新中采取随机步骤,但AGCD是标准贪婪坐标下降的直接扩展,仅采取贪婪步骤。在理论方面,我们的主要结果是ASCD:我们表明,ASCD实现$O(1/k^2)$收敛,它也实现了加速线性收敛强凸函数。在经验方面,我们观察到AGCD和ASCD在各种情况下都优于加速随机坐标下降。特别是,我们注意到,AGCD显着优于其他加速坐标下降法在数值测试中,尽管缺乏理论保证这种方法。为了补充AGCD的实证研究,我们提出了一个李雅普诺夫能量函数的论点,指出为什么直接扩展的加速AGCD证明不工作的解释,我们还介绍了一个技术条件下,AGCD保证有加速收敛。最后,我们证实了这一技术条件在我们的实证研究中成立。
2018-06-07 math.OC
Accelerated First-Order Methods: Differential Equations and Lyapunov Functions
我们从微分方程和李雅普诺夫函数的观点发展了一个加速一阶优化理论。在前人工作的基础上,我们考虑了微分方程模型的加速梯度下降的行为。我们的主要贡献是提供了一个一般的框架离散的微分方程产生加速的方法,并提供物理直观,这有助于解释最佳阻尼率。一个重要的新颖性是我们的方法的一般性,这导致了各种各样的方法,包括版本的Nesterov的加速梯度下降,FISTA,加速坐标下降的统一推导。
2021-04-01 math.OC
Hamiltonian Descent Algorithms for Optimization: Accelerated Rates via Randomized Integration Time
本文提出随机化积分时间的哈密顿下降算法RHGD,证明其在光滑强凸和弱凸优化中达到与Nesterov加速梯度下降相同的加速收敛速率,并在实验中展现竞争力。
2025-09-17 cs.LG math.OC stat.ML
Nesterov's method with decreasing learning rate leads to accelerated stochastic gradient descent
我们提出了一个耦合系统的常微分方程,当离散化一个恒定的时间步长/学习率,恢复Nesterov的加速梯度下降算法。相同的常微分方程,当离散化的学习率下降,导致新的随机梯度下降(SGD)算法,一个在凸和第二个在强凸的情况下。在强凸的情况下,我们得到了一个算法表面上类似于动量SGD,但额外的条款。在凸的情况下,我们得到了一个新的顺序$k^{3/4}$学习率的算法。我们证明,扩展的李雅普诺夫函数的方法从全梯度的情况下,随机的情况下,该算法收敛于最佳速率的最后一个100 SGD,速率常数比以前更好。
2020-09-01 math.OC
Restarting the accelerated coordinate descent method with a rough strong convexity estimate
我们提出了新的重新启动策略的加速坐标下降法。我们的主要贡献是表明,对于一个很好的选择序列的重新启动的时间,重新启动的方法有一个接近几何的收敛速率。该方法的一个主要特点是可以利用目标函数的局部二次误差界,而不需要知道误差界的实际值。我们还表明,在更严格的假设下,目标函数是强凸的,任何固定的重新启动期间导致几何收敛速率。最后,我们说明了正则化的逻辑斯谛回归问题和Lasso问题的算法的性能。
2018-09-07 math.OC
A2BCD: An Asynchronous Accelerated Block Coordinate Descent Algorithm With Optimal Complexity
在本文中,我们提出了异步加速非均匀随机块坐标下降算法(A2BCD),第一个异步Nesterov加速算法,达到最佳的复杂性。这种并行算法解决了无约束凸最小化问题,使用p个计算节点计算更新共享的解决方案向量,在一个异步的方式,没有中央协调。异步算法中的节点在开始新的迭代之前不等待来自其他节点的更新,而是简单地使用可用的最新解决方案信息来计算更新。这使得它们能够比传统算法更快地完成迭代,特别是在规模上,通过消除传统算法的昂贵同步代价。我们首先证明,A2BCD线性收敛到一个快速的加速率,最近提出的NU_ACDM相匹配的解决方案,只要最大延迟不是太大。有些令人惊讶的是,A2BCD并没有因为使用过时的信息而付出复杂性代价。然后,我们证明了随机坐标下降法,这表明A2 BCD(因此NU_ACDM)具有最佳的复杂性在一个常数因子内的较低的复杂性界限。通过数值实验证实,A2 BCD算法在小尺度下的性能优于NU_ACDM算法,后者是目前最快的坐标下降算法。我们还推导和分析了一个二阶常微分方程,这是我们的算法的连续时间限制,并证明了它的线性收敛到一个类似的加速率的解决方案。
2018-05-20 math.OC
Even Faster Accelerated Coordinate Descent Using Non-Uniform Sampling
Princeton University(普林斯顿大学);University of Hong Kong(香港大学);University of Edinburgh(爱丁堡大学);Cornell University(康奈尔大学)
本文通过非均匀采样将加速坐标下降法的运行时间提升至$\sqrt{n}$,方法基于坐标光滑性参数的平方根比例采样,适用于经验风险最小化和线性系统求解。
2016-05-27 cs.DS cs.NA math.NA
About accelerated randomized methods
我们展示了如何获得非加速随机坐标下降法(Yu. Nesterov,2010)和和型泛函随机化的非加速方法(Le Roux-Schmidt-Bach,2012),来自随机最优化问题的最优方法(SIGMA,Devolder-Glineur-Nesterov-Dvurechensky-Gasnikov,2014)。主要的技巧是一种特殊的重新启动技术。我们认为这个技巧在其他情况下是有用的。我们只考虑强凸的情况。我们表明,这种方法的加速变种似乎是在这种情况下,是不平凡的。也就是说,很难(也许不可能)使用相同的技巧获得加速变体。我们还提出了新的加速坐标下降法的方法。这种方法基于耦合技术(Allen-Zhu-Orrechia,2015),并且允许我们:将加速坐标下降法推广到条件最优化问题,由于原始-对偶性质而获得对偶解,扩展通用方法(Yu. Nesterov,2013)到加速坐标下降法等。
2018-05-26 math.OC
Analytical Convergence Regions of Accelerated Gradient Descent in Nonconvex Optimization under Regularity Condition
利用鲁棒控制理论来分析和设计优化和机器学习算法的兴趣越来越大。研究了一类费用函数满足正则性条件的非凸最优化问题。经验研究表明,加速梯度下降(AGD)算法(例如Nesterov的加速和Heavy-ball)与适当的初始化通常在实践中工作得很好。然而,这种AGD算法的收敛性在文献中很大程度上是未知的。本文的主要贡献是通过鲁棒控制工具分析了RC下AGD的收敛区域。由于这种最优化问题经常出现在许多应用中,如相位恢复,神经网络的训练和矩阵传感器,我们的结果表明,在这些领域的鲁棒控制理论的承诺。
2019-12-09 math.OC
Algorithmic Instabilities of Accelerated Gradient Descent
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
研究了Nesterov加速梯度法的算法稳定性。对于凸二次目标,Chen et al.(2018)证明了该方法的一致稳定性随着优化步骤的数量呈二次增长,并证明了对于一般的凸和光滑情况也是如此。我们反驳这一猜想,并显示,两个概念的算法稳定性(包括一致稳定性),Nesterov的加速方法的稳定性,实际上恶化指数快速梯度步骤的数量。这与二次情况下的边界形成鲜明对比,也与非加速梯度方法的已知结果形成鲜明对比,其中稳定性通常随步骤数线性增长。
2021-06-19 cs.LG math.OC stat.ML
A Nesterov-style Accelerated Gradient Descent Algorithm for the Symmetric Eigenvalue Problem
本文提出一种在 Grassmann 流形上的 Nesterov 风格加速梯度下降算法,用于计算对称半正定矩阵的前导特征向量子空间,在谱间隙极小时显著降低了迭代复杂度。
2024-06-26 math.OC
Accelerated Backpressure Algorithm
我们开发了一个加速背压(ABP)算法使用加速双下降(ADD),一个分布式近似牛顿式算法,只使用本地信息。我们的建设是基于写的背压算法作为解决网络的可行性问题,通过随机对偶次梯度下降。我们应用随机ADD代替随机梯度下降算法。我们证明了ABP算法保证稳定的队列。我们的数值实验表明,收敛速度显着改善,特别是当数据包到达统计随时间变化。
2013-02-06 math.OC
An Analysis of Asynchronous Stochastic Accelerated Coordinate Descent
梯度下降,特别是坐标下降,是机器学习和其他领域的核心工具。大的问题实例是常见的。为了帮助解决这些问题,已知两种正交方法:加速和并行。在这项工作中,我们问他们是否可以同时使用。答案是肯定的。更具体地说,我们考虑一个异步并行版本的加速坐标下降算法提出和分析的林,刘和肖(SIOPT'15)。我们给出了一个分析的基础上,该算法的有效实现。唯一的约束是一个标准的有界模糊假设,即每次更新最多可以与q个其他更新重叠。(q最多是处理器的数量乘以最长和最短更新的长度的比率。)我们得到以下三个结果:1.强凸函数的线性加速,只要q不太大。2.一个实质性的,虽然次线性,加速强凸函数较大的q。3.对凸函数的一个实质性的,尽管是次线性的加速。
2018-08-15 cs.DC math.OC
Mesh Independence of an Accelerated Block Coordinate Descent Method for Sparse Optimal Control Problems
利用希尔伯特空间中的加速块坐标下降法(ABCD)的对偶,分析了求解稀疏最优控制问题的ABCD方法。研究了该方法的有限元逼近,并给出了收敛性结果。基于对偶目标函数的二阶增长条件,证明了对偶变量的迭代序列具有$O(1/k)$的迭代复杂性。此外,我们还证明了原问题的迭代复杂性。证明了ABCD方法的两类网格无关性,证明了无限维ABCD方法与有限维离散方法具有相同的收敛性,且ABCD方法的迭代次数随着离散的细化而几乎保持不变.
2020-01-03 math.OC
Accelerated Extra-Gradient Descent: A Novel Accelerated First-Order Method
Boston University(波士顿大学)
本文提出一种新颖的加速一阶方法,实现光滑函数在第一阶oracle模型中的渐近最优收敛率。该方法不同于Nesterov的AGD,采用预测-校正方法,具有更稳健的噪声鲁棒性。
2018-02-10 cs.DS cs.NA math.NA
On Accelerated Methods in Optimization
在凸优化中,存在{ \em加速}现象,其中我们可以提高某些基于梯度的算法的收敛速度。我们可以在Nesterov的加速梯度下降法、加速镜像下降法和加速正则化牛顿法等方法中观察到这种现象。在本文中,我们表明,家庭的高阶梯度法在离散时间(广义梯度下降)对应于家庭的一阶重标度梯度流在连续时间。另一方面,{ \em加速}高阶梯度法(广义加速镜像下降法)族对应于连续时间中的二阶微分方程族,每个微分方程族都是拉格朗日泛函族的欧拉-拉格朗日方程。我们还研究了Nesterov拉格朗日量的指数变量,它对应于Nesterov的重新启动计划的推广,并实现了离散时间的线性收敛速率。最后,我们证明了拉格朗日族在时间膨胀(加速时间作用下的轨道)下是封闭的,这表明了拉格朗日加速观在优化中的普遍性。
2015-09-11 math.OC
On accelerated coordinate descent methods for searching equilibria in two-stage transportation equilibrium traffic flow distribution model
针对两阶段交通流模型平衡搜索对应的非光滑凸优化问题,提出带特殊块概率选取的加速块坐标Nesterov-Stich方法,其理论复杂度更优且开展了数值实验。
2023-07-19 math.OC
ABrA-GD: Adaptive Bregman Accelerated Gradient Descent for Relatively Smooth and (Strongly-)Convex Optimization
Samsung SAIL Montreal(三星SAIL蒙特利尔)
本文提出ABrA-GD算法,利用可计算的原始-对偶证书自适应相对光滑凸优化,仅需相对强凸常数,实现对凸目标加速$O(1/k^2)$收敛,对强凸目标线性收敛。
2026-10-01 cs.NA math.NA math.OC
Accelerated Randomized Mirror Descent Algorithms For Composite Non-strongly Convex Optimization
本文考虑最小化一个由大量光滑凸分支组成的平均函数与一个一般的、可能不可微的凸函数之和的问题。虽然已经提出了许多方法来解决这个问题的假设和是强凸的,很少有方法支持的非强凸的情况。增加一个小的二次正则化是解决非强凸问题的常用方法,但它可能会导致解的稀疏性损失或削弱算法的性能。为了避免这一设计,我们提出了一种加速的随机镜像下降法来解决这个问题,没有强凸的假设。我们的方法扩展了Paul Tseng的确定性加速近端梯度法,即使在近端点计算不精确的情况下也可以应用。我们还提出了一个解决方案时,该问题的分量函数是非光滑的。
2018-12-31 math.OC stat.ML
Accelerated Gradient Descent by Concatenation of Stepsize Schedules
School of Data Science, Fudan University(复旦大学数据科学学院);School of Data Science, Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University(复旦大学数据科学学院,上海市当代应用数学重点实验室)
本文提出了一种通过拼接步长调度来加速梯度下降的方法,实现了更高效的收敛率和更优的常数性能。
2026-02-14 math.OC
Accelerated Stochastic Greedy Coordinate Descent by Soft Thresholding Projection onto Simplex
本文研究了求解$\ell_1$ -正则化问题的贪婪坐标下降(Greedy Coordinate Descent,GCD)算法,并利用Nesterov加速策略和随机最优化策略对GCD算法进行了改进。首先提出了一种新的基于$\ell_1$ -范数平方逼近的贪婪选择规则,该规则是凸的,但非平凡的,然后提出了一种有效的算法SOTOPO(SoftThresholdingPrOjection)来精确求解由新规则导出的$\ell_1$ -正则化的$\ell_1$ -范数平方逼近问题.在此基础上,将Nesterov加速策略和随机最优化策略成功地应用于GCD算法。该算法称为加速随机贪婪坐标下降算法(ASGCD),具有最优的收敛速度$O(\sqrt{1/ε})$,同时将贪婪选择的迭代复杂度降低到样本量的1倍.无论是理论上还是经验上,我们都表明ASGCD对于高维稠密稀疏解问题具有更好的性能。
2017-06-24 math.OC
Accelerated gradient descent: A guaranteed bound for a heuristic restart strategy
本文证明O'Donoghue和Candès的梯度重启策略在一维函数上保持并改进加速梯度下降的$O(1/k^2)$收敛界,并推广到可分离函数。
2023-10-11 math.OC
Mixing of Stochastic Accelerated Gradient Descent
ETH Zurich(苏黎世联邦理工学院)
研究了随机加速梯度下降(SAGD)模型在最小二乘回归下的混合性质。首先,我们证明了随机梯度下降(SGD)和SAGD模拟相同的不变分布。受此启发,我们然后建立混合率SAGD迭代,并将其与SGD迭代进行比较。理论上,我们证明了链的SAGD迭代是几何遍历-使用适当的参数选择和输入分布的正则性假设。更具体地说,我们得到一个明确的混合率取决于前4个时刻的数据分布。通过实例证明了SAGD-BLM链的混合速度比SGD迭代链的混合速度快。此外,我们强调应用建立的混合率在SAGD的收敛性分析可实现的目标。所提出的分析是基于一种新的随机矩阵的产品的非渐近分析。这一理论结果得到了实验的证实和验证。
2019-10-31 cs.LG math.OC
High Probability Convergence for Accelerated Stochastic Mirror Descent
Boston University(波士顿大学);Northeastern University(东北大学)
在这项工作中,我们描述了一个通用的方法来显示收敛的高概率随机凸优化。在以往的工作中,要么收敛只是在预期或边界依赖于区域的直径。相反,我们表现出高概率收敛的界限取决于初始距离的最优解,而不是域直径。该算法使用类似于标准设置的步长,并且对于Lipschitz函数、光滑函数及其线性组合是通用的。
2022-10-03 cs.DS cs.LG math.OC
Accelerated Coordinate Descent with Arbitrary Sampling and Best Rates for Minibatches
加速坐标下降算法是一种广泛流行的优化算法,由于其对高维问题的效率。它在一类重要的经验风险最小化问题上实现了最先进的复杂性。在本文中,我们设计和分析的加速坐标下降(ACD)方法,在每次迭代更新的随机子集的坐标根据任意但固定的概率法,这是一个参数的方法。如果在每次迭代中更新所有坐标,我们的方法减少到Nesterov的经典加速梯度下降法AGD。如果在每次迭代中更新单个坐标,并且我们选择与坐标方面的Lipschitz常数的平方根成比例的概率,则我们的方法简化为Allen-Zhu,Qu,Richtárik和Yuan的当前最快的坐标下降法NUACDM。虽然ACD的小批量变体在实践中更受欢迎和相关,但ACD的重要性抽样没有优于标准均匀小批量抽样的。通过我们的一般分析,我们设计了新的重要性抽样的小批量ACD显着优于以前的国家的最先进的小批量ACD在实践中。我们证明了一个速率,最多是${\cal O}(\sqrtτ)$倍,比均匀采样的minibatch ACD速率差,但可以是${\cal O}(n/τ)$倍,其中$τ$是minibatch大小。由于在现代监督学习训练系统中,选择$τ\ll n$是标准做法,而且通常是$τ={\cal O}(1)$,因此我们的方法可以导致显著的加速。最后,我们也得到了类似的结果,minibatch nonaccelerated CD,实现了以前的最佳速率的改进。
2018-09-27 math.OC
Online Optimization of Switched LTI Systems Using Continuous-Time and Hybrid Accelerated Gradient Flows
本文研究了控制线性时不变切换动力系统的反馈控制器设计问题,使系统趋向于时变凸优化问题的解轨道。我们提出了两种类型的控制器:(i)一个连续的控制器的启发,在线梯度下降法,和(ii)一个混合控制器,可以被解释为一个在线版本的Nesterov的加速梯度法与重新启动的状态变量。通过设计,控制器连续地将系统转向时变优化器,而不需要影响系统的外部干扰的知识。对于光滑的费用函数和满足Polyak-Jasojasiewicz不等式,证明了当系统和控制器的时间尺度充分分离且系统的切换信号平均变化缓慢时,在线梯度流控制器可保证一致全局指数稳定.对于强凸的费用函数,我们证明了混合加速控制器优于连续梯度下降法。当费用函数不是强凸时,我们证明了混合加速方法保证了全局实用渐近稳定性。
2022-02-19 cs.SY eess.SY math.OC
Linear Convergence of Accelerated Stochastic Gradient Descent for Nonconvex Nonsmooth Optimization
本文研究了求解非凸非光滑最优化问题的随机梯度下降(SGD)方法,提出了一种结合方差缩减技术和Nesterov外推技术的加速SGD方法。此外,基于局部误差界条件,我们建立了该方法的线性收敛性,以获得非凸优化的稳定点。特别地,我们证明了不仅生成的序列线性收敛到问题的一个稳定点,而且相应的目标值序列也线性收敛。最后,数值实验验证了该方法的有效性.据我们所知,它首先证明了加速SGD方法线性收敛到非凸优化的局部极小值。
2019-02-14 cs.LG math.OC stat.ML
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida(中佛罗里达大学)
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而,对于非凸和非光滑最优化问题,在保证一定性能的前提下,开发有效的方法仍然是一个挑战。近点坐标下降法(PCD)已被广泛应用于求解最优化问题,但对非凸环境下的PCD方法的认识非常有限。另一方面,异步最近坐标下降(APCD)最近受到了广泛的关注,以解决大规模的问题。然而,APCD算法的加速变体很少被研究。在本文中,我们扩展APCD方法的加速算法(AAPCD)的非光滑和非凸的问题,满足充分下降的性质,通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知,我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题,确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质,我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明,我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
Uncertainty Quantification for Gradient and Accelerated Gradient Descent Methods on Strongly Convex Functions
考虑了一类依赖于不确定参数$θ$的强凸函数的极小化问题。目标函数中的不确定性意味着最优值$x^*(θ)$也是$θ$的函数。我们提出了一个有效的方法来计算$x^*(θ)$和它的统计。我们使用混沌扩展的$x^*(θ)$沿截断的基础和研究一阶方法计算的最佳系数。我们将方法的收敛速度定义为基函数的个数,从而增加了最优化问题的维数。我们给出了梯度下降法和加速梯度下降法的第一非渐近速率。我们的分析利用凸性,并不依赖于一个递减步长的策略。因此,无论是在理论上还是在我们初步的数值实验中,它都比最先进的方法快得多。我们的分析的一个令人惊讶的副作用是,所提出的方法也作为一个方差减少技术的问题估计$x^*(θ)$。
2021-12-01 math.OC
Convergence Analysis of Accelerated Stochastic Gradient Descent under the Growth Condition
本文在增长条件下分析四类加速随机梯度方法,证明其相对SGD具有加速收敛性,并提出尾部平均方案使DAM+和iDAM+几乎达到理论下界。
2023-10-30 math.OC
Descent Properties of an Anderson Accelerated Gradient Method With Restarting
本文研究带重启的 Anderson 加速梯度方法的局部下降性质,证明其能比普通梯度法更快降低目标函数值,为 AA 在非凸优化中的收敛分析提供新视角。
2023-09-25 math.OC
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley(加州大学伯克利分校);Microsoft Research, India(微软印度研究院)
Nesterov的加速梯度下降(AGD),一般家庭的“动量方法”的一个例子,证明了实现更快的收敛速度比梯度下降(GD)在凸设置。然而,这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形,并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点,比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知,这是第一个Hessian-free算法找到一个二阶稳定点比GD更快,也是第一个单循环算法,甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想:(1)使用一个简单的哈密顿函数,灵感来自连续时间的角度,AGD单调递减每一步,即使是非凸函数,和(2)一个新的框架称为改善或本地化,这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University(密歇根州立大学)
众所周知,梯度下降(GD)中的有限步长($h$)隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球(H.B)动量加速梯度下降(GD+M)的隐式正则化中起作用吗?".为了回答这个问题,首先,我们证明了离散H.B动量更新(GD+M)遵循由修改的损失引起的连续轨迹,该修改的损失由原始损失和隐式正则化子组成。然后,我们证明了(GD+M)的隐正则化子比(GD)强$(\frac{1+β}{1-β})$倍,从而解释了为什么(GD+M)比(GD)具有更好的推广性能和更高的测试精度.此外,我们将我们的分析扩展到具有动量(SGD+M)的梯度下降的随机版本,并在逐点意义上描述(SGD+M)的更新的连续轨迹。我们通过一系列实验验证了我们的理论,探索了(SGD+M)和(GD+M)中的隐式正则化。
2023-02-02 cs.LG math.OC
Convergence Rates of Accelerated Markov Gradient Descent with Applications in Reinforcement Learning
受机器学习中广泛应用的启发,我们研究了流行的加速随机梯度下降(ASGD)算法来解决(可能是非凸的)最优化问题。我们的特点是这种方法的有限时间性能时,梯度采样马尔可夫过程,因此有偏和依赖于从时间步到时间步;相比之下,在现有的工作中的分析在很大程度上依赖于随机梯度是独立的,有时无偏的。我们的主要贡献表明,在某些(标准)的假设下,底层的马尔可夫链产生的梯度,ASGD收敛在几乎相同的速度与马尔可夫梯度样本与独立的梯度样本。唯一的区别是一个对数因子,它说明了马尔可夫链的混合时间。这项研究的主要动机之一是复杂的控制问题,可以通过马尔可夫决策过程建模,并使用强化学习来解决。我们将加速方法应用于OpenAI Gym和Mujoco中的几个具有挑战性的问题,并表明加速可以显着提高经典时间差学习和REINFORCE算法的性能。
2020-10-19 math.OC
Accelerated Gradient Descent via Long Steps
本文证明光滑凸优化中梯度下降可通过非周期递增的长步长获得 $O(1/T^{1.0564})$ 的加速收敛率,并将该理论扩展到强凸情形。
2023-09-27 math.OC
GLinSAT: The General Linear Satisfiability Neural Network Layer By Accelerated Gradient Descent
Alibaba DAMO Academy(阿里巴巴达摩院)
本文提出通用线性可满足性神经网络层GLinSAT,通过将输出投影转化为熵正则化线性规划并利用加速梯度下降求解,在多个约束优化任务上展现优势。
2024-11-11 cs.AI cs.SY eess.SY
Accelerated Objective Gap and Gradient Norm Convergence for Gradient Descent via Long Steps
本研究针对L-光滑凸优化问题,提出两种略异于silver步长的长步长梯度下降策略,分别实现目标间隙与平方梯度范数的$O(N^{-1.2716\dots})$收敛,改进了现有结果。
2024-04-12 math.OC
Accelerated Distributed Nesterov Gradient Descent
本文研究了网络上的分布式最优化问题,目标是仅利用局部计算和通信来优化由局部函数之和构成的全局函数。我们开发了一个加速分布式Nesterov梯度下降(Acc-DNGD)方法。当目标函数是凸的和$L$ -光滑的,我们证明了它达到了$O(\frac{1}{t^{1.4-ε}})$收敛速度的所有$ε\in(0,1.4)$。当目标函数是线性映射和强凸光滑函数的组合时,收敛速度可提高到$O(\frac{1}{t^2})$。当目标函数是$μ$ -强凸和$L$ -光滑时,我们证明了它达到$O([ 1 - C (\fracμ{L})^{5/7} ]^t)$的线性收敛速率,其中$\frac{L}μ$是目标的条件数,$C>0$是不依赖于$\frac{L}μ$的常数.
2019-07-04 math.OC
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University(上海大学);College of Sciences(理学院);Newtouch Center for Mathematics of Shanghai University(上海大学新接触数学中心)
针对随机非凸-凹极小极大问题,提出加速一阶正则化动量下降上升算法(FORMDA),其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$,实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
Computational Optimal Transport: Complexity by Accelerated Gradient Descent Is Better Than by Sinkhorn's Algorithm
我们分析了两个算法近似的一般最佳运输(OT)的两个离散分布的大小$n$之间的距离,准确$\varepsilon$。对于第一种算法,它是基于著名的Sinkhorn算法,我们证明了复杂性界$\widetilde{O}\left({n^2/\varepsilon^2}\right)$算术运算。第二种算法是基于我们提出的自适应原始-对偶加速梯度下降(APDAGD)算法,我们证明了$\widetilde{O}\left(\min\left\{n^{9/4}/\varepsilon, n^{2}/\varepsilon^2 \right\}\right)$算术运算的复杂度界。这两个界限都比$\widetilde{O}\left({n^2/\varepsilon^3}\right)$给出的最新结果更好地依赖于$\varepsilon$。我们的第二个算法不仅在复杂度上对$\varepsilon$有更好的依赖性,而且不特定于熵正则化,可以用不同的正则化器解决OT问题。
2018-06-07 cs.DS math.OC
Federated Accelerated Stochastic Gradient Descent
Stanford University(斯坦福大学)
我们提出了联邦加速随机梯度下降(FedAc),联邦平均(FedAvg,也称为本地SGD)的分布式优化的原则性加速。FedAc是FedAvg的第一个可证明的加速,它提高了各种凸函数的收敛速度和通信效率。例如,对于强凸和光滑函数,当使用$M$工作器时,如果给定$M$同步轮,则先前最先进的FedAvg分析可以在$M$中实现线性加速,而FedAc仅需要$M^{\frac{1}{3}}$轮。此外,我们证明了更强的保证FedAc时,目标是三阶顺利。我们的技术是基于一个潜在的基于扰动的稳定性分析,一种新的稳定性分析广义加速SGD,加速和稳定性之间的战略权衡。
2021-06-05 cs.DC cs.LG math.OC
Accelerated Mirror Descent for Non-Euclidean Star-convex Functions
针对非凸函数加速的挑战,本文对任意范数下弱光滑的无约束星凸函数,通过在镜像下降中加入二分查找步骤泛化方法并细化复杂度分析,证明其对α-Holder连续梯度星凸函数有精确收敛速率且对p-范数接近最优。
2025-02-11 math.OC
Accelerated, Parallel and Proximal Coordinate Descent
本文提出了一种新的随机坐标下降法,用于极小化仅依赖于少量坐标的凸函数之和。我们的方法(APPROX)同时加速,并行和PROXALITY,这是第一次提出这样的方法。在处理器的数量等于坐标的数量的特殊情况下,该方法以速率$2\barω\bar{L} R^2/(k+1)^2 $收敛,其中$k$是迭代计数器,$\barω$是损失函数的平均可分性程度,$\bar{L}$是与坐标和中的各个函数相关联的Lipschitz常数的平均值,并且$R$是初始点到最小值的距离。我们表明,该方法可以实现,而不需要执行全维向量运算,这是现有的加速坐标下降法的主要瓶颈。事实上,该方法依赖于平均程度的可分性,而不是最大程度的可分性,可以归因于使用新的安全的大步长,从而改善预期的可分离过逼近(ESO)。这些都是独立的利益,并可以利用在所有现有的并行随机坐标下降算法的概念的基础上ESO。
2014-03-01 cs.DC cs.NA math.NA