Multiscale analysis of accelerated gradient methods
加速梯度下降迭代在优化中有着广泛的应用。众所周知，在连续时间限制下，这些迭代收敛于我们称为加速梯度流的二阶微分方程。利用几何奇异扰动理论，证明了在一定条件下，加速梯度流具有吸引不变的慢流形，流的轨迹渐近收敛于该慢流形.我们得到一个一般的明确表达的形式的功能系列的扩展，近似慢流形的任何任意顺序的准确性。对于首阶，退化到这个慢流形的加速梯度流与通常的梯度下降相一致。我们说明了我们的研究结果的影响三个例子。
2020-06-15 cs.NA math.DS math.NA
First order optimization methods based on Hessian-driven Nesterov accelerated gradient flow
提出了一种新的动态惯性牛顿系统--Hessian-driven Nesterov加速梯度流（H-NAG）。通过裁剪的李雅普诺夫函数建立了连续轨迹的收敛性，并提出了新的一阶加速最优化方法。结果表明，对于凸和强凸目标，（半）隐格式总是能达到线性速率，而显格式具有最优（加速）速率。特别是，Nesterov的最佳方法是从我们的H-NAG流的显式方案中恢复的。此外，还提出了求解复合最优化问题的加速分裂算法。
2019-12-24 math.OC
Accelerated Convex Optimization with Stochastic Gradients: Generalizing the Strong-Growth Condition
本文给出了随机梯度不减慢Nesterov加速梯度法收敛速度的一个充分条件。新的条件具有Schmidt \& Roux的强增长条件作为特例，并且它还允许我们（i）对具有约束的问题进行建模，以及（ii）设计新类型的预言机（例如，有限和问题的预言，如SAGA）。我们的结果是通过重新访问Nesterov的加速算法，并在不改变基本的一阶方法的情况下，设计随机预言机是有用的。
2022-07-24 math.OC
Convex Synthesis of Accelerated Gradient Algorithms
针对具有Lipschitz连续梯度的强凸目标函数，给出了广义加速梯度算法设计的凸解。我们利用积分二次约束和尤拉参数化从鲁棒控制理论制定的算法设计问题的解决方案作为一个凸半定规划。我们建立了显式公式的最佳收敛速度和建议的综合解决方案，极值控制问题。
2021-05-16 cs.SY eess.SY math.OC
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology（佐治亚理工学院）
本文针对分布式随机最优化问题，提出了一种异步分布式加速随机梯度下降算法，并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$（分别，$\mathcal{O}(1/\sqrtε)$）通信复杂度和$\mathcal{O}(1/ε^2)$（分别，$\mathcal{O}(1/ε)$）用于求解一般凸的采样复杂度（分别，强凸）问题。
2018-09-24 cs.LG math.OC
A geometric alternative to Nesterov's accelerated gradient descent
Microsoft Research（微软研究院）；MIT（麻省理工学院）
本文提出了一种新的无约束优化方法，针对光滑强凸函数，达到Nesterov加速梯度下降的最优收敛速率，其几何解释灵感源自椭球法。
2015-06-26 cs.DS cs.LG cs.NA
Accelerated and nonaccelerated stochastic gradient descent with model conception
在本文中，我们描述了一种新的方法来获得光滑（强）凸优化任务的最优方法的收敛速度。我们的方法是基于梯度具有非随机小噪声的任务的结果。与以前的结果不同，我们得到了收敛速度与模型的概念。
2020-07-13 math.OC
Unifying restart accelerated gradient and proximal bundle methods
本文提出一种重启版 Nesterov 加速梯度法并证明其最优复杂度，同时将该方法与近似束方法统一纳入加速不精确近似点框架。
2025-01-07 math.OC
The Log-Exponential Smoothing Technique and Nesterov's Accelerated Gradient Method for Generalized Sylvester Problems
西尔维斯特最小的封闭圆问题涉及到寻找最小的圆，封闭在平面上的有限数量的点。我们考虑广义版本的西尔维斯特问题，其中的点被取代的集合。基于对数指数平滑技术和Nesterov的加速梯度法，我们给出了一个有效的数值算法来求解这些问题。
2015-03-17 math.OC
Boosting Accelerated Proximal Gradient Method with Adaptive Sampling for Stochastic Composite Optimization
本文提出带自适应采样的 adaNAPG 算法以增强随机复合优化中的 NAPG，并证明其达到最优迭代与样本复杂度，且迭代序列满足中心极限定理。
2025-07-24 math.OC
An extra gradient Anderson-accelerated algorithm for pseudomonotone variational inequalities
Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong Polytechnic University（香港理工大学）
提出一种结合线搜索额外梯度与Anderson加速的算法，在无Lipschitz连续性和压缩性假设下保证全局收敛并加速收敛，数值实验验证其有效性。
2026-05-26 math.OC
Behavior of Accelerated Gradient Methods Near Critical Points of Nonconvex Functions
我们研究了加速梯度法在光滑非凸无约束优化中的行为，特别关注它们在严格鞍点附近的行为。加速方法是迭代法，其通常沿着作为前一步和在当前步长处或附近的点处评估的函数的梯度的线性组合的方向步进。(The前一步骤对来自迭代过程中的较早阶段的梯度信息进行编码。我们表明，通过稳定的流形定理，重球方法是不可能收敛到严格的鞍点，这是点的目标的梯度为零，但Hessian至少有一个负特征值。然后，我们研究了重球法和其他加速梯度法在非凸二次函数的严格鞍点附近的行为，表明这两种方法可以从这一点比最速下降法更快地发散。
2018-10-08 math.OC
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化，提出一种保证变量可行性的光滑加速投影梯度方法，通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率，并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
Accelerated gradient methods with absolute and relative noise in the gradient
本文研究光滑凸优化问题在目标梯度信息不精确情况下的加速一阶方法。梯度中的噪声被认为是具有两种可能性的加性：由常数限制的绝对噪声，以及与梯度的范数成比例的相对噪声。我们研究了凸和强凸条件下的误差积累，与以往大多数工作的主要区别是可行集可以是无界的。后者的关键是证明算法轨迹上的一个界。我们也给出了一个停止准则的算法，并考虑扩展到随机最优化和复合非光滑问题的情况。
2023-01-07 math.OC
Accelerated Gradient Flow: Risk, Stability, and Implicit Regularization
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
加速和动量是机器学习和优化的现代应用中事实上的标准，但隐式正则化的大部分工作都集中在非加速方法上。在本文中，我们研究了Nesterov的加速梯度法和Polyak的重球法产生的迭代的统计风险，当应用于最小二乘回归时，绘制了几个连接到显式惩罚。我们在连续时间中进行分析，使我们能够做出比以前的工作更清晰的陈述，并揭示早期停止，稳定性和损失函数曲率之间的复杂相互作用。
2022-01-20 cs.LG math.OC stat.ML
Adaptive Accelerated Gradient Descent Methods for Convex Optimization
University of California, Irvine（加州大学尔湾分校）
本文提出A$^2$GD方法，通过自适应步长和动量加速，在凸优化中实现更高效的梯度下降算法。
2026-02-08 math.OC
Accelerated gradient descent method for functionals of probability measures by new convexity and smoothness based on transport maps
本文针对欧几里得空间上概率测度泛函最小化问题，基于传输映射引入新凸性与光滑性，提出不依赖Wasserstein几何的确定性加速梯度下降算法，并证明其收敛快于普通梯度下降，数值实验验证了理论。
2023-09-03 cs.NA math.NA math.OC
UGM: A Unified Framework and New Perspectives for Accelerated Gradient Methods in Smooth and Strongly Convex Optimization
Data Science and AI Institute, and Department of Applied Mathematics and Statistics, Johns Hopkins University（约翰斯·霍普金斯大学数据科学与人工智能研究所及应用数学与统计系）；School of Mathematics, Nanjing University（南京大学数学学院）
本文提出名为UGM的统一框架，将重球法与梯度下降结合，开发增强型加速梯度算法，经实验验证其在两类优化问题上性能优于基线方法。
2026-08-28 math.OC
Accelerated Gradient Methods with Memory
针对强凸函数的极小化问题，提出了一组带记忆的一阶加速算法。这些算法的区别在于它们使用梯度步骤的历史记录。所提出的算法的收敛速度的增加是以鲁棒性为代价的，这是一个通过基于自适应重启的切换控制器来解决的问题。几个数值例子突出了所提出的方法的好处，快速梯度法。例如，它示出，这些基于梯度的方法可以最小化的Rosenbrock香蕉函数$7.58 \times 10^{-12}$在43次迭代从初始条件的$(-1,1)$。
2018-08-29 math.OC
Study of the behaviour of Nesterov Accelerated Gradient in a non convex setting: the strongly quasar convex case
Univ. Bordeaux, Bordeaux INP, CNRS, IMB, UMR 5251（波尔多大学，波尔多理工学院，法国国家科学研究中心，IMB）；IMT, Univ. Toulouse, INSA Toulouse（数学与计算机科学高等研究学院，图卢兹大学，图卢兹国立应用科学学院）
本文研究Nesterov加速梯度（NAG）算法在强类凸函数上的收敛性，通过高分辨率ODE分析证明在较低曲率假设下可实现加速收敛，并指出关键几何性质缺失会导致加速现象消失。
2026-05-26 math.OC
Nesterov Accelerated Shuffling Gradient Method for Convex Optimization
Cornell University（康奈尔大学）；IBM Research（IBM研究院）
本文提出了求解凸有限和极小化问题的Nesterov加速洗牌梯度算法（NASG）。我们的方法集成了传统的Nesterov的加速动量与不同的洗牌采样方案。我们表明，我们的算法有一个改进率的$\mathcal{O}(1/T)$使用统一的洗牌计划，其中$T$是时代的数量。该速度优于凸区域中的任何其他洗牌梯度法。我们的收敛性分析不需要有界域或有界梯度条件的假设。对于随机洗牌方案，我们进一步提高了收敛界。当采用某些初始条件时，我们证明了我们的方法在解的小邻域附近收敛得更快。数值模拟证明了算法的有效性。
2022-06-13 cs.LG math.OC stat.ML
Point Convergence of Nesterov's Accelerated Gradient Method: An AI-Assisted Proof
University of California, Los Angeles（加州大学洛杉矶分校）
本文通过AI辅助证明了Nesterov加速梯度法的点收敛性，解决了该领域长期存在的开放性问题。
2026-01-19 math.OC
Randomized Subspace Nesterov Accelerated Gradient
Department of Mathematical Informatics, The University of Tokyo（东京大学数学信息学系）；Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进情报项目）
本文提出随机子空间Nesterov加速梯度方法，针对矩阵光滑性和通用草图矩假设，实现平滑凸优化和强凸优化的加速oracle复杂度保证，统一比较草图家族并识别随机子空间加速在oracle复杂度上的优势。
2026-05-01 cs.LG math.OC stat.ML
Point Convergence Analysis of the Accelerated Gradient Method for Multiobjective Optimization: Continuous and Discrete
本文针对多目标优化加速梯度法的点收敛性公开问题，分别证明α=3时连续MAVD系统轨迹、所提离散MAG-GM方法生成序列均收敛至弱帕累托最优解。
2025-11-13 math.OC
A Concise Lyapunov Analysis of Nesterov's Accelerated Gradient Method
Department of Applied Mathematics University of Waterloo Waterloo, Ontario N2L 3G1, Canada（应用数学系 温哥华大学 温哥华，安大略省 N2L 3G1，加拿大）
本文针对Nesterov加速梯度法，利用Lyapunov分析方法给出了其在一般凸和强凸情形下收敛速率的简明直接证明。
2025-07-07 cs.LG cs.SY eess.SY
Parameter-free Locally Accelerated Conditional Gradients
Georgia Institute of Technology（佐治亚理工学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）
无投影条件梯度（CG）方法是用于约束优化设置的选择算法，其中投影通常在计算上是禁止的，但是在约束集上的线性最优化在计算上是可行的。与基于投影的方法不同，CG通常无法达到全局加速的收敛速度。然而，最近的一项关于局部加速CG（LaCG）的研究表明，对于许多感兴趣的设置，CG的局部加速是可能的。LaCG的主要缺点是它需要目标函数的光滑性和强凸性参数的知识。我们通过引入一种新的无参数局部加速CG（PF-LaCG）算法来消除这种限制，为此我们提供了严格的收敛保证。我们的理论结果得到了数值实验的补充，这些实验证明了局部加速，并展示了PF-LaCG在迭代次数和挂钟时间方面对非加速算法的实际改进。
2021-06-15 cs.LG math.OC stat.ML
A Universally Optimal Multistage Accelerated Stochastic Gradient Method
Pennsylvania State University（宾夕法尼亚州立大学）；Massachusetts Institute of Technology（麻省理工学院）；Rutgers University（罗格斯大学）
我们研究了当梯度有噪声估计时，强凸光滑函数的最小化问题。我们提出了一种新的多级加速算法，它是普遍最优的意义上说，它实现了最佳速率在确定性和随机的情况下，并在没有知识的噪声特性。该算法包括使用Nesterov方法的随机版本的阶段，该方法具有特定的重新启动和选择的参数，以实现在收敛速度范围内最快地减少偏差方差项。
2019-10-28 cs.LG math.OC stat.ML
Accelerated Algorithms for Smooth Convex-Concave Minimax Problems with $\mathcal{O}(1/k^2)$ Rate on Squared Gradient Norm
在这项工作中，我们研究了光滑极小极大最优化问题降低平方梯度幅度的计算复杂性。首先，我们提出了加速的$\mathcal{O}(1/k^2)$最后一次迭代速度的算法，比现有的$\mathcal{O}(1/k)$或更慢的速度extragradiation，Popov，和梯度下降锚定。加速机制结合了额外的梯度步骤与锚定，并不同于涅斯捷罗夫的加速。然后，我们通过匹配的下界建立最优的$ \mathcal{O}(1/k^2)$率。
2021-06-10 math.OC
Accelerated and nonaccelerated stochastic gradient descent with inexact model
在本文中，我们提出了一种新的方法来获得光滑随机（强）凸优化任务的最佳收敛速度。我们的方法是基于梯度具有非随机噪声的优化任务的结果。与以前已知的结果相反，我们将我们的想法扩展到不精确的模型概念。
2020-04-15 math.OC
Accelerated Inexact Composite Gradient Methods for Nonconvex Spectral Optimization Problems
针对一类非凸谱复合最优化问题，提出了两种不精确复合梯度法，一种是内加速法，另一种是双加速法。更具体地说，这些问题的目标函数是$f_1 + f_2 + h$的形式，其中$f_1$和$f_2$是具有Lipschitz连续梯度的可微非凸矩阵函数，$h$是适当的闭凸矩阵函数，并且$f_2$和$h$都可以表示为对它们的输入的奇异值进行运算的函数。该方法基本上使用加速复合梯度法来解决一系列的近端子问题，涉及的线性逼近的$f_1$和奇异值函数的基础$f_2$和$h$。与其他基于复合梯度的方法不同，所提出的方法利用了目标函数的复合结构和谱结构，以有效地生成它们的解决方案。数值实验表明，这些方法的实用性，一组现实世界和随机生成的谱最优化问题。
2022-05-03 math.OC
A More Stable Accelerated Gradient Method Inspired by Continuous-Time Perspective
Nesterov的加速梯度法（NAG）被广泛用于具有包括深度学习的机器学习背景的问题，并且对应于连续时间微分方程。从这一关系出发，可以研究微分方程的性质及其数值逼近，从而改进加速梯度法。在这项工作中，我们提出了一个新的改进NAG的稳定性的启发数值分析。我们给出了NAG的精确阶，作为其连续时间极限的数值逼近，然后提出了一种新的高阶方法。我们从理论上表明，我们的新方法是更稳定的比NAG大步长。矩阵补全和手写数字识别实验表明，该方法具有较好的稳定性。此外，在实验中，更好的稳定性导致更高的计算速度。
2022-04-02 cs.LG cs.NA math.NA
An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题：一个是光滑的，由梯度预言机给出，另一个是在坐标块上可分的，在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度（APCG）方法来最小化这样的凸复合函数。对于强凸函数，我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性，我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化（ERM）问题，并设计有效的实现，避免全维向量运算。对于病态的ERM问题，我们的方法获得了改进的收敛速度比最先进的随机双坐标上升（SDCA）方法。
2014-07-04 math.OC
A Riemannian Accelerated Proximal Gradient Method
针对流形上的非光滑优化问题，提出统一的黎曼加速近端梯度方法，在测地凸和强凸情形下建立加速收敛速率，并引入保护机制保证非凸全局收敛，数值实验验证了理论加速。
2025-09-26 math.OC
Conjugate Gradients and Accelerated Methods Unified: The Approximate Duality Gap View
UW-Madison（威斯康星大学麦迪逊分校）；University of Chicago（芝加哥大学）
本文对凸二次函数极小化的共轭梯度法作了一个新的、简单的分析。与标准的参数相比，我们的证明是完全独立的，不依赖于切比雪夫多项式的存在。我们的发展的另一个优点是，它澄清了共轭梯度法和一般的光滑最小化的加速方法之间的关系，通过统一的近似对偶间隙技术的框架内，由作者介绍他们的分析。
2020-02-09 cs.DS cs.LG math.OC
A New Accelerated Stochastic Gradient Method with Momentum
本文提出了一种新的带动量的加速随机梯度法，动量是前几次梯度的加权平均。权值与迭代次数成反比衰减。具有动量的随机梯度下降（Sgdm）使用随着迭代时间呈指数衰减的权重来生成动量项。使用指数衰减的权重，已经提出了具有精心设计和复杂格式的Sgdm变体以实现更好的性能。我们的方法的动量更新规则是一样简单的Sgdm。我们提供了理论上的收敛性分析，我们的方法，这表明指数衰减的权重和我们的反比例衰减权重可以限制的变化的参数的移动方向优化到一个区域。实验结果表明，该方法在实际问题中表现良好，性能优于Sgdm，在卷积神经网络中性能优于Adam。
2020-05-31 cs.LG math.OC stat.ML
A Differential Equation for Modeling Nesterov's Accelerated Gradient Method: Theory and Insights
我们推导出一个二阶常微分方程（ODE），这是Nesterov的加速梯度法的极限。该常微分方程与Nesterov的差分格式近似等价，可以作为分析的工具。我们表明，连续时间常微分方程可以更好地理解Nesterov的计划。作为一个副产品，我们得到了一个家庭的计划具有类似的收敛速度。ODE的解释也建议重新启动Nesterov的计划，导致一个算法，它可以被严格证明收敛于线性速率时，目标是强凸的。
2015-10-27 math.CA math.OC stat.ML
Convex Synthesis of Accelerated Gradient Algorithms for Optimization and Saddle Point Problems using Lyapunov functions
本文研究了优化问题和鞍点问题的加速梯度算法的设计问题。目标函数类由广义扇形条件定义。这类函数包含具有Lipschitz梯度的强凸函数，但也包含非凸函数，这不仅允许解决最优化问题，而且允许解决鞍点问题。建议的设计过程依赖于一类合适的李雅普诺夫函数和凸半定规划。建议的合成允许设计的算法，达到最先进的加速梯度法和超越的性能。
2020-11-16 cs.SY eess.SY math.OC
Accelerated Gradient and Skew-Symmetric Splitting Methods for a Class of Monotone Operator Equations
针对一类可分解为强凸函数梯度与线性斜对称算子之和的单调算子方程，提出GSS与AGSS两种分裂方法，证明其线性收敛性并推广凸最小化加速技术，在双线性耦合鞍点问题中达到最优迭代复杂度，数值实验验证了方法的鲁棒性与效率。
2025-01-20 math.OC
Adaptive Restart for Accelerated Gradient Schemes
在本文中，我们展示了一个简单的启发式自适应重新启动技术，可以显着提高加速梯度格式的收敛速度。该技术的分析依赖于观察，这些计划表现出两种行为模式，这取决于施加了多少动量。在我们所说的“高动量”机制中，由加速梯度方案产生的迭代表现出周期性行为，其中周期与目标函数的局部条件数的平方根成比例。这暗示了一种重新启动技术，每当我们观察到周期性行为时，我们就会重置动量。我们提供的分析表明，在许多情况下，自适应重新启动允许我们恢复的最佳收敛速率，没有先验知识的函数参数。
2012-04-18 math.OC
A modified limited memory Nesterov's accelerated quasi-Newton
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工科大学）；Hiroshima City University（广岛市立大学）
Nesterov的加速拟牛顿（L）NAQ方法已被证明在几个神经网络（NN）应用中使用Nesterov的加速梯度来加速传统的（L）BFGS拟牛顿法。然而，每次迭代计算两个梯度增加了计算成本。动量加速拟牛顿（MoQ）方法表明，Nesterov的加速梯度可以近似为过去梯度的线性组合。这个抽象的MoQ近似扩展到有限内存NAQ和函数逼近问题上的性能进行评估。
2021-12-01 cs.LG math.OC
On Accelerated Methods in Optimization
在凸优化中，存在{ \em加速}现象，其中我们可以提高某些基于梯度的算法的收敛速度。我们可以在Nesterov的加速梯度下降法、加速镜像下降法和加速正则化牛顿法等方法中观察到这种现象。在本文中，我们表明，家庭的高阶梯度法在离散时间（广义梯度下降）对应于家庭的一阶重标度梯度流在连续时间。另一方面，{ \em加速}高阶梯度法（广义加速镜像下降法）族对应于连续时间中的二阶微分方程族，每个微分方程族都是拉格朗日泛函族的欧拉-拉格朗日方程。我们还研究了Nesterov拉格朗日量的指数变量，它对应于Nesterov的重新启动计划的推广，并实现了离散时间的线性收敛速率。最后，我们证明了拉格朗日族在时间膨胀（加速时间作用下的轨道）下是封闭的，这表明了拉格朗日加速观在优化中的普遍性。
2015-09-11 math.OC
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping
MIPT（莫斯科物理技术学院）；HSE（高等经济学院）；ICS RAS（俄罗斯科学院系统编程研究所）
本文提出了一种新的加速随机一阶方法--剪切SSTM，用于求解随机梯度中带重尾分布噪声的光滑凸随机最优化问题，并给出了该方法的第一个高概率复杂度界，填补了带重尾噪声的随机最优化理论的空白.我们的方法是基于加速随机梯度下降（SGD）和随机梯度裁剪的一个特殊的变种。我们将我们的方法扩展到强凸的情况下，并证明了新的复杂性界限，在这种情况下优于国家的最先进的结果。最后，我们扩展了我们的证明技术，并推导出第一个非平凡的高概率复杂性界的SGD裁剪没有轻尾假设的噪声。
2020-10-23 cs.LG math.OC
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Fast Accelerated Proximal Gradient Method with New Extrapolation Term for Multiobjective Optimization
本文提出一种带新外推项的加速近端梯度算法用于多目标优化，证明其具有次线性收敛速率，并通过数值实验验证了方法的有效性。
2025-10-16 math.OC
BDF schemes for accelerated gradient flows in projection-free approximation of nonconvex constrained variational minimization
本研究针对非凸约束二次能量最小化问题，提出结合加速梯度流、线性化无投影约束处理与BDF伪时间离散化的算法，构建通用分析框架推导约束违反估计，发现具备修正能量稳定性的BDF-k加速梯度方法族，实验验证其效率与精度优于现有方法。
2025-06-12 cs.NA math.NA math.OC
Distributed accelerated proximal conjugate gradient methods for multi-agent constrained optimization problems
针对多智能体约束优化问题，提出两类结合近似、共轭梯度与Halpern方法的惯性加速分布式近似共轭梯度算法，并通过数值实验验证了方法有效性。
2024-06-20 math.OC
Understanding Accelerated Gradient Methods: Lyapunov Analyses and Hamiltonian Assisted Interpretations
本文构建两类通用一阶算法，通过离散Lyapunov分析给出匹配Nesterov方法的加速条件，分析极限ODE收敛差距，并提出基于Hamiltonian函数的Hamiltonian辅助梯度法以统一解释加速机制。
2023-04-20 math.OC stat.ML
Convergence Analysis of Accelerated Stochastic Gradient Descent under the Growth Condition
本文在增长条件下分析四类加速随机梯度方法，证明其相对SGD具有加速收敛性，并提出尾部平均方案使DAM+和iDAM+几乎达到理论下界。
2023-10-30 math.OC
Accelerated Block Coordinate Proximal Gradients with Applications in High Dimensional Statistics
Hong Kong University of Science and Technology（香港科技大学）
非凸最优化问题在信号处理、统计学和机器学习等领域都有广泛的应用。在这项工作中，我们探讨了加速近梯度法和它的一些变种，最近已被证明是收敛于非凸的情况下。我们表明，这里提出的一种新的变体，它利用自适应动量和块坐标更新与特定的更新规则，进一步提高了性能的广泛的一类非凸问题。在稀疏线性回归的正则化，如Lasso，分组Lasso，加盖$\ell_1$和SCAP的应用中，所提出的计划享有可证明的局部线性收敛，与实验的理由。
2017-12-03 cs.LG math.OC stat.ML
Linear Convergence of Accelerated Stochastic Gradient Descent for Nonconvex Nonsmooth Optimization
本文研究了求解非凸非光滑最优化问题的随机梯度下降（SGD）方法，提出了一种结合方差缩减技术和Nesterov外推技术的加速SGD方法。此外，基于局部误差界条件，我们建立了该方法的线性收敛性，以获得非凸优化的稳定点。特别地，我们证明了不仅生成的序列线性收敛到问题的一个稳定点，而且相应的目标值序列也线性收敛。最后，数值实验验证了该方法的有效性.据我们所知，它首先证明了加速SGD方法线性收敛到非凸优化的局部极小值。
2019-02-14 cs.LG math.OC stat.ML
Accelerated Sparse Recovery via Gradient Descent with Nonlinear Conjugate Gradient Momentum
本文利用非线性共轭梯度自适应动量加速稀疏恢复优化，针对可微及非光滑加可微两类问题，采用固定步长和算子分裂，以凸ℓ1和非凸ℓ1-ℓ2为例验证效率。
2023-04-05 math.OC stat.CO
Statistically Preconditioned Accelerated Gradient Method for Distributed Optimization
我们考虑分布式经验风险最小化的设置，其中多台机器并行计算梯度，集中式服务器更新模型参数。为了减少达到给定精度所需的通信次数，我们提出了一种\emph{preconditioned}加速梯度法，其中预处理是通过在服务器上解决二次采样数据集上的局部最优化问题来完成的。该方法的收敛速度取决于全局和局部损失函数之间的相对条件数的平方根。我们估计线性预测模型的相对条件数，通过研究\emph{uniform}浓度的Hessians在一个有界的域，这使我们能够得到改进的收敛速度现有的预处理梯度法和我们的加速方法。在真实世界数据集上的实验说明了在病态状态下加速的好处。
2020-02-25 cs.DC math.OC
Adaptive restart of accelerated gradient methods under local quadratic growth condition
通过分析局部二次增长条件下的加速近似梯度法，我们证明了在任何频率下重新启动这些算法给出了一个全局线性收敛算法。这个结果以前只在足够长的频率下才知道。然后，由于收敛速率取决于频率和二次误差界之间的匹配，我们设计了一个方案，从观察到的梯度映射的范数的减少自动适应重新启动的频率。我们的算法有一个更好的理论界比以前提出的方法的适应二次误差界的目标。我们说明了效率的Lasso问题和正则化的逻辑斯谛回归问题的算法。
2017-09-07 math.OC
Convergence Rates of Accelerated Markov Gradient Descent with Applications in Reinforcement Learning
受机器学习中广泛应用的启发，我们研究了流行的加速随机梯度下降（ASGD）算法来解决（可能是非凸的）最优化问题。我们的特点是这种方法的有限时间性能时，梯度采样马尔可夫过程，因此有偏和依赖于从时间步到时间步;相比之下，在现有的工作中的分析在很大程度上依赖于随机梯度是独立的，有时无偏的。我们的主要贡献表明，在某些（标准）的假设下，底层的马尔可夫链产生的梯度，ASGD收敛在几乎相同的速度与马尔可夫梯度样本与独立的梯度样本。唯一的区别是一个对数因子，它说明了马尔可夫链的混合时间。这项研究的主要动机之一是复杂的控制问题，可以通过马尔可夫决策过程建模，并使用强化学习来解决。我们将加速方法应用于OpenAI Gym和Mujoco中的几个具有挑战性的问题，并表明加速可以显着提高经典时间差学习和REINFORCE算法的性能。
2020-10-19 math.OC
