Dissipativity Theory for Nesterov's Accelerated Method
在本文中，我们适应耗散理论的控制理论的概念，提供一个自然的理解Nesterov的加速方法。我们的理论将严格的收敛速度分析与物理上直观的能量耗散概念联系起来。此外，耗散性允许一个有效地构建李雅普诺夫函数（无论是数值或解析）通过解决一个小的半定程序。使用新的供应率函数，我们展示了如何恢复已知的Nesterov的方法的速率界限，我们推广的方法来证明在各种设置的线性和次线性速率。最后，我们将耗散性的连续时间版本与使用常微分方程离散化的算法分析的最新工作联系起来。
2017-06-14 math.OC
The rate of convergence of Nesterov's accelerated forward-backward method is actually faster than $1/k^{2}$
{ \it forward-backward algorithm}是求解具有{ \it可加可分}和{ \it smooth} + { \it nonsmooth}结构的最优化问题的有力工具。在凸设置中，Nesterov开发的一个简单但巧妙的加速方案已被证明是有用的，以提高从标准$\mathcal O(k^{-1})$到$\mathcal O(k^{-2})$的函数值的理论收敛速率。在这篇简短的论文中，我们证明了Nesterov的加速向前向后方法的一个轻微的变体的收敛速度收敛速率，它产生{ \it收敛}序列，实际上是$o(k^{-2})$，而不是$\mathcal O(k^{-2})$。我们的论点依赖于该算法和二阶微分包含与消失阻尼之间的联系。
2017-05-17 math.OC
A Note on Nesterov's Accelerated Method in Nonconvex Optimization: a Weak Estimate Sequence Approach
我们提出了一个变种的加速梯度下降算法，改编自Nesterov的最佳一阶方法，弱拟凸和弱拟强凸函数。我们证明了通过调整所谓的估计序列方法，导出的算法实现了最优的收敛速度的预言复杂度方面的弱拟凸和弱拟强凸。特别地，对于具有Lipschitz连续梯度的弱拟凸函数，我们需要$O(\frac{1}{\sqrt{\varepsilon}})$迭代来获得$\varepsilon$ -解;对于弱拟强凸函数，迭代复杂度为$O\left( \ln\left(\frac{1}{\varepsilon}\right) \right)$。此外，我们讨论了这些算法的线性二次最优控制问题的影响。
2020-06-15 math.OC
The Iterates of Nesterov's Accelerated Algorithm Converge in The Critical Regimes
University of Vienna（维也纳大学）；Normandie Université, ENSICAEN, CNRS, GREYC（诺曼底大学，ENSICAEN，法国国家科学研究中心，GREYC）；Faculty of Mathematics and Computer Science, University of Science（理科大学数学与计算机学院）；Vietnam National University（越南国立大学）
本文证明临界状态下Nesterov加速算法的迭代弱收敛到全局极小值，肯定回答了十年前猜想，并作为连续时间系统最新结果的算法情形。
2026-09-15 math.OC
Relaxed Weak Accelerated Proximal Gradient Method: a Unified Framework for Nesterov's Accelerations
本文提出松弛弱加速近端梯度法R-WAPG，用远弱于Nesterov规则的序列统一强凸与凸问题的收敛分析，并给出无需参数的Free R-WAPG形式，数值实验验证其优势。
2025-04-09 math.OC
Nesterov's method with decreasing learning rate leads to accelerated stochastic gradient descent
我们提出了一个耦合系统的常微分方程，当离散化一个恒定的时间步长/学习率，恢复Nesterov的加速梯度下降算法。相同的常微分方程，当离散化的学习率下降，导致新的随机梯度下降（SGD）算法，一个在凸和第二个在强凸的情况下。在强凸的情况下，我们得到了一个算法表面上类似于动量SGD，但额外的条款。在凸的情况下，我们得到了一个新的顺序$k^{3/4}$学习率的算法。我们证明，扩展的李雅普诺夫函数的方法从全梯度的情况下，随机的情况下，该算法收敛于最佳速率的最后一个100 SGD，速率常数比以前更好。
2020-09-01 math.OC
Accelerated linearized alternating direction method of multipliers with Nesterov extrapolation
针对两块线性约束复合凸优化问题，本文利用 Nesterov 外推提出两类加速线性化 ADMM，在强凸与 Lipschitz 梯度条件下取得 O(1/k^2) 非遍历收敛率。
2024-05-10 math.OC
A modified limited memory Nesterov's accelerated quasi-Newton
Shizuoka University（静冈大学）；Shonan Institute of Technology（湘南工科大学）；Hiroshima City University（广岛市立大学）
Nesterov的加速拟牛顿（L）NAQ方法已被证明在几个神经网络（NN）应用中使用Nesterov的加速梯度来加速传统的（L）BFGS拟牛顿法。然而，每次迭代计算两个梯度增加了计算成本。动量加速拟牛顿（MoQ）方法表明，Nesterov的加速梯度可以近似为过去梯度的线性组合。这个抽象的MoQ近似扩展到有限内存NAQ和函数逼近问题上的性能进行评估。
2021-12-01 cs.LG math.OC
Accelerated Distributed Nesterov Gradient Descent
本文研究了网络上的分布式最优化问题，目标是仅利用局部计算和通信来优化由局部函数之和构成的全局函数。我们开发了一个加速分布式Nesterov梯度下降（Acc-DNGD）方法。当目标函数是凸的和$L$ -光滑的，我们证明了它达到了$O(\frac{1}{t^{1.4-ε}})$收敛速度的所有$ε\in(0,1.4)$。当目标函数是线性映射和强凸光滑函数的组合时，收敛速度可提高到$O(\frac{1}{t^2})$。当目标函数是$μ$ -强凸和$L$ -光滑时，我们证明了它达到$O([ 1 - C (\fracμ{L})^{5/7} ]^t)$的线性收敛速率，其中$\frac{L}μ$是目标的条件数，$C>0$是不依赖于$\frac{L}μ$的常数.
2019-07-04 math.OC
An Adaptive and Parameter-Free Nesterov's Accelerated Gradient Method for Convex Optimization
本研究提出无参数无搜索的自适应加速梯度法AdaNAG，通过Lyapunov分析证明其L-光滑凸函数下的加速收敛率，同时衍生出AdaGD与广义AdaNAG，实验显示其在代表性应用中优于近期同类自适应方法。
2025-05-16 math.OC
A Nesterov's Accelerated Projected Gradient Method for Monotone Variational Inequalities
在本技术说明中，我们关注的是以提高的收敛速度求解变分不等式的问题。受Nesterov求解凸优化问题的加速梯度法的启发，我们提出了求解变分不等式问题的Nesterov加速投影梯度算法.在Lipschitz连续性和强单调性的共同假设下，我们证明了所提出的算法的收敛性，至少具有线性速度。据我们所知，这是第一次证明收敛的Nesterov的加速协议的变分不等式，除了凸优化或单调包含问题。仿真结果表明，所提出的算法优于著名的投影梯度法，反射投影法，黄金分割法。结果表明，所需的迭代次数，以达到解决方案大大减少在我们提出的算法。
2022-12-20 math.DS math.OC
A Differential Equation for Modeling Nesterov's Accelerated Gradient Method: Theory and Insights
我们推导出一个二阶常微分方程（ODE），这是Nesterov的加速梯度法的极限。该常微分方程与Nesterov的差分格式近似等价，可以作为分析的工具。我们表明，连续时间常微分方程可以更好地理解Nesterov的计划。作为一个副产品，我们得到了一个家庭的计划具有类似的收敛速度。ODE的解释也建议重新启动Nesterov的计划，导致一个算法，它可以被严格证明收敛于线性速率时，目标是强凸的。
2015-10-27 math.CA math.OC stat.ML
A Derivation of Nesterov's Accelerated Gradient Algorithm from Optimal Control Theory
Naval Postgraduate School（海军研究生院）
本文基于最优控制理论的第一性原理推导出Nesterov加速梯度算法，通过将优化问题转化为最优控制问题并利用Lyapunov函数稳定动力系统，解决了该算法的来源之谜。
2022-03-29 cs.LG math.OC
A geometric alternative to Nesterov's accelerated gradient descent
Microsoft Research（微软研究院）；MIT（麻省理工学院）
本文提出了一种新的无约束优化方法，针对光滑强凸函数，达到Nesterov加速梯度下降的最优收敛速率，其几何解释灵感源自椭球法。
2015-06-26 cs.DS cs.LG cs.NA
About accelerated randomized methods
我们展示了如何获得非加速随机坐标下降法（Yu. Nesterov，2010）和和型泛函随机化的非加速方法（Le Roux-Schmidt-Bach，2012），来自随机最优化问题的最优方法（SIGMA，Devolder-Glineur-Nesterov-Dvurechensky-Gasnikov，2014）。主要的技巧是一种特殊的重新启动技术。我们认为这个技巧在其他情况下是有用的。我们只考虑强凸的情况。我们表明，这种方法的加速变种似乎是在这种情况下，是不平凡的。也就是说，很难（也许不可能）使用相同的技巧获得加速变体。我们还提出了新的加速坐标下降法的方法。这种方法基于耦合技术（Allen-Zhu-Orrechia，2015），并且允许我们：将加速坐标下降法推广到条件最优化问题，由于原始-对偶性质而获得对偶解，扩展通用方法（Yu. Nesterov，2013）到加速坐标下降法等。
2018-05-26 math.OC
A Nesterov-Accelerated Primal-Dual Splitting Algorithm for Convex Nonsmooth Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出APAPC算法，通过整合Nesterov动量提升对偶方法的收敛性，实现非光滑优化问题的O(1/t²)次线性收敛及线性收敛。
2026-10-09 math.OC
A class of generalized Nesterov's accelerated gradient method from dynamical perspective
本文从连续时间动力学视角提出一类由参数对（α,r）索引的广义Nesterov加速梯度方法，统一并插值凸与强凸情形，并通过构造Lyapunov函数证明其在μ-强凸函数上无需已知μ即可获得优于Nesterov的收敛速率。
2025-08-18 math.DS math.OC
A Concise Lyapunov Analysis of Nesterov's Accelerated Gradient Method
Department of Applied Mathematics University of Waterloo Waterloo, Ontario N2L 3G1, Canada（应用数学系 温哥华大学 温哥华，安大略省 N2L 3G1，加拿大）
本文针对Nesterov加速梯度法，利用Lyapunov分析方法给出了其在一般凸和强凸情形下收敛速率的简明直接证明。
2025-07-07 cs.LG cs.SY eess.SY
On the Convergence of Nesterov's Accelerated Gradient Method in Stochastic Settings
McGill University（麦吉尔大学）；Facebook AI Research（Facebook人工智能研究院）；Mila – Quebec Artificial Intelligence Institute（Mila-魁北克人工智能研究所）
我们研究Nesterov的加速梯度法与恒定的步长和动量参数的随机近似设置（无偏梯度有界方差）和有限和设置（随机性是由于采样小批量）。为了更好地了解Nesterov方法在随机环境中的行为，我们始终关注光滑，强凸和两次连续可微的目标。在随机近似设置，Nesterov的方法收敛到最佳点的邻域在相同的加速率在确定性设置。也许令人惊讶的是，在有限和设置中，我们证明了Nesterov的方法可能会偏离通常选择的步长和动量，除非额外的条件有关的问题的条件和数据的一致性得到满足。我们的结果揭示了为什么Nesterov的方法可能无法收敛或实现加速在有限和设置。
2020-06-27 cs.LG math.OC stat.ML
EMA-Nesterov: Stabilizing Nesterov's Lookahead for Accelerated Deep Learning Optimization
University of Minnesota（明尼苏达大学）；Amazon AGI（亚马逊人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
针对深度学习优化中Nesterov动量因随机梯度噪声和非凸损失导致的不稳定性，提出EMA-Nesterov方法，用参数更新的指数移动平均替代标准前瞻方向，通过低通滤波捕捉训练轨迹的低频趋势，在凸问题中保持理论加速收敛率，并在语言模型预训练中验证了其广泛适用性和优于现有前瞻方法的性能。
2026-05-25 cs.LG math.OC
Accelerated Convex Optimization with Stochastic Gradients: Generalizing the Strong-Growth Condition
本文给出了随机梯度不减慢Nesterov加速梯度法收敛速度的一个充分条件。新的条件具有Schmidt \& Roux的强增长条件作为特例，并且它还允许我们（i）对具有约束的问题进行建模，以及（ii）设计新类型的预言机（例如，有限和问题的预言，如SAGA）。我们的结果是通过重新访问Nesterov的加速算法，并在不改变基本的一阶方法的情况下，设计随机预言机是有用的。
2022-07-24 math.OC
A Continuous-Time Nesterov Accelerated Gradient Method for Centralized and Distributed Online Convex Optimization
利用在线连续时间Nesterov加速梯度法（OCT-NAG）研究了在线凸优化问题。我们表明，在线版本的布雷格曼拉格朗日产生的连续时间动态实现了恒定的静态遗憾$\frac{c}σ$独立的$T$，提供了一些有界性假设的目标函数和最优解。据作者所知，这是文献中最低的静态遗憾（低于$O(\text{log}(T))$）。我们进一步证明了在相同的假设条件下，该算法的动态遗憾是$O(T)$，这是与现有的方法相媲美。仿真结果验证了该方法的有效性。此外，仿真结果表明，该算法表现出良好的动态遗憾的一些特定的缩放条件。此外，我们考虑所提出的在线优化方法在分布式在线最优化问题中的应用，并表明所提出的算法实现了$O(\sqrt{T})$静态遗憾，这是与现有的分布式在线最优化方法。与这些方法不同的是，该方法既不需要梯度有界性假设，也不需要紧约束集假设，从而允许与文献中不同的目标函数和最优化问题。一个可比的动态后悔。仿真结果表明了分布式算法的有效性和效率。
2020-09-26 math.OC
Iteration Complexity of Fixed-Step Methods by Nesterov and Polyak for Convex Quadratic Functions
本文考虑了Polyak的动量法和Nesterov的加速梯度法，这两种方法都没有线搜索，但具有固定的步长，适用于严格凸的二次函数，假设使用了精确的梯度，并且已知黑塞矩阵的极值特征值的上界和下界。简单的二维算例表明，迭代到最优解的欧氏距离是非单调的。在这种情况下，一个明确的界限，以保证减少的欧氏距离的最优解的一个因素$\varepsilon$所需的迭代次数。对于这两种方法的界限是最佳的常数因子，它补充了早期的渐近最优结果的动量法，它建立了另一个链接的动量法和Nesterov的加速梯度法。
2022-12-13 math.OC
A Nesterov-style Accelerated Gradient Descent Algorithm for the Symmetric Eigenvalue Problem
本文提出一种在 Grassmann 流形上的 Nesterov 风格加速梯度下降算法，用于计算对称半正定矩阵的前导特征向量子空间，在谱间隙极小时显著降低了迭代复杂度。
2024-06-26 math.OC
On Accelerated Methods in Optimization
在凸优化中，存在{ \em加速}现象，其中我们可以提高某些基于梯度的算法的收敛速度。我们可以在Nesterov的加速梯度下降法、加速镜像下降法和加速正则化牛顿法等方法中观察到这种现象。在本文中，我们表明，家庭的高阶梯度法在离散时间（广义梯度下降）对应于家庭的一阶重标度梯度流在连续时间。另一方面，{ \em加速}高阶梯度法（广义加速镜像下降法）族对应于连续时间中的二阶微分方程族，每个微分方程族都是拉格朗日泛函族的欧拉-拉格朗日方程。我们还研究了Nesterov拉格朗日量的指数变量，它对应于Nesterov的重新启动计划的推广，并实现了离散时间的线性收敛速率。最后，我们证明了拉格朗日族在时间膨胀（加速时间作用下的轨道）下是封闭的，这表明了拉格朗日加速观在优化中的普遍性。
2015-09-11 math.OC
Randomized Subspace Nesterov Accelerated Gradient
Department of Mathematical Informatics, The University of Tokyo（东京大学数学信息学系）；Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进情报项目）
本文提出随机子空间Nesterov加速梯度方法，针对矩阵光滑性和通用草图矩假设，实现平滑凸优化和强凸优化的加速oracle复杂度保证，统一比较草图家族并识别随机子空间加速在oracle复杂度上的优势。
2026-05-01 cs.LG math.OC stat.ML
Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
Rice University（莱斯大学）
针对 Nesterov 动量在神经网络训练中的加速收敛难题，本文提出一类仅部分参数满足强凸性的新目标函数，从理论上证明其加速效果，并首次为深度 ReLU 网络等非平凡架构证明了加速收敛速率。
2024-01-05 cs.LG math.OC
From differential equation solvers to accelerated first-order methods for convex optimization
从常微分方程求解者的角度分析了求解凸优化问题的加速一阶方法的收敛性。从加速机制与常微分方程解的$A$ -稳定性之间的联系出发，导出了一个新的动力系统--Nesterov加速梯度流，并证明了裁剪的Lyapunov函数随解的轨迹呈指数衰减.数值离散，然后考虑和收敛速度建立通过一个统一的离散李雅普诺夫函数。所提出的微分方程求解器方法不仅可以覆盖现有的加速方法，如FISTA，Güler的近似算法和Nesterov的加速梯度法，但也产生新的算法，复合凸优化，具有加速收敛速度。
2022-02-28 math.OC
Nesterov Accelerated Shuffling Gradient Method for Convex Optimization
Cornell University（康奈尔大学）；IBM Research（IBM研究院）
本文提出了求解凸有限和极小化问题的Nesterov加速洗牌梯度算法（NASG）。我们的方法集成了传统的Nesterov的加速动量与不同的洗牌采样方案。我们表明，我们的算法有一个改进率的$\mathcal{O}(1/T)$使用统一的洗牌计划，其中$T$是时代的数量。该速度优于凸区域中的任何其他洗牌梯度法。我们的收敛性分析不需要有界域或有界梯度条件的假设。对于随机洗牌方案，我们进一步提高了收敛界。当采用某些初始条件时，我们证明了我们的方法在解的小邻域附近收敛得更快。数值模拟证明了算法的有效性。
2022-06-13 cs.LG math.OC stat.ML
From Nesterov's Estimate Sequence to Riemannian Acceleration
本文提出了第一个求解黎曼流形的整体加速梯度法。为了建立我们的结果，我们重新审视Nesterov的估计序列技术，并开发一种替代分析，它也可能是独立的利益。然后，我们将这种分析扩展到黎曼环境，将由于非欧几里德结构而导致的关键困难定位为一定的度量失真。我们通过发展一个新的几何不等式来控制这种扭曲，这使我们能够提出和分析Nesterov加速梯度法的黎曼对应方法。
2020-01-24 math.OC stat.ML
Boosting Accelerated Proximal Gradient Method with Adaptive Sampling for Stochastic Composite Optimization
本文提出带自适应采样的 adaNAPG 算法以增强随机复合优化中的 NAPG，并证明其达到最优迭代与样本复杂度，且迭代序列满足中心极限定理。
2025-07-24 math.OC
Generalized Continuous-Time Models for Nesterov's Accelerated Gradient Methods
Department of Electrical and Computer Engineering（电气与计算机工程系）；Automation and Systems Research Institute（自动化与系统研究所）；Seoul National University（首尔国立大学）
本文提出广义连续时间模型，涵盖多种Nesterov方法，分析其收敛性并设计重启方案，揭示其与梯度流的联系，通过实验验证理论结果。
2026-03-20 cs.LG math.OC
The iterates of FISTA converge even under inexact computations and stochastic gradients
Sapienza Università di Roma（罗马第一大学）；Istituto Italiano di Tecnologia（意大利理工学院）
本研究证明在无限维Hilbert空间中，即使使用近似计算和随机梯度，FISTA算法的迭代仍能收敛。
2026-10-26 math.OC
Variational Symplectic Accelerated Optimization on Lie Groups
由于Nesterov加速梯度下降算法与标准梯度下降算法相比具有更好的性能保证，并且适用于深度学习中出现的大规模最优化问题，因此对Nesterov加速梯度下降算法的推广产生了极大的兴趣。一个特别富有成效的方法是基于数值离散的微分方程，描述了连续的时间限制的Nesterov算法，并概括涉及时间相关的布雷格曼拉格朗日和哈密顿动力学，收敛在一个任意快的速度到最小值。基于李群上Bregman拉格朗日量的扩展道路空间形式，提出了一种李群变分离散方法，并以姿态确定和基于视觉的定位为例，分析了其计算特性.
2021-03-25 math.OC
A Generalized Accelerated Composite Gradient Method: Uniting Nesterov's Fast Gradient Method and FISTA
求解大规模凸优化问题的一阶加速黑箱方法主要有快速梯度法和快速迭代收缩保持算法。FGM要求目标是有限的和可微的已知梯度Lipschitz常数。FISTA适用于更广泛的复合目标类，并配备了线搜索过程估计Lipschitz常数。然而，FISTA不能增加步长并且不能利用强凸性。FGM和FISTA在形式上非常相似。尽管如此，他们似乎有着截然不同的趋同分析。在这项工作中，我们推广了以前介绍的增广估计序列框架以及相关的概念的差距序列。我们通过构建广义加速复合梯度法来展示我们工具的灵活性，该方法将FGM和FISTA及其最受欢迎的变体结合起来。在推导我们的方法中使用的广义间隙序列的李雅普诺夫性质意味着FGM和FISTA都适合李雅普诺夫分析，常见的优化算法。我们进一步展示了我们的工具的灵活性，赋予我们的方法与单调递减的目标函数值旁边的一个通用的线搜索过程。通过同时结合FGM和FISTA的优势，我们的方法能够在鲁棒性和可用性方面超越两者。我们通过对复合问题的广泛基准的模拟结果来支持我们的发现。我们的实验表明，单调性有稳定的收敛效果和挑战的概念，目前在文献中，强凸目标，加速近端计划可以减少到固定的动量方法。
2019-10-28 math.OC
Nesterov Flow May Travel Infinitely Long to Converge to a Minimizer
OpenAI
本文研究Nesterov流是否能收敛到极小值，通过构造一个可微的凸势函数，证明流收敛到极小值但路径长度无限。
2026-04-08 math.OC
Unifying Nesterov's Accelerated Gradient Methods for Convex and Strongly Convex Objective Functions: From Continuous-Time Dynamics to Discrete-Time Algorithms
虽然Nesterov的加速梯度（NAG）方法已经从不同的角度进行了研究，但仍然不清楚为什么最流行的NAG形式必须分别处理凸和强凸目标函数。出于这种不一致性，我们提出了一个NAG方法，统一现有的凸和强凸的情况下。首先，我们设计了一个拉格朗日函数，连续扩展的第一布雷格曼拉格朗日的强凸设置。作为一个特定的情况下，欧拉-拉格朗日方程的拉格朗日量，我们推导出一个常微分方程（ODE）模型，我们称之为统一的NAG ODE，桥梁之间的差距ODE模型NAG凸和强凸目标函数。然后，我们设计了统一的NAG，一种新的动量方法，连续时间限制对应于统一的常微分方程。在强凸性参数$[0, +\infty)$上，统一NAG和统一ODE的系数和收敛速度是连续的。与现有的强凸目标函数的算法和常微分方程不同，对于非强凸目标函数，统一NAG和统一NAG常微分方程总是比已知的算法和常微分方程有更好的收敛性保证.当考虑具有小的$μ$的强凸目标函数时，该性质在实际观点中是有益的。此外，我们扩展我们的统一动力学和算法的高阶设置。最后，我们提出了一种新的极小化强凸目标函数梯度范数的常微分方程模型--统一NAG-G常微分方程。我们的统一拉格朗日框架是至关重要的，在这个过程中构造常微分方程。有趣的是，使用我们的新工具，称为微分核，我们观察到，统一的NAG常微分方程和统一的NAG-G常微分方程有一个反转置关系。
2023-01-09 math.OC
Accelerated Directional Search with non-Euclidean prox-structure
本文提出了一种具有非欧几里德结构的加速定向搜索法。在$\mathbb{R}^n$中考虑凸无约束最优化问题。为了简单起见，我们从零点开始。我们预先期望解的1-范数足够接近它的2-范数。在这种情况下，可以改进标准加速Nesterov定向搜索法。在本文中，我们展示了如何使Nesterov的方法$n$倍更快（高达$\log n$因子）在这种情况下。其基本思想是使用Allen-Zhu和Orecchia在2014年提出的线性耦合，并使Grad-step为2-范数，而Mirr-step为1-范数。我们表明，约束最优化问题，这种方法稳定的障碍。
2019-02-11 math.OC
YuriiFormer: A Suite of Nesterov-Accelerated Transformers
MIT（麻省理工学院）
YuriiFormer通过将Transformer层视为优化算法迭代过程，提出了一种基于Nesterov加速的Transformer架构，在多个文本数据集上实现了优于基线模型的性能。
2026-03-04 cs.AI cs.LG math.OC
Recovering Nesterov accelerated dynamics from Heavy Ball dynamics via time rescaling
本文通过时间重标度建立重球动力学与Nesterov加速动力学（及Fast OGDA）的等价关系，从而统一两类连续时间加速方法。
2025-04-22 math.OC
Accelerated primal dual fixed point algorithm
本文提出加速原始对偶不动点（APDFP）方法，采用Nesterov加速求解含非光滑项与线性算子的复合优化问题，将部分原始对偶间隙的收敛速度提升至O(1/k^2)，并通过图引导逻辑回归与CT图像重建实验验证了其高效性。
2025-11-01 math.OC
A Geometric Structure of Acceleration and Its Role in Making Gradients Small Fast
自Nesterov在1983年的开创性工作以来，许多加速的一阶最优化方法被提出，但它们的分析缺乏一个共同的统一结构。在这项工作中，我们确定了一个几何结构满足广泛的一阶加速方法。使用这种几何洞察力，我们提出了几个新的推广加速方法。其中最令人感兴趣的是一种方法，该方法在梯度设置中以$\mathcal{O}(1/K^4)$速率降低平方梯度范数，比Nesterov的FGM或Kim和Fessler的FPGM-m的$\mathcal{O}(1/K^3)$速率更快。
2021-11-04 math.OC
A Unified Convergence Analysis of First Order Convex Optimization Methods via Strong Lyapunov Functions
利用强李雅普诺夫条件的概念，给出了一阶凸优化方法的统一收敛性分析。结合适当的时间尺度因子，我们能够处理凸和强凸的情况下，并建立许多现有的常微分方程模型的李雅普诺夫函数的收缩性质。然后，我们推导出流行的一阶优化算法，如近似梯度法，重球方法（也称为动量方法），Nesterov加速梯度法，加速近似梯度法从相应的动力系统的数值离散。我们还应用强李雅普诺夫条件的离散水平，并提供了一个更系统的分析框架。另一个贡献是一个新的二阶动力系统称为Hessian驱动Nesterov加速梯度流，可用于设计和分析光滑和非光滑凸优化的加速一阶方法。
2021-07-31 math.OC
A unified continuous-discrete framework for Nesterov acceleration: transitions between convex and strongly convex regimes
Xihua University（西华大学）；Sichuan University（四川大学）
本研究提出统一连续-离散框架，解决Nesterov加速在强凸参数较小时早期收敛慢的问题，可实现凸与强凸状态过渡，恢复经典速率，生成多种过渡族，数值实验验证其有效性。
2026-08-27 math.OC
A Distributed Asynchronous Generalized Momentum Algorithm Without Delay Bounds
该研究提出一种允许任意有限延迟的分布式异步广义动量算法，其收敛性经参数条件保证，在20newsgroups文本分类任务中，相比梯度下降等算法迭代次数显著减少，收敛更快。
2026-08-11 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题，其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符，或者具有可以使用[Nesterov，2005]中的平滑技术的最大结构。为了解决这类问题，我们提出了一个自适应平滑小批量随机加速梯度（AdaSMSAG）方法，它结合了随机逼近方法，Nesterov的加速梯度法，和平滑方法，允许一般平滑近似。建立了该方法的收敛性。此外，最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明，建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Convergence Rate Analysis of Accelerated Forward-Backward Algorithm with Generalized Nesterov Momentum Scheme
Nesterov的加速向前向后算法（AFBA）是求解一类两项凸优化模型的有效算法，该模型由一个具有Lipschitz连续梯度的可微函数和一个具有封闭形式的邻近算子的不可可微函数组成.已经表明，AFBA与修改Nesterov的动量方案产生的迭代序列收敛到目标函数的最小值，$o\left(\frac{1}{k^2}\right)$收敛速度的函数值（FV-收敛速度）和$o\left(\frac{1}{k}\right)$收敛速度的连续迭代之间的距离（DCI-收敛速度）。在本文中，我们提出了一个更一般的动量计划与引入的功率参数$ω\in(0,1]$和表明，AFBA与建议的动量计划收敛到一个最小的目标函数的$o\left(\frac{1}{k^{2ω}}\right)$ FV-收敛速度和$o\left(\frac{1}{k^ω}\right)$ DCI-收敛速度。所提出的动量方案的通用性为我们提供了多种参数选择不同的情况下，这使得所得到的算法更灵活，以实现更好的性能。然后，我们采用AFBA与建议的动量计划来解决平滑铰链损失$\ell_1$-支持向量机模型。数值结果表明，该广义动量格式优于现有的两个动量格式。
2021-12-11 cs.NA math.NA math.OC
The Nesterov-Spokoiny Acceleration Achieves Strict $o(1/k^2)$ Convergence
本文研究Nesterov-Spokoiny加速方法，针对光滑凸优化实现函数值严格o(1/k²)、梯度范数平方o(1/(k³logk))收敛且目标单调下降，还扩展到零阶不精确梯度及复合优化场景均获函数值o(1/k²)收敛，并通过连续时间分析揭示其与加速相关高分辨率常微分方程的联系。
2025-11-12 math.OC
Rate of convergence of the Nesterov accelerated gradient method in the subcritical case $α\leq 3$
在Hilbert空间中，给定$\mathcal H$为凸连续可微函数，$α$为正参数，考虑具有渐近消失阻尼\begin{equation*} \mbox{(AVD)}_α \quad \quad \ddot{x}(t) + \fracα{t} \dot{x}(t) + \nabla Φ(x(t)) =0. \end{equation*}的惯性系统。根据$ α$关于3的值，给出了由$\mbox{(AVD)}_α$生成的轨迹作为$t \to + \infty$的收敛性质以及相应算法的迭代过程。我们的主要结果涉及的亚临界情况下$α\leq 3$，我们表明，$Φ(x(t))-\min Φ= \mathcal O (t^{-\frac{2}{3}α})$。然后，我们研究的轨迹收敛到最优解。作为一个新的结果，在一维框架下，对于临界值$α= 3 $，我们证明了轨迹的收敛性，而不对凸函数$Φ$作任何限制性假设。在本文的第二部分，我们研究了相关的前向后惯性算法的收敛性。他们的目标是解决结构化凸极小化问题的形式$\min \left\lbrace Θ:= Φ+ Ψ\right\rbrace$，$Φ$光滑和$Ψ$非光滑。连续动力学作为本研究的指导方针。对于迭代序列$(x_k)$，我们获得了类似的收敛速率：对于$α\leq 3$，我们对所有$p <\frac{2α}{3}$都有$Θ(x_k)-\min Θ…
2017-06-18 math.OC
Trajectory convergence and $o(t^{-2})$ rates for Nesterov accelerated primal-dual dynamics without Lipschitz gradient assumption
Xihua University（西华大学）；Sichuan University（四川大学）；University of Electronic Science and Technology of China（电子科技大学）
针对线性约束凸优化问题，提出一种无需Lipschitz梯度假设的Nesterov加速原始-对偶动力学系统，证明了当α≥3时轨迹收敛到原始-对偶解，且当α>3时目标残差和可行性违反达到改进的$o(t^{-2})$收敛速率。
2026-05-27 math.OC
Nesterov acceleration for strongly convex-strongly concave bilinear saddle point problems: discrete and continuous-time approaches
Xihua University（西华大学）；Sichuan University（四川大学）
针对强凸-强凹双线性鞍点问题，提出带Nesterov加速的离散原始-对偶梯度算法与连续时间动力系统，验证其最优线性收敛速率，A=0时可恢复经典Nesterov加速方法。
2026-08-12 math.OC
Technical Report: A Totally Asynchronous Nesterov's Accelerated Gradient Method for Convex Optimization
本文提出一种基于 Nesterov 加速梯度推广的全异步凸优化算法，在无延迟上界条件下保证线性收敛，并通过数值仿真验证其迭代次数显著少于 heavy ball 算法和梯度下降。
2024-06-14 cs.SY eess.SY math.OC
Accelerated Multi-Agent Optimization Method over Stochastic Networks
提出了一种分布式方法来求解具有强凸费用函数和等式耦合约束的多智能体最优化问题。该方法是基于Nesterov的加速梯度法和工程随机时变通信网络。我们考虑Nesterov方法的标准假设，并证明了期望对偶值序列以$\mathcal{O}(1/k^2)$的速率收敛到最优值。此外，我们提供了一个仿真研究解决最优潮流问题与一个著名的基准情况。
2020-12-16 cs.MA math.OC
Accelerated Stochastic Greedy Coordinate Descent by Soft Thresholding Projection onto Simplex
本文研究了求解$\ell_1$ -正则化问题的贪婪坐标下降（Greedy Coordinate Descent，GCD）算法，并利用Nesterov加速策略和随机最优化策略对GCD算法进行了改进。首先提出了一种新的基于$\ell_1$ -范数平方逼近的贪婪选择规则，该规则是凸的，但非平凡的，然后提出了一种有效的算法SOTOPO（SoftThresholdingPrOjection）来精确求解由新规则导出的$\ell_1$ -正则化的$\ell_1$ -范数平方逼近问题.在此基础上，将Nesterov加速策略和随机最优化策略成功地应用于GCD算法。该算法称为加速随机贪婪坐标下降算法（ASGCD），具有最优的收敛速度$O(\sqrt{1/ε})$，同时将贪婪选择的迭代复杂度降低到样本量的1倍.无论是理论上还是经验上，我们都表明ASGCD对于高维稠密稀疏解问题具有更好的性能。
2017-06-24 math.OC
