Accelerated primal-dual methods for linearly constrained convex optimization problems
提出了一个求解仿射约束凸优化的加速原-对偶动力系统，并给出了一类具有非遍历收敛速度的原-对偶方法。在连续层，建立了一个新的指数衰减的李雅普诺夫函数，在离散层，依次考虑了连续模型的隐式、半隐式和显式数值离散，从而得到了求解线性约束最优化问题的新的加速原-对偶方法.这些方案中的子问题的特殊结构被用来开发有效的内部求解器。此外，通过一个定制的离散李雅普诺夫函数，证明了非遍历收敛速度的原始-对偶间隙，原始目标残差和可行性违反。此外，我们的方法也被应用到分散的分布式优化快速和有效解。
2022-04-09 math.OC
A Symplectic Discretization Based Proximal Point Algorithm for Convex Minimization
该研究通过辛欧拉方法离散常微分方程系统，提出辛邻近点算法SPPA，证明其收敛速率，指出现有加速邻近点算法为其特例，且附加假设下收敛速率更优。
2024-12-12 math.OC
Accelerated Extra-Gradient Descent: A Novel Accelerated First-Order Method
Boston University（波士顿大学）
本文提出一种新颖的加速一阶方法，实现光滑函数在第一阶oracle模型中的渐近最优收敛率。该方法不同于Nesterov的AGD，采用预测-校正方法，具有更稳健的噪声鲁棒性。
2018-02-10 cs.DS cs.NA math.NA
Accelerated Gradient Methods Through Variable and Operator Splitting
Department of Mathematics, University of California at Irvine（加州大学欧文分校数学系）；National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学重庆应用数学中心）；Chongqing Research Institute of Big Data, Peking University（北京大学重庆大数据研究院）；Department of Applied Mathematics, The Hong Kong Polytechnic University（香港理工大学应用数学系）
本文提出基于变量与算子分裂的统一加速梯度框架，利用强Lyapunov函数、加速超松弛和预测-校正外推等技术，有效处理凸优化、复合凸优化及双线性耦合鞍点问题。
2026-11-03 math.OC
On the stability of optimization algorithms given by discretizations of the Euler-Lagrange ODE
二阶常微分方程（ODEs）作为优化算法的连续时间极限的推导已被证明是分析这些算法的有效工具。此外，这些常微分方程的离散化推广可以产生新的最优化方法族。本文研究了Euler-Lagrange方程的离散化问题，它产生了一大类在连续时间内收敛速度为$O(\frac{1}{t^p})$的加速方法，其中参数$p$是优化方法的阶数。具体来说，我们解决的问题，问为什么一个天真的显式隐式欧拉离散化的解决方案产生一个不稳定的算法，即使是一个强凸的目标函数。我们证明了对于强凸$L$ -光滑二次目标函数和步长$δ<\frac{1}{L}$，当迭代次数$k$满足不等式$k < (\frac{4}{Lp^2 δ^p})^{\frac{1}{p-2}}$时，朴素离散化将表现出稳定的行为.此外，我们将我们的分析扩展到隐式和显式欧拉离散化方法，以确定最终的行为。
2019-08-27 math.OC
Acceleration via Symplectic Discretization of High-Resolution Differential Equations
University of California, Berkeley（加州大学伯克利分校）；Institute for Advanced Study（普林斯顿高等研究院）；University of Pennsylvania（宾夕法尼亚大学）
我们研究了Nesterov的加速梯度法和Polyak的重球法中离散常微分方程的一阶最优化方法。我们考虑三种离散方案：显式欧拉方案，隐式欧拉方案，和辛方案。我们证明了通过将辛格式应用于Shi等人提出的高分辨率ODE生成的优化算法。[2018]实现了最小化光滑强凸函数的加速率。另一方面，当方案是隐式的、ODE是低分辨率的或方案是显式的时，所得算法要么无法实现加速，要么不切实际。
2019-11-04 cs.LG cs.NA math.NA
Inertial dynamical systems and accelerated algorithms with implicit Hessian-driven damping for nonconvex optimization
Chongqing Technology and Business University（重庆工商大学）；Sichuan University（四川大学）
本文提出了一种基于隐式Hessian驱动阻尼的惯性动力系统，用于解决强拟凸优化问题，并通过显式时间离散化和扰动项设计，实现了加速算法并验证了其收敛性。
2026-02-26 math.OC
Continuous-Time Analysis of Accelerated Gradient Methods via Conservation Laws in Dilated Coordinate Systems
我们通过导出扩张坐标系中的守恒律来分析加速梯度法的连续时间模型。也就是说，我们不是分析$X(t)$的动力学，而是分析某些$α$和$X_c$的$W(t)=t^α(X(t)-X_c)$的动力学，并在这个膨胀的坐标系中导出类似于物理能量的守恒量。通过这种方法，我们恢复了许多已知的连续时间分析在一个流线型的方式，并获得新的连续时间分析OGM-G，一种加速机制，有效地降低梯度幅度，这是不同的Nesterov。最后，我们表明，一个半二阶辛欧拉离散在膨胀坐标系导致$\mathcal{O}(1/k^2)$率的标准设置的光滑凸最小化，没有任何进一步的假设，如无穷可微。
2022-06-24 math.OC
Inertial accelerated primal-dual algorithms for non-smooth convex optimization problems with linear equality constraints
Chongqing University（重庆大学）；Chongqing Technology and Business University（重庆工商大学）；Sunway University（双威大学）
本文提出一种基于二阶微分系统的时间缩放的惯性加速对偶算法，用于求解具有线性等式约束的非光滑凸优化问题，证明了该算法在对偶间隙、可行性违反和目标残差上的快速收敛性，并通过数值实验验证了其有效性。
2026-03-05 math.OC
An Optimal Control Theory for Accelerated Optimization
一般非线性最优化问题的一阶最优性条件被生成为最优控制问题的终端横截性条件的一部分。证明了最优化问题的拉格朗日量与最优控制问题的哈密顿量通过一个零哈密顿量的无限阶奇异弧相连接。奇异最优控制问题的必要条件用于产生辅助可控动力系统，其轨迹生成最优化问题的算法原语。通过半离散化步骤，设计了一种遗传算法的三步迭代映射。既不需要显式地导出反馈控制律，也不需要显式地导出控制算法的微分方程。一个搜索方向是由一个近端瞄准型的方法，消散控制李雅普诺夫函数。新的步长程序的基础上最小化控制李雅普诺夫函数沿搜索向量完成的加速算法的设计。
2022-03-15 math.OC
A Unified Convergence Analysis of First Order Convex Optimization Methods via Strong Lyapunov Functions
利用强李雅普诺夫条件的概念，给出了一阶凸优化方法的统一收敛性分析。结合适当的时间尺度因子，我们能够处理凸和强凸的情况下，并建立许多现有的常微分方程模型的李雅普诺夫函数的收缩性质。然后，我们推导出流行的一阶优化算法，如近似梯度法，重球方法（也称为动量方法），Nesterov加速梯度法，加速近似梯度法从相应的动力系统的数值离散。我们还应用强李雅普诺夫条件的离散水平，并提供了一个更系统的分析框架。另一个贡献是一个新的二阶动力系统称为Hessian驱动Nesterov加速梯度流，可用于设计和分析光滑和非光滑凸优化的加速一阶方法。
2021-07-31 math.OC
Accelerated Optimization on Riemannian Manifolds via Projected Variational Integrators
通过考虑一类特定的含时Bregman Lagrange和哈密顿系统，引入了赋范空间上加速优化的变分形式，其相应的轨迹以任意加速率$\mathcal{O}(1/t^p)$收敛于给定凸函数的极小值.这个框架已被利用时间自适应几何积分设计高效的显式算法辛加速优化。据观察，几何离散化基本上不太容易出现稳定性问题，因此更加鲁棒、可靠和计算效率更高。最近，这个变分框架已被扩展到黎曼流形设置考虑一个更一般的家庭的时间依赖的布雷格曼拉格朗日和哈密顿系统的黎曼流形。因此，发展时间自适应的哈密顿变分积分器来加速黎曼流形上的优化是很自然的。在过去，哈密顿变分积分器已被构造完整约束，但由此产生的算法是隐式的性质，这显着增加了他们的每次迭代的成本。在本文中，我们将测试显式方法的性能的基础上，结合投影约束的数值解保持在约束流形上的哈密尔顿变分积分。
2022-01-09 math.OC
Inducing Uniform Asymptotic Stability in Non-Autonomous Accelerated Optimization Dynamics via Hybrid Regularization
近年来，人们从动力系统的角度研究了加速优化算法。在本文中，我们专注于这些动态的时变连续时间版本的鲁棒性。这些属性是至关重要的基于反馈的控制和优化架构的加速算法的实施。我们表明，一个家庭的动态Nesterov的加速梯度法的连续时间限制下，可以呈现不稳定的任意小的有界扰动。事实上，虽然这些动态的解决方案可能会收敛到优化器的集合，但一般来说，这个集合可能不是一致渐近稳定的。为了诱导均匀性和鲁棒性作为副产品，我们提出了一个框架，在这里我们正则化的动态使用复位机制，建模的适定性混合动力系统。对于这些混合动力学，我们建立一致的渐近稳定性和鲁棒性，以及收敛速度，是类似的非混合动力学。我们完成了一个家庭的离散化机制，保留主要的稳定性和鲁棒性的混合算法的特点。
2019-10-03 math.OC
On the Curved Geometry of Accelerated Optimization
Facebook AI Research（脸书人工智能研究院）
在这项工作中，我们提出了一个微分几何动机Nesterov的加速梯度法（AGM）的强凸问题。通过考虑优化过程发生在具有自然结构的黎曼流形上，AGM方法可以被看作是应用于该弯曲空间的邻近点方法。这种观点也可以推广到连续时间的情况下，其中的加速梯度方法产生于自然块隐式欧拉离散的常微分方程的流形上。我们提供了一个二次目标的收敛速度的分析。
2019-11-20 cs.LG math.OC stat.ML
Multiobjective Accelerated Gradient-like Flow with Asymptotic Vanishing Normalized Gradient
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆应用数学中心，重庆师范大学）
本文提出了一种多目标加速梯度流方法，通过渐消归一化梯度实现收敛率$O(1/t^2)$，并验证其在多目标优化中的有效性。
2025-11-22 math.OC
Accelerated Natural Gradient Method for Parametric Manifold Optimization
本文提出统一的加速自然梯度下降框架，通过Hessian驱动阻尼、投影动量和Kronecker积近似等方法加速参数流形优化，并证明其收敛性，实验表明其优于标准NGD。
2025-04-08 math.OC
Accelerated Inertial Gradient Algorithms with Vanishing Tikhonov Regularization
Université de Limoges（利摩日大学）
本文提出了一种具有消失Tikhonov正则化的加速惯性梯度算法，通过理论分析和实验验证，实现了在光滑凸优化问题中的高效收敛与强收敛性。
2026-01-30 math.OC
Preconditioned accelerated gradient descent methods for locally Lipschitz smooth objectives with applications to the solution of nonlinear PDEs
我们开发的Nesterov的加速梯度下降法（AGD）的应用程序的广泛的一类偏微分方程（PDE）的近似解的理论基础。这是通过证明存在的不变集和指数收敛速度时，其预处理版本（PAGD）适用于最小化局部Lipschitz光滑，强凸目标泛函。我们引入了一个二阶常微分方程（ODE）与预条件内置，并表明PAGD是一个显式的时间离散化的常微分方程，这需要一个自然的时间步长限制的能量稳定性。在连续时间水平上，我们使用一个简单的能量参数显示指数收敛的常微分方程的解决方案，其稳定状态。在离散层次上，假设上述步长限制，不变集的存在性被证明和匹配的指数收敛速率的PAGD计划推导出通过模仿的能量参数和连续水平上的收敛。应用的PAGD方法的数值偏微分方程的某些非线性椭圆偏微分方程使用准谱方法的空间离散，并进行了几个数值实验。结果证实了全局几何和网格步长独立收敛的PAGD方法，与预条件梯度下降（PGD）方法相比，提高了加速率。
2021-02-01 cs.NA math.NA math.OC
Accelerated Convergence of a Second-Order Dynamical System and its Application to Splitting Algorithms for Comonotone Inclusions
School of Mathematics and Statistics, Chongqing Technology and Business University（重庆工商大学数学与统计学院）
本文提出一种新型二阶动力系统，经分析其具有加速收敛性，时间离散化后得到双惯性Halpern前向-后向分裂算法，数值实验验证了该算法在分裂可行性等问题上的有效性。
2026-09-03 math.OC
A Unified Model for High-Resolution ODEs: New Insights on Accelerated Methods
针对现有高分辨率常微分方程（HR-ODEs）相互脱节的问题，研究提出基于受迫欧拉-拉格朗日方程的统一框架，涵盖多种HR-ODE及对应优化算法，并通过通用李雅普诺夫函数分析收敛性，取得多项理论进展。
2025-03-19 math.OC
A Derivation of Nesterov's Accelerated Gradient Algorithm from Optimal Control Theory
Naval Postgraduate School（海军研究生院）
本文基于最优控制理论的第一性原理推导出Nesterov加速梯度算法，通过将优化问题转化为最优控制问题并利用Lyapunov函数稳定动力系统，解决了该算法的来源之谜。
2022-03-29 cs.LG math.OC
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida（中佛罗里达大学）
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而，对于非凸和非光滑最优化问题，在保证一定性能的前提下，开发有效的方法仍然是一个挑战。近点坐标下降法（PCD）已被广泛应用于求解最优化问题，但对非凸环境下的PCD方法的认识非常有限。另一方面，异步最近坐标下降（APCD）最近受到了广泛的关注，以解决大规模的问题。然而，APCD算法的加速变体很少被研究。在本文中，我们扩展APCD方法的加速算法（AAPCD）的非光滑和非凸的问题，满足充分下降的性质，通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知，我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题，确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质，我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明，我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
Bregman dynamics, contact transformations and convex optimization
最近的研究表明，这些方法可以作为动力系统的离散化。这反过来又为更系统的研究提供了基础，特别是对这些动力系统的几何结构及其结构保持离散化的研究。在这项工作中，我们介绍了动力系统定义通过接触几何，这不仅是自然适合的优化目标，但也suburitate所有以前的方法的基础上几何动力系统。因此，优化中使用的所有确定性流都具有一个非常有趣的几何性质：它们在切触变换下是不变的。在我们的主要结果中，我们利用这一观察表明，著名的Bregman哈密顿系统总是可以通过切触变换转化为一个等价的，但可分离的哈密顿量。这反过来又使快速和强大的离散化的发展，通过几何接触分裂积分。作为一个例子，我们提出了相对论Bregman算法，并显示在一些典型的例子，它比较有利的标准优化算法，如经典的动量和Nesterov的加速梯度。
2022-10-16 math.OC stat.ML
A Variational Formulation of Accelerated Optimization on Riemannian Manifolds
最近，Su等人（2016）证明了Nesterov的加速梯度法用于最小化光滑凸函数$f$可以被认为是二阶常微分方程的时间离散化，并且$f(x(t))$沿着该常微分方程的任何轨迹$x(t)$以$\mathcal{O}(1/t^2)$的速率收敛到其最优值。Wibisono等人（2016）引入了一种变分公式，该公式允许在赋范向量空间中以$\mathcal{O}(1/t^p)$的速率加速收敛，对于任意$p>0$。Duruisseaux等人（2021）利用这个框架来设计辛加速优化的有效显式算法。在Alimisis等人（2020）中，提出了一个二阶常微分方程作为黎曼加速算法的连续时间极限，并证明了目标函数$f(x(t))$沿着该常微分方程的解以$\mathcal{O}(1/t^2)$的速率收敛到其最优值。本文通过研究黎曼流形上一类含时Bregman Lagrange系统和哈密顿系统，证明了在黎曼流形上$f(x(t))$到其最优值的收敛速度也可以加速到任意的收敛速度$\mathcal{O}(1/t^p)$.这将Wibisono et al.（2016）的结果推广到了黎曼流形，并为黎曼流形的加速优化提供了一个变分框架。在Duruisseaux et al.（2021）中，基于Bregman Lagrangians和Hamilton族的时间不变性的方法被用于构造非常有效的优化算法，并且我们在黎曼设置中…
2022-01-15 math.OC
Mesh Independence of a Majorized ABCD Method for Sparse PDE-constrained Optimization Problems
分析了希尔伯特空间中优化加速块坐标下降（mABCD）方法，通过对偶求解稀疏偏微分方程（PDE）约束最优化问题.研究了有限元逼近方法。对于双目标函数值，{the mABCD}方法的$O(1/k^2)$迭代复杂度是有吸引力的.基于收敛性结果，我们证明了mABCD方法对网格步长$h$的鲁棒性，证明了无限维ABCD方法和有限维离散方法具有相同的收敛性，并且随着离散的细化，mABCD方法的迭代次数几乎保持不变.
2020-01-04 math.OC
BDF schemes for accelerated gradient flows in projection-free approximation of nonconvex constrained variational minimization
本研究针对非凸约束二次能量最小化问题，提出结合加速梯度流、线性化无投影约束处理与BDF伪时间离散化的算法，构建通用分析框架推导约束违反估计，发现具备修正能量稳定性的BDF-k加速梯度方法族，实验验证其效率与精度优于现有方法。
2025-06-12 cs.NA math.NA math.OC
Conformal Symplectic and Relativistic Optimization
可以说，机器学习中最流行的两种加速或基于动量的最优化方法是Nesterov的加速梯度和Polyaks的重球，两者都对应于特定二阶微分方程的不同离散化。这种与连续时间动力系统的联系有助于揭开优化中加速现象的神秘面纱。在这里，我们研究了一类耗散（共形）哈密顿系统的保结构离散化，使我们能够分析Nesterov和重球的辛结构，除了这些方法提供了一些新的见解。此外，我们提出了一个新的算法的基础上的耗散相对论系统，归一化的动量，并可能导致更稳定/更快的优化。重要的是，这种方法推广了涅斯捷罗夫和重球，每一个都被恢复为不同的限制情况，并且在没有额外成本的情况下具有潜在的优势。
2020-12-24 math.OC stat.ML
Probabilistic ODE Solvers for Integration Error-Aware Numerical Optimal Control
针对数值最优控制中经典离散化难同时满足精度与采样时间要求的问题，提出在最优控制问题中利用概率数值积分器近似初值问题解及计算不确定性，重写问题以优化输入降低计算不确定性，并通过数值示例验证方法。
2024-06-13 cs.SY eess.SY math.OC
NAG-GS: A Semi-Implicit Stochastic Optimizer with Large-Step Stability
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；AIRI；Sber AI Lab（Sber AI实验室）
该研究提出基于类Nesterov加速SDE与半隐式高斯-赛德尔离散化的NAG-GS随机优化器，推导了二次函数下的最优稳定学习率，且在多类模型训练任务中性能对标主流最优优化器。
2026-10-28 cs.LG cs.NA math.NA
Gradient flows and proximal splitting methods: A unified view on accelerated and stochastic optimization
优化是机器学习、统计学和许多应用科学学科的核心。它在物理学中也有很长的历史，从最小作用量原理到寻找无序系统的基态，如自旋玻璃。近似算法形成了一类广泛适用的方法，特别适合于非光滑、约束、大规模和分布式最优化问题。基本上有五个最近的算法目前已知：向前向后分裂，曾分裂，道格拉斯-Rachford，交替方向法的乘数，和最近的戴维斯-尹。与基于梯度的方法相比，这些方法具有更高的抽象层次，在非线性泛函分析中具有深厚的根基。我们证明了所有这些方法实际上都是单个微分方程的不同离散化，即可以追溯到柯西（1847）的简单梯度流。许多机器学习成功案例背后的一个重要方面依赖于“加速”一阶方法的收敛。我们表明，类似的离散化方案适用于牛顿方程的额外耗散力，我们称之为加速梯度流，使我们能够获得加速的变种，所有这些邻近的算法-其中大多数是新的，虽然一些恢复已知的情况下，在文献中。此外，我们将这些方法扩展到随机设置，使我们能够与朗之万和福克-普朗克方程的连接。类似的想法适用于梯度下降，重球和Nesterov的方法，它们更简单。因此，我们的结果提供了一个统一的框架，从几个重要的最优化方法是什么，但模拟经典耗散系统。
2021-05-10 cs.NA math.NA math.OC
SympFormer: Accelerated attention blocks via Inertial Dynamics on Density Manifolds
Department of Mathematics, University of South Carolina（南卡罗来纳大学数学系）；Institute of Mathematics, Technische Universität Berlin（柏林技术大学数学研究所）
SympFormer通过在密度流形上引入惯性Nesterov动力学，提出加速注意力块架构，利用哈密顿动量注意力块提升效率，保留Oracle调用次数的同时加快收敛速度。
2026-03-17 cs.LG math.OC stat.ML
Accelerating Convergence in Global Non-Convex Optimization with Reversible Diffusion
本文提出利用可逆扩散和Euler-Maruyama离散化进行全局非凸优化，通过设计扩散系数实现加速收敛并控制离散化误差，证明了KL散度收敛性及速度与误差的权衡。
2023-05-19 math.OC stat.ML
GPU-Accelerated Continuous-Time Successive Convexification for Contact-Implicit Legged Locomotion
University of Washington（华盛顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出了一种基于连续时间递进凸优化的接触隐式腿部运动方法，通过引入积分互补性约束消除接触事件丢失风险，提升求解效率，实现更灵活的接触模式切换。
2026-04-11 cs.RO math.OC
Accelerated Exact Recovery from Noisy Data via Averaging and Noise-Aware Adaptive Bregman-Kaczmarz
TU Braunschweig（布伦瑞克工业大学）；African Institute for Mathematical Sciences (AIMS)（非洲数学科学研究所）；AMMI Senegal（塞内加尔应用数学与机器学习中心）；University of Pisa（比萨大学）
研究从噪声数据中精确恢复线性逆问题，核心方法是通过平均和噪声感知自适应布雷格曼 - 卡兹马尔兹方法，包括用块平均代替块和、引入噪声感知加权、自适应步长插值等，证明收敛性与批量大小等的关系，通过实验验证方法有效性。
2026-07-20 cs.NA math.NA math.OC
An accelerated gradient method with adaptive restart for convex multiobjective optimization problems
本文针对凸多目标优化问题，基于连续时间方法提出一种带自适应残差重启的加速多目标梯度方法，并证明了其在凸和强凸情形下的次线性与线性收敛速率。
2025-02-05 cs.NA math.NA math.OC
High-Order Langevin Diffusion Yields an Accelerated MCMC Algorithm
UC Berkeley（加州大学伯克利分校）；Voleon Group（Voleon集团）
提出了一种基于三阶朗之万动力学的马尔可夫链蒙特卡罗（MCMC）算法，用于对数凹光滑密度分布的采样。高阶动力学允许更灵活的离散方案，我们开发了一种具体的方法，结合分裂更准确的整合。对于广泛的一类$d$ -维分布所产生的广义线性模型，我们证明了由此产生的三阶算法产生的样本从一个分布，这是最多$\varepsilon > 0$在瓦瑟斯坦距离距离从目标分布在$O\left(\frac{d^{1/4}}{ \varepsilon^{1/2}} \right)$步骤。这个结果只需要梯度上的Lipschitz条件。对于一般的强凸势函数，证明了其混合时标为$α$.
2020-05-26 cs.DS cs.LG math.OC
Accelerated primal-dual dynamical systems for convex optimization with nonlinear inequality constraints
School of Science, Xihua University（西华大学理学院）
针对带非线性不等式约束的凸优化，提出首个Nesterov型原始-对偶乘子框架，构造带Nesterov型消失阻尼的连续时间动力学并导出不精确加速算法，证明其可达𝒪(t⁻²)及𝒪(k⁻²)的收敛速率。
2026-11-10 cs.NA math.NA math.OC
The connections between Lyapunov functions for some optimization algorithms and differential equations
本文研究了一类二阶阻尼微分方程的性质、离散化及其与$m$ -强凸函数和$L$ -光滑函数的加速优化算法的联系.特别是，使用线性矩阵不等式LMI框架开发的\emph{Fazlyab et. al. $(2018)$}，我们推导出解析的（离散）李雅普诺夫函数的两个参数的家庭Nesterov最优化方法，它允许其收敛速度的完整表征。在适当的限制，这一系列的方法可以被看作是一个家庭的二阶常微分方程，我们构造（连续）李雅普诺夫函数的LMI框架的离散化。连续的李雅普诺夫函数也可以通过研究其离散对应物的极限行为来获得。最后，我们表明，大多数的常微分方程的家庭，如重球方法的典型离散化，不具备李雅普诺夫函数的性质类似于这里构造的Nesterov方法的李雅普诺夫函数。
2021-01-11 cs.LG cs.NA math.NA
