Accelerated meta-algorithm for convex optimization
我们提出了一个加速的元算法，它允许获得加速方法的凸无约束极小化在不同的设置。作为一般计划的应用，我们提出了几乎最优的方法，最小化光滑函数与Lipschitz导数的任意阶，以及光滑极小极大最优化问题。所提出的元算法比文献中的元算法更通用，并且允许在多种设置中获得更好的收敛速度和实际性能。
2020-11-04 math.OC
Variational Image Motion Estimation by Accelerated Dual Optimization
光流估计是计算机视觉中最有趣的问题之一，它估计两幅连续图像之间像素位移的基本信息。针对全变分正则化光流估计这一具有挑战性的非光滑最优化问题，提出了一种高效的对偶优化框架。在理论上，提出的对偶优化框架带来了一个优雅的变分分析给定的困难最优化问题，同时提出了一个有效的算法方案，而不直接处理相应的非光滑数值。通过引入有效的预处理器与多尺度实现，所提出的加速双重优化方法实现了竞争力的图像运动估计结果，与国家的最先进的方法相比。此外，我们表明，所提出的预条件可以保证实现的数值方案的收敛性与高效率。
2021-10-02 math.OC
Accelerated Prox-Level Methods for Unknown Piecewise-Smooth Optimization II: Function-constrained Optimization
Purdue University（普渡大学）
本文提出重启式惩罚APEX算法，用于求解未知分段光滑的凸函数约束优化问题，该算法可在无需知晓增长模或精确惩罚系数的情况下达到最优预言复杂度，还能生成界定最优性间隙与约束违反量的新可验证证书。
2026-09-04 math.OC
Hamiltonian Descent Algorithms for Optimization: Accelerated Rates via Randomized Integration Time
本文提出随机化积分时间的哈密顿下降算法RHGD，证明其在光滑强凸和弱凸优化中达到与Nesterov加速梯度下降相同的加速收敛速率，并在实验中展现竞争力。
2025-09-17 cs.LG math.OC stat.ML
Dynamical Primal-Dual Accelerated Method with Applications to Network Optimization
针对一类带仿射等式约束的凸优化问题，提出了一种带阻尼系数的连续时间原-对偶加速算法。本文分析了该方法中参数的临界值，并证明了通过选择合适的参数，以对偶间隙函数表示的收敛速率为$O(\tfrac{1}{t^2})$。据我们所知，这是第一个连续时间的原始-对偶加速方法，可以获得最优的速度。然后将该方法应用于两个网络最优化问题，一个带一致性约束的分布式最优化问题和一个分布式扩展单变量最优化问题，得到了两种不同的分布式算法。最后，通过数值模拟验证了该方法的有效性.
2022-02-15 math.OC
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化，提出一种保证变量可行性的光滑加速投影梯度方法，通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率，并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
Accelerated primal-dual methods for linearly constrained convex optimization problems
提出了一个求解仿射约束凸优化的加速原-对偶动力系统，并给出了一类具有非遍历收敛速度的原-对偶方法。在连续层，建立了一个新的指数衰减的李雅普诺夫函数，在离散层，依次考虑了连续模型的隐式、半隐式和显式数值离散，从而得到了求解线性约束最优化问题的新的加速原-对偶方法.这些方案中的子问题的特殊结构被用来开发有效的内部求解器。此外，通过一个定制的离散李雅普诺夫函数，证明了非遍历收敛速度的原始-对偶间隙，原始目标残差和可行性违反。此外，我们的方法也被应用到分散的分布式优化快速和有效解。
2022-04-09 math.OC
Accelerated Infeasibility Detection of Constrained Optimization and Fixed-Point Iterations
随着一阶最优化方法成为解决大规模最优化问题的首选方法，正在构建基于一阶算法的优化求解器。这样的通用求解器必须鲁棒地检测不可行的或错误指定的问题实例，但这样做的一阶方法的计算复杂性还没有被正式研究。在这项工作中，我们的特点是最佳加速率的不可行性检测。我们表明，标准的不动点迭代达到$\mathcal{O}(1/k^2)$和$\mathcal{O}(1/k)$率，分别在归一化迭代和不动点残差收敛到无穷大位移向量，而加速的不动点迭代达到$\mathcal{O}(1/k^2)$和$\tilde{\mathcal{O}}(1/k^2)$率。然后，我们提供了一个匹配的复杂度下界，以建立$Θ(1/k^2)$确实是最佳的加速率。
2023-03-28 math.OC
Accelerated differential inclusion for convex optimization
本文提出了一个求解无约束凸优化的二阶微分包含。在连续水平下，得到了解的存在性，并得到了一个新的李雅普诺夫函数随解的轨迹指数衰减。然后在离散层，基于连续模型的数值离散化，提出了两种非精确邻近点法，并通过离散的李雅普诺夫函数建立了新的收敛速度。
2022-02-28 math.OC
Accelerated Convex Optimization with Stochastic Gradients: Generalizing the Strong-Growth Condition
本文给出了随机梯度不减慢Nesterov加速梯度法收敛速度的一个充分条件。新的条件具有Schmidt \& Roux的强增长条件作为特例，并且它还允许我们（i）对具有约束的问题进行建模，以及（ii）设计新类型的预言机（例如，有限和问题的预言，如SAGA）。我们的结果是通过重新访问Nesterov的加速算法，并在不改变基本的一阶方法的情况下，设计随机预言机是有用的。
2022-07-24 math.OC
Adaptive Accelerated Gradient Descent Methods for Convex Optimization
University of California, Irvine（加州大学尔湾分校）
本文提出A$^2$GD方法，通过自适应步长和动量加速，在凸优化中实现更高效的梯度下降算法。
2026-02-08 math.OC
Accelerated Gradient Methods for Geodesically Convex Optimization: Tractable Algorithms and Convergence Analysis
本文扩展Nesterov加速梯度方法，提出首个用于黎曼测地凸优化的完全加速一阶算法，在标准假设下达到与欧氏空间相同的迭代复杂度，并利用度量扭曲引理和势函数完成收敛性分析。
2025-08-09 math.OC
On Accelerated Methods in Optimization
在凸优化中，存在{ \em加速}现象，其中我们可以提高某些基于梯度的算法的收敛速度。我们可以在Nesterov的加速梯度下降法、加速镜像下降法和加速正则化牛顿法等方法中观察到这种现象。在本文中，我们表明，家庭的高阶梯度法在离散时间（广义梯度下降）对应于家庭的一阶重标度梯度流在连续时间。另一方面，{ \em加速}高阶梯度法（广义加速镜像下降法）族对应于连续时间中的二阶微分方程族，每个微分方程族都是拉格朗日泛函族的欧拉-拉格朗日方程。我们还研究了Nesterov拉格朗日量的指数变量，它对应于Nesterov的重新启动计划的推广，并实现了离散时间的线性收敛速率。最后，我们证明了拉格朗日族在时间膨胀（加速时间作用下的轨道）下是封闭的，这表明了拉格朗日加速观在优化中的普遍性。
2015-09-11 math.OC
A universal accelerated primal-dual method for convex optimization problems
提出了一种求解仿射约束凸优化问题的加速一阶原-对偶方法。它可以处理Lipschitz和Hölder梯度，但不需要知道目标函数的平滑度。在线搜索部分，它使用动态递减的参数，并产生近似的Lipschitz常数与适度的大小。此外，基于适当的离散李雅普诺夫函数和一些微分/差分不等式的紧衰减估计，建立了一个通用的最优混合型收敛速度.一些数值试验证实了所提出的方法的有效性。
2022-11-08 math.OC
Boosting Accelerated Proximal Gradient Method with Adaptive Sampling for Stochastic Composite Optimization
本文提出带自适应采样的 adaNAPG 算法以增强随机复合优化中的 NAPG，并证明其达到最优迭代与样本复杂度，且迭代序列满足中心极限定理。
2025-07-24 math.OC
Accelerated Prox-Level Methods for Unknown Piecewise-Smooth Optimization I: Convex Optimization
School of Industrial Engineering, Purdue University（普渡大学工业工程学院）
针对未知分段光滑凸函数在二次增长条件下的优化问题，提出加速近端水平方法APEX，实现最优一阶复杂度并提供可验证终止证书。
2026-06-02 math.OC
Accelerated Particle Swarm Optimization and Support Vector Machine for Business Optimization and Applications
业务优化变得越来越重要，因为所有的业务活动都旨在在有限的资源和适当的约束条件下最大限度地提高产品和服务的利润和性能。支持向量机和元分析的最新发展显示了这些技术的许多优点。特别地，粒子群优化现在被广泛用于解决棘手的最优化问题。在本文中，我们使用最近开发的加速粒子群算法和非线性支持向量机的组合，形成一个框架，解决业务最优化问题。我们首先将所提出的APSO-SVM应用于生产优化，然后将其用于收入预测和项目调度。我们还进行了一些参数研究，并讨论了建议的元启发式SVM的优点。
2012-03-29 math.OC
An Accelerated Asynchronous Distributed Method for Convex Constrained Optimization Problems
考虑了一类带有局部非线性凸约束的多智能体协作共识最优化问题，其中只有通过边连接的智能体可以直接通信，因此最优共识决策位于这些私有集的交集中.我们开发了一个异步分布式加速原始对偶法来解决所考虑的问题。该计划是第一个异步方法，这类问题的最佳收敛保证，据我们所知。特别是，我们提供了一个最佳的收敛速度的$\mathcal{O(1/K)}$次优，不可行性，共识违反。
2023-02-21 math.OC
Accelerated Backward Forward Method for Convex Optimization
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所）
本文提出一种加速反向前向方法用于求解凸组合优化问题，通过调整近端算子位置，证明了在凸和强凸情况下函数值的快速收敛性和线性收敛性。
2026-04-29 math.OC
An Accelerated Second-Order Method for Distributed Stochastic Optimization
我们考虑分布式随机最优化问题，解决了主/工人计算架构。统计参数允许利用统计相似性和近似这个问题的有限和问题，为此，我们提出了一个不精确的加速的正则化牛顿法，实现了较低的通信复杂度的限制，这种设置，并改善现有的上界。我们进一步利用这个算法，以获得收敛速度界为原来的随机最优化问题，并比较我们的界限与现有的界限在几个政权时，目标是最大限度地减少通信轮数和增加的并行化，通过增加工人的数量。
2021-03-26 math.OC
Accelerated Optimization With Orthogonality Constraints
我们开发了一个推广的Nesterov的加速梯度下降法，旨在处理正交约束。为了证明我们的方法的有效性，我们进行了数值实验，表明迭代次数的规模与条件数的平方根，并与现有的最先进的拟牛顿法的Stiefel流形上进行比较。我们的实验表明，我们的方法优于现有的国家的最先进的拟牛顿法对一些大的，病态的问题。
2021-01-06 math.OC
Accelerated Distance-adaptive Methods for Hölder Smooth and Convex Optimization
本文提出无参数加速距离自适应方法，解决Hölder光滑凸优化问题，无需先验参数或目标精度，实现最优随时收敛率，并扩展至随机优化，实验验证其有效性。
2025-10-25 math.OC
Accelerated Optimization on Riemannian Manifolds via Projected Variational Integrators
通过考虑一类特定的含时Bregman Lagrange和哈密顿系统，引入了赋范空间上加速优化的变分形式，其相应的轨迹以任意加速率$\mathcal{O}(1/t^p)$收敛于给定凸函数的极小值.这个框架已被利用时间自适应几何积分设计高效的显式算法辛加速优化。据观察，几何离散化基本上不太容易出现稳定性问题，因此更加鲁棒、可靠和计算效率更高。最近，这个变分框架已被扩展到黎曼流形设置考虑一个更一般的家庭的时间依赖的布雷格曼拉格朗日和哈密顿系统的黎曼流形。因此，发展时间自适应的哈密顿变分积分器来加速黎曼流形上的优化是很自然的。在过去，哈密顿变分积分器已被构造完整约束，但由此产生的算法是隐式的性质，这显着增加了他们的每次迭代的成本。在本文中，我们将测试显式方法的性能的基础上，结合投影约束的数值解保持在约束流形上的哈密尔顿变分积分。
2022-01-09 math.OC
Point Convergence Analysis of the Accelerated Gradient Method for Multiobjective Optimization: Continuous and Discrete
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学 重庆应用数学中心）
本文针对多目标优化加速梯度法的点收敛性公开问题，分别证明α=3时连续MAVD系统轨迹、所提离散MAG-GM方法生成序列均收敛至弱帕累托最优解。
2025-11-13 math.OC
A Doubly Accelerated Inexact Proximal Point Method for Nonconvex Composite Optimization Problems
本文描述并建立了求解目标函数为$f+h$形式的非凸复合极小化问题的双加速非精确邻近点（D-AIPP）方法的迭代复杂性，其中$f$是梯度为Lipschitz连续的（可能非凸）可微函数，$h$是有界区域的闭凸函数. D-AIPP执行两种类型的迭代，即内部迭代和外部迭代。其外迭代对应于加速的不精确邻近点格式。它的内迭代是由加速复合梯度法执行的，用于不精确地求解在外迭代期间产生的凸邻近子问题。因此，D-AIPP采用内部加速度和外部加速度。
2018-12-18 math.OC
Accelerated Inexact Composite Gradient Methods for Nonconvex Spectral Optimization Problems
针对一类非凸谱复合最优化问题，提出了两种不精确复合梯度法，一种是内加速法，另一种是双加速法。更具体地说，这些问题的目标函数是$f_1 + f_2 + h$的形式，其中$f_1$和$f_2$是具有Lipschitz连续梯度的可微非凸矩阵函数，$h$是适当的闭凸矩阵函数，并且$f_2$和$h$都可以表示为对它们的输入的奇异值进行运算的函数。该方法基本上使用加速复合梯度法来解决一系列的近端子问题，涉及的线性逼近的$f_1$和奇异值函数的基础$f_2$和$h$。与其他基于复合梯度的方法不同，所提出的方法利用了目标函数的复合结构和谱结构，以有效地生成它们的解决方案。数值实验表明，这些方法的实用性，一组现实世界和随机生成的谱最优化问题。
2022-05-03 math.OC
Inexact-Proximal Accelerated Gradient Method for Stochastic Nonconvex Constrained Optimization Problems
具有非线性约束的随机非凸最优化问题在智能交通、网络安全和智能电网等领域有着广泛的应用。本文首先提出了一种非精确邻近加速梯度法来求解一类非凸随机复合最优化问题，其中目标函数为光滑函数和非光滑函数之和，约束函数为确定性函数，且每次迭代时非光滑部分的邻近映射的解是不精确计算的.我们证明了一个渐进的次线性收敛速度收敛速率随机设置使用增加的样本大小考虑在邻近的操作员的错误减少在一个适当的速度。然后，我们定制所提出的方法来解决随机非凸最优化问题与非线性约束，并证明了收敛速度保证。数值结果表明了该算法的有效性。
2021-07-07 math.OC
Distributed accelerated proximal conjugate gradient methods for multi-agent constrained optimization problems
针对多智能体约束优化问题，提出两类结合近似、共轭梯度与Halpern方法的惯性加速分布式近似共轭梯度算法，并通过数值实验验证了方法有效性。
2024-06-20 math.OC
Fast Accelerated Proximal Gradient Method with New Extrapolation Term for Multiobjective Optimization
本文提出一种带新外推项的加速近端梯度算法用于多目标优化，证明其具有次线性收敛速率，并通过数值实验验证了方法的有效性。
2025-10-16 math.OC
Adaptive Accelerated Gradient Method for Smooth Convex Optimization
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机与人工智能研究所）
本文提出了一种自适应加速梯度法，用于解决光滑凸优化问题，通过局部估计光滑性常数自适应调整步长，实现函数值的快速收敛。
2025-12-23 math.OC
Analytical Convergence Regions of Accelerated Gradient Descent in Nonconvex Optimization under Regularity Condition
利用鲁棒控制理论来分析和设计优化和机器学习算法的兴趣越来越大。研究了一类费用函数满足正则性条件的非凸最优化问题。经验研究表明，加速梯度下降（AGD）算法（例如Nesterov的加速和Heavy-ball）与适当的初始化通常在实践中工作得很好。然而，这种AGD算法的收敛性在文献中很大程度上是未知的。本文的主要贡献是通过鲁棒控制工具分析了RC下AGD的收敛区域。由于这种最优化问题经常出现在许多应用中，如相位恢复，神经网络的训练和矩阵传感器，我们的结果表明，在这些领域的鲁棒控制理论的承诺。
2019-12-09 math.OC
Accelerated Convex Optimization via Hamiltonian Dynamics with Deterministic Integration Time
Department of Computer Science, Yale University（耶鲁大学计算机科学系）；Department of EECS, Massachusetts Institute of Technology（麻省理工学院电子工程与计算机科学系）
提出基于哈密顿动力学的平滑凸优化算法，通过利用平均哈密顿流轨迹的收缩而非端点收缩，实现确定性加速收敛，并推导出具有最优一阶复杂度的离散实现。
2026-06-17 cs.LG math.OC stat.ML
Unifying restart accelerated gradient and proximal bundle methods
本文提出一种重启版 Nesterov 加速梯度法并证明其最优复杂度，同时将该方法与近似束方法统一纳入加速不精确近似点框架。
2025-01-07 math.OC
Accelerated Proximal Gradient Method with Backtracking for Multiobjective Optimization
本文针对多目标优化中Lipschitz常数未知问题，提出基于FISTA的回溯策略，允许参数非递增更新，并在温和假设下证明算法达到$O(1/k^2)$收敛速率。
2024-12-30 math.OC
Variational Symplectic Accelerated Optimization on Lie Groups
由于Nesterov加速梯度下降算法与标准梯度下降算法相比具有更好的性能保证，并且适用于深度学习中出现的大规模最优化问题，因此对Nesterov加速梯度下降算法的推广产生了极大的兴趣。一个特别富有成效的方法是基于数值离散的微分方程，描述了连续的时间限制的Nesterov算法，并概括涉及时间相关的布雷格曼拉格朗日和哈密顿动力学，收敛在一个任意快的速度到最小值。基于李群上Bregman拉格朗日量的扩展道路空间形式，提出了一种李群变分离散方法，并以姿态确定和基于视觉的定位为例，分析了其计算特性.
2021-03-25 math.OC
Smoothing Accelerated Proximal Gradient Method with Fast Convergence Rate for Nonsmooth Multi-objective Optimization
本文提出带外推项的平滑加速近端梯度法（SAPGM）求解非光滑多目标优化，通过引入特定外推项将收敛速率提升至 $o(\ln^σk/k)$，并证明迭代序列收敛到Pareto最优解，数值实验验证了方法有效性。
2024-10-18 math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日（AIDAL）方法。AIDAL方法的每次迭代包括：（i）通过调用加速复合梯度（ACG）子例程不精确地求解阻尼近端增广拉格朗日（AL）子问题;（ii）应用阻尼和欠松弛拉格朗日乘子更新;以及（iii）使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下，涉及阻尼因子和下松弛常数，它表明，AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序，对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
ADD-OPT: Accelerated Distributed Directed Optimization
在本文中，我们考虑分布式最优化问题的目标是最小化的总和目标函数在多智能体网络。我们专注于代理间通信的情况下，描述了一个强连接，\emph{directed}图。所提出的算法，ADD-OPT（加速分布式定向优化），实现了这类问题的最佳已知的收敛速度，~ $O(μ^{k}),0<μ<1$，给定强凸，目标函数的全局Lipschitz连续梯度，其中~ $k$是迭代次数。此外，ADD-OPT支持更广泛和更现实的步长范围与现有的工作。特别是，我们表明，ADD-OPT收敛任意小（正）步长。仿真结果进一步说明了我们的结果。
2017-08-06 math.OC
Inertial accelerated primal-dual algorithms for non-smooth convex optimization problems with linear equality constraints
Chongqing University（重庆大学）；Chongqing Technology and Business University（重庆工商大学）；Sunway University（双威大学）
本文提出一种基于二阶微分系统的时间缩放的惯性加速对偶算法，用于求解具有线性等式约束的非光滑凸优化问题，证明了该算法在对偶间隙、可行性违反和目标残差上的快速收敛性，并通过数值实验验证了其有效性。
2026-03-05 math.OC
Inertial dynamical systems and accelerated algorithms with implicit Hessian-driven damping for nonconvex optimization
Chongqing Technology and Business University（重庆工商大学）；Sichuan University（四川大学）
本文提出了一种基于隐式Hessian驱动阻尼的惯性动力系统，用于解决强拟凸优化问题，并通过显式时间离散化和扰动项设计，实现了加速算法并验证了其收敛性。
2026-02-26 math.OC
An Optimal Control Theory for Accelerated Optimization
一般非线性最优化问题的一阶最优性条件被生成为最优控制问题的终端横截性条件的一部分。证明了最优化问题的拉格朗日量与最优控制问题的哈密顿量通过一个零哈密顿量的无限阶奇异弧相连接。奇异最优控制问题的必要条件用于产生辅助可控动力系统，其轨迹生成最优化问题的算法原语。通过半离散化步骤，设计了一种遗传算法的三步迭代映射。既不需要显式地导出反馈控制律，也不需要显式地导出控制算法的微分方程。一个搜索方向是由一个近端瞄准型的方法，消散控制李雅普诺夫函数。新的步长程序的基础上最小化控制李雅普诺夫函数沿搜索向量完成的加速算法的设计。
2022-03-15 math.OC
HNAG$^{++}$: An Accelerated Gradient Method with a Refined Asymptotic Rate for Strongly Convex Optimization
University of California, Irvine（加州大学尔湾分校）
针对光滑强凸优化问题，提出两种加速一阶方法HNAG$^+$和HNAG$^{++}$，通过优化HNAG流的强制常数并使用精细的Lyapunov分析，证明HNAG$^+$达到最优全局速率$1-2/\sqrtκ$，而HNAG$^{++}$在局部渐近对称函数类上达到已知最佳渐近速率$1-2\sqrt{2/κ}$。
2026-07-15 math.OC
Accelerated optimization algorithms and ordinary differential equations: the convex non Euclidean case
Departamento de Matemáticas, Universidad Carlos III de Madrid（马德里卡洛斯三世大学数学系）
本文研究了常微分方程与优化算法在非欧几里得设置下的联系，提出了一种新的加速算法用于凸函数在凸约束集上的最小化，该算法是Nesterov加速梯度下降法在非欧几里得设置下的自然推广，并可解释为加法Runge-Kutta算法。
2026-03-27 math.OC
Inducing Uniform Asymptotic Stability in Non-Autonomous Accelerated Optimization Dynamics via Hybrid Regularization
近年来，人们从动力系统的角度研究了加速优化算法。在本文中，我们专注于这些动态的时变连续时间版本的鲁棒性。这些属性是至关重要的基于反馈的控制和优化架构的加速算法的实施。我们表明，一个家庭的动态Nesterov的加速梯度法的连续时间限制下，可以呈现不稳定的任意小的有界扰动。事实上，虽然这些动态的解决方案可能会收敛到优化器的集合，但一般来说，这个集合可能不是一致渐近稳定的。为了诱导均匀性和鲁棒性作为副产品，我们提出了一个框架，在这里我们正则化的动态使用复位机制，建模的适定性混合动力系统。对于这些混合动力学，我们建立一致的渐近稳定性和鲁棒性，以及收敛速度，是类似的非混合动力学。我们完成了一个家庭的离散化机制，保留主要的稳定性和鲁棒性的混合算法的特点。
2019-10-03 math.OC
A Variational Formulation of Accelerated Optimization on Riemannian Manifolds
最近，Su等人（2016）证明了Nesterov的加速梯度法用于最小化光滑凸函数$f$可以被认为是二阶常微分方程的时间离散化，并且$f(x(t))$沿着该常微分方程的任何轨迹$x(t)$以$\mathcal{O}(1/t^2)$的速率收敛到其最优值。Wibisono等人（2016）引入了一种变分公式，该公式允许在赋范向量空间中以$\mathcal{O}(1/t^p)$的速率加速收敛，对于任意$p>0$。Duruisseaux等人（2021）利用这个框架来设计辛加速优化的有效显式算法。在Alimisis等人（2020）中，提出了一个二阶常微分方程作为黎曼加速算法的连续时间极限，并证明了目标函数$f(x(t))$沿着该常微分方程的解以$\mathcal{O}(1/t^2)$的速率收敛到其最优值。本文通过研究黎曼流形上一类含时Bregman Lagrange系统和哈密顿系统，证明了在黎曼流形上$f(x(t))$到其最优值的收敛速度也可以加速到任意的收敛速度$\mathcal{O}(1/t^p)$.这将Wibisono et al.（2016）的结果推广到了黎曼流形，并为黎曼流形的加速优化提供了一个变分框架。在Duruisseaux et al.（2021）中，基于Bregman Lagrangians和Hamilton族的时间不变性的方法被用于构造非常有效的优化算法，并且我们在黎曼设置中…
2022-01-15 math.OC
Accelerated Stochastic Zeroth-Order Quasar-Convex Optimization
Institut de Mathématiques de Bordeaux, Université de Bordeaux（波尔多数学研究所，波尔多大学）
研究在仅通过随机零阶预言机获取有噪声函数评估时，对光滑拟凸函数进行无约束最小化的问题。设计零阶连续化算法，实现加速收敛保证，包含镜像步骤改善维度依赖性。
2026-07-23 math.OC
Accelerated Gradient Methods Through Variable and Operator Splitting
Department of Mathematics, University of California at Irvine（加州大学欧文分校数学系）；National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学重庆应用数学中心）；Chongqing Research Institute of Big Data, Peking University（北京大学重庆大数据研究院）；Department of Applied Mathematics, The Hong Kong Polytechnic University（香港理工大学应用数学系）
本文提出基于变量与算子分裂的统一加速梯度框架，利用强Lyapunov函数、加速超松弛和预测-校正外推等技术，有效处理凸优化、复合凸优化及双线性耦合鞍点问题。
2026-11-03 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题，其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符，或者具有可以使用[Nesterov，2005]中的平滑技术的最大结构。为了解决这类问题，我们提出了一个自适应平滑小批量随机加速梯度（AdaSMSAG）方法，它结合了随机逼近方法，Nesterov的加速梯度法，和平滑方法，允许一般平滑近似。建立了该方法的收敛性。此外，最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明，建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日（IPAAL）方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由一个合适的拉格朗日乘子更新。结果表明，IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代，其中$ρ>0$是给定的公差。它还表明，以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行，也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
Practical Perspectives on Symplectic Accelerated Optimization
本文探讨了辛加速优化算法的实用改进方法，通过动量重启方案减少振荡、时间循环避免数值精度不稳定，并比较几何积分技术以简化调参，显著提升了算法的计算效率、稳定性和鲁棒性。
2023-05-18 math.OC
Accelerated Primal-Dual Algorithm for Distributed Non-convex Optimization
本文研究了非凸问题分布式优化算法的加速收敛问题。我们提出了一个分布式的原始-对偶随机梯度下降~（SGD）配备了“强力球”方法来加速。我们表明，该算法实现了一般光滑（可能非凸）费用函数的线性加速收敛速度$\mathcal{O}(1/\sqrt{nT})$。我们通过在MNIST数据集上训练两层全连接神经网络和卷积神经网络，与最先进的分布式SGD算法和集中式SGD算法进行比较，通过数值实验证明了该算法的效率。
2021-10-13 math.OC
The convergence rate of the accelerated proximal gradient algorithm for Multiobjective Optimization is faster than $O(1/k^2)$
针对多目标优化，本文改进 Tanabe 等人的加速近似梯度算法，利用新的外推项将收敛速率从 $O(1/k^2)$ 提升至 $o(1/k^2)$，并给出同速率的非精确版本。
2023-12-12 math.OC
An Accelerated Method For Decentralized Distributed Stochastic Optimization Over Time-Varying Graphs
我们考虑一个分布式的随机最优化问题，解决了一个分散的网络的代理与相邻的代理之间只有本地通信。整个系统的目标是最小化一个全局目标函数，该函数是由每个代理持有的局部目标之和。每个局部目标被定义为一个凸光滑随机函数的期望值，并允许代理对该函数的随机梯度进行采样。对于这种设置，我们提出了第一个加速（在Nesterov的加速意义上）的方法，同时达到最佳的对数因子通信和Oracle的复杂性边界光滑强凸分布随机最优化。我们还考虑的情况下，当通信图被允许随时间变化，并获得我们的算法的复杂性界限，这是第一个上复杂性界限，在文献中的设置。
2022-11-09 math.OC
GPU-accelerated dynamic nonlinear optimization with ExaModels and MadNLP
本研究利用ExaModels自动微分工具与MadNLP内点求解器，结合基于NVIDIA cuDSS的混合线性求解器实现GPU加速动态非线性优化，在经典精馏柱最大算例上将单迭代时间缩短24倍。
2024-09-12 math.OC
