Accelerated Primal-dual Scheme for a Class of Stochastic Nonconvex-concave Saddle Point Problems
本文针对目标函数满足 Polyak-Łojasiewicz 条件的非凸-凹鞍点问题，提出了一种单循环加速原始-对偶算法，在随机和确定性环境下分别实现了 $\mathcal O(ε^{-4})$ 和 $\mathcal O(ε^{-2})$ 的收敛速率。
2023-09-11 math.OC
Non-ergodic convergence rate of an inertial accelerated primal-dual algorithm for saddle point problems
针对具有复合结构的凸-凹鞍点问题，提出基于Nesterov外推的惯性加速原始-对偶算法，证明其非遍历收敛速率为$\mathcal{O}(1/k^2)$，数值实验验证了算法效率。
2024-04-16 math.OC
A Stochastic Variance-reduced Accelerated Primal-dual Method for Finite-sum Saddle-point Problems
本文提出了一种求解具有有限和结构和非双线性耦合函数的凸凹鞍点问题的带Bregman距离的方差缩减原始对偶法。这种类型的问题通常出现在机器学习和对策论中。在一些标准假设下，证明了该算法分别以$O\left(\frac{\sqrt n}ε\right)$和$O\left(\frac{n}{\sqrt ε}+\frac{1}{ε^{1.5}}\right)$的预言复杂度收敛，其中$n$是函数分量的个数.与现有的方法相比，我们的框架产生了显着的改善所需的原始-对偶梯度样本的数量，以实现$ε$ -原始-对偶差距的准确性。我们测试了我们的方法求解分布鲁棒最优化问题，以显示算法的有效性。
2021-06-01 math.OC
Accelerated Multiplicative Weights Update Avoids Saddle Points almost always
Shanghai University of Finance and Economics（上海财经大学）；University of California, Irvine（加州大学欧文分校）
考虑约束为单形乘积的非凸优化问题。解决这类问题的常用算法是乘法权重更新（MWU），这是一种广泛用于对策论、机器学习和多智能体系统的算法。尽管已经知道MWU避免了鞍点，但仍有一个问题未得到解决：“是否存在可证明避免鞍点的MWU加速版本？“在本文中，我们对上述问题提供了肯定的回答。我们提出了一个基于黎曼加速梯度下降的加速MWU，并证明了黎曼加速梯度下降，从而加速MWU，几乎总是避免鞍点。
2022-04-25 cs.LG cs.MA math.OC
Robust Accelerated Primal-Dual Methods for Computing Saddle Points
本文提出随机加速原始-对偶（SAPD）算法求解强凸-强凹鞍点问题，通过优化步长和动量参数实现收敛速率与噪声鲁棒性的Pareto最优权衡，并给出重启策略及在分布鲁棒逻辑回归上的验证。
2024-09-01 math.OC
Accelerated Inexact First-Order Methods for Solving Nonconvex Composite Optimization Problems
本论文的重点是发展和分析加速和不精确的一阶方法来解决或找到各种非凸复合优化（NCO）问题的稳定点。主要工具来自于变分和凸分析，主要结果是迭代复杂性界的形式，以及这些界与文献中其他界的比较。
2021-12-26 math.OC
An Accelerated Composite Gradient Method for Large-scale Composite Objective Problems
我们引入了一个框架，我们表示为增广估计序列，推导出快速算法可证明收敛保证。我们使用这个框架来构造一个新的一阶格式，加速复合梯度法（ACGM），复合目标结构的大规模问题。ACGM超越了国家的最先进的方法，这类问题的可证明的收敛速度，无论是在强和非强凸的情况下，并赋予了一个有效的步长搜索过程。我们支持我们的新方法的有效性与仿真结果。
2017-04-05 math.OC
An accelerated minimax algorithm for convex-concave saddle point problems with nonsmooth coupling function
在这项工作中，我们的目标是解决一个凹凸鞍点问题，凹凸耦合函数是光滑的一个变量和非光滑的，并不假设是线性的。这个问题是增加了一个非光滑正则化的光滑组件。我们提出并研究了一种名为OGAProx的新型算法，该算法由平滑变量中的乐观梯度上升步骤与正则化器的近端步骤耦合组成，并且与耦合函数的非平滑分量中的{近端步骤}交替。我们考虑了与所研究的鞍点问题相关的凸-凹、凸-强凹和强凸-强凹情形。关于迭代，我们得到（弱）收敛，收敛速度的顺序$ \mathcal{O}(\frac{1}{K}) $和线性收敛像$\mathcal{O}(θ^{K})$与$ θ< 1 $，分别。在函数值方面，我们分别得到了$ \mathcal{O}(\frac{1}{K}) $，$ \mathcal{O}(\frac{1}{K^{2}}) $和$ \mathcal{O}(θ^{K}) $与$ θ< 1 $阶的遍历收敛速度.我们验证了我们的理论考虑非光滑线性鞍点问题，多核支持向量机的训练和分类问题，将极大极小组公平。
2021-08-06 math.OC
Behavior of Accelerated Gradient Methods Near Critical Points of Nonconvex Functions
我们研究了加速梯度法在光滑非凸无约束优化中的行为，特别关注它们在严格鞍点附近的行为。加速方法是迭代法，其通常沿着作为前一步和在当前步长处或附近的点处评估的函数的梯度的线性组合的方向步进。(The前一步骤对来自迭代过程中的较早阶段的梯度信息进行编码。我们表明，通过稳定的流形定理，重球方法是不可能收敛到严格的鞍点，这是点的目标的梯度为零，但Hessian至少有一个负特征值。然后，我们研究了重球法和其他加速梯度法在非凸二次函数的严格鞍点附近的行为，表明这两种方法可以从这一点比最速下降法更快地发散。
2018-10-08 math.OC
Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文研究了凸-凹鞍点问题$\min_x \max_y f(x) + y^T \mathbf{A} x - g(y)$，其中$f(x)$和$g(y)$是光滑的凸函数.我们提出了一种用于解决该问题的加速原始-对偶梯度法（APDG），实现了（i）在强凸-强凹区域中的最佳线性收敛速率，匹配较低的复杂度界限（Zhang等人，2021），以及（ii）当函数$f(x)$和$g(y)$中只有一个是强凸或者甚至它们都不是强凸时的加速线性收敛速率。最后，在不要求强凸性或强收敛性的条件下，得到了一般光滑凸凹鞍点问题$\min_x \max_y F(x,y)$的线性收敛算法。
2022-03-09 cs.LG math.OC
Accelerated Inexact Composite Gradient Methods for Nonconvex Spectral Optimization Problems
针对一类非凸谱复合最优化问题，提出了两种不精确复合梯度法，一种是内加速法，另一种是双加速法。更具体地说，这些问题的目标函数是$f_1 + f_2 + h$的形式，其中$f_1$和$f_2$是具有Lipschitz连续梯度的可微非凸矩阵函数，$h$是适当的闭凸矩阵函数，并且$f_2$和$h$都可以表示为对它们的输入的奇异值进行运算的函数。该方法基本上使用加速复合梯度法来解决一系列的近端子问题，涉及的线性逼近的$f_1$和奇异值函数的基础$f_2$和$h$。与其他基于复合梯度的方法不同，所提出的方法利用了目标函数的复合结构和谱结构，以有效地生成它们的解决方案。数值实验表明，这些方法的实用性，一组现实世界和随机生成的谱最优化问题。
2022-05-03 math.OC
A Doubly Accelerated Inexact Proximal Point Method for Nonconvex Composite Optimization Problems
本文描述并建立了求解目标函数为$f+h$形式的非凸复合极小化问题的双加速非精确邻近点（D-AIPP）方法的迭代复杂性，其中$f$是梯度为Lipschitz连续的（可能非凸）可微函数，$h$是有界区域的闭凸函数. D-AIPP执行两种类型的迭代，即内部迭代和外部迭代。其外迭代对应于加速的不精确邻近点格式。它的内迭代是由加速复合梯度法执行的，用于不精确地求解在外迭代期间产生的凸邻近子问题。因此，D-AIPP采用内部加速度和外部加速度。
2018-12-18 math.OC
Convex Synthesis of Accelerated Gradient Algorithms for Optimization and Saddle Point Problems using Lyapunov functions
本文研究了优化问题和鞍点问题的加速梯度算法的设计问题。目标函数类由广义扇形条件定义。这类函数包含具有Lipschitz梯度的强凸函数，但也包含非凸函数，这不仅允许解决最优化问题，而且允许解决鞍点问题。建议的设计过程依赖于一类合适的李雅普诺夫函数和凸半定规划。建议的合成允许设计的算法，达到最先进的加速梯度法和超越的性能。
2020-11-16 cs.SY eess.SY math.OC
Backtracking strategies for accelerated descent methods with smooth composite objectives
我们提出并分析了一种通用的快速迭代收缩/保持算法的回溯策略，该算法最近在（Chambolle，Pock，2016）中针对强凸目标函数提出。与经典的Armijo型线搜索不同，我们的回溯规则允许沿着迭代局部增大和减小下降步长（即邻近参数）。证明了这种策略的加速收敛速度，并给出了一些典型成像问题的数值结果。
2019-01-02 math.OC
Complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs
分析了求解线性约束非凸组合规划的二次罚加速不精确邻近点方法的迭代复杂性。更具体地，目标函数具有$f + h$的形式，其中$f$是梯度为Lipschitz连续的可微函数，而$h$是具有有界域的闭凸函数。该方法，基本上，包括应用加速不精确的邻近点法近似求解一系列的二次惩罚的线性约束问题的子问题。近似点法的每个子问题依次近似求解的加速复合梯度（ACG）方法。结果表明，该方案在最多${\cal{O}}(ρ^{-3})$ ACG迭代生成一个$ρ$ -近似稳定点。最后，数值结果表明所提出的方法的有效性。
2019-07-16 math.OC
Federated Composite Saddle Point Optimization
Purdue University（普渡大学）
针对联邦学习中鞍点问题现有方法难以处理约束与非光滑正则化的不足，提出首个涵盖鞍点优化与复合目标的联邦对偶外推算法FeDualEx，验证其有效性并给出串行版随机复合鞍点场景的全新收敛速率。
2023-05-25 cs.LG math.OC stat.ML
Boosting Accelerated Proximal Gradient Method with Adaptive Sampling for Stochastic Composite Optimization
本文提出带自适应采样的 adaNAPG 算法以增强随机复合优化中的 NAPG，并证明其达到最优迭代与样本复杂度，且迭代序列满足中心极限定理。
2025-07-24 math.OC
An Average Curvature Accelerated Composite Gradient Method for Nonconvex Smooth Composite Optimization Problems
本文提出了一种求解非凸光滑复合极小化问题的加速复合梯度（ACG）方法，简称AC-ACG方法。与基于已知Lipschitz梯度常数或最大观测曲率序列的众所周知的ACG变体相反，当前的ACG变体基于所有过去观测曲率的平均值。更具体地说，AC-ACG使用直到上一次迭代为止的所有观测到的曲率的平均值的正倍数作为估计当前点处的“函数曲率”的方式，然后使用两个预解式评估来计算下一个曲率。与其他变量Lipschitz估计变体相比，例如，基于最大曲率的那些，AC-ACG总是接受前述的误差，而不管Lipschitz估计结果有多差。最后，计算结果表明，AC-ACG的效率随机生成和现实世界的问题实例。
2020-10-29 math.OC
Accelerated gradient sliding for structured convex optimization
本文的主要目的是证明梯度下降型方法可以跳过梯度计算，应用于某些结构化凸规划（CP）问题。为此，我们首先提出了一个加速梯度滑动（AGS）方法，用于极小化两个光滑凸函数的总和具有不同的Lipschitz常数。我们表明，AGS方法可以跳过梯度计算这些光滑的组件之一，而不会减慢整体的最佳收敛速率。这个结果比经典的黑盒CP复杂度结果更尖锐，特别是当与这些组件相关联的两个Lipschitz常数之间的差异很大时。然后考虑一类重要的双线性鞍点问题，其目标函数由一个光滑分支和一个具有双线性鞍点结构的非光滑分支之和给出。使用上述用于平滑复合优化的AGS方法和Nesterov的平滑技术，我们表明只需对平滑分量进行${\cal O}(1/\sqrtε)$梯度计算，同时仍然保留最佳的${\cal O}(1/ε)$总体迭代复杂性来解决这些鞍点问题。我们证明了更显着的节省梯度计算可以得到强凸光滑和双线性鞍点问题。
2016-09-16 math.OC
Solving strongly convex-concave composite saddle point problems with a small dimension of one of the variables
本文致力于发展的算法方法，确保有效的复杂性边界的情况下，当一组变量是高维的强凸-凹鞍点问题，和其他相对低维（高达100）。所提出的技术基于将此类问题简化为最小化其中一个变量中的凸（最大化凹）泛函的问题，对于该问题，可以使用辅助优化子问题以所需的精度找到任意点处的近似梯度另一个变量。在这种情况下，椭球方法用于低维问题（如果需要，使用不精确的$δ$ -次梯度），加速梯度法用于高维问题。对于一个非常小的维度的情况下的一组变量（最多5），一种方法的基础上的一个新版本的多维模拟的余。E. Nesterov的方法的平方（多维二分法）提出的可能性，使用不精确值的梯度的目标功能。
2022-10-25 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日（IPAAL）方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由一个合适的拉格朗日乘子更新。结果表明，IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代，其中$ρ>0$是给定的公差。它还表明，以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行，也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日（AIDAL）方法。AIDAL方法的每次迭代包括：（i）通过调用加速复合梯度（ACG）子例程不精确地求解阻尼近端增广拉格朗日（AL）子问题;（ii）应用阻尼和欠松弛拉格朗日乘子更新;以及（iii）使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下，涉及阻尼因子和下松弛常数，它表明，AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序，对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
An efficient adaptive accelerated inexact proximal point method for solving linearly constrained nonconvex composite problems
本文提出了一种有效的自适应二次惩罚加速不精确邻近点（QP-AIPP）的方法提出了较早的作者。QP-AIPP方法和它的变体都使用二次惩罚方法来解决线性集约束的非凸复合最优化问题，其中生成的惩罚子问题由底层AIPP方法的变体来解决。该变体，反过来，解决了一个给定的惩罚子问题，产生一系列的近端子问题，然后解决了加速复合梯度算法。AIPP和它的变体之间的主要区别是，在前者的近端子问题总是凸的，而在后者的不一定是凸的，由于事实上，他们的prox参数选择尽可能积极，以提高效率。AIPP变体产生的可能非凸邻近子问题也尝试解决了一种新的自适应加速复合梯度算法的有效性的基础上，一些关键的收敛不等式。其结果是，该变体生成一系列的近端子问题，其中的步长自适应地改变根据从调用到加速复合梯度算法的响应。最后，数值结果证明了所提出的AIPP和QP-AIPP变体的效率。
2019-12-05 math.OC
Accelerated Primal-Dual Methods for Convex-Strongly-Concave Saddle Point Problems
Southern Methodist University（南卫理公会大学）
针对凸-强凹鞍点问题，提出单循环加速线性化原始-对偶方法（ALPD）及其非精确版本，通过结合加速梯度下降特性克服次优依赖，在半线性和一般非线性耦合下实现最优或显著改善的梯度复杂度。
2023-05-18 cs.LG math.OC
Convex-Concave Interpolation and Application of PEP to Bilinear-Coupled Saddle-Point Problem
Moscow Institute of Physics ans Technology（莫斯科物理科学与技术学院）；Innopolis University（因诺波利斯大学）；Yandex Research（Yandex研究院）
本文研究凸-凹插值，给出凸-凹、双线性及带双线性耦合的复合函数的插值条件，并针对复合鞍点问题的一阶方法构造性能估计问题（PEP），将算法最坏性能求解转化为优化问题。
2026-08-13 math.OC
Accelerated Gradient Methods for Nonconvex Optimization: Escape Trajectories From Strict Saddle Points and Convergence to Local Minima
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）
本文研究了加速梯度方法在非凸函数上的行为，提出了一类Nesterov型方法，分析了从鞍点逃逸和收敛到局部极小值的机制，提供了渐近和非渐近分析的收敛速率和发散度度量。
2026-10-19 cs.LG cs.SY eess.SY
High Probability and Risk-Averse Guarantees for a Stochastic Accelerated Primal-Dual Method
本文研究随机强凸-强凹鞍点问题，为SAPD建立高概率收敛保证、极限协方差公式与紧下界，并从CVaR、EVaR和$χ^2$-散度角度分析风险规避权衡。
2023-07-14 math.OC
Zeroth-Order Katyusha: An Accelerated Derivative-Free Method for Composite Convex Optimization
针对约束/复合凸优化中两点零阶梯度估计器导致的复杂度界差距问题，提出融合方差缩减与加速技术的ZO-L-Katyusha算法，实现复合光滑强凸问题的加速线性收敛，达到与无约束情形一致的预言机复杂度，平均函数查询次数达O(1)。
2024-07-12 math.OC
A $\sqrt{2}$-accelerated FISTA for composite strongly convex problems
Institute of Science Tokyo（东京科学大学）
本研究针对复合强凸优化问题，通过离散化ITEM连续时间模型提出新型加速前向-后向分裂算法，收敛速率指数首项常数较FISTA提升$\frac{1}{\text{误差项}}$倍，且弱凸条件下和为凸时分析仍有效。
2026-08-07 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题，其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符，或者具有可以使用[Nesterov，2005]中的平滑技术的最大结构。为了解决这类问题，我们提出了一个自适应平滑小批量随机加速梯度（AdaSMSAG）方法，它结合了随机逼近方法，Nesterov的加速梯度法，和平滑方法，允许一般平滑近似。建立了该方法的收敛性。此外，最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明，建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Decentralized Saddle-Point Problems with Different Constants of Strong Convexity and Strong Concavity
大规模鞍点问题出现在机器学习任务中，如GANs和具有仿射约束的线性模型。本文研究了具有强凸-强凹光滑目标的分布鞍点问题，其中复合项的强凸性和强凸性参数（对应于最小变量和最大变量）以及双线性鞍点部分不同.我们考虑两种类型的一阶预言机：确定性（回报梯度）和随机（回报无偏随机梯度）。我们的方法在这两种情况下都有效，并在Oracle调用之间采取了几个共识步骤。
2022-10-03 math.OC
An accelerated inexact proximal point method for solving nonconvex-concave min-max problems
本文提出了光滑计划获得近似的无约束或线性约束的复合非凸-凹最小-最大（因此非光滑）问题的稳定点，通过应用著名的算法，以复合光滑近似的原始问题。更具体地说，在不受约束的（resp。约束）的情况下，原问题的近似稳定点，通过应用，其复合光滑近似，加速不精确的邻近点（分别）。二次罚分）的方法在以前的文件中提出的作者。迭代的复杂性界限，这两个平滑计划也成立。最后，数值结果证明了无约束光顺格式的有效性。
2021-06-17 math.OC
Mirror Prox Algorithm for Multi-Term Composite Minimization and Semi-Separable Problems
在本文中，我们开发了一个复合版本的镜像Prox算法求解凹凸鞍点问题和单调变分不等式的特殊结构，允许覆盖鞍点/变分类比通常所谓的“复合最小化”（最小化的总和的一个易于处理的非光滑和一般类型的光滑凸函数“好像”没有非光滑的组件在所有）。我们证明，复合镜近端继承了有利的（和不可改进的已经在大规模的双线性鞍点的情况下）$O(1/ε)$效率估计其原型。我们表明，所提出的方法可以自然地应用到拉索型问题与几个惩罚条款（例如，共同作用$\ell_1$和核范数正则化）和交替方向的方法中考虑的结构的问题，这意味着在这两种情况下的方法与$O(ε^{-1})$复杂性界限。
2014-05-21 cs.CC math.OC
A FISTA-type accelerated gradient algorithm for solving smooth nonconvex composite optimization problems
本文描述并建立了求解光滑非凸复合优化问题的两个加速复合梯度（ACG）变量的迭代复杂度，该问题的目标函数是一个具有Lipschitz连续梯度的非凸可微函数$ f $和一个简单的非光滑闭凸函数$ h $之和.当$f$是凸的时，对于输入的特定选择，第一个ACG变体简化为众所周知的FISTA，因此第一个可以被视为后一个到非凸设置的自然扩展。第一个变体需要输入对$(M,m)$，使得$f$是$m$ -弱凸的，$\nabla f$是$M$ -Lipschitz连续的，以及$m \le M$（可能是$m<M$），其通常难以获得或估计不佳。另一方面，第二种变体可以从任意输入对$(M,m)$的正标量和其复杂性被证明是不差，在某些情况下，比第一种变体的输入对的大范围。最后，数值结果来说明两个ACG变体的效率。
2021-03-06 math.OC
Acceleration of saddle-point methods in smooth cases
基于乘子交替方向法（ADMM）与超松弛原对偶混合梯度（oPDHG）算法的等价性，提出了一种新的ADMM算法的收敛性分析方法.我们考虑光滑的情况，这对应于目标函数可以分解为一个可微的Lipschitz连续梯度部分和一个强凸部分的情况。ADMM的一个加速变体也提出了，这是线性收敛与相同的速率的oPDHG。
2017-01-18 math.OC
Computer-Assisted Design of Accelerated Composite Optimization Methods: OptISTA
University of California, Los Angeles（加州大学洛杉矶分校）；Rice University（莱斯大学）
OptISTA通过双函数步长优化PEP方法，在复合优化中设计出精确最优的一阶方法，解决了最优一阶方法的搜索问题。
2025-11-22 math.OC
Stochastic smoothing accelerated gradient method for general constrained nonsmooth convex composite optimization
Beijing Jiaotong University（北京交通大学）
本文提出了一种随机平滑加速梯度方法，用于解决一般约束非光滑凸复合优化问题，通过可变样本大小实现最优迭代和SFO复杂度。
2026-01-31 math.OC
A Generalized Accelerated Composite Gradient Method: Uniting Nesterov's Fast Gradient Method and FISTA
求解大规模凸优化问题的一阶加速黑箱方法主要有快速梯度法和快速迭代收缩保持算法。FGM要求目标是有限的和可微的已知梯度Lipschitz常数。FISTA适用于更广泛的复合目标类，并配备了线搜索过程估计Lipschitz常数。然而，FISTA不能增加步长并且不能利用强凸性。FGM和FISTA在形式上非常相似。尽管如此，他们似乎有着截然不同的趋同分析。在这项工作中，我们推广了以前介绍的增广估计序列框架以及相关的概念的差距序列。我们通过构建广义加速复合梯度法来展示我们工具的灵活性，该方法将FGM和FISTA及其最受欢迎的变体结合起来。在推导我们的方法中使用的广义间隙序列的李雅普诺夫性质意味着FGM和FISTA都适合李雅普诺夫分析，常见的优化算法。我们进一步展示了我们的工具的灵活性，赋予我们的方法与单调递减的目标函数值旁边的一个通用的线搜索过程。通过同时结合FGM和FISTA的优势，我们的方法能够在鲁棒性和可用性方面超越两者。我们通过对复合问题的广泛基准的模拟结果来支持我们的发现。我们的实验表明，单调性有稳定的收敛效果和挑战的概念，目前在文献中，强凸目标，加速近端计划可以减少到固定的动量方法。
2019-10-28 math.OC
Optimal Algorithm with Complexity Separation for Strongly Convex-Strongly Concave Composite Saddle Point Problems
针对强凸-强凹复合鞍点问题，提出一种在复合项与鞍点项间分离 oracle 调用且总体复杂度最优的新算法，首次覆盖 $μ_x\not=μ_y$ 情形，并用于双线性问题取得最优复杂度。
2023-07-24 math.OC
Accelerated Primal-Dual Proximal Gradient Splitting Methods for Convex-Concave Saddle-Point Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学应用数学中心）；Chongqing Research Institute of Big Data, Peking University（北京大学重庆大数据研究院）
本文针对双线性鞍点问题，提出带自适应尺度参数与Bregman散度的加速原始-对偶邻近梯度分裂方法，结合速度校正保证稳定性，经理论证明收敛速率最优，数值结果验证了方法的实际性能。
2026-09-29 cs.NA math.NA math.OC
Iteration-complexity of an inner accelerated inexact proximal augmented Lagrangian method based on the classical Lagrangian function
建立了求解线性约束光滑非凸复合最优化问题的基于经典增广拉格朗日（AL）函数的内加速非精确近似增广拉格朗日（IAIPAL）方法的迭代复杂性.更具体地说，每个IAIPAL迭代包括不精确地解决一个近端AL子问题的加速复合梯度（ACG）的方法，其次是一个经典的拉格朗日乘子更新。假设复合函数的域是有界的，问题有一个斯莱特点，它表明，IAIPAL产生一个近似的稳态解在${\cal O}(\varepsilon^{-5/2}\log^2 \varepsilon^{-1})$ ACG迭代，其中$\varepsilon>0$是一个公差的平稳性和可行性。此外，在不假设初始点可行的情况下，导出了上述界。最后，数值结果表明，强大的实用性能的IAIPAL。
2022-06-14 math.OC
Accelerated gradient sliding and variance reduction
考虑了具有光滑凸非邻近友好复合函数（第二项）的和型强凸优化问题（首项）。我们发现，这个问题的复杂性可以分为最佳数量的增量Oracle调用的第一（和型）长期和最佳数量的Oracle调用的第二（复合）长期。在这里，在“最佳数”下，我们指的是在没有另一项的情况下对应于众所周知的下界的估计。
2020-03-11 math.OC
A Stochastic Bregman Primal-Dual Splitting Algorithm for Composite Optimization
研究了求解实自反巴拿赫空间上凸凹鞍点问题的随机一阶原始-对偶方法，该方法利用Bregman发散和相对光滑性假设，在算法中考虑了梯度项计算的随机误差.证明了在较弱的假设下，遍历序列的每一个几乎必然弱簇点都是期望中的一个鞍点，且收敛速度为O（1/k）.在稍微严格的假设下，我们证明了逐点迭代几乎必然弱收敛到一个鞍点。在对目标函数作较强的凸性假设和对Bregman发散熵作全凸性假设的条件下，我们建立了逐点迭代几乎必然强收敛于一个鞍点的定理.我们的框架是通用的，并不需要强凸性的熵诱导Bregman分歧的算法。数值应用被认为包括熵正则化Wasserstein重心问题和正则化反问题的单纯形。
2021-12-22 math.OC stat.ML
A New Lineserach for Accelerated Composite Minimization
Delft University of Technology（代尔夫特理工大学）；University of Toronto（多伦多大学）；Rotterdam School of Management, Erasmus University（伊拉斯姆斯大学鹿特丹管理学院）
本文提出了一种基于函数评估的新线搜索步长规则，用于加速和非加速梯度下降，适用于复合最小化和非凸最小化问题。
2026-09-04 math.OC
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软印度研究院）
Nesterov的加速梯度下降（AGD），一般家庭的“动量方法”的一个例子，证明了实现更快的收敛速度比梯度下降（GD）在凸设置。然而，这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形，并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点，比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知，这是第一个Hessian-free算法找到一个二阶稳定点比GD更快，也是第一个单循环算法，甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想：（1）使用一个简单的哈密顿函数，灵感来自连续时间的角度，AGD单调递减每一步，即使是非凸函数，和（2）一个新的框架称为改善或本地化，这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
Inexact accelerated proximal gradient method with line search and reduced complexity for affine-constrained and bilinear saddle-point structured convex problems
本文的目标是降低两类问题的基于梯度的方法的总复杂度：仿射约束复合凸优化和双线性鞍点结构非光滑凸优化。我们的技术是基于一个双循环不精确加速邻近梯度（APG）方法，用于最小化一个非光滑但可逼近的凸函数和两个光滑凸函数具有不同的光滑常数和计算成本的总和。与标准APG方法相比，不精确APG方法可以减少总的计算成本，如果一个光滑分量具有较高的计算成本，但比其他较小的光滑常数。利用这一性质，非精确APG方法可以近似求解仿射约束复合凸优化的近似增广拉格朗日方法的子问题，以及双线性鞍点结构非光滑凸优化的光滑逼近问题，其中光滑常数较小的光滑函数具有较高的计算代价.因此，它可以降低总的复杂性，找到一个近似的最佳/稳定的解决方案。该技术类似于文献中的梯度滑动技术。不同之处在于，我们的不精确APG方法可以通过使用基于平稳性破坏度量的可计算条件来有效地停止内部循环，而梯度滑动方法需要预先指定内部循环的迭代次数。数值实验表明，显着更高的效率，我们的方法比最佳的原始-对偶一阶方法和梯度滑动方法。
2022-01-04 cs.NA math.NA math.OC
Parameter Insensitivity in ADMM-Preconditioned Solution of Saddle-Point Problems
考虑线性鞍点问题的求解，将乘子交替方向法（ADMM）作为广义最小残差法（GMRES）的预条件子。我们表明，使用理论界和经验结果，ADMM是非常不敏感的参数选择与Krylov子空间加速。我们证明了ADMM-GMRES可以始终收敛，无论确切的参数选择，$ε$ -精确的解决方案的$κ$条件问题的$O(κ^{2/3}\logε^{-1})$迭代。加速方法被应用于随机生成的问题，以及在SDPLIB测试套件中的半定程序的边界点解的牛顿方向计算。实证结果证实了这个参数的不敏感性，并建议略有改善的迭代界的$O(\sqrtκ\logε^{-1})$。
2016-04-27 math.OC
Escaping Saddle Points Efficiently with Occupation-Time-Adapted Perturbations
UC Berkeley（加州大学伯克利分校）；Flatiron Institute（熨斗研究院）；Columbia University（哥伦比亚大学）
基于统计物理学中自排斥随机游动的超扩散性，本文提出了一种新的优化算法扰动机制。在这种机制中，扰动通过占据时间的概念适应于状态的历史。将该机制引入扰动梯度下降（PGD）和扰动加速梯度下降（PAGD）框架，提出了两种新的算法：适应占用时间的扰动梯度下降（PGDOT）及其加速算法（PAGDOT）. PGDOT和PAGDOT收敛到二阶稳定点至少一样快PGD和PAGD，分别，因此，他们保证避免陷入非退化鞍点。理论分析证实了实证研究中，新的算法始终逃脱鞍点和超越不仅是他们的同行，PGD和PAGD，但也包括其他流行的替代品，随机梯度下降，亚当，AMSGrad，和RMSProp。
2022-03-27 cs.LG math.OC
Accelerated Dual-Averaging Primal-Dual Method for Composite Convex Minimization
WeBank AI Group（微众银行AI集团）；Tencent Inc.（腾讯公司）；University of California, Davis（加州大学戴维斯分校）；The Hong Kong University of Science and Technology（香港科技大学）
双平均型方法由于其促进解结构（例如，稀疏性）有效地。本文提出了一种新的求解复合凸函数最小化问题的加速双平均原始对偶法。我们还得到了一个随机版本的方法，解决了经验风险最小化，其优势在处理稀疏数据的理论和经验证明。
2020-01-15 cs.LG math.OC stat.ML
Improved Analysis of Restarted Accelerated Gradient and Augmented Lagrangian Methods via Inexact Proximal Point Frameworks
University of Rochester（罗切斯特大学）
本文提出了一种重启加速复合梯度方法和不精确增广拉格朗日方法，分别在无约束和线性约束问题中达到最优一阶复杂度，通过不精确近似点框架实现统一分析。
2026-02-19 math.OC
Efficient parameter-free restarted accelerated gradient methods for convex and strongly convex optimization
本文针对凸与强凸复合优化问题，提出了无需参数的重启方法RPF-SFISTA和激进正则化方法A-REG，通过动态检查重启条件，在多类问题上比现有方法快3至15倍。
2024-10-12 math.OC
An accelerated proximal PRS-SQP algorithm with dual ascent-descent procedures for smooth composite optimization
Guangxi Minzu University（广西民族大学）；National University of Defense Technology（国防科技大学）
针对光滑复合优化，本文提出带对偶上升-下降过程和混合加速的近端PRS-SQP算法，统一ALDA与ALDD，并在KL框架下证明更广加速因子下的可行性与收敛速率。
2026-09-30 math.OC
A New Class of Composite Objective Multi-step Estimating-sequence Techniques (COMET)
针对大规模复合结构最优化问题，提出了一种新的基于梯度的加速估计序列技术。更具体地说，我们引入了一类新的估计函数，这是通过利用一个紧的下界上的目标函数。然后，利用所提出的估计函数与梯度映射技术之间的耦合，我们构造了一类复合目标多步估计序列技术（COMET）。我们提出了一种有效的线搜索策略，并证明了它享有加速收敛速度。所建立的收敛结果允许步长自适应。我们的理论研究结果得到了各种问题类型和数据集的广泛计算实验的支持。此外，我们的数值结果表明，所提出的方法的鲁棒性的不完善的知识的光滑性和强凸性参数的目标函数的证据。
2021-11-12 math.OC
Algorithms for solving variational inequalities and saddle point problems with some generalizations of Lipschitz property for operators
本文研究求解变分不等式与强凸-凹鞍点问题，通过加速方法改进算法复杂度估计，并在任意近端结构下引入算子有界性条件类比，提出最优的镜像下降方法。
2023-11-21 math.OC
