"Convex Until Proven Guilty": Dimension-Free Acceleration of Gradient Descent on Non-Convex Functions
我们开发并分析了Nesterov的加速梯度下降（AGD）的一个变种，用于光滑非凸函数的最小化。我们证明了两种情况之一发生：要么我们的AGD变体收敛迅速，如果函数是凸的，或者我们产生一个证书，该函数是“有罪”的非凸。这个非凸性证明使我们能够利用负曲率，并获得确定性，无量纲加速收敛的非凸函数。对于具有Lipschitz连续梯度和Hessian的函数$f$，我们在$O(ε^{-7/4} \log(1/ ε) )$梯度和函数求值中使用$\|\nabla f(x)\| \le ε$计算点$x$。另外假设三阶导数是Lipschitz，我们只需要计算$O(ε^{-5/3} \log(1/ ε) )$。
2017-05-08 math.OC
Universal composite prox-method for strictly convex optimization problems
我们提出了一个简单的方法来解释宇宙方法的余。涅斯捷罗夫在此基础上，利用重新开始技术，我们提出了严格凸最优化问题的泛方法。我们考虑一般的邻近设置（不一定是欧几里得设置）。
2016-10-31 math.OC
Projected Stochastic Gradients for Convex Constrained Problems in Hilbert Spaces
在希尔伯特空间中，证明了具有凸约束集的凸目标泛函的投影随机梯度算法的收敛性。在凸的情况下，迭代序列${u_n}$以概率1弱收敛到极小值集中的一个点。在强凸情形下，序列以概率1强收敛到唯一最优解。应用于一类具有凸目标、凸约束和随机椭圆型PDE约束的PDE约束问题。理论结果表明数值。
2019-09-30 math.OC
Convergence analysis of stochastic gradient descent with adaptive preconditioning for non-convex and convex functions
本文针对现有带预处理的随机梯度算法缺乏预处理核心属性理论论证的问题，提出简洁理论框架，证明可优化光滑函数下收敛速率对梯度Lipschitz常数的依赖关系。
2023-08-27 math.OC
Gradient of the Value Function in Parametric Convex Optimization Problems
研究了参数凸优化问题中值函数梯度的计算。根据费用函数、约束条件和拉格朗日乘子，推导出了价值函数梯度的一般表达式。特别地，我们证明了严格凸参数二次规划的价值函数在可行空间内部的每一点上都是连续可微的，线性无关约束规格对它成立。
2016-06-30 math.OC
Fast Gradient Methods for Uniformly Convex and Weakly Smooth Problems
本文研究了弱凸光滑凸优化问题的梯度法的加速问题。从普适的快速梯度法出发，对梯度为Hölder连续的弱光滑问题的最优方法进行了适当的动量修正，使其也适用于一致凸和弱光滑问题.与已有的方法不同，本文提出的快速梯度法不使用重新启动技术，而是使用适当设计的动量，以反映目标能量函数的一致凸性和弱光滑性信息.理论和数值结果支持所提出的方法的优越性。
2022-03-08 math.OC
Universal Intermediate Gradient Method for Convex Problems with Inexact Oracle
在本文中，我们提出了一个新的一阶方法，用于最小化一个简单的凸集上的凸函数。我们假设目标函数是一个复合函数，它是一个简单的凸函数和一个具有不精确Hölder连续次梯度的凸函数的和。本文提出了通用中间梯度法。我们的方法具有普适性和中介性。继Y. Nesterov（Math.Prog.，2015）在通用梯度法上，我们的方法不需要任何关于Hölder参数和常数的信息，并自动调整自身以适应局部平滑度。另一方面，在O. Devolder，F.Glineur，and Y. Nesterov（CORE DP 2013/17），我们的方法是介于通用梯度法和通用快速梯度法之间的中间方法。这允许平衡该方法的收敛速率和预言错误累积的速度。在目标函数强凸性的假设下，我们证明了如何利用重新启动技术来获得一个具有更快收敛速率的算法。
2019-10-21 math.OC
A Gradient-Free Distributed Optimization Method for Convex Sum of Non-Convex Cost Functions
本文提出了一种特殊类型的分布式最优化问题，其中代理的局部费用函数（即，全局费用函数）是凸的，但是每个个体可以是非凸的。不同于大多数分布式优化算法利用梯度的优点，考虑的问题是非光滑的，梯度信息是未知的代理。为了解决这一问题，引入了高斯平滑技术，并提出了一种无梯度方法。我们证明了每个代理的最优解近似收敛到最优解的概率为1和平均值，并提供了一个上界的最优性差距，其特征在于之间的差异的函数值的最优解和最优值。通过数值例子和在隐私增强中的应用，证明了该算法的性能。
2021-08-13 math.OC
Adaptive Restart of the Optimized Gradient Method for Convex Optimization
带动量的一阶方法，如Nesterov的快速梯度法，对于凸优化问题非常有用，但在某些应用中可能会出现不希望的振荡，从而导致缓慢的收敛速度。当强凸费用函数的参数未知或迭代过程进入局部强凸区域时，自适应重新启动方案可以提高快速梯度法的收敛速度.最近，我们介绍了优化的梯度法，一阶算法，具有廉价的每次迭代的计算成本类似的快速梯度法，但有一个最坏情况下的费用函数的速度比快速梯度法的两倍，这是最佳的大规模光滑凸问题。在利用自适应重启加速快速梯度法的成功基础上，本文研究了优化梯度法的类似启发式加速。我们首先推导出一个新的一阶方法，类似于优化的梯度法的强凸二次问题与已知的函数参数，产生的线性收敛速率比类似版本的快速梯度法。然后，我们提供了一个启发式的分析和数值实验，说明自适应重新启动可以加快收敛的优化梯度法。数值结果还表明，自适应重新启动有助于非光滑复合凸函数的优化梯度法的近似形式。
2017-11-28 math.OC
On the Convergence of (Stochastic) Gradient Descent with Extrapolation for Non-Convex Optimization
外推法是求解凸优化和变分不等式的一种著名方法，近年来在非凸优化中引起了人们的关注。最近的几项工作已经在一些机器学习任务中取得了成功。然而，它还没有被分析为非凸极小化，仍然存在着理论和实践之间的差距。本文研究了光滑非凸优化问题中的梯度下降法和带外推的随机梯度下降法。我们的收敛上界表明，与外推算法可以加速比没有外推。
2019-02-05 math.OC
Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization
我们的工作主要集中在随机梯度法优化光滑非凸损失函数与非光滑非凸正则化。对这类问题的研究是相当有限的，直到最近没有非渐近收敛的结果已被报道。我们提出了两个简单的随机梯度算法，有限和一般的随机最优化问题，这具有优越的收敛复杂性相比，目前的最先进的。我们还比较了我们的算法的性能在实践中的经验风险最小化。
2019-05-14 math.OC
Sequential Subspace Optimization for Quasar-Convex Optimization Problems with Inexact Gradient
对于凸光滑极小化问题，加速梯度一阶方法具有最优的复杂性估计。在许多实际情况下，使用不精确的梯度信息是有意义的。然而，这可能导致相应的不精确性积累在理论估计的收敛速率。本文对序列子空间最优化方法（SESOP）进行了一些改进，用于求解梯度不精确的类凸函数极小化问题。理论结果表明，没有积累的梯度不精确。的SESOP方法的建议版本和它的比较与已知的相似三角形方法与不精确的梯度的数值实现进行。
2021-08-13 math.OC
A universal accelerated primal-dual method for convex optimization problems
提出了一种求解仿射约束凸优化问题的加速一阶原-对偶方法。它可以处理Lipschitz和Hölder梯度，但不需要知道目标函数的平滑度。在线搜索部分，它使用动态递减的参数，并产生近似的Lipschitz常数与适度的大小。此外，基于适当的离散李雅普诺夫函数和一些微分/差分不等式的紧衰减估计，建立了一个通用的最优混合型收敛速度.一些数值试验证实了所提出的方法的有效性。
2022-11-08 math.OC
Optimizing the Efficiency of First-Order Methods for Decreasing the Gradient of Smooth Convex Functions
本文根据最坏情况收敛界（即，效率）的梯度范数的下降。这项工作是基于性能估计问题的方法。对于高维光滑凸极小化问题，在初始费用函数值有界的条件下，所得到的方法的最坏情况梯度界是最优的直到一个常数.然后，本文说明了所提出的方法具有计算效率的形式，是类似于优化的梯度法。
2020-10-27 math.OC
Convergence rate analysis of the gradient descent-ascent method for convex-concave saddle-point problems
本文研究了求解凸-凹鞍点问题的梯度下降-上升法。利用半定规划的性能估计方法，得到了一个新的以到解集的距离表示的非渐近整体收敛速度。所给出的收敛速度包含了问题的大多数参数，并且对于一大类强凸-强凹鞍点问题的一次迭代是精确的.我们还研究了非强凸性的算法，给出了梯度下降-上升算法线性收敛的充要条件。
2022-09-16 math.OC
Study of the behaviour of Nesterov Accelerated Gradient in a non convex setting: the strongly quasar convex case
Univ. Bordeaux, Bordeaux INP, CNRS, IMB, UMR 5251（波尔多大学，波尔多理工学院，法国国家科学研究中心，IMB）；IMT, Univ. Toulouse, INSA Toulouse（数学与计算机科学高等研究学院，图卢兹大学，图卢兹国立应用科学学院）
本文研究Nesterov加速梯度（NAG）算法在强类凸函数上的收敛性，通过高分辨率ODE分析证明在较低曲率假设下可实现加速收敛，并指出关键几何性质缺失会导致加速现象消失。
2026-05-26 math.OC
Randomized gradient-free methods in convex optimization
本文为凸优化无梯度方法综述，介绍仅用目标值（含噪）的这类方法，围绕预言机复杂度等三个指标展开，回应梯度信息难获取的应用需求。
2024-02-12 math.OC
A universal bound on the variations of bounded convex functions
给定实向量空间$E$中的凸集$C$和两个点$x,y\in C$，我们研究了哪些是变差$f(y)-f(x)$的可能值，其中$f:C\longrightarrow [m,M]$是有界凸函数.然后，我们重写的Funk弱度量，这将意味着一个有界的凸函数是Lipschitz连续的汤普森和希尔伯特度量方面的边界。也证明了边界是最优的。我们还证明了有界凸函数在给定点$x\in C$的极大次微分。
2015-03-17 math.OC
Adaptive Accelerated Gradient Descent Methods for Convex Optimization
University of California, Irvine（加州大学尔湾分校）
本文提出A$^2$GD方法，通过自适应步长和动量加速，在凸优化中实现更高效的梯度下降算法。
2026-02-08 math.OC
Universal fast gradient method for stochastic composit optimization problems
我们提出了一个新的简单的快速梯度法的变种，每次迭代只需要一个投影。我们称这种方法为三角形方法（TM），因为它有一个相应的几何描述。我们推广TM的凸和严格凸的复合最优化问题。然后，我们提出了通用三角形方法（UTM）的凸和严格凸的复合最优化问题（见余。内斯特罗夫，数学程序。2015.有关什么是通用快速梯度法的更多详细信息）。最后，基于小批量技术，我们提出了随机通用三角形法（SUTM）。SUTM可以应用于随机凸和严格凸的复合最优化问题。表示所有方法TM、UTM、SUTM在严格凸性参数上是连续的，并且所有方法都达到已知的下界。通过对问题结构的额外假设，这些方法比下界更有效。
2017-11-27 math.OC
A unified framework for inexact adaptive stepsizes in the gradient methods, the conjugate gradient methods and the quasi-Newton methods for strictly convex quadratic optimization
School of Mathematics and Statistics, Guizhou University（贵州大学数学与统计学院）
本文提出了一种统一框架，用于梯度法、共轭梯度法和拟牛顿法在严格凸二次优化中的不精确自适应步长，分析了其全局收敛性及收敛速率，并通过数值结果验证了其有效性。
2026-04-22 math.OC
Fast dual proximal gradient algorithms with rate $O(1/k^{1.5})$ for convex minimization
考虑由一个强凸函数和一个强凸函数组成的复合函数的极小化问题。快速双近端梯度（FDPG）方法以速率$O(1/k^2)$减小对偶函数，从而产生用于减小原始函数的速率$O(1/k)$。我们提出了一个广义FDPG方法，保证了$O(1/k^{1.5})$率的双近端梯度范数下降。通过将其与原始函数减少相关联，所提出的方法以改进的$O(1/k^{1.5})$速率减少原始函数。
2016-09-29 math.OC
Gradient-Free Methods for Non-Smooth Convex Stochastic Optimization with Heavy-Tailed Noise on Convex Compact
针对仅能黑盒访问的带重尾噪声的非光滑凸随机优化问题，提出两种基于随机镜像下降的无梯度方法，并结合重启技术为满足r-增长条件的目标函数设计了更快的算法。
2023-08-24 math.OC
Exponential Convergence of Augmented Primal-dual Gradient Algorithms for Partially Strongly Convex Functions
本文证明了增广原始-对偶梯度算法在部分强凸函数下可实现全局指数收敛，并将该结果推广到分布式优化中的受限割线不等式条件，统一了多类算法的收敛性分析。
2025-03-11 math.OC
Adaptive Gradient-type Methods for Convex Optimization Problems with Relative Accuracy and Sharp Minimum
本文研究了凸正齐次最优化问题的梯度型方法。研究了求解正齐次最优化问题的具有相对精度的加速泛梯度型方法的一个模拟。第二种方法与B. T.波亚克步长。对一类非光滑问题，给出了自适应步长调整的这类方法的线性收敛速率的结果。一些推广到一类特殊的非凸非光滑问题也被考虑。
2021-12-12 math.OC
Conditions for linear convergence of the gradient method for non-convex optimization
本文对满足Polyak-Lojasiewicz（PL）不等式的非凸光滑最优化问题，给出了一个新的定步长梯度法的线性收敛速率.我们证明了PL不等式是这类问题线性收敛到最优值的充要条件。我们列出了一些相关的函数类，梯度法可能享受线性收敛速率。此外，我们还研究了它们与PL不等式的关系。
2022-04-01 math.OC
On the worst-case complexity of the gradient method with exact line search for smooth strongly convex functions
本文研究了梯度（或最速）下降法在精确线搜索下对具有Lipschitz连续梯度的强凸函数的求解。我们建立了这个计划的确切的最坏情况下的收敛速率，并表明，这种最坏情况下的行为表现出一定的凸二次函数。我们还给出了严格的最坏情况下的复杂性约束的噪声的梯度下降法的变体，其中精确的线搜索是在搜索方向，不同于负梯度最多规定的相对公差。证明是计算机辅助的，并且依赖于文献[Y. Drori和M.特布勒光滑凸极小化一阶方法的性能：一种新方法。数学规划，145（1-2）：451-482，2014]。
2016-09-15 math.OC
Dual Space Preconditioning for Gradient Descent
近年来，在分析凸优化的Bregman梯度法时，引入了相对光滑性和相对强凸性条件。我们引入了梯度下降的广义左预处理方法，并证明了通过应用对偶空间中的相对光滑性可以保证其在本质光滑凸目标函数上的收敛性。我们的相对光滑性假设介于所设计的预条件子和目标的凸共轭之间，推广了典型的Lipschitz梯度假设。在对偶相对强凸性下，我们得到了与Bregman梯度法不同的线性收敛且具有水平平移不变的广义条件数.因此，在原则上，我们的方法是能够改善条件的梯度下降的问题与非Lipschitz梯度或非强凸结构。我们证明了我们的p-范数回归和指数罚函数最小化的方法。
2020-12-08 math.OC
On Biased Stochastic Gradient Estimation
我们提出了一个统一的分析偏置随机梯度法最小化凸，强凸，非凸复合目标，并确定设置偏差是有用的随机梯度估计。我们提出的框架允许我们扩展近端支持有偏算法，包括SAG和SARAH，第一次在凸设置。我们还使用我们的框架来开发一种新的算法，随机平均递归算法（SARGE），实现了非凸，有限和目标的预言复杂性下限，并要求严格减少调用随机梯度预言每次迭代比SVRG和SARAH。我们支持我们的理论结果与数值实验，证明某些有偏梯度估计的好处。
2020-02-27 math.OC
Distributed Adaptive Gradient Algorithm with Gradient Tracking for Stochastic Non-Convex Optimization
本文针对分布式随机非凸优化问题，提出一种结合梯度跟踪的自适应步长算法，并给出最优性间隙上界，证明其可达到一阶平稳解。
2024-03-29 math.OC
Primal-Dual Incremental Gradient Method for Nonsmooth and Convex Optimization Problems
本文考虑了一类带锥约束的非光滑凸有限和问题。为了克服投影到约束集和计算全（子）梯度的挑战，我们引入了一个原始-对偶增量梯度方案，其中只有一个分量函数和两个约束用于更新每个原始-对偶子迭代循环顺序。我们证明了一个渐近次线性收敛速率的次优性和不可行性，这是一个改进的国家的最先进的增量梯度计划在这种情况下。数值结果表明，所提出的计划相比，以及竞争的方法。
2021-05-07 math.OC
Proximal bundle algorithms for nonsmooth convex optimization via fast gradient smooth methods
我们提出了新的最小化非光滑凸函数的邻近聚束法。这些算法是从应用Nesterov快速梯度法光滑凸最小化所谓的Moreau-Yosida正则化$F_μ$的$f$ w.r. t。一些$μ>0$。由于$F_μ$的精确值和梯度很难评估，我们使用近似的邻近点，由于捆绑策略，以获得可实现的算法。这些算法之一出现作为一个特殊情况下的惯性近端算法的一个可实现的版本。我们给他们的复杂性估计的原始函数值，并报告一些初步的数值结果。
2020-03-06 math.OC
High-order Accumulative Regularization for Gradient Minimization in Convex Programming
针对现有高阶方法中函数值残差与梯度范数收敛率不匹配的问题，本文提出高阶累积正则化框架，将快速函数值残差收敛率转化为梯度范数收敛率，设计无参数算法并扩展至一致凸情形，推广现有方法且恢复一阶算法特例。
2025-11-12 math.OC
Explicit Stabilised Gradient Descent for Faster Strongly Convex Optimisation
介绍了强凸优化问题的龙格-库塔切比雪夫下降法（RKCD）。这种新的算法是基于显式稳定积分刚性微分方程，一类强大的数值计划，避免了严重的步长限制所面临的标准显式积分。对于优化二次函数和强凸函数，本文证明了RKCD几乎达到共轭梯度算法的最优收敛速度，并且RKCD的次优性随着二次函数的条件数的增加而减小.它是建立，这一最佳速率也获得了分区变体的RKCD适用于扰动的二次函数。此外，对一般强凸问题的数值实验表明，RKCD优于Nesterov的加速梯度下降。
2020-06-27 math.OC
Convergence results of a nested decentralized gradient method for non-strongly convex problems
研究了求解分布式最优化问题的NEAR-DGD $^+$（Nested Exact Alternating Recursion Distributed Gradient Descent）方法的收敛性。在局部目标函数的强凸性和梯度的Lipschitz连续性的假设下，证明了\cite{BBKW - Near DGD}算法的线性收敛性.本文研究了非强凸性条件下NEAR-DGD $^+$的收敛性。更准确地说，我们建立了以下两种情况下的收敛性结果：（1）当目标函数只假设凸性。(2)当目标函数表示为强凸函数和亏秩矩阵的复合函数时，它属于凸函数和准强凸函数类。数值结果支持收敛结果。
2022-06-27 math.OC
Gradient-free two-points optimal method for non smooth stochastic convex optimization problem with additional small noise
利用双光滑技术和随机镜像下降法，建立了两点无梯度非光滑随机凸规划的一个最优算法。我们调查了多少可以是噪声的水平（这种噪声的性质是不必要的随机）的收敛速率保持（乘法因子）。
2017-08-13 math.OC
An Enhanced Gradient-Tracking Bound for Distributed Online Stochastic Convex Optimization
在求解分布式在线随机最优化问题时，基于梯度跟踪（GT）的分散方法已成为分散（随机）梯度下降（DSGD）的一种有效可行的替代方法。对GT方法的初步研究表明，GT方法比DSGD方法具有更差的网络依赖率，这与实验结果相矛盾。这一难题最近得到了解决，GT方法的更严格的费率已经建立，这改进了DSGD。在这项工作中，我们建立了更多的增强率的GT方法在线随机凸设置。我们提出了另一种方法来分析GT方法的凸问题和静态图。与以前的分析相比，这种方法使我们能够建立增强的网络依赖率。
2023-01-07 math.OC
Deterministic and Stochastic Accelerated Gradient Method for Convex Semi-Infinite Optimization
本文提出一种用于凸半无限规划的原始-对偶加速梯度方法，包含动量上升与下降更新，并扩展至随机预言机场景，给出了ε-最优解的迭代复杂度。
2024-07-21 math.OC
Distributed proximal gradient algorithm for non-smooth non-convex optimization over time-varying networks
研究了具有非光滑正则化的分布式非凸优化问题，该问题在分散学习、估计和控制中有着广泛的应用。目标函数是不同的局部目标函数的和，这些局部目标函数由可微的（可能是非凸的）费用函数和非光滑的凸函数组成。针对时变多智能体网络上的非光滑非凸优化问题，提出了一种分布式近似梯度算法。每个智能体通过多步一致性算子和邻近算子更新局部变量估计。我们证明了生成的局部变量达到共识，收敛到一组临界点的收敛速度$O(1/T)$。最后，通过数值模拟验证了该算法的有效性.
2021-03-03 math.OC
Incremental proximal gradient scheme with penalization for constrained composite convex optimization problems
本文研究了凸可微函数的极小元集约束下的凸函数有限和的极小化问题。为了解决这一问题，提出了一种将增量最近梯度法与平滑惩罚技术相结合的算法。我们证明了生成的迭代序列收敛到最优化问题的最优解，只要满足通过约束函数的Fenchel共轭表示的条件。最后，通过数值实验说明了该方法的功能，解决图像修复问题和广义Heron问题与最小二乘约束。
2020-04-20 math.OC
Stopping Rules for Gradient Methods for Non-Convex Problems with Additive Noise in Gradient
我们研究的梯度法的假设下，一个可加的不精确梯度，一般来说，非凸问题。目标函数的非凸性以及在迭代时使用不精确的指定梯度会导致各种问题。例如，梯度法的轨迹可以离起始点足够远。另一方面，在存在噪声的情况下对梯度法的轨迹的无界去除可以导致从期望的精确解去除该方法的轨迹。在梯度不精确的假设和梯度占优的条件下，得到了研究梯度法轨迹行为的结果。这是众所周知的，这样的条件是有效的许多重要的非凸问题。此外，它导致良好的复杂性保证的梯度法。提出了一种梯度法的提前终止准则。首先，它保证在函数方面实现方法的出口点的可接受的质量。其次，停止规则确保该点与所选初始位置的距离相当适中。除了具有恒定步长的梯度法之外，还详细研究了具有自适应步长的其变体，这使得在梯度的Lipschitz常数未知的情况下应用所开发的技术成为可能。一些计算实验已经进行了研究梯度法，证明了建议的停止规则的有效性。
2022-12-11 math.OC
The Cyclic Block Conditional Gradient Method for Convex Optimization Problems
本文研究了一个光滑函数与一个具有特定可分形式的紧支撑非光滑项之和的优化凸问题。我们分析了块版本的广义条件梯度法时，块被选择在一个循环顺序。对于这类方法中常用的两种不同步长策略，建立了全局次线性收敛速率。与经典的条件梯度算法及其随机块算法的数值比较表明了循环块更新规则的有效性。
2015-09-25 math.OC
A New Inexact Gradient Descent Method with Applications to Nonsmooth Convex Optimization
本文提出一种新的非精确梯度法（IGD），在KL性质下保证收敛到稳定点，并将其应用于设计非精确邻近点法和非精确增广拉格朗日法，数值实验表明其优于现有非光滑凸优化算法。
2024-01-12 math.OC
A Proximal Stochastic Gradient Method with Adaptive Step Size and Variance Reduction for Convex Composite Optimization
School of Mathematics and Statistics, Chongqing University of Posts and Telecommunications（重庆邮电大学数学与统计学院）
本文提出一种近端随机梯度算法（PSGA），通过引入方差减少技术和自适应步长策略，解决复合优化问题。证明了在光滑凸函数Lipschitz连续时方法的强收敛性，并得到O(√(1/k))的收敛速率。
2026-04-03 math.OC
Alternating Proximal Point Algorithm with Gradient Descent and Ascent Steps for Convex-Concave Saddle-Point Problems
本文提出一种带梯度下降与上升步的交替邻近点算法，用于求解具有光滑耦合函数和两个正则化函数的凸-凹鞍点问题，并证明了迭代序列、遍历极小极大间隙函数及函数值的弱收敛性与线性收敛性。
2023-10-31 math.OC
Gradient Method With Inexact Oracle for Composite Non-Convex Optimization
本文对具有简单约束和不精确预言的复合非凸极小化问题提出了一种新的一阶方法。该目标函数被给定为“硬”部分（可能为非凸部分）和“简单”部分的和。非正式地说，甲骨文的不精确性意味着，对于“困难”部分，在任何一点，我们都可以近似地计算函数的值，并构造一个二次函数，它近似地从上面限制了这个函数。我们给出了几个这样的不精确的例子：光滑的非凸函数与不精确的Hölder连续梯度，辅助一致凹最大化问题，这只能近似解决的功能。对于引入的一类问题，我们提出了一种梯度型方法，它允许使用不同的邻近设置，以适应几何的可行集，自适应地选择控制的预言错误，允许不精确的邻近映射。我们给出了我们的方法的收敛速度的广义梯度映射的范数，并表明，在不精确的Hölder连续梯度的情况下，我们的方法是通用的Hölder参数的问题。最后，在一个特殊的情形下，证明了广义梯度映射的范数在一点处的小值意味着局部极小值的一个必要条件在该点处近似成立.
2017-03-27 math.OC
Fast gradient descent method for convex optimization problems with an oracle that generates a $(δ,L)$-model of a function in a requested point
在这篇文章中，我们提出了一个新的概念，一个$(δ,L)$ -模型的功能，推广的概念，$(δ,L)$ -oracle（Devolder-Glineur-Nesterov）。使用这个概念，我们描述了梯度下降法和快速梯度下降法，我们表明，许多流行的方法（复合最优化方法，水平方法，共轭梯度法，邻近方法）是本文所提出的方法的特殊情况。
2019-06-24 math.OC
Lower bounds for conditional gradient type methods for minimizing smooth strongly convex functions
在本文中，我们考虑条件梯度方法。这些方法使用线性最小化预言，对于给定的向量$p \in \mathbb{R}^n$，计算子问题的解$$\arg \min_{x\in X}{\langle p,x \rangle}.$$有各种条件梯度方法，在强凸情况下具有线性收敛速率。然而，在所有这些方法中，问题的维度包括在收敛速率中，其在现代应用中可能非常大。本文证明了在强凸情形下，条件梯度法在最佳情形下的收敛速度依赖于问题$ n $的维数为$ \widetilde Ω (\sqrt {n}) $ .因此，条件梯度方法可能是无效的解决强凸优化问题的大规模。此外，应用条件梯度法的二次型极小化问题被认为是。Frank-Wolfe方法在单纯形凸情形下求解二次最优化问题的有效性（PageRank）已经被证明。这项工作表明，使用条件梯度方法来解决最小化问题的二次型在一个强凸的情况下是无效的，由于存在的尺寸在这些方法的收敛速度。因此，考虑收缩条件梯度方法。它与条件梯度法的不同之处在于它使用了一个改进的线性最小化预言。这种算法的收敛速度不依赖于维数。利用收缩条件梯度法，得到了求解$ \infty $ -球上二次型极小化问题的复杂性。该方法的评价结果与梯度法的复杂性相当。
2020-03-16 math.OC
On the Convergence of a Noisy Gradient Method for Non-convex Distributed Resource Allocation: Saddle Point Escape
University of Melbourne（墨尔本大学）
针对非凸分布式资源分配问题，本文在拉普拉斯加权梯度下降基础上加入随机扰动以实现鞍点逃逸，证明了二阶收敛性，实验显示其性能优于标准加权梯度下降。
2026-08-26 math.OC
A dynamic gradient approach to Pareto optimization with nonsmooth convex objective functions
在一般的Hilbert框架下，研究了一类非光滑凸目标函数约束多目标优化问题的连续类梯度动力系统.我们的方法是在以前的工作中，被认为是凸dierentiable目标函数的情况下。通过对系统中的细分算子进行Yosida正则化，得到了强全局轨线的存在性.我们证明了每个目标函数的下降属性，和弱Pareto最小的轨迹收敛。该方法提供了目标函数的动态内生加权。应用合作对策，反问题，和数值多目标优化。
2014-06-06 math.OC
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化，提出一种保证变量可行性的光滑加速投影梯度方法，通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率，并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
Convergence rates analysis of Interior Bregman Gradient Method for Vector Optimization Problems
近年来，利用Bregman距离，Lipschitz梯度连续性和强凸性被提升，并被相对光滑性和相对强凸性所取代。在较弱的假设下，证明了具有Bregman正则性的梯度法对单目标最优化问题线性收敛.本文将相对光滑性和相对强凸性推广到向量值函数，并分析了求解向量最优化问题的内点Bregman梯度法的收敛性.具体而言，整体收敛速度分别为凸VOP和相对强凸VOP的$\mathcal{O}(\frac{1}{k})$和$\mathcal{O}(r^{k})(0<r<1)$。此外，所提出的方法线性收敛的VOP，满足向量Bregman-PL不等式。
2022-06-21 math.OC
Adaptive Accelerated Gradient Method for Smooth Convex Optimization
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机与人工智能研究所）
本文提出了一种自适应加速梯度法，用于解决光滑凸优化问题，通过局部估计光滑性常数自适应调整步长，实现函数值的快速收敛。
2025-12-23 math.OC
Uncertainty Quantification for Gradient and Accelerated Gradient Descent Methods on Strongly Convex Functions
考虑了一类依赖于不确定参数$θ$的强凸函数的极小化问题。目标函数中的不确定性意味着最优值$x^*(θ)$也是$θ$的函数。我们提出了一个有效的方法来计算$x^*(θ)$和它的统计。我们使用混沌扩展的$x^*(θ)$沿截断的基础和研究一阶方法计算的最佳系数。我们将方法的收敛速度定义为基函数的个数，从而增加了最优化问题的维数。我们给出了梯度下降法和加速梯度下降法的第一非渐近速率。我们的分析利用凸性，并不依赖于一个递减步长的策略。因此，无论是在理论上还是在我们初步的数值实验中，它都比最先进的方法快得多。我们的分析的一个令人惊讶的副作用是，所提出的方法也作为一个方差减少技术的问题估计$x^*(θ)$。
2021-12-01 math.OC
