Behavior of Accelerated Gradient Methods Near Critical Points of Nonconvex Functions
我们研究了加速梯度法在光滑非凸无约束优化中的行为,特别关注它们在严格鞍点附近的行为。加速方法是迭代法,其通常沿着作为前一步和在当前步长处或附近的点处评估的函数的梯度的线性组合的方向步进。(The前一步骤对来自迭代过程中的较早阶段的梯度信息进行编码。我们表明,通过稳定的流形定理,重球方法是不可能收敛到严格的鞍点,这是点的目标的梯度为零,但Hessian至少有一个负特征值。然后,我们研究了重球法和其他加速梯度法在非凸二次函数的严格鞍点附近的行为,表明这两种方法可以从这一点比最速下降法更快地发散。
2018-10-08 math.OC
Diminishing Stepsize Methods for Nonconvex Composite Problems via Ghost Penalties: from the General to the Convex Regular Constrained Case
本文扩展了非凸约束问题的递减步长方法以处理等式约束和复合非光滑目标,并证明在凸约束满足标准约束规范时可大幅简化算法、降低每次迭代计算量。
2020-07-30 math.OC
Generalized-Hukuhara Subdifferential Analysis and Its Application in Nonconvex Composite Optimization Problems with Interval-valued Functions
本文研究了凸区间值函数的次微分$gH$,并将其应用于区间最优化问题的非凸复合模型。研究发现,许多可比IVF的最大值的$gH$ -方向导数是它们的$gH$ -方向导数的最大值。所提出的$gH$ -次微分的概念被观察到是有用的导出Fritz-John型和KKT型有效性条件的弱有效解的IOP。进一步,我们提取了一个充要条件来表征弱有效解的非凸复合IOP应用所提出的概念。为了得到关于$gH$ -次微分的结果,本文定义了IVF的极限上确界和极限下确界的概念,并给出了它们的一些性质。整个分析得到了适当的例证的支持。
2021-09-29 math.OC
Convergence of multi-block Bregman ADMM for nonconvex composite problems
带乘子的交替方向法是求解各种复合材料问题的最有效和最成功的方法之一。传统ADMM的收敛(即,2-块)的凸目标函数的收敛性已经证明了很长一段时间,它的收敛性的非凸目标函数,然而,最近才建立。多块ADMM是ADMM的自然扩张,是一种广泛使用的方案,在解决各种非凸最优化问题中也非常有用。因此,它有望建立在非凸框架下的多块ADMM的收敛理论。本文给出了3-块ADMM的一个Bregman修正,并证明了它对一个大的非凸函数族的收敛性。我们进一步扩展的收敛结果$N$块的情况下($N \geq 3$),这强调了多块ADMM应用程序在非凸设置的可行性。最后,我们提出了一个模拟研究和现实世界的应用程序来支持所获得的理论断言的正确性。
2015-05-12 math.OC
Convergence of Bregman alternating direction method with multipliers for nonconvex composite problems
带乘子的交替方向法(ADMM)是解决图像与信号处理和机器学习领域中各种凸或非凸组合问题的最有效和最成功的方法之一。在凸的设置,许多收敛性的结果已经建立了ADMM以及它的品种。然而,由于不存在凸性,非凸ADMM的收敛性分析通常是非常困难的。在本文中,我们研究的Bregman修改的ADMM(BADMM),其中包括传统的ADMM作为一个特殊的情况下,往往会导致改进的算法的性能。在一定的假设下,我们证明了由BADMM产生的迭代序列收敛到相关增广拉格朗日函数的一个稳定点。所得到的结果强调了ADMM在非凸设置下的应用的可行性。
2014-12-05 math.OC
Accelerated Stochastic Algorithms for Nonconvex Finite-sum and Multi-block Optimization
本文提出了两类重要的非凸最优化问题的新随机方法。我们首先介绍了一种随机加速邻近梯度(RapGrad)方法来求解一类由$m$分量函数之和组成的非凸最优化问题,并表明它可以显着减少梯度计算的次数,特别是当条件数$L/μ$(即,Lipschitz常数和负曲率之间的比率)大。更具体地说,RapGrad可以节省高达${\cal O}(\sqrt{m})$梯度计算比现有的确定性非凸加速梯度方法。此外,RapGrad所需的梯度计算的数量可以是${\cal O}(m^\frac{1}{6} L^\frac{1}{2} / μ^\frac{1}{2})$(至少${\cal O}(m^\frac{2}{3})$)倍小于最著名的随机非凸梯度方法时,$L/μ\ge m$。受RapGrad的启发,我们还提出了一种新的随机加速邻近对偶(RapDual)方法来求解一类带线性约束的多块非凸最优化问题.我们证明,RapDual也可以保存到一个因素的${\cal O}(\sqrt{m})$投影子问题比它的确定性对应,其中$m$表示块的数量。据我们所知,所有这些与RapGrad和RapDual相关的复杂性结果在文献中似乎是新的。我们还说明了这些算法的潜在优势,通过我们初步的数值实验。
2019-08-19 math.OC
Complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs
分析了求解线性约束非凸组合规划的二次罚加速不精确邻近点方法的迭代复杂性。更具体地,目标函数具有$f + h$的形式,其中$f$是梯度为Lipschitz连续的可微函数,而$h$是具有有界域的闭凸函数。该方法,基本上,包括应用加速不精确的邻近点法近似求解一系列的二次惩罚的线性约束问题的子问题。近似点法的每个子问题依次近似求解的加速复合梯度(ACG)方法。结果表明,该方案在最多${\cal{O}}(ρ^{-3})$ ACG迭代生成一个$ρ$ -近似稳定点。最后,数值结果表明所提出的方法的有效性。
2019-07-16 math.OC
Average Curvature FISTA for Nonconvex Smooth Composite Optimization Problems
以前的作者的论文介绍了一个加速复合梯度(ACG)的变种,即AC-ACG,解决非凸光滑复合优化(N-SCO)问题。与其他ACG变体相比,AC-ACG通过使用在先前迭代期间获得的观察到的上Lipschitz曲率的平均值来估计N-SCO问题的局部上曲率,并使用该估计和两个复合预解式评估来计算下一个解。本文提出了另一种FISTA类型的ACG变体,即AC-FISTA,它具有以下额外的功能:i)它每次迭代执行一个复合预解式评估的平均值; ii)它通过使用先前观察到的上(而不是上Lipschitz)曲率的平均值来估计局部上曲率。这两种性质共同作用产生了一种实用的AC-FISTA变体,其性能大大优于早期的ACG变体,包括上述作者论文中讨论的AC-ACG变体。
2023-02-04 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日(NL-IAPIAL)方法,约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度(ACG)方法,然后由拉格朗日乘子更新。在一些温和的假设下,证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解,其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
Accelerated Zeroth-order Algorithm for Stochastic Distributed Nonconvex Optimization
本文研究了在只有零阶信息的非凸问题上如何加速分布式优化算法的收敛。我们提出了一个零阶(ZO)分布式原始-对偶随机坐标算法配备了“强力球”方法来加速。我们证明了所提出的算法具有$\mathcal{O}(\sqrt{p}/\sqrt{nT})$的收敛速度一般非凸费用函数。我们考虑从黑盒DNN问题中解决对抗性示例的生成,以与现有的最先进的集中式和分布式ZO算法进行比较。数值结果表明,该算法具有更快的收敛速度,与理论分析相吻合。
2021-10-13 math.OC
Local properties and augmented Lagrangians in fully nonconvex composite optimization
本文研究完全非凸复合优化问题,讨论一阶与二阶最优性条件及缺乏凸性带来的困难,并对一种增广拉格朗日方法进行局部收敛性分析,给出收敛速率。
2024-05-15 math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日(AIDAL)方法。AIDAL方法的每次迭代包括:(i)通过调用加速复合梯度(ACG)子例程不精确地求解阻尼近端增广拉格朗日(AL)子问题;(ii)应用阻尼和欠松弛拉格朗日乘子更新;以及(iii)使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下,涉及阻尼因子和下松弛常数,它表明,AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序,对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
Preconditioned Primal-Dual Gradient Methods for Nonconvex Composite and Finite-Sum Optimization
本文基于共轭对偶提出无需非凸邻近映射的预处理原始-对偶梯度算法,并结合方差减小估计量处理非凸复合与有限和优化,证明了 KL 条件下的全局收敛性与收敛速率。
2023-09-26 math.OC
An enriched second-order method for nonconvex composite sparse optimization problems
在本文中,我们提出了一个二阶方法解决\emph{linear composite sparse optimization problems}组成的可微(可能非凸函数)和不可微凸项的总和最小化。复合不可微凸惩罚器由矩阵的$\ell_1$ -范数乘以系数向量给出。我们提出的线性复合$\ell_1$问题的情况下的算法依赖于电源OESOM算法\cite{dlrlm07}的三个主要成分:最小范数次梯度,一个投影步骤,特别是,二阶相关的不可微项的信息。通过对这些装置的推广,我们得到了一个求解复合稀疏最优化问题的全二阶方法,它具有广泛的应用。例如,涉及一般类\emph{differential graph operators}的最小化的问题可以用所提出的算法来解决。我们提出了几个计算实验,以显示我们的方法为不同的应用实例的效率。
2021-02-11 math.OC
Convergence Rates of Inertial Splitting Schemes for Nonconvex Composite Optimization
研究了求解非凸非光滑最优化问题的一般惯性一阶邻近分裂算法的收敛性。利用Kurdyka-Kangojaziewicz(KL)不等式,我们建立了新的收敛速度,适用于文献中的几个惯性算法。我们的基本假设是,目标函数是半代数的,这使得我们的结果在信号处理和机器学习领域的广泛适用性。其收敛速度依赖于KL不等式中“去奇异化函数”的指数。取决于该指数,收敛可以是有限的、线性的或次线性的,并且对于$p>1$具有$O(k^{-p})$的形式。
2016-09-12 math.OC
MOCCA: mirrored convex/concave optimization for nonconvex composite functions
在高维统计中出现的许多最优化问题自然地分解为若干项的和,其中单个项相对简单,但是复合目标函数只能用迭代算法来优化。本文主要研究F(Kx)+ G(x)形式的最优化问题,其中K是固定的线性变换,F和G是非凸和/或不可微的函数.特别是,如果任何一项是非凸的,现有的交替最小化技术可能无法收敛;其他类型的现有方法可能无法处理不可微性。我们提出了MOCCA(镜像凸/凹)算法,一个原始/对偶优化方法,需要在每次迭代的每个术语的局部凸近似。受计算机断层扫描(CT)成像中出现的最优化问题的启发,该算法可以处理一系列非凸的复合最优化问题,并在整个问题近似凸(即,一项中的任何凸性被另一项中的凸性抵消)时提供收敛的理论保证。实验结果表明,几个结构化的信号恢复问题的快速收敛。
2016-06-29 math.OC
Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成,该目标函数是一个光滑项和一个(凸)非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广,如近端牛顿和拟牛顿法。在本文中,我们提出了一个正则化的近似拟牛顿法,其主要特点是:(a)该方法全局收敛到稳定点,(b)全局化由正则化参数控制,不需要线搜索,(c)该方法可以基于简单的观察而非常有效地实现,该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明,该方法优于现有的几种方法。
2022-10-14 math.OC
Semi-Anchored Multi-Step Gradient Descent Ascent Method for Structured Nonconvex-Nonconcave Composite Minimax Problems
生成对抗网络、对抗训练、公平训练等极大极小问题,在实际中被广泛采用多步梯度下降上升(MGDA)方法来解决。然而,它的收敛保证是有限的。在本文中,受原始-对偶混合梯度法的启发,我们提出了一种新的半锚定(SA)技术的MGDA方法。这使得MGDA方法可以找到结构化非凸-非凹复合Minimax问题的一个不动点,其鞍次微分算子满足弱Minty变分不等式条件.由此产生的方法,命名为SA-MGDA,是建立在Bregman近点法。我们进一步发展其回溯线搜索版本,其非欧版本的平滑适应功能。数值实验,包括公平的分类训练,提供。
2022-06-09 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日(AS-PAL)方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日(AL)子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能,其次是一个完整的拉格朗日乘子更新。与其他AL方法相比,AS-PAL的主要优点是它不需要参数的知识(例如,约束矩阵的大小,目标函数曲率等)与最优化问题相关联,由于其自适应性质,不仅在选择接近步长,而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明,它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法,特别是当需要高精度。
2022-10-05 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日(IPAAL)方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度(ACG)方法,然后由一个合适的拉格朗日乘子更新。结果表明,IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代,其中$ρ>0$是给定的公差。它还表明,以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行,也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
Inertial dynamical systems and accelerated algorithms with implicit Hessian-driven damping for nonconvex optimization
Chongqing Technology and Business University(重庆工商大学);Sichuan University(四川大学)
本文提出了一种基于隐式Hessian驱动阻尼的惯性动力系统,用于解决强拟凸优化问题,并通过显式时间离散化和扰动项设计,实现了加速算法并验证了其收敛性。
2026-02-26 math.OC
Analytical Convergence Regions of Accelerated Gradient Descent in Nonconvex Optimization under Regularity Condition
利用鲁棒控制理论来分析和设计优化和机器学习算法的兴趣越来越大。研究了一类费用函数满足正则性条件的非凸最优化问题。经验研究表明,加速梯度下降(AGD)算法(例如Nesterov的加速和Heavy-ball)与适当的初始化通常在实践中工作得很好。然而,这种AGD算法的收敛性在文献中很大程度上是未知的。本文的主要贡献是通过鲁棒控制工具分析了RC下AGD的收敛区域。由于这种最优化问题经常出现在许多应用中,如相位恢复,神经网络的训练和矩阵传感器,我们的结果表明,在这些领域的鲁棒控制理论的承诺。
2019-12-09 math.OC
A FISTA-type accelerated gradient algorithm for solving smooth nonconvex composite optimization problems
本文描述并建立了求解光滑非凸复合优化问题的两个加速复合梯度(ACG)变量的迭代复杂度,该问题的目标函数是一个具有Lipschitz连续梯度的非凸可微函数$ f $和一个简单的非光滑闭凸函数$ h $之和.当$f$是凸的时,对于输入的特定选择,第一个ACG变体简化为众所周知的FISTA,因此第一个可以被视为后一个到非凸设置的自然扩展。第一个变体需要输入对$(M,m)$,使得$f$是$m$ -弱凸的,$\nabla f$是$M$ -Lipschitz连续的,以及$m \le M$(可能是$m<M$),其通常难以获得或估计不佳。另一方面,第二种变体可以从任意输入对$(M,m)$的正标量和其复杂性被证明是不差,在某些情况下,比第一种变体的输入对的大范围。最后,数值结果来说明两个ACG变体的效率。
2021-03-06 math.OC
An efficient adaptive accelerated inexact proximal point method for solving linearly constrained nonconvex composite problems
本文提出了一种有效的自适应二次惩罚加速不精确邻近点(QP-AIPP)的方法提出了较早的作者。QP-AIPP方法和它的变体都使用二次惩罚方法来解决线性集约束的非凸复合最优化问题,其中生成的惩罚子问题由底层AIPP方法的变体来解决。该变体,反过来,解决了一个给定的惩罚子问题,产生一系列的近端子问题,然后解决了加速复合梯度算法。AIPP和它的变体之间的主要区别是,在前者的近端子问题总是凸的,而在后者的不一定是凸的,由于事实上,他们的prox参数选择尽可能积极,以提高效率。AIPP变体产生的可能非凸邻近子问题也尝试解决了一种新的自适应加速复合梯度算法的有效性的基础上,一些关键的收敛不等式。其结果是,该变体生成一系列的近端子问题,其中的步长自适应地改变根据从调用到加速复合梯度算法的响应。最后,数值结果证明了所提出的AIPP和QP-AIPP变体的效率。
2019-12-05 math.OC
An inexact proximal MM method for a class of nonconvex composite image reconstruction models
针对脉冲噪声去除的非凸非光滑图像重建问题,提出带非精确准则的近端MM算法并证明其收敛性,在图像去模糊与修复任务中验证了算法效率。
2024-03-26 math.OC
A Note on Nesterov's Accelerated Method in Nonconvex Optimization: a Weak Estimate Sequence Approach
我们提出了一个变种的加速梯度下降算法,改编自Nesterov的最佳一阶方法,弱拟凸和弱拟强凸函数。我们证明了通过调整所谓的估计序列方法,导出的算法实现了最优的收敛速度的预言复杂度方面的弱拟凸和弱拟强凸。特别地,对于具有Lipschitz连续梯度的弱拟凸函数,我们需要$O(\frac{1}{\sqrt{\varepsilon}})$迭代来获得$\varepsilon$ -解;对于弱拟强凸函数,迭代复杂度为$O\left( \ln\left(\frac{1}{\varepsilon}\right) \right)$。此外,我们讨论了这些算法的线性二次最优控制问题的影响。
2020-06-15 math.OC
A projected semismooth Newton method for a class of nonconvex composite programs with strong prox-regularity
提出了一种求解一类非凸组合规划的牛顿型方法。特别地,非光滑部分可能是非凸的。为了解决非凸性,我们开发了一个概念,强的正则性,这是相关的单点属性,Lipschitz连续性,和单调性的相关的邻近算子,我们验证它在各种类型的功能,包括弱凸函数,指示函数的邻近光滑集,和两个特定的球相关的非凸非光滑函数。在这种情况下,我们所关心的问题类涵盖了流形上的光滑最优化问题和流形上的某些复合最优化问题。对于后者,所提出的算法是第一个二阶序型方法。结合邻近算子的半光滑性,设计了一种投影半光滑牛顿法,用于求解由邻近梯度法导出的自然残差的根。由于相应的自然残差可能不是全局单调的,一个额外的投影通常的半光滑牛顿步骤和新的标准之间的切换提出了投影半光滑牛顿步骤和邻近步骤。在强正则性下证明了算法的整体收敛。基于BD正则性条件,我们建立了局部超线性收敛.数值实验表明,我们所提出的方法相比,国家的最先进的有效性。
2023-03-09 math.OC
Second-order methods for provably escaping strict saddle points in composite nonconvex and nonsmooth optimization
本文提出两种基于前向-后向包络的二阶方法,首次证明无论初始化如何均可逃离复合非凸优化中的非光滑严格鞍点,数值实验验证了其有效性。
2025-06-27 math.OC
Proximal Stochastic Recursive Momentum Methods for Nonconvex Composite Decentralized Optimization
本文提出单循环算法DEEPSTORM,以$\mathcal{O}(1)$小批量规模首次在去中心化非凸随机复合优化中实现最优样本复杂度,并在恒定步长下获得网络无关的样本复杂度及随智能体数N的线性加速。
2023-04-13 math.OC
DAMA: A Unified Accelerated Approach for Decentralized Nonconvex Minimax Optimization-Part II: Convergence and Performance Analyses
Institute of Electrical and Micro Engineering, École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院电气与微电子研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Kuwait University(科威特大学)
本研究提出DAMA算法,通过统一加速梯度估计器GRACE,提升去中心化非凸极小极大优化的收敛性和性能。
2025-12-15 math.OC
An Inexact Proximal Newton Method for Nonconvex Composite Minimization
本文提出一种求解非凸复合问题的不精确近端牛顿型方法,在KKT残差范数下实现O(k^{-1/2})全局收敛与局部超线性收敛,无需线搜索且数值实验验证其性能媲美现有最优方法。
2024-12-21 math.OC
Variable Metric Composite Proximal Alternating Linearized Minimization for Nonconvex Nonsmooth Optimization
本文提出了一个最小化两个块变量的目标函数的近似算法,该目标函数由三项组成:1)光滑函数; 2)非光滑函数,它是一个严格递增的凹可微函数和一个凸非光滑函数的组合; 3)耦合两个块变量的光滑函数。我们提出了一个变尺度复合近似交替线性化极小化(CPALM)来解决这类问题。建立在强大的Kurdyka-Eschojasiewicz属性,我们得到的收敛性分析,并建立由CPALM生成的每个有界序列全局收敛到一个临界点。我们证明了CPALM方法的并行磁共振图像重建问题。数值结果表明了该方法的可行性和有效性。
2022-09-14 math.OC
Compressed Decentralized Proximal Stochastic Gradient Method for Nonconvex Composite Problems with Heterogeneous Data
首先,我们提出了一个分散的近端随机梯度跟踪方法(DProxSGT)的非凸随机复合问题,数据异构分布在多个工人在一个分散的连接网络。为了节省通信成本,我们扩展DProxSGT的压缩方法,通过压缩通信信息。这两种方法都只需要每个工人的$\mathcal{O}(1)$样本来进行每次邻近更新,这对于在训练深度神经网络时实现良好的泛化性能非常重要。通过对期望损失函数(但不是对每个样本函数)的平滑条件,所提出的方法可以实现最佳样本复杂度结果以产生近平稳点。训练神经网络的数值实验表明,我们的方法比大批量训练方法和动量方差减少方法具有更好的泛化性能,并且通过梯度跟踪方案处理异构数据的能力。
2023-02-28 math.OC
Accelerated Primal-dual Scheme for a Class of Stochastic Nonconvex-concave Saddle Point Problems
本文针对目标函数满足 Polyak-Łojasiewicz 条件的非凸-凹鞍点问题,提出了一种单循环加速原始-对偶算法,在随机和确定性环境下分别实现了 $\mathcal O(ε^{-4})$ 和 $\mathcal O(ε^{-2})$ 的收敛速率。
2023-09-11 math.OC
Strong Evaluation Complexity Bounds for Arbitrary-Order Optimization of Nonconvex Nonsmooth Composite Functions
本文对非凸优化问题引入了强高阶近似极小的概念。这些都适用于标准平滑和复合非平滑设置,并且还允许凸约束或廉价约束。然后,提出了一种自适应正则化算法,以找到这样的近似极小。在适当的Lipschitz连续性假设下,只要可行集是凸的,它表明,使用模型的程度$p$,该算法将找到一个强大的近似q阶最小值在最多${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-(p+1)/(p-j+1)}\right)$评估的问题的功能和他们的衍生物,其中$ε_j$是$j$阶精度公差;这个界限适用于当$q=1$或问题是不与$q \leq 2$复合。对于一般的非复合问题,即使当可行集是非凸的,界限成为${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-q(p+1)/p}\right)$评价。如果问题是复合的,并且$q > 1$或可行集都不是凸的,则边界是${\cal O}\left(\max_{1\leq j\leq q}ε_j^{-(q+1)}\right)$求值。这些结果不仅提供了,据我们所知,第一个已知的最优阶超过1(无约束或廉价约束)的复合问题的界限,但也给出了第一个尖锐的界限高阶强近似$q$ -阶极小的标准(无约束和廉价约束)光滑问题,从而补充了已知的弱极小的结果。
2020-01-29 math.OC
A Unified Inexact Stochastic ADMM for Composite Nonconvex and Nonsmooth Optimization
提出统一的不精确随机ADMM框架以求解复合非凸非光滑优化,涵盖多种现有算法并设计新的加速混合随机ADMM,证明其次线性与线性收敛,实验验证了有效性。
2024-03-04 math.OC
Mini-batch Stochastic Approximation Methods for Nonconvex Stochastic Composite Optimization
考虑一类约束随机组合最优化问题,其目标函数由一个可微(可能非凸)分量和一个不可微(但凸)分量之和给出.为了解决这些问题,我们提出了一种随机随机投影梯度(RSPG)算法,在该算法中,适当的小批量的样本被采取在每次迭代取决于随机样本的总预算允许。RSPG算法还采用通用距离函数以允许利用可行域的几何形状。该算法的复杂性建立在一个统一的设置,这表明凸随机规划的算法的近最优的复杂性。一个后优化阶段也提出了显着减少的方差的解决方案返回的算法。此外,在RSPG算法的基础上,还讨论了一种仅利用随机零阶信息的无随机梯度算法。文中还提供了一些初步的数值结果。
2013-09-05 math.OC
Zeroth-Order Stochastic Block Coordinate Type Methods for Nonconvex Optimization
我们研究(约束)非凸(复合)最优化问题的决策变量向量可以分为块的变量。随机分块投影法是一种处理这类问题的常用方法,它可以显著减少投影法的计算量。然而,这种强大的方法还没有被提出的情况下,一阶信息被禁止,只有零阶信息。在本文中,我们提出发展不同类别的零阶随机块坐标型方法。提出了零阶块坐标下降法(Z-BCD)求解无约束非凸最优化问题。对于复合优化问题,我们建立了零阶随机块镜下降法(ZH-BMD)及其相关的两阶段方法,以达到寻找$(ε,Λ)$ -解的复杂性界。此外,我们还建立了求解非凸(复合)优化问题的零阶随机块坐标条件梯度(BCCG)方法。与传统的随机逼近方法相比,该方法在每次迭代中只需要在一个随机块上求解线性规划子问题,而不需要在整个决策空间上求解投影子问题.在下文中,提出了近似的BCCG方法和相应的两阶段BCCG方法。这也是第一次,一个两阶段的BCCG方法已经发展到实现的$(ε, Λ)$ -解决非凸复合最优化问题。据我们所知,本文提出的结果是新的随机非凸(复合)优化文献。
2019-06-14 math.OC
Parameter-Free Accelerated Quasi-Newton Method for Nonconvex Optimization
University of Tokyo(东京大学)
本文提出了一种无参数的非凸优化准牛顿方法,通过结合动量加速、四次正则化和PSB更新,实现了在梯度评估次数上的高效优化。
2026-08-19 math.OC
Douglas-Rachford splitting and ADMM for nonconvex optimization: Accelerated and Newton-type linesearch algorithms
针对非凸优化中DRS和ADMM受病态条件与问题规模限制的问题,提出两种结合拟牛顿方向的线搜索算法,保留原收敛性且提升收敛速度与鲁棒性,采用Broyden方向可实现超线性收敛。
2021-11-03 math.OC
Inexact Zeroth-Order Nonsmooth and Nonconvex Stochastic Composite Optimization and Applications
King’s College London(伦敦国王学院);Yale University(耶鲁大学)
本文提出了一种近似零阶方法,用于解决非光滑非凸随机复合优化问题,并展示了其在广泛问题中的应用,超越了现有方法的局限性。
2025-12-10 math.OC
Explicit Convergence Regions of PID-Damped Accelerated Gradient Methods in Nonconvex Optimization
Hangzhou Dianzi University(杭州电子科技大学);The Hong Kong Polytechnic University(香港理工大学);Zhejiang University of Science and Technology(浙江科技大学)
针对非凸优化中动量加速梯度方法的过冲和振荡问题,本文通过控制理论建立步长、动量和导数增益的三维显式收敛区域,并揭示导数增益的严格几何上界。
2026-06-05 math.OC
Global Complexity Bound of a Proximal ADMM for Linearly-Constrained Nonseperable Nonconvex Composite Programming
提出并分析了求解线性约束非凸最优化问题的阻尼邻近交替方向法(DP.ADMM),其中目标函数的光滑部分不可分. DP.ADMM的每次迭代包括:(i)部分邻近增广拉格朗日(AL)更新的序列,(ii)欠松弛拉格朗日乘子更新,以及(iii)检查AL函数的罚参数是否应该更新的新测试。在基本Slater条件下,对阻尼因子和欠松弛因子有一定的要求,证明了对于给定的数值公差$\varepsilon>0$,DP.ADMM在${\cal O}(\varepsilon^{-3})$迭代中获得了约束问题的一阶稳定点.本文的主要创新之一是,该方法的收敛性,而不需要任何秩的约束矩阵的假设。
2023-01-03 math.OC
An inertial ADMM for a class of nonconvex composite optimization with nonlinear coupling constraints
本文针对一类具有非线性耦合约束的非凸多块优化问题,提出一种结合惯性技术和带松弛参数的非标准乘子更新规则的交替方向乘子法,并证明了算法的子序列收敛性与全局收敛性。
2024-02-21 math.OC
A linesearch-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
School of Data Science (SDS), The Chinese University of Hong Kong, Shenzhen(香港中文大学深圳数据科学学院);IEOR, Columbia University(哥伦比亚大学工业工程与运筹学系)
本文提出了一种基于线搜索的光滑牛顿方法,用于解决非光滑非凸复合优化问题,通过自适应参数估计技术提高效率并简化收敛分析。
2026-02-13 math.OC
A Lagrangian-Based Method with "False Penalty'' for Linearly Constrained Nonconvex Composite Optimization
本文提出一种基于新拉格朗日函数(含假惩罚与对偶平滑)的原始-对偶一阶算法,用于线性约束非凸复合优化,在标准假设下收敛至平稳解,且无需有界性及满射性假设,单循环复杂度O(1/ε²),实验验证有效。
2023-06-20 math.OC
Stochastic Gradient Descent for Stochastic Doubly-Nonconvex Composite Optimization
随机梯度下降算法在大数据分析中被广泛应用于复合优化问题的求解。许多算法和收敛性质已经开发。复合函数最初是凸的,逐渐采用非凸的复合函数来获得更好的性质。收敛性已被研究,但只有当任何一个复合函数是非凸的。当两个复合函数都是非凸函数时,没有收敛性,这被称为\textit{doubly-nonconvex}情况。为了克服这个困难,我们假设罚函数是\textit{quasiconvex}的一个简单而弱的条件,然后我们得到了随机双-非凸复合优化问题的收敛速度,得到的收敛速度与已有的工作是同阶的,并深入地分析了在常数步长和最小批量,并给出了适当的大小的最优收敛速度,这是优于现有的工作。实验结果表明,该方法优于现有的方法。
2020-03-02 cs.LG math.OC stat.ML
A Bregman forward-backward linesearch algorithm for nonconvex composite optimization: superlinear convergence to nonisolated local minima
针对两个非凸函数之和的最小化问题,提出基于Bregman前后包络的线搜索算法Bella,可在KL条件下全局收敛到平稳点,且在非孤立极小点处也能实现超线性收敛。
2020-05-01 math.OC
DAMA: A Unified Accelerated Approach for Decentralized Nonconvex Minimax Optimization-Part I: Algorithm Development and Results
Institute of Electrical and Micro Engineering, École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院电气与微电子研究所);Kuwait University(科威特大学)
DAMA是一种用于去中心化非凸极小极大优化的统一加速方法,整合了多种去中心化学习策略和加速梯度技术,实现了更灵活的框架和更优的性能界限。
2025-12-15 math.OC
Perturbed Proximal Gradient ADMM for Nonconvex Composite Optimization
PPG-ADMM通过引入扰动机制解决非凸复合优化问题,实现子线性收敛并提供更强的最优性保证。
2026-01-05 math.OC
Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
Department of Computer Science University of Maryland College Park(计算机科学系大学马里兰大学学院公园分校);Department of Computer Science and Engineering University of Texas Arlington(计算机科学与工程系德克萨斯大学阿灵顿分校)
针对现有复合优化方法依赖光滑性假设、无法适配正则化ReLU网络等机器学习问题的局限,提出两种近似平稳点新概念及对应零阶算法,证明有限时间收敛性并通过数值实验验证有效性。
2025-10-06 cs.LG math.OC
Anderson Accelerated Operator Splitting Methods for Convex-nonconvex Regularized Problems
针对凸-非凸(CNC)正则化问题计算具挑战性且研究不足的问题,提出Anderson加速的算子分裂方法求解带CNC正则化的最小二乘问题,证明全局收敛性并展示实际加速效果。
2025-02-20 math.OC stat.CO
Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates
本文提出了一种适用于非凸优化的自适应SGD方法,通过线搜索和Polyak步长实现了O(1/√T)和O(1/T)的收敛速率。
2025-12-01 math.OC stat.ML
Parameter-free accelerated gradient descent for nonconvex minimization
针对具有 Lipschitz 连续梯度和 Hessian 的非凸最小化问题,提出带两种重启机制的无参数加速梯度下降,仅用一阶信息估计 Hessian Lipschitz 常数,并取得 O(ε^{-7/4}) 复杂度。
2024-01-11 math.OC