A smoothing proximal gradient algorithm for matrix rank minimization problem
针对损失凸非光滑、惩罚项为基数函数的低秩矩阵最小化问题,提出精确连续松弛方法与光滑近似梯度(SPG)算法,证明算法收敛于松弛问题的提升平稳点,数值实验验证了算法效率。
2021-03-17 math.OC
The Complexity of Finding Stationary Points in Nonsmooth Nonconvex Optimization
本文证明非光滑非凸优化中一阶算法寻找 Goldstein 驻点及松弛驻点的紧下界,揭示收敛速率不受梯度随机性影响。
2026-09-17 math.OC
Solving Optimization Problems over the Stiefel Manifold by Smooth Exact Penalty Function
在本文中,我们提出了一种新的惩罚模型称为ExPen的Stiefel流形上的优化。与已有的正交约束罚函数不同,ExPen采用光滑罚函数,不使用目标函数的任何一阶导数。我们证明了具有足够大的罚参数的Expen的所有一阶稳定点要么是可行的,即是原始最优化问题的一阶稳定点,要么远离Stiefel流形。此外,原问题和Expen共享相同的二阶平稳点。值得注意的是,ExPen的精确梯度和Hessian很容易计算。因此,丰富的无约束优化算法资源可以直接应用于解决Expen问题。
2022-12-18 math.OC
On the complexity of proximal gradient and proximal gradient-Newton-CG methods for $\ell_1$-regularized Optimization
School of Mathematical Sciences, Jiangsu University(江苏大学数学科学学院)
提出两种基于不同近似二阶稳定点定义的二阶方法,用于求解\(\ell_1\)正则化复合优化问题,并分析其迭代复杂度、操作复杂度及局部超线性收敛率,数值实验验证了有效性。
2026-09-10 math.OC
On computing Goldstein approximate second-order stationary points of structured nonsmooth nonconvex programs
The Chinese University of Hong Kong(香港中文大学)
研究如何计算结构化非光滑非凸规划的戈德斯坦近似二阶驻点,采用随机一阶算法,利用随机平滑工具,给出算法神谕复杂度,还扩展到弱凸函数并应用于双层优化。
2026-07-28 math.OC
Finding stationary points on bounded-rank matrices: A geometric hurdle and a smooth remedy
本文研究了在有界秩矩阵簇上可证明地找到一个极小化光滑函数的驻点的问题。这是出乎意料的微妙。我们将困难追溯到一个几何障碍:在一个非光滑集合上,可能存在一些点序列,沿着这些点序列,平稳性的标准度量趋于零,但它们的极限点不是平稳的。我们将这种事件命名为启示录,因为它们会导致优化算法收敛到非平稳点。我们明确说明了这一点,现有的优化算法的有界秩矩阵。为了可证明地找到稳定点,我们修改了基于该变量的标准平滑参数化的信赖域方法。该方法依赖于参数空间上的二阶稳定点映射到簇上的稳定点的已知事实。我们的几何观察和算法推广到有界秩矩阵之外。给出了一般约束集上启示录的几何刻画,这意味着Clarke正则集不承认启示录。这样的集合包括光滑流形、有边界的流形和凸集。我们的信赖域方法支持参数化的任何完整的黎曼流形。
2022-07-07 cs.NA math.NA math.OC
Sensitivity Analysis of a Stationary Point Set Map under Total Perturbations. Part 1: Lipschitzian Stability
利用Levy和Mordukhovich(Math Program 99:311- 327,2004)的一些定理及其他相关结果,我们估计了具有一个光滑函数约束的光滑参数最优化问题在全扰动下驻点集映射的Fréchet余导数和Mordukhovich余导数.从所得公式中我们得到了驻点集映射局部Lipschitz性质的充要条件。这使我们对Levy和Mordukhovich在上述论文中以及Qui的先前深入研究有了新的见解(J Optim Theory Appl 161:398- 429,2014; J Glob Optim 65:615- 635,2016)。
2018-11-14 math.OC
Obtaining Game-Stationary Points for Smooth Nonconvex-Nonconcave Minimax Problems via First-Order Methods
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Minnesota–Twin Cities(明尼苏达大学双城分校)
针对一般非凸-非凹极小极大问题,提出一种在局部逆Lipschitz正则性条件下仅需一阶迭代即可找到ε-驻点的方法,复杂度为Õ(ε⁻²),无需全局最优性或PL/KL/Minty型条件,扩展了可处理问题类别。
2026-09-30 math.OC
The exact information-based complexity of smooth convex minimization
本文给出了光滑函数和凸函数的一阶极小化问题的信息复杂度的一个新下界。我们表明,边界匹配最近推出的优化梯度法的最坏情况下的性能,从而建立边界是紧的,可以实现一个有效的算法。证明是基于一种新的构造技术的光滑和凸函数。
2016-06-04 math.OC
Lower Bounds for Finding Stationary Points II: First-Order Methods
我们建立下界的复杂性,找到$ε$平稳点的光滑,非凸高维函数使用一阶方法。我们证明,确定性的一阶方法,即使适用于任意光滑函数,不能实现$ε$的收敛速度优于$ε^{-8/5}$,这是在$ε^{-1/15}\log\frac{1}ε$的最佳已知的速度,这样的方法。此外,对于具有Lipschitz一阶导数和二阶导数的函数,我们证明了没有一种确定性一阶方法能比$ε^{-12/7}$获得更好的收敛速度,而对于只有Lipschitz梯度的函数,$ε^{-2}$是一个下界.对于具有Lipschitz梯度的凸函数,加速梯度下降达到速率$ε^{-1}\log\frac{1}ε$,表明在给定凸性的情况下,找到稳定点更容易。
2017-11-02 math.OC
Lifting and partial smoothing for stationary HJB equations and related control problems in infinite dimensions
针对无限维平稳HJB方程求解的多重难点,本文将提升与部分光滑技术从演化情形推广至无限时域最优控制场景,证明了正则温和解的存在唯一性,给出验证定理并完成最优反馈控制综合。
2025-10-29 math.OC
On the Complexity of Finding Stationary Points in Stochastic $(L_0, L_1)$-Smooth Nonconvex Optimization
针对随机$(L_0, L_1)$-光滑非凸优化中平稳点求解的复杂性问题,研究了带有界方差噪声的随机一阶预言机复杂度,明确了相关参数的最优依赖关系,给出了下界并证明小批量平滑归一化随机梯度下降可达到匹配上界,确立了最优复杂度。
2026-11-17 math.OC
An accelerated inexact proximal point method for solving nonconvex-concave min-max problems
本文提出了光滑计划获得近似的无约束或线性约束的复合非凸-凹最小-最大(因此非光滑)问题的稳定点,通过应用著名的算法,以复合光滑近似的原始问题。更具体地说,在不受约束的(resp。约束)的情况下,原问题的近似稳定点,通过应用,其复合光滑近似,加速不精确的邻近点(分别)。二次罚分)的方法在以前的文件中提出的作者。迭代的复杂性界限,这两个平滑计划也成立。最后,数值结果证明了无约束光顺格式的有效性。
2021-06-17 math.OC
Matching Complexity for Second-Order Stationary Point with Sample Reuse
Peking University(北京大学)
该研究针对带可复用样本句柄的随机非凸优化,证明求二阶平稳点的极小极大导数查询复杂度为\\(\widetilde\Theta(\varepsilon^{-3}+\gamma^{-3})\\),并给出匹配该复杂度的上界与下界方法。
2026-10-20 math.OC
Lower Bounds for Finding Stationary Points I
我们证明了寻找$ε$ -平稳点(点$x$,使$\|\nabla f(x)\| \le ε$)的光滑,高维,和潜在的非凸函数$f$的复杂性的下界。我们考虑基于预言机的复杂性措施,其中一个算法被赋予访问的值和所有衍生物的$f$在一个查询点$x$。我们发现,对于任何(潜在的随机)算法$\mathsf{A}$,存在一个函数$f$与Lipschitz $p$阶导数,$\mathsf{A}$至少需要$ε^{-(p+1)/p}$查询找到一个$ε$ -平稳点。我们的下界是尖锐的常数内,他们表明,梯度下降,ESTA-正则化牛顿法,和广义$p$阶正则化是最坏情况下的最佳自然函数类。
2019-08-15 math.OC
Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions
Massachusetts Institute of Technology(麻省理工学院)
我们提供了第一个非渐近分析,寻找非光滑,非凸函数的稳定点。特别是,我们研究类阿达玛半可微函数,也许是最大的一类非光滑函数的链式法则的微积分举行。此类包含ReLU神经网络和其他具有不可微激活函数的示例。我们首先表明,找到一个$ε$ -平稳点的一阶方法是不可能的,在有限的时间。然后,我们引入了$(δ, ε)$ -平稳性的概念,它允许一个$ε$ -近似梯度是在距离$δ$的解决方案内的点处评估的广义梯度的凸组合。我们提出了一系列的随机一阶方法,并分析了它们的复杂性找到一个$(δ, ε)$ -平稳点。此外,我们提供了一个下界,并表明我们的随机算法具有最小-最大最优依赖于$δ$。从经验上讲,我们的方法在训练ReLU神经网络方面表现良好。
2020-06-29 cs.LG math.OC
On the oracle complexity of smooth strongly convex minimization
我们构造了一个函数族,用于建立光滑强凸函数的一阶极小化的预言复杂性的下界。在此基础上,我们得到了强凸极小化问题在各种不精确准则下的复杂性的新的下界。新的边界匹配已知的上界一个常数的因素,当一个解决方案的不准确性是衡量其距离的解决方案集,新的下界完全匹配的上界由最近的信息理论的精确方法由相同的作者,从而建立这类问题的确切的预言复杂性。
2021-06-14 math.OC
On the Iteration Complexity of Smoothed Proximal ALM for Nonconvex Optimization Problem with Convex Constraints
众所周知,求解非凸无约束最优化问题的迭代复杂度的下界是$Ω(1/ε^2)$,当目标函数光滑时,可以用标准梯度下降算法达到。这个下界对于非凸约束问题仍然成立,而一阶方法是否能达到这个下界仍然是未知的。在本文中,我们表明,一个简单的单循环一阶算法称为平滑邻近增广拉格朗日方法(ALM)可以实现这样的迭代复杂度下界。关键的技术贡献是一个强大的局部误差界的一般凸约束问题,这是独立的利益。
2022-11-01 math.OC
A Newton-CG Algorithm with Complexity Guarantees for Smooth Unconstrained Optimization
我们考虑最小化的光滑非凸目标函数使用迭代算法的基础上牛顿法和线性共轭梯度算法,明确检测和使用负曲率方向的Hessian的目标函数。该算法密切跟踪20世纪80年代开发的牛顿共轭梯度程序,但包括增强功能,允许证明最坏情况下的复杂性结果收敛到满足近似一阶和二阶最优性条件的点。的复杂性结果匹配的最佳已知的结果在文献中的二阶方法。
2018-11-12 math.OC
A Gaussian smoothing-based zeroth-order method for Goldstein second-order stationarity
Chengdu University of Information Technology(成都信息工程大学);The Hong Kong Polytechnic University(香港理工大学);Zhejiang University of Technology(浙江工业大学)
该研究引入戈德斯坦二阶δ-次微分等概念,针对连续可微函数提出基于立方正则化和高斯平滑同伦的零阶算法,用于寻找近似二阶平稳点,并推导了迭代复杂度。
2026-07-24 math.OC
Oracle Complexity of Second-Order Methods for Smooth Convex Optimization
二阶方法利用梯度和海森函数来优化给定函数,在数学优化中具有重要意义。在这项工作中,我们证明了严格的边界上的预言复杂性,这种方法的光滑凸函数,或等价地,优化这些功能所需的最坏情况下的迭代次数,以给定的精度。特别是,这些界限表明,当这样的方法可以或不能改善基于梯度的方法,其预言的复杂性是更好地理解。我们还提供了我们的结果的高阶方法的推广。
2017-08-17 math.OC
The Power of First-Order Smooth Optimization for Black-Box Non-Smooth Problems
在过去的十年中,黑盒凸优化的无约束/零阶方法得到了广泛的研究,主要集中在Oracle调用复杂性上。在本文中,除了预言的复杂性,我们还专注于迭代的复杂性,并提出了一个通用的方法,最佳的一阶方法的基础上,允许在一个黑盒时尚获得新的零阶算法的非光滑凸优化问题。我们的方法不仅导致最佳的预言复杂性,但也允许获得类似的一阶方法,这反过来又允许利用并行计算,以加速我们的算法的收敛迭代复杂性。我们还详细介绍了随机最优化问题,鞍点问题和分布式优化的扩展。
2023-03-01 math.OC
Penalty methods to compute stationary solutions in constrained optimization problems
本文通过相应的无约束惩罚问题研究了一般约束最优化问题的平稳解。我们的目标是回答这样一个问题:“关于原始约束最优化问题的解,惩罚无约束问题的静态解告诉我们什么?”".我们通过建立全局(局部)极小值和两个最优化问题的稳定点之间的关系来回答后一个问题。考虑到问题的平稳解之间的强联系,我们引入了一个新的近似$\varepsilon$ -平稳解的约束最优化问题。我们提出了一个算法来计算这样一个近似的固定解决方案的一般约束最优化问题,即使在没有克拉克正则性。在合理的假设下,我们建立了我们的算法的速率$O(\varepsilon^{-2})$,类似于平滑最小化的梯度下降法。由于我们的惩罚项是由距离函数的幂构造的,所以我们的平稳性分析在很大程度上依赖于距离函数的广义微分。特别是,我们的特点(半)可微的距离函数$\mbox{dist}(. ;X)$定义的Fréchet光滑范数,在几何的集合$X$。证明了$\mbox{dist} (. ;X)$是半可微的当且仅当$X$是几何可导的.后者打开了大门,设计优化算法的约束最优化问题,遭受克拉克不规则的目标和约束函数。
2022-06-24 math.OC
Sensitivity Analysis of a Stationary Point Set Map under Total Perturbations. Part 2: Robinson Stability
本文的第一部分,我们在全扰动下估计了具有一个光滑函数约束的光滑参数最优化问题的驻点集映射的Fréchet余导数和Mordukhovich余导数。利用这些估计,得到了映射局部Lipschitz性质的充要条件.在这一部分中,我们建立了驻点集映射的Robinson稳定性的充分条件。这使我们能够重新审视和推广不定二次规划中的几个稳定性定理。我们的结果与可以通过另一种方法得到的结果进行了比较。
2018-11-14 math.OC
On the Complexity of Instationary Gas Flows
我们研究了一个简单的模型,由一系列的k个固定的气体流动的非定常气体流动。我们提出了有效的可解的情况下,NP-硬度的结果,建立稳定和不稳定的气体流动之间的复杂性差距(已经为k=2),以及不稳定的气体s-t-流量和不稳定的气体b-流量。
2017-08-29 cs.DM math.OC
The Complexity of Finding Stationary Points with Stochastic Gradient Descent
Google Research(谷歌研究院);Weizmann Institute of Science(魏茨曼科学研究所)
本文研究了随机梯度下降(SGD)最小化光滑的、可能非凸函数的梯度范数的迭代复杂性。我们提供了几个结果,这意味着$\mathcal{O}(ε^{-4})$上限的Ghadimi和Lan~ \cite{ghadimi2013stochastic}(使平均梯度范数小于$ε$)不能得到改善,除非作出额外的假设的组合。值得注意的是,即使我们将自己限制为凸二次函数,这也成立。我们还表明,对于非凸函数,最小化梯度与SGD的可行性是令人惊讶的最优性准则的选择敏感。
2021-07-29 cs.LG math.OC stat.ML
A Newton-CG based barrier method for finding a second-order stationary point of nonconvex conic optimization with complexity guarantees
University of Minnesota(明尼苏达大学)
本文研究了非凸锥优化问题的近似二阶稳定点(SOSP),该稳定点使仿射子空间与凸锥交点上的二次可微函数最小.特别是,我们提出了一个牛顿共轭梯度(Newton-CG)为基础的障碍方法找到一个$(ε,\sqrtε)$ -SOSP的这个问题。我们的方法不仅是可实现的,而且还实现了${\cal O}(ε^{-3/2})$的迭代复杂度,这匹配的最佳已知的迭代复杂度的二阶方法找到一个$(ε,\sqrtε)$ -SOSP的无约束非凸优化。由${\cal O}(ε^{-3/2})$ Cholesky分解和$\widetilde{\cal O}(ε^{-3/2}\min\{n,ε^{-1/4}\})$其他基本运算组成的运算复杂度也为我们的方法建立。
2022-10-11 cs.LG cs.NA math.NA
Local feedback stabilisation to a non-stationary solution for a damped non-linear wave equation
研究了具有光滑边界的有界区域上的阻尼半线性波动方程。证明了任意充分光滑解都能被有限维反馈控制局部镇定,该反馈控制由满足几何条件的给定开子集支持。证明是基于调查的线性化方程,我们构建一个稳定控制满足所需的属性。我们接下来证明,相同的控制稳定局部的非线性问题。
2012-11-30 math.AP math.OC
Efficiently Escaping Saddle Points under Generalized Smoothness via Self-Bounding Regularity
Cornell University(康奈尔大学)
本文研究了非凸函数(不一定光滑)的一阶优化方法,提出了一种新的框架,系统分析了在广义平滑性下一阶优化算法的收敛性,首次建立了在广义平滑性下一阶方法达到二阶 stationary 点的收敛保证。
2026-06-04 cs.LG math.OC
Smooth Non-Stationary Bandits
Cornell University(康奈尔大学)
研究非平稳Bandit问题,利用β-Hölder平滑性建模奖励变化,提出新策略实现平滑与非平滑情形遗憾分离,并给出匹配的极小化极大下界。
2024-11-17 cs.AI cs.LG math.OC
Can We Find Near-Approximately-Stationary Points of Nonsmooth Nonconvex Functions?
Weizmann Institute of Science(魏茨曼科学研究所)
众所周知,给定一个有界的光滑非凸函数,标准的基于梯度的方法可以在$\mathcal{O}(1/ε^2)$迭代中找到$ε$ -稳定点(其中梯度范数小于$ε$)。然而,许多重要的非凸最优化问题,如那些与现代神经网络的训练,本质上是不光滑的,使这些结果不适用。此外,正如最近在Zhang et al. [2020]中指出的那样,通常不可能为找到非光滑函数的$ε$ -平稳点提供有限时间保证。也许最自然的放松这是找到点附近的这种$ε$ -平稳点。在本文中,我们表明,即使是这个宽松的目标是很难获得一般,只给黑盒访问的函数值和梯度。我们还讨论了替代方法的利弊。
2021-04-15 cs.LG math.OC
On Lower Complexity Bounds for Large-Scale Smooth Convex Optimization
本文给出了大规模光滑凸极小化问题的黑盒预言复杂度的下界,重点讨论了高维光滑(Holder连续,给定指数和常数,梯度)凸函数的极小化问题||.||_ p-球,1<=p<= \infty。我们的边界原来是紧的(对数的设计维度因素),并可以被视为现有的低复杂性边界的大规模凸最小化覆盖的非光滑的情况下和“欧几里德”光滑的情况下(最小化的凸函数与Lipschitz连续梯度欧几里德球)的一个实质性的扩展。作为我们结果的一个副产品,我们证明了经典的条件梯度算法在最小化高维光滑凸函数时,在基于信息的复杂性理论的意义下是近最优的||.||_ \infty -球及其矩阵类比--方阵空间中的谱范数球。
2018-11-28 cs.CC math.OC
The Computational Complexity of Finding Stationary Points in Non-Convex Optimization
University of Oxford(牛津大学);Yale University(耶鲁大学)
该研究刻画了无约束与约束非凸优化中近似平稳点、KKT点求解的计算与查询复杂度,证明二维相关问题的查询复杂度上下界,明确两类问题的归约关系。
2024-09-11 cs.CC cs.LG math.OC
The Complexity of Making the Gradient Small in Stochastic Convex Optimization
MIT(麻省理工学院);Cornell University(康奈尔大学);Weizmann Institute(魏茨曼科学研究所);TTI Chicago(芝加哥技术创新研究所(TTI Chicago))
本文给出了随机凸优化问题中寻找$ε$-平稳点($\| \nabla F(x) \| \leqε$)的预言复杂性的近似匹配上、下界。我们共同分析了本地随机预言机模型和全局预言机(或统计学习)模型的预言机复杂性。这使我们能够将寻找近稳定点的复杂性分解为优化复杂性和样本复杂性,并揭示了随机优化与学习的复杂性之间的一些令人惊讶的差异。值得注意的是,我们表明,在全球预言机/统计学习模型中,只有对数依赖于光滑度需要找到一个近平稳点,而多项式依赖于光滑度是必要的,在当地的随机预言机模型。换句话说,这两个模型之间的复杂性分离可以是指数级的,并且民间认为找到稳定点需要平滑度的理解对于统计学习来说只是弱正确的。我们的上界是基于Allen-Zhu(2018)提出的最近的"递归正则化"技术的扩展。我们将展示如何扩展该技术以实现接近最优的速率,特别是展示如何利用全球Oracle模型中的额外信息。我们的算法的全球模型可以有效地实现通过有限和方法,并提出了一个有趣的新的计算统计权衡。
2019-02-14 cs.LG math.OC stat.ML
Homotopy Smoothing for Non-Smooth Problems with Lower Complexity than $O(1/ε)$
在本文中,我们开发了一种新的{ \bf ho}moto{ \bf p}y { \bf s}moothing(HOPS)算法,用于解决一族非光滑问题,该问题由具有显式极大结构的非光滑项和光滑项或简单非光滑项组成,其邻近映射易于计算。求解这种非光滑最优化问题的最佳迭代复杂度是$O(1/ε)$,而不需要任何强凸性假设。在这项工作中,我们将表明,建议的HOPS实现了较低的迭代复杂度的$\widetilde O(1/ε^{1-θ})$ \footnote{$\widetilde O()$ suppresses a logarithmic factor.}与$θ\in(0,1]$捕捉局部清晰度的目标函数周围的最优解。据我们所知,这是迄今为止所考虑的非光滑最优化问题在没有强凸性假设的情况下实现的最低迭代复杂度。HOPS算法采用Nesterov的平滑技术和Nesterov的加速梯度法,并分阶段运行,以逐步的方式逐渐减小平滑参数,直到它产生足够好的原始函数的近似值。我们表明,HOPS享有许多著名的非光滑问题的线性收敛(例如,具有分段线性损失函数和$\ell_1$范数正则化器的经验风险最小化、在多面体中寻找点、锥规划等)。通过与Nesterov平滑算法和原始-对偶一阶方法的比较,验证了HOPS方法的有效性。
2016-11-03 math.OC stat.ML
Oracle Complexity in Nonsmooth Nonconvex Optimization
Weizmann Institute of Science(魏茨曼科学研究所)
众所周知,给定一个光滑的、有界的、可能非凸的函数,标准的基于梯度的方法可以在$\mathcal{O}(1/ε^2)$迭代中找到$ε$ -稳定点(梯度范数小于$ε$)。然而,许多重要的非凸最优化问题,如那些与现代神经网络的训练,本质上是不光滑的,使这些结果不适用。在本文中,我们研究了非光滑非凸优化的预言复杂性的观点,其中算法被假定为只能访问局部信息的功能在不同的点。我们提供了两个主要结果:第一,我们考虑了接近$ε$ -平稳点的问题。这也许是最自然的放松寻找$ε$ -平稳点,这是不可能的非光滑非凸的情况下。我们证明,这个放松的目标不能有效地实现,任何距离和$ε$小于一些常数。我们的第二个结果处理的可能性,解决非光滑非凸优化减少到光滑优化:即,应用光滑的最优化方法的光滑近似的目标函数。对于这种方法,我们在一个温和的假设下证明了oracle复杂性和光滑性之间的内在权衡:一方面,平滑非光滑非凸函数可以非常有效地完成(例如,通过随机平滑),但是在平滑参数中具有依赖于维度的因子,当插入标准平滑最优化方法时,这会强烈影响迭代复杂性。另一方面,这些维度因素可以用合适的平滑方法来消除,但只能通过使平滑过程的预言复杂度指数级地大。
2022-10-27 cs.LG math.OC
Complexity-optimal and parameter-free first-order methods for finding stationary points of composite optimization problems
本文提出一种无参数的加速近端下降法,用于求解非凸复合优化问题的稳定点,无需已知 Lipschitz 常数或全局拓扑性质,在凸与非凸情形下均达到对数因子意义下的最优迭代复杂度,并通过数值实验验证其实际有效性。
2024-06-28 cs.CC cs.NA math.NA
A Newton-CG based augmented Lagrangian method for finding a second-order stationary point of nonconvex equality constrained optimization with complexity guarantees
University of Minnesota(明尼苏达大学);The Hong Kong Polytechnic University(香港理工大学)
本文考虑了在已知近似可行点的情况下,求非凸等式约束优化问题的二阶稳定点的问题。特别是,我们首先提出了一种新的Newton-CG方法来寻找无约束优化的近似SOSP,并表明它比Newton-CG方法具有更好的复杂性[56]。然后,我们提出了一个基于Newton-CG的增广拉格朗日(AL)方法找到一个近似的SOSP的非凸等式约束优化,其中建议的Newton-CG方法被用作子问题求解器。我们表明,在广义线性独立约束规格(GLICQ)下,我们的AL方法具有$\widetilde{\cal O}(ε^{-7/2})$的总内迭代复杂度和$\widetilde{\cal O}(ε^{-7/2}\min\{n,ε^{-3/4}\})$的操作复杂度,用于以高概率找到非凸等式约束优化的$(ε,\sqrtε)$ -SOSP,这明显优于近似AL方法[60]。此外,我们还证明了当GLICQ不成立时,它的总内迭代复杂度为$\widetilde{\cal O}(ε^{-11/2})$,运算复杂度为$\widetilde{\cal O}(ε^{-11/2}\min\{n,ε^{-5/4}\})$。据我们所知,本文所得到的所有复杂性结果是新的寻找一个近似SOSP的非凸等式约束优化的高概率。初步的数值结果也证明了我们提出的方法优于[56,60]中的方法。
2023-01-09 cs.LG cs.NA math.NA
On the global complexity of a derivative-free Levenberg-Marquardt algorithm via orthogonal spherical smoothing
提出一种基于正交球面平滑的无导数Levenberg-Marquardt算法,证明了其梯度模型的概率一阶精度,并给出了高概率复杂度界。
2024-07-17 cs.NA math.NA math.OC
A Riemannian smoothing steepest descent method for non-Lipschitz optimization on submanifolds
Beijing Jiaotong University(北京交通大学);The Hong Kong Polytechnic University(香港理工大学);University of California, Davis(加利福尼亚大学戴维斯分校)
本文提出了一种黎曼光滑最速下降方法来极小化子流形上的非凸非Lipschitz函数。定义并讨论了黎曼流形上的广义次微分和黎曼梯度次相合性。证明了由黎曼光滑最速下降方法生成的序列的任何聚点都是与该方法中所用的光滑函数相关联的驻点,这是原非Lipschitz问题局部最优性所必需的.在黎曼梯度次相合条件下,我们还证明了任一聚点都是原非Lipschitz问题的黎曼极限稳定点。数值实验证明了该方法的有效性。
2021-04-09 cs.IT cs.LG eess.SP
Gradient play in stochastic games: stationary points, convergence, and sample complexity
Harvard School of Engineering and Applied Sciences(哈佛工程与应用科学学院)
本文研究随机博弈中梯度博弈的收敛与样本复杂度,证明Nash均衡等价于一阶驻点,并为Markov势博弈给出精确与基于样本算法的非渐近全局收敛保证。
2023-12-06 cs.GT cs.LG cs.MA