Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法，在最坏的情况下，该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$，并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架，涵盖了广泛的技术，包括二次和三次正则化牛顿方法，如自适应正则化使用三次（ARC）方法和最近提出的信赖域算法与收缩和扩张（TRACE）。我们的方法的一般性是通过引入通用的条件，每个试验步骤需要满足，特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题，可以近似求解，以获得满足条件的试验步骤。一个新的实例的框架，不同的ARC和TRACE，可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明，我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
Worst-case evaluation complexity and optimality of second-order methods for nonconvex smooth optimization
从最坏情况计算复杂性的角度建立或反驳了无约束非凸优化的不精确二阶方法的最优性，改进和推广了Cartis，Gould和Toint（2010，2011）的结果.为了这个目的，我们考虑一个新的一般类的不精确的二阶算法无约束优化，包括正则化和信赖域变化的牛顿法，以及他们的linesperson的变种。对于这类方法和任意精度阈值$ε\in (0,1)$，我们展示了一个具有有界范围的光滑目标函数，其梯度是全局Lipschitz连续的，其Hessian是$α-$ Hölder连续的（对于给定的$α\in [0,1]$），对于该方法，至少需要$\lfloorε^{-(2+α)/(1+α)}\rfloor$函数求值来生成第一个梯度小于$ε$的范数。此外，我们还构造了另一个函数，牛顿的$\lfloorε^{-2}\rfloor$评估，但其Hessian是Lipschitz连续的路径上的迭代。这些例子提供了最坏情况下的评估复杂性的方法，在我们的类时，应用到满足相关假设的光滑问题的下限。此外，对于$α=1$，该下限在$ε$中与Curtis，Robinson和samadi（2017）或Royer和Wright（2017）中提出的一类方法中的立方和其他方法的最坏情况评估复杂度的上限具有相同的顺序，因此意味着这些方法在更广泛的二阶方法中具有最佳的最坏情况评估复杂度，而牛顿法是次优的。
2017-09-21 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日（IPAAL）方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由一个合适的拉格朗日乘子更新。结果表明，IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代，其中$ρ>0$是给定的公差。它还表明，以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行，也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
Exact worst-case convergence rates of gradient descent: a complete analysis for all constant stepsizes over nonconvex and convex functions
KU Leuven（荷语鲁汶大学）；UCLouvain（法语鲁汶大学）
本文推导了梯度下降法在非凸和凸函数上的精确最坏收敛速率，并提出了一种改进的变体梯度下降法。
2026-01-22 math.OC
Regional Complexity Analysis of Algorithms for Nonconvex Smooth Optimization
提出了一种刻画非凸光滑最优化问题算法最坏情况性能的策略。当代分析的特点是最坏情况下的性能，提供了一定的假设下，一个目标函数，上界的迭代次数（或功能或衍生评估），直到一个p阶平稳条件近似满足。这可以说导致了基于异常目标而不是实践中通常遇到的目标的保守描述。相比之下，本文提出的策略的特征最坏情况下的性能分别在区域组成的搜索空间。这些区域一般基于导数值的性质来定义。通过这种方式，可以独立于任何特定类别的目标来分析算法的最坏情况性能。然后，一旦给定了一类目标，人们可以获得一个信息丰富的，微调的复杂性分析，仅仅通过划定的类型的区域，包括搜索空间的功能在类。由一阶和二阶导数定义的区域进行了详细讨论，并提供了一些基本的一阶和二阶算法，以尽量减少凸和非凸目标的兴趣时，例如复杂性分析。它还解释了如何将该策略推广到由高阶导数定义的区域，并用于分析高阶算法的行为。
2018-08-24 math.OC
A global dual error bound and its application to the analysis of linearly constrained nonconvex optimization
误差界分析是一种分析一阶优化算法的有力工具，它利用最优性残差来估计点到最优化问题解集的距离。本文利用全局误差界分析研究了线性约束非凸极小化问题一阶算法的迭代复杂性。我们开发了一个全球的双重误差界分析的正则化版本的这个非凸问题，通过使用一种新的"分解“技术。配备了这个全局对偶误差界，我们证明了适当设计的原始-对偶一阶方法可以在$\mathcal{O}(1/ε^2)$迭代中生成线性约束非凸最小化问题的$ε$ -稳态解，这是此类非凸问题最著名的迭代复杂度。
2020-06-30 math.OC
Iteration Bounds for Finding the $ε$-Stationary Points for Structured Nonconvex Optimization
在本文中，我们研究了近端条件梯度（CG）和近端梯度投影型算法的块结构约束非凸优化模型，这是自然产生的张量数据分析。首先，我们引入了一个新的概念，$ε$ -平稳性，这是适用于所考虑的结构化问题。%，与其他类似的解决方案概念相比。然后，我们提出了两种类型的一阶算法的模型的基础上的邻近条件梯度（CG）方法和邻近梯度投影法分别。如果非凸目标函数是数学期望的形式，我们讨论了如何加入随机抽样以避免精确计算期望。对于一般块优化模型，根据块坐标下降（BCD）或最大块改进（MBI）更新规则对每个块执行邻近子程序。如果目标$f$的非凸部分的梯度满足$\| \nabla f(x) - \nabla f(y)\|_q \le M \|x-y\|_p^δ$，其中$δ=p/q$与$1/p+1/q=1$，那么我们证明了新算法在寻找$ε$ -平稳解时具有$O(1/ε^q)$的总迭代复杂度界.如果$f$是凹的，则迭代复杂度降低到$O(1/ε)$。张量逼近问题的数值实验表明，新的解决方案的算法有前途的性能。
2014-10-15 math.OC
Sharp worst-case evaluation complexity bounds for arbitrary-order nonconvex optimization with inexpensive constraints
Mathematical Institute, Oxford University（牛津大学数学研究所）；Computational Mathematics Group, STFC-Rutherford Appleton Laboratory（STFC-拉瑟福德苹果顿实验室计算数学组）；Namur Center for Complex Systems (naXys), University of Namur（纳慕尔复杂系统中心（naXys），纳慕尔大学）
本文研究了具有低成本约束的任意阶非凸优化问题的最坏情况评估复杂度界限，提出了一种概念性正则化算法，能够在给定精度和最优阶数的情况下，以O(ε^(- (p+1)/(p-q+1)))的次数评估目标函数及其导数，计算出合适的q阶近似极小值点。
2018-11-03 cs.AI cs.CC cs.NA
Policy iteration for nonconvex viscous Hamilton--Jacobi equations
本文使用时空离散格式研究了非凸粘性 Hamilton--Jacobi 方程的策略迭代收敛速率，分析了不可控扩散项情形，并获得了指数收敛结果与离散化误差分析。
2025-03-04 cs.NA math.AP math.NA
Stochastic Alternating Direction Method of Multipliers with Variance Reduction for Nonconvex Optimization
本文研究了非凸优化问题的随机交替方向法（ADMM），基于不同的方差约化随机梯度，提出了三类方差约化的非凸随机ADMM。具体来说，第一类称为非凸随机方差降低梯度ADMM（SVRG-ADMM），使用多阶段计划，逐步减少随机梯度的方差。第二种是非凸随机平均梯度ADMM（SAG-ADMM），它还使用了在前一次迭代中估计的旧梯度。第三种称为SAGA-ADMM，是SAG-ADMM方法的扩展。此外，在适当的条件下，我们建立了所提方法的$O(1/ε)$的迭代复杂度界，以获得非凸优化问题的$ε$ -平稳解.特别是，我们提供了一个通用的框架来分析这些非凸随机ADMM方法的迭代复杂性与方差减少。最后，数值实验验证了本文方法的有效性.
2017-07-26 math.OC stat.ML
An Optimization Framework with Flexible Inexact Inner Iterations for Nonconvex and Nonsmooth Programming
Dalian University of Technology（大连理工大学）
近年来，许多视觉和学习任务已经（重新）制定为非凸和非光滑规划（NNPs）。虽然已经提出了一些算法，为特定的问题，设计快速和灵活的优化方案的理论保证是一个具有挑战性的任务一般NNPs。非精确内迭代算法的收敛性问题还不清楚，但它在某些特殊情况下是有用的。基于这些实践经验，本文设计了一种新的算法框架，命名为不精确邻近交替方向法（iPad）求解一般NNPs。我们证明，任何数值算法可以被纳入iPad解决子问题和由此产生的混合计划的收敛性可以始终保证由一系列简单的错误条件。除了理论上的保证之外，对合成数据和真实数据的数值实验进一步证明了我们的iPad框架在实际应用中的优越性和灵活性。
2017-06-30 cs.CV math.OC
Improving Convergence Guarantees of Random Subspace Second-order Algorithm for Nonconvex Optimization
针对高维非凸优化问题，本文提出随机子空间均匀化信赖域（RSHTR）方法，在随机子空间类算法中实现最优收敛理论保证，并通过真实数据集实验验证了其有效性。
2025-03-23 math.OC
Efficient Inexact Proximal Gradient Algorithm for Nonconvex Problems
近似梯度算法是求解凸优化问题的一种常用算法。最近，它也被扩展到非凸问题，目前最先进的是非单调加速邻近梯度算法。然而，它通常在每次迭代中需要两个精确的近端步骤，并且当近端步骤昂贵时可能是低效的。在本文中，我们提出了一个有效的近端梯度算法，只需要一个不精确的（因此成本较低）在每次迭代的近端步骤。收敛到一个临界点的非凸问题的%仍然是有保证的，并有一个$O(1/k)$收敛速度，这是最好的速度为非凸问题的一阶方法。通过对多个问题的实验表明，该算法具有与现有算法相当的性能，但速度要快得多。
2017-05-23 math.OC
On Distributed Nonconvex Optimisation Via Modified ADMM
针对多智能体网络中的非凸非光滑分散优化问题，提出一种带多轮信息聚合内循环的改进 ADMM 框架，并证明其在循环次数对数增长时渐近收敛至驻点。
2023-12-07 math.OC
Polynomial worst-case iteration complexity of quasi-Newton primal-dual interior point algorithms for linear programming
拟牛顿法是用于大规模数值优化的公知技术。他们在最优化问题中使用Hessian近似，在非线性方程组中使用Jacobian近似。在内点上下文中，拟牛顿算法计算与牛顿系统相关联的矩阵的低秩更新，而不是在每次迭代时从头开始计算。本文证明了线性规划的简化拟牛顿原对偶内点算法具有多项式最坏情况迭代复杂度。考虑了算法的可行和不可行情况，分析了中心路径的最常见邻域。据我们所知，这是第一次尝试为这些方法提供多项式最坏情况下的迭代复杂度界限。不出所料，当使用拟牛顿方向时获得的最坏情况的复杂度结果比采用牛顿方向时的结果更差。然而，拟牛顿更新是非常有吸引力的大规模最优化问题，其中分解矩阵的成本是远远高于解决线性系的成本。
2022-09-09 math.OC
An Iterative Method for Nonconvex Quadratically Constrained Quadratic Programs
研究了非凸二次约束二次规划（QCQP）问题的迭代法.现有的求解非凸QCQP问题的方法之一是将对未知矩阵的秩1约束松弛为半定约束，从而得到最优值的上界，但没有找到精确解。通过重新考虑秩一矩阵，提出了一种逐步逼近秩一约束的迭代秩最小化方法。每一次迭代都被表示为一个带半定约束的凸问题。为了提高算法的可扩展性和计算效率，提出了一种增广拉格朗日方法--扩展Uzawa算法。仿真实例使用所提出的方法和比较结果从其他方法提供和讨论。
2016-09-08 math.OC
Block stochastic gradient iteration for convex and nonconvex optimization
Rice University（莱斯大学）；UCLA（加州大学洛杉矶分校）
随机梯度（SG）方法可以使由大量可微函数组成的目标函数最小化，或者以中等精度解决随机最优化问题。另一方面，块坐标下降/更新（BCD）方法通过一次更新一个变量来处理多个变量块的问题;当变量块单独更新比一起更新更容易时，BCD具有较低的每次迭代成本。本文介绍了一种结合SG和BCD特点的方法，用于解决目标中含有多个分量和多个（块）变量的问题。具体来说，提出了一种用于求解凸规划和非凸规划的块随机梯度（BSG）方法。在每次迭代中，BSG通过随机采样一小组数据或从目标中的和项中采样几个函数来近似目标的可微部分的梯度，然后使用这些样本，它以确定性或随机混洗顺序更新所有变量块。在不同的意义下，证明了它对凸和非凸情形的收敛性。在凸情形下，该方法具有与SG方法相同的收敛速度阶。在非凸的情况下，它的收敛性建立在一阶最优性条件的预期违反。所提出的方法进行了数值测试的问题，包括随机最小二乘和逻辑斯谛回归，这是凸的，以及低秩张量恢复和双线性逻辑斯谛回归，这是非凸的。
2015-03-02 cs.LG cs.NA math.NA
An Adaptive Augmented Lagrangian Method for Deterministic and Stochastic Nonconvex Optimization
UNC–Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出自适应罚参数更新与完整对偶步长的不精确增广拉格朗日算法，适用于确定性、随机函数及约束的非凸优化，经CUTEst与机器学习随机问题实验验证其优势。
2026-08-31 math.OC
Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；AIRI；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Skoltech（斯科尔科沃科技学院）
针对分布式优化中下行通信低效问题，提出新型下行压缩方法MARINA-P及结合上行压缩与动量的双向压缩方法M3，理论和实验均验证其通信复杂度随工作节点数增加而优化的优势。
2024-11-02 cs.LG math.OC stat.ML
A Newton-Based Method for Nonconvex Optimization with Fast Evasion of Saddle Points
神经网络训练、张量分解和矩阵分解等机器学习问题需要非凸函数的局部最小化。这种局部最小化受到鞍点的存在的挑战，鞍点可能有很多，并且下降法可能需要非常大量的迭代来逃避。本文提出了一种二阶的方法，修改更新的牛顿法，通过取代负特征值的海森由其绝对值，并使用截断版本的结果矩阵来占目标的曲率。所示的方法，以逃避鞍在最$1 + \log_{3/2} (δ/2\varepsilon)$迭代，其中$\varepsilon$是目标最优和$δ$特征点足够远离鞍。这个指数逃逸的基数是独立于问题常数的$3/2$。在牛顿法的基础上，证明了在$O\left(\log(1/p)) + O(\log(1/\varepsilon)\right)$迭代中以概率$1-p$收敛于局部极小值。
2018-07-20 math.OC
Accelerated Inexact First-Order Methods for Solving Nonconvex Composite Optimization Problems
本论文的重点是发展和分析加速和不精确的一阶方法来解决或找到各种非凸复合优化（NCO）问题的稳定点。主要工具来自于变分和凸分析，主要结果是迭代复杂性界的形式，以及这些界与文献中其他界的比较。
2021-12-26 math.OC
Derivative-free Alternating Projection Algorithms for General Nonconvex-Concave Minimax Problems
Shanghai University（上海大学）；Newtouch Center for Mathematics of Shanghai University（上海大学新触数学中心）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
针对一般光滑与分块非光滑非凸-凹极小极大问题，提出ZO-AGP和ZO-BAPG两种零阶算法，给出O(ε^-4)迭代复杂度，并通过数据投毒和分布式稀疏PCA验证有效性。
2024-01-25 cs.LG math.OC stat.ML
Distributed Nonconvex Optimization: Gradient-free Iterations and $ε$-Globally Optimal Solution
本文针对带约束的分布式非凸优化问题，提出结合切比雪夫多项式逼近、平均一致性和多项式优化的CPCA算法，实现无梯度迭代下的ε-全局最优解，并保证查询与通信高效及可分布式终止。
2024-04-21 cs.SY eess.SY math.OC
Iteration Complexity of an Infeasible Interior Point Methods for Seconder-order Cone Programming and its Warmstarting
研究了二阶锥规划（SOCP）的一种不可行内点方法（IPM）的最坏情况迭代复杂性，与可行IPM相比，该方法更便于热启动.该方法基于齐次自对偶模型和Monteiro-Zhang搜索方向族。它的最坏情况迭代复杂度是$O\left(k^{1/2}\log\left(ε^{-1}\right)\right)$，以将原始残差、对偶残差和互补缺口减少$ε$的因子，其中$k$是锥约束的数量。该结果与可行IPM的最佳已知结果相同。研究了热启动提高复杂度界的条件。
2023-01-24 cs.CC math.OC
Anderson Acceleration for Nonconvex ADMM Based on Douglas-Rachford Splitting
交替方向乘子法（ADMM）是计算机图形学中求解非光滑非凸最优化问题的一种常用方法。它可以快速收敛到一个近似解，但可能需要很长时间才能收敛到一个高精度的解。以前，安德森加速已被应用到ADMM，通过治疗它作为一个固定点的迭代串联的对偶变量和一个子集的原始变量。在本文中，我们注意到ADMM和Douglas-Rachford分裂之间的等价性揭示了ADMM实际上是低维空间中的不动点迭代。通过将Anderson加速应用于这种低维不动点迭代，我们得到了一种更有效的加速ADMM的方法。我们分析了所提出的加速方法在非凸问题上的收敛性，并验证了其在各种计算机图形学问题，包括几何处理和物理模拟的有效性。
2020-06-26 cs.GR math.OC
Global convergence of a modified BFGS-type method based on function information for nonconvex multiobjective optimization problems
针对非凸多目标优化，提出改进BFGS型方法MFQNMO，用公共矩阵近似所有目标Hessian矩阵以降低计算负担，证明了其不依赖凸性的收敛性与局部超线性收敛速率，并通过实验验证有效性。
2024-10-11 math.OC
A convergence framework for inexact nonconvex and nonsmooth algorithms and its applications to several iterations
National University of Defense Technology（国防科技大学）；The State Key Laboratory for High Performance Computation, National University of Defense Technology（高性能计算国家重点实验室（国防科技大学））；School of Mathematics and Computational Science, Xiangtan University（湘潭大学数学与计算科学学院）
本文提出了一种不精确非凸和非光滑算法的收敛框架，通过引入伪充分下降条件和伪相对误差条件，并假设连续性条件，证明在特定可和假设下，生成的序列收敛到目标函数的临界点，并将其应用于几种经典非凸迭代算法，推导了相应的收敛结果。
2018-11-28 cs.NA math.NA math.OC
Sufficient Conditions for Error Distance Reduction in the (\ell^2)-norm Trust Region between Minimizers of Local Nonconvex Multivariate Quadratic Approximates
本文研究局部非凸二次逼近在信赖域中极小值距离缩减的充分条件，并通过例子验证理论。
2024-07-16 math.OC
Revisiting Linearized Bregman Iterations under Lipschitz-like Convexity Condition
线性化Bregman迭代（LBreI）及其变体在信号/图像处理和压缩感知中受到了相当大的关注。最近，LBreI已经扩展到更大的一类非凸函数，以及一些理论问题留给进一步研究。特别是，梯度Lipschitz连续性假设排除了它在许多实际应用中的使用。在这项研究中，我们提出了一个通用的算法框架，统一LBreI型方法。我们的主要发现是，梯度Lipschitz连续性假设可以取代的Lipschitz凸性条件在凸和非凸的情况下。所提出的框架和理论，然后应用到线性/二次反问题。
2022-03-04 math.OC
Structured Nonconvex and Nonsmooth Optimization: Algorithms and Iteration Complexity Analysis
Shanghai University of Finance and Economics（上海财经大学）；UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；University of Minnesota（明尼苏达大学）
非凸和非光滑最优化问题在统计、商业、科学和工程等领域中经常遇到，但在可扩展性方面，它们还没有被广泛地认识为一种技术。这种相对较低的普及程度的一个原因是缺乏一个良好的发展系统的理论和算法来支持的应用程序，是其凸对应的情况下。本文的目的是采取纪律的非凸和非光滑最优化的方向迈出了一步。特别地，本文考虑了块决策变量中有约束的非凸最优化模型，无论有无耦合仿射约束。在无耦合约束的情况下，证明了广义条件梯度法以变分不等式的形式具有次线性收敛速率到$ε$ -平稳解的速度，其中收敛速度依赖于目标光滑部分梯度的Hölderian连续性.对于耦合仿射约束的模型，我们引入相应的$ε$ -平稳性条件，并应用两个近似型的ADMM的变体来解决这样的模型，假设可以实现的所有块变量的最后一块，除了梯度步骤或优化最小化步骤的最接近的ADMM更新。我们证明了迭代复杂性界的$O(1/ε^2)$达到$ε$ -固定的解决方案，这两种算法。此外，我们表明，相同的迭代复杂性的一个接近BCD方法如下立即。数值结果表明，所提出的张量鲁棒PCA算法的有效性。
2018-01-17 cs.LG math.OC stat.ML
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日（AIDAL）方法。AIDAL方法的每次迭代包括：（i）通过调用加速复合梯度（ACG）子例程不精确地求解阻尼近端增广拉格朗日（AL）子问题;（ii）应用阻尼和欠松弛拉格朗日乘子更新;以及（iii）使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下，涉及阻尼因子和下松弛常数，它表明，AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序，对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
Complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs
分析了求解线性约束非凸组合规划的二次罚加速不精确邻近点方法的迭代复杂性。更具体地，目标函数具有$f + h$的形式，其中$f$是梯度为Lipschitz连续的可微函数，而$h$是具有有界域的闭凸函数。该方法，基本上，包括应用加速不精确的邻近点法近似求解一系列的二次惩罚的线性约束问题的子问题。近似点法的每个子问题依次近似求解的加速复合梯度（ACG）方法。结果表明，该方案在最多${\cal{O}}(ρ^{-3})$ ACG迭代生成一个$ρ$ -近似稳定点。最后，数值结果表明所提出的方法的有效性。
2019-07-16 math.OC
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
该研究针对大型语言模型预训练优化器Muon，证明带有限牛顿-舒尔茨迭代的Muon可通过平滑极映射提升非光滑非凸优化的收敛性，其样本复杂度达最优，且优于采用精确极因子更新的Muon。
2026-08-28 cs.LG math.OC stat.ML
Global Complexity Bound of a Proximal ADMM for Linearly-Constrained Nonseperable Nonconvex Composite Programming
提出并分析了求解线性约束非凸最优化问题的阻尼邻近交替方向法（DP.ADMM），其中目标函数的光滑部分不可分. DP.ADMM的每次迭代包括：（i）部分邻近增广拉格朗日（AL）更新的序列，（ii）欠松弛拉格朗日乘子更新，以及（iii）检查AL函数的罚参数是否应该更新的新测试。在基本Slater条件下，对阻尼因子和欠松弛因子有一定的要求，证明了对于给定的数值公差$\varepsilon>0$，DP.ADMM在${\cal O}(\varepsilon^{-3})$迭代中获得了约束问题的一阶稳定点.本文的主要创新之一是，该方法的收敛性，而不需要任何秩的约束矩阵的假设。
2023-01-03 math.OC
Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University（中山大学计算机科学与工程学院）
本文提出两种黎曼流形上的近端梯度下降上升算法，解决非光滑非凸-非凹极小极大问题，证明其能在O(ε⁻³)或O(ε⁻⁴)次迭代内找到ε-游戏 stationary 点和优化 stationary 点。
2026-03-21 math.OC
Average Curvature FISTA for Nonconvex Smooth Composite Optimization Problems
以前的作者的论文介绍了一个加速复合梯度（ACG）的变种，即AC-ACG，解决非凸光滑复合优化（N-SCO）问题。与其他ACG变体相比，AC-ACG通过使用在先前迭代期间获得的观察到的上Lipschitz曲率的平均值来估计N-SCO问题的局部上曲率，并使用该估计和两个复合预解式评估来计算下一个解。本文提出了另一种FISTA类型的ACG变体，即AC-FISTA，它具有以下额外的功能：i）它每次迭代执行一个复合预解式评估的平均值; ii）它通过使用先前观察到的上（而不是上Lipschitz）曲率的平均值来估计局部上曲率。这两种性质共同作用产生了一种实用的AC-FISTA变体，其性能大大优于早期的ACG变体，包括上述作者论文中讨论的AC-ACG变体。
2023-02-04 math.OC
On the Complexity of an Augmented Lagrangian Method for Nonconvex Optimization
本文研究了非凸约束问题的一种不精确增广拉格朗日方法的最坏情况复杂性。在罚参数有界的条件下，证明了对于$ε\in (0,1)$，生成$ε$ -近似KKT点的算法的$\mathcal{O}(|\log(ε)|)$外迭代的复杂性界.当惩罚参数无界时，证明了$\mathcal{O}\left(ε^{-2/(α-1)}\right)$的一个外迭代复杂度界，其中$α>1$控制惩罚参数的增长率.对于线性约束的问题，这些界限收益率评估的$\mathcal{O}(|\log(ε)|^{2}ε^{-2})$和$\mathcal{O}\left(ε^{-\left(\frac{2(2+α)}{α-1}+2\right)}\right)$，分别复杂的界限，当适当的一阶方法（$p=1$）被用来近似解决无约束的子问题在每次迭代。在只有线性等式约束的问题的情况下，当适当的$p$阶方法（$p\geq 2$）被用作内部求解器时，后者的界限分别被改进为$\mathcal{O}(|\log(ε)|^{2}ε^{-(p+1)/p})$和$\mathcal{O}\left(ε^{-\left(\frac{4}{α-1}+\frac{p+1}{p}\right)}\right)$。
2021-05-22 math.OC
Nonsmooth Nonconvex-Nonconcave Minimax Optimization: Primal-Dual Balancing and Iteration Complexity Analysis
University of British Columbia（不列颠哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong（香港中文大学）
针对现有梯度下降-上升类算法无法处理非光滑非凸-非凹极小极大问题的局限，提出smoothed PLDA算法，构建基于原始-对偶误差界的分析框架，证明其迭代复杂度上界及部分场景下的最优性，还建立了平稳性概念间的定量关系。
2025-01-15 cs.LG math.OC
An Adaptive High Order Method for Finding Third-Order Critical Points of Nonconvex Optimization
众所周知，对于非凸优化问题，寻找一个全局最优值是非常具有挑战性的。\cite{anandkumar2016efficient, cartis2018second, cartis2020sharp, chen2019high}是一种计算高阶临界点的最优化方法，它可以排除所谓的退化鞍点，得到质量更好的解。由于\cite{anandkumar2016efficient, cartis2018second, cartis2020sharp, chen2019high}理论发展缓慢，相应的数值实验还很缺乏。在本文中，我们提出了一个可实现的高阶方法，称为自适应高阶方法（AHOM），旨在寻找三阶临界点。这是通过解决一个“的”subproblem，并将自适应策略的参数调整在算法的每次迭代。建立了该方法的迭代复杂度。一些初步的数值结果表明，AHOM是能够逃脱退化鞍点，在二阶方法可能会卡住。
2020-08-10 math.OC
Complexity of Proximal augmented Lagrangian for nonconvex optimization with nonlinear equality constraints
我们分析了非线性等式约束非凸优化的近端增广拉格朗日（近端AL）框架的最坏情况的复杂性。当近似的一阶（二阶）最优点在子问题中得到，一阶$ε$在$\mathcal{O}(1/ ε^{2 - η})$外部迭代中，可以保证原始问题的（二阶）最优点（其中$η$是用户定义的参数，$η\in[0,2]$用于一阶结果，$η\in [1,2]$用于二阶结果）当邻近项系数$β$和惩罚参数$ρ$分别满足$β= \mathcal{O}(ε^η)$和$ρ= Ω(1/ε^η)$时。我们还研究了使用牛顿共轭梯度算法求解子问题时的总迭代复杂度和运算复杂度。最后，我们讨论了一个自适应方案，用于确定满足分析要求的参数$ρ$的值。
2020-09-01 math.OC
Some Worst-Case Datasets of Deterministic First-Order Methods for Solving Binary Logistic Regression
本文给出了求解大规模二元逻辑斯谛回归问题的确定性一阶方法的最坏情况数据集。在算法迭代次数远小于问题维数的假设下，对于我们的最差情况数据集，它至少需要$\mathcal{O}(1/\sqrt{\varepsilon})$一阶oracle查询来计算$\varepsilon$ -近似解。从传统的迭代复杂性分析的角度来看，二元逻辑斯谛回归损失函数与我们的最坏情况的数据集是新的最坏情况的函数类光滑凸优化问题的情况。
2019-08-12 math.OC
Analysis of Krylov Subspace Solutions of Regularized Nonconvex Quadratic Problems
我们提供收敛速度Krylov子空间解决方案的信赖域和正则化（非凸）二次问题。这样的解决方案可以有效地计算的Lanczos方法，并已在实践中长期使用。我们证明了误差界的形式$1/t^2$和$e^{-4t/\sqrtκ}$，其中$κ$是一个条件数的问题，和$t$是Krylov子空间顺序（Lanczos迭代次数）。我们还提供了下界，表明我们的分析是尖锐的。
2019-01-02 math.OC
A Riemannian Alternating Descent Ascent Algorithmic Framework for Nonconvex-Linear Minimax Problems on Riemannian Manifolds
ICMSEC, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Ministry of Education Key Laboratory of NSLSCS, School of Mathematical Sciences, Nanjing Normal University（南京师范大学数学科学学院）；Ministry of Education Key Laboratory of Mathematics and Information Networks, School of Mathematical Sciences, Beijing University of Posts and Telecommunications（北京邮电大学数学科学学院）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理学系）
本文提出了一种在黎曼流形上求解非凸-线性极小极大问题的高效算法框架，通过交替梯度下降和上升步骤，在O(ε^{-3})次迭代内达到最优复杂度，并在多个应用中验证了其优越性能。
2026-02-11 math.OC
Parallel Successive Convex Approximation for Nonsmooth Nonconvex Optimization
考虑最小化包含大量变量的光滑（可能非凸）和凸（可能非光滑）函数之和的问题。解决这个问题的一种流行方法是块坐标下降（BCD）方法，在每次迭代中，只有一个变量块被更新，而其余变量保持不变。随着多核并行处理技术发展的最新进展，希望通过允许在算法的每次迭代中同时更新多个块来并行化BCD方法。在这项工作中，我们提出了一个不精确的并行BCD方法，在每次迭代中，一个子集的变量被更新并行最小化凸近似的原始目标函数。我们研究了随机变量和循环变量选择规则的并行BCD方法的收敛性。我们分析了算法对凸和非凸目标函数的渐近和非渐近收敛行为。数值实验表明，对于Lasso极小化问题的一种特殊情况，循环块选择规则的性能优于随机化规则。
2014-10-31 math.OC
An interior proximal gradient method for nonconvex optimization
针对带光滑不等式约束的非凸结构化最小化问题，提出结合内点法与近似梯度的算法，弥补两类方法的缺陷，推导了非凸情形下的收敛性，还改进了回溯技术无需步长上界。
2024-01-29 math.OC
Two trust region type algorithms for solving nonconvex-strongly concave minimax problems
Shanghai University（上海大学）；Newtouch Center for Mathematics of Shanghai University（上海大学新Touch数学中心）
本文提出 MINIMAX-TR 和 MINIMAX-TRACE 两种信赖域算法求解非凸-强凹极小极大问题，均能在 O(ε^{-1.5}) 次迭代内找到 (ε, √ε)-二阶稳定点，匹配已知最佳迭代复杂度。
2024-02-15 cs.LG math.OC stat.ML
Adaptive Regularization within Trust Region Methods for Stochastic Nonconvex Optimization
本文提出了一种随机非凸优化算法，通过改进的自适应采样信任区域优化方法（Reg-ASTRO）实现了几乎确定性的迭代复杂度，优于传统一阶方法。
2026-04-29 math.OC
The discrete moment problem with nonconvex shape constraints
离散矩问题是无分布鲁棒优化中的一个基本问题，其目标是找到一个满足给定矩集的最坏情况分布。本文研究了具有附加“形状约束”的离散矩问题，该约束保证了最坏情况的分布要么是对数凹的，要么具有递增的故障率。这些类的形状约束以前没有在文献中研究，部分原因是由于其固有的非凸性。尽管如此，这些类型的分布在实践中是有用的。我们的最佳极值点分布的结构的特点，通过开发新的结果，在反凸优化，一个鲜为人知的工具，以前在设计全局优化算法。我们能够显示，例如，一个最佳的极值点解决方案的时刻问题与$m$时刻和日志凹形状约束是分段几何与最多$m$件。此外，这种结构使我们能够设计一个精确的算法计算最优解在低维空间的参数。此外，我们描述了一种计算方法来解决这些低维问题，包括一组有代表性的实例的数值结果。
2017-08-07 math.OC stat.CO
A Homogeneous Second-Order Descent Ascent Algorithm for Nonconvex-Strongly Concave Minimax Problems
Shanghai University（上海大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
本文提出HSDA算法用于非凸-强凹极小极大优化，通过同质特征值子问题计算下降方向，确保在近正半定Hessian区域中具有足够负曲率，从而提升逃逸鞍点的能力，并在大规模应用中通过IHSDA实现高效计算。
2026-02-15 math.OC
A Gradient Sampling method based on Ideal direction for solving nonsmooth nonconvex optimization problems: convergence analysis and numerical experiments
本文对求解非光滑非凸函数极小化问题的梯度采样（GS）方法进行了改进。GS方法的一个缺点是每次迭代都需要求解二次最优化问题（QP），这非常耗时，尤其是对于大规模目标。为了解决这个问题，我们提出了一个新的下降方向，即理想方向，有没有必要考虑任何二次或线性最优化的子问题。结果表明，该方向满足Armijo步长条件，并可用于使目标函数大幅度降低。此外，我们证明了使用理想方向保持GS方法的整体收敛。此外，在一些适度的假设下，我们提出了一个上界的严重迭代次数。利用这个上界，我们开发了一种不同的策略来研究该方法的收敛性。我们还证明了所提出的方法的效率，使用小，中，大规模的问题，在我们的数值实验。
2019-07-02 math.OC
Projection-Free Methods for Solving Nonconvex-Concave Saddle Point Problems
本文针对非凸-凹约束鞍点问题提出基于一阶信息的单循环无投影原始-对偶条件梯度方法，并给出不同约束条件下的迭代复杂度保证。
2023-11-01 math.OC
A Proximal Alternating Direction Method of Multiplier for Linearly Constrained Nonconvex Minimization
考虑多面体上非凸可微函数的极小化问题。一个流行的原始-对偶一阶方法是对增广拉格朗日函数进行梯度投影迭代，然后使用约束残差更新对偶乘子向量。然而，数值例子表明，这种方法可以表现出“振荡”，可能不会收敛。在本文中，我们提出了一个接近的交替方向法的乘法器的多块版本的这个问题。该方法的显著特征是引入了“平滑”（即，指数加权）原始迭代序列，并且在每次迭代时，将以当前平滑原始迭代为中心的二次邻近项包含到增广拉格朗日函数中。在每次迭代中，得到的近端增广拉格朗日函数被不精确地最小化（经由梯度投影步骤），而使用线性约束的残差来更新对偶乘子向量。当原始和对偶步长足够小时，我们证明了适当的“平滑”可以稳定“振荡”，并且新的近似ADMM算法的迭代在一些温和的正则性条件下收敛到一个稳定点。当目标函数为二次函数时，证明了算法的线性收敛性.我们的证明是基于一个新的势函数和一个新的使用误差界。
2020-08-04 math.OC
Revisiting Inexact Fixed-Point Iterations for Min-Max Problems: Stochasticity and Structured Nonconvexity
University of British Columbia（不列颠哥伦比亚大学）；Wisconsin Institute for Discovery, University of Wisconsin–Madison（威斯康星大学麦迪逊分校威斯康星发现研究所）；KAIST（韩国科学技术院）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文通过锥非扩张性与精细化分析，将一阶方法在非凸-非凹极小极大问题中可容忍的$\ ho$值从$\ rac{1}{2L}$提升至$\ rac{1}{L}$，并改进随机凸-凹情形下的复杂度结果。
2026-09-29 cs.LG math.OC stat.ML
