A Doubly Accelerated Inexact Proximal Point Method for Nonconvex Composite Optimization Problems
本文描述并建立了求解目标函数为$f+h$形式的非凸复合极小化问题的双加速非精确邻近点（D-AIPP）方法的迭代复杂性，其中$f$是梯度为Lipschitz连续的（可能非凸）可微函数，$h$是有界区域的闭凸函数. D-AIPP执行两种类型的迭代，即内部迭代和外部迭代。其外迭代对应于加速的不精确邻近点格式。它的内迭代是由加速复合梯度法执行的，用于不精确地求解在外迭代期间产生的凸邻近子问题。因此，D-AIPP采用内部加速度和外部加速度。
2018-12-18 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日（NL-IAPIAL）方法，约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由拉格朗日乘子更新。在一些温和的假设下，证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解，其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
A Globally Convergent Distributed Jacobi Scheme for Block-Structured Nonconvex Constrained Optimization Problems
针对高性能并行计算的需求，设计了一种求解线性耦合块结构非凸约束最优化问题的分布式并行算法.我们的算法进行雅可比型的增广拉格朗日函数的近端更新，只需要可分块非线性规划（NLP）问题的局部解。我们提供了一个便宜的，明确可计算的李雅普诺夫函数，使我们能够建立我们的算法，其迭代复杂性，以及简单，实用和理论上的收敛规则，自动调整其参数的全局和局部次线性收敛。这与现有的算法相比，非凸约束优化的基础上的交替方向法的乘法器，依赖于至少以下之一：高斯-赛德尔或顺序更新，全局解决方案的NLP问题，不可计算的李雅普诺夫函数，手动调整参数。数值实验展示了其在大规模问题上的优势，包括在168个时间段内对9000总线AC最优潮流测试用例进行多周期优化，并使用开源Julia代码在Summit超级计算机上解决。
2021-12-16 math.OC
A Momentum-based Stochastic Algorithm for Linearly Constrained Nonconvex Optimization
Charles L. Brown Department of Electrical and Computer Engineering, University of Virginia（弗吉尼亚大学查尔斯·L·布朗电气与计算机工程系）
本文提出一种基于动量的增广拉格朗日方法，用于解决线性约束非凸优化问题，在每轮迭代中仅需一次随机梯度评估，保证了首次阶KKT残差的收敛性，并在期望上以O(ε^{-4})的随机梯度评估次数计算ε- stationary解。
2026-04-14 cs.SY eess.SY math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日（IPAAL）方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由一个合适的拉格朗日乘子更新。结果表明，IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代，其中$ρ>0$是给定的公差。它还表明，以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行，也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
Policy iteration for nonconvex viscous Hamilton--Jacobi equations
本文使用时空离散格式研究了非凸粘性 Hamilton--Jacobi 方程的策略迭代收敛速率，分析了不可控扩散项情形，并获得了指数收敛结果与离散化误差分析。
2025-03-04 cs.NA math.AP math.NA
A global dual error bound and its application to the analysis of linearly constrained nonconvex optimization
误差界分析是一种分析一阶优化算法的有力工具，它利用最优性残差来估计点到最优化问题解集的距离。本文利用全局误差界分析研究了线性约束非凸极小化问题一阶算法的迭代复杂性。我们开发了一个全球的双重误差界分析的正则化版本的这个非凸问题，通过使用一种新的"分解“技术。配备了这个全局对偶误差界，我们证明了适当设计的原始-对偶一阶方法可以在$\mathcal{O}(1/ε^2)$迭代中生成线性约束非凸最小化问题的$ε$ -稳态解，这是此类非凸问题最著名的迭代复杂度。
2020-06-30 math.OC
Unifying Farkas lemma and S-lemma: new theory and applications in nonquadratic nonconvex optimization
将非线性Farkas引理和S-引理统一为非线性非凸系统的一个广义择一性定理。它通过揭示隐含凸性，在全局求解非凸非二次最优化问题中提供了富有成效的应用。
2021-09-07 math.OC
A globally convergent algorithm for nonconvex optimization based on block coordinate update
非凸最优化问题出现在计算科学和工程的许多领域中，并且可以通过各种算法（近似）求解。现有的算法通常只具有迭代的局部收敛或子序列收敛性。我们提出了一种算法的一般非凸优化配方，建立其整个的收敛序列的一个临界点，随着收敛速率，并数值证明其效率。特别地，我们考虑了非凸目标函数的极小化问题。它的变量可以被视为一个块或被划分为多个不相交的块。假设目标函数的每个不可微分量或每个约束应用于一个变量块。然而，目标函数的可微分量可以一起应用于一个或多个变量块。我们的算法通过最小化某个非线性代理来更新一个变量块。更新的顺序可以是确定性的，也可以在每轮中随机打乱。我们得到的收敛性的整个序列相当宽松的条件下，包括，特别是，Kurdyka-Eschojasiewicz（KL）条件，这是满足广泛的一类非凸/非光滑的应用。我们将收敛结果应用于非凸正则线性回归的坐标下降法和非负矩阵分解的一种改进的秩一留数迭代法。我们证明了这两种方法都具有整体收敛性。数值上，我们测试我们的算法上的非负矩阵和张量分解问题，随机洗牌，使避免局部解决方案。
2015-08-20 math.OC
Iteration Bounds for Finding the $ε$-Stationary Points for Structured Nonconvex Optimization
在本文中，我们研究了近端条件梯度（CG）和近端梯度投影型算法的块结构约束非凸优化模型，这是自然产生的张量数据分析。首先，我们引入了一个新的概念，$ε$ -平稳性，这是适用于所考虑的结构化问题。%，与其他类似的解决方案概念相比。然后，我们提出了两种类型的一阶算法的模型的基础上的邻近条件梯度（CG）方法和邻近梯度投影法分别。如果非凸目标函数是数学期望的形式，我们讨论了如何加入随机抽样以避免精确计算期望。对于一般块优化模型，根据块坐标下降（BCD）或最大块改进（MBI）更新规则对每个块执行邻近子程序。如果目标$f$的非凸部分的梯度满足$\| \nabla f(x) - \nabla f(y)\|_q \le M \|x-y\|_p^δ$，其中$δ=p/q$与$1/p+1/q=1$，那么我们证明了新算法在寻找$ε$ -平稳解时具有$O(1/ε^q)$的总迭代复杂度界.如果$f$是凹的，则迭代复杂度降低到$O(1/ε)$。张量逼近问题的数值实验表明，新的解决方案的算法有前途的性能。
2014-10-15 math.OC
Stochastic Alternating Direction Method of Multipliers with Variance Reduction for Nonconvex Optimization
本文研究了非凸优化问题的随机交替方向法（ADMM），基于不同的方差约化随机梯度，提出了三类方差约化的非凸随机ADMM。具体来说，第一类称为非凸随机方差降低梯度ADMM（SVRG-ADMM），使用多阶段计划，逐步减少随机梯度的方差。第二种是非凸随机平均梯度ADMM（SAG-ADMM），它还使用了在前一次迭代中估计的旧梯度。第三种称为SAGA-ADMM，是SAG-ADMM方法的扩展。此外，在适当的条件下，我们建立了所提方法的$O(1/ε)$的迭代复杂度界，以获得非凸优化问题的$ε$ -平稳解.特别是，我们提供了一个通用的框架来分析这些非凸随机ADMM方法的迭代复杂性与方差减少。最后，数值实验验证了本文方法的有效性.
2017-07-26 math.OC stat.ML
Unified Communication Compression Beyond Global Error Bounds for Distributed Nonconvex Optimization
Tongji University（同济大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
提出统一压缩算法处理局部和全局有界通信压缩器，在非凸设置下证明收敛性，并建立P-L条件下的线性收敛，局部有界类达到O(1/√T)速率，与中心化1-bit压缩器匹配。
2026-10-28 math.OC
An Optimization Framework with Flexible Inexact Inner Iterations for Nonconvex and Nonsmooth Programming
Dalian University of Technology（大连理工大学）
近年来，许多视觉和学习任务已经（重新）制定为非凸和非光滑规划（NNPs）。虽然已经提出了一些算法，为特定的问题，设计快速和灵活的优化方案的理论保证是一个具有挑战性的任务一般NNPs。非精确内迭代算法的收敛性问题还不清楚，但它在某些特殊情况下是有用的。基于这些实践经验，本文设计了一种新的算法框架，命名为不精确邻近交替方向法（iPad）求解一般NNPs。我们证明，任何数值算法可以被纳入iPad解决子问题和由此产生的混合计划的收敛性可以始终保证由一系列简单的错误条件。除了理论上的保证之外，对合成数据和真实数据的数值实验进一步证明了我们的iPad框架在实际应用中的优越性和灵活性。
2017-06-30 cs.CV math.OC
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法，在最坏的情况下，该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$，并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架，涵盖了广泛的技术，包括二次和三次正则化牛顿方法，如自适应正则化使用三次（ARC）方法和最近提出的信赖域算法与收缩和扩张（TRACE）。我们的方法的一般性是通过引入通用的条件，每个试验步骤需要满足，特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题，可以近似求解，以获得满足条件的试验步骤。一个新的实例的框架，不同的ARC和TRACE，可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明，我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
An Efficient and Globally Optimal Algorithm for Nonconvex QCQP with One Equality Constraint
本文针对带一个等式约束的非凸QCQP提出一种基于同时对角化与二分搜索的快速非迭代全局最优算法，并通过结构扩展显著提升了可求解问题规模。
2025-06-04 math.OC
Block stochastic gradient iteration for convex and nonconvex optimization
Rice University（莱斯大学）；UCLA（加州大学洛杉矶分校）
随机梯度（SG）方法可以使由大量可微函数组成的目标函数最小化，或者以中等精度解决随机最优化问题。另一方面，块坐标下降/更新（BCD）方法通过一次更新一个变量来处理多个变量块的问题;当变量块单独更新比一起更新更容易时，BCD具有较低的每次迭代成本。本文介绍了一种结合SG和BCD特点的方法，用于解决目标中含有多个分量和多个（块）变量的问题。具体来说，提出了一种用于求解凸规划和非凸规划的块随机梯度（BSG）方法。在每次迭代中，BSG通过随机采样一小组数据或从目标中的和项中采样几个函数来近似目标的可微部分的梯度，然后使用这些样本，它以确定性或随机混洗顺序更新所有变量块。在不同的意义下，证明了它对凸和非凸情形的收敛性。在凸情形下，该方法具有与SG方法相同的收敛速度阶。在非凸的情况下，它的收敛性建立在一阶最优性条件的预期违反。所提出的方法进行了数值测试的问题，包括随机最小二乘和逻辑斯谛回归，这是凸的，以及低秩张量恢复和双线性逻辑斯谛回归，这是非凸的。
2015-03-02 cs.LG cs.NA math.NA
INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
Indian Institute of Technology Kanpur（坎普尔印度理工学院）；Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
INTHOP通过区间Hessian方法解决非凸优化中的高计算成本、Hessian求逆和非定性Hessian方向问题，证明了算法的全局收敛性，并在测试问题中表现出更高的效率。
2026-04-07 math.OC
Improving Convergence Guarantees of Random Subspace Second-order Algorithm for Nonconvex Optimization
针对高维非凸优化问题，本文提出随机子空间均匀化信赖域（RSHTR）方法，在随机子空间类算法中实现最优收敛理论保证，并通过真实数据集实验验证了其有效性。
2025-03-23 math.OC
On the Practical Implementation of a Sequential Quadratic Programming Algorithm for Nonconvex Sum-of-squares Problems
Institute for Flight Mechanics and Controls, University of Stuttgart（斯图加特大学飞行力学与控制研究所）
本文提出一种滤波线搜索算法，通过求解一系列二次子问题，有效减少非凸求和平方问题的迭代次数，提升计算效率。
2026-04-13 cs.SY eess.SY math.OC
Derivative-free Alternating Projection Algorithms for General Nonconvex-Concave Minimax Problems
Shanghai University（上海大学）；Newtouch Center for Mathematics of Shanghai University（上海大学新触数学中心）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
针对一般光滑与分块非光滑非凸-凹极小极大问题，提出ZO-AGP和ZO-BAPG两种零阶算法，给出O(ε^-4)迭代复杂度，并通过数据投毒和分布式稀疏PCA验证有效性。
2024-01-25 cs.LG math.OC stat.ML
Efficient Inexact Proximal Gradient Algorithm for Nonconvex Problems
近似梯度算法是求解凸优化问题的一种常用算法。最近，它也被扩展到非凸问题，目前最先进的是非单调加速邻近梯度算法。然而，它通常在每次迭代中需要两个精确的近端步骤，并且当近端步骤昂贵时可能是低效的。在本文中，我们提出了一个有效的近端梯度算法，只需要一个不精确的（因此成本较低）在每次迭代的近端步骤。收敛到一个临界点的非凸问题的%仍然是有保证的，并有一个$O(1/k)$收敛速度，这是最好的速度为非凸问题的一阶方法。通过对多个问题的实验表明，该算法具有与现有算法相当的性能，但速度要快得多。
2017-05-23 math.OC
On Distributed Nonconvex Optimisation Via Modified ADMM
针对多智能体网络中的非凸非光滑分散优化问题，提出一种带多轮信息聚合内循环的改进 ADMM 框架，并证明其在循环次数对数增长时渐近收敛至驻点。
2023-12-07 math.OC
A convergence framework for inexact nonconvex and nonsmooth algorithms and its applications to several iterations
National University of Defense Technology（国防科技大学）；The State Key Laboratory for High Performance Computation, National University of Defense Technology（高性能计算国家重点实验室（国防科技大学））；School of Mathematics and Computational Science, Xiangtan University（湘潭大学数学与计算科学学院）
本文提出了一种不精确非凸和非光滑算法的收敛框架，通过引入伪充分下降条件和伪相对误差条件，并假设连续性条件，证明在特定可和假设下，生成的序列收敛到目标函数的临界点，并将其应用于几种经典非凸迭代算法，推导了相应的收敛结果。
2018-11-28 cs.NA math.NA math.OC
An Iterative Method for Nonconvex Quadratically Constrained Quadratic Programs
研究了非凸二次约束二次规划（QCQP）问题的迭代法.现有的求解非凸QCQP问题的方法之一是将对未知矩阵的秩1约束松弛为半定约束，从而得到最优值的上界，但没有找到精确解。通过重新考虑秩一矩阵，提出了一种逐步逼近秩一约束的迭代秩最小化方法。每一次迭代都被表示为一个带半定约束的凸问题。为了提高算法的可扩展性和计算效率，提出了一种增广拉格朗日方法--扩展Uzawa算法。仿真实例使用所提出的方法和比较结果从其他方法提供和讨论。
2016-09-08 math.OC
Distributed Constrained Online Nonconvex Optimization with Compressed Communication
针对时变网络中的带时变不等式约束在线非凸优化，提出压缩通信的分布式原始-对偶算法，证明其遗憾与累积约束违反界，并通过仿真验证。
2025-08-29 cs.SY eess.SY math.OC
Anderson Acceleration for Nonconvex ADMM Based on Douglas-Rachford Splitting
交替方向乘子法（ADMM）是计算机图形学中求解非光滑非凸最优化问题的一种常用方法。它可以快速收敛到一个近似解，但可能需要很长时间才能收敛到一个高精度的解。以前，安德森加速已被应用到ADMM，通过治疗它作为一个固定点的迭代串联的对偶变量和一个子集的原始变量。在本文中，我们注意到ADMM和Douglas-Rachford分裂之间的等价性揭示了ADMM实际上是低维空间中的不动点迭代。通过将Anderson加速应用于这种低维不动点迭代，我们得到了一种更有效的加速ADMM的方法。我们分析了所提出的加速方法在非凸问题上的收敛性，并验证了其在各种计算机图形学问题，包括几何处理和物理模拟的有效性。
2020-06-26 cs.GR math.OC
Structured Nonconvex and Nonsmooth Optimization: Algorithms and Iteration Complexity Analysis
Shanghai University of Finance and Economics（上海财经大学）；UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；University of Minnesota（明尼苏达大学）
非凸和非光滑最优化问题在统计、商业、科学和工程等领域中经常遇到，但在可扩展性方面，它们还没有被广泛地认识为一种技术。这种相对较低的普及程度的一个原因是缺乏一个良好的发展系统的理论和算法来支持的应用程序，是其凸对应的情况下。本文的目的是采取纪律的非凸和非光滑最优化的方向迈出了一步。特别地，本文考虑了块决策变量中有约束的非凸最优化模型，无论有无耦合仿射约束。在无耦合约束的情况下，证明了广义条件梯度法以变分不等式的形式具有次线性收敛速率到$ε$ -平稳解的速度，其中收敛速度依赖于目标光滑部分梯度的Hölderian连续性.对于耦合仿射约束的模型，我们引入相应的$ε$ -平稳性条件，并应用两个近似型的ADMM的变体来解决这样的模型，假设可以实现的所有块变量的最后一块，除了梯度步骤或优化最小化步骤的最接近的ADMM更新。我们证明了迭代复杂性界的$O(1/ε^2)$达到$ε$ -固定的解决方案，这两种算法。此外，我们表明，相同的迭代复杂性的一个接近BCD方法如下立即。数值结果表明，所提出的张量鲁棒PCA算法的有效性。
2018-01-17 cs.LG math.OC stat.ML
Proximal linearized iteratively reweighted least squares for a class of nonconvex and nonsmooth problems
针对一类非凸非光滑问题，提出了一种近似线性化迭代加权最小二乘（PL-IRLS）算法。我们先用光滑方法近似原问题，然后通过引入新的变量将近似问题转化为辅助问题。PL-IRLS是在求解辅助问题的基础上，利用近似线性化技术和迭代加权最小二乘（IRLS）方法，具有显著的计算优势。我们表明，PL-IRLS可以扩展到解决更一般的非凸和非光滑问题，通过调整广义参数，也可以解决非凸和非光滑问题的两个或两个以上的变量块。在理论上，借助于Kurdyka- Lojasiewicz性质，我们证明了PL-IRLS生成的每个有界序列全局收敛于逼近问题的一个临界点。据我们所知，这是第一个应用IRLS思想解决非凸非光滑问题的整体收敛结果。最后，我们将PL-IRLS应用于稀疏信号恢复和低秩矩阵恢复中三个典型的非凸非光滑问题，得到了新的全局收敛算法。
2014-04-24 cs.IT math.IT math.OC
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
该研究针对大型语言模型预训练优化器Muon，证明带有限牛顿-舒尔茨迭代的Muon可通过平滑极映射提升非光滑非凸优化的收敛性，其样本复杂度达最优，且优于采用精确极因子更新的Muon。
2026-08-28 cs.LG math.OC stat.ML
A Newton-Based Method for Nonconvex Optimization with Fast Evasion of Saddle Points
神经网络训练、张量分解和矩阵分解等机器学习问题需要非凸函数的局部最小化。这种局部最小化受到鞍点的存在的挑战，鞍点可能有很多，并且下降法可能需要非常大量的迭代来逃避。本文提出了一种二阶的方法，修改更新的牛顿法，通过取代负特征值的海森由其绝对值，并使用截断版本的结果矩阵来占目标的曲率。所示的方法，以逃避鞍在最$1 + \log_{3/2} (δ/2\varepsilon)$迭代，其中$\varepsilon$是目标最优和$δ$特征点足够远离鞍。这个指数逃逸的基数是独立于问题常数的$3/2$。在牛顿法的基础上，证明了在$O\left(\log(1/p)) + O(\log(1/\varepsilon)\right)$迭代中以概率$1-p$收敛于局部极小值。
2018-07-20 math.OC
Accelerated Inexact First-Order Methods for Solving Nonconvex Composite Optimization Problems
本论文的重点是发展和分析加速和不精确的一阶方法来解决或找到各种非凸复合优化（NCO）问题的稳定点。主要工具来自于变分和凸分析，主要结果是迭代复杂性界的形式，以及这些界与文献中其他界的比较。
2021-12-26 math.OC
Worst-case iteration bounds for log barrier methods on problems with nonconvex constraints
本文针对带非凸约束的内点法，在光滑性假设下证明从严格可行点出发只需 O(μ^{-7/4}) 个信赖域子问题即可求得 μ-近似 Fritz John 点，并将方法扩展至不可行起点以改进 scaled-KKT 复杂度界。
2023-11-03 cs.CC math.OC
Global convergence of a modified BFGS-type method based on function information for nonconvex multiobjective optimization problems
针对非凸多目标优化，提出改进BFGS型方法MFQNMO，用公共矩阵近似所有目标Hessian矩阵以降低计算负担，证明了其不依赖凸性的收敛性与局部超线性收敛速率，并通过实验验证有效性。
2024-10-11 math.OC
Optimal Impact Angle Guidance via First-Order Optimization under Nonconvex Constraints
Inha University（仁荷大学）；Hyundai Motors Company（现代汽车公司）
本文提出一种直接处理非凸约束的计算最优制导方法，通过交替求解最小二乘问题与投影到非凸可行集，快速收敛至可行次优解，仿真验证其在落角制导中优于传统技术。
2024-03-17 cs.RO cs.SY eess.SY
Sufficient Conditions for Error Distance Reduction in the (\ell^2)-norm Trust Region between Minimizers of Local Nonconvex Multivariate Quadratic Approximates
本文研究局部非凸二次逼近在信赖域中极小值距离缩减的充分条件，并通过例子验证理论。
2024-07-16 math.OC
Revisiting Linearized Bregman Iterations under Lipschitz-like Convexity Condition
线性化Bregman迭代（LBreI）及其变体在信号/图像处理和压缩感知中受到了相当大的关注。最近，LBreI已经扩展到更大的一类非凸函数，以及一些理论问题留给进一步研究。特别是，梯度Lipschitz连续性假设排除了它在许多实际应用中的使用。在这项研究中，我们提出了一个通用的算法框架，统一LBreI型方法。我们的主要发现是，梯度Lipschitz连续性假设可以取代的Lipschitz凸性条件在凸和非凸的情况下。所提出的框架和理论，然后应用到线性/二次反问题。
2022-03-04 math.OC
Nonsmooth Nonconvex-Nonconcave Minimax Optimization: Primal-Dual Balancing and Iteration Complexity Analysis
University of British Columbia（不列颠哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong（香港中文大学）
针对现有梯度下降-上升类算法无法处理非光滑非凸-非凹极小极大问题的局限，提出smoothed PLDA算法，构建基于原始-对偶误差界的分析框架，证明其迭代复杂度上界及部分场景下的最优性，还建立了平稳性概念间的定量关系。
2025-01-15 cs.LG math.OC
A Preconditioned Alternating Minimization Framework for Nonconvex and Half Quadratic Optimization
针对非凸半二次正则化模型和Ambrosio-Tortorelli近似Mumford-Shah模型，基于Kurdyka-Kazojasiewicz分析和最近的非凸近似算法，针对非线性交替极小化过程中出现的线性子问题，提出了一种有效的预处理框架.大规模线性子问题的求解一直是交替极小化算法中的一个重要而又具有挑战性的问题。通过将有效的和经典的预条件迭代法结合到非线性非凸优化问题中，证明了线性子问题只需要一次或任意有限次预条件迭代，而不需要像通常的不精确解那样控制误差.所提出的预处理框架可以为线性子问题的处理提供极大的灵活性和效率，同时保证非线性交替极小化方法的整体收敛。
2021-07-29 cs.NA math.NA math.OC
An Optimal Hybrid Variance-Reduced Algorithm for Stochastic Composite Nonconvex Optimization
在本文中，我们提出了一个新的变种的混合方差减少邻近梯度法在[7]中解决一个常见的随机复合非凸最优化问题在标准的假设。我们简单地将[7]中引入的混合- SARAH估计中的独立无偏估计替换为在相同样本下估计的随机梯度，从而得到[2]中引入的相同动量-SARAH估计。与[7]相比，这允许我们每次迭代节省一个随机梯度，并且每次迭代只需要两个样本。我们的算法是非常简单的，并实现了最佳的随机预言复杂性界的随机梯度评价（一个常数因子）。我们的分析基本上受到[7]的启发，但我们没有使用两种不同的步长。
2020-08-20 math.OC stat.ML
A method for global minimization of nonconvex quadratic functions
Federation University Australia（联邦澳大利亚大学）；Banaaras Hindu University（贝拿勒斯印度教大学）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
针对箱约束下非凸二次函数的全局极小化问题，应用Gershgorin定理将主矩阵A约化为对角形式，通过研究DC分量的{\u03b5}-次微分设计出全局极小化该函数的方法。
2026-09-01 math.OC
A Note on Nesterov's Accelerated Method in Nonconvex Optimization: a Weak Estimate Sequence Approach
我们提出了一个变种的加速梯度下降算法，改编自Nesterov的最佳一阶方法，弱拟凸和弱拟强凸函数。我们证明了通过调整所谓的估计序列方法，导出的算法实现了最优的收敛速度的预言复杂度方面的弱拟凸和弱拟强凸。特别地，对于具有Lipschitz连续梯度的弱拟凸函数，我们需要$O(\frac{1}{\sqrt{\varepsilon}})$迭代来获得$\varepsilon$ -解;对于弱拟强凸函数，迭代复杂度为$O\left( \ln\left(\frac{1}{\varepsilon}\right) \right)$。此外，我们讨论了这些算法的线性二次最优控制问题的影响。
2020-06-15 math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日（AIDAL）方法。AIDAL方法的每次迭代包括：（i）通过调用加速复合梯度（ACG）子例程不精确地求解阻尼近端增广拉格朗日（AL）子问题;（ii）应用阻尼和欠松弛拉格朗日乘子更新;以及（iii）使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下，涉及阻尼因子和下松弛常数，它表明，AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序，对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
Globally Convergent Type-I Anderson Acceleration for Non-Smooth Fixed-Point Iterations
我们考虑应用第一类Anderson加速来求解一般的非光滑不动点问题。通过交错与安全防护步骤，并采用Powell型正则化和重新开始检查强线性独立的更新，我们提出了第一个全局收敛的安德森加速的变种，假设只有不动点迭代是非扩张的。我们通过大量的数值实验表明，许多一阶算法可以得到改善，特别是在他们的终端收敛，与所提出的算法。我们提出的加速方法正在SCS 2.0中实现，SCS 2.0是凸优化解析器-求解器CVXPY 1.0中使用的默认求解器之一。
2018-08-12 math.OC
Two trust region type algorithms for solving nonconvex-strongly concave minimax problems
Shanghai University（上海大学）；Newtouch Center for Mathematics of Shanghai University（上海大学新Touch数学中心）
本文提出 MINIMAX-TR 和 MINIMAX-TRACE 两种信赖域算法求解非凸-强凹极小极大问题，均能在 O(ε^{-1.5}) 次迭代内找到 (ε, √ε)-二阶稳定点，匹配已知最佳迭代复杂度。
2024-02-15 cs.LG math.OC stat.ML
Nonconvex Proximal Incremental Aggregated Gradient Method with Linear Convergence
本文研究了极小化L-光滑非凸分量函数与适当的闭凸函数之和的邻近增量聚集梯度算法。利用L-光滑性质和误差界条件，我们可以证明即使对于非凸极小化问题，PIAG方法仍然具有良好的线性收敛性质.为了说明这一点，我们首先证明了生成的序列全局收敛到平稳点集。然后，存在一个阈值，使得当步长小于该阈值时，目标函数值序列和目标点序列都是R-线性收敛的。
2018-04-07 math.OC
Complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs
分析了求解线性约束非凸组合规划的二次罚加速不精确邻近点方法的迭代复杂性。更具体地，目标函数具有$f + h$的形式，其中$f$是梯度为Lipschitz连续的可微函数，而$h$是具有有界域的闭凸函数。该方法，基本上，包括应用加速不精确的邻近点法近似求解一系列的二次惩罚的线性约束问题的子问题。近似点法的每个子问题依次近似求解的加速复合梯度（ACG）方法。结果表明，该方案在最多${\cal{O}}(ρ^{-3})$ ACG迭代生成一个$ρ$ -近似稳定点。最后，数值结果表明所提出的方法的有效性。
2019-07-16 math.OC
Compressed Gradient Tracking Algorithms for Distributed Nonconvex Optimization
针对分布式非凸优化问题，本文引入三类压缩器并结合梯度跟踪算法提出三种压缩优化算法，证明其在光滑条件下亚线性收敛、P--Ł条件下线性收敛且部分参数无需P--Ł常数先验，数值结果显示算法通信负担低且性能优于现有方法。
2025-02-11 math.OC
Global Complexity Bound of a Proximal ADMM for Linearly-Constrained Nonseperable Nonconvex Composite Programming
提出并分析了求解线性约束非凸最优化问题的阻尼邻近交替方向法（DP.ADMM），其中目标函数的光滑部分不可分. DP.ADMM的每次迭代包括：（i）部分邻近增广拉格朗日（AL）更新的序列，（ii）欠松弛拉格朗日乘子更新，以及（iii）检查AL函数的罚参数是否应该更新的新测试。在基本Slater条件下，对阻尼因子和欠松弛因子有一定的要求，证明了对于给定的数值公差$\varepsilon>0$，DP.ADMM在${\cal O}(\varepsilon^{-3})$迭代中获得了约束问题的一阶稳定点.本文的主要创新之一是，该方法的收敛性，而不需要任何秩的约束矩阵的假设。
2023-01-03 math.OC
Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University（中山大学计算机科学与工程学院）
本文提出两种黎曼流形上的近端梯度下降上升算法，解决非光滑非凸-非凹极小极大问题，证明其能在O(ε⁻³)或O(ε⁻⁴)次迭代内找到ε-游戏 stationary 点和优化 stationary 点。
2026-03-21 math.OC
Decomposing Linearly Constrained Nonconvex Problems by a Proximal Primal Dual Approach: Algorithms, Convergence, and Applications
本文针对光滑非凸线性约束最优化问题，提出了一种新的分解方法--邻近原始对偶法（Prox-PDA）.所提出的方法是原始-对偶的基础上，其中的原始步骤最小化某些近似的增广拉格朗日的问题，和对偶步骤进行近似的对偶上升。在初始步骤中使用的近似能够分解变量块，使得可以通过利用问题结构来获得简单的子问题。理论上，我们证明了当增广拉格朗日量中的罚参数大于给定阈值时，Prox-PDA全局和次线性地收敛到稳态解集（即，在$\mathcal{O}(1/r)$的速率中，稳定性的某种度量降低，其中$r$是迭代计数器）。有趣的是，当将Prox-PDA的变体应用于分布式非凸优化问题（在连通的无向图上）时，所得算法与流行的EXTRA算法一致[Shi et al 2014]，该算法仅在凸情况下工作。我们的分析表明，EXTRA及其变种全局次线性收敛到某些非凸分布最优化问题的平稳解。Prox-PDA有许多可能的扩展，我们提出了一个特定的扩展到某些非凸分布矩阵分解问题。
2016-04-02 cs.IT math.IT math.OC
Average Curvature FISTA for Nonconvex Smooth Composite Optimization Problems
以前的作者的论文介绍了一个加速复合梯度（ACG）的变种，即AC-ACG，解决非凸光滑复合优化（N-SCO）问题。与其他ACG变体相比，AC-ACG通过使用在先前迭代期间获得的观察到的上Lipschitz曲率的平均值来估计N-SCO问题的局部上曲率，并使用该估计和两个复合预解式评估来计算下一个解。本文提出了另一种FISTA类型的ACG变体，即AC-FISTA，它具有以下额外的功能：i）它每次迭代执行一个复合预解式评估的平均值; ii）它通过使用先前观察到的上（而不是上Lipschitz）曲率的平均值来估计局部上曲率。这两种性质共同作用产生了一种实用的AC-FISTA变体，其性能大大优于早期的ACG变体，包括上述作者论文中讨论的AC-ACG变体。
2023-02-04 math.OC
On the Complexity of an Augmented Lagrangian Method for Nonconvex Optimization
本文研究了非凸约束问题的一种不精确增广拉格朗日方法的最坏情况复杂性。在罚参数有界的条件下，证明了对于$ε\in (0,1)$，生成$ε$ -近似KKT点的算法的$\mathcal{O}(|\log(ε)|)$外迭代的复杂性界.当惩罚参数无界时，证明了$\mathcal{O}\left(ε^{-2/(α-1)}\right)$的一个外迭代复杂度界，其中$α>1$控制惩罚参数的增长率.对于线性约束的问题，这些界限收益率评估的$\mathcal{O}(|\log(ε)|^{2}ε^{-2})$和$\mathcal{O}\left(ε^{-\left(\frac{2(2+α)}{α-1}+2\right)}\right)$，分别复杂的界限，当适当的一阶方法（$p=1$）被用来近似解决无约束的子问题在每次迭代。在只有线性等式约束的问题的情况下，当适当的$p$阶方法（$p\geq 2$）被用作内部求解器时，后者的界限分别被改进为$\mathcal{O}(|\log(ε)|^{2}ε^{-(p+1)/p})$和$\mathcal{O}\left(ε^{-\left(\frac{4}{α-1}+\frac{p+1}{p}\right)}\right)$。
2021-05-22 math.OC
Malitsky-Tam forward-reflected-backward splitting method for nonconvex minimization problems
将求解单调算子包含问题的Malitsky-Tam前向反射后向（FRB）分裂方法推广到非凸极小化问题.通过假设目标函数的二次正则化具有广义凹Kurdyka-Schojasiewicz（KL）性质，证明了FRB方法全局收敛于目标函数的一个稳定点，并具有有限长性质.我们的方法的锋利度是保证凭借与广义凹KL属性相关的确切模量。数值实验表明，FRB是竞争力相比，道格拉斯-Rachford方法和Bosnia-Csetnek惯性Tseng的方法。
2021-11-17 math.OC
An Adaptive High Order Method for Finding Third-Order Critical Points of Nonconvex Optimization
众所周知，对于非凸优化问题，寻找一个全局最优值是非常具有挑战性的。\cite{anandkumar2016efficient, cartis2018second, cartis2020sharp, chen2019high}是一种计算高阶临界点的最优化方法，它可以排除所谓的退化鞍点，得到质量更好的解。由于\cite{anandkumar2016efficient, cartis2018second, cartis2020sharp, chen2019high}理论发展缓慢，相应的数值实验还很缺乏。在本文中，我们提出了一个可实现的高阶方法，称为自适应高阶方法（AHOM），旨在寻找三阶临界点。这是通过解决一个“的”subproblem，并将自适应策略的参数调整在算法的每次迭代。建立了该方法的迭代复杂度。一些初步的数值结果表明，AHOM是能够逃脱退化鞍点，在二阶方法可能会卡住。
2020-08-10 math.OC
