Smoothing Iterative Consensus-based Optimization Algorithm for Nonsmooth Nonconvex Optimization Problems with Global Optimality
针对无约束非光滑非凸优化的全局极小值求解问题，结合平滑与共识优化方法提出新型SICBO算法，证明其指数收敛性与全局最优性理论保证，且适用于非利普希茨连续情形，数值实验验证了算法有效性。
2025-01-13 math.OC
Fast Extra Gradient Methods for Smooth Structured Nonconvex-Nonconcave Minimax Problems
现代极大极小问题，如生成对抗网络和对抗训练，通常是在非凸-非凹设置下，开发一个有效的方法，这样的设置是感兴趣的。最近，在这个方向上研究了两种变体的超梯度（EG）方法。首先，在光滑结构的非凸-非凹条件下，提出了EG的双时间尺度变体EG+，其中$k$表示迭代次数，在平方梯度范数上具有缓慢的$\mathcal{O}(1/k)$速率.其次，EG的另一种变体与锚定技术，命名为额外锚定梯度（EAG），在光滑的凹凸设置下进行了研究，产生一个快速的$\mathcal{O}(1/k^2)$率的平方梯度范数。本文在EG+和EAG的基础上，提出了一种具有锚定的双时标EG，称为快速外梯度（FEG），它对光滑结构的非凸-非凹问题具有快速的$\mathcal{O}(1/k^2)$速度，相应的鞍梯度算子满足负共单调性条件.本文进一步发展了其回溯线搜索版本，命名为FEG-A，在问题参数不可用的情况下。并对FEG进行了随机分析。
2021-11-19 math.OC
bAdag: an adaptive block coordinate gradient method for smooth nonconvex functions
University of Mons（蒙斯大学）；Università degli Studi di Firenze（佛罗伦萨大学）
提出一种基于AdaGrad的自适应块坐标梯度方法bAdag，通过累积块梯度计算步长，在光滑非凸函数上实现次线性收敛，支持循环、均匀随机和贪婪选择策略。
2026-06-11 math.OC
A smoothed proximal trust-region algorithm for nonconvex optimization problems with $L^p$-regularization, $p\in (0,1)$
本文针对$p\in(0,1)$的$L^p$-正则化非凸优化问题，提出一种基于广义柯西点和光滑近似的近端信赖域算法，并证明了收敛性及数值有效性。
2025-08-21 math.OC
Worst-Case Complexity of TRACE with Inexact Subproblem Solutions for Nonconvex Smooth Optimization
提出了一种求解非凸光滑最优化问题的算法，并对其进行了分析和测试。该算法是具有收缩和扩展的置信域算法（TRACE）[Math. Prog. 162（1）：132，2017]。特别是，该扩展允许算法使用所产生的子问题的不精确解，这是解决大规模问题的一个重要特征。不精确性是允许的方式，使得最佳的迭代复杂度的${\cal O}(ε^{-3/2})$获得一个$ε$ -近似的一阶稳定点被保持，而在最坏情况下的复杂度方面的海森矢量产品可以显着改善相比，原来的TRACE。数值实验表明，允许不精确的子问题的解决方案的好处，该算法相比有利的国家的最先进的技术。
2022-04-24 math.OC
A Smoothing Consensus-Based Optimization Algorithm for Nonsmooth Nonconvex Optimization
针对传统基于共识的优化算法收敛分析受限于光滑目标函数的问题，提出结合平滑方法的新型CBO算法，可求解非凸非光滑非利普希茨连续最小化问题，给出理论分析与误差估计，并通过数值实验验证其性能。
2025-01-12 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日（AS-PAL）方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日（AL）子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能，其次是一个完整的拉格朗日乘子更新。与其他AL方法相比，AS-PAL的主要优点是它不需要参数的知识（例如，约束矩阵的大小，目标函数曲率等）与最优化问题相关联，由于其自适应性质，不仅在选择接近步长，而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明，它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法，特别是当需要高精度。
2022-10-05 math.OC
Smoothing Meets Perturbation: Unified and Tight Analysis for Nonconvex-Concave Minimax Optimization
Sauder School of Business, University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）；Ivey Business School, University of Western Ontario（韦仕敦大学 Ivey 商学院）
本文研究了光滑非凸-凹极小极大优化问题，提出两种加速机制：双扰动和平滑。通过分析游戏平稳性和优化平稳性，证明平滑加速两者收敛，而双扰动仅提升游戏平稳性。提出扰动平滑GDA方法，提升游戏平稳性效率并保持优化平稳性最优率。
2026-04-29 math.OC
A FISTA-type accelerated gradient algorithm for solving smooth nonconvex composite optimization problems
本文描述并建立了求解光滑非凸复合优化问题的两个加速复合梯度（ACG）变量的迭代复杂度，该问题的目标函数是一个具有Lipschitz连续梯度的非凸可微函数$ f $和一个简单的非光滑闭凸函数$ h $之和.当$f$是凸的时，对于输入的特定选择，第一个ACG变体简化为众所周知的FISTA，因此第一个可以被视为后一个到非凸设置的自然扩展。第一个变体需要输入对$(M,m)$，使得$f$是$m$ -弱凸的，$\nabla f$是$M$ -Lipschitz连续的，以及$m \le M$（可能是$m<M$），其通常难以获得或估计不佳。另一方面，第二种变体可以从任意输入对$(M,m)$的正标量和其复杂性被证明是不差，在某些情况下，比第一种变体的输入对的大范围。最后，数值结果来说明两个ACG变体的效率。
2021-03-06 math.OC
Average Curvature FISTA for Nonconvex Smooth Composite Optimization Problems
以前的作者的论文介绍了一个加速复合梯度（ACG）的变种，即AC-ACG，解决非凸光滑复合优化（N-SCO）问题。与其他ACG变体相比，AC-ACG通过使用在先前迭代期间获得的观察到的上Lipschitz曲率的平均值来估计N-SCO问题的局部上曲率，并使用该估计和两个复合预解式评估来计算下一个解。本文提出了另一种FISTA类型的ACG变体，即AC-FISTA，它具有以下额外的功能：i）它每次迭代执行一个复合预解式评估的平均值; ii）它通过使用先前观察到的上（而不是上Lipschitz）曲率的平均值来估计局部上曲率。这两种性质共同作用产生了一种实用的AC-FISTA变体，其性能大大优于早期的ACG变体，包括上述作者论文中讨论的AC-ACG变体。
2023-02-04 math.OC
An Efficient Stochastic First-Order Algorithm for Nonconvex--Strongly Concave Minimax Optimization beyond Lipschitz Smoothness
Dalian University of Technology（大连理工大学）
本文提出NSGDA-M算法，用于解决非凸-强凹最优化问题，超越Lipschitz光滑性假设，在期望和高概率下均能高效找到ε-stationary点。
2026-08-04 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日（IPAAL）方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由一个合适的拉格朗日乘子更新。结果表明，IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代，其中$ρ>0$是给定的公差。它还表明，以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行，也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
An Average Curvature Accelerated Composite Gradient Method for Nonconvex Smooth Composite Optimization Problems
本文提出了一种求解非凸光滑复合极小化问题的加速复合梯度（ACG）方法，简称AC-ACG方法。与基于已知Lipschitz梯度常数或最大观测曲率序列的众所周知的ACG变体相反，当前的ACG变体基于所有过去观测曲率的平均值。更具体地说，AC-ACG使用直到上一次迭代为止的所有观测到的曲率的平均值的正倍数作为估计当前点处的“函数曲率”的方式，然后使用两个预解式评估来计算下一个曲率。与其他变量Lipschitz估计变体相比，例如，基于最大曲率的那些，AC-ACG总是接受前述的误差，而不管Lipschitz估计结果有多差。最后，计算结果表明，AC-ACG的效率随机生成和现实世界的问题实例。
2020-10-29 math.OC
Approximate Bregman Proximal Gradient Algorithm for Relatively Smooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出近似Bregman近端梯度算法用于解决相对光滑非凸优化问题，通过简化子问题和放宽梯度连续性假设，实现了更广泛的收敛性保证和更优的数值性能。
2024-05-31 math.OC
Noisy Pairwise-Comparison Random Search for Smooth Nonconvex Optimization
College of Computing, UM6P（UM6P计算学院）；Google DeepMind（谷歌DeepMind）
提出一种仅利用噪声成对比较的随机搜索方法NCRS，在低维活跃子空间结构下实现与内在维度相关的收敛保证，达到一阶平稳性。
2026-06-23 math.OC
Optimization Condition and Algorithm of Optimization with Convertible Nonconvex Function
The paper introduces several new concepts for solving nonconvex or nonsmooth optimization problems, including convertible nonconvex function, exact convertible nonconvex function and differentiable convertible nonconvex function. It is proved herein many nonconvex functions or nonsmooth (or discontinuous) functions are actually convertible nonconvex functions and convertible nonconvex function operations such as addition, subtraction, multiplication or division result in convertible nonconvex functions. The sufficient condition for judging a global optimal solution to unconstrained optimizatio…
2022-01-12 math.OC
Minimization of nonsmooth nonconvex functions using inexact evaluations and its worst-case complexity
针对复合非光滑非凸优化问题，提出了一种基于非精确函数和导数计算的自适应正则化算法。它表明，该算法最多需要$O(|\log(ε)|\,ε^{-2})$评估的问题的功能和他们的衍生物找到一个$ε$ -近似的一阶稳定点。因此，该复杂性界限概括了[Bellavia，Gurioli，Morini和Toint，2018]为光滑非凸问题的不精确方法提供的复杂性界限，并且在具有精确评估的光滑和非光滑非凸最小化已知的最优界限的$|\log(ε)|$因子内。一个实际上更严格的最坏情况下的复杂性$O(|\log(ε)|+ε^{-2})$的算法的变体。
2019-02-27 math.OC
Nonconvex Proximal Incremental Aggregated Gradient Method with Linear Convergence
本文研究了极小化L-光滑非凸分量函数与适当的闭凸函数之和的邻近增量聚集梯度算法。利用L-光滑性质和误差界条件，我们可以证明即使对于非凸极小化问题，PIAG方法仍然具有良好的线性收敛性质.为了说明这一点，我们首先证明了生成的序列全局收敛到平稳点集。然后，存在一个阈值，使得当步长小于该阈值时，目标函数值序列和目标点序列都是R-线性收敛的。
2018-04-07 math.OC
A Newton-MR algorithm with complexity guarantees for nonconvex smooth unconstrained optimization
针对非凸光滑无约束优化，提出利用 MINRES 检测非正曲率并保持单调性的 Newton-MR 变体，给出一阶与二阶最坏情况复杂度保证，数值实验验证其性能。
2023-09-29 math.OC
Tight Lower Bounds for Stochastic Nonconvex-Strongly-Concave Minimax Optimization
Nanjing University（南京大学）；the Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本文针对光滑非凸-强凹极小极大优化，建立了随机一阶预言机复杂度的紧下界，改进了条件数依赖，并首次给出平均光滑性下界，证明基于二次提升构造。
2026-09-29 math.OC
On complexity and convergence of high-order coordinate descent algorithms for smooth nonconvex box-constrained minimization
本文提出用于光滑非凸箱约束最小化的高阶正则化坐标下降法，证明其高阶平稳性收敛与一阶复杂度界，并通过多维标度实验和初始点策略提升性能。
2022-02-02 math.OC
Doubly Smoothed Optimistic Gradients: A Universal Approach for Smooth Minimax Problems
本文提出单循环通用算法 DS-OGDA，用同一套参数求解凸-凹到满足单侧 KL 性质的非凸-非凹光滑极小极大问题，并取得最优或已知最佳保证。
2025-06-09 math.OC
Oracle Complexity in Nonsmooth Nonconvex Optimization
Weizmann Institute of Science（魏茨曼科学研究所）
众所周知，给定一个光滑的、有界的、可能非凸的函数，标准的基于梯度的方法可以在$\mathcal{O}(1/ε^2)$迭代中找到$ε$ -稳定点（梯度范数小于$ε$）。然而，许多重要的非凸最优化问题，如那些与现代神经网络的训练，本质上是不光滑的，使这些结果不适用。在本文中，我们研究了非光滑非凸优化的预言复杂性的观点，其中算法被假定为只能访问局部信息的功能在不同的点。我们提供了两个主要结果：第一，我们考虑了接近$ε$ -平稳点的问题。这也许是最自然的放松寻找$ε$ -平稳点，这是不可能的非光滑非凸的情况下。我们证明，这个放松的目标不能有效地实现，任何距离和$ε$小于一些常数。我们的第二个结果处理的可能性，解决非光滑非凸优化减少到光滑优化：即，应用光滑的最优化方法的光滑近似的目标函数。对于这种方法，我们在一个温和的假设下证明了oracle复杂性和光滑性之间的内在权衡：一方面，平滑非光滑非凸函数可以非常有效地完成（例如，通过随机平滑），但是在平滑参数中具有依赖于维度的因子，当插入标准平滑最优化方法时，这会强烈影响迭代复杂性。另一方面，这些维度因素可以用合适的平滑方法来消除，但只能通过使平滑过程的预言复杂度指数级地大。
2022-10-27 cs.LG math.OC
Inexact alternating projections on nonconvex sets
给定欧几里得空间中的两个任意闭集，一个简单的横截性条件保证交替投影法局部地以线性速度收敛到相交点。精确投影到非凸集通常是棘手的，但我们表明，计算成本低的不精确投影可能就足够了。特别是，如果一个集合是由足够规则的光滑约束定义的，那么投影到通过线性化围绕当前顶点的约束而获得的近似上就足够了。另一方面，如果一个集合是通过局部坐标表示的光滑流形，则通过围绕流形上的前一个流形线性化坐标系而产生的近似投影也是足够的。
2018-11-03 math.OC
Methods of Nonconvex Optimization
本书系统研究非凸非光滑有限维优化问题，基于广义可微函数和局部Lipschitz函数两类模型，建立广义梯度理论、光滑化近似及随机有限差分等数值方法，并推广到带约束的随机规划问题。
2024-06-14 math.OC
Trust Region Methods For Nonconvex Stochastic Optimization Beyond Lipschitz Smoothness
本文针对梯度非全局Lipschitz光滑的非凸随机优化问题，提出一阶和二阶信赖域方法，在广义光滑性条件下分别实现一阶和二阶稳定收敛，并通过方差缩减达到最优复杂度。
2025-02-06 math.OC
Accelerated Gradient Methods for Nonconvex Nonlinear and Stochastic Programming
在本文中，我们推广了著名的Nesterov的加速梯度（AG）方法，原来设计的凸光滑优化，解决非凸和可能的随机最优化问题。我们证明，通过适当地指定的步长政策，AG方法表现出最好的已知收敛速率解决一般非凸光滑最优化问题，通过使用一阶信息，类似于梯度下降法。然后，我们考虑一类重要的复合最优化问题，并表明AG方法可以解决他们一致，即，通过使用与凸情形中相同的积极步长策略，即使问题变成非凸的。我们证明了AG方法具有最佳的收敛速率，如果复合问题是凸的，并提高了最好的已知的收敛速率，如果问题是非凸的。在AG方法的基础上，我们还提出了新的非凸随机逼近方法，并证明了它们可以提高非凸随机最优化的一些现有的收敛速度。据我们所知，这是第一次的收敛性的AG方法已建立解决非凸非线性规划在文献中。
2013-10-14 math.OC
On Tackling High-Dimensional Nonconvex Stochastic Optimization via Stochastic First-Order Methods with Non-smooth Proximal Terms and Variance Reduction
The University of Hong Kong（香港大学）；The University of Minnesota Twin Cities（明尼苏达大学双城分校）；University of Florida（佛罗里达大学）
针对高维非凸随机优化中样本复杂度随维度线性增长的问题，提出采用非光滑近端项的非欧几里得随机一阶方法，结合方差缩减实现近最优样本复杂度，并通过实验验证维度不敏感性。
2026-09-15 math.OC
A forward-backward dynamical approach to the minimization of the sum of a nonsmooth convex with a smooth nonconvex function
我们从一个前向-后向型隐式动力系统的角度讨论了一个适当的、凸的、下连续的和与一个（可能是非凸的）光滑函数的最小化问题。后者是利用光滑函数的梯度和非光滑函数的近点算子来表示的。由动力系统产生的轨迹被证明渐近收敛到目标的一个临界点，提供了后者的正则化满足Kurdyka-Eschojasiewicz属性。还提供了在正则化目标函数的Chlojasiewicz指数方面的轨迹的收敛速度。
2015-07-06 math.DS math.OC
A Trust-Region Method For Nonsmooth Nonconvex Optimization
针对一类非光滑非凸最优化问题，提出了一种置信域方法，其中目标函数是一个（可能非凸的）光滑函数和一个（可能非光滑的）凸函数之和.我们的置信域子问题的模型函数始终是二次的，模型的线性项使用抽象的下降方向生成。因此，置信域子问题可以很容易地构造，以及有效地解决了廉价和标准的方法。当模型函数在子问题解处的精度不够时，我们在步长上增加了一个安全措施以提高精度。针对一类可截断的函数，定义了一个额外的截断步长，并设计了步长修改策略。整个方案的全局收敛，我们建立快速的局部收敛适当的假设下。特别地，利用光滑黎曼置信域方法，证明了部分光滑函数在严格互补条件下的局部平方收敛。报告了一族$\ell_1$ -最优化问题的初步数值结果，并证明了我们方法的效率。
2021-10-23 math.OC
Revisiting Randomized Smoothing: Nonsmooth Nonconvex Optimization Beyond Global Lipschitz Continuity
针对随机平滑优化依赖全局Lipschitz条件的局限，提出新的次梯度增长条件及随机平滑梯度算法，实现高效收敛并匹配最优样本复杂度。
2025-09-09 math.OC
Block-coordinate and incremental aggregated proximal gradient methods for nonsmooth nonconvex problems
本文针对非光滑非凸优化问题，基于前向后向包络（FBE）分析块坐标近似梯度方法，在Kurdyka-Łojasiewicz性质下建立全局与线性收敛结果，还推导了Finito/MISO算法在非凸非光滑场景下的新收敛结论。
2019-11-26 math.OC
Asymptotic Analysis of Gradient Mapping-type Stationarity Measure for the Sum of Nonconvex Nonsmooth Functions and Applications to Proximal Gradient-type Algorithms
Institute of Science Tokyo（东京科学大学）
本文针对非凸非光滑函数和提出梯度映射型平稳性测度并做渐近分析，将其应用于邻近梯度算法，解决了一个开放问题并提出带非单调线搜索的邻近变量平滑算法。
2026-09-09 math.OC
ItsOPT: An inexact two-level smoothing framework for nonconvex optimization via high-order Moreau envelope
University of Antwerp（安特卫普大学）
提出ItsOPT双层光滑优化框架，通过高阶Moreau包络（HOME）构造光滑近似，结合Boosted HiPPA与非精确近端求解，实现非光滑非凸函数的一阶临界点求解，并在KL指数下证明线性收敛。
2026-07-03 math.OC
On computing Goldstein approximate second-order stationary points of structured nonsmooth nonconvex programs
The Chinese University of Hong Kong（香港中文大学）
研究如何计算结构化非光滑非凸规划的戈德斯坦近似二阶驻点，采用随机一阶算法，利用随机平滑工具，给出算法神谕复杂度，还扩展到弱凸函数并应用于双层优化。
2026-07-28 math.OC
Distributed Stochastic Nonsmooth Nonconvex Optimization
分布式一致性优化近年来受到了相当大的关注，已经提出了几个分布式的共识为基础的算法（非光滑）凸和（光滑）非凸目标函数。然而，这些分布式算法对{ \it非凸，非光滑和随机}目标函数的行为是不理解的。这类函数和分布式设置的动机是几个应用程序，包括机器学习和信号处理中的问题。本文提出了第一次收敛性分析的分散随机次梯度方法的这类问题，在网络建模为无向，固定，图。
2019-11-03 math.OC
Gradient projection and conditional gradient methods for constrained nonconvex minimization
球面上的光滑函数的极小化，或者更一般地说，光滑流形上的光滑函数的极小化，是最简单的非凸优化问题。它有很多应用。我们的目标是提出一个版本的梯度投影算法的解决方案，并获得的结果，保证收敛的算法在一些最小的自然假设。利用流形上的Lezanski-Polyak-Lojasiewicz条件证明了算法的全局线性收敛性.另一种很好地适合这个问题的方法是条件梯度（Frank-Wolfe）算法。我们研究了一些条件，保证整体收敛的全步版本的方法与线性率。
2019-06-27 math.OC
Matching Randomized First-Order Bounds for Higher-Order Smooth Nonconvex Optimization
Peking University（北京大学）
该研究针对高阶光滑非凸优化，证明找到ε-驻点需Ω_p(ε^{-5/3})次查询，确立5/3随机精度壁垒，扩展了此前匹配的三阶情况。
2026-10-20 math.OC
Complexity analysis of second-order line-search algorithms for smooth nonconvex optimization
最近，由于机器学习和鲁棒统计学中普遍存在这样的问题，人们对寻找光滑函数的无约束局部极小值产生了很大的兴趣。一个特别的焦点是具有良好复杂性保证的算法。利用正则化和置信域的二阶牛顿型方法已经从这样的角度进行了分析。最近的建议，主要是基于一阶方法，也被证明享有最佳的迭代复杂度，同时提供额外的保证计算成本。在本文中，我们提出了一种算法，具有良好的复杂性，不同的两个重要方面，从其他最近提出的方法。首先，它只基于线搜索：每一步都涉及搜索方向的计算，然后是沿着该方向的回溯线搜索。第二，它的分析是相当直接的，在很大程度上依赖于标准的技术，以证明足够的减少，从回溯的目标。在本文的后半部分，我们考虑了搜索方向的不精确计算，使用线性代数中的迭代法：共轭梯度法和Lanczos法。我们得到修改后的收敛性和复杂性的结果，这些更实用的方法。
2017-12-11 math.OC
Differentially Private Optimization for Smooth Nonconvex ERM
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究提出用于非凸经验风险最小化（ERM）的差分隐私优化算法，结合线搜索、小批量与两阶段策略提升性能，经数值实验验证了方法有效性。
2023-06-09 cs.CR cs.LG math.OC
Lower Bounds for Smooth Nonconvex Finite-Sum Optimization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
光滑有限和优化问题在凸和非凸两种情况下都得到了广泛的研究。然而，现有的有限和优化的下界大多局限于每个分量函数是（强）凸的设置，而非凸的有限和优化的下界仍然在很大程度上未解决。本文研究了光滑非凸有限和优化问题的下界，其中目标函数是$n$非凸分支函数的平均。我们证明了严格的下界的复杂性找到$ε$-次优点和$ε$-近似不动点在不同的设置，为广泛的制度的最小特征值的海森的目标函数（或每个组件功能）。给定我们的下界，我们可以证明现有的算法，包括KatyushaX（Allen-Zhu，2018），Natasha（Allen-Zhu，2017），RapGrad（Lan和Yang，2018）和StagewiseKatyusha（Chen和Yang，2018）已经实现了最佳的增量一阶Oracle（IFO）复杂度（即，IFO调用的数量），直到非凸有限和优化的对数因子。我们还指出了进一步改善这些复杂性结果的潜在方法，包括更强的假设或不同的收敛分析。
2019-01-31 cs.LG math.OC stat.ML
A DC Composite Optimization via Variable Smoothing for Robust Phase Retrieval with Nonconvex Loss Functions
Institute of Science Tokyo（东京科学大学）
本文提出一种基于优化的方法，用于鲁棒相位恢复问题，旨在从受异常值影响的二次测量中估计未知信号。通过引入能处理非凸损失函数的通用模型，提升了现有基于$\ell_1$损失函数的优化模型的鲁棒性。
2026-04-16 math.OC
On the Complexity of Finding Stationary Points in Stochastic $(L_0, L_1)$-Smooth Nonconvex Optimization
针对随机$(L_0, L_1)$-光滑非凸优化中平稳点求解的复杂性问题，研究了带有界方差噪声的随机一阶预言机复杂度，明确了相关参数的最优依赖关系，给出了下界并证明小批量平滑归一化随机梯度下降可达到匹配上界，确立了最优复杂度。
2026-10-16 math.OC
Muon Converges under Heavy-Tailed Noise: Nonconvex Hölder-Smooth Empirical Risk Minimization
本文研究Muon在重尾噪声下的收敛性，证明其在非凸Hölder光滑经验风险最小化中能收敛到 stationary 点，并优于mini-batch SGD。
2026-03-17 cs.LG math.OC
Shape Derivative for Penalty-Constrained Nonsmooth-Nonconvex Optimization: Cohesive Crack Problem
研究了一类与变分不等式（VI）有关的带罚约束的非光滑非凸优化问题的形状可微性。准脆性断裂的具体问题描述了一个弹性体与巴伦布拉特粘性裂纹下的不等式条件下的非渗透的裂纹面。基于Lagrange方法，利用光滑罚函数和Lavrentiev正则化，导出了形状导数的计算公式。显式公式包含原始状态和伴随状态，并且对于寻找梯度算法的下降方向以从边界测量识别最佳裂纹形状是有用的。破坏性试验的数值例子是在2D。
2022-04-10 math.OC
Variable Metric Composite Proximal Alternating Linearized Minimization for Nonconvex Nonsmooth Optimization
本文提出了一个最小化两个块变量的目标函数的近似算法，该目标函数由三项组成：1）光滑函数; 2）非光滑函数，它是一个严格递增的凹可微函数和一个凸非光滑函数的组合; 3）耦合两个块变量的光滑函数。我们提出了一个变尺度复合近似交替线性化极小化（CPALM）来解决这类问题。建立在强大的Kurdyka-Eschojasiewicz属性，我们得到的收敛性分析，并建立由CPALM生成的每个有界序列全局收敛到一个临界点。我们证明了CPALM方法的并行磁共振图像重建问题。数值结果表明了该方法的可行性和有效性。
2022-09-14 math.OC
A Single-Loop Smoothed Gradient Descent-Ascent Algorithm for Nonconvex-Concave Min-Max Problems
Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；Department of ISE, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校工业与系统工程系）
针对非凸-凹极小-极大问题中GDA算法易振荡的问题，提出平滑GDA算法，在两类问题上取得最优迭代复杂度，并扩展至多块情形，在鲁棒训练中验证了效率。
2025-03-20 cs.LG math.OC
Worst-case evaluation complexity and optimality of second-order methods for nonconvex smooth optimization
从最坏情况计算复杂性的角度建立或反驳了无约束非凸优化的不精确二阶方法的最优性，改进和推广了Cartis，Gould和Toint（2010，2011）的结果.为了这个目的，我们考虑一个新的一般类的不精确的二阶算法无约束优化，包括正则化和信赖域变化的牛顿法，以及他们的linesperson的变种。对于这类方法和任意精度阈值$ε\in (0,1)$，我们展示了一个具有有界范围的光滑目标函数，其梯度是全局Lipschitz连续的，其Hessian是$α-$ Hölder连续的（对于给定的$α\in [0,1]$），对于该方法，至少需要$\lfloorε^{-(2+α)/(1+α)}\rfloor$函数求值来生成第一个梯度小于$ε$的范数。此外，我们还构造了另一个函数，牛顿的$\lfloorε^{-2}\rfloor$评估，但其Hessian是Lipschitz连续的路径上的迭代。这些例子提供了最坏情况下的评估复杂性的方法，在我们的类时，应用到满足相关假设的光滑问题的下限。此外，对于$α=1$，该下限在$ε$中与Curtis，Robinson和samadi（2017）或Royer和Wright（2017）中提出的一类方法中的立方和其他方法的最坏情况评估复杂度的上限具有相同的顺序，因此意味着这些方法在更广泛的二阶方法中具有最佳的最坏情况评估复杂度，而牛顿法是次优的。
2017-09-21 math.OC
Sharp First-Order Lower Bounds for Higher-Order Smooth Nonconvex Optimization
Department of Computer Science, Indiana University（计算机科学系，印第安纳大学）
针对高阶光滑非凸优化，通过块链机制构造硬实例，首次证明了匹配已知上界的一阶下界，如Hessian Lipschitz情形下的Ω(ε^{-7/4})和三阶光滑情形下的Ω(ε^{-5/3})。
2026-09-23 cs.LG math.OC
Forward-backward envelope for the sum of two nonconvex functions: Further properties and nonmonotone line-search algorithms
我们提出了ZeroFPR，一个非单调线性算法，用于最小化两个非凸函数之和，其中一个是光滑的，另一个可能是非光滑的。ZeroFPR是第一个算法，尽管它适合于完全非凸问题，并且只需要向前向后分裂（FBS）的黑盒预言--即平滑项的梯度和非平滑项的邻近算子的评估--当线性方向满足Dennis-Moré条件时，在极限点的温和假设下实现超线性收敛速率，我们证明了这是拟牛顿方向的情况。我们的方法是基于前向-后向包络（FBE），一个精确的和严格连续的罚函数的原始成本。扩展以前的结果，我们表明，尽管是非光滑的完全非凸问题，FBE仍然享有良好的一阶和二阶属性，这是关键的收敛结果的ZeroFPR。我们的理论结果是支持有前途的数值模拟。在大规模问题上，通过使用有限内存拟牛顿更新计算线方向，我们的算法大大优于FBS及其加速变体（AFBS）。
2017-05-23 math.OC
A variance reduced framework for (non)smooth nonconvex-nonconcave stochastic minimax problems with extended Kurdyka-Lojasiewicz property
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出了一种适用于非凸-非凹随机博弈问题的方差减少框架，结合弱凸性、扩展KL性质和方差减少技术，实现了高效的样本复杂度。
2026-02-23 math.OC
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
该研究针对大型语言模型预训练优化器Muon，证明带有限牛顿-舒尔茨迭代的Muon可通过平滑极映射提升非光滑非凸优化的收敛性，其样本复杂度达最优，且优于采用精确极因子更新的Muon。
2026-08-28 cs.LG math.OC stat.ML
Piecewise smooth functions and conservative fields: calculus for nonsmooth nonconvex optimization beyond stratification
Toulouse School of Economics, Toulouse Capitole University（图卢兹经济学院，图卢兹卡皮托尔大学）
研究局部Lipschitz、分段光滑函数相关梯度与保守场的联系，证明相关集合沿Lipschitz曲线有链式法则性质，调和两个非光滑自动微分理论框架，给出随机次梯度方法在有界性假设下的收敛性。
2026-08-11 math.OC
Inexact proximal DC Newton-type method for nonconvex composite functions
针对目标为光滑函数加非光滑DC函数的DC优化问题，提出结合近似DC算法与非精确近似牛顿法的非精确近似DC牛顿型方法，证明全局收敛性，设计高效缩放近似映射求解方案，实验验证其优于现有方法。
2023-08-29 math.OC
