Trust-Region Newton-CG with Strong Second-Order Complexity Guarantees for Nonconvex Optimization
非凸优化算法的最坏情况复杂性保证是一个越来越受关注的话题。已经提出了多个框架，实现了最知名的复杂性界限之间的广泛的一类一阶和二阶策略。这些方法通常主要是在考虑复杂性保证的情况下设计的，因此，它们偏离了在实践中被证明是最有效的算法。在本文中，我们考虑置信域牛顿法，最流行的一类算法解决非凸最优化问题。通过对原方案进行轻微修改，我们得到了两种方法-一种是基于精确子问题解决方案，另一种是利用不精确子问题解决方案，如在流行的“置信域牛顿共轭梯度”（置信域牛顿CG）方法-迭代和操作复杂性边界匹配上述一类一阶和二阶方法的最佳已知边界。由此产生的置信域牛顿-CG方法也保留了经典的置信域牛顿-CG，我们证明了一个标准的基准测试集上的数值比较有吸引力的实际行为。
2020-11-19 math.OC
A projected semismooth Newton method for a class of nonconvex composite programs with strong prox-regularity
提出了一种求解一类非凸组合规划的牛顿型方法。特别地，非光滑部分可能是非凸的。为了解决非凸性，我们开发了一个概念，强的正则性，这是相关的单点属性，Lipschitz连续性，和单调性的相关的邻近算子，我们验证它在各种类型的功能，包括弱凸函数，指示函数的邻近光滑集，和两个特定的球相关的非凸非光滑函数。在这种情况下，我们所关心的问题类涵盖了流形上的光滑最优化问题和流形上的某些复合最优化问题。对于后者，所提出的算法是第一个二阶序型方法。结合邻近算子的半光滑性，设计了一种投影半光滑牛顿法，用于求解由邻近梯度法导出的自然残差的根。由于相应的自然残差可能不是全局单调的，一个额外的投影通常的半光滑牛顿步骤和新的标准之间的切换提出了投影半光滑牛顿步骤和邻近步骤。在强正则性下证明了算法的整体收敛。基于BD正则性条件，我们建立了局部超线性收敛.数值实验表明，我们所提出的方法相比，国家的最先进的有效性。
2023-03-09 math.OC
Douglas-Rachford splitting and ADMM for nonconvex optimization: Accelerated and Newton-type linesearch algorithms
针对非凸优化中DRS和ADMM受病态条件与问题规模限制的问题，提出两种结合拟牛顿方向的线搜索算法，保留原收敛性且提升收敛速度与鲁棒性，采用Broyden方向可实现超线性收敛。
2021-11-03 math.OC
An Inexact Proximal Newton Method for Nonconvex Composite Minimization
本文提出一种求解非凸复合问题的不精确近端牛顿型方法，在KKT残差范数下实现O(k^{-1/2})全局收敛与局部超线性收敛，无需线搜索且数值实验验证其性能媲美现有最优方法。
2024-12-21 math.OC
Proximal Limited-Memory Quasi-Newton Methods for Nonsmooth Nonconvex Optimization
University of Würzburg（维尔茨堡大学）；University of the Bundeswehr Munich（联邦国防军慕尼黑大学）
本文提出一种近端有限记忆拟牛顿方法，用于求解可微函数与非光滑函数之和的最小化问题，通过自适应更新正则化参数实现全局收敛，并在Kurdyka-Lojasiewicz性质下建立序列收敛性。
2026-10-27 math.OC
Second-order Online Nonconvex Optimization
我们提出了在线牛顿法，一个单步二阶在线非凸优化方法。我们分析了它的性能，并得到了一个动态的遗憾界，是线性的轮最优值之间的累积变化。我们表明，如果轮最优值之间的变化是有限的，该方法导致一个恒定的遗憾界。在一般情况下，在线牛顿法优于在线凸优化算法的凸函数，并执行类似于一个专门的算法，强凸函数。我们模拟的性能在线牛顿法的非线性，非凸的移动目标定位的例子，发现它优于一阶的方法。
2020-06-09 math.OC
A Newton-Like Dynamical System for Nonsmooth and Nonconvex Optimization
本文提出一种连续牛顿法的非光滑适配动力系统，利用局部 Lipschitz 映射的图像导数扩展二阶信息，分析解的存在唯一性、轨迹渐近性，并在强度量次正则性与 KL 不等式条件下给出收敛保证和速率。
2024-12-08 math.OC
Parameter-Free Accelerated Quasi-Newton Method for Nonconvex Optimization
University of Tokyo（东京大学）
本文提出了一种无参数的非凸优化准牛顿方法，通过结合动量加速、四次正则化和PSB更新，实现了在梯度评估次数上的高效优化。
2026-08-19 math.OC
A Newton-MR algorithm with complexity guarantees for nonconvex smooth unconstrained optimization
针对非凸光滑无约束优化，提出利用 MINRES 检测非正曲率并保持单调性的 Newton-MR 变体，给出一阶与二阶最坏情况复杂度保证，数值实验验证其性能。
2023-09-29 math.OC
A Newton-Based Method for Nonconvex Optimization with Fast Evasion of Saddle Points
神经网络训练、张量分解和矩阵分解等机器学习问题需要非凸函数的局部最小化。这种局部最小化受到鞍点的存在的挑战，鞍点可能有很多，并且下降法可能需要非常大量的迭代来逃避。本文提出了一种二阶的方法，修改更新的牛顿法，通过取代负特征值的海森由其绝对值，并使用截断版本的结果矩阵来占目标的曲率。所示的方法，以逃避鞍在最$1 + \log_{3/2} (δ/2\varepsilon)$迭代，其中$\varepsilon$是目标最优和$δ$特征点足够远离鞍。这个指数逃逸的基数是独立于问题常数的$3/2$。在牛顿法的基础上，证明了在$O\left(\log(1/p)) + O(\log(1/\varepsilon)\right)$迭代中以概率$1-p$收敛于局部极小值。
2018-07-20 math.OC
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法，在最坏的情况下，该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$，并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架，涵盖了广泛的技术，包括二次和三次正则化牛顿方法，如自适应正则化使用三次（ARC）方法和最近提出的信赖域算法与收缩和扩张（TRACE）。我们的方法的一般性是通过引入通用的条件，每个试验步骤需要满足，特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题，可以近似求解，以获得满足条件的试验步骤。一个新的实例的框架，不同的ARC和TRACE，可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明，我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
Inexact proximal DC Newton-type method for nonconvex composite functions
针对目标为光滑函数加非光滑DC函数的DC优化问题，提出结合近似DC算法与非精确近似牛顿法的非精确近似DC牛顿型方法，证明全局收敛性，设计高效缩放近似映射求解方案，实验验证其优于现有方法。
2023-08-29 math.OC
Nonconvex set intersection problems: From projection methods to the Newton method for super-regular sets
在闭集的交中求点的问题可以用交替投影法及其变体来解决。在早期的论文中表明，对于凸集，使用二次规划（QP）投影到由投影过程产生的支持半空间的交集上的策略可以导致超线性地收敛多项的算法。本文的主要贡献是证明了这种策略对于Lewis，Luke和Malick提出的结构化非凸集--超正则集是有效的。流形应该用超平面而不是半空间来近似。我们证明了这种策略的线性收敛性，然后证明了超线性和平方收敛时，可以得到的问题是类似的设置的牛顿法。我们还展示了一个算法，收敛在一个任意快的线性速率，如果半空间从旧的迭代被用来构建QP。
2015-06-27 math.OC
A linesearch-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
School of Data Science (SDS), The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳数据科学学院）；IEOR, Columbia University（哥伦比亚大学工业工程与运筹学系）
本文提出了一种基于线搜索的光滑牛顿方法，用于解决非光滑非凸复合优化问题，通过自适应参数估计技术提高效率并简化收敛分析。
2026-02-13 math.OC
A Unified Algorithm for Nonconvex Decentralized Nonlinear Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文提出一种统一的分布式非凸优化算法框架，涵盖现有先进梯度跟踪和拟牛顿算法。在非凸和Kurdyka-Łojasiewicz条件下分析收敛性，并提出新的高效算法。
2026-04-13 math.OC
A Stochastic Quasi-Newton Method for Large-Scale Nonconvex Optimization with Applications
本文提出了一种新的随机版本的阻尼和正则化BFGS方法来解决上述问题。
2019-12-10 cs.NA math.NA math.OC
Primal-Dual Inexact Newton-MR for Nonconvex Optimization with Equality Constraints
School of Mathematics and Physics, The University of Queensland（昆士兰大学数理学院）
针对带等式约束的非凸优化，提出一种基于共轭残差法的非精确原始-对偶牛顿方法，直接处理子问题非正定性，避免有害正则化，并具有全局收敛保证和良好实证表现。
2026-09-10 math.OC
A FISTA-type accelerated gradient algorithm for solving smooth nonconvex composite optimization problems
本文描述并建立了求解光滑非凸复合优化问题的两个加速复合梯度（ACG）变量的迭代复杂度，该问题的目标函数是一个具有Lipschitz连续梯度的非凸可微函数$ f $和一个简单的非光滑闭凸函数$ h $之和.当$f$是凸的时，对于输入的特定选择，第一个ACG变体简化为众所周知的FISTA，因此第一个可以被视为后一个到非凸设置的自然扩展。第一个变体需要输入对$(M,m)$，使得$f$是$m$ -弱凸的，$\nabla f$是$M$ -Lipschitz连续的，以及$m \le M$（可能是$m<M$），其通常难以获得或估计不佳。另一方面，第二种变体可以从任意输入对$(M,m)$的正标量和其复杂性被证明是不差，在某些情况下，比第一种变体的输入对的大范围。最后，数值结果来说明两个ACG变体的效率。
2021-03-06 math.OC
Average Curvature FISTA for Nonconvex Smooth Composite Optimization Problems
以前的作者的论文介绍了一个加速复合梯度（ACG）的变种，即AC-ACG，解决非凸光滑复合优化（N-SCO）问题。与其他ACG变体相比，AC-ACG通过使用在先前迭代期间获得的观察到的上Lipschitz曲率的平均值来估计N-SCO问题的局部上曲率，并使用该估计和两个复合预解式评估来计算下一个解。本文提出了另一种FISTA类型的ACG变体，即AC-FISTA，它具有以下额外的功能：i）它每次迭代执行一个复合预解式评估的平均值; ii）它通过使用先前观察到的上（而不是上Lipschitz）曲率的平均值来估计局部上曲率。这两种性质共同作用产生了一种实用的AC-FISTA变体，其性能大大优于早期的ACG变体，包括上述作者论文中讨论的AC-ACG变体。
2023-02-04 math.OC
Barzilai-Borwein Diagonal Quasi-Newton Method for Nonconvex Multiobjective Optimization Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆应用数学中心，重庆师范大学）
本文提出改进的Barzilai-Borwein对角型Quasi-Newton方法，用于解决非凸多目标优化问题，通过共享矩阵提高效率并保证收敛性。
2026-08-04 math.OC
A trust region-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
针对非光滑非凸复合优化问题，提出一种嵌入半光滑牛顿步的信赖域型法映射方法，证明其全局与局部超线性收敛性，拓展拟牛顿版本并通过多类数值实验验证了算法效率。
2023-10-03 math.OC
A Stochastic Semismooth Newton Method for Nonsmooth Nonconvex Optimization
在这项工作中，我们提出了一个全球化的随机半光滑牛顿法解决随机最优化问题，涉及光滑非凸和非光滑凸项的目标函数。我们假设只有噪声梯度和Hessian信息的光滑部分的目标函数是通过调用随机一阶和二阶预言。所提出的方法可以看作是一个混合的方法相结合的随机半光滑牛顿步骤和随机邻近梯度步骤。引入两个不精确的增长条件来监控半光滑牛顿步的收敛性和可接受性，并表明该算法全局收敛到预期的平稳点。此外，在标准假设下，利用随机矩阵浓度不等式，我们证明了该方法局部地转化为一个纯随机半光滑牛顿法，并且以高概率r-超线性收敛.我们提出的数值结果和比较$\ell_1$正则化逻辑斯谛回归和非凸二进制分类，证明了我们的算法的效率。
2018-03-09 math.OC stat.ML
An efficient adaptive accelerated inexact proximal point method for solving linearly constrained nonconvex composite problems
本文提出了一种有效的自适应二次惩罚加速不精确邻近点（QP-AIPP）的方法提出了较早的作者。QP-AIPP方法和它的变体都使用二次惩罚方法来解决线性集约束的非凸复合最优化问题，其中生成的惩罚子问题由底层AIPP方法的变体来解决。该变体，反过来，解决了一个给定的惩罚子问题，产生一系列的近端子问题，然后解决了加速复合梯度算法。AIPP和它的变体之间的主要区别是，在前者的近端子问题总是凸的，而在后者的不一定是凸的，由于事实上，他们的prox参数选择尽可能积极，以提高效率。AIPP变体产生的可能非凸邻近子问题也尝试解决了一种新的自适应加速复合梯度算法的有效性的基础上，一些关键的收敛不等式。其结果是，该变体生成一系列的近端子问题，其中的步长自适应地改变根据从调用到加速复合梯度算法的响应。最后，数值结果证明了所提出的AIPP和QP-AIPP变体的效率。
2019-12-05 math.OC
Inexact Newton Methods for Stochastic Nonconvex Optimization with Applications to Neural Network Training
本文研究了随机不精确牛顿方法，并考虑了它们在非凸情形下的应用。在[R]工作的基础上，博拉普拉加达河H. Byrd和J. Nocedal，IMA数值分析杂志，39（2018），pp. 545- 578]我们得到了随机低秩Newton方法和随机不精确Newton-Krylov方法在期望值下的收敛速度的界。这些界限量化了在对Hessian和梯度进行二次采样、近似牛顿线性求解以及选择正则化和步长参数时所产生的误差。我们将这些方法部署在MNIST和CIFAR 10数据集的卷积自编码器训练中。数值结果表明，相对于一阶方法，这些随机不精确牛顿方法往往收敛速度更快，更节省成本，更好的推广。
2019-07-31 cs.NA math.NA math.OC
An inexact regularized proximal Newton method for nonconvex and nonsmooth optimization
本文针对非凸非光滑优化问题，提出基于KKT残差幂次海森近似的非精确正则化近似牛顿法，证明了不同参数下的收敛性与收敛速率，并通过数值实验验证了方法的高效性。
2023-11-08 math.OC
INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
Indian Institute of Technology Kanpur（坎普尔印度理工学院）；Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
INTHOP通过区间Hessian方法解决非凸优化中的高计算成本、Hessian求逆和非定性Hessian方向问题，证明了算法的全局收敛性，并在测试问题中表现出更高的效率。
2026-04-07 math.OC
Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian
Linköping University（林雪平大学）；University of Maryland（马里兰大学）；University of Minnesota（明尼苏达大学）
针对具有Hölder连续Hessian的非凸无约束优化问题，提出已知参数的Newton-CG方法和无需参数先验的无参数Newton-CG方法，后者为首个实现最优迭代与运算复杂度的无参数二阶方法，且数值结果显示其性能更优。
2025-04-14 cs.LG math.OC
Convergence rate bounds for a proximal ADMM with over-relaxation stepsize parameter for solving nonconvex linearly constrained problems
本文建立了求解非凸线性约束最优化问题的一种近似交替方向法（ADMM）的收敛速度界。近端ADMM的变体允许包含属于间隔$(0,2)$的超松弛步长参数。据我们所知，文献中所有相关的论文都只考虑了超松弛因子位于区间$(0,(1+\sqrt{5})/2)$的情况。
2017-11-03 math.OC
Active-set Newton-MR methods for nonconvex optimization problems with bound constraints
本文针对带界约束的非凸优化问题提出活动集 Newton-MR 方法，在面内用 MINRES 近似牛顿方向，在面间采用 SPG 或三次正则化策略，并给出预言机调用复杂度上界，数值实验表明 MINRES 优于 CG。
2025-08-28 math.OC
A Stochastic Block-coordinate Proximal Newton Method for Nonconvex Composite Minimization
School of Mathematical Sciences, Jiangsu University（江苏大学数学科学学院）；Center of Excellence for Generative AI, King Abdullah University of Science and Technology（阿卜杜拉国王科技大学生成式人工智能卓越中心）
本文提出一种随机块坐标近端牛顿方法，用于非凸复合最小化问题，通过强凸正则化二次子问题和回溯线搜索确保收敛性，并在不同条件下证明了超线性收敛率。
2026-03-24 math.OC
General Proximal Quasi-Newton Methods based on model functions for nonsmooth nonconvex problems
本文提出一种由连续矩阵生成器更新可变度量、基于局部模型函数和回溯线搜索的通用邻近拟牛顿法，用于非光滑非凸优化，并证明其聚点稳定性及 KL 性质下的全局收敛性。
2025-07-25 math.OC
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
该研究针对大型语言模型预训练优化器Muon，证明带有限牛顿-舒尔茨迭代的Muon可通过平滑极映射提升非光滑非凸优化的收敛性，其样本复杂度达最优，且优于采用精确极因子更新的Muon。
2026-08-28 cs.LG math.OC stat.ML
Quasi-Newton and Krylov Methods for the Solution of Nonconvex Trust-Region Subproblems
National Institute of Applied Sciences of Rennes（法国国立应用科学学院）；GERAD and Department of Mathematics and Industrial Engineering, École Polytechnique（GERAD与蒙特利尔高等商学院数学与工业工程系）；Department of Mathematics, Université de Sherbrooke（舍布鲁克大学数学系）
研究全内存和有限内存方法族求解对称正定线性系统，推导共轭梯度法与Broyden类拟牛顿法的新关系，扩展至LBFGS和DIOM，并推广至非凸无约束优化的信赖域步计算，实验表明有限内存方法在鲁棒性和效率上优于CG。
2026-05-22 math.OC
A Stochastic Extra-Step Quasi-Newton Method for Nonsmooth Nonconvex Optimization
本文提出了一种新的随机额外步拟牛顿法来求解一类非光滑非凸组合最优化问题。我们假设目标函数的光滑部分的梯度只能用随机预言机来近似。所提出的方法结合了一般的随机高阶步骤来自一个潜在的近端型不动点方程与额外的随机近端梯度步骤，以保证收敛。基于合适的步长范围，我们建立了整体收敛的平稳点的期望和扩展的方法使用方差减少技术进行了讨论。受大规模和大数据应用的启发，我们研究了一种随机坐标型拟牛顿格式，该格式可以生成廉价且易于处理的随机高阶方向。最后，该算法在大规模逻辑斯谛回归和深度学习问题上进行了测试，结果表明，它与其他最先进的方法相比毫不逊色。
2019-10-21 math.OC stat.ML
Faster Newton Methods for Convex and Nonconvex Optimization in Gradient Complexity
IIIS, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qizhi Institute（上海齐志研究院）；School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Key Laboratory for Contemporary Applied Mathematics（上海市当代应用数学重点实验室）；Shanghai AI Lab（上海人工智能实验室）
本文提出新的牛顿方法，改进了非凸和凸优化的梯度复杂度，分别达到O( d̄ + d̄^{1/3} ε^{-3/2})和O( (d̄ + d̄^{13/21} ε^{-2/7}) ln d̄)
2026-07-14 math.OC
Complexity Guarantees for Nonconvex Newton-MR Under Inexact Hessian Information
该研究扩展了非凸无约束优化的Newton-MR算法至非精确Hessian场景，分析了不同非凸条件下的复杂度与收敛性，并通过机器学习问题实验验证了算法的鲁棒性。
2024-09-13 cs.NA math.NA math.OC
New Globalized Newton-Type Methods for Nonconvex Optimization Problems
University of North Dakota（北达科他大学）；Loyola University Chicago（芝加哥洛约拉大学）
针对非凸优化问题，提出通用线搜索牛顿框架，避免重复海森正则化，在温和假设下建立全局收敛性，适当条件下证明局部收敛性，应用于强拟凸优化并给出算法及分析，数值实验验证方法有效性。
2026-07-28 cs.NA math.NA math.OC
On Quadratic Convergence of DC Proximal Newton Algorithm for Nonconvex Sparse Learning in High Dimensions
University of Minnesota（明尼苏达大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
提出了一种求解高维非凸正则化稀疏学习问题的DC近似牛顿算法。我们提出的算法集成了近似牛顿算法和基于凸规划差分的多阶段凸松弛算法，并且具有很强的计算和统计保证。具体地，通过利用稀疏建模结构/假设的复杂表征（即，局部约束强凸性和Hessian光滑性），证明了在凸松弛的每一阶段，算法均达到（局部）二次收敛，并最终在几次凸松弛后得到具有最优统计性质的稀疏近似局部最优解.数值实验支持我们的理论。
2018-02-15 cs.LG math.OC stat.ML
An inexact $q$-order regularized proximal Newton method for nonconvex composite optimization
本文提出一种不精确$q$阶正则化近端牛顿法（含三次正则化特例），用于非凸复合优化，证明其迭代收敛至稳定点或二阶稳定点，并给出局部超线性收敛速率，首次实现实用不精确CR方法的$Q$-二次收敛。
2025-05-24 math.OC
Fast Extra Gradient Methods for Smooth Structured Nonconvex-Nonconcave Minimax Problems
现代极大极小问题，如生成对抗网络和对抗训练，通常是在非凸-非凹设置下，开发一个有效的方法，这样的设置是感兴趣的。最近，在这个方向上研究了两种变体的超梯度（EG）方法。首先，在光滑结构的非凸-非凹条件下，提出了EG的双时间尺度变体EG+，其中$k$表示迭代次数，在平方梯度范数上具有缓慢的$\mathcal{O}(1/k)$速率.其次，EG的另一种变体与锚定技术，命名为额外锚定梯度（EAG），在光滑的凹凸设置下进行了研究，产生一个快速的$\mathcal{O}(1/k^2)$率的平方梯度范数。本文在EG+和EAG的基础上，提出了一种具有锚定的双时标EG，称为快速外梯度（FEG），它对光滑结构的非凸-非凹问题具有快速的$\mathcal{O}(1/k^2)$速度，相应的鞍梯度算子满足负共单调性条件.本文进一步发展了其回溯线搜索版本，命名为FEG-A，在问题参数不可用的情况下。并对FEG进行了随机分析。
2021-11-19 math.OC
A Newton-CG based barrier method for finding a second-order stationary point of nonconvex conic optimization with complexity guarantees
University of Minnesota（明尼苏达大学）
本文研究了非凸锥优化问题的近似二阶稳定点（SOSP），该稳定点使仿射子空间与凸锥交点上的二次可微函数最小.特别是，我们提出了一个牛顿共轭梯度（Newton-CG）为基础的障碍方法找到一个$(ε,\sqrtε)$ -SOSP的这个问题。我们的方法不仅是可实现的，而且还实现了${\cal O}(ε^{-3/2})$的迭代复杂度，这匹配的最佳已知的迭代复杂度的二阶方法找到一个$(ε,\sqrtε)$ -SOSP的无约束非凸优化。由${\cal O}(ε^{-3/2})$ Cholesky分解和$\widetilde{\cal O}(ε^{-3/2}\min\{n,ε^{-1/4}\})$其他基本运算组成的运算复杂度也为我们的方法建立。
2022-10-11 cs.LG cs.NA math.NA
Envelope Cubic Regularized Newton Method for Nonconvex-Strongly-Concave Minimax Optimization
针对非凸-强凹极小极大优化问题，提出包络三次正则化牛顿法（ECRN），其复杂度在对数因子内最优，改进了现有二阶方法的条件数依赖度。
2026-10-14 math.OC
Stochastic Gauss-Newton Algorithms for Nonconvex Compositional Optimization
针对一类非凸随机组合最优化问题，提出了两种新的随机高斯-牛顿算法。我们认为在标准假设下的期望和有限和设置，并使用经典的随机和SARAH估计的逼近函数值和雅可比。在期望的情况下，我们建立了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度，以达到期望中的一个稳定点，并估计了函数值及其雅可比矩阵的随机预言调用的总数，其中$\varepsilon$是期望的精度。在有限和的情况下，我们还估计了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度和总的oracle调用的高概率。据我们所知，这是第一次为随机高斯-牛顿方法建立这样的全局随机预言复杂性。最后，我们通过两个数值例子来说明我们的理论结果在合成和真实的数据集。
2020-07-02 math.OC stat.ML
An Average Curvature Accelerated Composite Gradient Method for Nonconvex Smooth Composite Optimization Problems
本文提出了一种求解非凸光滑复合极小化问题的加速复合梯度（ACG）方法，简称AC-ACG方法。与基于已知Lipschitz梯度常数或最大观测曲率序列的众所周知的ACG变体相反，当前的ACG变体基于所有过去观测曲率的平均值。更具体地说，AC-ACG使用直到上一次迭代为止的所有观测到的曲率的平均值的正倍数作为估计当前点处的“函数曲率”的方式，然后使用两个预解式评估来计算下一个曲率。与其他变量Lipschitz估计变体相比，例如，基于最大曲率的那些，AC-ACG总是接受前述的误差，而不管Lipschitz估计结果有多差。最后，计算结果表明，AC-ACG的效率随机生成和现实世界的问题实例。
2020-10-29 math.OC
A Single-Loop Regularized Newton Method for Nonconvex-Strongly-Concave Minimax Optimization
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
针对光滑非凸-强凹极小极大问题，提出一种基于等价正则化最小化重构的单循环框架，通过自适应三次-二次主化处理非Lipschitz Hessian分量，实现全局复杂度匹配双循环二阶方法，并自动获得局部超线性收敛率。
2026-06-05 math.OC
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法，一类灵活的无约束优化算法，线搜索和置信域方法的竞争力，并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法，利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性，并讨论了正则化有限记忆拟牛顿更新的细节，包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明，我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力，同时可能优于其中一些，特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
Forward-backward envelope for the sum of two nonconvex functions: Further properties and nonmonotone line-search algorithms
我们提出了ZeroFPR，一个非单调线性算法，用于最小化两个非凸函数之和，其中一个是光滑的，另一个可能是非光滑的。ZeroFPR是第一个算法，尽管它适合于完全非凸问题，并且只需要向前向后分裂（FBS）的黑盒预言--即平滑项的梯度和非平滑项的邻近算子的评估--当线性方向满足Dennis-Moré条件时，在极限点的温和假设下实现超线性收敛速率，我们证明了这是拟牛顿方向的情况。我们的方法是基于前向-后向包络（FBE），一个精确的和严格连续的罚函数的原始成本。扩展以前的结果，我们表明，尽管是非光滑的完全非凸问题，FBE仍然享有良好的一阶和二阶属性，这是关键的收敛结果的ZeroFPR。我们的理论结果是支持有前途的数值模拟。在大规模问题上，通过使用有限内存拟牛顿更新计算线方向，我们的算法大大优于FBS及其加速变体（AFBS）。
2017-05-23 math.OC
Newton-like dynamics associated to nonconvex optimization problems
考虑动力系统\begin{equation*}\left\{ \begin{array}{ll} v(t)\in\partialϕ(x(t))\\ λ\dot x(t) + \dot v(t) + v(t) + \nabla ψ(x(t))=0, \end{array}\right.\end{equation*}，其中$ϕ:\R^n\to\R\cup\{+\infty\}$是一个正常的、凸的、下连续的函数，$ψ:\R^n\to\R$是一个（可能非凸的）光滑函数，$λ>0$是一个控制速度的参数.我们表明，轨迹$x$的极限点集包含在目标函数$ϕ+ψ$的临界点集，这是在这里被视为其极限次微分的零点集。如果目标函数满足Kurdyka-Schojasiewicz性质，则可以证明整个轨迹$x$收敛到一个临界点。此外，轨道的收敛速度得到的目标函数的Chaojasiewicz指数，提供后者满足Chaojasiewicz性质。
2017-03-03 math.DS math.OC
A General Recipe for Parameter-Free Nonconvex Optimization via Higher-Order Regularization
Graduate School of Information Science and Technology, University of Tokyo（东京大学信息理工学研究科）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出一种基于高阶正则化的系统框架，用于构建无参数平滑非凸优化算法，无需回溯或接受测试即可实现最优复杂度界。
2026-05-29 math.OC
Alternating Iteratively Reweighted $\ell_1$ and Subspace Newton Algorithms for Nonconvex Sparse Optimization
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；School of Mathematics and Statistics, Henan University（河南大学数学与统计学院）；Center for Applied Mathematics of Henan Province, Henan University（河南大学河南省应用数学中心）
本文提出一种交替重加权 $\ell_1$ 与子空间牛顿的混合算法，用于非凸稀疏优化，证明全局收敛及局部线性/二次速率，实验显示优于现有方法。
2025-03-30 cs.LG math.OC
A Second-Order Cone Based Approach for Solving the Trust Region Subproblem and Its Variants
研究了单位球上带圆锥约束的非凸二次函数极小化的信赖域子问题。尽管有一个非凸的目标，它是已知的，经典的TRS和它的一些变种是多项式时间可解的。在本文中，我们遵循二阶锥（SOC）为基础的方法来获得一个精确的凸重新TRS锥约束下的结构条件。我们的结构条件是立即满足时，没有额外的圆锥约束，它推广了文献中研究的几个这样的条件。因此，我们的研究突出了经典的非凸TRS和光滑凸二次最小化，这使得廉价的迭代法，如Nesterov的加速梯度下降，TRS的应用程序之间的明确连接。此外，在稍强的条件下，我们给出了一个低复杂性的非凸二次函数的epigram的凸包的定义域的限制，没有任何额外的变量。我们还探讨了列入额外的空心约束域的TRS，和凸化的相关epigraph。
2016-11-17 math.OC
On the growth of nonconvex functionals at strict local minimizers
Sorbonne Université（索邦大学）；TU Wien（维也纳科技大学）
本文研究了严格局部极小点处非凸函数泛函的增长条件，提出了一种倾斜稳定性性质的变种和一个基于线性扰动的Polyak--Łojasiewicz条件的类比。
2026-02-10 math.OC
Newton and interior-point methods for (constrained) nonconvex-nonconcave minmax optimization with stability and instability guarantees
本文提出修正Hessian的牛顿类方法求解非凸-非凹极小极大问题，确保仅收敛到局部极小极大点，计算时间与Hessian非零元素数近似线性。
2024-02-11 cs.SY eess.SY math.OC
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College（浙大城市学院）；Southwest Jiaotong University（西南交通大学）；The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）
本文考虑高维非凸平方根损失回归问题，并提出了一种近似优化最小化算法。我们的关键思想，使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质，证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
