Trust-Region Newton-CG with Strong Second-Order Complexity Guarantees for Nonconvex Optimization
非凸优化算法的最坏情况复杂性保证是一个越来越受关注的话题。已经提出了多个框架,实现了最知名的复杂性界限之间的广泛的一类一阶和二阶策略。这些方法通常主要是在考虑复杂性保证的情况下设计的,因此,它们偏离了在实践中被证明是最有效的算法。在本文中,我们考虑置信域牛顿法,最流行的一类算法解决非凸最优化问题。通过对原方案进行轻微修改,我们得到了两种方法-一种是基于精确子问题解决方案,另一种是利用不精确子问题解决方案,如在流行的“置信域牛顿共轭梯度”(置信域牛顿CG)方法-迭代和操作复杂性边界匹配上述一类一阶和二阶方法的最佳已知边界。由此产生的置信域牛顿-CG方法也保留了经典的置信域牛顿-CG,我们证明了一个标准的基准测试集上的数值比较有吸引力的实际行为。
2020-11-19 math.OC
A projected semismooth Newton method for a class of nonconvex composite programs with strong prox-regularity
提出了一种求解一类非凸组合规划的牛顿型方法。特别地,非光滑部分可能是非凸的。为了解决非凸性,我们开发了一个概念,强的正则性,这是相关的单点属性,Lipschitz连续性,和单调性的相关的邻近算子,我们验证它在各种类型的功能,包括弱凸函数,指示函数的邻近光滑集,和两个特定的球相关的非凸非光滑函数。在这种情况下,我们所关心的问题类涵盖了流形上的光滑最优化问题和流形上的某些复合最优化问题。对于后者,所提出的算法是第一个二阶序型方法。结合邻近算子的半光滑性,设计了一种投影半光滑牛顿法,用于求解由邻近梯度法导出的自然残差的根。由于相应的自然残差可能不是全局单调的,一个额外的投影通常的半光滑牛顿步骤和新的标准之间的切换提出了投影半光滑牛顿步骤和邻近步骤。在强正则性下证明了算法的整体收敛。基于BD正则性条件,我们建立了局部超线性收敛.数值实验表明,我们所提出的方法相比,国家的最先进的有效性。
2023-03-09 math.OC
Douglas-Rachford splitting and ADMM for nonconvex optimization: Accelerated and Newton-type linesearch algorithms
针对非凸优化中DRS和ADMM受病态条件与问题规模限制的问题,提出两种结合拟牛顿方向的线搜索算法,保留原收敛性且提升收敛速度与鲁棒性,采用Broyden方向可实现超线性收敛。
2021-11-03 math.OC
An Inexact Proximal Newton Method for Nonconvex Composite Minimization
本文提出一种求解非凸复合问题的不精确近端牛顿型方法,在KKT残差范数下实现O(k^{-1/2})全局收敛与局部超线性收敛,无需线搜索且数值实验验证其性能媲美现有最优方法。
2024-12-21 math.OC
Proximal Limited-Memory Quasi-Newton Methods for Nonsmooth Nonconvex Optimization
University of Würzburg(维尔茨堡大学);University of the Bundeswehr Munich(联邦国防军慕尼黑大学)
本文提出一种近端有限记忆拟牛顿方法,用于求解可微函数与非光滑函数之和的最小化问题,通过自适应更新正则化参数实现全局收敛,并在Kurdyka-Lojasiewicz性质下建立序列收敛性。
2026-10-27 math.OC
Second-order Online Nonconvex Optimization
我们提出了在线牛顿法,一个单步二阶在线非凸优化方法。我们分析了它的性能,并得到了一个动态的遗憾界,是线性的轮最优值之间的累积变化。我们表明,如果轮最优值之间的变化是有限的,该方法导致一个恒定的遗憾界。在一般情况下,在线牛顿法优于在线凸优化算法的凸函数,并执行类似于一个专门的算法,强凸函数。我们模拟的性能在线牛顿法的非线性,非凸的移动目标定位的例子,发现它优于一阶的方法。
2020-06-09 math.OC
A Newton-Like Dynamical System for Nonsmooth and Nonconvex Optimization
本文提出一种连续牛顿法的非光滑适配动力系统,利用局部 Lipschitz 映射的图像导数扩展二阶信息,分析解的存在唯一性、轨迹渐近性,并在强度量次正则性与 KL 不等式条件下给出收敛保证和速率。
2024-12-08 math.OC
Parameter-Free Accelerated Quasi-Newton Method for Nonconvex Optimization
University of Tokyo(东京大学)
本文提出了一种无参数的非凸优化准牛顿方法,通过结合动量加速、四次正则化和PSB更新,实现了在梯度评估次数上的高效优化。
2026-08-19 math.OC
A Newton-MR algorithm with complexity guarantees for nonconvex smooth unconstrained optimization
针对非凸光滑无约束优化,提出利用 MINRES 检测非正曲率并保持单调性的 Newton-MR 变体,给出一阶与二阶最坏情况复杂度保证,数值实验验证其性能。
2023-09-29 math.OC
A Newton-Based Method for Nonconvex Optimization with Fast Evasion of Saddle Points
神经网络训练、张量分解和矩阵分解等机器学习问题需要非凸函数的局部最小化。这种局部最小化受到鞍点的存在的挑战,鞍点可能有很多,并且下降法可能需要非常大量的迭代来逃避。本文提出了一种二阶的方法,修改更新的牛顿法,通过取代负特征值的海森由其绝对值,并使用截断版本的结果矩阵来占目标的曲率。所示的方法,以逃避鞍在最$1 + \log_{3/2} (δ/2\varepsilon)$迭代,其中$\varepsilon$是目标最优和$δ$特征点足够远离鞍。这个指数逃逸的基数是独立于问题常数的$3/2$。在牛顿法的基础上,证明了在$O\left(\log(1/p)) + O(\log(1/\varepsilon)\right)$迭代中以概率$1-p$收敛于局部极小值。
2018-07-20 math.OC
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法,在最坏的情况下,该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$,并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架,涵盖了广泛的技术,包括二次和三次正则化牛顿方法,如自适应正则化使用三次(ARC)方法和最近提出的信赖域算法与收缩和扩张(TRACE)。我们的方法的一般性是通过引入通用的条件,每个试验步骤需要满足,特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题,可以近似求解,以获得满足条件的试验步骤。一个新的实例的框架,不同的ARC和TRACE,可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明,我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
Inexact proximal DC Newton-type method for nonconvex composite functions
针对目标为光滑函数加非光滑DC函数的DC优化问题,提出结合近似DC算法与非精确近似牛顿法的非精确近似DC牛顿型方法,证明全局收敛性,设计高效缩放近似映射求解方案,实验验证其优于现有方法。
2023-08-29 math.OC
Nonconvex set intersection problems: From projection methods to the Newton method for super-regular sets
在闭集的交中求点的问题可以用交替投影法及其变体来解决。在早期的论文中表明,对于凸集,使用二次规划(QP)投影到由投影过程产生的支持半空间的交集上的策略可以导致超线性地收敛多项的算法。本文的主要贡献是证明了这种策略对于Lewis,Luke和Malick提出的结构化非凸集--超正则集是有效的。流形应该用超平面而不是半空间来近似。我们证明了这种策略的线性收敛性,然后证明了超线性和平方收敛时,可以得到的问题是类似的设置的牛顿法。我们还展示了一个算法,收敛在一个任意快的线性速率,如果半空间从旧的迭代被用来构建QP。
2015-06-27 math.OC
The Sound of APALM Clapping: Faster Nonsmooth Nonconvex Optimization with Stochastic Asynchronous PALM
本文介绍了随机异步近似交替线性化最小化(SAPALM)方法,它是一种求解非凸、非光滑最优化问题的块坐标随机近似梯度法. SAPALM是第一个异步并行最优化方法,可证明收敛于一大类非凸,非光滑的问题。我们证明,SAPALM匹配最知名的收敛速度-同步或异步方法-在这个问题类。我们提供了上界的工人的数量,我们可以期望看到一个线性加速,这符合已知的最佳界限不太复杂的问题,并表明在实践中SAPALM实现这种线性加速。我们展示了几个矩阵分解问题的最先进的性能。
2016-06-07 math.OC
A linesearch-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
School of Data Science (SDS), The Chinese University of Hong Kong, Shenzhen(香港中文大学深圳数据科学学院);IEOR, Columbia University(哥伦比亚大学工业工程与运筹学系)
本文提出了一种基于线搜索的光滑牛顿方法,用于解决非光滑非凸复合优化问题,通过自适应参数估计技术提高效率并简化收敛分析。
2026-02-13 math.OC
A Unified Algorithm for Nonconvex Decentralized Nonlinear Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文提出一种统一的分布式非凸优化算法框架,涵盖现有先进梯度跟踪和拟牛顿算法。在非凸和Kurdyka-Łojasiewicz条件下分析收敛性,并提出新的高效算法。
2026-04-13 math.OC
A Stochastic Quasi-Newton Method for Large-Scale Nonconvex Optimization with Applications
本文提出了一种新的随机版本的阻尼和正则化BFGS方法来解决上述问题。
2019-12-10 cs.NA math.NA math.OC
Primal-Dual Inexact Newton-MR for Nonconvex Optimization with Equality Constraints
School of Mathematics and Physics, The University of Queensland(昆士兰大学数理学院)
针对带等式约束的非凸优化,提出一种基于共轭残差法的非精确原始-对偶牛顿方法,直接处理子问题非正定性,避免有害正则化,并具有全局收敛保证和良好实证表现。
2026-09-10 math.OC
Faster Asynchronous Nonconvex Block Coordinate Descent with Locally Chosen Stepsizes
分布式非凸最优化问题在学习和自治中有着广泛的应用,而这类问题在Agent的计算和通信中常常面临着困难。当这些操作中的延迟有界时,它们被称为部分异步。在本文中,我们提出了一个不协调的步长选择规则的部分异步块坐标下降,只需要局部信息来实现,它会导致更快的收敛速度为一类非凸问题比现有的步长规则,这需要以某种形式的全局信息。我们考虑的问题满足误差界条件,我们提出的步长规则只需要每个代理知道(i)一定类型的Lipschitz常数的块的梯度的目标和(ii)它和它的邻居之间经历的通信延迟。这种提法需要更少的信息提供给每个代理比现有的方法,通常允许代理使用更大的步长,并消除了掉队者的影响,同时仍然保证收敛到一个固定的点。仿真结果提供了比较和验证的步长规则,我们开发的更快的收敛速度。
2022-03-21 math.OC
Barzilai-Borwein Diagonal Quasi-Newton Method for Nonconvex Multiobjective Optimization Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University(重庆应用数学中心,重庆师范大学)
本文提出改进的Barzilai-Borwein对角型Quasi-Newton方法,用于解决非凸多目标优化问题,通过共享矩阵提高效率并保证收敛性。
2026-08-04 math.OC
Yet another fast variant of Newton's method for nonconvex optimization
提出一类在依赖迭代的子空间中交替正则化牛顿步与负曲率步的非凸优化二阶算法,并证明其一、二阶复杂度及数值有效性。
2023-08-20 math.OC
A trust region-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
针对非光滑非凸复合优化问题,提出一种嵌入半光滑牛顿步的信赖域型法映射方法,证明其全局与局部超线性收敛性,拓展拟牛顿版本并通过多类数值实验验证了算法效率。
2023-10-03 math.OC
A Stochastic Semismooth Newton Method for Nonsmooth Nonconvex Optimization
在这项工作中,我们提出了一个全球化的随机半光滑牛顿法解决随机最优化问题,涉及光滑非凸和非光滑凸项的目标函数。我们假设只有噪声梯度和Hessian信息的光滑部分的目标函数是通过调用随机一阶和二阶预言。所提出的方法可以看作是一个混合的方法相结合的随机半光滑牛顿步骤和随机邻近梯度步骤。引入两个不精确的增长条件来监控半光滑牛顿步的收敛性和可接受性,并表明该算法全局收敛到预期的平稳点。此外,在标准假设下,利用随机矩阵浓度不等式,我们证明了该方法局部地转化为一个纯随机半光滑牛顿法,并且以高概率r-超线性收敛.我们提出的数值结果和比较$\ell_1$正则化逻辑斯谛回归和非凸二进制分类,证明了我们的算法的效率。
2018-03-09 math.OC stat.ML
Inexact Newton Methods for Stochastic Nonconvex Optimization with Applications to Neural Network Training
本文研究了随机不精确牛顿方法,并考虑了它们在非凸情形下的应用。在[R]工作的基础上,博拉普拉加达河H. Byrd和J. Nocedal,IMA数值分析杂志,39(2018),pp. 545- 578]我们得到了随机低秩Newton方法和随机不精确Newton-Krylov方法在期望值下的收敛速度的界。这些界限量化了在对Hessian和梯度进行二次采样、近似牛顿线性求解以及选择正则化和步长参数时所产生的误差。我们将这些方法部署在MNIST和CIFAR 10数据集的卷积自编码器训练中。数值结果表明,相对于一阶方法,这些随机不精确牛顿方法往往收敛速度更快,更节省成本,更好的推广。
2019-07-31 cs.NA math.NA math.OC
An inexact regularized proximal Newton method for nonconvex and nonsmooth optimization
本文针对非凸非光滑优化问题,提出基于KKT残差幂次海森近似的非精确正则化近似牛顿法,证明了不同参数下的收敛性与收敛速率,并通过数值实验验证了方法的高效性。
2023-11-08 math.OC
INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
Indian Institute of Technology Kanpur(坎普尔印度理工学院);Indian Institute of Technology Roorkee(鲁尔基印度理工学院)
INTHOP通过区间Hessian方法解决非凸优化中的高计算成本、Hessian求逆和非定性Hessian方向问题,证明了算法的全局收敛性,并在测试问题中表现出更高的效率。
2026-04-07 math.OC
Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian
Linköping University(林雪平大学);University of Maryland(马里兰大学);University of Minnesota(明尼苏达大学)
针对具有Hölder连续Hessian的非凸无约束优化问题,提出已知参数的Newton-CG方法和无需参数先验的无参数Newton-CG方法,后者为首个实现最优迭代与运算复杂度的无参数二阶方法,且数值结果显示其性能更优。
2025-04-14 cs.LG math.OC
Active-set Newton-MR methods for nonconvex optimization problems with bound constraints
本文针对带界约束的非凸优化问题提出活动集 Newton-MR 方法,在面内用 MINRES 近似牛顿方向,在面间采用 SPG 或三次正则化策略,并给出预言机调用复杂度上界,数值实验表明 MINRES 优于 CG。
2025-08-28 math.OC
A Stochastic Block-coordinate Proximal Newton Method for Nonconvex Composite Minimization
School of Mathematical Sciences, Jiangsu University(江苏大学数学科学学院);Center of Excellence for Generative AI, King Abdullah University of Science and Technology(阿卜杜拉国王科技大学生成式人工智能卓越中心)
本文提出一种随机块坐标近端牛顿方法,用于非凸复合最小化问题,通过强凸正则化二次子问题和回溯线搜索确保收敛性,并在不同条件下证明了超线性收敛率。
2026-03-24 math.OC
General Proximal Quasi-Newton Methods based on model functions for nonsmooth nonconvex problems
本文提出一种由连续矩阵生成器更新可变度量、基于局部模型函数和回溯线搜索的通用邻近拟牛顿法,用于非光滑非凸优化,并证明其聚点稳定性及 KL 性质下的全局收敛性。
2025-07-25 math.OC
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
该研究针对大型语言模型预训练优化器Muon,证明带有限牛顿-舒尔茨迭代的Muon可通过平滑极映射提升非光滑非凸优化的收敛性,其样本复杂度达最优,且优于采用精确极因子更新的Muon。
2026-08-28 cs.LG math.OC stat.ML
Quasi-Newton and Krylov Methods for the Solution of Nonconvex Trust-Region Subproblems
National Institute of Applied Sciences of Rennes(法国国立应用科学学院);GERAD and Department of Mathematics and Industrial Engineering, École Polytechnique(GERAD与蒙特利尔高等商学院数学与工业工程系);Department of Mathematics, Université de Sherbrooke(舍布鲁克大学数学系)
研究全内存和有限内存方法族求解对称正定线性系统,推导共轭梯度法与Broyden类拟牛顿法的新关系,扩展至LBFGS和DIOM,并推广至非凸无约束优化的信赖域步计算,实验表明有限内存方法在鲁棒性和效率上优于CG。
2026-05-22 math.OC
A Stochastic Extra-Step Quasi-Newton Method for Nonsmooth Nonconvex Optimization
本文提出了一种新的随机额外步拟牛顿法来求解一类非光滑非凸组合最优化问题。我们假设目标函数的光滑部分的梯度只能用随机预言机来近似。所提出的方法结合了一般的随机高阶步骤来自一个潜在的近端型不动点方程与额外的随机近端梯度步骤,以保证收敛。基于合适的步长范围,我们建立了整体收敛的平稳点的期望和扩展的方法使用方差减少技术进行了讨论。受大规模和大数据应用的启发,我们研究了一种随机坐标型拟牛顿格式,该格式可以生成廉价且易于处理的随机高阶方向。最后,该算法在大规模逻辑斯谛回归和深度学习问题上进行了测试,结果表明,它与其他最先进的方法相比毫不逊色。
2019-10-21 math.OC stat.ML
Complexity Guarantees for Nonconvex Newton-MR Under Inexact Hessian Information
该研究扩展了非凸无约束优化的Newton-MR算法至非精确Hessian场景,分析了不同非凸条件下的复杂度与收敛性,并通过机器学习问题实验验证了算法的鲁棒性。
2024-09-13 cs.NA math.NA math.OC
New Globalized Newton-Type Methods for Nonconvex Optimization Problems
University of North Dakota(北达科他大学);Loyola University Chicago(芝加哥洛约拉大学)
针对非凸优化问题,提出通用线搜索牛顿框架,避免重复海森正则化,在温和假设下建立全局收敛性,适当条件下证明局部收敛性,应用于强拟凸优化并给出算法及分析,数值实验验证方法有效性。
2026-07-28 cs.NA math.NA math.OC
On Quadratic Convergence of DC Proximal Newton Algorithm for Nonconvex Sparse Learning in High Dimensions
University of Minnesota(明尼苏达大学);Johns Hopkins University(约翰斯·霍普金斯大学);Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
提出了一种求解高维非凸正则化稀疏学习问题的DC近似牛顿算法。我们提出的算法集成了近似牛顿算法和基于凸规划差分的多阶段凸松弛算法,并且具有很强的计算和统计保证。具体地,通过利用稀疏建模结构/假设的复杂表征(即,局部约束强凸性和Hessian光滑性),证明了在凸松弛的每一阶段,算法均达到(局部)二次收敛,并最终在几次凸松弛后得到具有最优统计性质的稀疏近似局部最优解.数值实验支持我们的理论。
2018-02-15 cs.LG math.OC stat.ML
An inexact $q$-order regularized proximal Newton method for nonconvex composite optimization
本文提出一种不精确$q$阶正则化近端牛顿法(含三次正则化特例),用于非凸复合优化,证明其迭代收敛至稳定点或二阶稳定点,并给出局部超线性收敛速率,首次实现实用不精确CR方法的$Q$-二次收敛。
2025-05-24 math.OC
A Newton-CG based barrier method for finding a second-order stationary point of nonconvex conic optimization with complexity guarantees
University of Minnesota(明尼苏达大学)
本文研究了非凸锥优化问题的近似二阶稳定点(SOSP),该稳定点使仿射子空间与凸锥交点上的二次可微函数最小.特别是,我们提出了一个牛顿共轭梯度(Newton-CG)为基础的障碍方法找到一个$(ε,\sqrtε)$ -SOSP的这个问题。我们的方法不仅是可实现的,而且还实现了${\cal O}(ε^{-3/2})$的迭代复杂度,这匹配的最佳已知的迭代复杂度的二阶方法找到一个$(ε,\sqrtε)$ -SOSP的无约束非凸优化。由${\cal O}(ε^{-3/2})$ Cholesky分解和$\widetilde{\cal O}(ε^{-3/2}\min\{n,ε^{-1/4}\})$其他基本运算组成的运算复杂度也为我们的方法建立。
2022-10-11 cs.LG cs.NA math.NA
Envelope Cubic Regularized Newton Method for Nonconvex-Strongly-Concave Minimax Optimization
针对非凸-强凹极小极大优化问题,提出包络三次正则化牛顿法(ECRN),其复杂度在对数因子内最优,改进了现有二阶方法的条件数依赖度。
2026-10-14 math.OC
Stochastic Gauss-Newton Algorithms for Nonconvex Compositional Optimization
针对一类非凸随机组合最优化问题,提出了两种新的随机高斯-牛顿算法。我们认为在标准假设下的期望和有限和设置,并使用经典的随机和SARAH估计的逼近函数值和雅可比。在期望的情况下,我们建立了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度,以达到期望中的一个稳定点,并估计了函数值及其雅可比矩阵的随机预言调用的总数,其中$\varepsilon$是期望的精度。在有限和的情况下,我们还估计了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度和总的oracle调用的高概率。据我们所知,这是第一次为随机高斯-牛顿方法建立这样的全局随机预言复杂性。最后,我们通过两个数值例子来说明我们的理论结果在合成和真实的数据集。
2020-07-02 math.OC stat.ML
A Single-Loop Regularized Newton Method for Nonconvex-Strongly-Concave Minimax Optimization
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));National University of Singapore(新加坡国立大学)
针对光滑非凸-强凹极小极大问题,提出一种基于等价正则化最小化重构的单循环框架,通过自适应三次-二次主化处理非Lipschitz Hessian分量,实现全局复杂度匹配双循环二阶方法,并自动获得局部超线性收敛率。
2026-06-05 math.OC
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法,一类灵活的无约束优化算法,线搜索和置信域方法的竞争力,并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法,利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性,并讨论了正则化有限记忆拟牛顿更新的细节,包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明,我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力,同时可能优于其中一些,特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
Newton-like dynamics associated to nonconvex optimization problems
考虑动力系统\begin{equation*}\left\{ \begin{array}{ll} v(t)\in\partialϕ(x(t))\\ λ\dot x(t) + \dot v(t) + v(t) + \nabla ψ(x(t))=0, \end{array}\right.\end{equation*},其中$ϕ:\R^n\to\R\cup\{+\infty\}$是一个正常的、凸的、下连续的函数,$ψ:\R^n\to\R$是一个(可能非凸的)光滑函数,$λ>0$是一个控制速度的参数.我们表明,轨迹$x$的极限点集包含在目标函数$ϕ+ψ$的临界点集,这是在这里被视为其极限次微分的零点集。如果目标函数满足Kurdyka-Schojasiewicz性质,则可以证明整个轨迹$x$收敛到一个临界点。此外,轨道的收敛速度得到的目标函数的Chaojasiewicz指数,提供后者满足Chaojasiewicz性质。
2017-03-03 math.DS math.OC
A General Recipe for Parameter-Free Nonconvex Optimization via Higher-Order Regularization
Graduate School of Information Science and Technology, University of Tokyo(东京大学信息理工学研究科);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出一种基于高阶正则化的系统框架,用于构建无参数平滑非凸优化算法,无需回溯或接受测试即可实现最优复杂度界。
2026-05-29 math.OC
Alternating Iteratively Reweighted $\ell_1$ and Subspace Newton Algorithms for Nonconvex Sparse Optimization
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);School of Mathematics and Statistics, Henan University(河南大学数学与统计学院);Center for Applied Mathematics of Henan Province, Henan University(河南大学河南省应用数学中心)
本文提出一种交替重加权 $\ell_1$ 与子空间牛顿的混合算法,用于非凸稀疏优化,证明全局收敛及局部线性/二次速率,实验显示优于现有方法。
2025-03-30 cs.LG math.OC
SGDA with shuffling: faster convergence for nonconvex-PŁ minimax optimization
随机梯度下降-上升法是求解有限和极小极大最优化问题的主要方法之一。SGDA的大多数实际实现都随机重新排列组件并顺序使用它们(即,无替换抽样);然而,对于极大极小算法,特别是在分析者分析(强)单调设置之外,关于这种方法的理论结果很少。为了缩小这一差距,我们研究了SGDA与随机重排(SGDA-RR)的光滑非凸非凹目标与Polyak-Jasojasiewicz(Pennsylvania)几何的收敛界。我们分析了同时和交替SGDA-RR的非凸的PINK和原始的PINK-PINK目标,并获得收敛速度快于替换SGDA。我们的速率扩展到小批量SGDA-RR,恢复了全批量梯度下降-上升(GDA)的已知速率。最后,我们提出了一个全面的下界的GDA与任意的步长比,它匹配的全批次上界的primal-Penguin-Penguin的情况下。
2023-02-20 math.OC stat.ML
Newton and interior-point methods for (constrained) nonconvex-nonconcave minmax optimization with stability and instability guarantees
本文提出修正Hessian的牛顿类方法求解非凸-非凹极小极大问题,确保仅收敛到局部极小极大点,计算时间与Hessian非零元素数近似线性。
2024-02-11 cs.SY eess.SY math.OC
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College(浙大城市学院);Southwest Jiaotong University(西南交通大学);The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学)
本文考虑高维非凸平方根损失回归问题,并提出了一种近似优化最小化算法。我们的关键思想,使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质,证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
Finding global solutions of some inverse optimal control problems using penalization and semismooth Newton methods
针对一类特殊的椭圆型最优控制问题,提出了一种求解其参数辨识问题的方法。通过下层问题的最优值函数将双层问题重新表述。重新表述的问题是非凸的,违反了标准的正则性条件,如罗宾逊的CQ。通过放松约束,问题可以分解成一个家庭的凸问题,这是一个解决算法的基础。分析了算法的收敛性。结果表明,惩罚方法可以用来解决这个家庭的问题,同时保持收敛速度。对于一个例子的问题,使用的身份作为罚函数允许通过半光滑牛顿法的解决方案。数值结果。我们的方法来解决一个非凸问题的全局最优性的困难和局限性进行了讨论。
2022-03-01 math.OC
A Newton-CG based augmented Lagrangian method for finding a second-order stationary point of nonconvex equality constrained optimization with complexity guarantees
University of Minnesota(明尼苏达大学);The Hong Kong Polytechnic University(香港理工大学)
本文考虑了在已知近似可行点的情况下,求非凸等式约束优化问题的二阶稳定点的问题。特别是,我们首先提出了一种新的Newton-CG方法来寻找无约束优化的近似SOSP,并表明它比Newton-CG方法具有更好的复杂性[56]。然后,我们提出了一个基于Newton-CG的增广拉格朗日(AL)方法找到一个近似的SOSP的非凸等式约束优化,其中建议的Newton-CG方法被用作子问题求解器。我们表明,在广义线性独立约束规格(GLICQ)下,我们的AL方法具有$\widetilde{\cal O}(ε^{-7/2})$的总内迭代复杂度和$\widetilde{\cal O}(ε^{-7/2}\min\{n,ε^{-3/4}\})$的操作复杂度,用于以高概率找到非凸等式约束优化的$(ε,\sqrtε)$ -SOSP,这明显优于近似AL方法[60]。此外,我们还证明了当GLICQ不成立时,它的总内迭代复杂度为$\widetilde{\cal O}(ε^{-11/2})$,运算复杂度为$\widetilde{\cal O}(ε^{-11/2}\min\{n,ε^{-5/4}\})$。据我们所知,本文所得到的所有复杂性结果是新的寻找一个近似SOSP的非凸等式约束优化的高概率。初步的数值结果也证明了我们提出的方法优于[56,60]中的方法。
2023-01-09 cs.LG cs.NA math.NA
Coderivative-Based Semi-Newton Method in Nonsmooth Difference Programming
研究了一类新的非光滑最优化问题,其中目标函数表示为两个一般非凸函数之差。我们提出并发展了一种新的牛顿型算法来解决这类问题,它是基于二阶次微分(广义Hessian)的协导数生成,并采用先进的变分分析工具。所提出的算法的适定性性质推导出相当一般的要求下,而建设性的收敛速度,建立通过使用额外的假设,包括Kurdyka--Kazojasiewicz条件。我们提供的应用程序的主要算法来解决一般类的非光滑非凸问题的结构优化,特别是包括,最优化问题与明确的约束。最后给出了该方法在生化模型、约束二次规划等实际问题中的应用和数值实验。与一些已知的技术和结果相比,我们的算法的优点被证明。
2023-01-09 math.OC
Complexity of a Projected Newton-CG Method for Optimization with Bounds
本文融合梯度投影与 Newton-CG,提出一种界约束非凸光滑优化方法,并基于新的 $ε$-近似二阶最优性定义给出迭代与计算复杂度界。
2023-06-07 math.OC
A Proximal Quasi-Newton Trust-Region Method for Nonsmooth Regularized Optimization
我们提出了一个置信域方法来最小化光滑项$f$和非光滑项$h$之和,这两个项都可以是非凸的。我们的方法的每一次迭代最小化一个可能的非凸模型的$f + h$的信任区域。该模型与$f + h$在数值和次微分上一致。当$f$满足一个光滑条件,特别是当它具有Lipschitz连续梯度,并且$h$是适当的下半连续时,我们建立了整体收敛到一阶稳定点的条件.要求$h$的模型是适当的、下半连续的和有界的。在这些弱的假设下,我们建立了一个最坏情况下的$O(1/ε^2)$迭代复杂性界匹配的最佳已知的复杂性界的标准置信域光滑优化方法。我们详细介绍了一个特殊的情况下,命名为TR-PG,在其中我们使用有限记忆拟牛顿模型的$f$和计算一个步骤与邻近梯度法,从而产生一个实用的邻近拟牛顿法。我们建立了类似的收敛性和复杂性界的二次正则化变量,命名为R2,并提供了一个解释为近端梯度法与自适应步长的非凸问题。R2也可以用于计算置信域方法内部的步骤,从而产生名为TR-R2的实现。我们描述了我们的Julia实现和报告的数值结果从稀疏优化和信号处理的反问题。TR-PG和TR-R2都表现出良好的性能,并与两种基于凸模型的线性逼近拟牛顿法相比较。
2021-08-03 math.OC
Optimization Condition and Algorithm of Optimization with Convertible Nonconvex Function
The paper introduces several new concepts for solving nonconvex or nonsmooth optimization problems, including convertible nonconvex function, exact convertible nonconvex function and differentiable convertible nonconvex function. It is proved herein many nonconvex functions or nonsmooth (or discontinuous) functions are actually convertible nonconvex functions and convertible nonconvex function operations such as addition, subtraction, multiplication or division result in convertible nonconvex functions. The sufficient condition for judging a global optimal solution to unconstrained optimizatio…
2022-01-12 math.OC