Incremental Quasi-Newton Algorithms for Solving Nonconvex, Nonsmooth, Finite-Sum Optimization Problems
提出并测试了求解非凸、非光滑、有限和最优化问题的算法。特别是,算法提出和测试的上下文中产生的半监督机器学习的最优化问题制定。所有算法的共同特征是它们采用增量拟牛顿(IQN)策略,特别是增量BFGS(IBFGS)策略。一个应用IBFGS策略的问题直接,而其他应用IBFGS策略的差异凸重构,平滑逼近,或(强)凸局部逼近。实验表明,所有IBFGS方法在实践中表现良好,并且都优于最先进的捆绑方法。
2022-07-20 math.OC
Trust-Region Newton-CG with Strong Second-Order Complexity Guarantees for Nonconvex Optimization
非凸优化算法的最坏情况复杂性保证是一个越来越受关注的话题。已经提出了多个框架,实现了最知名的复杂性界限之间的广泛的一类一阶和二阶策略。这些方法通常主要是在考虑复杂性保证的情况下设计的,因此,它们偏离了在实践中被证明是最有效的算法。在本文中,我们考虑置信域牛顿法,最流行的一类算法解决非凸最优化问题。通过对原方案进行轻微修改,我们得到了两种方法-一种是基于精确子问题解决方案,另一种是利用不精确子问题解决方案,如在流行的“置信域牛顿共轭梯度”(置信域牛顿CG)方法-迭代和操作复杂性边界匹配上述一类一阶和二阶方法的最佳已知边界。由此产生的置信域牛顿-CG方法也保留了经典的置信域牛顿-CG,我们证明了一个标准的基准测试集上的数值比较有吸引力的实际行为。
2020-11-19 math.OC
A projected semismooth Newton method for a class of nonconvex composite programs with strong prox-regularity
提出了一种求解一类非凸组合规划的牛顿型方法。特别地,非光滑部分可能是非凸的。为了解决非凸性,我们开发了一个概念,强的正则性,这是相关的单点属性,Lipschitz连续性,和单调性的相关的邻近算子,我们验证它在各种类型的功能,包括弱凸函数,指示函数的邻近光滑集,和两个特定的球相关的非凸非光滑函数。在这种情况下,我们所关心的问题类涵盖了流形上的光滑最优化问题和流形上的某些复合最优化问题。对于后者,所提出的算法是第一个二阶序型方法。结合邻近算子的半光滑性,设计了一种投影半光滑牛顿法,用于求解由邻近梯度法导出的自然残差的根。由于相应的自然残差可能不是全局单调的,一个额外的投影通常的半光滑牛顿步骤和新的标准之间的切换提出了投影半光滑牛顿步骤和邻近步骤。在强正则性下证明了算法的整体收敛。基于BD正则性条件,我们建立了局部超线性收敛.数值实验表明,我们所提出的方法相比,国家的最先进的有效性。
2023-03-09 math.OC
Douglas-Rachford splitting and ADMM for nonconvex optimization: Accelerated and Newton-type linesearch algorithms
针对非凸优化中DRS和ADMM受病态条件与问题规模限制的问题,提出两种结合拟牛顿方向的线搜索算法,保留原收敛性且提升收敛速度与鲁棒性,采用Broyden方向可实现超线性收敛。
2021-11-03 math.OC
An Inexact Proximal Newton Method for Nonconvex Composite Minimization
本文提出一种求解非凸复合问题的不精确近端牛顿型方法,在KKT残差范数下实现O(k^{-1/2})全局收敛与局部超线性收敛,无需线搜索且数值实验验证其性能媲美现有最优方法。
2024-12-21 math.OC
A Stochastic Semismooth Newton Method for Nonsmooth Nonconvex Optimization
在这项工作中,我们提出了一个全球化的随机半光滑牛顿法解决随机最优化问题,涉及光滑非凸和非光滑凸项的目标函数。我们假设只有噪声梯度和Hessian信息的光滑部分的目标函数是通过调用随机一阶和二阶预言。所提出的方法可以看作是一个混合的方法相结合的随机半光滑牛顿步骤和随机邻近梯度步骤。引入两个不精确的增长条件来监控半光滑牛顿步的收敛性和可接受性,并表明该算法全局收敛到预期的平稳点。此外,在标准假设下,利用随机矩阵浓度不等式,我们证明了该方法局部地转化为一个纯随机半光滑牛顿法,并且以高概率r-超线性收敛.我们提出的数值结果和比较$\ell_1$正则化逻辑斯谛回归和非凸二进制分类,证明了我们的算法的效率。
2018-03-09 math.OC stat.ML
Proximal Limited-Memory Quasi-Newton Methods for Nonsmooth Nonconvex Optimization
University of Würzburg(维尔茨堡大学);University of the Bundeswehr Munich(联邦国防军慕尼黑大学)
本文提出一种近端有限记忆拟牛顿方法,用于求解可微函数与非光滑函数之和的最小化问题,通过自适应更新正则化参数实现全局收敛,并在Kurdyka-Lojasiewicz性质下建立序列收敛性。
2026-10-27 math.OC
Inexact Newton Methods for Stochastic Nonconvex Optimization with Applications to Neural Network Training
本文研究了随机不精确牛顿方法,并考虑了它们在非凸情形下的应用。在[R]工作的基础上,博拉普拉加达河H. Byrd和J. Nocedal,IMA数值分析杂志,39(2018),pp. 545- 578]我们得到了随机低秩Newton方法和随机不精确Newton-Krylov方法在期望值下的收敛速度的界。这些界限量化了在对Hessian和梯度进行二次采样、近似牛顿线性求解以及选择正则化和步长参数时所产生的误差。我们将这些方法部署在MNIST和CIFAR 10数据集的卷积自编码器训练中。数值结果表明,相对于一阶方法,这些随机不精确牛顿方法往往收敛速度更快,更节省成本,更好的推广。
2019-07-31 cs.NA math.NA math.OC
Second-order Online Nonconvex Optimization
我们提出了在线牛顿法,一个单步二阶在线非凸优化方法。我们分析了它的性能,并得到了一个动态的遗憾界,是线性的轮最优值之间的累积变化。我们表明,如果轮最优值之间的变化是有限的,该方法导致一个恒定的遗憾界。在一般情况下,在线牛顿法优于在线凸优化算法的凸函数,并执行类似于一个专门的算法,强凸函数。我们模拟的性能在线牛顿法的非线性,非凸的移动目标定位的例子,发现它优于一阶的方法。
2020-06-09 math.OC
A Newton-Like Dynamical System for Nonsmooth and Nonconvex Optimization
本文提出一种连续牛顿法的非光滑适配动力系统,利用局部 Lipschitz 映射的图像导数扩展二阶信息,分析解的存在唯一性、轨迹渐近性,并在强度量次正则性与 KL 不等式条件下给出收敛保证和速率。
2024-12-08 math.OC
Parameter-Free Accelerated Quasi-Newton Method for Nonconvex Optimization
University of Tokyo(东京大学)
本文提出了一种无参数的非凸优化准牛顿方法,通过结合动量加速、四次正则化和PSB更新,实现了在梯度评估次数上的高效优化。
2026-08-19 math.OC
A Newton-MR algorithm with complexity guarantees for nonconvex smooth unconstrained optimization
针对非凸光滑无约束优化,提出利用 MINRES 检测非正曲率并保持单调性的 Newton-MR 变体,给出一阶与二阶最坏情况复杂度保证,数值实验验证其性能。
2023-09-29 math.OC
A Newton-Based Method for Nonconvex Optimization with Fast Evasion of Saddle Points
神经网络训练、张量分解和矩阵分解等机器学习问题需要非凸函数的局部最小化。这种局部最小化受到鞍点的存在的挑战,鞍点可能有很多,并且下降法可能需要非常大量的迭代来逃避。本文提出了一种二阶的方法,修改更新的牛顿法,通过取代负特征值的海森由其绝对值,并使用截断版本的结果矩阵来占目标的曲率。所示的方法,以逃避鞍在最$1 + \log_{3/2} (δ/2\varepsilon)$迭代,其中$\varepsilon$是目标最优和$δ$特征点足够远离鞍。这个指数逃逸的基数是独立于问题常数的$3/2$。在牛顿法的基础上,证明了在$O\left(\log(1/p)) + O(\log(1/\varepsilon)\right)$迭代中以概率$1-p$收敛于局部极小值。
2018-07-20 math.OC
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
该研究针对大型语言模型预训练优化器Muon,证明带有限牛顿-舒尔茨迭代的Muon可通过平滑极映射提升非光滑非凸优化的收敛性,其样本复杂度达最优,且优于采用精确极因子更新的Muon。
2026-08-28 cs.LG math.OC stat.ML
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法,在最坏的情况下,该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$,并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架,涵盖了广泛的技术,包括二次和三次正则化牛顿方法,如自适应正则化使用三次(ARC)方法和最近提出的信赖域算法与收缩和扩张(TRACE)。我们的方法的一般性是通过引入通用的条件,每个试验步骤需要满足,特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题,可以近似求解,以获得满足条件的试验步骤。一个新的实例的框架,不同的ARC和TRACE,可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明,我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
Inexact proximal DC Newton-type method for nonconvex composite functions
针对目标为光滑函数加非光滑DC函数的DC优化问题,提出结合近似DC算法与非精确近似牛顿法的非精确近似DC牛顿型方法,证明全局收敛性,设计高效缩放近似映射求解方案,实验验证其优于现有方法。
2023-08-29 math.OC
Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian
Linköping University(林雪平大学);University of Maryland(马里兰大学);University of Minnesota(明尼苏达大学)
针对具有Hölder连续Hessian的非凸无约束优化问题,提出已知参数的Newton-CG方法和无需参数先验的无参数Newton-CG方法,后者为首个实现最优迭代与运算复杂度的无参数二阶方法,且数值结果显示其性能更优。
2025-04-14 cs.LG math.OC
Nonconvex set intersection problems: From projection methods to the Newton method for super-regular sets
在闭集的交中求点的问题可以用交替投影法及其变体来解决。在早期的论文中表明,对于凸集,使用二次规划(QP)投影到由投影过程产生的支持半空间的交集上的策略可以导致超线性地收敛多项的算法。本文的主要贡献是证明了这种策略对于Lewis,Luke和Malick提出的结构化非凸集--超正则集是有效的。流形应该用超平面而不是半空间来近似。我们证明了这种策略的线性收敛性,然后证明了超线性和平方收敛时,可以得到的问题是类似的设置的牛顿法。我们还展示了一个算法,收敛在一个任意快的线性速率,如果半空间从旧的迭代被用来构建QP。
2015-06-27 math.OC
Complexity Guarantees for Nonconvex Newton-MR Under Inexact Hessian Information
该研究扩展了非凸无约束优化的Newton-MR算法至非精确Hessian场景,分析了不同非凸条件下的复杂度与收敛性,并通过机器学习问题实验验证了算法的鲁棒性。
2024-09-13 cs.NA math.NA math.OC
New Globalized Newton-Type Methods for Nonconvex Optimization Problems
University of North Dakota(北达科他大学);Loyola University Chicago(芝加哥洛约拉大学)
针对非凸优化问题,提出通用线搜索牛顿框架,避免重复海森正则化,在温和假设下建立全局收敛性,适当条件下证明局部收敛性,应用于强拟凸优化并给出算法及分析,数值实验验证方法有效性。
2026-07-28 cs.NA math.NA math.OC
A Newton-CG based barrier method for finding a second-order stationary point of nonconvex conic optimization with complexity guarantees
University of Minnesota(明尼苏达大学)
本文研究了非凸锥优化问题的近似二阶稳定点(SOSP),该稳定点使仿射子空间与凸锥交点上的二次可微函数最小.特别是,我们提出了一个牛顿共轭梯度(Newton-CG)为基础的障碍方法找到一个$(ε,\sqrtε)$ -SOSP的这个问题。我们的方法不仅是可实现的,而且还实现了${\cal O}(ε^{-3/2})$的迭代复杂度,这匹配的最佳已知的迭代复杂度的二阶方法找到一个$(ε,\sqrtε)$ -SOSP的无约束非凸优化。由${\cal O}(ε^{-3/2})$ Cholesky分解和$\widetilde{\cal O}(ε^{-3/2}\min\{n,ε^{-1/4}\})$其他基本运算组成的运算复杂度也为我们的方法建立。
2022-10-11 cs.LG cs.NA math.NA
A Stochastic Extra-Step Quasi-Newton Method for Nonsmooth Nonconvex Optimization
本文提出了一种新的随机额外步拟牛顿法来求解一类非光滑非凸组合最优化问题。我们假设目标函数的光滑部分的梯度只能用随机预言机来近似。所提出的方法结合了一般的随机高阶步骤来自一个潜在的近端型不动点方程与额外的随机近端梯度步骤,以保证收敛。基于合适的步长范围,我们建立了整体收敛的平稳点的期望和扩展的方法使用方差减少技术进行了讨论。受大规模和大数据应用的启发,我们研究了一种随机坐标型拟牛顿格式,该格式可以生成廉价且易于处理的随机高阶方向。最后,该算法在大规模逻辑斯谛回归和深度学习问题上进行了测试,结果表明,它与其他最先进的方法相比毫不逊色。
2019-10-21 math.OC stat.ML
On Quadratic Convergence of DC Proximal Newton Algorithm for Nonconvex Sparse Learning in High Dimensions
University of Minnesota(明尼苏达大学);Johns Hopkins University(约翰斯·霍普金斯大学);Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
提出了一种求解高维非凸正则化稀疏学习问题的DC近似牛顿算法。我们提出的算法集成了近似牛顿算法和基于凸规划差分的多阶段凸松弛算法,并且具有很强的计算和统计保证。具体地,通过利用稀疏建模结构/假设的复杂表征(即,局部约束强凸性和Hessian光滑性),证明了在凸松弛的每一阶段,算法均达到(局部)二次收敛,并最终在几次凸松弛后得到具有最优统计性质的稀疏近似局部最优解.数值实验支持我们的理论。
2018-02-15 cs.LG math.OC stat.ML
A linesearch-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
School of Data Science (SDS), The Chinese University of Hong Kong, Shenzhen(香港中文大学深圳数据科学学院);IEOR, Columbia University(哥伦比亚大学工业工程与运筹学系)
本文提出了一种基于线搜索的光滑牛顿方法,用于解决非光滑非凸复合优化问题,通过自适应参数估计技术提高效率并简化收敛分析。
2026-02-13 math.OC
A Unified Algorithm for Nonconvex Decentralized Nonlinear Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文提出一种统一的分布式非凸优化算法框架,涵盖现有先进梯度跟踪和拟牛顿算法。在非凸和Kurdyka-Łojasiewicz条件下分析收敛性,并提出新的高效算法。
2026-04-13 math.OC
Primal-Dual Inexact Newton-MR for Nonconvex Optimization with Equality Constraints
School of Mathematics and Physics, The University of Queensland(昆士兰大学数理学院)
针对带等式约束的非凸优化,提出一种基于共轭残差法的非精确原始-对偶牛顿方法,直接处理子问题非正定性,避免有害正则化,并具有全局收敛保证和良好实证表现。
2026-09-10 math.OC
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法,一类灵活的无约束优化算法,线搜索和置信域方法的竞争力,并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法,利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性,并讨论了正则化有限记忆拟牛顿更新的细节,包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明,我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力,同时可能优于其中一些,特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
Barzilai-Borwein Diagonal Quasi-Newton Method for Nonconvex Multiobjective Optimization Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University(重庆应用数学中心,重庆师范大学)
本文提出改进的Barzilai-Borwein对角型Quasi-Newton方法,用于解决非凸多目标优化问题,通过共享矩阵提高效率并保证收敛性。
2026-08-04 math.OC
Yet another fast variant of Newton's method for nonconvex optimization
提出一类在依赖迭代的子空间中交替正则化牛顿步与负曲率步的非凸优化二阶算法,并证明其一、二阶复杂度及数值有效性。
2023-08-20 math.OC
A trust region-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
针对非光滑非凸复合优化问题,提出一种嵌入半光滑牛顿步的信赖域型法映射方法,证明其全局与局部超线性收敛性,拓展拟牛顿版本并通过多类数值实验验证了算法效率。
2023-10-03 math.OC
Stochastic Gauss-Newton Algorithms for Nonconvex Compositional Optimization
针对一类非凸随机组合最优化问题,提出了两种新的随机高斯-牛顿算法。我们认为在标准假设下的期望和有限和设置,并使用经典的随机和SARAH估计的逼近函数值和雅可比。在期望的情况下,我们建立了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度,以达到期望中的一个稳定点,并估计了函数值及其雅可比矩阵的随机预言调用的总数,其中$\varepsilon$是期望的精度。在有限和的情况下,我们还估计了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度和总的oracle调用的高概率。据我们所知,这是第一次为随机高斯-牛顿方法建立这样的全局随机预言复杂性。最后,我们通过两个数值例子来说明我们的理论结果在合成和真实的数据集。
2020-07-02 math.OC stat.ML
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College(浙大城市学院);Southwest Jiaotong University(西南交通大学);The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学)
本文考虑高维非凸平方根损失回归问题,并提出了一种近似优化最小化算法。我们的关键思想,使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质,证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
A Newton-CG based augmented Lagrangian method for finding a second-order stationary point of nonconvex equality constrained optimization with complexity guarantees
University of Minnesota(明尼苏达大学);The Hong Kong Polytechnic University(香港理工大学)
本文考虑了在已知近似可行点的情况下,求非凸等式约束优化问题的二阶稳定点的问题。特别是,我们首先提出了一种新的Newton-CG方法来寻找无约束优化的近似SOSP,并表明它比Newton-CG方法具有更好的复杂性[56]。然后,我们提出了一个基于Newton-CG的增广拉格朗日(AL)方法找到一个近似的SOSP的非凸等式约束优化,其中建议的Newton-CG方法被用作子问题求解器。我们表明,在广义线性独立约束规格(GLICQ)下,我们的AL方法具有$\widetilde{\cal O}(ε^{-7/2})$的总内迭代复杂度和$\widetilde{\cal O}(ε^{-7/2}\min\{n,ε^{-3/4}\})$的操作复杂度,用于以高概率找到非凸等式约束优化的$(ε,\sqrtε)$ -SOSP,这明显优于近似AL方法[60]。此外,我们还证明了当GLICQ不成立时,它的总内迭代复杂度为$\widetilde{\cal O}(ε^{-11/2})$,运算复杂度为$\widetilde{\cal O}(ε^{-11/2}\min\{n,ε^{-5/4}\})$。据我们所知,本文所得到的所有复杂性结果是新的寻找一个近似SOSP的非凸等式约束优化的高概率。初步的数值结果也证明了我们提出的方法优于[56,60]中的方法。
2023-01-09 cs.LG cs.NA math.NA
Newton and interior-point methods for (constrained) nonconvex-nonconcave minmax optimization with stability and instability guarantees
本文提出修正Hessian的牛顿类方法求解非凸-非凹极小极大问题,确保仅收敛到局部极小极大点,计算时间与Hessian非零元素数近似线性。
2024-02-11 cs.SY eess.SY math.OC
Alternating Iteratively Reweighted $\ell_1$ and Subspace Newton Algorithms for Nonconvex Sparse Optimization
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);School of Mathematics and Statistics, Henan University(河南大学数学与统计学院);Center for Applied Mathematics of Henan Province, Henan University(河南大学河南省应用数学中心)
本文提出一种交替重加权 $\ell_1$ 与子空间牛顿的混合算法,用于非凸稀疏优化,证明全局收敛及局部线性/二次速率,实验显示优于现有方法。
2025-03-30 cs.LG math.OC
An inexact regularized proximal Newton method for nonconvex and nonsmooth optimization
本文针对非凸非光滑优化问题,提出基于KKT残差幂次海森近似的非精确正则化近似牛顿法,证明了不同参数下的收敛性与收敛速率,并通过数值实验验证了方法的高效性。
2023-11-08 math.OC
INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
Indian Institute of Technology Kanpur(坎普尔印度理工学院);Indian Institute of Technology Roorkee(鲁尔基印度理工学院)
INTHOP通过区间Hessian方法解决非凸优化中的高计算成本、Hessian求逆和非定性Hessian方向问题,证明了算法的全局收敛性,并在测试问题中表现出更高的效率。
2026-04-07 math.OC
Optimization Condition and Algorithm of Optimization with Convertible Nonconvex Function
The paper introduces several new concepts for solving nonconvex or nonsmooth optimization problems, including convertible nonconvex function, exact convertible nonconvex function and differentiable convertible nonconvex function. It is proved herein many nonconvex functions or nonsmooth (or discontinuous) functions are actually convertible nonconvex functions and convertible nonconvex function operations such as addition, subtraction, multiplication or division result in convertible nonconvex functions. The sufficient condition for judging a global optimal solution to unconstrained optimizatio…
2022-01-12 math.OC
Unifying Farkas lemma and S-lemma: new theory and applications in nonquadratic nonconvex optimization
将非线性Farkas引理和S-引理统一为非线性非凸系统的一个广义择一性定理。它通过揭示隐含凸性,在全局求解非凸非二次最优化问题中提供了富有成效的应用。
2021-09-07 math.OC
Active-set Newton-MR methods for nonconvex optimization problems with bound constraints
本文针对带界约束的非凸优化问题提出活动集 Newton-MR 方法,在面内用 MINRES 近似牛顿方向,在面间采用 SPG 或三次正则化策略,并给出预言机调用复杂度上界,数值实验表明 MINRES 优于 CG。
2025-08-28 math.OC
A Stochastic Block-coordinate Proximal Newton Method for Nonconvex Composite Minimization
School of Mathematical Sciences, Jiangsu University(江苏大学数学科学学院);Center of Excellence for Generative AI, King Abdullah University of Science and Technology(阿卜杜拉国王科技大学生成式人工智能卓越中心)
本文提出一种随机块坐标近端牛顿方法,用于非凸复合最小化问题,通过强凸正则化二次子问题和回溯线搜索确保收敛性,并在不同条件下证明了超线性收敛率。
2026-03-24 math.OC
General Proximal Quasi-Newton Methods based on model functions for nonsmooth nonconvex problems
本文提出一种由连续矩阵生成器更新可变度量、基于局部模型函数和回溯线搜索的通用邻近拟牛顿法,用于非光滑非凸优化,并证明其聚点稳定性及 KL 性质下的全局收敛性。
2025-07-25 math.OC
Quasi-Newton and Krylov Methods for the Solution of Nonconvex Trust-Region Subproblems
National Institute of Applied Sciences of Rennes(法国国立应用科学学院);GERAD and Department of Mathematics and Industrial Engineering, École Polytechnique(GERAD与蒙特利尔高等商学院数学与工业工程系);Department of Mathematics, Université de Sherbrooke(舍布鲁克大学数学系)
研究全内存和有限内存方法族求解对称正定线性系统,推导共轭梯度法与Broyden类拟牛顿法的新关系,扩展至LBFGS和DIOM,并推广至非凸无约束优化的信赖域步计算,实验表明有限内存方法在鲁棒性和效率上优于CG。
2026-05-22 math.OC
Faster Newton Methods for Convex and Nonconvex Optimization in Gradient Complexity
IIIS, Tsinghua University(清华大学交叉信息研究院);Shanghai Qizhi Institute(上海齐志研究院);School of Data Science, Fudan University(复旦大学数据科学学院);Shanghai Key Laboratory for Contemporary Applied Mathematics(上海市当代应用数学重点实验室);Shanghai AI Lab(上海人工智能实验室)
本文提出新的牛顿方法,改进了非凸和凸优化的梯度复杂度,分别达到O( d̄ + d̄^{1/3} ε^{-3/2})和O( (d̄ + d̄^{13/21} ε^{-2/7}) ln d̄)
2026-07-14 math.OC
A Newton-CG based barrier-augmented Lagrangian method for general nonconvex conic optimization
Linköping University(林雪平大学);University of Maryland(马里兰大学);University of Minnesota(明尼苏达大学)
本文针对一般非凸锥优化问题提出基于Newton-CG的障碍增广拉格朗日方法,首次给出求解近似二阶稳定点的复杂度界,并验证其解质量优于一阶方法。
2024-08-30 cs.LG cs.NA math.NA
Generalized-Smooth Nonconvex Optimization is As Efficient As Smooth Nonconvex Optimization
本文提出$α$-对称广义光滑性概念,并设计确定性归一化梯度下降算法和SPIDER算法,分别达到最优迭代复杂度$\mathcal{O}(ε^{-2})$和最优样本复杂度$\mathcal{O}(ε^{-3})$,证明广义光滑非凸优化与光滑非凸优化同样高效。
2023-06-24 math.OC
A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees
Tsinghua University(清华大学);The Hong Kong Polytechnic University(香港理工大学);Beijing Institute of Mathematical Sciences and Applications(北京数学科学及应用研究所);Chinese Academy of Sciences(中国科学院)
针对非凸优化中正则化牛顿方法全局与局部收敛权衡的开放问题,提出利用新旧梯度构造正则化器并结合共轭梯度法求解,实现了最优全局复杂性与二次局部收敛。
2025-10-31 cs.LG math.OC
On a monotone scheme for nonconvex nonsmooth optimization with applications to fracture mechanics
研究了一类非凸最优化问题,其中罚函数是一个线性算子与一个非光滑非凸映射的复合,该非光滑非凸映射在正实直线上是凹的.原问题的正则化版本的必要最优性条件的解决通过单调收敛的计划。这样的问题出现在连续介质力学中,例如内聚断裂,其中奇异行为通常由非光滑非凸能量建模。所提出的算法是成功地测试断裂力学问题。它的性能也比较了两种替代算法的非光滑非凸优化所产生的最优控制和数学成像。
2018-04-19 math.OC
Exact Penalty Algorithm of Strong Convertible Nonconvex Optimization
This paper defines a strong convertible nonconvex(SCN) function for solving the unconstrained optimization problems with the nonconvex or nonsmooth(nondifferentiable) function. First, many examples of SCN function are given, where the SCN functions are nonconvex or nonsmooth. Second, the operational properties of the SCN functions are proved, including addition, multiplication, compound operations and so on. Third, the SCN forms of some special functions common in machine learning and engineering applications are presented respectively where these SCN function optimization problems can be tran…
2022-05-15 math.OC
Accelerated Inexact First-Order Methods for Solving Nonconvex Composite Optimization Problems
本论文的重点是发展和分析加速和不精确的一阶方法来解决或找到各种非凸复合优化(NCO)问题的稳定点。主要工具来自于变分和凸分析,主要结果是迭代复杂性界的形式,以及这些界与文献中其他界的比较。
2021-12-26 math.OC
Convergence of a Stochastic Subgradient Method with Averaging for Nonsmooth Nonconvex Constrained Optimization
对于具有广义可微性的非光滑、非凸目标函数的约束问题,证明了一个带次梯度平均的单时间尺度随机次梯度方法的收敛性.作为我们分析的工具,我们还证明了一个链式法则的道路上,这样的功能。
2019-12-16 math.OC
Lagrangian duality for nonconvex optimization problems with abstract convex functions
研究了非凸最优化问题的拉格朗日对偶。为此,我们利用$Φ$ -凸性理论和$Φ$ -凸函数极小极大定理.给出了零对偶间隙和强对偶的条件。在函数类中,我们的对偶结果可以应用到,是近有界函数,DC函数,弱凸函数和仿凸函数。
2020-11-18 math.OC
A Geometrical Analysis of a Class of Nonconvex Conic Programs for Convex Conic Reformulations of Quadratic and Polynomial Optimization Problems
本文对二次最优化问题的完全正规划转化问题进行了几何分析,并将其推广到多项式最优化问题,给出了一类几何定义的非凸锥规划及其凸化.在线性空间$V$中用线性目标函数描述了一类非凸锥规划,约束集用非凸锥$K \subset V$、$K$的凸包的面$J$和非凸锥$K$的支撑超平面的平行移动$L$的交集来表示.我们表明,在适度的假设下,原来的非凸锥规划可以等价地转化为一个凸锥规划,通过替换的交集的$J$和超平面$L$的约束集。应用置换过程导出了二次最优化问题的完全正规划变换式,并将其推广到多项式最优化问题.
2019-01-08 math.OC
An inexact $q$-order regularized proximal Newton method for nonconvex composite optimization
本文提出一种不精确$q$阶正则化近端牛顿法(含三次正则化特例),用于非凸复合优化,证明其迭代收敛至稳定点或二阶稳定点,并给出局部超线性收敛速率,首次实现实用不精确CR方法的$Q$-二次收敛。
2025-05-24 math.OC