Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成,该目标函数是一个光滑项和一个(凸)非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广,如近端牛顿和拟牛顿法。在本文中,我们提出了一个正则化的近似拟牛顿法,其主要特点是:(a)该方法全局收敛到稳定点,(b)全局化由正则化参数控制,不需要线搜索,(c)该方法可以基于简单的观察而非常有效地实现,该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明,该方法优于现有的几种方法。
2022-10-14 math.OC
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法,在最坏的情况下,该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$,并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架,涵盖了广泛的技术,包括二次和三次正则化牛顿方法,如自适应正则化使用三次(ARC)方法和最近提出的信赖域算法与收缩和扩张(TRACE)。我们的方法的一般性是通过引入通用的条件,每个试验步骤需要满足,特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题,可以近似求解,以获得满足条件的试验步骤。一个新的实例的框架,不同的ARC和TRACE,可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明,我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
Convergence analysis of a regularized Newton method with generalized regularization terms for convex optimization problems
针对无约束凸优化问题,提出带广义正则项的通用正则化牛顿法框架,涵盖多种现有及新型RNM,证明其具有与三次RNM一致的全局$\u2a7c(k^{-2})$和局部超线性收敛性。
2024-07-10 math.OC
An Extended Newton-type Algorithm for $\ell_2$-Regularized Sparse Logistic Regression and Its Efficiency for Classifying Large-scale Datasets
稀疏逻辑斯谛回归作为一种有效的分类工具,从最初的$\ell_1$正则化模型到稀疏约束模型,在近二十年来得到了长足的发展。本文用牛顿法对稀疏约束下的逻辑斯谛回归进行了研究。我们首先建立与$τ$ -平稳点相关联的一阶最优性条件。这一点可以等效地解释为一个方程组,然后用牛顿法有效地求解。该方法具有相当低的计算复杂性,并具有全局和平方收敛性质。随机和真实数据的数值实验证明了其优越的性能时,对七个国家的最先进的求解器。
2021-11-19 math.OC
IMRO: a proximal quasi-Newton method for solving $l_1$-regularized least square problem
我们提出了一种近似的拟牛顿法,其中Hessian的近似在每次迭代中具有特殊的“单位减秩1”(IMRO)格式。所提出的结构使我们能够有效地恢复近端点。该算法被应用到$l_1$ -正则化最小二乘问题,在许多应用中出现,包括稀疏恢复压缩感知,机器学习和统计。我们的数值实验表明,所提出的技术与其他国家的最先进的解决这类问题的有利竞争。我们还提供了一个复杂性分析IMRO的变种,显示它匹配已知的最佳界限。
2017-01-19 math.OC
Theoretical analysis of the randomized subspace regularized Newton method for non-convex optimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
本文提出随机子空间正则化牛顿法用于非凸优化,证明其全局收敛且速率与完整正则化牛顿法相同,并给出局部线性收敛速率及Hessian秩亏时的超线性收敛结果。
2025-09-20 math.OC
Weak Proximal Newton Oracles for Composite Convex Optimization
Technion - Israel Institute of Technology(以色列理工学院)
本文提出弱近端牛顿 oracle 方法,通过稀疏结构优化提升高维复合凸优化的收敛效率。
2025-12-17 math.OC
Modified Block Newton Algorithm for $\ell_0$-Regularized Optimization
Beijing Institute of Technology(北京理工大学)
本文提出改进的块牛顿算法,用于解决ℓ0正则化稀疏优化问题,通过线搜索策略实现全局收敛并提高计算效率。
2025-11-25 math.OC
Newton method for $\ell_0$-regularized optimization
正则化是稀疏优化中常用的一种方法。这导致了正则化优化,旨在最小化表征稀疏性的$\ell_0$范数或其连续代理。从代理的连续性到$\ell_0$范数的离散性,最具挑战性的模型是$\ell_0$ -正则化优化。为了克服这一困难,有大量的工作在发展数值有效的方法。然而,他们中的大多数人只享受要么(子)序列收敛到一个固定的点从确定性优化的角度来看,或之间的距离,每个子序列和任何给定的稀疏参考点是有界的误差界的概率意义上。在本文中,我们开发了一个牛顿型方法的$\ell_0$ -正则化优化,并证明了所产生的序列收敛到一个稳定点的标准假设下,全球和二次,从理论上解释,我们的方法是能够执行令人惊讶的好。
2020-08-14 math.OC
A Regularized Hessian-Free Inexact Newton-Type Method with Global $\mathcal{O}(k^{-2})$ Convergence
Oregon State University(俄勒冈州立大学);Catholic Pontifical University(天主教宗座大学);Federal University of Delta do Parnaíba(帕纳伊巴三角洲联邦大学);Federal University of Piauí(皮奥伊联邦大学)
本文提出一种正则化Hessian自由牛顿型方法,用于优化具有Lipschitz连续Hessian的光滑凸函数,通过有限差分构造近似Hessian并自适应选择正则化参数,实现全局$\mathcal{O}(k^{-2})$收敛,且在部分问题上计算效率更高。
2026-04-30 math.OC
Gradient Descent Finds the Cubic-Regularized Non-Convex Newton Step
考虑了三次项正则化的非凸二次型的极小化问题,该问题具有多个鞍点和局部极小点。尽管如此,我们证明,在温和的假设下,梯度下降近似的$\textit{global minimum}$内的$\varepsilon$的准确性在$O(\varepsilon^{-1}\log(1/\varepsilon))$步骤大$\varepsilon$和$O(\log(1/\varepsilon))$步骤小$\varepsilon$(相比,我们定义的条件数),最多对数依赖于问题的维度。当我们用梯度下降法来逼近正则化牛顿步时,我们的结果暗示了对一般光滑非凸函数的二阶稳定点的一个收敛速率。
2022-08-30 cs.DS math.OC
Subspace Newton's Method for $\ell_0$-Regularized Optimization Problems with Box Constraint
本文针对带盒约束的 $\ell_0$ 正则化稀疏优化问题,提出子空间牛顿法,通过 $\tau$-稳定点划分支撑集,结合牛顿法与近端梯度法更新变量,证明了全局收敛和局部二次收敛,实验验证了效率。
2025-05-23 math.OC
Adaptive Regularized Newton Method for Riemannian Optimization
黎曼流形上的优化问题广泛应用于特征值计算、密度泛函理论、玻色-爱因斯坦凝聚、低秩最近相关、图像配准和信号处理等领域。本文提出了一种自适应正则化牛顿方法,该方法在保持黎曼流形约束的前提下,利用欧几里得空间中的二阶泰勒展开逼近原目标函数。正则化项的目标函数的子问题,使我们能够建立一个柯西点的条件作为标准的信赖域方法证明整体收敛。子问题可以不精确地解决,无论是一阶方法或修改的黎曼牛顿法。在后一种情况下,它可以进一步利用负曲率方向。在较弱的条件下,保证了算法的整体收敛和超线性局部收敛。大量的计算实验和与其他国家的最先进的方法的比较表明,该算法是非常有前途的。
2017-08-07 math.OC
Faster stochastic cubic regularized Newton methods with momentum
本文提出带动量方差缩减的更快随机三次正则化牛顿方法,通过低误差梯度估计和动量海森估计降低计算成本,并在温和假设下证明迭代复杂度,实验表明其性能接近确定性CRN方法且显著优于一阶方法。
2025-07-17 math.OC
A Distributed Cubic-Regularized Newton Method for Smooth Convex Optimization over Networks
Massachusetts Institute of Technology(麻省理工学院)
提出了一种求解网络上大规模凸优化的分布式正则化牛顿算法。该方法只需要本地计算和通信,适用于任意网络拓扑结构的联邦学习应用。当费用函数为凸函数且具有Lipschitz梯度和Hessian函数时,证明了$O(k^{{-}3})$的收敛速度,其中$k$为迭代次数.我们还提供了网络相关的界限,在算法的每一步所需的通信。我们提供了数值实验,验证我们的理论结果。
2020-07-07 cs.LG cs.MA math.OC
Dual Newton Proximal Point Algorithm for Solution Paths of the L1-Regularized Logistic Regression
本文提出对偶牛顿近端点算法PPDNA求解带偏置项的L1正则化逻辑回归,利用二阶稀疏性降低子问题计算成本,并设计自适应筛选AS策略生成解路径,实验验证其优于现有二阶算法。
2023-10-30 math.OC
Inexact Proximal Cubic Regularized Newton Methods for Convex Optimization
在本文中,我们使用近似三次正则化牛顿方法(PCNM)优化光滑凸函数和非光滑凸函数的总和,其中我们使用不精确梯度和Hessian,以及三次正则化二阶子问题的不精确子求解器。我们分别提出了PCNM和加速PCNM的不精确变体,并证明了这两种变体可以达到与精确情况相同的收敛速度,前提是不精确梯度、Hessian和子求解器中的误差以适当的速率减小。同时,在数据源源不断的在线随机设置中,我们给出了所提出的算法的总体复杂度,并表明它们与随机梯度下降一样具有竞争力。此外,我们给出了所提出的算法在有限和设置的整体复杂性,并表明它是最先进的方差减少算法的竞争力。最后,我们提出了一个有效的算法的立方正则二阶子问题,它可以收敛到一个足够小的邻域的最优解在一个超线性的速度。
2019-02-26 math.OC
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia(弗吉尼亚大学)
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian,这是专门为立方正则化方法设计的。我们表明,我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用,这优于国家的最先进的立方正则化算法,包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
Riemannian Stochastic Variance-Reduced Cubic Regularized Newton Method for Submanifold Optimization
我们提出了一个随机方差缩减的三次正则牛顿算法来优化欧几里得空间的黎曼子流形上的有限和问题。该算法需要在每个历元开始时进行全梯度和Hessian更新,同时在每个历元内的迭代中进行随机方差减少更新。计算了$O(ε^{-3/2})$的迭代复杂度,得到了一个$(ε,\sqrtε)$ -二阶稳定点,即,当流形嵌入在欧几里得空间中时,建立了黎曼梯度范数上界为$ε$,黎曼Hessian最小特征值下界为$-\sqrtε$的点.此外,本文提出了一个计算上更吸引人的修改算法,只需要一个不精确的解决方案的立方正则牛顿子问题具有相同的迭代复杂度。该算法进行了评估,并与其他三个黎曼二阶方法在两个数值研究估计的逆尺度矩阵的多元t-分布的对称正定矩阵的流形上,估计球形流形上的线性分类器的参数。
2022-07-21 math.OC
A Note on Inexact Condition for Cubic Regularized Newton's Method
Ohio State University(俄亥俄州立大学);Georgia Institute of Technology(佐治亚理工学院)
本文考虑了不精确的正则化牛顿法(CR),它已被证明在\cite{Cartis2011a}中实现了与精确CR \citep{Nesterov2006}相同的阶级收敛速度。然而,\cite{Cartis2011a}中的不精确条件由于其对未来迭代变量的依赖性而不可实现。本文通过证明非凸优化在仅依赖于当前最优解的不精确自适应条件下具有相同的收敛速度来解决这个问题。我们的证明控制了函数值在总迭代中的充分减少,而不是像以前的研究中使用的每次迭代,这在其他情况下可能是独立的。
2018-08-22 cs.LG math.OC
Cubic Regularized Newton Method for Saddle Point Models: a Global and Local Convergence Analysis
提出了一种求解凸凹鞍点问题的三次正则化牛顿(CRN)方法。在每次迭代中,构造并求解一个三次正则化的鞍点子问题,为迭代算法提供搜索方向。当鞍点函数为梯度Lipschitz函数和强凸-强凹函数时,通过适当选择步长,证明了该方法以全局线性和局部超线性收敛速率收敛到鞍点.在函数仅仅是凹凸的情况下,我们提出了一种同伦延拓(或路径跟踪)方法。在Lipschitz型误差界条件下,利用同伦延拓方法给出了$ε$的迭代复杂度界,并在含有参数$θ$($0<θ<1$)的Hölderian型误差界条件下,得到了迭代复杂度界为$\mathcal{O}\left(\left(1/ε\right)^{\frac{1-θ}{θ^2}}\right)$.
2020-08-22 math.OC
On the complexity of proximal gradient and proximal gradient-Newton-CG methods for $\ell_1$-regularized Optimization
School of Mathematical Sciences, Jiangsu University(江苏大学数学科学学院)
提出两种基于不同近似二阶稳定点定义的二阶方法,用于求解\(\ell_1\)正则化复合优化问题,并分析其迭代复杂度、操作复杂度及局部超线性收敛率,数值实验验证了有效性。
2026-09-10 math.OC
Multilevel Regularized Newton Methods with Fast Convergence Rates
UniDistance Suisse(瑞士远程大学);Imperial College(帝国理工学院)
该研究提出用于大规模无约束优化的正则化多层牛顿方法,利用低维粗粒度子问题二阶信息正则化,证明其全局收敛且速率优于梯度下降,凸函数下达$\boldsymbol{\text{O}}(k^{-2})$,数值实验显示其性能优于现有最优方法。
2026-10-07 math.OC
A Stochastic Iteratively Regularized Gauss-Newton Method
本文提出随机迭代正则化高斯-牛顿方法(SIRGNM),通过小批量随机草图化扩展经典反问题算法,在二维椭圆PDE实验中以相近精度显著降低计算时间。
2024-09-19 cs.NA math.NA math.OC
Inexact Regularized Quasi-Newton Algorithm for Solving Monotone Variational Inequality Problems
针对单调变分不等式求解问题,提出一种结合新型价值函数与超平面全局化技术的非精确正则化拟牛顿算法,具备无正则性假设下的全局收敛性,数值实验验证了其效率。
2025-05-18 math.OC
A Regularized Newton-Type Method for Manifold--Affine Intersection Problems under Intrinsic Transversality
University of Science and Technology of China(中国科学技术大学)
提出正则化牛顿-SLRA算法解决流形与仿射子空间交集问题,在弱横截条件下实现线性收敛,在横截条件下达到二次收敛,并验证了近似投影变体的鲁棒性。
2026-09-18 cs.NA math.NA math.OC
Lower Complexity Bounds for Minimizing Regularized Functions
本文建立了极小化正则化凸函数的一阶方法的预言复杂度的下界。我们考虑目标的复合表示。光滑部分具有$ν\in [0, 1]$度的Hölder连续梯度,并且可以通过黑盒本地oracle访问。合成部分是规范的幂。我们证明了在大规模设置为欧几里德范数的一阶方法的最佳可能的速度是$O(k^{- p(1 + 3ν) / (2(p - 1 - ν))})$的顺序为功能性残留,其中$k$是迭代计数器和$p$是正则化的权力。我们的公式涵盖了几种情况,包括通过一阶梯度法计算立方正则化牛顿步,在这种情况下,速率变为$O(k^{-6})$。它可以通过快速梯度法来实现。因此,我们的结果证明后一种速率是最优的。我们还发现了非欧几里德规范的复杂性下界。
2022-02-09 math.OC
Regularized Overestimated Newton
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究提出正则化高估牛顿法(RON),兼具低迭代成本与强收敛保证,通过海森高估误差插值梯度下降与正则化牛顿法,结合随机秩-$k$近似实现高效变体,在熵最优输运等实验中验证了理论结论。
2025-09-30 math.OC
An Inexact Regularized Proximal Newton Method without Line Search
针对光滑函数与凸非光滑函数之和的最小化问题,提出一种无需线搜索、依据上次迭代成败更新正则化参数的 IRPNM,并证明其全局与超线性收敛性。
2024-04-08 math.OC
Dual Gauss-Newton Directions for Deep Learning
Google DeepMind(谷歌DeepMind)
本文提出通过对偶形式计算基于部分线性化的方向预言机,作为随机梯度的直接替代,提升深度学习优化效率并揭示新见解。
2023-10-27 cs.LG math.OC
Global $o(1/k^2)$ Merit Complexity of Regularized Newton Methods for Convex Multiobjective Optimization
School of Mathematical Sciences, Shenzhen University(深圳大学数学与统计学院)
针对凸多目标优化问题,提出一种正则化牛顿方法,利用Tanabe型优度函数证明在紧性假设下全局渐近收敛率为$o(1/k^2)$,并通过一维反例说明该指数在一致多项式意义下是最优的。
2026-06-29 math.OC
Regularized Nonsmooth Newton Algorithms for Best Approximation
针对多面体集合最佳逼近及大规模线性规划求解问题,提出雅可比奇异的正则化非光滑牛顿算法,实验显示其性能优于经典HLWB投影法,还衍生出垫脚石外部路径跟踪算法及多种应用,并引入缩放方法提升效率鲁棒性。
2023-06-09 math.OC
Adaptive Regularized Newton Method with Inexact Hessian
Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)(人工智能基础研究实验室);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学);Innopolis University(伊诺波利斯大学)
本文提出了一种自适应正则化牛顿法,通过使用近似Hessian和Bregman散度,降低计算成本并实现非凸和凸问题的全局收敛。
2025-12-09 math.OC
Practical Regularized Quasi-Newton Methods with Inexact Function Values
The University of Tokyo(东京大学);RIKEN(理化学研究所)
本文提出了一种噪声容忍的正则化拟牛顿方法,通过结合正则化参数更新规则和AdaGrad-Norm方法,实现了在存在误差的情况下达到一阶 stationary 点的全局收敛率,并在多个基准测试中展示了更高的稳健性和效率。
2026-10-14 math.OC
Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon Web Services(亚马逊云科技);Technion – Israel Institute of Technology(以色列理工学院);University of Minnesota(明尼苏达大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文提出一种在Krylov子空间内执行更新的子空间立方正则化牛顿法,首次实现了与维度无关的全局收敛速率,并在高维凸优化问题中显著优于随机子空间方法。
2024-01-05 cs.LG math.OC stat.ML
Regularized Newton Method with Global $O(1/k^2)$ Convergence
CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院);Inria(法国国家信息与自动化研究所)
我们提出了一个牛顿型的方法,收敛速度快,从任何初始化和任意凸目标Lipschitz海森。我们实现这一点合并的想法,立方正则化与一定的自适应Levenberg-马夸特罚款。特别是,我们表明,迭代由$x^{k+1}=x^k - \bigl(\nabla^2 f(x^k) + \sqrt{H\|\nabla f(x^k)\|} \mathbf{I}\bigr)^{-1}\nabla f(x^k)$,其中$H>0$是一个常数,全局收敛的$\mathcal{O}(\frac{1}{k^2})$率。我们的方法是牛顿法的第一个变种,既有廉价的迭代和可证明的快速整体收敛。此外,我们证明了局部我们的方法超线性收敛时,目标是强凸的。为了提高该方法的性能,我们提出了一个线搜索过程,不需要$H$的先验知识,是证明有效的。
2023-03-01 cs.LG math.OC
An inexact regularized proximal Newton method for nonconvex and nonsmooth optimization
本文针对非凸非光滑优化问题,提出基于KKT残差幂次海森近似的非精确正则化近似牛顿法,证明了不同参数下的收敛性与收敛速率,并通过数值实验验证了方法的高效性。
2023-11-08 math.OC
Generalized Metric Subregularity with Applications to High-Order Regularized Newton Methods
该研究提出广义度量次正则性概念并构建扩展收敛框架,同时设计带动量步的高阶正则化牛顿法,证明其收敛性并在非凸过参数化压缩感知中实现全局二次局部收敛。
2024-06-19 math.OC
New Computational and Statistical Aspects of Regularized Regression with Application to Rare Feature Selection and Aggregation
Technicolor AI Lab(特艺集团人工智能实验室);Marshall School of Business, University of Southern California(南加州大学马歇尔商学院);University of Washington(华盛顿大学)
关于目标模型属性的先验知识通常是离散或组合的描述。这项工作提供了一个统一的计算框架,定义规范,促进这种结构。更具体地说,我们开发了相关的工具,涉及这些规范的优化只考虑到所需模型的非凸集的正交投影预言。作为一个例子,我们研究了一个规范,我们称之为双稀疏规范,促进向量与几个非零的项目,只有几个不同的值。我们进一步讨论了如何在这种情况下,K-均值算法可以作为底层的投影预言机,以及它如何可以有效地表示为一个二次约束的二次规划。我们研究这个规范的动机是在存在罕见特征的情况下的正则化回归,这对高维统计和一般机器学习中的各种方法提出了挑战。建议的估计过程的目的是执行自动特征选择和聚合,我们开发的统计界限。边界是通用的,并提供了一个基于范数的正则化的统计框架。边界依赖于新的几何量,我们试图详细说明。
2019-04-10 cs.LG math.OC math.ST
Gradient Regularized Newton Boosting Trees with Global Convergence
Department of Mathematics, Imperial College London, UK(帝国理工学院伦敦数学系);School of Computer Science, University of St. Gallen, Switzerland(圣加尔登大学计算机科学学院);Department of Mathematics, Stockholm University, Sweden(斯德哥尔摩大学数学系)
本文提出受限牛顿下降法,通过研究在希尔伯特空间上使用牛顿法进行凸优化,证明了牛顿提升在满足Hessian主导条件的光滑强凸损失下的线性收敛率,并通过引入适应性ℓ2正则化项实现对一般凸损失的全局收敛。
2026-05-01 cs.LG math.OC stat.ML
A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
School of Mathematical Sciences, Peking University(北京大学数学科学学院)
针对噪声随接近最优解线性减小的随机凸赌博机,提出正则化在线牛顿方法,实现多对数遗憾并推广至新噪声模型。
2025-01-19 cs.LG math.OC stat.ML
Stochastic Gauss-Newton Algorithms for Nonconvex Compositional Optimization
针对一类非凸随机组合最优化问题,提出了两种新的随机高斯-牛顿算法。我们认为在标准假设下的期望和有限和设置,并使用经典的随机和SARAH估计的逼近函数值和雅可比。在期望的情况下,我们建立了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度,以达到期望中的一个稳定点,并估计了函数值及其雅可比矩阵的随机预言调用的总数,其中$\varepsilon$是期望的精度。在有限和的情况下,我们还估计了$\mathcal{O}(\varepsilon^{-2})$迭代复杂度和总的oracle调用的高概率。据我们所知,这是第一次为随机高斯-牛顿方法建立这样的全局随机预言复杂性。最后,我们通过两个数值例子来说明我们的理论结果在合成和真实的数据集。
2020-07-02 math.OC stat.ML
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法,一类灵活的无约束优化算法,线搜索和置信域方法的竞争力,并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法,利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性,并讨论了正则化有限记忆拟牛顿更新的细节,包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明,我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力,同时可能优于其中一些,特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
A Regularized Semi-Smooth Newton Method With Projection Steps for Composite Convex Programs
本文的目的是研究如何弥补复合凸规划的一阶和二阶序型方法之间的差距。我们的主要意见是:i)许多著名的算子分裂方法,如前向后分裂(FBS)和Douglas-Rachford分裂(DRS),实际上定义了一个不动点映射; ii)复合凸规划的最优解与由不动点映射导出的非线性方程组的解是等价的。求解这类非线性方程组使我们能够发展二阶序型方法。虽然这些非线性方程可能是不可微的,但它们往往是半光滑的,并且由于单调性,它们的广义雅可比矩阵是半正定的。结合正则化方法和已知的超平面投影技术,我们提出了一种自适应半光滑牛顿法,并证明了其收敛性。对$\ell_1$ -极小化问题的初步数值结果表明,我们的二序型算法能够达到超线性或平方收敛.
2016-09-24 math.OC
Parameter-Free Cubic-Regularized Newton Method: Sharp Complexity and Generalized Smoothness
Graduate School of Information Science and Technology, University of Tokyo(东京大学信息理工学系研究科);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能研究中心)
研究非凸优化的无参数三次正则化牛顿法,在广义光滑性条件下推导找到$(\varepsilon, \delta)$ - 二阶驻点的神谕复杂度界,该条件更弱且复杂度界优于现有无参数二阶方法,特定情况与最优依赖匹配。
2026-07-14 math.OC
A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees
Tsinghua University(清华大学);The Hong Kong Polytechnic University(香港理工大学);Beijing Institute of Mathematical Sciences and Applications(北京数学科学及应用研究所);Chinese Academy of Sciences(中国科学院)
针对非凸优化中正则化牛顿方法全局与局部收敛权衡的开放问题,提出利用新旧梯度构造正则化器并结合共轭梯度法求解,实现了最优全局复杂性与二次局部收敛。
2025-10-31 cs.LG math.OC
Convergence rates of regularized quasi-Newton methods without strong convexity
本文首次给出正则化SR1拟牛顿法在仅满足KŁ性质的非凸非光滑问题上的非渐近显式超线性收敛速率,无需强凸性、线搜索或信赖域等条件,并进一步将类似结果推广到凸问题的梯度正则化方法。
2025-08-19 math.OC
A regularized Newton method for $\ell_q$-norm composite optimization problems
本文针对非凸非光滑的 $\ell_q$-范数正则化复合优化问题,提出混合近端梯度与子空间正则化牛顿法的 HpgSRN 算法,证明了其在温和条件下的有限步收敛与超线性收敛速率,且数值实验表明其计算时间显著优于 ZeroFPR。
2023-06-25 math.OC
Distributed Gradient-Regularized Newton Method: Scheduled Consensus and O(epsilon^{-1}) Global Iteration Complexity
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出了一种完全去中心化的二次优化方法DisGrem,用于解决网络上的凸共识优化问题。该方法通过两阶段 gossip-mixing 机制进行通信,结合消失梯度范数正则化和特征值位移稳定器,实现了O(epsilon^{-1})的迭代复杂度,匹配中心化正则化牛顿方法的收敛速度,无需线搜索或步长调整。
2026-05-19 math.OC
Extra-Newton: A First Approach to Noise-Adaptive Accelerated Second-Order Methods
EPFL(洛桑联邦理工学院)
本文提出了一种通用的、自适应的二阶方法来极小化二阶光滑、凸函数。当预言机反馈是随机的且方差为$σ^2$时,该算法达到了$O(σ/ \sqrt{T})$收敛,当预言机反馈是确定性的时,该算法收敛到$O( 1 / T^3)$,其中$T$是迭代次数.我们的方法还内插这些速率,而不知道的性质的预言先验,这是使一个无参数的自适应步长,是无视的知识的平滑模量,方差界和直径的约束集。据我们所知,这是第一个通用的算法,这样的全球保证在二阶优化文献。
2022-12-12 cs.LG math.OC stat.ML
Super-Universal Regularized Newton Method
UCLouvain(鲁汶大学);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院);Inria(法国国家信息与自动化研究所)
我们分析了二次正则化牛顿法的一种变体在求解复合凸极小化问题中的性能。在我们的方法的每一步,我们选择正则化参数与当前点的梯度范数的某个幂成比例。我们介绍了一个家庭的问题类的特点是Hölder连续性的二阶或三阶导数。然后,我们提出了一个简单的自适应搜索过程的方法,允许自动调整的问题类的最佳全局复杂性的界限,而不知道具体的参数的问题。特别地,对于具有Lipschitz连续三阶导数的函数类,我们得到了全局$O(1/k^3)$速率,这是以前归因于三阶张量方法。当目标函数是一致凸的,我们证明了我们的计划的自动加速,导致更快的全局速度和局部超线性收敛。不同速率(次线性、线性和超线性)之间的切换是自动的。同样,为此,不需要参数的先验知识。
2022-08-11 cs.LG math.OC
Proximal Quasi-Newton Methods for Regularized Convex Optimization with Linear and Accelerated Sublinear Convergence Rates
Dept. of Industrial and Systems Engineering, Lehigh University, Bethlehem, PA, USA(工业与系统工程系,莱维大学,伯灵顿,宾夕法尼亚州,美国)
本文研究了正则化凸优化中近似拟牛顿方法的收敛性,分析了强凸情况下精确与不精确设置的收敛性质,并探讨了加速变体的实用性与性能。
2017-10-17 cs.LG cs.NA math.NA
An Inexact Projected Regularized Newton Method for Fused Zero-norms Regularization Problems
针对带盒约束的融合零范数正则化问题,本文提出近端梯度与不精确投影正则化牛顿的混合算法,证明其收敛性并建立超线性收敛速率,数值实验验证了模型与算法的优越性。
2023-12-25 math.OC
Proximal Stochastic Newton-type Gradient Descent Methods for Minimizing Regularized Finite Sums
本文将Jascha \cite{sohl2014fast}和Lee \cite{lee2012proximal}最近的两个完全不同的工作分别推广和统一为一个,提出了优化两个凸函数(一个是大量光滑凸函数的平均值,另一个是非光滑凸函数)和的\textbf{prox} s \textbf{to}随机\textbf{N}牛顿型梯度(PROXTONE)方法.虽然最近提出的一组邻近随机梯度方法,包括MISO,Prox-SDCA,Prox-SVRG和SAG,以线性速率收敛,但PROXTONE包含二阶信息以获得更强的收敛结果,它不仅在目标函数的值中实现线性收敛速率,而且在\emph{solution}中也实现线性收敛速率。证明简单直观,所得结果和技巧可作为研究二阶信息近似随机方法的一个开端。
2014-10-29 math.OC