An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法，在最坏的情况下，该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$，并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架，涵盖了广泛的技术，包括二次和三次正则化牛顿方法，如自适应正则化使用三次（ARC）方法和最近提出的信赖域算法与收缩和扩张（TRACE）。我们的方法的一般性是通过引入通用的条件，每个试验步骤需要满足，特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题，可以近似求解，以获得满足条件的试验步骤。一个新的实例的框架，不同的ARC和TRACE，可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明，我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
Convergence analysis of a regularized Newton method with generalized regularization terms for convex optimization problems
针对无约束凸优化问题，提出带广义正则项的通用正则化牛顿法框架，涵盖多种现有及新型RNM，证明其具有与三次RNM一致的全局$\u2a7c(k^{-2})$和局部超线性收敛性。
2024-07-10 math.OC
An Extended Newton-type Algorithm for $\ell_2$-Regularized Sparse Logistic Regression and Its Efficiency for Classifying Large-scale Datasets
稀疏逻辑斯谛回归作为一种有效的分类工具，从最初的$\ell_1$正则化模型到稀疏约束模型，在近二十年来得到了长足的发展。本文用牛顿法对稀疏约束下的逻辑斯谛回归进行了研究。我们首先建立与$τ$ -平稳点相关联的一阶最优性条件。这一点可以等效地解释为一个方程组，然后用牛顿法有效地求解。该方法具有相当低的计算复杂性，并具有全局和平方收敛性质。随机和真实数据的数值实验证明了其优越的性能时，对七个国家的最先进的求解器。
2021-11-19 math.OC
IMRO: a proximal quasi-Newton method for solving $l_1$-regularized least square problem
我们提出了一种近似的拟牛顿法，其中Hessian的近似在每次迭代中具有特殊的“单位减秩1”（IMRO）格式。所提出的结构使我们能够有效地恢复近端点。该算法被应用到$l_1$ -正则化最小二乘问题，在许多应用中出现，包括稀疏恢复压缩感知，机器学习和统计。我们的数值实验表明，所提出的技术与其他国家的最先进的解决这类问题的有利竞争。我们还提供了一个复杂性分析IMRO的变种，显示它匹配已知的最佳界限。
2017-01-19 math.OC
Theoretical analysis of the randomized subspace regularized Newton method for non-convex optimization
本文提出随机子空间正则化牛顿法用于非凸优化，证明其全局收敛且速率与完整正则化牛顿法相同，并给出局部线性收敛速率及Hessian秩亏时的超线性收敛结果。
2025-09-20 math.OC
Modified Block Newton Algorithm for $\ell_0$-Regularized Optimization
本文提出改进的块牛顿算法，用于解决ℓ0正则化稀疏优化问题，通过线搜索策略实现全局收敛并提高计算效率。
2025-11-25 math.OC
A Regularized Hessian-Free Inexact Newton-Type Method with Global $\mathcal{O}(k^{-2})$ Convergence
Oregon State University（俄勒冈州立大学）；Catholic Pontifical University（天主教宗座大学）；Federal University of Delta do Parnaíba（帕纳伊巴三角洲联邦大学）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种正则化Hessian自由牛顿型方法，用于优化具有Lipschitz连续Hessian的光滑凸函数，通过有限差分构造近似Hessian并自适应选择正则化参数，实现全局$\mathcal{O}(k^{-2})$收敛，且在部分问题上计算效率更高。
2026-04-30 math.OC
Subspace Newton's Method for $\ell_0$-Regularized Optimization Problems with Box Constraint
本文针对带盒约束的 $\ell_0$ 正则化稀疏优化问题，提出子空间牛顿法，通过 $\tau$-稳定点划分支撑集，结合牛顿法与近端梯度法更新变量，证明了全局收敛和局部二次收敛，实验验证了效率。
2025-05-23 math.OC
Adaptive Regularized Newton Method for Riemannian Optimization
黎曼流形上的优化问题广泛应用于特征值计算、密度泛函理论、玻色-爱因斯坦凝聚、低秩最近相关、图像配准和信号处理等领域。本文提出了一种自适应正则化牛顿方法，该方法在保持黎曼流形约束的前提下，利用欧几里得空间中的二阶泰勒展开逼近原目标函数。正则化项的目标函数的子问题，使我们能够建立一个柯西点的条件作为标准的信赖域方法证明整体收敛。子问题可以不精确地解决，无论是一阶方法或修改的黎曼牛顿法。在后一种情况下，它可以进一步利用负曲率方向。在较弱的条件下，保证了算法的整体收敛和超线性局部收敛。大量的计算实验和与其他国家的最先进的方法的比较表明，该算法是非常有前途的。
2017-08-07 math.OC
Faster stochastic cubic regularized Newton methods with momentum
本文提出带动量方差缩减的更快随机三次正则化牛顿方法，通过低误差梯度估计和动量海森估计降低计算成本，并在温和假设下证明迭代复杂度，实验表明其性能接近确定性CRN方法且显著优于一阶方法。
2025-07-17 math.OC
Dual Newton Proximal Point Algorithm for Solution Paths of the L1-Regularized Logistic Regression
本文提出对偶牛顿近端点算法PPDNA求解带偏置项的L1正则化逻辑回归，利用二阶稀疏性降低子问题计算成本，并设计自适应筛选AS策略生成解路径，实验验证其优于现有二阶算法。
2023-10-30 math.OC
Inexact Proximal Cubic Regularized Newton Methods for Convex Optimization
在本文中，我们使用近似三次正则化牛顿方法（PCNM）优化光滑凸函数和非光滑凸函数的总和，其中我们使用不精确梯度和Hessian，以及三次正则化二阶子问题的不精确子求解器。我们分别提出了PCNM和加速PCNM的不精确变体，并证明了这两种变体可以达到与精确情况相同的收敛速度，前提是不精确梯度、Hessian和子求解器中的误差以适当的速率减小。同时，在数据源源不断的在线随机设置中，我们给出了所提出的算法的总体复杂度，并表明它们与随机梯度下降一样具有竞争力。此外，我们给出了所提出的算法在有限和设置的整体复杂性，并表明它是最先进的方差减少算法的竞争力。最后，我们提出了一个有效的算法的立方正则二阶子问题，它可以收敛到一个足够小的邻域的最优解在一个超线性的速度。
2019-02-26 math.OC
Riemannian Stochastic Variance-Reduced Cubic Regularized Newton Method for Submanifold Optimization
我们提出了一个随机方差缩减的三次正则牛顿算法来优化欧几里得空间的黎曼子流形上的有限和问题。该算法需要在每个历元开始时进行全梯度和Hessian更新，同时在每个历元内的迭代中进行随机方差减少更新。计算了$O(ε^{-3/2})$的迭代复杂度，得到了一个$(ε,\sqrtε)$ -二阶稳定点，即，当流形嵌入在欧几里得空间中时，建立了黎曼梯度范数上界为$ε$，黎曼Hessian最小特征值下界为$-\sqrtε$的点.此外，本文提出了一个计算上更吸引人的修改算法，只需要一个不精确的解决方案的立方正则牛顿子问题具有相同的迭代复杂度。该算法进行了评估，并与其他三个黎曼二阶方法在两个数值研究估计的逆尺度矩阵的多元t-分布的对称正定矩阵的流形上，估计球形流形上的线性分类器的参数。
2022-07-21 math.OC
Cubic Regularized Newton Method for Saddle Point Models: a Global and Local Convergence Analysis
提出了一种求解凸凹鞍点问题的三次正则化牛顿（CRN）方法。在每次迭代中，构造并求解一个三次正则化的鞍点子问题，为迭代算法提供搜索方向。当鞍点函数为梯度Lipschitz函数和强凸-强凹函数时，通过适当选择步长，证明了该方法以全局线性和局部超线性收敛速率收敛到鞍点.在函数仅仅是凹凸的情况下，我们提出了一种同伦延拓（或路径跟踪）方法。在Lipschitz型误差界条件下，利用同伦延拓方法给出了$ε$的迭代复杂度界，并在含有参数$θ$（$0<θ<1$）的Hölderian型误差界条件下，得到了迭代复杂度界为$\mathcal{O}\left(\left(1/ε\right)^{\frac{1-θ}{θ^2}}\right)$.
2020-08-22 math.OC
On the complexity of proximal gradient and proximal gradient-Newton-CG methods for $\ell_1$-regularized Optimization
School of Mathematical Sciences, Jiangsu University（江苏大学数学科学学院）
提出两种基于不同近似二阶稳定点定义的二阶方法，用于求解\(\ell_1\)正则化复合优化问题，并分析其迭代复杂度、操作复杂度及局部超线性收敛率，数值实验验证了有效性。
2026-09-10 math.OC
Multilevel Regularized Newton Methods with Fast Convergence Rates
UniDistance Suisse（瑞士远程大学）；Imperial College（帝国理工学院）
该研究提出用于大规模无约束优化的正则化多层牛顿方法，利用低维粗粒度子问题二阶信息正则化，证明其全局收敛且速率优于梯度下降，凸函数下达$\boldsymbol{\text{O}}(k^{-2})$，数值实验显示其性能优于现有最优方法。
2026-10-07 math.OC
Inexact Regularized Quasi-Newton Algorithm for Solving Monotone Variational Inequality Problems
针对单调变分不等式求解问题，提出一种结合新型价值函数与超平面全局化技术的非精确正则化拟牛顿算法，具备无正则性假设下的全局收敛性，数值实验验证了其效率。
2025-05-18 math.OC
Regularized Overestimated Newton
本研究提出正则化高估牛顿法（RON），兼具低迭代成本与强收敛保证，通过海森高估误差插值梯度下降与正则化牛顿法，结合随机秩-$k$近似实现高效变体，在熵最优输运等实验中验证了理论结论。
2025-09-30 math.OC
An Inexact Regularized Proximal Newton Method without Line Search
针对光滑函数与凸非光滑函数之和的最小化问题，提出一种无需线搜索、依据上次迭代成败更新正则化参数的 IRPNM，并证明其全局与超线性收敛性。
2024-04-08 math.OC
Cubic-Regularized Newton for Spectral Constrained Matrix Optimization and its Application to Fairness
University of Minnesota（明尼苏达大学）
利用矩阵函数将光滑谱约束矩阵最优化问题改写为对称矩阵集上的光滑无约束问题，然后用正则化牛顿法求解.证明了矩阵函数的二阶链式法则恒等式可以计算高阶导数来实现三次正则化牛顿，并对矩阵向量空间的三次正则化牛顿提供了新的收敛性分析。我们证明了我们的方法的适用性进行数值实验合成和真实的数据集。在我们的实验中，我们制定了一个新的模型来估计公平和强大的协方差阵的泰勒的M-估计（TME）模型的精神，并证明其优势。
2022-09-02 cs.LG math.OC
Global $o(1/k^2)$ Merit Complexity of Regularized Newton Methods for Convex Multiobjective Optimization
School of Mathematical Sciences, Shenzhen University（深圳大学数学与统计学院）
针对凸多目标优化问题，提出一种正则化牛顿方法，利用Tanabe型优度函数证明在紧性假设下全局渐近收敛率为$o(1/k^2)$，并通过一维反例说明该指数在一致多项式意义下是最优的。
2026-06-29 math.OC
Regularized Nonsmooth Newton Algorithms for Best Approximation
针对多面体集合最佳逼近及大规模线性规划求解问题，提出雅可比奇异的正则化非光滑牛顿算法，实验显示其性能优于经典HLWB投影法，还衍生出垫脚石外部路径跟踪算法及多种应用，并引入缩放方法提升效率鲁棒性。
2023-06-09 math.OC
Adaptive Regularized Newton Method with Inexact Hessian
本文提出了一种自适应正则化牛顿法，通过使用近似Hessian和Bregman散度，降低计算成本并实现非凸和凸问题的全局收敛。
2025-12-09 math.OC
Practical Regularized Quasi-Newton Methods with Inexact Function Values
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出了一种噪声容忍的正则化拟牛顿方法，通过结合正则化参数更新规则和AdaGrad-Norm方法，实现了在存在误差的情况下达到一阶 stationary 点的全局收敛率，并在多个基准测试中展示了更高的稳健性和效率。
2026-10-14 math.OC
Practical Approximation Algorithms for $\ell_1$-Regularized Sparse Rank-$1$ Approximation to Higher-Order Tensors
针对高阶张量的$\ell_1$正则化稀疏秩1逼近，提出了两种逼近算法.该算法基于多线性松弛和稀疏化，易于实现，可扩展性好。特别地，第二个与输入张量的大小线性缩放。基于对$\ell_1$ -正则化稀疏化的仔细估计，推导出理论近似的下界。我们的理论结果也提出了一个明确的方式来选择正则化参数。数值算例验证了算法的有效性。
2022-07-15 math.OC
An inexact regularized proximal Newton method for nonconvex and nonsmooth optimization
本文针对非凸非光滑优化问题，提出基于KKT残差幂次海森近似的非精确正则化近似牛顿法，证明了不同参数下的收敛性与收敛速率，并通过数值实验验证了方法的高效性。
2023-11-08 math.OC
Generalized Metric Subregularity with Applications to High-Order Regularized Newton Methods
该研究提出广义度量次正则性概念并构建扩展收敛框架，同时设计带动量步的高阶正则化牛顿法，证明其收敛性并在非凸过参数化压缩感知中实现全局二次局部收敛。
2024-06-19 math.OC
Gradient Descent Finds the Cubic-Regularized Non-Convex Newton Step
考虑了三次项正则化的非凸二次型的极小化问题，该问题具有多个鞍点和局部极小点。尽管如此，我们证明，在温和的假设下，梯度下降近似的$\textit{global minimum}$内的$\varepsilon$的准确性在$O(\varepsilon^{-1}\log(1/\varepsilon))$步骤大$\varepsilon$和$O(\log(1/\varepsilon))$步骤小$\varepsilon$（相比，我们定义的条件数），最多对数依赖于问题的维度。当我们用梯度下降法来逼近正则化牛顿步时，我们的结果暗示了对一般光滑非凸函数的二阶稳定点的一个收敛速率。
2022-08-30 cs.DS math.OC
A Regularized Semi-Smooth Newton Method With Projection Steps for Composite Convex Programs
本文的目的是研究如何弥补复合凸规划的一阶和二阶序型方法之间的差距。我们的主要意见是：i）许多著名的算子分裂方法，如前向后分裂（FBS）和Douglas-Rachford分裂（DRS），实际上定义了一个不动点映射; ii）复合凸规划的最优解与由不动点映射导出的非线性方程组的解是等价的。求解这类非线性方程组使我们能够发展二阶序型方法。虽然这些非线性方程可能是不可微的，但它们往往是半光滑的，并且由于单调性，它们的广义雅可比矩阵是半正定的。结合正则化方法和已知的超平面投影技术，我们提出了一种自适应半光滑牛顿法，并证明了其收敛性。对$\ell_1$ -极小化问题的初步数值结果表明，我们的二序型算法能够达到超线性或平方收敛.
2016-09-24 math.OC
Parameter-Free Cubic-Regularized Newton Method: Sharp Complexity and Generalized Smoothness
Graduate School of Information Science and Technology, University of Tokyo（东京大学信息理工学系研究科）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）
研究非凸优化的无参数三次正则化牛顿法，在广义光滑性条件下推导找到$(\varepsilon, \delta)$ - 二阶驻点的神谕复杂度界，该条件更弱且复杂度界优于现有无参数二阶方法，特定情况与最优依赖匹配。
2026-07-14 math.OC
Convergence rates of regularized quasi-Newton methods without strong convexity
本文首次给出正则化SR1拟牛顿法在仅满足KŁ性质的非凸非光滑问题上的非渐近显式超线性收敛速率，无需强凸性、线搜索或信赖域等条件，并进一步将类似结果推广到凸问题的梯度正则化方法。
2025-08-19 math.OC
A regularized Newton method for $\ell_q$-norm composite optimization problems
本文针对非凸非光滑的 $\ell_q$-范数正则化复合优化问题，提出混合近端梯度与子空间正则化牛顿法的 HpgSRN 算法，证明了其在温和条件下的有限步收敛与超线性收敛速率，且数值实验表明其计算时间显著优于 ZeroFPR。
2023-06-25 math.OC
Distributed Gradient-Regularized Newton Method: Scheduled Consensus and O(epsilon^{-1}) Global Iteration Complexity
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出了一种完全去中心化的二次优化方法DisGrem，用于解决网络上的凸共识优化问题。该方法通过两阶段 gossip-mixing 机制进行通信，结合消失梯度范数正则化和特征值位移稳定器，实现了O(epsilon^{-1})的迭代复杂度，匹配中心化正则化牛顿方法的收敛速度，无需线搜索或步长调整。
2026-05-19 math.OC
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia（弗吉尼亚大学）
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian，这是专门为立方正则化方法设计的。我们表明，我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用，这优于国家的最先进的立方正则化算法，包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
An Inexact Projected Regularized Newton Method for Fused Zero-norms Regularization Problems
针对带盒约束的融合零范数正则化问题，本文提出近端梯度与不精确投影正则化牛顿的混合算法，证明其收敛性并建立超线性收敛速率，数值实验验证了模型与算法的优越性。
2023-12-25 math.OC
Iteration complexity analysis of random coordinate descent methods for $\ell_0$ regularized convex problems
本文分析了一类求解$\ell_0$正则化最优化问题的一般随机块坐标下降法，即目标函数由光滑凸函数和$\ell_0$正则化函数组成.我们的方法家族涵盖了诸如随机块坐标梯度下降和随机邻近坐标下降法等特殊情况。我们分析了必要的最优性条件，这个非凸$\ell_0$正则化问题，并设计了一个分离的局部极小值集的限制类的基础上的近似版本的目标函数。我们提供了一个统一的分析的几乎必然收敛这一家庭的块坐标下降算法，并证明，对于每个近似版本，极限点是局部极小从相应的限制类的局部极小。在强凸性假设下，我们证明了这类方法的概率线性收敛。
2014-07-18 math.OC
Proximal Stochastic Newton-type Gradient Descent Methods for Minimizing Regularized Finite Sums
本文将Jascha \cite{sohl2014fast}和Lee \cite{lee2012proximal}最近的两个完全不同的工作分别推广和统一为一个，提出了优化两个凸函数（一个是大量光滑凸函数的平均值，另一个是非光滑凸函数）和的\textbf{prox} s \textbf{to}随机\textbf{N}牛顿型梯度（PROXTONE）方法.虽然最近提出的一组邻近随机梯度方法，包括MISO，Prox-SDCA，Prox-SVRG和SAG，以线性速率收敛，但PROXTONE包含二阶信息以获得更强的收敛结果，它不仅在目标函数的值中实现线性收敛速率，而且在\emph{solution}中也实现线性收敛速率。证明简单直观，所得结果和技巧可作为研究二阶信息近似随机方法的一个开端。
2014-10-29 math.OC
A Note on Inexact Condition for Cubic Regularized Newton's Method
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文考虑了不精确的正则化牛顿法（CR），它已被证明在\cite{Cartis2011a}中实现了与精确CR \citep{Nesterov2006}相同的阶级收敛速度。然而，\cite{Cartis2011a}中的不精确条件由于其对未来迭代变量的依赖性而不可实现。本文通过证明非凸优化在仅依赖于当前最优解的不精确自适应条件下具有相同的收敛速度来解决这个问题。我们的证明控制了函数值在总迭代中的充分减少，而不是像以前的研究中使用的每次迭代，这在其他情况下可能是独立的。
2018-08-22 cs.LG math.OC
Cubic Regularization Technique of the Newton Method for Vector Optimization
本研究针对无约束向量优化问题提出无凸性假设的牛顿法三次正则化技术，无需线搜索即可实现$O(k^{-2/3})$全局收敛与局部q-二次收敛，能生成弱有效点并推导了下降步参数条件，通过测试算例验证了性能。
2025-05-17 math.OC
Envelope Cubic Regularized Newton Method for Nonconvex-Strongly-Concave Minimax Optimization
针对非凸-强凹极小极大优化问题，提出包络三次正则化牛顿法（ECRN），其复杂度在对数因子内最优，改进了现有二阶方法的条件数依赖度。
2026-10-14 math.OC
A Distributed Cubic-Regularized Newton Method for Smooth Convex Optimization over Networks
Massachusetts Institute of Technology（麻省理工学院）
提出了一种求解网络上大规模凸优化的分布式正则化牛顿算法。该方法只需要本地计算和通信，适用于任意网络拓扑结构的联邦学习应用。当费用函数为凸函数且具有Lipschitz梯度和Hessian函数时，证明了$O(k^{{-}3})$的收敛速度，其中$k$为迭代次数.我们还提供了网络相关的界限，在算法的每一步所需的通信。我们提供了数值实验，验证我们的理论结果。
2020-07-07 cs.LG cs.MA math.OC
Riemannian Adaptive Regularized Newton Methods with Hölder Continuous Hessians
本文提出统一 RTR 与 RAR 的黎曼自适应正则化 Newton 框架，在 Hölder 连续 Hessian、收缩和非精确求解条件下证明了尖锐的迭代与 Hessian-向量积复杂度。
2025-05-13 math.OC
A Proximal Quasi-Newton Trust-Region Method for Nonsmooth Regularized Optimization
我们提出了一个置信域方法来最小化光滑项$f$和非光滑项$h$之和，这两个项都可以是非凸的。我们的方法的每一次迭代最小化一个可能的非凸模型的$f + h$的信任区域。该模型与$f + h$在数值和次微分上一致。当$f$满足一个光滑条件，特别是当它具有Lipschitz连续梯度，并且$h$是适当的下半连续时，我们建立了整体收敛到一阶稳定点的条件.要求$h$的模型是适当的、下半连续的和有界的。在这些弱的假设下，我们建立了一个最坏情况下的$O(1/ε^2)$迭代复杂性界匹配的最佳已知的复杂性界的标准置信域光滑优化方法。我们详细介绍了一个特殊的情况下，命名为TR-PG，在其中我们使用有限记忆拟牛顿模型的$f$和计算一个步骤与邻近梯度法，从而产生一个实用的邻近拟牛顿法。我们建立了类似的收敛性和复杂性界的二次正则化变量，命名为R2，并提供了一个解释为近端梯度法与自适应步长的非凸问题。R2也可以用于计算置信域方法内部的步骤，从而产生名为TR-R2的实现。我们描述了我们的Julia实现和报告的数值结果从稀疏优化和信号处理的反问题。TR-PG和TR-R2都表现出良好的性能，并与两种基于凸模型的线性逼近拟牛顿法相比较。
2021-08-03 math.OC
DC algorithms for a class of sparse group $\ell_0$ regularized optimization problems
本文考虑一类稀疏群$\ell_0$正则化最优化问题。首先，我们给出了所考虑问题的一个连续松弛模型，并建立了这两个问题在全局极小意义下的等价性。然后，我们定义了松弛问题的一类不动点，并证明了任何定义的不动点都是所考虑的稀疏群$\ell_0$正则化问题的局部极小点，并且满足其全局极小点的一个期望性质.进一步，基于松弛问题的凸差分（DC）结构，我们设计了两个求解松弛问题的DC算法。我们证明了由它们生成的迭代的任何聚点都是松弛问题的一个驻点。特别地，所有的聚集点具有公共的支撑集和非零项的统一的下界，并且它们的零项可以在有限的迭代内获得。此外，我们证明了所提出的算法产生的整个迭代的收敛性。最后，我们给出了一些数值实验来证明所提出的算法的有效性。
2022-05-05 math.OC
A Stochastic Iteratively Regularized Gauss-Newton Method
本文提出随机迭代正则化高斯-牛顿方法（SIRGNM），通过小批量随机草图化扩展经典反问题算法，在二维椭圆PDE实验中以相近精度显著降低计算时间。
2024-09-19 cs.NA math.NA math.OC
A Regularized Newton-Type Method for Manifold--Affine Intersection Problems under Intrinsic Transversality
University of Science and Technology of China（中国科学技术大学）
提出正则化牛顿-SLRA算法解决流形与仿射子空间交集问题，在弱横截条件下实现线性收敛，在横截条件下达到二次收敛，并验证了近似投影变体的鲁棒性。
2026-09-18 cs.NA math.NA math.OC
An Inexact Modified Quasi-Newton Method for Nonsmooth Regularized Optimization
GERAD and Department of Mathematics and Industrial Engineering, Polytechnique Montréal（蒙特利尔高等商学院数学与工业工程系、GERAD）
该研究针对非光滑正则化优化问题，提出iR2N方法，可对光滑函数与下半连续近端有界函数之和进行不精确评估，通过近似最小化相关模型及正则项实现全局收敛，实验验证了其有效性与灵活性，能减少计算量。
2026-07-17 math.OC
An adaptive ADMM with regularized spectral penalty for sparse portfolio selection
本文针对稀疏投资组合选择中的过拟合问题，提出$\ell_{1}$正则化MV模型的初始正则化参数方案和自适应卖空控制策略，并设计基于正则化Barzilai-Borwein步长的改进ADMM算法，数值实验验证了其有效性。
2025-03-08 math.OC
Regularized Newton Method with Global $O(1/k^2)$ Convergence
CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）；Inria（法国国家信息与自动化研究所）
我们提出了一个牛顿型的方法，收敛速度快，从任何初始化和任意凸目标Lipschitz海森。我们实现这一点合并的想法，立方正则化与一定的自适应Levenberg-马夸特罚款。特别是，我们表明，迭代由$x^{k+1}=x^k - \bigl(\nabla^2 f(x^k) + \sqrt{H\|\nabla f(x^k)\|} \mathbf{I}\bigr)^{-1}\nabla f(x^k)$，其中$H>0$是一个常数，全局收敛的$\mathcal{O}(\frac{1}{k^2})$率。我们的方法是牛顿法的第一个变种，既有廉价的迭代和可证明的快速整体收敛。此外，我们证明了局部我们的方法超线性收敛时，目标是强凸的。为了提高该方法的性能，我们提出了一个线搜索过程，不需要$H$的先验知识，是证明有效的。
2023-03-01 cs.LG math.OC
A Single-Loop Regularized Newton Method for Nonconvex-Strongly-Concave Minimax Optimization
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
针对光滑非凸-强凹极小极大问题，提出一种基于等价正则化最小化重构的单循环框架，通过自适应三次-二次主化处理非Lipschitz Hessian分量，实现全局复杂度匹配双循环二阶方法，并自动获得局部超线性收敛率。
2026-06-05 math.OC
An Efficient Linearly Convergent Regularized Proximal Point Algorithm for Fused Multiple Graphical Lasso Problems
如今，分析来自不同类别或跨时间网格的数据已经引起了极大的兴趣。因此，通过引入图中的稀疏性和多个图之间的相似性，已经导出了用于同时学习图形模型的集合的各种多个图形模型。本文重点研究了融合的多图Lasso模型，它不仅鼓励共享稀疏模式，而且鼓励共享不同图之间的边值。为了求解该模型，我们提出了一种有效的正则化邻近点法，其中算法每次迭代的子问题由超线性收敛的半光滑牛顿法求解。为了实现半光滑牛顿法，我们推导了融合多重图Lasso正则化子的邻近映射的广义雅可比矩阵的显式表达式。与那些广泛使用的一阶方法不同，我们的方法通过半光滑牛顿方法大量利用了潜在的二阶信息。这不仅可以加快算法的收敛速度，而且提高了算法的鲁棒性。我们所提出的算法的效率和鲁棒性证明了一些国家的最先进的方法在合成和真实的数据集进行比较。本文的补充材料可在网上查阅。
2019-02-19 math.OC
A Second-Order Method for Convex $\ell_1$-Regularized Optimization with Active Set Prediction
我们描述了一个有效集方法的目标函数$ϕ$，这是一个光滑的凸函数和$\ell_1$ -正则项的总和的最小化。该方法的一个显着特征是集成活动集识别和{二阶}子空间最小化步骤以结合这两种方法的预测能力的方式。在每次迭代中，该算法选择一个自由和固定变量的候选集，执行（不精确的）子空间阶段，然后评估新的活动集的质量。如果判断为不可接受，则限制自由变元的集合，并进行新的有效集预测。我们建立整体收敛我们的方法，并比较新的方法对国家的最先进的代码LIBLINEAR。
2015-05-16 math.OC
An Algorithm for Quadratic $\ell_1$-Regularized Optimization with a Flexible Active-Set Strategy
我们提出了一种有效集方法，用于最小化目标是凸二次和$\ell_1$正则项的总和。与结合一阶有效集识别步骤和由共轭梯度（CG）迭代的\emph{cycle}组成的子空间相位的两阶段方法不同，这里提出的方法具有在每次迭代计算一阶邻近梯度步骤或子空间CG步骤的灵活性。执行哪种类型的步骤的决定是基于目标函数的最小范数次梯度的一些缩放分量的相对幅度。本文建立了全局收敛速度，以及我们的方法，我们称之为iiCG方法的两个变体的工作复杂性估计。数值结果说明了各种测试问题的方法的行为。
2014-12-04 math.OC
Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon Web Services（亚马逊云科技）；Technion – Israel Institute of Technology（以色列理工学院）；University of Minnesota（明尼苏达大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出一种在Krylov子空间内执行更新的子空间立方正则化牛顿法，首次实现了与维度无关的全局收敛速率，并在高维凸优化问题中显著优于随机子空间方法。
2024-01-05 cs.LG math.OC stat.ML
