An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法，在最坏的情况下，该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$，并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架，涵盖了广泛的技术，包括二次和三次正则化牛顿方法，如自适应正则化使用三次（ARC）方法和最近提出的信赖域算法与收缩和扩张（TRACE）。我们的方法的一般性是通过引入通用的条件，每个试验步骤需要满足，特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题，可以近似求解，以获得满足条件的试验步骤。一个新的实例的框架，不同的ARC和TRACE，可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明，我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
An Extended Newton-type Algorithm for $\ell_2$-Regularized Sparse Logistic Regression and Its Efficiency for Classifying Large-scale Datasets
稀疏逻辑斯谛回归作为一种有效的分类工具，从最初的$\ell_1$正则化模型到稀疏约束模型，在近二十年来得到了长足的发展。本文用牛顿法对稀疏约束下的逻辑斯谛回归进行了研究。我们首先建立与$τ$ -平稳点相关联的一阶最优性条件。这一点可以等效地解释为一个方程组，然后用牛顿法有效地求解。该方法具有相当低的计算复杂性，并具有全局和平方收敛性质。随机和真实数据的数值实验证明了其优越的性能时，对七个国家的最先进的求解器。
2021-11-19 math.OC
IMRO: a proximal quasi-Newton method for solving $l_1$-regularized least square problem
我们提出了一种近似的拟牛顿法，其中Hessian的近似在每次迭代中具有特殊的“单位减秩1”（IMRO）格式。所提出的结构使我们能够有效地恢复近端点。该算法被应用到$l_1$ -正则化最小二乘问题，在许多应用中出现，包括稀疏恢复压缩感知，机器学习和统计。我们的数值实验表明，所提出的技术与其他国家的最先进的解决这类问题的有利竞争。我们还提供了一个复杂性分析IMRO的变种，显示它匹配已知的最佳界限。
2017-01-19 math.OC
Theoretical analysis of the randomized subspace regularized Newton method for non-convex optimization
本文提出随机子空间正则化牛顿法用于非凸优化，证明其全局收敛且速率与完整正则化牛顿法相同，并给出局部线性收敛速率及Hessian秩亏时的超线性收敛结果。
2025-09-20 math.OC
Modified Block Newton Algorithm for $\ell_0$-Regularized Optimization
Beijing Institute of Technology（北京理工大学）
本文提出改进的块牛顿算法，用于解决ℓ0正则化稀疏优化问题，通过线搜索策略实现全局收敛并提高计算效率。
2025-11-25 math.OC
Newton method for $\ell_0$-regularized optimization
正则化是稀疏优化中常用的一种方法。这导致了正则化优化，旨在最小化表征稀疏性的$\ell_0$范数或其连续代理。从代理的连续性到$\ell_0$范数的离散性，最具挑战性的模型是$\ell_0$ -正则化优化。为了克服这一困难，有大量的工作在发展数值有效的方法。然而，他们中的大多数人只享受要么（子）序列收敛到一个固定的点从确定性优化的角度来看，或之间的距离，每个子序列和任何给定的稀疏参考点是有界的误差界的概率意义上。在本文中，我们开发了一个牛顿型方法的$\ell_0$ -正则化优化，并证明了所产生的序列收敛到一个稳定点的标准假设下，全球和二次，从理论上解释，我们的方法是能够执行令人惊讶的好。
2020-08-14 math.OC
A Regularized Hessian-Free Inexact Newton-Type Method with Global $\mathcal{O}(k^{-2})$ Convergence
Oregon State University（俄勒冈州立大学）；Catholic Pontifical University（天主教宗座大学）；Federal University of Delta do Parnaíba（帕纳伊巴三角洲联邦大学）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种正则化Hessian自由牛顿型方法，用于优化具有Lipschitz连续Hessian的光滑凸函数，通过有限差分构造近似Hessian并自适应选择正则化参数，实现全局$\mathcal{O}(k^{-2})$收敛，且在部分问题上计算效率更高。
2026-04-30 math.OC
Subspace Newton's Method for $\ell_0$-Regularized Optimization Problems with Box Constraint
本文针对带盒约束的 $\ell_0$ 正则化稀疏优化问题，提出子空间牛顿法，通过 $\tau$-稳定点划分支撑集，结合牛顿法与近端梯度法更新变量，证明了全局收敛和局部二次收敛，实验验证了效率。
2025-05-23 math.OC
Adaptive Regularized Newton Method for Riemannian Optimization
黎曼流形上的优化问题广泛应用于特征值计算、密度泛函理论、玻色-爱因斯坦凝聚、低秩最近相关、图像配准和信号处理等领域。本文提出了一种自适应正则化牛顿方法，该方法在保持黎曼流形约束的前提下，利用欧几里得空间中的二阶泰勒展开逼近原目标函数。正则化项的目标函数的子问题，使我们能够建立一个柯西点的条件作为标准的信赖域方法证明整体收敛。子问题可以不精确地解决，无论是一阶方法或修改的黎曼牛顿法。在后一种情况下，它可以进一步利用负曲率方向。在较弱的条件下，保证了算法的整体收敛和超线性局部收敛。大量的计算实验和与其他国家的最先进的方法的比较表明，该算法是非常有前途的。
2017-08-07 math.OC
Faster stochastic cubic regularized Newton methods with momentum
本文提出带动量方差缩减的更快随机三次正则化牛顿方法，通过低误差梯度估计和动量海森估计降低计算成本，并在温和假设下证明迭代复杂度，实验表明其性能接近确定性CRN方法且显著优于一阶方法。
2025-07-17 math.OC
Dual Newton Proximal Point Algorithm for Solution Paths of the L1-Regularized Logistic Regression
本文提出对偶牛顿近端点算法PPDNA求解带偏置项的L1正则化逻辑回归，利用二阶稀疏性降低子问题计算成本，并设计自适应筛选AS策略生成解路径，实验验证其优于现有二阶算法。
2023-10-30 math.OC
Inexact Proximal Cubic Regularized Newton Methods for Convex Optimization
在本文中，我们使用近似三次正则化牛顿方法（PCNM）优化光滑凸函数和非光滑凸函数的总和，其中我们使用不精确梯度和Hessian，以及三次正则化二阶子问题的不精确子求解器。我们分别提出了PCNM和加速PCNM的不精确变体，并证明了这两种变体可以达到与精确情况相同的收敛速度，前提是不精确梯度、Hessian和子求解器中的误差以适当的速率减小。同时，在数据源源不断的在线随机设置中，我们给出了所提出的算法的总体复杂度，并表明它们与随机梯度下降一样具有竞争力。此外，我们给出了所提出的算法在有限和设置的整体复杂性，并表明它是最先进的方差减少算法的竞争力。最后，我们提出了一个有效的算法的立方正则二阶子问题，它可以收敛到一个足够小的邻域的最优解在一个超线性的速度。
2019-02-26 math.OC
Riemannian Stochastic Variance-Reduced Cubic Regularized Newton Method for Submanifold Optimization
我们提出了一个随机方差缩减的三次正则牛顿算法来优化欧几里得空间的黎曼子流形上的有限和问题。该算法需要在每个历元开始时进行全梯度和Hessian更新，同时在每个历元内的迭代中进行随机方差减少更新。计算了$O(ε^{-3/2})$的迭代复杂度，得到了一个$(ε,\sqrtε)$ -二阶稳定点，即，当流形嵌入在欧几里得空间中时，建立了黎曼梯度范数上界为$ε$，黎曼Hessian最小特征值下界为$-\sqrtε$的点.此外，本文提出了一个计算上更吸引人的修改算法，只需要一个不精确的解决方案的立方正则牛顿子问题具有相同的迭代复杂度。该算法进行了评估，并与其他三个黎曼二阶方法在两个数值研究估计的逆尺度矩阵的多元t-分布的对称正定矩阵的流形上，估计球形流形上的线性分类器的参数。
2022-07-21 math.OC
Cubic Regularized Newton Method for Saddle Point Models: a Global and Local Convergence Analysis
提出了一种求解凸凹鞍点问题的三次正则化牛顿（CRN）方法。在每次迭代中，构造并求解一个三次正则化的鞍点子问题，为迭代算法提供搜索方向。当鞍点函数为梯度Lipschitz函数和强凸-强凹函数时，通过适当选择步长，证明了该方法以全局线性和局部超线性收敛速率收敛到鞍点.在函数仅仅是凹凸的情况下，我们提出了一种同伦延拓（或路径跟踪）方法。在Lipschitz型误差界条件下，利用同伦延拓方法给出了$ε$的迭代复杂度界，并在含有参数$θ$（$0<θ<1$）的Hölderian型误差界条件下，得到了迭代复杂度界为$\mathcal{O}\left(\left(1/ε\right)^{\frac{1-θ}{θ^2}}\right)$.
2020-08-22 math.OC
Lagrange Multipliers, (Exact) Regularization and Error Bounds for Monotone Variational Inequalities
我们研究单调变分不等式的两个中心正则化策略，第一个是操作单调映射的直接正则化，第二个是通过相关的对偶间隙函数的正则化。这些不同的正则化问题的解集之间的关系的一个关键环节是精确正则化的思想，这反过来又从根本上与正则化变分不等式的拉格朗日乘子的存在性相关。如果正则化问题的解是非正则化问题的解，并且所有参数都超过某个值，则称正则化是精确的。另一方面，对应于变分不等式的特定正则化的拉格朗日乘子通过对偶间隙函数来定义。我们的分析提出了各种概念，迭代正则化的数值方案，我们提供误差界，因此停止标准，在额外的假设下，解决方案集的非正则化问题是我们所谓的弱尖锐的顺序大于一。
2015-11-02 math.OC
On the complexity of proximal gradient and proximal gradient-Newton-CG methods for $\ell_1$-regularized Optimization
School of Mathematical Sciences, Jiangsu University（江苏大学数学科学学院）
提出两种基于不同近似二阶稳定点定义的二阶方法，用于求解\(\ell_1\)正则化复合优化问题，并分析其迭代复杂度、操作复杂度及局部超线性收敛率，数值实验验证了有效性。
2026-09-10 math.OC
Multilevel Regularized Newton Methods with Fast Convergence Rates
UniDistance Suisse（瑞士远程大学）；Imperial College（帝国理工学院）
该研究提出用于大规模无约束优化的正则化多层牛顿方法，利用低维粗粒度子问题二阶信息正则化，证明其全局收敛且速率优于梯度下降，凸函数下达$\boldsymbol{\text{O}}(k^{-2})$，数值实验显示其性能优于现有最优方法。
2026-10-07 math.OC
Inexact Regularized Quasi-Newton Algorithm for Solving Monotone Variational Inequality Problems
针对单调变分不等式求解问题，提出一种结合新型价值函数与超平面全局化技术的非精确正则化拟牛顿算法，具备无正则性假设下的全局收敛性，数值实验验证了其效率。
2025-05-18 math.OC
Regularized Overestimated Newton
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本研究提出正则化高估牛顿法（RON），兼具低迭代成本与强收敛保证，通过海森高估误差插值梯度下降与正则化牛顿法，结合随机秩-$k$近似实现高效变体，在熵最优输运等实验中验证了理论结论。
2025-09-30 math.OC
An Inexact Regularized Proximal Newton Method without Line Search
针对光滑函数与凸非光滑函数之和的最小化问题，提出一种无需线搜索、依据上次迭代成败更新正则化参数的 IRPNM，并证明其全局与超线性收敛性。
2024-04-08 math.OC
Cubic-Regularized Newton for Spectral Constrained Matrix Optimization and its Application to Fairness
University of Minnesota（明尼苏达大学）
利用矩阵函数将光滑谱约束矩阵最优化问题改写为对称矩阵集上的光滑无约束问题，然后用正则化牛顿法求解.证明了矩阵函数的二阶链式法则恒等式可以计算高阶导数来实现三次正则化牛顿，并对矩阵向量空间的三次正则化牛顿提供了新的收敛性分析。我们证明了我们的方法的适用性进行数值实验合成和真实的数据集。在我们的实验中，我们制定了一个新的模型来估计公平和强大的协方差阵的泰勒的M-估计（TME）模型的精神，并证明其优势。
2022-09-02 cs.LG math.OC
Extended convergence analysis of the Scholtes-type regularization for cardinality-constrained optimization problems
我们推广了基数约束最优化问题的Scholtes型正则化方法的收敛性分析。它的行为是澄清附近的鞍点，而不仅仅是极小，因为它已经在以前的文献中完成。这成为可能，通过使用作为一个中间步骤，最近推出的基数约束最优化问题的正则化连续重新制定。我们表明，Scholtes型正则化方法是定义良好的局部周围的非退化的T-平稳点，这种正则化的连续重新。此外，相应的Scholtes型正则化的非退化Karush-Kuhn-Tucker点收敛到具有相同指标的T-平稳点，即其拓扑型持续存在.总的来说，我们的结论是，整体结构的正则化连续reformulation和Scholtes型正则化基本上是一致的。
2022-12-30 math.OC
A Bregman Regularized Proximal Point Method for Solving Equilibrium Problems on Hadamard Manifolds
Technion – Israel Institute of Technology（以色列理工学院）
研究Hadamard流形上单调平衡问题，提出Bregman正则化近端点算法，通过对正则化项集合凸性的强假设及较弱的Bregman函数强制性条件，证明算法收敛，数值实验验证了该方法的有效性。
2026-11-10 math.OC
Global $o(1/k^2)$ Merit Complexity of Regularized Newton Methods for Convex Multiobjective Optimization
School of Mathematical Sciences, Shenzhen University（深圳大学数学与统计学院）
针对凸多目标优化问题，提出一种正则化牛顿方法，利用Tanabe型优度函数证明在紧性假设下全局渐近收敛率为$o(1/k^2)$，并通过一维反例说明该指数在一致多项式意义下是最优的。
2026-06-29 math.OC
Regularized Nonsmooth Newton Algorithms for Best Approximation
针对多面体集合最佳逼近及大规模线性规划求解问题，提出雅可比奇异的正则化非光滑牛顿算法，实验显示其性能优于经典HLWB投影法，还衍生出垫脚石外部路径跟踪算法及多种应用，并引入缩放方法提升效率鲁棒性。
2023-06-09 math.OC
Adaptive Regularized Newton Method with Inexact Hessian
Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)（人工智能基础研究实验室）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Innopolis University（伊诺波利斯大学）
本文提出了一种自适应正则化牛顿法，通过使用近似Hessian和Bregman散度，降低计算成本并实现非凸和凸问题的全局收敛。
2025-12-09 math.OC
Practical Regularized Quasi-Newton Methods with Inexact Function Values
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出了一种噪声容忍的正则化拟牛顿方法，通过结合正则化参数更新规则和AdaGrad-Norm方法，实现了在存在误差的情况下达到一阶 stationary 点的全局收敛率，并在多个基准测试中展示了更高的稳健性和效率。
2026-10-14 math.OC
A General Regularized Continuous Formulation for the Maximum Clique Problem
在本文中，我们开发了一个通用的正则化为基础的连续优化框架的最大团问题。特别是，我们考虑了广泛的一类正则化条款，可以包括在经典的Motzkin-Strauss制定，我们开发的条件，保证连续正则化问题和原来的一个在全局和局部意义上的等价性。我们进一步分析，从计算的角度来看，两个不同的正则化满足一般条件。
2017-09-07 math.OC
Twice regularized MDPs and the equivalence between robustness and regularization
Technion（以色列理工学院）；Google Research, Brain Team（谷歌研究院大脑团队）；NVIDIA Research（英伟达研究院）
鲁棒马尔可夫决策过程（MDP）旨在处理变化或部分已知的系统动态。为了解决这些问题，人们通常求助于鲁棒优化方法。然而，这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面，正则化的MDP在策略学习中表现出更好的稳定性，而不会降低时间复杂度。然而，它们通常不包含模型动态中的不确定性。在这项工作中，我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此，我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP：这导致正则化项对价值函数具有额外的依赖性。最后，我们将正则化的MDP推广到两次正则化的MDP（R ${}^2$ MDP），即，具有$\textit{both}$值和策略规则化的MDP。相应的Bellman算子使得能够开发具有收敛性和鲁棒性保证的策略迭代方案。它还将健壮的MDP中的规划和学习减少到正则化的MDP。
2021-10-12 cs.LG math.OC
An inexact regularized proximal Newton method for nonconvex and nonsmooth optimization
本文针对非凸非光滑优化问题，提出基于KKT残差幂次海森近似的非精确正则化近似牛顿法，证明了不同参数下的收敛性与收敛速率，并通过数值实验验证了方法的高效性。
2023-11-08 math.OC
An Inexact Projected Regularized Newton Method for Fused Zero-norms Regularization Problems
针对带盒约束的融合零范数正则化问题，本文提出近端梯度与不精确投影正则化牛顿的混合算法，证明其收敛性并建立超线性收敛速率，数值实验验证了模型与算法的优越性。
2023-12-25 math.OC
Generalized Metric Subregularity with Applications to High-Order Regularized Newton Methods
该研究提出广义度量次正则性概念并构建扩展收敛框架，同时设计带动量步的高阶正则化牛顿法，证明其收敛性并在非凸过参数化压缩感知中实现全局二次局部收敛。
2024-06-19 math.OC
SingCubic: Cyclic Incremental Newton-type Gradient Descent with Cubic Regularization for Non-Convex Optimization
本文将~ \cite{shi2015large}和~ \cite{cartis2012adaptive}最近两个完全不同的工作推广统一为一个，提出了一种优化非凸函数的循环增量牛顿型梯度下降三次正则化方法（SingCubic）.通过SingCubic的迭代，保持并求解了一个利用Hessian信息的三次正则化全局二次逼近。初步的数值实验表明，令人鼓舞的性能SingCubic算法相比，基本的增量或随机牛顿型实现。本文的结果和方法对基于三次正则化的增量牛顿型梯度下降法的研究具有一定的启发意义。本文提出的方法和原理可用于逻辑斯谛回归、自动编码器训练、独立成分分析、伊辛模型/Hopfield网络训练、多层感知器、深度卷积网络训练等。我们将很快开源部分实现。
2020-02-17 math.OC
Bilevel Optimization of the Kantorovich Problem and its Quadratic Regularization Part II: Convergence Analysis
本文研究了一类受Kantorovich最优运输问题约束的最优化问题。这个双层最优化问题可以转化为正则Borel测度空间中的一个带互补约束的数学问题。由于互补关系引起的非光滑性，这类问题经常被正则化。在这里，我们应用Kantorovich问题的二次正则化。正如标题所示，这是一系列三篇论文中的第二部分。第一部分证明了双层Kantorovich问题及其正则化双层Kantorovich问题的最优解的存在性，本文讨论了正则化双层Kantorovich问题解对原双层Kantorovich问题解的（弱-*）收敛性。
2022-11-14 math.OC
Tikhonov regularized inertial primal-dual dynamics for convex-concave bilinear saddle point problems
针对凸-凹双线性鞍点问题，提出含慢阻尼、外推和时间尺度参数的 Tikhonov 正则化二阶原始-对偶动力系统，并依据正则化参数消失速度建立收敛率与最小范数解强收敛性。
2024-09-09 math.OC
A dual based semismooth Newton method for a class of sparse Tikhonov regularization
众所周知，Tikhonov正则化是求解不适定问题最常用的方法之一。最广泛应用的方法之一是基于构建一个新的数据集，其样本量大于原始数据集。扩大的样本量可能会带来额外的计算困难。本文的目的是充分利用Tikhonov正则化，在不破坏数据集结构的情况下，发展一种基于对偶的半光滑牛顿（DSSN）方法。从理论的角度，我们将表明，\blue{the DSSN method is a globally convergent method with at least R-superlinear rate of convergence.}在数值计算方面，我们评估的DSSN方法的性能，通过解决一类稀疏Tikhonov正则化与高维数据集。
2020-12-10 math.OC
Dynamic Non-Diagonal Regularization in Interior Point Methods for Linear and Convex Quadratic Programming
本文提出了一种动态非对角正则化的内点方法。该正则化的非对角方面是隐式的，因为正则化矩阵的所有非对角元素被牛顿系统中存在的那些元素抵消，这些元素在牛顿方向的计算中不贡献重要信息。这样的正则化有多个目标。最明显的一个是改善内点法每次迭代求解的牛顿系统的谱性质。另一方面，正则化矩阵向上述线性系引入稀疏性，从而允许更有效的因子分解。我们还提出了一个规则调整的正则化动态的基础上的问题的属性，使足够大的特征值的非正则化系统的扰动不显着。这说明需要通过实验来找到特定的正则化值，这是文献中最常见的方法。给出了非正则化系统矩阵特征值的扰动界，并讨论了正则化矩阵的谱性质。最后，我们证明了该方法适用于解决标准的中小型线性和凸二次规划测试问题的效率。
2019-02-13 math.OC
Minimizing Uniformly Convex Functions by Cubic Regularization of Newton Method
本文研究了求解一致凸复合极小化问题的三次正则化牛顿法的迭代复杂性。我们引入了一定程度的二阶条件数的概念，并证明了线性收敛速率的正则化参数的自适应估计的方法在非退化的情况下。该算法自动实现最佳的可能的全局复杂性界之间的不同问题类的一致凸目标函数与Hölder连续的Hessian的光滑部分的目标。作为我们的发展的副产品，我们证明了一个直观合理的结果，牛顿方法的全局迭代复杂性总是优于梯度法的类强凸函数一致有界的二阶导数。
2021-05-19 math.OC
Gradient Descent Finds the Cubic-Regularized Non-Convex Newton Step
考虑了三次项正则化的非凸二次型的极小化问题，该问题具有多个鞍点和局部极小点。尽管如此，我们证明，在温和的假设下，梯度下降近似的$\textit{global minimum}$内的$\varepsilon$的准确性在$O(\varepsilon^{-1}\log(1/\varepsilon))$步骤大$\varepsilon$和$O(\log(1/\varepsilon))$步骤小$\varepsilon$（相比，我们定义的条件数），最多对数依赖于问题的维度。当我们用梯度下降法来逼近正则化牛顿步时，我们的结果暗示了对一般光滑非凸函数的二阶稳定点的一个收敛速率。
2022-08-30 cs.DS math.OC
A Regularized Semi-Smooth Newton Method With Projection Steps for Composite Convex Programs
本文的目的是研究如何弥补复合凸规划的一阶和二阶序型方法之间的差距。我们的主要意见是：i）许多著名的算子分裂方法，如前向后分裂（FBS）和Douglas-Rachford分裂（DRS），实际上定义了一个不动点映射; ii）复合凸规划的最优解与由不动点映射导出的非线性方程组的解是等价的。求解这类非线性方程组使我们能够发展二阶序型方法。虽然这些非线性方程可能是不可微的，但它们往往是半光滑的，并且由于单调性，它们的广义雅可比矩阵是半正定的。结合正则化方法和已知的超平面投影技术，我们提出了一种自适应半光滑牛顿法，并证明了其收敛性。对$\ell_1$ -极小化问题的初步数值结果表明，我们的二序型算法能够达到超线性或平方收敛.
2016-09-24 math.OC
Parameter-Free Cubic-Regularized Newton Method: Sharp Complexity and Generalized Smoothness
Graduate School of Information Science and Technology, University of Tokyo（东京大学信息理工学系研究科）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）
研究非凸优化的无参数三次正则化牛顿法，在广义光滑性条件下推导找到$(\varepsilon, \delta)$ - 二阶驻点的神谕复杂度界，该条件更弱且复杂度界优于现有无参数二阶方法，特定情况与最优依赖匹配。
2026-07-14 math.OC
Nonsmooth Newton methods with effective subspaces for polyhedral regularization
Oakland University（奥克兰大学）
本文提出非光滑牛顿方法结合有效子空间，用于高效求解多面体正则化的凸优化问题，展现快速收敛性与广泛适用性。
2026-09-15 math.OC
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia（弗吉尼亚大学）
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian，这是专门为立方正则化方法设计的。我们表明，我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用，这优于国家的最先进的立方正则化算法，包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
A Note on Inexact Condition for Cubic Regularized Newton's Method
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文考虑了不精确的正则化牛顿法（CR），它已被证明在\cite{Cartis2011a}中实现了与精确CR \citep{Nesterov2006}相同的阶级收敛速度。然而，\cite{Cartis2011a}中的不精确条件由于其对未来迭代变量的依赖性而不可实现。本文通过证明非凸优化在仅依赖于当前最优解的不精确自适应条件下具有相同的收敛速度来解决这个问题。我们的证明控制了函数值在总迭代中的充分减少，而不是像以前的研究中使用的每次迭代，这在其他情况下可能是独立的。
2018-08-22 cs.LG math.OC
A Distributed Cubic-Regularized Newton Method for Smooth Convex Optimization over Networks
Massachusetts Institute of Technology（麻省理工学院）
提出了一种求解网络上大规模凸优化的分布式正则化牛顿算法。该方法只需要本地计算和通信，适用于任意网络拓扑结构的联邦学习应用。当费用函数为凸函数且具有Lipschitz梯度和Hessian函数时，证明了$O(k^{{-}3})$的收敛速度，其中$k$为迭代次数.我们还提供了网络相关的界限，在算法的每一步所需的通信。我们提供了数值实验，验证我们的理论结果。
2020-07-07 cs.LG cs.MA math.OC
A Stochastic Iteratively Regularized Gauss-Newton Method
本文提出随机迭代正则化高斯-牛顿方法（SIRGNM），通过小批量随机草图化扩展经典反问题算法，在二维椭圆PDE实验中以相近精度显著降低计算时间。
2024-09-19 cs.NA math.NA math.OC
Regularized Step Directions in Nonlinear Conjugate Gradient Methods
本文提出CGM的混合三次正则化方法，利用Shanno的无记忆BFGS重新表述推导出计算量同级的新正则化步长方向，在更少假设下实现全局收敛，数值实验表明其减少了迭代次数与运行时间。
2024-08-28 math.OC stat.CO
A Regularized Newton-Type Method for Manifold--Affine Intersection Problems under Intrinsic Transversality
University of Science and Technology of China（中国科学技术大学）
提出正则化牛顿-SLRA算法解决流形与仿射子空间交集问题，在弱横截条件下实现线性收敛，在横截条件下达到二次收敛，并验证了近似投影变体的鲁棒性。
2026-09-18 cs.NA math.NA math.OC
Quantitative Convergence of Quadratically Regularized Linear Programs
本研究量化了二次正则化线性规划解的收敛性，给出了正则化参数的精确阈值及阈值前后的次优性界限，并应用于最优输运，揭示了与数据点数的依赖关系。
2025-04-22 math.AP math.OC math.PR
Regularized Newton Method with Global $O(1/k^2)$ Convergence
CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）；Inria（法国国家信息与自动化研究所）
我们提出了一个牛顿型的方法，收敛速度快，从任何初始化和任意凸目标Lipschitz海森。我们实现这一点合并的想法，立方正则化与一定的自适应Levenberg-马夸特罚款。特别是，我们表明，迭代由$x^{k+1}=x^k - \bigl(\nabla^2 f(x^k) + \sqrt{H\|\nabla f(x^k)\|} \mathbf{I}\bigr)^{-1}\nabla f(x^k)$，其中$H>0$是一个常数，全局收敛的$\mathcal{O}(\frac{1}{k^2})$率。我们的方法是牛顿法的第一个变种，既有廉价的迭代和可证明的快速整体收敛。此外，我们证明了局部我们的方法超线性收敛时，目标是强凸的。为了提高该方法的性能，我们提出了一个线搜索过程，不需要$H$的先验知识，是证明有效的。
2023-03-01 cs.LG math.OC
Convergence rate of Tsallis entropic regularized optimal transport
该研究针对连续场景下的Tsallis熵正则化最优传输问题，证明其Γ收敛于Monge--Kantorovich问题，推导了带显式常数的收敛速率，并证实KL正则化在Tsallis框架下收敛速率最快。
2024-10-07 math.FA math.OC math.PR
Q-Learning in Regularized Mean-field Games
Özyeğin University（奥兹耶金大学）；Bilkent University（比尔肯特大学）
在本文中，我们引入了一个正则化的平均场博弈，并研究了这个博弈在无限时域折扣报酬函数下的学习。通过在经典的平均场对策模型的一阶段报酬函数上增加一个强凹的正则化函数来引入正则化。我们建立了一个基于值迭代的学习算法，这个正则化的平均场游戏使用拟合Q-学习。正则化项通常使强化学习算法对系统组件更具鲁棒性。此外，它使我们能够建立误差分析的学习算法，而不强加限制性的凸性假设的系统组件，这是需要在没有一个正则项。
2022-11-10 cs.LG cs.SY eess.SY
Quadratically-Regularized Optimal Transport on Graphs
最优传输提供了一种将几何域上的点之间的距离提升为该域上的信号之间的距离的方法，该距离表示为概率分布。在图上，运输问题可以用来表达具有挑战性的任务，包括以最小的运输费用将供应与需求相匹配;在离散语言中，这些成为最小成本网络流问题。通常需要正则化来确保线性地面距离情况的唯一性并提高优化收敛性;最先进的技术在运输矩阵上采用熵正则化。在本文中，我们探讨了一个二次替代熵正则化的运输图。我们从理论上分析了二次正则化图传输的行为，描述了正则化如何影响小但非零正则化区域的流结构。我们进一步利用优雅的二阶结构在这个问题的对偶推导出一个易于实现的牛顿型优化算法。
2018-03-23 cs.NA math.NA math.OC
Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon Web Services（亚马逊云科技）；Technion – Israel Institute of Technology（以色列理工学院）；University of Minnesota（明尼苏达大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出一种在Krylov子空间内执行更新的子空间立方正则化牛顿法，首次实现了与维度无关的全局收敛速率，并在高维凸优化问题中显著优于随机子空间方法。
2024-01-05 cs.LG math.OC stat.ML
