Global non-asymptotic super-linear convergence rates of regularized proximal quasi-Newton methods on non-smooth composite problems
本文提出两种基于SR1更新的正则化近端拟牛顿方法求解非光滑凸复合问题，首次证明其具有与初始化无关的全局非渐近超线性收敛速率，并在机器学习应用中验证了理论性质。
2024-11-21 math.OC
An Adaptive Regularized Proximal Newton-Type Methods for Composite Optimization over the Stiefel Manifold
本文针对Stiefel流形上的复合优化问题，提出自适应二次正则化近端拟牛顿方法ARPQN和近端牛顿方法ARPN，分别建立了全局/局部线性收敛与局部超线性收敛性质，并通过数值实验验证了其有效性。
2025-02-10 math.OC
Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成，该目标函数是一个光滑项和一个（凸）非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广，如近端牛顿和拟牛顿法。在本文中，我们提出了一个正则化的近似拟牛顿法，其主要特点是：（a）该方法全局收敛到稳定点，（b）全局化由正则化参数控制，不需要线搜索，（c）该方法可以基于简单的观察而非常有效地实现，该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明，该方法优于现有的几种方法。
2022-10-14 math.OC
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法，在最坏的情况下，该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$，并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架，涵盖了广泛的技术，包括二次和三次正则化牛顿方法，如自适应正则化使用三次（ARC）方法和最近提出的信赖域算法与收缩和扩张（TRACE）。我们的方法的一般性是通过引入通用的条件，每个试验步骤需要满足，特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题，可以近似求解，以获得满足条件的试验步骤。一个新的实例的框架，不同的ARC和TRACE，可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明，我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
Cubic-Regularized Newton for Spectral Constrained Matrix Optimization and its Application to Fairness
University of Minnesota（明尼苏达大学）
利用矩阵函数将光滑谱约束矩阵最优化问题改写为对称矩阵集上的光滑无约束问题，然后用正则化牛顿法求解.证明了矩阵函数的二阶链式法则恒等式可以计算高阶导数来实现三次正则化牛顿，并对矩阵向量空间的三次正则化牛顿提供了新的收敛性分析。我们证明了我们的方法的适用性进行数值实验合成和真实的数据集。在我们的实验中，我们制定了一个新的模型来估计公平和强大的协方差阵的泰勒的M-估计（TME）模型的精神，并证明其优势。
2022-09-02 cs.LG math.OC
Convergence analysis of a regularized Newton method with generalized regularization terms for convex optimization problems
针对无约束凸优化问题，提出带广义正则项的通用正则化牛顿法框架，涵盖多种现有及新型RNM，证明其具有与三次RNM一致的全局$\u2a7c(k^{-2})$和局部超线性收敛性。
2024-07-10 math.OC
An Extended Newton-type Algorithm for $\ell_2$-Regularized Sparse Logistic Regression and Its Efficiency for Classifying Large-scale Datasets
稀疏逻辑斯谛回归作为一种有效的分类工具，从最初的$\ell_1$正则化模型到稀疏约束模型，在近二十年来得到了长足的发展。本文用牛顿法对稀疏约束下的逻辑斯谛回归进行了研究。我们首先建立与$τ$ -平稳点相关联的一阶最优性条件。这一点可以等效地解释为一个方程组，然后用牛顿法有效地求解。该方法具有相当低的计算复杂性，并具有全局和平方收敛性质。随机和真实数据的数值实验证明了其优越的性能时，对七个国家的最先进的求解器。
2021-11-19 math.OC
IMRO: a proximal quasi-Newton method for solving $l_1$-regularized least square problem
我们提出了一种近似的拟牛顿法，其中Hessian的近似在每次迭代中具有特殊的“单位减秩1”（IMRO）格式。所提出的结构使我们能够有效地恢复近端点。该算法被应用到$l_1$ -正则化最小二乘问题，在许多应用中出现，包括稀疏恢复压缩感知，机器学习和统计。我们的数值实验表明，所提出的技术与其他国家的最先进的解决这类问题的有利竞争。我们还提供了一个复杂性分析IMRO的变种，显示它匹配已知的最佳界限。
2017-01-19 math.OC
Theoretical analysis of the randomized subspace regularized Newton method for non-convex optimization
本文提出随机子空间正则化牛顿法用于非凸优化，证明其全局收敛且速率与完整正则化牛顿法相同，并给出局部线性收敛速率及Hessian秩亏时的超线性收敛结果。
2025-09-20 math.OC
Modified Block Newton Algorithm for $\ell_0$-Regularized Optimization
本文提出改进的块牛顿算法，用于解决ℓ0正则化稀疏优化问题，通过线搜索策略实现全局收敛并提高计算效率。
2025-11-25 math.OC
Newton method for $\ell_0$-regularized optimization
正则化是稀疏优化中常用的一种方法。这导致了正则化优化，旨在最小化表征稀疏性的$\ell_0$范数或其连续代理。从代理的连续性到$\ell_0$范数的离散性，最具挑战性的模型是$\ell_0$ -正则化优化。为了克服这一困难，有大量的工作在发展数值有效的方法。然而，他们中的大多数人只享受要么（子）序列收敛到一个固定的点从确定性优化的角度来看，或之间的距离，每个子序列和任何给定的稀疏参考点是有界的误差界的概率意义上。在本文中，我们开发了一个牛顿型方法的$\ell_0$ -正则化优化，并证明了所产生的序列收敛到一个稳定点的标准假设下，全球和二次，从理论上解释，我们的方法是能够执行令人惊讶的好。
2020-08-14 math.OC
A Regularized Hessian-Free Inexact Newton-Type Method with Global $\mathcal{O}(k^{-2})$ Convergence
Oregon State University（俄勒冈州立大学）；Catholic Pontifical University（天主教宗座大学）；Federal University of Delta do Parnaíba（帕纳伊巴三角洲联邦大学）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种正则化Hessian自由牛顿型方法，用于优化具有Lipschitz连续Hessian的光滑凸函数，通过有限差分构造近似Hessian并自适应选择正则化参数，实现全局$\mathcal{O}(k^{-2})$收敛，且在部分问题上计算效率更高。
2026-04-30 math.OC
Subspace Newton's Method for $\ell_0$-Regularized Optimization Problems with Box Constraint
本文针对带盒约束的 $\ell_0$ 正则化稀疏优化问题，提出子空间牛顿法，通过 $\tau$-稳定点划分支撑集，结合牛顿法与近端梯度法更新变量，证明了全局收敛和局部二次收敛，实验验证了效率。
2025-05-23 math.OC
Adaptive Regularized Newton Method for Riemannian Optimization
黎曼流形上的优化问题广泛应用于特征值计算、密度泛函理论、玻色-爱因斯坦凝聚、低秩最近相关、图像配准和信号处理等领域。本文提出了一种自适应正则化牛顿方法，该方法在保持黎曼流形约束的前提下，利用欧几里得空间中的二阶泰勒展开逼近原目标函数。正则化项的目标函数的子问题，使我们能够建立一个柯西点的条件作为标准的信赖域方法证明整体收敛。子问题可以不精确地解决，无论是一阶方法或修改的黎曼牛顿法。在后一种情况下，它可以进一步利用负曲率方向。在较弱的条件下，保证了算法的整体收敛和超线性局部收敛。大量的计算实验和与其他国家的最先进的方法的比较表明，该算法是非常有前途的。
2017-08-07 math.OC
Faster stochastic cubic regularized Newton methods with momentum
本文提出带动量方差缩减的更快随机三次正则化牛顿方法，通过低误差梯度估计和动量海森估计降低计算成本，并在温和假设下证明迭代复杂度，实验表明其性能接近确定性CRN方法且显著优于一阶方法。
2025-07-17 math.OC
Dual Newton Proximal Point Algorithm for Solution Paths of the L1-Regularized Logistic Regression
本文提出对偶牛顿近端点算法PPDNA求解带偏置项的L1正则化逻辑回归，利用二阶稀疏性降低子问题计算成本，并设计自适应筛选AS策略生成解路径，实验验证其优于现有二阶算法。
2023-10-30 math.OC
On the Convergence of A Data-Driven Regularized Stochastic Gradient Descent for Nonlinear Ill-Posed Problems
本文提出并分析了一种用于无限维Hilbert空间中非线性不适定逆问题的数据驱动正则化随机梯度下降法，证明了其在特定条件下的正则化性质与收敛速率，并通过数值实验验证了理论分析。
2024-09-27 cs.NA math.NA math.OC
Regularized Gradient Descent Ascent for Two-Player Zero-Sum Markov Games
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
研究了两人零和马尔可夫博弈的纳什均衡问题。由于其公式化为极大极小优化程序，解决该问题的自然方法是以交替方式相对于每个玩家执行梯度下降/上升。然而，由于底层目标函数的非凸性/非线性，对该方法的理论理解是有限的。在我们的论文中，我们考虑解决马尔可夫博弈的熵正则化的变体。正则化将结构引入优化景观，使解决方案更可识别，并允许更有效地解决问题。我们的主要贡献是表明，在适当的正则化参数的选择，梯度下降上升算法收敛到原来的非正则化问题的纳什均衡。我们明确地描述了我们的算法，大大提高了现有的收敛范围的梯度下降上升算法没有正则化的最后一个周期的有限时间性能。最后，我们补充的分析与数值模拟，说明加速收敛的算法。
2022-10-12 cs.LG math.OC
Inexact Proximal Cubic Regularized Newton Methods for Convex Optimization
在本文中，我们使用近似三次正则化牛顿方法（PCNM）优化光滑凸函数和非光滑凸函数的总和，其中我们使用不精确梯度和Hessian，以及三次正则化二阶子问题的不精确子求解器。我们分别提出了PCNM和加速PCNM的不精确变体，并证明了这两种变体可以达到与精确情况相同的收敛速度，前提是不精确梯度、Hessian和子求解器中的误差以适当的速率减小。同时，在数据源源不断的在线随机设置中，我们给出了所提出的算法的总体复杂度，并表明它们与随机梯度下降一样具有竞争力。此外，我们给出了所提出的算法在有限和设置的整体复杂性，并表明它是最先进的方差减少算法的竞争力。最后，我们提出了一个有效的算法的立方正则二阶子问题，它可以收敛到一个足够小的邻域的最优解在一个超线性的速度。
2019-02-26 math.OC
Riemannian Stochastic Variance-Reduced Cubic Regularized Newton Method for Submanifold Optimization
我们提出了一个随机方差缩减的三次正则牛顿算法来优化欧几里得空间的黎曼子流形上的有限和问题。该算法需要在每个历元开始时进行全梯度和Hessian更新，同时在每个历元内的迭代中进行随机方差减少更新。计算了$O(ε^{-3/2})$的迭代复杂度，得到了一个$(ε,\sqrtε)$ -二阶稳定点，即，当流形嵌入在欧几里得空间中时，建立了黎曼梯度范数上界为$ε$，黎曼Hessian最小特征值下界为$-\sqrtε$的点.此外，本文提出了一个计算上更吸引人的修改算法，只需要一个不精确的解决方案的立方正则牛顿子问题具有相同的迭代复杂度。该算法进行了评估，并与其他三个黎曼二阶方法在两个数值研究估计的逆尺度矩阵的多元t-分布的对称正定矩阵的流形上，估计球形流形上的线性分类器的参数。
2022-07-21 math.OC
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University（上海大学）；College of Sciences（理学院）；Newtouch Center for Mathematics of Shanghai University（上海大学新接触数学中心）
针对随机非凸-凹极小极大问题，提出加速一阶正则化动量下降上升算法（FORMDA），其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$，实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
Quasi-Newton method of Optimization is proved to be a steepest descent method under the ellipsoid norm
本文引入并推广经典 Cauchy-Schwartz 不等式，严格证明了无需计算 Hessian 且具超线性收敛速度的拟牛顿法在椭球范数下本质上是一种最速下降法。
2024-11-18 math.OC
Cubic Regularized Newton Method for Saddle Point Models: a Global and Local Convergence Analysis
提出了一种求解凸凹鞍点问题的三次正则化牛顿（CRN）方法。在每次迭代中，构造并求解一个三次正则化的鞍点子问题，为迭代算法提供搜索方向。当鞍点函数为梯度Lipschitz函数和强凸-强凹函数时，通过适当选择步长，证明了该方法以全局线性和局部超线性收敛速率收敛到鞍点.在函数仅仅是凹凸的情况下，我们提出了一种同伦延拓（或路径跟踪）方法。在Lipschitz型误差界条件下，利用同伦延拓方法给出了$ε$的迭代复杂度界，并在含有参数$θ$（$0<θ<1$）的Hölderian型误差界条件下，得到了迭代复杂度界为$\mathcal{O}\left(\left(1/ε\right)^{\frac{1-θ}{θ^2}}\right)$.
2020-08-22 math.OC
SingCubic: Cyclic Incremental Newton-type Gradient Descent with Cubic Regularization for Non-Convex Optimization
本文将~ \cite{shi2015large}和~ \cite{cartis2012adaptive}最近两个完全不同的工作推广统一为一个，提出了一种优化非凸函数的循环增量牛顿型梯度下降三次正则化方法（SingCubic）.通过SingCubic的迭代，保持并求解了一个利用Hessian信息的三次正则化全局二次逼近。初步的数值实验表明，令人鼓舞的性能SingCubic算法相比，基本的增量或随机牛顿型实现。本文的结果和方法对基于三次正则化的增量牛顿型梯度下降法的研究具有一定的启发意义。本文提出的方法和原理可用于逻辑斯谛回归、自动编码器训练、独立成分分析、伊辛模型/Hopfield网络训练、多层感知器、深度卷积网络训练等。我们将很快开源部分实现。
2020-02-17 math.OC
On the complexity of proximal gradient and proximal gradient-Newton-CG methods for $\ell_1$-regularized Optimization
School of Mathematical Sciences, Jiangsu University（江苏大学数学科学学院）
提出两种基于不同近似二阶稳定点定义的二阶方法，用于求解\(\ell_1\)正则化复合优化问题，并分析其迭代复杂度、操作复杂度及局部超线性收敛率，数值实验验证了有效性。
2026-09-10 math.OC
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia（弗吉尼亚大学）
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian，这是专门为立方正则化方法设计的。我们表明，我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用，这优于国家的最先进的立方正则化算法，包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
Multilevel Regularized Newton Methods with Fast Convergence Rates
UniDistance Suisse（瑞士远程大学）；Imperial College（帝国理工学院）
该研究提出用于大规模无约束优化的正则化多层牛顿方法，利用低维粗粒度子问题二阶信息正则化，证明其全局收敛且速率优于梯度下降，凸函数下达$\boldsymbol{\text{O}}(k^{-2})$，数值实验显示其性能优于现有最优方法。
2026-10-07 math.OC
Fixed-point and coordinate descent algorithms for regularized kernel methods
本文研究了两类具有凸损失函数和二次范数正则化的核方法的最优化算法，并分析了它们的收敛性。第一种方法基于定点迭代，易于实现和分析，并且可以很容易地并行化。第二，基于坐标下降，利用结构的可加性分离的损失函数计算线搜索的解决方案，在封闭的形式。这些一般类别的算法中的大多数已经被结合到用于大规模问题的最新机器学习软件中。我们开始从一个解决方案的正则化问题，使用次微分和单调算子的解决方案，适用于一般的凸损失函数，无论可微性。文中所描述的两种方法可以看作是非线性Jacobi和Gauss-Seidel算法的实例，并且都非常适合于解决大规模问题。
2010-08-30 cs.LG math.OC stat.CO
Locally Regularized Sparse Graph by Fast Proximal Gradient Descent
Arizona State University（亚利桑那州立大学）
针对原始稀疏图忽略数据几何信息的问题，提出支持正则化稀疏图（SRSG），通过支持正则化项鼓励局部平滑，并采用快速近端梯度下降求解，实验证明其在聚类上优于其他方法。
2024-09-25 cs.LG math.OC
Inexact Regularized Quasi-Newton Algorithm for Solving Monotone Variational Inequality Problems
针对单调变分不等式求解问题，提出一种结合新型价值函数与超平面全局化技术的非精确正则化拟牛顿算法，具备无正则性假设下的全局收敛性，数值实验验证了其效率。
2025-05-18 math.OC
A Distributed Cubic-Regularized Newton Method for Smooth Convex Optimization over Networks
Massachusetts Institute of Technology（麻省理工学院）
提出了一种求解网络上大规模凸优化的分布式正则化牛顿算法。该方法只需要本地计算和通信，适用于任意网络拓扑结构的联邦学习应用。当费用函数为凸函数且具有Lipschitz梯度和Hessian函数时，证明了$O(k^{{-}3})$的收敛速度，其中$k$为迭代次数.我们还提供了网络相关的界限，在算法的每一步所需的通信。我们提供了数值实验，验证我们的理论结果。
2020-07-07 cs.LG cs.MA math.OC
A Note on Inexact Condition for Cubic Regularized Newton's Method
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文考虑了不精确的正则化牛顿法（CR），它已被证明在\cite{Cartis2011a}中实现了与精确CR \citep{Nesterov2006}相同的阶级收敛速度。然而，\cite{Cartis2011a}中的不精确条件由于其对未来迭代变量的依赖性而不可实现。本文通过证明非凸优化在仅依赖于当前最优解的不精确自适应条件下具有相同的收敛速度来解决这个问题。我们的证明控制了函数值在总迭代中的充分减少，而不是像以前的研究中使用的每次迭代，这在其他情况下可能是独立的。
2018-08-22 cs.LG math.OC
Regularized Overestimated Newton
本研究提出正则化高估牛顿法（RON），兼具低迭代成本与强收敛保证，通过海森高估误差插值梯度下降与正则化牛顿法，结合随机秩-$k$近似实现高效变体，在熵最优输运等实验中验证了理论结论。
2025-09-30 math.OC
An Inexact Regularized Proximal Newton Method without Line Search
针对光滑函数与凸非光滑函数之和的最小化问题，提出一种无需线搜索、依据上次迭代成败更新正则化参数的 IRPNM，并证明其全局与超线性收敛性。
2024-04-08 math.OC
Global $o(1/k^2)$ Merit Complexity of Regularized Newton Methods for Convex Multiobjective Optimization
School of Mathematical Sciences, Shenzhen University（深圳大学数学与统计学院）
针对凸多目标优化问题，提出一种正则化牛顿方法，利用Tanabe型优度函数证明在紧性假设下全局渐近收敛率为$o(1/k^2)$，并通过一维反例说明该指数在一致多项式意义下是最优的。
2026-06-29 math.OC
Proximal Stochastic Newton-type Gradient Descent Methods for Minimizing Regularized Finite Sums
本文将Jascha \cite{sohl2014fast}和Lee \cite{lee2012proximal}最近的两个完全不同的工作分别推广和统一为一个，提出了优化两个凸函数（一个是大量光滑凸函数的平均值，另一个是非光滑凸函数）和的\textbf{prox} s \textbf{to}随机\textbf{N}牛顿型梯度（PROXTONE）方法.虽然最近提出的一组邻近随机梯度方法，包括MISO，Prox-SDCA，Prox-SVRG和SAG，以线性速率收敛，但PROXTONE包含二阶信息以获得更强的收敛结果，它不仅在目标函数的值中实现线性收敛速率，而且在\emph{solution}中也实现线性收敛速率。证明简单直观，所得结果和技巧可作为研究二阶信息近似随机方法的一个开端。
2014-10-29 math.OC
Regularized Nonsmooth Newton Algorithms for Best Approximation
针对多面体集合最佳逼近及大规模线性规划求解问题，提出雅可比奇异的正则化非光滑牛顿算法，实验显示其性能优于经典HLWB投影法，还衍生出垫脚石外部路径跟踪算法及多种应用，并引入缩放方法提升效率鲁棒性。
2023-06-09 math.OC
A Fast Active Set Block Coordinate Descent Algorithm for $\ell_1$-regularized least squares
寻找线性方程组的欠定组的稀疏解的问题出现在若干应用中（例如，信号和图像处理、压缩感测、统计推断）。处理稀疏恢复的标准工具是$\ell_1$ -正则化最小二乘方法，最近吸引了许多研究人员的注意。在本文中，我们描述了一个活动集估计（即估计的指数的零变量的最优解）所考虑的问题，试图快速识别尽可能多的活动变量在一个给定的点，同时保证一些近似的最优性条件得到满足。该估计的一个相关特征是，当将所有这些估计有效的变量设置为零时，它给出了目标函数的显著降低。这使得它能够容易地嵌入到给定的全局收敛算法框架中。特别地，我们将我们的估计包含到$\ell_1$ -正则化最小二乘的块坐标下降算法中，分析了这种新的有效集方法的收敛性，并证明了它的基本版本以线性速度收敛。最后，我们报告了一些数值结果表明该方法的有效性。
2015-09-09 cs.IT math.IT math.OC
Adaptive Regularized Newton Method with Inexact Hessian
本文提出了一种自适应正则化牛顿法，通过使用近似Hessian和Bregman散度，降低计算成本并实现非凸和凸问题的全局收敛。
2025-12-09 math.OC
Practical Regularized Quasi-Newton Methods with Inexact Function Values
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出了一种噪声容忍的正则化拟牛顿方法，通过结合正则化参数更新规则和AdaGrad-Norm方法，实现了在存在误差的情况下达到一阶 stationary 点的全局收敛率，并在多个基准测试中展示了更高的稳健性和效率。
2026-10-14 math.OC
A Stochastic Iteratively Regularized Gauss-Newton Method
本文提出随机迭代正则化高斯-牛顿方法（SIRGNM），通过小批量随机草图化扩展经典反问题算法，在二维椭圆PDE实验中以相近精度显著降低计算时间。
2024-09-19 cs.NA math.NA math.OC
A Regularized Newton-Type Method for Manifold--Affine Intersection Problems under Intrinsic Transversality
University of Science and Technology of China（中国科学技术大学）
提出正则化牛顿-SLRA算法解决流形与仿射子空间交集问题，在弱横截条件下实现线性收敛，在横截条件下达到二次收敛，并验证了近似投影变体的鲁棒性。
2026-09-18 cs.NA math.NA math.OC
An iterative regularized mirror descent method for ill-posed nondifferentiable stochastic optimization
在机器学习和信号处理中出现的大量应用都可以归结为凸优化问题。这些问题通常是不适定的，即，该最优解缺少期望的属性，例如唯一性或稀疏性。在文献中，为了解决不适定性，考虑了两层最优化问题，其中目标是在内部层最优化问题的最优解中找到最小化次要度量的解，即，外层目标函数。在解决由此产生的双层模型，收敛性分析的大多数现有的方法是有限的情况下，内部和外部的水平目标是可微的确定性函数。虽然这些假设在大数据应用中可能不成立，但据我们所知，没有配备复杂性分析的解决方法可以解决这类问题中两个层次的不确定性和不可微性。出于这个差距，我们开发了一个一阶方法称为迭代正则化随机镜像下降（IR-SMD）。在几乎处处和平均意义下证明了算法产生的解的整体收敛到双层问题的最优解。对于内层问题，我们得到了${\cal O}\left(1/N^{0.5-δ}\right)$的收敛速度，其中$δ>0$是一个任意小的标量。数值实验解决两类双层问题，包括大规模的二进制文本分类应用程序，提出。
2019-07-17 math.OC
Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
策略优化是强化学习（RL）的核心，它通过优化技术最大化价值函数来找到所需的策略。除了价值最大化之外，还出现了其他实际考虑，包括需要鼓励探索，以及由于安全、资源和操作限制而确保学习策略的某些结构属性。这些通常可以通过正则化RL来解释，正则化RL使用结构促进正则化器来增强目标价值函数。针对折扣无限时域马尔可夫决策过程，提出了一种求解正则化RL的广义策略镜像下降（GPMD）算法。作为策略镜像下降（arXiv：2102.00135）的推广，我们的算法适应了一般类的凸正则化，并促进了Bregman散度在使用中的正则化的认知。我们证明了我们的算法在整个学习率的范围内线性收敛到全局解，以无量纲的方式，即使正则化缺乏强凸性和光滑性。此外，这种线性收敛特性在面对不精确的策略评估和不完美的策略更新时是稳定的。数值实验证实了GPMD的良好性能。
2023-01-10 cs.IT cs.LG math.IT
Exact-Form Regret for Gradient Descent, Mirror Descent and Follow-the-Regularized-Leader
MIT（麻省理工学院）
本文提出精确性作为统一原则，几何刻画了梯度下降、镜像下降和FTRL无遗憾的偏差类别，并引入保守相关均衡，揭示不同一阶方法控制不同偏差类。
2026-09-23 cs.GT cs.LG math.OC
Gauss-Newton drifting extends natural gradient descent
Laboratoire d'Informatique Gaspard Monge, Université Gustave Eiffel, CNRS（加斯帕尔·蒙日计算机科学实验室，巴黎-塞纳河谷大学，法国国家科学研究中心）
本文证明在Wasserstein梯度漂移场下，用Gauss-Newton方案替代梯度下降等价于参数空间中的自然梯度下降，从而在凸性假设下为生成模型训练提供全局收敛保证。
2026-09-16 math.OC
An inexact regularized proximal Newton method for nonconvex and nonsmooth optimization
本文针对非凸非光滑优化问题，提出基于KKT残差幂次海森近似的非精确正则化近似牛顿法，证明了不同参数下的收敛性与收敛速率，并通过数值实验验证了方法的高效性。
2023-11-08 math.OC
RES: Regularized Stochastic BFGS Algorithm
University of Pennsylvania（宾夕法尼亚大学）
RES是Broyden-Fletcher-Goldfarb-Shanno（BFGS）拟牛顿法的一种正则化随机形式，用于求解随机目标的凸优化问题.随机梯度下降算法的使用是广泛的，但在高维问题中，近似最优参数所需的迭代次数可能是禁止的。另一方面，二阶方法的应用是不切实际的，因为目标函数海森逆的计算会导致过多的计算成本。BFGS通过引入从有限梯度差计算的Hessian近似矩阵来修改梯度下降。RES利用随机梯度代替确定性梯度来确定下降方向和近似目标函数的曲率。由于随机梯度可以计算在可控的计算成本RES是可实现的，并保留其确定性同行的收敛速度的优势。收敛性结果表明，样本函数的Hessian特征值的上下界足以保证收敛到最优参数.数值实验表明，减少收敛时间相对于随机梯度下降算法和非正则化的随机版本的BFGS。RES的实施支持向量机的应用程序开发。
2014-01-29 cs.LG math.OC stat.ML
Generalized Metric Subregularity with Applications to High-Order Regularized Newton Methods
该研究提出广义度量次正则性概念并构建扩展收敛框架，同时设计带动量步的高阶正则化牛顿法，证明其收敛性并在非凸过参数化压缩感知中实现全局二次局部收敛。
2024-06-19 math.OC
Research of Damped Newton Stochastic Gradient Descent Method for Neural Network Training
Beihang University（北京航空航天大学）
随机梯度下降法（SGD）等一阶方法是近年来训练深度神经网络（DNN）的主流优化方法，而二阶方法由于在获取高阶信息时计算代价过高而很少使用。本文针对均方误差（MSE）回归问题和交叉熵损失（CEL）分类问题，提出了阻尼牛顿随机梯度下降（DN-SGD）方法和随机梯度下降阻尼牛顿（SGD-DN）方法来训练DNN。与其他二阶方法估计所有参数的海森矩阵不同，该方法只精确计算一小部分参数，大大降低了计算量，使得学习过程的收敛速度和精度都比SGD方法快得多。在真实数据集上进行了几个数值实验，以验证我们的方法对回归和分类问题的有效性。
2021-03-31 cs.LG math.OC
Linear Convergence of Gradient Descent for Quadratically Regularized Optimal Transport
Columbia University（哥伦比亚大学）
本文研究了二次正则化最优传输中梯度下降法的收敛性，证明了在连续情况下，梯度下降算法在$ L^2 $空间中的线性收敛性。
2026-05-19 math.AP math.FA math.OC
Regularized Newton Method with Global $O(1/k^2)$ Convergence
CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）；Inria（法国国家信息与自动化研究所）
我们提出了一个牛顿型的方法，收敛速度快，从任何初始化和任意凸目标Lipschitz海森。我们实现这一点合并的想法，立方正则化与一定的自适应Levenberg-马夸特罚款。特别是，我们表明，迭代由$x^{k+1}=x^k - \bigl(\nabla^2 f(x^k) + \sqrt{H\|\nabla f(x^k)\|} \mathbf{I}\bigr)^{-1}\nabla f(x^k)$，其中$H>0$是一个常数，全局收敛的$\mathcal{O}(\frac{1}{k^2})$率。我们的方法是牛顿法的第一个变种，既有廉价的迭代和可证明的快速整体收敛。此外，我们证明了局部我们的方法超线性收敛时，目标是强凸的。为了提高该方法的性能，我们提出了一个线搜索过程，不需要$H$的先验知识，是证明有效的。
2023-03-01 cs.LG math.OC
A Regularized Semi-Smooth Newton Method With Projection Steps for Composite Convex Programs
本文的目的是研究如何弥补复合凸规划的一阶和二阶序型方法之间的差距。我们的主要意见是：i）许多著名的算子分裂方法，如前向后分裂（FBS）和Douglas-Rachford分裂（DRS），实际上定义了一个不动点映射; ii）复合凸规划的最优解与由不动点映射导出的非线性方程组的解是等价的。求解这类非线性方程组使我们能够发展二阶序型方法。虽然这些非线性方程可能是不可微的，但它们往往是半光滑的，并且由于单调性，它们的广义雅可比矩阵是半正定的。结合正则化方法和已知的超平面投影技术，我们提出了一种自适应半光滑牛顿法，并证明了其收敛性。对$\ell_1$ -极小化问题的初步数值结果表明，我们的二序型算法能够达到超线性或平方收敛.
2016-09-24 math.OC
Parameter-Free Cubic-Regularized Newton Method: Sharp Complexity and Generalized Smoothness
Graduate School of Information Science and Technology, University of Tokyo（东京大学信息理工学系研究科）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）
研究非凸优化的无参数三次正则化牛顿法，在广义光滑性条件下推导找到$(\varepsilon, \delta)$ - 二阶驻点的神谕复杂度界，该条件更弱且复杂度界优于现有无参数二阶方法，特定情况与最优依赖匹配。
2026-07-14 math.OC
