Newton-Type Methods for Non-Convex Optimization Under Inexact Hessian Information
Stanford University（斯坦福大学）；University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
我们考虑非凸优化的信赖域和三次正则化方法的变体，其中黑塞矩阵是近似的。在不精确Hessian的适当条件下，利用相应子问题的近似解，我们给出了迭代复杂度以获得$ ε$ -近似二阶最优性，并证明了该最优性是紧的.我们的海森近似条件构成了一个主要的放松在文献中现有的。因此，我们能够表明，这种温和的条件允许通过各种随机抽样方法的近似海森的建设。在此基础上，我们考虑了有限和极小化的典型问题，提供了适当的均匀和非均匀子采样策略来构造这样的Hessian近似，并获得了相应的子采样信赖域和三次正则化方法的最佳迭代复杂度。
2019-05-14 cs.CC cs.LG math.OC
Newton methods beyond Hessian Lipschitz continuity: A nonlinear preconditioning approach
KU Leuven（荷语鲁汶大学）
本文提出非线性预处理牛顿方法，通过变换优化映射扩展非线性预处理思想至二阶设置，放宽Hessian Lipschitz连续性假设，实现局部超线性和二次收敛，并提出正则化变体与自适应版本。
2026-05-12 math.OC
Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence
ICSI（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
我们考虑使用随机牛顿法极小化光滑和强凸目标函数。在每一次迭代中，该算法被给予对黑塞矩阵的随机估计的预言访问。Oracle模型包括流行的算法，如Subsampled Newton和Newton Sketch。尽管使用二阶信息，这些现有的方法不表现出超线性收敛，除非随机噪声逐渐减少到零，在迭代过程中，这将导致计算爆破在每次迭代的成本。我们建议使用Hessian平均来解决这个限制：我们的算法不是使用最近的Hessian估计，而是保持所有过去估计的平均值。这减少了随机噪声，同时避免了计算爆炸。我们证明了该方案具有局部$Q$ -超线性收敛的非渐近速率为$(Υ\sqrt{\log (t)/t}\,)^{t}$，其中$Υ$与Hessian预言机中随机噪声的水平成正比。这种（均匀平均）方法的潜在缺点是平均估计包含来自该方法的全局阶段的Hessian信息，即，在迭代收敛到局部邻域之前。这导致失真，该失真可实质上延迟超线性收敛直到到达局部邻域之后很久。为了解决这个缺点，我们研究了一些加权平均计划，分配更大的权重，最近的海森，使超线性收敛出现得更快，虽然速度稍慢。值得注意的是，我们发现，存在一个普遍的加权平均计划，过渡到局部收敛的最佳阶段，仍然表现出超线性收敛速率几乎（对数因子）匹配的均匀海森平均。
2022-11-28 cs.LG math.OC stat.ML
Online estimation of the inverse of the Hessian for stochastic optimization with application to universal stochastic Newton algorithms
本文提出用Robbins-Monro过程在线递归估计Hessian逆矩阵，以降低二阶随机优化的计算复杂度，并据此发展通用随机牛顿方法，扩展了二阶算法的应用范围。
2025-03-10 math.OC stat.ML
A Formal Kinetic Theory for Zeroth-Order Newton Dynamics:Stein-Corrected Hessian Estimation and Curvature--Variance Trade-offs
研究零阶牛顿动力学，开发从黑箱函数值估计梯度和海森矩阵的动力学框架，用高斯 - 斯坦因校正偏差，线性化逆海森矩阵揭示噪声通道，通过小质量动力学提升联系模型，数值实验证实相关定律和行为。
2026-08-25 cs.AI math.OC
Adaptive Regularized Newton Method with Inexact Hessian
Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)（人工智能基础研究实验室）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Innopolis University（伊诺波利斯大学）
本文提出了一种自适应正则化牛顿法，通过使用近似Hessian和Bregman散度，降低计算成本并实现非凸和凸问题的全局收敛。
2025-12-09 math.OC
First and zeroth-order implementations of the regularized Newton method with lazy approximated Hessians
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Université catholique de Louvain（鲁汶天主教大学）
本文提出三次正则化牛顿方法的一阶与零阶实现，利用有限差分和自适应搜索避免Lipschitz常数，并引入惰性Hessian更新，显著提升非凸优化的复杂度界。
2023-09-05 cs.LG math.OC
On the connection between WRI and FWI: Analysis of the nonlinear term in the Hessian matrix
标准全波形反演（FWI）的实现带来了困难，因为初始模型偏离真实模型。波场重建反演（WRI）通过放松波动方程约束来缓解这些困难。本文针对FWI中黑塞矩阵中的非线性项，提出了一种新的近似Hessian，即包含二阶导数信息的增广高斯-牛顿（AGN）Hessian。此外，我们建立了一个更新公式之间的密切联系，该公式是由牛顿法与AGN Hessian近似解决FWI问题和WRI方法。我们的分析开辟了新的视角，开发有效的算法FWI的基础上牛顿法，并突出了黑塞矩阵，这是在大多数情况下被忽略的非线性项的重要性。
2022-06-15 math.OC
Do Subsampled Newton Methods Work for High-Dimensional Data?
Peking University（北京大学）；Stevens Institute of Technology（史蒂文斯理工学院）
子采样牛顿法通过子采样技术近似海森矩阵，减少了形成海森矩阵的成本，但使用足够的曲率信息。然而，以前的结果需要$Ω(d)$样本来近似Hessians，其中$d$是数据点的维数，这使得它对于高维数据实际上不太可行。当$d$与数据点的数量$n$一样大时，情况恶化，这需要考虑整个数据集，使得子采样无用。本文从理论上证明了下采样牛顿法在高维数据上的有效性。具体地说，我们证明了在Hessian矩阵的逼近中只需要$\widetildeΘ(d^γ_{\rm eff})$样本，其中$d^γ_{\rm eff}$是$γ$ -岭杠杆，只要$nγ\gg 1$，它就可以比$d$小得多.此外，我们扩展了这一结果，使子采样牛顿方法可以用于分布式优化问题和非光滑正则化问题的高维数据。
2019-05-05 cs.LG math.OC stat.ML
Simplified Quadratic Gradient: A Unified Framework Bridging Gradient Descent and Newton-Type Methods by Synthesizing Hessians and Gradients
本文提出一种新的二次梯度方法，通过合成Hessian和梯度，改进了传统牛顿方法的收敛性，实验显示其在非凸优化中具有更好的性能。
2026-08-04 cs.LG math.OC
Nys-Newton: Nyström-Approximated Curvature for Stochastic Optimization
RIKEN AIP（理化学研究所（RIKEN）计算科学中心（AIP））；Kyoto University（京都大学）
二阶最优化方法是用于凸优化问题的最广泛使用的优化方法之一，并且最近已被用于优化诸如深度学习模型的非凸优化问题。广泛使用的二阶最优化方法，如拟牛顿法，通常通过使用割线方程近似Hessian来提供曲率信息。然而，割线方程由于使用一阶导数而在近似牛顿步骤时变得乏味。在这项研究中，我们提出了一个近似牛顿草图为基础的随机最优化算法的大规模经验风险最小化。具体来说，我们计算一个部分列的海森大小（$d\times m$）与$m\ll d$随机选择的变量，然后使用\emph{Nyström method}更好地近似完整的海森矩阵。为了进一步降低每次迭代的计算复杂性，我们直接计算更新步长（$Δ\boldsymbol{w}$），而不计算和存储完整的Hessian或其逆。然后，我们将我们的近似海森与随机梯度下降和随机方差-约化梯度法。对凸函数和非凸函数的数值实验结果表明，该方法能够获得更好的牛顿\textquotesingle方法的逼近，表现出与现有的一阶拟牛顿方法和随机拟牛顿方法相当的性能.此外，我们提供了一个理论上的凸函数的收敛性分析。
2022-01-29 cs.LG math.OC stat.ML
Complexity Guarantees for Nonconvex Newton-MR Under Inexact Hessian Information
该研究扩展了非凸无约束优化的Newton-MR算法至非精确Hessian场景，分析了不同非凸条件下的复杂度与收敛性，并通过机器学习问题实验验证了算法的鲁棒性。
2024-09-13 cs.NA math.NA math.OC
Approximating Hessian matrices using Bayesian inference: a new approach for quasi-Newton methods in stochastic optimization
本文提出一种基于贝叶斯推断的Hessian近似方法，通过最小化割线方程残差并约束极端特征值范围来改善随机梯度下降的预条件处理，实验表明其在不放大梯度噪声的前提下有效提升了随机优化的收敛性能。
2024-04-01 math.OC
Adaptive Newton Sketch: Linear-time Optimization with Quadratic Convergence and Effective Hessian Dimensionality
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
对于具有自协调、复合、强凸目标函数的凸优化问题，提出了一个具有平方收敛速率的随机算法。我们的方法是基于执行一个近似的牛顿步骤，使用一个随机投影的Hessian。我们的第一个贡献是表明，在每次迭代中，嵌入维数（或草图大小）可以小到黑塞矩阵的有效维数。利用这一新的基本结果，我们设计了一个算法的草图大小成比例的有效尺寸，并表现出二次收敛速率。这一结果大大改善了经典的线性平方收敛速率的国家的最先进的子采样牛顿方法。然而，在大多数实际情况下，事先并不知道有效尺寸，这就产生了一个问题，即如何在保持平方收敛速率的同时选取与有效尺寸一样小的草图尺寸。因此，我们的第二个和主要的贡献是提出一个自适应草图尺寸算法与平方收敛速率，不需要先验知识或估计的有效尺寸：在每次迭代中，它开始与一个小的草图尺寸，并增加它，直到二次进度实现。重要的是，我们表明，嵌入维数保持成比例的有效尺寸在整个路径，我们的方法实现了最先进的计算复杂性解决凸优化方案的强凸组件。
2021-05-15 cs.LG math.OC
Network-GIANT: Fully distributed Newton-type optimization via harmonic Hessian consensus
University of Padova（帕多瓦大学）；Maynooth University（梅努斯大学）；Uppsala University（乌普萨拉大学）
针对分布式多智能体学习的全局损失最小化问题，提出结合梯度跟踪、牛顿迭代与共识平均的完全分布式牛顿型算法Network-GIANT，理论上证明其强凸光滑损失下半全局指数收敛，实验显示性能优于现有先进算法。
2023-07-19 cs.LG cs.MA math.OC
Convergence of Newton's method in shape optimisation via approximate normal functions
在本文中，我们提出了一个牛顿方法的形状函数定义的图像集所产生的（Micheletti）度量组。我们回顾了度量群的基本性质以及度量群与固定整环的商。考虑到二阶形状导数及其对称部分的特殊结构，我们可以区分两种海森，域形状海森和边界形状海森。使用域Hessian，我们定义了一个牛顿方法的度量组离散的切空间的商通过近似正规函数，使用再生核。在适当的假设下，我们能够证明牛顿迭代的超线性收敛和度量群中形状的收敛性。最后，我们验证了我们的研究结果在一些数值实验，包括一个彻底的数值研究的离散化的收敛速度的影响。
2018-09-05 math.OC
NeST-BO: Fast Local Bayesian Optimization via Newton-Step Targeting of Gradient and Hessian Information
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Ohio State University（俄亥俄州立大学）
NeST-BO是一种利用曲率信息的局部贝叶斯优化方法，通过联合学习梯度和Hessian信息以及高斯过程代理，结合牛顿步目标和一步前瞻界来选择评估点，从而在高维问题中实现快速收敛和全局收敛。
2026-03-27 cs.LG math.OC
Exact and Inexact Subsampled Newton Methods for Optimization
本文研究了随机最优化问题的解，其中梯度和Hessian的近似是通过子采样获得的。我们首先考虑采用这些近似的牛顿式方法，并讨论如何协调梯度和Hessian的精度，以产生预期的超线性收敛速率。本文的第二部分分析了一种不精确牛顿法，该方法使用共轭梯度（CG）方法近似求解线性系，并且对Hessian而不是梯度（梯度假设是精确的）进行采样。我们提供了一个复杂性分析，这种方法的基础上的CG迭代的性质和质量的Hessian近似，并比较它与一种方法，采用随机梯度迭代，而不是CG方法。我们报告了初步的数值结果，说明了基于逻辑斯谛回归的机器学习应用程序的不精确子采样牛顿方法的性能。
2016-09-27 math.OC stat.ML
SPAN: A Stochastic Projected Approximate Newton Method
Bytedance AI Lab（字节跳动人工智能实验室）；University of Science and Technology China（中国科学技术大学）；Tsinghua University（清华大学）
二阶最优化方法具有理想的收敛性质。然而，精确牛顿法需要昂贵的计算海森及其逆。在本文中，我们提出了一种新的近似和快速牛顿法SPAN。SPAN通过低秩近似和随机Hessian向量乘积计算黑塞矩阵的逆。我们在多个基准数据集上的实验表明，SPAN在收敛挂钟时间方面优于现有的一阶和二阶最优化方法。此外，我们提供了一个理论分析的每次迭代的复杂性，近似误差，和收敛速度。理论分析和实验结果都表明，该方法在收敛速度和迭代效率之间取得了较好的折衷。
2020-03-03 cs.LG math.OC
Adaptive Newton-CG methods with global and local analysis for unconstrained optimization with Hölder continuous Hessian
National University of Singapore（新加坡国立大学）；Linköping University（林雪平大学）
本文提出两种自适应牛顿-共轭梯度算法，利用自动条件化技术消除嵌套线搜索，解决非凸函数Hessian为(H_f,ν)-Hölder连续时的效率和收敛性问题，达到最优迭代复杂度并实现局部超线性收敛。
2026-04-29 math.OC
SHED: A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing
University of Padova（帕多瓦大学）；Uppsala University（乌普萨拉大学）
人们对分布式优化框架越来越感兴趣，该框架被称为联邦学习（FL）。特别地，许多注意力正转向FL场景，其中网络在通信资源方面是强烈异构的（例如，带宽）和数据分发。在这些情况下，本地机器（代理）和中央服务器（主）之间的通信是主要考虑因素。在这项工作中，我们提出了SHED，一个原始的通信约束牛顿型（NT）算法，旨在加速FL在这种异构的情况下。通过设计，SHED对非i.i.d.具有鲁棒性。数据分布，处理代理的通信资源（CR）的异质性，只需要零星的海森计算，并实现超线性收敛。这是可能的，由于增量策略，基于本地海森矩阵的特征分解，利用（可能）过时的二阶信息。通过评估（i）收敛所需的通信轮数，（ii）传输的数据总量和（iii）本地Hessian计算的数量，在真实数据集上彻底验证了所提出的解决方案。对于所有这些指标，所提出的方法显示出优越的性能对国家的最先进的技术，如GIANT和FedNL。
2022-09-12 cs.AI cs.LG math.OC
Greedy Quasi-Newton Methods with Explicit Superlinear Convergence
本文研究了拟牛顿法的贪婪变形。它们基于Broyden族的某个子类的更新公式。特别是，这个子类包括众所周知的DFP，BFGS和SR1更新。然而，在对比的经典拟牛顿法，它使用的连续迭代的差异更新的Hessian近似，我们的方法应用的基向量，grenestly选择，以便最大限度地提高一定程度的进展。对于贪婪拟牛顿法，我们建立了一个显式的非渐近界的局部超线性收敛，其中包含一个收缩因子，依赖于迭代计数器的平方。我们还表明，这些方法产生的海森近似的偏差从确切的海森线性收敛到零。
2021-06-01 math.OC
Exact linesearch limited-memory quasi-Newton methods for minimizing a quadratic function
本文针对海森矩阵正定的二次函数最小化问题，提出一类有限内存拟牛顿近似方法，结合约化海森框架实现精确运算下有限步终止，通过CUTEst测试集验证性能，并给出一般无约束优化下Broyden类海森近似的紧凑表示。
2020-11-15 math.OC
Newton Meets Marchenko-Pastur: Massively Parallel Second-Order Optimization with Hessian Sketching and Debiasing
针对通信受限的大规模并行凸优化，提出基于 Marchenko-Pastur 定律自适应选择 Hessian 草图维度并对下降方向去偏平均的近似 Newton 方法，并给出维度无关的非渐近与自协调收敛保证。
2024-10-02 cs.IT eess.SP math.IT
Second-order optimization with lazy Hessians
EPFL（洛桑联邦理工学院）
该研究提出带惰性Hessian更新的牛顿法，通过复用Hessian、每步更新梯度降低二阶优化复杂度，证明了非凸下的快速全局收敛与凸问题的超线性收敛，将总算术复杂度提升√d倍。
2023-06-15 cs.LG math.OC
Global linear convergence of Newton's method without strong-convexity or Lipschitz gradients
EPFL（洛桑联邦理工学院）
我们表明，牛顿的方法全局收敛的目标函数的Hessian是稳定的线性速率。这类问题包括许多不是强凸的函数，例如逻辑回归。我们的线性收敛结果是（i）仿射不变的，并且即使（ii）使用近似Hessian，并且如果子问题（iii）仅近似求解，也保持不变。因此，我们从理论上证明了牛顿的方法优于一阶方法，这将只实现一个次线性$O(1/t^2)$率在类似的条件下。
2018-06-01 cs.LG math.OC stat.ML
Newton Method for Fixed-Support Doubly Entropic Wasserstein Barycenter
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Sun Yat-sen University（中山大学）
针对固定支撑双熵正则化Wasserstein重心问题，提出精确牛顿法及稀疏变体，推导梯度与海森显式式，建立理论结果，实验显示稀疏牛顿法收敛更快。
2026-08-03 math.OC
Structured Quasi-Newton Methods for Optimization with Orthogonality Constraints
本文研究了正交约束最优化问题的结构拟牛顿法。注意，目标函数的黎曼海森需要欧几里德海森和欧几里德梯度。特别是，我们感兴趣的应用程序，欧几里德海森本身包括一个计算便宜的一部分和一个显着昂贵的一部分。我们的基本思想是保持这些部分的计算成本较低，但取代那些部分的计算成本较高的有限内存的拟牛顿更新。更具体地，与欧氏梯度相关的部分和欧氏海森中更便宜的部分被保留。初始拟牛顿矩阵进一步构造从一个有限的内存Nyström近似昂贵的部分。因此，我们的子问题近似的原始目标函数在欧几里得空间，并保持正交约束，而不执行所谓的矢量传输。当子问题的解具有足够的精度时，在较弱的条件下，可以得到全局和局部q-超线性收敛。线性本征值问题和电子结构计算的初步数值实验表明，与现有算法相比，该方法是有效的。
2018-09-03 math.OC
Generalization of Quasi-Newton Methods: Application to Robust Symmetric Multisecant Updates
拟牛顿技术通过使用所谓的割线方程估计Hessian来近似牛顿步骤。这些方法中的一些使用几个割线方程来计算Hessian，但产生非对称更新。其他拟牛顿格式，如BFGS，强制对称性，但不能满足一个以上的割线方程。我们提出了一种新型的拟牛顿对称更新使用几个割线方程在最小二乘意义下。我们的方法推广和统一的拟牛顿更新的设计，并满足可证明的鲁棒性保证。
2021-02-08 cs.NA math.NA math.OC
A Communication-Efficient Decentralized Newton's Method with Provably Faster Convergence
本文研究了分散网络上的强凸有限和极小化问题，提出了一种通信效率高的分散牛顿法来求解该问题，首先采用动态平均一致性（DAC），使得每个节点能够分别使用局部梯度逼近和局部Hessian逼近来跟踪全局梯度和Hessian.第二，由于交换Hessian近似值远没有通信效率，因此我们要求节点交换压缩的近似值，然后应用错误补偿机制来校正压缩噪声。第三，我们引入多步共识来交换局部变量和局部梯度近似，以平衡计算和通信。为了避免每个节点传输整个本地Hessian近似，我们设计了一个压缩过程中的误差补偿估计的全球Hessian在通信有效的方式。通过新的分析，我们建立了全局线性（分别为，渐近超线性）的收敛速度（分别地，趋于无穷大），其中m是共识内部步骤的数量。据我们所知，这是第一个超线性收敛结果的通信效率分散牛顿法。此外，我们建立的速度是证明比一阶方法更快。我们在各种应用程序的数值结果证实了理论研究结果。
2022-10-01 math.OC
INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
Indian Institute of Technology Kanpur（坎普尔印度理工学院）；Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
INTHOP通过区间Hessian方法解决非凸优化中的高计算成本、Hessian求逆和非定性Hessian方向问题，证明了算法的全局收敛性，并在测试问题中表现出更高的效率。
2026-04-07 math.OC
Newton Nonholonomic Source Seeking for Distance-Dependent Maps
Faculty of Electrical and Computer Engineering, Technical University of Munich（慕尼黑工业大学电气与计算机工程学院）
针对源搜索与牛顿极值搜索未结合的问题，提出首个带Riccati滤波器的牛顿非完整源搜索算法，通过二阶李括号平均证明半全局收敛，仿真显示其优于梯度法。
2023-07-21 cs.RO cs.SY eess.SY
Accelerated Newton-Raphson GRAPE methods for optimal control
在Liouville空间中提出了一种基于Hessian的最优控制方法，以减少以前不希望的计算时间的多项式缩放。这种新的方法，一个国家的最先进的牛顿-拉夫森GRAPE方法的改进，推导出两个精确的时间传播导数技术：辅助矩阵和ESCALADE方法。我们观察到，与Newton-Raphson GRAPE方法的当前最佳实现相比，对于2能级系统的系综，在现实条件下，新的辅助矩阵和ESCALADE Hessian分别可以快4 - 200倍和70 - 600倍。
2022-08-18 math.OC quant-ph
A Log-Barrier Newton-CG Method for Bound Constrained Optimization with Complexity Guarantees
我们描述了一个算法的基础上的对数障碍函数，牛顿法，和线性共轭梯度，获得一个近似极小的光滑函数的非负正交。我们开发的方法的复杂性，所需的精度和成本的一个单一的梯度评价的目标函数和/或矩阵向量乘法涉及的Hessian的目标方面的限制。该方法可以在不显式计算或存储Hessian的情况下实现。
2019-12-03 math.OC
Adaptive Stochastic Variance Reduction for Subsampled Newton Method with Cubic Regularization
Nesterov和Polyak的三次正则化牛顿法由于其能够找到具有二阶保证的近似局部解而在非凸优化中越来越受欢迎。最近的一些工作扩展了这种方法的设置，最小化N个光滑函数的平均值，通过替换精确的梯度和海森与子采样近似。它已被证明，总海森样本的复杂性可以减少到次线性N每迭代利用随机方差减少技术。本文提出了一种基于三次正则化的下采样Newton方法的自适应方差缩减方案，并证明了在一阶和二阶保证下，寻找（ε，ε^{1/2}）-近似局部解的Hessian样本复杂度为O（N + N^{2/3}ε^{-3/2}）.此外，我们表明，相同的Hessian样本复杂性保留固定的样本量，如果使用精确的梯度。我们的分析技术是不同的，从以前的作品中，我们不依赖于基于矩阵浓度不等式的高概率界。相反，我们推导并利用随机矩阵的平均值的3阶和4阶矩的界，它们本身是独立的。
2018-11-28 math.OC
Newton-like method with diagonal correction for distributed optimization
我们考虑分布式优化问题，网络节点合作最小化他们的本地已知的凸成本的总和。解决这些问题的一种流行的方法是分布式梯度方法，由于其廉价的迭代而具有吸引力，但具有收敛速度慢的缺点。这促使在分布式方法中纳入二阶信息，但这项任务是具有挑战性的：虽然在算法设计方面出现的Hessians网络的稀疏性，其逆是密集的，因此呈现分布式实现困难。我们克服了这一挑战，并提出了一类分布式牛顿类方法，我们称之为分布式拟牛顿（DQN）。DQN系列通过以下方式近似Hessian逆：1）将Hessian分解为对角部分和非对角部分，2）反转对角部分，以及3）通过加权线性函数近似非对角部分的逆。近似参数化的调谐变量对应于不同的分裂的海森和不同的权重的非对角海森部分。调整变量的特定选择会产生所提出的通用DQN方法的不同变体-称为DQN-0，DQN-1和DQN-2 -它们相互权衡通信和计算成本以实现收敛。仿真结果表明了所提出的DQN方法的有效性。
2017-02-20 cs.IT math.IT math.OC
A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees
Tsinghua University（清华大学）；The Hong Kong Polytechnic University（香港理工大学）；Beijing Institute of Mathematical Sciences and Applications（北京数学科学及应用研究所）；Chinese Academy of Sciences（中国科学院）
针对非凸优化中正则化牛顿方法全局与局部收敛权衡的开放问题，提出利用新旧梯度构造正则化器并结合共轭梯度法求解，实现了最优全局复杂性与二次局部收敛。
2025-10-31 cs.LG math.OC
An Approximate Newton Method for Markov Decision Processes
基于马尔可夫链的算法是马尔可夫决策过程优化的首选方法之一。在这篇文章中，我们将提出一种新的近似牛顿算法优化这些模型。该算法比单纯的牛顿法具有各种理想的性质。首先，在控制器参数为对数凹的情况下，保证了近似Hessian在整个参数空间上是负半定的。此外，我们的近似牛顿法所需的推理通常与一阶方法所需的推理相同，例如最陡梯度上升法。近似Hessian还具有许多Hessian中不存在的良好稀疏性属性，并且在许多感兴趣的情况下使其反演有效。我们还提供了一个分析，突出了我们的近似牛顿法和期望最大化和自然梯度上升之间的关系。实验结果表明，该算法具有良好的收敛性和鲁棒性。
2015-08-04 math.OC
Riemannian Adaptive Regularized Newton Methods with Hölder Continuous Hessians
本文提出统一 RTR 与 RAR 的黎曼自适应正则化 Newton 框架，在 Hölder 连续 Hessian、收缩和非精确求解条件下证明了尖锐的迭代与 Hessian-向量积复杂度。
2025-05-13 math.OC
A Stochastic Newton Algorithm for Distributed Convex Optimization
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）
我们提出并分析了均匀分布的随机凸优化的随机牛顿算法，其中每台机器可以计算相同的人口目标的随机梯度，以及随机Hessian向量乘积（人口目标的Hessian的独立无偏估计与任意向量的乘积），许多这样的随机计算在两轮通信之间进行。我们表明，与现有方法相比，我们的方法可以减少所需通信轮的数量和频率，而不会损害性能，通过证明准自协调目标的收敛保证（例如，逻辑斯谛回归），以及经验证据。
2021-10-07 cs.LG math.OC stat.ML
Quasi-Newton Optimization Methods For Deep Learning Applications
深度学习算法通常需要解决高度非线性和非凸无约束优化问题。解决大规模机器学习中优化问题的方法，如深度学习和深度强化学习（RL），通常限于一阶算法，如随机梯度下降（SGD）。虽然SGD迭代的计算成本很低，但它们的理论收敛速度很慢。此外，它们需要详尽的试错来微调许多学习参数。使用二阶曲率信息来寻找搜索方向可以帮助非凸优化问题更鲁棒的收敛。然而，计算大型问题的海森矩阵在计算上是不实际的。或者，拟牛顿方法构造海森矩阵的近似，以构建目标函数的二次模型。拟牛顿方法，如SGD，只需要一阶梯度信息，但它们可以导致超线性收敛，这使得它们成为SGD的有吸引力的替代品。有限记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在这一章中，我们提出了有效的优化方法的基础上L-BFGS拟牛顿方法使用线搜索和信赖域策略。我们的方法通过使用梯度信息来计算Hessian近似的低秩更新，从而弥合了一阶和二阶方法之间的差距。我们提供了这些方法的正式收敛分析以及深度学习应用的经验结果，例如图像分类任务和ATARI 2600视频游戏集上的深度强化学习。我们的研究结果表明，一个强大的收敛与首选的泛化特性，以及快速的训练时间。
2019-09-04 cs.LG math.OC stat.ML
Stochastic Newton Proximal Extragradient Method
University of Michigan（密歇根大学）
本文提出随机牛顿近端外梯度方法，扩展HPE框架，在强凸优化中实现更快的全局线性收敛，并在$\ ilde{O}(κ)$次迭代内达到超线性速率，优于现有方法的$\ ilde{O}(κ^2)$次迭代。
2024-11-11 cs.LG math.OC stat.ML
Practical Inexact Proximal Quasi-Newton Method with Global Complexity Analysis
Lehigh University（里海大学）
最近提出了几种稀疏优化方法，这些方法仔细使用二阶信息[10，28，16，3]来提高局部收敛速度。这些方法使用Hessian信息构建复合二次近似，使用一阶方法（例如坐标下降）优化该近似，并采用线搜索以确保充分下降。在这里，我们提出了一个通用的框架，其中包括现有算法的略有修改的版本，也是一个新的算法，它使用有限的内存BFGS海森近似，并提供了一种新的全局收敛速度分析，其中包括通过坐标下降解决子问题的方法。
2015-07-14 cs.LG math.OC stat.ML
Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization
University of California, Merced（加州大学默塞德分校）
针对一阶方法未利用曲率易收敛到鞍点或差局部极小值、L-BFGS不适用于DNN非凸损失的问题，提出有限内存对称秩一拟牛顿法（允许不定海森近似）及改进自适应正则化三次方法，在自编码器和前馈网络上与先进方法对比验证性能。
2025-02-17 cs.IT cs.LG cs.NA
Low Rank Saddle Free Newton: A Scalable Method for Stochastic Nonconvex Optimization
Oden Institute for Computational Engineering & Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校奥登计算工程与科学研究所）；Department of Geological Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校地质科学系）
在现代深度学习中，由于大数据集以及泛化特性，高度子采样的随机逼近（SA）方法优于样本平均逼近（SAA）方法。此外，由于形成和分解海森的感知成本，二阶方法不用于这些问题。在这项工作中，我们激励牛顿方法的SA制度的扩展，并主张使用可扩展的低秩无鞍牛顿（LRSFN）方法，这避免了形成有利于作出低秩近似的海森。此外，LRSFN可以促进从不确定区域的快速逃逸，从而得到更好的优化解决方案。在SA设置中，迭代更新由随机噪声主导，并且方法的稳定性是关键。我们介绍了一个连续时间稳定性分析框架，并使用它来证明牛顿方法的随机误差可以大大放大病态海森。LRSFN方法通过Levenberg-Marquardt阻尼减轻了这种稳定性问题。然而，一般来说，分析表明，具有随机Hessian和梯度信息的二阶方法可能需要采取小步骤，这与确定性问题不同。数值结果表明，LRSFN可以避开其他方法存在问题的不确定区域;即使在限制步长的条件下，LRSFN也可以在大规模深度学习任务中在等效计算工作的泛化能力方面优于流行的一阶方法。
2021-08-24 cs.LG cs.NA math.NA
Faster stochastic cubic regularized Newton methods with momentum
本文提出带动量方差缩减的更快随机三次正则化牛顿方法，通过低误差梯度估计和动量海森估计降低计算成本，并在温和假设下证明迭代复杂度，实验表明其性能接近确定性CRN方法且显著优于一阶方法。
2025-07-17 math.OC
Practical Quasi-Newton Methods for Training Deep Neural Networks
Columbia University（哥伦比亚大学）
我们考虑了实际随机拟牛顿的发展，特别是Kronecker因子块对角BFGS和L-BFGS方法，用于训练深度神经网络（DNN）。在DNN训练中，梯度$n$的变量和分量的数量通常是数千万的量级，并且Hessian具有$n^2$元素。因此，计算和存储完整的$n \times n$ BFGS近似或存储适度数量的（步长、梯度变化）向量对以用于L-BFGS实现是不可能的。在我们提出的方法中，我们通过块对角矩阵来近似Hessian，并使用梯度和Hessian的结构来进一步近似这些块，每个块对应于一个层，作为两个小得多的矩阵的Kronecker积。这类似于KFAC中的方法，该方法在随机自然梯度方法中计算Fisher矩阵的Kronecker因子块对角近似。由于DNN中Hessian的不确定性和高度可变性，我们还提出了一种新的阻尼方法来保持BFGS和L-BFGS近似的上界和下界有界。在对应用于三个数据集的具有九层或十三层的自动编码器前馈神经网络模型的测试中，我们的方法优于或优于KFAC和最先进的一阶随机方法。
2021-01-07 cs.LG math.OC stat.ML
Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates
National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）
本文针对有限和强凸优化问题，提出将对称秩1更新与块更新融入增量拟牛顿框架，实现与条件数无关的局部超线性收敛，且数值实验显著优于基线方法。
2024-02-04 cs.LG math.OC
Generalized Quadratic Gradient: A New Direction in Optimization via the Fusion of Positive-Definite Curvature Matrices and Gradients into A Unified Framework
本文提出广义二次梯度（GQG）这一统一框架，将二次梯度原理扩展至更广泛牛顿型优化算法，突破了现有二次梯度方法对特定海森近似的限制，为感知曲率的优化算法开发提供了更广泛基础。
2026-08-04 cs.LG math.OC
FLeNS: Federated Learning with Enhanced Nesterov-Newton Sketch
Koita Centre for Digital Health（科伊塔数字健康中心）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
本文提出 FLeNS 方法，将 Nesterov 加速与自适应 Hessian Sketch 结合用于联邦学习，在降低通信开销的同时实现超线性收敛，并在隐私敏感和边缘计算场景中验证了其先进性能。
2024-10-01 cs.CV cs.DC cs.LG
Limited-Memory Greedy Quasi-Newton Method with Non-asymptotic Superlinear Convergence Rate
University of Cambridge（剑桥大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；JP Morgan Chase AI Research（摩根大通人工智能研究院）
本文提出有限记忆贪婪BFGS（LG-BFGS）方法，通过位移聚合和基向量选择方案，首次在有限记忆拟牛顿法中实现了非渐近超线性收敛速率，并揭示了收敛速度与内存需求间的明确权衡。
2023-10-18 cs.LG math.OC stat.ML
Newton and interior-point methods for (constrained) nonconvex-nonconcave minmax optimization with stability and instability guarantees
本文提出修正Hessian的牛顿类方法求解非凸-非凹极小极大问题，确保仅收敛到局部极小极大点，计算时间与Hessian非零元素数近似线性。
2024-02-11 cs.SY eess.SY math.OC
Advancing Multi-Secant Quasi-Newton Methods for General Convex Functions
本文针对一般凸函数提出对称化且经PSD扰动的多割线拟牛顿方法，证明其超线性收敛并展示数值优势，同时研究其有限内存BFGS扩展在凸与非凸问题上的加速收敛效果。
2025-04-09 math.OC
Quasi-Newton method of Optimization is proved to be a steepest descent method under the ellipsoid norm
本文引入并推广经典 Cauchy-Schwartz 不等式，严格证明了无需计算 Hessian 且具超线性收敛速度的拟牛顿法在椭球范数下本质上是一种最速下降法。
2024-11-18 math.OC
