QN Optimization with Hessian Sample
本文探讨了如何有效地将曲率信息产生的SIMD并行前向模式微分（AD）到无约束拟牛顿（QN）最小化的光滑目标函数，$f$。具体地，每当评估梯度时，前向模式AD可以用于生成块海森样本$Y=\nabla^2 f(x)\,S$。块QN算法然后用这些海森样本更新近似逆海森样本$H_k \approx \nabla^2 f(x_k)$。而标准的线搜索为基础的BFGS算法仔细过滤和纠正割线为基础的近似曲率信息，以保持正定近似，我们的算法直接将海森样本更新不确定的逆海森近似过滤。采样方向补充标准QN二维信赖域子问题，生成一个中等规模的子问题，可以利用负曲率。由此产生的二次约束二次规划精确求解的广义本征值算法和步骤先进的标准置信域步骤接受和半径调整。本文的目的是避免串行瓶颈，利用准确的正，负曲率信息，并进行初步评估的选择策略$S$。
2022-01-07 math.OC
Nys-Newton: Nyström-Approximated Curvature for Stochastic Optimization
RIKEN AIP（理化学研究所（RIKEN）计算科学中心（AIP））；Kyoto University（京都大学）
二阶最优化方法是用于凸优化问题的最广泛使用的优化方法之一，并且最近已被用于优化诸如深度学习模型的非凸优化问题。广泛使用的二阶最优化方法，如拟牛顿法，通常通过使用割线方程近似Hessian来提供曲率信息。然而，割线方程由于使用一阶导数而在近似牛顿步骤时变得乏味。在这项研究中，我们提出了一个近似牛顿草图为基础的随机最优化算法的大规模经验风险最小化。具体来说，我们计算一个部分列的海森大小（$d\times m$）与$m\ll d$随机选择的变量，然后使用\emph{Nyström method}更好地近似完整的海森矩阵。为了进一步降低每次迭代的计算复杂性，我们直接计算更新步长（$Δ\boldsymbol{w}$），而不计算和存储完整的Hessian或其逆。然后，我们将我们的近似海森与随机梯度下降和随机方差-约化梯度法。对凸函数和非凸函数的数值实验结果表明，该方法能够获得更好的牛顿\textquotesingle方法的逼近，表现出与现有的一阶拟牛顿方法和随机拟牛顿方法相当的性能.此外，我们提供了一个理论上的凸函数的收敛性分析。
2022-01-29 cs.LG math.OC stat.ML
An Approximate Newton Method for Markov Decision Processes
基于马尔可夫链的算法是马尔可夫决策过程优化的首选方法之一。在这篇文章中，我们将提出一种新的近似牛顿算法优化这些模型。该算法比单纯的牛顿法具有各种理想的性质。首先，在控制器参数为对数凹的情况下，保证了近似Hessian在整个参数空间上是负半定的。此外，我们的近似牛顿法所需的推理通常与一阶方法所需的推理相同，例如最陡梯度上升法。近似Hessian还具有许多Hessian中不存在的良好稀疏性属性，并且在许多感兴趣的情况下使其反演有效。我们还提供了一个分析，突出了我们的近似牛顿法和期望最大化和自然梯度上升之间的关系。实验结果表明，该算法具有良好的收敛性和鲁棒性。
2015-08-04 math.OC
SPAN: A Stochastic Projected Approximate Newton Method
Bytedance AI Lab（字节跳动人工智能实验室）；University of Science and Technology China（中国科学技术大学）；Tsinghua University（清华大学）
二阶最优化方法具有理想的收敛性质。然而，精确牛顿法需要昂贵的计算海森及其逆。在本文中，我们提出了一种新的近似和快速牛顿法SPAN。SPAN通过低秩近似和随机Hessian向量乘积计算黑塞矩阵的逆。我们在多个基准数据集上的实验表明，SPAN在收敛挂钟时间方面优于现有的一阶和二阶最优化方法。此外，我们提供了一个理论分析的每次迭代的复杂性，近似误差，和收敛速度。理论分析和实验结果都表明，该方法在收敛速度和迭代效率之间取得了较好的折衷。
2020-03-03 cs.LG math.OC
Hessian-Free Distributed Bilevel Optimization via Penalization with Time-Scale Separation
State Key Laboratory of Industrial Control Technology and the College of Control Science and Engineering, Zhejiang University（浙江大学工业控制技术国家重点实验室与控制科学与工程学院）；School of Electrical Engineering and Computer Science, Pennsylvania State University（宾夕法尼亚州立大学电气与计算机工程学院）
本文提出了一种无循环的分布式算法AHEAD，通过引入惩罚项和时间尺度分离，解决分布式双层优化问题，无需计算Hessian并实现快速收敛。
2026-02-26 math.OC
Convergence Analysis of the Approximate Newton Method for Markov Decision Processes
最近提出了两种近似牛顿法用于马尔可夫决策过程的优化。虽然这些方法被证明具有理想的属性，如保证预条件是负半定的政策时，是$\log$ -凹的政策参数，并被证明有很强的经验表现在具有挑战性的领域，如俄罗斯方块的游戏，没有收敛性分析。本文的目的就是提供这样一种分析。首先，我们提供了一个详细的分析的Hessian的马尔可夫决策过程，它是由一个负半定的组件，一个正半定的组件和一个剩余项。我们分析的第一部分详细说明了负半定和正半定分量如何相互关联，以及这两个项如何对海森函数做出贡献。我们的分析的下一部分表明，在一定的条件下，与丰富的政策类，在海森的剩余项消失在附近的局部最优值。最后，我们绑定的行为，这一剩余项的马尔可夫链的混合时间引起的政策参数，这部分的分析是适用于整个参数空间。给出Hessian的这种分析，然后我们提供近似牛顿框架的局部收敛分析。
2015-08-04 math.OC
Convergence of Newton-MR under Inexact Hessian Information
最近，人们对设计经典Newton-CG的变体产生了浓厚的兴趣，其中（强）凸函数的Hessian被合适的近似所取代。这主要是由许多机器学习应用中出现的大规模有限和最小化问题所激发的。超越凸性，不精确的Hessian信息最近也被认为是在算法的背景下，如信赖域或（自适应）立方正则化一般非凸问题。在这里，我们这样做的Newton-MR，这扩展了经典的Newton-CG的应用范围以外的凸性不变凸问题。不同于牛顿-CG的收敛性分析，它依赖于在Löwner偏序意义下的保谱Hessian近似，我们的工作在这里从矩阵扰动理论来估计精确和近似黑塞矩阵的子空间之间的距离。数值实验表明，这种海森近似的弹性很大程度上，相当于一个高效的算法在大规模的问题。
2020-07-10 math.OC
Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian
Linköping University（林雪平大学）；University of Maryland（马里兰大学）；University of Minnesota（明尼苏达大学）
针对具有Hölder连续Hessian的非凸无约束优化问题，提出已知参数的Newton-CG方法和无需参数先验的无参数Newton-CG方法，后者为首个实现最优迭代与运算复杂度的无参数二阶方法，且数值结果显示其性能更优。
2025-04-14 cs.LG math.OC
On the Convergence Theory for Hessian-Free Bilevel Algorithms
The Ohio State University（俄亥俄州立大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
双层优化已经成为现代机器学习中的一个强有力的工具。然而，由于双层优化的嵌套结构，即使是基于梯度的方法也需要通过雅可比或/和海森向量计算进行二阶导数近似，这在实践中可能是昂贵的且不可扩展的。最近，Hessian-free双层格式被提出来解决这个问题，其总体思想是使用零阶或一阶方法来近似双层问题的全超梯度。然而，我们根据经验观察到，这种近似可能导致大方差和不稳定的训练，但仅估计响应雅可比矩阵作为超梯度的部分分量是非常有效的。为此，我们提出了一种新的Hessian-free方法，该方法采用零阶近似方法通过两条优化路径之间的差异来近似响应雅可比矩阵。从理论上讲，我们提供了所提出的算法的收敛速度分析，我们的主要挑战是表征的近似性和光滑性的依赖于概率的估计，这可以是独立的利益。这是第一个已知的收敛速度的结果，这种类型的Hessian自由双层算法。实验上，我们证明了所提出的算法优于基线双层优化各种双层问题。特别是，在我们使用ResNet-12网络在miniImageNet数据集上进行的Few-Shot元学习实验中，我们表明我们的算法优于基线元学习算法，而其他基线双层优化器在可比的时间范围内无法解决此类元学习问题。
2022-06-06 cs.LG math.OC stat.ML
Hessians in Birkhoff-Theoretic Trajectory Optimization
Naval Postgraduate School（海军学院）
本文推导了伯克霍夫理论轨迹优化相关的海森矩阵，证明其离散化最优控制问题约80%特征值位于[-2,4]区间，分析了计算复杂度并讨论了百万点轨迹优化的挑战。
2025-11-17 cs.MS cs.NA cs.RO
INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
Indian Institute of Technology Kanpur（坎普尔印度理工学院）；Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
INTHOP通过区间Hessian方法解决非凸优化中的高计算成本、Hessian求逆和非定性Hessian方向问题，证明了算法的全局收敛性，并在测试问题中表现出更高的效率。
2026-04-07 math.OC
A Regularized Hessian-Free Inexact Newton-Type Method with Global $\mathcal{O}(k^{-2})$ Convergence
Oregon State University（俄勒冈州立大学）；Catholic Pontifical University（天主教宗座大学）；Federal University of Delta do Parnaíba（帕纳伊巴三角洲联邦大学）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种正则化Hessian自由牛顿型方法，用于优化具有Lipschitz连续Hessian的光滑凸函数，通过有限差分构造近似Hessian并自适应选择正则化参数，实现全局$\mathcal{O}(k^{-2})$收敛，且在部分问题上计算效率更高。
2026-04-30 math.OC
Do Subsampled Newton Methods Work for High-Dimensional Data?
Peking University（北京大学）；Stevens Institute of Technology（史蒂文斯理工学院）
子采样牛顿法通过子采样技术近似海森矩阵，减少了形成海森矩阵的成本，但使用足够的曲率信息。然而，以前的结果需要$Ω(d)$样本来近似Hessians，其中$d$是数据点的维数，这使得它对于高维数据实际上不太可行。当$d$与数据点的数量$n$一样大时，情况恶化，这需要考虑整个数据集，使得子采样无用。本文从理论上证明了下采样牛顿法在高维数据上的有效性。具体地说，我们证明了在Hessian矩阵的逼近中只需要$\widetildeΘ(d^γ_{\rm eff})$样本，其中$d^γ_{\rm eff}$是$γ$ -岭杠杆，只要$nγ\gg 1$，它就可以比$d$小得多.此外，我们扩展了这一结果，使子采样牛顿方法可以用于分布式优化问题和非光滑正则化问题的高维数据。
2019-05-05 cs.LG math.OC stat.ML
SHED: A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing
University of Padova（帕多瓦大学）；Uppsala University（乌普萨拉大学）
人们对分布式优化框架越来越感兴趣，该框架被称为联邦学习（FL）。特别地，许多注意力正转向FL场景，其中网络在通信资源方面是强烈异构的（例如，带宽）和数据分发。在这些情况下，本地机器（代理）和中央服务器（主）之间的通信是主要考虑因素。在这项工作中，我们提出了SHED，一个原始的通信约束牛顿型（NT）算法，旨在加速FL在这种异构的情况下。通过设计，SHED对非i.i.d.具有鲁棒性。数据分布，处理代理的通信资源（CR）的异质性，只需要零星的海森计算，并实现超线性收敛。这是可能的，由于增量策略，基于本地海森矩阵的特征分解，利用（可能）过时的二阶信息。通过评估（i）收敛所需的通信轮数，（ii）传输的数据总量和（iii）本地Hessian计算的数量，在真实数据集上彻底验证了所提出的解决方案。对于所有这些指标，所提出的方法显示出优越的性能对国家的最先进的技术，如GIANT和FedNL。
2022-09-12 cs.AI cs.LG math.OC
Hessian barrier algorithms for non-convex conic optimization
我们考虑通过一类新的自适应一阶和二阶最优化方法在正则锥与仿射集的交点上最小化连续函数，该方法建立在[Bomze，Mertikopoulos，Schachinger和Staudigl，线性约束最优化问题的Hessian障碍算法，SIAM Journal on Optimization，2019]中引入的Hessian障碍技术的基础上。我们的方法是基于一个潜在的减少机制，并获得适当定义的类近似的一阶或二阶KKT点的最佳最坏情况下的迭代复杂度$O(\varepsilon^{-2})$（一阶）和$O(\varepsilon^{-3/2})$（二阶），分别。我们的方法的一个关键特征是使用自和谐的障碍函数，通过纪律分解方法，而不牺牲迭代的复杂性的方法，以构建严格可行的迭代。据我们所知，这项工作是第一次实现这些最坏情况下的复杂性界一般锥约束最优化问题在这种弱条件下。
2022-10-17 math.OC
Complexity Guarantees for Nonconvex Newton-MR Under Inexact Hessian Information
该研究扩展了非凸无约束优化的Newton-MR算法至非精确Hessian场景，分析了不同非凸条件下的复杂度与收敛性，并通过机器学习问题实验验证了算法的鲁棒性。
2024-09-13 cs.NA math.NA math.OC
Hessian Initialization Strategies for L-BFGS Solving Non-linear Inverse Problems
L-BFGS是求解大规模反问题的最先进的最优化方法。它占用的内存很小，并实现了超线性收敛。该方法基于初始近似和对当前局部曲率信息建模的更新规则来近似Hessian。初始近似极大地影响搜索方向的缩放和方法的整体收敛性。我们提出了一种新颖，简单，有效的方法来初始化Hessian。通常，目标函数是数据保真度项和正则化项的和。通常，数据保真度的Hessian在计算上是有挑战性的，但正则化器的Hessian很容易计算。我们用一个标量替换数据保真度的Hessian，并保留正则化器的Hessian，以在每次迭代时初始化Hessian近似。标量满足普通和总体最小二乘和几何平均回归意义下的正割方程。我们的新策略不仅导致更快的收敛，但数值解的质量一般优于简单的缩放为基础的战略。具体而言，所提出的计划的基础上，普通最小二乘制定和几何平均回归优于国家的最先进的计划。我们的策略的实施只需要一个标准的L-BFGS代码的小变化。我们的实验上凸二次问题和非凸图像配准问题证实了所提出的方法的有效性。
2021-03-18 cs.NA math.NA math.OC
Natural Hypergradient Descent: Algorithm Design, Convergence Analysis, and Parallel Implementation
University of Minnesota（明尼苏达大学）；Purdue University（普渡大学）
本文提出自然超梯度下降法，通过利用内部优化问题的统计结构，用经验 Fisher 信息矩阵替代 Hessian，实现并行优化与近似框架，减少计算开销并提升大规模机器学习效果。
2026-04-01 cs.LG math.OC stat.ML
Stochastic Second-order Methods for Non-convex Optimization with Inexact Hessian and Gradient
The University of Sydney（悉尼大学）；University of California, Davis（加州大学戴维斯分校）
置信域和三次正则化方法在小规模非凸优化中表现出良好的性能，显示出逃离鞍点的能力。这些方法的每次迭代都涉及梯度、Hessian和函数值的计算，以获得搜索方向并调整半径或三次正则化参数。然而，在训练深度网络等大规模问题中，精确计算这些量过于昂贵。本文研究了一类随机置信域和三次正则化方法在梯度、Hessian和函数值计算不精确的情况下，证明了实现$ε$ -近似二阶最优性的迭代复杂度与以前的工作在梯度和函数值计算精确的情况下是相同量级的.有限和极小化问题中不精确性的温和条件可以通过随机抽样得到。我们表明，与以前的二阶方法相比，该算法在训练卷积神经网络方面表现良好。
2018-09-26 cs.LG math.OC stat.ML
Generalized Self-concordant Hessian-barrier algorithms
统计学习、成像和计算机视觉中的许多问题涉及在可行集的边界处具有奇异点的非凸目标函数的优化。对于这种具有挑战性的情况，我们开发了一种新的边界点技术，该技术建立在Bomze，Mertikopoulos，Schachinger和Staudigl最近引入的Hessian-barrier算法的基础上[SIAM J. Opt. 2019 29（3），pp. 2100-2127]，其中黎曼度量由广义自协调函数诱导。这类函数足够一般，可以包括内点方法文献中大多数常用的障碍函数。我们证明了该方法的整体收敛到一个近似稳定点，并在可行集承认一个容易计算的自协调障碍的情况下，我们验证了最坏情况下的最佳迭代复杂性的方法。讨论了该方法在非凸统计估计和$L^{p}$ -最小化中的应用，给出了该方法的有效性。
2019-11-06 cs.CC math.OC stat.ML
Accelerating SAV-based optimization via randomized low-rank Hessian approximation
Department of Pure and Applied Mathematics, Graduate School of Information Science and Technology, The University of Osaka（纯粹与应用数学系，信息科学与技术研究生学校，大阪大学）
提出Nyström增强松弛标量辅助变量方法(N-RSAV)，通过随机低秩Nyström近似引入曲率信息加速收敛，并保持无条件修正能量耗散律，在病态问题（如PINNs）中显著快于传统RSAV方法。
2026-06-09 cs.LG cs.NA math.NA
Global linear convergence of Newton's method without strong-convexity or Lipschitz gradients
EPFL（洛桑联邦理工学院）
我们表明，牛顿的方法全局收敛的目标函数的Hessian是稳定的线性速率。这类问题包括许多不是强凸的函数，例如逻辑回归。我们的线性收敛结果是（i）仿射不变的，并且即使（ii）使用近似Hessian，并且如果子问题（iii）仅近似求解，也保持不变。因此，我们从理论上证明了牛顿的方法优于一阶方法，这将只实现一个次线性$O(1/t^2)$率在类似的条件下。
2018-06-01 cs.LG math.OC stat.ML
Stochastic Recursive Variance-Reduced Cubic Regularization Methods
University of California, Los Angeles（加州大学洛杉矶分校）
随机方差缩减立方正则化（SVRC）算法由于其改进的梯度/Hessian复杂性（即，随机梯度/Hessian预言机的查询数量），以找到非凸有限和优化的局部极小值。然而，目前还不清楚现有的SVRC算法是否可以进一步改进。此外，在现有的SVRC算法中采用的半随机Hessian估计器，防止使用基于Hessian向量乘积的快速三次子问题求解器，这使得SVRC算法在计算上难以处理高维问题。在本文中，我们首先提出了一个随机递归方差减少三次正则化方法（SRVRC）使用递归更新的半随机梯度和Hessian估计。该算法在寻找$(ε, \sqrtε)$ -近似局部极小值方面具有改进的梯度和Hessian复杂度，性能优于现有的SVRC算法。在SRVRC的基础上，进一步提出了一种无Hessian的SRVRC算法，即SRVRC $_{\text{free}}$，它只需要随机梯度和Hessian向量积的计算，并达到了$\tilde O(dnε^{-2} \land dε^{-3})$的运行复杂度，其中$n$是有限和结构中分量函数的个数，$d$是问题维数，$ε$是优化精度.这优于Tripuraneni等人在2018年提出的随机三次正则化算法实现的最著名的运行时复杂度$\tilde O(dε^{-3.5})$。
2019-10-11 cs.LG math.OC stat.ML
SGD with Partial Hessian for Deep Neural Networks Optimization
The Hong Kong Polytechnic University（香港理工大学）
本文提出复合优化器 SGD-PH，对逐通道参数使用可精确提取的对角部分 Hessian，其余参数采用 SGD 更新，从而兼顾二阶优化效率与一阶泛化能力。
2024-03-05 cs.LG math.OC
GIANT: Globally Improved Approximate Newton Method for Distributed Optimization
University of California at Berkeley（加州大学伯克利分校）；University of Queensland（昆士兰大学）；Stanford University（斯坦福大学）
针对分布式计算环境，考虑经验风险最小化问题，提出了一种分布式通信高效的牛顿型优化方法。在每一次迭代中，每个worker都在本地找到一个近似牛顿（ANT）方向，并将其发送给主驱动程序。然后，主驱动程序对从工作程序接收到的所有ANT方向进行平均，以形成{ \it全局改进的ANT}（GIANT）方向。GIANT是高度通信效率的，并且自然地利用了本地计算和全局通信之间的权衡，因为更多的本地计算导致更少的总通信轮次。理论上，我们表明，GIANT享有一个改进的收敛速度相比，一阶方法和现有的分布式牛顿型方法。此外，与许多现有的分布式牛顿型方法以及流行的一阶方法形成鲜明对比，GIANT的一个非常有利的实用功能是它只涉及一个调谐参数。我们进行大规模的计算机集群上的实验，并根据经验，证明了卓越的性能的巨人。
2018-09-11 cs.DC cs.LG math.OC
A Hessian inversion-free exact second order method for distributed consensus optimization
我们考虑一个标准的分布式共识最优化问题，一组代理连接在一个无向网络，最小化他们各自的本地强凸成本的总和。乘子AMM的交替方向法和乘子PMM的邻近方法已被证明是设计包含局部代价Hessian计算的精确分布式二阶方法的有效框架。然而，现有的方法涉及显式计算的局部海森逆在每次迭代，可能是非常昂贵的优化变量的维数是大的。在本文中，我们开发了一种新的方法，称为INDO不精确牛顿法的分布式优化，它消除了海森逆计算的需要。INDO遵循PMM框架，但与现有工作不同，它通过通用的不动点方法近似牛顿方向，例如，Jacobi超松弛，不涉及Hessian逆。我们证明了精确的全局线性收敛的INDO和牛顿方向计算的不精确程度如何影响整体方法的收敛因子提供分析研究。在几个真实数据集上的数值实验表明，INDO的速度与现有技术的迭代方法相当或更好，因此具有可比的通信成本。同时，对于足够大的最优化问题维度n（甚至在几百的数量级上的n），INDO实现了计算成本的至少数量级的节省。
2022-04-06 cs.IT math.IT math.OC
A Unified Scheme to Accelerate Adaptive Cubic Regularization and Gradient Methods for Convex Optimization
在本文中，我们提出了一个统一的两阶段计划的凸优化加速：（1）自适应三次正则化方法与精确/不精确黑塞矩阵，（2）自适应梯度方法，没有任何知识的Lipschitz常数的梯度或海塞矩阵。这是通过在其进展过程中调整算法$\textit{adaptively}$中使用的参数来实现的，这可以被视为对文献中现有算法的放松。在子问题可近似求解的假设下，我们建立了三个新算法的总体迭代复杂度界，以获得$ε$ -近似解.具体来说，我们证明了具有精确/不精确Hessian矩阵的自适应三次正则化方法都实现了$O\left( 1 / ε^{1/3} \right)$量级的迭代复杂度，这与[Nesterov-2008-Accelerating]中提出的原始加速三次正则化方法的迭代复杂度相匹配，假设精确Hessian信息和Lipschitz常数的可用性，并且子问题被求解为最优。在相同的两阶段自适应加速框架下，梯度方法实现了$O\left( 1 / ε^{1/2} \right)$量级的迭代复杂度，这是已知的最佳可能的（参见图1）。Nesterov-2013-Introductory）。我们的数值实验结果表明，在一组正则化的逻辑斯谛回归的情况下，三次正则化的自适应牛顿方法显示出明显的加速效果。
2017-12-27 math.OC
Exact and Inexact Subsampled Newton Methods for Optimization
本文研究了随机最优化问题的解，其中梯度和Hessian的近似是通过子采样获得的。我们首先考虑采用这些近似的牛顿式方法，并讨论如何协调梯度和Hessian的精度，以产生预期的超线性收敛速率。本文的第二部分分析了一种不精确牛顿法，该方法使用共轭梯度（CG）方法近似求解线性系，并且对Hessian而不是梯度（梯度假设是精确的）进行采样。我们提供了一个复杂性分析，这种方法的基础上的CG迭代的性质和质量的Hessian近似，并比较它与一种方法，采用随机梯度迭代，而不是CG方法。我们报告了初步的数值结果，说明了基于逻辑斯谛回归的机器学习应用程序的不精确子采样牛顿方法的性能。
2016-09-27 math.OC stat.ML
Low Complexity Damped Gauss-Newton Algorithms for CANDECOMP/PARAFAC
Brain Science Institute, RIKEN（理化学研究所脑科学研究所）；Institute of Information Theory and Automation（信息理论与自动化研究所）
针对CP分解中阻尼高斯-牛顿算法计算复杂度过高的问题，提出基于分块逆近似Hessian的快速实现，显著降低计算和内存需求。
2012-09-13 cs.LG cs.NA math.NA
Newton Meets Marchenko-Pastur: Massively Parallel Second-Order Optimization with Hessian Sketching and Debiasing
针对通信受限的大规模并行凸优化，提出基于 Marchenko-Pastur 定律自适应选择 Hessian 草图维度并对下降方向去偏平均的近似 Newton 方法，并给出维度无关的非渐近与自协调收敛保证。
2024-10-02 cs.IT eess.SP math.IT
Inexact Non-Convex Newton-Type Methods
为了解决大规模非凸问题，我们提出了置信域和自适应立方正则化方法的不精确变体，其中，为了提高效率，结合各种近似。特别地，除了近似子问题解决之外，Hessian和梯度都被适当地近似。使用相当温和的条件，这样的近似，我们表明，我们提出的不精确的方法实现类似的最佳最坏情况下的迭代复杂性的确切的同行。我们提出的算法，以及它们各自的理论分析，不需要任何不可知的问题相关的量的知识，因此很容易在实践中实现。在有限和问题的背景下，我们探索随机子采样方法作为构建梯度和Hessian近似的方法，并在一些真实数据集上检验我们的算法的经验性能。
2018-02-20 math.OC
Practical Quasi-Newton Methods for Training Deep Neural Networks
Columbia University（哥伦比亚大学）
我们考虑了实际随机拟牛顿的发展，特别是Kronecker因子块对角BFGS和L-BFGS方法，用于训练深度神经网络（DNN）。在DNN训练中，梯度$n$的变量和分量的数量通常是数千万的量级，并且Hessian具有$n^2$元素。因此，计算和存储完整的$n \times n$ BFGS近似或存储适度数量的（步长、梯度变化）向量对以用于L-BFGS实现是不可能的。在我们提出的方法中，我们通过块对角矩阵来近似Hessian，并使用梯度和Hessian的结构来进一步近似这些块，每个块对应于一个层，作为两个小得多的矩阵的Kronecker积。这类似于KFAC中的方法，该方法在随机自然梯度方法中计算Fisher矩阵的Kronecker因子块对角近似。由于DNN中Hessian的不确定性和高度可变性，我们还提出了一种新的阻尼方法来保持BFGS和L-BFGS近似的上界和下界有界。在对应用于三个数据集的具有九层或十三层的自动编码器前馈神经网络模型的测试中，我们的方法优于或优于KFAC和最先进的一阶随机方法。
2021-01-07 cs.LG math.OC stat.ML
A Log-Barrier Newton-CG Method for Bound Constrained Optimization with Complexity Guarantees
我们描述了一个算法的基础上的对数障碍函数，牛顿法，和线性共轭梯度，获得一个近似极小的光滑函数的非负正交。我们开发的方法的复杂性，所需的精度和成本的一个单一的梯度评价的目标函数和/或矩阵向量乘法涉及的Hessian的目标方面的限制。该方法可以在不显式计算或存储Hessian的情况下实现。
2019-12-03 math.OC
Eigencurve: Optimal Learning Rate Schedule for SGD on Quadratic Objectives with Skewed Hessian Spectrums
The Hong Kong University of Science and Technology（香港科技大学）；Xi’an Jiaotong University（西安交通大学）；Google Research（谷歌研究院）
学习率优化器已被广泛用于训练深度神经网络。尽管它们具有重要的实际意义，但其实践与理论分析之间存在差异。例如，它是不知道什么时间表的SGD实现最佳收敛，即使是简单的问题，如优化二次目标。在本文中，我们提出了特征曲线，第一个家庭的学习率调度，可以实现极小极大最优收敛速度（常数）SGD二次目标时的特征值分布的基础海森矩阵是偏斜的。这种情况在实践中很常见。实验结果表明，特征曲线在CIFAR-10上的图像分类任务中，尤其是当epoch数较小时，性能明显优于阶跃衰减。此外，该理论启发了两个简单的学习率的实际应用，可以近似特征曲线。对于某些问题，所提出的最佳形状类似于余弦衰减，这揭示了余弦衰减在这种情况下的成功。对于其他情况，所提出的余弦衰减优于余弦衰减。
2022-06-14 cs.LG math.OC
A Fully Stochastic Second-Order Trust Region Method
提出了一种随机二阶置信域方法，该方法可以看作是Curtis等人提出的信赖域ish（TRish）算法的二阶扩展（INFORMS J. Optim. 1（3）200-220，2019）。在每次迭代中，通过（近似）求解由随机梯度和Hessian估计定义的置信域子问题来计算搜索方向。该算法具有收敛保证随机最小化在完全随机制度，这意味着保证举行时，每个随机梯度只需要是一个无偏估计的真梯度有界方差和随机海森估计一致有界的范数。该算法还配备了一个最坏情况下的复杂性保证，在几乎确定性的制度，即，当随机梯度和Hessian估计在期望上非常接近真实梯度和Hessian时。训练卷积神经网络的图像分类和训练的递归神经网络的时间序列预测的数值实验的结果。这些结果表明，该算法在实际应用中的性能优于随机梯度方法和一阶TRish算法。
2019-11-16 math.OC
Sub-Sampled Newton Methods I: Globally Convergent Algorithms
International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
大规模最优化问题在机器学习和数据分析中普遍存在，并且存在大量用于解决此类问题的算法。这些算法中的许多采用子采样，作为加速计算和/或隐式实现统计正则化形式的一种方式。在本文中，我们考虑二阶迭代优化算法，我们提供的范围上的收敛的变种的牛顿法，将均匀子采样作为一种手段来估计梯度和/或海森。我们的界限是非渐近的和定量的。我们的算法是全球性的，并保证从任何初始收敛。使用随机矩阵浓度不等式，可以对Hessian进行子采样以保持曲率信息。我们的第一个算法结合了海森子采样，同时使用全梯度。我们还给出了额外的收敛结果时，通过修改其频谱或脊型正则化的子采样海森正则化。接下来，除了Hessian子采样之外，我们还考虑对梯度进行子采样，以进一步降低每次迭代的计算复杂性。我们使用随机数值线性代数的近似矩阵乘法结果来获得适当的采样策略。在所有这些算法中，计算更新归结为求解大规模线性系，这在计算上是昂贵的。作为一种补救措施，对于我们所有的算法，我们也给出了整体收敛结果的情况下，不精确的更新，这样的线性系只解决近似。本文有一个更先进的配套文件，[42]，其中我们证明，通过做更细粒度的分析，我们可以得到这些算法的局部收敛的问题无关的界限，并探索权衡，以改善本文的基本结果。
2016-02-26 cs.LG math.OC stat.ML
A New Multipoint Symmetric Secant Method with a Dense Initial Matrix
在大规模优化中，当形成或存储黑塞矩阵的成本过高时，通常使用拟牛顿法代替牛顿法，因为它们只需要一阶信息来近似真实的Hessian矩阵。多点对称割线法（MSS）可以被认为是拟牛顿法的推广，因为它们试图对Hessian的近似施加额外的要求。在给定初始Hessian逼近的情况下，MSS方法通过秩2更新生成一系列可能不定矩阵，从而求解非凸无约束最优化问题。由于实际原因，到目前为止，初始化一直是单位矩阵的常数倍。在本文中，我们提出了一个新的有限内存MSS方法的大规模非凸优化，允许密集的初始化。CUTEst测试问题的数值结果表明，MSS方法使用密集初始化优于标准初始化。数值结果还表明，这种方法是竞争的基本L-SR 1信赖域方法和L-PSB方法。
2022-08-09 cs.NA math.NA math.OC
Low-Order Explicit Hessian Imitation Method for Large-Scale Supervised Machine Learning
Lehigh University（利哈伊大学）
本文提出了一种用于神经网络监督学习训练优化问题的算法，通过辅助损失生成低阶Hessian近似，提升优化效率，实验表明其优于Adam等优化器。
2026-05-07 math.OC
Adaptive Newton Sketch: Linear-time Optimization with Quadratic Convergence and Effective Hessian Dimensionality
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
对于具有自协调、复合、强凸目标函数的凸优化问题，提出了一个具有平方收敛速率的随机算法。我们的方法是基于执行一个近似的牛顿步骤，使用一个随机投影的Hessian。我们的第一个贡献是表明，在每次迭代中，嵌入维数（或草图大小）可以小到黑塞矩阵的有效维数。利用这一新的基本结果，我们设计了一个算法的草图大小成比例的有效尺寸，并表现出二次收敛速率。这一结果大大改善了经典的线性平方收敛速率的国家的最先进的子采样牛顿方法。然而，在大多数实际情况下，事先并不知道有效尺寸，这就产生了一个问题，即如何在保持平方收敛速率的同时选取与有效尺寸一样小的草图尺寸。因此，我们的第二个和主要的贡献是提出一个自适应草图尺寸算法与平方收敛速率，不需要先验知识或估计的有效尺寸：在每次迭代中，它开始与一个小的草图尺寸，并增加它，直到二次进度实现。重要的是，我们表明，嵌入维数保持成比例的有效尺寸在整个路径，我们的方法实现了最先进的计算复杂性解决凸优化方案的强凸组件。
2021-05-15 cs.LG math.OC
Sub-sampled Trust-Region Methods with Deterministic Worst-Case Complexity Guarantees
针对有限和优化问题，提出自适应确定性调整样本量的子采样信赖域方法，并证明其一阶与二阶近似平稳点的最坏情况迭代复杂度。
2025-07-23 math.OC
Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach
Northeastern University（东北大学）
本文提出一种基于 Hessian 惩罚的二点噪声注入估计方法，有效正则化神经网络损失表面的 Hessian 矩阵以寻找平坦极小值，显著提升了模型泛化能力并在多种任务上取得优异实验结果。
2024-09-23 cs.DS cs.LG math.OC
Error-tolerant Multisecant Method for Nonlinearly Constrained Optimization
我们提出了一个基于导数的算法，非线性约束最优化问题是容忍的数据不准确。该算法求解一个半光滑的非线性方程组，相当于一阶最优性条件，它是无矩阵的意义上，它不需要显式的拉格朗日Hessian或雅可比的约束。求解方法是拟牛顿法，但不是仅近似Hessian或约束Jacobian，而是使用多割线法近似整个非线性方程组的Jacobian。我们展示了如何预处理可以被纳入多割线更新，以提高该方法的性能。对于非凸问题，我们提出了一个简单的修改割线条件正则化的海森。数值实验表明，该算法是一个很有前途的替代传统的基于梯度的算法，特别是当错误存在于数据中。
2017-09-20 math.OC
Sharpened Quasi-Newton Methods: Faster Superlinear Rate and Larger Local Convergence Neighborhood
非渐近分析的拟牛顿法获得牵引最近。特别是，一些工作已经建立了一个非渐近超线性率$\mathcal{O}((1/\sqrt{t})^t)$的（经典）BFGS方法，利用这一事实，其牛顿方向近似的误差接近零。此外，最近提出了BFGS的贪婪变体，其通过直接逼近Hessian而不是Newton方向来加速其收敛，并且实现了快速的局部平方收敛速率。唉，与BFGS为局部超线性速率所需的迭代次数相比，Greedy-BFGS的局部平方收敛需要更多的更新。这是由于在Greedy-BFGS中，Hessian被直接近似，并且牛顿方向近似可能不如BFGS的方向近似准确。在本文中，我们关闭这一差距，并提出了一种新的BFGS方法，具有两全其美，因为它利用了BFGS和贪婪BFGS的近似思想，以适当的近似牛顿方向和黑塞矩阵同时。我们的理论结果表明，我们的方法在收敛速度方面优于BFGS和Greedy-BFGS，而它达到了它的平方收敛速率与Greedy-BFGS相比，更少的步骤。各种数据集上的数值实验也证实了我们的理论发现。
2022-06-16 math.OC
Balancing Gradient and Hessian Queries in Non-Convex Optimization
Institute for Theoretical Studies, ETH Zürich（苏黎世联邦理工学院理论研究所）；Department of Computer Science, Purdue University（普渡大学计算机科学系）；Stanford University（斯坦福大学）
本文提出非凸优化新方法，平衡梯度与Hessian查询次数，在Lipschitz Hessian条件下实现改进的梯度查询复杂度，并推广至近似Hessian情形。
2025-10-23 cs.DS math.OC
Structured Quasi-Newton Methods for Optimization with Orthogonality Constraints
本文研究了正交约束最优化问题的结构拟牛顿法。注意，目标函数的黎曼海森需要欧几里德海森和欧几里德梯度。特别是，我们感兴趣的应用程序，欧几里德海森本身包括一个计算便宜的一部分和一个显着昂贵的一部分。我们的基本思想是保持这些部分的计算成本较低，但取代那些部分的计算成本较高的有限内存的拟牛顿更新。更具体地，与欧氏梯度相关的部分和欧氏海森中更便宜的部分被保留。初始拟牛顿矩阵进一步构造从一个有限的内存Nyström近似昂贵的部分。因此，我们的子问题近似的原始目标函数在欧几里得空间，并保持正交约束，而不执行所谓的矢量传输。当子问题的解具有足够的精度时，在较弱的条件下，可以得到全局和局部q-超线性收敛。线性本征值问题和电子结构计算的初步数值实验表明，与现有算法相比，该方法是有效的。
2018-09-03 math.OC
An Approximate Newton Smoothing Method for Shape Optimization
一种新的方法来有效地近似Hessian的数值形状优化。该方法通过在基于局部傅里叶分析的半自动框架中包括身体拟合坐标和空间变化符号来增强算子符号近似。与经典的算子符号方法相反，所提出的策略将识别非平滑设计在物理上有意义的区域，并将自动关闭这些区域中的平滑。一个新的战略，也数值识别的解析符号的推导，扩展的过程中，各种各样的问题。通过在Stokes和Navier-Stokes流中使用阻力最小化证明了该方法的有效性。
2018-07-30 math.OC
Projection Algorithms for Non-Convex Minimization with Application to Sparse Principal Component Analysis
University of Florida（佛罗里达大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文研究了非凸集上的凹最小化问题，提出并分析了梯度投影算法和近似牛顿算法，展示了其在稀疏主成分分析中的应用效果。
2019-04-06 cs.NA math.NA math.OC
mL-BFGS: A Momentum-based L-BFGS for Distributed Large-Scale Neural Network Optimization
University of Southern California（南加州大学）；Inha University（仁荷大学）
提出轻量级基于动量的mL-BFGS算法，通过引入近零成本动量方案降低Hessian随机噪声并实现分块Hessian的分布式计算，在大规模神经网络训练中实现了稳定收敛及显著的迭代与时间加速。
2023-07-25 cs.LG math.OC
Newton-like method with diagonal correction for distributed optimization
我们考虑分布式优化问题，网络节点合作最小化他们的本地已知的凸成本的总和。解决这些问题的一种流行的方法是分布式梯度方法，由于其廉价的迭代而具有吸引力，但具有收敛速度慢的缺点。这促使在分布式方法中纳入二阶信息，但这项任务是具有挑战性的：虽然在算法设计方面出现的Hessians网络的稀疏性，其逆是密集的，因此呈现分布式实现困难。我们克服了这一挑战，并提出了一类分布式牛顿类方法，我们称之为分布式拟牛顿（DQN）。DQN系列通过以下方式近似Hessian逆：1）将Hessian分解为对角部分和非对角部分，2）反转对角部分，以及3）通过加权线性函数近似非对角部分的逆。近似参数化的调谐变量对应于不同的分裂的海森和不同的权重的非对角海森部分。调整变量的特定选择会产生所提出的通用DQN方法的不同变体-称为DQN-0，DQN-1和DQN-2 -它们相互权衡通信和计算成本以实现收敛。仿真结果表明了所提出的DQN方法的有效性。
2017-02-20 cs.IT math.IT math.OC
DN-ADMM: Distributed Newton ADMM for Multi-agent Optimization
在多智能体网络中，我们考虑最小化一个目标函数的问题，该目标函数表示为私有凸函数和光滑函数的和，以及一个（可能）不可微的凸正则化。基于乘子的交替方向法（ADMM）框架，通过对可微部分的原始更新调用近似牛顿迭代，提出了一种新的分布式二阶方法.为了实现分布式实现，总的黑塞矩阵被分成对角分量（本地可计算）和非对角分量（需要相邻代理之间的通信）。随后，Hessian逆近似的截断泰勒展开$K$条款：这相当于完全分布式更新需要$K$分布式通信轮。在强凸函数和Lipschitz连续梯度的假设下，我们证明了问题的原始-对偶最优解的全局线性收敛.数值实验表明，该方法的优点与国家的最先进的方法相比。
2021-09-29 math.OC
Accelerating Adaptive Cubic Regularization of Newton's Method via Random Sampling
在本文中，我们考虑一个无约束的最优化模型的目标是一个可能的非凸函数的大量的总和，虽然总体上的目标被假定为光滑和凸的。我们尝试使用牛顿法的立方正则化框架来求解这种模型。众所周知，三次正则化的关键是它对Hessian信息的利用，这对于大规模问题来说可能是计算昂贵的。为了解决这个问题，我们通过子采样来近似Hessian矩阵。特别是，我们建议通过\textit{uniformly} \/或\textit{non-uniformly} \/对目标的分量进行子采样来计算近似的Hessian矩阵。基于这种采样策略，我们提出了加速自适应三次正则化方法，并给出了$O(ε^{-1/3})$算法的全局迭代复杂度的理论保证，该算法的全局迭代复杂度与基于\textit{full} \/ Hessian信息的加速三次正则化算法\cite{Jiang-2017-Unified}的全局迭代复杂度相匹配.有趣的是，我们表明，在最坏的情况下，我们的算法仍然达到了$O\left(\log(ε^{-1})ε^{-5/6}\right)$迭代复杂度的界限。正则化逻辑斯谛回归问题的性能所提出的方法在几个真实的数据集上的历元计数方面显示出明显的加速效果。
2022-03-12 math.OC
Quantum speedups for linear programming via interior point methods
Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）；IRIF（IRIF研究所）；Tilburg University（蒂尔堡大学）
本文提出了一种基于内点法的量子算法，用于加速线性规划问题，通过高效近似Hessian和梯度实现亚线性时间复杂度。
2026-01-30 cs.DS math.OC quant-ph
Mirror Natural Evolution Strategies
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文研究利用零阶查询近似一阶和二阶信息的零阶优化理论，提出重参数化目标函数及新算法 MiNES，并证明其协方差矩阵以 $\widetilde{\mathcal{O}}(1/k)$ 收敛率逼近目标函数 Hessian 矩阵的逆。
2023-08-01 cs.LG cs.NE math.OC
hIPPYlib: An Extensible Software Framework for Large-Scale Inverse Problems Governed by PDEs; Part I: Deterministic Inversion and Linearized Bayesian Inference
我们提出了一个可扩展的软件框架，hIPPYlib，解决大规模的确定性和贝叶斯逆问题的偏微分方程（PDE）与无穷维参数字段（这是高维离散化后）。hIPPYlib通过为基于偏微分方程的逆问题实现最先进的可扩展算法，克服了贝叶斯逆对这类问题的禁止性，这些算法利用了底层算子的结构，特别是对数后验的Hessian。在hIPPYlib中实现的算法的关键属性是，确定性和线性化贝叶斯逆问题的解是以线性化正向PDE解的成本计算的，该成本与参数维数无关。后验的平均值由MAP点近似，MAP点通过最小化负对数后验来找到。这个确定性的非线性最小二乘最优化问题的解决与不精确矩阵的牛顿CG方法。后验协方差近似为在MAP点评估的负对数后验的Hessian的倒数。当参数-可观测映射是线性的时，这种高斯近似是精确的;否则，其对数与MAP点处的对数后验的两个导数一致，因此它可以作为基于Hessian的MCMC方法的建议。通过调用对数似然的Hessian的低秩近似，使得后验协方差的构造变得易于处理。还实现了用于样本生成的可扩展工具。hIPPYlib使领域科学家可以轻松访问所有这些高级算法，并提供了一个加速新算法开发的环境。hIPPYlib也是一个教学工具，用于教育研究人员和从业者谁是新的反问题和贝叶斯推理框架。
2020-08-29 cs.MS cs.NA math.NA
