Converge Faster, Talk Less: Hessian-Informed Federated Zeroth-Order Optimization
Rochester Institute of Technology（罗切斯特理工大学）；Google（谷歌）；ComboCurve Inc.（ComboCurve公司）
HiSo通过利用Hessian信息加速联邦零阶优化的收敛，显著提升通信效率。
2026-02-02 cs.DC cs.LG
Newton-Type Methods for Non-Convex Optimization Under Inexact Hessian Information
Stanford University（斯坦福大学）；University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
我们考虑非凸优化的信赖域和三次正则化方法的变体，其中黑塞矩阵是近似的。在不精确Hessian的适当条件下，利用相应子问题的近似解，我们给出了迭代复杂度以获得$ ε$ -近似二阶最优性，并证明了该最优性是紧的.我们的海森近似条件构成了一个主要的放松在文献中现有的。因此，我们能够表明，这种温和的条件允许通过各种随机抽样方法的近似海森的建设。在此基础上，我们考虑了有限和极小化的典型问题，提供了适当的均匀和非均匀子采样策略来构造这样的Hessian近似，并获得了相应的子采样信赖域和三次正则化方法的最佳迭代复杂度。
2019-05-14 cs.CC cs.LG math.OC
Training Autoencoders Using Stochastic Hessian-Free Optimization with LSMR
Department of Mathematics, University of Iowa（数学系，爱荷华大学）
针对海森自由（HF）优化训练深度自编码器的数据量大问题，提出改用LSMR方法、整合改进预条件子并引入基于方差估计和验证目标下降的小批量选择算法，实现快速训练并提升泛化性能。
2025-04-17 cs.LG math.OC
HessianFR: An Efficient Hessian-based Follow-the-Ridge Algorithm for Minimax Optimization
The University of Hong Kong（香港大学）
可微二人序列游戏的广泛应用（例如，由GANs生成图像）已经引起了研究人员对研究高效和快速算法的兴趣和关注。现有的大多数算法都是基于同时博弈的良好性质开发的，即，凹凸支付函数，但不适用于解决不同设置的序列博弈。一些传统的梯度下降上升算法在理论上和数值上都无法找到同时博弈的局部纳什均衡或局部极小极大（即，局部Stackelberg均衡）的序列博弈。在本文中，我们提出了HessianFR，一个有效的基于Hessian的Follow-the-Ridge算法与理论保证。此外，利用随机算法的收敛性和Hessian逆的逼近性来提高算法的效率。在合成和真实世界的大规模图像数据集（例如MNIST，CIFAR-10和CelebA）上进行了一系列训练生成对抗网络（GANs）的实验。实验结果表明，所提出的HessianFR在收敛性和图像生成质量方面优于基线。
2022-05-23 cs.LG cs.NA math.NA
Q-SHED: Distributed Optimization at the Edge via Hessian Eigenvectors Quantization
Uppsala University（乌普萨拉大学）；University of Padova（帕多瓦大学）
本文提出Q-SHED算法，通过增量Hessian特征向量量化实现带宽自适应的比特分配，结合SHED算法减少Hessian计算量，在收敛通信轮数上较竞争方法最多减少60%。
2023-05-18 cs.LG cs.MA cs.SY
Stochastic Hessian Fittings with Lie Groups
Xi-Lin Li（利西林）
本研究通过分析李群中的Hessian拟合问题，揭示了其在不同几何设置下的强凸性，并提出了高效的李群稀疏预条件器拟合方法。
2025-11-30 cs.LG math.OC stat.ML
Achieving ${O}(ε^{-1.5})$ Complexity in Hessian/Jacobian-free Stochastic Bilevel Optimization
University at Buffalo（布法罗大学）
本文提出无 Hessian/Jacobian 的双层优化器 FdeHBO，通过单循环结构、有限差分近似和动量更新，首次在非凸-强凸随机双层优化中实现 ${O}(ε^{-1.5})$ 样本复杂度。
2025-04-06 cs.LG math.OC stat.ML
Generalized Quadratic Gradient: A New Direction in Optimization via the Fusion of Positive-Definite Curvature Matrices and Gradients into A Unified Framework
本文提出广义二次梯度（GQG）这一统一框架，将二次梯度原理扩展至更广泛牛顿型优化算法，突破了现有二次梯度方法对特定海森近似的限制，为感知曲率的优化算法开发提供了更广泛基础。
2026-08-04 cs.LG math.OC
Second-order Optimization under Heavy-Tailed Noise: Hessian Clipping and Sample Complexity Limits
KAUST Center of Excellence for Generative AI（知识增强人工智能卓越中心）；ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；Georgia Institute of Technology（佐治亚理工学院）
本文首次研究重尾噪声下的二阶优化，建立样本复杂度紧下界，提出基于梯度和Hessian Clipping的算法，证明其高概率上界几乎匹配理论极限，为算法设计提供鲁棒策略。
2025-10-12 cs.LG math.OC
Training Neural Networks with Stochastic Hessian-Free Optimization
University of Alberta（阿尔伯塔大学）
Hessian-free（HF）优化已成功用于训练深度自动编码器和递归网络。HF使用共轭梯度算法通过曲率向量乘积来构造更新方向，曲率向量乘积可以在与梯度相同的时间顺序上计算。在本文中，我们利用这个属性，研究随机HF的梯度和曲率小批量独立的数据集大小。我们修改马滕斯的HF为这些设置和集成dropout，一种方法，用于防止特征检测器的共同适应，以防止过度拟合。随机无Hessian优化提供了SGD和HF之间的中介，在分类和深度自动编码器实验中都实现了有竞争力的性能。
2013-05-01 cs.LG cs.NE stat.ML
Stochastic Second-order Methods for Non-convex Optimization with Inexact Hessian and Gradient
The University of Sydney（悉尼大学）；University of California, Davis（加州大学戴维斯分校）
置信域和三次正则化方法在小规模非凸优化中表现出良好的性能，显示出逃离鞍点的能力。这些方法的每次迭代都涉及梯度、Hessian和函数值的计算，以获得搜索方向并调整半径或三次正则化参数。然而，在训练深度网络等大规模问题中，精确计算这些量过于昂贵。本文研究了一类随机置信域和三次正则化方法在梯度、Hessian和函数值计算不精确的情况下，证明了实现$ε$ -近似二阶最优性的迭代复杂度与以前的工作在梯度和函数值计算精确的情况下是相同量级的.有限和极小化问题中不精确性的温和条件可以通过随机抽样得到。我们表明，与以前的二阶方法相比，该算法在训练卷积神经网络方面表现良好。
2018-09-26 cs.LG math.OC stat.ML
A Distributed Optimisation Framework Combining Natural Gradient with Hessian-Free for Discriminative Sequence Training
Apple（苹果公司）
本文提出了一种新的自然梯度和海森自由（NGHF）优化框架的神经网络训练，可以有效地在一个分布式的方式。它依赖于线性共轭梯度（CG）算法，结合自然梯度（NG）方法与来自Hessian-free（HF）或其他二阶方法的局部曲率信息。CG中数值问题的解决方案允许使用比通常使用的CG迭代少得多的CG迭代（例如，5-8而不是200）来生成有效的参数更新。这项工作还提出了一种新的预处理方法，以改善共享参数模型的个别CG迭代所取得的进展。虽然适用于其他训练损失和模型结构，NGHF本文研究了基于格的判别序列训练的混合隐马尔可夫模型声学模型使用标准的递归神经网络，长短期记忆，和时间延迟神经网络模型的输出概率计算。自动语音识别实验报告的多流派广播数据集的范围内不同的声学模型类型。这些实验表明，NGHF实现了更大的字出错率降低比标准的随机梯度下降或亚当，而需要的数量级更少的参数更新。
2021-03-12 cs.CL cs.LG cs.SD
Adaptive Newton Sketch: Linear-time Optimization with Quadratic Convergence and Effective Hessian Dimensionality
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
对于具有自协调、复合、强凸目标函数的凸优化问题，提出了一个具有平方收敛速率的随机算法。我们的方法是基于执行一个近似的牛顿步骤，使用一个随机投影的Hessian。我们的第一个贡献是表明，在每次迭代中，嵌入维数（或草图大小）可以小到黑塞矩阵的有效维数。利用这一新的基本结果，我们设计了一个算法的草图大小成比例的有效尺寸，并表现出二次收敛速率。这一结果大大改善了经典的线性平方收敛速率的国家的最先进的子采样牛顿方法。然而，在大多数实际情况下，事先并不知道有效尺寸，这就产生了一个问题，即如何在保持平方收敛速率的同时选取与有效尺寸一样小的草图尺寸。因此，我们的第二个和主要的贡献是提出一个自适应草图尺寸算法与平方收敛速率，不需要先验知识或估计的有效尺寸：在每次迭代中，它开始与一个小的草图尺寸，并增加它，直到二次进度实现。重要的是，我们表明，嵌入维数保持成比例的有效尺寸在整个路径，我们的方法实现了最先进的计算复杂性解决凸优化方案的强凸组件。
2021-05-15 cs.LG math.OC
Decentralized Stochastic Bilevel Optimization with Improved per-Iteration Complexity
University of California, Davis（加州大学戴维斯分校）；Rice University（莱斯大学）
针对去中心化随机双层优化，本文提出仅需一阶随机预言机及Hessian/Jacobian-向量积预言机的DSBO算法，在保持最优样本复杂度的同时避免计算完整矩阵，降低了每次迭代复杂度。
2023-05-31 cs.DC cs.LG math.OC
Constrained Bi-Level Optimization: Proximal Lagrangian Value function Approach and Hessian-free Algorithm
National Center for Applied Mathematics Shenzhen（深圳国家应用数学中心）；Southern University of Science and Technology（南方科技大学）；CETC Key Laboratory of Smart City Modeling Simulation and Intelligent Technology（中国电子科技集团智慧城市建模仿真与智能技术重点实验室）；The Smart City Research Institute of CETC（中国电子科技集团智慧城市研究院）；University of Victoria（维多利亚大学）
针对含上下层变量耦合约束的双层优化问题，提出基于光滑近端拉格朗日值函数的单层重构与单循环无Hessian算法LV-HBA，无需下层强凸假设，具备非渐近收敛性，在机器学习场景中性能更优。
2024-01-29 cs.LG math.OC
A Stochastic Newton Algorithm for Distributed Convex Optimization
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）
我们提出并分析了均匀分布的随机凸优化的随机牛顿算法，其中每台机器可以计算相同的人口目标的随机梯度，以及随机Hessian向量乘积（人口目标的Hessian的独立无偏估计与任意向量的乘积），许多这样的随机计算在两轮通信之间进行。我们表明，与现有方法相比，我们的方法可以减少所需通信轮的数量和频率，而不会损害性能，通过证明准自协调目标的收敛保证（例如，逻辑斯谛回归），以及经验证据。
2021-10-07 cs.LG math.OC stat.ML
Hessian barrier algorithms for linearly constrained optimization problems
Universität Wien（维也纳大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；Maastricht University（马斯特里赫特大学）
本文提出Hessian障碍算法（HBA），结合Hessian黎曼梯度流前向欧拉离散化与Armijo回溯步长策略，证明其收敛性及收敛率，并通过数值实验验证。
2019-05-08 cs.LG math.OC
Nys-Newton: Nyström-Approximated Curvature for Stochastic Optimization
RIKEN AIP（理化学研究所（RIKEN）计算科学中心（AIP））；Kyoto University（京都大学）
二阶最优化方法是用于凸优化问题的最广泛使用的优化方法之一，并且最近已被用于优化诸如深度学习模型的非凸优化问题。广泛使用的二阶最优化方法，如拟牛顿法，通常通过使用割线方程近似Hessian来提供曲率信息。然而，割线方程由于使用一阶导数而在近似牛顿步骤时变得乏味。在这项研究中，我们提出了一个近似牛顿草图为基础的随机最优化算法的大规模经验风险最小化。具体来说，我们计算一个部分列的海森大小（$d\times m$）与$m\ll d$随机选择的变量，然后使用\emph{Nyström method}更好地近似完整的海森矩阵。为了进一步降低每次迭代的计算复杂性，我们直接计算更新步长（$Δ\boldsymbol{w}$），而不计算和存储完整的Hessian或其逆。然后，我们将我们的近似海森与随机梯度下降和随机方差-约化梯度法。对凸函数和非凸函数的数值实验结果表明，该方法能够获得更好的牛顿\textquotesingle方法的逼近，表现出与现有的一阶拟牛顿方法和随机拟牛顿方法相当的性能.此外，我们提供了一个理论上的凸函数的收敛性分析。
2022-01-29 cs.LG math.OC stat.ML
mL-BFGS: A Momentum-based L-BFGS for Distributed Large-Scale Neural Network Optimization
University of Southern California（南加州大学）；Inha University（仁荷大学）
提出轻量级基于动量的mL-BFGS算法，通过引入近零成本动量方案降低Hessian随机噪声并实现分块Hessian的分布式计算，在大规模神经网络训练中实现了稳定收敛及显著的迭代与时间加速。
2023-07-25 cs.LG math.OC
Block-diagonal Hessian-free Optimization for Training Neural Networks
Syracuse University（雪城大学）；Salesforce Research（Salesforce 研究院）
用于神经网络优化的二阶方法与基于一阶梯度下降的方法相比具有几个优点，包括更好地扩展到大的小批量大小和收敛所需的更新更少。但它们在实践中很少应用于深度学习，因为计算成本高，需要依赖于模型的算法变化。我们引入了一个变体的海森自由的方法，利用块对角近似的广义高斯-牛顿矩阵。我们的方法只计算曲率近似矩阵的参数对从同一层或块的神经网络和共轭梯度更新独立地为每个块。在深度自动编码器、深度卷积网络和多层LSTM上的实验表明，与原始的Hessian-free方法和Adam方法相比，该方法具有更好的收敛性和泛化能力。
2017-12-20 cs.AI cs.LG stat.ML
NeST-BO: Fast Local Bayesian Optimization via Newton-Step Targeting of Gradient and Hessian Information
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Ohio State University（俄亥俄州立大学）
NeST-BO是一种利用曲率信息的局部贝叶斯优化方法，通过联合学习梯度和Hessian信息以及高斯过程代理，结合牛顿步目标和一步前瞻界来选择评估点，从而在高维问题中实现快速收敛和全局收敛。
2026-03-27 cs.LG math.OC
Simplified Quadratic Gradient: A Unified Framework Bridging Gradient Descent and Newton-Type Methods by Synthesizing Hessians and Gradients
本文提出一种新的二次梯度方法，通过合成Hessian和梯度，改进了传统牛顿方法的收敛性，实验显示其在非凸优化中具有更好的性能。
2026-08-04 cs.LG math.OC
SASSHA: Sharpness-aware Adaptive Second-order Optimization with Stable Hessian Approximation
针对二阶优化方法泛化较差的问题，提出 Sassha，通过显式降低解的锐度并稳定 Hessian 近似计算，在保证效率的同时显著提升了泛化性能。
2025-06-24 cs.AI cs.LG
Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；New York University（纽约大学）；Princeton University（普林斯顿大学）
本文针对随机零阶反馈下的强凸且二阶光滑函数优化问题，首次建立了极小极大简单遗憾的紧致上下界，并提出一种结合引导阶段与镜像下降阶段的算法，通过精确刻画球面采样梯度估计器实现最优偏差-方差权衡。
2024-06-28 cs.IT cs.LG math.IT
On the Convergence Theory for Hessian-Free Bilevel Algorithms
The Ohio State University（俄亥俄州立大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
双层优化已经成为现代机器学习中的一个强有力的工具。然而，由于双层优化的嵌套结构，即使是基于梯度的方法也需要通过雅可比或/和海森向量计算进行二阶导数近似，这在实践中可能是昂贵的且不可扩展的。最近，Hessian-free双层格式被提出来解决这个问题，其总体思想是使用零阶或一阶方法来近似双层问题的全超梯度。然而，我们根据经验观察到，这种近似可能导致大方差和不稳定的训练，但仅估计响应雅可比矩阵作为超梯度的部分分量是非常有效的。为此，我们提出了一种新的Hessian-free方法，该方法采用零阶近似方法通过两条优化路径之间的差异来近似响应雅可比矩阵。从理论上讲，我们提供了所提出的算法的收敛速度分析，我们的主要挑战是表征的近似性和光滑性的依赖于概率的估计，这可以是独立的利益。这是第一个已知的收敛速度的结果，这种类型的Hessian自由双层算法。实验上，我们证明了所提出的算法优于基线双层优化各种双层问题。特别是，在我们使用ResNet-12网络在miniImageNet数据集上进行的Few-Shot元学习实验中，我们表明我们的算法优于基线元学习算法，而其他基线双层优化器在可比的时间范围内无法解决此类元学习问题。
2022-06-06 cs.LG math.OC stat.ML
How noise affects the Hessian spectrum in overparameterized neural networks
Northwestern University（西北大学）；Facebook AI Research（Facebook人工智能研究院）
随机梯度下降（SGD）是深度神经网络的核心优化方法。虽然已经取得了一些理论上的进展，但仍然不清楚为什么SGD会将过参数化网络中的学习动力学引导到具有良好泛化能力的解决方案。在这里，我们表明，对于在其损失景观退化谷的过参数化网络，平均SGD减少了损失的Hessian的踪迹。我们还将这一结果推广到其他噪声结构，并表明各向同性噪声的非退化子空间的海森降低其行列式。除了解释SGD在塑造Hessian谱中的作用外，这为新的优化方法打开了大门，这些方法可能会带来更好的泛化性能。我们用玩具模型和深度神经网络的实验来测试我们的结果。
2019-10-29 cs.LG stat.ML
First and zeroth-order implementations of the regularized Newton method with lazy approximated Hessians
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Université catholique de Louvain（鲁汶天主教大学）
本文提出三次正则化牛顿方法的一阶与零阶实现，利用有限差分和自适应搜索避免Lipschitz常数，并引入惰性Hessian更新，显著提升非凸优化的复杂度界。
2023-09-05 cs.LG math.OC
Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach
Northeastern University（东北大学）
本文提出一种基于 Hessian 惩罚的二点噪声注入估计方法，有效正则化神经网络损失表面的 Hessian 矩阵以寻找平坦极小值，显著提升了模型泛化能力并在多种任务上取得优异实验结果。
2024-09-23 cs.DS cs.LG math.OC
Fast large-scale optimization by unifying stochastic gradient and quasi-Newton methods
我们提出了一种算法，用于最小化的功能，结合了计算效率的随机梯度下降（SGD）的二阶曲率信息利用拟牛顿方法的总和。我们统一这些不同的方法，保持一个独立的海森近似的每个贡献函数的总和。我们保持计算的易处理性和限制内存的要求，即使是高维的优化问题，通过存储和操纵这些二次近似在一个共享的，随时间变化的，低维的子空间。每个更新步骤只需要一个贡献函数或小批量评估（如SGD），每个步骤都使用近似逆Hessian进行缩放，并且几乎不需要调整超参数（如拟牛顿方法的典型）。该算法与早期的随机二阶技术相比，该技术将每个贡献函数的Hessian视为对完整Hessian的噪声近似，而不是作为直接估计的目标。我们的实验证明了七个不同的优化问题的收敛性。该算法作为开源Python和MATLAB软件包发布。
2014-11-30 cs.LG
Hessian based analysis of SGD for Deep Nets: Dynamics and Generalization
虽然随机梯度下降（SGD）及其变体在训练深度网络方面取得了惊人的成功，但优化动态和泛化的几个方面仍然没有得到很好的理解。在本文中，我们基于训练损失和相关量的Hessian，对深度网络的SGD的优化动态和泛化行为提出了新的经验观察和理论结果。我们考虑三个具体的研究问题：（1）损失的Hessian和随机梯度的二阶矩之间的关系是什么？(2)我们如何能够表征随机优化动力学的SGD与固定和自适应步长和对角预处理的基础上的第一和第二时刻的SG？以及（3）我们如何基于损失的Hessian来表征深度网络的尺度不变泛化界，而它本身不是尺度不变的？我们阐明了这三个问题，使用理论结果支持广泛的经验观察，与实验合成数据，MNIST，和CIFAR-10，不同的批量大小，并与不同的难度水平，通过合成添加随机标签。
2019-07-24 cs.LG stat.ML
OverSketched Newton: Fast Convex Optimization for Serverless Systems
University of California, Berkeley（加州大学伯克利分校）
受无服务器系统大规模计算的最新发展以及可扩展随机矩阵算法的改进的启发，我们开发了OverSketched Newton，这是一种基于Hessian的随机优化算法，用于解决无服务器系统中的大规模凸优化问题。OverSketched Newton利用Randomized Numerical Linear Algebra中的矩阵草图思想来近似计算Hessian。这些草图方法导致了对无服务器架构特征的落伍者的内置弹性。根据问题是否是强凸的，我们提出了不同的迭代更新使用的近似Hessian。对于这两种情况下，我们建立收敛保证OverSketched牛顿和经验验证我们的结果，解决大规模的监督学习问题的真实世界的数据集。实验表明，与最先进的分布式优化方案相比，AWS Lambda上的总运行时间减少了约50%。
2020-08-27 cs.DC cs.IT cs.LG
Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function
Beihang University（北京航空航天大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Sydney（悉尼大学）
本文提出一族随机 TR 和 ARC 优化方法，通过同时不精确计算 Hessian 矩阵、梯度和函数值来降低每次迭代开销，并在保持与精确计算同阶迭代复杂度的同时实现了 $ε$-近似二阶最优性。
2023-10-18 cs.LG
Hessian Surgery: Class-Targeted Post-Hoc Rebalancing via Hessian Spike Perturbation
CentraleSupélec – Université Paris-Saclay（中央理工巴黎高等学院 – 巴黎萨克莱大学）；ESILV – Léonard de Vinci（ESILV – 莱昂纳德·德·文奇）
本文提出Hessian Surgery方法，通过扰动模型权重沿尖峰特征向量来重平衡各类准确率，无需重新训练，提升了CIFAR-10和ISIC-2019数据集的平衡准确率和标准差。
2026-05-17 cs.CV cs.LG
Apollo: An Adaptive Parameter-wise Diagonal Quasi-Newton Method for Nonconvex Stochastic Optimization
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
在本文中，我们介绍了阿波罗，拟牛顿法的非凸随机优化，动态地纳入了曲率的损失函数通过近似的Hessian通过对角矩阵。重要的是，Hessian的对角近似的更新和存储与具有时间和存储器的线性复杂度的自适应一阶优化方法一样有效。为了处理非凸性，我们将Hessian替换为它的整流绝对值，这保证是正定的。在三个视觉和语言任务上的实验表明，Apollo在收敛速度和泛化性能方面都比其他随机优化方法（包括SGD和Adam的变体）有了显着的改进。该算法的实现可在https://github.com/XuezheMax/apollo上获得。
2021-08-20 cs.LG stat.ML
Quasi-Newton Optimization Methods For Deep Learning Applications
深度学习算法通常需要解决高度非线性和非凸无约束优化问题。解决大规模机器学习中优化问题的方法，如深度学习和深度强化学习（RL），通常限于一阶算法，如随机梯度下降（SGD）。虽然SGD迭代的计算成本很低，但它们的理论收敛速度很慢。此外，它们需要详尽的试错来微调许多学习参数。使用二阶曲率信息来寻找搜索方向可以帮助非凸优化问题更鲁棒的收敛。然而，计算大型问题的海森矩阵在计算上是不实际的。或者，拟牛顿方法构造海森矩阵的近似，以构建目标函数的二次模型。拟牛顿方法，如SGD，只需要一阶梯度信息，但它们可以导致超线性收敛，这使得它们成为SGD的有吸引力的替代品。有限记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在这一章中，我们提出了有效的优化方法的基础上L-BFGS拟牛顿方法使用线搜索和信赖域策略。我们的方法通过使用梯度信息来计算Hessian近似的低秩更新，从而弥合了一阶和二阶方法之间的差距。我们提供了这些方法的正式收敛分析以及深度学习应用的经验结果，例如图像分类任务和ATARI 2600视频游戏集上的深度强化学习。我们的研究结果表明，一个强大的收敛与首选的泛化特性，以及快速的训练时间。
2019-09-04 cs.LG math.OC stat.ML
Information-Theoretic Trust Regions for Stochastic Gradient-Based Optimization
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
本文提出信息论信赖域优化方法 arTuRO，通过高斯建模参数并用 KL 散度约束步长，仅凭一阶信息近似 Hessian 对角元素，兼顾快速收敛与泛化能力。
2023-10-31 cs.LG
Trust-Region Algorithms for Training Responses: Machine Learning Methods Using Indefinite Hessian Approximations
Department of Mathematics, Wake Forest University（威克森林大学数学系）；Department of Applied Mathematics, University of California, Merced（加州大学默塞德分校应用数学系）
本文提出了一种基于准牛顿信任区域框架的机学习方法，用于解决允许不定Hessian近似的大规模优化问题，通过数值实验展示了其在固定计算时间预算下优于传统有限记忆BFGS和Hessian自由方法的性能。
2019-05-23 cs.LG cs.NA math.NA
Gradient Heterogeneity Complements Hessian Heterogeneity in Transformer Optimization
Department of Computer Science, The University of Tokyo（东京大学计算机科学系）
通过梯度异质性分析，揭示Adam优化器优于SGD的原因，证明其与符号方法的关联，以及层归一化对异质性的影响。
2026-08-19 cs.AI cs.LG cs.NE
The Role of the Time-Dependent Hessian in High-Dimensional Optimization
1 Laboratoire de Physique de l'Ecole Normale Sup\'erieure, ENS, Universit\'e PSL, CNRS, Sorbonne Universit\'e, Universit\'e Paris Cit\'e, F-75005 Paris, France.
本文以相位恢复为例分析梯度下降中 Hessian 谱的有限时间 BBP 转变，揭示早期负曲率窗口如何帮助有限维系统在更低 SNR 下恢复信号。
2025-07-24 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Depth, Not Data: An Analysis of Hessian Spectral Bifurcation
Department of Computer Science（计算机科学系）；Dartmouth College（达特茅斯学院）；University of Birmingham（伯明翰大学）
本文通过分析深度线性网络，证明Hessian矩阵的谱分叉结构（主导特征值与主体特征值分离）可仅由网络深度引起，与数据协方差平衡无关，且主导与主体特征值之比与深度线性相关。
2026-05-24 cs.LG
Variational Quantum Classifiers Through the Lens of the Hessian
National Institute of Technology, Agartala（阿加尔塔拉国家理工学院）；Chitkara University Institute of Engineering & Technology, Chitkara University（奇特卡拉大学工程与技术学院）；Mansoura University（曼苏拉大学）
在量子计算中，变分量子算法（VQA）非常适合在从化学到金融的特定应用中寻找事物的最佳组合。用梯度下降优化算法训练的VQA具有良好的收敛性。在早期阶段，变分量子线路在有噪声的中间尺度量子（NISQ）器件上的模拟遭受噪声输出。就像经典的深度学习一样，它也会遇到梯度消失问题。研究损失景观的拓扑结构，可视化这些回路在消失梯度存在下的曲率信息和可训练性是一个现实的目标。在本文中，我们计算的海森和可视化的损失景观变分量子分类器在参数空间中的不同点。解释了变分量子分类器（VQC）的曲率信息，并证明了损失函数的收敛性。它有助于我们更好地理解变分量子线路的行为，以有效地解决优化问题。我们在量子计算机上通过Hessian研究了变分量子分类器，从一个简单的4位奇偶校验问题开始，深入了解Hessian的实际行为，然后深入分析了Hessian特征值在训练糖尿病数据集的变分量子分类器时的行为。最后，我们展示了自适应Hessian学习率如何在训练变分电路时影响收敛。
2021-12-25 cs.LG math.QA quant-ph
PyHessian: Neural Networks Through the Lens of the Hessian
University of California, Berkeley（加州大学伯克利分校）
我们提出了PYHESSIAN，一个新的可扩展框架，可以快速计算Hessian（即，二阶导数）信息。PYHESSIAN可以快速计算Hessian特征值、Hessian迹和完整的Hessian特征值/谱密度，它支持在云/超级计算机系统上的分布式内存执行，并作为开源提供。该通用框架可用于分析神经网络模型，包括损失景观的拓扑（即，曲率信息）以深入了解不同模型/优化器的行为。为了说明这一点，我们分析了剩余连接和批量归一化层对神经网络可训练性的影响。最近的一个基于更简单的一阶分析的主张是，剩余连接和批量归一化使损失景观更平滑，从而使随机梯度下降更容易收敛到一个好的解决方案。我们的广泛分析显示了新的更精细的见解，表明虽然传统智慧有时是有效的，但在其他情况下，它根本是不正确的。特别是，我们发现，批量归一化不一定使损失景观更平滑，特别是对于较浅的网络。
2020-03-05 cs.LG cs.NA math.NA
Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
MIPT（莫斯科物理技术学院）；ISP RAS（俄罗斯科学院信息学问题研究所）；Innopolis University（因诺波利斯大学）
针对分布式与联邦学习的通信和隐私问题，提出结合 Hessian 相似性、同质梯度及客户端采样的加速随机额外梯度方法，并通过加噪分析收敛，实验验证理论。
2024-09-22 cs.LG math.OC
Distributed estimation of the inverse Hessian by determinantal averaging
University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
在分布式优化和分布式数值线性代数中，我们经常遇到逆偏置：如果我们想计算一个依赖于分布式矩阵之和的逆的量，那么逆的和不等于和的逆。这方面的一个例子发生在分布式牛顿方法中，其中我们希望计算（或隐式处理）逆Hessian乘以梯度。在这种情况下，局部计算的估计值是有偏差的，因此采用统一的平均值将无法恢复正确的解。为了解决这个问题，我们提出了行列式平均，一种新的方法来纠正反转偏差。这种方法涉及重新加权牛顿步的局部估计成比例的行列式的局部海森估计，然后平均它们在一起，以获得一个改进的全球估计。该方法提供了第一个已知的渐近一致的分布式牛顿步，即，当分布式分区的数量增长到无穷大时，它恢复极限中的精确步长。为了证明这一点，我们开发了新的期望身份和矩界的行列式和adjugate的随机矩阵。行列式平均不仅可以应用于牛顿法，而且可以应用于计算作为矩阵逆的线性变换的任何量，例如，跟踪用于数据不确定性量化的逆协方差矩阵。
2019-05-28 cs.LG stat.ML
Network-GIANT: Fully distributed Newton-type optimization via harmonic Hessian consensus
University of Padova（帕多瓦大学）；Maynooth University（梅努斯大学）；Uppsala University（乌普萨拉大学）
针对分布式多智能体学习的全局损失最小化问题，提出结合梯度跟踪、牛顿迭代与共识平均的完全分布式牛顿型算法Network-GIANT，理论上证明其强凸光滑损失下半全局指数收敛，实验显示性能优于现有先进算法。
2023-07-19 cs.LG cs.MA math.OC
Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian
Linköping University（林雪平大学）；University of Maryland（马里兰大学）；University of Minnesota（明尼苏达大学）
针对具有Hölder连续Hessian的非凸无约束优化问题，提出已知参数的Newton-CG方法和无需参数先验的无参数Newton-CG方法，后者为首个实现最优迭代与运算复杂度的无参数二阶方法，且数值结果显示其性能更优。
2025-04-14 cs.LG math.OC
Efficient Distributed Hessian Free Algorithm for Large-scale Empirical Risk Minimization via Accumulating Sample Strategy
Lehigh University（理海大学）；UT Austin（得克萨斯大学奥斯汀分校）；Facebook（脸书）；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种分布式累积牛顿共轭梯度（DANCE）方法，该方法通过逐步增加样本量来快速获得经验损失在满意统计精度下的解。我们提出的方法是多阶段的，其中一个阶段的解决方案作为下一阶段的热启动，其中包含更多的样本（包括前一阶段的样本）。所提出的多级算法减少了数据的通过次数，以达到完整训练集的统计精度。此外，我们的算法在自然界中是易于分布和共享的强大的缩放属性，表明加速总是期望通过使用更多的计算节点。在凸集下分析了下降方向计算、通信效率和停止准则等方面的各种迭代复杂度结果。我们的数值结果表明，所提出的方法优于其他可比的方法来解决学习问题，包括神经网络。
2020-03-10 cs.LG stat.ML
HesScale: Scalable Computation of Hessian Diagonals
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Alberta（阿尔伯塔大学）
二阶优化使用目标函数的曲率信息，这有助于更快地收敛。然而，这样的方法通常需要昂贵的海森矩阵计算，阻止它们以可扩展的方式使用。由于缺乏有效的计算方法，最广泛使用的方法集中在不捕获曲率信息的一阶近似上。在本文中，我们开发了HesScale，一种可扩展的方法来近似Hessian矩阵的对角线，以计算高效的方式将二阶信息。我们表明，HesScale具有相同的计算复杂性的反向传播。我们在监督分类上的结果表明，HesScale实现了高近似精度，允许可扩展和高效的二阶优化。
2022-11-02 cs.LG math.OC
Efficient Hessian-Free Methods for Multi-Objective Bilevel Optimization with Nonconvex Lower Level
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
本文针对下层非凸的多目标双层优化问题，提出MOMEHA及MB-MOMEHA算法，通过Moreau包络转化问题并结合平滑加权Tchebycheff标量化，在少样本元学习等任务上优于现有方法。
2026-09-09 cs.LG math.OC
Hessian-Aware Zeroth-Order Optimization for Black-Box Adversarial Attack
Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）
零阶优化是机器学习中的一个重要研究课题。近年来，它已成为对基于神经网络的图像分类器进行黑盒对抗攻击的重要工具。然而，现有的零阶优化算法很少提取模型函数的二阶信息。在本文中，我们利用二阶信息的目标函数，并提出了一种新的\textit{Hessian-aware zeroth-order algorithm}称为\texttt{ZO-HessAware}。我们的理论结果表明，\texttt{ZO-HessAware}有一个改进的零阶收敛速度和查询复杂度下的结构海森近似，我们提出了一些近似方法估计海森。我们对黑盒对抗攻击问题的实证研究验证了我们的算法可以在较低的查询复杂度下提高成功率。
2019-03-20 cs.CR cs.LG stat.ML
Revisiting Zeroth-Order Hessian Approximation: A Single-Step Policy Optimization Lens
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Shanghai University of Finance and Economics（上海财经大学）
本文通过单步策略优化视角统一零阶Hessian估计，提出方差缩减的ZoVH框架，实现全Hessian矩阵、正则化逆及偏差校正逆Hessian-梯度积的高效估计。
2026-05-29 cs.LG
Optimal Hessian/Jacobian-Free Nonconvex-PL Bilevel Optimization
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
针对非凸-PL双层优化问题计算复杂度高的问题，提出一种无Hessian/Jacobian的高效方法HJFBiO，在温和条件下证明了其最优收敛速率和梯度复杂度，并通过实验验证了有效性。
2024-07-25 cs.LG math.OC
Distributed Averaging Methods for Randomized Second Order Optimization
Stanford University（斯坦福大学）
我们考虑分布式优化问题，形成的海森是计算上的挑战和通信是一个显着的瓶颈。我们开发了用于随机二阶优化的无偏参数平均方法，该方法采用Hessian的采样和草图。现有的工作没有考虑估计的偏差，这限制了他们的应用大规模并行计算。我们提供了正则化参数和步长的封闭形式公式，可证明最小化草图牛顿方向的偏差。我们还扩展了二阶平均方法的框架，引入了一个无偏的分布式优化框架异构计算系统与不同的工人资源。此外，我们通过在无服务器计算平台上进行的大规模实验来展示我们的理论研究结果的影响。
2020-02-16 cs.DC cs.LG stat.ML
Subspace-based Approximate Hessian Method for Zeroth-Order Optimization
POSTECH
针对零阶优化中梯度不可用且Hessian估计成本高的问题，提出基于随机二维子空间的近似Hessian方法ZO-SAH，通过二次拟合与周期切换降低查询成本，在八个基准上显著加速收敛。
2025-07-08 cs.AI cs.LG
