Numerical Computation of the Gradient and the Action of the Hessian for Time-Dependent PDE-Constrained Optimization Problems
我们提出了一个系统的推导所需的算法计算梯度和行动的Hessian的任意失配函数的大尺度参数估计问题，涉及线性不定常偏微分方程与固定系数。这些算法是使用伴随方法的任意阶的时间步进计划，因此非常适合于分布式参数估计问题的前向解决方案需要解决的高精度。两个例子演示了如何准备特定的偏微分方程与这些算法一起使用。数值算例表明，高阶时步格式的精度顺序是由相应的伴随时步格式和失配梯度计算继承的。
2016-08-08 math.OC
Efficient Ptychography Reconstruction using the Hessian operator
本研究提出基于二阶 Hessian 算子的高效叠层成像重建数学框架，实现物体、探针和位置同时重建，计算时间较一阶方法减少十倍。
2025-04-04 math.OC physics.optics
Online estimation of the inverse of the Hessian for stochastic optimization with application to universal stochastic Newton algorithms
本文提出用Robbins-Monro过程在线递归估计Hessian逆矩阵，以降低二阶随机优化的计算复杂度，并据此发展通用随机牛顿方法，扩展了二阶算法的应用范围。
2025-03-10 math.OC stat.ML
Stochastic Recursive Variance-Reduced Cubic Regularization Methods
University of California, Los Angeles（加州大学洛杉矶分校）
随机方差缩减立方正则化（SVRC）算法由于其改进的梯度/Hessian复杂性（即，随机梯度/Hessian预言机的查询数量），以找到非凸有限和优化的局部极小值。然而，目前还不清楚现有的SVRC算法是否可以进一步改进。此外，在现有的SVRC算法中采用的半随机Hessian估计器，防止使用基于Hessian向量乘积的快速三次子问题求解器，这使得SVRC算法在计算上难以处理高维问题。在本文中，我们首先提出了一个随机递归方差减少三次正则化方法（SRVRC）使用递归更新的半随机梯度和Hessian估计。该算法在寻找$(ε, \sqrtε)$ -近似局部极小值方面具有改进的梯度和Hessian复杂度，性能优于现有的SVRC算法。在SRVRC的基础上，进一步提出了一种无Hessian的SRVRC算法，即SRVRC $_{\text{free}}$，它只需要随机梯度和Hessian向量积的计算，并达到了$\tilde O(dnε^{-2} \land dε^{-3})$的运行复杂度，其中$n$是有限和结构中分量函数的个数，$d$是问题维数，$ε$是优化精度.这优于Tripuraneni等人在2018年提出的随机三次正则化算法实现的最著名的运行时复杂度$\tilde O(dε^{-3.5})$。
2019-10-11 cs.LG math.OC stat.ML
INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
Indian Institute of Technology Kanpur（坎普尔印度理工学院）；Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
INTHOP通过区间Hessian方法解决非凸优化中的高计算成本、Hessian求逆和非定性Hessian方向问题，证明了算法的全局收敛性，并在测试问题中表现出更高的效率。
2026-04-07 math.OC
Compressed Gradient Methods with Hessian-Aided Error Compensation
大数据的出现导致优化算法的运行机制发生了巨大的变化。过去的性能瓶颈是计算，现在通常是通信。已经提出了几种梯度压缩技术，以减少通信负载的代价在解决方案的准确性损失。最近，已经示出了如何在优化算法中补偿压缩误差以提高解的精度。即使已经建立了误差补偿算法的收敛保证，量化所观察到的解决方案精度的提高的理论支持非常有限。在本文中，我们表明，海森辅助误差补偿，不同于其他现有的计划，避免了积累的压缩误差的二次问题。我们还提出了强收敛保证的海森为基础的误差补偿随机梯度下降。我们的数值实验突出了基于Hessian的误差补偿的好处，并表明，当只使用对角Hessian近似时，可以获得类似的收敛性改善。
2020-06-18 eess.SP math.OC
Q-SHED: Distributed Optimization at the Edge via Hessian Eigenvectors Quantization
Uppsala University（乌普萨拉大学）；University of Padova（帕多瓦大学）
本文提出Q-SHED算法，通过增量Hessian特征向量量化实现带宽自适应的比特分配，结合SHED算法减少Hessian计算量，在收敛通信轮数上较竞争方法最多减少60%。
2023-05-18 cs.LG cs.MA cs.SY
Computation of sparse low degree interpolating polynomials and their application to derivative-free optimization
基于插值的信赖域方法是一类重要的无导数优化算法，它依赖于二次多项式插值模型对目标函数的局部逼近，通常由比基分量少的点建立。通常，在实际应用中，问题变量对目标函数的贡献使得变量之间的许多成对相关性可以忽略不计，这意味着在光滑情况下，黑塞矩阵中存在稀疏结构。为了能够利用Hessian稀疏性，现有的优化方法需要稀疏性结构的知识。本文的目标是开发和分析一种自动构建稀疏模型的方法。压缩感知领域最近发展起来的稀疏恢复理论描述了从少量随机测量中精确恢复稀疏向量的条件。这样的恢复是通过最小化的向量的l1范数的测量约束。提出了一种在满足插值条件的条件下，通过最小化模型Hessian元素的l1范数来构造稀疏二次多项式插值模型的方法.我们表明，这个过程恢复准确的模型时，函数海森是稀疏的，使用相对较少的随机选择的样本点。受此结果的启发，我们开发了一个实用的基于插值的信赖域方法，使用确定性样本集和最小l1范数二次模型。我们的计算结果表明，新的方法表现出良好的数值性能，无论是在一般情况下，在稀疏的。
2013-06-24 math.OC
Computing the Newton-step faster than Hessian accumulation
SonyAI（索尼人工智能）；University of Washington（华盛顿大学）
使用$N$决策变量计算通用函数的牛顿步长需要$O(N^3)$触发器。在本文中，我们表明，给定的计算图的功能，这个界可以减少到$O(mτ^3)$，其中$τ, m$是树分解的图的宽度和大小。该算法将基于LQR的非线性最优控制方法推广到一般的最优化问题，即使在Hessian密集的情况下，也能在迭代复杂度上获得非平凡的增益。
2021-08-02 cs.LG cs.SC cs.SY
Balancing Gradient and Hessian Queries in Non-Convex Optimization
本文提出非凸优化新方法，平衡梯度与Hessian查询次数，在Lipschitz Hessian条件下实现改进的梯度查询复杂度，并推广至近似Hessian情形。
2025-10-23 cs.DS math.OC
SHED: A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing
University of Padova（帕多瓦大学）；Uppsala University（乌普萨拉大学）
人们对分布式优化框架越来越感兴趣，该框架被称为联邦学习（FL）。特别地，许多注意力正转向FL场景，其中网络在通信资源方面是强烈异构的（例如，带宽）和数据分发。在这些情况下，本地机器（代理）和中央服务器（主）之间的通信是主要考虑因素。在这项工作中，我们提出了SHED，一个原始的通信约束牛顿型（NT）算法，旨在加速FL在这种异构的情况下。通过设计，SHED对非i.i.d.具有鲁棒性。数据分布，处理代理的通信资源（CR）的异质性，只需要零星的海森计算，并实现超线性收敛。这是可能的，由于增量策略，基于本地海森矩阵的特征分解，利用（可能）过时的二阶信息。通过评估（i）收敛所需的通信轮数，（ii）传输的数据总量和（iii）本地Hessian计算的数量，在真实数据集上彻底验证了所提出的解决方案。对于所有这些指标，所提出的方法显示出优越的性能对国家的最先进的技术，如GIANT和FedNL。
2022-09-12 cs.AI cs.LG math.OC
Second-order orthant-based methods with enriched Hessian information for sparse $\ell_1$-optimization
我们提出了一个二阶算法，基于正交方向，解决涉及稀疏增强$\ell_1$ -范数的最优化问题。我们的方法的主要思想是修改下降orthawise方向通过使用二阶信息的正规项和（在弱意义上）的$\ell_1$ -范数。通过部分Huber正则化将$\ell_1$项后面的弱二阶信息合并。我们的算法的主要特点之一是在一个更快的识别活动集。我们还证明了我们的方法的简化版本是等价的半光滑牛顿算法适用于最优性条件，在一个特定的选择的算法参数。我们提出了几个计算实验，以显示我们的方法相比，其他国家的最先进的算法的效率。
2016-07-01 math.OC
Training Autoencoders Using Stochastic Hessian-Free Optimization with LSMR
Department of Mathematics, University of Iowa（数学系，爱荷华大学）
针对海森自由（HF）优化训练深度自编码器的数据量大问题，提出改用LSMR方法、整合改进预条件子并引入基于方差估计和验证目标下降的小批量选择算法，实现快速训练并提升泛化性能。
2025-04-17 cs.LG math.OC
Affine Normal Directions via Log-Determinant Geometry: Scalable Computation under Sparse Polynomial Structure
本文通过将仿射正交方向的计算转化为二阶结构，提出基于稀疏多项式结构的高效计算方法，实现可扩展的仿射正交方向计算。
2026-04-01 cs.NA math.AG math.DG
Sub-Sampled Newton Methods I: Globally Convergent Algorithms
International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
大规模最优化问题在机器学习和数据分析中普遍存在，并且存在大量用于解决此类问题的算法。这些算法中的许多采用子采样，作为加速计算和/或隐式实现统计正则化形式的一种方式。在本文中，我们考虑二阶迭代优化算法，我们提供的范围上的收敛的变种的牛顿法，将均匀子采样作为一种手段来估计梯度和/或海森。我们的界限是非渐近的和定量的。我们的算法是全球性的，并保证从任何初始收敛。使用随机矩阵浓度不等式，可以对Hessian进行子采样以保持曲率信息。我们的第一个算法结合了海森子采样，同时使用全梯度。我们还给出了额外的收敛结果时，通过修改其频谱或脊型正则化的子采样海森正则化。接下来，除了Hessian子采样之外，我们还考虑对梯度进行子采样，以进一步降低每次迭代的计算复杂性。我们使用随机数值线性代数的近似矩阵乘法结果来获得适当的采样策略。在所有这些算法中，计算更新归结为求解大规模线性系，这在计算上是昂贵的。作为一种补救措施，对于我们所有的算法，我们也给出了整体收敛结果的情况下，不精确的更新，这样的线性系只解决近似。本文有一个更先进的配套文件，[42]，其中我们证明，通过做更细粒度的分析，我们可以得到这些算法的局部收敛的问题无关的界限，并探索权衡，以改善本文的基本结果。
2016-02-26 cs.LG math.OC stat.ML
On the Convergence Theory for Hessian-Free Bilevel Algorithms
The Ohio State University（俄亥俄州立大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
双层优化已经成为现代机器学习中的一个强有力的工具。然而，由于双层优化的嵌套结构，即使是基于梯度的方法也需要通过雅可比或/和海森向量计算进行二阶导数近似，这在实践中可能是昂贵的且不可扩展的。最近，Hessian-free双层格式被提出来解决这个问题，其总体思想是使用零阶或一阶方法来近似双层问题的全超梯度。然而，我们根据经验观察到，这种近似可能导致大方差和不稳定的训练，但仅估计响应雅可比矩阵作为超梯度的部分分量是非常有效的。为此，我们提出了一种新的Hessian-free方法，该方法采用零阶近似方法通过两条优化路径之间的差异来近似响应雅可比矩阵。从理论上讲，我们提供了所提出的算法的收敛速度分析，我们的主要挑战是表征的近似性和光滑性的依赖于概率的估计，这可以是独立的利益。这是第一个已知的收敛速度的结果，这种类型的Hessian自由双层算法。实验上，我们证明了所提出的算法优于基线双层优化各种双层问题。特别是，在我们使用ResNet-12网络在miniImageNet数据集上进行的Few-Shot元学习实验中，我们表明我们的算法优于基线元学习算法，而其他基线双层优化器在可比的时间范围内无法解决此类元学习问题。
2022-06-06 cs.LG math.OC stat.ML
