Fast convex optimization via inertial systems with asymptotically vanishing viscosity and Hessian-driven damping
本文研究了一族由渐近消失粘性和Hessian驱动阻尼惯性系统离散化得到的惯性算法的收敛速度，证明了在凸及Polyak-Łojasiewicz条件下的次线性收敛和强凸条件下的线性收敛，为Nesterov加速梯度法提供了新见解。
2025-07-17 math.OC
Hessian barrier algorithms for non-convex conic optimization
我们考虑通过一类新的自适应一阶和二阶最优化方法在正则锥与仿射集的交点上最小化连续函数，该方法建立在[Bomze，Mertikopoulos，Schachinger和Staudigl，线性约束最优化问题的Hessian障碍算法，SIAM Journal on Optimization，2019]中引入的Hessian障碍技术的基础上。我们的方法是基于一个潜在的减少机制，并获得适当定义的类近似的一阶或二阶KKT点的最佳最坏情况下的迭代复杂度$O(\varepsilon^{-2})$（一阶）和$O(\varepsilon^{-3/2})$（二阶），分别。我们的方法的一个关键特征是使用自和谐的障碍函数，通过纪律分解方法，而不牺牲迭代的复杂性的方法，以构建严格可行的迭代。据我们所知，这项工作是第一次实现这些最坏情况下的复杂性界一般锥约束最优化问题在这种弱条件下。
2022-10-17 math.OC
On the effect of perturbations in first-order optimization methods with inertia and Hessian driven damping
具有粘性和Hessian驱动阻尼的二阶连续时间耗散动力系统启发了求解凸优化问题的有效一阶算法。在保持Nesterov型加速度的快速收敛特性的同时，Hessian驱动阻尼使得可以显着衰减振荡。为了研究这些算法的稳定性扰动，我们分析了相应的连续系统的行为时，梯度计算受到外源性的附加误差。我们提供了一个定量分析的渐近行为的两种类型的系统，那些隐式和显式海森驱动阻尼。我们考虑凸，强凸，和非光滑的目标函数定义在一个真正的希尔伯特空间，并表明，根据制定，不同的可积性条件的扰动足以保持系统的收敛速度。我们强调隐式和显式Hessian阻尼之间的差异，并特别指出，隐式情况下所需的目标和扰动的假设比显式情况下更严格。
2022-03-17 math.OC
Inertial dynamical systems and accelerated algorithms with implicit Hessian-driven damping for nonconvex optimization
Chongqing Technology and Business University（重庆工商大学）；Sichuan University（四川大学）
本文提出了一种基于隐式Hessian驱动阻尼的惯性动力系统，用于解决强拟凸优化问题，并通过显式时间离散化和扰动项设计，实现了加速算法并验证了其收敛性。
2026-02-26 math.OC
Revisiting a Fast Newton Solver for a 2-D Spectral Estimation Problem: Computations with the Full Hessian
School of Intelligent Systems Engineering, Sun Yat-sen University（中山大学智能系统工程学院）
本文重新审视了二维谱估计问题，通过揭示对偶函数Hessian的Toeplitz块Toeplitz结构，提出了一种基于牛顿法的快速求解算法，并通过模拟验证了其高效的收敛性能。
2026-01-06 math.OC
Speeding up Stochastic Proximal Optimization in the High Hessian Dissimilarity Setting
本文针对高 Hessian 差异性场景，改进 L-SVRP 方法的收敛速率分析，无需光滑性假设，显著降低通信复杂度。
2024-12-18 math.OC
First-order optimization algorithms via inertial systems with Hessian driven damping
在希尔伯特空间中，对于凸优化，分析了一类具有惯性特征的一阶算法的收敛速度.它们可以被解释为离散时间版本的惯性动力学，包括粘性和海森驱动的阻尼。由Hessian驱动的几何阻尼以$\nabla^2 f (x(t)) \dot{x} (t)$的形式干预动力学。通过将该项视为$ \nabla f (x (t)) $的时间导数，这给出了时间和空间上的离散形式的一阶算法。除了附加到Nesterov型加速梯度法的收敛特性之外，由此获得的算法是新的，并且显示出向梯度的零的快速收敛。在Moreau包络正则化技术的基础上，我们将这些方法推广到具有扩展实值的非光滑凸函数。时间尺度因子的引入使得进一步加速这些算法成为可能。我们还报告了结构化问题的数值结果，以支持我们的理论研究结果。
2020-11-06 math.OC
Primal-dual dynamics featuring Hessian-driven damping and variable mass for convex optimization problems
Chongqing Key Laboratory of Statistical Intelligent Computing and Monitoring, College of Mathematics and Statistics, Chongqing Technology and Business University（重庆工商大学数学与统计学院，统计智能计算与监测重庆市重点实验室）
本文提出一种新的Tikhonov正则化对偶动力系统，通过可变质量与Hessian驱动阻尼解决带线性等式约束的凸优化问题，通过Lyapunov分析证明轨迹强收敛于最优解并获得对偶间隙、目标残差和可行性违反的收敛速率。
2026-03-31 math.OC
Fast convex optimization via inertial dynamics combining viscous and Hessian-driven damping with time rescaling
在希尔伯特设置，我们开发的快速方法凸无约束优化。我们依赖于一个惯性系统的渐近行为相结合的几何阻尼与时间尺度。要最小化的凸函数通过其梯度进入动态。动力学模型包括三个随时间变化的系数，一个是粘性阻尼系数，第二个是附加到Hessian驱动阻尼，第三个是时间标度系数。我们研究了在一般条件下，包括阻尼和时间尺度系数的值的收敛速度。所得到的结果是基于一个新的李雅普诺夫分析，他们包括已知的结果的主题。我们特别注意的情况下，渐近消失的粘性阻尼，这是直接相关的加速梯度法的Nesterov。Hessian驱动的阻尼显著地减少了振荡方面。作为一个主要结果，我们得到了指数收敛速率的值，而不假设强凸性的目标函数。这些动态的时间离散化打开了一个大类的惯性优化算法的大门。
2020-09-16 math.OC
Approximating Hessian matrices using Bayesian inference: a new approach for quasi-Newton methods in stochastic optimization
本文提出一种基于贝叶斯推断的Hessian近似方法，通过最小化割线方程残差并约束极端特征值范围来改善随机梯度下降的预条件处理，实验表明其在不放大梯度噪声的前提下有效提升了随机优化的收敛性能。
2024-04-01 math.OC
Inertial Primal-Dual Dynamics Methods Featuring Implicit Hessian-Driven Damping for Convex Optimization Problems in Continuous and Discrete Time
Chongqing Technology and Business University（重庆工商大学）；Sichuan University（四川大学）；Sunway University（双威大学）
本文针对带线性等式约束的强凸优化问题，提出带隐式海森驱动阻尼的惯性原始-对偶动力学，推导对应的离散算法，证明其收敛速率与连续系统一致，还扩展到非光滑情形并通过数值实验验证。
2026-09-01 math.OC
Gradient and Hessian approximations in Derivative Free Optimization
这项工作探讨有限差分和插值模型的使用，以获得近似的一阶和二阶导数的功能。这里，示出了如果在插值模型中使用特定的点集合，则对相关联的线性系的解（即，对Hessian的梯度和对角线的近似），这与有限差分的成本相同，并且在求解一般非结构化线性系时节省了$\mathcal{O}(n)$成本。此外，如果使用“规则最小正基”形成内插点，则梯度近似的误差界与有限差分近似的相同。数值实验表明，如何衍生估计可以采用现有的衍生自由优化算法，从而展示了这些衍生近似的潜在的实际用途之一。
2020-01-23 math.OC
Hessian-Free Distributed Bilevel Optimization via Penalization with Time-Scale Separation
State Key Laboratory of Industrial Control Technology and the College of Control Science and Engineering, Zhejiang University（浙江大学工业控制技术国家重点实验室与控制科学与工程学院）；School of Electrical Engineering and Computer Science, Pennsylvania State University（宾夕法尼亚州立大学电气与计算机工程学院）
本文提出了一种无循环的分布式算法AHEAD，通过引入惩罚项和时间尺度分离，解决分布式双层优化问题，无需计算Hessian并实现快速收敛。
2026-02-26 math.OC
Heavy Ball and Nesterov Accelerations with Hessian-driven Damping for Nonconvex Optimization
针对强拟凸非凸优化，提出带 Hessian 驱动阻尼的 Heavy Ball 与 Nesterov 加速离散算法，实现线性收敛并减轻振荡。
2025-06-18 math.OC
Heavy-ball dynamics with Hessian-driven damping for non-convex optimization under the Łojasiewicz condition
本文针对满足Łojasiewicz条件的光滑非凸优化问题，研究带Hessian驱动阻尼的Heavy-ball动力学，给出最优收敛速率保证，改进现有线性速率，补充稳定性估计与鞍点规避结果。
2025-06-13 math.OC
Complexity of trust-region methods with unbounded Hessian approximations for smooth and nonsmooth optimization
本文针对无界Hessian近似的信赖域方法，推导出最坏情况复杂度界从ε^{-2}恶化至ε^{-2/(1-p)}，并证明该界是紧的，为Powell猜想提供了初步进展。
2025-10-10 math.OC
Trust-region filter algorithms utilizing Hessian information for gray-box optimization
University of Surrey（萨里大学）；Imperial College London（帝国理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出四种基于Hessian信息的信赖域过滤算法变体，用于解决灰盒优化问题，通过投影正定Hessian实现自动步长调整，结合低保真和高保真代理模型，显著减少迭代次数和黑盒评估次数，优于传统方法。
2026-04-14 math.OC
INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
Indian Institute of Technology Kanpur（坎普尔印度理工学院）；Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
INTHOP通过区间Hessian方法解决非凸优化中的高计算成本、Hessian求逆和非定性Hessian方向问题，证明了算法的全局收敛性，并在测试问题中表现出更高的效率。
2026-04-07 math.OC
Skip the Hessian, Keep the Rates: Globalized Semismooth Newton with Lazy Hessian Updates
Weierstrass Institute（韦伊尔斯特拉斯研究所）
本文提出了一种无需每次迭代计算Hessian的半光滑牛顿方法，通过惰性更新策略实现高效的全局和超线性收敛，适用于具有非光滑导数的优化问题。
2026-11-10 math.OC
Numerical Computation of the Gradient and the Action of the Hessian for Time-Dependent PDE-Constrained Optimization Problems
我们提出了一个系统的推导所需的算法计算梯度和行动的Hessian的任意失配函数的大尺度参数估计问题，涉及线性不定常偏微分方程与固定系数。这些算法是使用伴随方法的任意阶的时间步进计划，因此非常适合于分布式参数估计问题的前向解决方案需要解决的高精度。两个例子演示了如何准备特定的偏微分方程与这些算法一起使用。数值算例表明，高阶时步格式的精度顺序是由相应的伴随时步格式和失配梯度计算继承的。
2016-08-08 math.OC
Second-order orthant-based methods with enriched Hessian information for sparse $\ell_1$-optimization
我们提出了一个二阶算法，基于正交方向，解决涉及稀疏增强$\ell_1$ -范数的最优化问题。我们的方法的主要思想是修改下降orthawise方向通过使用二阶信息的正规项和（在弱意义上）的$\ell_1$ -范数。通过部分Huber正则化将$\ell_1$项后面的弱二阶信息合并。我们的算法的主要特点之一是在一个更快的识别活动集。我们还证明了我们的方法的简化版本是等价的半光滑牛顿算法适用于最优性条件，在一个特定的选择的算法参数。我们提出了几个计算实验，以显示我们的方法相比，其他国家的最先进的算法的效率。
2016-07-01 math.OC
Inertial Methods with Viscous and Hessian driven Damping for Non-Convex Optimization
本文研究非凸优化中同时引入粘性阻尼与Hessian驱动阻尼的二阶惯性动力学，给出显式和隐式两种设置下的收敛条件、收敛速率及离散算法，并首次处理目标函数仅局部Lipschitz光滑时的回溯策略收敛保证。
2025-06-05 math.OC
Second-order optimization with lazy Hessians
EPFL（洛桑联邦理工学院）
该研究提出带惰性Hessian更新的牛顿法，通过复用Hessian、每步更新梯度降低二阶优化复杂度，证明了非凸下的快速全局收敛与凸问题的超线性收敛，将总算术复杂度提升√d倍。
2023-06-15 cs.LG math.OC
Online estimation of the inverse of the Hessian for stochastic optimization with application to universal stochastic Newton algorithms
本文提出用Robbins-Monro过程在线递归估计Hessian逆矩阵，以降低二阶随机优化的计算复杂度，并据此发展通用随机牛顿方法，扩展了二阶算法的应用范围。
2025-03-10 math.OC stat.ML
A Method to Guarantee Local Convergence for Sequential Quadratic Programming with Poor Hessian Approximation
序列二次规划（SQP）是求解非线性最优化问题的一类强有力的算法。当用于每个二次规划子问题的Hessian逼近接近于真Hessian时，SQP算法的局部收敛性得到保证。然而，一个好的海森近似计算起来可能很昂贵。低代价Hessian近似在某些假设下只能保证局部收敛，而实际情况并不总是满足这些假设。为了解决这个问题，本文提出了一种简单的方法来保证局部收敛的SQP与不良的Hessian逼近。数值算例表明了该算法的有效性。
2017-04-10 math.OC
Superlinear Optimization Algorithms
本文提出受最优控制问题最优轨迹启发的超线性收敛优化算法，可处理奇异Hessian矩阵，部分算法避免求逆或仅需对角元素，数值实验表明优于梯度下降法。
2025-03-31 math.OC
Universal heavy-ball method for nonconvex optimization under Hölder continuous Hessians
Graduate School of Information Science and Technology, University of Tokyo（东京大学信息理工学专攻）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
本文提出了一种适用于非凸优化问题的通用重力球方法，在Hölder连续Hessian条件下实现高效的优化性能。
2024-01-31 math.OC
Iterative algorithm with structured diagonal Hessian approximation for solving nonlinear least squares problems
非线性最小二乘问题是一类特殊的无约束最优化问题，其梯度和Hessian具有特殊的结构。在本文中，我们利用这些结构，并提出了一个无矩阵算法与对角Hessian近似求解非线性最小二乘问题。我们设计了适当的保护策略，以确保黑塞矩阵是正定的整个迭代过程。该算法产生下降方向，是全局收敛的。初步的数值实验表明，该方法是具有竞争力的最近开发的类似方法。
2020-02-05 math.OC
SGD with Partial Hessian for Deep Neural Networks Optimization
The Hong Kong Polytechnic University（香港理工大学）
本文提出复合优化器 SGD-PH，对逐通道参数使用可精确提取的对角部分 Hessian，其余参数采用 SGD 更新，从而兼顾二阶优化效率与一阶泛化能力。
2024-03-05 cs.LG math.OC
Gradient-Normalized Smoothness for Optimization with Approximate Hessians
EPFL（洛桑联邦理工学院）
本研究提出梯度归一化平滑性新概念，构建结合近似二阶信息与梯度正则化的优化算法，为近似二阶算法提供通用全局收敛保证，适用于多类函数及逻辑回归、非凸优化等场景。
2025-06-16 cs.LG math.OC
Fast convex optimization via inertial dynamics with Hessian driven damping
首先研究了二阶发展方程$$\ddot{x}(t) + \fracα{t} \dot{x}(t) + β\nabla^2 Φ(x(t))\dot{x} (t) + \nabla Φ(x(t)) = 0,$$的轨道的快速极小化性质，其中$Φ:\mathcal H\to\mathbb R$是作用在实Hilbert空间$\mathcal H$上的光滑凸函数，$α$，$β$是正参数.该惯性系统结合了渐近消失的各向同性粘性阻尼和几何Hessian驱动阻尼，这使得它自然地与牛顿和Levenberg-Marquardt方法相关。对于$α\geq 3$、$β>0$，沿着任何轨迹，获得值$$Φ(x(t))- \min_{\mathcal H}Φ=\mathcal O\left(t^{-2}\right)$$的快速收敛，以及梯度$\nablaΦ(x(t))$到零的快速收敛。对于$α>3$，只要假设$Φ$有极小值，我们证明了任何轨迹都弱收敛到$Φ$和$ Φ(x(t))-\min_{\mathcal H}Φ= o(t^{-2})$的极小值。强收敛在各种实际情况下建立。对于强凸的情况下，收敛可以任意快，这取决于$α$的选择。更准确地说，我们有$Φ(x(t))- \min_{\mathcal H}Φ= \mathcal O(t^{-\frac{2}{3}α})$。我们将结果推广到一般的真下连续凸函数$Φ: \m…
2016-01-26 math.OC
Newton-Type Methods for Non-Convex Optimization Under Inexact Hessian Information
Stanford University（斯坦福大学）；University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
我们考虑非凸优化的信赖域和三次正则化方法的变体，其中黑塞矩阵是近似的。在不精确Hessian的适当条件下，利用相应子问题的近似解，我们给出了迭代复杂度以获得$ ε$ -近似二阶最优性，并证明了该最优性是紧的.我们的海森近似条件构成了一个主要的放松在文献中现有的。因此，我们能够表明，这种温和的条件允许通过各种随机抽样方法的近似海森的建设。在此基础上，我们考虑了有限和极小化的典型问题，提供了适当的均匀和非均匀子采样策略来构造这样的Hessian近似，并获得了相应的子采样信赖域和三次正则化方法的最佳迭代复杂度。
2019-05-14 cs.CC cs.LG math.OC
HERO: Hessian-Enhanced Robust Optimization for Unifying and Improving Generalization and Quantization Performance
Duke University（杜克大学）
随着最近在移动和边缘设备上部署神经网络模型的需求，期望提高模型对看不见的测试数据的泛化能力，以及增强模型在定点量化下的鲁棒性以进行有效部署。然而，最小化训练损失对泛化和量化性能几乎没有保证。在这项工作中，我们满足需要，同时提高泛化和量化性能的理论统一的框架下，提高模型的鲁棒性有界的权重扰动和最小化的Hessian矩阵的特征值相对于模型的权重。因此，我们提出了HERO，一种Hessian增强的鲁棒优化方法，通过基于梯度的训练过程来最小化Hessian特征值，同时提高泛化和量化性能。HERO使测试准确度提高了3.8%，在80%的训练标签扰动下准确度提高了30%，并且在广泛的精度范围内具有最佳的训练后量化准确度，包括在各种数据集上的通用模型架构中，比SGD训练模型的准确度提高了>10%。
2021-11-23 cs.LG math.OC
Structured Quasi-Newton Methods for Optimization with Orthogonality Constraints
本文研究了正交约束最优化问题的结构拟牛顿法。注意，目标函数的黎曼海森需要欧几里德海森和欧几里德梯度。特别是，我们感兴趣的应用程序，欧几里德海森本身包括一个计算便宜的一部分和一个显着昂贵的一部分。我们的基本思想是保持这些部分的计算成本较低，但取代那些部分的计算成本较高的有限内存的拟牛顿更新。更具体地，与欧氏梯度相关的部分和欧氏海森中更便宜的部分被保留。初始拟牛顿矩阵进一步构造从一个有限的内存Nyström近似昂贵的部分。因此，我们的子问题近似的原始目标函数在欧几里得空间，并保持正交约束，而不执行所谓的矢量传输。当子问题的解具有足够的精度时，在较弱的条件下，可以得到全局和局部q-超线性收敛。线性本征值问题和电子结构计算的初步数值实验表明，与现有算法相比，该方法是有效的。
2018-09-03 math.OC
Error-tolerant Multisecant Method for Nonlinearly Constrained Optimization
我们提出了一个基于导数的算法，非线性约束最优化问题是容忍的数据不准确。该算法求解一个半光滑的非线性方程组，相当于一阶最优性条件，它是无矩阵的意义上，它不需要显式的拉格朗日Hessian或雅可比的约束。求解方法是拟牛顿法，但不是仅近似Hessian或约束Jacobian，而是使用多割线法近似整个非线性方程组的Jacobian。我们展示了如何预处理可以被纳入多割线更新，以提高该方法的性能。对于非凸问题，我们提出了一个简单的修改割线条件正则化的海森。数值实验表明，该算法是一个很有前途的替代传统的基于梯度的算法，特别是当错误存在于数据中。
2017-09-20 math.OC
HessianFR: An Efficient Hessian-based Follow-the-Ridge Algorithm for Minimax Optimization
The University of Hong Kong（香港大学）
可微二人序列游戏的广泛应用（例如，由GANs生成图像）已经引起了研究人员对研究高效和快速算法的兴趣和关注。现有的大多数算法都是基于同时博弈的良好性质开发的，即，凹凸支付函数，但不适用于解决不同设置的序列博弈。一些传统的梯度下降上升算法在理论上和数值上都无法找到同时博弈的局部纳什均衡或局部极小极大（即，局部Stackelberg均衡）的序列博弈。在本文中，我们提出了HessianFR，一个有效的基于Hessian的Follow-the-Ridge算法与理论保证。此外，利用随机算法的收敛性和Hessian逆的逼近性来提高算法的效率。在合成和真实世界的大规模图像数据集（例如MNIST，CIFAR-10和CelebA）上进行了一系列训练生成对抗网络（GANs）的实验。实验结果表明，所提出的HessianFR在收敛性和图像生成质量方面优于基线。
2022-05-23 cs.LG cs.NA math.NA
Estimates of generalized Hessians for optimal value functions in mathematical programming
最优值函数是数学优化领域中的基本目标之一，因为它允许评估在某些约束下最小化/最大化给定函数时产生的成本/收益的变化。在稳定性/灵敏度分析的背景下，大量的出版物已经致力于研究的连续性和可微性的最优值函数。在目前的文献中的作品的可微性方面主要局限于一阶分析，重点是其方向导数和次微分的估计，因为该功能是典型的非光滑。随着近二三十年来在鲁棒优化、极大极小优化、半无限优化和双层优化等主要优化子领域的研究进展，以及它们与最优值函数的联系，迫切需要对该函数的广义可微性进行二阶分析。这种类型的分析将使强大的解决方案的算法，如牛顿法的发展。本文的主要目标是提供在这个方向上的结果。实际上，我们得到了最优值函数的广义Hessian估计。我们的结果是基于两个方便的工具，从参数优化，即最优解和拉格朗日乘子映射，其广义导数的完全详细的估计是众所周知的，或者可以很容易地获得。
2021-11-25 math.OC
Approximating the diagonal of a Hessian: which sample set of points should be used
引入了一个显式公式来近似Hessian的对角项。当使用称为\emph{generalized centered simplex gradient}的无导数技术来近似梯度时，则可以仅针对一个附加函数求值来计算公式。引入了一个误差界，并提供了关于应用于近似Hessian的对角线的点的样本集的形式的信息。如果样本点集是建立在一个特定的方式，它表明，该技术是$\mathcal{O}(Δ_S^2)$精确近似的对角条目的Hessian其中$Δ_S$是半径的样本集。
2021-04-23 cs.NA math.NA math.OC
Training Autoencoders Using Stochastic Hessian-Free Optimization with LSMR
Department of Mathematics, University of Iowa（数学系，爱荷华大学）
针对海森自由（HF）优化训练深度自编码器的数据量大问题，提出改用LSMR方法、整合改进预条件子并引入基于方差估计和验证目标下降的小批量选择算法，实现快速训练并提升泛化性能。
2025-04-17 cs.LG math.OC
The bilinear Hessian for large scale optimization
本文提出一种基于Taylor展开计算Hessian双线性形式或算子形式的新框架，避免显式构造和存储Hessian矩阵，适用于成像等高维大规模优化问题，并可实现Newton步长、Daniel共轭梯度及Quasi-Newton方法。
2025-02-05 cs.NA math.NA math.OC
A Hessian inversion-free exact second order method for distributed consensus optimization
我们考虑一个标准的分布式共识最优化问题，一组代理连接在一个无向网络，最小化他们各自的本地强凸成本的总和。乘子AMM的交替方向法和乘子PMM的邻近方法已被证明是设计包含局部代价Hessian计算的精确分布式二阶方法的有效框架。然而，现有的方法涉及显式计算的局部海森逆在每次迭代，可能是非常昂贵的优化变量的维数是大的。在本文中，我们开发了一种新的方法，称为INDO不精确牛顿法的分布式优化，它消除了海森逆计算的需要。INDO遵循PMM框架，但与现有工作不同，它通过通用的不动点方法近似牛顿方向，例如，Jacobi超松弛，不涉及Hessian逆。我们证明了精确的全局线性收敛的INDO和牛顿方向计算的不精确程度如何影响整体方法的收敛因子提供分析研究。在几个真实数据集上的数值实验表明，INDO的速度与现有技术的迭代方法相当或更好，因此具有可比的通信成本。同时，对于足够大的最优化问题维度n（甚至在几百的数量级上的n），INDO实现了计算成本的至少数量级的节省。
2022-04-06 cs.IT math.IT math.OC
A Log-Barrier Newton-CG Method for Bound Constrained Optimization with Complexity Guarantees
我们描述了一个算法的基础上的对数障碍函数，牛顿法，和线性共轭梯度，获得一个近似极小的光滑函数的非负正交。我们开发的方法的复杂性，所需的精度和成本的一个单一的梯度评价的目标函数和/或矩阵向量乘法涉及的Hessian的目标方面的限制。该方法可以在不显式计算或存储Hessian的情况下实现。
2019-12-03 math.OC
Stochastic Hessian Fittings with Lie Groups
Xi-Lin Li（利西林）
本研究通过分析李群中的Hessian拟合问题，揭示了其在不同几何设置下的强凸性，并提出了高效的李群稀疏预条件器拟合方法。
2025-11-30 cs.LG math.OC stat.ML
Matching Full-Hessian Oracle Complexity for Nonconvex--Strongly-Concave Minimax Optimization
Peking University（北京大学）
该研究刻画了非凸-强凹极小极大优化的全海森神谕复杂度，建立了匹配的确定性上界与随机下界，明确了复杂度对精度等参数的依赖关系及改进情况。
2026-10-20 math.OC
Hessians in Birkhoff-Theoretic Trajectory Optimization
Naval Postgraduate School（海军学院）
本文推导了伯克霍夫理论轨迹优化相关的海森矩阵，证明其离散化最优控制问题约80%特征值位于[-2,4]区间，分析了计算复杂度并讨论了百万点轨迹优化的挑战。
2025-11-17 cs.MS cs.NA cs.RO
Adaptive Newton-CG methods with global and local analysis for unconstrained optimization with Hölder continuous Hessian
National University of Singapore（新加坡国立大学）；Linköping University（林雪平大学）
本文提出两种自适应牛顿-共轭梯度算法，利用自动条件化技术消除嵌套线搜索，解决非凸函数Hessian为(H_f,ν)-Hölder连续时的效率和收敛性问题，达到最优迭代复杂度并实现局部超线性收敛。
2026-04-29 math.OC
Achieving ${O}(ε^{-1.5})$ Complexity in Hessian/Jacobian-free Stochastic Bilevel Optimization
University at Buffalo（布法罗大学）
本文提出无 Hessian/Jacobian 的双层优化器 FdeHBO，通过单循环结构、有限差分近似和动量更新，首次在非凸-强凸随机双层优化中实现 ${O}(ε^{-1.5})$ 样本复杂度。
2025-04-06 cs.LG math.OC stat.ML
A Unified Scheme to Accelerate Adaptive Cubic Regularization and Gradient Methods for Convex Optimization
在本文中，我们提出了一个统一的两阶段计划的凸优化加速：（1）自适应三次正则化方法与精确/不精确黑塞矩阵，（2）自适应梯度方法，没有任何知识的Lipschitz常数的梯度或海塞矩阵。这是通过在其进展过程中调整算法$\textit{adaptively}$中使用的参数来实现的，这可以被视为对文献中现有算法的放松。在子问题可近似求解的假设下，我们建立了三个新算法的总体迭代复杂度界，以获得$ε$ -近似解.具体来说，我们证明了具有精确/不精确Hessian矩阵的自适应三次正则化方法都实现了$O\left( 1 / ε^{1/3} \right)$量级的迭代复杂度，这与[Nesterov-2008-Accelerating]中提出的原始加速三次正则化方法的迭代复杂度相匹配，假设精确Hessian信息和Lipschitz常数的可用性，并且子问题被求解为最优。在相同的两阶段自适应加速框架下，梯度方法实现了$O\left( 1 / ε^{1/2} \right)$量级的迭代复杂度，这是已知的最佳可能的（参见图1）。Nesterov-2013-Introductory）。我们的数值实验结果表明，在一组正则化的逻辑斯谛回归的情况下，三次正则化的自适应牛顿方法显示出明显的加速效果。
2017-12-27 math.OC
Stochastic Second-order Methods for Non-convex Optimization with Inexact Hessian and Gradient
The University of Sydney（悉尼大学）；University of California, Davis（加州大学戴维斯分校）
置信域和三次正则化方法在小规模非凸优化中表现出良好的性能，显示出逃离鞍点的能力。这些方法的每次迭代都涉及梯度、Hessian和函数值的计算，以获得搜索方向并调整半径或三次正则化参数。然而，在训练深度网络等大规模问题中，精确计算这些量过于昂贵。本文研究了一类随机置信域和三次正则化方法在梯度、Hessian和函数值计算不精确的情况下，证明了实现$ε$ -近似二阶最优性的迭代复杂度与以前的工作在梯度和函数值计算精确的情况下是相同量级的.有限和极小化问题中不精确性的温和条件可以通过随机抽样得到。我们表明，与以前的二阶方法相比，该算法在训练卷积神经网络方面表现良好。
2018-09-26 cs.LG math.OC stat.ML
Generalized Quadratic Gradient: A New Direction in Optimization via the Fusion of Positive-Definite Curvature Matrices and Gradients into A Unified Framework
本文提出广义二次梯度（GQG）这一统一框架，将二次梯度原理扩展至更广泛牛顿型优化算法，突破了现有二次梯度方法对特定海森近似的限制，为感知曲率的优化算法开发提供了更广泛基础。
2026-08-04 cs.LG math.OC
Second-order Optimization under Heavy-Tailed Noise: Hessian Clipping and Sample Complexity Limits
KAUST Center of Excellence for Generative AI（知识增强人工智能卓越中心）；ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；Georgia Institute of Technology（佐治亚理工学院）
本文首次研究重尾噪声下的二阶优化，建立样本复杂度紧下界，提出基于梯度和Hessian Clipping的算法，证明其高概率上界几乎匹配理论极限，为算法设计提供鲁棒策略。
2025-10-12 cs.LG math.OC
Computation of sparse low degree interpolating polynomials and their application to derivative-free optimization
基于插值的信赖域方法是一类重要的无导数优化算法，它依赖于二次多项式插值模型对目标函数的局部逼近，通常由比基分量少的点建立。通常，在实际应用中，问题变量对目标函数的贡献使得变量之间的许多成对相关性可以忽略不计，这意味着在光滑情况下，黑塞矩阵中存在稀疏结构。为了能够利用Hessian稀疏性，现有的优化方法需要稀疏性结构的知识。本文的目标是开发和分析一种自动构建稀疏模型的方法。压缩感知领域最近发展起来的稀疏恢复理论描述了从少量随机测量中精确恢复稀疏向量的条件。这样的恢复是通过最小化的向量的l1范数的测量约束。提出了一种在满足插值条件的条件下，通过最小化模型Hessian元素的l1范数来构造稀疏二次多项式插值模型的方法.我们表明，这个过程恢复准确的模型时，函数海森是稀疏的，使用相对较少的随机选择的样本点。受此结果的启发，我们开发了一个实用的基于插值的信赖域方法，使用确定性样本集和最小l1范数二次模型。我们的计算结果表明，新的方法表现出良好的数值性能，无论是在一般情况下，在稀疏的。
2013-06-24 math.OC
Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian
Linköping University（林雪平大学）；University of Maryland（马里兰大学）；University of Minnesota（明尼苏达大学）
针对具有Hölder连续Hessian的非凸无约束优化问题，提出已知参数的Newton-CG方法和无需参数先验的无参数Newton-CG方法，后者为首个实现最优迭代与运算复杂度的无参数二阶方法，且数值结果显示其性能更优。
2025-04-14 cs.LG math.OC
Riemannian Optimization over Symmetric Positive Definite Matrices with the Alpha-Procrustes Geometry
National Institute of Informatics（信息处理学会）；The Graduate University for Advanced Studies, SOKENDAI（高级研究院 (SOKENDAI)）；The Institute of Statistical Mathematics（统计数理研究所）
本文提出Alpha-Procrustes几何用于解决对称正定矩阵优化中条件数问题，通过统一界条件提升鲁棒性，验证了理论在多个应用中的有效性。
2026-07-08 math.OC
