Fast convex optimization via inertial systems with asymptotically vanishing viscosity and Hessian-driven damping
本文研究了一族由渐近消失粘性和Hessian驱动阻尼惯性系统离散化得到的惯性算法的收敛速度,证明了在凸及Polyak-Łojasiewicz条件下的次线性收敛和强凸条件下的线性收敛,为Nesterov加速梯度法提供了新见解。
2025-07-17 math.OC
Hessian barrier algorithms for non-convex conic optimization
我们考虑通过一类新的自适应一阶和二阶最优化方法在正则锥与仿射集的交点上最小化连续函数,该方法建立在[Bomze,Mertikopoulos,Schachinger和Staudigl,线性约束最优化问题的Hessian障碍算法,SIAM Journal on Optimization,2019]中引入的Hessian障碍技术的基础上。我们的方法是基于一个潜在的减少机制,并获得适当定义的类近似的一阶或二阶KKT点的最佳最坏情况下的迭代复杂度$O(\varepsilon^{-2})$(一阶)和$O(\varepsilon^{-3/2})$(二阶),分别。我们的方法的一个关键特征是使用自和谐的障碍函数,通过纪律分解方法,而不牺牲迭代的复杂性的方法,以构建严格可行的迭代。据我们所知,这项工作是第一次实现这些最坏情况下的复杂性界一般锥约束最优化问题在这种弱条件下。
2022-10-17 math.OC
On the effect of perturbations in first-order optimization methods with inertia and Hessian driven damping
具有粘性和Hessian驱动阻尼的二阶连续时间耗散动力系统启发了求解凸优化问题的有效一阶算法。在保持Nesterov型加速度的快速收敛特性的同时,Hessian驱动阻尼使得可以显着衰减振荡。为了研究这些算法的稳定性扰动,我们分析了相应的连续系统的行为时,梯度计算受到外源性的附加误差。我们提供了一个定量分析的渐近行为的两种类型的系统,那些隐式和显式海森驱动阻尼。我们考虑凸,强凸,和非光滑的目标函数定义在一个真正的希尔伯特空间,并表明,根据制定,不同的可积性条件的扰动足以保持系统的收敛速度。我们强调隐式和显式Hessian阻尼之间的差异,并特别指出,隐式情况下所需的目标和扰动的假设比显式情况下更严格。
2022-03-17 math.OC
A Regularized Hessian-Free Inexact Newton-Type Method with Global $\mathcal{O}(k^{-2})$ Convergence
Oregon State University(俄勒冈州立大学);Catholic Pontifical University(天主教宗座大学);Federal University of Delta do Parnaíba(帕纳伊巴三角洲联邦大学);Federal University of Piauí(皮奥伊联邦大学)
本文提出一种正则化Hessian自由牛顿型方法,用于优化具有Lipschitz连续Hessian的光滑凸函数,通过有限差分构造近似Hessian并自适应选择正则化参数,实现全局$\mathcal{O}(k^{-2})$收敛,且在部分问题上计算效率更高。
2026-04-30 math.OC
QN Optimization with Hessian Sample
本文探讨了如何有效地将曲率信息产生的SIMD并行前向模式微分(AD)到无约束拟牛顿(QN)最小化的光滑目标函数,$f$。具体地,每当评估梯度时,前向模式AD可以用于生成块海森样本$Y=\nabla^2 f(x)\,S$。块QN算法然后用这些海森样本更新近似逆海森样本$H_k \approx \nabla^2 f(x_k)$。而标准的线搜索为基础的BFGS算法仔细过滤和纠正割线为基础的近似曲率信息,以保持正定近似,我们的算法直接将海森样本更新不确定的逆海森近似过滤。采样方向补充标准QN二维信赖域子问题,生成一个中等规模的子问题,可以利用负曲率。由此产生的二次约束二次规划精确求解的广义本征值算法和步骤先进的标准置信域步骤接受和半径调整。本文的目的是避免串行瓶颈,利用准确的正,负曲率信息,并进行初步评估的选择策略$S$。
2022-01-07 math.OC
Inertial dynamical systems and accelerated algorithms with implicit Hessian-driven damping for nonconvex optimization
Chongqing Technology and Business University(重庆工商大学);Sichuan University(四川大学)
本文提出了一种基于隐式Hessian驱动阻尼的惯性动力系统,用于解决强拟凸优化问题,并通过显式时间离散化和扰动项设计,实现了加速算法并验证了其收敛性。
2026-02-26 math.OC
Revisiting a Fast Newton Solver for a 2-D Spectral Estimation Problem: Computations with the Full Hessian
School of Intelligent Systems Engineering, Sun Yat-sen University(中山大学智能系统工程学院)
本文重新审视了二维谱估计问题,通过揭示对偶函数Hessian的Toeplitz块Toeplitz结构,提出了一种基于牛顿法的快速求解算法,并通过模拟验证了其高效的收敛性能。
2026-01-06 math.OC
Speeding up Stochastic Proximal Optimization in the High Hessian Dissimilarity Setting
本文针对高 Hessian 差异性场景,改进 L-SVRP 方法的收敛速率分析,无需光滑性假设,显著降低通信复杂度。
2024-12-18 math.OC
First-order optimization algorithms via inertial systems with Hessian driven damping
在希尔伯特空间中,对于凸优化,分析了一类具有惯性特征的一阶算法的收敛速度.它们可以被解释为离散时间版本的惯性动力学,包括粘性和海森驱动的阻尼。由Hessian驱动的几何阻尼以$\nabla^2 f (x(t)) \dot{x} (t)$的形式干预动力学。通过将该项视为$ \nabla f (x (t)) $的时间导数,这给出了时间和空间上的离散形式的一阶算法。除了附加到Nesterov型加速梯度法的收敛特性之外,由此获得的算法是新的,并且显示出向梯度的零的快速收敛。在Moreau包络正则化技术的基础上,我们将这些方法推广到具有扩展实值的非光滑凸函数。时间尺度因子的引入使得进一步加速这些算法成为可能。我们还报告了结构化问题的数值结果,以支持我们的理论研究结果。
2020-11-06 math.OC
Primal-dual dynamics featuring Hessian-driven damping and variable mass for convex optimization problems
Chongqing Key Laboratory of Statistical Intelligent Computing and Monitoring, College of Mathematics and Statistics, Chongqing Technology and Business University(重庆工商大学数学与统计学院,统计智能计算与监测重庆市重点实验室)
本文提出一种新的Tikhonov正则化对偶动力系统,通过可变质量与Hessian驱动阻尼解决带线性等式约束的凸优化问题,通过Lyapunov分析证明轨迹强收敛于最优解并获得对偶间隙、目标残差和可行性违反的收敛速率。
2026-03-31 math.OC
Fast convex optimization via inertial dynamics combining viscous and Hessian-driven damping with time rescaling
在希尔伯特设置,我们开发的快速方法凸无约束优化。我们依赖于一个惯性系统的渐近行为相结合的几何阻尼与时间尺度。要最小化的凸函数通过其梯度进入动态。动力学模型包括三个随时间变化的系数,一个是粘性阻尼系数,第二个是附加到Hessian驱动阻尼,第三个是时间标度系数。我们研究了在一般条件下,包括阻尼和时间尺度系数的值的收敛速度。所得到的结果是基于一个新的李雅普诺夫分析,他们包括已知的结果的主题。我们特别注意的情况下,渐近消失的粘性阻尼,这是直接相关的加速梯度法的Nesterov。Hessian驱动的阻尼显著地减少了振荡方面。作为一个主要结果,我们得到了指数收敛速率的值,而不假设强凸性的目标函数。这些动态的时间离散化打开了一个大类的惯性优化算法的大门。
2020-09-16 math.OC
Approximating Hessian matrices using Bayesian inference: a new approach for quasi-Newton methods in stochastic optimization
本文提出一种基于贝叶斯推断的Hessian近似方法,通过最小化割线方程残差并约束极端特征值范围来改善随机梯度下降的预条件处理,实验表明其在不放大梯度噪声的前提下有效提升了随机优化的收敛性能。
2024-04-01 math.OC
Inertial Primal-Dual Dynamics Methods Featuring Implicit Hessian-Driven Damping for Convex Optimization Problems in Continuous and Discrete Time
Chongqing Technology and Business University(重庆工商大学);Sichuan University(四川大学);Sunway University(双威大学)
本文针对带线性等式约束的强凸优化问题,提出带隐式海森驱动阻尼的惯性原始-对偶动力学,推导对应的离散算法,证明其收敛速率与连续系统一致,还扩展到非光滑情形并通过数值实验验证。
2026-09-01 math.OC
Gradient and Hessian approximations in Derivative Free Optimization
这项工作探讨有限差分和插值模型的使用,以获得近似的一阶和二阶导数的功能。这里,示出了如果在插值模型中使用特定的点集合,则对相关联的线性系的解(即,对Hessian的梯度和对角线的近似),这与有限差分的成本相同,并且在求解一般非结构化线性系时节省了$\mathcal{O}(n)$成本。此外,如果使用“规则最小正基”形成内插点,则梯度近似的误差界与有限差分近似的相同。数值实验表明,如何衍生估计可以采用现有的衍生自由优化算法,从而展示了这些衍生近似的潜在的实际用途之一。
2020-01-23 math.OC
Hessian-Free Distributed Bilevel Optimization via Penalization with Time-Scale Separation
State Key Laboratory of Industrial Control Technology and the College of Control Science and Engineering, Zhejiang University(浙江大学工业控制技术国家重点实验室与控制科学与工程学院);School of Electrical Engineering and Computer Science, Pennsylvania State University(宾夕法尼亚州立大学电气与计算机工程学院)
本文提出了一种无循环的分布式算法AHEAD,通过引入惩罚项和时间尺度分离,解决分布式双层优化问题,无需计算Hessian并实现快速收敛。
2026-02-26 math.OC
Heavy Ball and Nesterov Accelerations with Hessian-driven Damping for Nonconvex Optimization
针对强拟凸非凸优化,提出带 Hessian 驱动阻尼的 Heavy Ball 与 Nesterov 加速离散算法,实现线性收敛并减轻振荡。
2025-06-18 math.OC
Heavy-ball dynamics with Hessian-driven damping for non-convex optimization under the Łojasiewicz condition
本文针对满足Łojasiewicz条件的光滑非凸优化问题,研究带Hessian驱动阻尼的Heavy-ball动力学,给出最优收敛速率保证,改进现有线性速率,补充稳定性估计与鞍点规避结果。
2025-06-13 math.OC
Complexity of trust-region methods with unbounded Hessian approximations for smooth and nonsmooth optimization
GERAD;Department of Mathematics and Industrial Engineering, Polytechnique Montréal(蒙特利尔理工学院数学与工业工程系)
本文针对无界Hessian近似的信赖域方法,推导出最坏情况复杂度界从ε^{-2}恶化至ε^{-2/(1-p)},并证明该界是紧的,为Powell猜想提供了初步进展。
2025-10-10 math.OC
Trust-region filter algorithms utilizing Hessian information for gray-box optimization
University of Surrey(萨里大学);Imperial College London(帝国理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出四种基于Hessian信息的信赖域过滤算法变体,用于解决灰盒优化问题,通过投影正定Hessian实现自动步长调整,结合低保真和高保真代理模型,显著减少迭代次数和黑盒评估次数,优于传统方法。
2026-04-14 math.OC
INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
Indian Institute of Technology Kanpur(坎普尔印度理工学院);Indian Institute of Technology Roorkee(鲁尔基印度理工学院)
INTHOP通过区间Hessian方法解决非凸优化中的高计算成本、Hessian求逆和非定性Hessian方向问题,证明了算法的全局收敛性,并在测试问题中表现出更高的效率。
2026-04-07 math.OC
Numerical Computation of the Gradient and the Action of the Hessian for Time-Dependent PDE-Constrained Optimization Problems
我们提出了一个系统的推导所需的算法计算梯度和行动的Hessian的任意失配函数的大尺度参数估计问题,涉及线性不定常偏微分方程与固定系数。这些算法是使用伴随方法的任意阶的时间步进计划,因此非常适合于分布式参数估计问题的前向解决方案需要解决的高精度。两个例子演示了如何准备特定的偏微分方程与这些算法一起使用。数值算例表明,高阶时步格式的精度顺序是由相应的伴随时步格式和失配梯度计算继承的。
2016-08-08 math.OC
Second-order orthant-based methods with enriched Hessian information for sparse $\ell_1$-optimization
我们提出了一个二阶算法,基于正交方向,解决涉及稀疏增强$\ell_1$ -范数的最优化问题。我们的方法的主要思想是修改下降orthawise方向通过使用二阶信息的正规项和(在弱意义上)的$\ell_1$ -范数。通过部分Huber正则化将$\ell_1$项后面的弱二阶信息合并。我们的算法的主要特点之一是在一个更快的识别活动集。我们还证明了我们的方法的简化版本是等价的半光滑牛顿算法适用于最优性条件,在一个特定的选择的算法参数。我们提出了几个计算实验,以显示我们的方法相比,其他国家的最先进的算法的效率。
2016-07-01 math.OC
Inertial Methods with Viscous and Hessian driven Damping for Non-Convex Optimization
本文研究非凸优化中同时引入粘性阻尼与Hessian驱动阻尼的二阶惯性动力学,给出显式和隐式两种设置下的收敛条件、收敛速率及离散算法,并首次处理目标函数仅局部Lipschitz光滑时的回溯策略收敛保证。
2025-06-05 math.OC
On Global Maximization of Bounded Hessian Functions over Strongly Convex Domains
在本文中,我们提出了两个框架,其中一个强凸集上的有界海森函数的全局最大化可以减少到凸优化。第一个提出的框架是我们以前的论文之一的延续[11]。在$C$不属于n个圆盘中心的凸包的条件下,改进了已有的结果,给出了n个圆盘的有限交中最远点到$C \in \mathbb{R}^{n \times 1}$的多项式时间显式算法.最后,为了克服这一限制,我们提出了第二个框架,其特征在于最远的n-磁盘与$C$在凸包的有限交叉。不幸的是,第二个框架需要能够决定我们定义的多面体是否包含在交集中,这通常很难。然而,作为我们的第二个框架的一个特殊应用,我们能够在P时间解决一些实例的子集和问题的实际项目:给定一组实数决定是否有一个子集,加起来为零。
2021-07-18 math.OC
Second-order optimization with lazy Hessians
EPFL(洛桑联邦理工学院)
该研究提出带惰性Hessian更新的牛顿法,通过复用Hessian、每步更新梯度降低二阶优化复杂度,证明了非凸下的快速全局收敛与凸问题的超线性收敛,将总算术复杂度提升√d倍。
2023-06-15 cs.LG math.OC
Online estimation of the inverse of the Hessian for stochastic optimization with application to universal stochastic Newton algorithms
本文提出用Robbins-Monro过程在线递归估计Hessian逆矩阵,以降低二阶随机优化的计算复杂度,并据此发展通用随机牛顿方法,扩展了二阶算法的应用范围。
2025-03-10 math.OC stat.ML
Superlinear Optimization Algorithms
本文提出受最优控制问题最优轨迹启发的超线性收敛优化算法,可处理奇异Hessian矩阵,部分算法避免求逆或仅需对角元素,数值实验表明优于梯度下降法。
2025-03-31 math.OC
Universal heavy-ball method for nonconvex optimization under Hölder continuous Hessians
Graduate School of Information Science and Technology, University of Tokyo(东京大学信息理工学专攻);Center for Advanced Intelligence Project, RIKEN(理化学研究所先进智能项目中心)
本文提出了一种适用于非凸优化问题的通用重力球方法,在Hölder连续Hessian条件下实现高效的优化性能。
2024-01-31 math.OC
Iterative algorithm with structured diagonal Hessian approximation for solving nonlinear least squares problems
非线性最小二乘问题是一类特殊的无约束最优化问题,其梯度和Hessian具有特殊的结构。在本文中,我们利用这些结构,并提出了一个无矩阵算法与对角Hessian近似求解非线性最小二乘问题。我们设计了适当的保护策略,以确保黑塞矩阵是正定的整个迭代过程。该算法产生下降方向,是全局收敛的。初步的数值实验表明,该方法是具有竞争力的最近开发的类似方法。
2020-02-05 math.OC
SGD with Partial Hessian for Deep Neural Networks Optimization
The Hong Kong Polytechnic University(香港理工大学)
本文提出复合优化器 SGD-PH,对逐通道参数使用可精确提取的对角部分 Hessian,其余参数采用 SGD 更新,从而兼顾二阶优化效率与一阶泛化能力。
2024-03-05 cs.LG math.OC
Gradient-Normalized Smoothness for Optimization with Approximate Hessians
EPFL(洛桑联邦理工学院)
本研究提出梯度归一化平滑性新概念,构建结合近似二阶信息与梯度正则化的优化算法,为近似二阶算法提供通用全局收敛保证,适用于多类函数及逻辑回归、非凸优化等场景。
2025-06-16 cs.LG math.OC
Fast convex optimization via inertial dynamics with Hessian driven damping
首先研究了二阶发展方程$$\ddot{x}(t) + \fracα{t} \dot{x}(t) + β\nabla^2 Φ(x(t))\dot{x} (t) + \nabla Φ(x(t)) = 0,$$的轨道的快速极小化性质,其中$Φ:\mathcal H\to\mathbb R$是作用在实Hilbert空间$\mathcal H$上的光滑凸函数,$α$,$β$是正参数.该惯性系统结合了渐近消失的各向同性粘性阻尼和几何Hessian驱动阻尼,这使得它自然地与牛顿和Levenberg-Marquardt方法相关。对于$α\geq 3$、$β>0$,沿着任何轨迹,获得值$$Φ(x(t))- \min_{\mathcal H}Φ=\mathcal O\left(t^{-2}\right)$$的快速收敛,以及梯度$\nablaΦ(x(t))$到零的快速收敛。对于$α>3$,只要假设$Φ$有极小值,我们证明了任何轨迹都弱收敛到$Φ$和$ Φ(x(t))-\min_{\mathcal H}Φ= o(t^{-2})$的极小值。强收敛在各种实际情况下建立。对于强凸的情况下,收敛可以任意快,这取决于$α$的选择。更准确地说,我们有$Φ(x(t))- \min_{\mathcal H}Φ= \mathcal O(t^{-\frac{2}{3}α})$。我们将结果推广到一般的真下连续凸函数$Φ: \m…
2016-01-26 math.OC
Newton-Type Methods for Non-Convex Optimization Under Inexact Hessian Information
Stanford University(斯坦福大学);University of Queensland(昆士兰大学);International Computer Science Institute(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
我们考虑非凸优化的信赖域和三次正则化方法的变体,其中黑塞矩阵是近似的。在不精确Hessian的适当条件下,利用相应子问题的近似解,我们给出了迭代复杂度以获得$ ε$ -近似二阶最优性,并证明了该最优性是紧的.我们的海森近似条件构成了一个主要的放松在文献中现有的。因此,我们能够表明,这种温和的条件允许通过各种随机抽样方法的近似海森的建设。在此基础上,我们考虑了有限和极小化的典型问题,提供了适当的均匀和非均匀子采样策略来构造这样的Hessian近似,并获得了相应的子采样信赖域和三次正则化方法的最佳迭代复杂度。
2019-05-14 cs.CC cs.LG math.OC
HERO: Hessian-Enhanced Robust Optimization for Unifying and Improving Generalization and Quantization Performance
Duke University(杜克大学)
随着最近在移动和边缘设备上部署神经网络模型的需求,期望提高模型对看不见的测试数据的泛化能力,以及增强模型在定点量化下的鲁棒性以进行有效部署。然而,最小化训练损失对泛化和量化性能几乎没有保证。在这项工作中,我们满足需要,同时提高泛化和量化性能的理论统一的框架下,提高模型的鲁棒性有界的权重扰动和最小化的Hessian矩阵的特征值相对于模型的权重。因此,我们提出了HERO,一种Hessian增强的鲁棒优化方法,通过基于梯度的训练过程来最小化Hessian特征值,同时提高泛化和量化性能。HERO使测试准确度提高了3.8%,在80%的训练标签扰动下准确度提高了30%,并且在广泛的精度范围内具有最佳的训练后量化准确度,包括在各种数据集上的通用模型架构中,比SGD训练模型的准确度提高了>10%。
2021-11-23 cs.LG math.OC
Structured Quasi-Newton Methods for Optimization with Orthogonality Constraints
本文研究了正交约束最优化问题的结构拟牛顿法。注意,目标函数的黎曼海森需要欧几里德海森和欧几里德梯度。特别是,我们感兴趣的应用程序,欧几里德海森本身包括一个计算便宜的一部分和一个显着昂贵的一部分。我们的基本思想是保持这些部分的计算成本较低,但取代那些部分的计算成本较高的有限内存的拟牛顿更新。更具体地,与欧氏梯度相关的部分和欧氏海森中更便宜的部分被保留。初始拟牛顿矩阵进一步构造从一个有限的内存Nyström近似昂贵的部分。因此,我们的子问题近似的原始目标函数在欧几里得空间,并保持正交约束,而不执行所谓的矢量传输。当子问题的解具有足够的精度时,在较弱的条件下,可以得到全局和局部q-超线性收敛。线性本征值问题和电子结构计算的初步数值实验表明,与现有算法相比,该方法是有效的。
2018-09-03 math.OC
Error-tolerant Multisecant Method for Nonlinearly Constrained Optimization
我们提出了一个基于导数的算法,非线性约束最优化问题是容忍的数据不准确。该算法求解一个半光滑的非线性方程组,相当于一阶最优性条件,它是无矩阵的意义上,它不需要显式的拉格朗日Hessian或雅可比的约束。求解方法是拟牛顿法,但不是仅近似Hessian或约束Jacobian,而是使用多割线法近似整个非线性方程组的Jacobian。我们展示了如何预处理可以被纳入多割线更新,以提高该方法的性能。对于非凸问题,我们提出了一个简单的修改割线条件正则化的海森。数值实验表明,该算法是一个很有前途的替代传统的基于梯度的算法,特别是当错误存在于数据中。
2017-09-20 math.OC
HessianFR: An Efficient Hessian-based Follow-the-Ridge Algorithm for Minimax Optimization
The University of Hong Kong(香港大学)
可微二人序列游戏的广泛应用(例如,由GANs生成图像)已经引起了研究人员对研究高效和快速算法的兴趣和关注。现有的大多数算法都是基于同时博弈的良好性质开发的,即,凹凸支付函数,但不适用于解决不同设置的序列博弈。一些传统的梯度下降上升算法在理论上和数值上都无法找到同时博弈的局部纳什均衡或局部极小极大(即,局部Stackelberg均衡)的序列博弈。在本文中,我们提出了HessianFR,一个有效的基于Hessian的Follow-the-Ridge算法与理论保证。此外,利用随机算法的收敛性和Hessian逆的逼近性来提高算法的效率。在合成和真实世界的大规模图像数据集(例如MNIST,CIFAR-10和CelebA)上进行了一系列训练生成对抗网络(GANs)的实验。实验结果表明,所提出的HessianFR在收敛性和图像生成质量方面优于基线。
2022-05-23 cs.LG cs.NA math.NA
Estimates of generalized Hessians for optimal value functions in mathematical programming
最优值函数是数学优化领域中的基本目标之一,因为它允许评估在某些约束下最小化/最大化给定函数时产生的成本/收益的变化。在稳定性/灵敏度分析的背景下,大量的出版物已经致力于研究的连续性和可微性的最优值函数。在目前的文献中的作品的可微性方面主要局限于一阶分析,重点是其方向导数和次微分的估计,因为该功能是典型的非光滑。随着近二三十年来在鲁棒优化、极大极小优化、半无限优化和双层优化等主要优化子领域的研究进展,以及它们与最优值函数的联系,迫切需要对该函数的广义可微性进行二阶分析。这种类型的分析将使强大的解决方案的算法,如牛顿法的发展。本文的主要目标是提供在这个方向上的结果。实际上,我们得到了最优值函数的广义Hessian估计。我们的结果是基于两个方便的工具,从参数优化,即最优解和拉格朗日乘子映射,其广义导数的完全详细的估计是众所周知的,或者可以很容易地获得。
2021-11-25 math.OC
Training Autoencoders Using Stochastic Hessian-Free Optimization with LSMR
Department of Mathematics, University of Iowa(数学系,爱荷华大学)
针对海森自由(HF)优化训练深度自编码器的数据量大问题,提出改用LSMR方法、整合改进预条件子并引入基于方差估计和验证目标下降的小批量选择算法,实现快速训练并提升泛化性能。
2025-04-17 cs.LG math.OC
The bilinear Hessian for large scale optimization
本文提出一种基于Taylor展开计算Hessian双线性形式或算子形式的新框架,避免显式构造和存储Hessian矩阵,适用于成像等高维大规模优化问题,并可实现Newton步长、Daniel共轭梯度及Quasi-Newton方法。
2025-02-05 cs.NA math.NA math.OC
Boundary Geometry and Global Rates of Cyclic Coordinate Descent for SVM Duals
HSE University(高等经济大学)
本文研究SVM对偶问题的循环坐标下降法,提出结合坐标交互与边界几何的全局收缩界,并证明其优于现有方法,且通过数值实验验证了实用性。
2026-10-01 math.OC
A Log-Barrier Newton-CG Method for Bound Constrained Optimization with Complexity Guarantees
我们描述了一个算法的基础上的对数障碍函数,牛顿法,和线性共轭梯度,获得一个近似极小的光滑函数的非负正交。我们开发的方法的复杂性,所需的精度和成本的一个单一的梯度评价的目标函数和/或矩阵向量乘法涉及的Hessian的目标方面的限制。该方法可以在不显式计算或存储Hessian的情况下实现。
2019-12-03 math.OC
A Hessian inversion-free exact second order method for distributed consensus optimization
我们考虑一个标准的分布式共识最优化问题,一组代理连接在一个无向网络,最小化他们各自的本地强凸成本的总和。乘子AMM的交替方向法和乘子PMM的邻近方法已被证明是设计包含局部代价Hessian计算的精确分布式二阶方法的有效框架。然而,现有的方法涉及显式计算的局部海森逆在每次迭代,可能是非常昂贵的优化变量的维数是大的。在本文中,我们开发了一种新的方法,称为INDO不精确牛顿法的分布式优化,它消除了海森逆计算的需要。INDO遵循PMM框架,但与现有工作不同,它通过通用的不动点方法近似牛顿方向,例如,Jacobi超松弛,不涉及Hessian逆。我们证明了精确的全局线性收敛的INDO和牛顿方向计算的不精确程度如何影响整体方法的收敛因子提供分析研究。在几个真实数据集上的数值实验表明,INDO的速度与现有技术的迭代方法相当或更好,因此具有可比的通信成本。同时,对于足够大的最优化问题维度n(甚至在几百的数量级上的n),INDO实现了计算成本的至少数量级的节省。
2022-04-06 cs.IT math.IT math.OC
Stochastic Hessian Fittings with Lie Groups
Xi-Lin Li(利西林)
本研究通过分析李群中的Hessian拟合问题,揭示了其在不同几何设置下的强凸性,并提出了高效的李群稀疏预条件器拟合方法。
2025-11-30 cs.LG math.OC stat.ML
Hessians in Birkhoff-Theoretic Trajectory Optimization
Naval Postgraduate School(海军学院)
本文推导了伯克霍夫理论轨迹优化相关的海森矩阵,证明其离散化最优控制问题约80%特征值位于[-2,4]区间,分析了计算复杂度并讨论了百万点轨迹优化的挑战。
2025-11-17 cs.MS cs.NA cs.RO
Achieving ${O}(ε^{-1.5})$ Complexity in Hessian/Jacobian-free Stochastic Bilevel Optimization
University at Buffalo(布法罗大学)
本文提出无 Hessian/Jacobian 的双层优化器 FdeHBO,通过单循环结构、有限差分近似和动量更新,首次在非凸-强凸随机双层优化中实现 ${O}(ε^{-1.5})$ 样本复杂度。
2025-04-06 cs.LG math.OC stat.ML
Stochastic Second-order Methods for Non-convex Optimization with Inexact Hessian and Gradient
The University of Sydney(悉尼大学);University of California, Davis(加州大学戴维斯分校)
置信域和三次正则化方法在小规模非凸优化中表现出良好的性能,显示出逃离鞍点的能力。这些方法的每次迭代都涉及梯度、Hessian和函数值的计算,以获得搜索方向并调整半径或三次正则化参数。然而,在训练深度网络等大规模问题中,精确计算这些量过于昂贵。本文研究了一类随机置信域和三次正则化方法在梯度、Hessian和函数值计算不精确的情况下,证明了实现$ε$ -近似二阶最优性的迭代复杂度与以前的工作在梯度和函数值计算精确的情况下是相同量级的.有限和极小化问题中不精确性的温和条件可以通过随机抽样得到。我们表明,与以前的二阶方法相比,该算法在训练卷积神经网络方面表现良好。
2018-09-26 cs.LG math.OC stat.ML
Generalized Quadratic Gradient: A New Direction in Optimization via the Fusion of Positive-Definite Curvature Matrices and Gradients into A Unified Framework
本文提出广义二次梯度(GQG)这一统一框架,将二次梯度原理扩展至更广泛牛顿型优化算法,突破了现有二次梯度方法对特定海森近似的限制,为感知曲率的优化算法开发提供了更广泛基础。
2026-08-04 cs.LG math.OC
Second-order Optimization under Heavy-Tailed Noise: Hessian Clipping and Sample Complexity Limits
KAUST Center of Excellence for Generative AI(知识增强人工智能卓越中心);ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心);Georgia Institute of Technology(佐治亚理工学院)
本文首次研究重尾噪声下的二阶优化,建立样本复杂度紧下界,提出基于梯度和Hessian Clipping的算法,证明其高概率上界几乎匹配理论极限,为算法设计提供鲁棒策略。
2025-10-12 cs.LG math.OC
Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian
Linköping University(林雪平大学);University of Maryland(马里兰大学);University of Minnesota(明尼苏达大学)
针对具有Hölder连续Hessian的非凸无约束优化问题,提出已知参数的Newton-CG方法和无需参数先验的无参数Newton-CG方法,后者为首个实现最优迭代与运算复杂度的无参数二阶方法,且数值结果显示其性能更优。
2025-04-14 cs.LG math.OC
HesScale: Scalable Computation of Hessian Diagonals
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Alberta(阿尔伯塔大学)
二阶优化使用目标函数的曲率信息,这有助于更快地收敛。然而,这样的方法通常需要昂贵的海森矩阵计算,阻止它们以可扩展的方式使用。由于缺乏有效的计算方法,最广泛使用的方法集中在不捕获曲率信息的一阶近似上。在本文中,我们开发了HesScale,一种可扩展的方法来近似Hessian矩阵的对角线,以计算高效的方式将二阶信息。我们表明,HesScale具有相同的计算复杂性的反向传播。我们在监督分类上的结果表明,HesScale实现了高近似精度,允许可扩展和高效的二阶优化。
2022-11-02 cs.LG math.OC
Efficient Hessian-Free Methods for Multi-Objective Bilevel Optimization with a Nonconvex Lower-Level Objective
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
本文针对下层非凸的多目标双层优化问题,提出MOMEHA及MB-MOMEHA算法,通过Moreau包络转化问题并结合平滑加权Tchebycheff标量化,在少样本元学习等任务上优于现有方法。
2026-11-19 cs.LG math.OC
Distributed Hessian-Free Optimization for Deep Neural Network
Lehigh University(理海大学);Intel Labs(英特尔实验室)
训练深度神经网络是一个高维、高度非凸的优化问题。随机梯度下降(SGD)算法及其变体是当前最先进的解决方案。然而,由于问题的非凸性性质,观察到SGD在鞍点附近减慢。最近的实证研究表明,通过有效地检测和逃逸鞍点,更有可能提高训练性能。为此,我们重新审视了深度网络的无海森优化方法。我们还开发了它的分布式变体,并展示了SGD的卓越扩展潜力,它允许更有效地利用更大的计算资源,从而实现大型模型和更快的时间来获得所需的解决方案。此外,不同于截断牛顿法(Marten的HF),忽略负曲率信息,通过使用朴素的共轭梯度法和高斯-牛顿海森近似信息-我们提出了一种新的算法来探索负曲率方向,通过稳定的双共轭方法解决的子问题,涉及可能的不确定的随机海森信息。我们表明,这些技术加快了标准MNIST数据集和TIMIT语音识别问题的训练过程,表现出强大的性能,批量大小高达一个数量级。对于一个简单的4层网络,最多可在16个CPU节点上实现接近线性的加速,说明了这种增加的扩展潜力。
2017-01-15 cs.DC cs.LG math.OC
Adaptive Newton Sketch: Linear-time Optimization with Quadratic Convergence and Effective Hessian Dimensionality
Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系)
对于具有自协调、复合、强凸目标函数的凸优化问题,提出了一个具有平方收敛速率的随机算法。我们的方法是基于执行一个近似的牛顿步骤,使用一个随机投影的Hessian。我们的第一个贡献是表明,在每次迭代中,嵌入维数(或草图大小)可以小到黑塞矩阵的有效维数。利用这一新的基本结果,我们设计了一个算法的草图大小成比例的有效尺寸,并表现出二次收敛速率。这一结果大大改善了经典的线性平方收敛速率的国家的最先进的子采样牛顿方法。然而,在大多数实际情况下,事先并不知道有效尺寸,这就产生了一个问题,即如何在保持平方收敛速率的同时选取与有效尺寸一样小的草图尺寸。因此,我们的第二个和主要的贡献是提出一个自适应草图尺寸算法与平方收敛速率,不需要先验知识或估计的有效尺寸:在每次迭代中,它开始与一个小的草图尺寸,并增加它,直到二次进度实现。重要的是,我们表明,嵌入维数保持成比例的有效尺寸在整个路径,我们的方法实现了最先进的计算复杂性解决凸优化方案的强凸组件。
2021-05-15 cs.LG math.OC