A Convex Maximization Problem: Discrete Case
研究了n维空间中的一个特殊的凸极大化问题。证明了约束解是多面体可行域的一个顶点，但只知道局部极大值的部分证明。由于问题的数论起源，在分析中出现了具有有趣模式的随机序列。
1999-12-05 math.OC
Heavy-ball dynamics with Hessian-driven damping for non-convex optimization under the Łojasiewicz condition
本文针对满足Łojasiewicz条件的光滑非凸优化问题，研究带Hessian驱动阻尼的Heavy-ball动力学，给出最优收敛速率保证，改进现有线性速率，补充稳定性估计与鞍点规避结果。
2025-06-13 math.OC
Inertial Primal-Dual Dynamics Methods Featuring Implicit Hessian-Driven Damping for Convex Optimization Problems in Continuous and Discrete Time
Chongqing Technology and Business University（重庆工商大学）；Sichuan University（四川大学）；Sunway University（双威大学）
本文针对带线性等式约束的强凸优化问题，提出带隐式海森驱动阻尼的惯性原始-对偶动力学，推导对应的离散算法，证明其收敛速率与连续系统一致，还扩展到非光滑情形并通过数值实验验证。
2026-09-01 math.OC
Inertial Primal Dual Dynamics with Hessian-driven Damping for Saddle Point Problems
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所）
该研究针对带双线性耦合的光滑鞍点问题提出两种含Hessian驱动阻尼的惯性原始对偶动力系统，推导了不同凸性条件下的收敛速率，并将其应用于仿射约束凸优化以补充现有结果。
2026-07-31 math.OC
Primal-dual dynamics featuring Hessian-driven damping and variable mass for convex optimization problems
Chongqing Key Laboratory of Statistical Intelligent Computing and Monitoring, College of Mathematics and Statistics, Chongqing Technology and Business University（重庆工商大学数学与统计学院，统计智能计算与监测重庆市重点实验室）
本文提出一种新的Tikhonov正则化对偶动力系统，通过可变质量与Hessian驱动阻尼解决带线性等式约束的凸优化问题，通过Lyapunov分析证明轨迹强收敛于最优解并获得对偶间隙、目标残差和可行性违反的收敛速率。
2026-03-31 math.OC
Hessian barrier algorithms for non-convex conic optimization
我们考虑通过一类新的自适应一阶和二阶最优化方法在正则锥与仿射集的交点上最小化连续函数，该方法建立在[Bomze，Mertikopoulos，Schachinger和Staudigl，线性约束最优化问题的Hessian障碍算法，SIAM Journal on Optimization，2019]中引入的Hessian障碍技术的基础上。我们的方法是基于一个潜在的减少机制，并获得适当定义的类近似的一阶或二阶KKT点的最佳最坏情况下的迭代复杂度$O(\varepsilon^{-2})$（一阶）和$O(\varepsilon^{-3/2})$（二阶），分别。我们的方法的一个关键特征是使用自和谐的障碍函数，通过纪律分解方法，而不牺牲迭代的复杂性的方法，以构建严格可行的迭代。据我们所知，这项工作是第一次实现这些最坏情况下的复杂性界一般锥约束最优化问题在这种弱条件下。
2022-10-17 math.OC
Inertial Methods with Viscous and Hessian driven Damping for Non-Convex Optimization
本文研究非凸优化中同时引入粘性阻尼与Hessian驱动阻尼的二阶惯性动力学，给出显式和隐式两种设置下的收敛条件、收敛速率及离散算法，并首次处理目标函数仅局部Lipschitz光滑时的回溯策略收敛保证。
2025-06-05 math.OC
A Geometric Perspective on Polynomially Solvable Convex Maximization
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文从几何角度研究凸最大化问题在何种结构条件下可多项式求解，引入共单调性概念，建立其数学刻画，并提出统一的枚举框架，证明固定秩凸最大化问题可多项式求解，同时改进复杂度界。
2026-04-30 math.OC
Sum-Rate Maximization via Convex Optimization Using Subgradient Projections Onto Nonlinear Spectral Radius Constraint Sets
Nagaoka University of Technology（长冈技术科学大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希赫兹研究所）
本文提出了一种基于子梯度投影的凸优化方法，用于在非线性谱半径约束集上实现总速率最大化，适用于无细胞网络等实际场景。
2026-02-25 math.OC
On the effect of perturbations in first-order optimization methods with inertia and Hessian driven damping
具有粘性和Hessian驱动阻尼的二阶连续时间耗散动力系统启发了求解凸优化问题的有效一阶算法。在保持Nesterov型加速度的快速收敛特性的同时，Hessian驱动阻尼使得可以显着衰减振荡。为了研究这些算法的稳定性扰动，我们分析了相应的连续系统的行为时，梯度计算受到外源性的附加误差。我们提供了一个定量分析的渐近行为的两种类型的系统，那些隐式和显式海森驱动阻尼。我们考虑凸，强凸，和非光滑的目标函数定义在一个真正的希尔伯特空间，并表明，根据制定，不同的可积性条件的扰动足以保持系统的收敛速度。我们强调隐式和显式Hessian阻尼之间的差异，并特别指出，隐式情况下所需的目标和扰动的假设比显式情况下更严格。
2022-03-17 math.OC
A Regularized Hessian-Free Inexact Newton-Type Method with Global $\mathcal{O}(k^{-2})$ Convergence
Oregon State University（俄勒冈州立大学）；Catholic Pontifical University（天主教宗座大学）；Federal University of Delta do Parnaíba（帕纳伊巴三角洲联邦大学）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种正则化Hessian自由牛顿型方法，用于优化具有Lipschitz连续Hessian的光滑凸函数，通过有限差分构造近似Hessian并自适应选择正则化参数，实现全局$\mathcal{O}(k^{-2})$收敛，且在部分问题上计算效率更高。
2026-04-30 math.OC
Convexity Certificates from Hessians
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）；Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；Data Assessment Solutions GmbH（数据评估解决方案有限责任公司）
可微凸函数的Hessian是半正定的。因此，检查给定函数的Hessian是证明凸性的自然方法。然而，实现这种方法并不简单，因为它需要一个允许其分析的Hessian表示。在这里，我们为一类功能实现了这种方法，这些功能足够丰富，可以支持经典机器学习。对于这类函数，最近展示了如何计算其Hessians的计算图。我们将展示如何检查这些图的正半定性。我们比较我们的实施Hessian方法与成熟的纪律凸规划（DCP）的方法，并证明Hessian方法是至少一样强大的DCP方法的可微函数。此外，我们显示了一个国家的最先进的实施DCP的方法，可微函数，海森方法实际上是更强大的。也就是说，它可以证明更大类的可微函数的凸性。
2022-10-19 cs.LG cs.SC math.OC
Fast convex optimization via inertial dynamics with Hessian driven damping
首先研究了二阶发展方程$$\ddot{x}(t) + \fracα{t} \dot{x}(t) + β\nabla^2 Φ(x(t))\dot{x} (t) + \nabla Φ(x(t)) = 0,$$的轨道的快速极小化性质，其中$Φ:\mathcal H\to\mathbb R$是作用在实Hilbert空间$\mathcal H$上的光滑凸函数，$α$，$β$是正参数.该惯性系统结合了渐近消失的各向同性粘性阻尼和几何Hessian驱动阻尼，这使得它自然地与牛顿和Levenberg-Marquardt方法相关。对于$α\geq 3$、$β>0$，沿着任何轨迹，获得值$$Φ(x(t))- \min_{\mathcal H}Φ=\mathcal O\left(t^{-2}\right)$$的快速收敛，以及梯度$\nablaΦ(x(t))$到零的快速收敛。对于$α>3$，只要假设$Φ$有极小值，我们证明了任何轨迹都弱收敛到$Φ$和$ Φ(x(t))-\min_{\mathcal H}Φ= o(t^{-2})$的极小值。强收敛在各种实际情况下建立。对于强凸的情况下，收敛可以任意快，这取决于$α$的选择。更准确地说，我们有$Φ(x(t))- \min_{\mathcal H}Φ= \mathcal O(t^{-\frac{2}{3}α})$。我们将结果推广到一般的真下连续凸函数$Φ: \m…
2016-01-26 math.OC
Convex duality and Orlicz spaces in expected utility maximization
在本文中，我们报告了进一步的进展，走向一个完整的理论，国家独立的期望效用最大化与半鞅价格过程的任意效用函数。在没有任何技术假设的情况下，我们在共轭Orlicz空间上建立了一个令人惊讶的Fenchel对偶结果，为原始最优的性质提供了新的经济见解，并为Kramkov和Schachermayer（1999，2003）的经典论文提供了新的视角。分析指出了无套利条件和标准凸优化之间有趣的相互作用，并激发了对Orlicz驯服策略的资产定价基本定理（FTAP）的研究。
2019-11-27 math.OC
Advancing Multi-Secant Quasi-Newton Methods for General Convex Functions
本文针对一般凸函数提出对称化且经PSD扰动的多割线拟牛顿方法，证明其超线性收敛并展示数值优势，同时研究其有限内存BFGS扩展在凸与非凸问题上的加速收敛效果。
2025-04-09 math.OC
Accelerated gradient methods combining Tikhonov regularization with geometric damping driven by the Hessian
在希尔伯特设置，凸可微优化，我们考虑加速梯度动力学结合吉洪诺夫正则化与海森驱动阻尼。假设Tikhonov正则化参数随着时间趋于无穷大而趋于零，这保持了平衡。Tikhonov正则化项的存在诱导了一个强的凸性，渐近消失。为了利用指数收敛速度的重球方法在强凸的情况下，我们考虑惯性动力学的粘性阻尼系数取成正比的吉洪诺夫正则化参数的平方根，因此也收敛到零。此外，动态涉及由要最小化的函数的Hessian驱动的几何阻尼，这引起振荡的显著衰减。根据适当的调整的参数，基于李雅普诺夫分析，我们表明，在同一时间的轨迹有几个显着的属性：它们提供快速收敛的值，快速收敛的梯度向零，和强大的收敛到最小范数最小。这项研究扩展了作者以前的一篇论文，其中研究了类似的问题，但没有Hessian驱动阻尼的存在。
2022-03-31 math.OC
A Geometric Branch and Bound Method for a Class of Robust Maximization Problems of Convex Functions
研究了最大化凸函数的鲁棒最优化问题。对于有限不确定集，我们提出了一种几何分枝定界算法来解决这个问题。几何分支定界算法执行凸目标的连续分段线性逼近，并求解线性规划以确定由活动线性段指定的节点的下限和上界。证明了该算法有限收敛于一个$ε-$最优解。数值结果被用来讨论所开发的算法的性能。本文提出的算法可作为求解具有紧模糊集的鲁棒最优化问题的割面法的一个预言。
2019-11-20 math.OC
Finite convergence of the Moment-SOS hierarchy under hidden convexity
CNRS（法国国家科学研究中心）；Nanyang Technological University（南洋理工大学）；LAAS-CNRS（法国国家科学研究中心自动分析与控制研究所）；Toulouse School of Economics (TSE)（图卢兹经济学院）；University of Toulouse（图卢兹大学）
本文研究了在隐含凸性下，矩-SOS层次在有限步内收敛的条件，并提供了精确阶的计算方法，证明了该层次能适应特定实例的隐含凸性特性。
2026-08-06 math.OC
Strongly Convex Maximization via the Frank-Wolfe Algorithm with the Kurdyka-Łojasiewicz Inequality
本文研究了紧集上凸最大化问题中单位步长贪婪 Frank-Wolfe 算法的收敛性，结合平滑性、强凸性和 KL 性质推导出全局渐近收敛及几何收敛速率，并应用于稀疏主成分分析、压缩感知和 Max-Cut 问题。
2025-04-30 math.OC
Spectral Preconditioning for Gradient Methods on Graded Non-convex Functions
本文提出分级非凸性概念，并设计谱预处理梯度方法，利用Hessian顶部特征向量加速收敛，在特征值差距大时显著优于基本梯度下降，并经实验验证。
2024-02-07 math.OC
Newton-Type Methods for Non-Convex Optimization Under Inexact Hessian Information
Stanford University（斯坦福大学）；University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
我们考虑非凸优化的信赖域和三次正则化方法的变体，其中黑塞矩阵是近似的。在不精确Hessian的适当条件下，利用相应子问题的近似解，我们给出了迭代复杂度以获得$ ε$ -近似二阶最优性，并证明了该最优性是紧的.我们的海森近似条件构成了一个主要的放松在文献中现有的。因此，我们能够表明，这种温和的条件允许通过各种随机抽样方法的近似海森的建设。在此基础上，我们考虑了有限和极小化的典型问题，提供了适当的均匀和非均匀子采样策略来构造这样的Hessian近似，并获得了相应的子采样信赖域和三次正则化方法的最佳迭代复杂度。
2019-05-14 cs.CC cs.LG math.OC
Convergence Analysis of Hessian-Damped Tikhonov Regularized Dynamics with Oscillation Control for Convex-Concave Bilinear Saddle Point Problems
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）
本文提出一种通用的二阶原始对偶动力系统，结合Tikhonov正则化和Hessian驱动阻尼，用于求解凸凹双线性鞍点问题。通过构造Lyapunov函数分析了系统的渐近收敛性，证明了轨迹强收敛于最小范数解，并抑制了振荡。
2026-05-12 math.DS math.OC
A speed restart scheme for a dynamics with Hessian driven damping
本文分析了由$$ \ddot{x}(t) + \dfracα{t}\dot{x}(t) + \nabla ϕ(x(t)) + β\nabla^2 ϕ(x(t))\dot{x}(t)=0, $$给出的动力系统的一种快速再启动方案，其中$α$和$β$是正参数，$ϕ:\mathbb{R}^n \to \mathbb{R}$是光滑凸函数.如果$ϕ$有二次增长，我们建立一个线性收敛速率的函数值沿重新启动的轨迹。作为一个副产品，我们改进了苏，博伊德和坎迪斯\cite{JMLR:v17:15-084}，在强凸的情况下获得的结果$α=3$和$β=0$。初步的数值实验表明，无论是增加一个积极的海森驱动的阻尼参数$β$，并实施重新启动计划有助于提高性能的动力学和相应的迭代算法作为手段，以近似$ϕ$的最小值。
2023-01-28 math.OC
First-order optimization algorithms via inertial systems with Hessian driven damping
在希尔伯特空间中，对于凸优化，分析了一类具有惯性特征的一阶算法的收敛速度.它们可以被解释为离散时间版本的惯性动力学，包括粘性和海森驱动的阻尼。由Hessian驱动的几何阻尼以$\nabla^2 f (x(t)) \dot{x} (t)$的形式干预动力学。通过将该项视为$ \nabla f (x (t)) $的时间导数，这给出了时间和空间上的离散形式的一阶算法。除了附加到Nesterov型加速梯度法的收敛特性之外，由此获得的算法是新的，并且显示出向梯度的零的快速收敛。在Moreau包络正则化技术的基础上，我们将这些方法推广到具有扩展实值的非光滑凸函数。时间尺度因子的引入使得进一步加速这些算法成为可能。我们还报告了结构化问题的数值结果，以支持我们的理论研究结果。
2020-11-06 math.OC
A Speed Restart Scheme for a Dynamical System with Hessian-Driven Damping and Three Constant Coefficients
该研究针对带Hessian驱动阻尼的惯性系统提出速度重启方案，在无目标函数强凸假设下证明函数值线性收敛率，实验验证其在连续动力学和惯性算法中均能提升收敛速度。
2024-12-09 math.OC
A Unified Scheme to Accelerate Adaptive Cubic Regularization and Gradient Methods for Convex Optimization
在本文中，我们提出了一个统一的两阶段计划的凸优化加速：（1）自适应三次正则化方法与精确/不精确黑塞矩阵，（2）自适应梯度方法，没有任何知识的Lipschitz常数的梯度或海塞矩阵。这是通过在其进展过程中调整算法$\textit{adaptively}$中使用的参数来实现的，这可以被视为对文献中现有算法的放松。在子问题可近似求解的假设下，我们建立了三个新算法的总体迭代复杂度界，以获得$ε$ -近似解.具体来说，我们证明了具有精确/不精确Hessian矩阵的自适应三次正则化方法都实现了$O\left( 1 / ε^{1/3} \right)$量级的迭代复杂度，这与[Nesterov-2008-Accelerating]中提出的原始加速三次正则化方法的迭代复杂度相匹配，假设精确Hessian信息和Lipschitz常数的可用性，并且子问题被求解为最优。在相同的两阶段自适应加速框架下，梯度方法实现了$O\left( 1 / ε^{1/2} \right)$量级的迭代复杂度，这是已知的最佳可能的（参见图1）。Nesterov-2013-Introductory）。我们的数值实验结果表明，在一组正则化的逻辑斯谛回归的情况下，三次正则化的自适应牛顿方法显示出明显的加速效果。
2017-12-27 math.OC
The Effect of Hessian Evaluations in the Global Optimization αBB Method
我们考虑全局优化αBB方法及其变体中使用的凸低估器。该方法的基础是通过增加原来的非凸函数的松弛项，这是从一个区间外壳的黑塞矩阵。本文讨论了黑塞矩阵的符号计算的优点。符号计算通常允许简化结果表达式，这反过来意味着保守性更低的低估。我们的例子表明，即使是一个小的操作与符号表达式，它可以被计算机自动处理，可以有很大的影响低估的质量。
2013-07-10 math.OC
The long time behavior and the rate of convergence of symplectic convex algorithms obtained via splitting discretizations of inertial damping systems
在本文中，我们提出了新的数值算法在设置无约束最优化问题，我们研究的收敛速率在迭代的目标函数。此外，我们的算法是基于分裂和辛方法，它们保持了固有的连续动力系统，其中包含一个Hessian扰动的能量属性。同时，我们证明了Nesterov梯度法等价于应用于Hessian驱动阻尼系统的Lie-Trotter分裂。最后，为了验证理论结果，给出了一些数值实验。
2020-02-09 math.OC
From generalized arithmetic means to geodesics to Hamilton dynamics to Bregman divergences
在这里，我们将研究广义算术平均，测地线，拉格朗日-汉密尔顿动力学和布雷格曼分歧的概念之间的一些联系。在以前的论文中，我们开发了一个预测解释广义算术平均。这项工作更倾向于概率论。在这里，我们采取几何转向，并看到广义算术平均实际上最小化$\mathbb{R}^n.$上的测地线距离。这种度量可能是由$\mathbb{R}^n.$中的欧几里德度量的拉回引起的。我们还将看到，在某些情况下，这些拉回可能与凸函数的Hessian重合。当凸函数的Hessian有一个平方根，它是$\mathbb{R}^n.$中一个凸同态的Jacobian时，就会出现这种情况。在这种情况下，我们得到了由凸函数定义的Bregman发散和由其Hessian定义的度量中的测地线距离之间的比较。
2020-07-29 math.OC
Stability results for regularized least-squares problems via generalized Hessian expressions and monotone generalized equations
McGill University（麦吉尔大学）；Oakland University（奥克兰大学）
通过广义Hessian核刻画和单调算子隐函数定理，建立了凸正则化最小二乘问题解映射的Lipschitz连续性、方向可微性和半光滑性条件，并推广到加权多面体支撑函数和分段线性二次罚函数等广泛模型。
2026-05-30 math.OC
Local Nonconvexity Indices for \(C^{1,1}\) Functions via Generalized Hessians
本文提出基于广义Hessian集的局部非凸性指数，用于量化$C^{1,1}$函数的非凸性，该指数在$C^2$函数退化为传统Hessian指数，并对非凸$C^{1,1}$函数为零，具有不变性和子可加性。
2026-05-08 math.CA math.OC
Stochastic Second-order Methods for Non-convex Optimization with Inexact Hessian and Gradient
The University of Sydney（悉尼大学）；University of California, Davis（加州大学戴维斯分校）
置信域和三次正则化方法在小规模非凸优化中表现出良好的性能，显示出逃离鞍点的能力。这些方法的每次迭代都涉及梯度、Hessian和函数值的计算，以获得搜索方向并调整半径或三次正则化参数。然而，在训练深度网络等大规模问题中，精确计算这些量过于昂贵。本文研究了一类随机置信域和三次正则化方法在梯度、Hessian和函数值计算不精确的情况下，证明了实现$ε$ -近似二阶最优性的迭代复杂度与以前的工作在梯度和函数值计算精确的情况下是相同量级的.有限和极小化问题中不精确性的温和条件可以通过随机抽样得到。我们表明，与以前的二阶方法相比，该算法在训练卷积神经网络方面表现良好。
2018-09-26 cs.LG math.OC stat.ML
Convergence analysis of stochastic gradient descent with adaptive preconditioning for non-convex and convex functions
本文针对现有带预处理的随机梯度算法缺乏预处理核心属性理论论证的问题，提出简洁理论框架，证明可优化光滑函数下收敛速率对梯度Lipschitz常数的依赖关系。
2023-08-27 math.OC
A Stochastic Trust Region Method for Non-convex Minimization
我们的目标是在非凸有限和极小化中寻找一个局部极小值。为了达到这个目标，我们首先证明了不精确梯度和Hessian估计的置信域方法可以达到$\mathcal{O}(1/{k^{2/3}})$阶的收敛速度，只要这些差分估计足够准确。结合这样的结果与一个新的Hessian估计，我们提出了样本有效的随机置信域（STR）算法，发现一个$(ε, \sqrtε)$ -近似局部极小值内$\mathcal{O}({\sqrt{n}}/{ε^{1.5}})$随机Hessian Oracle查询。这改善了$\mathcal{O}(n^{1/6})$的最新结果。实验验证了理论结论和STR的有效性。
2019-03-04 math.OC stat.ML
A second order dynamical system with Hessian-driven damping and penalty term associated to variational inequalities
在两个凸函数都是二次连续可微的假设下，我们考虑了一个凸目标函数的极小化问题，该问题服从另一个凸函数的极小值集。我们接近这个最优化问题从连续的角度来看，通过一个二阶动力系统与海森驱动的阻尼和惩罚项对应的约束函数。通过构造适当的能量泛函，证明了该微分方程生成的轨迹弱收敛于最优化问题的极小值，以及目标函数值沿轨迹的收敛性.所进行的调查依赖于结合连续版本的Opial引理的Lyapunov分析。在目标函数是强凸的情况下，我们甚至可以证明轨迹的强收敛性。
2016-08-14 math.DS math.OC
On the maximization of a class of functionals on convex regions, and the characterization of the farthest convex set
我们考虑一类泛函$J$在平面凸集$K$上被极大化，对于这些凸集，周长和Steiner点是固定的。假设$J$是一个二次表达式在支撑函数$h$的积分，我们证明了最大化总是一个三角形或一个线段（可以被认为是一个折叠的三角形）。在主要定理的具体后果是这样一个事实，即任何凸体$K_1$的有限周长，集类中，我们认为是最远的意义上的$L^2$距离始终是一个线段。我们还证明了Hausdorff距离的相同性质。
2009-05-10 math.FA math.OC
Convex Integer Maximization via Graver Bases
我们提出了一种新的代数算法方案来解决以下形式的{ \em凸整数最大化}问题，其中$c$是$R^d$上的凸函数，$w_1x,...,w_dx$是$R^n$、$$\max \{c(w_1 x,...,w_d x): Ax=b, x\in N^n\} .$$上的线性形式该方法适用于任意输入数据$A,b,d,w_1,...,w_d,c$。此外，对于固定的$d$和{ \em变维}中的几类重要程序，我们证明了我们的算法在{ \em多项式时间}内运行.因此，我们得到了各种类型的多路运输问题，包装问题，和分区问题的变维的多项式时间算法。
2008-02-19 math.CO math.OC
Second-order optimization with lazy Hessians
EPFL（洛桑联邦理工学院）
该研究提出带惰性Hessian更新的牛顿法，通过复用Hessian、每步更新梯度降低二阶优化复杂度，证明了非凸下的快速全局收敛与凸问题的超线性收敛，将总算术复杂度提升√d倍。
2023-06-15 cs.LG math.OC
Projected Subgradient Ascent for Convex Maximization
Brown University（布朗大学）
本文提出了一种投影子梯度上升方法用于解决凸最大化问题，证明其在特定条件下收敛于一阶 stationary 点。
2026-02-20 cs.NA math.NA math.OC
Balancing Gradient and Hessian Queries in Non-Convex Optimization
本文提出非凸优化新方法，平衡梯度与Hessian查询次数，在Lipschitz Hessian条件下实现改进的梯度查询复杂度，并推广至近似Hessian情形。
2025-10-23 cs.DS math.OC
Extremum Seeking is Stable for Scalar Maps that are Strictly but Not Strongly Convex
本文研究了 Newton-based extremum seeking control (NESC) 在严格凸但非强凸标量映射上的稳定性，证明基于扰动的 NESC 通过保持平均 Hessian 估计为正，避免了 Hessian 不可逆问题，在半全局范围内保证了实际渐近稳定性。
2024-11-15 cs.SY eess.SY math.OC
Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；New York University（纽约大学）；Princeton University（普林斯顿大学）
本文针对随机零阶反馈下的强凸且二阶光滑函数优化问题，首次建立了极小极大简单遗憾的紧致上下界，并提出一种结合引导阶段与镜像下降阶段的算法，通过精确刻画球面采样梯度估计器实现最优偏差-方差权衡。
2024-06-28 cs.IT cs.LG math.IT
Solving convex optimization problems via a second order dynamical system with implicit Hessian damping and Tikhonov regularization
本文研究带有 Tikhonov 正则化项和隐式 Hessian 阻尼的二阶动力系统，用于凸 Fréchet 可微函数的最小化问题，通过显式离散化获得梯度型惯性算法，并证明了轨迹对全局最小值及极小值点的弱或强收敛性。
2024-01-05 math.DS math.OC
Gradient-Normalized Smoothness for Optimization with Approximate Hessians
EPFL（洛桑联邦理工学院）
本研究提出梯度归一化平滑性新概念，构建结合近似二阶信息与梯度正则化的优化算法，为近似二阶算法提供通用全局收敛保证，适用于多类函数及逻辑回归、非凸优化等场景。
2025-06-16 cs.LG math.OC
Bridging the Gap Between General and Down-Closed Convex Sets in Submodular Maximization
University of Haifa（海法大学）；DataHeroes
本文针对一般凸集约束下非单调DR-子模函数最大化问题，提出基于将凸体分解为下闭凸体与一般凸体的新型离线与在线算法，实现了下闭与非下闭约束之间的可证明平滑插值，并在多个应用中验证了其优越性。
2024-01-17 cs.LG math.OC
Adaptive Newton Sketch: Linear-time Optimization with Quadratic Convergence and Effective Hessian Dimensionality
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
对于具有自协调、复合、强凸目标函数的凸优化问题，提出了一个具有平方收敛速率的随机算法。我们的方法是基于执行一个近似的牛顿步骤，使用一个随机投影的Hessian。我们的第一个贡献是表明，在每次迭代中，嵌入维数（或草图大小）可以小到黑塞矩阵的有效维数。利用这一新的基本结果，我们设计了一个算法的草图大小成比例的有效尺寸，并表现出二次收敛速率。这一结果大大改善了经典的线性平方收敛速率的国家的最先进的子采样牛顿方法。然而，在大多数实际情况下，事先并不知道有效尺寸，这就产生了一个问题，即如何在保持平方收敛速率的同时选取与有效尺寸一样小的草图尺寸。因此，我们的第二个和主要的贡献是提出一个自适应草图尺寸算法与平方收敛速率，不需要先验知识或估计的有效尺寸：在每次迭代中，它开始与一个小的草图尺寸，并增加它，直到二次进度实现。重要的是，我们表明，嵌入维数保持成比例的有效尺寸在整个路径，我们的方法实现了最先进的计算复杂性解决凸优化方案的强凸组件。
2021-05-15 cs.LG math.OC
Online Submodular Maximization via Online Convex Optimization
Northeastern University（东北大学）；Boston University（波士顿大学）
研究一般拟阵约束下的单调次模最大化在线优化问题，通过证明加权阈值势函数可凹松弛，将其归约为在线凸优化（OCO），结合舍入方案实现次线性遗憾，并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Nys-Newton: Nyström-Approximated Curvature for Stochastic Optimization
RIKEN AIP（理化学研究所（RIKEN）计算科学中心（AIP））；Kyoto University（京都大学）
二阶最优化方法是用于凸优化问题的最广泛使用的优化方法之一，并且最近已被用于优化诸如深度学习模型的非凸优化问题。广泛使用的二阶最优化方法，如拟牛顿法，通常通过使用割线方程近似Hessian来提供曲率信息。然而，割线方程由于使用一阶导数而在近似牛顿步骤时变得乏味。在这项研究中，我们提出了一个近似牛顿草图为基础的随机最优化算法的大规模经验风险最小化。具体来说，我们计算一个部分列的海森大小（$d\times m$）与$m\ll d$随机选择的变量，然后使用\emph{Nyström method}更好地近似完整的海森矩阵。为了进一步降低每次迭代的计算复杂性，我们直接计算更新步长（$Δ\boldsymbol{w}$），而不计算和存储完整的Hessian或其逆。然后，我们将我们的近似海森与随机梯度下降和随机方差-约化梯度法。对凸函数和非凸函数的数值实验结果表明，该方法能够获得更好的牛顿\textquotesingle方法的逼近，表现出与现有的一阶拟牛顿方法和随机拟牛顿方法相当的性能.此外，我们提供了一个理论上的凸函数的收敛性分析。
2022-01-29 cs.LG math.OC stat.ML
Tikhonov regularization of a second order dynamical system with Hessian driven damping
在希尔伯特空间中，研究了具有Hessian驱动阻尼和Tikhonov正则化项的二阶动力系统在光滑凸函数极小化时所产生轨迹的渐近性质.我们得到快速收敛的结果沿轨迹的函数值。Tikhonov正则化项使得能够导出轨迹到最小范数的目标函数的最小值的强收敛结果。
2020-07-31 math.DS math.OC
On Noisy Negative Curvature Descent: Competing with Gradient Descent for Faster Non-convex Optimization
Hessian向量积已被用于找到具有强复杂性保证的二阶稳态解（例如，在问题的维度上几乎是线性的时间复杂度）。在本文中，我们提出了进一步减少的海森向量积的数量更快的非凸优化。先前的算法需要以足够的精度近似最小的特征值（例如，$ε_2\ll 1$）以获得足够精确的二阶稳态解（即，$λ_{\min}(\nabla^2 f(\x))\geq -ε_2)$。相比之下，所提出的算法只需要计算最小的特征向量近似相应的特征值的电流梯度的范数的一个小的权力。因此，它可以在达到一阶稳定点之前的优化过程中显著减少海森向量乘积的数量（例如，鞍点）。所提出的算法的关键构建块是一个新的更新步骤命名为NCG步骤，它让一个嘈杂的负曲率下降与梯度下降竞争。我们表明，最坏情况下的时间复杂度的算法，其有利的规定的精度要求可以匹配最好的文献中实现二阶稳定点，但可以说是较小的每次迭代的成本。我们还表明，所提出的算法可以受益于不精确的Hessian通过发展他们的变种接受不精确的Hessian在温和的条件下实现相同的目标。此外，我们还发展了一个求解有限和或无限和非凸优化问题的随机算法。据我们所知，建议的随机算法是第一个收敛到二阶平稳点在{ \it高概率}的时间复杂度独立的样本量和几乎线性的维度。
2017-10-01 math.OC stat.ML
On utility maximization under convex portfolio constraints
本文考虑了一般半鞅金融模型中的效用最大化问题，该模型中每个风险资产的持股数都受到约束。这些约束由可预测的凸集值过程建模，其值不一定包含原点;也就是说，投资者可能不允许持有任何风险投资。这样的设置包含了经典的约束效用最大化问题，以及非流动资产或随机禀赋存在的问题。我们的主要结果建立了最佳交易策略在这样的模型的效用函数的光滑性要求下的存在性。结果还表明，达到，对偶优化问题可以构成一组可数可加概率测度，从而避免了通常的有限可加扩大的需要。
2013-02-22 math.OC math.PR q-fin.PM
Fast Unconstrained Optimization via Hessian Averaging and Adaptive Gradient Sampling Methods
针对现有子采样牛顿法需精确梯度与强凸性限制，提出带自适应梯度采样的海森平均方法，推导多场景收敛速率，提出Dan方法并验证其在CIFAR100分类等任务的SOTA性能。
2024-08-14 cs.NA math.NA math.OC
Hessian barrier algorithms for linearly constrained optimization problems
Universität Wien（维也纳大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；Maastricht University（马斯特里赫特大学）
本文提出Hessian障碍算法（HBA），结合Hessian黎曼梯度流前向欧拉离散化与Armijo回溯步长策略，证明其收敛性及收敛率，并通过数值实验验证。
2019-05-08 cs.LG math.OC
Global linear convergence of Newton's method without strong-convexity or Lipschitz gradients
EPFL（洛桑联邦理工学院）
我们表明，牛顿的方法全局收敛的目标函数的Hessian是稳定的线性速率。这类问题包括许多不是强凸的函数，例如逻辑回归。我们的线性收敛结果是（i）仿射不变的，并且即使（ii）使用近似Hessian，并且如果子问题（iii）仅近似求解，也保持不变。因此，我们从理论上证明了牛顿的方法优于一阶方法，这将只实现一个次线性$O(1/t^2)$率在类似的条件下。
2018-06-01 cs.LG math.OC stat.ML
