Complexity analysis of interior-point methods for second-order stationary points of nonlinear semidefinite optimization problems
针对现有非线性半定优化算法仅保证一阶平稳且无迭代复杂度的问题,提出带负曲率方向的原对偶内点法,可收敛到二阶平稳点并具备最坏情况迭代复杂度,实验验证了方法有效性。
2023-06-16 math.OC
Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions
Massachusetts Institute of Technology(麻省理工学院)
我们提供了第一个非渐近分析,寻找非光滑,非凸函数的稳定点。特别是,我们研究类阿达玛半可微函数,也许是最大的一类非光滑函数的链式法则的微积分举行。此类包含ReLU神经网络和其他具有不可微激活函数的示例。我们首先表明,找到一个$ε$ -平稳点的一阶方法是不可能的,在有限的时间。然后,我们引入了$(δ, ε)$ -平稳性的概念,它允许一个$ε$ -近似梯度是在距离$δ$的解决方案内的点处评估的广义梯度的凸组合。我们提出了一系列的随机一阶方法,并分析了它们的复杂性找到一个$(δ, ε)$ -平稳点。此外,我们提供了一个下界,并表明我们的随机算法具有最小-最大最优依赖于$δ$。从经验上讲,我们的方法在训练ReLU神经网络方面表现良好。
2020-06-29 cs.LG math.OC
On the Complexity of Finding Stationary Points of p-th Order Hölder Smooth Functions in One Dimension
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
该研究分析一维p阶Hölder光滑非凸函数平稳点的查询复杂度,明确不同类型预言机下确定性与随机算法的最优复杂度,指出随机性、函数值的作用及高阶导数的无效性,推导相关算法的最优精度指数。
2026-10-14 math.OC
Complexity and numerical experiments of a new adaptive generic proximal bundle method
School of Applied Mathematics, FGV(应用数学学院,FGV);Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种适应性通用近端束方法,分析了其复杂性,并在一组优化问题上与两种束方法进行了数值比较。
2026-05-19 math.OC
A Newton-CG based barrier method for finding a second-order stationary point of nonconvex conic optimization with complexity guarantees
University of Minnesota(明尼苏达大学)
本文研究了非凸锥优化问题的近似二阶稳定点(SOSP),该稳定点使仿射子空间与凸锥交点上的二次可微函数最小.特别是,我们提出了一个牛顿共轭梯度(Newton-CG)为基础的障碍方法找到一个$(ε,\sqrtε)$ -SOSP的这个问题。我们的方法不仅是可实现的,而且还实现了${\cal O}(ε^{-3/2})$的迭代复杂度,这匹配的最佳已知的迭代复杂度的二阶方法找到一个$(ε,\sqrtε)$ -SOSP的无约束非凸优化。由${\cal O}(ε^{-3/2})$ Cholesky分解和$\widetilde{\cal O}(ε^{-3/2}\min\{n,ε^{-1/4}\})$其他基本运算组成的运算复杂度也为我们的方法建立。
2022-10-11 cs.LG cs.NA math.NA
Appropriate Learning Rates of Adaptive Learning Rate Optimization Algorithms for Training Deep Neural Networks
本文研究了深度学习中的非凸随机最优化问题,并提供了适当的学习率,自适应学习率优化算法(如Adam和AMSGrad)可以近似问题的稳定点。特别地,提供恒定和递减的学习速率来近似问题的静止点。我们的结果也保证了自适应学习率优化算法可以逼近凸随机最优化问题的全局极小值。在文本和图像分类的数值实验中,自适应学习率优化算法进行了检查。实验结果表明,学习率恒定的算法比学习率递减的算法性能更好。
2020-11-22 math.OC
The Computational Complexity of Finding Stationary Points in Non-Convex Optimization
University of Oxford(牛津大学);Yale University(耶鲁大学)
该研究刻画了无约束与约束非凸优化中近似平稳点、KKT点求解的计算与查询复杂度,证明二维相关问题的查询复杂度上下界,明确两类问题的归约关系。
2024-09-11 cs.CC cs.LG math.OC
The Complexity of Finding Stationary Points with Stochastic Gradient Descent
Google Research(谷歌研究院);Weizmann Institute of Science(魏茨曼科学研究所)
本文研究了随机梯度下降(SGD)最小化光滑的、可能非凸函数的梯度范数的迭代复杂性。我们提供了几个结果,这意味着$\mathcal{O}(ε^{-4})$上限的Ghadimi和Lan~ \cite{ghadimi2013stochastic}(使平均梯度范数小于$ε$)不能得到改善,除非作出额外的假设的组合。值得注意的是,即使我们将自己限制为凸二次函数,这也成立。我们还表明,对于非凸函数,最小化梯度与SGD的可行性是令人惊讶的最优性准则的选择敏感。
2021-07-29 cs.LG math.OC stat.ML
The Complexity of Finding Stationary Points in Nonsmooth Nonconvex Optimization
本文证明非光滑非凸优化中一阶算法寻找 Goldstein 驻点及松弛驻点的紧下界,揭示收敛速率不受梯度随机性影响。
2026-09-17 math.OC
On the complexity of proximal gradient and proximal gradient-Newton-CG methods for $\ell_1$-regularized Optimization
School of Mathematical Sciences, Jiangsu University(江苏大学数学科学学院)
提出两种基于不同近似二阶稳定点定义的二阶方法,用于求解\(\ell_1\)正则化复合优化问题,并分析其迭代复杂度、操作复杂度及局部超线性收敛率,数值实验验证了有效性。
2026-09-10 math.OC
On the Complexity of Instationary Gas Flows
我们研究了一个简单的模型,由一系列的k个固定的气体流动的非定常气体流动。我们提出了有效的可解的情况下,NP-硬度的结果,建立稳定和不稳定的气体流动之间的复杂性差距(已经为k=2),以及不稳定的气体s-t-流量和不稳定的气体b-流量。
2017-08-29 cs.DM math.OC
Complexity-optimal and parameter-free first-order methods for finding stationary points of composite optimization problems
本文提出一种无参数的加速近端下降法,用于求解非凸复合优化问题的稳定点,无需已知 Lipschitz 常数或全局拓扑性质,在凸与非凸情形下均达到对数因子意义下的最优迭代复杂度,并通过数值实验验证其实际有效性。
2024-06-28 cs.CC cs.NA math.NA
Optimized Loudspeaker Panning for Adaptive Sound-Field Correction and Non-stationary Listening Areas
针对非标准扬声器布局与非平稳听音区域导致的声场重放误差问题,提出贝叶斯归一化与频域约束下的声像平移优化方法,构建虚拟标准布局扬声器以提升多声道重放质量,并验证了方法鲁棒性。
2025-10-27 cs.SD eess.AS eess.SP
Bayesian Mechanics for Stationary Processes
本文发展了一种适应系统的贝叶斯机制。首先,我们用马尔可夫毯对系统与环境之间的界面进行建模。这提供了在毯内部的状态编码关于外部状态的信息的条件。其次,我们引入动态和代表适应系统在稳态马尔可夫毯。这使我们能够识别出一类广泛的系统,其内部状态似乎可以推断外部状态,这与贝叶斯统计和理论神经科学中的变分推理一致。最后,我们将毯子划分为感觉状态和活动状态。因此,主动状态可以被视为执行主动推理和众所周知的随机控制形式(如PID控制),这是理论生物学和工程学中自适应行为的重要公式。
2021-10-26 math-ph math.MP math.OC
A Line-Search Algorithm Inspired by the Adaptive Cubic Regularization Framework and Complexity Analysis
自适应正则化框架使用立方已经成为一种替代线搜索和信赖域算法的光滑非凸优化,具有最佳的复杂性之间的二阶方法。在本文中,我们提出并分析了使用迭代相关的缩放范数的自适应正则化框架,使用立方。在这样的缩放范数内,所获得的方法表现为沿着拟牛顿方向的线搜索算法,并具有特殊的回溯策略。在适当的假设下,新算法具有与基于三次函数的自适应正则化算法相同的收敛性和复杂性。该算法的二阶版本可以提高找到一个近似的一阶稳定点的复杂性是最佳的。以类似的方式,使用相同的缩放范数来定义信赖域邻域,我们证明了信赖域算法的行为是一个线搜索算法。在一组大规模最优化问题上显示了所得到算法的良好潜力。
2018-05-29 math.OC
The Complexity of Making the Gradient Small in Stochastic Convex Optimization
MIT(麻省理工学院);Cornell University(康奈尔大学);Weizmann Institute(魏茨曼科学研究所);TTI Chicago(芝加哥技术创新研究所(TTI Chicago))
本文给出了随机凸优化问题中寻找$ε$-平稳点($\| \nabla F(x) \| \leqε$)的预言复杂性的近似匹配上、下界。我们共同分析了本地随机预言机模型和全局预言机(或统计学习)模型的预言机复杂性。这使我们能够将寻找近稳定点的复杂性分解为优化复杂性和样本复杂性,并揭示了随机优化与学习的复杂性之间的一些令人惊讶的差异。值得注意的是,我们表明,在全球预言机/统计学习模型中,只有对数依赖于光滑度需要找到一个近平稳点,而多项式依赖于光滑度是必要的,在当地的随机预言机模型。换句话说,这两个模型之间的复杂性分离可以是指数级的,并且民间认为找到稳定点需要平滑度的理解对于统计学习来说只是弱正确的。我们的上界是基于Allen-Zhu(2018)提出的最近的"递归正则化"技术的扩展。我们将展示如何扩展该技术以实现接近最优的速率,特别是展示如何利用全球Oracle模型中的额外信息。我们的算法的全球模型可以有效地实现通过有限和方法,并提出了一个有趣的新的计算统计权衡。
2019-02-14 cs.LG math.OC stat.ML
Matching Complexity for Second-Order Stationary Point with Sample Reuse
Peking University(北京大学)
该研究针对带可复用样本句柄的随机非凸优化,证明求二阶平稳点的极小极大导数查询复杂度为\\(\widetilde\Theta(\varepsilon^{-3}+\gamma^{-3})\\),并给出匹配该复杂度的上界与下界方法。
2026-10-20 math.OC
First- and Second-Order Stochastic Adaptive Regularization with Cubics: High Probability Iteration and Sample Complexity
本文为两种随机自适应三次正则化(SARC)算法(一阶和二阶)建立了高概率迭代与样本复杂度界,证明其在随机优化中优于其他自适应方法。
2025-04-21 math.OC
Lower Bounds for Finding Stationary Points I
我们证明了寻找$ε$ -平稳点(点$x$,使$\|\nabla f(x)\| \le ε$)的光滑,高维,和潜在的非凸函数$f$的复杂性的下界。我们考虑基于预言机的复杂性措施,其中一个算法被赋予访问的值和所有衍生物的$f$在一个查询点$x$。我们发现,对于任何(潜在的随机)算法$\mathsf{A}$,存在一个函数$f$与Lipschitz $p$阶导数,$\mathsf{A}$至少需要$ε^{-(p+1)/p}$查询找到一个$ε$ -平稳点。我们的下界是尖锐的常数内,他们表明,梯度下降,ESTA-正则化牛顿法,和广义$p$阶正则化是最坏情况下的最佳自然函数类。
2019-08-15 math.OC
A Newton-CG based augmented Lagrangian method for finding a second-order stationary point of nonconvex equality constrained optimization with complexity guarantees
University of Minnesota(明尼苏达大学);The Hong Kong Polytechnic University(香港理工大学)
本文考虑了在已知近似可行点的情况下,求非凸等式约束优化问题的二阶稳定点的问题。特别是,我们首先提出了一种新的Newton-CG方法来寻找无约束优化的近似SOSP,并表明它比Newton-CG方法具有更好的复杂性[56]。然后,我们提出了一个基于Newton-CG的增广拉格朗日(AL)方法找到一个近似的SOSP的非凸等式约束优化,其中建议的Newton-CG方法被用作子问题求解器。我们表明,在广义线性独立约束规格(GLICQ)下,我们的AL方法具有$\widetilde{\cal O}(ε^{-7/2})$的总内迭代复杂度和$\widetilde{\cal O}(ε^{-7/2}\min\{n,ε^{-3/4}\})$的操作复杂度,用于以高概率找到非凸等式约束优化的$(ε,\sqrtε)$ -SOSP,这明显优于近似AL方法[60]。此外,我们还证明了当GLICQ不成立时,它的总内迭代复杂度为$\widetilde{\cal O}(ε^{-11/2})$,运算复杂度为$\widetilde{\cal O}(ε^{-11/2}\min\{n,ε^{-5/4}\})$。据我们所知,本文所得到的所有复杂性结果是新的寻找一个近似SOSP的非凸等式约束优化的高概率。初步的数值结果也证明了我们提出的方法优于[56,60]中的方法。
2023-01-09 cs.LG cs.NA math.NA
On the Complexity of Finding Stationary Points in Stochastic $(L_0, L_1)$-Smooth Nonconvex Optimization
针对随机$(L_0, L_1)$-光滑非凸优化中平稳点求解的复杂性问题,研究了带有界方差噪声的随机一阶预言机复杂度,明确了相关参数的最优依赖关系,给出了下界并证明小批量平滑归一化随机梯度下降可达到匹配上界,确立了最优复杂度。
2026-11-17 math.OC
Escaping Saddle Points with Adaptive Gradient Methods
MIT EECS(麻省理工学院电子工程与计算机科学系);Google Research, New York(谷歌研究院纽约分部)
Adam和RMSProp等自适应方法广泛用于深度学习,但尚未得到很好的理解。在本文中,我们寻求一个清晰的,干净的和精确的表征他们的行为在非凸设置。为此,我们首先提供了一个新的自适应方法预处理SGD,其中预条件估计在线的方式。通过研究预处理器本身,我们阐明了它的目的:它重新调整随机梯度噪声在平稳点附近是各向同性的,这有助于逃离鞍点。此外,我们表明,自适应方法可以有效地估计上述预条件。通过粘合在一起,这两个组件,我们提供了第一(据我们所知)的二阶收敛结果的任何自适应方法。从我们的分析中得出的关键见解是,与SGD相比,自适应方法更快地逃离鞍点,并且可以更快地整体收敛到二阶稳定点。
2020-02-03 cs.LG math.OC stat.ML
(Adaptive) Scaled gradient methods beyond locally Holder smoothness: Lyapunov analysis, convergence rate and complexity
KU Leuven(荷语鲁汶大学);University of Antwerp(安特卫普大学)
本文针对梯度局部Hölder连续的光滑凸函数无约束最小化问题,分析SGA的收敛性与复杂度,提出可自动调参的自适应变体AdaSGA并证明其收敛性质。
2025-11-13 math.OC
A Stochastic Objective-Function-Free Adaptive Regularization Method with Optimal Complexity
Université de Toulouse, INP, IRIT(图卢兹大学,国立理工学院,IRIT);Mathematical Institute, University of Oxford(牛津大学数学研究所);NAXYS, University of Namur(南纳穆尔大学 NAXYS)
本文提出一种完全随机的二阶自适应正则化方法,无需计算目标函数值,却能以最优复杂度找到一阶临界点。
2025-01-21 math.OC
Minimization of Stochastic First-order Oracle Complexity of Adaptive Methods for Nonconvex Optimization
Meiji University(明治大学)
数值评估明确表明,对于深度学习优化器,如随机梯度下降、动量和自适应方法,批量大小每增加一倍,训练深度神经网络所需的步骤数就减半,并且在临界批量大小之外存在收益递减的区域。在本文中,我们确定实际的临界批量大小通过使用全局极小的随机一阶预言(SFO)的复杂性的优化。为了证明实际临界批量的存在性,我们设定了SFO复杂度的上、下界,并证明了在极小化上、下界的意义下存在临界批量.该证明意味着,如果SFO复杂性符合下限和上限,则这些临界批量的存在证明了实际临界批量的存在。我们还讨论了SFO复杂性所需的条件,以适应下限和上限,并提供支持我们的理论结果的数值结果。
2021-12-16 cs.LG math.OC
Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
本文提出一种基于临界批大小理论的自适应批大小与学习率联合调度策略,通过观测全梯度范数衰减调整参数,以最小化SFO复杂度并加速SGD收敛,实验验证其收敛速度优于现有调度器。
2025-08-07 cs.LG math.OC
Gradient play in stochastic games: stationary points, convergence, and sample complexity
Harvard School of Engineering and Applied Sciences(哈佛工程与应用科学学院)
本文研究随机博弈中梯度博弈的收敛与样本复杂度,证明Nash均衡等价于一阶驻点,并为Markov势博弈给出精确与基于样本算法的非渐近全局收敛保证。
2023-12-06 cs.GT cs.LG cs.MA