Minimization of Stochastic First-order Oracle Complexity of Adaptive Methods for Nonconvex Optimization
Meiji University（明治大学）
数值评估明确表明，对于深度学习优化器，如随机梯度下降、动量和自适应方法，批量大小每增加一倍，训练深度神经网络所需的步骤数就减半，并且在临界批量大小之外存在收益递减的区域。在本文中，我们确定实际的临界批量大小通过使用全局极小的随机一阶预言（SFO）的复杂性的优化。为了证明实际临界批量的存在性，我们设定了SFO复杂度的上、下界，并证明了在极小化上、下界的意义下存在临界批量.该证明意味着，如果SFO复杂性符合下限和上限，则这些临界批量的存在证明了实际临界批量的存在。我们还讨论了SFO复杂性所需的条件，以适应下限和上限，并提供支持我们的理论结果的数值结果。
2021-12-16 cs.LG math.OC
Momentum Schemes with Stochastic Variance Reduction for Nonconvex Composite Optimization
最近提出了两个新的随机方差缩减算法SARAH和SPIDER，SPIDER已被证明可以实现非凸优化的近似最优梯度预言复杂度。然而，SPIDER的理论优势并没有导致SVRG的实际性能的实质性改善。为了解决这个问题，动量技术可以是一个很好的候选人，以提高性能的SPIDER。然而，现有的动量方案中使用的方差减少算法是专为凸优化，并不适用于非凸的情况。在本文中，我们开发了新的动量计划与灵活的系数设置，以加速SPIDER的非凸和非光滑的复合优化，并表明，由此产生的算法实现了接近最优的梯度预言复杂性，实现了广义一阶平稳条件。此外，我们将我们的算法推广到在线非凸和非光滑最优化，并建立了一个预言的复杂性结果，匹配国家的最先进的。我们广泛的实验表明，我们提出的算法优于其他随机方差减少算法。
2019-05-15 cs.LG math.OC
Composite Online-to-Nonconvex Conversion with Optimal Oracle Complexity
The University of Tokyo（东京大学）；The University of Osaka（大阪大学）；RIKEN（理化学研究所）
针对随机非光滑非凸复合优化问题，扩展在线到非凸转换框架，提出新的在线学习器损失，得到的算法在一阶或零阶查询下达到最优神谕复杂度，且凸正则项未增加复杂度。
2026-10-09 cs.LG math.OC stat.ML
Complexity Lower Bounds for Nonconvex-Strongly-Concave Min-Max Optimization
Massachusetts Institute of Technology（麻省理工学院）
我们提供了一个一阶的甲骨文复杂性下界寻找最小最大最优化问题的平稳点，其中的目标函数是光滑的，非凸的最小化变量，和强凹的最大化变量。我们建立了确定性预言机的$Ω\left(\sqrtκε^{-2}\right)$的一个下界，其中$ε$定义了近似平稳的水平，$κ$是条件数.我们的分析表明，（Lin et al.，2020 b）在高达对数因子的$ε$和$κ$依赖性中是最佳的。对于随机预言机，我们给出了$Ω\left(\sqrtκε^{-2} + κ^{1/3}ε^{-4}\right)$的一个下界.这表明在（Lin等人，2020 a）和我们的下限在条件数依赖。
2021-04-18 cs.LG math.OC stat.ML
Near-Optimal Nonconvex-Strongly-Convex Bilevel Optimization with Fully First-Order Oracles
IIIS, Tsinghua University（清华大学人工智能院）；Shanghai Qi Zhi Institute（上海启智研究院）；Shanghai AI Lab（上海人工智能实验室）
针对下层问题强凸的双层优化，提出一种两时间尺度更新的一阶方法，在确定性设置下达到近最优的$\tilde{\mathcal{O}}(\varepsilon^{-2})$一阶Oracle复杂度，并扩展到随机和高阶光滑场景。
2026-05-25 cs.LG math.OC
Convex Optimization with Unbounded Nonconvex Oracles using Simulated Annealing
我们考虑最小化凸目标函数$F$时，只能评估其噪声近似$\hat{F}$的问题。除非假设噪声上有某种结构，否则$\hat{F}$可能是任意的非凸函数，这使得最小化$F$的任务变得棘手。为了克服这一点，以前的工作往往集中在$F(x)-\hat{F}(x)$是一致有界的情况下。在本文中，我们研究了更一般的情况下，噪声的幅度$αF(x) + β$的一些$α, β> 0$，并提出了一个多项式时间算法，找到一个近似极小的$F$的噪声模型。以前，马尔可夫链，如随机梯度朗之万动力学，已被用来达到这些优化问题的近似解。然而，在本文中考虑的噪声模型，没有一个单一的温度允许这样的马尔可夫链既混合迅速，并集中在全球最小。我们通过将“模拟退火”与随机梯度Langevin动力学相结合来绕过这一点，并逐渐降低链的温度以接近全局最小值。作为一个推论，我们可以近似地最小化一个接近凸函数的非凸函数;然而，当我们远离最优值时，这种接近性会恶化。
2018-06-18 cs.DS cs.LG math.OC
SGHA: A Single-Loop Fully First-Order Algorithm for Nonconvex-Strongly-Convex Bilevel Optimization
The Pennsylvania State University（宾夕法尼亚州立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本研究针对非凸-强凸双层优化，提出单循环一阶算法SGHA及随机版本Stoc-SGHA，实现了更优的预言机复杂度，匹配相关下界的ε依赖关系。
2026-08-25 cs.LG math.OC
Finding Second-Order Stationary Points in Nonconvex-Strongly-Concave Minimax Optimization
Fudan University（复旦大学）；Noah’s Ark Lab（诺亚方舟实验室）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Nanyang Technological University（南洋理工大学）
研究了光滑极大极小优化问题$\min_{\bf x}\max_{\bf y} f({\bf x},{\bf y})$，其中$f$是$\ell$ -光滑的，在${\bf y}$中是强凹的，但在${\bf x}$中可能是非凸的.现有的工作大多集中在寻找函数$f({\bf x},{\bf y})$或其原函数$P({\bf x})\triangleq \max_{\bf y} f({\bf x},{\bf y})$的一阶平稳点上，而很少有人关注二阶平稳点的获得。本文提出了一种新的极小极大优化方法--极小极大立方牛顿法（Minimax Cubic Newton，MCN），该方法通过调用二阶预言机的${\mathcal O}\big(κ^{1.5}\sqrtρ\varepsilon^{-1.5}\big)$次和一阶预言机的$\tilde{\mathcal O}\big(κ^{2}\sqrtρ\varepsilon^{-1.5}\big)$次来找到$P({\bf x})$的$\big(\varepsilon,κ^{1.5}\sqrt{ρ\varepsilon}\,\big)$ -二阶稳定点，其中$κ$是条件数，$ρ$是$f({\bf x},{\bf y})$的Hessian的Lipschitz连续常数.此外，我们提出了一个不精确的变形MCN高维问题，以避免调用昂贵的二阶预言机。相反，我们的方法通…
2022-11-09 cs.LG math.OC
A Simple Proximal Stochastic Gradient Method for Nonsmooth Nonconvex Optimization
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们分析随机梯度算法优化非凸，非光滑有限和问题。特别地，目标函数由可微（可能非凸）分量与可能不可微但凸的分量的总和给出。我们提出了一个近似的随机梯度算法的基础上减少方差，称为ProxSVRG+。我们的主要贡献在于ProxSVRG+的分析。它恢复了几个现有的收敛结果，并改善/推广它们（随机梯度Oracle调用和邻近Oracle调用的数量）。特别地，ProxSVRG+概括了最近由[Lei等人，[2017]第一个非线性方程。ProxSVRG+也比SCSG更简单，分析更简单。此外，ProxSVRG+对于大范围的小批量大小优于确定性近端梯度下降（ProxGD），这部分地解决了在[Reddi等人，2016年b]。此外，ProxSVRG+使用比ProxSVRG少得多的邻近oracle调用[Reddi等人，2016年b]。此外，对于满足Polyak-Chaojasiewicz条件的非凸函数，我们证明了ProxSVRG+具有全局线性收敛速率，且不需要重新启动.因此，只要目标函数在某些区域局部满足PL条件，\emph{automatically}就可以在这些区域切换到更快的线性收敛。ProxSVRG+还改进了ProxGD和ProxSVRG/SAGA，并在这种情况下推广了SCSG的结果。最后，进行了实验研究，实验结果与理论分析结果基本一致。
2018-12-01 cs.DS cs.LG math.OC
Zeroth-Order Algorithms for Nonconvex Minimax Problems with Improved Complexities
University of California, Davis（加州大学戴维斯分校）；University of Southern California（南加州大学）
在本文中，我们研究零阶算法的极大极小优化问题是非凸的一个变量和强凹的其他变量。由于极大极小优化问题在现代机器学习任务中的应用，极大极小优化问题最近引起了人们的极大关注。我们首先考虑一个确定性的版本的问题。我们设计和分析了零阶梯度下降上升（\texttt{ZO-GDA}）算法，并提供了改进的结果相比，现有的作品，在预言复杂度。我们还提出了零阶梯度下降多步上升（\texttt{ZO-GDMSA}）算法，显着提高了\texttt{ZO-GDA}的预言复杂度。然后，我们考虑随机版本的\texttt{ZO-GDA}和\texttt{ZO-GDMSA}，处理随机非凸极大极小问题。对于这种情况，我们提供了两个假设下的随机梯度的预言复杂性结果：（i）一致有界方差假设，这是常见的传统随机最优化，和（ii）强增长条件（SGC），这已被现代过参数化机器学习模型所满足。我们建立的SGC假设下，随机算法的复杂性相匹配的确定性算法。数值实验支持我们的理论结果。
2022-04-04 cs.DS cs.LG math.OC
On Global Joint Lower Bounds in Zeroth-Order Nonconvex Optimization
Nanjing University（南京大学）
该研究在全空间设置中证明了零阶非凸优化对(d,δ,ε)依赖的联合极小极大最优性，建立了相关下界，适用于完全自适应、可重用样本的标量oracle。
2026-11-04 cs.LG stat.ML
Mirror Descent Linearized Augmented Lagrangian Methods for Nonconvex Constrained Stochastic Zeroth-Order Optimization
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）；ShanghaiTech University（上海科技大学）
针对可获取约束精确信息及目标带噪值的非凸约束随机零阶优化问题，提出结合随机零阶梯度估计器与方差缩减技术的Bregman线性化增广拉格朗日方法，分析其oracle复杂度，在高维场景下复杂度优于现有方法且与文献最低ε阶复杂度匹配，数值实验验证其性能。
2026-09-01 cs.LG math.OC
The Exponential Price of Determinism in Nonsmooth Nonconvex Optimization
本研究证明确定性算法在非光滑非凸优化中寻找Goldstein稳定点的复杂度至少为(1/ε)^Ω(d)，而随机算法可达到维度无关复杂度，从而揭示随机化带来的指数级计算优势。
2026-09-22 cs.LG math.OC
Constrained Stochastic Nonconvex Optimization with State-dependent Markov Data
Halıcıoğlu Data Science Institute, University of California, San Diego（加州大学圣地亚哥分校哈利哲奥卢数据科学研究所）；University of California, Davis（加州大学戴维斯分校）；University of Waterloo（滑铁卢大学）
研究了马尔可夫数据约束非凸随机最优化问题的随机最优化算法。特别地，我们专注于当马尔可夫链的转移核是状态依赖的情况。这种随机最优化问题出现在各种机器学习问题中，包括策略分类和强化学习。对于这个问题，我们研究了基于投影和无投影的算法。在这两种情况下，我们建立的随机一阶预言机，以获得一个适当定义的$ε$ -平稳点的数量的顺序是$\mathcal{O}(1/ε^{2.5})$。在无投影设置中，我们还建立了对线性最小化预言的调用次数是$\mathcal{O}(1/ε^{5.5})$阶。我们还实证证明了我们的算法的性能与神经网络的战略分类的问题。
2022-11-09 cs.LG math.OC stat.ML
Optimal Stochastic Bilevel Optimization with First-Order Oracles
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出单循环一阶算法MRT-FD，用于非凸-强凸随机双层优化，通过有限差分近似二阶导数，达到最优复杂度O(ε^{-4-2/p})并证明匹配下界。
2026-10-02 cs.LG math.OC
SpiderBoost and Momentum: Faster Stochastic Variance Reduction Algorithms
The Ohio State University（俄亥俄州立大学）；The University of Utah（犹他大学）；Duke University（杜克大学）
SARAH和SPIDER是最近发展起来的两种随机方差缩减算法，SPIDER在光滑非凸优化问题上具有接近最优的一阶预言复杂度。然而，SPIDER使用了一个依赖于精度的步长，这在实践中减慢了收敛速度，并且不能处理涉及非光滑正则化器的目标函数。在本文中，我们提出了SpiderBoost作为一个改进的计划，它允许使用更大的常数级步长，同时保持相同的接近最优的预言复杂度，并可以扩展与邻近映射处理复合优化（这是非光滑和非凸）与可证明的收敛保证。特别是，我们表明，近端SpiderBoost实现了复合非凸优化的$\mathcal{O}(\min\{n^{1/2}ε^{-2},ε^{-3}\})$的预言复杂性，提高了$\mathcal{O}(\min\{n^{1/6},ε^{-1/3}\})$的因子的国家的最先进的结果。我们进一步开发了一种新的动量方案来加速复合优化的SpiderBoost，该方案在理论上实现了接近最优的预言复杂度，并在实验中得到了实质性的改善。
2020-05-15 cs.LG math.OC stat.ML
On Penalty Methods for Nonconvex Bilevel Optimization and First-Order Stochastic Approximation
Wisconsin Institute for Discovery（威斯康星发现研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Seoul（首尔大学）
研究非凸双层优化的一阶算法，通过惩罚方法建立惩罚函数与超目标的联系，提出在确定与随机预言机下复杂度改进的单循环算法。
2024-02-11 cs.LG math.OC
MoSSP: A Momentum-Based Single-Loop Stochastic Penalty Method for Nonconvex Constrained DC-Regularized Optimization
School of Mathematical Sciences, Beihang University, Beijing 100191, China（北京航空航天大学数学学院）；School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006, China（中山大学计算机科学与工程学院）
提出MoSSP算法，一种基于动量的单环随机惩罚方法，用于解决具有非凸约束和DC正则化的随机优化问题，实现了O(ε^{-4})和O(ε^{-3})的oracle复杂度。
2026-05-28 cs.LG math.OC
A unified convergence theory for adaptive first-order methods in the nonconvex case, including AdaNorm, full and diagonal AdaGrad and Muon
Université de Toulouse, INP, IRIT, Toulouse, France（图卢兹大学，INP，IRIT，图卢兹，法国）；IA Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹3IA人工智能与自然智能研究所（ANITI））；University of Namur（纳慕尔大学）
本文提出了一种非凸无约束优化问题中一阶优化算法的统一框架，利用自适应预条件梯度，包含全和对角AdaGrad、AdaNorm以及Shampoo和Muon的自适应变种，通过统一的收敛分析结合不同变量组的异质几何结构，并在合理假设下对所有方法进行完全随机全局收敛率分析。
2026-08-28 cs.LG
Fast Incremental Method for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们分析了一个快速增量聚合梯度法优化非凸问题的形式$\min_x \sum_i f_i(x)$。具体来说，我们分析了增量一阶Oracle框架内的SAGA算法，并证明它收敛到一个稳定点证明比梯度下降和随机梯度下降。我们还讨论了Polyak的一类特殊的非凸问题，其中SAGA以线性速度收敛到全局最优值。最后，我们分析了SAGA的实用价值的正则化和小批量的变种。据我们所知，本文首次分析了非凸问题的增量聚集梯度法的快速收敛性。
2016-03-19 cs.LG math.OC stat.ML
Sharp First-Order Lower Bounds for Higher-Order Smooth Nonconvex Optimization
Department of Computer Science, Indiana University（计算机科学系，印第安纳大学）
针对高阶光滑非凸优化，通过块链机制构造硬实例，首次证明了匹配已知上界的一阶下界，如Hessian Lipschitz情形下的Ω(ε^{-7/4})和三阶光滑情形下的Ω(ε^{-5/3})。
2026-09-23 cs.LG math.OC
Zeroth-Order Nonconvex Nonsmooth Optimization with Heavy-Tailed Noise
Zhuanghua Liu（刘庄华）；Luo Luo（罗洛）
针对目标函数Lipschitz连续的非凸非光滑问题，提出一种通过裁剪两点梯度估计器的在线到非凸转换框架的随机零阶算法，在重尾噪声下实现$(δ, ε)$-Goldstein驻点，其零阶复杂度为${\\mathcal O}(d^{\\frac{p}{2(p-1)}}δ^{-1}ε^{-\\frac{2p-1}{p-1}})$，与已知最优结果一致。
2026-05-23 cs.LG
Efficient Sparse Group Feature Selection via Nonconvex Optimization
Arizona State University（亚利桑那州立大学）；The Biodesign Institute, Arizona State University（亚利桑那州立大学生物设计研究所）；University of Minnesota（明尼苏达大学）
稀疏特征选择已被证明是有效的，在处理高维数据。虽然有前途，大多数现有的作品使用凸的方法，这可能是次优的特征选择和参数估计的准确性方面。在本文中，我们扩展了一个非凸的范例稀疏组特征选择，这是出于应用程序，需要确定底层组结构，同时执行特征选择。本文的主要贡献有两个方面：（1）在统计上，我们引入了一个非凸稀疏群特征选择模型，它可以重构Oracle估计量。因此，一致的特征选择和参数估计可以实现;（2）计算上，我们提出了一个有效的算法，适用于大规模的问题。数值结果表明，所提出的非凸方法相比，毫不逊色于它的竞争对手的合成数据和现实世界的应用，从而实现了预期的目标，提供高性能。
2013-01-18 cs.LG stat.ML
Multi-level Monte-Carlo Gradient Methods for Stochastic Optimization with Biased Oracles
EPFL（洛桑联邦理工学院）；Georgia Institute of Technology（佐治亚理工学院）；ETH Zürich（苏黎世联邦理工学院）
针对有偏随机预言机的优化问题，提出多级蒙特卡洛梯度方法，权衡偏差、方差与成本，证明其优于有偏随机梯度法，并显著改进多个优化问题的复杂度。
2024-08-20 cs.LG math.OC
A randomized algorithm for nonconvex minimization with inexact evaluations and complexity guarantees
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文研究光滑非凸函数的最小化问题，提出一种基于非精确梯度和Hessian访问的随机算法，通过等概率选择负曲率方向实现近似二阶最优性，并提供了期望界和高概率界的收敛性分析，在经验风险最小化中改进了梯度样本复杂度。
2024-03-26 cs.LG math.OC
Lower Bounds for Stochastic First-Order Algorithms with Variance Reduction in Nonconvex--Concave Minimax Optimization
Shanghai University（上海大学）
本文为非凸-凹极小极大优化中允许方差缩减的随机一阶算法建立了复杂度下界，量化了精度、对偶域半径和噪声的影响，并补充了强凹情形下的下界。
2026-11-03 cs.LG math.OC stat.ML
Convergence Analysis of Nonconvex Distributed Stochastic Zeroth-order Coordinate Method
University of North Texas（北得克萨斯大学）；Huazhong University of Science and Technology（华中科技大学）
研究了随机分布非凸最优化问题，即最小化由$n$局部费用函数求和形成的全局费用函数。我们解决这样的问题，涉及零阶（ZO）信息交换。本文提出了一种求解随机最优化问题的ZO分布原始-对偶坐标方法。代理近似自己的本地随机ZO预言与坐标与自适应平滑参数。我们表明，该算法实现了一般非凸费用函数的$\mathcal{O}(\sqrt{p}/\sqrt{T})$的收敛速度。我们证明了所提出的算法的效率，通过一个数值例子与现有的国家的最先进的集中式和分布式ZO算法的比较。
2021-10-13 cs.LG cs.SY eess.SY
Stochastic Nonconvex Bilevel Optimization: Improved Rates Without Rare-Visit Assumption
University of Oxford（牛津大学）；University of Economics and Business Vienna（维也纳经济与商业大学）；University of Groningen（格罗宁根大学）
本文提出一种仅对DBGD乘子进行分母正则化的方法，在无需罕见访问假设下实现随机非凸双层优化的快速收敛，达到(ε, ε)-平稳性，改进了无假设复杂度。
2026-09-09 cs.LG math.OC
An Efficient Stochastic Algorithm for Decentralized Nonconvex-Strongly-Concave Minimax Optimization
SGIT AI Lab, State Grid Corporation of China（国网公司SGIT AI实验室）；School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Key Laboratory for Contemporary Applied Mathematics（上海市现代应用数学重点实验室）
针对多智能体网络下的随机非凸-强凹极小极大优化问题，提出DREAM算法，在寻找ε-平稳点上取得最优理论复杂度，且数值实验验证其优于现有方法。
2024-05-14 cs.LG math.OC
Revisiting Frank-Wolfe for Structured Nonconvex Optimization
Umeå University（于默奥大学）；Technical University of Munich（慕尼黑工业大学）
本文提出了一种无投影Frank-Wolfe方法，用于优化结构非凸函数，通过精心选择DC分解以提高效率并找到更好的局部解。
2025-11-27 cs.LG math.OC
Lower Bounds for Smooth Nonconvex Finite-Sum Optimization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
光滑有限和优化问题在凸和非凸两种情况下都得到了广泛的研究。然而，现有的有限和优化的下界大多局限于每个分量函数是（强）凸的设置，而非凸的有限和优化的下界仍然在很大程度上未解决。本文研究了光滑非凸有限和优化问题的下界，其中目标函数是$n$非凸分支函数的平均。我们证明了严格的下界的复杂性找到$ε$-次优点和$ε$-近似不动点在不同的设置，为广泛的制度的最小特征值的海森的目标函数（或每个组件功能）。给定我们的下界，我们可以证明现有的算法，包括KatyushaX（Allen-Zhu，2018），Natasha（Allen-Zhu，2017），RapGrad（Lan和Yang，2018）和StagewiseKatyusha（Chen和Yang，2018）已经实现了最佳的增量一阶Oracle（IFO）复杂度（即，IFO调用的数量），直到非凸有限和优化的对数因子。我们还指出了进一步改善这些复杂性结果的潜在方法，包括更强的假设或不同的收敛分析。
2019-01-31 cs.LG math.OC stat.ML
Single-Loop Stochastic Projected Damped Extragradient Methods for Nonconvex--(Strongly) Concave Minimax Optimization
Shanghai University（上海大学）
本文提出单循环随机投影阻尼外梯度方法及其方差缩减变体，用于求解随机非凸--（强）凹极小极大问题，在博弈和优化平稳性下均达到最佳已知的随机一阶预言复杂度。
2026-10-14 cs.LG math.OC stat.ML
Escaping Saddle Points for Zeroth-order Nonconvex Optimization using Estimated Gradient Descent
Purdue University（普渡大学）
梯度下降及其变体广泛用于机器学习。然而，在许多应用中，梯度的oracle访问可能不可用，限制了梯度下降的直接使用。针对一般的非凸优化问题，提出了一种估计梯度的梯度下降算法，该算法收敛于一个稳定点。除了一阶平稳特性之外，二阶平稳特性在机器学习应用中对于实现更好的性能也很重要。我们表明，建议的无模型非凸优化算法返回一个$ε$ -二阶驻点与$\widetilde{O}(\frac{d^{2+\fracθ{2}}}{ε^{8+θ}})$查询的功能，任何任意$θ>0$。
2019-10-03 cs.LG math.OC stat.ML
A Tight Lower Bound for Smooth Nonconvex Stochastic Optimization with Bounded Gradient Noise
该研究证明了带一致有界梯度噪声的光滑非凸随机优化的紧下界，匹配现有上界并解决了相关公开问题，且证明由AI生成、人类仅负责校验与文稿润色。
2026-08-11 cs.CC cs.LG math.OC
Follow the Perturbed Leader: Optimism and Fast Parallel Algorithms for Smooth Minimax Games
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
我们考虑的问题，在线学习和它的应用解决极大极小对策。对于在线学习问题，跟随扰动领导者（FTPL）是一个广泛研究的算法，它享有最佳的$O(T^{1/2})$最坏情况下的遗憾保证凸和非凸损失。在这项工作中，我们表明，当序列的损失函数是可预测的，一个简单的修改FTPL，结合乐观可以实现更好的遗憾保证，同时保留最佳的最坏情况下的遗憾保证不可预测的序列。在获得这些更严格的遗憾界的一个关键挑战是随机性和乐观的算法，这需要不同的分析技术比那些常用的FTPL的分析。我们在分析中使用的关键成分是作为正则化的扰动的对偶视图。虽然我们的算法有几个应用程序，我们认为具体的应用极大极小游戏。对于光滑凹凸博弈，我们的算法只需要访问一个线性优化预言机。对于Lipschitz和光滑非凸非凹游戏，我们的算法需要访问一个优化预言计算扰动的最佳响应。在这两种设置中，我们的算法使用对优化oracle的$T$调用来解决游戏，精度高达$O(T^{-1/2})$。我们的算法的一个重要特点是，它是高度并行化，只需要$O(T^{1/2})$迭代，每次迭代$O(T^{1/2})$并行调用的优化预言。
2020-06-13 cs.LG stat.ML
Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）；Michigan State University（密歇根州立大学）
许多实际问题不仅具有复杂的非凸函数约束，而且需要大量的数据点。这激发了有限和或期望约束问题的有效随机方法的设计。在本文中，我们设计和分析随机不精确增广拉格朗日方法（Stoc-iALM）解决涉及非凸复合（即光滑+非光滑）目标和非凸光滑函数约束的问题。我们采用标准的iALM框架，并设计了一个子程序，使用基于动量的方差减少最近的随机梯度法（PStorm）和后处理步骤。在一定的正则性条件下（在已有的工作中也是这样假设的），为了达到期望的$\varepsilon$点，我们建立了一个预言复杂性结果$O(\varepsilon^{-5})$，它优于最著名的$O(\varepsilon^{-6})$结果.在公平性约束问题和Neyman-Pearson分类问题上的数值实验表明，该方法的复杂度优于已有的方法.
2022-12-19 cs.LG cs.NA math.NA
Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Massachusetts Institute of Technology（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
在深度神经网络分类器的对抗训练和生成对抗网络的训练中使用最小-最大优化激发了对非凸-非凹优化目标的研究，这些目标在这些应用中经常出现。不幸的是，最近的研究结果已经确定，即使近似的一阶稳定点，这样的目标是棘手的，即使在光滑条件下，激励研究的最小最大目标与其他结构。我们引入了一类新的结构化非凸非凹极小极大最优化问题，提出了一个推广的外梯度算法，可证明收敛到一个稳定点。该算法不仅适用于欧几里得空间，而且适用于一般的$\ell_p$ -赋范有限维实向量空间。我们还讨论了它的稳定性下的随机预言，并提供其样本复杂性的界限。我们的迭代复杂性和样本复杂性的界限匹配或改善最好的已知的界限相同或更一般的非凸非凹设置，如满足变分相干或在其中弱解相关的变分不等式问题被假定存在。
2021-02-27 cs.DS cs.LG math.OC
Online Optimization Perspective on First-Order and Zero-Order Decentralized Nonsmooth Nonconvex Stochastic Optimization
Northeastern University（东北大学）
研究去中心化非光滑非凸随机优化中寻找稳定点的问题，提出ME-DOL算法，利用在线优化技术在一阶和零阶设置下实现了与最优集中式方案匹配的样本复杂度。
2024-06-03 cs.LG cs.SY eess.SY
On the Hardness of Meaningful Local Guarantees in Nonsmooth Nonconvex Optimization
Weizmann Institute of Science（魏茨曼科学研究所）；Massachusetts Institute of Technology（麻省理工学院）
本研究针对非光滑非凸优化的非渐近局部收敛速率问题，证明局部算法在最坏情况下无法在次指数时间内提供有意义的局部函数值保证，且该结论无条件成立，补充了现有依赖猜想的难度研究。
2024-09-16 cs.LG math.OC
Relationship between Batch Size and Number of Steps Needed for Nonconvex Optimization of Stochastic Gradient Descent using Armijo Line Search
Meiji University（明治大学）
本文对采用Armijo线搜索的SGD非凸优化进行收敛分析，证明所需步数随批量增大单调递减，SFO复杂度存在最优临界批量，并通过数值实验验证了理论结论。
2024-02-01 cs.LG math.OC
Tight Stochastic Condition-Number Dependence in Nonconvex-Strongly-Concave Minimax Optimization
本文证明非凸-强凹极小极大优化中SAPD+的随机复杂度对条件数呈线性依赖，并给出匹配下界，揭示该依赖的必然性。
2026-09-28 cs.LG math.OC
First-Order Methods for Linearly Constrained Bilevel Optimization
Weizmann Institute of Science（魏兹曼科学研究所）；Massachusetts Institute of Technology（麻省理工学院）；Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）
针对线性约束双层优化，提出一阶方法，实现有限时间超梯度平稳性保证，分别对等式和不等式约束达到近最优及维度无关的复杂度，并辅以数值实验验证。
2025-04-20 cs.LG math.OC
Gradient-Free Methods for Deterministic and Stochastic Nonsmooth Nonconvex Optimization
University of California, Berkeley（加州大学伯克利分校）
非光滑非凸最优化问题广泛存在于机器学习和商业决策中，而两个核心挑战阻碍了具有有限时间收敛保证的有效解方法的发展：缺乏计算上易于处理的最优性准则和缺乏计算上强大的预言机。本文的贡献是双重的。首先，我们建立了著名的Goldstein次微分~ \citep{Goldstein-1977-Optimization}与一致光滑化之间的关系，从而为设计保证有限时间收敛于Goldstein平稳点集的无梯度方法提供了依据和直观.其次，我们提出了求解一类非光滑非凸最优化问题的无梯度方法（GFM）和随机GFM，并证明了这两种方法都能在$O(d^{3/2}δ^{-1}ε^{-4})$以期望的收敛速度返回Lipschitz函数$f$的$(δ,ε)$ -Goldstein驻点，其中$d$是问题维数.还提出了GFM和SGFM的两个阶段版本，并证明可以实现改进的大偏差结果。最后，我们用\textsc{Minst}数据集证明了2-SGFM训练ReLU神经网络的有效性。
2022-10-17 cs.CC cs.LG math.OC
Faster Gradient-Free Algorithms for Nonsmooth Nonconvex Stochastic Optimization
School of Data Science, Fudan University（复旦大学数据科学学院）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
针对非光滑非凸随机优化问题，采用随机递归梯度估计器，提出了更高效的无梯度算法，降低了求解Goldstein平稳点的随机零阶谕示复杂度。
2024-05-14 cs.LG math.OC
A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees
Tsinghua University（清华大学）；The Hong Kong Polytechnic University（香港理工大学）；Beijing Institute of Mathematical Sciences and Applications（北京数学科学及应用研究所）；Chinese Academy of Sciences（中国科学院）
针对非凸优化中正则化牛顿方法全局与局部收敛权衡的开放问题，提出利用新旧梯度构造正则化器并结合共轭梯度法求解，实现了最优全局复杂性与二次局部收敛。
2025-10-31 cs.LG math.OC
Accelerating Inexact HyperGradient Descent for Bilevel Optimization
Fudan University（复旦大学）；University of California, Berkeley（加州大学伯克利分校）
提出RAHGD方法求解非凸-强凸双层优化问题，以最优复杂度找到一阶和二阶驻点，刷新了该领域及极小极大优化的理论基准。
2023-06-30 cs.LG math.OC stat.ML
Stochastic Quasi-Newton Methods for Nonconvex Stochastic Optimization
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；The Chinese University of Hong Kong（香港中文大学）；Columbia University（哥伦比亚大学）；Tencent AI Lab（腾讯人工智能实验室）
本文研究非凸随机优化中的随机拟牛顿方法，提出了一种框架并证明了收敛性，分析了最坏情况下的迭代复杂度，提出了一种随机阻尼L-BFGS方法，并结合SVRG技术，展示了在非凸二分类和多分类问题中的数值结果。
2017-05-21 cs.LG cs.NA math.NA
A Hybrid Stochastic Optimization Framework for Stochastic Composite Nonconvex Optimization
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；IBM Research（IBM研究院）
针对一类随机组合且可能非凸的最优化问题，提出了一种新的随机最优化算法。其主要思想是将两个随机估计组合起来，形成一个新的混合估计。我们首先介绍我们的混合估计，然后研究其基本性质，形成算法开发的基础理论。接下来，我们应用我们的理论来开发随机梯度法的几个变种，以解决期望和有限和复合最优化问题。我们的第一个算法可以被看作是一个单一的循环的近端随机梯度法的变体，但可以实现$\mathcal{O}(σ^3\varepsilon^{-1} + σ\varepsilon^{-3})$ -oracle的复杂性界，匹配最知名的，从国家的最先进的双循环算法在文献中，其中$σ> 0$是方差和$\varepsilon$是一个理想的精度。然后，我们考虑我们的方法的两个不同的变体：自适应步长和重新启动计划，在我们的第一个算法中有类似的理论保证。我们还研究了所提出的方法的两个小批量的变种。在所有的情况下，我们都达到了标准假设下最著名的复杂性界限。我们用真实数据集在几个数值例子上测试了我们的方法，并将它们与最先进的方法进行了比较。我们的数值实验表明，新的方法是可比的，在许多情况下，优于他们的竞争对手。
2020-05-03 cs.LG math.OC stat.ML
Faster Stochastic Alternating Direction Method of Multipliers for Nonconvex Optimization
University of Pittsburgh（匹兹堡大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；MIIT Key Laboratory of Pattern Analysis & Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）；JD Finance America Corporation（京东金融美国公司）
本文利用一种新的随机路径积分微分估计器（SPIDER），提出了一种求解非凸优化问题的快速随机交替方向法（SPIDER-ADMM）.此外，我们证明了SPIDER-ADMM实现了破纪录的增量一阶oracle（IFO）的复杂度为$\mathcal{O}(n+n^{1/2}ε^{-1})$寻找一个$ε$ -近似平稳点，这提高了确定性ADMM的一个因素$\mathcal{O}(n^{1/2})$，其中$n$表示的样本大小。作为本文的主要贡献之一，我们为非凸随机ADMM方法提供了一个新的理论分析框架，并给出了最优的IFO复杂度。基于这一新的分析框架，我们研究了现有非凸SVRG-ADMM和SAGA-ADMM方法的最优IFO复杂度，证明了它们具有$\mathcal{O}(n+n^{2/3}ε^{-1})$的最优IFO复杂度.因此，SPIDER-ADMM通过因子$\mathcal{O}(n^{1/6})$改进了现有的随机ADMM方法。此外，我们扩展了SPIDER-ADMM的在线设置，并提出了一个更快的在线SPIDER-ADMM。我们的理论分析表明，在线SPIDER-ADMM具有$\mathcal{O}(ε^{-\frac{3}{2}})$的IFO复杂度，这将现有的最佳结果提高了$\mathcal{O}(ε^{-\frac{1}{2}})$倍。最后，在基准数据集上的实验结果验证了所提出的算法具有更快的…
2020-08-10 cs.CV cs.LG math.OC
Projected gradient methods for nonconvex and stochastic smooth optimization: new complexities and auto-conditioned stepsizes
School of Industrial and Systems Engineering, Georgia Institute of Technology（工业与系统工程学院，佐治亚理工学院）；Department of Mathematical Sciences, Rensselaer Polytechnic Institute（数学科学系，伦塞拉尔理工学院）
本文提出了一种新型投影梯度法，用于在凸紧致集上最小化非凸光滑函数，通过自适应步长策略实现最优迭代复杂性，同时在随机环境下提出新的收敛界。
2026-05-14 cs.LG math.OC stat.ML
Improved Complexity for Smooth Nonconvex Optimization: A Two-Level Online Learning Approach with Quasi-Newton Methods
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对仅用梯度信息求光滑非凸函数 $ε$-FOSP 的问题，论文将其转化为双层在线学习并提出乐观拟牛顿算法，在 $d=O(ε^{-1/2})$ 时改进复杂度，并首次证明拟牛顿法有望优于梯度下降型方法。
2024-12-03 cs.LG math.OC stat.ML
A Single-Loop Gradient Descent and Perturbed Ascent Algorithm for Nonconvex Functional Constrained Optimization
IBM Research AI, IBM Thomas J. Watson Research Center（IBM研究院AI部，IBM托马斯·J·沃森研究中心）
针对目标与不等式约束均可非凸的光滑泛函约束优化，本文提出仅用一阶信息、只需调节两个步长的单循环原始-对偶 GDPA 算法，并证明其 KKT 点收敛速率，实验优于现有方法。
2024-12-03 cs.AI cs.LG cs.NA
Simple and Optimal Stochastic Gradient Methods for Nonsmooth Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
我们提出并分析了几种随机梯度算法，用于寻找非凸的稳定点或局部最小值，可能与非光滑正则化，有限和和在线优化问题。首先，我们提出了一个简单的近似随机梯度算法的基础上减少方差称为ProxSVRG+。我们对ProxSVRG+进行了清晰而严密的分析，结果表明，对于各种小批量大小，它的性能优于确定性近端梯度下降（ProxGD），因此解决了Reddi等人提出的一个公开问题。（2016 b）。此外，ProxSVRG+使用比ProxSVRG少得多的邻近oracle调用（Reddi等人，2016 b），并通过避免完整的梯度计算扩展到在线设置。然后，我们进一步提出了一种基于SARAH（Nguyen et al.，2017），并表明SSRGD进一步提高了ProxSVRG+的梯度复杂度，并实现了最佳上限，与已知的下限（Fang et al.，2018年; Li等人，2021年）。此外，我们表明，ProxSVRG+和SSRGD都可以自动适应目标函数的局部结构，例如在有限和情况下非凸函数的Polyak-Jasojasiewicz（PL）条件，即，我们证明了它们都可以自动切换到更快的全局线性收敛而无需在先前的工作ProxSVRG（Reddi等人，2016年b）。最后，我们专注于更具有挑战性的问题，找到一个$(ε, δ)$ -局部最小值，而不仅仅是找到一个$ε$ -近似（一阶）平稳点（这可能是一些坏的不稳定鞍点）。…
2022-08-22 cs.DS cs.LG math.OC
A proximal subgradient method for nonconvex stochastic optimization under the Kurdyka-Łojasiewicz condition
Centro de Modelamiento Matemático（数学建模中心）；Universidad de Chile（智利大学）；Department of Mathematics, University of Alicante（阿利坎特大学数学系）
本研究提出满足Kurdyka-Łojasiewicz条件的邻近随机次梯度方法，可处理更通用非凸随机优化问题，保证轨迹收敛性并导出多项式收敛速率。
2026-08-10 cs.LG math.OC
