Adaptive Stochastic Gradient Descent Ascent Algorithm for Nonconvex Minimax Problems with Decision-Dependent Distributions
本文研究了具有决策依赖分布的非凸极小极大问题，提出了自适应随机梯度下降上升算法（ASGDA）及其交替版本（AASGDA），动态学习分布映射并优化目标，在多种非凸设置下证明了收敛复杂度，并通过数值实验验证了有效性。
2025-09-14 math.OC
A Simple Adaptive Proximal Gradient Method for Nonconvex Optimization
本文提出一种简单的单循环自适应近端梯度方法AdaPGNC，无需线搜索，仅需Lipschitz连续梯度，达到最优复杂度O(ε⁻²)，并通过新颖Lyapunov函数分析收敛，实验表现竞争力。
2025-10-07 math.OC
An Adaptive Proximal Point Method for Nonsmooth and Nonconvex Optimization on Hadamard Manifolds
Federal University of Piauı́（皮奥伊联邦大学）；Universidade Estadual do Sudoeste da Bahia（巴伊亚西南州立大学）
针对完备黎曼流形上的非光滑非凸复合优化问题，提出两种自适应邻近点方法变体（分别利用或无需光滑部分梯度的Lipschitz常数），分析复杂度与收敛性并通过数值实验验证有效性。
2025-11-18 math.OC
Adaptive Algorithms for Nonconvex Bilevel Optimization under PŁ Conditions
School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University（复旦大学当代应用数学上海市重点实验室）
本文提出AF²BA和A²F²BA算法，通过自适应步长策略在PŁ条件下高效求解非凸双层优化问题，达到与现有方法相当的迭代和Oracle复杂度。
2025-12-30 math.OC
An Adaptive Augmented Lagrangian Method for Deterministic and Stochastic Nonconvex Optimization
UNC–Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出自适应罚参数更新与完整对偶步长的不精确增广拉格朗日算法，适用于确定性、随机函数及约束的非凸优化，经CUTEst与机器学习随机问题实验验证其优势。
2026-08-31 math.OC
Adaptive SGD with Line-Search and Polyak Stepsizes: Nonconvex Convergence and Accelerated Rates
本文提出了一种适用于非凸优化的自适应SGD方法，通过线搜索和Polyak步长实现了O(1/√T)和O(1/T)的收敛速率。
2025-12-01 math.OC stat.ML
Adaptive directional decomposition methods for nonconvex constrained optimization
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）
本文针对带等式和不等式约束的非凸优化问题，提出基于分解策略与自适应参数更新的一阶算法框架，并在确定性与随机情形下分别建立了达到或优于现有水平的迭代复杂度和oracle复杂度界。
2025-11-07 math.OC
An Adaptive Proximal ADMM for Nonconvex Linearly Constrained Composite Programs
Oregon State University（俄勒冈州立大学）；Texas A&M University（德克萨斯农工大学）；Georgia Institute of Technology（佐治亚理工学院）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种自适应近端交替方向乘子法解决线性约束复合优化问题，假设目标函数光滑部分弱凸，非光滑部分凸且块分离。方法自适应于所有参数，允许每个块近端子问题近似求解，通过迭代步骤和自适应测试确定是否更新拉格朗日乘子和惩罚参数，无需约束矩阵秩假设，证明在迭代次数上达到最优复杂度。
2026-04-30 math.OC
Adaptive Regularization within Trust Region Methods for Stochastic Nonconvex Optimization
本文提出了一种随机非凸优化算法，通过改进的自适应采样信任区域优化方法（Reg-ASTRO）实现了几乎确定性的迭代复杂度，优于传统一阶方法。
2026-04-29 math.OC
Line-search and Adaptive Step Sizes for Nonconvex-strongly-concave Minimax Optimization
School of Data Science, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）数据科学学院）；National University of Singapore（新加坡国立大学）
本文提出了一种非凸强凹极小极大优化的新方法，通过改写问题并结合梯度下降-上升算法与自适应步长，实现了高效的全局收敛性和数值性能。
2026-01-15 math.OC
On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization
Indiana University（印第安纳大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；The University of Hong Kong（香港大学）；Rice University（莱斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对非凸优化中自适应梯度方法收敛性研究不足的问题，对AMSGrad、RMSProp、AdaGrad等方法做细粒度分析，证明其期望收敛到一阶驻点且维度相关收敛速率更优，还首次建立三类方法的高概率收敛界，助力理解其非凸优化机制。
2024-06-20 cs.LG math.OC stat.ML
Adaptive Regularization for Nonconvex Optimization Using Inexact Function Values and Randomly Perturbed Derivatives
提出了一种允许导数中存在随机噪声和不精确函数值的正则化算法，用于计算光滑无约束优化问题的任意阶近似局部临界点。对于具有Lipschitz连续$p$阶导数的目标函数，给定任意的最优阶$q \leq p$，证明了该算法在期望范围内，只要$q\in\{1,2\}$，至多在$f$及其导数的$O\left(\left(\min_{j\in\{1,\ldots,q\}}ε_j\right)^{-\frac{p+1}{p-q+1}}\right)$不精确估计中计算出这样一个点，其中$ε_j$是$j$阶精度的容差.如果$q>2$和所有导数是Lipschitz连续的，则该界至多变为$O\left(\left(\min_{j\in\{1,\ldots,q\}}ε_j\right)^{-\frac{q(p+1)}{p}}\right)$不精确求值。此外，这些界限是尖锐的精度公差的顺序。凸约束问题的扩展也概述。
2021-04-06 math.OC
Relaxing nonconvex quadratic functions by multiple adaptive diagonal perturbations
当前全局求解混合整数（非凸）二次约束问题（MIQCP）的瓶颈仍然是构造强而计算量小的凸松弛，特别是当存在稠密二次函数时.本文提出了一种基于多重对角扰动的割面方法，得到了具有可分离约束的非凸二次问题的强凸二次松弛解。与许多其他基于提升的松弛相比，我们得到的松弛并没有使用比原始问题更多的变量。相应的分离问题是一个高度结构化的半定规划（SDP）的凸，但非光滑的目标。我们建议用一个专门的原始障碍坐标最小化算法来解决这个分离问题。计算结果表明，我们的方法是非常有前途的。首先，我们的分离算法是至少一个数量级的速度比内点方法的SDPs的问题高达几百个变量。其次，在非凸二次整数问题上，我们的切割表面过程提供了与（Buchheim和Wiegele，2013）在其分支定界代码Q-MIST中使用的对角SDP边界几乎相同强度的下界，而我们的过程在维度大于70的问题上至少快了数量级。最后，结合（Saxena，Bonami和Lee，2011）提出的（线性）投影RLT切割平面，我们的程序提供了比投影SDP+RLT切割表面程序略弱的边界，但在几个数量级更短的时间。最后，我们讨论了各种途径来扩展我们的工作，设计更有效的分支定界算法MIQCP。
2014-03-20 math.OC
Nest Your Adaptive Algorithm for Parameter-Agnostic Nonconvex Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）
AdaGrad和AMSGrad等自适应算法在非凸优化中是成功的，因为它们具有参数不可知的能力-不需要关于问题特定参数的先验知识，也不需要调整学习速率。然而，当涉及到非凸极大极小优化，直接扩展这样的自适应优化没有适当的时间尺度分离可能无法在实践中工作。我们提供了这样一个例子证明，梯度下降上升（GDA）与自适应步长的简单组合可以发散，如果原始对偶步长比没有仔细选择，因此，更何况，这种自适应扩展不是参数不可知的。为了解决这个问题，我们正式介绍了一个嵌套自适应框架，NeAda的简称，进行自适应最大化的对偶变量与可控的停止标准和外循环自适应最小化的原始变量的内部循环。这种机制可以配备有现成的自适应优化器，并自动平衡原始变量和对偶变量的进度。理论上，对于非凸-强-凹Minimax问题，我们证明了NeAda算法在确定性和随机性条件下，在没有问题光滑性和强参数的先验信息的情况下，可以分别获得接近最优的$\tilde{O}(ε^{-2})$和$\tilde{O}(ε^{-4})$梯度复杂度.据我们所知，这是第一个算法，同时实现近最佳的收敛速度和参数不可知的适应在非凸极大极小设置。数值上，我们进一步说明了NeAda家庭的鲁棒性与简单的检验函数和现实世界的应用程序的实验。
2022-10-14 cs.LG math.OC stat.ML
TiAda: A Time-scale Adaptive Algorithm for Nonconvex Minimax Optimization
ETH Zurich（苏黎世联邦理工学院）
TiAda是一种参数无关的单循环自适应GDA算法，通过自动适应时间尺度分离，在非凸-强凹极小极大问题的确定性和随机设置中实现接近最优的复杂度，并在多个机器学习应用中验证了有效性。
2025-10-09 cs.LG math.OC stat.ML
Adaptive Stochastic Optimisation of Nonconvex Composite Objectives
Technische Universität Berlin（柏林工业大学）；GT-ARC Gemeinnützige GmbH（GT-ARC公益有限责任公司）
本文提出并分析了一类广义随机复合镜像下降算法。与自适应步长，所提出的算法收敛，而不需要先验知识的问题。结合熵类更新生成函数，这些算法在具有最大范数的空间中执行梯度下降，这使我们能够利用高维问题的决策集的低维结构。与基于Rademacher分布和方差缩减技术的采样方法一起，所提出的算法保证了零阶优化问题的对数复杂度对维数的依赖。
2022-11-21 cs.LG math.OC
Stochastic ADMM with batch size adaptation for nonconvex nonsmooth optimization
College of Science, National University of Defense Technology（国防科技大学理学院）
本文提出了一种自适应批量大小的SADMM方法，通过动态调整批量大小来解决非凸非光滑优化中的方差降低与计算成本之间的权衡，并验证了其有效性。
2025-09-06 math.OC
Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives
Technische Universität Berlin（柏林工业大学）
在本文中，我们提出并分析了非凸复合目标的零阶优化算法，重点是减少复杂性对维数的依赖。这是通过利用低维结构的决策集使用随机镜像下降法与熵相似的功能，它执行梯度下降的空间配备了最大的范数。为了提高梯度估计，我们用基于Rademacher分布的采样方法取代了经典的高斯平滑方法，并表明小批量方法可以处理非欧几何。为了避免调整超参数，我们分析了一般随机镜像下降的自适应步长，并表明所提出的算法的自适应版本收敛，而不需要有关问题的先验知识。
2022-08-14 cs.LG math.OC
Nonconvex and Nonsmooth Sparse Optimization via Adaptively Iterative Reweighted Methods
ShanghaiTech University（上海科技大学）；Shenzhen University（深圳大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）
我们提出了一个具有凸集约束的非凸和非光滑稀疏优化问题的一般形式，它可以考虑大多数现有类型的非凸稀疏诱导项，具有很强的适用性，以广泛的应用。我们设计了一个通用的算法框架，迭代重加权算法求解所提出的非凸和非光滑稀疏优化问题，解决了一系列加权凸正则化问题的自适应更新的权重。一阶最优性条件的推导和全局收敛性的结果提供宽松的假设下，使我们的理论结果分析家庭的各种加权算法的实用工具。我们提出的配方和算法的有效性和效率在各种稀疏优化问题的数值实验中得到了证明。
2021-08-20 cs.IT cs.LG math.IT
Combining Stochastic Adaptive Cubic Regularization with Negative Curvature for Nonconvex Optimization
University of Florida（佛罗里达大学）；Korea Institute of Industrial Technology (KITECH)（韩国产业技术研究院）
我们专注于最小化机器学习问题中通常出现的非凸有限和函数。为了解决这个问题，自适应三次正则化牛顿法已经显示出其强大的整体收敛保证和逃离严格鞍点的能力。该方法使用类似置信域的方案来确定迭代是否成功，并且仅在迭代成功时更新。在本文中，我们提出了一种算法相结合的负曲率与自适应立方正则牛顿方法更新，即使在不成功的迭代。我们称这种新方法为负曲率随机自适应三次正则化（SANC）。与以前的方法不同，为了获得随机梯度和Hessian估计量，SANC算法在所有迭代中使用大小一致的独立数据点集。这使得SANC算法在解决大规模机器学习问题时更加实用。据我们所知，这是第一个方法，结合负曲率方法与自适应三次正则化牛顿法。最后，我们提供了实验结果，包括神经网络的问题，支持我们的方法的效率。
2019-06-27 cs.LG math.OC
Accelerated Nonconvex ADMM with Self-Adaptive Penalty for Rank-Constrained Model Identification
本文针对秩约束模型辨识问题，提出一种基于增广拉格朗日函数一阶分析的自适应惩罚更新策略，并结合Anderson加速方案，有效加速了非凸ADMM的收敛并降低了对惩罚参数调节的依赖。
2023-09-08 cs.SY eess.SY math.OC
Exact Penalty Algorithm of Strong Convertible Nonconvex Optimization
This paper defines a strong convertible nonconvex(SCN) function for solving the unconstrained optimization problems with the nonconvex or nonsmooth(nondifferentiable) function. First, many examples of SCN function are given, where the SCN functions are nonconvex or nonsmooth. Second, the operational properties of the SCN functions are proved, including addition, multiplication, compound operations and so on. Third, the SCN forms of some special functions common in machine learning and engineering applications are presented respectively where these SCN function optimization problems can be tran…
2022-05-15 math.OC
Adaptive Gradient Normalization and Independent Sampling for (Stochastic) Generalized-Smooth Optimization
针对现有算法未完全适配广义光滑非凸几何、收敛分析受限的问题，该研究分析了自适应归一化梯度下降的收敛性，提出结合自适应归一化、独立采样和梯度裁剪的IANSGD算法，在松弛噪声下实现$\boldsymbol{\rm O}(ε^{-4})$样本复杂度，实验验证了其快速收敛性。
2025-10-01 math.OC stat.ML
AGDA+: Proximal Alternating Gradient Descent Ascent Method with a Nonmonotone Adaptive Step-Size Search for Nonconvex Minimax Problems
针对双正则化非凸-强凹极小极大问题，提出自适应非单调步长的近端交替梯度下降上升法AGDA+，无需全局参数即可达到最优迭代复杂度，且每次回溯迭代平均仅需3次梯度调用。
2025-01-29 math.OC
Stochastic Quasi-Newton Methods for Nonconvex Stochastic Optimization
本文研究了非凸随机最优化的随机拟牛顿法，其中我们假设只有目标函数的梯度的随机信息可以通过随机一阶预言机（SFO）得到.首先，我们提出了求解非凸随机最优化的随机拟牛顿法的一般框架。建议的框架扩展了经典的拟牛顿法在确定性设置随机设置，我们证明了其几乎必然收敛平稳点。其次，我们提出了一类随机随机拟牛顿法的一般框架，其中算法进行的迭代次数是随机变量。分析了这类方法的最坏情况SFO调用复杂度。第三，我们提出了两个具体的方法，即随机阻尼BFGS方法和随机循环Barzilai-Borwein方法。最后，我们报告的数值结果来证明所提出的方法的效率。
2014-12-04 math.OC
An Inertial Block Proximal Linearized Method with Adaptive Momentum for Nonconvex and Nonsmooth Optimization
Yunnan Earthquake Administration（云南省地震局）
本文针对多块非凸非光滑优化问题，提出IBPL⁺-TP方法，该方法具三大优势，可保证目标函数单调收敛及序列全局收敛至临界点，在两类带ℓ₀约束的稀疏非负矩阵分解等问题上性能优于现有最先进方法。
2026-08-07 cs.LG math.OC
Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization
Pennsylvania State University（宾夕法尼亚州立大学）；University of Virginia（弗吉尼亚大学）
由于训练数据集规模的爆炸式增长，分布式学习近年来受到了越来越多的关注。主要瓶颈之一是中央服务器和本地工作人员之间的通信成本很高。虽然误差反馈压缩已被证明是成功的，在减少通信成本与随机梯度下降（SGD），有很少的尝试，在建立通信有效的自适应梯度方法与可证明的保证，这是广泛用于训练大规模机器学习模型。在本文中，我们提出了一个新的通信压缩AMSGrad分布式非凸优化问题，这是可证明有效的。我们提出的分布式学习框架具有有效的梯度压缩策略和工人端模型更新设计。我们证明了所提出的通信高效的分布式自适应梯度方法收敛到一阶稳定点，具有相同的迭代复杂度，未压缩香草AMSGrad在随机非凸优化设置。在不同基准上的实验支持了我们的理论。
2022-02-24 cs.AI cs.DC cs.LG
Rank-Adaptive and Linearly Convergent Frank--Wolfe Method over Spectrahedron via Nonconvex Oracle
The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）
本文提出一种秩自适应Frank--Wolfe方法，通过非凸谱Oracle和有效秩替代，在更新秩不超过最优秩时实现线性收敛，并保持低计算成本。
2026-09-09 math.OC
Nonconvex fraction function recovery sparse signal by convex optimization algorithm
在本文中，我们将产生一个凸迭代FP阈值算法来解决问题$(FP^λ_{a})$。提出了两种凸迭代FP阈值算法。一种是凸迭代FP阈值算法-方案1，另一种是凸迭代FP阈值算法-方案2。证明了凸迭代FP阈值算法方案1的整体收敛定理。在自适应规则下，凸迭代FP阈值算法-方案2对于正则化参数$λ$和参数$a$的选择都是自适应的。这是我们提出的两种凸迭代FP阈值算法与我们以前提出的两种迭代FP阈值算法相比的优点。最后，通过一系列的数值模拟对凸迭代FP阈值算法-方案2的性能进行了测试，仿真结果表明，凸迭代FP阈值算法-方案2在恢复稀疏信号时具有很好的性能。
2019-05-28 math.OC
Minimization of Stochastic First-order Oracle Complexity of Adaptive Methods for Nonconvex Optimization
Meiji University（明治大学）
数值评估明确表明，对于深度学习优化器，如随机梯度下降、动量和自适应方法，批量大小每增加一倍，训练深度神经网络所需的步骤数就减半，并且在临界批量大小之外存在收益递减的区域。在本文中，我们确定实际的临界批量大小通过使用全局极小的随机一阶预言（SFO）的复杂性的优化。为了证明实际临界批量的存在性，我们设定了SFO复杂度的上、下界，并证明了在极小化上、下界的意义下存在临界批量.该证明意味着，如果SFO复杂性符合下限和上限，则这些临界批量的存在证明了实际临界批量的存在。我们还讨论了SFO复杂性所需的条件，以适应下限和上限，并提供支持我们的理论结果的数值结果。
2021-12-16 cs.LG math.OC
Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization
Google Research（谷歌研究）
本文提出两种高效方法，通过平滑技术实现自适应矩阵在线学习，解决了传统方法中二次投影的高成本问题，并在非光滑非凸优化中提供收敛保证。
2026-02-09 cs.LG math.OC stat.ML
A relaxed version of Ryu's three-operator splitting method for structured nonconvex optimization
本文提出Ryu三算子分裂方法的松弛版本，用于结构化非凸优化，通过修改算法建立包络函数的充分下降性质，证明在步长足够小时全局子序列收敛到临界点。
2025-09-07 math.OC
Adaptive Mirror Descent Bilevel Optimization
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
本文针对非凸双层优化问题，基于镜像下降提出了自适应方法AdaPAG与AdaVSPAG，分别用于确定性和随机场景，并证明了其具有已知最佳的梯度复杂度和快速收敛速率。
2023-11-18 cs.LG math.OC
Riemannian Stochastic Hybrid Gradient Algorithm for Nonconvex Optimization
近年来，黎曼随机梯度下降（R-SGD）、黎曼随机方差缩减（R-SVRG）和黎曼随机递归梯度（R-SRG）在黎曼优化中引起了广泛的关注。在一般情况下，单独分析R-SRG算法的收敛性是不可能的。主要原因是下降方向的条件期望是一个有偏估计。但是，在本文中，我们考虑黎曼流形上三个下降方向的线性组合作为新的下降方向（即，R-SRG、R-SVRG和R-SGD），并且参数是时变的。首先，我们提出了一种参数自适应的黎曼随机混合梯度（R-SHG）算法。该算法得到了一个整体收敛分析与衰减的步长。对于步长固定的情况，我们考虑了内环固定和时变两种情况。同时，对算法的收敛速度进行了定量研究.针对参数自适应的R-SHG算法的整体收敛对函数的可微性要求较高的问题，提出了一种参数时变的R-SHG算法。在较弱的条件下也得到了类似的结论。
2021-10-15 math.OC
Faster Adaptive Decentralized Learning Algorithms
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）
针对现有自适应去中心化学习算法样本复杂度高的问题，提出两类分别适用于非凸随机与有限和优化的更快自适应去中心化算法，证明其近最优样本复杂度，并通过实验验证了算法效率。
2024-08-19 cs.LG math.OC
Enhanced Adaptive Gradient Algorithms for Nonconvex-PL Minimax Optimization
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（信息产业部模式分析与机器智能重点实验室）；School of Automation Science and Engineering, Xi’an Jiaotong University（西安交通大学自动化科学与工程学院）
本文针对非凸-PL极小极大优化问题，提出增强的基于动量的梯度上升下降方法（MSGDA和AdaMSGDA），实现最优样本复杂度，并通过实验验证其有效性。
2025-04-22 cs.LG cs.NA math.NA
Communication Compression for Distributed Nonconvex Optimization
本文研究了费用函数分布在多个智能体上的分布式非凸优化问题。注意到信息压缩是一个关键的工具，以减少沉重的通信负载的分布式算法代理迭代与邻居进行通信，我们提出了三个分布式原始对偶法压缩通信。前两个算法适用于相对压缩误差有界的一般压缩器类，第三个算法适用于绝对压缩误差有界的一般压缩器类。我们表明，所提出的分布式算法与压缩通信具有可比的收敛性能，最先进的算法与精确的通信。具体地说，我们发现，他们可以找到一阶平稳点的次线性收敛速度$\mathcal{O}(1/T)$时，每个本地的成本函数是光滑的，其中$T$是迭代的总次数，并找到全局最优解的线性收敛速率的一个附加条件下，全球费用函数满足Polyak--Jasiewicz条件。通过数值模拟验证了理论结果的有效性。
2022-10-07 math.OC
A Momentum Accelerated Adaptive Cubic Regularization Method for Nonconvex Optimization
The University of Hong Kong（香港大学）
三次正则化方法（CR）及其自适应方法（ARC）是求解无约束非凸优化问题的常用牛顿型方法，由于其在较弱的条件下具有整体收敛到局部极小点的优点。本文的主要目的是发展一种动量加速的自适应立方正则化方法（ARCm），以提高收敛性能。在适当选择动量步长的情况下，证明了ARCm的整体收敛，并在\KL性质下保证了局部收敛性.这种全局和局部收敛也可以建立在迭代过程中采用低计算成本的不精确求解器。非凸逻辑斯谛回归和鲁棒线性回归模型的数值结果表明，所提出的ARCm显着优于最先进的三次正则化方法（例如，CR、基于动量的CR、ARC）和置信域方法。特别地，ARCm所需的迭代次数比实验中最具竞争力的方法（ARC）所需的迭代次数少小于10%~ 50%.
2022-10-12 cs.LG cs.NA math.NA
Beyond Nonconvexity: A Universal Trust-Region Method with New Analyses
School of Information Management and Engineering Shanghai University of Finance and Economics（上海财经大学信息管理与工程学院）；Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）
本文提出了一种通用信任域方法，通过引入新的下降性质，统一分析凸和非凸优化问题，并在非凸优化中达到~O(ε^{-3/2})的迭代复杂度，同时在凸优化中达到O(ε^{-1/2})的复杂度界。
2026-01-23 math.OC
STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization
Technion（以色列理工学院）；EPFL（洛桑联邦理工学院）
本文研究了随机非凸优化问题，其中目标函数是光滑损失函数上的期望，目标是找到一个近似的稳定点。处理此类问题的最流行的方法是方差缩减技术，该技术也被称为获得紧收敛速度，在这种情况下匹配下界。然而，这些技术需要结合适当选择的“超大批量”仔细维护锚点。这导致了一个具有挑战性的超参数调整问题，削弱了它们的实用性。最近，[Cutkosky和Orabona，2019]已经表明，可以使用递归动量来避免使用锚点和大批量，并且仍然获得此设置的最佳速率。然而，他们称为STORM的方法关键依赖于光滑性的知识，以及梯度范数的界限。在这项工作中，我们提出了风暴+，一个新的方法，是完全无参数，不需要大批量，并获得最佳的$O(1/T^{1/3})$率找到一个近似的稳定点。我们的工作建立在STORM算法的基础上，结合一种新的方法来自适应地设置学习率和动量参数。
2021-11-01 cs.LG math.OC
An Accelerated Block Proximal Framework with Adaptive Momentum for Nonconvex and Nonsmooth Optimization
Yunnan University（云南大学）
针对非凸非光滑优化问题，提出带自适应动量的加速块近似框架，解决外推失效问题，支持块变量随机顺序更新，在温和假设下证明收敛性与收敛速率，经数值实验验证有效。
2023-08-24 cs.LG math.OC
Fast Adaptive Tensor Methods Under Local Smoothness
University of Oxford（牛津大学）
提出一种新的快速自适应正则化方法，在p阶张量局部Lipschitz光滑下，非凸问题达到最优复杂度O(|log(ε)|ε^{-(p+1)/p})，凸问题达到O(|log(ε)|ε^{-1/p})，匹配全局光滑情形。
2026-06-29 math.OC
Stochastic Alternating Direction Method of Multipliers with Variance Reduction for Nonconvex Optimization
本文研究了非凸优化问题的随机交替方向法（ADMM），基于不同的方差约化随机梯度，提出了三类方差约化的非凸随机ADMM。具体来说，第一类称为非凸随机方差降低梯度ADMM（SVRG-ADMM），使用多阶段计划，逐步减少随机梯度的方差。第二种是非凸随机平均梯度ADMM（SAG-ADMM），它还使用了在前一次迭代中估计的旧梯度。第三种称为SAGA-ADMM，是SAG-ADMM方法的扩展。此外，在适当的条件下，我们建立了所提方法的$O(1/ε)$的迭代复杂度界，以获得非凸优化问题的$ε$ -平稳解.特别是，我们提供了一个通用的框架来分析这些非凸随机ADMM方法的迭代复杂性与方差减少。最后，数值实验验证了本文方法的有效性.
2017-07-26 math.OC stat.ML
Complexity of Proximal augmented Lagrangian for nonconvex optimization with nonlinear equality constraints
我们分析了非线性等式约束非凸优化的近端增广拉格朗日（近端AL）框架的最坏情况的复杂性。当近似的一阶（二阶）最优点在子问题中得到，一阶$ε$在$\mathcal{O}(1/ ε^{2 - η})$外部迭代中，可以保证原始问题的（二阶）最优点（其中$η$是用户定义的参数，$η\in[0,2]$用于一阶结果，$η\in [1,2]$用于二阶结果）当邻近项系数$β$和惩罚参数$ρ$分别满足$β= \mathcal{O}(ε^η)$和$ρ= Ω(1/ε^η)$时。我们还研究了使用牛顿共轭梯度算法求解子问题时的总迭代复杂度和运算复杂度。最后，我们讨论了一个自适应方案，用于确定满足分析要求的参数$ρ$的值。
2020-09-01 math.OC
A restart-free accelerated algorithm for nonconvex minimization: continuous- and discrete-time analysis
Institute of Science Tokyo (former Tokyo Institute of Technology)（科学技术研究院（原东京工业大学））；Tokyo Metropolitan University（东京都立大学）
提出两种无重启的一阶方法，在O(ε^{-7/4})次函数和梯度评估内达到ε-近似一阶稳定点，无需ε作为输入参数，通过常微分方程离散化推导，并在性能估计问题框架下进行收敛分析。
2026-10-14 math.OC
Third-order Smoothness Helps: Even Faster Stochastic Optimization Algorithms for Finding Local Minima
University of Virginia（弗吉尼亚大学）
我们提出了随机最优化算法，可以找到局部极小值比现有的算法更快的非凸最优化问题，利用三阶光滑逃避非退化鞍点更有效。更具体地说，所提出的算法只需要$\tilde{O}(ε^{-10/3})$随机梯度评估收敛到一个近似的局部最小值$\mathbf{x}$，它满足$\|\nabla f(\mathbf{x})\|_2\leqε$和$λ_{\min}(\nabla^2 f(\mathbf{x}))\geq -\sqrtε$在一般的随机最优化设置，其中$\tilde{O}(\cdot)$隐藏对数多项式项和常数。这将现有技术的随机局部最小值查找算法所实现的$\tilde{O}(ε^{-7/2})$梯度复杂度提高了$\tilde{O}(ε^{-1/6})$的因子。对于非凸有限和优化，我们的算法也优于最好的已知算法在一定的制度。
2017-12-18 cs.LG math.OC
Matching Randomized First-Order Bounds for Higher-Order Smooth Nonconvex Optimization
Peking University（北京大学）
该研究针对高阶光滑非凸优化，证明找到ε-驻点需Ω_p(ε^{-5/3})次查询，确立5/3随机精度壁垒，扩展了此前匹配的三阶情况。
2026-10-20 math.OC
Learning-rate-free Momentum SGD with Reshuffling Converges in Nonsmooth Nonconvex Optimization
本文提出一个广义框架，用于在最小化不光滑非凸函数时开发无需学习率的动量SGD方法，并基于此提出LFM方法，证明了其全局收敛性，实验表明LFM性能与现有先进方法相当。
2024-06-26 math.OC
Efficiency of Coordinate Descent Methods For Structured Nonconvex Optimization
Shanghai University of Finance and Economics（上海财经大学）
提出了一种新的坐标下降（CD）方法来最小化由三项组成的非凸函数：（i）连续可微项，（ii）简单凸项，（iii）凹连续项.首先，通过扩展随机CD到非光滑非凸设置，我们开发了一个坐标次梯度方法，通过使用块复合次梯度映射随机更新块坐标变量。该方法在一定的最优性测度下，以证明的次线性收敛速度渐近收敛到临界点。其次，我们开发了一个随机置换CD方法，它有两个交替的步骤：线性化凹部和循环通过变量。我们证明了渐近收敛到临界点和次线性复杂率的目标光滑和凹的部分。第三，我们扩展加速坐标下降（ACD）的非光滑和非凸优化，开发一种新的随机邻近DC算法，我们解决子问题不精确的ACD。对于每个DC子问题，最多只需要几次ACD迭代就可以保证收敛，并建立了收敛复杂度来确定一些近似的临界点。第四，我们进一步发展了第三种方法来最小化某些病态的非凸函数：具有高Lipschitz常数与负曲率比的弱凸函数。我们表明，在特定的标准下，ACD为基础的随机化方法具有优越的复杂性相比，传统的梯度法。最后，稀疏诱导学习模型的实证研究表明，CD方法优于基于梯度的方法，某些大规模的问题。
2019-09-03 cs.LG math.OC stat.ML
An adaptive regularization algorithm for unconstrained optimization with inexact function and derivatives values
提出了一种求解无约束非凸优化问题的自适应正则化算法，该算法能够处理不精确的目标函数和导数值，并能提供任意阶的近似极小值。与Cartis，Gould，Toint（2021）提出的类似算法相比，其特点是基于控制模型与目标值之间的相对误差。给出了新算法的一个精确的计算复杂度界.
2021-11-28 math.OC
Proximal Limited-Memory Quasi-Newton Methods for Nonsmooth Nonconvex Optimization
University of Würzburg（维尔茨堡大学）；University of the Bundeswehr Munich（联邦国防军慕尼黑大学）
本文提出一种近端有限记忆拟牛顿方法，用于求解可微函数与非光滑函数之和的最小化问题，通过自适应更新正则化参数实现全局收敛，并在Kurdyka-Lojasiewicz性质下建立序列收敛性。
2026-10-27 math.OC
Fully Distributed Continuous-Time Algorithm for Nonconvex Optimization over Unbalanced Directed Networks
研究了非平衡有向网络上分布式连续时间非凸最优化问题。我们的目标是合作驱动所有的代理状态的最优解，最小化的本地费用函数的总和。基于拓扑平衡技术和适应控制方法，提出了一种新的完全分布式算法，该算法既不需要网络连通性的全局先验信息，也不需要局部费用函数的凸性。将该算法看作一个摄动系统，首先建立了该算法在摄动为零时的输入-状态稳定性，然后在松弛条件下证明了决策变量向最优解的渐近收敛.算法设计的一个关键特点是它消除了对局部费用函数的最小强凸性常数的依赖，以及不平衡有向拓扑的拉普拉斯矩阵的零特征值对应的左特征向量。两个例子说明了所提出的全分布式算法的有效性。
2022-11-30 math.OC
A Hybrid Subgradient Method for Nonsmooth Nonconvex Bilevel Optimization
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen University（深圳大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
本文提出一种混合子梯度法，结合双时间尺度动量加速子梯度法和可行性恢复方案，解决非凸双层优化问题，实现全局收敛性和高效计算。
2026-09-01 math.OC
Nonconvex quasi-variational inequalities: stability analysis and application to numerical optimization
该研究针对无凸性假设的参数化拟变分不等式，通过最优值函数重构问题，推导了余导数估计与鲁棒稳定性条件，构建了带QVI约束优化的必要条件，设计了无需三阶导数的半光滑牛顿类方法并验证了有效性。
2024-08-20 math.OC
