Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization
University of Utah(犹他大学);The Ohio State University(俄亥俄州立大学);Duke University(杜克大学)
为了加速梯度算法在凸优化中的实际收敛性,人们提出了各种类型的参数重新启动方案。然而,在非凸优化问题中,加速梯度算法在参数重新启动下的收敛性仍不清楚。本文提出了一种新的带参数重启的加速近似梯度算法(APG-重启),用于求解非凸非光滑问题。我们的APG-重启的目的是:1)允许采用灵活的参数重启计划,涵盖了许多现有的; 2)有一个全球的子线性收敛速率在非凸和非光滑最优化;和3)有保证的收敛到一个临界点,并有各种类型的渐近收敛速度取决于参数化的局部几何非凸和非光滑最优化。数值实验证明了该算法的有效性。
2020-04-27 cs.LG math.OC
A Diffusion Approximation Theory of Momentum SGD in Nonconvex Optimization
School of Industrial and Systems Engineering at Georgia Tech(佐治亚理工学院工业与系统工程学院)
动量随机梯度下降(Momentum Stochastic Gradient Descent,MSGD)算法已被广泛应用于机器学习中的许多非凸优化问题,例如,训练深度神经网络,变分贝叶斯推理等。尽管它的经验成功,仍然缺乏对MGD收敛特性的理论理解。为了填补这一空白,我们建议分析的算法行为的MSGD扩散近似的非凸优化问题,严格的鞍点和孤立的局部最优。我们的研究表明,动量有助于逃离鞍点,但损害最优邻域内的收敛(如果没有步长退火或动量退火)。我们的理论发现部分证实了MSGD在训练深度神经网络方面的经验成功。
2021-03-06 cs.LG math.OC stat.ML
Cubic Regularization with Momentum for Nonconvex Optimization
Ohio State University(俄亥俄州立大学);Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院)
动量是一种在实际训练中用于加速收敛的常用技术,其对一阶算法收敛保证的影响已得到充分研究。然而,这样一个成功的加速技术还没有被提出用于非凸优化的二阶算法。在本文中,我们将动量格式应用于三次正则化(CR)牛顿法,并探索加速的潜力。我们对各种非凸最优化问题的数值实验表明,动量格式可以大大促进三次正则化的收敛,甚至比Nesterov的加速方案CR。理论上,我们证明了CR在动量下达到了最好的收敛速度到非凸优化的二阶稳定点。此外,我们研究了所提出的算法求解问题满足误差界条件,并建立了一个局部平方收敛速率。然后,特别是有限和问题,我们表明,该算法可以允许计算不精确,降低了整体样本的复杂性,而不会降低收敛速度。
2019-06-27 cs.LG math.OC stat.ML
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University(上海大学);College of Sciences(理学院);Newtouch Center for Mathematics of Shanghai University(上海大学新接触数学中心)
针对随机非凸-凹极小极大问题,提出加速一阶正则化动量下降上升算法(FORMDA),其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$,实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
Accelerate Distributed Stochastic Descent for Nonconvex Optimization with Momentum
IBM TJ Watson Research Center(IBM托马斯·J·沃森研究中心);Georgia Institute of Technology(佐治亚理工学院)
动量方法已广泛用于深度学习的优化器中。最近的研究表明,通过K步平均的分布式训练具有许多良好的特性。我们提出了一个动量方法,这样的模型平均方法。在每个个体学习者水平上应用传统的随机梯度。在元级(全局学习器级),应用一个动量项,我们称之为块动量。我们分析了这种动量方法的收敛性和标度性质。我们的实验结果表明,块动量不仅可以加速训练,而且可以取得更好的效果。
2021-10-01 cs.AI cs.LG math.OC
Learning-rate-free Momentum SGD with Reshuffling Converges in Nonsmooth Nonconvex Optimization
本文提出一个广义框架,用于在最小化不光滑非凸函数时开发无需学习率的动量SGD方法,并基于此提出LFM方法,证明了其全局收敛性,实验表明LFM性能与现有先进方法相当。
2024-06-26 math.OC
Policy iteration for nonconvex viscous Hamilton--Jacobi equations
本文使用时空离散格式研究了非凸粘性 Hamilton--Jacobi 方程的策略迭代收敛速率,分析了不可控扩散项情形,并获得了指数收敛结果与离散化误差分析。
2025-03-04 cs.NA math.AP math.NA
A restart-free accelerated algorithm for nonconvex minimization: continuous- and discrete-time analysis
Institute of Science Tokyo (former Tokyo Institute of Technology)(科学技术研究院(原东京工业大学));Tokyo Metropolitan University(东京都立大学)
提出两种无重启的一阶方法,在O(ε^{-7/4})次函数和梯度评估内达到ε-近似一阶稳定点,无需ε作为输入参数,通过常微分方程离散化推导,并在性能估计问题框架下进行收敛分析。
2026-10-14 math.OC
Near-Optimal Decentralized Momentum Method for Nonconvex-PL Minimax Problems
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对数据分布于多节点且满足PL条件的非凸-非凹极小极大问题,提出分散式动量梯度下降上升DM-GDA,并证明其达到O(ε^-3)近最优梯度复杂度。
2023-04-21 cs.LG math.OC
Proximal Stochastic Recursive Momentum Methods for Nonconvex Composite Decentralized Optimization
本文提出单循环算法DEEPSTORM,以$\mathcal{O}(1)$小批量规模首次在去中心化非凸随机复合优化中实现最优样本复杂度,并在恒定步长下获得网络无关的样本复杂度及随智能体数N的线性加速。
2023-04-13 math.OC
MoSSP: A Momentum-Based Single-Loop Stochastic Penalty Method for Nonconvex Constrained DC-Regularized Optimization
School of Mathematical Sciences, Beihang University, Beijing 100191, China(北京航空航天大学数学学院);School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou 510006, China(中山大学计算机科学与工程学院)
提出MoSSP算法,一种基于动量的单环随机惩罚方法,用于解决具有非凸约束和DC正则化的随机优化问题,实现了O(ε^{-4})和O(ε^{-3})的oracle复杂度。
2026-05-28 cs.LG math.OC
Optimal Asynchronous Stochastic Nonconvex Optimization under Heavy-Tailed Noise
本文提出了一种在重尾噪声下异步非凸优化的最优算法,通过归一化随机梯度下降与动量项实现最优时间复杂度。
2026-01-27 cs.LG math.OC
Revisiting Lossless Convexification: Theoretical Guarantees for Discrete-time Optimal Control Problems
本文扩展无损凸化理论至离散时间最优控制,通过扰动与二分搜索分别处理正常与长时域情形,保证最优控制满足非凸约束,提升理论适用性。
2025-03-31 math.OC
A Momentum-based Stochastic Algorithm for Linearly Constrained Nonconvex Optimization
Charles L. Brown Department of Electrical and Computer Engineering, University of Virginia(弗吉尼亚大学查尔斯·L·布朗电气与计算机工程系)
本文提出一种基于动量的增广拉格朗日方法,用于解决线性约束非凸优化问题,在每轮迭代中仅需一次随机梯度评估,保证了首次阶KKT残差的收敛性,并在期望上以O(ε^{-4})的随机梯度评估次数计算ε- stationary解。
2026-04-14 cs.SY eess.SY math.OC
Heterogeneous Stochastic Momentum ADMM for Distributed Nonconvex Composite Optimization
Sun Yat-Sen University(中山大学);Zhejiang University(浙江大学);Tsinghua University(清华大学);University of Victoria(维多利亚大学)
HSM-ADMM通过自适应步长策略和递归动量估计器,实现分布式非凸优化的高效稳健收敛。
2026-03-08 math.OC
A deterministic optimization algorithm for nonconvex and combinatorial bi-objective programming
University College London(伦敦大学学院);Imperial College London(帝国理工学院)
本文提出SDNBI算法,通过有效探索非凸Pareto前沿区域并早期识别无解区域,在计算成本和Pareto最优集质量上优于改进NBI和SD算法,适用于非凸和组合双目标优化问题。
2026-09-30 math.OC
Fully Convergent Projection-based Methods with Momentum under Nonconvex Geometric Constraints
Università di Firenze(佛罗伦萨大学);Sapienza Università di Roma(罗马第一大学)
研究非凸几何条件下非线性优化问题,提出将动量项融入投影梯度法框架的方法,通过合适回溯机制确保收敛,经数值测试,该方法利用动量项信息,在计算上有效。
2026-10-06 math.OC
Explicit Convergence Regions of PID-Damped Accelerated Gradient Methods in Nonconvex Optimization
Hangzhou Dianzi University(杭州电子科技大学);The Hong Kong Polytechnic University(香港理工大学);Zhejiang University of Science and Technology(浙江科技大学)
针对非凸优化中动量加速梯度方法的过冲和振荡问题,本文通过控制理论建立步长、动量和导数增益的三维显式收敛区域,并揭示导数增益的严格几何上界。
2026-06-05 math.OC
Discrete Optimal Designs for Distributed Energy Systems with Nonconvex Multiphase Optimal Power Flow
在并网分布式能源系统(DES)中,小型技术的最佳选择、规模和位置有助于减少碳排放、消费者成本和网络不平衡。这是第一个研究提出了一个优化框架,以获得离散的技术规模和选择并网DES设计,同时考虑多相最优潮流(MOPF)的约束,以准确地表示不平衡的低压配电网。一个算法来解决由此产生的混合约束非线性规划(MINLP)制定。它采用了基于混合线性规划(MILP)和非线性规划(NLP)的分解,并利用整数切割和互补重构,以获得离散的设计,也是可行的网络约束。为了提高计算速度,对原算法进行了启发式修改。改进的公式选择空气源热泵(ASHP)和热水储罐的可行组合也提出。该算法优于现有的国家的最先进的商业MINLP求解器,未能找到任何解决方案在两个实例。虽然在所有情况下都得到了可行解,但并不是所有情况都实现了收敛,尤其是涉及较大网络的情况。在收敛的情况下,具有启发式修改的算法比原始算法快70%。案例研究的结果表明,与燃气锅炉相比,包括ASHP可以支持高达16%的可再生能源发电能力,尽管ASHP的投资成本更高。优化框架和结果可用于为政策制定者和网络运营商等利益相关者提供信息,以增加可再生能源容量并帮助家庭供暖系统脱碳。
2022-09-28 math.OC
Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum
School of Cyber Science & Engineering, Southeast University(东南大学网络空间科学与工程学院);Institute of Artificial Intelligence (TeleAI) of China Telecom(中国电信人工智能研究院);School of Mathematics, Southeast University(东南大学数学学院);Purple Mountain Laboratories(紫金山实验室)
针对分布式非凸复合联邦学习问题,提出DEPOSITUM算法,其通过梯度跟踪机制适配两类动量,支持多轮局部更新,理论上具低迭代复杂度,实验验证其有效性与竞争力。
2026-08-11 cs.DC cs.LG math.OC
Optimal Control of Nonconvex Sweeping Processes with Variable Time via Finite-Difference Approximations
本文研究变时间非凸扫掠型微分包含的最优控制问题,通过开发离散逼近方法并证明其强收敛性,结合变分分析导出次最优性必要条件,并应用于智能体运动模型的交互分析与最优解算法设计。
2025-03-04 math.DS math.OC
An Inertial Block Proximal Linearized Method with Adaptive Momentum for Nonconvex and Nonsmooth Optimization
Yunnan Earthquake Administration(云南省地震局)
本文针对多块非凸非光滑优化问题,提出IBPL⁺-TP方法,该方法具三大优势,可保证目标函数单调收敛及序列全局收敛至临界点,在两类带ℓ₀约束的稀疏非负矩阵分解等问题上性能优于现有最先进方法。
2026-08-07 cs.LG math.OC
Stochastic momentum ADMM for nonconvex and nonsmooth optimization with application to PnP algorithm
本文提出单循环随机动量ADMM(SMADMM),以最优复杂度解决非凸非光滑优化,并集成即插即用先验形成PnP-SMADMM,实验证明其在分类、CT重建和相位恢复中优于现有方法。
2025-04-20 cs.NA math.NA math.OC
Heavy Ball and Nesterov Accelerations with Hessian-driven Damping for Nonconvex Optimization
针对强拟凸非凸优化,提出带 Hessian 驱动阻尼的 Heavy Ball 与 Nesterov 加速离散算法,实现线性收敛并减轻振荡。
2025-06-18 math.OC
Continuized Nesterov Momentum Achieves the $O(\varepsilon^{-7/4})$ Complexity in Smooth Nonconvex Optimization
Univ. Bordeaux, Bordeaux INP, CNRS, IMB, UMR 5251(波尔多大学,波尔多理工学院,法国国家科学研究中心,数学研究所);IMT, Univ. Toulouse, INSA Toulouse(图卢兹数学研究所,图卢兹大学,图卢兹国立应用科学学院);CNRS, Univ. Paris Dauphine, Inria Mokaplan(法国国家科学研究中心,巴黎第九大学,法国国家计算机科学与自动化研究所莫卡普兰实验室)
针对非凸函数的一阶优化,通过随机化动量参数并利用连续化方法,以高概率达到$\varepsilon$-近似稳定点的最优复杂度$\mathcal{O}(\varepsilon^{-7/4})$,无需重置动量机制。
2026-07-29 math.OC
Pricing Discrete and Nonlinear Markets With Semidefinite Relaxations
Clemson University(克莱姆森大学)
本文提出了一种基于半定松弛的非凸市场定价方案,通过凸化非凸结构并利用对偶变量推导价格,有效降低了电力市场中的损失机会成本。
2026-02-17 econ.GN math.OC q-fin.EC
Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning
University of Utah(犹他大学)
交替梯度下降上升(AltGDA)是一种优化算法,已被广泛用于各种机器学习应用中的模型训练,其目的是解决非凸极大极小优化问题。然而,现有的研究表明,它遭受了高计算复杂性的非凸极大极小优化。在本文中,我们开发了一个单循环和快速AltGDA型算法,利用最近的梯度更新和动量加速来解决正则化非凸极大极小优化问题。通过利用动量加速技术,我们证明了该算法收敛到一个临界点在非凸极小极大优化,并实现了计算复杂度的顺序为$\mathcal{O}(κ^{\frac{11}{6}}ε^{-2})$,其中$ε$是所需的精度水平和$κ$是问题的条件数。{Such计算复杂度提高了单循环GDA和AltGDA算法的现有技术的复杂度(参见\Cref{table1}中的比较概要)}。我们通过对抗性深度学习的实验证明了我们的算法的有效性。
2022-05-19 cs.LG math.OC
Momentum-based variance-reduced proximal stochastic gradient method for composite nonconvex stochastic optimization
Rensselaer Polytechnic Institute(伦斯勒理工学院);Clemson University(克莱姆森大学)
随机梯度法(SGM)已广泛用于解决随机问题或大规模机器学习问题。最近的工作采用各种技术,以提高收敛速度的SGM的凸和非凸的情况下。它们中的大多数在改进的SGM的一些或所有迭代中需要大量的样本个数。在本文中,我们提出了一个新的SGM,命名为PStorm,解决非凸非光滑随机问题。利用基于动量的方差减少技术,PStorm可以实现最佳复杂度结果$O(\varepsilon^{-3})$,以产生随机$\varepsilon$ -稳态解,如果均方平滑条件成立。与现有的优化方法不同,PStorm在每次更新时只需要使用一个或$O(1)$样本就可以得到${O}(\varepsilon^{-3})$的优化结果。有了这个属性,PStorm可以应用于在线学习问题,有利于基于一个或$O(1)$新的观察实时决策。此外,对于大规模的机器学习问题,PStorm可以通过小批量训练比其他需要大批量训练的优化方法和普通SGM更好地泛化,正如我们在训练稀疏全连接神经网络和稀疏卷积神经网络时所展示的那样。
2022-04-29 cs.LG cs.NA math.NA
A Momentum Accelerated Adaptive Cubic Regularization Method for Nonconvex Optimization
The University of Hong Kong(香港大学)
三次正则化方法(CR)及其自适应方法(ARC)是求解无约束非凸优化问题的常用牛顿型方法,由于其在较弱的条件下具有整体收敛到局部极小点的优点。本文的主要目的是发展一种动量加速的自适应立方正则化方法(ARCm),以提高收敛性能。在适当选择动量步长的情况下,证明了ARCm的整体收敛,并在\KL性质下保证了局部收敛性.这种全局和局部收敛也可以建立在迭代过程中采用低计算成本的不精确求解器。非凸逻辑斯谛回归和鲁棒线性回归模型的数值结果表明,所提出的ARCm显着优于最先进的三次正则化方法(例如,CR、基于动量的CR、ARC)和置信域方法。特别地,ARCm所需的迭代次数比实验中最具竞争力的方法(ARC)所需的迭代次数少小于10%~ 50%.
2022-10-12 cs.LG cs.NA math.NA
Decentralized projected Riemannian stochastic recursive momentum method for nonconvex optimization
National University of Defense Technology(国防科技大学);University of California, Berkeley(加州大学伯克利分校)
针对通信网络中n个节点的紧子流形非凸优化问题,提出分布式投影黎曼随机递归动量方法,其神谕复杂度优于现有方法,经主成分分析和低秩矩阵补全实验验证有效性。
2026-08-28 math.OC
Optimal control of nonconvex integro-differential sweeping processes
本文致力于研究,在文献中的第一次,由积分-微分包含的Volterra型与不同类的控制功能,在非凸移动集,外部动态扰动,和整体部分的扫描动态扫描过程的最优控制问题。我们建立了最优解的存在性,然后得到了这类问题中广泛的一类局部极小的必要最优性条件。我们的方法来获得必要的最优性条件是基于离散逼近的方法结婚的基本建设和微积分规则的一阶和二阶变分分析和广义微分。所获得的必要的最优性条件表示完全的问题数据方面,并说明了非平凡的例子,包括应用程序的非常规电路的最优控制模型。
2021-03-28 math.OC
STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization
Technion(以色列理工学院);EPFL(洛桑联邦理工学院)
本文研究了随机非凸优化问题,其中目标函数是光滑损失函数上的期望,目标是找到一个近似的稳定点。处理此类问题的最流行的方法是方差缩减技术,该技术也被称为获得紧收敛速度,在这种情况下匹配下界。然而,这些技术需要结合适当选择的“超大批量”仔细维护锚点。这导致了一个具有挑战性的超参数调整问题,削弱了它们的实用性。最近,[Cutkosky和Orabona,2019]已经表明,可以使用递归动量来避免使用锚点和大批量,并且仍然获得此设置的最佳速率。然而,他们称为STORM的方法关键依赖于光滑性的知识,以及梯度范数的界限。在这项工作中,我们提出了风暴+,一个新的方法,是完全无参数,不需要大批量,并获得最佳的$O(1/T^{1/3})$率找到一个近似的稳定点。我们的工作建立在STORM算法的基础上,结合一种新的方法来自适应地设置学习率和动量参数。
2021-11-01 cs.LG math.OC
Distributed Stochastic Consensus Optimization with Momentum for Nonconvex Nonsmooth Problems
Sichuan University(四川大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳市大数据研究院);University of Florida(佛罗里达大学)
虽然已经提出了许多分布式优化算法来解决网络上的光滑或凸问题,但很少有人能处理非凸和非光滑问题。基于近似原-对偶方法,提出了一种新的带Nesterov动量的(随机)分布式算法,用于非凸非光滑优化问题的加速优化。理论上,我们证明了该算法在恒定步长下可以获得具有$\mathcal{O}(1/ε^2)$计算复杂度和$\mathcal{O}(1/ε)$通信复杂度的$ε$平稳解.与现有的基于梯度跟踪的方法相比,该算法具有相同数量级的计算复杂度,但通信复杂度较低。据我们所知,所提出的结果是第一个随机算法与$\mathcal{O}(1/ε)$通信复杂性的非凸和非光滑问题。通过对分布式非凸回归问题和基于深度神经网络的分类问题的数值实验,验证了所提算法的有效性。
2020-11-10 cs.LG math.OC
Compressed Decentralized Momentum Stochastic Gradient Methods for Nonconvex Optimization
Department of Mathematical Sciences(数学科学系);Rensselaer Polytechnic Institute(伦斯勒理工学院);Department of Computer Science(计算机科学系);MIT-IBM Watson AI Lab, IBM Research(MIT-IBM Watson AI实验室,IBM研究);IBM T. J. Watson Research Center(IBM T.J. 华生研究中心)
本文提出两种压缩去中心化动量随机梯度算法,分别针对梯度有界和无界数据异构场景,实现最优收敛率、线性加速,并在DNN和Transformer训练中表现优越。
2025-08-07 cs.LG math.OC
Distributed Nonconvex Optimization with Exponential Convergence Rate via Hybrid Systems Methods
University of California, Santa Cruz(加州大学圣克鲁兹分校);Merlin Labs(梅林实验室);Georgia Institute of Technology(佐治亚理工学院)
本文提出混合系统框架用于分布式非凸优化,通过连续时间计算与离散时间通信实现指数收敛,证明了在满足PL条件下的全局稳定性,并通过仿真展示收敛速率与初始条件的影响。
2026-03-14 math.OC
Stochastic Bregman Subgradient Methods for Nonsmooth Nonconvex Optimization Problems
本文研究目标函数缺乏Clarke正则性时的随机Bregman次梯度方法,通过微分包含建立收敛性,提出非精确求解与动量集成机制,并验证其在训练非光滑神经网络中的有效性。
2025-05-29 math.OC
Tight Lower Bounds and Optimal Algorithms for Stochastic Nonconvex Optimization with Heavy-Tailed Noise
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);École Polytechnique(巴黎综合理工学院)
本文研究了在厚尾噪声下的随机非凸优化问题,建立了基于放松的均方光滑性和δ-相似性假设的紧样本复杂度下界,并提出了NSGD-MVR和Double-Clipped NSGD-MVR算法,实现了更优的收敛速率。
2026-03-31 math.OC
An Accelerated Block Proximal Framework with Adaptive Momentum for Nonconvex and Nonsmooth Optimization
Yunnan University(云南大学)
针对非凸非光滑优化问题,提出带自适应动量的加速块近似框架,解决外推失效问题,支持块变量随机顺序更新,在温和假设下证明收敛性与收敛速率,经数值实验验证有效。
2023-08-24 cs.LG math.OC
Decentralized Nonconvex Optimization under Heavy-Tailed Noise: Normalization and Optimal Convergence
Carnegie Mellon University(卡内基梅隆大学);University of Novi Sad(诺维萨德大学)
本文研究了在去中心化设置下,非凸随机优化中的重尾噪声问题,提出GT-NSGDm算法,通过归一化、梯度跟踪和动量技术,实现最优非渐近收敛率。
2026-04-16 cs.DC math.OC
A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and Nonsmooth Bi-level Optimization
University of Utah(犹他大学);Lawrence Livermore National Lab(劳伦斯利弗莫尔国家实验室)
许多重要的机器学习应用涉及正则化非凸双层优化。然而,现有的基于梯度的双层优化算法不能处理非凸或非光滑的正则化子,并且它们在非凸双层优化中具有很高的计算复杂度。在这项工作中,我们研究了一个近似梯度型算法,采用近似隐式微分(AID)计划的非凸双层优化可能非凸和非光滑正则化。特别地,该算法应用Nesterov的动量来加速AID中涉及的隐式梯度的计算。通过确定算法的内禀势函数,全面分析了算法的全局收敛性。特别是,我们正式建立了收敛的模型参数的临界点的双层问题,并获得了改进的计算复杂度$\mathcal{O}(κ^{3.5}ε^{-2})$的国家的最先进的结果。此外,我们分析了该算法的渐近收敛速度下的一类局部非凸几何的特点是一个Eschojasiewicz型梯度不等式。超参数优化实验表明了该算法的有效性。
2022-06-03 cs.LG math.OC
A geometric integration approach to nonsmooth, nonconvex optimisation
不使用梯度的非光滑非凸函数的优化是一个特别具有挑战性的问题,经常遇到,例如在模型参数优化问题中。参数的双层优化是变分正则化问题和监督机器学习等领域的标准设置。我们提出了高效和强大的衍生工具的方法,称为随机伊藤-安倍晋三方法。这些都是概括的伊藤-安倍离散梯度法,一个著名的计划,从几何积分,以前只被认为是在顺利设置。我们证明了该方法及其有利的能量耗散特性是定义在非光滑设置。证明了当目标函数局部Lipschitz连续时,迭代几乎必然收敛于Clarke平稳点的连通集.我们提出了一个实现的方法,并将其应用到各种测试问题。数值结果表明,随机伊藤-安倍晋三的方法是优于国家的最先进的无导数优化方法在解决非光滑问题,同时保持竞争力的效率。
2018-07-19 math.OC
On Momentum-Based Gradient Methods for Bilevel Optimization with Nonconvex Lower-Level
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
针对下层非凸且满足PL条件的双层优化问题,提出了基于动量的梯度方法MGBiO及随机方法MSGBiO和VR-MSGBiO,并提供了收敛性分析,显著降低了样本复杂度,实验验证了算法的有效性。
2023-11-18 cs.LG cs.NA math.NA
Parameter-Free Accelerated Quasi-Newton Method for Nonconvex Optimization
University of Tokyo(东京大学)
本文提出了一种无参数的非凸优化准牛顿方法,通过结合动量加速、四次正则化和PSB更新,实现了在梯度评估次数上的高效优化。
2026-08-19 math.OC
Compressed Decentralized Proximal Stochastic Gradient Method for Nonconvex Composite Problems with Heterogeneous Data
首先,我们提出了一个分散的近端随机梯度跟踪方法(DProxSGT)的非凸随机复合问题,数据异构分布在多个工人在一个分散的连接网络。为了节省通信成本,我们扩展DProxSGT的压缩方法,通过压缩通信信息。这两种方法都只需要每个工人的$\mathcal{O}(1)$样本来进行每次邻近更新,这对于在训练深度神经网络时实现良好的泛化性能非常重要。通过对期望损失函数(但不是对每个样本函数)的平滑条件,所提出的方法可以实现最佳样本复杂度结果以产生近平稳点。训练神经网络的数值实验表明,我们的方法比大批量训练方法和动量方差减少方法具有更好的泛化性能,并且通过梯度跟踪方案处理异构数据的能力。
2023-02-28 math.OC
The Number of Steps Needed for Nonconvex Optimization of a Deep Learning Optimizer is a Rational Function of Batch Size
Meiji University(明治大学)
最近,针对非凸优化的深度学习优化器的收敛性和收敛速度分析得到了广泛的研究。与此同时,优化器的数值评估精确地阐明了批量大小与训练深度神经网络所需步骤数之间的关系。本文的主要贡献是从理论上表明,每个优化器的非凸优化所需的步骤数可以表示为批量大小的有理函数。拥有这些有理函数会导致两个特别重要的事实,这在以前的研究中得到了数值验证。第一个事实是,存在一个最佳的批量大小,使得非凸优化所需的步骤数最小化。这意味着使用比最优批量更大的批量不会减少非凸优化所需的步骤数。第二个事实是最佳批处理大小取决于优化器。特别是,它从理论上表明,动量和亚当型优化器可以利用更大的最优批次,并进一步减少非凸优化所需的最小步骤数比随机梯度下降优化。
2021-08-26 cs.LG math.OC
An Optimal Hybrid Variance-Reduced Algorithm for Stochastic Composite Nonconvex Optimization
在本文中,我们提出了一个新的变种的混合方差减少邻近梯度法在[7]中解决一个常见的随机复合非凸最优化问题在标准的假设。我们简单地将[7]中引入的混合- SARAH估计中的独立无偏估计替换为在相同样本下估计的随机梯度,从而得到[2]中引入的相同动量-SARAH估计。与[7]相比,这允许我们每次迭代节省一个随机梯度,并且每次迭代只需要两个样本。我们的算法是非常简单的,并实现了最佳的随机预言复杂性界的随机梯度评价(一个常数因子)。我们的分析基本上受到[7]的启发,但我们没有使用两种不同的步长。
2020-08-20 math.OC stat.ML
Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning
University of Michigan(密歇根大学);Princeton University(普林斯顿大学);Facebook, Inc.(Facebook公司);Northwestern University(西北大学)
基于非线性光滑函数逼近的时域差分学习方法在现代强化学习中取得了巨大的成功。结果表明,该问题可以转化为随机非凸-强-凹优化问题,而单纯的随机梯度下降-上升算法收敛速度慢,这是一个具有挑战性的问题.现有的方法是基于两个时间尺度或双环随机梯度算法,这也可能需要采样大批量数据。然而,在实践中,单时标单循环随机算法是首选,因为它的简单性,也因为它的步长更容易调整。在本文中,我们提出了两个单时标单循环算法,每一步只需要一个数据点。我们的第一个算法实现动量更新的原始和对偶变量实现了$O(\varepsilon^{-4})$样本的复杂性,这表明在获得一个单时标算法的重要作用的动量。我们的第二个算法改进了第一个应用方差减少的势头,这符合最有名的$O(\varepsilon^{-3})$样本复杂度在现有的作品。此外,我们的方差减少算法不需要一个大批量的检查点。此外,我们的理论结果,这两个算法表示在一个更紧密的形式,同时原始和对偶侧收敛。
2020-08-23 cs.LG math.OC stat.ML
Sharp Analysis for Nonconvex SGD Escaping from Saddle Points
在本文中,我们给出了一个尖锐的分析随机梯度下降(SGD),并证明了SGD是能够有效地逃离鞍点,并找到一个$(ε, O(ε^{0.5}))$ -近似二阶稳定点的$\tilde{O}(ε^{-3.5})$随机梯度计算一般非凸最优化问题,当目标函数满足梯度Lipschitz,Hessian-Lipschitz和分散噪声的假设。这一结果颠覆了经典的信念,SGD至少需要$O(ε^{-4})$随机梯度计算获得一个$(ε,O(ε^{0.5}))$ -近似二阶稳定点。这样的SGD速率匹配,直到问题相关参数的多对数因子,最加速的非凸随机最优化算法的速率,该算法采用额外的技术,如Nesterov的动量加速,负曲率搜索,以及二次和三次正则化技巧。我们的新的分析提供了新的见解,非凸SGD,并可能推广到广泛的一类随机最优化算法。
2019-06-04 cs.CC cs.LG math.OC
SpiderBoost and Momentum: Faster Stochastic Variance Reduction Algorithms
The Ohio State University(俄亥俄州立大学);The University of Utah(犹他大学);Duke University(杜克大学)
SARAH和SPIDER是最近发展起来的两种随机方差缩减算法,SPIDER在光滑非凸优化问题上具有接近最优的一阶预言复杂度。然而,SPIDER使用了一个依赖于精度的步长,这在实践中减慢了收敛速度,并且不能处理涉及非光滑正则化器的目标函数。在本文中,我们提出了SpiderBoost作为一个改进的计划,它允许使用更大的常数级步长,同时保持相同的接近最优的预言复杂度,并可以扩展与邻近映射处理复合优化(这是非光滑和非凸)与可证明的收敛保证。特别是,我们表明,近端SpiderBoost实现了复合非凸优化的$\mathcal{O}(\min\{n^{1/2}ε^{-2},ε^{-3}\})$的预言复杂性,提高了$\mathcal{O}(\min\{n^{1/6},ε^{-1/3}\})$的因子的国家的最先进的结果。我们进一步开发了一种新的动量方案来加速复合优化的SpiderBoost,该方案在理论上实现了接近最优的预言复杂度,并在实验中得到了实质性的改善。
2020-05-15 cs.LG math.OC stat.ML
A Hybrid Subgradient Method for Nonsmooth Nonconvex Bilevel Optimization
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen University(深圳大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学)
本文提出一种混合子梯度法,结合双时间尺度动量加速子梯度法和可行性恢复方案,解决非凸双层优化问题,实现全局收敛性和高效计算。
2026-09-01 math.OC
The Discrete Dantzig Selector: Estimating Sparse Linear Models via Mixed Integer Linear Optimization
我们提出了一种新的高维线性回归估计:离散Dantzig估计,它最大限度地减少非零回归系数的数量受到预算的功能和残差之间的最大绝对相关性。在过去的10-15年中,整数优化的显着进步的动机,我们提出了一个混合线性优化(MILO)的方法来获得可证明的最优全局解这个非凸优化问题。整数优化算法的当前状态使我们的建议在计算上比最近在[8]中提出的基于整数二次优化的最小二乘子集选择框架和[33]的连续非凸二次优化框架更具吸引力。我们提出了新的离散一阶方法,当与最先进的MILO求解器配对时,对于给定的计算预算,可以很好地解决离散Dantzig问题。我们说明,我们的综合方法提供了全球最优的解决方案,在显着更短的计算时间,相比,现成的MILO求解器。我们从理论上和经验上证明,在广泛的制度的离散Dantzig的统计特性优于流行的$\ell_{1}$为基础的方法。我们说明,我们的方法可以处理问题的情况下,p = 10,000功能与可证明的最优性,使其成为一个高度可扩展的组合变量选择方法在稀疏线性建模。
2017-01-19 math.OC math.ST stat.CO
Generalized Stochastic Gradient Descent with Momentum Methods for Smooth Optimization
Umeå University(于默奥大学)
本文提出了一种广义SGDM框架,统一了多种动量方法,并在不同优化问题下提供了全面的收敛分析。
2026-02-26 math.OC
Stability of Discrete time Recurrent Neural Networks and Nonlinear optimization problems
本文利用耗散域约化方法证明了离散时间循环神经网络的全局李雅普诺夫稳定性。这些本质上为非线性系统的A稳定性的标准和先进的准则产生相当弱的结果。实践证明,该方法具有较强的实用性。它涉及到一个多步骤的过程,在每一步上的特殊非凸函数的最大化。我们得到的条件,保证存在最多一个点的局部极大值,这样的功能在每个超平面。这个非平凡的结果对于广泛的神经元传递函数是有效的。
2015-03-05 math.OC
Adam with model exponential moving average is effective for nonconvex optimization
Microsoft Research(微软研究院);Boston University(波士顿大学)
本研究从理论上分析了Adam这类自适应优化算法与模型指数移动平均(EMA),证明带EMA的截断版Adam在多种非凸场景下达最优收敛速率,且逐坐标自适应在尺度差异大时有优势,为二者的实际应用提供理论依据。
2024-10-30 cs.LG math.OC