Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
Department of Computer Science University of Maryland College Park(计算机科学系大学马里兰大学学院公园分校);Department of Computer Science and Engineering University of Texas Arlington(计算机科学与工程系德克萨斯大学阿灵顿分校)
针对现有复合优化方法依赖光滑性假设、无法适配正则化ReLU网络等机器学习问题的局限,提出两种近似平稳点新概念及对应零阶算法,证明有限时间收敛性并通过数值实验验证有效性。
2025-10-06 cs.LG math.OC
Can We Find Near-Approximately-Stationary Points of Nonsmooth Nonconvex Functions?
Weizmann Institute of Science(魏茨曼科学研究所)
众所周知,给定一个有界的光滑非凸函数,标准的基于梯度的方法可以在$\mathcal{O}(1/ε^2)$迭代中找到$ε$ -稳定点(其中梯度范数小于$ε$)。然而,许多重要的非凸最优化问题,如那些与现代神经网络的训练,本质上是不光滑的,使这些结果不适用。此外,正如最近在Zhang et al. [2020]中指出的那样,通常不可能为找到非光滑函数的$ε$ -平稳点提供有限时间保证。也许最自然的放松这是找到点附近的这种$ε$ -平稳点。在本文中,我们表明,即使是这个宽松的目标是很难获得一般,只给黑盒访问的函数值和梯度。我们还讨论了替代方法的利弊。
2021-04-15 cs.LG math.OC
Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions
Massachusetts Institute of Technology(麻省理工学院)
我们提供了第一个非渐近分析,寻找非光滑,非凸函数的稳定点。特别是,我们研究类阿达玛半可微函数,也许是最大的一类非光滑函数的链式法则的微积分举行。此类包含ReLU神经网络和其他具有不可微激活函数的示例。我们首先表明,找到一个$ε$ -平稳点的一阶方法是不可能的,在有限的时间。然后,我们引入了$(δ, ε)$ -平稳性的概念,它允许一个$ε$ -近似梯度是在距离$δ$的解决方案内的点处评估的广义梯度的凸组合。我们提出了一系列的随机一阶方法,并分析了它们的复杂性找到一个$(δ, ε)$ -平稳点。此外,我们提供了一个下界,并表明我们的随机算法具有最小-最大最优依赖于$δ$。从经验上讲,我们的方法在训练ReLU神经网络方面表现良好。
2020-06-29 cs.LG math.OC
Convergence of a Stochastic Subgradient Method with Averaging for Nonsmooth Nonconvex Constrained Optimization
对于具有广义可微性的非光滑、非凸目标函数的约束问题,证明了一个带次梯度平均的单时间尺度随机次梯度方法的收敛性.作为我们分析的工具,我们还证明了一个链式法则的道路上,这样的功能。
2019-12-16 math.OC
On a monotone scheme for nonconvex nonsmooth optimization with applications to fracture mechanics
研究了一类非凸最优化问题,其中罚函数是一个线性算子与一个非光滑非凸映射的复合,该非光滑非凸映射在正实直线上是凹的.原问题的正则化版本的必要最优性条件的解决通过单调收敛的计划。这样的问题出现在连续介质力学中,例如内聚断裂,其中奇异行为通常由非光滑非凸能量建模。所提出的算法是成功地测试断裂力学问题。它的性能也比较了两种替代算法的非光滑非凸优化所产生的最优控制和数学成像。
2018-04-19 math.OC
Proximally Guided Stochastic Subgradient Method for Nonsmooth, Nonconvex Problems
Cornell University(康奈尔大学)
在本文中,我们引入了一个随机投影次梯度方法的弱凸(即,一致正则)非光滑,非凸函数-一个广泛的函数类,包括加法和凸复合类。在高层次上,该方法是一个不精确的邻近点迭代,其中强凸邻近子问题快速解决了一个专门的随机投影次梯度方法。本文的主要贡献是一个简单的证明,该算法收敛速度与光滑非凸问题的随机梯度法相同。这一结果似乎是第一个收敛速度分析的随机(甚至确定性)次梯度法的弱凸函数类。
2018-09-18 cs.LG math.OC
Distributed Stochastic Nonsmooth Nonconvex Optimization
分布式一致性优化近年来受到了相当大的关注,已经提出了几个分布式的共识为基础的算法(非光滑)凸和(光滑)非凸目标函数。然而,这些分布式算法对{ \it非凸,非光滑和随机}目标函数的行为是不理解的。这类函数和分布式设置的动机是几个应用程序,包括机器学习和信号处理中的问题。本文提出了第一次收敛性分析的分散随机次梯度方法的这类问题,在网络建模为无向,固定,图。
2019-11-03 math.OC
First-order primal-dual methods for nonsmooth nonconvex optimisation
我们提供了一个概述的原始对偶法的非光滑和非凹凸鞍点问题。这围绕着一个新的分析方法,使用Bregman分歧制定简化的收敛条件。
2020-08-05 math.OC
The Exponential Price of Determinism in Nonsmooth Nonconvex Optimization
本研究证明确定性算法在非光滑非凸优化中寻找Goldstein稳定点的复杂度至少为(1/ε)^Ω(d),而随机算法可达到维度无关复杂度,从而揭示随机化带来的指数级计算优势。
2026-09-22 cs.LG math.OC
On the Hardness of Meaningful Local Guarantees in Nonsmooth Nonconvex Optimization
Weizmann Institute of Science(魏茨曼科学研究所);Massachusetts Institute of Technology(麻省理工学院)
本研究针对非光滑非凸优化的非渐近局部收敛速率问题,证明局部算法在最坏情况下无法在次指数时间内提供有意义的局部函数值保证,且该结论无条件成立,补充了现有依赖猜想的难度研究。
2024-09-16 cs.LG math.OC
A proximal gradient method for control problems with nonsmooth and nonconvex control cost
研究了一种近似梯度法在非光滑非凸控制问题中的收敛性。在这里,我们专注于控制成本泛函,促进稀疏性,其中包括泛函的$L^p$型$p\in [0,1)$。我们证明了该方法的弱极限点的平稳性。这些性质弱于庞特里亚金的最大值原理和弱于$L$ -平稳性。
2020-07-22 math.OC
Minimization of nonsmooth nonconvex functions using inexact evaluations and its worst-case complexity
针对复合非光滑非凸优化问题,提出了一种基于非精确函数和导数计算的自适应正则化算法。它表明,该算法最多需要$O(|\log(ε)|\,ε^{-2})$评估的问题的功能和他们的衍生物找到一个$ε$ -近似的一阶稳定点。因此,该复杂性界限概括了[Bellavia,Gurioli,Morini和Toint,2018]为光滑非凸问题的不精确方法提供的复杂性界限,并且在具有精确评估的光滑和非光滑非凸最小化已知的最优界限的$|\log(ε)|$因子内。一个实际上更严格的最坏情况下的复杂性$O(|\log(ε)|+ε^{-2})$的算法的变体。
2019-02-27 math.OC
A Learned Proximal Alternating Minimization Algorithm and Its Induced Network for a Class of Two-block Nonconvex and Nonsmooth Optimization
Department of Mathematics, University of Florida, Gainesville, FL 32611, USA(佛罗里达大学数学系)
本文提出了一种学习的近端交替最小化算法及其诱导网络,用于解决双块非凸非光滑优化问题,通过残差学习架构和块坐标下降方法实现高效收敛。
2024-11-10 cs.LG math.OC
Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization
University of Utah(犹他大学);The Ohio State University(俄亥俄州立大学);Duke University(杜克大学)
为了加速梯度算法在凸优化中的实际收敛性,人们提出了各种类型的参数重新启动方案。然而,在非凸优化问题中,加速梯度算法在参数重新启动下的收敛性仍不清楚。本文提出了一种新的带参数重启的加速近似梯度算法(APG-重启),用于求解非凸非光滑问题。我们的APG-重启的目的是:1)允许采用灵活的参数重启计划,涵盖了许多现有的; 2)有一个全球的子线性收敛速率在非凸和非光滑最优化;和3)有保证的收敛到一个临界点,并有各种类型的渐近收敛速度取决于参数化的局部几何非凸和非光滑最优化。数值实验证明了该算法的有效性。
2020-04-27 cs.LG math.OC
A Nonconvex Nonsmooth Regularization Method for Compressed Sensing and Low-Rank Matrix Completion
本文研究了压缩感知(CS)和低秩矩阵完备(MC)的非凸非光滑模型。将问题转化为一个非凸的正则化最小二乘最优化问题,其中l0范数和秩函数分别用l1范数和核范数代替,并分别增加一个非凸的罚函数.提出了一种交替极小化方案,证明了由交替算法产生的子序列收敛于一个临界点的存在性。对于非凸正则化CS和MC问题,分别分析了NSP、RIP和RIP稳定恢复保证条件。最后,通过实验结果证明了所提出的方法的性能。
2016-05-02 math.OC
Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex functions
State Key Laboratory of Scientific and Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and University of Chinese Academy of Sciences, China(国家科学工程计算重点实验室,数学系统科学学院,中国科学院,中国科学院大学)
本文提出一个统一去中心化随机子梯度法的框架,为非光滑非凸函数的收敛性提供理论保证,并通过实验验证其在非光滑神经网络训练中的有效性。
2026-01-06 cs.LG math.OC
The Sound of APALM Clapping: Faster Nonsmooth Nonconvex Optimization with Stochastic Asynchronous PALM
本文介绍了随机异步近似交替线性化最小化(SAPALM)方法,它是一种求解非凸、非光滑最优化问题的块坐标随机近似梯度法. SAPALM是第一个异步并行最优化方法,可证明收敛于一大类非凸,非光滑的问题。我们证明,SAPALM匹配最知名的收敛速度-同步或异步方法-在这个问题类。我们提供了上界的工人的数量,我们可以期望看到一个线性加速,这符合已知的最佳界限不太复杂的问题,并表明在实践中SAPALM实现这种线性加速。我们展示了几个矩阵分解问题的最先进的性能。
2016-06-07 math.OC
A theory on the absence of spurious solutions for nonconvex and nonsmooth optimization
本文提出“全局函数”理论,证明张量分解中一类非凸非光滑目标不存在伪局部最优,为 ℓ1 范数鲁棒非凸优化提供理论保证。
2025-02-14 math.OC
Linear Convergence of Accelerated Stochastic Gradient Descent for Nonconvex Nonsmooth Optimization
本文研究了求解非凸非光滑最优化问题的随机梯度下降(SGD)方法,提出了一种结合方差缩减技术和Nesterov外推技术的加速SGD方法。此外,基于局部误差界条件,我们建立了该方法的线性收敛性,以获得非凸优化的稳定点。特别地,我们证明了不仅生成的序列线性收敛到问题的一个稳定点,而且相应的目标值序列也线性收敛。最后,数值实验验证了该方法的有效性.据我们所知,它首先证明了加速SGD方法线性收敛到非凸优化的局部极小值。
2019-02-14 cs.LG math.OC stat.ML
An adaptive exact penalty method for nonsmooth optimal control problems with nonsmooth nonconvex state and control constraints
针对具有非光滑代价泛函、非光滑(但连续)动态、非光滑状态和控制约束的最优控制问题,提出了一类精确惩罚型局部搜索法,其中罚参数和多个线搜索参数在寻优过程中自适应调整.这类方法适用于具有已知DC(Difference-of-凸函数)结构的问题,其核心是基于经典的DCA方法,结合用于更新罚参数的转向精确罚规则和自适应非单调线搜索过程。在所有辅助子问题仅近似求解(即有限精度)的假设下,我们证明了所提出的方法族的正确性,并给出了详细的收敛性分析。几个不同版本的方法的性能示出通过一个数值例子,其中的方法被施加到一个半学术最优控制问题的非光滑非凸状态约束。
2023-02-18 math.OC
A variable smoothing for Nonconvexly constrained nonsmooth optimization with application to sparse spectral clustering
本文提出一种变量平滑算法,通过将非凸约束参数化为欧几里得空间并利用 Moreau 包络平滑非光滑项,求解非凸约束非光滑优化问题,并应用于稀疏谱聚类。
2024-04-03 math.OC
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida(中佛罗里达大学)
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而,对于非凸和非光滑最优化问题,在保证一定性能的前提下,开发有效的方法仍然是一个挑战。近点坐标下降法(PCD)已被广泛应用于求解最优化问题,但对非凸环境下的PCD方法的认识非常有限。另一方面,异步最近坐标下降(APCD)最近受到了广泛的关注,以解决大规模的问题。然而,APCD算法的加速变体很少被研究。在本文中,我们扩展APCD方法的加速算法(AAPCD)的非光滑和非凸的问题,满足充分下降的性质,通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知,我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题,确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质,我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明,我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
Relax-and-split method for nonsmooth nonconvex problems
我们开发和分析了一个新的“松弛和分裂”(RS)的方法,可分离的非凸非光滑函数与线性映射的组合物。RS使用松弛技术与部分最小化,并带来了经典的技术,包括直接因式分解,矩阵分解,和快速迭代法承担非光滑非凸问题。我们还扩展了修剪非凸复合配方的方法,由此产生的修剪RS(TRS)可以适合模型,同时检测数据中的离群值。然后,我们测试RS和TRS上的各种应用程序:(1)相位检索,(2)随机最短路问题,(3)半监督分类,(4)新的聚类方法。RS/TRS可以应用于功能假设非常弱的模型,易于实现,与现有方法竞争,并使建模公式的新水平得以提出,以应对数学科学中出现的挑战。
2018-09-26 math.OC
Inertial Proximal Alternating Linearized Minimization (iPALM) for Nonconvex and Nonsmooth Problems
本文研究了半代数数据的非凸非光滑最优化问题,其中变量向量被分成若干个变量块。该问题由整个变量向量的一个光滑函数和每个块的非光滑函数之和组成。我们分析了惯性版本的近端交替线性化最小化(PALM)算法,并证明其整体收敛的临界点的目标函数在手。我们说明了我们的理论研究结果,提出的数字实验盲图像反卷积,稀疏非负矩阵分解和字典学习,这表明所提出的方法的可行性和有效性。
2017-02-08 math.OC
An Inertial Block Proximal Linearized Method with Adaptive Momentum for Nonconvex and Nonsmooth Optimization
Yunnan Earthquake Administration(云南省地震局)
本文针对多块非凸非光滑优化问题,提出IBPL⁺-TP方法,该方法具三大优势,可保证目标函数单调收敛及序列全局收敛至临界点,在两类带ℓ₀约束的稀疏非负矩阵分解等问题上性能优于现有最先进方法。
2026-08-07 cs.LG math.OC
Decentralized Stochastic Subgradient-type Methods with Communication Compression for Nonsmooth Nonconvex Optimization
针对非光滑非凸分布式优化问题,提出统一框架整合多种带压缩的随机次梯度方法,证明全局收敛性,并开发基于符号正则化和梯度跟踪动量的新方法。
2026-07-03 cs.AI cs.LG math.OC
Smoothing algorithms for nonsmooth and nonconvex minimization over the stiefel manifold
考虑Stiefel流形上一类非光滑非凸最优化问题,其中目标函数是由一个非凸光滑函数和一个由线性映射构成的非光滑Lipschitz连续凸函数之和.我们提出了三个数值算法来解决这个问题,通过结合平滑方法和一些现有的算法光滑优化Stiefel流形。特别地,我们在光滑化方法中用Moreau包络逼近了上述非光滑凸函数,并证明了Moreau包络具有许多有利的性质。由于这一点和计划更新的平滑参数,我们表明,所提出的算法产生的解决方案序列的任何积累点是一个固定点的原始最优化问题。在构建图傅立叶基上的数值实验证明了所提算法的有效性。
2023-03-25 math.OC
Convergence Analysis of A Proximal Linearized ADMM Algorithm for Nonconvex Nonsmooth Optimization
本文考虑一种近似线性化交替方向乘子法(PL-ADMM)来求解线性约束非凸和可能的非光滑最优化问题。通过在原始更新中使用变尺度邻近项和在乘子更新中使用超松弛步长,将该算法推广。证明了该方法生成的序列是有界的,其极限点是临界点。在强大的Kurdyka-{Eschojasiewicz}性质下,我们证明了序列具有有限长度从而收敛,并且我们驱动了它的收敛速度。
2021-07-03 math.OC
Nonconvex and Nonsmooth Sparse Optimization via Adaptively Iterative Reweighted Methods
ShanghaiTech University(上海科技大学);Shenzhen University(深圳大学);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所)
我们提出了一个具有凸集约束的非凸和非光滑稀疏优化问题的一般形式,它可以考虑大多数现有类型的非凸稀疏诱导项,具有很强的适用性,以广泛的应用。我们设计了一个通用的算法框架,迭代重加权算法求解所提出的非凸和非光滑稀疏优化问题,解决了一系列加权凸正则化问题的自适应更新的权重。一阶最优性条件的推导和全局收敛性的结果提供宽松的假设下,使我们的理论结果分析家庭的各种加权算法的实用工具。我们提出的配方和算法的有效性和效率在各种稀疏优化问题的数值实验中得到了证明。
2021-08-20 cs.IT cs.LG math.IT
Private Zeroth-Order Nonsmooth Nonconvex Optimization
Boston University(波士顿大学)
本文针对非凸非光滑随机优化提出一种新的零阶私有算法,在数据集规模满足特定下界时保证Rényi差分隐私并找到稳定点,且复杂度与非私有零阶方法最优复杂度一致。
2024-06-27 cs.CR cs.LG math.OC
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
随着复杂数据的大量增加,非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM(乘子的交替方向法)。我们证明了,给定一个适当的小批量大小,小批量随机ADMM无方差减少(VR)技术是收敛的,并达到$O(1/T)$的收敛速度,以获得一个非凸优化的稳定点,其中$T$表示的迭代次数。此外,我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM,并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地,我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后,大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
Optimality conditions for nonsmooth nonconvex-nonconcave min-max problems and generative adversarial networks
研究了机器学习和博弈中一类非光滑非凸-非凹极大极小问题。首先给出了全局极大极小点和局部极大极小点存在的充分条件。其次,我们利用方向导数建立了局部极小极大点的一阶和二阶最优性条件。这些条件减少到光滑的最小最大问题与Fr{é}chet导数。我们将我们的理论结果应用于生成对抗网络(GANs),其中两个神经网络在游戏中相互竞争。最后通过实例说明了新理论在GANs训练中的应用。
2022-03-21 math.OC
Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL) Property
针对非凸非光滑优化问题,本文提出投影近端梯度下降法(PPGD),在不依赖 Kurdyka-Łojasiewicz (KŁ) 性质的条件下,证明了其能实现局部 $\cO(1/k^2)$ 的快速收敛率,并通过实验验证了方法的有效性。
2024-09-25 math.OC stat.ML
An Algorithm with Optimal Dimension-Dependence for Zero-Order Nonsmooth Nonconvex Stochastic Optimization
Weizmann Institute of Science(魏茨曼科学研究院)
该研究提出一种复杂度为$O(dδ^{-1}ε^{-3})$的随机零阶优化算法,推翻了非光滑非凸问题零阶优化维度依赖性为$Ω(d^{3/2})$的最优性推测,在维度和精度参数上均达最优,证明该设定下非光滑与光滑优化难度相当。
2024-04-15 cs.LG math.OC
The cost of nonconvexity in deterministic nonsmooth optimization
我们研究了非凸性对非光滑最优化复杂性的影响,强调了分段线性函数等目标,这些目标可能不是弱凸的。我们专注于维度无关分析,稍微修改了Zhang等人(2020)的黑盒算法,该算法使用$O(ε^{-4})$调用专门的次梯度预言和随机线搜索来近似任何方向可微Lipschitz目标的$ε$ -稳定点。我们简单的黑盒确定性的版本,实现$O(ε^{-5})$的任何差异的凸目标,和$O(ε^{-4})$的弱凸的情况下。我们的复杂性约束取决于一个自然的非凸性模量,相关的,有趣的是,负的一部分,定向二阶导数的目标,理解的分布意义上。
2022-10-07 math.OC
Linear Convergence of Variable Bregman Stochastic Coordinate Descent Method for Nonsmooth Nonconvex Optimization by Level-set Variational Analysis
大规模非凸和非光滑问题在压缩感知、大数据优化和机器学习等领域引起了广泛的关注。探索有效的方法仍然是当今研究的主要挑战。随机坐标下降法已被广泛应用于求解大规模最优化问题。本文证明了变Bregman随机坐标下降法(VBSCD)对一类非光滑非凸最优化问题的收敛性,由VBSCD生成的序列的任何累加几乎肯定是临界点。此外,我们开发了一个新的水平集上的变分方法,旨在对收敛速度分析。如果水平集次微分误差界成立,我们推导出一个线性的收敛速率的期望值的目标函数和期望值的随机变量的VBSCD。
2019-05-27 math.OC
Incremental Quasi-Newton Algorithms for Solving Nonconvex, Nonsmooth, Finite-Sum Optimization Problems
提出并测试了求解非凸、非光滑、有限和最优化问题的算法。特别是,算法提出和测试的上下文中产生的半监督机器学习的最优化问题制定。所有算法的共同特征是它们采用增量拟牛顿(IQN)策略,特别是增量BFGS(IBFGS)策略。一个应用IBFGS策略的问题直接,而其他应用IBFGS策略的差异凸重构,平滑逼近,或(强)凸局部逼近。实验表明,所有IBFGS方法在实践中表现良好,并且都优于最先进的捆绑方法。
2022-07-20 math.OC
A Stochastic Subgradient Method for Nonsmooth Nonconvex Multi-Level Composition Optimization
我们提出了一个单时间尺度的随机次梯度方法的约束优化的组合的几个非光滑和非凸函数。函数被假定为局部Lipschitz和可微的广义意义。仅使用函数的值和广义导数的随机估计。该方法是无参数的。我们证明了收敛的概率1的方法,通过与它的微分包含系统和设计一个不可微的李雅普诺夫函数这个系统。对于具有Lipschitz连续导数的函数的问题,该方法在执行具有恒定步长的$N$迭代之后,找到满足具有$1/\sqrt{N}$阶误差的最优性度量的点。
2020-12-18 math.OC
Smoothing Iterative Consensus-based Optimization Algorithm for Nonsmooth Nonconvex Optimization Problems with Global Optimality
针对无约束非光滑非凸优化的全局极小值求解问题,结合平滑与共识优化方法提出新型SICBO算法,证明其指数收敛性与全局最优性理论保证,且适用于非利普希茨连续情形,数值实验验证了算法有效性。
2025-01-13 math.OC
On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization
本文研究了非凸优化问题的随机镜像下降(SMD)算法的非渐近平稳收敛性。我们专注于一般类的非凸非光滑随机最优化问题,其中的目标可以分解成一个相对弱的凸函数(可能非Lipschitz)和一个简单的非光滑凸正则化。我们证明了SMD,不使用mini-batch,是保证收敛到一个平稳点的收敛速度的$ \mathcal{O}(1/\sqrt{t}) $。效率估计与现有的随机次梯度方法的结果相匹配,但评估下一个更强的平稳性措施。我们的收敛性分析适用于原来的SMD和它的近端版本,以及确定性的变种,解决相对弱凸问题。
2018-06-12 math.OC
Nonsmooth Nonconvex-Nonconcave Minimax Optimization: Primal-Dual Balancing and Iteration Complexity Analysis
University of British Columbia(不列颠哥伦比亚大学);Georgia Institute of Technology(佐治亚理工学院);The Chinese University of Hong Kong(香港中文大学)
针对现有梯度下降-上升类算法无法处理非光滑非凸-非凹极小极大问题的局限,提出smoothed PLDA算法,构建基于原始-对偶误差界的分析框架,证明其迭代复杂度上界及部分场景下的最优性,还建立了平稳性概念间的定量关系。
2025-01-15 cs.LG math.OC
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
该研究针对大型语言模型预训练优化器Muon,证明带有限牛顿-舒尔茨迭代的Muon可通过平滑极映射提升非光滑非凸优化的收敛性,其样本复杂度达最优,且优于采用精确极因子更新的Muon。
2026-08-28 cs.LG math.OC stat.ML
Gradient-Free Multi-Agent Nonconvex Nonsmooth Optimization
本文考虑了连通多智能体网络上非凸且可能非光滑函数之和的最小化问题,其中智能体对全局费用函数具有部分知识,并且只能访问零阶信息(即,函数值)的局部费用函数。我们提出并分析了一个分布式的原始-对偶无梯度算法这个具有挑战性的问题。我们证明了通过适当地选择参数,所提出的算法收敛到一阶平稳解的集合,并具有可证明的全局次线性收敛速度。数值实验表明,我们提出的方法优化网络上的非凸和非光滑问题的有效性。
2019-04-09 math.OC stat.CO
Nonconvex Nonsmooth Multicomposite Optimization and Its Applications to Recurrent Neural Networks
Department of Applied Mathematics, Hong Kong Polytechnic University(香港理工大学应用数学系);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
本文提出了一种非凸非光滑多复合优化方法,用于解决循环神经网络的训练问题。
2026-03-12 math.OC
A proximal subgradient algorithm with extrapolation for structured nonconvex nonsmooth problems
本文针对一类结构化非凸非光滑优化问题,提出一种带外推的近端次梯度算法,证明其子序列收敛及在KL性质下的全局收敛性,并通过非凸正则化最小二乘和含分布式能源的最优潮流实验验证了算法性能。
2023-03-19 math.OC
A Comparison of Nonsmooth, Nonconvex, Constrained Optimization Solvers for the Design of Time-Delay Compensators
我们提出了一套详细的性能比较的两个国家的最先进的求解器的应用设计的时间延迟补偿器,在鲁棒控制领域的一个重要问题。制定这样的鲁棒控制机制约束最优化问题往往涉及到目标和约束函数都是非凸和非光滑的,这两个提出了重大的挑战,许多求解器和他们的最终用户希望得到很好的解决方案,这些问题。在我们特定的工程任务中,优化的主要困难出现在非光滑和非凸稳定性约束,即所谓的整形器的无穷频谱的零点应保持在开放的左半平面。为了进行我们的评估,我们使用$β$相对最小化配置文件,最近推出的可视化工具,特别适合于基准求解器上的非光滑,非凸,约束最优化问题。此外,我们还引入了新的可视化工具,称为全局-局部配置文件,对于给定的问题和固定的计算预算,评估在几个或多个起点上分配预算的权衡,前者每点获得更多的预算,后者更少。
2018-12-30 math.OC
Two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
针对非凸非光滑不可分优化问题,本文结合两步惯性外推与Bregman距离,基于PALM提出新型迭代算法,证明序列收敛性并通过信号恢复等问题验证有效性。
2023-06-13 math.OC
Coderivative-Based Newton Methods in Structured Nonconvex and Nonsmooth Optimization
Ho Chi Minh City University of Education(胡志明市教育大学);Wayne State University(韦恩州立大学);University of North Dakota(北达科他大学)
本文提出了一种基于编码导数的牛顿方法,用于解决结构非凸和非光滑优化问题,并通过改进的线搜索方法和前向-后向包裹机制实现了快速收敛。
2026-03-01 math.OC
A feasible second order bundle algorithm for nonsmooth, nonconvex optimization problems with inequality constraints: I. Derivation and convergence
本文将求解非光滑无约束极小化问题的著名的牛顿法的SQP方法推广到非线性约束的情形。该方法不使用罚函数或滤波器或改进函数来处理约束的存在,而是通过求解凸二次约束二次规划来确定搜索方向,以获得好的迭代点。与此过程中出现的问题有关的捆绑过程中,以及在线搜索进行了讨论。在适当的假设下,证明了该方法的整体收敛性.
2015-06-26 math.OC
A four-operator splitting algorithm for nonconvex and nonsmooth optimization
本研究针对目标为两个光滑函数加两个非光滑函数之和的非凸非光滑优化问题,提出扩展Davis-Yin分裂的四算子分裂算法,证明其全局子序列收敛且平稳度量以1/T速率收敛,可支持更大步长,实验验证了其有效性。
2025-03-25 math.OC
Online Optimization Perspective on First-Order and Zero-Order Decentralized Nonsmooth Nonconvex Stochastic Optimization
Northeastern University(东北大学)
研究去中心化非光滑非凸随机优化中寻找稳定点的问题,提出ME-DOL算法,利用在线优化技术在一阶和零阶设置下实现了与最优集中式方案匹配的样本复杂度。
2024-06-03 cs.LG cs.SY eess.SY
Solving Nonsmooth Nonconvex Compound Stochastic Programs with Applications to Risk Measure Minimization
本文研究了一类由非凸非光滑函数耦合的多期望结构复合随机规划问题。本文提出了一个基于连续凸规划的采样算法,并证明了它的逐次收敛性。我们描述了几类复合SP的极限点的平稳性。我们进一步讨论了基于算法可计算误差界的概率停止规则。我们提出了几个风险度量最小化问题,可以制定为这样一个复合随机规划,这些问题包括广义偏差最优化问题的基础上优化的确定性等价和缓冲概率的不确定性(bPOE),分布鲁棒bPOE最优化问题,和多类分类问题采用成本敏感的错误准则与bPOE风险度量。
2021-05-23 math.OC
A Unified Inexact Stochastic ADMM for Composite Nonconvex and Nonsmooth Optimization
提出统一的不精确随机ADMM框架以求解复合非凸非光滑优化,涵盖多种现有算法并设计新的加速混合随机ADMM,证明其次线性与线性收敛,实验验证了有效性。
2024-03-04 math.OC
Proximal linearized iteratively reweighted least squares for a class of nonconvex and nonsmooth problems
针对一类非凸非光滑问题,提出了一种近似线性化迭代加权最小二乘(PL-IRLS)算法。我们先用光滑方法近似原问题,然后通过引入新的变量将近似问题转化为辅助问题。PL-IRLS是在求解辅助问题的基础上,利用近似线性化技术和迭代加权最小二乘(IRLS)方法,具有显著的计算优势。我们表明,PL-IRLS可以扩展到解决更一般的非凸和非光滑问题,通过调整广义参数,也可以解决非凸和非光滑问题的两个或两个以上的变量块。在理论上,借助于Kurdyka- Lojasiewicz性质,我们证明了PL-IRLS生成的每个有界序列全局收敛于逼近问题的一个临界点。据我们所知,这是第一个应用IRLS思想解决非凸非光滑问题的整体收敛结果。最后,我们将PL-IRLS应用于稀疏信号恢复和低秩矩阵恢复中三个典型的非凸非光滑问题,得到了新的全局收敛算法。
2014-04-24 cs.IT math.IT math.OC