On the Hardness of Meaningful Local Guarantees in Nonsmooth Nonconvex Optimization
Weizmann Institute of Science（魏茨曼科学研究所）；Massachusetts Institute of Technology（麻省理工学院）
本研究针对非光滑非凸优化的非渐近局部收敛速率问题，证明局部算法在最坏情况下无法在次指数时间内提供有意义的局部函数值保证，且该结论无条件成立，补充了现有依赖猜想的难度研究。
2024-09-16 cs.LG math.OC
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着复杂数据的大量增加，非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM（乘子的交替方向法）。我们证明了，给定一个适当的小批量大小，小批量随机ADMM无方差减少（VR）技术是收敛的，并达到$O(1/T)$的收敛速度，以获得一个非凸优化的稳定点，其中$T$表示的迭代次数。此外，我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM，并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地，我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后，大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
Online Optimization Perspective on First-Order and Zero-Order Decentralized Nonsmooth Nonconvex Stochastic Optimization
Northeastern University（东北大学）
研究去中心化非光滑非凸随机优化中寻找稳定点的问题，提出ME-DOL算法，利用在线优化技术在一阶和零阶设置下实现了与最优集中式方案匹配的样本复杂度。
2024-06-03 cs.LG cs.SY eess.SY
Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization
University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）；Duke University（杜克大学）
为了加速梯度算法在凸优化中的实际收敛性，人们提出了各种类型的参数重新启动方案。然而，在非凸优化问题中，加速梯度算法在参数重新启动下的收敛性仍不清楚。本文提出了一种新的带参数重启的加速近似梯度算法（APG-重启），用于求解非凸非光滑问题。我们的APG-重启的目的是：1）允许采用灵活的参数重启计划，涵盖了许多现有的; 2）有一个全球的子线性收敛速率在非凸和非光滑最优化;和3）有保证的收敛到一个临界点，并有各种类型的渐近收敛速度取决于参数化的局部几何非凸和非光滑最优化。数值实验证明了该算法的有效性。
2020-04-27 cs.LG math.OC
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
该研究针对大型语言模型预训练优化器Muon，证明带有限牛顿-舒尔茨迭代的Muon可通过平滑极映射提升非光滑非凸优化的收敛性，其样本复杂度达最优，且优于采用精确极因子更新的Muon。
2026-08-28 cs.LG math.OC stat.ML
Developing Lagrangian-based Methods for Nonsmooth Nonconvex Optimization
Institute of Operational Research and Analytics, National University of Singapore（新加坡国立大学运营研究与分析研究所）；School of Computer and Computing Science, Hangzhou City University（杭州城市大学计算机与计算科学学院）
针对非光滑非凸约束优化问题，提出统一的基于拉格朗日方法框架，可嵌入多种随机次梯度方法并继承其全局收敛性，还可扩展至期望约束问题，实验验证了其在深度学习任务中的高效性。
2024-04-15 cs.LG math.OC stat.ML
Asynchronous Stochastic Proximal Methods for Nonconvex Nonsmooth Optimization
University of Alberta（阿尔伯塔大学）；Wuhan University（武汉大学）
我们研究了求解具有凸但可能非光滑正则化子的非凸优化问题的随机算法，这些算法在许多实际的机器学习应用中有着广泛的应用。然而，与异步并行随机梯度下降（AsynSGD）算法相比，对非光滑正则化优化问题的随机算法行为的理解是有限的，特别是当目标函数是非凸的时候。为了填补这一理论空白，在本文中，我们提出并分析了异步并行随机邻近梯度（Asyn-ProxSGD）方法的非凸问题。我们建立了一个遍历收敛速度$O(1/\sqrt{K})$的建议Asyn-ProxSGD，其中$K$是模型上的更新次数，匹配目前已知的AsynSGD（光滑问题）的收敛速度。据我们所知，这是第一个工作，异步并行ProxSGD算法的非凸问题的收敛速度。此外，我们的研究结果也是第一个显示任何随机邻近方法的收敛性，而无需假设增加批量大小或使用额外的方差减少技术。我们在Parameter Server上实现了所提出的算法，并在两个真实世界的数据集上展示了其收敛行为和近线性加速，随着工人数量的增加。
2018-09-15 cs.LG
An Algorithm with Optimal Dimension-Dependence for Zero-Order Nonsmooth Nonconvex Stochastic Optimization
Weizmann Institute of Science（魏茨曼科学研究院）
该研究提出一种复杂度为$O(dδ^{-1}ε^{-3})$的随机零阶优化算法，推翻了非光滑非凸问题零阶优化维度依赖性为$Ω(d^{3/2})$的最优性推测，在维度和精度参数上均达最优，证明该设定下非光滑与光滑优化难度相当。
2024-04-15 cs.LG math.OC
Nonsmooth Nonconvex-Nonconcave Minimax Optimization: Primal-Dual Balancing and Iteration Complexity Analysis
University of British Columbia（不列颠哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong（香港中文大学）
针对现有梯度下降-上升类算法无法处理非光滑非凸-非凹极小极大问题的局限，提出smoothed PLDA算法，构建基于原始-对偶误差界的分析框架，证明其迭代复杂度上界及部分场景下的最优性，还建立了平稳性概念间的定量关系。
2025-01-15 cs.LG math.OC
Adam Converges in Nonsmooth Nonconvex Optimization
Department of Technology, Operations, and Statistics（技术、运营与统计系）
针对Adam优化器在非光滑非凸问题中缺乏收敛保证的问题，本文首次给出了带偏差校正的经典Adam的有限时间收敛分析，证明随机缩放学习率可达到1/T^(2/13)的收敛率，并适用于重尾噪声场景。
2026-06-23 cs.LG math.OC stat.ML
Optimal Algorithms for Nonsmooth Nonconvex Stochastic Optimization with Constraints
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
针对带凸约束的非光滑非凸随机优化问题，提出新算法，首次在多种场景下达到最优收敛速率，证明约束与非光滑性不会降低收敛速率，分析基于无约束优化相关技术的推广。
2026-10-12 cs.LG math.OC
Generalized Nonconvex Nonsmooth Low-Rank Minimization
National University of Singapore（新加坡国立大学）；Nanjing University of Science and Technology（南京理工大学）；Peking University（北京大学）
作为$L_0$ -范数的代理函数，许多非凸罚函数被提出来增强稀疏向量恢复。将这些非凸罚函数推广到矩阵的奇异值上，可以很容易地提高低秩矩阵的恢复能力。然而，与凸优化不同，求解非凸低秩极小化问题比求解非凸稀疏极小化问题更具挑战性。我们观察到所有现有的非凸罚函数都是凹的，并且在$[0,\infty)$上单调增加。因此，它们的梯度是递减函数。基于这一性质，我们提出了一种迭代加权核范数（IRNN）算法来求解非凸非光滑低秩极小化问题。IRNN迭代地解决加权奇异值持有（WSVT）问题。通过将权向量设为凹罚函数的梯度，WSVT问题有一个封闭的形式的解决方案。在理论上，我们证明了IRNN的目标函数值是单调递减的，且任一极限点都是不动点。在合成数据和真实图像上的大量实验表明，与最先进的凸算法相比，IRNN增强了低秩矩阵的恢复。
2014-04-29 cs.CV cs.LG stat.ML
Statistical Analysis of Stationary Solutions of Coupled Nonconvex Nonsmooth Empirical Risk Minimization
George Washington University（乔治华盛顿大学）；University of Southern California（南加州大学）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
本文有两个主要目标：（a）建立了一类耦合非凸非光滑经验风险最小化问题的定态解和定态值的几个统计性质-一致性、渐近分布和收敛速度，（b）通过一个基于噪声幅度的相位恢复问题验证了这些性质，后者是一个非常热门的问题。这些经验风险最小化问题是涉及随机泛函的期望值的最小化的总体风险模型的计算主力。当这些最小化问题是非凸的，其全局最优解的计算是难以捉摸的。再加上不能对一般概率分布计算期望算子的事实，就有必要证明经验问题的定态解是否是人口问题定态解的实际近似。当这两个功能，一般分布和非凸性，再加上不可微性，往往使问题“非克拉克经常”，任务的理由变得具有挑战性。我们的工作旨在在无算法的环境中解决这样的挑战。因此，所得到的分析是不同的，在最近的文献中，是基于本地搜索算法的分析。此外，补充经典的极小化中心的分析，我们的研究结果提供了第一步，以关闭之间的差距耦合非凸非光滑统计估计问题的计算优化和渐近分析，扩大前者与统计特性的实际获得的解决方案，并提供后者与一个更实际的重点有关的计算易处理性。
2019-10-06 cs.LG math.OC math.ST
Faster Gradient-Free Proximal Stochastic Methods for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
最近梯度法在解决许多机器学习问题，特别是非光滑问题中发挥着重要作用。然而，在一些机器学习问题中，如强盗模型和黑盒学习问题，近端梯度法可能会失败，因为这些问题的显式梯度是困难的或不可行的。无梯度（零阶）方法可以解决这些问题，因为在优化中只需要目标函数值。最近，第一个零阶邻近随机算法被提出来解决非凸非光滑问题。然而，它的收敛速度是$O(\frac{1}{\sqrt{T}})$的非凸问题，这是显着低于零阶随机算法的最佳收敛速度$O(\frac{1}{T})$，其中$T$是迭代次数。为了填补这一空白，在本文中，我们提出了一类更快的零阶近似随机方法与SVRG和SAGA的方差减少技术，这是表示为ZO-ProxSVRG和ZO-ProxSAGA，分别。在理论分析中，我们解决的主要挑战，真正的梯度的无偏估计不持有在零阶的情况下，这是需要在以前的理论分析SVRG和SAGA。证明了ZO-ProxSVRG和ZO-ProxSAGA算法都具有$O(\frac{1}{T})$收敛速度。最后，实验结果表明，我们的算法具有更快的收敛速度比现有的零阶邻近随机算法。
2019-02-16 cs.LG math.OC stat.ML
Structured Nonconvex and Nonsmooth Optimization: Algorithms and Iteration Complexity Analysis
Shanghai University of Finance and Economics（上海财经大学）；UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；University of Minnesota（明尼苏达大学）
非凸和非光滑最优化问题在统计、商业、科学和工程等领域中经常遇到，但在可扩展性方面，它们还没有被广泛地认识为一种技术。这种相对较低的普及程度的一个原因是缺乏一个良好的发展系统的理论和算法来支持的应用程序，是其凸对应的情况下。本文的目的是采取纪律的非凸和非光滑最优化的方向迈出了一步。特别地，本文考虑了块决策变量中有约束的非凸最优化模型，无论有无耦合仿射约束。在无耦合约束的情况下，证明了广义条件梯度法以变分不等式的形式具有次线性收敛速率到$ε$ -平稳解的速度，其中收敛速度依赖于目标光滑部分梯度的Hölderian连续性.对于耦合仿射约束的模型，我们引入相应的$ε$ -平稳性条件，并应用两个近似型的ADMM的变体来解决这样的模型，假设可以实现的所有块变量的最后一块，除了梯度步骤或优化最小化步骤的最接近的ADMM更新。我们证明了迭代复杂性界的$O(1/ε^2)$达到$ε$ -固定的解决方案，这两种算法。此外，我们表明，相同的迭代复杂性的一个接近BCD方法如下立即。数值结果表明，所提出的张量鲁棒PCA算法的有效性。
2018-01-17 cs.LG math.OC stat.ML
A New Random Reshuffling Method for Nonsmooth Nonconvex Finite-sum Optimization
本文提出 norm-PRR 方法求解非光滑非凸有限和优化，改进梯度评估复杂度，并证明 PL、插值及 KL 条件下的线性与最后迭代收敛性。
2025-07-28 cs.LG math.OC
A Simple Proximal Stochastic Gradient Method for Nonsmooth Nonconvex Optimization
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们分析随机梯度算法优化非凸，非光滑有限和问题。特别地，目标函数由可微（可能非凸）分量与可能不可微但凸的分量的总和给出。我们提出了一个近似的随机梯度算法的基础上减少方差，称为ProxSVRG+。我们的主要贡献在于ProxSVRG+的分析。它恢复了几个现有的收敛结果，并改善/推广它们（随机梯度Oracle调用和邻近Oracle调用的数量）。特别地，ProxSVRG+概括了最近由[Lei等人，[2017]第一个非线性方程。ProxSVRG+也比SCSG更简单，分析更简单。此外，ProxSVRG+对于大范围的小批量大小优于确定性近端梯度下降（ProxGD），这部分地解决了在[Reddi等人，2016年b]。此外，ProxSVRG+使用比ProxSVRG少得多的邻近oracle调用[Reddi等人，2016年b]。此外，对于满足Polyak-Chaojasiewicz条件的非凸函数，我们证明了ProxSVRG+具有全局线性收敛速率，且不需要重新启动.因此，只要目标函数在某些区域局部满足PL条件，\emph{automatically}就可以在这些区域切换到更快的线性收敛。ProxSVRG+还改进了ProxGD和ProxSVRG/SAGA，并在这种情况下推广了SCSG的结果。最后，进行了实验研究，实验结果与理论分析结果基本一致。
2018-12-01 cs.DS cs.LG math.OC
Dimension-Free Decentralized Nonsmooth Nonconvex Stochastic Optimization
Zhejiang University（浙江大学）；Nanjing University（南京大学）；Southeast University（东南大学）
本文提出一种新的分布式非光滑非凸随机优化算法，通过在线到非凸转换消除维度依赖，实现更优的样本和通信复杂度。
2026-10-06 cs.LG math.OC
Primal-Dual Methods for Nonsmooth Nonconvex Optimization with Orthogonality Constraints
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程系）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理系）
本文提出一种无退化对偶方法，用于解决具有正交约束的非光滑非凸优化问题，方法单循环且无需求解子问题，具有O(ε^{-3})的迭代复杂度，并通过数值实验验证其高效性。
2026-04-05 cs.LG cs.NA math.NA
Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization
Google Research（谷歌研究）
本文提出两种高效方法，通过平滑技术实现自适应矩阵在线学习，解决了传统方法中二次投影的高成本问题，并在非光滑非凸优化中提供收敛保证。
2026-02-09 cs.LG math.OC stat.ML
An Incremental Path-Following Splitting Method for Linearly Constrained Nonconvex Nonsmooth Programs
问题2的不动点不是问题1的不动点。很抱歉，我们正在努力修复此错误。
2018-08-04 cs.LG math.OC
Multiblock ADMM for nonsmooth nonconvex optimization with nonlinear coupling constraints
University of Mons（蒙斯大学）；Huawei Belgium Research Center (BeRC)（华为比利时研究中心）
本文提出一种多块ADMM方法，结合优化最小化更新各原始变量块，用于求解带非线性耦合约束的非光滑非凸优化问题，并证明了收敛性、迭代复杂度及初步数值效果。
2023-12-02 cs.LG math.OC
Convergence of a Stochastic Subgradient Method with Averaging for Nonsmooth Nonconvex Constrained Optimization
对于具有广义可微性的非光滑、非凸目标函数的约束问题，证明了一个带次梯度平均的单时间尺度随机次梯度方法的收敛性.作为我们分析的工具，我们还证明了一个链式法则的道路上，这样的功能。
2019-12-16 math.OC
On a monotone scheme for nonconvex nonsmooth optimization with applications to fracture mechanics
研究了一类非凸最优化问题，其中罚函数是一个线性算子与一个非光滑非凸映射的复合，该非光滑非凸映射在正实直线上是凹的.原问题的正则化版本的必要最优性条件的解决通过单调收敛的计划。这样的问题出现在连续介质力学中，例如内聚断裂，其中奇异行为通常由非光滑非凸能量建模。所提出的算法是成功地测试断裂力学问题。它的性能也比较了两种替代算法的非光滑非凸优化所产生的最优控制和数学成像。
2018-04-19 math.OC
Distributed Stochastic Nonsmooth Nonconvex Optimization
分布式一致性优化近年来受到了相当大的关注，已经提出了几个分布式的共识为基础的算法（非光滑）凸和（光滑）非凸目标函数。然而，这些分布式算法对{ \it非凸，非光滑和随机}目标函数的行为是不理解的。这类函数和分布式设置的动机是几个应用程序，包括机器学习和信号处理中的问题。本文提出了第一次收敛性分析的分散随机次梯度方法的这类问题，在网络建模为无向，固定，图。
2019-11-03 math.OC
Oracle Complexity in Nonsmooth Nonconvex Optimization
Weizmann Institute of Science（魏茨曼科学研究所）
众所周知，给定一个光滑的、有界的、可能非凸的函数，标准的基于梯度的方法可以在$\mathcal{O}(1/ε^2)$迭代中找到$ε$ -稳定点（梯度范数小于$ε$）。然而，许多重要的非凸最优化问题，如那些与现代神经网络的训练，本质上是不光滑的，使这些结果不适用。在本文中，我们研究了非光滑非凸优化的预言复杂性的观点，其中算法被假定为只能访问局部信息的功能在不同的点。我们提供了两个主要结果：第一，我们考虑了接近$ε$ -平稳点的问题。这也许是最自然的放松寻找$ε$ -平稳点，这是不可能的非光滑非凸的情况下。我们证明，这个放松的目标不能有效地实现，任何距离和$ε$小于一些常数。我们的第二个结果处理的可能性，解决非光滑非凸优化减少到光滑优化：即，应用光滑的最优化方法的光滑近似的目标函数。对于这种方法，我们在一个温和的假设下证明了oracle复杂性和光滑性之间的内在权衡：一方面，平滑非光滑非凸函数可以非常有效地完成（例如，通过随机平滑），但是在平滑参数中具有依赖于维度的因子，当插入标准平滑最优化方法时，这会强烈影响迭代复杂性。另一方面，这些维度因素可以用合适的平滑方法来消除，但只能通过使平滑过程的预言复杂度指数级地大。
2022-10-27 cs.LG math.OC
First-order primal-dual methods for nonsmooth nonconvex optimisation
我们提供了一个概述的原始对偶法的非光滑和非凹凸鞍点问题。这围绕着一个新的分析方法，使用Bregman分歧制定简化的收敛条件。
2020-08-05 math.OC
Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
Department of Computer Science University of Maryland College Park（计算机科学系大学马里兰大学学院公园分校）；Department of Computer Science and Engineering University of Texas Arlington（计算机科学与工程系德克萨斯大学阿灵顿分校）
针对现有复合优化方法依赖光滑性假设、无法适配正则化ReLU网络等机器学习问题的局限，提出两种近似平稳点新概念及对应零阶算法，证明有限时间收敛性并通过数值实验验证有效性。
2025-10-06 cs.LG math.OC
Can We Find Near-Approximately-Stationary Points of Nonsmooth Nonconvex Functions?
Weizmann Institute of Science（魏茨曼科学研究所）
众所周知，给定一个有界的光滑非凸函数，标准的基于梯度的方法可以在$\mathcal{O}(1/ε^2)$迭代中找到$ε$ -稳定点（其中梯度范数小于$ε$）。然而，许多重要的非凸最优化问题，如那些与现代神经网络的训练，本质上是不光滑的，使这些结果不适用。此外，正如最近在Zhang et al. [2020]中指出的那样，通常不可能为找到非光滑函数的$ε$ -平稳点提供有限时间保证。也许最自然的放松这是找到点附近的这种$ε$ -平稳点。在本文中，我们表明，即使是这个宽松的目标是很难获得一般，只给黑盒访问的函数值和梯度。我们还讨论了替代方法的利弊。
2021-04-15 cs.LG math.OC
A proximal gradient method for control problems with nonsmooth and nonconvex control cost
研究了一种近似梯度法在非光滑非凸控制问题中的收敛性。在这里，我们专注于控制成本泛函，促进稀疏性，其中包括泛函的$L^p$型$p\in [0,1)$。我们证明了该方法的弱极限点的平稳性。这些性质弱于庞特里亚金的最大值原理和弱于$L$ -平稳性。
2020-07-22 math.OC
Minimization of nonsmooth nonconvex functions using inexact evaluations and its worst-case complexity
针对复合非光滑非凸优化问题，提出了一种基于非精确函数和导数计算的自适应正则化算法。它表明，该算法最多需要$O(|\log(ε)|\,ε^{-2})$评估的问题的功能和他们的衍生物找到一个$ε$ -近似的一阶稳定点。因此，该复杂性界限概括了[Bellavia，Gurioli，Morini和Toint，2018]为光滑非凸问题的不精确方法提供的复杂性界限，并且在具有精确评估的光滑和非光滑非凸最小化已知的最优界限的$|\log(ε)|$因子内。一个实际上更严格的最坏情况下的复杂性$O(|\log(ε)|+ε^{-2})$的算法的变体。
2019-02-27 math.OC
Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions
Massachusetts Institute of Technology（麻省理工学院）
我们提供了第一个非渐近分析，寻找非光滑，非凸函数的稳定点。特别是，我们研究类阿达玛半可微函数，也许是最大的一类非光滑函数的链式法则的微积分举行。此类包含ReLU神经网络和其他具有不可微激活函数的示例。我们首先表明，找到一个$ε$ -平稳点的一阶方法是不可能的，在有限的时间。然后，我们引入了$(δ, ε)$ -平稳性的概念，它允许一个$ε$ -近似梯度是在距离$δ$的解决方案内的点处评估的广义梯度的凸组合。我们提出了一系列的随机一阶方法，并分析了它们的复杂性找到一个$(δ, ε)$ -平稳点。此外，我们提供了一个下界，并表明我们的随机算法具有最小-最大最优依赖于$δ$。从经验上讲，我们的方法在训练ReLU神经网络方面表现良好。
2020-06-29 cs.LG math.OC
A Nonconvex Nonsmooth Regularization Method for Compressed Sensing and Low-Rank Matrix Completion
本文研究了压缩感知（CS）和低秩矩阵完备（MC）的非凸非光滑模型。将问题转化为一个非凸的正则化最小二乘最优化问题，其中l0范数和秩函数分别用l1范数和核范数代替，并分别增加一个非凸的罚函数.提出了一种交替极小化方案，证明了由交替算法产生的子序列收敛于一个临界点的存在性。对于非凸正则化CS和MC问题，分别分析了NSP、RIP和RIP稳定恢复保证条件。最后，通过实验结果证明了所提出的方法的性能。
2016-05-02 math.OC
The Sound of APALM Clapping: Faster Nonsmooth Nonconvex Optimization with Stochastic Asynchronous PALM
本文介绍了随机异步近似交替线性化最小化（SAPALM）方法，它是一种求解非凸、非光滑最优化问题的块坐标随机近似梯度法. SAPALM是第一个异步并行最优化方法，可证明收敛于一大类非凸，非光滑的问题。我们证明，SAPALM匹配最知名的收敛速度-同步或异步方法-在这个问题类。我们提供了上界的工人的数量，我们可以期望看到一个线性加速，这符合已知的最佳界限不太复杂的问题，并表明在实践中SAPALM实现这种线性加速。我们展示了几个矩阵分解问题的最先进的性能。
2016-06-07 math.OC
A theory on the absence of spurious solutions for nonconvex and nonsmooth optimization
本文提出“全局函数”理论，证明张量分解中一类非凸非光滑目标不存在伪局部最优，为 ℓ1 范数鲁棒非凸优化提供理论保证。
2025-02-14 math.OC
Nonconvex and Nonsmooth Sparse Optimization via Adaptively Iterative Reweighted Methods
ShanghaiTech University（上海科技大学）；Shenzhen University（深圳大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）
我们提出了一个具有凸集约束的非凸和非光滑稀疏优化问题的一般形式，它可以考虑大多数现有类型的非凸稀疏诱导项，具有很强的适用性，以广泛的应用。我们设计了一个通用的算法框架，迭代重加权算法求解所提出的非凸和非光滑稀疏优化问题，解决了一系列加权凸正则化问题的自适应更新的权重。一阶最优性条件的推导和全局收敛性的结果提供宽松的假设下，使我们的理论结果分析家庭的各种加权算法的实用工具。我们提出的配方和算法的有效性和效率在各种稀疏优化问题的数值实验中得到了证明。
2021-08-20 cs.IT cs.LG math.IT
An adaptive exact penalty method for nonsmooth optimal control problems with nonsmooth nonconvex state and control constraints
针对具有非光滑代价泛函、非光滑（但连续）动态、非光滑状态和控制约束的最优控制问题，提出了一类精确惩罚型局部搜索法，其中罚参数和多个线搜索参数在寻优过程中自适应调整.这类方法适用于具有已知DC（Difference-of-凸函数）结构的问题，其核心是基于经典的DCA方法，结合用于更新罚参数的转向精确罚规则和自适应非单调线搜索过程。在所有辅助子问题仅近似求解（即有限精度）的假设下，我们证明了所提出的方法族的正确性，并给出了详细的收敛性分析。几个不同版本的方法的性能示出通过一个数值例子，其中的方法被施加到一个半学术最优控制问题的非光滑非凸状态约束。
2023-02-18 math.OC
Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL) Property
针对非凸非光滑优化问题，本文提出投影近端梯度下降法（PPGD），在不依赖 Kurdyka-Łojasiewicz (KŁ) 性质的条件下，证明了其能实现局部 $\cO(1/k^2)$ 的快速收敛率，并通过实验验证了方法的有效性。
2024-09-25 math.OC stat.ML
A variable smoothing for Nonconvexly constrained nonsmooth optimization with application to sparse spectral clustering
本文提出一种变量平滑算法，通过将非凸约束参数化为欧几里得空间并利用 Moreau 包络平滑非光滑项，求解非凸约束非光滑优化问题，并应用于稀疏谱聚类。
2024-04-03 math.OC
Relax-and-split method for nonsmooth nonconvex problems
我们开发和分析了一个新的“松弛和分裂”（RS）的方法，可分离的非凸非光滑函数与线性映射的组合物。RS使用松弛技术与部分最小化，并带来了经典的技术，包括直接因式分解，矩阵分解，和快速迭代法承担非光滑非凸问题。我们还扩展了修剪非凸复合配方的方法，由此产生的修剪RS（TRS）可以适合模型，同时检测数据中的离群值。然后，我们测试RS和TRS上的各种应用程序：（1）相位检索，（2）随机最短路问题，（3）半监督分类，（4）新的聚类方法。RS/TRS可以应用于功能假设非常弱的模型，易于实现，与现有方法竞争，并使建模公式的新水平得以提出，以应对数学科学中出现的挑战。
2018-09-26 math.OC
The Exponential Price of Determinism in Nonsmooth Nonconvex Optimization
本研究证明确定性算法在非光滑非凸优化中寻找Goldstein稳定点的复杂度至少为(1/ε)^Ω(d)，而随机算法可达到维度无关复杂度，从而揭示随机化带来的指数级计算优势。
2026-09-22 cs.LG math.OC
Inertial Proximal Alternating Linearized Minimization (iPALM) for Nonconvex and Nonsmooth Problems
本文研究了半代数数据的非凸非光滑最优化问题，其中变量向量被分成若干个变量块。该问题由整个变量向量的一个光滑函数和每个块的非光滑函数之和组成。我们分析了惯性版本的近端交替线性化最小化（PALM）算法，并证明其整体收敛的临界点的目标函数在手。我们说明了我们的理论研究结果，提出的数字实验盲图像反卷积，稀疏非负矩阵分解和字典学习，这表明所提出的方法的可行性和有效性。
2017-02-08 math.OC
Decentralized Stochastic Subgradient-type Methods with Communication Compression for Nonsmooth Nonconvex Optimization
针对非光滑非凸分布式优化问题，提出统一框架整合多种带压缩的随机次梯度方法，证明全局收敛性，并开发基于符号正则化和梯度跟踪动量的新方法。
2026-07-03 cs.AI cs.LG math.OC
Smoothing algorithms for nonsmooth and nonconvex minimization over the stiefel manifold
考虑Stiefel流形上一类非光滑非凸最优化问题，其中目标函数是由一个非凸光滑函数和一个由线性映射构成的非光滑Lipschitz连续凸函数之和.我们提出了三个数值算法来解决这个问题，通过结合平滑方法和一些现有的算法光滑优化Stiefel流形。特别地，我们在光滑化方法中用Moreau包络逼近了上述非光滑凸函数，并证明了Moreau包络具有许多有利的性质。由于这一点和计划更新的平滑参数，我们表明，所提出的算法产生的解决方案序列的任何积累点是一个固定点的原始最优化问题。在构建图傅立叶基上的数值实验证明了所提算法的有效性。
2023-03-25 math.OC
Gradient-Free Multi-Agent Nonconvex Nonsmooth Optimization
本文考虑了连通多智能体网络上非凸且可能非光滑函数之和的最小化问题，其中智能体对全局费用函数具有部分知识，并且只能访问零阶信息（即，函数值）的局部费用函数。我们提出并分析了一个分布式的原始-对偶无梯度算法这个具有挑战性的问题。我们证明了通过适当地选择参数，所提出的算法收敛到一阶平稳解的集合，并具有可证明的全局次线性收敛速度。数值实验表明，我们提出的方法优化网络上的非凸和非光滑问题的有效性。
2019-04-09 math.OC stat.CO
Convergence Analysis of A Proximal Linearized ADMM Algorithm for Nonconvex Nonsmooth Optimization
本文考虑一种近似线性化交替方向乘子法（PL-ADMM）来求解线性约束非凸和可能的非光滑最优化问题。通过在原始更新中使用变尺度邻近项和在乘子更新中使用超松弛步长，将该算法推广。证明了该方法生成的序列是有界的，其极限点是临界点。在强大的Kurdyka-{Eschojasiewicz}性质下，我们证明了序列具有有限长度从而收敛，并且我们驱动了它的收敛速度。
2021-07-03 math.OC
Proximal linearized iteratively reweighted least squares for a class of nonconvex and nonsmooth problems
针对一类非凸非光滑问题，提出了一种近似线性化迭代加权最小二乘（PL-IRLS）算法。我们先用光滑方法近似原问题，然后通过引入新的变量将近似问题转化为辅助问题。PL-IRLS是在求解辅助问题的基础上，利用近似线性化技术和迭代加权最小二乘（IRLS）方法，具有显著的计算优势。我们表明，PL-IRLS可以扩展到解决更一般的非凸和非光滑问题，通过调整广义参数，也可以解决非凸和非光滑问题的两个或两个以上的变量块。在理论上，借助于Kurdyka- Lojasiewicz性质，我们证明了PL-IRLS生成的每个有界序列全局收敛于逼近问题的一个临界点。据我们所知，这是第一个应用IRLS思想解决非凸非光滑问题的整体收敛结果。最后，我们将PL-IRLS应用于稀疏信号恢复和低秩矩阵恢复中三个典型的非凸非光滑问题，得到了新的全局收敛算法。
2014-04-24 cs.IT math.IT math.OC
Private Zeroth-Order Nonsmooth Nonconvex Optimization
Boston University（波士顿大学）
本文针对非凸非光滑随机优化提出一种新的零阶私有算法，在数据集规模满足特定下界时保证Rényi差分隐私并找到稳定点，且复杂度与非私有零阶方法最优复杂度一致。
2024-06-27 cs.CR cs.LG math.OC
Optimality conditions for nonsmooth nonconvex-nonconcave min-max problems and generative adversarial networks
研究了机器学习和博弈中一类非光滑非凸-非凹极大极小问题。首先给出了全局极大极小点和局部极大极小点存在的充分条件。其次，我们利用方向导数建立了局部极小极大点的一阶和二阶最优性条件。这些条件减少到光滑的最小最大问题与Fr{é}chet导数。我们将我们的理论结果应用于生成对抗网络（GANs），其中两个神经网络在游戏中相互竞争。最后通过实例说明了新理论在GANs训练中的应用。
2022-03-21 math.OC
The cost of nonconvexity in deterministic nonsmooth optimization
我们研究了非凸性对非光滑最优化复杂性的影响，强调了分段线性函数等目标，这些目标可能不是弱凸的。我们专注于维度无关分析，稍微修改了Zhang等人（2020）的黑盒算法，该算法使用$O(ε^{-4})$调用专门的次梯度预言和随机线搜索来近似任何方向可微Lipschitz目标的$ε$ -稳定点。我们简单的黑盒确定性的版本，实现$O(ε^{-5})$的任何差异的凸目标，和$O(ε^{-4})$的弱凸的情况下。我们的复杂性约束取决于一个自然的非凸性模量，相关的，有趣的是，负的一部分，定向二阶导数的目标，理解的分布意义上。
2022-10-07 math.OC
A Learned Proximal Alternating Minimization Algorithm and Its Induced Network for a Class of Two-block Nonconvex and Nonsmooth Optimization
Department of Mathematics, University of Florida, Gainesville, FL 32611, USA（佛罗里达大学数学系）
本文提出了一种学习的近端交替最小化算法及其诱导网络，用于解决双块非凸非光滑优化问题，通过残差学习架构和块坐标下降方法实现高效收敛。
2024-11-10 cs.LG math.OC
Linear Convergence of Variable Bregman Stochastic Coordinate Descent Method for Nonsmooth Nonconvex Optimization by Level-set Variational Analysis
大规模非凸和非光滑问题在压缩感知、大数据优化和机器学习等领域引起了广泛的关注。探索有效的方法仍然是当今研究的主要挑战。随机坐标下降法已被广泛应用于求解大规模最优化问题。本文证明了变Bregman随机坐标下降法（VBSCD）对一类非光滑非凸最优化问题的收敛性，由VBSCD生成的序列的任何累加几乎肯定是临界点。此外，我们开发了一个新的水平集上的变分方法，旨在对收敛速度分析。如果水平集次微分误差界成立，我们推导出一个线性的收敛速率的期望值的目标函数和期望值的随机变量的VBSCD。
2019-05-27 math.OC
Incremental Quasi-Newton Algorithms for Solving Nonconvex, Nonsmooth, Finite-Sum Optimization Problems
提出并测试了求解非凸、非光滑、有限和最优化问题的算法。特别是，算法提出和测试的上下文中产生的半监督机器学习的最优化问题制定。所有算法的共同特征是它们采用增量拟牛顿（IQN）策略，特别是增量BFGS（IBFGS）策略。一个应用IBFGS策略的问题直接，而其他应用IBFGS策略的差异凸重构，平滑逼近，或（强）凸局部逼近。实验表明，所有IBFGS方法在实践中表现良好，并且都优于最先进的捆绑方法。
2022-07-20 math.OC
A Stochastic Subgradient Method for Nonsmooth Nonconvex Multi-Level Composition Optimization
我们提出了一个单时间尺度的随机次梯度方法的约束优化的组合的几个非光滑和非凸函数。函数被假定为局部Lipschitz和可微的广义意义。仅使用函数的值和广义导数的随机估计。该方法是无参数的。我们证明了收敛的概率1的方法，通过与它的微分包含系统和设计一个不可微的李雅普诺夫函数这个系统。对于具有Lipschitz连续导数的函数的问题，该方法在执行具有恒定步长的$N$迭代之后，找到满足具有$1/\sqrt{N}$阶误差的最优性度量的点。
2020-12-18 math.OC
