Stochastic Bregman Subgradient Methods for Nonsmooth Nonconvex Optimization Problems
本文研究目标函数缺乏Clarke正则性时的随机Bregman次梯度方法，通过微分包含建立收敛性，提出非精确求解与动量集成机制，并验证其在训练非光滑神经网络中的有效性。
2025-05-29 math.OC
A Stochastic Subgradient Method for Nonsmooth Nonconvex Multi-Level Composition Optimization
我们提出了一个单时间尺度的随机次梯度方法的约束优化的组合的几个非光滑和非凸函数。函数被假定为局部Lipschitz和可微的广义意义。仅使用函数的值和广义导数的随机估计。该方法是无参数的。我们证明了收敛的概率1的方法，通过与它的微分包含系统和设计一个不可微的李雅普诺夫函数这个系统。对于具有Lipschitz连续导数的函数的问题，该方法在执行具有恒定步长的$N$迭代之后，找到满足具有$1/\sqrt{N}$阶误差的最优性度量的点。
2020-12-18 math.OC
A Riemannian conjugate subgradient method for nonconvex and nonsmooth optimization on manifolds
School of Mathematics & Center for Applied Mathematics of Guangxi, Guangxi University（广西大学数学与广西应用数学中心）
针对流形上的一类非凸非光滑优化问题，提出黎曼共轭次梯度方法，通过方向活跃次梯度的凸组合定义搜索方向，结合区间缩减的线搜索保证单调非增，在温和假设下证明全局收敛性，数值实验表明计算时间显著优于现有方法。
2026-05-23 math.OC
Subgradient Splitting Methods for Nonsmooth Fractional Programming with Fixed-Point Constraints
针对带不动点约束、分子凸分母凹的非光滑分式规划，提出无需迭代求解子问题的次梯度分裂方法及面向大规模比和问题的增量算法，并证明收敛性、通过数值对比验证其性能。
2025-09-01 math.OC
Subgradient Gliding Method for Nonsmooth Convex Optimization
LMIB of the Ministry of Education, School of Mathematical Sciences, Beihang University（教育部数学建模实验室，北京航空航天大学数学科学学院）
亚梯度滑动法解决经典投影亚梯度方法在非光滑凸优化中的失效问题，提供更灵活的步长设计和更优的收敛速率。
2026-02-15 math.OC
Subgradient sampling for nonsmooth nonconvex minimization
本文针对非光滑非凸风险最小化问题，提出并分析了一阶次梯度采样（随机次梯度下降）的收敛性，利用保守微积分和ODE方法改进既有结果，并证明在可定义情形下以概率1避免人工临界点，适用于深度学习风险最小化。
2024-07-23 math.OC
Subgradient Methods for Nonsmooth Convex Functions with Adversarial Errors
CWI Amsterdam（荷兰数学与计算机科学研究学会阿姆斯特丹分部）
针对受有限预算对抗性破坏的非光滑凸函数最小化问题，提出三种无需动量或平均的次梯度下降法，其最坏性能随破坏预算线性下降且接近最优，并给出对应一阶方法的次优性间隙下界。
2025-10-03 math.OC
A proximal subgradient algorithm with extrapolation for structured nonconvex nonsmooth problems
本文针对一类结构化非凸非光滑优化问题，提出一种带外推的近端次梯度算法，证明其子序列收敛及在KL性质下的全局收敛性，并通过非凸正则化最小二乘和含分布式能源的最优潮流实验验证了算法性能。
2023-03-19 math.OC
Projected Subgradient Methods for a Class of Nonsmooth and Nonconvex Optimization Problems
University of Würzburg（维尔茨堡大学）
本文针对非空闭集上的非光滑非凸优化问题，提出带两种全局化策略的投影次梯度方法，证明其收敛到更强平稳性解，并在MPEC式问题、MAXCUT和Robust PCA上取得良好数值结果。
2026-09-03 math.OC
Fixed-Point Delayed Subgradient Methods for Nonsmooth Convex Optimization Problems
Khon Kaen University（孔敬大学）；Gyeongsang National University（庆尚国立大学）；China Medical University（中国医药大学）
本文提出基于混合最速下降法和延迟子梯度思想的固定点延迟子梯度方法，用于求解非光滑凸优化问题，证明了算法收敛性，并扩展到集中网络系统和图像修复应用。
2026-11-03 math.OC
Almost Sure Convergence of Random Projected Proximal and Subgradient Algorithms for Distributed Nonsmooth Convex Optimization
描述了两种分布式算法，使所有用户连接在一个网络上，以合作解决的问题，最小化的总和，所有用户的目标函数在所有用户的约束集的交集，其中每个用户有自己的私人非光滑凸目标函数和封闭的凸约束集，这是一些简单的，封闭的凸集的交集。一种算法使每个用户能够通过使用其目标函数的邻近算子和从简单的闭凸集中随机选择的一个集合上的度量投影来调整其估计。另一种是分布式随机投影算法，该算法通过使用用户的目标函数的次梯度而不是邻近算子来确定每个用户的估计。对这两种算法收敛性的研究表明，在一定的假设条件下，这两种算法所产生的所有用户的序列几乎必然收敛到同一个解。此外，对两种算法的收敛速度进行了分析，并讨论了使两种算法具有快速收敛性的步长序列的理想选择。具体的非光滑凸优化的数值比较支持了收敛性分析，并证明了两种算法的有效性。
2015-10-24 math.OC
An Approximate Conjugate Subgradient Algorithm with Matrix Parameter for Derivative-Free Nonsmooth Optimization Problems
Fakultät für Mathematik, Universität Wien（维也纳大学）；Faculty of Engineering, Free University of Bozen–Bolzano（博岑-博尔扎诺自由大学）；Université Catholique de Louvain (UCLouvain)（天主教鲁汶大学）
提出一种无导数矩阵共轭次梯度方法，通过离散梯度采样和最小范数元素计算，结合矩阵记忆校正与线搜索，求解局部Lipschitz函数的无约束非光滑优化问题，数值实验表明算法鲁棒性强。
2026-06-27 math.OC
A New Spectral Conjugate Subgradient Method with Application in Computed Tomography Image Reconstruction
University of Washington Bothell（华盛顿大学博塞尔分校）；New York University（纽约大学）；University of Washington（华盛顿大学）；University of Oregon（俄勒冈大学）
提出一种结合谱共轭梯度与谱次梯度的新方法，用于非光滑优化及CT图像重建，实验表明其优于原始谱次梯度法，且Polak-Ribiere公式表现最佳。
2024-06-05 math.OC
Clarke subgradients of stratifiable functions
我们建立了以下结果：如果（非光滑）实延值函数$f:\mathbb{R}^{n}\to \mathbb{R}\cup\{+\infty\}$的图是闭的，并且允许Whitney分层，则$f$在$x\in{dom}f$处的梯度相对于包含$x$的层的范数从低于$x$处的$f$的Clarke子梯度的所有范数开始。作为结果，我们得到了一些Morse-Sard型定理以及一个非光滑Kurdyka-Eschojasiewicz不等式的功能定义在一个任意的O-最小结构。
2006-01-22 math.OC
Optimal subgradient algorithms with application to large-scale linear inverse problems
本文研究了利用一阶信息求解结构化无约束凸优化问题的一些算法，其中底层函数包含高维数据。主要目的是开发一种可实施的算法框架，用于使用Neumaier在[49]中提出的最佳次梯度法（OSGA）解决涉及线性映射的多项复合目标函数问题。为此，我们提出了几个新的函数，相应的子问题的OSGA是解决在一个封闭的形式。考虑到信号和图像处理，机器学习，统计中出现的各种逆问题，我们报告了大量的数值和比较，与几个国家的最先进的求解器提出有利的性能，我们的算法。我们还比较了一些光滑和非光滑凸问题中最广泛使用的最优一阶方法。令人惊讶的是，当一些Nesterov型的优化方法最初提出的光滑问题是适应于解决非光滑问题，通过简单地通过一个子梯度，而不是梯度，这些基于子梯度的算法的结果是有竞争力的，完全有趣的解决非光滑问题。最后，OSGA软件包可用。
2014-05-27 math.OC
Nonsmooth nonconvex stochastic heavy ball
本文研究非光滑非凸随机重球法的收敛性，结合半代数假设、非光滑微积分与微分包含，证明随机初始化可避免人为临界点并收敛至 Clarke 临界点。
2024-01-23 math.OC
A Hybrid Subgradient Method for Nonsmooth Nonconvex Bilevel Optimization
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen University（深圳大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
本文提出一种混合子梯度法，结合双时间尺度动量加速子梯度法和可行性恢复方案，解决非凸双层优化问题，实现全局收敛性和高效计算。
2026-09-01 math.OC
Extrapolated Proximal Subgradient Algorithms for Nonconvex and Nonsmooth Fractional Programs
本文考虑了一类非光滑非凸分式规划，其中分子可以表示为梯度为Lipschitz连续的连续可微凸函数与适当的下连续（可能非凸）函数之和，分母在约束集上弱凸.这个模型问题包括最近广泛研究的复合最优化问题，并包含许多重要的现代分数最优化问题产生于不同的领域，如最近提出的尺度不变稀疏信号重建问题在信号处理。我们提出了一个求解该最优化模型的带外推的近似次梯度法，并证明了该算法产生的迭代序列是有界的，其任何极限点都是模型问题的一个不动点.我们的外推参数的选择是灵活的，包括流行的外推参数采用重新启动的快速迭代收缩阈值算法（FISTA）。通过提供一个统一的分析框架的下降法，我们建立了收敛的全序列的假设下，一个合适的价值函数满足Kurdyka-Kazojasiewicz（KL）性质。特别地，我们的算法表现出线性收敛的尺度不变的稀疏信号重建问题和瑞利商问题的球面约束。在分母是多个连续可微弱凸函数的最大值的情况下，我们还提出了一种增强的外推近次梯度法，保证收敛到模型问题的更强的稳定点的概念。最后，我们通过分析和模拟的数值例子来说明所提出的方法。
2020-10-16 math.OC
Proximal Point Algorithms for Nonsmooth Convex Optimization with Fixed Point Constraints
考虑了定义在实希尔伯特空间上的非扩张映射的不动点集的交集上的非光滑凸目标函数之和的极小化问题，在该不动点集上的投影不能有效地计算.使用邻近点法，使用邻近算子的目标函数和增量优化技术提出了解决问题。重点研究了不动点逼近技术，设计了两种算法来求解该问题。一种是将增量次梯度法与Halpern型不动点迭代算法相结合，增量次梯度法是求解非光滑凸优化问题的一种有效算法。另一种是基于增量次梯度法和Krasnosel'ski \u-Mann不动点算法。证明了Halpern型算法生成的序列的弱序列聚点属于问题的解集，而Krasnosel'ski \u-Mann型算法生成的序列存在一个弱序列聚点也属于问题的解集.数值结果表明，本文提出的两种算法与已有的次梯度法在求解具体的非光滑凸优化问题时具有更快的收敛速度.
2016-02-05 math.OC
A Single-loop Proximal Subgradient Algorithm for A Class Structured Fractional Programs
针对一类含线性算子的非凸非光滑结构化分式规划，提出单循环邻近次梯度算法及非单调线搜索变体，证明其全局收敛并在三类应用中验证优越性。
2025-03-15 math.OC
A Unified Analysis on the Subgradient Upper Bounds for the Subgradient Methods Minimizing Composite Nonconvex, Nonsmooth and Non-Lipschitz Functions
Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济管理学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Institute of Translational Medicine and National Center for Translational Medicine, Shanghai Jiao Tong University（上海交通大学转化医学研究院和转化医学中心）；Department of Industrial and Systems Engineering, University of Minnesota（明尼苏达大学工业与系统工程系）
本文提出了一种统一分析方法，用于研究子梯度方法在最小化复合非凸、非光滑和非利普斯芝函数时的子梯度上界问题，并扩展到随机近端子梯度算法。
2024-11-12 cs.LG math.OC
Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex functions
State Key Laboratory of Scientific and Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and University of Chinese Academy of Sciences, China（国家科学工程计算重点实验室，数学系统科学学院，中国科学院，中国科学院大学）
本文提出一个统一去中心化随机子梯度法的框架，为非光滑非凸函数的收敛性提供理论保证，并通过实验验证其在非光滑神经网络训练中的有效性。
2026-01-06 cs.LG math.OC
Projection-Free Algorithms for Nonsmooth Stochastic Convex-Concave Saddle-Point Problems
Cornell University（康奈尔大学）
本文针对非光滑随机凸-凹鞍点问题，提出模块化单循环无投影算法，利用线性最小化预言机直接处理非光滑性，达到O(ε^-2)迭代复杂度并证明极小极大最优性。
2026-09-29 math.OC
Proximally Guided Stochastic Subgradient Method for Nonsmooth, Nonconvex Problems
Cornell University（康奈尔大学）
在本文中，我们引入了一个随机投影次梯度方法的弱凸（即，一致正则）非光滑，非凸函数-一个广泛的函数类，包括加法和凸复合类。在高层次上，该方法是一个不精确的邻近点迭代，其中强凸邻近子问题快速解决了一个专门的随机投影次梯度方法。本文的主要贡献是一个简单的证明，该算法收敛速度与光滑非凸问题的随机梯度法相同。这一结果似乎是第一个收敛速度分析的随机（甚至确定性）次梯度法的弱凸函数类。
2018-09-18 cs.LG math.OC
A superlinearly convergent subgradient method for sharp semismooth problems
次梯度方法包括一类基本的非光滑最优化算法。经典的结果表明，某些次梯度方法对一般Lipschitz凸函数是次线性收敛的，而对远离解急剧增长的凸函数是线性收敛的。最近的工作，而且这些结果扩展到某些非凸问题。在这项工作中，我们试图提高这些算法的复杂性，问：是否有可能设计一个超线性收敛的次梯度法？我们提供了一个肯定的答案，这个问题的一个广泛的一类尖锐的半光滑函数。
2022-01-12 math.OC
Decentralized Stochastic Subgradient-type Methods with Communication Compression for Nonsmooth Nonconvex Optimization
针对非光滑非凸分布式优化问题，提出统一框架整合多种带压缩的随机次梯度方法，证明全局收敛性，并开发基于符号正则化和梯度跟踪动量的新方法。
2026-07-03 cs.AI cs.LG math.OC
Generalized-Hukuhara Subgradient Method for Optimization Problem with Interval-valued Functions and its Application in Lasso Problem
在本研究中，我们发展了一个\emph{$gH$-subgradient technique}来求解非光滑非线性凸区间值函数的最优化问题。的算法实现的开发$gH$ -次梯度技术的说明。作为所提出的\emph{$gH$-subgradient technique}的应用，$\ell_1$惩罚线性回归问题，称为\emph{lasso problem}，具有区间值的功能解决。
2021-11-19 math.OC
Specular gradient methods for nonsmooth convex optimization in Euclidean spaces: a subgradient selection strategy
Michigan State University（密歇根州立大学）
本文提出基于镜面梯度的次梯度选择策略，用于解决欧几里得空间中的非光滑凸优化问题，并证明在适当步长下的收敛性，数值实验显示其能有效最小化经典方法失效的非可微函数。
2026-05-25 cs.NA math.NA math.OC
Distributed Nonsmooth Optimization with Coupled Inequality Constraints via Modified Lagrangian Function
本技术说明考虑了一个具有非光滑费用函数和耦合非线性不等式约束的分布式凸优化问题。为了解决这个问题，我们首先提出了一个修改的拉格朗日函数包含局部乘子和一个非光滑的罚函数。然后，我们构造了一个分布式连续时间算法凭借投影原始对偶次梯度动力学。基于非光滑分析和李雅普诺夫函数，我们得到了非光滑算法解的存在性和收敛性。
2017-05-07 math.OC
Dual subgradient algorithms for large-scale nonsmooth learning problems
经典的一阶凸优化算法，如镜像下降算法或Nesterov光滑凸优化算法，具有不依赖于问题维数的最优（理论）复杂度估计。然而，为了达到最优，问题的域应该允许一个“好的近似设置”。后者本质上意味着1）问题域应满足“有利几何”的某些几何条件，以及2）这些方法的实际使用取决于我们在每次迭代时以适度成本计算{ \em邻近变换}的能力。在计算学习中出现的最优化问题中，这两个条件往往都得到满足，这就解释了为什么最近近端型FO方法成为解决各种学习问题的首选方法。然而，他们满足他们的限制，在几个重要的问题，如多任务学习与大量的任务，其中的问题域并没有表现出良好的几何形状，和学习和矩阵完成问题与核范数约束，当计算的数值成本接近变换成为大规模的问题。我们提出了一种新的方法来解决非光滑最优化问题中出现的学习应用程序中的Fenchel型表示的目标函数。该方法是基于应用FO算法的对偶问题，并使用{ \em精度证书}的方法来恢复原始的解决方案。虽然次优的准确性，所提出的方法并不依赖于“良好的邻近设置”的原始问题，但需要的问题域承认一个线性最优化预言-的能力，有效地最大限度地提高线性型域的原始问题。
2013-08-26 math.OC
On Nonsmooth and Relatively Weakly Convex Minimization
University of Minnesota（明尼苏达大学）
本文研究非光滑非凸复合优化问题，提出满足次梯度上界条件的确定性Bregman邻近次梯度方法，放宽正则项凸性要求，还拓展出随机场景下收敛速率为$\text{O}(\text{ε}^{-4})$的基于模型的最小化方法及随机预言机访问场景的框架。
2026-08-31 math.OC
Subgame Perfect Methods in Nonsmooth Convex Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；Purdue University（普渡大学）
本文针对带次梯度或近端算子预言机的非光滑凸优化问题，识别并提出满足子博弈完美性的算法，证明其性能不劣于极小极大最优且常更优。
2026-10-21 math.OC
Distributed Stochastic Nonsmooth Nonconvex Optimization
分布式一致性优化近年来受到了相当大的关注，已经提出了几个分布式的共识为基础的算法（非光滑）凸和（光滑）非凸目标函数。然而，这些分布式算法对{ \it非凸，非光滑和随机}目标函数的行为是不理解的。这类函数和分布式设置的动机是几个应用程序，包括机器学习和信号处理中的问题。本文提出了第一次收敛性分析的分散随机次梯度方法的这类问题，在网络建模为无向，固定，图。
2019-11-03 math.OC
Randomized Coordinate Subgradient Method for Nonsmooth Composite Optimization
Institute of Translational Medicine（转化医学研究院）；National Center for Translational Medicine（国家转化医学中心）；Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；Antai College of Economics and Management（安泰经济与管理学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；School of Data Science（数据科学学院）；Xiangfu Laboratory（祥符实验室）
针对非光滑复合优化问题，提出首个通用随机坐标次梯度方法RCS，在更宽泛的次梯度有界假设下完成凸与弱凸情形的收敛分析，并通过实验验证其优于传统次梯度方法。
2023-08-23 cs.LG math.OC
Stochastic Subgradient Methods with Guaranteed Global Stability in Nonsmooth Nonconvex Optimization
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；School of Mathematical Sciences, Shenzhen University（深圳大学数学科学学院）
该研究针对非光滑非凸优化问题，提出了可保证随机次梯度方法全局稳定性的通用框架，经改进分析可应用于多种相关方法，为其收敛性提供理论支撑。
2026-08-11 cs.AI cs.LG math.OC
Inexact Limited Memory Bundle Method
University of Turku（图尔库大学）
本文提出了一种新的不精确有限记忆束法，用于解决大规模非光滑非凸优化问题，证明了该方法能全局收敛到近似 stationary 点，并通过不同噪声水平的实验展示了其在精确和噪声数据中的有效性。
2026-04-09 math.OC
An Inexact Deflected Subgradient Algorithm in Infinite Dimensional spaces
提出了一种求解自反巴拿赫空间中约束非光滑非凸最优化问题的对偶格式。我们建立强对偶的一个非常一般的类型的增广拉格朗日，在其中，我们假设一个限制较少的类型的增广函数上的davivity。我们解决的对偶问题（在希尔伯特空间）使用偏转次梯度法通过这个一般的增广拉格朗日。我们提供了两种选择的步长的方法。对于这两种选择，我们证明了原始序列的每个弱聚点都是原始解。我们还证明了对偶序列的强收敛性。
2023-02-04 math.OC
First-Order Methods for Nonsmooth Nonconvex Functional Constrained Optimization with or without Slater Points
本文针对非光滑非凸泛函约束优化问题，提出一种一阶方法，无需紧性与约束规范即可达到O(ε⁻⁴)收敛速率，还给出切换次梯度法的全新非Lipschitz分析。
2025-01-15 math.OC
The nonsmooth landscape of phase retrieval
我们考虑一个流行的非光滑制定的实际相位恢复问题。我们表明，在标准的统计假设下，一个简单的次梯度方法线性收敛时，初始化在一个恒定的相对距离的最优解。为了理解问题的驻点分布，我们通过证明随着高斯测量次数的增加，驻点以受控的速率收敛到余维2集来完成本文。图像恢复问题的实验说明了所开发的算法和理论。
2018-01-07 math.OC
Spectral Projected Subgradient Method for Nonsmooth Convex Optimization Problems
考虑目标函数为数学期望形式的非光滑约束最优化问题。采用样本平均值近似法（SAA）估计目标函数，并采用可变样本量策略。所提出的算法结合了SAA次梯度的谱系数，以提供一个合适的方向，提高了性能的一阶方法所示的数值结果。在随机环境中，在标准假设下，从给定的区间内选取步长，证明了该方法的几乎必然收敛。为了提高所提出的算法的性能，我们进一步指定的步长的选择，通过引入一个Armijo适合于这个框架的过程。考虑到机器学习问题的计算成本，我们得出结论，线搜索显着提高性能。有限和问题的数值实验也表明，变样本策略优于全样本方法。
2022-08-08 cs.NA math.NA math.OC
Nonsmooth Steepest Descent Method by Proximal Subdifferentials in Hilbert Spaces
本文首先研究了定义在希尔伯特空间上的非光滑函数的非光滑最速下降方法，并利用邻近次梯度建立了相应的算法。然后，我们用这个算法来寻找那些满足正则性和利普希茨连续性的函数的驻点。作为一个应用，将所建立的算法用于有限维空间上的下连续凸函数的极小值的搜索。作为对已有的关于二次连续可微凸函数的收敛性结果的推广和改进，文中给出了收敛性定理。
2013-10-10 math.OC
Primal subgradient methods with predefined stepsizes
本文提出新框架分析非光滑凸优化的原始次梯度方法，修正经典步长规则以加速求解带约束问题，并扩展至逼近Lagrange乘子及处理无界可行集。
2023-11-23 math.OC
Graphical Convergence of Subgradients in Nonconvex Optimization and Learning
Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
本文研究了最小化种群风险的随机最优化问题，其中定义风险的损失假设是弱凸的。具有光滑映射的Lipschitz凸函数的合成是这种损失的主要例子。我们分析了估计质量的非光滑和非凸的问题，他们的样本平均近似。我们的主要结果建立了完全一般性的次梯度估计的维数依赖率和损失为广义线性模型时的维数无关率。作为所开发技术的应用，我们分析了鲁棒非线性回归问题的非光滑景观。
2018-12-17 cs.LG math.OC
Behavior of Limited Memory BFGS when Applied to Nonsmooth Functions and their Nesterov Smoothings
研究有限内存BFGS（L-BFGS）在非光滑最优化问题上的行为的动机是基于两个经验观察：L-BFGS在解决大规模光滑最优化问题方面的广泛成功，以及基于使用梯度而不是次梯度的Oracle范例的完全BFGS方法在解决中小规模非光滑最优化问题方面的有效性。首先，我们总结了我们的理论结果的缩放L-BFGS方法的行为与一个更新应用于一个简单的凸非光滑函数，是无界以下，说明条件下，该方法收敛到一个非最佳点，无论起点。然后，我们转向实证调查是否有同样的现象更普遍，重点是一个困难的问题Nesterov，以及特征值最优化问题中出现的半定规划应用。我们发现，当直接应用到一个非光滑函数，L-BFGS，特别是其缩放的变种，往往打破了一个穷人的近似最优解，在鲜明的对比，充分BFGS。未缩放的L-BFGS不太容易崩溃，但每次迭代执行的函数计算比缩放的L-BFGS多得多，因此它很慢。尽管如此，通常情况下，这两种变体都比可证明收敛但速度慢的次梯度方法获得更好的结果。另一方面，当应用于Nesterov对非光滑函数的光滑近似时，缩放L-BFGS通常比未缩放L-BFGS更有效，即使问题非常病态，也经常获得良好的结果。总之，对于完全BFGS和其他非光滑最优化方法不实用的大规模非光滑最优化问题，将L-BFGS应用于非光滑问题的光滑近似通常比将其直接应用于非光滑问题更好。
2020-06-18 math.OC
Randomized Submanifold Subgradient Method for Optimization over Stiefel Manifolds
The Hong Kong Polytechnic University（香港理工大学）；The Chinese University of Hong Kong（香港中文大学）；University of Chicago（芝加哥大学）
针对 Stiefel 流形上高维非光滑弱凸优化，论文提出坐标型 RSSM，证明其 O(ε^{-4}) 迭代复杂度，并通过鲁棒子空间恢复等实验验证可行性。
2026-09-29 math.OC
Self-tuned mirror descent schemes for smooth and nonsmooth high-dimensional stochastic optimization
考虑求解高维强凸目标函数随机最优化问题的随机块坐标随机镜像下降（RBSMD）方法。我们的目标是开发RBSMD计划，实现收敛速率与最小常数因子的步长序列的选择。为此，我们考虑次梯度和梯度RBSMD方法解决非光滑和光滑的问题，分别。对于每一个计划，（i）我们开发的自调整步长规则的问题参数和算法设置方面的特点;（ii）我们表明，由基础RBSMD方法产生的非平均的最优解最优解收敛到几乎必然和平均意义;（iii）我们表明，均方误差最小化。当问题参数是未知的，我们开发了一个统一的自调整更新规则，可以应用在次梯度和梯度SMD方法，并表明，对于任何任意和足够小的初始步长，适当定义的误差界最小化。我们提供与标准SMD和RBSMD方法的常数因子比较。我们的数值实验上进行的SVM模型显示，自调整计划是显着的鲁棒性的问题参数的选择，和初始步长。
2018-08-07 math.OC
On the Complexity of Finding Small Subgradients in Nonsmooth Optimization
Weizmann Institute of Science（魏茨曼科学研究院）
本文研究了非光滑优化中寻找 Lipschitz 函数 $(δ,ε)$-稳定点的预言机复杂度，证明了确定性算法无法实现无维度依赖的收敛率，给出了随机算法的下界，并探讨了凸性对提升收敛率的作用。
2025-04-30 cs.LG math.OC
Curves of Descent
最速下降是变分数学中的核心问题。我们提出了一个新的透明的存在性证明曲线的近最大斜率--一个有影响力的概念，最速下降在非光滑设置。此外，我们表明，半代数函数-原型非病态功能在非光滑最优化-这样的曲线正是次梯度动力系统的解决方案。
2013-05-07 math.OC
Subgradient Descent Learns Orthogonal Dictionaries
Stanford University（斯坦福大学）
本文涉及字典学习，即，稀疏编码，一个基本的表示学习问题。我们表明，一个次梯度下降算法，随机初始化，可以证明恢复正交字典自然非光滑，非凸$\ell_1$最小化制定的问题，温和的统计假设下的数据。这与以前的可证明方法相反，这些方法需要昂贵的计算或精细的初始化方案。我们的分析开发了几种用于表征非光滑函数景观的工具，这些工具可能对具有非光滑激活的深度网络的可证明训练（例如，ReLU），以及许多其他应用程序。初步实验证实了我们的分析，并表明我们的算法在恢复正交字典的经验。
2019-07-01 cs.IT cs.LG math.IT
Nonsmooth Projection-Free Optimization with Functional Constraints
University of Southern California（南加利福尼亚大学）
本文提出一种基于次梯度的无投影算法，用于求解带凸函数不等式约束的非光滑凸优化问题，每次迭代仅需一次LMO调用和一次次梯度计算，达到$\mathcal{O}(ε^{-2})$迭代复杂度，并通过分离方案与新拉格朗日乘子更新规则实现。
2024-08-30 cs.LG cs.SY eess.SY
Zeroth-Order Non-smooth Non-convex Optimization via Gaussian Smoothing
Indian Institute of Science（印度科学学院）
针对仅含噪声函数值的Lipschitz连续非光滑非凸优化问题，提出一种双时间尺度零阶投影随机次梯度方法，利用高斯平滑逼近Clarke次微分，并证明迭代几乎必然收敛到Clarke驻点邻域。
2026-06-01 math.OC
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化，提出一种保证变量可行性的光滑加速投影梯度方法，通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率，并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
An optimal subgradient algorithm for large-scale convex optimization in simple domains
本文证明了在\cite{NeuO}中提出的最优次梯度法（OSGA）可用于求解结构化大规模凸约束最优化问题。只需要一阶信息，光滑和非光滑问题的最佳复杂性界。更具体地说，我们考虑两类问题：（i）一个凸目标与一个简单的闭凸区域，在这个可行域上的正交投影是有效的;（ii）一个凸目标与一个简单的凸泛函约束。如果我们给OSGA配上一个合适的函数，OSGA子问题就可以用一个封闭的形式或一个简单的迭代格式来求解，这对于大规模问题尤为重要。我们报告的一些应用程序的数值结果显示所提出的计划的效率。一个软件包实现上述领域的OSGA是可用的。
2015-01-07 math.OC
New Outer Approximation Algorithms for Nonsmooth Convex MINLP Problems
Hebei Key Laboratory of Machine Learning and Computational Intelligence & College of Mathematics and Information Science, Hebei University（河北大学数学与信息科学学院）；College of Mathematics and Information Science, Hebei University（河北大学数学与信息科学学院）；Department of Industrial Engineering, University of Pittsburgh（匹兹堡大学工业工程系）
本文提出了一种针对非光滑凸MINLP问题的新外近似算法，通过生成有效的线性切割和等价的MILP主问题，提高松弛精度并拓展了算法的应用范围。
2026-02-04 math.OC
