On Robustness of the Normalized Subgradient Method with Randomly Corrupted Subgradients
许多现代优化和机器学习算法依赖于次梯度信息是可信的，因此，当这些信息被破坏时，它们可能无法收敛。在本文中，我们考虑的设置次梯度信息可能被任意损坏（与一个给定的概率）和研究的鲁棒性的归一化次梯度方法。在概率腐败的情况下，我们证明了归一化次梯度方法，其更新仅依赖于方向信息的次梯度，收敛到最小的凸，强凸，弱伪凸函数满足一定的条件。线性回归和逻辑分类问题的数值证据支持我们的结果。
2021-03-21 math.OC
A Minimax Analysis of the Last Iterate of the SubGradient Method in Finite Dimension
Aarhus University（奥胡斯大学）；University of Ottawa（渥太华大学）；University of Bristol（布里斯托大学）
研究\(\mathbb{R}^2\)上凸Lipschitz目标函数的次梯度法最后一次迭代，采用常数步长\(\eta = \Theta(1/\sqrt{n})\)，证明其优化误差为\(1/\sqrt{n}\)阶，解决了相关开放问题。
2026-11-04 math.OC
Oracle Complexity of Single-Loop Switching Subgradient Methods for Non-Smooth Weakly Convex Functional Constrained Optimization
University of Iowa（爱荷华大学）
本文首次分析了切换次梯度方法在非光滑弱凸函数约束非凸优化中的预言复杂度，证明该方法能以单循环达到与双循环方法相同的复杂度，且更易实现。
2023-10-28 cs.LG math.OC
Convergence Rates of Subgradient Methods for Quasi-convex Optimization Problems
拟凸优化问题在经济、金融等诸多领域中起着重要作用，次梯度法是求解大规模拟凸优化问题的一种有效迭代算法。本文在统一的框架下研究了求解拟凸优化的各种次梯度法的迭代复杂度和收敛速度。特别地，我们考虑一个序列满足一个一般的（不精确的）基本不等式，并研究了整体收敛定理和迭代复杂性时，使用常数，递减或动态步长规则。更重要的是，我们建立了线性（或次线性）的收敛速度的序列的一个额外的假设下，弱尖锐的最小值的Hölderian秩序和上界噪声。在满足赫尔德条件和/或Hölder阶的弱锐极小值的假设下，利用这些收敛定理建立了求解拟凸优化问题的几种次梯度方法，包括标准/不精确/条件次梯度方法的迭代复杂度和收敛速度.
2019-10-24 math.OC
A linearly convergent Gauss-Newton subgradient method for ill-conditioned problems
分析了一种优化复合函数$h \circ c$的预条件次梯度方法，其中$h$是局部Lipschitz函数，$c$是光滑非线性映射.我们证明了当$c$满足常秩性质且$h$在$c$的像上是半光滑的和尖锐的时，该方法线性收敛.与标准次梯度方法相比，它的预言复杂性在$c$的重新参数化下是不变的。
2022-12-26 math.OC
On Distributed Non-convex Optimization: Projected Subgradient Method For Weakly Convex Problems in Networks
Texas A&M University（德克萨斯农工大学）
随机次梯度法是一种广泛应用于解决机器学习中大规模最优化问题的算法。通常这些问题既不光滑也不凸。最近，Davis等人。[1-2]描述了弱凸情况下随机次梯度方法的收敛性，其中包括许多重要应用（例如，鲁棒相位恢复、盲去卷积、双凸压缩感测和字典学习）。在实践中，分布式实现的投影随机次梯度法（stoDPSM）被用来加快风险最小化。在本文中，我们提出了一个分布式实现的随机次梯度方法的理论保证。具体而言，我们展示了整体收敛的stoDPSM使用莫罗包络平稳性措施。此外，在一个所谓的锐度条件下，我们表明，确定性DPSM（与适当的初始化）线性收敛到尖锐的最小值，使用几何递减的步长。我们提供了数值实验来支持我们的理论分析。
2021-02-23 cs.LG math.OC stat.ML
Weakly Convex Optimization over Stiefel Manifold Using Riemannian Subgradient-Type Methods
The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Cainiao Network（菜鸟网络）；University of Michigan（密歇根大学）；University of Denver（丹佛大学）
考虑Stiefel流形上一类非光滑最优化问题，其中目标函数在环境欧几里得空间中是弱凸的.这样的问题在工程应用中普遍存在，但在很大程度上仍未被探索。我们提出了一个家庭的黎曼次梯度型的方法-即黎曼次梯度，增量次梯度，随机次梯度方法-来解决这些问题，并表明，他们都有一个迭代复杂度为${\cal O}(\varepsilon^{-4})$驱动自然平稳性措施低于$\varepsilon$。此外，我们建立了局部线性收敛的黎曼次梯度和增量次梯度方法时，手头的问题进一步满足尖锐的属性和算法进行了适当的初始化，并使用几何递减的步长。据我们所知，这些是第一个收敛保证使用黎曼次梯度型方法优化一类非凸非光滑函数的Stiefel流形。证明上述收敛性结果的基本内容是Stiefel流形上弱凸函数限制的一个新的黎曼次梯度不等式，它可能是独立的兴趣。我们还证明了我们的收敛结果可以推广到处理一类紧嵌入子流形的欧几里得空间。最后，我们讨论了鲁棒子空间恢复和正交字典学习问题的各种公式的清晰度特性，并通过数值模拟证明了算法在这两个问题上的收敛性能。
2021-03-25 cs.IT cs.LG math.IT
Stochastic Subgradient Descent Escapes Active Strict Saddles on Weakly Convex Functions
该研究在非光滑随机优化中证明，在可定义弱凸函数类中通有成立的Verdier分层与角度条件下，随机次梯度下降不会收敛到主动严格鞍点，而会收敛到局部极小值点。
2023-07-25 math.OC stat.ML
Randomized Block Subgradient Methods for Convex Nonsmooth and Stochastic Optimization
块坐标下降法和随机次梯度法在优化和机器学习中得到了广泛的研究。将随机区组抽样与基于对偶平均的随机次梯度方法相结合，提出了随机区组对偶平均（SBDA）--一类求解凸非光滑随机最优化的新的区组次梯度方法. SBDA只需要一个块的次梯度和更新块的变量，因此具有显着降低迭代成本比传统的次梯度方法。我们表明，SBDA为基础的方法表现出凸非光滑随机最优化的最佳收敛速度。更重要的是，我们引入了随机步长规则和块采样方案，是自适应的块结构，这显着提高了收敛速度w.r. t。问题参数。这是在最近的块次梯度方法应用于非光滑确定性或随机最优化形成鲜明对比。对于强凸目标，我们提出了一个新的平均计划，使正则化的双重平均方法最优，而不必诉诸任何加速计划。
2015-09-15 math.OC
A Unified Analysis on the Subgradient Upper Bounds for the Subgradient Methods Minimizing Composite Nonconvex, Nonsmooth and Non-Lipschitz Functions
Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济管理学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Institute of Translational Medicine and National Center for Translational Medicine, Shanghai Jiao Tong University（上海交通大学转化医学研究院和转化医学中心）；Department of Industrial and Systems Engineering, University of Minnesota（明尼苏达大学工业与系统工程系）
本文提出了一种统一分析方法，用于研究子梯度方法在最小化复合非凸、非光滑和非利普斯芝函数时的子梯度上界问题，并扩展到随机近端子梯度算法。
2024-11-12 cs.LG math.OC
Revisiting Subgradient Method: Complexity and Convergence Beyond Lipschitz Continuity
School of Data Science（数据科学学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Institute of Translational Medicine（转化医学研究所）；National Center for Translational Medicine（国家转化医学中心）；Shanghai Jiao Tong University（上海交通大学）；Antai College of Economics and Management（安泰经济与管理学院）
该研究拓展了次梯度方法的迭代复杂度与收敛性结论，使其适用于非Lipschitz凸与弱凸优化问题，无需修改算法或对次梯度施加增长条件，并可推广至多种次梯度变体方法。
2024-10-31 cs.LG math.OC
Proximally Guided Stochastic Subgradient Method for Nonsmooth, Nonconvex Problems
Cornell University（康奈尔大学）
在本文中，我们引入了一个随机投影次梯度方法的弱凸（即，一致正则）非光滑，非凸函数-一个广泛的函数类，包括加法和凸复合类。在高层次上，该方法是一个不精确的邻近点迭代，其中强凸邻近子问题快速解决了一个专门的随机投影次梯度方法。本文的主要贡献是一个简单的证明，该算法收敛速度与光滑非凸问题的随机梯度法相同。这一结果似乎是第一个收敛速度分析的随机（甚至确定性）次梯度法的弱凸函数类。
2018-09-18 cs.LG math.OC
Complexity of finding near-stationary points of convex functions stochastically
在最近的一篇论文中，我们证明了随机次梯度方法应用于弱凸问题，驱动梯度的莫罗包络为零的速度$O(k^{-1/4})$。本文给出了一个求解凸函数极小化问题的随机次梯度方法，其速度为$\widetilde O(k^{-1/2})$。
2018-02-21 math.OC
Extrapolated Proximal Subgradient Algorithms for Nonconvex and Nonsmooth Fractional Programs
本文考虑了一类非光滑非凸分式规划，其中分子可以表示为梯度为Lipschitz连续的连续可微凸函数与适当的下连续（可能非凸）函数之和，分母在约束集上弱凸.这个模型问题包括最近广泛研究的复合最优化问题，并包含许多重要的现代分数最优化问题产生于不同的领域，如最近提出的尺度不变稀疏信号重建问题在信号处理。我们提出了一个求解该最优化模型的带外推的近似次梯度法，并证明了该算法产生的迭代序列是有界的，其任何极限点都是模型问题的一个不动点.我们的外推参数的选择是灵活的，包括流行的外推参数采用重新启动的快速迭代收缩阈值算法（FISTA）。通过提供一个统一的分析框架的下降法，我们建立了收敛的全序列的假设下，一个合适的价值函数满足Kurdyka-Kazojasiewicz（KL）性质。特别地，我们的算法表现出线性收敛的尺度不变的稀疏信号重建问题和瑞利商问题的球面约束。在分母是多个连续可微弱凸函数的最大值的情况下，我们还提出了一种增强的外推近次梯度法，保证收敛到模型问题的更强的稳定点的概念。最后，我们通过分析和模拟的数值例子来说明所提出的方法。
2020-10-16 math.OC
Zero Order Stochastic Weakly Convex Composite Optimization
本文考虑随机弱凸复合问题，但不存在随机次梯度预言。我们提出了一个导数免费算法，使用两点近似计算的平滑函数的梯度估计。我们证明了收敛速度与最先进的方法相似，但具有较大的常数，并报告了一些数值结果，表明该方法的有效性。
2020-02-19 math.OC
Relative Weak Convexity and Projected Subgradient Methods: Analysis and Convergence
University of Antwerp（安特卫普大学）
本文引入相对弱凸函数类，扩展了经典弱凸性，通过距离生成函数度量非凸性，并证明投影次梯度算法在尖锐误差界下线性收敛到全局极小点。
2026-06-29 math.OC
Randomized Coordinate Subgradient Method for Nonsmooth Composite Optimization
Institute of Translational Medicine（转化医学研究院）；National Center for Translational Medicine（国家转化医学中心）；Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；Antai College of Economics and Management（安泰经济与管理学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；School of Data Science（数据科学学院）；Xiangfu Laboratory（祥符实验室）
针对非光滑复合优化问题，提出首个通用随机坐标次梯度方法RCS，在更宽泛的次梯度有界假设下完成凸与弱凸情形的收敛分析，并通过实验验证其优于传统次梯度方法。
2023-08-23 cs.LG math.OC
On Nonsmooth and Relatively Weakly Convex Minimization
University of Minnesota（明尼苏达大学）
本文研究非光滑非凸复合优化问题，提出满足次梯度上界条件的确定性Bregman邻近次梯度方法，放宽正则项凸性要求，还拓展出随机场景下收敛速率为$\text{O}(\text{ε}^{-4})$的基于模型的最小化方法及随机预言机访问场景的框架。
2026-08-31 math.OC
A constraint-based approach to function interpolation, with application to performance estimation for weakly convex optimisation
提出一种基于代数层面的函数插值约束获取方法，为有界次梯度的弱凸函数类推导插值约束，并借此改进了次梯度方法的性能界限。
2025-09-15 math.OC
Zero-Convex Functions, Perturbation Resilience, and Subgradient Projections for Feasibility-Seeking Methods
凸可行性问题（CFP）是各个科学领域中许多问题建模的核心。次梯度投影方法是求解CFP的重要工具，因为它们允许使用次梯度计算而不是正交投影到问题的各个集合上。在实希尔伯特空间中，我们证明了序列次梯度投影方法是抗扰动的。我们的意思是，在适当的条件下，由该方法产生的序列弱收敛，有时也强收敛到可行性问题的给定子集的交叉点，尽管在每个迭代步骤中允许某些扰动。与以往的工作解决凸可行性问题，涉及的功能，导致可行性问题的子集，不需要是凸的。相反，我们允许它们属于满足较弱条件的更广泛和更丰富的函数类，我们称之为“零凸性”。这个类，这是介绍和讨论这里，持有承诺，以解决最优化问题在各个领域，特别是在非光滑和非凸优化。这项研究的相关性，近似最小化和最近的优越化方法约束优化的解释。
2014-05-07 math.OC
A proximal subgradient algorithm for constrained multiobjective DC-type optimization
Hanoi Pedagogical University 2（河内第二师范大學）；RMIT University（皇家墨尔本理工大学）
本文提出了一种近端subgradient算法，用于解决受约束的多目标DC型优化问题，通过建立最优性条件并保证序列有界性，实现了对非凸问题的有效求解。
2026-09-04 math.OC
Graphical Convergence of Subgradients in Nonconvex Optimization and Learning
Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
本文研究了最小化种群风险的随机最优化问题，其中定义风险的损失假设是弱凸的。具有光滑映射的Lipschitz凸函数的合成是这种损失的主要例子。我们分析了估计质量的非光滑和非凸的问题，他们的样本平均近似。我们的主要结果建立了完全一般性的次梯度估计的维数依赖率和损失为广义线性模型时的维数无关率。作为所开发技术的应用，我们分析了鲁棒非线性回归问题的非光滑景观。
2018-12-17 cs.LG math.OC
A proximal subgradient algorithm with extrapolation for structured nonconvex nonsmooth problems
本文针对一类结构化非凸非光滑优化问题，提出一种带外推的近端次梯度算法，证明其子序列收敛及在KL性质下的全局收敛性，并通过非凸正则化最小二乘和含分布式能源的最优潮流实验验证了算法性能。
2023-03-19 math.OC
Faster Subgradient Methods for Functions with Hölderian Growth
Rutgers University（罗格斯大学）；University of Illinois（伊利诺伊大学）
本文的目的是导出几种次梯度法用于极小化具有Hölderian增长的非光滑凸函数的新的收敛结果。增长条件在许多应用中得到满足，包括具有二次增长和弱尖锐极小值的函数作为特殊情况。为此，有三个主要贡献。首先，对于一个常数和足够小的步长，我们表明，次梯度法实现线性收敛到一定的区域，包括最佳的设置，与错误的顺序的步长。第二，如果适当的问题参数是已知的，我们得到一个衰减步长，得到一个更快的收敛速度比所建议的经典$O(1/\sqrt{k})$结果的次梯度法。第三，我们提出了一种新的“下降阶梯”步长，它不仅获得了更快的收敛速度，而且对于弱尖锐函数的特殊情况也获得了线性收敛。我们还开发了一个自适应的“下降楼梯”的步长，实现了相同的收敛速度，而不需要一个误差界常数，这是很难在实践中估计的变化。
2018-04-30 cs.LG cs.NA math.NA
First-Order Methods for Nonsmooth Nonconvex Functional Constrained Optimization with or without Slater Points
本文针对非光滑非凸泛函约束优化问题，提出一种一阶方法，无需紧性与约束规范即可达到O(ε⁻⁴)收敛速率，还给出切换次梯度法的全新非Lipschitz分析。
2025-01-15 math.OC
A Single-loop Proximal Subgradient Algorithm for A Class Structured Fractional Programs
针对一类含线性算子的非凸非光滑结构化分式规划，提出单循环邻近次梯度算法及非单调线搜索变体，证明其全局收敛并在三类应用中验证优越性。
2025-03-15 math.OC
Variable Smoothing for Weakly Convex Composite Functions
本文研究了结构化目标函数的极小化问题，该目标函数是一个光滑函数与一个弱凸函数与一个线性算子的复合函数之和。应用包括图像重建问题的正则化，引入比标准的凸正则化更少的偏见。我们开发了一个可变的平滑算法，基于Moreau包络的平滑参数的递减序列，并证明了一个复杂的$\mathcal{O}(ε^{-3})$实现$ε$ -近似解。该界介于光滑情形的$\mathcal{O}(ε^{-2})$界和次梯度方法的$\mathcal{O}(ε^{-4})$界之间。我们的复杂性界与其他处理弱凸函数的结构非光滑性的工作是一致的。
2021-05-31 math.OC
Asymptotic behavior of nonautonomous monotone and subgradient evolution equations
在Hilbert背景下，研究了非自治发展方程$\dot x(t)+A_t(x(t))\ni 0$的轨道的渐近性态，其中对于每个$t\geq 0$，$A_t:H\tto H$表示一个极大单调算子.我们提供了一般的条件，保证弱遍历收敛的每个轨迹$x(\cdot)$的极限极大单调算子$ A_\infty$的零，作为时间变量$t$趋于$+\infty$。关键点是使用Brézis-Haraux函数，或者等价的Fitzpatrick函数，来表示在什么速率下$\gph A_\infty$超过$\gph A_t$趋于零。这种方法对这个问题提出了一个尖锐而统一的观点。在这种情况下，运营商$A_t= \partial ϕ_t$这是次微分的闭凸函数$ϕ_t$，我们显示的轨迹的收敛结果。然后，我们将所得结果推广到多尺度发展方程，得到了分层极小化的渐近性质和粘性解的选择。在耦合系统和偏微分方程领域给出了例证。
2016-01-05 math.OC
Adaptive Gradient-type Methods for Convex Optimization Problems with Relative Accuracy and Sharp Minimum
本文研究了凸正齐次最优化问题的梯度型方法。研究了求解正齐次最优化问题的具有相对精度的加速泛梯度型方法的一个模拟。第二种方法与B. T.波亚克步长。对一类非光滑问题，给出了自适应步长调整的这类方法的线性收敛速率的结果。一些推广到一类特殊的非凸非光滑问题也被考虑。
2021-12-12 math.OC
Stochastic Subgradient Descent on a Generic Definable Function Converges to a Minimizer
Davis和Drusvyatskiy以前证明了一般的、半代数的（更一般地说，可以在o-极小结构中定义）、弱凸函数的每个Clarke临界点都位于活动流形上，并且是局部极小值或活动严格鞍。在这项工作的第一部分，我们表明，当弱凸性假设失败的第三种类型的点出现：一个急剧排斥临界点。此外，我们证明了相应的活动流形满足我们在以前的工作中引入的Verdier和角度条件。在这项工作的第二部分中，我们表明，在扰动序列的密度假设下，随机次梯度下降（SGD）避免急剧排斥临界点的概率为1。我们表明，这样一个密度样的假设，可以得到后添加一个小的随机扰动（例如，一个非退化高斯）在算法的每次迭代。这些结果，结合我们以前的工作，避免积极的严格鞍，表明SGD对一个通用的可定义（如半代数）的功能收敛到一个局部极小值。
2022-02-10 math.OC stat.ML
A gradient sampling method with complexity guarantees for Lipschitz functions in high and low dimensions
Zhang等人介绍了Goldstein经典次梯度法的一种新的改进，并保证了$O(\varepsilon^{-4})$的效率，以最小化Lipschitz函数。然而，他们的工作使用了非标准的次梯度预言模型，并要求函数是方向可微的。在本文中，我们表明，这两个假设可以通过简单地添加一个小的随机扰动，在他们的算法的每一步下降。由此产生的方法适用于任何Lipschitz函数，其值和梯度可以在可微点进行评估。我们还提出了一个新的切割平面算法，实现更好的效率在低维：$O(d\varepsilon^{-3})$的Lipschitz函数和$O(d\varepsilon^{-2})$的那些是弱凸的。
2022-02-15 math.OC
Delayed Stochastic Algorithms for Distributed Weakly Convex Optimization
本文针对分布式弱凸优化问题提出延迟随机次梯度方法和延迟随机近端线性方法，通过引入保护步骤使收敛速率仅依赖于工作节点数量，消除了延迟的影响。
2023-11-01 cs.DC math.OC
Stochastic Model-Based Methods for Minimizing Paraconvex Functions
Inria（法国国家数字科学研究所）；INSA Lyon（里昂国立应用科学学院）；Department of Mathematics and Statistics, University of Quy Nhon（归仁大学数学与统计系）
本文研究最小化拟凸函数的随机算法，建立了随机次梯度与近端次梯度方法的收敛性，并扩展到基于随机模型的一类算法，其核心原理是将算法视为广义Moreau包络上的扰动下降方法。
2026-09-29 math.OC
Proximity operator characterization for abstract convex functions
Warsaw University of Technology（华沙理工大学）；Systems Research Institute, PAS（波兰科学院系统研究所）
本文在抽象凸性框架下将邻近算子视为次梯度选择子，通过极小化问题刻画其性质，并研究近凸和弱凸函数情形下邻近算子的连续性与可微性。
2026-06-25 math.OC
A Smooth Approximation Framework for Weakly Convex Optimization
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
本文提出了一种弱凸优化的平滑近似框架，通过扩展可平滑函数的概念，统一了多种平滑技术，并提供了具有可证明复杂度保证的算法设计方法。
2026-01-25 math.OC
Stochastic Weakly Convex Optimization Beyond Lipschitz Continuity
Stanford University（斯坦福大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出自适应正则化策略，使随机弱凸优化算法在无Lipschitz连续性假设下仍保持O(1/√K)收敛率，并放宽了Lipschitz参数的约束条件。
2024-11-05 cs.LG math.OC
The cost of nonconvexity in deterministic nonsmooth optimization
我们研究了非凸性对非光滑最优化复杂性的影响，强调了分段线性函数等目标，这些目标可能不是弱凸的。我们专注于维度无关分析，稍微修改了Zhang等人（2020）的黑盒算法，该算法使用$O(ε^{-4})$调用专门的次梯度预言和随机线搜索来近似任何方向可微Lipschitz目标的$ε$ -稳定点。我们简单的黑盒确定性的版本，实现$O(ε^{-5})$的任何差异的凸目标，和$O(ε^{-4})$的弱凸的情况下。我们的复杂性约束取决于一个自然的非凸性模量，相关的，有趣的是，负的一部分，定向二阶导数的目标，理解的分布意义上。
2022-10-07 math.OC
New Characterizations of Nonsmooth Convex Functions via Generalized Derivatives
Department of Mathematics and Statistics, University of North Dakota（北达科他大学数学与统计系）
本文研究非光滑扩展实值弱凸函数的凸性性质，利用广义导数工具建立新的凸性刻画方法，提出必要充分条件。
2026-11-03 math.OC
Variable Smoothing for Weakly Convex Problems with Non-Euclidean Directions
DAVID Lab, UVSQ（UVSQ大学DAVID实验室）
本文提出MELMO算法，针对非欧几里得方向下的弱凸复合优化问题，建立多组收敛界，在稀疏低秩矩阵分解和图像去噪任务上表现具竞争力。
2026-08-06 math.OC
Stochastic model-based minimization of weakly convex functions
Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
我们考虑一个家庭的算法，连续采样和最小化简单的随机模型的目标函数。我们表明，在合理的条件下的近似质量和规律性的模型，任何这样的算法驱动自然平稳性措施为零的速率$O(k^{-1/4})$。因此，我们获得了第一复杂性保证的随机邻近点，邻近次梯度，正则化高斯-牛顿方法最小化的凸函数与光滑映射的组合。的指导原则，潜在的复杂性保证，是考虑中的所有算法可以被解释为近似下降法的隐式平滑的问题，给出了莫罗包络。针对经典情形，我们得到了无约束的随机投影梯度法在闭凸集上极小化光滑函数的收敛速度.
2018-08-26 cs.LG math.OC
Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Florida（佛罗里达大学）
在本文中，我们设计并分析了一族新的自适应次梯度方法，用于求解一类重要的弱凸（可能非光滑）随机最优化问题。使用过去梯度的指数移动平均值来更新搜索方向和学习速率的自适应方法最近吸引了大量关注，用于解决机器学习中出现的最优化问题。然而，它们的收敛性分析几乎完全需要目标函数的光滑性和/或凸性。与此相反，我们建立了一阶和零阶自适应方法及其近似变量的非渐近收敛速度为一个合理的广泛的非光滑\非凸最优化问题。实验结果表明，所提出的算法如何经验优于随机梯度下降及其零阶变量解决这样的最优化问题。
2020-05-24 cs.LG math.OC stat.ML
Incremental Methods for Weakly Convex Optimization
增量方法被广泛用于解决机器学习和信号处理中的有限和最优化问题。本文研究了一类求解弱凸优化问题的增量方法，包括增量次梯度法、增量邻近点法和增量非线性方法。这样的问题类涵盖了工程领域中出现的许多非光滑非凸的情况。我们表明，这三个增量方法有一个迭代复杂度为$O(\varepsilon^{-4})$驱动自然平稳性措施低于$\varepsilon$。此外，我们表明，如果弱凸函数满足一个清晰度条件，那么所有三个增量方法，当适当初始化和配备几何递减步长，可以实现局部线性收敛速率。我们的工作是第一个扩展的收敛速度分析的增量方法从非光滑凸制度的弱凸制度。最后，我们对鲁棒矩阵传感问题进行了数值实验，以说明这三种增量方法的收敛性能。
2022-12-23 cs.IT math.IT math.OC
Weakly-Convex Concave Min-Max Optimization: Provable Algorithms and Applications in Machine Learning
The University of Iowa（爱荷华大学）
最小-最大问题在机器学习中有着广泛的应用，包括不可分解损失的学习和对数据分布具有鲁棒性的学习。凸-凹极大极小问题是一个非常活跃的研究课题，有着良好的理论基础和有效的算法。然而，它仍然是一个挑战，设计可证明有效的算法为非凸的最小-最大问题的光滑或不光滑。本文研究了一类非凸极小极大问题，其目标函数对于极小化变量是弱凸的，对于极大化变量是凹的。我们提出了一个近端引导的随机次梯度方法和近端引导的随机方差减少的方法，分别为非光滑和光滑的情况下，在这个家庭的问题。我们分析了所提出的方法的时间复杂性，找到一个几乎稳定点的外部最小化问题对应的最小-最大问题。
2021-05-11 cs.LG math.OC
A projected descent method for minimization of weakly semismooth functions over polyhedral sets
Isfahan University of Technology（伊斯法罕理工大学）；University of Tehran（德黑兰大学）
本研究提出一种投影下降方法，用于在多面体集上最小化弱半光滑函数，通过Clarke ε-次微分近似和线搜索策略，在温和假设下保证收敛，并在图像去噪等应用中验证了有效性。
2026-09-30 math.OC
Primal-dual algorithm for weakly convex functions under sharpness conditions
针对弱凸复合优化问题，本文提出改进对偶间隙函数，并在其尖锐性条件下确定原始-对偶算法在鞍点附近的收敛区域，且通过数值算例及图像去噪、去模糊应用验证结果。
2024-10-28 cs.NA math.NA math.OC
An Adaptive Proximal Framework for Stochastic Weakly Convex Optimization
Edwardson School of Industrial Engineering, Purdue University（普渡大学爱德华森工业工程学院）
针对弱凸参数未知的优化问题，提出自适应近端引导方案（APS），通过在线双向调整近端参数，在确定性和随机性设置下均达到O(ε^{-2})迭代复杂度。
2026-08-11 cs.DS math.OC
Decentralized Weakly Convex Optimization Over the Stiefel Manifold
The Chinese University of Hong Kong（香港中文大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）；JD Explore Academy（京东探索研究院）；Cainiao Network（菜鸟网络）
针对分散式Stiefel流形上的非光滑非凸优化问题，提出分散式黎曼次梯度方法（DRSM），并利用变分分析证明其全局收敛性、迭代复杂度及在锐度条件下的局部线性收敛性。
2023-03-31 cs.LG math.OC
Distributed Stochastic Proximal Algorithm on Riemannian Submanifolds for Weakly-convex Functions
Tongji University（同济大学）；University of New South Wales（新南威尔士大学）；University of Science and Technology of China（中国科学技术大学）
研究欧几里得空间中紧致嵌入子流形上弱凸函数的分布式随机优化问题，利用收缩和黎曼共识协议提出算法框架并分析三种算法，证明其收敛性并给出收敛速率，通过数值实验验证结果。
2026-10-14 cs.SY eess.SY math.OC
Forward-Backward algorithms for weakly convex problems
该研究针对希尔伯特空间上的弱凸函数最小化问题，分析了精确与非精确前向-后向算法的收敛性，证明锐度条件下的收敛表现，并通过离散断层成像数值实验验证了框架的应用价值。
2024-06-21 math.OC
About some works of Boris Polyak on convergence of gradient methods and their development
本文综述了凸优化的次梯度与加速方法及非凸问题的 Polak-Lojasiewicz 条件等数值优化方法现状，旨在展示 B.T. Polyak 的工作对现代数值优化发展的影响。
2024-12-24 math.OC
Stochastic algorithms with geometric step decay converge linearly on sharp functions
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
随机（子）梯度法需要步长调度调整，以在实践中表现良好。经典的调整策略衰减的步长多项式，并导致最佳次线性率（强）凸问题。在非凸优化中流行的另一种调度称为\emph{geometric step decay}，它通过每隔几个时期将步长减半来进行。在最近的工作中，几何阶跃衰减被证明是指数改善后，经典的次线性率类的\emph{sharp}凸函数。在这项工作中，我们问几何步衰减是否同样提高了随机算法的一类尖锐的非凸问题。这种损失在现代统计恢复问题中很常见，并导致了一个新的挑战：收敛区域是局部的，因此必须限制逃逸概率。我们的主要结果表明，对于一类随机的，尖锐的，非光滑的，和非凸问题的几何步骤衰减时间表赋予著名的算法与局部线性收敛速率的全局极小。这种保证适用于随机投影次梯度、邻近点和非线性算法。作为我们的主要结果的应用，我们分析了两个统计恢复任务-相位恢复和盲反卷积-并匹配高斯测量模型下的最佳已知保证，并在重尾分布下建立新的保证。
2019-07-22 cs.LG math.OC stat.ML
Sharp High-Probability Statistical Rates for Heavy-Tailed Nonsmooth Convex Optimization
Peking University（北京大学）
本文针对重尾噪声下的非光滑随机凸优化，提出了尖锐的高概率统计速率，通过在线不等式分离方向波动与二阶矩，在一般凸和强凸情形下达到已知统计下界，并优化了置信系数。
2026-10-20 math.OC
A Proximal Descent Method for Minimizing Weakly Convex Optimization
本研究针对m-弱凸非光滑函数最小化问题，提出结合不精确邻近点法与凸束技术的邻近下降法，证明其非渐近收敛速率，具备自动自适应性，搭建了凸束方法与弱凸优化的桥梁。
2025-09-02 cs.SY eess.SY math.OC
Stochastic Weakly Convex Optimization Under Heavy-Tailed Noises
School of Control Science and Engineering, Dalian University of Technology（控制科学与工程学院，大连理工大学）；School of Computer Science and Technology, Dalian University of Technology（计算机科学与技术学院，大连理工大学）；Department of Automation, Tsinghua University（自动化系，清华大学）
本文研究重尾噪声下弱凸优化的随机一阶方法，分析了普通随机次梯度下降在次威布尔噪声下及截断随机次梯度下降在p阶有界中心矩噪声下的高概率与期望收敛，揭示了弱凸目标的非光滑性和非凸性对理论依赖的影响。
2025-07-17 cs.LG math.OC stat.ML
