The Boosted Double-Proximal Subgradient Algorithm for Nonconvex Optimization
本文提出BDSA算法解决一般结构化非光滑非凸优化问题，结合次梯度与近端步骤并集成线搜索，在Kurdyka--Lojasiewicz性质下证明收敛性并分析收敛速率，实验验证其逃离非最优临界点的能力及实际应用有效性。
2023-06-29 math.OC
Stochastic Approximation Proximal Subgradient Method for Stochastic Convex-Concave Minimax Optimization
本文针对随机凸-凹极小极大优化提出SAPS方法，并在有界次梯度条件不成立时进一步提出LSAAL方法，证明了两种算法均具有O(N^{-1/2})期望收敛速率及相应的高概率界。
2024-03-29 math.OC
A proximal subgradient algorithm for constrained multiobjective DC-type optimization
Hanoi Pedagogical University 2（河内第二师范大學）；RMIT University（皇家墨尔本理工大学）
本文提出了一种近端subgradient算法，用于解决受约束的多目标DC型优化问题，通过建立最优性条件并保证序列有界性，实现了对非凸问题的有效求解。
2026-09-04 math.OC
A proximal subgradient algorithm with extrapolation for structured nonconvex nonsmooth problems
本文针对一类结构化非凸非光滑优化问题，提出一种带外推的近端次梯度算法，证明其子序列收敛及在KL性质下的全局收敛性，并通过非凸正则化最小二乘和含分布式能源的最优潮流实验验证了算法性能。
2023-03-19 math.OC
Proximal Algorithms for a class of abstract convex functions
该研究基于抽象凸性与广义次梯度定义抽象近端算子，提出三种适用于一类非凸优化问题的算法，并证明其全局收敛性。
2024-02-28 math.OC
Extrapolated Proximal Subgradient Algorithms for Nonconvex and Nonsmooth Fractional Programs
本文考虑了一类非光滑非凸分式规划，其中分子可以表示为梯度为Lipschitz连续的连续可微凸函数与适当的下连续（可能非凸）函数之和，分母在约束集上弱凸.这个模型问题包括最近广泛研究的复合最优化问题，并包含许多重要的现代分数最优化问题产生于不同的领域，如最近提出的尺度不变稀疏信号重建问题在信号处理。我们提出了一个求解该最优化模型的带外推的近似次梯度法，并证明了该算法产生的迭代序列是有界的，其任何极限点都是模型问题的一个不动点.我们的外推参数的选择是灵活的，包括流行的外推参数采用重新启动的快速迭代收缩阈值算法（FISTA）。通过提供一个统一的分析框架的下降法，我们建立了收敛的全序列的假设下，一个合适的价值函数满足Kurdyka-Kazojasiewicz（KL）性质。特别地，我们的算法表现出线性收敛的尺度不变的稀疏信号重建问题和瑞利商问题的球面约束。在分母是多个连续可微弱凸函数的最大值的情况下，我们还提出了一种增强的外推近次梯度法，保证收敛到模型问题的更强的稳定点的概念。最后，我们通过分析和模拟的数值例子来说明所提出的方法。
2020-10-16 math.OC
A Single-loop Proximal Subgradient Algorithm for A Class Structured Fractional Programs
针对一类含线性算子的非凸非光滑结构化分式规划，提出单循环邻近次梯度算法及非单调线搜索变体，证明其全局收敛并在三类应用中验证优越性。
2025-03-15 math.OC
Proximally Guided Stochastic Subgradient Method for Nonsmooth, Nonconvex Problems
Cornell University（康奈尔大学）
在本文中，我们引入了一个随机投影次梯度方法的弱凸（即，一致正则）非光滑，非凸函数-一个广泛的函数类，包括加法和凸复合类。在高层次上，该方法是一个不精确的邻近点迭代，其中强凸邻近子问题快速解决了一个专门的随机投影次梯度方法。本文的主要贡献是一个简单的证明，该算法收敛速度与光滑非凸问题的随机梯度法相同。这一结果似乎是第一个收敛速度分析的随机（甚至确定性）次梯度法的弱凸函数类。
2018-09-18 cs.LG math.OC
Almost Sure Convergence of Random Projected Proximal and Subgradient Algorithms for Distributed Nonsmooth Convex Optimization
描述了两种分布式算法，使所有用户连接在一个网络上，以合作解决的问题，最小化的总和，所有用户的目标函数在所有用户的约束集的交集，其中每个用户有自己的私人非光滑凸目标函数和封闭的凸约束集，这是一些简单的，封闭的凸集的交集。一种算法使每个用户能够通过使用其目标函数的邻近算子和从简单的闭凸集中随机选择的一个集合上的度量投影来调整其估计。另一种是分布式随机投影算法，该算法通过使用用户的目标函数的次梯度而不是邻近算子来确定每个用户的估计。对这两种算法收敛性的研究表明，在一定的假设条件下，这两种算法所产生的所有用户的序列几乎必然收敛到同一个解。此外，对两种算法的收敛速度进行了分析，并讨论了使两种算法具有快速收敛性的步长序列的理想选择。具体的非光滑凸优化的数值比较支持了收敛性分析，并证明了两种算法的有效性。
2015-10-24 math.OC
An Inexact Variable Metric Proximal Gradient-subgradient Algorithm for a Class of Fractional Optimization Problems
Sun Yat-sen University（中山大学）；Guangzhou University（广州大学）；Shenzhen University（深圳大学）
研究一类分数优化问题，提出不精确变度量近端梯度 - 次梯度算法（iVPGSA），它能灵活近似求解子问题，适应性强且效率高。基于KL性质证明其全局收敛并刻画速率，数值实验显示该算法优于现有算法。
2026-10-22 math.OC
Three Operator Splitting with Subgradients, Stochastic Gradients, and Adaptive Learning Rates
三算子分裂（TOS）（Davis & Yin，2017）可以有效地最小化多个凸函数的和，当每个项都有一个有效的梯度预言或邻近算子时。这一要求在机器学习应用中经常失败：（i）代替全梯度，只有随机梯度可用;以及（ii）代替邻近算子，使用子梯度来处理复杂的罚函数可能更有效和现实。出于这些问题，我们分析了三个潜在的有价值的扩展TOS。前两个允许使用次梯度和随机梯度，并示出，以确保$\mathcal{O}(1/\sqrt{t})$收敛速度。第三个扩展AdapTOS赋予TOS自适应步长。对于优化凸集交集上的凸损失的重要设置，AdapTOS获得了通用的收敛速度，即，该速率适应于目标的未知平滑度。我们比较我们提出的方法与竞争的方法在各种应用程序。
2022-02-18 math.OC
Stochastic subgradient method converges at the rate $O(k^{-1/4})$ on weakly convex functions
Cornell University（康奈尔大学）；U. Washington（华盛顿大学）
我们证明了，近端随机次梯度方法，适用于弱凸问题，驱动器的Moreau包络的梯度为零的速度$O(k^{-1/4})$。因此，我们解决了一个公开的问题上的收敛速度的最近随机梯度法的光滑非凸函数和凸逼近函数的总和最小化。
2018-02-19 cs.LG math.OC
Proximal Point Algorithms for Nonsmooth Convex Optimization with Fixed Point Constraints
考虑了定义在实希尔伯特空间上的非扩张映射的不动点集的交集上的非光滑凸目标函数之和的极小化问题，在该不动点集上的投影不能有效地计算.使用邻近点法，使用邻近算子的目标函数和增量优化技术提出了解决问题。重点研究了不动点逼近技术，设计了两种算法来求解该问题。一种是将增量次梯度法与Halpern型不动点迭代算法相结合，增量次梯度法是求解非光滑凸优化问题的一种有效算法。另一种是基于增量次梯度法和Krasnosel'ski \u-Mann不动点算法。证明了Halpern型算法生成的序列的弱序列聚点属于问题的解集，而Krasnosel'ski \u-Mann型算法生成的序列存在一个弱序列聚点也属于问题的解集.数值结果表明，本文提出的两种算法与已有的次梯度法在求解具体的非光滑凸优化问题时具有更快的收敛速度.
2016-02-05 math.OC
A Unified Analysis on the Subgradient Upper Bounds for the Subgradient Methods Minimizing Composite Nonconvex, Nonsmooth and Non-Lipschitz Functions
Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济管理学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Institute of Translational Medicine and National Center for Translational Medicine, Shanghai Jiao Tong University（上海交通大学转化医学研究院和转化医学中心）；Department of Industrial and Systems Engineering, University of Minnesota（明尼苏达大学工业与系统工程系）
本文提出了一种统一分析方法，用于研究子梯度方法在最小化复合非凸、非光滑和非利普斯芝函数时的子梯度上界问题，并扩展到随机近端子梯度算法。
2024-11-12 cs.LG math.OC
The proximal point method revisited
在这个简短的调查中，我重温了近点法在大规模优化中的作用。我专注于最近的三个例子：一个近端引导次梯度方法弱凸随机逼近，最小化的凸函数和光滑映射的组合的线性算法，催化剂通用加速正则化经验风险最小化。
2017-12-17 math.OC
A nonmonotone extrapolated proximal gradient-subgradient algorithm beyond global Lipschitz gradient continuity
Sun Yat-sen University（中山大学）；University of Tsukuba（筑波大学）
本文提出一种无需问题参数的新型算法，通过精心设计的非单调线搜索和外推步骤，解决非全局Lipschitz梯度连续性问题，并在Kurdyka-Ł ojasiewicz性质下建立收敛分析。
2026-05-08 math.OC
Incremental Gradient, Subgradient, and Proximal Methods for Convex Optimization: A Survey
本文综述了用于最小化大量凸函数和的递增方法，提出了一种统一框架，涵盖梯度、次梯度及新近端方法，分析了收敛性和速率，并讨论了在推断/机器学习、信号处理和大规模分布式优化中的应用。
2017-12-19 cs.DS cs.NA cs.SY
Dual subgradient algorithms for large-scale nonsmooth learning problems
经典的一阶凸优化算法，如镜像下降算法或Nesterov光滑凸优化算法，具有不依赖于问题维数的最优（理论）复杂度估计。然而，为了达到最优，问题的域应该允许一个“好的近似设置”。后者本质上意味着1）问题域应满足“有利几何”的某些几何条件，以及2）这些方法的实际使用取决于我们在每次迭代时以适度成本计算{ \em邻近变换}的能力。在计算学习中出现的最优化问题中，这两个条件往往都得到满足，这就解释了为什么最近近端型FO方法成为解决各种学习问题的首选方法。然而，他们满足他们的限制，在几个重要的问题，如多任务学习与大量的任务，其中的问题域并没有表现出良好的几何形状，和学习和矩阵完成问题与核范数约束，当计算的数值成本接近变换成为大规模的问题。我们提出了一种新的方法来解决非光滑最优化问题中出现的学习应用程序中的Fenchel型表示的目标函数。该方法是基于应用FO算法的对偶问题，并使用{ \em精度证书}的方法来恢复原始的解决方案。虽然次优的准确性，所提出的方法并不依赖于“良好的邻近设置”的原始问题，但需要的问题域承认一个线性最优化预言-的能力，有效地最大限度地提高线性型域的原始问题。
2013-08-26 math.OC
Proximal Subgradient Norm Minimization of ISTA and FISTA
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
对于一阶光滑优化问题，加速现象的研究由来已久。直到最近，导致加速度的机制并没有成功地揭示了梯度校正项及其等效的隐速度形式。进一步，基于高分辨率微分方程框架，结合相空间表示和李雅普诺夫函数，发现了Nesterov加速梯度下降（\texttt{NAG}）方法的平方梯度范数.然而，该结果不能直接推广到实际中广泛使用的复合优化，例如，稀疏表示的线性反问题本文对复合优化中一个关键的步长$s$和Lipschitz常数$L$不等式进行了细致的观察，发现它可以得到更严格的改进.我们应用更紧密的不等式中发现的构造良好的李雅普诺夫函数，然后获得的相空间表示的最接近的次梯度范数最小化，无论梯度校正或隐速度。此外，我们还证明了类迭代收缩阈值算法（ISTA）的平方近端次梯度范数以平方反比率收敛，类更快的迭代收缩阈值算法（FISTA）的平方近端次梯度范数以立方反比率加速收敛。
2022-11-03 cs.LG math.OC math.ST
Stochastic (Approximate) Proximal Point Methods: Convergence, Optimality, and Adaptivity
我们开发了基于模型的方法来解决随机凸优化问题，引入了近似邻近点，或aProx，家庭，其中包括随机次梯度，邻近点，和束方法。当我们提出的建模方法是适当准确的，该方法享有更强的收敛性和鲁棒性保证比经典的方法，即使基于模型的方法通常增加很少或没有计算开销的随机次梯度方法。例如，我们表明，改进的模型收敛概率为1，并享有最佳的渐近正态性的结果，在弱假设下，这些方法也是自适应的自然类，我们称之为简单的最优化问题，实现线性收敛在适当的强增长条件下的目标。我们大量的实验研究表明，在许多光滑和非光滑最优化问题的标准次梯度方法更准确的建模的优势。
2019-07-03 math.OC stat.ML
A proximal subgradient method for nonconvex stochastic optimization under the Kurdyka-Łojasiewicz condition
Centro de Modelamiento Matemático（数学建模中心）；Universidad de Chile（智利大学）；Department of Mathematics, University of Alicante（阿利坎特大学数学系）
本研究提出满足Kurdyka-Łojasiewicz条件的邻近随机次梯度方法，可处理更通用非凸随机优化问题，保证轨迹收敛性并导出多项式收敛速率。
2026-08-10 cs.LG math.OC
Mini-batch stochastic subgradient for functional constrained optimization
针对含多函数约束的有限和复合凸优化问题，提出将其重构为随机优化问题的小批量随机次梯度投影算法，推导步长表达式与切换规则，证明次线性收敛速率且数值性能优于单批量方案。
2024-12-01 math.OC
Composite and Stochastic Smoothed Decentralized Bregman Proximal-Gradient Methods
The Chinese University of Hong Kong（香港中文大学）；Xiangtan University（湘潭大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）；Guangzhou Nanfang College（广州南方学院）
该研究扩展了平滑去中心化Bregman邻近梯度方法，针对节点特定正则化项与随机局部梯度给出理论界，实验验证其性能并评估四次Bregman核的效果。
2026-10-14 math.OC
Stochastic Bregman Subgradient Methods for Nonsmooth Nonconvex Optimization Problems
本文研究目标函数缺乏Clarke正则性时的随机Bregman次梯度方法，通过微分包含建立收敛性，提出非精确求解与动量集成机制，并验证其在训练非光滑神经网络中的有效性。
2025-05-29 math.OC
Nonsmooth Steepest Descent Method by Proximal Subdifferentials in Hilbert Spaces
本文首先研究了定义在希尔伯特空间上的非光滑函数的非光滑最速下降方法，并利用邻近次梯度建立了相应的算法。然后，我们用这个算法来寻找那些满足正则性和利普希茨连续性的函数的驻点。作为一个应用，将所建立的算法用于有限维空间上的下连续凸函数的极小值的搜索。作为对已有的关于二次连续可微凸函数的收敛性结果的推广和改进，文中给出了收敛性定理。
2013-10-10 math.OC
A proximal algorithm incorporating difference of convex functions optimization for solving a class of single-ratio fractional programming
Guangdong Polytechnic Normal University（广东技术师范大学）；Guangdong University of Finance（广东金融学院）；Sun Yat-sen University（中山大学）；Shenzhen University（深圳大学）
针对一类可由球面非光滑问题转化而来的单比分式最小化问题，推导最优性条件，提出结合凸函数差优化的PS-DCA算法，证明聚点为临界点及典型问题全局收敛，实验显示其对初值不敏感、不易陷入低质量局部极小值。
2025-10-22 math.OC
Stochastic subgradient method converges on tame functions
Cornell University（康奈尔大学）；University of Washington（华盛顿大学）；University of Southern California（南加利福尼亚大学）
这项工作考虑的问题：什么样的收敛保证随机次梯度法在光滑性和凸性的情况下？我们证明了随机次梯度方法，在任何半代数局部Lipschitz函数，产生的极限点都是一阶平稳的。更一般地说，我们的结果适用于任何函数的惠特尼分层图。特别是，这项工作赋予了随机次梯度方法及其近似扩展，为数据科学中出现的广泛问题提供了严格的收敛保证-包括所有流行的深度学习架构。
2018-05-26 cs.LG math.OC
A Refined Proximal Algorithm for Nonconvex Multiobjective Optimization in Hilbert Spaces
本文针对希尔伯特空间中的非凸多目标优化问题，基于Mordukhovich极限次微分定义新的帕累托临界点，建立必要最优性条件，并据此提出改进的向量近端点算法，给出详细收敛性分析，显著扩展了已有研究。
2024-03-14 math.OC
Delayed supermartingale convergence lemmas for stochastic approximation with Nesterov momentum
本文针对带 Nesterov 动量的随机逼近中延迟信息导致难以实现几乎必然收敛的问题，提出基于延迟超鞅收敛引理的一般性收敛框架，并应用于随机次梯度、邻近 Robbins-Monro 及邻近随机次梯度等方法，通过数值实验验证了理论结果。
2024-06-10 math.OC
Stochastic subgradient for composite optimization with functional constraints
本文针对带随机复合目标函数与无限约束交集的凸优化问题，提出带随机可行性更新的随机次梯度方法，证明其在不同情形下的收敛速率，数值结果验证了方法有效性。
2024-12-01 math.OC
Adaptive Algorithms for Robust Phase Retrieval
University of Notre Dame（圣母大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出自适应步长的鲁棒相位恢复算法，通过分位数设计提升收敛性，实验验证其在图像恢复中的有效性。
2026-10-07 math.OC
A Busemann hybrid projection-proximal point algorithm for optimization problems on Hadamard manifolds
Deakin University（迪肯大学）；Federal University of Goias（戈亚斯联邦大学）
本文提出了一种基于Busemann函数的混合投影-近点算法，用于Hadamard流形上的优化问题，实现了几何内禀的迭代方案并证明了全局收敛性。
2026-01-12 math.OC
Developing Lagrangian-based Methods for Nonsmooth Nonconvex Optimization
Institute of Operational Research and Analytics, National University of Singapore（新加坡国立大学运营研究与分析研究所）；School of Computer and Computing Science, Hangzhou City University（杭州城市大学计算机与计算科学学院）
针对非光滑非凸约束优化问题，提出统一的基于拉格朗日方法框架，可嵌入多种随机次梯度方法并继承其全局收敛性，还可扩展至期望约束问题，实验验证了其在深度学习任务中的高效性。
2024-04-15 cs.LG math.OC stat.ML
A Family of Subgradient-Based Methods for Convex Optimization Problems in a Unifying Framework
对于可行域足够简单的凸优化问题，我们提出了一类新的基于次梯度和梯度的方法，它们以最优复杂度收敛。这包括其中目标函数是非光滑的、光滑的、具有复合/鞍形结构的或由不精确的oracle模型给出的情况。统一了这些方法每次迭代时所需求解的子问题的构造方法。这使我们能够分析这些方法的收敛性在一个统一的方式相比，以前的结果，需要不同的方法/算法。我们的贡献依赖于非光滑凸优化中的两个著名方法：Nemirovski-Yudin的镜像下降法和Nesterov的对偶平均方法。因此，我们的方法族包括它们和许多其他方法作为特殊情况。例如，建议的家庭的经典梯度法和它的加速度推广Devolder等人。Nesterov的原始/对偶梯度法和Tseng的加速近端梯度法。此外，我们的方法家族也可以部分地成为其他通用方法的特例。作为一个额外的贡献，新的扩展镜像下降法删除了原来的镜像下降法所要求的可行域的紧性假设和总迭代次数的固定，以达到最佳的复杂性。
2015-12-29 math.OC
Stochastic and incremental subgradient methods for convex optimization on Hadamard spaces
Cornell University（康奈尔大学）；University of Seville（塞维利亚大学）；Babeş-Bolyai University（博拜什-博约伊大学）
本文提出了一种基于Busemann函数的子梯度方法，用于在Hadamard空间上解决凸优化问题，包括p-均值问题和BHV树空间中的中位数计算。
2026-03-10 cs.CG cs.DS cs.NA
On Finite-Step Convergence of the Non-Greedy Algorithm and Proximal Alternating Minimization Method with Extrapolation for $L_1$-Norm PCA
研究了$L_1$ -范数PCA的经典非贪婪算法（NGA）和最近提出的带外推的邻近交替最小化算法（PAMe）的有限步收敛性。它首先表明，NGA可以被解释为一个条件次梯度或交替最大化方法。通过将其视为条件次梯度，证明了在一定的满秩假设下，该算法产生的迭代点在多步迭代中是常数，当投影维数为1时，可以去掉这个假设.通过将算法视为一个交替的最大化，我们证明了目标值将是固定的后，最多$\left\lceil\frac{F^{\max}}{τ_0} \right\rceil$步骤，其中停止点满足一定的最优性条件。然后，NGA与改进的收敛性能进行了分析。结果表明，改进算法产生的迭代点在最多$\left\lceil\frac{2F^{\max}}τ \right\rceil$步后不会改变，而且如果邻近参数$τ$足够小，则停止点满足一定的最优性条件.对于PAMe，证明了当参数足够小且满足满秩假设时，符号变量经过多次迭代后仍保持不变，算法可以输出满足一定最优性条件的点.此外，如果投影矩阵相关子问题上不存在邻近项，则该改进算法产生的迭代点在最多$\left\lceil \frac{4F^{\max}}{τ(1-γ)} \right\rceil$步后不会改变，且停止点也满足一定的最优性条件，提供了与PAMe类似的假设.当投影维数为1时，可以去除满秩假设。
2023-03-22 math.OC stat.ML
Proximal methods for structured nonsmooth optimization over Riemannian submanifolds
Sun Yat-sen University（中山大学）；South China Agricultural University（华南农业大学）
本文针对黎曼子流形上含DC函数和弱凸项的结构化非光滑优化问题，提出流形邻近梯度-次梯度算法MPGSA及其增强版本，证明其收敛性并验证了数值效率。
2025-11-06 math.OC
Hinge-Proximal Stochastic Gradient Methods for Convex Optimization with Functional Constraints
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
本文提出了一种hinge-proximal随机梯度方法，用于解决带有函数约束的凸优化问题，通过精确惩罚重新公式化和三点不等式，实现了更高效的算法性能。
2026-08-06 math.OC
Exact Worst-case Performance of First-order Methods for Composite Convex Optimization
我们提供了一个框架，用于计算任何算法的精确最坏情况下的性能，该算法属于基于Oracle的复合凸优化的一阶方法的广泛类别，包括执行显式，投影，邻近，条件和不精确（子）梯度步骤的算法。我们同时获得紧最坏情况下的保证和明确的最优化问题的算法达到这个最坏的情况下的实例。我们通过将最坏情况的计算减少到求解凸半定程序来实现这一点，推广了Drori和Teboulle [13]以及作者[43]以前关于性能估计的工作。我们使用这些发展，以获得一个更严格的分析的邻近点法和快速近端梯度，条件梯度，次梯度和交替投影方法的几个变种。特别是，我们提出了一个新的分析最坏情况下保证的邻近点法，是以前已知的两倍，并提高了标准的最坏情况下保证的条件梯度法的两个以上的因素。我们还展示了Kim和Fessler在[22]中提出的优化梯度法如何通过引入投影或邻近算子来扩展，这导致了一种算法，该算法在最坏情况下的收敛速度是标准加速邻近梯度法的两倍[2]。
2019-11-21 math.OC
On Stochastic Subgradient Mirror-Descent Algorithm with Weighted Averaging
本文研究了求解约束凸最小化问题的随机子梯度镜像下降方法，通过加权迭代平均改进了收敛率，提出更简单的算法实现最优速率，适用于强凸和一般凸函数。
2013-07-07 cs.SY eess.SY math.OC
An Adaptive Proximal Framework for Stochastic Weakly Convex Optimization
Edwardson School of Industrial Engineering, Purdue University（普渡大学爱德华森工业工程学院）
针对弱凸参数未知的优化问题，提出自适应近端引导方案（APS），通过在线双向调整近端参数，在确定性和随机性设置下均达到O(ε^{-2})迭代复杂度。
2026-08-11 cs.DS math.OC
The Riemannian Convex Bundle Method
Norwegian University of Science and Technology（挪威科技大学）；Heidelberg University（海德堡大学）；Institute for Mathematics Heidelberg University（海德堡大学数学研究所）；Simula Research Laboratory（西穆拉研究实验室）
本文提出黎曼凸束方法，通过将历史次梯度平行传输到当前迭代点并构造凸包模型，求解有界截面曲率黎曼流形上的凸非光滑优化问题，证明了收敛性，并用Manopt.jl数值实验验证其优于次梯度法、循环近端点法和近端束方法。
2026-10-12 cs.NA math.DG math.NA
Augmented Lagrangian methods for infeasible convex optimization problems and diverging proximal-point algorithms
INRIA, Ecole Normale Supérieure（法国国家信息与自动化研究所，巴黎高等师范学院）
本文研究了增广拉格朗日方法在处理可能不可行的凸优化问题时的收敛性，揭示了在弱假设下迭代序列收敛于最邻近可行问题的解，并建立了从基本序列收敛到更精确收敛速率的更强收敛结果。
2026-03-16 cs.NA math.NA math.OC
Smoothed Variable Sample-size Accelerated Proximal Methods for Nonsmooth Stochastic Convex Programs
当$f(x,ω)$可能是非光滑的且强凸或凸的$x$时，我们考虑极小化$f(x) = \mathbb{E}[f(x,ω)]$. (I)强凸的。当$f(x,ω)$是$μ-$强凸的$x$，我们提出了一个可变的样本量加速邻近计划（VS-APM），并将其应用于$f_η(x)$，（$η$ -）Moreau平滑的变体$\mathbb{E}[f(x,ω)]$，我们这样的计划（m-VS-APM）。我们考虑三种设置。(a)有界域在这种设置下，VS-APM在不精确的梯度步长中显示线性收敛，每个步长都需要利用内部（SSG）方案。具体而言，mVS-APM在SSG步骤中实现了最佳的预言复杂度;（b）无界域。在这种制度下，在较弱的假设下，适当的状态依赖于次梯度的界限，一个未加速的变体mVS-PM是线性收敛的;（c）光滑病态PDMATHAMT。当$f$是$L$ -平滑和$κ= L/μ\ggg 1$时，我们采用mVS-APM，其中通过VS-APM获得越来越精确的梯度$\nabla_x f_η(x)$。值得注意的是，与VS-APM相比，mVS-APM在内部近端评价中显示出线性收敛和接近最佳的复杂性（高达对数因子）。但是，不像VS-APM的直接应用程序，该计划的特点是更大的步长和更好的经验行为;（二）凸。当$f(x,ω)$仅仅是凸的但可平滑时，通过适当地选择平滑、步长和批量大小序列，平滑VS-APM（或sVS-APM）…
2022-10-06 math.OC
A General Family of Stochastic Proximal Gradient Methods for Deep Learning
KAIST（韩国科学技术院）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；AITRICS
我们研究了正则化神经网络的训练，其中正则化器可以是非光滑和非凸的。我们提出了一个统一的框架随机近端梯度下降，我们术语ProxGen，允许任意的积极预条件和较低的半连续正则化。我们的框架包括标准的随机近端梯度方法，没有预条件作为特殊情况，这已被广泛研究，在各种设置。不仅如此，我们提出了两个重要的更新规则，超出了众所周知的标准方法作为我们的方法的副产品：（i）自适应随机梯度方法的$\ell_q$正则化（$0 \leq q \leq 1$）的第一个封闭形式的邻近映射，以及（ii）ProxQuant的修订版本，修复了原始方法的警告，用于特定于量化的正则化。我们分析了ProxGen的收敛性，并表明整个ProxGen家族在没有预条件的情况下具有与随机邻近梯度下降相同的收敛速度。我们还通过大量的实验经验表明，近端的方法相比，基于亚梯度的方法的优越性。有趣的是，我们的结果表明，非凸正则化的近似方法比凸正则化的方法更有效。
2020-07-15 cs.LG math.OC stat.ML
First-Order Methods for Nonsmooth Nonconvex Functional Constrained Optimization with or without Slater Points
本文针对非光滑非凸泛函约束优化问题，提出一种一阶方法，无需紧性与约束规范即可达到O(ε⁻⁴)收敛速率，还给出切换次梯度法的全新非Lipschitz分析。
2025-01-15 math.OC
A Sharper Theory of Ball-Proximal Optimization: Convergence and Radius Selection
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文针对正常闭凸函数提出球近端点方法的精细收敛理论，给出指数收敛率、半径序列收敛条件及自适应半径规则，无需光滑性或强凸性假设。
2026-09-29 math.OC
Handbook of Convergence Theorems for (Stochastic) Gradient Methods
本手册收录梯度及随机梯度下降类方法在多种函数条件下的简洁优质收敛证明，覆盖确定性、随机变体及非光滑问题相关方法，聚焦全局收敛与复杂度速率，含部分少见证明且各章可独立查阅。
2024-03-09 math.OC
Riemannian Stochastic Proximal Gradient Methods for Nonsmooth Optimization over the Stiefel Manifold
The University of Iowa（爱荷华大学）；University of California（加利福尼亚大学）；Pennsylvania State University（宾夕法尼亚州立大学）
由于在实践中的广泛应用，黎曼优化引起了人们的广泛关注。在文献中已经研究了黎曼随机一阶算法来解决黎曼流形上的大规模机器学习问题。然而，现有的大多数黎曼随机算法要求目标函数是可微的，并且它们不适用于目标函数是非光滑的情况。本文给出了Stiefel流形上极小化非光滑函数的两种黎曼随机逼近梯度法。这两种方法，称为R-ProxSGD和R-ProxSPB，是近端SGD和近端SpiderBoost在欧几里得设置到黎曼设置的推广。分析了算法的增量一阶预言（IFO）复杂度。具体地，R-ProxSPB算法在在线情况下找到具有$Ø(ε^{-3})$ IFO的$ε$ -平稳点，并且在有限和情况下找到具有$n$的$Ø(n+\sqrt{n}ε^{-2})$ IFO的$ε$-平稳点，其中$n$是目标中的被加数。在线稀疏PCA和鲁棒低秩矩阵补全的实验结果表明，我们提出的方法显着优于现有的方法，使用黎曼次梯度信息。
2022-03-21 cs.LG math.OC stat.ML
Relaxed Proximal Point Algorithm: Tight Complexity Bounds and Acceleration without Momentum
本文研究了求解凸优化问题的松弛近端点算法（RPPA），扩展了三种松弛调度，分别建立了紧非遍历 $O(1/N)$、快约 $\sqrt{2}$ 倍及 $O(1/N^{1.2716})$ 的加速收敛速率，并证实了关于银色步长梯度下降的猜想。
2024-10-11 math.OC
Distributed Stochastic Proximal Algorithm on Riemannian Submanifolds for Weakly-convex Functions
Tongji University（同济大学）；University of New South Wales（新南威尔士大学）；University of Science and Technology of China（中国科学技术大学）
研究欧几里得空间中紧致嵌入子流形上弱凸函数的分布式随机优化问题，利用收缩和黎曼共识协议提出算法框架并分析三种算法，证明其收敛性并给出收敛速率，通过数值实验验证结果。
2026-10-14 cs.SY eess.SY math.OC
On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization
本文研究了非凸优化问题的随机镜像下降（SMD）算法的非渐近平稳收敛性。我们专注于一般类的非凸非光滑随机最优化问题，其中的目标可以分解成一个相对弱的凸函数（可能非Lipschitz）和一个简单的非光滑凸正则化。我们证明了SMD，不使用mini-batch，是保证收敛到一个平稳点的收敛速度的$ \mathcal{O}(1/\sqrt{t}) $。效率估计与现有的随机次梯度方法的结果相匹配，但评估下一个更强的平稳性措施。我们的收敛性分析适用于原来的SMD和它的近端版本，以及确定性的变种，解决相对弱凸问题。
2018-06-12 math.OC
A SPIDER-type stochastic subgradient method for expectation-constrained nonconvex nonsmooth optimization
Department of Mathematical Sciences, Rensselaer Polytechnic Institute（数学科学系，雷士拉尔理工学院）
针对期望约束的非凸非光滑随机优化，提出单循环SPIDER型随机次梯度方法，构建精确罚模型，达到最优复杂度，并在公平性约束和Neyman-Pearson分类问题上显著加速。
2026-11-03 cs.CC cs.LG cs.NA
Stochastic Proximal Gradient Consensus Over Random Networks
我们考虑解决一个凸的，可能的随机最优化问题的随机时变多智能体网络。每个代理都可以访问一些局部目标函数，并且它只具有平滑分量的梯度的无偏估计。我们开发了一个动态随机近似梯度一致性（DySPGC）算法，该算法具有以下主要特点：i）它适用于静态和某些随机时变网络，ii）它允许代理利用精确或随机梯度信息，iii）它以可证明的速度收敛。特别地，我们证明了该算法收敛到全局最优解，速度为$\mathcal{O}(1/r)$ [resp. [001 pdf 1st-31 files]当正确的时候，随机）梯度是可用的，其中r是迭代计数器。有趣的是，开发的算法桥接了许多（看似无关的）分布式优化算法，例如EXTRA（Shi et al. 2014），PG-EXTRA（Shi et al. 2015），IC/IDC-ADMM（Chang et al. 2014）和DLM（Ling et al. 2015）以及经典的分布式次梯度方法。识别这种关系允许这些方法的显著推广。我们还讨论了一个这样的推广，加速DySPGC（因此加速EXTRA，PG-EXTRA，IC-ADMM）。
2016-11-26 cs.IT math.IT math.OC
