Strong growth and Goldstein subgradients in piecewise smooth optimization
Cornell University（康奈尔大学）
该研究针对分段光滑优化问题，探讨了Lipschitz函数局部极小值点附近的新增长条件，明确了强凸与非凸情形下该条件的成立情况，并通过计算实验验证了假设的重要性。
2026-08-24 math.OC
Symbolic computation with monotone operators
我们考虑一类适合于计算机代数系统中的符号表示和操作的单调算子。类的各种结构属性（例如，封闭下取逆，预解式）进行了研究，以及类内的最大单调性所发挥的作用。特别是，我们表明，有一个自然的对应关系，我们的类的单调算子和凸函数的次微分属于一类的凸函数被认为适合于符号计算的Fenchel共轭，以前研究的Bauschke和冯Moenschildt和Borwein和Hamilton。提供了利用所引入的一类算子的一些说明性示例，包括邻近算子的计算、与硬阈值算子相关联的凸罚函数的恢复以及超期望、超分布和超分位数的计算，其中超期望、超分布和超分位数具有针对风险度量的专门化。
2017-03-17 math.OC
Boosted scaled subgradient method for DC programming
提出了一种求解两个凸函数（DC函数）之差的提升尺度次梯度型方法（BSSM），其中第一个函数是可微的，第二个函数可能是非光滑的.虽然目标函数一般是非光滑的，但在温和的假设下，问题的结构允许证明在当前顶点处的负尺度广义次梯度是从辅助点的下降方向。因此，不是应用Armijo线性搜索并从当前次梯度计算下一个次梯度，而是从该辅助点沿着负缩放的广义次梯度的方向计算线性搜索和新次梯度。结果表明，该方法具有与通常的采用Armijo线性搜索的最小化可微凸函数的下降法相似的渐近收敛性质和迭代复杂度界.最后，对于适当的尺度矩阵，BSSM的二次子问题具有一个闭公式，因此，该方法比经典的DC算法具有更好的计算性能，后者必须求解凸（不一定是二次子）问题.
2021-03-19 math.OC
A Riemannian conjugate subgradient method for nonconvex and nonsmooth optimization on manifolds
School of Mathematics & Center for Applied Mathematics of Guangxi, Guangxi University（广西大学数学与广西应用数学中心）
针对流形上的一类非凸非光滑优化问题，提出黎曼共轭次梯度方法，通过方向活跃次梯度的凸组合定义搜索方向，结合区间缩减的线搜索保证单调非增，在温和假设下证明全局收敛性，数值实验表明计算时间显著优于现有方法。
2026-05-23 math.OC
An Infeasible-Point Subgradient Method Using Adaptive Approximate Projections
本文提出了一种新的次梯度法，用于求解凸集上非光滑凸函数的极小化问题。为了加快计算速度，我们使用自适应近似投影，只需要在精确投影的一定距离内移动（在算法过程中会减少）。特别是，我们方法中的迭代在整个过程中可能是不可行的。然而，我们提供的条件，确保收敛到一个最佳的可行点，在适当的假设。一个收敛的结果处理的步长序列是固定的先验。另外两个结果处理动态Polyak型步长取决于最佳目标函数值的下限或上限估计，分别。此外，我们简要概述了两个应用：凸机会约束的优化，并找到最小l1范数解欠定线性系，在压缩感知的一个重要问题。
2013-03-08 math.OC
Incremental Subgradient Methods for Minimizing The Sum of Quasi-convex Functions
比率和问题在经济学和管理学中有着广泛的应用，但整体求解是一个困难的问题。本文考虑闭凸集上若干不可微拟凸分支函数之和的极小化问题，其中包括比和问题作为特例.拟凸分支函数的和不一定是拟凸的，因此，本文的研究超越了拟凸优化。利用和最小化问题的结构，我们提出了一种新的增量次梯度法，并研究了当使用常数、递减或动态步长规则时，在齐次假设和$p$阶的赫尔德条件下，该方法收敛于全局最优解的性质.为了节省大量分量函数的次梯度的计算代价，我们进一步提出了一种随机增量次梯度方法，在该方法中，每次迭代时只随机选择一个分量函数来构造次梯度方向.利用函数值和迭代点到概率为1的最优解集的距离，得到了收敛性。将所提出的增量次梯度方法应用于求解比率和问题以及多个Cobb-Douglas产生式的有效性问题，数值结果表明所提出的方法对于求解大比率和问题是有效的.
2017-10-17 math.OC
A Single-loop Proximal Subgradient Algorithm for A Class Structured Fractional Programs
针对一类含线性算子的非凸非光滑结构化分式规划，提出单循环邻近次梯度算法及非单调线搜索变体，证明其全局收敛并在三类应用中验证优越性。
2025-03-15 math.OC
A proximal subgradient algorithm for constrained multiobjective DC-type optimization
Hanoi Pedagogical University 2（河内第二师范大學）；RMIT University（皇家墨尔本理工大学）
本文提出了一种近端subgradient算法，用于解决受约束的多目标DC型优化问题，通过建立最优性条件并保证序列有界性，实现了对非凸问题的有效求解。
2026-09-04 math.OC
Quadratically Regularized Subgradient Methods for Weakly Convex Optimization with Weakly Convex Constraints
具有非凸约束的最优化模型出现在机器学习中的许多任务中，例如，具有公平性约束的学习或具有非凸损失的Neyman-Pearson分类。虽然许多有效的方法已经开发了理论上的收敛保证非凸无约束问题，它仍然是一个挑战，设计可证明有效的算法，非凸泛函约束问题。本文提出了一类求解约束优化问题的次梯度法，其中目标函数和约束函数都是弱凸非光滑的。我们的方法解决了一系列的强凸子问题，其中一个二次正则化项被添加到目标函数和每个约束函数。每个子问题可以用各种强凸优化算法求解。在一致的斯莱特条件下，我们建立了我们的方法的计算复杂性，寻找一个几乎稳定点。
2023-03-23 math.OC
Mini-batch stochastic subgradient for functional constrained optimization
针对含多函数约束的有限和复合凸优化问题，提出将其重构为随机优化问题的小批量随机次梯度投影算法，推导步长表达式与切换规则，证明次线性收敛速率且数值性能优于单批量方案。
2024-12-01 math.OC
Inexact Limited Memory Bundle Method
University of Turku（图尔库大学）
本文提出了一种新的不精确有限记忆束法，用于解决大规模非光滑非凸优化问题，证明了该方法能全局收敛到近似 stationary 点，并通过不同噪声水平的实验展示了其在精确和噪声数据中的有效性。
2026-04-09 math.OC
An Inexact Variable Metric Proximal Gradient-subgradient Algorithm for a Class of Fractional Optimization Problems
Sun Yat-sen University（中山大学）；Guangzhou University（广州大学）；Shenzhen University（深圳大学）
研究一类分数优化问题，提出不精确变度量近端梯度 - 次梯度算法（iVPGSA），它能灵活近似求解子问题，适应性强且效率高。基于KL性质证明其全局收敛并刻画速率，数值实验显示该算法优于现有算法。
2026-10-22 math.OC
A unitary distributed subgradient method for multi-agent optimization with different coupling sources
在这项工作中，我们首先考虑分布式凸约束最优化问题的目标函数是由多个本地和可能的非光滑目标私人持有的一组代理编码，并提出了一个分布式次梯度方法与双平均（简称${\rm DSA_2}$），只需要点对点通信和本地计算来解决全局问题。算法框架建立在对偶方法和动态平均共识的基础上;通过迭代最小化总体目标的局部对偶模型来形成测试点序列，其中系数，即，目标的近似次梯度由动态平均一致性方案提供。我们从理论上证明了${\rm DSA_2}$具有非遍历收敛性，即，局部最小化序列本身是收敛的，这是在现有结果中找不到的明显特征。具体来说，我们建立了一个收敛速度的$O(\frac{1}{\sqrt{t}})$的目标函数误差。然后，将${\rm DSA_2}$与对偶分解相结合，将其推广到具有耦合函数约束的分布式最优化问题。这是可能的拉格朗日松弛变换的原始问题的约束耦合到对偶的费用函数，从而使我们能够通过${\rm DSA_2}$解决对偶问题。证明了对偶目标误差和二次罚函数均以$O(\frac{1}{\sqrt{t}})$的速度收敛，原目标误差渐近消失。数值实验和比较表明，所提出的算法的优势，并验证我们的理论研究结果。
2020-02-19 math.OC
Spectral Projected Subgradient Method for Nonsmooth Convex Optimization Problems
考虑目标函数为数学期望形式的非光滑约束最优化问题。采用样本平均值近似法（SAA）估计目标函数，并采用可变样本量策略。所提出的算法结合了SAA次梯度的谱系数，以提供一个合适的方向，提高了性能的一阶方法所示的数值结果。在随机环境中，在标准假设下，从给定的区间内选取步长，证明了该方法的几乎必然收敛。为了提高所提出的算法的性能，我们进一步指定的步长的选择，通过引入一个Armijo适合于这个框架的过程。考虑到机器学习问题的计算成本，我们得出结论，线搜索显着提高性能。有限和问题的数值实验也表明，变样本策略优于全样本方法。
2022-08-08 cs.NA math.NA math.OC
Decentralized Accelerated Gradient Methods With Increasing Penalty Parameters
本文研究了分布式优化中的通信代价和梯度计算代价，并对提出的分布式加速梯度法进行了复杂性分析。我们提出了两个算法的加速惩罚方法的基础上增加罚参数的框架。我们的第一个算法是光滑分布优化，它获得了接近最佳的$O\left(\sqrt{\frac{L}{ε(1-σ_2(W))}}\log\frac{1}ε\right)$通信复杂度和最佳的$O\left(\sqrt{\frac{L}ε}\right)$梯度计算复杂度的$L$光滑凸问题，其中$σ_2(W)$表示第二大奇异值的权重矩阵$W$与网络和$ε$是目标精度。当问题是$μ$ -强凸和$L$ -光滑时，我们的算法对于通信具有接近最优的$O\left(\sqrt{\frac{L}{μ(1-σ_2(W))}}\log^2\frac{1}ε\right)$复杂度，对于梯度计算具有最优的$O\left(\sqrt{\frac{L}μ}\log\frac{1}ε\right)$复杂度.我们的通信复杂性仅比平滑分布式优化的下限差$\left(\log\frac{1}ε\right)$的一个因子。%据我们所知，我们的方法是第一个实现通信和梯度计算下限到一个额外的对数因子光滑分布优化。我们的第二个算法是为非光滑分布优化设计的，它实现了最佳的$O\left(\frac{1}{ε\sqrt{1-σ_2(W)}}\right)$通信复杂度和$O\left(\fr…
2020-08-18 math.OC
Incremental and Parallel Machine Learning Algorithms with Automated Learning Rate Adjustments
现有的用于最小化闭凸集上的凸函数的机器学习算法收敛缓慢，因为它们的学习速率必须在运行它们之前确定。本文提出了两种机器学习算法，结合线搜索法，自动和算法找到适当的学习率在运行时。一种算法是基于增量次梯度法，它顺序地和循环地使用目标函数的每个部分;另一种是基于并行次梯度法，它并行地独立使用部分。这些算法可以应用于支持向量机学习任务中出现的约束非光滑凸优化问题，而无需精确调整学习率。所提出的线搜索法可以确定学习率，以满足比现有机器学习算法中使用的条件更弱的条件。这意味着这两个算法是现有求解约束非光滑凸优化问题的增量和并行次梯度法的推广。我们表明，他们产生的序列收敛到一个解决方案的约束非光滑凸优化问题在一定的条件下。本文的主要贡献是提供了三种实验，表明这两种算法可以解决具体的实验问题比现有的算法更快。首先，我们证明了所提出的算法在解决测试问题时比现有的算法具有性能优势。其次，我们比较了所提出的算法与不同的算法Pegasos，这是为了学习与支持向量机有效地，在预测精度，值的目标函数，和计算时间。最后，我们用…
2019-08-09 math.OC
Projection Efficient Subgradient Method and Optimal Nonsmooth Frank-Wolfe Method
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research, India（微软研究院印度分院）；University of Washington, Seattle（华盛顿大学西雅图分校）
我们考虑经典的设置优化一个非光滑Lipschitz连续凸函数在凸约束集，当有一个（随机）的一阶预言（FO）的功能和投影预言（PO）的约束集。众所周知，为了在高维中实现$ε$ -次优性，$Θ(ε^{-2})$ FO调用是必要的。这是通过投影次梯度法（PGD）实现的。然而，PGD还需要$O(ε^{-2})$ PO调用，其在计算上可能比FO调用更昂贵（例如，核范数约束）。改善这种PO调用复杂性的PGD是在很大程度上未探索，尽管这个问题的基本性质和广泛的文献。我们首先提出这样的改进。这只需要一个温和的假设，即当扩展到约束集的稍大的邻域时，目标函数仍然保持Lipschitz并且可以通过FO访问。特别是，我们介绍了MOPES方法，它仔细结合Moreau-Yosida平滑和加速一阶格式。这保证仅使用$O(ε^{-1})$ PO调用和最优$O(ε^{-2})$ FO调用找到可行的$ε$ -次优解决方案。此外，如果我们只有一个线性最小化oracle（LMO，a la Frank-Wolfe）来访问约束集，则不是PO，我们的方法MOLES的扩展使用$O(ε^{-2})$调用和FO调用找到了一个可行的$ε$ -次优解-两者都匹配已知的下界，解决了自White（1993）以来一直悬而未决的问题。我们的实验证实，这些方法实现了显着的加速比国家的最先进的，昂贵的PO和LMO调用的问题。
2020-10-05 cs.LG math.OC stat.ML
Implementation of an Oracle-Structured Bundle Method for Distributed Optimization
针对智能体函数仅能通过次梯度预言机访问、公共函数可用凸优化DSL表述的分布式凸优化问题，本文整合束类算法技术提出了一种可靠、少调参、收敛快的方法，并开源了实现代码。
2023-07-20 math.OC
On the Finite-Time Complexity and Practical Computation of Approximate Stationarity Concepts of Lipschitz Functions
本文提出了一个计算非凸非光滑Lipschitz函数的近似稳定点的有限时间算法。特别是，我们感兴趣的两种近似平稳性概念的非凸非光滑问题，即，Goldstein近似平稳性（GAS）和近似平稳性（NAS）。对于GAS，我们的方案去除了（Zhang et al.，2020，假设1），并以相同的有限时间复杂度计算GAS。对于NAS，Davis & Drusvyatskiy（2019）表明$ρ$ -弱凸函数允许有限时间计算，而Tian & So（2021）提供了一阶方法无维有限时间复杂度的匹配不可能性结果。补充这些发展，在本文中，我们隔离了一类新的功能，可能是克拉克不规则的（从而不再弱凸），并表明我们的新算法方案可以计算NAS点的功能，在有限的时间内。为了证明我们的新理论框架的广泛适用性，我们证明了$ρ$ -margin SVM，$1$ -layer和$2$ -layer ReLU神经网络都是Clarke不规则的，满足我们的新条件。
2022-08-01 math.OC
Dual first-order methods for efficient computation of convex hull prices
针对含非凸性的电力市场，研究通过求解拉格朗日对偶计算凸包价格，基准测试多种一阶对偶方法，发现bundle proximal level及次梯度变体表现最佳。
2025-04-02 cs.SY econ.GN eess.SY
Stochastic Subgradient Algorithms for Strongly Convex Optimization over Distributed Networks
Massachusetts Institute of Technology（麻省理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Bilkent University（比尔肯特大学）
本文提出一种基于随机梯度下降的分布式优化算法，通过时间依赖的加权平均实现O(√N/T)的收敛率，具有低通信开销和线性计算复杂度。
2015-08-31 cs.NA cs.SY eess.SY
Gradient Sliding for Composite Optimization
本文考虑一类复合最优化问题，其目标函数由一般光滑分量和非光滑分量之和以及相对简单的非光滑项构成。本文提出了一类新的一阶方法，即梯度滑动算法，它可以不计算光滑分量的梯度。因此，这些算法只需要${\cal O}(1/\sqrtε)$梯度评估的平滑组件，以找到一个$ε$ -解决方案的复合问题，同时仍然保持最佳的${\cal O}(1/ε^2)$约束的总数的次梯度评估的非平滑组件。然后，我们提出了一个随机对应这些算法，并建立类似的复杂性界解决一类重要的随机复合最优化问题。此外，如果复合函数中的光滑分量是强凸的，则所提出的梯度滑动算法可以将光滑分量和非光滑分量的梯度和次梯度计算次数分别减少到${\cal O} (\log (1/ε))$和${\cal O}(1/ε)$.最后，我们将这些算法推广到当光滑分量被具有某种双线性鞍点结构的非光滑分量所取代的情况。
2014-06-12 cs.CC math.OC stat.ML
Value Function Gradient Learning for Large-Scale Multistage Stochastic Programming Problems
针对大规模多阶段随机凸规划问题，提出了一种称为值函数梯度学习（VFGL）的分阶段分解算法。VFGL在给定的参数族中找到与值函数的梯度最佳拟合的参数值。多阶段随机规划的分解算法，如随机对偶动态规划（SDDP），通过在每次迭代中添加线性次梯度割来近似值函数。虽然这种方法已经成功的线性问题，非线性问题可能会受到每个子问题的规模不断增加的迭代进行。另一方面，VFGL具有固定数量的参数;因此，子问题的大小在整个迭代过程中保持不变。此外，VFGL可以通过随机梯度下降来学习参数，这意味着它可以很容易地并行化，并且不需要对潜在的不确定性进行情景树近似。VFGL进行了比较，确定性等价制定的多阶段随机规划问题和SDDP方法的三个说明性的例子：生产规划，热液发电，和生命周期的财务规划问题。数值例子表明，VFGL可以生成高质量的解，并且计算效率很高。
2022-10-05 math.OC
Geometry, Computation, and Optimality in Stochastic Optimization
Stanford University（斯坦福大学）
研究问题几何在随机与在线优化中的计算与统计影响，刻画了随机梯度与自适应梯度方法的极小化极大最优性条件，证明二次凸约束下对角预条件方法最优，并指出偏离该几何时需采用 mirror descent 等非线性更新。
2025-07-16 cs.IT cs.LG math.IT
Provably Correct Automatic Subdifferentiation for Qualified Programs
University of Washington, Seattle（华盛顿大学西雅图分校）；University of Southern California（南加州大学）
廉价梯度原理（Griewank 2008）--计算标量值函数梯度的计算成本几乎相同（通常在$5$的因子内），因为简单地计算函数本身-在优化中具有中心重要性;它允许我们快速获得标量损失函数的（高维）梯度，其随后用于基于黑盒梯度的优化过程。目前的情况在计算次导数方面有明显的不同：广泛使用的ML库，包括TensorFlow和PyTorch，即使在简单的例子中也不能正确计算（广义）次导数。这项工作考虑的问题：是否有一个便宜的次梯度原则？我们的主要结果表明，在一定的限制下，我们的图书馆的非光滑函数（标准的非线性规划），可证明正确的广义次导数可以计算的计算成本是在一个（无量纲）因子的$6$的计算标量函数本身的成本。
2019-01-14 cs.LG math.OC stat.ML
Randomized Smoothing SVRG for Large-scale Nonsmooth Convex Optimization
National University of Singapore（新加坡国立大学）；Dept. of Industrial Systems Engineering and Management（工业系统工程与管理系（此处按要求粒度，该系属于新加坡国立大学，机构级别为大学，原部门为系，非独立机构，按要求只提取到大学/学院/公司/研究院级别，所以主要机构为新加坡国立大学，部门系不提取）。修正：根据规则，机构粒度提取到大学/学院/公司/研究院级别即可，不要细拆到系。所以这里的机构是National University of Singapore（新加坡国立大学），而Dept. of Industrial Systems Engineering and Management是系，属于新加坡国立大学内部的系，不应提取。因此正确输出应为{）
本文研究了一类非光滑凸函数的均值极小化问题。这样的问题经常出现在典型的机器学习问题中，如经验风险最小化，但在计算上非常具有挑战性。我们开发和分析了一种新的算法，实现强大的线性收敛速度，其时间复杂度和梯度复杂度优于最先进的非光滑算法和基于次梯度的计划。此外，我们的算法的工作没有任何额外的误差界条件的目标函数，以及常见的强凸性条件。我们表明，我们的算法在优化和机器学习问题中有广泛的应用，并通过实验证明，它在大规模的排名问题上表现良好。
2018-05-11 cs.LG math.OC stat.ML
On the complexity of nonsmooth automatic differentiation
Toulouse School of Economics（图卢兹经济学院）；Université de Toulouse（图卢兹大学）；Thales LAS France（法国泰勒斯激光系统公司）；IRIT, CNRS（法国国家科学研究中心信息与电信研究所）；Institut Universitaire de France (IUF)（法国大学研究院）
使用保守梯度的概念，我们提供了一个简单的模型来估计计算成本的向后和向前模式的算法微分为广泛的一类非光滑程序。当使用具有局部Lipschitz半代数或可定义初等函数的程序时，反向模式的开销复杂度与维数无关。这大大扩展了Baur-Strassen的平滑廉价梯度原理。我们说明我们的研究结果通过建立保守梯度的快速反向传播结果，通过前馈神经网络与标准的激活和损失函数。非光滑反向传播的廉价与并发向前方法形成对比，并发向前方法迄今为止具有依赖于维度的最坏情况开销估计。我们提供了进一步的结果表明保守梯度的反向传播的优越性。事实上，我们与计算大量的方向导数的矩阵乘法的复杂性，我们发现，在克拉克次微分的函数中找到两个次梯度是一个NP-困难的问题。
2023-02-06 cs.AI cs.LG cs.NA
