Second-Order Subdifferential Optimality Conditions in Nonsmooth Optimization
本文利用变分分析与二阶广义微分,针对 prox-regular 非光滑优化问题建立了新的二阶必要和充分最优性条件,并将其应用于非线性规划,得到了以 Hessian 矩阵表达的新结果。
2025-01-04 math.OC
Algorithmic construction of the subdifferential from directional derivatives
函数的次微分是梯度概念对非光滑函数的推广。它经常用于变分分析,特别是在非光滑最优化的上下文中。提出了一种通过计算多个方向导数来重构函数的多面体次微分的算法。我们提供上界所需的方向导数的数量时,空间是$\R^1$和$\R^2$,以及在$\R^n$次微分是已知的拥有最多三个顶点。
2016-09-09 math.OC
Optimality conditions for robust nonsmooth multiobjective optimization problems in Asplund spaces
我们采用模糊最优性条件的Frechet次微分和一些先进的变分分析技术,如公式的次微分的一个无限的家庭的非光滑函数和余导数标量化研究鲁棒最优性条件和鲁棒对偶的非光滑/非凸多目标最优化问题处理不确定性约束在任意Asplund空间。我们建立必要的最优性条件弱和适当的鲁棒有效解的问题的Mordukhovich次微分的相关功能。进一步,通过引入广义凸性的新概念,给出了该问题弱鲁棒有效解和真鲁棒有效解的充分条件.最后,我们制定了一个Mond-Weir型的鲁棒对偶问题的参考问题,并检查弱,强,和逆对偶关系,它们之间的伪凸性假设。
2022-11-14 math.OC
Nonsmooth Analysis and Optimization
这些研究生课程的课堂讲稿涵盖了广义导数概念,这些概念在推导逆问题、成像和偏微分方程约束优化中不可微优化问题的必要最优性条件和数值算法时非常有用。处理凸函数和次微分,Fenchel对偶,单调算子和预解式,Moreau-Yosida正则化,近点和(一些)一阶分裂方法,Clarke次微分,和半光滑牛顿方法。从功能分析和变分法所需的背景也简要概述。
2022-03-15 math.OC
Subdifferential characterization of probability functions under Gaussian distribution
概率函数在工程最优化问题中占有重要地位。即使所有的输入数据都是光滑的,它们也可能是非光滑的。这一事实促使人们考虑对这种典型的连续函数的次微分。本文的目的是提供次微分公式的情况下,高斯分布的可能无限维决策变量和非光滑(局部Lipschitz)的输入数据。这些公式是基于高斯随机向量的球径向分解,另一方面,在一个圆锥的方向上的适度增长。通过连续地添加附加假设,满足条件,在该条件下,概率函数是局部Lipschitz的或甚至是可微的。
2017-07-21 math.OC
A Gaussian smoothing-based zeroth-order method for Goldstein second-order stationarity
Chengdu University of Information Technology(成都信息工程大学);The Hong Kong Polytechnic University(香港理工大学);Zhejiang University of Technology(浙江工业大学)
该研究引入戈德斯坦二阶δ-次微分等概念,针对连续可微函数提出基于立方正则化和高斯平滑同伦的零阶算法,用于寻找近似二阶平稳点,并推导了迭代复杂度。
2026-07-24 math.OC
Quantitative Convergence Analysis of Projected Stochastic Gradient Descent for Non-Convex Losses via the Goldstein Subdifferential
该研究针对非凸损失投影SGD收敛衡量存在的局限,提出以梯度到Goldstein次微分的距离作为收敛准则,推导了不同数据分布下的渐近与非渐近收敛界,首次得到该场景下的非渐近高概率界。
2025-10-03 cs.LG math.OC
Commutation principles for nonsmooth variational problems on Euclidean Jordan algebras
本文在欧几里得若当代数上,将经典交换原理推广至非光滑函数,证明局部极值点与次微分元素算子交换,并应用于刻画自同构不变集上的局部最优解。
2025-04-23 math.OC
Global Convergence of Direct Policy Search for State-Feedback $\mathcal{H}_\infty$ Robust Control: A Revisit of Nonsmooth Synthesis with Goldstein Subdifferential
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
直接策略搜索在现代强化学习和连续控制中有着广泛的应用。然而,直接策略搜索在非光滑鲁棒控制综合中的理论性质还没有完全理解。最优$\mathcal{H}_\infty$控制框架的目的是设计一种策略,以最小化闭环$\mathcal{H}_\infty$范数,可以说是最基本的鲁棒控制范例。在这项工作中,我们表明,直接的政策搜索是保证找到鲁棒$\mathcal{H}_\infty$状态反馈控制设计问题的全局解。注意,最优$\mathcal{H}_\infty$控制的策略搜索导致约束非凸非光滑最优化问题,其中非凸可行集由稳定闭环动态的所有策略组成。我们证明了对于这个非光滑最优化问题,所有的Clarke平稳点都是全局最小值.其次,我们确定了闭环$\mathcal{H}_\infty$目标函数的连续性,并证明了由此产生的策略搜索问题的所有子水平集是紧的。基于这些性质,我们表明,Goldstein的次梯度法及其可实现的变种可以保证留在非凸可行集,并最终找到全局最优解的$\mathcal{H}_\infty$状态反馈综合问题。我们的工作建立了一个新的连接之间的非凸非光滑最优化理论和鲁棒控制,导致一个有趣的整体收敛的结果直接政策搜索最佳$\mathcal{H}_\infty$合成。
2022-10-20 cs.LG cs.SY eess.SY
On directional local minimality and directional optimality conditions in nonsmooth optimization
Philipps-Universität Marburg(马尔堡菲利普斯大学)
本文利用方向导数与次微分,针对下半连续函数无约束极小化问题,基于方向局部极小性概念,推导了必要充分的一阶和二阶最优性条件,并通过临界方向给出了传统局部极小性的最优性条件。
2026-07-02 math.OC
Level-set Subdifferential Error Bounds and Linear Convergence of Variable Bregman Proximal Gradient Method
在这项工作中,我们开发了一个水平集次微分误差界条件,旨在对收敛速度分析的可变Bregman近端梯度(VBPG)方法的广泛的一类非光滑和非凸最优化问题。证明了该条件保证VBPG的线性收敛,且弱于Kurdyka-Lojasiewicz性质、弱度量次正则性和Bregman逼近误差界.一路上,我们能够推导出一些可验证的条件水平集次微分误差界举行,和线性收敛的必要条件和充分条件相对于水平集的非光滑和非凸最优化问题。新建立的结果不仅使我们能够证明VBPG产生的序列的任何聚点至少是一个临界点的极限次微分,甚至临界点的近端次微分与一个固定的Bregman函数在每次迭代,但也提供了一个新的视角,使我们能够探索的内在联系,许多已知的充分条件之间的线性收敛的各种一阶方法。
2020-08-28 math.OC
Necessary Optimality Conditions for Bilevel Programming using Tangential Subdifferentials
School of Mathematics, Hunan University(湖南大学数学学院)
本文利用切向次微分推导非光滑双层规划的必要最优性条件,提出序贯增强切向 Fritz--John 条件及相应 KKT 系统,并研究切向约束规范以保证其有效性,最后应用于值函数重构。
2026-09-30 math.OC
A note on the convergence of deterministic gradient sampling in nonsmooth optimization
本文针对非光滑优化问题,提出一种二分法以改进次微分近似,并结合确定性梯度采样,实现了可证明收敛的下降方向计算。
2024-02-06 math.OC
A Constraint Dissolving Approach for Nonsmooth Optimization over the Stiefel Manifold
本文研究Stiefel流形上可能非光滑的目标函数的极小化问题。现有的方法要么效率低下,要么只能处理对机器人友好的目标函数。我们提出了一个约束溶解功能NCDF,并表明它具有相同的一阶稳定点和局部极小作为原问题的Stiefel流形的邻域。此外,我们表明,克拉克次微分的NCDF是很容易实现的目标函数的克拉克次微分。因此,现有的各种无约束非光滑最优化方法可以直接应用于Stiefel流形上的非光滑最优化问题。我们提出了一个框架,开发子梯度为基础的方法,并建立其收敛性能的基础上以前的工作。此外,基于我们提出的框架,我们可以开发有效的方法优化Stiefel流形。初步的数值实验进一步强调,所提出的约束溶解方法产生的各种无约束的方法,非光滑最优化问题的Stiefel流形上的有效和直接的实现。
2023-01-20 math.OC
Partial Smoothness, Subdifferentials and Set-valued Operators
针对部分光滑性可识别性依赖非退化条件和精确对偶收敛性的局限,本文仅通过次微分给出其新刻画,建立更强识别结果并推广到集值算子,还补充了相关算子定义。
2025-04-17 math.OC
Stability of saddle points via explicit coderivatives of pointwise subdifferentials
利用无穷维集值映射的度量正则性,得到了希尔伯特空间中一类PDE约束优化中的非光滑最优化问题的鞍点的稳定性准则.一个主要的成分是一个明确的逐点特征的Fréchet codierative的次微分凸积分泛函。这是适用于几个稳定性性质的参数识别问题的椭圆型偏微分方程与不可微的数据拟合条款。
2017-02-10 math.OC
Kurdyka-Łojasiewicz Inequality and Error Bounds of D-Gap Functions for Nonsmooth and Nonmonotone Variational Inequality Problems
本文研究了一类非光滑非单调变分不等式问题的D-间隙函数。给出了D-间隙函数的次导数、正则次微分集和极限次微分集的精确公式。利用这些公式,我们给出了D-间隙函数具有Kurdyka-Kauojasiewicz不等式性质和误差界性质的一些充分和必要条件.作为我们的Kurdyka-Kazojasiewicz不等式结果和[Attouch,et al.,半代数和驯服问题的下降法的收敛性:近似算法、向前向后分裂和正则化高斯-赛德尔方法,数学程序,137(2013)91-129],我们证明了由具有不精确线搜索的导数自由下降算法生成的序列线性地收敛到变分不等式问题的某个解。
2022-12-06 math.OC
Gradient-Free Methods for Deterministic and Stochastic Nonsmooth Nonconvex Optimization
University of California, Berkeley(加州大学伯克利分校)
非光滑非凸最优化问题广泛存在于机器学习和商业决策中,而两个核心挑战阻碍了具有有限时间收敛保证的有效解方法的发展:缺乏计算上易于处理的最优性准则和缺乏计算上强大的预言机。本文的贡献是双重的。首先,我们建立了著名的Goldstein次微分~ \citep{Goldstein-1977-Optimization}与一致光滑化之间的关系,从而为设计保证有限时间收敛于Goldstein平稳点集的无梯度方法提供了依据和直观.其次,我们提出了求解一类非光滑非凸最优化问题的无梯度方法(GFM)和随机GFM,并证明了这两种方法都能在$O(d^{3/2}δ^{-1}ε^{-4})$以期望的收敛速度返回Lipschitz函数$f$的$(δ,ε)$ -Goldstein驻点,其中$d$是问题维数.还提出了GFM和SGFM的两个阶段版本,并证明可以实现改进的大偏差结果。最后,我们用\textsc{Minst}数据集证明了2-SGFM训练ReLU神经网络的有效性。
2022-10-17 cs.CC cs.LG math.OC
Nonsmooth Nonconvex-Concave Minimax Optimization: Convergence Criteria and Algorithms
Fudan University(复旦大学)
本文研究了约束随机非光滑极小极大优化问题,提出Goldstein saddle stationary点概念,并设计了无梯度投影下降上升算法以非渐近收敛率求解非凸优化问题,无需额外假设。
2026-04-23 math.OC
Potentialities of Nonsmooth Optimization
本文证明了对任意非光滑函数都可以得到高阶最优性条件。本文对给定的真扩张实函数引入了一个新的高阶方向导数和高阶Hadamard型次微分。这个导数与经典的高阶Fréchet方向导数是一致的,因为如果最后一个导数存在,则相同阶的两个导数重合。利用这些导数和次微分得到了局部极小值和孤立局部极小值的$n$阶为$n$($n$为正整数)的充要条件.我们不需要对结果中的函数进行任何限制。定义了一类特殊的函数类$\mathcal F_n$,导出了函数$f\in\mathcal F_n$的$n$阶孤立局部极小值的最优性条件. $n$阶导数不出现在这些特征中。我们证明了必要和充分的标准,使每一个平稳点的顺序$n$是一个整体极小。我们比较我们的结果与以前的一些。
2013-11-11 math.OC
A New Constraint Qualification and Sharp Optimality Conditions for Nonsmooth Mathematical Programming Problems in Terms of Quasidifferentials
本文在最小可能的假设下,利用Demyanov-Rubinov-Polyakova拟微分,分析了带有等式和不等式约束的非光滑数学规划问题的一个新的约束规格,并导出了现有的最强最优性条件.为此,我们得到了一个新的描述的凸子锥的相依锥的拟可微的等式和不等式约束的约束,使用一个新的约束规格。我们利用这些描述和约束规格来获得最强的现有的最优性条件的非光滑数学规划问题的拟微分限制性较低的假设下比以前的研究。新的约束规格和相关的最优性条件的主要特点是它们依赖于目标函数和约束的拟微分的各个元素,并且对于拟微分的选择不是不变的。为了说明理论结果,我们给出了两个简单的例子,其中的最优性条件的各种次微分(实际上,任何外连续/极限次微分)在非最优点满足,而本文得到的最优性条件在这一点不成立,即用拟微分表示的最优性条件,与用次微分表示的条件不同,检测该点的非最优性。
2020-11-17 math.OC
An effective subgradient algorithm via Mifflin's line search for nonsmooth nonconvex multiobjective optimization
针对无约束非光滑非凸多目标优化问题,提出一种基于Mifflin线搜索新变体的下降次梯度算法,可高效逼近Goldstein次微分、减少次梯度计算,无需调整即可处理非凸性,具备全局收敛性且数值表现良好。
2024-06-21 math.OC
On the Uniform Convergence of Subdifferentials in Stochastic Optimization and Learning
针对非光滑非凸随机优化中经验与总体风险子微分一致收敛的挑战,提出通用约简原理将集值子微分收敛转化为向量值子梯度收敛,推导随机凸复合优化的精确一致收敛率,为相关问题提供几何新见解。
2025-08-25 math.OC math.ST stat.ML
An Approximate Conjugate Subgradient Algorithm with Matrix Parameter for Derivative-Free Nonsmooth Optimization Problems
Fakultät für Mathematik, Universität Wien(维也纳大学);Faculty of Engineering, Free University of Bozen–Bolzano(博岑-博尔扎诺自由大学);Université Catholique de Louvain (UCLouvain)(天主教鲁汶大学)
提出一种无导数矩阵共轭次梯度方法,通过离散梯度采样和最小范数元素计算,结合矩阵记忆校正与线搜索,求解局部Lipschitz函数的无约束非光滑优化问题,数值实验表明算法鲁棒性强。
2026-06-27 math.OC
Nonsmooth rank-one matrix factorization landscape
据我们所知,我们提供了第一个积极的结果上的非光滑最优化景观的强大的主成分分析。它是几次征服的目标,仍然是大多数未知的领域。我们确定了一个充要条件的情况下,伪局部极小的秩一的情况下。我们的证明利用次微分正则性的目标函数,以消除存在量词的一阶最优性条件称为费马规则。
2022-11-27 math.OC
Optimality conditions for approximate Pareto solutions of a nonsmooth vector optimization problem with an infinite number of constraints
本文利用Clarke次微分给出了一类具有无穷多个约束的非光滑向量最优化问题的近似Pareto解的若干新的最优性充要条件最优性条件.作为结果,我们得到了锥约束凸向量最优化问题和半定向量最优化问题的特殊情况下的最优性条件。并举例说明所得结果。
2019-05-13 math.OC
Optimization Problems with Difference of Tangentially Convex Functions under Uncertainty
Department of Applied Mathematics and Computer Sciences, Faculty of Mathematics and Statistics, University of Isfahan(伊斯法罕大学数学与统计学院应用数学与计算机科学系);School of Mathematics, Institute for Research in Fundamental Sciences (IPM)(基础科学研究院(IPM)数学学院)
本文提出了一种在不确定性下处理 tangentially 凸函数差优化问题的方法,通过非光滑微积分规则和最优性条件推导,展示了鲁棒优化问题的求解方法。
2026-02-19 math.OC
Lipschitz Properties of Nonsmooth Functions and Set-Valued Mappings via Generalized Differentiation and Applications
本文重新讨论了非光滑函数Lipschitz连续性的Mordukhovich次微分判据和有限维集值映射类Aubin/Lipschitz性质的余导数判据。这些准则是现代变分分析中有用而美丽的结果,显示了该领域的最新发展。作为应用,我们建立了极小时间函数和标量化函数Lipschitz连续的充要条件,这些条件在非光滑分析和优化的许多方面都起着重要的作用.
2013-02-07 math.OC
Zeroth-Order Non-smooth Non-convex Optimization via Gaussian Smoothing
Indian Institute of Science(印度科学学院)
针对仅含噪声函数值的Lipschitz连续非光滑非凸优化问题,提出一种双时间尺度零阶投影随机次梯度方法,利用高斯平滑逼近Clarke次微分,并证明迭代几乎必然收敛到Clarke驻点邻域。
2026-06-01 math.OC
Subgradients of Minimal Time Functions without Calmness
近年来,一类称为极小时间函数的非光滑函数的变分分析引起了人们极大的兴趣。在本文中,我们继续这条线的研究提供了新的结果广义微分这一类的功能,放宽假设所涉及的功能和集的结果。特别地,我们重点研究了这类函数的奇异次微分和极限次微分。
2017-06-04 math.OC
Subdifferentially polynomially bounded functions and Gaussian smoothing-based zeroth-order optimization
本文定义并研究 SPB 函数,证明其与高斯平滑相容并满足多项式形式的下降引理,进而提出自适应步长零阶算法,给出相对/绝对平稳性收敛率及 $(δ, ε)$-近似平稳点复杂度。
2025-03-17 math.OC
Using second-order information in gradient sampling methods for nonsmooth optimization
本文提出基于Goldstein eps-次微分的非光滑函数二阶信息新概念,通过最大化Taylor展开构建模型并设计采样下降方法,证明其在凸或max型目标下的收敛性,数值实验显示超线性行为。
2025-01-03 math.OC
Nonsmooth Morse-Sard theorems
证明了每个函数$f:\mathbb{R}^n\to \mathbb{R}$满足:函数$f$具有$n-1$阶泰勒展开式和$n$阶非空次微分的临界点集的象是Lebesgue-零集.作为我们证明的副产品,对于邻近次微分$\partial_{P}$,我们看到对于每个下连续函数$f:\mathbb{R}^2\to\mathbb{R}$,集合$f(\{x\in\mathbb{R}^2 : 0\in\partial_{P}f(x)\})$是$\mathcal{L}^{1}$ -null。
2017-05-16 math.CA math.DG math.OC
Optimality conditions and duality relations in nonsmooth fractional interval-valued multiobjective optimization
研究了一类非光滑分式区间值多目标优化问题的Pareto解。首先通过考虑上下区间序关系,给出了所考虑问题的四种Pareto解,然后应用变分分析和广义微分的一些先进工具,建立了这些解的必要最优性条件.通过引入由局部Lipschitz函数的极限/Mordukhovich次微分定义的(严格)广义凸函数的概念,给出了这类问题Pareto解的充分条件.最后,一个Mond-Weir型对偶模型制定,弱,强和反向的对偶关系进行检查。
2022-12-23 math.OC
On a globally convergent semismooth* Newton method in nonsmooth nonconvex optimization
本文提出 GSSN 方法,结合近端梯度法保证全局收敛,利用 SCD semismooth* Newton 方法在弱假设下实现局部超线性收敛,并通过等式约束二次规划计算 Newton 方向,注重高效数值实现。
2025-01-24 math.OC
The Complexity of Finding Stationary Points in Nonsmooth Nonconvex Optimization
本文证明非光滑非凸优化中一阶算法寻找 Goldstein 驻点及松弛驻点的紧下界,揭示收敛速率不受梯度随机性影响。
2026-09-17 math.OC
On approximate quasi Pareto solutions in nonsmooth semi-infinite interval-valued vector optimization problems
本文研究了一类具有多个区间值目标函数的非光滑半无限规划的近似解。首先通过考虑上下区间序关系,给出了该问题的四类近似拟Pareto解,然后应用变分分析和广义微分等先进工具,建立了这些近似解的最优性必要条件.通过引入由局部Lipschitz函数的极限次微分定义的近似(严格)伪拟广义凸函数的概念,给出了这类问题存在近似拟Pareto解的充分条件.最后,建立了近似形式的Mond-Weir型对偶模型,并提出了弱、强和类逆对偶关系。
2022-01-22 math.OC
Linear Convergence of Variable Bregman Stochastic Coordinate Descent Method for Nonsmooth Nonconvex Optimization by Level-set Variational Analysis
大规模非凸和非光滑问题在压缩感知、大数据优化和机器学习等领域引起了广泛的关注。探索有效的方法仍然是当今研究的主要挑战。随机坐标下降法已被广泛应用于求解大规模最优化问题。本文证明了变Bregman随机坐标下降法(VBSCD)对一类非光滑非凸最优化问题的收敛性,由VBSCD生成的序列的任何累加几乎肯定是临界点。此外,我们开发了一个新的水平集上的变分方法,旨在对收敛速度分析。如果水平集次微分误差界成立,我们推导出一个线性的收敛速率的期望值的目标函数和期望值的随机变量的VBSCD。
2019-05-27 math.OC
A Descent Method for Nonsmooth Multiobjective Optimization in Hilbert Spaces
本文提出一种在Hilbert空间中求解非光滑多目标优化问题的下降方法,通过高效近似次微分并计算公共下降方向迭代寻找Pareto临界点,证明了收敛性,并在障碍问题最优控制中验证了效率。
2024-02-09 math.OC
Coderivative-Based Semi-Newton Method in Nonsmooth Difference Programming
研究了一类新的非光滑最优化问题,其中目标函数表示为两个一般非凸函数之差。我们提出并发展了一种新的牛顿型算法来解决这类问题,它是基于二阶次微分(广义Hessian)的协导数生成,并采用先进的变分分析工具。所提出的算法的适定性性质推导出相当一般的要求下,而建设性的收敛速度,建立通过使用额外的假设,包括Kurdyka--Kazojasiewicz条件。我们提供的应用程序的主要算法来解决一般类的非光滑非凸问题的结构优化,特别是包括,最优化问题与明确的约束。最后给出了该方法在生化模型、约束二次规划等实际问题中的应用和数值实验。与一些已知的技术和结果相比,我们的算法的优点被证明。
2023-01-09 math.OC
A descent subgradient method using Mifflin line search for nonsmooth nonconvex optimization
提出一种用于局部Lipschitz非光滑非凸优化的下降次梯度算法,通过迭代近似Goldstein次微分并采用Mifflin线搜索两点变体寻找下降方向,证明了全局收敛性且无需算法修改即可处理非凸性。
2023-04-08 math.OC
TRAFS: A Nonsmooth Convex Optimization Algorithm with $\mathcal{O}\left(\frac{1}ε\right)$ Iteration Complexity
本研究提出TRAFS非光滑凸优化算法,采用函数次微分替代传统次梯度预言机模型,在信赖域内求解最优步长,迭代复杂度优于现有方法,对强凸光滑函数可线性收敛,数值实验中速度和求解规模均显著提升。
2024-01-29 cs.NA math.NA math.OC
A Variational Approach on Level sets and Linear Convergence of Variable Bregman Proximal Gradient Method for Nonconvex Optimization Problems
针对一类非光滑非凸最优化问题的变Bregman近似梯度(VBPG)方法,在水平集上提出了一种新的变分方法.利用这种新方法,我们可以将Bregman邻近映射及其相应的Bregman邻近映射、Bregman邻近间隙函数的概念推广到非凸情形.这些映射和功能的属性进行检查。本文工作的目的是为VBPG进一步设计和分析更一般的非凸最优化问题提供一个坚实的基础。另一个目的是提供一个统一的理论,线性收敛的VBPG与近端梯度法特别感兴趣。我们实现上述目标的分析的中心是水平集和次微分方面的误差界(水平集次微分误差界)及其与其他水平集误差界的联系。因此,我们取得了一些积极成果。这些新建立的结果不仅使我们能够表明,由VBPG产生的序列的任何积累至少是一个临界点的极限次微分,甚至是一个临界点的近端次微分与一个固定的Bregman函数在每次迭代,但也提供了一个新的视角,使我们能够探索许多已知的充分条件之间的内在联系线性收敛的各种一阶方法。一路上,我们能够推导出一些可验证的条件水平集误差界举行,获得VBPG的线性收敛,并推导出必要条件和充分条件的线性收敛相对于水平集的非光滑和非凸最优化问题。
2019-09-04 math.OC
MGProx: A nonsmooth multigrid proximal gradient method with adaptive restriction for strongly convex optimization
针对非光滑强凸优化问题,提出结合多重网格与自适应限制算子的MGProx近端梯度方法,完成理论分析并通过弹性障碍问题验证其收敛速度优于现有方法。
2024-05-10 math.OC
Projected Subgradient Methods for a Class of Nonsmooth and Nonconvex Optimization Problems
University of Würzburg(维尔茨堡大学)
本文针对非空闭集上的非光滑非凸优化问题,提出带两种全局化策略的投影次梯度方法,证明其收敛到更强平稳性解,并在MPEC式问题、MAXCUT和Robust PCA上取得良好数值结果。
2026-09-03 math.OC
Revisiting Randomized Smoothing: Nonsmooth Nonconvex Optimization Beyond Global Lipschitz Continuity
针对随机平滑优化依赖全局Lipschitz条件的局限,提出新的次梯度增长条件及随机平滑梯度算法,实现高效收敛并匹配最优样本复杂度。
2025-09-09 math.OC
The Unified Separation Condition: A General Constraint Qualification for Smooth and Nonsmooth Optimization
St. Petersburg State University(圣彼得堡国立大学)
本文提出统一分离条件(USC)作为有限维非线性规划的一般约束规范,证明其由MFCQ和LICQ蕴含且更广泛适用,并给出局部版本及计算验证方法,统一了光滑与非光滑优化理论。
2026-09-16 math.OC
Active manifolds, stratifications, and convergence to local minima in nonsmooth optimization
Cornell University(康奈尔大学)
我们表明,次梯度法收敛时,只适用于通用Lipschitz连续和subdifferentially正则函数,是在O-最小结构中定义的局部极小。在高层次上,我们提出的论点是吸引人的透明:我们解释的非光滑动力学作为一个近似的黎曼梯度法在一定的杰出的子流形,捕捉非光滑活动的功能。在这个过程中,我们开发了新的规则性条件,在非光滑分析平行的分层条件的惠特尼,郭,和Verdier和扩展随机过程技术的Pemantle。
2023-01-09 cs.LG math.OC
Extrapolation-based Direct Search for Nonsmooth Stochastic Zeroth-Order Optimization
Università di Padova(帕多瓦大学);North Carolina State University(北卡罗来纳州立大学)
本文提出一种适用于非光滑随机零阶优化的基于外推的直接搜索方法,证明其收敛性与复杂度界,经DFO基准实验验证性能具竞争力。
2026-08-03 math.OC
On the Complexity of Deterministic Nonsmooth and Nonconvex Optimization
本文给出了在Lipschitz条件下极小化非光滑非凸函数的几个新结果。最近的工作表明,虽然经典的概念的Clarke平稳性是计算棘手的一些足够小的常数公差,随机一阶算法找到一个$(δ, ε)$-Goldstein平稳点的复杂性界的$\tilde{O}(δ^{-1}ε^{-3})$,这是独立的尺寸$d \geq 1$ ~ \citep{Zhang-2020-Complexity, Davis-2022-Gradient, Tian-2022-Finite}。然而,确定性算法还没有得到充分的探讨,留下了一些开放的问题,在非光滑非凸优化。我们的第一个贡献是证明随机化是\textit{necessary},以获得一个维度无关的保证,通过证明一个下界的$Ω(d)$的任何确定性算法,既可以访问$1^{st}$和$0^{th}$神谕。此外,我们表明,$0^{th}$甲骨文是\textit{essential},以获得有限时间收敛保证,通过显示,任何确定性算法,只有$1^{st}$甲骨文是无法找到一个近似的Goldstein不动点在有限数量的迭代足够小的常数参数和公差。最后,我们在\textit{arithmetic circuit}模型下提出了一种确定性平滑方法,其中所得到的平滑参数在某个参数$M > 0$(例如,函数表示中的节点数),并设计一种新的确定性一阶算法,该算法实现了$\tilde{O}…
2022-11-04 cs.CC cs.DS math.OC
Generalized subdifferentials of spectral functions over Euclidean Jordan algebras
本文研究了欧氏若当代数上谱函数的广义次微分。谱函数经常出现在最优化问题中,起着“正则化子”、“障碍”、“罚函数“等作用。给出了谱函数的正则次微分、近似次微分和水平次微分的计算公式。此外,在局部下半连续性下,我们还给出了Clarke次微分的一个公式,从而推广了Baes的一个结果.作为应用,我们计算了将一个元素映射到其第k个最大特征值的函数的广义次微分。此外,在最近的非光滑最优化的方法,我们提出了一个研究的Kurdyka-Lojasiewicz(KL)性质的谱函数,并证明了KL指数的转移原理。在我们的证明中,我们广泛使用了最近的工具,如拉米雷斯,西格和索萨和Gowda开发的优化原则的交换原则。
2020-11-01 math.FA math.OC math.SP
Finite-Time Analysis of Stochastic Nonconvex Nonsmooth Optimization on the Riemannian Manifolds
Northeastern University(东北大学);Tsinghua University(清华大学)
本文针对黎曼流形上的非光滑非凸随机优化,提出RO2NC算法及其零阶版本,首次给出有限时间样本复杂度$O(ε^{-3}δ^{-1})$,匹配欧氏最优,并获数值验证。
2025-10-24 cs.LG math.OC
Decentralized Nonsmooth Nonconvex Optimization with Client-Data Sampling
本文提出了一种结合客户端采样的去中心化非光滑非凸优化方法,实现了最优样本复杂度和更优的通信复杂度,并通过实验验证了其有效性。
2026-10-06 cs.DC math.OC
Specular gradient methods for nonsmooth convex optimization in Euclidean spaces: a subgradient selection strategy
Michigan State University(密歇根州立大学)
本文提出基于镜面梯度的次梯度选择策略,用于解决欧几里得空间中的非光滑凸优化问题,并证明在适当步长下的收敛性,数值实验显示其能有效最小化经典方法失效的非可微函数。
2026-05-25 cs.NA math.NA math.OC