Analyzing the speed of convergence in nonsmooth optimization via the Goldstein subdifferential with application to descent methods
Technical University of Munich(慕尼黑工业大学)
本文通过Goldstein子微分分析非光滑优化中(ε,δ)临界点与最小值的距离收敛速度,并应用于梯度采样方法,通过实例验证理论结果。
2025-06-14 math.OC
Optimality conditions for robust nonsmooth multiobjective optimization problems in Asplund spaces
我们采用模糊最优性条件的Frechet次微分和一些先进的变分分析技术,如公式的次微分的一个无限的家庭的非光滑函数和余导数标量化研究鲁棒最优性条件和鲁棒对偶的非光滑/非凸多目标最优化问题处理不确定性约束在任意Asplund空间。我们建立必要的最优性条件弱和适当的鲁棒有效解的问题的Mordukhovich次微分的相关功能。进一步,通过引入广义凸性的新概念,给出了该问题弱鲁棒有效解和真鲁棒有效解的充分条件.最后,我们制定了一个Mond-Weir型的鲁棒对偶问题的参考问题,并检查弱,强,和逆对偶关系,它们之间的伪凸性假设。
2022-11-14 math.OC
Nonsmooth Analysis and Optimization
这些研究生课程的课堂讲稿涵盖了广义导数概念,这些概念在推导逆问题、成像和偏微分方程约束优化中不可微优化问题的必要最优性条件和数值算法时非常有用。处理凸函数和次微分,Fenchel对偶,单调算子和预解式,Moreau-Yosida正则化,近点和(一些)一阶分裂方法,Clarke次微分,和半光滑牛顿方法。从功能分析和变分法所需的背景也简要概述。
2022-03-15 math.OC
Subdifferential characterization of probability functions under Gaussian distribution
概率函数在工程最优化问题中占有重要地位。即使所有的输入数据都是光滑的,它们也可能是非光滑的。这一事实促使人们考虑对这种典型的连续函数的次微分。本文的目的是提供次微分公式的情况下,高斯分布的可能无限维决策变量和非光滑(局部Lipschitz)的输入数据。这些公式是基于高斯随机向量的球径向分解,另一方面,在一个圆锥的方向上的适度增长。通过连续地添加附加假设,满足条件,在该条件下,概率函数是局部Lipschitz的或甚至是可微的。
2017-07-21 math.OC
Commutation principles for nonsmooth variational problems on Euclidean Jordan algebras
本文在欧几里得若当代数上,将经典交换原理推广至非光滑函数,证明局部极值点与次微分元素算子交换,并应用于刻画自同构不变集上的局部最优解。
2025-04-23 math.OC
On directional local minimality and directional optimality conditions in nonsmooth optimization
Philipps-Universität Marburg(马尔堡菲利普斯大学)
本文利用方向导数与次微分,针对下半连续函数无约束极小化问题,基于方向局部极小性概念,推导了必要充分的一阶和二阶最优性条件,并通过临界方向给出了传统局部极小性的最优性条件。
2026-07-02 math.OC
Necessary Optimality Conditions for Bilevel Programming using Tangential Subdifferentials
School of Mathematics, Hunan University(湖南大学数学学院)
本文利用切向次微分推导非光滑双层规划的必要最优性条件,提出序贯增强切向 Fritz--John 条件及相应 KKT 系统,并研究切向约束规范以保证其有效性,最后应用于值函数重构。
2026-09-30 math.OC
A note on the convergence of deterministic gradient sampling in nonsmooth optimization
本文针对非光滑优化问题,提出一种二分法以改进次微分近似,并结合确定性梯度采样,实现了可证明收敛的下降方向计算。
2024-02-06 math.OC
A Constraint Dissolving Approach for Nonsmooth Optimization over the Stiefel Manifold
本文研究Stiefel流形上可能非光滑的目标函数的极小化问题。现有的方法要么效率低下,要么只能处理对机器人友好的目标函数。我们提出了一个约束溶解功能NCDF,并表明它具有相同的一阶稳定点和局部极小作为原问题的Stiefel流形的邻域。此外,我们表明,克拉克次微分的NCDF是很容易实现的目标函数的克拉克次微分。因此,现有的各种无约束非光滑最优化方法可以直接应用于Stiefel流形上的非光滑最优化问题。我们提出了一个框架,开发子梯度为基础的方法,并建立其收敛性能的基础上以前的工作。此外,基于我们提出的框架,我们可以开发有效的方法优化Stiefel流形。初步的数值实验进一步强调,所提出的约束溶解方法产生的各种无约束的方法,非光滑最优化问题的Stiefel流形上的有效和直接的实现。
2023-01-20 math.OC
Partial Smoothness, Subdifferentials and Set-valued Operators
针对部分光滑性可识别性依赖非退化条件和精确对偶收敛性的局限,本文仅通过次微分给出其新刻画,建立更强识别结果并推广到集值算子,还补充了相关算子定义。
2025-04-17 math.OC
Stability of saddle points via explicit coderivatives of pointwise subdifferentials
利用无穷维集值映射的度量正则性,得到了希尔伯特空间中一类PDE约束优化中的非光滑最优化问题的鞍点的稳定性准则.一个主要的成分是一个明确的逐点特征的Fréchet codierative的次微分凸积分泛函。这是适用于几个稳定性性质的参数识别问题的椭圆型偏微分方程与不可微的数据拟合条款。
2017-02-10 math.OC
Kurdyka-Łojasiewicz Inequality and Error Bounds of D-Gap Functions for Nonsmooth and Nonmonotone Variational Inequality Problems
本文研究了一类非光滑非单调变分不等式问题的D-间隙函数。给出了D-间隙函数的次导数、正则次微分集和极限次微分集的精确公式。利用这些公式,我们给出了D-间隙函数具有Kurdyka-Kauojasiewicz不等式性质和误差界性质的一些充分和必要条件.作为我们的Kurdyka-Kazojasiewicz不等式结果和[Attouch,et al.,半代数和驯服问题的下降法的收敛性:近似算法、向前向后分裂和正则化高斯-赛德尔方法,数学程序,137(2013)91-129],我们证明了由具有不精确线搜索的导数自由下降算法生成的序列线性地收敛到变分不等式问题的某个解。
2022-12-06 math.OC
Optimality conditions at infinity for nonsmooth minimax programming
本文研究非光滑极小极大规划的无穷远最优性条件,利用极限次微分和无穷远法锥推导带约束问题的Karush–Kuhn–Tucker型充要条件,并将结果应用于非光滑向量优化问题。
2024-05-16 math.OC
On Optimality Conditions for Mathematical Programming Problems Based on Strong Subdifferentials
Instituto de Alta Investigación (IA), Universidad de Tarapacá(塔拉帕卡大学高等研究所);Facultad de Ciencias, Universidad de Tarapacá(塔拉帕卡大学理学院)
本文基于强次微分研究非光滑非凸数学规划问题的优化条件,重点分析强拟凸函数的约束,并通过示例验证结果。
2026-04-14 math.OC
A New Constraint Qualification and Sharp Optimality Conditions for Nonsmooth Mathematical Programming Problems in Terms of Quasidifferentials
本文在最小可能的假设下,利用Demyanov-Rubinov-Polyakova拟微分,分析了带有等式和不等式约束的非光滑数学规划问题的一个新的约束规格,并导出了现有的最强最优性条件.为此,我们得到了一个新的描述的凸子锥的相依锥的拟可微的等式和不等式约束的约束,使用一个新的约束规格。我们利用这些描述和约束规格来获得最强的现有的最优性条件的非光滑数学规划问题的拟微分限制性较低的假设下比以前的研究。新的约束规格和相关的最优性条件的主要特点是它们依赖于目标函数和约束的拟微分的各个元素,并且对于拟微分的选择不是不变的。为了说明理论结果,我们给出了两个简单的例子,其中的最优性条件的各种次微分(实际上,任何外连续/极限次微分)在非最优点满足,而本文得到的最优性条件在这一点不成立,即用拟微分表示的最优性条件,与用次微分表示的条件不同,检测该点的非最优性。
2020-11-17 math.OC
On the Uniform Convergence of Subdifferentials in Stochastic Optimization and Learning
针对非光滑非凸随机优化中经验与总体风险子微分一致收敛的挑战,提出通用约简原理将集值子微分收敛转化为向量值子梯度收敛,推导随机凸复合优化的精确一致收敛率,为相关问题提供几何新见解。
2025-08-25 math.OC math.ST stat.ML
Optimality conditions for approximate Pareto solutions of a nonsmooth vector optimization problem with an infinite number of constraints
本文利用Clarke次微分给出了一类具有无穷多个约束的非光滑向量最优化问题的近似Pareto解的若干新的最优性充要条件最优性条件.作为结果,我们得到了锥约束凸向量最优化问题和半定向量最优化问题的特殊情况下的最优性条件。并举例说明所得结果。
2019-05-13 math.OC
Optimization Problems with Difference of Tangentially Convex Functions under Uncertainty
Department of Applied Mathematics and Computer Sciences, Faculty of Mathematics and Statistics, University of Isfahan(伊斯法罕大学数学与统计学院应用数学与计算机科学系);School of Mathematics, Institute for Research in Fundamental Sciences (IPM)(基础科学研究院(IPM)数学学院)
本文提出了一种在不确定性下处理 tangentially 凸函数差优化问题的方法,通过非光滑微积分规则和最优性条件推导,展示了鲁棒优化问题的求解方法。
2026-02-19 math.OC
Lipschitz Properties of Nonsmooth Functions and Set-Valued Mappings via Generalized Differentiation and Applications
本文重新讨论了非光滑函数Lipschitz连续性的Mordukhovich次微分判据和有限维集值映射类Aubin/Lipschitz性质的余导数判据。这些准则是现代变分分析中有用而美丽的结果,显示了该领域的最新发展。作为应用,我们建立了极小时间函数和标量化函数Lipschitz连续的充要条件,这些条件在非光滑分析和优化的许多方面都起着重要的作用.
2013-02-07 math.OC
Subdifferentials of Nonconvex Integral Functionals in Banach Spaces with Applications to Stochastic Dynamic Programming
本文研究了一般巴拿赫空间上的非凸不可微积分泛函,这些积分泛函可能不是自反的和/或可分的。考虑变分分析中的两个主要次微分,我们得到了关于次微分的Leibniz规则在积分符号下的非光滑形式,其中Lipschitz被积函数生成的次微分集值映射的积分是Gelfand意义下的.除了检查完整的测度空间的整合,也超过了那些与非原子措施,我们特别注意的是提请一个更强的版本的措施nonatomicity,称为饱和度,调用最近的结果的Lyapunov凸性定理类型的Gelfand积分的次微分映射。主要结果应用于无穷水平上离散时间随机动态规划非凸问题最优值函数的次微分研究,并导出了相应的最优性必要条件。
2016-03-25 math.OC
Distributed Mirror Descent Algorithm with Bregman Damping for Nonsmooth Constrained Optimization
为了有效地解决分布式优化与各种约束和非光滑函数,我们提出了一个分布式镜像下降算法嵌入Bregman阻尼,作为传统的分布式投影算法的推广。事实上,我们的连续时间算法很好地继承了镜像下降方法的良好性能,可以快速计算具有某些特定约束结构的问题的显式解。此外,我们严格证明了我们的算法的收敛性,以及轨迹的有界性和解决方案的准确性。
2021-08-27 math.OC
An effective subgradient algorithm via Mifflin's line search for nonsmooth nonconvex multiobjective optimization
针对无约束非光滑非凸多目标优化问题,提出一种基于Mifflin线搜索新变体的下降次梯度算法,可高效逼近Goldstein次微分、减少次梯度计算,无需调整即可处理非凸性,具备全局收敛性且数值表现良好。
2024-06-21 math.OC
Global Convergence of Direct Policy Search for State-Feedback $\mathcal{H}_\infty$ Robust Control: A Revisit of Nonsmooth Synthesis with Goldstein Subdifferential
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
直接策略搜索在现代强化学习和连续控制中有着广泛的应用。然而,直接策略搜索在非光滑鲁棒控制综合中的理论性质还没有完全理解。最优$\mathcal{H}_\infty$控制框架的目的是设计一种策略,以最小化闭环$\mathcal{H}_\infty$范数,可以说是最基本的鲁棒控制范例。在这项工作中,我们表明,直接的政策搜索是保证找到鲁棒$\mathcal{H}_\infty$状态反馈控制设计问题的全局解。注意,最优$\mathcal{H}_\infty$控制的策略搜索导致约束非凸非光滑最优化问题,其中非凸可行集由稳定闭环动态的所有策略组成。我们证明了对于这个非光滑最优化问题,所有的Clarke平稳点都是全局最小值.其次,我们确定了闭环$\mathcal{H}_\infty$目标函数的连续性,并证明了由此产生的策略搜索问题的所有子水平集是紧的。基于这些性质,我们表明,Goldstein的次梯度法及其可实现的变种可以保证留在非凸可行集,并最终找到全局最优解的$\mathcal{H}_\infty$状态反馈综合问题。我们的工作建立了一个新的连接之间的非凸非光滑最优化理论和鲁棒控制,导致一个有趣的整体收敛的结果直接政策搜索最佳$\mathcal{H}_\infty$合成。
2022-10-20 cs.LG cs.SY eess.SY
Zeroth-Order Non-smooth Non-convex Optimization via Gaussian Smoothing
Indian Institute of Science(印度科学学院)
针对仅含噪声函数值的Lipschitz连续非光滑非凸优化问题,提出一种双时间尺度零阶投影随机次梯度方法,利用高斯平滑逼近Clarke次微分,并证明迭代几乎必然收敛到Clarke驻点邻域。
2026-06-01 math.OC
Nonsmooth Morse-Sard theorems
证明了每个函数$f:\mathbb{R}^n\to \mathbb{R}$满足:函数$f$具有$n-1$阶泰勒展开式和$n$阶非空次微分的临界点集的象是Lebesgue-零集.作为我们证明的副产品,对于邻近次微分$\partial_{P}$,我们看到对于每个下连续函数$f:\mathbb{R}^2\to\mathbb{R}$,集合$f(\{x\in\mathbb{R}^2 : 0\in\partial_{P}f(x)\})$是$\mathcal{L}^{1}$ -null。
2017-05-16 math.CA math.DG math.OC
Subgradient Regularization: A Descent-Oriented Subgradient Method for Nonsmooth Optimization
本文揭示束方法与梯度采样算法的统一原理,提出次梯度正则化框架以生成稳定下降方向,并证明其收敛性及对 prox-linear 方法的对偶解释。
2025-05-11 math.OC
Stochastic Block Mirror Descent Methods for Nonsmooth and Stochastic Optimization
本文提出了一种新的随机算法,即随机块镜像下降(SBMD)方法,用于求解大规模非光滑和随机最优化问题。该算法的基本思想是将块坐标分解和增量块平均方案结合到经典(随机)镜像下降法中,以显著降低后者的每次迭代代价。我们建立了SBMD方法的收敛速率以及解决一般非光滑和随机最优化问题的相关大偏差结果。我们还介绍了不同的变种,这种方法,并建立他们收敛速率解决强凸,光滑,复合最优化问题,以及某些非凸最优化问题。据我们所知,所有这些发展有关的SBMD方法是新的随机最优化文献。此外,我们的一些结果似乎也是新的块坐标下降法的确定性优化。
2013-09-09 math.OC
A generic coordinate descent solver for nonsmooth convex optimization
我们提出了一个通用的坐标下降求解器的最小化的非光滑凸结构的目标。该方法特别适用于具有线性约束的问题。该实现利用了有效的残差更新,并自动确定哪些对偶变量应该被复制。为了提高效率,预先编译了一系列基本功能原子,Python中的建模语言允许用户在运行时将它们组合起来。因此,该算法可用于解决各种各样的问题,包括Lasso,稀疏多项式逻辑斯谛回归,线性和二次规划。
2019-09-26 math.OC
Linear Convergence of Variable Bregman Stochastic Coordinate Descent Method for Nonsmooth Nonconvex Optimization by Level-set Variational Analysis
大规模非凸和非光滑问题在压缩感知、大数据优化和机器学习等领域引起了广泛的关注。探索有效的方法仍然是当今研究的主要挑战。随机坐标下降法已被广泛应用于求解大规模最优化问题。本文证明了变Bregman随机坐标下降法(VBSCD)对一类非光滑非凸最优化问题的收敛性,由VBSCD生成的序列的任何累加几乎肯定是临界点。此外,我们开发了一个新的水平集上的变分方法,旨在对收敛速度分析。如果水平集次微分误差界成立,我们推导出一个线性的收敛速率的期望值的目标函数和期望值的随机变量的VBSCD。
2019-05-27 math.OC
Optimality conditions and duality relations in nonsmooth fractional interval-valued multiobjective optimization
研究了一类非光滑分式区间值多目标优化问题的Pareto解。首先通过考虑上下区间序关系,给出了所考虑问题的四种Pareto解,然后应用变分分析和广义微分的一些先进工具,建立了这些解的必要最优性条件.通过引入由局部Lipschitz函数的极限/Mordukhovich次微分定义的(严格)广义凸函数的概念,给出了这类问题Pareto解的充分条件.最后,一个Mond-Weir型对偶模型制定,弱,强和反向的对偶关系进行检查。
2022-12-23 math.OC
A variant of nonsmooth maximum principle for state constrained problems
我们推导出一个变种的非光滑最大值原理的纯状态约束问题。我们的结果的兴趣在于nonsmoothness本身,因为当应用到光滑问题,它与已知的结果相吻合。值得注意的是,在规范形式,我们的结果具有特殊的功能,是一个充分的最优性条件的线性凸问题,一个功能,经典庞特里亚金最大值原理,而非光滑版本没有。这项工作是不同的文献中以前的工作,因为,对于状态约束问题,我们添加了Weierstrass条件伴随包含使用联合次微分的状态和控制。我们的证明使用了[16]中发展的旧技术,同时吸引了[7]中的新结果。
2013-03-16 math.OC
On the B-subdifferential of proximal operators of affine-constrained $\ell_1$ regularizer
School of Data Science, Fudan University(复旦大学数据科学学院);Engineering Systems and Design, Singapore University of Technology and Design(新加坡科技设计大学工程系统与设计学院);Department of Mathematics and Institute of Operations Research and Analytics, National University of Singapore(新加坡国立大学数学系与运筹学分析研究所)
本文研究仿射约束 $\ell_1$ 正则化器的近端映射,刻画其 B-次微分中的结构化稀疏性,并据此在近端点框架内设计高效算法,实验证明其性能优于现有求解器,为约束稀疏学习提供新见解。
2025-10-08 math.OC
On approximate quasi Pareto solutions in nonsmooth semi-infinite interval-valued vector optimization problems
本文研究了一类具有多个区间值目标函数的非光滑半无限规划的近似解。首先通过考虑上下区间序关系,给出了该问题的四类近似拟Pareto解,然后应用变分分析和广义微分等先进工具,建立了这些近似解的最优性必要条件.通过引入由局部Lipschitz函数的极限次微分定义的近似(严格)伪拟广义凸函数的概念,给出了这类问题存在近似拟Pareto解的充分条件.最后,建立了近似形式的Mond-Weir型对偶模型,并提出了弱、强和类逆对偶关系。
2022-01-22 math.OC
On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization
本文研究了非凸优化问题的随机镜像下降(SMD)算法的非渐近平稳收敛性。我们专注于一般类的非凸非光滑随机最优化问题,其中的目标可以分解成一个相对弱的凸函数(可能非Lipschitz)和一个简单的非光滑凸正则化。我们证明了SMD,不使用mini-batch,是保证收敛到一个平稳点的收敛速度的$ \mathcal{O}(1/\sqrt{t}) $。效率估计与现有的随机次梯度方法的结果相匹配,但评估下一个更强的平稳性措施。我们的收敛性分析适用于原来的SMD和它的近端版本,以及确定性的变种,解决相对弱凸问题。
2018-06-12 math.OC
A descent method for nonsmooth multiobjective optimization problems on Riemannian manifolds
该研究提出黎曼流形上非光滑多目标优化的下降法,仅需目标函数局部利普希茨连续,通过黎曼ε-次梯度凸包获下降方向结合Armijo线搜索,证明有限步收敛到帕累托最优必要条件点,数值实验验证了方法有效性。
2025-01-13 math.OC
A Descent Method for Nonsmooth Multiobjective Optimization in Hilbert Spaces
本文提出一种在Hilbert空间中求解非光滑多目标优化问题的下降方法,通过高效近似次微分并计算公共下降方向迭代寻找Pareto临界点,证明了收敛性,并在障碍问题最优控制中验证了效率。
2024-02-09 math.OC
Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds
School of Mathematics, Sun Yat-sen University(中山大学数学学院);School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University(中山大学计算机科学与工程学院)
本文提出两种黎曼流形上的近端梯度下降上升算法,解决非光滑非凸-非凹极小极大问题,证明其能在O(ε⁻³)或O(ε⁻⁴)次迭代内找到ε-游戏 stationary 点和优化 stationary 点。
2026-03-21 math.OC
Coderivative-Based Semi-Newton Method in Nonsmooth Difference Programming
研究了一类新的非光滑最优化问题,其中目标函数表示为两个一般非凸函数之差。我们提出并发展了一种新的牛顿型算法来解决这类问题,它是基于二阶次微分(广义Hessian)的协导数生成,并采用先进的变分分析工具。所提出的算法的适定性性质推导出相当一般的要求下,而建设性的收敛速度,建立通过使用额外的假设,包括Kurdyka--Kazojasiewicz条件。我们提供的应用程序的主要算法来解决一般类的非光滑非凸问题的结构优化,特别是包括,最优化问题与明确的约束。最后给出了该方法在生化模型、约束二次规划等实际问题中的应用和数值实验。与一些已知的技术和结果相比,我们的算法的优点被证明。
2023-01-09 math.OC
Curves of Descent
最速下降是变分数学中的核心问题。我们提出了一个新的透明的存在性证明曲线的近最大斜率--一个有影响力的概念,最速下降在非光滑设置。此外,我们表明,半代数函数-原型非病态功能在非光滑最优化-这样的曲线正是次梯度动力系统的解决方案。
2013-05-07 math.OC
Constrained Nonsmooth Problems of the Calculus of Variations
本文分析了具有边界附加约束和等周约束的非光滑多维变分问题的最优性条件。为了得到最优性条件,我们研究了非光滑函数可微性的广义概念,称为余可微性和拟可微性。在一些自然且易于验证的假设下,证明了定义在索伯列夫空间上的非光滑积分泛函是连续余可微的,并计算了它的余微分和拟微分.然后,我们应用巴拿赫空间中非光滑优化问题的一般最优性条件,得到变分法非光滑优化问题的最优性条件。通过一系列简单的例子,我们证明了我们的最优性条件有时比现有的各种次微分,在这个意义上,我们的最优性条件可以检测到一个给定的点的非最优性,当次微分为基础的最优性条件未能取消这个点作为非最优。
2021-07-24 math-ph math.MP math.OC
TRAFS: A Nonsmooth Convex Optimization Algorithm with $\mathcal{O}\left(\frac{1}ε\right)$ Iteration Complexity
本研究提出TRAFS非光滑凸优化算法,采用函数次微分替代传统次梯度预言机模型,在信赖域内求解最优步长,迭代复杂度优于现有方法,对强凸光滑函数可线性收敛,数值实验中速度和求解规模均显著提升。
2024-01-29 cs.NA math.NA math.OC
A New Inexact Gradient Descent Method with Applications to Nonsmooth Convex Optimization
本文提出一种新的非精确梯度法(IGD),在KL性质下保证收敛到稳定点,并将其应用于设计非精确邻近点法和非精确增广拉格朗日法,数值实验表明其优于现有非光滑凸优化算法。
2024-01-12 math.OC
Subdifferentials and penalty approximations of the obstacle problem
本文通过非线性PDE惩罚方法逼近障碍问题,利用容量理论证明解映射导数弱收敛到强-弱Bouligand次微分,适用于光滑与非光滑惩罚项,并推导出最优控制理论推论。
2025-05-23 math.AP math.OC
A descent subgradient method using Mifflin line search for nonsmooth nonconvex optimization
提出一种用于局部Lipschitz非光滑非凸优化的下降次梯度算法,通过迭代近似Goldstein次微分并采用Mifflin线搜索两点变体寻找下降方向,证明了全局收敛性且无需算法修改即可处理非凸性。
2023-04-08 math.OC
A Variational Approach on Level sets and Linear Convergence of Variable Bregman Proximal Gradient Method for Nonconvex Optimization Problems
针对一类非光滑非凸最优化问题的变Bregman近似梯度(VBPG)方法,在水平集上提出了一种新的变分方法.利用这种新方法,我们可以将Bregman邻近映射及其相应的Bregman邻近映射、Bregman邻近间隙函数的概念推广到非凸情形.这些映射和功能的属性进行检查。本文工作的目的是为VBPG进一步设计和分析更一般的非凸最优化问题提供一个坚实的基础。另一个目的是提供一个统一的理论,线性收敛的VBPG与近端梯度法特别感兴趣。我们实现上述目标的分析的中心是水平集和次微分方面的误差界(水平集次微分误差界)及其与其他水平集误差界的联系。因此,我们取得了一些积极成果。这些新建立的结果不仅使我们能够表明,由VBPG产生的序列的任何积累至少是一个临界点的极限次微分,甚至是一个临界点的近端次微分与一个固定的Bregman函数在每次迭代,但也提供了一个新的视角,使我们能够探索许多已知的充分条件之间的内在联系线性收敛的各种一阶方法。一路上,我们能够推导出一些可验证的条件水平集误差界举行,获得VBPG的线性收敛,并推导出必要条件和充分条件的线性收敛相对于水平集的非光滑和非凸最优化问题。
2019-09-04 math.OC
Two-step inertial Bregman alternating structure-adapted proximal gradient descent algorithm for nonconvex and nonsmooth problems
针对实 Hilbert 空间中拟非扩张算子的多集分裂公共不动点问题,提出结合惯性技术与自适应步长的原始-对偶加速迭代算法,证明弱收敛并通过数值实验验证性能。
2023-06-07 math.OC
Projected proximal gradient trust-region algorithm for nonsmooth optimization
针对光滑非凸项与非光滑凸正则化项之和的优化问题,提出结合近端梯度下降与信赖域投影的子问题求解器,并建立无界 Hessian 增长下的复杂度与收敛保证。
2025-01-09 math.OC
Implicit regularization of normalized gradient descent
Columbia University(哥伦比亚大学)
本文提出通过归一化梯度下降和缓慢减小的步长寻找平坦极小值,利用非光滑分析和变分分析实现隐式正则化。
2026-02-09 math.OC
Nonsmooth Exact Penalization Second-order Methods for incompressible Bingham flows
本文考虑了宾汉流体速度场不可压缩性条件$div(u)=0$在$L^1$ -范数意义下的精确惩罚。这种惩罚过程的结果在一个非光滑最优化问题,我们提出了一个算法,使用广义二阶信息。我们的方法解决了由此产生的非光滑问题,考虑最陡的下降方向和额外的广义二阶信息相关的非光滑项。该方法的优点是通过提出的下降方向来保证无发散性,而不需要内建的无发散近似格式。在我们的讨论和比较中,还考虑了由$L^2$ -范数给出的不精确惩罚方法。
2020-10-01 math.OC
MGProx: A nonsmooth multigrid proximal gradient method with adaptive restriction for strongly convex optimization
针对非光滑强凸优化问题,提出结合多重网格与自适应限制算子的MGProx近端梯度方法,完成理论分析并通过弹性障碍问题验证其收敛速度优于现有方法。
2024-05-10 math.OC
Monotone and nonmonotone linearized block coordinate descent methods for nonsmooth composite optimization problems
针对非光滑复合优化问题,提出单调与非单调 LiBCoD 方法,并分别证明全局次线性收敛率,初步实验显示性能良好。
2025-06-14 math.OC
Projected Subgradient Methods for a Class of Nonsmooth and Nonconvex Optimization Problems
University of Würzburg(维尔茨堡大学)
本文针对非空闭集上的非光滑非凸优化问题,提出带两种全局化策略的投影次梯度方法,证明其收敛到更强平稳性解,并在MPEC式问题、MAXCUT和Robust PCA上取得良好数值结果。
2026-09-03 math.OC
Self-tuned mirror descent schemes for smooth and nonsmooth high-dimensional stochastic optimization
考虑求解高维强凸目标函数随机最优化问题的随机块坐标随机镜像下降(RBSMD)方法。我们的目标是开发RBSMD计划,实现收敛速率与最小常数因子的步长序列的选择。为此,我们考虑次梯度和梯度RBSMD方法解决非光滑和光滑的问题,分别。对于每一个计划,(i)我们开发的自调整步长规则的问题参数和算法设置方面的特点;(ii)我们表明,由基础RBSMD方法产生的非平均的最优解最优解收敛到几乎必然和平均意义;(iii)我们表明,均方误差最小化。当问题参数是未知的,我们开发了一个统一的自调整更新规则,可以应用在次梯度和梯度SMD方法,并表明,对于任何任意和足够小的初始步长,适当定义的误差界最小化。我们提供与标准SMD和RBSMD方法的常数因子比较。我们的数值实验上进行的SVM模型显示,自调整计划是显着的鲁棒性的问题参数的选择,和初始步长。
2018-08-07 math.OC
The Unified Separation Condition: A General Constraint Qualification for Smooth and Nonsmooth Optimization
St. Petersburg State University(圣彼得堡国立大学)
本文提出统一分离条件(USC)作为有限维非线性规划的一般约束规范,证明其由MFCQ和LICQ蕴含且更广泛适用,并给出局部版本及计算验证方法,统一了光滑与非光滑优化理论。
2026-09-16 math.OC