Locally Linear Convergence for Nonsmooth Convex Optimization via Coupled Smoothing and Momentum
Delft University of Technology(代尔夫特理工大学);the University of Toronto(多伦多大学)
本文提出了一种自适应加速平滑技术,用于非光滑凸优化问题,结合动量参数与平滑更新规则,证明了全局亚线性收敛O(1/k)和局部线性收敛性,验证了在Lasso、稀疏半正定规划等问题中的性能。
2026-04-20 math.OC
A theory on the absence of spurious solutions for nonconvex and nonsmooth optimization
本文提出“全局函数”理论,证明张量分解中一类非凸非光滑目标不存在伪局部最优,为 ℓ1 范数鲁棒非凸优化提供理论保证。
2025-02-14 math.OC
Self-tuned mirror descent schemes for smooth and nonsmooth high-dimensional stochastic optimization
考虑求解高维强凸目标函数随机最优化问题的随机块坐标随机镜像下降(RBSMD)方法。我们的目标是开发RBSMD计划,实现收敛速率与最小常数因子的步长序列的选择。为此,我们考虑次梯度和梯度RBSMD方法解决非光滑和光滑的问题,分别。对于每一个计划,(i)我们开发的自调整步长规则的问题参数和算法设置方面的特点;(ii)我们表明,由基础RBSMD方法产生的非平均的最优解最优解收敛到几乎必然和平均意义;(iii)我们表明,均方误差最小化。当问题参数是未知的,我们开发了一个统一的自调整更新规则,可以应用在次梯度和梯度SMD方法,并表明,对于任何任意和足够小的初始步长,适当定义的误差界最小化。我们提供与标准SMD和RBSMD方法的常数因子比较。我们的数值实验上进行的SVM模型显示,自调整计划是显着的鲁棒性的问题参数的选择,和初始步长。
2018-08-07 math.OC
A Proximal Decomposition Method for Solving Convex Variational Inverse Problems
UPMC Université Paris 06(巴黎第六大学);Laboratoire Jacques-Louis Lions – UMR 7598(雅克-路易·利翁斯实验室);Université Paris-Est(巴黎东大学);Institut Gaspard Monge and UMR CNRS 8049(加斯帕尔·蒙日研究所)
提出一种用于Hilbert空间中多个凸函数和最小化问题的近端分解算法,可处理任意数量的非光滑函数,并证明其收敛性,在信号与图像处理中展示数值应用。
2009-06-23 cs.NA math.NA math.OC
Piecewise smooth functions and conservative fields: calculus for nonsmooth nonconvex optimization beyond stratification
Toulouse School of Economics, Toulouse Capitole University(图卢兹经济学院,图卢兹卡皮托尔大学)
研究局部Lipschitz、分段光滑函数相关梯度与保守场的联系,证明相关集合沿Lipschitz曲线有链式法则性质,调和两个非光滑自动微分理论框架,给出随机次梯度方法在有界性假设下的收敛性。
2026-08-11 math.OC
A Smoothing Accelerated Proximal Gradient Method with Nonmonotone Backtracking Strategy for Convex Nonsmooth Composite Multiobjective Optimization
Sichuan University(四川大学)
针对含两个非光滑项的复合多目标优化问题,提出基于 Lipschitz 估计与平滑因子联动回溯的平滑加速近似梯度算法,证明弱 Pareto 收敛性与收敛速率,实验显示其效率优于次梯度算法。
2026-10-27 math.OC
Extended alternating structure-adapted proximal gradient algorithm for nonconvex nonsmooth problems
针对非凸非光滑优化中多块不可分离耦合结构,提出扩展的交替结构自适应近端算法(eASAP),利用分块受限近端正则性并分析全局收敛与次线性速率,在多模态数据融合中表现优异。
2024-06-25 math.OC
Nonsmooth High-Order Averaging Theory with Application to Extremum Seeking Optimization and Control
University of Cincinnati(辛辛那提大学);University of Maine(缅因大学)
本文提出适用于经典平均规范形式的非光滑系统的高阶平均理论,利用广义导数和词典式微分理论给出非光滑一阶和二阶平均的闭式公式,并推广到控制仿射极值搜索系统,通过数值仿真验证有效性。
2026-05-31 math.DG math.DS math.OC
Accelerated forward-backward method with fast convergence rate for nonsmooth convex optimization beyond differentiability
提出了一种快速收敛速度的向前向后加速算法,用于求解闭凸集上可分解非光滑凸函数的极小值,并将其命名为光滑加速邻近梯度(SAPG)算法.该算法结合了平滑方法和外推$\frac{k-1}{k+α-1}$和$α>3$的邻近梯度算法。平滑参数$μ_k$的更新规则是一个聪明的方案,并保证了整体收敛速度的$o(\ln^σk/k)$与$σ\in(\frac{1}{2},1]$的目标函数值。证明了该序列收敛于问题的最优解。此外,我们在SAPG算法中引入了一个误差项,得到了非精确平滑加速邻近梯度算法。在误差可和条件下,我们得到了与SAPG算法相同的收敛结果。最后通过数值实验验证了该算法的有效性。
2021-10-04 math.OC
Projected Subgradient Methods for a Class of Nonsmooth and Nonconvex Optimization Problems
University of Würzburg(维尔茨堡大学)
本文针对非空闭集上的非光滑非凸优化问题,提出带两种全局化策略的投影次梯度方法,证明其收敛到更强平稳性解,并在MPEC式问题、MAXCUT和Robust PCA上取得良好数值结果。
2026-09-03 math.OC
Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions
Massachusetts Institute of Technology(麻省理工学院)
我们提供了第一个非渐近分析,寻找非光滑,非凸函数的稳定点。特别是,我们研究类阿达玛半可微函数,也许是最大的一类非光滑函数的链式法则的微积分举行。此类包含ReLU神经网络和其他具有不可微激活函数的示例。我们首先表明,找到一个$ε$ -平稳点的一阶方法是不可能的,在有限的时间。然后,我们引入了$(δ, ε)$ -平稳性的概念,它允许一个$ε$ -近似梯度是在距离$δ$的解决方案内的点处评估的广义梯度的凸组合。我们提出了一系列的随机一阶方法,并分析了它们的复杂性找到一个$(δ, ε)$ -平稳点。此外,我们提供了一个下界,并表明我们的随机算法具有最小-最大最优依赖于$δ$。从经验上讲,我们的方法在训练ReLU神经网络方面表现良好。
2020-06-29 cs.LG math.OC
The U-Lagrangian of a prox-regular function
当被限制在一个子空间时,一个非光滑函数可以是可微的。对于一个非光滑凸函数f和一个点x,欧几里得空间可以分解为两个子空间:U和V,U的正交补子空间,在U上可以定义一个特殊的拉格朗日量,它具有良好的光滑性。本文将UV-分解和U-拉格朗日量的定义推广到非凸函数,特别是近似正则函数的情形。
2015-10-29 math.OC
Almost Sure Convergence of Random Projected Proximal and Subgradient Algorithms for Distributed Nonsmooth Convex Optimization
描述了两种分布式算法,使所有用户连接在一个网络上,以合作解决的问题,最小化的总和,所有用户的目标函数在所有用户的约束集的交集,其中每个用户有自己的私人非光滑凸目标函数和封闭的凸约束集,这是一些简单的,封闭的凸集的交集。一种算法使每个用户能够通过使用其目标函数的邻近算子和从简单的闭凸集中随机选择的一个集合上的度量投影来调整其估计。另一种是分布式随机投影算法,该算法通过使用用户的目标函数的次梯度而不是邻近算子来确定每个用户的估计。对这两种算法收敛性的研究表明,在一定的假设条件下,这两种算法所产生的所有用户的序列几乎必然收敛到同一个解。此外,对两种算法的收敛速度进行了分析,并讨论了使两种算法具有快速收敛性的步长序列的理想选择。具体的非光滑凸优化的数值比较支持了收敛性分析,并证明了两种算法的有效性。
2015-10-24 math.OC
Subdifferential characterization of probability functions under Gaussian distribution
概率函数在工程最优化问题中占有重要地位。即使所有的输入数据都是光滑的,它们也可能是非光滑的。这一事实促使人们考虑对这种典型的连续函数的次微分。本文的目的是提供次微分公式的情况下,高斯分布的可能无限维决策变量和非光滑(局部Lipschitz)的输入数据。这些公式是基于高斯随机向量的球径向分解,另一方面,在一个圆锥的方向上的适度增长。通过连续地添加附加假设,满足条件,在该条件下,概率函数是局部Lipschitz的或甚至是可微的。
2017-07-21 math.OC
A proximal Newton framework for composite minimization: Graph learning without Cholesky decompositions and matrix inversions
我们提出了一个算法框架的凸最小化问题的复合函数与两项:一个自协调函数和一个可能的非光滑正则项。我们的方法是一个新的近似牛顿算法,具有局部二次收敛速度。作为我们框架的一个具体实例,我们考虑了图学习问题中的稀疏逆协方差阵估计。通过仔细的对偶公式和一个新的分析步长选择过程,我们的方法图学习避免了Cholesky分解和矩阵求逆在其迭代,使其有吸引力的并行和分布式实现。
2013-03-19 math.OC stat.ML
Nonsmooth Implicit Differentiation: Deterministic and Stochastic Convergence Rates
Istituto Italiano di Tecnologia(意大利技术研究院);UCL(伦敦大学学院);Sapienza University of Rome(罗马大学)
研究参数化不可微压缩映射不动点导数的高效计算,分析了ITD和AID方法在确定性下的线性收敛速率,并提出新随机方法NSID,在随机环境下达到了与光滑场景最优相当的收敛速率。
2024-06-04 cs.LG math.OC stat.ML
Smoothing fast iterative hard thresholding algorithm for $\ell_0$ regularized nonsmooth convex regression problem
研究了一类带基数罚的约束稀疏回归问题,其中可行集由盒约束定义,损失函数是凸的,但不一定是光滑的.首先,我们提出了一个平滑快速迭代硬阈值(SFIHT)算法来解决这样的最优化问题,它结合了平滑近似,外推技术和迭代硬阈值方法。在所提出的算法中,可以选择外推系数以满足$\sup_k β_k=1$。讨论了算法在不同外推系数下的收敛性,并给出了保证迭代的任一聚点是原基数惩罚问题的局部极小点的充分条件。特别地,对于一类固定外推系数,我们讨论了几种不同的光滑参数更新规则,并得到了$O(\ln k/k)$关于损失和目标函数值的收敛速度。其次,考虑了损失函数为Lipschitz连续可微的情形,提出了一种快速迭代硬阈值算法(FIHT),并证明了FIHT算法的迭代收敛于问题的一个局部极小点,该局部极小点满足期望的下界性质。此外,我们证明了损失和目标函数值的收敛速度是$o(k^{-2})$。最后,给出了一些数值例子来说明理论结果。
2021-04-27 math.OC
Path differentiability of ODE flows
CNRS UMR 6004, LS2N, École Centrale de Nantes(法国国家科学研究中心 UMR 6004,南特数字科学实验室,南特中央理工大学);IRIT, Université de Toulouse, CNRS(图卢兹计算机科学研究所,图卢兹大学,法国国家科学研究中心)
我们考虑由路径可微向量场驱动的常微分方程流。路径可微函数构成了Lipschitz函数的一个真子类,它允许保守梯度,这是一个与基本微积分规则相容的广义导数的概念。我们的主要结果表明,这样的流继承的驱动向量场的路径可微性。我们确实表明,向前传播的敏感性微分包含的衍生物提供了一个保守的雅可比流。这允许提出一个非光滑版本的伴随方法,它可以适用于积分成本下的ODE约束。这一结果构成了一个理论基础的应用程序的小步一阶方法来解决广泛的一类非光滑优化问题的参数化ODE约束。这说明了与小步长一阶方法的基础上提出的非光滑伴随的收敛性。
2022-01-11 cs.LG math.OC
Global Convergence of ADMM in Nonconvex Nonsmooth Optimization
在本文中,我们分析了交替方向法的乘数(ADMM)的收敛性最小化一个非凸的和可能的非光滑的目标函数,$ϕ(x_0,\ldots,x_p,y)$,耦合线性等式约束。我们的ADMM更新每个原始变量$x_0,\ldots,x_p,y$,然后更新对偶变量。我们将变量$y$从$x_i$中分离出来,因为它在我们的分析中具有特殊的作用。所开发的收敛保证涵盖了各种非凸函数,如分段线性函数,$\ell_q$准范数,Schatten-$q$准范数($0<q<1$),极小极大凹罚(MCP),和光滑剪切绝对偏差(SCAD)的罚款。它还允许非凸约束,如紧致流形(例如,球面、Stiefel和Grassman流形)和线性互补约束。而且,$x_0$ -块几乎可以是任何下半连续函数.通过应用我们的分析,我们表明,第一次,几个ADMM算法应用于解决非凸模型的统计学习,流形上的优化,矩阵分解保证收敛。我们的研究结果提供了充分条件ADMM收敛于(凸或非凸)monotropic程序与三个或更多的块,因为它们是我们的模型的特殊情况。ADMM被认为是增广拉格朗日方法(ALM)的一个变体。我们提出了一个简单的例子来说明如何ADMM收敛,但ALM发散有界罚参数$β$。通过这个例子和本文的其他分析表明,ADMM可能是一个更好的选择比ALM一些非凸\emph{nonsmooth}问题,因为ADMM不仅更容易实现,它也更有可能收敛的有关情…
2018-05-30 cs.NA math.NA math.OC
A derivative-free $\mathcal{VU}$-algorithm for convex finite-max problems
$\mathcal{VU}$ -算法是一种超线性收敛的方法,用于极小化非光滑的凸函数。在每次迭代中,该算法使用特定的$\mathcal{V}$ -空间及其正交的$\U$ -空间,使得目标函数的非光滑性集中在其到$\mathcal{V}$ -空间上的投影上,并且在$\mathcal{U}$ -空间上的投影是光滑的。这种结构允许在函数光滑的牛顿样步骤和用于找到具有有希望的$\mathcal{VU}$ -分解的迭代的邻近点步骤之间交替。我们建立了一个衍生物的自由变种的$\mathcal{VU}$ -算法凸有限极大目标函数。我们展示了整体收敛,并提供了一个概念验证的实现,这表明了该方法的可行性和实用价值的数值结果。我们还进行了一些测试,使用非凸函数和讨论的结果。
2019-03-26 math.OC
Optimization Problems with Difference of Tangentially Convex Functions under Uncertainty
Department of Applied Mathematics and Computer Sciences, Faculty of Mathematics and Statistics, University of Isfahan(伊斯法罕大学数学与统计学院应用数学与计算机科学系);School of Mathematics, Institute for Research in Fundamental Sciences (IPM)(基础科学研究院(IPM)数学学院)
本文提出了一种在不确定性下处理 tangentially 凸函数差优化问题的方法,通过非光滑微积分规则和最优性条件推导,展示了鲁棒优化问题的求解方法。
2026-02-19 math.OC
An Improved Boosted DC Algorithm for Nonsmooth Functions with Applications in Image Recovery
改进的提升差分凸算法用于非光滑函数,通过单调线搜索提升收敛性,在图像恢复中表现出更优的计算效率和收敛速度。
2026-02-04 cs.CV math.OC
Multi-Stage Robust Transmission Constrained Unit Commitment: A Decomposition Framework with Implicit Decision Rules
随着可再生能源的大规模并网,各种最优化方法被用于求解随机/不确定输电约束机组组合问题。在所有的方法中,两阶段和多阶段的鲁棒优化方法是最广泛采用的。在两阶段方法中,经济调度(ED)决策的非预期性不考虑。而在多阶段方法中,通常采用显式决策规则(如仿射决策规则)来保证ED决策的非预期性。使用显式决策规则,计算负担可能很重,并且解的最优性受到影响。本文提出了一种隐式决策规则的多阶段鲁棒TCUC公式,并给出了求解该公式的分解框架,证明了解是多阶段鲁棒的,并保证了ED决策的非预期性。同时,针对可行性检查子问题提出了一种计算效率高的时间解耦求解方法,使得该方法适用于具有不确定负荷/可更新注入的大规模TCUC问题.在IEEE 118节点系统和波兰2383节点系统上进行了数值试验。几个国家的最先进的方法的性能进行了比较。
2018-10-17 math.OC
Variational convexity: new characterizations, calculus rules, and applications
University of Vienna(维也纳大学)
本文提出变分凸函数的新刻画(通过近端包络和图),研究保持变分凸性的运算(非线性/线性复合、求和、近端平均),并将其应用于非线性规划问题,得到确保局部极小点而非仅驻点的新条件。
2026-06-24 math.OC
Why second-order sufficient conditions are, in a way, easy -- or -- revisiting calculus for second subderivatives
本文重新讨论了具有非光滑结构的最优化问题的二阶充分最优性条件这一经典问题。基于与可行集相关的目标函数和指示函数的所谓二次导数,人们容易地获得抽象形式的二阶充分最优性条件。为了进一步探索问题的结构,例如,在光滑变换下,目标函数中的复合项或可行集作为闭集的原像(的像)给出,为了使这些条件完全显式化,我们研究了在温和条件下二阶导数的微积分规则。更准确地说,我们研究了一个链式法则和一个边际函数规则,然后也给出了一个原像和图像规则,分别。事实证明,链式法则和原像规则产生较低的估计,以获得足够的最优性条件免费。在相对温和的内心平静假设下,边缘函数和镜像规则的类似估计是有效的。我们的研究结果说明了几个例子,包括复合,析取和非线性二阶锥规划的问题。
2023-01-26 math.OC
The proximal augmented Lagrangian method for nonsmooth composite optimization
Numerica Corporation(Numerica公司);University of Hong Kong(香港大学);University of Southern California(南加州大学)
本文研究了一类目标函数由可微但可能非凸部分和非可微凸正则化项之和构成的优化问题,提出了一种基于近端增广拉格朗日方法的算法,通过引入辅助变量和Moreau包络来实现连续可微,从而利用乘子法求解最优对偶变量,该方法在解决结构最优控制问题时具有更强的收敛性和更精细的步长更新规则。
2018-08-25 cs.SY eess.SY math.DS
Tight Remainder-Form Decomposition Functions with Applications to Constrained Reachability and Guaranteed State Estimation
针对非线性映射像集过近似问题,提出适用于ELLS系统的紧余项型混合单调分解函数,推导误差界并结合集合求逆算法,实现带噪系统的约束可达性分析与保证状态估计。
2024-06-24 cs.SY eess.SY math.OC
Decomposition Techniques for Bilinear Saddle Point Problems and Variational Inequalities with Affine Monotone Operators on Domains Given by Linear Minimization Oracles
求解大型凸凹鞍点问题和单调算子的变分不等式的一阶方法大多数都是近似算法,在每次迭代时都需要极小化问题区域X上的一个线性型与一个强凸函数之和。为了使这样的算法实用,X应该是近似友好的--允许一个强凸函数,容易使线性扰动最小化。作为一个副产品,X允许一个计算成本低的线性最小化Oracle(LMO),能够最小化X个线性型。然而,在一些重要的情况下,廉价的LMO确实是可用的,但是X不是邻近友好的,这促使搜索仅基于LMO的算法。对于光滑凸极小化问题,存在一种经典的基于线性最优的算法--条件梯度算法。与此相反,我们已知的其他问题的凸结构(非光滑凸最小化,凹凸鞍点问题,甚至作为简单的双线性,和变分不等式与单调算子,甚至作为简单的仿射)的基于LMO的技术是相当新的,并利用共同的方法基于Fenchel型表示的相关目标/向量场。本文的目标是开发一种替代的(似乎更简单)基于LMO的分解技术的双线性鞍点问题和变分不等式与仿射单调算子。
2015-10-02 math.OC
Variable metric inexact line-search based methods for nonsmooth optimization
Università di Ferrara(费拉拉大学);Université Libre de Bruxelles(布鲁塞尔自由大学);Università di Modena e Reggio Emilia(摩德纳和雷焦艾米利亚大学)
本文提出一种新的近似梯度方法,用于最小化可微非凸函数与凸函数之和。通过定义合适的下降方向和Armijo规则,证明了非凸情况下的极限点为 stationary 点,凸情况下序列收敛于极小值,且在梯度Lipschitz条件下具有O(1/k)收敛速度。
2015-06-01 cs.NA math.NA math.OC
Exact Decomposition Branching exploiting Lattice Structures
针对混合整数线性优化中严格不等式影响精确性的问题,本文利用约束矩阵的 $\Delta$-正则性所生成的格结构设计舍入规则,以增强 Decomposition Branching,并从理论和实验上证明其有限终止、精确且通常产生更小分支定界树。
2024-10-29 math.OC
Convex Generalized Differentiation at infinity
Fariborz Maseeh Department of Mathematics and Statistics, Portland State University(波特兰州立大学法里博兹·马西数学与统计系)
本文针对凸集和凸函数,发展了无穷远处的广义微分理论,包括切锥、法锥和次微分,并应用于无界可行集的凸优化问题的最优性条件和可达性准则。
2026-06-11 math.OC
A convergence analysis of the method of codifferential descent
本文对V.F.解一大类非光滑非凸最优化问题Demyanov。我们提出了一个泛化的MCD,比原来的方法更适合于应用程序,并利用每一次迭代,这使得一个,以减少整体的方法的复杂性的一部分的一个codifferential。利用本文关于一致余可微函数的一般结果,证明了无限维情形下广义MCD的整体收敛。此外,我们提出并分析了二次正则化的MCD,这是第一个通用的方法,最小化一个凸集上的可微函数。除了收敛性分析,我们还讨论了稳健性的MCD相对于计算误差,可能的步长规则,和选择的参数的算法。在文章的最后,我们估计的收敛速率的MCD的一类非光滑非凸函数,特别是出现在聚类分析。证明了在一般的假设下,该方法以线性速度收敛,并且在一定的一阶充分最优性条件成立的条件下,该方法是二次收敛的。
2019-03-01 math.OC
Decomposition-Based Constructive Heuristics for the Linear Ordering Problem
Shizuoka University(静冈大学);Hosei University(法政大学)
针对NP难的线性排序问题,提出统一递归框架,通过三种递归划分原则(强连通分量、最小割、递归Borda)构造排序,实验表明递归Borda法平均解质量最优,但经局部搜索后差异缩小。
2026-06-24 math.OC
Safe subspace screening for the adaptive nuclear norm regularized trace regression
针对自适应核范数正则化迹回归的计算加速问题,提出基于矩阵分解与最优条件的安全子空间筛选规则,嵌入交替方向乘子法,通过消除非活跃子空间降维提速,经模拟与真实数据集实验验证了有效性。
2024-04-15 math.OC stat.ME
Hybrid Random/Deterministic Parallel Algorithms for Nonconvex Big Data Optimization
针对可微非凸项与非光滑凸项之和的大规模优化,提出混合随机/确定性并行块分解算法,并证明其几乎必然收敛且性能优于两类单一方案。
2014-09-02 cs.DC math.OC