Lagrange optimality system for a class of nonsmooth convex optimization
本文研究一类非光滑凸优化的增广拉格朗日方法。给出了与问题相关的增广拉格朗日量的Lagrange最优性系,并建立了它与增广拉格朗日量的标准最优性条件和鞍点条件的联系,为数值算法的发展提供了有力的工具.将线性牛顿法应用于Lagrange最优性系统,得到了一种新的算法,可用于实际应用中出现的各种非光滑凸优化问题。在适当的条件下,我们证明了牛顿系统的非奇异性和算法的局部收敛性。
2015-02-22 math.OC
Fast proximal algorithms for nonsmooth convex optimization
在\cite{Ouorou2019}中,我们利用Nesterov快速梯度概念\cite{Nesterov1983}对凸函数的Moreau-Yosida正则化进行了研究,在此基础上,我们设计了新的非光滑凸优化的近似算法。这些算法不需要捆绑机制来更新稳定中心,同时保持\cite{Ouorou2019}中建立的复杂度估计。我们报告了一些初步的计算结果,一些学术测试问题,给出了第一次估计他们的性能与经典的近端聚束法。
2020-03-19 math.OC
SOS-convex Semi-algebraic Programs and its Applications to Robust Optimization: A Tractable Class of Nonsmooth Convex Optimization
在本文中,我们引入了一类新的非光滑凸函数,称为SOS-凸半代数函数,扩展了最近提出的SOS-凸多项式的概念。这类非光滑凸函数涵盖了统计学、压缩感知等应用中常见的非光滑函数,如欧氏范数、最大特征值函数和最小二乘函数的$\ell_1$ -正则化或弹性网正则化。证明了在严格可行条件下,SOS-凸半代数规划的最优值和最优解可以通过求解一个半定规划问题(SDP)得到.我们利用半代数几何、凸-凹极小极大定理和最近建立的SOS-凸多项式的Jensen不等式型结果得到了这些结果。作为一个应用程序,我们概述了如何推导出的结果可以应用于显示,强大的SOS-凸优化问题的限制spectrahedron数据的不确定性享受确切的SDP松弛。这扩展了限制椭球数据不确定性的现有精确SDP松弛结果,并回答了[Optimization Letters 9,1-18(2015)]中留下的关于如何在此更广泛的设置中从半定规划松弛恢复鲁棒解的开放问题。
2017-02-08 math.OC
Abstract convex approximations of nonsmooth functions
在这篇文章中,我们利用抽象凸性理论,以统一和推广许多不同的概念,从非光滑分析。引入了拓扑向量空间到序完备拓扑向量格的非光滑函数的抽象余可微性、抽象拟可微性和抽象凸(凹)逼近的概念。我们研究了这些概念的基本性质,构造了抽象余微分函数的精细演算,并讨论了抽象余微分的连续性。我们证明了非光滑分析中的许多经典概念,如次可微性和拟可微性,都是抽象余可微性和抽象拟可微性概念的特例。我们还表明,抽象凸和抽象凹逼近是一个非常方便的工具,研究非光滑极值问题。我们使用这些近似,以获得各种必要的最优性条件的非光滑非凸最优化问题的抽象余可微或抽象拟可微目标函数和约束。然后,我们展示了如何这些条件可以转化为更简单,更建设性的条件,在某些特定的情况下。
2018-10-01 math.OC
Distributed Continuous-Time Algorithm for Constrained Convex Optimizations via Nonsmooth Analysis Approach
本文研究了具有局部约束的非光滑凸费用函数和的分布式最优化问题。首先,我们提出了一种新的分布式连续时间投影算法,其中每个代理知道其本地费用函数和本地约束集,约束最优化问题。然后证明了算法中的所有智能体在寻找最优解时都能找到相同的最优解,同时保持状态有界。利用非光滑李雅普诺夫函数对微分包含的稳定性进行了全收敛分析。最后,我们提供了一个数值例子来说明。
2016-11-28 math.OC
On proximal subgradient splitting method for minimizing the sum of two nonsmooth convex functions
当目标函数为两个不可微的凸函数之和时,本文提出了一种近似前后分裂迭代法,用于求解希尔伯特空间中的非光滑最优化问题.建议的迭代,这将被称为邻近次梯度分裂方法,扩展了经典的次梯度迭代的重要类别的问题,利用添加剂结构的目标函数。在适当的假设条件下,利用不同的步长证明了所生成序列的弱收敛性。此外,我们分析了迭代的复杂性。
2016-01-12 math.OC
Randomized Block Subgradient Methods for Convex Nonsmooth and Stochastic Optimization
块坐标下降法和随机次梯度法在优化和机器学习中得到了广泛的研究。将随机区组抽样与基于对偶平均的随机次梯度方法相结合,提出了随机区组对偶平均(SBDA)--一类求解凸非光滑随机最优化的新的区组次梯度方法. SBDA只需要一个块的次梯度和更新块的变量,因此具有显着降低迭代成本比传统的次梯度方法。我们表明,SBDA为基础的方法表现出凸非光滑随机最优化的最佳收敛速度。更重要的是,我们引入了随机步长规则和块采样方案,是自适应的块结构,这显着提高了收敛速度w.r. t。问题参数。这是在最近的块次梯度方法应用于非光滑确定性或随机最优化形成鲜明对比。对于强凸目标,我们提出了一个新的平均计划,使正则化的双重平均方法最优,而不必诉诸任何加速计划。
2015-09-15 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题,其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符,或者具有可以使用[Nesterov,2005]中的平滑技术的最大结构。为了解决这类问题,我们提出了一个自适应平滑小批量随机加速梯度(AdaSMSAG)方法,它结合了随机逼近方法,Nesterov的加速梯度法,和平滑方法,允许一般平滑近似。建立了该方法的收敛性。此外,最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明,建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Fast inertial dynamic algorithm with smoothing method for nonsmooth convex optimization
为了求解非光滑凸函数的极小化问题,设计了一种惯性二阶动力学算法,该算法通过用一类光滑函数逼近非光滑函数而得到。通过研究动态算法的渐近性态,证明了在适当的光滑参数条件下,动态算法的每条轨迹都弱收敛于最优解,且目标函数值的收敛速度为o(t^-2).我们还证明了该算法是稳定的,即当扰动项满足一定条件时,这种带扰动项的动态算法具有相同的收敛性质。最后,我们通过数值实验验证了理论结果。
2021-12-17 math.OC
Proximal bundle algorithms for nonsmooth convex optimization via fast gradient smooth methods
我们提出了新的最小化非光滑凸函数的邻近聚束法。这些算法是从应用Nesterov快速梯度法光滑凸最小化所谓的Moreau-Yosida正则化$F_μ$的$f$ w.r. t。一些$μ>0$。由于$F_μ$的精确值和梯度很难评估,我们使用近似的邻近点,由于捆绑策略,以获得可实现的算法。这些算法之一出现作为一个特殊情况下的惯性近端算法的一个可实现的版本。我们给他们的复杂性估计的原始函数值,并报告一些初步的数值结果。
2020-03-06 math.OC
Distributed coordination for nonsmooth convex optimization via saddle-point dynamics
本文考虑连续时间协调算法的代理网络,寻求集体解决一般类的非光滑凸优化问题与固有的分布式结构。我们的算法设计建立在非光滑凸规划的解作为增广拉格朗日量的鞍点的特征上。我们表明,相关的鞍点动力学是渐近正确的,但在一般情况下,不分布,因为存在一个全球罚参数。这促使设计一个不连续的鞍点样算法,享有相同的收敛性能,是完全服从分布式实现。我们的收敛性证明依赖于一个新的全球李雅普诺夫函数的鞍点动态识别。这种新颖性也使我们能够确定温和的凸性和正则性条件的目标函数,保证指数收敛速度的凸优化问题的等式约束的算法。各种例子说明了我们的讨论。
2017-05-16 math.OC
Primal-Dual Incremental Gradient Method for Nonsmooth and Convex Optimization Problems
本文考虑了一类带锥约束的非光滑凸有限和问题。为了克服投影到约束集和计算全(子)梯度的挑战,我们引入了一个原始-对偶增量梯度方案,其中只有一个分量函数和两个约束用于更新每个原始-对偶子迭代循环顺序。我们证明了一个渐近次线性收敛速率的次优性和不可行性,这是一个改进的国家的最先进的增量梯度计划在这种情况下。数值结果表明,所提出的计划相比,以及竞争的方法。
2021-05-07 math.OC
An accelerated minimax algorithm for convex-concave saddle point problems with nonsmooth coupling function
在这项工作中,我们的目标是解决一个凹凸鞍点问题,凹凸耦合函数是光滑的一个变量和非光滑的,并不假设是线性的。这个问题是增加了一个非光滑正则化的光滑组件。我们提出并研究了一种名为OGAProx的新型算法,该算法由平滑变量中的乐观梯度上升步骤与正则化器的近端步骤耦合组成,并且与耦合函数的非平滑分量中的{近端步骤}交替。我们考虑了与所研究的鞍点问题相关的凸-凹、凸-强凹和强凸-强凹情形。关于迭代,我们得到(弱)收敛,收敛速度的顺序$ \mathcal{O}(\frac{1}{K}) $和线性收敛像$\mathcal{O}(θ^{K})$与$ θ< 1 $,分别。在函数值方面,我们分别得到了$ \mathcal{O}(\frac{1}{K}) $,$ \mathcal{O}(\frac{1}{K^{2}}) $和$ \mathcal{O}(θ^{K}) $与$ θ< 1 $阶的遍历收敛速度.我们验证了我们的理论考虑非光滑线性鞍点问题,多核支持向量机的训练和分类问题,将极大极小组公平。
2021-08-06 math.OC
Faster Stochastic ADMM for Nonsmooth Composite Convex Optimization in Hilbert Space
School of Mathematics and Statistics, Lanzhou University(兰州大学数学与统计学院);School of Mathematics, Jilin University(吉林大学数学学院)
本文提出一种随机交替方向乘子法用于解决Hilbert空间中非光滑复合和随机凸优化问题,证明了在强凸情况下算法的强收敛性,并展示了在强凸和一般凸情况下功能值和可行性违反的更快非平稳收敛率。
2026-05-15 math.OC
Majorized Semi-proximal Alternating Coordinate Method for Nonsmooth Convex-Concave Minimax Optimization
极小极大最优化问题是现代机器学习和传统研究领域中产生的一类重要的最优化问题。虽然已经有许多数值算法求解光滑凹凸极大极小问题,数值算法非光滑凹凸极大极小问题是非常罕见的。针对一类结构化非光滑凹凸极大极小问题,提出了一种有效的数值算法。提出了一种优化半邻近交替坐标法(mspACM),采用优化二次凸凹函数逼近目标函数的光滑部分,并在每个子问题中加入半邻近项.这种构造使得每次迭代的子问题都是可解的,甚至当巧妙地选择半邻近项时很容易求解。在较弱的假设下证明了算法mspACM的整体收敛性,而不需要强的凸性条件.在解映射的局部度量次正则性下,证明了算法mspACM具有线性收敛速率.初步的数值结果报告,以验证算法mspACM的效率。
2020-12-21 math.OC
An adaptive proximal safeguarded augmented Lagrangian method for nonsmooth DC problems with convex constraints
Institute of Mathematics, University of Würzburg(维尔茨堡大学数学研究所)
本文提出一种自适应近端保护增广拉格朗日方法,用于求解带有凸约束的非光滑DC问题,证明了在修改的Slater约束资格下,原变量和对偶变量收敛到广义KKT点。
2026-03-30 math.OC
A generic coordinate descent solver for nonsmooth convex optimization
我们提出了一个通用的坐标下降求解器的最小化的非光滑凸结构的目标。该方法特别适用于具有线性约束的问题。该实现利用了有效的残差更新,并自动确定哪些对偶变量应该被复制。为了提高效率,预先编译了一系列基本功能原子,Python中的建模语言允许用户在运行时将它们组合起来。因此,该算法可用于解决各种各样的问题,包括Lasso,稀疏多项式逻辑斯谛回归,线性和二次规划。
2019-09-26 math.OC
A Variable Sample-size Stochastic Quasi-Newton Method for Smooth and Nonsmooth Stochastic Convex Optimization
经典理论的拟牛顿计划的重点是光滑确定性无约束优化,而最近的随机凸优化主要居住在光滑,无约束,强凸制度。自然,有一个迫切需要解决的非光滑性,缺乏强凸性,并存在约束。因此,本文提出了一个拟牛顿框架,可以处理仅仅是凸和可能的非光滑(但光滑)的随机凸问题。我们提出了一个框架,结合迭代平滑和正则化的方差减少计划依赖于使用梯度的样本大小增加。我们做出以下贡献。(i)我们开发了一个正则化和平滑的可变样本量BFGS更新(rsL-BFGS),生成一个序列的海森近似,可以容纳非光滑凸目标,利用迭代正则化和平滑。(ii)在强凸的状态依赖噪声的情况下,所提出的可变样本量随机拟牛顿格式允许非渐近线性收敛速度,而计算$ε$ -解的预言复杂度为$\mathcal{O}(κ^{m+1}/ε)$,其中$κ$是条件数,$m\geq 1$。在非平滑(但可平滑)区域,使用Moreau平滑可保持线性收敛速率。为了应对可能的不可用的Lipschitz和强凸性参数,我们还提供了次线性率;(iii)在仅仅凸,但光滑的设置,正则化的VS-SQN计划rVS-SQN显示率$\mathcal{O}(1/k^{(1-\varepsilon)})$。当平滑性要求减弱时,正则化和平滑的VS-SQN格式的速率变为$\mathcal{O}(k^{-1/3})$。这样的陈述允许在二次增长属性下的状态依赖噪声假设。
2020-11-02 math.OC
A Unified Approach to Convex and Convexified Generalized Differentiation of Nonsmooth Functions and Set-Valued Mappings
60年代初,Moreau和Rockafellar为凸函数引入了一个称为\emph{subgradient}的概念,开创了凸分析理论和应用的发展。需要超越凸性动机的先驱作品克拉克考虑广义微分理论的Lipschitz连续函数。虽然Clarke广义微分理论适用于非凸函数,但凸性在Clarke次微分中仍然起着至关重要的作用。在70年代中期,Mordukhovich发展了另一个非凸函数和集值映射的广义微分理论,其中“凸脐带”不再存在。本文的主要目标是提出一个统一的方法,并揭示了新的光凸和克拉克广义微分理论使用的概念和技术从Mordukhovich的发展。
2013-08-04 math.OC
Subgame Perfect Methods in Nonsmooth Convex Optimization
Johns Hopkins University(约翰斯·霍普金斯大学);Purdue University(普渡大学)
本文针对带次梯度或近端算子预言机的非光滑凸优化问题,识别并提出满足子博弈完美性的算法,证明其性能不劣于极小极大最优且常更优。
2026-10-21 math.OC
Proximal Point Algorithms for Nonsmooth Convex Optimization with Fixed Point Constraints
考虑了定义在实希尔伯特空间上的非扩张映射的不动点集的交集上的非光滑凸目标函数之和的极小化问题,在该不动点集上的投影不能有效地计算.使用邻近点法,使用邻近算子的目标函数和增量优化技术提出了解决问题。重点研究了不动点逼近技术,设计了两种算法来求解该问题。一种是将增量次梯度法与Halpern型不动点迭代算法相结合,增量次梯度法是求解非光滑凸优化问题的一种有效算法。另一种是基于增量次梯度法和Krasnosel'ski \u-Mann不动点算法。证明了Halpern型算法生成的序列的弱序列聚点属于问题的解集,而Krasnosel'ski \u-Mann型算法生成的序列存在一个弱序列聚点也属于问题的解集.数值结果表明,本文提出的两种算法与已有的次梯度法在求解具体的非光滑凸优化问题时具有更快的收敛速度.
2016-02-05 math.OC
A New Inexact Gradient Descent Method with Applications to Nonsmooth Convex Optimization
本文提出一种新的非精确梯度法(IGD),在KL性质下保证收敛到稳定点,并将其应用于设计非精确邻近点法和非精确增广拉格朗日法,数值实验表明其优于现有非光滑凸优化算法。
2024-01-12 math.OC
Stochastic smoothing accelerated gradient method for general constrained nonsmooth convex composite optimization
Beijing Jiaotong University(北京交通大学)
本文提出了一种随机平滑加速梯度方法,用于解决一般约束非光滑凸复合优化问题,通过可变样本大小实现最优迭代和SFO复杂度。
2026-01-31 math.OC
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化,提出一种保证变量可行性的光滑加速投影梯度方法,通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率,并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
A Globally Convergent Proximal Newton-Type Method in Nonsmooth Convex Optimization
本文提出并证明了一个新的近似牛顿型算法,以解决广泛的一类非光滑复合凸优化问题,没有强凸性假设。基于变分分析的先进概念和技术,我们建立了该算法的整体收敛以及超线性和二次收敛率的局部收敛的可实现结果.对于某些结构化问题,所得到的局部收敛条件不要求相应的Hessian映射的局部Lipschitz连续性,而这是文献中用来保证邻近Newton型的其他算法的超线性收敛的一个重要假设.通过求解$l_1$正则化逻辑斯谛回归模型的数值实验,说明了该算法应用于实际问题的可行性。
2022-02-28 math.OC
Nonsmooth convex-concave saddle point problems with cardinality penalties
研究带基数惩罚的凸约束非光滑凸-凹鞍点问题,证明局部鞍点与全局极小极大点存在性,基于下界性质定义强局部鞍点,提出基于卷积的连续松弛框架并建立松弛与原问题的关系,最后通过分布鲁棒稀疏回归等实例验证。
2024-03-26 math.OC
Relations between nonsmooth vector variational inequalities and nonsmooth vector optimization problems on Hadamard manifold in terms of bifunction
本文在Hadamard流形上利用双函数定义广义测地凸性,证明非光滑向量变分不等式解的唯一性及表征性质,并揭示非光滑向量优化问题与两类变分不等式解之间的关系。
2024-05-24 math.OC
A dynamic gradient approach to Pareto optimization with nonsmooth convex objective functions
在一般的Hilbert框架下,研究了一类非光滑凸目标函数约束多目标优化问题的连续类梯度动力系统.我们的方法是在以前的工作中,被认为是凸dierentiable目标函数的情况下。通过对系统中的细分算子进行Yosida正则化,得到了强全局轨线的存在性.我们证明了每个目标函数的下降属性,和弱Pareto最小的轨迹收敛。该方法提供了目标函数的动态内生加权。应用合作对策,反问题,和数值多目标优化。
2014-06-06 math.OC
A Smooth Double Proximal Primal-Dual Algorithm for a Class of Distributed Nonsmooth Optimization Problem
本文研究了一类分布式非光滑凸一致最优化问题。成本函数是局部费用函数的和,这些成本函数是凸的但非光滑的。每个局部费用函数由一个二次可微凸函数和两个下半连续凸函数组成。我们称这个问题为单光滑加双非光滑(SSDN)问题。在较弱的条件下,提出了一种分布式双邻近原-对偶优化算法。双邻近算子的设计是为了解决这两个非光滑函数之和的不可逼近性所带来的困难。此外,它还可以保证所提出的算法是局部Lipschitz连续的。在双邻近算子中引入一个辅助变量来估计第二类非光滑函数的次梯度。理论上,我们利用李雅普诺夫稳定性理论进行收敛性分析。结果表明,该算法能使状态在最优点达到一致.最后给出了非平凡的仿真结果,验证了该算法的有效性。
2018-08-16 math.OC
A Wolfe-Type Spectral Conjugate Gradient Method for Nonsmooth Convex Optimization Problems
SRM Institute of Science and Techology(SRM科学技术学院);National Institute of Technology Kurukshetra(库鲁克谢特拉国家技术学院)
本文提出一种基于Moreau-Yosida正则化的Wolfe型谱共轭梯度方法,证明其全局与R-线性收敛性,在基准及大规模非光滑凸优化问题上表现优于或匹配现有方法。
2026-08-13 math.OC
Almost Sure Convergence of Random Projected Proximal and Subgradient Algorithms for Distributed Nonsmooth Convex Optimization
描述了两种分布式算法,使所有用户连接在一个网络上,以合作解决的问题,最小化的总和,所有用户的目标函数在所有用户的约束集的交集,其中每个用户有自己的私人非光滑凸目标函数和封闭的凸约束集,这是一些简单的,封闭的凸集的交集。一种算法使每个用户能够通过使用其目标函数的邻近算子和从简单的闭凸集中随机选择的一个集合上的度量投影来调整其估计。另一种是分布式随机投影算法,该算法通过使用用户的目标函数的次梯度而不是邻近算子来确定每个用户的估计。对这两种算法收敛性的研究表明,在一定的假设条件下,这两种算法所产生的所有用户的序列几乎必然收敛到同一个解。此外,对两种算法的收敛速度进行了分析,并讨论了使两种算法具有快速收敛性的步长序列的理想选择。具体的非光滑凸优化的数值比较支持了收敛性分析,并证明了两种算法的有效性。
2015-10-24 math.OC
Dynamic Systems Coupled with Solutions of Stochastic Nonsmooth Convex Optimization
本文研究常微分方程与随机非光滑凸优化解耦合的系统,利用正则化、样本平均近似和时间步进法构造离散近似,证明了解的存在性、线性增长条件及最小范数收敛性,并给出时变参数估计的数值验证。
2025-02-08 math.OC
MGProx: A nonsmooth multigrid proximal gradient method with adaptive restriction for strongly convex optimization
针对非光滑强凸优化问题,提出结合多重网格与自适应限制算子的MGProx近端梯度方法,完成理论分析并通过弹性障碍问题验证其收敛速度优于现有方法。
2024-05-10 math.OC
Convergence analysis of accelerated algorithms via a mixed-order dynamical system for separable nonsmooth convex optimization
Chongqing Key Laboratory of Statistical Intelligent Computing and Monitoring, School of Mathematics and Statistics, Chongqing Technology and Business University(重庆工商大学数学与统计学院,统计智能计算与监测重庆市重点实验室)
本文研究了混合阶动态系统衍生的两种算法,用于解决包含两个非光滑复合结构目标函数的线性等式约束凸优化问题,提出新的双变量算法和分裂算法,并证明其非平稳收敛性及强收敛性。
2026-03-24 math.OC
Parallel Successive Convex Approximation for Nonsmooth Nonconvex Optimization
考虑最小化包含大量变量的光滑(可能非凸)和凸(可能非光滑)函数之和的问题。解决这个问题的一种流行方法是块坐标下降(BCD)方法,在每次迭代中,只有一个变量块被更新,而其余变量保持不变。随着多核并行处理技术发展的最新进展,希望通过允许在算法的每次迭代中同时更新多个块来并行化BCD方法。在这项工作中,我们提出了一个不精确的并行BCD方法,在每次迭代中,一个子集的变量被更新并行最小化凸近似的原始目标函数。我们研究了随机变量和循环变量选择规则的并行BCD方法的收敛性。我们分析了算法对凸和非凸目标函数的渐近和非渐近收敛行为。数值实验表明,对于Lasso极小化问题的一种特殊情况,循环块选择规则的性能优于随机化规则。
2014-10-31 math.OC
Projection-Free Algorithms for Nonsmooth Stochastic Convex-Concave Saddle-Point Problems
Cornell University(康奈尔大学)
本文针对非光滑随机凸-凹鞍点问题,提出模块化单循环无投影算法,利用线性最小化预言机直接处理非光滑性,达到O(ε^-2)迭代复杂度并证明极小极大最优性。
2026-09-29 math.OC
Accelerated forward-backward method with fast convergence rate for nonsmooth convex optimization beyond differentiability
提出了一种快速收敛速度的向前向后加速算法,用于求解闭凸集上可分解非光滑凸函数的极小值,并将其命名为光滑加速邻近梯度(SAPG)算法.该算法结合了平滑方法和外推$\frac{k-1}{k+α-1}$和$α>3$的邻近梯度算法。平滑参数$μ_k$的更新规则是一个聪明的方案,并保证了整体收敛速度的$o(\ln^σk/k)$与$σ\in(\frac{1}{2},1]$的目标函数值。证明了该序列收敛于问题的最优解。此外,我们在SAPG算法中引入了一个误差项,得到了非精确平滑加速邻近梯度算法。在误差可和条件下,我们得到了与SAPG算法相同的收敛结果。最后通过数值实验验证了该算法的有效性。
2021-10-04 math.OC
Penalty-Based Smoothing and Accelerated Inertial Dynamics for Convex Supremum Optimization
University of Limoges(利摩日大学);Universidad de O’Higgins(奥希金斯大学);Universidad de Chile(智利大学)
本文提出了一种基于惩罚的平滑方法,用于加速非光滑凸函数的优化,并通过惯性动力学实现加速收敛。
2026-10-30 math.OC
High-Resolution Inertial Dynamics with Time-Rescaled Gradients for Nonsmooth Convex Optimization
Unité de Mathématiques Appliquées, ENSTA, Institut Polytechnique de Paris(应用数学单元,ENSTA,巴黎理工学院)
本文提出一种高分辨率非光滑凸优化的连续时间动力学系统,通过时间变化的Moreau包络平滑和梯度时间重缩,结合Hessian驱动阻尼项,实现快速收敛和稳定性。
2026-03-26 math.OC
Stochastic halfspace approximation method for convex optimization with nonsmooth functional constraints
针对带非光滑泛函约束的凸优化问题,提出随机半空间近似方法SHAM,通过梯度步与随机约束半空间投影步迭代,并给出凸和强凸情形下的统一收敛速率及数值验证。
2024-12-03 math.OC
A successive difference-of-convex method for a class of two-stage nonconvex nonsmooth stochastic conic program via SVI
School of Mathematics and Statistics, Beijing Jiaotong University(北京交通大学数学与统计学院);Beijing Key Laboratory of Biological Big Data and Topological Statistics, Beijing Jiaotong University(北京交通大学生物大数据与拓扑统计北京市重点实验室)
本文提出了一种用于解决两阶段非凸非光滑随机锥程序的连续差分凸方法,通过将问题转化为非单调非光滑两阶段随机变分不等式并利用Moreau包络和渐进对冲方法进行求解,验证了方法的收敛性,并通过均值-方差模型的应用展示了其有效性。
2026-03-04 math.OC
Locally Linear Convergence for Nonsmooth Convex Optimization via Coupled Smoothing and Momentum
Delft University of Technology(代尔夫特理工大学);the University of Toronto(多伦多大学)
本文提出了一种自适应加速平滑技术,用于非光滑凸优化问题,结合动量参数与平滑更新规则,证明了全局亚线性收敛O(1/k)和局部线性收敛性,验证了在Lasso、稀疏半正定规划等问题中的性能。
2026-04-20 math.OC
Subgradient Gliding Method for Nonsmooth Convex Optimization
LMIB of the Ministry of Education, School of Mathematical Sciences, Beihang University(教育部数学建模实验室,北京航空航天大学数学科学学院)
亚梯度滑动法解决经典投影亚梯度方法在非光滑凸优化中的失效问题,提供更灵活的步长设计和更优的收敛速率。
2026-02-15 math.OC
An Inexact Proximal Framework for Nonsmooth Riemannian Difference-of-Convex Optimization
本文提出不精确黎曼近端DC(iRPDC)框架,用于求解含非光滑DC项的非光滑黎曼优化问题,首次建立与$\ell_0$正则化的等价性,并实现匹配最优的$\mathcal{O}(\epsilon^{-3})$整体复杂度,在稀疏PCA上验证了有效性。
2025-09-10 math.OC
On Nonsmooth and Relatively Weakly Convex Minimization
University of Minnesota(明尼苏达大学)
本文研究非光滑非凸复合优化问题,提出满足次梯度上界条件的确定性Bregman邻近次梯度方法,放宽正则项凸性要求,还拓展出随机场景下收敛速率为$\text{O}(\text{ε}^{-4})$的基于模型的最小化方法及随机预言机访问场景的框架。
2026-08-31 math.OC
Nonsmooth Steepest Descent Method by Proximal Subdifferentials in Hilbert Spaces
本文首先研究了定义在希尔伯特空间上的非光滑函数的非光滑最速下降方法,并利用邻近次梯度建立了相应的算法。然后,我们用这个算法来寻找那些满足正则性和利普希茨连续性的函数的驻点。作为一个应用,将所建立的算法用于有限维空间上的下连续凸函数的极小值的搜索。作为对已有的关于二次连续可微凸函数的收敛性结果的推广和改进,文中给出了收敛性定理。
2013-10-10 math.OC
A Proximal Variable Smoothing for Nonsmooth Minimization Involving Weakly Convex Composite with MIMO Application
针对含弱凸复合函数的非光滑优化问题,提出一种基于Moreau包络的时变前向-后向近端变量平滑算法,提供了平稳点收敛性分析,并应用于MIMO信号检测验证了其有效性。
2025-01-23 math.OC
The cost of nonconvexity in deterministic nonsmooth optimization
我们研究了非凸性对非光滑最优化复杂性的影响,强调了分段线性函数等目标,这些目标可能不是弱凸的。我们专注于维度无关分析,稍微修改了Zhang等人(2020)的黑盒算法,该算法使用$O(ε^{-4})$调用专门的次梯度预言和随机线搜索来近似任何方向可微Lipschitz目标的$ε$ -稳定点。我们简单的黑盒确定性的版本,实现$O(ε^{-5})$的任何差异的凸目标,和$O(ε^{-4})$的弱凸的情况下。我们的复杂性约束取决于一个自然的非凸性模量,相关的,有趣的是,负的一部分,定向二阶导数的目标,理解的分布意义上。
2022-10-07 math.OC
On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization
本文研究了非凸优化问题的随机镜像下降(SMD)算法的非渐近平稳收敛性。我们专注于一般类的非凸非光滑随机最优化问题,其中的目标可以分解成一个相对弱的凸函数(可能非Lipschitz)和一个简单的非光滑凸正则化。我们证明了SMD,不使用mini-batch,是保证收敛到一个平稳点的收敛速度的$ \mathcal{O}(1/\sqrt{t}) $。效率估计与现有的随机次梯度方法的结果相匹配,但评估下一个更强的平稳性措施。我们的收敛性分析适用于原来的SMD和它的近端版本,以及确定性的变种,解决相对弱凸问题。
2018-06-12 math.OC
Exponential Stability of Partial Primal-Dual Gradient Dynamics with Nonsmooth Objective Functions
本文研究了求解$ \min\limits_{x\in X,y\inΩ}\ f({x})+h(y),\ \textit{s.t.}\ A{x}+By=C $形式的凸优化问题的连续时间部分原始-对偶梯度动力学(P-PDGD),其中$ f({x}) $是强凸光滑的,而$ h(y) $是强凸非光滑的.包括仿射等式和集合约束。我们证明了P-PDGD的指数稳定性,并给出了衰减率的界。此外,它也表明,衰减率可以通过设置步长进行调节。
2020-03-17 math.OC
Block-coordinate primal-dual method for the nonsmooth minimization over linear constraints
本文研究了一类受线性约束的凸可分非光滑函数的极小化问题。我们提出的数值方法是Chambolle-Pock原始对偶法的块坐标扩展。我们证明了该方法的收敛性,而不诉诸假设,如光滑或强凸的目标,满秩条件的矩阵,强对偶性,甚至一致性的线性系。自由强加后一个假设允许收敛保证错误指定或嘈杂的系统。
2018-01-15 math.OC
Distributed Nonsmooth Robust Resource Allocation with Cardinality Constrained Uncertainty
研究了具有基数约束不确定性的分布式非光滑鲁棒资源分配问题。全局目标由局部目标组成,局部目标是凸的但非光滑的。每个智能体被约束在其私有凸集中,并且只具有其对应的局部目标的信息。资源分配条件受基数约束的不确定集约束。利用凸优化的对偶理论,给出了鲁棒资源分配问题的对偶问题。针对这一对偶问题,提出了一种分布式原始-对偶投影算法。在理论上,利用微分包含的稳定性理论,进行了收敛性分析。仿真结果表明,该算法能够引导多智能体系统在满足资源分配条件的情况下达到最优解。最后,一个非平凡的仿真结果表明,所提出的算法的有效性。
2019-04-25 math.OC
First-order primal-dual methods for nonsmooth nonconvex optimisation
我们提供了一个概述的原始对偶法的非光滑和非凹凸鞍点问题。这围绕着一个新的分析方法,使用Bregman分歧制定简化的收敛条件。
2020-08-05 math.OC
Smooth Alternating Direction Methods for Nonsmooth Constrained Convex Optimization
提出了两种新的交替方向法来求解“完全”非光滑约束凸问题。在客观残差和可行性差距的温和假设下,我们的算法具有最著名的最坏情况迭代复杂度保证。通过理论分析,我们展示了如何自动更新所有的算法参数,对收敛性能有明显的影响。我们还提供了一个有代表性的数值例子,显示我们的方法的优势,经典的交替方向法使用一个众所周知的可行性问题。
2018-01-15 math.OC stat.ML