A note on the convergence of deterministic gradient sampling in nonsmooth optimization
本文针对非光滑优化问题,提出一种二分法以改进次微分近似,并结合确定性梯度采样,实现了可证明收敛的下降方向计算。
2024-02-06 math.OC
Proximal bundle algorithms for nonsmooth convex optimization via fast gradient smooth methods
我们提出了新的最小化非光滑凸函数的邻近聚束法。这些算法是从应用Nesterov快速梯度法光滑凸最小化所谓的Moreau-Yosida正则化$F_μ$的$f$ w.r. t。一些$μ>0$。由于$F_μ$的精确值和梯度很难评估,我们使用近似的邻近点,由于捆绑策略,以获得可实现的算法。这些算法之一出现作为一个特殊情况下的惯性近端算法的一个可实现的版本。我们给他们的复杂性估计的原始函数值,并报告一些初步的数值结果。
2020-03-06 math.OC
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化,提出一种保证变量可行性的光滑加速投影梯度方法,通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率,并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
Speeding Up Nonsmooth Bayesian MCMC Sampling via Inexact Proximal Unadjusted Langevin Algorithm
KU Leuven(荷语鲁汶大学);University of Antwerp(安特卫普大学)
本文研究了从具有非光滑复合势的后验分布中采样的问题,提出了一种不精确的近端无调整 Langevin 算法(iPULA),该算法通过可控的近似替代精确的近端步骤,利用Moreau包络体平滑势,并允许通过不精确的近端计算来近似梯度,从而在非光滑情况下实现非渐近收敛性保证,并在医学图像重建任务中验证了其有效性。
2026-05-17 math.OC
A New Inexact Gradient Descent Method with Applications to Nonsmooth Convex Optimization
本文提出一种新的非精确梯度法(IGD),在KL性质下保证收敛到稳定点,并将其应用于设计非精确邻近点法和非精确增广拉格朗日法,数值实验表明其优于现有非光滑凸优化算法。
2024-01-12 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题,其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符,或者具有可以使用[Nesterov,2005]中的平滑技术的最大结构。为了解决这类问题,我们提出了一个自适应平滑小批量随机加速梯度(AdaSMSAG)方法,它结合了随机逼近方法,Nesterov的加速梯度法,和平滑方法,允许一般平滑近似。建立了该方法的收敛性。此外,最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明,建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Riemannian Smoothing Gradient Type Algorithms]{Riemannian Smoothing Gradient Type Algorithms for Nonsmooth Optimization Problem on Compact Riemannian Submanifold Embedded in Euclidean Space
本文针对嵌入欧氏空间的紧黎曼子流形上的非凸非光滑复合优化问题,提出基于Moreau包络的黎曼光滑化梯度型算法,并证明其迭代复杂度分别达到O(ε^{-3})和O(ε^{-5})。
2023-10-29 math.OC
Subgradient sampling for nonsmooth nonconvex minimization
本文针对非光滑非凸风险最小化问题,提出并分析了一阶次梯度采样(随机次梯度下降)的收敛性,利用保守微积分和ODE方法改进既有结果,并证明在可定义情形下以概率1避免人工临界点,适用于深度学习风险最小化。
2024-07-23 math.OC
A Wolfe-Type Spectral Conjugate Gradient Method for Nonsmooth Convex Optimization Problems
SRM Institute of Science and Techology(SRM科学技术学院);National Institute of Technology Kurukshetra(库鲁克谢特拉国家技术学院)
本文提出一种基于Moreau-Yosida正则化的Wolfe型谱共轭梯度方法,证明其全局与R-线性收敛性,在基准及大规模非光滑凸优化问题上表现优于或匹配现有方法。
2026-08-13 math.OC
MGProx: A nonsmooth multigrid proximal gradient method with adaptive restriction for strongly convex optimization
针对非光滑强凸优化问题,提出结合多重网格与自适应限制算子的MGProx近端梯度方法,完成理论分析并通过弹性障碍问题验证其收敛速度优于现有方法。
2024-05-10 math.OC
A Gradient Sampling method based on Ideal direction for solving nonsmooth nonconvex optimization problems: convergence analysis and numerical experiments
本文对求解非光滑非凸函数极小化问题的梯度采样(GS)方法进行了改进。GS方法的一个缺点是每次迭代都需要求解二次最优化问题(QP),这非常耗时,尤其是对于大规模目标。为了解决这个问题,我们提出了一个新的下降方向,即理想方向,有没有必要考虑任何二次或线性最优化的子问题。结果表明,该方向满足Armijo步长条件,并可用于使目标函数大幅度降低。此外,我们证明了使用理想方向保持GS方法的整体收敛。此外,在一些适度的假设下,我们提出了一个上界的严重迭代次数。利用这个上界,我们开发了一种不同的策略来研究该方法的收敛性。我们还证明了所提出的方法的效率,使用小,中,大规模的问题,在我们的数值实验。
2019-07-02 math.OC
Asymptotic Analysis of Gradient Mapping-type Stationarity Measure for the Sum of Nonconvex Nonsmooth Functions and Applications to Proximal Gradient-type Algorithms
Institute of Science Tokyo(东京科学大学)
本文针对非凸非光滑函数和提出梯度映射型平稳性测度并做渐近分析,将其应用于邻近梯度算法,解决了一个开放问题并提出带非单调线搜索的邻近变量平滑算法。
2026-09-09 math.OC
A Gradient Sampling Algorithm for Noisy Nonsmooth Nonconvex Optimization
University of Michigan(密歇根大学);Lehigh University(利哈伊大学)
本文提出一种算法,用于最小化可能非凸或非光滑的局部Lipschitz目标函数,针对目标函数和广义梯度值可能存在的有界不可控误差,证明算法在概率意义上要么目标函数值无界下降,要么生成一个满足站定性阈值的迭代点。
2026-10-20 math.OC
Techniques for Gradient Based Bilevel Optimization with Nonsmooth Lower Level Problems
我们提出的技术近似双层最优化问题与非光滑的低级别的问题,可以有一个非唯一的解决方案。为此,我们用一个迭代算法,保证收敛到一个极小的问题的较低级别的最小化问题的极小化的表达。使用合适的非线性邻近距离函数,这种迭代算法的更新映射可以是可微的,尽管最小化问题是非光滑的。
2016-04-26 math.OC
Stochastic smoothing accelerated gradient method for general constrained nonsmooth convex composite optimization
Beijing Jiaotong University(北京交通大学)
本文提出了一种随机平滑加速梯度方法,用于解决一般约束非光滑凸复合优化问题,通过可变样本大小实现最优迭代和SFO复杂度。
2026-01-31 math.OC
Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds
School of Mathematics, Sun Yat-sen University(中山大学数学学院);School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University(中山大学计算机科学与工程学院)
本文提出两种黎曼流形上的近端梯度下降上升算法,解决非光滑非凸-非凹极小极大问题,证明其能在O(ε⁻³)或O(ε⁻⁴)次迭代内找到ε-游戏 stationary 点和优化 stationary 点。
2026-03-21 math.OC
Exponential Stability of Partial Primal-Dual Gradient Dynamics with Nonsmooth Objective Functions
本文研究了求解$ \min\limits_{x\in X,y\inΩ}\ f({x})+h(y),\ \textit{s.t.}\ A{x}+By=C $形式的凸优化问题的连续时间部分原始-对偶梯度动力学(P-PDGD),其中$ f({x}) $是强凸光滑的,而$ h(y) $是强凸非光滑的.包括仿射等式和集合约束。我们证明了P-PDGD的指数稳定性,并给出了衰减率的界。此外,它也表明,衰减率可以通过设置步长进行调节。
2020-03-17 math.OC
Smoothing Proximal Gradient Methods for Nonsmooth Sparsity Constrained Optimization: Optimality Conditions and Global Convergence
针对非光滑稀疏约束优化现有方法的局限,提出两种平滑近似梯度方法变体,证明其最优性与收敛速率理论界达到现有最优水平,且实验中SPGM-BCD性能优于现有IHT类方法。
2023-12-15 math.OC
A dynamic gradient approach to Pareto optimization with nonsmooth convex objective functions
在一般的Hilbert框架下,研究了一类非光滑凸目标函数约束多目标优化问题的连续类梯度动力系统.我们的方法是在以前的工作中,被认为是凸dierentiable目标函数的情况下。通过对系统中的细分算子进行Yosida正则化,得到了强全局轨线的存在性.我们证明了每个目标函数的下降属性,和弱Pareto最小的轨迹收敛。该方法提供了目标函数的动态内生加权。应用合作对策,反问题,和数值多目标优化。
2014-06-06 math.OC
High-Resolution Inertial Dynamics with Time-Rescaled Gradients for Nonsmooth Convex Optimization
Unité de Mathématiques Appliquées, ENSTA, Institut Polytechnique de Paris(应用数学单元,ENSTA,巴黎理工学院)
本文提出一种高分辨率非光滑凸优化的连续时间动力学系统,通过时间变化的Moreau包络平滑和梯度时间重缩,结合Hessian驱动阻尼项,实现快速收敛和稳定性。
2026-03-26 math.OC
A Smoothing Accelerated Proximal Gradient Method with Nonmonotone Backtracking Strategy for Convex Nonsmooth Composite Multiobjective Optimization
Sichuan University(四川大学)
针对含两个非光滑项的复合多目标优化问题,提出基于 Lipschitz 估计与平滑因子联动回溯的平滑加速近似梯度算法,证明弱 Pareto 收敛性与收敛速率,实验显示其效率优于次梯度算法。
2026-10-27 math.OC
Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima
在集中式环境下,随机梯度下降(SGD)算法避免了鞍点并收敛于非凸问题的局部极小值。然而,分布式一阶算法缺乏类似的保证。本文研究了分布式随机梯度下降(D-SGD)-一个简单的基于网络的SGD实现。研究了D-SGD避开鞍点和收敛于局部极小点的条件。首先,我们考虑计算临界点的问题。假设损失函数是非凸的,可能是非光滑的,它表明,对于每个固定的初始化,D-SGD收敛到临界点的损失概率为1。接下来,我们考虑避免鞍点的问题。在这种情况下,我们再次假设损失函数可以是非凸和非光滑的,但在鞍点的邻域内是光滑的。结果表明,对于任何固定的初始化,D-SGD避免这样的鞍点的概率为1。通过研究底层(分布式)梯度流,使用常微分方程(ODE)方法的随机逼近,并从动力系统理论,如稳定的流形扩展经典技术证明了结果。结果证明在一般情况下的子空间约束优化,其中D-SGD是一个特殊的情况。
2022-03-04 math.OC
Bregman Proximal Gradient Algorithm with Extrapolation for a class of Nonconvex Nonsmooth Minimization Problems
在本文中,我们考虑一个加速方法解决非凸和非光滑极小化问题。我们提出了一个Bregman邻近梯度算法与外推(BPGe)。该算法扩展并加速了Bregman近似梯度算法(BPG),它绕过了近似梯度算法(PG)所需的限制性全局Lipschitz梯度连续性假设。BPGe算法比最近提出的带外推的邻近梯度算法(PGe)具有更高的通用性,并且由于外推步骤的存在,BPGe比BPG算法收敛更快。通过对收敛性的分析,证明了在适当选取参数的情况下,BPGe产生的序列的任何极限点都是问题的平稳点。此外,在Kurdyka-{K}ojasiewicz性质的假设下,证明了BPGe生成的序列整体收敛于一个平稳点.最后,为了说明新方法BPGe的潜力,我们将其应用于两个重要的实际问题,出现在许多基本的应用(不满足全局Lipschitz梯度连续性假设):泊松线性逆问题和二次逆问题。在测试中,加速的BPGe算法显示出更快的收敛结果,给出了一个有趣的新算法。
2019-04-25 math.OC
Smoothing Accelerated Proximal Gradient Method with Fast Convergence Rate for Nonsmooth Multi-objective Optimization
本文提出带外推项的平滑加速近端梯度法(SAPGM)求解非光滑多目标优化,通过引入特定外推项将收敛速率提升至 $o(\ln^σk/k)$,并证明迭代序列收敛到Pareto最优解,数值实验验证了方法有效性。
2024-10-18 math.OC
A new method based on the bundle idea and gradient sampling technique for minimizing nonsmooth convex functions
本文将梯度抽样法和束方法这两种非光滑最优化中最有效的方法的优点结合起来,提出了一种求解无约束非光滑凸优化问题的稳健方法。所提出的方法的主要目的是利用GS和捆绑方法的优点,同时避免其缺点。在该方法的每次迭代中,为了找到有效的下降方向,利用GS技术为目标函数构造局部多面体模型。如果需要,通过迭代改进过程,通过束和GS方法启发的一些技术来改进该初始多面体模型。研究了该方法的收敛性,结果表明:(1)该方法的收敛性与建立和改进初始多面体模型所需的梯度计算次数无关。因此,与原始GS方法相比,所提出的方法需要更少的梯度评估。(ii)与GS型方法不同,$\mathbb R^n$中的目标函数不需要在满测度开集上连续可微,以保证这类凸问题的收敛性。通过数值模拟,我们证明了所提出的方法与GS方法相比具有很好的效果,特别是对于大规模问题。此外,与束方法相比,我们的方法是不是很敏感的精度提供的梯度。
2019-11-24 math.OC
The Complexity of Finding Stationary Points in Nonsmooth Nonconvex Optimization
本文证明非光滑非凸优化中一阶算法寻找 Goldstein 驻点及松弛驻点的紧下界,揭示收敛速率不受梯度随机性影响。
2026-09-17 math.OC
A sequential quadratic programming method for nonsmooth stochastic optimization with upper-C^2 objective
提出一种结合自适应采样的随机SQP方法,用于上C^2非光滑非凸优化,证明期望子序列收敛,并在生产定价运输及最优潮流问题上验证有效性。
2023-10-16 math.OC
Extended alternating structure-adapted proximal gradient algorithm for nonconvex nonsmooth problems
针对非凸非光滑优化中多块不可分离耦合结构,提出扩展的交替结构自适应近端算法(eASAP),利用分块受限近端正则性并分析全局收敛与次线性速率,在多模态数据融合中表现优异。
2024-06-25 math.OC
Potentiality-Based Smoothed Randomized Stochastic Gradient Schemes for Solving Nonconvex Nonsmooth Games under Uncertainty
University of Michigan(密歇根大学)
针对非凸非光滑随机势博弈,提出随机平滑RSG方案,实现渐近收敛到平滑博弈均衡,样本复杂度为O(L^4_max n^{3/2}_max N^3 η^{-1} ε^{-4}),并证明平滑均衡的期望残差为O(η^2)。
2026-08-11 math.OC
Proximal Gradient methods with Adaptive Subspace Sampling
机器学习或信号处理中的许多应用涉及非光滑最优化问题。这种非光滑性给最优解带来了低维结构。在本文中,我们提出了一个随机化的近端梯度法利用这种潜在的结构。我们引入两个关键组件:i)随机子空间邻近梯度算法; ii)基于识别的子空间采样。他们的相互作用带来了显着的性能改善典型的学习问题的维度探索。
2020-04-28 math.OC
Randomized Block Subgradient Methods for Convex Nonsmooth and Stochastic Optimization
块坐标下降法和随机次梯度法在优化和机器学习中得到了广泛的研究。将随机区组抽样与基于对偶平均的随机次梯度方法相结合,提出了随机区组对偶平均(SBDA)--一类求解凸非光滑随机最优化的新的区组次梯度方法. SBDA只需要一个块的次梯度和更新块的变量,因此具有显着降低迭代成本比传统的次梯度方法。我们表明,SBDA为基础的方法表现出凸非光滑随机最优化的最佳收敛速度。更重要的是,我们引入了随机步长规则和块采样方案,是自适应的块结构,这显着提高了收敛速度w.r. t。问题参数。这是在最近的块次梯度方法应用于非光滑确定性或随机最优化形成鲜明对比。对于强凸目标,我们提出了一个新的平均计划,使正则化的双重平均方法最优,而不必诉诸任何加速计划。
2015-09-15 math.OC
Block-coordinate and incremental aggregated proximal gradient methods for nonsmooth nonconvex problems
本文针对非光滑非凸优化问题,基于前向后向包络(FBE)分析块坐标近似梯度方法,在Kurdyka-Łojasiewicz性质下建立全局与线性收敛结果,还推导了Finito/MISO算法在非凸非光滑场景下的新收敛结论。
2019-11-26 math.OC
Nonsmooth nonconvex stochastic heavy ball
本文研究非光滑非凸随机重球法的收敛性,结合半代数假设、非光滑微积分与微分包含,证明随机初始化可避免人为临界点并收敛至 Clarke 临界点。
2024-01-23 math.OC
Two-step inertial Bregman alternating structure-adapted proximal gradient descent algorithm for nonconvex and nonsmooth problems
针对实 Hilbert 空间中拟非扩张算子的多集分裂公共不动点问题,提出结合惯性技术与自适应步长的原始-对偶加速迭代算法,证明弱收敛并通过数值实验验证性能。
2023-06-07 math.OC
Structure-Aware Methods for Expensive Derivative-Free Nonsmooth Composite Optimization
本文提出了针对界约束非光滑复合最小化问题的结构感知方法,专为计算昂贵函数输出的已知映射设计,包含新型流形采样算法与更复杂子问题方法,并提供了严格收敛分析与开源实现。
2023-03-20 math.OC
Gradient-Free Multi-Agent Nonconvex Nonsmooth Optimization
本文考虑了连通多智能体网络上非凸且可能非光滑函数之和的最小化问题,其中智能体对全局费用函数具有部分知识,并且只能访问零阶信息(即,函数值)的局部费用函数。我们提出并分析了一个分布式的原始-对偶无梯度算法这个具有挑战性的问题。我们证明了通过适当地选择参数,所提出的算法收敛到一阶平稳解的集合,并具有可证明的全局次线性收敛速度。数值实验表明,我们提出的方法优化网络上的非凸和非光滑问题的有效性。
2019-04-09 math.OC stat.CO
Structured Nonsmooth Optimization Using Functional Encoding and Branching Information
本文提出分支信息驱动梯度下降(BIGD)方法,通过对非光滑算子活跃分支进行函数编码与跟踪,实现分段可微函数的优化,并证明其可集成到现有非光滑优化方法中以提升效率。
2025-05-06 math.OC
Implicit regularization of normalized gradient descent
Columbia University(哥伦比亚大学)
本文提出通过归一化梯度下降和缓慢减小的步长寻找平坦极小值,利用非光滑分析和变分分析实现隐式正则化。
2026-02-09 math.OC
Approaching nonsmooth nonconvex minimization through second order proximal-gradient dynamical systems
研究了一类近似梯度型二阶动力系统在非光滑凸函数和(可能非凸)光滑函数之和最小化时所产生的轨迹的渐近性质.如果目标函数的正则化满足Kurdyka-Schojasiewicz性质,则确保所生成的轨迹收敛到目标的临界点。我们还提供了收敛速度的轨迹制定的Chaojasiewicz指数。
2017-11-16 math.DS math.OC
Accelerated forward-backward method with fast convergence rate for nonsmooth convex optimization beyond differentiability
提出了一种快速收敛速度的向前向后加速算法,用于求解闭凸集上可分解非光滑凸函数的极小值,并将其命名为光滑加速邻近梯度(SAPG)算法.该算法结合了平滑方法和外推$\frac{k-1}{k+α-1}$和$α>3$的邻近梯度算法。平滑参数$μ_k$的更新规则是一个聪明的方案,并保证了整体收敛速度的$o(\ln^σk/k)$与$σ\in(\frac{1}{2},1]$的目标函数值。证明了该序列收敛于问题的最优解。此外,我们在SAPG算法中引入了一个误差项,得到了非精确平滑加速邻近梯度算法。在误差可和条件下,我们得到了与SAPG算法相同的收敛结果。最后通过数值实验验证了该算法的有效性。
2021-10-04 math.OC
A new envelope function for nonsmooth DC optimization
该研究提出用于非光滑DC优化的新型包络函数,证明DC优化等价于最小化该利普希茨可微包络,由此得到可并行的无(次)梯度近端算法,且支持L-BFGS等方法,还揭示了其与前向-后向包络的深层关联。
2020-03-31 math.OC
Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL) Property
针对非凸非光滑优化问题,本文提出投影近端梯度下降法(PPGD),在不依赖 Kurdyka-Łojasiewicz (KŁ) 性质的条件下,证明了其能实现局部 $\cO(1/k^2)$ 的快速收敛率,并通过实验验证了方法的有效性。
2024-09-25 math.OC stat.ML
Decentralized Nonsmooth Nonconvex Optimization with Client-Data Sampling
本文提出了一种结合客户端采样的去中心化非光滑非凸优化方法,实现了最优样本复杂度和更优的通信复杂度,并通过实验验证了其有效性。
2026-10-06 cs.DC math.OC
Stochastic Three-Operator Splitting Algorithms for Nonconvex and Nonsmooth Optimization Arising from FLASH Radiotherapy
针对FLASH放射治疗产生的非凸与非光滑优化难题,提出随机三算子分裂(STOS)算法,在非凸框架下证明了多种梯度估计器下的收敛性,并通过患者治疗规划验证了其有效性。
2023-11-24 math.OC
Nonsmooth Convex Optimization using the Specular Gradient Method with Root-Linear Convergence
Michigan State University(密歇根州立大学);Kyungpook National University(庆北国立大学)
本文提出镜面梯度法,在仅假设凸性的一维实值函数最小化中实现根线性收敛,并给出无需显式计算镜面导数的实现方法。
2026-09-09 cs.NA math.NA math.OC
Newton acceleration on manifolds identified by proximal-gradient methods
已知近似方法用于识别非光滑最优化问题的底层子结构。更重要的是,在许多有趣的情况下,邻近算子的输出与其结构一起出现,而不需要额外的成本,一旦它与极小化器的结构相匹配,收敛性就会得到改善。然而,它是不可能的,在一般情况下,知道当前的结构是否是最终的或没有;这样的高度有价值的信息,必须自适应地利用。要做到这一点,我们把自己的情况下,近端梯度法可以识别流形的可微性的非光滑目标。利用这种流形识别,我们表明,黎曼牛顿类方法可以与近端梯度步骤交织在一起,以大大提高收敛性。证明了算法在求解非退化、非光滑、非凸最优化问题时的超线性收敛性。我们提供了数值例子的最优化问题正则化的$\ell_1$ -范数或跟踪范数。
2022-05-25 math.OC
A Bregman Proximal Stochastic Gradient Method with Extrapolation for Nonconvex Nonsmooth Problems
针对可微部分缺乏全局Lipschitz连续梯度的非凸非光滑优化问题,提出带外推的Bregman近端随机梯度方法(BPSGE),在方差减少框架下分析其收敛性与复杂度,并通过实验验证其加速效果。
2024-01-04 math.OC
Generalized Newton Algorithms for Tilt-Stable Minimizers in Nonsmooth Optimization
本文的目的是发展两个版本的广义牛顿法计算不仅是任意的局部极小值的非光滑最优化问题,但只是那些,它具有一个重要的稳定性称为倾斜稳定性。我们开始与无约束极小化的连续可微费用函数具有Lipschitzian梯度,并建议两个二阶算法的牛顿型:一个涉及的Lipschitzian梯度映射,和其他的基础上,后者的图形衍生物。然后,我们继续传播这些算法的最小化的扩展实值的prox-正则函数,同时以这种方式覆盖的问题的约束优化,通过使用Moreau算法。采用先进的技术,二阶变分分析和倾斜稳定性的特征,使我们能够建立在这两个算法的子问题的可解性,并证明其迭代的Q-超线性收敛。
2020-12-29 math.OC
An equivalent reformulation and multi-proximity gradient algorithms for a class of nonsmooth fractional programming
针对一类结构化非光滑分式规划,提出等价重构并开发多近端梯度算法框架,利用Fenchel共轭近端算子与非单调线搜索,在温和条件下证明了算法的收敛性及线性收敛速率。
2024-03-25 math.OC
A geometric integration approach to nonsmooth, nonconvex optimisation
不使用梯度的非光滑非凸函数的优化是一个特别具有挑战性的问题,经常遇到,例如在模型参数优化问题中。参数的双层优化是变分正则化问题和监督机器学习等领域的标准设置。我们提出了高效和强大的衍生工具的方法,称为随机伊藤-安倍晋三方法。这些都是概括的伊藤-安倍离散梯度法,一个著名的计划,从几何积分,以前只被认为是在顺利设置。我们证明了该方法及其有利的能量耗散特性是定义在非光滑设置。证明了当目标函数局部Lipschitz连续时,迭代几乎必然收敛于Clarke平稳点的连通集.我们提出了一个实现的方法,并将其应用到各种测试问题。数值结果表明,随机伊藤-安倍晋三的方法是优于国家的最先进的无导数优化方法在解决非光滑问题,同时保持竞争力的效率。
2018-07-19 math.OC
A stochastic two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
本文提出STiBPALM算法,结合两步惯性与Bregman近端交替线性化及方差缩减随机梯度,用于求解大规模非凸非光滑优化问题,并证明其收敛性,通过稀疏非负矩阵分解和盲图像去模糊实验验证性能。
2023-07-11 math.OC
Specular gradient methods for nonsmooth convex optimization in Euclidean spaces: a subgradient selection strategy
Michigan State University(密歇根州立大学)
本文提出基于镜面梯度的次梯度选择策略,用于解决欧几里得空间中的非光滑凸优化问题,并证明在适当步长下的收敛性,数值实验显示其能有效最小化经典方法失效的非可微函数。
2026-05-25 cs.NA math.NA math.OC
A consensus-based optimization method for nonsmooth nonconvex programs with approximated gradient descent scheme
本文针对非光滑非凸无约束优化问题,提出结合前向差分近似梯度下降的离散CBO算法,证明其指数速率全局共识等理论性质,通过实验验证了方法的效率与性能。
2025-01-15 math.OC
Piecewise smooth functions and conservative fields: calculus for nonsmooth nonconvex optimization beyond stratification
Toulouse School of Economics, Toulouse Capitole University(图卢兹经济学院,图卢兹卡皮托尔大学)
研究局部Lipschitz、分段光滑函数相关梯度与保守场的联系,证明相关集合沿Lipschitz曲线有链式法则性质,调和两个非光滑自动微分理论框架,给出随机次梯度方法在有界性假设下的收敛性。
2026-08-11 math.OC