Optimal Safety for Constrained Differential Inclusions using Nonsmooth Control Barrier Functions
对于广泛的一类非线性系统,我们制定的问题,保证安全与约束下的最优性。具体来说,我们定义了具有状态和输入约束的微分包含的受控安全性。通过使用非光滑分析工具,我们表明,一个连续的最优控制法可以选择从集值约束捕获系统的约束和条件,保证安全使用控制障碍函数。我们的研究结果保证最优性和安全性,通过一个连续的状态反馈法设计使用非光滑控制障碍函数。一个关于避障与目标的例子说明了我们的结果和相关的好处,使用非光滑控制障碍函数。
2022-11-23 cs.SY eess.SY math.OC
The Strength of Nesterov's Extrapolation in the Individual Convergence of Nonsmooth Optimization
Command and Control Engineering College, Army Engineering University of PLA(中国人民解放军陆军工程大学指挥与控制工程学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Army Academy Of Artillery and Air Defense(陆军防空兵学院)
Nesterov提出的外推策略,在处理光滑凸目标时,可以使梯度下降方法的收敛速度提高几个数量级,在训练机器学习任务中取得了巨大的成功。本文基于Nesterov外推理论,研究了求解非光滑凸优化问题的投影次梯度(PSG)方法的个别迭代的收敛性,称之为个别收敛性。我们证明了Nesterov的外推有实力使PSG的个别收敛最佳的非光滑问题。鉴于这一考虑,一个直接修改的次梯度评估足以实现最佳的个人收敛的强凸问题,这可以被视为一个有趣的一步,向开放的问题随机梯度下降(SGD)由Shamir提出。此外,我们给出了一个扩展的派生算法来解决正则化的学习任务,在随机设置的非光滑损失。与其他国家的最先进的非光滑方法相比,派生的算法可以作为一种替代的基本SGD,特别是在应对机器学习问题,其中需要一个单独的输出,以保证正则化结构,同时保持最佳的收敛速度。通常情况下,我们的方法是适用于解决大规模的$l$ 1正则铰链损失学习问题的有效工具。几个比较实验表明,我们的个人输出不仅达到了最佳的收敛速度,但也保证了更好的稀疏性比平均的解决方案。
2020-06-08 cs.LG stat.ML
Stochastic Proximal Gradient Algorithm with Minibatches. Application to Large Scale Learning Models
University of Bucharest(布加勒斯特大学);The Research Institute of the University of Bucharest (ICUB)(布加勒斯特大学研究所(ICUB))
随机优化是大多数统计学习模型的核心。近年来,随机算法工具的大发展主要集中在近似梯度迭代上,以寻找非光滑(复合)总体风险函数的有效方法。通过最小化正则化风险来寻找最佳预测因子的复杂性在很大程度上被理解为简单的正则化,如$\ell_1/\ell_2$范数。然而,预测器所需的更复杂的属性需要高度困难的正则化器,如在分组套索或图形趋势滤波中使用的正则化器。在这一章中,我们开发和分析小批量变种的随机邻近梯度算法的一般复合目标函数的随机非光滑组件。我们提供迭代复杂度为常数和可变步长的政策获得,对于minibatch大小$N$,经过$\mathcal{O}(\frac{1}{Nε})$迭代$ε-$次优达到预期的二次距离最优解。对$\ell_2-$正则化支持向量机和参数稀疏表示问题的数值测试证实了理论行为,并超过了minibatch SGD性能。
2020-03-30 cs.LG cs.NA math.NA
Differentiating Nonsmooth Solutions to Parametric Monotone Inclusion Problems
Toulouse School of Economics(图卢兹经济学院);University of Toulouse(图卢兹大学);IRIT(图卢兹计算机科学研究所);CNRS(法国国家科学研究中心);Université Toulouse III Paul Sabatier(图卢兹第三大学保罗·萨巴蒂埃大学);Institut Universitaire de France(法兰西大学研究院);CVN(认知与神经计算研究中心);CentraleSupélec(巴黎中央理工-高等电力学院);Université Paris-Saclay(巴黎萨克雷大学)
本文结合路径可微性与非光滑隐式微分理论,建立参数化单调包含问题解的路径可微条件及广义梯度公式,并通过三类复合优化问题验证其适用性。
2022-12-15 cs.LG math.OC
A method for finding a solution to the nonsmooth differential inclusion of a special structure
本文针对特殊结构的非光滑微分包含求解问题,将其转化为超可微泛函的变分问题,给出必要最小条件,采用经典超微分下降法求解并验证全局最优性,证明了方法收敛性,可用于不连续系统建模等应用场景。
2023-05-02 math.OC
Convergence of a Stochastic Subgradient Method with Averaging for Nonsmooth Nonconvex Constrained Optimization
对于具有广义可微性的非光滑、非凸目标函数的约束问题,证明了一个带次梯度平均的单时间尺度随机次梯度方法的收敛性.作为我们分析的工具,我们还证明了一个链式法则的道路上,这样的功能。
2019-12-16 math.OC
Distributed Stochastic Nonsmooth Nonconvex Optimization
分布式一致性优化近年来受到了相当大的关注,已经提出了几个分布式的共识为基础的算法(非光滑)凸和(光滑)非凸目标函数。然而,这些分布式算法对{ \it非凸,非光滑和随机}目标函数的行为是不理解的。这类函数和分布式设置的动机是几个应用程序,包括机器学习和信号处理中的问题。本文提出了第一次收敛性分析的分散随机次梯度方法的这类问题,在网络建模为无向,固定,图。
2019-11-03 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题,其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符,或者具有可以使用[Nesterov,2005]中的平滑技术的最大结构。为了解决这类问题,我们提出了一个自适应平滑小批量随机加速梯度(AdaSMSAG)方法,它结合了随机逼近方法,Nesterov的加速梯度法,和平滑方法,允许一般平滑近似。建立了该方法的收敛性。此外,最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明,建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Randomized Block Subgradient Methods for Convex Nonsmooth and Stochastic Optimization
块坐标下降法和随机次梯度法在优化和机器学习中得到了广泛的研究。将随机区组抽样与基于对偶平均的随机次梯度方法相结合,提出了随机区组对偶平均(SBDA)--一类求解凸非光滑随机最优化的新的区组次梯度方法. SBDA只需要一个块的次梯度和更新块的变量,因此具有显着降低迭代成本比传统的次梯度方法。我们表明,SBDA为基础的方法表现出凸非光滑随机最优化的最佳收敛速度。更重要的是,我们引入了随机步长规则和块采样方案,是自适应的块结构,这显着提高了收敛速度w.r. t。问题参数。这是在最近的块次梯度方法应用于非光滑确定性或随机最优化形成鲜明对比。对于强凸目标,我们提出了一个新的平均计划,使正则化的双重平均方法最优,而不必诉诸任何加速计划。
2015-09-15 math.OC
An inexact restoration-nonsmooth algorithm with variable accuracy for stochastic nonsmooth convex optimization problems in machine learning and stochastic linear complementarity problems
研究目标函数为非光滑凸数学期望形式的无约束最优化问题。所提出的方法近似预期的目标函数与样本平均函数使用不精确恢复为基础的适应样本量。根据不精确恢复以自适应方式选择样本量。该算法使用线搜索,并假设相对于当前近似函数的下降方向。我们能证明。在标准假设下的收敛性。对两类问题,机器学习损失函数训练分类器和随机线性互补性问题的数值结果证明了该方案的有效性.
2022-11-02 cs.NA math.NA math.OC
Stochastic Block Mirror Descent Methods for Nonsmooth and Stochastic Optimization
本文提出了一种新的随机算法,即随机块镜像下降(SBMD)方法,用于求解大规模非光滑和随机最优化问题。该算法的基本思想是将块坐标分解和增量块平均方案结合到经典(随机)镜像下降法中,以显著降低后者的每次迭代代价。我们建立了SBMD方法的收敛速率以及解决一般非光滑和随机最优化问题的相关大偏差结果。我们还介绍了不同的变种,这种方法,并建立他们收敛速率解决强凸,光滑,复合最优化问题,以及某些非凸最优化问题。据我们所知,所有这些发展有关的SBMD方法是新的随机最优化文献。此外,我们的一些结果似乎也是新的块坐标下降法的确定性优化。
2013-09-09 math.OC
The Sound of APALM Clapping: Faster Nonsmooth Nonconvex Optimization with Stochastic Asynchronous PALM
本文介绍了随机异步近似交替线性化最小化(SAPALM)方法,它是一种求解非凸、非光滑最优化问题的块坐标随机近似梯度法. SAPALM是第一个异步并行最优化方法,可证明收敛于一大类非凸,非光滑的问题。我们证明,SAPALM匹配最知名的收敛速度-同步或异步方法-在这个问题类。我们提供了上界的工人的数量,我们可以期望看到一个线性加速,这符合已知的最佳界限不太复杂的问题,并表明在实践中SAPALM实现这种线性加速。我们展示了几个矩阵分解问题的最先进的性能。
2016-06-07 math.OC
A Stochastic Subgradient Method for Nonsmooth Nonconvex Multi-Level Composition Optimization
我们提出了一个单时间尺度的随机次梯度方法的约束优化的组合的几个非光滑和非凸函数。函数被假定为局部Lipschitz和可微的广义意义。仅使用函数的值和广义导数的随机估计。该方法是无参数的。我们证明了收敛的概率1的方法,通过与它的微分包含系统和设计一个不可微的李雅普诺夫函数这个系统。对于具有Lipschitz连续导数的函数的问题,该方法在执行具有恒定步长的$N$迭代之后,找到满足具有$1/\sqrt{N}$阶误差的最优性度量的点。
2020-12-18 math.OC
Nonsmooth nonconvex stochastic heavy ball
本文研究非光滑非凸随机重球法的收敛性,结合半代数假设、非光滑微积分与微分包含,证明随机初始化可避免人为临界点并收敛至 Clarke 临界点。
2024-01-23 math.OC
A Corollary for Nonsmooth Systems
本文对右端不连续的非线性微分方程所描述的非自治系统给出了LaSalle-Yoshizawa定理的两个推广推论。基于李雅普诺夫的分析方法,开发使用微分包含,以实现渐近收敛时,候选人的李雅普诺夫导数是一个负半定函数的上界。
2012-10-31 math.OC
Stochastic smoothing accelerated gradient method for general constrained nonsmooth convex composite optimization
Beijing Jiaotong University(北京交通大学)
本文提出了一种随机平滑加速梯度方法,用于解决一般约束非光滑凸复合优化问题,通过可变样本大小实现最优迭代和SFO复杂度。
2026-01-31 math.OC
Linear Convergence of Variable Bregman Stochastic Coordinate Descent Method for Nonsmooth Nonconvex Optimization by Level-set Variational Analysis
大规模非凸和非光滑问题在压缩感知、大数据优化和机器学习等领域引起了广泛的关注。探索有效的方法仍然是当今研究的主要挑战。随机坐标下降法已被广泛应用于求解大规模最优化问题。本文证明了变Bregman随机坐标下降法(VBSCD)对一类非光滑非凸最优化问题的收敛性,由VBSCD生成的序列的任何累加几乎肯定是临界点。此外,我们开发了一个新的水平集上的变分方法,旨在对收敛速度分析。如果水平集次微分误差界成立,我们推导出一个线性的收敛速率的期望值的目标函数和期望值的随机变量的VBSCD。
2019-05-27 math.OC
On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization
本文研究了非凸优化问题的随机镜像下降(SMD)算法的非渐近平稳收敛性。我们专注于一般类的非凸非光滑随机最优化问题,其中的目标可以分解成一个相对弱的凸函数(可能非Lipschitz)和一个简单的非光滑凸正则化。我们证明了SMD,不使用mini-batch,是保证收敛到一个平稳点的收敛速度的$ \mathcal{O}(1/\sqrt{t}) $。效率估计与现有的随机次梯度方法的结果相匹配,但评估下一个更强的平稳性措施。我们的收敛性分析适用于原来的SMD和它的近端版本,以及确定性的变种,解决相对弱凸问题。
2018-06-12 math.OC
Solving Nonsmooth Nonconvex Compound Stochastic Programs with Applications to Risk Measure Minimization
本文研究了一类由非凸非光滑函数耦合的多期望结构复合随机规划问题。本文提出了一个基于连续凸规划的采样算法,并证明了它的逐次收敛性。我们描述了几类复合SP的极限点的平稳性。我们进一步讨论了基于算法可计算误差界的概率停止规则。我们提出了几个风险度量最小化问题,可以制定为这样一个复合随机规划,这些问题包括广义偏差最优化问题的基础上优化的确定性等价和缓冲概率的不确定性(bPOE),分布鲁棒bPOE最优化问题,和多类分类问题采用成本敏感的错误准则与bPOE风险度量。
2021-05-23 math.OC
Stochastic Bregman Subgradient Methods for Nonsmooth Nonconvex Optimization Problems
本文研究目标函数缺乏Clarke正则性时的随机Bregman次梯度方法,通过微分包含建立收敛性,提出非精确求解与动量集成机制,并验证其在训练非光滑神经网络中的有效性。
2025-05-29 math.OC
Fast Stochastic Methods for Nonsmooth Nonconvex Optimization
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
我们分析随机算法优化非凸,非光滑有限和问题,其中非凸部分是光滑的,非光滑部分是凸的。令人惊讶的是,与光滑情况不同,我们对这个基本问题的了解非常有限。例如,不知道具有常数小批量的邻近随机梯度法是否收敛到一个稳定点。为了解决这个问题,我们开发了快速的随机算法,可证明收敛到一个固定的点恒定的小批量。此外,使用这些算法的一个变体,我们证明了比批量邻近梯度下降更快的收敛速度。最后,我们证明了全局线性收敛速率的一个有趣的子类的非光滑非凸函数,其中包括一些最近的工作。本文建立在我们最近关于光滑非凸优化的快速随机方法的一系列论文[22,23]的基础上,对非凸和非光滑函数进行了新的分析。
2016-05-23 cs.LG math.OC stat.ML
Singularly Perturbed Stochastic Hybrid Systems: Stability and Recurrence via Composite Nonsmooth Foster Functions
本文研究了奇异摄动随机混合系统的稳定性与回归性,通过提出复合非光滑 Lagrange-Foster 和 Lyapunov-Foster 函数,利用系统快慢动力学的简单函数来验证紧集稳定性和开集回归性质。
2023-10-24 math.OC
Codifferentials and Quasidifferentials of the Expectation of Nonsmooth Random Integrands and Two-Stage Stochastic Programming
本文研究非光滑两阶段随机规划,通过推导非光滑随机被积函数期望的余/拟微分显式公式,分析精确罚函数并给出全局精确性条件,最终以余微分形式导出最优性条件。
2024-04-21 math.OC math.PR
A Single-loop Stochastic Riemannian ADMM for Nonsmooth Composite Optimization
College of Science, National University of Defense Technology(国防科技大学理学院)
本文提出MARS-ADMM,一种单环随机黎曼ADMM算法,实现非光滑优化的近最优复杂度,优于现有方法并达到确定性优化的最优水平。
2026-09-30 math.OC
Faster Stochastic ADMM for Nonsmooth Composite Convex Optimization in Hilbert Space
School of Mathematics and Statistics, Lanzhou University(兰州大学数学与统计学院);School of Mathematics, Jilin University(吉林大学数学学院)
本文提出一种随机交替方向乘子法用于解决Hilbert空间中非光滑复合和随机凸优化问题,证明了在强凸情况下算法的强收敛性,并展示了在强凸和一般凸情况下功能值和可行性违反的更快非平稳收敛率。
2026-05-15 math.OC
Projection-Free Algorithms for Nonsmooth Stochastic Convex-Concave Saddle-Point Problems
Cornell University(康奈尔大学)
本文针对非光滑随机凸-凹鞍点问题,提出模块化单循环无投影算法,利用线性最小化预言机直接处理非光滑性,达到O(ε^-2)迭代复杂度并证明极小极大最优性。
2026-09-29 math.OC
A Variable Sample-size Stochastic Quasi-Newton Method for Smooth and Nonsmooth Stochastic Convex Optimization
经典理论的拟牛顿计划的重点是光滑确定性无约束优化,而最近的随机凸优化主要居住在光滑,无约束,强凸制度。自然,有一个迫切需要解决的非光滑性,缺乏强凸性,并存在约束。因此,本文提出了一个拟牛顿框架,可以处理仅仅是凸和可能的非光滑(但光滑)的随机凸问题。我们提出了一个框架,结合迭代平滑和正则化的方差减少计划依赖于使用梯度的样本大小增加。我们做出以下贡献。(i)我们开发了一个正则化和平滑的可变样本量BFGS更新(rsL-BFGS),生成一个序列的海森近似,可以容纳非光滑凸目标,利用迭代正则化和平滑。(ii)在强凸的状态依赖噪声的情况下,所提出的可变样本量随机拟牛顿格式允许非渐近线性收敛速度,而计算$ε$ -解的预言复杂度为$\mathcal{O}(κ^{m+1}/ε)$,其中$κ$是条件数,$m\geq 1$。在非平滑(但可平滑)区域,使用Moreau平滑可保持线性收敛速率。为了应对可能的不可用的Lipschitz和强凸性参数,我们还提供了次线性率;(iii)在仅仅凸,但光滑的设置,正则化的VS-SQN计划rVS-SQN显示率$\mathcal{O}(1/k^{(1-\varepsilon)})$。当平滑性要求减弱时,正则化和平滑的VS-SQN格式的速率变为$\mathcal{O}(k^{-1/3})$。这样的陈述允许在二次增长属性下的状态依赖噪声假设。
2020-11-02 math.OC
Continuation Method for Nonsmooth Model Predictive Control Using Proximal Technique
本文提出一种基于非光滑正则化最优控制问题的模型预测控制延拓方法新框架,利用近端算子将一阶最优性包含关系转化为方程组以应用延拓方法,并给出确保适定性的约束规范条件及数值验证。
2025-03-04 math.OC
ProxSTORM -- A Stochastic Trust-Region Algorithm for Nonsmooth Optimization
Sandia National Laboratories(桑迪亚国家实验室);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(乔治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学院)
本文提出ProxSTORM算法,用于求解光滑但可能非凸函数与凸但可能非光滑函数之和的最小化问题,改进并简化了STORM分析,展示了在神经网络训练和不确定性拓扑优化中的应用。
2026-06-26 math.OC
A stochastic two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
本文提出STiBPALM算法,结合两步惯性与Bregman近端交替线性化及方差缩减随机梯度,用于求解大规模非凸非光滑优化问题,并证明其收敛性,通过稀疏非负矩阵分解和盲图像去模糊实验验证性能。
2023-07-11 math.OC
A sequential quadratic programming method for nonsmooth stochastic optimization with upper-C^2 objective
提出一种结合自适应采样的随机SQP方法,用于上C^2非光滑非凸优化,证明期望子序列收敛,并在生产定价运输及最优潮流问题上验证有效性。
2023-10-16 math.OC
A Unified Inexact Stochastic ADMM for Composite Nonconvex and Nonsmooth Optimization
提出统一的不精确随机ADMM框架以求解复合非凸非光滑优化,涵盖多种现有算法并设计新的加速混合随机ADMM,证明其次线性与线性收敛,实验验证了有效性。
2024-03-04 math.OC
A successive difference-of-convex method for a class of two-stage nonconvex nonsmooth stochastic conic program via SVI
School of Mathematics and Statistics, Beijing Jiaotong University(北京交通大学数学与统计学院);Beijing Key Laboratory of Biological Big Data and Topological Statistics, Beijing Jiaotong University(北京交通大学生物大数据与拓扑统计北京市重点实验室)
本文提出了一种用于解决两阶段非凸非光滑随机锥程序的连续差分凸方法,通过将问题转化为非单调非光滑两阶段随机变分不等式并利用Moreau包络和渐进对冲方法进行求解,验证了方法的收敛性,并通过均值-方差模型的应用展示了其有效性。
2026-03-04 math.OC
An Inexact Trust-Region Method for Structured Nonsmooth Optimization with Application to Risk-Averse Stochastic Programming
Sandia National Laboratories(桑迪亚国家实验室)
本文提出一种近似信任区域方法,用于解决包含光滑函数、非光滑凸函数及光滑函数与有限值支撑函数的组合的优化问题,并在风险厌恶随机规划中应用。方法允许使用不精确的函数值和导数信息,可解决由偏微分方程等约束的无限维问题,证明了方法的全局收敛性。
2026-10-22 math.OC
Distributed Continuous-Time Algorithm for Constrained Convex Optimizations via Nonsmooth Analysis Approach
本文研究了具有局部约束的非光滑凸费用函数和的分布式最优化问题。首先,我们提出了一种新的分布式连续时间投影算法,其中每个代理知道其本地费用函数和本地约束集,约束最优化问题。然后证明了算法中的所有智能体在寻找最优解时都能找到相同的最优解,同时保持状态有界。利用非光滑李雅普诺夫函数对微分包含的稳定性进行了全收敛分析。最后,我们提供了一个数值例子来说明。
2016-11-28 math.OC
Dynamic Systems Coupled with Solutions of Stochastic Nonsmooth Convex Optimization
本文研究常微分方程与随机非光滑凸优化解耦合的系统,利用正则化、样本平均近似和时间步进法构造离散近似,证明了解的存在性、线性增长条件及最小范数收敛性,并给出时变参数估计的数值验证。
2025-02-08 math.OC
Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima
在集中式环境下,随机梯度下降(SGD)算法避免了鞍点并收敛于非凸问题的局部极小值。然而,分布式一阶算法缺乏类似的保证。本文研究了分布式随机梯度下降(D-SGD)-一个简单的基于网络的SGD实现。研究了D-SGD避开鞍点和收敛于局部极小点的条件。首先,我们考虑计算临界点的问题。假设损失函数是非凸的,可能是非光滑的,它表明,对于每个固定的初始化,D-SGD收敛到临界点的损失概率为1。接下来,我们考虑避免鞍点的问题。在这种情况下,我们再次假设损失函数可以是非凸和非光滑的,但在鞍点的邻域内是光滑的。结果表明,对于任何固定的初始化,D-SGD避免这样的鞍点的概率为1。通过研究底层(分布式)梯度流,使用常微分方程(ODE)方法的随机逼近,并从动力系统理论,如稳定的流形扩展经典技术证明了结果。结果证明在一般情况下的子空间约束优化,其中D-SGD是一个特殊的情况。
2022-03-04 math.OC
Stochastic ADMM with batch size adaptation for nonconvex nonsmooth optimization
College of Science, National University of Defense Technology(国防科技大学理学院)
本文提出了一种自适应批量大小的SADMM方法,通过动态调整批量大小来解决非凸非光滑优化中的方差降低与计算成本之间的权衡,并验证了其有效性。
2025-09-06 math.OC
Extrapolation-based Direct Search for Nonsmooth Stochastic Zeroth-Order Optimization
Università di Padova(帕多瓦大学);North Carolina State University(北卡罗来纳州立大学)
本文提出一种适用于非光滑随机零阶优化的基于外推的直接搜索方法,证明其收敛性与复杂度界,经DFO基准实验验证性能具竞争力。
2026-08-03 math.OC
Stochastic ADMM for Nonsmooth Optimization
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一个随机设置的非光滑凸可分目标函数的线性等式约束的优化问题。为了解决这类问题,我们提出了一种随机交替方向乘法(ADMM)算法。我们的算法适用于更一般的一类非光滑凸函数,不一定有一个封闭的形式的解决方案,通过最小化增广函数直接。我们还证明了我们的算法的收敛速度下的各种结构假设的随机函数:$O(1/\sqrt{t})$凸函数和$O(\log t/t)$强凸函数。与以往文献相比,我们建立了ADMM算法的收敛速度,首次,在目标值和可行性违反。
2013-01-22 cs.LG math.OC stat.ML
Stochastic Three-Operator Splitting Algorithms for Nonconvex and Nonsmooth Optimization Arising from FLASH Radiotherapy
针对FLASH放射治疗产生的非凸与非光滑优化难题,提出随机三算子分裂(STOS)算法,在非凸框架下证明了多种梯度估计器下的收敛性,并通过患者治疗规划验证了其有效性。
2023-11-24 math.OC
A Stochastic Extra-Step Quasi-Newton Method for Nonsmooth Nonconvex Optimization
本文提出了一种新的随机额外步拟牛顿法来求解一类非光滑非凸组合最优化问题。我们假设目标函数的光滑部分的梯度只能用随机预言机来近似。所提出的方法结合了一般的随机高阶步骤来自一个潜在的近端型不动点方程与额外的随机近端梯度步骤,以保证收敛。基于合适的步长范围,我们建立了整体收敛的平稳点的期望和扩展的方法使用方差减少技术进行了讨论。受大规模和大数据应用的启发,我们研究了一种随机坐标型拟牛顿格式,该格式可以生成廉价且易于处理的随机高阶方向。最后,该算法在大规模逻辑斯谛回归和深度学习问题上进行了测试,结果表明,它与其他最先进的方法相比毫不逊色。
2019-10-21 math.OC stat.ML
Stochastic halfspace approximation method for convex optimization with nonsmooth functional constraints
针对带非光滑泛函约束的凸优化问题,提出随机半空间近似方法SHAM,通过梯度步与随机约束半空间投影步迭代,并给出凸和强凸情形下的统一收敛速率及数值验证。
2024-12-03 math.OC
A Stochastic Semismooth Newton Method for Nonsmooth Nonconvex Optimization
在这项工作中,我们提出了一个全球化的随机半光滑牛顿法解决随机最优化问题,涉及光滑非凸和非光滑凸项的目标函数。我们假设只有噪声梯度和Hessian信息的光滑部分的目标函数是通过调用随机一阶和二阶预言。所提出的方法可以看作是一个混合的方法相结合的随机半光滑牛顿步骤和随机邻近梯度步骤。引入两个不精确的增长条件来监控半光滑牛顿步的收敛性和可接受性,并表明该算法全局收敛到预期的平稳点。此外,在标准假设下,利用随机矩阵浓度不等式,我们证明了该方法局部地转化为一个纯随机半光滑牛顿法,并且以高概率r-超线性收敛.我们提出的数值结果和比较$\ell_1$正则化逻辑斯谛回归和非凸二进制分类,证明了我们的算法的效率。
2018-03-09 math.OC stat.ML
The Stochastic Multi-Proximal Method for Nonsmooth Optimization
该研究提出一种带方差缩减的随机多邻近方法SMPM,可覆盖多种现有邻近算法特例,推导了不同凸性条件下的收敛结果,且在带压缩通信的分布式优化中性能更优。
2025-05-18 math.OC
Decentralized Stochastic Subgradient-type Methods with Communication Compression for Nonsmooth Nonconvex Optimization
针对非光滑非凸分布式优化问题,提出统一框架整合多种带压缩的随机次梯度方法,证明全局收敛性,并开发基于符号正则化和梯度跟踪动量的新方法。
2026-07-03 cs.AI cs.LG math.OC
Finite-Time Analysis of Stochastic Nonconvex Nonsmooth Optimization on the Riemannian Manifolds
Northeastern University(东北大学);Tsinghua University(清华大学)
本文针对黎曼流形上的非光滑非凸随机优化,提出RO2NC算法及其零阶版本,首次给出有限时间样本复杂度$O(ε^{-3}δ^{-1})$,匹配欧氏最优,并获数值验证。
2025-10-24 cs.LG math.OC
Accelerated Method for Stochastic Composition Optimization with Nonsmooth Regularization
University of Pittsburgh(匹兹堡大学);University of Rochester(罗切斯特大学)
随机组合优化近年来引起了人们的广泛关注,并在机器学习、统计分析和强化学习等新兴应用中取得了成功。本文主要研究带非光滑正则化惩罚的复合问题。以往的工作要么收敛速度慢,或没有提供完整的收敛性分析的一般问题。本文针对这两个问题,提出了一种新的随机组合优化方法,用于求解带非光滑正则化惩罚的组合优化问题。在我们的方法中,我们应用方差减少技术,以加快收敛速度。据我们所知,我们的方法承认最快的收敛速度随机复合优化:强凸复合问题,我们的算法被证明是线性收敛;一般的复合问题,我们的算法显着提高了国家的最先进的收敛速度从$O(T^{-1/2})$到$O((n_1+n_2)^{{2}/{3}}T^{-1})$。最后,我们将我们提出的算法应用于强化学习中的投资组合管理和策略评估。实验结果验证了我们的理论分析。
2017-12-29 cs.LG math.OC
Single-loop approaches to nonsmooth bilevel optimisation
University of Helsinki(赫尔辛基大学);MODEMAT Research Center in Mathematical Modeling and Optimization(数学建模与优化研究中心)
针对内层问题为集值参数约束的双层优化,提出基于Fréchet和极限余导数的乐观/悲观最优性条件,并设计单循环算法,证明收敛性,在TV正则化逆问题中验证有效性。
2026-06-18 math.OC
Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization
Department of Computer Science University of Maryland College Park(计算机科学系大学马里兰大学学院公园分校);Department of Computer Science and Engineering University of Texas Arlington(计算机科学与工程系德克萨斯大学阿灵顿分校)
针对现有复合优化方法依赖光滑性假设、无法适配正则化ReLU网络等机器学习问题的局限,提出两种近似平稳点新概念及对应零阶算法,证明有限时间收敛性并通过数值实验验证有效性。
2025-10-06 cs.LG math.OC
Inexact Zeroth-Order Nonsmooth and Nonconvex Stochastic Composite Optimization and Applications
King’s College London(伦敦国王学院);Yale University(耶鲁大学)
本文提出了一种近似零阶方法,用于解决非光滑非凸随机复合优化问题,并展示了其在广泛问题中的应用,超越了现有方法的局限性。
2025-12-10 math.OC
A variant of nonsmooth maximum principle for state constrained problems
我们推导出一个变种的非光滑最大值原理的纯状态约束问题。我们的结果的兴趣在于nonsmoothness本身,因为当应用到光滑问题,它与已知的结果相吻合。值得注意的是,在规范形式,我们的结果具有特殊的功能,是一个充分的最优性条件的线性凸问题,一个功能,经典庞特里亚金最大值原理,而非光滑版本没有。这项工作是不同的文献中以前的工作,因为,对于状态约束问题,我们添加了Weierstrass条件伴随包含使用联合次微分的状态和控制。我们的证明使用了[16]中发展的旧技术,同时吸引了[7]中的新结果。
2013-03-16 math.OC
Proximally Guided Stochastic Subgradient Method for Nonsmooth, Nonconvex Problems
Cornell University(康奈尔大学)
在本文中,我们引入了一个随机投影次梯度方法的弱凸(即,一致正则)非光滑,非凸函数-一个广泛的函数类,包括加法和凸复合类。在高层次上,该方法是一个不精确的邻近点迭代,其中强凸邻近子问题快速解决了一个专门的随机投影次梯度方法。本文的主要贡献是一个简单的证明,该算法收敛速度与光滑非凸问题的随机梯度法相同。这一结果似乎是第一个收敛速度分析的随机(甚至确定性)次梯度法的弱凸函数类。
2018-09-18 cs.LG math.OC
Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex functions
State Key Laboratory of Scientific and Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and University of Chinese Academy of Sciences, China(国家科学工程计算重点实验室,数学系统科学学院,中国科学院,中国科学院大学)
本文提出一个统一去中心化随机子梯度法的框架,为非光滑非凸函数的收敛性提供理论保证,并通过实验验证其在非光滑神经网络训练中的有效性。
2026-01-06 cs.LG math.OC