Beyond Convexity -- Contraction and Global Convergence of Gradient Descent
本文考虑通过非线性收缩理论的镜头,连续时间梯度为基础的优化算法的分析。它表明,在时不变的目标的情况下,大多数基本的结果梯度下降的凸性的基础上,可以取代更一般的结果的基础上收缩。特别是,梯度下降收敛到一个唯一的平衡,如果它的动态收缩在任何度量,与凸的成本对应的特殊情况下收缩的身份度量。更广泛地说,收缩分析为测地线凸优化的情况提供了新的见解,其中欧几里得空间中的非凸问题可以转化为黎曼流形上的凸问题。在这种情况下,自然梯度下降收敛到一个唯一的平衡,如果它是在任何度量收缩,与测地凸的成本对应的收缩在自然度量。使用半收缩的新结果提供了额外的见解的拓扑结构的一组优化的情况下,当存在多个最优。此外,他们还展示了半收缩如何与特定的附加信息相结合,以得出关于动力系统的广泛结论。收缩透视图也很容易扩展到随时间变化的优化设置,并允许人们递归地从更简单的元素中构建大型优化结构。自然的原始对偶优化和博弈论的背景下,进一步说明了这些新的观点的潜在影响。
2022-12-22 math.OC
On the Moreau envelope properties of weakly convex functions
Univ. Bordeaux, CNRS, INRIA, Bordeaux INP, IMB, UMR 5251(波尔多大学、法国国家科学研究中心、法国国家信息与自动化研究所、波尔多理工学院、数学研究所);LTCI, Télécom Paris, IP Paris(电信学院、巴黎理工学院)
本文针对弱凸函数的Moreau包络,梳理总结相关已有研究文献,给出其主要性质及对应证明,为弱凸场景下的优化提供工具参考。
2025-11-13 math.OC
Quadratically Regularized Subgradient Methods for Weakly Convex Optimization with Weakly Convex Constraints
具有非凸约束的最优化模型出现在机器学习中的许多任务中,例如,具有公平性约束的学习或具有非凸损失的Neyman-Pearson分类。虽然许多有效的方法已经开发了理论上的收敛保证非凸无约束问题,它仍然是一个挑战,设计可证明有效的算法,非凸泛函约束问题。本文提出了一类求解约束优化问题的次梯度法,其中目标函数和约束函数都是弱凸非光滑的。我们的方法解决了一系列的强凸子问题,其中一个二次正则化项被添加到目标函数和每个约束函数。每个子问题可以用各种强凸优化算法求解。在一致的斯莱特条件下,我们建立了我们的方法的计算复杂性,寻找一个几乎稳定点。
2023-03-23 math.OC
Weakly Quasar-Convex Optimization
HEC Montréal(蒙特利尔高等商学院);Instituto de Alta Investigación (IAI), Universidad de Tarapacá(塔拉帕卡大学高级研究所)
本文提出弱类拟凸函数概念,建立其理论基础,分析邻近点算法的收敛性与复杂度,构造出不属于现有各类凸性框架的弱类拟凸函数,拓展了凸优化的适用范围。
2026-10-09 math.OC
The Douglas-Rachford Algorithm for Weakly Convex Penalties
Douglas-Rachford算法广泛用于稀疏信号处理中,用于最小化两个凸函数之和。在本文中,我们考虑的情况下,其中一个函数是弱凸的,但另一个是强凸的,使和是凸的。在强凸函数光滑的条件下,给出了相同的Douglas-Rachford迭代收敛的条件.我们还提出了一个修改的道格拉斯-Rachford算法,不施加光滑条件的凸函数。然后,我们提供了一个讨论的收敛速度的两种类型的算法,并证明了讨论的数值实验。
2015-11-12 math.OC
Subgradient methods for sharp weakly convex functions
次梯度法线性收敛于一个凸函数,该函数在远离其解集的地方急剧增长。在这项工作中,我们表明,同样是真实的尖锐的功能,只有弱凸,提供了次梯度方法的初始化在一个固定的管周围的解决方案集。各种各样的统计和信号处理任务都配备了良好的初始化,并可证明会导致弱凸和尖锐的公式。因此,在这种情况下,次梯度方法可以作为廉价的本地搜索程序。我们说明了相位恢复和协方差估计问题上提出的技术。
2018-03-06 math.OC
Accelerated Methods for $α$-Weakly-Quasi-Convex Problems
本文概述$\alpha$-弱拟凸问题,证明序贯子空间优化与Nemirovski共轭梯度法在较弱条件下保持最优收敛速率,优于先前仅限1-弱拟凸的结果。
2023-05-16 math.OC
Zero Order Stochastic Weakly Convex Composite Optimization
本文考虑随机弱凸复合问题,但不存在随机次梯度预言。我们提出了一个导数免费算法,使用两点近似计算的平滑函数的梯度估计。我们证明了收敛速度与最先进的方法相似,但具有较大的常数,并报告了一些数值结果,表明该方法的有效性。
2020-02-19 math.OC
Fast Gradient Methods for Uniformly Convex and Weakly Smooth Problems
本文研究了弱凸光滑凸优化问题的梯度法的加速问题。从普适的快速梯度法出发,对梯度为Hölder连续的弱光滑问题的最优方法进行了适当的动量修正,使其也适用于一致凸和弱光滑问题.与已有的方法不同,本文提出的快速梯度法不使用重新启动技术,而是使用适当设计的动量,以反映目标能量函数的一致凸性和弱光滑性信息.理论和数值结果支持所提出的方法的优越性。
2022-03-08 math.OC
Variable Smoothing for Weakly Convex Composite Functions
本文研究了结构化目标函数的极小化问题,该目标函数是一个光滑函数与一个弱凸函数与一个线性算子的复合函数之和。应用包括图像重建问题的正则化,引入比标准的凸正则化更少的偏见。我们开发了一个可变的平滑算法,基于Moreau包络的平滑参数的递减序列,并证明了一个复杂的$\mathcal{O}(ε^{-3})$实现$ε$ -近似解。该界介于光滑情形的$\mathcal{O}(ε^{-2})$界和次梯度方法的$\mathcal{O}(ε^{-4})$界之间。我们的复杂性界与其他处理弱凸函数的结构非光滑性的工作是一致的。
2021-05-31 math.OC
A Note on Nesterov's Accelerated Method in Nonconvex Optimization: a Weak Estimate Sequence Approach
我们提出了一个变种的加速梯度下降算法,改编自Nesterov的最佳一阶方法,弱拟凸和弱拟强凸函数。我们证明了通过调整所谓的估计序列方法,导出的算法实现了最优的收敛速度的预言复杂度方面的弱拟凸和弱拟强凸。特别地,对于具有Lipschitz连续梯度的弱拟凸函数,我们需要$O(\frac{1}{\sqrt{\varepsilon}})$迭代来获得$\varepsilon$ -解;对于弱拟强凸函数,迭代复杂度为$O\left( \ln\left(\frac{1}{\varepsilon}\right) \right)$。此外,我们讨论了这些算法的线性二次最优控制问题的影响。
2020-06-15 math.OC
Time-Varying Convex Optimization: A Contraction and Equilibrium Tracking Approach
本文提出连续时间时变凸优化的收缩论跟踪框架,证明误差界及前馈预测的指数收敛性,并在三类典型问题中给出最紧收缩率与显式误差界。
2025-01-16 cs.SY eess.SP eess.SY
A distributed Douglas-Rachford splitting method for solving linear constrained multi-block weakly convex problems
本文将分布式 Douglas-Rachford 分裂方法(DDRSM)扩展至线性约束多块弱凸优化问题,通过引入弱凸性与误差界假设证明了其线性收敛速率,并在压缩感知和 RASL 实验中展现出优于增广拉格朗日算法的性能。
2024-11-18 math.OC
On the Convergence of the Iterative Shrinkage/Thresholding Algorithm With a Weakly Convex Penalty
我们考虑迭代收缩/阈值算法(ISTA)适用于一个费用函数组成的数据保真度项和惩罚项。惩罚是非凸的,但是惩罚的增加由数据保真度项来解释,使得总费用函数是凸的。我们提供了一个推广的收敛结果ISTA看作是一个向前向后分裂算法。我们还通过实验证明,对于当前的设置,在ISTA中使用大步长可以比现有的凸情况下提出的方案(如TwIST或FISTA)更快地收敛。
2015-11-12 math.OC
A Smooth Approximation Framework for Weakly Convex Optimization
Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学)
本文提出了一种弱凸优化的平滑近似框架,通过扩展可平滑函数的概念,统一了多种平滑技术,并提供了具有可证明复杂度保证的算法设计方法。
2026-01-25 math.OC
Proximal bundle methods for hybrid weakly convex composite optimization problems
University of Rochester(罗切斯特大学);Georgia Institute of Technology(佐治亚理工学院)
本文通过统一的近邻束框架研究了混合弱凸复合优化问题的迭代复杂度,提出易于验证的站稳性度量替代传统难以检查的站稳条件。
2026-10-19 math.OC
Calculus rules for proximal ε-subdifferentials and inexact proximity operators for weakly convex functions
本文研究弱凸函数的不精确邻近算子,通过将弱凸性模纳入公式推导出邻近ε-次微分的加法规则,从而基于邻近ε-次微分深入分析该算子。
2024-04-23 cs.NA math.NA math.OC
Oracle Complexity of Single-Loop Switching Subgradient Methods for Non-Smooth Weakly Convex Functional Constrained Optimization
University of Iowa(爱荷华大学)
本文首次分析了切换次梯度方法在非光滑弱凸函数约束非凸优化中的预言复杂度,证明该方法能以单循环达到与双循环方法相同的复杂度,且更易实现。
2023-10-28 cs.LG math.OC
Stochastic subgradient method converges at the rate $O(k^{-1/4})$ on weakly convex functions
Cornell University(康奈尔大学);U. Washington(华盛顿大学)
我们证明了,近端随机次梯度方法,适用于弱凸问题,驱动器的Moreau包络的梯度为零的速度$O(k^{-1/4})$。因此,我们解决了一个公开的问题上的收敛速度的最近随机梯度法的光滑非凸函数和凸逼近函数的总和最小化。
2018-02-19 cs.LG math.OC
Optimal Oracle Complexity for Weakly Convex Optimization
Sauder School of Business, The University of British Columbia(不列颠哥伦比亚大学 Sauder 商学院)
该研究确立了弱凸优化的最优确定性神谕复杂度,揭示了光滑非凸与非光滑弱凸优化间的复杂度差异,为相关优化问题的算法设计提供了理论依据。
2026-11-16 math.OC
Outer Approximation Scheme for Weakly Convex Constrained Optimization Problems
本文提出一种基于二次割平面的新型外逼近方法求解弱凸约束优化问题,通过每次迭代求解QCQP问题,证明收敛子序列收敛至全局极小值,并应用于圆形装箱和Neyman-Pearson分类问题。
2024-09-23 math.OC
ADMM and Linearized ADMM for Weakly Convex Minimization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Southern Methodist University(南方卫理公会大学)
针对光滑凸项加弱凸非光滑项的优化问题,提出 ADMM 及线性化 LADMM 分裂算法,证明收敛到方向稳定解,实验验证高效且解质量与基线相当。
2026-09-14 math.OC
A Projected Variable Smoothing for Weakly Convex Optimization and Supremum Functions
本文研究闭子空间上光滑与弱凸复合函数之和的优化问题,提出投影变平滑算法并证明O(ε^-3)复杂度界,同时推导弱凸上确界函数的邻近算子,成功应用于分布鲁棒优化、带约束LASSO及最大离散问题。
2025-02-01 math.OC
First-order Convergence Theory for Weakly-Convex-Weakly-Concave Min-max Problems
本文考虑一类非凸非凹极小极大鞍点问题的一阶收敛理论和算法,其目标函数对极小化变量是弱凸的,对极大化变量是弱凹的.它在机器学习中有许多重要的应用,包括训练生成对抗网络(GANs)。我们提出了一个基于非精确邻近点方法的算法框架,其中通过近似求解一系列强单调变分不等式(VI)来求解对应于原始min-max问题的弱单调变分不等式(VI),所述强单调变分不等式是通过在原始梯度映射上添加一个强单调映射来构造的.我们证明了一阶收敛到一个几乎固定的解决方案,原来的最小最大问题的通用算法框架,并建立不同的利率,采用不同的算法来解决每个强单调VI。实验结果验证了算法的收敛性,同时也证明了所提方法对训练GANs的有效性。
2021-07-07 math.OC stat.ML
Forward-Backward algorithms for weakly convex problems
该研究针对希尔伯特空间上的弱凸函数最小化问题,分析了精确与非精确前向-后向算法的收敛性,证明锐度条件下的收敛表现,并通过离散断层成像数值实验验证了框架的应用价值。
2024-06-21 math.OC
Global solutions for the sensors placement problem via weakly convex optimization
Systems Research Institute, Polish Academy of Sciences(波兰科学院系统研究所);Space Research Centre, Polish Academy of Sciences(波兰科学院空间研究中心)
研究在不知潜在动力学时最优放置有限传感器重建高维信号的问题,将其转化为弱凸约束投影问题,用不精确切割球算法计算ε全局解,还提出逆切割球算法,并用NACA翼型压力重建评估框架。
2026-09-09 math.OC
Proximal methods avoid active strict saddles of weakly convex functions
Cornell University(康奈尔大学);University of Washington(华盛顿大学)
我们引入了非光滑函数的一个几何透明严格鞍性质。这个性质保证了弱凸问题的简单近似算法在随机初始化时只收敛到局部极小。我们认为,严格鞍性质可能是一个现实的假设,在应用中,因为它可证明为一般的半代数最优化问题成立。
2021-02-16 cs.LG math.OC stat.ML
Convex optimization based on global lower second-order models
本文提出了一种求解复合凸优化的新的二阶算法,称为收缩域牛顿法。这些算法是仿射不变的,并基于全局二阶下近似的光滑部分的目标。我们的方法有一个解释作为二阶推广的条件梯度法,或作为一个变体的信赖域计划。在问题域有界的假设下,证明了$\mathcal{O}(1/k^{2})$在函数残差下的全局收敛速度,其中$k$是迭代计数器,极小化具有Lipschitz连续Hessian的凸函数.这显著地改进了这种类型的算法的先前已知的界$\mathcal{O}(1/k)$。此外,我们提出了一个随机扩展我们的方法,并提出计算结果解决经验风险最小化问题。
2020-12-21 math.OC
Characterization of the equality of weak efficiency and efficiency on convex free disposal hulls
在用标量化技术求解多目标最优化问题时,标量化问题的解一般是弱有效的,而不是原问题的有效解。因此,理解什么问题确保所有弱有效解都是有效的是至关重要的。本文在定义域的自由处理壳为凸的条件下,给出了弱有效集与有效集相等的一个刻划。通过使用这个特征,我们得到各种数学应用。作为一个实际应用,我们证明了多目标LASSO的所有弱有效解都是有效的。
2021-03-05 math.OC
Stochastic Methods for Composite and Weakly Convex Optimization Problems
我们考虑随机泛函的最小化,是一个(潜在的)非光滑凸函数$h$和光滑函数$c$的组合物,更一般地说,随机弱凸泛函。我们开发了一个家庭的随机方法-包括一个随机的非线性算法和随机(广义)次梯度过程-并证明,在温和的技术条件下,每个收敛到一阶平稳点的随机目标。我们提供的实验进一步调查我们的方法对非光滑相位恢复问题,实验表明的程序的实际有效性。
2018-09-21 math.OC math.ST stat.TH
Primal-Dual Halpern-PAGE Algorithm for Constrained Stochastic Weakly Convex Optimization
针对混合约束随机弱凸优化问题,提出单循环原对偶Halpern-PAGE算法,实现最优样本复杂度O(ε^{-3}),并利用广义MFCQ和Hoffman误差界保证无截断的KKT残差度量下的稳定性。
2026-08-11 math.OC
Convergence Analysis of the ProbAbilistic Gradient Estimator Algorithm for Weakly Convex Finite-Sum Optimization
King Abdullah University of Science and Technology(卡斯特大学)
研究概率梯度估计器算法(PAGE)在τ-弱凸函数框架下,给出非凸和平凸情况间连续插值,建立新收敛率,表明随τ减小复杂度改善。
2026-07-07 cs.LG math.OC
Minibatch and Momentum Model-based Methods for Stochastic Weakly Convex Optimization
Shanghai University of Finance and Economics(上海财经大学)
基于随机模型的方法由于其对步长选择的鲁棒性和可证明的效率保证而受到越来越多的关注。对随机弱凸优化的模型基方法进行了两个重要的改进。首先,我们提出了新的minibatch基于模型的方法,涉及一组样本近似模型函数在每次迭代。对于第一次,我们表明,随机算法实现线性加速的批量大小,即使是非光滑和非凸(特别是,弱凸)的问题。为此,我们开发了一种新的灵敏度分析的近端映射参与每个算法迭代。我们的分析似乎是在更一般的设置独立的利益。其次,在动量随机梯度下降算法成功的基础上,提出了一种新的基于模型的随机外推算法,将经典的Polyak动量算法扩展到更广泛的弱凸优化随机算法中。在相当灵活的外推项范围内建立了到某些自然平稳性条件的收敛速率。在主要研究弱凸优化的同时,我们也将工作扩展到了凸优化。我们应用小批量和外推模型为基础的方法随机凸优化,我们提供了一个新的复杂性界和有前途的线性加速批量大小。此外,基于Nesterov的动量的加速模型为基础的方法,我们建立了一个最佳的复杂性界达到最优。
2021-11-13 cs.LG math.OC
On the Convergence of Proximal Algorithms for Weakly-convex Min-max Optimization
Univ. Bordeaux(波尔多大学);CNRS, Bordeaux INP, IMB, UMR 5251(法国国家科学研究中心,波尔多理工学院,IMB)
本文研究了非凸-强凹极小-极大问题中无内环的一阶交替算法,通过简化证明方法证明了交替梯度下降-上升算法的收敛性,并扩展了可接受步长集,进一步证明了弱凸-强凹情形下的双近端算法收敛性,为神经网络在正则化成像反问题中的应用提供了新途径。
2026-09-28 math.OC
Escaping Saddle Points for Nonsmooth Weakly Convex Functions via Perturbed Proximal Algorithms
Department of Electrical and Computer Engineering, University of California, Davis(加州大学戴维斯分校电气与计算机工程系);Simon Business School, University of Rochester(罗切斯特大学西蒙商学院)
本文提出扰动近端算法,用于逃离非光滑弱凸函数的严格鞍点,并证明在标准假设下可在O(ε^{-2}log(d)^4)次迭代内找到ε-近似局部最小值。
2025-07-19 cs.LG math.OC
Fast Frank--Wolfe Algorithms with Adaptive Bregman Step-Size for Weakly Convex Functions
The University of Tokyo(东京大学);Zuse Institute Berlin(柏林祖斯研究所);Technische Universität Berlin(柏林工业大学);RIKEN AIP(理化学研究所先进智能研究中心)
本文提出了一种适用于弱凸函数的快速Frank-Wolfe算法,通过自适应Bregman步长策略实现更宽松的收敛保证和更快的收敛速度。
2026-02-18 math.OC
Incremental Methods for Weakly Convex Optimization
增量方法被广泛用于解决机器学习和信号处理中的有限和最优化问题。本文研究了一类求解弱凸优化问题的增量方法,包括增量次梯度法、增量邻近点法和增量非线性方法。这样的问题类涵盖了工程领域中出现的许多非光滑非凸的情况。我们表明,这三个增量方法有一个迭代复杂度为$O(\varepsilon^{-4})$驱动自然平稳性措施低于$\varepsilon$。此外,我们表明,如果弱凸函数满足一个清晰度条件,那么所有三个增量方法,当适当初始化和配备几何递减步长,可以实现局部线性收敛速率。我们的工作是第一个扩展的收敛速度分析的增量方法从非光滑凸制度的弱凸制度。最后,我们对鲁棒矩阵传感问题进行了数值实验,以说明这三种增量方法的收敛性能。
2022-12-23 cs.IT math.IT math.OC
Stochastic Weakly Convex Optimization Beyond Lipschitz Continuity
Stanford University(斯坦福大学);Shanghai University of Finance and Economics(上海财经大学)
本文提出自适应正则化策略,使随机弱凸优化算法在无Lipschitz连续性假设下仍保持O(1/√K)收敛率,并放宽了Lipschitz参数的约束条件。
2024-11-05 cs.LG math.OC
Error bounds, PL condition, and quadratic growth for weakly convex functions, and linear convergences of proximal point methods
University of California San Diego(加州大学圣地亚哥分校)
本文研究了弱凸函数中误差界、PL条件和二次增长等正则条件之间的关系,并证明了近点法在凸和弱凸优化问题中的线性收敛性。
2026-02-03 cs.SY eess.SY math.OC
Distributed Stochastic Optimization for Non-Smooth and Weakly Convex Problems under Heavy-Tailed Noise
针对重尾噪声下方差无界且现有分布式算法多限于凸光滑问题的不足,提出一种基于裁剪、适用于非光滑弱凸问题的分布式随机优化算法,并证明收敛性、给出参数条件,实验验证其有效性。
2025-05-14 math.OC
A Proximal Variable Smoothing for Nonsmooth Minimization Involving Weakly Convex Composite with MIMO Application
针对含弱凸复合函数的非光滑优化问题,提出一种基于Moreau包络的时变前向-后向近端变量平滑算法,提供了平稳点收敛性分析,并应用于MIMO信号检测验证了其有效性。
2025-01-23 math.OC
On Distributed Non-convex Optimization: Projected Subgradient Method For Weakly Convex Problems in Networks
Texas A&M University(德克萨斯农工大学)
随机次梯度法是一种广泛应用于解决机器学习中大规模最优化问题的算法。通常这些问题既不光滑也不凸。最近,Davis等人。[1-2]描述了弱凸情况下随机次梯度方法的收敛性,其中包括许多重要应用(例如,鲁棒相位恢复、盲去卷积、双凸压缩感测和字典学习)。在实践中,分布式实现的投影随机次梯度法(stoDPSM)被用来加快风险最小化。在本文中,我们提出了一个分布式实现的随机次梯度方法的理论保证。具体而言,我们展示了整体收敛的stoDPSM使用莫罗包络平稳性措施。此外,在一个所谓的锐度条件下,我们表明,确定性DPSM(与适当的初始化)线性收敛到尖锐的最小值,使用几何递减的步长。我们提供了数值实验来支持我们的理论分析。
2021-02-23 cs.LG math.OC stat.ML
All unconstrained strongly convex problems are weakly simplicial
Kyushu Sangyo University(九州产业大学);KLab Inc.(KLab公司);RIKEN(理化学研究所);Tokyo Institute of Technology(东京工业大学)
一个多目标最优化问题是$C^r$弱单纯的,如果存在从单纯形到Pareto集/阵面的$C^r$满射,使得每个子单纯形的像是子问题的Pareto集/阵面,其中$0\leq r\leq \infty$。这个性质有助于计算整个Pareto集和Pareto前沿的参数曲面近似。已知所有无约束强凸$C^r$问题对于$1\leq r \leq \infty$都是$C^{r-1}$弱单纯的.本文证明了所有无约束强凸问题都是$C^0$弱单纯的.该定理的有用性在稀疏建模应用中得到了证明:我们将弹性网络重新表示为不可微的多目标强凸问题,并通过使用Bézier单纯形拟合方法来近似其Pareto集(具有不同超参数的所有训练模型的集合)和Pareto前沿(训练模型的性能指标集),这加速了超参数搜索。
2021-06-24 cs.LG math.OC
Primal-dual algorithm for weakly convex functions under sharpness conditions
针对弱凸复合优化问题,本文提出改进对偶间隙函数,并在其尖锐性条件下确定原始-对偶算法在鞍点附近的收敛区域,且通过数值算例及图像去噪、去模糊应用验证结果。
2024-10-28 cs.NA math.NA math.OC
Convergence of adaptive algorithms for weakly convex constrained optimization
EPFL(洛桑联邦理工学院)
分析了求解弱凸约束随机最优化问题的自适应一阶算法AMSGrad。我们证明了$\mathcal{\tilde O}(t^{-1/4})$的Moreau包络,这是这类问题的标准平稳性措施的梯度的范数的收敛速度。它与自适应算法在无约束光滑随机最优化的特定情况下所享有的已知速率相匹配。我们的分析与小批量大小的$1$,恒定的一阶和二阶矩参数,并可能无界的优化域。最后,我们说明了我们的结果的应用和扩展到特定的问题和算法。
2020-06-11 cs.LG math.OC stat.ML
Weakly-Convex Concave Min-Max Optimization: Provable Algorithms and Applications in Machine Learning
The University of Iowa(爱荷华大学)
最小-最大问题在机器学习中有着广泛的应用,包括不可分解损失的学习和对数据分布具有鲁棒性的学习。凸-凹极大极小问题是一个非常活跃的研究课题,有着良好的理论基础和有效的算法。然而,它仍然是一个挑战,设计可证明有效的算法为非凸的最小-最大问题的光滑或不光滑。本文研究了一类非凸极小极大问题,其目标函数对于极小化变量是弱凸的,对于极大化变量是凹的。我们提出了一个近端引导的随机次梯度方法和近端引导的随机方差减少的方法,分别为非光滑和光滑的情况下,在这个家庭的问题。我们分析了所提出的方法的时间复杂性,找到一个几乎稳定点的外部最小化问题对应的最小-最大问题。
2021-05-11 cs.LG math.OC
Moreau Envelope Based Difference-of-weakly-Convex Reformulation and Algorithm for Bilevel Programs
University of British Columbia(不列颠哥伦比亚大学);University of Victoria(维多利亚大学);Southern University of Science and Technology(南方科技大学);National Center for Applied Mathematics Shenzhen(深圳国家应用数学中心);Peng Cheng Laboratory(鹏城实验室)
针对双层规划,本文利用下层问题的Moreau包络将其重构为单层弱凸差问题,提出序列收敛的iP-DwCA,并在核支持向量机超参数调优实验中验证效果。
2024-01-20 cs.LG math.OC
A constraint-based approach to function interpolation, with application to performance estimation for weakly convex optimisation
提出一种基于代数层面的函数插值约束获取方法,为有界次梯度的弱凸函数类推导插值约束,并借此改进了次梯度方法的性能界限。
2025-09-15 math.OC
Distributionally Robust Learning with Weakly Convex Losses: Convergence Rates and Finite-Sample Guarantees
针对分布鲁棒随机优化问题,构建均值-半偏差风险度量下的两层组合优化框架,提出含两种内函数跟踪的单时间尺度算法,证明$\u27e8(\u03b5^{-3})$的样本复杂度并通过实验验证性能。
2023-06-09 math.OC math.ST stat.TH
Inexact proximal methods for weakly convex functions
本文提出不精确近端方法求解光滑与弱凸非光滑函数之和的稳定点,基于连续映射求零点框架,证明了近端点法与近端梯度法在KL性质下的全局收敛性与构造性收敛速率。
2023-08-04 math.OC
Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems
Amirkabir University of Technology(阿米尔卡比尔理工大学);University of Florida(佛罗里达大学)
在本文中,我们设计并分析了一族新的自适应次梯度方法,用于求解一类重要的弱凸(可能非光滑)随机最优化问题。使用过去梯度的指数移动平均值来更新搜索方向和学习速率的自适应方法最近吸引了大量关注,用于解决机器学习中出现的最优化问题。然而,它们的收敛性分析几乎完全需要目标函数的光滑性和/或凸性。与此相反,我们建立了一阶和零阶自适应方法及其近似变量的非渐近收敛速度为一个合理的广泛的非光滑\非凸最优化问题。实验结果表明,所提出的算法如何经验优于随机梯度下降及其零阶变量解决这样的最优化问题。
2020-05-24 cs.LG math.OC stat.ML
On Nonsmooth and Relatively Weakly Convex Minimization
University of Minnesota(明尼苏达大学)
本文研究非光滑非凸复合优化问题,提出满足次梯度上界条件的确定性Bregman邻近次梯度方法,放宽正则项凸性要求,还拓展出随机场景下收敛速率为$\text{O}(\text{ε}^{-4})$的基于模型的最小化方法及随机预言机访问场景的框架。
2026-08-31 math.OC
Minimization of Nonsmooth Weakly Convex Function over Prox-regular Set for Robust Low-rank Matrix Recovery
Institute of Science Tokyo(东京科学大学)
本文提出了一种基于弱凸函数的非凸非光滑优化模型,用于鲁棒低秩矩阵恢复,通过投影变量平滑算法和收敛性分析,提升了对异常值的鲁棒性。
2026-02-02 eess.SP math.OC
Moreau Envelope ADMM for Decentralized Weakly Convex Optimization
Norwegian University of Science and Technology(挪威科技大学);Linköping University(林雪平大学);Aalto University(阿尔托大学)
本文提出一种基于 Moreau 包络的 ADMM 近端变体(MADM),用于分布式弱凸优化,证明其在温和条件下收敛到稳定点,且数值实验显示该方法比现有方法更快更稳健。
2023-08-31 cs.LG math.OC