Observability as a constraint qualification for a nonsmooth bilevel PDE-constrained problem
University of Graz（格拉茨大学）
受图像重建参数识别实验设计启发，该研究针对下层含稀疏反演的双层PDE约束问题，以可观测性或接触集Lebesgue零性为约束规格推导最优性条件，构造简化梯度法并通过数值实验验证。
2026-10-16 math.OC
A fresh look at nonsmooth Levenberg--Marquardt methods with applications to bilevel optimization
本文提出基于Newton可微性的非光滑Levenberg–Marquardt方法，无需数据函数局部Lipschitz性，将其应用于超定混合非线性互补系统与双层优化问题，给出收敛条件并通过实验验证惩罚参数作为额外变量的效果。
2023-11-09 math.OC
Methodology and first-order algorithms for solving nonsmooth and non-strongly convex bilevel optimization problems
简单的双层问题是一种最优化问题，我们希望找到一个内部问题的最优解，使外部目标函数最小化。这些问题出现在许多机器学习和信号处理应用中，作为消除不期望的解决方案的一种方式。然而，由于这些问题不满足正则性条件，它们通常很难精确求解，通常通过迭代正则化来求解。在过去的几年中，提出了一些算法来解决这些双层问题直接和提供一个速度获得可行性，假设外函数是强凸的。在我们的工作中，我们提出了一种新的方法，设计了简单的外部功能，如$l_1$规范，这是不需要光滑或强凸的双层问题。在我们新的迭代近似和水平集扩展（ITALEX）方法中，我们在扩展外部函数的水平集和近似优化该水平集上的内部问题之间交替。我们表明，通过一阶方法，如近似梯度和广义条件梯度优化的内部函数的结果在可行的收敛速度$O(1/k)$，这是迄今为止，只有通过两层算法实现的速度光滑和强凸的外部功能。此外，我们证明了$O(1/\sqrt{k})$收敛速率的外部功能，相反，现有的方法，只提供渐近保证。我们通过数值实验证明了这种性能。
2022-12-19 math.OC
Second-Order Optimality Conditions for Nonsmooth Constrained Optimization with Applications to Bilevel Programming
本文针对目标与约束函数均 Lipschitz 连续且二阶方向可微的非光滑优化问题，提出无凸性假设的无间隙二阶最优性条件，并应用于双层优化，在无需下层乘子唯一性条件下导出最优性条件。
2025-11-04 math.OC
A Hybrid Subgradient Method for Nonsmooth Nonconvex Bilevel Optimization
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen University（深圳大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
本文提出一种混合子梯度法，结合双时间尺度动量加速子梯度法和可行性恢复方案，解决非凸双层优化问题，实现全局收敛性和高效计算。
2026-09-01 math.OC
Necessary Optimality Conditions for Bilevel Programming using Tangential Subdifferentials
School of Mathematics, Hunan University（湖南大学数学学院）
本文利用切向次微分推导非光滑双层规划的必要最优性条件，提出序贯增强切向 Fritz--John 条件及相应 KKT 系统，并研究切向约束规范以保证其有效性，最后应用于值函数重构。
2026-09-30 math.OC
Unified Smoothing Approach for Best Hyperparameter Selection Problem Using a Bilevel Optimization Strategy
针对 $\ell_p$ 正则项超参数选择的非光滑双层问题，提出更紧的双层 KKT 条件及基于 Chen-Mangasarian 类光滑函数的统一光滑化算法。
2023-04-20 math.OC
Smoothing algorithms for nonsmooth and nonconvex minimization over the stiefel manifold
考虑Stiefel流形上一类非光滑非凸最优化问题，其中目标函数是由一个非凸光滑函数和一个由线性映射构成的非光滑Lipschitz连续凸函数之和.我们提出了三个数值算法来解决这个问题，通过结合平滑方法和一些现有的算法光滑优化Stiefel流形。特别地，我们在光滑化方法中用Moreau包络逼近了上述非光滑凸函数，并证明了Moreau包络具有许多有利的性质。由于这一点和计划更新的平滑参数，我们表明，所提出的算法产生的解决方案序列的任何积累点是一个固定点的原始最优化问题。在构建图傅立叶基上的数值实验证明了所提算法的有效性。
2023-03-25 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题，其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符，或者具有可以使用[Nesterov，2005]中的平滑技术的最大结构。为了解决这类问题，我们提出了一个自适应平滑小批量随机加速梯度（AdaSMSAG）方法，它结合了随机逼近方法，Nesterov的加速梯度法，和平滑方法，允许一般平滑近似。建立了该方法的收敛性。此外，最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明，建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Fast inertial dynamic algorithm with smoothing method for nonsmooth convex optimization
为了求解非光滑凸函数的极小化问题，设计了一种惯性二阶动力学算法，该算法通过用一类光滑函数逼近非光滑函数而得到。通过研究动态算法的渐近性态，证明了在适当的光滑参数条件下，动态算法的每条轨迹都弱收敛于最优解，且目标函数值的收敛速度为o（t^-2）.我们还证明了该算法是稳定的，即当扰动项满足一定条件时，这种带扰动项的动态算法具有相同的收敛性质。最后，我们通过数值实验验证了理论结果。
2021-12-17 math.OC
A smoothing Anderson acceleration algorithm for nonsmooth fixed point problems with linear convergence
Harbin Institute of Technology（哈尔滨工业大学）
针对非光滑压缩不动点问题，提出自适应更新光滑参数的Smoothing Anderson(m)算法，证明其r-线性收敛性及两种一阶变体的q-线性收敛性，数值实验验证了该算法更优的性能。
2026-10-09 math.OC
Riemannian Smoothing Gradient Type Algorithms]{Riemannian Smoothing Gradient Type Algorithms for Nonsmooth Optimization Problem on Compact Riemannian Submanifold Embedded in Euclidean Space
本文针对嵌入欧氏空间的紧黎曼子流形上的非凸非光滑复合优化问题，提出基于Moreau包络的黎曼光滑化梯度型算法，并证明其迭代复杂度分别达到O(ε^{-3})和O(ε^{-5})。
2023-10-29 math.OC
Solving Nonsmooth Bi-Objective Environmental andEconomic Dispatch Problem using Smoothing Techniques
环境经济调度问题（EEDP）是一个同时满足多个矛盾准则的非线性多目标最优化问题（MOP），并且考虑了阀点效应、多燃料效应和禁止运行区等因素，是一个非光滑问题。在满足所有运行约束条件的前提下，如何在发电机组之间进行发电量分配，使燃料成本和污染（排放水平）同时得到优化，是火电厂运行中的一项重要优化任务。本文利用具有梯度一致性的光滑函数来逼近非光滑多目标最优化问题。我们的方法是基于平滑方法。实际上，我们用近似的Karush-Kuhn-Tucker条件解释了光滑方法的收敛性分析，该条件是局部弱有效解的必要条件，在凸性假设下也是充分条件.最后，我们给出了我们的方法求解双目标EEDP的应用。
2020-03-12 math.OC
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化，提出一种保证变量可行性的光滑加速投影梯度方法，通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率，并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
On the role of semismoothness in the implicit programming approach to selected nonsmooth optimization problems
Institute of Information Theory and Automation, Czech Academy of Sciences（捷克科学院信息论与自动化研究所）；Johann Radon Institute for Computational and Applied Mathematics (RICAM), Austrian Academy of Sciences（奥地利科学院约翰·拉登计算与应用数学研究所）；School of Mathematics, University of Birmingham（伯明翰大学数学学院）
本文研究隐式规划方法求解一类具有平衡约束的数学规划（MPEC）和双层规划问题，采用非光滑优化的束方法，利用SCD映射提供易计算的伪次梯度，确保收敛到满足平稳条件的点，并通过三个算例验证方法的有效性。
2026-05-30 math.OC
A Smoothing Accelerated Proximal Gradient Method with Nonmonotone Backtracking Strategy for Convex Nonsmooth Composite Multiobjective Optimization
针对含两个非光滑项的复合多目标优化问题，提出基于 Lipschitz 估计与平滑因子联动回溯的平滑加速近似梯度算法，证明弱 Pareto 收敛性与收敛速率，实验显示其效率优于次梯度算法。
2026-10-27 math.OC
Stochastic smoothing accelerated gradient method for general constrained nonsmooth convex composite optimization
Beijing Jiaotong University（北京交通大学）
本文提出了一种随机平滑加速梯度方法，用于解决一般约束非光滑凸复合优化问题，通过可变样本大小实现最优迭代和SFO复杂度。
2026-01-31 math.OC
A variable smoothing for Nonconvexly constrained nonsmooth optimization with application to sparse spectral clustering
本文提出一种变量平滑算法，通过将非凸约束参数化为欧几里得空间并利用 Moreau 包络平滑非光滑项，求解非凸约束非光滑优化问题，并应用于稀疏谱聚类。
2024-04-03 math.OC
A Fast Smoothing Newton Method for Bilevel Hyperparameter Optimization for SVC with Logistic Loss
本文将带 logistic 损失的 SVC 超参数选择建模为双层优化并转化为含互补约束的单层 NLP，提出光滑化 Newton 方法，证明其超线性收敛且能高效获得严格局部极小点。
2023-08-17 math.OC
Bi-ZOL: Bilevel Zeroth-Order Learning with Nonsmooth Responses
ETH Zurich（苏黎世联邦理工学院）
针对下层约束双层优化中响应非光滑且模型信息不可用的问题，提出结构引导的零阶方法Bi-ZOL，分离链式法则结构估计超梯度，证明收敛性，实验显示优于普通零阶平滑。
2026-09-09 cs.SY eess.SY math.OC
Smoothing Accelerated Proximal Gradient Method with Fast Convergence Rate for Nonsmooth Multi-objective Optimization
本文提出带外推项的平滑加速近端梯度法（SAPGM）求解非光滑多目标优化，通过引入特定外推项将收敛速率提升至 $o(\ln^σk/k)$，并证明迭代序列收敛到Pareto最优解，数值实验验证了方法有效性。
2024-10-18 math.OC
Frank-Wolfe with Moreau Envelope Smoothing for Nonsmooth Nonconvex Problems
CentraleSupélec（中央苏佩莱克高等学院）；Università di Genova（热那亚大学）；James Madison University（詹姆斯麦迪逊大学）
提出 FRAMES 算法，通过 Moreau 包络迭代平滑后每步执行一次 Frank-Wolfe 步骤，解决非光滑非凸约束优化问题，证明收敛速率并改进先前分析。
2026-05-30 math.OC
Smoothing Iterative Consensus-based Optimization Algorithm for Nonsmooth Nonconvex Optimization Problems with Global Optimality
针对无约束非光滑非凸优化的全局极小值求解问题，结合平滑与共识优化方法提出新型SICBO算法，证明其指数收敛性与全局最优性理论保证，且适用于非利普希茨连续情形，数值实验验证了算法有效性。
2025-01-13 math.OC
Anderson Acceleration for Nonsmooth Fixed Point Problems
本文给出了复合$\max$不动点问题Anderson加速算法的新的收敛性结果。我们证明了Anderson（1）和EDIIS（1）是q-线性收敛的，且q-因子比已有的q-因子小.此外，我们提出了一个光滑的压缩不动点问题的复合极大值函数的近似。我们证明了光滑逼近是一个压缩映射，其不动点与复合$\max$不动点问题相同。我们的结果严格地证实了非光滑性不影响安德森加速方法的收敛速度时，我们使用的复合$\max$不动点问题的光滑逼近。对约束极大极小问题、互补性问题和非光滑微分方程的数值结果表明，所提出的光滑逼近的Anderson加速方法是有效的.
2022-09-21 math.OC
Adaptive Riemannian ADMM for Nonsmooth Optimization: Optimal Complexity without Smoothing
针对紧致黎曼子流形上的光滑与非光滑凸复合优化问题，提出无需平滑非光滑项的自适应 ARADMM，每次迭代仅需一次梯度求值和一次近端更新，并达到 O(ε^-3) 的最优 KKT 复杂度。
2025-10-21 math.OC
Locally Linear Convergence for Nonsmooth Convex Optimization via Coupled Smoothing and Momentum
Delft University of Technology（代尔夫特理工大学）；the University of Toronto（多伦多大学）
本文提出了一种自适应加速平滑技术，用于非光滑凸优化问题，结合动量参数与平滑更新规则，证明了全局亚线性收敛O(1/k)和局部线性收敛性，验证了在Lasso、稀疏半正定规划等问题中的性能。
2026-04-20 math.OC
Fully Zeroth-Order Bilevel Programming via Gaussian Smoothing
Oregon State University（俄勒冈州立大学）；University of Waterloo（滑铁卢大学）
本文针对上下层目标值及梯度均不可用的双层优化问题，提出基于Stein恒等式与高斯平滑的全零阶随机近似算法，并首次给出非渐近收敛性与样本复杂度界。
2024-03-29 cs.LG math.OC
Bilevel Programming Approach for Image Restoration Problems with Automatically Hyperparameter Selection
School of Mathematics and Statistics, Henan University（河南大学数学与统计学院）；Center for Applied Mathematics of Henan Province, Henan University（河南省应用数学中心，河南大学）；School of Nursing and Health, Henan University（河南大学护理与健康学院）；School of Software, Henan University（河南大学软件学院）
本文提出双层规划方法自动选择图像恢复中的超参数，通过非光滑凸规划问题和交替方向乘子法实现高效恢复，实验表明其在恢复质量与计算时间上优于其他方法。
2026-04-02 math.OC
Penalty-Based Smoothing and Accelerated Inertial Dynamics for Convex Supremum Optimization
University of Limoges（利摩日大学）；Universidad de O’Higgins（奥希金斯大学）；Universidad de Chile（智利大学）
本文提出了一种基于惩罚的平滑方法，用于加速非光滑凸函数的优化，并通过惯性动力学实现加速收敛。
2026-10-30 math.OC
A Smoothing Consensus-Based Optimization Algorithm for Nonsmooth Nonconvex Optimization
针对传统基于共识的优化算法收敛分析受限于光滑目标函数的问题，提出结合平滑方法的新型CBO算法，可求解非凸非光滑非利普希茨连续最小化问题，给出理论分析与误差估计，并通过数值实验验证其性能。
2025-01-12 math.OC
Optimality Conditions and Duality for Multiobjective Fractional Bilevel Optimization Problems
本文提出了一种多目标分数双层优化问题的最优性条件与对偶性研究方法，利用非光滑约束资格条件和广义凸性概念，建立了更精细的最优性条件并证明了对偶定理。
2025-11-22 math.OC
An inertial extrapolation method for convex simple bilevel optimization
我们考虑一个标量目标极小化问题在另一个最优化问题的解集上。该问题被称为简单二层最优化问题，在过去几年中引起了人们的广泛关注。我们的内部问题是最小化光滑函数和非光滑函数之和，而外部问题是最小化光滑凸函数。我们提出并建立了一个不动点的惯性外推迭代法来解决这个问题的收敛性。我们的数值实验表明，本文提出的方法优于目前最知名的算法来解决这类问题的考虑。
2018-09-17 math.OC
A Proximal Variable Smoothing for Nonsmooth Minimization Involving Weakly Convex Composite with MIMO Application
针对含弱凸复合函数的非光滑优化问题，提出一种基于Moreau包络的时变前向-后向近端变量平滑算法，提供了平稳点收敛性分析，并应用于MIMO信号检测验证了其有效性。
2025-01-23 math.OC
Smoothing Proximal Gradient Methods for Nonsmooth Sparsity Constrained Optimization: Optimality Conditions and Global Convergence
针对非光滑稀疏约束优化现有方法的局限，提出两种平滑近似梯度方法变体，证明其最优性与收敛速率理论界达到现有最优水平，且实验中SPGM-BCD性能优于现有IHT类方法。
2023-12-15 math.OC
Regularized extragradient method for structured bilevel optimization in continuous and discrete time
University of Vienna（维也纳大学）
本文针对实希尔伯特空间中的结构化双层优化问题，提出正则化外梯度算法，在合适几何条件下证明了内外残差的最后迭代收敛速率及迭代序列的弱收敛性。
2026-09-28 math.OC
Revisiting Randomized Smoothing: Nonsmooth Nonconvex Optimization Beyond Global Lipschitz Continuity
针对随机平滑优化依赖全局Lipschitz条件的局限，提出新的次梯度增长条件及随机平滑梯度算法，实现高效收敛并匹配最优样本复杂度。
2025-09-09 math.OC
Nesterov's Smoothing Technique and Minimizing Differences of Convex Functions for Hierarchical Clustering
在设计最优多播网络时，通常采用两层层次聚类模型。在本文中，我们考虑两种不同的配方的双层分层聚类问题，一个离散最优化问题，可以被证明是NP-难的。我们的方法是通过对离散性条件进行一些放松，将问题转化为一个连续的最优化问题。然后，Nesterov的光滑技术和一个数值算法，用于最小化的差异的凸函数称为DCA处理的非光滑性和非凸性的问题。数值例子来说明我们的方法。
2017-03-06 math.OC
Regularized Operator Extrapolation Method For Stochastic Bilevel Variational Inequality Problems
本文提出单循环R-OpEx方法求解随机单调BVI，结合Tikhonov正则化与算子外推，并在多种光滑性、随机性和强单调设定下给出改进复杂度保证。
2025-05-14 math.OC
Enhanced Bilevel Optimization via Bregman Distance
University of Pittsburgh（匹兹堡大学）；Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
近年来，双层优化已经被用于许多机器学习问题，如超参数优化，策略优化和Meta学习。虽然已经提出了许多两层最优化方法，但它们仍然具有高计算复杂性，并且没有考虑更一般的非光滑正则化两层问题。本文利用Bregman距离提出了一类改进的双层最优化方法，用于求解外层子问题为非凸且可能非光滑，内层子问题为强凸的双层最优化问题.具体来说，我们提出了一个双层最优化方法的基础上Bregman距离（生物BreD）来解决确定性的双层问题，它实现了较低的计算复杂性比最好的已知结果。同时，我们还提出了一种基于随机近似梯度和Bregman距离的随机双层最优化方法（SBiO-BreD）来求解随机双层问题。此外，我们进一步提出了一个加速版本的SBiO-BreD方法（ASBiO-BreD）使用方差减少技术，它可以实现一个较低的计算复杂度比最好的已知的计算复杂性度相对于条件数$κ$和目标精度$ε$寻找一个$ε$ -平稳点。我们进行数据超清洗任务和超表示学习任务，以证明我们的新算法优于相关的双层优化方法。
2022-10-26 cs.LG math.OC
Inexact Direct-Search Methods for Bilevel Optimization Problems
本文提出了求解双层优化问题的新型非精确直接搜索方法，利用固定精度黑盒预言机处理平滑与非平滑目标，首次给出收敛性保证与复杂度界限，并扩展了网格自适应直接搜索方案，初步数值实验验证了其有效性。
2023-09-13 math.OC
Accelerated forward-backward method with fast convergence rate for nonsmooth convex optimization beyond differentiability
提出了一种快速收敛速度的向前向后加速算法，用于求解闭凸集上可分解非光滑凸函数的极小值，并将其命名为光滑加速邻近梯度（SAPG）算法.该算法结合了平滑方法和外推$\frac{k-1}{k+α-1}$和$α>3$的邻近梯度算法。平滑参数$μ_k$的更新规则是一个聪明的方案，并保证了整体收敛速度的$o(\ln^σk/k)$与$σ\in(\frac{1}{2},1]$的目标函数值。证明了该序列收敛于问题的最优解。此外，我们在SAPG算法中引入了一个误差项，得到了非精确平滑加速邻近梯度算法。在误差可和条件下，我们得到了与SAPG算法相同的收敛结果。最后通过数值实验验证了该算法的有效性。
2021-10-04 math.OC
Single-loop $\mathcal{O}(ε^{-3})$ stochastic smoothing algorithms for nonsmooth Riemannian optimization
本文提出两种单循环黎曼随机平滑算法，分别处理利普希茨非光滑项和凸集指示函数，结合动态平滑与动量方差缩减，实现最优迭代复杂度并降低每次迭代成本。
2025-05-26 math.OC
Smoothing technique for nonsmooth composite minimization with linear operator
介绍并分析了一种由线性算子构成的可微项与可逼近项之和的凸函数的极小化算法。该方法建立在最近开发的平滑间隙技术。除了一个精确的收敛速度的结果，有效的，即使在存在的线性包含约束，这种新方法允许一个明确的治疗梯度的可微函数，可以增强线搜索。我们还研究了在给定频率下重新启动算法加速的后果。这些新的功能是不经典的原始-对偶方法，使我们能够解决困难的大规模凸优化问题。我们数值说明了卓越的性能的算法的基础上追求，TV正则化最小二乘回归和L1回归问题对国家的最先进的。
2017-06-19 math.OC
Behavior of Limited Memory BFGS when Applied to Nonsmooth Functions and their Nesterov Smoothings
研究有限内存BFGS（L-BFGS）在非光滑最优化问题上的行为的动机是基于两个经验观察：L-BFGS在解决大规模光滑最优化问题方面的广泛成功，以及基于使用梯度而不是次梯度的Oracle范例的完全BFGS方法在解决中小规模非光滑最优化问题方面的有效性。首先，我们总结了我们的理论结果的缩放L-BFGS方法的行为与一个更新应用于一个简单的凸非光滑函数，是无界以下，说明条件下，该方法收敛到一个非最佳点，无论起点。然后，我们转向实证调查是否有同样的现象更普遍，重点是一个困难的问题Nesterov，以及特征值最优化问题中出现的半定规划应用。我们发现，当直接应用到一个非光滑函数，L-BFGS，特别是其缩放的变种，往往打破了一个穷人的近似最优解，在鲜明的对比，充分BFGS。未缩放的L-BFGS不太容易崩溃，但每次迭代执行的函数计算比缩放的L-BFGS多得多，因此它很慢。尽管如此，通常情况下，这两种变体都比可证明收敛但速度慢的次梯度方法获得更好的结果。另一方面，当应用于Nesterov对非光滑函数的光滑近似时，缩放L-BFGS通常比未缩放L-BFGS更有效，即使问题非常病态，也经常获得良好的结果。总之，对于完全BFGS和其他非光滑最优化方法不实用的大规模非光滑最优化问题，将L-BFGS应用于非光滑问题的光滑近似通常比将其直接应用于非光滑问题更好。
2020-06-18 math.OC
Dynamic sampling schemes for optimal noise learning under multiple nonsmooth constraints
我们考虑由De Los Reyes，Schönlieb（2013）提出的双层优化方法，用于学习具有多个噪声分布的全变差（TV）去噪模型中的最佳参数。在应用中，数据库（字典）的使用允许参数的准确估计，但由于数据库的大小和PDE约束的非光滑性质，反映在高计算成本。为了克服这一计算障碍，我们提出了一个优化算法，通过采样动态从一组约束条件，并使用拟牛顿法，准确地解决了这个问题，并在一个有效的方式。
2014-06-23 math.OC
Regular Subgradients of Marginal Functions with Applications to Calculus and Bilevel Programming
本文研究了变分分析和参数优化中本质非光滑的最优值（边际）函数，通过给定数据精确计算其正则/Fréchet次梯度及奇异对应物，并据此建立了新的次梯度微积分法则和双层规划的必要最优性条件。
2025-02-04 math.OC
Smoothing fast iterative hard thresholding algorithm for $\ell_0$ regularized nonsmooth convex regression problem
研究了一类带基数罚的约束稀疏回归问题，其中可行集由盒约束定义，损失函数是凸的，但不一定是光滑的.首先，我们提出了一个平滑快速迭代硬阈值（SFIHT）算法来解决这样的最优化问题，它结合了平滑近似，外推技术和迭代硬阈值方法。在所提出的算法中，可以选择外推系数以满足$\sup_k β_k=1$。讨论了算法在不同外推系数下的收敛性，并给出了保证迭代的任一聚点是原基数惩罚问题的局部极小点的充分条件。特别地，对于一类固定外推系数，我们讨论了几种不同的光滑参数更新规则，并得到了$O(\ln k/k)$关于损失和目标函数值的收敛速度。其次，考虑了损失函数为Lipschitz连续可微的情形，提出了一种快速迭代硬阈值算法（FIHT），并证明了FIHT算法的迭代收敛于问题的一个局部极小点，该局部极小点满足期望的下界性质。此外，我们证明了损失和目标函数值的收敛速度是$o(k^{-2})$。最后，给出了一些数值例子来说明理论结果。
2021-04-27 math.OC
On computing Goldstein approximate second-order stationary points of structured nonsmooth nonconvex programs
The Chinese University of Hong Kong（香港中文大学）
研究如何计算结构化非光滑非凸规划的戈德斯坦近似二阶驻点，采用随机一阶算法，利用随机平滑工具，给出算法神谕复杂度，还扩展到弱凸函数并应用于双层优化。
2026-07-28 math.OC
Set Smoothness Unlocks Clarke Hyper-stationarity in Bilevel Optimization
针对双层优化中超目标函数非光滑时强平稳性难计算的问题，提出集合光滑性新性质，证明其适用于一大类问题并保证超目标弱凸/凹性，进而给出具备非渐近收敛保证的零阶算法，实现非光滑场景下Clarke超平稳性的首个计算保证。
2025-10-28 math.OC
Adaptive Smoothing Algorithms for Nonsmooth Composite Convex Minimization
我们提出了一个自适应平滑算法的基础上，Nesterov的平滑技术\cite{Nesterov2005c}解决“完全”非光滑复合凸优化问题。我们的方法结合了Nesterov的加速邻近梯度方案和一个新的同伦策略的光滑参数。通过适当地选择光滑函数，我们提出了一种新的算法，该算法具有$\mathcal{O}\left(\frac{1}{\varepsilon}\right)$ -最坏情况迭代复杂度，同时保持与Nesterov方法相同的每次迭代复杂度，并允许在每次迭代时自动更新光滑参数。然后，我们定制我们的算法来解决涵盖各种应用程序的四种特殊情况。我们还指定我们的算法来解决约束凸优化问题，并显示其收敛性保证的原始序列的迭代。我们通过三个数值例子证明了我们的算法，并与其他相关算法进行了比较。
2016-07-03 math.OC stat.ML
Mini-batch stochastic Nesterov's smoothing method for constrained convex stochastic composite optimization
考虑一类约束凸随机组合最优化问题，其目标函数由一个可微凸分支和一个非光滑凸分支之和给出.非光滑分量具有显式的max结构，这可能不容易计算其邻近映射。为了解决这些问题，我们提出了一个小批量随机Nesterov平滑（MSNS）方法。建立了该方法的收敛性和最优迭代复杂度。数值结果表明，所提出的MSNS方法的支持向量机（SVM）模型的效率。
2021-09-11 math.OC
Directional necessary optimality conditions for bilevel programs
双层规划是一个最优化问题，其中约束涉及参数最优化问题的解。众所周知，值函数重构提供了一个等价的单层最优化问题，但它导致了一个非光滑最优化问题，该问题永远不满足通常的约束规格，如Mangasarian-Fromovitz约束规格（MFCQ）。在本文中，我们表明，即使是一阶充分条件的度量次正则性（这是在一般情况下弱于MFCQ）失败在每个可行点的双层计划。引入了方向镇定条件的概念，证明了在{the}方向镇定条件下，方向最优性条件成立。{虽然方向性最优性条件一般比非方向性条件更尖锐，}方向性平静条件一般比经典平静条件弱，因此更可能成立。{We进行价值函数的方向灵敏度分析，并提出方向拟正态性作为方向平静的充分条件。最后给出了一个例子，证明了二层规划的方向拟正规性条件成立。
2020-11-18 math.OC
Completely Positive Factorization by a Riemannian Smoothing Method
余正优化是凸锥规划的一种特殊情况，它是指在线性约束下，在所有完全正矩阵的锥上优化一个线性函数。余正优化为NP-难二次问题或组合问题提供了强大的松弛，但仍有许多关于余正或完全正矩阵的公开问题。在本文中，我们专注于这样一个问题：找到一个完全正（CP）分解为一个给定的完全正矩阵。我们将其视为非光滑黎曼最优化问题，即，黎曼流形上非光滑函数的极小化问题。为了解决这个问题，我们提出了一个一般的光滑框架解决非光滑黎曼最优化问题，并显示收敛到一个稳定点的原始问题。一个优点是，我们可以通过直接使用现有的标准光滑黎曼解算器（如Manopt）来快速实现它。数值实验表明，我们的方法的效率，特别是对大规模的CP分解。
2022-10-04 math.OC
Gauss-Newton-type methods for bilevel optimization
本文研究了求解超定系统双层规划问题的Gauss-Newton型方法。为了进行，我们使用较低级别的价值函数重新制定的双层计划，并考虑必要的最优性条件在适当的假设。首先严格互补的上下层的可行性约束下，我们证明了收敛的高斯-牛顿型方法在计算点满足这些最优性条件下额外的易处理的资格条件。潜在的方法，以解决该方法的缺点，然后提出，导致替代品，如伪或平滑高斯-牛顿型方法的双层优化。我们的数值实验进行了124个例子，从最近发布的双层优化库（BOLIB）比较我们的方法在不同的情况下的性能，并表明这是一个易于处理的方法来解决连续变量的双层最优化问题。
2020-03-06 math.OC
