Strong stationarity for the control of viscous history-dependent evolutionary VIs arising in applications
本文研究了具有粘性的历史依赖型EVI系统的最优控制问题。状态系统的一个突出性质是它的非光滑性质，因此标准伴随演算的应用被排除在外。我们推广了[7]的结果，证明了在一般情况下，具有粘性的历史依赖的EVI可以表示为希尔伯特空间中的非光滑常微分方程。研究了解映射的Hadamard方向可微性。基于以前的结果，这使我们能够建立两个不同的粘性损伤模型与疲劳的强平稳条件。
2023-02-28 math.OC
On complexity and convergence of high-order coordinate descent algorithms for smooth nonconvex box-constrained minimization
本文提出用于光滑非凸箱约束最小化的高阶正则化坐标下降法，证明其高阶平稳性收敛与一阶复杂度界，并通过多维标度实验和初始点策略提升性能。
2022-02-02 math.OC
Strong Stationarity Conditions for Optimal Control Problems Governed by a Rate-Independent Evolution Variational Inequality
本文针对速率无关发展变分不等式约束的最优控制问题，利用标量停止算子的方向可微性与时间多面性概念，建立了等价于 Bouligand 平稳性的原始-对偶强平稳性条件。
2023-07-18 math.OC
Achieving Directional-Stationarity from a Single Random Direction Step
Technion（以色列理工学院）
本文研究了在弱正则性条件下，如何在约束非光滑非凸优化中获得强最优性保证，提出通过单个随机方向探索步实现方向站性，并保持基础方法的收敛速度。
2026-11-05 math.OC
The Sparse(st) Optimization Problem: Reformulations, Optimality, Stationarity, and Numerical Results
研究了一类带非线性约束的稀疏最优化问题，目标函数由一般光滑映射和由$ \ell_0 $ -拟范数定义的附加项之和给出.该项用于获得稀疏解，但由于其非凸性和非光滑性而难以处理（稀疏改进项甚至是不连续的）。本文的目的是提出两个重新作为一个光滑的非线性规划互补型约束的计划。我们表明，这些方案是等价的局部和全局极小值，并引入了问题定制的平稳性概念，这原来是符合标准的KKT条件的两个重新制定的问题。此外，还研究了稀疏最优化问题的约束规格和二阶条件。然后，这些被用来显示三个拉格朗日-牛顿型方法是局部快速收敛的。对不同类型测试问题的数值结果表明，这些方法可以用来大大改善稀疏最优化问题的稀疏解由其他一些（全局收敛）的方法。
2022-10-18 math.OC
Matching Multi-Loop Complexities with a Single Loop: Optimal Optimization Stationarity and Best-Known Game Stationarity in Nonconvex--Concave Minimax Optimization
Shanghai University（上海大学）
本文提出单循环投影阻尼外梯度算法，在非凸-凹极小极大优化中同时达到优化与博弈平稳性的最佳已知复杂度，并证明预热版本在优化平稳性上最优。
2026-09-17 cs.LG math.OC stat.ML
Optimality conditions, approximate stationarity, and applications -- a story beyond Lipschitzness
利用Ekeland的变分原理、模糊Fréchet次微分和规则以及关于集值映射或集的下半连续性的新概念，建立了一类具有潜在非Lipschitz目标函数的一般最优化问题的Fréchet次梯度和法向量的近似最优性条件.满足这些最优性条件的可行点称为近似平稳点。作为应用，我们导出了极值原理的一个新的一般形式。此外，我们研究了一个复合目标函数和几何约束的最优化问题的近似平稳性条件，一个资格条件，保证这样的问题的近似平稳点是M-平稳的，和一个乘数罚方法，自然计算的基本问题的近似平稳点。最后，建立了目标函数中含有非Lipschitz稀疏促进项的最优控制问题的最优性条件。
2021-10-14 math.OC
Stochastic Difference-of-Convex Optimization with Momentum
Machine Learning and Optimization Laboratory (MLO)（机器学习与优化实验室）
针对随机DC优化在小批量下收敛性质不明的问题，提出一种带动量的算法，证明其在标准光滑性和有界方差假设下对任意批量规模均可收敛，并通过反例与实验验证动量的必要性和良好性能。
2026-10-14 cs.LG math.OC stat.ML
Finding a stationary point of a stochastic convex problem
Stanford University（斯坦福大学）
研究随机凸优化问题中寻找驻点，提出以目标函数次微分含小元素为更强概念，借助维度理论分解次微分图像，让随机采样保留其“片段”，实现类似近端点方法的有效应用。
2026-07-28 cs.LG math.OC stat.ML
Riemannian Smoothing Gradient Type Algorithms]{Riemannian Smoothing Gradient Type Algorithms for Nonsmooth Optimization Problem on Compact Riemannian Submanifold Embedded in Euclidean Space
本文针对嵌入欧氏空间的紧黎曼子流形上的非凸非光滑复合优化问题，提出基于Moreau包络的黎曼光滑化梯度型算法，并证明其迭代复杂度分别达到O(ε^{-3})和O(ε^{-5})。
2023-10-29 math.OC
Variable Smoothing for Weakly Convex Problems with Non-Euclidean Directions
DAVID Lab, UVSQ（UVSQ大学DAVID实验室）
本文提出MELMO算法，针对非欧几里得方向下的弱凸复合优化问题，建立多组收敛界，在稀疏低秩矩阵分解和图像去噪任务上表现具竞争力。
2026-08-06 math.OC
Data-driven Smooth-to-hard Spectral Regularization for General Linear Inverse Problems
Imperial College London（帝国理工学院）
该研究提出用于一般线性逆问题的数据驱动平滑到硬谱正则化方法，基于逻辑斯蒂平滑到硬收缩器的弱凸性保证，以MRI为例验证参数选择控制，为线性逆问题求解提供新的正则化方案。
2026-10-16 cs.NA eess.IV eess.SP
Asymptotic regularity for Lipschitzian nonlinear optimization problems with applications to complementarity-constrained and bilevel programming
渐近平稳性和正则性条件对于研究标准非线性和互补约束规划的数值解方法的定性性质是非常有用的。在本文中，我们首先将这些概念扩展到非光滑但Lipschitz数据函数的非线性最优化问题，以便在Clarke和Mordukhovich的次微分构造方面找到渐近平稳性和正则性的合理概念。特别是，我们比较相关的新的渐近约束规格与现有的。本文的第二部分介绍了所获得的理论的两个应用。一方面，我们指定我们的互补约束最优化问题的研究结果，并恢复最近的结果，从文献中展示的权力的方法。此外，我们暗示潜在的扩展或消失约束优化。另一方面，我们证明了有用的渐近正则性的上下文中的双层优化。更准确地说，我们证明了一个著名的平稳系统的亲和力约束的双层最优化问题在一个新的方式。之后，我们提出了一种解决这类双层最优化问题的算法，它结合了惩罚方法和DC-规划的思想。经过一个简短的收敛性分析，我们提出了一些数值实验的结果。
2021-09-01 math.OC
Goldstein Stationarity in Lipschitz Constrained Optimization
该研究将无约束Lipschitz优化中达到Goldstein平稳点的次梯度法收敛结果推广至带Lipschitz不等式约束的场景，提出次梯度类方法，在对应约束规范成立与否的情况下分别给出达到两类Goldstein型平稳点的O(1/δε³)收敛保证，无需光滑或凸性假设。
2024-08-14 math.OC
Stochastic optimization over proximally smooth sets
本研究针对近端光滑集上的弱凸函数最小化问题，提出一类结合目标与约束简化模型及回缩操作的随机算法，证明其有限时间效率保证，并探讨在光滑流形等场景的非光滑优化应用。
2020-02-15 math.OC
Noisy Pairwise-Comparison Random Search for Smooth Nonconvex Optimization
College of Computing, UM6P（UM6P计算学院）；Google DeepMind（谷歌DeepMind）
提出一种仅利用噪声成对比较的随机搜索方法NCRS，在低维活跃子空间结构下实现与内在维度相关的收敛保证，达到一阶平稳性。
2026-06-23 math.OC
Characterization of Information Channels for Asymptotic Mean Stationarity and Stochastic Stability of Non-stationary/Unstable Linear Systems
Department of Mathematics and Statistics, Queen’s University（女王大学数学与统计系）
本文针对离散通道（可能有记忆和反馈）上的高斯噪声驱动的不稳定（非平稳）多维线性系统，提出了随机可稳定性的紧的充要条件，涉及递归、渐近均值平稳性、样本路径遍历性和有限二阶矩的存在性。
2012-05-04 cs.IT cs.SY eess.SY
The Complexity of Finding Stationary Points in Nonsmooth Nonconvex Optimization
本文证明非光滑非凸优化中一阶算法寻找 Goldstein 驻点及松弛驻点的紧下界，揭示收敛速率不受梯度随机性影响。
2026-09-17 math.OC
Proximal bundle methods for hybrid weakly convex composite optimization problems
University of Rochester（罗切斯特大学）；Georgia Institute of Technology（佐治亚理工学院）
本文通过统一的近邻束框架研究了混合弱凸复合优化问题的迭代复杂度，提出易于验证的站稳性度量替代传统难以检查的站稳条件。
2026-10-19 math.OC
Optimal control of a non-smooth semilinear elliptic equation
研究了一类非光滑半线性椭圆型方程的最优控制问题。我们表明，控制状态映射是方向可微的，并精确地刻画其Bouligand次微分。通过一个适当的正则化，一阶最优性条件，包括一个伴随方程的推导和解释后，在以前获得的表征。此外，控制到状态映射的方向导数被用来建立强平稳性条件。虽然后者的条件被证明是更强的，我们通过数值例子表明，前一个条件是服从数值解使用半光滑牛顿法。
2017-11-27 math.OC
Optimal control of a non-smooth quasilinear elliptic equation
研究了由非光滑拟线性椭圆型方程控制的最优控制问题，该方程的主部具有局部Lipschitz连续且方向性但不可Gâteaux可微的非线性系数。这导致了一个控制到状态的算子，它是有方向的，但也不是Gâteaux可微的。基于一个合适的正则化方案，我们得到了C-和强平稳性条件。在非线性项是具有可数个不可微点的PC^1函数的附加假设下，我们证明了这两个条件是等价的。此外，在此假设下，我们得到一个放松的最优性系统，是服从数值解使用半光滑牛顿法。数值例子说明了这一点。
2018-12-05 math.OC
On the Complexity of Finding Stationary Points in Nonconvex Simple Bilevel Optimization
Department of Electrical and Computer Engineering, The University of Texas at Austin（电气与计算机工程系，德克萨斯大学奥斯汀分校）；Department of Systems and Industrial Engineering, The University of Arizona（系统与工业工程系，亚利桑那大学）
本文针对上下层均光滑非凸的简单双层优化问题，引入合适的平稳性概念，提出动态屏障梯度下降框架的可实现变体，证明其多项式时间复杂度，是首个保证两层联合平稳的离散时间算法复杂度结果。
2025-07-30 cs.LG math.OC
Generalization Bounds of Nonconvex-(Strongly)-Concave Stochastic Minimax Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
本文首次系统地研究了非凸-（强）-凹（NC-SC/NC-C）随机极大极小优化算法的推广界，该推广界由原函数的平稳性度量.我们首先通过经验极大极小问题和总体极大极小问题之间的一致收敛性建立算法无关的推广界。对于NC-SC和NC-C设置，实现$ε$-泛化的示例复杂度分别为$\tilde{\mathcal{O}}(dκ^2ε^{-2})$和$\tilde{\mathcal{O}}(dε^{-4})$，其中$d$是维度，$κ$是条件数。通过算法的稳定性论证，我们进一步研究了算法依赖的推广界。特别是，我们引入了一个新的稳定性的概念，极大极小问题，并建立一个连接之间的推广界和稳定性的概念。因此，我们建立了随机梯度下降上升（SGDA）算法和更一般的采样确定算法的算法依赖的泛化界。
2023-02-06 cs.LG math.OC stat.ML
A proximal gradient method with adaptive backtracking for weakly smooth multiobjective optimization
Nihon University（日本大学）；The Institute of Statistical Mathematics（统计数学研究所）
针对弱光滑多目标优化问题，提出无参数自适应线搜索近端梯度法，建立非凸、凸情形下的复杂度结果，非凸情形接受更宽松的 stationarity 测度，凸情形复杂度优于非凸情形。
2026-08-04 math.OC
Dynamic Regret of Adaptive Gradient Methods for Strongly Convex Problems
Amirkabir University of Technology（阿米尔卡比尔理工大学）
自适应梯度算法（如ADAGRAD及其变体）在深度神经网络的训练中越来越受欢迎。虽然许多作品的自适应方法都集中在静态后悔作为一个性能指标，以实现良好的后悔保证，这些方法的动态后悔分析仍然不清楚。相对于静态遗憾，动态遗憾被认为是一个更强的概念，性能测量的意义上，它明确阐明了非平稳的环境。在本文中，我们通过动态遗憾的概念在强凸环境中探讨了ADAGRAD的一个变体（称为M-ADAGRAD），该概念衡量在线学习者相对于可能随时间变化的参考（最佳）解决方案的表现。我们证明了一个遗憾的界限的路径长度的最小序列，基本上反映了非平稳的环境。此外，我们通过利用梯度在每一轮中对学习者的多次访问来增强动态遗憾边界。实证结果表明，M-ADAGRAD在实践中也很好。
2022-09-04 cs.LG math.OC
A Single-Loop Penalty-based Algorithm for Stochastic Minimax Optimization with Nonlinear Coupled Constraints
Southern University of Science and Technology（南方科技大学）；National Center for Applied Mathematics Shenzhen（深圳应用数学国家研究中心）
本文提出SPACO算法，通过惩罚方法和正则化处理非光滑约束，实现单循环随机梯度优化，证明了其在站性和可行性方面的非渐近复杂度及渐近子序列收敛性。
2026-06-08 math.OC
Doubly majorized algorithm for sparsity-inducing optimization problems with regularizer-compatible constraints
考虑一类稀疏诱导最优化问题，其约束集是正则化算子相容的，即在稀疏诱导正则化算子诱导的坐标变换之后，约束集变得易于投影到其上.我们的模型是一般的，足以覆盖，作为特殊情况下，有序LASSO模型及其变种与一些常用的非凸稀疏诱导正则化。同时存在的稀疏诱导正则化和约束集的有效算法的设计提出了挑战。在本文中，通过利用绝对值对称性和其他属性的稀疏诱导正则化，我们提出了一种新的算法，称为双重优化算法（DMA），这类问题。DMA在每次迭代中利用坐标变换之后到约束集上的投影，因此可以有效地执行。没有调用任何常用约束规格条件，如那些基于地平线次微分，我们表明，任何积累点的DMA产生的序列是一个所谓的$ψ_{\rm opt}$ -平稳点，一个新的概念，我们定义的平稳性的启发的概念$L$ -平稳。我们还表明，我们的模型的任何全球极小必须是一个$ψ_{\rm opt}$ -平稳点，再次不施加任何约束规格条件。最后，我们数值说明了DMA的性能解决非凸正则化的有序LASSO的变体。
2023-03-08 math.OC
Solving Non-Convex Non-Differentiable Min-Max Games using Proximal Gradient Method
University of Southern California（南加利福尼亚大学）
极小极大鞍点对策在机器学习和信号处理中有着广泛的应用。尽管它们具有广泛的适用性，但理论研究大多局限于特殊的凹凸结构。虽然最近的一些工作将这些结果推广到特殊的光滑非凸的情况下，我们的理解非光滑的情况下仍然是有限的。本文研究了当目标函数关于局中人的决策变量之一是（强）凸时的非光滑极大极小对策的特殊形式。我们证明了一个简单的多步近似梯度下降-上升算法收敛到$ε$ -一阶纳什均衡的最小-最大游戏的梯度评价是多项式的数量在$1/ε$。我们还将表明，我们的平稳性的概念是强于现有的文献中。最后，我们评估所提出的算法的性能，通过对抗攻击的LASSO估计。
2020-03-18 cs.GT cs.LG math.OC
Projection-based curve pattern search for black-box optimization over smooth convex sets
本文提出一种基于曲线的模式搜索算法框架，用于在光滑凸集上优化黑箱函数，证明了算法在光滑问题上的优越性。
2025-11-14 math.OC
A Proximal Variable Smoothing for Nonsmooth Minimization Involving Weakly Convex Composite with MIMO Application
针对含弱凸复合函数的非光滑优化问题，提出一种基于Moreau包络的时变前向-后向近端变量平滑算法，提供了平稳点收敛性分析，并应用于MIMO信号检测验证了其有效性。
2025-01-23 math.OC
Manifold constrained steepest descent for smooth and closed-set optimization
Department of Mathematics, University of Hong Kong, Hong Kong, China（香港大学数学系）
本文提出流形约束最速下降（MCSD）方法，通过单循环框架在流形上进行优化，并引入SPEL在Stiefel流形上的应用，实现了更稳定的性能和可扩展性。
2026-08-14 cs.LG math.OC
Dualities for non-Euclidean smoothness and strong convexity under the light of generalized conjugacy
针对非欧相对光滑性与强凸性的共轭对偶性这一开放问题，本文基于广义共轭引入各向异性强凸性与光滑性作为对偶概念，证明其属于特定上下包络的超类且为真包含。
2023-01-23 math.OC
RA-DCA: A Randomized Active-Set DCA for Directional Stationarity in Max-Structured DC Programs
Beijing Institute of Mathematical Sciences and Applications（北京数学科学研究院）
针对减去项为光滑凸函数有限最大值的非光滑DC规划，提出随机活动集DCA（RA-DCA），通过投影活动梯度到采样方向并检查采样顶点残差，以概率1保证聚点的方向稳定性。
2026-05-22 cs.AI cs.NA math.NA
A stochastic smoothing framework for nonconvex-nonconcave minEmax problems with applications to Wasserstein distributionally robust optimization
Department of Applied Mathematics, Hong Kong Polytechnic University, Hong Kong, China（应用数学系，香港理工大学）；Institute for Math & AI, Wuhan (IMAI), Wuhan university, China（数学与人工智能研究院，武汉大学）；Department of Mathematical Sciences Rensselaer Polytechnic Institute, Troy, NY, USA（数学科学系，伦斯勒理工学院）
研究非凸-非凹minEmax随机优化问题，提出基于对数均值指数平滑的随机平滑近端梯度法，经非渐近分析表明该方法生成的聚点是克拉克平稳点，数值实验显示其在相关问题上与现有基线有竞争力。
2026-07-17 cs.LG math.OC
Sparse optimization problems in fractional order Sobolev spaces
本文研究了分数阶Sobolev空间中含$L^p$-伪范数的稀疏优化问题，证明了解的存在性，通过平滑方案导出了一阶最优性条件，并开发了相应算法，证明了迭代弱极限点满足稍弱的稳定性系统。
2023-06-29 math.OC
