New Constraint Qualifications for Optimization Problems in Banach Spaces based on Asymptotic KKT Conditions
巴拿赫空间中的最优化理论缺乏可用的约束规格。尽管事实上只存在非常少的约束规格，但是它们另外甚至在简单的应用中也经常被违反。这与有限维非线性规划形成鲜明对比，在有限维非线性规划中，已知大量的约束规格。由于这些约束规格通常是使用活动不等式约束的集合来定义的，所以很难将它们扩展到无限维的设置。一个例外是最近推出的顺序约束规格的基础上渐近KKT条件。本文表明，这种所谓的渐近KKT正则性允许适当的扩展，以获得新的约束规格的巴拿赫空间设置。这些新的约束规格的关系，现有的详细讨论。他们的有用性也显示了几个例子，以及算法的应用程序类的增广拉格朗日方法。
2020-04-29 math.OC
Low-Rank KKT Updates and a Parallel Flipping Mechanism for Model-Based Derivative-Free Optimization
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
该研究针对基于模型的无导数优化中模型维护成本高的问题，利用KKT矩阵结构导出\(\mathcal{O}(n^2)\)的更新公式，集成到并行算法中，经测试在减少模型维护开销和提高成功率方面优于标准求解器。
2026-07-28 math.OC
Locally Lipschitz vector optimization problems: second-order constraint qualifications, regularity condition and KKT necessary optimality conditions
研究了一类约束向量最优化问题，其中目标函数和积极约束函数在参考点处均为局部Lipschitz.在非光滑情形下，给出了Zangwill型、Abadie型和Mangasarian~--~Fromovitz型的二阶约束规格以及Abadie型的正则性条件.建立了这些条件之间的联系。他们被应用于开发二阶Karush-库恩-塔克必要的最优性条件的本地（弱，Geoffrion正确）有效解所考虑的问题。最后给出了实例说明所得结果。
2019-05-13 math.OC
Primal-Dual Error Bounds and KKT Metric Subregularity in Convex Composite Optimization
School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院）；Beijing Key Laboratory on MCAACI/Key Laboratory of Mathematical Theory and Computation in Information Security, Beijing Institute of Technology（北京理工大学计算机辅助设计与图形学北京市重点实验室/信息安全数学理论与计算北京市重点实验室）
本文针对凸复合优化问题，引入约化原始-对偶KKT映射，建立了其度量次正则性与原始、对偶局部误差界的等价关系，并统一应用于多类模型。
2026-10-07 math.OC
On representations of the feasible set in convex optimization
考虑凸优化问题$\min \{f(x) : g_j(x)\leq 0, j=1,...,m\}$，其中$f$是凸的，可行集K是凸的，Slater条件成立，但函数$g_j$不一定是凸的.我们证明了，对于任何表示的K，满足一个温和的非退化假设，每个极小是一个Karush-Kuhn-Tucker（KKT）点，反之，每个KKT点是一个极小。也就是说，KKT最优性条件是必要的和充分的凸规划，其中假设$g_j$是凸的。所以在凸优化中，就KKT点而言，真正重要的是K的几何形状，而不是它的表示。
2009-11-06 math.OC
Stability of KKT systems and superlinear convergence of the SQP method under parabolic regularity
本文件追求一个双重目标。首先，我们针对一类由抛物正则集生成的约束最优化问题，给出了扰动Karush-Kuhn-Tucker系统重要鲁棒稳定性的新的二阶刻画.其次，所得到的特征被用来建立适定性和超线性收敛的基本序列二次规划方法来解决抛物正则约束最优化问题。
2020-04-14 math.OC
Approximations for Pareto and Proper Pareto solutions and their KKT conditions
本文从KKT型条件的角度考察了多目标最优化问题的Pareto解和弱Pareto解的近似形式。我们还重点讨论了Geoffrion适当的Pareto解的一个改进版本，并通过鞍点和KKT型条件来刻画它们。我们提出了一个近似版本的改进Geoffrion适当的解决方案，并提出我们的结果在一般设置。
2019-09-02 math.OC
Radial Epiderivative Based Fritz John and KKT Conditions in Nonsmooth Nonconvex Optimization
Chongqing Normal University（重庆师范大学）；Eskisehir Technical University（埃斯基谢希尔理工大学）；China Medical University（中国医药大学）；Academy of Romanian Scientists（罗马尼亚科学家学院）
针对目标与约束均径向上图可微的非光滑非凸不等式约束优化问题，提出基于径向上图导数的FJ与KKT最优性条件理论框架，定义径向梯度等新概念，可适用于离散域并支持全局最小值分析。
2026-11-03 math.OC
A Lagrange Multiplier Expression Method for Bilevel Polynomial Optimization
本文研究二层多项式最优化问题。为了解决这些问题，我们给出了一种基于多项式优化松弛的方法。每个松弛是从Kurash-Kuhn-Tucker（KKT）条件下的下层优化和交换技术半无限规划。对于KKT条件，拉格朗日乘子表示为多项式或有理函数。Moment-SOS松弛法用于求解多项式优化松弛法。在一般假设下，证明了该算法解二层多项式最优化问题的收敛性。数值实验表明了该方法的有效性。
2021-06-09 math.OC
Parallel Model-Based Derivative-Free Optimization via Rank-Two KKT Updates
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
研究无导数优化问题，提出基于秩二KKT更新的方法，通过反射插值集改变KKT矩阵，降低更新成本，支持全局收敛，嵌入主从并行算法，经530个基准问题数值结果与现有求解器对比性能。
2026-07-29 math.OC
Strong Metric (Sub)regularity of KKT Mappings for Piecewise Linear-Quadratic Convex-Composite Optimization
本文研究了凸复合优化问题的牛顿法和拟牛顿法的局部收敛理论：极小化f（x）：=h（c（x）），其中h是无穷值正常凸函数，c是C^2光滑的.我们专注于的情况下，h是无限值分段线性二次和凸。这些问题包括非线性规划、极小极大优化、非高斯噪声下的非线性动力学估计以及许多现代大规模数据分析和机器学习方法。我们的方法嵌入到一个广义方程的凸复合最优化问题的最优性条件。建立了相应的集值映射的强度量次正则性和强度量正则性的条件。这使我们能够扩展牛顿和拟牛顿法的经典收敛到更广泛的一类非有限值分段线性二次凸复合最优化问题。特别是，我们建立了局部平方收敛的牛顿法的条件下，平行于那些在非线性规划时，h是非有限值分段线性。
2018-06-17 math.OC
Parallel KKT Solver in PIQP for Multistage Optimization
本文提出一种针对多阶段优化KKT系统的并行Cholesky分解与三角求解算法，作为PIQP求解器新后端，在链状质量基准和赛车路线优化中性能显著优于现有求解器。
2025-11-02 cs.SY eess.SY math.OC
A new problem qualification based on approximate KKT conditions for Lipschitzian optimization with application to bilevel programming
针对Lipschitz优化中约束资格失效问题，提出基于近似KKT条件的子集Mangasarian-Fromovitz条件（subMFC），该问题资格弱于拟正规性，并应用于双层规划，可在部分平静性失效时成立。
2025-02-26 math.OC
Improved KKT Complexity for First-Order Bilevel Optimization under Weak Lower-Level Convexity
RIKEN（理化学研究所）；University of Tokyo（东京大学）
本文针对弱下层凸性的双层优化，提出非精确变量平滑惩罚方法（IVSP），在ENNAMCQ下证明有限惩罚参数稳定及ε-KKT点的一阶复杂度为Õ(ε^{-3})，并给出可验证条件与数值验证。
2026-10-01 math.OC
An Adaptive KKT-Based Indicator for Convergence Assessment in Multi-Objective Optimization
Federal University of Ouro Preto（欧罗普雷托联邦大学）
本文提出了一种基于KKT条件的自适应收敛性指标，通过分位数归一化提高对异质分布残差的鲁棒性，以改进多目标优化的收敛性评估。
2026-03-04 cs.NE math.OC
Stability for Constrained Minimax Optimization
极小极大最优化问题是现代机器学习和传统研究领域中出现的一类重要的最优化问题。基于Dai和Zhang（2020）的局部极小极大点的概念，我们重点研究了约束极小极大最优化问题的稳定性。首先，我们将非线性规划的经典Jacobian唯一性条件推广到约束极大极小问题，并证明了这组性质对于小的$C^2$扰动是稳定的.其次，我们提供了一组条件，称为性质A，它不需要严格的互补条件的上层约束。最后，我们证明了性质A是Kurash-Kuhn-Tucker（KKT）系统在KKT点处强正则的充分条件，也是Kojima映射在KKT点附近局部Lipschitz同胚的充分条件.
2021-11-10 math.OC
A complete characterization on the robust isolated calmness of the nuclear norm regularized convex optimization problems
本文给出了用核范数函数正则化的凸约束最优化问题的Karush-Kuhn-Tucker（KKT）解映射的鲁棒孤立平静性的完整刻画.在文献[8]中，作者证明了在局部最优解的Robinson约束条件下，一类锥规划问题的KKT解映射是鲁棒孤立镇定的当且仅当同时满足二阶充分条件（SOSC）和严格Robinson约束规格（SRCQ）.基于核范数函数及其共轭的变分性质，我们建立了原始/对偶SOSC与对偶/原始SRCQ之间的等价性。导出的结果导致几个等价的刻画的鲁棒孤立冷静的KKT解决方案映射和添加见解，现有文献的稳定性核范数正则化凸最优化问题。
2017-02-20 math.OC
The robust isolated calmness of spectral norm regularized convex matrix optimization problems
本文研究谱范数正则化凸优化问题 KKT 映射的鲁棒孤立平静性，通过建立谱范数函数的变分性质，证明了其与严格 Robinson 约束规格及二阶充分条件的等价关系，丰富了稳定性理论。
2025-09-16 math.OC
Algebraic Degrees of Generalized Nash Equilibrium Problems
University of California San Diego（加州大学圣地亚哥分校）；University of Oslo（奥斯陆大学）；Hong Kong Baptist University（香港浸会大学）
研究多项式定义的广义纳什均衡问题（GNEP）的代数次数，证明在一般性假设下只有有限个复Fritz-John点且均为KKT点，并给出代数次数公式。
2026-06-08 math.OC
Strong calmness of perturbed KKT system for a class of conic programming with degenerate solutions
研究了一类正则扰动锥规划的KKT解映射的强镇定性，当锥最优化问题解的Lagrange乘子不唯一时，强镇定性对快速收敛起着重要作用.证明了KKT解映射的强镇定等价于扰动KKT系统解的局部误差界，也等价于驻点映射的伪孤立镇定以及乘子集映射在相应参考点的镇定.利用乘子的非临界性建立了驻点映射的伪孤立镇定，利用乘子集的相对内部条件建立了乘子集映射的镇定，从而给出了强镇定的充分条件.这些结果覆盖和推广了\cite{Hager99,Izmailov12}中关于非线性规划和\cite{Cui16,Zhang17}中关于半定规划的已有结果。
2018-02-05 math.OC
KKT-Informed Neural Network
Vicomtech Foundation（维康泰克基金会）
提出一种KKT-Informed Neural Network，通过惩罚KKT条件违反情况训练，无需外部数据即可随机生成训练批次，以最优性保证为代价大幅提升速度，支持一类参数化凸优化问题的并行求解。
2024-09-11 cs.LG math.OC
A Single-Loop Penalty-based Algorithm for Stochastic Minimax Optimization with Nonlinear Coupled Constraints
Southern University of Science and Technology（南方科技大学）；National Center for Applied Mathematics Shenzhen（深圳应用数学国家研究中心）
本文提出SPACO算法，通过惩罚方法和正则化处理非光滑约束，实现单循环随机梯度优化，证明了其在站性和可行性方面的非渐近复杂度及渐近子序列收敛性。
2026-06-08 math.OC
Scholtes relaxation method for pessimistic bilevel optimization
本文针对悲观双层优化问题，在凸下层和Slater约束规范下基于KKT重构引入Scholtes松弛算法，并证明其全局/局部最优解及稳定点的收敛性，为该类难题提供了可处理且良定义的求解框架。
2024-08-12 math.OC
The Complexity of Computing KKT Solutions of Quadratic Programs
本文证明非凸二次规划即使只求 KKT 点而非全局最优解仍具固有难度，并确立该问题在 CLS = PPAD∩PLS 中的完全性。
2025-07-28 cs.CC math.OC
Running Primal-Dual Gradient Method for Time-Varying Nonconvex Problems
本文考虑了一个随时间演化的非凸最优化问题，并讨论了正则化原始-对偶梯度法跟踪KKT轨迹的综合与分析.所提出的正则化原始-对偶梯度法是以运行方式实现的，在这个意义上，底层的最优化问题在算法的迭代过程中发生变化。对于一类费用和约束条件为二次连续可微的问题，在推广的Mangasarian-Fromovitz约束规格下，给出了运行算法跟踪KKT轨迹的充分条件.此外，渐近界的跟踪误差（作为一个函数的KKT轨迹的时变性）。一个连续时间版本的算法，作为一个系统的微分包含的框架，也被认为是解析收敛结果。对于连续时间情形，给出了KKT轨迹不分叉或不合并的一组充分条件。一个现实世界的应用程序的启发说明性的数值结果。
2018-12-03 math.OC
Exact relaxation for polynomial optimization on semi-algebraic sets
本文研究了用松弛层次计算闭基本半代数集上实多项式函数f的下确界的问题，以及达到该下确界的点（如果它们存在的话）。我们表明，当达到下确界时，从Karush-Kuhn-Tucker理想构造的松弛层次总是精确的，并且KKT极小化点的消失理想是由相关矩矩阵的核在该程度上生成的，即使这个理想不是零维的。我们还表明，这种放松允许检测时，没有KKT极小。我们证明了松弛的精确性只依赖于满足这些约束的实点，这利用了正多项式的表示作为模KKT理想的预序的元素，它只涉及初始变量集中的多项式。给出了在全局优化、正则约束集定义的半代数集上的优化、有限半代数集上的优化、实根计算等方面的应用。
2014-07-01 math.AG math.OC
Approximate solutions in multiobjective interval-valued optimization problems: Existence theorems and optimality conditions
针对基于区间序的多目标区间值优化问题，本文建立近似解的存在性定理，并在非光滑非凸条件下给出KKT及近似KKT最优性条件，且应用于非合作博弈。
2025-02-18 math.OC
Second-Order KKT Guarantees for Bregman ADMM in Nonconvex and Non-Lipschitz Optimization
Department of Electrical and Computer Engineering, Iowa State University（电气与计算机工程系，爱荷华州立大学）；Department of Computer Science and Engineering, Ohio State University（计算机科学与工程系，俄亥俄州立大学）；DAMO Academy, Alibaba Group US（阿里巴巴集团美国DAMO研究院）
针对非凸线性约束问题，在双侧相对光滑条件下分析Bregman ADMM，证明其不动点映射的严格鞍点不稳定，结合一阶收敛结果得到几乎必然二阶KKT点收敛。
2026-06-29 cs.LG math.OC
KKT Conditions, First-Order and Second-Order Optimization, and Distributed Optimization: Tutorial and Survey
University of Waterloo（滑铁卢大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Statistics and Actuarial Science（统计与精算科学系）；David R. Cheriton School of Computer Science（大卫·R·谢里顿计算机科学学院）；Centre for Pattern Analysis and Machine Intelligence（模式分析与机器智能中心）；Machine Learning Laboratory（机器学习实验室）；Data Analytics Laboratory（数据分析实验室）
这是一篇关于Karush-Kuhn-Tucker（KKT）条件、一阶和二阶数值优化以及分布式优化的教程和综述论文。在简要回顾了最优化的历史之后，我们从集合、范数、函数和最优化概念的性质开始。然后介绍了最优化问题、标准最优化问题（包括线性规划、二次规划和半定规划）和凸问题。我们还介绍了一些技术，如消除不等式，等式和集合约束，添加松弛变量，epigraph形式。介绍了拉格朗日函数、对偶变量、KKT条件（包括原始可行性、对偶可行性、弱对偶性、强对偶性、互补松弛性和平稳性条件）以及用拉格朗日乘子法求解最优化问题。然后，我们涵盖了一阶优化，包括梯度下降，线搜索，收敛的梯度法，动量，最速下降，和反向传播。介绍了加速梯度法、随机梯度下降法、小批量梯度下降法、随机平均梯度法、随机方差约简梯度法、AdaGrad、RMSProp和Adam优化器、近似方法等一阶方法（包括邻近标测、邻近点法和邻近梯度法）和约束梯度法（包括投影梯度法、凸集投影法和Frank-Wolfe法）。我们还介绍了非光滑和$\ell_1$最优化方法，包括套索正则化，凸共轭，Huber函数，软阈值，坐标下降和次梯度方法。然后，我们解释二阶方法，包括牛顿法无约束，等式约束和不等式约束问题。
2021-10-05 cs.DC cs.LG cs.NA
A Homotopy Framework for Constrained Multiobjective Optimization
Clarkson University（克拉克森大学）
本文提出一种基于同伦的框架，用于计算多目标优化问题的KKT点，通过连续变形易解系统至KKT条件，保证全局收敛性，并在数值实验中展示出鲁棒性与高效性。
2026-10-16 cs.NA math.NA math.OC
Generalized Karush-Kuhn-Tucker Conditions for Real Continuous Optimization Problems
本文研究了现实连续优化问题中Karush-Kuhn-Tucker条件的一般化形式，扩展了传统KKT条件的应用范围。
2020-04-08 cs.SY eess.SY math.OC
Analysis of the primal-dual central path for nonlinear semidefinite optimization without the nondegeneracy condition
本文在无非退化条件下，基于强SOSC、严格互补条件和Mangasarian-Fromovitz约束规范，证明了非线性半定优化中心路径的唯一存在性，并揭示其对偶分量收敛到拉格朗日乘子集的解析中心，同时刻画了牛顿方程唯一可解的区域。
2024-02-21 math.OC
Unified Smoothing Approach for Best Hyperparameter Selection Problem Using a Bilevel Optimization Strategy
针对 $\ell_p$ 正则项超参数选择的非光滑双层问题，提出更紧的双层 KKT 条件及基于 Chen-Mangasarian 类光滑函数的统一光滑化算法。
2023-04-20 math.OC
On the robust isolated calmness of a class of nonsmooth optimizations on Riemannian manifolds and its applications
本文研究黎曼流形上非光滑优化 KKT 解映射的鲁棒孤立平静性，证明其等价于 M-SRCQ 与 M-SOSC 条件，并据此建立黎曼增广拉格朗日方法的局部线性收敛性，在球面和固定秩矩阵流形上进行了验证。
2025-04-08 math.OC
Generalized Nash equilibrium problems with quasi-linear constraints
University of California San Diego（加州大学圣地亚哥分校）；Hong Kong Baptist University（香港浸会大学）；Shanghai Jiao Tong University（上海交通大学）
该研究针对目标为多项式函数、参与者约束线性的GNEPs，利用Carathéodory定理和Moment-SOS松弛提出KKT集的便捷表示方法，可高效计算所有均衡或检测其不存在，数值实验验证了计算效率。
2026-07-31 math.OC
A stabilized sequential quadratic programming method for degenerate nonlinear optimization problems on Riemannian manifolds
Graduate School of Management, Tokyo Metropolitan University（东京都立大学经营管理研究科）；Graduate School of Informatics, Kyoto University（京都大学情报学研究科）
本研究将稳定SQP框架扩展至黎曼流形，提出无约束规范假设下收敛的稳定SQP方法，经数值实验验证其对退化非线性优化问题的有效性。
2026-08-14 math.OC
First-order penalty methods for bilevel optimization
University of Minnesota（明尼苏达大学）
本文研究非凸上层、非光滑凸下层的双层优化问题，定义ε-KKT解并提出可转化为结构化极小极大问题求解的一阶惩罚方法，给出复杂度保证与初步数值结果，是首个将双层优化转化为极小极大近似求解且提供可实现复杂度保证方法的工作。
2024-03-07 cs.LG cs.NA math.NA
The Karush-Kuhn-Tucker Optimality Conditions for Multi-Objective Interval-Valued Optimization Problem on Hadamard Manifolds
本文研究了Hadamard流形上多目标区间值优化问题的KKT最优性条件，在LU和CW序下定义了Pareto最优解，并在凸性、伪凸性和广义Hukuhara差下提出KKT条件，证明了其比欧氏空间上的现有结果更具一般性。
2024-08-26 math.DG math.OC
Relaxation methods for pessimistic bilevel optimization
本文针对光滑悲观双层优化问题，引入五种KKT重构松弛方法，给出全局与局部最优解及C-和M-平稳点的收敛性结果，并通过数值实验验证算法有效性。
2025-09-11 math.OC
Safe Zeroth-Order Optimization Using Quadratic Local Approximations
本文研究黑盒平滑优化问题，提出一种基于二次局部近似的零阶方法，通过迭代构建局部可行集进行优化，在$O({1}/{η^{2}})$次迭代内返回$η$-KKT对，并在最优控制和电力系统运行中验证了其快速收敛性和有效性。
2024-04-24 cs.SY eess.SY math.OC
A novel augmented Lagrangian method of multipliers for optimization with general inequality constraints
我们引入了一个二次可微的增广拉格朗日函数来求解具有一般不等式约束的非线性最优化问题，并证明了原问题的严格局部极小值是增广拉格朗日函数的一个近似严格局部解.提出了一种新的增广拉格朗日乘子法。我们的方法起源于Hetenes-Powell增广拉格朗日量的推广，并且是增广拉格朗日量和邻近点技术的组合。它与现有的ALM共享类似的算法框架，用于具有不等式约束的优化，但是它可以使用二阶导数并且不依赖于不等式约束集合上的投影。在每次迭代中，我们的方法解决了一个两次连续可微的无约束优化子问题的原始变量。对偶迭代、惩罚和平滑参数自适应更新。分析了算法的全局收敛性和局部收敛性。在不假设任何约束规格的情况下，证明了该方法具有强的整体收敛性。当收敛点是极小点时，该方法既可以收敛到KKT点，也可以收敛到奇异平稳点。当问题不可行时，它也可能收敛到非线性规划的不可行稳定点。此外，我们的方法是能够快速检测可能的不可行性的解决问题。在适当的条件下，它是局部线性收敛到KKT点，这是一致的ALMs的等式约束优化。一些小的基准测试问题的初步数值实验证明了我们的理论结果。
2021-06-29 math.OC
Reciprocal-Manifold Annealed KKT Flows for Constrained Optimization: Application to the Nonconvex AC Optimal Power Flow
Veermata Jijabai Technological Institute (VJTI)（维尔马塔·吉贾巴伊技术学院）；TenneT Offshore GmBH；IIT Chennai（金奈印度理工学院）
针对约束优化问题，提出互流形退火KKT流框架，将其应用于IEEE节点系统的交流最优潮流，可保持约束可行性并降低计算复杂度。
2026-09-01 cs.SY eess.SY math.OC
Scalable First-Order Interior Point Trust Region Algorithms for Linearly Constrained Optimization
Peking University（北京大学）；Stanford University（斯坦福大学）；Shanghai Institute for Mathematics and Interdisciplinary Sciences（上海数学与交叉学科研究院）
本文提出一种近似第一次顺序内部点信任区域框架，通过低秩更新维护近似投影来解决信任区域子问题计算瓶颈，提高大规模优化问题的计算效率。
2026-04-27 cs.DS math.OC
Invex Optimization Revisited
给出了一个非凸优化问题，研究了每个KKT点是全局优化点的条件。这个属性被称为KT-不变凸性，并允许识别问题的子集，其中内点方法总是收敛到全局优化器。本文给出了n维KT不变凸的必要条件，并证明了这些条件在二维情形下是充分的.作为我们的结果的应用，我们研究了最优潮流问题，表明在温和的假设下变量的界限，我们的新的充要条件满足两个自由度的问题。
2017-07-05 math.OC
Non-KKT Accumulation in Entropic Mirror Descent
School of Industrial Engineering, Purdue University（普渡大学工业工程学院）；National University of Singapore（新加坡国立大学）
该研究针对有界镜像下降序列的KKT积累问题，构造反例证明其积累点可为非KKT点，揭示边界Bregman几何退化是该问题的根源。
2026-08-19 cs.LG math.DS math.OC
Complexity of quadratic penalty methods with adaptive accuracy under a PL condition for the constraints
ICTEAM Institute, UCLouvain（UCLouvain ICTEAM研究所）
本文在约束满足PL条件的情况下，研究了二次惩罚法的复杂性，得出了不同光滑度条件下获得近似KKT点的oracle调用次数界，并引入了自适应停止准则以提高计算效率。
2026-01-05 math.OC
A Proximal-Gradient Method for Solving Regularized Optimization Problems with General Constraints
Department of Industrial and Systems Engineering, Lehigh University（利哈伊大学工业与系统工程系）
本文提出了一种近端梯度法，用于求解带一般约束的正则化优化问题，通过分解策略和 merit 函数实现高效求解，并在多个测试问题中验证了方法的有效性。
2026-01-15 math.OC
Barrier Algorithms for Constrained Non-Convex Optimization
本文提出基于自和谐障碍的一阶和二阶内点法，用于求解带一般凸集约束和线性约束的非凸优化问题，并证明其最坏迭代复杂度分别达到 $O(\varepsilon^{-2})$ 和 $O(\varepsilon^{-3/2})$，与无约束情形相当。
2024-04-29 math.OC
Early Directional Convergence in Deep Homogeneous Neural Networks for Small Initializations
University of Minnesota（明尼苏达大学）
本文分析深度齐次神经网络在小初始化下的梯度流，证明早期权重方向近似收敛于神经相关函数的 KKT 点，并刻画多种激活函数下秩一 KKT 点的条件。
2025-03-14 cs.LG math.OC stat.ML
An Augmented Lagrangian Method for Training Recurrent Neural Networks
本研究将带ReLU激活的RNN训练建模为约束优化问题，证明其可行点满足NNAMCQ且局部极小值为KKT点，提出带闭式解BCD子问题求解器的增广拉格朗日方法，证明其全局收敛性，实验验证了该方法训练RNN的效率与效果。
2024-08-19 math.OC
Self-Supervised Learning of Iterative Solvers for Constrained Optimization
Chair of Process Automation Systems, TU Dortmund University（过程自动化系统教授会，杜伊斯堡-艾森大学）
提出一种基于学习的迭代求解器，通过神经网络预测初始解并用学习型迭代器精炼，利用KKT条件设计损失函数实现自监督训练，在非凸问题上比IPOPT快一个数量级且精度更高。
2026-06-16 cs.LG math.OC
Minimizing Polynomials Over Semialgebraic Sets
本文给出了求半代数集上多项式最小值的一种方法，一组$\re^m$定义的许多多项式方程和不等式，使用Karush-Kuhn-Tucker（KKT）系统和平方和（SOS）松弛。这推广了最近的论文\cite{njw_grad}中的结果，该论文考虑了代数集上的最小化多项式，即，在$\re^m$中由许多多项式方程定义的集合。\cite{njw_grad}中的大多数定理和结论推广到半代数集，即使在半代数集不是紧的情况下也是如此。讨论了半代数集包含在非负正交$\re^n_+$或盒约束$[a,b]_n$中的特殊情形。这些约束使计算更有效。
2005-02-17 math.AG math.OC
Multi-Objective Trust-Region Filter Method for Nonlinear Constraints using Inexact Gradients
本文提出一种结合无导数信赖域与过滤方法的多目标优化算法，利用完全线性模型处理不精确梯度，并证明在标准假设下迭代收敛到准稳定点或KKT点。
2023-04-19 math.OC
A Feasible Level Proximal Point Method for Nonconvex Sparse Constrained Optimization
Southern Methodist University（南卫理公会大学）；Shanghai university of Finance & Economics（上海财经大学）；Georgia Tech（佐治亚理工学院）
非凸稀疏模型在高维机器学习中受到了极大的关注。本文研究了一个新的模型，它由一般的凸或非凸目标和各种连续的非凸稀疏诱导约束组成。对于这种约束模型，我们提出了一种新的邻近点法，解决了一系列的凸子问题逐渐放松的约束水平。每个子问题，有一个近点目标和凸代理约束，可以有效地解决基于一个快速例程投影到代理约束。证明了算法对Karush-Kuhn-Tucker（KKT）解的渐近收敛.我们还建立了新的收敛复杂性，以实现一个近似的KKT解决方案时，目标可以是光滑/非光滑，确定性/随机和凸/非凸的复杂性，是在相应的情况下，与梯度下降无约束最优化问题。据我们所知，这是第一次研究的一阶方法的复杂性保证非凸稀疏约束问题。我们进行了数值实验，以证明我们的新模型的有效性和效率的大规模问题的算法。
2020-10-23 cs.LG math.OC
