An Adaptive Stochastic Sequential Quadratic Programming with Differentiable Exact Augmented Lagrangians
考虑求解具有随机目标和确定性等式约束的非线性最优化问题。我们假设目标的评估，梯度和Hessian是不可访问的，而可以通过例如子采样来计算它们的随机估计。我们提出了一种基于序列二次规划（SQP）的随机算法，该算法使用可微的精确增广拉格朗日函数作为评价函数。为了激励我们的算法设计，我们首先回顾和简化了一个老的SQP方法\citep{Lucidi1990Recursive}解决确定性问题，这是我们的随机算法的骨架。基于简化的确定性算法，我们提出了一种非自适应SQP处理随机目标，其中的梯度和Hessian被替换为随机估计，但步长是确定的和预先指定的。最后，我们将最近的随机线搜索过程\citep{Paquette2020Stochastic}到非自适应随机SQP自适应地选择随机步长，从而导致自适应随机SQP。证明了非自适应和自适应SQP方法的全局“几乎必然“收敛性。在CUTEst测试集上对非线性问题的数值实验表明了自适应算法的优越性。
2022-06-06 cs.NA math.NA math.OC
Analysis of Sequential Quadratic Programming through the Lens of Riemannian Optimization
证明了求解等式约束优化问题的“一阶”序列二次规划（SQP）算法具有以速度$κ_R$局部线性收敛性和以速度$k^{-1/4}$整体收敛性.我们的分析建立在黎曼优化的基础上-我们表明SQP和黎曼梯度法在约束流形附近具有几乎相同的行为，这对于理解约束优化可能具有更广泛的意义。
2019-01-31 math.OC
Diminishing Stepsize Methods for Nonconvex Composite Problems via Ghost Penalties: from the General to the Convex Regular Constrained Case
本文扩展了非凸约束问题的递减步长方法以处理等式约束和复合非光滑目标，并证明在凸约束满足标准约束规范时可大幅简化算法、降低每次迭代计算量。
2020-07-30 math.OC
Constrained Optimization in the Presence of Noise
感兴趣的问题是使用序列二次规划（SQP）方法最小化受非线性等式约束的非线性函数。最小化必须在只观察目标函数和约束函数的噪声评估时执行。为了获得稳定性，经典的SQP方法是通过放松标准的Armijo线搜索的基础上的功能，这是假设是已知的。收敛理论给出的条件下，迭代收敛到附近的解决方案，其特征在于由噪声水平和问题的空调。分析假设SQP算法不需要正则化或置信域。数值实验表明，放松线搜索提高了实际性能的方法对均匀分布的噪声问题。这项工作的一个重要应用是在无导数优化领域，当有限差分估计梯度。
2021-10-08 math.OC
The Riemannian Landing Method: From projected gradient flows to SQP
UCLouvain（瓦隆天主教大学）；KU Leuven（荷语鲁汶大学）
本文提出一种统一的几何框架，揭示在合适Riemannian度量下，Landing算法包含投影梯度流、SQP和增广拉格朗日方法等经典优化方法，并提出具有自适应步长的全局收敛Landing方法。
2026-03-25 math.OC
The regularization continuation method for optimization problems with nonlinear equality constraints
本文针对非线性等式约束优化问题提出正则化延拓方法和信赖域更新策略，通过在不同阶段使用不同预条件子提升效率与鲁棒性，且因每次迭代仅求解线性方程组而比SQP更快，数值实验证明其在大规模问题上计算时间约为fmincon.m的三分之一，并给出了全局收敛性分析。
2023-08-04 cs.CE cs.MS cs.NA
A stabilized sequential quadratic programming method for degenerate nonlinear optimization problems on Riemannian manifolds
Graduate School of Management, Tokyo Metropolitan University（东京都立大学经营管理研究科）；Graduate School of Informatics, Kyoto University（京都大学情报学研究科）
本研究将稳定SQP框架扩展至黎曼流形，提出无约束规范假设下收敛的稳定SQP方法，经数值实验验证其对退化非线性优化问题的有效性。
2026-08-14 math.OC
Projected Stochastic Momentum Methods for Nonlinear Equality-Constrained Optimization for Machine Learning
Lehigh University（利哈伊大学）
本文提出两种投影随机动量方法，用于解决机器学习中的非线性等式约束优化问题，并通过实验验证其有效性。
2026-01-16 math.OC
Nonsmooth exact penalty methods for equality-constrained optimization: complexity and implementation
GERAD；Department of Mathematics and Industrial Engineering, Polytechnique Montréal（蒙特利尔高等商学院数学与工业工程系）
本文提出了一种非光滑等式约束优化的精确惩罚方法，通过近端型算法高效实现，并建立了最坏情况复杂度界。
2025-11-28 math.OC
Model-Based Derivative-Free Optimization Methods and Software
本文主要研究无导数优化，特别是基于模型的方法和软件。这些方法是由最优化问题激发的，对于这些最优化问题，访问目标函数和可能的约束函数的一阶信息是不可能的或过于昂贵的。特别是，本论文介绍了PDFO，这是我们开发的一个包，为Powell的基于模型的DFO求解器（即COBYLA、UOBYQA、NEWUOA、BOBYQA和LINCOA）提供MATLAB和Python接口。此外，本文的一个重要部分是致力于开发一个新的DFO方法的基础上的序列二次规划（SQP）方法。因此，我们对SQP方法进行了概述，并对其理论和实践提供了一些观点。特别是，我们证明了SQP子问题的目标函数是曲面的切空间中原目标函数的自然二次逼近。最后，我们详细阐述了发展我们的新DFO方法，命名为COBYQA后约束优化二次逼近。这种无导数的信赖域SQP方法被设计用于解决允许等式和不等式约束的非线性约束最优化问题。COBYQA的一个重要特征是它总是尊重边界约束，如果有的话，这是由当边界被违反时目标函数未定义的应用所激发的。通过大量的数值实验，表明COBYQA算法与Powell的DFO算法相比具有明显的优势。这些实验表明，COBYQA是一个很好的继任者COBYLA作为一个通用的DFO求解器。这是博士在香港理工大学张在坤博士和陈晓军教授的指导下完成。香港大学教育资助委员会（教资会）透过香港大学教育学院提供资助。研究金计划。
2023-02-27 math.OC
Adaptive Sampling Trust Region Optimization for Derivative-free Stochastic Functions and Deterministic Equality Constraints
North Carolina State University（北卡罗来纳州立大学）；University of Melbourne（墨尔本大学）
针对含噪声零阶目标与可求导确定性等式约束的优化问题，提出ASTRO-DF的受限变体，证明其几乎必然收敛并在等式约束随机活动网络问题中取得数值结果。
2026-08-18 cs.NA math.NA math.OC
Global Convergence of an SQP Method for Contact-Implicit Trajectory Optimization
meta
本文针对约束丰富的动态系统的接触隐式轨迹优化，证明了带自适应时间步长细化的线搜索SQP方法的全局收敛性，该方法可有限终止于力参数化平稳点。
2026-08-14 cs.RO math.OC
A Generalized $\ell_1$-Merit Function SQP Method Using Function Approximations with Tunable Accuracy
本文提出一种广义线搜索SQP算法，利用可调精度的函数近似和误差界求解等式约束优化，保持一阶全局收敛性，并应用于Boussinesq PDE边界控制问题。
2025-07-08 cs.NA math.NA math.OC
An objective-function-free algorithm for nonconvex stochastic optimization with deterministic equality and inequality constraints
Université de Toulouse, INP, IRIT（图卢兹大学，国立理工学院，IRIT）；NAXYS, University of Namur（NAXYS，纳慕尔大学）
本文提出一种无目标函数算法，用于解决具有随机目标和确定性等式和不等式约束的优化问题。该算法通过自适应选择函数减少和约束改善迭代，采用Adagrad型步长，证明在全秩雅可比问题中，联合对偶最优度量以O(1/sqrt{k})速率收敛。
2026-10-07 math.OC
A Projected Gradient and Constraint Linearization Method for Nonlinear Model Predictive Control
投影梯度下降法是一类求解最优化问题的迭代法。它的适用性凸优化计划已经获得了显着的普及，其直观的实现，只涉及简单的代数运算。事实上，如果到可行集的投影容易计算，则该方法具有低复杂度。另一方面，当问题是非凸的，例如，由于非线性等式约束，投影变得困难，因此不切实际。在本文中，我们提出了一个非线性规划（NLP）的投影梯度方法，只需要投影到线性化的非线性约束在当前的时间，类似于序列二次规划（SQP）。虽然投影更容易计算，但它使中间步骤对于原始问题不可行。因此，梯度方法既不属于投影梯度下降方法，因为投影不是在原始非线性流形上执行的，也不属于标准SQP，因为没有使用二阶信息。对于非线性光滑最优化问题，我们分析了所提出的方法与SQP的相似之处，并评估了其局部和整体收敛到原问题的Karush-Kuhn-Tucker（KKT）点。此外，我们表明，非线性模型预测控制（MPC）是一个很有前途的应用所提出的方法，由于稀疏的最优化问题。我们说明了所提出的方法的计算效率在一个数值例子中的控制输入和二次终端约束的状态变量的框约束。
2016-10-21 math.OC
An Improved Sequential Quadratic Programming Algorithm for Solving General Nonlinear Programming Problems
本文讨论了一类带有不等式和等式约束的一般非线性规划问题。首先，将原问题转化为一个仅含不等式约束的简单等价问题。然后，受序列二次规划（SQP）方法和线性方程组（SLE）方法思想的启发，提出了一种求解原问题的新型SQP算法。在每次迭代中，搜索方向由两个方向的组合产生，这两个方向分别通过求解总是可行的二次规划（QP）子问题和SLE获得。为了克服Maratos效应，通过求解另一个系统方程组得到高阶修正方向。这两个SLE具有相同的系数矩阵，并且我们只需要在有限次迭代之后求解其中一个。通过一种新的线搜索技术，在适当的假设条件下，该算法具有全局收敛性和超线性收敛性。最后，一些比较数值结果表明，该算法是有效的和有前途的。
2012-12-18 math.OC
A Fast Temporal Decomposition Procedure for Long-horizon Nonlinear Dynamic Programming
本文提出一种基于SQP和重叠时间分解的快速方法，用于求解长时域非线性动态规划，仅需单步牛顿更新即可实现与Schwarz格式匹配的局部线性收敛速率。
2023-04-17 math.DS math.OC
Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems
本文提出全随机信赖域序列二次规划算法TR-StoSQP，通过自适应松弛技术和信赖域半径分解处理等式约束优化中的不可行性问题，并证明了全局几乎必然收敛性。
2024-01-29 math.OC stat.CO stat.ML
Sequential Quadratic Optimization for Nonlinear Equality Constrained Stochastic Optimization
University of Michigan（密歇根大学）；Lehigh University（里海大学）
提出了求解带等式约束的光滑非线性最优化问题的序列二次优化算法。主要的焦点是当约束函数是确定的，约束函数和导数值可以显式计算，但目标函数是随机的情况下，提出的算法。假设在这种情况下，虽然可以计算随机函数和梯度估计，但显式计算目标函数和导数值是困难的。作为这个随机设置的起点，提出了一种算法，用于确定性设置，该确定性设置是仿照一个国家的最先进的线搜索SQP算法，但使用的步长选择计划的基础上Lipschitz常数（或自适应估计Lipschitz常数）的线搜索。这为随机设置的所提出的算法设置了阶段，假设线搜索将是难以处理的。在合理的假设下，收敛（分别为~对于所提出的确定性（分别为~），证明了从远程起点的期望收敛随机）算法。数值实验的结果表明，我们所提出的技术的实际性能。
2020-07-20 cs.LG math.OC
Continuation Method with the Trusty Time-stepping Scheme for Linearly Constrained Optimization with Noisy Data
带线性约束的非线性最优化问题在工程领域有着广泛的应用，如无人机保持水平飞行的视觉-惯性导航和定位等。为了有效地解决这一实际问题，本文针对线性等式约束最优化问题，在每个采样时刻构造了一种可信时间推进的延拓算法。在每次迭代中，新方法只求解一个线性方程组，而传统的最优化方法如序列二次规划（SQP）方法需要求解一个二次规划子问题。因此，新的方法可以节省更多的计算时间比SQP。数值计算结果表明，该方法能很好地解决这一问题，其计算时间约为SQP（MATLAB 2018 a环境的内置子程序fmincon.m）或传统动力学方法（MATLAB 2018 a环境的内置子程序ode 15 s. m）的五分之一.此外，我们还对新方法进行了整体收敛分析。
2020-10-31 cs.NA cs.SY eess.SY
Retrospective Approximation Sequential Quadratic Programming for Stochastic Optimization with General Deterministic Nonlinear Constraints
本文提出基于回溯近似范式的框架，结合确定性SQP求解器，高效处理随机目标与一般非线性约束的优化问题，实现最优复杂度并在基准测试中验证性能。
2025-05-26 math.OC
Constrained Optimization From a Control Perspective via Feedback Linearization
Massachusetts Institute of Technology（麻省理工学院）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Harvard University（哈佛大学）
本文通过反馈线性化方法解决约束优化问题，揭示其与SQP算法的联系，并提出动量加速算法以提升收敛性能。
2026-01-28 math.OC
The regularization continuation method with an adaptive time step control for linearly constrained optimization problems
研究了线性等式约束最优化问题的正则化延拓方法和信赖域更新策略.该方法利用正则化延拓方法的线性守恒律，与以往的延拓方法和拟正则化延拓方法相比，不需要计算保持可行性的修正步长.线性约束最优化问题的牛顿修正公式。此外，该方法采用有限记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）公式作为预处理技术，提高了适定性阶段的计算效率;采用拉格朗日Hessian的正则化双边投影的逆作为预处理技术，提高了算法的鲁棒性.数值结果还表明，新方法比传统的最优化方法（例如乘数的交替方向法（ADMM）、序列二次规划（SQP）方法（MATLAB 2020 a环境的内置子程序fmincon.m））和最近的连续方法（Ptctr）更鲁棒、更快。新方法的计算时间约为SQP（fmincon.m）的1/3。最后，给出了新方法的整体收敛性分析。
2022-04-08 cs.NA math.NA math.OC
Almost-sure convergence of iterates and multipliers in stochastic sequential quadratic optimization
Lehigh University（里海大学）
本文针对带非线性等式约束的随机序列二次优化方法，证明了原问题迭代、拉格朗日乘子及平稳性度量的几乎必然收敛性，并利用乘子滑动平均消除随机梯度估计误差，辅以数值实验验证。
2023-08-07 cs.LG math.OC
Parallel Sequential Quadratic Programming with Overlapping Graph Decomposition and Exact Augmented Lagrangian
University of Chicago（芝加哥大学）；Georgia Tech（佐治亚理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Argonne National Laboratory（阿贡国家实验室）
本文提出一种并行序列二次规划方法，通过重叠图分解和精确增广拉格朗日函数解决大规模图结构非线性规划问题，实现全局收敛与局部线性收敛率。
2026-05-16 math.OC
An Infeasible Method with Feasibility Safeguard for Nonsmooth Composite Optimization Over Manifolds
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University（中山大学计算机科学与工程学院）
提出一种可行性保护的非精确近端线性化方法（FSIPL），允许不可行迭代但限制在流形附近，通过校正步和线搜索控制不可行性，证明收敛性和复杂度，并在稀疏PCA和谱聚类中验证效率。
2026-10-20 math.OC
Adaptive directional decomposition methods for nonconvex constrained optimization
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）
本文针对带等式和不等式约束的非凸优化问题，提出基于分解策略与自适应参数更新的一阶算法框架，并在确定性与随机情形下分别建立了达到或优于现有水平的迭代复杂度和oracle复杂度界。
2025-11-07 math.OC
A New Adaptive Balanced Augmented Lagrangian Method with Application to ISAC Beamforming Design
本文提出一种自适应平衡增广拉格朗日（ABAL）方法，用于高效求解带线性等式约束的凸规划问题，并将其定制应用于ISAC波束赋形设计，仿真验证了其有效性。
2024-10-20 cs.IT eess.SP math.IT
A Unified Framework for Randomized Row-Action Methods for Structured Data Fitting and Constraint Geometry
Université de Mons（蒙斯大学）；Tongji University（同济大学）
本文提出面向结构化数据拟合与约束几何的随机行作用方法统一框架，推导两类算法分支的收敛结果，数值实验验证其在非负矩阵分解等问题中的有效性。
2026-10-14 cs.NA math.NA math.OC
Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching
University of Chicago（芝加哥大学）；University of California, Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文针对等式约束非线性非凸优化问题，提出一种结合随机迭代草图求解器与精确增广拉格朗日线搜索的自适应非精确牛顿法，实现全局几乎必然收敛及局部超线性收敛，并在多个基准问题上验证了其优越性能。
2023-05-28 cs.LG cs.NA math.NA
Parallel and Proximal Constrained Linear-Quadratic Methods for Real-Time Nonlinear MPC
LAAS-CNRS, University of Toulouse（图卢兹大学LAAS-CNRS）；ANITI, University of Toulouse（图卢兹大学ANITI）
本文提出一种求解带对偶正则化LQR问题的并行算法，通过块消元重写递归并推广至参数化问题以并发求解子问题，在ALIGATOR库中实现并成功应用于四足机器人实时NMPC。
2024-06-03 cs.RO math.OC
Inequality Constrained Stochastic Nonlinear Optimization via Active-Set Sequential Quadratic Programming
Argonne National Laboratory（阿贡国家实验室）；The University of Chicago（芝加哥大学）；University of California, Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）
我们研究具有随机目标和确定性等式和不等式约束的非线性最优化问题，这些问题出现在许多应用中，包括金融，制造，电力系统以及最近的深度神经网络。我们提出了一个有效集随机序列二次规划（StoSQP）算法，利用可微精确增广拉格朗日作为价值函数。该算法自适应地选择增广拉格朗日函数的罚参数，并进行随机线搜索来确定步长。证明了算法的整体收敛性：对于任意初始值，KKT残差几乎必然收敛于零.我们的算法和分析进一步发展了Na等人之前的工作，（2022年）。具体来说，我们允许非线性不等式约束，而不需要严格的互补条件;改进Na等人的一些设计，（2022）提出的改进方法，如可行性误差条件和单调增加的样本量，加强了整体收敛的保证，提高了目标Hessian上的样本复杂度。我们证明了所设计的算法的性能上的一个子集的非线性问题收集在CUTEst测试集和约束逻辑斯谛回归问题。
2023-01-30 cs.LG cs.NA math.NA
