Criticality of Lagrange Multipliers in Variational Systems
本文研究变分系统中拉格朗日乘子的临界性，这在最优化和变分分析的理论和数值方面都得到了承认。与以前的发展与多面体KKT系统等，我们现在专注于一般的非多面体系统，特别是与圆锥规划的问题。开发一种新的方法，这主要是基于先进的技术和工具的二阶变分分析和广义微分，使我们能够克服主要的挑战，非多面体，并建立完整的非临界乘数在这样的设置。所得结果通过半定规划的例子加以说明。
2018-08-11 math.OC
Sequential constant rank constraint qualifications for nonlinear semidefinite programming with applications
对非线性半定规划提出了新的约束规格条件，推广了非线性规划中的常秩型条件。作为这些条件的应用，我们在不假设Lagrange乘子唯一性和Lagrange乘子集有界的情况下，给出了一类算法到平稳点的整体收敛的统一证明.这类算法包括，例如，一般形式的增广拉格朗日，序列二次规划，和内点方法。我们还比较了这些新的条件与一些现有的，包括非退化条件，罗宾逊的约束规格，和度量次正则性约束规格。
2021-06-07 math.OC
Lagrange Multiplier Local Necessary and Global Sufficiency Criteria for Some Non-Convex Programming Problems
本文考虑三个极小化问题，即二次、$ρ$ -凸和二次分式规划问题.考虑了带二次不等式约束的二次规划问题，其变量为有界连续和离散混合变量。研究了混合变量下带$ρ$ -凸不等式约束的$ρ$ -凸问题.研究了混合变量中带二次分式约束的二次分式问题。对于所有三个问题，我们重新制定的问题作为一个数学规划的问题，并应用标准的Karush库恩塔克必要条件。然后，对每个问题，我们都给出了局部最优性最优性条件。此外，对于每个问题的拉格朗日乘子充分最优性条件，以确定全球最小的局部极小。对于二次型问题，利用拉格朗日量的低估得到了所需的充分条件。对于$ρ$ -凸问题，我们得到了两个充分的最优性条件，以区分一个全球最小的局部极小，一个与低估的拉格朗日和其他不同的技术。通过将二次分式规划问题转化为二次规划问题，并利用二次规划问题的结果，得到了二次分式规划问题的一个全局最优性条件。提供的例子来说明所获得的结果的意义。
2018-03-19 math.OC
Risk-sensitive control, single controller games and linear programming
本文利用单控制器博弈与线性规划的等价性，将无限时域风险敏感控制转化为无约束线性规划，并提出基于 Lagrange 乘子次梯度上升的原始-对偶数值求解框架。
2023-10-26 math.OC
Algorithms for Convex Quadratic Programming
本论文的主要贡献是发展了一个求解凸二次规划的新算法。它是在结合乘数的方法与不可行的有效集方法。我们的方法是迭代的。在每一步中，我们计算一个增广拉格朗日函数。然后，我们最小化这个功能使用不可行的有效集方法，已经成功地应用于类似的问题。在此之后，我们更新的等式约束的拉格朗日乘子。最后，从实际拉格朗日函数的最优解出发，再次尝试用不可行有效集方法直接求解凸二次规划。我们的方法的计算经验表明，通常只有很少（大多数时间只有一个）外迭代（乘数更新），也只有很少（大多数时间小于十）内迭代（拉格朗日函数的最小化）需要达到最优解。毕业论文的组织如下。我们用一些贯穿始终的注释来结束这一章。在第二章中，我们展示了不同QP问题公式的等价性，并提出了一些重要的所谓的直接法求解等式约束QP。在第三章中，我们将介绍线性和凸二次规划的内点方法的最重要的方面。第4章讨论了实用有效的可行有效集方法的组成部分。最后，第五章详细描述了我们的拉格朗日不可行有效集方法，并进一步给出了所涉及的子算法的收敛性分析。
2014-09-18 math.OC
Local Convergence Behaviour of Generalized Gauss-Newton Multiple Shooting, Single Shooting and Differential Dynamic Programming
本文重新审视多重打靶法、单重打靶法和微分动态规划在求解无约束最优控制问题时的局部收敛行为，证明在使用GN或GGN Hessian近似时，三者均以相同的线性速率收敛。
2023-04-04 math.OC
Third-Order Newton Methods with Semidefinite Programming
UC Riverside（加州大学河滨分校）
本文提出一种基于半定规划子问题的三阶牛顿法，利用高阶泰勒展开捕捉局部几何，在强凸与良好初始化下实现三次收敛，并给出处理子问题不可行性的正则化等实用改进。
2026-09-14 math.OC
Polynomial worst-case iteration complexity of quasi-Newton primal-dual interior point algorithms for linear programming
拟牛顿法是用于大规模数值优化的公知技术。他们在最优化问题中使用Hessian近似，在非线性方程组中使用Jacobian近似。在内点上下文中，拟牛顿算法计算与牛顿系统相关联的矩阵的低秩更新，而不是在每次迭代时从头开始计算。本文证明了线性规划的简化拟牛顿原对偶内点算法具有多项式最坏情况迭代复杂度。考虑了算法的可行和不可行情况，分析了中心路径的最常见邻域。据我们所知，这是第一次尝试为这些方法提供多项式最坏情况下的迭代复杂度界限。不出所料，当使用拟牛顿方向时获得的最坏情况的复杂度结果比采用牛顿方向时的结果更差。然而，拟牛顿更新是非常有吸引力的大规模最优化问题，其中分解矩阵的成本是远远高于解决线性系的成本。
2022-09-09 math.OC
A Semismooth Newton Method for Fast, Generic Convex Programming
我们介绍了Newton-ADMM，一种快速锥优化方法。其基本思想是将乘子的交替方向法（ADMM）产生的连续迭代的残差看作一组不动点方程，然后使用非光滑牛顿法求解;我们将其基本思想应用于分裂锥求解器（SCS），这是一种解决一般圆锥曲线最优化问题的最先进方法。我们从理论上证明，通过扩展半光滑算子的理论，牛顿ADMM收敛迅速（即，二次）的解决方案;经验上，牛顿ADMM是显着快于SCS的一些问题。该方法也基本上没有调整参数，在适当的时候生成原始或对偶不可行性的证书，并且可以专门用于解决特定的凸问题。
2017-06-20 math.OC
Correction to Euler Lagrange Multirotor Model with Euler Angles Generalized Coordinates
本文通过推导修正的 Euler-Lagrange 多旋翼姿态动力学模型，解析证明了其与 Newton-Euler 模型的精确等价性，并通过数值仿真验证了该等价性，同时表明修正模型在高增益下能提升反馈线性化控制器的稳定性。
2023-11-20 cs.SY eess.SY math.OC
A Lagrange Multiplier Expression Method for Bilevel Polynomial Optimization
本文研究二层多项式最优化问题。为了解决这些问题，我们给出了一种基于多项式优化松弛的方法。每个松弛是从Kurash-Kuhn-Tucker（KKT）条件下的下层优化和交换技术半无限规划。对于KKT条件，拉格朗日乘子表示为多项式或有理函数。Moment-SOS松弛法用于求解多项式优化松弛法。在一般假设下，证明了该算法解二层多项式最优化问题的收敛性。数值实验表明了该方法的有效性。
2021-06-09 math.OC
Dynamic Programming Through the Lens of Semismooth Newton-Type Methods (Extended Version)
策略迭代和值迭代是许多（近似）动态规划方法的核心。对于有限状态空间和有限动作空间的马尔可夫决策过程，我们证明了它们是求解Bellman方程的半光滑牛顿型方法的实例。特别地，我们证明了策略迭代等价于精确半光滑牛顿法，并具有局部平方收敛速率。这一发现得到了控制和运筹学领域的大量数值证据的证实，这些证据证实了即使在政策数量巨大的情况下，政策迭代通常也只需要很少的迭代就可以实现收敛。然后，我们表明，值迭代是一个实例的不动点迭代法。本着这种精神，我们开发了一种新的本地加速版本的值迭代与整体收敛保证和可以忽略不计的额外计算成本。
2022-06-24 math.OC
A semi-smooth Newton method for solving convex quadratic programming problem under simplicial cone constraint
研究了单纯锥约束凸二次规划问题。该问题的最优性条件是一个线性互补性问题。在适当的条件下，这一事实导致了单纯锥约束凸二次规划问题与非光滑方程组的唯一解问题的等价性.它表明，半光滑牛顿法适用于这个非光滑的方程组总是定义良好，并在一个温和的假设下，单纯锥的方法产生一个序列，线性收敛到它的解决方案。此外，我们还证明了生成序列对任意起点是有界的，并给出了该序列的任意聚点的计算公式。数值结果表明，这种方法实现了精确的解决方案，在几个迭代大的问题。
2015-03-10 math.OC
A new insight into Lagrange duality on DC optimization
本文针对DC优化问题提出新Lagrange对偶，研究弱与强对偶条件，并利用更一般函数类下的修正正则条件分析标准对偶的强对偶性。
2025-03-26 math.OC
Worst-case convergence analysis of inexact gradient and Newton methods through semidefinite programming performance estimation
我们提供了新的工具，最坏情况下的性能分析的梯度（或最速下降）的柯西光滑强凸函数的方法，和牛顿法的自协调函数，包括不精确的搜索方向的情况下。该分析使用半定规划性能估计，如Drori和Teboulle [数学规划，145（1-2）：451-482，2014]所开创的，并扩展了作者[Optimization Letters，11（7），1185-1199，2017]柯西方法的最新性能估计结果。为了说明工具的适用性，我们展示了一个新的复杂性分析的短步骤内点方法使用不精确的搜索方向。作为这个框架中的一个例子，我们概述了如何对Abernethy和Hazan最近的内点方法进行严格的最坏情况复杂性分析[PMLR，48：2520-2528，2016]。
2020-06-22 math.OC
Complexity of first order inexact Lagrangian and penalty methods for conic convex programming
在本文中，我们提出了一个完整的迭代复杂性分析的不精确的一阶拉格朗日和惩罚方法解决锥约束凸问题，有或可能没有最佳拉格朗日乘子，关闭的对偶差距。我们首先假设存在最佳的拉格朗日乘子和研究原始对偶一阶方法的基础上不精确的信息和增广拉格朗日平滑或Nesterov型平滑。对于不精确（快速）梯度增广拉格朗日方法，我们推导出总的计算复杂性的$\mathcal{O}\left(\frac{1}ε\right)$投影到一个简单的原始集，以达到$ε-$最优解的圆锥凸问题。对于不精确的快速梯度法结合Nesterov型平滑，我们推导出计算复杂性$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到同一个集合上。然后，我们假设锥约束凸问题的最优Lagrange乘子可能不存在，并分析了求解该问题的罚变换的快速梯度法。对于结合惩罚框架的快速梯度法，我们还推导出了$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到一个简单的原始集合上以获得原问题的$ε-$最优解的总计算复杂性。
2017-03-23 math.OC
A Scalable Frank-Wolfe based Augmented Lagrangian Method for Linearly Constrained Composite Convex Programming
本文研究了大规模线性约束复合凸优化问题，其目标函数为一个光滑函数和一个可能非光滑函数之和。我们提出了一个可扩展的\textbf{F}秩- \textbf{W} olfe基于\textbf{A}的增广\textbf{L}拉格朗日（FW-AL）方法来解决这个问题。在每一次迭代中，所提出的FW-AL方法采用FW方法（或其变体）在预先选定的公差内近似求解AL子问题{（具有固定的拉格朗日乘子）}，然后更新拉格朗日乘子。所提出的FW-AL方法非常适合于解决大规模问题，因为其每步的计算成本（基本上）与输入的大小呈线性关系。我们分析了所提出的FW-AL方法的非遍历收敛速度。
2015-10-12 math.OC
Extension of the LP-Newton method to SOCPs via semi-infinite representation
LP-Newton方法通过将当前点重复投影到某个相关多面体上来解决线性规划问题（LP）。在本文中，我们扩展的LP-牛顿方法的算法框架，二阶锥规划问题（SOCP）通过一个线性半无限规划（LSIP）的重新制定给定的SOCP。在扩展中，我们产生一个序列的投影到多面体锥构造的LP通过松弛LSIP获得。在较温和的假设下，证明了该算法的整体收敛性，并通过数值实验将该算法与SOCP的原对偶内点方法进行比较，考察了其效率。
2019-02-04 math.OC
Coderivative-Based Semi-Newton Method in Nonsmooth Difference Programming
研究了一类新的非光滑最优化问题，其中目标函数表示为两个一般非凸函数之差。我们提出并发展了一种新的牛顿型算法来解决这类问题，它是基于二阶次微分（广义Hessian）的协导数生成，并采用先进的变分分析工具。所提出的算法的适定性性质推导出相当一般的要求下，而建设性的收敛速度，建立通过使用额外的假设，包括Kurdyka--Kazojasiewicz条件。我们提供的应用程序的主要算法来解决一般类的非光滑非凸问题的结构优化，特别是包括，最优化问题与明确的约束。最后给出了该方法在生化模型、约束二次规划等实际问题中的应用和数值实验。与一些已知的技术和结果相比，我们的算法的优点被证明。
2023-01-09 math.OC
Exploiting Lagrange duality for topology optimization with frictionless unilateral contact
本文提出了无摩擦单侧接触结构拓扑最优化问题的易处理的变换形式。具体来说，我们考虑桁架和连续体的刚度最大化问题。基于拉格朗日对偶理论，我们推导出不涉及互补约束的公式。带接触条件的结构最优化问题常被归结为带互补约束的数学规划问题。然而，MPCC通常需要特殊处理的数值解，因为它不满足标准的约束规格。相比之下，在本文中提出的配方，我们可以应用标准的优化方法。桁架和连续体的数值实验进行了检查所提出的方法的效率。
2020-11-16 math.OC
A Newton Augmented Lagrangian Method for Symmetric Cone Programming with Complexity Analysis
Nankai University（南开大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Hebei University of Technology（河北工业大学）
本文提出了一种结合增广拉格朗日方法与内点法的牛顿增广拉格朗日方法，通过障碍函数的自共轭性质，实现了对称锥编程问题的高效求解，并证明了其O(1/ε)的复杂度界。
2026-02-28 math.OC
A squared smoothing Newton method for semidefinite programming
针对半定规划问题，提出基于Huber光滑函数的平方光滑牛顿法，证明其全局收敛性与超线性收敛速率，数值实验验证了该方法求解精确解的高效性。
2024-10-08 math.OC
A quadratically convergent semismooth Newton method for nonlinear semidefinite programming without generalized Jacobian regularity
Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院应用数学研究所）；School of Mathematical Sciences, University of Chinese Academy of Science（中国科学院大学数学科学学院）；School of Data Science, Fudan University（复旦大学数据科学系）
本文提出一种无需广义雅可比正则性条件的非线性半正定规划二次收敛半光滑牛顿方法，通过引入弱二阶条件和弱严格罗宾逊约束资格，解决了退化问题并实现了超线性收敛。
2024-11-25 math.OC
Mangasarian-Fromovitz-type constraint qualification and optimality conditions for smooth infinite programming problems
本文针对光滑无限规划问题提出推广的Mangasarian-Fromovitz型约束规范GPMFCQ，并借助Hurwicz集或非线性Farkas-Minkowski条件证明拉格朗日乘子的存在性。
2024-12-27 math.OC
Criticality of Lagrange Multipliers in Extended Nonlinear Optimization
本文主要研究变分系统中Lagrange乘子临界性的研究和应用，这类问题与复合优化中的扩展非线性规划（ENLP）问题有关。ENLP和乘子临界性概念在变分系统中的重要性已经在优化和变分分析的理论和数值方面得到了承认，而临界性概念从未在ENLP框架中进行过研究。在这里，我们提出了一个系统的研究临界和非临界乘数在一般变分设置，包括，特别是KKT系统在ENLP建立其可验证的表征以及非临界性和其他稳定性概念之间的关系变分分析。我们的方法主要是基于先进的工具，二阶变分分析和广义微分。
2019-01-05 math.OC
SDPNAL$+$: A Majorized Semismooth Newton-CG Augmented Lagrangian Method for Semidefinite Programming with Nonnegative Constraints
在本文中，我们提出了一个优化的半光滑Newton-CG增广拉格朗日方法，称为SDPNAL $+$，半定规划（SDP）的部分或全部非负约束的矩阵变量。SDPNAL $+$是由Zhao、Sun和Toh [SIAM Journal on Optimization，20（2010），pp.~ 1737--1765]来求解一般的SDP。SDPNAL工程非常有效的非退化的SDPs，但可能会遇到数值困难退化的。在这里，我们通过采用优化的半光滑牛顿-CG增广拉格朗日方法结合Sun，Toh和Yang最近引入的收敛的3块交替方向乘数方法来解决这个数值困难[arXiv预印本arXiv：1404.5378，（2014）]。对各种有无非负约束的大规模SDP的数值结果表明，所提出的方法不仅速度快，而且在获得精确解方面具有鲁棒性。它的性能明显优于其他两种基于竞争性公开可用的一阶方法的代码：（1）基于乘数的交替方向方法求解器，由Wen，Goldfarb和Yin [Mathematical Programming Computation，2（2010），pp.~ 203 - 230]和（2）Monteiro，Ortiz和Svaiter的称为2 EBD-HPE的两个简单块分解混合近端外梯度方法[数学编程计算，（2013），pp. 1 - 48]。与这两个代码相比，我们能够有效地解决SDPNAL中测试的二次分配问题的松…
2014-06-04 math.OC
Hermite matrix in Lagrange basis for scaling static output feedback polynomial matrix inequalities
使用Hermite的多项式稳定性条件的公式，静态输出反馈（SOF）控制器的设计可以被公式化为一个多项式矩阵不等式（PMI），一个（一般非凸）非线性半定规划问题，可以解决（局部）与PENNON，一个实施的惩罚方法。通常情况下，Hermite SOF PMI问题的规模很大，实验表明，这对求解器的整体性能有负面影响。在这份说明中，我们回顾厄米的二次型作为一个特定的Bezoutian代数解释，我们使用多项式插值的结果来表示厄米PMI在拉格朗日多项式的基础上，作为替代传统的权力基础。基准问题的数值实验表明，该方法带来了实质性的改善，在问题的缩放，迭代次数和收敛行为的PENNON。
2010-01-20 math.OC
Sparse Quadratically Constrained Quadratic Programming via Semismooth Newton Method
本文提出一种基于P-稳定性和半光滑牛顿法的直接求解稀疏二次约束二次规划问题的高效算法，具有低计算复杂度和局部二次收敛性，数值实验验证了其准确性与效率。
2025-10-08 math.OC
Polynomial iteration complexity of a path-following smoothing Newton method for symmetric cone programming
Institute of Mathematics, Hebei University of Technology（河北工业大学数学研究所）；State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and the University of Chinese Academy of Sciences（中国科学院数学与系统科学研究院、中国科学院大学数学科学学院）；School of Mathematical Sciences and LPMC, Nankai University（南开大学数学科学学院）
本文提出了一种路径跟踪平滑牛顿方法，通过引入缩减的障碍augmented Lagrangian函数，解决了对称锥编程中平滑牛顿方法的多项式迭代复杂性问题，证明了该方法的迭代复杂度与内点法一致。
2026-05-21 math.OC
An efficient primal dual semismooth Newton method for semidefinite programming
提出SSNCP半光滑牛顿法求解半定规划，通过校正步保证光滑性，实现全局收敛和局部超线性收敛，复杂度为ε^-3/2，在Mittelmann基准上优于现有求解器。
2025-04-23 math.OC
A semi-smooth Newton method for the nonlinear conic problem with generalized simplicial cones
State University of Campinas（坎皮纳斯州立大学）；Northern Illinois University（北伊利诺伊大学）；University of São Paulo（圣保罗大学）
本文提出一种非光滑牛顿法解决非线性锥优化问题，针对广义单纯锥建立锥投影方程，证明其二次收敛性，并在低秩矩阵补全问题中进行数值实验。
2026-04-20 math.OC
Isolated calmness of perturbation mappings in generalized nonlinear programming and local superlinear convergence of Newton-type methods
本文刻画了广义非线性规划中无乘子及依赖乘子的扰动映射在一点处及其附近的孤立平静性，并将其与拉格朗日乘子临界性联系起来，为牛顿型方法的局部超线性收敛提供了新的充分条件。
2024-07-02 math.OC
Lower Bounds for Polynomials with Simplex Newton Polytopes Based on Geometric Programming
本文提出了一种计算实多项式下界的几何规划方法。本文给出了多项式为非负多项式且具有二项平方和表示的新的充分条件。这些标准依赖于系数和多项式的支持，并将Lasserre，Ghasemi，Marshall，Fidalgo和Kovacec以前的所有标准推广到具有任意单纯形牛顿多面体的多项式。这种推广产生了一个几何规划的方法来计算下界的多项式，显着扩展了几何规划方法提出的Ghasemi和马歇尔。此外，它表明，几何规划是强相关的非负证明的基础上的非负回路多项式，这是最近推出的作者。
2016-02-25 math.AG math.OC
A simple proof of existence of Lagrange multipliers
本文提出一个基于初等方法的简单证明，展示拉格朗日乘子在等式约束优化中的存在性，并扩展到锥约束情形。
2024-02-09 math.OC
Convergence Analysis of an Inexact Feasible Interior Point Method for Convex Quadratic Programming
本文讨论凸二次规划的不精确可行内点算法的两种变型。我们将考虑两个不同的邻域：一个（小）诱导使用欧几里德范数产生一个短的步骤算法和一个对称的诱导使用无穷范数产生一个（实用）长的步骤算法。这两种算法都允许不精确地求解牛顿方程组。对于这两种算法，我们将提供牛顿方程中可接受的误差水平的条件，并建立最坏情况下的复杂性结果。
2012-08-29 math.OC
A structured modified Newton approach for solving systems of nonlinear equations arising in interior-point methods for quadratic programming
针对二次规划内点法中障碍子问题的非线性方程组，提出保留 Jacobian 非零结构的低秩修正牛顿法，并通过理论结果、数值实验及两种启发式策略验证其性能。
2023-05-03 math.OC
An asymptotically superlinearly convergent semismooth Newton augmented Lagrangian method for Linear Programming
基于强大的邻接点方法（IPM）的商业求解器，如Gueldman和Mosek，在解决大规模线性规划（LP）问题方面取得了巨大的成功。这些求解器的高效率关键取决于问题数据的稀疏性和先进的矩阵分解技术。对于具有密集（可能结构化）的数据矩阵$A$或其对应的正规矩阵$AA^T$具有密集的乔莱斯基因子（即使具有重新排序）的大规模LP问题，这些求解器可能需要在每个邻近点迭代中的过度计算成本和/或极其繁重的存储器使用。不幸的是，自然疗法，即，使用基于迭代法的IPM解算器虽然可以避免系数矩阵及其因式分解的显式计算，但是由于在每个相邻点迭代中出现的大规模正规方程的固有极端病态，实际上是不可行的。为了给求解大规模线性规划问题提供一个更好的选择，我们提出了一种基于半光滑牛顿的非精确邻近增广拉格朗日（{ \sc Snipal}）方法.与经典的IPM不同，在{ \sc Snipal}的每次迭代中，迭代法可以有效地求解更简单但条件更好的半光滑牛顿线性系.此外，{ \sc Snipal}不仅具有快速的渐近超线性收敛，而且还被证明具有有限终止性质。与Guidelines的数值比较表明，{ \sc Snipal}在处理大规模LP问题时具有令人鼓舞的潜力，其中约束矩阵$A$具有密集表示或$AA^T$具有密集因式分解，即使具有适当的重新排序。
2020-03-19 math.OC
Q-Linear Convergence of the Proximal Augmented Lagrangian Method for Non-Convex Conic Programming
本文分析了近端增广拉格朗日方法在非凸锥规划中的局部收敛性，仅依赖二阶充分性条件和乘子映射平静性，证明了非精确版本的Q-线性收敛速率且不要求乘子唯一性。
2025-09-15 math.OC
Dynamic Non-Diagonal Regularization in Interior Point Methods for Linear and Convex Quadratic Programming
本文提出了一种动态非对角正则化的内点方法。该正则化的非对角方面是隐式的，因为正则化矩阵的所有非对角元素被牛顿系统中存在的那些元素抵消，这些元素在牛顿方向的计算中不贡献重要信息。这样的正则化有多个目标。最明显的一个是改善内点法每次迭代求解的牛顿系统的谱性质。另一方面，正则化矩阵向上述线性系引入稀疏性，从而允许更有效的因子分解。我们还提出了一个规则调整的正则化动态的基础上的问题的属性，使足够大的特征值的非正则化系统的扰动不显着。这说明需要通过实验来找到特定的正则化值，这是文献中最常见的方法。给出了非正则化系统矩阵特征值的扰动界，并讨论了正则化矩阵的谱性质。最后，我们证明了该方法适用于解决标准的中小型线性和凸二次规划测试问题的效率。
2019-02-13 math.OC
A semi-smooth Newton method for a special piecewise linear system with application to positively constrained convex quadratic programming
IME/UFG（联邦大学戈亚斯州理工学院）；The University of Birmingham（伯明翰大学）
本文提出一种半光滑牛顿方法用于求解特殊分段线性系统，证明其收敛性并应用于正约束凸二次规划问题，展示了该方法在大规模问题中高效求解的能力。
2015-11-12 cs.NA math.NA math.OC
A stabilized sequential quadratic semidefinite programming method for degenerate nonlinear semidefinite programs
本文提出了一种求解退化非线性半定规划的序列二次半定规划（SQSDP）方法，该方法通过求解一系列稳定的二次半定规划（QSDP）子问题来产生迭代点，这些子问题是由与NSDP相关的极大极小问题衍生而来的.与现有的SQSDP方法不同，该方法允许我们不精确地求解这些QSDP子问题，并且每个QSDP都是可行的。该方法的另一个显著特点是在整体收敛分析中不需要约束规格或Lagrange乘子序列的有界性。具体地说，没有假设这样的条件下，我们证明了整体收敛到一个点满足以下任何一个：稳定条件的可行性问题，近似Karush-Kuhn-Tucker（AKKT）条件，和跟踪AKKT条件。最后，我们进行了一些数值实验来检验所提出的方法的效率。
2021-04-22 math.OC
On the weak second-order optimality condition for nonlinear semidefinite and second-order cone programming
对于依赖于单个Lagrange乘子的非线性锥规划问题，二阶最优性必要条件最优性条件通常建立在非退化和严格互补条件下.本文对两类非线性锥规划问题，即半定锥规划和二阶锥规划，建立了一个这样的条件，假定Robinson的约束规格和弱的常秩型性质严格弱于非退化性.我们的方法是通过一个基于惩罚的策略，这是为了提供强大的整体收敛的结果，一阶和二阶算法。由于我们没有假设严格互补，临界锥不减少到一个子空间，因此，我们得到的二阶条件是根据临界锥的线性空间定义的。在非线性规划的情况下，该条件简化为在算法实践中广泛用作二阶平稳性度量的标准二阶条件。
2022-08-05 math.OC
Active-set Newton methods and partial smoothness
不同的优化算法正确地识别，在有限的时间内，内在的约束，必须是积极的最优。类似的行为扩展到优化系统涉及部分光滑的运营商，特别是变分不等式部分光滑集。在经典的非线性规划中，这种有效集结构是牛顿型加速局部算法设计的基础。我们正式这个想法在广泛的一般性作为一个简单的线性化计划两个相交的流形。
2019-02-02 math.OC
A Sequential Quadratic Programming Perspective on Optimal Control
Texas A\& M University, College Station, TX, US.
本文统一分析了牛顿法、迭代线性二次调节器（iLQR）和微分动态规划（DDP）在求解离散时间最优控制问题中的性能，证明iLQR是一种原则性的序列二次规划（SQP）方法，并保证成本下降方向和收敛性，而牛顿法和DDP则缺乏这些保证。
2026-05-25 math.OC
An Interior Point-Proximal Method of Multipliers for Positive Semi-Definite Programming
本文将[An内点-Proximal Method of Multipliers for Convex二次规划，Computational Optimization and Applications，78，307- 351（2021）]中提出的乘子内点-Proximal Method of Multipliers（IP-PMM）推广到求解线性正半定规划（SDP）问题，允许相关牛顿系统的解不精确。特别是，我们结合了不可行的内点方法（IPM）与乘法器的近似方法（PMM）和解释的算法（IP-PMM）作为一个原始-对偶正则IPM，适用于解决SDP问题。我们对PMM的每个子问题进行迭代，直到找到满意的解，然后更新PMM参数，形成一个新的IPM邻域，重复这个过程。在这个框架下，我们证明了多项式复杂性的算法，在温和的假设下，而不需要精确的计算牛顿方向。此外，我们提供了一个必要条件缺乏强的二元性，这可以作为一个基础，构建检测机制，识别病理情况下，在IP-PMM。
2021-09-08 math.OC
On a Non-Newtonian Calculus of Variations
变分法是数学分析的一个领域，诞生于1687年牛顿的最小阻力问题，它涉及积分泛函的最大值或最小值。找到这样的问题的解决方案导致解决相关的欧拉-拉格朗日方程。几个世纪以来，该主题已经发现了许多应用，例如，物理学、经济学、工程学和生物学。然而，到目前为止，变分法的理论一直局限于牛顿的微积分方法。由于在许多应用中，容许函数的负值在物理上是不合理的，我们在这里建议开发一种替代变分法，该变分法基于Grossman和Katz在1967年至1970年期间首次引入的非牛顿方法，该方法提供了一种从一开始就定义的变分法，仅适用于正实数，它基于一个（非牛顿）导数，允许人们比较一个因变量和一个同样为正的自变量之间的相对变化。通过这种方式，我们在这里介绍的非牛顿变分法为涉及正像函数的问题提供了一个自然的框架。我们的主要结果是Euler-Lagrange型的一阶最优性条件。新的变分法以非平凡/乘法的方式补充了标准变分法，保证解保持在物理上允许的正范围内。给出了一个说明性的例子。
2021-07-29 math.CA math.OC
Global Complexity Bound of a Proximal ADMM for Linearly-Constrained Nonseperable Nonconvex Composite Programming
提出并分析了求解线性约束非凸最优化问题的阻尼邻近交替方向法（DP.ADMM），其中目标函数的光滑部分不可分. DP.ADMM的每次迭代包括：（i）部分邻近增广拉格朗日（AL）更新的序列，（ii）欠松弛拉格朗日乘子更新，以及（iii）检查AL函数的罚参数是否应该更新的新测试。在基本Slater条件下，对阻尼因子和欠松弛因子有一定的要求，证明了对于给定的数值公差$\varepsilon>0$，DP.ADMM在${\cal O}(\varepsilon^{-3})$迭代中获得了约束问题的一阶稳定点.本文的主要创新之一是，该方法的收敛性，而不需要任何秩的约束矩阵的假设。
2023-01-03 math.OC
Interior-point algorithms with full Newton steps for nonsymmetric convex conic optimization
针对非对称凸锥优化问题，提出仅需原始锥对数齐次自协调障碍函数的全牛顿步原始-对偶可行内点算法，达到最优理论迭代复杂度，兼容对偶证明框架，在困难多项式优化问题上表现出高效性与数值可靠性。
2025-02-22 math.OC
LSEMINK: A Modified Newton-Krylov Method for Log-Sum-Exp Minimization
本文提出修正 Newton-Krylov 算法 LSEMINK，通过在线性模型行空间添加位移修正 Hessian，解决对数-和-指数最小化中二次近似无下界的问题，在图像分类和几何规划中显著提升求解速度与可扩展性。
2023-07-10 math.OC
SGN: Sparse Gauss-Newton for Accelerated Sensitivity Analysis
我们提出了一个稀疏高斯-牛顿求解器加速灵敏度分析与应用范围广泛的平衡约束最优化问题。稠密高斯-牛顿解算器在逆问题上表现出了很好的收敛速度，但到目前为止，组装和分解相关矩阵的成本一直是一个主要的绊脚石。在这项工作中，我们展示了如何密集的高斯-牛顿海森可以转化为一个等价的稀疏矩阵，可以更有效地组装和分解。这导致了许多反问题的计算时间大大减少，我们证明了一组不同的例子。此外，我们显示之间的联系灵敏度分析和非线性规划方法的基础上拉格朗日乘子和证明等价的特定假设下，适用于我们的问题设置。
2021-07-09 cs.NA math.NA math.OC
An ADMM-Based Interior-Point Method for Large-Scale Linear Programming
提出了一种求解超大型线性规划问题的内点方法。传统的IPM通常使用牛顿法来近似求解子问题，该子问题的目标是在每次迭代时最小化对数障碍罚函数。由于它与牛顿法的联系，IPM通常被归类为二阶方法--一种以牺牲可扩展性为代价的稳定性和准确性。实际上，计算牛顿步长相当于求解大型线性系，如果输入数据大小合理和/或稀疏和/或结构良好，则可以有效地实现该大型线性系。然而，如果上述前提失败，那么传统IPM的挑战仍然存在。为了应对这一挑战，一种方法是应用迭代过程，例如预条件共轭梯度法，来求解线性系。由于每次迭代得到的线性系不同，很难找到好的预条件子来达到整体求解效率。在本文中，提出了一种替代方法。在原对偶路径跟踪的框架下，我们采用乘子的交替方向法（ADMM）来近似最小化每次迭代的对数障碍罚函数，而不是应用牛顿法.该算法是一种基于ADMM的内点方法，本文简称为ABIP。新方法继承了IPM的稳定性和ADMM的可扩展性。由于其自对偶嵌入结构，ABIP被设置为解决任何LP，而不需要关于其可行性的先验知识。我们进行了大量的数值实验测试ABIP与大规模的LP从NETLIB和机器学习应用程序。结果表明，ABIP优于现有的LP求解器，包括SDPT 3，MOSEK，DSDP-CG和SCS。
2020-07-02 math.OC
Newton's method on Graßmann manifolds
Universität Würzburg（维尔茨堡大学）；National ICT Australia Limited Canberra Research Laboratory（国家ICT澳大利亚有限公司堪培拉研究实验室）；Department of Information Engineering The Australian National University（澳大利亚国立大学信息工程系）
提出一类依赖于任意局部坐标的Graßmann和Lagrange-Graßmann流形上的牛顿算法，在坐标系的适当条件下证明局部二次收敛，并推导出用于主成分分析和不变子空间计算的新数值算法。
2007-09-28 cs.NA math.DG math.NA
Gauss-Newton-type methods for bilevel optimization
本文研究了求解超定系统双层规划问题的Gauss-Newton型方法。为了进行，我们使用较低级别的价值函数重新制定的双层计划，并考虑必要的最优性条件在适当的假设。首先严格互补的上下层的可行性约束下，我们证明了收敛的高斯-牛顿型方法在计算点满足这些最优性条件下额外的易处理的资格条件。潜在的方法，以解决该方法的缺点，然后提出，导致替代品，如伪或平滑高斯-牛顿型方法的双层优化。我们的数值实验进行了124个例子，从最近发布的双层优化库（BOLIB）比较我们的方法在不同的情况下的性能，并表明这是一个易于处理的方法来解决连续变量的双层最优化问题。
2020-03-06 math.OC
Global Convergence of Algorithms Under Constant Rank Conditions for Nonlinear Second-Order Cone Programming
在[R. Andreani，G.黑泽湖M. Mito，H.拉米雷斯C.，非线性半定规划中的非退化的弱概念，arXiv：2012.14810，2020]非退化（或横截性）的经典概念和罗宾逊的约束规格已经在利用问题的结构（即，其特征分解）的非线性半定规划的上下文中被重新审视。这允许在显著较小的向量集合的（正）线性独立性方面等效地制定条件。在本文中，我们将这些想法的背景下，非线性二阶锥规划。例如，对于一个$m$维二阶锥，我们不是将顶点处的非退化性表述为$m$导向量的线性独立性，而是根据$2$导向量的线性独立性的几个表述来表述。这允许嵌入的二阶锥的结构到制定的nondegeneracy，并通过扩展，罗宾逊的约束规格以及。这种观点被证明是至关重要的，在定义显着较弱的约束规格，如恒定的秩约束规格和恒定的正线性相关条件。此外，这些条件是足以保证整体收敛的几个算法，同时仍然意味着度量次正则性，而不需要有界的拉格朗日乘子集。
2022-04-17 math.OC
