Local convergence analysis of augmented Lagrangian method for nonlinear semidefinite programming
自1969年Hestenes和Powell提出增广拉格朗日方法以来，增广拉格朗日方法以其优美的理论和令人印象深刻的数值性能得到了广泛的应用。它已被广泛应用于许多高效的求解器，以提高数值性能，解决许多问题。在不要求乘子唯一性的条件下，通过假设Karush-Kuhn-Tucker（KKT）解的二阶充分条件和半孤立镇定性，在较弱的条件下，得到了非线性半定规划（NLSDP）的ALM生成的原对偶序列的局部（渐近Q-超线性）Q-线性收敛速率.
2022-08-08 math.OC
Application of Lagrangian mechanics equations for finding of the minimum distance between smooth submanifolds in N-dimensional Euclidean space -- Part II
给出了N维欧几里得空间中光滑不相交子流形之间最小距离的求法。它基于描述物质点对动力学的方程的解。动力系统可以表示为一个自然的力学系统，由流形上的黎曼几何和选定的势能决定。这样的方法使得有可能找到所考虑的系统的李雅普诺夫函数，并制定的形式的势能，带来的方法的收敛性的要求。
2017-08-16 math.DS math.OC
Topological sensitivities via a Lagrangian approach for semi-linear problems
在本文中，我们提出了一种方法，可以有效地计算平均伴随拉格朗日框架内的半线性椭圆问题的拓扑导数。我们的方法的一般性也应该允许扩展到进化问题和其他非线性问题。我们的策略依赖于平均伴随状态变量的重标微商，我们表明弱收敛到满足在整个空间中定义的方程的函数。这个框架的一个独特的特点和优点是，我们只需要处理弱收敛的微商连续性。这允许在一个简单的功能分析框架下，温和的假设下的拓扑灵敏度的计算。
2018-03-15 math.OC
The Rate of Convergence of the Augmented Lagrangian Method for a Nonlinear Semidefinite Nuclear Norm Composite Optimization Problem
本文提出了两个基本假设，在此假设下，估计了一类复合最优化问题增广Lagrange方法的收敛速率。通过对这两个基本假设的验证，分析了增广拉格朗日方法求解非线性半定核范数复合最优化问题的局部收敛速度.在不要求严格互补的情况下，证明了在约束非退化条件和强二阶充分条件下，算法的收敛速率是线性的，且比常数与1/c成正比，其中c是惩罚参数，超过阈值\bar c>0.分析是基于核范数和投影算子在半正定对称矩阵锥上的近似映射的变分分析。
2017-09-02 math.OC
A semi-proximal augmented Lagrangian based decomposition method for primal block angular convex composite quadratic conic programming problems
针对具有原始块角结构的凸复合二次锥规划问题，提出了一种基于半邻近增广拉格朗日分解的求解方法。使用我们的算法框架，我们能够自然地得到几个众所周知的增广拉格朗日分解方法的随机规划，如对角二次近似法的Mulvey和Ruszczyovski。此外，我们能够得到新的增强和推广这些众所周知的方法。我们还提出了一个半近似对称的高斯-赛德尔为基础的交替方向法的乘数解决相应的对偶问题。数值结果表明，我们的算法可以很好地执行，即使是非常大的情况下，原始块角凸QP问题。例如，一个具有多个$300,000$线性约束和$12,500,000$非负变量的实例在小于一分钟内求解，而Guesthouse花费了3个多小时，另一个具有多个$331,000$线性约束和$986,000$非负变量的实例{ \tt qp-gridgen 1}在大约5分钟内求解，而Guesthouse花费了35分钟以上。
2018-12-12 math.OC
An instantaneous semi-Lagrangian approach for boundary control of a melting problem
研究了一类自由边界问题的次优边界控制策略。模型采用非光滑对流-扩散方程描述。控制问题是解决的瞬时战略的基础上的特征方法。所得到的时间无关的控制问题被表述为具有互补约束的函数空间最优化问题。在每一个时间步，最优解的存在性证明和一阶最优性条件与定期拉格朗日乘子导出的惩罚正则化版本。数值例子说明了整体方法的性能。
2020-11-05 math.OC
A Lagrangian relaxation view of linear and semidefinite hierarchies
考虑一般多项式最优化问题$P: f^*=\min \{f(x)\,:\,x\in K\}$，其中$K$是一个紧的基本半代数集.我们首先表明，标准的拉格朗日松弛产生一个下界，如所需的全局最优值$f^*$，只要它被施加到一个问题$\tilde{P}$相当于$P$，其中足够多的冗余约束（产品的初始）被添加到初始描述的$P$。接下来，我们证明了$P$的LP松弛的标准层次（在Sherali-Adams的RLT的精神中）可以被解释为上述拉格朗日松弛的强力简化，其中非负多项式（系数待定）被替换为等于零的常数多项式。受这种解释的启发，我们提供了一个系统的LP-层次结构的改进，做了一个不那么残酷的简化，结果成一个参数化的层次结构的半定程序（而不是线性程序）。对于每个半定程序的参数化层次结构中，半定约束有一个固定的大小$O(n^k)$，独立的等级在层次结构中，与标准层次的半定松弛。参数$k$由用户决定。当应用到一个非平凡的一类凸问题，参数化的层次的第一松弛是准确的，在LP-层次的收敛不能是有限的。当应用于0/1程序时，它至少和半定松弛层次中的第一个一样好。然而，准确性的障碍仍然存在，并简要分析。最后，标准的半定层次也可以被看作是一个扩展的拉格朗日松弛的简化，但不同的精神，因为平方和（而不是标量）乘数是允许的。
2012-10-17 math.OC
SDPNAL$+$: A Majorized Semismooth Newton-CG Augmented Lagrangian Method for Semidefinite Programming with Nonnegative Constraints
在本文中，我们提出了一个优化的半光滑Newton-CG增广拉格朗日方法，称为SDPNAL $+$，半定规划（SDP）的部分或全部非负约束的矩阵变量。SDPNAL $+$是由Zhao、Sun和Toh [SIAM Journal on Optimization，20（2010），pp.~ 1737--1765]来求解一般的SDP。SDPNAL工程非常有效的非退化的SDPs，但可能会遇到数值困难退化的。在这里，我们通过采用优化的半光滑牛顿-CG增广拉格朗日方法结合Sun，Toh和Yang最近引入的收敛的3块交替方向乘数方法来解决这个数值困难[arXiv预印本arXiv：1404.5378，（2014）]。对各种有无非负约束的大规模SDP的数值结果表明，所提出的方法不仅速度快，而且在获得精确解方面具有鲁棒性。它的性能明显优于其他两种基于竞争性公开可用的一阶方法的代码：（1）基于乘数的交替方向方法求解器，由Wen，Goldfarb和Yin [Mathematical Programming Computation，2（2010），pp.~ 203 - 230]和（2）Monteiro，Ortiz和Svaiter的称为2 EBD-HPE的两个简单块分解混合近端外梯度方法[数学编程计算，（2013），pp. 1 - 48]。与这两个代码相比，我们能够有效地解决SDPNAL中测试的二次分配问题的松…
2014-06-04 math.OC
A preconditioned augmented Lagrangian method for solving semidefinite programming problems
National University of Singapore（新加坡国立大学）
本文提出了一种预条件增广拉格朗日方法（ALM）来求解半正定规划（SDP）问题，通过在ALM子问题中使用加权惩罚函数实现预条件器，权重矩阵来源于可行区域切空间的投影算子。这种简单而有效的修改显著加速了ALM，特别是对于病态的SDP问题。结合预条件ALM与之前开发的可行方法SDPF，我们开发了SDPF+，一种能够处理具有可能非线性目标函数的凸问题的SDP求解器。大量数值实验展示了SDPF+的效率和鲁棒性，表明其在具有低秩最优解的大型SDP问题上通常优于其他求解器。
2026-05-16 math.OC
Augmented Lagrangian methods for nonlinear semidefinite programming with complementarity constraints
Federal University of São Paulo（圣保罗联邦大学）；State University of Maringá（马林加州立大学）；Federal University of Paraná（巴拉那联邦大学）；Instituto Federal de Santa Catarina (IFSC)（圣卡塔琳娜联邦学院）
针对高度退化的半定互补约束非线性规划，提出基于谱分解的增广拉格朗日方法，证明在扩展Robinson条件下序列聚点达到W-平稳性或C-平稳性。
2026-06-07 math.OC
A Semidefinite Representation for some Minimum Cardinality Problems
利用[Lasserre 02]中的技巧，我们证明了某些服从线性不等式的最小基数问题可以表示为半定规划的有限序列.特别地，我们给出了正半定矩阵上最小秩问题的半定表示。我们也使用这种技术铸造的问题，找到凸下界的目标作为一个半定的计划。
2003-02-27 math.OC
A Lagrangian program detecting the Weighted Fermat-Steiner-Frechet multitree for a Frechet $N-$multisimplex in the $N-$dimensional Euclidean Space
在本文中，我们引入了一个正实数$\frac{N(N+1)}{2}-$元组的Fermat-Steiner-Frechet问题，它决定了$\mathbb{R}^{N},$中$N-$单形的边长，从而研究了它的解，称为“Fermat-Steiner-Frechet多树”，它由Blumenthal意义下所有导出的两两不全等$N-$单形的Fermat-Steiner树的并集组成，Herzog对$N=3$和Dekster-Wilker对$N\ge 3.$我们基于Lagrange乘子理论得到了一种确定$\mathbb{R}^{N}$中Fermat-Steiner-Frechet多重树的方法，其等式约束依赖于$\mathbb{R}^{N}.$中$N-$单形的逆加权Fermat问题的$N-1$独立解用于$\mathbb{R}^{N}$中的Fermat-SteinerFrechet问题的拉格朗日程序的应用是检测具有全局最小长度的Fermat-Steiner树，所述Fermat-Steiner树具有由Dekster-Wilker控制的连续自然数的$\frac{N(N+1)}{2}-$元组确定的$\frac{[\frac{N(N+1)}{2}]!}{(N+1)!}$不一致的$N-$单形中的$\frac{N(N+1)}{2}-$相等加权的Fermat-Steiner点，Blumenthal-Herzog条件，…
2022-07-29 math.OC
An Efficient Augmented Lagrangian Method with Semismooth Newton Solver for Total Generalized Variation
总广义变分（TGV）是一种非常强大和重要的正则化方法，用于各种反问题和计算机视觉任务。在本文中，我们提出了一个半光滑牛顿基增广拉格朗日方法来解决这个问题。增广拉格朗日方法（又称乘子法）被广泛应用于许多光滑或非光滑的变分问题。然而，其效率通常严重依赖于同时解决耦合和非线性系统，这是非常复杂的和高度耦合的总广义变化。利用有效的原始-对偶半光滑Newton方法求解包含广义变分的复杂线性子问题，研究了一种高效的半光滑Newton算法，并与一阶方法进行了比较.通过分析相应函数的度量子空间，给出了增广拉格朗日方法的整体收敛和局部线性收敛速率.
2022-01-27 cs.NA math.NA math.OC
Modified Patankar Semi-Lagrangian Scheme for the Optimal Control of Production-Destruction systems
Sapienza University of Rome（罗马大学）；C.N.R. National Research Council of Italy, Institute for Applied Mathematics “Mauro Picone”（意大利国家研究委员会应用数学“毛罗·皮乔内”研究所）
本文提出改进的帕坦卡尔半拉格朗日方案，用于生产-破坏系统的最优控制，通过动态规划方法解决有限时间最优控制问题，并应用于生化反应和传染病案例研究。
2025-01-22 cs.NA math.NA math.OC
A semi-Lagrangian method for solving state constraint Mean Field Games in Macroeconomics
针对宏观经济学Aiyagari-Bewley-Huggett框架下的平均场博弈异质主体模型，建立HJB方程约束粘性解比较原理，提出带策略迭代的半拉格朗日数值方案并证明收敛，给出可实现的全离散求解形式。
2025-10-01 cs.NA math.NA math.OC
A Semi-Lagrangian scheme for Hamilton-Jacobi-Bellman equations with Dirichlet boundary conditions
针对有界域内带Dirichlet边界条件的HJB方程，提出一种在非结构化网格上、近边界特殊处理的半拉格朗日格式，保证单调性与相容性，并证明其收敛性，含退化与一阶情形。
2025-03-26 cs.NA math.NA math.OC
A distributed semismooth Newton based augmented Lagrangian method for distributed optimization
School of Mathematics, Southwest Jiaotong University（西南交通大学数学学院）；School of Computer and Computing Science, Hangzhou City University（杭州城市大学计算机与计算科学学院）；Institute of Mathematics, Zhejiang Wanli University（浙江万里大学数学学院）
本文提出了一种分布式半光滑牛顿基于增广拉格朗日方法，用于高效解决网络上的优化问题，通过分布式加速近端梯度方法提升计算效率。
2026-02-27 cs.LG cs.NA math.NA
Semi-Decentralized Coordinated Online Learning for Continuous Games with Coupled Constraints via Augmented Lagrangian
Technical University of Munich（慕尼黑工业大学）
我们考虑了一类凹连续对策，其中每个局中人的相应的容许策略轮廓是基于仿射耦合约束的。我们提出了一种新的算法，导致相关的人口动态走向纳什均衡。该算法基于一种适合于无遗憾在线学习框架的镜像上升算法和增广拉格朗日方法。该算法的去中心化方面对应于每个参与者的代理需要关于她如何对耦合约束做出贡献的本地信息和由中央协调器广播的价格向量的方面。所以每个参与人都不需要知道种群的行动。此外，不需要中央主协调器的特定控制。我们给出了一个步长和拉格朗日增广程度的条件，使得该算法收敛到一个广义纳什均衡。
2019-10-21 cs.GT cs.LG cs.SY
A sparse semismooth Newton based augmented Lagrangian method for large-scale support vector machines
Sichuan University（四川大学）；Southwest Jiaotong University（西南交通大学）；Zhejiang University City College（浙江大学城市学院）
支持向量机（SVM）是一种成功的建模和预测工具，有着广泛的应用。以往的工作已经证明了支持向量机在处理高维、低样本量问题上的优越性。然而，随着样本量的增加，支持向量机的数值计算困难将变得更加严重。虽然支持向量机的求解器有很多，但只有少数是利用支持向量机的特殊结构来设计的。本文提出了一种高效的稀疏半光滑牛顿增广拉格朗日方法来求解一个带有线性等式约束和简单盒子约束的大规模凸二次规划问题。利用原-对偶误差界结果，保证了增广拉格朗日方法的快速局部收敛速度。此外，该算法利用半光滑牛顿法求解问题的二阶稀疏性，可以有效地解决上述困难问题。最后，数值比较表明，该算法优于当前国家的最先进的求解器的大规模支持向量机。
2021-02-03 cs.LG cs.NA math.NA
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University（西南交通大学）；Zhejiang University City College（浙江大学城市学院）
平方根Lasso问题被证明是鲁棒回归问题。此外，具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难，提出了一种基于对偶半光滑牛顿（SSN）的增广拉格朗日方法（ALM），即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时，广义雅可比矩阵的正定性是非常重要的。因此，我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中，我们充分利用了二阶稀疏性，从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
