Online Linear Programming: Dual Convergence, New Algorithms, and Regret Bounds
Stanford University（斯坦福大学）
研究了一个随机输入模型下的在线线性规划问题，其中约束矩阵的列和目标函数中的相应系数是独立同分布生成的.从一个未知的分布，并揭示了随着时间的推移顺序。实际上，所有先前存在的在线算法都是基于学习线性规划（LP）的对偶最优解/价格，并且它们的分析集中在聚合目标值和求解约束矩阵和目标中的所有系数都是非负的包装LP。然而，两个主要的开放问题是：（i）在现有算法中学习的LP最优对偶价格集是否收敛于“离线”LP的最优对偶价格集，以及（ii）结果是否可以扩展到系数可以是正或负的一般LP问题。我们解决这两个问题，建立收敛结果的双重价格一般LP问题的适度正则性条件下。具体来说，我们确定了一个等价形式的对偶问题，涉及到一个随机程序的样本平均近似的对偶LP。此外，我们提出了一种新型的OLP算法，基于历史的学习算法，它通过考虑过去的输入数据以及已经做出的决策/动作来改善以前的算法性能。我们推导出一个$O(\log n \log \log n)$遗憾界（在局部强凸性和光滑性条件下）的建议算法，对$O(\sqrt{n})$界典型的双价格学习算法，其中$n$是决策变量的数量。数值实验验证了所提算法和动作历史相关设计的有效性。
2021-04-19 cs.DS cs.LG
Convergence of Newton-MR under Inexact Hessian Information
最近，人们对设计经典Newton-CG的变体产生了浓厚的兴趣，其中（强）凸函数的Hessian被合适的近似所取代。这主要是由许多机器学习应用中出现的大规模有限和最小化问题所激发的。超越凸性，不精确的Hessian信息最近也被认为是在算法的背景下，如信赖域或（自适应）立方正则化一般非凸问题。在这里，我们这样做的Newton-MR，这扩展了经典的Newton-CG的应用范围以外的凸性不变凸问题。不同于牛顿-CG的收敛性分析，它依赖于在Löwner偏序意义下的保谱Hessian近似，我们的工作在这里从矩阵扰动理论来估计精确和近似黑塞矩阵的子空间之间的距离。数值实验表明，这种海森近似的弹性很大程度上，相当于一个高效的算法在大规模的问题。
2020-07-10 math.OC
Linearized Alternating Direction Method with Parallel Splitting and Adaptive Penalty for Separable Convex Programs in Machine Learning
Key Lab. of Machine Perception (MOE), School of EECS, Peking University（机器感知重点实验室（教委）、电子工程学院、北京大学）；School of Software and Microelectronics, Peking University（软件与微电子学院、北京大学）
本文提出LADMPSAP方法，用于高效求解多块可分离凸程序，通过并行分裂和自适应惩罚改进传统ADM方法，实现更强的收敛性和更快的收敛速度，适用于稀疏表示和低秩恢复问题。
2014-05-29 cs.LG cs.NA math.NA
Fast and Correct Gradient-Based Optimisation for Probabilistic Programming via Smoothing
University of Oxford（牛津大学）；NTU Singapore（新加坡南洋理工大学）
我们研究变分推理的基础，框架后验推理作为一个优化问题，概率规划。在实践中，用于优化的主要方法是随机梯度下降。特别是，使用所谓的reparameterisation梯度估计器的变体在传统的统计设置中表现出快速收敛。不幸的是，在程序设计语言中很容易表达的不连续性可能会损害这种方法的正确性。我们认为一个简单的（高阶，概率）程序设计语言的条件，我们赋予我们的语言与可测量和平滑（近似）的值语义。我们提出建立技术前提的类型系统。因此，我们可以证明随机梯度下降与重新参数化梯度估计是正确的，当应用到平滑的问题。此外，我们可以解决原问题的任何误差容限，通过选择适当的精度系数。从经验上讲，我们证明了我们的方法具有与主要竞争对手相似的收敛性，但更简单，更快，并且在工作归一化方差方面达到了数量级的降低。
2023-01-09 cs.LG cs.PL
NPASA: An algorithm for nonlinear programming -- Motivation and Global Convergence
本文提出了一种求解非线性规划问题的两阶段算法--非线性多面体有效集算法（NPASA），该算法在合理的假设下具有全局收敛性和局部收敛。第一阶段由一个增广拉格朗日方法，以确保整体收敛，而第二阶段的目的是促进快速局部收敛，通过执行一个平衡的减少两个非线性程序的误差估计。在给出非线性规划的误差估计和我们的算法NPASA之后，我们建立了NPASA的整体收敛性质。本文证明了NPASA的局部平方收敛。
2021-07-15 math.OC
NPASA: An algorithm for nonlinear programming -- Local Convergence
本文对求解非线性规划的两阶段非线性多面体有效集算法（NPASA）进行了局部收敛分析。特别地，在合理的假设下，我们建立了NPASA原迭代的局部平方收敛和全局误差估计。此外，在相同的假设下，我们证明了只有第二阶段的NPASA执行后，许多迭代。本文是同伴的一份文件，提供了动机和整体收敛分析NPASA。
2021-07-15 math.OC
A Method to Guarantee Local Convergence for Sequential Quadratic Programming with Poor Hessian Approximation
序列二次规划（SQP）是求解非线性最优化问题的一类强有力的算法。当用于每个二次规划子问题的Hessian逼近接近于真Hessian时，SQP算法的局部收敛性得到保证。然而，一个好的海森近似计算起来可能很昂贵。低代价Hessian近似在某些假设下只能保证局部收敛，而实际情况并不总是满足这些假设。为了解决这个问题，本文提出了一种简单的方法来保证局部收敛的SQP与不良的Hessian逼近。数值算例表明了该算法的有效性。
2017-04-10 math.OC
Superlinear and quadratic convergence of a stabilized sequential quadratic semidefinite programming method for nonlinear semidefinite programming problems
本文提出一种稳定化SQSDP方法求解非线性半定规划，在严格Robinson约束规范和二阶充分条件下证明了其超线性与二次局部收敛性。
2024-03-18 math.OC
Dual Dynamic Programming with cut selection: convergence proof and numerical experiments
我们考虑用动态规划方程表示的凸优化问题。这样的问题可以使用双动态规划算法结合1级切割选择策略或区域算法来选择最相关的Benders切割来解决。我们提出了一个有限的内存变种的水平1和显示的收敛性DDP结合的领土算法，水平1或其变种的非线性最优化问题。在线性规划的特殊情况下，我们证明了在有限次数的迭代收敛。数值模拟说明了我们的变体的兴趣，并表明它可以更快地比一个简单的算法在一些大型的情况下，投资组合选择和库存问题。
2017-05-24 math.OC
Linear programming on non-compact polytopes and the Kuratowski convergence with application in economics
这篇文章的目的是双重的。首先，我们给出了一般线性规划问题的最优基本解的几何特征（没有紧性假设），并提供了一个简单的，自足的证明，它连同一个经济的解释。然后，我们转向考虑动态版本的线性规划问题，我们认为Kuratowski收敛多面体和研究的行为最优解。我们的方法是纯几何的。
2018-04-25 math.OC
Q-Linear Convergence of the Proximal Augmented Lagrangian Method for Non-Convex Conic Programming
本文分析了近端增广拉格朗日方法在非凸锥规划中的局部收敛性，仅依赖二阶充分性条件和乘子映射平静性，证明了非精确版本的Q-线性收敛速率且不要求乘子唯一性。
2025-09-15 math.OC
Convergence analysis of sampling-based decomposition methods for risk-averse multistage stochastic convex programs
考虑一类基于抽样的分解方法来求解风险规避的多阶段随机凸规划。我们证明了一个公式的计算所需的削减建立外部线性化的追索功能。该公式可用于求解凸非线性问题的随机对偶动态规划的有效实现。当相对完全补偿假设成立时，我们证明了这些分解方法的几乎必然收敛。我们还证明了这些算法的几乎必然收敛时，不满足相对完整的追索权假设的风险厌恶的多级随机线性规划。首先进行分析，假设基本的随机过程是阶段间独立的和离散的，在每个阶段具有可能实现的有限集。然后，我们指出了两种方法，扩展的方法和收敛性分析的情况下，当过程是级间依赖。
2016-09-09 math.OC
On the Convergence Time of Dual Subgradient Methods for Strongly Convex Programs
研究了一般（可能不可微）强凸规划的对偶梯度法的收敛时间。对于一般的凸规划，具有简单滑动平均（从迭代$0$开始的滑动平均）的对偶次梯度/梯度法的收敛时间已知为$O(\frac{1}{ε^{2}})$ .本文证明了一般强凸规划的收敛时间是$O(\frac{1}ε)$。本文还考虑了平均方案的一种变形，称为滑动滑动平均，并证明了如果强凸规划的对偶函数是局部二次的（注意局部二次性是由局部强凹性所隐含的）。则滑动滑动平均对偶梯度法的收敛时间为$O(\log(\frac{1}ε))$。数值实验进一步验证了收敛时间分析。
2017-08-04 math.OC
A Simple Convergence Time Analysis of Drift-Plus-Penalty for Stochastic Optimization and Convex Programs
本文考虑了在其它过程的时间平均约束下，使一个随机过程的时间平均最小化的问题。一个典型的例子是在多用户吞吐量约束下最小化数据网络中的平均功率。另一个例子是（静态）凸规划。在Slater条件下，漂移加惩罚算法已知以$O(1/ε^2)$的收敛时间提供对最优性的$O(ε)$近似。本文证明了同样的结果，一个更简单的技术，并在更一般的情况下，不需要斯莱特条件。本文还强调了基本凸规划，线性规划和分布式最优化问题的应用。
2014-12-02 math.OC
An SQP method for mathematical programs with vanishing constraints with strong convergence properties
提出了一种求解带消失约束数学规划的SQP算法，该算法在每次迭代中求解一个带线性消失约束的二次规划。该算法是基于新开发的概念$\mathcal Q$ -平稳性[5]。我们演示了如何$\mathcal Q_M$ -固定的解决方案的二次规划可以获得。我们证明了由基本SQP方法产生的迭代序列的所有极限点至少是M-平稳的，并且通过对该方法的一些推广，我们还保证了极限点的更强的$\mathcal Q_M$ -平稳性.
2016-11-24 math.OC
A Unified Convergence Analysis of a Second-Order Method of Multipliers for Nonlinear Conic Programming
本文给出了一个二阶乘子法的统一收敛性分析，一种二阶增广拉格朗日方法）求解传统的非线性圆锥曲线最优化问题。具体地说，我们研究的算法结合了一个专门设计的非光滑本文首先统一地证明了在几个抽象假设下，所提出的方法是局部收敛的，并具有一个新的收敛性，然后给出了一个新的收敛性定理。（非渐近）超线性收敛速率，即使罚参数是固定的和/或严格互补失败。随后，我们证明，对于三个典型的情况下，即，经典的非线性规划、非线性二阶锥规划和非线性半定规划，这些抽象的假设只不过是在不假设严格互补的情况下，为建立乘子法的Q-线性收敛速率而假设的象似充分条件的含义.
2021-09-30 math.OC
A Simple Parallel Algorithm with an $O(1/t)$ Convergence Rate for General Convex Programs
本文研究了具有一般（可能不可微）凸目标函数和Lipschitz连续凸不等式约束函数的凸规划问题。一个简单的算法，并实现了$O(1/t)$收敛速度。与经典的对偶次梯度法和ADMM算法类似，当目标函数和约束函数可分离时，新算法具有并行实现的特点。然而，新算法具有更快的$O(1/t)$收敛速度相比，最好的已知$O(1/\sqrt{t})$收敛速度的双重次梯度法与原始平均。此外，它可以解决具有非线性约束的凸规划，这是不能处理的ADMM算法。将新算法应用于多径网络效用最大化问题，得到了一个具有快速收敛速度的分散式流量控制算法。
2017-07-30 math.OC
On the Linear Convergence Rate of Generalized ADMM for Convex Composite Programming
近年来，Eckstein \& Bertsekas [Math.Prog.，1992]在分析其理论收敛性方面引起了广泛的关注。本文致力于建立求解线性约束凸组合最优化问题的半近似GADMM（sPGADMM）的线性收敛速率。每个子问题所包含的半邻近项具有有效处理多块问题的能力。首先给出了sPGADMM产生的序列的一些重要不等式，然后在镇定假设下建立了局部线性收敛速率.作为副产品，整体收敛性质也进行了讨论。
2022-06-08 math.OC
Convergence of the Lasserre Hierarchy of SDP Relaxations for Convex Polynomial Programs without Compactness
半定规划（SDP）松弛的Lasserre层次是一个有效的计划，寻找计算上可行的多项式优化的SDP近似紧半代数集。在本文中，我们表明，凸多项式优化，Lasserre层次与一个稍微扩展的二次模总是渐近收敛，即使在面对非紧的半代数可行集。我们这样做，利用凸多项式的bavity属性，下面有界。我们进一步建立，在鞍点（而不是在每个极小的目标函数）的相关拉格朗日的Hessian的正定性保证有限收敛的层次。首先在鞍点条件下建立了凸半代数集上凸多项式的平方和多项式表示，得到了有限收敛性。最后，我们证明了凸多项式规划的拉格朗日量的鞍点的存在性也是该族具有有限收敛性的必要条件。
2013-06-27 math.OC
Convergence Analysis of an Inexact Feasible Interior Point Method for Convex Quadratic Programming
本文讨论凸二次规划的不精确可行内点算法的两种变型。我们将考虑两个不同的邻域：一个（小）诱导使用欧几里德范数产生一个短的步骤算法和一个对称的诱导使用无穷范数产生一个（实用）长的步骤算法。这两种算法都允许不精确地求解牛顿方程组。对于这两种算法，我们将提供牛顿方程中可接受的误差水平的条件，并建立最坏情况下的复杂性结果。
2012-08-29 math.OC
On the non-ergodic convergence rate of an inexact augmented Lagrangian framework for composite convex programming
本文考虑线性约束复合凸优化问题，其目标是一个光滑函数与一个可能非光滑函数之和。我们提出了一个不精确的增广拉格朗日（IAL）框架来解决这个问题。在解决增广拉格朗日（AL）子问题中使用的停止标准建议的IAL框架是较弱的，可能更容易检查比大多数现有的IAL框架/方法中使用的一个。我们分析了所提出的IAL框架的整体收敛和非遍历收敛速度。
2018-03-27 math.OC
Convergence Analysis of a Relative-type Inexact Preconditioned Proximal ALM for Convex Nonlinear Programming
Sun Yat-sen University（中山大学）；The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；National University of Singapore（新加坡国立大学）
本文研究了相对型不精确预条件近似增广拉格朗日方法在凸非线性规划中的收敛性，证明了该方法的全局收敛性和渐进线性收敛速度，同时给出了关于原可行性偏差和原目标残差的全局均值收敛率。
2026-03-28 math.OC
Generalized Affine Scaling Algorithms for Linear Programming Problems
内点法是求解线性规划问题的一种常用方法。在这项工作中，我们提出了两个原始仿射尺度算法，以实现更快的收敛，在解决线性规划问题。在第一个算法中，我们集成Nesterov的重新启动策略的原始仿射尺度方法与一个额外的参数，这反过来又推广了原始仿射尺度方法。给出了考虑长步长的广义算法的收敛性证明。我们还证明了原始和对偶序列的收敛性没有退化的假设。这个收敛性结果推广了仿射尺度方法的原有收敛性结果，并暗示了一类新方法的存在。然后，我们引入了第二个算法，以加快收敛速度的广义算法，通过集成非线性级数变换技术。数值结果表明，所提出的算法优于原始仿射尺度方法。
2019-10-12 math.OC
A Primal-Dual Parallel Method with $O(1/ε)$ Convergence for Constrained Composite Convex Programs
本文研究了大规模约束凸规划（可能是复合的和不可分的），由于Hessians和矩阵求逆的非光滑性或过高的计算和存储复杂性，通常难以用内点法或其他Newton型方法求解。相反，它们通常通过基于一阶梯度的方法或基于分解的方法来求解。传统的原始-对偶次梯度法，也称为Arrow-Hurwicz-Uzawa次梯度法，是一种具有$O(1/ε^2)$收敛时间的低复杂度算法。最近，Yu和Neely（2017）提出了一种新的拉格朗日对偶算法，具有更快的$O(1/ε)$收敛时间。然而，如果目标或约束函数不可分离，Yu和Neely（2017）中拉格朗日对偶方法的每次迭代都需要求解无约束凸规划，这可能具有巨大的复杂性。对一般约束凸规划提出了一个新的具有$O(1/ε)$收敛性的原-对偶算法。新算法的每一步迭代都可以并行实现，即使原问题是复合的和不可分离的。
2017-07-30 math.OC
Convergence analysis of a regularized inexact interior-point method for linear programming problems
线性规划问题的内点法需要反复求解线性系方程。求解这些线性系是不平凡的，由于严重病态的矩阵收敛。这个问题可以通过在线性规划问题中引入适当的正则化项来缓解。正则化还允许我们有效地处理秩亏约束矩阵。我们给出了一个正则化不精确内点方法的收敛性分析。术语“不精确”指的是这样一个事实，即我们不需要计算线性系方程组的真解，只需要计算其近似值。该算法的制定是足够的一般性，使专门的线性代数例程在其他工作中开发的不精确内点方法也可以纳入我们的正则化框架。在这项工作中，我们利用的不精确性，使用混合精度求解器的线性系方程。更具体地说，我们在IEEE单精度进行Cholesky分解，并将其用作共轭梯度法的预条件。数值实验表明，这种方法的好处适用于线性规划问题的密集约束矩阵。
2021-05-04 math.OC
Majorization-minimization procedures and convergence of SQP methods for semi-algebraic and tame programs
鉴于解决涉及复杂约束的非光滑和非凸问题（如标准NLP问题），我们研究了由强凸子问题族产生的一般最大化-最小化过程。利用半代数几何和变分分析的技巧--特别是Lojasiewicz不等式--我们建立了由这类方案产生的序列到临界点的收敛性。这个过程的广泛适用性在NLP的背景下说明。在这种情况下，临界点与KKT点重合。当数据是半代数或真正的分析，我们的方法适用于（例如）各种SQP方法的研究：移动球的方法，SL 1 QP，ESQP。在标准条件下，这提供了-据我们所知-第一个一般的收敛结果一般非线性规划问题。我们强调的事实是，与大多数关于这个问题的作品，没有二阶假设和/或凸性假设。收敛速率与一阶方法中常见的收敛速度具有相同的形式。
2015-03-30 math.OC
Sequential Linearization Method for Bound-Constrained Mathematical Programs with Complementarity Constraints
提出了一种求解变量具有互补约束的有界约束数学规划的算法。该算法的每次迭代都涉及求解一个具有互补约束的线性规划，以获得有效集的估计。该算法对目标函数进行下降，以提高算法的整体收敛到B-平稳点。我们提供了一系列的测试问题的收敛性分析和初步的数值结果。我们还研究了固定的积极约束在一个有界约束的二次规划，可以解决每次迭代，以获得快速收敛的效果。
2021-09-20 math.OC
Single cut and multicut SDDP with cut selection for multistage stochastic linear programs: convergence proof and numerical experiments
我们介绍了一个变种的多割分解算法（MuDA），称为CuSMuDA（切割选择多割分解算法），用于解决多级随机线性规划，采用了一类切割选择策略，以选择最相关的削减近似追索函数。这个类包含一级和有限内存一级切割选择策略，最初分别为随机对偶动态规划（SDDP）和对偶动态规划（DDP）引入。我们证明了该方法在有限次迭代中的几乎必然收敛，并作为副产品得到了SDDP结合我们的割选择策略在有限次迭代中的几乎必然收敛.我们比较性能的MuDA，SDDP，和他们的变种切割选择（使用1级和有限的内存1级）的投资组合问题和库存问题的几个实例。在这些实验中，一般来说，SDDP更快（即，满足停止标准更快）比MuDA和切割选择允许我们减少计算量，有限内存级别1比级别1更有效（有时更有效）。
2019-07-22 math.OC
Totally Asynchronous Large-Scale Quadratic Programming: Regularization, Convergence Rates, and Parameter Selection
二次规划出现在机器人、通信、智能电网和许多其他应用中。随着这些问题的规模不断扩大，寻找解决方案的计算要求越来越高，需要新的算法来大规模有效地解决这些问题。针对大规模的问题，我们开发了一个多智能体二次规划框架中，每个代理更新只有一小部分的总决策变量的问题。智能体相互传递更新后的值，尽管我们对它们这样做的时间没有任何限制，也没有限制这些传输的延迟。此外，我们允许代理之间的弱参数耦合，在这个意义上说，他们可以自由地独立选择自己的步长，受到温和的限制。我们进一步提供了代理独立正则化他们解决的问题的方法，从而提高收敛性能，同时保持代理在选择参数方面的独立性，并确保满足正则化误差的全局范围。更大的正则化加速收敛，但增加了获得的解决方案中的错误，我们量化的收敛速度和解决方案的质量之间的权衡。仿真结果来说明这些发展。
2020-06-15 math.OC
A Supplementary Condition for the Convergence of the Control Policy during Adaptive Dynamic Programming
基于强化学习的自适应/近似动态规划（ADP）是一种为动力系统确定近似最优控制器的强大技术。这些方法绕过了解析求解非线性Hamilton-Jacobi-Bellman方程的需要，该方程的解通常难以确定，但是需要确定最优控制策略。ADP方法通常采用策略迭代算法，该算法在每一步评估和改进值函数以找到最优控制策略。以往的ADP算法缺乏更强的条件来保证策略迭代算法的收敛性。本文给出了ADP算法收敛的一个充分但非必要条件。该条件为基于ADP的非线性动力系统控制算法设计提供了一个更为坚实的理论框架。
2018-05-23 math.OC
Generalized adaptive partition-based method for two-stage stochastic linear programs : convergence and generalization
自适应分区方法（APM）是求解两阶段随机线性问题（2SLP）的数值方法。其核心思想是迭代地构建一个适应的分区空间的alea，以聚合的情况下，同时保存的真实价值的成本去当前的第一阶段控制。利用对偶容许集的正规扇，将经典的APM方法推广到几乎任意的2SLP，给出了划分适应于非有限分布的充要条件，证明了方法的收敛性.我们通过将APM与L形算法联系起来，给出了一些额外的见解。
2021-09-10 math.OC
Local convergence analysis of stabilized sequential quadratic programming methods for optimization problems in Banach spaces
Graduate School of Management, Tokyo Metropolitan University（东京都立大学经营管理研究科）
针对Banach空间通用优化问题的SQP方法局部分析研究有限的问题，提出一种稳定化SQP方法，在合理假设下证明其具备局部二次收敛性，可适用于最优控制等多类优化问题。
2025-06-02 math.OC
Inexact subgradient algorithm with a non-asymptotic convergence guarantee for copositive programming problems
Keio University（庆应义塾大学）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）
本文提出一种近似子梯度算法，用于求解copositive规划问题，通过非渐近收敛保证在O(ε^{-2})次迭代内得到近似解，且讨论了标准二次规划问题的精确与近似解法，并通过实验验证了算法在检测完全非负矩阵不完全正性方面的有效性。
2026-04-29 math.OC
Newton Sketch: A Linear-time Optimization Algorithm with Linear-Quadratic Convergence
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种随机二阶优化方法，称为牛顿草图：它基于使用随机投影或子采样Hessian执行近似牛顿步骤。对于自协调函数，我们证明了该算法具有指数高概率的超线性收敛，收敛性和复杂性的保证是独立的条件数和相关的问题依赖量。给定一个合适的初始化，类似的保证也适用于强凸和光滑的目标，没有自我和谐。当使用基于子采样Hadamard基的随机投影来实现时，该算法通常具有比牛顿法低得多的复杂度。我们还描述了扩展我们的方法，涉及凸约束的程序，配备了自我和谐的障碍。我们讨论并举例说明应用线性规划，二次规划与凸约束，逻辑斯谛回归和其他广义线性模型，以及半定规划。
2015-05-09 cs.DS cs.LG math.OC
Linear Programming Fictitious Play algorithm for Mean Field Games with optimal stopping and absorption
我们开发的虚拟播放算法的上下文中的线性规划方法的平均场游戏的最佳停止和平均场游戏的定期控制和吸收。该算法允许近似的平均场游戏人口动态，而无需计算值函数，通过解决线性规划问题的分布仍然在游戏中的球员和他们的停时/控制。我们使用的拓扑结构的依测度收敛的措施，这是需要处理缺乏连续性的措施流的次概率措施的空间中的算法的收敛性。数值例子说明了算法的收敛性。
2023-01-23 math.OC
On the Convergence Time of a Natural Dynamics for Linear Programming
我们考虑一个系统的非线性常微分方程的解决方案的线性规划（LP）的问题，首先提出了在数学生物学文献中的无细胞黏液霉菌多头绒泡菌的觅食行为的模型，最近被认为是一种方法来解决LP。我们研究的收敛时间的连续绒泡菌动态的上下文中的线性规划问题，并推导出一个新的时间界近似最优性，取决于投影版本的最优点和初始点之间的相对熵。该界限与LP费用系数成比例关系，与相对精度的倒数成线性关系，建立了具有正费用的任意LP实例的动态效率。
2016-11-21 cs.DS math.OC
Local convergence of a sequential quadratic programming method for a class of nonsmooth nonconvex objectives
本文针对上C^2非光滑非凸目标设计带精确罚函数和松弛策略的SQP算法，证明其全局收敛性，并利用KL性质分析局部收敛上界，最后在电网优化问题上验证。
2023-10-30 math.OC
Nonlinear Programming Solvers for Unconstrained and Constrained Optimization Problems: a Benchmark Analysis
本文提出选择非线性规划求解器的指南，比较23种算法在60个基准问题上的收敛性能，并探讨调整内部设置对速度和准确性的提升。
2022-04-11 math.OC
Global Convergence of Algorithms Under Constant Rank Conditions for Nonlinear Second-Order Cone Programming
在[R. Andreani，G.黑泽湖M. Mito，H.拉米雷斯C.，非线性半定规划中的非退化的弱概念，arXiv：2012.14810，2020]非退化（或横截性）的经典概念和罗宾逊的约束规格已经在利用问题的结构（即，其特征分解）的非线性半定规划的上下文中被重新审视。这允许在显著较小的向量集合的（正）线性独立性方面等效地制定条件。在本文中，我们将这些想法的背景下，非线性二阶锥规划。例如，对于一个$m$维二阶锥，我们不是将顶点处的非退化性表述为$m$导向量的线性独立性，而是根据$2$导向量的线性独立性的几个表述来表述。这允许嵌入的二阶锥的结构到制定的nondegeneracy，并通过扩展，罗宾逊的约束规格以及。这种观点被证明是至关重要的，在定义显着较弱的约束规格，如恒定的秩约束规格和恒定的正线性相关条件。此外，这些条件是足以保证整体收敛的几个算法，同时仍然意味着度量次正则性，而不需要有界的拉格朗日乘子集。
2022-04-17 math.OC
A Quadratically Convergent Sequential Programming Method for Second-Order Cone Programs Capable of Warm Starts
针对线性二阶锥规划，提出基于序列二次规划框架的新方法，利用多面体外逼近克服不可微性，支持热启动并实现局部二次收敛，精度优于内点法。
2023-07-28 math.OC
Convergence of a Solution Algorithm in Indefinite Quadratic Programming
证明了对于线性约束下的不定二次规划问题，只要问题有解，由Proximal DC分解算法$R$-产生的迭代序列线性收敛于Karush-Kuhn-Tucker点.本文的另一个主要结果是，如果初始点取自问题的适当邻域，则由该算法生成的DCA序列收敛于问题的局部唯一解.为了处理隐式定义的迭代序列，使用了仿射变分不等式的局部误差界和新的技巧.文中给出了数值结果，分析了分解参数的影响，并对Proximal DC分解算法和Projection DC分解算法进行了比较。我们的研究结果补充了Le Thi，Huynh和Pham Dinh（J. Optim. 179（2018），103 - 126）。
2018-10-04 math.OC
Convergence rates of S.O.S hierarchies for polynomial semidefinite programs
本文提出一种 S.o.S 层级下界方法，通过惩罚函数处理矩阵半定约束，并基于 Jackson 定理和 Łojasiewicz 不等式推导出离散与连续多项式优化问题的收敛速率及正性认证所需多项式次数的新界限。
2025-10-17 math.OC
On the Asymptotic Superlinear Convergence of the Augmented Lagrangian Method for Semidefinite Programming with Multiple Solutions
求解大规模凸半定规划问题一直是一个具有挑战性的数值任务。幸运的是，几个强大的求解器，包括SDPNAL，SDPNAL+和QSDPNAL最近已经开发出解决线性和凸二次SDP问题，以高精度成功。这些求解器是基于增广拉格朗日方法（ALM）的对偶问题的子问题被解决的半光滑牛顿CG方法。值得注意的是，由于Rockafellar关于邻近点算法的一般理论，由ALM生成的原始迭代序列在原问题的二阶充分条件下具有渐近Q-超线性收敛速度.这个二阶充分条件意味着原始问题有唯一的解，这在许多应用中可能是限制性的。为了获得更有见地的解释，这些求解器的高效率，在本文中，我们进行了渐近超线性收敛分析的ALM凸SDP时，原始问题有多个解决方案（可以是无界的）。在一个较弱的二阶增长条件下，我们证明了由ALM生成的原始迭代序列渐近Q-超线性收敛，而对偶可行性和对偶目标函数值渐近R-超线性收敛.此外，通过研究Karush-Kuhn-Tucker解映射的度量次正则性，我们还给出了对偶映射渐近R-超线性收敛的充分条件.
2016-10-04 math.OC
Convergence of Successive Linear Programming Algorithms for Noisy Functions
基于约束的方法已经非常成功地解决了各种无约束和有约束的非线性最优化问题。然而，在诸如最优控制或机器学习的实际应用中，必要的函数和导数信息可能被噪声破坏。Sun和Nocedal最近提出了一种通过稳定计算迭代的接受准则来解决光滑无约束问题的方法，这导致了信赖域方法的迭代收敛到临界区域，Sun和Nocedal（2022）。我们将他们的分析扩展到Byrd等人（2023 a，2023 b）的连续线性规划算法，用于无约束最优化问题，其目标可以描述为多面体函数与光滑函数的组合，其中后者及其梯度可能会被噪声破坏。这提供了覆盖例如图像重建或约束优化算法产生的（子）问题的灵活性。我们提供的计算实例，说明的结果和点的稳定参数，平衡的临界区域的大小与放宽的接受标准（或下降属性）的算法的实际确定的可能的策略。
2023-02-14 math.OC
Analysis of Sequential Quadratic Programming through the Lens of Riemannian Optimization
证明了求解等式约束优化问题的“一阶”序列二次规划（SQP）算法具有以速度$κ_R$局部线性收敛性和以速度$k^{-1/4}$整体收敛性.我们的分析建立在黎曼优化的基础上-我们表明SQP和黎曼梯度法在约束流形附近具有几乎相同的行为，这对于理解约束优化可能具有更广泛的意义。
2019-01-31 math.OC
Accelerated Gradient Methods for Nonconvex Nonlinear and Stochastic Programming
在本文中，我们推广了著名的Nesterov的加速梯度（AG）方法，原来设计的凸光滑优化，解决非凸和可能的随机最优化问题。我们证明，通过适当地指定的步长政策，AG方法表现出最好的已知收敛速率解决一般非凸光滑最优化问题，通过使用一阶信息，类似于梯度下降法。然后，我们考虑一类重要的复合最优化问题，并表明AG方法可以解决他们一致，即，通过使用与凸情形中相同的积极步长策略，即使问题变成非凸的。我们证明了AG方法具有最佳的收敛速率，如果复合问题是凸的，并提高了最好的已知的收敛速率，如果问题是非凸的。在AG方法的基础上，我们还提出了新的非凸随机逼近方法，并证明了它们可以提高非凸随机最优化的一些现有的收敛速度。据我们所知，这是第一次的收敛性的AG方法已建立解决非凸非线性规划在文献中。
2013-10-14 math.OC
A Primal-Dual Type Algorithm with the $O(1/t)$ Convergence Rate for Large Scale Constrained Convex Programs
考虑了大规模约束凸规划问题，由于Hessians和矩阵求逆的计算量和存储量过大，内点法或其他Newton型方法通常无法求解.大规模约束凸规划问题通常采用基于梯度的方法或基于分解的方法求解。传统的原始-对偶次梯度法，又称Arrow-Hurwicz-Uzawa次梯度法，是一种具有$O(1/\sqrt{t})$收敛速度的低复杂度算法，其中$t$是迭代次数。如果目标函数和约束函数是可分离的，拉格朗日对偶型方法可以将一个大规模凸规划分解为多个并行的小规模凸规划。经典的对偶梯度算法是拉格朗日对偶型方法的一个例子，具有收敛速度$O(1/\sqrt{t})$。最近，Yu和Neely（2015）提出了一种新的具有更快$O(1/t)$收敛的拉格朗日对偶算法。然而，如果目标或约束函数不可分离，则Yu和Neely（2015）中的拉格朗日对偶类型方法的每次迭代都需要求解大规模无约束凸规划，这可能具有巨大的复杂性。本文提出了一种新的原始-对偶型算法，该算法在每次迭代中只涉及简单的梯度更新，并具有$O(1/t)$收敛速度。
2016-04-08 cs.DC cs.DS math.OC
Quantitative Convergence of Quadratically Regularized Linear Programs
本研究量化了二次正则化线性规划解的收敛性，给出了正则化参数的精确阈值及阈值前后的次优性界限，并应用于最优输运，揭示了与数据点数的依赖关系。
2025-04-22 math.AP math.OC math.PR
Primal-dual path following method for nonlinear semi-infinite programs with semi-definite constraints
本文提出了求解具有无穷多个凸不等式约束的非线性半无限半定规划的两个算法，简称SISDP。SISDP的一个直接方法是使用半无限规划的经典方法，如离散化和交换方法，并求解一系列（非线性）半定规划（SDP）。然而，要找到SDP的精确解往往要求太高。我们的第一种方法不依赖于求解SDP，而是近似地遵循{一条通向解的路径，该路径形成于半无限区域和半定区域的内部的相交处。在适当的假设下，证明了该方法弱收敛于SISDP的Karush-Kuhn-Tucker点，并给出了强收敛的充分条件.此外，作为第二种方法，为了实现快速的局部收敛，我们集成了两步序列二次规划方法配备Monteiro-Zhang尺度技术到第一种方法。我们特别证明了两步超线性收敛的第二种方法使用Alizadeh-Hareberly-Overton，Nesterov-Todd，Helmberg-Rendle-Vanderbei-Wolkowicz/Kojima-Shindoh-Hara/Monteiro标度方向。最后，我们进行了一些数值实验，以证明所提出的方法的效率，通过比较与离散化方法，解决有限松弛的SISDP得到的SDPs。
2018-09-30 math.OC
Improved analysis of algorithms based on supporting halfspaces and quadratic programming for the convex intersection and feasibility problems
本文对文献[1]中基于支撑半空间和二次规划的凸集交算法进行了多方面的改进。首先，我们给出的条件，使更小的二次规划（QP）和近似投影所产生的部分解决的QP是足够的多项超线性收敛的非光滑问题。其次，我们确定额外的正则性，我们称之为二阶支撑超平面属性（SOSH），它给出了多项平方收敛。第三，我们证明了这些快速收敛的结果进行凸不等式问题。第四，我们表明，不可行性，可以检测到在许多操作。最后，我们解释了如何使用Goldfarb和Idnani的对偶有效集QP算法，通过部分求解QP来获得有用的迭代，克服了我们算法中求解大QP的问题。
2014-06-16 math.OC
Nonlinear Programming Methods for Distributed Optimization
在本文中，我们研究如何标准的非线性规划算法可以用来解决有约束的最优化问题在分布式方式。优化设置由一组代理通过通信图进行交互，其共同目标是将表示为（可能是非凸的）可微函数的和的函数最小化。和中的每个函数对应于一个代理，并且每个代理具有关联的等式约束。通过重新铸造的分布式最优化问题成一个等价的，增强的集中式问题，我们表明，分布式算法的结果自然从应用标准的非线性规划技术。由于分布式公式化，标准假设和收敛结果不再成立。我们强调什么样的变化是必要的收敛仍然实现三个算法：两个算法的基础上拉格朗日方法，和一个算法的基础上的方法的乘数。收敛结果的变化是必要的，这主要是由于以下事实，即作为分布式公式的结果，提升的最优化问题的（局部）最小值是不规则的。与基于乘子方法的标准算法不同，对于分布式版本，我们不能证明可以实现理论上的超线性收敛速率。
2017-07-14 math.OC
Stochastic Dynamic Cutting Plane for multistage stochastic convex programs
本文介绍了随机动态割平面（Stochastic Dynamic Cutting Plane，StoDCuP）算法，它是随机对偶动态规划（SDDP）算法的一种扩展，用于求解多阶段随机凸优化问题。在每次迭代中，该算法不仅为成本函数（如SDDP所做的那样），而且还为一些或所有非线性成本和约束函数构建较低的仿射函数。证明了StoDCuP的几乎必然收敛.我们还介绍了一个不精确的变体StoDCuP的所有子问题的近似解决（有界误差），并显示此变体的消失误差的几乎必然收敛。
2021-04-07 math.OC
A Tuning-Free Primal-Dual Splitting Algorithm for Large-Scale Semidefinite Programming
本研究提出一种免调参的原始-对偶混合梯度算法，结合PDHG与DRS的等价性及非平稳DRS的渐近收敛性构建统一收敛分析框架，在大规模半定规划问题上展现出更优的收敛速度与鲁棒性。
2024-02-01 math.OC
ADMM for Convex Quadratic Programs: Q-Linear Convergence and Infeasibility Detection
本文分析了乘子的交替方向法（ADMM）求解具有线性等式和界约束的凸二次规划问题的收敛性。ADMM公式在等式约束QP和边界上的投影之间交替。在（i）目标投影到等式约束零空间上的Hessian（约化Hessian）的正定性和（ii）线性无关约束规格保持在最优解的假设下，我们得到了每次迭代收敛到解的收敛速率的上界.特别是，我们提供了一个明确的表征的收敛速率方面：（a）的特征值的减少海森，（b）之间的弗里德里希角的余弦的子空间跨越的等式约束和子空间跨越的梯度的组件，是积极的解决方案和（c）的距离不活动的组件的解决方案从边界。使用这种分析，我们表明，如果QP是可行的，迭代收敛在Q-线性速率，并规定ADMM步长参数的最佳设置。对于不可行的QP，我们证明了ADMM中的原始变量收敛于由等式约束定义的超平面和由边界定义的凸集之间的欧几里得距离的最小值。约束的乘数示出发散沿范围空间的等式约束。利用这种特性，我们还提出了ADMM的终止标准。最后通过数值算例对理论进行了实验验证。
2015-10-02 math.OC
