Two computationally efficient polynomial-iteration infeasible interior-point algorithms for linear programming
自内点方法发展之初,理论结果与数值经验观测之间就存在着令人困惑的差距,即:具有好的多项式界限的算法在计算上不是有效的,并且在计算中证明有效的算法不具有好的或任何多项式界限。Todd在2002年提出了一个问题:“我们能找到一种理论上和实际上都有效的方法来重新优化吗?“这份文件是缩小差距的一项努力。提出了两种弧搜索不可行内点算法,其不可行中心路径邻域比现有的不可行内点算法都要宽,并证明了算法的收敛性。我们表明,第一个算法是多项式和它的简化版本,如果它终止于有限的迭代,有一个复杂性界等于最好的已知的复杂性界的所有(可行或不可行)的内点算法。我们证明了所提出的算法的计算效率,通过测试所有Netlib线性规划问题的标准式和比较的数值结果所获得的Mehrotra的预测校正算法和最近开发的更有效的弧搜索算法(这两种算法的收敛性是未知的)。我们的结论是,新提出的算法不仅是多项式,而且计算上的竞争力相比Mehrotra的预测校正算法和高效的弧搜索算法。
2018-03-01 math.OC
A preconditioned inexact infeasible quantum interior point method for linear optimization
本文提出一种基于最优划分估计的预条件非精确不可行量子内点法,将线性系统条件数从对偶间隙倒数的二次依赖降为线性,并在精度和维度上优于其他同类方法。
2024-12-15 math.OC
Iteration Complexity of an Infeasible Interior Point Methods for Seconder-order Cone Programming and its Warmstarting
研究了二阶锥规划(SOCP)的一种不可行内点方法(IPM)的最坏情况迭代复杂性,与可行IPM相比,该方法更便于热启动.该方法基于齐次自对偶模型和Monteiro-Zhang搜索方向族。它的最坏情况迭代复杂度是$O\left(k^{1/2}\log\left(ε^{-1}\right)\right)$,以将原始残差、对偶残差和互补缺口减少$ε$的因子,其中$k$是锥约束的数量。该结果与可行IPM的最佳已知结果相同。研究了热启动提高复杂度界的条件。
2023-01-24 cs.CC math.OC
Quasi-Newton approaches to Interior Point Methods for quadratic problems
University of Edinburgh(爱丁堡大学);State University of Maringá(马里加拉州立大学)
本文研究了将拟牛顿法应用于一般二次规划问题的内点法,通过数值实验表明该方法能减少矩阵分解次数,适合无矩阵实现。
2018-06-26 cs.NA math.NA math.OC
An Infeasible-Start Framework for Convex Quadratic Optimization, with Application to Constraint-Reduced Interior-Point Methods
提出了一个框架,通过调用现有的可行启动算法为不等式约束的一般凸二次规划(CQP)从一个不可行的起点求解。中心工具是一个精确罚函数计划配备了惩罚参数更新规则。可行启动算法只需满足某些一般要求,更新规则也是如此。在温和的假设下,该框架被证明收敛于CQP与不等式和等式约束,并在一个可以忽略的额外成本,每次迭代,产生一个不可行的证书,连同一个可行点(近似)$\ell_1$ -最不放松可行的问题时,给定的问题没有一个可行解。该框架被应用到一个可行的开始约束减少的内点算法以前被证明是高性能的问题,更多的约束比变量(“不平衡”)。与流行的代码(SDPT 3,SeDuMi,MOSEK)的数值比较报告随机生成的问题和支持向量机分类器训练问题。结果表明,前者通常优于后者的不平衡问题。
2019-12-09 math.OC
ArcLP: A Matlab implementation of an $\mathcal{O}(\sqrt{n}L)$ arc-search infeasible interior-point algorithm for linear programming
本文实现了具有最优O(√n L)多项式界的线性规划弧搜索不可行内点算法,经Netlib基准测试,其计算性能与Mehrotra预测-校正算法相当,且能求解大规模问题。
2026-08-03 math.OC
A Limiting Analysis on Regularization of Singular SDP and its Implication to Infeasible Interior-point Algorithms
我们考虑半定规划的原始对偶对,并假设它们是不适定的,即,原始和对偶都是弱可行或弱不可行的。在这种情况下,强对偶可能会崩溃,原始对偶和对偶可能会有一个非零的对偶间隙。然而,有任意的小扰动的问题数据,使扰动的原始对偶对强可行,从而零的对偶差距。在本文中,我们进行了渐近分析的最优值的扰动驱动到零。具体地说,我们固定两个正定矩阵(典型的是单位矩阵),并将原、对偶的相关仿射空间向这两个正定矩阵的方向以不同的比例稍微移动,使得扰动问题具有内部可行解,并分析了当扰动降为零时,扰动问题的最优值的行为.我们的分析的一个关键特征是,没有进一步的假设,如紧凑性或约束规格。结果表明,扰动问题的最优值收敛于原问题的原始和对偶最优值之间的值。最后,分析导致我们的相对令人惊讶的后果,不可行的内点算法SDP生成一个序列收敛到一个数之间的原始和双最优值,即使在存在一个非零的对偶间隙。我们期望,这个属性可能是特别有用的解决混合整数SDP与不可行的内点方法。
2022-10-24 math.OC
On the behavior of Lagrange multipliers in convex and non-convex infeasible interior point methods
我们分析了由内点方法(IPM)在凸和非凸设置产生的序列。我们证明了移动的原始可行性在相同的速度作为障碍参数$μ$确保拉格朗日乘子序列保持有界,提供原始序列的极限点有一个拉格朗日乘子。此结果不需要约束规格。我们还保证IPM找到一个解决方案,满足严格互补性,如果存在。另一方面,如果原始可行性降低得太慢,则算法收敛到最小互补点;如果原始可行性降低得太快,并且拉格朗日乘子的集合是无界的,则拉格朗日乘子的范数趋于无穷大。我们的理论具有重要的意义,IPM的设计。具体来说,我们表明,IPOPT,一个算法,不仔细控制原始可行性有实际问题的双重乘数值增长到不必要的大值。相反,\citet*{hinder2018one}的单阶段IPM(一种控制原始可行性的算法,正如我们的理论所建议的那样)没有这样的问题。
2019-06-11 math.OC
A primal-dual interior-point method capable of rapidly detecting infeasibility for nonlinear programs
借助于对数障碍增广拉格朗日函数,我们可以得到非线性规划的障碍问题的松弛变量的封闭解。由此,提出了一个两参数原始-对偶非线性系统,当其中一个参数为零时,该系统分别对应于非线性规划的Karush-Kuhn-Tucker点和不可行稳定点.基于这个独特的系统,我们提出了一个原始-对偶内点方法能够快速检测非线性规划的不可行性。该方法生成内点迭代而不截断步长。证明了当障碍参数趋于零时,该方法收敛于原问题的Karush-Kuhn-Tucker点。否则,尺度参数趋于零,并且该方法收敛到原问题的不可行稳定点或奇异稳定点。此外,我们的方法具有快速检测问题的不可行性的能力。在适当的条件下,当原问题可行时,该方法可以超线性或二次收敛到Karush-Kuhn-Tucker点;当原问题不可行时,该方法也可以超线性或二次收敛到不可行驻点.初步的数值结果表明,该方法在求解一些简单但困难的问题和CUTE集合中的标准测试问题时是有效的,其中在求解文献中提出的两个不可行问题和一个适定的可行反例时,证明了该方法的超线性收敛.
2018-07-08 math.OC
Primal-Dual Interior-Point Methods for Domain-Driven Formulations
本文研究了求解凸优化问题的不可行起始原-对偶内点方法,该方法具有典型的自然形式,我们称之为区域驱动形式。我们的算法扩展了许多优势的原始-对偶内点技术可用于圆锥公式,如目前最好的复杂性界限,和更强大的证书近似最优性,无界性和不可行性,域驱动的配方。即使在线性规划的情况下,对于所使用的不可行启动设置来说,复杂性结果也是新的。除了复杂性的结果,我们的算法的目的是扩大应用程序,和软件的内点方法,以更广泛的类的问题超越对称锥优化。
2019-03-13 math.OC
A Scalable Interior-Point Gauss-Newton Method for PDE-Constrained Optimization with Bound Constraints
本文针对带边界约束的PDE约束优化问题,提出基于全空间内点高斯-牛顿法的可扩展求解框架,并设计两种谱相关预条件子,使线性求解迭代次数与离散化和内点病态性无关,实现并行可扩展求解。
2024-10-19 cs.NA math.NA math.OC
A primal-dual interior-point relaxation method for nonlinear programs
我们证明了经典的对数障碍问题等价于一个特殊的对数障碍正松弛问题的障碍和标度参数。在此基础上,提出了一种求解非线性规划问题的线搜索原对偶内点松弛法。该方法不要求原迭代或对偶迭代都是邻域点,这与文献中已有的内点方法有显著的不同。为了保证算法的整体收敛,采用了一种新的既依赖于原始变量又依赖于对偶变量的对数障碍罚函数,其中罚参数自适应地更新。在不假设任何正则性条件的情况下,证明了只要障碍参数趋于零,我们的方法将终止于原问题的一个近似KKT点。本文给出了一些初步的数值结果,包括一个适定问题的结果,对于这个适定问题,许多线搜索内点方法都不能证明是全局收敛的;一个可行问题的结果,对于这个可行问题,LICQ和MFCQ不能保持在解上;以及CUTE集合的一些标准测试问题。这些结果表明,我们的算法不仅是有效的适定的可行问题,但也适用于一些不适定的可行问题,甚至一些不可行的问题。
2018-07-09 math.OC
Polynomial worst-case iteration complexity of quasi-Newton primal-dual interior point algorithms for linear programming
拟牛顿法是用于大规模数值优化的公知技术。他们在最优化问题中使用Hessian近似,在非线性方程组中使用Jacobian近似。在内点上下文中,拟牛顿算法计算与牛顿系统相关联的矩阵的低秩更新,而不是在每次迭代时从头开始计算。本文证明了线性规划的简化拟牛顿原对偶内点算法具有多项式最坏情况迭代复杂度。考虑了算法的可行和不可行情况,分析了中心路径的最常见邻域。据我们所知,这是第一次尝试为这些方法提供多项式最坏情况下的迭代复杂度界限。不出所料,当使用拟牛顿方向时获得的最坏情况的复杂度结果比采用牛顿方向时的结果更差。然而,拟牛顿更新是非常有吸引力的大规模最优化问题,其中分解矩阵的成本是远远高于解决线性系的成本。
2022-09-09 math.OC
A New Preconditioning Approach for an Interior Point-Proximal Method of Multipliers for Linear and Convex Quadratic Programming
在本文中,我们解决的线性和二次规划问题,往往是大规模的有效数值解。为此,我们设计了一个不可行的内点方法,融合了邻近方法的乘数,这反过来又导致原始-对偶正则化内点方法。这种方法的应用会导致一系列越来越病态的线性系,由于内存和CPU时间的限制,这些线性系并不总是能用因式分解法求解。我们提出了一种新的预处理策略,它是基于一个适当的稀疏化的正规方程矩阵的线性情况下,也构成了一个块对角预处理器的基础,以加速MINRES的线性系所产生的一般二次规划问题的解决方案。一系列测试问题的数值结果表明,所提出的预处理策略的鲁棒性,连同它的能力,以解决非常大的尺寸线性系。
2020-12-11 cs.NA math.NA math.OC
Efficiency and Convergence Insights in Large-Scale Optimization Using the Improved Inexact-Newton-Smart Algorithm and Interior-Point Framework
Comenius University(科米纽斯大学);Sheikhbahaee University(谢赫巴哈伊大学)
本文对比评估大规模非线性优化中改进INS算法与原对偶内点框架的性能,发现内点法效率、精度、稳定性更优可作基准,调优后的INS可作为适配特定问题结构的替代方案。
2025-11-15 math.OC
Stable interior-point method for convex quadratic programming with strict error bounds
提出了求解一类二次目标函数为非线性规划问题的一种短步长内点法。凸二次规划问题可以转化为这类问题。该方法具有弱多项式时间复杂度。给出了该方法数值稳定性的完整证明。没有要求的可行性,行秩的约束雅可比矩阵,严格互补性,或条件的问题。不可行的问题被解决到一个最优的内部最小二乘解。
2018-05-10 math.OC
A one-phase interior point method for nonconvex optimization
Wachter和Biegler的工作表明,为线性规划开发的不可行启动内点方法(IPM)在没有显著修改的情况下不能适用于非线性最优化,即,使用两阶段或惩罚方法。我们提出了一个IPM,通过仔细的初始化和更新的松弛变量,保证找到一个一阶证书的局部不可行性,局部最优性或无界的(移位)可行域。我们提出的算法不同于其他IPM方法的非凸规划,因为我们减少原始可行性在同一速率的障碍参数。这给出了具有更鲁棒收敛特性的算法,并且非常类似于来自线性规划的成功算法。我们实现了该算法,并与IPOPT的CUTEst问题的一个子集。我们的算法需要类似的中位数迭代次数,但只有9%的问题失败,而IPOPT为16%。不可行的变种的CUTEst问题的实验表明检测不可行性的优越性能。我们实现的代码可以在https://github.com/ohinder/OnePhase上找到。
2018-01-11 math.OC
A Newton Interior-Point Method for $\ell_0$ Factor Analysis
本文针对因子分析中带有非凸 $\ell_0$ 范数正则化的协方差矩阵稀疏优化问题,提出一种结合 $\ell_0$ 近端算子与牛顿迭代的内点法,有效处理半正定约束并通过数值算例验证了其有效性。
2025-04-02 math.OC
Senior Thesis for Haverford College Convex Optimization, Newton's Method and Interior Point Method
本文由四个一般部分组成:凸集、凸函数、凸优化和邻域点算法。首先介绍了凸集的定义,并给出了本文后面要用到的三个常见凸集的例子,然后证明了重要的分离定理和支撑超平面定理。进入凸函数,除了给出定义外,我还将证明函数凸性的一阶和二阶条件,然后介绍几个例子,这些例子将在后面的凸优化问题中使用。接下来,我将给出凸优化问题的正式定义,并证明它们所具有的一些特征,包括解的存在性(通过最优性准则)和唯一性。我还将生成两个凸优化问题,其中一个不能简单地解决,需要额外的技能。之后,我将引入对偶性,以便构造邻点法。在最后一节中,我将首先介绍下降法和牛顿法,它们是邻域点法的基础。然后,我将展示如何使用对数障碍函数和中心路径来建立通道点方法。
2020-09-24 math.OC
A structured modified Newton approach for solving systems of nonlinear equations arising in interior-point methods for quadratic programming
针对二次规划内点法中障碍子问题的非线性方程组,提出保留 Jacobian 非零结构的低秩修正牛顿法,并通过理论结果、数值实验及两种启发式策略验证其性能。
2023-05-03 math.OC
Primal-dual interior-point algorithm for linearly constrained convex optimization based on a parametric algebraic transformation
本文提出一种基于参数代数变换的全牛顿步内点算法,用于线性约束凸优化,推广了Kheirfam和Nasrollahi的工作,并证明了算法的多项式复杂度界。
2024-03-18 cs.NA math.NA math.OC
Newton and interior-point methods for (constrained) nonconvex-nonconcave minmax optimization with stability and instability guarantees
本文提出修正Hessian的牛顿类方法求解非凸-非凹极小极大问题,确保仅收敛到局部极小极大点,计算时间与Hessian非零元素数近似线性。
2024-02-11 cs.SY eess.SY math.OC
Distributed Interior-point Method for Loosely Coupled Problems
本文提出了求解松耦合无约束和约束最优化问题的分布式算法。这些问题通常使用基于分解和一阶方法的组合的算法来解决。这些算法通常非常慢,需要多次迭代才能收敛。为了缓解这个问题,我们提出了算法,结合牛顿和内点的方法与邻近分裂方法来解决这些问题。特别地,用于求解无约束松耦合问题的算法基于牛顿法并且利用邻近分裂来分配用于在每次迭代中计算牛顿步长的计算。将该算法与内点法相结合,提出了求解约束松耦合问题的分布式算法。我们还提供了如何有效地实现所提出的方法的指导方针,并简要讨论了所得到的解决方案的属性。
2013-12-19 math.OC
A relaxed interior point method for low-rank semidefinite programming problems with applications to matrix completion
本文提出了求解低秩半定规划问题的一种新的松弛型内点方法。该方法是通常的内点框架之外的一个步骤。为了使原迭代收敛于低秩原解,对原迭代赋予了一种特殊的近似低秩形式。为了适应这样的(限制性)结构,一阶最优性条件必须放松,因此近似通过求解辅助最小二乘问题。放松的内点框架打开了许多可能性如何原始和对偶近似牛顿方向可以计算。特别是,它承认在这方面的应用程序的第一和第二阶的方法。证明了该方法的收敛性。一个原型的实施进行了讨论,并报告了令人鼓舞的初步计算结果,为解决的SDP-重新制定的矩阵完成问题。
2021-03-25 cs.NA math.NA math.OC
Convergence Analysis of an Inexact Feasible Interior Point Method for Convex Quadratic Programming
本文讨论凸二次规划的不精确可行内点算法的两种变型。我们将考虑两个不同的邻域:一个(小)诱导使用欧几里德范数产生一个短的步骤算法和一个对称的诱导使用无穷范数产生一个(实用)长的步骤算法。这两种算法都允许不精确地求解牛顿方程组。对于这两种算法,我们将提供牛顿方程中可接受的误差水平的条件,并建立最坏情况下的复杂性结果。
2012-08-29 math.OC
A Fast Polynomial-time Primal-Dual Projection Algorithm for Linear Programming
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);Delft University of Technology(代尔夫特理工大学)
本文提出了一种多项式对偶投影算法,用于平衡可行和不可行实例的性能,并在某些情况下比先前算法表现更优。
2018-10-10 cs.DS cs.NA math.NA
An Interior Point-Proximal Method of Multipliers for Convex Quadratic Programming
本文将不可行内点法(IPM)与邻近乘子法(PMM)相结合。所得到的算法(IP-PMM)被解释为一个原始-对偶正则IPM,适用于求解线性约束凸二次规划问题。我们将内点方法的几次迭代应用于邻近乘子方法的每个子问题。一旦找到PMM子问题的满意解,我们更新PMM参数,形成新的IPM邻域并重复此过程。在这个框架下,我们证明了多项式复杂性的算法,在标准的假设。据我们所知,这是原始-对偶正则化IPM的第一个多项式复杂度结果。该算法是指导使用一个单一的罚参数,即对数障碍。换句话说,我们表明,IP-PMM继承IPMs的多项式复杂性,以及严格的凸性的PMM子问题。罚参数的更新由IPM控制,因此是良好调整的,并且不依赖于所解决的问题。此外,我们研究的行为时,它被应用到一个不可行的问题,并确定了一个必要条件不可行的方法。后者用于构建不可行性检测机制。随后,我们提供了一个强大的实现所提出的算法,并测试了一组小到大规模的线性和凸二次规划问题。数值结果表明,在IPM中使用正则化的好处,以及该方法的可靠性。
2020-03-05 math.OC
Approximate solution of system of equations arising in interior-point methods for bound-constrained optimization
针对界约束优化内点法的牛顿系统求解权衡问题,提出基于有效/无效约束启发式估计的部分与完全近似解,及两种含部分近似解中间步骤的类牛顿法,给出理论误差界与数值验证结果。
2020-11-15 math.OC
An Improved Primal-Dual Interior Point Solver for Model Predictive Control
提出了一种求解带有线性不等式约束的二次规划问题的原-对偶邻点(PDIP)方法。我们表明,求解器收敛(局部)二次MPC问题的次优解。PDIP求解器依赖于两个阶段:阻尼阶段和纯牛顿阶段。与最先进的PDIP方法相比,我们的求解器用基于Nesterov快速梯度法(DFG)的对偶求解器代替了初始阻尼牛顿相位(通常用于计算中等精度解),该对偶求解器以O(1/k^2)阶的次线性收敛速度收敛到中等精度解。与现有技术相比,在对偶空间中计算到纯牛顿相位的切换策略,以利用由DFG在第一相位中提供的对偶信息。去除阻尼牛顿相位具有额外的优点,即我们的求解器节省了回溯线搜索所需的计算工作量。所提出的求解器的有效性证明了2维离散时间不稳定系统和航空航天应用。
2017-09-19 math.OC
Dynamic Non-Diagonal Regularization in Interior Point Methods for Linear and Convex Quadratic Programming
本文提出了一种动态非对角正则化的内点方法。该正则化的非对角方面是隐式的,因为正则化矩阵的所有非对角元素被牛顿系统中存在的那些元素抵消,这些元素在牛顿方向的计算中不贡献重要信息。这样的正则化有多个目标。最明显的一个是改善内点法每次迭代求解的牛顿系统的谱性质。另一方面,正则化矩阵向上述线性系引入稀疏性,从而允许更有效的因子分解。我们还提出了一个规则调整的正则化动态的基础上的问题的属性,使足够大的特征值的非正则化系统的扰动不显着。这说明需要通过实验来找到特定的正则化值,这是文献中最常见的方法。给出了非正则化系统矩阵特征值的扰动界,并讨论了正则化矩阵的谱性质。最后,我们证明了该方法适用于解决标准的中小型线性和凸二次规划测试问题的效率。
2019-02-13 math.OC
An inexact potential reduction method for linear programming
分析了一类利用非精确方向的内点方法。对求解线性规划的内点法中的线性系组进行了重新表述,使其解对右端的扰动不太敏感。对于新的系统,制定了一个实施条件,控制解决方案中的相对误差。基于这个条件,描述了一种可行和一种不可行的势约简方法,这些方法保留了精确方向已知的收敛性和复杂性界限。
2016-07-29 math.OC
Interior-point algorithms with full Newton steps for nonsymmetric convex conic optimization
针对非对称凸锥优化问题,提出仅需原始锥对数齐次自协调障碍函数的全牛顿步原始-对偶可行内点算法,达到最优理论迭代复杂度,兼容对偶证明框架,在困难多项式优化问题上表现出高效性与数值可靠性。
2025-02-22 math.OC
Status Determination by Interior-Point Methods for Convex Optimization Problems in Domain-Driven Form
我们研究了以域驱动形式给出的凸优化问题的几何结构,并利用对偶理论对这些问题的可能状态进行了分类。我们的域驱动形式的对偶理论,它接受圆锥和非圆锥约束,让我们确定和证明一个问题的状态,严格的圆锥公式的最佳方法(已被证明是非常有效的,在这种情况下)。我们分析了一个不可行的启动原始对偶法域驱动的形式在返回证书的定义状态的性能。我们的迭代复杂性边界为这个更实际的域驱动的形式匹配最好的圆锥公式。最后,我们提出了一些停止准则的实际算法的基础上,从我们的分析得到的见解。
2019-01-21 math.OC
An adaptive interior-point method with backtracking line search for convex constrained optimization
University of Pittsburgh(匹兹堡大学)
该研究针对凸约束优化问题,开发并分析了一种应用于对数障碍函数的带线搜索的正则化牛顿法,在特定条件下,从严格可行点出发,能在$\tilde{O}(\epsilon^{-2/3})$次迭代中找到$\epsilon$-近似最优解,弥补了无自和谐假设的约束凸优化方法分析的不足。
2026-07-15 cs.NA math.NA math.OC
Design and implementation of a modular interior-point solver for linear optimization
本文介绍了开放源码的线性最优化内点求解器Tulip的算法设计与实现。它实现了一个正则化的同质内点算法与多个中心校正,因此处理无界和不可行的问题。求解器是用Julia编写的,因此允许灵活和高效的实现:Tulip的算法框架完全脱离了线性代数实现和模型的算术。特别是,这允许无缝集成结构化问题的专用例程。广泛的计算结果报告。我们发现Tulip在H. Mittelmann's benchmark of barrier线性规划求解器。此外,我们设计了专门的线性代数例程结构化的主问题的背景下,Dantzig-Wolfe分解。这些例程在电力系统运行和两阶段随机规划中出现的大型和密集实例上产生十倍的加速,从而优于最先进的商业内点方法求解器。最后,我们说明郁金香的能力,使用不同级别的算术精度,通过解决问题的扩展精度。
2020-06-23 math.OC
Interior-point methods for unconstrained geometric programming and scaling problems
我们提供了一个基于条件的分析两个内点点的方法无约束几何规划,一类凸规划,自然出现在应用程序,包括矩阵缩放,矩阵平衡,熵最大化。我们的条件数是与几何规划的牛顿多面体相关联的自然几何量,并导致近似极小值的直径界。我们还提供了有效的界限上的条件数在一般情况下和组合假设下的牛顿多面体。通过这种方式,我们推广了最近的内点方法的矩阵缩放和矩阵平衡的迭代复杂性。最近,有很多关于李群上某些最优化问题的算法的工作,称为容量和缩放问题。对于交换群,这些问题减少到无约束的几何规划,这是我们工作的一个特别的动力来源。
2020-08-27 cs.DS math.OC
An Interior Point-Proximal Method of Multipliers for Positive Semi-Definite Programming
本文将[An内点-Proximal Method of Multipliers for Convex二次规划,Computational Optimization and Applications,78,307- 351(2021)]中提出的乘子内点-Proximal Method of Multipliers(IP-PMM)推广到求解线性正半定规划(SDP)问题,允许相关牛顿系统的解不精确。特别是,我们结合了不可行的内点方法(IPM)与乘法器的近似方法(PMM)和解释的算法(IP-PMM)作为一个原始-对偶正则IPM,适用于解决SDP问题。我们对PMM的每个子问题进行迭代,直到找到满意的解,然后更新PMM参数,形成一个新的IPM邻域,重复这个过程。在这个框架下,我们证明了多项式复杂性的算法,在温和的假设下,而不需要精确的计算牛顿方向。此外,我们提供了一个必要条件缺乏强的二元性,这可以作为一个基础,构建检测机制,识别病理情况下,在IP-PMM。
2021-09-08 math.OC
Proximal stabilized Interior Point Methods for quadratic programming and low-frequency-updates preconditioning techniques
在这项工作中,在线性和二次规划的背景下,我们解释原始对偶正则化内点方法(PDR-IPMs)的框架内的邻近点方法。由此产生的近端稳定IPM(PS-IPM)的强有力的支持有关的收敛性和收敛速率的理论结果,并可以处理退化问题。此外,在这项工作的第二部分中,我们分析了正则化参数和用于求解牛顿线性系的线性代数例程的计算足迹之间的相互作用。特别是,当这些系统使用迭代Krylov方法求解时,我们提出了通用的预条件,利用正则化和新的重排的舒尔补,仍然有吸引力的一系列后续IPM迭代。因此,它们只需要在总IPM迭代的一小部分中重新计算。由此产生的正则化的二阶方法,其中低频更新的预处理器是允许的,铺平了道路的替代第三种方式之间的第一和第二阶方法。
2022-05-03 cs.NA math.NA math.OC
Interior Point Differential Dynamic Programming
本文提出了一种新的微分动态规划(DDP)算法,用于求解带不等式约束的离散时间有限时间最优控制问题。使用原对偶内点方法开发了两种变体,即可行IPDDP算法和不可行IPDDP算法,并表征了它们的局部二次收敛性。我们证明了算法的稳定点是扰动的KKT点,因此可以任意移动到局部最优解附近。由于没有活动集方法的负担,它可以处理非线性状态和输入不等式约束,而不会明显增加其计算复杂性相对于无约束的情况下。所提出的算法的性能进行了证明,使用三个不同的问题的数值实验:控制限制倒立摆,停车场,和unicipalent运动控制和避障。
2020-10-20 cs.SY eess.SY math.OC
PIQP: A Proximal Interior-Point Quadratic Programming Solver
本文提出PIQP,一种结合不可行内点法与乘子近端法的高性能稀疏QP求解器,无需约束线性独立性即可处理病态凸QP问题,适用于嵌入式应用,在多项基准测试中性能优于现有商业与开源求解器。
2023-09-15 math.OC
Solving the continuous nonlinear resource allocation problem with an interior point method
资源分配问题通常利用其一般稀疏性和特定于问题的代数结构来解决。我们表明,稀疏结构单独产生一个封闭形式的牛顿搜索方向的通用原始-对偶内点方法。计算测试表明,内点方法始终优于最好的专门的方法时,没有额外的代数结构。
2013-09-26 math.OC
Safe Bayesian Optimization using Interior-Point Methods -- Applied to Personalized Insulin Dose Guidance
本文研究了具有安全关键约束的系统的贝叶斯优化问题,其中目标函数和约束都是未知的,但可以通过查询系统来观察。在安全关键型应用程序中,在不可行点查询系统可能会产生灾难性的后果。这样的系统需要一个安全的学习框架,使得性能目标可以被优化,同时以高概率满足安全关键约束。在本文中,我们提出了一个安全的贝叶斯优化框架,确保查询的点总是在内部的部分显示的安全区域,从而保证约束满足高概率。所提出的内点贝叶斯优化框架可以与任何采集功能一起使用,使其具有广泛的适用性。所提出的方法的性能证明使用个性化的胰岛素给药应用程序的1型糖尿病患者。
2022-05-04 cs.SY eess.SY math.OC
Efficient Use of Quantum Linear System Algorithms in Interior Point Methods for Linear Optimization
量子计算在优化领域引起了极大的兴趣,因为它可能比传统的超级计算机更快地解决各类优化问题。一些研究者提出了量子计算方法,特别是量子内点方法(QIPMs),用于求解凸优化问题,例如线性优化、半定优化和二阶锥优化问题。他们中的大多数人在每次迭代中应用量子线性系统算法来计算牛顿步长。然而,在QIPM中使用量子线性求解器带来了许多挑战,例如具有病态系统和量子求解器的相当大的误差。本文研究了如何有效地使用量子线性求解器在QIPM。在此基础上,提出了求解线性优化问题的不精确不可行量子内点方法。我们还讨论了如何在不增加量子求解器时间的情况下,通过迭代精化得到精确解。最后,我们的QIPM使用量子模拟器的QISKIT实现的计算结果进行了分析。
2023-02-10 math.OC quant-ph
An ADMM-Based Interior-Point Method for Large-Scale Linear Programming
提出了一种求解超大型线性规划问题的内点方法。传统的IPM通常使用牛顿法来近似求解子问题,该子问题的目标是在每次迭代时最小化对数障碍罚函数。由于它与牛顿法的联系,IPM通常被归类为二阶方法--一种以牺牲可扩展性为代价的稳定性和准确性。实际上,计算牛顿步长相当于求解大型线性系,如果输入数据大小合理和/或稀疏和/或结构良好,则可以有效地实现该大型线性系。然而,如果上述前提失败,那么传统IPM的挑战仍然存在。为了应对这一挑战,一种方法是应用迭代过程,例如预条件共轭梯度法,来求解线性系。由于每次迭代得到的线性系不同,很难找到好的预条件子来达到整体求解效率。在本文中,提出了一种替代方法。在原对偶路径跟踪的框架下,我们采用乘子的交替方向法(ADMM)来近似最小化每次迭代的对数障碍罚函数,而不是应用牛顿法.该算法是一种基于ADMM的内点方法,本文简称为ABIP。新方法继承了IPM的稳定性和ADMM的可扩展性。由于其自对偶嵌入结构,ABIP被设置为解决任何LP,而不需要关于其可行性的先验知识。我们进行了大量的数值实验测试ABIP与大规模的LP从NETLIB和机器学习应用程序。结果表明,ABIP优于现有的LP求解器,包括SDPT 3,MOSEK,DSDP-CG和SCS。
2020-07-02 math.OC
An Inexact Interior-Point Lagrangian Decomposition Algorithm with Inexact Oracles
本文提出了一种新的非精确内点拉格朗日分解方法来求解一类广泛的约束组合凸优化问题。我们的方法依赖于四种技术:拉格朗日对偶分解,自协调障碍平滑,路径跟踪,和近似牛顿技术。它还允许近似计算原始子问题(称为从属问题)的解,这导致不精确的预言(即,不精确梯度和Hessians)的光滑对偶问题(称为主问题)。光滑对偶问题是非光滑的,我们提出用不精确近似牛顿法来求解,通过适当地控制从问题和主问题两个层次上的不精确计算,我们仍然估计了算法的多项式时间迭代复杂度,就像标准的短步内点方法一样.我们还提供了一个策略,以恢复原始解决方案,并建立复杂性,以实现近似原始解决方案。我们说明了我们的方法,通过两个数值例子知名的模型与合成和真实的数据,并比较它与一些现有的国家的最先进的方法。
2019-04-18 math.OC
Algebraic Multigrid with Filtering: An Efficient Preconditioner for Interior Point Methods in Large-Scale Contact Mechanics Optimization
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出一种带过滤的代数多重网格预置器,用于解决大规模接触力学优化中的非线性问题,通过理论分析和数值实验证明其在网格无关收敛性和抗病态能力方面的有效性。
2026-04-17 cs.NA math.NA math.OC
Efficient preconditioners for solving dynamical optimal transport via interior point methods
针对 Benamou-Brenier 动态最优传输内点法中的大型鞍点系统,本文提出基于对偶 Schur 补算子部分交换的 $\oldsymbol{B}\oldsymbol{B}$-preconditioner,实验表明其计算效率最高且近线性扩展。
2024-01-19 cs.NA math.NA math.OC
An Inexact Feasible Quantum Interior Point Method for Linearly Constrained Quadratic Optimization
量子线性系统算法(QLSA)具有加速依赖于求解线性系的算法的潜力。内点方法是求解最优化问题的一类基本的多项式时间算法。IPM在每次迭代时求解牛顿线性系以找到搜索方向,因此QLSA可以潜在地加速IPM。由于当代量子计算机中的噪声,这种量子辅助IPM(QIPM)仅允许牛顿线性系的不精确解。通常,不精确的搜索方向会导致不可行的解决方案。在我们的工作中,我们提出了一个不精确可行的QIPM(IF-QIPM),并显示其在解决线性约束二次最优化问题的优势。我们还将该算法应用到$\ell_1$ -范数软间隔支持向量机(SVM)问题,并获得最佳的复杂度对维数的依赖。这个复杂性界优于任何现有的产生经典解的经典或量子算法。
2023-01-13 math.OC quant-ph
An Inexact Tensor-Train Primal-Dual Interior-Point Method for Semidefinite Programs
Imperial College London(帝国理工学院);University of Bath(巴斯大学)
针对半定规划中解非低秩但可低张量列车秩近似的问题,介绍一种利用张量分解和原始对偶不可行内点框架的方法,实验表明该方法能处理大规模问题,有精度保证且张量列车秩适中,为相关问题求解提供新途径。
2026-07-15 math.OC
Worst-case convergence analysis of inexact gradient and Newton methods through semidefinite programming performance estimation
我们提供了新的工具,最坏情况下的性能分析的梯度(或最速下降)的柯西光滑强凸函数的方法,和牛顿法的自协调函数,包括不精确的搜索方向的情况下。该分析使用半定规划性能估计,如Drori和Teboulle [数学规划,145(1-2):451-482,2014]所开创的,并扩展了作者[Optimization Letters,11(7),1185-1199,2017]柯西方法的最新性能估计结果。为了说明工具的适用性,我们展示了一个新的复杂性分析的短步骤内点方法使用不精确的搜索方向。作为这个框架中的一个例子,我们概述了如何对Abernethy和Hazan最近的内点方法进行严格的最坏情况复杂性分析[PMLR,48:2520-2528,2016]。
2020-06-22 math.OC
On the Differentiability of the Primal-Dual Interior-Point Method
针对原对偶内点法在主动不等式约束下导数不连续的问题,提出对数屏障松弛技术结合始终可行的ℓ₁惩罚凸二次规划求解算法,实现可并行的光滑可微求解器,已在机器人任务验证并开源JAX实现。
2024-06-18 math.OC
An asymptotically superlinearly convergent semismooth Newton augmented Lagrangian method for Linear Programming
基于强大的邻接点方法(IPM)的商业求解器,如Gueldman和Mosek,在解决大规模线性规划(LP)问题方面取得了巨大的成功。这些求解器的高效率关键取决于问题数据的稀疏性和先进的矩阵分解技术。对于具有密集(可能结构化)的数据矩阵$A$或其对应的正规矩阵$AA^T$具有密集的乔莱斯基因子(即使具有重新排序)的大规模LP问题,这些求解器可能需要在每个邻近点迭代中的过度计算成本和/或极其繁重的存储器使用。不幸的是,自然疗法,即,使用基于迭代法的IPM解算器虽然可以避免系数矩阵及其因式分解的显式计算,但是由于在每个相邻点迭代中出现的大规模正规方程的固有极端病态,实际上是不可行的。为了给求解大规模线性规划问题提供一个更好的选择,我们提出了一种基于半光滑牛顿的非精确邻近增广拉格朗日({ \sc Snipal})方法.与经典的IPM不同,在{ \sc Snipal}的每次迭代中,迭代法可以有效地求解更简单但条件更好的半光滑牛顿线性系.此外,{ \sc Snipal}不仅具有快速的渐近超线性收敛,而且还被证明具有有限终止性质。与Guidelines的数值比较表明,{ \sc Snipal}在处理大规模LP问题时具有令人鼓舞的潜力,其中约束矩阵$A$具有密集表示或$AA^T$具有密集因式分解,即使具有适当的重新排序。
2020-03-19 math.OC
An Interior-Point Lagrangian Decomposition Method for Separable Convex Optimization
本文利用拉格朗日对偶分解和内点框架,提出了一种求解大规模可分凸问题的分布式算法。通过在普通拉格朗日量中加入自协调的障碍项,我们在较弱的假设下证明了相应的增广对偶函数族是自协调的。证明了新算法的全局收敛性和高度并行性,从而使牛顿法有效地用于中心路径的跟踪成为可能,并适用于求解大规模的可分凸问题。
2013-02-13 math.OC
Extension of the LP-Newton method to SOCPs via semi-infinite representation
LP-Newton方法通过将当前点重复投影到某个相关多面体上来解决线性规划问题(LP)。在本文中,我们扩展的LP-牛顿方法的算法框架,二阶锥规划问题(SOCP)通过一个线性半无限规划(LSIP)的重新制定给定的SOCP。在扩展中,我们产生一个序列的投影到多面体锥构造的LP通过松弛LSIP获得。在较温和的假设下,证明了该算法的整体收敛性,并通过数值实验将该算法与SOCP的原对偶内点方法进行比较,考察了其效率。
2019-02-04 math.OC