Matrix balancing based interior point methods for point set matching problems
点集匹配问题可以用最优输运来处理。其背后的机制是，最优输运恢复与最小卷曲变形相关联的点对点对应关系。最优输运是一种特殊形式的密集约束线性规划。线性规划可以用内点方法来处理，只要所涉及的病态Hessian能被精确计算。在这十年中，矩阵平衡已被用于计算熵正则化方法下的最优输运。内点法的解的质量取决于两个因素：矩阵平衡的精度和对偶向量的有界性。为了实现高精度的矩阵平衡，我们采用牛顿法实现沿一条中心路径的一系列矩阵的矩阵平衡，在这项工作中，我们将稀疏支持约束应用于基于矩阵平衡的内点方法，其中满足总支持的稀疏集被迭代更新以截断运输计划的域。全支撑条件是保证矩阵平衡存在和对偶向量有界的一个重要条件。
2023-02-16 math.OC
Condensed Interior-Point Methods for Scalable Nonlinear Programming on GPUs
研究为GPU设计的HyKKT和LiftedKKT两种压缩内点法，通过误差分析其数值特性，经实验评估性能。新策略转化KKT系统，虽有精度损失但能平衡。通过与库对比，评估含MadNLP等的软件栈，发现GPU框架在解决大规模非线性规划上有潜力但存在不足。
2026-07-23 math.OC
An Efficient IPM Implementation for A Class of Nonsymmetric Cones
本文提出一种针对广义幂锥等非对称锥的高效内点法实现，通过利用Hessian矩阵的低秩稀疏性实现稀疏LDL分解，在稀疏和大规模问题上显著优于现有求解器。
2023-05-20 math.OC
Several Approximation Algorithms for Sparse Best Rank-1 Approximation to Higher-Order Tensors
Guangxi University（广西大学）
稀疏张量最佳秩1近似（BR1Approx）是稠密张量BR1Approx的稀疏推广，是稀疏矩阵BR1Approx的高阶扩展，是稀疏张量分解及相关统计和机器学习问题中的重要问题之一.利用问题的多重线性和稀疏结构，提出了四种易于实现、计算复杂性低、可作为迭代算法初始化步骤的近似算法。此外，理论上保证最坏情况下的近似下界证明了所有的算法。我们提供了数值实验的合成和真实的数据来说明所提出的算法的有效性。
2022-07-14 cs.LG cs.NA math.NA
Approximation Bounds for Sparse Principal Component Analysis
本文给出了稀疏主成分分析的半定规划松弛问题的近似界。这些边界控制的近似比，易于处理的统计数据的假设检验问题，其中数据点是从高斯模型与一个单一的稀疏领先的组成部分。
2012-06-18 math.OC
Matrix-free Interior Point Method for Compressed Sensing Problems
本文研究了压缩感知领域中一类稀疏信号重构的最优化问题。对于这样的问题，存在过多的方法和求解器，例如GPSR、FPC AS、SPGL 1、NestA、$\ell_{1}_\ell_{s}$、PDCO等。压缩感知应用导致条件非常好的最优化问题，因此可以通过简单的一阶方法轻松解决。内点方法（IPM）依赖于牛顿法，因此它们使用二阶信息。它们具有许多有利的特征和一个明显的缺点：作为二阶方法，它们需要求解线性方程，并且该操作具有（在一般密集情况下）$O(n^3)$计算复杂性。已经尝试将IPM专门用于稀疏重建问题，并且它们导致了在$\ell_1\_\ell_s$和PDCO软件中实现的有趣的发展。我们再进一步。首先，我们使用无矩阵内点方法，重新设计IPM的方法，以避免需要明确制定（和存储）的牛顿方程系统。其次，我们利用了无矩阵IPM中信号处理矩阵的特殊性。两个这样的功能是特别感兴趣的：一个优秀的条件，这些矩阵和执行廉价（低复杂度）矩阵向量乘法与他们的能力。大规模一维信号的计算经验证实，新的方法是有效的，并提供了一个有吸引力的替代其他国家的最先进的求解器。
2013-11-16 math.OC
$\mathcal{N}$IPM-MPC: An Efficient Null-Space Method Based Interior-Point Method for Model Predictive Control
线性模型预测控制（Linear Model Predictive Control，MPC）是一种广泛应用于线性动态控制系统的控制方法。已经提出了有效的内点方法，该方法利用了由滚动时域控制公式产生的二次规划（QP）的块对角结构。然而，他们需要两个矩阵分解每个内点法迭代，一个用于计算对偶和原始。最近，一种基于零空间方法的内点方法被提出，该方法每次迭代只需要一次分解。虽然然后使用的零空间基础导致密集的零空间投影，在这项工作中，我们提出了一个稀疏的零空间基础，保留块对角结构的MPC矩阵。由于它是基于传递矩阵的逆，我们引入了所谓的虚拟控制的概念，它使可逆性。一个组合的减少数量的因式分解和省略的评估的双重让我们的求解器优于别人在计算速度方面的增加幅度取决于状态和控制变量的数量。
2021-09-07 cs.NA cs.PF cs.SY
Practical Approximation Algorithms for $\ell_1$-Regularized Sparse Rank-$1$ Approximation to Higher-Order Tensors
针对高阶张量的$\ell_1$正则化稀疏秩1逼近，提出了两种逼近算法.该算法基于多线性松弛和稀疏化，易于实现，可扩展性好。特别地，第二个与输入张量的大小线性缩放。基于对$\ell_1$ -正则化稀疏化的仔细估计，推导出理论近似的下界。我们的理论结果也提出了一个明确的方式来选择正则化参数。数值算例验证了算法的有效性。
2022-07-15 math.OC
A Multiscale Primal-Dual Interior-Point Relaxation Method for Large-Scale Optimal Transport Problems
School of Mathematical Sciences and LPMC, Nankai University（南开大学数学科学学院和LPMC）；State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and the University of Chinese Academy of Sciences（中国科学院数学与系统科学研究院和中国科学院大学）
针对大规模最优传输问题，提出多尺度原始-对偶内点松弛方法，通过多尺度框架与稀疏子问题求解降低内存需求，实验表明其效率与扩展性优于现有求解器。
2026-08-13 math.OC
GPU Implementation of Second-Order Linear and Nonlinear Programming Solvers
Argonne National Laboratory（阿贡国家实验室）
本文提出基于GPU的二阶线性与非线性规划求解器，通过无pivot内点法提升大规模问题的求解效率，实验显示在中等精度下速度提升超过10倍。
2025-11-21 math.OC
PIQP: A Proximal Interior-Point Quadratic Programming Solver
本文提出PIQP，一种结合不可行内点法与乘子近端法的高性能稀疏QP求解器，无需约束线性独立性即可处理病态凸QP问题，适用于嵌入式应用，在多项基准测试中性能优于现有商业与开源求解器。
2023-09-15 math.OC
Sparse system identification by low-rank approximation
本文介绍了逼近论和矩阵分析在时间序列模型和非线性离散时间动力系统稀疏辨识中的应用。上述理论方法被转化为算法，可用于离散时间动力系统的稀疏模型识别，从系统测量的结构化数据的基础上。状态转换算子的近似主要由基于从给定系统测量的数据待识别的参数矩阵确定，通过识别对应于测量数据的轨迹矩阵的子矩阵的低秩近似的存在条件来接近，其可以用于计算参数矩阵的近似稀疏表示。本文中提出的低秩近似方法的主要优点之一涉及线性和非线性模型的参数估计，其中数值或测量噪声可能显著影响估计。给出了基于上述技术的原型算法以及在理论物理、流体动力学和天气预报中对具有对称性和非线性结构动力系统的时间序列模型的近似辨识和预测模拟的应用。
2021-08-03 cs.NA cs.SY eess.SY
On the Closed-Form Solution to the Interior Goat Problem in One Dimension
针对数学文献缺乏一维内部山羊问题解的疏漏，本文提供了一维内部山羊问题的闭式解，并推测了向更低维情况的延续。
2023-03-31 math.HO math.OC
Some lower bounds on sparse outer approximations of polytopes
出于更好地理解混合整数规划求解器中使用的稀疏切割平面的性质的需要，本文[2]研究了使用稀疏有效不等式来近似多面体的理想化问题。作为这一工作的扩展，本文研究了以下不太理想化的问题：（1）是否存在整数规划，使得稀疏不等式即使加入到线性规划松弛中也不能很好地逼近整数壳？(2)是否存在多面体，其中稀疏不等式的近似质量不能通过添加预算数量的任意（可能是密集的）有效不等式来显着提高？(3)是否存在在每次旋转下都难以近似的多面体？(4)是否存在难以使用稀疏不等式在所有方向上近似的多面体？我们对上述每个问题的回答都是肯定的。
2014-12-11 math.OC
GPU-accelerated dynamic nonlinear optimization with ExaModels and MadNLP
本研究利用ExaModels自动微分工具与MadNLP内点求解器，结合基于NVIDIA cuDSS的混合线性求解器实现GPU加速动态非线性优化，在经典精馏柱最大算例上将单迭代时间缩短24倍。
2024-09-12 math.OC
On the Turing model complexity of interior point methods for semidefinite programming
众所周知，人们可以在多项式时间内使用椭球方法（在某些假设下）求解半定规划到固定精度。在本文中，它表明，同样适用于当一个使用短的步骤，原始内点方法。证明的主要思想是在每次迭代中使用丢番图逼近来限制迭代的中间位大小。
2015-07-16 cs.DS math.OC
Follow The Approximate Sparse Leader for No-Regret Online Sparse Linear Approximation
IIT (ISM) Dhanbad（印度理工学院（达姆达德印度矿业学院））
针对在线稀疏线性逼近问题，提出 Follow-The-Approximate-Sparse-Leader 元策略，并证明其静态遗憾具有从对数到平方根范围的依赖数据次线性界，仿真验证了有效性。
2025-01-07 cs.LG math.OC
Data-driven optimal control under safety constraints using sparse Koopman approximation
本文利用Koopman算子的稀疏结构提出高效最小二乘逼近方法，并将其用于安全约束下的数据驱动最优可达-安全控制，显著降低计算时间并保持高精度。
2023-06-01 cs.SY eess.SY math.OC
A Semi-Distributed Interior Point Algorithm for Optimal Coordination of Automated Vehicles at Intersections
在本文中，我们考虑的最优协调自动车辆在交叉口下固定的交叉顺序。我们制定的问题，使用直接最优控制和利用的结构，构建一个半分布式的原始-对偶邻域点算法来解决它的并行化大部分的计算。与标准的分布式优化算法不同，其中优化问题是分裂的，在我们的方法中，我们分裂了线性代数步骤，使得算法采取与完全集中式算法相同的步骤，同时仍然以分布式方式执行计算。我们分析了该算法的通信需求，并提出了一个近似方案，可以显着减少数据交换。我们证明了该算法的有效性，在硬，但现实的情况下，这表明，近似导致减少通信数据的几乎99%的确切配方，在小于1%的次优性为代价。
2021-11-19 cs.SY eess.SY math.OC
On the Suboptimality of Proximal Gradient Descent for $\ell^{0}$ Sparse Approximation
Snap Research（Snap 研究院）；National University of Singapore（新加坡国立大学）；Microsoft Research（微软研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了求解$\ell^{0}$稀疏逼近问题的近似梯度下降（PGD）方法及其随机优化算法。我们首先提供PGD的理论分析，显示在弱于压缩传感文献中广泛使用的限制等距属性的条件下，PGD的次优解与$\ell^{0}$稀疏逼近问题的全局最优解之间存在有界差距。此外，我们提出了随机算法，以加速优化的PGD使用随机低秩矩阵近似（PGD-RMA）和随机降维（PGD-RDR）。我们的随机化算法大大降低了原始PGD的计算成本为$\ell^{0}$稀疏近似问题，和由此产生的次最优解仍然享有可证明的次优性，即，次最优解减少的问题仍然有界差距的全局最优解的原问题。
2017-09-05 cs.LG math.OC
Modeling and Optimization of Control Problems on GPUs
本文提出一种基于Julia的GPU加速工作流，通过直接转录和稀疏非线性规划求解大规模最优控制问题，利用多个Julia包和cuDSS求解器，实现显著加速。
2025-10-07 math.OC
Accelerating Optimal Power Flow with GPUs: SIMD Abstraction of Nonlinear Programs and Condensed-Space Interior-Point Methods
Argonne National Laboratory（阿贡国家实验室）；Mines Paris - PSL（巴黎高等矿业学校-PSL大学）
本文提出利用GPU解决交流最优功率流问题的框架，通过SIMD抽象非线性问题和压缩空间内点方法提升计算效率，实现显著速度提升。
2024-02-26 cs.DC math.OC
A general framework of rotational sparse approximation in uncertainty quantification
本文提出了一个通用的框架，估计系数的广义多项式混沌（gPC）的不确定性量化通过旋转稀疏近似。特别是，我们的目标是确定一个旋转矩阵，使得旋转后的一组随机变量的gPC展开具有稀疏表示。然而，这种旋转方法改变了要求解的基本线性系统，这使得找到稀疏系数比没有旋转的情况更困难。为了解决这个问题，我们研究了压缩感知（CS）中几种流行的非凸正则化方法，这些方法在经验上优于经典的l1方法。所有这些正则化都可以通过交替方向乘法器（ADMM）来最小化。数值例子表明，所提出的旋转和非凸稀疏促进正则化的组合，没有旋转和旋转，但使用凸l1方法的优越性能。
2021-09-17 math.OC stat.CO
An Infeasible Interior-point Arc-search Algorithm for Nonlinear Constrained Optimization
本文提出了一种求解非线性规划问题的不可行弧搜索内点算法。大多数基于内点法的算法都被归类为线搜索，本文提出了一种弧搜索内点算法，该算法采用圆弧作为近似路径，讨论了该算法的收敛性，并对CUTEst基准问题进行了数值实验，比较了该算法的性能。搜索算法与线搜索算法的区别。数值结果表明，所提出的弧搜索算法达到最优解，使用更少的迭代，但比线搜索算法更长的时间。一个修改，导致一个更快的弧搜索算法进行了讨论。
2020-10-28 math.OC
A Newton Interior-Point Method for $\ell_0$ Factor Analysis
本文针对因子分析中带有非凸 $\ell_0$ 范数正则化的协方差矩阵稀疏优化问题，提出一种结合 $\ell_0$ 近端算子与牛顿迭代的内点法，有效处理半正定约束并通过数值算例验证了其有效性。
2025-04-02 math.OC
Distributed Primal Outer Approximation Algorithm for Sparse Convex Programming with Separable Structures
提出了一种分布式原始外近似算法（DiPOA），用于求解具有可分离结构的稀疏凸规划（SCP）问题。DiPOA算法的开发包括将最近提出的松弛混合乘子交替方向法（RH-ADMM）算法嵌入到外近似（OA）算法中。我们还提出了两个主要的改进，以控制质量和切割平面的数量，近似非线性函数。特别地，RH-ADMM算法充当DiPOA算法内部的分布式数值引擎。DiPOA利用现代处理器的多核架构来加速优化算法。提出的分布式算法从应用方面使SCP在学习和控制问题中的解决方案具有实用性。本文最后对分布式稀疏逻辑斯谛回归和二次约束最优化问题的DiPOA算法进行了性能分析。最后，本文的结论与国家的最先进的优化求解器的数值比较。
2022-10-13 math.OC
Greedy approximation in convex optimization
我们研究凸优化问题的稀疏近似解。众所周知，在许多工程应用中，研究人员感兴趣的是将优化问题的近似解作为来自给定元素系统的元素的线性组合。有越来越多的兴趣在建设这样的稀疏近似解决方案，使用不同的贪婪型算法。在非线性逼近理论中，由给定系统（字典）中元素的线性组合逼近Banach空间中给定元素的问题得到了很好的研究。乍一看，近似和优化问题的设置非常不同。在近似问题中，给定一个元素，我们的任务是找到它的稀疏近似;在优化理论中，给定一个能量函数，我们应该找到最小化问题的近似稀疏解。事实证明，同样的技术可以用来解决这两个问题。我们将展示如何在非线性逼近理论的技术，特别是贪婪的近似技术，可以调整找到一个稀疏的解决方案的优化问题。
2012-06-02 math.OC stat.ML
Approximating regions of attraction of a sparse polynomial differential system *
出于大规模电力系统的稳定性分析，我们描述了如何Lasserre（矩和平方，SOS）的层次结构可以用来产生外近似的吸引区（ROA）的稀疏多项式微分系统，在解决线性矩阵不等式（LMI）的价格增加的大小。我们确定特定的稀疏结构，我们可以提供数值验证的外部近似的区域的吸引力在高维。为了这个目的，我们结合以前的结果，非稀疏ROA近似稀疏半代数集体积计算。
2020-03-16 cs.SY eess.SY math.OC
MIP and Set Covering approaches for Sparse Approximation
稀疏近似问题要求找到一个解$x$，使得对于给定的范数$||\cdot||$，$||y - Hx|| < α$最小化支持$||x||_0 := \#\{j \ |\ x_j \neq 0 \}$的大小。我们提出了有效的不等式混合规划（MIP）制定这个问题，我们表明，这些家庭是足够的描述一组可行的支持。这导致了一个重新制定的问题，作为一个可编程（IP）模型，这反过来又代表了最小集覆盖制定，从而产生了许多家庭的有效的不等式，可用于加强模型。我们提出的算法来解决稀疏近似问题，包括分支切割的MIP，一个两阶段的算法，以解决集覆盖IP和启发式方法的基础上局部分支类型的约束。这些方法进行了比较，在计算实验的目标是测试其实际潜力。
2020-09-14 cs.DM math.OC
Dual Stochastic Natural Gradient Descent and convergence of interior half-space gradient approximations
IIIA-CSIC（西班牙国家研究委员会人工智能研究所）
多项逻辑斯谛回归（MLR）模型在统计学和机器学习中有着广泛的应用。随机梯度下降（SGD）是在大数据场景中确定MLR模型参数的最常见方法。然而，SGD具有缓慢的次线性收敛速率。提高收敛速度的一种方法是使用流形优化。沿着这条路线，由Amari提出的随机自然梯度下降（SNGD）被证明在收敛时是Fisher有效的。然而，SNGD不能保证收敛，并且对于具有大量参数的MLR模型来说，它在计算上过于昂贵。在这里，我们提出了一个随机最优化方法MLR流形优化概念的基础上，（i）每迭代计算复杂性是线性的参数的数量和（ii）可以证明收敛。为了实现（i），我们建立MLR的联合分布族是一个对偶平坦流形，我们使用它来加速计算。Sánchez-López和Cerquides最近引入了收敛随机自然梯度下降（CSNGD），这是SNGD的一个变体，其收敛性是有保证的。为了获得（ii）我们的算法使用CSNGD的基本思想，从而依赖于一个独立的序列来建立自然梯度的有界近似。我们称所得到的算法对偶随机自然梯度下降（DNSGD）。通过推广Sunehag等人的结果，证明了DSNGD的收敛性。此外，我们证明了DSNGD迭代的计算复杂性是线性的模型的变量的数量。
2021-04-30 cs.LG math.OC stat.ML
A Value-Function-based Interior-point Method for Non-convex Bi-level Optimization
Dalian University of Technology（大连理工大学）；Pazhou Lab（琶洲实验室）；The University of Hong Kong（香港大学）；Southern University of Science and Technology（南方科技大学）；National Center for Applied Mathematics Shenzhen（深圳国家应用数学中心）
双层最优化模型能够捕获具有实际意义的各种复杂学习任务。由于在解决双层程序方面的效率，基于梯度的方法在机器学习社区中得到了普及。在这项工作中，我们提出了一个新的基于梯度的解决方案，即，基于双层值函数的内点方法（BVFDs）。遵循对数障碍内点格式的基本思想，将下层问题的正则化值函数转化为上层目标。通过进一步求解一系列可微无约束逼近问题，我们得到了一个序列规划方案。我们的计划的数值优势依赖于这样一个事实，即当梯度法被应用于解决近似问题，我们成功地避免计算任何昂贵的海森向量或雅可比向量积。我们证明了收敛性，而不需要任何凸性假设的上层或下层的目标。实验结果表明，该算法对非凸双层问题是有效的。
2021-06-15 cs.CV cs.LG math.OC
Quantum speedups for linear programming via interior point methods
Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）；IRIF（IRIF研究所）；Tilburg University（蒂尔堡大学）
本文提出了一种基于内点法的量子算法，用于加速线性规划问题，通过高效近似Hessian和梯度实现亚线性时间复杂度。
2026-01-30 cs.DS math.OC quant-ph
