An interior-point trust-region method for nonsmooth regularized bound-constrained optimization
针对非光滑正则化界约束优化,提出迭代求解无约束非光滑障碍子问题的内点信赖域方法,证明全局收敛性,并在两组问题上以更少评估取得更优目标值。
2024-02-28 math.OC
A Second-Order Descent Algorithm for Nonlinear Equality Constrained Optimization
School of Mathematics and Statistics, Henan Normal University(河南师范大学数学与统计学院)
针对含一般不等式约束的优化问题,提出基于内点法的ARCBIP算法,采用向边界分数规则等技术,通过数值实验验证其性能并分析全局收敛性。
2026-10-19 math.OC
An Adaptive Cubic Regularisation Algorithm Based on Interior-Point Methods for Optimization with General Inequality Constraints
School of Mathematics and Statistics, Henan Normal University(河南师范大学数学与统计学院);Mathematics and Science College, Shanghai Normal University(上海师范大学数理学院)
本文提出基于内点法的自适应三次正则化算法,用于解决具有通用不等式约束的非线性优化问题,通过构造ARC子问题和边界规则处理线性化约束,并通过复合步法和降维Hessian方法保证全局收敛性。
2026-06-05 math.OC
A Second-Order Algorithm Based on Affine Scaling Interior-Point Methods for nonlinear Optimisation with bound constraints
School of Mathematics and Statistics, Henan Normal University(河南师范大学数学与统计学院);Instituto de Matemática e Estatística, Universidade Federal de Goiás(戈亚斯联邦大学数学与统计研究所);Mathematics and Science College, Shanghai Normal University(上海师范大学数理学院)
本文提出基于仿射缩放内点法的二阶算法SOBASIP,用于解决有界约束非线性优化问题,通过构造仿射缩放子问题并利用同质化技术获得下降方向,理论分析显示其具有O(ε^{-3/2})的全局迭代复杂度和局部超线性收敛性。
2026-04-07 math.OC
Well-conditioned Primal-Dual Interior-point Method for Accurate Low-rank Semidefinite Programming
本文针对低秩 SDP 内点法中 Newton 子问题病态且预条件失效的问题,提出良态重构及配套预条件子,实现高精度下 O(n^3) 时间与 O(n^2) 内存复杂度。
2024-12-03 math.OC
MadNCL: A GPU Implementation of Algorithm NCL for Large-Scale, Degenerate Nonlinear Programs
本文提出MadNCL,一种基于增广拉格朗日方法的GPU实现,通过融合循环、外推及稳定化/凝聚KKT系统求解,高效处理大规模退化非线性规划,实验验证其在最优潮流等问题上的有效性。
2025-10-07 math.OC
An Inexact Interior-Point Lagrangian Decomposition Algorithm with Inexact Oracles
本文提出了一种新的非精确内点拉格朗日分解方法来求解一类广泛的约束组合凸优化问题。我们的方法依赖于四种技术:拉格朗日对偶分解,自协调障碍平滑,路径跟踪,和近似牛顿技术。它还允许近似计算原始子问题(称为从属问题)的解,这导致不精确的预言(即,不精确梯度和Hessians)的光滑对偶问题(称为主问题)。光滑对偶问题是非光滑的,我们提出用不精确近似牛顿法来求解,通过适当地控制从问题和主问题两个层次上的不精确计算,我们仍然估计了算法的多项式时间迭代复杂度,就像标准的短步内点方法一样.我们还提供了一个策略,以恢复原始解决方案,并建立复杂性,以实现近似原始解决方案。我们说明了我们的方法,通过两个数值例子知名的模型与合成和真实的数据,并比较它与一些现有的国家的最先进的方法。
2019-04-18 math.OC
A Quadratically Convergent Sequential Programming Method for Second-Order Cone Programs Capable of Warm Starts
针对线性二阶锥规划,提出基于序列二次规划框架的新方法,利用多面体外逼近克服不可微性,支持热启动并实现局部二次收敛,精度优于内点法。
2023-07-28 math.OC
A penalty-interior point method combined with MADS for equality and inequality constrained optimization
Polytechnique Montréal(蒙特利尔理工学院);“Sapienza” University of Rome(罗马大学);NOVA University of Lisbon(里斯本新大学)
本文提出了一种结合MADS的罚函数-内点法,用于解决具有等式和不等式约束的非光滑黑箱优化问题,通过改进的罚函数和障碍项策略提升求解效率。
2026-01-28 math.OC
Distributed Interior Point Methods for Optimization in Energy Networks
本文提出一种去中心化内点法,适用于能源网络优化,在非凸约束下仍具快速局部收敛性,通信开销小且求解精度高,并在708节点最优潮流问题上验证了性能。
2023-07-06 cs.SY eess.SY math.OC
Optimization Workshop Notes for Mathematical Programming with Equilibrium Constraints Algorithms: Penalty Interior-Point, Implicit-Programming, and Piecewise SQP
College of Engineering, Boston University(波士顿大学工程学院)
本文探讨了处理带均衡约束的数学规划问题(MPECs)的几种算法,包括罚内点法、单调线性互补问题变体、隐式编程下降法和分段SQP方法,分析了其模型、搜索方向子问题、全局化机制及收敛性。
2026-04-17 math.OC
Fully Stochastic Trust-Region Sequential Quadratic Programming for Equality-Constrained Optimization Problems
本文提出全随机信赖域序列二次规划算法TR-StoSQP,通过自适应松弛技术和信赖域半径分解处理等式约束优化中的不可行性问题,并证明了全局几乎必然收敛性。
2024-01-29 math.OC stat.CO stat.ML
An essentially decentralized interior point method for control
本文针对非线性网络化系统控制中的非凸约束优化问题,提出一种具有超线性收敛保证的基本分散式原-对偶内点法,并在电力系统算例中验证其相比ADMM在计算时间和子问题复杂度上更具优势。
2023-07-04 cs.SY eess.SY math.OC
An Interior-Point Algorithm for Continuous Nonlinearly Constrained Optimization with Noisy Function and Derivative Evaluations
本文针对仅能获取含噪声函数及导数值的连续非线性约束优化问题,提出一种结合现有内点算法与噪声优化算法的新内点算法,证明其能将平稳性度量降至噪声界相关阈值以下,且数值实验验证了其广泛有效性。
2025-02-16 cs.NA math.NA math.OC
A primal-dual interior point trust region method for second-order stationary points of Riemannian inequality-constrained optimization problems
Graduate School of Information Science and Technology, The University of Tokyo(东京大学大学院信息理工学系研究科);Center for Advanced Intelligence Project, RIKEN(理化学研究所先进智能项目中心);Faculty of Science and Technology, Seikei University(立教大学理学部)
本文提出了一种用于黎曼不等式约束优化问题的对偶内点信赖域方法,证明其全局收敛性,并在非线性不等约束下具有二次收敛性。
2026-05-10 math.OC
An ADMM-Based Interior-Point Method for Large-Scale Linear Programming
提出了一种求解超大型线性规划问题的内点方法。传统的IPM通常使用牛顿法来近似求解子问题,该子问题的目标是在每次迭代时最小化对数障碍罚函数。由于它与牛顿法的联系,IPM通常被归类为二阶方法--一种以牺牲可扩展性为代价的稳定性和准确性。实际上,计算牛顿步长相当于求解大型线性系,如果输入数据大小合理和/或稀疏和/或结构良好,则可以有效地实现该大型线性系。然而,如果上述前提失败,那么传统IPM的挑战仍然存在。为了应对这一挑战,一种方法是应用迭代过程,例如预条件共轭梯度法,来求解线性系。由于每次迭代得到的线性系不同,很难找到好的预条件子来达到整体求解效率。在本文中,提出了一种替代方法。在原对偶路径跟踪的框架下,我们采用乘子的交替方向法(ADMM)来近似最小化每次迭代的对数障碍罚函数,而不是应用牛顿法.该算法是一种基于ADMM的内点方法,本文简称为ABIP。新方法继承了IPM的稳定性和ADMM的可扩展性。由于其自对偶嵌入结构,ABIP被设置为解决任何LP,而不需要关于其可行性的先验知识。我们进行了大量的数值实验测试ABIP与大规模的LP从NETLIB和机器学习应用程序。结果表明,ABIP优于现有的LP求解器,包括SDPT 3,MOSEK,DSDP-CG和SCS。
2020-07-02 math.OC
Scalable First-Order Interior Point Trust Region Algorithms for Linearly Constrained Optimization
Peking University(北京大学);Stanford University(斯坦福大学);Shanghai Institute for Mathematics and Interdisciplinary Sciences(上海数学与交叉学科研究院)
本文提出一种近似第一次顺序内部点信任区域框架,通过低秩更新维护近似投影来解决信任区域子问题计算瓶颈,提高大规模优化问题的计算效率。
2026-04-27 cs.DS math.OC
An Augmented Lagrangian Method on GPU for Security-Constrained AC Optimal Power Flow
Mines Paris-PSL(巴黎矿业学院);University of Freiburg(弗赖堡大学);Argonne National Laboratory(阿贡国家实验室);Massachusetts Institute of Technology(麻省理工学院)
提出基于GPU的增广拉格朗日方法MadNCL,求解大规模安全约束交流最优潮流,通过无主元分解并行化,在500母线256预想事故下3分钟内求解,远快于Knitro。
2025-10-15 math.OC
A penalty barrier framework for nonconvex constrained optimization
针对非凸约束优化中纯障碍方法收敛受阻的问题,提出结合精确惩罚与内点法的惩罚障碍框架,通过边缘化步骤合并两者为平滑全域函数对象,解耦子问题与显式约束以利用高效求解器,推导了非凸问题收敛结果并验证其适用性。
2025-08-18 math.OC
A Sequential Cubic Programming Method with Second-Order Complexity Guarantees for Equality Constrained Optimization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出一种基于序列三次规划框架的新方法,通过将约束雅可比分解为法向和切向分量,结合三次正则化子问题求解,实现全局收敛到二次 stationary 点和局部二次收敛,取得梯度、二次 stationary 和约束违反的最优复杂性界。
2026-11-13 math.OC
Interior-point proximal methods for nonsmooth optimization in Hilbert spaces with cone-ordered constraints
University of Konstanz(康斯坦茨大学);University of the Bundeswehr Munich(联邦国防军慕尼黑大学)
本文提出一种非精确内点近端方法,用于求解Hilbert空间中带锥序约束的非光滑非凸优化问题,证明了收敛性并给出复杂度界,并应用于最优控制与字典学习。
2026-09-29 cs.SY eess.SY math.OC
Dual-Regularized Riccati Recursions for Interior-Point Optimal Control
IMT School for Advanced Studies, Lucca(利卡大学高级研究学院)
本文提出双正则化线性二次调节器问题的闭式扩展Riccati递归,通过顺序和并行方法在O(N)和O(logN)时间内求解,并证明在满足特定惯性条件时,非零原始步骤是增广障碍-拉格朗日 merit 函数的下降方向。
2026-06-15 cs.MS cs.RO cs.SY
Conditional gradient method for vector optimization
本文提出了一种求解约束向量最优化问题的条件梯度法,该问题的序是由一个内部为非空的闭凸尖锥诱导的。当所考虑的偏序是由非负正交诱导的偏序时,我们恢复了Assunção等人最近提出的多目标优化方法(Comput Optim Appl 78(3):741- 768,2021)。在我们的方法中,辅助子问题的构造是基于著名的有向距离函数。三种不同类型的步长策略(Armijio,自适应和非单调)被认为是。在不作任何假设的情况下,证明了采用Armijio或非单调步长规则所产生的序列的聚点平稳性。为了获得自适应步长策略的方法的收敛结果,我们引入了一个有用的锥凸性条件,允许规避复杂的问题的Lipschitz连续性的Jocabian的目标函数。这个条件帮助我们将经典的下降引理推广到向量最优化的情况。在适当的目标函数凸性假设下,证明了由该方法得到的任何生成序列的所有聚点都是弱有效解。
2022-04-10 math.OC
Scalable Mixed-Integer Optimization with Neural Constraints via Dual Decomposition
University of Science and Technology of China(中国科学技术大学);State University of New York at Buffalo(纽约州立大学布法罗分校)
针对深度神经网络嵌入混合整数规划时整体线性化规模爆炸的问题,本文提出对偶分解框架拆分问题,保持模块化且整数变量数不随网络深度增长,在\textsc{SurrogateLIB}基准上验证了可扩展性、模块化和适应性。
2025-11-12 cs.LG math.OC
Exploring Benefits of Linear Solver Parallelism on Modern Nonlinear Optimization Applications
高效的内点最优化方法的出现使得大规模线性和非线性规划(NLP)问题的求解变得容易。这种方法的一个突出例子是Ipopt,一个广泛使用的开源非线性最优化求解器。从数学上讲,Ipopt依赖于使用稀疏对称不定线性系求解器,这是大量采用的障碍子问题的优化。因此,Ipopt的性能和可靠性取决于所选线性求解器的属性。受数学规划解决更大,更具有挑战性的NLP的趋势的启发,这项工作探讨了两个核心问题:第一,如何可用的线性求解器的可扩展性,其中许多表现出共享内存并行性,影响Ipopt的性能;第二,最好的线性求解器在NLP问题类,包括非线性网络问题和偏微分方程约束的问题之间是否存在差异?为了更好地理解这些属性,本文首先介绍了现有的开源和闭源,串行和并行线性求解器和它们之间的根本区别。其次,它介绍了一种新的开源线性求解器的耦合,能够异构并行多核中央处理单元和图形处理单元。第三,它比较线性求解器使用各种数学规划问题,包括线性和非线性最优化的标准测试问题,最优潮流基准,可扩展的二维和三维偏微分方程和最优控制问题。最后,提供了线性求解器建议,以最大限度地提高不同应用程序域的Ipopt性能。
2019-09-17 math.OC
A novel augmented Lagrangian method of multipliers for optimization with general inequality constraints
我们引入了一个二次可微的增广拉格朗日函数来求解具有一般不等式约束的非线性最优化问题,并证明了原问题的严格局部极小值是增广拉格朗日函数的一个近似严格局部解.提出了一种新的增广拉格朗日乘子法。我们的方法起源于Hetenes-Powell增广拉格朗日量的推广,并且是增广拉格朗日量和邻近点技术的组合。它与现有的ALM共享类似的算法框架,用于具有不等式约束的优化,但是它可以使用二阶导数并且不依赖于不等式约束集合上的投影。在每次迭代中,我们的方法解决了一个两次连续可微的无约束优化子问题的原始变量。对偶迭代、惩罚和平滑参数自适应更新。分析了算法的全局收敛性和局部收敛性。在不假设任何约束规格的情况下,证明了该方法具有强的整体收敛性。当收敛点是极小点时,该方法既可以收敛到KKT点,也可以收敛到奇异平稳点。当问题不可行时,它也可能收敛到非线性规划的不可行稳定点。此外,我们的方法是能够快速检测可能的不可行性的解决问题。在适当的条件下,它是局部线性收敛到KKT点,这是一致的ALMs的等式约束优化。一些小的基准测试问题的初步数值实验证明了我们的理论结果。
2021-06-29 math.OC
An Iteratively Reweighted Method for Sparse Optimization on Nonconvex $\ell_{p}$ Ball
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院)
针对非凸 $\ell_p$ 球约束非线性优化问题,提出通过加权 $\ell_1$ 球投影迭代逼近的重加权方法,并证明其一阶驻点收敛性。
2021-04-07 cs.LG math.OC