An Inexact Primal-Dual Algorithm for Semi-Infinite Programming
本文考虑了求解半无限规划(SIP)的一个不精确原始对偶法,并给出了一般的误差界.为了实现对偶变量更新,我们创建了一个新的prox函数的非负措施,原来是一个推广的概率分布的Kullback-Leibler发散。我们表明,在适当的条件下的错误,该算法实现了$\mathcal{O}(1/\sqrt{K})$收敛速率的最优性差距和约束违反。然后,我们使用我们的一般误差界分析的收敛性和样本复杂度的一个特定的原始-对偶SIP算法的基础上Monte Carlo积分。最后,我们提供了数值实验来证明我们的算法的性能。
2019-01-15 math.OC
Decentralized and Parallel Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems
介绍了求解分散凸优化问题的原始和对偶随机梯度预言方法。无论是原始和双重预言机,所提出的方法是最佳的通信步骤的数量。然而,对于目标的所有类,每个节点的Oracle调用的数量方面的最优性只发生到对数因子和平滑的概念。通过使用mini-technique,我们表明,所提出的方法与随机预言可以在每个节点上额外并行化。所考虑的算法可以应用于许多数据科学问题和反问题。
2021-02-10 math.OC
Primal and dual active-set methods for convex quadratic programming
提出了求解凸二次规划的计算方法。有效集方法被定义为一个特定的原始和对偶制定的QP一般等式约束和简单的下界的变量。在论文的第一部分,提出了两种方法,一个原始的和一个对偶。这些方法生成一系列的迭代,是可行的,相对于与原始对偶形式的最优性条件相关的等式约束。原始方法保持原始不等式的可行性,同时使对偶不等式的不可行性趋于零。对偶方法保持对偶不等式的可行性,同时移动到满足原始不等式。在这些方法中的每一个中,搜索方向满足由与适当的列基相关联的Hessian和约束分量形成的KKT方程组。的基础的组成是指定的有效集的策略,保证了非奇异性的每一组KKT方程。每一个建议的方法是一个传统的有效集方法的意义上说,一个初始的原始或双重可行点是必需的。在第二部分的文件中,它是如何解决的二次规划可以作为一个耦合对原始和对偶二次规划,同时转移的简单约束条件,并添加一个惩罚项的目标函数。任何传统的列基都可以成为这种移位惩罚问题的原始-对偶对的最优。然后使用原始或对偶移位问题的解更新移位。这种方法的一个明显的应用是求解移位的对偶QP,以定义原始的初始可行点(反之亦然)。一组凸问题的计算性能评估所提出的方法。
2015-12-30 math.OC
Primal-dual programs for the constrained optimal impulse control: discounted model
本文针对确定性系统的约束最优脉冲控制问题,提出测度中的原始-对偶凸规划并建立对偶结果,进而给出求解最优$(J+1)$-混合策略的一般程序,并用实例验证。
2025-04-25 math.OC
An Optimal-Storage Approach to Semidefinite Programming using Approximate Complementarity
Cornell University(康奈尔大学);California Institute of Technology(加州理工学院)
本文提出了一种新的存储优化算法,可证明解决一般半定规划(SDP)的标准式。该方法对弱约束的SDP特别有效。其关键思想是建立一个近似互补原理:给定对偶SDP的一个近似解,原始SDP有一个近似解,其范围包含在对偶松弛矩阵的小特征值的特征空间中。对于弱约束的SDP,该特征空间具有非常低的维度,因此该观察结果显著减小了原始解的搜索空间。该结果提出了一种可以以最小存储实现的算法策略:(1)近似求解对偶SDP;(2)将原始SDP压缩到对偶松弛矩阵的具有小特征值的特征空间;(3)求解压缩的原始SDP。本文还提供了数值实验表明,这种方法是成功的一系列有趣的大规模的SDP。
2020-06-17 cs.LG math.OC
Efficient primal heuristics for mixed-integer linear programs
本文是关于我们在组合优化机器学习NeurIPS 2021竞赛中的主要任务的简短报告。对于我们感兴趣的每个数据集的竞争,我们提出了定制的原始启发式方法,以有效地识别高质量的可行解。计算研究表明,我们提出的方法优于竞争对手的。
2022-02-06 math.OC
Stochastic Programming with Primal-Dual Dynamics: A Mean-Field Game Approach
本研究针对容量网路设计之随机规划问题,探讨原始-对偶动力学。它被证明是可以实现共识的\textit{here and now}变量,代表网络的能力。主要贡献是一个启发式的方法,涉及制定的问题作为一个平均场游戏。平均场博弈中的每个代理都可以控制自己的原始对偶动态,并根据通信拓扑与相邻代理寻求共识。我们得到了关于平均场平衡存在的理论结果。此外,我们证明了共识动力学收敛,使代理同意各自的微网络的能力。最后,我们强调如何控制和状态的处罚影响的动力学代理的平均场游戏。
2020-09-10 math.OC
Stochastic Primal-Dual Coordinate Method for Nonlinear Convex Cone Programs
块坐标下降(BCD)方法及其变体在图像处理、机器学习、压缩感知等领域中被广泛应用于处理大规模无约束最优化问题,而非线性凸锥规划(NCCP)问题在耦合约束问题中具有重要的应用价值,但现有的块坐标下降方法难以解决这些问题.本文介绍了一种求解大规模非线性共形问题的随机原对偶坐标法。在这种方法中,我们根据均匀分布随机选择一组变量。线性化和Bregman样函数(核心函数)的随机选择的块允许我们得到简单的并行原始-对偶分解NCCP。证明了算法产生的序列几乎必然收敛于原问题的一个最优解。得到了两种不同概率(几乎必然和期望)的收敛速度。本文还导出了概率复杂度界。
2018-04-03 math.OC
Primal-dual interior-point Methods for Semidefinite Programming from an algebraic point of view, or: Using Noncommutativity for Optimization
三十多年来,内点方法被证明对优化非常有用,从半定线性规划到圆锥规划(部分超越非凸);尽管事实上已经在半定情况下(即使强对偶成立)“困难”问题是已知的。我们阴影的光在非交换世界(半定规划),即“交换”路径,而令人惊讶的限制,并提出了一个新的家庭的求解器,能够使用充分丰富的“非交换”搜索方向:(原始)可行的内点方法。除了详细的基本讨论,我们说明了一些变种的“非交换”路径,并提供了一个简单的实现进一步(具体问题)的调查。
2020-02-24 math.OC
Adaptive Primal-Dual Stochastic Gradient Method for Expectation-constrained Convex Stochastic Programs
随机梯度法在求解随机最优化问题中得到了广泛的应用。大多数现有的工程假设没有限制或易于项目的限制。本文考虑带期望约束的凸随机最优化问题。对于这些问题,在可行集上执行投影通常是非常昂贵的。文献中的几个SGM可以应用于解决期望约束随机问题。提出了一种基于拉格朗日函数的原始-对偶型SGM。与现有的方法不同,我们的方法采用了自适应技术,以加快收敛。在每次迭代中,我们的方法查询拉格朗日函数的无偏随机次梯度,然后它更新的原始变量的自适应SGM更新和对偶变量的香草SGM更新。我们表明,所提出的方法具有$O(1/\sqrt{k})$的收敛速度的客观误差和约束违反。虽然收敛速度与现有的SGM相同,但我们观察到它在求解Neyman-Pearson分类和二次约束二次规划时的收敛速度明显快于现有的非自适应原始-对偶SGM和原始SGM。此外,我们修改所提出的方法来解决凹凸随机极大极小问题,我们执行自适应SGM更新的原始和对偶变量。利用原对偶间隙,证明了$O(1/\sqrt{k})$对求解Minimax问题的修正方法的收敛速度.
2021-12-31 math.OC
A Primal-Dual Partial Inverse Splitting for Constrained Monotone Inclusions: Applications to stochastic Programming and Mean Field Games
在这项工作中,我们研究了约束单调包含涉及法锥到一个封闭的向量子空间和先验信息的原始解决方案。我们模型的解决方案属于不动点集的平均非扩张映射的信息。我们使用一个辅助包含,涉及部分逆算子的解决方案的特点。然后,我们提出了原始-对偶部分逆分裂,并证明了其弱收敛到包含解,推广了文献中的几种方法。两个约束条件具有向量子空间结构的非光滑凸优化问题的算例表明了该方法的有效性。最后,将该算法应用于求解运输网络中的随机弧容量扩展问题。
2021-10-29 math.OC
Iteration complexity analysis of dual first order methods for conic convex programming
本文详细分析了求解锥凸问题的对偶一阶方法的迭代复杂性。当难以投影到凸约束描述的原始可行集上时,利用拉格朗日松弛法处理复杂的约束,然后利用对偶一阶算法求解相应的对偶问题。我们给出了对偶一阶算法(对偶梯度算法和快速梯度算法)的收敛性分析:我们提供了次线性或线性估计的原始次最优性和可行性违反所产生的近似原始解决方案。我们的分析依赖于Lipschitz性质的对偶函数的梯度或误差界的双重性质。此外,迭代复杂性分析是基于两种类型的近似原始解:最后原始序列或平均原始序列。
2015-03-13 math.OC
A Tuning-Free Primal-Dual Splitting Algorithm for Large-Scale Semidefinite Programming
本研究提出一种免调参的原始-对偶混合梯度算法,结合PDHG与DRS的等价性及非平稳DRS的渐近收敛性构建统一收敛分析框架,在大规模半定规划问题上展现出更优的收敛速度与鲁棒性。
2024-02-01 math.OC
A Primal-Dual Frank-Wolfe Algorithm for Linear Programming
本文提出 FWLP 与 FWLP-P 两种一阶原始-对偶 Frank-Wolfe 算法求解线性规划鞍点问题,证明 FWLP-P 的 O(1/√k) 收敛率,并指出其仅需访问部分矩阵 A,适合超大规模 LP。
2024-02-28 math.OC
A semi-proximal augmented Lagrangian based decomposition method for primal block angular convex composite quadratic conic programming problems
针对具有原始块角结构的凸复合二次锥规划问题,提出了一种基于半邻近增广拉格朗日分解的求解方法。使用我们的算法框架,我们能够自然地得到几个众所周知的增广拉格朗日分解方法的随机规划,如对角二次近似法的Mulvey和Ruszczyovski。此外,我们能够得到新的增强和推广这些众所周知的方法。我们还提出了一个半近似对称的高斯-赛德尔为基础的交替方向法的乘数解决相应的对偶问题。数值结果表明,我们的算法可以很好地执行,即使是非常大的情况下,原始块角凸QP问题。例如,一个具有多个$300,000$线性约束和$12,500,000$非负变量的实例在小于一分钟内求解,而Guesthouse花费了3个多小时,另一个具有多个$331,000$线性约束和$986,000$非负变量的实例{ \tt qp-gridgen 1}在大约5分钟内求解,而Guesthouse花费了35分钟以上。
2018-12-12 math.OC
First-Order Primal-Dual Method for Nonlinear Convex Cone Programming
非线性凸锥规划(NCCP)问题是一类重要的非线性规划问题,具有广泛的实际应用.在本文中,我们介绍了一个灵活的一阶原始对偶法称为变异辅助问题的原则(VAPP)解决NCCP问题时,目标函数和约束是光滑的,可能是非光滑的。VAPP的每次迭代生成对增广拉格朗日方法的原始问题的非线性逼近。该近似结合了线性化和变距离函数,然后VAPP的迭代为NCCP提供了一个分解性质。受大数据分析的启发,大规模最优化问题的并行计算算法的收敛速度分析成为研究热点。本文提出了一种基于迭代的误差界和线性收敛的VAPP。讨论了该误差界的可验证的充分条件。对于一般的凸情形(无误差界),我们建立了$O(1/t)$的原始次优性、可行性和对偶次优性的收敛速度。通过在不同迭代中自适应地设置参数,我们给出了强凸情况下的$O(1/t^2)$速率。我们进一步提出了VAPP方法的前向-后向分裂(FBS)公式,并建立了VAPP与其他原始-对偶分裂方法之间的联系。最后,我们讨论了VAPP实施中的一些问题。
2019-11-02 math.OC
A Primal-Dual Parallel Method with $O(1/ε)$ Convergence for Constrained Composite Convex Programs
本文研究了大规模约束凸规划(可能是复合的和不可分的),由于Hessians和矩阵求逆的非光滑性或过高的计算和存储复杂性,通常难以用内点法或其他Newton型方法求解。相反,它们通常通过基于一阶梯度的方法或基于分解的方法来求解。传统的原始-对偶次梯度法,也称为Arrow-Hurwicz-Uzawa次梯度法,是一种具有$O(1/ε^2)$收敛时间的低复杂度算法。最近,Yu和Neely(2017)提出了一种新的拉格朗日对偶算法,具有更快的$O(1/ε)$收敛时间。然而,如果目标或约束函数不可分离,Yu和Neely(2017)中拉格朗日对偶方法的每次迭代都需要求解无约束凸规划,这可能具有巨大的复杂性。对一般约束凸规划提出了一个新的具有$O(1/ε)$收敛性的原-对偶算法。新算法的每一步迭代都可以并行实现,即使原问题是复合的和不可分离的。
2017-07-30 math.OC
Generalized Affine Scaling Algorithms for Linear Programming Problems
内点法是求解线性规划问题的一种常用方法。在这项工作中,我们提出了两个原始仿射尺度算法,以实现更快的收敛,在解决线性规划问题。在第一个算法中,我们集成Nesterov的重新启动策略的原始仿射尺度方法与一个额外的参数,这反过来又推广了原始仿射尺度方法。给出了考虑长步长的广义算法的收敛性证明。我们还证明了原始和对偶序列的收敛性没有退化的假设。这个收敛性结果推广了仿射尺度方法的原有收敛性结果,并暗示了一类新方法的存在。然后,我们引入了第二个算法,以加快收敛速度的广义算法,通过集成非线性级数变换技术。数值结果表明,所提出的算法优于原始仿射尺度方法。
2019-10-12 math.OC
Race, Exchange, Improve: Finding high-quality MIP solutions quickly
Zuse Institute Berlin(柏林齐布研究所);IVU Traffic Technologies AG(IVU交通技术股份公司)
本文提出一种MIP组合并行化方案,通过高效交换信息快速寻找高质量解,并给出SCIP内置及外部ReXi两种实现,在MIPFEAS基准上表现优异。
2026-09-09 cs.DC math.OC
Primal-Dual Frank-Wolfe for Constrained Stochastic Programs with Convex and Non-convex Objectives
我们研究约束随机规划的决策向量在每个时隙不能自由选择,但绑定到一个潜在的随机状态向量的实现。目标是最小化受线性约束的一般目标函数。这种程序出现的典型场景是在时变信道的网络上的机会调度,其中随机状态向量是观察到的信道状态,并且控制向量是取决于当前信道状态的传输决策。我们考虑一个原始-对偶类型的弗兰克-沃尔夫算法,具有低复杂度的更新,在每个时隙,学习作出有效的决策,而无需先验知识的随机状态向量的概率分布。我们建立了凸和非凸目标函数的情况下的收敛时间保证。我们还强调了该算法的应用,非凸机会调度和分布式非凸随机最优化在连通图。
2018-06-02 math.OC
Primal-dual path-following methods and the trust-region updating strategy for linear programming with noisy data
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
本文研究了标准线性规划问题的原始-对偶路径跟踪方法和置信域更新策略。对于小噪声数据的秩亏问题,给出了基于列主元QR分解的预处理方法。在初始点严格原始-对偶可行的条件下,证明了新方法的整体收敛。最后,对于一些秩亏的问题,或没有小的噪声数据从NETLIB收集,我们比较它与其他两个流行的相邻点的方法,即子程序pathfollow.m和MATLAB环境中内置的子程序linprog.m。数值结果表明,对于小噪声数据的秩亏问题,新方法比其他两种方法具有更好的鲁棒性。
2021-02-22 cs.LG cs.NA math.DS
Efficient Primal Heuristics for Mixed Binary Quadratic Programs Using Suboptimal Rounding Guidance
本文针对混合二元二次规划提出基于次优松弛解引导的RENS和Undercover扩展启发式,通过释放部分二元变量扩大受限搜索空间,在合成基准和风电场布局问题上显著降低原始间隙和原始积分。
2025-07-20 math.OC
A Unified Early Termination Technique for Primal-dual Algorithms in Mixed Integer Conic Programming
我们提出了一个早期终止技术的混合整数圆锥规划中使用的分支和边界为基础的求解器。我们的方法概括了以前的提前终止结果ADMM为基础的求解器更广泛的一类原始对偶法,包括运营商分裂方法和内点方法。假设问题域有界,则检查提前终止的复杂度为每次终止检查的$O(n)$。我们表明,这个域的限制可以放松的问题,其数据满足一个简单的秩条件,在这种情况下,每个检查需要一个$O(n^2)$解决使用一个线性系,必须分解只有一次在根节点。我们进一步展示了这种方法可以用于混合模型预测控制,只要系统输入有界。数值结果表明,我们的方法可以适度减少带有基于内点的子解算器的分支定界二次曲线解算器所需的总迭代次数。
2023-03-16 math.OC
A primal-dual interior-point relaxation method with global and rapidly local convergence for nonlinear programs
在求解经典的非线性障碍子问题的等价参数等式约束minimax问题的基础上,提出了求解具有一般等式和非负约束的非线性规划的一种新的原-对偶内点松弛法.在每次迭代中,我们的方法近似地解决了参数等式约束极小极大子问题的KKT系统,这避免了任何原始或对偶点是一个内点的要求。该方法在放松内点要求方面与热启动内点方法有一些相似之处,并且易于推广用于求解一般不等式约束问题。特别是,当障碍参数较小时,它有可能避免许多非线性规划的内点方法出现的干扰困难,并改善现有原始-对偶内点方法的病态性.引入了一种新的光滑化方法来发展我们的松弛法,并提高了方法的收敛性。在适当的条件下,证明了该方法的全局收敛性和局部二次收敛性。对一个许多内点方法都找不到极小值的适定问题和一组CUTEr集合中的测试问题的初步数值结果表明,我们的方法是有效的.
2022-09-02 math.OC
Reinforcement Learning to Accelerate Primal-Dual Hybrid Gradient for Linear Programming
Georgia Institute of Technology(佐治亚理工学院)
提出GALLOP,用强化学习联合学习PDHG算法的连续参数与离散重启决策,在六个LP族上减少1.9-5.6倍迭代次数,最高16倍加速,且策略可泛化至更大规模问题。
2026-10-02 cs.AI cs.LG math.OC
Distributed Primal Outer Approximation Algorithm for Sparse Convex Programming with Separable Structures
提出了一种分布式原始外近似算法(DiPOA),用于求解具有可分离结构的稀疏凸规划(SCP)问题。DiPOA算法的开发包括将最近提出的松弛混合乘子交替方向法(RH-ADMM)算法嵌入到外近似(OA)算法中。我们还提出了两个主要的改进,以控制质量和切割平面的数量,近似非线性函数。特别地,RH-ADMM算法充当DiPOA算法内部的分布式数值引擎。DiPOA利用现代处理器的多核架构来加速优化算法。提出的分布式算法从应用方面使SCP在学习和控制问题中的解决方案具有实用性。本文最后对分布式稀疏逻辑斯谛回归和二次约束最优化问题的DiPOA算法进行了性能分析。最后,本文的结论与国家的最先进的优化求解器的数值比较。
2022-10-13 math.OC
An Analysis of Primal-Dual Algorithms for Discounted Markov Decision Processes
组合优化领域中的一些著名算法可以用求解线性规划的原对偶方法来解释。例如,Dijkstra算法、Ford-Fulkerson算法和Hungarian算法都可以被看作是应用于它们各自的最优化问题的线性规划公式的原始-对偶方法。粗略地说,成功地将原始-对偶方法应用于可以被设定为线性规划的最优化问题,依赖于找到相关线性规划的最优解的简单表征的能力,称为“限制原始的对偶”(DRP)。本文的动机是以下问题:什么是算法,我们得到,如果我们应用原始-对偶方法的线性规划公式的折扣成本马尔可夫决策过程?我们将首先说明马尔可夫决策过程的几种广泛使用的算法可以用原始-对偶方法来解释,其中在每次迭代中用DRP的次优解更新值函数。然后,我们提供了最优解的DRP在封闭形式,并提出了算法,结果时,使用此解决方案更新值函数在每次迭代。与从次优DRP更新获得的算法不同,该算法保证在有限次数的迭代中产生最优值函数。最后,我们表明,迭代的原始对偶法可以被解释为重复应用的政策迭代算法的一类特殊的马尔可夫决策过程。当考虑到最近的结果表征的计算复杂性的政策迭代算法,这一观察可以提供新的见解解决折扣成本马尔可夫决策过程的计算复杂性。
2016-01-16 math.OC
An Inexact Tensor-Train Primal-Dual Interior-Point Method for Semidefinite Programs
Imperial College London(帝国理工学院);University of Bath(巴斯大学)
针对半定规划中解非低秩但可低张量列车秩近似的问题,介绍一种利用张量分解和原始对偶不可行内点框架的方法,实验表明该方法能处理大规模问题,有精度保证且张量列车秩适中,为相关问题求解提供新途径。
2026-07-15 math.OC
A Barrier Primal Dual Hybrid Gradient Method for Solving Linear Programming Problems
University of Southampton(南安普顿大学)
本文提出融入对数障碍函数的BPDHG算法,还开发BPDLP方法,实验显示其可缓解KKT残差平台期,且存在经验指标可识别BPDLP更具优势的LP问题。
2026-08-28 math.OC
Interior-point algorithms for convex optimization based on primal-dual metrics
本文提出并分析了锥型凸优化问题的原-对偶内点算法。我们分析的算法的家庭是所谓的短步长算法,他们匹配当前最好的迭代复杂度界的原始对偶对称内点算法的Nesterov和托德,对称锥规划问题与给定的自缩放障碍。我们的结果适用于任何凸锥的自协调势垒。我们还证明了我们的算法的某些专业双曲锥规划问题(严格之间的对称锥规划和一般的凸优化问题的一般性)可以利用双曲障碍的有利的特殊结构。我们作出新的连接黎曼几何,积分算子空间,高斯求积,并加强我们的算法的连接,拟牛顿更新,因此一般的一阶方法。
2014-11-08 math.OC
Solving Non-smooth Constrained Programs with Lower Complexity than $\mathcal{O}(1/\varepsilon)$: A Primal-Dual Homotopy Smoothing Approach
对于线性约束凸规划问题,提出了一种新的原始-对偶同伦光滑算法,其中原始函数和对偶函数都不需要是光滑的或强凸的。解决这种非光滑问题的最著名的迭代复杂度是$\mathcal{O}(\varepsilon^{-1})$。在本文中,我们表明,通过利用局部误差界条件的对偶函数,所提出的算法可以实现更好的原始收敛时间的$\mathcal{O}\left(\varepsilon^{-2/(2+β)}\log_2(\varepsilon^{-1})\right)$,其中$β\in(0,1]$是一个局部误差界参数。作为一般算法的一个应用实例,我们表明,分布式几何中值问题,它可以被配制成一个约束凸规划,有其对偶函数非光滑,但满足上述局部误差界条件与$β=1/2$,因此享受$\mathcal{O}\left(\varepsilon^{-4/5}\log_2(\varepsilon^{-1})\right)$的收敛时间。这一结果改进了现有分布式优化算法的$\mathcal{O}(\varepsilon^{-1})$收敛时间界。仿真实验也证明了我们提出的算法的性能。
2018-10-24 cs.DC math.OC
DuQuad: an inexact (augmented) dual first order algorithm for quadratic programming
在本文中,我们提出了求解器DuQuad专门解决一般凸二次问题,在许多工程应用中出现的。当难以投影到原始可行集上时,利用(增广)拉格朗日松弛法处理复杂的约束条件,然后利用基于不精确对偶梯度信息的对偶一阶算法求解相应的对偶问题.迭代复杂性分析是基于两种类型的近似原始解:原始最后一次迭代和原始迭代的平均值。我们提供了计算复杂性估计的原始次优性和可行性违反所产生的近似原始解决方案。然后,在DuQuad中用C语言实现了这些算法,并针对低迭代复杂度和低内存占用进行了优化。DuQuad具有动态的Matlab接口,使得测试、比较和分析算法的过程变得简单。该算法只使用基本的算术和逻辑运算来实现,并且适合于在低成本硬件上运行。结果表明,如果一个近似解是足够的一个给定的应用程序,存在的问题,其中一些实现的算法获得的解决方案比国家的最先进的商业求解器。
2015-04-22 math.OC
GPU-Accelerated Primal Heuristics for Mixed Integer Programming
Nvidia(英伟达)
本研究提出融合GPU加速的混合整数规划原始启发式算法,通过GPU加速PDLP求解器、新增探测缓存并优化多种前沿启发式算法,在MIPLIB2017基准上显著提升了可行解数量与目标质量。
2025-10-30 cs.DC math.OC
Worst-case analysis of restarted primal-dual hybrid gradient on totally unimodular linear programs
本文对重启PDHG求解全幺模线性规划进行最坏情况分析,给出达到ε-最优解所需的矩阵-向量乘法复杂度上界,揭示了其与约束数、变量数、非零元数和系数规模的关系。
2024-12-30 math.OC
A primal-dual interior-point relaxation method for nonlinear programs
我们证明了经典的对数障碍问题等价于一个特殊的对数障碍正松弛问题的障碍和标度参数。在此基础上,提出了一种求解非线性规划问题的线搜索原对偶内点松弛法。该方法不要求原迭代或对偶迭代都是邻域点,这与文献中已有的内点方法有显著的不同。为了保证算法的整体收敛,采用了一种新的既依赖于原始变量又依赖于对偶变量的对数障碍罚函数,其中罚参数自适应地更新。在不假设任何正则性条件的情况下,证明了只要障碍参数趋于零,我们的方法将终止于原问题的一个近似KKT点。本文给出了一些初步的数值结果,包括一个适定问题的结果,对于这个适定问题,许多线搜索内点方法都不能证明是全局收敛的;一个可行问题的结果,对于这个可行问题,LICQ和MFCQ不能保持在解上;以及CUTE集合的一些标准测试问题。这些结果表明,我们的算法不仅是有效的适定的可行问题,但也适用于一些不适定的可行问题,甚至一些不可行的问题。
2018-07-09 math.OC
A Practical GPU-Enhanced Matrix-Free Primal-Dual Method for Large-Scale Conic Programs
Purdue University(普渡大学);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学院);Antai School of Economics and Management, Shanghai Jiao Tong University(上海交通大学安泰经济与管理学院);Department of Management Science and Engineering, Stanford University(斯坦福大学管理科学与工程系)
本文提出一种基于GPU的矩阵自由一阶方法,用于求解大规模锥编程问题,方法在效率和可扩展性上优于现有商业求解器。
2026-10-30 cs.MS math.OC
Polynomial worst-case iteration complexity of quasi-Newton primal-dual interior point algorithms for linear programming
拟牛顿法是用于大规模数值优化的公知技术。他们在最优化问题中使用Hessian近似,在非线性方程组中使用Jacobian近似。在内点上下文中,拟牛顿算法计算与牛顿系统相关联的矩阵的低秩更新,而不是在每次迭代时从头开始计算。本文证明了线性规划的简化拟牛顿原对偶内点算法具有多项式最坏情况迭代复杂度。考虑了算法的可行和不可行情况,分析了中心路径的最常见邻域。据我们所知,这是第一次尝试为这些方法提供多项式最坏情况下的迭代复杂度界限。不出所料,当使用拟牛顿方向时获得的最坏情况的复杂度结果比采用牛顿方向时的结果更差。然而,拟牛顿更新是非常有吸引力的大规模最优化问题,其中分解矩阵的成本是远远高于解决线性系的成本。
2022-09-09 math.OC
A primal-dual interior-point method capable of rapidly detecting infeasibility for nonlinear programs
借助于对数障碍增广拉格朗日函数,我们可以得到非线性规划的障碍问题的松弛变量的封闭解。由此,提出了一个两参数原始-对偶非线性系统,当其中一个参数为零时,该系统分别对应于非线性规划的Karush-Kuhn-Tucker点和不可行稳定点.基于这个独特的系统,我们提出了一个原始-对偶内点方法能够快速检测非线性规划的不可行性。该方法生成内点迭代而不截断步长。证明了当障碍参数趋于零时,该方法收敛于原问题的Karush-Kuhn-Tucker点。否则,尺度参数趋于零,并且该方法收敛到原问题的不可行稳定点或奇异稳定点。此外,我们的方法具有快速检测问题的不可行性的能力。在适当的条件下,当原问题可行时,该方法可以超线性或二次收敛到Karush-Kuhn-Tucker点;当原问题不可行时,该方法也可以超线性或二次收敛到不可行驻点.初步的数值结果表明,该方法在求解一些简单但困难的问题和CUTE集合中的标准测试问题时是有效的,其中在求解文献中提出的两个不可行问题和一个适定的可行反例时,证明了该方法的超线性收敛.
2018-07-08 math.OC
On the asymptotic behavior of a higher-order extrapolation primal-dual interior-point method for nonlinear programming
本文研究非线性规划原始-对偶内点法中利用高阶导数信息进行轨迹外推的渐近收敛行为,证明足够高阶时仅靠外推即可达到障碍参数减小速率,并给出二次规划数值验证。
2025-07-02 math.OC
A Primal-Dual Type Algorithm with the $O(1/t)$ Convergence Rate for Large Scale Constrained Convex Programs
考虑了大规模约束凸规划问题,由于Hessians和矩阵求逆的计算量和存储量过大,内点法或其他Newton型方法通常无法求解.大规模约束凸规划问题通常采用基于梯度的方法或基于分解的方法求解。传统的原始-对偶次梯度法,又称Arrow-Hurwicz-Uzawa次梯度法,是一种具有$O(1/\sqrt{t})$收敛速度的低复杂度算法,其中$t$是迭代次数。如果目标函数和约束函数是可分离的,拉格朗日对偶型方法可以将一个大规模凸规划分解为多个并行的小规模凸规划。经典的对偶梯度算法是拉格朗日对偶型方法的一个例子,具有收敛速度$O(1/\sqrt{t})$。最近,Yu和Neely(2015)提出了一种新的具有更快$O(1/t)$收敛的拉格朗日对偶算法。然而,如果目标或约束函数不可分离,则Yu和Neely(2015)中的拉格朗日对偶类型方法的每次迭代都需要求解大规模无约束凸规划,这可能具有巨大的复杂性。本文提出了一种新的原始-对偶型算法,该算法在每次迭代中只涉及简单的梯度更新,并具有$O(1/t)$收敛速度。
2016-04-08 cs.DC cs.DS math.OC
An Efficient Unsupervised Framework for Convex Quadratic Programs via Deep Unrolling
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Shenzhen International Center for Industrial and Applied Mathematics, Shenzhen Research Institute of Big Data(深圳国际工业与应用数学中心、深圳大数据研究院);Tengen Intelligence Institute(腾讯天元研究院);Michigan State University(密歇根州立大学)
本文提出深度展开网络 PDQP-net 及融合 KKT 条件的无监督训练方法,无需求解器标签即可逼近凸 QP 最优解,并显著加速 PDQP。
2024-12-02 cs.LG math.OC
Infeasibility detection with primal-dual hybrid gradient for large-scale linear programming
我们研究了使用Chambolle和Pock(2011)的原始-对偶混合梯度法(PDHG)检测大规模线性规划问题的不可行性问题。关于PDHG的文献大多集中在假设手头的问题是可行的设置。当问题不可行时,算法的迭代不收敛。在这种情况下,我们表明,迭代发散在一个控制的速度朝着一个定义良好的射线。这条射线的方向被称为无穷大位移矢量$v$。我们的工作的第一个贡献是证明这个向量恢复原始和对偶不可行性证书,只要它们存在。基于这一事实,我们提出了一种简单的方法来提取近似不可行证书PDHG的迭代。我们研究了三种不同的序列收敛到无穷大位移向量:迭代的差异,归一化迭代,和归一化平均。所有这些都很容易计算,因此该方法适用于大规模的问题。我们的第二个贡献是为这些序列建立紧收敛速度。我们证明了归一化的迭代和归一化的平均达到$O(1/k)$的收敛速度,提高了$O(1/\sqrt{k})$的已知速度。这个速率是一般的,并且适用于非扩张算子的任何不动点迭代。因此,它是独立感兴趣的结果,因为它涵盖了广泛的算法家族,包括例如ADMM,并且可以应用于线性规划之外的设置,例如二次和半定规划。进一步,在线性规划的情况下,我们表明,在非退化的假设下,PDHG的迭代识别的活动集的辅助可行问题在有限时间内,这确保迭代的差异表现出最终线性收敛的无穷大位移向量。
2021-02-09 math.OC
On the behavior of Lagrange multipliers in convex and non-convex infeasible interior point methods
我们分析了由内点方法(IPM)在凸和非凸设置产生的序列。我们证明了移动的原始可行性在相同的速度作为障碍参数$μ$确保拉格朗日乘子序列保持有界,提供原始序列的极限点有一个拉格朗日乘子。此结果不需要约束规格。我们还保证IPM找到一个解决方案,满足严格互补性,如果存在。另一方面,如果原始可行性降低得太慢,则算法收敛到最小互补点;如果原始可行性降低得太快,并且拉格朗日乘子的集合是无界的,则拉格朗日乘子的范数趋于无穷大。我们的理论具有重要的意义,IPM的设计。具体来说,我们表明,IPOPT,一个算法,不仔细控制原始可行性有实际问题的双重乘数值增长到不必要的大值。相反,\citet*{hinder2018one}的单阶段IPM(一种控制原始可行性的算法,正如我们的理论所建议的那样)没有这样的问题。
2019-06-11 math.OC
Learning To Dive In Branch And Bound
ETH Zurich(苏黎世联邦理工学院)
原始算法对于求解混合整数线性规划很重要,因为它们可以找到可行的解,便于分支定界搜索。一个重要的原始考古学群是潜水考古学。他们迭代地修改和解决线性规划,从搜索树中的任何节点进行深度优先搜索。现有的潜水员依赖于通用的决策规则,无法利用在实践中经常出现的类似问题实例之间的结构共性。因此,我们提出了L2 Dive来学习特定的潜水算法:我们训练生成模型来预测变量分配,并利用线性规划的对偶性来根据模型的预测做出潜水决策。L2 Dive完全集成到开源求解器SCIP中。我们发现,L2潜水优于标准潜水员找到更好的可行的解决方案,在一系列的组合优化问题。对于服务器负载均衡和神经网络验证等实际应用,L2 Dive在优化(默认)求解器基线上平均将原始-对偶积分提高了7%(35%),并将平均求解时间缩短了20%(29%)。
2023-01-24 cs.LG math.OC
Primal-dual path following method for nonlinear semi-infinite programs with semi-definite constraints
本文提出了求解具有无穷多个凸不等式约束的非线性半无限半定规划的两个算法,简称SISDP。SISDP的一个直接方法是使用半无限规划的经典方法,如离散化和交换方法,并求解一系列(非线性)半定规划(SDP)。然而,要找到SDP的精确解往往要求太高。我们的第一种方法不依赖于求解SDP,而是近似地遵循{一条通向解的路径,该路径形成于半无限区域和半定区域的内部的相交处。在适当的假设下,证明了该方法弱收敛于SISDP的Karush-Kuhn-Tucker点,并给出了强收敛的充分条件.此外,作为第二种方法,为了实现快速的局部收敛,我们集成了两步序列二次规划方法配备Monteiro-Zhang尺度技术到第一种方法。我们特别证明了两步超线性收敛的第二种方法使用Alizadeh-Hareberly-Overton,Nesterov-Todd,Helmberg-Rendle-Vanderbei-Wolkowicz/Kojima-Shindoh-Hara/Monteiro标度方向。最后,我们进行了一些数值实验,以证明所提出的方法的效率,通过比较与离散化方法,解决有限松弛的SISDP得到的SDPs。
2018-09-30 math.OC
Parameter Tuning with Generalization Guarantees for GPU-Accelerated Linear Programming
Siddharth Prasad;Dravyansh Sharma
针对GPU加速线性规划求解器PDLP的超参数调优,基于数据驱动算法设计理论,首次给出学习步长、原始权重等超参数的样本复杂度保证,并通过实验验证了调优必要性。
2026-06-07 cs.LG math.OC
On the existence of a short pivoting sequence for a linear program
旋转方法对于线性规划是至关重要的,单纯形法是迄今为止最著名的。本文考虑了一对标准型线性规划的原始-对偶问题。我们发现,存在一个序列的枢轴,其长度是有界的约束矩阵的最小尺寸,使枢轴创建一个非奇异的子矩阵的约束矩阵增加了一行和一列,在每次迭代。求解这些子矩阵中的每一个的一对线性方程组生成一个原始-对偶线性规划对的最优解序列,该原始-对偶线性规划对的维数增加,起源于原点。在最后一步中得到原始-对偶线性规划对的最优解。它只是一个存在性结果,我们还不能根据问题的性质生成任何规则来生成序列。结果通过最终基矩阵的分解获得。
2019-08-28 math.OC
Improving Primal Heuristics for Mixed Integer Programming Problems based on Problem Reduction: A Learning-based Approach
本文提出了一种基于双层预测的约简分支(BP-RB)框架来加速求解混合整数规划(MIP)问题的高质量可行解的过程。图卷积网络(GCN)被用来预测二进制变量的值。之后,通过以预测概率为条件的贪婪方法将二进制变量的子集固定到预测值。通过探索逻辑结果,提出了一种基于学习的问题约简方法,大大减少了变量和约束的大小。对于约简子MIP问题,第二层GCN框架被用来更新对剩余二进制变量值的预测,并确定用于分支以生成分支定界(B&B)树的变量的选择。数值算例表明,我们的BP-RB框架加快了原始启发式,并找到高质量的可行解。
2022-09-27 cs.SY eess.SY math.OC
On the Asymptotic Superlinear Convergence of the Augmented Lagrangian Method for Semidefinite Programming with Multiple Solutions
求解大规模凸半定规划问题一直是一个具有挑战性的数值任务。幸运的是,几个强大的求解器,包括SDPNAL,SDPNAL+和QSDPNAL最近已经开发出解决线性和凸二次SDP问题,以高精度成功。这些求解器是基于增广拉格朗日方法(ALM)的对偶问题的子问题被解决的半光滑牛顿CG方法。值得注意的是,由于Rockafellar关于邻近点算法的一般理论,由ALM生成的原始迭代序列在原问题的二阶充分条件下具有渐近Q-超线性收敛速度.这个二阶充分条件意味着原始问题有唯一的解,这在许多应用中可能是限制性的。为了获得更有见地的解释,这些求解器的高效率,在本文中,我们进行了渐近超线性收敛分析的ALM凸SDP时,原始问题有多个解决方案(可以是无界的)。在一个较弱的二阶增长条件下,我们证明了由ALM生成的原始迭代序列渐近Q-超线性收敛,而对偶可行性和对偶目标函数值渐近R-超线性收敛.此外,通过研究Karush-Kuhn-Tucker解映射的度量次正则性,我们还给出了对偶映射渐近R-超线性收敛的充分条件.
2016-10-04 math.OC
A primal-simplex based Tardos' algorithm
八十年代中期,Tardos提出了一种强多项式算法来求解系数矩阵的大小由维数多项式限制的线性规划问题。结合Orlin的基于原始的修改和Mizuno的单纯形法的使用,我们介绍了一个修改的Tardos的算法只考虑原始问题和使用单纯形法来解决辅助问题。如果系数矩阵是全幺模的,且辅助问题是非退化的,则该算法是强多项式的。
2014-09-06 math.OC
Parametric Region Search: A Mixed-Integer Bilevel Optimization Problem Primal Heuristic
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出参数区域搜索(PRS),一种用于混合整数双层优化问题的新型原始启发式方法,通过迭代探索关键区域来快速找到高质量可行解,优于现有无导数元启发式方法。
2026-03-31 math.OC
An Overview and Comparison of Spectral Bundle Methods for Primal and Dual Semidefinite Programs
University of California, San Diego(加州大学圣地亚哥分校);Wisconsin Institute for Discovery, University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出了一种新的谱束法用于解决具有低秩 dual 解的 SDPs,实现了线性收敛速度,并在多项式优化中表现出高效和可扩展性。
2026-02-03 cs.SY eess.SY math.OC
A Primal-Dual Homotopy Algorithm for $\ell_{1}$-Minimization with $\ell_{\infty}$-Constraints
在本文中,我们提出了一个原始-对偶同伦方法的$\ell_1$ -最小化问题的无限范数约束的背景下,稀疏重建。自然同伦参数是约束的界的值,我们表明,存在一个分段线性的解决方案的路径,有许多断点的原始问题和一个相应的分段常数路径的对偶问题。我们表明,通过解决一个小的线性规划,可以跳到下一个原始断点,然后,解决另一个小的线性规划,一个新的最佳对偶解计算,使下一个这样的跳跃在随后的迭代。使用定理的替代,我们表明,该方法永远不会卡住,并确实计算出整个路径在有限数量的步骤。数值实验证明了算法的有效性。在许多情况下,我们的方法显着优于商业LP求解器;这是可能的,因为我们的方法采用了一系列相当简单的辅助线性规划,可以有效地解决与专门的活动集策略。
2016-10-31 cs.NA math.NA math.OC
A Fast Polynomial-time Primal-Dual Projection Algorithm for Linear Programming
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);Delft University of Technology(代尔夫特理工大学)
本文提出了一种多项式对偶投影算法,用于平衡可行和不可行实例的性能,并在某些情况下比先前算法表现更优。
2018-10-10 cs.DS cs.NA math.NA