Decentralized and Parallel Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems
介绍了求解分散凸优化问题的原始和对偶随机梯度预言方法。无论是原始和双重预言机,所提出的方法是最佳的通信步骤的数量。然而,对于目标的所有类,每个节点的Oracle调用的数量方面的最优性只发生到对数因子和平滑的概念。通过使用mini-technique,我们表明,所提出的方法与随机预言可以在每个节点上额外并行化。所考虑的算法可以应用于许多数据科学问题和反问题。
2021-02-10 math.OC
Local Linear Convergence of the Primal-Dual Hybrid Gradient Method for Semidefinite Programming
University of Houston(休斯顿大学)
研究半定规划中原始对偶混合梯度法的局部收敛性,证明满足特定条件时该方法最终线性收敛,通过特定方法结合不等式及误差界证明,给出反例说明不满足条件时次线性收敛,实验支持理论并找出困难实例。
2026-07-10 math.OC
Primal-dual interior-point Methods for Semidefinite Programming from an algebraic point of view, or: Using Noncommutativity for Optimization
三十多年来,内点方法被证明对优化非常有用,从半定线性规划到圆锥规划(部分超越非凸);尽管事实上已经在半定情况下(即使强对偶成立)“困难”问题是已知的。我们阴影的光在非交换世界(半定规划),即“交换”路径,而令人惊讶的限制,并提出了一个新的家庭的求解器,能够使用充分丰富的“非交换”搜索方向:(原始)可行的内点方法。除了详细的基本讨论,我们说明了一些变种的“非交换”路径,并提供了一个简单的实现进一步(具体问题)的调查。
2020-02-24 math.OC
Enforcing Convergence in Sensitivity-based Distributed Programming via Transformed Primal-Dual Updates
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希·亚历山大大学)
本文提出SBDP+方法,通过结构化的对偶运算设计,解决传统SBDP在子系统耦合强度和结构下收敛性不足的问题,证明了非凸问题在标准正则条件下局部线性收敛,并通过数值实验验证了其在统计学习中的有效性。
2026-05-19 math.OC
cuPDLP.jl: A GPU Implementation of Restarted Primal-Dual Hybrid Gradient for Linear Programming in Julia
本文提出 cuPDLP.jl,将带重启的 PDHG 一阶方法在 GPU 上实现,首次证明 GPU 求解线性规划在标准基准集上可达到与商业求解器 Gurobi 相当的性能。
2024-06-07 math.OC
A Primal-Dual Partial Inverse Splitting for Constrained Monotone Inclusions: Applications to stochastic Programming and Mean Field Games
在这项工作中,我们研究了约束单调包含涉及法锥到一个封闭的向量子空间和先验信息的原始解决方案。我们模型的解决方案属于不动点集的平均非扩张映射的信息。我们使用一个辅助包含,涉及部分逆算子的解决方案的特点。然后,我们提出了原始-对偶部分逆分裂,并证明了其弱收敛到包含解,推广了文献中的几种方法。两个约束条件具有向量子空间结构的非光滑凸优化问题的算例表明了该方法的有效性。最后,将该算法应用于求解运输网络中的随机弧容量扩展问题。
2021-10-29 math.OC
A Tuning-Free Primal-Dual Splitting Algorithm for Large-Scale Semidefinite Programming
本研究提出一种免调参的原始-对偶混合梯度算法,结合PDHG与DRS的等价性及非平稳DRS的渐近收敛性构建统一收敛分析框架,在大规模半定规划问题上展现出更优的收敛速度与鲁棒性。
2024-02-01 math.OC
A semi-proximal augmented Lagrangian based decomposition method for primal block angular convex composite quadratic conic programming problems
针对具有原始块角结构的凸复合二次锥规划问题,提出了一种基于半邻近增广拉格朗日分解的求解方法。使用我们的算法框架,我们能够自然地得到几个众所周知的增广拉格朗日分解方法的随机规划,如对角二次近似法的Mulvey和Ruszczyovski。此外,我们能够得到新的增强和推广这些众所周知的方法。我们还提出了一个半近似对称的高斯-赛德尔为基础的交替方向法的乘数解决相应的对偶问题。数值结果表明,我们的算法可以很好地执行,即使是非常大的情况下,原始块角凸QP问题。例如,一个具有多个$300,000$线性约束和$12,500,000$非负变量的实例在小于一分钟内求解,而Guesthouse花费了3个多小时,另一个具有多个$331,000$线性约束和$986,000$非负变量的实例{ \tt qp-gridgen 1}在大约5分钟内求解,而Guesthouse花费了35分钟以上。
2018-12-12 math.OC
Iteration complexity analysis of dual first order methods for conic convex programming
本文详细分析了求解锥凸问题的对偶一阶方法的迭代复杂性。当难以投影到凸约束描述的原始可行集上时,利用拉格朗日松弛法处理复杂的约束,然后利用对偶一阶算法求解相应的对偶问题。我们给出了对偶一阶算法(对偶梯度算法和快速梯度算法)的收敛性分析:我们提供了次线性或线性估计的原始次最优性和可行性违反所产生的近似原始解决方案。我们的分析依赖于Lipschitz性质的对偶函数的梯度或误差界的双重性质。此外,迭代复杂性分析是基于两种类型的近似原始解:最后原始序列或平均原始序列。
2015-03-13 math.OC
Generalized Affine Scaling Algorithms for Linear Programming Problems
内点法是求解线性规划问题的一种常用方法。在这项工作中,我们提出了两个原始仿射尺度算法,以实现更快的收敛,在解决线性规划问题。在第一个算法中,我们集成Nesterov的重新启动策略的原始仿射尺度方法与一个额外的参数,这反过来又推广了原始仿射尺度方法。给出了考虑长步长的广义算法的收敛性证明。我们还证明了原始和对偶序列的收敛性没有退化的假设。这个收敛性结果推广了仿射尺度方法的原有收敛性结果,并暗示了一类新方法的存在。然后,我们引入了第二个算法,以加快收敛速度的广义算法,通过集成非线性级数变换技术。数值结果表明,所提出的算法优于原始仿射尺度方法。
2019-10-12 math.OC
First-Order Primal-Dual Method for Nonlinear Convex Cone Programming
非线性凸锥规划(NCCP)问题是一类重要的非线性规划问题,具有广泛的实际应用.在本文中,我们介绍了一个灵活的一阶原始对偶法称为变异辅助问题的原则(VAPP)解决NCCP问题时,目标函数和约束是光滑的,可能是非光滑的。VAPP的每次迭代生成对增广拉格朗日方法的原始问题的非线性逼近。该近似结合了线性化和变距离函数,然后VAPP的迭代为NCCP提供了一个分解性质。受大数据分析的启发,大规模最优化问题的并行计算算法的收敛速度分析成为研究热点。本文提出了一种基于迭代的误差界和线性收敛的VAPP。讨论了该误差界的可验证的充分条件。对于一般的凸情形(无误差界),我们建立了$O(1/t)$的原始次优性、可行性和对偶次优性的收敛速度。通过在不同迭代中自适应地设置参数,我们给出了强凸情况下的$O(1/t^2)$速率。我们进一步提出了VAPP方法的前向-后向分裂(FBS)公式,并建立了VAPP与其他原始-对偶分裂方法之间的联系。最后,我们讨论了VAPP实施中的一些问题。
2019-11-02 math.OC
A Unified Early Termination Technique for Primal-dual Algorithms in Mixed Integer Conic Programming
我们提出了一个早期终止技术的混合整数圆锥规划中使用的分支和边界为基础的求解器。我们的方法概括了以前的提前终止结果ADMM为基础的求解器更广泛的一类原始对偶法,包括运营商分裂方法和内点方法。假设问题域有界,则检查提前终止的复杂度为每次终止检查的$O(n)$。我们表明,这个域的限制可以放松的问题,其数据满足一个简单的秩条件,在这种情况下,每个检查需要一个$O(n^2)$解决使用一个线性系,必须分解只有一次在根节点。我们进一步展示了这种方法可以用于混合模型预测控制,只要系统输入有界。数值结果表明,我们的方法可以适度减少带有基于内点的子解算器的分支定界二次曲线解算器所需的总迭代次数。
2023-03-16 math.OC
A Primal-Dual Frank-Wolfe Algorithm for Linear Programming
本文提出 FWLP 与 FWLP-P 两种一阶原始-对偶 Frank-Wolfe 算法求解线性规划鞍点问题,证明 FWLP-P 的 O(1/√k) 收敛率,并指出其仅需访问部分矩阵 A,适合超大规模 LP。
2024-02-28 math.OC
Distributed Primal Outer Approximation Algorithm for Sparse Convex Programming with Separable Structures
提出了一种分布式原始外近似算法(DiPOA),用于求解具有可分离结构的稀疏凸规划(SCP)问题。DiPOA算法的开发包括将最近提出的松弛混合乘子交替方向法(RH-ADMM)算法嵌入到外近似(OA)算法中。我们还提出了两个主要的改进,以控制质量和切割平面的数量,近似非线性函数。特别地,RH-ADMM算法充当DiPOA算法内部的分布式数值引擎。DiPOA利用现代处理器的多核架构来加速优化算法。提出的分布式算法从应用方面使SCP在学习和控制问题中的解决方案具有实用性。本文最后对分布式稀疏逻辑斯谛回归和二次约束最优化问题的DiPOA算法进行了性能分析。最后,本文的结论与国家的最先进的优化求解器的数值比较。
2022-10-13 math.OC
Faster First-Order Primal-Dual Methods for Linear Programming using Restarts and Sharpness
本文利用LP问题原始-对偶形式的锐度,在ADMM、PDHG和EGM等一阶方法中引入重启机制,将PDHG的迭代复杂度从$Ω(κ^2\log(1/ε))$提升至最优的$O(κ\log(1/ε))$,并验证了重启对高精度求解的显著改善。
2022-06-14 math.OC
A Barrier Primal Dual Hybrid Gradient Method for Solving Linear Programming Problems
University of Southampton(南安普顿大学)
本文提出融入对数障碍函数的BPDHG算法,还开发BPDLP方法,实验显示其可缓解KKT残差平台期,且存在经验指标可识别BPDLP更具优势的LP问题。
2026-08-28 math.OC
Complexity certifications of first order inexact Lagrangian methods for general convex programming
在这一章中,我们推导出计算复杂性证明的一阶不精确对偶方法解决一般光滑约束凸问题,可以出现在实时应用中,如模型预测控制。当难以投影到由一般凸函数集合描述的原始约束集上时,我们利用拉格朗日松弛来处理复杂的约束,然后利用基于不精确对偶梯度信息的对偶(快速)梯度算法来求解相应的对偶问题.迭代复杂性分析是基于两种类型的近似原始解:原始最后一次迭代和原始迭代的平均值。我们提供了次线性计算复杂性估计的原始次优性和约束(可行性)违反所产生的近似原始解决方案。在本章的最后一部分,我们提出了一个开源的二次优化求解器,称为DuQuad,凸二次规划和评估其行为。求解器包含所分析算法的C语言实现。
2015-06-17 math.OC
DuQuad: an inexact (augmented) dual first order algorithm for quadratic programming
在本文中,我们提出了求解器DuQuad专门解决一般凸二次问题,在许多工程应用中出现的。当难以投影到原始可行集上时,利用(增广)拉格朗日松弛法处理复杂的约束条件,然后利用基于不精确对偶梯度信息的对偶一阶算法求解相应的对偶问题.迭代复杂性分析是基于两种类型的近似原始解:原始最后一次迭代和原始迭代的平均值。我们提供了计算复杂性估计的原始次优性和可行性违反所产生的近似原始解决方案。然后,在DuQuad中用C语言实现了这些算法,并针对低迭代复杂度和低内存占用进行了优化。DuQuad具有动态的Matlab接口,使得测试、比较和分析算法的过程变得简单。该算法只使用基本的算术和逻辑运算来实现,并且适合于在低成本硬件上运行。结果表明,如果一个近似解是足够的一个给定的应用程序,存在的问题,其中一些实现的算法获得的解决方案比国家的最先进的商业求解器。
2015-04-22 math.OC
Interior-point algorithms for convex optimization based on primal-dual metrics
本文提出并分析了锥型凸优化问题的原-对偶内点算法。我们分析的算法的家庭是所谓的短步长算法,他们匹配当前最好的迭代复杂度界的原始对偶对称内点算法的Nesterov和托德,对称锥规划问题与给定的自缩放障碍。我们的结果适用于任何凸锥的自协调势垒。我们还证明了我们的算法的某些专业双曲锥规划问题(严格之间的对称锥规划和一般的凸优化问题的一般性)可以利用双曲障碍的有利的特殊结构。我们作出新的连接黎曼几何,积分算子空间,高斯求积,并加强我们的算法的连接,拟牛顿更新,因此一般的一阶方法。
2014-11-08 math.OC
Generalized Affine Programming & Duality Gap with non-Division Rings
经典的原始-对偶仿射规划发生在有限维实向量空间上。这导致美丽的对偶理论,连接原始最大化问题和对偶最小化问题的最优解。这些结果包括存在对偶定理,保证最优解的任何可行的有界程序;和强对偶定理,这意味着原始和对偶程序的最优解必须有相同的目标值。在经典仿射规划的一个普通推广中,我们看到当标量环是整数时,强对偶不成立。经典的仿射规划的结果,以有序除环的扩展进行了探讨。本文用有序环(不一定是可除的)来描述仿射规划的广义集,并对存在对偶定理或强对偶定理不成立的环进行了分类。
2015-04-09 math.OC
Polynomial worst-case iteration complexity of quasi-Newton primal-dual interior point algorithms for linear programming
拟牛顿法是用于大规模数值优化的公知技术。他们在最优化问题中使用Hessian近似,在非线性方程组中使用Jacobian近似。在内点上下文中,拟牛顿算法计算与牛顿系统相关联的矩阵的低秩更新,而不是在每次迭代时从头开始计算。本文证明了线性规划的简化拟牛顿原对偶内点算法具有多项式最坏情况迭代复杂度。考虑了算法的可行和不可行情况,分析了中心路径的最常见邻域。据我们所知,这是第一次尝试为这些方法提供多项式最坏情况下的迭代复杂度界限。不出所料,当使用拟牛顿方向时获得的最坏情况的复杂度结果比采用牛顿方向时的结果更差。然而,拟牛顿更新是非常有吸引力的大规模最优化问题,其中分解矩阵的成本是远远高于解决线性系的成本。
2022-09-09 math.OC
Primal and dual active-set methods for convex quadratic programming
提出了求解凸二次规划的计算方法。有效集方法被定义为一个特定的原始和对偶制定的QP一般等式约束和简单的下界的变量。在论文的第一部分,提出了两种方法,一个原始的和一个对偶。这些方法生成一系列的迭代,是可行的,相对于与原始对偶形式的最优性条件相关的等式约束。原始方法保持原始不等式的可行性,同时使对偶不等式的不可行性趋于零。对偶方法保持对偶不等式的可行性,同时移动到满足原始不等式。在这些方法中的每一个中,搜索方向满足由与适当的列基相关联的Hessian和约束分量形成的KKT方程组。的基础的组成是指定的有效集的策略,保证了非奇异性的每一组KKT方程。每一个建议的方法是一个传统的有效集方法的意义上说,一个初始的原始或双重可行点是必需的。在第二部分的文件中,它是如何解决的二次规划可以作为一个耦合对原始和对偶二次规划,同时转移的简单约束条件,并添加一个惩罚项的目标函数。任何传统的列基都可以成为这种移位惩罚问题的原始-对偶对的最优。然后使用原始或对偶移位问题的解更新移位。这种方法的一个明显的应用是求解移位的对偶QP,以定义原始的初始可行点(反之亦然)。一组凸问题的计算性能评估所提出的方法。
2015-12-30 math.OC
On the asymptotic behavior of a higher-order extrapolation primal-dual interior-point method for nonlinear programming
本文研究非线性规划原始-对偶内点法中利用高阶导数信息进行轨迹外推的渐近收敛行为,证明足够高阶时仅靠外推即可达到障碍参数减小速率,并给出二次规划数值验证。
2025-07-02 math.OC
Searching of equilibriums in hierarchical congestion population games
提出了一种描述大类递阶拥挤人口博弈均衡的普适原-对偶方法。该方法的核心是相互封闭的运输网络的层次结构。在不同的时间尺度上相应的logit动力学网络被认为是。这种动态反映了代理人的有限理性。将均衡配置的搜索归结为多层次凸优化问题(换句话说,建立了这类博弈/模型的变分原理)。然后对偶问题被公式化。这个问题有自然的解释反过来,它是更有吸引力的计算比原始的。因此,提出了一种有效的原始-对偶方法。该方法基于复合快速梯度法。由于原始对偶的对偶迭代过程的原始问题的解决方案是恢复。为完成该方法的一次迭代,解决了计算图上特征函数的相当复杂的问题。提出了一种特殊的技术(光滑版本的贝尔曼-福特方法的最短路问题)(基于一些想法的余。涅斯捷罗夫),允许这样做,在一个便宜的方式。还应该提到的是,小参数方法的不同技巧被积极使用。
2016-03-07 math.OC
Restarted Primal-Dual Hybrid Conjugate Gradient Method for Large-Scale Quadratic Programming
针对传统二次规划求解器可扩展性不足的问题,提出融合共轭梯度技术的重启型原始-对偶混合共轭梯度法,保持线性收敛且收敛常数更优,GPU实现在大规模问题上速度远超现有方法。
2024-10-05 math.OC
Practical Large-Scale Linear Programming using Primal-Dual Hybrid Gradient
我们提出了PDLP,一个实用的一阶方法线性规划(LP),可以解决传统的LP应用程序中预期的高精度水平。此外,它可以扩展到非常大的问题,因为它的核心操作是矩阵向量乘法。PDLP是通过将Chambolle和Pock(2011)推广的原始-对偶混合梯度(PDHG)方法应用于LP的鞍点公式而导出的。PDLP通过将几种新技术与文献中的旧技巧相结合来增强LP的PDHG;增强功能包括对角预处理、预求解、自适应步长和自适应重新启动。PDLP改进了应用于LP的一阶方法的现有技术。我们在来自MIPLIB 2017的一组383个LP实例上将PDLP与基于ADMM的求解器SCS进行了比较。以$10^{-8}$相对精度和1小时时间限制为目标,PDLP实现了求解时间几何平均的6.3倍减少和未求解实例数的4.6倍减少(从227减少到49)。此外,我们强调标准的基准测试实例和大规模的应用程序(PageRank),我们的开源原型的PDLP,写在朱莉娅,优于商业LP求解器。
2022-01-07 math.OC
Infeasibility detection with primal-dual hybrid gradient for large-scale linear programming
我们研究了使用Chambolle和Pock(2011)的原始-对偶混合梯度法(PDHG)检测大规模线性规划问题的不可行性问题。关于PDHG的文献大多集中在假设手头的问题是可行的设置。当问题不可行时,算法的迭代不收敛。在这种情况下,我们表明,迭代发散在一个控制的速度朝着一个定义良好的射线。这条射线的方向被称为无穷大位移矢量$v$。我们的工作的第一个贡献是证明这个向量恢复原始和对偶不可行性证书,只要它们存在。基于这一事实,我们提出了一种简单的方法来提取近似不可行证书PDHG的迭代。我们研究了三种不同的序列收敛到无穷大位移向量:迭代的差异,归一化迭代,和归一化平均。所有这些都很容易计算,因此该方法适用于大规模的问题。我们的第二个贡献是为这些序列建立紧收敛速度。我们证明了归一化的迭代和归一化的平均达到$O(1/k)$的收敛速度,提高了$O(1/\sqrt{k})$的已知速度。这个速率是一般的,并且适用于非扩张算子的任何不动点迭代。因此,它是独立感兴趣的结果,因为它涵盖了广泛的算法家族,包括例如ADMM,并且可以应用于线性规划之外的设置,例如二次和半定规划。进一步,在线性规划的情况下,我们表明,在非退化的假设下,PDHG的迭代识别的活动集的辅助可行问题在有限时间内,这确保迭代的差异表现出最终线性收敛的无穷大位移向量。
2021-02-09 math.OC
Nearly Optimal Linear Convergence of Stochastic Primal-Dual Methods for Linear Programming
The University of Chicago(芝加哥大学)
本文提出一种结合方差缩减与重启的随机原始-对偶算法,用于线性规划,实现高概率线性收敛,并设计高效坐标随机预言机,证明其收敛速率近最优。
2023-12-29 cs.LG math.OC
On the Asymptotic Superlinear Convergence of the Augmented Lagrangian Method for Semidefinite Programming with Multiple Solutions
求解大规模凸半定规划问题一直是一个具有挑战性的数值任务。幸运的是,几个强大的求解器,包括SDPNAL,SDPNAL+和QSDPNAL最近已经开发出解决线性和凸二次SDP问题,以高精度成功。这些求解器是基于增广拉格朗日方法(ALM)的对偶问题的子问题被解决的半光滑牛顿CG方法。值得注意的是,由于Rockafellar关于邻近点算法的一般理论,由ALM生成的原始迭代序列在原问题的二阶充分条件下具有渐近Q-超线性收敛速度.这个二阶充分条件意味着原始问题有唯一的解,这在许多应用中可能是限制性的。为了获得更有见地的解释,这些求解器的高效率,在本文中,我们进行了渐近超线性收敛分析的ALM凸SDP时,原始问题有多个解决方案(可以是无界的)。在一个较弱的二阶增长条件下,我们证明了由ALM生成的原始迭代序列渐近Q-超线性收敛,而对偶可行性和对偶目标函数值渐近R-超线性收敛.此外,通过研究Karush-Kuhn-Tucker解映射的度量次正则性,我们还给出了对偶映射渐近R-超线性收敛的充分条件.
2016-10-04 math.OC
GPU-Accelerated Primal Heuristics for Mixed Integer Programming
Nvidia(英伟达)
本研究提出融合GPU加速的混合整数规划原始启发式算法,通过GPU加速PDLP求解器、新增探测缓存并优化多种前沿启发式算法,在MIPLIB2017基准上显著提升了可行解数量与目标质量。
2025-10-30 cs.DC math.OC
Accuracy Certificates for Convex Optimization at Accelerated Rates via Primal-Dual Averaging
University of Rochester(罗切斯特大学)
本文提出基于简单对偶平均的算法,通过计算可得的最优性证书,实现非渐近收敛保证,证明了三种平均方法在加速率上的证书复杂度。
2026-04-20 math.OC
Enhanced PDHG for Linear Programming with Online Preconditioning
本文提出一种用于线性规划PDHG算法的在线预条件处理技术,通过自适应更新预条件器并引入算法增强,在标准数据集上显著减少迭代次数和求解时间。
2025-06-21 math.OC
Splitting methods for a class of non-potential mean field games
我们从Nurbekyan,Saude“傅立叶近似方法的一阶非局部平均场游戏”[端口。Math. 75(2018),no. 3-4]和Liu,Jacobs,Li,Nurbekyan,Osher“Computational methods for nonlocal mean field games with applications”[arXiv:2004.12210],用于一类具有混合耦合的非势平均场博弈(MFG)系统。到目前为止,分裂方法已被应用到潜在的MFG系统,可以投凹凸鞍点问题。在这里,我们表明,一类非潜在的MFG可以铸造的原始-对偶对单调包含和解决通过扩展的凸优化算法,如原始-对偶混合梯度(PDHG)算法。我们的方法的一个重要特点是在考虑对偶变量的傅立叶或特征空间中的非局部耦合。
2020-06-30 math.OC
An efficient primal dual semismooth Newton method for semidefinite programming
提出SSNCP半光滑牛顿法求解半定规划,通过校正步保证光滑性,实现全局收敛和局部超线性收敛,复杂度为ε^-3/2,在Mittelmann基准上优于现有求解器。
2025-04-23 math.OC
FBstab: A Stabilized Semismooth Quadratic Programming Algorithm with Applications in Model Predictive Control
本文介绍了近似稳定的Fischer-Burmeister方法(FBstab),一种新的算法,凸二次规划,协同结合的邻近点法的原始-对偶半光滑牛顿型方法。FBstab具有数值鲁棒性、易于热启动、处理退化原始-对偶解、检测不可行性/无界性以及仅要求黑塞矩阵是半正定的。我们概述了算法,提供收敛性和收敛速度的证明,报告一些数值结果从模型预测控制基准,也包括实验结果。我们发现,FBstab是有竞争力的,往往优于,最先进的方法,具有吸引力的缩放特性,是特别有前途的模型预测控制应用。
2019-05-19 math.OC
On the Geometry and Refined Rate of Primal-Dual Hybrid Gradient for Linear Programming
本研究揭示PDHG求解线性规划的两阶段收敛机制,提出不依赖全局Hoffman常数的精细复杂度分析,并发现退化本身不减速而接近退化会减速。
2023-12-26 math.OC
Dual Dictionaries in Linear Programming
针对线性规划中对偶单纯形法所需的原问题与对偶问题字典间的双射证明需求,提出该双射存在性的简短概念性证明。
2023-09-19 math.OC
Implicit Primal-Dual Interior-Point Methods for Quadratic Programming
Department of Aeronautics and Astronautics, Massachusetts Institute of Technology(麻省理工学院航空航天系)
本文提出了一种隐式对偶内点法求解二次规划的新方法,通过引入辅助变量和重构映射,使互补性条件隐式满足,从而解决内点法中因ill-conditioning导致的精度问题。
2026-04-01 cs.RO math.OC
A primal-dual price-optimization method for computing equilibrium prices in mean-field games models
本文提出一种拉格朗日原始-对偶梯度算法,用于计算平均场博弈价格形成模型中的均衡价格,利用自动微分技术实现高效灵活的模块化计算,可扩展至高维复杂设置且无需手动推导伴随方程。
2025-09-16 cs.NA econ.TH math.NA
Continuous-time mean field games: a primal-dual characterization
University of California, Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学);The Chinese University of Hong Kong(香港中文大学);Imperial College London(伦敦帝国学院)
本文为连续时间平均场博弈建立了原始-对偶公式,通过线性规划与HJB方程对偶问题的强对偶性,在无需哈密顿量凸性及经典解的条件下实现了对所有纳什均衡的完整刻画。
2026-11-10 math.OC math.PR
Primal-dual path-following methods and the trust-region updating strategy for linear programming with noisy data
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
本文研究了标准线性规划问题的原始-对偶路径跟踪方法和置信域更新策略。对于小噪声数据的秩亏问题,给出了基于列主元QR分解的预处理方法。在初始点严格原始-对偶可行的条件下,证明了新方法的整体收敛。最后,对于一些秩亏的问题,或没有小的噪声数据从NETLIB收集,我们比较它与其他两个流行的相邻点的方法,即子程序pathfollow.m和MATLAB环境中内置的子程序linprog.m。数值结果表明,对于小噪声数据的秩亏问题,新方法比其他两种方法具有更好的鲁棒性。
2021-02-22 cs.LG cs.NA math.DS
A non-iterative polynomial algorithm for linear programming
本文提出了一种非迭代的多项式算法,通过构造一个二元向量函数f,利用线性规划问题的约束矩阵和右端矢量来确定最优解的非零性,从而实现非迭代且并行的线性规划求解。
2026-05-19 math.OC
Well-conditioned Primal-Dual Interior-point Method for Accurate Low-rank Semidefinite Programming
本文针对低秩 SDP 内点法中 Newton 子问题病态且预条件失效的问题,提出良态重构及配套预条件子,实现高精度下 O(n^3) 时间与 O(n^2) 内存复杂度。
2024-12-03 math.OC
Primal-Dual Stability in Local Optimality
本文针对有限维优化问题,提出局部最优性中原始-对偶稳定性的精确条件,利用余导数与严格图形导数的新进展,并推导出强度量正则性的新结果。
2023-12-31 math.OC
Primal-Dual Interior-Point Methods for Domain-Driven Formulations
本文研究了求解凸优化问题的不可行起始原-对偶内点方法,该方法具有典型的自然形式,我们称之为区域驱动形式。我们的算法扩展了许多优势的原始-对偶内点技术可用于圆锥公式,如目前最好的复杂性界限,和更强大的证书近似最优性,无界性和不可行性,域驱动的配方。即使在线性规划的情况下,对于所使用的不可行启动设置来说,复杂性结果也是新的。除了复杂性的结果,我们的算法的目的是扩大应用程序,和软件的内点方法,以更广泛的类的问题超越对称锥优化。
2019-03-13 math.OC
A New Penalty Dual-Primal Augmented Lagrangian Method and Its Extensions
本文提出一种罚对偶-原始增广拉格朗日方法,结合新颖罚技术与对偶-原始更新顺序,扩展至多块可分离凸规划,并在变分分析下建立收敛性,数值实验验证其效率。
2023-05-06 math.OC
Projected Primal-Dual Gradient Flow of Augmented Lagrangian with Application to Distributed Maximization of the Algebraic Connectivity of a Network
本文提出了一种求解不一定是严格凸的凸优化问题的增广拉格朗日投影原始-对偶梯度流。优化变量由一个在其切锥上具有可计算投影运算的凸集以及等式约束约束。作为\cite{niederlander2016distributed}中分析的补充,我们证明了投影的动力系统收敛于鞍点之一,从而找到了一个最优解。此外,考虑了通过优化每个节点(基站)的端口增益来分布式地最大化无向网络的代数连通度的问题。将原来的半定规划(SDP)问题松弛为一个非线性规划(NP)问题,并通过上述投影动力系统求解。数值例子表明,上述算法收敛到最优解之一。松弛的效果说明经验与数值例子。提出了一种方法,使达到平衡所需的迭代次数被抑制。用数值例子说明了算法的每次迭代的复杂性。
2018-10-30 math.OC
An Analysis of Primal-Dual Algorithms for Discounted Markov Decision Processes
组合优化领域中的一些著名算法可以用求解线性规划的原对偶方法来解释。例如,Dijkstra算法、Ford-Fulkerson算法和Hungarian算法都可以被看作是应用于它们各自的最优化问题的线性规划公式的原始-对偶方法。粗略地说,成功地将原始-对偶方法应用于可以被设定为线性规划的最优化问题,依赖于找到相关线性规划的最优解的简单表征的能力,称为“限制原始的对偶”(DRP)。本文的动机是以下问题:什么是算法,我们得到,如果我们应用原始-对偶方法的线性规划公式的折扣成本马尔可夫决策过程?我们将首先说明马尔可夫决策过程的几种广泛使用的算法可以用原始-对偶方法来解释,其中在每次迭代中用DRP的次优解更新值函数。然后,我们提供了最优解的DRP在封闭形式,并提出了算法,结果时,使用此解决方案更新值函数在每次迭代。与从次优DRP更新获得的算法不同,该算法保证在有限次数的迭代中产生最优值函数。最后,我们表明,迭代的原始对偶法可以被解释为重复应用的政策迭代算法的一类特殊的马尔可夫决策过程。当考虑到最近的结果表征的计算复杂性的政策迭代算法,这一观察可以提供新的见解解决折扣成本马尔可夫决策过程的计算复杂性。
2016-01-16 math.OC
Primal-dual Accelerated Mirror-Descent Method for Constrained Bilinear Saddle-Point Problems
本文提出一种时变原始-对偶加速镜像下降算法,用于求解约束双线性鞍点问题,实现$O(1/t^2)$收敛率,并衍生出面向分布式优化和零和博弈的两种加速变体。
2024-10-03 math.OC
Improving Primal Heuristics for Mixed Integer Programming Problems based on Problem Reduction: A Learning-based Approach
本文提出了一种基于双层预测的约简分支(BP-RB)框架来加速求解混合整数规划(MIP)问题的高质量可行解的过程。图卷积网络(GCN)被用来预测二进制变量的值。之后,通过以预测概率为条件的贪婪方法将二进制变量的子集固定到预测值。通过探索逻辑结果,提出了一种基于学习的问题约简方法,大大减少了变量和约束的大小。对于约简子MIP问题,第二层GCN框架被用来更新对剩余二进制变量值的预测,并确定用于分支以生成分支定界(B&B)树的变量的选择。数值算例表明,我们的BP-RB框架加快了原始启发式,并找到高质量的可行解。
2022-09-27 cs.SY eess.SY math.OC
A Stochastic Variance-reduced Accelerated Primal-dual Method for Finite-sum Saddle-point Problems
本文提出了一种求解具有有限和结构和非双线性耦合函数的凸凹鞍点问题的带Bregman距离的方差缩减原始对偶法。这种类型的问题通常出现在机器学习和对策论中。在一些标准假设下,证明了该算法分别以$O\left(\frac{\sqrt n}ε\right)$和$O\left(\frac{n}{\sqrt ε}+\frac{1}{ε^{1.5}}\right)$的预言复杂度收敛,其中$n$是函数分量的个数.与现有的方法相比,我们的框架产生了显着的改善所需的原始-对偶梯度样本的数量,以实现$ε$ -原始-对偶差距的准确性。我们测试了我们的方法求解分布鲁棒最优化问题,以显示算法的有效性。
2021-06-01 math.OC
Linear Programming Fictitious Play algorithm for Mean Field Games with optimal stopping and absorption
我们开发的虚拟播放算法的上下文中的线性规划方法的平均场游戏的最佳停止和平均场游戏的定期控制和吸收。该算法允许近似的平均场游戏人口动态,而无需计算值函数,通过解决线性规划问题的分布仍然在游戏中的球员和他们的停时/控制。我们使用的拓扑结构的依测度收敛的措施,这是需要处理缺乏连续性的措施流的次概率措施的空间中的算法的收敛性。数值例子说明了算法的收敛性。
2023-01-23 math.OC
Control and optimal stopping Mean Field Games: a linear programming approach
我们开发的线性规划方法,平均场游戏在一般设置。这种放松的控制方法允许证明弱假设下的存在性结果,并适合于数值实现。我们考虑平均场博弈问题,其中代表代理同时选择最优控制和最优退出时间,其中瞬时报酬函数和状态过程的系数可能取决于其他代理的分布。此外,我们建立了平均场博弈均衡之间的等价性得到的线性规划方法和通过控制/停止鞅方法,另一种松弛法在以前的几篇论文中使用的情况下,只有控制。
2020-11-23 math.OC
Differential Dynamic Programming for Nonlinear Dynamic Games
当多个具有不同目标的代理选择对动态系统的控制输入时,动态博弈出现。动态博弈模型广泛应用于经济、国防和能源系统。然而,与单智能体控制问题相比,动态博弈的计算方法相对有限。在单智能体的情况下,只有非常专业的动态游戏可以精确地解决,所以近似算法是必需的。本文将单智能体控制的微分动态规划算法推广到非零和全信息动态博弈的情形。该方法的工作原理是计算二次近似的动态规划方程。近似结果在静态二次游戏,递归解决。收敛性证明表明,该算法迭代足够接近迭代的牛顿法继承其收敛性能。最后给出了数值算例。
2018-09-21 math.OC