Strengthening the SDP Relaxation of AC Power Flows with Convex Envelopes, Bound Tightening, and Lifted Nonlinear Cuts
本文考虑了最先进的凸松弛的交流潮流方程,并介绍了新的有效切割的基础上凸包络和解除非线性约束。这些有效的线性不等式加强了现有的半定和二次规划松弛,并主导了文献中提出的现有削减。与模型交叉点和边界收紧一起,新的线性切割关闭了NESTA存档中剩余的16个开放测试用例中的8个,用于AC最优潮流问题。
2016-01-05 math.OC
Certifying Global Optimality of Graph Cuts via Semidefinite Relaxation: A Performance Guarantee for Spectral Clustering
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);University of California at Davis(加州大学戴维斯分校)
谱聚类已经成为一种最广泛使用的聚类技术,当单个聚类的结构是非凸的或高度各向异性的。然而,尽管它的巨大的普及,存在相当少的理论性能保证谱聚类。这个问题部分是由于谱聚类通常涉及两个步骤,这使得其理论分析变得复杂:首先,使用关联图Laplacian的特征向量来嵌入数据集,其次,将k-means聚类算法应用于嵌入的数据集以获得标签。本文介绍了谱聚类和图割的理论基础。我们考虑一个凸松弛的图割,即比率割和归一化割,这使得通常的两步谱聚类方法过时,并在同一时间产生了严格的理论分析图割和谱聚类。我们通过一个谱邻近条件,自然地依赖于每个集群的代数连接和集群间的连接,成功的谱聚类的确定性界限。此外,我们通过一些流行的例子证明,我们的界限可以达到近最优。我们的研究结果也是核k-means的理论理解的基础。数值模拟证实并补充了我们的分析。
2019-04-14 cs.IT cs.LG math.IT
Disjunctive cuts in Mixed-Integer Conic Optimization
本文研究了混合二次锥规划中的析取割平面。建立在圆锥对偶,我们制定了一个切割生成圆锥程序分离析取切割,并研究其分辨率的影响的规范化条件。特别是,我们表明,精心选择的正常化保证其可解性和锥强对偶。然后,我们强调的缺点,分离锥不可行点的外近似的上下文中,并提出锥扩展到经典的提升和monoidal加强程序。最后,我们评估的计算行为的各种规范化条件的差距关闭,计算时间和削减稀疏。在这个过程中,我们表明,我们的方法是有竞争力的内部升降机和项目削减一个国家的最先进的解决方案。
2020-09-04 math.OC
Maximum Cuts and Fractional Cut Covers: A Computational Study of a Randomized Semidefinite Programming Approach
University of Waterloo(滑铁卢大学);Institute of Mathematics, Statistics, and Computer Science, University of São Paulo(圣保罗大学数学、统计和计算机科学学院);Center for Mathematics, Computing and Cognition, Federal University of the ABC Region(ABC地区联邦大学数学、计算与认知中心)
本文研究一种同时近似最大割和加权分数割覆盖问题的对偶框架,通过半定规划松弛和随机超平面技术实现近 optimality 证明,达到 Goemans 和 Williamson 的 0.878 约束比。
2026-04-19 cs.DM math.OC
An Inexact Projected Gradient Method with Rounding and Lifting by Nonlinear Programming for Solving Rank-One Semidefinite Relaxation of Polynomial Optimization
Massachusetts Institute of Technology(麻省理工学院);National University of Singapore(新加坡国立大学)
考虑求解高阶半定规划(SDP)松弛的非凸多项式最优化问题(POP),该问题常具有退化秩一最优解.而不是单独解决的SDP,我们提出了一个新的算法框架,混合使用非凸POP到全局下降使用凸SDP的本地搜索。特别是,我们首先设计了一个全局收敛的不精确投影梯度法(iPGM)求解SDP,作为我们的框架的骨干。然后,我们通过快速非线性规划算法生成的长但有保障的一阶步骤来加速iPGM。我们证明了新的框架仍然是全局收敛的求解SDP。为了解决将给定点投影到SDP的可行集上的iPGM子问题,我们设计了一个两阶段算法,第一阶段使用基于对称高斯-赛德尔的加速邻近梯度法(sGS-APG)来生成一个好的初始点,第二阶段使用修改的有限记忆BFGS(L-BFGS)方法来获得精确的解。我们分析了这两个阶段的收敛性,并建立了一个新的整体收敛的结果,修改后的L-BFGS,不需要目标函数是两次连续可微。我们进行数值实验解决二阶SDP松弛所产生的一组不同的持久性有机污染物。我们的框架展示了最先进的效率,可扩展性和鲁棒性,在解决退化的秩一SDP的高精度,即使在存在数百万的等式约束。
2021-10-26 cs.CV cs.LG math.OC
DS*: Tighter Lifting-Free Convex Relaxations for Quadratic Matching Problems
MPI Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);University of Siegen(锡根大学)
本文研究了置换矩阵上二次优化问题的凸松弛。虽然现有的半定规划方法可以实现显着的紧松弛,他们有很强的缺点,他们解除原来的$n {\times} n$维变量的$n^2 {\times} n^2$维变量,这限制了他们的实际应用。相比之下,在这里,我们提出了一个无提升凸松弛,可证明至少是现有的(无提升)凸松弛一样紧。我们的实验表明,我们的方法是优于现有的凸和非凸的各种问题的方法,包括图像排列和多图匹配。
2018-07-31 cs.CV math.OC stat.ML
SDP-quality bounds via convex quadratic relaxations for global optimization of mixed-integer quadratic programs
研究了带线性等式约束的非凸混合整数二次规划的全局优化问题。特别是,我们提出了一类新的凸二次松弛,通过二次切割。为了构建这些二次切割,我们解决了一个分离问题,涉及一个特殊的结构,允许使用专门的解决方案算法的线性矩阵不等式。我们的二次割是非凸的,但定义了一个凸可行集时,与等式约束。我们证明了我们的松弛是一个半无限凸规划的外近似,在一定条件下,它等价于一个著名的半定规划松弛。新的松弛在全局优化求解器BARON中实现,并通过对大量问题进行数值实验进行测试。结果表明,对于我们的测试问题,这些松弛导致显着改善的性能的BARON。
2021-06-25 math.OC
The Chvátal-Gomory Procedure for Integer SDPs with Applications in Combinatorial Optimization
本文研究整数半定规划的 CG 割理论与分离方法,并将其用于 QTSP 的分支切割求解,显著提升了大规模实例的最优求解能力。
2023-09-26 math.OC
Exact Convex Reformulations of Linear Neural Networks via Completely Positive Lifting
本文提出了一种将深度线性神经网络的训练问题精确地转化为凸优化问题的方法,利用完全正锥的提升空间,将非凸性编码在锥约束中,并展示了其与半正定规划的联系。
2026-10-08 cs.LG math.OC
An Axiomatic Duality Framework for the Theta Body and Related Convex Corners
洛瓦兹θ函数及其相关的图的θ体一直是组合优化、图论、信息论和半定优化等四个研究领域交叉的中心。本文利用现代凸优化的观点,给出了一组极小条件(公理),在此条件下,我们推广了某些关键的、期望的性质,包括图的θ函数、θ体的主要等价刻画,以及相应的反阻塞对偶关系.我们的框架描述了几个半定和多面体松弛的独立集多面体的图作为广义θ体。作为我们的方法的一个副产品,我们引入了“舒尔提升”的概念,这是对偶的PSD提升(更常用的SDP松弛的组合最优化问题)在我们的公理化推广的锥。我们还推广的概念补充图对角标度不变多面体锥。最后,我们给出了Dukanovic和Rendl关于分数色数的共正公式的加权推广。
2014-12-05 math.CO math.OC
Outer Approximation With Conic Certificates For Mixed-Integer Convex Problems
混合整数凸(MI-凸)最优化问题是当所有的整数约束被放松时变成凸的问题。本文给出了一个将MI-凸问题转化为MI-锥问题的分枝定界LP外逼近算法。多面体松弛细化与$\mathcal{K}^*$削减来自圆锥证书连续原始对偶圆锥子问题。在所有子问题都是适定的假设下,该算法检测不可行性或无界性或在有限时间内返回最优解。使用属性的圆锥证书,我们表明,$\mathcal{K}^*$削减意味着一定的实际相关的保证质量的多面体松弛,并演示如何保持有益的保证时,LP求解器使用一个积极的可行性公差。我们讨论了如何分解$\mathcal{K}^*$切割,以收紧多面体松弛,从而提高收敛速度,并提出了快速的启发式方法获得有用的$\mathcal{K}^*$切割。我们新的开源MI圆锥解算器Pajarito(http://github.com/JuliaOpt/Pajarito.jl)使用外部混合整数线性(MILP)解算器来管理搜索树和子问题的外部连续圆锥解算器。基准库的混合整数二阶锥(MISOCP)的问题,我们发现,Pajarito大大优于邦明(领先的开源替代品),并具有竞争力的CPLEX的专业MISOCP算法。我们证明了鲁棒性的Pajarito通过解决不同的MI锥问题,涉及半正定,二阶和指数锥的混合物,并提供证据,我们的分析和增强的$\mathcal{K}^*$削减的实用价值。
2018-08-15 math.OC
A Slightly Lifted Convex Relaxation for Nonconvex Quadratic Programming with Ball Constraints
本文针对多个球约束下的非凸二次规划,提出一种基于将问题提升到 n+1 维的多项式规模半定松弛,避免析取方法,证明其在两个球时精确,并推广到椭球交集情形,实验显示其快速且强于现有松弛。
2023-10-28 math.OC
Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time
Stanford University(斯坦福大学)
具有非线性激活函数的两层神经网络的训练是一个重要的非凸优化问题,在逐层深度学习中具有许多应用和有前途的性能。本文基于半定规划理论,建立了二次多项式激励的双层神经网络的精确凸优化公式。值得注意的是,我们表明,半定提升始终是准确的,因此计算复杂性的全局优化是多项式的输入尺寸和样本大小的所有输入数据。开发的凸公式被证明可以实现相同的全局最优解集作为他们的非凸同行。更具体地说,具有多项式激活的全局最优双层神经网络可以通过求解半定规划(SDP)并使用我们称为神经分解的过程分解该解来找到。此外,正则化器的选择在神经网络训练的计算易处理性中起着至关重要的作用。我们表明,标准的权重衰减正则化制定是NP-困难的,而其他简单的凸罚款使问题易于处理的多项式时间通过凸规划。我们将结果扩展到完全连接架构之外的不同神经网络架构,包括具有向量输出的网络和具有池化的卷积架构。我们提供了大量的数值模拟表明,标准的反向传播方法往往无法实现全局最优的训练损失。所提出的方法是显着更快,以获得更好的测试精度相比,标准的反向传播过程。
2021-01-07 cs.CC cs.LG math.OC
Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable Approach for Continuous Markov Random Fields
KU Leuven(鲁汶大学);Technical University of Munich(慕尼黑工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);University of Siegen(锡根大学)
非凸优化问题的对偶分解方法可能存在对偶缺口。这就提出了一个挑战,当他们直接应用到非凸问题,如MAP推理的马尔可夫随机场(MRF)连续状态空间。为了消除这种差距,本文认为,重新制定原来的非凸任务的措施空间。然后,通过在对偶中进行分段多项式离散化,将该无穷维重构近似为半无限维重构。我们提供了一个几何直观背后的原始问题引起的双重离散化,并绘制连接到优化的时刻空间。与现有的离散遭受网格偏差,我们表明,一个分段多项式离散更好地保持我们的问题的连续性。利用最优输运理论和凸代数几何的结果,我们将半无限规划化为有限规划,并给出了一个基于半定规划的实际实现。我们表明,在实验和理论上,该方法成功地减少了二元差距。为了展示我们的方法的可扩展性,我们将其应用到两个图像之间的立体匹配问题。
2022-05-16 cs.CV math.OC