Inexactness of SDP Relaxation and Valid Inequalities for Optimal Power Flow
最近的研究证明,在不含发电下界或允许负荷过满足的技术条件下,辐射状网络最优潮流问题的半定规划松弛解是精确的。在本文中,我们研究的情况下,代下界。我们表明,即使对于一个两总线单发电机系统,SDP松弛可以有所有可能的近似结果,即(1)SDP松弛可能是精确的或(2)SDP松弛可能是不精确的或(3)SDP松弛可能是可行的,而OPF实例可能是不可行的。我们提供了一个完整的表征时,这三个近似的结果发生,并由此产生的最优性差距,这两个总线系统的解析表达式。为了便于进一步的研究,我们设计了一个径向网络上的实例库,其中SDP松弛具有正的最优性间隙。最后,我们提出了有效的不等式和变量约束收紧技术,显着提高全局优化求解器的计算性能。我们的工作表明,需要开发有效的全球最优化方法的解决方案的OPF,即使在简单的,但基本的情况下,径向网络。
2014-12-18 math.OC
Tight SDP relaxations for cardinality-constrained problems
本文用半定规划松弛基数约束投资组合问题,实验证明该松弛产生紧下界且常达最优,凸显半定规划对混合整数二次问题的建模能力。
2024-02-07 math.OC
SDP Achieves Exact Minimax Optimality in Phase Synchronization
研究了带噪声测量$Y=z^*z^{*H}+σW\in\mathbb{C}^{n\times n}$的相位同步问题,其中$z^*$是$n$维复单位模向量,$W$是复值高斯随机矩阵.假设以概率$p$观察到每个条目$Y_{jk}$。我们证明了一个SDP松弛的MLE实现下的归一化平方$\ell_2$损失的误差界$(1+o(1))\frac{σ^2}{2np}$。这个结果符合问题的极大极小下界,甚至前导常数也是尖锐的。SDP的分析基于等价的非凸规划,其解可以表征为提升到更高维度空间的广义幂迭代的不动点。这一观点统一了三种不同方法:极大似然法、SDP和广义幂方法的统计最优性证明。该技术也适用于分析的SDP $\mathbb{Z}_2$同步,我们实现了极小极大最佳误差$\exp\left(-(1-o(1))\frac{np}{2σ^2}\right)$与一个尖锐的常数的指数。
2022-03-18 math.OC math.ST stat.ML
Trust Region Subproblem with a Fixed Number of Additional Linear Inequality Constraints has Polynomial Complexity
具有固定数量m个附加线性不等式约束的置信域子问题(Tm)近年来受到广泛关注。至于问题(Tm)是属于P类还是NP类的问题仍然没有解决。到目前为止,唯一肯定的一般结果是(T1)有一个精确的SOCP/SDP重构,因此是多项式可解的。通过采用Martinez关于置信域子问题的局部非全局极小值的早期结果,我们可以将(Tm)中的任何实例归纳地归结为一系列置信域子问题(T0)。尽管要求解的(T0)的总数为m的指数阶,但归约方案仍然提供了一个论点,即对于每个固定的m,类(Tm)具有多项式复杂度。与此相反,我们通过一个简单的例子证明,求解包含比问题维数更多的线性不等式约束的扩展置信域子问题类,或由任意数量的线性约束组成的实例类是NP-难的.当m较小时,如m = 1,2,我们的归纳算法应该比SOCP/SDP重构更有效,因为(T0)的最多2个或5个子问题分别被处理。最后,我们改进了Jeyakumar和Li最近提出的一个维数条件,在这个维数条件下,(Tm)存在一个精确的SDP松弛。实例表明,这种改进确实可以是严格的。
2013-12-05 math.OC
T-semidefinite programming relaxation with third-order tensors for constrained polynomial optimization
针对带多项式不等式约束的多项式优化问题,提出基于三阶张量的T-半定规划松弛方法,证明其可转化为块对角标准半定规划松弛,在适度假设下收敛于最优值,且数值效率更优。
2024-05-14 math.OC
Solving graph equipartition SDPs on an algebraic variety
半定规划由于其高维性而通常具有挑战性。Burer和Monteiro利用线性SDP问题的低秩性质,提出了一种求解线性SDP问题的非凸方法。他们的方法是快速的,因为他们使用因式分解来减少问题的大小。在本文中,我们专注于解决图均分问题的SDP松弛,这涉及到一个额外的半定上界约束,在传统的线性SDP。利用因子分解方法,得到了一个带有非光滑谱不等式约束的非凸问题。讨论了非凸问题与原SDP等价的条件以及非凸问题的二阶稳定点也是全局极小值的条件。我们的结果推广了以前的工作光滑非凸分解方法的线性SDP的非光滑的情况下。此外,非凸问题的约束涉及具有一些有益性质的代数簇,这些性质使我们能够使用Riemannian优化技术和非凸增广拉格朗日方法非常有效地解决SDP问题,并具有经过验证的全局最优性。
2022-08-03 math.OC
SDP Approach to Quadratic Vertex-Disjoint Paths Problem
Clemson University(克莱姆森大学)
本文研究了二次k顶点不相交路径问题,通过将问题转化为二元二次规划并应用系统图简化技术,提出基于SDP松弛的分支定界框架,有效解决大规模实例,优于Gurobi性能。
2026-04-03 math.OC
Solving Max-Cut to Global Optimality via Feasibility-Preserving Graph Neural Networks
Davidson School of Chemical Engineering, Purdue University(普渡大学化学工程大卫逊学院);Faculty of Computer Science, RWTH Aachen University(亚琛工业大学计算机科学学院);Jacobs Technion-Cornell Institute, Cornell Tech(技术学院-康奈尔研究所)
本文提出一种专门用于最大割问题的图神经网络,作为轻量级的SDP求解器替代品,能有效降低精确求解最大割问题的计算成本。
2026-05-08 cs.LG math.OC
QUBO Dual Bounds via SDP Plane Projection Method
本文提出一种用于求解特定半定规划的新方法,该方法可热启动并嵌入分支定界,以高效获得 QUBO 问题的对偶界,计算实验验证了其有效性。
2023-12-22 math.OC
Certifying Global Optimality of AC-OPF Solutions via sparse polynomial optimization
我们报告的实验结果证明1%的全局最优的AC-OPF实例的解决方案,从PGLiB通过CS-TSSOS层次结构-一个时刻SOS为基础的层次结构,利用相关性和长期稀疏性,它可以提供更紧密的SDP松弛比肖尔的放松。我们的数值实验表明,CS-TSSOS层次结构与问题大小很好地匹配,并且确实有助于证明大规模现实世界问题的解的全局最优性,例如,AC-OPF问题。特别是,我们能够证明1%的全局最优性具有挑战性的AC-OPF实例与6515总线涉及14398实变量和63577约束。
2022-07-20 math.OC
A Tight SDP Relaxation for the Cubic-Quartic Regularization Problem
Xiangtan University(湘潭大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);University of California San Diego(加州大学圣地亚哥分校);Hong Kong Baptist University(香港浸会大学)
本文针对三次-四次正则化(CQR)问题提出结构化半定规划(SDP)松弛方法,证明其紧性条件,给出检测紧性与求全局极小解的算法,数值实验表明该方法有效且高效,可在充分条件下多项式时间全局求解CQR问题。
2026-08-21 math.OC
Minimum energy configurations on a toric lattice as a quadratic assignment problem
我们考虑了二次指派问题(QAP)的三个已知界:特征值界、凸二次规划(CQP)界和半定规划(SDP)界。由于前两个界没有直接比较,我们证明了SDP界比CQP界更强。然后,我们应用这些改进已知的边界上的离散能量最小化问题,重新制定为一个QAP,其目的是最大限度地减少一个复曲面网格上的排斥粒子之间的势能。因此,我们能够证明粒子和网格尺寸的几种配置的最优性,补充Bouman,Draisma和Van Leeuwaarden的早期结果[ SIAM Journal on Discrete Mathematics,27(3):1295- 1312,2013]。所讨论的半定规划太大,不进行预处理就无法求解,我们使用Parrilo和Permenter [数学规划,181:51- 84,2020]的对称约化方法来计算SDP边界。
2020-12-14 math.OC
Critical Multipliers in Semidefinite Programming
文[14]证明了(光滑)非线性规划问题的非临界乘子的存在性等价于不作任何假设的KKT系统的误差界条件。本文研究这一结果是否仍然成立的(光滑)非线性半定规划(SDP)问题。我们首先介绍了SDP问题的关键和非关键乘数的概念,并获得其完整的刻画的问题数据。本文证明了对于SDP问题,不需要任何假设,可以从KKT系统的误差界条件导出非临界性,并通过一些简单的例子说明了这一事实。此外,我们给出了一个适当的二阶充分最优性条件,明确地刻画了非临界性。我们提出了一组假设,从该误差界条件的KKT系统可以从非临界性质。最后,我们建立了一个新的误差界的x-部分,这是表示的扰动和乘子估计。
2018-01-07 math.OC
Semidefinite Programming Approximation for a Matrix Optimization Problem over an Uncertain Linear System
本文针对不确定线性系统矩阵优化问题(MOPUL)的 NP 难特性,提出基于参考输出的多项式时间半定规划近似模型,并给出累积误差上界及可行性与最优性分析,通过数值实验验证扰动噪声对近似性能的影响。
2023-10-30 math.OC
An SDP Approach For Solving Quadratic Fractional Programming Problems
本文研究了一类分式规划问题(P),该问题在双边二次约束下使二次函数之比最小。众所周知,分数目标函数可以由二次函数的参数族代替,这使得(P)与受类似约束集约束的单个二次规划问题高度相关,但比其更困难。任务是找到最优参数$λ^*$,然后寻找最优解,如果达到$λ^*$。与经典的Dinkelbach方法,迭代参数,我们提出了一个合适的约束规格下,一个新的版本的S-引理的等式可以证明,以便计算$λ^*$直接通过一个精确的SDP松弛。当(P)的约束集退化为单边不等式时,同样的SDP方法可以应用于求解(P){ \it而不需要任何条件}.我们观察到双边问题和单边问题之间的区别在于具有等式的S-引理不具有自然的斯莱特点,这使得前者本质上比后者更困难。这项工作也没有假设二次项的正定线性组合(也称为对偶Slater条件,或正定矩阵束)的存在,因此我们的结果提供了一个新的扩展到所谓的“硬情况”的广义信赖域子问题服从二次函数的上下水平集.
2014-02-18 math.OC
Trustworthiness of Optimality Condition Violation in Inverse Dynamic Game Methods Based on the Minimum Principle
本文研究基于最小值原理的逆动态博弈方法在未知智能体行为识别中的适用性,提出残差误差可信性及必要条件,证明其不能验证DG模型但可在特定条件下鲁棒识别参数,并通过人机移动机器人避碰实验加以说明。
2024-06-17 math.OC
On the Equivalence of SDP Feasibility and a Convex Hull Relaxation for System of Quadratic Equations
证明了{ \it半定规划}(SDP)的可行性问题等价于求解有限二次方程组的{ \it凸包松弛}(SLP).一方面,这提供了对SDP的简单描述。另一方面,这种等价性使得可以基于求解CHR来描述用于SDP可行性的{ \it三角算法}的版本。具体地,三角算法或者计算SDP的最小范数可行解的近似,或者使用其{ \it距离对偶},在不存在规定范数内的解时提供分离。每次迭代的最坏情况复杂度是计算在该迭代中出现的对称矩阵的最大特征值。迭代总数的替代复杂性界限可以导出。因此,三角形算法为SDP可行性和SDP优化提供了一种替代现有的邻近点算法。特别地,基于初步的计算结果,我们可以通过三角形算法有效地解决{ \it二元二次}可行性的SDP松弛。这在求解MAX-CUT的SDP松弛问题中得到了应用。我们还表明,在测试的情况下,凸二次不等式系统的可行性,该问题是减少到一个相应的问题,其中最坏情况下的复杂性,通过三角形算法的每次迭代是解决{ \it置信域子问题}。在此基础上,我们讨论了三角形算法和三角形算法在求解一般多项式方程中的潜在推广。
2020-08-16 cs.CC math.OC
An Enhanced Semidefinite Relaxation Model Combined with Clique Graph Merging Strategy for Efficient AC Optimal Power Flow Solution
本文提出一种增强半定松弛模型,整合λ二次凸松弛、有效不等式、边界收紧算法及团图合并策略,以更紧下界和更高效率求解交流最优潮流,并在大规模算例上验证了有效性。
2024-09-29 cs.SY eess.SY math.OC
Implicit regularity and linear convergence rates for the generalized trust-region subproblem
在本文中,我们开发了有效的一阶算法的广义置信域子问题(GTRS),它在信号处理,压缩感知和工程应用。虽然GTRS,如前所述,是非线性和非凸的,它是众所周知的,目标值的精确性,其SDP松弛斯莱特条件下。虽然多项式时间的基于SDP的算法存在的GTRS,其相对较大的计算复杂性的动机和刺激的定制的方法来解决GTRS的发展。特别是,最近在这个方向上的工作已经开发了一阶方法的GTRS的运行时间是线性的稀疏性(非零条目的数量)的输入数据。在这些算法相比,在本文中,我们开发的算法计算$ε$ -近似解的GTRS的运行时间是线性的输入稀疏性和精度$\log(1/ε)$时,正则性参数是积极的。我们补充我们的理论保证与数值实验比较我们的方法对算法从文献中。我们的数值实验强调,我们的新算法显着优于现有的最先进的算法稀疏的大规模实例。
2021-12-27 cs.DS math.OC
Certifiably Optimal Outlier-Robust Geometric Perception: Semidefinite Relaxations and Scalable Global Optimization
Massachusetts Institute of Technology(麻省理工学院)
我们提出了第一个通用的和可扩展的框架来设计可验证的算法,在存在离群值的情况下,鲁棒的几何感知。我们的第一个贡献是表明,估计使用常见的鲁棒成本,如截断最小二乘(TLS),最大共识,Geman-McClure,Tukey的biwight等,可以重新制定为多项式优化问题(POP)。通过关注TLS成本,我们的第二个贡献是利用POP中的稀疏性,并提出一个稀疏半定规划(SDP)松弛,它比标准的Lasserre层次结构小得多,同时保持经验精确性,即,SDP利用最优性证书恢复非凸POP的优化器。我们的第三个贡献是解决SDP松弛在一个前所未有的规模和准确性,提出STRIDE,求解器,融合了全局下降的凸SDP与快速局部搜索的非凸POP。我们的第四个贡献是六个几何感知问题,包括单次和多次旋转平均,点云和网格配准,绝对姿态估计,以及类别级对象姿态和形状估计。我们的实验表明,(i)我们的稀疏SDP松弛是经验上精确的,在应用程序中有高达60%-90%的离群值;(ii)虽然仍然远离实时,但STRIDE在中等规模问题上比现有的SDP求解器快100倍,并且是唯一可以解决具有数十万约束的大规模SDP的高精度求解器;(iii)STRIDE保障现有快速算法的可靠估计(例如,RANSAC或渐变非凸性),即,如果启发式估计是最优的,则它证明全局最优性,或者当启发式估计是次优的时,它检测并允许逃避局部最优。
2022-05-29 cs.CV cs.RO math.OC
Global weight optimization of frame structures under free-vibration eigenvalue constraints
Czech Technical University in Prague(捷克布拉格理工大学);Institute of Information Theory and Automation, Czech Academy of Sciences(捷克科学院信息理论与自动化研究所);University of Birmingham(伯明翰大学);Nečas Center for Mathematical Modeling(内卡什数学建模中心)
针对自由振动特征值约束下框架结构拓扑优化这一非凸难题,提出基于Lasserre半定松弛层级结合双层重构的求解方法,可生成有保证的全局最优上下界,证明凸极小点集下间隙收敛,数值算例验证了方法的有效性。
2026-10-15 math.OC
Solving SDPs for synchronization and MaxCut problems via the Grothendieck inequality
许多统计估计问题可以用半定规划(SDP)来解决。虽然SDP可以使用内点方法在多项式时间内求解,但在实践中,通用SDP求解器不能很好地扩展到高维问题。为了解决这一问题,Burer和Monteiro提出了一种非凸秩约束形式,该形式在实际应用中具有良好的性能,但在理论上还没有得到很好的理解。在本文中,我们研究的秩约束版本的SDP中产生的MaxCut和同步问题。我们建立了一个Grothendieck型不等式,证明了所有的局部极大值和危险鞍点都在一个小的乘法间隙从全局极大值。我们使用这种结构的信息来证明,SDPs可以解决在一个已知的精度,通过应用黎曼信赖域方法,这个非凸问题,同时限制秩为一阶。对于MaxCut问题,我们的不等式意味着,当秩固定为$k$时,秩约束SDP的任何局部最大化者提供MaxCut的$ (1 - 1/(k-1)) \times 0.878$近似。然后,我们将我们的结果应用到根据高斯${\mathbb Z}_2$同步问题生成的数据矩阵,和两组随机块模型具有大的有界度。我们证明了局部最大化实现的错误经历了一个相变在相同的阈值信息理论上的最佳方法。
2017-03-29 math.OC stat.ML
Trust-region algorithms: probabilistic complexity and intrinsic noise with applications to subsampling techniques
本文提出了一种求光滑无约束函数的近似极小值的置信域算法,该函数的值和导数受随机噪声的影响。结果表明,在适当的概率假设下,新方法发现(在预期中)$ε$ -近似极小的任意阶$ q \geq 1$在至多$\mathcal{O}(ε^{-(q+1)})$不精确的评价的功能及其衍生物,提供了第一个这样的结果一般的最优性订单。固有噪声限制的有效性的假设的影响也进行了讨论,它表明,困难是不可能发生在一阶版本的算法足够大的梯度。相反,如果这些假设失败的具体实现,那么“降级”的最优性保证,举行失败时发生。这些结论进行了讨论,并说明在有限和优化的子采样方法的背景下。
2021-12-30 math.OC
Strong SOCP Relaxations for the Optimal Power Flow Problem
针对交流最优潮流问题,提出了三种强二阶锥规划松弛算法。这三种弛豫相互之间是不可比较的,其中两种弛豫与OPF的标准SDP弛豫是不可比较的。大量的计算实验表明,这些松弛与文献中现有的凸松弛相比具有许多优点:(i)它们的溶液质量非常接近SDP弛豫的溶液质量(最好的一个是在99.96%的SDP松弛平均为所有的IEEE测试情况下),并始终优于以前提出的凸二次松弛的OPF问题,(ii)来自强SOCP弛豫的解可以直接用作局部求解器(例如IPOPT)中的热启动,以获得高质量可行的OPF解,以及(iii)在计算时间方面,强SOCP弛豫可以比标准SDP弛豫快数量级地求解。例如,一个建议的SOCP松弛连同IPOPT产生一个可行解的最大的情况下,在IEEE测试用例(3375总线系统),并证明该解决方案是在0.13%的全球最优,所有这一切计算在157.20秒内在一个温和的个人电脑。总的来说,所提出的强SOCP松弛提供了一种实用的方法,以获得可行的OPF解决方案,具有非常好的质量在一个时间框架内,是兼容的实时操作,在当前的行业实践。
2015-10-31 math.OC
Novel Approach Towards Global Optimality of Optimal Power Flow Using Quadratic Convex Optimization
R&D Division, RTE (French TSO)(法国电网运营公司(RTE)研发部);CEDRIC, CNAM(法国国立高等机械与航空技术学校(CNAM)计算与能源发展中心(CEDRIC));UMA, ENSTA(法国国立高等工程技术学校(ENSTA)应用数学实验室(UMA))
最优潮流(OPF)问题可以用非凸二次约束二次规划(QCQP)来描述。我们的目的是解决OPF的全局最优性。为此,我们将混合二次凸重构方法(MIQCR)专门化为(OPF)。这是一个分两步的方法。首先,求解(OPF)的半定规划(SDP)松弛。然后利用松弛的最优对偶变量将最优潮流转化为一个等价的二次规划,其中所有的非凸性被转移到一个附加约束上。在第二步中,这个重新制定的分支定界算法内解决,其中在每个节点的二次和凸松弛的重新制定的问题,通过放松非凸的附加约束,得到解决。我们的方法的关键点是在分枝定界树的根节点处的下界等于SDP松弛值。我们测试这种方法的几个OPF的情况下,从两个总线网络超过一千总线网络的MAT-POWER存储库。我们的初步结果非常令人鼓舞。
2019-03-13 cs.CE cs.RO math.OC
Applications of gauge duality in robust principal component analysis and semidefinite programming
规范对偶理论由Freund [Math.Programming,38(1):47 - 67,1987]提出,最近由Friedlander,Mac {ê} do和Pong [SIAM J.Optm.,24(4):1999 - 2022,2014]。在求解矩阵最优化问题时,通常可以避免全矩阵分解,如奇异值和/或特征值分解。在这种方法中,在第一阶段中解决规范对偶问题,然后可以从第一阶段中获得的对偶最优解恢复原始问题的最优解。最近,该理论已被应用于一类\emph{semidefinite programming}(SDP)问题,并得到了有希望的数值结果[Friedlander和Mac {ê} do,SIAM J. Sci.比较器,出现,2016年)。本文将规范对偶理论应用于鲁棒\emph{principal component analysis}(PCA)和一般SDP,建立了一些理论结果。对于每个问题,我们提出了其规范对偶问题,刻画了原始-对偶规范对的最优性条件,并验证了从对偶规范对恢复原始最优解的方法。这些结果是[Friedlander and Mac {ê} do,SIAM J. Sci.比较器,出现,2016]从核范数正则化到鲁棒PCA,以及从要求线性目标中的系数矩阵为正定的一类特殊SDP到没有此限制的SDP问题。我们的结果提供了进一步的理解规范对偶理论的潜在的优点和缺点。
2016-05-09 math.OC
A Semidefinite Relaxation for Sums of Heterogeneous Quadratic Forms on the Stiefel Manifold
本文针对 Stiefel 流形上异构二次型之和最大化这一非凸问题,提出一种新的半定规划松弛,通过对偶证书给出全局最优性认证,并证明该松弛对可联合对角化及接近可联合对角化问题(如 HPPCA)是紧的。
2025-04-08 eess.SP math.OC
Vector-Valued Integer Optimal Control with TV Regularization: Optimality Conditions and Algorithmic Treatment
本文研究带TV正则化的向量值整数最优控制问题,推导一阶二阶最优性条件,并利用基于贝尔曼原理的信赖域方法求解,验证了算法的收敛性和有效性。
2024-11-11 math.OC
First-order optimality conditions for non-commutative optimization problems
Universidad de Valladolid(巴利亚多利德大学);Faculty of Mathematics and Physics, University of Ljubljana(卢布尔雅那大学数学与物理学院);Famnit, University of Primorska, Koper(科珀普里莫斯卡大学 FAMNIT);Institute of Mathematics, Physics and Mechanics, Ljubljana(卢布尔雅那数学、物理与力学研究所);Institute for Quantum Optics and Quantum Information (IQOQI) Vienna Austrian Academy of Sciences(奥地利科学院维也纳量子光学与量子信息研究所);HUN-REN Institute for Nuclear Research(匈牙利研究网络核物理研究所)
本文提出非交换优化问题的一阶最优性条件,通过状态和算符两种类型约束,改进了半定规划的松弛方法,并验证了其在量子系统和贝尔不等式中的应用。
2026-02-21 math.OC quant-ph
Smoothed analysis of the low-rank approach for smooth semidefinite programs
Princeton University(普林斯顿大学)
我们考虑半定规划(SDP)的大小为n的等式约束。为了克服可扩展性问题,Burer和Monteiro提出了一种基于通过$k$优化大小为$n$的矩阵Y的因式分解方法,使得$X = YY^*$是SDP变量。这种提法的优点是双重的:减少了优化变量的维数和正半定性自然是强制执行。然而,Y中的问题是非凸的。在以前的工作中,它已被证明,当因子分解变量的约束定期定义一个光滑的流形,提供k是足够大的,几乎所有的成本矩阵,所有的二阶稳定点(SOSP)是最优的。重要的是,在实践中,人们只能计算近似满足必要的最优性条件的点,导致问题:这些点也近似最优吗?为此,在类似的假设下,我们使用平滑分析表明,随机扰动的目标函数的近似SOSP近似全局最优,与k缩放喜欢的平方根的限制(对数因子)的数量。此外,我们将最优性间隙限制在扰动问题相对于原问题的近似解处。我们将我们的结果具体化到相位恢复的SDP弛豫。
2018-11-27 cs.LG math.OC stat.ML
Fix and Bound: An efficient approach for solving large-scale quadratic programming problems with box constraints
本文提出一种结合半定规划界与最优性线性割的分支定界算法,通过变量固定缩减规模,高效求解大规模盒约束非凸二次规划,实验表明其达到最先进水平。
2024-10-02 math.OC
On the simplicity and conditioning of low rank semidefinite programs
Cornell University(康奈尔大学)
低秩矩阵恢复问题广泛出现在统计学、组合学和成像学中。解决这些问题的一个著名方法是制定和解决一个半定规划(SDP)。通常已知,具有完美数据的SDP的精确解恢复原始低秩矩阵恢复问题的解。更具有挑战性的是,要证明用有噪声的问题数据制定的SDP的近似解可接受地解决了原始问题;参数通常是针对每个问题设置的,并且可能很复杂。在本说明中,我们确定了一组条件,我们称之为简单性,限制由于噪声问题数据或不完全收敛的错误。从这个意义上说,简单的SDP是鲁棒的:简单的SDP可以在规模上(近似)有效地求解;并且即使在有噪声的数据下,所得到的近似解也是可信的。此外,我们表明,简单持有一般,也为许多结构化的低秩矩阵恢复问题,包括随机块模型,$\mathbb{Z}_2$同步,矩阵完成。形式上,我们称一个SDP是单的,如果它有一个满射约束映射,有唯一的原始解和对偶解对,并且满足强对偶和严格互补。然而,简单并不是万能的:我们表明,Burer-Monteiro制定的SDP可能有虚假的二阶临界点,即使是一个简单的SDP秩1的解决方案。
2021-07-23 cs.LG math.OC stat.ML
Local Optimality Conditions for a Class of Hidden Convex Optimization
隐凸优化是一类非凸最优化问题,通过等价的凸规划变换,可以在多项式时间内得到全局解。本文主要研究隐凸优化的局部最优性检验问题。将经典的非凸信赖域子问题(TRS)与凸优化(CO)结合起来,引入了一类隐凸最优化问题,并对局部最优性条件进行了全面的研究.为了保证局部最优性的充要条件的存在,我们需要更严格的假设。令人惊讶的是,虽然(TRS)最多有一个局部非全局极小点,(CO)没有局部非全局极小点,但它们的联合问题可能有多个局部非全局极小点。
2021-09-07 math.OC
Low-Rank Matrix Completion using Nuclear Norm with Facial Reduction
核范数的最小化经常被用作替代,凸松弛,用于找到部分矩阵的最小秩完成(恢复)。最小核范数问题可以归结为一个迹极小化半定规划问题(SDP). SDP及其对偶是正则的,因为它们都满足严格可行性。内点算法是目前解决这类问题的主要方法。这意味着很难解决大规模的问题,也很难得到高精度的解决方案。在本文中,我们利用最小核范数问题的最优性结构。我们表明,即使严格的可行性,面部减少框架可以成功地应用于获得一个适当的脸,包含最优集,从而可以大大减少最终的核范数问题的大小,同时保证低秩的解决方案。我们包括精确和嘈杂的情况下的数值测试。在所有情况下,我们假设目标等级的知识是可用的。
2016-08-15 math.OC
Finding global solutions for a class of possibly nonconvex QCQP problems through the S-lemma
本文给出了一类新的可能非凸二次约束二次规划(QCQP)问题(记作S-QCQP)的全局最优性的充分必要条件.该类由QCQP问题组成,其中二次分量的矩阵由标量乘以单位矩阵形成。我们的结果依赖于一个广义版本的S-引理,在一般的QCQP问题的上下文中。此外,我们证明了S-QCQP的SDP和SOCP松弛的正确性。
2022-06-01 math.OC
On the Semidefinite Duality of Finite-Horizon LQG Problem
本文的目的是通过半定规划(SDP)问题的拉格朗日对偶,研究随机线性定常系统的线性二次高斯(LQG)控制问题的基本原理。特别是,我们推导出有限时域LQG问题的SDP公式,及其拉格朗日对偶。证明了LQG的Riccati方程可以导出相应SDP问题的KKT最优性条件。此外,所提出的原问题有效地简化了系统矩阵和增益矩阵。这使我们能够开发新的凸松弛的非凸结构控制设计问题,如分散控制问题。我们希望这项工作将提供新的见解LQG问题,并可能促进各种最优控制问题的新配方的发展。数值算例验证了所提方法的有效性。
2021-08-15 cs.SY eess.SY math.OC
Using L1-relaxation and integer programming to obtain dual bounds for sparse PCA
主成分分析(PCA)是数据分析中应用最广泛的降维工具之一。PCA方向是具有非零负载的所有特征的线性组合--这妨碍了可解释性。稀疏PCA(SPCA)是一个框架,通过在特征权重中加入额外的稀疏性要求来增强可解释性。然而,与PCA不同,SPCA问题是NP难的。解决SPCA的大多数传统方法都是没有保证的算法,例如通过相关的对偶边界证明解决方案质量的最优性。双边界可通过基于标准半定规划(SDP)的松弛来获得,其可能不紧,并且SDP难以通过现成的求解器来缩放。在本文中,我们提出了一个凸整数规划(IP)的框架来获得对偶边界。我们方法的核心是所谓的$\ell_1$ -SPCA的放松。虽然$\ell_1$ -松弛导致$\ell_0$ -稀疏线性回归及其相关函数的凸优化问题,但它导致PCA问题的非凸优化问题。我们首先表明,$\ell_1$ -松弛给出了一个紧的乘法界SPCA。然后,我们展示了如何使用标准的整数规划技术,进一步放宽到一个凸IP的$\ell_1$ -松弛。我们提出了最坏情况下的结果,从凸IP的对偶界的质量。我们观察到,双重界限显着优于最坏情况下的性能,并优于SDP界限在一些现实生活中的情况。此外,使用商业IP求解器求解凸IP模型似乎比使用商业求解器求解SDP松弛更好地扩展。据我们所知,我们获得了最好的对偶边界的真实和人工的SPCA问题的协方差阵的大小高达$2000\times 2000$的…
2021-08-17 math.OC
A Fine Line: Total Least-Squares Line Fitting as QCQP Optimization
University of Toronto(多伦多大学)
本文使用总体最小二乘(TLS)线拟合问题作为画布,探索一些现代优化工具。这篇文章本质上是教程性的。TLS问题与机器人和计算机视觉中的重要问题有很多数学相似之处,但更容易可视化和理解。我们演示了如何把这个问题变成一个二次约束二次规划(QCQP),使它可以被铸造为一个特征问题或半定规划(SDP)。然后,我们转向更具挑战性的情况,其中使用Geman-McClure成本函数和M估计来拒绝离群数据点。使用Black-Rangarajan对偶,我们证明这也可以被转换为QCQP并作为SDP求解;然而,对于大量数据,SDP可能会很慢,因此我们展示了如何为更快的方法(如迭代重加权最小二乘(IRLS))构建最优性证书。
2022-06-10 cs.RO math.OC
Integer optimal control problems with total variation regularization: Optimality conditions and fast solution of subproblems
本文研究带全变差正则化的整数最优控制问题,通过有限维切换点问题推导一阶和二阶局部最优性条件,并提出基于 Bellman 最优性原理的近端梯度算法快速求解离散子问题。
2022-07-12 math.OC
A Method for Quickly Bounding the Optimal Objective Value of an OPF Problem using a Semidefinite Relaxation and a Local Solution
最优潮流是电力系统运行中的一个重要问题。由于最优潮流问题的非凸性,可能存在多个局部最优解。证明获得整体解对于OPF问题的某些应用是重要的。许多全局优化技术计算最优性间隙,该最优性间隙将对应于来自局部解算法的可行点的可实现目标值与来自凸松弛技术的目标值界限进行比较。而不是传统的做法,完全分离的局部解和凸松弛计算,本文提出了一种方法,利用局部解的信息,使用半定规划(SDP)松弛的目标值界的计算速度。计算易处理性的改善伴随着所得客观值界的紧密性降低的权衡。数值实验说明了这种权衡,与所提出的方法是更快,但比SDP松弛和更慢,但更紧比二阶锥规划(SOCP)和二次凸(QC)松弛许多大型测试用例。
2019-06-14 math.OC
Extended Trust-Region Problems with One or Two Balls: Exact Copositive and Lagrangian Relaxations
对于两个二次约束和多个线性约束下的非凸二次最优化问题,建立了一个保证精确共正松弛的几何条件,并用广义Karush-Kuhn-Tucker乘子给出了全局最优性的充分条件.余正松弛比通常的拉格朗日松弛更紧。我们说明这一点,提供了一个完整的类二次最优化问题,享受正松弛的精确性,而通常的拉格朗日对偶间隙是无限的。最后,我们还提供了可验证的条件下,通常的拉格朗日松弛和共正松弛是精确的扩展CDT(两球置信域)问题。重要的是,该充分条件可以通过求解线性最优化问题来验证。
2017-10-02 math.OC
Orthogonal Trace-Sum Maximization: Applications, Local Algorithms, and Global Optimality
本文研究Stiefel流形上乘积矩阵二次型迹和的最大化问题。这个正交迹和最大化(OTSM)问题推广了许多有趣的问题,例如广义典型相关分析(CCA)、Procrustes分析和诺贝尔奖的低温电子显微镜。对于这些应用程序,寻找全局解决方案是非常可取的,但它一直不清楚如何找到一个稳定点,更不用说测试其全局最优性。本文通过对Ky Fan(1949)关于对称矩阵最大特征值和的变分公式的经典结果及其半定规划(SDP)松弛的研究,首先给出了一个证明OTSM的稳定点全局最优性的简单方法.这种方法只需要检验一个对称矩阵是否是半正定的。这种分析的副产品是Shapiro-Botha(1988)和Zhang-Singer(2017)之间意想不到的强烈二元性。在证明了一个流行的算法广义CCA和Procrustes分析可能会产生振荡迭代后,我们提出了一个简单的修复,可证明地保证收敛到一个固定点。我们的算法和证书的组合揭示了OTSM的各种实例的新的全局最优解。
2021-02-06 math.OC stat.CO
Interior-Point Vanishing Problem in Semidefinite Relaxations for Neural Network Verification
Institute of Science Tokyo(东京科学研究所);Keio University(庆应大学)
该研究发现用于神经网络验证的SDP松弛存在内点消失问题,会随网络深度增加丧失严格可行性,提出五种解决方案可解决41%的总问题,同时指出传统ReLU上下界约束有害于可行性,为深度网络SDP验证提供了实用方案。
2025-06-12 cs.LG math.OC
Inverse Mixed Integer Optimization: Polyhedral Insights and Trust Region Methods
逆优化,确定使给定解最优的最优化问题的参数,近年来受到越来越多的关注。虽然有显着的逆优化文献存在的凸优化问题,有一些离散问题的进展,尽管无处不在的应用程序,从根本上依赖于离散决策。在本文中,我们提出了一套新的理论见解和算法的一般类逆混合整数线性最优化问题。具体而言,一般的最优性条件的特征建立和利用设计新的切割平面的解决方案的算法。通过一组广泛的计算实验,我们表明,我们的方法在解决迄今为止最大和最困难的情况下,提供了显着的改进现有的方法。
2021-09-01 math.OC
Inverse Mixed Integer Optimization: An Interior Point Perspective
本文提出基于内点法解析中心概念的混合整数逆优化求解框架,通过双层规划量化绝对最优性间隙,数值实验表明其计算快速且在多数实例中优于置信域割平面法。
2025-04-07 math.OC
A trust-region method for optimal control of ODEs with continuous-or-off controls and TV regularization
Brandenburgische Technische Universität Cottbus–Senftenberg, Institute of Mathematics(勃兰登堡科技大学科特布斯-森夫滕贝格分校数学研究所)
本文提出了一种求解特定最优控制问题的算法,这些问题受常微分方程约束,控制具有连续或断开结构,并通过凸函数定价,同时应用总变分正则化来惩罚切换。方法结合了信赖域方法和近端梯度方法,子问题通过贝尔曼最优性原理求解,并证明了收敛性。数值示例中使用SIR模型解决了一个简单的最优控制问题。
2026-08-31 math.OC
Optimality Conditions for Bilevel Imaging Learning Problems with Total Variation Regularization
研究了全变差图像去噪中尺度相关的最优参数学习问题。这样的问题制定为双层优化实例与全变差去噪问题作为较低级别的约束。对于二层问题,我们能够推导出M-平稳性条件,在相应的Mordukhovich广义法锥的特征和验证合适的约束规格条件。在研究了低层解算子的Lipschitz连续性和方向可微性之后,我们还得到了B-平稳性条件。通过适当定义的线性系,给出了解映射的Bouligand次微分的一个特征。基于这一特征,我们提出了一个两阶段的非光滑信赖域算法的两层问题的数值解,并测试计算两个特定的实验设置。
2021-07-16 math.OC
Sensor Network Localization, Euclidean Distance Matrix Completions, and Graph Realization
我们研究了半定规划,传感器网络定位的\SDPc松弛,\SNLc锚和噪声距离信息。本文的主要观点是将\SNL视为一个(最近的)欧氏距离矩阵,\EDM,完成问题,并显示使用后者的优势,以及研究模型。我们首先表明,目前流行的\SDP松弛是等价于已知的松弛文献中的\EDM完成。问题中锚的存在是{ \em not}特殊的。锚的集合简单地对应于\EDM问题的图的给定固定团。接下来,我们提出了一种方法的投影时,一个大集团或稠密的子图被确定在底层图。该突起减小了松弛的尺寸,并提高了松弛的稳定性。此外,将问题视为一个\EDM完成问题,对于低维实现会产生更好的低秩近似。并且,可以针对其他给定的传感器集团或传感器集合重复投影/缩减过程,其中许多距离是已知的。因此,可以获得进一步的尺寸减小。最优性/对偶条件和原始-对偶通道-外部路径跟踪算法推导出\SDP松弛我们讨论的相对稳定性和强度的两个配方和相应的算法,所使用的。特别是,我们表明,二次制定所产生的\SDP松弛是更好的条件比线性化的形式,这是在文献中使用,并产生应用舒尔补。
2006-12-14 math.CO math.OC
On the Exactness of SDP Relaxation for Quadratic Assignment Problem
本文研究二次指派问题的半定松弛方法,在信号加噪声模型下证明当噪声足够小时SDR可精确恢复全局最小值,并给出纯代数充分条件及实验验证。
2024-08-12 cs.IT math.IT math.OC
Domain decomposition for integer optimal control with total variation regularization
针对全变差整数最优控制,提出一种全局收敛的坐标下降启发式区域分解算法,通过信赖域子问题与贪婪补丁选择,在基准问题上比现有方法更快。
2025-08-06 math.OC
Chordal and factor-width decompositions for scalable semidefinite and polynomial optimization
半定规划和多项式优化的弦和因子宽度分解方法最近已使大型线性系和中型非线性系统的分析和控制成为可能。弦分解利用了半定规划(SDP)中半定矩阵的稀疏性,从而可以更有效地求解具有较小半定约束的等价SDP。因子宽度分解,而不是放松或加强SDP与密集的半定矩阵到更容易处理的问题,交易的可行性或最优性较低的计算复杂性。本文综述了这两种分解方法在大规模半定和多项式优化方面的最新进展,突出了它们之间的联系和区别。我们还表明,弦和因子宽度分解允许显着的计算节省了一系列的经典问题,从控制理论,和最近的问题,从机器学习。最后,我们概述了未来研究的可能方向,有可能促进高效的优化为基础的研究日益复杂的大型动力系统。
2021-07-06 cs.SY eess.SY math.DS
On local minimizers of generalized trust-region subproblem
广义置信域子问题(GT)是一个具有单一二次约束的非凸二次优化问题。当约束集是欧氏球时,它归结为经典的置信域子问题(T). (GT)基于其固有的隐藏凸性是多项式可解的。本文研究了(GT)的局部极小问题.与(T)至多有一个局部非线性极小不同,我们可以证明二维(GT)至多有两个局部非线性极小,并通过例子证明了这两个局部非线性极小是可达到的。本文的主要贡献是证明了在(GT)的任何局部非线性极小点处,不仅严格互补条件成立,而且标准的二阶充分最优性条件仍然是必要的.作为推论,找到(GT)的所有局部非线性极小或证明其不存在性可以在多项式时间内完成。最后,对复域上的(GT),我们证明了不存在局部非线性最小值,这说明实值最优化问题可能比复值问题更难求解.
2021-09-13 math.OC
First- and Second-Order High Probability Complexity Bounds for Trust-Region Methods with Noisy Oracles
本文提出一种修正的信赖域方法,针对函数值、梯度和Hessian估计带噪声且预言机不假设无偏一致的情形,采用松弛步长接受准则与谨慎半径更新策略,推导出收敛至近似一阶和二阶最优点的迭代复杂度指数衰减尾部界,并通过两组数值实验验证理论紧致性与算法性能。
2023-07-01 math.OC
An Optimal Interpolation Set for Model-Based Derivative-Free Optimization Methods
该研究证明了无导数信赖域方法中常用的初始插值集具备最小化起点球内良置常数的最优性,为NEWUOA等多种基于欠定二次插值的无导数优化方法的默认插值集选择提供了理论支撑。
2024-10-09 math.OC