Fast entropy-regularized SDP relaxations for permutation synchronization
提出针对部分排列同步(PPS)的快速熵正则化SDP松弛随机算法,解决了优化器非唯一性问题并保持循环一致性,在速度与精度上达到SOTA。
2025-06-25 cs.NA math.NA math.OC
Non-Convex Joint Community Detection and Group Synchronization via Generalized Power Method
the Chinese University of Hong Kong(香港中文大学)
本文提出了一种广义功率方法(GPM),以直接的非凸方式同时解决社区检测和组同步问题。理论分析表明,在随机群块模型(SGBM)下,该算法能够在$O(n\log^2n)$时间内准确地恢复地面真实值,在$O(n^{3.5})$时间上明显优于半定规划(SDP)基准方法.此外,作为精确恢复GPM的必要条件,给出了参数的下界。新的界限突破了信息理论的纯社区检测随机块模型(SBM)下的阈值,从而证明了我们的同时优化算法的优越性,平凡的两阶段的方法,连续执行这两项任务。我们还对GPM和SDP进行了数值实验,以证明和补充我们的理论分析。
2021-12-28 cs.LG math.OC stat.ML
Benign landscape for Burer-Monteiro factorizations of MaxCut-type semidefinite programs
本文针对MaxCut型半定规划,给出了Burer-Monteiro分解下非凸问题的良性景观条件,即拉普拉斯矩阵条件数满足某尖锐条件时,任何二阶临界点均为全局最优,并改进了同步与Kuramoto模型的近期结果。
2025-03-26 cs.CC math.OC stat.ML
Near-optimal bounds for phase synchronization
相位同步的问题是从复数单位模向量$z$的噪声成对相对测量值$C = zz^* + σW$中估计出它们的相位(角度),其中$W$是复值高斯随机矩阵。最大似然估计(MLE)是一个解决单位模约束二次规划问题,这是非凸的。已有的工作提出了多项式时间算法,如半定松弛(SDP)方法或广义幂方法(GPM)来解决它。数值实验表明,这两种方法都成功的概率高$σ$到$\tilde{\mathcal{O}}(n^{1/2})$,然而,现有的分析只证实了这一观察$σ$到$\mathcal{O}(n^{1/4})$。在本文中,我们弥补了这一差距,证明SDP是紧的$σ= \mathcal{O}(\sqrt{n /\log n})$,和GPM收敛到全局最优在同一制度下。此外,我们建立了一个线性收敛速度的GPM,并推导出一个更严格的$\ell_\infty$界的MLE。在本文中,我们开发的一种新技术是跟踪(理论上)$n$密切相关的迭代序列,除了GPM实际产生的迭代序列。作为一个副产品,我们得到了一个$\ell_\infty$扰动界的领导特征向量。我们的结果也证实了使用统计力学技术的直觉。
2017-03-20 math.OC
On recovery guarantees for angular synchronization
从已知的噪声成对差估计一组未知角度的角同步问题出现在各种应用中。它可以转化为一个涉及图拉普拉斯矩阵的图上的最优化问题。我们考虑这个问题的一个一般的加权版本,其中噪声的影响在不同的条目对之间不同,并且一些差异被完全消除;例如,这个版本出现在重叠关联中。我们研究了两种常用的方法,即特征向量松弛法和半定凸松弛法。虽然这两种方法都有一定的恢复保证,但它们的性能要么不令人满意,要么仅限于未加权图。我们关闭这一差距,推导出的加权问题,完全类似于未加权版本的恢复保证。
2022-09-08 cs.NA math.NA math.OC
Synchronization over $Z_2$ and community detection in multiplex signed networks with constraints
从成对比的噪声测量中找到群元素也被称为群同步问题,首先在平面旋转的群SO(2)的背景下引入,其有用性最近在工程和结构生物学中得到了证明。在这里,我们专注于同步在$\mathbb{Z}_2$,并考虑在一个多路复用网络中识别社区的问题时,节点之间的相互作用所描述的签署(可能加权)的相似性的措施,当多路复用网络有一个自然的分区成两个社区。当一个有额外的信息,某些子集的节点表示相同的未知组元素,我们考虑和比较几种算法的基础上频谱,半定规划(SDP)和消息传递算法。换句话说,这样的子集内的所有节点表示相同的未知群元素,并且在属于不同的非重叠子集的节点对之间具有可用的噪声成对测量。继最近对SO(2)上同步的特征向量方法的分析之后,我们利用随机矩阵理论文献的结果,分析了当成对测量的基础图是Erdens-Rényi随机图时,$\mathbb{Z}_2$上同步的特征向量方法对噪声的鲁棒性.我们还提出了一个消息传递同步算法,优于现有的特征向量同步算法,只为某些类的图形和噪声模型,并享有的灵活性,将其他频谱或基于SDP的方法可能不容易容纳的约束。我们将我们的方法应用于几个合成模型和一个真实的数据集的唱名投票模式在美国国会跨时间,以确定两个现有的社区,即,民主党和共和党。
2015-04-15 cs.SI math.OC physics.soc-ph
Design of optimal sparse interconnection graphs for synchronization of oscillator networks
Syracuse University(雪城大学);University of Minnesota(明尼苏达大学)
研究通过优化电导网络设计实现振荡器同步,提出权衡同步性能与耦合稀疏性的凸优化问题,并给出半定规划形式及特殊情形下的解析解。
2013-10-11 cs.SY eess.SY math.OC
A Certifiably Correct Algorithm for Synchronization over the Special Euclidean Group
Massachusetts Institute of Technology(麻省理工学院);New York University(纽约大学)
许多几何估计问题采取特殊欧几里德群上的同步的形式:估计一组姿态的值,给出其成对相对变换的子集的噪声测量。这个问题通常是制定为一个最大似然估计,需要解决一个非凸的非线性规划,这是计算上棘手的一般。然而,在本文中,我们提出了一种算法,能够有效地恢复可证明的全球最优解的估计问题在非对抗性噪声制度。我们的方法的关键是发展的半定松弛的最大似然估计,其最小化提供了确切的MLE,只要破坏可用测量的噪声的幅度低于一定的临界阈值;此外,每当获得准确性,它是可以验证这一事实的后验,从而证明恢复的估计的最优性。我们开发了一个专门的优化方案来解决大规模的情况下,这个半定松弛利用其低秩,几何和图论结构,以减少它的等价优化问题的低维黎曼流形,然后设计一个黎曼截断牛顿信赖域方法来有效地解决这个减少。我们将这种快速优化方法与一个简单的舍入过程相结合,产生我们的算法,SE-Sync。对各种模拟和真实世界的姿势图SLAM数据集的实验评估表明,当可用的测量值被噪声破坏时,SE-Sync能够恢复全局最优解,其数量级大于机器人应用中通常遇到的数量级,并且这样做的计算成本与直接牛顿型局部搜索技术的计算成本相当。
2017-02-10 cs.RO math.OC
Solving Orthogonal Group Synchronization via Convex and Low-Rank Optimization: Tightness and Landscape Analysis
群同步的目的是从它们的噪声成对测量中恢复群元素。它在社区检测、时钟同步和联合对准问题中有着广泛的应用。本文主要研究了低温电磁学和计算机视觉中常用的正交群同步方法。然而,通过寻找最小二乘估计来检索组元素通常是NP困难的。本文首先研究了正交群同步的半定规划松弛及其紧性,即,SDP估计器完全等于最小二乘估计器。此外,我们调查的性能的Burer-Monteiro分解在解决SDP松弛通过分析其相应的优化景观。我们提供了确定性的充分条件,保证:(i)SDP松弛的紧密性;(ii)由Burer-Monteiro方法产生的优化景观是良性的,即,全局最优值恰好是最小二乘估计器,并且不存在其它伪局部最优值。我们的结果提供了一个坚实的理论证明,为什么Burer-Monteiro方法是非常有效的,有效的解决大规模的SDPs所产生的正交群同步。我们进行数值实验,以补充我们的理论分析,这为未来的研究方向提供了见解。
2020-06-01 cs.IT math.IT math.OC
Non-Euclidean dual gradient ascent for entropically regularized linear and semidefinite programming
提出一种基于 von Neumann 熵正则化与对偶梯度上升的优化框架,在半定规划与线性规划中实现了维度无关的收敛速率与计算缩放。
2025-07-01 cs.NA math.NA math.OC
The non-convex Burer-Monteiro approach works on smooth semidefinite programs
Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院);New York University(纽约大学)
本文研究了非凸布勒-莫内伊方法在解决包含最大割、社区检测、鲁棒PCA等应用的半正定规划中的有效性,证明此类低秩方法几乎不存在伪局部最优解。
2018-04-10 cs.NA math.NA math.OC
Semidefinite Programming versus Burer-Monteiro Factorization for Matrix Sensing
UC Berkeley(加州大学伯克利分校)
许多基本的低秩最优化问题,如矩阵完备化、相位同步/恢复、电力系统状态估计和鲁棒PCA,都可以用矩阵传感问题来表示。求解矩阵传感问题的两种主要方法是基于半定规划(SDP)和Burer-Monteiro(B-M)分解。SDP方法具有较高的计算复杂度和空间复杂度,而B-M方法由于问题的非凸性可能返回伪解。这些方法成功的现有理论保证导致了类似的保守条件,这可能错误地暗示这些方法具有可比的性能。在本文中,我们阐明了这两种方法之间的一些主要差异。首先,我们提出了一类结构矩阵完备化问题,B-M方法失败的压倒性的概率,而SDP方法的工作正确。其次,我们确定了一类高度稀疏矩阵完成问题的B-M方法的作品和SDP方法失败。第三,我们证明,虽然B-M方法表现出相同的性能独立的秩的未知的解决方案,SDP方法的成功是相关的秩的解决方案,并提高秩的增加。与现有的文献,主要集中在这些情况下的矩阵传感的SDP和B-M的工作,本文提供了第一个结果的独特的优点,每种方法的替代方法。
2022-08-15 cs.LG math.OC
Deterministic guarantees for Burer-Monteiro factorizations of smooth semidefinite programs
Princeton University(普林斯顿大学);Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所)
本文研究了在光滑半正定规划中使用Burer-Monteiro分解的确定性保证,展示了当约束集在Y上定义出光滑流形时,即使存在非凸性,一阶和二阶必要最优条件也成立,且对于较大的p值,可以保证全局最优解。
2019-05-28 cs.NA math.NA math.OC
Solving SDPs for synchronization and MaxCut problems via the Grothendieck inequality
许多统计估计问题可以用半定规划(SDP)来解决。虽然SDP可以使用内点方法在多项式时间内求解,但在实践中,通用SDP求解器不能很好地扩展到高维问题。为了解决这一问题,Burer和Monteiro提出了一种非凸秩约束形式,该形式在实际应用中具有良好的性能,但在理论上还没有得到很好的理解。在本文中,我们研究的秩约束版本的SDP中产生的MaxCut和同步问题。我们建立了一个Grothendieck型不等式,证明了所有的局部极大值和危险鞍点都在一个小的乘法间隙从全局极大值。我们使用这种结构的信息来证明,SDPs可以解决在一个已知的精度,通过应用黎曼信赖域方法,这个非凸问题,同时限制秩为一阶。对于MaxCut问题,我们的不等式意味着,当秩固定为$k$时,秩约束SDP的任何局部最大化者提供MaxCut的$ (1 - 1/(k-1)) \times 0.878$近似。然后,我们将我们的结果应用到根据高斯${\mathbb Z}_2$同步问题生成的数据矩阵,和两组随机块模型具有大的有界度。我们证明了局部最大化实现的错误经历了一个相变在相同的阈值信息理论上的最佳方法。
2017-03-29 math.OC stat.ML
Improved Global Landscape Guarantees for Low-rank Factorization in Synchronization
New York University Shanghai(纽约大学上海分校)
本文研究低秩分解在同步问题中的优化景观,分析其非凸性并提供更优的条件数依赖保证,改进了现有结果并应用于广泛示例。
2026-03-15 math.OC
Linear Programming and Community Detection
两个大小相等的社区的社区发现问题与某些随机图模型上的最小图二分问题密切相关。在具有社团结构的网络上的随机块模型分布中,一个著名的半定规划(SDP)松弛的最小二分法问题尽可能地恢复底层社团。出于其优越的可扩展性,我们研究了线性规划(LP)松弛的最小二分法问题的相同的随机模型的理论性能。我们发现,与SDP松弛,经历了在对数平均度制度的相变,LP松弛表现出从恢复到非恢复的线性平均度制度的过渡。我们发现,在对数平均度制度,LP松弛未能恢复种植平分的概率很高。
2022-05-12 cs.DS math.OC
On the simplicity and conditioning of low rank semidefinite programs
Cornell University(康奈尔大学)
低秩矩阵恢复问题广泛出现在统计学、组合学和成像学中。解决这些问题的一个著名方法是制定和解决一个半定规划(SDP)。通常已知,具有完美数据的SDP的精确解恢复原始低秩矩阵恢复问题的解。更具有挑战性的是,要证明用有噪声的问题数据制定的SDP的近似解可接受地解决了原始问题;参数通常是针对每个问题设置的,并且可能很复杂。在本说明中,我们确定了一组条件,我们称之为简单性,限制由于噪声问题数据或不完全收敛的错误。从这个意义上说,简单的SDP是鲁棒的:简单的SDP可以在规模上(近似)有效地求解;并且即使在有噪声的数据下,所得到的近似解也是可信的。此外,我们表明,简单持有一般,也为许多结构化的低秩矩阵恢复问题,包括随机块模型,$\mathbb{Z}_2$同步,矩阵完成。形式上,我们称一个SDP是单的,如果它有一个满射约束映射,有唯一的原始解和对偶解对,并且满足强对偶和严格互补。然而,简单并不是万能的:我们表明,Burer-Monteiro制定的SDP可能有虚假的二阶临界点,即使是一个简单的SDP秩1的解决方案。
2021-07-23 cs.LG math.OC stat.ML
Nonconvex landscapes for $\mathbf{Z}_2$ synchronization and graph clustering are benign near exact recovery thresholds
Institute of Mathematics, EPFL(洛桑联邦理工学院数学研究所);Department of Mathematics, ETH Zurich(苏黎世联邦理工学院数学系)
研究了源于Z₂同步的非凸优化景观,证明在精确恢复阈值附近,非凸景观具有良性特性,通过概率分析提供了三种基准问题的渐近保证。
2024-07-18 math.OC math.ST stat.TH
Local Geometry Determines Global Landscape in Low-rank Factorization for Synchronization
本研究证明在低秩分解中,若自由度超过全局极小值处拉普拉斯算子条件数的两倍,则非凸优化景观无虚假局部极小值,且对单调对抗鲁棒。
2025-02-27 cs.IT math.IT math.OC
Optimal network design for synchronization of coupled oscillators
本文研究的问题,设计网络的不同的耦合振荡器,以达到所需的水平的相位凝聚力,定义为最大渐近相位差的边缘的网络。特别是,我们考虑以下两个设计问题:(i)频率设计问题,其中我们调整振荡器的固有频率给定网络的拓扑结构,(ii)(鲁棒)边权重设计问题,其中我们设计边权重假设固有频率给定(或属于给定的凸不确定性集)。对于这两个问题,我们优化的目标函数的设计变量,同时考虑所需水平的相位内聚性作为我们的设计约束。该约束在中频设计问题中定义了一个凸集。相比之下,在边权重设计问题中,相位内聚性约束产生非凸集,除非底层网络是具有相同边权重的树或任意图。然后,我们提出了一个凸半定松弛近似解决(非凸)边权重设计问题的一般(可能是循环)网络与不相同的边权重。我们说明了我们的研究结果的适用性,通过分析几个网络设计问题的实际利益,如电力再调度电网,稀疏网络设计,(鲁棒)网络设计分布式无线模拟时钟,并检测边缘导致Braess'悖论在电网中。
2017-06-07 math.DS math.OC nlin.AO
Message-passing algorithms for synchronization problems over compact groups
Massachusetts Institute of Technology(麻省理工学院);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
在低温电子显微镜、社区发现、时间同步、计算机视觉和其他领域中出现的各种对准问题都属于紧群(如Z/L、U(1)或SO(3))上的同步问题的共同框架。这些问题的目标是估计一个未知的向量组元素噪声相对观测。我们提出了一个有效的迭代算法来解决这些问题的一大类,允许任何紧凑的组,测量多个“频率通道”(傅立叶模式,或更一般地说,不可约表示的组)。我们的算法是一个高效的迭代法的蓝图近似消息传递(AMP),最近出现的推理问题,如结构化的低秩估计和压缩感知的核心技术。我们增加了AMP的标准思想与表示理论的思想,使算法可以与分布在紧凑的群体。使用统计物理学中标准但不严格的方法,我们分析了我们的算法在高斯噪声模型上的行为,确定了问题容易、(计算上)困难和(统计上)不可能的阶段。特别是,这样的证据预测,我们的算法是信息理论上的最佳在许多情况下,和其余的情况下,显示证据的理论计算差距。
2016-10-14 cs.CV cs.DS cs.IT
Block-Coordinate Minimization for Large SDPs with Block-Diagonal Constraints
Massachusetts Institute of Technology(麻省理工学院)
所谓的Burer-Monteiro方法是一种通过低秩分解求解大规模半定规划(SDP)的技术。其主要思想是解决排名限制,虽然非凸,代理人,而不是SDP。最近的工作表明,在一类重要的SDP优雅的几何结构,可以找到全局最优解的SDP通过寻找秩亏二阶临界点的无约束黎曼最优化问题。因此,在这样的问题中,Burer-Monteiro方法可以提供一个可扩展的和可靠的替代方案,可扩展性差的邻域点方法。在众多的黎曼最优化方法中,块坐标最小化方法因其简单性而备受关注。Erdogdu等人在他们最近的工作中提出了单位球面上笛卡儿积问题的迭代算法,并给出了算法的整体收敛速度估计。本文将Erdogdu等人的算法和整体收敛率分析从单位球面的笛卡儿积问题推广到Stiefel流形的笛卡儿积问题.后者更一般的设置有重要的应用,如同步的特殊正交(SO)和特殊欧几里德(SE)组。
2019-08-28 cs.LG math.OC
Convergence Rate of Block-Coordinate Maximization Burer-Monteiro Method for Solving Large SDPs
University of Toronto(多伦多大学);Massachusetts Institute of Technology(麻省理工学院)
带对角约束的半定规划问题在最大割、社团检测、群同步等最优化问题中得到了广泛的应用。虽然SDPs可以在多项式时间内求解到任意精度,但通用凸解算器不能很好地与问题的维度相匹配。为了解决这个问题,Burer和Monteiro提出通过低秩分解来降低问题的维数,并解决随后的非凸问题。在本文中,我们提出了基于坐标上升的方法来解决这个非凸问题,可证明的收敛保证。更具体地说,我们证明了适用于非凸Burer-Monteiro方法的块坐标最大化算法全局收敛到一个一阶稳定点,具有次线性速率,而无需对问题进行任何假设。我们进一步表明,该算法的收敛线性局部极大值的目标函数呈现二次衰减。我们建立了这个条件一般成立时,因式分解的秩是足够大的。此外,将Lanczos方法的块坐标最大化,我们提出了一种算法,保证返回一个解决方案,提供$1-O(1/r)$近似的原始SDP没有任何假设,其中$r$是排名的因式分解。这个近似比在唯一博弈猜想下是最优的(直到常数),我们可以明确量化迭代次数以获得这样的解。
2019-11-26 cs.LG math.OC stat.ML
Semi-Supervised Clustering of Sparse Graphs: Crossing the Information-Theoretic Threshold
University of California(加利福尼亚大学)
本文研究稀疏随机块模型中的聚类阈值问题,证明任意比例的已知标签即可使检测在全参数域可行,并给出组合与优化两种高效半监督算法。
2024-02-28 cs.LG math.OC math.PR