A Non-Degenerate Perturbation of the Assignment Polytope and its Application to Graph Matching
我们考虑在分配多面体上极大化一个连续凸函数。这些问题出现在图匹配(图同构的优化版本)和二次指派问题中。在最大化多面体上的凸函数的典型情况下,该问题可以通过使用诸如Tuy方法或Falk-Hoffman方法的单纯算法来解决,但是这些算法要求基础多面体是非退化的,这不是分配多面体的情况。在本说明中,我们将展示如何使用一个简单的扰动方案来创建一个“代理问题”,这是非退化和组合等价的原始问题。我们进一步提供了一个明确的代理问题,是非退化和组合等价的图匹配问题,当后者是作为一个凸最大化问题的建设。通过构建一个代理问题,已知先验的非退化和组合等价的图匹配,我们解决了一个“开放的问题”解决图匹配通过凸最大化首先提出的Maciel。
2014-12-08 math.CO math.OC
Reciprocal Convex Costs for Ratio Matching: Functional-Equation Characterization and Decision Geometry
Recognition Physics Research Institute
本文研究了比例匹配中互反凸成本的数学特性,通过函数方程和决策几何分析,揭示了成本结构与优化原理的关系。
2026-01-20 math.OC
Multivariate moment matching for model order reduction of quadratic-bilinear systems using error bounds
针对二次双线性广义系统的模型降阶问题,提出了一种自适应矩匹配框架。在这个框架中,一个重要的问题是选择那些要实现力矩匹配的移位频率。通常,选择是随机的或与非线性系统的线性部分相关联。在本文中,我们将现有的一般线性定常系统的后验误差界的使用扩展到二次双线性系统,并开发了一个贪婪型框架来选择一个很好的选择插值点的投影矩阵的建设。与标准的二次双线性投影方法的结果进行了比较,我们观察到,所提出的方法得到的近似产生高精度。
2021-05-27 math.OC
Joint Pricing and Matching for Resource Allocation Platforms via Min-cost Flow Problem
本文研究资源分配平台中价格与二分图匹配的联合优化问题,在价格影响节点概率分布的设定下,基于可精确求解的凸最小费用流问题提出了(1-1/e)近似算法。
2024-04-30 math.OC
Time-Domain Moment Matching for Second-Order Systems [Extended Version]
Wageningen University & Research(瓦赫宁根大学与研究中心);Politehnica University of Bucharest(布加勒斯特理工大学);”Gheorghe-Mihoc–Caius Iacob” Institute of Statistical Mathematics and Applied Mathematics of the Romanian Academy(罗马尼亚科学院“格奥尔基-米霍克-卡伊乌斯·亚各布”统计数学与应用数学研究所)
提出二阶时域矩匹配框架,通过求解二阶Sylvester方程实现结构保持的模型降阶,并扩展到双侧匹配、导数匹配及MIMO系统。
2026-07-02 math.OC
Exact Recovery with Symmetries for Procrustes Matching
Procrustes匹配(PM)问题是寻找两个点集的最佳刚体运动和标记,使它们尽可能接近的问题。刚性和非刚性形状匹配问题都可以用PM问题表示。最近[Maron et al.]提出了一种新的凸半定规划松弛(PM-SDP)的PM,实现了最先进的结果在常见的形状匹配基准。本文分析了PM-SDP在求解无噪声PM问题(精确PM问题)中的成功性。我们首先展示精确PM在计算上等价于图同构问题。我们证明了一些自然的理论性质的放松,并使用这些属性与[Lasserre]的时刻解释一起表明,对于精确PM问题和(通用)输入形状是不对称或双边对称的,放松返回PM的正确解决方案。对于对称形状,PM有多种解决方案。PM的最优解的非凸集严格包含在PM-SDP的最优解的凸集中,使得PM-SDP的“大多数”解不是PM的解。我们处理这一点,显示PM的解决方案集的解决方案集的PM-SDP的极值点,并建议一个随机算法,返回的解决方案PM的概率为1,并返回所有解决方案的PM具有相同的概率。我们还证明了这些结果可以推广到几乎精确的情况。据我们所知,我们的工作是第一个在存在多种解决方案的情况下实现精确回收的工作。
2017-11-29 math.OC
Piecewise SOS-Convex Moment Optimization and Applications via Exact Semi-Definite Programs
本文提出含分段SOS凸函数与投影谱多面体支撑集的无限维矩优化问题的精确SDP重构,可单次求得最优值与概率测度,并通过Newsvendor和收益最大化问题验证。
2024-07-02 math.OC
A Stochastic Derivative Free Optimization Method with Momentum
我们考虑的问题,无约束极小化的光滑的目标函数在$\mathbb{R}^d$设置只有功能评估是可能的。提出并分析了带重球动量的随机零阶方法。特别是,我们建议,SMTP,动量版本的随机三点法(STP)\cite{Bergou_2018}。我们证明了新的复杂性结果的非凸,凸和强凸函数。我们测试我们的方法在几个MuJoCo \cite{Todorov_2012}环境中学习到不同难度的连续控制任务的集合上,并与STP,其他最先进的无导数优化算法和策略梯度法进行比较。SMTP显著优于STP和我们在数值实验中考虑的所有其他方法。我们的第二个贡献是SMTP与重要性抽样,我们称之为SMTP_IS。我们提供这种方法的收敛性分析非凸,凸和强凸的目标。
2020-02-16 math.OC
MINA: Convex Mixed-Integer Programming for Non-Rigid Shape Alignment
MPI Informatics Saarland Informatics Campus(萨尔州大学信息学研究所(MPI Informatics)萨兰兹信息学园区(Saarland Informatics Campus))
我们提出了一个非刚性形状匹配的凸混合整数规划公式。为此,我们提出了一种新的形状变形模型的基础上,一个有效的低维离散模型,以便找到一个全局最优的解决方案是易于处理的(大多数)实际情况下。我们的方法结合了几个有利的属性:它是独立的初始化,它是更有效地解决到全局最优相比,类似的二次分配问题的配方,它是高度灵活的,它可以处理的匹配问题的变体。实验上,我们证明了我们的方法优于现有的稀疏形状匹配方法,它可以用于初始化密集形状匹配方法,我们展示了它的灵活性在几个例子。
2020-02-28 cs.CV cs.GR cs.LG
Fast Convex Relaxations using Graph Discretizations
University of Siegen(锡根大学);Westfälische Wilhelms-Universität Münster(明斯特大学)
匹配和分割问题是计算机视觉应用的基础,在多标记分割、立体估计和光流计算中具有示例。这些任务可以被视为非凸能量最小化问题,并通过最近的凸提升方法获得近全局最优解。然而,应用这些技术伴随着大量的计算工作,降低了它们在实际应用中的可行性。我们讨论空间离散化连续分区问题到一个图形结构,广义离散到笛卡尔网格。这种设置使我们能够忠实地在SLIC或Cut-Pursuit构建的超像素图上工作,与笛卡尔网格相比,大大减少了提升分区问题的计算工作量,而最佳能量值保持相似:全局匹配仍然接近全局最优。我们详细讨论了这种方法,并显示在多标签分割的最小分区和立体声估计的例子,在那里我们证明,建议的图形离散化可以减少运行时间以及内存消耗的凸松弛匹配问题的一个因素的10。
2020-09-11 cs.CV math.OC
Moment matching based reduced closed-loop design to achieve asymptotic performance
本文通过揭示内模原理与时域矩匹配的关系,提出基于矩匹配的降阶闭环设计方法,在保证稳定性和渐近性能的同时实现低阶控制器设计。
2024-05-03 math.DS math.OC
On model reduction by least squares moment matching
针对连续时间、线性、定常系统,研究了最小二乘矩匹配模型降阶问题。最小二乘矩匹配背后的基本思想是通过确保在最小二乘意义上满足由矩匹配施加的插值条件来近似传递函数。这个想法是重新使用不变性方程和稳态响应,提供一个新的最小二乘矩匹配的时域表征。的表征,反过来,然后用于获得一个参数化的家庭的模型实现最小二乘矩匹配。通过算例说明了理论的正确性。
2021-09-24 cs.SY eess.SY math.OC
On Moment Matching for Stochastic Systems
本文研究随机系统的矩匹配模型降阶问题。我们描述的数学对象,它的概念推广的时刻随机微分方程,我们发现一类模型,实现矩匹配。然而,不同于确定性的情况下,这些降阶模型不能被认为是“简单”,因为高的计算成本支付确定的时刻。为了克服这个困难,我们放松的时刻匹配问题,在两种不同的方式,我们提出了两类降阶模型,近似匹配的随机时刻,是计算上容易处理的。
2021-05-04 cs.SY eess.SY math.OC
Model reduction by least squares moment matching for linear and nonlinear systems
本文利用最小二乘矩匹配的概念讨论了线性和非线性系统的模型降阶问题。对于线性系,主要思想是通过确保在最小二乘意义下满足由矩匹配施加的插值条件来近似传递函数。本文重温这一想法,使用输出调节理论的工具,提供一个新的时域表征的最小二乘矩匹配。它示出,最小二乘矩匹配可以其特征在于在一个最优化问题涉及的不变性方程和误差系统的稳态行为。这种表征,反过来,然后被用来定义一个非线性增强的最小二乘矩匹配的概念,并开发一个模型约化理论的基础上的概念,最小二乘矩匹配的非线性系统。实现最小二乘矩匹配的模型的参数化的家庭被确定为线性和非线性系统。新的参数化承认自然的几何和系统理论的解释。数值算例说明了理论的正确性。
2021-10-12 cs.SY eess.SY math.OC
Chebushev Greedy Algorithm in convex optimization
Chebyshev贪婪算法是Hilbert空间中著名的正交匹配追踪算法在Banach空间中的推广。我们应用此算法构造稀疏近似解(相对于一个给定的字典)凸优化问题。证明了一类Lebesgue型不等式的收敛速度。
2013-12-04 math.OC stat.ML
Random Scaling and Momentum for Non-smooth Non-convex Optimization
Boston University(波士顿大学)
本文提出通过在SGDM中引入指数分布随机缩放实现非凸非光滑优化的最优收敛性,扩展了传统凸光滑优化的分析框架。
2026-03-13 cs.LG math.OC
Unified Convergence Analysis of Stochastic Momentum Methods for Convex and Non-convex Optimization
最近,{ \it随机动量}方法已被广泛用于训练深度神经网络。然而,他们的收敛性分析仍然是欠探索的时刻,特别是对非凸优化。本文通过对两种随机动量法,即随机重球法和Nesterov加速梯度法的随机变体的基本收敛性分析,填补了理论与实践之间的空白。我们希望本文所得到的基本收敛性结果能为随机动量方法的收敛性提供参考,也为今后随机动量方法的发展提供比较基准。本文提出的收敛性分析的新颖性是一个统一的框架,揭示了更多关于不同随机动量方法和随机梯度法之间的异同的见解。统一框架显示了从梯度法到Nesterov的加速梯度法以及最终由自由参数引起的重球法的连续变化,这可以帮助解释在深度学习的测试误差收敛行为中观察到的类似变化。此外,我们优化深度神经网络的经验结果表明,Nesterov加速梯度法的随机变体在三种随机方法中实现了良好的权衡(在训练误差的收敛速度和测试误差的收敛鲁棒性之间)。
2016-05-04 math.OC stat.ML
Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization
Stanford University(斯坦福大学)
本研究通过将分数匹配和去噪分数匹配转化为凸优化,为基于两层神经网络的扩散模型建立了理论框架,证明了浅层网络训练可归结为单个凸程序,并在有限数据下精确刻画了预测分数函数与收敛性。
2024-05-22 cs.LG math.OC
Bridging Abstraction-Based Hierarchical Control and Moment Matching: A Conceptual Unification
Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院电气电子工程系)
本文通过建立基于抽象的分层控制与矩匹配技术之间的概念桥梁,揭示了两者在线性系统中的关联与统一。
2025-12-07 cs.SY eess.SY math.OC
Blended Matching Pursuit
Georgia Institute of Technology(佐治亚理工学院);Zuse Institute Berlin(柏林祖斯研究所);Technische Universität Berlin(柏林工业大学)
匹配追踪算法是信号处理和机器学习中一类重要的算法。本文提出了一种混合匹配追踪算法,将类坐标下降法与强梯度下降法相结合,用于求解由原子集构成的线性空间上的光滑凸函数的最小值问题.我们推导出次线性到线性收敛速率,根据光滑和清晰度的功能,并证明我们的方法的计算优势。特别是,我们推导出线性率为广泛的一类非强凸函数,我们在实验中证明,我们的算法享有非常快的收敛速度和挂钟的速度,同时保持稀疏的迭代非常可比的(慢得多)正交匹配追求。
2019-11-19 cs.CC cs.LG math.OC
Convergence of a Stochastic Gradient Method with Momentum for Non-Smooth Non-Convex Optimization
KTH Royal Institute of Technology(瑞典皇家理工学院)
带动量的随机梯度法在应用中得到了广泛的应用,并且是许多流行机器学习库中优化子程序的核心。然而,他们的样本复杂性还没有得到超出那些凸或光滑的问题。对一类非光滑、非凸、有约束的最优化问题建立了带Polyak型动量项的随机次梯度法的收敛速度.我们的主要创新是一个特殊的李雅普诺夫函数,证明的复杂性,可以实现没有任何调整的动量参数的建设。对于光滑的问题,我们扩展了已知的复杂性约束的情况下,并演示了如何无约束的情况下,可以分析在较弱的假设比国家的最先进的。数值结果证实了我们的理论发展。
2021-02-11 cs.LG math.OC
On moment relaxations for linear state feedback controller synthesis with non-convex quadratic costs and constraints
本文提出一种基于状态和输入矩矩阵的线性状态反馈控制器设计方法,通过将非凸约束松弛为期望约束来处理非凸代价与约束,并揭示了凸化变量与矩矩阵块的对应关系。
2024-03-22 cs.SY eess.SY math.OC
Minibatch and Momentum Model-based Methods for Stochastic Weakly Convex Optimization
Shanghai University of Finance and Economics(上海财经大学)
基于随机模型的方法由于其对步长选择的鲁棒性和可证明的效率保证而受到越来越多的关注。对随机弱凸优化的模型基方法进行了两个重要的改进。首先,我们提出了新的minibatch基于模型的方法,涉及一组样本近似模型函数在每次迭代。对于第一次,我们表明,随机算法实现线性加速的批量大小,即使是非光滑和非凸(特别是,弱凸)的问题。为此,我们开发了一种新的灵敏度分析的近端映射参与每个算法迭代。我们的分析似乎是在更一般的设置独立的利益。其次,在动量随机梯度下降算法成功的基础上,提出了一种新的基于模型的随机外推算法,将经典的Polyak动量算法扩展到更广泛的弱凸优化随机算法中。在相当灵活的外推项范围内建立了到某些自然平稳性条件的收敛速率。在主要研究弱凸优化的同时,我们也将工作扩展到了凸优化。我们应用小批量和外推模型为基础的方法随机凸优化,我们提供了一个新的复杂性界和有前途的线性加速批量大小。此外,基于Nesterov的动量的加速模型为基础的方法,我们建立了一个最佳的复杂性界达到最优。
2021-11-13 cs.LG math.OC
Graph Matching: Relax at Your Own Risk
图匹配--对齐一对图以最小化它们的边不一致--在过去的几十年里受到了理论和应用社区的广泛关注,包括组合学,计算机视觉和连接组学。它的关注可以部分归因于它的计算难度。虽然以前已经提出了许多算法来近似解决图匹配,但很少有理论支持它们的性能。一种常见的技术是将离散问题放松为连续问题,从而使从业者能够使用梯度下降型算法。我们证明了一个不定松弛(精确求解时)几乎总是发现最优置换,而一个共同的凸松弛几乎总是无法发现最优置换。这些理论结果表明,初始化的不确定算法与凸优化可能会产生改善的实际性能。事实上,实验结果照亮和证实了这些理论研究结果,证明了优秀的结果,在基准和实际数据的问题,合并这两种方法。
2015-01-10 math.OC stat.ML
Shuffling Momentum Gradient Algorithm for Convex Optimization
School of Operations Research and Information Engineering, Cornell University(康奈尔大学运筹学与信息工程学院);Department of Statistics and Operations Research, The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校统计与运筹学系);IBM Research, Thomas J. Watson Research Center(IBM研究中心托马斯·J·沃森研究中心)
该研究将洗牌动量梯度方法的分析拓展至凸与强凸有限和优化问题,首次给出强凸设置下该类方法的收敛速率分析,达到与现有最优洗牌随机梯度算法相当的水平。
2024-03-05 cs.LG math.OC
Riemannian stochastic recursive momentum method for non-convex optimization
University of Sydney(悉尼大学)
提出了一种求解黎曼非凸优化问题的随机递归动量方法,该方法在一个样本的情况下获得了$\tilde{\mathcal{O}}(ε^{-3})$的近似最优复杂度,从而得到了$ε$ -近似解.也就是说,我们的方法需要每次迭代的$\mathcal{O}(1)$梯度评估,并且不需要重新启动大批量梯度,这通常用于获得更快的速率。大量的实验结果证明了该算法的优越性。
2020-08-11 cs.LG math.OC stat.ML
Momentum via Primal Averaging: Theoretical Insights and Learning Rate Schedules for Non-Convex Optimization
Facebook AI Research(脸书人工智能研究院)
动量方法现在在机器学习社区中广泛使用,用于训练非凸模型,例如深度神经网络。从经验上讲,它们优于传统的随机梯度下降(SGD)方法。在这项工作中,我们开发了一个李雅普诺夫分析的SGD与动量(SGD+M),利用等效重写的方法称为随机原始平均(SPA)的形式。在非凸情况下,这种分析比以前的理论要严格得多,因此,我们能够精确地了解SGD+M何时可能优于SGD,以及什么超参数计划将起作用以及为什么。
2021-06-01 cs.LG math.OC stat.ML
Nonlinear Bipartite Matching
研究了二部匹配上的非线性目标函数的优化问题。虽然这个问题一般是棘手的,我们提供了几个有效的算法,它包括一个确定性的算法,最大限度地提高凸目标,近似算法的范数最小化和最大化,和随机算法优化任意目标。
2006-05-23 cs.CC cs.DM math.CO
Solving a class of non-convex min-max games using adaptive momentum methods
Splunk;University of Florida(佛罗里达大学)
自适应动量方法最近在深度神经网络的训练中引起了很多关注。它们使用目标函数的过去梯度的指数移动平均来更新搜索方向和学习速率。然而,这些方法不适合解决在训练生成对抗网络中出现的最小-最大最优化问题。在本文中,我们提出了一个自适应动量最小-最大算法,推广自适应动量方法的非凸最小-最大制度。此外,我们建立了非渐近收敛速度的算法时,在一个合理的广泛的类非凸最小最大最优化问题。实验结果表明,它的优越性能与基准方法解决此类问题。
2021-04-26 cs.LG math.OC stat.ML
Negative Momentum for Convex-Concave Optimization
UPenn(宾夕法尼亚大学);Yale(耶鲁大学)
本文研究了凸-凹优化中负动量的收敛性,证明了其在通用性和快速收敛性上的优势,扩展了动量方法的应用范围。
2026-04-18 cs.DS cs.LG math.OC
Graph matching: relax or not?
Technion(以色列理工学院);Tel Aviv University(特拉维夫大学)
我们考虑加权无向图的精确和不精确匹配问题,其中寻求双射对应以最小化二次权不一致。这个计算上具有挑战性的问题通常被放松为凸二次规划,其中置换空间被双随机矩阵空间所取代。然而,这种放松的适用性知之甚少。我们定义了一个广泛的类友好的图形,其特征在于一个容易验证的光谱性质。我们证明了对于友好图,凸松弛保证找到确切的同构或证明其不存在。这一结果进一步扩展到近似同构图,我们开发了一个明确的重量分歧量的限制下,保证放松找到全局最优近似同构。我们还表明,在许多情况下,图匹配问题可以进一步无害地放松到一个凸二次规划,只有n个可分离的线性等式约束,这是更有效的比标准松弛涉及2n个等式和n^2不等式约束。最后,我们表明,我们的结果仍然是有效的不友好的图形,如果额外的信息,种子或属性的形式是允许的,后者满足一个易于验证的谱特性。
2014-10-12 cs.CG cs.CV cs.DS
Bounded Linear Programs for Data-Driven Optimal Control via Moment-Matching
ETH Zürich(苏黎世联邦理工学院)
该研究针对数据驱动最优控制的线性规划方法存在的有界解获取难题,利用矩匹配技术推导了相关有界性条件,并给出非线性系统的实用设计方法,拓展了线性规划在最优控制领域的应用。
2026-08-26 cs.SY eess.SY math.OC
Near-Optimal Joint Object Matching via Convex Relaxation
Stanford University(斯坦福大学)
对象集合上的联合匹配旨在聚合来自大量相似实例(例如图像、图形、形状)的信息,以改进它们对之间的映射。给定在孤立的几个对象对之间计算的多个匹配,目标是恢复整个地图集合,这些地图是(1)全局一致的,并且(2)接近所提供的地图--并且在某些条件下可证明是地面实况地图。尽管最近在这个问题上取得了进展,最著名的恢复保证仅限于一个小的恒定的障碍-没有现有的方法找到理论支持时,超过$50\%$的输入对应被损坏。此外,现有的方法主要集中在完全相似的对象上,而实际上更需要匹配彼此仅部分相似的实例。在本文中,我们开发了一种算法,以联合匹配多个对象,表现出只有部分相似性,给出了几个成对的匹配密集损坏。具体来说,我们建议通过一个无参数的凸程序MatchLift恢复地面实况地图,遵循一种谱方法,该方法预先估计要匹配的不同元素的总数。令人鼓舞的是,MatchLift表现出接近最佳的纠错能力,即在渐近状态下,即使当输入映射的主要部分$1-Θ\left(\frac{\log^{2}n}{\sqrt{n}}\right)$表现得像随机离群值时,它也能保证工作。此外,MatchLift成功地以最小的输入复杂度,即,只要提供的映射形成连接的映射图,就可以实现完美匹配。我们在各种基准数据集上评估了所提出的算法,包括合成示例和真实示例,所有这些都证实了MatchLift的实用性。
2014-02-06 cs.CV cs.IT cs.LG
A polynomial approximation scheme for nonlinear model reduction by moment matching
Imperial College London(帝国理工学院);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
本文提出利用矩匹配技术对高维动力系统降阶建模的多项式近似方法,通过伽辽金残差法和牛顿迭代求解不变方程,实现状态维度为1000的非线性系统稳态行为恢复。
2026-09-22 cs.NA math.NA math.OC