Random Walk on Bézier Curves for Global Optimization
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);School of Mathematical Sciences, Dalian University of Technology(大连理工大学数学科学学院);School of Mathematics, Hefei University of Technology(合肥工业大学数学学院);College of Engineering, Boston University(波士顿大学工程学院);Department of Physics, University of Science and Technology of China(中国科学技术大学物理系);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
提出贝塞尔游走进化算法(BWE),利用贝塞尔曲线和距离感知随机游走平衡探索与开发,在CEC2017/2022基准测试和工程问题中优于L-SHADE和CMA-ES等先进优化器。
2026-06-26 cs.NE math.OC
On the global convergent of an inexact quasi-Newton conditional gradient method for constrained nonlinear systems
本文提出一种求解约束非线性系统的全局收敛方法。该方法结合了一个有效的牛顿条件梯度法与导数自由和非单调线性搜索策略。在适当的条件下建立了所提方法的整体收敛分析,并给出了一些初步的数值实验来说明其性能。
2018-06-05 math.OC
An interacting particle consensus method for constrained global optimization
University of Oxford(牛津大学);Shanghai Jiao Tong University(上海交通大学);University of California, San Diego(加州大学圣迭戈分校);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种基于粒子的优化方法,用于解决具有等式约束的最小化问题,尤其适用于损失函数非可导或非凸的情况。方法结合了共识优化算法和新引入的约束集导向项,并通过数值实验验证了其有效性。
2026-09-26 cs.NA math.AP math.NA
Variational discretization and semi-smooth Newton methods; implementation, convergence and globalization in pde constrained optimization with control constraints
当结合变分离散的数值概念和半光滑牛顿法求解带有控制约束的偏微分方程约束优化的数值解时,必须特别强调数值算法的实现、收敛性和全局性。在目前的工作中,我们解决所有这些问题。特别是,我们证明了快速局部收敛的算法,并提出了两种不同的全球化战略,适用于许多实际相关的数学设置。我们通过数值实验说明了我们的分析和算法研究结果。
2009-12-02 math.OC
A global dual error bound and its application to the analysis of linearly constrained nonconvex optimization
误差界分析是一种分析一阶优化算法的有力工具,它利用最优性残差来估计点到最优化问题解集的距离。本文利用全局误差界分析研究了线性约束非凸极小化问题一阶算法的迭代复杂性。我们开发了一个全球的双重误差界分析的正则化版本的这个非凸问题,通过使用一种新的"分解“技术。配备了这个全局对偶误差界,我们证明了适当设计的原始-对偶一阶方法可以在$\mathcal{O}(1/ε^2)$迭代中生成线性约束非凸最小化问题的$ε$ -稳态解,这是此类非凸问题最著名的迭代复杂度。
2020-06-30 math.OC
Global Solution Strategies for the Network-Constrained Unit Commitment Problem with AC Transmission Constraints
提出了一种新的全局求解算法,用于求解输电网非线性交流模型下的网络约束机组组合问题,该问题是一个非凸混合整数非线性规划(MINLP)问题.我们的算法基于多树全局优化方法,该方法在混合整数下界问题和非线性上界问题之间迭代。我们利用数学结构的机组组合问题与交流潮流约束(UC-AC)和杠杆优化为基础的界限收紧,二阶锥松弛,分段外近似,以保证全局最优解收敛。四个基准问题的数值结果表明,我们的算法的有效性,无论是在收敛速度和解的质量。
2018-07-02 math.OC
An Efficient Framework for Global Non-Convex Polynomial Optimization with Algebraic Constraints
本文提出一种高效框架,通过构造本质上无虚假局部极小值的等价非线性重构,在高维带代数约束的全局非凸多项式优化中实现关于维数和次数的多项式级扩展。
2024-09-04 cs.MS cs.NA math.NA
Global aspects of the continuous reformulation for cardinality-constrained optimization problems
本文的主要目的是将基数约束最优化问题的拓扑相关的稳定点及其连续重构与它们的类型联系起来。为此,我们专注于非退化的M-和T-平稳点,分别。他们所谓的M-和T-指数,唯一确定的全球和局部结构的最优化问题在考虑代数方面,跟踪。作为新颖性,我们建议为此目的,经常化的连续重新制定。我们的分析的主要结果是,鞍点的正则化的连续重新的数量呈指数增长相比,初始基数约束的最优化问题。此外,我们利用正交型约束数学规划的相应结果,得到了正则化连续重整化的莫尔斯理论。
2022-12-27 math.OC
Global convergence of $W^{1,\infty}$-steepest descent for PDE constrained shape optimisation with semilinear elliptic equations in function space
Otto-von-Guericke-University Magdeburg(奥托·冯·古里克马格德堡大学);University of Sussex(萨塞克斯大学);University of Koblenz(科布伦茨大学)
本文研究了PDE约束形状优化中半线性椭圆方程的$W^{1,\infty}$-最陡下降法的全局收敛性,证明了在函数空间中的收敛性及二维空间中的条件收敛结果。
2026-03-03 math.AP math.OC
Augmented Lagrangian Functions for Cone Constrained Optimization: the Existence of Global Saddle Points and Exact Penalty Property
本文建立锥约束优化增广拉格朗日函数统一理论,提出证明全局鞍点存在性的局部化原理,并构造适用于等式约束、二阶锥和半定规划的全局精确增广拉格朗日函数。
2024-09-10 math.OC
Constrained approximate null controllability of coupled heat equation with periodic impulse controls
研究了由实矩阵$P$耦合的热方程的约束近似零能控性,其中控制是脉冲的,通过一系列实矩阵$\{Q_k\}_{k=1}^\hbar$周期性地作用于系统.在两种情况下给出了结论。在控制全局作用于系统的情况下,证明了在$P$的谱条件和$P$及$\{Q_k\}_{k=1}^\hbar$的秩条件下,系统是全局约束近似零能控的;而在控制局部作用于系统的情况下,在更强的条件下证明了$P$的全局约束近似零能控性,并给出了相同秩的条件案子此外,我们证明了$P$的上述谱条件是本文所考虑的控制问题的全局约束近似零能控性的必要条件。
2020-05-15 math.OC
Continuation method for PDE-constrained global optimization: Analysis and application to the shallow water equations
本文给出了一类离散非线性偏微分方程约束的非凸最优化问题如何用内点延拓法求全局最优解。求解过程依赖于一个嵌套的同伦。内部同伦通过将障碍参数驱动为零来解决障碍问题。外同伦变形的凸松弛原来的非凸问题的方式,保持清晰的分叉。全局最优性的一个要求是目标是凸的,并且搜索空间保持路径连通。作为一个案例研究,一类现实世界的最优化问题的浅水方程进行了分析。一个基准测试以及一个实际的实现表明,该方法是适合于大规模的信息物理系统的闭环非凸模型预测控制。
2020-03-12 math.OC
Constrained global optimization of functions with low effective dimensionality using multiple random embeddings
我们考虑具有低有效维数的函数的有界约束全局优化,这些函数沿(未知)线性子空间是常数,仅在有效(补充)子空间上变化。我们的目标是隐式地探索内在的低维的约束景观使用可行的随机嵌入,以了解和提高这些特殊结构问题的全局优化算法的可扩展性。一个减少的子问题制定调查,解决了原问题的随机低维子空间的仿射约束,以保持相对于给定域的可行性。在合理的假设下,我们表明,减少的问题是成功地解决原来的,全维问题的概率是积极的。此外,在目标的有效子空间与坐标轴对齐的情况下,我们提供了这个成功概率,捕获其代数依赖于有效的,令人惊讶的是,环境尺寸的渐近约束。然后,我们提出了X-REGO,一个通用的算法框架,使用多个随机嵌入,解决上述减少的问题反复,近似和可能,自适应。使用成功概率减少的子问题,我们证明了X-REGO收敛全局,概率为1,线性嵌入的数量,一个$ε$ -邻域的约束全局极小。我们的特殊结构函数的数值实验说明了我们的理论研究结果和改进的可扩展性的X-REGO变种时,再加上国家的最先进的全球,甚至局部最优化求解器的子问题。
2020-09-22 math.OC
Convergence Error Analysis of Reflected Gradient Langevin Dynamics for Globally Optimizing Non-Convex Constrained Problems
本研究将梯度朗之万动力学相关框架拓展至非凸可行域上的非凸优化问题,提出基于反射梯度朗之万动力学的全局优化算法,结合边界反射与诺伊曼边界泊松方程概率表示,得到优于现有凸约束非凸问题方法的收敛速率。
2024-08-13 math.OC math.PR stat.ML
A Globally Convergent Distributed Jacobi Scheme for Block-Structured Nonconvex Constrained Optimization Problems
针对高性能并行计算的需求,设计了一种求解线性耦合块结构非凸约束最优化问题的分布式并行算法.我们的算法进行雅可比型的增广拉格朗日函数的近端更新,只需要可分块非线性规划(NLP)问题的局部解。我们提供了一个便宜的,明确可计算的李雅普诺夫函数,使我们能够建立我们的算法,其迭代复杂性,以及简单,实用和理论上的收敛规则,自动调整其参数的全局和局部次线性收敛。这与现有的算法相比,非凸约束优化的基础上的交替方向法的乘法器,依赖于至少以下之一:高斯-赛德尔或顺序更新,全局解决方案的NLP问题,不可计算的李雅普诺夫函数,手动调整参数。数值实验展示了其在大规模问题上的优势,包括在168个时间段内对9000总线AC最优潮流测试用例进行多周期优化,并使用开源Julia代码在Summit超级计算机上解决。
2021-12-16 math.OC
Constrained, Global Optimization of Functions with Lipschitz Continuous Gradients
我们提出了两个一阶序列优化算法来解决约束最优化问题。我们考虑一个黑盒设置与先验未知的,非凸的目标和约束函数,具有Lipschitz连续梯度。所提出的算法平衡的先验未知的可行空间的探索与追求的全局最优性在一个预先指定的有限数量的一阶预言调用。第一个算法适应一个不可行的开始,并提供一个接近最优的全局解决方案或建立不可行性。然而,该算法可能会产生不可行的迭代过程中的搜索。对于一个强凸约束函数和一个可行的初始解猜测,第二个算法返回一个接近最优的全局解,没有任何约束违反。与现有的方法相比,这两种算法在每次迭代中都计算全局次优界。我们还表明,该算法可以满足用户指定的公差在计算的解决方案与接近最佳的复杂性,在甲骨文要求的一大类最优化问题。我们提出了易于处理的算法实现,利用Lipschitz连续梯度属性提供的结构。
2020-11-17 math.OC
EOS: a Parallel, Self-Adaptive, Multi-Population Evolutionary Algorithm for Constrained Global Optimization
本文介绍了进化优化代码EOS的主要特点,进化优化在Sapienza,它的成功应用于具有挑战性的,现实世界的空间轨迹优化问题。EOS是一种全局优化算法,用于求解实值变量的约束和无约束问题。它实现了一些著名的差分进化(DE)算法的改进,即自适应的控制参数,流行病机制,聚类技术,一个$\varepsilon$约束的方法来处理非线性约束,和一个同步岛模型来处理多个种群并行。研究结果表明,与现有的单种群自适应差分进化算法相比,该算法在求解高维空间或高约束空间的轨迹优化问题时具有更高的性能.
2020-07-13 cs.DC cs.NE math.OC
On Local Minimizers of Quadratically Constrained Nonconvex Homogeneous Quadratic Optimization with at Most Two Constraints
本文研究了具有一个或两个约束的非凸齐次二次约束二次优化问题,分别记为(QQ1)和(QQ2)。(QQ2)包含(QQ 1)、置信域子问题(TRS)和椭球正则化总体最小二乘问题作为特例。已知(QQ2)的全局极小存在一个充分必要的最优性条件.在本文中,我们首先证明了(QQ1)的任何局部极小是全局最优的。不同于它的特殊情况(TRS)至多有一个局部非全局极小,(QQ2)可能有无穷多个局部非全局极小。在(QQ2)的任何局部非全局极小点处,线性无关约束规格和严格互补条件均成立,且拉格朗日函数的Hessian恰好有一个负特征值.作为一个主要贡献,我们证明了标准的二阶充分最优性条件的任何严格的局部非全局极小(QQ2)仍然是必要的。应用和进一步扩展的不可能性进行了讨论。
2021-07-21 math.OC
Exact penalty functions and global saddle points of augmented Lagrangians for well-posed constrained optimization problems
本文通过提出一种新的扩展适定性概念,将精确罚函数和增广拉格朗日函数全局鞍点的充分条件从有限维推广到无穷维约束优化问题,避免了文献中常用的严格且难以验证的假设。
2025-08-22 math.OC
An open-source solver for finding global solutions to constrained derivative-free optimization problems
本文提出一个名为GSDO的开源启发式求解器,通过基于径向基函数的代理近似求解受约束无导数全局优化问题,其性能与NOMAD、DE和SHGO等先进求解器相比具竞争力。
2024-04-28 math.OC
Global Complexity Bound of a Proximal ADMM for Linearly-Constrained Nonseperable Nonconvex Composite Programming
提出并分析了求解线性约束非凸最优化问题的阻尼邻近交替方向法(DP.ADMM),其中目标函数的光滑部分不可分. DP.ADMM的每次迭代包括:(i)部分邻近增广拉格朗日(AL)更新的序列,(ii)欠松弛拉格朗日乘子更新,以及(iii)检查AL函数的罚参数是否应该更新的新测试。在基本Slater条件下,对阻尼因子和欠松弛因子有一定的要求,证明了对于给定的数值公差$\varepsilon>0$,DP.ADMM在${\cal O}(\varepsilon^{-3})$迭代中获得了约束问题的一阶稳定点.本文的主要创新之一是,该方法的收敛性,而不需要任何秩的约束矩阵的假设。
2023-01-03 math.OC
DEFT-FUNNEL: an open-source global optimization solver for constrained grey-box and black-box problems
Veolia Research and Innovation(威立雅研究与创新中心)
在医学、化学、工程和人工智能等领域中,对用于约束全局最优化问题的灰箱和黑箱最优化方法的快速增长的需求已经促成了用于找到最佳可能解的新的有效算法的设计。在这项工作中,我们提出了DEFT-FUNNEL,一个开源的全局优化算法一般约束灰盒和黑盒问题,属于一类的信任区域序列二次优化算法。它将Sampaio和Toint(2015,2016)以前的工作扩展到全局优化求解器,该求解器能够利用来自封闭形式函数的信息。多项式插值模型被用来作为替代的黑盒功能和聚类为基础的多启动策略应用于搜索的全局最小值。数值实验表明,DEFT-FUNNEL与其他国家的最先进的方法相比,在两组基准问题:一组包含的问题,其中每个功能是一个黑盒子和另一组的问题,其中一些功能及其衍生物是已知的求解器。用于实验的代码和测试集可以在Github存储库http://github.com/phrsampaio/deft-funnel上获得。
2019-12-29 cs.LG math.OC
Constrained Efficient Global Optimization of Expensive Black-box Functions
本文提出 CONFIG 算法,用于求解目标与约束均为昂贵黑箱函数的约束全局优化问题,在常用核函数下获得次线性累积遗憾界与约束违反界,并推导出收敛速率,同时支持不可行性判定,实验验证了其理论优势与竞争性经验性能。
2025-02-06 math.OC
Global Solutions to Large-Scale Spherical Constrained Quadratic Minimization via Canonical Dual Approach
本文给出了一类球面约束下的非凸二次极小化问题的全局最优解。该问题是众所周知的置信域子问题,并已被广泛研究了几十年。主要的挑战是所谓的“困难情况”,即,该问题在球的边界上具有多个解。利用正则对偶理论,可以将这一具有挑战性的问题转化为一个没有对偶间隙的一维正则对偶问题。利用试探性理论得到了判别问题是否为困难情形的充分条件和必要条件。提出了一种扰动法和相应的算法来解决这个困难的情况。理论结果和方法得到了大规模算例的验证。
2013-08-20 math.OC
CONFIG: Constrained Efficient Global Optimization for Closed-Loop Control System Optimization with Unmodeled Constraints
EPFL(洛桑联邦理工学院);Swiss Federal Laboratories for Materials Science and Technology(瑞士联邦材料科学与技术研究所)
本文将一种简单有效的约束全局优化算法CONFIG算法应用于具有未建模约束的未知系统的闭环控制性能优化问题。现有的基于高斯过程的闭环最优化方法,或者只能保证局部收敛(例如,SafeOPT),或者没有已知的最优性保证(例如,约束的预期改进),而最近推出的CONFIG算法已被证明享有理论上的全局最优性保证。在这项研究中,我们证明了CONFIG算法在应用中的有效性。该算法首先应用于一个人工数值基准问题,以证实其有效性。然后将其应用于连续搅拌釜式反应器的经典约束稳态最优化问题。仿真结果表明,我们的CONFIG算法可以实现性能竞争的流行的CEI(约束预期改善)算法,它没有已知的最优性保证。因此,CONFIG算法提供了一种新的工具,具有可证明的全局最优性保证和有竞争力的经验性能,以优化具有软未建模约束的系统的闭环控制性能。最后,但并非最不重要的是,开放的信源编码作为Python包提供,以方便未来的应用程序。
2022-12-18 cs.LG cs.SY eess.SY
Semi-Global Exponential Stability of Augmented Primal-Dual Gradient Dynamics for Constrained Convex Optimization
School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);Department of Computing and Mathematical Sciences, California Institute of Technology(加州理工学院计算与数学科学系)
本文研究了在目标函数强凸的情况下,增强对偶梯度动力学(Aug-PDGD)在处理一般凸和非线性不等约束问题时的半全局指数稳定性,并展示了强凸二次规划中Aug-PDGD无法实现全局指数稳定性的例子。
2020-11-18 cs.SY eess.SY math.OC
Combining Cross Entropy and MADS methods for inequality constrained global optimization
本文将交叉熵方法作为MADS算法的搜索步骤,用于非光滑不等式约束全局优化,在保留MADS收敛性的同时提升逃离局部极小值的能力,数值实验验证了其显著改进。
2023-08-11 math.OC
Modified Line Search Sequential Quadratic Methods for Equality-Constrained Optimization with Unified Global and Local Convergence Guarantees
本文提出一种改进线搜索序列二次规划方法用于非线性等式约束优化,利用二阶信息缓解Maratos效应,具备全局与局部超线性收敛保证,并扩展至随机目标函数及无矩阵变体,数值实验验证其高效性。
2024-07-26 math.OC
Global Convergence of Policy Gradient Primal-dual Methods for Risk-constrained LQRs
虽然最优控制理论中的技术通常是基于模型的,但是策略优化(PO)方法直接优化感兴趣的性能度量。尽管它已经成为强化学习问题的一种基本方法,但对其性能的理论认识很少。在本文中,我们专注于风险约束线性二次型调节器(RC-LQR)问题,通过PO方法,这需要解决一个具有挑战性的非凸约束最优化问题。为了解决这个问题,我们首先建立在我们以前的结果,最优策略具有时不变的仿射结构,以表明相关的拉格朗日函数是强制性的,局部梯度占主导地位,并具有局部Lipschitz连续梯度,基于此,我们建立强对偶。然后,我们设计的政策梯度原始-对偶方法与整体收敛保证在基于模型和基于样本的设置。最后,我们使用模拟系统轨迹的样本来验证我们的方法。
2022-11-22 cs.SY eess.SY math.OC
GNBG-Generated Test Suite for Box-Constrained Numerical Global Optimization
本研究利用GNBG构建了24个覆盖多种问题特征、不同难度的盒约束数值全局优化测试实例,提供公开MATLAB代码,为优化算法的评估对比提供结构化基准平台。
2023-12-12 cs.NE math.OC
Efficient global optimization of constrained mixed variable problems
由于在复杂系统设计的框架内对高性能和降低成本的需求不断增加,计算成本高的问题的数值优化在大多数工程领域中是一个越来越受欢迎的话题。在本文中,同时依赖于连续的决策变量以及定量和/或定性的离散设计参数的昂贵的约束问题的有效的全局优化算法的几个变种提出。所考虑的自适应是基于高斯过程核的重新定义,作为标准连续核和表示离散变量值之间的协方差的第二核之间的乘积。本文讨论了这种离散核的几种参数化方法及其各自的优缺点。新的算法进行了测试,一些分析测试案例和航空航天相关的设计问题,它表明,他们需要更少的功能评估,以收敛到的问题最优的邻域相比,更常用的优化算法。
2018-06-11 math.OC
Equivalent Sufficient Conditions for Global Optimality of Quadratically Constrained Quadratic Program
研究了一般二次约束二次规划(QCQP)的几个著名的充分最优性条件的等价性。这些条件分为两类。第一个用于确定最优解,第二个用于找到最优值。第一类条件包括拉格朗日函数的鞍点的存在性和QCQP的原始SDP松弛的秩1最优解的存在性。第二类包括$η_p = ζ$、$η_d = ζ$和$φ= ζ$,其中$ζ$、$η_p$、$η_d$和$φ$分别表示QCQP、对偶SDP松弛、原始SDP松弛和拉格朗日对偶的最优值。我们证明了这些条件的等价性,有或没有QCQP和/或斯莱特约束规格的原始SDP松弛的最优解的存在。本文还将这些结果推广到非负变量的等式约束QCQP的双重非负松弛问题。
2023-03-13 math.OC
Policy Gradient Methods for the Cost-Constrained LQR: Strong Duality and Global Convergence
本文研究成本约束LQR问题,提出策略梯度原始-对偶方法,证明强对偶性、对偶函数Lipschitz光滑性及全局收敛性,并通过仿真验证理论结果。
2024-06-06 cs.SY eess.SY math.OC
Global Optimization of Mixed-Integer Bound-Constrained Quadratic Fractional Problems
Università di Parma(帕尔马大学);Sapienza Università di Roma(罗马第一大学);Università degli Studi di Padova(帕多瓦大学)
针对混合整数二次分式优化问题,提出基于Dinkelbach参数化重构的精确算法,结合分支定界和变量邻域搜索启发式,数值实验表明优于通用精确算法。
2026-10-06 math.OC
A hybrid optimal control problem constrained with hyperelasticity and the global injectivity condition
本文研究受超弹性与恒定全局体积约束的混合最优控制问题,通过弹性动力学方程与拉格朗日乘子耦合压力变量,利用L^p-抛物型极大正则性推导最优性条件,并以数值模拟验证方法有效性。
2024-09-05 math.OC
Rank-constrained fundamental matrix estimation by polynomial global optimization versus the eight-point algorithm
基本矩阵可以从点匹配估计。目前的黄金标准是引导八点算法和双视图投影光束法平差。八点算法首先通过最小化代数代价来计算简单的线性最小二乘解,然后将结果投影到最近的秩亏矩阵。我们提出了一个单步法,解决了八点算法的两个步骤。使用最近的结果从多项式全局优化,我们的方法找到的秩亏矩阵,正是最小化的代数成本。在这种特殊情况下,最优化方法被简化为求解非常短的凸线性问题序列,这些问题在计算上高效且数值稳定。目前的黄金标准是众所周知的是非常有效的,但仍然优于我们的秩约束方法的自助光束法平差。这是在模拟和标准真实数据集上演示的。通过我们的初始化,光束法平差一致地找到更好的局部极小值(实现更低的重投影误差),并且需要更少的迭代来收敛。
2014-03-19 math.OC
Constrained Global Optimization by Smoothing
本文提出“连续随机平滑”方法,结合精确非光滑罚函数、核平滑与随机有限差分梯度下降,实现约束下非光滑、不连续函数的局部及全局优化。
2023-08-16 math.OC
Escaping limit cycles: Global convergence for constrained nonconvex-nonconcave minimax problems
KU Leuven(鲁汶大学);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
对一类非凸非凹极大极小问题提出了一种新的外梯度型算法。众所周知,寻找一般极小极大问题的局部解在计算上是困难的。这一观察最近激发了研究的结构足以收敛的一阶方法在更一般的设置变分不等式时,所谓的弱明蒂变分不等式(MVI)举行。这个问题类捕获非平凡的结构,我们证明了与例子,其中一个大家庭的现有算法证明收敛到极限环。我们的研究结果需要一个更少的限制性参数范围内的弱MVI相比,以前已知的,从而扩展我们的计划的适用性。该算法适用于约束和正则化问题,并涉及一个自适应步长允许潜在的更大的步长。我们的计划也收敛全球甚至在设置的基础运营商表现出极限环。
2023-02-20 cs.LG math.OC
Valid inequalities and global solution algorithm for Quadratically Constrained Quadratic Programs
我们考虑问题$(QP)$的精确解,该问题包含在极小化受二次约束的二次函数中。从经典的凸松弛的McCormick包络出发,我们引入了12个不等式,这些不等式是由$(QP)$的变量范围导出的。证明了这些一般的三角不等式割取McCormick包络的可行解。然后,我们展示了如何计算凸松弛$(P^*)$的最优值等于“肖氏加RLT加三角形”半定松弛的$(QP)$,其中包括新的不等式。我们还提出了一个启发式解决这个巨大的半定程序,作为一个分离算法。然后,我们解决了$(QP)$的全局最优性与分支定界的基础上$(P^*)$。此外,由于新的不等式涉及$(QP)$的原始变量的上下上界,它们在分支定界框架中的使用加速了整个过程。我们在unitbox实例上显示,我们的方法优于比较的求解器。
2020-05-06 math.OC
Ensemble-Based Global Search Framework for the Design Optimization of Fabrication-Constrained Freeform Devices
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出高斯集成梯度下降框架,通过高斯核卷积使制造约束代价函数可微,并结合集成采样与方差缩减,融合种群方法与梯度方法的优势,实现自由形态器件的高效优化。
2025-11-07 math.OC
Global Solutions to Non-Convex Functional Constrained Problems with Hidden Convexity
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);Georgia Institute of Technology(佐治亚理工学院);California Institute of Technology(加州理工学院)
针对含隐凸性的非凸约束优化问题,本文提出两类可证收敛到全局最优的算法,分别适配非光滑与光滑场景,无需约束规范,复杂度匹配无约束隐凸优化水平。
2025-11-13 cs.LG math.OC
Policy Optimization for Constrained MDPs with Provable Fast Global Convergence
Texas A&M University(得克萨斯农工大学)
我们解决的问题,找到一个有约束的马尔可夫决策过程(CMDP)使用梯度下降为基础的算法的最优策略。以前的结果表明,原始-对偶方法可以实现$\mathcal{O}(1/\sqrt{T})$全局收敛速度的最优性差距和约束违反。我们提出了一种新的算法称为策略镜像下降原始对偶(PMD-PD)算法,可以证明实现更快的$\mathcal{O}(\log(T)/T)$收敛速度的最优性差距和约束违反。对于原始(策略)更新,PMD-PD算法利用修改的价值函数并执行自然的策略梯度步骤,其等效于具有适当正则化的镜像下降步骤。对于双重更新,PMD-PD算法使用修改的拉格朗日乘子,以确保更快的收敛速度。我们还提出了这种方法的两个扩展的设置与零约束违反和基于样本的估计。实验结果表明,与现有的基于策略梯度的算法相比,PMD-PD算法具有更快的收敛速度和更好的性能。
2022-02-03 cs.AI cs.LG math.OC
A Globally Convergent Evolutionary Strategy for Stochastic Constrained Optimization with Applications to Reinforcement Learning
Polytechnique Montréal(蒙特利尔综合理工学院);University of Basel(巴塞尔大学);Johannes Kepler University Linz(林茨约翰·开普勒大学)
进化策略最近被证明可以在强化学习中实现复杂优化问题的性能竞争水平。在这样的问题中,人们经常需要优化一个受一组约束的目标函数,包括例如对策略熵的约束,或者限制代理可访问的可能的动作或状态集。然而,文献中缺乏优化随机约束问题的进化策略的收敛保证。在这项工作中,我们解决这个问题,通过设计一种新的优化算法,有足够的减少机制,确保收敛,这是只基于估计的功能。我们证明了该算法对两种类型的实验的适用性:i)最大化奖励的控制任务和ii)最大化奖励受一组不可放松的约束。
2022-02-21 cs.LG cs.NE math.OC
Embedding Push and Pull Search in the Framework of Differential Evolution for Solving Constrained Single-objective Optimization Problems
Shantou University(汕头大学);Michigan State University(密歇根州立大学)
提出了一种基于差分进化框架的推拉搜索方法来求解约束单目标优化问题。更具体地说,两个子群体,包括顶部和底部的子群体,相互合作,有效地搜索全局最优解。上层子种群采用拉和拉搜索(PPS)机制来处理约束,底层子种群采用可行解优越性(SF)技术来处理约束。该算法将搜索过程分为推和拉两个不同的阶段,并采用了一种自适应DE算法,该算法具有三种试验向量生成策略。在最上面的子群体中,所有三个试验向量生成策略都用于生成后代,就像在CoDE中一样。在底层子种群中,采用策略自适应的方法,通过学习上层子种群中的尝试向量生成策略的经验,周期性地对尝试向量生成策略进行自适应,以选择合适的尝试向量生成策略生成一个后代.此外,在两个子群体中采用LSHADE 44中的参数自适应策略,以针对每个试验向量生成策略生成比例因子$F$和交叉率$CR$。在CEC 2018实参数单目标优化竞赛中提供了28个具有10维,30维和50维决策变量的CSOP,并通过所提出的PPS-DE进行了优化。实验结果表明,PPS-DE与其他7种现有算法(包括AGA-PPS、LSHADE 44、LSHADE 44 +IDE、UDE、IUDE、$ε$ MAg-ES和C $^2$ oDE)相比,具有最佳的性能。
2018-12-16 cs.AI cs.NE math.OC
On global convergence of area-constrained formations of hierarchical multi-agent systems
本文研究了二维空间中点智能体的编队成形问题,其中控制避免了反射模糊的可能性。这种类型的问题的一个解决方案,首先给出了三个或四个代理考虑潜在的功能,其中包括的距离误差和签署的面积条款。然后,通过利用这种潜在的功能的分层控制策略,该方法最近被扩展到任何数量的代理。然而,必须在那里使用有符号面积项的特定增益,并且它不能保证全局收敛。为了克服这个问题,本文给出了一个全局收敛的充分必要条件,约束条件是所需的编队由等腰三角形。这阐明了这种情况下有符号面积上增益的容许范围。此外,对于由任意三角形组成的编队,证明了符号区域上的高增益对于全局收敛是允许的。
2020-09-04 cs.SY eess.SY math.OC
Smoothing Proximal Gradient Methods for Nonsmooth Sparsity Constrained Optimization: Optimality Conditions and Global Convergence
针对非光滑稀疏约束优化现有方法的局限,提出两种平滑近似梯度方法变体,证明其最优性与收敛速率理论界达到现有最优水平,且实验中SPGM-BCD性能优于现有IHT类方法。
2023-12-15 math.OC
Global Optimization of Atomic Clusters via Physically-Constrained Tensor Train Decomposition
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Artificial Intelligence Research Institute (AIRI)(人工智能研究院);HSE University(高等经济大学);Central University(中央大学)
本文提出了一种基于物理约束的张量列车分解方法,用于高效寻找原子簇的全局极小值,适用于高维优化问题。
2026-01-26 cond-mat.mtrl-sci cs.NE math.OC
Pareto-like Sequential Sampling Heuristic for Global Optimisation
在本文中,我们提出了一个简单的全局优化算法的启发帕累托原理。该算法在突出的搜索域中对其大部分解进行采样,并配备了自适应机制来控制突出域的动态收紧,而算法的贪婪随着时间的推移而增加(迭代)。与传统的元分析不同,该方法没有直接的突变或交叉操作。它完全依赖于可用于多样化和集约化进程的顺序随机抽样,同时将各代人之间的信息流动和结构偏差保持在最低限度。通过使用一个简单的拓扑结构,该算法避免了过早收敛,采样新的解决方案,每一代。一个简单的理论推导表明,这种方法的探索是无偏的,多样化的速度是恒定的,在运行时。从理论和实验上解释了多样化和集约化之间的权衡。该方法已被基准对标准的优化问题,以及一组选定的简单和复杂的工程应用。我们使用了26个具有不同属性的标准基准,涵盖了大多数优化问题的性质、三个传统工程问题和一个来自最新文献的真正复杂的工程问题。该算法在寻找非凸和多峰函数的全局极小值方面表现良好,特别是在高维问题上,与最近的算法建议相比,它被发现非常有竞争力。此外,该算法在复合CEC 2017问题的有限迭代次数下进行基准测试时,性能优于最近的算法,并且扩展性更好。
2021-03-27 math.OC
First-order methods for constrained convex programming based on linearized augmented Lagrangian function
一阶方法已广泛用于解决大规模问题。然而,许多现有的工作只考虑无约束或简单约束的问题。本文给出了求解约束凸规划的两个一阶方法,其中约束集由仿射方程和光滑非线性不等式表示。这两种方法都是基于经典的增广拉格朗日函数。它们以与增广拉格朗日方法(ALM)相同的方式更新乘数,但采用不同的原始变量更新。第一种方法在每次迭代时对原始变量执行单个邻近梯度步骤,第二种方法是第一种方法的块更新版本。对于第一种方法,我们证明了它的全局渐近收敛性以及全局次线性收敛性和局部线性收敛性;对于第二种方法,我们证明了它的全局次线性收敛性.数值实验进行了基追踪去噪和凸二次约束二次规划,以显示所提出的方法的经验性能。它们的数值行为与已有的理论结果十分吻合。
2017-11-21 cs.DS math.OC
Aggressive Local Search for Constrained Optimal Control Problems with Many Local Minima
本文研究了具有多个局部极小值的约束最优控制问题的全局解的数值求解问题。重点是最优分散控制(ODC)问题,其可行集最近被证明具有指数数量的连接组件,因此指数数量的局部极小值。非线性最优化数值算法的丰富文献表明,如果局部搜索算法在可行集的任意连通分量中初始化,则它将仅在该分量内搜索并在那里找到一个稳定点。这是基于这样的事实,即数值算法被设计为生成点序列(通过搜索下降方向和调整步长),其对应的连续路径被捕获在单个连接的分量中。与这种感觉植根于凸优化相比,我们数值说明,非凸约束优化的局部搜索法可以通过使用回溯和Armijio规则的积极的步长调整,在不同的连接组件之间不经意地跳转到一个全局极小值。为了支持观察,我们证明,从几乎每一个任意点的任何连接组件的可行集,它是可能的,以产生一个序列的点使用本地搜索跳转到不同的组件和收敛到一个全球性的解决方案。然而,由于该问题的NP-困难性,局部搜索算法的参数的这种微调可能需要先验知识或耗时。本文给出了具有复杂可行集的约束最优控制问题的逃逸非全局局部解的第一个结果。
2019-03-20 math.OC
A Global Solution Algorithm for AC Optimal Power Flow through Linear Constrained Quadratic Programming
本文将 ACOPF 建模为含多个负特征值的 LCQP,提出 FSLP 与 FBB 两种全局优化算法,并通过复杂度分析和 PG-lib 实验验证其大规模求解优势。
2024-06-15 math.OC
Globally-Constrained Decentralized Optimization with Variable Coupling
Southern University of Science and Technology(南方科技大学);State Key Laboratory of Autonomous Intelligent Unmanned Systems(自主智能无人系统全国重点实验室)
针对网络化场景下未被充分研究的含变量耦合的全局约束分散优化问题,本文提出结合虚拟队列技术与原始-对偶-原始框架的分散投影原始-对偶算法,证明其O(1/k)收敛速率并通过实验验证性能。
2025-11-19 math.OC
A Quantum Tunneling and Bio-Phototactic Driven Enhanced Dwarf Mongoose Optimizer for UAV Trajectory Planning and Engineering Problem
College of Artificial Intelligence, Nankai University(南开大学人工智能学院)
针对元启发式算法在复杂场景中早熟收敛、解多样性不足的问题,提出集成量子隧穿、生物趋光性和正交透镜反向学习策略的EDMO算法,提升无人机轨迹规划等任务的优化性能与适用性。
2025-11-12 cs.RO math.OC
Surrogate-based Optimization via Clustering for Box-Constrained Problems
National University of Singapore(新加坡国立大学)
本文提出了一种基于聚类的 surrogate 优化方法 SBOC,用于解决盒约束问题的全局优化,通过聚类和局部区域优化,提高了计算效率和准确性。
2026-11-09 cs.LG math.OC