Achieving distributed convex optimization within prescribed time for high-order nonlinear multiagent systems
Huazhong University of Science and Technology(华中科技大学);Chongqing University(重庆大学);The University of Newcastle(纽卡斯尔大学)
本文针对非线性多智能体系统在无向连通图下的分布式规定时间凸优化问题,提出 cascade 设计框架,将问题转化为 cascaded 系统的规定时间稳定问题,并通过改变 Lyapunov 函数方法和时间变化状态变换方法证明稳定性及闭环系统内部信号的统一有界性。
2026-03-25 cs.SY eess.SY math.OC
Constrained Multiagent Rollout and Multidimensional Assignment with the Auction Algorithm
MIT(麻省理工学院);ASU(亚利桑那州立大学)
我们考虑扩展的推出算法,适用于约束确定性动态规划,包括具有挑战性的组合最优化问题。该算法依赖于一个次优的政策,称为基地启发式。在适当的假设下,我们表明,如果基地启发式产生一个可行解,推出算法具有成本改善属性:它产生一个可行解,其成本是不差于基地启发式的成本。然后,我们专注于多智能体问题,在每个阶段的控制由多个组件(每个代理一个),这是通过耦合的费用函数或约束或两者兼而有之。我们表明,成本改善属性保持与替代实现,大大降低了计算要求,并使得可能使用的推出与许多代理的问题。我们证明了这种替代算法,将其应用到分层图的问题,涉及的空间和时间结构。我们认为在一些细节这样的问题的一个突出的例子:多维分配,我们使用的拍卖算法2维分配作为一个基本的启发式。这种拍卖算法特别适合我们的上下文,因为通过使用价格,它可以有利地使用分配问题的解决方案作为解决其他相关分配问题的起点,并且这可以大大加快推出算法的执行。
2020-04-27 cs.AI math.OC
Communication-Efficient Algorithms for Decentralized and Stochastic Optimization
Georgia Institute of Technology(佐治亚理工学院)
针对多智能体网络上的非光滑随机最优化问题,提出了一类新的分散一阶方法。考虑到通信是分散优化的主要瓶颈,本文的主要目标是开发算法框架,可以显着减少节点间通信的数量。我们首先提出了一种分散的原始-对偶方法,可以找到一个$ε$ -解决方案,无论是在功能最优性差距和可行性残差在$O(1/ε)$节点间的通信轮时,目标函数是凸的和当地的原始子问题得到解决。我们的主要贡献是提出了一类新的分散原始-对偶型算法,即分散通信滑动(DCS)方法,它可以跳过节点间的通信,而代理解决原始子问题迭代通过线性化的本地目标函数。通过采用DCS,代理仍然可以在$O(1/ε)$中找到$ε$ -解决方案(分别为,$O(1/\sqrtε)$)通信循环用于一般凸函数(分别,强凸函数),同时保持$O(1/ε^2)$(分别,$O(1/ε)$),其约束于节点内次梯度评估的总数。我们还提出了一个随机对应的这些算法,表示SDCS,解决随机最优化问题的目标函数不能准确评估。与现有的分散非光滑和随机最优化的结果相比,我们可以减少数量级的节点间的通信轮的总数,同时仍然保持最佳的复杂性范围内的节点内的随机次梯度评价。次梯度估计的界限实际上与集中式非光滑和随机最优化所需的界限相当。
2017-02-04 cs.LG math.OC
Local Versus Global Conditions in Polynomial Optimization
本文综述了多项式最优化中的局部和全局最优性条件。我们总结了它们之间的关系。
2015-05-01 math.OC
Distributed Online Stochastic Convex-Concave Optimization: Dynamic Regret Analyses under Single and Multiple Consensus Steps
本文研究多智能体网络上的分布式在线凸-凹优化问题,提出一种基于时变预测映射的在线随机镜像下降算法,证明其动态鞍点遗憾上界并利用多次一致性技术收紧了界,最后通过目标跟踪仿真验证了有效性。
2025-08-13 math.OC
Human Behavior Algorithms for Highly Efficient Global Optimization
全局优化在计量经济学、科学和工程中有着非常广泛的应用。然而,非凸目标函数的全局优化是特别困难的,因为大多数现有的全局最优化方法依赖于容易陷入局部点的局部线性搜索算法,或者可能经常不能产生好的后代的随机搜索策略。根据人的行为,一维全局搜索法在全局优化中应采用交替下降和上升(上山和下山)策略。提出了一种基于沿一个方向或多个不同方向交替下降和上升的人类行为算法。非常幸运的是,所提出的HBA使得全局最优化方法具有找到全局极小值点的高可能性。几个基准实验测试,我们的HBA是非常有效的解决一些基准最优化问题。
2015-07-14 math.OC
A Note on Global Optimization for Max-Plus Linear Systems
本文进一步解决了[Automatica 119(2020)109104]中考虑的最大加线性系的全局最优化问题。首先,对求解全局最优化问题的公式中所涉及的无穷元素与实数之间的运算进行了明确的解释。其次,对全局最优解的下确界公式和可解性判据进行了简化。第三,给出了全局最优解的唯一性判据和全局最优解的集合。
2021-03-29 math.OC
Global optimization: algorithms and software
这篇论文已被作者撤回。
2007-01-06 math.OC
Enhanced Global Optimization with Parallel Global and Local Structures
在实践中,实时控制系统的目标函数可能具有多个局部极小值,或者可能在函数空间上急剧变化,使得它们难以优化。为了有效地优化这样的系统,在本文中,我们开发了一个并行全局优化框架,结合直接搜索法与贝叶斯并行优化。它包括一个迭代的全局和局部搜索,广泛地搜索整个全球空间的有前途的地区,然后有效地利用每个地方的有前途的地区。我们证明了所提出的框架的渐近收敛性质,并进行了广泛的数值比较,以说明其经验性能。
2022-01-25 math.OC
Global Deterministic Optimization with Artificial Neural Networks Embedded
人工神经网络(ANN)用于各种应用中,用于数据驱动的黑盒建模和后续优化。在这里,我们提出了一个有效的方法,确定性全局优化的人工神经网络嵌入最优化问题。所提出的方法基于在缩减空间中使用McCormick松弛的算法的松弛[ \textit{SIOPT},20(2009),pp. 573-601],包括ANN的非线性激活函数的凸包络和凹包络。最优化问题使用我们内部的全局确定性求解器MAiNGO解决。所提出的方法的性能显示在四个优化的例子:说明性功能,发酵过程,压缩机厂和化工过程优化。结果表明,计算解决方案的时间是有利的相比,全球通用的优化求解器BARON。
2018-10-15 math.OC
Efficient treatment of bilinear forms in global optimization
我们有效地治疗双线性型的全局优化的背景下,通过应用麦考密克凸化和延长的方法Saxena,Bonami和李对称二次型双线性型。我们的工作的一个关键应用是在处理“结构凸性”的对称二次型。
2018-03-20 math.OC
Global Convergence and Rate Analysis of the Steepest Descent Method for Uncertain Multiobjective Optimization via a Robust Optimization Approach
本文针对不确定多目标优化问题,在已有局部收敛性工作基础上,严格证明了最速下降法的全局收敛性和线性收敛速率,从而完善其理论基础并提升鲁棒优化方法的实用性。
2025-03-09 math.OC
A Comparative Study of STA on Large Scale Global Optimization
状态转移算法是近年来出现的一种新的智能全局最优化方法。对于维数不超过100的全局最优化问题,标准连续STA已表现出强大的全局搜索能力。在这项研究中,我们给出了一个测试报告,目前的性能标准连续STA大规模全局优化时,与其他国家的最先进的进化算法相比。实验结果表明,标准连续STA对几乎所有的测试问题都能很好地工作,其全局搜索能力远远优于竞争对手。
2016-04-25 math.OC
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化,我们专注于分布式随机梯度下降(D-SGD)-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证,并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化,我们讨论了基于退火的方法,其中缓慢衰减的噪声被添加到D-SGD。条件下,收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
Canonical Duality-Triality Theory for Solving General Global Optimization Problems in Complex Systems
利用典型对偶-对偶理论研究了一般非凸最优化问题。证明了指数和与四次多项式和的试探性定理,解决了2003年的一个未解决的问题。该理论可用于寻找全局最优解的全局极小值和局部极值,弥补了全局优化与非凸力学之间的不足。详细的应用程序说明了几个例子。
2014-07-30 math.OC
SMGO: A Set Membership Approach to Data-Driven Global Optimization
许多科学和工程应用的特点是非凸优化问题,其中的目标函数不能解析处理,即它是一个黑盒。实例包括通过实验或通过昂贵的有限元模拟的设计优化。为了解决这些问题,使用全局优化例程。这些迭代技术必须权衡利用接近当前最佳点的搜索空间的未知区域的探索。在这方面,提出了一种新的全局优化策略的基础上的集成员(SM)框架。假设费用函数为Lipschitz连续,该方法采用SM概念来决定是否从开采模式切换到勘探模式,反之亦然。由此产生的算法,命名为SMGO(集成员全局优化)。关于收敛性和计算复杂性的理论属性推导,并讨论了实施方面。最后,SMGO的性能进行了评估的一组基准非凸问题,并与其他全局优化方法。
2021-07-09 math.OC
Feasible-side global convergence in experimental optimization
我们提出了一个标准形式的实验最优化问题,并回顾了最先进的方法来解决这个问题,因为在这些方法中没有保证整体收敛到一个最优点,通过唯一可行的迭代,我们提出了一组充分条件,以加强这一行为。
2014-06-16 math.OC
Global solutions to general polynomial benchmark optimization problems
本文的目标是解决一类高次多项式基准最优化问题,包括Goldstein-Price问题和三峰骆驼背问题。利用推广的正则对偶理论,将非凸原问题转化为凸区域(无对偶间隙)上的凹对偶问题,从而得到整体解.
2012-07-27 math.OC
Subdomain Separability in Global Optimization
本文提出全局优化中可分性的推广,利用伴随算法微分的区间导数自动验证结构分隔子,以缩减搜索空间并加速优化方法。
2020-10-19 math.OC
Global convergence of the Heavy-ball method for convex optimization
本文建立了求解凸优化问题的Heavy-ball方法的整体收敛性,并给出了收敛速度的全局界。当目标函数具有Lipschitz连续梯度时,我们证明了迭代的Cesaro平均以$O(1/k)$的速度收敛到最优解,其中k是迭代次数.当目标函数也是强凸时,我们证明了Heavy-ball迭代线性收敛于唯一的最优解。
2014-12-23 math.OC
Binary interaction methods for high dimensional global optimization and machine learning
在这项工作中,我们介绍了一类新的梯度自由的全球最优化方法的基础上的二元相互作用动力学的玻尔兹曼型方程。在每个相互作用中,粒子的行为都考虑到最佳微观二元位置和最佳宏观集体位置。在平均场的限制,我们表明,由此产生的福克-普朗克偏微分方程推广目前的一类共识为基础的优化(CBO)方法。对于后者的方法,收敛到全局最小值,可以显示为一大类功能。在动力学理论中著名的直接模拟蒙特卡罗方法的启发下,推导并讨论了数学实现。几个例子的原型检验函数的全局优化的报告,包括应用到机器学习。
2022-03-14 math.OC
A New Hybrid Classical-Quantum Algorithm for Continuous Global Optimization Problems
Grover算法可以用于全局最优化方法中,在某些情况下,它比经典算法有二次加速。本文描述了一种求解连续全局最优化问题的新方法,该方法利用经典算法寻找局部极小值,并用Grover算法跳出该局部极小值。与试验台功能和比较与文献中的算法的模拟。
2013-01-20 math.OC quant-ph
Consensus-based Optimization and Ensemble Kalman Inversion for Global Optimization Problems with Constraints
我们介绍了一种实用的方法,将平等和不等式约束的基础上随机相互作用粒子系统的全局最优化方法,特别是基于共识的优化(CBO)和集合卡尔曼反演(EKI)。与文献中的其他方法不同,我们提出的方法并不约束的动态的状态空间的可行域在任何时候,粒子在整个空间中的演变,但被吸引到可行集的惩罚项添加到目标函数的装置,在CBO的情况下,一个额外的松弛漂移。我们研究了该方法的性质,通过相关的平均场Fokker-Planck方程,并证明其性能在几个测试问题的数值实验。
2021-11-04 math.OC
An Alternative Globalization Strategy for Unconstrained Optimization
我们提出了一种新的全球化策略,可以用于无约束优化算法,以支持从远程起点的快速收敛。我们的方法是基于在每次迭代中使用重点来构建目标函数的代表性模型。使用从这些重点收集的新信息,通过更新局部步长的方向以及其长度来逐渐改进局部步长。我们给出了一个整体收敛的结果,也提供了并行实现的细节伴随着数值研究。我们的数值研究表明,该算法是一个有前途的替代全球化战略。
2017-05-15 math.OC
Smoothing Iterative Consensus-based Optimization Algorithm for Nonsmooth Nonconvex Optimization Problems with Global Optimality
针对无约束非光滑非凸优化的全局极小值求解问题,结合平滑与共识优化方法提出新型SICBO算法,证明其指数收敛性与全局最优性理论保证,且适用于非利普希茨连续情形,数值实验验证了算法有效性。
2025-01-13 math.OC
An augmented filled function for global nonlinear integer optimization
寻找非线性离散函数的全局最小值问题在许多实际问题中都存在。近年来,基于离散填充函数的方法成为解决这类问题的热门方法。然而,它们依赖于用于局部搜索的最速下降方法。在这里,我们提出了一种方法,不依赖于一个特定的局部最优化方法,和一个新的离散填充函数的有用的属性,一个良好的连续的全局优化算法应用于它导致的非线性离散问题的解决方案的近似。数值结果表明了新方法的有效性。
2020-03-25 math.OC
Global Optimization via Optimal Decision Trees
本文提出利用带超平面的最优决策树学习全局优化问题的混合整数优化兼容近似,以高效求解含显式和黑箱约束的全局优化问题,并通过投影梯度下降改进解,在数值基准和实际设计中验证了有效性。
2022-02-12 math.OC
Variational discretization and semi-smooth Newton methods; implementation, convergence and globalization in pde constrained optimization with control constraints
当结合变分离散的数值概念和半光滑牛顿法求解带有控制约束的偏微分方程约束优化的数值解时,必须特别强调数值算法的实现、收敛性和全局性。在目前的工作中,我们解决所有这些问题。特别是,我们证明了快速局部收敛的算法,并提出了两种不同的全球化战略,适用于许多实际相关的数学设置。我们通过数值实验说明了我们的分析和算法研究结果。
2009-12-02 math.OC
An open-source solver for finding global solutions to constrained derivative-free optimization problems
本文提出一个名为GSDO的开源启发式求解器,通过基于径向基函数的代理近似求解受约束无导数全局优化问题,其性能与NOMAD、DE和SHGO等先进求解器相比具竞争力。
2024-04-28 math.OC
Super Gradient Descent: Global Optimization requires Global Gradient
针对传统优化易陷入局部极小的问题,提出面向一维k-Lipschitz函数的超级梯度下降法,引入全局梯度概念,保证收敛到全局最小值,填补优化理论空白并助力线搜索等机器学习问题。
2024-10-29 cs.LG cs.NA math.NA
On the Efficient Gerschgorin Inclusion Usage in the Global Optimization αBB Method
在本文中,我们重新讨论了求解全局最优化问题的αBB方法。本文研究了用于计算黑塞矩阵特征值界的Gerschgorin包含定理中尺度向量的最优性。我们提出了两种算法来计算好的尺度向量d,并陈述了最优d的三个必要的最优性条件。由于第二种方法计算的尺度向量满足所有三个最优性条件,因此它是一种廉价但有效解。
2013-07-10 math.OC
Adaptive Expansion Bayesian Optimization for Unbounded Global Optimization
University of Maryland(马里兰大学)
贝叶斯优化通常在固定的变量范围内执行。在机器学习算法的超参数调优等情况下,设置变量边界并不简单。很难保证任何固定的边界将包括真正的全局最优值。我们提出了一种贝叶斯优化方法,只需要指定一个初始搜索空间,不一定包括全局最优值,并扩大搜索空间时,必要的。然而,在搜索空间扩展期间可能发生过度探索。我们的方法可以自适应地平衡在不断扩大的空间中的探索和开发。一系列合成检验函数和MLP超参数优化任务的结果表明,所提出的方法优于或至少与当前最先进的方法一样好。
2020-01-12 cs.LG math.OC
Group theory, group actions, evolutionary algorithms, and global optimization
在本文中,我们使用组,行动和轨道来理解进化如何解决非凸优化问题。
2013-05-03 cs.NE math.DS math.OC
Quantization-Based Optimization: Alternative Stochastic Approximation of Global Optimization
ETRI(韩国电子通信研究院)
在这项研究中,我们提出了一个全局优化算法的基础上量化的能量水平的目标函数在NP难问题。根据白噪声假设,量化误差具有密集且均匀的分布,我们可以将量化误差视为i.i.d.白噪音从随机分析,所提出的算法收敛弱,只有在满足Lipschitz连续性的条件下,而不是局部收敛性能,如Hessian约束的目标函数。这表明,所提出的算法确保全局最优的拉普拉斯条件。数值实验表明,该算法在求解旅行商问题等NP-难优化问题时优于传统的学习方法。
2022-11-08 cs.LG math.OC
Newton's Method for Global Free Flight Trajectory Optimization
本文针对全局自由飞行轨迹优化问题,研究离散与连续优化结合方案中牛顿法的局部收敛性,并证明其在特定假设下可于极小点的足够大邻域内收敛。
2024-04-07 math.CA math.FA math.OC
Global optimization using Sobol indices
我们提出并评估了一个新的全球(无导数)优化算法,灵感来自LIPO算法,它使用基于方差的灵敏度分析(Sobol指数),以减少调用的数量的目标函数。这种方法应该是有效的,以优化昂贵的功能,满足稀疏效应原则。
2019-06-12 math.OC stat.AP stat.CO
Numerical simulation of differential-algebraic equations with embedded global optimization criteria
本文针对嵌入全局优化准则的微分代数方程,提出事件检测与定位方法,保留高阶收敛性,支持最优控制问题的离散切线与伴随灵敏度计算。
2023-05-09 math.DS math.OC
Global solutions to a class of CEC benchmark constrained optimization problems
University of Ballarat(巴拉瑞特大学);Central South University(中南大学)
本文利用典范对偶理论和KKT条件,求解一类被自然启发优化算法广泛研究的CEC基准约束优化问题的全局解。
2012-10-14 cs.NA math.NA math.OC
LAGO: A Local-Global Optimization Framework Combining Trust Region Methods and Bayesian Optimization
Institute of Mathematics EPFL(瑞士联邦理工学院数学研究所);Dipartimento di Scienze Matematiche Politecnico di Torino(都灵理工大学数学系)
提出LAGO框架,通过自适应竞争机制耦合贝叶斯优化和基于梯度的信赖域局部细化,用于光滑且梯度可用的昂贵目标函数优化,在提议层面分离全局探索与局部细化。
2026-06-05 cs.LG math.OC
TREGO: a Trust-Region Framework for Efficient Global Optimization
高效全局优化(Efficient Global Optimization,EGO)是贝叶斯优化的标准形式,已成功应用于解决评估费用黑盒问题的全局优化。然而,EGO难以随维度扩展,并且提供了有限的理论保证。在这项工作中,一个置信域框架的EGO(TREGO)的建议和分析。TREGO在置信域内在常规EGO步骤和局部步骤之间交替。通过遵循置信域的经典方案(基于充分减少条件),所提出的算法具有整体收敛特性,而仅在优化步骤的子集上偏离EGO。利用广泛的数值实验的基础上著名的COCO {界约束问题},我们首先分析了TREGO对自己的参数的敏感性,然后表明,由此产生的算法是一贯优于EGO和获得竞争力与其他国家的最先进的黑盒最优化方法。
2022-04-23 math.OC stat.ML
Distributed Global Optimization by Annealing
本文考虑非凸函数全局极小化的一个分布式算法。该算法是一个一阶共识+新息型算法,采用衰减加性高斯噪声进行退火,在一定的技术假设下收敛到全局最小值。本文提出了简单的方法来验证所需的技术假设,并说明了它与分布式目标定位应用程序。
2019-07-20 cs.MA math.OC
On Distributed Stochastic Gradient Algorithms for Global Optimization
研究了光滑非凸最优化问题全局极小点的网络计算问题。众所周知,分布式梯度下降型算法可以通过添加缓慢衰减的高斯噪声以逃避局部极小值来实现收敛到全局极小值的集合。然而,据以确定会出现趋同的技术假设在实践中可能具有限制性。特别是,在已知的收敛结果中,代理所拥有的局部目标函数需要满足高度限制性的有界梯度相异度条件。本文证明了收敛到全局极小值集,同时放松这一关键假设。
2019-10-23 cs.MA math.OC
NPSA: Nonparametric Simulated Annealing for Global Optimization
在本文中,我们描述了NPSA,第一个并行的非参数全局极大似然优化算法使用模拟退火(SA)。与非参数自适应网格搜索方法NPAG不同,NPAG不能保证找到全局最优解,并且可能受到维数灾难的影响,NPSA是一个全局优化器,并且没有这些网格相关的问题。我们说明NPSA的一些例子,包括伏立康唑的药代动力学(PK)模型,并表明NPSA可以作为升级到目前的网格搜索为基础的非参数方法。
2023-01-30 math.OC stat.ME
A New Challenging Curve Fitting Benchmark Test Set for Global Optimization
本文提出新的PCC曲线拟合基准测试集,其维数小、无约束且难度高,经七个全局优化求解器测试,证明其比NIST基准更适合评估全局优化算法。
2024-02-07 cs.MS cs.NA math.NA
A global optimization algorithm for sparse mixed membership matrix factorization
混合隶属因子分解是分析样本内异质性数据集的一种常用方法。近年来,已经开发了几种算法用于混合隶属度矩阵分解,但它们只能保证从局部最优估计。在这里,我们推导出一个全局优化(GOP)算法,提供了一个保证$ε$ -全局最优的稀疏混合隶属度矩阵分解问题。我们在模拟数据上测试了该算法,发现该算法在随机初始化过程中始终保持全局最优,并有效地探索了多个模式。
2016-10-24 math.OC stat.ME stat.ML
Stochastic global optimization as a filtering problem
University of Minnesota(明尼苏达大学)
将随机全局优化重新表述为滤波问题,利用粒子滤波器聚焦有前途的解,在参数指数密度估计中比朴素全局优化更快收敛。
2009-12-21 cs.NA math.NA math.OC
$1D$ to $nD$: A Meta Algorithm for Multivariate Global Optimization via Univariate Optimizers
在这项工作中,我们提出了一个Meta算法,可以解决一个多变量的全局最优化问题使用单变量全局优化。虽然单变量全局优化没有得到太多的关注相比,多变量的情况下,这是更强调在学术界和工业界,我们表明,它仍然是相关的,可以直接用于解决多变量优化问题。我们还提供了相应的遗憾界的时间范围$T$和平均遗憾的单变量优化,当它是强大的非负噪声强大的遗憾保证。
2022-09-06 cs.CC cs.DS cs.LG
On strong homogeneity of two global optimization algorithms based on statistical models of multimodal objective functions
Vilnius University Institute of Mathematics and Informatics(维尔纽斯大学数学与信息学研究所)
本文提出利用无穷算术实现全局优化算法,并引入强齐次性概念,证明P算法和一步贝叶斯算法具有该性质。
2011-08-04 cs.NA math.NA math.OC
The Informational Approach to Global Optimization in presence of very noisy evaluation results. Application to the optimization of renewable energy integration strategies
我们考虑从非常嘈杂的评价函数f的全局优化的问题。我们采用贝叶斯序贯方法:选择评估点以减少关于f的全局最优位置的不确定性,如通过相应随机变量的熵所测量的(全局优化的信息方法,Villemonteix等人,2009年)。当评估是非常嘈杂的,来自使用条件模拟的熵的估计的误差变得不可忽略相比,其在输入域上的变化。我们提出了一个解决这个问题的方法,选择评价点,如果几个评价将在这些点。该方法被施加到可再生能源的整合到配电网的策略的优化。
2015-06-15 math.OC stat.AP stat.CO
An Efficient Framework for Global Non-Convex Polynomial Optimization with Algebraic Constraints
本文提出一种高效框架,通过构造本质上无虚假局部极小值的等价非线性重构,在高维带代数约束的全局非凸多项式优化中实现关于维数和次数的多项式级扩展。
2024-09-04 cs.MS cs.NA math.NA
Simulated annealing: in mathematical global optimization computation, hybrid with local or global search, and practical applications in crystallography and molecular modelling
模拟退火(SA)的灵感来自于冶金学中的退火,这是一种涉及加热和控制冷却材料以增加其晶体尺寸并减少其缺陷的技术,两者都是取决于其热力学自由能的材料属性。在本文中,我们首先将详细研究SA的实际实施。然后,将纯模拟退火与局部(或全局)搜索最优化方法混合,使我们能够设计出几种有效的和高效的全局搜索最优化方法。为了保持SA的原有意义,我们通过对朊病毒淀粉样纤维的研究,阐明了我们在晶体学和分子模拟领域对SA的认识。
2013-08-28 cs.CE math.OC physics.comp-ph
Global optimization via inverse distance weighting and radial basis functions
IMT School for Advanced Studies Lucca(卢卡IMT高等研究院)
全局优化问题的目标函数是昂贵的评估,可以有效地解决递归拟合代理函数的函数样本和最小化的采集函数,以产生新的样本。获取步骤在寻找新的优化向量(其中代理是最小的)(利用代理)和寻找可行空间的尚未被访问并且可能包含目标函数的更好值的区域(探索可行空间)之间进行权衡。本文提出了一种新的全局优化算法,使用反距离加权(IDW)和径向基函数(RBF)的组合来构建捕获函数。可以很容易地考虑到容易评估的任意约束。与贝叶斯优化相比,所提出的算法,我们称之为GLIS(使用逆距离加权和替代径向基函数的GLObal最小值),具有竞争力和计算量更轻,正如我们在一组基准全局优化和超参数调整问题中所示。GLIS的MATLAB和Python实现可在\url{http://cse.lab.imtlucca.it/~bemporad/glis}上获得。
2020-01-09 cs.LG math.OC stat.ML
An Efficient Global Optimization Algorithm with Adaptive Estimates of the Local Lipschitz Constants
本文提出一种确定性分区全局优化算法HALO,通过自适应平衡全局和局部信息来估计局部Lipschitz常数,以计算下界并指导搜索。该算法无需超参数调优,且能识别重要变量以帮助解释优化问题。
2026-03-14 cs.LG math.OC stat.ML
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy
Northwestern University(西北大学);Princeton University(普林斯顿大学)
使用神经网络参数化的演员和评论家的近端策略优化和信任域策略优化(PPO和TRPO)在深度强化学习中取得了显著的经验成功。然而,由于非凸性,PPO和TRPO的全局收敛性仍然不太清楚,这使理论与实践分离。在本文中,我们证明了一个变体的PPO和TRPO配备过参数化神经网络收敛到全局最优的政策,在一个次线性的速度。我们分析的关键是无限维镜像下降的全局收敛性的概念下的一点单调性,其中的梯度和梯度是由神经网络实例化。特别是,所需的表示能力和优化几何诱导过参数化的神经网络,使他们能够准确地近似的无穷维梯度和梯度。
2023-02-27 cs.LG math.OC stat.ML