Continuous surrogate-based optimization algorithms are well-suited for expensive discrete problems
Delft University of Technology(代尔夫特理工大学)
解决昂贵的黑箱最优化问题的一种方法是使用代理模型,该代理模型基于先前观察到的评估来近似目标。替代,这是更便宜的评估,优化,而不是找到一个近似解的原始问题。在离散问题的情况下,最近的研究已经围绕代理模型,专门构造处理离散结构。一个主要的动机是,文献认为连续方法,如贝叶斯优化与高斯过程作为替代,是次优的(特别是在更高的维度),因为他们忽略了离散结构,例如,将实数解舍入为整数。然而,我们声称这不是真的。事实上,我们提出的经验证据表明,使用连续代理模型显示竞争力的性能上的一组高维离散基准问题,包括现实生活中的应用,对国家的最先进的离散代理为基础的方法。我们对不同离散结构和时间约束的实验也让我们更深入地了解哪些算法在哪种类型的问题上工作得很好。
2020-11-30 cs.LG math.OC
GPSAF: A Generalized Probabilistic Surrogate-Assisted Framework for Constrained Single- and Multi-objective Optimization
Michigan State University(密歇根州立大学)
在过去的二十年里,人们已经做出了大量的努力来解决计算量大的最优化问题,并且已经提出了各种将代理引入优化的最优化方法。大多数研究集中于通过定义效用最优化问题或定制现有的最优化方法来使用一个或多个近似模型来利用代理。然而,只有很少的注意力已经支付给通用的概念,适用于不同类型的算法和最优化问题的同时。因此,本文提出了一种广义概率代理辅助框架(GPSAF),适用于一个广泛的类别无约束和约束,单目标和多目标最优化算法。这个想法是基于代理协助现有的最优化方法。这种援助基于两个不同的阶段,一个是促进勘探,另一个是利用代理人。通过在不同的解决方案集群之间执行概率淘汰赛来自动平衡代理的探索和利用。针对最大解评估预算不超过300的单目标和多目标最优化问题,在有和没有提出的代理辅助的情况下,对多种著名的基于群体的优化算法进行了研究,结果表明了将GPSAF应用于优化算法的有效性以及与其他代理辅助算法的竞争力。
2022-04-06 cs.LG cs.MS math.OC
Surrogate-based Optimization via Clustering for Box-Constrained Problems
National University of Singapore(新加坡国立大学)
本文提出了一种基于聚类的 surrogate 优化方法 SBOC,用于解决盒约束问题的全局优化,通过聚类和局部区域优化,提高了计算效率和准确性。
2026-11-09 cs.LG math.OC
Surrogate-assisted multi-objective design of complex multibody systems
TU Dortmund(多特蒙德大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所);Paderborn University(帕德博恩大学)
本文提出一种在代理建模与多目标优化间交替的方法,以解决复杂多体系统优化中高成本与解近最优性难保证的挑战,并比较不同策略以找出计算效率与解质量最优的方案。
2024-12-19 cs.LG math.OC
A tree-based radial basis function method for noisy parallel surrogate optimization
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
并行代理优化算法已被证明是解决昂贵的噪声最优化问题的有效方法。在这项工作中,我们开发了一个新的并行代理优化算法(ProSRS),使用一种新的基于树的“缩放策略”,以提高算法的效率。我们证明,如果ProSRS运行足够长的时间,概率收敛到一个将有至少一个点之间的所有评估,将任意接近全局极小值。我们将我们的算法与几种最先进的贝叶斯优化算法在一套标准基准函数和两个真正的机器学习超参数调整问题上进行了比较。我们发现,我们的算法不仅实现了显着更快的优化收敛,但也是1-4个数量级的计算成本便宜。
2019-08-21 cs.LG math.OC stat.ML
Parametric Nonconvex Optimization via Convex Surrogates
KU Leuven(鲁汶大学)
本文提出一种基于学习的方法,通过构造近似问题来解决参数非凸优化问题,利用凸和单调项的组合构建替代函数,通过并行凸优化直接求解,实验验证了方法的有效性。
2026-04-07 cs.LG cs.SY eess.SY
Optimization with First-Order Surrogate Functions
INRIA(法国国家信息与自动化研究所)
在本文中,我们研究的优化方法,包括迭代最小化的目标函数的代理。通过提出几种算法变体和简单的收敛性分析,我们做出了两个主要贡献。首先,我们提供了一个统一的观点,几个一阶优化技术,如加速邻近梯度,块坐标下降,或弗兰克-沃尔夫算法。其次,我们引入了一种新的增量方案,该方案在实验上匹配或优于机器学习中通常出现的大规模优化问题的最先进的求解器。
2013-05-14 cs.LG math.OC stat.ML
Iterative Surrogate Model Optimization (ISMO): An active learning algorithm for PDE constrained optimization with deep neural networks
SINTEF(挪威科学与工业研究基金会);ETH Zürich(苏黎世联邦理工学院);University of Southern California(南加州大学);TIFR Centre for Applicable Mathematics(塔塔基础研究院应用数学中心)
提出了一种新的主动学习算法--迭代代理模型优化算法(ISMO),用于求解偏微分方程约束最优化问题的鲁棒、高效的数值逼近。该算法基于深度神经网络,其关键特征是通过深度神经网络和任何底层标准优化算法之间的反馈循环迭代选择训练数据。在适当的假设下,我们证明了所得到的优化收敛指数快速(和指数衰减方差),相对于训练样本的数量增加。最优控制,参数识别和形状最优化问题的偏微分方程的数值例子提供验证所提出的理论,并说明ISMO显着优于基于代理优化算法的标准深度神经网络。
2020-08-13 cs.LG cs.NA math.NA
Branching Adaptive Surrogate Search Optimization (BASSO)
针对高维黑箱函数全局优化难题,提出结合分区与代理建模的自适应随机搜索框架BASSO,并给出有限时间分析及扩展条件,实验验证了其变体性能。
2025-04-25 math.OC
pySOT and POAP: An event-driven asynchronous framework for surrogate optimization
Cornell University(康奈尔大学);Uber AI Labs(优步人工智能实验室);National University of Singapore(新加坡国立大学)
本文介绍了使用异步并行优化(POAP)和Python代理优化(pySOT)的管道。POAP是一个事件驱动的框架,用于构建和组合异步优化策略,旨在对并发函数求值有用的昂贵函数进行全局优化。POAP由三个组件组成:一个能够进行功能评估的工作者池,提出评估或其他操作的策略,以及一个协调工作者和策略之间交互的控制器。pySOT是同步和异步代理优化策略的集合,在POAP框架中实现。我们支持的随机RBF方法的Regis和舒梅克随着各种扩展的这种方法,和一般的代理优化策略,涵盖了大多数贝叶斯最优化方法。我们已经实现了许多不同的代理模型、试验设计、采集功能和大量的测试问题。我们做了广泛的同步和异步并行之间的比较,发现异步计算的优势增加的方差的评估时间或处理器的数量增加。我们观察到一个接近线性的速度与4,8和16个处理器在同步和异步设置。
2019-07-30 cs.LG cs.MS math.OC
PMBO: Enhancing Black-Box Optimization through Multivariate Polynomial Surrogates
CASUS – Center for Advanced Systems Understanding(CASUS——高级系统理解中心);Helmholtz-Zentrum Dresden-Rossendorf e.V. (HZDR)(德累斯顿-罗森多夫亥姆霍兹中心);California Institute of Technology(加州理工学院);University of Wrocław(弗罗茨瓦夫大学)
本研究提出基于多项式代理模型的黑箱优化方法PMBO,交替进行多项式近似与贝叶斯优化,用高斯过程建模拟合误差,在低维问题上性能优于经典贝叶斯优化、媲美CMA-ES,且鲁棒性强、模型可解释性好。
2024-03-12 cs.LG cs.MS math.OC
Quantifying uncertainty with ensembles of surrogates for blackbox optimization
这项工作是在黑盒优化的情况下,定义的问题是昂贵的评估和没有衍生工具。一种久经考验的技术是建立目标和约束的代理,以便以更便宜的计算成本进行优化。这项工作提出了不同的不确定性措施时,使用合奏的替代品。由此产生的组合合奏的替代品与我们的措施的行为作为一个随机模型,并允许使用高效的贝叶斯优化工具。该方法被纳入网格自适应直接搜索(MADS)算法的搜索步骤,以提高搜索空间的探索。对七个解析问题、两个多学科最优化问题和两个仿真问题进行了计算实验。结果表明,所提出的方法解决了昂贵的模拟为基础的问题,在更高的精度和更低的计算工作量比随机模型。
2021-07-09 math.OC
On Uncertainty Estimation by Tree-based Surrogate Models in Sequential Model-based Optimization
POSTECH(浦项科技大学);BARO AI
基于模型的序贯优化通过构造具有评价历史的代理模型来顺序地选择候选点,以解决黑盒优化问题。高斯过程(GP)回归是一个流行的选择作为代理模型,因为它的能力,分析计算预测的不确定性。另一方面,随机化树的集合是另一种选择,并且由于其可扩展性和易于处理连续/离散混合变量而具有优于GP的实际优点。在本文中,我们重新审视各种合奏的随机树的预测不确定性估计的角度来研究他们的行为。然后,我们提出了一种新的方法来构建一个合奏的随机树,被称为BwO森林,装袋与过采样被用来构建自举样本,用于建立随机树与随机分裂。实验结果表明,在各种情况下,BwO森林的有效性和良好的性能比现有的基于树的模型。
2022-02-22 cs.LG math.OC stat.ML
MATSuMoTo: The MATLAB Surrogate Model Toolbox For Computationally Expensive Black-Box Global Optimization Problems
MATSuMoTo是MATLAB的替代模型,用于计算量大、黑箱、全局最优化问题,这些问题可能具有连续、混合整数或纯整数变量。由于目标函数的黑箱性质,导数不可用。因此,代理模型被用作昂贵的目标函数的计算上便宜的近似,以指导搜索改进的解决方案。由于进行单个函数求值的计算开销,目标是在非常少的昂贵求值中找到最优解。昂贵的黑盒函数的多模态性需要一种能够在局部和全局进行搜索的算法。MatsuMoTo能够应对这些挑战。MATSUMOTO提供替代模型和替代模型混合物、初始试验设计策略和取样策略的各种选择。MATSUMOTO能够利用MATLAB的并行计算能力并行地进行多个函数的计算。
2014-04-16 math.OC
Surrogate-Assisted Reference Vector Adaptation to Various Pareto Front Shapes for Many-Objective Bayesian Optimization
Jiteki Lab(Jiteki 实验室)
我们提出了一个代理辅助参考向量自适应(SRVA)方法来解决昂贵的多和多目标优化问题与各种帕累托前沿形状。SRVA是再加上一个多目标贝叶斯优化(MBO)算法,使用参考向量标量化的目标函数。该方法采用Kriging代理模型估计目标函数的Pareto前沿形状,并在估计的Pareto前沿上生成均匀分布的自适应参考向量。我们结合SRVA与预期改善的处罚为基础的边界相交作为MBO的填充标准。该算法与其他两个目标优化算法进行了比较,通过将它们应用到具有各种Pareto前沿形状的基准问题。实验结果表明,该算法在目标函数被Kriging模型合理逼近的问题上优于其他两种算法。SRVA提高了这些问题的连续,不连续和退化的帕累托前沿的非支配解决方案的多样性。此外,该算法从优化的早期阶段获得更好的解决方案,特别是在多目标问题。
2021-10-10 cs.LG cs.NE math.OC
Surrogate Models for Optimization of Dynamical Systems
随着动力系统复杂性的增加,在最优化问题中通过数值模拟求解微分方程组的计算量越来越大。本文提出了一种智能数据驱动机制来构造低维代理模型。这些代理模型通过使用从真实目标函数的评估导出的训练实例来减少用于解决复杂最优化问题的计算时间。代理模型的构造使用适当的正交分解和径向基函数的组合,并提供系统的响应,通过简单的矩阵乘法。采用相对最大绝对误差作为逼近精度的度量,结果表明拉丁超立方抽样和样条径向基函数的代理模型在保持精度的同时,在优化计算时间上优于变阶方法。这些替代模型还显示出在模型非线性存在下的鲁棒性。因此,这些计算效率高的预测代理模型适用于各个领域,特别是解决反问题和最优控制问题,其中一些例子在本文中演示。
2021-08-24 math.OC stat.ML
Surrogate-Based Optimization Techniques for Process Systems Engineering
本章介绍过程系统工程中基于代理的无导数优化技术,涵盖BO、COBYLA等多种算法的理论基础,并通过两个化学工程案例研究评估其性能,指导读者成功实施该技术。
2024-12-18 math.OC
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University(波士顿大学);Google(谷歌)
随机梯度下降(SGD)在机器学习中发挥了核心作用。然而,它需要一个精心挑选的步长来快速收敛,这是众所周知的繁琐和耗时的调整。在过去的几年里,大量的自适应梯度算法已经出现,以改善这个问题。他们已被证明有效地减少劳动调整在实践中,但他们中的许多人缺乏理论保证,即使在凸设置。在本文中,我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来,这导致SGD算法具有自调整的步长,保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Monotone Improvement of Information-Geometric Optimization Algorithms with a Surrogate Function
A surrogate function is often employed to reduce the number of objective function evaluations for optimization. However, the effect of using a surrogate model in evolutionary approaches has not been theoretically investigated. This paper theoretically analyzes the information-geometric optimization framework using a surrogate function. The value of the expected objective function under the candidate sampling distribution is used as the measure of progress of the algorithm. We assume that the surrogate function is maintained so that the population version of the Kendall's rank correlation coeff…
2022-04-06 cs.NE math.OC
Surrogate Models in Bidirectional Optimization of Coupled Microgrids
能源转型需要迅速采用可再生能源。除了电网基础设施内的物理变化外,储能设备及其智能操作是应对由此产生的挑战的关键措施,例如,发电量波动很大对于后者,基于优化的控制已经在微电网水平上展示了其潜力。然而,如果考虑耦合微电网的网络,则通常使用包括若干通信回合的迭代优化方案。在这里,我们建议通过使用从径向基函数或神经网络导出的代理模型来取代微电网级别上的优化,以避免这种迭代过程。我们证明了我们的方法的适定性和证明其效率的数值模拟的基础上提供的澳大利亚网格运营商的真实数据。
2019-11-11 math.OC
A Surrogate Objective Framework for Prediction+Optimization with Soft Constraints
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院)
预测+优化是一种常见的现实范例,我们必须在解决优化问题之前预测问题参数。然而,训练预测模型的标准通常与下游优化问题的目标不一致。最近,以决策为中心的预测方法,如SPO+和直接优化,已被提出来填补这一空白。但是,它们不能直接处理软约束,而许多实际目标都需要$max$运算符。本文提出了一种新的解析可微代理目标框架,用于求解具有软线性约束和非负硬约束的线性和半定负二次规划问题。该框架给出了约束乘数的理论界,并导出了关于预测参数的封闭形式解,从而导出了问题中任何变量的梯度。我们评估我们的方法在三个应用程序中扩展软约束:合成线性规划,投资组合优化,资源配置,证明我们的方法优于传统的两阶段方法和其他决策为重点的方法。
2021-11-22 cs.AI cs.LG math.OC
Surrogate-Based Simulation Optimization
仿真模型在实践中被广泛用于在复杂、动态和随机的环境中促进决策。但是,由于缺乏分析易处理性,执行和优化它们在计算上是昂贵的。仿真优化关注的是开发有效的采样方案-受计算预算-以解决这样的最优化问题。为了减轻计算负担,通常使用仿真输出来构造代理以近似仿真模型的响应曲面。在本教程中,我们提供了一个最新的概述代理为基础的方法进行仿真优化与连续决策变量。介绍了典型的替代模型,包括线性基函数模型和高斯过程。代理可以用作局部近似或全局近似。根据选择,可以开发收敛到局部最优值或全局最优值的算法。每个类别都有代表性的例子。最后讨论了高斯过程大规模计算的最新进展。
2021-06-11 math.OC stat.ME
Meta-Model Framework for Surrogate-Based Parameter Estimation in Dynamical Systems
University of Ljubljana(卢布尔雅那大学)
复杂动力系统建模的核心任务是参数估计。这项任务涉及大量的计算昂贵的目标函数的评估。基于代理的优化引入了一个计算效率高的预测模型,该模型近似于目标函数的值。标准方法涉及从对应于目标函数的过去评估的训练样本中学习代理。当前基于代理的优化方法使用静态的、预定义的替换策略,该策略决定何时使用代理以及何时使用真实目标。我们引入了一个元模型框架,其中的替代策略是动态适应给定的优化问题的解决方案空间。Meta模型封装了目标函数、代理模型和替代策略的模型,以及用于学习它们的组件。该框架可以与任意优化算法无缝耦合,无需任何修改:它替换目标函数并自主决定如何评估给定的候选解决方案。我们测试的实用程序的框架上的三个任务估计参数的真实世界模型的动力系统。结果表明,Meta模型显着提高了优化效率,减少了目标函数的评估总数平均高达77%。
2019-12-18 cs.LG math.DS math.OC
Adaptive machine learning based surrogate modeling to accelerate PDE-constrained optimization in enhanced oil recovery
在这方面的贡献,我们开发了一个有效的替代建模框架,基于模拟的优化提高采收率,我们特别关注聚合物驱。计算方法是基于一个自适应训练过程的神经网络,直接近似的输入输出映射的基本偏微分方程约束的最优化问题。因此,训练过程集中于仅与外部迭代优化循环的优化路径相关的准确代理模型的构造。目标函数的真实评估用于最终获得经认证的结果。通过一个异构五点基准问题的数值实验,验证了该方法的精度和效率。
2022-03-03 cs.NA math.NA math.OC
A Constraint Handling Approach with Guaranteed Feasibility for Surrogate Based Optimization
无约束的最优化方法,如基于代理的优化(SBO)方法和遗传(GAs)或进化(EAs)算法,在昂贵的黑盒函数的约束优化领域已经得到普及。然而,约束处理方法,这两类求解器,通常不保证严格可行的候选人在优化。这可能成为应用工程问题中的一个问题,其中设计变量必须保持可行,以确保模拟不会失败。我们提出了一个约束处理方法,计算成本低的约束函数,保证严格可行的候选人时,使用代理优化。我们比较我们的方法与其他SBO,GA/EA和基于梯度的算法在两个(相对简单和相对困难)的分析检验函数,并应用完全解决计算流体动力学(CFD)问题有关的优化波动游泳的鱼一样的身体,并表明,该算法显示出良好的结果,同时保证可行的候选人。
2021-07-21 math.OC physics.flu-dyn
Accelerating Single-Point Zeroth-Order Optimization with Regression-Based Gradient Surrogates
Texas A&M University(德克萨斯农工大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
通过回归基梯度代理提升单点零阶优化的收敛速度
2026-08-18 math.OC
Surrogate-based categorical neighborhoods for mixed-variable blackbox optimization
本文提出了一种系统方法,用于在有约束的混合变量黑箱优化中结构化和建模分类变量。通过代理模型诱导问题特定的分类距离,并利用双目标优化中的支配概念构建代理基邻域,从而解决混合变量黑箱优化中分类邻域构造的自动性和约束意识不足问题。
2026-10-27 math.OC
Feasible Path SQP Algorithm for Simulation-based Optimization Surrogated with Differentiable Machine Learning Models
本文提出一种基于可行路径序列二次规划的确定性算法框架,通过计算导数并消除中间变量,高效优化嵌入可微机器学习模型的仿真优化问题。
2025-01-29 math.OC
Decision-Focused Surrogate Modeling for Mixed-Integer Linear Optimization
University of Minnesota Twin Cities(明尼苏达大学双城分校);ExxonMobil Technology and Engineering Company(埃克森美孚技术与工程公司)
本文提出一种基于数据驱动的决策聚焦代理建模方法,通过构建线性规划模型高效求解混合整数线性规划问题,实现与原问题相近的最优解,且在两个案例中优于神经网络优化代理。
2026-04-02 math.OC
Hyperparameter Adaptive Search for Surrogate Optimization: A Self-Adjusting Approach
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
提出HASSO,一种自调整的代理优化算法,在优化过程中动态调整关键超参数,无需额外评估,提升不同SO算法在全局优化测试问题上的性能与收敛速度。
2023-10-12 cs.LG math.OC math.PR
AI Driven Laser Parameter Search: Inverse Design of Photonic Surfaces using Greedy Surrogate-based Optimization
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);National Renewable Energy Laboratory(国家可再生能源实验室);University of California at Berkeley(加州大学伯克利分校)
本文提出一种基于随机森林和贪心预测探索策略的代理优化方法,用于光子表面激光制造参数的逆向设计,并在多个基准上验证了其优于其他优化算法的性能。
2024-06-20 cs.CE cs.LG math.OC
Accelerating Full-Scale Nonlinear Model Predictive Control via Surrogate Dynamics Optimization
Framatome(法马通);Université Paris Saclay, ENS Paris Saclay, CNRS, Centre Borelli(巴黎萨克雷大学、巴黎高等师范学院、法国国家科学研究中心、博尔莱中心)
本文提出代理动力学优化方法,通过轻量辅助问题提升全规模NMPC的收敛速度,减少训练数据生成成本。
2026-04-09 math.OC
One-shot Learning of Surrogates in PDE-constrained Optimization Under Uncertainty
本文提出一个通用框架,用一次学习方式在求解最优控制问题时同时学习代理模型,替代复杂正向模型,并通过惩罚经验风险最小化和自适应随机梯度方法求解,证明收敛性并展示数值结果。
2023-12-22 cs.NA math.NA math.OC
Process flowsheet optimization with surrogate and implicit formulations of a Gibbs reactor
本文提出用代理模型和隐式函数替代Gibbs反应器方程,提高化工流程优化收敛可靠性,并比较四种公式在求解时间、精度与收敛性上的权衡。
2024-04-19 cs.NA math.NA math.OC
A trust-region framework for optimization using Hermite kernel surrogate models
本文提出一种基于Hermite核代理模型的信赖域优化框架,利用核插值和梯度信息近似高代价目标函数,证明其收敛性并通过数值实验验证其相比直接优化的效率优势。
2025-07-02 cs.NA math.NA math.OC
Sensitivity-Driven Adaptive Surrogate Modeling for Simulation and Optimization of Dynamical Systems
Stanford University(斯坦福大学);Rice University(莱斯大学)
提出一种基于灵敏度信息的自适应代理模型更新方法,通过结合解灵敏度与逐点误差估计定义采集函数,选择新评估点以精炼代理模型,用于动态系统仿真和优化问题。
2026-05-29 math.CA math.DS math.OC
Conservative Surrogate Models for Optimization with the Active Subspace Method
Groupe Interdisciplinaire de Recherche en Éléments Finis de l’Université Laval, Département de Mathématiques et Statistique, Université Laval(拉瓦尔大学跨学科有限元研究组,数学与统计系,拉瓦尔大学)
本文提出基于高斯过程回归的保守代理模型,结合自助法和集中不等式保证约束满足的概率阈值,并应用于主动子空间降维优化,在热设计问题上验证了算法有效性。
2024-03-23 cs.NA math.NA math.OC
Quadratic Surrogate Attractor for Particle Swarm Optimization
The Ohio State University(俄亥俄州立大学)
本文提出一种利用代理建模替代传统全局最佳解的粒子群优化算法,通过n维二次形式的最小值提供更优良的动力学吸引子,提升全局收敛性和鲁棒性。
2026-03-17 cs.NE cs.SY eess.SY
Large-scale Stochastic Optimization of NDCG Surrogates for Deep Learning with Provable Convergence
Nanjing University(南京大学);the University of Iowa(爱荷华大学)
NDCG,即归一化贴现累积增益,是信息检索和机器学习中广泛使用的排名度量。然而,仍然缺乏有效的和可证明的随机方法来最大化NDCG,特别是对于深层模型。在本文中,我们提出了一个原则性的方法来优化NDCG和它的顶级$K$变体。首先,我们制定了一个新的组合优化问题优化NDCG代理,和一个新的双层组合优化问题优化顶部的$K$ NDCG代理。然后,我们开发了有效的随机算法与可证明的收敛保证的非凸目标。与现有的NDCG优化方法不同,我们的算法的每次迭代的复杂度与小批量的大小,而不是总项目的数量。为了提高深度学习的有效性,我们进一步提出了使用初始预热和停止梯度算子的实用策略。在多个数据集上的实验结果表明,我们的方法在NDCG方面优于先前的排名方法。据我们所知,这是第一次提出随机算法来优化NDCG与可证明的收敛保证。我们提出的方法在LibAUC库中实现,网址为https://libauc.org/。
2023-02-02 cs.AI cs.IR cs.LG
Use of static surrogates in hyperparameter optimization
GERAD;Polytechnique Montréal(蒙特利尔理工学院)
优化神经网络的超参数和架构是开发任何新应用程序的一个漫长而必要的阶段。这种消耗过程可以从精心设计的策略中受益,这些策略旨在快速丢弃低质量配置并专注于更有希望的候选者。这项工作旨在增强HyperNOMAD,这是一个库,它采用直接搜索无导数优化算法来同时调整神经网络的架构和训练,方法是针对其执行的两个关键步骤,并利用静态代理形式的廉价近似来触发配置评估的早期停止和候选池的排名。这些添加到HyperNOMAD被证明可以改善其资源消耗,而不会损害所提出的解决方案的质量。
2021-03-14 cs.AI math.OC
Solving the G-problems in less than 500 iterations: Improved efficient constrained optimization by surrogate modeling and adaptive parameter control
高维数值问题的约束优化在许多科学和工业应用中起着重要的作用。许多工业应用中的函数评估受到严重限制,并且没有关于目标函数和约束函数的分析信息。针对这种代价高昂的黑箱优化问题,提出了一种约束优化算法COBRA,该算法利用RBF代理模型对目标函数和约束函数进行建模。COBRA在解决小于500个函数评估的可靠复杂基准问题方面取得了显著的成功。不幸的是,COBRA需要仔细调整参数才能做到这一点。在这项工作中,我们提出了一个新的自调整算法SACOBRA,这是基于COBRA和能够实现高质量的结果,很少的功能评估,没有参数调整。一组基准问题(G-问题,MOPTA 08)的性能配置文件的帮助下,SACOBRA始终优于任何COBRA算法与固定的参数设置。我们分析了SACOBRA中几个新元素的重要性,发现SACOBRA中的每个元素都起到了提高整体优化性能的作用。我们讨论了背后的原因,并以这种方式更好地理解高质量的RBF代理建模。
2015-12-31 cs.NE math.OC stat.ML