Bayesian Hyperparameter Optimization with BoTorch, GPyTorch and Ax
IBM(国际商业机器公司)
深度学习模型充满了超参数,这些超参数在学习过程开始之前被手动设置。要在如此高维的空间中找到这些超参数的最佳配置,需要耗时且昂贵的模型训练/验证,这不是一个简单的挑战。贝叶斯优化是超参数联合优化的有力工具,有效地权衡了超参数空间的探索和利用。本文讨论了贝叶斯超参数优化,包括超参数优化、贝叶斯优化和高斯过程。我们还回顾了BoTorch,GPyTorch和Ax,我们分别用于贝叶斯优化,高斯过程推理和自适应实验的新开源框架。对于实验,我们应用贝叶斯超参数优化,优化组权重,加权组池,耦合无监督分层图自动编码器学习和监督图预测学习的分子图。我们发现,Ax,BoTorch和GPyTorch一起提供了一个简单易用但功能强大的框架贝叶斯超参数优化,使用Ax的高级API,构建和运行一个完整的优化循环,并返回最佳的超参数配置。
2021-07-02 cs.LG stat.ML
Bayesian optimization with local search
Shanghai Jiao Tong University(上海交通大学);University of Birmingham(伯明翰大学)
全局优化在广泛的现实世界问题中得到应用。多起点方法是一类流行的全局优化技术,它基于在多个起点进行局部搜索的思想。在这项工作中,我们提出了一个新的多启动算法的起点是在贝叶斯优化框架。具体地,该方法可以被理解为通过对原始目标函数进行局部搜索来构造新函数,其中新函数获得与原始函数相同的全局最优解。然后应用贝叶斯优化来找到新的局部搜索定义函数的全局最优解。
2020-06-30 cs.LG math.OC stat.ML
Bayesian Optimization for Multi-objective Optimization and Multi-point Search
Kobe Steel, Ltd.(神户制钢所);The Institute of Statistical Mathematics(统计数理研究所);RIKEN AIP(理化学研究所AIP)
贝叶斯优化是一种有效的方法,以有效地优化未知的目标函数,高评价成本。传统的贝叶斯优化算法对单目标函数每次迭代选择一个点,而近年来,人们提出了多目标优化的贝叶斯优化或每次迭代多点搜索。然而,目前还没有一种非启发式的贝叶斯优化方法能够同时处理这两种问题。提出了一种能够同时处理多目标优化和多点搜索的贝叶斯优化算法。首先,我们定义了一个采集功能,同时考虑多目标和多点搜索问题。这是很难解析最大化的采集功能的计算成本是禁止的,即使当近似计算,如采样近似进行,因此,我们提出了一个准确的和计算效率高的方法估计梯度的采集功能,并开发了一个算法贝叶斯优化与多目标和多点搜索。数值实验表明,该方法的性能与启发式方法相当或优于启发式方法。
2019-05-07 cs.LG stat.ML
PARyOpt: A software for Parallel Asynchronous Remote Bayesian Optimization
Iowa State University(爱荷华州立大学);University of Kentucky(肯塔基大学)
PARyOpt是一个基于Python的贝叶斯优化例程的实现,专为远程和异步函数求值而设计。贝叶斯优化由于其低费用函数占用空间以及能够考虑数据中的不确定性而对于计算优化特别有吸引力。在分布式计算系统上有效部署任何优化策略的关键挑战是同步步骤,其中来自多个函数调用的数据被同化以识别下一个函数调用活动。贝叶斯优化提供了一种优雅的方法来克服这个问题,通过异步更新。我们制定,开发和实现一个并行的,异步的贝叶斯优化的变种。该框架是稳健的,能够抵御外部故障。我们展示了如何这样的异步评估有助于减少总优化挂钟时间的一套测试问题。此外,我们展示了该框架的软件设计如何允许轻松扩展到响应面重建(克里格),提供了一个高性能的自主探索软件。该软件可在PyPI上使用,并附有示例和文档。
2018-09-12 cs.LG math.OC stat.ML
Optimization, fast and slow: optimally switching between local and Bayesian optimization
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Oxford-Man Institute of Quantitative Finance(牛津曼量化金融研究所)
我们开发了第一个贝叶斯优化算法,BLOSSOM,它选择多个替代的采集功能和传统的局部优化在每一步。这是结合了一个新的停止条件的基础上预期的遗憾。这种配对使我们能够获得局部优化和贝叶斯优化的最佳特性,有效地利用函数求值,同时在选择优化问题时获得全局最小值的卓越收敛,并且一旦满足原则性和直观的停止条件,就停止优化。
2018-05-22 cs.LG stat.ML
Bayesian Coresets: Revisiting the Nonconvex Optimization Perspective
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加州大学伯克利分校);Rice University(莱斯大学)
贝叶斯核心集已成为一种很有前途的方法,实现可扩展的贝叶斯推断。贝叶斯核心集问题涉及选择数据样本的(加权)子集,使得使用所选子集的后验推理非常接近使用完整数据集的后验推理。这篇手稿通过稀疏约束优化的镜头重新审视贝叶斯核心集。利用最新的进展,加速优化方法,我们提出并分析了一种新的算法的核心选择。我们提供了明确的收敛速度保证,并提出了一个经验评估的各种基准数据集,以突出我们提出的算法的优越性能相比,国家的最先进的速度和准确性。
2021-02-25 cs.LG stat.CO stat.ML
Multi-Step Bayesian Optimization for One-Dimensional Feasibility Determination
贝叶斯最优化方法分配有限的抽样预算,以最大限度地提高昂贵的评估功能。通常使用一步先行策略,但计算最佳多步先行策略仍然是一个挑战。我们考虑一个专门的贝叶斯最优化问题:寻找一个昂贵的一维函数的超水平集,与马尔可夫过程的先验。我们有效地计算了贝叶斯最优抽样策略,并描述了一步前瞻的次优性。我们的数值实验表明,一步前瞻政策是接近最佳的,在这个问题中,在98%的最佳实验设置考虑。
2016-07-11 cs.LG math.OC stat.CO
Preference Exploration for Efficient Bayesian Optimization with Multiple Outcomes
Meta;Cornell University(康奈尔大学)
我们考虑贝叶斯优化昂贵的评估实验,产生向量值的结果,决策者(DM)的偏好。这些偏好由效用函数编码,该效用函数以封闭形式未知,但可以通过要求DM表达对结果向量的偏好来估计。为了解决这个问题,我们开发了贝叶斯优化与偏好探索,一个新的框架,交互式实时偏好学习与DM通过成对比较的结果之间的交替,贝叶斯优化与学习的DM效用和结果的组合模型。在这个框架内,我们提出了专门为这项任务设计的偏好探索策略,并通过广泛的模拟研究证明了它们的性能。
2022-03-21 cs.LG math.OC stat.ML
Bayesian task embedding for few-shot Bayesian optimization
GE Research(通用电气研究院)
我们描述了一种贝叶斯优化的方法,其中一个可以将数据从多个系统的定量相互关系是未知的先验。系统的所有一般(非实值)特征都与连续潜变量相关联,这些变量作为输入进入一个元模型,该元模型同时学习所有系统的响应曲面。贝叶斯推理用于确定关于潜在变量的适当信念。我们解释了如何得到的概率元模型可用于贝叶斯优化任务,并展示了它的实现在各种合成和现实世界的例子,比较其性能下零,一,和Few-Shot设置对传统的贝叶斯优化,这通常需要更多的数据从系统的利益。
2020-01-02 cs.LG stat.ML
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University(隆德大学);University of Freiburg(弗莱堡大学);Stanford University(斯坦福大学);DBtune
提出SAL和SCoreBO两种采集函数,通过贝叶斯主动学习优化高斯过程超参数,在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
On Batch Bayesian Optimization
Indian Institute of Science(印度科学学院)
我们提出了两种算法的贝叶斯优化在批量反馈设置,高斯过程的置信上限和汤普森采样方法的基础上,随着频率后悔保证和数值结果。
2019-11-04 cs.LG stat.ML
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience(理论神经科学中心);Columbia University(哥伦比亚大学)
贝叶斯优化已成为一个强大的候选工具,为全球优化的功能与昂贵的评价成本。然而,由于贝叶斯方法研究的动态性质,以及计算技术的发展,在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中,我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外,我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱,如边缘参数的过采样和高性能参数的过度利用。最后,我提供了相对简单的启发式算法,以及它们的开源软件实现,这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
Transfer Learning in Bayesian Optimization for Aircraft Design
McGill University(麦吉尔大学);Bombardier(庞巴迪);Polytechnique Montréal(蒙特利尔综合理工学院);GERAD;Clemson University(克莱姆森大学)
本文提出利用迁移学习的贝叶斯优化方法,通过源数据辅助目标问题优化,解决冷启动问题。采用集成代理模型和约束框架,针对飞机设计中的异质变量和约束提出降维和代理选择方法,提升收敛速度和预测精度。
2026-03-30 cs.LG math.OC stat.ML
A Simple Heuristic for Bayesian Optimization with A Low Budget
CyberAgent, Inc.(赛博艾坚特公司)
黑盒优化的目的是在给定的评估预算的约束下优化目标函数。在这个问题中,通常假设评估点的计算成本很大;因此,重要的是以尽可能低的预算有效地搜索。贝叶斯优化是一种有效的黑箱优化方法,它通过构造一个考虑目标函数不确定性的代理模型来实现探索-开发的权衡。然而,因为贝叶斯优化应该为整个搜索空间构造代理模型,所以当点没有被充分采样时,它不会表现出良好的性能。在这项研究中,我们开发了一种启发式方法细化搜索空间的贝叶斯优化时,可用的评估预算低。该方法通过对原始区域的划分来细化期望区域,以期望区域为初始搜索空间进行贝叶斯优化。通过对标准函数和机器学习算法的超参数优化的实验,我们证实了该方法的贝叶斯优化性能优于单独的贝叶斯优化,并表现出与两种搜索空间划分算法相当或更好的性能。
2019-11-30 cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University(迪肯大学)
该研究围绕贝叶斯优化,提出结合导数信息与可扩展稀疏高斯过程,以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization
University of Milano-Bicocca(米兰比可卡大学)
贝叶斯优化已成为解决黑箱、昂贵和可能有噪声的函数全局优化问题的参考方法。贝叶斯优化学习目标函数的概率模型,通常是一个高斯过程,并根据其均值和方差构建一个获取函数,其优化器产生新的评估点,从而更新概率代理模型。尽管它的样本效率,贝叶斯优化并不与问题的维度很好地扩展。由于获取函数的优化计算量与目标函数的计算量相比可以忽略不计,因此获取函数的优化计算较少受到关注。其有效的优化往往受到多个极值的抑制,特别是在高维问题中。本文利用目标函数的可加性,将贝叶斯优化的核函数和捕获函数映射到低维子空间中。这种方法使得概率代理模型的学习/更新更有效,并允许有效的优化获取功能。给出了在城市供水系统中水泵控制的实际应用的实验结果。
2020-03-09 cs.LG math.OC stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca(米兰比可卡大学);OAKS srl(OAKS有限责任公司)
有一个共识是,只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差,导致不公平的预测和决策支持。最近,多目标超参数优化已经被提出来搜索机器学习模型,这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下,它们可能会大幅增加能耗。在本文中,我们提出了FangG-HPO,一个公平的和绿色的超参数优化(HPO)方法的基础上,多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集(又名信息源)来获得准确性和公平性的廉价近似值,并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准(公平性)数据集和两种机器学习算法(XGBoost和多层感知器),并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估,BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Cost-aware Bayesian Optimization via the Pandora's Box Gittins Index
Cornell University(康奈尔大学);Caltech(加州理工学院)
本研究建立成本感知贝叶斯优化与潘多拉魔盒问题的关联,将Gittins指数作为采集函数,实验证明其在中高维场景表现优异,且可迁移至经典贝叶斯优化,为融合两类理论技术迈出第一步。
2026-10-27 cs.LG stat.ML
BOAH: A Tool Suite for Multi-Fidelity Bayesian Optimization & Analysis of Hyperparameters
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
超参数优化和神经架构搜索对于常规的黑盒贝叶斯优化来说可能变得过于昂贵,因为单个模型的训练和评估可能很容易花费几个小时。为了克服这一点,我们引入了一个全面的工具套件,用于有效的多保真度贝叶斯优化及其运行分析。该套件使用Python编写,提供了一种简单的方法来指定复杂的设计空间,将贝叶斯优化和HyperBand进行了强大而有效的组合,并对优化过程及其结果进行了全面的分析。
2019-08-16 cs.AI cs.LG stat.ML
Non-Myopic Multifidelity Bayesian Optimization
Politecnico di Torino(都灵理工大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出非短视多保真贝叶斯优化框架,通过两步前瞻采集函数最大化长期累积奖励,在基准优化问题上优于标准多保真贝叶斯方法。
2024-07-04 cs.LG math.OC
Topological Bayesian Optimization with Persistence Diagrams
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
寻找黑盒函数的最佳参数对于寻找稳定的材料结构和寻找最佳神经网络结构是重要的,并且贝叶斯优化算法被广泛用于该目的。然而,现有的贝叶斯优化算法大多只能处理向量数据,不能处理复杂的结构化数据。在本文中,我们提出了拓扑贝叶斯优化,它可以有效地找到一个最佳的解决方案,从结构化数据使用\emph{topological information}。更具体地说,为了将贝叶斯优化应用于结构化数据,我们从结构中提取有用的拓扑信息,并测量结构之间的适当相似性。为此,我们利用持久同源性,这是一个拓扑数据分析方法,最近被应用在机器学习。此外,我们提出了贝叶斯优化算法,可以处理多种类型的拓扑信息,通过使用一个线性组合的内核持久图。通过实验,我们表明,拓扑信息提取的持久同源性有助于更有效地搜索最佳结构相比,随机搜索基线和图贝叶斯优化算法。
2019-02-26 cs.LG stat.ML
Practical Bayesian Optimization with Threshold-Guided Marginal Likelihood Maximization
Pohang University of Science and Technology(浦项科技大学);BARO AI
我们提出了一个实用的贝叶斯优化方法,使用高斯过程回归,其边际似然最大化的模型选择步骤的数量是由一个预先定义的阈值。由于贝叶斯优化在寻找高斯过程回归的最佳自由参数时消耗了很大一部分执行时间,我们简单而直接的方法能够减轻时间复杂度并加快整个贝叶斯优化过程。实验结果表明,该方法在大多数情况下都能有效地减少执行时间,且优化质量损失较小。
2020-10-16 cs.LG stat.ML
BayesOpt: A Bayesian Optimization Library for Nonlinear Optimization, Experimental Design and Bandits
BayesOpt是一个拥有最先进的贝叶斯优化方法的库,用于解决非线性优化,随机强盗或顺序实验设计问题。贝叶斯优化通过构建后验分布来捕获目标函数的证据和先验知识,从而具有样本效率。内置内置的标准C++,库是非常有效的,同时是可移植的和灵活的。它包括C,C++,Python,Matlab和Octave的通用接口。
2014-05-29 cs.LG
Constrained Bayesian Optimization under Bivariate Gaussian Process with Application to Cure Process Optimization
针对约束贝叶斯优化中目标与约束函数独立性假设不成立的问题,提出利用二元高斯过程刻画二者依赖关系并开发约束期望改进获取函数,在固化过程优化中验证了其有效性。
2025-05-30 stat.AP stat.CO stat.ML
Upper Trust Bound Feasibility Criterion for Mixed Constrained Bayesian Optimization with Application to Aircraft Design
ONERA(法国国家航空航天研究中心);Université de Toulouse(图卢兹大学);ISAE-SUPAERO(法国国立高等航空航天学院)
贝叶斯优化方法已经成功地应用于评估成本高的黑盒优化问题。在本文中,我们采用所谓的超有效的全局优化算法,以解决更精确的混合约束问题。所提出的方法处理约束的信任上限,后者鼓励探索的可行域相结合的平均预测和相关的不确定性函数的高斯过程。最重要的是,一个细化的过程,基于学习率标准,介绍了提高开发和探索的权衡。我们展示了一组数值实验的方法的良好潜力。最后,我们提出了一个应用程序的概念飞机配置后,我们表明所提出的方法相比,一组最先进的黑箱优化求解器的优越性。关键词:全局优化,混合约束优化,黑箱优化,贝叶斯优化,高斯过程。
2020-05-12 cs.LG math.OC stat.ML
A Stratified Analysis of Bayesian Optimization Methods
SigOpt
实证分析是理论分析的重要补充,是研究贝叶斯优化问题的重要手段。经验主义的见解往往暴露出理论分析无法触及的优点和缺点。我们定义了两个指标比较贝叶斯优化方法的性能,并提出了一个排名机制,总结性能在各种流派或层次的测试功能。这些测试函数用于模拟超参数优化问题的复杂性,这是贝叶斯优化的最突出应用,但具有封闭形式,允许快速评估和更可预测的行为。这提供了一种灵活有效的方法来研究具有特定属性的函数,例如振荡行为或域边界上的最佳值。
2016-03-31 cs.LG stat.ML
Random Postprocessing for Combinatorial Bayesian Optimization
Tohoku University(东北大学);Kitasato University(北里大学);Tokyo Institute of Technology(东京工业大学);Sigma-i Co., Ltd.(Sigma-i公司)
针对离散黑箱优化中贝叶斯优化重复采样导致收敛慢的问题,提出严格禁止重复样本的随机后处理方法,数值实验表明该方法显著减少寻优步骤,尤其适用于最大后验采集函数。
2023-12-28 cond-mat.dis-nn cs.LG math.OC
BOSH: Bayesian Optimization by Sampling Hierarchically
Lancaster University(兰卡斯特大学)
贝叶斯优化(BO)用于具有随机评估的函数的部署,例如通过交叉验证和仿真优化的参数调整,通常优化目标函数的固定噪声实现集合的平均值。然而,以这种方式忽略真正的目标函数会找到错误函数的高精度最优值。为了解决这个问题,我们提出了贝叶斯优化分层采样(BOSH),一种新的BO例程配对的分层高斯过程与信息理论框架,以生成一个不断增长的实现池的优化进展。我们证明了BOSH在综合基准测试、仿真优化、强化学习和超参数调整任务中提供了比标准BO更高效、更高精度的优化。
2020-07-02 cs.LG stat.ML
Bayesian optimization for materials design
我们介绍了贝叶斯优化,这是一种用于优化耗时的工程模拟和在大型数据集上拟合机器学习模型的技术。贝叶斯优化指导材料设计和发现过程中的实验选择,以尽可能少的实验找到好的材料设计。我们专注于材料设计的情况下,参数化的低维向量。贝叶斯优化建立在一种称为高斯过程回归的统计技术上,该技术允许基于先前测试的设计来预测新设计的性能。在提供了一个详细的介绍高斯过程回归,我们介绍了两个贝叶斯优化方法:预期的改进,无噪声评估的设计问题;和知识梯度方法,它概括了预期的改进,可用于噪声评估的设计问题。这两种方法都是使用信息价值分析得出的,并且具有一步贝叶斯最优性。
2015-06-03 math.OC stat.ML
Bayesian Optimization with Gradients
Cornell University(康奈尔大学);University of Arizona(亚利桑那大学)
贝叶斯优化在评估费用高的多峰目标函数的全局优化方面取得了成功。然而,与大多数优化方法不同,贝叶斯优化通常不使用导数信息。在本文中,我们将展示如何贝叶斯优化可以利用导数信息,以减少良好的性能所需的目标函数评估的数量。特别是,我们开发了一种新的贝叶斯优化算法,导数启用知识梯度(dKG),我们显示一步贝叶斯最优性,渐近一致性,更大的一步价值的信息比可能在导数自由设置。我们的程序可以容纳嘈杂和不完整的衍生信息,有顺序和批量的形式,并可以通过自动选择保留一个单一的方向衍生物,可以选择性地减少推理的计算成本。我们还计算的d-KG采集函数和梯度使用一种新的快速离散化的自由技术。我们表明,与各种有梯度和无梯度的优化程序相比,d-KG提供了最先进的性能,包括逻辑斯谛回归,深度学习,内核学习和k-最近邻。
2018-02-07 cs.AI cs.LG math.OC
Designing over uncertain outcomes with stochastic sampling Bayesian optimization
National Institute of Standards and Technology(美国国家标准与技术研究院)
优化在科学和工程领域变得越来越普遍。通常,这些问题涉及各种程度的随机性或不确定性,在产生建议的解决方案。因此,在这些情况下的优化必须考虑这种随机性,以正确指导未来实验的设计。在这里,我们适应贝叶斯优化来处理不确定的结果,提出了一个新的框架,称为随机抽样贝叶斯优化(SSBO)。我们发现,在SSBO的置信上限搜索的预期遗憾的界限类似于早期的贝叶斯优化方法,由于随机生成的输入增加了处罚。此外,我们适应现有的批处理优化技术,以适当地限制近视决策时,可能会出现选择多个实例反馈之前。最后,我们表明,SSBO技术适当地优化了一组标准的优化问题,以及生物工程启发的应用问题。
2020-06-03 cs.LG stat.ML
Bayesian Optimization of Risk Measures
School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程学院);School of Operations Research and Information Engineering, Cornell University(康奈尔大学运筹学与信息工程学院)
我们考虑贝叶斯优化的目标函数的形式$ρ[ F(x, W) ]$,其中$F$是一个黑箱昂贵的评估功能和$ρ$表示的风险价值或CVaR的风险度量,计算的随机性引起的环境随机变量$W$。这些问题出现在不确定性下的决策中,例如投资组合优化和鲁棒系统设计。我们提出了一个家庭的新颖的贝叶斯优化算法,利用结构的目标函数,大大提高抽样效率。这些算法不是像贝叶斯优化中典型的那样直接对目标函数建模,而是将$F$建模为高斯过程,并使用目标函数的隐含后验来决定要评估哪些点。我们证明了我们的方法在各种数值实验的有效性。
2020-11-04 cs.LG math.OC stat.ML
Adaptive Expansion Bayesian Optimization for Unbounded Global Optimization
University of Maryland(马里兰大学)
贝叶斯优化通常在固定的变量范围内执行。在机器学习算法的超参数调优等情况下,设置变量边界并不简单。很难保证任何固定的边界将包括真正的全局最优值。我们提出了一种贝叶斯优化方法,只需要指定一个初始搜索空间,不一定包括全局最优值,并扩大搜索空间时,必要的。然而,在搜索空间扩展期间可能发生过度探索。我们的方法可以自适应地平衡在不断扩大的空间中的探索和开发。一系列合成检验函数和MLP超参数优化任务的结果表明,所提出的方法优于或至少与当前最先进的方法一样好。
2020-01-12 cs.LG math.OC
Pre-training of Bayesian Optimization Algorithm through Bayesian Optimization
Nagoya Institute of Technology(名古屋工业大学)
本文提出利用高斯过程样本路径估计累积遗憾,并通过外部贝叶斯优化自动选择内部BO算法的参数配置,以提升黑盒优化性能。
2026-10-08 cs.LG stat.ML
Triangulation candidates for Bayesian optimization
Virginia Tech(弗吉尼亚理工大学);Georgetown University(乔治城大学)
贝叶斯优化涉及在新数据采集标准上的“内部优化”,该新数据采集标准是非凸/高度多模态的,可以是不可微的,或者可以以其他方式阻碍局部数值优化器。在这种情况下,常见的是用随机候选人的离散搜索来代替连续搜索。在这里,我们建议使用现有的输入设计的Delaunay三角剖分的基础上的候选人。我们详细介绍了这些“tricands”的建设,并实证证明他们如何优于数值优化的收购和随机候选人为基础的替代品,并非常适合混合计划,基准合成和真实的模拟实验。
2022-05-20 cs.LG stat.CO stat.ML
Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes
Texas A&M University(德州农工大学)
贝叶斯优化是一种优化黑盒目标函数的技术。贝叶斯优化的核心是一个代理模型,它预测目标函数在以前看不见的输入下的输出,以便于选择有希望的输入值。高斯过程(GP)通常用作代理模型,但已知其与观测数量的比例关系很差。我们适应Vecchia近似,一个流行的GP近似空间统计,使可扩展的高维贝叶斯优化。我们开发了几个改进和扩展,包括训练翘曲的GP使用小批量梯度下降,近似邻居搜索,并选择多个输入值并行。我们专注于使用我们的翘曲Vecchia GP在信任区域贝叶斯优化通过汤普森采样。在几个测试函数和两个并行学习问题上,我们的方法与最先进的方法相比毫不逊色。
2022-03-02 cs.LG stat.ML
Recent Advances in Bayesian Optimization
University of Surrey(萨里大学);Bielefeld University(比勒费尔德大学);Honda Research Institute Europe GmbH(本田欧洲研究所有限公司)
贝叶斯优化由于其数据效率而出现在昂贵的黑盒优化的最前沿。近年来,人们对贝叶斯优化算法及其应用的发展进行了大量的研究。因此,本文试图提供一个全面的和更新的调查贝叶斯优化的最新进展,并确定有趣的开放问题。我们将现有的工作贝叶斯优化分为九个主要群体,根据所提出的算法的动机和重点。对于每一个类别,我们提出的主要进展方面的建设代理模型和适应的收购功能。最后,我们讨论了开放的问题,并提出了有前途的未来研究方向,特别是在分布式和联邦优化系统的异构性,隐私保护和公平性。
2022-11-11 cs.DC cs.LG cs.NE
Fully Distributed Bayesian Optimization with Stochastic Policies
Instituto de Investigacion en Ingenieria de Aragon(阿拉贡工程研究院);University of Zaragoza(萨拉戈萨大学);Centro Universitario de la Defensa(国防大学中心)
贝叶斯优化已经成为高通量计算的流行方法,如计算机实验设计或昂贵模型的超参数调整,其中样本效率是强制性的。在这些应用程序中,分布式和可扩展的架构是必要的。然而,贝叶斯优化主要是顺序的。即使是并行变体也需要在样本之间进行某些计算,从而限制了并行化带宽。汤普森抽样以前已被应用于分布式贝叶斯优化。但是,当与顺序设置中的其他采集功能相比时,已知汤普森采样的性能次优。在本文中,我们提出了一种新的方法,完全分布式贝叶斯优化,它可以结合任何采集功能。我们的方法认为贝叶斯优化作为一个部分可观察的马尔可夫决策过程。在这种情况下,随机政策,如玻尔兹曼政策,有一些有趣的性质,也可以研究贝叶斯优化。此外,玻尔兹曼政策平凡地允许分布式贝叶斯优化实现具有高水平的并行性和可扩展性。我们目前的结果在几个基准和应用程序,显示我们的方法的性能。
2019-07-05 cs.AI cs.DC cs.LG
Practical Transfer Learning for Bayesian Optimization
University of Freiburg(弗莱堡大学);Meta;Bosch Center for Artificial Intelligence(博世人工智能中心)
当针对多个数据集重复机器学习算法的超参数优化时,可以将知识转移到在新数据集上运行的优化。我们开发了一种新的无超参数集成模型用于贝叶斯优化,该模型是现有的两种迁移学习扩展到贝叶斯优化的推广,并与普通贝叶斯优化相比建立了最坏情况下的界限。使用大量的超参数优化基准问题,我们证明了我们的贡献大大减少了优化时间相比,标准的高斯过程为基础的贝叶斯优化,并提高了目前的最先进的转移超参数优化。
2022-10-24 cs.AI stat.ML
Scalarizing Functions in Bayesian Multiobjective Optimization
University of Exeter(埃克塞特大学)
标量化函数被广泛用于将多目标优化问题转化为单目标优化问题。然而,在贝叶斯多目标优化中,它们在解决(计算上)昂贵的多目标和多目标优化问题中的使用是稀缺的。在进行优化时,标量化函数对所需的评估质量和数量起着至关重要的作用。在这篇文章中,我们研究和审查15个不同的标量化函数的框架下贝叶斯多目标优化和建立高斯过程模型(作为代理人,元模型或仿真器)。我们使用期望改进作为填充准则(或获取函数)来更新模型。特别是,我们比较不同的标量化函数,并分析其性能的几个基准问题与不同数量的目标进行优化。在使用贝叶斯多目标优化方法时,对不同函数的回顾和实验提供了有用的见解。
2019-04-11 cs.LG cs.NE stat.ML
MUMBO: MUlti-task Max-value Bayesian Optimization
Lancaster University(兰卡斯特大学)
我们提出了MUMBO,第一个高性能但计算效率高的多任务贝叶斯优化采集功能。在这里,挑战是通过评估与我们真正的目标函数相关的低成本函数来执行有效的优化。这是一个广泛的问题,包括多保真度优化的流行任务。然而,虽然已知信息理论获取函数提供最先进的贝叶斯优化,但用于多任务场景的现有实现具有过高的计算要求。因此,以前的采集功能只适用于低维参数空间和函数查询成本足够大,掩盖非常显着的优化开销的问题。在这项工作中,我们得到了一个新的多任务版本的熵搜索,提供强大的性能与低计算开销在经典的优化挑战和多任务超参数调整。MUMBO具有可扩展性和高效性,允许在具有丰富参数和保真度空间的问题中部署多任务贝叶斯优化。
2020-06-22 cs.LG stat.ML
Bayesian Optimization using Deep Gaussian Processes
Université de Lille(里尔大学);CNRS/CRIStAL(法国国家科学研究中心/CRIStAL实验室);Inria Lille(法国里尔国家信息与自动化研究所)
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而,由于经典高斯过程的协方差阵的平稳性是先验的,这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题,提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型,而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性,从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论,并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比,最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start
贝叶斯优化(BO)是一种基于模型的无梯度黑箱函数优化方法。通常,BO由高斯过程(GP)驱动,其算法复杂度是评估数量的立方。因此,基于GP的BO不能利用大量的过去或相关的函数评估,例如,来热启动BO过程。我们开发了一个多自适应贝叶斯线性回归模型作为一个可扩展的替代方案,其复杂性是线性的观察。多个贝叶斯线性回归模型通过共享的前馈神经网络耦合,该前馈神经网络学习联合表示并跨机器学习问题传递知识。
2017-12-08 stat.ML
BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization
Facebook(脸书);New York University(纽约大学)
贝叶斯优化为广泛的应用提供了样本高效的全局优化,包括自动机器学习、工程、物理和实验设计。我们介绍BoTorch,贝叶斯优化的现代编程框架,结合蒙特卡罗(MC)采集功能,一种新的样本平均近似优化方法,自动微分和方差减少技术。BoTorch的模块化设计有助于灵活规范和优化PyTorch编写的概率模型,简化新采集功能的实现。我们的方法得到了新颖的理论收敛结果的支持,并通过利用快速预测分布,硬件加速和确定性优化的独特算法基础实现了实用。我们还提出了一种新的“一次性”制定的知识梯度,使我们的理论和软件的贡献相结合。在实验中,我们证明了提高样本效率的BoTorch相对于其他流行的库。
2020-12-08 cs.DC cs.LG math.OC
Bayesian Optimization with Shape Constraints
在贝叶斯优化的典型应用中,对被优化的目标函数进行最小假设。即使研究人员有关于一个或多个参数的函数形状的先验信息,这也是正确的。我们的情况下,形状约束通常是适当的贝叶斯优化的至少两个重要的应用领域:(1)超参数调整的机器学习算法和(2)决策分析与效用函数。我们描述了一种方法,将各种形状的限制在通常的贝叶斯优化框架和目前的积极成果,从简单的应用程序表明,贝叶斯优化与形状的限制是一个有前途的课题,为进一步研究。
2016-12-28 stat.ML
Bayesian Optimization Using Monotonicity Information and Its Application in Machine Learning Hyperparameter
University of British Columbia(英属哥伦比亚大学)
我们提出了一个算法的一个家庭的优化问题的目标可以分解为一个函数的单调性的总和。激励问题是优化超参数的机器学习算法,我们认为,目标,验证误差,可以分解为单调函数的超参数。我们提出的算法采用贝叶斯优化方法,将单调性约束。我们使用说明性的例子说明了利用单调性的优点,并证明了一些机器学习超参数调整应用程序的优化效率的提高。
2018-02-16 cs.LG stat.ML
An efficient application of Bayesian optimization to an industrial MDO framework for aircraft design
ONERA(法国航空航天研究院);Université de Toulouse(图卢兹大学)
庞巴迪航空公司开发的多层次、多学科和多保真度优化框架在探索高效和有竞争力的飞机配置方面取得了很好的效果。这个优化框架是在Isight软件中开发的,后者提供了一套现成的优化器。不幸的是,Isight优化器所需的计算工作量对于工业环境的要求可能是禁止的。本文采用一种约束贝叶斯优化算法,即混合专家模型的超高效全局优化算法,以减少优化计算量。所得到的结果表明,显着的改善相比,两个流行的Isight优化。测试约束贝叶斯优化求解器的能力证明了庞巴迪研究飞机配置研究的情况下。
2020-06-12 cs.AI cs.CE cs.LG
Evaluation System for a Bayesian Optimization Service
SigOpt
贝叶斯优化是机器学习中超参数优化问题的一种优雅解决方案。构建可靠和健壮的贝叶斯优化服务需要仔细的测试方法和合理的统计分析。在本次演讲中,我们将概述我们的评估框架的开发,以严格测试和衡量更改对SigOpt优化服务的影响。我们提出了我们的评估系统的概述,并讨论了这个框架如何使我们的研究工程师能够自信,快速地对我们的核心优化引擎进行更改
2016-05-19 cs.LG
Warm Starting Bayesian Optimization
Cornell University(康奈尔大学)
我们开发了一个框架,热启动贝叶斯优化,减少了解决优化问题,这是一个相关的问题序列所需的解决时间。当优化无法提供衍生信息的随机模拟器的输出时,这是有用的,贝叶斯优化方法非常适合于此。当使用一个优化模型和在不同时间段或市场收集的输入数据做出多个业务决策时,会出现解决相关优化问题的序列。虽然许多基于梯度的方法可以通过在前一个问题的解处启动优化来热启动,但是这种热启动方法不适用于贝叶斯优化方法,贝叶斯优化方法从迭代到迭代携带目标函数的完整元模型。我们的方法建立了一个联合的统计模型的整个收集相关的目标函数,并使用一个价值的信息计算推荐点进行评估。
2016-08-11 cs.LG stat.AP stat.ML
Model-based Causal Bayesian Optimization
ETH Zürich(苏黎世联邦理工学院)
我们应该如何干预一个未知的结构方程模型,以最大限度地提高下游变量的利益?这种设置,也称为因果贝叶斯优化(CBO),在医学,生态学和制造业中有重要的应用。标准贝叶斯优化算法无法有效地利用潜在的因果结构。现有的CBO方法假设无噪声测量,并且没有保证。我们提出了基于模型的因果贝叶斯优化算法(MCBO),学习一个完整的系统模型,而不是只建模干预奖励对。MCBO通过图表传播关于因果机制的认识不确定性,并通过乐观原则权衡探索和利用。我们限制了它的累积遗憾,并获得了CBO的第一个非渐近界。与标准贝叶斯优化不同,我们的获取函数不能以封闭形式进行评估,因此我们展示了如何使用重新参数化技巧来应用基于梯度的优化器。由此产生的MCBO的实际实施相比,有利的经验与国家的最先进的方法。
2023-03-10 cs.LG stat.ML
Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学)
贝叶斯优化是一种广泛应用的优化昂贵的黑箱函数的方法。尽管它取得了成功,但仍然面临着来自高维搜索空间的挑战。为了缓解这个问题,我们提出了一种新的贝叶斯优化框架(称为SILBO),它找到一个低维空间进行贝叶斯优化迭代通过半监督降维。SILBO结合了从获取函数中获取的标记点和未标记点,以指导嵌入空间学习。为了加快学习过程,我们提出了一种随机的方法来生成投影矩阵。此外,针对低维空间到高维原始空间的映射,根据目标函数的求值开销,提出了两种映射策略:$\text{SILBO}_{FZ}$和$\text{SILBO}_{FX}$.在合成函数和超参数优化任务上的实验结果表明,SILBO优于现有的最先进的高维贝叶斯优化方法。
2020-10-19 cs.AI cs.LG stat.ML
High Dimensional Bayesian Optimization via Supervised Dimension Reduction
Beijing Institute of Technology(北京理工大学);University of Technology Sydney(悉尼科技大学)
贝叶斯优化(BO)已被广泛应用于计算量大的问题,但它仍然是具有挑战性的,以扩大BO到高维。现有的工作通常是在严格的假设下,添加剂或线性嵌入结构的目标函数。本文将一种有监督的降维方法--切片逆回归(SIR)直接引入到高维贝叶斯优化中,该方法可以在优化过程中有效地学习目标函数的内在子结构。此外,一个核技巧,以减少计算复杂性和学习未知函数的非线性子集时,应用SIR极高维BO。我们提出了几个计算的好处,并推导出我们的算法理论上的遗憾界。大量的实验合成的例子和两个实际应用表明,我们的算法高维贝叶斯优化的优越性。
2019-07-21 cs.LG stat.ML
Lifelong Bayesian Optimization
University of Cambridge(剑桥大学);University of Oxford(牛津大学);University of California, Los Angeles(加州大学洛杉矶分校)
自动机器学习(Auto-ML)系统解决了数据科学预测模型或管道设计自动化的问题。在本文中,我们提出了终身贝叶斯优化(LBO),一个在线的,多任务的贝叶斯优化(BO)算法,旨在解决问题的模型选择的数据集到达和随着时间的推移而演变。为了适用于“终身”贝叶斯优化,算法需要随着不断增加的采集数量而扩展,并且应该能够在学习当前最佳模型时利用过去的优化。我们将模型选择问题转化为一个黑箱函数优化问题。在LBO中,我们利用函数之间的相关性,通过使用先前学习的函数的组件来加速新到达的数据集的学习过程。在真实数据和合成数据上的实验表明,LBO算法优于标准BO算法。
2019-06-21 cs.LG stat.ML
An Adaptive Dropout Approach for High-Dimensional Bayesian Optimization
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院)
针对贝叶斯优化在高维问题中因采集函数高维性导致性能下降的问题,提出自适应 dropout 算法,通过迭代降低采集函数维度优化难度,实验表明其在高维场景中优于标准及现有先进方法,提升解质量。
2025-04-15 cs.LG stat.ML