Solving Black-Box Optimization Challenge via Learning Search Space Partition for Local Bayesian Optimization
JetBrains Research(JetBrains研究院);HSE University(高等经济大学);Saint Petersburg State University(圣彼得堡国立大学)
黑盒优化是机器学习中的重要任务之一,因为它近似于现实世界的条件,因为我们并不总是知道给定系统的所有属性,甚至除了结果之外几乎一无所知。本文描述了我们通过学习局部贝叶斯优化的搜索空间划分来解决NeurIPS 2020中黑盒优化挑战的方法。我们描述的挑战,以及我们的低预算优化,我们命名为\texttt{SPBOpt}的算法的任务。我们使用多任务贝叶斯优化的结果,从前两个评估设置优化我们的算法的竞争决赛的超参数。我们的方法在比赛决赛中排名第三。
2021-05-25 cs.LG
Asynchronous Batch Bayesian Optimization with Pipelining Evaluations for Experimental Resource$\unicode{x2013}$constrained Conditions
Keio University(庆应义塾大学)
针对实验资源受限下批量贝叶斯优化无法应用、顺序方法耗时过长的问题,本研究提出流水线贝叶斯优化(PipeBO),通过重叠实验进程实现并行化,在24个基准函数中的20个上平均减少约44%处理时间,提升资源受限场景下的优化效率。
2024-12-05 cs.LG
Local Nonstationarity for Efficient Bayesian Optimization
Centro Universitario de la Defensa(国防大学中心)
贝叶斯优化已被证明是一个基本的全局优化算法在许多应用中:从自动机器学习,机器人,强化学习,实验设计,仿真等最流行和有效的贝叶斯优化依赖于一个代理模型的形式,高斯过程,由于其灵活性,以代表一个先验函数。然而,许多算法和设置依赖于高斯过程的平稳性假设。在本文中,我们提出了一种新的非平稳贝叶斯优化策略,能够在静态和非平稳问题中超越贝叶斯优化的最新技术水平。
2015-06-05 cs.LG stat.ML
Efficient Bayesian Optimization using Multiscale Graph Correlation
Hitachi, Ltd.(日立公司);Research and Development Group(研发集团)
贝叶斯优化是一种强有力的工具,以优化黑盒函数,其中的评估是耗时或昂贵的。在本文中,我们提出了一种新的贝叶斯优化方法称为GP-MGC,它最大化多尺度图相关性的全局最大值,以确定下一个查询点。我们在涉及合成基准函数和真实数据集的应用中对GP-MGC进行了评估,并证明GP-MGC的性能与最大值熵搜索和GP-UCB等最先进的方法一样好,甚至更好。
2021-03-17 cs.LG
Bayesian Optimization for Multi-objective Optimization and Multi-point Search
Kobe Steel, Ltd.(神户制钢所);The Institute of Statistical Mathematics(统计数理研究所);RIKEN AIP(理化学研究所AIP)
贝叶斯优化是一种有效的方法,以有效地优化未知的目标函数,高评价成本。传统的贝叶斯优化算法对单目标函数每次迭代选择一个点,而近年来,人们提出了多目标优化的贝叶斯优化或每次迭代多点搜索。然而,目前还没有一种非启发式的贝叶斯优化方法能够同时处理这两种问题。提出了一种能够同时处理多目标优化和多点搜索的贝叶斯优化算法。首先,我们定义了一个采集功能,同时考虑多目标和多点搜索问题。这是很难解析最大化的采集功能的计算成本是禁止的,即使当近似计算,如采样近似进行,因此,我们提出了一个准确的和计算效率高的方法估计梯度的采集功能,并开发了一个算法贝叶斯优化与多目标和多点搜索。数值实验表明,该方法的性能与启发式方法相当或优于启发式方法。
2019-05-07 cs.LG stat.ML
Optimization, fast and slow: optimally switching between local and Bayesian optimization
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Oxford-Man Institute of Quantitative Finance(牛津曼量化金融研究所)
我们开发了第一个贝叶斯优化算法,BLOSSOM,它选择多个替代的采集功能和传统的局部优化在每一步。这是结合了一个新的停止条件的基础上预期的遗憾。这种配对使我们能够获得局部优化和贝叶斯优化的最佳特性,有效地利用函数求值,同时在选择优化问题时获得全局最小值的卓越收敛,并且一旦满足原则性和直观的停止条件,就停止优化。
2018-05-22 cs.LG stat.ML
Bayesian Hyperparameter Optimization for Ensemble Learning
Université Laval(拉瓦尔大学);École de technologie supérieure(高等技术学院)
在本文中,我们之间的差距桥梁超参数优化和集成学习进行贝叶斯优化的集成关于其超参数。我们的方法包括建立一个固定大小的集成,优化配置的一个分类器的集成在每次迭代的超参数优化算法,考虑到与其他模型的相互作用时,评估潜在的性能。我们还考虑了在超参数优化阶段结束时,通过对优化过程中生成的模型池进行贪婪选择来重建系综的情况。我们研究了我们提出的方法在三个不同的超参数空间上的性能,表明我们的方法优于最好的单个模型和贪婪的集成结构,而这些模型是由标准贝叶斯优化产生的。
2016-05-20 cs.LG
Bayesian task embedding for few-shot Bayesian optimization
GE Research(通用电气研究院)
我们描述了一种贝叶斯优化的方法,其中一个可以将数据从多个系统的定量相互关系是未知的先验。系统的所有一般(非实值)特征都与连续潜变量相关联,这些变量作为输入进入一个元模型,该元模型同时学习所有系统的响应曲面。贝叶斯推理用于确定关于潜在变量的适当信念。我们解释了如何得到的概率元模型可用于贝叶斯优化任务,并展示了它的实现在各种合成和现实世界的例子,比较其性能下零,一,和Few-Shot设置对传统的贝叶斯优化,这通常需要更多的数据从系统的利益。
2020-01-02 cs.LG stat.ML
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University(隆德大学);University of Freiburg(弗莱堡大学);Stanford University(斯坦福大学);DBtune
提出SAL和SCoreBO两种采集函数,通过贝叶斯主动学习优化高斯过程超参数,在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
On Batch Bayesian Optimization
Indian Institute of Science(印度科学学院)
我们提出了两种算法的贝叶斯优化在批量反馈设置,高斯过程的置信上限和汤普森采样方法的基础上,随着频率后悔保证和数值结果。
2019-11-04 cs.LG stat.ML
A Simple Heuristic for Bayesian Optimization with A Low Budget
CyberAgent, Inc.(赛博艾坚特公司)
黑盒优化的目的是在给定的评估预算的约束下优化目标函数。在这个问题中,通常假设评估点的计算成本很大;因此,重要的是以尽可能低的预算有效地搜索。贝叶斯优化是一种有效的黑箱优化方法,它通过构造一个考虑目标函数不确定性的代理模型来实现探索-开发的权衡。然而,因为贝叶斯优化应该为整个搜索空间构造代理模型,所以当点没有被充分采样时,它不会表现出良好的性能。在这项研究中,我们开发了一种启发式方法细化搜索空间的贝叶斯优化时,可用的评估预算低。该方法通过对原始区域的划分来细化期望区域,以期望区域为初始搜索空间进行贝叶斯优化。通过对标准函数和机器学习算法的超参数优化的实验,我们证实了该方法的贝叶斯优化性能优于单独的贝叶斯优化,并表现出与两种搜索空间划分算法相当或更好的性能。
2019-11-30 cs.LG stat.ML
Cost-aware Bayesian Optimization via the Pandora's Box Gittins Index
Cornell University(康奈尔大学);Caltech(加州理工学院)
本研究建立成本感知贝叶斯优化与潘多拉魔盒问题的关联,将Gittins指数作为采集函数,实验证明其在中高维场景表现优异,且可迁移至经典贝叶斯优化,为融合两类理论技术迈出第一步。
2026-10-27 cs.LG stat.ML
Non-Myopic Multifidelity Bayesian Optimization
Politecnico di Torino(都灵理工大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出非短视多保真贝叶斯优化框架,通过两步前瞻采集函数最大化长期累积奖励,在基准优化问题上优于标准多保真贝叶斯方法。
2024-07-04 cs.LG math.OC
Topological Bayesian Optimization with Persistence Diagrams
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
寻找黑盒函数的最佳参数对于寻找稳定的材料结构和寻找最佳神经网络结构是重要的,并且贝叶斯优化算法被广泛用于该目的。然而,现有的贝叶斯优化算法大多只能处理向量数据,不能处理复杂的结构化数据。在本文中,我们提出了拓扑贝叶斯优化,它可以有效地找到一个最佳的解决方案,从结构化数据使用\emph{topological information}。更具体地说,为了将贝叶斯优化应用于结构化数据,我们从结构中提取有用的拓扑信息,并测量结构之间的适当相似性。为此,我们利用持久同源性,这是一个拓扑数据分析方法,最近被应用在机器学习。此外,我们提出了贝叶斯优化算法,可以处理多种类型的拓扑信息,通过使用一个线性组合的内核持久图。通过实验,我们表明,拓扑信息提取的持久同源性有助于更有效地搜索最佳结构相比,随机搜索基线和图贝叶斯优化算法。
2019-02-26 cs.LG stat.ML
Practical Bayesian Optimization with Threshold-Guided Marginal Likelihood Maximization
Pohang University of Science and Technology(浦项科技大学);BARO AI
我们提出了一个实用的贝叶斯优化方法,使用高斯过程回归,其边际似然最大化的模型选择步骤的数量是由一个预先定义的阈值。由于贝叶斯优化在寻找高斯过程回归的最佳自由参数时消耗了很大一部分执行时间,我们简单而直接的方法能够减轻时间复杂度并加快整个贝叶斯优化过程。实验结果表明,该方法在大多数情况下都能有效地减少执行时间,且优化质量损失较小。
2020-10-16 cs.LG stat.ML
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience(理论神经科学中心);Columbia University(哥伦比亚大学)
贝叶斯优化已成为一个强大的候选工具,为全球优化的功能与昂贵的评价成本。然而,由于贝叶斯方法研究的动态性质,以及计算技术的发展,在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中,我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外,我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱,如边缘参数的过采样和高性能参数的过度利用。最后,我提供了相对简单的启发式算法,以及它们的开源软件实现,这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
A Stratified Analysis of Bayesian Optimization Methods
SigOpt
实证分析是理论分析的重要补充,是研究贝叶斯优化问题的重要手段。经验主义的见解往往暴露出理论分析无法触及的优点和缺点。我们定义了两个指标比较贝叶斯优化方法的性能,并提出了一个排名机制,总结性能在各种流派或层次的测试功能。这些测试函数用于模拟超参数优化问题的复杂性,这是贝叶斯优化的最突出应用,但具有封闭形式,允许快速评估和更可预测的行为。这提供了一种灵活有效的方法来研究具有特定属性的函数,例如振荡行为或域边界上的最佳值。
2016-03-31 cs.LG stat.ML
Optimizing High-Dimensional Physics Simulations via Composite Bayesian Optimization
New York University(纽约大学);Facebook
基于物理模拟的优化是科学和工程领域的一项常见任务。许多这样的模拟产生基于图像或张量的输出,其中期望的目标是这些输出的函数,并且在高维参数空间上执行优化。我们开发了一种贝叶斯优化方法,利用基于张量的高斯过程代理和信赖域贝叶斯优化来有效地模拟图像输出,并有效地优化这些类型的模拟,包括射频塔配置问题和光学设计问题。
2021-11-29 cs.AI cs.LG
BOSH: Bayesian Optimization by Sampling Hierarchically
Lancaster University(兰卡斯特大学)
贝叶斯优化(BO)用于具有随机评估的函数的部署,例如通过交叉验证和仿真优化的参数调整,通常优化目标函数的固定噪声实现集合的平均值。然而,以这种方式忽略真正的目标函数会找到错误函数的高精度最优值。为了解决这个问题,我们提出了贝叶斯优化分层采样(BOSH),一种新的BO例程配对的分层高斯过程与信息理论框架,以生成一个不断增长的实现池的优化进展。我们证明了BOSH在综合基准测试、仿真优化、强化学习和超参数调整任务中提供了比标准BO更高效、更高精度的优化。
2020-07-02 cs.LG stat.ML
Designing over uncertain outcomes with stochastic sampling Bayesian optimization
National Institute of Standards and Technology(美国国家标准与技术研究院)
优化在科学和工程领域变得越来越普遍。通常,这些问题涉及各种程度的随机性或不确定性,在产生建议的解决方案。因此,在这些情况下的优化必须考虑这种随机性,以正确指导未来实验的设计。在这里,我们适应贝叶斯优化来处理不确定的结果,提出了一个新的框架,称为随机抽样贝叶斯优化(SSBO)。我们发现,在SSBO的置信上限搜索的预期遗憾的界限类似于早期的贝叶斯优化方法,由于随机生成的输入增加了处罚。此外,我们适应现有的批处理优化技术,以适当地限制近视决策时,可能会出现选择多个实例反馈之前。最后,我们表明,SSBO技术适当地优化了一组标准的优化问题,以及生物工程启发的应用问题。
2020-06-03 cs.LG stat.ML
Stratified Bayesian Optimization
Cornell University(康奈尔大学)
我们考虑昂贵的噪声函数的无导数黑箱全局优化,当目标中的大部分随机性由几个有影响力的标量随机输入产生时。我们提出了一种新的贝叶斯全局优化算法,称为分层贝叶斯优化(SBO),它使用这种强依赖性,以提高性能。我们的算法在精神上类似于分层,分层是一种来自模拟的技术,它使用对随机输入的分类表示的强烈依赖来减少方差。我们在数值实验中证明,SBO优于最先进的贝叶斯优化基准,不利用这种依赖。
2016-02-20 cs.LG math.OC stat.ML
Adaptive Expansion Bayesian Optimization for Unbounded Global Optimization
University of Maryland(马里兰大学)
贝叶斯优化通常在固定的变量范围内执行。在机器学习算法的超参数调优等情况下,设置变量边界并不简单。很难保证任何固定的边界将包括真正的全局最优值。我们提出了一种贝叶斯优化方法,只需要指定一个初始搜索空间,不一定包括全局最优值,并扩大搜索空间时,必要的。然而,在搜索空间扩展期间可能发生过度探索。我们的方法可以自适应地平衡在不断扩大的空间中的探索和开发。一系列合成检验函数和MLP超参数优化任务的结果表明,所提出的方法优于或至少与当前最先进的方法一样好。
2020-01-12 cs.LG math.OC
Pre-training of Bayesian Optimization Algorithm through Bayesian Optimization
Nagoya Institute of Technology(名古屋工业大学)
本文提出利用高斯过程样本路径估计累积遗憾,并通过外部贝叶斯优化自动选择内部BO算法的参数配置,以提升黑盒优化性能。
2026-10-08 cs.LG stat.ML
Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes
Texas A&M University(德州农工大学)
贝叶斯优化是一种优化黑盒目标函数的技术。贝叶斯优化的核心是一个代理模型,它预测目标函数在以前看不见的输入下的输出,以便于选择有希望的输入值。高斯过程(GP)通常用作代理模型,但已知其与观测数量的比例关系很差。我们适应Vecchia近似,一个流行的GP近似空间统计,使可扩展的高维贝叶斯优化。我们开发了几个改进和扩展,包括训练翘曲的GP使用小批量梯度下降,近似邻居搜索,并选择多个输入值并行。我们专注于使用我们的翘曲Vecchia GP在信任区域贝叶斯优化通过汤普森采样。在几个测试函数和两个并行学习问题上,我们的方法与最先进的方法相比毫不逊色。
2022-03-02 cs.LG stat.ML
BOAH: A Tool Suite for Multi-Fidelity Bayesian Optimization & Analysis of Hyperparameters
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
超参数优化和神经架构搜索对于常规的黑盒贝叶斯优化来说可能变得过于昂贵,因为单个模型的训练和评估可能很容易花费几个小时。为了克服这一点,我们引入了一个全面的工具套件,用于有效的多保真度贝叶斯优化及其运行分析。该套件使用Python编写,提供了一种简单的方法来指定复杂的设计空间,将贝叶斯优化和HyperBand进行了强大而有效的组合,并对优化过程及其结果进行了全面的分析。
2019-08-16 cs.AI cs.LG stat.ML
MUMBO: MUlti-task Max-value Bayesian Optimization
Lancaster University(兰卡斯特大学)
我们提出了MUMBO,第一个高性能但计算效率高的多任务贝叶斯优化采集功能。在这里,挑战是通过评估与我们真正的目标函数相关的低成本函数来执行有效的优化。这是一个广泛的问题,包括多保真度优化的流行任务。然而,虽然已知信息理论获取函数提供最先进的贝叶斯优化,但用于多任务场景的现有实现具有过高的计算要求。因此,以前的采集功能只适用于低维参数空间和函数查询成本足够大,掩盖非常显着的优化开销的问题。在这项工作中,我们得到了一个新的多任务版本的熵搜索,提供强大的性能与低计算开销在经典的优化挑战和多任务超参数调整。MUMBO具有可扩展性和高效性,允许在具有丰富参数和保真度空间的问题中部署多任务贝叶斯优化。
2020-06-22 cs.LG stat.ML
Bayesian Optimization Using Monotonicity Information and Its Application in Machine Learning Hyperparameter
University of British Columbia(英属哥伦比亚大学)
我们提出了一个算法的一个家庭的优化问题的目标可以分解为一个函数的单调性的总和。激励问题是优化超参数的机器学习算法,我们认为,目标,验证误差,可以分解为单调函数的超参数。我们提出的算法采用贝叶斯优化方法,将单调性约束。我们使用说明性的例子说明了利用单调性的优点,并证明了一些机器学习超参数调整应用程序的优化效率的提高。
2018-02-16 cs.LG stat.ML
Bayesian Screening: Multi-test Bayesian Optimization Applied to in silico Material Screening
我们提出了新的多测试贝叶斯优化模型和算法,用于大规模的材料筛选应用。我们的筛选问题是围绕两个测试设计的,一个昂贵,一个便宜。本文不同于其他最近的工作多测试贝叶斯优化通过使用一个灵活的模型,允许复杂的,非线性关系之间的廉价和昂贵的测试成绩。这种额外的建模灵活性在我们描述的材料筛选应用中是必不可少的。我们证明了我们的新算法的力量,一个家庭的合成玩具问题,以及从两个大规模的筛选研究的真实数据。
2020-09-11 cs.LG math.OC stat.AP
Transfer Learning for Bayesian Optimization: A Survey
Beijing Institute of Technology(北京理工大学);Tencent Inc.(腾讯公司);Peking University(北京大学);Mila - Québec AI Institute(米拉 - 魁北克人工智能研究所)
广泛的设计和决策问题,包括参数调整,A/B测试和药物设计,本质上是黑箱优化的实例。贝叶斯优化(BO)是一个强大的工具,模型和优化这种昂贵的“黑盒”功能。然而,在优化的开始,香草贝叶斯优化方法往往遭受缓慢的收敛问题,由于不准确的建模基于少量的试验。为了解决这个问题,BO社区的研究人员提出将迁移学习的精神融入到优化过程中,这可以从过去的任务(源任务)中借用力量来加速当前的优化问题(目标任务)。本文首先从初始点设计、搜索空间设计、代理模型和获取函数四个方面总结了贝叶斯优化的迁移学习方法。然后,它强调了每种方法的方法学方面和技术细节。最后,它展示了广泛的应用,并提出了有前途的未来方向。
2023-02-12 cs.AI cs.LG
Model-based Causal Bayesian Optimization
ETH Zürich(苏黎世联邦理工学院)
我们应该如何干预一个未知的结构方程模型,以最大限度地提高下游变量的利益?这种设置,也称为因果贝叶斯优化(CBO),在医学,生态学和制造业中有重要的应用。标准贝叶斯优化算法无法有效地利用潜在的因果结构。现有的CBO方法假设无噪声测量,并且没有保证。我们提出了基于模型的因果贝叶斯优化算法(MCBO),学习一个完整的系统模型,而不是只建模干预奖励对。MCBO通过图表传播关于因果机制的认识不确定性,并通过乐观原则权衡探索和利用。我们限制了它的累积遗憾,并获得了CBO的第一个非渐近界。与标准贝叶斯优化不同,我们的获取函数不能以封闭形式进行评估,因此我们展示了如何使用重新参数化技巧来应用基于梯度的优化器。由此产生的MCBO的实际实施相比,有利的经验与国家的最先进的方法。
2023-03-10 cs.LG stat.ML
High Dimensional Bayesian Optimization via Supervised Dimension Reduction
Beijing Institute of Technology(北京理工大学);University of Technology Sydney(悉尼科技大学)
贝叶斯优化(BO)已被广泛应用于计算量大的问题,但它仍然是具有挑战性的,以扩大BO到高维。现有的工作通常是在严格的假设下,添加剂或线性嵌入结构的目标函数。本文将一种有监督的降维方法--切片逆回归(SIR)直接引入到高维贝叶斯优化中,该方法可以在优化过程中有效地学习目标函数的内在子结构。此外,一个核技巧,以减少计算复杂性和学习未知函数的非线性子集时,应用SIR极高维BO。我们提出了几个计算的好处,并推导出我们的算法理论上的遗憾界。大量的实验合成的例子和两个实际应用表明,我们的算法高维贝叶斯优化的优越性。
2019-07-21 cs.LG stat.ML
Lifelong Bayesian Optimization
University of Cambridge(剑桥大学);University of Oxford(牛津大学);University of California, Los Angeles(加州大学洛杉矶分校)
自动机器学习(Auto-ML)系统解决了数据科学预测模型或管道设计自动化的问题。在本文中,我们提出了终身贝叶斯优化(LBO),一个在线的,多任务的贝叶斯优化(BO)算法,旨在解决问题的模型选择的数据集到达和随着时间的推移而演变。为了适用于“终身”贝叶斯优化,算法需要随着不断增加的采集数量而扩展,并且应该能够在学习当前最佳模型时利用过去的优化。我们将模型选择问题转化为一个黑箱函数优化问题。在LBO中,我们利用函数之间的相关性,通过使用先前学习的函数的组件来加速新到达的数据集的学习过程。在真实数据和合成数据上的实验表明,LBO算法优于标准BO算法。
2019-06-21 cs.LG stat.ML
An Adaptive Dropout Approach for High-Dimensional Bayesian Optimization
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院)
针对贝叶斯优化在高维问题中因采集函数高维性导致性能下降的问题,提出自适应 dropout 算法,通过迭代降低采集函数维度优化难度,实验表明其在高维场景中优于标准及现有先进方法,提升解质量。
2025-04-15 cs.LG stat.ML
Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling
Northeastern University(东北大学);Google Research(谷歌研究院)
许多当代的机器学习模型需要大量的超参数调整才能表现良好。各种方法,如贝叶斯优化,已被开发来自动化和加快这一过程。然而,调优仍然非常昂贵,因为它通常需要反复完全训练模型。我们提出了加速贝叶斯优化方法的超参数调整的神经网络,考虑到每个训练样本贡献的相对信息量。为此,我们利用了重要性采样(IS);这显著提高了黑盒函数计算的质量,但也提高了它们的运行时间,因此必须小心完成。将超参数搜索作为超参数和重要性采样设计的多任务贝叶斯优化问题,实现了两全其美:通过学习IS的参数化,权衡评估复杂性和质量,我们改进了贝叶斯优化最先进的运行时间和最终验证错误,跨越各种数据集和复杂的神经架构。
2020-02-23 cs.LG stat.ML
Adversarial Query Synthesis via Bayesian Optimization
University of Pennsylvania(宾夕法尼亚大学)
本文提出利用贝叶斯优化技术自动合成对抗查询,以提升数据库基准工作的优化余地。
2026-03-02 cs.DB cs.LG
Bayesian Optimization with Unknown Constraints
Harvard University(哈佛大学)
最近的工作贝叶斯优化已显示出其有效性的全局优化困难的黑箱目标函数。许多现实世界的优化问题也有约束条件,这是未知的先验。本文研究了在约束函数中可能存在噪声,且目标和约束可以独立计算的一般情况下,约束问题的贝叶斯优化。我们提供了激励实际的例子,并提出了一个通用的框架来解决这些问题。我们证明了我们的方法的有效性优化性能的在线潜在的Dirichlet分配主题稀疏性约束,调整神经网络测试时的内存约束,并优化哈密顿蒙特卡罗,以实现最大的有效性在一个固定的时间,通过标准的收敛诊断。
2014-03-22 cs.LG stat.ML
Extrinsic Bayesian Optimizations on Manifolds
University of Notre Dame(圣母大学);University of Glasgow(格拉斯哥大学)
我们提出了一个外贝叶斯优化(eBO)框架一般最优化问题流形上。贝叶斯优化算法通过采用高斯过程来构建目标函数的替代,并通过导出获取函数来量化该替代中的不确定性。该获取函数表示基于高斯过程的内核的改进概率,其引导优化过程中的搜索。流形上贝叶斯优化算法设计的关键挑战在于构造一般流形上高斯过程的有效协方差核的困难。我们的方法是采用外部高斯过程,首先嵌入到一些高维欧几里得空间通过等变嵌入的流形,然后构建一个有效的协方差嵌入后的图像流形上的内核。这导致了有效的和可扩展的算法优化复流形。仿真研究和实际数据分析表明,我们的eBO框架的效用,通过应用eBO的各种流形上的最优化问题,如球,格拉斯曼,和流形的正定矩阵。
2022-12-29 cs.LG math.OC
Recent Advances in Bayesian Optimization
University of Surrey(萨里大学);Bielefeld University(比勒费尔德大学);Honda Research Institute Europe GmbH(本田欧洲研究所有限公司)
贝叶斯优化由于其数据效率而出现在昂贵的黑盒优化的最前沿。近年来,人们对贝叶斯优化算法及其应用的发展进行了大量的研究。因此,本文试图提供一个全面的和更新的调查贝叶斯优化的最新进展,并确定有趣的开放问题。我们将现有的工作贝叶斯优化分为九个主要群体,根据所提出的算法的动机和重点。对于每一个类别,我们提出的主要进展方面的建设代理模型和适应的收购功能。最后,我们讨论了开放的问题,并提出了有前途的未来研究方向,特别是在分布式和联邦优化系统的异构性,隐私保护和公平性。
2022-11-11 cs.DC cs.LG cs.NE
Fully Distributed Bayesian Optimization with Stochastic Policies
Instituto de Investigacion en Ingenieria de Aragon(阿拉贡工程研究院);University of Zaragoza(萨拉戈萨大学);Centro Universitario de la Defensa(国防大学中心)
贝叶斯优化已经成为高通量计算的流行方法,如计算机实验设计或昂贵模型的超参数调整,其中样本效率是强制性的。在这些应用程序中,分布式和可扩展的架构是必要的。然而,贝叶斯优化主要是顺序的。即使是并行变体也需要在样本之间进行某些计算,从而限制了并行化带宽。汤普森抽样以前已被应用于分布式贝叶斯优化。但是,当与顺序设置中的其他采集功能相比时,已知汤普森采样的性能次优。在本文中,我们提出了一种新的方法,完全分布式贝叶斯优化,它可以结合任何采集功能。我们的方法认为贝叶斯优化作为一个部分可观察的马尔可夫决策过程。在这种情况下,随机政策,如玻尔兹曼政策,有一些有趣的性质,也可以研究贝叶斯优化。此外,玻尔兹曼政策平凡地允许分布式贝叶斯优化实现具有高水平的并行性和可扩展性。我们目前的结果在几个基准和应用程序,显示我们的方法的性能。
2019-07-05 cs.AI cs.DC cs.LG
The Behavior and Convergence of Local Bayesian Optimization
University of Pennsylvania(宾夕法尼亚大学);Washington University in St. Louis(圣路易斯华盛顿大学)
该研究针对高维场景下贝叶斯局部优化行为与收敛性不明的问题,分析了局部方法的特性,首次严格证明Müller等人2021年提出的算法在含噪和无噪设置下的收敛速率。
2024-03-08 cs.LG stat.ML
Combining Bayesian Optimization and Lipschitz Optimization
Mila(米拉研究所)
贝叶斯优化和Lipschitz优化已经开发了优化黑盒函数的替代技术。它们各自利用关于函数的不同形式的先验。在这项工作中,我们将探索将这些技术结合起来以实现更好的全局优化的策略。特别是,我们提出了在传统BO算法中使用Lipschitz连续性假设的方法,我们称之为Lipschitz贝叶斯优化(LBO)。这种方法不会增加渐近运行时间,并且在某些情况下会大幅提高性能(而在最坏的情况下,性能相似)。事实上,在一个特定的设置,我们证明,使用Lipschitz信息产生相同或更好的约束的遗憾相比,使用贝叶斯优化自己。此外,我们提出了一个简单的估计Lipschitz常数的方法,并证明了Lipschitz常数的增长估计在某种意义上是“无害的”。我们在15个数据集上进行的实验表明,在最坏的情况下,LBO的性能与底层BO方法相似,而在某些情况下,它的性能要好得多。特别是汤普森抽样,通常有很大的改进(因为Lipschitz信息纠正了其众所周知的“过度探索”现象),其LBO变体通常优于其他收购功能。
2020-07-28 cs.LG stat.ML
Prior-mean-assisted Bayesian optimization application on FRIB Front-End tunning
Facility for Rare Isotope Beams(稀有同位素束流装置)
由于贝叶斯优化算法具有较高的采样效率,常用于加速器的调谐。然而,在大数据集上训练的计算可扩展性可能是有问题的,并且以计算高效的方式采用历史数据并不是微不足道的。在这里,我们利用在历史数据上训练的神经网络模型作为FRIB前端调谐的BO的先验均值。
2022-11-11 cs.LG physics.acc-ph
Combinatorial Bayesian Optimization with Random Mapping Functions to Convex Polytopes
POSTECH(浦项科技大学);Intellicode
贝叶斯优化是求解费用高的黑箱函数全局优化问题的一种常用方法。它依赖于目标函数的概率代理模型,在此基础上建立获取函数以确定下一步在哪里评估目标函数。通常,具有高斯过程回归的贝叶斯优化在连续空间上操作。当输入变量是分类变量或离散变量时,需要格外小心。一种常见的方法是使用独热编码或布尔表示的分类变量,这可能会产生组合爆炸问题。本文提出了一种在组合空间中求解贝叶斯优化的方法,该方法能在较大的组合空间中很好地工作。其主要思想是利用一个随机映射将组合空间嵌入到连续空间的凸多面体中,在此基础上进行所有必要的处理以确定组合空间中黑箱优化的解。我们描述了我们的组合贝叶斯优化算法,并提出其遗憾分析。数值实验表明,我们的方法显示出令人满意的性能相比,现有的方法。
2022-06-20 cs.LG stat.ML
Hypervolume-based Multi-objective Bayesian Optimization with Student-t Processes
IDLab;Ghent University - imec(根特大学 - imec)
Student- $t$过程最近被提出作为一种有吸引力的替代非参数函数先验。它们具有增强的灵活性和预测方差。在这项工作中,学生$t$过程的使用进行了探索多目标贝叶斯优化。特别是,一个分析表达式的超体积为基础的概率改进独立的学生$t$过程先验的目标。它的有效性示出的多目标优化问题,这是已知的是难以与传统的高斯过程。
2016-12-01 cs.LG stat.ML
A Tutorial on Bayesian Optimization
贝叶斯优化是一种优化需要很长时间(几分钟或几小时)才能评估的目标函数的方法。它最适合于在小于20维的连续域上进行优化,并容忍函数求值中的随机噪声。它为目标构建一个替代品,并使用贝叶斯机器学习技术(高斯过程回归)量化该替代品中的不确定性,然后使用从该替代品定义的采集函数来决定在何处采样。在本教程中,我们将介绍贝叶斯优化的工作原理,包括高斯过程回归和三个常见的获取函数:预期改进、熵搜索和知识梯度。然后,我们讨论更先进的技术,包括运行多个功能的评估并行,多保真度和多信息源优化,昂贵的评估约束,随机环境条件,多任务贝叶斯优化,并包括衍生信息。最后,我们讨论了贝叶斯优化软件和未来的研究方向在该领域。在我们的教程材料中,我们提供了对噪声评估的预期改进的概括,超出了更常用的无噪声设置。这种概括是合理的正式决策理论的论点,站在前面的临时修改。
2018-07-08 cs.LG math.OC stat.ML
Warm Starting Bayesian Optimization
Cornell University(康奈尔大学)
我们开发了一个框架,热启动贝叶斯优化,减少了解决优化问题,这是一个相关的问题序列所需的解决时间。当优化无法提供衍生信息的随机模拟器的输出时,这是有用的,贝叶斯优化方法非常适合于此。当使用一个优化模型和在不同时间段或市场收集的输入数据做出多个业务决策时,会出现解决相关优化问题的序列。虽然许多基于梯度的方法可以通过在前一个问题的解处启动优化来热启动,但是这种热启动方法不适用于贝叶斯优化方法,贝叶斯优化方法从迭代到迭代携带目标函数的完整元模型。我们的方法建立了一个联合的统计模型的整个收集相关的目标函数,并使用一个价值的信息计算推荐点进行评估。
2016-08-11 cs.LG stat.AP stat.ML
Vanilla Bayesian Optimization Performs Great in High Dimensions
Lund University(隆德大学);DBtune
针对高维场景下贝叶斯优化性能受限的问题,本文通过对高斯过程长度尺度先验随维度进行简单缩放,无需对目标施加结构限制即可降低模型复杂度,使普通贝叶斯优化在高维任务上的表现远超预期且优于现有SOTA算法。
2024-12-12 cs.LG stat.ML
Bayesian Optimization with Informative Covariance
University of Edinburgh(爱丁堡大学)
针对高维贝叶斯优化中平稳协方差模型无法表达输入相关信息及信息均值函数表现不佳的问题,提出利用非平稳性编码区域偏好并自适应促进局部探索的新型信息协方差函数,有效提升了高维场景下的样本效率。
2023-04-01 cs.LG stat.ML
Bayesian optimization with local search
Shanghai Jiao Tong University(上海交通大学);University of Birmingham(伯明翰大学)
全局优化在广泛的现实世界问题中得到应用。多起点方法是一类流行的全局优化技术,它基于在多个起点进行局部搜索的思想。在这项工作中,我们提出了一个新的多启动算法的起点是在贝叶斯优化框架。具体地,该方法可以被理解为通过对原始目标函数进行局部搜索来构造新函数,其中新函数获得与原始函数相同的全局最优解。然后应用贝叶斯优化来找到新的局部搜索定义函数的全局最优解。
2020-06-30 cs.LG math.OC stat.ML
Tuning the Scheduling of Distributed Stochastic Gradient Descent with Bayesian Optimization
University of Cambridge(剑桥大学)
提出了一种利用贝叶斯优化来调整分布式随机梯度下降(SGD)系统参数的优化器。给定特定的上下文,我们的目标是快速找到有效的配置,适当地平衡可用机器之间的负载,以最小化平均SGD迭代时间。我们的实验考虑设置超过三十个参数。传统的贝叶斯优化使用高斯过程作为模型,不太适合这种高维域。为了减少收敛时间,我们利用现有的结构。我们设计了一个概率模型,模拟分布式SGD的行为,并使用它在贝叶斯优化。我们的模型可以利用许多运行时的测量推断每个评估的目标函数。实验结果表明,该优化算法在10次迭代内收敛到有效的配置,优化后的配置性能比一般优化算法在30次迭代中得到的配置性能高出2倍。
2016-12-01 cs.LG stat.ML
Simple and Scalable Parallelized Bayesian Optimization
CyberAgent, Inc.(赛博艾坚特公司)
近年来,利用并行和分布式计算资源已经成为解决高计算成本问题的关键。贝叶斯优化(BO)在诸如机器学习算法的超参数优化等评估成本高的问题中表现出了令人瞩目的结果。虽然已经开发了许多并行BO方法来有效地利用这些计算资源进行搜索,但这些方法假设同步设置或不可扩展。在本文中,我们提出了一个简单的和可扩展的异步并行设置BO方法。实验结果表明,该方法具有良好的性能。
2020-06-24 cs.LG stat.ML
SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization
Leibniz University Hannover(莱布尼茨汉诺威大学);University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
算法参数,特别是机器学习算法的超参数,可以显著影响它们的性能。为了支持用户为其算法、数据集和应用程序确定性能良好的超参数配置,SMAC3为贝叶斯优化提供了一个强大而灵活的框架,可以在几次评估中提高性能。它为典型用例提供了几个外观和预设,例如优化超参数,解决低维连续(人工)全局优化问题,以及配置算法以在多个问题实例中表现良好。SMAC3软件包可以在https://github.com/automl/SMAC3上获得许可的BSD许可证。
2022-02-08 cs.LG stat.ML
PARyOpt: A software for Parallel Asynchronous Remote Bayesian Optimization
Iowa State University(爱荷华州立大学);University of Kentucky(肯塔基大学)
PARyOpt是一个基于Python的贝叶斯优化例程的实现,专为远程和异步函数求值而设计。贝叶斯优化由于其低费用函数占用空间以及能够考虑数据中的不确定性而对于计算优化特别有吸引力。在分布式计算系统上有效部署任何优化策略的关键挑战是同步步骤,其中来自多个函数调用的数据被同化以识别下一个函数调用活动。贝叶斯优化提供了一种优雅的方法来克服这个问题,通过异步更新。我们制定,开发和实现一个并行的,异步的贝叶斯优化的变种。该框架是稳健的,能够抵御外部故障。我们展示了如何这样的异步评估有助于减少总优化挂钟时间的一套测试问题。此外,我们展示了该框架的软件设计如何允许轻松扩展到响应面重建(克里格),提供了一个高性能的自主探索软件。该软件可在PyPI上使用,并附有示例和文档。
2018-09-12 cs.LG math.OC stat.ML
Tuning Particle Accelerators with Safety Constraints using Bayesian Optimization
ETH Zurich(苏黎世联邦理工学院);Paul Scherrer Institut(保罗·谢尔研究所)
调整粒子加速器的机器参数是一项重复且耗时的任务,具有自动化的挑战性。虽然许多现成的优化算法是可用的,但在实践中,它们的使用是有限的,因为大多数方法在每次迭代中不考虑安全关键约束,例如损失信号或步长限制。一个值得注意的例外是安全贝叶斯优化,这是一种数据驱动的调整方法,用于带噪声反馈的全局优化。我们提出并评估了一个步长有限的变量的安全贝叶斯优化的两个研究设施的保罗谢勒研究所(PSI):a)瑞士自由电子激光(SwissFEL)和b)的高强度质子加速器(HIPA)。我们报告有前途的实验结果,在这两台机器上,调整到16个参数受到224个约束。
2022-06-30 cs.LG physics.acc-ph