Building Bayesian Neural Networks with Blocks: On Structure, Interpretability and Uncertainty
Department of Statistics, University of Wisconsin-Madison(威斯康星大学麦迪逊分校统计系);Department of Computer Sciences, University of Wisconsin-Madison(威斯康星大学麦迪逊分校计算机科学系)
我们提供了简单的方案来构建贝叶斯神经网络(BNN),逐块,最近的想法计算骨架的启发。我们展示了如何通过调整计算框架中使用的块的类型,我们可以识别与深度高斯过程(DGP),深度内核学习(DKL),随机特征类型近似和其他主题的有趣关系。我们给出了通过双随机变分推断来近似后验的策略,这些模型产生不确定性估计。我们给出了详细的理论分析,并指出可能是独立的利益扩展。作为一个特殊的情况下,我们实例化我们的程序来定义贝叶斯{ \em添加剂}神经网络-一个有前途的策略,以确定统计相互作用,并获得可解释的模型有直接的好处。
2018-06-10 cs.AI cs.LG stat.ML
BayesOpt: A Bayesian Optimization Library for Nonlinear Optimization, Experimental Design and Bandits
BayesOpt是一个拥有最先进的贝叶斯优化方法的库,用于解决非线性优化,随机强盗或顺序实验设计问题。贝叶斯优化通过构建后验分布来捕获目标函数的证据和先验知识,从而具有样本效率。内置内置的标准C++,库是非常有效的,同时是可移植的和灵活的。它包括C,C++,Python,Matlab和Octave的通用接口。
2014-05-29 cs.LG
Advancing Bayesian Optimization: The Mixed-Global-Local (MGL) Kernel and Length-Scale Cool Down
University of Stuttgart(斯图加特大学)
贝叶斯优化(BO)已成为解决昂贵的黑箱优化问题的核心方法。虽然许多研究集中在采集函数的选择,我们专注于在线长度-尺度自适应和核函数的选择。我们建议使用采集函数来更稳健地决定超参数自适应,而不是根据过去数据的最大似然来选择超参数。此外,我们提出了一个特定的核函数,包括非平稳性和局部各向异性,从而隐含地集成了局部凸优化与全局贝叶斯优化的效率。与最先进的BO方法的比较强调了这些机制在全局优化基准上的效率。
2016-12-09 cs.AI cs.LG stat.ML
Fully Distributed Bayesian Optimization with Stochastic Policies
Instituto de Investigacion en Ingenieria de Aragon(阿拉贡工程研究院);University of Zaragoza(萨拉戈萨大学);Centro Universitario de la Defensa(国防大学中心)
贝叶斯优化已经成为高通量计算的流行方法,如计算机实验设计或昂贵模型的超参数调整,其中样本效率是强制性的。在这些应用程序中,分布式和可扩展的架构是必要的。然而,贝叶斯优化主要是顺序的。即使是并行变体也需要在样本之间进行某些计算,从而限制了并行化带宽。汤普森抽样以前已被应用于分布式贝叶斯优化。但是,当与顺序设置中的其他采集功能相比时,已知汤普森采样的性能次优。在本文中,我们提出了一种新的方法,完全分布式贝叶斯优化,它可以结合任何采集功能。我们的方法认为贝叶斯优化作为一个部分可观察的马尔可夫决策过程。在这种情况下,随机政策,如玻尔兹曼政策,有一些有趣的性质,也可以研究贝叶斯优化。此外,玻尔兹曼政策平凡地允许分布式贝叶斯优化实现具有高水平的并行性和可扩展性。我们目前的结果在几个基准和应用程序,显示我们的方法的性能。
2019-07-05 cs.AI cs.DC cs.LG
Towards Automatic Bayesian Optimization: A first step involving acquisition functions
贝叶斯优化是用于优化黑盒的最先进技术,即,函数,我们不能访问它们的解析表达式,也不能访问它的梯度,它们的计算代价很高,而且它的计算是嘈杂的。最流行的应用是机器学习算法的自动超参数调整,其中我们通过优化这些算法的泛化误差的估计来获得机器学习算法的最佳配置。尽管成功地应用,但生物学优化方法也具有需要配置的超参数,例如所使用的概率代理模型或采集函数。对这些超参数的配置的错误决策意味着获得质量差的结果。通常,这些超参数是通过对我们想要评估的目标函数进行假设来调整的,但在某些情况下,我们没有关于目标函数的任何先验信息。在本文中,我们提出了第一次尝试,通过探索几个自动调整的采集功能的baidu优化。我们在一组基准问题和一个机器学习算法的超参数调整问题中说明了这些方法的有效性。
2021-01-12 cs.AI cs.LG stat.ML
Scalable Constrained Bayesian Optimization
Facebook(脸书);Amazon(亚马逊);Uber AI(优步人工智能)
在黑盒约束下的高维黑盒函数的全局优化是机器学习、控制和工程中的一个普遍任务。这些问题是具有挑战性的,因为可行集通常是非凸的,很难找到,除了维数和底层函数的异质性的诅咒。特别是,这些特征显着影响贝叶斯优化方法的性能,否则已经成为无约束设置中的样本有效优化的事实标准,留给从业者进化策略或进化论。我们提出了可扩展的约束贝叶斯优化(SCBO)算法,克服了上述挑战,并推动贝叶斯优化的适用性远远超出了国家的最先进的。一个全面的实验评估表明,SCBO在各种基准取得了优异的成绩。为此,我们提出了两个新的控制问题,我们希望科学界的独立价值。
2021-02-28 cs.AI cs.LG stat.ML
Graph Bayesian Optimization: Algorithms, Evaluations and Applications
Key Laboratory of Symbolic Computation and Knowledge Engineer, Ministry of Education(教育部符号计算与知识工程重点实验室);School of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院)
网络结构优化是复杂网络分析中的一项基本任务。然而,几乎所有的贝叶斯优化研究都是针对向量输入的目标函数优化。在这项工作中,我们首先提出了一个灵活的框架,表示图贝叶斯优化,以处理任意图中的贝叶斯优化社区。通过将所提出的框架与图核相结合,它可以充分利用隐式图结构特征来补充根据经验猜测的显式特征,例如节点的标签和图的任何属性。所提出的框架可以确定哪些功能是更重要的优化过程中。我们应用该框架解决了四个问题,包括两个评估和两个应用程序,以证明其有效性和潜在的应用。
2018-11-06 cs.AI cs.LG stat.ML
Efficient and Scalable Batch Bayesian Optimization Using K-Means
IBM Research UK(IBM英国研究院)
本文提出了一种新的贝叶斯优化批量抽样算法--K-Means批量贝叶斯优化(KMBBO)。KMBBO使用无监督学习来有效地估计模型采集函数的峰值。我们在实证实验中表明,我们的方法优于目前最先进的批分配算法的各种测试问题,包括调整算法超参数和一个具有挑战性的药物发现问题。为了适应现实世界中的高维数据的问题,我们提出了一个修改KMBBO结合压缩感知投影到一个较低的维度子空间的优化。我们的经验表明,这两步方法优于没有降维发生的算法。
2018-09-19 cs.AI cs.LG stat.ML
Evaluation System for a Bayesian Optimization Service
SigOpt
贝叶斯优化是机器学习中超参数优化问题的一种优雅解决方案。构建可靠和健壮的贝叶斯优化服务需要仔细的测试方法和合理的统计分析。在本次演讲中,我们将概述我们的评估框架的开发,以严格测试和衡量更改对SigOpt优化服务的影响。我们提出了我们的评估系统的概述,并讨论了这个框架如何使我们的研究工程师能够自信,快速地对我们的核心优化引擎进行更改
2016-05-19 cs.LG
Bayesian Optimization with Exponential Convergence
MIT(麻省理工学院)
本文提出了一种指数收敛的贝叶斯优化方法,它不需要辅助优化,也不需要增量覆盖抽样。大多数贝叶斯优化方法需要辅助优化:一个额外的非凸全局优化问题,这可能是耗时的,很难在实践中实现。此外,现有的具有指数收敛的贝叶斯优化方法需要访问增量覆盖采样,这被认为是不切实际的。我们的方法消除了这两个要求,并实现了指数收敛速度。
2016-04-05 cs.LG stat.ML
Local Nonstationarity for Efficient Bayesian Optimization
Centro Universitario de la Defensa(国防大学中心)
贝叶斯优化已被证明是一个基本的全局优化算法在许多应用中:从自动机器学习,机器人,强化学习,实验设计,仿真等最流行和有效的贝叶斯优化依赖于一个代理模型的形式,高斯过程,由于其灵活性,以代表一个先验函数。然而,许多算法和设置依赖于高斯过程的平稳性假设。在本文中,我们提出了一种新的非平稳贝叶斯优化策略,能够在静态和非平稳问题中超越贝叶斯优化的最新技术水平。
2015-06-05 cs.LG stat.ML
Bayesian Optimization for Multi-objective Optimization and Multi-point Search
Kobe Steel, Ltd.(神户制钢所);The Institute of Statistical Mathematics(统计数理研究所);RIKEN AIP(理化学研究所AIP)
贝叶斯优化是一种有效的方法,以有效地优化未知的目标函数,高评价成本。传统的贝叶斯优化算法对单目标函数每次迭代选择一个点,而近年来,人们提出了多目标优化的贝叶斯优化或每次迭代多点搜索。然而,目前还没有一种非启发式的贝叶斯优化方法能够同时处理这两种问题。提出了一种能够同时处理多目标优化和多点搜索的贝叶斯优化算法。首先,我们定义了一个采集功能,同时考虑多目标和多点搜索问题。这是很难解析最大化的采集功能的计算成本是禁止的,即使当近似计算,如采样近似进行,因此,我们提出了一个准确的和计算效率高的方法估计梯度的采集功能,并开发了一个算法贝叶斯优化与多目标和多点搜索。数值实验表明,该方法的性能与启发式方法相当或优于启发式方法。
2019-05-07 cs.LG stat.ML
Optimization, fast and slow: optimally switching between local and Bayesian optimization
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Oxford-Man Institute of Quantitative Finance(牛津曼量化金融研究所)
我们开发了第一个贝叶斯优化算法,BLOSSOM,它选择多个替代的采集功能和传统的局部优化在每一步。这是结合了一个新的停止条件的基础上预期的遗憾。这种配对使我们能够获得局部优化和贝叶斯优化的最佳特性,有效地利用函数求值,同时在选择优化问题时获得全局最小值的卓越收敛,并且一旦满足原则性和直观的停止条件,就停止优化。
2018-05-22 cs.LG stat.ML
Bayesian task embedding for few-shot Bayesian optimization
GE Research(通用电气研究院)
我们描述了一种贝叶斯优化的方法,其中一个可以将数据从多个系统的定量相互关系是未知的先验。系统的所有一般(非实值)特征都与连续潜变量相关联,这些变量作为输入进入一个元模型,该元模型同时学习所有系统的响应曲面。贝叶斯推理用于确定关于潜在变量的适当信念。我们解释了如何得到的概率元模型可用于贝叶斯优化任务,并展示了它的实现在各种合成和现实世界的例子,比较其性能下零,一,和Few-Shot设置对传统的贝叶斯优化,这通常需要更多的数据从系统的利益。
2020-01-02 cs.LG stat.ML
Bayesian Optimization for Machine Learning : A Practical Guidebook
SigOpt
机器学习系统的工程仍然是一个新兴的领域;依赖于一系列看似令人生畏的快速发展的工具和最佳实践。我们希望这本指南将成为机器学习从业者利用贝叶斯优化技术的有用资源。我们概述了四个可以使用开源机器学习库解决的机器学习问题的示例,并强调了在这些常见机器学习应用程序的背景下使用贝叶斯优化的好处。
2016-12-14 cs.LG
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University(隆德大学);University of Freiburg(弗莱堡大学);Stanford University(斯坦福大学);DBtune
提出SAL和SCoreBO两种采集函数,通过贝叶斯主动学习优化高斯过程超参数,在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
On Batch Bayesian Optimization
Indian Institute of Science(印度科学学院)
我们提出了两种算法的贝叶斯优化在批量反馈设置,高斯过程的置信上限和汤普森采样方法的基础上,随着频率后悔保证和数值结果。
2019-11-04 cs.LG stat.ML
Bayesian Optimization with Gradients
Cornell University(康奈尔大学);University of Arizona(亚利桑那大学)
贝叶斯优化在评估费用高的多峰目标函数的全局优化方面取得了成功。然而,与大多数优化方法不同,贝叶斯优化通常不使用导数信息。在本文中,我们将展示如何贝叶斯优化可以利用导数信息,以减少良好的性能所需的目标函数评估的数量。特别是,我们开发了一种新的贝叶斯优化算法,导数启用知识梯度(dKG),我们显示一步贝叶斯最优性,渐近一致性,更大的一步价值的信息比可能在导数自由设置。我们的程序可以容纳嘈杂和不完整的衍生信息,有顺序和批量的形式,并可以通过自动选择保留一个单一的方向衍生物,可以选择性地减少推理的计算成本。我们还计算的d-KG采集函数和梯度使用一种新的快速离散化的自由技术。我们表明,与各种有梯度和无梯度的优化程序相比,d-KG提供了最先进的性能,包括逻辑斯谛回归,深度学习,内核学习和k-最近邻。
2018-02-07 cs.AI cs.LG math.OC
A Simple Heuristic for Bayesian Optimization with A Low Budget
CyberAgent, Inc.(赛博艾坚特公司)
黑盒优化的目的是在给定的评估预算的约束下优化目标函数。在这个问题中,通常假设评估点的计算成本很大;因此,重要的是以尽可能低的预算有效地搜索。贝叶斯优化是一种有效的黑箱优化方法,它通过构造一个考虑目标函数不确定性的代理模型来实现探索-开发的权衡。然而,因为贝叶斯优化应该为整个搜索空间构造代理模型,所以当点没有被充分采样时,它不会表现出良好的性能。在这项研究中,我们开发了一种启发式方法细化搜索空间的贝叶斯优化时,可用的评估预算低。该方法通过对原始区域的划分来细化期望区域,以期望区域为初始搜索空间进行贝叶斯优化。通过对标准函数和机器学习算法的超参数优化的实验,我们证实了该方法的贝叶斯优化性能优于单独的贝叶斯优化,并表现出与两种搜索空间划分算法相当或更好的性能。
2019-11-30 cs.LG stat.ML
BayesOpt: A Library for Bayesian optimization with Robotics Applications
Centro Universitario de la Defensa(国防大学中心)
本文件有两个目的。一方面,我们提出了贝叶斯优化的一般框架,并将其与主动学习和贝叶斯数值分析中的一些相关领域进行了比较。另一方面,贝叶斯优化和相关问题(土匪,序贯实验设计)是高度依赖于所选择的代理模型。然而,在文献中没有明确的标准。因此,我们提出了一个快速,灵活的工具箱,允许测试和组合不同的模型和标准,很少的努力。它包含了大多数最先进的贡献、算法和模型。它的速度也消除了贝叶斯优化方法只适用于“昂贵函数”的部分耻辱。该软件是免费的,它可以在许多操作系统和计算机语言中使用。
2013-09-03 cs.AI cs.LG cs.MS
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience(理论神经科学中心);Columbia University(哥伦比亚大学)
贝叶斯优化已成为一个强大的候选工具,为全球优化的功能与昂贵的评价成本。然而,由于贝叶斯方法研究的动态性质,以及计算技术的发展,在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中,我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外,我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱,如边缘参数的过采样和高性能参数的过度利用。最后,我提供了相对简单的启发式算法,以及它们的开源软件实现,这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
Solving Black-Box Optimization Challenge via Learning Search Space Partition for Local Bayesian Optimization
JetBrains Research(JetBrains研究院);HSE University(高等经济大学);Saint Petersburg State University(圣彼得堡国立大学)
黑盒优化是机器学习中的重要任务之一,因为它近似于现实世界的条件,因为我们并不总是知道给定系统的所有属性,甚至除了结果之外几乎一无所知。本文描述了我们通过学习局部贝叶斯优化的搜索空间划分来解决NeurIPS 2020中黑盒优化挑战的方法。我们描述的挑战,以及我们的低预算优化,我们命名为\texttt{SPBOpt}的算法的任务。我们使用多任务贝叶斯优化的结果,从前两个评估设置优化我们的算法的竞争决赛的超参数。我们的方法在比赛决赛中排名第三。
2021-05-25 cs.LG
Asynchronous Batch Bayesian Optimization with Pipelining Evaluations for Experimental Resource$\unicode{x2013}$constrained Conditions
Keio University(庆应义塾大学)
针对实验资源受限下批量贝叶斯优化无法应用、顺序方法耗时过长的问题,本研究提出流水线贝叶斯优化(PipeBO),通过重叠实验进程实现并行化,在24个基准函数中的20个上平均减少约44%处理时间,提升资源受限场景下的优化效率。
2024-12-05 cs.LG
Cost-aware Bayesian Optimization via the Pandora's Box Gittins Index
Cornell University(康奈尔大学);Caltech(加州理工学院)
本研究建立成本感知贝叶斯优化与潘多拉魔盒问题的关联,将Gittins指数作为采集函数,实验证明其在中高维场景表现优异,且可迁移至经典贝叶斯优化,为融合两类理论技术迈出第一步。
2026-10-27 cs.LG stat.ML
Stratified Bayesian Optimization
Cornell University(康奈尔大学)
我们考虑昂贵的噪声函数的无导数黑箱全局优化,当目标中的大部分随机性由几个有影响力的标量随机输入产生时。我们提出了一种新的贝叶斯全局优化算法,称为分层贝叶斯优化(SBO),它使用这种强依赖性,以提高性能。我们的算法在精神上类似于分层,分层是一种来自模拟的技术,它使用对随机输入的分类表示的强烈依赖来减少方差。我们在数值实验中证明,SBO优于最先进的贝叶斯优化基准,不利用这种依赖。
2016-02-20 cs.LG math.OC stat.ML
Non-Myopic Multifidelity Bayesian Optimization
Politecnico di Torino(都灵理工大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出非短视多保真贝叶斯优化框架,通过两步前瞻采集函数最大化长期累积奖励,在基准优化问题上优于标准多保真贝叶斯方法。
2024-07-04 cs.LG math.OC
Topological Bayesian Optimization with Persistence Diagrams
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
寻找黑盒函数的最佳参数对于寻找稳定的材料结构和寻找最佳神经网络结构是重要的,并且贝叶斯优化算法被广泛用于该目的。然而,现有的贝叶斯优化算法大多只能处理向量数据,不能处理复杂的结构化数据。在本文中,我们提出了拓扑贝叶斯优化,它可以有效地找到一个最佳的解决方案,从结构化数据使用\emph{topological information}。更具体地说,为了将贝叶斯优化应用于结构化数据,我们从结构中提取有用的拓扑信息,并测量结构之间的适当相似性。为此,我们利用持久同源性,这是一个拓扑数据分析方法,最近被应用在机器学习。此外,我们提出了贝叶斯优化算法,可以处理多种类型的拓扑信息,通过使用一个线性组合的内核持久图。通过实验,我们表明,拓扑信息提取的持久同源性有助于更有效地搜索最佳结构相比,随机搜索基线和图贝叶斯优化算法。
2019-02-26 cs.LG stat.ML
Practical Bayesian Optimization with Threshold-Guided Marginal Likelihood Maximization
Pohang University of Science and Technology(浦项科技大学);BARO AI
我们提出了一个实用的贝叶斯优化方法,使用高斯过程回归,其边际似然最大化的模型选择步骤的数量是由一个预先定义的阈值。由于贝叶斯优化在寻找高斯过程回归的最佳自由参数时消耗了很大一部分执行时间,我们简单而直接的方法能够减轻时间复杂度并加快整个贝叶斯优化过程。实验结果表明,该方法在大多数情况下都能有效地减少执行时间,且优化质量损失较小。
2020-10-16 cs.LG stat.ML
Efficient Bayesian Optimization using Multiscale Graph Correlation
Hitachi, Ltd.(日立公司);Research and Development Group(研发集团)
贝叶斯优化是一种强有力的工具,以优化黑盒函数,其中的评估是耗时或昂贵的。在本文中,我们提出了一种新的贝叶斯优化方法称为GP-MGC,它最大化多尺度图相关性的全局最大值,以确定下一个查询点。我们在涉及合成基准函数和真实数据集的应用中对GP-MGC进行了评估,并证明GP-MGC的性能与最大值熵搜索和GP-UCB等最先进的方法一样好,甚至更好。
2021-03-17 cs.LG
A Stratified Analysis of Bayesian Optimization Methods
SigOpt
实证分析是理论分析的重要补充,是研究贝叶斯优化问题的重要手段。经验主义的见解往往暴露出理论分析无法触及的优点和缺点。我们定义了两个指标比较贝叶斯优化方法的性能,并提出了一个排名机制,总结性能在各种流派或层次的测试功能。这些测试函数用于模拟超参数优化问题的复杂性,这是贝叶斯优化的最突出应用,但具有封闭形式,允许快速评估和更可预测的行为。这提供了一种灵活有效的方法来研究具有特定属性的函数,例如振荡行为或域边界上的最佳值。
2016-03-31 cs.LG stat.ML
BOSH: Bayesian Optimization by Sampling Hierarchically
Lancaster University(兰卡斯特大学)
贝叶斯优化(BO)用于具有随机评估的函数的部署,例如通过交叉验证和仿真优化的参数调整,通常优化目标函数的固定噪声实现集合的平均值。然而,以这种方式忽略真正的目标函数会找到错误函数的高精度最优值。为了解决这个问题,我们提出了贝叶斯优化分层采样(BOSH),一种新的BO例程配对的分层高斯过程与信息理论框架,以生成一个不断增长的实现池的优化进展。我们证明了BOSH在综合基准测试、仿真优化、强化学习和超参数调整任务中提供了比标准BO更高效、更高精度的优化。
2020-07-02 cs.LG stat.ML
Bayesian Screening: Multi-test Bayesian Optimization Applied to in silico Material Screening
我们提出了新的多测试贝叶斯优化模型和算法,用于大规模的材料筛选应用。我们的筛选问题是围绕两个测试设计的,一个昂贵,一个便宜。本文不同于其他最近的工作多测试贝叶斯优化通过使用一个灵活的模型,允许复杂的,非线性关系之间的廉价和昂贵的测试成绩。这种额外的建模灵活性在我们描述的材料筛选应用中是必不可少的。我们证明了我们的新算法的力量,一个家庭的合成玩具问题,以及从两个大规模的筛选研究的真实数据。
2020-09-11 cs.LG math.OC stat.AP
Designing over uncertain outcomes with stochastic sampling Bayesian optimization
National Institute of Standards and Technology(美国国家标准与技术研究院)
优化在科学和工程领域变得越来越普遍。通常,这些问题涉及各种程度的随机性或不确定性,在产生建议的解决方案。因此,在这些情况下的优化必须考虑这种随机性,以正确指导未来实验的设计。在这里,我们适应贝叶斯优化来处理不确定的结果,提出了一个新的框架,称为随机抽样贝叶斯优化(SSBO)。我们发现,在SSBO的置信上限搜索的预期遗憾的界限类似于早期的贝叶斯优化方法,由于随机生成的输入增加了处罚。此外,我们适应现有的批处理优化技术,以适当地限制近视决策时,可能会出现选择多个实例反馈之前。最后,我们表明,SSBO技术适当地优化了一组标准的优化问题,以及生物工程启发的应用问题。
2020-06-03 cs.LG stat.ML
Bayesian Hyperparameter Optimization for Ensemble Learning
Université Laval(拉瓦尔大学);École de technologie supérieure(高等技术学院)
在本文中,我们之间的差距桥梁超参数优化和集成学习进行贝叶斯优化的集成关于其超参数。我们的方法包括建立一个固定大小的集成,优化配置的一个分类器的集成在每次迭代的超参数优化算法,考虑到与其他模型的相互作用时,评估潜在的性能。我们还考虑了在超参数优化阶段结束时,通过对优化过程中生成的模型池进行贪婪选择来重建系综的情况。我们研究了我们提出的方法在三个不同的超参数空间上的性能,表明我们的方法优于最好的单个模型和贪婪的集成结构,而这些模型是由标准贝叶斯优化产生的。
2016-05-20 cs.LG
Adaptive Expansion Bayesian Optimization for Unbounded Global Optimization
University of Maryland(马里兰大学)
贝叶斯优化通常在固定的变量范围内执行。在机器学习算法的超参数调优等情况下,设置变量边界并不简单。很难保证任何固定的边界将包括真正的全局最优值。我们提出了一种贝叶斯优化方法,只需要指定一个初始搜索空间,不一定包括全局最优值,并扩大搜索空间时,必要的。然而,在搜索空间扩展期间可能发生过度探索。我们的方法可以自适应地平衡在不断扩大的空间中的探索和开发。一系列合成检验函数和MLP超参数优化任务的结果表明,所提出的方法优于或至少与当前最先进的方法一样好。
2020-01-12 cs.LG math.OC
Pre-training of Bayesian Optimization Algorithm through Bayesian Optimization
Nagoya Institute of Technology(名古屋工业大学)
本文提出利用高斯过程样本路径估计累积遗憾,并通过外部贝叶斯优化自动选择内部BO算法的参数配置,以提升黑盒优化性能。
2026-10-08 cs.LG stat.ML
Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes
Texas A&M University(德州农工大学)
贝叶斯优化是一种优化黑盒目标函数的技术。贝叶斯优化的核心是一个代理模型,它预测目标函数在以前看不见的输入下的输出,以便于选择有希望的输入值。高斯过程(GP)通常用作代理模型,但已知其与观测数量的比例关系很差。我们适应Vecchia近似,一个流行的GP近似空间统计,使可扩展的高维贝叶斯优化。我们开发了几个改进和扩展,包括训练翘曲的GP使用小批量梯度下降,近似邻居搜索,并选择多个输入值并行。我们专注于使用我们的翘曲Vecchia GP在信任区域贝叶斯优化通过汤普森采样。在几个测试函数和两个并行学习问题上,我们的方法与最先进的方法相比毫不逊色。
2022-03-02 cs.LG stat.ML
MUMBO: MUlti-task Max-value Bayesian Optimization
Lancaster University(兰卡斯特大学)
我们提出了MUMBO,第一个高性能但计算效率高的多任务贝叶斯优化采集功能。在这里,挑战是通过评估与我们真正的目标函数相关的低成本函数来执行有效的优化。这是一个广泛的问题,包括多保真度优化的流行任务。然而,虽然已知信息理论获取函数提供最先进的贝叶斯优化,但用于多任务场景的现有实现具有过高的计算要求。因此,以前的采集功能只适用于低维参数空间和函数查询成本足够大,掩盖非常显着的优化开销的问题。在这项工作中,我们得到了一个新的多任务版本的熵搜索,提供强大的性能与低计算开销在经典的优化挑战和多任务超参数调整。MUMBO具有可扩展性和高效性,允许在具有丰富参数和保真度空间的问题中部署多任务贝叶斯优化。
2020-06-22 cs.LG stat.ML
Recent Advances in Bayesian Optimization
University of Surrey(萨里大学);Bielefeld University(比勒费尔德大学);Honda Research Institute Europe GmbH(本田欧洲研究所有限公司)
贝叶斯优化由于其数据效率而出现在昂贵的黑盒优化的最前沿。近年来,人们对贝叶斯优化算法及其应用的发展进行了大量的研究。因此,本文试图提供一个全面的和更新的调查贝叶斯优化的最新进展,并确定有趣的开放问题。我们将现有的工作贝叶斯优化分为九个主要群体,根据所提出的算法的动机和重点。对于每一个类别,我们提出的主要进展方面的建设代理模型和适应的收购功能。最后,我们讨论了开放的问题,并提出了有前途的未来研究方向,特别是在分布式和联邦优化系统的异构性,隐私保护和公平性。
2022-11-11 cs.DC cs.LG cs.NE
Bayesian Optimization Using Monotonicity Information and Its Application in Machine Learning Hyperparameter
University of British Columbia(英属哥伦比亚大学)
我们提出了一个算法的一个家庭的优化问题的目标可以分解为一个函数的单调性的总和。激励问题是优化超参数的机器学习算法,我们认为,目标,验证误差,可以分解为单调函数的超参数。我们提出的算法采用贝叶斯优化方法,将单调性约束。我们使用说明性的例子说明了利用单调性的优点,并证明了一些机器学习超参数调整应用程序的优化效率的提高。
2018-02-16 cs.LG stat.ML
Model-based Causal Bayesian Optimization
ETH Zürich(苏黎世联邦理工学院)
我们应该如何干预一个未知的结构方程模型,以最大限度地提高下游变量的利益?这种设置,也称为因果贝叶斯优化(CBO),在医学,生态学和制造业中有重要的应用。标准贝叶斯优化算法无法有效地利用潜在的因果结构。现有的CBO方法假设无噪声测量,并且没有保证。我们提出了基于模型的因果贝叶斯优化算法(MCBO),学习一个完整的系统模型,而不是只建模干预奖励对。MCBO通过图表传播关于因果机制的认识不确定性,并通过乐观原则权衡探索和利用。我们限制了它的累积遗憾,并获得了CBO的第一个非渐近界。与标准贝叶斯优化不同,我们的获取函数不能以封闭形式进行评估,因此我们展示了如何使用重新参数化技巧来应用基于梯度的优化器。由此产生的MCBO的实际实施相比,有利的经验与国家的最先进的方法。
2023-03-10 cs.LG stat.ML
High Dimensional Bayesian Optimization via Supervised Dimension Reduction
Beijing Institute of Technology(北京理工大学);University of Technology Sydney(悉尼科技大学)
贝叶斯优化(BO)已被广泛应用于计算量大的问题,但它仍然是具有挑战性的,以扩大BO到高维。现有的工作通常是在严格的假设下,添加剂或线性嵌入结构的目标函数。本文将一种有监督的降维方法--切片逆回归(SIR)直接引入到高维贝叶斯优化中,该方法可以在优化过程中有效地学习目标函数的内在子结构。此外,一个核技巧,以减少计算复杂性和学习未知函数的非线性子集时,应用SIR极高维BO。我们提出了几个计算的好处,并推导出我们的算法理论上的遗憾界。大量的实验合成的例子和两个实际应用表明,我们的算法高维贝叶斯优化的优越性。
2019-07-21 cs.LG stat.ML
Lifelong Bayesian Optimization
University of Cambridge(剑桥大学);University of Oxford(牛津大学);University of California, Los Angeles(加州大学洛杉矶分校)
自动机器学习(Auto-ML)系统解决了数据科学预测模型或管道设计自动化的问题。在本文中,我们提出了终身贝叶斯优化(LBO),一个在线的,多任务的贝叶斯优化(BO)算法,旨在解决问题的模型选择的数据集到达和随着时间的推移而演变。为了适用于“终身”贝叶斯优化,算法需要随着不断增加的采集数量而扩展,并且应该能够在学习当前最佳模型时利用过去的优化。我们将模型选择问题转化为一个黑箱函数优化问题。在LBO中,我们利用函数之间的相关性,通过使用先前学习的函数的组件来加速新到达的数据集的学习过程。在真实数据和合成数据上的实验表明,LBO算法优于标准BO算法。
2019-06-21 cs.LG stat.ML
An Adaptive Dropout Approach for High-Dimensional Bayesian Optimization
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院)
针对贝叶斯优化在高维问题中因采集函数高维性导致性能下降的问题,提出自适应 dropout 算法,通过迭代降低采集函数维度优化难度,实验表明其在高维场景中优于标准及现有先进方法,提升解质量。
2025-04-15 cs.LG stat.ML
A Tutorial on Bayesian Optimization
贝叶斯优化是一种优化需要很长时间(几分钟或几小时)才能评估的目标函数的方法。它最适合于在小于20维的连续域上进行优化,并容忍函数求值中的随机噪声。它为目标构建一个替代品,并使用贝叶斯机器学习技术(高斯过程回归)量化该替代品中的不确定性,然后使用从该替代品定义的采集函数来决定在何处采样。在本教程中,我们将介绍贝叶斯优化的工作原理,包括高斯过程回归和三个常见的获取函数:预期改进、熵搜索和知识梯度。然后,我们讨论更先进的技术,包括运行多个功能的评估并行,多保真度和多信息源优化,昂贵的评估约束,随机环境条件,多任务贝叶斯优化,并包括衍生信息。最后,我们讨论了贝叶斯优化软件和未来的研究方向在该领域。在我们的教程材料中,我们提供了对噪声评估的预期改进的概括,超出了更常用的无噪声设置。这种概括是合理的正式决策理论的论点,站在前面的临时修改。
2018-07-08 cs.LG math.OC stat.ML
Warm Starting Bayesian Optimization
Cornell University(康奈尔大学)
我们开发了一个框架,热启动贝叶斯优化,减少了解决优化问题,这是一个相关的问题序列所需的解决时间。当优化无法提供衍生信息的随机模拟器的输出时,这是有用的,贝叶斯优化方法非常适合于此。当使用一个优化模型和在不同时间段或市场收集的输入数据做出多个业务决策时,会出现解决相关优化问题的序列。虽然许多基于梯度的方法可以通过在前一个问题的解处启动优化来热启动,但是这种热启动方法不适用于贝叶斯优化方法,贝叶斯优化方法从迭代到迭代携带目标函数的完整元模型。我们的方法建立了一个联合的统计模型的整个收集相关的目标函数,并使用一个价值的信息计算推荐点进行评估。
2016-08-11 cs.LG stat.AP stat.ML
Bayesian optimization with local search
Shanghai Jiao Tong University(上海交通大学);University of Birmingham(伯明翰大学)
全局优化在广泛的现实世界问题中得到应用。多起点方法是一类流行的全局优化技术,它基于在多个起点进行局部搜索的思想。在这项工作中,我们提出了一个新的多启动算法的起点是在贝叶斯优化框架。具体地,该方法可以被理解为通过对原始目标函数进行局部搜索来构造新函数,其中新函数获得与原始函数相同的全局最优解。然后应用贝叶斯优化来找到新的局部搜索定义函数的全局最优解。
2020-06-30 cs.LG math.OC stat.ML
Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling
Northeastern University(东北大学);Google Research(谷歌研究院)
许多当代的机器学习模型需要大量的超参数调整才能表现良好。各种方法,如贝叶斯优化,已被开发来自动化和加快这一过程。然而,调优仍然非常昂贵,因为它通常需要反复完全训练模型。我们提出了加速贝叶斯优化方法的超参数调整的神经网络,考虑到每个训练样本贡献的相对信息量。为此,我们利用了重要性采样(IS);这显著提高了黑盒函数计算的质量,但也提高了它们的运行时间,因此必须小心完成。将超参数搜索作为超参数和重要性采样设计的多任务贝叶斯优化问题,实现了两全其美:通过学习IS的参数化,权衡评估复杂性和质量,我们改进了贝叶斯优化最先进的运行时间和最终验证错误,跨越各种数据集和复杂的神经架构。
2020-02-23 cs.LG stat.ML
PARyOpt: A software for Parallel Asynchronous Remote Bayesian Optimization
Iowa State University(爱荷华州立大学);University of Kentucky(肯塔基大学)
PARyOpt是一个基于Python的贝叶斯优化例程的实现,专为远程和异步函数求值而设计。贝叶斯优化由于其低费用函数占用空间以及能够考虑数据中的不确定性而对于计算优化特别有吸引力。在分布式计算系统上有效部署任何优化策略的关键挑战是同步步骤,其中来自多个函数调用的数据被同化以识别下一个函数调用活动。贝叶斯优化提供了一种优雅的方法来克服这个问题,通过异步更新。我们制定,开发和实现一个并行的,异步的贝叶斯优化的变种。该框架是稳健的,能够抵御外部故障。我们展示了如何这样的异步评估有助于减少总优化挂钟时间的一套测试问题。此外,我们展示了该框架的软件设计如何允许轻松扩展到响应面重建(克里格),提供了一个高性能的自主探索软件。该软件可在PyPI上使用,并附有示例和文档。
2018-09-12 cs.LG math.OC stat.ML
Adversarial Query Synthesis via Bayesian Optimization
University of Pennsylvania(宾夕法尼亚大学)
本文提出利用贝叶斯优化技术自动合成对抗查询,以提升数据库基准工作的优化余地。
2026-03-02 cs.DB cs.LG
Bayesian Optimization with Unknown Constraints
Harvard University(哈佛大学)
最近的工作贝叶斯优化已显示出其有效性的全局优化困难的黑箱目标函数。许多现实世界的优化问题也有约束条件,这是未知的先验。本文研究了在约束函数中可能存在噪声,且目标和约束可以独立计算的一般情况下,约束问题的贝叶斯优化。我们提供了激励实际的例子,并提出了一个通用的框架来解决这些问题。我们证明了我们的方法的有效性优化性能的在线潜在的Dirichlet分配主题稀疏性约束,调整神经网络测试时的内存约束,并优化哈密顿蒙特卡罗,以实现最大的有效性在一个固定的时间,通过标准的收敛诊断。
2014-03-22 cs.LG stat.ML
Extrinsic Bayesian Optimizations on Manifolds
University of Notre Dame(圣母大学);University of Glasgow(格拉斯哥大学)
我们提出了一个外贝叶斯优化(eBO)框架一般最优化问题流形上。贝叶斯优化算法通过采用高斯过程来构建目标函数的替代,并通过导出获取函数来量化该替代中的不确定性。该获取函数表示基于高斯过程的内核的改进概率,其引导优化过程中的搜索。流形上贝叶斯优化算法设计的关键挑战在于构造一般流形上高斯过程的有效协方差核的困难。我们的方法是采用外部高斯过程,首先嵌入到一些高维欧几里得空间通过等变嵌入的流形,然后构建一个有效的协方差嵌入后的图像流形上的内核。这导致了有效的和可扩展的算法优化复流形。仿真研究和实际数据分析表明,我们的eBO框架的效用,通过应用eBO的各种流形上的最优化问题,如球,格拉斯曼,和流形的正定矩阵。
2022-12-29 cs.LG math.OC
Bayesian Coresets: Revisiting the Nonconvex Optimization Perspective
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加州大学伯克利分校);Rice University(莱斯大学)
贝叶斯核心集已成为一种很有前途的方法,实现可扩展的贝叶斯推断。贝叶斯核心集问题涉及选择数据样本的(加权)子集,使得使用所选子集的后验推理非常接近使用完整数据集的后验推理。这篇手稿通过稀疏约束优化的镜头重新审视贝叶斯核心集。利用最新的进展,加速优化方法,我们提出并分析了一种新的算法的核心选择。我们提供了明确的收敛速度保证,并提出了一个经验评估的各种基准数据集,以突出我们提出的算法的优越性能相比,国家的最先进的速度和准确性。
2021-02-25 cs.LG stat.CO stat.ML
Bayesian Optimization for Selecting Efficient Machine Learning Models
Adobe Research(Adobe 研究院)
许多机器学习模型的性能取决于它们的超参数设置。贝叶斯优化已经成为机器学习算法超参数优化的成功工具,其目的是在迭代序列过程中识别最优超参数。然而,大多数贝叶斯优化算法的设计,选择模型的有效性,而忽略了重要的问题,模型的训练效率。考虑到模型有效性和训练时间对于实际应用都很重要,因此为有效性选择的模型可能无法满足在生产环境中部署所需的严格训练时间要求。在这项工作中,我们提出了一个统一的贝叶斯优化框架,用于联合优化模型的预测有效性和训练效率。我们提出了一个目标,捕捉这两个指标之间的权衡,并展示了我们如何可以共同优化它们在一个原则贝叶斯优化框架。推荐任务的模型选择实验表明,与最先进的贝叶斯优化算法相比,这种方式选择的模型显着提高了模型训练效率,同时保持了较强的有效性。
2020-08-02 cs.CL cs.LG cs.NE