Bayesian optimization with local search
Shanghai Jiao Tong University(上海交通大学);University of Birmingham(伯明翰大学)
全局优化在广泛的现实世界问题中得到应用。多起点方法是一类流行的全局优化技术,它基于在多个起点进行局部搜索的思想。在这项工作中,我们提出了一个新的多启动算法的起点是在贝叶斯优化框架。具体地,该方法可以被理解为通过对原始目标函数进行局部搜索来构造新函数,其中新函数获得与原始函数相同的全局最优解。然后应用贝叶斯优化来找到新的局部搜索定义函数的全局最优解。
2020-06-30 cs.LG math.OC stat.ML
PARyOpt: A software for Parallel Asynchronous Remote Bayesian Optimization
Iowa State University(爱荷华州立大学);University of Kentucky(肯塔基大学)
PARyOpt是一个基于Python的贝叶斯优化例程的实现,专为远程和异步函数求值而设计。贝叶斯优化由于其低费用函数占用空间以及能够考虑数据中的不确定性而对于计算优化特别有吸引力。在分布式计算系统上有效部署任何优化策略的关键挑战是同步步骤,其中来自多个函数调用的数据被同化以识别下一个函数调用活动。贝叶斯优化提供了一种优雅的方法来克服这个问题,通过异步更新。我们制定,开发和实现一个并行的,异步的贝叶斯优化的变种。该框架是稳健的,能够抵御外部故障。我们展示了如何这样的异步评估有助于减少总优化挂钟时间的一套测试问题。此外,我们展示了该框架的软件设计如何允许轻松扩展到响应面重建(克里格),提供了一个高性能的自主探索软件。该软件可在PyPI上使用,并附有示例和文档。
2018-09-12 cs.LG math.OC stat.ML
Preference Exploration for Efficient Bayesian Optimization with Multiple Outcomes
Meta;Cornell University(康奈尔大学)
我们考虑贝叶斯优化昂贵的评估实验,产生向量值的结果,决策者(DM)的偏好。这些偏好由效用函数编码,该效用函数以封闭形式未知,但可以通过要求DM表达对结果向量的偏好来估计。为了解决这个问题,我们开发了贝叶斯优化与偏好探索,一个新的框架,交互式实时偏好学习与DM通过成对比较的结果之间的交替,贝叶斯优化与学习的DM效用和结果的组合模型。在这个框架内,我们提出了专门为这项任务设计的偏好探索策略,并通过广泛的模拟研究证明了它们的性能。
2022-03-21 cs.LG math.OC stat.ML
Bayesian Screening: Multi-test Bayesian Optimization Applied to in silico Material Screening
我们提出了新的多测试贝叶斯优化模型和算法,用于大规模的材料筛选应用。我们的筛选问题是围绕两个测试设计的,一个昂贵,一个便宜。本文不同于其他最近的工作多测试贝叶斯优化通过使用一个灵活的模型,允许复杂的,非线性关系之间的廉价和昂贵的测试成绩。这种额外的建模灵活性在我们描述的材料筛选应用中是必不可少的。我们证明了我们的新算法的力量,一个家庭的合成玩具问题,以及从两个大规模的筛选研究的真实数据。
2020-09-11 cs.LG math.OC stat.AP
Bayesian Optimization with Shape Constraints
在贝叶斯优化的典型应用中,对被优化的目标函数进行最小假设。即使研究人员有关于一个或多个参数的函数形状的先验信息,这也是正确的。我们的情况下,形状约束通常是适当的贝叶斯优化的至少两个重要的应用领域:(1)超参数调整的机器学习算法和(2)决策分析与效用函数。我们描述了一种方法,将各种形状的限制在通常的贝叶斯优化框架和目前的积极成果,从简单的应用程序表明,贝叶斯优化与形状的限制是一个有前途的课题,为进一步研究。
2016-12-28 stat.ML
Transfer Learning in Bayesian Optimization for Aircraft Design
McGill University(麦吉尔大学);Bombardier(庞巴迪);Polytechnique Montréal(蒙特利尔综合理工学院);GERAD;Clemson University(克莱姆森大学)
本文提出利用迁移学习的贝叶斯优化方法,通过源数据辅助目标问题优化,解决冷启动问题。采用集成代理模型和约束框架,针对飞机设计中的异质变量和约束提出降维和代理选择方法,提升收敛速度和预测精度。
2026-03-30 cs.LG math.OC stat.ML
Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization
University of Milano-Bicocca(米兰比可卡大学)
贝叶斯优化已成为解决黑箱、昂贵和可能有噪声的函数全局优化问题的参考方法。贝叶斯优化学习目标函数的概率模型,通常是一个高斯过程,并根据其均值和方差构建一个获取函数,其优化器产生新的评估点,从而更新概率代理模型。尽管它的样本效率,贝叶斯优化并不与问题的维度很好地扩展。由于获取函数的优化计算量与目标函数的计算量相比可以忽略不计,因此获取函数的优化计算较少受到关注。其有效的优化往往受到多个极值的抑制,特别是在高维问题中。本文利用目标函数的可加性,将贝叶斯优化的核函数和捕获函数映射到低维子空间中。这种方法使得概率代理模型的学习/更新更有效,并允许有效的优化获取功能。给出了在城市供水系统中水泵控制的实际应用的实验结果。
2020-03-09 cs.LG math.OC stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca(米兰比可卡大学);OAKS srl(OAKS有限责任公司)
有一个共识是,只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差,导致不公平的预测和决策支持。最近,多目标超参数优化已经被提出来搜索机器学习模型,这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下,它们可能会大幅增加能耗。在本文中,我们提出了FangG-HPO,一个公平的和绿色的超参数优化(HPO)方法的基础上,多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集(又名信息源)来获得准确性和公平性的廉价近似值,并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准(公平性)数据集和两种机器学习算法(XGBoost和多层感知器),并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估,BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Constrained Bayesian Optimization for Automatic Chemical Design
自动化学设计是一个框架,用于生成具有优化特性的新型分子。原来的计划,具有贝叶斯优化的潜在空间的变分自动编码器,遭受的病理,它往往会产生无效的分子结构。首先,我们证明经验,这种病理学时出现的贝叶斯优化方案查询潜在点远离数据的变分自动编码器已被训练。其次,通过重新制定的搜索过程作为一个约束贝叶斯优化问题,我们表明,这种病理的影响可以减轻,产生显着改善所产生的分子的有效性。我们认为,约束贝叶斯优化是解决这类训练集不匹配的一个很好的方法,在许多生成任务涉及贝叶斯优化的潜在空间的变分自动编码器。
2019-08-12 stat.ML
Unbounded Bayesian Optimization via Regularization
贝叶斯优化是近年来兴起的一种全局优化和超参数整定的有效工具。目前,已建立的贝叶斯优化实践需要用户定义的边界框,该边界框被假定为包含优化器。然而,当对探测的目标函数知之甚少时,可能很难规定这样的界限。在这项工作中,我们修改了标准的贝叶斯优化框架的原则性的方式,允许自动搜索空间。我们介绍了两种替代方法,并比较它们在两个常见的合成基准测试功能,以及调整随机梯度下降优化器的多层感知器和卷积神经网络MNIST的任务。
2015-08-14 stat.ML
Upper Trust Bound Feasibility Criterion for Mixed Constrained Bayesian Optimization with Application to Aircraft Design
ONERA(法国国家航空航天研究中心);Université de Toulouse(图卢兹大学);ISAE-SUPAERO(法国国立高等航空航天学院)
贝叶斯优化方法已经成功地应用于评估成本高的黑盒优化问题。在本文中,我们采用所谓的超有效的全局优化算法,以解决更精确的混合约束问题。所提出的方法处理约束的信任上限,后者鼓励探索的可行域相结合的平均预测和相关的不确定性函数的高斯过程。最重要的是,一个细化的过程,基于学习率标准,介绍了提高开发和探索的权衡。我们展示了一组数值实验的方法的良好潜力。最后,我们提出了一个应用程序的概念飞机配置后,我们表明所提出的方法相比,一组最先进的黑箱优化求解器的优越性。关键词:全局优化,混合约束优化,黑箱优化,贝叶斯优化,高斯过程。
2020-05-12 cs.LG math.OC stat.ML
Bayesian Optimization with Exponential Convergence
MIT(麻省理工学院)
本文提出了一种指数收敛的贝叶斯优化方法,它不需要辅助优化,也不需要增量覆盖抽样。大多数贝叶斯优化方法需要辅助优化:一个额外的非凸全局优化问题,这可能是耗时的,很难在实践中实现。此外,现有的具有指数收敛的贝叶斯优化方法需要访问增量覆盖采样,这被认为是不切实际的。我们的方法消除了这两个要求,并实现了指数收敛速度。
2016-04-05 cs.LG stat.ML
Local Nonstationarity for Efficient Bayesian Optimization
Centro Universitario de la Defensa(国防大学中心)
贝叶斯优化已被证明是一个基本的全局优化算法在许多应用中:从自动机器学习,机器人,强化学习,实验设计,仿真等最流行和有效的贝叶斯优化依赖于一个代理模型的形式,高斯过程,由于其灵活性,以代表一个先验函数。然而,许多算法和设置依赖于高斯过程的平稳性假设。在本文中,我们提出了一种新的非平稳贝叶斯优化策略,能够在静态和非平稳问题中超越贝叶斯优化的最新技术水平。
2015-06-05 cs.LG stat.ML
Practical Transfer Learning for Bayesian Optimization
University of Freiburg(弗莱堡大学);Meta;Bosch Center for Artificial Intelligence(博世人工智能中心)
当针对多个数据集重复机器学习算法的超参数优化时,可以将知识转移到在新数据集上运行的优化。我们开发了一种新的无超参数集成模型用于贝叶斯优化,该模型是现有的两种迁移学习扩展到贝叶斯优化的推广,并与普通贝叶斯优化相比建立了最坏情况下的界限。使用大量的超参数优化基准问题,我们证明了我们的贡献大大减少了优化时间相比,标准的高斯过程为基础的贝叶斯优化,并提高了目前的最先进的转移超参数优化。
2022-10-24 cs.AI stat.ML
Bayesian Hyperparameter Optimization with BoTorch, GPyTorch and Ax
IBM(国际商业机器公司)
深度学习模型充满了超参数,这些超参数在学习过程开始之前被手动设置。要在如此高维的空间中找到这些超参数的最佳配置,需要耗时且昂贵的模型训练/验证,这不是一个简单的挑战。贝叶斯优化是超参数联合优化的有力工具,有效地权衡了超参数空间的探索和利用。本文讨论了贝叶斯超参数优化,包括超参数优化、贝叶斯优化和高斯过程。我们还回顾了BoTorch,GPyTorch和Ax,我们分别用于贝叶斯优化,高斯过程推理和自适应实验的新开源框架。对于实验,我们应用贝叶斯超参数优化,优化组权重,加权组池,耦合无监督分层图自动编码器学习和监督图预测学习的分子图。我们发现,Ax,BoTorch和GPyTorch一起提供了一个简单易用但功能强大的框架贝叶斯超参数优化,使用Ax的高级API,构建和运行一个完整的优化循环,并返回最佳的超参数配置。
2021-07-02 cs.LG stat.ML
Bayesian Optimization for Multi-objective Optimization and Multi-point Search
Kobe Steel, Ltd.(神户制钢所);The Institute of Statistical Mathematics(统计数理研究所);RIKEN AIP(理化学研究所AIP)
贝叶斯优化是一种有效的方法,以有效地优化未知的目标函数,高评价成本。传统的贝叶斯优化算法对单目标函数每次迭代选择一个点,而近年来,人们提出了多目标优化的贝叶斯优化或每次迭代多点搜索。然而,目前还没有一种非启发式的贝叶斯优化方法能够同时处理这两种问题。提出了一种能够同时处理多目标优化和多点搜索的贝叶斯优化算法。首先,我们定义了一个采集功能,同时考虑多目标和多点搜索问题。这是很难解析最大化的采集功能的计算成本是禁止的,即使当近似计算,如采样近似进行,因此,我们提出了一个准确的和计算效率高的方法估计梯度的采集功能,并开发了一个算法贝叶斯优化与多目标和多点搜索。数值实验表明,该方法的性能与启发式方法相当或优于启发式方法。
2019-05-07 cs.LG stat.ML
Bayesian Estimation of Multidimensional Latent Variables and Its Asymptotic Accuracy
分层学习模型,如混合模型和贝叶斯网络,被广泛用于无监督学习任务,如聚类分析。它们由可观测变量和隐变量组成,分别表示给定的数据及其隐藏的生成过程。有人指出,传统的统计分析是不适用于这些模型,因为冗余的潜变量产生的奇异性的参数空间。近年来,一种基于代数几何的方法使我们能够分析使用贝叶斯估计时预测可观测变量的准确性。然而,如何分析潜变量还没有得到充分的研究,即使在无监督学习的主要问题之一是确定如何准确地估计潜变量。以前的一项研究提出了一种方法,当潜在变量的范围与生成数据的模型相比是冗余的时,可以使用该方法。本文将该方法推广到潜变量具有冗余维数的情况。我们制定新的误差函数,并推导出其渐近形式。在两层贝叶斯网络中演示了误差函数的计算。
2018-01-04 stat.ML
GPflowOpt: A Bayesian Optimization Library using TensorFlow
介绍了一种新的用于贝叶斯优化的Python框架GPflowOpt。该软件包基于流行的高斯过程GPflow库,利用TensorFlow的优势,包括自动微分、并行化和用于贝叶斯优化的GPU计算。设计目标集中在一个易于扩展自定义采集功能和模型的框架上。该框架经过全面测试和良好的文档记录,并提供可扩展性。目前发布的GPflowOpt版本包括一些标准的单目标采集功能,最先进的最大值熵搜索,以及贝叶斯多目标方法。最后,它允许轻松使用GPflow中实现的自定义建模策略。
2017-11-10 stat.ML
Optimization, fast and slow: optimally switching between local and Bayesian optimization
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Oxford-Man Institute of Quantitative Finance(牛津曼量化金融研究所)
我们开发了第一个贝叶斯优化算法,BLOSSOM,它选择多个替代的采集功能和传统的局部优化在每一步。这是结合了一个新的停止条件的基础上预期的遗憾。这种配对使我们能够获得局部优化和贝叶斯优化的最佳特性,有效地利用函数求值,同时在选择优化问题时获得全局最小值的卓越收敛,并且一旦满足原则性和直观的停止条件,就停止优化。
2018-05-22 cs.LG stat.ML
Bayesian Optimization for Dynamic Problems
我们提出了实用的扩展贝叶斯优化解决动态问题。我们使用时空高斯过程先验来建模动态目标函数,该先验捕获函数随时间的所有实例。我们对贝叶斯优化的扩展使用从该模型中学习到的信息来指导对时间演化最小值的跟踪。通过利用时间相关性,所提出的方法还确定何时进行评估,以多快的速度进行这些评估,并根据可用信息得出适当的步骤预算。最后,我们评估我们的技术在合成和现实世界的问题。
2018-03-09 stat.ML
Bayesian task embedding for few-shot Bayesian optimization
GE Research(通用电气研究院)
我们描述了一种贝叶斯优化的方法,其中一个可以将数据从多个系统的定量相互关系是未知的先验。系统的所有一般(非实值)特征都与连续潜变量相关联,这些变量作为输入进入一个元模型,该元模型同时学习所有系统的响应曲面。贝叶斯推理用于确定关于潜在变量的适当信念。我们解释了如何得到的概率元模型可用于贝叶斯优化任务,并展示了它的实现在各种合成和现实世界的例子,比较其性能下零,一,和Few-Shot设置对传统的贝叶斯优化,这通常需要更多的数据从系统的利益。
2020-01-02 cs.LG stat.ML
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University(隆德大学);University of Freiburg(弗莱堡大学);Stanford University(斯坦福大学);DBtune
提出SAL和SCoreBO两种采集函数,通过贝叶斯主动学习优化高斯过程超参数,在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
Raiders of the Lost Architecture: Kernels for Bayesian Optimization in Conditional Parameter Spaces
在实际的贝叶斯优化中,我们必须经常搜索具有不同数量参数的结构。例如,我们可能希望搜索具有未知层数的神经网络架构。为了关联针对不同架构收集的性能数据,我们为条件参数空间定义了一个新的内核,该内核显式地包含有关给定结构中哪些参数相关的信息。我们表明,该内核提高了模型的质量和贝叶斯优化结果比几个简单的基线内核。
2014-09-14 stat.ML
On Batch Bayesian Optimization
Indian Institute of Science(印度科学学院)
我们提出了两种算法的贝叶斯优化在批量反馈设置,高斯过程的置信上限和汤普森采样方法的基础上,随着频率后悔保证和数值结果。
2019-11-04 cs.LG stat.ML
High Dimensional Bayesian Optimization Using Dropout
将贝叶斯优化扩展到高维是一项具有挑战性的任务,因为高维获取函数的全局优化可能成本高昂且通常不可行。现有的方法依赖于有限的活动变量或目标函数的加法形式。提出了一种新的高维贝叶斯优化方法,该方法在每次迭代中只优化一个变量子集。我们推导出理论界的遗憾,并显示它如何可以通知我们的算法的推导。我们证明了我们的算法优化的两个基准函数和两个现实世界的应用程序-训练级联分类器和优化合金成分的功效。
2018-02-15 stat.ML
Random Postprocessing for Combinatorial Bayesian Optimization
Tohoku University(东北大学);Kitasato University(北里大学);Tokyo Institute of Technology(东京工业大学);Sigma-i Co., Ltd.(Sigma-i公司)
针对离散黑箱优化中贝叶斯优化重复采样导致收敛慢的问题,提出严格禁止重复样本的随机后处理方法,数值实验表明该方法显著减少寻优步骤,尤其适用于最大后验采集函数。
2023-12-28 cond-mat.dis-nn cs.LG math.OC
A Simple Heuristic for Bayesian Optimization with A Low Budget
CyberAgent, Inc.(赛博艾坚特公司)
黑盒优化的目的是在给定的评估预算的约束下优化目标函数。在这个问题中,通常假设评估点的计算成本很大;因此,重要的是以尽可能低的预算有效地搜索。贝叶斯优化是一种有效的黑箱优化方法,它通过构造一个考虑目标函数不确定性的代理模型来实现探索-开发的权衡。然而,因为贝叶斯优化应该为整个搜索空间构造代理模型,所以当点没有被充分采样时,它不会表现出良好的性能。在这项研究中,我们开发了一种启发式方法细化搜索空间的贝叶斯优化时,可用的评估预算低。该方法通过对原始区域的划分来细化期望区域,以期望区域为初始搜索空间进行贝叶斯优化。通过对标准函数和机器学习算法的超参数优化的实验,我们证实了该方法的贝叶斯优化性能优于单独的贝叶斯优化,并表现出与两种搜索空间划分算法相当或更好的性能。
2019-11-30 cs.LG stat.ML
Practical Bayesian Optimization for Variable Cost Objectives
我们提出了一种新的贝叶斯优化方法与环境变量的黑盒函数,其值决定评估成本和评估的保真度之间的权衡。此外,我们使用一种新的方法来采样支持点,允许更快的采集功能的建设。这使我们能够实现优化与较低的开销比以前的方法,并实现了更一般的一类问题。我们证明这种方法是有效的合成和现实世界的基准问题。
2018-05-15 stat.ML
Bayesian Optimization with Gradients
Cornell University(康奈尔大学);University of Arizona(亚利桑那大学)
贝叶斯优化在评估费用高的多峰目标函数的全局优化方面取得了成功。然而,与大多数优化方法不同,贝叶斯优化通常不使用导数信息。在本文中,我们将展示如何贝叶斯优化可以利用导数信息,以减少良好的性能所需的目标函数评估的数量。特别是,我们开发了一种新的贝叶斯优化算法,导数启用知识梯度(dKG),我们显示一步贝叶斯最优性,渐近一致性,更大的一步价值的信息比可能在导数自由设置。我们的程序可以容纳嘈杂和不完整的衍生信息,有顺序和批量的形式,并可以通过自动选择保留一个单一的方向衍生物,可以选择性地减少推理的计算成本。我们还计算的d-KG采集函数和梯度使用一种新的快速离散化的自由技术。我们表明,与各种有梯度和无梯度的优化程序相比,d-KG提供了最先进的性能,包括逻辑斯谛回归,深度学习,内核学习和k-最近邻。
2018-02-07 cs.AI cs.LG math.OC
Exploiting gradients and Hessians in Bayesian optimization and Bayesian quadrature
机器学习研究的一个令人兴奋的分支集中在学习,优化和集成未知函数的方法上,这些方法很难或昂贵地进行评估。一个流行的贝叶斯方法来解决这个问题使用高斯过程(GP),以构建一个后验分布的功能的利益,给定一组观察到的测量,并选择新的点来评估使用这个后验的统计。在这里,我们将这些方法扩展到利用未知函数的导数信息。我们描述了贝叶斯优化(BO)和贝叶斯求积(BQ)的方法,其中一阶和二阶导数可以与函数本身一起评估。我们进行基于采样的推理,以纳入超参数的不确定性,并表明超参数和功能的不确定性降低得更快,当使用导数信息。此外,我们介绍了技术,克服病态的问题,困扰早期的方法梯度增强高斯过程和克里金。我们说明了这些方法的有效性,使用实际和模拟的贝叶斯优化和正交问题的应用程序,并表明,开发衍生工具可以提供大量的收益超过标准方法。
2018-03-29 stat.ML
Uncertainty Decomposition in Bayesian Neural Networks with Latent Variables
带有潜在变量的贝叶斯神经网络(BNN)是一种能够自动识别数据中复杂随机模式的概率模型。我们描述和研究在这些模型中的预测不确定性分解成其认识和任意组件。首先,我们展示了这样的分解是如何自然产生的贝叶斯主动学习的情况下,通过以下信息理论的方法。其次,我们使用类似的分解来开发一个新的风险敏感目标,用于安全的强化学习(RL)。这个目标是最大限度地减少模型偏差的影响,其随机动态环境中描述的BNN与潜变量。我们的实验说明了所得到的分解在主动学习和安全RL设置中的有用性。
2017-11-11 stat.ML
Cost-aware Bayesian Optimization via the Pandora's Box Gittins Index
Cornell University(康奈尔大学);Caltech(加州理工学院)
本研究建立成本感知贝叶斯优化与潘多拉魔盒问题的关联,将Gittins指数作为采集函数,实验证明其在中高维场景表现优异,且可迁移至经典贝叶斯优化,为融合两类理论技术迈出第一步。
2026-10-27 cs.LG stat.ML
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience(理论神经科学中心);Columbia University(哥伦比亚大学)
贝叶斯优化已成为一个强大的候选工具,为全球优化的功能与昂贵的评价成本。然而,由于贝叶斯方法研究的动态性质,以及计算技术的发展,在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中,我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外,我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱,如边缘参数的过采样和高性能参数的过度利用。最后,我提供了相对简单的启发式算法,以及它们的开源软件实现,这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
Topological Bayesian Optimization with Persistence Diagrams
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
寻找黑盒函数的最佳参数对于寻找稳定的材料结构和寻找最佳神经网络结构是重要的,并且贝叶斯优化算法被广泛用于该目的。然而,现有的贝叶斯优化算法大多只能处理向量数据,不能处理复杂的结构化数据。在本文中,我们提出了拓扑贝叶斯优化,它可以有效地找到一个最佳的解决方案,从结构化数据使用\emph{topological information}。更具体地说,为了将贝叶斯优化应用于结构化数据,我们从结构中提取有用的拓扑信息,并测量结构之间的适当相似性。为此,我们利用持久同源性,这是一个拓扑数据分析方法,最近被应用在机器学习。此外,我们提出了贝叶斯优化算法,可以处理多种类型的拓扑信息,通过使用一个线性组合的内核持久图。通过实验,我们表明,拓扑信息提取的持久同源性有助于更有效地搜索最佳结构相比,随机搜索基线和图贝叶斯优化算法。
2019-02-26 cs.LG stat.ML
Practical Bayesian Optimization with Threshold-Guided Marginal Likelihood Maximization
Pohang University of Science and Technology(浦项科技大学);BARO AI
我们提出了一个实用的贝叶斯优化方法,使用高斯过程回归,其边际似然最大化的模型选择步骤的数量是由一个预先定义的阈值。由于贝叶斯优化在寻找高斯过程回归的最佳自由参数时消耗了很大一部分执行时间,我们简单而直接的方法能够减轻时间复杂度并加快整个贝叶斯优化过程。实验结果表明,该方法在大多数情况下都能有效地减少执行时间,且优化质量损失较小。
2020-10-16 cs.LG stat.ML
A Note on Bayesian Networks with Latent Root Variables
IDSIA(伊迪西亚研究所)
本文研究含潜在根变量的贝叶斯网络,提出经验贝叶斯网络概念,并证明原始模型似然受经验模型全局最大值支配且一致性条件等价。
2024-02-26 cs.AI cs.LG stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University(迪肯大学)
该研究围绕贝叶斯优化,提出结合导数信息与可扩展稀疏高斯过程,以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Variational Reformulation of Bayesian Inverse Problems
反问题的经典方法是基于失配函数的优化。尽管其计算吸引力,但这种方法存在许多缺点,例如,非唯一性的解决方案,建模先验知识,等贝叶斯形式主义的逆问题避免了最优化方法遇到的困难,虽然在增加的计算成本。在这项工作中,我们使用信息理论的参数来铸造的贝叶斯推断问题的优化问题。由此产生的计划结合了理论的合理性,充分贝叶斯推断的计算效率的一个简单的优化。
2014-10-21 stat.ML
Learning and Optimization with Bayesian Hybrid Models
贝叶斯混合模型将基于物理的见解与机器学习结构融合在一起,以纠正系统偏差。在本文中,我们比较贝叶斯混合模型对基于物理的玻璃盒和高斯过程黑箱代理模型。我们认为弹道射击作为一个说明性的案例研究贝叶斯决策工作流程。首先,进行贝叶斯校准以估计模型参数。然后,我们使用从贝叶斯分析的后验分布计算最佳的射击条件,通过一个单阶段的随机程序击中目标。该案例研究证明了贝叶斯混合模型克服系统偏差的能力,该系统偏差来自于与纯机器学习方法相比更少的数据。最后,我们认为贝叶斯混合模型是一个新兴的范例,数据知情的决策下参数和认知的不确定性。
2019-12-12 cs.SY eess.SY math.OC
A Stratified Analysis of Bayesian Optimization Methods
SigOpt
实证分析是理论分析的重要补充,是研究贝叶斯优化问题的重要手段。经验主义的见解往往暴露出理论分析无法触及的优点和缺点。我们定义了两个指标比较贝叶斯优化方法的性能,并提出了一个排名机制,总结性能在各种流派或层次的测试功能。这些测试函数用于模拟超参数优化问题的复杂性,这是贝叶斯优化的最突出应用,但具有封闭形式,允许快速评估和更可预测的行为。这提供了一种灵活有效的方法来研究具有特定属性的函数,例如振荡行为或域边界上的最佳值。
2016-03-31 cs.LG stat.ML
BOAH: A Tool Suite for Multi-Fidelity Bayesian Optimization & Analysis of Hyperparameters
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
超参数优化和神经架构搜索对于常规的黑盒贝叶斯优化来说可能变得过于昂贵,因为单个模型的训练和评估可能很容易花费几个小时。为了克服这一点,我们引入了一个全面的工具套件,用于有效的多保真度贝叶斯优化及其运行分析。该套件使用Python编写,提供了一种简单的方法来指定复杂的设计空间,将贝叶斯优化和HyperBand进行了强大而有效的组合,并对优化过程及其结果进行了全面的分析。
2019-08-16 cs.AI cs.LG stat.ML
BOSH: Bayesian Optimization by Sampling Hierarchically
Lancaster University(兰卡斯特大学)
贝叶斯优化(BO)用于具有随机评估的函数的部署,例如通过交叉验证和仿真优化的参数调整,通常优化目标函数的固定噪声实现集合的平均值。然而,以这种方式忽略真正的目标函数会找到错误函数的高精度最优值。为了解决这个问题,我们提出了贝叶斯优化分层采样(BOSH),一种新的BO例程配对的分层高斯过程与信息理论框架,以生成一个不断增长的实现池的优化进展。我们证明了BOSH在综合基准测试、仿真优化、强化学习和超参数调整任务中提供了比标准BO更高效、更高精度的优化。
2020-07-02 cs.LG stat.ML
Designing over uncertain outcomes with stochastic sampling Bayesian optimization
National Institute of Standards and Technology(美国国家标准与技术研究院)
优化在科学和工程领域变得越来越普遍。通常,这些问题涉及各种程度的随机性或不确定性,在产生建议的解决方案。因此,在这些情况下的优化必须考虑这种随机性,以正确指导未来实验的设计。在这里,我们适应贝叶斯优化来处理不确定的结果,提出了一个新的框架,称为随机抽样贝叶斯优化(SSBO)。我们发现,在SSBO的置信上限搜索的预期遗憾的界限类似于早期的贝叶斯优化方法,由于随机生成的输入增加了处罚。此外,我们适应现有的批处理优化技术,以适当地限制近视决策时,可能会出现选择多个实例反馈之前。最后,我们表明,SSBO技术适当地优化了一组标准的优化问题,以及生物工程启发的应用问题。
2020-06-03 cs.LG stat.ML
Constrained Bayesian Optimization under Bivariate Gaussian Process with Application to Cure Process Optimization
针对约束贝叶斯优化中目标与约束函数独立性假设不成立的问题,提出利用二元高斯过程刻画二者依赖关系并开发约束期望改进获取函数,在固化过程优化中验证了其有效性。
2025-05-30 stat.AP stat.CO stat.ML
Pre-training of Bayesian Optimization Algorithm through Bayesian Optimization
Nagoya Institute of Technology(名古屋工业大学)
本文提出利用高斯过程样本路径估计累积遗憾,并通过外部贝叶斯优化自动选择内部BO算法的参数配置,以提升黑盒优化性能。
2026-10-08 cs.LG stat.ML
Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes
Texas A&M University(德州农工大学)
贝叶斯优化是一种优化黑盒目标函数的技术。贝叶斯优化的核心是一个代理模型,它预测目标函数在以前看不见的输入下的输出,以便于选择有希望的输入值。高斯过程(GP)通常用作代理模型,但已知其与观测数量的比例关系很差。我们适应Vecchia近似,一个流行的GP近似空间统计,使可扩展的高维贝叶斯优化。我们开发了几个改进和扩展,包括训练翘曲的GP使用小批量梯度下降,近似邻居搜索,并选择多个输入值并行。我们专注于使用我们的翘曲Vecchia GP在信任区域贝叶斯优化通过汤普森采样。在几个测试函数和两个并行学习问题上,我们的方法与最先进的方法相比毫不逊色。
2022-03-02 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame(圣母大学)
我们引入了一个贝叶斯高斯过程潜变量模型,该模型使用参数化的空间内核显式捕获数据中的空间相关性,并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验,使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
A Robust Multi-Objective Bayesian Optimization Framework Considering Input Uncertainty
Ghent University(根特大学);imec(比利时微电子研究中心)
贝叶斯优化是一种流行的工具,用于对昂贵的目标函数进行数据有效的优化。在工程设计等实际应用中,设计人员通常希望考虑多个目标以及输入的不确定性,以找到一组鲁棒的解决方案。虽然这在单目标贝叶斯优化中是一个活跃的话题,但在多目标情况下研究较少。我们引入了一种新的贝叶斯优化框架,有效地执行多目标优化考虑输入的不确定性。我们提出了一个强大的高斯过程模型来推断贝叶斯风险标准来量化鲁棒性,我们开发了一个两阶段的贝叶斯优化过程来搜索一个强大的帕累托前沿。完整的框架支持各种分布的输入不确定性,并充分利用并行计算。我们证明了框架的有效性,通过数值基准。
2022-02-25 cs.AI cs.CE stat.ML
Variable fusion for Bayesian linear regression via spike-and-slab priors
在线性回归模型中,系数的融合用于识别与响应具有相似关系的预测因子。这就是所谓的可变融合。提出了一种基于贝叶斯线性回归模型的变量融合方法。我们专注于分层贝叶斯模型的基础上的尖峰和板坯事先的方法。一个尖峰和平板先验是定制的,以执行可变融合。为了获得参数的估计,我们开发了一个吉布斯采样器的参数。仿真研究和实际数据分析表明,我们提出的方法取得了更好的性能比以前的方法。
2020-12-02 stat.ME stat.ML
MUMBO: MUlti-task Max-value Bayesian Optimization
Lancaster University(兰卡斯特大学)
我们提出了MUMBO,第一个高性能但计算效率高的多任务贝叶斯优化采集功能。在这里,挑战是通过评估与我们真正的目标函数相关的低成本函数来执行有效的优化。这是一个广泛的问题,包括多保真度优化的流行任务。然而,虽然已知信息理论获取函数提供最先进的贝叶斯优化,但用于多任务场景的现有实现具有过高的计算要求。因此,以前的采集功能只适用于低维参数空间和函数查询成本足够大,掩盖非常显着的优化开销的问题。在这项工作中,我们得到了一个新的多任务版本的熵搜索,提供强大的性能与低计算开销在经典的优化挑战和多任务超参数调整。MUMBO具有可扩展性和高效性,允许在具有丰富参数和保真度空间的问题中部署多任务贝叶斯优化。
2020-06-22 cs.LG stat.ML
An efficient application of Bayesian optimization to an industrial MDO framework for aircraft design
ONERA(法国航空航天研究院);Université de Toulouse(图卢兹大学)
庞巴迪航空公司开发的多层次、多学科和多保真度优化框架在探索高效和有竞争力的飞机配置方面取得了很好的效果。这个优化框架是在Isight软件中开发的,后者提供了一套现成的优化器。不幸的是,Isight优化器所需的计算工作量对于工业环境的要求可能是禁止的。本文采用一种约束贝叶斯优化算法,即混合专家模型的超高效全局优化算法,以减少优化计算量。所得到的结果表明,显着的改善相比,两个流行的Isight优化。测试约束贝叶斯优化求解器的能力证明了庞巴迪研究飞机配置研究的情况下。
2020-06-12 cs.AI cs.CE cs.LG
Uncertainty Quantification for Bayesian Optimization
针对贝叶斯优化输出不确定性量化研究不足的问题,本文提出通过构建目标函数极值的置信域评估不确定性的方法,依托新推导的序贯高斯过程回归一致误差界保证置信水平,为各类采样策略和停止准则提供统一量化框架。
2023-05-05 math.ST stat.ML stat.TH
Bayesian Kernelised Test of (In)dependence with Mixed-type Variables
Trinity College Dublin(都柏林圣三一学院);Eindhoven University of Technology(埃因霍温理工大学)
AI的一个基本任务是评估混合类型变量(文本、图像、声音)之间的依赖关系。我们提出了一个贝叶斯核相关性检验(不)依赖使用Dirichlet过程模型。新的(不)依赖度量允许我们回答一些基本问题:基于数据,(混合类型)变量是独立的吗?依赖/独立的可能性有多大?两个混合型变量不仅仅是弱相关的概率有多高?我们从理论上展示的方法的属性,以及算法的快速计算与it. We经验证明所提出的方法的有效性,通过分析其性能,并通过比较它与其他频率和贝叶斯方法的范围内的数据集和任务的混合型变量。
2021-05-09 cs.LG stat.ML
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research(谷歌研究院);Harvard University(哈佛大学)
该工作为深度贝叶斯神经网络(BNN)是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理,以表明正确配置的深度BNN(1)在高维中有效地学习变量重要性,其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的,在这个意义上,它对变量重要性的95%可信区间确实覆盖了95%的时间的真相(即,Bernstein-von Mises(BvM)现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果,并表明,该算法优于现有的经典和基于神经网络的变量选择方法,特别是在高维。
2019-12-03 cs.LG stat.ML