Are we Forgetting about Compositional Optimisers in Bayesian Optimisation?
Huawei R&D UK(华为英国研发部);University of Cambridge(剑桥大学);University College London(伦敦大学学院)
贝叶斯优化提出了一个样本效率的方法,为全球优化。在这个框架内,一个关键的性能确定子程序是最大化的采集功能,一个任务复杂的事实,即采集功能往往是非凸的,因此非平凡的优化。在本文中,我们进行了全面的实证研究的方法,以最大限度地提高收购功能。此外,通过推导新颖的,但数学上等价的,流行的采集功能的组成形式,我们重铸的最大化任务作为一个组成优化问题,使我们能够受益于广泛的文献在这一领域。我们强调的经验优势的合成方法,在3958个单独的实验,包括合成优化任务,以及贝叶斯标记的任务,以获取功能最大化。鉴于采集函数最大化子例程的一般性,我们认为,采用组合优化器有可能在贝叶斯优化目前正在应用的所有领域产生性能改善。
2020-12-17 cs.LG stat.ML
Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation
Applied Artificial Intelligence Institute(应用人工智能研究院)
为了提高贝叶斯优化的性能,我们开发了一种改进的高斯过程置信上限(GP-UCB)获取函数。这是通过从分布中采样探索-开发权衡参数来完成的。我们证明,这允许预期的权衡参数被改变,以更好地适应问题,而不损害功能的贝叶斯遗憾的约束。我们还提供了结果表明,我们的方法在一系列现实世界和合成问题中实现了比GP-UCB更好的性能。
2020-06-08 cs.LG stat.ML
Bayesian Optimisation for Mixed-Variable Inputs using Value Proposals
Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);Manufacturing, CSIRO(澳大利亚联邦科学与工业研究组织制造部)
许多现实世界的优化问题都是针对分类变量和连续变量定义的,但贝叶斯优化(BO)等高效优化方法并不是为了处理此类混合变量搜索空间而设计的。最近的方法来解决这个问题投的分类变量的选择作为一个强盗问题,独立操作旁边的BO组件,优化连续变量。在本文中,我们采用了一个整体的观点,旨在巩固优化的分类和连续的子空间下一个单一的收购指标。我们从ExpectedImprovement标准中获得候选项,我们称之为值建议,并使用这些建议对输入的分类和连续分量进行选择。我们表明,这种统一的方法显着优于现有的混合变量优化方法在几个混合变量的黑盒优化任务。
2022-02-17 cs.LG stat.ML
Think Global and Act Local: Bayesian Optimisation over High-Dimensional Categorical and Mixed Search Spaces
University of Oxford(牛津大学);Amazon(亚马逊);RMIT University(皇家墨尔本理工大学)
高维黑箱优化仍然是一个重要的,但众所周知的挑战性问题。尽管贝叶斯优化方法在连续域上取得了成功,但分类域或混合连续变量和分类变量的域仍然具有挑战性。我们提出了一种新的解决方案-我们结合本地优化与定制的内核设计,有效地处理高维分类和混合搜索空间,同时保持样本效率。我们进一步推导出所提出的方法的收敛保证。最后,我们通过经验证明,我们的方法在性能、计算成本或两者方面,在各种合成和现实任务上优于当前的基线。
2021-06-10 cs.LG stat.ML
Intrinsic Bayesian Optimisation on Complex Constrained Domain
贝叶斯优化算法在欧氏空间中的成功的动机,我们提出了一种新的方法来构建内在贝叶斯优化(在BO)流形上的主要重点是复杂的约束域或不规则形状的空间产生的R2,R3及以后的子流形。数据可以在空间域中收集,但限于与地理特征相对应的复杂或结构复杂的区域,例如湖泊。传统的贝叶斯优化(Tra-BO)定义的径向基函数(RBF)内核不能适应这些复杂的约束条件。In-BO使用稀疏固有高斯过程(SIn-GP)代理模型来考虑流形的几何结构。利用流形的热核构造了SInGP,热核被估计为流形上布朗运动的转移密度。通过对U形域、Bitten环面和咸海真实数据集的模拟研究,证明了In-BO的效率。它的性能相比,传统的BO,这是定义在欧氏空间。
2023-01-29 cs.LG stat.ML
How Bayesian Should Bayesian Optimisation Be?
University of Exeter(埃克塞特大学)
贝叶斯优化(BO)使用概率代理模型-通常是高斯过程(GP)-用于优化昂贵的黑盒函数。在每次BO迭代中,GP超参数通过最大化边缘似然来拟合先前评估的数据。然而,这并不能解释超参数本身的不确定性,导致模型预测过于自信。这种不确定性可以通过采用贝叶斯方法将模型超参数边缘化来解释。我们调查是否完全贝叶斯处理的高斯过程超参数在BO(FBBO)导致改进的优化性能。由于分析方法是棘手的,我们比较FBBO使用三个近似推理方案的最大似然方法,使用预期改善(EI)和置信上限(UCB)的收购功能与ARD和各向同性Matern内核配对,在15个著名的基准问题4观测噪声设置。使用具有ARD内核的EI的FBBO在无噪声设置中导致最佳性能,当噪声增加时,BO分量的组合之间的差异小得多。FBBO会导致UCB的过度勘探,但对EI无害。因此,我们建议FBBO使用带有ARD内核的EI作为BO的默认选择。
2021-05-03 cs.LG stat.ML
Bayesian functional optimisation with shape prior
Deakin University(迪肯大学);Centre for Pattern Recognition and Data Analytics(模式识别与数据分析中心);Institute for Frontier Materials(前沿材料研究所)
现实世界的实验是昂贵的,因此重要的是要达到一个目标,在最小数量的实验。实验过程通常涉及随时间变化的控制变量。这样的问题可以公式化为一个功能优化问题。我们开发了一种新的贝叶斯优化框架,这样的功能优化昂贵的黑箱过程。我们使用Bernstein多项式基表示控制函数,并在系数空间中进行优化。我们得出的理论和实践需要动态调整阶的多项式的程度,并显示如何先验信息的形状可以被集成。我们证明了我们的方法对于短聚合物纤维设计和优化深度网络的学习率调度的有效性。
2020-02-25 cs.LG stat.ML
Incorporating Expert Prior in Bayesian Optimisation via Space Warping
Deakin University(迪肯大学);Applied Artificial Intelligence Institute(应用人工智能研究所)
贝叶斯优化是一个著名的样本有效的方法,用于优化昂贵的黑盒函数。然而,当处理大的搜索空间时,该算法在达到函数的最优值之前会经过几个低函数值区域。由于函数评估在金钱和时间方面都是昂贵的,因此可能希望缓解这个问题。平息这种冷启动阶段的一种方法是使用可以加速优化的先验知识。在其标准形式中,贝叶斯优化假设搜索空间中的任何点是最优的可能性是相等的。因此,任何可以提供关于函数的最优性的信息的先验知识都将提高优化性能。在本文中,我们表示的先验知识的函数最优通过一个先验分布。然后,先验分布被用来扭曲的搜索空间在这样一种方式,空间得到扩大周围的高概率区域的功能最优和收缩周围的低概率区域的最优。我们通过重新定义核矩阵,将此先验直接纳入函数模型(高斯过程),这使得该方法可以与任何采集函数一起工作,即采集不可知方法。我们通过优化的几个基准函数和超参数调整的两个算法:支持向量机(SVM)和随机森林,我们的方法优于标准贝叶斯优化方法。
2020-03-27 cs.LG stat.ML
Long-run Behaviour of Multi-fidelity Bayesian Optimisation
University College London(伦敦大学学院);Matterhorn Studio(马特霍恩工作室)
本研究通过基准实验探究多保真贝叶斯优化在长期运行中的潜在不佳表现,分析其场景与原因,以评估其实际应用可靠性。
2023-12-19 cs.LG stat.ML
The case for fully Bayesian optimisation in small-sample trials
the University of Melbourne(墨尔本大学)
虽然样本效率是使用贝叶斯优化的主要动机时,黑盒功能是昂贵的评估,基于第二类最大似然(ML-II)的标准方法可能会失败,并导致在小样本试验中令人失望的性能。本文提供了三个令人信服的理由,采用完全贝叶斯优化(FBO)作为替代方案。首先,ML-II的失败比使用人为设置的现有研究所暗示的更常见。其次,FBO比ML-II更健壮,而健壮性的代价几乎是微不足道的。第三,FBO已经变得易于实现,并且速度足够快。本文使用相关实验来支持这一论点,这些实验反映了当前关于模型、算法和软件平台的实践。由于收益似乎超过了成本,研究人员应该考虑在他们的应用中采用FBO,这样他们就可以防止潜在的失败,最终浪费宝贵的研究资源。
2022-08-30 cs.LG stat.ML
Achieving Robustness to Aleatoric Uncertainty with Heteroscedastic Bayesian Optimisation
University of Cambridge(剑桥大学)
贝叶斯优化是一种样本效率高的搜索方法,对加速药物和材料发现计划具有很大的希望。然而,在贝叶斯优化策略中经常被忽视的建模考虑是异方差任意不确定性的表示。在许多实际应用中,期望识别具有低任意噪声的输入,其示例可以是响应于噪声制造过程而一致地显示鲁棒特性的材料成分。在本文中,我们提出了一个异方差贝叶斯优化方案能够代表和最小化任意噪声在输入空间。我们的计划采用了异方差高斯过程(GP)代理模型结合两个简单的适应现有的收购功能。首先,我们扩展了增广预期改进(AEI)启发式的异方差设置,第二,我们引入任意噪声惩罚预期改进(ANPEI)启发式。这两种方法都能够惩罚任意噪声的建议,并产生改进的性能相对于同方差贝叶斯优化和随机抽样的玩具问题,以及两个现实世界的科学数据集。代码可从以下网址获得:\url{https://github.com/Ryan-Rhys/Heteroscedastic-BO}
2022-05-20 cs.LG stat.ML
Distributionally Robust Optimisation with Bayesian Ambiguity Sets
University of Warwick(华威大学)
本文提出DRO-BAS方法,利用后验信息构建贝叶斯模糊集并对最坏情况风险进行优化,以缓解模型不确定性和有限噪声观测导致的次优决策问题,并在报童问题中验证了其优于现有贝叶斯DRO方法的样本外鲁棒性。
2024-09-05 cs.LG stat.ML
Practical Bayesian Learning of Neural Networks via Adaptive Optimisation Methods
Oxford University(牛津大学)
我们引入了一个新的框架,估计的后验分布的权重的神经网络,基于一个新的概率解释的自适应优化算法,如AdaGrad和亚当。我们证明了我们的贝叶斯亚当方法,巴达姆,通过实验表明,学习的不确定性正确地涉及到权重的预测能力的重量修剪的有效性。我们还证明了质量的派生的不确定性措施,通过比较巴达姆的性能标准的方法在汤普森采样设置多武装土匪,需要良好的不确定性措施的代理,以平衡勘探和开采。
2020-07-20 cs.LG stat.ML
Choice functions based multi-objective Bayesian optimisation
School of Computer Science and Statistics, Trinity College Dublin(都柏林圣三一学院计算机科学与统计学学院);Dalle Molle Institute for Artificial Intelligence Research (IDSIA)(达勒·莫勒人工智能研究所(IDSIA))
在这项工作中,我们引入了一个新的框架,多目标贝叶斯优化,其中多目标函数只能通过选择判断,如“我选择选项A,B,C中的这五个选项A,B,C,D,E”。选项D被拒绝的事实意味着在所选的选项A、B、C中至少有一个选项是我严格偏好于D的(但我不必指定是哪一个)。我们假设对于某个维度$n_e$存在一个潜在向量函数f,它将选项嵌入到n维的实向量空间中,因此选择集可以通过非支配选项的帕累托集来表示。通过在f上放置一个高斯过程先验,并推导出一个新的选择数据的似然模型,我们提出了一个贝叶斯框架的选择函数学习。然后,我们应用这个代理模型来解决一个新的多目标贝叶斯优化从选择数据的问题。
2021-10-15 cs.LG stat.ML
Bayesian Quantile and Expectile Optimisation
Secondmind Labs(Secondmind实验室);Inria(法国国家信息与自动化研究所);Université Côte d’Azur(蔚蓝海岸大学)
贝叶斯优化(BO)被广泛用于优化随机黑箱函数。虽然大多数BO方法专注于优化条件期望,但许多应用程序需要规避风险的策略,并且需要考虑考虑分布尾部的替代标准。在本文中,我们提出了新的变分模型贝叶斯分位数和预期回归,非常适合异方差噪声设置。我们的模型包括两个潜在的高斯过程,分别占条件分位数(或期望)和尺度参数的非对称似然函数。此外,我们提出了两个BO策略的基础上最大值熵搜索和汤普森采样,这是专为这样的模型,可以容纳大量的点。与现有的BO风险规避优化方法相反,我们的策略可以直接优化分位数和期望值,而不需要复制观测值或假设噪声的参数形式。如实验部分所示,所提出的方法在异方差非高斯情况下明显优于现有技术。
2022-07-07 cs.LG stat.ML
Stable Bayesian Optimisation via Direct Stability Quantification
Center for Pattern Recognition and Data Analytics (PRaDA)(模式识别与数据分析中心(PRaDA));Deakin University(迪肯大学)
在本文中,我们考虑的问题找到稳定的最大值昂贵(评估)的功能。我们的动机是优化物理和工业过程,在某些输入范围内,输入的微小和不可避免的变化会导致输出的不可接受的大变化。我们的方法使用多个梯度高斯过程模型来估计指定输入扰动的最坏情况输出变化超过期望最大值的概率,然后这些概率用于(a)引导优化过程朝向满足我们的稳定性标准的解决方案,以及(b)后滤波结果以找到最佳稳定解决方案。我们展示我们的算法在合成和现实世界的问题,并证明它能够有效地找到稳定的最大值。
2019-02-21 cs.LG stat.ML
Graph Agnostic Causal Bayesian Optimisation
German Research Centre for Artificial Intelligence(DFKI)(德国人工智能研究中心(DFKI));University of Oxford(牛津大学);University of Kaiserslautern-Landau(凯泽斯劳滕-兰道大学)
提出图无关因果贝叶斯优化算法,在未知因果图下通过平衡探索与利用,实现累积遗憾目标下的全局优化,并在模拟和实际应用中超越基线。
2024-11-05 cs.LG stat.ML
Fast Information-theoretic Bayesian Optimisation
信息理论贝叶斯优化技术已经证明了最先进的性能,在解决重要的全球优化问题。然而,目前的信息理论的方法需要许多近似的实施,引入经常禁止计算开销和限制的选择内核可用于建模的目标。我们开发了一个快速的信息理论贝叶斯优化方法,FITBO,避免了需要采样的全球最小,从而显着减少计算开销。此外,与现有的方法相比,我们的方法面临较少的限制核的选择,并享有处理输出空间的优点。我们的经验表明,FITBO继承了与信息理论贝叶斯优化相关的性能,同时比更简单的贝叶斯优化方法,如预期改善更快。
2018-06-06 stat.ML
Wind Farm Layout Optimisation using Set Based Multi-objective Bayesian Optimisation
University of Exeter(埃克塞特大学)
风能是最清洁的可再生能源之一,有助于应对气候变化的挑战。风力发电的缺点之一是安装风力发电场所需的大空间;这是由于将风力涡轮机放置在有限的区域中会阻碍其生产力,因此在经济上不方便。这自然会导致优化问题,该问题具有三个具体挑战:(1)多个相互冲突的目标(2)计算昂贵的仿真模型和(3)优化设计集而不是设计向量。第一个和第二个挑战可以通过使用代理辅助来解决,例如\贝叶斯多目标优化。然而,传统的贝叶斯优化不能应用的问题中的优化功能依赖于设计集,而不是设计向量。本文扩展了贝叶斯多目标优化的适用性,以基于集合的优化解决风电场布局问题。我们在高斯过程中使用基于集合的内核来量化风电场(具有不同数量的涡轮机)之间的相关性。在给定的风能和风向数据集上的结果清楚地表明了使用基于集合的贝叶斯多目标优化的潜力。
2022-04-01 cs.LG math.OC stat.AP
Bayesian Optimisation vs. Input Uncertainty Reduction
University of Warwick(华威大学)
仿真器通常需要从真实世界数据估计的校准输入,并且估计的质量可以显著影响仿真输出。特别是当执行仿真优化以找到最佳解决方案时,输入中的不确定性会显著影响找到的解决方案的质量。一种补救方法是寻找在不确定的输入范围内平均具有最佳性能的解决方案,从而产生最佳折衷解决方案。我们考虑更一般的设置,用户可以在运行模拟或收集真实世界数据之间进行选择。用户可以选择输入和解决方案,并观察模拟输出,或者改为查询外部数据源,从而改善输入估计,从而能够搜索更集中、更少妥协的解决方案。我们显式地检查模拟和真实数据汇集之间的权衡,以找到模拟器与真实输入的最佳解决方案。使用的信息程序的值,我们提出了一种新的统一的模拟优化程序称为贝叶斯信息收集和优化(BICO),在每次迭代中,自动确定这两个动作(运行模拟或数据汇集)是更有益的。数值实验表明,该算法能够自动确定优化和数据汇集之间的适当平衡。
2020-05-31 cs.LG stat.ML
Heteroscedastic Treed Bayesian Optimisation
Imperial College London(伦敦帝国学院);University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学)
优化黑盒函数在许多学科中都很重要,例如调整机器学习模型、机器人技术、金融和采矿勘探。贝叶斯优化是一个国家的最先进的技术,为全球优化的黑箱功能,这是昂贵的评估。这种方法的核心是高斯过程先验,它捕获了我们对函数分布的信念。然而,在许多情况下,单个高斯过程不够灵活,无法捕捉目标函数中的非平稳性。因此,异方差对传统贝叶斯方法的性能产生负面影响。在本文中,我们提出了一种新的先验模型与分层参数学习,解决了贝叶斯优化的非平稳性问题。我们的研究结果表明,在广泛的应用,包括自动机器学习和采矿勘探大幅改善。
2015-03-04 cs.LG math.OC stat.ML
Return of the Latent Space COWBOYS: Re-thinking the use of VAEs for Bayesian Optimisation of Structured Spaces
School of Mathematical Sciences, Lancaster University, UK(数学科学学院,兰卡斯特大学);Department of Applied Maths and Theoretical Physics, University of Cambridge, UK(应用数学与理论物理系,剑桥大学)
本文提出将VAE生成模型与高斯过程代理模型解耦训练并通过贝叶斯更新规则结合的新方法,在受限评估预算下提升了分子优化中识别高潜力候选对象的能力。
2025-07-05 cs.LG stat.ML
GIBBON: General-purpose Information-Based Bayesian OptimisatioN
Lancaster University(兰卡斯特大学);Microsoft Research(微软研究院)
本文介绍了一种通用的扩展最大值熵搜索,贝叶斯优化(BO)的流行方法。提出了一种新的近似的信息增益-信息理论的数量中心解决一系列BO问题,包括噪声,多保真度和批量优化跨连续和高度结构化的离散空间。在此之前,这些问题已经在信息理论BO中单独解决,每个问题都需要不同的复杂近似方案,除了批次BO之外,之前没有提出计算轻量级的信息理论方法。GIBBON(General-purpose Information-Based Bayesian OptimisatioN)提供了一个适用于上述所有方法的单一原则框架,其性能优于现有方法,同时大幅降低了计算开销。此外,GIBBON不要求问题的搜索空间是欧几里得的,因此是第一个高性能但计算量小的采集函数,支持在一般高度结构化的输入空间(如分子搜索和基因设计)上进行批量BO。此外,我们的原则推导GIBBON产生一个流行的批量BO启发式的基础上确定点过程的自然解释。最后,我们分析了GIBBON在一套合成基准任务,分子搜索循环,并作为一个具有挑战性的批处理多保真度框架的一部分,与可控的实验噪声的问题。
2021-10-26 cs.LG stat.ML
Batch Bayesian Optimization via Particle Gradient Flows
Imperial College London(伦敦帝国理工学院);University of Manchester(曼彻斯特大学);University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所)
贝叶斯优化(BO)方法试图找到目标函数的全局最优解,这些目标函数只能作为黑盒或评估成本很高。这样的方法为目标函数构建代理模型,通过贝叶斯推断量化该代理中的不确定性。通过在每个步骤最大化采集函数来顺序地确定客观评估。然而,由于采集函数的非凸性,特别是在每一步都选择多个点的批量贝叶斯优化的情况下,这个辅助优化问题可能是非常不容易解决的。在这项工作中,我们重新制定一批BO作为一个优化问题的空间上的概率测度。我们构造了一个新的捕获函数的基础上多点的期望改进,这是凸的空间上的概率测度。解决这一“内部”优化问题的实际方案自然会出现梯度流的目标函数。我们证明了这种新方法在不同基准函数上的有效性,并与最先进的批处理BO方法进行比较。
2023-01-09 cs.LG stat.ML
Cost-aware Multi-objective Bayesian optimisation
贝叶斯优化中的费用概念通常是指在整个搜索空间上函数求值的一致昂贵成本。然而,在某些情况下,黑盒目标函数的评估成本是不均匀的,因为来自搜索空间的不同输入可能导致函数评估的不同成本。通过定义搜索空间上的成本感知约束,我们引入了一个成本感知的多目标贝叶斯优化与非均匀评估成本的目标函数。成本感知约束是索引的排序元组,其基于用户关于其使用成本的先验知识来展示搜索空间的维度的排序。我们制定了一个新的多目标贝叶斯优化采集功能的收敛,结合这种成本意识的约束,同时优化的目标函数的详细分析。我们证明了我们的算法的基础上合成和现实世界中的超参数调整的神经网络和随机森林的问题。
2019-09-09 cs.LG math.OC stat.ML
Ordinal Bayesian Optimisation
贝叶斯优化是一个强大的工具,以解决昂贵的黑箱问题,但失败时,对目标函数的静态假设是强烈违反,这是特别是病态或不连续的目标的情况。我们解决这个问题,提出了一个新的贝叶斯优化框架,只考虑变量的顺序,在输入和输出空间,以适应一个高斯过程的潜在空间。通过这样做,我们的方法对原始空间上的原始度量是不可知的。我们提出了两种算法,分别基于乐观策略和汤普森采样。对于乐观策略,我们证明了一个最优性能下的后悔措施的潜在空间。我们说明了我们的框架上的几个具有挑战性的玩具问题的能力。
2019-12-05 cs.LG math.OC stat.ML
BOiLS: Bayesian Optimisation for Logic Synthesis
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University College London(伦敦大学学院)
在逻辑综合过程中优化电路的结果质量(QoR)是一个艰巨的挑战,需要探索指数大小的搜索空间。虽然专家设计的操作有助于发现有效的序列,但逻辑电路复杂性的增加有利于自动化程序。受机器学习成功的启发,研究人员将深度学习和强化学习应用于逻辑合成应用。无论多么成功,这些技术都受到高样本复杂性的影响,从而阻止了广泛采用。为了实现高效和可扩展的解决方案,我们提出了BOiLS,第一个算法适应现代贝叶斯优化导航空间的合成操作。BOiLS不需要人为干预,并通过新颖的高斯过程内核和信任区域约束采集有效地权衡探索与开发。在EPFL基准测试的一组实验中,我们证明了BOiLS在样本效率和QoR值方面的优越性能。
2021-11-11 cs.LG stat.ML
Bayesian Optimistic Optimisation with Exponentially Decaying Regret
Applied Artificial Intelligence Institute, Deakin University, Geelong, Australia(应用人工智能研究所,德金大学,澳大利亚格里尔镇)
本文提出BOO算法,在无噪声环境下通过结合贝叶斯优化与基于树的乐观优化方法,实现指数级遗憾界O(N^{-√N})。
2021-05-10 cs.LG stat.ML
Asynchronous Batch Bayesian Optimisation with Improved Local Penalisation
University of Oxford(牛津大学);Mind Foundry Ltd.(Mind Foundry有限公司);Oxford-Man Institute of Quantitative Finance(牛津-曼定量金融研究所)
批量贝叶斯优化(BO)已成功应用于使用并行计算的超参数调整,但它浪费资源:提前完成工作的工人被闲置。我们解决这个问题,开发一种方法,惩罚本地异步贝叶斯优化$k$工人(PLAyBOOK),异步并行BO。我们证明经验的有效性PLAYBOOK及其变种的合成任务和现实世界的问题。我们对同步BO和异步BO进行了比较,结果表明,异步BO在挂钟时间和函数求值次数方面通常优于同步批处理BO。
2019-05-28 cs.AI cs.LG stat.ML
Asynchronous Parallel Bayesian Optimisation via Thompson Sampling
Carnegie Mellon University(卡内基梅隆大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
我们设计和分析的经典汤普森采样(TS)过程中的贝叶斯优化(BO)的设置功能评估是昂贵的,但可以并行执行的变化。我们的理论分析表明,在同步或异步并行设置的顺序汤普森采样算法的直接应用程序产生了令人惊讶的强大的结果:使$n$评价分布在$M$工人基本上相当于执行$n$评价序列。此外,通过建模完成函数评估所需的时间,我们表明,在时间约束下,异步并行TS实现渐近低于同步和顺序版本的遗憾。这些结果的补充实验分析,表明异步TS优于一套现有的并行BO算法在模拟和超参数调整应用在卷积神经网络。除了这些,建议的程序是概念上和计算上比现有的工作更简单的并行BO。
2017-05-25 cs.LG stat.ML
Information-theoretic Inducing Point Placement for High-throughput Bayesian Optimisation
Secondmind(Secondmind公司);University of Cambridge(剑桥大学)
稀疏高斯过程是高吞吐量贝叶斯优化(BO)循环的关键组成部分-这是一种越来越常见的设置,其中评估预算很大且高度并行。通过使用可用数据的代表性子集来构建近似后验,稀疏模型通过依赖于一小组伪观测(所谓的诱导点)而不是完整的数据集,大大降低了代理建模的计算成本。然而,目前的方法来设计诱导点是不合适的BO循环内,因为它们试图减少目标函数的全局不确定性。因此,牺牲了精确优化所需的有希望和数据密集区域的高保真度建模,并且计算资源反而浪费在对已知次优的空间区域进行建模上。受基于熵的BO方法的启发,我们提出了一种新的诱导点设计,使用原则性的信息理论标准来选择诱导点。通过选择诱导点来最大限度地减少全局不确定性和目标函数最大值的不确定性,我们构建了能够支持高精度高通量BO的代理模型。
2022-07-13 cs.LG stat.ML
High Dimensional Bayesian Optimisation and Bandits via Additive Models
Carnegie Mellon University(卡内基梅隆大学)
贝叶斯优化(BO)是一种用于优化$D$维函数的技术,该函数的评估通常是昂贵的。虽然BO在低维中取得了许多成功,但将其扩展到高维却非常困难。关于这一主题的现有文献都是在非常严格的背景下编写的。在本文中,我们确定了这一努力中的两个关键挑战。我们通过假设函数的加法结构来解决这些挑战。这个设置比以前的工作更有表现力,包含更丰富的函数类。我们证明了,添加剂功能的遗憾只有线性依赖于$D$,即使该功能依赖于所有$D$尺寸。我们还展示了其他几个统计和计算的好处,在我们的框架。通过合成的例子,一个科学的模拟和人脸检测问题,我们证明了我们的方法优于天真BO的加法函数和几个例子中的功能是不加。
2016-05-13 cs.LG stat.ML
What do you Mean? The Role of the Mean Function in Bayesian Optimisation
University of Exeter(埃克塞特大学)
Bayesian optimisation is a popular approach for optimising expensive black-box functions. The next location to be evaluated is selected via maximising an acquisition function that balances exploitation and exploration. Gaussian processes, the surrogate models of choice in Bayesian optimisation, are often used with a constant prior mean function equal to the arithmetic mean of the observed function values. We show that the rate of convergence can depend sensitively on the choice of mean function. We empirically investigate 8 mean functions (constant functions equal to the arithmetic mean, minim…
2020-05-08 cs.LG stat.ML
Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels
University of Oxford(牛津大学)
目前的神经结构搜索(NAS)策略只关注于找到一个单一的,好的,架构。它们几乎无法解释为什么特定的网络表现良好,或者如果我们想要进一步改进,我们应该如何修改架构。我们提出了一个贝叶斯优化(BO)的NAS方法,结合Weisfeiler-Lehman图形内核与高斯过程代理。我们的方法优化的架构,在一个高度的数据效率的方式:它是能够捕获的拓扑结构的架构,并可扩展到大型图形,从而使高维和图形的搜索空间服从BO。更重要的是,我们的方法通过发现有用的网络特征及其对网络性能的相应影响来提供可解释性。事实上,我们的经验表明,我们的代理模型是能够识别有用的图案,可以指导新架构的生成。我们最后表明,我们的方法优于现有的NAS方法,以实现最先进的封闭和开放域搜索空间。
2021-02-19 cs.LG stat.ML
Batch Bayesian optimisation via density-ratio estimation with guarantees
the University of Sydney(悉尼大学);NVIDIA(英伟达)
贝叶斯优化(BO)算法在涉及昂贵的黑盒函数的应用中取得了显着的成功。传统上,BO被设置为一个顺序决策过程,该过程通过获取函数和先验函数(如高斯过程)来估计查询点的效用。然而,最近,通过密度比估计(BORE)重新制定BO允许重新解释的采集功能作为一个概率的二元分类器,消除了需要一个明确的先验函数和增加可扩展性。在本文中,我们提出了一个理论分析孔的遗憾和改进的不确定性估计算法的扩展。我们还表明,孔可以自然地扩展到一个批量优化设置,通过重铸的问题近似贝叶斯推理。由此产生的算法配备了理论性能保证,并在一系列实验中对其他批次和顺序BO基线进行评估。
2022-10-22 cs.AI cs.LG stat.ML
What Makes an Effective Scalarising Function for Multi-Objective Bayesian Optimisation?
TNO(荷兰国家应用科学研究院);University of Exeter(埃克塞特大学);Swansea University(斯旺西大学);Delft University of Technology(代尔夫特理工大学)
通过标度化目标来执行多目标贝叶斯优化避免了昂贵的基于多维积分的采集函数的计算,而不是允许应用诸如预期改进\textemdash的一维标准采集函数\textemdash。在这里,两个填充标准的基础上超容量的改善\textemdash一个最近推出的和一个新的\textemdash与多代理预期超容量的改善进行了比较。在这些方法的有效性最大化的超体积收购帕累托阵线的差异的原因进行了调查。此外,代理模型平均函数的勘探和开发的效果进行检查:仔细选择数据归一化显示是优选的勘探参数通常使用的预期改善采集功能。最后,本文定义的所有方法改进的有效性在一个现实世界的问题上得到了证明:风力涡轮机叶片翼型的气动性能和结构刚度的优化。通过有效的标量化,贝叶斯优化发现了大量新的翼型形状,这些翼型形状在标准设计中占主导地位。
2021-04-10 cs.LG math.OC stat.ML
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University(卡内基梅隆大学)
贝叶斯优化(BO)是指一套用于全局优化昂贵的黑盒函数的技术,它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序,但现代优化任务带来了新的挑战,传统方法通常会失败。在这项工作中,我们介绍了Dragonfly,一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法,允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法,用于处理高维域,用于处理多保真度评估的方法时,廉价的近似昂贵的功能是可用的,方法优化结构化的组合空间,如空间的神经网络架构,并处理并行评估的方法。此外,我们在BO中开发了新的方法改进,用于选择贝叶斯模型,选择采集函数,并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化,并证明,当上述方法集成,它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
Bayesian Optimisation of Functions on Graphs
University of Oxford(牛津大学)
本文针对图上函数优化问题提出一种新颖的贝叶斯优化框架,通过学习图上核并采用局部建模,在合成图和真实图上验证了其有效性。
2023-10-29 cs.AI cs.LG stat.ML
Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces
Applied Artificial Intelligence Institute(应用人工智能研究所);Deakin University(德金大学)
本文提出了一种扩展搜索空间的贝叶斯优化算法,通过超调和级数控制扩展率,实现亚线性 regrets 界限,并在高维空间中验证了其优越性。
2020-11-01 cs.IT cs.LG math.IT
Multi-fidelity Bayesian Optimisation with Continuous Approximations
用于黑箱优化的Bandit方法,例如贝叶斯优化,用于各种应用,包括超参数调整和实验设计。最近,\emph{multi-fidelity}方法已经获得了相当大的关注,因为函数评估在这样的应用中变得越来越昂贵。多保真度方法使用感兴趣的函数的廉价近似来加速整体优化过程。然而,大多数多保真度方法仅假设有限数量的近似。然而,在许多实际应用中,可能存在连续的近似谱。例如,当调整昂贵的神经网络时,可以选择使用较少的数据$N$和/或较少的训练迭代$T$来近似交叉验证性能。这里,近似最好被看作是从连续的二维空间$(N,T)$中产生的。在这项工作中,我们开发了贝叶斯优化方法,BOCA,这种设置。我们验证了它的理论性质,并表明它比忽略近似的策略实现了更好的后悔。BOCA在合成和真实实验中优于其他几个基线。
2017-03-18 stat.ML
Asynchronous ε-Greedy Bayesian Optimisation
University of Exeter(埃克塞特大学)
批量贝叶斯优化(BO)是一种成功的技术,用于优化昂贵的黑盒函数。异步BO可以通过在另一个评估完成后立即开始新的评估来减少挂钟时间,从而最大限度地利用资源。为了最大限度地提高资源分配,我们开发了一种新的异步BO方法,AEGiS(异步$ε$ -贪婪的全球搜索),结合贪婪的搜索,利用代理的平均预测,汤普森采样和随机选择近似帕累托集描述剥削(代理平均预测)和探索(代理后验方差)之间的权衡。我们实证证明了AEGiS在合成基准问题,元代理超参数调整问题和现实世界的问题上的功效,表明AEGiS通常优于异步BO的现有方法。当单个工作者可用时,性能不会比使用预期改进的BO差。
2021-06-11 cs.AI cs.LG stat.ML
Robust Bayesian Optimisation with Unbounded Corruptions
University College London(伦敦大学学院);University of Basel(巴塞尔大学)
本文提出RCGP-UCB算法,通过结合UCB与鲁棒高斯过程,实现对无限大小破坏的鲁棒贝叶斯优化,且在无异常值时保持与标准算法相当的性能。
2026-02-16 cs.LG stat.ML
Multi-objective Bayesian optimisation with preferences over objectives
Applied Artificial Intelligence Institute(应用人工智能研究院);Deakin University(迪肯大学)
我们提出了一个多目标贝叶斯优化算法,允许用户表达偏好顺序约束的类型的目标“目标A比目标B更重要”。这些偏好是基于所获得的解决方案相对于优选的目标函数的稳定性来定义的。而不是试图找到一个完整的帕累托前沿的代表性子集,我们的算法选择满足这些约束条件的帕累托最优点。我们制定了一个新的收购功能的基础上预期改善占主导地位的超体积(EHI),以确保帕累托前满足约束的子集进行了彻底的探索。超体积计算由满足来自梯度高斯过程模型的约束的点的概率加权。我们在合成问题和现实问题上展示了我们的算法。
2019-11-13 cs.AI cs.LG stat.ML
Nonmyopic Global Optimisation via Approximate Dynamic Programming
Delft Center for Systems and Control, Delft University of Technology(代尔夫特理工大学代尔夫特系统与控制中心)
本文提出基于近似动态规划的非我的优化策略,针对IDW和RBF模型,通过rollout和多步场景优化方案实现前瞻式优化,提升高维空间中的全局优化性能。
2026-03-26 cs.LG stat.ML
Cell-Free Data Power Control Via Scalable Multi-Objective Bayesian Optimisation
Ericsson Research(爱立信研究院);KTH Royal Institute of Technology(KTH皇家理工学院)
无小区多用户多输入多输出网络是传统蜂窝结构的有希望的替代方案,因为它们具有在网络的整个覆盖区域上提供统一服务质量和高资源利用率的潜力。为了实现这一潜力,以前的工作已经开发了无线电资源管理机制,使用各种优化引擎。在这项工作中,我们考虑的问题,整体遍历频谱效率最大化的上下行数据功率控制在无小区网络的背景下。为了在大型网络中解决这个问题,并解决收敛时间的限制,我们应用可扩展的多目标贝叶斯优化。此外,我们讨论了如何交叉的多保真度仿真和贝叶斯优化可以提高无线电资源管理在无细胞网络。
2022-12-20 cs.LG cs.SY eess.SY
Ensemble Distributionally Robust Bayesian Optimisation
Faculty of Computer Science HSE University(计算机科学学院 高等经济大学)
本文提出一种计算高效的新算法,用于处理分布不确定性下的零阶优化问题,理论分析显示其具有亚线性 regrets,且实验结果与理论保证一致。
2026-11-09 cs.AI cs.LG stat.ML
SOBER: Highly Parallel Bayesian Optimization and Bayesian Quadrature over Discrete and Mixed Spaces
University of Oxford(牛津大学)
SOBER通过将批量全局优化重构为求积问题,把非凸采集函数最大化松弛为凸核重组,从而在离散与混合空间上实现可扩展、多样化的并行贝叶斯优化与求积,并在12项任务上超越11个基线。
2023-07-05 cs.LG cs.NA math.NA
Are Random Decompositions all we need in High Dimensional Bayesian Optimisation?
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文研究高维贝叶斯优化中的分解策略,发现数据驱动分解易陷入局部解,提出随机树分解采样器并证明其理论保证,进而开发即插即用的RDUCB算法,在多个基准上显著优于现有方法。
2023-05-29 cs.LG stat.ML
BOP-Elites, a Bayesian Optimisation algorithm for Quality-Diversity search
University of Warwick(华威大学)
质量多样性(QD)算法(例如MAP-精英)是一类优化技术,其试图从目标函数中找到一组高性能点,同时在一个或多个可解释的用户选择的特征函数上实施点的行为多样性。在本文中,我们提出了贝叶斯优化精英(BOP-Elites)算法,该算法使用贝叶斯优化技术来明确建模质量和多样性与高斯过程。通过将用户定义的特征空间区域视为“小生境”,我们的任务是在每个小生境中找到最优解。我们提出了一种新的采集功能,智能地选择新的点,提供最高的预期改善的合奏问题,确定在每个小生境的最佳解决方案。通过这种方式,每个函数评估丰富了我们的建模,并提供了对整个问题的洞察力,自然地平衡了搜索空间的探索和利用。该算法能够有效地识别出特征空间中属于小生境的搜索空间,并在每个小生境中找到最优解。它也比更简单的基准方法更有效。BOP-Elites比现有的QD算法更进一步,它量化了我们预测的不确定性,并通过代理模型提供了搜索空间的额外照明。
2020-05-08 cs.LG math.OC stat.ML
GLASSES: Relieving The Myopia Of Bayesian Optimisation
我们提出了眼镜:通过随机模拟和期望损失搜索的全局优化。大多数使用的全局优化方法都是短视的,只考虑下一个函数值的影响;确实存在的非短视方法只能考虑少数未来的评估。我们的新算法,眼镜,允许考虑几十个评估到未来。这是通过近似的理想的前瞻损失函数,这是昂贵的评估,通过一个更便宜的替代方案,其中的算法的未来步骤是预先模拟。期望传播算法被用来计算期望值的loss.We表明,远景规划,从而使实质性的性能收益的实证测试。
2015-10-21 stat.ML
MBORE: Multi-objective Bayesian Optimisation by Density-Ratio Estimation
University of Exeter(埃克塞特大学);Swansea University(斯旺西大学)
优化问题通常具有多个相互冲突的目标,这些目标可能在计算上和/或经济上昂贵。单代理贝叶斯优化(BO)是一种流行的基于模型的方法,用于优化这种黑盒函数。它通过标量化结合客观值,并构建标量化值的高斯过程(GP)替代。选择使廉价查询获取函数最大化的位置作为下一个要昂贵地评估的位置。虽然BO是一种有效的策略,但全科医生的使用受到限制。它们的性能随着问题输入维度的增加而降低,并且它们的计算复杂性与数据量成三次方地缩放。为了解决这些限制,我们扩展以前的工作BO密度比估计(BORE)的多目标设置。BORE将改进获取函数的概率计算与概率分类的概率计算联系起来。这使得能够在类似BO的框架中使用最先进的分类器。在这项工作中,我们提出了MBORE:多目标贝叶斯优化密度比估计,并比较它BO在一系列的合成和现实世界的基准。我们发现,MBORE执行以及或优于BO的各种各样的问题,它优于BO的高维和现实世界的问题。
2022-03-31 cs.AI cs.LG stat.ML
Automatic Tuning of Stochastic Gradient Descent with Bayesian Optimisation
许多机器学习模型需要基于运行随机梯度下降的训练过程。这些算法的效率的一个关键因素是学习率计划的选择。虽然使用贝叶斯优化找到良好的学习率时间表已经被几位作者解决,但以数据驱动的方式动态调整它是一个悬而未决的问题。这对于需要训练单个昂贵模型的用户具有很高的实际重要性。为了解决这个问题,我们引入了一个原始的概率模型,用于跟踪优化器,基于潜在的高斯过程和自回归/回归公式,可以灵活地调整新的学习率值引起的行为突变。如图所示,该模型非常适合解决一系列问题:首先,用于冷启动运行的学习率的在线适应;然后,用于调整一组类似任务的调度(在经典BO设置中),以及为新任务热启动它。
2020-06-25 cs.LG math.OC stat.ML
Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition
Applied Artificial Intelligence Institute (A2I2)(应用人工智能研究所(A2I2));Deakin University(迪肯大学)
我们提出了一种贝叶斯函数优化算法-也就是说,找到优化过程的函数-由实验者的信念和直觉指导,关于预期的特征(长度尺度,平滑度,周期性等)。最优解编码到高斯过程的协方差函数中。我们的算法生成一个序列的有限维随机子空间的功能空间由一组绘制从实验者的高斯过程。标准贝叶斯优化应用于每个子空间,并找到最佳解决方案用作下一个子空间的起点(原点)。利用有效维数的概念,我们分析了我们的算法的收敛性,并提供了一个遗憾界,表明我们的算法收敛于次线性时间提供了一个有限的有效维数存在。我们在模拟和真实世界的实验中测试了我们的算法,即盲函数匹配,寻找铝合金的最佳沉淀强化函数,以及深度网络的学习率调度优化。
2020-09-08 cs.LG stat.ML
HiBBO: HiPPO-based Space Consistency for High-dimensional Bayesian Optimisation
University of Technology Sydney(悉尼技术大学);Imperial College London(伦敦帝国学院)
针对高维贝叶斯优化中VAE潜在空间与原始空间函数分布不匹配问题,提出HiBBO框架,利用HiPPO引入空间一致性,实验证明其收敛速度和解质量优于现有方法。
2025-10-10 cs.LG