Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）
贝叶斯优化已成为解决黑箱、昂贵和可能有噪声的函数全局优化问题的参考方法。贝叶斯优化学习目标函数的概率模型，通常是一个高斯过程，并根据其均值和方差构建一个获取函数，其优化器产生新的评估点，从而更新概率代理模型。尽管它的样本效率，贝叶斯优化并不与问题的维度很好地扩展。由于获取函数的优化计算量与目标函数的计算量相比可以忽略不计，因此获取函数的优化计算较少受到关注。其有效的优化往往受到多个极值的抑制，特别是在高维问题中。本文利用目标函数的可加性，将贝叶斯优化的核函数和捕获函数映射到低维子空间中。这种方法使得概率代理模型的学习/更新更有效，并允许有效的优化获取功能。给出了在城市供水系统中水泵控制的实际应用的实验结果。
2020-03-09 cs.LG math.OC stat.ML
Batch Bayesian Optimization on Permutations using the Acquisition Weighted Kernel
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
在这项工作中，我们提出了一个批处理贝叶斯优化方法的组合问题的排列，这是非常适合昂贵的评估目标。我们首先介绍了法律，一个有效的批量收购方法的基础上，使用收购加权核的决定性点过程。依靠多个并行计算，LAW可以在组合空间上加速搜索。然后，我们将该框架的置换问题，这到目前为止很少受到关注的贝叶斯优化文献，尽管它们的实际重要性。我们称这个方法为LAW2ORDER。在理论方面，我们证明了LAW2ORDER有消失的简单遗憾，通过显示批量累积遗憾是次线性的。从经验上讲，我们在涉及排列的几个标准组合问题（例如二次分配、流水作业调度和旅行推销员）以及结构学习任务上评估了该方法。
2023-01-25 cs.LG stat.ML
Understanding an Acquisition Function Family for Bayesian Optimization
本文旨在理解贝叶斯优化中采集函数族的优劣，通过分析更广泛的方法族，为不同问题类别提供算法选择指导。
2023-10-16 stat.CO
Bayesian Active Learning for Bayesian Model Updating: the Art of Acquisition Functions and Beyond
State IJR Center of Aerospace Design and Additive Manufacturing, School of Mechanical Engineering, Northwestern Polytechnical University（西北工业大学机械工程学院航空航天设计与增材制造国际联合研究中心）；School of Power and Energy, Northwestern Polytechnical University（西北工业大学能源与动力学院）；Science and Technology on Altitude Simulation Laboratory（高空气候环境技术实验室）
本文提出四种新型获取函数，通过不同奖励预期的灵感，提升贝叶斯四次方在复杂模型更新中的效率与鲁棒性。
2026-02-24 cs.NA math.NA stat.CO
Lookahead Acquisition Functions for Finite-Horizon Time-Dependent Bayesian Optimization and Application to Quantum Optimal Control
我们提出了一种新的贝叶斯方法来解决一个时间依赖的昂贵的评估随机预言的最大化。我们感兴趣的决定，最大限度地提高了甲骨文在有限的时间范围内，给出了有限的预算的噪音评估的甲骨文，可以在地平线之前进行。我们的递归两步前瞻收购功能贝叶斯优化，使非近视的决定，在每一个阶段，在指定的时间范围内最大化的预期效用。具体来说，我们提出了一个通用的两步前瞻框架，可定制的\emph{value}功能，允许用户定义的实用程序。我们说明了如何前瞻版本的经典收购功能，如预期的改善，改善的概率，和置信上限可以得到这个框架。我们证明了我们所提出的方法的实用性几个精心构造的合成情况下，现实世界的量子最优控制问题。
2021-05-20 math.OC stat.CO
qEUBO: A Decision-Theoretic Acquisition Function for Preferential Bayesian Optimization
Caltech（加州理工学院）；Meta；Cornell University（康奈尔大学）
偏好贝叶斯优化（PBO）是一种利用偏好反馈优化决策者潜在效用函数的框架。这项工作介绍了预期效用的最佳选择（qEUBO）作为一种新的收购功能PBO。当决策者的响应是无噪声的，我们表明，qEUBO是一步贝叶斯最优，从而相当于流行的知识梯度采集功能。我们还表明，qEUBO享有一个加性常数近似保证一步贝叶斯最优策略时，决策者的响应被噪声破坏。我们提供了一个广泛的评估qEUBO，并证明它优于国家的最先进的采集功能PBO在许多设置。最后，我们表明，在充分的规律性条件下，qEUBO的贝叶斯简单的遗憾收敛到零的速度$o(1/n)$的查询，$n$，去无穷大的数量。相比之下，我们表明，简单的遗憾下qEI，一个流行的收购功能，标准BO经常用于PBO，可能无法收敛到零。qEUBO具有优越的性能、简单的计算和基于决策理论的合理性，是PBO的一种很有前途的捕获函数。
2023-03-28 cs.LG stat.ML
Batched Energy-Entropy acquisition for Bayesian Optimization
Novo Nordisk A/S（诺和诺德公司）；University of Copenhagen（哥本哈根大学）
针对批量贝叶斯优化中高维采集函数难以处理的问题，提出受统计物理启发、可原生处理批次并控制探索-利用权衡的BEEBO采集函数，在异方差黑盒问题上表现优异。
2024-10-11 cs.LG stat.ML
Standard Acquisition Is Sufficient for Asynchronous Bayesian Optimization
Technical University of Munich（慕尼黑技术大学）；Helmholtz AI MCML（海德堡人工智能MCML实验室）；UTN Helmholtz AI MCML（UTN海德堡人工智能MCML实验室）
本文挑战传统观点，证明标准获取方法在异步贝叶斯优化中能提供与顺序策略同等的理论保证，且通过实验表明简单标准获取函数在合成和现实任务中表现优异。
2026-03-13 cs.LG stat.ML
Towards Automatic Bayesian Optimization: A first step involving acquisition functions
贝叶斯优化是用于优化黑盒的最先进技术，即，函数，我们不能访问它们的解析表达式，也不能访问它的梯度，它们的计算代价很高，而且它的计算是嘈杂的。最流行的应用是机器学习算法的自动超参数调整，其中我们通过优化这些算法的泛化误差的估计来获得机器学习算法的最佳配置。尽管成功地应用，但生物学优化方法也具有需要配置的超参数，例如所使用的概率代理模型或采集函数。对这些超参数的配置的错误决策意味着获得质量差的结果。通常，这些超参数是通过对我们想要评估的目标函数进行假设来调整的，但在某些情况下，我们没有关于目标函数的任何先验信息。在本文中，我们提出了第一次尝试，通过探索几个自动调整的采集功能的baidu优化。我们在一组基准问题和一个机器学习算法的超参数调整问题中说明了这些方法的有效性。
2021-01-12 cs.AI cs.LG stat.ML
Are we Forgetting about Compositional Optimisers in Bayesian Optimisation?
Huawei R&D UK（华为英国研发部）；University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
贝叶斯优化提出了一个样本效率的方法，为全球优化。在这个框架内，一个关键的性能确定子程序是最大化的采集功能，一个任务复杂的事实，即采集功能往往是非凸的，因此非平凡的优化。在本文中，我们进行了全面的实证研究的方法，以最大限度地提高收购功能。此外，通过推导新颖的，但数学上等价的，流行的采集功能的组成形式，我们重铸的最大化任务作为一个组成优化问题，使我们能够受益于广泛的文献在这一领域。我们强调的经验优势的合成方法，在3958个单独的实验，包括合成优化任务，以及贝叶斯标记的任务，以获取功能最大化。鉴于采集函数最大化子例程的一般性，我们认为，采用组合优化器有可能在贝叶斯优化目前正在应用的所有领域产生性能改善。
2020-12-17 cs.LG stat.ML
Simple Extensions of Single-Objective Acquisition Functions and Hedge Strategies for Multi-Objective Bayesian Optimization
本文提出通过超体积变换和对冲策略扩展单目标采集函数至多目标贝叶斯优化，简化流程，实验证明其性能匹配或超越复杂MOBO方法。
2026-11-09 cs.LG math.OC stat.ML
On Local Optimizers of Acquisition Functions in Bayesian Optimization
Pohang University of Science and Technology（浦项科技大学）；BARO AI（巴罗人工智能公司）
贝叶斯优化是一种样本效率高的方法，用于找到一个昂贵的评估黑箱函数的全局最优解。通过累积一对查询点及其函数值来找到全局解，重复这两个过程：（i）建模代理函数;（ii）最大化获取函数以确定下一个查询的位置。收敛保证仅在每轮都找到采集函数的全局优化器并将其选为下一个查询点时才有效。然而，在实践中，也使用采集函数的局部优化器，因为搜索全局优化器通常是不平凡或耗时的任务。在本文中，我们考虑三个流行的采集功能，PI，EI，和GP-UCB诱导的高斯过程回归。然后，我们提出了一个性能分析的行为，这些采集功能的局部优化，在{ \em瞬时遗憾}全局优化。我们还介绍了一个分析，允许从多个不同的初始条件的局部优化方法。数值实验证实了我们的理论分析的有效性。
2020-06-16 cs.LG stat.ML
Correcting boundary over-exploration deficiencies in Bayesian optimization with virtual derivative sign observations
贝叶斯优化（BO）是一种全局优化策略，旨在通过使用高斯过程（GP）作为目标的代理模型来找到通常定义在$\mathcal{R}^d$的紧凑子集上的昂贵黑盒函数的最小值。尽管当前可用的采集功能以不同程度的成功来解决该目标，但是通常观察到搜索空间的轮廓的过度探索效应。然而，在诸如机器学习算法配置之类的问题中，函数域保守地很大，并且全局最小值很可能不位于域的边界上。我们提出了一种方法，通过在搜索空间的边界处的\gp中添加虚拟导数观测，将这些知识纳入搜索过程。我们使用GP的属性对目标的偏导数施加条件。该方法适用于任何采集功能，它易于使用，并始终减少了优化目标所需的评估数量，而不管使用的采集。我们说明了我们的方法在广泛的实验比较的好处。
2018-09-21 stat.CO stat.ME stat.ML
Distributionally Ambiguous Optimization Techniques for Batch Bayesian Optimization
我们提出了一种新的，理论上的接地，收购功能批贝叶斯优化通知的见解，从分布模糊优化。我们的采集功能是一个下界著名的预期改善功能，这需要评估的高斯期望在一个多元分段仿射函数。我们的界限是通过评估所有概率分布上的最佳情况期望来计算的，这些概率分布与原始高斯分布的均值和方差相同。与其他方法（包括预期改进）不同，我们提出的采集函数完全避免了多维积分，并且可以精确计算-即使是大批量-作为易处理的凸优化问题的解决方案。我们建议的采集函数也可以有效地优化，因为一阶和二阶导数信息可以作为采集函数计算本身的副产品廉价地计算。我们推导出各种新的定理，理论上我们的工作，我们通过简单的激励例子，基准函数和现实世界的问题表现出优越的性能。
2018-04-16 stat.ML
aphBO-2GP-3B: A budgeted asynchronous parallel multi-acquisition functions for constrained Bayesian optimization on high-performing computing architecture
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）；Medpace Inc.（Medpace公司）；GIW Industries Inc.（GIW工业公司）
高保真的复杂工程模拟具有高度的预测性，但计算成本也很高，通常需要大量的计算工作。在高性能集群（HPC）架构中，通常通过并行来减轻计算负担。在本文中，异步约束批并行贝叶斯优化方法提出了高效地解决计算昂贵的基于模拟的优化问题的HPC平台上，与预算的计算资源，其中的最大数量的模拟是一个常数。这种方法的优点有三方面。首先，提高了贝叶斯优化的效率，其中以异步方式大规模并行地评估多个输入位置，以加速关于物理运行时间的优化收敛。这个效率特性得到了进一步的提高，这样当每个输入完成时，就可以查询另一个输入，而不必等待整个批处理完成。第二，该方法可以处理已知和未知的约束。第三，该方法考虑了多个捕获功能在同一时间和样本的基础上不断变化的概率质量分布函数使用修改的GP-对冲计划，其中参数对应于每个捕获功能的性能。所提出的框架被称为aphBO-2GP-3B，它对应于异步并行对冲贝叶斯优化与两个高斯过程和三批。aphBO-2GP-3B框架使用两个高保真昂贵的工业应用程序进行演示，其中第一个是基于有限元分析（FEA），第二个是基于计算流体动力学（CFD）模拟。
2021-02-04 cs.LG stat.CO stat.ML
Differentiating Policies for Non-Myopic Bayesian Optimization
Cornell University（康奈尔大学）
针对标准贝叶斯优化近视采集函数的局限，提出高效估计rollout采集函数及其梯度的方法，实现基于随机梯度的非近视采样策略优化，解决了动态规划方法成本过高的问题。
2024-08-14 cs.LG stat.ML
Discussion: "Bayesian Optimal Design of Experiments for Inferring the Statistical Expectation of Expensive Black-Box Functions" (Pandita, P., Bilionis, I., and Panchal, J., 2019. ASME. J. Mech. Des. 141(10): 101404)
简化了基于信息获取的统计期望估计方法，给出了均匀输入分布下各相关量的解析计算方法。在这个讨论中，我们表明：（1）最后三项的收购总是加起来为零，留下一个简洁的形式与更直观的解释收购;（2）收购的分析计算可以推广到任意输入分布，大大拓宽了应用的开发框架。
2021-08-08 cs.IT math.IT stat.CO
An Adaptive Dropout Approach for High-Dimensional Bayesian Optimization
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）
针对贝叶斯优化在高维问题中因采集函数高维性导致性能下降的问题，提出自适应 dropout 算法，通过迭代降低采集函数维度优化难度，实验表明其在高维场景中优于标准及现有先进方法，提升解质量。
2025-04-15 cs.LG stat.ML
Pareto-efficient Acquisition Functions for Cost-Aware Bayesian Optimization
MIT（麻省理工学院）；Amazon Web Services（亚马逊云科技）
贝叶斯优化（BO）是一种流行的方法来优化昂贵的黑盒函数。它有效地调整机器学习算法的隐含假设下，超参数评估成本大致相同。实际上，评估不同超参数的成本，无论是时间、美元还是能源，都可以跨越几个数量级的差异。虽然已经提出了一些方法来使BO具有成本意识，但这些方法都没有被证明有效。在这项工作中，我们重新制定成本意识BO的帕累托效率，并引入成本帕累托阵线，数学对象，使我们能够突出常用的收购功能的缺点。在此基础上，我们提出了一种新的帕累托有效的适应预期的改善。在144个真实世界的黑盒函数优化问题上，我们证明了我们的帕累托高效采集函数显著优于以前的解决方案，带来了高达50%的速度提升，同时提供了对成本-精度权衡的更精细控制。我们还重新审视了高斯过程成本模型的常见选择，表明简单，低方差成本模型可以有效地预测训练时间。
2020-11-24 cs.LG stat.ML
Efficient Rollout Strategies for Bayesian Optimization
Cornell University（康奈尔大学）；Uber AI（优步人工智能实验室）；SigOpt（SigOpt公司）
贝叶斯优化（BO）是一类样本有效的全局优化方法，其中以先前观测为条件的概率模型用于通过优化采集函数来确定未来的评估。大多数获取函数都是短视的，这意味着它们只考虑下一个函数评估的影响。非近视采集函数考虑下一个$h$函数评估的影响，并且通常通过卷展来计算，其中模拟BO的$h$步骤。这些卷展获取函数被定义为$h$维积分，并且计算和优化成本很高。我们表明，准蒙特卡罗，共同的随机数，和控制变量的组合显着降低了计算负担的推出。然后，我们制定了一个基于策略搜索的方法，消除了需要优化的推出收购功能。最后，我们讨论了在多模态目标和模型误差的设置下，推出策略的定性行为。
2020-06-19 cs.AI cs.LG stat.ML
Batched Bayesian optimization by maximizing the probability of including the optimum
MIT（麻省理工学院）；University of Cambridge（剑桥大学）
本文提出批量贝叶斯优化采集策略qPO，通过最大化批次包含真实最优解的概率，将批量采集函数分解为单项分数之和，规避组合优化难题，并在大型化学库分子设计实验中验证其竞争力与互补性。
2025-05-07 cs.LG stat.ML
End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian Optimization
NTT Communication Science Laboratories（NTT通信科学实验室）
对于具有复杂结构的高维数据上的贝叶斯优化（BO），基于神经网络的高斯过程（GP）内核已被用于通过深度学习的高表示能力来学习灵活的代理函数。然而，现有的方法通过最大化边缘似然来训练神经网络，这并不直接改善BO性能。在本文中，我们提出了一个元学习方法BO与神经网络为基础的内核，最大限度地减少真正的最佳值和BO发现的最佳值之间的预期差距。我们建模的政策，这需要当前评估的数据点作为输入，并输出下一个数据点进行评估，由神经网络，其中神经网络为基础的内核，GP，和互信息为基础的采集功能作为其层。利用我们的模型，通过将间隙反向传播通过采集函数和GP，将基于神经网络的内核训练为适合于采集函数。我们的模型是由多个任务的强化学习框架训练的。由于神经网络在不同的任务之间共享，我们可以从多个训练任务中收集关于BO的知识，并将这些知识用于看不见的测试任务。在使用三个文本文档数据集的实验中，我们证明了所提出的方法比现有的方法实现了更好的BO性能。
2021-11-01 cs.AI cs.LG stat.ML
$π$BO: Augmenting Acquisition Functions with User Beliefs for Bayesian Optimization
Lund University（隆德大学）；University of Freiburg（弗赖堡大学）；Federal University of Minas Gerais（米纳斯吉拉斯联邦大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Stanford University（斯坦福大学）
贝叶斯优化（BO）已经成为机器学习（ML）算法的超参数优化（HPO）的既定框架和流行工具。虽然以其样本效率而闻名，但vanilla BO无法利用从业者对最佳潜在位置的现成先验信念。因此，BO忽视了一个有价值的信息来源，降低了它对ML从业者的吸引力。为了解决这个问题，我们提出了$π$ BO，采集功能的泛化，它结合了先验的信念的最佳位置的概率分布的形式，由用户提供。与以前的方法相比，$π$ BO在概念上很简单，可以很容易地与现有的库和许多采集功能集成。当$π$ BO被应用到共同的预期改善采集功能，并证明收敛在正常的速度独立的先验。此外，我们的实验表明，$π$ BO优于竞争的方法，在一个广泛的套件的基准和先验特性。我们还证明了$π$ BO提高了流行的深度学习任务的最先进性能，在突出的BO方法上具有12.5 $\times$的时间准确性加速。
2022-04-23 cs.LG stat.ML
Scalable Batch Acquisition for Deep Bayesian Active Learning
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Technology Innovation Institute（技术创新研究院）
在深度主动学习中，在每一步选择多个示例进行标记以高效工作尤其重要，尤其是在大型数据集上。与此同时，在贝叶斯设置，如BatchBALD，这个问题的现有解决方案，在选择大量的例子，与计算联合随机变量的互信息的指数复杂性有很大的局限性。因此，我们提出了大型BatchBALD算法，它提供了一个良好的基础近似的BatchBALD方法，旨在实现可比的质量，同时更计算效率。我们提供了该算法的复杂性分析，显示计算时间的减少，特别是对于大批量。此外，我们提出了一套广泛的实验结果的图像和文本数据，无论是玩具数据集和较大的，如CIFAR-100。
2023-02-16 cs.LG stat.ML
Triangulation candidates for Bayesian optimization
Virginia Tech（弗吉尼亚理工大学）；Georgetown University（乔治城大学）
贝叶斯优化涉及在新数据采集标准上的“内部优化”，该新数据采集标准是非凸/高度多模态的，可以是不可微的，或者可以以其他方式阻碍局部数值优化器。在这种情况下，常见的是用随机候选人的离散搜索来代替连续搜索。在这里，我们建议使用现有的输入设计的Delaunay三角剖分的基础上的候选人。我们详细介绍了这些“tricands”的建设，并实证证明他们如何优于数值优化的收购和随机候选人为基础的替代品，并非常适合混合计划，基准合成和真实的模拟实验。
2022-05-20 cs.LG stat.CO stat.ML
Target-Focused Feature Selection Using a Bayesian Approach
University of California, Los Angeles（加州大学洛杉矶分校）
在许多数据是高维的真实世界场景中，由于与特征获取和评估特征值相关联的成本，特征的测试时间获取是一项重要的任务。通过允许特征选择方法变为目标感知，可以解决对具有极其简单的特征获取的高度置信模型的需求。我们引入了一种基于贝叶斯学习的特征选择方法，使我们能够报告特定目标的不确定性水平、假阳性率和假阴性率。此外，测量不确定性解除了对目标不可知的特征选择的限制，允许基于多个聚焦目标中的单个聚焦目标的特征获取。我们发现，获取特定目标的特征至少与小型非稀疏数据集的常见线性特征选择方法一样好，并且在面对规模更大且稀疏的真实医疗数据时超过这些方法。
2019-09-15 cs.LG stat.ML
On a New Improvement-Based Acquisition Function for Bayesian Optimization
German Center for Neurodegenerative Diseases (DZNE)（德国神经退行性疾病中心（DZNE））；University of Glasgow（格拉斯哥大学）
贝叶斯优化（BO）是一种用于解决具有挑战性的优化任务的流行算法。它被设计用于目标函数评估成本高的问题，可能没有精确的形式，没有梯度信息，可能返回噪声值。不同版本的算法在获取函数的选择上有所不同，该函数推荐了下一个查询目标的点。最初，研究人员专注于基于改进的收购，而最近的注意力已经转移到计算成本更高的信息理论措施。在本文中，我们提出了两个主要贡献的文献。首先，我们提出了一个新的改进为基础的采集功能，建议查询点的改进预计将是高的高置信度。所提出的算法进行评估的一个大的基准功能，从全球优化文献，它原来执行至少以及目前最先进的采集功能，往往更好。这表明它是BO的一个强大的默认选择。新的政策，然后比较广泛使用的全局优化求解器，以确认BO方法通过保持函数评估的数量小，降低了优化的计算成本。第二个主要贡献是应用于精密医学，其中的兴趣在于在偏微分方程模型的参数估计的人肺血液循环系统。一旦推断，这些参数可以帮助临床医生诊断患有肺动脉高压的患者，而无需通过右心导管插入术的标准侵入性程序，这可能导致副作用和并发症（例如，剧烈疼痛，内出血，血栓形成）。
2018-08-21 cs.LG stat.ML
BOOST: A Data-Driven Framework for the Automated Joint Selection of Kernel and Acquisition Functions in Bayesian Optimization
Department of Chemical and Biomolecular Engineering, Korea Advanced Institute of Science and Technology（化学与生物分子工程系，韩国科学技术院）；Department of AX, Korea Advanced Institute of Science and Technology（AX系，韩国科学技术院）；Saudi Aramco-KAIST CO2 Management Center（沙特阿美-KAIST二氧化碳管理中心）
提出BOOST框架，通过离线评估阶段自动选择最优的核函数与采集函数组合，以提升贝叶斯优化性能。
2026-05-22 cs.LG stat.ML
Approximation-Aware Bayesian Optimization
University of Pennsylvania（宾夕法尼亚大学）；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）；Meta；Columbia University（哥伦比亚大学）
针对高维BO中SVGP近似导致次优采集的问题，提出效用校准的联合优化框架，在标准与批量设置下提升控制及分子设计基准性能。
2025-06-09 cs.LG stat.ML
Bayesian Optimization for Min Max Optimization
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer Institute for Intelligent Analysis and Information Systems IAIS（弗劳恩霍夫智能分析与信息系统研究所）
只有在有利条件下才可靠的解决方案很难是安全的解决方案。最小最大优化是一种返回最优值的方法，该方法对最坏情况条件具有鲁棒性。我们提出的算法，执行最小最大优化的设置中，应该优化的功能是不知道的先验，因此必须通过实验来学习。因此，我们扩展了贝叶斯优化设置，这是专为最大化问题，最小最大优化问题。相关工作扩展了两个捕获函数期望改进和高斯过程置信上界，我们扩展了两个捕获函数熵搜索和知识梯度。这些获取函数能够获得关于最优的知识，而不仅仅是寻找被认为是最优的点。在我们的评估中，我们表明，这些采集功能允许更好的解决方案-比基准设置更快地收敛到最佳值。
2021-07-29 cs.LG math.OC stat.ML
Two-step Lookahead Bayesian Optimization with Inequality Constraints
Cornell University（康奈尔大学）
计算高效的非近视贝叶斯优化（BO）的最新进展，提高了查询效率比传统的近视方法，如预期的改善，而只有适度增加计算成本。然而，这些进展在很大程度上局限于无约束优化。对于约束优化，现有的几个非近视BO方法需要大量的计算。例如，一种现有的非近视约束BO方法[Lam和Willcox，2017]依赖于蒙特卡罗卷展获取函数的计算成本高、不可靠、无蛮力导数的优化。在无约束设置中使用重新参数化技巧以更有效地基于导数优化非近视采集函数的方法，如样本平均近似和无穷小扰动分析，不扩展：约束在采样采集函数表面中引入不连续性，从而阻碍其优化。此外，我们认为，在约束问题中，非近视更为重要，因为对违反约束的恐惧会使近视方法远离对可行区域和不可行区域之间的边界进行采样，从而减缓发现具有严格约束的最优解。在本文中，我们提出了一个计算效率高的两步前瞻约束贝叶斯优化采集功能（2-OPT-C）支持顺序和批量设置。为了使快速采集功能优化，我们开发了一种新的似然比为基础的无偏估计量的梯度的两步最佳采集功能，不使用重新参数化技巧。在数值实验中，2-OPT-C通常比以前的方法提高查询效率2倍或更多，在某些情况下提高10倍或更多。
2021-12-06 cs.AI cs.LG stat.ML
GPflowOpt: A Bayesian Optimization Library using TensorFlow
介绍了一种新的用于贝叶斯优化的Python框架GPflowOpt。该软件包基于流行的高斯过程GPflow库，利用TensorFlow的优势，包括自动微分、并行化和用于贝叶斯优化的GPU计算。设计目标集中在一个易于扩展自定义采集功能和模型的框架上。该框架经过全面测试和良好的文档记录，并提供可扩展性。目前发布的GPflowOpt版本包括一些标准的单目标采集功能，最先进的最大值熵搜索，以及贝叶斯多目标方法。最后，它允许轻松使用GPflow中实现的自定义建模策略。
2017-11-10 stat.ML
A Unified Framework for Entropy Search and Expected Improvement in Bayesian Optimization
Department of Applied Mathematics, University of Colorado Boulder（科罗拉多大学波尔得分校应用数学系）；Department of Computer Science, Lund University（吕勒欧大学计算机科学系）
本文提出统一框架Variational Entropy Search，揭示EI与信息论获取函数的紧密关联，并提出新型获取函数VES-Gamma，在多个基准测试中表现优异。
2025-05-31 cs.LG math.OC stat.ML
MUMBO: MUlti-task Max-value Bayesian Optimization
Lancaster University（兰卡斯特大学）
我们提出了MUMBO，第一个高性能但计算效率高的多任务贝叶斯优化采集功能。在这里，挑战是通过评估与我们真正的目标函数相关的低成本函数来执行有效的优化。这是一个广泛的问题，包括多保真度优化的流行任务。然而，虽然已知信息理论获取函数提供最先进的贝叶斯优化，但用于多任务场景的现有实现具有过高的计算要求。因此，以前的采集功能只适用于低维参数空间和函数查询成本足够大，掩盖非常显着的优化开销的问题。在这项工作中，我们得到了一个新的多任务版本的熵搜索，提供强大的性能与低计算开销在经典的优化挑战和多任务超参数调整。MUMBO具有可扩展性和高效性，允许在具有丰富参数和保真度空间的问题中部署多任务贝叶斯优化。
2020-06-22 cs.LG stat.ML
FunBO: Discovering Acquisition Functions for Bayesian Optimization with FunSearch
Google DeepMind（谷歌DeepMind）
本文提出FunBO，利用大型语言模型在有限函数评估下自动发现代码形式的贝叶斯优化采集函数，所发现的采集函数在多种优化任务上优于通用方法并接近定制化迁移学习方法。
2024-07-01 cs.LG stat.ML
An Entropy Search Portfolio for Bayesian Optimization
University of British Columbia（不列颠哥伦比亚大学）；University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
贝叶斯优化是一种样本有效的黑箱全局优化方法。然而，贝叶斯优化方法的性能在很大程度上取决于其探索策略，即捕获函数的选择，并且先验地不清楚哪种选择将导致优越的性能。虽然投资组合方法提供了一种有效的、有原则的方式，将一系列收购功能结合起来，但它们往往基于对过去业绩的衡量，这可能会产生误导。为了解决这个问题，我们引入熵搜索投资组合（ESP）：一种新的方法来投资组合建设的动机是信息理论的考虑。我们表明，ESP优于现有的投资组合方法在几个真实的和合成的问题，包括地质统计数据集和模拟控制任务。我们不仅表明ESP能够提供与最佳但未知的采集功能一样好的性能，而且令人惊讶的是，它通常会提供更好的性能。最后，在广泛的条件下，我们发现，ESP是强大的，包括穷人的收购功能。
2015-03-04 cs.LG stat.ML
Bayesian Optimization using Pseudo-Points
Nanjing University（南京大学）；University of Science and Technology of China（中国科学技术大学）
贝叶斯优化（BO）是一种用于昂贵的黑箱优化的流行方法，其应用包括参数调整、试验设计、机器人学。BO通常通过高斯过程（GP）对目标函数进行建模，并通过最大化采集函数来迭代地对下一个数据点进行采样。在本文中，我们通过生成伪点（即，其目标值未被评估的数据点）以改进GP模型。具有经典的采集功能，即，置信上界（UCB），我们证明了累积后悔可以是一般的上界。使用UCB和其他采集功能的实验，即，改进概率（PI）和改进期望（EI），在合成以及真实世界的问题上清楚地显示了生成伪点的优势。
2020-01-21 cs.LG stat.ML
Recursive Two-Step Lookahead Expected Payoff for Time-Dependent Bayesian Optimization
我们提出了一种新的贝叶斯方法来解决最大化的不定常昂贵的评估预言。我们感兴趣的决定，最大限度地提高了预言在有限的时间范围内，当相对较少的噪声评估可以在地平线之前进行。我们的递归，两步前瞻预期收益（$\texttt{r2LEY}$）收购功能，使非近视的决定，在每一个阶段，通过最大化的估计期望值的预言在地平线上。$\texttt{r2LEY}$通过在每个阶段递归地优化两步前视采集函数来规避昂贵的多步（多于两步）前视采集函数的评估;后一个函数及其梯度的无偏估计用于有效的优化。$\texttt{r2LEY}$表现出自然的探索性质，远离时间范围，使准确的模拟的甲骨文，这是利用在地平线上作出的最后决定。为了证明$\texttt{r2LEY}$的实用性，我们通过合成和真实世界的数据集将其与流行的近视采集功能的不定常扩展进行比较。
2020-12-08 math.OC stat.ML
Bayesian Multi-Scale Optimistic Optimization
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）；Rocket Gaming Systems
贝叶斯优化是一个强大的全局优化技术昂贵的黑箱函数。它的缺点之一是，它需要在每次迭代的采集功能的辅助优化。这种辅助优化可能是昂贵的，并且在实践中很难执行。此外，它创建了严重的理论问题，因为大多数的收敛结果假设，准确的最优的采集functions.In本文中，我们引入了一种新的技术，有效的全局优化，结合高斯过程的置信界和树同时乐观优化，以消除需要辅助优化的采集功能。全局优化基准和一个新的应用程序的自动信息提取的实验表明，所产生的技术是更有效的比两种方法，它从中汲取灵感。与大多数高斯过程的贝叶斯优化的理论分析不同，我们的有限时间收敛速度证明不需要精确优化的采集功能。也就是说，我们的方法消除了令人不满意的假设，一个困难的，潜在的NP难，问题必须得到解决，以获得消失的后悔率。
2014-02-27 cs.LG stat.ML
Bayesian Optimization for Multi-objective Optimization and Multi-point Search
Kobe Steel, Ltd.（神户制钢所）；The Institute of Statistical Mathematics（统计数理研究所）；RIKEN AIP（理化学研究所AIP）
贝叶斯优化是一种有效的方法，以有效地优化未知的目标函数，高评价成本。传统的贝叶斯优化算法对单目标函数每次迭代选择一个点，而近年来，人们提出了多目标优化的贝叶斯优化或每次迭代多点搜索。然而，目前还没有一种非启发式的贝叶斯优化方法能够同时处理这两种问题。提出了一种能够同时处理多目标优化和多点搜索的贝叶斯优化算法。首先，我们定义了一个采集功能，同时考虑多目标和多点搜索问题。这是很难解析最大化的采集功能的计算成本是禁止的，即使当近似计算，如采样近似进行，因此，我们提出了一个准确的和计算效率高的方法估计梯度的采集功能，并开发了一个算法贝叶斯优化与多目标和多点搜索。数值实验表明，该方法的性能与启发式方法相当或优于启发式方法。
2019-05-07 cs.LG stat.ML
Meta-Learning Acquisition Functions for Transfer Learning in Bayesian Optimization
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
跨任务传输知识以提高数据效率是全局黑箱优化领域的开放式关键挑战之一。现成的算法通常被设计为通用优化器，因此对于特定任务来说往往是次优的。我们提出了一种新的迁移学习方法，以获得定制的优化贝叶斯优化的成熟框架内，使我们的算法利用高斯过程的泛化能力。使用强化学习对一组相关任务的采集函数（AF）进行元训练，所提出的方法学习提取隐含的结构信息并利用它来提高数据效率。我们目前的实验模拟到真实的传输任务，以及几个合成功能和两个超参数搜索问题。结果表明，我们的算法（1）自动从可用的源任务或模拟中识别目标函数的结构属性，（2）在源数据稀缺和丰富的环境中表现良好，（3）如果没有特定的结构，则会回落到一般AF的性能水平。存在。
2020-02-14 cs.AI cs.LG stat.ML
A General Recipe for Likelihood-free Bayesian Optimization
NVIDIA（英伟达）；Stanford University（斯坦福大学）
获取函数是贝叶斯优化（BO）中的一个关键组成部分，通常可以写成代理模型下效用函数的期望。然而，为了确保获取函数易于优化，必须对代理模型和效用函数进行限制。为了将BO扩展到更广泛的一类模型和实用程序，我们提出了无似然BO（LFBO），一种基于无似然推理的方法。LFBO直接对采集功能进行建模，而不必单独执行概率代理模型的推断。我们表明，计算LFBO中的获取函数可以简化为优化加权分类问题，其中权重对应于所选择的效用。通过选择期望改进（EI）的效用函数，LFBO在几个现实世界的优化问题上优于各种最先进的黑盒优化方法。LFBO还可以有效地利用目标函数的复合结构，这进一步提高了几个数量级的遗憾。
2022-10-06 cs.AI cs.LG stat.ML
Episode-Based Active Learning with Bayesian Neural Networks
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Queensland University of Technology（昆士兰科技大学）
我们研究了使用贝叶斯深度神经网络进行主动学习的不同策略。我们的分析集中在新的，未标记的数据是偶然获得的情况下，如在移动机器人应用中常见的。对CIFAR-10数据集的不同采集、更新和最终训练策略的评估表明，在累积采集集上进行最终训练的增量网络更新对于获得最佳性能至关重要，同时限制了所需的人工标记劳动量。
2017-03-21 cs.CV cs.LG stat.ML
Advanced Manufacturing Configuration by Sample-efficient Batch Bayesian Optimization
ETH Zürich（苏黎世联邦理工学院）；Inspire AG（Inspire股份公司）；Oerlikon Metco（欧瑞康美科）
我们提出了一个框架，昂贵的评估先进制造方法的配置和操作，基于贝叶斯优化。该框架统一了一个定制的采集功能，一个并行的采集过程，并集成的过程信息提供上下文的优化过程。\cmtb{The novel acquisition function is demonstrated, analyzed and compared on state-of-the-art benchmarking problems. We apply the optimization approach to atmospheric plasma spraying and fused deposition modeling.}我们的研究结果表明，该框架可以有效地找到输入参数，产生所需的结果，并最大限度地减少过程成本。
2022-09-12 cs.LG cs.SY eess.SY
A Constrained Multi-Fidelity Bayesian Optimization Method
提出约束多保真度贝叶斯优化（CMFBO）方法，设计无需可行初始样本且具闭式表达的新型采集函数，有效解决约束优化可行域识别难题，并在合成问题与ICF及大电流联合设计等工程应用中验证有效性。
2025-10-13 cs.NA math.NA stat.ML
ALINE: Joint Amortization for Bayesian Inference and Active Data Acquisition
ELLIS Institute Finland（芬兰ELLIS研究所）；Department of Computer Science, Aalto University, Finland（芬兰阿尔托大学计算机科学系）；Department of Computer Science, University of Helsinki, Finland（芬兰赫尔辛基大学计算机科学系）；Department of Computer Science, University of Manchester, UK（英国曼彻斯特大学计算机科学系）
本研究提出统一框架ALINE，结合Transformer与强化学习，基于自估计信息增益实现主动数据获取与即时贝叶斯推理，可靶向参数或任务优化，在多基准测试中表现优异。
2025-10-21 cs.LG stat.ML
Generative Bayesian Optimization: Generative Models as Acquisition Functions
CSIRO’s Data61（CSIRO的数据61）
本文提出利用生成模型作为批量贝叶斯优化的候选解采样器，通过直接优化偏好信号生成高效的获取函数，适用于高维和组合优化问题。
2026-05-14 cs.LG stat.ML
No-PASt-BO: Normalized Portfolio Allocation Strategy for Bayesian Optimization
Federal University of Ceará（塞阿拉联邦大学）
贝叶斯优化（BO）是一个黑箱优化的框架，特别适用于昂贵的成本函数。在BO算法的主要部分中，获取函数具有根本重要性，因为它通过将回归模型的不确定性转换为每个待评估点的效用度量来指导优化算法。因此，捕获函数的选择和设计是BO中最热门的研究课题之一。由于没有一个单一的采集功能被证明在所有任务中具有更好的性能，因此一种成熟的方法包括沿着BO执行的迭代选择不同的采集功能。在这种方法中，GP-Hedge算法是一种广泛使用的选择，因为它简单且性能良好。尽管它在各种应用中取得了成功，GP-对冲显示出一个不可取的特点，会计上的所有过去的性能指标，每个收购功能，以选择下一个功能使用。在这种情况下，在初始迭代中获得的好的或坏的值可能影响用于算法的其余部分的采集函数的选择。这一事实可能会导致采集功能的主导行为，并影响该方法的最终性能。为了克服这种局限性，在这项工作中，我们提出了一个变种的GP对冲，命名为No-PASt-BO，减少了过去的评价的影响。此外，我们的方法提供了一个内置的归一化，避免了投资组合中的函数具有相似的概率，从而提高了探索性。合成和现实世界的优化任务的结果表明，No-PASt-BO呈现出有竞争力的性能，并始终优于GP对冲。
2019-08-01 cs.LG stat.ML
Batch Bayesian Optimization via Particle Gradient Flows
Imperial College London（伦敦帝国理工学院）；University of Manchester（曼彻斯特大学）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
贝叶斯优化（BO）方法试图找到目标函数的全局最优解，这些目标函数只能作为黑盒或评估成本很高。这样的方法为目标函数构建代理模型，通过贝叶斯推断量化该代理中的不确定性。通过在每个步骤最大化采集函数来顺序地确定客观评估。然而，由于采集函数的非凸性，特别是在每一步都选择多个点的批量贝叶斯优化的情况下，这个辅助优化问题可能是非常不容易解决的。在这项工作中，我们重新制定一批BO作为一个优化问题的空间上的概率测度。我们构造了一个新的捕获函数的基础上多点的期望改进，这是凸的空间上的概率测度。解决这一“内部”优化问题的实际方案自然会出现梯度流的目标函数。我们证明了这种新方法在不同基准函数上的有效性，并与最先进的批处理BO方法进行比较。
2023-01-09 cs.LG stat.ML
Multifidelity Bayesian Optimization for Binomial Output
Skoltech（斯科尔科沃科技学院）；National Research University Higher School of Economics（俄罗斯国立高等经济研究大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）
贝叶斯优化的核心思想是用廉价的代理模型代替昂贵的目标函数。通过选择贝叶斯优化的捕获函数，我们在勘探和开采之间进行权衡。获取函数通常取决于代理模型在给定点处的均值和方差。最常见的基于高斯过程的代理模型假设具有固定参数的目标是高斯过程的实现。然而，目标函数通常不满足这种近似。在这里，我们考虑来自二项分布的目标函数，其参数取决于输入。通常，我们可以在每次评估期间改变我们获得的伯努利样本的数量。我们提出了一个一般的高斯过程模型，考虑到伯努利输出。为了使事情的工作，我们考虑一个简单的采集功能的基础上预期的改善和启发式策略，选择在每个点的样本数量，从而考虑到所获得的输出的精度。
2019-02-19 cs.LG stat.ML
Information-theoretic Bayesian Optimization: Survey and Tutorial
Universidad Pontificia Comillas（康普卢滕塞大学）
本文综述与教程介绍信息论贝叶斯优化，针对非凸黑箱函数优化问题，详述其基于高斯过程等代理模型及信息论采集函数的方法，覆盖复杂场景适配并指出研究方向。
2025-01-22 cs.AI cs.IT cs.LG
Unleashing the Potential of Acquisition Functions in High-Dimensional Bayesian Optimization
University of Leeds（利兹大学）
针对高维贝叶斯优化中采集函数最大化器初始化不足的问题，本文提出利用历史数据和多种启发式优化器生成初始点，显著提升标准BO并大幅超越现有方法。
2024-01-24 cs.LG stat.ML
Rectified Max-Value Entropy Search for Bayesian Optimization
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
虽然现有的最大值熵搜索（MES）是基于广泛流行的互信息的概念，它的经验表现可能会受到由于两个误解，其影响的勘探开发权衡本文进行了研究。这些问题是必不可少的，在未来的采集功能的发展和现有的改进，因为它们鼓励一个准确的测量的互信息，如整流MES（RMES）采集功能，我们在这项工作中开发。与MES的评价不同，我们推导出一个封闭形式的概率密度的观察条件下的最大值，并采用随机梯度上升与重新参数化，以有效地优化RMES。作为一个更有原则的采集功能的结果，RMES在几个合成函数基准测试和现实世界的优化问题中显示出对MES的一致改进。
2022-02-28 cs.LG stat.ML
Active Multi-Information Source Bayesian Quadrature
University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Amazon Research（亚马逊研究院）
贝叶斯求积（Bayesian quadrature，BQ）是一种样本效率高的概率数值方法，用于求解计算成本高的黑箱函数的积分，但目前的主动BQ学习方法只关注被积函数本身作为信息源，不考虑从成本低的相关函数中传递信息.在这里，我们为BQ中的主动学习设置场景，当可变成本的多个相关信息源（在输入和源中）可访问时。例如，当评估被积函数需要运行复杂的模拟时，可以通过以较低的复杂程度和较低的费用进行模拟来近似。我们构建了有意义的成本敏感的多源采集率作为一个扩展，从香草BQ（VBQ）常见的效用函数，并讨论了陷阱，从盲目推广。此外，我们表明，VBQ收购政策是一个角落的情况下，所有考虑成本敏感的收购计划，崩溃到一个单一的退化政策的情况下，一个源和恒定的成本。在概念验证实验中，我们仔细检查了我们的广义获取功能的行为。在一个流行病学模型上，我们证明了主动多源BQ（AMS-BQ）比VBQ更有效地分配预算，以获得更好的积分精度。
2021-02-12 cs.LG stat.ML
