Multi-Agent LLMs for Adaptive Acquisition in Bayesian Optimization
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文研究多智能体大语言模型在贝叶斯优化中的自适应获取策略，通过分解探索-利用控制与候选生成，提升搜索效率与稳定性。
2026-10-30 cs.AI cs.LG
Robust Bayesian optimization with reinforcement learned acquisition functions
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）；State Key Laboratory of Aerodynamics（空气动力学国家重点实验室）
在贝叶斯优化（BO）昂贵的黑盒优化任务，采集功能（AF）指导顺序采样，并发挥了关键作用，有效收敛到更好的最优。流行的AF通常依赖于人工经验，在探索或开发的偏好方面，这会带来计算浪费或陷入局部最优和由此产生的重新优化的风险。为了解决这个问题，提出了数据驱动的AF选择思想，并将顺序AF选择任务进一步形式化为马尔可夫决策过程（MDP），并采用强大的强化学习（RL）技术。该算法从优势BO轨迹中学习合适的AF选择策略，实时的在探测和利用之间取得平衡，称为基于学习辅助的贝叶斯优化（RLABO）。五个基准问题的竞争力和强大的BO评估表明RL的认可的隐式AF选择模式，并暗示该建议的潜在实用性，智能AF选择，以及在昂贵的黑箱问题的有效优化。
2022-10-02 cs.AI cs.LG math.OC
Efficient Rollout Strategies for Bayesian Optimization
Cornell University（康奈尔大学）；Uber AI（优步人工智能实验室）；SigOpt（SigOpt公司）
贝叶斯优化（BO）是一类样本有效的全局优化方法，其中以先前观测为条件的概率模型用于通过优化采集函数来确定未来的评估。大多数获取函数都是短视的，这意味着它们只考虑下一个函数评估的影响。非近视采集函数考虑下一个$h$函数评估的影响，并且通常通过卷展来计算，其中模拟BO的$h$步骤。这些卷展获取函数被定义为$h$维积分，并且计算和优化成本很高。我们表明，准蒙特卡罗，共同的随机数，和控制变量的组合显着降低了计算负担的推出。然后，我们制定了一个基于策略搜索的方法，消除了需要优化的推出收购功能。最后，我们讨论了在多模态目标和模型误差的设置下，推出策略的定性行为。
2020-06-19 cs.AI cs.LG stat.ML
Sampling Acquisition Functions for Batch Bayesian Optimization
University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）；IBM Research, Zurich（IBM研究院苏黎世分部）
我们提出了采集汤普森采样（ATS），一种新的技术，批量贝叶斯优化（BO）的基础上，从一个随机过程中采样多个采集功能的想法。我们通过一组模型超参数上的采集函数的依赖性来定义这个过程。ATS在概念上是简单的，直接实现，并且与其他批处理BO方法不同，它可以用于并行化任何顺序采集功能或使现有的并行方法进一步扩展。我们提出了各种基准函数和超参数优化的一个流行的梯度提升树算法的实验。这些证明了ATS的优势，经典的并行汤普森采样BO，其竞争力与两个国家的最先进的批BO方法，其有效性，如果应用于现有的并行BO算法。
2019-10-16 cs.LG stat.ML
End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian Optimization
NTT Communication Science Laboratories（NTT通信科学实验室）
对于具有复杂结构的高维数据上的贝叶斯优化（BO），基于神经网络的高斯过程（GP）内核已被用于通过深度学习的高表示能力来学习灵活的代理函数。然而，现有的方法通过最大化边缘似然来训练神经网络，这并不直接改善BO性能。在本文中，我们提出了一个元学习方法BO与神经网络为基础的内核，最大限度地减少真正的最佳值和BO发现的最佳值之间的预期差距。我们建模的政策，这需要当前评估的数据点作为输入，并输出下一个数据点进行评估，由神经网络，其中神经网络为基础的内核，GP，和互信息为基础的采集功能作为其层。利用我们的模型，通过将间隙反向传播通过采集函数和GP，将基于神经网络的内核训练为适合于采集函数。我们的模型是由多个任务的强化学习框架训练的。由于神经网络在不同的任务之间共享，我们可以从多个训练任务中收集关于BO的知识，并将这些知识用于看不见的测试任务。在使用三个文本文档数据集的实验中，我们证明了所提出的方法比现有的方法实现了更好的BO性能。
2021-11-01 cs.AI cs.LG stat.ML
Batch Bayesian Optimization on Permutations using the Acquisition Weighted Kernel
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
在这项工作中，我们提出了一个批处理贝叶斯优化方法的组合问题的排列，这是非常适合昂贵的评估目标。我们首先介绍了法律，一个有效的批量收购方法的基础上，使用收购加权核的决定性点过程。依靠多个并行计算，LAW可以在组合空间上加速搜索。然后，我们将该框架的置换问题，这到目前为止很少受到关注的贝叶斯优化文献，尽管它们的实际重要性。我们称这个方法为LAW2ORDER。在理论方面，我们证明了LAW2ORDER有消失的简单遗憾，通过显示批量累积遗憾是次线性的。从经验上讲，我们在涉及排列的几个标准组合问题（例如二次分配、流水作业调度和旅行推销员）以及结构学习任务上评估了该方法。
2023-01-25 cs.LG stat.ML
Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）
贝叶斯优化已成为解决黑箱、昂贵和可能有噪声的函数全局优化问题的参考方法。贝叶斯优化学习目标函数的概率模型，通常是一个高斯过程，并根据其均值和方差构建一个获取函数，其优化器产生新的评估点，从而更新概率代理模型。尽管它的样本效率，贝叶斯优化并不与问题的维度很好地扩展。由于获取函数的优化计算量与目标函数的计算量相比可以忽略不计，因此获取函数的优化计算较少受到关注。其有效的优化往往受到多个极值的抑制，特别是在高维问题中。本文利用目标函数的可加性，将贝叶斯优化的核函数和捕获函数映射到低维子空间中。这种方法使得概率代理模型的学习/更新更有效，并允许有效的优化获取功能。给出了在城市供水系统中水泵控制的实际应用的实验结果。
2020-03-09 cs.LG math.OC stat.ML
Portfolio Allocation for Bayesian Optimization
University of British Columbia（不列颠哥伦比亚大学）
贝叶斯优化与高斯过程已经成为机器学习社区越来越受欢迎的工具。它是高效的，可以在对目标函数知之甚少的情况下使用，使其在昂贵的黑盒优化场景中很受欢迎。它使用贝叶斯方法，有效地使用采集功能，其中包括在任何给定点的目标和不确定性的模型的估计采样的目标。然而，在文献中有几种不同的参数化采集函数，并且通常不清楚使用哪一种。而不是使用一个单一的采集功能，我们采用了在线多臂强盗策略的采集功能的组合。我们提出了几种投资组合策略，其中最好的，我们称之为GP对冲，并表明，这种方法优于最好的个人收购功能。我们还提供了一个理论界的算法的性能。
2011-03-07 cs.LG
DASH: Decoupled Adaptive Surrogate - Acquisition Harness for Automated Bayesian Optimization
DASH是用于LLM增强AutoBO的解耦自适应调控器，通过分离代理与采集的适配逻辑，在四项化学优化任务中较最佳AutoBO基线实现了12.51%的轨迹级加速因子提升和5.00%的端点增强因子提升。
2026-08-07 cs.AI
Inverse Bayesian Optimization: Learning Human Acquisition Functions in an Exploration vs Exploitation Search Task
Brigham Young University（杨百翰大学）；Harvard University（哈佛大学）
本文介绍了一种概率框架，估计参数的采集函数给定观察到的人类行为，可以建模为一个集合的样本路径从贝叶斯优化过程。该方法涉及从优化任务中定义观察到的人类行为的可能性，其中该可能性由未知采集函数管理的贝叶斯优化子例程参数化。这种结构使我们能够对受试者的采集功能进行推断，同时允许他们的行为偏离贝叶斯优化子程序的解决方案。为了测试我们的方法，我们设计了一个顺序优化任务，迫使受试者平衡探索和开发，寻找一个看不见的目标位置。将我们提出的方法应用到所得到的数据中，我们发现许多受试者倾向于表现出超出标准采集功能的探索偏好。在模型差异的指导下，我们增加了候选采集函数，以在这项任务中产生更好的人类行为拟合。
2022-02-02 cs.HC cs.LG math.OC
qEUBO: A Decision-Theoretic Acquisition Function for Preferential Bayesian Optimization
Caltech（加州理工学院）；Meta；Cornell University（康奈尔大学）
偏好贝叶斯优化（PBO）是一种利用偏好反馈优化决策者潜在效用函数的框架。这项工作介绍了预期效用的最佳选择（qEUBO）作为一种新的收购功能PBO。当决策者的响应是无噪声的，我们表明，qEUBO是一步贝叶斯最优，从而相当于流行的知识梯度采集功能。我们还表明，qEUBO享有一个加性常数近似保证一步贝叶斯最优策略时，决策者的响应被噪声破坏。我们提供了一个广泛的评估qEUBO，并证明它优于国家的最先进的采集功能PBO在许多设置。最后，我们表明，在充分的规律性条件下，qEUBO的贝叶斯简单的遗憾收敛到零的速度$o(1/n)$的查询，$n$，去无穷大的数量。相比之下，我们表明，简单的遗憾下qEI，一个流行的收购功能，标准BO经常用于PBO，可能无法收敛到零。qEUBO具有优越的性能、简单的计算和基于决策理论的合理性，是PBO的一种很有前途的捕获函数。
2023-03-28 cs.LG stat.ML
Exploring Exploration in Bayesian Optimization
Department of Computer Science, Lund University（卢德大学计算机科学系）；Department of Applied Mathematics, University of Colorado Boulder（科罗拉多大学博尔德分校应用数学系）；DBtune
本文提出两种新方法量化获取函数的探索特性，分析不同获取函数在多种黑箱问题中的探索性质，揭示探索与实际性能的关系，为获取函数设计提供理论基础。
2025-02-12 cs.LG
Batched Energy-Entropy acquisition for Bayesian Optimization
Novo Nordisk A/S（诺和诺德公司）；University of Copenhagen（哥本哈根大学）
针对批量贝叶斯优化中高维采集函数难以处理的问题，提出受统计物理启发、可原生处理批次并控制探索-利用权衡的BEEBO采集函数，在异方差黑盒问题上表现优异。
2024-10-11 cs.LG stat.ML
Two-step Lookahead Bayesian Optimization with Inequality Constraints
Cornell University（康奈尔大学）
计算高效的非近视贝叶斯优化（BO）的最新进展，提高了查询效率比传统的近视方法，如预期的改善，而只有适度增加计算成本。然而，这些进展在很大程度上局限于无约束优化。对于约束优化，现有的几个非近视BO方法需要大量的计算。例如，一种现有的非近视约束BO方法[Lam和Willcox，2017]依赖于蒙特卡罗卷展获取函数的计算成本高、不可靠、无蛮力导数的优化。在无约束设置中使用重新参数化技巧以更有效地基于导数优化非近视采集函数的方法，如样本平均近似和无穷小扰动分析，不扩展：约束在采样采集函数表面中引入不连续性，从而阻碍其优化。此外，我们认为，在约束问题中，非近视更为重要，因为对违反约束的恐惧会使近视方法远离对可行区域和不可行区域之间的边界进行采样，从而减缓发现具有严格约束的最优解。在本文中，我们提出了一个计算效率高的两步前瞻约束贝叶斯优化采集功能（2-OPT-C）支持顺序和批量设置。为了使快速采集功能优化，我们开发了一种新的似然比为基础的无偏估计量的梯度的两步最佳采集功能，不使用重新参数化技巧。在数值实验中，2-OPT-C通常比以前的方法提高查询效率2倍或更多，在某些情况下提高10倍或更多。
2021-12-06 cs.AI cs.LG stat.ML
Standard Acquisition Is Sufficient for Asynchronous Bayesian Optimization
Technical University of Munich（慕尼黑技术大学）；Helmholtz AI MCML（海德堡人工智能MCML实验室）；UTN Helmholtz AI MCML（UTN海德堡人工智能MCML实验室）
本文挑战传统观点，证明标准获取方法在异步贝叶斯优化中能提供与顺序策略同等的理论保证，且通过实验表明简单标准获取函数在合成和现实任务中表现优异。
2026-03-13 cs.LG stat.ML
Bayesian Optimization with Inexact Acquisition: Is Random Grid Search Sufficient?
该研究针对贝叶斯优化中采集函数精确最大化成本高的问题，定义解的不准确度并推导非精确算法的累积遗憾界，从理论和数值上验证了随机网格搜索作为采集求解器的有效性。
2025-06-13 cs.LG stat.ME stat.ML
On Local Optimizers of Acquisition Functions in Bayesian Optimization
Pohang University of Science and Technology（浦项科技大学）；BARO AI（巴罗人工智能公司）
贝叶斯优化是一种样本效率高的方法，用于找到一个昂贵的评估黑箱函数的全局最优解。通过累积一对查询点及其函数值来找到全局解，重复这两个过程：（i）建模代理函数;（ii）最大化获取函数以确定下一个查询的位置。收敛保证仅在每轮都找到采集函数的全局优化器并将其选为下一个查询点时才有效。然而，在实践中，也使用采集函数的局部优化器，因为搜索全局优化器通常是不平凡或耗时的任务。在本文中，我们考虑三个流行的采集功能，PI，EI，和GP-UCB诱导的高斯过程回归。然后，我们提出了一个性能分析的行为，这些采集功能的局部优化，在{ \em瞬时遗憾}全局优化。我们还介绍了一个分析，允许从多个不同的初始条件的局部优化方法。数值实验证实了我们的理论分析的有效性。
2020-06-16 cs.LG stat.ML
A General Recipe for Likelihood-free Bayesian Optimization
NVIDIA（英伟达）；Stanford University（斯坦福大学）
获取函数是贝叶斯优化（BO）中的一个关键组成部分，通常可以写成代理模型下效用函数的期望。然而，为了确保获取函数易于优化，必须对代理模型和效用函数进行限制。为了将BO扩展到更广泛的一类模型和实用程序，我们提出了无似然BO（LFBO），一种基于无似然推理的方法。LFBO直接对采集功能进行建模，而不必单独执行概率代理模型的推断。我们表明，计算LFBO中的获取函数可以简化为优化加权分类问题，其中权重对应于所选择的效用。通过选择期望改进（EI）的效用函数，LFBO在几个现实世界的优化问题上优于各种最先进的黑盒优化方法。LFBO还可以有效地利用目标函数的复合结构，这进一步提高了几个数量级的遗憾。
2022-10-06 cs.AI cs.LG stat.ML
Enhancing Bayesian Optimization and Active Learning Through Kernel Diversity
University of Georgia（佐治亚大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出KENDO框架，将集成高斯过程与分歧感知获取策略结合，实例化KENDO-BO和KENDO-AL，在单/多目标优化及主动学习任务上，兼具更优性能与更高计算效率。
2026-09-01 cs.AI cs.LG
Simple Extensions of Single-Objective Acquisition Functions and Hedge Strategies for Multi-Objective Bayesian Optimization
本文提出通过超体积变换和对冲策略扩展单目标采集函数至多目标贝叶斯优化，简化流程，实验证明其性能匹配或超越复杂MOBO方法。
2026-09-29 cs.LG math.OC stat.ML
Curvature-aware Expected Free Energy as an Acquisition Function for Bayesian Optimization
TU Eindhoven（埃因霍温理工大学）
本文提出基于期望自由能的获取函数，用于解决联合学习与优化问题，证明其在凸函数下的无偏收敛性，并通过系统识别问题验证了曲率感知更新法则的优越性。
2026-09-17 cs.LG cs.RO cs.SY
Mastering the exploration-exploitation trade-off in Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）
本文提出一种自适应平衡探索与利用的新型采集函数，在多个测试函数上优于现有方法，几乎总是帕累托最优且权衡最平衡。
2023-05-15 cs.AI cs.LG math.OC
Differentiating Policies for Non-Myopic Bayesian Optimization
Cornell University（康奈尔大学）
针对标准贝叶斯优化近视采集函数的局限，提出高效估计rollout采集函数及其梯度的方法，实现基于随机梯度的非近视采样策略优化，解决了动态规划方法成本过高的问题。
2024-08-14 cs.LG stat.ML
Bayesian optimization with kernel ensembles and disagreement-based acquisition for source localization and acoustic inversion
University of Georgia（佐治亚大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对声源定位与地声反演，提出加权高斯过程核集成与最优条件采集函数结合的贝叶斯优化方法，在SWellEx-96数据上取得最低平均目标值并降低参数误差。
2026-09-15 cs.LG
An Adaptive Dropout Approach for High-Dimensional Bayesian Optimization
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）
针对贝叶斯优化在高维问题中因采集函数高维性导致性能下降的问题，提出自适应 dropout 算法，通过迭代降低采集函数维度优化难度，实验表明其在高维场景中优于标准及现有先进方法，提升解质量。
2025-04-15 cs.LG stat.ML
Amortized Acquisition Optimization for Bayesian Optimization with Variational Mutual Information
VBO-MI通过变分互信息估计提出一种完全梯度型贝叶斯优化框架，有效解决传统BNN-BO框架的后验采样和获取函数优化瓶颈，提升优化性能和计算效率。
2026-10-06 cs.IT cs.LG math.IT
An Efficient Batch Constrained Bayesian Optimization Approach for Analog Circuit Synthesis via Multi-objective Acquisition Ensemble
Fudan University（复旦大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
贝叶斯优化是一种很有前途的模拟电路综合方法。然而，贝叶斯优化框架的顺序性显著限制了其充分利用现实世界计算资源的能力。在本文中，我们提出了一个有效的并行贝叶斯优化算法，通过多目标获取函数Entrial（MACE），以进一步加快优化过程。通过从改进概率（PI）、预期改进（EI）和置信下限（LCB）的Pareto前沿采样查询点，我们结合了最先进的采集函数的优点，实现了无约束优化问题的探索和利用之间的微妙权衡。在此批量设计的基础上，进一步调整了约束优化问题的算法。通过将优化过程分为两个阶段，首先专注于寻找初始可行点，我们设法获得更多关于有效区域的信息，并可以更好地避免在不可行区域周围进行采样。在获得第一个可行点后，我们通过在捕获函数集成中引入一个特殊的惩罚项来偏向可行域。实验结果定量地表明，我们提出的算法可以减少高达74倍的整体模拟时间相比，差分进化（DE）的无约束优化问题时，批量大小为15。对于约束优化问题，我们提出的算法可以加快优化过程的15倍相比，加权期望改进贝叶斯优化（WEIBO）的方法，当批量大小为15。
2021-06-28 cs.LG cs.SY eess.SY
Pareto-efficient Acquisition Functions for Cost-Aware Bayesian Optimization
MIT（麻省理工学院）；Amazon Web Services（亚马逊云科技）
贝叶斯优化（BO）是一种流行的方法来优化昂贵的黑盒函数。它有效地调整机器学习算法的隐含假设下，超参数评估成本大致相同。实际上，评估不同超参数的成本，无论是时间、美元还是能源，都可以跨越几个数量级的差异。虽然已经提出了一些方法来使BO具有成本意识，但这些方法都没有被证明有效。在这项工作中，我们重新制定成本意识BO的帕累托效率，并引入成本帕累托阵线，数学对象，使我们能够突出常用的收购功能的缺点。在此基础上，我们提出了一种新的帕累托有效的适应预期的改善。在144个真实世界的黑盒函数优化问题上，我们证明了我们的帕累托高效采集函数显著优于以前的解决方案，带来了高达50%的速度提升，同时提供了对成本-精度权衡的更精细控制。我们还重新审视了高斯过程成本模型的常见选择，表明简单，低方差成本模型可以有效地预测训练时间。
2020-11-24 cs.LG stat.ML
Reinforced Few-Shot Acquisition Function Learning for Bayesian Optimization
National Chiao Tung University（国立交通大学）；Facebook AI（脸书人工智能研究院）
贝叶斯优化（BO）传统上依赖于手工制作的采集函数（AF）来顺序地确定样本点。然而，在实践中已经广泛观察到，在后悔方面表现最好的AF在不同类型的黑盒函数下可以显著变化。设计一种能够在各种黑盒功能上实现最佳性能的自动对焦仍然是一个挑战。本文旨在通过强化Few-Shot AF学习（FSAF）的角度来应对这一挑战。具体来说，我们首先将AF的概念与Q函数联系起来，并将深度Q网络（DQN）视为代理可微AF。虽然将DQN和现有的少样本学习方法相结合是一个自然的想法，但我们发现，由于严重的过拟合，这种直接组合并不能很好地执行，这在BO中特别关键，因为需要通用的采样策略。为了解决这个问题，我们提出了一个具有以下三个特征的贝叶斯DQN变体：（i）它基于Kullback-Leibler正则化框架学习Q网络的分布作为AF。这本质上提供了BO采样所需的不确定性，并减轻了过拟合。(ii)对于贝叶斯DQN的先验，我们建议使用由现成的AF诱导的演示策略以获得更好的训练稳定性。(iii)在元层面上，我们利用贝叶斯模型不可知元学习的元损失，这是所提出的FSAF的自然伴侣。此外，通过适当的Q网络设计，FSAF是通用的，因为它是不可知的输入域的维数和基数。通过大量的实验，我们证明了FSAF实现了类似或更好的遗憾比国家的最先进的基准上各种各样的合成和现实世界的测试功能。
2021-06-08 cs.AI cs.LG stat.ML
BOBA: Dynamic Bayesian Optimization through Bayesian Active Inference
University College London（伦敦大学学院）
针对动态黑箱优化中现有方法忽视时间变化的问题，提出基于自由能原理的采集函数BOBA，通过最小化未来状态预测不确定性，在查询受限设置中显著降低遗憾值。
2026-09-23 cs.LG
Beyond Objective-Based Improvement: Stationarity-Aware Expected Improvement for Bayesian Optimization
Department of Chemical and Biomolecular Engineering, University of California, Berkeley, CA, USA（加州大学伯克利分校化学与生物分子工程系）
本文提出了一种新的期望改进（EI-GN）获取函数，通过引入一阶站性条件来扩展改进原则，从而在高表现和接近站点的区域促进采样，通过在获取标准中嵌入向站性进展，提供更丰富的改进概念。
2026-05-18 cs.LG
Batched Bayesian optimization by maximizing the probability of including the optimum
MIT（麻省理工学院）；University of Cambridge（剑桥大学）
本文提出批量贝叶斯优化采集策略qPO，通过最大化批次包含真实最优解的概率，将批量采集函数分解为单项分数之和，规避组合优化难题，并在大型化学库分子设计实验中验证其竞争力与互补性。
2025-05-07 cs.LG stat.ML
$π$BO: Augmenting Acquisition Functions with User Beliefs for Bayesian Optimization
Lund University（隆德大学）；University of Freiburg（弗赖堡大学）；Federal University of Minas Gerais（米纳斯吉拉斯联邦大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Stanford University（斯坦福大学）
贝叶斯优化（BO）已经成为机器学习（ML）算法的超参数优化（HPO）的既定框架和流行工具。虽然以其样本效率而闻名，但vanilla BO无法利用从业者对最佳潜在位置的现成先验信念。因此，BO忽视了一个有价值的信息来源，降低了它对ML从业者的吸引力。为了解决这个问题，我们提出了$π$ BO，采集功能的泛化，它结合了先验的信念的最佳位置的概率分布的形式，由用户提供。与以前的方法相比，$π$ BO在概念上很简单，可以很容易地与现有的库和许多采集功能集成。当$π$ BO被应用到共同的预期改善采集功能，并证明收敛在正常的速度独立的先验。此外，我们的实验表明，$π$ BO优于竞争的方法，在一个广泛的套件的基准和先验特性。我们还证明了$π$ BO提高了流行的深度学习任务的最先进性能，在突出的BO方法上具有12.5 $\times$的时间准确性加速。
2022-04-23 cs.LG stat.ML
Target-Focused Feature Selection Using a Bayesian Approach
University of California, Los Angeles（加州大学洛杉矶分校）
在许多数据是高维的真实世界场景中，由于与特征获取和评估特征值相关联的成本，特征的测试时间获取是一项重要的任务。通过允许特征选择方法变为目标感知，可以解决对具有极其简单的特征获取的高度置信模型的需求。我们引入了一种基于贝叶斯学习的特征选择方法，使我们能够报告特定目标的不确定性水平、假阳性率和假阴性率。此外，测量不确定性解除了对目标不可知的特征选择的限制，允许基于多个聚焦目标中的单个聚焦目标的特征获取。我们发现，获取特定目标的特征至少与小型非稀疏数据集的常见线性特征选择方法一样好，并且在面对规模更大且稀疏的真实医疗数据时超过这些方法。
2019-09-15 cs.LG stat.ML
Advancing Bayesian Optimization: The Mixed-Global-Local (MGL) Kernel and Length-Scale Cool Down
University of Stuttgart（斯图加特大学）
贝叶斯优化（BO）已成为解决昂贵的黑箱优化问题的核心方法。虽然许多研究集中在采集函数的选择，我们专注于在线长度-尺度自适应和核函数的选择。我们建议使用采集函数来更稳健地决定超参数自适应，而不是根据过去数据的最大似然来选择超参数。此外，我们提出了一个特定的核函数，包括非平稳性和局部各向异性，从而隐含地集成了局部凸优化与全局贝叶斯优化的效率。与最先进的BO方法的比较强调了这些机制在全局优化基准上的效率。
2016-12-09 cs.AI cs.LG stat.ML
PI is back! Switching Acquisition Functions in Bayesian Optimization
Leibniz University Hannover（汉诺威莱布尼茨大学）；Sorbonne Université（索邦大学）；TU München（慕尼黑工业大学）；University of Camerino（卡梅里诺大学）
贝叶斯优化（BO）是一种强大的，样本效率高的技术，用于优化评估成本高的函数。每个BO组件，如代理模型、采集功能（AF）或初始设计，都有广泛的设计选择。为给定的优化任务选择正确的组件是一项具有挑战性的任务，这可能对所获得的结果的质量产生重大影响。在这项工作中，我们开始分析哪些AF有利于哪些优化方案。为此，我们使用预期改进（EI）和改进概率（PI）作为COCO环境的24个BBOB函数的采集函数对SMAC 3进行基准测试。我们比较他们的结果与AF之间切换的时间表。一种调度的目标是在早期优化步骤中使用EI的探索行为，然后在最后步骤中切换到PI以获得更好的利用。我们还比较了随机时间表和循环选择EI和PI。我们观察到，动态调度往往优于任何单一的静态。我们的研究结果表明，分配前25%的优化预算EI和PI的最后75%的时间表是一个可靠的默认值。然而，我们也观察到24个函数的相当大的性能差异，这表明每个实例的分配，可能是动态学习的，可以提供比最先进的BO设计显着的改进。
2022-11-02 cs.LG
Bayesian Optimization for Enhanced Language Models: Optimizing Acquisition Functions
Fuzhou University（福州大学）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；Dalian University of Technology（大连理工大学）
针对语言模型微调中超参数优化忽视采集函数选择的问题，提出结合模型融合与双层贝叶斯优化的方法，在GLUE任务上使用RoBERTa-base验证，微调性能提升达2.7%。
2025-05-22 cs.AI cs.CL
Direct Regret Optimization in Bayesian Optimization
Department of Computer Science University of Chicago（计算机科学系芝加哥大学）
本文提出一种直接遗憾优化方法，通过集成高斯过程模拟轨迹并训练决策变换器，实现非短视采集，显著降低多步遗憾，在合成和真实基准上优于现有贝叶斯优化方法。
2026-10-07 cs.LG
On a New Improvement-Based Acquisition Function for Bayesian Optimization
German Center for Neurodegenerative Diseases (DZNE)（德国神经退行性疾病中心（DZNE））；University of Glasgow（格拉斯哥大学）
贝叶斯优化（BO）是一种用于解决具有挑战性的优化任务的流行算法。它被设计用于目标函数评估成本高的问题，可能没有精确的形式，没有梯度信息，可能返回噪声值。不同版本的算法在获取函数的选择上有所不同，该函数推荐了下一个查询目标的点。最初，研究人员专注于基于改进的收购，而最近的注意力已经转移到计算成本更高的信息理论措施。在本文中，我们提出了两个主要贡献的文献。首先，我们提出了一个新的改进为基础的采集功能，建议查询点的改进预计将是高的高置信度。所提出的算法进行评估的一个大的基准功能，从全球优化文献，它原来执行至少以及目前最先进的采集功能，往往更好。这表明它是BO的一个强大的默认选择。新的政策，然后比较广泛使用的全局优化求解器，以确认BO方法通过保持函数评估的数量小，降低了优化的计算成本。第二个主要贡献是应用于精密医学，其中的兴趣在于在偏微分方程模型的参数估计的人肺血液循环系统。一旦推断，这些参数可以帮助临床医生诊断患有肺动脉高压的患者，而无需通过右心导管插入术的标准侵入性程序，这可能导致副作用和并发症（例如，剧烈疼痛，内出血，血栓形成）。
2018-08-21 cs.LG stat.ML
BOOST: A Data-Driven Framework for the Automated Joint Selection of Kernel and Acquisition Functions in Bayesian Optimization
Department of Chemical and Biomolecular Engineering, Korea Advanced Institute of Science and Technology（化学与生物分子工程系，韩国科学技术院）；Department of AX, Korea Advanced Institute of Science and Technology（AX系，韩国科学技术院）；Saudi Aramco-KAIST CO2 Management Center（沙特阿美-KAIST二氧化碳管理中心）
提出BOOST框架，通过离线评估阶段自动选择最优的核函数与采集函数组合，以提升贝叶斯优化性能。
2026-05-22 cs.LG stat.ML
Approximation-Aware Bayesian Optimization
University of Pennsylvania（宾夕法尼亚大学）；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）；Meta；Columbia University（哥伦比亚大学）
针对高维BO中SVGP近似导致次优采集的问题，提出效用校准的联合优化框架，在标准与批量设置下提升控制及分子设计基准性能。
2025-06-09 cs.LG stat.ML
Information-theoretic Bayesian Optimization: Survey and Tutorial
Universidad Pontificia Comillas（康普卢滕塞大学）
本文综述与教程介绍信息论贝叶斯优化，针对非凸黑箱函数优化问题，详述其基于高斯过程等代理模型及信息论采集函数的方法，覆盖复杂场景适配并指出研究方向。
2025-01-22 cs.AI cs.IT cs.LG
MUMBO: MUlti-task Max-value Bayesian Optimization
Lancaster University（兰卡斯特大学）
我们提出了MUMBO，第一个高性能但计算效率高的多任务贝叶斯优化采集功能。在这里，挑战是通过评估与我们真正的目标函数相关的低成本函数来执行有效的优化。这是一个广泛的问题，包括多保真度优化的流行任务。然而，虽然已知信息理论获取函数提供最先进的贝叶斯优化，但用于多任务场景的现有实现具有过高的计算要求。因此，以前的采集功能只适用于低维参数空间和函数查询成本足够大，掩盖非常显着的优化开销的问题。在这项工作中，我们得到了一个新的多任务版本的熵搜索，提供强大的性能与低计算开销在经典的优化挑战和多任务超参数调整。MUMBO具有可扩展性和高效性，允许在具有丰富参数和保真度空间的问题中部署多任务贝叶斯优化。
2020-06-22 cs.LG stat.ML
A New Knowledge Gradient-based Method for Constrained Bayesian Optimization
Southern University of Science and Technology（南方科技大学）
黑盒问题在现实生活中很常见，如结构设计、药物实验和机器学习。在优化黑箱系统时，决策者往往综合考虑多个性能指标，通过综合评价给出最终决策。出于这样的实际需要，我们专注于约束黑箱问题的目标和约束缺乏已知的特殊结构，评估是昂贵的，甚至与噪音。提出了一种基于知识梯度法的约束贝叶斯优化方法（$c-\rm{KG}$）。考虑到最优性和可行性，提出了一种新的采集函数来确定下一批样本。新的捕获函数的梯度的无偏估计，推导出实现$c-\rm{KG}$的方法。
2021-01-20 cs.AI cs.LG stat.ML
FunBO: Discovering Acquisition Functions for Bayesian Optimization with FunSearch
Google DeepMind（谷歌DeepMind）
本文提出FunBO，利用大型语言模型在有限函数评估下自动发现代码形式的贝叶斯优化采集函数，所发现的采集函数在多种优化任务上优于通用方法并接近定制化迁移学习方法。
2024-07-01 cs.LG stat.ML
An Entropy Search Portfolio for Bayesian Optimization
University of British Columbia（不列颠哥伦比亚大学）；University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
贝叶斯优化是一种样本有效的黑箱全局优化方法。然而，贝叶斯优化方法的性能在很大程度上取决于其探索策略，即捕获函数的选择，并且先验地不清楚哪种选择将导致优越的性能。虽然投资组合方法提供了一种有效的、有原则的方式，将一系列收购功能结合起来，但它们往往基于对过去业绩的衡量，这可能会产生误导。为了解决这个问题，我们引入熵搜索投资组合（ESP）：一种新的方法来投资组合建设的动机是信息理论的考虑。我们表明，ESP优于现有的投资组合方法在几个真实的和合成的问题，包括地质统计数据集和模拟控制任务。我们不仅表明ESP能够提供与最佳但未知的采集功能一样好的性能，而且令人惊讶的是，它通常会提供更好的性能。最后，在广泛的条件下，我们发现，ESP是强大的，包括穷人的收购功能。
2015-03-04 cs.LG stat.ML
Bayesian Optimization using Pseudo-Points
Nanjing University（南京大学）；University of Science and Technology of China（中国科学技术大学）
贝叶斯优化（BO）是一种用于昂贵的黑箱优化的流行方法，其应用包括参数调整、试验设计、机器人学。BO通常通过高斯过程（GP）对目标函数进行建模，并通过最大化采集函数来迭代地对下一个数据点进行采样。在本文中，我们通过生成伪点（即，其目标值未被评估的数据点）以改进GP模型。具有经典的采集功能，即，置信上界（UCB），我们证明了累积后悔可以是一般的上界。使用UCB和其他采集功能的实验，即，改进概率（PI）和改进期望（EI），在合成以及真实世界的问题上清楚地显示了生成伪点的优势。
2020-01-21 cs.LG stat.ML
Budgeted Batch Bayesian Optimization With Unknown Batch Sizes
Center for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Deakin University（迪肯大学）
参数设置深刻地影响机器学习算法和实验室实验的性能。经典的网格搜索或试错法在大参数空间中的代价是指数级的，贝叶斯优化（BO）为黑箱函数的全局优化提供了一个优雅的选择。在可以同时在多个点评估黑盒函数的情况下，使用批贝叶斯优化。当前的批量BO方法是限制性的，因为它们固定每个批量的评估数量，并且当指定评估的数量大于底层采集函数中的实际最大值的数量时，这可能是浪费的。我们提出了用于超参数调整和实验设计的批量贝叶斯优化（B3O）-我们以优雅的方式为每次迭代确定适当的批量大小。为了灵活设置批量大小，我们使用无限高斯混合模型（IGMM）自动识别底层采集函数中的峰数。我们解决了难以估计的IGMM直接从采集功能制定批量广义切片采样，有效地从采集功能中提取样本。我们进行了广泛的实验，合成功能和两个现实世界的应用-机器学习超参数调整和合金硬化的实验设计。我们的经验表明，拟议的B3O优于现有的固定批量BO的方法，同时需要更少的评估，从而节省成本和时间，找到最佳的。
2017-04-15 cs.LG
Bayesian Optimization for Min Max Optimization
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer Institute for Intelligent Analysis and Information Systems IAIS（弗劳恩霍夫智能分析与信息系统研究所）
只有在有利条件下才可靠的解决方案很难是安全的解决方案。最小最大优化是一种返回最优值的方法，该方法对最坏情况条件具有鲁棒性。我们提出的算法，执行最小最大优化的设置中，应该优化的功能是不知道的先验，因此必须通过实验来学习。因此，我们扩展了贝叶斯优化设置，这是专为最大化问题，最小最大优化问题。相关工作扩展了两个捕获函数期望改进和高斯过程置信上界，我们扩展了两个捕获函数熵搜索和知识梯度。这些获取函数能够获得关于最优的知识，而不仅仅是寻找被认为是最优的点。在我们的评估中，我们表明，这些采集功能允许更好的解决方案-比基准设置更快地收敛到最佳值。
2021-07-29 cs.LG math.OC stat.ML
Bayesian Multi-Scale Optimistic Optimization
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）；Rocket Gaming Systems
贝叶斯优化是一个强大的全局优化技术昂贵的黑箱函数。它的缺点之一是，它需要在每次迭代的采集功能的辅助优化。这种辅助优化可能是昂贵的，并且在实践中很难执行。此外，它创建了严重的理论问题，因为大多数的收敛结果假设，准确的最优的采集functions.In本文中，我们引入了一种新的技术，有效的全局优化，结合高斯过程的置信界和树同时乐观优化，以消除需要辅助优化的采集功能。全局优化基准和一个新的应用程序的自动信息提取的实验表明，所产生的技术是更有效的比两种方法，它从中汲取灵感。与大多数高斯过程的贝叶斯优化的理论分析不同，我们的有限时间收敛速度证明不需要精确优化的采集功能。也就是说，我们的方法消除了令人不满意的假设，一个困难的，潜在的NP难，问题必须得到解决，以获得消失的后悔率。
2014-02-27 cs.LG stat.ML
A Unified Framework for Entropy Search and Expected Improvement in Bayesian Optimization
Department of Applied Mathematics, University of Colorado Boulder（科罗拉多大学波尔得分校应用数学系）；Department of Computer Science, Lund University（吕勒欧大学计算机科学系）
本文提出统一框架Variational Entropy Search，揭示EI与信息论获取函数的紧密关联，并提出新型获取函数VES-Gamma，在多个基准测试中表现优异。
2025-05-31 cs.LG math.OC stat.ML
Bayesian Optimization for Multi-objective Optimization and Multi-point Search
Kobe Steel, Ltd.（神户制钢所）；The Institute of Statistical Mathematics（统计数理研究所）；RIKEN AIP（理化学研究所AIP）
贝叶斯优化是一种有效的方法，以有效地优化未知的目标函数，高评价成本。传统的贝叶斯优化算法对单目标函数每次迭代选择一个点，而近年来，人们提出了多目标优化的贝叶斯优化或每次迭代多点搜索。然而，目前还没有一种非启发式的贝叶斯优化方法能够同时处理这两种问题。提出了一种能够同时处理多目标优化和多点搜索的贝叶斯优化算法。首先，我们定义了一个采集功能，同时考虑多目标和多点搜索问题。这是很难解析最大化的采集功能的计算成本是禁止的，即使当近似计算，如采样近似进行，因此，我们提出了一个准确的和计算效率高的方法估计梯度的采集功能，并开发了一个算法贝叶斯优化与多目标和多点搜索。数值实验表明，该方法的性能与启发式方法相当或优于启发式方法。
2019-05-07 cs.LG stat.ML
aphBO-2GP-3B: A budgeted asynchronous parallel multi-acquisition functions for constrained Bayesian optimization on high-performing computing architecture
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）；Medpace Inc.（Medpace公司）；GIW Industries Inc.（GIW工业公司）
高保真的复杂工程模拟具有高度的预测性，但计算成本也很高，通常需要大量的计算工作。在高性能集群（HPC）架构中，通常通过并行来减轻计算负担。在本文中，异步约束批并行贝叶斯优化方法提出了高效地解决计算昂贵的基于模拟的优化问题的HPC平台上，与预算的计算资源，其中的最大数量的模拟是一个常数。这种方法的优点有三方面。首先，提高了贝叶斯优化的效率，其中以异步方式大规模并行地评估多个输入位置，以加速关于物理运行时间的优化收敛。这个效率特性得到了进一步的提高，这样当每个输入完成时，就可以查询另一个输入，而不必等待整个批处理完成。第二，该方法可以处理已知和未知的约束。第三，该方法考虑了多个捕获功能在同一时间和样本的基础上不断变化的概率质量分布函数使用修改的GP-对冲计划，其中参数对应于每个捕获功能的性能。所提出的框架被称为aphBO-2GP-3B，它对应于异步并行对冲贝叶斯优化与两个高斯过程和三批。aphBO-2GP-3B框架使用两个高保真昂贵的工业应用程序进行演示，其中第一个是基于有限元分析（FEA），第二个是基于计算流体动力学（CFD）模拟。
2021-02-04 cs.LG stat.CO stat.ML
Practical First-Order Bayesian Optimization Algorithms
Indian Institute of Technology, Dharwad（印度理工学院达瓦德分校）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
本文提出一类实用的多级采集函数一阶贝叶斯优化算法，利用梯度高斯过程识别零梯度点并排序，在测试函数上优于现有方法，并应用于超参数调优和强化学习策略优化。
2023-06-19 cs.AI cs.LG stat.ML
