HiBBO: HiPPO-based Space Consistency for High-dimensional Bayesian Optimisation
University of Technology Sydney（悉尼技术大学）；Imperial College London（伦敦帝国学院）
针对高维贝叶斯优化中VAE潜在空间与原始空间函数分布不匹配问题，提出HiBBO框架，利用HiPPO引入空间一致性，实验证明其收敛速度和解质量优于现有方法。
2025-10-10 cs.LG
An Empirical Study on Ensemble-Based Transfer Learning Bayesian Optimisation with Mixed Variable Types
RMIT University（皇家墨尔本理工大学）
本研究通过实证分析，提出基于正则化回归的加权策略和预热初始化，以提升转移学习贝叶斯优化的性能。
2026-01-22 cs.LG stat.ML
Multi-stage Bayesian optimisation for dynamic decision-making in self-driving labs
Institute of Nanotechnology, Karlsruhe Institute of Technology（纳米技术研究所，卡尔斯鲁厄技术大学）；Institute of Anthropomatics and Robotics, Karlsruhe Institute of Technology（人机动力学与机器人研究所，卡尔斯鲁厄技术大学）
本文提出多阶段贝叶斯优化方法，通过引入代理测量提升自动驾驶实验室中动态决策的效率和优化效果。
2025-12-17 cs.LG
Example-driven Parametrisations for Bayesian Shape Optimisation
Lancaster University（兰卡斯特大学）
针对贝叶斯形状优化需紧凑表达参数化的问题，提出从现有设计学习参数化的方法，经多类几何场景验证，该方法提升样本效率且可探索超出手动基线的范围。
2026-11-04 cs.LG
Bayesian Optimisation under State-Preservation Constraints
Lancaster University, UK（兰卡斯特大学（英国））；UK Atomic Energy Authority（英国原子能管理局）
针对状态保持约束下贝叶斯优化在高度各向异性可行集上的缺陷，提出通过线性化约束响应定义椭球抽取候选解的方法，并在托卡马克偏滤器优化应用中验证了其有效性。
2026-10-09 cs.LG
Bayesian Optimisation for Constrained Problems
University of Warwick（华威大学）
许多现实世界的优化问题，如机器学习或基于仿真的优化中的超参数调整，可以用公式表示为昂贵的评估黑盒函数。解决此类问题的一种流行方法是贝叶斯优化（BO），它基于迄今为止收集的数据构建响应面模型，并使用模型预测的均值和不确定性来决定下一步收集什么信息。在本文中，我们提出了一个新的变种，著名的知识梯度采集功能，使其能够处理约束。我们经验比较新算法与其他四个国家的最先进的约束贝叶斯优化算法，并证明其优越的性能。我们还证明了在无限预算极限下的理论收敛性。
2021-05-27 cs.LG stat.ML
High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Cambridge（剑桥大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）
我们介绍了一种结合变分自编码器（VAE）和深度度量学习的方法，以在高维和结构化输入空间上执行贝叶斯优化（BO）。通过调整深度度量学习的思想，我们使用来自黑盒函数的标签指导来构建VAE潜在空间，促进高斯过程拟合并提高BO性能。重要的是，对于BO问题设置，我们的方法在半监督制度下运行，其中只有很少的标记数据点可用。我们在三个现实世界的任务上运行实验，仅使用以前方法所需的标记数据的3%，就在惩罚logP分子生成基准上实现了最先进的结果。作为理论贡献，我们给出了VAE BO后悔消失的一个证明。
2021-11-01 cs.LG
Constrained Bayesian Optimisation with Multiple Information Sources
TU Delft（代尔夫特理工大学）；University of Oxford（牛津大学）
针对可行域小且存在辅助数据源的约束优化问题，提出多源框架扩展约束最大熵搜索，通过捕获源间相关性平衡成本与信息增益，在弱相关辅助数据下仍高效找到可行最优解。
2026-07-02 cs.LG
Accelerating Multi-Objective Bayesian Optimisation via Predictive-Gradient Catalysts
Loughborough University（洛辛厄姆大学）；University of Exeter（埃克塞特大学）；The University of Manchester（曼彻斯特大学）
提出利用高斯过程预测梯度作为辅助信号，增强现有Pareto兼容采集函数，加速多目标贝叶斯优化收敛到全局Pareto集。
2026-06-05 cs.LG
Bayesian Optimisation with Formal Guarantees
University of Manchester（曼彻斯特大学）；Intel Israel Development Center（英特尔以色列开发中心）
贝叶斯优化的应用领域包括优化黑盒函数或非常复杂的函数。我们感兴趣的功能描述了应用于工业环境的复杂现实世界系统。即使它们有明确的表示，标准的优化技术也无法为它们提供有效的解决方案和正确性保证。在本文中，我们提出了一个贝叶斯优化和SMT为基础的约束求解相结合，以实现安全和稳定的解决方案与最优性保证。
2021-06-10 cs.LG cs.LO
Theoretical Analysis of Bayesian Optimisation with Unknown Gaussian Process Hyper-Parameters
University of Oxford（牛津大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
贝叶斯优化作为优化机器学习算法和模型的参数的工具已经获得了极大的普及。有点讽刺的是，设置贝叶斯优化方法的超参数是出了名的困难。虽然已经提出了合理的实际解决方案，但它们往往无法找到最佳的最佳方案。令人惊讶的是，在文献中几乎没有对这个关键问题进行理论分析。为了解决这个问题，我们推导出一个累积的遗憾界贝叶斯优化与高斯过程和未知的核超参数的随机设置。该界适用于期望的改进捕获函数和亚高斯观测噪声，为我们设计超参数估计方法提供了指导。一个简单的模拟演示了遵循这些准则的重要性。
2014-06-30 cs.LG stat.ML
Bayesian Optimisation for Machine Translation
University of Oxford（牛津大学）；DeepMind Technologies（深度思维科技公司）
本文提出了新的贝叶斯优化算法的统计机器翻译系统的最小出错率训练。我们探索两类算法，有效地探索翻译空间，第一个基于N-最好的列表和第二个基于超图表示，companion代表指数数量的翻译选项。我们的算法表现出更快的收敛速度，并能够获得较低的出错率比现有的翻译模型的具体方法，所有在一个通用的贝叶斯优化框架。此外，我们还引入了一个随机嵌入算法来扩展我们的方法到稀疏的高维特征集。
2014-12-22 cs.CL cs.LG
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Technische Universität Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）
本文提出首个端到端可微的元贝叶斯优化框架，利用Transformer神经过程学习采集函数，通过强化学习与辅助任务解决稀疏奖励问题，在标准及现实任务中取得最优遗憾结果。
2023-12-22 cs.LG
Bayesian Optimisation over Multiple Continuous and Categorical Inputs
University of Oxford（牛津大学）
包括连续和分类输入的黑盒问题的有效优化是重要的，但也带来了重大挑战。我们提出了一种新的方法，连续和分类贝叶斯优化（CoCaBO），它结合了多武装土匪和贝叶斯优化的优势，选择分类和连续输入的值。我们使用一个高斯过程内核对这个混合类型空间进行建模，该内核旨在允许跨多个分类变量共享信息，每个变量都有多个可能的值;这使得CoCaBO能够有效地利用所有可用数据。我们将我们的方法扩展到批量设置，并提出了一个有效的选择过程，动态平衡探索和开发，同时鼓励批量多样性。我们的经验表明，我们的方法优于现有的方法在合成和现实世界的优化任务与连续和分类输入。
2020-08-09 cs.LG stat.ML
Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation
稀疏高斯过程是高吞吐量贝叶斯优化（BO）循环的关键组成部分，然而，我们发现，现有的方法分配其诱导点严重妨碍优化性能。通过利用确定性点过程的质量多样性分解，我们提出了第一个专门为BO设计的诱导点分配策略。与现有的方法，只寻求减少目标函数的全局不确定性，我们的方法提供了精确优化所需的有前途的区域的本地高保真度建模。更一般地说，我们证明了我们提出的框架提供了一种灵活的方式来分配稀疏模型的建模能力，因此适合广泛的下游顺序决策任务。
2023-02-23 cs.LG stat.ML
Wind Farm Layout Optimisation using Set Based Multi-objective Bayesian Optimisation
University of Exeter（埃克塞特大学）
风能是最清洁的可再生能源之一，有助于应对气候变化的挑战。风力发电的缺点之一是安装风力发电场所需的大空间;这是由于将风力涡轮机放置在有限的区域中会阻碍其生产力，因此在经济上不方便。这自然会导致优化问题，该问题具有三个具体挑战：（1）多个相互冲突的目标（2）计算昂贵的仿真模型和（3）优化设计集而不是设计向量。第一个和第二个挑战可以通过使用代理辅助来解决，例如\贝叶斯多目标优化。然而，传统的贝叶斯优化不能应用的问题中的优化功能依赖于设计集，而不是设计向量。本文扩展了贝叶斯多目标优化的适用性，以基于集合的优化解决风电场布局问题。我们在高斯过程中使用基于集合的内核来量化风电场（具有不同数量的涡轮机）之间的相关性。在给定的风能和风向数据集上的结果清楚地表明了使用基于集合的贝叶斯多目标优化的潜力。
2022-04-01 cs.LG math.OC stat.AP
Data-driven Prior Learning for Bayesian Optimisation
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
针对贝叶斯优化迁移学习强相似性假设的局限，提出仅需景观形状相似的弱假设，通过PLeBO学习高斯过程超参数先验，在合成数据和空气污染优化任务上验证了其用更少评估找到优质输入的有效性。
2024-04-19 cs.LG stat.ML
Are we Forgetting about Compositional Optimisers in Bayesian Optimisation?
Huawei R&D UK（华为英国研发部）；University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
贝叶斯优化提出了一个样本效率的方法，为全球优化。在这个框架内，一个关键的性能确定子程序是最大化的采集功能，一个任务复杂的事实，即采集功能往往是非凸的，因此非平凡的优化。在本文中，我们进行了全面的实证研究的方法，以最大限度地提高收购功能。此外，通过推导新颖的，但数学上等价的，流行的采集功能的组成形式，我们重铸的最大化任务作为一个组成优化问题，使我们能够受益于广泛的文献在这一领域。我们强调的经验优势的合成方法，在3958个单独的实验，包括合成优化任务，以及贝叶斯标记的任务，以获取功能最大化。鉴于采集函数最大化子例程的一般性，我们认为，采用组合优化器有可能在贝叶斯优化目前正在应用的所有领域产生性能改善。
2020-12-17 cs.LG stat.ML
Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation
Applied Artificial Intelligence Institute（应用人工智能研究院）
为了提高贝叶斯优化的性能，我们开发了一种改进的高斯过程置信上限（GP-UCB）获取函数。这是通过从分布中采样探索-开发权衡参数来完成的。我们证明，这允许预期的权衡参数被改变，以更好地适应问题，而不损害功能的贝叶斯遗憾的约束。我们还提供了结果表明，我们的方法在一系列现实世界和合成问题中实现了比GP-UCB更好的性能。
2020-06-08 cs.LG stat.ML
Protein Sequence Design with Batch Bayesian Optimisation
蛋白质序列设计是蛋白质工程中的一个挑战性问题，其目的是发现具有生物学功能的新型蛋白质。定向进化是一种广泛使用的蛋白质序列设计方法，它模拟了实验室环境中的进化周期，并进行了迭代协议。然而，实验室实验的负担可以通过使用机器学习方法来构建蛋白质景观的代理模型，并通过基于模型的适应度预测进行计算机模拟群体选择来减轻。在本文中，我们提出了一种新的方法，基于批贝叶斯优化（批BO），一个成熟的优化方法，蛋白质序列的设计。通过将Batch BO纳入定向进化过程，我们的方法能够做出更明智的决定，选择哪些序列进行人工进化，从而提高性能和加快收敛速度。我们评估我们的方法在一套计算机蛋白质序列设计任务，并证明了基线算法的实质性改进。
2023-03-18 cs.LG
Bayesian Optimisation for Mixed-Variable Inputs using Value Proposals
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Manufacturing, CSIRO（澳大利亚联邦科学与工业研究组织制造部）
许多现实世界的优化问题都是针对分类变量和连续变量定义的，但贝叶斯优化（BO）等高效优化方法并不是为了处理此类混合变量搜索空间而设计的。最近的方法来解决这个问题投的分类变量的选择作为一个强盗问题，独立操作旁边的BO组件，优化连续变量。在本文中，我们采用了一个整体的观点，旨在巩固优化的分类和连续的子空间下一个单一的收购指标。我们从ExpectedImprovement标准中获得候选项，我们称之为值建议，并使用这些建议对输入的分类和连续分量进行选择。我们表明，这种统一的方法显着优于现有的混合变量优化方法在几个混合变量的黑盒优化任务。
2022-02-17 cs.LG stat.ML
Bayesian Optimisation: Which Constraints Matter?
Mathematics for Real-World Systems, University of Warwick（现实世界系统数学，沃里克大学）；Swansea University（斯旺西大学）；University of New South Wales（新南威尔士大学）；Warwick Business School, University of Warwick（沃里克商学院，沃里克大学）
本文提出了一种针对解耦黑盒约束问题的贝叶斯优化变体，通过仅评估相关约束来提升优化效率。
2025-12-19 cs.LG math.OC
Sample-efficient Bayesian Optimisation Using Known Invariances
United Kingdom Atomic Energy Authority（英国原子能管理局）；University College London（伦敦大学学院）；MediaTek Research（联发科研究院）
本文提出将已知群不变性融入高斯过程核的贝叶斯优化方法，显著提升样本效率并给出理论界，在合成函数和核聚变电流驱动设计中验证了其优越性。
2024-10-22 cs.LG
Think Global and Act Local: Bayesian Optimisation over High-Dimensional Categorical and Mixed Search Spaces
University of Oxford（牛津大学）；Amazon（亚马逊）；RMIT University（皇家墨尔本理工大学）
高维黑箱优化仍然是一个重要的，但众所周知的挑战性问题。尽管贝叶斯优化方法在连续域上取得了成功，但分类域或混合连续变量和分类变量的域仍然具有挑战性。我们提出了一种新的解决方案-我们结合本地优化与定制的内核设计，有效地处理高维分类和混合搜索空间，同时保持样本效率。我们进一步推导出所提出的方法的收敛保证。最后，我们通过经验证明，我们的方法在性能、计算成本或两者方面，在各种合成和现实任务上优于当前的基线。
2021-06-10 cs.LG stat.ML
Intrinsic Bayesian Optimisation on Complex Constrained Domain
贝叶斯优化算法在欧氏空间中的成功的动机，我们提出了一种新的方法来构建内在贝叶斯优化（在BO）流形上的主要重点是复杂的约束域或不规则形状的空间产生的R2，R3及以后的子流形。数据可以在空间域中收集，但限于与地理特征相对应的复杂或结构复杂的区域，例如湖泊。传统的贝叶斯优化（Tra-BO）定义的径向基函数（RBF）内核不能适应这些复杂的约束条件。In-BO使用稀疏固有高斯过程（SIn-GP）代理模型来考虑流形的几何结构。利用流形的热核构造了SInGP，热核被估计为流形上布朗运动的转移密度。通过对U形域、Bitten环面和咸海真实数据集的模拟研究，证明了In-BO的效率。它的性能相比，传统的BO，这是定义在欧氏空间。
2023-01-29 cs.LG stat.ML
How Bayesian Should Bayesian Optimisation Be?
University of Exeter（埃克塞特大学）
贝叶斯优化（BO）使用概率代理模型-通常是高斯过程（GP）-用于优化昂贵的黑盒函数。在每次BO迭代中，GP超参数通过最大化边缘似然来拟合先前评估的数据。然而，这并不能解释超参数本身的不确定性，导致模型预测过于自信。这种不确定性可以通过采用贝叶斯方法将模型超参数边缘化来解释。我们调查是否完全贝叶斯处理的高斯过程超参数在BO（FBBO）导致改进的优化性能。由于分析方法是棘手的，我们比较FBBO使用三个近似推理方案的最大似然方法，使用预期改善（EI）和置信上限（UCB）的收购功能与ARD和各向同性Matern内核配对，在15个著名的基准问题4观测噪声设置。使用具有ARD内核的EI的FBBO在无噪声设置中导致最佳性能，当噪声增加时，BO分量的组合之间的差异小得多。FBBO会导致UCB的过度勘探，但对EI无害。因此，我们建议FBBO使用带有ARD内核的EI作为BO的默认选择。
2021-05-03 cs.LG stat.ML
Bayesian Optimisation with Gaussian Processes for Premise Selection
University of Cambridge（剑桥大学）
定理证明器中的启发式通常是参数化的。现代的定理证明器，如Vampire，利用了大量的算法来控制搜索空间的爆炸，从而需要优化大量的参数。在这个多维参数空间中的穷举搜索在大多数情况下是棘手的，然而证明器的性能高度依赖于参数分配。在这项工作中，我们引入了一个原则性的概率框架，在定理证明优化。我们目前的结果使用启发式的前提选择和正式证明（AFP）的档案作为案例研究。
2019-09-18 cs.AI cs.LG
Bayesian functional optimisation with shape prior
Deakin University（迪肯大学）；Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Institute for Frontier Materials（前沿材料研究所）
现实世界的实验是昂贵的，因此重要的是要达到一个目标，在最小数量的实验。实验过程通常涉及随时间变化的控制变量。这样的问题可以公式化为一个功能优化问题。我们开发了一种新的贝叶斯优化框架，这样的功能优化昂贵的黑箱过程。我们使用Bernstein多项式基表示控制函数，并在系数空间中进行优化。我们得出的理论和实践需要动态调整阶的多项式的程度，并显示如何先验信息的形状可以被集成。我们证明了我们的方法对于短聚合物纤维设计和优化深度网络的学习率调度的有效性。
2020-02-25 cs.LG stat.ML
High-Dimensional Bayesian Optimisation with Large-Scale Constraints -- An Application to Aeroelastic Tailoring
Delft University of Technology（代尔夫特理工大学）
针对气动弹性剪裁中高维设计变量与多学科大规模约束导致的全局优化难题，提出结合降维的高维贝叶斯优化方法，并在黑箱约束基准上验证其有效性。
2023-12-14 cs.CE cs.LG
Incorporating Expert Prior in Bayesian Optimisation via Space Warping
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能研究所）
贝叶斯优化是一个著名的样本有效的方法，用于优化昂贵的黑盒函数。然而，当处理大的搜索空间时，该算法在达到函数的最优值之前会经过几个低函数值区域。由于函数评估在金钱和时间方面都是昂贵的，因此可能希望缓解这个问题。平息这种冷启动阶段的一种方法是使用可以加速优化的先验知识。在其标准形式中，贝叶斯优化假设搜索空间中的任何点是最优的可能性是相等的。因此，任何可以提供关于函数的最优性的信息的先验知识都将提高优化性能。在本文中，我们表示的先验知识的函数最优通过一个先验分布。然后，先验分布被用来扭曲的搜索空间在这样一种方式，空间得到扩大周围的高概率区域的功能最优和收缩周围的低概率区域的最优。我们通过重新定义核矩阵，将此先验直接纳入函数模型（高斯过程），这使得该方法可以与任何采集函数一起工作，即采集不可知方法。我们通过优化的几个基准函数和超参数调整的两个算法：支持向量机（SVM）和随机森林，我们的方法优于标准贝叶斯优化方法。
2020-03-27 cs.LG stat.ML
On-Policy Trust Region Policy Optimisation with Replay Buffers
Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系）；University of Exeter（埃克塞特大学）
基于最近深度强化学习方法的成功，我们研究了通过重用来自多个连续策略的数据来改进策略上强化学习的可能性。基于策略的方法带来了许多好处，例如能够评估每个结果策略。然而，他们通常抛弃了所有关于以前存在的政策的信息。在这项工作中，我们提出了自适应的重放缓冲区的概念，借用了离策略学习设置，创建的方法，结合的优势，和离策略学习。为了实现这一点，所提出的算法概括的$Q$，价值和优势函数的数据从多个政策。该方法使用信赖域优化，同时避免了TRPO或ACKTR等算法的一些常见问题：它使用超参数代替信赖域选择算法，以及可训练协方差矩阵代替固定协方差矩阵。在许多情况下，该方法不仅改善了结果相比，最先进的信任区域同策略学习算法，如PPO，ACKTR和TRPO，但也相对于他们的非策略对应DDPG。
2019-01-18 cs.AI cs.LG stat.ML
Long-run Behaviour of Multi-fidelity Bayesian Optimisation
University College London（伦敦大学学院）；Matterhorn Studio（马特霍恩工作室）
本研究通过基准实验探究多保真贝叶斯优化在长期运行中的潜在不佳表现，分析其场景与原因，以评估其实际应用可靠性。
2023-12-19 cs.LG stat.ML
Heteroscedastic Treed Bayesian Optimisation
Imperial College London（伦敦帝国学院）；University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）
优化黑盒函数在许多学科中都很重要，例如调整机器学习模型、机器人技术、金融和采矿勘探。贝叶斯优化是一个国家的最先进的技术，为全球优化的黑箱功能，这是昂贵的评估。这种方法的核心是高斯过程先验，它捕获了我们对函数分布的信念。然而，在许多情况下，单个高斯过程不够灵活，无法捕捉目标函数中的非平稳性。因此，异方差对传统贝叶斯方法的性能产生负面影响。在本文中，我们提出了一种新的先验模型与分层参数学习，解决了贝叶斯优化的非平稳性问题。我们的研究结果表明，在广泛的应用，包括自动机器学习和采矿勘探大幅改善。
2015-03-04 cs.LG math.OC stat.ML
The case for fully Bayesian optimisation in small-sample trials
the University of Melbourne（墨尔本大学）
虽然样本效率是使用贝叶斯优化的主要动机时，黑盒功能是昂贵的评估，基于第二类最大似然（ML-II）的标准方法可能会失败，并导致在小样本试验中令人失望的性能。本文提供了三个令人信服的理由，采用完全贝叶斯优化（FBO）作为替代方案。首先，ML-II的失败比使用人为设置的现有研究所暗示的更常见。其次，FBO比ML-II更健壮，而健壮性的代价几乎是微不足道的。第三，FBO已经变得易于实现，并且速度足够快。本文使用相关实验来支持这一论点，这些实验反映了当前关于模型、算法和软件平台的实践。由于收益似乎超过了成本，研究人员应该考虑在他们的应用中采用FBO，这样他们就可以防止潜在的失败，最终浪费宝贵的研究资源。
2022-08-30 cs.LG stat.ML
Achieving Robustness to Aleatoric Uncertainty with Heteroscedastic Bayesian Optimisation
University of Cambridge（剑桥大学）
贝叶斯优化是一种样本效率高的搜索方法，对加速药物和材料发现计划具有很大的希望。然而，在贝叶斯优化策略中经常被忽视的建模考虑是异方差任意不确定性的表示。在许多实际应用中，期望识别具有低任意噪声的输入，其示例可以是响应于噪声制造过程而一致地显示鲁棒特性的材料成分。在本文中，我们提出了一个异方差贝叶斯优化方案能够代表和最小化任意噪声在输入空间。我们的计划采用了异方差高斯过程（GP）代理模型结合两个简单的适应现有的收购功能。首先，我们扩展了增广预期改进（AEI）启发式的异方差设置，第二，我们引入任意噪声惩罚预期改进（ANPEI）启发式。这两种方法都能够惩罚任意噪声的建议，并产生改进的性能相对于同方差贝叶斯优化和随机抽样的玩具问题，以及两个现实世界的科学数据集。代码可从以下网址获得：\url{https://github.com/Ryan-Rhys/Heteroscedastic-BO}
2022-05-20 cs.LG stat.ML
Harnessing Large Language Models to Compile Task-Relevant Context into Bayesian Optimisation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University College London (UCL)（伦敦大学学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本研究提出HarBO框架，利用大型语言模型将任务相关上下文编译为可执行代码整合进贝叶斯优化，理论分析遗憾界，实验证明在合成与真实基准上性能可比专门方法，但通用框架在陌生领域效果有限。
2026-09-30 cs.LG
Cost-aware Multi-objective Bayesian optimisation
贝叶斯优化中的费用概念通常是指在整个搜索空间上函数求值的一致昂贵成本。然而，在某些情况下，黑盒目标函数的评估成本是不均匀的，因为来自搜索空间的不同输入可能导致函数评估的不同成本。通过定义搜索空间上的成本感知约束，我们引入了一个成本感知的多目标贝叶斯优化与非均匀评估成本的目标函数。成本感知约束是索引的排序元组，其基于用户关于其使用成本的先验知识来展示搜索空间的维度的排序。我们制定了一个新的多目标贝叶斯优化采集功能的收敛，结合这种成本意识的约束，同时优化的目标函数的详细分析。我们证明了我们的算法的基础上合成和现实世界中的超参数调整的神经网络和随机森林的问题。
2019-09-09 cs.LG math.OC stat.ML
Distributionally Robust Optimisation with Bayesian Ambiguity Sets
University of Warwick（华威大学）
本文提出DRO-BAS方法，利用后验信息构建贝叶斯模糊集并对最坏情况风险进行优化，以缓解模型不确定性和有限噪声观测导致的次优决策问题，并在报童问题中验证了其优于现有贝叶斯DRO方法的样本外鲁棒性。
2024-09-05 cs.LG stat.ML
Ordinal Bayesian Optimisation
贝叶斯优化是一个强大的工具，以解决昂贵的黑箱问题，但失败时，对目标函数的静态假设是强烈违反，这是特别是病态或不连续的目标的情况。我们解决这个问题，提出了一个新的贝叶斯优化框架，只考虑变量的顺序，在输入和输出空间，以适应一个高斯过程的潜在空间。通过这样做，我们的方法对原始空间上的原始度量是不可知的。我们提出了两种算法，分别基于乐观策略和汤普森采样。对于乐观策略，我们证明了一个最优性能下的后悔措施的潜在空间。我们说明了我们的框架上的几个具有挑战性的玩具问题的能力。
2019-12-05 cs.LG math.OC stat.ML
Offline Bayesian Aleatoric and Epistemic Uncertainty Quantification and Posterior Value Optimisation in Finite-State MDPs
Imperial College London（伦敦帝国学院）；University of Bayreuth（拜罗伊特大学）
针对动态未知的有限状态MDPs，本文提出分离认知与偶然不确定性并利用闭式表达式和随机梯度优化贝叶斯后验期望值的方法，在网格世界与AI Clinician任务中验证了其有效性与可扩展性。
2024-06-04 cs.LG
Practical Bayesian Learning of Neural Networks via Adaptive Optimisation Methods
Oxford University（牛津大学）
我们引入了一个新的框架，估计的后验分布的权重的神经网络，基于一个新的概率解释的自适应优化算法，如AdaGrad和亚当。我们证明了我们的贝叶斯亚当方法，巴达姆，通过实验表明，学习的不确定性正确地涉及到权重的预测能力的重量修剪的有效性。我们还证明了质量的派生的不确定性措施，通过比较巴达姆的性能标准的方法在汤普森采样设置多武装土匪，需要良好的不确定性措施的代理，以平衡勘探和开采。
2020-07-20 cs.LG stat.ML
Asynchronous Batch Bayesian Optimisation with Improved Local Penalisation
University of Oxford（牛津大学）；Mind Foundry Ltd.（Mind Foundry有限公司）；Oxford-Man Institute of Quantitative Finance（牛津-曼定量金融研究所）
批量贝叶斯优化（BO）已成功应用于使用并行计算的超参数调整，但它浪费资源：提前完成工作的工人被闲置。我们解决这个问题，开发一种方法，惩罚本地异步贝叶斯优化$k$工人（PLAyBOOK），异步并行BO。我们证明经验的有效性PLAYBOOK及其变种的合成任务和现实世界的问题。我们对同步BO和异步BO进行了比较，结果表明，异步BO在挂钟时间和函数求值次数方面通常优于同步批处理BO。
2019-05-28 cs.AI cs.LG stat.ML
Choice functions based multi-objective Bayesian optimisation
School of Computer Science and Statistics, Trinity College Dublin（都柏林圣三一学院计算机科学与统计学学院）；Dalle Molle Institute for Artificial Intelligence Research (IDSIA)（达勒·莫勒人工智能研究所（IDSIA））
在这项工作中，我们引入了一个新的框架，多目标贝叶斯优化，其中多目标函数只能通过选择判断，如“我选择选项A，B，C中的这五个选项A，B，C，D，E”。选项D被拒绝的事实意味着在所选的选项A、B、C中至少有一个选项是我严格偏好于D的（但我不必指定是哪一个）。我们假设对于某个维度$n_e$存在一个潜在向量函数f，它将选项嵌入到n维的实向量空间中，因此选择集可以通过非支配选项的帕累托集来表示。通过在f上放置一个高斯过程先验，并推导出一个新的选择数据的似然模型，我们提出了一个贝叶斯框架的选择函数学习。然后，我们应用这个代理模型来解决一个新的多目标贝叶斯优化从选择数据的问题。
2021-10-15 cs.LG stat.ML
Bayesian Quantile and Expectile Optimisation
Secondmind Labs（Secondmind实验室）；Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）
贝叶斯优化（BO）被广泛用于优化随机黑箱函数。虽然大多数BO方法专注于优化条件期望，但许多应用程序需要规避风险的策略，并且需要考虑考虑分布尾部的替代标准。在本文中，我们提出了新的变分模型贝叶斯分位数和预期回归，非常适合异方差噪声设置。我们的模型包括两个潜在的高斯过程，分别占条件分位数（或期望）和尺度参数的非对称似然函数。此外，我们提出了两个BO策略的基础上最大值熵搜索和汤普森采样，这是专为这样的模型，可以容纳大量的点。与现有的BO风险规避优化方法相反，我们的策略可以直接优化分位数和期望值，而不需要复制观测值或假设噪声的参数形式。如实验部分所示，所提出的方法在异方差非高斯情况下明显优于现有技术。
2022-07-07 cs.LG stat.ML
Stable Bayesian Optimisation via Direct Stability Quantification
Center for Pattern Recognition and Data Analytics (PRaDA)（模式识别与数据分析中心（PRaDA））；Deakin University（迪肯大学）
在本文中，我们考虑的问题找到稳定的最大值昂贵（评估）的功能。我们的动机是优化物理和工业过程，在某些输入范围内，输入的微小和不可避免的变化会导致输出的不可接受的大变化。我们的方法使用多个梯度高斯过程模型来估计指定输入扰动的最坏情况输出变化超过期望最大值的概率，然后这些概率用于（a）引导优化过程朝向满足我们的稳定性标准的解决方案，以及（b）后滤波结果以找到最佳稳定解决方案。我们展示我们的算法在合成和现实世界的问题，并证明它能够有效地找到稳定的最大值。
2019-02-21 cs.LG stat.ML
Graph Agnostic Causal Bayesian Optimisation
German Research Centre for Artificial Intelligence(DFKI)（德国人工智能研究中心(DFKI)）；University of Oxford（牛津大学）；University of Kaiserslautern-Landau（凯泽斯劳滕-兰道大学）
提出图无关因果贝叶斯优化算法，在未知因果图下通过平衡探索与利用，实现累积遗憾目标下的全局优化，并在模拟和实际应用中超越基线。
2024-11-05 cs.LG stat.ML
Bayesian Optimisation for Active Monitoring of Air Pollution
针对空气污染监测中传感器放置问题，提出基于分层模型的贝叶斯优化方法，并在伦敦城市污染数据上验证其有效性。
2024-04-19 cs.LG physics.ao-ph
Bayesian Optimisation vs. Input Uncertainty Reduction
University of Warwick（华威大学）
仿真器通常需要从真实世界数据估计的校准输入，并且估计的质量可以显著影响仿真输出。特别是当执行仿真优化以找到最佳解决方案时，输入中的不确定性会显著影响找到的解决方案的质量。一种补救方法是寻找在不确定的输入范围内平均具有最佳性能的解决方案，从而产生最佳折衷解决方案。我们考虑更一般的设置，用户可以在运行模拟或收集真实世界数据之间进行选择。用户可以选择输入和解决方案，并观察模拟输出，或者改为查询外部数据源，从而改善输入估计，从而能够搜索更集中、更少妥协的解决方案。我们显式地检查模拟和真实数据汇集之间的权衡，以找到模拟器与真实输入的最佳解决方案。使用的信息程序的值，我们提出了一种新的统一的模拟优化程序称为贝叶斯信息收集和优化（BICO），在每次迭代中，自动确定这两个动作（运行模拟或数据汇集）是更有益的。数值实验表明，该算法能够自动确定优化和数据汇集之间的适当平衡。
2020-05-31 cs.LG stat.ML
Return of the Latent Space COWBOYS: Re-thinking the use of VAEs for Bayesian Optimisation of Structured Spaces
School of Mathematical Sciences, Lancaster University, UK（数学科学学院，兰卡斯特大学）；Department of Applied Maths and Theoretical Physics, University of Cambridge, UK（应用数学与理论物理系，剑桥大学）
本文提出将VAE生成模型与高斯过程代理模型解耦训练并通过贝叶斯更新规则结合的新方法，在受限评估预算下提升了分子优化中识别高潜力候选对象的能力。
2025-07-05 cs.LG stat.ML
Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces
Applied Artificial Intelligence Institute（应用人工智能研究所）；Deakin University（德金大学）
本文提出了一种扩展搜索空间的贝叶斯优化算法，通过超调和级数控制扩展率，实现亚线性 regrets 界限，并在高维空间中验证了其优越性。
2020-11-01 cs.IT cs.LG math.IT
Mono-surrogate vs Multi-surrogate in Multi-objective Bayesian Optimisation
University of Exeter（埃克塞特大学）
贝叶斯优化（BO）已被广泛用于解决具有昂贵函数求值的问题。在多目标优化问题中，BO的目标是找到一组近似的Pareto最优解。在多目标BO中通常有两种方法来构建代理：通过聚合目标函数（通过使用标量化函数，也称为单代理方法）和多个代理（对于每个目标函数，也称为多代理方法）。在这两种方法中，采集功能（AF）用于指导搜索过程。单替代模型的优点是只使用一个模型，但是，该方法有两个主要的局限性。首先，标量化函数和目标函数的适应度景观可能不相似。其次，该方法假设标量化函数分布是高斯分布，因此可以使用AF的闭合形式表达。在这项工作中，我们克服了这些限制，通过建立一个代理模型为每个目标函数，并表明，标量函数分布不是高斯。我们使用广义极值分布来近似分布。标准基准和现实世界的优化问题的结果和与现有方法的比较显示了多代理方法的潜力。
2022-05-02 cs.AI cs.LG
GIBBON: General-purpose Information-Based Bayesian OptimisatioN
Lancaster University（兰卡斯特大学）；Microsoft Research（微软研究院）
本文介绍了一种通用的扩展最大值熵搜索，贝叶斯优化（BO）的流行方法。提出了一种新的近似的信息增益-信息理论的数量中心解决一系列BO问题，包括噪声，多保真度和批量优化跨连续和高度结构化的离散空间。在此之前，这些问题已经在信息理论BO中单独解决，每个问题都需要不同的复杂近似方案，除了批次BO之外，之前没有提出计算轻量级的信息理论方法。GIBBON（General-purpose Information-Based Bayesian OptimisatioN）提供了一个适用于上述所有方法的单一原则框架，其性能优于现有方法，同时大幅降低了计算开销。此外，GIBBON不要求问题的搜索空间是欧几里得的，因此是第一个高性能但计算量小的采集函数，支持在一般高度结构化的输入空间（如分子搜索和基因设计）上进行批量BO。此外，我们的原则推导GIBBON产生一个流行的批量BO启发式的基础上确定点过程的自然解释。最后，我们分析了GIBBON在一套合成基准任务，分子搜索循环，并作为一个具有挑战性的批处理多保真度框架的一部分，与可控的实验噪声的问题。
2021-10-26 cs.LG stat.ML
Bayesian Unification of Gradient and Bandit-based Learning for Accelerated Global Optimisation
University of Agder（阿格德大学）
基于Bandit的优化比基于梯度的方法具有显着的优势，因为它们具有全局视角，消除了陷入局部最优的危险。然而，对于连续优化问题或具有大量动作的问题，基于强盗的方法可能会受到缓慢学习的阻碍。另一方面，基于梯度的方法通过局部优化在高维连续空间中快速导航，遵循细粒度步骤中的梯度。然而，除了容易受到局部最优，这些计划是不太适合在线学习，由于其依赖于广泛的试错之前，可以确定的最佳。在本文中，我们提出了一个贝叶斯方法，统一上述两个范例在一个单一的框架，其目的是结合他们的优势。在我们的方法的核心，我们发现一个随机线性近似的函数进行优化，其中的梯度和函数的值都明确捕获。这使我们能够从噪声函数和梯度观测中学习，并在动作空间中预测这些属性以支持优化。我们进一步提出了一个伴随的强盗驱动的勘探计划，使用贝叶斯可信的界限，权衡勘探开发。我们的实证结果表明，通过统一的强盗和梯度为基础的学习，一个获得一致的改善性能在广泛的问题环境。此外，即使梯度反馈不可用，我们的模型的灵活性，包括梯度预测，仍然允许我们优于竞争方法，尽管幅度较小。由于普遍存在的强盗为基础的优化，我们的计划开辟了改善性能的元优化和梯度相关的信息是现成的应用程序。
2017-05-28 cs.AI cs.LG
Cell-Free Data Power Control Via Scalable Multi-Objective Bayesian Optimisation
Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（KTH皇家理工学院）
无小区多用户多输入多输出网络是传统蜂窝结构的有希望的替代方案，因为它们具有在网络的整个覆盖区域上提供统一服务质量和高资源利用率的潜力。为了实现这一潜力，以前的工作已经开发了无线电资源管理机制，使用各种优化引擎。在这项工作中，我们考虑的问题，整体遍历频谱效率最大化的上下行数据功率控制在无小区网络的背景下。为了在大型网络中解决这个问题，并解决收敛时间的限制，我们应用可扩展的多目标贝叶斯优化。此外，我们讨论了如何交叉的多保真度仿真和贝叶斯优化可以提高无线电资源管理在无细胞网络。
2022-12-20 cs.LG cs.SY eess.SY
