Data-driven Prior Learning for Bayesian Optimisation
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
针对贝叶斯优化迁移学习强相似性假设的局限，提出仅需景观形状相似的弱假设，通过PLeBO学习高斯过程超参数先验，在合成数据和空气污染优化任务上验证了其用更少评估找到优质输入的有效性。
2024-04-19 cs.LG stat.ML
Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation
Applied Artificial Intelligence Institute（应用人工智能研究院）
为了提高贝叶斯优化的性能，我们开发了一种改进的高斯过程置信上限（GP-UCB）获取函数。这是通过从分布中采样探索-开发权衡参数来完成的。我们证明，这允许预期的权衡参数被改变，以更好地适应问题，而不损害功能的贝叶斯遗憾的约束。我们还提供了结果表明，我们的方法在一系列现实世界和合成问题中实现了比GP-UCB更好的性能。
2020-06-08 cs.LG stat.ML
Heteroscedastic Treed Bayesian Optimisation
Imperial College London（伦敦帝国学院）；University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）
优化黑盒函数在许多学科中都很重要，例如调整机器学习模型、机器人技术、金融和采矿勘探。贝叶斯优化是一个国家的最先进的技术，为全球优化的黑箱功能，这是昂贵的评估。这种方法的核心是高斯过程先验，它捕获了我们对函数分布的信念。然而，在许多情况下，单个高斯过程不够灵活，无法捕捉目标函数中的非平稳性。因此，异方差对传统贝叶斯方法的性能产生负面影响。在本文中，我们提出了一种新的先验模型与分层参数学习，解决了贝叶斯优化的非平稳性问题。我们的研究结果表明，在广泛的应用，包括自动机器学习和采矿勘探大幅改善。
2015-03-04 cs.LG math.OC stat.ML
MBORE: Multi-objective Bayesian Optimisation by Density-Ratio Estimation
University of Exeter（埃克塞特大学）；Swansea University（斯旺西大学）
优化问题通常具有多个相互冲突的目标，这些目标可能在计算上和/或经济上昂贵。单代理贝叶斯优化（BO）是一种流行的基于模型的方法，用于优化这种黑盒函数。它通过标量化结合客观值，并构建标量化值的高斯过程（GP）替代。选择使廉价查询获取函数最大化的位置作为下一个要昂贵地评估的位置。虽然BO是一种有效的策略，但全科医生的使用受到限制。它们的性能随着问题输入维度的增加而降低，并且它们的计算复杂性与数据量成三次方地缩放。为了解决这些限制，我们扩展以前的工作BO密度比估计（BORE）的多目标设置。BORE将改进获取函数的概率计算与概率分类的概率计算联系起来。这使得能够在类似BO的框架中使用最先进的分类器。在这项工作中，我们提出了MBORE：多目标贝叶斯优化密度比估计，并比较它BO在一系列的合成和现实世界的基准。我们发现，MBORE执行以及或优于BO的各种各样的问题，它优于BO的高维和现实世界的问题。
2022-03-31 cs.AI cs.LG stat.ML
Intrinsic Bayesian Optimisation on Complex Constrained Domain
贝叶斯优化算法在欧氏空间中的成功的动机，我们提出了一种新的方法来构建内在贝叶斯优化（在BO）流形上的主要重点是复杂的约束域或不规则形状的空间产生的R2，R3及以后的子流形。数据可以在空间域中收集，但限于与地理特征相对应的复杂或结构复杂的区域，例如湖泊。传统的贝叶斯优化（Tra-BO）定义的径向基函数（RBF）内核不能适应这些复杂的约束条件。In-BO使用稀疏固有高斯过程（SIn-GP）代理模型来考虑流形的几何结构。利用流形的热核构造了SInGP，热核被估计为流形上布朗运动的转移密度。通过对U形域、Bitten环面和咸海真实数据集的模拟研究，证明了In-BO的效率。它的性能相比，传统的BO，这是定义在欧氏空间。
2023-01-29 cs.LG stat.ML
How Bayesian Should Bayesian Optimisation Be?
University of Exeter（埃克塞特大学）
贝叶斯优化（BO）使用概率代理模型-通常是高斯过程（GP）-用于优化昂贵的黑盒函数。在每次BO迭代中，GP超参数通过最大化边缘似然来拟合先前评估的数据。然而，这并不能解释超参数本身的不确定性，导致模型预测过于自信。这种不确定性可以通过采用贝叶斯方法将模型超参数边缘化来解释。我们调查是否完全贝叶斯处理的高斯过程超参数在BO（FBBO）导致改进的优化性能。由于分析方法是棘手的，我们比较FBBO使用三个近似推理方案的最大似然方法，使用预期改善（EI）和置信上限（UCB）的收购功能与ARD和各向同性Matern内核配对，在15个著名的基准问题4观测噪声设置。使用具有ARD内核的EI的FBBO在无噪声设置中导致最佳性能，当噪声增加时，BO分量的组合之间的差异小得多。FBBO会导致UCB的过度勘探，但对EI无害。因此，我们建议FBBO使用带有ARD内核的EI作为BO的默认选择。
2021-05-03 cs.LG stat.ML
Bayesian Optimisation for Safe Navigation under Localisation Uncertainty
The University of Sydney（悉尼大学）
在室外环境中，移动机器人需要在具有不同特征的地形中导航，其中一些特征可能会显著影响平台的完整性。理想情况下，机器人应该能够根据自己对环境的感知来识别安全的导航区域，同时避免对自己造成伤害。贝叶斯优化（BO）已成功地应用于任务的学习模型的地形可穿越性，同时引导机器人通过更多的可穿越的地区。然而，一个问题是，定位的不确定性最终可能会将机器人引导到不安全的区域，并扭曲正在学习的模型。在本文中，我们解决这个问题，并提出了一种新的方法，允许BO考虑本地化的不确定性，通过应用高斯过程模型作为先验的不确定输入。我们评估所提出的方法在模拟和实验中与一个真正的机器人在崎岖的地形航行，并比较它对标准BO方法。
2018-02-17 cs.AI cs.LG cs.RO
Ordinal Bayesian Optimisation
贝叶斯优化是一个强大的工具，以解决昂贵的黑箱问题，但失败时，对目标函数的静态假设是强烈违反，这是特别是病态或不连续的目标的情况。我们解决这个问题，提出了一个新的贝叶斯优化框架，只考虑变量的顺序，在输入和输出空间，以适应一个高斯过程的潜在空间。通过这样做，我们的方法对原始空间上的原始度量是不可知的。我们提出了两种算法，分别基于乐观策略和汤普森采样。对于乐观策略，我们证明了一个最优性能下的后悔措施的潜在空间。我们说明了我们的框架上的几个具有挑战性的玩具问题的能力。
2019-12-05 cs.LG math.OC stat.ML
Incorporating Expert Prior in Bayesian Optimisation via Space Warping
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能研究所）
贝叶斯优化是一个著名的样本有效的方法，用于优化昂贵的黑盒函数。然而，当处理大的搜索空间时，该算法在达到函数的最优值之前会经过几个低函数值区域。由于函数评估在金钱和时间方面都是昂贵的，因此可能希望缓解这个问题。平息这种冷启动阶段的一种方法是使用可以加速优化的先验知识。在其标准形式中，贝叶斯优化假设搜索空间中的任何点是最优的可能性是相等的。因此，任何可以提供关于函数的最优性的信息的先验知识都将提高优化性能。在本文中，我们表示的先验知识的函数最优通过一个先验分布。然后，先验分布被用来扭曲的搜索空间在这样一种方式，空间得到扩大周围的高概率区域的功能最优和收缩周围的低概率区域的最优。我们通过重新定义核矩阵，将此先验直接纳入函数模型（高斯过程），这使得该方法可以与任何采集函数一起工作，即采集不可知方法。我们通过优化的几个基准函数和超参数调整的两个算法：支持向量机（SVM）和随机森林，我们的方法优于标准贝叶斯优化方法。
2020-03-27 cs.LG stat.ML
Achieving Robustness to Aleatoric Uncertainty with Heteroscedastic Bayesian Optimisation
University of Cambridge（剑桥大学）
贝叶斯优化是一种样本效率高的搜索方法，对加速药物和材料发现计划具有很大的希望。然而，在贝叶斯优化策略中经常被忽视的建模考虑是异方差任意不确定性的表示。在许多实际应用中，期望识别具有低任意噪声的输入，其示例可以是响应于噪声制造过程而一致地显示鲁棒特性的材料成分。在本文中，我们提出了一个异方差贝叶斯优化方案能够代表和最小化任意噪声在输入空间。我们的计划采用了异方差高斯过程（GP）代理模型结合两个简单的适应现有的收购功能。首先，我们扩展了增广预期改进（AEI）启发式的异方差设置，第二，我们引入任意噪声惩罚预期改进（ANPEI）启发式。这两种方法都能够惩罚任意噪声的建议，并产生改进的性能相对于同方差贝叶斯优化和随机抽样的玩具问题，以及两个现实世界的科学数据集。代码可从以下网址获得：\url{https://github.com/Ryan-Rhys/Heteroscedastic-BO}
2022-05-20 cs.LG stat.ML
High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Cambridge（剑桥大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）
我们介绍了一种结合变分自编码器（VAE）和深度度量学习的方法，以在高维和结构化输入空间上执行贝叶斯优化（BO）。通过调整深度度量学习的思想，我们使用来自黑盒函数的标签指导来构建VAE潜在空间，促进高斯过程拟合并提高BO性能。重要的是，对于BO问题设置，我们的方法在半监督制度下运行，其中只有很少的标记数据点可用。我们在三个现实世界的任务上运行实验，仅使用以前方法所需的标记数据的3%，就在惩罚logP分子生成基准上实现了最先进的结果。作为理论贡献，我们给出了VAE BO后悔消失的一个证明。
2021-11-01 cs.LG
Choice functions based multi-objective Bayesian optimisation
School of Computer Science and Statistics, Trinity College Dublin（都柏林圣三一学院计算机科学与统计学学院）；Dalle Molle Institute for Artificial Intelligence Research (IDSIA)（达勒·莫勒人工智能研究所（IDSIA））
在这项工作中，我们引入了一个新的框架，多目标贝叶斯优化，其中多目标函数只能通过选择判断，如“我选择选项A，B，C中的这五个选项A，B，C，D，E”。选项D被拒绝的事实意味着在所选的选项A、B、C中至少有一个选项是我严格偏好于D的（但我不必指定是哪一个）。我们假设对于某个维度$n_e$存在一个潜在向量函数f，它将选项嵌入到n维的实向量空间中，因此选择集可以通过非支配选项的帕累托集来表示。通过在f上放置一个高斯过程先验，并推导出一个新的选择数据的似然模型，我们提出了一个贝叶斯框架的选择函数学习。然后，我们应用这个代理模型来解决一个新的多目标贝叶斯优化从选择数据的问题。
2021-10-15 cs.LG stat.ML
Bayesian Quantile and Expectile Optimisation
Secondmind Labs（Secondmind实验室）；Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）
贝叶斯优化（BO）被广泛用于优化随机黑箱函数。虽然大多数BO方法专注于优化条件期望，但许多应用程序需要规避风险的策略，并且需要考虑考虑分布尾部的替代标准。在本文中，我们提出了新的变分模型贝叶斯分位数和预期回归，非常适合异方差噪声设置。我们的模型包括两个潜在的高斯过程，分别占条件分位数（或期望）和尺度参数的非对称似然函数。此外，我们提出了两个BO策略的基础上最大值熵搜索和汤普森采样，这是专为这样的模型，可以容纳大量的点。与现有的BO风险规避优化方法相反，我们的策略可以直接优化分位数和期望值，而不需要复制观测值或假设噪声的参数形式。如实验部分所示，所提出的方法在异方差非高斯情况下明显优于现有技术。
2022-07-07 cs.LG stat.ML
Accelerating Multi-Objective Bayesian Optimisation via Predictive-Gradient Catalysts
Loughborough University（洛辛厄姆大学）；University of Exeter（埃克塞特大学）；The University of Manchester（曼彻斯特大学）
提出利用高斯过程预测梯度作为辅助信号，增强现有Pareto兼容采集函数，加速多目标贝叶斯优化收敛到全局Pareto集。
2026-06-05 cs.LG
Stable Bayesian Optimisation via Direct Stability Quantification
Center for Pattern Recognition and Data Analytics (PRaDA)（模式识别与数据分析中心（PRaDA））；Deakin University（迪肯大学）
在本文中，我们考虑的问题找到稳定的最大值昂贵（评估）的功能。我们的动机是优化物理和工业过程，在某些输入范围内，输入的微小和不可避免的变化会导致输出的不可接受的大变化。我们的方法使用多个梯度高斯过程模型来估计指定输入扰动的最坏情况输出变化超过期望最大值的概率，然后这些概率用于（a）引导优化过程朝向满足我们的稳定性标准的解决方案，以及（b）后滤波结果以找到最佳稳定解决方案。我们展示我们的算法在合成和现实世界的问题，并证明它能够有效地找到稳定的最大值。
2019-02-21 cs.LG stat.ML
Graph Agnostic Causal Bayesian Optimisation
German Research Centre for Artificial Intelligence(DFKI)（德国人工智能研究中心(DFKI)）；University of Oxford（牛津大学）；University of Kaiserslautern-Landau（凯泽斯劳滕-兰道大学）
提出图无关因果贝叶斯优化算法，在未知因果图下通过平衡探索与利用，实现累积遗憾目标下的全局优化，并在模拟和实际应用中超越基线。
2024-11-05 cs.LG stat.ML
Return of the Latent Space COWBOYS: Re-thinking the use of VAEs for Bayesian Optimisation of Structured Spaces
School of Mathematical Sciences, Lancaster University, UK（数学科学学院，兰卡斯特大学）；Department of Applied Maths and Theoretical Physics, University of Cambridge, UK（应用数学与理论物理系，剑桥大学）
本文提出将VAE生成模型与高斯过程代理模型解耦训练并通过贝叶斯更新规则结合的新方法，在受限评估预算下提升了分子优化中识别高潜力候选对象的能力。
2025-07-05 cs.LG stat.ML
Bayesian Optimistic Optimisation with Exponentially Decaying Regret
Applied Artificial Intelligence Institute, Deakin University, Geelong, Australia（应用人工智能研究所，德金大学，澳大利亚格里尔镇）
本文提出BOO算法，在无噪声环境下通过结合贝叶斯优化与基于树的乐观优化方法，实现指数级遗憾界O(N^{-√N})。
2021-05-10 cs.LG stat.ML
Information-theoretic Inducing Point Placement for High-throughput Bayesian Optimisation
Secondmind（Secondmind公司）；University of Cambridge（剑桥大学）
稀疏高斯过程是高吞吐量贝叶斯优化（BO）循环的关键组成部分-这是一种越来越常见的设置，其中评估预算很大且高度并行。通过使用可用数据的代表性子集来构建近似后验，稀疏模型通过依赖于一小组伪观测（所谓的诱导点）而不是完整的数据集，大大降低了代理建模的计算成本。然而，目前的方法来设计诱导点是不合适的BO循环内，因为它们试图减少目标函数的全局不确定性。因此，牺牲了精确优化所需的有希望和数据密集区域的高保真度建模，并且计算资源反而浪费在对已知次优的空间区域进行建模上。受基于熵的BO方法的启发，我们提出了一种新的诱导点设计，使用原则性的信息理论标准来选择诱导点。通过选择诱导点来最大限度地减少全局不确定性和目标函数最大值的不确定性，我们构建了能够支持高精度高通量BO的代理模型。
2022-07-13 cs.LG stat.ML
Sample-efficient Bayesian Optimisation Using Known Invariances
United Kingdom Atomic Energy Authority（英国原子能管理局）；University College London（伦敦大学学院）；MediaTek Research（联发科研究院）
本文提出将已知群不变性融入高斯过程核的贝叶斯优化方法，显著提升样本效率并给出理论界，在合成函数和核聚变电流驱动设计中验证了其优越性。
2024-10-22 cs.LG
BOP-Elites, a Bayesian Optimisation algorithm for Quality-Diversity search
University of Warwick（华威大学）
质量多样性（QD）算法（例如MAP-精英）是一类优化技术，其试图从目标函数中找到一组高性能点，同时在一个或多个可解释的用户选择的特征函数上实施点的行为多样性。在本文中，我们提出了贝叶斯优化精英（BOP-Elites）算法，该算法使用贝叶斯优化技术来明确建模质量和多样性与高斯过程。通过将用户定义的特征空间区域视为“小生境”，我们的任务是在每个小生境中找到最优解。我们提出了一种新的采集功能，智能地选择新的点，提供最高的预期改善的合奏问题，确定在每个小生境的最佳解决方案。通过这种方式，每个函数评估丰富了我们的建模，并提供了对整个问题的洞察力，自然地平衡了搜索空间的探索和利用。该算法能够有效地识别出特征空间中属于小生境的搜索空间，并在每个小生境中找到最优解。它也比更简单的基准方法更有效。BOP-Elites比现有的QD算法更进一步，它量化了我们预测的不确定性，并通过代理模型提供了搜索空间的额外照明。
2020-05-08 cs.LG math.OC stat.ML
What do you Mean? The Role of the Mean Function in Bayesian Optimisation
University of Exeter（埃克塞特大学）
Bayesian optimisation is a popular approach for optimising expensive black-box functions. The next location to be evaluated is selected via maximising an acquisition function that balances exploitation and exploration. Gaussian processes, the surrogate models of choice in Bayesian optimisation, are often used with a constant prior mean function equal to the arithmetic mean of the observed function values. We show that the rate of convergence can depend sensitively on the choice of mean function. We empirically investigate 8 mean functions (constant functions equal to the arithmetic mean, minim…
2020-05-08 cs.LG stat.ML
Multi-Objective Bayesian Optimisation and Joint Inversion for Active Sensor Fusion
The University of Sydney（悉尼大学）
在用于矿物和能源资源勘探的数据采集中的关键决策过程是如何有效地组合各种传感器类型并使总成本最小化。我们提出了一个多目标优化和逆问题的概率框架，给出了一个昂贵的成本函数分配新的测量。这种新方法的目的是联合解决多线性正演模型的二维传感器数据和三维地球物理属性使用稀疏高斯过程内核，同时考虑到交叉方差的不同参数。多个优化策略进行了测试和评估的一组合成和真实的地球物理数据。我们展示了联合反问题的一个具体例子上的优势，建议在哪里放置新的岩心测量给定的二维重力和磁性传感器数据，同样的方法可以应用于各种遥感问题的线性正演模型-从限制表面访问数据采集的约束，自适应多传感器定位。
2020-10-12 cs.LG physics.data-an physics.geo-ph
Bayesian optimisation under uncertain inputs
The University of Sydney（悉尼大学）；NVIDIA（英伟达）
贝叶斯优化（BO）是一种成功的方法来优化函数，这是昂贵的评估，其观察是嘈杂的。然而，经典BO算法不考虑关于观测位置的误差，这是物理组件问题中的常见问题。在这些情况下，实际查询位置的估计也受到不确定性的影响。在这种情况下，我们提出了一个置信上限（UCB）BO问题的查询结果和真实的查询位置是不确定的算法。该算法采用高斯过程模型，以概率分布作为输入。理论结果提供了所提出的算法和传统的UCB方法内的不确定输入设置。最后，我们评估每种方法的性能实验，比较它们与其他输入噪声感知BO方法的模拟场景，涉及合成和真实数据。
2019-02-21 cs.LG cs.RO stat.ML
Approximate Bayesian Optimisation for Neural Networks
MILA（米拉研究所）
为了突出模型选择的重要性，已经做了大量的工作来自动化机器学习算法。自动化选择最佳预测模型及其相应参数的过程可以改善广泛的实际应用。贝叶斯优化（BO）使用黑盒优化方法，通过采集功能根据勘探开发权衡标准提出解决方案。BO框架施加了两个关键成分：一个概率代理模型，由未知目标函数（数据依赖）的先验信念和一个目标函数，描述如何最佳的模型拟合。选择最佳模型及其相关的超参数可能非常昂贵，并且通常使用高斯过程（GP）进行拟合，并且由于其棘手性，在某种程度上应用近似推理。然而，由于GP的规模与观察的数量立方，它一直具有挑战性的目标，其优化需要许多评估。此外，大多数真实数据集是非平稳的，这使得对代理模型的假设过于理想化。以随机方式解决分析易处理性和计算可行性的必要性使得能够确保贝叶斯优化的效率和适用性。在本文中，我们探讨了使用神经网络作为替代GP的函数分布模型，我们提供了一个密度比估计和类概率估计之间的联系的基础上近似推理，这种重新制定提供算法的效率和易处理性。
2021-08-31 cs.LG math.OC math.ST
Dimensionality Reduction Techniques for Global Bayesian Optimisation
Mathematical Institute, University of Oxford（牛津大学数学研究所）
针对贝叶斯优化可扩展性难题，提出基于变分自编码器的潜在空间贝叶斯优化改进方案，修正相关实现并集成序列域约简策略，验证了结构化潜在流形对优化性能的提升作用。
2024-12-12 cs.LG cs.NA math.NA
Nonmyopic Global Optimisation via Approximate Dynamic Programming
Delft Center for Systems and Control, Delft University of Technology（代尔夫特理工大学代尔夫特系统与控制中心）
本文提出基于近似动态规划的非我的优化策略，针对IDW和RBF模型，通过rollout和多步场景优化方案实现前瞻式优化，提升高维空间中的全局优化性能。
2026-03-26 cs.LG stat.ML
Preferential Bayesian optimisation with Skew Gaussian Processes
Trinity College（都柏林圣三一学院）；Dalle Molle Institute for Artificial Intelligence Research (IDSIA) - USI/SUPSI（达勒莫尔人工智能研究所（IDSIA）- 瑞士意大利语区应用艺术与科学大学/瑞士南部应用科学与艺术大学）
偏好贝叶斯优化（PBO）处理的优化问题，其中目标函数只能通过偏好判断来访问，例如两个候选解决方案之间的“这个比那个好”（如A/B测试或推荐系统）。PBO的最新方法使用高斯过程来模拟偏好函数，并使用伯努利似然来模拟观察到的成对比较。拉普拉斯的方法，然后计算后验推理，特别是建立一个适当的采集功能。在本文中，我们证明了真正的后验分布的偏好函数是一个斜高斯过程（SkewGP），具有高度偏斜的成对边缘，因此，表明拉普拉斯的方法通常提供了一个非常差的近似。然后，我们推导出一种有效的方法来计算精确的SkewGP后验，并使用它作为代理模型PBO采用标准的采集功能（上可信界等）。我们说明了我们的确切PBO-SkewGP在各种实验中的好处，通过显示它始终优于PBO的基础上拉普拉斯近似在收敛速度和计算时间。我们还表明，我们的框架可以扩展到处理混合偏好分类BO，二元判断（有效或无效）连同偏好判断。
2021-04-01 cs.LG math.OC stat.ML
Deep Kernel Bayesian Optimisation for Closed-Loop Electrode Microstructure Design with User-Defined Properties based on GANs
Imperial College London（帝国理工学院伦敦校区）
针对电化学储能器件电极微结构设计需求，提出基于生成对抗网络的深度核贝叶斯优化闭环算法，通过生成器潜空间关联微结构形态与传输特性，实现用户自定义属性（如比表面积、相对扩散率）的优化设计，可快速生成符合要求的真实微结构。
2025-06-07 cond-mat.mtrl-sci cs.CE cs.LG
Bayesian Search for Robust Optima
The University of Exeter（埃克塞特大学）；Swansea University（斯旺西大学）
许多昂贵的黑盒优化问题对它们的输入很敏感。在这些问题中，找到一个好的设计区域比找到一个可能脆弱的最优设计更有意义。昂贵的黑盒函数可以使用贝叶斯优化进行有效优化，其中高斯过程是一种流行的选择，作为昂贵函数的先验。我们提出了一种使用贝叶斯优化的鲁棒优化方法，以找到一个区域的设计空间中，昂贵的功能的性能是相对不敏感的输入，同时保持良好的质量。这是通过从高斯过程中采样实现来实现的，高斯过程对昂贵的函数进行建模，并评估每个实现的改进。这些改进的期望可以用进化算法来廉价地优化，以确定评估昂贵函数的下一个位置。我们描述了一个有效的过程，以找到最佳的预期改善。我们的经验表明，评估昂贵的功能在候选人的不确定性区域的模型是最不确定的，或在随机的位置，产生最佳的收敛性相比，剥削计划。我们说明了我们的方法在两个，五个和十个维度的六个测试功能，并证明它是能够超越两个国家的最先进的方法从文献中。我们还展示了我们的方法一个两个现实世界中的问题，在4和8维，其中包括训练机器人手臂，以推动物体到目标。
2021-12-15 cs.LG stat.ML
Mono-surrogate vs Multi-surrogate in Multi-objective Bayesian Optimisation
University of Exeter（埃克塞特大学）
贝叶斯优化（BO）已被广泛用于解决具有昂贵函数求值的问题。在多目标优化问题中，BO的目标是找到一组近似的Pareto最优解。在多目标BO中通常有两种方法来构建代理：通过聚合目标函数（通过使用标量化函数，也称为单代理方法）和多个代理（对于每个目标函数，也称为多代理方法）。在这两种方法中，采集功能（AF）用于指导搜索过程。单替代模型的优点是只使用一个模型，但是，该方法有两个主要的局限性。首先，标量化函数和目标函数的适应度景观可能不相似。其次，该方法假设标量化函数分布是高斯分布，因此可以使用AF的闭合形式表达。在这项工作中，我们克服了这些限制，通过建立一个代理模型为每个目标函数，并表明，标量函数分布不是高斯。我们使用广义极值分布来近似分布。标准基准和现实世界的优化问题的结果和与现有方法的比较显示了多代理方法的潜力。
2022-05-02 cs.AI cs.LG
Bayesian Unification of Gradient and Bandit-based Learning for Accelerated Global Optimisation
University of Agder（阿格德大学）
基于Bandit的优化比基于梯度的方法具有显着的优势，因为它们具有全局视角，消除了陷入局部最优的危险。然而，对于连续优化问题或具有大量动作的问题，基于强盗的方法可能会受到缓慢学习的阻碍。另一方面，基于梯度的方法通过局部优化在高维连续空间中快速导航，遵循细粒度步骤中的梯度。然而，除了容易受到局部最优，这些计划是不太适合在线学习，由于其依赖于广泛的试错之前，可以确定的最佳。在本文中，我们提出了一个贝叶斯方法，统一上述两个范例在一个单一的框架，其目的是结合他们的优势。在我们的方法的核心，我们发现一个随机线性近似的函数进行优化，其中的梯度和函数的值都明确捕获。这使我们能够从噪声函数和梯度观测中学习，并在动作空间中预测这些属性以支持优化。我们进一步提出了一个伴随的强盗驱动的勘探计划，使用贝叶斯可信的界限，权衡勘探开发。我们的实证结果表明，通过统一的强盗和梯度为基础的学习，一个获得一致的改善性能在广泛的问题环境。此外，即使梯度反馈不可用，我们的模型的灵活性，包括梯度预测，仍然允许我们优于竞争方法，尽管幅度较小。由于普遍存在的强盗为基础的优化，我们的计划开辟了改善性能的元优化和梯度相关的信息是现成的应用程序。
2017-05-28 cs.AI cs.LG
Asynchronous Batch Bayesian Optimisation with Improved Local Penalisation
University of Oxford（牛津大学）；Mind Foundry Ltd.（Mind Foundry有限公司）；Oxford-Man Institute of Quantitative Finance（牛津-曼定量金融研究所）
批量贝叶斯优化（BO）已成功应用于使用并行计算的超参数调整，但它浪费资源：提前完成工作的工人被闲置。我们解决这个问题，开发一种方法，惩罚本地异步贝叶斯优化$k$工人（PLAyBOOK），异步并行BO。我们证明经验的有效性PLAYBOOK及其变种的合成任务和现实世界的问题。我们对同步BO和异步BO进行了比较，结果表明，异步BO在挂钟时间和函数求值次数方面通常优于同步批处理BO。
2019-05-28 cs.AI cs.LG stat.ML
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University（卡内基梅隆大学）
贝叶斯优化（BO）是指一套用于全局优化昂贵的黑盒函数的技术，它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序，但现代优化任务带来了新的挑战，传统方法通常会失败。在这项工作中，我们介绍了Dragonfly，一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法，允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法，用于处理高维域，用于处理多保真度评估的方法时，廉价的近似昂贵的功能是可用的，方法优化结构化的组合空间，如空间的神经网络架构，并处理并行评估的方法。此外，我们在BO中开发了新的方法改进，用于选择贝叶斯模型，选择采集函数，并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化，并证明，当上述方法集成，它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
Bayesian Optimisation of Functions on Graphs
University of Oxford（牛津大学）
本文针对图上函数优化问题提出一种新颖的贝叶斯优化框架，通过学习图上核并采用局部建模，在合成图和真实图上验证了其有效性。
2023-10-29 cs.AI cs.LG stat.ML
Asynchronous ε-Greedy Bayesian Optimisation
University of Exeter（埃克塞特大学）
批量贝叶斯优化（BO）是一种成功的技术，用于优化昂贵的黑盒函数。异步BO可以通过在另一个评估完成后立即开始新的评估来减少挂钟时间，从而最大限度地利用资源。为了最大限度地提高资源分配，我们开发了一种新的异步BO方法，AEGiS（异步$ε$ -贪婪的全球搜索），结合贪婪的搜索，利用代理的平均预测，汤普森采样和随机选择近似帕累托集描述剥削（代理平均预测）和探索（代理后验方差）之间的权衡。我们实证证明了AEGiS在合成基准问题，元代理超参数调整问题和现实世界的问题上的功效，表明AEGiS通常优于异步BO的现有方法。当单个工作者可用时，性能不会比使用预期改进的BO差。
2021-06-11 cs.AI cs.LG stat.ML
Bayesian Optimisation for Robust Model Predictive Control under Model Parameter Uncertainty
University of Sydney（悉尼大学）；NVIDIA（英伟达）
我们提出了一种自适应优化方法调整随机模型预测控制（MPC）的超参数，同时联合估计的过渡模型参数的概率分布的基础上的性能奖励。特别是，我们开发了一个贝叶斯优化（BO）算法与异方差噪声模型来处理不同的噪声在MPC超参数和动态模型参数空间。典型的同方差噪声模型是不现实的调整MPC，因为随机控制器固有的噪声，和噪声的水平是由他们的超参数设置的影响。我们评估所提出的优化算法在模拟控制和机器人任务，我们共同推断控制和动力学参数。实验结果表明，我们的方法导致更高的累积奖励和更稳定的控制器。
2022-05-31 cs.AI cs.LG cs.RO
Ensemble Distributionally Robust Bayesian Optimisation
Faculty of Computer Science HSE University（计算机科学学院 高等经济大学）
本文提出一种计算高效的新算法，用于处理分布不确定性下的零阶优化问题，理论分析显示其具有亚线性 regrets，且实验结果与理论保证一致。
2026-11-09 cs.AI cs.LG stat.ML
Shaping of Magnetic Field Coils in Fusion Reactors using Bayesian Optimisation
UK Atomic Energy Authority（英国原子能管理局）
针对聚变反应堆高维多输出设计优化难题，提出采用多输出贝叶斯优化的AI驱动策略，可识别托卡马克环向场线圈形状优化的帕累托前沿，兼顾成本最小化与等离子体稳定性最大化。
2023-10-02 cs.AI physics.plasm-ph
Learning to Do or Learning While Doing: Reinforcement Learning and Bayesian Optimisation for Online Continuous Tuning
Deutsches Elektronen-Synchrotron DESY（德国电子同步加速器研究所）；Karlsruhe Institute of Technology KIT（卡尔斯鲁厄理工学院）
本文在真实粒子加速器的常规在线调优任务中比较 RLO 与 BO，发现 RLO 通常更优但并非总最佳，并提出算法选择准则以推动自主调优落地。
2023-06-06 cs.AI cs.LG physics.acc-ph
Alternating Optimisation and Quadrature for Robust Control
University of Oxford（牛津大学）；Inria（法国国家信息与自动化研究所）；CNRS/Université de Lorraine（法国国家科学研究中心/洛林大学）
贝叶斯优化已成功应用于各种强化学习问题。然而，在模拟器中学习最优策略的传统方法并没有利用机会通过调整某些环境变量来改善学习：这些环境变量是不可观察的，并且由物理环境中的环境随机确定，但在模拟器中是可控的。本文考虑的问题，找到一个强大的政策，同时考虑到环境变量的影响。我们提出了交替优化和正交（ALOQ），它使用贝叶斯优化和贝叶斯正交来解决这样的设置。ALOQ对随机抽样下可能无法观察到的重大罕见事件的存在具有鲁棒性，但在确定最优策略方面发挥着重要作用。不同领域的实验结果表明，ALOQ可以学习更有效和更强大的比现有的方法。
2017-12-18 cs.AI cs.LG stat.ML
Black-Box Saliency Map Generation Using Bayesian Optimisation
Council for Scientific and Industrial Research（科学与工业研究理事会）；University of Edinburgh（爱丁堡大学）；University of Pretoria（比勒陀利亚大学）
显着图通常用于计算机视觉，以提供对模型用于产生特定预测的输入区域的直观解释。显着图生成的方法有很多，但大多数都需要访问模型参数。这项工作提出了一种黑盒模型的显着图生成方法，其中没有访问模型参数，使用贝叶斯优化抽样方法。该方法的目的是找到一个特定的（黑盒）模型的预测负责的全球显着的图像区域。这是通过一种基于采样的方法来实现的，该方法旨在将图像的显着区域定位到黑盒模型中。结果表明，所提出的显着图生成方法优于基于网格的扰动方法，并执行类似于基于梯度的方法，需要访问模型参数。
2020-01-30 cs.AI cs.CV cs.LG
R-MBO: A Multi-surrogate Approach for Preference Incorporation in Multi-objective Bayesian Optimisation
University of Exeter（埃克塞特大学）
许多现实世界的多目标优化问题依赖于计算昂贵的函数评估。多目标贝叶斯优化（BO）可以用来减少计算时间，找到一组近似的帕累托最优解。在许多现实问题中，决策者对目标函数有一些偏好。在多目标BO中加入偏好的一种方法是使用标度函数并在其上构建单代理模型（单代理方法）。首先，标量化函数和目标函数的适应度景观可能不相似。其次，该方法假设标度化函数分布是高斯分布，并且因此获取函数的封闭形式表达，例如，可以使用预期的改进。我们克服了这些限制，通过建立独立的代理模型（多代理方法）对每个目标函数，并表明标量函数的分布不是高斯的。我们使用广义值分布来近似分布。我们提出了一个先验的多代理方法，将理想的目标函数值（或参考点）作为决策者的偏好，在多目标BO。基准和现实世界的优化问题的结果和比较与现有的单代理方法显示所提出的方法的潜力。
2022-04-27 cs.AI cs.LG math.PR
Policy learning for many outcomes of interest: Combining optimal policy trees with multi-objective Bayesian optimisation
Centre for Social Research and Methods（社会研究与方法中心）；Australian National University（澳大利亚国立大学）
本文提出多目标策略学习（MOPoL）方法，结合最优决策树与多目标贝叶斯优化，构建帕累托前沿以权衡多个结果，并在肯尼亚抗疟疾药物配给案例中验证其有效性。
2023-10-17 cs.AI cs.LG econ.EM
Do We Really Need to Approach the Entire Pareto Front in Many-Objective Bayesian Optimisation?
University of Birmingham（伯明翰大学）
本文探讨在有限评估预算下，是否应聚焦于寻找高质量单一解而非近似整个帕累托前沿。提出SPMO框架及ESPI函数，通过理论和实验验证其有效性。
2026-04-10 cs.AI
Interactive Text Ranking with Bayesian Optimisation: A Case Study on Community QA and Summarisation
University of Bristol（布里斯托大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
对于许多NLP应用程序，例如问答和摘要，目标是从大量候选项中选择最佳解决方案，以满足特定用户的需求。为了解决缺乏用户特定的训练数据，我们提出了一个交互式的文本排名方法，积极选择对候选人，用户从中选择最好的。与以前的策略不同，这些策略试图在整个候选空间中学习排名，我们的方法采用贝叶斯优化，将用户的标签工作集中在高质量的候选人上，并以贝叶斯方式整合先验知识，以更好地应对小数据场景。我们将我们的方法应用于社区问答（cQA）和提取摘要，发现它显着优于现有的交互式方法。我们还表明，通过我们的方法学习的排名函数是强化学习的有效奖励函数，它提高了交互式摘要的最新技术水平。
2020-09-12 cs.AI cs.CL
Adversarial Attacks on Graph Classification via Bayesian Optimisation
University of Oxford（牛津大学）
图神经网络是一种在广泛的基于图的学习任务中有效的流行模型，已被证明容易受到对抗性攻击。虽然大多数文献都集中在节点级分类任务中的这种脆弱性上，但很少有人致力于分析对图级分类的对抗性攻击，这是生物化学和社交网络分析等众多现实应用的一个重要问题。现有的几种方法通常需要不切实际的设置，例如访问受害者模型的内部信息，或者不切实际的大量查询。我们提出了一种新的贝叶斯优化为基础的攻击方法的图分类模型。我们的方法是黑盒，查询效率和吝啬的扰动。我们经验验证了所提出的方法的有效性和灵活性，广泛的图形分类任务，涉及不同的图形属性，约束和攻击模式。最后，我们分析了产生的对抗样本背后的常见可解释模式，这可能会进一步揭示图分类模型的对抗鲁棒性。
2021-11-04 cs.AI cs.CR cs.LG
Maximizing Uncertainty for Federated learning via Bayesian Optimisation-based Model Poisoning
Loughborough University（拉夫堡大学）；University of York（约克大学）；Queen Mary University of London（伦敦大学玛丽女王学院）；University of Bristol（布里斯托大学）；Nanyang Technological University（南洋理工大学）；Institute of High Performance Computing（高性能计算研究所）；A*STAR（新加坡科技研究局）
本文提出了一种名为Delphi的联邦学习模型投毒攻击方法，通过贝叶斯优化和最小二乘信赖域搜索投毒参数以最大化全局模型输出的不确定性，并利用KL散度量化不确定性，揭示了FL系统的脆弱性。
2025-01-15 cs.AI cs.CV cs.LG
Efficient Real-world Testing of Causal Decision Making via Bayesian Experimental Design for Contextual Optimisation
University of Oxford（牛津大学）；Microsoft Research Cambridge（微软剑桥研究院）
对使用因果机器学习模型做出的决策进行真实世界的测试是其成功应用的必要先决条件。我们专注于评估和改进情境治疗分配决策：这些是应用于客户的个性化治疗，每个客户都有自己的情境信息，目的是最大化奖励。在本文中，我们介绍了一个模型无关的框架，收集数据，评估和改善上下文决策，通过贝叶斯试验设计。具体来说，我们的方法是用于数据效率的评价过去的治疗分配的遗憾。与A/B测试等方法不同，我们的方法避免了分配已知高度次优的治疗方法，同时进行一些探索以收集相关信息。我们通过引入基于信息的设计目标来实现这一目标，并对该目标进行端到端优化。我们的方法适用于离散和连续的治疗。比较我们的信息理论的方法，在几个模拟研究的基线证明了我们所提出的方法的优越性能。
2022-07-12 cs.AI cs.LG stat.CO
Bayesian network learning with cutting planes
University of York（约克大学）
研究了在有限的父集大小下，从完全离散数据中学习贝叶斯网络结构的问题。学习被明确地转换为优化问题，其中目标是找到使对数边际似然（BDe得分）最大化的BN结构。可编程逻辑器件编程，特别是SCIP框架，用于解决这个优化问题。在整数规划求解过程中，以割平面的形式加入了非循环约束。找到好的切割平面是该方法成功的关键-使用子IP来实现对这样的切割平面的搜索。结果表明，这是一个特别快的方法，精确BN学习。
2012-02-14 cs.AI
Optimisation & Generalisation in Networks of Neurons
California Institute of Technology（加州理工学院）
本论文的目标是发展人工神经网络学习的优化和泛化理论基础。在优化方面，提出了一种新的理论框架，用于推导依赖于结构的一阶优化算法。该方法通过将损失函数的“功能优化”与对神经结构的显式依赖进行编码的“结构扰动边界”相结合来工作。该框架产生了在学习问题中传递超参数的优化方法。在推广方面，提出了一个新的对应关系网络和个人网络之间的合奏。有人认为，由于网络宽度和标准化的利润是采取大，空间的网络，内插一个特定的训练集集中在一个聚合的贝叶斯方法称为“贝叶斯点机”。这种对应关系为将PAC-贝叶斯推广定理转移到单个网络提供了一条途径。更广泛地说，这些通信为正则化在参数远多于数据的网络中的作用提供了新的视角。
2022-10-18 cs.AI cs.IT cs.LG
Rapidly adapting robot swarms with Swarm Map-based Bayesian Optimisation
University of Southampton（南安普顿大学）
针对集群机器人应对环境扰动的性能恢复难题，提出SMBO和SMBO-Dec两种基于Swarm Map的贝叶斯优化算法，通过搜索控制器存档实现快速行为适应，在多种干扰实验中最多30次评估内性能提升达80%。
2020-12-21 cs.AI cs.MA cs.NE
AntBO: Towards Real-World Automated Antibody Design with Combinatorial Bayesian Optimisation
University of Edinburgh（爱丁堡大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Oslo（奥斯陆大学）；American University of Beirut Medical Centre（贝鲁特美国大学医学中心）；University College London（伦敦大学学院）
抗体是能够高度特异性分子识别的典型Y形多聚体蛋白。位于抗体可变链末端的CDRH 3区主导抗原结合特异性。因此，设计最佳的抗原特异性CDRH 3区以开发治疗性抗体是优先考虑的。然而，CDRH 3序列空间的组合性质使得不可能使用计算方法彻底且有效地搜索最佳结合序列。在这里，我们提出了\texttt{AntBO}：一个组合贝叶斯优化框架，使有效的\textit{in silico}设计的CDRH 3区。理想情况下，预期抗体具有高靶标特异性和可开发性。我们引入了CDRH 3信任区，将搜索限制在具有有利可开发性评分的序列中，以实现这一目标。对于基准测试，\texttt{AntBO}使用\texttt{Absolut!}软件套件作为黑盒预言机，以不受约束的方式~ \citep{robert2021one}对设计的抗体\textit{in silico}的靶特异性和亲和力进行评分。对\texttt{Absolut!}中使用的$159$离散抗原进行的实验证明了\texttt{AntBO}在设计具有不同生物物理特性的CDRH 3区中的益处。在$200$下调用黑盒oracle时，\texttt{AntBO}可以建议优于从690万个实验获得的CDRH 3和常用的遗传算法基线中得出的最佳结合序列的抗体序列。此外，\texttt{AntBO}仅在38种蛋白质设计中发现了非常高亲和力的CDRH 3序列，同时不…
2022-10-14 cs.AI cs.LG cs.NE
Converge Then Diversify: Decoupling Convergence and Diversity in Multi-Objective Bayesian Optimisation
University of Birmingham（伯明翰大学）
针对多目标贝叶斯优化中同时优化收敛与多样性的困难，提出先收敛后发散的两阶段方法，在紧张预算下显著优于现有方法。
2026-09-15 cs.AI stat.ML
