Bayesian Optimisation for Constrained Problems
University of Warwick（华威大学）
许多现实世界的优化问题，如机器学习或基于仿真的优化中的超参数调整，可以用公式表示为昂贵的评估黑盒函数。解决此类问题的一种流行方法是贝叶斯优化（BO），它基于迄今为止收集的数据构建响应面模型，并使用模型预测的均值和不确定性来决定下一步收集什么信息。在本文中，我们提出了一个新的变种，著名的知识梯度采集功能，使其能够处理约束。我们经验比较新算法与其他四个国家的最先进的约束贝叶斯优化算法，并证明其优越的性能。我们还证明了在无限预算极限下的理论收敛性。
2021-05-27 cs.LG stat.ML
Bayesian Deck-of-cards-based Ordinal Regression with Sequential Preference Elicitation
Poznań University of Technology（波兹南理工大学）；University of Catania（卡塔尼亚大学）
提出B-DOR，一种基于扑克牌式排序的贝叶斯序数回归方法，通过累积链接似然建模偏好强度，采用两种贝叶斯推断算法并支持多步诱导，实验证明其优于现有方法并适用于综合指标构建。
2026-09-30 cs.LG math.OC stat.ML
Theoretical Analysis of Bayesian Optimisation with Unknown Gaussian Process Hyper-Parameters
University of Oxford（牛津大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
贝叶斯优化作为优化机器学习算法和模型的参数的工具已经获得了极大的普及。有点讽刺的是，设置贝叶斯优化方法的超参数是出了名的困难。虽然已经提出了合理的实际解决方案，但它们往往无法找到最佳的最佳方案。令人惊讶的是，在文献中几乎没有对这个关键问题进行理论分析。为了解决这个问题，我们推导出一个累积的遗憾界贝叶斯优化与高斯过程和未知的核超参数的随机设置。该界适用于期望的改进捕获函数和亚高斯观测噪声，为我们设计超参数估计方法提供了指导。一个简单的模拟演示了遵循这些准则的重要性。
2014-06-30 cs.LG stat.ML
Bayesian Optimisation over Multiple Continuous and Categorical Inputs
University of Oxford（牛津大学）
包括连续和分类输入的黑盒问题的有效优化是重要的，但也带来了重大挑战。我们提出了一种新的方法，连续和分类贝叶斯优化（CoCaBO），它结合了多武装土匪和贝叶斯优化的优势，选择分类和连续输入的值。我们使用一个高斯过程内核对这个混合类型空间进行建模，该内核旨在允许跨多个分类变量共享信息，每个变量都有多个可能的值;这使得CoCaBO能够有效地利用所有可用数据。我们将我们的方法扩展到批量设置，并提出了一个有效的选择过程，动态平衡探索和开发，同时鼓励批量多样性。我们的经验表明，我们的方法优于现有的方法在合成和现实世界的优化任务与连续和分类输入。
2020-08-09 cs.LG stat.ML
Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation
稀疏高斯过程是高吞吐量贝叶斯优化（BO）循环的关键组成部分，然而，我们发现，现有的方法分配其诱导点严重妨碍优化性能。通过利用确定性点过程的质量多样性分解，我们提出了第一个专门为BO设计的诱导点分配策略。与现有的方法，只寻求减少目标函数的全局不确定性，我们的方法提供了精确优化所需的有前途的区域的本地高保真度建模。更一般地说，我们证明了我们提出的框架提供了一种灵活的方式来分配稀疏模型的建模能力，因此适合广泛的下游顺序决策任务。
2023-02-23 cs.LG stat.ML
BOP-Elites, a Bayesian Optimisation algorithm for Quality-Diversity search
University of Warwick（华威大学）
质量多样性（QD）算法（例如MAP-精英）是一类优化技术，其试图从目标函数中找到一组高性能点，同时在一个或多个可解释的用户选择的特征函数上实施点的行为多样性。在本文中，我们提出了贝叶斯优化精英（BOP-Elites）算法，该算法使用贝叶斯优化技术来明确建模质量和多样性与高斯过程。通过将用户定义的特征空间区域视为“小生境”，我们的任务是在每个小生境中找到最优解。我们提出了一种新的采集功能，智能地选择新的点，提供最高的预期改善的合奏问题，确定在每个小生境的最佳解决方案。通过这种方式，每个函数评估丰富了我们的建模，并提供了对整个问题的洞察力，自然地平衡了搜索空间的探索和利用。该算法能够有效地识别出特征空间中属于小生境的搜索空间，并在每个小生境中找到最优解。它也比更简单的基准方法更有效。BOP-Elites比现有的QD算法更进一步，它量化了我们预测的不确定性，并通过代理模型提供了搜索空间的额外照明。
2020-05-08 cs.LG math.OC stat.ML
Data-driven Prior Learning for Bayesian Optimisation
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
针对贝叶斯优化迁移学习强相似性假设的局限，提出仅需景观形状相似的弱假设，通过PLeBO学习高斯过程超参数先验，在合成数据和空气污染优化任务上验证了其用更少评估找到优质输入的有效性。
2024-04-19 cs.LG stat.ML
Are we Forgetting about Compositional Optimisers in Bayesian Optimisation?
Huawei R&D UK（华为英国研发部）；University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
贝叶斯优化提出了一个样本效率的方法，为全球优化。在这个框架内，一个关键的性能确定子程序是最大化的采集功能，一个任务复杂的事实，即采集功能往往是非凸的，因此非平凡的优化。在本文中，我们进行了全面的实证研究的方法，以最大限度地提高收购功能。此外，通过推导新颖的，但数学上等价的，流行的采集功能的组成形式，我们重铸的最大化任务作为一个组成优化问题，使我们能够受益于广泛的文献在这一领域。我们强调的经验优势的合成方法，在3958个单独的实验，包括合成优化任务，以及贝叶斯标记的任务，以获取功能最大化。鉴于采集函数最大化子例程的一般性，我们认为，采用组合优化器有可能在贝叶斯优化目前正在应用的所有领域产生性能改善。
2020-12-17 cs.LG stat.ML
Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation
Applied Artificial Intelligence Institute（应用人工智能研究院）
为了提高贝叶斯优化的性能，我们开发了一种改进的高斯过程置信上限（GP-UCB）获取函数。这是通过从分布中采样探索-开发权衡参数来完成的。我们证明，这允许预期的权衡参数被改变，以更好地适应问题，而不损害功能的贝叶斯遗憾的约束。我们还提供了结果表明，我们的方法在一系列现实世界和合成问题中实现了比GP-UCB更好的性能。
2020-06-08 cs.LG stat.ML
Bayesian Optimisation for Mixed-Variable Inputs using Value Proposals
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Manufacturing, CSIRO（澳大利亚联邦科学与工业研究组织制造部）
许多现实世界的优化问题都是针对分类变量和连续变量定义的，但贝叶斯优化（BO）等高效优化方法并不是为了处理此类混合变量搜索空间而设计的。最近的方法来解决这个问题投的分类变量的选择作为一个强盗问题，独立操作旁边的BO组件，优化连续变量。在本文中，我们采用了一个整体的观点，旨在巩固优化的分类和连续的子空间下一个单一的收购指标。我们从ExpectedImprovement标准中获得候选项，我们称之为值建议，并使用这些建议对输入的分类和连续分量进行选择。我们表明，这种统一的方法显着优于现有的混合变量优化方法在几个混合变量的黑盒优化任务。
2022-02-17 cs.LG stat.ML
Automatic Tuning of Stochastic Gradient Descent with Bayesian Optimisation
许多机器学习模型需要基于运行随机梯度下降的训练过程。这些算法的效率的一个关键因素是学习率计划的选择。虽然使用贝叶斯优化找到良好的学习率时间表已经被几位作者解决，但以数据驱动的方式动态调整它是一个悬而未决的问题。这对于需要训练单个昂贵模型的用户具有很高的实际重要性。为了解决这个问题，我们引入了一个原始的概率模型，用于跟踪优化器，基于潜在的高斯过程和自回归/回归公式，可以灵活地调整新的学习率值引起的行为突变。如图所示，该模型非常适合解决一系列问题：首先，用于冷启动运行的学习率的在线适应;然后，用于调整一组类似任务的调度（在经典BO设置中），以及为新任务热启动它。
2020-06-25 cs.LG math.OC stat.ML
Think Global and Act Local: Bayesian Optimisation over High-Dimensional Categorical and Mixed Search Spaces
University of Oxford（牛津大学）；Amazon（亚马逊）；RMIT University（皇家墨尔本理工大学）
高维黑箱优化仍然是一个重要的，但众所周知的挑战性问题。尽管贝叶斯优化方法在连续域上取得了成功，但分类域或混合连续变量和分类变量的域仍然具有挑战性。我们提出了一种新的解决方案-我们结合本地优化与定制的内核设计，有效地处理高维分类和混合搜索空间，同时保持样本效率。我们进一步推导出所提出的方法的收敛保证。最后，我们通过经验证明，我们的方法在性能、计算成本或两者方面，在各种合成和现实任务上优于当前的基线。
2021-06-10 cs.LG stat.ML
Intrinsic Bayesian Optimisation on Complex Constrained Domain
贝叶斯优化算法在欧氏空间中的成功的动机，我们提出了一种新的方法来构建内在贝叶斯优化（在BO）流形上的主要重点是复杂的约束域或不规则形状的空间产生的R2，R3及以后的子流形。数据可以在空间域中收集，但限于与地理特征相对应的复杂或结构复杂的区域，例如湖泊。传统的贝叶斯优化（Tra-BO）定义的径向基函数（RBF）内核不能适应这些复杂的约束条件。In-BO使用稀疏固有高斯过程（SIn-GP）代理模型来考虑流形的几何结构。利用流形的热核构造了SInGP，热核被估计为流形上布朗运动的转移密度。通过对U形域、Bitten环面和咸海真实数据集的模拟研究，证明了In-BO的效率。它的性能相比，传统的BO，这是定义在欧氏空间。
2023-01-29 cs.LG stat.ML
How Bayesian Should Bayesian Optimisation Be?
University of Exeter（埃克塞特大学）
贝叶斯优化（BO）使用概率代理模型-通常是高斯过程（GP）-用于优化昂贵的黑盒函数。在每次BO迭代中，GP超参数通过最大化边缘似然来拟合先前评估的数据。然而，这并不能解释超参数本身的不确定性，导致模型预测过于自信。这种不确定性可以通过采用贝叶斯方法将模型超参数边缘化来解释。我们调查是否完全贝叶斯处理的高斯过程超参数在BO（FBBO）导致改进的优化性能。由于分析方法是棘手的，我们比较FBBO使用三个近似推理方案的最大似然方法，使用预期改善（EI）和置信上限（UCB）的收购功能与ARD和各向同性Matern内核配对，在15个著名的基准问题4观测噪声设置。使用具有ARD内核的EI的FBBO在无噪声设置中导致最佳性能，当噪声增加时，BO分量的组合之间的差异小得多。FBBO会导致UCB的过度勘探，但对EI无害。因此，我们建议FBBO使用带有ARD内核的EI作为BO的默认选择。
2021-05-03 cs.LG stat.ML
Bayesian functional optimisation with shape prior
Deakin University（迪肯大学）；Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Institute for Frontier Materials（前沿材料研究所）
现实世界的实验是昂贵的，因此重要的是要达到一个目标，在最小数量的实验。实验过程通常涉及随时间变化的控制变量。这样的问题可以公式化为一个功能优化问题。我们开发了一种新的贝叶斯优化框架，这样的功能优化昂贵的黑箱过程。我们使用Bernstein多项式基表示控制函数，并在系数空间中进行优化。我们得出的理论和实践需要动态调整阶的多项式的程度，并显示如何先验信息的形状可以被集成。我们证明了我们的方法对于短聚合物纤维设计和优化深度网络的学习率调度的有效性。
2020-02-25 cs.LG stat.ML
Incorporating Expert Prior in Bayesian Optimisation via Space Warping
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能研究所）
贝叶斯优化是一个著名的样本有效的方法，用于优化昂贵的黑盒函数。然而，当处理大的搜索空间时，该算法在达到函数的最优值之前会经过几个低函数值区域。由于函数评估在金钱和时间方面都是昂贵的，因此可能希望缓解这个问题。平息这种冷启动阶段的一种方法是使用可以加速优化的先验知识。在其标准形式中，贝叶斯优化假设搜索空间中的任何点是最优的可能性是相等的。因此，任何可以提供关于函数的最优性的信息的先验知识都将提高优化性能。在本文中，我们表示的先验知识的函数最优通过一个先验分布。然后，先验分布被用来扭曲的搜索空间在这样一种方式，空间得到扩大周围的高概率区域的功能最优和收缩周围的低概率区域的最优。我们通过重新定义核矩阵，将此先验直接纳入函数模型（高斯过程），这使得该方法可以与任何采集函数一起工作，即采集不可知方法。我们通过优化的几个基准函数和超参数调整的两个算法：支持向量机（SVM）和随机森林，我们的方法优于标准贝叶斯优化方法。
2020-03-27 cs.LG stat.ML
Fast Information-theoretic Bayesian Optimisation
信息理论贝叶斯优化技术已经证明了最先进的性能，在解决重要的全球优化问题。然而，目前的信息理论的方法需要许多近似的实施，引入经常禁止计算开销和限制的选择内核可用于建模的目标。我们开发了一个快速的信息理论贝叶斯优化方法，FITBO，避免了需要采样的全球最小，从而显着减少计算开销。此外，与现有的方法相比，我们的方法面临较少的限制核的选择，并享有处理输出空间的优点。我们的经验表明，FITBO继承了与信息理论贝叶斯优化相关的性能，同时比更简单的贝叶斯优化方法，如预期改善更快。
2018-06-06 stat.ML
Long-run Behaviour of Multi-fidelity Bayesian Optimisation
University College London（伦敦大学学院）；Matterhorn Studio（马特霍恩工作室）
本研究通过基准实验探究多保真贝叶斯优化在长期运行中的潜在不佳表现，分析其场景与原因，以评估其实际应用可靠性。
2023-12-19 cs.LG stat.ML
The case for fully Bayesian optimisation in small-sample trials
the University of Melbourne（墨尔本大学）
虽然样本效率是使用贝叶斯优化的主要动机时，黑盒功能是昂贵的评估，基于第二类最大似然（ML-II）的标准方法可能会失败，并导致在小样本试验中令人失望的性能。本文提供了三个令人信服的理由，采用完全贝叶斯优化（FBO）作为替代方案。首先，ML-II的失败比使用人为设置的现有研究所暗示的更常见。其次，FBO比ML-II更健壮，而健壮性的代价几乎是微不足道的。第三，FBO已经变得易于实现，并且速度足够快。本文使用相关实验来支持这一论点，这些实验反映了当前关于模型、算法和软件平台的实践。由于收益似乎超过了成本，研究人员应该考虑在他们的应用中采用FBO，这样他们就可以防止潜在的失败，最终浪费宝贵的研究资源。
2022-08-30 cs.LG stat.ML
Achieving Robustness to Aleatoric Uncertainty with Heteroscedastic Bayesian Optimisation
University of Cambridge（剑桥大学）
贝叶斯优化是一种样本效率高的搜索方法，对加速药物和材料发现计划具有很大的希望。然而，在贝叶斯优化策略中经常被忽视的建模考虑是异方差任意不确定性的表示。在许多实际应用中，期望识别具有低任意噪声的输入，其示例可以是响应于噪声制造过程而一致地显示鲁棒特性的材料成分。在本文中，我们提出了一个异方差贝叶斯优化方案能够代表和最小化任意噪声在输入空间。我们的计划采用了异方差高斯过程（GP）代理模型结合两个简单的适应现有的收购功能。首先，我们扩展了增广预期改进（AEI）启发式的异方差设置，第二，我们引入任意噪声惩罚预期改进（ANPEI）启发式。这两种方法都能够惩罚任意噪声的建议，并产生改进的性能相对于同方差贝叶斯优化和随机抽样的玩具问题，以及两个现实世界的科学数据集。代码可从以下网址获得：\url{https://github.com/Ryan-Rhys/Heteroscedastic-BO}
2022-05-20 cs.LG stat.ML
Bayesian Machine Learning for Estimating Optimal Dynamic Treatment Regimes with Ordinal Outcomes
本文提出将有序贝叶斯加性回归树（OBART）纳入贝叶斯机器学习框架，用于估计有序结局下的最优动态治疗方案并量化不确定性，通过模拟和戒烟试验数据验证了方法的有效性。
2025-03-08 stat.ME
A Unified Bayesian Nonparametric Framework for Ordinal, Survival, and Density Regression Using the Complementary Log-Log Link
本文提出统一贝叶斯非参数框架，利用互补对数-对数链接解决有序回归、生存分析和密度回归问题，结合贝叶斯加性回归树实现便捷计算并验证理论性质。
2025-02-02 stat.ME
Distributionally Robust Optimisation with Bayesian Ambiguity Sets
University of Warwick（华威大学）
本文提出DRO-BAS方法，利用后验信息构建贝叶斯模糊集并对最坏情况风险进行优化，以缓解模型不确定性和有限噪声观测导致的次优决策问题，并在报童问题中验证了其优于现有贝叶斯DRO方法的样本外鲁棒性。
2024-09-05 cs.LG stat.ML
Bayesian Nonparametric Modeling for Multivariate Ordinal Regression
通常假设单变量或多变量有序响应来自潜在连续参数分布，协变量效应线性进入。本文介绍了一种单变量和多变量有序回归的贝叶斯非参数建模方法，该方法基于潜响应和协变量的联合分布的混合建模。建模框架可以高度灵活地推断有序回归关系，避免协变量效应中的线性或加性假设。在标准参数有序回归模型中，计算挑战来自于可识别性约束和需要非标准推理技术的参数估计。非参数模型的一个关键特征是它实现了推理的灵活性，同时避免了这些困难。特别是，我们建立了充分支持的非参数混合模型下的固定截止点，通过离散化的潜在连续响应与顺序响应。通过应用到两个数据集的计量经济学，一个例子，涉及臭氧浓度的回归关系，和多评价协议问题的建模方法的实际效用说明。
2016-09-20 stat.ME
Practical Bayesian Learning of Neural Networks via Adaptive Optimisation Methods
Oxford University（牛津大学）
我们引入了一个新的框架，估计的后验分布的权重的神经网络，基于一个新的概率解释的自适应优化算法，如AdaGrad和亚当。我们证明了我们的贝叶斯亚当方法，巴达姆，通过实验表明，学习的不确定性正确地涉及到权重的预测能力的重量修剪的有效性。我们还证明了质量的派生的不确定性措施，通过比较巴达姆的性能标准的方法在汤普森采样设置多武装土匪，需要良好的不确定性措施的代理，以平衡勘探和开采。
2020-07-20 cs.LG stat.ML
Asynchronous Batch Bayesian Optimisation with Improved Local Penalisation
University of Oxford（牛津大学）；Mind Foundry Ltd.（Mind Foundry有限公司）；Oxford-Man Institute of Quantitative Finance（牛津-曼定量金融研究所）
批量贝叶斯优化（BO）已成功应用于使用并行计算的超参数调整，但它浪费资源：提前完成工作的工人被闲置。我们解决这个问题，开发一种方法，惩罚本地异步贝叶斯优化$k$工人（PLAyBOOK），异步并行BO。我们证明经验的有效性PLAYBOOK及其变种的合成任务和现实世界的问题。我们对同步BO和异步BO进行了比较，结果表明，异步BO在挂钟时间和函数求值次数方面通常优于同步批处理BO。
2019-05-28 cs.AI cs.LG stat.ML
Choice functions based multi-objective Bayesian optimisation
School of Computer Science and Statistics, Trinity College Dublin（都柏林圣三一学院计算机科学与统计学学院）；Dalle Molle Institute for Artificial Intelligence Research (IDSIA)（达勒·莫勒人工智能研究所（IDSIA））
在这项工作中，我们引入了一个新的框架，多目标贝叶斯优化，其中多目标函数只能通过选择判断，如“我选择选项A，B，C中的这五个选项A，B，C，D，E”。选项D被拒绝的事实意味着在所选的选项A、B、C中至少有一个选项是我严格偏好于D的（但我不必指定是哪一个）。我们假设对于某个维度$n_e$存在一个潜在向量函数f，它将选项嵌入到n维的实向量空间中，因此选择集可以通过非支配选项的帕累托集来表示。通过在f上放置一个高斯过程先验，并推导出一个新的选择数据的似然模型，我们提出了一个贝叶斯框架的选择函数学习。然后，我们应用这个代理模型来解决一个新的多目标贝叶斯优化从选择数据的问题。
2021-10-15 cs.LG stat.ML
A Bayesian group sequential schema for ordinal endpoints
在临床研究中，顺序终点很常见。例如，对于COVID-19，最常用的终点是7点顺序量表。另一个例子是在II期癌症研究中，疗效通常被评估为基于实体瘤缓解水平的有序变量，分为四类：完全缓解、部分缓解、疾病稳定和进展，尽管在实践中通常使用二分法。然而，尽管Whitehead等人（1993，2017）、Jaki等人（2003）列出了一些设计，但缺乏顺序终点的设计。在本文中，我们提出了一个通用的组顺序模式的基础上贝叶斯方法的顺序端点，包括三种方法，比例优势模型（PO）的基础上，非比例优势模型（NPO）的基础上，PO/NPO开关模型的设计，这使得我们提出的方法通用，能够处理各种情况。我们进行了广泛的模拟，以证明所提出的方法和R包贝叶斯有序设计的理想性能也已开发。
2022-06-09 stat.ME
Preferential Bayesian optimisation with Skew Gaussian Processes
Trinity College（都柏林圣三一学院）；Dalle Molle Institute for Artificial Intelligence Research (IDSIA) - USI/SUPSI（达勒莫尔人工智能研究所（IDSIA）- 瑞士意大利语区应用艺术与科学大学/瑞士南部应用科学与艺术大学）
偏好贝叶斯优化（PBO）处理的优化问题，其中目标函数只能通过偏好判断来访问，例如两个候选解决方案之间的“这个比那个好”（如A/B测试或推荐系统）。PBO的最新方法使用高斯过程来模拟偏好函数，并使用伯努利似然来模拟观察到的成对比较。拉普拉斯的方法，然后计算后验推理，特别是建立一个适当的采集功能。在本文中，我们证明了真正的后验分布的偏好函数是一个斜高斯过程（SkewGP），具有高度偏斜的成对边缘，因此，表明拉普拉斯的方法通常提供了一个非常差的近似。然后，我们推导出一种有效的方法来计算精确的SkewGP后验，并使用它作为代理模型PBO采用标准的采集功能（上可信界等）。我们说明了我们的确切PBO-SkewGP在各种实验中的好处，通过显示它始终优于PBO的基础上拉普拉斯近似在收敛速度和计算时间。我们还表明，我们的框架可以扩展到处理混合偏好分类BO，二元判断（有效或无效）连同偏好判断。
2021-04-01 cs.LG math.OC stat.ML
Bayesian Quantile and Expectile Optimisation
Secondmind Labs（Secondmind实验室）；Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）
贝叶斯优化（BO）被广泛用于优化随机黑箱函数。虽然大多数BO方法专注于优化条件期望，但许多应用程序需要规避风险的策略，并且需要考虑考虑分布尾部的替代标准。在本文中，我们提出了新的变分模型贝叶斯分位数和预期回归，非常适合异方差噪声设置。我们的模型包括两个潜在的高斯过程，分别占条件分位数（或期望）和尺度参数的非对称似然函数。此外，我们提出了两个BO策略的基础上最大值熵搜索和汤普森采样，这是专为这样的模型，可以容纳大量的点。与现有的BO风险规避优化方法相反，我们的策略可以直接优化分位数和期望值，而不需要复制观测值或假设噪声的参数形式。如实验部分所示，所提出的方法在异方差非高斯情况下明显优于现有技术。
2022-07-07 cs.LG stat.ML
Stable Bayesian Optimisation via Direct Stability Quantification
Center for Pattern Recognition and Data Analytics (PRaDA)（模式识别与数据分析中心（PRaDA））；Deakin University（迪肯大学）
在本文中，我们考虑的问题找到稳定的最大值昂贵（评估）的功能。我们的动机是优化物理和工业过程，在某些输入范围内，输入的微小和不可避免的变化会导致输出的不可接受的大变化。我们的方法使用多个梯度高斯过程模型来估计指定输入扰动的最坏情况输出变化超过期望最大值的概率，然后这些概率用于（a）引导优化过程朝向满足我们的稳定性标准的解决方案，以及（b）后滤波结果以找到最佳稳定解决方案。我们展示我们的算法在合成和现实世界的问题，并证明它能够有效地找到稳定的最大值。
2019-02-21 cs.LG stat.ML
Learning Bayesian Networks from Ordinal Data
贝叶斯网络是研究复杂系统中变量依赖结构的有力框架。贝叶斯网络的学习问题与给定的数据类型紧密相关。有序数据，如癌症的阶段，评级量表调查问题，以及考试的字母等级，在应用研究中无处不在。然而，现有的解决方案主要针对连续和标称数据。在这项工作中，我们提出了一个迭代的评分和搜索方法-称为有序结构EM（OSEM）算法-学习贝叶斯网络从有序数据。与为名义数据设计的传统方法不同，我们明确尊重类别之间的排序。更确切地说，我们假设有序变量起源于边缘离散化的一组高斯变量，其在潜在空间中的结构依赖遵循有向非循环图。然后，我们采用结构期望最大化算法，并推导出封闭形式的评分函数，有效的图搜索。通过仿真研究，我们说明了OSEM算法的优越性能相比的替代品，并分析了各种因素，可能会影响学习精度。最后，我们证明了我们的方法的实用性与现实世界中的应用心理调查数据，从408例共病症状的强迫症和抑郁症。
2021-11-12 stat.ME
Graph Agnostic Causal Bayesian Optimisation
German Research Centre for Artificial Intelligence(DFKI)（德国人工智能研究中心(DFKI)）；University of Oxford（牛津大学）；University of Kaiserslautern-Landau（凯泽斯劳滕-兰道大学）
提出图无关因果贝叶斯优化算法，在未知因果图下通过平衡探索与利用，实现累积遗憾目标下的全局优化，并在模拟和实际应用中超越基线。
2024-11-05 cs.LG stat.ML
Bayesian Optimisation vs. Input Uncertainty Reduction
University of Warwick（华威大学）
仿真器通常需要从真实世界数据估计的校准输入，并且估计的质量可以显著影响仿真输出。特别是当执行仿真优化以找到最佳解决方案时，输入中的不确定性会显著影响找到的解决方案的质量。一种补救方法是寻找在不确定的输入范围内平均具有最佳性能的解决方案，从而产生最佳折衷解决方案。我们考虑更一般的设置，用户可以在运行模拟或收集真实世界数据之间进行选择。用户可以选择输入和解决方案，并观察模拟输出，或者改为查询外部数据源，从而改善输入估计，从而能够搜索更集中、更少妥协的解决方案。我们显式地检查模拟和真实数据汇集之间的权衡，以找到模拟器与真实输入的最佳解决方案。使用的信息程序的值，我们提出了一种新的统一的模拟优化程序称为贝叶斯信息收集和优化（BICO），在每次迭代中，自动确定这两个动作（运行模拟或数据汇集）是更有益的。数值实验表明，该算法能够自动确定优化和数据汇集之间的适当平衡。
2020-05-31 cs.LG stat.ML
Return of the Latent Space COWBOYS: Re-thinking the use of VAEs for Bayesian Optimisation of Structured Spaces
School of Mathematical Sciences, Lancaster University, UK（数学科学学院，兰卡斯特大学）；Department of Applied Maths and Theoretical Physics, University of Cambridge, UK（应用数学与理论物理系，剑桥大学）
本文提出将VAE生成模型与高斯过程代理模型解耦训练并通过贝叶斯更新规则结合的新方法，在受限评估预算下提升了分子优化中识别高潜力候选对象的能力。
2025-07-05 cs.LG stat.ML
GIBBON: General-purpose Information-Based Bayesian OptimisatioN
Lancaster University（兰卡斯特大学）；Microsoft Research（微软研究院）
本文介绍了一种通用的扩展最大值熵搜索，贝叶斯优化（BO）的流行方法。提出了一种新的近似的信息增益-信息理论的数量中心解决一系列BO问题，包括噪声，多保真度和批量优化跨连续和高度结构化的离散空间。在此之前，这些问题已经在信息理论BO中单独解决，每个问题都需要不同的复杂近似方案，除了批次BO之外，之前没有提出计算轻量级的信息理论方法。GIBBON（General-purpose Information-Based Bayesian OptimisatioN）提供了一个适用于上述所有方法的单一原则框架，其性能优于现有方法，同时大幅降低了计算开销。此外，GIBBON不要求问题的搜索空间是欧几里得的，因此是第一个高性能但计算量小的采集函数，支持在一般高度结构化的输入空间（如分子搜索和基因设计）上进行批量BO。此外，我们的原则推导GIBBON产生一个流行的批量BO启发式的基础上确定点过程的自然解释。最后，我们分析了GIBBON在一套合成基准任务，分子搜索循环，并作为一个具有挑战性的批处理多保真度框架的一部分，与可控的实验噪声的问题。
2021-10-26 cs.LG stat.ML
Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces
Applied Artificial Intelligence Institute（应用人工智能研究所）；Deakin University（德金大学）
本文提出了一种扩展搜索空间的贝叶斯优化算法，通过超调和级数控制扩展率，实现亚线性 regrets 界限，并在高维空间中验证了其优越性。
2020-11-01 cs.IT cs.LG math.IT
Batch Bayesian Optimization via Particle Gradient Flows
Imperial College London（伦敦帝国理工学院）；University of Manchester（曼彻斯特大学）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
贝叶斯优化（BO）方法试图找到目标函数的全局最优解，这些目标函数只能作为黑盒或评估成本很高。这样的方法为目标函数构建代理模型，通过贝叶斯推断量化该代理中的不确定性。通过在每个步骤最大化采集函数来顺序地确定客观评估。然而，由于采集函数的非凸性，特别是在每一步都选择多个点的批量贝叶斯优化的情况下，这个辅助优化问题可能是非常不容易解决的。在这项工作中，我们重新制定一批BO作为一个优化问题的空间上的概率测度。我们构造了一个新的捕获函数的基础上多点的期望改进，这是凸的空间上的概率测度。解决这一“内部”优化问题的实际方案自然会出现梯度流的目标函数。我们证明了这种新方法在不同基准函数上的有效性，并与最先进的批处理BO方法进行比较。
2023-01-09 cs.LG stat.ML
Model-Assisted Bayesian Estimators of Transparent Population Level Summary Measures for Ordinal Outcomes in Randomized Controlled Trials
本文提出了一种基于模型的贝叶斯估计方法，用于随机对照试验中有序结局的透明总体汇总测量估计，通过非比例优势模型和贝叶斯抽样实现协变量调整，以提高统计效率。
2025-12-30 stat.ME
Batch Bayesian optimisation via density-ratio estimation with guarantees
the University of Sydney（悉尼大学）；NVIDIA（英伟达）
贝叶斯优化（BO）算法在涉及昂贵的黑盒函数的应用中取得了显着的成功。传统上，BO被设置为一个顺序决策过程，该过程通过获取函数和先验函数（如高斯过程）来估计查询点的效用。然而，最近，通过密度比估计（BORE）重新制定BO允许重新解释的采集功能作为一个概率的二元分类器，消除了需要一个明确的先验函数和增加可扩展性。在本文中，我们提出了一个理论分析孔的遗憾和改进的不确定性估计算法的扩展。我们还表明，孔可以自然地扩展到一个批量优化设置，通过重铸的问题近似贝叶斯推理。由此产生的算法配备了理论性能保证，并在一系列实验中对其他批次和顺序BO基线进行评估。
2022-10-22 cs.AI cs.LG stat.ML
BOiLS: Bayesian Optimisation for Logic Synthesis
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University College London（伦敦大学学院）
在逻辑综合过程中优化电路的结果质量（QoR）是一个艰巨的挑战，需要探索指数大小的搜索空间。虽然专家设计的操作有助于发现有效的序列，但逻辑电路复杂性的增加有利于自动化程序。受机器学习成功的启发，研究人员将深度学习和强化学习应用于逻辑合成应用。无论多么成功，这些技术都受到高样本复杂性的影响，从而阻止了广泛采用。为了实现高效和可扩展的解决方案，我们提出了BOiLS，第一个算法适应现代贝叶斯优化导航空间的合成操作。BOiLS不需要人为干预，并通过新颖的高斯过程内核和信任区域约束采集有效地权衡探索与开发。在EPFL基准测试的一组实验中，我们证明了BOiLS在样本效率和QoR值方面的优越性能。
2021-11-11 cs.LG stat.ML
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University（卡内基梅隆大学）
贝叶斯优化（BO）是指一套用于全局优化昂贵的黑盒函数的技术，它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序，但现代优化任务带来了新的挑战，传统方法通常会失败。在这项工作中，我们介绍了Dragonfly，一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法，允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法，用于处理高维域，用于处理多保真度评估的方法时，廉价的近似昂贵的功能是可用的，方法优化结构化的组合空间，如空间的神经网络架构，并处理并行评估的方法。此外，我们在BO中开发了新的方法改进，用于选择贝叶斯模型，选择采集函数，并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化，并证明，当上述方法集成，它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
Bayesian Optimistic Optimisation with Exponentially Decaying Regret
Applied Artificial Intelligence Institute, Deakin University, Geelong, Australia（应用人工智能研究所，德金大学，澳大利亚格里尔镇）
本文提出BOO算法，在无噪声环境下通过结合贝叶斯优化与基于树的乐观优化方法，实现指数级遗憾界O(N^{-√N})。
2021-05-10 cs.LG stat.ML
Asynchronous Parallel Bayesian Optimisation via Thompson Sampling
Carnegie Mellon University（卡内基梅隆大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
我们设计和分析的经典汤普森采样（TS）过程中的贝叶斯优化（BO）的设置功能评估是昂贵的，但可以并行执行的变化。我们的理论分析表明，在同步或异步并行设置的顺序汤普森采样算法的直接应用程序产生了令人惊讶的强大的结果：使$n$评价分布在$M$工人基本上相当于执行$n$评价序列。此外，通过建模完成函数评估所需的时间，我们表明，在时间约束下，异步并行TS实现渐近低于同步和顺序版本的遗憾。这些结果的补充实验分析，表明异步TS优于一套现有的并行BO算法在模拟和超参数调整应用在卷积神经网络。除了这些，建议的程序是概念上和计算上比现有的工作更简单的并行BO。
2017-05-25 cs.LG stat.ML
Bayesian Nonparametric Approaches to Ordinal Drought Modeling in the United States
Wake Forest University（维克森林大学）
本文提出贝叶斯非参数方法增强高斯潜在模型，用于美国时空有序干旱数据建模，通过狄利克雷过程先验捕获时间聚类，以合理计算成本优于参数方法。
2026-09-24 stat.AP stat.ME
Robustness of Bayesian ordinal response model against outliers via divergence approach
针对有序响应模型受异常值影响的问题，提出基于密度幂散度和γ-散度的一般后验方法，实现稳健贝叶斯推断，并通过实验验证其优于普通贝叶斯方法。
2023-05-12 math.ST stat.ME stat.TH
Cell-Free Data Power Control Via Scalable Multi-Objective Bayesian Optimisation
Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（KTH皇家理工学院）
无小区多用户多输入多输出网络是传统蜂窝结构的有希望的替代方案，因为它们具有在网络的整个覆盖区域上提供统一服务质量和高资源利用率的潜力。为了实现这一潜力，以前的工作已经开发了无线电资源管理机制，使用各种优化引擎。在这项工作中，我们考虑的问题，整体遍历频谱效率最大化的上下行数据功率控制在无小区网络的背景下。为了在大型网络中解决这个问题，并解决收敛时间的限制，我们应用可扩展的多目标贝叶斯优化。此外，我们讨论了如何交叉的多保真度仿真和贝叶斯优化可以提高无线电资源管理在无细胞网络。
2022-12-20 cs.LG cs.SY eess.SY
Information-theoretic Inducing Point Placement for High-throughput Bayesian Optimisation
Secondmind（Secondmind公司）；University of Cambridge（剑桥大学）
稀疏高斯过程是高吞吐量贝叶斯优化（BO）循环的关键组成部分-这是一种越来越常见的设置，其中评估预算很大且高度并行。通过使用可用数据的代表性子集来构建近似后验，稀疏模型通过依赖于一小组伪观测（所谓的诱导点）而不是完整的数据集，大大降低了代理建模的计算成本。然而，目前的方法来设计诱导点是不合适的BO循环内，因为它们试图减少目标函数的全局不确定性。因此，牺牲了精确优化所需的有希望和数据密集区域的高保真度建模，并且计算资源反而浪费在对已知次优的空间区域进行建模上。受基于熵的BO方法的启发，我们提出了一种新的诱导点设计，使用原则性的信息理论标准来选择诱导点。通过选择诱导点来最大限度地减少全局不确定性和目标函数最大值的不确定性，我们构建了能够支持高精度高通量BO的代理模型。
2022-07-13 cs.LG stat.ML
SOBER: Highly Parallel Bayesian Optimization and Bayesian Quadrature over Discrete and Mixed Spaces
University of Oxford（牛津大学）
SOBER通过将批量全局优化重构为求积问题，把非凸采集函数最大化松弛为凸核重组，从而在离散与混合空间上实现可扩展、多样化的并行贝叶斯优化与求积，并在12项任务上超越11个基线。
2023-07-05 cs.LG cs.NA math.NA
Bayesian Optimisation of Functions on Graphs
University of Oxford（牛津大学）
本文针对图上函数优化问题提出一种新颖的贝叶斯优化框架，通过学习图上核并采用局部建模，在合成图和真实图上验证了其有效性。
2023-10-29 cs.AI cs.LG stat.ML
High Dimensional Bayesian Optimisation and Bandits via Additive Models
Carnegie Mellon University（卡内基梅隆大学）
贝叶斯优化（BO）是一种用于优化$D$维函数的技术，该函数的评估通常是昂贵的。虽然BO在低维中取得了许多成功，但将其扩展到高维却非常困难。关于这一主题的现有文献都是在非常严格的背景下编写的。在本文中，我们确定了这一努力中的两个关键挑战。我们通过假设函数的加法结构来解决这些挑战。这个设置比以前的工作更有表现力，包含更丰富的函数类。我们证明了，添加剂功能的遗憾只有线性依赖于$D$，即使该功能依赖于所有$D$尺寸。我们还展示了其他几个统计和计算的好处，在我们的框架。通过合成的例子，一个科学的模拟和人脸检测问题，我们证明了我们的方法优于天真BO的加法函数和几个例子中的功能是不加。
2016-05-13 cs.LG stat.ML
Asynchronous ε-Greedy Bayesian Optimisation
University of Exeter（埃克塞特大学）
批量贝叶斯优化（BO）是一种成功的技术，用于优化昂贵的黑盒函数。异步BO可以通过在另一个评估完成后立即开始新的评估来减少挂钟时间，从而最大限度地利用资源。为了最大限度地提高资源分配，我们开发了一种新的异步BO方法，AEGiS（异步$ε$ -贪婪的全球搜索），结合贪婪的搜索，利用代理的平均预测，汤普森采样和随机选择近似帕累托集描述剥削（代理平均预测）和探索（代理后验方差）之间的权衡。我们实证证明了AEGiS在合成基准问题，元代理超参数调整问题和现实世界的问题上的功效，表明AEGiS通常优于异步BO的现有方法。当单个工作者可用时，性能不会比使用预期改进的BO差。
2021-06-11 cs.AI cs.LG stat.ML
Multi-fidelity Bayesian Optimisation with Continuous Approximations
用于黑箱优化的Bandit方法，例如贝叶斯优化，用于各种应用，包括超参数调整和实验设计。最近，\emph{multi-fidelity}方法已经获得了相当大的关注，因为函数评估在这样的应用中变得越来越昂贵。多保真度方法使用感兴趣的函数的廉价近似来加速整体优化过程。然而，大多数多保真度方法仅假设有限数量的近似。然而，在许多实际应用中，可能存在连续的近似谱。例如，当调整昂贵的神经网络时，可以选择使用较少的数据$N$和/或较少的训练迭代$T$来近似交叉验证性能。这里，近似最好被看作是从连续的二维空间$(N,T)$中产生的。在这项工作中，我们开发了贝叶斯优化方法，BOCA，这种设置。我们验证了它的理论性质，并表明它比忽略近似的策略实现了更好的后悔。BOCA在合成和真实实验中优于其他几个基线。
2017-03-18 stat.ML
Approximate Bayesian Optimisation for Neural Networks
MILA（米拉研究所）
为了突出模型选择的重要性，已经做了大量的工作来自动化机器学习算法。自动化选择最佳预测模型及其相应参数的过程可以改善广泛的实际应用。贝叶斯优化（BO）使用黑盒优化方法，通过采集功能根据勘探开发权衡标准提出解决方案。BO框架施加了两个关键成分：一个概率代理模型，由未知目标函数（数据依赖）的先验信念和一个目标函数，描述如何最佳的模型拟合。选择最佳模型及其相关的超参数可能非常昂贵，并且通常使用高斯过程（GP）进行拟合，并且由于其棘手性，在某种程度上应用近似推理。然而，由于GP的规模与观察的数量立方，它一直具有挑战性的目标，其优化需要许多评估。此外，大多数真实数据集是非平稳的，这使得对代理模型的假设过于理想化。以随机方式解决分析易处理性和计算可行性的必要性使得能够确保贝叶斯优化的效率和适用性。在本文中，我们探讨了使用神经网络作为替代GP的函数分布模型，我们提供了一个密度比估计和类概率估计之间的联系的基础上近似推理，这种重新制定提供算法的效率和易处理性。
2021-08-31 cs.LG math.OC math.ST
