Practical multi-fidelity machine learning: fusion of deterministic and Bayesian models
Delft University of Technology（代尔夫特理工大学）；City University of Hong Kong（香港城市大学）；Brown University（布朗大学）
提出一种融合确定性低保真模型与贝叶斯高保真模型的三模型多保真策略，通过迁移学习与残差学习实现不确定性量化，在保证精度的同时显著降低训练时间并缓解过拟合。
2025-03-25 cs.LG math.PR stat.ML
BOAH: A Tool Suite for Multi-Fidelity Bayesian Optimization & Analysis of Hyperparameters
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
超参数优化和神经架构搜索对于常规的黑盒贝叶斯优化来说可能变得过于昂贵，因为单个模型的训练和评估可能很容易花费几个小时。为了克服这一点，我们引入了一个全面的工具套件，用于有效的多保真度贝叶斯优化及其运行分析。该套件使用Python编写，提供了一种简单的方法来指定复杂的设计空间，将贝叶斯优化和HyperBand进行了强大而有效的组合，并对优化过程及其结果进行了全面的分析。
2019-08-16 cs.AI cs.LG stat.ML
Harnessing Low-Fidelity Data to Accelerate Bayesian Optimization via Posterior Regularization
Nanjing University of Posts and Telecommunications（南京邮电大学）
贝叶斯优化（BO）是一个功能强大的范式，用于黑箱目标函数（BOF）的无导数全局优化，这是昂贵的评估。但是，对于具有高成本函数计算的问题，BO的开销仍然是过高的。在本文中，我们研究如何减少BO所需的函数求值的数量，而不影响解决方案的质量。我们探讨了后验正则化的思想，利用高斯过程置信上限（GP-UCB）框架内的低保真度（LF）数据。LF数据可以由BOF的LF近似或相关优化任务的先前评估产生。训练称为LF-GP的额外GP模型以拟合LF数据。我们开发了一个名为动态加权专家产品（DW-POE）融合算子。该算子在BOF的后验上引入正则化。LF GP模型对正则化后验的影响通过贝叶斯形式主义进行自适应调整。大量的基准BOF优化任务的实验结果表明，所提出的算法优于国家的最先进的性能。
2019-12-16 cs.LG stat.ML
Multi-fidelity Bayesian Optimization with Max-value Entropy Search and its parallelization
Gifu University（岐阜大学）；Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）；Japan Science and Technology Agency（日本科学技术振兴机构）；National Institute for Material Science（国立材料科学研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
在贝叶斯优化（BO）的标准设置中，假设目标函数评估是非常昂贵的。多保真度贝叶斯优化（MFBO）通过以较低的采样成本合并可用的较低保真度观测来加速BO。在本文中，我们专注于信息为基础的方法，这是一个流行的和经验上成功的方法在BO。然而，对于MFBO，现有的基于信息的方法受到难以估计信息增益的困扰。我们提出了一种基于最大值熵搜索（MES）的方法，通过考虑最优函数值的熵而不是最优输入点，极大地方便了计算。我们表明，在我们的多保真度MES（MF-MES），大多数额外的计算，与通常的MES相比，减少到分析计算。尽管对于跨不同分辨率的信息需要额外的数值积分，但这仅在一维空间中，可以有效且准确地执行。此外，我们还提出了MF-MES的并行化。由于存在各种不同的采样成本，因此查询通常在MFBO中异步发生。我们表明，类似的简单的计算可以得出异步并行MFBO。我们通过使用基准数据集和材料科学数据的实际应用证明了我们方法的有效性。
2020-02-13 cs.LG stat.ML
CAGES: Cost-Aware Gradient Entropy Search for Efficient Local Multi-Fidelity Bayesian Optimization
Dept. of Chemical and Biomolecular Engineering, The Ohio State University（化学与生物分子工程系，俄亥俄州立大学）
提出成本感知梯度熵搜索（CAGES）算法，用于多保真黑盒函数的局部贝叶斯优化，通过信息论采集函数高效获取梯度信息，在合成和强化学习基准上优于现有方法。
2025-05-25 cs.LG stat.ML
A Unified Information-Theoretic Approach to Constrained Multi-Fidelity Multi-Objective Bayesian Optimization
Nagoya Institute of Technology（名古屋工业大学）
提出统一信息论框架，通过变分下界衡量信息增益，联合优化多保真多目标贝叶斯优化中的位置与保真度选择，无需启发式处理约束，实验验证其有效性。
2026-10-08 cs.LG
On the Effects of Heterogeneous Errors on Multi-fidelity Bayesian Optimization
University of California, Irvine（加州大学欧文分校）
本文针对多保真度贝叶斯优化中低保真度数据全局相关性差和噪声异方差的问题，提出了一种为每个数据源学习噪声模型并利用局部相关低保真度源的多保真度仿真方法，通过分析示例和材料设计工程问题验证了其有效性。
2023-09-06 cs.LG stat.ML
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University（康奈尔大学）
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此，对于深度神经网络中的超参数调整，即使是几个超参数设置，评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如，使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法，多保真度贝叶斯优化，重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数，跟踪感知的知识梯度，它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度，当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数，并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
Multi-fidelity Bayesian Optimisation with Continuous Approximations
用于黑箱优化的Bandit方法，例如贝叶斯优化，用于各种应用，包括超参数调整和实验设计。最近，\emph{multi-fidelity}方法已经获得了相当大的关注，因为函数评估在这样的应用中变得越来越昂贵。多保真度方法使用感兴趣的函数的廉价近似来加速整体优化过程。然而，大多数多保真度方法仅假设有限数量的近似。然而，在许多实际应用中，可能存在连续的近似谱。例如，当调整昂贵的神经网络时，可以选择使用较少的数据$N$和/或较少的训练迭代$T$来近似交叉验证性能。这里，近似最好被看作是从连续的二维空间$(N,T)$中产生的。在这项工作中，我们开发了贝叶斯优化方法，BOCA，这种设置。我们验证了它的理论性质，并表明它比忽略近似的策略实现了更好的后悔。BOCA在合成和真实实验中优于其他几个基线。
2017-03-18 stat.ML
Constrained multi-fidelity Bayesian optimization with automatic stop condition
University of California, Irvine（加利福尼亚大学欧文分校）
针对约束空间下高保真贝叶斯优化成本高、缺乏系统停止准则的问题，提出可适配跨源可变黑盒约束的成本感知多保真BO框架及收敛停止准则，在多基准上验证有效并开源。
2025-03-21 cs.AI cs.LG stat.ML
Multi-Fidelity Cost-Aware Bayesian Optimization
贝叶斯优化（BO）越来越多地用于材料设计和药物发现等关键应用中。BO中越来越流行的策略是放弃对高保真数据的唯一依赖，而是使用提供廉价低保真数据的信息源的集合。该策略的总体前提是通过查询其数据与高保真样本相关的廉价低保真源来降低总体采样成本。在这里，我们提出了一个多保真度的成本感知BO框架，大大优于国家的最先进的技术，在效率，一致性和鲁棒性。我们展示了我们的框架在分析和工程问题上的优势，并认为这些优势源于我们的两个主要贡献：（1）我们为多保真度成本感知BO开发了一种新的采集函数，其保护收敛不受低保真度数据的偏差的影响，以及（2）我们为多保真度BO定制了一个新开发的仿真器，这使得我们不仅能够同时从多保真度数据集的集合中学习，而且还识别应该从BO中排除的严重偏置的低保真度源。
2022-11-04 stat.ME stat.ML
Falsification of Learning-Based Controllers through Multi-Fidelity Bayesian Optimization
West Virginia University（西弗吉尼亚大学）；Stanford University（斯坦福大学）；Rochester Institute of Technology（罗切斯特理工学院）
针对全保真仿真证伪学习型控制器安全性计算成本高的问题，提出基于贝叶斯优化的多保真度证伪框架，可自动切换高低保真仿真，在保证证伪性能的同时大幅降低成本。
2023-04-28 cs.LG cs.SY eess.SY
Optimizing Falsification for Learning-Based Control Systems: A Multi-Fidelity Bayesian Approach
Rochester Institute of Technology（罗切斯特理工学院）；Stanford University（斯坦福大学）
针对基于学习的闭环控制系统证伪中全保真仿真计算成本高的问题，提出多保真度贝叶斯优化证伪框架，可切换不同精度仿真器并确定最优反例输入与适配保真度，在多Gym环境中验证了其比基线方法计算效率更高。
2024-09-12 cs.LG cs.SY eess.SY
Using Bayesian deep learning approaches for uncertainty-aware building energy surrogate models
University of Victoria（维多利亚大学）；Department of Civil Engineering（土木工程系）；Energy and Cities Group（能源与城市小组）
基于快速机器学习的代理模型经过训练，可模拟慢速、高保真的工程仿真模型，从而加快工程设计任务。这引入了不确定性，因为替代模型只是原始模型的近似值。贝叶斯方法可以量化这种不确定性，并且存在遵循贝叶斯范式的深度学习模型。这些模型，即贝叶斯神经网络和高斯过程模型，使我们能够给出预测与模型的不确定性的估计。因此，我们可以得到不确定性感知代理模型，可以自动怀疑看不见的设计样本，导致大的仿真错误。对于这些样本，可以改为查询高保真模型。这概述了贝叶斯范式如何让我们混合快速，但近似，缓慢，但准确的模型。本文针对复杂的高维建筑能耗模拟问题，训练了两类贝叶斯模型：丢弃神经网络和随机变分高斯过程模型。代理模型处理35个建筑设计参数（输入）以估计12个不同的性能度量（输出）。我们对这两种方法进行了基准测试，证明了它们的准确性是有竞争力的，并表明当将具有最高不确定性的10%的样本转移到高保真模型时，误差可以减少30%。
2020-10-05 cs.LG stat.ML
Bayesian Optimization with Exponential Convergence
MIT（麻省理工学院）
本文提出了一种指数收敛的贝叶斯优化方法，它不需要辅助优化，也不需要增量覆盖抽样。大多数贝叶斯优化方法需要辅助优化：一个额外的非凸全局优化问题，这可能是耗时的，很难在实践中实现。此外，现有的具有指数收敛的贝叶斯优化方法需要访问增量覆盖采样，这被认为是不切实际的。我们的方法消除了这两个要求，并实现了指数收敛速度。
2016-04-05 cs.LG stat.ML
MF-SCBO : Multi-fidelity Scalable Constrained Bayesian Optimization
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
针对高维黑箱约束优化中多保真度与高维性、约束及非嵌套采样难以兼顾的问题，提出MF-SCBO方法，实验表明其收敛性优于单保真度SCBO及其他多保真度方法。
2026-09-25 cs.LG math.OC
Local Nonstationarity for Efficient Bayesian Optimization
Centro Universitario de la Defensa（国防大学中心）
贝叶斯优化已被证明是一个基本的全局优化算法在许多应用中：从自动机器学习，机器人，强化学习，实验设计，仿真等最流行和有效的贝叶斯优化依赖于一个代理模型的形式，高斯过程，由于其灵活性，以代表一个先验函数。然而，许多算法和设置依赖于高斯过程的平稳性假设。在本文中，我们提出了一种新的非平稳贝叶斯优化策略，能够在静态和非平稳问题中超越贝叶斯优化的最新技术水平。
2015-06-05 cs.LG stat.ML
Applying Multi-Fidelity Bayesian Optimization in Chemistry: Open Challenges and Major Considerations
Imperial College London（帝国理工学院）；EPFL（洛桑联邦理工学院）
本文研究多保真贝叶斯优化（MFBO）在化学发现中的应用，分析低保真数据提升性能的条件，探讨采集函数选择、成本与保真度相关性等挑战及有效性评估方法。
2024-09-11 cond-mat.mtrl-sci cs.LG physics.chem-ph
Bayesian learning of orthogonal embeddings for multi-fidelity Gaussian Processes
General Electric Research（通用电气研究中心）
我们提出了一个贝叶斯方法来确定最佳的转换，映射模型输入点的低维潜变量。“投影”映射由正交归一化矩阵组成，该正交归一化矩阵被认为是先验未知的，并且需要以可用的训练数据为条件与GP参数联合推断。建议的贝叶斯推断方案依赖于一个两步迭代算法，分别从GP参数和投影矩阵的边缘后验样本，都使用马尔可夫链蒙特卡罗（MCMC）采样。为了考虑正交投影矩阵的正交性约束，采用了适合于流形上概率测度的测地线蒙特卡罗抽样算法.我们将所提出的框架扩展到使用GP的多保真度模型，包括一起训练多个输出的场景。我们验证了我们的框架上的三个合成问题与一个已知的低维子空间。我们提出的框架的好处，说明了计算上具有挑战性的三维空气动力学优化的最后一级叶片的工业燃气轮机，在那里我们研究了85维翼型形状参数化对两个输出量的影响，特别是对空气动力学效率和反应的程度。
2020-08-05 cs.LG stat.CO stat.ML
Bayesian Hyperparameter Optimization with BoTorch, GPyTorch and Ax
IBM（国际商业机器公司）
深度学习模型充满了超参数，这些超参数在学习过程开始之前被手动设置。要在如此高维的空间中找到这些超参数的最佳配置，需要耗时且昂贵的模型训练/验证，这不是一个简单的挑战。贝叶斯优化是超参数联合优化的有力工具，有效地权衡了超参数空间的探索和利用。本文讨论了贝叶斯超参数优化，包括超参数优化、贝叶斯优化和高斯过程。我们还回顾了BoTorch，GPyTorch和Ax，我们分别用于贝叶斯优化，高斯过程推理和自适应实验的新开源框架。对于实验，我们应用贝叶斯超参数优化，优化组权重，加权组池，耦合无监督分层图自动编码器学习和监督图预测学习的分子图。我们发现，Ax，BoTorch和GPyTorch一起提供了一个简单易用但功能强大的框架贝叶斯超参数优化，使用Ax的高级API，构建和运行一个完整的优化循环，并返回最佳的超参数配置。
2021-07-02 cs.LG stat.ML
Bayesian Optimization for Multi-objective Optimization and Multi-point Search
Kobe Steel, Ltd.（神户制钢所）；The Institute of Statistical Mathematics（统计数理研究所）；RIKEN AIP（理化学研究所AIP）
贝叶斯优化是一种有效的方法，以有效地优化未知的目标函数，高评价成本。传统的贝叶斯优化算法对单目标函数每次迭代选择一个点，而近年来，人们提出了多目标优化的贝叶斯优化或每次迭代多点搜索。然而，目前还没有一种非启发式的贝叶斯优化方法能够同时处理这两种问题。提出了一种能够同时处理多目标优化和多点搜索的贝叶斯优化算法。首先，我们定义了一个采集功能，同时考虑多目标和多点搜索问题。这是很难解析最大化的采集功能的计算成本是禁止的，即使当近似计算，如采样近似进行，因此，我们提出了一个准确的和计算效率高的方法估计梯度的采集功能，并开发了一个算法贝叶斯优化与多目标和多点搜索。数值实验表明，该方法的性能与启发式方法相当或优于启发式方法。
2019-05-07 cs.LG stat.ML
Optimization, fast and slow: optimally switching between local and Bayesian optimization
Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Oxford-Man Institute of Quantitative Finance（牛津曼量化金融研究所）
我们开发了第一个贝叶斯优化算法，BLOSSOM，它选择多个替代的采集功能和传统的局部优化在每一步。这是结合了一个新的停止条件的基础上预期的遗憾。这种配对使我们能够获得局部优化和贝叶斯优化的最佳特性，有效地利用函数求值，同时在选择优化问题时获得全局最小值的卓越收敛，并且一旦满足原则性和直观的停止条件，就停止优化。
2018-05-22 cs.LG stat.ML
Bayesian task embedding for few-shot Bayesian optimization
GE Research（通用电气研究院）
我们描述了一种贝叶斯优化的方法，其中一个可以将数据从多个系统的定量相互关系是未知的先验。系统的所有一般（非实值）特征都与连续潜变量相关联，这些变量作为输入进入一个元模型，该元模型同时学习所有系统的响应曲面。贝叶斯推理用于确定关于潜在变量的适当信念。我们解释了如何得到的概率元模型可用于贝叶斯优化任务，并展示了它的实现在各种合成和现实世界的例子，比较其性能下零，一，和Few-Shot设置对传统的贝叶斯优化，这通常需要更多的数据从系统的利益。
2020-01-02 cs.LG stat.ML
Best Practices for Multi-Fidelity Bayesian Optimization in Materials and Molecular Research
EPFL（苏黎世联邦理工学院）；Atinary Technologies Inc.（Atinary技术公司）；University of Cambridge（剑桥大学）
本研究系统评估了多保真度贝叶斯优化在材料和分子研究中的参数影响，提供了在实验环境中使用MFBO的指南，并通过合成和真实发现问题验证其相对于单保真度方法的优势。
2025-06-01 cs.LG
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University（隆德大学）；University of Freiburg（弗莱堡大学）；Stanford University（斯坦福大学）；DBtune
提出SAL和SCoreBO两种采集函数，通过贝叶斯主动学习优化高斯过程超参数，在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
On Batch Bayesian Optimization
Indian Institute of Science（印度科学学院）
我们提出了两种算法的贝叶斯优化在批量反馈设置，高斯过程的置信上限和汤普森采样方法的基础上，随着频率后悔保证和数值结果。
2019-11-04 cs.LG stat.ML
Fidelity of Ensemble Aggregation for Saliency Map Explanations using Bayesian Optimization Techniques
Leibniz Universität Hannover（汉诺威莱布尼茨大学）；dSPACE GmbH（dSPACE有限公司）
近年来，人们提出了大量解释神经网络的特征属性方法。特别是在计算机视觉领域，存在许多用于生成提供像素属性的显著图的方法。然而，他们的解释往往相互矛盾，不清楚哪种解释值得信赖。这个问题的一个自然解决方案是多种解释的聚合。我们提出并比较了不同的基于像素的聚合方案，其目标是生成一个新的解释，其模型的决定的保真度高于每个单独的解释。使用贝叶斯优化领域的方法，我们将个体解释之间的方差纳入聚合过程。此外，我们分析了多重归一化技术对集成聚合的影响。
2022-07-05 cs.CV cs.LG
MUMBO: MUlti-task Max-value Bayesian Optimization
Lancaster University（兰卡斯特大学）
我们提出了MUMBO，第一个高性能但计算效率高的多任务贝叶斯优化采集功能。在这里，挑战是通过评估与我们真正的目标函数相关的低成本函数来执行有效的优化。这是一个广泛的问题，包括多保真度优化的流行任务。然而，虽然已知信息理论获取函数提供最先进的贝叶斯优化，但用于多任务场景的现有实现具有过高的计算要求。因此，以前的采集功能只适用于低维参数空间和函数查询成本足够大，掩盖非常显着的优化开销的问题。在这项工作中，我们得到了一个新的多任务版本的熵搜索，提供强大的性能与低计算开销在经典的优化挑战和多任务超参数调整。MUMBO具有可扩展性和高效性，允许在具有丰富参数和保真度空间的问题中部署多任务贝叶斯优化。
2020-06-22 cs.LG stat.ML
A Simple Heuristic for Bayesian Optimization with A Low Budget
CyberAgent, Inc.（赛博艾坚特公司）
黑盒优化的目的是在给定的评估预算的约束下优化目标函数。在这个问题中，通常假设评估点的计算成本很大;因此，重要的是以尽可能低的预算有效地搜索。贝叶斯优化是一种有效的黑箱优化方法，它通过构造一个考虑目标函数不确定性的代理模型来实现探索-开发的权衡。然而，因为贝叶斯优化应该为整个搜索空间构造代理模型，所以当点没有被充分采样时，它不会表现出良好的性能。在这项研究中，我们开发了一种启发式方法细化搜索空间的贝叶斯优化时，可用的评估预算低。该方法通过对原始区域的划分来细化期望区域，以期望区域为初始搜索空间进行贝叶斯优化。通过对标准函数和机器学习算法的超参数优化的实验，我们证实了该方法的贝叶斯优化性能优于单独的贝叶斯优化，并表现出与两种搜索空间划分算法相当或更好的性能。
2019-11-30 cs.LG stat.ML
Cost-aware Bayesian Optimization via the Pandora's Box Gittins Index
Cornell University（康奈尔大学）；Caltech（加州理工学院）
本研究建立成本感知贝叶斯优化与潘多拉魔盒问题的关联，将Gittins指数作为采集函数，实验证明其在中高维场景表现优异，且可迁移至经典贝叶斯优化，为融合两类理论技术迈出第一步。
2026-10-27 cs.LG stat.ML
Topological Bayesian Optimization with Persistence Diagrams
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
寻找黑盒函数的最佳参数对于寻找稳定的材料结构和寻找最佳神经网络结构是重要的，并且贝叶斯优化算法被广泛用于该目的。然而，现有的贝叶斯优化算法大多只能处理向量数据，不能处理复杂的结构化数据。在本文中，我们提出了拓扑贝叶斯优化，它可以有效地找到一个最佳的解决方案，从结构化数据使用\emph{topological information}。更具体地说，为了将贝叶斯优化应用于结构化数据，我们从结构中提取有用的拓扑信息，并测量结构之间的适当相似性。为此，我们利用持久同源性，这是一个拓扑数据分析方法，最近被应用在机器学习。此外，我们提出了贝叶斯优化算法，可以处理多种类型的拓扑信息，通过使用一个线性组合的内核持久图。通过实验，我们表明，拓扑信息提取的持久同源性有助于更有效地搜索最佳结构相比，随机搜索基线和图贝叶斯优化算法。
2019-02-26 cs.LG stat.ML
Practical Bayesian Optimization with Threshold-Guided Marginal Likelihood Maximization
Pohang University of Science and Technology（浦项科技大学）；BARO AI
我们提出了一个实用的贝叶斯优化方法，使用高斯过程回归，其边际似然最大化的模型选择步骤的数量是由一个预先定义的阈值。由于贝叶斯优化在寻找高斯过程回归的最佳自由参数时消耗了很大一部分执行时间，我们简单而直接的方法能够减轻时间复杂度并加快整个贝叶斯优化过程。实验结果表明，该方法在大多数情况下都能有效地减少执行时间，且优化质量损失较小。
2020-10-16 cs.LG stat.ML
A Stratified Analysis of Bayesian Optimization Methods
SigOpt
实证分析是理论分析的重要补充，是研究贝叶斯优化问题的重要手段。经验主义的见解往往暴露出理论分析无法触及的优点和缺点。我们定义了两个指标比较贝叶斯优化方法的性能，并提出了一个排名机制，总结性能在各种流派或层次的测试功能。这些测试函数用于模拟超参数优化问题的复杂性，这是贝叶斯优化的最突出应用，但具有封闭形式，允许快速评估和更可预测的行为。这提供了一种灵活有效的方法来研究具有特定属性的函数，例如振荡行为或域边界上的最佳值。
2016-03-31 cs.LG stat.ML
Residual Gaussian Process: A Tractable Nonparametric Bayesian Emulator for Multi-fidelity Simulations
Beijing University of Aeronautics and Astronautics（北京航空航天大学）；University of Utah（犹他大学）；Chongqing University（重庆大学）；Beihang University（北京航空航天大学）
多保真度建模中的挑战涉及准确性、不确定性估计和高维性。引入了一种新的添加剂结构，其中最高保真度的解决方案被写为最低保真度的解决方案和在连续的保真度水平的解决方案之间的残差的总和，与高斯过程先验放置在低保真度的解决方案和每个残差。由此产生的模型配备了一个封闭形式的解决方案的预测后，使其适用于先进的，高维的任务，需要不确定性估计。它的优点表现在单变量基准和三个具有挑战性的多变量问题。它示出了如何可以使用主动学习来增强模型，特别是在有限的计算预算。此外，在单变量的情况下，平均预测的误差界。
2021-04-08 cs.CE cs.LG stat.AP
BOSH: Bayesian Optimization by Sampling Hierarchically
Lancaster University（兰卡斯特大学）
贝叶斯优化（BO）用于具有随机评估的函数的部署，例如通过交叉验证和仿真优化的参数调整，通常优化目标函数的固定噪声实现集合的平均值。然而，以这种方式忽略真正的目标函数会找到错误函数的高精度最优值。为了解决这个问题，我们提出了贝叶斯优化分层采样（BOSH），一种新的BO例程配对的分层高斯过程与信息理论框架，以生成一个不断增长的实现池的优化进展。我们证明了BOSH在综合基准测试、仿真优化、强化学习和超参数调整任务中提供了比标准BO更高效、更高精度的优化。
2020-07-02 cs.LG stat.ML
Integrating hyper-parameter uncertainties in a multi-fidelity Bayesian model for the estimation of a probability of failure
多保真度仿真器是一种数值模型，其中一个输入控制仿真的真实性和计算成本之间的权衡。我们的目标是估计概率超过一个给定的阈值上的多保真度随机模拟器。我们提出了一种基于高斯过程的完全贝叶斯方法来计算该概率的后验概率分布。我们特别注意模型的超参数。我们的方法说明了一个学术的例子。
2017-09-20 stat.CO stat.ME
Designing over uncertain outcomes with stochastic sampling Bayesian optimization
National Institute of Standards and Technology（美国国家标准与技术研究院）
优化在科学和工程领域变得越来越普遍。通常，这些问题涉及各种程度的随机性或不确定性，在产生建议的解决方案。因此，在这些情况下的优化必须考虑这种随机性，以正确指导未来实验的设计。在这里，我们适应贝叶斯优化来处理不确定的结果，提出了一个新的框架，称为随机抽样贝叶斯优化（SSBO）。我们发现，在SSBO的置信上限搜索的预期遗憾的界限类似于早期的贝叶斯优化方法，由于随机生成的输入增加了处罚。此外，我们适应现有的批处理优化技术，以适当地限制近视决策时，可能会出现选择多个实例反馈之前。最后，我们表明，SSBO技术适当地优化了一组标准的优化问题，以及生物工程启发的应用问题。
2020-06-03 cs.LG stat.ML
Pre-training of Bayesian Optimization Algorithm through Bayesian Optimization
Nagoya Institute of Technology（名古屋工业大学）
本文提出利用高斯过程样本路径估计累积遗憾，并通过外部贝叶斯优化自动选择内部BO算法的参数配置，以提升黑盒优化性能。
2026-10-08 cs.LG stat.ML
Multi-Objective Multi-Fidelity Bayesian Optimization with Causal Priors
Department of Computer Science；Engineering, University of South Carolina, SC, USA；Computer Science Department, Appalachian State University, NC, USA；Engineering, Texas A\&M University, TX, USA
RESCUE通过引入因果模型提升多目标多保真度贝叶斯优化的样本效率。
2026-01-31 cs.AI cs.LG
Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes
Texas A&M University（德州农工大学）
贝叶斯优化是一种优化黑盒目标函数的技术。贝叶斯优化的核心是一个代理模型，它预测目标函数在以前看不见的输入下的输出，以便于选择有希望的输入值。高斯过程（GP）通常用作代理模型，但已知其与观测数量的比例关系很差。我们适应Vecchia近似，一个流行的GP近似空间统计，使可扩展的高维贝叶斯优化。我们开发了几个改进和扩展，包括训练翘曲的GP使用小批量梯度下降，近似邻居搜索，并选择多个输入值并行。我们专注于使用我们的翘曲Vecchia GP在信任区域贝叶斯优化通过汤普森采样。在几个测试函数和两个并行学习问题上，我们的方法与最先进的方法相比毫不逊色。
2022-03-02 cs.LG stat.ML
Out-Of-The-Loop Multi-Fidelity Bayesian Optimization
针对标准多保真贝叶斯优化在现实场景中因最高保真度函数成本过高导致的次优问题，提出结合历史高保真数据与任务描述符的方法，经合成函数及化学、超参数优化问题验证有效。
2026-08-06 cs.AI cs.LG
A Constrained Multi-Fidelity Bayesian Optimization Method
提出约束多保真度贝叶斯优化（CMFBO）方法，设计无需可行初始样本且具闭式表达的新型采集函数，有效解决约束优化可行域识别难题，并在合成问题与ICF及大电流联合设计等工程应用中验证有效性。
2025-10-13 cs.NA math.NA stat.ML
Bayesian Optimization Using Monotonicity Information and Its Application in Machine Learning Hyperparameter
University of British Columbia（英属哥伦比亚大学）
我们提出了一个算法的一个家庭的优化问题的目标可以分解为一个函数的单调性的总和。激励问题是优化超参数的机器学习算法，我们认为，目标，验证误差，可以分解为单调函数的超参数。我们提出的算法采用贝叶斯优化方法，将单调性约束。我们使用说明性的例子说明了利用单调性的优点，并证明了一些机器学习超参数调整应用程序的优化效率的提高。
2018-02-16 cs.LG stat.ML
On Some Tunable Multi-fidelity Bayesian Optimization Frameworks
Department of Chemical and Biomolecular Engineering, Johns Hopkins University, U.S.A.（化学与生物分子工程系，约翰霍普金斯大学，美国）；Department of Civil and Systems Engineering, Johns Hopkins University, U.S.A.（土木与系统工程系，约翰霍普金斯大学，美国）；Department of Mechanical Engineering, Massachusetts Institute of Technology, U.S.A.（机械工程系，麻省理工学院，美国）
本文提出基于邻近性的多保真采集策略及多保真UCB方法，简化保真度选择并控制高保真使用，在化学动力学等任务中验证了其收敛效率与可调性。
2025-08-01 cs.AI cs.LG math.OC
Multi-fidelity approaches for general constrained Bayesian optimization with application to aircraft design
Polytechnique Montréal（蒙特利尔理工学院）
本文提出多保真选择策略，通过结合目标函数和约束信息降低计算成本，提升飞机翼型气动结构设计效率。
2026-03-30 cs.CE math.OC stat.ML
Amortized Auto-Tuning: Cost-Efficient Bayesian Transfer Optimization for Hyperparameter Recommendation
Carnegie Mellon University（卡内基梅隆大学）；Petuum（Petuum公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Stanford University（斯坦福大学）
随着现代机器学习模型的超参数数量和训练时间的激增，超参数调整变得越来越昂贵。然而，在系统地评估了40种调优方法后，我们发现每种方法都面临一定的局限性。特别是，通过知识转移加速调优的方法通常需要超参数的最终性能，并且不关注低保真度信息。正如我们的经验表明，这种常见的做法是次优的，并可能导致不必要的资源使用。相反，利用低保真度调优观察来测量任务间的相似性并相应地将知识从现有任务转移到新任务是更具有成本效益的。然而，执行多保真度调优在传输设置中也有其自身的挑战：额外观察中的噪声以及对性能预测的需求。因此，我们提出了一个多任务多保真度贝叶斯优化框架，并进行了深入的分析，这导致了最好的实例-分期自动调整（AT 2）。我们进一步提出了一个离线计算的27任务超参数推荐（HyperRec）数据库，以服务于社区。在HyperRec和其他真实数据库上的大量实验表明了我们的AT 2方法的有效性。
2022-04-07 cs.AI cs.LG stat.ML
A Bayesian neural network approach to Multi-fidelity surrogate modelling
本文提出GPBNN方法，将高斯过程回归与贝叶斯神经网络结合，利用低保真输出仿真器辅助高保真建模，并完整量化预测不确定性，用于分层多保真代理建模。
2023-12-05 math.ST stat.TH
Reduced-Space Multi-Fidelity Bayesian Optimization of Process Simulation Models
Imperial College London（伦敦帝国理工学院）
针对高维昂贵黑盒函数，提出降空间多保真贝叶斯优化框架RS-MFBO，结合全局敏感性分析和保真度增强高斯过程，在工业模拟器上显著减少高保真评估次数并保持优化性能。
2026-09-16 cs.LG math.OC
Transfer Learning Architectures for Scalable Multi-Fidelity Bayesian Optimization
King’s College London（伦敦国王学院）
研究针对可扩展多保真贝叶斯优化，在相同条件下对11种迁移学习代理和4种GP方法进行基准测试，发现迁移学习代理在分子和材料问题上表现更佳，贪婪利用迁移学习均值是更稳健选择，是分子和材料MFBO的首选代理。
2026-07-28 cs.LG
Learning cardiac activation maps from 12-lead ECG with multi-fidelity Bayesian optimization on manifolds
Università della Svizzera italiana（瑞士意大利语区大学）；University of Pennsylvania（宾夕法尼亚大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
我们提出了一种非侵入性地识别心脏异位激活的方法。心脏的异位活动会引发致命的心律失常。因此，异位病灶或最早激动部位（EAS）的定位是心脏病专家决定最佳治疗的关键信息。在这项工作中，我们制定的识别问题作为一个全局优化问题，通过最大限度地减少由心脏模型预测的心电图之间的不匹配，当起搏在一个给定的EAS，和观察到的心电图在异位活动。我们的心脏模型的金额在解决各向异性程函方程的心脏激活和前向bidomain模型在躯干与铅场的方法计算的心电图。我们在心脏表面建立了一个高斯过程的损失函数代理模型来进行贝叶斯优化。在这个过程中，我们迭代地评估损失函数的置信下限标准，结合探索的表面与开发的最小区域。我们还扩展了这个框架，将模型的保真度的多个层次。我们表明，我们的程序收敛到最小值后，只有$11.7\pm10.4$迭代（20个独立运行）的单保真度的情况下和$3.5\pm1.7$迭代的多保真度的情况下。我们设想这种工具可以在临床环境中实时应用，以识别潜在危险的EAS。
2022-03-11 cs.LG eess.SP math.OC
Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation
KAIST（韩国科学技术院）；Korea University（高丽大学）；DeepAuto
本文提出一种成本敏感的多保真贝叶斯优化方法，通过用户定义的效用函数、新型采集函数和停止准则，结合迁移学习改进学习曲线外推，在多个数据集上优于现有基线，实现成本与性能的更好权衡。
2024-05-28 cs.AI cs.LG
Multi-fidelity Machine Learning for Uncertainty Quantification and Optimization
University of Houston（休斯顿大学）；University of Virginia（弗吉尼亚大学）
本文综述了基于机器学习的多保真方法领域，重点梳理了不确定性量化中的多保真图神经网络、优化中的多保真贝叶斯优化等研究进展，指出了研究空白并展望了未来方向。
2024-10-30 cs.LG math.OC stat.ML
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience（理论神经科学中心）；Columbia University（哥伦比亚大学）
贝叶斯优化已成为一个强大的候选工具，为全球优化的功能与昂贵的评价成本。然而，由于贝叶斯方法研究的动态性质，以及计算技术的发展，在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中，我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外，我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱，如边缘参数的过采样和高性能参数的过度利用。最后，我提供了相对简单的启发式算法，以及它们的开源软件实现，这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
