MF-SCBO : Multi-fidelity Scalable Constrained Bayesian Optimization
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
针对高维黑箱约束优化中多保真度与高维性、约束及非嵌套采样难以兼顾的问题，提出MF-SCBO方法，实验表明其收敛性优于单保真度SCBO及其他多保真度方法。
2026-09-25 cs.LG math.OC
Transfer Learning Architectures for Scalable Multi-Fidelity Bayesian Optimization
King’s College London（伦敦国王学院）
研究针对可扩展多保真贝叶斯优化，在相同条件下对11种迁移学习代理和4种GP方法进行基准测试，发现迁移学习代理在分子和材料问题上表现更佳，贪婪利用迁移学习均值是更稳健选择，是分子和材料MFBO的首选代理。
2026-07-28 cs.LG
Good practices for Bayesian Optimization of high dimensional structured spaces
Aalto University（阿尔托大学）；Microsoft（微软公司）；University of Cambridge（剑桥大学）
越来越多的结构化但高维数据的可用性为优化提供了新的机会。一个新兴的和有前途的途径是探索无监督的方法，将结构化的高维数据投影到低维连续表示，简化优化问题，使传统的优化方法的应用。然而，这一系列的研究一直是纯粹的方法，与从业者的需求很少连接到目前为止。在本文中，我们研究了不同的搜索空间设计选择的效果进行贝叶斯优化在高维结构化数据集。特别是，我们分析了潜在空间的维数的影响，采集功能的作用，并评估新的方法来自动定义潜在空间中的优化边界。最后，基于使用合成和真实数据集的实验结果，我们为从业者提供了建议。
2021-01-06 cs.LG
Fidelity of Ensemble Aggregation for Saliency Map Explanations using Bayesian Optimization Techniques
Leibniz Universität Hannover（汉诺威莱布尼茨大学）；dSPACE GmbH（dSPACE有限公司）
近年来，人们提出了大量解释神经网络的特征属性方法。特别是在计算机视觉领域，存在许多用于生成提供像素属性的显著图的方法。然而，他们的解释往往相互矛盾，不清楚哪种解释值得信赖。这个问题的一个自然解决方案是多种解释的聚合。我们提出并比较了不同的基于像素的聚合方案，其目标是生成一个新的解释，其模型的决定的保真度高于每个单独的解释。使用贝叶斯优化领域的方法，我们将个体解释之间的方差纳入聚合过程。此外，我们分析了多重归一化技术对集成聚合的影响。
2022-07-05 cs.CV cs.LG
Applying Multi-Fidelity Bayesian Optimization in Chemistry: Open Challenges and Major Considerations
Imperial College London（帝国理工学院）；EPFL（洛桑联邦理工学院）
本文研究多保真贝叶斯优化（MFBO）在化学发现中的应用，分析低保真数据提升性能的条件，探讨采集函数选择、成本与保真度相关性等挑战及有效性评估方法。
2024-09-11 cond-mat.mtrl-sci cs.LG physics.chem-ph
Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks
University of Utah（犹他大学）
贝叶斯优化（BO）是一种强大的方法，用于优化黑盒，昂贵的评估功能。为了在成本和精度之间实现灵活的权衡，许多应用允许在不同的精度下对函数进行评估。为了降低优化成本，同时最大限度地提高效益-成本比，本文提出了基于深度自回归网络的批量多保真度贝叶斯优化（BMBO-DARN）。我们使用一组贝叶斯神经网络来构建一个完全自回归模型，该模型具有足够的表达能力，可以捕获所有属性之间强大而复杂的关系，从而提高代理学习和优化性能。此外，为了提高查询的质量和多样性，我们开发了一个简单而有效的批量查询方法，没有任何组合搜索的相似性。我们提出了一个基于最大值熵搜索（MES）的原则，惩罚高度相关的查询和鼓励多样性的批量采集功能。我们使用后验样本和矩匹配来实现采集函数的有效计算，并对每个概率输入对进行交替优化，这保证了每一步的改进。我们证明了我们的方法在四个现实世界的超参数优化应用的优势。
2021-10-25 cs.LG stat.ML
Multi-Fidelity Bayesian Optimization with Unreliable Information Sources
Aalto University（阿尔托大学）；ENSAI（法国国立统计与信息分析学院）；CREST（统计与经济研究中心）；University of Manchester（曼彻斯特大学）
贝叶斯优化（BO）是一个强大的框架，用于优化黑盒，昂贵的评估功能。在过去的十年中，已经提出了许多算法，以将目标函数的更便宜、更低保真度的近似值集成到优化过程中，目标是以更低的成本收敛到全局最优值。该任务通常被称为多保真度贝叶斯优化（MMBO）。然而，MFBO算法可能导致比其香草BO对应物更高的优化成本，特别是当低保真度源是目标函数的差近似时，因此违背了它们的目的。为了解决这个问题，我们提出了rMFBO（鲁棒MFBO），一种方法，使任何基于GP的MFBO计划强大的增加不可靠的信息源。rMFBO具有理论保证，即其性能可以绑定到其香草BO类似物，具有高可控概率。我们证明了所提出的方法的有效性，一些数值基准，优于早期的MFBO方法不可靠的来源。我们期望rMFBO是特别有用的，可靠地包括人类专家与BO过程中的不同知识。
2023-02-24 cs.LG stat.ML
Multi-Objective Multi-Fidelity Bayesian Optimization with Causal Priors
Department of Computer Science；Engineering, University of South Carolina, SC, USA；Computer Science Department, Appalachian State University, NC, USA；Engineering, Texas A\&M University, TX, USA
RESCUE通过引入因果模型提升多目标多保真度贝叶斯优化的样本效率。
2026-01-31 cs.AI cs.LG
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University（康奈尔大学）
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此，对于深度神经网络中的超参数调整，即使是几个超参数设置，评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如，使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法，多保真度贝叶斯优化，重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数，跟踪感知的知识梯度，它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度，当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数，并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
Out-Of-The-Loop Multi-Fidelity Bayesian Optimization
针对标准多保真贝叶斯优化在现实场景中因最高保真度函数成本过高导致的次优问题，提出结合历史高保真数据与任务描述符的方法，经合成函数及化学、超参数优化问题验证有效。
2026-08-06 cs.AI cs.LG
Data Mixture Optimization: A Multi-fidelity Multi-scale Bayesian Framework
Columbia Business School（哥伦比亚商学院）
本文提出一种概率外推的多保真度多尺度贝叶斯优化框架，用于数据混合优化，通过自适应选择数据混合、模型规模和训练步数，在20M至1B参数模型上实现2.6倍和3.3倍加速，显著提升预训练效率。
2025-03-26 cs.LG
Towards accelerating physical discovery via non-interactive and interactive multi-fidelity Bayesian Optimization: Current challenges and future opportunities
UT-Battelle, LLC（UT-Battelle有限责任公司）；U.S. Department of Energy（美国能源部）
本文提出从数据驱动MFBO到物理驱动sMFBO，再到人在回路的交互式iMFBO的多保真贝叶斯优化工作流，并在Ising模型上验证了物理知识注入与实时人类决策对加速物理发现探索的作用。
2024-02-20 cs.LG
Reduced-Space Multi-Fidelity Bayesian Optimization of Process Simulation Models
Imperial College London（伦敦帝国理工学院）
针对高维昂贵黑盒函数，提出降空间多保真贝叶斯优化框架RS-MFBO，结合全局敏感性分析和保真度增强高斯过程，在工业模拟器上显著减少高保真评估次数并保持优化性能。
2026-09-16 cs.LG math.OC
Harnessing Low-Fidelity Data to Accelerate Bayesian Optimization via Posterior Regularization
Nanjing University of Posts and Telecommunications（南京邮电大学）
贝叶斯优化（BO）是一个功能强大的范式，用于黑箱目标函数（BOF）的无导数全局优化，这是昂贵的评估。但是，对于具有高成本函数计算的问题，BO的开销仍然是过高的。在本文中，我们研究如何减少BO所需的函数求值的数量，而不影响解决方案的质量。我们探讨了后验正则化的思想，利用高斯过程置信上限（GP-UCB）框架内的低保真度（LF）数据。LF数据可以由BOF的LF近似或相关优化任务的先前评估产生。训练称为LF-GP的额外GP模型以拟合LF数据。我们开发了一个名为动态加权专家产品（DW-POE）融合算子。该算子在BOF的后验上引入正则化。LF GP模型对正则化后验的影响通过贝叶斯形式主义进行自适应调整。大量的基准BOF优化任务的实验结果表明，所提出的算法优于国家的最先进的性能。
2019-12-16 cs.LG stat.ML
Multi-fidelity Bayesian Optimization with Max-value Entropy Search and its parallelization
Gifu University（岐阜大学）；Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）；Japan Science and Technology Agency（日本科学技术振兴机构）；National Institute for Material Science（国立材料科学研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
在贝叶斯优化（BO）的标准设置中，假设目标函数评估是非常昂贵的。多保真度贝叶斯优化（MFBO）通过以较低的采样成本合并可用的较低保真度观测来加速BO。在本文中，我们专注于信息为基础的方法，这是一个流行的和经验上成功的方法在BO。然而，对于MFBO，现有的基于信息的方法受到难以估计信息增益的困扰。我们提出了一种基于最大值熵搜索（MES）的方法，通过考虑最优函数值的熵而不是最优输入点，极大地方便了计算。我们表明，在我们的多保真度MES（MF-MES），大多数额外的计算，与通常的MES相比，减少到分析计算。尽管对于跨不同分辨率的信息需要额外的数值积分，但这仅在一维空间中，可以有效且准确地执行。此外，我们还提出了MF-MES的并行化。由于存在各种不同的采样成本，因此查询通常在MFBO中异步发生。我们表明，类似的简单的计算可以得出异步并行MFBO。我们通过使用基准数据集和材料科学数据的实际应用证明了我们方法的有效性。
2020-02-13 cs.LG stat.ML
On Some Tunable Multi-fidelity Bayesian Optimization Frameworks
Department of Chemical and Biomolecular Engineering, Johns Hopkins University, U.S.A.（化学与生物分子工程系，约翰霍普金斯大学，美国）；Department of Civil and Systems Engineering, Johns Hopkins University, U.S.A.（土木与系统工程系，约翰霍普金斯大学，美国）；Department of Mechanical Engineering, Massachusetts Institute of Technology, U.S.A.（机械工程系，麻省理工学院，美国）
本文提出基于邻近性的多保真采集策略及多保真UCB方法，简化保真度选择并控制高保真使用，在化学动力学等任务中验证了其收敛效率与可调性。
2025-08-01 cs.AI cs.LG math.OC
Constrained multi-fidelity Bayesian optimization with automatic stop condition
University of California, Irvine（加利福尼亚大学欧文分校）
针对约束空间下高保真贝叶斯优化成本高、缺乏系统停止准则的问题，提出可适配跨源可变黑盒约束的成本感知多保真BO框架及收敛停止准则，在多基准上验证有效并开源。
2025-03-21 cs.AI cs.LG stat.ML
CAGES: Cost-Aware Gradient Entropy Search for Efficient Local Multi-Fidelity Bayesian Optimization
Dept. of Chemical and Biomolecular Engineering, The Ohio State University（化学与生物分子工程系，俄亥俄州立大学）
提出成本感知梯度熵搜索（CAGES）算法，用于多保真黑盒函数的局部贝叶斯优化，通过信息论采集函数高效获取梯度信息，在合成和强化学习基准上优于现有方法。
2025-05-25 cs.LG stat.ML
Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation
KAIST（韩国科学技术院）；Korea University（高丽大学）；DeepAuto
本文提出一种成本敏感的多保真贝叶斯优化方法，通过用户定义的效用函数、新型采集函数和停止准则，结合迁移学习改进学习曲线外推，在多个数据集上优于现有基线，实现成本与性能的更好权衡。
2024-05-28 cs.AI cs.LG
No Free Lunch Theorem and Bayesian probability theory: two sides of the same coin. Some implications for black-box optimization and metaheuristics
Australian College of Kuwait（科威特澳大利亚学院）
在工业设计和实践的不同领域中，经常会出现一些难以用传统的微积分方法得到可接受解的优化问题。困难优化问题是那些表现出以下行为的问题：a）大量的独立输入变量; b）非常复杂或不规则的多模态适应度; c）计算昂贵的适应度评估。本文将重点讨论一些对实践有很强影响的理论问题。我将强调如何解释没有免费的午餐定理自然导致一个一般的贝叶斯优化框架。在函数空间中选择先验是每个黑盒优化中关键且不可避免的步骤。
2013-12-01 cs.LG
On the Effects of Heterogeneous Errors on Multi-fidelity Bayesian Optimization
University of California, Irvine（加州大学欧文分校）
本文针对多保真度贝叶斯优化中低保真度数据全局相关性差和噪声异方差的问题，提出了一种为每个数据源学习噪声模型并利用局部相关低保真度源的多保真度仿真方法，通过分析示例和材料设计工程问题验证了其有效性。
2023-09-06 cs.LG stat.ML
Bayesian Optimization of Genetic Algorithm Hyperparameters in a Multi-Fidelity Framework for Efficient Lattice Material Design
IMDEA Materials Institute（IMDEA材料研究所）；Department of Materials Science and Engineering and Chemical Engineering（材料科学与工程及化学工程系）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
研究提出多保真框架优化遗传算法超参数，整合三个保真度级别，评估多种采集函数，logNEI性能最佳。该框架确定的超参数配置能减少计算成本，实现快速收敛，验证了代理驱动优化策略的有效性，证明多保真优化对GA超参数调整及晶格设计研究的潜力。
2026-07-09 cond-mat.dis-nn cond-mat.mtrl-sci cs.AI
Multi-Fidelity Bayesian Optimization With Across-Task Transferable Max-Value Entropy Search
Centre for Intelligent Information Processing Systems (CIIPS)（智能信息处理系统中心）
针对相关连续黑箱优化任务，本文提出跨任务可迁移最大值熵搜索采集函数，利用基于粒子的变分贝叶斯更新迁移高斯过程参数分布，并从理论和实验上验证其多保真优化效率。
2025-01-08 cs.IT cs.LG eess.SP
Dynamic Exclusion of Low-Fidelity Data in Bayesian Optimization for Autonomous Beamline Alignment
Carnegie Mellon University（卡内基梅隆大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）；Yale University（耶鲁大学）
针对同步加速器光束线对准的贝叶斯优化易受低质量数据干扰的问题，研究提出两种动态排除低保真度数据的方法，均实现有效分类，可提升光束质量并加快优化收敛，助力BNL能源研究使命。
2024-08-13 cs.AI cs.LG physics.acc-ph
Bayesian Optimization for Machine Learning : A Practical Guidebook
SigOpt
机器学习系统的工程仍然是一个新兴的领域;依赖于一系列看似令人生畏的快速发展的工具和最佳实践。我们希望这本指南将成为机器学习从业者利用贝叶斯优化技术的有用资源。我们概述了四个可以使用开源机器学习库解决的机器学习问题的示例，并强调了在这些常见机器学习应用程序的背景下使用贝叶斯优化的好处。
2016-12-14 cs.LG
Multi-fidelity Bayesian Data-Driven Design of Energy Absorbing Spinodoid Cellular Structures
Department of Electronic Components, Technology and Materials, Delft University of Technology（电子组件、技术和材料系，代尔夫特理工大学）；School of Engineering and Materials Science, Queen Mary University of London（工程与材料科学学院，伦敦女王学院）
针对有限元模拟计算成本高与数据驱动设计需求的矛盾，本研究结合Sobol'采样与敏感性分析，对比贝叶斯优化与多保真贝叶斯优化在spinodoid胞状结构吸能最大化中的性能，证实后者性能最高可提升11%，结果已开源。
2025-07-25 cond-mat.mtrl-sci cs.LG
Multi-objective and multi-fidelity Bayesian optimization of laser-plasma acceleration
Ludwig-Maximilian-Universität München（慕尼黑大学）；Max Planck Institut für Quantenoptik（马克斯·普朗克量子光学研究所）
加速器中的束流参数优化涉及多个，有时是相互竞争的目标。将这些单独的目标浓缩成一个单一的品质因数，必然会导致在缺乏先验知识的情况下，往往以一种不可取的方式偏向于特定的结果。找到最优的目标定义需要操作员重新考虑许多可能的目标权重和定义，这个过程可能比优化本身花费的时间长很多倍。一种更通用的方法是多目标优化，它建立了目标之间的权衡曲线或帕累托前沿。在这里，我们提出了第一个结果的多目标贝叶斯优化的模拟激光等离子体加速器。我们发现，多目标优化达到可比的性能，其单目标的同行，同时允许即时评估全新的目标。这大大减少了为新问题找到适当的客观定义所需的时间。此外，我们的多目标，多保真度的方法减少了一个数量级的优化运行所需的时间。它通过动态选择模拟分辨率和盒子大小来实现这一点，当它从快速低分辨率运行中了解帕累托最优解决方案时，需要更少的缓慢和昂贵的模拟。本文中演示的技术可以很容易地转换为加速器优化之外的许多不同的计算和实验用例。
2022-12-23 cs.LG physics.acc-ph physics.plasm-ph
Physics-Aware Multifidelity Bayesian Optimization: a Generalized Formulation
Politecnico di Torino（都灵理工大学）；Imperial College London（帝国理工学院）；Massachusetts Institute of Technology（麻省理工学院）
本文提出物理感知的多保真贝叶斯优化广义化表述，通过将领域物理结构嵌入多保真采集函数，在控制计算成本的同时高效利用高保真仿真引导优化，并验证于设计优化与健康监测问题。
2024-07-04 cs.LG math.OC
Learning cardiac activation maps from 12-lead ECG with multi-fidelity Bayesian optimization on manifolds
Università della Svizzera italiana（瑞士意大利语区大学）；University of Pennsylvania（宾夕法尼亚大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
我们提出了一种非侵入性地识别心脏异位激活的方法。心脏的异位活动会引发致命的心律失常。因此，异位病灶或最早激动部位（EAS）的定位是心脏病专家决定最佳治疗的关键信息。在这项工作中，我们制定的识别问题作为一个全局优化问题，通过最大限度地减少由心脏模型预测的心电图之间的不匹配，当起搏在一个给定的EAS，和观察到的心电图在异位活动。我们的心脏模型的金额在解决各向异性程函方程的心脏激活和前向bidomain模型在躯干与铅场的方法计算的心电图。我们在心脏表面建立了一个高斯过程的损失函数代理模型来进行贝叶斯优化。在这个过程中，我们迭代地评估损失函数的置信下限标准，结合探索的表面与开发的最小区域。我们还扩展了这个框架，将模型的保真度的多个层次。我们表明，我们的程序收敛到最小值后，只有$11.7\pm10.4$迭代（20个独立运行）的单保真度的情况下和$3.5\pm1.7$迭代的多保真度的情况下。我们设想这种工具可以在临床环境中实时应用，以识别潜在危险的EAS。
2022-03-11 cs.LG eess.SP math.OC
Amortized Auto-Tuning: Cost-Efficient Bayesian Transfer Optimization for Hyperparameter Recommendation
Carnegie Mellon University（卡内基梅隆大学）；Petuum（Petuum公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Stanford University（斯坦福大学）
随着现代机器学习模型的超参数数量和训练时间的激增，超参数调整变得越来越昂贵。然而，在系统地评估了40种调优方法后，我们发现每种方法都面临一定的局限性。特别是，通过知识转移加速调优的方法通常需要超参数的最终性能，并且不关注低保真度信息。正如我们的经验表明，这种常见的做法是次优的，并可能导致不必要的资源使用。相反，利用低保真度调优观察来测量任务间的相似性并相应地将知识从现有任务转移到新任务是更具有成本效益的。然而，执行多保真度调优在传输设置中也有其自身的挑战：额外观察中的噪声以及对性能预测的需求。因此，我们提出了一个多任务多保真度贝叶斯优化框架，并进行了深入的分析，这导致了最好的实例-分期自动调整（AT 2）。我们进一步提出了一个离线计算的27任务超参数推荐（HyperRec）数据库，以服务于社区。在HyperRec和其他真实数据库上的大量实验表明了我们的AT 2方法的有效性。
2022-04-07 cs.AI cs.LG stat.ML
MUMBO: MUlti-task Max-value Bayesian Optimization
Lancaster University（兰卡斯特大学）
我们提出了MUMBO，第一个高性能但计算效率高的多任务贝叶斯优化采集功能。在这里，挑战是通过评估与我们真正的目标函数相关的低成本函数来执行有效的优化。这是一个广泛的问题，包括多保真度优化的流行任务。然而，虽然已知信息理论获取函数提供最先进的贝叶斯优化，但用于多任务场景的现有实现具有过高的计算要求。因此，以前的采集功能只适用于低维参数空间和函数查询成本足够大，掩盖非常显着的优化开销的问题。在这项工作中，我们得到了一个新的多任务版本的熵搜索，提供强大的性能与低计算开销在经典的优化挑战和多任务超参数调整。MUMBO具有可扩展性和高效性，允许在具有丰富参数和保真度空间的问题中部署多任务贝叶斯优化。
2020-06-22 cs.LG stat.ML
Multi-fidelity Bayesian Optimization: A Review
University of Houston（休斯顿大学）
本文综述了多保真度贝叶斯优化的核心方法与应用，探讨其在复杂优化问题中的潜力与挑战。
2025-12-31 cs.CE cs.LG math.OC
Bayesian Optimization with Exponential Convergence
MIT（麻省理工学院）
本文提出了一种指数收敛的贝叶斯优化方法，它不需要辅助优化，也不需要增量覆盖抽样。大多数贝叶斯优化方法需要辅助优化：一个额外的非凸全局优化问题，这可能是耗时的，很难在实践中实现。此外，现有的具有指数收敛的贝叶斯优化方法需要访问增量覆盖采样，这被认为是不切实际的。我们的方法消除了这两个要求，并实现了指数收敛速度。
2016-04-05 cs.LG stat.ML
Information-Theoretic Multi-Objective Bayesian Optimization with Continuous Approximations
Washington State University（华盛顿州立大学）
许多现实世界的应用程序涉及使用连续函数近似的多个目标的黑盒优化，权衡评估的准确性和资源成本。例如，在火箭发射研究中，我们需要找到使用连续保真度模拟器（例如，改变容差参数以折衷仿真时间和精度）用于设计评估。目标是通过最小化评估成本来近似最优帕累托集。在本文中，我们提出了一种新的方法称为信息理论的多目标连续近似贝叶斯优化（iMOCA）}来解决这个问题。其核心思想是选择输入序列和函数逼近的多个目标，最大化的信息增益每单位成本的最优帕累托前沿。我们在不同的合成和真实世界的基准测试的实验表明，iMOCA显着提高了现有的单保真度的方法。
2020-11-23 cs.AI cs.LG stat.ML
Towards best practices in low-dimensional semi-supervised latent Bayesian optimization for the design of antimicrobial peptides
本文探讨了低维半监督潜在贝叶斯优化在抗菌肽设计中的应用，分析了降维对优化的促进作用及不同信息组织对效率的影响，提出了改进的潜在空间组织方法。
2026-04-03 cs.LG physics.comp-ph
Time-Series-Informed Closed-loop Learning for Sequential Decision Making and Control
Control and Cyber-Physical Systems Laboratory, Technical University of Darmstadt（控制与网络物理系统实验室，德累斯顿技术大学）
针对序列决策算法闭环性能依赖参数且标准贝叶斯优化忽略时间结构的问题，提出时间序列感知的多保真贝叶斯优化框架及概率早期停止准则，在非线性控制基准上实现资源减半性能相当或同资源性能更优，提升样本效率。
2025-11-17 cs.LG cs.SY eess.SY
Neural fidelity warping for efficient robot morphology design
Simon Fraser University（西蒙弗雷泽大学）
我们考虑优化机器人形态的问题，以实现最佳性能的目标任务，在计算资源的限制。每个形态设计的评估过程涉及学习设计的控制器，这可能会消耗大量的时间和计算资源。为了解决昂贵的机器人形态评估的挑战，我们提出了一个连续的多保真度贝叶斯优化框架，有效地利用计算资源，通过低保真度的评估。我们确定了保真度空间的非平稳性问题。我们提出的保真度扭曲机制可以学习学习时期和任务的表示，以模拟连续保真度评估之间的非平稳协方差，这对现成的平稳内核来说是一个挑战。各种实验表明，我们的方法可以利用低保真度的评价，有效地搜索最佳的机器人形态，优于国家的最先进的方法。
2020-12-09 cs.AI cs.LG cs.RO
Disentangled Multi-Fidelity Deep Bayesian Active Learning
University of California San Diego（加州大学圣地亚哥分校）；Northeastern University（东北大学）
针对多保真度主动学习中高维扩展性差及低保真度误差向高保真度传播的问题，提出D-MFDAL框架，通过以多保真度函数分布为条件学习解耦代理模型，并在偏微分方程与流体模拟基准上提升了精度和样本效率。
2023-06-05 cs.LG
Multi-Fidelity Bayesian Neural Network for Uncertainty Quantification in Transonic Aerodynamic Loads
School of Engineering, Zurich University of Applied Sciences ZHAW（苏黎世应用科技大学工程学院）；Faculty of Engineering and Physical Sciences, University of Southampton（南安普顿大学工程与物理科学学院）；Federal Institute of Technology Zurich ETHZ（苏黎世联邦理工学院）
本文提出一种结合迁移学习的多保真贝叶斯神经网络，用于融合不同保真度气动数据并量化预测不确定性，实验表明其在跨音速气动载荷预测中优于 Co-Kriging。
2024-07-08 cs.CE cs.LG
Practical multi-fidelity machine learning: fusion of deterministic and Bayesian models
Delft University of Technology（代尔夫特理工大学）；City University of Hong Kong（香港城市大学）；Brown University（布朗大学）
提出一种融合确定性低保真模型与贝叶斯高保真模型的三模型多保真策略，通过迁移学习与残差学习实现不确定性量化，在保证精度的同时显著降低训练时间并缓解过拟合。
2025-03-25 cs.LG math.PR stat.ML
Long-run Behaviour of Multi-fidelity Bayesian Optimisation
University College London（伦敦大学学院）；Matterhorn Studio（马特霍恩工作室）
本研究通过基准实验探究多保真贝叶斯优化在长期运行中的潜在不佳表现，分析其场景与原因，以评估其实际应用可靠性。
2023-12-19 cs.LG stat.ML
Deep Gaussian Process-based Multi-fidelity Bayesian Optimization for Simulated Chemical Reactors
Imperial College London（帝国理工学院）
3D打印等新的制造技术最近使以前不可行的化学反应器设计成为可能。优化下一代化学反应器的几何结构对于理解底层物理并确保反应器在现实世界中的可行性非常重要。这个优化问题是计算昂贵的，非线性的，和衍生的自由，使其具有挑战性的解决。在这项工作中，我们应用深度高斯过程（DGPs）在贝叶斯优化设置中模拟多保真度盘管反应器模拟。通过应用多保真度贝叶斯优化方法，反应器几何结构的搜索空间通过不同保真度的模拟，根据预测的不确定性和模拟成本，最大限度地利用计算预算选择的汞齐进行探索。DGP的使用提供了一个端到端的模型，五个离散的网格并行，使更少的计算工作，以获得良好的解决方案，在优化过程中。这五个参数的模拟准确性是根据从3D打印反应堆配置获得的实验数据确定的，从而提供了对适当超参数的见解。我们希望这项工作提供了有趣的洞察实际使用的DGP为基础的多保真度贝叶斯优化工程发现。
2022-10-31 cs.CE cs.LG
Active multi-fidelity Bayesian online changepoint detection
Princeton University（普林斯顿大学）；Arm ML Research Lab（Arm机器学习研究实验室）
用于检测变化点或时间序列的行为中的突然转变的在线算法通常利用有限的资源来部署，移动电话或工业传感器等边缘计算环境。在这些情况下，将收集环境测量的成本与该测量的质量或"保真度"以及测量如何影响变点估计进行交易可能是有益的。例如，可以在惯性测量或GPS之间做出决定，以确定运动的变化点。贝叶斯变点检测方法特别有吸引力，因为我们可以表示关于变点的后验不确定性，并对数据保真度做出积极的、成本敏感的决策，以减少这种后验不确定性。此外，通过主动保真切换，总成本可以大大降低，同时对数据分布的变化保持鲁棒性。我们提出了一个多保真度的方法，使成本敏感的决定，收集数据保真度的基础上最大限度地提高信息增益的变化点。我们对合成，视频和音频数据的框架进行了评估，并表明这种基于信息的方法可以在降低总成本的同时实现准确的预测。
2021-07-25 cs.LG stat.ML
A General Framework for Multi-fidelity Bayesian Optimization with Gaussian Processes
California Institute of Technology（加州理工学院）
当我们面对多个相互依赖的信息源时，如何有效地收集信息来优化未知函数？例如，当优化机器人系统时，智能地权衡计算机模拟和真实机器人测试可以导致显著的节省。现有的方法，如多保真度GP-UCB或基于熵搜索的方法，要么对不同属性之间的相互作用进行简单的假设，要么使用缺乏理论保证的简单的算法。在本文中，我们研究了多个输出之间的复杂结构依赖的多保真度贝叶斯优化，并提出了MF-MI-Greedy，一个原则性的算法框架来解决这个问题。特别是，我们使用加性高斯过程的基础上共享的潜在结构与目标函数不同的并行性建模。然后，我们使用成本敏感的互信息增益有效的贝叶斯全局优化。我们提出了一个简单的概念，后悔，其中包括成本的不同qualities，并证明MF-MI-Greedy实现低后悔。我们证明了我们的算法在合成和真实世界的数据集上的强大的经验性能。
2018-11-02 cs.LG stat.ML
Residual Gaussian Process: A Tractable Nonparametric Bayesian Emulator for Multi-fidelity Simulations
Beijing University of Aeronautics and Astronautics（北京航空航天大学）；University of Utah（犹他大学）；Chongqing University（重庆大学）；Beihang University（北京航空航天大学）
多保真度建模中的挑战涉及准确性、不确定性估计和高维性。引入了一种新的添加剂结构，其中最高保真度的解决方案被写为最低保真度的解决方案和在连续的保真度水平的解决方案之间的残差的总和，与高斯过程先验放置在低保真度的解决方案和每个残差。由此产生的模型配备了一个封闭形式的解决方案的预测后，使其适用于先进的，高维的任务，需要不确定性估计。它的优点表现在单变量基准和三个具有挑战性的多变量问题。它示出了如何可以使用主动学习来增强模型，特别是在有限的计算预算。此外，在单变量的情况下，平均预测的误差界。
2021-04-08 cs.CE cs.LG stat.AP
When Does Cheap Physics Help? Gated Multi-Fidelity Physics-Informed Networks with Provable Sample Savings and Conformal Guarantees
Department of Applied Mathematics and Computer Science (DTU Compute)（应用数学与计算机科学系（DTU Compute））；Technical University of Denmark（丹麦技术大学）
本文提出MF-BPINN，通过结合贝叶斯不确定性量化和自适应残差学习，高效求解参数偏微分方程。
2026-10-27 cs.LG cs.NA math.NA
Active Learning with Bayesian Multi-Fidelity Laplace Neural Operators for Oscillatory Parametric PDEs
Purdue University（普渡大学）；Sandia National Laboratories（桑迪亚国家实验室）
针对参数动力系统代理建模中高保真数据获取昂贵的问题，提出贝叶斯多保真度拉普拉斯神经算子，利用不确定性引导主动学习高效获取高保真轨迹，在多个振荡系统上优于随机采样和MF-DeepONet。
2026-09-15 cs.LG cs.NA math.NA
Context-aware surrogate modeling for balancing approximation and sampling costs in multi-fidelity importance sampling and Bayesian inverse problems
New York University（纽约大学）
多保真度方法利用低成本的代理模型来加速计算，并偶尔求助于昂贵的高保真模型来建立准确性保证。由于替代模型和高保真模型一起使用，因此替代模型的不良预测可以通过频繁求助于高保真模型来补偿。因此，在投资计算资源以提高代理模型的准确性与简单地更频繁地求助于昂贵的高保真模型之间存在权衡;然而，这种权衡被传统建模方法所忽略，传统建模方法构建的代理模型旨在取代高保真模型，而不是与高保真模型一起使用。这项工作认为，多保真度的重要性采样和理论和计算权衡增加替代模型的保真度，以构建更准确的偏置密度和样本的数量，需要从高保真模型，以补偿穷人的偏置密度。数值例子表明，这样的上下文感知的代理模型的多保真度的重要性采样具有较低的保真度比通常被设置为传统的模型约简中的容限，导致运行时加速高达一个数量级的数量级在所提出的例子。
2021-09-12 cs.LG cs.NA math.NA
Multi-fidelity Bayesian Neural Networks: Algorithms and Applications
Brown University（布朗大学）；University of Pittsburgh（匹兹堡大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
我们提出了一类新的贝叶斯神经网络（BNN），可以使用噪声数据的变量保真度进行训练，我们将它们应用于学习函数逼近以及解决基于偏微分方程（PDE）的逆问题。这些多保真度BNN由三个神经网络组成：第一个是全连接的神经网络，它是按照最大后验概率（MAP）方法训练的，以拟合低保真度数据：第二个是贝叶斯神经网络，用于捕获低和高保真数据之间的交叉相关性和不确定性量化;最后一个是物理信息神经网络，它对偏微分方程描述的物理规律进行编码。对于后两个神经网络的训练，我们使用Hamilton Monte Carlo方法精确估计相应超参数的后验分布。我们使用合成数据以及实际测量证明了本方法的准确性。具体来说，我们首先近似一个一维和四维函数，然后推断在一维和二维扩散反应系统的反应速率。此外，我们推断海表面温度（SST）在马萨诸塞州和科德角湾使用卫星图像和现场测量。两者合计，我们的研究结果表明，本方法可以捕捉线性和非线性相关性的低和高保真度的数据自适应，识别未知参数的偏微分方程，并量化预测的不确定性，给出了一些分散的噪声高保真度数据。最后，我们证明，我们可以有效地和高效地减少不确定性，从而提高预测精度的主动学习方法，作为一个例子，使用特定的一维函数逼近和逆偏微分方程问题。
2020-12-19 cs.LG physics.comp-ph
Graph Laplacian-based Bayesian Multi-fidelity Modeling
Department of Aerospace and Mechanical Engineering, University of Southern California（航空航天与机械工程系，南加州大学）；School of Mathematics, University of Birmingham（数学学院，伯明翰大学）；Computing and Mathematical Sciences, California Institute of Technology（计算与数学科学系，加州理工学院）
本文提出基于图拉普拉斯的贝叶斯多保真建模方法，利用低保真数据构建先验密度并结合高保真数据提升预测精度。
2025-11-27 cs.CE cs.LG
Bayesian learning of orthogonal embeddings for multi-fidelity Gaussian Processes
General Electric Research（通用电气研究中心）
我们提出了一个贝叶斯方法来确定最佳的转换，映射模型输入点的低维潜变量。“投影”映射由正交归一化矩阵组成，该正交归一化矩阵被认为是先验未知的，并且需要以可用的训练数据为条件与GP参数联合推断。建议的贝叶斯推断方案依赖于一个两步迭代算法，分别从GP参数和投影矩阵的边缘后验样本，都使用马尔可夫链蒙特卡罗（MCMC）采样。为了考虑正交投影矩阵的正交性约束，采用了适合于流形上概率测度的测地线蒙特卡罗抽样算法.我们将所提出的框架扩展到使用GP的多保真度模型，包括一起训练多个输出的场景。我们验证了我们的框架上的三个合成问题与一个已知的低维子空间。我们提出的框架的好处，说明了计算上具有挑战性的三维空气动力学优化的最后一级叶片的工业燃气轮机，在那里我们研究了85维翼型形状参数化对两个输出量的影响，特别是对空气动力学效率和反应的程度。
2020-08-05 cs.LG stat.CO stat.ML
Multi-Fidelity Delayed Acceptance: hierarchical MCMC sampling for Bayesian inverse problems combining multiple solvers through deep neural networks
The Alan Turing Institute, London, NW1 2DB, UK（艾伦·图灵研究所）
本文提出多保真度延迟接受方法，通过深度神经网络结合多个求解器，提升贝叶斯反问题的计算效率和精度。
2025-12-18 cs.LG cs.NA math.NA
Using Bayesian deep learning approaches for uncertainty-aware building energy surrogate models
University of Victoria（维多利亚大学）；Department of Civil Engineering（土木工程系）；Energy and Cities Group（能源与城市小组）
基于快速机器学习的代理模型经过训练，可模拟慢速、高保真的工程仿真模型，从而加快工程设计任务。这引入了不确定性，因为替代模型只是原始模型的近似值。贝叶斯方法可以量化这种不确定性，并且存在遵循贝叶斯范式的深度学习模型。这些模型，即贝叶斯神经网络和高斯过程模型，使我们能够给出预测与模型的不确定性的估计。因此，我们可以得到不确定性感知代理模型，可以自动怀疑看不见的设计样本，导致大的仿真错误。对于这些样本，可以改为查询高保真模型。这概述了贝叶斯范式如何让我们混合快速，但近似，缓慢，但准确的模型。本文针对复杂的高维建筑能耗模拟问题，训练了两类贝叶斯模型：丢弃神经网络和随机变分高斯过程模型。代理模型处理35个建筑设计参数（输入）以估计12个不同的性能度量（输出）。我们对这两种方法进行了基准测试，证明了它们的准确性是有竞争力的，并表明当将具有最高不确定性的10%的样本转移到高保真模型时，误差可以减少30%。
2020-10-05 cs.LG stat.ML
Bayesian Modelling in Practice: Using Uncertainty to Improve Trustworthiness in Medical Applications
University of Amsterdam（阿姆斯特丹大学）；Pacmed BV（帕克梅德公司）
本研究提出利用贝叶斯建模的预测不确定性来降低ICU临床决策中的预测风险并检测分布外样本，理论推导与MIMIC-III数据集实验证明其能有效防止错误并提升模型可信度。
2024-07-25 cs.AI cs.LG stat.ML
