Disentangled Multi-Fidelity Deep Bayesian Active Learning
University of California San Diego（加州大学圣地亚哥分校）；Northeastern University（东北大学）
针对多保真度主动学习中高维扩展性差及低保真度误差向高保真度传播的问题，提出D-MFDAL框架，通过以多保真度函数分布为条件学习解耦代理模型，并在偏微分方程与流体模拟基准上提升了精度和样本效率。
2023-06-05 cs.LG
Practical multi-fidelity machine learning: fusion of deterministic and Bayesian models
Delft University of Technology（代尔夫特理工大学）；City University of Hong Kong（香港城市大学）；Brown University（布朗大学）
提出一种融合确定性低保真模型与贝叶斯高保真模型的三模型多保真策略，通过迁移学习与残差学习实现不确定性量化，在保证精度的同时显著降低训练时间并缓解过拟合。
2025-03-25 cs.LG math.PR stat.ML
BOAH: A Tool Suite for Multi-Fidelity Bayesian Optimization & Analysis of Hyperparameters
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
超参数优化和神经架构搜索对于常规的黑盒贝叶斯优化来说可能变得过于昂贵，因为单个模型的训练和评估可能很容易花费几个小时。为了克服这一点，我们引入了一个全面的工具套件，用于有效的多保真度贝叶斯优化及其运行分析。该套件使用Python编写，提供了一种简单的方法来指定复杂的设计空间，将贝叶斯优化和HyperBand进行了强大而有效的组合，并对优化过程及其结果进行了全面的分析。
2019-08-16 cs.AI cs.LG stat.ML
Falsification of Learning-Based Controllers through Multi-Fidelity Bayesian Optimization
West Virginia University（西弗吉尼亚大学）；Stanford University（斯坦福大学）；Rochester Institute of Technology（罗切斯特理工学院）
针对全保真仿真证伪学习型控制器安全性计算成本高的问题，提出基于贝叶斯优化的多保真度证伪框架，可自动切换高低保真仿真，在保证证伪性能的同时大幅降低成本。
2023-04-28 cs.LG cs.SY eess.SY
Optimizing Falsification for Learning-Based Control Systems: A Multi-Fidelity Bayesian Approach
Rochester Institute of Technology（罗切斯特理工学院）；Stanford University（斯坦福大学）
针对基于学习的闭环控制系统证伪中全保真仿真计算成本高的问题，提出多保真度贝叶斯优化证伪框架，可切换不同精度仿真器并确定最优反例输入与适配保真度，在多Gym环境中验证了其比基线方法计算效率更高。
2024-09-12 cs.LG cs.SY eess.SY
Multi-Fidelity Bayesian Optimization via Deep Neural Networks
University of Utah（犹他大学）；Scientific Computing and Imaging Institute（科学计算与成像研究所）
贝叶斯优化（BO）是一个流行的框架来优化黑盒函数。在许多应用中，目标函数可以在多个精度下进行评估，以实现成本和精度之间的权衡。为了降低优化成本，已经提出了许多多保真度BO方法。尽管这些方法取得了成功，但它们忽略或过度简化了跨多个属性的强的复杂相关性，因此在估计目标函数时可能效率低下。为了解决这个问题，我们提出了深度神经网络多保真度贝叶斯优化（DNN-MFBO），可以灵活地捕捉各种复杂的关系之间的准确性，以提高目标函数的估计，从而优化性能。我们使用顺序的，逐行高斯-厄米特求积和矩匹配来实现基于互信息的捕获功能，这是计算上易处理的和高效的。我们展示了我们的方法在合成基准数据集和工程设计中的实际应用中的优势。
2020-12-10 cs.LG stat.ML
Long-run Behaviour of Multi-fidelity Bayesian Optimisation
University College London（伦敦大学学院）；Matterhorn Studio（马特霍恩工作室）
本研究通过基准实验探究多保真贝叶斯优化在长期运行中的潜在不佳表现，分析其场景与原因，以评估其实际应用可靠性。
2023-12-19 cs.LG stat.ML
Laplacian Smoothing Stochastic Gradient Markov Chain Monte Carlo
University of California, Los Angeles（加州大学洛杉矶分校）
随机梯度朗之万动力学（SGLD）算法作为一种重要的马尔可夫链蒙特卡罗（MCMC）方法，在贝叶斯学习和后验抽样方面取得了巨大的成功。然而，SGLD通常遭受缓慢的收敛速度，由于其由随机梯度引起的大方差。为了缓解这些缺点，我们利用最近开发的拉普拉斯平滑（LS）技术，并提出了一个拉普拉斯平滑随机梯度朗之万动力学（LS-SGLD）算法。我们证明，从对数凹和非对数凹密度采样，LS-SGLD实现严格较小的离散误差在$2$ -Wasserstein距离，虽然它的混合速度可以稍微慢。在人工和真实数据集上的实验验证了我们的理论结果，并证明了LS-SGLD在不同机器学习任务上的优越性能，包括后验采样、贝叶斯逻辑回归和训练贝叶斯卷积神经网络。代码可在\url{https://github.com/BaoWangMath/LS-MCMC}上获得。
2019-11-02 cs.LG cs.NA math.NA
MF-SCBO : Multi-fidelity Scalable Constrained Bayesian Optimization
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
针对高维黑箱约束优化中多保真度与高维性、约束及非嵌套采样难以兼顾的问题，提出MF-SCBO方法，实验表明其收敛性优于单保真度SCBO及其他多保真度方法。
2026-09-25 cs.LG math.OC
Applying Multi-Fidelity Bayesian Optimization in Chemistry: Open Challenges and Major Considerations
Imperial College London（帝国理工学院）；EPFL（洛桑联邦理工学院）
本文研究多保真贝叶斯优化（MFBO）在化学发现中的应用，分析低保真数据提升性能的条件，探讨采集函数选择、成本与保真度相关性等挑战及有效性评估方法。
2024-09-11 cond-mat.mtrl-sci cs.LG physics.chem-ph
Best Practices for Multi-Fidelity Bayesian Optimization in Materials and Molecular Research
EPFL（苏黎世联邦理工学院）；Atinary Technologies Inc.（Atinary技术公司）；University of Cambridge（剑桥大学）
本研究系统评估了多保真度贝叶斯优化在材料和分子研究中的参数影响，提供了在实验环境中使用MFBO的指南，并通过合成和真实发现问题验证其相对于单保真度方法的优势。
2025-06-01 cs.LG
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University（康奈尔大学）
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此，对于深度神经网络中的超参数调整，即使是几个超参数设置，评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如，使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法，多保真度贝叶斯优化，重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数，跟踪感知的知识梯度，它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度，当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数，并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
Fidelity of Ensemble Aggregation for Saliency Map Explanations using Bayesian Optimization Techniques
Leibniz Universität Hannover（汉诺威莱布尼茨大学）；dSPACE GmbH（dSPACE有限公司）
近年来，人们提出了大量解释神经网络的特征属性方法。特别是在计算机视觉领域，存在许多用于生成提供像素属性的显著图的方法。然而，他们的解释往往相互矛盾，不清楚哪种解释值得信赖。这个问题的一个自然解决方案是多种解释的聚合。我们提出并比较了不同的基于像素的聚合方案，其目标是生成一个新的解释，其模型的决定的保真度高于每个单独的解释。使用贝叶斯优化领域的方法，我们将个体解释之间的方差纳入聚合过程。此外，我们分析了多重归一化技术对集成聚合的影响。
2022-07-05 cs.CV cs.LG
Rates of Convergence for Regression with the Graph Poly-Laplacian
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；North Carolina State University（北卡罗来纳州立大学）；University of Manchester（曼彻斯特大学）
在（特殊的）光滑样条问题，人们认为一个变分问题的二次数据保真度罚款和拉普拉斯正则化。高阶正则性可以通过用多拉普拉斯正则化器代替拉普拉斯正则化器来获得。该方法很容易适应于图形，在这里，我们考虑在一个完全监督，非参数，噪声破坏，回归问题的图形多拉普拉斯正则化。特别地，给定数据集$\{x_i\}_{i=1}^n$和一组噪声标签$\{y_i\}_{i=1}^n\subset\mathbb{R}$，我们让$u_n:\{x_i\}_{i=1}^n\to\mathbb{R}$是由数据保真度项和适当缩放的图形多拉普拉斯项组成的能量的最小化器。当$y_i = g(x_i)+ξ_i$，iid噪声$ξ_i$，并使用几何随机图，我们确定（以高概率）的收敛速度$u_n$ $g$在大数据限制$n\to\infty$。此外，我们的速度，高达100ms，符合通常的光滑样条模型中的已知的收敛速度。
2022-09-06 cs.LG math.AP stat.ML
Active multi-fidelity Bayesian online changepoint detection
Princeton University（普林斯顿大学）；Arm ML Research Lab（Arm机器学习研究实验室）
用于检测变化点或时间序列的行为中的突然转变的在线算法通常利用有限的资源来部署，移动电话或工业传感器等边缘计算环境。在这些情况下，将收集环境测量的成本与该测量的质量或"保真度"以及测量如何影响变点估计进行交易可能是有益的。例如，可以在惯性测量或GPS之间做出决定，以确定运动的变化点。贝叶斯变点检测方法特别有吸引力，因为我们可以表示关于变点的后验不确定性，并对数据保真度做出积极的、成本敏感的决策，以减少这种后验不确定性。此外，通过主动保真切换，总成本可以大大降低，同时对数据分布的变化保持鲁棒性。我们提出了一个多保真度的方法，使成本敏感的决定，收集数据保真度的基础上最大限度地提高信息增益的变化点。我们对合成，视频和音频数据的框架进行了评估，并表明这种基于信息的方法可以在降低总成本的同时实现准确的预测。
2021-07-25 cs.LG stat.ML
A General Framework for Multi-fidelity Bayesian Optimization with Gaussian Processes
California Institute of Technology（加州理工学院）
当我们面对多个相互依赖的信息源时，如何有效地收集信息来优化未知函数？例如，当优化机器人系统时，智能地权衡计算机模拟和真实机器人测试可以导致显著的节省。现有的方法，如多保真度GP-UCB或基于熵搜索的方法，要么对不同属性之间的相互作用进行简单的假设，要么使用缺乏理论保证的简单的算法。在本文中，我们研究了多个输出之间的复杂结构依赖的多保真度贝叶斯优化，并提出了MF-MI-Greedy，一个原则性的算法框架来解决这个问题。特别是，我们使用加性高斯过程的基础上共享的潜在结构与目标函数不同的并行性建模。然后，我们使用成本敏感的互信息增益有效的贝叶斯全局优化。我们提出了一个简单的概念，后悔，其中包括成本的不同qualities，并证明MF-MI-Greedy实现低后悔。我们证明了我们的算法在合成和真实世界的数据集上的强大的经验性能。
2018-11-02 cs.LG stat.ML
Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks
University of Utah（犹他大学）
贝叶斯优化（BO）是一种强大的方法，用于优化黑盒，昂贵的评估功能。为了在成本和精度之间实现灵活的权衡，许多应用允许在不同的精度下对函数进行评估。为了降低优化成本，同时最大限度地提高效益-成本比，本文提出了基于深度自回归网络的批量多保真度贝叶斯优化（BMBO-DARN）。我们使用一组贝叶斯神经网络来构建一个完全自回归模型，该模型具有足够的表达能力，可以捕获所有属性之间强大而复杂的关系，从而提高代理学习和优化性能。此外，为了提高查询的质量和多样性，我们开发了一个简单而有效的批量查询方法，没有任何组合搜索的相似性。我们提出了一个基于最大值熵搜索（MES）的原则，惩罚高度相关的查询和鼓励多样性的批量采集功能。我们使用后验样本和矩匹配来实现采集函数的有效计算，并对每个概率输入对进行交替优化，这保证了每一步的改进。我们证明了我们的方法在四个现实世界的超参数优化应用的优势。
2021-10-25 cs.LG stat.ML
Multi-Fidelity Bayesian Optimization with Unreliable Information Sources
Aalto University（阿尔托大学）；ENSAI（法国国立统计与信息分析学院）；CREST（统计与经济研究中心）；University of Manchester（曼彻斯特大学）
贝叶斯优化（BO）是一个强大的框架，用于优化黑盒，昂贵的评估功能。在过去的十年中，已经提出了许多算法，以将目标函数的更便宜、更低保真度的近似值集成到优化过程中，目标是以更低的成本收敛到全局最优值。该任务通常被称为多保真度贝叶斯优化（MMBO）。然而，MFBO算法可能导致比其香草BO对应物更高的优化成本，特别是当低保真度源是目标函数的差近似时，因此违背了它们的目的。为了解决这个问题，我们提出了rMFBO（鲁棒MFBO），一种方法，使任何基于GP的MFBO计划强大的增加不可靠的信息源。rMFBO具有理论保证，即其性能可以绑定到其香草BO类似物，具有高可控概率。我们证明了所提出的方法的有效性，一些数值基准，优于早期的MFBO方法不可靠的来源。我们期望rMFBO是特别有用的，可靠地包括人类专家与BO过程中的不同知识。
2023-02-24 cs.LG stat.ML
When Does Cheap Physics Help? Gated Multi-Fidelity Physics-Informed Networks with Provable Sample Savings and Conformal Guarantees
Department of Applied Mathematics and Computer Science (DTU Compute)（应用数学与计算机科学系（DTU Compute））；Technical University of Denmark（丹麦技术大学）
本文提出MF-BPINN，通过结合贝叶斯不确定性量化和自适应残差学习，高效求解参数偏微分方程。
2026-10-27 cs.LG cs.NA math.NA
LAPRAN: A Scalable Laplacian Pyramid Reconstructive Adversarial Network for Flexible Compressive Sensing Reconstruction
Arizona State University（亚利桑那州立大学）
本文研究了单图像压缩感知（CS）和重建问题。我们提出了一个可扩展的拉普拉斯金字塔重建对抗网络（LAPRAN），可以实现高保真度、灵活且快速的CS图像重建。LAPRAN遵循拉普拉斯金字塔的概念，通过多个阶段的重建对抗网络（RAN）逐步重建图像。在每个金字塔级别，CS测量值与上下文潜在向量融合以生成高频图像残差。因此，LAPRAN可以产生重建图像的层次结构，并且每个层次结构都具有增量分辨率和改进的质量。LAPRAN的可缩放金字塔结构使得能够以灵活的分辨率进行高保真CS重建，该分辨率适应于宽范围的压缩比（CR），这在现有方法中是不可行的。在多个公开数据集上的实验结果表明，与基于模型和数据驱动的基线相比，LAPRAN分别提供了平均7.47dB和5.98dB的PSNR，以及平均57.93%和33.20%的SSIM改善。
2018-11-03 cs.AI cs.CV cs.LG
Active Learning with Bayesian Multi-Fidelity Laplace Neural Operators for Oscillatory Parametric PDEs
Purdue University（普渡大学）；Sandia National Laboratories（桑迪亚国家实验室）
针对参数动力系统代理建模中高保真数据获取昂贵的问题，提出贝叶斯多保真度拉普拉斯神经算子，利用不确定性引导主动学习高效获取高保真轨迹，在多个振荡系统上优于随机采样和MF-DeepONet。
2026-09-15 cs.LG cs.NA math.NA
Multi-Objective Multi-Fidelity Bayesian Optimization with Causal Priors
Department of Computer Science；Engineering, University of South Carolina, SC, USA；Computer Science Department, Appalachian State University, NC, USA；Engineering, Texas A\&M University, TX, USA
RESCUE通过引入因果模型提升多目标多保真度贝叶斯优化的样本效率。
2026-01-31 cs.AI cs.LG
Out-Of-The-Loop Multi-Fidelity Bayesian Optimization
针对标准多保真贝叶斯优化在现实场景中因最高保真度函数成本过高导致的次优问题，提出结合历史高保真数据与任务描述符的方法，经合成函数及化学、超参数优化问题验证有效。
2026-08-06 cs.AI cs.LG
Context-aware surrogate modeling for balancing approximation and sampling costs in multi-fidelity importance sampling and Bayesian inverse problems
New York University（纽约大学）
多保真度方法利用低成本的代理模型来加速计算，并偶尔求助于昂贵的高保真模型来建立准确性保证。由于替代模型和高保真模型一起使用，因此替代模型的不良预测可以通过频繁求助于高保真模型来补偿。因此，在投资计算资源以提高代理模型的准确性与简单地更频繁地求助于昂贵的高保真模型之间存在权衡;然而，这种权衡被传统建模方法所忽略，传统建模方法构建的代理模型旨在取代高保真模型，而不是与高保真模型一起使用。这项工作认为，多保真度的重要性采样和理论和计算权衡增加替代模型的保真度，以构建更准确的偏置密度和样本的数量，需要从高保真模型，以补偿穷人的偏置密度。数值例子表明，这样的上下文感知的代理模型的多保真度的重要性采样具有较低的保真度比通常被设置为传统的模型约简中的容限，导致运行时加速高达一个数量级的数量级在所提出的例子。
2021-09-12 cs.LG cs.NA math.NA
On Some Tunable Multi-fidelity Bayesian Optimization Frameworks
Department of Chemical and Biomolecular Engineering, Johns Hopkins University, U.S.A.（化学与生物分子工程系，约翰霍普金斯大学，美国）；Department of Civil and Systems Engineering, Johns Hopkins University, U.S.A.（土木与系统工程系，约翰霍普金斯大学，美国）；Department of Mechanical Engineering, Massachusetts Institute of Technology, U.S.A.（机械工程系，麻省理工学院，美国）
本文提出基于邻近性的多保真采集策略及多保真UCB方法，简化保真度选择并控制高保真使用，在化学动力学等任务中验证了其收敛效率与可调性。
2025-08-01 cs.AI cs.LG math.OC
Reduced-Space Multi-Fidelity Bayesian Optimization of Process Simulation Models
Imperial College London（伦敦帝国理工学院）
针对高维昂贵黑盒函数，提出降空间多保真贝叶斯优化框架RS-MFBO，结合全局敏感性分析和保真度增强高斯过程，在工业模拟器上显著减少高保真评估次数并保持优化性能。
2026-09-16 cs.LG math.OC
Harnessing Low-Fidelity Data to Accelerate Bayesian Optimization via Posterior Regularization
Nanjing University of Posts and Telecommunications（南京邮电大学）
贝叶斯优化（BO）是一个功能强大的范式，用于黑箱目标函数（BOF）的无导数全局优化，这是昂贵的评估。但是，对于具有高成本函数计算的问题，BO的开销仍然是过高的。在本文中，我们研究如何减少BO所需的函数求值的数量，而不影响解决方案的质量。我们探讨了后验正则化的思想，利用高斯过程置信上限（GP-UCB）框架内的低保真度（LF）数据。LF数据可以由BOF的LF近似或相关优化任务的先前评估产生。训练称为LF-GP的额外GP模型以拟合LF数据。我们开发了一个名为动态加权专家产品（DW-POE）融合算子。该算子在BOF的后验上引入正则化。LF GP模型对正则化后验的影响通过贝叶斯形式主义进行自适应调整。大量的基准BOF优化任务的实验结果表明，所提出的算法优于国家的最先进的性能。
2019-12-16 cs.LG stat.ML
Constrained multi-fidelity Bayesian optimization with automatic stop condition
University of California, Irvine（加利福尼亚大学欧文分校）
针对约束空间下高保真贝叶斯优化成本高、缺乏系统停止准则的问题，提出可适配跨源可变黑盒约束的成本感知多保真BO框架及收敛停止准则，在多基准上验证有效并开源。
2025-03-21 cs.AI cs.LG stat.ML
Multi-fidelity Bayesian Optimization with Max-value Entropy Search and its parallelization
Gifu University（岐阜大学）；Nagoya Institute of Technology（名古屋工业大学）；Nagoya University（名古屋大学）；Japan Science and Technology Agency（日本科学技术振兴机构）；National Institute for Material Science（国立材料科学研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
在贝叶斯优化（BO）的标准设置中，假设目标函数评估是非常昂贵的。多保真度贝叶斯优化（MFBO）通过以较低的采样成本合并可用的较低保真度观测来加速BO。在本文中，我们专注于信息为基础的方法，这是一个流行的和经验上成功的方法在BO。然而，对于MFBO，现有的基于信息的方法受到难以估计信息增益的困扰。我们提出了一种基于最大值熵搜索（MES）的方法，通过考虑最优函数值的熵而不是最优输入点，极大地方便了计算。我们表明，在我们的多保真度MES（MF-MES），大多数额外的计算，与通常的MES相比，减少到分析计算。尽管对于跨不同分辨率的信息需要额外的数值积分，但这仅在一维空间中，可以有效且准确地执行。此外，我们还提出了MF-MES的并行化。由于存在各种不同的采样成本，因此查询通常在MFBO中异步发生。我们表明，类似的简单的计算可以得出异步并行MFBO。我们通过使用基准数据集和材料科学数据的实际应用证明了我们方法的有效性。
2020-02-13 cs.LG stat.ML
Multi-fidelity Bayesian Neural Networks: Algorithms and Applications
Brown University（布朗大学）；University of Pittsburgh（匹兹堡大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
我们提出了一类新的贝叶斯神经网络（BNN），可以使用噪声数据的变量保真度进行训练，我们将它们应用于学习函数逼近以及解决基于偏微分方程（PDE）的逆问题。这些多保真度BNN由三个神经网络组成：第一个是全连接的神经网络，它是按照最大后验概率（MAP）方法训练的，以拟合低保真度数据：第二个是贝叶斯神经网络，用于捕获低和高保真数据之间的交叉相关性和不确定性量化;最后一个是物理信息神经网络，它对偏微分方程描述的物理规律进行编码。对于后两个神经网络的训练，我们使用Hamilton Monte Carlo方法精确估计相应超参数的后验分布。我们使用合成数据以及实际测量证明了本方法的准确性。具体来说，我们首先近似一个一维和四维函数，然后推断在一维和二维扩散反应系统的反应速率。此外，我们推断海表面温度（SST）在马萨诸塞州和科德角湾使用卫星图像和现场测量。两者合计，我们的研究结果表明，本方法可以捕捉线性和非线性相关性的低和高保真度的数据自适应，识别未知参数的偏微分方程，并量化预测的不确定性，给出了一些分散的噪声高保真度数据。最后，我们证明，我们可以有效地和高效地减少不确定性，从而提高预测精度的主动学习方法，作为一个例子，使用特定的一维函数逼近和逆偏微分方程问题。
2020-12-19 cs.LG physics.comp-ph
Transfer Learning Architectures for Scalable Multi-Fidelity Bayesian Optimization
King’s College London（伦敦国王学院）
研究针对可扩展多保真贝叶斯优化，在相同条件下对11种迁移学习代理和4种GP方法进行基准测试，发现迁移学习代理在分子和材料问题上表现更佳，贪婪利用迁移学习均值是更稳健选择，是分子和材料MFBO的首选代理。
2026-07-28 cs.LG
CAGES: Cost-Aware Gradient Entropy Search for Efficient Local Multi-Fidelity Bayesian Optimization
Dept. of Chemical and Biomolecular Engineering, The Ohio State University（化学与生物分子工程系，俄亥俄州立大学）
提出成本感知梯度熵搜索（CAGES）算法，用于多保真黑盒函数的局部贝叶斯优化，通过信息论采集函数高效获取梯度信息，在合成和强化学习基准上优于现有方法。
2025-05-25 cs.LG stat.ML
Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation
KAIST（韩国科学技术院）；Korea University（高丽大学）；DeepAuto
本文提出一种成本敏感的多保真贝叶斯优化方法，通过用户定义的效用函数、新型采集函数和停止准则，结合迁移学习改进学习曲线外推，在多个数据集上优于现有基线，实现成本与性能的更好权衡。
2024-05-28 cs.AI cs.LG
Comparison of LSTM autoencoder based deep learning enabled Bayesian inference using two time series reconstruction approaches
University of Southern California（南加州大学）
在这项工作中，我们使用贝叶斯推理，马尔可夫链蒙特卡罗和深度学习的LSTM自动编码器的形式相结合，以建立和测试一个框架，提供强大的估计注入率从地面数据耦合流和地质力学问题。我们使用LSTM自动编码器来重建由于注水问题而导致的断层顶部表面上的网格点的位移时间序列。然后，我们部署这个基于LSTM自动编码器的模型，而不是贝叶斯推理框架中的高保真模型，以根据位移输入估计注射速率。
2022-03-03 cs.CE cs.LG
On the Effects of Heterogeneous Errors on Multi-fidelity Bayesian Optimization
University of California, Irvine（加州大学欧文分校）
本文针对多保真度贝叶斯优化中低保真度数据全局相关性差和噪声异方差的问题，提出了一种为每个数据源学习噪声模型并利用局部相关低保真度源的多保真度仿真方法，通过分析示例和材料设计工程问题验证了其有效性。
2023-09-06 cs.LG stat.ML
Multi-fidelity Bayesian Optimization: A Review
University of Houston（休斯顿大学）
本文综述了多保真度贝叶斯优化的核心方法与应用，探讨其在复杂优化问题中的潜力与挑战。
2025-12-31 cs.CE cs.LG math.OC
Bayesian learning of orthogonal embeddings for multi-fidelity Gaussian Processes
General Electric Research（通用电气研究中心）
我们提出了一个贝叶斯方法来确定最佳的转换，映射模型输入点的低维潜变量。“投影”映射由正交归一化矩阵组成，该正交归一化矩阵被认为是先验未知的，并且需要以可用的训练数据为条件与GP参数联合推断。建议的贝叶斯推断方案依赖于一个两步迭代算法，分别从GP参数和投影矩阵的边缘后验样本，都使用马尔可夫链蒙特卡罗（MCMC）采样。为了考虑正交投影矩阵的正交性约束，采用了适合于流形上概率测度的测地线蒙特卡罗抽样算法.我们将所提出的框架扩展到使用GP的多保真度模型，包括一起训练多个输出的场景。我们验证了我们的框架上的三个合成问题与一个已知的低维子空间。我们提出的框架的好处，说明了计算上具有挑战性的三维空气动力学优化的最后一级叶片的工业燃气轮机，在那里我们研究了85维翼型形状参数化对两个输出量的影响，特别是对空气动力学效率和反应的程度。
2020-08-05 cs.LG stat.CO stat.ML
Bayesian Optimization of Genetic Algorithm Hyperparameters in a Multi-Fidelity Framework for Efficient Lattice Material Design
IMDEA Materials Institute（IMDEA材料研究所）；Department of Materials Science and Engineering and Chemical Engineering（材料科学与工程及化学工程系）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
研究提出多保真框架优化遗传算法超参数，整合三个保真度级别，评估多种采集函数，logNEI性能最佳。该框架确定的超参数配置能减少计算成本，实现快速收敛，验证了代理驱动优化策略的有效性，证明多保真优化对GA超参数调整及晶格设计研究的潜力。
2026-07-09 cond-mat.dis-nn cond-mat.mtrl-sci cs.AI
Multi-Fidelity Delayed Acceptance: hierarchical MCMC sampling for Bayesian inverse problems combining multiple solvers through deep neural networks
The Alan Turing Institute, London, NW1 2DB, UK（艾伦·图灵研究所）
本文提出多保真度延迟接受方法，通过深度神经网络结合多个求解器，提升贝叶斯反问题的计算效率和精度。
2025-12-18 cs.LG cs.NA math.NA
Data Mixture Optimization: A Multi-fidelity Multi-scale Bayesian Framework
Columbia Business School（哥伦比亚商学院）
本文提出一种概率外推的多保真度多尺度贝叶斯优化框架，用于数据混合优化，通过自适应选择数据混合、模型规模和训练步数，在20M至1B参数模型上实现2.6倍和3.3倍加速，显著提升预训练效率。
2025-03-26 cs.LG
Laplacian Autoencoders for Learning Stochastic Representations
Technical University of Denmark（丹麦技术大学）
用于无监督表示学习的已建立方法（例如变分自编码器）不产生校准不确定性估计或产生校准不良的不确定性估计，使得难以评估所学习的表示是否稳定和可靠。在这项工作中，我们提出了一个贝叶斯自动编码器的无监督表示学习，这是训练使用一种新的变分下界的自动编码器的证据。这是最大化使用Monte Carlo EM与变分分布，采取拉普拉斯近似的形状。我们开发了一个新的Hessian近似，它与数据大小呈线性关系，使我们能够对高维数据进行建模。从经验上讲，我们表明，我们的拉普拉斯自动编码器估计良好校准的不确定性在潜在的和输出空间。我们证明，这会导致在众多的下游任务的性能提高。
2022-08-23 cs.LG
Multi-Fidelity Bayesian Optimization With Across-Task Transferable Max-Value Entropy Search
Centre for Intelligent Information Processing Systems (CIIPS)（智能信息处理系统中心）
针对相关连续黑箱优化任务，本文提出跨任务可迁移最大值熵搜索采集函数，利用基于粒子的变分贝叶斯更新迁移高斯过程参数分布，并从理论和实验上验证其多保真优化效率。
2025-01-08 cs.IT cs.LG eess.SP
Dynamic Exclusion of Low-Fidelity Data in Bayesian Optimization for Autonomous Beamline Alignment
Carnegie Mellon University（卡内基梅隆大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）；Yale University（耶鲁大学）
针对同步加速器光束线对准的贝叶斯优化易受低质量数据干扰的问题，研究提出两种动态排除低保真度数据的方法，均实现有效分类，可提升光束质量并加快优化收敛，助力BNL能源研究使命。
2024-08-13 cs.AI cs.LG physics.acc-ph
Towards accelerating physical discovery via non-interactive and interactive multi-fidelity Bayesian Optimization: Current challenges and future opportunities
UT-Battelle, LLC（UT-Battelle有限责任公司）；U.S. Department of Energy（美国能源部）
本文提出从数据驱动MFBO到物理驱动sMFBO，再到人在回路的交互式iMFBO的多保真贝叶斯优化工作流，并在Ising模型上验证了物理知识注入与实时人类决策对加速物理发现探索的作用。
2024-02-20 cs.LG
Using Bayesian deep learning approaches for uncertainty-aware building energy surrogate models
University of Victoria（维多利亚大学）；Department of Civil Engineering（土木工程系）；Energy and Cities Group（能源与城市小组）
基于快速机器学习的代理模型经过训练，可模拟慢速、高保真的工程仿真模型，从而加快工程设计任务。这引入了不确定性，因为替代模型只是原始模型的近似值。贝叶斯方法可以量化这种不确定性，并且存在遵循贝叶斯范式的深度学习模型。这些模型，即贝叶斯神经网络和高斯过程模型，使我们能够给出预测与模型的不确定性的估计。因此，我们可以得到不确定性感知代理模型，可以自动怀疑看不见的设计样本，导致大的仿真错误。对于这些样本，可以改为查询高保真模型。这概述了贝叶斯范式如何让我们混合快速，但近似，缓慢，但准确的模型。本文针对复杂的高维建筑能耗模拟问题，训练了两类贝叶斯模型：丢弃神经网络和随机变分高斯过程模型。代理模型处理35个建筑设计参数（输入）以估计12个不同的性能度量（输出）。我们对这两种方法进行了基准测试，证明了它们的准确性是有竞争力的，并表明当将具有最高不确定性的10%的样本转移到高保真模型时，误差可以减少30%。
2020-10-05 cs.LG stat.ML
Multi-objective and multi-fidelity Bayesian optimization of laser-plasma acceleration
Ludwig-Maximilian-Universität München（慕尼黑大学）；Max Planck Institut für Quantenoptik（马克斯·普朗克量子光学研究所）
加速器中的束流参数优化涉及多个，有时是相互竞争的目标。将这些单独的目标浓缩成一个单一的品质因数，必然会导致在缺乏先验知识的情况下，往往以一种不可取的方式偏向于特定的结果。找到最优的目标定义需要操作员重新考虑许多可能的目标权重和定义，这个过程可能比优化本身花费的时间长很多倍。一种更通用的方法是多目标优化，它建立了目标之间的权衡曲线或帕累托前沿。在这里，我们提出了第一个结果的多目标贝叶斯优化的模拟激光等离子体加速器。我们发现，多目标优化达到可比的性能，其单目标的同行，同时允许即时评估全新的目标。这大大减少了为新问题找到适当的客观定义所需的时间。此外，我们的多目标，多保真度的方法减少了一个数量级的优化运行所需的时间。它通过动态选择模拟分辨率和盒子大小来实现这一点，当它从快速低分辨率运行中了解帕累托最优解决方案时，需要更少的缓慢和昂贵的模拟。本文中演示的技术可以很容易地转换为加速器优化之外的许多不同的计算和实验用例。
2022-12-23 cs.LG physics.acc-ph physics.plasm-ph
Learning cardiac activation maps from 12-lead ECG with multi-fidelity Bayesian optimization on manifolds
Università della Svizzera italiana（瑞士意大利语区大学）；University of Pennsylvania（宾夕法尼亚大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
我们提出了一种非侵入性地识别心脏异位激活的方法。心脏的异位活动会引发致命的心律失常。因此，异位病灶或最早激动部位（EAS）的定位是心脏病专家决定最佳治疗的关键信息。在这项工作中，我们制定的识别问题作为一个全局优化问题，通过最大限度地减少由心脏模型预测的心电图之间的不匹配，当起搏在一个给定的EAS，和观察到的心电图在异位活动。我们的心脏模型的金额在解决各向异性程函方程的心脏激活和前向bidomain模型在躯干与铅场的方法计算的心电图。我们在心脏表面建立了一个高斯过程的损失函数代理模型来进行贝叶斯优化。在这个过程中，我们迭代地评估损失函数的置信下限标准，结合探索的表面与开发的最小区域。我们还扩展了这个框架，将模型的保真度的多个层次。我们表明，我们的程序收敛到最小值后，只有$11.7\pm10.4$迭代（20个独立运行）的单保真度的情况下和$3.5\pm1.7$迭代的多保真度的情况下。我们设想这种工具可以在临床环境中实时应用，以识别潜在危险的EAS。
2022-03-11 cs.LG eess.SP math.OC
Multi-fidelity Bayesian Data-Driven Design of Energy Absorbing Spinodoid Cellular Structures
Department of Electronic Components, Technology and Materials, Delft University of Technology（电子组件、技术和材料系，代尔夫特理工大学）；School of Engineering and Materials Science, Queen Mary University of London（工程与材料科学学院，伦敦女王学院）
针对有限元模拟计算成本高与数据驱动设计需求的矛盾，本研究结合Sobol'采样与敏感性分析，对比贝叶斯优化与多保真贝叶斯优化在spinodoid胞状结构吸能最大化中的性能，证实后者性能最高可提升11%，结果已开源。
2025-07-25 cond-mat.mtrl-sci cs.LG
Amortized Auto-Tuning: Cost-Efficient Bayesian Transfer Optimization for Hyperparameter Recommendation
Carnegie Mellon University（卡内基梅隆大学）；Petuum（Petuum公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Stanford University（斯坦福大学）
随着现代机器学习模型的超参数数量和训练时间的激增，超参数调整变得越来越昂贵。然而，在系统地评估了40种调优方法后，我们发现每种方法都面临一定的局限性。特别是，通过知识转移加速调优的方法通常需要超参数的最终性能，并且不关注低保真度信息。正如我们的经验表明，这种常见的做法是次优的，并可能导致不必要的资源使用。相反，利用低保真度调优观察来测量任务间的相似性并相应地将知识从现有任务转移到新任务是更具有成本效益的。然而，执行多保真度调优在传输设置中也有其自身的挑战：额外观察中的噪声以及对性能预测的需求。因此，我们提出了一个多任务多保真度贝叶斯优化框架，并进行了深入的分析，这导致了最好的实例-分期自动调整（AT 2）。我们进一步提出了一个离线计算的27任务超参数推荐（HyperRec）数据库，以服务于社区。在HyperRec和其他真实数据库上的大量实验表明了我们的AT 2方法的有效性。
2022-04-07 cs.AI cs.LG stat.ML
Physics-Aware Multifidelity Bayesian Optimization: a Generalized Formulation
Politecnico di Torino（都灵理工大学）；Imperial College London（帝国理工学院）；Massachusetts Institute of Technology（麻省理工学院）
本文提出物理感知的多保真贝叶斯优化广义化表述，通过将领域物理结构嵌入多保真采集函数，在控制计算成本的同时高效利用高保真仿真引导优化，并验证于设计优化与健康监测问题。
2024-07-04 cs.LG math.OC
MUMBO: MUlti-task Max-value Bayesian Optimization
Lancaster University（兰卡斯特大学）
我们提出了MUMBO，第一个高性能但计算效率高的多任务贝叶斯优化采集功能。在这里，挑战是通过评估与我们真正的目标函数相关的低成本函数来执行有效的优化。这是一个广泛的问题，包括多保真度优化的流行任务。然而，虽然已知信息理论获取函数提供最先进的贝叶斯优化，但用于多任务场景的现有实现具有过高的计算要求。因此，以前的采集功能只适用于低维参数空间和函数查询成本足够大，掩盖非常显着的优化开销的问题。在这项工作中，我们得到了一个新的多任务版本的熵搜索，提供强大的性能与低计算开销在经典的优化挑战和多任务超参数调整。MUMBO具有可扩展性和高效性，允许在具有丰富参数和保真度空间的问题中部署多任务贝叶斯优化。
2020-06-22 cs.LG stat.ML
Graph-Smoothed Bayesian Black-Box Shift Estimator and Its Information Geometry
School of Mathematics and Statistics（数学与统计学学院）；The University of Melbourne（墨尔本大学）
提出图平滑贝叶斯黑盒偏移估计器GS-B$^3$SE，利用拉普拉斯-高斯先验和标签相似性图，实现可识别、快速且鲁棒的标签偏移估计，并推广了现有方法。
2025-05-22 cs.LG stat.ML
TDGT: A Tabular Data Generation Toolkit supporting adaptive GPU-accelerated Bayesian mixture models, diffusion-based models, and latent-space generative modeling
SYNTHAINA AI
提出TDGT工具包，集成自适应贝叶斯混合合成器（ABMS）及其变体VAE-ABMS，支持GPU加速，通过11项统计保真度指标评估，在医疗、社会经济和网络安全数据集上验证了生成质量。
2026-07-01 cs.AI cs.LG
A Koopman-Bayesian Framework for High-Fidelity, Perceptually Optimized Haptic Surgical Simulation
Hanson Professional Services（Hanson专业服务）；University of Tennessee, Knoxville（田纳西大学科文戈分校）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出一种结合非线性动力学、感知心理学和高频触觉渲染的框架，通过贝叶斯校准提升手术模拟的真实感和感知准确性。
2026-01-04 cs.HC cs.LG cs.SY
