High-dimensional mixed-categorical Gaussian processes with application to multidisciplinary design optimization for a green aircraft
ONERA(法国航空航天研究院);Université de Toulouse(图卢兹大学);ISAE-SUPAERO(法国高等航空航天学院);Polytechnique Montréal(蒙特利尔理工学院);GERAD(GERAD(蒙特利尔运筹学与决策科学研究组));ICA(图卢兹计算机科学研究所);INSA(法国国立应用科学学院);CNRS(法国国家科学研究中心);MINES ALBI(阿尔比矿业学校);UPS(图卢兹第三大学)
针对混合类别GP超参数过多的问题,本文提出基于偏最小二乘回归的降维方法,并通过悬臂梁与绿色飞机多学科优化验证其效果。
2024-02-02 cs.AI math.OC stat.ML
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University(康奈尔大学)
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此,对于深度神经网络中的超参数调整,即使是几个超参数设置,评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如,使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法,多保真度贝叶斯优化,重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数,跟踪感知的知识梯度,它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度,当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数,并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
Multi-objective Bayesian Optimization With Mixed-categorical Design Variables for Expensive-to-evaluate Aeronautical Applications
ONERA(法国航空航天研究院);Université de Toulouse(图卢兹大学);ISAE–SUPAERO(法国高等航空航天学院);INSA(法国国立应用科学学院);CNRS(法国国家科学研究中心);MINES ALBI(阿尔比矿业学校);UPS Université de Toulouse(图卢兹第三大学);Polytechnique Montréal(蒙特利尔理工学院);German Aerospace Center (DLR)(德国航空航天中心);EMBRAER S.A.(巴西航空工业公司);University di Napoli Federico II(那不勒斯费德里科二世大学)
针对航空领域高代价评估系统的优化问题,提出SEGOMOE方法,结合专家混合模型处理混合分类设计变量与多目标优化,以少函数评估构建精确帕累托前沿,在实际航空应用中验证了有效性。
2025-04-14 cs.LG math.OC stat.AP
Practical multi-fidelity machine learning: fusion of deterministic and Bayesian models
Delft University of Technology(代尔夫特理工大学);City University of Hong Kong(香港城市大学);Brown University(布朗大学)
提出一种融合确定性低保真模型与贝叶斯高保真模型的三模型多保真策略,通过迁移学习与残差学习实现不确定性量化,在保证精度的同时显著降低训练时间并缓解过拟合。
2025-03-25 cs.LG math.PR stat.ML
BOAH: A Tool Suite for Multi-Fidelity Bayesian Optimization & Analysis of Hyperparameters
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
超参数优化和神经架构搜索对于常规的黑盒贝叶斯优化来说可能变得过于昂贵,因为单个模型的训练和评估可能很容易花费几个小时。为了克服这一点,我们引入了一个全面的工具套件,用于有效的多保真度贝叶斯优化及其运行分析。该套件使用Python编写,提供了一种简单的方法来指定复杂的设计空间,将贝叶斯优化和HyperBand进行了强大而有效的组合,并对优化过程及其结果进行了全面的分析。
2019-08-16 cs.AI cs.LG stat.ML
Multi-fidelity Bayesian Optimisation with Continuous Approximations
用于黑箱优化的Bandit方法,例如贝叶斯优化,用于各种应用,包括超参数调整和实验设计。最近,\emph{multi-fidelity}方法已经获得了相当大的关注,因为函数评估在这样的应用中变得越来越昂贵。多保真度方法使用感兴趣的函数的廉价近似来加速整体优化过程。然而,大多数多保真度方法仅假设有限数量的近似。然而,在许多实际应用中,可能存在连续的近似谱。例如,当调整昂贵的神经网络时,可以选择使用较少的数据$N$和/或较少的训练迭代$T$来近似交叉验证性能。这里,近似最好被看作是从连续的二维空间$(N,T)$中产生的。在这项工作中,我们开发了贝叶斯优化方法,BOCA,这种设置。我们验证了它的理论性质,并表明它比忽略近似的策略实现了更好的后悔。BOCA在合成和真实实验中优于其他几个基线。
2017-03-18 stat.ML
Multi-Fidelity Cost-Aware Bayesian Optimization
贝叶斯优化(BO)越来越多地用于材料设计和药物发现等关键应用中。BO中越来越流行的策略是放弃对高保真数据的唯一依赖,而是使用提供廉价低保真数据的信息源的集合。该策略的总体前提是通过查询其数据与高保真样本相关的廉价低保真源来降低总体采样成本。在这里,我们提出了一个多保真度的成本感知BO框架,大大优于国家的最先进的技术,在效率,一致性和鲁棒性。我们展示了我们的框架在分析和工程问题上的优势,并认为这些优势源于我们的两个主要贡献:(1)我们为多保真度成本感知BO开发了一种新的采集函数,其保护收敛不受低保真度数据的偏差的影响,以及(2)我们为多保真度BO定制了一个新开发的仿真器,这使得我们不仅能够同时从多保真度数据集的集合中学习,而且还识别应该从BO中排除的严重偏置的低保真度源。
2022-11-04 stat.ME stat.ML
Accelerating Bayesian Inference via Multi-Fidelity Transport Map Coupling
University of Michigan(密歇根大学)
针对高保真模拟下贝叶斯参数推断成本高昂的问题,提出融合MCMC与MLMC的多保真度框架,并用新型传输映射耦合生成跨层级相关样本,在NACA0012翼型案例中将成本降低50%。
2025-10-20 stat.AP stat.ME
Multi-Fidelity Bayesian Optimization via Deep Neural Networks
University of Utah(犹他大学);Scientific Computing and Imaging Institute(科学计算与成像研究所)
贝叶斯优化(BO)是一个流行的框架来优化黑盒函数。在许多应用中,目标函数可以在多个精度下进行评估,以实现成本和精度之间的权衡。为了降低优化成本,已经提出了许多多保真度BO方法。尽管这些方法取得了成功,但它们忽略或过度简化了跨多个属性的强的复杂相关性,因此在估计目标函数时可能效率低下。为了解决这个问题,我们提出了深度神经网络多保真度贝叶斯优化(DNN-MFBO),可以灵活地捕捉各种复杂的关系之间的准确性,以提高目标函数的估计,从而优化性能。我们使用顺序的,逐行高斯-厄米特求积和矩匹配来实现基于互信息的捕获功能,这是计算上易处理的和高效的。我们展示了我们的方法在合成基准数据集和工程设计中的实际应用中的优势。
2020-12-10 cs.LG stat.ML
Long-run Behaviour of Multi-fidelity Bayesian Optimisation
University College London(伦敦大学学院);Matterhorn Studio(马特霍恩工作室)
本研究通过基准实验探究多保真贝叶斯优化在长期运行中的潜在不佳表现,分析其场景与原因,以评估其实际应用可靠性。
2023-12-19 cs.LG stat.ML
Multi-fidelity Bayesian Optimization: A Review
University of Houston(休斯顿大学)
本文综述了多保真度贝叶斯优化的核心方法与应用,探讨其在复杂优化问题中的潜力与挑战。
2025-12-31 cs.CE cs.LG math.OC
Active multi-fidelity Bayesian online changepoint detection
Princeton University(普林斯顿大学);Arm ML Research Lab(Arm机器学习研究实验室)
用于检测变化点或时间序列的行为中的突然转变的在线算法通常利用有限的资源来部署,移动电话或工业传感器等边缘计算环境。在这些情况下,将收集环境测量的成本与该测量的质量或"保真度"以及测量如何影响变点估计进行交易可能是有益的。例如,可以在惯性测量或GPS之间做出决定,以确定运动的变化点。贝叶斯变点检测方法特别有吸引力,因为我们可以表示关于变点的后验不确定性,并对数据保真度做出积极的、成本敏感的决策,以减少这种后验不确定性。此外,通过主动保真切换,总成本可以大大降低,同时对数据分布的变化保持鲁棒性。我们提出了一个多保真度的方法,使成本敏感的决定,收集数据保真度的基础上最大限度地提高信息增益的变化点。我们对合成,视频和音频数据的框架进行了评估,并表明这种基于信息的方法可以在降低总成本的同时实现准确的预测。
2021-07-25 cs.LG stat.ML
A General Framework for Multi-fidelity Bayesian Optimization with Gaussian Processes
California Institute of Technology(加州理工学院)
当我们面对多个相互依赖的信息源时,如何有效地收集信息来优化未知函数?例如,当优化机器人系统时,智能地权衡计算机模拟和真实机器人测试可以导致显著的节省。现有的方法,如多保真度GP-UCB或基于熵搜索的方法,要么对不同属性之间的相互作用进行简单的假设,要么使用缺乏理论保证的简单的算法。在本文中,我们研究了多个输出之间的复杂结构依赖的多保真度贝叶斯优化,并提出了MF-MI-Greedy,一个原则性的算法框架来解决这个问题。特别是,我们使用加性高斯过程的基础上共享的潜在结构与目标函数不同的并行性建模。然后,我们使用成本敏感的互信息增益有效的贝叶斯全局优化。我们提出了一个简单的概念,后悔,其中包括成本的不同qualities,并证明MF-MI-Greedy实现低后悔。我们证明了我们的算法在合成和真实世界的数据集上的强大的经验性能。
2018-11-02 cs.LG stat.ML
Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks
University of Utah(犹他大学)
贝叶斯优化(BO)是一种强大的方法,用于优化黑盒,昂贵的评估功能。为了在成本和精度之间实现灵活的权衡,许多应用允许在不同的精度下对函数进行评估。为了降低优化成本,同时最大限度地提高效益-成本比,本文提出了基于深度自回归网络的批量多保真度贝叶斯优化(BMBO-DARN)。我们使用一组贝叶斯神经网络来构建一个完全自回归模型,该模型具有足够的表达能力,可以捕获所有属性之间强大而复杂的关系,从而提高代理学习和优化性能。此外,为了提高查询的质量和多样性,我们开发了一个简单而有效的批量查询方法,没有任何组合搜索的相似性。我们提出了一个基于最大值熵搜索(MES)的原则,惩罚高度相关的查询和鼓励多样性的批量采集功能。我们使用后验样本和矩匹配来实现采集函数的有效计算,并对每个概率输入对进行交替优化,这保证了每一步的改进。我们证明了我们的方法在四个现实世界的超参数优化应用的优势。
2021-10-25 cs.LG stat.ML
Multi-Fidelity Bayesian Optimization with Unreliable Information Sources
Aalto University(阿尔托大学);ENSAI(法国国立统计与信息分析学院);CREST(统计与经济研究中心);University of Manchester(曼彻斯特大学)
贝叶斯优化(BO)是一个强大的框架,用于优化黑盒,昂贵的评估功能。在过去的十年中,已经提出了许多算法,以将目标函数的更便宜、更低保真度的近似值集成到优化过程中,目标是以更低的成本收敛到全局最优值。该任务通常被称为多保真度贝叶斯优化(MMBO)。然而,MFBO算法可能导致比其香草BO对应物更高的优化成本,特别是当低保真度源是目标函数的差近似时,因此违背了它们的目的。为了解决这个问题,我们提出了rMFBO(鲁棒MFBO),一种方法,使任何基于GP的MFBO计划强大的增加不可靠的信息源。rMFBO具有理论保证,即其性能可以绑定到其香草BO类似物,具有高可控概率。我们证明了所提出的方法的有效性,一些数值基准,优于早期的MFBO方法不可靠的来源。我们期望rMFBO是特别有用的,可靠地包括人类专家与BO过程中的不同知识。
2023-02-24 cs.LG stat.ML
Residual Gaussian Process: A Tractable Nonparametric Bayesian Emulator for Multi-fidelity Simulations
Beijing University of Aeronautics and Astronautics(北京航空航天大学);University of Utah(犹他大学);Chongqing University(重庆大学);Beihang University(北京航空航天大学)
多保真度建模中的挑战涉及准确性、不确定性估计和高维性。引入了一种新的添加剂结构,其中最高保真度的解决方案被写为最低保真度的解决方案和在连续的保真度水平的解决方案之间的残差的总和,与高斯过程先验放置在低保真度的解决方案和每个残差。由此产生的模型配备了一个封闭形式的解决方案的预测后,使其适用于先进的,高维的任务,需要不确定性估计。它的优点表现在单变量基准和三个具有挑战性的多变量问题。它示出了如何可以使用主动学习来增强模型,特别是在有限的计算预算。此外,在单变量的情况下,平均预测的误差界。
2021-04-08 cs.CE cs.LG stat.AP
Integrating hyper-parameter uncertainties in a multi-fidelity Bayesian model for the estimation of a probability of failure
多保真度仿真器是一种数值模型,其中一个输入控制仿真的真实性和计算成本之间的权衡。我们的目标是估计概率超过一个给定的阈值上的多保真度随机模拟器。我们提出了一种基于高斯过程的完全贝叶斯方法来计算该概率的后验概率分布。我们特别注意模型的超参数。我们的方法说明了一个学术的例子。
2017-09-20 stat.CO stat.ME
A Constrained Multi-Fidelity Bayesian Optimization Method
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
提出约束多保真度贝叶斯优化(CMFBO)方法,设计无需可行初始样本且具闭式表达的新型采集函数,有效解决约束优化可行域识别难题,并在合成问题与ICF及大电流联合设计等工程应用中验证有效性。
2025-10-13 cs.NA math.NA stat.ML
A Bayesian neural network approach to Multi-fidelity surrogate modelling
本文提出GPBNN方法,将高斯过程回归与贝叶斯神经网络结合,利用低保真输出仿真器辅助高保真建模,并完整量化预测不确定性,用于分层多保真代理建模。
2023-12-05 math.ST stat.TH
Constrained multi-fidelity Bayesian optimization with automatic stop condition
University of California, Irvine(加利福尼亚大学欧文分校)
针对约束空间下高保真贝叶斯优化成本高、缺乏系统停止准则的问题,提出可适配跨源可变黑盒约束的成本感知多保真BO框架及收敛停止准则,在多基准上验证有效并开源。
2025-03-21 cs.AI cs.LG stat.ML
Harnessing Low-Fidelity Data to Accelerate Bayesian Optimization via Posterior Regularization
Nanjing University of Posts and Telecommunications(南京邮电大学)
贝叶斯优化(BO)是一个功能强大的范式,用于黑箱目标函数(BOF)的无导数全局优化,这是昂贵的评估。但是,对于具有高成本函数计算的问题,BO的开销仍然是过高的。在本文中,我们研究如何减少BO所需的函数求值的数量,而不影响解决方案的质量。我们探讨了后验正则化的思想,利用高斯过程置信上限(GP-UCB)框架内的低保真度(LF)数据。LF数据可以由BOF的LF近似或相关优化任务的先前评估产生。训练称为LF-GP的额外GP模型以拟合LF数据。我们开发了一个名为动态加权专家产品(DW-POE)融合算子。该算子在BOF的后验上引入正则化。LF GP模型对正则化后验的影响通过贝叶斯形式主义进行自适应调整。大量的基准BOF优化任务的实验结果表明,所提出的算法优于国家的最先进的性能。
2019-12-16 cs.LG stat.ML
Multi-fidelity Bayesian Optimization with Max-value Entropy Search and its parallelization
Gifu University(岐阜大学);Nagoya Institute of Technology(名古屋工业大学);Nagoya University(名古屋大学);Japan Science and Technology Agency(日本科学技术振兴机构);National Institute for Material Science(国立材料科学研究所);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
在贝叶斯优化(BO)的标准设置中,假设目标函数评估是非常昂贵的。多保真度贝叶斯优化(MFBO)通过以较低的采样成本合并可用的较低保真度观测来加速BO。在本文中,我们专注于信息为基础的方法,这是一个流行的和经验上成功的方法在BO。然而,对于MFBO,现有的基于信息的方法受到难以估计信息增益的困扰。我们提出了一种基于最大值熵搜索(MES)的方法,通过考虑最优函数值的熵而不是最优输入点,极大地方便了计算。我们表明,在我们的多保真度MES(MF-MES),大多数额外的计算,与通常的MES相比,减少到分析计算。尽管对于跨不同分辨率的信息需要额外的数值积分,但这仅在一维空间中,可以有效且准确地执行。此外,我们还提出了MF-MES的并行化。由于存在各种不同的采样成本,因此查询通常在MFBO中异步发生。我们表明,类似的简单的计算可以得出异步并行MFBO。我们通过使用基准数据集和材料科学数据的实际应用证明了我们方法的有效性。
2020-02-13 cs.LG stat.ML
High-dimensional multidisciplinary design optimization for aircraft eco-design / Optimisation multi-disciplinaire en grande dimension pour l'éco-conception avion en avant-projet
INSA(国立应用科学学院);ENSAI(国立统计与信息分析学院);EDF R&D(法国电力公司研发部);IFPEN(法国石油与新能源研究院);ISAE-SUPAERO(高等航空与航天学院);ONERA(法国国家航空航天研究中心)
针对含约百个混合变量的受约束多学科黑箱优化,论文结合偏最小二乘等参数化降维与适配离散及高维空间的 Bayesian optimization,扩展 EGO 并用于 DRAGON 低碳飞机概念设计。
2024-05-26 cs.LG cs.MS math.OC
Learning cardiac activation maps from 12-lead ECG with multi-fidelity Bayesian optimization on manifolds
Università della Svizzera italiana(瑞士意大利语区大学);University of Pennsylvania(宾夕法尼亚大学);Pontificia Universidad Católica de Chile(智利天主教大学)
我们提出了一种非侵入性地识别心脏异位激活的方法。心脏的异位活动会引发致命的心律失常。因此,异位病灶或最早激动部位(EAS)的定位是心脏病专家决定最佳治疗的关键信息。在这项工作中,我们制定的识别问题作为一个全局优化问题,通过最大限度地减少由心脏模型预测的心电图之间的不匹配,当起搏在一个给定的EAS,和观察到的心电图在异位活动。我们的心脏模型的金额在解决各向异性程函方程的心脏激活和前向bidomain模型在躯干与铅场的方法计算的心电图。我们在心脏表面建立了一个高斯过程的损失函数代理模型来进行贝叶斯优化。在这个过程中,我们迭代地评估损失函数的置信下限标准,结合探索的表面与开发的最小区域。我们还扩展了这个框架,将模型的保真度的多个层次。我们表明,我们的程序收敛到最小值后,只有$11.7\pm10.4$迭代(20个独立运行)的单保真度的情况下和$3.5\pm1.7$迭代的多保真度的情况下。我们设想这种工具可以在临床环境中实时应用,以识别潜在危险的EAS。
2022-03-11 cs.LG eess.SP math.OC
Overview of Gaussian process based multi-fidelity techniques with variable relationship between fidelities
ONERA(法国国家航空航天研究中心);Université Paris Saclay(巴黎萨克雷大学);Université de Lille(里尔大学);CNRS(法国国家科学研究中心);INRIA Lille(法国国家信息与自动化研究所里尔分所)
复杂系统的设计过程,如飞机或运载火箭的新配置,通常被分解为不同的阶段,其特征在于,例如,在设计变量的数量和物理模型的保真度方面的分析的深度。在每一个阶段,设计师都必须使用精确但计算密集的模型以及廉价但不准确的模型。多保真度建模是一种将不同保真度模型合并的方法,以有限的计算成本为工程师提供准确的结果。在多保真度建模的背景下,依赖于高斯过程的方法成为流行的技术来融合不同保真度模型之间的信息。保真度模型之间的关系是多保真度建模的一个关键方面。本文概述了基于高斯过程的多保真度建模技术,用于保真度模型之间的变量关系(例如,线性、非线性、可变相关性)。每种技术都在一个统一的框架内进行了描述,并强调了不同技术之间的联系。所有的方法进行了数值比较,一系列的分析测试用例和四个航空航天相关的工程问题,以评估其优点和缺点的问题特性。
2020-06-30 cs.LG stat.ML
CAGES: Cost-Aware Gradient Entropy Search for Efficient Local Multi-Fidelity Bayesian Optimization
Dept. of Chemical and Biomolecular Engineering, The Ohio State University(化学与生物分子工程系,俄亥俄州立大学)
提出成本感知梯度熵搜索(CAGES)算法,用于多保真黑盒函数的局部贝叶斯优化,通过信息论采集函数高效获取梯度信息,在合成和强化学习基准上优于现有方法。
2025-05-25 cs.LG stat.ML
Elastic Multi-Fidelity Bayesian Model Calibration
Sandia National Laboratories(桑迪亚国家实验室);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of New Mexico(新墨西哥大学)
本文提出弹性多保真贝叶斯模型校准,通过对齐高、低保真函数输出至共同参考,结合映射或融合策略,在合成与材料问题中提升预测精度并收紧后验。
2026-09-24 stat.ME
On the Effects of Heterogeneous Errors on Multi-fidelity Bayesian Optimization
University of California, Irvine(加州大学欧文分校)
本文针对多保真度贝叶斯优化中低保真度数据全局相关性差和噪声异方差的问题,提出了一种为每个数据源学习噪声模型并利用局部相关低保真度源的多保真度仿真方法,通过分析示例和材料设计工程问题验证了其有效性。
2023-09-06 cs.LG stat.ML
Bayesian learning of orthogonal embeddings for multi-fidelity Gaussian Processes
General Electric Research(通用电气研究中心)
我们提出了一个贝叶斯方法来确定最佳的转换,映射模型输入点的低维潜变量。“投影”映射由正交归一化矩阵组成,该正交归一化矩阵被认为是先验未知的,并且需要以可用的训练数据为条件与GP参数联合推断。建议的贝叶斯推断方案依赖于一个两步迭代算法,分别从GP参数和投影矩阵的边缘后验样本,都使用马尔可夫链蒙特卡罗(MCMC)采样。为了考虑正交投影矩阵的正交性约束,采用了适合于流形上概率测度的测地线蒙特卡罗抽样算法.我们将所提出的框架扩展到使用GP的多保真度模型,包括一起训练多个输出的场景。我们验证了我们的框架上的三个合成问题与一个已知的低维子空间。我们提出的框架的好处,说明了计算上具有挑战性的三维空气动力学优化的最后一级叶片的工业燃气轮机,在那里我们研究了85维翼型形状参数化对两个输出量的影响,特别是对空气动力学效率和反应的程度。
2020-08-05 cs.LG stat.CO stat.ML
Data-efficient Bayesian-guided design selection from large candidate sets: Application to hyperelastic stochastic metamaterials
Technische Universität Braunschweig(布伦瑞克工业大学)
本文提出一种贝叶斯引导的设计选择框架,通过统计特征工程降低设计维度,并利用多输出高斯过程代理模型映射到有效超弹性本构参数,以高效筛选出满足目标宏观应力响应的设计。
2026-09-09 cs.CE stat.ML
Design of a commercial aircraft environment control system using Bayesian optimization techniques
在本文中,我们提出了应用最近开发的算法贝叶斯多目标最优化的商用飞机环境控制系统(ECS)。在我们的模型中,ECS是由两个交叉流换热器,离心压缩机和径向涡轮机,其几何形状同时优化,以实现最小的重量和系统的熵产生。虽然这两个目标影响飞机的整体性能,他们被证明是对立的,并确定了一套折衷的设计解决方案。用于优化系统的算法在存在非线性约束的情况下对多目标最优化问题实施贝叶斯方法,并且重点在于使用有限数量的系统仿真进行优化。该特定应用的值得注意的特征包括非超立方设计域和由于模拟失败而存在的隐藏约束。
2016-10-07 math.OC
Multi-fidelity batch Bayesian optimization for bioprocess development across scales
Imperial College London(帝国理工学院);DataHow AG
提出多保真批量贝叶斯优化框架,集成高斯过程与混合变量优化,联合优化反应条件、规模及克隆选择,在CHO生物工艺模拟中降低实验成本并提高产量。
2026-09-10 q-bio.QM stat.ML
Bayesian Emulation of Multi-fidelity Earth System Modelling Using Hierarchical Gaussian Processes
University of Exeter(埃克塞特大学);University of Greenwich(格林威治大学);Chinese Academy of Sciences(中国科学院)
本文比较四种基于高斯过程的多保真仿真方法,在海啸和JULES模拟中评估性能,发现无单一方法普遍最优,选择需依保真度关系、高保真数据量和精度需求而定。
2026-09-09 stat.AP stat.ME
Sampling through iterated approximation: Gradient-free and multi-fidelity Bayesian inference via transport
Massachusetts Institute of Technology(麻省理工学院);Sandia National Laboratories(桑迪亚国家实验室)
本文提出一种迭代框架,用于贝叶斯推断问题,结合几何退火与多保真度建模,通过变分学习生成测度传输代理,结合重要性加权方案,高效准确地解决低维强非高斯贝叶斯逆问题。
2026-03-12 cs.NA math.NA stat.CO
Bayesian analysis of hierarchical multi-fidelity codes
本文讨论了高斯过程的近似代码,可以运行在不同的精度水平。这种方法,这是一个特殊的情况下,协同克里金,使我们能够提高代理模型的复杂的计算机代码使用快速approximatesit.In特别是,我们专注于大量的代码级别的情况下,一方面和贝叶斯方法,当我们有两个级别的另一方面。本文的主要结果是一种新的方法来估计模型参数,它提供了一个封闭的形式表示的模型的一个重要参数(比例因子),减少了数值的复杂性,通过简化协方差阵求逆,和一个新的贝叶斯建模,给出了一个明确的表示的联合分布的参数,这是不计算昂贵的。通过一个热力学算例对两层和三层协同克立格法进行了比较。
2012-09-24 math.ST stat.TH
Bayesian Covariance Uncertainty for Adaptive Pilot-Sampling Termination in Multi-fidelity Uncertainty Quantification
针对多保真度不确定性量化中试点采样终止的预算分配难题,提出贝叶斯协方差不确定性框架,通过γ-高斯先验量化协方差不确定性并实现自适应终止,在基准和达西流问题上验证了其在有限预算下的高效性与方差减少能力。
2025-08-25 stat.ME
A Two-Stage Bayesian Framework for Multi-Fidelity Sequential Updating of Spatial Fragility Fields
Texas A&M University(德克萨斯农工大学)
本文提出一种双阶段贝叶斯框架,用于多保真度在线更新空间脆弱性场,通过结合物理模型与实时观测数据,提升灾害区域的脆弱性估计精度和不确定性处理能力。
2026-11-04 stat.AP
Using Bayesian deep learning approaches for uncertainty-aware building energy surrogate models
University of Victoria(维多利亚大学);Department of Civil Engineering(土木工程系);Energy and Cities Group(能源与城市小组)
基于快速机器学习的代理模型经过训练,可模拟慢速、高保真的工程仿真模型,从而加快工程设计任务。这引入了不确定性,因为替代模型只是原始模型的近似值。贝叶斯方法可以量化这种不确定性,并且存在遵循贝叶斯范式的深度学习模型。这些模型,即贝叶斯神经网络和高斯过程模型,使我们能够给出预测与模型的不确定性的估计。因此,我们可以得到不确定性感知代理模型,可以自动怀疑看不见的设计样本,导致大的仿真错误。对于这些样本,可以改为查询高保真模型。这概述了贝叶斯范式如何让我们混合快速,但近似,缓慢,但准确的模型。本文针对复杂的高维建筑能耗模拟问题,训练了两类贝叶斯模型:丢弃神经网络和随机变分高斯过程模型。代理模型处理35个建筑设计参数(输入)以估计12个不同的性能度量(输出)。我们对这两种方法进行了基准测试,证明了它们的准确性是有竞争力的,并表明当将具有最高不确定性的10%的样本转移到高保真模型时,误差可以减少30%。
2020-10-05 cs.LG stat.ML
Amortized Auto-Tuning: Cost-Efficient Bayesian Transfer Optimization for Hyperparameter Recommendation
Carnegie Mellon University(卡内基梅隆大学);Petuum(Petuum公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Stanford University(斯坦福大学)
随着现代机器学习模型的超参数数量和训练时间的激增,超参数调整变得越来越昂贵。然而,在系统地评估了40种调优方法后,我们发现每种方法都面临一定的局限性。特别是,通过知识转移加速调优的方法通常需要超参数的最终性能,并且不关注低保真度信息。正如我们的经验表明,这种常见的做法是次优的,并可能导致不必要的资源使用。相反,利用低保真度调优观察来测量任务间的相似性并相应地将知识从现有任务转移到新任务是更具有成本效益的。然而,执行多保真度调优在传输设置中也有其自身的挑战:额外观察中的噪声以及对性能预测的需求。因此,我们提出了一个多任务多保真度贝叶斯优化框架,并进行了深入的分析,这导致了最好的实例-分期自动调整(AT 2)。我们进一步提出了一个离线计算的27任务超参数推荐(HyperRec)数据库,以服务于社区。在HyperRec和其他真实数据库上的大量实验表明了我们的AT 2方法的有效性。
2022-04-07 cs.AI cs.LG stat.ML
MUMBO: MUlti-task Max-value Bayesian Optimization
Lancaster University(兰卡斯特大学)
我们提出了MUMBO,第一个高性能但计算效率高的多任务贝叶斯优化采集功能。在这里,挑战是通过评估与我们真正的目标函数相关的低成本函数来执行有效的优化。这是一个广泛的问题,包括多保真度优化的流行任务。然而,虽然已知信息理论获取函数提供最先进的贝叶斯优化,但用于多任务场景的现有实现具有过高的计算要求。因此,以前的采集功能只适用于低维参数空间和函数查询成本足够大,掩盖非常显着的优化开销的问题。在这项工作中,我们得到了一个新的多任务版本的熵搜索,提供强大的性能与低计算开销在经典的优化挑战和多任务超参数调整。MUMBO具有可扩展性和高效性,允许在具有丰富参数和保真度空间的问题中部署多任务贝叶斯优化。
2020-06-22 cs.LG stat.ML
Large-scale multidisciplinary design optimization of the NASA lift-plus-cruise concept using a novel aircraft design framework
针对eVTOL概念设计高维优化难题,研究人员开发了以几何为中心的可微计算框架CADDEE,在NASA的Lift+Cruise概念上实现超100变量的大规模MDO,1小时内减重11.4%,为eVTOL设计提供高效工具。
2023-04-25 cs.CE math.OC
A Bayesian approach for global sensitivity analysis of (multi-fidelity) computer codes
复杂的计算机代码被广泛用于科学和工程中,以模拟物理现象。此外,它们通常具有大量的输入参数。全球灵敏度分析旨在识别对产出有最重要影响的因素。Sobol指数是执行此类分析的流行工具。然而,他们的估计需要大量的模拟,往往不能在合理的时间限制下处理。为了解决这个问题,本文建立了一个高斯过程回归模型来替代计算机代码,并通过它来估计Sobol指数,目的是提供一种通过替代模型来估计Sobol指数的方法,该方法同时考虑了估计误差和替代模型误差。特别是,它使我们能够获得非渐近的置信区间的Sobol指数估计。此外,我们将建议的策略扩展到可以以不同准确度运行的多保真度计算机代码的情况。对于这样的模拟器,我们使用高斯过程回归模型的多元输出的扩展。
2013-07-08 math.ST stat.TH
Forecasting remaining useful life: Interpretable deep learning approach via variational Bayesian inferences
ETH Zurich(苏黎世联邦理工学院)
预测机械、基础设施或其他设备的剩余使用寿命可以促进抢先维护决策,从而通过及时维修或更换来防止故障。这允许通过考虑预期的故障时间来提供更好的决策支持,从而有望降低成本。在这里,可以通过将概率密度函数拟合到过去的寿命,然后利用(有条件的)预期剩余使用寿命作为预测,来得出共同的基线。这种方法在实践中得到广泛使用,因为它具有很高的解释力。机器学习有望提供一种更准确的替代方案,其中预测通过传感器数据将退化过程和环境变量纳入其中。然而,机器学习在很大程度上起着黑箱方法的作用,因此其预测丧失了大部分所需的可解释性。作为我们的主要贡献,我们提出了一种结构效应神经网络来预测剩余使用寿命,它结合了两种方法的有利特性:其关键创新在于它提供了高度的问责制和深度学习的灵活性。通过变分贝叶斯推断的参数估计。根据航空发动机的实际故障时间,对不同的方法进行了比较。这表明了我们的方法的性能和优越的可解释性,而我们最后讨论的决策支持的影响。
2019-07-19 cs.LG stat.ML
Sequential design of experiments to estimate a probability of exceeding a threshold in a multi-fidelity stochastic simulator
在这篇文章中,我们考虑一个随机数值模拟器来评估一些因素对现象的影响。模拟器被看作是一个有输入和输出的黑盒子。假设模拟的质量(以下称为保真度)是可通过模拟器的附加输入(例如,网格尺寸参数):高保真模拟提供更准确的结果,但耗时。使用有限的计算时间预算,我们要估计,对于任何值的物理输入,一定的标量输出的模拟器将超过一个给定的临界阈值在最高的保真度水平的概率。在贝叶斯框架中,使用多保真度模拟器的高斯过程模型来解决该问题。我们认为贝叶斯估计的概率,连同相关的不确定性措施,并提出了一个新的多保真度序贯设计策略,称为最大速度的不确定性减少(PSUR),选择物理输入的值和保真度水平的新的模拟。在一个实例中检验了最大持续更新率战略。
2017-07-26 stat.CO stat.ME stat.ML
Multi-fidelity Bayesian Optimization Framework for CFD-Based Non-Premixed Burner Design
Norwegian University of Science and Technology(挪威科技大学);Imperial College London(帝国理工学院);Senai CIMATEC University(塞奈西马特克大学)
该研究提出了一种多保真度贝叶斯优化框架,结合CFD和代理模型优化非预混燃烧器设计,通过低保真度快速评估和高保真度选择性模拟提升效率,减少计算成本。
2025-11-28 stat.AP
Personalized and uncertainty-aware coronary hemodynamics simulations: From Bayesian estimation to improved multi-fidelity uncertainty quantification
本文提出一种端到端不确定性感知的冠状动脉血流模拟框架,通过贝叶斯估计个性化分支血流,并结合多保真度蒙特卡洛与降维方法,以更低成本实现更高精度的临床与生物力学量预测。
2024-09-03 cs.CE math.ST physics.comp-ph
Adaptation of Engineering Wake Models using Gaussian Process Regression and High-Fidelity Simulation Data
Norwegian University of Science and Technology(挪威科技大学);Delft University of Technology(代尔夫特理工大学)
本文研究了一个九机风电场偏航控制输入的优化问题。采用高保真仿真器SOWFA对风电场进行仿真。优化是用基于高斯过程的修改器自适应方案进行的。修改器自适应校正工厂和模型之间的不匹配,并有助于收敛到实际的计划最优值。在案例研究中,修改器自适应方法与贝叶斯优化方法进行了比较。此外,还讨论了两种不同协方差函数在高斯过程回归中的应用。有关的数据准备和应用的方法的实际建议。结果表明,无论是修改器的适应和贝叶斯优化方法可以提高整体较小的偏航失调相比,高斯尾流模型的功率生产。
2020-03-30 cs.LG cs.SY eess.SY
Advancing inverse scattering with surrogate modeling and Bayesian inference for functional inputs
针对逆散射中函数输入推断及不确定性量化研究不足的问题,提出融合核函数代理模型与贝叶斯推理的框架,还扩展整合多保真度模拟,相比有限基展开方法实现了更准确且方差更小的函数恢复。
2023-05-02 stat.AP stat.ME
Fast increased fidelity approximate Gibbs samplers for Bayesian Gaussian process regression
高斯过程(GP)的使用得到了有效的采样算法,丰富的方法学文献和强大的理论基础的支持。然而,由于其禁止的计算和存储需求,在贝叶斯模型中使用精确的GP仅限于包含最多几千个观测值的问题。采样需要以$\mathcal{O}(n^3),$缩放的矩阵运算,其中$n$是唯一输入的数量。单个矩阵的存储在$\mathcal{O}(n^2),$上扩展,并且可以迅速压倒大多数现代计算机的资源。为了克服这些瓶颈,我们开发了一个采样算法,使用$\mathcal{H}$矩阵近似的矩阵,包括GP后验协方差。这些矩阵可以在机器精度内近似真实的条件协方差阵,并允许在$\mathcal{O}(n \ \mbox{log}^2 n)$时间缩放的采样算法和在$\mathcal{O}(n \ \mbox{log} \ n).$的存储需求缩放。我们还描述了如何将这些算法用作构建块,以在$\mathcal{O}(d \ n \ \mbox{log}^2 n)$上对高维表面进行建模,其中$d$是使用一维GP的张量积来考虑的表面的维度。虽然已经提出了各种可扩展的过程,用于近似贝叶斯GP推理时,$n$是大的,据我们所知,这些方法都没有显示,近似的Kullback-Leibler发散到真正的后验可以任意小,可能不会比有限的计算机算法提供的近似差。我们描述了$\mathcal{H}-$矩阵,给出了一个有效的吉布斯采样器使用这些矩阵的一维…
2020-06-11 math.ST stat.ME stat.TH
Information-Theoretic Multi-Objective Bayesian Optimization with Continuous Approximations
Washington State University(华盛顿州立大学)
许多现实世界的应用程序涉及使用连续函数近似的多个目标的黑盒优化,权衡评估的准确性和资源成本。例如,在火箭发射研究中,我们需要找到使用连续保真度模拟器(例如,改变容差参数以折衷仿真时间和精度)用于设计评估。目标是通过最小化评估成本来近似最优帕累托集。在本文中,我们提出了一种新的方法称为信息理论的多目标连续近似贝叶斯优化(iMOCA)}来解决这个问题。其核心思想是选择输入序列和函数逼近的多个目标,最大化的信息增益每单位成本的最优帕累托前沿。我们在不同的合成和真实世界的基准测试的实验表明,iMOCA显着提高了现有的单保真度的方法。
2020-11-23 cs.AI cs.LG stat.ML
Multi-Fidelity modeling of Probabilistic Aerodynamic Databases for Use in Aerospace Engineering
工程模拟中的不确定性的显式量化正越来越多地用于为稳健和可靠的设计实践提供信息。在航空航天工业中,用于设计优化目的的计算可行性分析通常由于所采用的数学模型的缺陷而引入显著的不确定性。在本文中,我们讨论了两个最近的改进,从多个来源的不确定性的量化和组合,可以帮助生成概率空气动力学数据库,用于航空航天工程问题。我们首先讨论的特征空间摄动方法来估计模型形式的不确定性产生的不足之处,在湍流模型中使用的雷诺平均Navier-Stokes计算流体动力学(RANS CFD)模拟。然后,我们提出了一个多保真度高斯过程框架,可以将噪声观测生成集成的代理模型,提供均值和方差信息的兴趣(QoIs)。过程噪声在空间上跨域和跨保真度水平变化。这两种方法都通过应用于全构型飞机的例子--跨音速条件下的NASA通用研究模型(CRM)得到了证明。首先,模型形式的不确定性与RANS CFD模拟估计。然后,来自不同来源的数据被用来产生多保真度的概率空气动力数据库的NASA CRM。我们讨论了变革性的影响,负担得起的和早期治疗的不确定性,可以在传统的航空航天工程实践。的结果,并进行比较,从一个单一的数据源上进行高斯过程回归。
2019-11-12 physics.flu-dyn stat.AP
Bayesian Safety Validation for Failure Probability Estimation of Black-Box Systems
Xwing
本文将黑盒安全验证建模为贝叶斯优化问题,通过概率代理模型与三种采集函数高效搜索失效并估计失效概率,以极少样本实现高精度验证,并已应用于FAA自主货运飞机认证。
2024-06-29 cs.LG stat.AP
BayesFLo: Bayesian fault localization of complex software systems
JMP Statistical Discovery LLC, SAS Institute Inc.(JMP统计发现有限责任公司,SAS研究所);Department of Statistical Science, Duke University(杜克大学统计学系)
本文提出BayesFLo框架,通过贝叶斯模型结合领域知识,提升复杂系统故障定位的准确性与概率评估能力。
2026-03-27 cs.SE stat.ME
Objective Bayesian Analysis of a Cokriging Model for Hierarchical Multifidelity Codes
自回归协克里格模型已被广泛用于模拟具有不同保真度水平的多个计算机模型。依赖结构通过高斯过程在每个保真度水平上建模,其中协方差结构通常被参数化为几个参数。预测分布通常需要密集的蒙特卡罗近似在以前的作品。本文推导了仅依赖于相关参数的自回归协克里格模型中预测分布均值和方差的新的闭合公式。对于参数估计,我们考虑这样的自回归协克里格模型的客观贝叶斯分析。我们发现,常见的选择先验分布,如常数先验和逆相关先验,通常会导致不适当的后验。我们还开发了几个客观的先验,如独立的参考先验和独立的Jeffreys先验,产生适当的后验分布。这种发展是说明与钻孔功能在一个八维输入空间,并应用到一个工程应用中的六维输入空间。
2020-11-02 math.ST stat.CO stat.TH