Uncertainty-Aware Surrogate-based Amortized Bayesian Inference for Computationally Expensive Models
Department of Stochastic Simulation and Safety Research for Hydrosystems（随机模拟与安全研究部门）；Cluster of Excellence SimTech（卓越中心SimTech）；University of Stuttgart（斯图加特大学）；Department of Statistics（统计学系）；TU Dortmund University（多特蒙德技术大学）
本文提出UA-SABI框架，结合替代模型和amortized贝叶斯推断，以量化和传播替代不确定性，实现对计算昂贵模型的快速可靠推断。
2026-01-16 cs.LG stat.ME stat.ML
Bayesian Optimization with Expensive Integrands
Cornell University（康奈尔大学）；School of Operations Research & Information Engineering（运筹学与信息工程学院）
我们提出了一个贝叶斯优化算法的目标函数是昂贵的评估功能的总和或积分，允许嘈杂的评价。这些目标函数出现在用于调整机器学习超参数的多任务贝叶斯优化、通过模拟进行的优化以及具有随机环境条件的实验的顺序设计中。我们的方法是平均情况下最优的建设时，一个单一的评估被积保持在我们的评估预算。实现这种一步最优性需要解决一个具有挑战性的价值的信息优化问题，为此，我们提供了一种新的有效的离散化的计算方法。我们还提供了一致性证明，我们的方法在连续和离散有限域的目标函数的总和。在数值实验中，与以前的最先进的方法相比，包括那些也利用总和或积分结构，我们的方法在广泛的问题中表现良好或更好，并且在评估有噪声或被积函数在积分变量中平滑变化时提供了显着的改进。
2018-03-23 cs.LG stat.ML
Surrogate-based Bayesian Comparison of Computationally Expensive Models: Application to Microbially Induced Calcite Precipitation
地下储层中受微生物活动影响的地球化学过程改变了多孔介质的物质性质。这是一个复杂的地下油藏地球化学过程，目前包含很强的概念不确定性。这意味着，几种描述地球化学过程的建模方法是合理的，建模者面临着选择最合适的方法的不确定性。一旦获得观测数据，就可以进行严格的贝叶斯模型选择，并进行贝叶斯模型可验证性分析，以选择最合适的模型，即根据现有数据最好地描述基本物理过程的模型。然而，地球化学模拟是非常苛刻的计算，因为它概念化不同的阶段，生物量动态，地球化学，沉淀和溶解在多孔介质中。因此，贝叶斯框架不能直接基于完整的计算模型，因为这将需要太多昂贵的模型评估。为了避免这个问题，我们建议进行贝叶斯模型选择和可扩展性分析后，构建替代竞争的地球化学模型。在这里，我们使用任意多项式混沌展开。我们考虑到贝叶斯分析中的近似误差，通过引入新的校正因子，得到的模型权重。因此，我们扩展了贝叶斯可验证性分析，并评估计算昂贵的模型的模型相似性。我们证明了微生物引起的方解石沉淀在多孔介质中的一个代表性的情况下的方法。我们的扩展的可扩展性分析提供了一个合适的方法，计算要求高的模型进行比较，并提供了一个可靠的模型性能的必要的数据量的见解。
2020-11-25 stat.AP
On Bayesian Search for the Feasible Space Under Computationally Expensive Constraints
Swansea University（斯旺西大学）；ACT Acoustics（ACT声学公司）
我们经常感兴趣的是在多个约束条件下确定决策空间的可行子集，以允许有效的设计探索。如果确定可行性需要计算上昂贵的模拟，那么勘探的成本将是令人望而却步的。贝叶斯搜索对于这些问题是数据高效的：从一个小的数据集开始，中心概念是使用贝叶斯约束模型和获取函数来定位有希望的解决方案，当数据集被扩充时，这些解决方案可以改善可行性的预测。在这种具有有限数量的昂贵评估的顺序主动学习方法结束时，模型可以准确地预测任何解决方案的可行性，从而避免了完全模拟的需要。在本文中，我们提出了一种新的采集功能，结合了解决方案位于可行和不可行的空间（代表开发）和预测（代表探索）的熵之间的边界的概率。实验证实了所提出的功能的有效性。
2020-06-24 cs.LG cs.NE stat.ML
Multi-Step Bayesian Optimization for One-Dimensional Feasibility Determination
贝叶斯最优化方法分配有限的抽样预算，以最大限度地提高昂贵的评估功能。通常使用一步先行策略，但计算最佳多步先行策略仍然是一个挑战。我们考虑一个专门的贝叶斯最优化问题：寻找一个昂贵的一维函数的超水平集，与马尔可夫过程的先验。我们有效地计算了贝叶斯最优抽样策略，并描述了一步前瞻的次优性。我们的数值实验表明，一步前瞻政策是接近最佳的，在这个问题中，在98%的最佳实验设置考虑。
2016-07-11 cs.LG math.OC stat.CO
Sequential Bayesian experimental design for calibration of expensive simulation models
针对昂贵仿真模型校准效率低的问题，提出一种以学习参数后验密度为目标的序贯贝叶斯实验设计框架，可同时兼顾后验不确定区探索与高后验密度区利用，经多组仿真及核物理反应模型验证有效。
2023-05-25 stat.ME
A Bayesian framework for functional calibration of expensive computational models through non-isometric matching
我们研究统计校准，即，调整计算模型的在其相关联的物理系统中不可观察或不可控制的特征。我们专注于功能校准，这是在许多制造过程中出现的不可观察的功能，称为校准变量，是输入变量的函数。在许多应用中的一个主要挑战是计算模型是昂贵的，只能评估有限的次数。此外，如果不进行强有力的假设，校准变量是不可识别的。我们提出了贝叶斯非等距匹配校准（BNMC），允许昂贵的计算模型的校准，只有有限数量的样本从计算模型及其相关的物理系统。BNMC用动态高斯过程（GP）代替计算模型，其参数在校准过程中训练。为了解决可识别性问题，我们提出了从几何角度的非等距曲线曲面匹配的校准问题，这使我们能够利用组合优化技术，以提取必要的信息，构建先验分布。我们的数值实验表明，在预测精度方面，BNMC优于，或与其他现有的校准框架。
2020-05-22 stat.ML
Bayesian Search for Robust Optima
The University of Exeter（埃克塞特大学）；Swansea University（斯旺西大学）
许多昂贵的黑盒优化问题对它们的输入很敏感。在这些问题中，找到一个好的设计区域比找到一个可能脆弱的最优设计更有意义。昂贵的黑盒函数可以使用贝叶斯优化进行有效优化，其中高斯过程是一种流行的选择，作为昂贵函数的先验。我们提出了一种使用贝叶斯优化的鲁棒优化方法，以找到一个区域的设计空间中，昂贵的功能的性能是相对不敏感的输入，同时保持良好的质量。这是通过从高斯过程中采样实现来实现的，高斯过程对昂贵的函数进行建模，并评估每个实现的改进。这些改进的期望可以用进化算法来廉价地优化，以确定评估昂贵函数的下一个位置。我们描述了一个有效的过程，以找到最佳的预期改善。我们的经验表明，评估昂贵的功能在候选人的不确定性区域的模型是最不确定的，或在随机的位置，产生最佳的收敛性相比，剥削计划。我们说明了我们的方法在两个，五个和十个维度的六个测试功能，并证明它是能够超越两个国家的最先进的方法从文献中。我们还展示了我们的方法一个两个现实世界中的问题，在4和8维，其中包括训练机器人手臂，以推动物体到目标。
2021-12-15 cs.LG stat.ML
Bayesian Screening: Multi-test Bayesian Optimization Applied to in silico Material Screening
我们提出了新的多测试贝叶斯优化模型和算法，用于大规模的材料筛选应用。我们的筛选问题是围绕两个测试设计的，一个昂贵，一个便宜。本文不同于其他最近的工作多测试贝叶斯优化通过使用一个灵活的模型，允许复杂的，非线性关系之间的廉价和昂贵的测试成绩。这种额外的建模灵活性在我们描述的材料筛选应用中是必不可少的。我们证明了我们的新算法的力量，一个家庭的合成玩具问题，以及从两个大规模的筛选研究的真实数据。
2020-09-11 cs.LG math.OC stat.AP
Learning Arbitrary Quantities of Interest from Expensive Black-Box Functions through Bayesian Sequential Optimal Design
GE Research（通用电气研究中心）；Purdue University（普渡大学）
由于缺少领域知识和有限的预算，估计任意感兴趣的数量（QoI）是复杂的，昂贵的评估，黑盒函数的非线性算子是一个具有挑战性的问题。贝叶斯最优实验设计（Bayesian optimal design of experiments，BODE）是一种在不同背景下识别最优实验设计（optimal design of experiments，DOE）的方法，仅用于有限数量的函数评估。在BODE方法下，序贯实验设计（SDOE）通过选择最优的实验序列来完成这一任务，同时使用数据驱动的概率代理模型来代替昂贵的黑箱函数。从代理模型的概率预测被用来定义一个信息获取函数（IAF），它量化的边际值贡献或预期的信息获得一个假设的实验。通过最大化IAF来选择下一个实验。一般适用的IAF是关于QoI的预期信息增益（EIG），如通过在进行假设实验之后的QoI的预测分布与关于相同QoI的当前预测分布之间的库尔贝克-莱布勒散度的预期所捕获的。我们建模的基础信息源作为一个完全贝叶斯，非平稳的高斯过程（FBNSGP），并推导出一个近似的信息增益的假设实验的任意QoI条件下的超参数的EIG相同的QoI估计的样本平均值，以整合后验的超参数和潜在的实验结果。我们证明了我们的方法在四个数值例子和一个实际的工程问题的钢丝制造的性能。该方法进行了比较，两个经典的SDOE方法：随机抽样和不确定性抽样。
2019-12-16 cs.LG stat.ME stat.ML
Parallel Bayesian Global Optimization of Expensive Functions
我们考虑了无导数代价函数的并行全局优化，并提出了一种基于随机逼近的有效方法，用于实现Ginsbourger等人（2007）提出的概念性贝叶斯优化算法。该算法的核心是最大化称为“多点预期改善”或q-EI的信息标准。为了实现这一点，我们使用无穷小扰动分析（IPA），构建一个随机梯度估计，并证明该估计是无偏的。我们还表明，使用构造的梯度估计的随机梯度上升算法收敛到一个平稳点的q-EI表面，因此，作为梯度上升算法的多个开始的数量和每个开始的步骤的数量变大，一步贝叶斯最优点集被恢复。我们在数值实验中表明，我们的方法最大化的q-EI是更快的方法，基于封闭形式的评价，使用高维集成，考虑许多并行功能的评价时，速度相当，当考虑很少。我们还表明，由此产生的一步贝叶斯优化算法并行全局优化发现高质量的解决方案，比启发式的基础上，大约最大化的q-EI的评价更少。该算法的高质量开源实现可在开源的MySQL优化引擎（MoE）中获得。
2019-05-05 math.OC stat.ML
Exploiting Gradients in Bayesian Inference of Expensive Simulators
Czech Technical University in Prague（布拉格捷克技术大学）；Institute of Plasma Physics of the Czech Academy of Sciences（捷克科学院等离子体物理研究所）
本文将梯度信息融入高斯过程代理，在有限模拟预算下加速昂贵模拟器的贝叶斯推理，反向模式微分下效率提升显著，适用于参数数超输出维度的场景。
2026-10-09 cs.LG stat.ML
Bayesian Indirect Inference for Models with Intractable Normalizing Functions
由于这些模型的难以处理的归一化函数包含感兴趣的参数，因此对双重难以处理的分布进行推断是具有挑战性的。以往的辅助变量MCMC算法对于大数据集的多维模型是不可行的，因为它们在每次迭代时都依赖于昂贵的辅助变量模拟。我们开发了一个快速贝叶斯间接算法，取代昂贵的辅助变量模拟从概率模型与计算便宜的模拟从代理模型。我们使用高斯过程近似学习代理模型参数和概率模型参数之间的关系。我们将我们的方法应用于具有挑战性的模拟和真实数据的例子，并说明该算法解决了双重棘手的分布的计算和推理的挑战。特别是对于一个有10个参数的大型社会网络模型，我们表明，我们的方法可以减少计算时间从约2周到5小时，与以前的方法相比。我们的方法允许从业者进行贝叶斯推断更复杂的模型与更大的数据集比以前。
2020-08-06 stat.AP stat.CO
On the Bayesian calibration of expensive computer models with input dependent parameters
计算机模型旨在模拟复杂的真实系统，通常根据数据进行校准以提高性能。标准校准方法假设校准参数的最优值对模型输入是不变的。在一些现实世界的应用中，模型涉及复杂的参数化，其最佳值取决于模型的输入，这样的假设可能过于限制，并可能导致误导性的结果。我们提出了一个完全贝叶斯方法，产生输入相关的校准参数的最佳值，以及它的特点通过后验分布的相关不确定性。方法的核心是将校准参数制定为阶跃函数的思想，该阶跃函数的不确定结构通过二叉树过程适当地建模。我们的方法是特别适合于解决问题的计算机模型需要选择一个子模型从一组竞争的，但选择的“最好的”子模型可能会改变与输入值。该方法为给定输入的每个子模型产生选择概率。我们提出了合适的可逆跳跃操作，以方便具有挑战性的计算。我们评估了我们的方法对基准示例的性能，并用它来分析一个现实世界的应用程序与大规模的气候模型。
2017-08-31 stat.ME
Profile Bayesian Optimization for Expensive Computer Experiments
Virginia Tech（弗吉尼亚理工大学）；NC State University（北卡罗来纳州立大学）
提出一种新型贝叶斯优化方法，通过两阶段采集策略和深度/浅层高斯过程代理，在控制参数范围内高效识别轮廓最优解，应用于旋转爆震发动机扩散器设计。
2026-06-11 stat.ME
Multilevel Bayesian Quadrature
多级蒙特卡罗是一个关键的工具，用于近似积分涉及昂贵的科学模型。我们的想法是使用被积函数的近似值来构造一个估计，该估计比经典的蒙特卡罗方法具有更高的精度。我们建议通过被积函数的贝叶斯替代模型进一步增强多级蒙特卡罗，重点是高斯过程模型和相关的贝叶斯正交估计。我们表明，使用理论和数值实验，我们的方法可以导致显着提高精度时，被积是昂贵的，光滑的，当维数是小或中等。最后，我们总结了一个案例研究，说明我们的方法在滑坡产生的海啸建模，每个被积函数的评估成本通常是太大的操作设置的潜在影响。
2023-03-13 stat.ME
Rapid Posterior Exploration in Bayesian Non-negative Matrix Factorization
非负矩阵分解（NMF）是一种流行的数据探索工具。贝叶斯NMF也承诺在因子分解中表征不确定性。不幸的是，目前的推理方法，如MCMC混合缓慢，往往陷入单一模式。我们介绍了一种新的方法，使用快速探索随机树（RRT）渐近覆盖区域的高后验密度。这些被放置在一个原则贝叶斯框架通过在线扩展到非参数变分推断。在真实数据和合成数据上的实验中，我们获得了比标准NMF推理方法更大的后验覆盖率和更高的ELBO值。
2016-10-27 stat.ML
No-Regret Constrained Bayesian Optimization of Noisy and Expensive Hybrid Models using Differentiable Quantile Function Approximations
The Ohio State University（俄亥俄州立大学）
针对噪声观测下昂贵混合模型的约束全局优化问题，提出约束上分位数界（CUQB）方法，利用复合结构与可微近似提升采样效率，提供次线性收敛保证与不可行性检测，数值实验证明其优于传统贝叶斯优化。
2023-07-28 cs.LG stat.ML
Low-Budget Simulation-Based Inference with Bayesian Neural Networks
University of Liège（列日大学）；MIT（麻省理工学院）；IAIFI（人工智能与基本物理中心）；Anthropic（Anthropic公司）
针对数据匮乏时仿真推断易过拟合且不可靠的问题，提出在低预算仿真推断中使用贝叶斯神经网络以显式考虑计算不确定性，设计了专用先验，在极少量仿真下即可获得校准良好的后验。
2024-08-27 cs.LG stat.ML
Expected Diverse Utility (EDU): Diverse Bayesian Optimization of Expensive Computer Simulators
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本文提出期望多样化效用（EDU）方法，用于贝叶斯优化中以搜索多样化的局部最优解，并在高斯过程代理模型下推导出闭式采集函数，揭示探索-利用-多样性权衡，在数值实验和实际应用中均展现出优于现有方法的性能。
2025-02-02 cs.LG stat.AP stat.ML
Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints
这项工作提出了PESMOC，预测熵搜索多目标贝叶斯优化与约束，一个基于信息的策略，同时优化多个昂贵的评估黑盒功能的存在下，几个约束。因此，PESMOC可用于解决各种优化问题。迭代地，PESMOC选择一个输入位置，在该位置上评估目标函数和约束，以便最大限度地减少相应优化问题的Pareto集的熵。PESMOC中考虑的约束被假定为具有与典型贝叶斯优化问题中的目标函数相似的性质。也就是说，它们没有已知的表达式（这妨碍了梯度计算），它们的评估被认为是非常昂贵的，并且所得到的观测结果可能被噪声破坏。这些约束出现在大量昂贵的黑盒优化问题中。我们进行合成实验来说明PESMOC的有效性，在那里我们从高斯过程先验中采样目标和约束。所获得的结果表明，PESMOC是能够提供更好的建议与更少的评价比基于随机搜索的战略。
2016-09-26 stat.ML
Data-Driven Forward Discretizations for Bayesian Inversion
本文提出了一个框架，学习昂贵的前向模型的离散化贝叶斯逆问题。其主要思想是将离散化的参数作为贝叶斯机器中待估计的未知数的一部分。我们数值计算表明，在机械工程，信号处理和地球科学中出现的各种反问题，观测包含有用的信息，以指导离散化的选择。
2020-08-21 cs.NA math.NA stat.CO
Parallel Predictive Entropy Search for Batch Global Optimization of Expensive Objective Functions
University of Cambridge（剑桥大学）
我们开发了并行预测熵搜索（PPES），昂贵的黑箱目标函数的贝叶斯优化的一种新算法。在每次迭代中，PPES的目标是选择一批点，这将最大化关于目标的全局最大化者的信息增益。众所周知的策略存在于基于先前的观察来建议单个评估点，而已知的用于选择多批点来并行评估的策略少得多。已经研究的几个批次选择方案都采用贪婪方法来计算最优批次。据我们所知，PPES是第一个非贪婪批量贝叶斯优化策略。我们证明了这种方法在优化性能的合成和现实世界的应用，包括在机器学习，火箭科学和机器人技术的问题的好处。
2015-11-23 cs.LG stat.ML
An Adaptive Dropout Approach for High-Dimensional Bayesian Optimization
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）
针对贝叶斯优化在高维问题中因采集函数高维性导致性能下降的问题，提出自适应 dropout 算法，通过迭代降低采集函数维度优化难度，实验表明其在高维场景中优于标准及现有先进方法，提升解质量。
2025-04-15 cs.LG stat.ML
aphBO-2GP-3B: A budgeted asynchronous parallel multi-acquisition functions for constrained Bayesian optimization on high-performing computing architecture
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）；Medpace Inc.（Medpace公司）；GIW Industries Inc.（GIW工业公司）
高保真的复杂工程模拟具有高度的预测性，但计算成本也很高，通常需要大量的计算工作。在高性能集群（HPC）架构中，通常通过并行来减轻计算负担。在本文中，异步约束批并行贝叶斯优化方法提出了高效地解决计算昂贵的基于模拟的优化问题的HPC平台上，与预算的计算资源，其中的最大数量的模拟是一个常数。这种方法的优点有三方面。首先，提高了贝叶斯优化的效率，其中以异步方式大规模并行地评估多个输入位置，以加速关于物理运行时间的优化收敛。这个效率特性得到了进一步的提高，这样当每个输入完成时，就可以查询另一个输入，而不必等待整个批处理完成。第二，该方法可以处理已知和未知的约束。第三，该方法考虑了多个捕获功能在同一时间和样本的基础上不断变化的概率质量分布函数使用修改的GP-对冲计划，其中参数对应于每个捕获功能的性能。所提出的框架被称为aphBO-2GP-3B，它对应于异步并行对冲贝叶斯优化与两个高斯过程和三批。aphBO-2GP-3B框架使用两个高保真昂贵的工业应用程序进行演示，其中第一个是基于有限元分析（FEA），第二个是基于计算流体动力学（CFD）模拟。
2021-02-04 cs.LG stat.CO stat.ML
Bayesian Inference for Diffusion Processes: Using Higher-Order Approximations for Transition Densities
在连续时间内模拟随机动力系统，扩散过程是许多科学领域的有力工具。利用引入辅助数据的马尔可夫链蒙特卡罗（MCMC）方法，可以从时间离散观测过程中估计模型参数。这些方法通常在数值上近似过程的过渡密度，用于计算后验密度和提出辅助数据。这里，Euler-Maruyama方案是标准的近似技术。然而，MCMC方法在计算上昂贵。使用高阶近似可能会加速它，但具体实现和好处仍不清楚。因此，我们调查的利用和有用的高阶近似的例子中的米尔斯坦计划。我们的研究表明，基于Milstein近似的MCMC方法产生良好的估计结果。然而，它们在计算上更昂贵，并且只能在不切实际的限制下应用于多维过程。此外，米尔斯坦近似和著名的修改桥建议的组合引入了额外的数值挑战。
2020-09-15 stat.CO
Semi-Amortized Bayesian Inference with Reusable Local Posteriors
University of Amsterdam（阿姆斯特丹大学）；TU Dortmund University（多特蒙德工业大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出半摊销贝叶斯推理方法，将参数分块并训练神经估计器近似各块条件后验，通过马尔可夫链交替抽样与常规更新，在高维复杂模型中实现高效贝叶斯估计。
2026-10-15 cs.LG stat.ML
AABC: approximate approximate Bayesian computation when simulating a large number of data sets is computationally infeasible
近似贝叶斯计算（ABC）方法在评估似然性困难时对机械激励的参数统计模型的模型特定参数执行推断。ABC方法成功的关键是从参数模型中对数据集进行计算上廉价的模拟。然而，当从模型中模拟数据集的计算成本如此之高，以至于参数的后验分布不能通过ABC充分采样时，推断并不简单。我们提出了近似近似贝叶斯计算（AABC），一类方法，扩展基于模拟的推理ABC模型，其中模拟数据是昂贵的。在AABC中，我们首先模拟有限数量的数据集，这些数据集在计算上是可行的，可以从参数模型中进行模拟。我们使用这些数据集作为固定的背景信息，通知一个非机械的统计模型，近似正确的参数模型，并使大量的数据集的贝叶斯回归方法的有效模拟。我们发现，在温和的假设下，由AABC得到的后验分布收敛到由ABC得到的后验分布，从参数模型模拟的数据集的数量和观察数据集的样本量同时增加。我们说明了AABC的性能上的人口遗传模型的自然选择，以及混合历史的混合动力种群的模型。
2013-01-26 stat.CO
UltraNest -- a robust, general purpose Bayesian inference engine
UltraNest是一个用于参数估计和模型比较的通用贝叶斯推断包。它允许拟合指定为用Python、C、C++、Fortran、Julia或R编写的似然函数的任意模型。UltraNest专注于正确性和速度（按此顺序），特别适用于多模态或非高斯参数空间，计算昂贵的模型，在强大的管道中。可对计算集群进行并行化并恢复未完成的运行。
2021-04-07 astro-ph.IM stat.CO
Approximate Sampling using an Accelerated Metropolis-Hastings based on Bayesian Optimization and Gaussian Processes
University of South Carolina（南卡罗来纳大学）；University of North Carolina Charlotte（北卡罗来纳大学夏洛特分校）
马尔可夫链蒙特卡罗（MCMC）方法在处理目标分布或似然函数时有一个缺点，这是计算昂贵的评估，特别是在处理大数据时。本文主要研究单峰分布的Metropolis-Hastings（MH）算法。在这里，提出了一种增强的MH算法，需要较少的昂贵的功能评估，具有较短的老化期，并使用更好的建议分布。主要创新包括使用贝叶斯优化快速到达高概率区域，使用高斯过程（GP）模拟目标分布，以及使用GP的拉普拉斯近似来构建更好地捕获潜在相关性的建议分布。实验表明，显着改善了常规MH。两种算法的结果之间的统计比较。
2019-10-21 cs.LG stat.ML
Bayesian functional optimisation with shape prior
Deakin University（迪肯大学）；Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Institute for Frontier Materials（前沿材料研究所）
现实世界的实验是昂贵的，因此重要的是要达到一个目标，在最小数量的实验。实验过程通常涉及随时间变化的控制变量。这样的问题可以公式化为一个功能优化问题。我们开发了一种新的贝叶斯优化框架，这样的功能优化昂贵的黑箱过程。我们使用Bernstein多项式基表示控制函数，并在系数空间中进行优化。我们得出的理论和实践需要动态调整阶的多项式的程度，并显示如何先验信息的形状可以被集成。我们证明了我们的方法对于短聚合物纤维设计和优化深度网络的学习率调度的有效性。
2020-02-25 cs.LG stat.ML
Multilevel adaptive sparse Leja approximations for Bayesian inverse problems
确定性插值和求积方法往往不适合解决贝叶斯逆问题，这取决于计算昂贵的正演数学模型。虽然插值可以给出精确的后验近似，但确定性求积通常无法有效地调查信息量，从而集中可能性。这导致了大量的数学模型所需的昂贵的评估。为了克服这些挑战，我们制定和测试多级自适应稀疏Leja算法。在每一层，自适应稀疏网格插值和正交分别用于近似后验和执行所有的正交操作。具体来说，我们的算法使用粗糙的离散化的基本数学模型，调查的参数空间，并确定高后验概率的地区。然后使用自适应稀疏网格算法将点放置在这些区域中，并忽略后验概率小的其他区域。这些点是加权Leja点。由于模型离散化是粗略的，稀疏网格的构造是计算高效的。在这个稀疏的网格上，后验测度可以精确地近似，只需很少的昂贵的精细模型离散化。该算法的效率可以进一步提高，通过利用两个以上的离散化水平。我们提出的多级自适应稀疏Leja算法在数值实验中涉及椭圆反问题的二维和三维空间，在其中我们比较它与马尔可夫链蒙特卡罗采样和标准的多级近似。
2019-05-07 cs.NA math.NA stat.CO
A Nested Weighted Tchebycheff Multi-Objective Bayesian Optimization Approach for Flexibility of Unknown Utopia Estimation in Expensive Black-box Design Problems
Oregon State University（俄勒冈州立大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
我们提出了一个嵌套的加权切比雪夫多目标贝叶斯优化框架，我们建立了一个回归模型选择过程，从一个合奏的模型，朝着更好地估计加权切比雪夫昂贵的黑箱多目标函数的不确定参数。在现有的工作中，加权Tchebycheff MOBO方法已被证明，试图估计未知的乌托邦在制定收购功能，通过校准使用先验选择的回归模型。然而，现有的MOBO模型在给定引导采样数据的情况下选择适当的回归模型时缺乏灵活性，因此，随着MOBO的迭代进行，可能欠拟合或过拟合，从而降低了整体MOBO性能。由于它过于复杂，无法先验地保证一般的最佳模型，这促使我们考虑在WTB MOBO的指导下，采用当前训练数据拟合的不同系列预测模型的组合;最佳模型是按照用户定义的基于预测均方根误差的方法选择的。所提出的方法是在优化多模态基准问题和薄壁管的设计温度-压力恒定载荷下，与蠕变疲劳失效的风险和设计成本最小化。最后，嵌套加权Tchebycheff MOBO模型的性能进行了比较与不同的MOBO框架的参数估计精度，帕累托最优解和功能评估成本。这种方法是广义的，足以考虑不同的家庭的预测模型的投资组合中的最佳模型选择，其中的整体设计架构允许解决任何高维（多功能）复杂的黑盒问题，并可以扩展到任何其他全球标准的多目标优化方法，需要先验知识的乌托邦。
2021-10-16 cs.LG stat.ML
Spline-Based Bayesian Emulators for Large Scale Spatial Inverse Problems
贝叶斯方法的非线性反问题被认为是未知量（输入）是一个随机空间场。正演模型是复杂的和非线性的，因此计算昂贵。一个基于仿真器的方法，贝叶斯多元自适应回归样条（BMARS）被用来模拟的功能，将输入映射到输出。离散余弦变换（DCT）用于输入空间场的降维。后验抽样采用跨维马尔可夫链蒙特卡罗（MCMC）方法。通过分析油气藏表征的模拟和真实数据，给出了数值结果。
2021-05-08 stat.AP stat.CO
Posterior Refinement Improves Sample Efficiency in Bayesian Neural Networks
University of Tübingen（图宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
蒙特卡罗（MC）积分是逼近贝叶斯神经网络（BNN）预测分布的实际方法。但是，即使有许多MC样本，基于高斯的BNN仍然可能会产生不良的预测性能，由于后验近似的错误。与此同时，MC集成的替代方案往往更昂贵或有偏见。在这项工作中，我们通过实验表明，良好的MC近似预测分布的关键是近似后验本身的质量。然而，以前的方法获得准确的后验近似是昂贵的和非平凡的实现。因此，我们建议用归一化流来改进高斯近似后验。当应用于最后一层BNN，它产生一个简单的\emph{post hoc}方法，以改善预先存在的参数近似。我们表明，所得到的后验近似甚至与金标准的全批哈密顿蒙特卡罗是竞争力。
2022-10-15 cs.LG stat.ML
Efficient Nonmyopic Bayesian Optimization via One-Shot Multi-Step Trees
Washington University（华盛顿大学）；Facebook（脸书）；University of Pennsylvania（宾夕法尼亚大学）
贝叶斯优化是一个序列决策框架，用于优化评估成本高的黑盒函数。计算完全前瞻策略相当于求解高度棘手的随机动态程序。短视的方法，如预期的改善，往往在实践中采用，但他们忽略了即时决定的长期影响。现有的非近视方法大多是启发式的和/或计算昂贵的。在本文中，我们提供了第一个有效的实现一般多步前瞻贝叶斯优化，制定了一系列嵌套优化问题的多步情景树。我们不是以嵌套的方式解决这些问题，而是以“一次性”的方式共同优化整个树中的所有决策变量。结合这一点，一个有效的方法来实现多步高斯过程“幻想”，我们证明了多步预期的改进是计算上易于处理的，并表现出优于现有的方法在广泛的基准性能。
2020-06-29 cs.LG cs.NA math.NA
Heteroscedastic Neural Surrogate Modeling for Robust and Rapid Bayesian Inference in Fusion Plasma Diagnostics
The University of Tokyo（东京大学）；National Institute for Fusion Science（国立核聚变科学研究所）
本文针对聚变等离子体诊断中MCMC贝叶斯推理的计算瓶颈与噪声敏感性问题，提出双头架构的异方差神经代理框架，实现超1500倍加速且降低20%以上推理误差，为实时物理分析提供新范式。
2026-08-21 cs.LG stat.CO
Multi-fidelity Bayesian Optimisation with Continuous Approximations
用于黑箱优化的Bandit方法，例如贝叶斯优化，用于各种应用，包括超参数调整和实验设计。最近，\emph{multi-fidelity}方法已经获得了相当大的关注，因为函数评估在这样的应用中变得越来越昂贵。多保真度方法使用感兴趣的函数的廉价近似来加速整体优化过程。然而，大多数多保真度方法仅假设有限数量的近似。然而，在许多实际应用中，可能存在连续的近似谱。例如，当调整昂贵的神经网络时，可以选择使用较少的数据$N$和/或较少的训练迭代$T$来近似交叉验证性能。这里，近似最好被看作是从连续的二维空间$(N,T)$中产生的。在这项工作中，我们开发了贝叶斯优化方法，BOCA，这种设置。我们验证了它的理论性质，并表明它比忽略近似的策略实现了更好的后悔。BOCA在合成和真实实验中优于其他几个基线。
2017-03-18 stat.ML
Understanding an Acquisition Function Family for Bayesian Optimization
本文旨在理解贝叶斯优化中采集函数族的优劣，通过分析更广泛的方法族，为不同问题类别提供算法选择指导。
2023-10-16 stat.CO
Batch Selection for Parallelisation of Bayesian Quadrature
University of Oxford（牛津大学）
非负被积函数上的积分是机器学习中的一个核心问题（例如，用于模型平均、（超）参数边缘化和计算后验预测分布）。贝叶斯求积法是一种概率数值积分技术，与传统的马尔可夫链蒙特卡罗方法相比，其表现令人鼓舞。然而，与易于并行化的MCMC方法相比，贝叶斯求积方法到目前为止本质上是串行的，在算法的每个步骤中选择一个点进行采样。我们提供的方法来选择批次的点在每一步，根据最近提出的批量贝叶斯优化文献。这种并行化显著减少了计算时间，特别是当被积函数的采样成本很高时。
2018-12-04 cs.LG stat.CO stat.ML
Rapid Bayesian optimisation for synthesis of short polymer fiber materials
新材料合成工艺的发现涉及到工艺设计、操作和材料性能等诸多方面的决策。实验是至关重要的，但随着复杂性的增加，使用传统的组合方法探索变量可能变得不切实际。我们描述了一种迭代方法，它使用机器学习来优化过程开发，将多个定性和定量目标。我们展示了一种新的流体加工平台的方法，用于合成短聚合物纤维，并显示了如何合成过程可以有效地实现材料和工艺目标。
2018-02-16 physics.comp-ph stat.ML
Tracking rapid intracellular movements: A Bayesian random set approach
我们专注于跟踪细胞器在细胞中移动的生物学问题。在过去，大多数细胞内运动是手动记录的，然而，结果太不完整，无法捕捉细胞器运动的全部复杂性。一个自动跟踪算法承诺提供一个完整的分析嘈杂的显微镜数据。在本文中，我们采用统计技术从贝叶斯随机集的观点。而不是考虑每个单独的细胞器，我们检查一个随机集的成员是细胞器的状态，我们建立了一个贝叶斯滤波算法，涉及这样的设置状态。传播的多目标密度近似使用高斯混合方案。我们的算法适用于合成和实验数据。
2015-09-16 stat.AP
Harnessing Low-Fidelity Data to Accelerate Bayesian Optimization via Posterior Regularization
Nanjing University of Posts and Telecommunications（南京邮电大学）
贝叶斯优化（BO）是一个功能强大的范式，用于黑箱目标函数（BOF）的无导数全局优化，这是昂贵的评估。但是，对于具有高成本函数计算的问题，BO的开销仍然是过高的。在本文中，我们研究如何减少BO所需的函数求值的数量，而不影响解决方案的质量。我们探讨了后验正则化的思想，利用高斯过程置信上限（GP-UCB）框架内的低保真度（LF）数据。LF数据可以由BOF的LF近似或相关优化任务的先前评估产生。训练称为LF-GP的额外GP模型以拟合LF数据。我们开发了一个名为动态加权专家产品（DW-POE）融合算子。该算子在BOF的后验上引入正则化。LF GP模型对正则化后验的影响通过贝叶斯形式主义进行自适应调整。大量的基准BOF优化任务的实验结果表明，所提出的算法优于国家的最先进的性能。
2019-12-16 cs.LG stat.ML
Stratified Bayesian Optimization
Cornell University（康奈尔大学）
我们考虑昂贵的噪声函数的无导数黑箱全局优化，当目标中的大部分随机性由几个有影响力的标量随机输入产生时。我们提出了一种新的贝叶斯全局优化算法，称为分层贝叶斯优化（SBO），它使用这种强依赖性，以提高性能。我们的算法在精神上类似于分层，分层是一种来自模拟的技术，它使用对随机输入的分类表示的强烈依赖来减少方差。我们在数值实验中证明，SBO优于最先进的贝叶斯优化基准，不利用这种依赖。
2016-02-20 cs.LG math.OC stat.ML
Classified as unknown: A novel Bayesian neural network
Haverford College（哈弗福德学院）；Widener University（威德纳大学）
我们使用probit函数建立softmax激活函数输出分布参数的估计。作为一个应用程序，我们开发了一个新的有效的贝叶斯学习算法完全连接的神经网络，训练和预测内的贝叶斯推理框架内进行封闭形式。这种方法允许顺序学习，并且不需要计算昂贵的梯度计算和蒙特卡罗采样。我们的工作将\cite{H}中用于二进制分类的单个感知器的贝叶斯算法推广到用于多类分类的多层感知器。
2023-01-31 cs.LG stat.AP
Surrogate-assisted parallel tempering for Bayesian neural learning
University of New South Wales（新南威尔士大学）；The University of Sydney（悉尼大学）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；SRM Institute of Science and Technology（SRM科学技术学院）；Indian Institute of Technology Delhi（印度理工学院德里分校）
由于需要鲁棒的不确定性量化，贝叶斯神经学习在深度学习和大数据时代获得了关注。马尔可夫链蒙特卡罗（MCMC）方法通常实现贝叶斯推理，其面临给定大量参数、复杂和多模态后验分布以及大型神经网络模型的计算复杂性的若干挑战。并行回火MCMC解决了其中的一些限制，因为它们可以对多峰后验分布进行采样并利用高性能计算。然而，考虑到大型神经网络模型和大数据，仍然存在某些挑战。代理辅助优化的特点是对模型的目标函数进行估计，这在计算上是昂贵的。在本文中，我们解决了并行回火MCMC的效率低下的大规模问题相结合的并行计算功能与代理辅助似然估计，描述了一个模型参数值的可扩展性，给定特定的观测数据。因此，我们提出了替代辅助并行回火贝叶斯神经学习简单的计算昂贵的模型。我们的研究结果表明，该方法显着降低了计算成本，同时保持质量的决策与贝叶斯神经网络。该方法具有广泛的数值模型的贝叶斯反演和不确定性量化的应用。
2020-05-14 cs.AI cs.LG stat.ML
Recursive Two-Step Lookahead Expected Payoff for Time-Dependent Bayesian Optimization
我们提出了一种新的贝叶斯方法来解决最大化的不定常昂贵的评估预言。我们感兴趣的决定，最大限度地提高了预言在有限的时间范围内，当相对较少的噪声评估可以在地平线之前进行。我们的递归，两步前瞻预期收益（$\texttt{r2LEY}$）收购功能，使非近视的决定，在每一个阶段，通过最大化的估计期望值的预言在地平线上。$\texttt{r2LEY}$通过在每个阶段递归地优化两步前视采集函数来规避昂贵的多步（多于两步）前视采集函数的评估;后一个函数及其梯度的无偏估计用于有效的优化。$\texttt{r2LEY}$表现出自然的探索性质，远离时间范围，使准确的模拟的甲骨文，这是利用在地平线上作出的最后决定。为了证明$\texttt{r2LEY}$的实用性，我们通过合成和真实世界的数据集将其与流行的近视采集功能的不定常扩展进行比较。
2020-12-08 math.OC stat.ML
Rapid Bayesian identification of sparse nonlinear dynamics from scarce and noisy data
提出一种基于贝叶斯框架的快速概率方法 Bayesian-SINDy，通过高斯近似加速计算，在稀缺和含噪声数据下高效识别非线性动力学微分方程并量化不确定性，为生物数据分析和实时控制中的主动学习奠定基础。
2024-09-23 nlin.CD stat.ME stat.ML
Multi-objective Bayesian Optimization With Mixed-categorical Design Variables for Expensive-to-evaluate Aeronautical Applications
ONERA（法国航空航天研究院）；Université de Toulouse（图卢兹大学）；ISAE–SUPAERO（法国高等航空航天学院）；INSA（法国国立应用科学学院）；CNRS（法国国家科学研究中心）；MINES ALBI（阿尔比矿业学校）；UPS Université de Toulouse（图卢兹第三大学）；Polytechnique Montréal（蒙特利尔理工学院）；German Aerospace Center (DLR)（德国航空航天中心）；EMBRAER S.A.（巴西航空工业公司）；University di Napoli Federico II（那不勒斯费德里科二世大学）
针对航空领域高代价评估系统的优化问题，提出SEGOMOE方法，结合专家混合模型处理混合分类设计变量与多目标优化，以少函数评估构建精确帕累托前沿，在实际航空应用中验证了有效性。
2025-04-14 cs.LG math.OC stat.AP
Designing a Bayesian Network for Preventive Maintenance from Expert Opinions in a Rapid and Reliable Way
在这项研究中，贝叶斯网络（BN）被认为是代表核电厂机械系统退化。它描述了降解过程中所涉及的现象的因果关系。从这样的BN推断需要指定大量的边际概率和条件概率。由于在目前情况下，信息基本上以专家知识为基础，这项任务变得非常复杂，很快就不可能完成。我们提出了一个解决方案，其中包括考虑BN作为一个对数线性模型上的简化约束假设。这种方法导致专家给出的概率数量大大减少。此外，我们给出了一些简单的规则来选择最可靠的概率。我们表明，利用这些规则可以检查导出的概率的一致性。此外，我们提出了一个反馈过程，以消除不一致的概率。最后，我们提出解决现实贝叶斯网络中涉及的方程的导出概率是可靠的。由此产生的方法来设计一个重要的和强大的BN应用于反应堆冷却剂的子组件在EDF核电厂的说明性目的。
2009-05-18 stat.ME
Bayesian Optimization for Iterative Learning
University of Oxford（牛津大学）
深度（强化）学习系统的性能关键取决于超参数的选择。它们的调整是出了名的昂贵，通常需要迭代训练过程来运行许多步骤以收敛。传统的优化算法只考虑经过多次昂贵的迭代后获得的超参数的最终性能，而忽略了早期训练步骤的中间信息。在本文中，我们提出了一个贝叶斯优化（BO）的方法，利用迭代结构的学习算法有效的超参数调整。我们建议学习一个评估函数，根据训练成功和稳定性，将训练过程中任何阶段的学习进度压缩为单个数值分数。然后，我们的BO框架将评估超参数设置的好处与额外训练步骤的计算成本进行平衡。我们通过选择性地包括来自任何评估的超参数集的不同训练步骤的分数来进一步提高模型效率。我们通过调整用于训练深度强化学习代理和卷积神经网络的超参数来证明我们算法的效率。我们的算法在最短时间内识别最佳超参数方面优于所有现有的基线。
2021-01-16 cs.LG stat.ML
Generalized Bayesian D criterion for single-stratum and multistratum designs
DuMouchel和Jones（1994）通过修改D-最优性方法来减少所选设计对假设模型的依赖，从而提出了贝叶斯D准则。当效应数大于样本量时，该准则已用于选择完全随机化试验的各种单层设计。在许多工业实验中，完全随机化有时是昂贵的或不可行的，因此，用于实验的设计通常具有多层结构。然而，原始贝叶斯D准则是在单层结构的框架下开发的，不能应用于选择多层设计。本文研究了如何将贝叶斯方法推广到更复杂的试验中，并发展了广义贝叶斯D准则。该准则推广了原有的贝叶斯D准则，当效应数大于模型矩阵的秩时，可用于选择各种试验的单层和多层设计。
2018-03-29 stat.CO stat.ME
On the development of a practical Bayesian optimisation algorithm for expensive experiments and simulations with changing environmental conditions
Newcastle University（纽卡斯尔大学）
针对环境条件变化下高成本实验优化需求，本文提出ENVBO贝叶斯优化算法，结合全局代理模型条件优化可控参数，经测试验证其样本效率高、效果更优，已通过NUBO包开源。
2024-02-05 cs.LG stat.ML
BAMBI: blind accelerated multimodal Bayesian inference
在本文中，我们提出了一种快速贝叶斯分析算法，结合嵌套抽样和人工神经网络的好处。盲加速多模态贝叶斯推断（BAMBI）算法实现了用于嵌套采样的MultiNest包以及人工神经网络（NN）的训练以学习似然函数。在计算昂贵的似然性的情况下，这允许替换更快速的近似，以显著提高分析的速度。我们首先通过一些玩具示例来演示NN学习复杂似然曲面的能力。BAMBI的能力，以减少运行时间的贝叶斯推断，然后证明在背景下估计宇宙学参数从威尔金森微波各向异性探测器和其他观测。我们表明，除了获得在不同模型和数据组合的似然函数上训练的NN外，还实现了有价值的速度提高。然后，这些NN可以用于使用相同的可能性和不同的先验的更快的后续分析。这是一个完全通用的算法，可以应用，没有任何预处理，计算昂贵的似然函数的其他问题。
2012-02-17 astro-ph.CO astro-ph.IM physics.data-an
