On Bayesian Search for the Feasible Space Under Computationally Expensive Constraints
Swansea University（斯旺西大学）；ACT Acoustics（ACT声学公司）
我们经常感兴趣的是在多个约束条件下确定决策空间的可行子集，以允许有效的设计探索。如果确定可行性需要计算上昂贵的模拟，那么勘探的成本将是令人望而却步的。贝叶斯搜索对于这些问题是数据高效的：从一个小的数据集开始，中心概念是使用贝叶斯约束模型和获取函数来定位有希望的解决方案，当数据集被扩充时，这些解决方案可以改善可行性的预测。在这种具有有限数量的昂贵评估的顺序主动学习方法结束时，模型可以准确地预测任何解决方案的可行性，从而避免了完全模拟的需要。在本文中，我们提出了一种新的采集功能，结合了解决方案位于可行和不可行的空间（代表开发）和预测（代表探索）的熵之间的边界的概率。实验证实了所提出的功能的有效性。
2020-06-24 cs.LG cs.NE stat.ML
Vector operations for accelerating expensive Bayesian computations -- a tutorial guide
贝叶斯统计中的许多应用都是计算密集型的。然而，它们通常本质上是并行的，这使得它们成为现代大规模并行处理器的主要目标。多核和分布式计算广泛应用于贝叶斯社区，然而，很少有人关注使用单指令多数据（SIMD）操作的细粒度并行化，这些操作在大多数现代商品CPU上可用，并且是GPGPU计算的基础。在这项工作中，我们实际上证明，使用标准的编程库，实用程序的SIMD方法的几个专题贝叶斯应用。我们表明，SIMD可以提高浮点运算的性能，导致串行算法的性能提高到$6\times$。重要的是，这些改进是通过多核处理实现的任何增益的倍增。我们说明了潜在的SIMD加速贝叶斯计算，并为读者提供利用现代大规模并行处理环境中使用标准工具的技术。
2020-12-14 cs.DC cs.MS cs.PF
A portfolio approach to massively parallel Bayesian optimization
提出一种原生支持大规模批处理的可扩展贝叶斯优化策略，基于探索/利用权衡和投资组合分配，在含噪声的单/多目标优化任务中实现性能相似或更优且速度提升数个数量级。
2023-04-03 math.OC stat.ML
Bayesian Search for Robust Optima
The University of Exeter（埃克塞特大学）；Swansea University（斯旺西大学）
许多昂贵的黑盒优化问题对它们的输入很敏感。在这些问题中，找到一个好的设计区域比找到一个可能脆弱的最优设计更有意义。昂贵的黑盒函数可以使用贝叶斯优化进行有效优化，其中高斯过程是一种流行的选择，作为昂贵函数的先验。我们提出了一种使用贝叶斯优化的鲁棒优化方法，以找到一个区域的设计空间中，昂贵的功能的性能是相对不敏感的输入，同时保持良好的质量。这是通过从高斯过程中采样实现来实现的，高斯过程对昂贵的函数进行建模，并评估每个实现的改进。这些改进的期望可以用进化算法来廉价地优化，以确定评估昂贵函数的下一个位置。我们描述了一个有效的过程，以找到最佳的预期改善。我们的经验表明，评估昂贵的功能在候选人的不确定性区域的模型是最不确定的，或在随机的位置，产生最佳的收敛性相比，剥削计划。我们说明了我们的方法在两个，五个和十个维度的六个测试功能，并证明它是能够超越两个国家的最先进的方法从文献中。我们还展示了我们的方法一个两个现实世界中的问题，在4和8维，其中包括训练机器人手臂，以推动物体到目标。
2021-12-15 cs.LG stat.ML
Recursive Two-Step Lookahead Expected Payoff for Time-Dependent Bayesian Optimization
我们提出了一种新的贝叶斯方法来解决最大化的不定常昂贵的评估预言。我们感兴趣的决定，最大限度地提高了预言在有限的时间范围内，当相对较少的噪声评估可以在地平线之前进行。我们的递归，两步前瞻预期收益（$\texttt{r2LEY}$）收购功能，使非近视的决定，在每一个阶段，通过最大化的估计期望值的预言在地平线上。$\texttt{r2LEY}$通过在每个阶段递归地优化两步前视采集函数来规避昂贵的多步（多于两步）前视采集函数的评估;后一个函数及其梯度的无偏估计用于有效的优化。$\texttt{r2LEY}$表现出自然的探索性质，远离时间范围，使准确的模拟的甲骨文，这是利用在地平线上作出的最后决定。为了证明$\texttt{r2LEY}$的实用性，我们通过合成和真实世界的数据集将其与流行的近视采集功能的不定常扩展进行比较。
2020-12-08 math.OC stat.ML
Parallel Predictive Entropy Search for Batch Global Optimization of Expensive Objective Functions
University of Cambridge（剑桥大学）
我们开发了并行预测熵搜索（PPES），昂贵的黑箱目标函数的贝叶斯优化的一种新算法。在每次迭代中，PPES的目标是选择一批点，这将最大化关于目标的全局最大化者的信息增益。众所周知的策略存在于基于先前的观察来建议单个评估点，而已知的用于选择多批点来并行评估的策略少得多。已经研究的几个批次选择方案都采用贪婪方法来计算最优批次。据我们所知，PPES是第一个非贪婪批量贝叶斯优化策略。我们证明了这种方法在优化性能的合成和现实世界的应用，包括在机器学习，火箭科学和机器人技术的问题的好处。
2015-11-23 cs.LG stat.ML
Rapid Bayesian inference for expensive stochastic models
几乎所有的科学领域都依赖于统计推断来估计理论和计算模型中的未知参数。虽然现代计算机硬件的性能不断增长，但模型仿真的计算需求增长得更快。这在很大程度上是由于模型复杂性的增加，通常包括随机动力学，这是必要的描述和表征使用现代，高分辨率，实验技术观察到的现象。这样的模型很少是分析易处理的，这意味着参数推断需要非常大量的随机模拟。在这种情况下，参数推断实际上是不可能的。在这项工作中，我们提出了新的计算贝叶斯技术，通过使用计算成本低廉的近似值来通知参数空间中的可行区域，并通过学习变换来调整有偏的近似推断，以更接近代表昂贵的随机模型下的正确推断，从而加速昂贵的随机模型的推断。使用生态学和细胞生物学的局部例子，我们证明了一个数量级的速度提高，而没有任何损失的准确性。这代表了一个实质性的改进，目前国家的最先进的贝叶斯计算方法时，适当的模型近似。
2021-02-23 q-bio.CB q-bio.MN stat.CO
Discussion: "Bayesian Optimal Design of Experiments for Inferring the Statistical Expectation of Expensive Black-Box Functions" (Pandita, P., Bilionis, I., and Panchal, J., 2019. ASME. J. Mech. Des. 141(10): 101404)
简化了基于信息获取的统计期望估计方法，给出了均匀输入分布下各相关量的解析计算方法。在这个讨论中，我们表明：（1）最后三项的收购总是加起来为零，留下一个简洁的形式与更直观的解释收购;（2）收购的分析计算可以推广到任意输入分布，大大拓宽了应用的开发框架。
2021-08-08 cs.IT math.IT stat.CO
PARyOpt: A software for Parallel Asynchronous Remote Bayesian Optimization
Iowa State University（爱荷华州立大学）；University of Kentucky（肯塔基大学）
PARyOpt是一个基于Python的贝叶斯优化例程的实现，专为远程和异步函数求值而设计。贝叶斯优化由于其低费用函数占用空间以及能够考虑数据中的不确定性而对于计算优化特别有吸引力。在分布式计算系统上有效部署任何优化策略的关键挑战是同步步骤，其中来自多个函数调用的数据被同化以识别下一个函数调用活动。贝叶斯优化提供了一种优雅的方法来克服这个问题，通过异步更新。我们制定，开发和实现一个并行的，异步的贝叶斯优化的变种。该框架是稳健的，能够抵御外部故障。我们展示了如何这样的异步评估有助于减少总优化挂钟时间的一套测试问题。此外，我们展示了该框架的软件设计如何允许轻松扩展到响应面重建（克里格），提供了一个高性能的自主探索软件。该软件可在PyPI上使用，并附有示例和文档。
2018-09-12 cs.LG math.OC stat.ML
Surrogate-based Bayesian Comparison of Computationally Expensive Models: Application to Microbially Induced Calcite Precipitation
地下储层中受微生物活动影响的地球化学过程改变了多孔介质的物质性质。这是一个复杂的地下油藏地球化学过程，目前包含很强的概念不确定性。这意味着，几种描述地球化学过程的建模方法是合理的，建模者面临着选择最合适的方法的不确定性。一旦获得观测数据，就可以进行严格的贝叶斯模型选择，并进行贝叶斯模型可验证性分析，以选择最合适的模型，即根据现有数据最好地描述基本物理过程的模型。然而，地球化学模拟是非常苛刻的计算，因为它概念化不同的阶段，生物量动态，地球化学，沉淀和溶解在多孔介质中。因此，贝叶斯框架不能直接基于完整的计算模型，因为这将需要太多昂贵的模型评估。为了避免这个问题，我们建议进行贝叶斯模型选择和可扩展性分析后，构建替代竞争的地球化学模型。在这里，我们使用任意多项式混沌展开。我们考虑到贝叶斯分析中的近似误差，通过引入新的校正因子，得到的模型权重。因此，我们扩展了贝叶斯可验证性分析，并评估计算昂贵的模型的模型相似性。我们证明了微生物引起的方解石沉淀在多孔介质中的一个代表性的情况下的方法。我们的扩展的可扩展性分析提供了一个合适的方法，计算要求高的模型进行比较，并提供了一个可靠的模型性能的必要的数据量的见解。
2020-11-25 stat.AP
Multi-Step Bayesian Optimization for One-Dimensional Feasibility Determination
贝叶斯最优化方法分配有限的抽样预算，以最大限度地提高昂贵的评估功能。通常使用一步先行策略，但计算最佳多步先行策略仍然是一个挑战。我们考虑一个专门的贝叶斯最优化问题：寻找一个昂贵的一维函数的超水平集，与马尔可夫过程的先验。我们有效地计算了贝叶斯最优抽样策略，并描述了一步前瞻的次优性。我们的数值实验表明，一步前瞻政策是接近最佳的，在这个问题中，在98%的最佳实验设置考虑。
2016-07-11 cs.LG math.OC stat.CO
Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints
这项工作提出了PESMOC，预测熵搜索多目标贝叶斯优化与约束，一个基于信息的策略，同时优化多个昂贵的评估黑盒功能的存在下，几个约束。因此，PESMOC可用于解决各种优化问题。迭代地，PESMOC选择一个输入位置，在该位置上评估目标函数和约束，以便最大限度地减少相应优化问题的Pareto集的熵。PESMOC中考虑的约束被假定为具有与典型贝叶斯优化问题中的目标函数相似的性质。也就是说，它们没有已知的表达式（这妨碍了梯度计算），它们的评估被认为是非常昂贵的，并且所得到的观测结果可能被噪声破坏。这些约束出现在大量昂贵的黑盒优化问题中。我们进行合成实验来说明PESMOC的有效性，在那里我们从高斯过程先验中采样目标和约束。所获得的结果表明，PESMOC是能够提供更好的建议与更少的评价比基于随机搜索的战略。
2016-09-26 stat.ML
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience（理论神经科学中心）；Columbia University（哥伦比亚大学）
贝叶斯优化已成为一个强大的候选工具，为全球优化的功能与昂贵的评价成本。然而，由于贝叶斯方法研究的动态性质，以及计算技术的发展，在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中，我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外，我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱，如边缘参数的过采样和高性能参数的过度利用。最后，我提供了相对简单的启发式算法，以及它们的开源软件实现，这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
Exploiting Gradients in Bayesian Inference of Expensive Simulators
Czech Technical University in Prague（布拉格捷克技术大学）；Institute of Plasma Physics of the Czech Academy of Sciences（捷克科学院等离子体物理研究所）
本文将梯度信息融入高斯过程代理，在有限模拟预算下加速昂贵模拟器的贝叶斯推理，反向模式微分下效率提升显著，适用于参数数超输出维度的场景。
2026-10-09 cs.LG stat.ML
Simple and Scalable Parallelized Bayesian Optimization
CyberAgent, Inc.（赛博艾坚特公司）
近年来，利用并行和分布式计算资源已经成为解决高计算成本问题的关键。贝叶斯优化（BO）在诸如机器学习算法的超参数优化等评估成本高的问题中表现出了令人瞩目的结果。虽然已经开发了许多并行BO方法来有效地利用这些计算资源进行搜索，但这些方法假设同步设置或不可扩展。在本文中，我们提出了一个简单的和可扩展的异步并行设置BO方法。实验结果表明，该方法具有良好的性能。
2020-06-24 cs.LG stat.ML
Learning Arbitrary Quantities of Interest from Expensive Black-Box Functions through Bayesian Sequential Optimal Design
GE Research（通用电气研究中心）；Purdue University（普渡大学）
由于缺少领域知识和有限的预算，估计任意感兴趣的数量（QoI）是复杂的，昂贵的评估，黑盒函数的非线性算子是一个具有挑战性的问题。贝叶斯最优实验设计（Bayesian optimal design of experiments，BODE）是一种在不同背景下识别最优实验设计（optimal design of experiments，DOE）的方法，仅用于有限数量的函数评估。在BODE方法下，序贯实验设计（SDOE）通过选择最优的实验序列来完成这一任务，同时使用数据驱动的概率代理模型来代替昂贵的黑箱函数。从代理模型的概率预测被用来定义一个信息获取函数（IAF），它量化的边际值贡献或预期的信息获得一个假设的实验。通过最大化IAF来选择下一个实验。一般适用的IAF是关于QoI的预期信息增益（EIG），如通过在进行假设实验之后的QoI的预测分布与关于相同QoI的当前预测分布之间的库尔贝克-莱布勒散度的预期所捕获的。我们建模的基础信息源作为一个完全贝叶斯，非平稳的高斯过程（FBNSGP），并推导出一个近似的信息增益的假设实验的任意QoI条件下的超参数的EIG相同的QoI估计的样本平均值，以整合后验的超参数和潜在的实验结果。我们证明了我们的方法在四个数值例子和一个实际的工程问题的钢丝制造的性能。该方法进行了比较，两个经典的SDOE方法：随机抽样和不确定性抽样。
2019-12-16 cs.LG stat.ME stat.ML
Batch Selection for Parallelisation of Bayesian Quadrature
University of Oxford（牛津大学）
非负被积函数上的积分是机器学习中的一个核心问题（例如，用于模型平均、（超）参数边缘化和计算后验预测分布）。贝叶斯求积法是一种概率数值积分技术，与传统的马尔可夫链蒙特卡罗方法相比，其表现令人鼓舞。然而，与易于并行化的MCMC方法相比，贝叶斯求积方法到目前为止本质上是串行的，在算法的每个步骤中选择一个点进行采样。我们提供的方法来选择批次的点在每一步，根据最近提出的批量贝叶斯优化文献。这种并行化显著减少了计算时间，特别是当被积函数的采样成本很高时。
2018-12-04 cs.LG stat.CO stat.ML
Sequential Bayesian experimental design for calibration of expensive simulation models
针对昂贵仿真模型校准效率低的问题，提出一种以学习参数后验密度为目标的序贯贝叶斯实验设计框架，可同时兼顾后验不确定区探索与高后验密度区利用，经多组仿真及核物理反应模型验证有效。
2023-05-25 stat.ME
No-Regret Constrained Bayesian Optimization of Noisy and Expensive Hybrid Models using Differentiable Quantile Function Approximations
The Ohio State University（俄亥俄州立大学）
针对噪声观测下昂贵混合模型的约束全局优化问题，提出约束上分位数界（CUQB）方法，利用复合结构与可微近似提升采样效率，提供次线性收敛保证与不可行性检测，数值实验证明其优于传统贝叶斯优化。
2023-07-28 cs.LG stat.ML
Low-Budget Simulation-Based Inference with Bayesian Neural Networks
University of Liège（列日大学）；MIT（麻省理工学院）；IAIFI（人工智能与基本物理中心）；Anthropic（Anthropic公司）
针对数据匮乏时仿真推断易过拟合且不可靠的问题，提出在低预算仿真推断中使用贝叶斯神经网络以显式考虑计算不确定性，设计了专用先验，在极少量仿真下即可获得校准良好的后验。
2024-08-27 cs.LG stat.ML
Accelerated Parallel Non-conjugate Sampling for Bayesian Non-parametric Models
在贝叶斯非参数环境中推断潜在特征模型通常是困难的，特别是在高维环境中，因为它通常需要从一些先验分布中提出特征。在特殊情况下，当集成是易处理的时，我们可以根据预测的可能性对新的特征分配进行采样。我们提出了一种新的方法来加速混合的潜变量模型推理提出的数据的基础上的特征位置，而不是事先。首先，我们介绍了一个加速的功能建议机制，我们表明是一个有效的MCMC算法的后验推理。接下来，我们提出了一个近似推理策略，并行执行加速推理。结合这两种方法的两阶段算法提供了一种计算上有吸引力的方法，可以快速达到局部收敛到我们模型的后验分布，同时允许我们利用并行化。
2022-04-30 stat.ML
Stratified Bayesian Optimization
Cornell University（康奈尔大学）
我们考虑昂贵的噪声函数的无导数黑箱全局优化，当目标中的大部分随机性由几个有影响力的标量随机输入产生时。我们提出了一种新的贝叶斯全局优化算法，称为分层贝叶斯优化（SBO），它使用这种强依赖性，以提高性能。我们的算法在精神上类似于分层，分层是一种来自模拟的技术，它使用对随机输入的分类表示的强烈依赖来减少方差。我们在数值实验中证明，SBO优于最先进的贝叶斯优化基准，不利用这种依赖。
2016-02-20 cs.LG math.OC stat.ML
Temporal Parallelization of Bayesian Smoothers
本文提出了贝叶斯平滑的时间并行化算法。我们定义的元素和运营商提出这些问题的解决方案，所有前缀和操作，有效的并行扫描算法。我们提出了一般贝叶斯滤波和平滑方程的时间并行化，并将其专门用于线性/高斯模型。所提出的算法的优点是，它们降低了标准平滑算法的线性复杂度相对于时间对数。
2020-02-20 cs.DC math.DS stat.CO
Randomized Kriging Believer for Parallel Bayesian Optimization with Regret Bounds
Department of Engineering, Nagoya University（名古屋大学工学部）；RIKEN AIP（理化学研究所AIP）
提出随机克里金信徒法用于并行贝叶斯优化，结合KB启发式，具有低计算复杂度、易实现、通用性强和异步并行适用性，并给出贝叶斯期望遗憾界。
2026-06-25 cs.LG stat.ML
Asynchronous Parallel Bayesian Optimisation via Thompson Sampling
Carnegie Mellon University（卡内基梅隆大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
我们设计和分析的经典汤普森采样（TS）过程中的贝叶斯优化（BO）的设置功能评估是昂贵的，但可以并行执行的变化。我们的理论分析表明，在同步或异步并行设置的顺序汤普森采样算法的直接应用程序产生了令人惊讶的强大的结果：使$n$评价分布在$M$工人基本上相当于执行$n$评价序列。此外，通过建模完成函数评估所需的时间，我们表明，在时间约束下，异步并行TS实现渐近低于同步和顺序版本的遗憾。这些结果的补充实验分析，表明异步TS优于一套现有的并行BO算法在模拟和超参数调整应用在卷积神经网络。除了这些，建议的程序是概念上和计算上比现有的工作更简单的并行BO。
2017-05-25 cs.LG stat.ML
Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints
Universidad Autónoma de Madrid（马德里自治大学）
现实世界的问题往往涉及多个约束条件下的多个目标的优化。一个例子是机器学习算法的超参数调整问题。特别地，深度神经网络的泛化误差的估计的最小化，并且同时其预测时间的最小化。我们还可以考虑作为约束，深度神经网络必须在具有低于某一尺寸的面积的芯片中实现。这里，目标和约束都是黑盒，即，解析表达式未知且计算代价高昂的函数。贝叶斯优化（BO）方法已经给出了黑箱优化的最新结果。然而，大多数BO方法是顺序的，并且迭代地在一个输入位置处评估目标和约束。然而，有时我们可能有资源并行评估几个配置。尽管如此，没有并行BO方法已被提出来处理多个约束条件下的多个目标的优化。如果昂贵的评估可以并行执行（例如当计算机集群可用时），则顺序评估会导致资源浪费。本文介绍了PPESMOC，并行预测熵搜索多目标贝叶斯优化与约束，一个基于信息的批处理方法，同时优化多个昂贵的评估黑盒功能的存在下，几个约束。迭代地，PPESMOC选择一批输入位置来评估黑盒，以最大限度地减少优化问题的帕累托集的熵。我们提出的合成，基准和现实世界的实验，说明PPESMOC的有效性的形式的经验证据。
2021-07-01 cs.LG math.OC stat.ML
The Parallel Knowledge Gradient Method for Batch Bayesian Optimization
Cornell University（康奈尔大学）
在黑盒优化的许多应用中，可以同时评估多个点，例如，当在并行计算环境中评估几个不同的神经网络架构的性能时。本文提出了一种新的批处理贝叶斯优化算法--并行知识梯度法。通过构造，该方法提供了一步贝叶斯最优批量采样点。我们提供了一个有效的策略来计算这个贝叶斯最优批次的点，我们证明了并行知识梯度法发现全局最优显着快于以前的批次贝叶斯优化算法的合成测试功能和调整超参数时，实际机器学习算法，特别是当功能评估是嘈杂的。
2018-04-22 cs.AI cs.LG stat.ML
Response probability distribution estimation of expensive computer simulators: A Bayesian active learning perspective using Gaussian process regression
本文提出基于高斯过程回归的贝叶斯主动学习方法，通过后验统计量设计停止准则和学习函数，高效且高精度地估计昂贵计算机模拟器的响应概率分布。
2024-08-31 stat.CO
Multi-fidelity Bayesian Optimisation with Continuous Approximations
用于黑箱优化的Bandit方法，例如贝叶斯优化，用于各种应用，包括超参数调整和实验设计。最近，\emph{multi-fidelity}方法已经获得了相当大的关注，因为函数评估在这样的应用中变得越来越昂贵。多保真度方法使用感兴趣的函数的廉价近似来加速整体优化过程。然而，大多数多保真度方法仅假设有限数量的近似。然而，在许多实际应用中，可能存在连续的近似谱。例如，当调整昂贵的神经网络时，可以选择使用较少的数据$N$和/或较少的训练迭代$T$来近似交叉验证性能。这里，近似最好被看作是从连续的二维空间$(N,T)$中产生的。在这项工作中，我们开发了贝叶斯优化方法，BOCA，这种设置。我们验证了它的理论性质，并表明它比忽略近似的策略实现了更好的后悔。BOCA在合成和真实实验中优于其他几个基线。
2017-03-18 stat.ML
Surrogate-assisted parallel tempering for Bayesian neural learning
University of New South Wales（新南威尔士大学）；The University of Sydney（悉尼大学）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；SRM Institute of Science and Technology（SRM科学技术学院）；Indian Institute of Technology Delhi（印度理工学院德里分校）
由于需要鲁棒的不确定性量化，贝叶斯神经学习在深度学习和大数据时代获得了关注。马尔可夫链蒙特卡罗（MCMC）方法通常实现贝叶斯推理，其面临给定大量参数、复杂和多模态后验分布以及大型神经网络模型的计算复杂性的若干挑战。并行回火MCMC解决了其中的一些限制，因为它们可以对多峰后验分布进行采样并利用高性能计算。然而，考虑到大型神经网络模型和大数据，仍然存在某些挑战。代理辅助优化的特点是对模型的目标函数进行估计，这在计算上是昂贵的。在本文中，我们解决了并行回火MCMC的效率低下的大规模问题相结合的并行计算功能与代理辅助似然估计，描述了一个模型参数值的可扩展性，给定特定的观测数据。因此，我们提出了替代辅助并行回火贝叶斯神经学习简单的计算昂贵的模型。我们的研究结果表明，该方法显着降低了计算成本，同时保持质量的决策与贝叶斯神经网络。该方法具有广泛的数值模型的贝叶斯反演和不确定性量化的应用。
2020-05-14 cs.AI cs.LG stat.ML
An Adaptive Dropout Approach for High-Dimensional Bayesian Optimization
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）
针对贝叶斯优化在高维问题中因采集函数高维性导致性能下降的问题，提出自适应 dropout 算法，通过迭代降低采集函数维度优化难度，实验表明其在高维场景中优于标准及现有先进方法，提升解质量。
2025-04-15 cs.LG stat.ML
Expected Diverse Utility (EDU): Diverse Bayesian Optimization of Expensive Computer Simulators
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本文提出期望多样化效用（EDU）方法，用于贝叶斯优化中以搜索多样化的局部最优解，并在高斯过程代理模型下推导出闭式采集函数，揭示探索-利用-多样性权衡，在数值实验和实际应用中均展现出优于现有方法的性能。
2025-02-02 cs.LG stat.AP stat.ML
Semi-Amortized Bayesian Inference with Reusable Local Posteriors
University of Amsterdam（阿姆斯特丹大学）；TU Dortmund University（多特蒙德工业大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出半摊销贝叶斯推理方法，将参数分块并训练神经估计器近似各块条件后验，通过马尔可夫链交替抽样与常规更新，在高维复杂模型中实现高效贝叶斯估计。
2026-10-15 cs.LG stat.ML
Parallel hierarchical sampling: a practical multiple-chains sampler for Bayesian model selection
本文介绍了并行分层采样器（PHS），一种同时使用多个链的马尔可夫链蒙特卡罗算法。说明了PHS与并行回火（PT）算法之间的联系，证明了PHS联合转移核的收敛性，强调了PHS联合转移核的实用优势。我们说明了使用PHS，并行回火和梅特罗波利斯-黑斯廷斯算法的贝叶斯模型选择问题，即高斯聚类，协变量的选择线性回归模型和选择的结构树生存模型的推断。
2008-12-08 stat.CO stat.ME
Approximate Sampling using an Accelerated Metropolis-Hastings based on Bayesian Optimization and Gaussian Processes
University of South Carolina（南卡罗来纳大学）；University of North Carolina Charlotte（北卡罗来纳大学夏洛特分校）
马尔可夫链蒙特卡罗（MCMC）方法在处理目标分布或似然函数时有一个缺点，这是计算昂贵的评估，特别是在处理大数据时。本文主要研究单峰分布的Metropolis-Hastings（MH）算法。在这里，提出了一种增强的MH算法，需要较少的昂贵的功能评估，具有较短的老化期，并使用更好的建议分布。主要创新包括使用贝叶斯优化快速到达高概率区域，使用高斯过程（GP）模拟目标分布，以及使用GP的拉普拉斯近似来构建更好地捕获潜在相关性的建议分布。实验表明，显着改善了常规MH。两种算法的结果之间的统计比较。
2019-10-21 cs.LG stat.ML
SOBER: Highly Parallel Bayesian Optimization and Bayesian Quadrature over Discrete and Mixed Spaces
University of Oxford（牛津大学）
SOBER通过将批量全局优化重构为求积问题，把非凸采集函数最大化松弛为凸核重组，从而在离散与混合空间上实现可扩展、多样化的并行贝叶斯优化与求积，并在12项任务上超越11个基线。
2023-07-05 cs.LG cs.NA math.NA
Bayesian functional optimisation with shape prior
Deakin University（迪肯大学）；Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Institute for Frontier Materials（前沿材料研究所）
现实世界的实验是昂贵的，因此重要的是要达到一个目标，在最小数量的实验。实验过程通常涉及随时间变化的控制变量。这样的问题可以公式化为一个功能优化问题。我们开发了一种新的贝叶斯优化框架，这样的功能优化昂贵的黑箱过程。我们使用Bernstein多项式基表示控制函数，并在系数空间中进行优化。我们得出的理论和实践需要动态调整阶的多项式的程度，并显示如何先验信息的形状可以被集成。我们证明了我们的方法对于短聚合物纤维设计和优化深度网络的学习率调度的有效性。
2020-02-25 cs.LG stat.ML
Parallel Markov Chain Monte Carlo for Bayesian Hierarchical Models with Big Data, in Two Stages
由于近年来大数据集的不断增长，新的贝叶斯马尔可夫链蒙特卡罗（MCMC）并行计算方法已经被开发出来。这些方法通过观察将大数据集划分为子集。然而，对于贝叶斯嵌套分层模型，通常只有少数参数对整个数据集是通用的，大多数参数是特定于组的。因此，并行贝叶斯MCMC方法考虑到模型的结构，并按组而不是按观察值划分完整的数据集，是一种更自然的分析方法。在这里，我们适应和扩展了最近推出的两阶段贝叶斯分层建模方法，我们划分完整的数据集组。在阶段1中，独立地并行估计组特异性参数。阶段1后验被用作阶段2中的建议分布，其中目标分布是完整模型。使用三层和四层模型，我们在模拟和真实数据的研究表明，我们的方法的结果与完整的数据分析，大大提高了MCMC的效率，大大减少了计算时间。我们的方法与现有的并行MCMC计算方法的优点也被描述。
2019-01-16 cs.DC stat.CO stat.ME
Robust and Parallel Bayesian Model Selection
有效而准确的模型选择是现代数据分析中的一个重要问题。主要挑战之一是处理无法在一台机器上存储或处理的大型数据集所需的计算负担。人们可能遇到的另一个挑战是存在异常值和污染，这会损害推理质量。并行的“分而治之”模型选择策略将完整数据集的观测值划分为大致相等的子集，并在每个子集上独立地执行推理和模型选择。在局部子集推断之后，该方法通过使用几何中值的概念来聚集后验模型概率或其他模型/变量选择标准以获得最终模型。这种方法导致在找到“正确”模型和模型参数方面的改进的集中，并且也可证明对离群值和数据污染是鲁棒的。
2018-03-22 stat.ML
Bayesian Mosaic: Parallelizable Composite Posterior
本文提出了贝叶斯镶嵌，一个可并行化的复合后验，可扩展的贝叶斯推断上的一个广泛的多元离散数据模型。采样是并行的，因为贝叶斯镶嵌是可以独立采样的分量后验的乘积。类似于复合似然方法，这些成分后验是基于单变量或双变量的边缘密度。利用这些密度的得分函数是无偏的这一事实，我们证明了贝叶斯镶嵌是一致的，在温和的条件下渐近正态。由于单变量或双变量边缘密度的评估可以依赖于数值积分，贝叶斯镶嵌的采样绕过传统的数据增强马尔可夫链蒙特卡罗（DA-MCMC）方法，该方法在数据不平衡时具有可证明的慢混合速率。此外，我们表明，从贝叶斯马赛克采样具有更好的可扩展性大样本量比DA-MCMC。该方法通过模拟研究和应用程序的引用计数数据集进行评估。
2018-04-01 stat.ME
A Nested Weighted Tchebycheff Multi-Objective Bayesian Optimization Approach for Flexibility of Unknown Utopia Estimation in Expensive Black-box Design Problems
Oregon State University（俄勒冈州立大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
我们提出了一个嵌套的加权切比雪夫多目标贝叶斯优化框架，我们建立了一个回归模型选择过程，从一个合奏的模型，朝着更好地估计加权切比雪夫昂贵的黑箱多目标函数的不确定参数。在现有的工作中，加权Tchebycheff MOBO方法已被证明，试图估计未知的乌托邦在制定收购功能，通过校准使用先验选择的回归模型。然而，现有的MOBO模型在给定引导采样数据的情况下选择适当的回归模型时缺乏灵活性，因此，随着MOBO的迭代进行，可能欠拟合或过拟合，从而降低了整体MOBO性能。由于它过于复杂，无法先验地保证一般的最佳模型，这促使我们考虑在WTB MOBO的指导下，采用当前训练数据拟合的不同系列预测模型的组合;最佳模型是按照用户定义的基于预测均方根误差的方法选择的。所提出的方法是在优化多模态基准问题和薄壁管的设计温度-压力恒定载荷下，与蠕变疲劳失效的风险和设计成本最小化。最后，嵌套加权Tchebycheff MOBO模型的性能进行了比较与不同的MOBO框架的参数估计精度，帕累托最优解和功能评估成本。这种方法是广义的，足以考虑不同的家庭的预测模型的投资组合中的最佳模型选择，其中的整体设计架构允许解决任何高维（多功能）复杂的黑盒问题，并可以扩展到任何其他全球标准的多目标优化方法，需要先验知识的乌托邦。
2021-10-16 cs.LG stat.ML
Parallel Gaussian process surrogate Bayesian inference with noisy likelihood evaluations
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；University of Edinburgh（爱丁堡大学）
我们考虑贝叶斯推断时，只有有限数量的噪声对数似然评价可以得到。例如，当将复杂的基于模拟器的统计模型拟合到数据时，会发生这种情况，并且使用合成似然（SL）方法来使用计算成本高的前向模拟来形成噪声对数似然估计。我们框架的推理任务作为一个连续的贝叶斯试验设计问题，其中的对数似然函数建模与分层高斯过程（GP）代理模型，这是用来有效地选择额外的对数似然评估位置。最近的进展的相关问题的批量贝叶斯优化的动机，我们开发了各种批量顺序的设计策略，允许并行运行一些潜在的昂贵的模拟。我们从理论和经验上分析了所产生的方法的属性。几个玩具问题和仿真模型的实验表明，我们的方法是强大的，高度并行化，样本效率。
2020-03-06 cs.LG stat.CO stat.ME
Fast Parallel SAME Gibbs Sampling on General Discrete Bayesian Networks
University of California, Berkeley（加州大学伯克利分校）
在机器学习和相关领域中的基本任务是在贝叶斯网络上执行推理。由于精确推理通常需要指数时间，因此使用了各种近似方法。吉布斯抽样是最准确的方法之一，并提供无偏样本的后验，但它历来是太昂贵的大型模型。在本文中，我们提出了一个优化的，并行吉布斯采样增强状态复制（或状态增强边际估计），以减少收敛时间。我们发现，改进的参数估计的质量，同时加速收敛。合成和真实数据的实验表明，我们的吉布斯采样器是大大快于最先进的采样器，JAGS，而不牺牲精度。我们的最终目标是向许多领域的研究人员介绍吉布斯采样器，以扩大他们可行推理问题的范围。
2015-11-19 cs.LG stat.ML
Posterior Refinement Improves Sample Efficiency in Bayesian Neural Networks
University of Tübingen（图宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
蒙特卡罗（MC）积分是逼近贝叶斯神经网络（BNN）预测分布的实际方法。但是，即使有许多MC样本，基于高斯的BNN仍然可能会产生不良的预测性能，由于后验近似的错误。与此同时，MC集成的替代方案往往更昂贵或有偏见。在这项工作中，我们通过实验表明，良好的MC近似预测分布的关键是近似后验本身的质量。然而，以前的方法获得准确的后验近似是昂贵的和非平凡的实现。因此，我们建议用归一化流来改进高斯近似后验。当应用于最后一层BNN，它产生一个简单的\emph{post hoc}方法，以改善预先存在的参数近似。我们表明，所得到的后验近似甚至与金标准的全批哈密顿蒙特卡罗是竞争力。
2022-10-15 cs.LG stat.ML
Asymptotic properties of parallel Bayesian kernel density estimators
在这篇文章中，我们对Neiswanger，Wang和Xing（2014）引入的贝叶斯并行核密度估计进行了渐近分析。我们推导了全数据后验估计的均方误差的渐近展开，并研究了渐近最优带宽参数的性质。我们的分析表明，分区数据到子集需要一个非平凡的选择带宽参数，优化估计误差。
2017-03-26 math.ST stat.TH
Query Efficient Posterior Estimation in Scientific Experiments via Bayesian Active Learning
在应用统计学研究的学科如天体统计学中，一个常见的问题是估计相关参数的后验分布。通常情况下，这种模型的可能性是通过昂贵的实验来计算的，比如宇宙的宇宙学模拟。在这些研究领域的一个紧迫的挑战是开发的方法，可以估计后几个可能性评估。在本文中，我们研究了在贝叶斯设置的可能性是昂贵的评估时，主动后验估计。用于后验估计的现有技术基于生成代表后验的样本。这种方法不考虑可能性评估方面的效率。为了提高查询效率，我们在主动回归框架中处理后验估计。我们提出了两个近视查询策略来选择在哪里评估的可能性，并使用高斯过程实现它们。通过一系列的合成和真实的例子上的实验，我们证明了我们的方法是显着更查询效率比现有的技术和后验估计的其他算法。
2017-02-03 stat.ML
On the Bayesian calibration of expensive computer models with input dependent parameters
计算机模型旨在模拟复杂的真实系统，通常根据数据进行校准以提高性能。标准校准方法假设校准参数的最优值对模型输入是不变的。在一些现实世界的应用中，模型涉及复杂的参数化，其最佳值取决于模型的输入，这样的假设可能过于限制，并可能导致误导性的结果。我们提出了一个完全贝叶斯方法，产生输入相关的校准参数的最佳值，以及它的特点通过后验分布的相关不确定性。方法的核心是将校准参数制定为阶跃函数的思想，该阶跃函数的不确定结构通过二叉树过程适当地建模。我们的方法是特别适合于解决问题的计算机模型需要选择一个子模型从一组竞争的，但选择的“最好的”子模型可能会改变与输入值。该方法为给定输入的每个子模型产生选择概率。我们提出了合适的可逆跳跃操作，以方便具有挑战性的计算。我们评估了我们的方法对基准示例的性能，并用它来分析一个现实世界的应用程序与大规模的气候模型。
2017-08-31 stat.ME
Profile Bayesian Optimization for Expensive Computer Experiments
Virginia Tech（弗吉尼亚理工大学）；NC State University（北卡罗来纳州立大学）
提出一种新型贝叶斯优化方法，通过两阶段采集策略和深度/浅层高斯过程代理，在控制参数范围内高效识别轮廓最优解，应用于旋转爆震发动机扩散器设计。
2026-06-11 stat.ME
Multilevel Bayesian Quadrature
多级蒙特卡罗是一个关键的工具，用于近似积分涉及昂贵的科学模型。我们的想法是使用被积函数的近似值来构造一个估计，该估计比经典的蒙特卡罗方法具有更高的精度。我们建议通过被积函数的贝叶斯替代模型进一步增强多级蒙特卡罗，重点是高斯过程模型和相关的贝叶斯正交估计。我们表明，使用理论和数值实验，我们的方法可以导致显着提高精度时，被积是昂贵的，光滑的，当维数是小或中等。最后，我们总结了一个案例研究，说明我们的方法在滑坡产生的海啸建模，每个被积函数的评估成本通常是太大的操作设置的潜在影响。
2023-03-13 stat.ME
Parallel Concatenation of Bayesian Filters: Turbo Filtering
在这篇手稿中，通过两个贝叶斯滤波器的并行级联开发新的滤波算法的方法进行说明。我们对这种方法的描述，称为涡轮过滤，是基于一个新的图形模型，这使我们能够有效地描述每个组成过滤器内部完成的处理和它们之间的相互作用。该模型被用来开发两个新的滤波算法的条件线性高斯系统。一个特定的动态系统的数值结果证明，这样的过滤器可以实现更好的复杂性，精度比边缘化粒子滤波权衡。
2018-06-13 stat.CO
Bayesian Optimization with Dimension Scheduling: Application to Biological Systems
Imperial College London（伦敦帝国理工学院）；INRA（法国国家农业研究院）
贝叶斯优化（BO）是一种数据高效的方法，用于评估适应度函数的全局黑箱优化。BO通常假设BO的计算成本很便宜，但实验是耗时或昂贵的。在实践中，这使我们能够在多达1,000个实验中优化10个或更少的关键参数。但实验可能比BO方法假设的更便宜：在一些模拟模型中，我们可能能够在几个小时内进行数千次实验，与实验时间相比，BO的计算负担不再可以忽略不计。为了解决这一挑战，我们引入了一个新的维度调度算法（DSA），它减少了许多实验的BO的计算负担。关键思想是DSA在每次迭代中仅沿着一小部分维度优化适应度函数。这种DSA策略（1）减少了必要的计算时间，（2）比传统的BO方法更快地找到好的解决方案，以及（3）可以直接并行化。我们评估的DSA的微藻代谢的动态模型的参数优化的背景下，比传统的BO显示更快的收敛。
2015-11-17 cs.AI cs.LG math.OC
Differentiable Expected Hypervolume Improvement for Parallel Multi-Objective Bayesian Optimization
Facebook（脸书）
在许多现实场景中，决策者寻求以样本效率的方式有效地优化多个竞争目标。多目标贝叶斯优化（BO）是一种常用的方法，但许多性能最佳的采集功能不具有已知的分析梯度，并遭受高计算开销。我们利用最新的进展，在编程模型和硬件加速多目标BO使用预期超卷改进（EHVI）-一个算法臭名昭著的高计算复杂性。我们推导出一种新的配方的q-预期超容量改进（qEHVI），采集功能，扩展EHVI的并行，约束的评价设置。qEHVI是q个新候选点的联合EHVI的精确计算（直到蒙特卡罗（MC）积分误差）。而以前的EHVI配方依赖于无梯度采集优化或近似梯度，我们通过自动微分计算MC估计器的精确梯度，从而实现高效和有效的优化使用一阶和准二阶方法。我们的实证评估表明，qEHVI是计算上易于处理的在许多实际情况下，并优于国家的最先进的多目标BO算法在一小部分的墙壁时间。
2020-10-23 cs.AI cs.LG math.OC
Parallelized integrated nested Laplace approximations for fast Bayesian inference
随着数据可用性的提高和模型参数空间的高维化，对大规模贝叶斯推断任务的需求日益增长。在这项工作中，我们提出了并行化策略的方法集成嵌套拉普拉斯近似（INLA），一个流行的框架进行近似贝叶斯推断的类潜在高斯模型。我们的方法利用嵌套的OpenMP并行，并行线搜索过程中使用强大的回归INLA的优化阶段和最先进的稀疏线性求解器PARDISO。我们利用算法中相互独立的函数评估以及高级稀疏线性代数技术。通过这种方式，我们可以灵活地利用当今多核架构的强大功能。我们展示了我们的新的并行化方案在一些不同的现实世界中的应用程序的性能。并行性的引入导致所有较大模型的加速比为10倍或更多。我们的工作已经集成到当前版本的开源R-INLA包中，使其改进的性能方便地提供给所有用户。
2022-04-10 cs.DC stat.CO
Decomposition for Bayesian Networks: Local and Parallel Inference
School of Mathematics and Statistics and KLAS, Northeast Normal University（数学与统计学学院及KLAS，东北师范大学）；College of Mathematics and System Sciences, Xinjiang University（数学与系统科学学院，新疆大学）；Institute of Statistics and Data Science, Xinjiang University of Finance and Economics（统计与数据科学学院，新疆财经大学）
针对高维贝叶斯网络精确推理复杂度随规模指数增长的问题，提出基于有向凸子图的分解框架与最小d-分解树，实现并行推理，效率优于连接树法且保留推理精度。
2026-07-07 cs.LG stat.ML
