Seq2Seq Surrogates of Epidemic Models to Facilitate Bayesian Inference
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）；University of Copenhagen（哥本哈根大学）
流行病模型是理解传染病的有力工具。然而，随着它们的大小和复杂性的增加，它们可能很快变得难以计算。近年来，代理模型在建模方法上的研究进展表明，它可以用来模拟具有高维参数空间的复杂传染病模型。我们发现，深度序列到序列（seq2seq）模型可以作为基于序列的模型参数的复杂流行病模型的准确替代品，有效地复制季节性和长期传播动态。一旦经过训练，我们的代理可以比原始模型快几千倍地预测场景，使其成为政策探索的理想选择。我们证明了用一个学习过的模拟器代替传统的流行病模型有利于鲁棒的贝叶斯推理。
2023-03-10 cs.AI cs.LG math.PR
Uncertainty Quantification and Propagation in Surrogate-based Bayesian Inference
University of Stuttgart（斯图加特大学）；TU Dortmund University（多特蒙德工业大学）
本文提出了一种可扩展的贝叶斯框架，用于代理建模中的不确定性量化与传播，通过三种方法提升对现实世界建模任务中参数估计的可靠性。
2025-02-05 cs.LG stat.ML
Using Bayesian deep learning approaches for uncertainty-aware building energy surrogate models
University of Victoria（维多利亚大学）；Department of Civil Engineering（土木工程系）；Energy and Cities Group（能源与城市小组）
基于快速机器学习的代理模型经过训练，可模拟慢速、高保真的工程仿真模型，从而加快工程设计任务。这引入了不确定性，因为替代模型只是原始模型的近似值。贝叶斯方法可以量化这种不确定性，并且存在遵循贝叶斯范式的深度学习模型。这些模型，即贝叶斯神经网络和高斯过程模型，使我们能够给出预测与模型的不确定性的估计。因此，我们可以得到不确定性感知代理模型，可以自动怀疑看不见的设计样本，导致大的仿真错误。对于这些样本，可以改为查询高保真模型。这概述了贝叶斯范式如何让我们混合快速，但近似，缓慢，但准确的模型。本文针对复杂的高维建筑能耗模拟问题，训练了两类贝叶斯模型：丢弃神经网络和随机变分高斯过程模型。代理模型处理35个建筑设计参数（输入）以估计12个不同的性能度量（输出）。我们对这两种方法进行了基准测试，证明了它们的准确性是有竞争力的，并表明当将具有最高不确定性的10%的样本转移到高保真模型时，误差可以减少30%。
2020-10-05 cs.LG stat.ML
A Physics Based Surrogate Model in Bayesian Uncertainty Quantification involving Elliptic PDEs
针对含线性椭圆偏微分方程正演映射的贝叶斯反问题计算成本高的问题，提出基于物理的代理模型，证明后验分布一致性，实验显示其将计算时间从数月缩至数分钟且精度损失极小。
2023-12-14 stat.ME
Variational Bayesian surrogate modelling with application to robust design optimisation
针对高维不确定输入下的代理建模问题，提出基于变分贝叶斯的降维变分高斯过程(RDVGP)方法，通过最小化KL散度优化参数，在稳健结构优化问题中验证了其准确性与通用性。
2024-10-11 cs.NA math.NA stat.AP
Uncertainty-Aware Surrogate-based Amortized Bayesian Inference for Computationally Expensive Models
Department of Stochastic Simulation and Safety Research for Hydrosystems（随机模拟与安全研究部门）；Cluster of Excellence SimTech（卓越中心SimTech）；University of Stuttgart（斯图加特大学）；Department of Statistics（统计学系）；TU Dortmund University（多特蒙德技术大学）
本文提出UA-SABI框架，结合替代模型和amortized贝叶斯推断，以量化和传播替代不确定性，实现对计算昂贵模型的快速可靠推断。
2026-01-16 cs.LG stat.ME stat.ML
Using Bayesian Evidence Synthesis Methods to Incorporate Real World Evidence in Surrogate Endpoint Evaluation
目的：传统上，替代终点的验证是使用RCT数据进行的。然而，RCT数据可能过于有限，无法验证替代终点。在本文中，我们试图通过纳入真实世界证据（RWE）来改善替代终点的验证。研究设计和环境：我们使用来自比较RWE（cRWE）和单组RWE（sRWE）的数据，以补充RCT证据，用于评估无进展生存期（PFS）作为转移性结直肠癌（mCRC）总生存期（OS）的替代终点。使用来自RCT、cRWE和匹配sRWE的处理效应估计值（比较抗血管生成治疗与化疗），根据对PFS的处理效应，为替代模式和对OS的处理效应预测提供信息。结果：共纳入7项RCT、4项cRWE研究和3项匹配的sRWE研究。在RCT中增加RWE降低了替代关系参数估计值的不确定性。在RCT中添加RWE还提高了使用观察到的PFS效应数据获得的OS处理效应预测的准确度和精密度。结论：将RWE添加到RCT数据中提高了描述PFS和OS的处理效应与预测临床获益之间替代关系的参数的精度。
2021-12-16 stat.AP stat.ME
Surrogate-assisted parallel tempering for Bayesian neural learning
University of New South Wales（新南威尔士大学）；The University of Sydney（悉尼大学）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；SRM Institute of Science and Technology（SRM科学技术学院）；Indian Institute of Technology Delhi（印度理工学院德里分校）
由于需要鲁棒的不确定性量化，贝叶斯神经学习在深度学习和大数据时代获得了关注。马尔可夫链蒙特卡罗（MCMC）方法通常实现贝叶斯推理，其面临给定大量参数、复杂和多模态后验分布以及大型神经网络模型的计算复杂性的若干挑战。并行回火MCMC解决了其中的一些限制，因为它们可以对多峰后验分布进行采样并利用高性能计算。然而，考虑到大型神经网络模型和大数据，仍然存在某些挑战。代理辅助优化的特点是对模型的目标函数进行估计，这在计算上是昂贵的。在本文中，我们解决了并行回火MCMC的效率低下的大规模问题相结合的并行计算功能与代理辅助似然估计，描述了一个模型参数值的可扩展性，给定特定的观测数据。因此，我们提出了替代辅助并行回火贝叶斯神经学习简单的计算昂贵的模型。我们的研究结果表明，该方法显着降低了计算成本，同时保持质量的决策与贝叶斯神经网络。该方法具有广泛的数值模型的贝叶斯反演和不确定性量化的应用。
2020-05-14 cs.AI cs.LG stat.ML
A Study of Bayesian Neural Network Surrogates for Bayesian Optimization
New York University（纽约大学）
本文系统比较有限宽度、无限宽度BNN及深度核学习等代理模型在贝叶斯优化中的表现，发现方法排名依赖问题，HMC最稳健，无限宽度BNN在高维任务中尤具潜力。
2024-05-08 cs.LG stat.ML
Flexible evaluation of surrogacy in Bayesian adaptive platform studies
试验水平的替代物是提高试验速度和成本效益的有用工具，但没有得到适当评估的替代物可能会导致误导性结果。评估程序通常是有背景的，取决于审判环境的类型。已经有许多用于试验水平替代评价的建议方法，但据我们所知，没有一种用于贝叶斯自适应平台研究的特定设置。随着适应性研究越来越受欢迎，需要使用它们进行替代评估的方法。这些研究还为替代评估提供了丰富的数据资源，这在正常情况下是不可能的。然而，它们也提供了一系列统计问题，包括研究人群的异质性，治疗，实施，甚至潜在的替代品的质量。我们建议使用分层贝叶斯半参数模型的潜在替代品的评估使用非参数先验分布的真实影响的基础上Dirichlet过程的混合物。这种方法的动机是灵活地对替代物上的处理效应与结果上的处理效应之间的关系建模，并且还以数据驱动的方式识别具有差异替代物值的潜在聚类。在模拟中，我们发现，我们提出的方法是优于一个简单的，但相当标准的，分层贝叶斯方法。我们演示了如何使用我们的方法可以在一个模拟的说明性的例子（基于ProBio试验），在其中，我们能够识别集群的代理，是没有用的。我们计划将我们的方法应用于ProBio试验，一旦它完成。
2022-08-21 stat.ME
Batch simulations and uncertainty quantification in Gaussian process surrogate approximate Bayesian computation
Department of Biostatistics, University of Oslo（奥斯陆大学生物统计系）；Helsinki Institute for Information Technology HIIT, Department of Computer Science, Aalto University（赫尔辛基信息技术研究所，阿尔托大学计算机科学系）
近似贝叶斯计算（ABC）的计算效率已被提高，通过使用代理模型，如高斯过程（GP）。在这样一个有前途的框架模拟和观察到的数据之间的差异建模与GP，这是进一步用于形成一个基于模型的估计难以处理的后验。在本文中，我们将从几个方面改进这种方法。我们开发了批序贝叶斯试验设计策略，并行化昂贵的模拟。在早期的工作中，只使用了顺序策略。目前基于替代的ABC方法也没有充分考虑到由于模拟预算有限而导致的不确定性，因为它们仅输出ABC后验的点估计。我们提出了一种数值方法来充分量化的不确定性，例如，ABC后验矩。我们还提供了一些新的分析GP建模的假设，在由此产生的改进框架称为贝叶斯ABC，并讨论其连接到贝叶斯正交（BQ）和贝叶斯优化（BO）。玩具和现实世界的仿真模型的实验证明了所提出的技术的优势。
2020-08-06 cs.LG stat.CO stat.ME
Multi-modal Bayesian Neural Network Surrogates with Conjugate Last-Layer Estimation
National Laboratory of the Rockies（落基山脉国家实验室）
本文提出两种多模态贝叶斯神经网络代理模型，利用共轭分布估计参数，提升多模态数据下标量和时间序列的预测精度与不确定性量化。
2026-05-12 cs.LG stat.ML
R-MBO: A Multi-surrogate Approach for Preference Incorporation in Multi-objective Bayesian Optimisation
University of Exeter（埃克塞特大学）
许多现实世界的多目标优化问题依赖于计算昂贵的函数评估。多目标贝叶斯优化（BO）可以用来减少计算时间，找到一组近似的帕累托最优解。在许多现实问题中，决策者对目标函数有一些偏好。在多目标BO中加入偏好的一种方法是使用标度函数并在其上构建单代理模型（单代理方法）。首先，标量化函数和目标函数的适应度景观可能不相似。其次，该方法假设标度化函数分布是高斯分布，并且因此获取函数的封闭形式表达，例如，可以使用预期的改进。我们克服了这些限制，通过建立独立的代理模型（多代理方法）对每个目标函数，并表明标量函数的分布不是高斯的。我们使用广义值分布来近似分布。我们提出了一个先验的多代理方法，将理想的目标函数值（或参考点）作为决策者的偏好，在多目标BO。基准和现实世界的优化问题的结果和比较与现有的单代理方法显示所提出的方法的潜力。
2022-04-27 cs.AI cs.LG math.PR
Propagating Surrogate Uncertainty in Bayesian Inverse Problems
Boston University（波士顿大学）
本文提出了一种期望后验（EP）分布作为贝叶斯反问题中不确定性传播的基准，并分析了启发式方法的局限性，最后提出RKpCN算法用于高维高斯过程替代模型的近似。
2026-01-08 stat.CO stat.ME
Advancing inverse scattering with surrogate modeling and Bayesian inference for functional inputs
针对逆散射中函数输入推断及不确定性量化研究不足的问题，提出融合核函数代理模型与贝叶斯推理的框架，还扩展整合多保真度模拟，相比有限基展开方法实现了更准确且方差更小的函数恢复。
2023-05-02 stat.AP stat.ME
Surrogate-based Bayesian Comparison of Computationally Expensive Models: Application to Microbially Induced Calcite Precipitation
地下储层中受微生物活动影响的地球化学过程改变了多孔介质的物质性质。这是一个复杂的地下油藏地球化学过程，目前包含很强的概念不确定性。这意味着，几种描述地球化学过程的建模方法是合理的，建模者面临着选择最合适的方法的不确定性。一旦获得观测数据，就可以进行严格的贝叶斯模型选择，并进行贝叶斯模型可验证性分析，以选择最合适的模型，即根据现有数据最好地描述基本物理过程的模型。然而，地球化学模拟是非常苛刻的计算，因为它概念化不同的阶段，生物量动态，地球化学，沉淀和溶解在多孔介质中。因此，贝叶斯框架不能直接基于完整的计算模型，因为这将需要太多昂贵的模型评估。为了避免这个问题，我们建议进行贝叶斯模型选择和可扩展性分析后，构建替代竞争的地球化学模型。在这里，我们使用任意多项式混沌展开。我们考虑到贝叶斯分析中的近似误差，通过引入新的校正因子，得到的模型权重。因此，我们扩展了贝叶斯可验证性分析，并评估计算昂贵的模型的模型相似性。我们证明了微生物引起的方解石沉淀在多孔介质中的一个代表性的情况下的方法。我们的扩展的可扩展性分析提供了一个合适的方法，计算要求高的模型进行比较，并提供了一个可靠的模型性能的必要的数据量的见解。
2020-11-25 stat.AP
Sequential Bayesian Design for Efficient Surrogate Construction in the Inversion of Darcy Flows
School of Mathematics and Statistics（数学与统计学学院）；Central South University（中南大学）；Institute of Mathematics（数学研究所）；Henan Academy of Sciences（河南省科学院）
针对Darcy流PDE反演中正演求解昂贵、全局代理构建成本高的问题，提出SBD-LAS，用序贯贝叶斯设计构建聚焦似然高概率区的局部精确代理并加速计算。
2025-07-23 cs.LG stat.ML
Towards Scalable Bayesian Optimization via Gradient-Informed Bayesian Neural Networks
Department of Chemical and Biomolecular Engineering, University of California, Berkeley, CA 94720, USA（化学与生物分子工程系，加州大学伯克利分校）
本文提出一种梯度信息损失函数用于贝叶斯神经网络训练，以在贝叶斯优化中利用梯度信息增强代理模型，提升预测精度并加快高维问题收敛。
2025-08-06 cs.LG stat.ML
GPS-ABC: Gaussian Process Surrogate Approximate Bayesian Computation
Informatics Institute（信息学研究所）；University of Amsterdam（阿姆斯特丹大学）
科学家们经常通过计算要求很高的模拟程序来表达他们对世界的理解。分析给定观测值的参数的后验分布（逆问题）可能极具挑战性。近似贝叶斯计算（ABC）框架是处理这些无可能性问题的标准统计工具，但它们需要大量的模拟。在这项工作中，我们开发了两个新的ABC抽样算法，显着减少后验推理所需的模拟的数量。这两种算法都在Metropolis Hastings步骤中使用接受概率的置信度估计，以自适应地选择必要的模拟次数。我们的GPS-ABC算法存储从每个模拟中获得的信息在一个高斯过程中作为模拟统计的替代函数。一个具有挑战性的现实生物问题的实验说明了这些算法的潜力。
2014-01-13 cs.LG q-bio.QM stat.ML
Parallel Gaussian process surrogate Bayesian inference with noisy likelihood evaluations
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；University of Edinburgh（爱丁堡大学）
我们考虑贝叶斯推断时，只有有限数量的噪声对数似然评价可以得到。例如，当将复杂的基于模拟器的统计模型拟合到数据时，会发生这种情况，并且使用合成似然（SL）方法来使用计算成本高的前向模拟来形成噪声对数似然估计。我们框架的推理任务作为一个连续的贝叶斯试验设计问题，其中的对数似然函数建模与分层高斯过程（GP）代理模型，这是用来有效地选择额外的对数似然评估位置。最近的进展的相关问题的批量贝叶斯优化的动机，我们开发了各种批量顺序的设计策略，允许并行运行一些潜在的昂贵的模拟。我们从理论和经验上分析了所产生的方法的属性。几个玩具问题和仿真模型的实验表明，我们的方法是强大的，高度并行化，样本效率。
2020-03-06 cs.LG stat.CO stat.ME
A Bayesian Critique of Rank-Based Methods for Surrogate Marker Evaluation
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种贝叶斯方法，通过聚焦因果治疗效应估计量来改进替代性标志物评估的统计功效和鲁棒性。
2026-03-15 stat.ME
Robust Surrogate-Based Bayesian Inference via Sampling-Based Adaptive Active Learning (SALE)
University of Toronto（多伦多大学）
针对似然评估成本高、预算有限的场景，提出基于采样的自适应主动学习（SALE）的高斯过程框架，通过序贯设计准则分配评估，在多类基准和实例中降低总变差误差，表现优于多个基线。
2026-08-04 stat.CO stat.ME
Evaluating amyloid-beta as a surrogate endpoint in trials of anti-amyloid drugs in Alzheimer's disease: a Bayesian meta-analysis
本文通过贝叶斯荟萃分析评估Aβ作为阿尔茨海默病抗淀粉样蛋白药物试验中临床功能替代终点的有效性，发现Aβ在整体水平上是CDR-SOB的潜在替代终点，但仅在lecanemab和aducanumab中表现出足够的替代关系。
2025-04-09 stat.AP
Modulating Surrogates for Bayesian Optimization
University of Bristol（布里斯托大学）；Siemens AG（西门子公司）；Technical University of Munich（慕尼黑工业大学）；University of Bath（巴斯大学）；Spotify Research（Spotify研究院）；University of Cambridge（剑桥大学）
贝叶斯优化（BO）方法通常依赖于目标函数行为良好的假设，但在实践中，即使可以收集无噪声观测，对于真实世界的目标也很少如此。通常的方法试图尽可能精确地对目标进行建模，但由于花费了太多的评估来建模不相关的细节，因此往往无法取得进展。我们通过提出代理模型来解决这个问题，该模型专注于目标函数中表现良好的结构，这对于搜索来说是有用的，而忽略了从很少的观察中建模具有挑战性的有害结构。首先，我们证明了具有适当噪声分布的代理模型可以通过将其视为不可约的不确定性来吸收目标函数中具有挑战性的结构。其次，我们表明，一个潜在的高斯过程是一个很好的代理，为此目的，与高斯过程与标准噪声分布。我们在一系列BO基准上进行了大量实验，发现我们的方法在面对具有挑战性的目标函数时提高了可靠性和性能。
2020-09-08 cs.LG stat.ML
A Bayesian neural network approach to Multi-fidelity surrogate modelling
本文提出GPBNN方法，将高斯过程回归与贝叶斯神经网络结合，利用低保真输出仿真器辅助高保真建模，并完整量化预测不确定性，用于分层多保真代理建模。
2023-12-05 math.ST stat.TH
A Surrogate-Assisted Uncertainty-Aware Bayesian Validation Framework and its Application to Coupling Free Flow and Porous-Medium Flow
现有的地球科学模型验证研究往往忽视或部分考虑到观测、模型选择和输入参数的不确定性。在这项工作中，我们开发了一个统计框架，采用完全贝叶斯方法进行定量不确定性感知验证的概率建模技术。验证任务的贝叶斯观点产生了对参考数据的最佳偏差-方差权衡。它为模型验证提供了一个综合的度量标准，其中包括参数和概念的不确定性。此外，代理建模技术，即贝叶斯稀疏多项式混沌扩展，是用来加速计算要求的贝叶斯校准和验证。我们应用这个验证框架进行比较评估模型耦合自由流与多孔介质流。对于这种耦合流动系统，正确选择界面条件和适当的模型参数对于物理上一致的建模和精确的应用数值模拟至关重要。我们开发了一个基准的情况下，使用斯托克斯方程来描述的自由流动，并考虑不同的模型的多孔介质隔室和耦合在流体-多孔界面。这些模型包括一个多孔介质模型，使用达西定律在代表性的基本体积尺度与经典或广义的接口条件和孔隙网络模型与其相关的耦合方法。我们研究了耦合流问题的行为考虑一个基准情况下，孔隙尺度解决模型提供了参考解决方案。与建议的框架，我们进行敏感性分析，量化参数的不确定性，证明每个模型的预测能力，并进行概率模型比较。
2022-06-14 stat.AP
Surrogate-based ABC matches generalized Bayesian inference under specific discrepancy and kernel choices
本文研究 ABC 与 GBI 的理论联系，证明当损失取期望差异且 ABC 采用基于高斯过程的代理模型时，二者后验在特定差异与核选择下相对应。
2025-02-17 stat.ME
Bayesian full waveform inversion with sequential surrogate model refinement
本文提出一种序贯细化代理模型的贝叶斯全波形反演方法，通过从低频到高频逐步扩展带宽并用后验样本迭代重训练代理模型，在二维跨孔GPR合成数据上以降低约两个数量级的计算成本获得优于传统方法的反演精度。
2025-05-06 physics.geo-ph stat.ML
A deep surrogate approach to efficient Bayesian inversion in PDE and integral equation models
University of Bath（巴斯大学）
我们研究了一种深度学习方法，用于在潜在高维参数空间上的偏微分方程（PDE）和积分方程模型中有效地执行贝叶斯推断。本文的贡献是双重的，首先是引入神经网络方法来近似的解决方案的Fredholm和Volterra积分方程的第一和第二类。第二个是开发一种新的、高效的基于深度学习的贝叶斯反演方法，应用于可由偏微分方程或积分方程描述的问题。为了实现这一目标，我们引入了一个代理模型，并演示了如何使有效的抽样贝叶斯后验分布的可能性依赖于偏微分方程或积分方程的解决方案。我们的方法依赖于神经网络的参数解的直接逼近，而不需要传统的数值求解。这种深度学习方法允许在比使用经典离散化方案更高的维度上精确和有效地近似参数解。由于近似解的计算成本较低，因此利用马尔可夫链蒙特卡罗方法求解大参数空间上的贝叶斯反问题是有效的。我们证明了我们的方法的性能，使用两个现实世界的例子，其中包括贝叶斯推理的PDE和积分方程的情况下，从电化学的例子，和贝叶斯推理的函数值的传热参数在航空中的应用。
2021-03-25 cs.LG cs.NA math.NA
Heteroscedastic Neural Surrogate Modeling for Robust and Rapid Bayesian Inference in Fusion Plasma Diagnostics
The University of Tokyo（东京大学）；National Institute for Fusion Science（国立核聚变科学研究所）
本文针对聚变等离子体诊断中MCMC贝叶斯推理的计算瓶颈与噪声敏感性问题，提出双头架构的异方差神经代理框架，实现超1500倍加速且降低20%以上推理误差，为实时物理分析提供新范式。
2026-08-21 cs.LG stat.CO
Surrogate modeling for Bayesian optimization beyond a single Gaussian process
Dept. of Electrical and Computer Engineering, University of Minnesota（明尼苏达大学电子与计算机工程系）
提出一种基于高斯过程集成（EGP）的自适应代理模型，结合汤普森采样（TS）进行贝叶斯优化，以增强表达能力和并行性，并建立了贝叶斯遗憾分析。
2026-05-26 cs.LG stat.ML
Use of copula to model within-study association in bivariate meta-analysis of binomial data at the aggregate level a Bayesian approach and application to surrogate endpoint evaluation
双变量荟萃分析提供了一个有用的框架，用于合并相关研究的信息，并已被用于合并临床研究的证据，以评价两种结局的治疗疗效。它还被用于研究替代终点的处理效应与最终结局之间的替代模式。替代终点在药物开发中发挥重要作用，因为它们可用于与最终结局相比早期测量处理效应，并预测临床获益或危害。标准双变量荟萃分析方法使用双变量正态分布，在研究内和研究间水平上对观察到的治疗对替代药物的影响和最终结局结局进行建模。对于二项分布数据，可以使用对数比值比尺度上的正态近似。然而，当事件比例接近1或0时，该方法可能导致偏倚结果，影响替代终点的验证。在本文中，我们将探讨在原始二项尺度上对这两种结果进行建模。首先，我们提出了一种使用独立二项似然来模拟研究内变异性的方法，避免近似观察到的处理效应。然而，该方法忽略了研究内关联。为了克服这个问题，我们提出了一种方法，使用二元copula与二项式边际，这使得模型能够考虑研究内的关联。我们应用该方法的一个说明性的例子，在慢性粒细胞白血病完全细胞遗传学反应（CCyR）和无事件生存期（EFS）之间的替代关系进行调查。
2022-05-18 stat.AP stat.ME
Bayesian Kernelized Tensor Factorization as Surrogate for Bayesian Optimization
McGill University（麦吉尔大学）
本文提出用贝叶斯核化张量分解（BKTF）作为贝叶斯优化的新代理模型，通过低秩张量 CP 分解和 GP 先验实现跨维度信息共享，在样本和预算受限时对复杂函数提供灵活高效的不确定性量化建模。
2023-05-26 cs.LG stat.ML
Bayesian Surrogate Training on Multiple Data Sources: A Hybrid Modeling Strategy
Cluster of Excellence SimTech（卓越中心SimTech）；University of Stuttgart（斯图加特大学）；Department of Statistics（统计系）；TU Dortmund University（多特蒙德技术大学）
本文提出两种概率方法，整合仿真数据和真实测量数据进行替代训练，通过合成和实际案例展示混合建模策略在提升预测精度和诊断仿真模型问题上的潜力。
2026-05-12 cs.LG stat.ML
Bayesian Deep Convolutional Encoder-Decoder Networks for Surrogate Modeling and Uncertainty Quantification
University of Notre Dame（圣母大学）
我们感兴趣的是开发代理模型，用于不确定性量化和随机偏微分方程控制的问题的传播，使用深度卷积编码器-解码器网络，其方式与深度学习中考虑的图像到图像回归任务的方法类似。由于普通神经网络是数据密集型的，不能提供预测的不确定性，我们提出了一种卷积神经网络的贝叶斯方法。最近引入的基于Stein方法的变分梯度下降算法被扩展到深度卷积网络，以对数百万个不确定的网络参数执行近似贝叶斯推断。与贝叶斯神经网络中的其他方法以及包括高斯过程和集成方法的技术相比，即使当训练数据大小相对较小时，该方法也在预测准确性和不确定性量化方面实现了最先进的性能。为了评估这种方法的性能，我们考虑标准的不确定性量化基准问题，包括在有限的数据驱动的渗透率实现方面定义的非均匀介质中的流动。代理模型开发的性能是非常好的，即使有没有基本的结构之间共享的输入（渗透率）和输出（流量/压力）字段，通常是在计算机视觉问题中使用的图像到图像的回归模型的情况下。研究的基础随机输入维数高达$4,225$，其中大多数其他不确定性量化方法失败。不确定性传播任务被认为是预测输出贝叶斯统计相比，与蒙特卡洛估计。
2018-01-21 cs.CV cs.LG physics.comp-ph
Piecewise Deterministic Markov Processes for Bayesian Inference of PDE Coefficients
Delft University of Technology（代尔夫特理工大学）
本文提出了一种基于分段确定性马尔可夫过程的框架，利用代理模型提升贝叶斯推断效率，特别适用于PDE系数的非线性反问题。
2026-02-05 math.ST stat.AP stat.CO
Surrogate-assisted Bayesian inversion for landscape and basin evolution models
University of New South Wales（新南威尔士大学）；University of Sydney（悉尼大学）；SRM Institute of Science and Technology（SRM科学技术研究所）
景观演化模型的复杂性和计算成本高的性质在未知参数的推断和优化方面提出了重大挑战。贝叶斯推断提供了一种用于未知模型参数的估计和不确定性量化的方法。在我们以前的工作中，我们开发了并行回火贝叶斯作为参数估计和不确定性量化的荒地景观演化模型的框架。并行回火Bayeslands具有高性能计算功能，具有数十个并行运行的处理核心，以提高计算效率。虽然我们使用并行计算，但该过程仍然具有计算挑战性，因为需要绘制和评估数千个样本。\textcolor{black}{In large-scale landscape and basin evolution problems, a single model evaluation can take from several minutes to hours, and in some instances, even days. Surrogate-assisted optimisation has been used for several computationally expensive engineering problems which motivate its use in optimisation and inference of complex geoscientific models.}代理模型的使用可以通过开发计算成本低廉的模型来模拟昂贵的模…
2020-06-27 cs.DC cs.LG cs.NE
Simulation Based Bayesian Optimization
CUNEF Universidad（CUNEF大学）；Middlebury College（Middlebury学院）
针对复杂协变量空间中GPs代理模型的不足，本文提出基于模拟的贝叶斯优化（SBBO）方法，仅需采样访问后验预测分布即可优化采集函数，支持组合空间定制代理模型，经验验证其在组合优化中的有效性。
2025-08-25 cs.LG stat.ML
Generative Bayesian Computation as a Scalable Alternative to Gaussian Process Surrogates
Booth School of Business, University of Chicago（芝加哥大学商学院）；Department of Systems Engineering and Operations Research, George Mason University（乔治·马歇尔大学系统工程与运营管理系）
生成贝叶斯计算通过隐式分位数网络解决高斯过程代理的局限性，在多个基准测试中表现出更高的CRPS和更高效的扩展能力。
2026-02-24 cs.LG stat.AP stat.CO
BITS for GAPS: Bayesian Information-Theoretic Sampling for hierarchical GAussian Process Surrogates
Department of Chemical and Biomolecular Engineering, University of Notre Dame, Notre Dame, IN 46556, USA（化学与生物分子工程系，诺特大学）
提出BITS for GAPS框架，通过贝叶斯层次建模将超参数不确定性传播到采样准则中，实现基于高斯过程代理模型的信息论实验设计，并在汽液平衡案例中验证其提升预测精度和信息增益的效果。
2026-03-23 cs.LG stat.ML
LazyDINO: Fast, scalable, and efficiently amortized Bayesian inversion via structure-exploiting and surrogate-driven measure transport
California Institute of Technology（加州理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Massachusetts Institute of Technology（麻省理工学院）
LazyDINO 利用导数感知神经代理与惰性映射变分推断，在昂贵 PtO 映射的高维贝叶斯反演中实现高效摊销，以极低离线样本成本超越拉普拉斯近似等现有方法。
2024-11-19 cs.LG cs.NA math.NA
Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration
University of Chicago（芝加哥大学）
本文提出基于随机探索步骤的贝叶斯优化算法，加速高斯过程代理模型收敛，并用于后验近似，在多个基准和实际问题中验证了有效性。
2024-07-17 cs.LG cs.NA math.NA
Misclassification excess risk bounds for PAC-Bayesian classification via convexified loss
Norwegian University of Science and Technology（挪威科技大学）
针对现有PAC-贝叶斯界多针对凸替代损失的局限，本研究利用期望型PAC-贝叶斯相对界，推导了使用凸替代损失时PAC-贝叶斯分类的误分类超额风险界，并在多个重要应用中验证了方法有效性。
2024-08-16 cs.LG stat.ML
Integration of Active Learning and MCMC Sampling for Efficient Bayesian Calibration of Mechanical Properties
本文系统比较了代理建模与MCMC算法选择对贝叶斯校准精度和效率的影响，提出基于MCMC路径的主动学习策略，并指出正向模型而非MCMC算法是推断过程的主要瓶颈。
2024-11-21 physics.comp-ph stat.AP stat.ML
Gaussian process surrogates for failure detection: a Bayesian experimental design approach
Shanghai Jiao Tong University（上海交通大学）；Purdue University（普渡大学）
本文提出利用高斯过程代理进行故障检测和概率估计，针对高成本计算机模型，采用贝叶斯实验设计优化采样点，提高故障边界推断效率与准确性。
2015-09-11 cs.NA math.NA math.PR
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）
贝叶斯优化（BO）是寻找黑箱函数全局最优解的一种有效方法。最近，BO已被应用于神经结构搜索，并显示出比纯进化策略更好的性能。这些方法都采用高斯过程（GP）作为代理函数，以手工相似性度量作为输入。在这项工作中，我们提出了一个贝叶斯图神经网络作为一个新的代理，它可以自动从深度神经架构中提取特征，并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理，我们开发了一个图贝叶斯优化框架，以解决深度神经架构搜索的挑战性任务。实验结果表明，我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Asynchronous ε-Greedy Bayesian Optimisation
University of Exeter（埃克塞特大学）
批量贝叶斯优化（BO）是一种成功的技术，用于优化昂贵的黑盒函数。异步BO可以通过在另一个评估完成后立即开始新的评估来减少挂钟时间，从而最大限度地利用资源。为了最大限度地提高资源分配，我们开发了一种新的异步BO方法，AEGiS（异步$ε$ -贪婪的全球搜索），结合贪婪的搜索，利用代理的平均预测，汤普森采样和随机选择近似帕累托集描述剥削（代理平均预测）和探索（代理后验方差）之间的权衡。我们实证证明了AEGiS在合成基准问题，元代理超参数调整问题和现实世界的问题上的功效，表明AEGiS通常优于异步BO的现有方法。当单个工作者可用时，性能不会比使用预期改进的BO差。
2021-06-11 cs.AI cs.LG stat.ML
Health improvement framework for planning actionable treatment process using surrogate Bayesian model
Kyowa Hakko Bio Co., Ltd.（协和发酵生物株式会社）；Kyoto University（京都大学）；Hirosaki University（弘前大学）
基于个人特征的治疗临床决策导致有效的健康改善。机器学习（ML）已经成为根据综合患者信息进行诊断支持的主要关注点。然而，剩下的突出问题是在临床情况下的客观治疗过程的发展。本研究提出了一种新的框架，以数据驱动的方式规划治疗过程。该框架的一个关键点是通过使用替代贝叶斯模型以及高性能非线性ML模型来评估个人健康改善的“可操作性”。我们首先从使用合成数据集的方法论角度评估了该框架。随后，该框架被应用于包括来自3，132名参与者的数据的实际健康检查数据集，以改善个人水平的收缩压值。我们证实，计算的治疗过程是可行的，并与降低血压的临床知识一致。这些结果表明，我们的框架可以促进医疗领域的决策，为临床医生提供更深入的见解。
2020-11-13 cs.AI cs.LG stat.ML
Adaptive construction of surrogates for the Bayesian solution of inverse problems
Institute of Natural Sciences, Shanghai Jiaotong University（上海交通大学自然科学研究院）；Department of Aeronautics and Astronautics, Massachusetts Institute of Technology（麻省理工学院航空航天系）
本文提出自适应构造多项式近似模型的方法，用于加速贝叶斯逆问题求解，通过随机优化在数据驱动的度量下构建准确代理模型，提升效率和精度。
2013-09-21 cs.NA math.NA stat.CO
A Simple Approximate Bayesian Inference Neural Surrogate for Stochastic Petri Net Models
School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学）；School of Mathematical and Statistical Sciences, Arizona State University（数学与统计科学学院，亚利桑那州立大学）；School of Life Sciences, Arizona State University（生命科学学院，亚利桑那州立大学）
本文提出一种神经替代模型，用于快速准确地恢复随机Petri网模型中依赖外部协变量的速率函数系数，通过端到端训练和蒙特卡洛dropout实现高效参数估计。
2025-12-07 cs.LG q-bio.QM stat.ML
Bayesian model calibration for diblock copolymer thin film self-assembly using power spectrum of microscopy data and machine learning surrogate
本文提出了一种针对二嵌段共聚物薄膜自组装形态预测的贝叶斯模型校准方法，利用显微数据的方位角平均功率谱（AAPS）进行降维并保留关键信息，结合相信息先验分布和多层感知器代理模型加速推断，使单次校准的模型模拟次数减少五倍。
2023-08-04 cond-mat.mtrl-sci cs.NA math.NA
Monte Carlo Approximation of Bayes Factors via Mixing with Surrogate Distributions
通过将目标后验分布与一个归一化常数易处理的替代分布混合，提出了一种利用Wang-Landau算法估计边缘似然的方法。我们表明，所提出的方法可以通过动量加速实现更快的收敛。详细介绍了两种实现策略：（i）通过Multiple-try Metropolis促进后验分布和代理分布之间的全局跳跃;（ii）通过变分近似构造代理。在代理难以获得的情况下，提出了一种新的一般可逆跳马尔可夫链蒙特卡罗算法的跳机制，该机制结合了多尝试Metropolis算法和方向采样算法.我们说明了几个统计模型，包括对数高斯Cox过程，贝叶斯套索，逻辑斯谛回归，和g-先验贝叶斯变量选择所提出的方法。
2020-12-16 stat.CO stat.ME
Limitations of polynomial chaos expansions in the Bayesian solution of inverse problems
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Department of Mathematics University of California, Berkeley（加州大学伯克利分校数学系）；Department of Mathematics University of Kansas（堪萨斯大学数学系）
研究指出多项式混沌展开在数据信息超出先验假设时会导致后验估计不准确，需适应性增加多项式阶数以提高精度，但成本可能过高。
2014-10-24 cs.NA math.NA stat.CO
Fast Hyperparameter Optimization of Deep Neural Networks via Ensembling Multiple Surrogates
深度神经网络的性能关键取决于良好的超参数配置。贝叶斯优化是优化DNN超参数的强大框架。这些方法需要足够的评估数据来近似和最小化超参数的验证误差函数。然而，DNN昂贵的评估成本导致在有限的时间内评估数据很少，这大大降低了贝叶斯优化的效率。此外，以往的研究主要集中在使用完整的评估数据进行贝叶斯优化，而忽略了早期停止方法产生的中间评估数据。为了缓解评估数据不足的问题，我们提出了一种快速超参数优化方法HOIST，该方法利用完整和中间评估数据来加速DNN的超参数优化。具体来说，我们训练多个基本代理人收集信息的混合评估数据，然后结合所有的基本代理人使用加权装袋提供一个准确的合奏代理。我们的实证研究表明，HOIST在广泛的DNN上优于最先进的方法，包括前馈神经网络、卷积神经网络、递归神经网络和变分自编码器。
2021-07-21 cs.LG stat.ML
