Accelerating ABC methods using Gaussian processes
近似贝叶斯计算（ABC）方法用于使用模拟而不是似然计算来近似后验分布。我们引入高斯过程（GP）加速ABC，我们表明，它可以显着减少所需的模拟次数。由于计算资源通常是ABC中精度的主要决定因素，因此GP加速方法可以在某些模型中实现更精确的推理。未知对数似然函数的GP模型用于利用连续性和平滑性，减少所需的计算。我们使用了一系列的模型，提高了准确性，使用中间模型，以排除区域的参数空间是不可信的。这些方法并不适用于所有问题，但当它们可以使用时，可以节省大量的计算。对于Ricker模型，我们能够实现精确的近似的后验分布使用的因素比可比的蒙特卡罗方法少100模拟器评估，并为人口遗传学模型，我们能够近似精确的后验的第一次。
2014-02-23 stat.CO stat.ML
Robust Neural Posterior Estimation and Statistical Model Criticism
Bristol University（布里斯托大学）；Improbable（Improbable公司）；Durham University（杜伦大学）
计算机模拟已被证明是理解跨学科复杂现象的宝贵工具。然而，模拟器用于建模和预测目的的效用往往受到低数据质量以及模型保真度的实际限制的限制。为了规避这些困难，我们认为，建模者必须把模拟器作为真实数据生成过程的理想化表示，因此应该深思熟虑地考虑模型错误指定的风险。在这项工作中，我们重新审视神经后验估计（NPE），一类算法，使黑盒参数推断仿真模型，并考虑模拟现实差距的影响。虽然最近的工作已经证明了这些方法的可靠性能，分析已经使用模拟器模型本身生成的合成数据进行，因此只解决了指定的情况。在本文中，我们发现，相比之下，当天真地使用NPE时，错误指定的存在会导致不可靠的推理。作为一种补救措施，我们认为，原则性的科学调查与模拟器应纳入模型的批评组件，以促进可解释的识别错误和强大的推理组件，以适应“错误但有用的”模型。我们提出了鲁棒神经后验估计（RNPE），NPE的扩展，同时实现这两个目标，通过明确建模模拟和观测数据之间的差异。我们评估了一系列人为错误指定的例子的方法，并发现RNPE在整个任务中表现良好，而天真地使用NPE会导致误导和不稳定的后验。
2022-10-12 cs.LG stat.ME stat.ML
Accelerating Approximate Bayesian Computation with Quantile Regression: Application to Cosmological Redshift Distributions
近似贝叶斯计算（ABC）是一种不使用似然函数，使用模拟和一组距离度量来获得后验分布的方法。因此，它最近作为宇宙学和天体物理学的分析工具越来越受欢迎。然而，它的缺点是收敛速度慢。我们提出了一种新的方法，我们称之为qABC，加速ABC分位数回归。在这种方法中，我们创建了一个模型的分位数的距离测量作为输入参数的函数。该模型在少量模拟上进行训练，并估计先验空间的哪些区域可能被接受到后验中。其他区域则立即被拒绝。然后，随着更多的模拟可用，重复该过程。我们将其应用到宇宙学样本的红移分布估计的实际问题，使用前向建模在以前的工作。qABC方法收敛到与基本ABC几乎相同的后验。然而，与基本ABC相比，它只使用了20%的模拟次数，为我们的问题实现了五倍的执行时间增益。对于其他问题，加速率可能会有所不同;这取决于先验与最终后验的接近程度。我们讨论了这种方法可能的改进和扩展。
2017-07-25 astro-ph.CO stat.ML
Generalized Posteriors in Approximate Bayesian Computation
复杂模拟器已经成为许多科学学科中无处不在的工具，为自然和社会现象提供高保真、隐式的概率模型。不幸的是，它们通常缺乏常规统计分析所需的易处理性。近似贝叶斯计算（ABC）已经成为基于模拟的推理中的关键方法，其中真实模型的似然性和后验是使用来自模拟器的样本来近似的。在本文中，我们绘制ABC和广义贝叶斯推断（GBI）之间的联系。首先，我们将ABC中的接受/拒绝步骤重新解释为隐式定义的错误模型。然后，我们认为，这些隐式误差模型将不可避免地被错误指定。虽然ABC后验通常被视为近似标准贝叶斯后验的必要之恶，但这允许我们将ABC重新解释为潜在的鲁棒化策略。这使我们建议在ABC中使用GBI，这是我们根据经验探索的一个用例。
2021-02-23 stat.CO stat.ME stat.ML
Accelerating Posterior sampling for Scalable Gaussian Process model
本文通过模拟研究评估了多种加速共轭梯度法的技术，发现对角预条件子和cgsparse在高维空间贝叶斯计算中表现稳健，为实践者选择合适计算技术提供了指导。
2025-05-04 stat.CO
Active Sequential Posterior Estimation for Sample-Efficient Simulation-Based Inference
Google Research（谷歌研究院）；HEC Montréal（蒙特利尔高等商学院）
针对基于模拟的推断存在样本需求大、难扩展至高维场景的问题，提出主动序贯神经后验估计方法，通过主动学习评估参数效用，以低开销提升样本效率，在交通等高维场景及SBI基准上均优于现有方法。
2024-12-07 cs.LG stat.ML
Scalable Diffusion SBI for Compositional Inference under Simulator Misspecification
University of California, Irvine（加利福尼亚大学尔湾分校）
针对模拟器误设下的组合推断，提出可扩展扩散SBI方法，包括组合采样、分层块状采样和路径正则化微调，并在基准和生物模型上验证了有效性。
2026-09-30 cs.LG q-bio.QM stat.ML
Amortized Bayesian Decision Making for simulation-based models
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（图宾根人工智能中心）；University of Tübingen（图宾根大学）
针对基于仿真的推理后验近似粗糙导致决策次优的问题，提出用神经网络直接预测期望成本的摊销贝叶斯决策方法，在基准和医学仿真任务中均实现接近真实后验的低成本决策。
2023-12-18 cs.AI cs.LG stat.ML
Accelerating pseudo-marginal Metropolis-Hastings by correlating auxiliary variables
伪边缘Metropolis-Hastings（pmMH）是一种用于模型中的贝叶斯推断的强大方法，其中后验分布是分析上难以处理的或直接评估计算上昂贵的。它通过在模型中引入额外的辅助变量来运行，并形成扩展的目标分布，然后可以逐点评估。在许多情况下，标准的Metropolis-Hastings然后应用于从扩展的目标中采样，并且可以通过边缘化来获得所寻求的后验。然而，在一些实现中，这种方法遭受不良混合，因为辅助变量是从独立建议中采样的。我们提出了一个修改的pmMH算法中，一个Crank-Nicolson（CN）的建议，而不是使用。这导致我们在辅助变量中引入正相关。我们研究如何调整CN的建议和它的混合所产生的PMMH采样器的影响。结论是，所提出的修改可以有一个有益的影响，混合的马尔可夫链和计算成本的pmMH算法的每次迭代。
2015-11-17 stat.CO stat.ML
Neural posterior inference with state-space models for calibrating ice sheet simulators
Australian National University（澳大利亚国立大学）；University of Wollongong（伍伦贡大学）；University of New South Wales（新南威尔士大学）；Monash University（蒙纳士大学）
本研究提出利用神经后验推断和状态空间模型，以更准确地校准冰盖模拟器的参数和状态。
2026-10-12 stat.AP
Automatic Posterior Transformation for Likelihood-Free Inference
Technical University of Munich（慕尼黑工业大学）
如何在具有棘手似然性的随机模拟器上执行贝叶斯推理？最近的一种方法是使用基于神经网络的条件密度估计器从自适应提出的模拟中学习后验。然而，现有的方法限于一个狭窄的范围内的建议分布或需要重要性加权，可以限制在实践中的性能。在这里，我们提出了自动后验变换（APT），一个新的顺序神经后验估计方法，基于模拟的推理。APT可以使用任意的、动态更新的建议来修改后验估计，并且与强大的基于流的密度估计器兼容。它比以前的基于仿真的推理技术更灵活，可扩展性和效率。APT可以直接对高维时间序列和图像数据进行操作，为无似然推理开辟了新的应用。
2019-05-17 cs.LG stat.ML
Truncated Marginal Neural Ratio Estimation
University of Amsterdam（阿姆斯特丹大学）；University of Liège（列日大学）
参数随机模拟器在科学中无处不在，通常具有高维输入参数和/或难以处理的可能性。在这种情况下执行贝叶斯参数推断可能具有挑战性。我们提出了一个基于神经模拟的推理算法，同时提供模拟效率和快速的经验后验可测性，这是现代算法中唯一的。我们的方法是模拟效率，同时估计低维的边缘后验，而不是联合后验，并通过提出模拟目标的观察感兴趣的通过事先适当截断的指标函数。此外，通过估计局部摊销后，我们的算法使有效的经验测试的推理结果的鲁棒性。由于科学家无法获得基本事实，这些测试对于在现实世界中的应用中信任推理是必要的。我们进行实验的边缘化版本的基于模拟的推理基准和两个复杂的和狭窄的后验，突出了我们的算法的模拟器效率以及估计的边缘后验的质量。
2021-10-26 astro-ph.IM cs.LG hep-ph
Causal Posterior Estimation
Swiss Data Science Center, ETH Zurich, Switzerland（瑞士数据科学中心，苏黎世联邦理工学院，瑞士）
提出因果后验估计（CPE）方法，通过将图模型的条件依赖结构纳入归一化流神经网络，实现模拟器模型的高精度贝叶斯后验推断，性能优于或匹配现有最先进方法。
2026-10-08 cs.LG stat.ML
Deep Bayesian Active Learning for Accelerating Stochastic Simulation
University of California, San Diego（加州大学圣地亚哥分校）；Northeastern University（东北大学）
本文提出深度贝叶斯主动学习框架INP，通过STNP代理模型与潜在空间采集函数LIG加速随机模拟，并在理论和三类时空仿真器上验证其优势。
2023-06-05 cs.LG stat.ML
Multifidelity Simulation-based Inference for Computationally Expensive Simulators
Department of Computer Science, KU Leuven（KU莱文大学计算机科学系）；VIB Center for AI and Computational Biology (VIB.AI)（VIB人工智能与计算生物学中心）；VIB-KU Leuven Center for Neuroscience（VIB-KU莱文神经科学中心）；Gatsby Computational Neuroscience Unit, UCL（Gatsby计算神经科学单元，UCL）；Machine Learning in Science, University of Tübingen（科学机器学习，图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；Max Planck Institute for Biological Intelligence, Martinsried（生物智能马克斯·普朗克研究所，马尔茨里德）；Department of Electrical Engineering, KU Leuven（KU莱文电子工程系）
本文提出了一种多保真度方法，利用迁移学习高效推断高保真度模拟器参数，通过序列变体提升模拟效率，在基准和神经科学任务中减少高保真度模拟次数达两个数量级。
2026-03-19 cs.LG stat.ML
Generalized Bayesian Inference for Scientific Simulators via Amortized Cost Estimation
Tübingen AI Center（图宾根人工智能中心）；Machine Learning in Science, Excellence Cluster Machine Learning, University of Tübingen（图宾根大学机器学习卓越集群科学机器学习系）；Department Empirical Inference, Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所经验推断系）
本文提出摊还代价估计ACE，用神经网络学习参数模拟与观测间的期望代价并结合MCMC，实现误设科学模拟器的稳健、免重复模拟广义贝叶斯推断。
2023-11-02 cs.LG stat.ML
A review of Approximate Bayesian Computation methods via density estimation: inference for simulator-models
本文通过密度估计的视角，综述了进行贝叶斯后验推理的近似贝叶斯计算（ABC）方法。我们描述了几个最近的算法，并与传统的方法。我们展示了基于参数化方法的模型的优点和局限性，然后我们提请注意机器学习的发展，我们认为这有可能使ABC可扩展到更高的维度，并可能是未来的研究方向在这一领域。
2019-09-06 stat.CO stat.ME
Probabilistic Surrogate Networks for Simulators with Unbounded Randomness
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI Ltd.（Inverted AI有限公司）；University of Oxford（牛津大学）；Convergent Manufacturing Technologies Inc.（Convergent制造技术公司）；Mila（米拉）
我们提出了一个自动构建和训练快速，近似，深度神经代理随机模拟器的框架。与传统的代理建模方法不同，我们的代理保留了参考模拟器的可解释结构和控制流。我们的代理目标随机模拟器，其中随机变量的数量本身可以是随机的，并且可能是无界的。我们的框架进一步实现了自动替换的参考模拟器与代理进行摊销推理时。我们的代理人的保真度和速度允许更快的随机模拟和准确和更快的后验推理。使用一个说明性的，但不平凡的例子，我们展示了我们的代理人的能力，准确地建模的概率程序与无限数量的随机变量。然后，我们继续一个例子，表明我们的代理人能够准确地模拟一个复杂的结构，如一个程序合成的例子中的无界堆栈。我们进一步展示了我们的代理建模技术如何在复杂的黑盒模拟器中更快地进行摊销推理。具体来说，我们进行基于模拟器的材料质量测试，推断出固化过程中复合材料的安全关键潜在内部温度曲线。
2023-01-21 cs.LG stat.ML
A Generalized Polynomial Chaos-Based Method for Efficient Bayesian Calibration of Uncertain Computational Models
本文讨论了动态模型的参数和结构的不确定性，特别是当不确定参数是未知的/知之甚少的时空变化的子系统模型的贝叶斯校准。具有不确定超参数的独立平稳高斯过程描述了模型结构和参数的不确定性，而Karhunnen-Loeve展开被用来谱表示这些高斯过程。将先验高斯过程的Karhunnen-Loeve展开投影到广义多项式混沌的基础上，而利用侵入式Galerkin投影计算模拟器输出的相关系数。贝叶斯推断用于更新广义多项式混沌基的先验概率分布，其与混沌展开系数一起表示后验概率分布。识别量化模拟器模型的可信度的后验分布的参数。所提出的方法被证明是校准的模拟器的准一维流动通过扩张喷嘴。
2012-11-01 math.PR stat.CO
Response probability distribution estimation of expensive computer simulators: A Bayesian active learning perspective using Gaussian process regression
本文提出基于高斯过程回归的贝叶斯主动学习方法，通过后验统计量设计停止准则和学习函数，高效且高精度地估计昂贵计算机模拟器的响应概率分布。
2024-08-31 stat.CO
Accelerating Non-Conjugate Gaussian Processes By Trading Off Computation For Uncertainty
University of Tübingen（蒂宾根大学）；Columbia University（哥伦比亚大学）
针对非共轭高斯过程（NCGPs）在大型数据集上精确推断成本过高的问题，提出一类显式建模近似误差的迭代方法，该方法适配并行硬件、高效回收计算并压缩信息，在大规模分类任务中显著加速后验推断。
2025-04-17 cs.LG stat.ML
A Review of Diffusion-based Simulation-Based Inference: Foundations and Applications in Non-Ideal Data Scenarios
Department of Mathematics, Emory University, Atlanta, GA 30327, USA（埃默里大学数学系，亚特兰大，GA 30327，USA）
本文综述了基于扩散的模拟推理方法，探讨其在模型不准确、观测不结构化及缺失数据等非理想数据场景下的鲁棒性与应用。
2026-04-14 cs.LG math.PR stat.ML
Misspecification-robust amortised simulation-based inference using variational methods
Institute of Astronomy, University of Cambridge（天文研究所，剑桥大学）；Statistical Laboratory, University of Cambridge（统计实验室，剑桥大学）；Kavli Institute for Cosmology, University of Cambridge（宇宙学研究所，剑桥大学）；Institute of Astrophysics, FORTH（天体物理学研究所，福蒂斯研究所）
本文提出了一种基于变分方法的抗规格错误的amortised模拟推断方法，通过弥合模拟与现实的差距，实现鲁棒的后验推断。
2025-12-16 astro-ph.GA cs.LG stat.ML
Amortized Simulation-Based Inference in Generalized Bayes via Neural Posterior Estimation
Department of Statistics, University of Oxford, Oxford, United Kingdom（英国牛津大学统计系）；Department of Statistics, University of Auckland, Auckland, New Zealand（新西兰奥克兰大学统计系）
提出一种通过训练单一数据与β条件神经后验估计器来摊销广义贝叶斯推理中温度参数β的方法，无需模拟器调用或推理时MCMC，实现单次前向传播采样。
2026-05-22 cs.LG stat.ML
Sequential Neural Score Estimation: Likelihood-Free Inference with Conditional Score Based Diffusion Models
Lancaster University（兰开斯特大学）；University of Bristol（布里斯托尔大学）
提出序贯神经后验分数估计（SNPSE）方法，利用条件分数扩散模型直接估计后验分数生成样本，通过序贯训练指导模拟以降低成本，在数值实验中表现优于或可比SNPE等现有方法。
2024-06-03 cs.LG stat.ML
Accelerating Bayesian inference in hydrological modeling with a mechanistic emulator
与许多动态建模领域一样，水文模型的长运行时间阻碍了从数据中进行模型参数的贝叶斯推断。通过将模型替换为输出的近似值作为输入和/或参数的函数，仿真允许我们通过权衡速度的准确性来完成这项任务。我们结合（i）使用一个机械仿真器，（ii）低差异采样的参数空间，和（iii）迭代细化的设计数据集，执行贝叶斯推断与一个非常小的设计数据集，128个模型运行在一个参数空间的8个维度。在我们的教学示例中，我们使用水文模拟器SWMM实现的模型，该模型允许我们将我们的推理结果与完整模型得出的结果进行比较。这种比较表明，迭代改进导致合理的结果与一个非常小的设计数据集。
2019-10-07 stat.ME
Bayesian surrogate learning in dynamic simulator-based regression problems
Cavendish Laboratory, University of Cambridge（剑桥大学卡文迪许实验室）；University of Cambridge（剑桥大学）；Cavendish Laboratory（卡文迪许实验室）
对物理系统的未知参数值（或隐变量、控制变量）的估计通常依赖于当参数值变化时测量数据与由系统的某些数值模拟器产生的合成数据的比较。该过程通常遇到两个主要困难：如果系统模型复杂，则针对每个所考虑的参数值集合生成合成数据可能在计算上是昂贵的;以及参数空间的探索可能是低效的和/或不完整的，典型的示例是当探索变得陷入表征测量数据与合成数据之间的失配的目标函数的局部最优时。提出了一种解决这两个问题的方法，其中：一个代理模型（或代理），它模拟计算昂贵的系统模拟器，使用深度递归网络（DRN）构建;和一个嵌套采样（NS）算法进行有效和强大的探索的参数空间。分析是在贝叶斯的背景下进行的，其中的样本的参数，从参数估计和不确定性很容易得出的完整的联合后验分布。所提出的方法与传统的方法相比，在一些数值例子中，结果表明，一个可以加快参数估计过程至少一个数量级。
2019-01-25 cs.LG stat.ML
Compositional Score Modeling for Simulation-based Inference
DeepMind（深度思维）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文提出基于条件得分建模的新方法，结合神经后验与神经似然估计的优点，实现样本高效且支持多观测聚合的基于仿真的推断。
2023-07-09 cs.LG stat.ML
Likelihood-informed dimension reduction across tempered Bayesian posteriors
KU Leuven（荷语鲁汶大学）；California Institute of Technology（加州理工学院）
本文提出了一种通用的方法，用于在温控贝叶斯后验中进行似然信息维度约简，通过理论支持构建部分信息空间并改进在数据有限和噪声大的实际应用中的性能。
2026-05-20 cs.NA math.NA stat.CO
Exploiting Gradients in Bayesian Inference of Expensive Simulators
Czech Technical University in Prague（布拉格捷克技术大学）；Institute of Plasma Physics of the Czech Academy of Sciences（捷克科学院等离子体物理研究所）
本文将梯度信息融入高斯过程代理，在有限模拟预算下加速昂贵模拟器的贝叶斯推理，反向模式微分下效率提升显著，适用于参数数超输出维度的场景。
2026-10-09 cs.LG stat.ML
Etalumis: Bringing Probabilistic Programming to Scientific Simulators at Scale
University of Oxford（牛津大学）；Intel Corporation（英特尔公司）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；CERN（欧洲核子研究组织）；University of British Columbia（不列颠哥伦比亚大学）；University of Liège（列日大学）；New York University（纽约大学）
概率程序设计语言（Probably Programming Language，PPL）在复杂的生成模型中进行贝叶斯推理正受到广泛关注。然而，由于在PPL中重写复杂的科学模拟器的不切实际性、推理的计算成本以及缺乏可扩展的实现，科学应用仍然有限。为了解决这些问题，我们提出了一种新型的PPL框架，该框架通过跨平台概率执行协议直接耦合到现有的科学模拟器，并提供马尔可夫链蒙特卡罗（MCMC）和基于深度学习的推理编译（IC）引擎，以实现易于处理的推理。为了指导IC推理，我们在Cori超级计算机的1，024个32核CPU节点上使用基于PyTorch-MPI的框架对动态3DCNN-LSTM架构进行分布式训练，全局minibatch大小为128k：通过增强PyTorch实现450 Tflop/s的性能。我们展示了一个大型强子对撞机（LHC）的用例与C++夏尔巴模拟器，并实现了最大规模的后验推理图灵完备的PPL。
2019-08-27 cs.LG cs.PF stat.ML
GP-select: Accelerating EM using adaptive subspace preselection
Technical University Berlin（柏林工业大学）；University College London（伦敦大学学院）；Amazon Development Center（亚马逊开发中心）；University of Sheffield（谢菲尔德大学）；University of Oldenburg（奥尔登堡大学）
我们提出了一个非参数的过程，以实现快速推理生成图形模型时，潜在状态的数量是非常大的。该方法基于迭代潜变量预选，其中我们交替学习“选择函数”以揭示相关的潜变量，并使用该函数获得EM的后验分布的紧凑近似;这可以使得可能的潜在状态的数量是潜在变量的数量的指数，而精确的方法在计算上是不可行的。通过高斯过程回归，我们完全从观测数据和当前EM状态中学习选择函数。这与早期的方法形成对比，在早期的方法中，选择函数是为每个问题设置手动设计的。我们表明，我们的方法在各种各样的推理问题上表现得与这些定制的选择函数一样好：特别是，对于具有遮挡的对象定位分层模型的挑战性情况，我们以低得多的计算成本实现了与定制的最先进的选择方法相匹配的结果。
2016-07-17 cs.LG stat.ML
Emulating complex dynamical simulators with random Fourier features
本文提出基于高斯过程仿真数值流映射，并利用随机傅里叶特征近似生成后验样本，以高效预测复杂动力模拟器的时间序列及其不确定性，在Lorenz和van der Pol等模型上验证了良好性能。
2024-11-25 stat.AP stat.ME
Generalized Bayesian Likelihood-Free Inference
提出基于评分规则的广义贝叶斯无似然推断后验，利用能量和核SRs实现一致性与鲁棒性，通过PM-MCMC或SG-MCMC进行推断，在标准基准与气象动力系统中表现优异。
2023-04-30 stat.CO stat.ME
Fast and Accurate Emulation of Complex Dynamic Simulators
本文提出一种基于高斯过程和单步前向框架的快速精确动态模拟器仿真方法，通过链接GP实现后验均值和方差的精确计算，避免了昂贵的蒙特卡洛近似，大幅提升计算效率并保持预测精度。
2025-08-11 stat.CO
PriorGuide: Test-Time Prior Adaptation for Simulation-Based Inference
Department of Computer Science, University of Helsinki, Finland（赫尔辛基大学计算机科学系，芬兰）；ELLIS Institute Finland（芬兰ELLIS研究所）；Department of Computer Science, Aalto University, Finland（芬兰阿尔托大学计算机科学系）
PriorGuide通过在测试阶段灵活调整训练好的扩散模型先验分布，提升模拟推理的适应性与实用性。
2026-04-20 cs.LG stat.ML
Attention for Inference Compilation
University of British Columbia（不列颠哥伦比亚大学）；University of Oxford（牛津大学）
我们提出了一种新的方法来自动摊销推理的通用概率程序，提高性能相比，目前的方法。我们的方法是推理编译（IC）的一种变体，它利用深度神经网络来近似概率程序中潜在变量的后验分布。现有IC网络架构的一个挑战是，它们可能无法对潜在变量之间的长期依赖关系进行建模。为了解决这个问题，我们引入了一个注意力机制，出席了最突出的变量，以前在执行概率程序。我们证明了注意力的加入可以使提案分布更好地匹配真实的后验分布，从而增强对模拟器中潜在变量的推断。
2019-10-25 cs.LG stat.ML
Likelihood-Free Adaptive Bayesian Inference via Nonparametric Distribution Matching
Stanford University（斯坦福大学）
本文提出自适应贝叶斯推断（ABI）框架，通过边缘增广切片Wasserstein距离将后验分布比较转化为一维条件分位数回归，并结合自适应拒绝采样迭代细化后验近似，在高维和相依观测场景下显著优于现有免似然方法。
2025-05-07 cs.LG stat.CO stat.ME
Generative Bayesian Inference with GANs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Chicago（芝加哥大学）
本文提出了一种基于GANs的贝叶斯推断方法，通过对抗性优化直接目标后验，并结合数据驱动提议和变分贝叶斯进行后处理，实验证明其在模拟数据中表现优异。
2026-02-16 stat.CO stat.ME stat.ML
GATSBI: Generative Adversarial Training for Simulation-Based Inference
University of Tübingen（图宾根大学）；TU Munich（慕尼黑工业大学）；Helmholtz Centre Hereon（亥姆霍兹Hereon中心）
基于仿真的推断（SBI）是指对随机模型的统计推断，我们可以为其生成样本，但不能计算似然性。像SBI算法一样，生成对抗网络（GANs）不需要显式的似然性。研究了SBI与GANs之间的关系，介绍了一种对抗SBI的方法GATSBI。GATSBI在对抗环境中重新制定变分目标，以学习隐式后验分布。与GATSBI的推断是摊销的观察，工程在高维后空间，并支持隐式先验。我们评估GATSBI的两个SBI基准问题和两个高维模拟器。在浅水水体表面的波传播模型，我们表明，GATSBI可以返回校准后的估计，即使在高维度。在相机光学模型上，它推断出一个高维度的后验，给出了一个隐式的先验，并表现得比一个国家的最先进的SBI方法。我们还展示了如何GATSBI可以扩展到执行顺序后验估计，专注于个人的意见。总的来说，GATSBI为利用GANs的进步在基于高维仿真的模型上执行贝叶斯推断提供了机会。
2022-03-12 cs.LG stat.ME stat.ML
Integrating hyper-parameter uncertainties in a multi-fidelity Bayesian model for the estimation of a probability of failure
多保真度仿真器是一种数值模型，其中一个输入控制仿真的真实性和计算成本之间的权衡。我们的目标是估计概率超过一个给定的阈值上的多保真度随机模拟器。我们提出了一种基于高斯过程的完全贝叶斯方法来计算该概率的后验概率分布。我们特别注意模型的超参数。我们的方法说明了一个学术的例子。
2017-09-20 stat.CO stat.ME
Approximate Bayesian Computation via Classification
近似贝叶斯计算（ABC）在基于模拟器的模型中启用统计推断，这些模型的似然性难以计算但易于模拟。ABC通过比较真实数据和模拟数据的汇总统计量的接受/拒绝机制构建了后验分布的核型近似。为了验证汇总统计量的必要性，我们直接将经验分布与通过对比学习获得的Kullback-Leibler（KL）散度估计进行比较。特别是，我们在ABC中混合了灵活的机器学习分类器，以自动进行假/真数据比较。我们认为传统的接受/拒绝内核以及指数加权计划，不需要ABC的接受阈值。我们的理论结果表明，我们的ABC后验分布集中在真实参数的速度取决于分类器的估计误差。我们得出限制后的形状结果，并发现，与适当缩放的指数内核，渐近正态性。我们证明了我们的方法的有用性模拟的例子，以及在股票波动率估计的背景下，真实的数据。
2022-11-30 stat.ME stat.ML
G-Sim: Generative Simulations with Large Language Models and Gradient-Free Calibration
University of Cambridge（剑桥大学）
针对模拟器泛化差及 LLM 模拟不准确的问题，本文提出 G-Sim 混合框架，结合 LLM 因果结构设计与无似然、无梯度校准，生成可靠的因果模拟器。
2025-06-10 cs.LG stat.ML
Flow Matching Calibration for Simulation-Based Inference under Model Misspecification
Institut national de physique de la matière (CNRS UMR 7586)（物质物理国家研究院（CNRS UMR 7586））
针对基于模拟推断中模型误设定导致的偏差，提出流匹配校正后验估计方法，通过少量校准样本利用流匹配范式修正后验估计器，提高推断准确性和不确定性量化。
2026-06-03 cs.LG stat.ML
Minimum Distance Summaries for Robust Neural Posterior Estimation
University of Cambridge（剑桥大学）
提出最小距离摘要方法，通过最大均值差异（MMD）在测试时自适应调整摘要统计量，在不修改预训练神经后验估计器的情况下实现鲁棒推断，理论保证鲁棒性并实验验证。
2026-06-15 cs.LG stat.ML
Likelihood-Free Inference with Deep Gaussian Processes
Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；University of Oslo（奥斯陆大学）；University of Helsinki（赫尔辛基大学）；University of Manchester（曼彻斯特大学）
近年来，代理模型已成功地用于似然自由推理，以减少模拟器评估的数量。目前，这项任务的最先进的性能已经实现了贝叶斯优化与高斯过程（GP）。虽然这种组合对于单峰目标分布效果很好，但它限制了贝叶斯优化的灵活性和适用性，从而更普遍地加速了无可能性推理。我们提出了一个深度高斯过程（DGP）的代理模型，可以处理更多的不规则行为的目标分布来解决这个问题。我们的实验显示了DGP如何在具有多峰分布的目标函数上优于GP，并在单峰情况下保持相当的性能。这证实了DGP作为代理模型可以扩展贝叶斯优化的无似然推理（BOLFI）的适用性，同时增加计算开销，对于计算密集型模拟器来说仍然可以忽略不计。
2021-10-05 cs.LG stat.ML
Accelerate CNN via Recursive Bayesian Pruning
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体网络创新中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
通道剪枝是一个NP难问题，它被广泛用于加速卷积神经网络。现有的方法为了计算简单，通常忽略了上述依赖性。为了解决这个问题，在贝叶斯框架下，我们提出了一种逐层递归贝叶斯修剪方法（RBP）。提出了一种新的基于丢弃率的冗余度度量方法，该方法在假设层间相关性的前提下，简化了后验估计的计算。具体来说，我们将跨层的噪声建模为马尔可夫链，并将其后验作为目标以反映层间依赖性。考虑到后验问题的封闭形式解是难以处理的，我们推导了一个稀疏诱导的Dirac-like先验，它规则化了设计噪声的分布，以自动逼近后验。与现有的方法相比，当假设层间依赖性时，不需要额外的开销。冗余通道可以通过微小的丢弃噪声简单地识别出来，并直接逐层修剪。在流行的CNN架构上的实验表明，所提出的方法优于几种最先进的方法。特别地，我们分别针对VGG 16和ResNet 50在大规模数据集ILSVRC 2012上实现了高达$\bf{5.0\times}$和$\bf{2.2\times}$ FLOP的减少，并且精度损失很小。
2019-03-27 cs.LG stat.ML
Global Optimisation of Black-Box Functions with Generative Models in the Wasserstein Space
HSE University（高等经济大学）
本研究提出一种基于Wasserstein距离的不确定性估计器，结合深度生成代理模型用于黑盒模拟器的无梯度优化，经测试其鲁棒性优于当前最优方法。
2024-11-03 cs.LG hep-ex physics.data-an
Sequential Design for Simulators with Sharp Variations via Deep Gaussian Process Gradients
University College London（伦敦大学学院）
本文提出一种高效近似方法，用于计算两层深度高斯过程的梯度分布，通过局部线性化和链式法则推导出梯度均值和协方差的闭式表达式，用于快速评估梯度并量化不确定性。同时，利用梯度不确定性指导序列设计，以更准确地模拟具有尖锐变化的函数。
2026-09-29 stat.AP stat.CO stat.ME
Diffusion posterior sampling for simulation-based inference in tall data settings
Université Paris-Saclay（巴黎-萨克雷大学）；Inria（法国国家信息与自动化技术研究院）；CEA（法国原子能委员会）；CMAP, École Polytechnique（高等理工学院CMAP部门）；Institut Polytechnique de Paris（巴黎理工 institute）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔INP）；LJK（格勒诺布尔联合实验室）
本文提出了一种无需兰格-动态步骤的扩散后验采样方法，提高了高数据设置下基于模拟的推断效率和稳定性。
2026-02-11 cs.LG stat.ME stat.ML
A Bayesian hierarchical framework for emulating a complex crop yield simulator
复杂计算机模拟的仿真已经成为探索模拟过程行为的有效工具。农业就是这样一个领域，在这个领域中，作物生长、营养、土壤状况和污染的模拟对任何土地管理决策都是非常宝贵的。在本文中，我们研究输出的EPIC模拟模型，调查作物产量的行为，如施肥水平，土壤，陡度和其他环境协变量的输入变化。我们建立了一个模型，农作物产量的非线性Mitscherlich Baule生长模型，以推断作物产量的变化连续输入变量（施肥水平）的响应，以及探索分类因子输入，如土地坡度和土壤类型的影响。对混合输入采用贝叶斯分层建模方法，需要马尔可夫链蒙特卡罗模拟从后验分布中获取样本，验证和说明结果，并进行模型选择。我们的研究结果突出了氮产量的强烈响应，但令人惊讶的是，磷的响应较弱，也显示了该模型的实质性改善后，添加因子的影响响应最大产量为这个特定的模拟器配置和集水区。
2022-07-26 stat.AP stat.CO
Robust Distributed Learning of Functional Data From Simulators through Data Sketching
针对模拟器函数数据分布式推断对数据分片选择敏感的问题，提出基于随机数据草图的鲁棒分布式贝叶斯学习方法，在保护隐私的同时实现跨机器推断聚合，并在SLOSH模拟器替代模型上验证了性能。
2024-09-25 stat.AP
Accelerating inference for stochastic kinetic models
本文针对随机动力学模型贝叶斯推断计算复杂的问题，提出利用廉价替代模型改进粒子MCMC，通过梯度提议、桥接和延迟接受提升效率。
2023-04-05 stat.CO
Accelerating Approximate Thompson Sampling with Underdamped Langevin Monte Carlo
Purdue University（普渡大学）；Morgan Stanley（摩根士丹利）
近似汤普森采样与朗之万蒙特卡罗扩大了其范围从高斯后验采样，包括更一般的光滑后验。然而，它仍然遇到的高维问题时，要求高精度的可扩展性问题。为了解决这个问题，我们提出了一个近似的汤普森采样策略，利用欠阻尼朗之万蒙特卡罗，后者是去到主力的高维后验的模拟。基于标准光滑性和对数正态性条件，我们研究了使用特定势函数的加速后验集中和采样。该设计将实现对数遗憾的样本复杂度从$\mathcal{\tilde O}(d)$提高到$\mathcal{\tilde O}(\sqrt{d})$。我们的算法的可扩展性和鲁棒性也通过高维强盗问题的合成实验进行了经验验证。
2024-06-21 cs.AI cs.LG stat.ML
