Stacking Variational Bayesian Monte Carlo
Department of Computer Science University of Helsinki(计算机科学系 霍恩利亚大学)
本文提出S-VBMC方法,通过合并多个独立VBMC运行的局部近似构建全局后验,无需额外似然评估且可并行化,显著提升复杂后验的近似质量。
2025-11-10 cs.LG stat.ML
Using stacking to average Bayesian predictive distributions
广泛推荐的贝叶斯模型平均化过程在M开放设置中存在缺陷,在该设置中,真实的数据生成过程不是被拟合的候选模型之一。我们从点估计文献中提取堆叠的思想,并推广到预测分布的组合,将效用函数扩展到任何合适的评分规则,使用Pareto平滑重要性抽样来有效地计算所需的留一后验后验分布,并进行正则化以获得更大的稳定性。我们比较堆叠的预测分布的几个替代方案:堆叠的手段,贝叶斯模型平均(BMA),伪BMA使用AIC型加权,和一个变种的伪BMA是稳定的使用贝叶斯引导。基于模拟和实际数据应用,我们建议叠加预测分布,当计算成本成为问题时,BB-伪BMA作为近似替代方案。
2017-09-16 stat.CO stat.ME
Locking and Quacking: Stacking Bayesian model predictions by log-pooling and superposition
Flatiron Institute(熨斗研究所);Getulio Vargas(热图利奥·瓦加斯);Foundation(基金会);Aalto Univerity(阿尔托大学)
本文提出两种贝叶斯模型组合新方法:对数池化(锁定)和量子叠加(叠加),通过优化 Hyvarinen 分数避免归一化常数计算,并用示例和重要性抽样验证。
2023-05-12 cs.LG stat.ML
Dynamic Bayesian Predictive Stacking via Markovian Spatiotemporal Propagation
Università degli studi Milano-Bicocca(米兰比可卡大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种自适应马尔可夫时空迁移学习方法,通过矩阵变量高斯分布和贝叶斯预测堆叠实现高效信息共享,提升多变量时空建模的可扩展性和适应性。
2026-11-09 stat.CO stat.ME
A Bayes interpretation of stacking for M-complete and M-open settings
在没有真正的模型可以概念化的M-开放问题中,通常会从建模中退出,只寻求良好的预测。即使在M-完全问题中,采用预测方法也是非常有用的。堆叠是一种模型平均过程,它通过使用优化交叉验证标准的权重组合模型列表中的各个预测因子来给出复合预测因子。我们表明,堆叠权重也渐近最小化后验预期损失。因此,我们正式提供了交叉验证的贝叶斯理由。通常,权重被限制为正值并且总和为1。为了更大的一般性,我们省略了积极性约束,并放宽了“总和为一”的约束。一个关键问题是“平均值中应该有哪些预测因素?“我们首先验证堆叠误差仅取决于模型的跨度。然后,我们建议使用数据中的引导样本来生成可用于形成模型的经验基础元素。我们在两个计算示例中使用它来给出堆叠预测器,这些预测器是(i)数据驱动的,(ii)相对于组件预测器的数量最优,以及(iii)相对于每个预测器获得的权重最优。
2016-02-16 math.ST stat.TH
Data Sketching and Stacking: A Confluence of Two Strategies for Predictive Inference in Gaussian Process Regressions with High-Dimensional Features
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对高维特征高斯过程回归计算不可行及变量选择困难的问题,提出数据草图与贝叶斯预测堆叠结合的策略,通过并行处理和组合推断实现高效且准确的预测,在模拟和空气污染预测中表现优越。
2026-10-20 stat.ME
Balancing Simulation-based Inference for Conservative Posteriors
University of Liège(列日大学);University of Amsterdam(阿姆斯特丹大学)
本文将均衡化从神经比率估计扩展到任意输出后验密度的基于模拟推断算法,提出均衡版神经后验估计与对比神经比率估计,并在多基准上验证其保守性。
2023-04-21 cs.LG stat.ME stat.ML
Bayesian Transfer Learning for Artificially Intelligent Geospatial Systems: A Predictive Stacking Approach
University of Milano-Bicocca(米兰比可卡大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出基于预测堆叠的贝叶斯迁移学习框架,用于大规模地理数据的自动分析,实现高效的数据处理与推断,且无需人工干预。
2026-07-23 stat.CO stat.ME
Two-way Guidance: Simultaneous Learning of Summary Statistics for Generative Bayes
University of Chicago(芝加哥大学);North Carolina State University(北卡罗来纳州立大学)
该研究针对贝叶斯模拟推理在观测规模增大时难以恢复集中后验的问题,提出双向引导机制,同步学习摘要统计量与后验,建立理论保证并明确模拟预算条件,提升后验学习性能。
2026-10-12 cs.LG stat.CO stat.ME
Understanding the Trade-offs in Accuracy and Uncertainty Quantification: Architecture and Inference Choices in Bayesian Neural Networks
School of Mathematics and Maxwell Institute for Mathematical Sciences, University of Edinburgh(数学系和Maxwell数学科学研究所,爱丁堡大学)
针对贝叶斯神经网络后验近似的准确率与不确定性量化权衡问题,本文对比MCMC与变分推理的特性及架构影响,验证了变分近似堆叠与集成可低成本实现与MCMC相当的准确率,且不确定性量化更优。
2025-06-17 cs.LG stat.ME stat.ML
A note on marginal posterior simulation via higher-order tail area approximations
我们探讨使用高阶尾面积近似贝叶斯模拟。这些近似产生了一个替代的模拟计划MCMC的贝叶斯计算的边际后验分布的标量参数的利益,在滋扰参数的存在。与MCMC方法相比,它的优点是样本是独立抽取的,计算时间较短,并且只需要标准的极大似然例程即可实现。该方法是由遗传连锁模型,正态回归与删失数据和逻辑斯谛回归模型说明。
2012-12-05 stat.CO
A Trust Crisis In Simulation-Based Inference? Your Posterior Approximations Can Be Unfaithful
University of Liège(列日大学);University of Vienna(维也纳大学)
我们提出了广泛的经验证据表明,目前的贝叶斯模拟为基础的推理算法可以产生计算不忠实的后验近似。我们的研究结果表明,所有基准算法-(顺序)神经后验估计,(顺序)神经比率估计,顺序神经似然估计和近似贝叶斯计算的变体-都可能产生过度自信的后验近似,这使得它们对于科学用例和证伪主义者的调查不可靠。不解决这个问题可能会减少基于模拟的推理的适用范围。出于这个原因,我们认为,研究工作应该对保守的近似推理算法的理论和方法的发展,目前的研究方向朝着这个目标。在这方面,我们展示了经验证据,即集成后代理提供了更可靠的近似值,并缓解了这个问题。
2022-12-04 cs.LG stat.ML
Approximate posterior recalibration
Columbia University(哥伦比亚大学);Flatiron Institute(平顿研究所)
本文提出两种方法扩展基于模拟的校准检查以扩大后验不确定性区间,旨在实现边缘校准,并讨论后验校准在分层模型中的应用挑战。
2026-03-20 stat.CO stat.ME
Preconditioned Robust Neural Posterior Estimation for Misspecified Simulators
Monash University(莫纳什大学);Queensland University of Technology(昆士兰科技大学)
本文提出预条件鲁棒神经后验估计方法,通过数据依赖权重和森林邻近预条件化提升模型在规格不明确下的稳定性与准确性。
2026-02-20 stat.CO stat.ME stat.ML
Fast $ε$-free Inference of Simulation Models with Bayesian Conditional Density Estimation
University of Edinburgh(爱丁堡大学)
许多统计模型可以向前模拟,但具有难以处理的可能性。近似贝叶斯计算(ABC)的方法来推断这些模型的属性从数据。传统上,这些方法通过在观测数据周围的$ε$球内调节数据来近似后验参数,这仅在极限$ε\!\rightarrow\!0$中是正确的。然后,蒙特卡罗方法可以从近似后验中抽取样本,以近似预测或参数的误差条。这些算法作为$ε\!\rightarrow\!0$严重减慢,并且在实践中从比后验更广泛的分布中抽取样本。提出了一种基于贝叶斯条件密度估计的无似然推理方法。基于有限的仿真数据的初步推断用于指导以后的仿真。在某些情况下,学习整个真实后验分布的准确参数表示需要比蒙特卡罗ABC方法从近似后验产生单个样本所需的模型模拟更少。
2018-04-02 cs.LG stat.CO stat.ML
Beyond Accuracy: Evaluating Posterior Fidelity of Diffusion Inverse Solvers
Department of Statistics, University of Michigan(密歇根大学统计学系);Department of EECS, University of Michigan(密歇根大学电子工程与计算机科学系);Department of Statistics, Rutgers University(罗格斯大学统计学系)
本文研究了扩散逆求解器的后验保真度,提出了一种无需真实后验的评估指标,通过模拟和实际问题验证了其有效性,揭示了高重建精度不必然意味着更好的后验一致性。
2026-05-11 cs.LG stat.CO
Posterior SBC: Simulation-Based Calibration Checking Conditional on Data
本文提出后验SBC方法,用于在给定观测数据的条件下验证推断算法和模型实现的有效性,并通过多水平模型、微分方程模型及神经科学模型三个案例展示其应用价值。
2025-03-10 stat.CO stat.ME stat.ML
Credit scoring using neural networks and SURE posterior probability calibration
本文比较逻辑回归与神经网络在信用评分中的性能,发现时间特征可提升准确性,并提出基于SURE的概率校准技术,与Platt方法结合可改善校准效果。
2025-01-22 q-fin.ST stat.AP
Diffusion posterior sampling for simulation-based inference in tall data settings
Université Paris-Saclay(巴黎-萨克雷大学);Inria(法国国家信息与自动化技术研究院);CEA(法国原子能委员会);CMAP, École Polytechnique(高等理工学院CMAP部门);Institut Polytechnique de Paris(巴黎理工 institute);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔INP);LJK(格勒诺布尔联合实验室)
本文提出了一种无需兰格-动态步骤的扩散后验采样方法,提高了高数据设置下基于模拟的推断效率和稳定性。
2026-02-11 cs.LG stat.ME stat.ML
Automatic Posterior Transformation for Likelihood-Free Inference
Technical University of Munich(慕尼黑工业大学)
如何在具有棘手似然性的随机模拟器上执行贝叶斯推理?最近的一种方法是使用基于神经网络的条件密度估计器从自适应提出的模拟中学习后验。然而,现有的方法限于一个狭窄的范围内的建议分布或需要重要性加权,可以限制在实践中的性能。在这里,我们提出了自动后验变换(APT),一个新的顺序神经后验估计方法,基于模拟的推理。APT可以使用任意的、动态更新的建议来修改后验估计,并且与强大的基于流的密度估计器兼容。它比以前的基于仿真的推理技术更灵活,可扩展性和效率。APT可以直接对高维时间序列和图像数据进行操作,为无似然推理开辟了新的应用。
2019-05-17 cs.LG stat.ML
An Economical Approach to Design Posterior Analyses
针对贝叶斯研究中后验分析设计依赖大量模拟的问题,提出仅用两个样本量模拟即可评估操作特征、确定最优样本量与决策准则并构建bootstrap置信区间的经济方法。
2025-03-13 stat.ME
GATSBI: Generative Adversarial Training for Simulation-Based Inference
University of Tübingen(图宾根大学);TU Munich(慕尼黑工业大学);Helmholtz Centre Hereon(亥姆霍兹Hereon中心)
基于仿真的推断(SBI)是指对随机模型的统计推断,我们可以为其生成样本,但不能计算似然性。像SBI算法一样,生成对抗网络(GANs)不需要显式的似然性。研究了SBI与GANs之间的关系,介绍了一种对抗SBI的方法GATSBI。GATSBI在对抗环境中重新制定变分目标,以学习隐式后验分布。与GATSBI的推断是摊销的观察,工程在高维后空间,并支持隐式先验。我们评估GATSBI的两个SBI基准问题和两个高维模拟器。在浅水水体表面的波传播模型,我们表明,GATSBI可以返回校准后的估计,即使在高维度。在相机光学模型上,它推断出一个高维度的后验,给出了一个隐式的先验,并表现得比一个国家的最先进的SBI方法。我们还展示了如何GATSBI可以扩展到执行顺序后验估计,专注于个人的意见。总的来说,GATSBI为利用GANs的进步在基于高维仿真的模型上执行贝叶斯推断提供了机会。
2022-03-12 cs.LG stat.ME stat.ML
Robust posterior inference when statistically emulating forward simulations
University of Auckland(奥克兰大学)
科学分析通常依赖于缓慢但准确的正向模型,用于以已知模型参数为条件的可观测数据。虽然存在各种模拟方案来近似这些缓慢的计算,但这些方法只有在近似被很好地理解和控制时才是安全的。本次研讨会提交审查和更新以前发表的方法,已被用于宇宙学模拟,(1)训练仿真器,同时估计后验概率与MCMC和(2)明确传播仿真误差到模型参数的后验概率的错误。我们演示了如何将这些技术应用于快速估计后验分布的$Λ$ CDM宇宙学模型的参数,同时也衡量的仿真器近似的鲁棒性。
2020-04-24 astro-ph.CO astro-ph.IM cs.LG
Neural Posterior Regularization for Likelihood-Free Inference
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Seoul(首尔市立大学);EWHA Womans University(梨花女子大学)
当感兴趣的现象再生成本很高或在相同的背景下不可再生时,模拟是有用的。最近,贝叶斯推理的模拟输入参数的分布已经实现顺序,以尽量减少所需的模拟预算的任务,模拟验证到现实世界。然而,贝叶斯推理仍然是具有挑战性的,当地面真实后验是多模态的高维模拟输出。本文介绍了一种正则化技术,即神经后验正则化(NPR),它强制模型有效地探索输入参数空间。之后,我们提供了正则化优化的封闭形式的解决方案,使分析正则化的效果。我们的经验验证,NPR达到统计上的显着增益的基准性能不同的模拟任务。
2022-11-04 cs.AI cs.LG stat.ML
Demonstrating the power and flexibility of variational assumptions for amortized neural posterior estimation in environmental applications
North Carolina State University(北卡罗来纳州立大学);University of Michigan(密歇根大学);University of Edinburgh(爱丁堡大学)
本文提出了一种基于神经网络的贝叶斯后验估计框架,通过训练数据模拟的神经网络高效获得参数后验分布,理论证明其在Kullback-Leibler散度上的收敛性,并展示了在环境应用中的鲁棒性和准确性。
2026-01-08 stat.CO stat.ML
Amortized Simulation-Based Inference in Generalized Bayes via Neural Posterior Estimation
Department of Statistics, University of Oxford, Oxford, United Kingdom(英国牛津大学统计系);Department of Statistics, University of Auckland, Auckland, New Zealand(新西兰奥克兰大学统计系)
提出一种通过训练单一数据与β条件神经后验估计器来摊销广义贝叶斯推理中温度参数β的方法,无需模拟器调用或推理时MCMC,实现单次前向传播采样。
2026-05-22 cs.LG stat.ML
Active Sequential Posterior Estimation for Sample-Efficient Simulation-Based Inference
Google Research(谷歌研究院);HEC Montréal(蒙特利尔高等商学院)
针对基于模拟的推断存在样本需求大、难扩展至高维场景的问题,提出主动序贯神经后验估计方法,通过主动学习评估参数效用,以低开销提升样本效率,在交通等高维场景及SBI基准上均优于现有方法。
2024-12-07 cs.LG stat.ML
A remarkably simple and accurate method for computing the Bayes Factor from a Markov chain Monte Carlo Simulation of the Posterior Distribution in high dimension
Weinberg(2012)描述了一种用于从后验分布的马尔可夫链模拟计算边际似然Z的构造性算法。其要点是:积分子域的选择,消除了由于后验概率的低尾值而导致的采样差的子体积。相反,这个相同的想法可以用于选择优化Z的准确度的子域。在这里,我们探索使用模拟分布来定义高后验概率的小区域,然后使用Weinberg(2012)中描述的体积镶嵌算法对选定区域中的样本进行数值积分。更有希望的是这个小区域的restling,然后是一个天真的蒙特卡罗积分。新的增强算法是计算平凡的,并导致显着提高精度。例如,这种新算法的应用程序的四个组成部分的混合物与随机位置在16个维度产生准确的评估Z与5%的误差。这使得贝叶斯因子模型选择的现实世界的问题,已经不可行的与以前的方法。
2013-01-14 astro-ph.IM stat.ME
A Random Weighting Approach for Posterior Distributions
在贝叶斯理论中,计算后验概率分布非常重要,但通常很困难。因此,人们提出了一些方法来处理这类问题,其中最流行的是后验分布的渐近展开式。本文提出了一种新的尺度后验分布的计算方法--随机加权法,并给出了理想的收敛速度,为数值模拟方法提供了理论保证。
2012-07-19 stat.ME
Conservative neural posterior estimation via distributionally robust training
Department of Statistical Science, University College London, UK(伦敦大学学院统计系);Department of Computer Science, Aalto University, Finland(奥卢大学计算机科学系)
提出DRO-NPE方法,通过Wasserstein模糊集上的最坏情况损失替代标准NPE目标,控制过拟合并减少后验过度自信,从而提高低模拟预算下的覆盖率和校准性能。
2026-11-05 cs.LG stat.ML
Group Sequential Design with Posterior and Posterior Predictive Probabilities
The University of Queensland(昆士兰大学);McGill University(麦吉尔大学);McGill University Health Centre(麦吉尔大学健康中心)
提出一种高效校准贝叶斯组序贯设计决策阈值和最小样本量的方法,通过理论证明将后验概率建模为样本量函数,仅需两次模拟即可评估误差概率。
2026-06-25 stat.ME
Modernizing full posterior inference for surrogate modeling of categorical-output simulation experiments
针对大规模分类模拟实验,提出基于椭圆切片采样和Vecchia近似的GP分类框架,实现全贝叶斯后验推断,优于变分推断方法,并扩展到深度非平稳分类。
2025-01-24 stat.CO
Estimating the Sampling Distribution of Posterior Decision Summaries in Bayesian Clinical Trials
本文提出利用后验分布大样本理论建立后验决策摘要抽样分布的参数模型,通过少量模拟场景估计参数,从而在纳入试验假设不确定性的同时显著降低贝叶斯临床试验设计的计算负担。
2024-04-28 stat.ME
Bayesian Inference for Logistic Regression Models Using Sequential Posterior Simulation
logistic规范已被广泛用于非贝叶斯统计,以模拟离散结果对指定协变量值的依赖性。由于似然函数是全局弱凹的,所以即使在通常出现的具有几十个或几百个参数的应用中,极大似然估计也是直接的。相比之下,贝叶斯推断已被证明是笨拙的,需要对现有的马尔可夫链蒙特卡罗和数据增强方法的可能性或专门的适应性进行正常近似。本文使用最近开发的一般序贯后验模拟(SPS)方法,只需要多一点的能力,以评估的似然函数的逻辑模型的贝叶斯推断。与现有的替代方案相比,SPS是简单得多,并提供了数字标准误和准确的近似边际可能性作为副产品。用于贝叶斯推断的SPS算法适合于大规模并行实现,并且当使用图形处理单元实现时,它比现有的替代方案更有效。本文通过几个例子来说明这些观点。
2013-04-16 stat.CO
Fiducial Matching for the Approximate Posterior: F-ABC
引入F-ABC,使用通用的充分统计量,与之前的ABC论文不同,例如Bernton et al.(2019),并避免了由于内核引起的近似后验伪影。匹配公差的性质进行检查,并确定其值的迹象。F-ABC没有面临与ABC相关的问题。渐近性和仿真结果。
2020-07-12 stat.ME
Posterior Uncertainty Estimation via a Monte Carlo Procedure Specialized for Data Assimilation
本文形式化了Chevallier等人提出的用于大规模数据同化的蒙特卡洛后验方差近似算法,证明其收敛性,并扩展了考虑采样不确定性的贝叶斯可信区间,通过模拟实验验证了其有效性。
2023-11-15 stat.CO
Neural Posterior Estimation with Differentiable Simulators
基于仿真的推理(Simulation-Based Inference,SBI)是一种很有前途的贝叶斯推断框架,它强调了用分析似然估计后验分布的必要性。在SBI算法中使用神经密度估计器的最新进展已经证明了以大量模拟为代价实现高保真后验的能力;这使得它们的应用在使用复杂的物理模拟时可能非常耗时。在这项工作中,我们专注于提高样本效率的后验密度估计使用梯度的模拟器。提出了一种新的神经后验估计方法。我们演示了梯度信息如何帮助约束后验的形状并提高样本效率。
2022-07-12 astro-ph.IM stat.ML
Simulation-efficient shortest probability intervals
贝叶斯最高后验密度(HPD)区间可以直接从模拟中通过经验最短区间估计。不幸的是,这些可能是嘈杂的(即,具有高蒙特卡罗误差)。我们推导出一个最佳的加权策略,使用自举和二次规划,以获得一个更计算稳定的HPD,或在一般情况下,最短的概率区间(自旋)。我们证明了我们的方法的一致性。对一系列理论和实际数据实例的模拟研究表明,与经验最短区间相比,使用Spin构造的区间具有更好的覆盖率(相对于后验分布)和更低的蒙特卡罗误差。我们在R包(SPIn)中实现了新方法,因此它可以常规地用于贝叶斯模拟的后处理。
2013-02-08 stat.CO
Frequentist Oracle Properties of Bayesian Stacking Estimators
本文针对贝叶斯堆叠估计量缺乏频率学派神谕性质的问题,推导了堆叠贝叶斯线性与逻辑回归模型的该性质,并通过蒙特卡洛实验验证其可能优于最佳候选模型,为贝叶斯方法提供频率学依据并拓展了频率学派方法库。
2024-11-04 math.ST stat.TH
Preconditioned Neural Posterior Estimation for Likelihood-free Inference
School of Mathematical Sciences, Queensland University of Technology(昆士兰科技大学数学科学学院);Centre for Data Science, Queensland University of Technology(昆士兰科技大学数据科学中心)
针对低维问题中神经后验估计(NPE)准确性不足的问题,提出预条件NPE(PNPE)及其序列版本(PSNPE),利用短暂运行的ABC剔除高差异参数区域以提升后验训练精度,并在多实验中验证了其性能提升。
2024-04-21 cs.LG stat.ML
L-C2ST: Local Diagnostics for Posterior Approximations in Simulation-Based Inference
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
针对SBI中后验近似可信度评估仅能全局开展的局限,提出无需真实后验样本的局部诊断方法L-C2ST,可适配归一化流模型提升效率与功效,在基准测试中表现优异,且在计算神经科学场景中具备高可解释性价值。
2023-10-09 cs.AI cs.LG q-bio.NC
Simulation-Based Inference with Quantile Regression
Princeton University(普林斯顿大学)
本文提出神经分位数估计(NQE),通过条件分位数回归与自回归建模实现仿真推断,并引入基于局部CDF的快速可信区域及后处理校准,在多个基准上取得领先性能。
2024-07-22 astro-ph.CO astro-ph.IM cs.LG
Flow Matching Calibration for Simulation-Based Inference under Model Misspecification
Institut national de physique de la matière (CNRS UMR 7586)(物质物理国家研究院(CNRS UMR 7586))
针对基于模拟推断中模型误设定导致的偏差,提出流匹配校正后验估计方法,通过少量校准样本利用流匹配范式修正后验估计器,提高推断准确性和不确定性量化。
2026-06-03 cs.LG stat.ML
Truncated Marginal Neural Ratio Estimation
University of Amsterdam(阿姆斯特丹大学);University of Liège(列日大学)
参数随机模拟器在科学中无处不在,通常具有高维输入参数和/或难以处理的可能性。在这种情况下执行贝叶斯参数推断可能具有挑战性。我们提出了一个基于神经模拟的推理算法,同时提供模拟效率和快速的经验后验可测性,这是现代算法中唯一的。我们的方法是模拟效率,同时估计低维的边缘后验,而不是联合后验,并通过提出模拟目标的观察感兴趣的通过事先适当截断的指标函数。此外,通过估计局部摊销后,我们的算法使有效的经验测试的推理结果的鲁棒性。由于科学家无法获得基本事实,这些测试对于在现实世界中的应用中信任推理是必要的。我们进行实验的边缘化版本的基于模拟的推理基准和两个复杂的和狭窄的后验,突出了我们的算法的模拟器效率以及估计的边缘后验的质量。
2021-10-26 astro-ph.IM cs.LG hep-ph
Amortized Bayesian Decision Making for simulation-based models
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心);University of Tübingen(图宾根大学)
针对基于仿真的推理后验近似粗糙导致决策次优的问题,提出用神经网络直接预测期望成本的摊销贝叶斯决策方法,在基准和医学仿真任务中均实现接近真实后验的低成本决策。
2023-12-18 cs.AI cs.LG stat.ML
Computing the Bayesian Factor from a Markov chain Monte Carlo Simulation of the Posterior Distribution
从模拟的后验分布的边缘似然计算是贝叶斯模型选择的核心,但计算困难。我认为,边际可能性可以可靠地计算出后验样本仔细注意的概率积分的数值。假定边缘似然的表达式为勒贝格积分,我们可以将调和平均近似从样本统计量转换为求积规则。作为一种求积方法,调和平均近似会产生巨大的截断误差。此外,我证明了调和平均近似的积分表达式收敛缓慢,在最好的高维问题与无信息的先验分布。这些意见导致两个计算适度的正交算法,使用完整的一般性样本后验,但没有不稳定的家庭。第一种算法自动消除了样本中截断误差较大的部分。第二种算法利用后验样本将概率分配给样本空间的一个分区,并直接进行边缘似然积分。这消除了收敛问题。第一种算法类似于标准求积,但只能应用于收敛问题。第二种是体积的混合:它使用后验来发现和镶嵌样本空间的子集,并使用分位数来计算代表性的字段值。这两种算法都没有对后验分布的形状做出强有力的假设,也不是敏感的离群值。[删节]
2010-06-22 astro-ph.CO astro-ph.IM math.ST
Posterior Consistency of Bayesian Inverse Regression and Inverse Reference Distributions
我们认为贝叶斯推断逆回归问题的目标是推断未观察到的协变量从观察到的响应和协变量。我们建立后验一致性的贝叶斯逆回归problemunder适当的先验在留一交叉验证设置中的未观察到的协变量。我们将其与逆参考分布的后验一致性(Bhattacharya(2013))相关联,以评估模型的充分性。我们用贝叶斯逆回归的各种例子来说明我们的理论和方法,以及足够的模拟实验。
2020-05-01 math.ST stat.TH
Easily Computed Marginal Likelihoods from Posterior Simulation Using the THAMES Estimator
提出THAMES估计器,利用后验模拟输出通过倒数重要性抽样轻松计算边际似然,具有无偏、一致、有限方差和渐近正态性,并推导最优控制参数。
2023-05-15 stat.ME
Towards Reliable Simulation-Based Inference with Balanced Neural Ratio Estimation
University of Liège(列日大学)
基于模拟的现代推理方法依赖于深度学习代理,以实现计算机模拟器的近似推理。然而,在实践中,估计后验子的计算忠实性很少得到保证。例如,Hermans等人(2021)表明,当前基于模拟的推理算法可以产生过度自信的后验,因此有可能导致错误的推理。在这项工作中,我们介绍了平衡神经比率估计(BNRE),NRE算法的一种变体,旨在产生更保守的后验近似,从而提高其可靠性,同时共享相同的贝叶斯最优解。我们实现这一点,通过强制执行一个平衡条件,增加了量化的不确定性,在小的模拟预算制度,同时仍然收敛到确切的后验作为预算的增加。我们提供的理论论据表明,BNRE往往产生后代更保守的比NRE的。我们评估BNRE在各种各样的任务,并表明它产生保守的后验代理人在所有测试的基准和模拟预算。最后,我们强调,BNRE是直接实现NRE,不引入任何计算开销。
2022-08-29 cs.LG stat.ME stat.ML
Sequential Neural Posterior and Likelihood Approximation
Lund University(隆德大学);Technical University of Denmark(丹麦技术大学);Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
我们介绍了顺序神经后验和似然近似(SNPLA)算法。SNPLA是一种用于隐式模型中推理的标准化基于流的算法,因此是一种基于模拟的推理方法,仅需要来自生成模型的模拟。SNPLA避免了类似方法中引入的参数建议函数的马尔可夫链蒙特卡罗采样和校正步骤,但其可能在数值上不稳定或受到限制。通过利用反向库尔贝克-莱布勒散度,SNPLA设法以顺序的方式学习似然性和后验。在四个实验中,我们表明,SNPLA执行竞争力时,利用相同数量的模型模拟在其他方法中使用,即使SNPLA的推理问题是更复杂的,由于联合学习后验和似然函数。由于利用了标准化流,SNPLA比基于MCMC的方法更快地生成后验绘制(4个数量级)。
2021-06-05 cs.LG stat.ME stat.ML