Transformations in Semi-Parametric Bayesian Synthetic Likelihood
贝叶斯合成似然(Bayesian synthetic likelihood,BSL)是一种在似然函数难以处理的情况下进行近似贝叶斯推断的常用方法。在合成似然方法中,似然函数通过模型模拟进行参数近似,然后使用标准的基于似然的技术来执行推断。高斯合成似然估计已成为无处不在的BSL文献,主要是因为它的简单性和易于实现。然而,它通常限制性太强,并可能导致较差的后验近似。最近,一个更灵活的半参数贝叶斯合成似然(semiBSL)估计已被引入,这是显着更强大的不规则分布的汇总统计量。在这项工作中,我们提出了一些扩展semiBSL。首先,我们考虑使用变换核密度估计的边缘分布的更灵活的估计。其次,我们提出了白化semiBSL(wsemiBSL)-显着提高semiBSL的计算效率的方法。wsemiBSL在每次算法迭代时使用近似白化变换来解相关汇总统计量。本文开发的方法显着提高了BSL算法的通用性和效率。
2020-07-03 stat.CO stat.ME
Parallel Gaussian process surrogate Bayesian inference with noisy likelihood evaluations
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);University of Edinburgh(爱丁堡大学)
我们考虑贝叶斯推断时,只有有限数量的噪声对数似然评价可以得到。例如,当将复杂的基于模拟器的统计模型拟合到数据时,会发生这种情况,并且使用合成似然(SL)方法来使用计算成本高的前向模拟来形成噪声对数似然估计。我们框架的推理任务作为一个连续的贝叶斯试验设计问题,其中的对数似然函数建模与分层高斯过程(GP)代理模型,这是用来有效地选择额外的对数似然评估位置。最近的进展的相关问题的批量贝叶斯优化的动机,我们开发了各种批量顺序的设计策略,允许并行运行一些潜在的昂贵的模拟。我们从理论和经验上分析了所产生的方法的属性。几个玩具问题和仿真模型的实验表明,我们的方法是强大的,高度并行化,样本效率。
2020-03-06 cs.LG stat.CO stat.ME
Bayesian Elastic Net based on Empirical Likelihood
我们提出了一个贝叶斯弹性网,使用经验似然和开发一个有效的调整哈密顿蒙特卡罗后验采样。该模型放松了对误差分布的假设,当变量高度相关时表现良好,并通过提供回归系数的后验分布来进行更直接的推断。在贝叶斯经验似然中实现的哈密顿蒙特卡罗方法克服了后验分布缺乏封闭的解析形式和其域是非凸的挑战。提出了贝叶斯经验似然的蛙跳参数整定算法。我们还证明了回归系数的后验分布是渐近正态的。仿真研究和实际数据分析表明,所提出的方法在预测精度的优势。
2022-07-18 stat.CO stat.ME
Efficient Bayesian Inference for Spatial Point Patterns Using the Palm Likelihood
North Carolina State University(北卡罗来纳州立大学);Department of Statistics, North Carolina State University(北卡罗来纳州立大学统计系)
本文提出在贝叶斯框架下利用 Palm 似然进行空间点模式推断,并通过两种校准方法修正后验覆盖不足问题,在保证统计性能的同时显著提升计算效率。
2026-09-29 stat.CO stat.ME
A Two-step Metropolis Hastings Method for Bayesian Empirical Likelihood Computation with Application to Quantile Regression and Bayesian Model Selection
University of Nebraska-Lincoln(内布拉斯加大学林肯分校);DFS Group Ltd.(DFS集团有限公司);Texas A& M University(德克萨斯农工大学)
本文提出一种两步Metropolis-Hastings算法,用于解决贝叶斯经验似然(BayesEL)后验分布采样困难的问题,可应用于分位数回归与贝叶斯模型选择等场景。
2026-08-28 stat.CO stat.ME stat.ML
Bayesian Synthetic Likelihood
本文介绍贝叶斯合成似然(BSL)方法,用于似然不可计算但可模拟的模型中的后验推断,并概述其可扩展稳健的扩展。
2023-05-10 stat.CO stat.ME
Approximating the Likelihood in Approximate Bayesian Computation
本章将出现在即将出版的近似贝叶斯计算手册(2018)中。支撑近似贝叶斯计算(ABC)的概念和方法框架主要针对可能性具有挑战性或缺失的问题。ABC使用基于模拟的非参数估计汇总统计量的可能性,并假设从模型生成数据在计算上是便宜的。本章回顾了两种估计棘手的可能性的替代方法,目的是减少必要的模型模拟,以产生近似的后验。其中第一个是合成似然(SL)的贝叶斯版本,最初由Wood(2010)开发,它使用多变量正态近似来概括统计似然。使用ABC的参数近似而不是非参数近似,可以减少所需的模型模拟的数量。我们在本章中考虑的第二种似然近似方法是基于经验似然(EL),这是一种非参数技术,涉及在一组矩约束下最大化经验构建的似然。Mengersen et al(2013)修改了EL框架,以便它可以用于形成ABC可以应用的问题的近似后验,即具有棘手可能性的模型。然而,与ABC和贝叶斯SL(BSL)不同,贝叶斯EL(BCel)方法可以在某些情况下完全避免模型模拟。BSL和BCel方法说明了不同复杂性的模型。
2018-03-18 stat.CO stat.ME
Bayesian and Maximum Likelihood Estimation for Gaussian Processes on an Incomplete Lattice
本文提出了一种新的方法来估计大格点上具有缺失值的平稳高斯过程的贝叶斯和极大似然参数估计。我们提出了一个MCMC方法的贝叶斯推断,和极大似然推理的蒙特卡罗期望最大化算法。我们的方法使用数据增广和循环嵌入的协方差阵,并提供精确的推断参数和缺失数据。使用模拟数据和应用卫星海洋表面温度在太平洋,我们表明,我们的方法提供了准确的推断尺寸高达512 × 512的格子,并优于两个流行的方法:复合似然和谱近似。
2014-02-18 stat.CO stat.ME
Expectation-Propagation for Bayesian Empirical Likelihood Inference
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);School of Mathematics and Statistics, The University of Melbourne(墨尔本大学数学与统计学院)
本文提出基于期望传播的变分方法近似贝叶斯经验似然后验,解决其计算挑战,在小样本下实现更优成本-精度权衡,且理论上近似与目标后验渐近等价。
2026-08-05 stat.CO stat.ME
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程(GP)的方法来近似未知参数和数据的联合分布。特别是,我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后,我们提供了一个自适应算法来构建这样的近似,其中使用主动学习方法来选择设计点。数值例子表明,该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Approximate Bayesian Computing for Spatial Extremes
用于模拟空间极值的最大稳定过程的统计分析受到计算联合似然函数的困难的限制。这排除了所有标准的基于可能性的方法,包括贝叶斯方法。在本文中,我们提出了一个贝叶斯方法,通过使用近似贝叶斯计算。这避免了联合似然函数的需要,而是依赖于来自(不可用的)似然的模拟。该方法与基于复合似然的另一种方法进行了比较。我们表明,近似贝叶斯计算可以导致较低的均方误差比复合似然方法估计的极端空间依赖性时,虽然在一个明显更高的计算成本。我们还说明了该方法的性能与应用程序,美国的温度数据估计作物损失的风险,由于不太可能冻结事件。
2011-12-13 stat.CO stat.ME
An approximate Bayesian marginal likelihood approach for estimating finite mixtures
当混合分布的支持未知时,有限混合模型的估计是一个重要的问题。本文提出了一种新的基于边际似然的未知支持度估计方法。受贝叶斯Dirichlet先验模型的启发,提出了一种计算效率高的边际似然随机逼近形式,并给出了大样本理论。通过将支持度限制在有限网格上,采用模拟退火方法来最大化边际似然并估计支持度。实际和模拟数据的例子表明,这种新的随机逼近-模拟退火过程优于现有的方法。
2012-02-13 stat.CO stat.ME
Approximate Bayesian Computation with Path Signatures
仿真模型往往缺乏易处理的似然函数,使得无似然推理方法不可或缺。近似贝叶斯计算通过比较模拟和观察数据通过一些距离测量产生无似然后验样本,但现有的方法往往不适合时间序列模拟器,例如,由于一个独立和相同分布的数据假设。在本文中,我们建议使用路径签名近似贝叶斯计算来处理时间序列的连续性。我们提供了理论上的保证所产生的后验和竞争贝叶斯参数推断模拟器生成单变量,多变量,不规则间隔,甚至非欧几里德序列。
2023-02-01 stat.CO stat.ME stat.ML
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然(BSL)的正态分布假设偏差及统计量兼容性需求,结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯,提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
Robust Generalised Bayesian Inference for Intractable Likelihoods
广义贝叶斯推断使用损失函数而不是似然更新先验信念,因此可以用于赋予针对可能的似然错误指定的鲁棒性。在这里,我们认为广义贝叶斯推断与斯坦差异作为一个损失函数,动机的应用程序中的可能性包含一个棘手的归一化常数。在这种情况下,斯坦差异规避评价的归一化常数,并产生广义后验,要么是封闭的形式或使用标准的马尔可夫链蒙特卡罗访问。在理论层面上,我们表现出一致性,渐近正态性和偏置鲁棒性的广义后验,突出这些属性是如何影响的选择斯坦差异。然后,我们提供了一系列的棘手的分布,包括应用基于核的指数族模型和非高斯图形模型的数值实验。
2022-01-11 math.ST stat.CO stat.ME
Approximate Bayesian Computation via Regression Density Estimation
近似贝叶斯计算(ABC)方法,适用于当可能性是困难的或不可能的计算,是当前研究的一个活跃的话题。大多数当前的ABC算法直接近似的后验分布,但替代的,不太常见的策略是近似的似然函数。这有几个优点。首先,在某些问题中,近似似然比近似后验更容易。第二,近似的可能性允许参考分析仅基于可能性构建。第三,一旦构建了可能性的近似值,就可以直接对几种不同的先验选择进行敏感性分析,这只需要进行一次。本文的贡献是考虑回归密度估计技术近似的可能性在ABC设置。我们的似然逼近建立在最近开发的边缘自适应密度估计器的基础上,将其扩展到条件密度估计。我们的方法有利于参考贝叶斯推断,以及频率论的推理。该方法是通过一个具有挑战性的问题,推理体视学的极端,在那里我们进行频率和贝叶斯推断。
2012-12-06 stat.CO stat.ME
Bayesian Computation with Intractable Likelihoods
本文调查计算方法的后验推理与棘手的似然,即似然函数是不可用的封闭形式,或在评估的可能性是不可行的。我们回顾了伪边缘方法,近似贝叶斯计算(ABC),交换算法,热力学积分和复合似然的最新进展,特别注意大型数据集的可扩展性的进步。我们还提到了R和MATLAB源代码,用于实现这些算法。
2020-04-08 stat.CO
Bayesian inference using synthetic likelihood: asymptotics and adjustments
在涉及复杂模型的应用中,实现贝叶斯推断通常在计算上具有挑战性,有时计算可能性本身也很困难。当可能性难以处理时,合成可能性是一种进行推理的方法,但从模型进行模拟是直接的。该方法通过将向量汇总统计量视为多变量正态分布来构建近似似然,其中未知均值和协方差阵通过模拟对任何给定参数值进行估计。本文有三个贡献。第一个表明,如果汇总统计量满足中心极限定理,则合成似然后验是渐近正态的,并产生具有正确频率覆盖水平的可信集。这一结果与近似贝叶斯计算结果相似。第二个贡献比较贝叶斯合成似然和近似贝叶斯计算的计算效率使用的接受概率拒绝和重要性抽样算法与"好"的建议分布。我们表明,贝叶斯合成似然比近似贝叶斯计算更有效的计算,并表现出类似的回归调整近似贝叶斯计算。基于渐近结果,第三个贡献,提出使用调整的推断方法时,可能误指定的形式,假定为合成似然的协方差阵,如对角或因子模型,以加快计算。该方法说明了一些模拟和真实的例子。
2021-03-12 stat.CO
Bayesian inference for Gibbs random fields using composite likelihoods
吉布斯随机场在统计学中起着重要的作用,例如,自逻辑模型通常用于对定义在网格上的二进制变量的空间分布建模。然而,由于似然函数的复杂性,它们的工作是复杂的。因此,考虑对似然函数的易处理的近似是很自然的。复合似然提供了一个原则性的方法来构建这样的近似。本文的贡献是研究的性能的一组复合似然近似的背景下,贝叶斯推断。
2012-07-24 stat.CO
Bayesian model comparison with un-normalised likelihoods
在计算机科学、统计物理学、空间统计学和网络分析中广泛使用的模型,其似然函数只能被评估到一个依赖于参数的未知归一化常数,如马尔可夫随机场模型。然而,由于这些模型的似然函数的复杂性,使用标准蒙特卡罗方法对这些模型进行贝叶斯分析是不可能的。最近开发了几种允许精确或接近精确的后验分布模拟的方法。然而,估计这些模型的证据和贝叶斯因子(BF)仍然具有挑战性。本文介绍了新的随机权重重要性抽样和序贯蒙特卡罗方法估计BF使用模拟,以规避评价的棘手的可能性,并比较它们与现有的方法。在某些情况下,我们观察到使用有偏权重估计的优势。这类方法的理论和经验性质的初步调查。使用有偏估计的一些支持,但我们主张谨慎使用这种估计。
2016-01-20 physics.data-an stat.CO stat.ME
Relaxed Gaussian process interpolation: a goal-oriented approach to Bayesian optimization
Laboratoire National de Métrologie et d’Essais(法国国家计量与测试实验室);Safran Aircraft Engines(赛峰飞机发动机公司);L2S(信号与系统实验室)
本文提出了一种放松的高斯过程插值方法,用于改进贝叶斯优化中的预测分布,尤其在平稳性假设不适用时表现更优。
2026-01-12 stat.CO stat.ME stat.ML
elhmc: An R Package for Hamiltonian Monte Carlo Sampling in Bayesian Empirical Likelihood
在这篇文章中,我们描述了一个{ \tt R}包,用于使用哈密顿蒙特卡罗方法从基于经验似然的后验中进行采样。经验似然为基础的方法已被用于贝叶斯建模的许多问题的兴趣在最近的时间。这种半参数方法可以很容易地将非参数分布估计的灵活性与参数模型的可解释性结合起来。该模型通过估计基于方程的约束来指定。从贝叶斯经验似然(Bayesel)后验中得出推论是具有挑战性的。可能性是数值计算的,因此不存在后验的封闭表达式。此外,对于有限样本,似然的支持度是非凸的,这阻碍了许多马尔可夫链蒙特卡罗(MCMC)方法的快速混合。最近的研究表明,利用对数经验似然的梯度性质,可以设计一种有效的哈密顿蒙特卡罗(HMC)算法来从贝叶斯后验中进行采样。该软件包要求用户仅指定估计方程、先验和它们各自的梯度。从参数的贝叶斯后验中提取MCMC样本,并获得用户所需的各种细节。
2022-09-02 stat.CO stat.ML stat.OT
Randomized Maximum Likelihood via High-Dimensional Bayesian Optimization
本文提出基于高斯过程代理模型的高维贝叶斯优化方法求解随机最大似然问题,并在医学和磁流体动力学等贝叶斯逆问题中验证了其优于传统优化方法。
2024-09-04 stat.CO
Bayesian Optimization for Likelihood-Free Inference of Simulator-Based Statistical Models
我们的论文涉及推断基于模拟器的统计模型给出了一些观察到的数据。基于模拟器的模型是一种参数化机制,它指定了数据如何生成。因此,它也被称为生成模型。我们假设只有有限数量的参数是感兴趣的,并允许生成过程是非常一般的,它可能是一个嘈杂的非线性动力系统与一个不受限制的隐变量的数量。这种弱假设对于设计现实模型是有用的,但它使统计推断非常困难。主要的挑战是似然函数的难处理性。已经提出了几种无似然推理方法,它们的基本思想是通过找到模拟数据和观测数据之间的差异很小的值来识别参数。使用这些方法的一个主要障碍是它们的计算成本。成本很大程度上是由于需要重复模拟数据集,以及缺乏有关参数如何影响差异的知识。我们提出了一种策略,结合概率建模的差异与优化,以促进似然自由推理。该策略是使用贝叶斯优化实现的,并通过减少所需的模拟的数量由几个数量级的加速推理。
2015-12-31 stat.CO stat.ME stat.ML
Robust Bayesian Synthetic Likelihood via a Semi-Parametric Approach
贝叶斯合成似然(BSL)是一种成熟的方法,用于对不具有易处理的似然函数的基于模拟的模型进行近似贝叶斯参数估计。BSL近似一个棘手的似然函数的一个精心选择的汇总统计量的参数值与多元正态分布。该正态分布的均值协方差阵是根据模型的独立模拟估计的。由于BSL中隐含的参数假设,在某些对高维汇总统计量感兴趣的应用中,它可能优于其非参数竞争对手,近似贝叶斯计算。然而,尽管BSL的几个成功的应用,它在科学领域的广泛使用可能会受到阻碍的强正态性假设。在本文中,我们开发了一个半参数的方法,放松这一假设在一定程度上,并保持计算优势的BSL没有任何额外的调整。我们测试我们的新方法,semiBSL,在几个具有挑战性的例子,涉及模拟和真实数据,并证明semiBSL可以显着更强大的BSL和文献中的另一种方法。
2019-10-03 stat.CO stat.ME
Optimal combination of composite likelihoods using approximate Bayesian computation with application to state-space models
本文提出利用近似贝叶斯计算和多个复合得分函数作为汇总统计量,解决复合似然中的权重选择与曲率调整问题,并通过蒙特卡洛估计和自适应方案提升计算可行性与推断效率。
2024-09-04 stat.CO stat.ME
Bayesian model inversion using stochastic spectral embedding
在本文中,我们提出了一种新的无采样方法来解决贝叶斯模型反演问题,这是以前提出的谱似然展开(SLE)方法的扩展。我们的方法,称为随机谱似然嵌入(SSLE),使用最近提出的随机谱嵌入(SSE)方法的局部谱扩展细化近似的似然函数的贝叶斯反演问题的核心。我们表明,与SLE类似,这种方法通过直接对展开系数进行后处理,得到了贝叶斯后验分布的关键统计数据(例如证据、后验矩和后验边缘)的解析表达式。因为SSLE和SSE依赖于似然函数的直接近似,所以它们在某种程度上独立于前向模型的计算/数学复杂性。我们进一步提高SSLE的效率,通过引入似然特定的自适应样本富集计划。为了展示所提出的SSLE的性能,我们解决了三个问题,表现出不同种类的复杂性的似然函数:多模态,高后验浓度和高标称维数。我们展示了SSLE如何显着改善SLE,并提出它作为一个有前途的替代现有的反演框架。
2021-04-20 stat.CO stat.ME
Bayesian computation via empirical likelihood
当似然函数数值不可用时,近似贝叶斯计算(ABC)已成为分析复杂随机模型的重要工具。然而,经验似然性的成熟统计方法提供了另一种途径,绕过了模型的模拟和ABC参数的选择(汇总统计量,距离,容差),同时在观测数量上收敛。此外,绕过模型模拟可能会在复杂模型中节省大量时间,例如在群体遗传学中发现的那些。我们在本文中开发的BCel算法还通过相关的有效样本量来评估其自身的性能。使用几个例子,包括估计标准分布,时间序列,和人口遗传学模型的方法进行说明。
2012-12-05 q-bio.QM stat.CO stat.ME
Spectral likelihood expansions for Bayesian inference
提出了一种贝叶斯推断的谱方法。它追求的是后验概率密度的仿真。出发点是似然函数在正交多项式方面的级数展开。从这个谱似然展开所有感兴趣的统计量可以计算半解析。后验形式上表示为参考密度和多项式基函数的线性组合的乘积。模型证据和后验矩都与展开系数有关。该公式避免了马尔可夫链蒙特卡罗模拟,并允许使用线性最小二乘法代替。从经典统计学和逆建模的简单应用的基础上,讨论和证明了频谱贝叶斯推断的优点和缺点。
2016-04-26 stat.CO
Bayesian optimisation for fast approximate inference in state-space models with intractable likelihoods
本文研究了具有难处理似然的非线性状态空间模型的近似贝叶斯参数推断问题。具有近似贝叶斯计算的序贯蒙特卡罗(SMC-ABC)是一种用于近似这种类型的模型中的可能性的方法。然而,这种近似可能是有噪声的并且计算成本高,这阻碍了使用基于优化和蒙特卡罗方法的标准方法的有效实现。我们提出了一种计算效率高的新方法的基础上结合高斯过程优化和SMC-ABC创建一个拉普拉斯近似的棘手后。我们将所提出的算法用于随机波动率模型的推理,同时使用合成数据和真实数据,以及使用Copula模型估计两个投资组合的风险价值。我们的文件之间的一个和两个数量级的速度相比,国家的最先进的后验推理算法。
2017-06-13 q-fin.RM stat.CO stat.ML
Efficient Multifidelity Likelihood-Free Bayesian Inference with Adaptive Computational Resource Allocation
无似然贝叶斯推断算法是用于校准复杂随机模型的参数的流行方法,当观察数据的似然性难以处理时需要。这些算法的特点是严重依赖于重复的模型模拟。然而,每当模拟的计算成本甚至是适度昂贵的,显着的负担所产生的似然自由算法离开他们在许多实际应用中是不可行的。已经引入了多保真度方法(最初是在近似贝叶斯计算的上下文中),通过使用模拟计算上便宜的近似模型代替感兴趣的模型所提供的信息,来减少无可能性推理的模拟负担,而不损失准确性。这项工作的第一个贡献是证明多保真度技术可以应用于一般的似然自由贝叶斯推断设置。在不同的保真度水平的模拟计算资源的最佳分配的分析结果,并随后实际实施。我们提供了一个自适应的多保真度似然自由推理算法,学习模型之间的关系,在不同的精度,并相应地适应资源分配,并证明该算法产生后验估计与接近最佳的效率。
2021-12-22 q-bio.QM stat.CO
A partial likelihood approach to tree-based density modeling and its application in Bayesian inference
本文提出用Cox偏似然解决基于树的贝叶斯密度建模中数据依赖划分导致的数据双重使用问题,在保持推断一致性的同时提升估计精度和计算效率。
2025-04-10 math.ST stat.CO stat.ME
Stabilised weighted data subsampling for accelerated Bayesian inference in models with recursive likelihoods
University of Technology Sydney(悉尼科技大学);University of New South Wales(新南威尔士大学);Human Technology Institute, University of Technology Sydney(悉尼科技大学人类技术研究所)
针对递归定义似然的模型计算成本高的问题,提出一种基于对数似然无偏估计的稳定加权子采样方法,通过给早期观测分配更高采样概率减少递归深度,并引入理论支持的稳定化框架避免方差膨胀,在条件波动率模型中实现显著加速且保持推断精度。
2026-10-14 stat.CO stat.ME
BIMC: The Bayesian Inverse Monte Carlo method for goal-oriented uncertainty quantification. Part I
我们考虑的问题估计罕见事件的概率,专注于系统的演化是由微分方程与不确定的输入参数。如果系统动力学的计算成本很高,则标准采样算法(如蒙特卡罗方法)可能需要不可行的运行时间来准确评估这些概率。我们提出了一个重要性抽样计划(我们称之为BIMC),依赖于解决一个辅助,虚构的贝叶斯逆问题。逆问题的解决方案产生后验PDF,一个局部高斯近似,其作为重要性抽样密度。我们应用BIMC的几个问题,并证明它可以导致计算节省了几个数量级的蒙特卡罗方法。我们描绘的条件下,BIMC是最佳的,以及当它不能产生一个有效的IS密度的条件。
2019-11-02 stat.CO stat.ME
Generalised Bayesian Inference for Discrete Intractable Likelihood
针对离散不可处理似然,提出基于离散Fisher散度的一般化贝叶斯推断方法,绕过归一化常数,实现低计算成本的后验采样与校准。
2023-09-01 math.ST stat.CO stat.ME
Bayesian Optimization of Hyperparameters from Noisy Marginal Likelihood Estimates
贝叶斯模型通常涉及通过最大化边际似然来确定的一小组超参数。贝叶斯优化是一种流行的迭代方法,其中底层函数的高斯过程后验通过新的函数评估顺序地更新。获取策略使用该后验分布来决定在何处放置下一个函数评估。我们提出了一种新的贝叶斯优化框架的情况下,用户控制的计算工作量,因此精度的功能评估。这是计量经济学中常见的情况,通常通过马尔可夫链蒙特卡罗(MCMC)或重要性抽样方法计算边际似然,边际似然估计量的精度由样本数量决定。新的获取策略使优化器可以选择使用廉价的噪声评估来探索函数,从而更快地找到最佳值。该方法被应用于估计先验超参数在两个流行的模型对美国宏观经济时间序列数据:稳态贝叶斯向量自回归(BVAR)和随机波动率的时变参数BVAR。该方法比传统的贝叶斯优化或网格搜索更快地找到最优解。
2022-08-17 econ.EM stat.CO
Quantification of empirical determinacy: the impact of likelihood weighting on posterior location and spread in Bayesian meta-analysis estimated with JAGS and INLA
贝叶斯正态-正态分层模型(Bayesian normal-normal hierarchical model,NNHM)是一种流行的贝叶斯元分析方法,它综合了多项研究的知识,具有较高的实用价值。此外,NNHM是最简单的贝叶斯分层模型(BHM),它说明了更复杂的BHM中的典型问题。到目前为止,它一直不清楚在何种程度上的数据决定的边缘后验分布的参数在NNHM。为了解决这个问题,我们计算了Bhattacharyya系数相对于加权似然的二阶导数,定义了总经验确定性(TED),位置的经验确定性与TED的比例(pEDL),以及传播的经验确定性与TED的比例(pEDS)。我们在R软件包\texttt{ed4bhm}中实现了这种方法,并考虑了两个案例研究和一个模拟研究。我们量化TED,pEDL和pEDS在不同的建模条件下,如模型参数化,主要结果,和先验。这阐明了参数的边缘后验分布的位置和分布在多大程度上由数据决定。虽然这些调查集中在贝叶斯NNHM,所提出的方法更普遍地适用于复杂的BHM。
2021-09-24 stat.CO stat.ME
Bayesian likelihood-free localisation of a biochemical source using multiple dispersion models
定位大气中生化气溶胶的有毒释放源对于公共安全来说是一个非常重要的问题。在这个问题中遇到两个主要的实际困难:缺乏知识的似然函数的测量收集的生化传感器,和过多的候选人的分散模型,根据各种假设(如气象条件,地形)。针对这两个困难,本文提出了一种无似然近似贝叶斯计算方法,它同时使用一组候选的分散模型,定位源。该估计框架通过蒙特卡罗方法实现,并使用两个实验数据集进行测试。
2014-05-26 stat.CO
Bayesian model calibration for block copolymer self-assembly: Likelihood-free inference and expected information gain computation via measure transport
我们认为贝叶斯校准模型描述的现象嵌段共聚物(BCP)的自组装使用显微镜或X射线散射技术产生的图像数据。为了解释BCP平衡结构中的随机长程无序,我们引入辅助变量来表示这种偶然的不确定性。然而,这些变量导致通常难以评估的高维图像数据的综合可能性。我们解决这个具有挑战性的贝叶斯推断的问题,使用一个无似然的方法的基础上测量运输与建设的图像数据的汇总统计。我们还表明,预期的信息增益(EIGs)从观察到的数据模型参数可以计算,没有显着的额外成本。最后,我们提出了一个基于Ohta-Kawasaki模型的二嵌段共聚物薄膜自组装和自顶向下的显微镜表征的数值案例研究。对于校准,我们引入了几个特定领域的能量和傅立叶为基础的汇总统计,并量化其信息性使用EIG。我们证明了所提出的方法来研究数据损坏和实验设计对校准结果的影响。
2022-06-22 cond-mat.mtrl-sci physics.comp-ph stat.AP
A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵(逆协方差矩阵)的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点,但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的,但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验,我们开发了一种称为联合回归网络的算法(JRNS),用于联合回归和协方差选择,该算法(a)可以适应一般稀疏模式,(b)提供不确定性量化的后验样本,(c)可扩展,比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率,并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
Population Calibration using Likelihood-Free Bayesian Inference
在本文中,我们开发了一种无似然性的人口校准方法,它涉及到找到模型参数的分布时,通过模型产生一组输出,匹配现有的人口数据。与大多数其他方法人口校准,我们的方法产生的不确定性量化的估计分布。此外,该方法可以应用于任何群体校准问题,无论感兴趣的模型是确定性的还是随机的,或者无论群体数据是在有或没有测量误差的情况下观察到的。我们演示了几个例子,包括一个真实的数据的方法。我们还讨论了该方法的计算限制。这里开发的方法立即应用于医学研究的许多领域,包括癌症,COVID-19,药物开发和心脏病学。
2022-02-04 stat.CO stat.ME
Likelihood-Free Adaptive Bayesian Inference via Nonparametric Distribution Matching
Stanford University(斯坦福大学)
本文提出自适应贝叶斯推断(ABI)框架,通过边缘增广切片Wasserstein距离将后验分布比较转化为一维条件分位数回归,并结合自适应拒绝采样迭代细化后验近似,在高维和相依观测场景下显著优于现有免似然方法。
2025-05-07 cs.LG stat.CO stat.ME
Efficient stochastic optimisation by unadjusted Langevin Monte Carlo. Application to maximum marginal likelihood and empirical Bayesian estimation
随机逼近方法在涉及棘手的似然函数的极大似然估计问题中起着核心作用,例如在缺失或不完整数据的问题中产生的边际似然,以及在参数经验贝叶斯估计中。结合马尔可夫链蒙特卡罗算法,这些随机优化方法已成功地应用于科学和工业中的广泛问题。然而,这种策略的规模差,大的问题,因为方法和理论上的困难,使用高维马尔可夫链蒙特卡罗算法内的随机逼近计划。本文提出了解决这些困难,通过使用未调整的朗之万算法构造的随机逼近。这导致了一个高效的随机优化方法,具有良好的收敛性能,可以明确量化,易于检查。所提出的方法证明了三个实验,包括一个具有挑战性的应用程序,高维统计音频分析和稀疏贝叶斯逻辑斯谛回归与随机效应的问题。
2020-05-30 stat.CO
Approximate Bayesian Computation with composite score functions
当似然函数难以处理时,近似贝叶斯计算(ABC)和复合似然方法分别适用于贝叶斯和频率论推理。我们建议使用复合似然得分函数作为ABC中的汇总统计量,以获得精确的近似后验分布。这是出于使用的得分函数的完全似然,并扩展到一般的无偏估计函数在复杂的模型。此外,我们表明,如果综合得分是适当的标准化,由此产生的ABC程序是不变的重新参数化,并自动调整曲率的复合可能性,和相应的后验分布。通过模拟数据的实例说明了该方法,并讨论了其在空间极端降雨数据建模中的应用。
2015-02-24 stat.CO
Variational Bayesian Monte Carlo with Noisy Likelihoods
Department of Basic Neuroscience, University of Geneva(日内瓦大学基础神经科学系)
变分贝叶斯蒙特卡罗(VBMC)是最近引入的框架,其使用高斯过程代理在具有黑盒、非廉价似然的模型中执行近似贝叶斯推断。在这项工作中,我们扩展VBMC来处理噪声对数似然评估,如那些基于模拟的模型。我们引入了新的“全球”采集功能,如预期的信息增益(EIG)和变分位数范围(VIQR),这是强大的噪声,可以有效地评估内的VBMC设置。在一个新颖的,具有挑战性的,噪声推理基准,包括各种模型与来自计算和认知神经科学的真实数据集,VBMC+VIQR实现了最先进的性能恢复地面真理后验和模型证据。特别是,我们的方法大大优于“本地”采集功能和其他代理为基础的推理方法,同时保持一个小的算法成本。我们的基准测试证实了VBMC作为一种通用的技术,用于样本高效的黑盒贝叶斯推断,也与噪声模型。
2020-10-19 cs.LG q-bio.NC q-bio.QM
Likelihood-free Bayesian inference for alpha-stable models
$α$ -稳定分布在统计、金融和信号处理工程的许多领域中被用作重尾噪声的模型。然而,在一般情况下,无论是单变量还是多变量$α$ -稳定模型都不承认可以逐点评估的封闭形式密度。这使推理过程复杂化。因此,$α$稳定模型实际上仅限于贝叶斯范式下的单变量设置和经典框架下的双变量模型。在这篇文章中,我们开发了一种新的贝叶斯方法来建模单变量和多变量$α$ -稳定分布的基础上,最近的进展“无似然”的推断。我们提出了一个评估的性能,这个过程中的1,2和3个维度,并提供了一个分析的实际每日货币汇率数据。所提出的方法提供了一个可行的推理方法在一个温和的计算成本。
2009-12-23 stat.CO
Bayesian Inference for Logistic Regression Models Using Sequential Posterior Simulation
logistic规范已被广泛用于非贝叶斯统计,以模拟离散结果对指定协变量值的依赖性。由于似然函数是全局弱凹的,所以即使在通常出现的具有几十个或几百个参数的应用中,极大似然估计也是直接的。相比之下,贝叶斯推断已被证明是笨拙的,需要对现有的马尔可夫链蒙特卡罗和数据增强方法的可能性或专门的适应性进行正常近似。本文使用最近开发的一般序贯后验模拟(SPS)方法,只需要多一点的能力,以评估的似然函数的逻辑模型的贝叶斯推断。与现有的替代方案相比,SPS是简单得多,并提供了数字标准误和准确的近似边际可能性作为副产品。用于贝叶斯推断的SPS算法适合于大规模并行实现,并且当使用图形处理单元实现时,它比现有的替代方案更有效。本文通过几个例子来说明这些观点。
2013-04-16 stat.CO
Estimating the marginal likelihood with Integrated nested Laplace approximation (INLA)
边际似然是贝叶斯统计学中一个公认的模型选择准则。它还允许有效地计算边缘后验模型概率,该概率可用于对感兴趣的量进行贝叶斯模型平均。然而,对于许多复杂的模型,包括潜在建模方法,边缘似然性难以计算。最近一个有前途的方法近似的边缘可能性是集成嵌套拉普拉斯近似(INLA),设计的模型与潜在的高斯结构。在这项研究中,我们比较了近似与INLA获得一些不同复杂性的例子上的替代方法。特别是,我们讨论了简单的线性潜在模型、贝叶斯线性回归模型、具有probit和logit链接的逻辑贝叶斯回归模型以及Poisson纵向广义线性混合模型。
2016-11-04 stat.CO
Auxiliary Likelihood-Based Approximate Bayesian Computation in State Space Models
提出了一种基于近似贝叶斯计算(ABC)的状态空间模型推理方法。ABC通过将观测数据的汇总统计量与根据真实过程模拟的数据计算的统计量相匹配,避免了对难以处理的可能性的评估。在观察和模拟摘要之间产生“匹配”的绘图被保留,并用于估计不可访问的后验。由于没有减少到一个低维的一组充分统计量是可能的状态空间设置,我们定义的总结作为最大的辅助似然函数,从而利用该估计的辅助参数向量的渐近充分性。我们得出的条件下,这种方法-包括计算效率的版本的基础上的辅助得分-实现贝叶斯一致性。为了减少ABC在多参数设置中的有据可查的不准确性,我们提出了使用集成似然技术对每个参数维度进行单独处理。三个随机波动率模型,精确的贝叶斯推断是计算上的挑战,或不可行的,用于说明。我们证明,我们的方法相比有利的一组广泛的近似和精确的比较。最后,本文以一个实证的例子作为结尾。
2018-12-02 math.ST stat.CO stat.ME
Calibration of conditional composite likelihood for Bayesian inference on Gibbs random fields
Université Montpellier(蒙彼利埃大学);University College Dublin(都柏林大学学院)
本文提出了一种校准方法,用于通过复合似然进行Gibbs随机场的贝叶斯推断,通过实例验证了该方法的有效性。
2015-11-18 math.ST stat.CO stat.TH
A subsampling approach for Bayesian model selection
在广义线性模型(GLM)的贝叶斯版本中,通常使用拉普拉斯近似来计算边际似然。边缘似然结合模型先验,然后在不同的搜索算法中使用,以计算模型和个体协变量的后验边缘概率。这允许执行贝叶斯模型选择和模型平均。对于大样本量,即使是拉普拉斯近似在计算上也变得具有挑战性,因为所涉及的优化例程需要在多次迭代中评估完整数据集的可能性。因此,该算法对于大型数据集是不可扩展的。为了解决这个问题,我们建议使用一个版本的流行的批量随机梯度下降(BSGD)算法估计的GLM的边际似然从数据的二次抽样。我们进一步结合该算法与马尔可夫链蒙特卡罗(MCMC)为基础的贝叶斯模型选择的方法,并提供了一些理论结果的收敛性估计。最后,我们报告的实验结果说明所提出的算法的性能。
2022-01-31 math.ST stat.CO stat.ME
Multilevel rejection sampling for approximate Bayesian computation
无似然方法,如近似贝叶斯计算,是解决具有复杂似然函数的实际推理问题的有力工具。近似贝叶斯计算的马尔可夫链蒙特卡罗和序贯蒙特卡罗变体可以是在近似贝叶斯计算设置中对后验分布进行采样的有效技术。然而,如果不仔细考虑收敛标准和建议内核的选择,这种方法可能会导致非常有偏见的推理或计算效率低下的采样。相比之下,用于近似贝叶斯计算的拒绝抽样尽管计算密集,但会导致来自近似后验的独立的、相同分布的样本。提出了一种加速无似然贝叶斯推断的替代方法,该方法将多级蒙特卡罗方差缩减技术直接应用于拒绝抽样。所得到的方法保留了拒绝抽样的精度优势,同时显着提高了计算效率。
2018-02-28 stat.CO
Bayesian inference, model selection and likelihood estimation using fast rejection sampling: the Conway-Maxwell-Poisson distribution
似然函数模型的贝叶斯推断是现代统计学中一组具有挑战性的问题。在这项工作中,我们分析了康威-麦克斯韦-泊松(COM-泊松)分布,两个参数的推广的泊松分布。COM-泊松回归建模允许灵活地将离散计数数据建模为具有COM-泊松响应的广义线性模型(GLM)的一部分,其中外源协变量控制响应的平均值和离散水平。COM泊松回归的主要困难是,似然函数包含多个棘手的归一化常数,是不服从标准的推理和MCMC技术。最近Chanialdaughter等人的工作。(2017)已经看到了一个采样器的发展,使用拒绝抽样算法从COM泊松似然中提取随机变量。我们提供了一个新的拒绝抽样COM-泊松分布,显着减少所需的CPU时间进行推断COM-泊松回归模型。这项工作的一个新的扩展表明,对于任何棘手的似然函数与相关的拒绝采样器,有可能构建无偏估计量估计的棘手的似然证明有用的模型选择或用于伪边缘MCMC算法(Andrieu和罗伯茨,2009年)。我们展示了所有这些方法在现实世界的收购出价数据集。
2020-07-10 stat.CO
Maximum Likelihood and Bayesian Estimation for State-Space Models Using the Non-Gaussian Filter
Tokyo University of Marine Science and Technology(东京海洋大学);The Institute of Statistical Mathematics(统计数学研究所)
本文重新研究非高斯滤波器,将其用于状态空间模型的极大似然估计与贝叶斯推断,实验显示其对数似然平滑可优化,实用价值因计算技术进步重获提升。
2026-07-31 stat.CO