Fast Exact Bayesian Inference for Sparse Signals in the Normal Sequence Model
我们考虑了在稀疏正态序列模型中具有模型选择先验(包括尖峰和板先验)的贝叶斯推断的精确算法。由于现有的最佳精确算法对于n=500以上的样本量在数值上变得不稳定,因此人们对替代方法如近似算法(吉布斯抽样、变分贝叶斯等)给予了很大关注,收缩先验(例如马蹄先验和尖峰和平板LASSO)或经验贝叶斯方法。然而,通过引入在线序贯预测的算法思想,我们表明,精确的计算是可行的更大的样本量:对于一般的模型选择先验,我们达到n=25000,并为某些尖峰和板先验,我们可以很容易地达到n=100000。我们进一步证明了有限样本量的特点,正是其中模型选择先验可以表示为钉和板先验的de Finetti的结果。在模拟数据的实验中证明了所提出的方法的计算速度和数值精度,在差分基因表达数据集上,并比较了β-二项式先验中多个超参数设置的效果。在我们的实验评估中,我们计算保证所有新算法的数值精度上的界限,这表明所提出的方法是数值可靠的,而基于长除法的替代方案是不。
2020-04-15 math.ST stat.CO stat.ME
Approximate Bayesian computation (ABC) gives exact results under the assumption of model error
近似贝叶斯计算(ABC)或无似然推理算法用于找到后验分布的近似值,而不明确使用似然函数,而是依赖于模型的样本数据集的模拟。在本文中,我们表明,在存在一致的加性模型误差项的假设下,ABC算法给出精确的结果时,使用足够的总结。这种解释允许在许多以前的应用论文中所做的近似被理解,并应指导在未来的工作中度量和公差的选择。ABC算法可以通过用随模拟数据与观察数据的距离而变化的接受概率来替换0-1截止来推广。接受密度给出了误差项的分布,使得通常使用的均匀误差可以用一般分布代替。这种推广也可以应用于近似马尔可夫链蒙特卡罗算法。根据这项工作,ABC算法可以被视为隐式随机模型的校准技术,根据计算机模型、数据、关于参数值的先验信念以及任何测量或模型误差来推断参数值。
2013-04-23 stat.CO stat.ME
Scalable Inference for Markov Processes with Intractable Likelihoods
近年来,马尔可夫过程的贝叶斯推断变得越来越重要。这种类型的问题往往有棘手的可能性和先验知识的模型速率参数往往是穷人。马尔可夫链蒙特卡罗(MCMC)技术可以在这样的模型中导致精确的推断,但是在实践中可能遭受性能问题,包括长的老化期和差的混合。另一方面,近似贝叶斯计算技术可以允许快速探索一个大的参数空间,但只产生近似的后验分布。在这里,我们考虑结合使用近似贝叶斯计算(ABC)和MCMC技术,提高计算效率,同时保留精确的并行硬件上的推理。
2014-10-22 stat.CO
Exact Inference with Approximate Computation for Differentially Private Data via Perturbations
本文讨论了两类近似计算算法可以适应,在一个模块化的方式,以实现精确的统计推断从不同的私人数据产品。考虑了贝叶斯推断的近似贝叶斯计算和似然推断的蒙特卡罗期望最大化。直到蒙特卡罗误差,从这些算法的推理是准确的分析师的原始数据模型,和馆长的差分隐私机制的联合规格。突出显示的是精确数据上的近似计算和近似数据上的精确计算之间的二元性,这可以通过精心设计的计算程序来进行统计推断。
2022-09-26 math.ST stat.CO stat.TH
Advances in Approximate Bayesian Inference for Models in Epidemiology
本综述探讨了近似贝叶斯推断在流行病学建模中的应用,重点评估了四类方法在平衡推断准确性与可扩展性方面的创新,并提供了方法选择的实用指南。
2025-04-28 stat.CO stat.ME
Approximate Bayesian Computation in State Space Models
提出了一种基于近似贝叶斯计算(ABC)的状态空间模型推理方法。ABC通过将观察到的汇总统计量与从真实过程模拟的数据计算的统计量相匹配,避免了对似然函数的评估;只有当统计量足够时,精确的推断才是可行的。由于在状态空间设置中无法实现有限样本充分性,因此我们通过辅助模型参数的最大似然估计器(MLE)寻求渐进充分性。我们证明,这种基于辅助模型的方法实现贝叶斯一致性,并-在一个精确的限制意义上-接近(渐近)充分产生的MLE复制的分数。在多参数设置的标量参数的单独治疗,综合似然技术的基础上,主张作为一种避免灾难的维度。一些注意力被给予一个结构,其中的状态变量是由一个连续的时间过程,精确的推理通常是不可行的,在这种情况下,由于棘手的过渡。ABC方法使用无迹卡尔曼滤波器作为在此设置中产生近似的快速而简单的方法进行了演示,并使用金融收益的随机波动率模型进行说明。
2014-09-30 math.ST stat.CO stat.ME
Auxiliary Likelihood-Based Approximate Bayesian Computation in State Space Models
提出了一种基于近似贝叶斯计算(ABC)的状态空间模型推理方法。ABC通过将观测数据的汇总统计量与根据真实过程模拟的数据计算的统计量相匹配,避免了对难以处理的可能性的评估。在观察和模拟摘要之间产生“匹配”的绘图被保留,并用于估计不可访问的后验。由于没有减少到一个低维的一组充分统计量是可能的状态空间设置,我们定义的总结作为最大的辅助似然函数,从而利用该估计的辅助参数向量的渐近充分性。我们得出的条件下,这种方法-包括计算效率的版本的基础上的辅助得分-实现贝叶斯一致性。为了减少ABC在多参数设置中的有据可查的不准确性,我们提出了使用集成似然技术对每个参数维度进行单独处理。三个随机波动率模型,精确的贝叶斯推断是计算上的挑战,或不可行的,用于说明。我们证明,我们的方法相比有利的一组广泛的近似和精确的比较。最后,本文以一个实证的例子作为结尾。
2018-12-02 math.ST stat.CO stat.ME
Transdimensional Approximate Bayesian Computation for Inference on Invasive Species Models with Latent Variables of Unknown Dimension
关于非本地物种的引进和传播模式的准确信息对于作出预测和管理决策至关重要。在许多情况下,估计未知的引进和传播率从观察到的数据需要评估棘手的变维积分。一般而言,对包含大或可变维度潜变量的大类模型的推断排除了精确的抽样技术。近似贝叶斯计算(ABC)方法提供了一种替代精确采样,但依赖于效率低下的条件模拟的潜在变量。为了有效地完成这一任务,一个新的transdimensional蒙特卡罗采样器的近似贝叶斯模型的推理和用于估计的引进和传播率的非本地的热带植物种Dendrobaena octagedra(萨维尼)沿道路在艾伯塔省北部的北方森林。使用低和高估计的引进和传播率,在艾伯塔省东北部的入侵程度进行了模拟,以预测入侵的数据收集后的一年中,合适的栖息地的比例。
2014-12-30 stat.ME
On the Convergence of Stochastic Variational Inference in Bayesian Networks
我们强调了一个陷阱时,随机变分推断一般贝叶斯网络。对于由指数族分布近似的全局随机变量,通常从单位长度步长开始的自然梯度步长被平均以收敛。当近似在一般贝叶斯网络上进行因子分解时,这种对初始步长缩放的有用见解就会丢失,必须小心确保实际收敛。我们实验性地研究了有多少婴儿(比例良好的步骤)与洗澡水(精确的梯度)一起被抛出。
2015-07-16 stat.ML
On the Occasional Exactness of the Distributional Transform Approximation for Direct Gaussian Copula Models with Discrete Margins
具有离散边缘分布的直接高斯copula模型是一种有吸引力的数据分析工具,但由于其难以处理的可能性,带来了困难的计算挑战。已经提出了一些近似/替代的可能性,包括连续扩展为基础的近似(CE)和基于分布变换的近似(DT)。连续扩展的方法是精确的蒙特卡罗误差,但不缩放以及计算。分布变换方法允许有效的计算,但没有提供理论保证,它是准确的。然而,在实践中,基于分布变换的近似似然对于模型的某些变体非常接近精确,从而允许真正的极大似然或贝叶斯推断。我们证明了基于分布变换的目标函数的模型的两个有趣的变体的准确性,并提出了一个数量,可用于评估实验观察到的数据集的准确性。所述诊断将允许从业者确定使用基于DT的似然性的真正贝叶斯推断或普通极大似然推断对于给定数据集是否可能。
2021-03-05 stat.ME
Robust and Efficient Approximate Bayesian Computation: A Minimum Distance Approach
在许多情况下,近似贝叶斯方法的应用受到两个实际特征的阻碍:1)将数据向下投影到低维摘要的要求,包括这种投影的选择,这最终会产生低效的推理; 2)可能缺乏对基础模型结构偏差的鲁棒性。出于这些效率和鲁棒性的问题,我们构建了一个新的贝叶斯方法,可以提供有效的估计时,底层模型是指定的,同时是强大的某些形式的模型误指定。这种新方法通过考虑经验和模拟概率测度之间的范数来绕过摘要的计算。对于特定的选择的规范,我们证明了这种方法可以提供点估计,是使用精确的贝叶斯推断,同时也显示鲁棒性的基础模型假设的偏差所获得的效率。
2020-06-25 econ.EM math.ST stat.ME
Exact Bayesian inference for Markov switching diffusions
本文提出离散观测Markov机制切换扩散过程的首个精确贝叶斯推断框架,利用MCMC与MCEM算法直接针对连续模型后验,计算成本接近离散近似且无离散化偏差。
2025-09-29 stat.CO
On Russian Roulette Estimates for Bayesian Inference with Doubly-Intractable Likelihoods
大量的统计模型是“双重难处理的”:似然归一化项是模型参数的函数,是难处理的,边际似然(模型证据)也是如此。这意味着不能使用从后验中采样的标准推断技术,例如马尔可夫链蒙特卡罗(MCMC)。示例包括但不限于大规模高斯马尔可夫随机场、自逻辑模型和指数随机图模型。一些近似方案的基础上MCMC技术,近似贝叶斯计算(ABC)或分析近似后,已被建议,这些在这里进行审查。精确的MCMC计划,它可以应用于一个子集的双重棘手的分布,也已经开发,本文所描述的。到目前为止,还没有一种通用的方法可以适用于所有类型的模型与双重棘手的后验。此外,从物理学文献的启发,我们研究了一种替代方法的基础上表示的棘手的可能性作为一个无穷级数。然后,通过俄罗斯轮盘抽样对序列进行有限时间随机截断,可以获得可能性的无偏估计,尽管估计值不一定是正的。从量子色动力学文献的结果被利用,允许使用可能是负的估计在一个伪边缘MCMC计划,这样的期望相对于后验分布被保存。该方法进行了审查,如伊辛模型中的参数,后的$d$ -Sphere和一个大规模的高斯马尔可夫随机场模型描述的臭氧柱数据的费舍尔-宾汉分布的知名的例子。这导致对方法的优点和缺点进行严格评估,并指出正在进行的研究。
2015-12-10 stat.CO stat.ME stat.ML
Exact Bayesian Analysis of Mixtures
在本文中,我们将展示如何一个完整的和精确的贝叶斯分析的参数混合模型是可能的,在某些情况下,当成分的混合物是从指数家庭和共轭先验时使用。这种有限的设置使我们能够显示贝叶斯方法的相关性,以及展示一个完整的分析的局限性,即它是不可能进行这种分析时,样本量太大,当数据不是从一个指数的家庭,或当使用的先验比共轭先验更复杂。
2010-10-29 stat.CO stat.ME
Tutorial on Exact Belief Propagation in Bayesian Networks: from Messages to Algorithms
在贝叶斯网络中,通过消息传递算法实现精确的置信传播。这些算法(例如:向内和向外)仅提供相应消息的递归定义。相比之下,当处理隐马尔可夫模型和变体时,人们通常首先明确定义这些消息(前向和后向量),然后导出所有结果和算法。在本文中,我们概括了隐马尔可夫模型的方法,通过引入一个明确的定义,在贝叶斯网络中的消息,从中我们得到所有相关的属性和结果,包括递归算法,允许计算这些消息。两个教学的例子(降水隐马尔可夫模型和谱系贝叶斯网络)被认为是沿文件来说明新的形式主义和独立的R信源编码中提供的附录。
2012-01-23 math.PR stat.CO
A class of fast exact Bayesian filters in dynamical models with jumps
本文主要研究带跳动力学模型中的统计滤波问题。当一个特定的应用依赖于由线性和高斯跳跃概率密度函数建模的物理特性时,通常的方法是在线性和高斯跳跃马尔可夫状态空间系统(JMSS)中近似最优贝叶斯估计(在最小均方误差(MMSE)的意义下)。实际的解决方案包括基于数值近似或基于序贯蒙特卡罗(SMC)方法的算法。在本文中,我们提出了一类替代方法,包括在建设统计模型,共享相同的物理特性的利益,但在其中的最佳MMSE估计的计算可以在一个计算成本是线性的观察。
2013-10-01 stat.CO
Bayesian Context Trees: Modelling and exact inference for discrete time series
我们开发了一个新的贝叶斯建模框架的类高阶,可变记忆马尔可夫链,并介绍了一个相关的收集方法的工具,精确的推理与离散时间序列。我们表明,一个版本的上下文树加权算法可以准确地计算先验预测似然(平均模型和参数),并介绍了两个相关的算法,识别后验最有可能的模型,并计算其确切的后验概率。这三种算法都是确定性的,具有线性时间复杂度。一个家庭的变维马尔可夫链蒙特卡罗采样器也提供了,方便进一步探索后。所提出的方法在模型选择,马尔可夫阶估计和预测的性能,通过模拟实验和现实世界的应用与金融,遗传学,神经科学和动物交流的数据进行说明。相关算法在R包BCT中实现。
2022-02-06 cs.IT math.IT stat.AP
Exact Bayesian inference for discretely observed Markov Jump Processes using finite rate matrices
提出了一种新的方法,用于对具有可数无限状态空间的离散观测连续时间Markov跳过程的速率参数进行贝叶斯推断。通常选择的推理方法,粒子马尔可夫链蒙特卡罗(粒子MCMC),挣扎时,观察噪声很小。我们认为最具挑战性的制度的精确观测,并提供了两种新的推理方法,在这种情况下:最小扩展状态空间算法(MESA)和几乎最小扩展状态空间算法(nMESA)。通过扩展马尔可夫链蒙特卡罗状态空间,MESA和nMESA都使用有限速率矩阵的取幂来对马尔可夫跳跃过程执行精确的贝叶斯推断,即使其状态空间是可数无限的。数值实验表明,粒子MCMC之间的一个因素的三个和几个数量级的改进。
2022-06-21 stat.CO stat.ME stat.OT
Distortion estimates for approximate Bayesian inference
当前文献中关于贝叶斯推断的后验近似提供了许多替代方法。我们选择的近似方案对观测数据是否有效?现有最好的通用诊断工具通过查看数据空间上的平均性能来处理这类问题,否则缺乏诊断细节。然而,如果近似对大多数数据都不好,但对观测数据很好,那么我们可以放弃一个有用的近似。我们给图形诊断后验近似的观测数据。我们估计一个“失真图”,作用于近似后验的单变量边缘,使它们更接近精确后验,而不依赖于精确后验。
2020-06-19 stat.CO
Exact Bayesian Inference on Discrete Models via Probability Generating Functions: A Probabilistic Programming Approach
University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
本研究提出一种基于概率生成函数的离散模型精确贝叶斯推断方法,构建支持多种采样与条件操作的概率编程语言,开发全自动化工具Genfer,其速度优于现有精确推断工具,且在复杂问题上性能媲美近似蒙特卡洛方法且无近似误差。
2023-11-07 cs.LG cs.PL stat.CO
Exact Bayesian Gaussian Cox Processes Using Random Integral
本文提出一种非参数贝叶斯方法,通过将强度函数与累积强度函数联合建模为变换后的高斯过程,并设计精确MCMC采样器,在不依赖数据增广或似然近似的情况下实现非齐次泊松过程的强度函数后验推断。
2024-06-28 stat.CO stat.ME stat.ML
Exact discovery is polynomial for certain sparse causal Bayesian networks
研究因果贝叶斯网络精确发现计算困难问题,提出利用网络性质修剪搜索空间并引入新准则的算法,保证精确发现最优网络,在匹配和对数界限连通分量情况下实现多项式时间,低密度下优于现有方法。
2025-03-07 stat.CO stat.ML
Auditing Bayesian Graph Alignment: Diagnostic Comparisons and Reference Failure
Center for Complex Biological Systems(复杂生物系统中心);University of California, Irvine(加州大学欧文分校)
本研究审计贝叶斯图对齐中得分收敛与边际准确性的差距,比较多种诊断方法,发现赋值敏感审计有效但受预算和参考一致性限制。
2026-09-25 cs.LG stat.AP stat.CO
Bayesian inference from time series of allele frequency data using exact simulation techniques
针对等位基因频率时间序列,本文提出基于Wright–Fisher扩散且无误差更新潜轨迹的精确MCMC贝叶斯推断方法,并用于估计选择强度与ASIP、MC1R等位基因年龄。
2025-02-17 math.PR q-bio.PE q-bio.QM
Bayesian and Maximum Likelihood Estimation for Gaussian Processes on an Incomplete Lattice
本文提出了一种新的方法来估计大格点上具有缺失值的平稳高斯过程的贝叶斯和极大似然参数估计。我们提出了一个MCMC方法的贝叶斯推断,和极大似然推理的蒙特卡罗期望最大化算法。我们的方法使用数据增广和循环嵌入的协方差阵,并提供精确的推断参数和缺失数据。使用模拟数据和应用卫星海洋表面温度在太平洋,我们表明,我们的方法提供了准确的推断尺寸高达512 × 512的格子,并优于两个流行的方法:复合似然和谱近似。
2014-02-18 stat.CO stat.ME
Bayesian model comparison with un-normalised likelihoods
在计算机科学、统计物理学、空间统计学和网络分析中广泛使用的模型,其似然函数只能被评估到一个依赖于参数的未知归一化常数,如马尔可夫随机场模型。然而,由于这些模型的似然函数的复杂性,使用标准蒙特卡罗方法对这些模型进行贝叶斯分析是不可能的。最近开发了几种允许精确或接近精确的后验分布模拟的方法。然而,估计这些模型的证据和贝叶斯因子(BF)仍然具有挑战性。本文介绍了新的随机权重重要性抽样和序贯蒙特卡罗方法估计BF使用模拟,以规避评价的棘手的可能性,并比较它们与现有的方法。在某些情况下,我们观察到使用有偏权重估计的优势。这类方法的理论和经验性质的初步调查。使用有偏估计的一些支持,但我们主张谨慎使用这种估计。
2016-01-20 physics.data-an stat.CO stat.ME
Nonparametric Bayesian Density Modeling with Gaussian Processes
我们提出了高斯过程密度采样器(GPDS),用于非参数贝叶斯密度估计的可交换生成模型。从GPDS中提取的样本与来自由密度定义的分布的精确独立样本一致,该密度是从高斯过程先验中提取的函数的变换。我们的配方允许我们推断一个未知的密度从数据使用马尔可夫链蒙特卡罗,它给出了样本的后验分布的密度函数和数据空间上的预测分布。我们描述了两种这样的MCMC方法。这两种方法也允许推断的超参数的高斯过程。
2009-12-24 math.ST stat.CO stat.TH
A general Bayesian bootstrap for censored data based on the beta-Stacy process
我们介绍了一种新的程序进行贝叶斯非参数推断与右删失数据,\emph{beta-Stacy bootstrap}。这近似于生存分布总结的后验法则(例如平均生存时间)。更确切地说,我们的程序近似的联合后验法的β-斯泰西过程,非参数过程之前,广义的狄利克雷过程,并广泛用于生存分析的泛函。beta-Stacy bootstrap推广并统一了其他常见的贝叶斯bootstrap,用于基于非参数先验的完整或删失数据。它由精确采样算法定义,不需要调整马尔可夫链蒙特卡罗步骤。我们通过分析来自真实临床试验的生存数据来说明β-Stacy自助法。
2021-11-16 math.ST stat.CO stat.ME