Approximate Bayesian inference from noisy likelihoods with Gaussian process emulated MCMC
提出用高斯过程模拟Metropolis-Hastings采样进程的近似贝叶斯推断框架,在有限噪声似然评估下实现高效且鲁棒的推断。
2023-08-31 stat.CO stat.ME stat.ML
Automatic Posterior Transformation for Likelihood-Free Inference
Technical University of Munich(慕尼黑工业大学)
如何在具有棘手似然性的随机模拟器上执行贝叶斯推理?最近的一种方法是使用基于神经网络的条件密度估计器从自适应提出的模拟中学习后验。然而,现有的方法限于一个狭窄的范围内的建议分布或需要重要性加权,可以限制在实践中的性能。在这里,我们提出了自动后验变换(APT),一个新的顺序神经后验估计方法,基于模拟的推理。APT可以使用任意的、动态更新的建议来修改后验估计,并且与强大的基于流的密度估计器兼容。它比以前的基于仿真的推理技术更灵活,可扩展性和效率。APT可以直接对高维时间序列和图像数据进行操作,为无似然推理开辟了新的应用。
2019-05-17 cs.LG stat.ML
Misspecification-robust likelihood-free inference in high dimensions
针对高维参数空间中基于ABC的无似然推断挑战,本文扩展基于贝叶斯优化的方法,通过参数专属采集函数与差异及指数损失似然,实现计算可扩展性与误设定鲁棒性,在100维空间及细菌传播模型拟合中表现优异。
2025-02-14 stat.CO stat.ME stat.ML
Bayesian Optimization for Likelihood-Free Inference of Simulator-Based Statistical Models
我们的论文涉及推断基于模拟器的统计模型给出了一些观察到的数据。基于模拟器的模型是一种参数化机制,它指定了数据如何生成。因此,它也被称为生成模型。我们假设只有有限数量的参数是感兴趣的,并允许生成过程是非常一般的,它可能是一个嘈杂的非线性动力系统与一个不受限制的隐变量的数量。这种弱假设对于设计现实模型是有用的,但它使统计推断非常困难。主要的挑战是似然函数的难处理性。已经提出了几种无似然推理方法,它们的基本思想是通过找到模拟数据和观测数据之间的差异很小的值来识别参数。使用这些方法的一个主要障碍是它们的计算成本。成本很大程度上是由于需要重复模拟数据集,以及缺乏有关参数如何影响差异的知识。我们提出了一种策略,结合概率建模的差异与优化,以促进似然自由推理。该策略是使用贝叶斯优化实现的,并通过减少所需的模拟的数量由几个数量级的加速推理。
2015-12-31 stat.CO stat.ME stat.ML
Efficient Bayesian Inference for Spatial Point Patterns Using the Palm Likelihood
North Carolina State University(北卡罗来纳州立大学);Department of Statistics, North Carolina State University(北卡罗来纳州立大学统计系)
本文提出在贝叶斯框架下利用 Palm 似然进行空间点模式推断,并通过两种校准方法修正后验覆盖不足问题,在保证统计性能的同时显著提升计算效率。
2026-09-29 stat.CO stat.ME
Robust Generalised Bayesian Inference for Intractable Likelihoods
广义贝叶斯推断使用损失函数而不是似然更新先验信念,因此可以用于赋予针对可能的似然错误指定的鲁棒性。在这里,我们认为广义贝叶斯推断与斯坦差异作为一个损失函数,动机的应用程序中的可能性包含一个棘手的归一化常数。在这种情况下,斯坦差异规避评价的归一化常数,并产生广义后验,要么是封闭的形式或使用标准的马尔可夫链蒙特卡罗访问。在理论层面上,我们表现出一致性,渐近正态性和偏置鲁棒性的广义后验,突出这些属性是如何影响的选择斯坦差异。然后,我们提供了一系列的棘手的分布,包括应用基于核的指数族模型和非高斯图形模型的数值实验。
2022-01-11 math.ST stat.CO stat.ME
Likelihood-free inference with emulator networks
Uber(优步)
近似贝叶斯计算(ABC)提供了在基于模拟的随机模型中进行贝叶斯推断的方法,这些随机模型不允许易处理的可能性。我们提出了一种新的ABC方法,它使用概率神经仿真器网络来学习模拟数据的合成似然性-既有局部仿真器,它近似于特定观测数据的可能性,也有适用于一系列数据的全局仿真器。使用采集函数自适应地选择模拟,该采集函数考虑了感兴趣的后验分布或仿真器参数的不确定性。我们的方法不依赖于用户定义的拒绝阈值或距离函数。我们说明推理与仿真器网络上的合成的例子和生物物理神经元模型,并表明,仿真器允许准确和有效的推理,即使在高维的问题,这是传统的ABC方法的挑战。
2019-05-20 cs.LG stat.ML
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程(GP)的方法来近似未知参数和数据的联合分布。特别是,我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后,我们提供了一个自适应算法来构建这样的近似,其中使用主动学习方法来选择设计点。数值例子表明,该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Likelihood-Free Inference with Deep Gaussian Processes
Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);University of Oslo(奥斯陆大学);University of Helsinki(赫尔辛基大学);University of Manchester(曼彻斯特大学)
近年来,代理模型已成功地用于似然自由推理,以减少模拟器评估的数量。目前,这项任务的最先进的性能已经实现了贝叶斯优化与高斯过程(GP)。虽然这种组合对于单峰目标分布效果很好,但它限制了贝叶斯优化的灵活性和适用性,从而更普遍地加速了无可能性推理。我们提出了一个深度高斯过程(DGP)的代理模型,可以处理更多的不规则行为的目标分布来解决这个问题。我们的实验显示了DGP如何在具有多峰分布的目标函数上优于GP,并在单峰情况下保持相当的性能。这证实了DGP作为代理模型可以扩展贝叶斯优化的无似然推理(BOLFI)的适用性,同时增加计算开销,对于计算密集型模拟器来说仍然可以忽略不计。
2021-10-05 cs.LG stat.ML
ELFI: Engine for Likelihood-Free Inference
Engine for Likelihood-Free Inference(ELFI)是一个Python软件库,用于执行Likelihood-Free Inference(LFI)。ELFI提供了一种方便的语法,用于将LFI中的组件(如先验、模拟器、摘要或距离)排列到称为ELFI图的网络。这些组件可以用多种语言实现。独立的ELFI图可以与任何可用的推理方法一起使用而无需修改。在ELFI中实现的一个中心方法是似然自由推理(BOLFI)的贝叶斯优化,最近已被证明可以通过对距离进行代理建模来将似然自由推理加速到几个数量级。ELFI还内置了对输出数据存储的支持,以供重用和分析,并支持从多个核心到集群环境的并行计算。ELFI被设计为可扩展的,并提供扩展其功能的接口。这使得向ELFI添加新的推理方法变得简单,并自动与内置功能兼容。
2018-07-05 cs.MS stat.CO stat.ML
Sequential Likelihood-Free Inference with Neural Proposal
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of Seoul(首尔市立大学);ioCrops(ioCrops公司);EWHA Womans University(梨花女子大学)
无似然估计的贝叶斯推断或无似然推理,一直是仿真研究中的一个关键研究课题,用于在真实世界数据集上获得定量验证的仿真模型。由于可能性评估是不可访问的,以前的论文训练摊销神经网络估计地面真实后验的模拟兴趣。以顺序方式交替训练网络和积累数据集可以节省数量级的总模拟预算。在数据累积阶段,在总模拟预算的一部分内选择新的模拟输入以在收集的数据集上累积。这种新积累的数据退化,因为模拟输入的集合几乎没有混合,并且这种退化的数据收集过程破坏了后验推理。本文介绍了一种新的采样方法,称为神经建议(NP),解决了有偏见的数据收集,因为它保证了独立同分布的模拟输入。取样.实验表明,我们的采样器的性能有所改善,特别是对多模态后验的模拟。
2022-11-04 cs.AI cs.LG stat.ME
Adversarial Likelihood-Free Inference on Black-Box Generator
KAIST(韩国科学技术院)
生成对抗网络(GAN)可以被视为数据分布的隐式估计器,并且这种观点激励在黑盒生成器的真实输入参数估计中使用对抗概念。虽然以前的工作中的似然自由推理介绍了一个隐式的建议分布的发电机输入,本文分析了理论上的局限性的建议分布方法。最重要的是,我们引入了一种新的算法,对抗似然自由推理(ALFI),以减轻分析的局限性,因此ALFI能够找到黑盒生成模型输入参数的后验分布。我们用不同的仿真模型以及预训练的统计模型对ALFI进行了实验,我们发现ALFI在有限的仿真预算下实现了最佳的参数估计精度。
2020-06-11 cs.LG stat.ML
Bayesian Synthetic Likelihood
本文介绍贝叶斯合成似然(BSL)方法,用于似然不可计算但可模拟的模型中的后验推断,并概述其可扩展稳健的扩展。
2023-05-10 stat.CO stat.ME
Bayesian inference for Gibbs random fields using composite likelihoods
吉布斯随机场在统计学中起着重要的作用,例如,自逻辑模型通常用于对定义在网格上的二进制变量的空间分布建模。然而,由于似然函数的复杂性,它们的工作是复杂的。因此,考虑对似然函数的易处理的近似是很自然的。复合似然提供了一个原则性的方法来构建这样的近似。本文的贡献是研究的性能的一组复合似然近似的背景下,贝叶斯推断。
2012-07-24 stat.CO
Bayesian and Maximum Likelihood Estimation for Gaussian Processes on an Incomplete Lattice
本文提出了一种新的方法来估计大格点上具有缺失值的平稳高斯过程的贝叶斯和极大似然参数估计。我们提出了一个MCMC方法的贝叶斯推断,和极大似然推理的蒙特卡罗期望最大化算法。我们的方法使用数据增广和循环嵌入的协方差阵,并提供精确的推断参数和缺失数据。使用模拟数据和应用卫星海洋表面温度在太平洋,我们表明,我们的方法提供了准确的推断尺寸高达512 × 512的格子,并优于两个流行的方法:复合似然和谱近似。
2014-02-18 stat.CO stat.ME
Weakly informative priors and prior-data conflict checking for likelihood-free inference
贝叶斯无似然推理(Bayesian likelihood free inference)是一种在似然性难以处理的情况下进行贝叶斯推断的方法,具有越来越多的重要科学应用。然而,贝叶斯分析的许多方面在无可能性设置中变得更具挑战性。其中一个例子是先验数据冲突检查,其目标是评估数据中的信息和先验信息是否不一致。这种冲突是重要的检测,因为它们可能会揭示问题,在调查人员的理解是什么相关的参数值,并可能导致贝叶斯推断的灵敏度的先验。在这里,我们考虑的方法是适用的,无论可能性是否是易处理的或没有的先验数据冲突检查。在构造我们的检查时,我们考虑基于先验到后验库尔贝克-莱布勒散度的检查统计量。使用混合物近似的后验分布和封闭形式的近似库尔贝克-莱布勒散度的混合物,这使得蒙特卡罗近似的参考分布校准计算可行的检查。当先验数据发生冲突时,在备选分析中考虑弱信息先验规范是有用的,作为敏感性分析的一部分。作为我们的方法的一个主要应用,我们开发了一种技术,用于搜索弱信息先验的似然自由推理,弱信息先验的概念是正式使用先验数据冲突检查。该方法在三个例子中证明。
2022-02-21 stat.CO stat.ME
MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories
Laboratoire de Physique de l’École normale supérieure(巴黎高等师范学院物理实验室);CNRS(法国国家科学研究中心);PSL University(巴黎文理研究大学);Sorbonne Université(索邦大学);Université Paris Cité(巴黎西岱大学);Max Planck Institute for Dynamics and Self-organization(马克斯·普朗克动力学与自组织研究所);University of Washington(华盛顿大学);Fred Hutchinson Cancer Research Center(弗雷德·哈钦森癌症研究中心)
基于模拟的推理使得即使在实际中无法计算模型的可能性时也能够学习模型的参数。一类方法使用不同参数模拟的数据来推断似然证据比模型,或等效的后验函数。在这里,我们框架的推理任务作为一个估计的能量函数参数化的人工神经网络。我们提出了一种直观的方法,通过最大化模拟数据的可能性来找到似然证据比的最佳模型。在这个框架内,基于模拟的推理和互信息最大化的任务之间的连接是明确的,我们展示了几个已知的方法后估计涉及到替代下界互信息。这些不同的目标函数针对相同的最佳能量形式,因此可以直接进行基准测试。我们比较了它们在模型参数推断中的准确性,重点关注四个动力系统,这些动力系统包括时间序列分析中的常见挑战:乘性噪声驱动的动力学,非线性相互作用,混沌行为和高维参数空间。
2022-04-08 cs.LG stat.ML
Normalizing Flow Regression for Bayesian Inference with Offline Likelihood Evaluations
University of Helsinki(赫尔辛基大学);Washington University in St. Louis(圣路易斯华盛顿大学)
针对计算成本高昂的似然评估下的贝叶斯推理挑战,提出归一化流回归(NFR)离线推理方法,通过对数密度评估回归直接生成可处理后验近似,在合成基准和实际应用中表现优异。
2025-04-15 cs.LG stat.ML
Bayesian Inference from Composite Likelihoods, with an Application to Spatial Extremes
复合似然越来越多地用于完全似然在分析上未知或计算上禁止的应用中。虽然最大合成似然估计具有类似于通常的极大似然估计的频率论性质,但基于合成似然的贝叶斯推断还有待探索。在本文中,我们研究使用梅特罗波利斯-黑斯廷斯算法来计算基于复合似然的伪后验分布。提出了两种调整算法的方法,并使用模拟数据集和实际降雨空间极值数据研究了它们在逼近真实后验分布方面的性能。
2011-07-06 math.ST stat.ME stat.TH
On asymptotic validity of naive inference with an approximate likelihood
许多统计模型的似然性是难以处理的:精确计算似然性是不可能的,或者太昂贵了。在这种情况下,一种常见的方法是用近似值代替可能性,并继续进行推理,就好像近似可能性是确切的可能性一样。在本文中,我们描述的近似似然的条件,保证这种天真的近似似然推断具有相同的一阶渐近性质的推断与确切的可能性。我们调查的影响,这些结果的推断使用拉普拉斯近似的可能性在一个简单的两级潜变量模型,并使用减少依赖近似的可能性在伊辛模型的格子。
2016-11-22 math.ST stat.TH
Robust Approximate Bayesian Inference with Synthetic Likelihood
贝叶斯合成似然(BSL)是一种用于在模型中进行近似贝叶斯推断的成熟方法,其中,由于似然函数的棘手性,精确贝叶斯方法要么是不可行的,要么是计算量太大。BSL应用中隐含的假设是,数据生成过程(DGP)可以生成模拟汇总统计量,以捕获观察到的汇总统计量的行为。我们证明,如果实际和假设的DGP之间的兼容性不满足,即,如果模型被错误指定,BSL会产生不可靠的参数推断。为了规避这个问题,我们提出了一个新的BSL方法,可以检测模型的误指定的存在,并同时提供有用的推论,即使在显着的模型误指定。两个模拟和两个真实数据的例子证明了这种新的方法BSL的性能,并证明其优越的精度比标准BSL时,假设的模型是错误的。
2020-06-11 stat.AP stat.CO stat.ME
Regularized Exponentially Tilted Empirical Likelihood for Bayesian Inference
The Ohio State University(俄亥俄州立大学)
本文提出正则化指数倾斜经验似然方法,通过引入连续指数族分布和正则化技术,解决后验域为原参数空间子集的问题,提升有限样本性能。
2026-10-05 stat.ME
A partial likelihood approach to tree-based density modeling and its application in Bayesian inference
本文提出用Cox偏似然解决基于树的贝叶斯密度建模中数据依赖划分导致的数据双重使用问题,在保持推断一致性的同时提升估计精度和计算效率。
2025-04-10 math.ST stat.CO stat.ME
Inverse Gaussian Process regression for likelihood-free inference
在这项工作中,我们考虑贝叶斯推断问题与棘手的似然函数。我们提出了一种方法来计算一个近似的后验与有限数量的模型模拟。该方法的特征在于逆高斯过程回归(IGPR),即,在该方法中,我们提供了一个自适应算法与回火过程来构造边缘后验分布的近似。通过算例,我们证明了IGPR与一些常用算法相比具有竞争力的性能,特别是在统计稳定性和计算效率方面,而付出的代价是它只能计算边缘后验的加权高斯近似。
2021-02-21 stat.CO stat.ME
Likelihood-Free Inference in State-Space Models with Unknown Dynamics
Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);University of Oslo(奥斯陆大学);University of Birmingham(伯明翰大学);University of Manchester(曼彻斯特大学)
无似然推理(LFI)已成功地应用于状态空间模型,其中观测值的似然不可用,但可以使用黑盒模拟器生成的合成观测值进行推理。然而,到目前为止,大部分的研究已被限制的情况下,其中的状态转移动力学模型可以预先制定和模拟预算是不受限制的。这些方法无法解决的问题时,模拟的状态推断是计算昂贵的马尔可夫状态转换动力学是不确定的。在这篇手稿中提出的方法,使LFI的状态与有限数量的模拟,通过估计的过渡动力学,并使用状态预测作为模拟的建议。在非平稳用户模型的实验中,所提出的方法表现出显着的改善,在状态推断和预测的准确性,其中多输出高斯过程用于状态的LFI,和贝叶斯神经网络作为过渡动态的代理模型。
2023-02-20 cs.LG stat.ML
Bayesian optimisation for fast approximate inference in state-space models with intractable likelihoods
本文研究了具有难处理似然的非线性状态空间模型的近似贝叶斯参数推断问题。具有近似贝叶斯计算的序贯蒙特卡罗(SMC-ABC)是一种用于近似这种类型的模型中的可能性的方法。然而,这种近似可能是有噪声的并且计算成本高,这阻碍了使用基于优化和蒙特卡罗方法的标准方法的有效实现。我们提出了一种计算效率高的新方法的基础上结合高斯过程优化和SMC-ABC创建一个拉普拉斯近似的棘手后。我们将所提出的算法用于随机波动率模型的推理,同时使用合成数据和真实数据,以及使用Copula模型估计两个投资组合的风险价值。我们的文件之间的一个和两个数量级的速度相比,国家的最先进的后验推理算法。
2017-06-13 q-fin.RM stat.CO stat.ML
Expectation-Propagation for Bayesian Empirical Likelihood Inference
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);School of Mathematics and Statistics, The University of Melbourne(墨尔本大学数学与统计学院)
本文提出基于期望传播的变分方法近似贝叶斯经验似然后验,解决其计算挑战,在小样本下实现更优成本-精度权衡,且理论上近似与目标后验渐近等价。
2026-08-05 stat.CO stat.ME
Efficient Multifidelity Likelihood-Free Bayesian Inference with Adaptive Computational Resource Allocation
无似然贝叶斯推断算法是用于校准复杂随机模型的参数的流行方法,当观察数据的似然性难以处理时需要。这些算法的特点是严重依赖于重复的模型模拟。然而,每当模拟的计算成本甚至是适度昂贵的,显着的负担所产生的似然自由算法离开他们在许多实际应用中是不可行的。已经引入了多保真度方法(最初是在近似贝叶斯计算的上下文中),通过使用模拟计算上便宜的近似模型代替感兴趣的模型所提供的信息,来减少无可能性推理的模拟负担,而不损失准确性。这项工作的第一个贡献是证明多保真度技术可以应用于一般的似然自由贝叶斯推断设置。在不同的保真度水平的模拟计算资源的最佳分配的分析结果,并随后实际实施。我们提供了一个自适应的多保真度似然自由推理算法,学习模型之间的关系,在不同的精度,并相应地适应资源分配,并证明该算法产生后验估计与接近最佳的效率。
2021-12-22 q-bio.QM stat.CO
Bayesian Inference via Approximation of Log-likelihood for Priors in Exponential Family
Linköping University(林雪平大学);Middle East Technical University(中东技术大学)
本文提出了一种基于似然函数对数的泰勒级数逼近的贝叶斯推理方法。建议的近似设计的情况下,先验分布属于指数分布族。将似然函数的对数关于指数族先验分布的充分统计量进行线性化,使得后验分布与先验分布具有相同的指数族形式。该方法与非线性滤波的扩展卡尔曼滤波器的相似之处。此外,推导出用于目标模型的扩展目标测量更新,其中目标范围由具有逆Wishart分布的随机矩阵表示。近似更新涵盖了测量扩展是由于目标范围以及传感器中的测量噪声引起的重要情况。
2015-10-05 cs.LG stat.ML
Variational methods for simulation-based inference
University of Tübingen(图宾根大学)
我们提出了顺序神经变分推断(SNVI),一种在具有难以处理的可能性的模型中执行贝叶斯推断的方法。SNVI将似然估计(或似然比估计)与变分推断相结合,以实现基于可扩展仿真的推理方法。SNVI保持了似然(-比)估计的灵活性,允许任意的模拟建议,同时提供了一个功能估计的后验分布,而不需要MCMC采样。我们提出了几个变种的SNVI,并证明他们是更大的计算效率比以前的算法,没有损失的准确性基准任务。我们将SNVI应用于螃蟹幽门网络的神经科学模型,并证明它可以推断出后验分布,比以前报道的模拟少一个数量级。SNVI极大地降低了基于仿真的推理的计算成本,同时保持了准确性和灵活性,使得解决以前无法解决的问题成为可能。
2022-10-19 cs.LG stat.ML
Generalised Bayesian Inference for Discrete Intractable Likelihood
针对离散不可处理似然,提出基于离散Fisher散度的一般化贝叶斯推断方法,绕过归一化常数,实现低计算成本的后验采样与校准。
2023-09-01 math.ST stat.CO stat.ME
Bayesian inference using synthetic likelihood: asymptotics and adjustments
在涉及复杂模型的应用中,实现贝叶斯推断通常在计算上具有挑战性,有时计算可能性本身也很困难。当可能性难以处理时,合成可能性是一种进行推理的方法,但从模型进行模拟是直接的。该方法通过将向量汇总统计量视为多变量正态分布来构建近似似然,其中未知均值和协方差阵通过模拟对任何给定参数值进行估计。本文有三个贡献。第一个表明,如果汇总统计量满足中心极限定理,则合成似然后验是渐近正态的,并产生具有正确频率覆盖水平的可信集。这一结果与近似贝叶斯计算结果相似。第二个贡献比较贝叶斯合成似然和近似贝叶斯计算的计算效率使用的接受概率拒绝和重要性抽样算法与"好"的建议分布。我们表明,贝叶斯合成似然比近似贝叶斯计算更有效的计算,并表现出类似的回归调整近似贝叶斯计算。基于渐近结果,第三个贡献,提出使用调整的推断方法时,可能误指定的形式,假定为合成似然的协方差阵,如对角或因子模型,以加快计算。该方法说明了一些模拟和真实的例子。
2021-03-12 stat.CO
Pseudo-marginal Inference for CTMCs on Infinite Spaces via Monotonic Likelihood Approximations
可数无限空间上连续时间马尔可夫链(CTMC)的贝叶斯推断是出了名的困难,因为精确地评估似然是棘手的。解决这一挑战的一种方法是首先建立一个非负的和无偏估计的可能性-涉及矩阵指数的有限截断的真实率矩阵-然后使用的估计在一个伪边际推理方法。在这项工作中,我们表明,我们可以显着提高这种方法的效率,通过避免精确的矩阵指数的计算。特别是,我们开发了一个通用的方法来构建一个无偏的,非负的估计的可能性,使用双单调矩阵指数近似。我们进一步开发了一种新的近似在这个家庭-的骨架-以及理论,关于其近似误差,以及如何涉及到伪边缘推理中使用的估计的方差。实验结果表明,我们的方法产生更有效的后验推理的各种CTMC。
2021-05-28 stat.CO
Spectral likelihood expansions for Bayesian inference
提出了一种贝叶斯推断的谱方法。它追求的是后验概率密度的仿真。出发点是似然函数在正交多项式方面的级数展开。从这个谱似然展开所有感兴趣的统计量可以计算半解析。后验形式上表示为参考密度和多项式基函数的线性组合的乘积。模型证据和后验矩都与展开系数有关。该公式避免了马尔可夫链蒙特卡罗模拟,并允许使用线性最小二乘法代替。从经典统计学和逆建模的简单应用的基础上,讨论和证明了频谱贝叶斯推断的优点和缺点。
2016-04-26 stat.CO
Spectral domain likelihoods for Bayesian inference in time-varying parameter models
本文研究时变参数模型贝叶斯推断中频域似然近似的有限样本精度,通过三个模拟研究评估多种频域似然函数,并在鸡蛋价格数据上加以验证。
2024-11-21 stat.ME
Detecting conflicting summary statistics in likelihood-free inference
贝叶斯无似然方法使用来自模型的数据的模拟来实现贝叶斯推断,以代替难以处理的似然评估。大多数无似然推断方法在执行贝叶斯推断之前用汇总统计量替换完整的数据集,并且该统计量的选择通常是困难的。出于计算原因,汇总统计量应该是低维的,同时保留尽可能多的参数信息。使用最近的想法,从可解释的机器学习文献,我们开发了一些基于回归的诊断方法,这是有用的检测时,不同部分的汇总统计向量包含冲突的信息模型参数。这种冲突使汇总统计量的选择复杂化,检测它们可以洞察模型的缺陷并指导模型改进。开发的诊断方法是基于回归方法的似然自由推理,其中回归模型估计后验密度使用汇总统计作为功能。在回归模型中删除和插补部分汇总统计量向量可以消除汇总统计量子集的冲突和近似后验分布。在删除和插补之后,估计后验密度的变化大于预期,这可能表明感兴趣的推断受到影响的冲突。新方法的实用性证明了在一些真实的例子。
2020-10-15 stat.ME
Inherent Difficulties of Non-Bayesian Likelihood-based Inference, as Revealed by an Examination of a Recent Book by Aitkin
几十年来,统计学家一直试图在不打破贝叶斯鸡蛋的情况下准备贝叶斯煎蛋卷;也就是说,在不依赖信息丰富的先验分布的情况下获得基于概率似然的推断。最近的一个例子是Murray Aitkin的新书《{ \em统计推断}》,其中提出了一种基于竞争模型下可能性的后验分布比较的统计假设检验方法。Aitkin通过一些简单的例子,从iid数据和双向独立性测试中推断出他的方法。我们在这份说明中分析了其中采用的推理范式的一些后果,讨论了为什么这种方法是不兼容的贝叶斯的角度来看,为什么我们不认为它相关的应用工作。
2011-11-06 stat.ME stat.OT
Covariance shrinkage for cosmological inference with Sellentin-Heavens-type likelihoods
University of Campania “Luigi Vanvitelli”(坎帕尼亚路易吉·凡维泰利大学)
研究在有限模拟样本下协方差矩阵的收缩正则化方法,提出将收缩强度作为辅助推断量并边缘化其不确定性,以改进参数后验校准。
2026-06-18 astro-ph.CO astro-ph.IM stat.ME
Semiparametric inference in mixture models with predictive recursion marginal likelihood
预测递推算法是混合模型中混合密度非参数估计的一种精确且计算效率高的算法。然而,在半参数混合模型中,该算法无法考虑额外的未知结构参数中的任何不确定性。作为现有的配置文件似然方法的替代方案,我们把预测递归作为一个过滤器近似拟合完全贝叶斯模型,从而出现的结构参数的近似边际似然,并可用于推理。我们称之为预测递归边际似然。预测递归下的模型误指定的收敛特性也导致了这个新的过程有吸引力的建设。我们证明了这个边缘似然函数的规范化版本的逐点收敛。仿真结果比较了这种新的边缘似然方法的性能,现有的轮廓似然方法以及Dirichlet过程混合物的密度估计。混合效应模型和经验贝叶斯多重检验应用在时间序列分析也被认为是。
2011-06-16 math.ST stat.ME stat.TH
Bayesian inference, model selection and likelihood estimation using fast rejection sampling: the Conway-Maxwell-Poisson distribution
似然函数模型的贝叶斯推断是现代统计学中一组具有挑战性的问题。在这项工作中,我们分析了康威-麦克斯韦-泊松(COM-泊松)分布,两个参数的推广的泊松分布。COM-泊松回归建模允许灵活地将离散计数数据建模为具有COM-泊松响应的广义线性模型(GLM)的一部分,其中外源协变量控制响应的平均值和离散水平。COM泊松回归的主要困难是,似然函数包含多个棘手的归一化常数,是不服从标准的推理和MCMC技术。最近Chanialdaughter等人的工作。(2017)已经看到了一个采样器的发展,使用拒绝抽样算法从COM泊松似然中提取随机变量。我们提供了一个新的拒绝抽样COM-泊松分布,显着减少所需的CPU时间进行推断COM-泊松回归模型。这项工作的一个新的扩展表明,对于任何棘手的似然函数与相关的拒绝采样器,有可能构建无偏估计量估计的棘手的似然证明有用的模型选择或用于伪边缘MCMC算法(Andrieu和罗伯茨,2009年)。我们展示了所有这些方法在现实世界的收购出价数据集。
2020-07-10 stat.CO
Pooling information in likelihood-free inference
本文提出一种池化后验方法,通过最优组合多个似然无涉推断后验,避免选择单一汇总统计量或特定LFI算法,并给出理论保证与基准实验验证。
2025-06-05 math.ST stat.CO stat.ME
Likelihood-free Posterior Density Learning for Uncertainty Quantification in Inference Problems
The Ohio State University(俄亥俄州立大学)
KASPE通过深度学习直接重建观测数据与后验分布映射,提升复杂推断问题中的不确定性量化效率。
2026-11-06 stat.ME
Importance sampling squared for Bayesian inference in latent variable models
我们考虑贝叶斯推断时,重要性抽样的可能性是分析棘手的,但可以无偏估计。我们将此过程称为重要性抽样平方(IS 2),因为我们通常可以通过重要性抽样来估计可能性本身。我们提供了一个正式的理由重要性抽样时,估计的可能性和研究其收敛特性。我们分析的影响,估计的可能性推断,并提供指导方针,如何建立的精度的可能性估计,以获得最佳的权衡?计算成本和模型参数后验推断的准确性之间的关系。我们举例说明的过程中的经验应用的广义多项logit模型和随机波动率模型。结果表明,在最优实现下,IS2方法可以得到快速准确的后验推理。
2016-07-24 stat.ME
Composite likelihood inference in a discrete latent variable model for two-way "clustering-by-segmentation" problems
我们考虑一个离散的潜在变量模型的双向数据阵列,它允许一个同时产生集群沿一个数据维度(例如可交换的观测单位或功能)和连续的组,或段,沿其他(例如连续排序的时间或位置)。该模型依赖于一个隐马尔可夫结构,但由于其复杂性,不能完全最大似然估计。因此,我们引入复合似然方法的基础上考虑不同的数据子集。所提出的方法说明了模拟,并与基因组数据的应用程序。
2015-06-27 math.ST stat.ME stat.TH
Calibration of conditional composite likelihood for Bayesian inference on Gibbs random fields
Université Montpellier(蒙彼利埃大学);University College Dublin(都柏林大学学院)
本文提出了一种校准方法,用于通过复合似然进行Gibbs随机场的贝叶斯推断,通过实例验证了该方法的有效性。
2015-11-18 math.ST stat.CO stat.TH
Calibrated Bayesian inference for random fields on large irregular domains using the debiased spatial Whittle likelihood
针对空间数据Whittle似然存在偏差的问题,提出基于去偏空间Whittle似然并结合复合似然调整的平稳随机场贝叶斯推断方法,在保持准线性计算时间的同时实现了校准良好的后验,并验证了其有效性。
2025-05-29 stat.ME
Multi-objective Bayesian optimization for Likelihood-Free inference in sequential sampling models of decision making
National University of Singapore(新加坡国立大学);Ajou University(亚洲大学)
本文提出MOBOLFI方法,利用多源数据进行似然自由推断,通过多维不一致度建模检测信息冲突并提升参数估计精度。
2025-06-04 stat.AP stat.ME
Bayesian Inference for Discrete Markov Random Fields Through Coordinate Rescaling
University of Amsterdam(阿姆斯特丹大学)
本文提出了一种基于坐标重新缩放的采样方法,用于提高离散马尔可夫随机场中贝叶斯推断的效率和准确性。
2026-10-02 stat.ME
Likelihood-free Bayesian inference for alpha-stable models
$α$ -稳定分布在统计、金融和信号处理工程的许多领域中被用作重尾噪声的模型。然而,在一般情况下,无论是单变量还是多变量$α$ -稳定模型都不承认可以逐点评估的封闭形式密度。这使推理过程复杂化。因此,$α$稳定模型实际上仅限于贝叶斯范式下的单变量设置和经典框架下的双变量模型。在这篇文章中,我们开发了一种新的贝叶斯方法来建模单变量和多变量$α$ -稳定分布的基础上,最近的进展“无似然”的推断。我们提出了一个评估的性能,这个过程中的1,2和3个维度,并提供了一个分析的实际每日货币汇率数据。所提出的方法提供了一个可行的推理方法在一个温和的计算成本。
2009-12-23 stat.CO
Objective Bayes, conditional inference and the signed root likelihood ratio statistic
分析了符号根似然比统计量的贝叶斯性质。一阶概率匹配的条件是通过检查贝叶斯后验和频率统计的手段。二阶匹配条件所示,从匹配的贝叶斯后验和频率方差的均值调整版本的签署根统计。推导并讨论了从属统计量模型中条件概率匹配的条件。
2015-03-19 math.ST stat.TH
Likelihood-Free Inference for Multivariate Generalized Pareto Models
LSCE(气候与环境科学实验室);ESSEC Business School, IDO Dep. and CREAR(欧洲高等商业学院,创新与决策系及CREAR);Université Paris Saclay & ESSEC Business School CREAR(巴黎萨克雷大学及欧洲高等商业学院CREAR);Laboratoire des Sciences du Climat et de l’Environnement, CNRS-CEA-UVSQ-IPSL(气候与环境科学实验室,CNRS-CEA-UVSQ-IPSL)
针对似然函数难处理或支撑离散的多元极值模型,提出两阶段无似然推断方法AW-NBE,结合神经贝叶斯估计与Sinkhorn散度优化,改善参数推断。
2026-05-26 stat.AP
Likelihood ratios and Bayesian inference for Poisson channels
近年来,无限维方法已被引入高斯信道估计。本文的目的是研究类似方法在泊松信道中的应用。特别是,我们使用似然比和离散Malliavin梯度计算泊松信道的贝叶斯估计。该算法适合于通过Monte-Carlo方法进行数值实现。作为应用,我们给出了Guo,Shamai和Verduú最近得到的关于时间连续Poisson信道的输入-输出互信息的一些导数与输入的条件均值估计的公式的一个新的证明.这些结果,然后扩展到混合高斯泊松信道。
2009-02-11 cs.IT math.IT math.ST
Bayesian optimisation for likelihood-free cosmological inference
许多宇宙学模型只有有限数量的感兴趣的参数,但是非常昂贵的数据生成过程和难以处理的似然函数。我们解决的问题,执行无似然贝叶斯推断,从这样的黑盒模拟为基础的模型,在一个非常有限的模拟预算的约束下(通常是几千)。为此,我们采用了一种基于替代参数模型的可能性的方法。传统的方法来近似贝叶斯计算,如无似然拒绝抽样是不切实际的考虑的问题,由于缺乏知识的参数如何影响观测数据和模拟数据之间的差异。作为回应,我们使用了之前在机器学习文献中开发的策略(贝叶斯无似然推理优化,BOLFI),该策略将差异的高斯过程回归与贝叶斯优化相结合,以构建替代曲面,从而主动获取训练数据。我们扩展的方法,通过推导出一个采集函数量身定制的目的,最大限度地减少预期的不确定性的近似后验密度,在参数的方法。由此产生的算法适用于总结高斯信号和推断宇宙学参数的联合光曲线分析超新星数据的问题。我们表明,所需的模拟的数量减少了几个数量级,建议的采集功能产生更准确的后验近似,相比常见的策略。
2018-09-13 astro-ph.CO astro-ph.IM stat.AP
Amortised Likelihood-free Inference for Expensive Time-series Simulators with Signatured Ratio Estimation
University of Oxford(牛津大学);Improbable(Improbable公司);Durham University(杜伦大学)
在自然科学和社会科学中,复杂动力学的仿真模型通常缺乏易于处理的似然函数,使得传统的基于似然的统计推断变得不可能。机器学习的最新进展已经引入了新的算法,用于使用基于二进制分类器的似然比技巧来估计否则难以处理的似然函数。因此,有效的似然近似可以获得良好的概率分类器,可以构建。我们提出了一个核分类器的顺序数据使用路径签名的基础上最近推出的签名内核。我们证明了签名的代表性力量产生了一个高性能的分类器,即使在至关重要的情况下,样本数很低。在这种情况下,我们的方法可以优于复杂的神经网络常见的后验推理任务。
2022-02-23 cs.LG stat.CO stat.ME