Sequential Neural Methods for Likelihood-free Inference
University of Edinburgh(爱丁堡大学)
无似然推理是指当似然函数不能显式计算时的推理,这通常是基于模拟器的模型的情况。大多数文献都是基于样本的“近似贝叶斯计算”方法,但最近的研究表明,基于深度神经条件密度估计的方法可以用更少的模拟获得最先进的结果。神经方法在如何选择运行哪些模拟以及学习什么方面有所不同:近似后验或替代可能性。这项工作提供了这些选择之间的一些直接控制的比较。
2018-11-21 cs.LG stat.ML
Likelihood-Free Gaussian Process for Regression
本文提出无似然高斯过程(LFGP)框架,通过聚类和最大似然估计量的渐近正态性,在无需直接设定似然函数的情况下表示兴趣参数的后验分布,从而减少概率模型假设并降低可扩展问题的计算成本。
2025-07-19 cs.LG stat.ML
Robust Gaussian Process Regression with Huber Likelihood
最简化形式的高斯过程回归假设正态同方差噪声,并利用高斯条件下预测后验分布的分析易处理的均值协方差函数。它的超参数是通过最大化证据来估计的,通常称为II型极大似然估计。不幸的是,基于高斯似然的贝叶斯推断对观测训练数据集中经常存在的离群值不鲁棒。为了克服这个问题,我们提出了一个强大的过程模型,在高斯过程框架与观察数据的似然表示为Huber概率分布。该模型采用基于投影统计的权重来缩放残差,并限制垂直离群值和不良杠杆点对潜在函数估计的影响,同时在高斯和厚尾噪声分布下表现出较高的统计效率。所提出的方法证明了两个现实世界的问题和两个数值例子,使用数据集的加性误差厚尾分布,如学生t,拉普拉斯,和柯西分布。
2023-01-19 stat.AP stat.ML
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然(BSL)的正态分布假设偏差及统计量兼容性需求,结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯,提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
On asymptotic validity of naive inference with an approximate likelihood
许多统计模型的似然性是难以处理的:精确计算似然性是不可能的,或者太昂贵了。在这种情况下,一种常见的方法是用近似值代替可能性,并继续进行推理,就好像近似可能性是确切的可能性一样。在本文中,我们描述的近似似然的条件,保证这种天真的近似似然推断具有相同的一阶渐近性质的推断与确切的可能性。我们调查的影响,这些结果的推断使用拉普拉斯近似的可能性在一个简单的两级潜变量模型,并使用减少依赖近似的可能性在伊辛模型的格子。
2016-11-22 math.ST stat.TH
Adaptive Gaussian process approximation for Bayesian inference with expensive likelihood functions
我们考虑计算密集型似然函数的贝叶斯推断问题。我们提出了一种基于高斯过程(GP)的方法来近似未知参数和数据的联合分布。特别是,我们写的联合密度近似为一个近似的后验密度和一个exponentiated GP代理的产品。然后,我们提供了一个自适应算法来构建这样的近似,其中使用主动学习方法来选择设计点。数值例子表明,该方法具有竞争力的性能对现有的贝叶斯计算方法。
2018-03-14 stat.CO stat.ML
Automatic Posterior Transformation for Likelihood-Free Inference
Technical University of Munich(慕尼黑工业大学)
如何在具有棘手似然性的随机模拟器上执行贝叶斯推理?最近的一种方法是使用基于神经网络的条件密度估计器从自适应提出的模拟中学习后验。然而,现有的方法限于一个狭窄的范围内的建议分布或需要重要性加权,可以限制在实践中的性能。在这里,我们提出了自动后验变换(APT),一个新的顺序神经后验估计方法,基于模拟的推理。APT可以使用任意的、动态更新的建议来修改后验估计,并且与强大的基于流的密度估计器兼容。它比以前的基于仿真的推理技术更灵活,可扩展性和效率。APT可以直接对高维时间序列和图像数据进行操作,为无似然推理开辟了新的应用。
2019-05-17 cs.LG stat.ML
Learning from Summarized Data: Gaussian Process Regression with Sample Quasi-Likelihood
Yuta Shikuri(独立研究者)
针对仅能获取汇总数据(含代表性特征、统计量和计数)的场景,本研究提出基于样本拟似然的高斯过程回归方法,分析近似误差并验证其在空间建模中的有效性。
2025-08-24 cs.LG stat.ML
Maximum Likelihood Estimates for Gaussian Mixtures Are Transcendental
高斯混合模型是经典统计学的核心,广泛应用于信息科学,并具有丰富的数学结构。我们检查他们的最大似然估计通过镜头的代数统计。MLE不是数据的代数函数,因此这些模型没有ML度的概念。似然函数的临界点是超越的,即使是两个单变量高斯的混合,它们的数量也没有限制。
2015-11-30 math.OC math.ST stat.TH
Gaussian Process Pseudo-Likelihood Models for Sequence Labeling
University of Sheffield(谢菲尔德大学);INRIA-ENS(法国国家信息与自动化研究所-巴黎高等师范学校);Indian Institute of Science(印度科学理工学院)
在自然语言处理中出现的几个机器学习问题可以建模为序列标记问题。我们提供基于伪似然近似的高斯过程模型来执行序列标记。高斯过程(GPs)提供了一种贝叶斯方法来在基于内核的框架中学习。伪似然模型使人们能够捕捉长范围的依赖关系的输出组件的序列,而不会成为计算上棘手的。我们使用一个有效的变分高斯近似方法进行推理,在建议的模型。我们还提供了一个迭代算法,可以有效地利用来自相邻标签的信息来执行预测。捕获长程依赖的能力使得所提出的方法适用于广泛的序列标记问题。在序列标记数据集上的数值实验证明了该方法的有效性。
2016-09-21 cs.LG stat.ML
ELFI: Engine for Likelihood-Free Inference
Engine for Likelihood-Free Inference(ELFI)是一个Python软件库,用于执行Likelihood-Free Inference(LFI)。ELFI提供了一种方便的语法,用于将LFI中的组件(如先验、模拟器、摘要或距离)排列到称为ELFI图的网络。这些组件可以用多种语言实现。独立的ELFI图可以与任何可用的推理方法一起使用而无需修改。在ELFI中实现的一个中心方法是似然自由推理(BOLFI)的贝叶斯优化,最近已被证明可以通过对距离进行代理建模来将似然自由推理加速到几个数量级。ELFI还内置了对输出数据存储的支持,以供重用和分析,并支持从多个核心到集群环境的并行计算。ELFI被设计为可扩展的,并提供扩展其功能的接口。这使得向ELFI添加新的推理方法变得简单,并自动与内置功能兼容。
2018-07-05 cs.MS stat.CO stat.ML
Likelihood-Free Inference with Deep Gaussian Processes
Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);University of Oslo(奥斯陆大学);University of Helsinki(赫尔辛基大学);University of Manchester(曼彻斯特大学)
近年来,代理模型已成功地用于似然自由推理,以减少模拟器评估的数量。目前,这项任务的最先进的性能已经实现了贝叶斯优化与高斯过程(GP)。虽然这种组合对于单峰目标分布效果很好,但它限制了贝叶斯优化的灵活性和适用性,从而更普遍地加速了无可能性推理。我们提出了一个深度高斯过程(DGP)的代理模型,可以处理更多的不规则行为的目标分布来解决这个问题。我们的实验显示了DGP如何在具有多峰分布的目标函数上优于GP,并在单峰情况下保持相当的性能。这证实了DGP作为代理模型可以扩展贝叶斯优化的无似然推理(BOLFI)的适用性,同时增加计算开销,对于计算密集型模拟器来说仍然可以忽略不计。
2021-10-05 cs.LG stat.ML
Likelihood-free inference with emulator networks
Uber(优步)
近似贝叶斯计算(ABC)提供了在基于模拟的随机模型中进行贝叶斯推断的方法,这些随机模型不允许易处理的可能性。我们提出了一种新的ABC方法,它使用概率神经仿真器网络来学习模拟数据的合成似然性-既有局部仿真器,它近似于特定观测数据的可能性,也有适用于一系列数据的全局仿真器。使用采集函数自适应地选择模拟,该采集函数考虑了感兴趣的后验分布或仿真器参数的不确定性。我们的方法不依赖于用户定义的拒绝阈值或距离函数。我们说明推理与仿真器网络上的合成的例子和生物物理神经元模型,并表明,仿真器允许准确和有效的推理,即使在高维的问题,这是传统的ABC方法的挑战。
2019-05-20 cs.LG stat.ML
Composite likelihood estimation for a gaussian process under fixed domain asymptotics
本文研究了具有指数协方差函数的一维高斯过程在固定域渐近下的协方差参数估计问题。我们表明,加权成对最大似然估计的微遍历参数可以是一致的或不一致的。这取决于似然优化中的容许参数值的范围。另一方面,加权两两条件极大似然估计总是相容的。当它们是一致的时,这两个估计量也是渐近高斯的。它们的渐近方差大于或严格大于极大似然估计量的渐近方差。为了比较两两似然估计量的有限样本行为及其渐近分布,给出了一个模拟研究。对于更一般的协方差函数,对于方差参数的加权成对最大似然估计量,提供了一个附加的不一致结果。
2019-07-12 math.ST stat.TH
Learning Gaussian Graphical Models With Fractional Marginal Pseudo-likelihood
University of Helsinki(赫尔辛基大学);Åbo Akademi University(奥博学术大学)
我们提出了一个贝叶斯近似推理方法来学习高斯图模型的依赖结构。使用伪似然,我们推导出一个分析表达式来近似的边缘可能性为任意的图形结构,而不调用任何假设的可分解性。大多数用于学习高斯图形模型的现有方法要么限于可分解的图,要么需要指定可能对学习结构产生重大影响的调谐参数。通过结合一个简单的稀疏诱导先验的图形结构与一个默认的参考先验的模型参数,我们得到了一个快速,易于应用的评分功能,即使是高维数据也能很好地工作。我们证明了我们的方法的良好性能,通过大规模的比较,对学习不可分解的高斯图形模型的领先方法。我们的方法提供了一个理论上的理由表明,它会产生一个相合估计量的图结构。
2016-02-25 cs.LG stat.ML
Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
我们提出了一个下界的高斯过程回归模型的对数边际似然,可以计算没有矩阵分解的完整的内核矩阵。我们表明,近似极大似然学习模型参数最大化我们的下限保留了许多稀疏变分方法的好处,同时减少了偏见引入参数学习。我们的界限的基础是一个更仔细的分析出现在对数边际似然的对数行列式项,以及使用共轭梯度的方法来推导出严格的下界的一项涉及二次型。我们的方法是一个统一的方法依赖于下限最大化(例如变分法)和迭代方法的基础上训练高斯过程的共轭梯度的一步。在实验中,与其他基于共轭梯度的方法相比,我们的模型在相当的训练时间内表现出更好的预测性能。
2021-02-16 cs.LG stat.ML
Covariance shrinkage for cosmological inference with Sellentin-Heavens-type likelihoods
University of Campania “Luigi Vanvitelli”(坎帕尼亚路易吉·凡维泰利大学)
研究在有限模拟样本下协方差矩阵的收缩正则化方法,提出将收缩强度作为辅助推断量并边缘化其不确定性,以改进参数后验校准。
2026-06-18 astro-ph.CO astro-ph.IM stat.ME
Likelihood-free inference by ratio estimation
我们考虑的问题时,参数统计推断的可能性计算是昂贵的,但从模型的采样是可能的。已经开发了几种所谓的无似然方法来在没有似然函数的情况下执行推断。流行的合成似然方法通过用高斯概率分布对数据的汇总统计进行建模来推断参数。在另一种称为近似贝叶斯计算的流行方法中,通过识别模拟数据的汇总统计量接近观察数据的汇总统计量的参数值来执行推断。合成似然更容易使用,因为不需要衡量“接近程度”,但高斯假设往往是有限的。此外,这两种方法都需要明智地选择汇总统计数据。在这里,我们提出了一种替代的推理方法,是一样容易使用的合成似然,但不受限制,在其假设,并在一个自然的方式,使自动选择相关的汇总统计量从一个大的候选人。其基本思想是将后验概率的估计问题归结为数据生成分布与边缘分布之间的比值的估计问题。这个问题可以通过逻辑斯谛回归来解决,并且包括正则化惩罚项使得能够自动选择与推理任务相关的汇总统计量。我们说明了规范的例子一般理论,并利用它来执行具有挑战性的随机非线性动力系统和高维汇总统计推断。
2020-09-11 stat.CO stat.ME stat.ML
Bayesian Inference from Composite Likelihoods, with an Application to Spatial Extremes
复合似然越来越多地用于完全似然在分析上未知或计算上禁止的应用中。虽然最大合成似然估计具有类似于通常的极大似然估计的频率论性质,但基于合成似然的贝叶斯推断还有待探索。在本文中,我们研究使用梅特罗波利斯-黑斯廷斯算法来计算基于复合似然的伪后验分布。提出了两种调整算法的方法,并使用模拟数据集和实际降雨空间极值数据研究了它们在逼近真实后验分布方面的性能。
2011-07-06 math.ST stat.ME stat.TH
Scalable Gaussian Process Classification with Additive Noise for Various Likelihoods
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Nanjing University of Science and Technology(南京理工大学)
高斯过程分类(GPC)提供了一个灵活而强大的描述函数空间上的联合分布的统计框架。然而,常规GPC遭受(i)由于完整的内核矩阵而导致的大数据的可扩展性差,以及(ii)由于非高斯似然性而导致的难以处理的推断。因此,已经提出了各种可扩展的GPC,通过(i)稀疏近似建立在一个小的诱导集,以减少时间复杂度;和(ii)近似推理,以获得分析证据下限(ELBO)。然而,这些配备分析ELBO的可扩展GPC受限于特定的可能性或额外的假设。在这项工作中,我们提出了一个统一的框架,可容纳可扩展的GPC使用各种可能性。类似于GP回归(GPR),我们引入加性噪声来增加概率空间(i)GPC与步骤,(多项式)probit和logit似然通过内部变量;特别是,(ii)GPC使用softmax似然通过噪声变量本身。这导致了统一的可扩展GPC与分析ELBO通过使用变分推断。从经验上看,我们的GPC比最先进的可扩展GPC在多达200万个数据点的广泛二进制/多类分类任务中表现出更好的结果。
2019-09-14 cs.LG stat.ML
Adversarial Likelihood-Free Inference on Black-Box Generator
KAIST(韩国科学技术院)
生成对抗网络(GAN)可以被视为数据分布的隐式估计器,并且这种观点激励在黑盒生成器的真实输入参数估计中使用对抗概念。虽然以前的工作中的似然自由推理介绍了一个隐式的建议分布的发电机输入,本文分析了理论上的局限性的建议分布方法。最重要的是,我们引入了一种新的算法,对抗似然自由推理(ALFI),以减轻分析的局限性,因此ALFI能够找到黑盒生成模型输入参数的后验分布。我们用不同的仿真模型以及预训练的统计模型对ALFI进行了实验,我们发现ALFI在有限的仿真预算下实现了最佳的参数估计精度。
2020-06-11 cs.LG stat.ML
Parallel Gaussian process surrogate Bayesian inference with noisy likelihood evaluations
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);University of Edinburgh(爱丁堡大学)
我们考虑贝叶斯推断时,只有有限数量的噪声对数似然评价可以得到。例如,当将复杂的基于模拟器的统计模型拟合到数据时,会发生这种情况,并且使用合成似然(SL)方法来使用计算成本高的前向模拟来形成噪声对数似然估计。我们框架的推理任务作为一个连续的贝叶斯试验设计问题,其中的对数似然函数建模与分层高斯过程(GP)代理模型,这是用来有效地选择额外的对数似然评估位置。最近的进展的相关问题的批量贝叶斯优化的动机,我们开发了各种批量顺序的设计策略,允许并行运行一些潜在的昂贵的模拟。我们从理论和经验上分析了所产生的方法的属性。几个玩具问题和仿真模型的实验表明,我们的方法是强大的,高度并行化,样本效率。
2020-03-06 cs.LG stat.CO stat.ME
Numerical issues in maximum likelihood parameter estimation for Gaussian process interpolation
CNRS(法国国家科学研究中心);Univ. Paris-Saclay(巴黎萨克雷大学);Safran Aircraft Engines(赛峰飞机发动机公司)
本文探讨了高斯过程插值中最大似然参数估计的数值问题,并提出了改进现有开源实现的有效策略,以提高结果的可靠性和可重复性。
2021-07-27 cs.LG stat.CO stat.ML
Bayesian inference for Gibbs random fields using composite likelihoods
吉布斯随机场在统计学中起着重要的作用,例如,自逻辑模型通常用于对定义在网格上的二进制变量的空间分布建模。然而,由于似然函数的复杂性,它们的工作是复杂的。因此,考虑对似然函数的易处理的近似是很自然的。复合似然提供了一个原则性的方法来构建这样的近似。本文的贡献是研究的性能的一组复合似然近似的背景下,贝叶斯推断。
2012-07-24 stat.CO
Robust Generalised Bayesian Inference for Intractable Likelihoods
广义贝叶斯推断使用损失函数而不是似然更新先验信念,因此可以用于赋予针对可能的似然错误指定的鲁棒性。在这里,我们认为广义贝叶斯推断与斯坦差异作为一个损失函数,动机的应用程序中的可能性包含一个棘手的归一化常数。在这种情况下,斯坦差异规避评价的归一化常数,并产生广义后验,要么是封闭的形式或使用标准的马尔可夫链蒙特卡罗访问。在理论层面上,我们表现出一致性,渐近正态性和偏置鲁棒性的广义后验,突出这些属性是如何影响的选择斯坦差异。然后,我们提供了一系列的棘手的分布,包括应用基于核的指数族模型和非高斯图形模型的数值实验。
2022-01-11 math.ST stat.CO stat.ME
Dynamic Likelihood-free Inference via Ratio Estimation (DIRE)
University of Edinburgh(爱丁堡大学)
根据随机数据生成过程隐式定义的参数统计模型用于广泛的科学学科中,因为它们能够进行准确的建模。然而,从观测数据学习参数通常是非常困难的,因为它们的似然函数通常是难以处理的。无似然贝叶斯推断方法已经被提出,其中包括近似贝叶斯计算(ABC),合成似然,其最近的推广,执行无似然推理比估计(LFIRE)的框架。所有这些方法的一个主要困难是选择汇总统计量,减少数据的维数,以便于推断。虽然已经提出了几种方法来选择汇总统计ABC,文献合成似然和LFIRE是非常薄的日期。我们在这里解决这个差距在文献中,专注于重要的特殊情况下的时间序列模型。我们表明,卷积神经网络训练预测输入参数的数据提供合适的汇总统计LFIRE。在广泛的时间序列模型,一个单一的神经网络架构产生同样或更准确的后验比其他方法。
2018-10-23 cs.LG stat.CO stat.ME
Strong consistency of pseudo-likelihood parameter estimator for univariate Gaussian mixture models
Institute of Mathematics and Statistics, University of Tartu(塔尔图大学数学与统计学院)
本文提出一种基于非参数密度估计和L2距离最小化的一元高斯混合模型参数估计新方法,构造伪似然函数并证明其估计量具有强相合性。
2025-10-16 math.ST stat.TH
Classification and Bayesian Optimization for Likelihood-Free Inference
某些统计模型是通过数据生成过程指定的,对于该过程,似然函数不能以封闭形式计算。标准的基于似然的推断是不可行的,但模型参数可以通过找到产生类似于观察数据的模拟数据的值来推断。这种方法至少面临两个主要困难:第一个困难是用于判断模拟数据是否与观测数据相似的差异度量的选择。第二个困难是在参数空间中的差异低的区域的计算有效的识别。我们在这里给我们最近的工作,我们通过分类和贝叶斯优化解决这两个困难的介绍。
2015-02-19 stat.CO stat.ME stat.ML
Bayesian and Maximum Likelihood Estimation for Gaussian Processes on an Incomplete Lattice
本文提出了一种新的方法来估计大格点上具有缺失值的平稳高斯过程的贝叶斯和极大似然参数估计。我们提出了一个MCMC方法的贝叶斯推断,和极大似然推理的蒙特卡罗期望最大化算法。我们的方法使用数据增广和循环嵌入的协方差阵,并提供精确的推断参数和缺失数据。使用模拟数据和应用卫星海洋表面温度在太平洋,我们表明,我们的方法提供了准确的推断尺寸高达512 × 512的格子,并优于两个流行的方法:复合似然和谱近似。
2014-02-18 stat.CO stat.ME
Bayesian optimisation for fast approximate inference in state-space models with intractable likelihoods
本文研究了具有难处理似然的非线性状态空间模型的近似贝叶斯参数推断问题。具有近似贝叶斯计算的序贯蒙特卡罗(SMC-ABC)是一种用于近似这种类型的模型中的可能性的方法。然而,这种近似可能是有噪声的并且计算成本高,这阻碍了使用基于优化和蒙特卡罗方法的标准方法的有效实现。我们提出了一种计算效率高的新方法的基础上结合高斯过程优化和SMC-ABC创建一个拉普拉斯近似的棘手后。我们将所提出的算法用于随机波动率模型的推理,同时使用合成数据和真实数据,以及使用Copula模型估计两个投资组合的风险价值。我们的文件之间的一个和两个数量级的速度相比,国家的最先进的后验推理算法。
2017-06-13 q-fin.RM stat.CO stat.ML
Regularized Exponentially Tilted Empirical Likelihood for Bayesian Inference
The Ohio State University(俄亥俄州立大学)
本文提出正则化指数倾斜经验似然方法,通过引入连续指数族分布和正则化技术,解决后验域为原参数空间子集的问题,提升有限样本性能。
2026-10-05 stat.ME
Efficient Multifidelity Likelihood-Free Bayesian Inference with Adaptive Computational Resource Allocation
无似然贝叶斯推断算法是用于校准复杂随机模型的参数的流行方法,当观察数据的似然性难以处理时需要。这些算法的特点是严重依赖于重复的模型模拟。然而,每当模拟的计算成本甚至是适度昂贵的,显着的负担所产生的似然自由算法离开他们在许多实际应用中是不可行的。已经引入了多保真度方法(最初是在近似贝叶斯计算的上下文中),通过使用模拟计算上便宜的近似模型代替感兴趣的模型所提供的信息,来减少无可能性推理的模拟负担,而不损失准确性。这项工作的第一个贡献是证明多保真度技术可以应用于一般的似然自由贝叶斯推断设置。在不同的保真度水平的模拟计算资源的最佳分配的分析结果,并随后实际实施。我们提供了一个自适应的多保真度似然自由推理算法,学习模型之间的关系,在不同的精度,并相应地适应资源分配,并证明该算法产生后验估计与接近最佳的效率。
2021-12-22 q-bio.QM stat.CO
Marginal likelihood and model selection for Gaussian latent tree and forest models
高斯潜在树模型,或更一般地说,高斯潜在森林模型具有费舍尔信息矩阵,该矩阵沿着有趣的子模型(即对应于子森林的模型)变得奇异。对于这些奇异点,我们计算真实的对数正则阈值(也称为随机复杂度或学习系数),这些阈值量化了贝叶斯推理中边际似然的大样本行为。这提供了所需的信息,最近推出的推广贝叶斯信息标准。我们的数学发展对待拉普拉斯积分的相位函数是单项式和常数之间的平方差的总和的一般设置。我们澄清如何在这种情况下,真正的对数正则阈值可以使用多面体几何计算,我们展示了如何将一般理论与高斯潜在树和森林模型的拉普拉斯积分。在模拟和数据示例中,我们演示了如何将数学知识应用于模型选择。
2015-12-23 math.ST stat.ME stat.ML
Asymptotic properties of the maximum likelihood and cross validation estimators for transformed Gaussian processes
高斯过程协方差参数估计的渐近分析一直是人们研究的热点。然而,这种渐近分析是非常罕见的非高斯过程。本文研究了一类由高斯过程的正则非线性变换得到的非高斯过程。我们提供了增加域渐近性质的(高斯)最大似然和交叉验证估计的协方差参数的非高斯过程的这一类。我们表明,这些估计是一致的,渐近正态的,虽然他们被定义为如果该过程是高斯。它们不需要对非线性变换进行建模或估计。因此,我们的结果可以被解释为(高斯)最大似然和交叉验证对非高斯的鲁棒性。我们的证明依赖于两个技术成果,这是独立的兴趣的空间过程的渐增域渐近文献。首先,我们表明,在温和的假设下,大的协方差阵的逆的系数衰减作为相应的观测位置距离的函数的逆多项式率。其次,我们给出了由变换高斯过程得到的二次型的一般中心极限定理。最后,通过数值模拟说明了我们的渐近结果.
2019-11-25 math.ST stat.TH
Convergence Guarantees for Gaussian Process Means With Misspecified Likelihoods and Smoothness
Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Cambridge(剑桥大学)
高斯过程在机器学习、统计学和应用数学中无处不在。他们提供了一个灵活的建模框架逼近函数,同时量化的不确定性。然而,只有当模型被很好地指定时,这才是正确的,而实际情况往往不是这样。本文研究了当模型的光滑性和似然函数被错误指定时,高斯过程均值的性质。在这种情况下,一个与实际相关的重要理论问题是,考虑到问题的难度、我们的模型和错误指定的程度,高斯过程近似的准确性如何。这个问题的答案是特别有用的,因为它可以告知我们的模型和试验设计的选择。特别是,我们描述了如何的试验设计和选择的内核和内核超参数可以适应,以减轻模型的误指定。
2021-05-18 cs.LG cs.NA math.NA
Likelihood Maximization and Moment Matching in Low SNR Gaussian Mixture Models
在低信噪比条件下,我们得到了具有相等协方差阵的高斯混合模型(GARCH)对数似然的渐近展开。该扩展揭示了两种类型的算法之间的密切联系参数估计:矩量法和似然优化算法,如期望最大化(EM)。我们表明,在低信噪比制度的似然优化减少到一个序列的最小二乘最优化问题,匹配的时刻的估计地面真理的时刻一个接一个。这种联系是一个垫脚石对EM和极大似然估计在广泛的模型分析。低信噪比混合模型的研究的一个激励应用是低温电子显微镜数据,它可以被建模为一个GMM与代数约束施加在混合中心。我们讨论了我们的扩展代数约束Gestival的应用程序,以及其他感兴趣的例子模型。
2020-06-26 math.PR math.ST stat.TH
Inverse Gaussian Process regression for likelihood-free inference
在这项工作中,我们考虑贝叶斯推断问题与棘手的似然函数。我们提出了一种方法来计算一个近似的后验与有限数量的模型模拟。该方法的特征在于逆高斯过程回归(IGPR),即,在该方法中,我们提供了一个自适应算法与回火过程来构造边缘后验分布的近似。通过算例,我们证明了IGPR与一些常用算法相比具有竞争力的性能,特别是在统计稳定性和计算效率方面,而付出的代价是它只能计算边缘后验的加权高斯近似。
2021-02-21 stat.CO stat.ME
Efficient Bayesian Inference for Spatial Point Patterns Using the Palm Likelihood
North Carolina State University(北卡罗来纳州立大学);Department of Statistics, North Carolina State University(北卡罗来纳州立大学统计系)
本文提出在贝叶斯框架下利用 Palm 似然进行空间点模式推断,并通过两种校准方法修正后验覆盖不足问题,在保证统计性能的同时显著提升计算效率。
2026-09-29 stat.CO stat.ME
Bayesian inference using synthetic likelihood: asymptotics and adjustments
在涉及复杂模型的应用中,实现贝叶斯推断通常在计算上具有挑战性,有时计算可能性本身也很困难。当可能性难以处理时,合成可能性是一种进行推理的方法,但从模型进行模拟是直接的。该方法通过将向量汇总统计量视为多变量正态分布来构建近似似然,其中未知均值和协方差阵通过模拟对任何给定参数值进行估计。本文有三个贡献。第一个表明,如果汇总统计量满足中心极限定理,则合成似然后验是渐近正态的,并产生具有正确频率覆盖水平的可信集。这一结果与近似贝叶斯计算结果相似。第二个贡献比较贝叶斯合成似然和近似贝叶斯计算的计算效率使用的接受概率拒绝和重要性抽样算法与"好"的建议分布。我们表明,贝叶斯合成似然比近似贝叶斯计算更有效的计算,并表现出类似的回归调整近似贝叶斯计算。基于渐近结果,第三个贡献,提出使用调整的推断方法时,可能误指定的形式,假定为合成似然的协方差阵,如对角或因子模型,以加快计算。该方法说明了一些模拟和真实的例子。
2021-03-12 stat.CO
Pseudo-marginal Inference for CTMCs on Infinite Spaces via Monotonic Likelihood Approximations
可数无限空间上连续时间马尔可夫链(CTMC)的贝叶斯推断是出了名的困难,因为精确地评估似然是棘手的。解决这一挑战的一种方法是首先建立一个非负的和无偏估计的可能性-涉及矩阵指数的有限截断的真实率矩阵-然后使用的估计在一个伪边际推理方法。在这项工作中,我们表明,我们可以显着提高这种方法的效率,通过避免精确的矩阵指数的计算。特别是,我们开发了一个通用的方法来构建一个无偏的,非负的估计的可能性,使用双单调矩阵指数近似。我们进一步开发了一种新的近似在这个家庭-的骨架-以及理论,关于其近似误差,以及如何涉及到伪边缘推理中使用的估计的方差。实验结果表明,我们的方法产生更有效的后验推理的各种CTMC。
2021-05-28 stat.CO
Inherent Difficulties of Non-Bayesian Likelihood-based Inference, as Revealed by an Examination of a Recent Book by Aitkin
几十年来,统计学家一直试图在不打破贝叶斯鸡蛋的情况下准备贝叶斯煎蛋卷;也就是说,在不依赖信息丰富的先验分布的情况下获得基于概率似然的推断。最近的一个例子是Murray Aitkin的新书《{ \em统计推断}》,其中提出了一种基于竞争模型下可能性的后验分布比较的统计假设检验方法。Aitkin通过一些简单的例子,从iid数据和双向独立性测试中推断出他的方法。我们在这份说明中分析了其中采用的推理范式的一些后果,讨论了为什么这种方法是不兼容的贝叶斯的角度来看,为什么我们不认为它相关的应用工作。
2011-11-06 stat.ME stat.OT
Spectral likelihood expansions for Bayesian inference
提出了一种贝叶斯推断的谱方法。它追求的是后验概率密度的仿真。出发点是似然函数在正交多项式方面的级数展开。从这个谱似然展开所有感兴趣的统计量可以计算半解析。后验形式上表示为参考密度和多项式基函数的线性组合的乘积。模型证据和后验矩都与展开系数有关。该公式避免了马尔可夫链蒙特卡罗模拟,并允许使用线性最小二乘法代替。从经典统计学和逆建模的简单应用的基础上,讨论和证明了频谱贝叶斯推断的优点和缺点。
2016-04-26 stat.CO
Semiparametric inference in mixture models with predictive recursion marginal likelihood
预测递推算法是混合模型中混合密度非参数估计的一种精确且计算效率高的算法。然而,在半参数混合模型中,该算法无法考虑额外的未知结构参数中的任何不确定性。作为现有的配置文件似然方法的替代方案,我们把预测递归作为一个过滤器近似拟合完全贝叶斯模型,从而出现的结构参数的近似边际似然,并可用于推理。我们称之为预测递归边际似然。预测递归下的模型误指定的收敛特性也导致了这个新的过程有吸引力的建设。我们证明了这个边缘似然函数的规范化版本的逐点收敛。仿真结果比较了这种新的边缘似然方法的性能,现有的轮廓似然方法以及Dirichlet过程混合物的密度估计。混合效应模型和经验贝叶斯多重检验应用在时间序列分析也被认为是。
2011-06-16 math.ST stat.ME stat.TH
Spectral domain likelihoods for Bayesian inference in time-varying parameter models
本文研究时变参数模型贝叶斯推断中频域似然近似的有限样本精度,通过三个模拟研究评估多种频域似然函数,并在鸡蛋价格数据上加以验证。
2024-11-21 stat.ME
Existence of penalised likelihood estimates and posterior propriety of separable prior distributions for Gaussian precision matrices
Universitat Pompeu Fabra(庞培法布拉大学);Barcelona School of Economics(巴塞罗那经济学院)
本文分析高维下高斯精度矩阵惩罚似然估计的存在性,给出确保其存在的惩罚函数条件,并拓展至贝叶斯场景,给出确保后验正则的可分离先验分布条件。
2026-08-21 math.ST stat.ME stat.TH
Detecting conflicting summary statistics in likelihood-free inference
贝叶斯无似然方法使用来自模型的数据的模拟来实现贝叶斯推断,以代替难以处理的似然评估。大多数无似然推断方法在执行贝叶斯推断之前用汇总统计量替换完整的数据集,并且该统计量的选择通常是困难的。出于计算原因,汇总统计量应该是低维的,同时保留尽可能多的参数信息。使用最近的想法,从可解释的机器学习文献,我们开发了一些基于回归的诊断方法,这是有用的检测时,不同部分的汇总统计向量包含冲突的信息模型参数。这种冲突使汇总统计量的选择复杂化,检测它们可以洞察模型的缺陷并指导模型改进。开发的诊断方法是基于回归方法的似然自由推理,其中回归模型估计后验密度使用汇总统计作为功能。在回归模型中删除和插补部分汇总统计量向量可以消除汇总统计量子集的冲突和近似后验分布。在删除和插补之后,估计后验密度的变化大于预期,这可能表明感兴趣的推断受到影响的冲突。新方法的实用性证明了在一些真实的例子。
2020-10-15 stat.ME
Robust Approximate Bayesian Inference with Synthetic Likelihood
贝叶斯合成似然(BSL)是一种用于在模型中进行近似贝叶斯推断的成熟方法,其中,由于似然函数的棘手性,精确贝叶斯方法要么是不可行的,要么是计算量太大。BSL应用中隐含的假设是,数据生成过程(DGP)可以生成模拟汇总统计量,以捕获观察到的汇总统计量的行为。我们证明,如果实际和假设的DGP之间的兼容性不满足,即,如果模型被错误指定,BSL会产生不可靠的参数推断。为了规避这个问题,我们提出了一个新的BSL方法,可以检测模型的误指定的存在,并同时提供有用的推论,即使在显着的模型误指定。两个模拟和两个真实数据的例子证明了这种新的方法BSL的性能,并证明其优越的精度比标准BSL时,假设的模型是错误的。
2020-06-11 stat.AP stat.CO stat.ME
Objective Bayes, conditional inference and the signed root likelihood ratio statistic
分析了符号根似然比统计量的贝叶斯性质。一阶概率匹配的条件是通过检查贝叶斯后验和频率统计的手段。二阶匹配条件所示,从匹配的贝叶斯后验和频率方差的均值调整版本的签署根统计。推导并讨论了从属统计量模型中条件概率匹配的条件。
2015-03-19 math.ST stat.TH
Bayesian Synthetic Likelihood
本文介绍贝叶斯合成似然(BSL)方法,用于似然不可计算但可模拟的模型中的后验推断,并概述其可扩展稳健的扩展。
2023-05-10 stat.CO stat.ME
Composite likelihood inference in a discrete latent variable model for two-way "clustering-by-segmentation" problems
我们考虑一个离散的潜在变量模型的双向数据阵列,它允许一个同时产生集群沿一个数据维度(例如可交换的观测单位或功能)和连续的组,或段,沿其他(例如连续排序的时间或位置)。该模型依赖于一个隐马尔可夫结构,但由于其复杂性,不能完全最大似然估计。因此,我们引入复合似然方法的基础上考虑不同的数据子集。所提出的方法说明了模拟,并与基因组数据的应用程序。
2015-06-27 math.ST stat.ME stat.TH
Weakly informative priors and prior-data conflict checking for likelihood-free inference
贝叶斯无似然推理(Bayesian likelihood free inference)是一种在似然性难以处理的情况下进行贝叶斯推断的方法,具有越来越多的重要科学应用。然而,贝叶斯分析的许多方面在无可能性设置中变得更具挑战性。其中一个例子是先验数据冲突检查,其目标是评估数据中的信息和先验信息是否不一致。这种冲突是重要的检测,因为它们可能会揭示问题,在调查人员的理解是什么相关的参数值,并可能导致贝叶斯推断的灵敏度的先验。在这里,我们考虑的方法是适用的,无论可能性是否是易处理的或没有的先验数据冲突检查。在构造我们的检查时,我们考虑基于先验到后验库尔贝克-莱布勒散度的检查统计量。使用混合物近似的后验分布和封闭形式的近似库尔贝克-莱布勒散度的混合物,这使得蒙特卡罗近似的参考分布校准计算可行的检查。当先验数据发生冲突时,在备选分析中考虑弱信息先验规范是有用的,作为敏感性分析的一部分。作为我们的方法的一个主要应用,我们开发了一种技术,用于搜索弱信息先验的似然自由推理,弱信息先验的概念是正式使用先验数据冲突检查。该方法在三个例子中证明。
2022-02-21 stat.CO stat.ME
Sufficiency of a Gaussian power spectrum likelihood for accurate cosmology from upcoming weak lensing surveys
我们调查是否高斯似然是足够的,以获得准确的参数约束从欧几里德弱透镜,星系聚类和它们的互相关的组合层析功率谱分析。测试其性能对Wishart分布,这是高斯场的假设下的确切的可能性,在整个天空中,我们发现高斯似然返回准确的参数约束。这种准确性对似然分析中所做的选择是鲁棒的,包括基准宇宙学的选择、所包括的尺度范围和随机噪声水平。我们将我们的结果扩展到切割天空的联合切割天空的可能性在其边缘分布和依赖结构的额外的非高斯性评估。我们发现,切割天空的可能性是更多的非高斯比全天空的可能性,但在一个水平不足以引入显着的不准确性到使用高斯的可能性获得的参数约束。我们的结果不应该受到高斯场假设的影响,因为这种近似只在小尺度上变得不准确,这反过来又对应于任何非高斯似然性变得可以忽略不计的极限。然而,我们比较N体弱透镜模拟,并没有发现显着的额外的非高斯的可能性的证据。我们的研究结果表明,高斯似然将是足够的强大的参数约束与功率谱从第四阶段弱透镜调查。
2021-02-19 astro-ph.CO astro-ph.IM stat.AP
Likelihood Non-Gaussianity in Large-Scale Structure Analyses
标准的现代大尺度结构(LSS)分析在其贝叶斯参数推断中做出了一个主要假设-似然具有高斯形式。对于目前在LSS中使用的汇总统计量,即使底层密度场是高斯的,这种假设也不能在细节上正确。我们研究了这一假设对最近两种LSS分析的影响:Beutler等人(2017)的功率谱多极($P_\ell$)分析和Sinha等人(2017)的群多重性函数($ζ$)分析。使用非参数的分歧估计模拟目录最初构建的协方差矩阵估计,我们确定显着的非高斯性的$P_\ell$和$ζ$似然。然后,我们使用高斯混合密度估计和独立成分分析在相同的模拟,以构建似然估计,近似真实的似然比高斯$pseudo$ -似然更好。使用这些似然估计,我们准确地估计了Beutler等人(2017)和Sinha等人(2017)参数的真实后验概率分布。似然非高斯性使$fσ_8$约束偏移$-0.44σ$,但除此之外,不会显著影响Beutler等人(2017)的总体参数约束。对于$ζ$分析,使用伪似然显著低估了不确定性,并使Sinha et al.(2017)晕圈占据参数的约束存在偏差。对于$\log M_1$和$α$,后验分别偏移$+0.43σ$和$-0.51σ$,并分别加宽$42\%$和$66\%$。我们提出的分歧和似然估计方法提供了一个简单的框架,量化的影响,似然非高斯性和推导出更准确的参数约束。
2018-03-16 astro-ph.CO
Compressed Gaussian likelihood for the Planck low-$\ell$ data
Johns Hopkins University(约翰斯·霍普金斯大学)
针对Planck CMB低$\ell$ E模式极化数据,基于Sroll2似然构建了一个压缩的高斯似然,解决了非高斯似然与Fisher矩阵分析不兼容的问题,并通过MCMC验证了其在$\Lambda$CDM和扩展模型中的准确性。
2026-11-11 astro-ph.CO