Exploiting Multi-Core Architectures for Reduced-Variance Estimation with Intractable Likelihoods
许多流行的复杂现象的统计模型是棘手的，在这个意义上，似然函数不能很容易地评估。贝叶斯估计在这种情况下仍然具有挑战性，缺乏计算方法，以充分利用现代处理能力。在本文中，我们介绍了新的控制变量的棘手的可能性，可以大大减少蒙特卡罗方差贝叶斯估计。我们证明，我们的控制变量是定义良好的，并提供了一个积极的方差减少。此外，我们将展示如何优化这些控制变量的方差减少。该方法是高度并行的，并提供了一条路线，利用多核处理架构，补充最近在这一方向的研究。事实上，我们的工作表明，为了利用大规模多核架构的潜力，可能没有必要并行采样过程本身。伊辛模型，指数随机图模型和非线性随机微分方程模型的模拟结果支持我们的理论研究结果。
2015-03-30 stat.CO
Generalised likelihood profiles for models with intractable likelihoods
本文针对似然函数不可求值但可进行随机模拟的模型，提出基于广义贝叶斯推断的广义似然剖面构造与校准方法，以实现频率学派覆盖并支持实际可识别性分析。
2023-05-19 stat.CO stat.ME
Scalable Bernoulli Factory MCMC for Intractable Marginalised Posteriors
针对伯努利工厂MCMC随数据量指数级性能下降的问题，提出分治伯努利工厂MCMC算法，证明其对可分解模型具多项式复杂度，应用于两类难解似然模型的贝叶斯推理，获1.2和1阶多项式成本。
2026-09-01 stat.CO
Generalised Bayesian Inference for Discrete Intractable Likelihood
针对离散不可处理似然，提出基于离散Fisher散度的一般化贝叶斯推断方法，绕过归一化常数，实现低计算成本的后验采样与校准。
2023-09-01 math.ST stat.CO stat.ME
Barker's algorithm for Bayesian inference with intractable likelihoods
在这篇论文中，我们抽象和描述了一个简单的MCMC计划采样从棘手的目标密度。该方法已在Gonçalves等人（2017 a）中在跳跃扩散的特定背景下引入，并且基于Barker算法与简单的Bernoulli工厂类型方案配对，即所谓的2硬币算法。在许多情况下，它是一种替代标准的Metropolis-Hastings伪边缘方法模拟从棘手的目标密度。虽然巴克的是众所周知的效率略低于大都会-黑斯廷斯，我们的方法的主要优点是，它允许实现“边际巴克的”，而不是扩展的状态空间伪边际大都会-黑斯廷斯，由于接受/拒绝概率的特殊形式。我们将说明我们的方法的上下文中的贝叶斯推断离散观察Wright-Fisher家庭的扩散。
2017-09-22 stat.CO
Warped Gradient-Enhanced Gaussian Process Surrogate Models for Exponential Family Likelihoods with Intractable Normalizing Constants
对于具有难以处理的归一化常数的指数族模型，例如交换算法，马尔可夫链蒙特卡罗方法需要在马尔可夫链的每次迭代中模拟充分统计量，这通常导致昂贵的计算。代理模型的似然函数已经开发，以加速推理算法在这种情况下。然而，这些替代模型往往是相对不灵活的，并且经常提供对真实似然函数的差的近似。在这篇文章中，我们提出了使用一个扭曲的，梯度增强，高斯过程代理模型的似然函数，联合模型的样本均值和方差的充分统计量，并使用翘曲函数捕获协方差非平稳性的输入参数空间。我们表明，考虑非平稳性和梯度信息的列入可以利用获得一个代理模型，优于传统的平稳高斯过程代理模型进行推断时，特别是在区域中的似然函数表现出相变。我们还表明，所提出的代理模型可以用来提高有效的样本量每单位时间嵌入精确推理算法时。我们的方法在加快推理算法的效用证明了模拟和真实世界的数据。
2023-02-20 stat.CO
Likelihood Based Inference in Fully and Partially Observed Exponential Family Graphical Models with Intractable Normalizing Constants
Purdue University（普渡大学）
本文提出一种在对数稀疏设置下对完全和部分观测指数族图模型进行高效完全似然推断的方法，利用可处理独立模型估计难处理的归一化常数及其梯度，并通过数值结果和理论验证其有效性。
2026-09-23 stat.CO stat.ME stat.ML
Amortized ratio-estimation importance sampling and localized simulation-based calibration for intractable likelihoods
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
针对不可处理似然模型，提出基于高斯混合专家的序贯后验估计与局部摊销比率估计重要性采样校正，并引入局部化基于仿真的校准，在三个案例中验证有效性。
2026-10-15 stat.CO stat.ME stat.ML
Leveraging Nested MLMC for Sequential Neural Posterior Estimation with Intractable Likelihoods
School of Mathematics, South China University of Technology（华南理工大学数学学院）；Department of Statistics, Purdue University（普渡大学统计学系）
本文针对序贯神经后验估计中的APT方法，将其重构为嵌套估计问题，并提出多种多层蒙特卡洛估计器以高效估计损失及梯度，同时给出收敛性分析，数值实验验证了方法的有效性。
2025-10-15 cs.LG stat.CO stat.ML
Bayesian inference, model selection and likelihood estimation using fast rejection sampling: the Conway-Maxwell-Poisson distribution
似然函数模型的贝叶斯推断是现代统计学中一组具有挑战性的问题。在这项工作中，我们分析了康威-麦克斯韦-泊松（COM-泊松）分布，两个参数的推广的泊松分布。COM-泊松回归建模允许灵活地将离散计数数据建模为具有COM-泊松响应的广义线性模型（GLM）的一部分，其中外源协变量控制响应的平均值和离散水平。COM泊松回归的主要困难是，似然函数包含多个棘手的归一化常数，是不服从标准的推理和MCMC技术。最近Chanialdaughter等人的工作。（2017）已经看到了一个采样器的发展，使用拒绝抽样算法从COM泊松似然中提取随机变量。我们提供了一个新的拒绝抽样COM-泊松分布，显着减少所需的CPU时间进行推断COM-泊松回归模型。这项工作的一个新的扩展表明，对于任何棘手的似然函数与相关的拒绝采样器，有可能构建无偏估计量估计的棘手的似然证明有用的模型选择或用于伪边缘MCMC算法（Andrieu和罗伯茨，2009年）。我们展示了所有这些方法在现实世界的收购出价数据集。
2020-07-10 stat.CO
Stochastic Volatility Filtering with Intractable Likelihoods
研究了$α$ -稳定随机波动率模型的粒子滤波问题. $α$ -稳定分布提供了一个灵活的框架，用于对非对称性和重尾进行建模，这在对财务回报进行建模时非常有用。这种分布假设的一个问题是缺乏概率密度函数的封闭形式。为了估计在这种情况下的金融收益率的波动性，我们开发了一种新的辅助粒子滤波器。我们开发的算法可以很容易地应用到任何隐马尔可夫模型的似然函数是棘手的或计算昂贵的。我们的辅助滤波器的近似目标分布是基于近似贝叶斯计算（ABC）的思想。ABC方法允许在基础模型的可能性无法以封闭形式提供的情况下对后验量进行推断，但可以从中模拟样本。我们提出的ABC辅助粒子滤波器（ABC-APF）不仅为随机波动模型中的状态估计提供了一个很好的替代方案，而且改进了现有的ABC文献。它允许在状态估计中更大的灵活性，同时在滤波器的最佳重要性密度以封闭形式不可用的情况下通过更好的建议分布来提高精度。我们评估的性能的ABC-APF的模拟数据集从$α$稳定的随机波动率模型，并将其与其他目前现有的ABC过滤器。
2014-05-16 stat.CO
A Delayed Acceptance Auxiliary Variable MCMC for Spatial Models with Intractable Likelihood Function
Yonsei University（延世大学）
本文提出了一种延迟接受辅助变量 MCMC 方法，用于解决具有不可 tractable 似然函数的空间模型中的双重不可 tractable 问题，通过分阶段模拟和替代方案提高计算效率。
2025-12-31 stat.CO stat.ME
Simulation-Based Fitting of Intractable Models via Sequential Sampling and Local Smoothing
University of Padova（帕多瓦大学）
本文针对似然与矩均不可解的生成模型，提出一种结合全局搜索与信赖域型Fisher评分局部搜索的通用仿真拟合算法，仅需有限先验信息，并通过对比实验验证其性能，配套R包已上线CRAN。
2025-11-11 stat.CO stat.ME stat.ML
Likelihood-free approximate Gibbs sampling
似然自由方法，如近似贝叶斯计算（ABC）已经扩展了统计推断的范围与计算棘手的似然问题。这种方法对于小到中等维度的问题表现良好，但是在模型参数的数量上遭受维度灾难。我们引入了一个似然自由近似吉布斯采样器，自然地绕过了维数问题，专注于低维条件分布。这些分布是由灵活的回归模型估计，无论是在采样器运行之前，或自适应采样器的实施过程中。因此，与基于Metropolis-Hastings的方法相比，我们能够拟合比其他方法更具挑战性的统计模型。我们通过两个模拟示例展示了采样器的性能，并使用包含13，140个参数的棘手高维多变量非线性状态空间模型对Airbnb租金价格进行了真实分析，这对标准ABC技术提出了真正的挑战。
2019-06-11 stat.CO stat.ME stat.ML
Approximate Inference for Observation Driven Time Series Models with Intractable Likelihoods
在下面的文章中，我们考虑近似贝叶斯参数推断的观察驱动的时间序列模型。这样的统计模型出现在各种各样的应用中，包括计量经济学和应用数学。本文考虑的情况下，似然函数不能逐点评估，在这种情况下，不能执行精确的统计推断，包括参数估计，这往往需要先进的计算算法，如马尔可夫链蒙特卡罗（MCMC）。我们介绍了一种新的近似基于近似贝叶斯计算（ABC）。在一定的条件下，我们表明，作为$n\rightarrow\infty$，与$n$的长度的时间序列，ABC后验，几乎肯定，最大的\emph{a posteriori}（MAP）估计的参数，这是从真正的参数不同。然而，一个嘈杂的ABC MAP，扰动原始数据，渐近收敛到真正的参数，几乎肯定。为了得出统计推断，对于所采用的ABC近似，标准MCMC算法可以具有在$n$中以指数速率下降的接受概率，并且稍微更高级的算法可能混合不良。我们开发了一个新的和改进的MCMC内核，这是基于精确近似的边际算法，其成本每次迭代是随机的，但预期的成本，为良好的性能，被证明是$\mathcal{O}(n^2)$每次迭代。
2013-03-29 stat.CO
BSL: An R Package for Efficient Parameter Estimation for Simulation-Based Models via Bayesian Synthetic Likelihood
贝叶斯合成似然（Bayesian synthetic似然函数，BSL）是一种用于估计复杂统计模型和随机过程的参数后验分布的常用方法。BSL通过模型模拟和密度估计来近似一个明智选择的数据汇总统计量的可能性，而不是评估可能性。与近似贝叶斯计算（ABC）等替代方法相比，当所选汇总统计量为高维时，BSL需要很少的调整，并且需要比ABC更少的模型模拟。原始的合成似然依赖于一个多元正态近似的棘手的可能性，其中的平均值和协方差估计模拟。BSL的扩展考虑用惩罚协方差估计量替换样本协方差，以减少所需模型模拟的数量。此外，半参数方法已被开发来放松正态性假设。在本文中，我们提出了一个名为BSL的R包，它将上述方法合并到一个单一的，易于使用的和连贯的软件中。R包还包括几个示例来说明如何使用该包并演示方法的实用性。
2019-07-25 stat.AP stat.CO stat.ML
Bayesian model selection for exponential random graph models via adjusted pseudolikelihoods
具有难处理的似然函数的模型出现在包括网络分析和空间统计学的领域，特别是涉及吉布斯随机场的那些领域。后验参数估计在这些设置中被称为双重棘手的问题，因为似然函数和后验分布是棘手的。贝叶斯模型的比较通常基于统计证据，即模型参数上的非标准化后验分布的积分，这种积分很少以封闭形式提供。对于双重棘手的模型，估计证据增加了另一层难度。因此，在用于网络分析的指数随机图模型集合中选择最能描述观察到的网络的模型是一项艰巨的任务。伪似然提供了一个易于处理的近似的可能性，但应谨慎对待，因为他们可能会导致不合理的推断。本文指定了一种方法来调整pseudolikelihoods，以获得一个合理的，但听话的，近似的可能性。这允许实现广泛使用的计算方法的证据估计和追求贝叶斯模型选择指数随机图模型的分析社交网络。与现有方法的实证比较表明，我们的程序产生类似的证据估计，但在较低的计算成本。
2017-10-19 stat.CO
Inference for determinantal point processes without spectral knowledge
行列式点过程（DPPs）是通过正定核$K$自然地编码给定实现的点之间的多样性的点过程模型。DPP具有理想的属性，如精确采样或分析的时刻，但学习内核$K$的参数，通过基于似然的推理是不简单的。首先，出现在似然中的核不是$K$，而是通过通常难以处理的谱分解与$K$相关的另一个核$L$。这个问题通常在机器学习中通过直接参数化内核$L$来绕过，代价是模型参数的一些可解释性。我们在这里遵循这种方法。其次，似然有一个难以处理的归一化常数，在有限对象集上的DPP的情况下，它采取大行列式的形式，在连续域上的DPP的情况下，它采取Fredholm行列式的形式。我们的主要贡献是推导出有限和连续域的DPP的可能性的界限。与以前的工作不同，我们的边界是廉价的评估，因为它们不依赖于近似的一个大矩阵或运营商的频谱。通过通常的参数，这些界限，从而产生廉价的变分推断和适度昂贵的精确马尔可夫链蒙特卡罗推理方法的DPP。
2015-07-04 stat.CO stat.ML
On MCMC for variationally sparse Gaussian processes: A pseudo-marginal approach
高斯过程（GP）经常用于机器学习和统计中以构建强大的模型。然而，在实践中使用GP时，必须考虑到高计算负担、后验近似、协方差函数的选择及其超参数的推断。为了解决这些问题，Hensman等人（2015）将变分稀疏GP与马尔可夫链蒙特卡罗（MCMC）相结合，为GP模型推导出一个可扩展、灵活和通用的框架。然而，所得到的方法需要棘手的可能性评估许多观测模型。为了绕过这个问题，我们提出了一个伪边际（PM）计划，提供渐近精确的推理，以及通过双随机估计的计算增益的棘手的可能性和大数据集。在复杂的模型中，PM方案的优势是特别明显的，我们证明了这一点的两级GP回归模型与非参数协方差函数捕捉非平稳性。
2021-03-04 stat.CO stat.ML
A novel approach for Markov Random Field with intractable normalising constant on large lattices
Besag（1974）的伪似然方法仍然是一种在非常大的格上估计马尔可夫随机场的流行方法，尽管有各种文献记载的缺陷。这部分是因为它仍然是唯一的计算上易于处理的方法，为大型晶格。本文介绍了一种新的方法来估计定义在规则格上的马尔可夫随机场。该方法利用条件独立结构，递归地将一个大的格分解成更小的子格。在每次分解时进行近似。这样做完全避免了计算麻烦的归一化常数的需要。计算复杂度为$O(N)$，其中$N$是晶格中的像素数，这使得它在计算上对于非常大的晶格具有吸引力。我们通过模拟表明，所提出的方法表现良好，即使是使用精确的似然方法相比。
2016-01-11 stat.CO stat.ME
Approximate maximum likelihood estimation using data-cloning ABC
提出了一种适用于一般模型的极大似然估计方法，该方法采用近似贝叶斯计算（ABC）方法。ABC方法的典型目标是具有难以处理的似然的模型，并且我们将ABC-MCMC采样器与所谓的“数据克隆”结合用于极大似然估计。ABC方法的准确性依赖于使用一个小的阈值来比较模型和观测数据的模拟。所提出的方法显示了如何使用大的阈值，而数据克隆的数量增加，以减轻收敛到一个近似的最大似然估计。我们展示了如何利用该方法来减少标准ABC-MCMC算法的迭代次数，从而减少计算工作量，同时获得合理的点估计。仿真研究表明，我们的方法具有很好的性能与棘手的似然模型，如g和k分布，随机微分方程和状态空间模型。
2016-08-11 stat.CO stat.ME
Likelihood free inference for Markov processes: a comparison
贝叶斯推断的方法，具有棘手的似然问题，近年来已变得越来越重要。近似贝叶斯计算（ABC）和“无似然”马尔可夫链蒙特卡罗技术是用于处理这些场景中的推理的流行方法，但是这样的技术在计算上是昂贵的。在本文中，我们比较了这两种方法的推断，特别侧重于参数推断的随机动力学模型，广泛应用于系统生物学。这种类型的模型的离散时间转换内核是棘手的，但最平凡的系统，但向前模拟通常是简单的。我们讨论了每种方法的相对优点和缺点，同时考虑这些技术的计算成本和效率。为了探索每种方法的属性，我们使用两个示例模型来检查一系列观察机制。我们使用一个Lotka-Volterra捕食-被捕食模型，在已知和未知测量误差的假设下，利用不同的时间过程观测，探讨了全部或部分物种观测的影响。进一步调查的观测误差的影响，然后使用Schlögl系统，一个测试案例，表现出双模态状态稳定性在某些区域的参数空间。
2014-10-02 stat.CO
Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization
University of Oxford（牛津大学）；University of Warwick（华威大学）
贝叶斯似然自由推理方法产生后验近似的模拟器模型与棘手的可能性。近年来，许多工作训练神经网络来逼近难以处理的似然或后验。大多数建议使用归一化流，即神经网络参数化可逆映射，用于从底层基本度量转换样本;然后可以访问转换样本的概率密度，并且可以通过模拟参数-观测对的极大似然训练归一化流。最近的一项工作[拉梅什等人，2022]用生成网络近似后验，这降低了可逆性要求，因此是一类更灵活的分布，可以扩展到高维和结构化数据。然而，生成网络只允许从参数化分布中采样;因此，Ramesh et al.[2022]遵循对抗训练的常见解决方案，其中生成网络与"批评者"网络进行最小-最大游戏。这个过程是不稳定的，可能导致一个学习的分布低估了不确定性-在极端情况下崩溃到一个点。在这里，我们建议使用通过评分规则最小化训练的生成网络来近似后验，这是一种被忽视的无对抗方法，可以实现平滑训练和更好的不确定性量化。在模拟研究中，评分规则方法在对抗框架方面具有更短的训练时间，从而产生更好的性能。
2022-05-31 cs.LG stat.CO stat.ME
Markov chain Monte Carlo importance samplers for Bayesian models with intractable likelihoods
我们认为有效地使用近似的马尔可夫链蒙特卡罗（MCMC），随后的重要性抽样（IS）校正的马尔可夫链不精确的输出，导致渐近精确的推断。我们详细的收敛性和中心极限定理MCMC-IS估计。我们还考虑的情况下，近似马尔可夫链是伪边际，需要无偏估计量的近似边际目标。渐近方差公式的收敛结果示出了这种情况下，和的情况下，IS权重的基础上无偏估计量只计算不同的输出样本的所谓的“跳”链，其中，与一个合适的重新加权，允许提高效率。由于IS类型权重可以假定为负值，因此可以将扩展类的无偏估计量用于IS类型校正，例如从随机化多水平蒙特卡罗获得的估计量。使用欧拉近似和耦合的粒子滤波器，我们将所得的估计使用随机权重的问题的参数推断部分可观察的Itô扩散。收敛性的估计被验证为持有的正则性假设，不需要扩散可以被精确地模拟。在近似贝叶斯计算（ABC）的背景下，我们建议一个自适应MCMC方法来处理一个适当的大公差的选择，与IS校正可能更精细的公差，并提供近似置信区间。一个突出的问题是MCMCC-IS的效率相比，标准的直接MCMC，如伪边际，延迟接受，和ABC-MCMC。我们提供了一个比较标准，概括的协方差排序的IS设置。
2019-04-11 stat.CO
Bayesian computation for statistical models with intractable normalizing constants
本文讨论了具有难处理的归一化常数的统计模型的贝叶斯分析中的一些计算问题。当似然函数中存在难以处理的归一化常数时，传统的MCMC方法无法应用。我们提出了一种方法，从这样的后验分布的样本。该方法可以被认为是Geyer和Thompson（1992）的MCMCMC-MLE方法的贝叶斯版本。据我们所知，这是第一个一般的和渐近一致的蒙特卡罗方法，这样的问题。我们用图像分割和社会网络建模的例子来说明该方法。我们还研究了算法的渐近性态，得到了经验平均值的一个强大数定律。
2008-04-21 stat.CO stat.ME
Approximating the Likelihood in Approximate Bayesian Computation
本章将出现在即将出版的近似贝叶斯计算手册（2018）中。支撑近似贝叶斯计算（ABC）的概念和方法框架主要针对可能性具有挑战性或缺失的问题。ABC使用基于模拟的非参数估计汇总统计量的可能性，并假设从模型生成数据在计算上是便宜的。本章回顾了两种估计棘手的可能性的替代方法，目的是减少必要的模型模拟，以产生近似的后验。其中第一个是合成似然（SL）的贝叶斯版本，最初由Wood（2010）开发，它使用多变量正态近似来概括统计似然。使用ABC的参数近似而不是非参数近似，可以减少所需的模型模拟的数量。我们在本章中考虑的第二种似然近似方法是基于经验似然（EL），这是一种非参数技术，涉及在一组矩约束下最大化经验构建的似然。Mengersen et al（2013）修改了EL框架，以便它可以用于形成ABC可以应用的问题的近似后验，即具有棘手可能性的模型。然而，与ABC和贝叶斯SL（BSL）不同，贝叶斯EL（BCel）方法可以在某些情况下完全避免模型模拟。BSL和BCel方法说明了不同复杂性的模型。
2018-03-18 stat.CO stat.ME
Neural composite likelihood estimation: simulation based inference for time series
University of Bristol（布里斯托大学）；School of Mathematics, University of Bristol（布里斯托大学数学学院）；School of Biological Sciences, University of Bristol（布里斯托大学生物科学学院）
本文提出神经复合似然估计（NCLE），将长序列划分为等大小批次分别估计似然，以乘积作为复合似然进行频率推断，从而将基于模拟的推断扩展到高维时间序列数据。
2026-09-21 stat.CO stat.ML
Marginal sequential Monte Carlo for doubly intractable models
对于具有难处理的分区函数的模型的贝叶斯推断被称为双重难处理的问题，其中标准的蒙特卡罗方法不适用。在过去的十年中，辅助变量蒙特卡罗技术得到了发展（Møller等人，2006; Murray等人，2006）来解决这个问题;这些方法是更一般的伪边缘或精确近似蒙特卡罗算法（Andrieu和Roberts，2009）的成员，其利用对难以处理的后验的无偏估计。Everitt等人（2017）研究了精确近似重要性抽样（IS）和序贯蒙特卡罗（SMC）在双重棘手问题中的使用，但仅关注使用数据点回火的SMC算法。本文描述了可能使用替代分布序列的SMC采样器，并描述了随着算法的进展，基于Moores等人的想法，自适应地改进似然估计的方法。这种方法是比较与一些替代算法的双重棘手的问题，包括近似贝叶斯计算（ABC），我们表明是密切相关的方法Møller等人。（2006）。
2017-10-12 cs.AI physics.data-an stat.CO
Approximate Integrated Likelihood via ABC methods
我们提出了一种新的使用最近的新的计算工具贝叶斯推断，即近似贝叶斯计算（ABC）的方法。ABC是一种方法来处理模型的似然函数可能是棘手的，甚至不可用和/或太昂贵的评估，特别是，我们考虑的问题，消除滋扰参数从一个复杂的统计模型，以产生一个似然函数只取决于感兴趣的数量。给定一个适当的先验的整个向量参数，我们建议近似的边缘后验和先验的感兴趣的数量的核估计的比率的综合似然。我们提出了几个例子。
2014-03-03 stat.CO
Particle Gibbs for Likelihood-Free Inference of State Space Models with Application to Stochastic Volatility
针对似然难处理的状态空间模型，提出结合条件辅助粒子滤波的粒子吉布斯采样器，在ABC框架下实现参数推断，并在随机波动率模型及S&P 500数据上验证了准确性。
2023-12-20 stat.CO stat.ME
Exact Bayesian Gaussian Cox Processes Using Random Integral
本文提出一种非参数贝叶斯方法，通过将强度函数与累积强度函数联合建模为变换后的高斯过程，并设计精确MCMC采样器，在不依赖数据增广或似然近似的情况下实现非齐次泊松过程的强度函数后验推断。
2024-06-28 stat.CO stat.ME stat.ML
Statistical Inference for Generative Models with Maximum Mean Discrepancy
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）；Imperial College London（帝国理工学院）
虽然基于似然的推理及其变体提供了一种统计上有效且广泛适用的参数推理方法，但将其应用于涉及棘手似然的模型会带来挑战。在这项工作中，我们研究了一类最小距离估计的棘手的生成模型，即统计模型的可能性是棘手的，但模拟是廉价的。考虑的距离，最大平均差异（MMD），通过嵌入到再生核希尔伯特空间的概率测度定义。我们研究了这些估计量的理论性质，证明了它们是相合的、渐近正态的和对模型误设的鲁棒性。这些估计器的一个主要优点是核的选择所提供的灵活性，这可以用来权衡统计效率和鲁棒性。在算法方面，我们研究了几何形状引起的MMD的参数空间，并使用此引入一种新的自然梯度下降算法，有效地实现这些估计。我们说明了几类模型，包括离散时间潜在的马尔可夫过程和两个多变量随机微分方程模型的理论结果的相关性。
2019-06-13 cs.LG math.ST stat.CO
Bayesian variational inference for exponential random graph models
指数随机图模型的贝叶斯推断是一个具有挑战性的“双重棘手”问题，因为似然和后验密度的归一化常数都是棘手的。马尔可夫链蒙特卡罗（MCMC）方法，产生贝叶斯推断的ERGM，如交换算法，是渐近精确的，但计算密集，因为网络必须从每一步的可能性，例如，使用“领带不领带”采样器。在这篇文章中，我们发展了各种变分方法的高斯近似的后验密度和模型选择。这些方法包括基于调整后的伪变分和随机变分推断的非共轭变分消息传递。为了克服在每次迭代时从可能性绘制网络的计算障碍，我们提出了随机梯度上升，使用自适应自归一化重要性抽样计算有偏但一致的梯度估计。这些方法提供了有吸引力的快速替代MCMC后验近似。我们说明了变分方法使用真实的网络，并通过MCMC和拉普拉斯近似得到的结果比较其精度。
2019-11-23 stat.CO
Amortised Likelihood-free Inference for Expensive Time-series Simulators with Signatured Ratio Estimation
University of Oxford（牛津大学）；Improbable（Improbable公司）；Durham University（杜伦大学）
在自然科学和社会科学中，复杂动力学的仿真模型通常缺乏易于处理的似然函数，使得传统的基于似然的统计推断变得不可能。机器学习的最新进展已经引入了新的算法，用于使用基于二进制分类器的似然比技巧来估计否则难以处理的似然函数。因此，有效的似然近似可以获得良好的概率分类器，可以构建。我们提出了一个核分类器的顺序数据使用路径签名的基础上最近推出的签名内核。我们证明了签名的代表性力量产生了一个高性能的分类器，即使在至关重要的情况下，样本数很低。在这种情况下，我们的方法可以优于复杂的神经网络常见的后验推理任务。
2022-02-23 cs.LG stat.CO stat.ME
Robustly estimating the marginal likelihood for cognitive models via importance sampling
马尔可夫链蒙特卡罗（MCMC）的最新进展将贝叶斯推断的范围扩展到似然函数难以处理的模型。虽然这些发展使我们能够估计模型参数，其他基本问题，如估计的边际似然，贝叶斯模型选择的基本工具，仍然具有挑战性。这是一个重要的科学限制，因为用分层模型测试心理学假设已经证明用当前的模型选择方法是困难的。我们提出了一个有效的方法来估计的边缘似然模型的可能性是棘手的，但可以无偏估计。它基于首先运行诸如MCMC的采样方法来获得模型参数的样本，然后使用这些样本来构建具有似然性的无偏估计的重要性抽样（IS）框架中的建议密度。我们的方法有几个有吸引力的属性：它产生一个无偏估计的边际似然，它是强大的质量和目标的抽样方法，用于形成的IS建议，它是计算便宜的估计方差的边际似然估计。我们还得到了该方法的收敛性，并提供了最大限度地提高计算效率的指导方针。该方法说明了两个具有挑战性的情况下，涉及层次模型：识别形式的个人差异，在应用选择方案，并评估最佳的参数化的认知模型在一个快速的决策背景。提供了实现这些方法的免费可用代码。扩展后验矩估计和并行化也进行了讨论。
2019-12-11 stat.AP stat.CO
Particle Methods for Stochastic Differential Equation Mixed Effects Models
随机微分方程混合效应模型的参数推断是一个具有挑战性的问题。这些模型的解析解很少可用，这意味着这种可能性也很难处理。在这种情况下，使用伪边际方法可以进行精确推断，其中，用非负无偏估计代替了难以处理的似然。这种思想的一个有用的应用是粒子MCMC，它使用粒子滤波器估计的可能性。虽然这些方法的目标是精确的后验，但SDEMEM的简单实现可能非常低效。我们开发了三个扩展的天真的方法，利用特定方面的SDEMEMs和其他进步，如相关的伪边缘的方法。我们比较了这些方法的真实和模拟的数据，从肿瘤异种研究小鼠。
2019-09-27 stat.CO stat.ME
Efficient Bayesian synthetic likelihood with whitening transformations
无似然方法是一种已建立的方法，用于对具有难处理的似然函数的模型执行近似贝叶斯推断。然而，它们可能需要计算。贝叶斯综合似然（Bayesian synthetic likelihood，BSL）是一种流行的方法，它用已知的、易处理的分布（通常是高斯分布）近似概括统计量的似然函数，然后使用标准的基于似然的技术执行统计推断。然而，随着汇总统计量的增加，精确估计该可能性的协方差阵所需的模型模拟数量迅速增加。这对BSL的应用提出了重大挑战，特别是在模型模拟昂贵的情况下。在这篇文章中，我们提出了白化BSL（wBSL）-一个有效的BSL方法，使用近似白化变换去相关的汇总统计在每个算法迭代。我们的经验表明，这可以减少所需的模型模拟实现BSL的数量超过一个数量级，而不会损失太多的准确性。我们探索了一系列的白化程序，并展示了一系列的模拟和真实的建模方案，从生态学和生物学的wBSL的性能。
2020-02-01 stat.CO stat.ME stat.ML
A practical guide to pseudo-marginal methods for computational inference in systems biology
对于系统生物学中感兴趣的许多随机模型，例如那些描述生化反应网络的随机模型，通过统计推断来精确量化参数不确定性是困难的。当模型的似然函数难以处理，但通过正问题的随机模拟可以生成许多样本路径时，无似然计算推理技术可以进行参数推断。系统生物学中最常见的无似然方法是近似贝叶斯计算，它接受导致随机模拟和测量数据之间低差异的参数。然而，很难评估所得到的推理的准确性如何受到接受阈值和差异函数的选择的影响。伪边际法是一种替代的无似然推理方法，它利用似然函数的蒙特卡罗估计。这种方法有几个优点，特别是在嘈杂的背景下，部分观察到的，典型的生化反应网络研究中的时间过程数据。具体地，伪边缘方法便于精确推断和不确定性量化，并且可以有效地与粒子滤波器组合以用于低方差、高精度似然估计。在这篇综述中，我们提供了一个实用的介绍，伪边缘的方法，使用生化反应网络的推理作为一系列的案例研究。使用Julia编程语言提供关键算法和示例的实现; Julia编程语言是用于科学计算的高性能开源编程语言。
2019-12-28 q-bio.MN stat.CO
Copula Approximate Bayesian Computation Using Distribution Random Forests
该研究提出名为copulaABcdrf的新型近似贝叶斯计算框架，结合分布随机森林与多元copula元t分布估计后验分布，兼具变量选择、模型选择等功能，在多类模拟与真实网络数据上表现优于标准ABC方法，还可缓解模拟成本问题。
2024-09-11 stat.CO stat.ME
Combined parameter and state inference with automatically calibrated ABC
状态空间模型包含时间索引的参数，称为状态，以及静态参数，简单地称为参数。根据时间索引观测值同时推断静态参数和状态的问题是最近许多文献的主题。一旦我们考虑具有难以处理的可能性的模型，这个问题就变得复杂了。在这些情况下，一些新兴的方法已经将现有的静态参数的无似然技术，如近似贝叶斯计算（ABC）到基于似然的算法，用于参数和状态的组合推断。这些新兴的方法目前需要大量的手动校准的时间索引的调整参数：接受阈值。我们设计了SMC $^2$算法（Chopin等人，2013年，JRSS B），用于自动调整阈值的无似然近似。我们证明了算法的一致性，并讨论了建议的校准。我们证明了这种算法的性能与三个例子。我们从状态空间模型的两个例子开始。第一个示例是一个玩具示例，其发射分布是斜正态分布。第二个例子是一个随机波动率模型涉及一个棘手的稳定分布。最后一个例子是最具挑战性的;它处理非齐次霍克斯过程。
2021-05-26 stat.CO stat.ME
Likelihood-free inference via classification
越来越复杂的生成模型正在跨学科使用，因为它们允许对数据进行真实的表征，但它们的共同困难是评估似然函数的计算成本过高，从而执行基于似然的统计推断。出现了一个无似然推理框架，其中通过找到产生类似于观测数据的模拟数据的值来识别参数。虽然广泛适用，在这个框架中的一个主要困难是如何衡量模拟和观测数据之间的差异。将原始问题转化为将数据分类为模拟与观察的问题，我们发现分类精度可以用来评估差异。因此，完整的分类方法库可用于推理难以处理的生成模型。我们验证了我们的方法，使用理论和模拟点估计和贝叶斯推断，并证明其使用的真实数据推断一个基于个人的流行病学模型，在幼儿中心的细菌感染。
2017-03-03 stat.CO stat.ME stat.ML
Approximate Bayesian Computation with composite score functions
当似然函数难以处理时，近似贝叶斯计算（ABC）和复合似然方法分别适用于贝叶斯和频率论推理。我们建议使用复合似然得分函数作为ABC中的汇总统计量，以获得精确的近似后验分布。这是出于使用的得分函数的完全似然，并扩展到一般的无偏估计函数在复杂的模型。此外，我们表明，如果综合得分是适当的标准化，由此产生的ABC程序是不变的重新参数化，并自动调整曲率的复合可能性，和相应的后验分布。通过模拟数据的实例说明了该方法，并讨论了其在空间极端降雨数据建模中的应用。
2015-02-24 stat.CO
Pairwise likelihood estimation of latent autoregressive count models
潜在自回归模型是分析传染病数据的有用的时间序列模型。潜在自回归模型的似然函数的评估是棘手的，其近似通过模拟为基础的方法出现作为一个标准的做法。虽然模拟方法可能使推理问题可行，但它们通常是计算密集型的，并且数值近似的质量可能难以评估。相反，我们考虑加权成对似然方法，并探讨几个计算和方法方面，包括估计强大的标准误和数值积分的作用。所建议的方法是说明使用侵袭性脑膜炎球菌病感染在希腊和意大利的月度数据。
2020-06-22 stat.CO stat.ME
Efficient Bayesian Inference for Discretely Observed Continuous Time Markov Chains
本文针对离散观测下连续时间马尔可夫链推断中精确似然不可处理的问题，提出基于伪似然的可扩展贝叶斯框架，联合估计概率转移矩阵和生成元谱分解，并给出理论保证，实现计算成本对数据量几乎不变的高效推断。
2025-07-22 stat.CO stat.ME
Calibration of conditional composite likelihood for Bayesian inference on Gibbs random fields
Université Montpellier（蒙彼利埃大学）；University College Dublin（都柏林大学学院）
本文提出了一种校准方法，用于通过复合似然进行Gibbs随机场的贝叶斯推断，通过实例验证了该方法的有效性。
2015-11-18 math.ST stat.CO stat.TH
On predictive inference for intractable models via approximate Bayesian computation
近似贝叶斯计算（ABC）通常用于参数估计和模型比较的棘手的基于模拟器的模型，其似然函数无法评估。在本文中，我们反而调查ABC作为一个通用的近似方法预测推理的可行性，特别是，用于计算后验预测分布的未来观测或缺失数据的利益。我们考虑三个互补的ABC方法，每个基于不同的假设，其中预测密度的棘手的模型可以从采样。的情况下，只有模拟从联合密度的观察到的和未来的数据给定的模型参数可以用于推断给予特别注意，它表明，在这种设置中的理想的汇总统计量是最小的预测足够的，而不仅仅是最小的足够的（在普通意义上）。ABC预测方法，利用一定的潜变量表示也进行了研究。我们还展示了如何常见的ABC抽样算法可以用于所考虑的预测设置。我们的主要结果首先说明了使用简单的时间序列模型，便于分析处理，后来通过使用两个常见的棘手的动态模型。
2022-09-12 stat.CO stat.ME
Inverse Gaussian Process regression for likelihood-free inference
在这项工作中，我们考虑贝叶斯推断问题与棘手的似然函数。我们提出了一种方法来计算一个近似的后验与有限数量的模型模拟。该方法的特征在于逆高斯过程回归（IGPR），即，在该方法中，我们提供了一个自适应算法与回火过程来构造边缘后验分布的近似。通过算例，我们证明了IGPR与一些常用算法相比具有竞争力的性能，特别是在统计稳定性和计算效率方面，而付出的代价是它只能计算边缘后验的加权高斯近似。
2021-02-21 stat.CO stat.ME
Pseudo-marginal Inference for CTMCs on Infinite Spaces via Monotonic Likelihood Approximations
可数无限空间上连续时间马尔可夫链（CTMC）的贝叶斯推断是出了名的困难，因为精确地评估似然是棘手的。解决这一挑战的一种方法是首先建立一个非负的和无偏估计的可能性-涉及矩阵指数的有限截断的真实率矩阵-然后使用的估计在一个伪边际推理方法。在这项工作中，我们表明，我们可以显着提高这种方法的效率，通过避免精确的矩阵指数的计算。特别是，我们开发了一个通用的方法来构建一个无偏的，非负的估计的可能性，使用双单调矩阵指数近似。我们进一步开发了一种新的近似在这个家庭-的骨架-以及理论，关于其近似误差，以及如何涉及到伪边缘推理中使用的估计的方差。实验结果表明，我们的方法产生更有效的后验推理的各种CTMC。
2021-05-28 stat.CO
Bayesian Synthetic Likelihood
本文介绍贝叶斯合成似然（BSL）方法，用于似然不可计算但可模拟的模型中的后验推断，并概述其可扩展稳健的扩展。
2023-05-10 stat.CO stat.ME
Dynamic Likelihood-free Inference via Ratio Estimation (DIRE)
University of Edinburgh（爱丁堡大学）
根据随机数据生成过程隐式定义的参数统计模型用于广泛的科学学科中，因为它们能够进行准确的建模。然而，从观测数据学习参数通常是非常困难的，因为它们的似然函数通常是难以处理的。无似然贝叶斯推断方法已经被提出，其中包括近似贝叶斯计算（ABC），合成似然，其最近的推广，执行无似然推理比估计（LFIRE）的框架。所有这些方法的一个主要困难是选择汇总统计量，减少数据的维数，以便于推断。虽然已经提出了几种方法来选择汇总统计ABC，文献合成似然和LFIRE是非常薄的日期。我们在这里解决这个差距在文献中，专注于重要的特殊情况下的时间序列模型。我们表明，卷积神经网络训练预测输入参数的数据提供合适的汇总统计LFIRE。在广泛的时间序列模型，一个单一的神经网络架构产生同样或更准确的后验比其他方法。
2018-10-23 cs.LG stat.CO stat.ME
Likelihood-free stochastic approximation EM for inference in complex models
介绍了一种求解具有难处理似然模型参数的极大似然方法。我们产生一个似然自由版本的随机逼近期望最大化（SAEM）算法，以最大限度地提高模型参数的似然函数。虽然SAEM最适合于具有易处理的“完全似然”函数的模型，但将其应用于中等复杂的模型是一项困难甚至不可能的任务。我们将展示如何构建一个似然自由版本的SAEM通过使用“合成似然”的范例。我们的方法是完全即插即用，几乎不需要调整，可以应用于静态和动态模型。四个模拟研究说明了该方法，包括随机微分方程模型，随机Lotka-Volterra模型和数据从$g$ -和- $k$分布。MATLAB代码可作为补充材料。
2018-01-16 stat.CO stat.ME
Hidden Gibbs random fields model selection using Block Likelihood Information Criterion
在吉布斯随机场之间进行模型选择是一项非常具有挑战性的任务。事实上，由于马尔可夫依赖结构，场的归一化常数不能使用标准的分析或数值方法计算。此外，这种不可观测的场不能被积分出去，似然估计是一个加倍棘手的问题。这就形成了一个核心问题，即选择最适合观测数据的模型。我们介绍了一个新的近似版本的贝叶斯信息准则。我们将格划分成连续的矩形块，我们近似的概率测度的隐藏吉布斯场的产品的吉布斯分布在块。在此基础上，我们估计的可能性，并推导出块似然信息准则（BLIC），回答模型选择问题，如依赖结构的选择或潜在状态的数量。针对这些问题，我们研究了BLIC的性能。此外，我们提出了与ABC算法的比较，指出新的标准提供了一个更好的时间效率和可靠的结果之间的权衡。
2016-02-08 stat.CO
Efficient MCMC for Gibbs Random Fields using pre-computation
吉布斯随机场（GRF）的贝叶斯推断通常被称为双重棘手问题，因为似然函数是棘手的。这种模型的后验分布的探索通常用复杂的马尔可夫链蒙特卡罗（MCMC）方法、交换算法（Murray等人，2006），其需要在每次迭代时从似然函数进行模拟。本文的目的是考虑一种方法，以显着减少这种计算开销。为此，我们介绍了一类新的算法，它使用的GRF模型，离线模拟，在指定的位置由一个网格，跨越参数空间的实现。这种策略大大加快了后验推理的速度，如几个例子所示。然而，使用预先计算的图在MCMC算法中引入了噪声，这不再是精确的。我们研究的近似MCMC算法的理论行为，并推导出收敛界使用最近的理论发展近似MCMC方法。
2017-10-13 stat.CO stat.ME
Recovery-Directed Symbolic Distillation of Neural Likelihoods
本文提出一种面向恢复的符号蒸馏流程，将神经似然转化为显式表达式，在保持参数恢复精度的同时实现超100倍加速，并适用于多种基于模拟的推断场景。
2026-09-29 cs.LG q-bio.NC stat.CO
