Scalable Bernoulli Factory MCMC for Intractable Marginalised Posteriors
针对伯努利工厂MCMC随数据量指数级性能下降的问题，提出分治伯努利工厂MCMC算法，证明其对可分解模型具多项式复杂度，应用于两类难解似然模型的贝叶斯推理，获1.2和1阶多项式成本。
2026-09-01 stat.CO
A Simple Approach to Maximum Intractable Likelihood Estimation
近似贝叶斯计算（ABC）可以被看作是一个分析近似的一个棘手的可能性加上一个基本的模拟步骤。这样的观点，结合一个合适的工具先验分布允许最大似然（或最大后验）的推断进行，近似地，使用基本上相同的技术。这个问题的一个基本的方法，简单地获得一个非参数近似的似然表面，然后使用作为一个光滑的代理的可能性在随后的最大化步骤是在这里开发和这类算法的收敛性的理论特征。在这方面，考虑使用不充分的汇总统计。将所提出的方法应用于四个问题，表现出良好的性能。所提出的方法提供了一种替代的近似极大似然估计（MLE）在复杂的情况下。
2013-01-03 stat.ME
Barker's algorithm for Bayesian inference with intractable likelihoods
在这篇论文中，我们抽象和描述了一个简单的MCMC计划采样从棘手的目标密度。该方法已在Gonçalves等人（2017 a）中在跳跃扩散的特定背景下引入，并且基于Barker算法与简单的Bernoulli工厂类型方案配对，即所谓的2硬币算法。在许多情况下，它是一种替代标准的Metropolis-Hastings伪边缘方法模拟从棘手的目标密度。虽然巴克的是众所周知的效率略低于大都会-黑斯廷斯，我们的方法的主要优点是，它允许实现“边际巴克的”，而不是扩展的状态空间伪边际大都会-黑斯廷斯，由于接受/拒绝概率的特殊形式。我们将说明我们的方法的上下文中的贝叶斯推断离散观察Wright-Fisher家庭的扩散。
2017-09-22 stat.CO
Warped Gradient-Enhanced Gaussian Process Surrogate Models for Exponential Family Likelihoods with Intractable Normalizing Constants
对于具有难以处理的归一化常数的指数族模型，例如交换算法，马尔可夫链蒙特卡罗方法需要在马尔可夫链的每次迭代中模拟充分统计量，这通常导致昂贵的计算。代理模型的似然函数已经开发，以加速推理算法在这种情况下。然而，这些替代模型往往是相对不灵活的，并且经常提供对真实似然函数的差的近似。在这篇文章中，我们提出了使用一个扭曲的，梯度增强，高斯过程代理模型的似然函数，联合模型的样本均值和方差的充分统计量，并使用翘曲函数捕获协方差非平稳性的输入参数空间。我们表明，考虑非平稳性和梯度信息的列入可以利用获得一个代理模型，优于传统的平稳高斯过程代理模型进行推断时，特别是在区域中的似然函数表现出相变。我们还表明，所提出的代理模型可以用来提高有效的样本量每单位时间嵌入精确推理算法时。我们的方法在加快推理算法的效用证明了模拟和真实世界的数据。
2023-02-20 stat.CO
Likelihood Based Inference in Fully and Partially Observed Exponential Family Graphical Models with Intractable Normalizing Constants
Purdue University（普渡大学）
本文提出一种在对数稀疏设置下对完全和部分观测指数族图模型进行高效完全似然推断的方法，利用可处理独立模型估计难处理的归一化常数及其梯度，并通过数值结果和理论验证其有效性。
2026-09-23 stat.CO stat.ME stat.ML
Bayesian design of experiments for intractable likelihood models using coupled auxiliary models and multivariate emulation
贝叶斯设计通过在设计空间上最大化期望效用来给出。效用被选择来代表实验的目的，并且其期望是关于所有未知数的：响应，参数和/或模型。虽然原则上很简单，但在实践中找到贝叶斯设计存在一些挑战。首先，效用和期望效用很少以封闭形式存在，需要近似。其次，设计空间可以是高维的。在棘手的似然模型的情况下，这些问题是复杂的事实，即似然函数，其评估是需要近似的预期效用，是不是在封闭的形式。提出了一种策略，找到贝叶斯设计的棘手的似然模型。它依赖于一个自动的，辅助建模方法的发展，使用多变量高斯过程仿真器，近似的似然函数。然后，这与基于copula的方法相结合，以近似边际似然（一个通常需要评估许多效用函数的数量）。这些近似的随机过程模型，涉及实验目的的参数估计和模型比较的例子证明。
2019-01-15 stat.ME
Leveraging Nested MLMC for Sequential Neural Posterior Estimation with Intractable Likelihoods
School of Mathematics, South China University of Technology（华南理工大学数学学院）；Department of Statistics, Purdue University（普渡大学统计学系）
本文针对序贯神经后验估计中的APT方法，将其重构为嵌套估计问题，并提出多种多层蒙特卡洛估计器以高效估计损失及梯度，同时给出收敛性分析，数值实验验证了方法的有效性。
2025-10-15 cs.LG stat.CO stat.ML
Warm Start Marginal Likelihood Optimisation for Iterative Gaussian Processes
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出迭代高斯过程的暖启动边际似然优化方法，通过重用线性求解器解作为初始化，在回归任务上实现与传统方法相同结果且平均加速16倍。
2024-05-28 cs.LG stat.ML
Bayesian inference, model selection and likelihood estimation using fast rejection sampling: the Conway-Maxwell-Poisson distribution
似然函数模型的贝叶斯推断是现代统计学中一组具有挑战性的问题。在这项工作中，我们分析了康威-麦克斯韦-泊松（COM-泊松）分布，两个参数的推广的泊松分布。COM-泊松回归建模允许灵活地将离散计数数据建模为具有COM-泊松响应的广义线性模型（GLM）的一部分，其中外源协变量控制响应的平均值和离散水平。COM泊松回归的主要困难是，似然函数包含多个棘手的归一化常数，是不服从标准的推理和MCMC技术。最近Chanialdaughter等人的工作。（2017）已经看到了一个采样器的发展，使用拒绝抽样算法从COM泊松似然中提取随机变量。我们提供了一个新的拒绝抽样COM-泊松分布，显着减少所需的CPU时间进行推断COM-泊松回归模型。这项工作的一个新的扩展表明，对于任何棘手的似然函数与相关的拒绝采样器，有可能构建无偏估计量估计的棘手的似然证明有用的模型选择或用于伪边缘MCMC算法（Andrieu和罗伯茨，2009年）。我们展示了所有这些方法在现实世界的收购出价数据集。
2020-07-10 stat.CO
A Delayed Acceptance Auxiliary Variable MCMC for Spatial Models with Intractable Likelihood Function
Yonsei University（延世大学）
本文提出了一种延迟接受辅助变量 MCMC 方法，用于解决具有不可 tractable 似然函数的空间模型中的双重不可 tractable 问题，通过分阶段模拟和替代方案提高计算效率。
2025-12-31 stat.CO stat.ME
Bayesian optimisation for likelihood-free cosmological inference
许多宇宙学模型只有有限数量的感兴趣的参数，但是非常昂贵的数据生成过程和难以处理的似然函数。我们解决的问题，执行无似然贝叶斯推断，从这样的黑盒模拟为基础的模型，在一个非常有限的模拟预算的约束下（通常是几千）。为此，我们采用了一种基于替代参数模型的可能性的方法。传统的方法来近似贝叶斯计算，如无似然拒绝抽样是不切实际的考虑的问题，由于缺乏知识的参数如何影响观测数据和模拟数据之间的差异。作为回应，我们使用了之前在机器学习文献中开发的策略（贝叶斯无似然推理优化，BOLFI），该策略将差异的高斯过程回归与贝叶斯优化相结合，以构建替代曲面，从而主动获取训练数据。我们扩展的方法，通过推导出一个采集函数量身定制的目的，最大限度地减少预期的不确定性的近似后验密度，在参数的方法。由此产生的算法适用于总结高斯信号和推断宇宙学参数的联合光曲线分析超新星数据的问题。我们表明，所需的模拟的数量减少了几个数量级，建议的采集功能产生更准确的后验近似，相比常见的策略。
2018-09-13 astro-ph.CO astro-ph.IM stat.AP
Particle-based Generalised Stochastic Optimisation
Imperial College London（帝国理工学院）
该研究针对梯度难处理的损失函数，提出一类基于扩散的随机粒子优化方法，引入平均场动力学及其交互粒子近似，证明其指数收敛性与非渐近误差界，并通过变体在相关任务上验证了有效性。
2026-10-12 cs.LG stat.CO stat.ML
BSL: An R Package for Efficient Parameter Estimation for Simulation-Based Models via Bayesian Synthetic Likelihood
贝叶斯合成似然（Bayesian synthetic似然函数，BSL）是一种用于估计复杂统计模型和随机过程的参数后验分布的常用方法。BSL通过模型模拟和密度估计来近似一个明智选择的数据汇总统计量的可能性，而不是评估可能性。与近似贝叶斯计算（ABC）等替代方法相比，当所选汇总统计量为高维时，BSL需要很少的调整，并且需要比ABC更少的模型模拟。原始的合成似然依赖于一个多元正态近似的棘手的可能性，其中的平均值和协方差估计模拟。BSL的扩展考虑用惩罚协方差估计量替换样本协方差，以减少所需模型模拟的数量。此外，半参数方法已被开发来放松正态性假设。在本文中，我们提出了一个名为BSL的R包，它将上述方法合并到一个单一的，易于使用的和连贯的软件中。R包还包括几个示例来说明如何使用该包并演示方法的实用性。
2019-07-25 stat.AP stat.CO stat.ML
Bayesian model selection for exponential random graph models via adjusted pseudolikelihoods
具有难处理的似然函数的模型出现在包括网络分析和空间统计学的领域，特别是涉及吉布斯随机场的那些领域。后验参数估计在这些设置中被称为双重棘手的问题，因为似然函数和后验分布是棘手的。贝叶斯模型的比较通常基于统计证据，即模型参数上的非标准化后验分布的积分，这种积分很少以封闭形式提供。对于双重棘手的模型，估计证据增加了另一层难度。因此，在用于网络分析的指数随机图模型集合中选择最能描述观察到的网络的模型是一项艰巨的任务。伪似然提供了一个易于处理的近似的可能性，但应谨慎对待，因为他们可能会导致不合理的推断。本文指定了一种方法来调整pseudolikelihoods，以获得一个合理的，但听话的，近似的可能性。这允许实现广泛使用的计算方法的证据估计和追求贝叶斯模型选择指数随机图模型的分析社交网络。与现有方法的实证比较表明，我们的程序产生类似的证据估计，但在较低的计算成本。
2017-10-19 stat.CO
Bayesian model selection consistency and oracle inequality with intractable marginal likelihood
在这篇文章中，我们研究了大样本性质的模型选择过程中的一般贝叶斯框架时，封闭形式的表达的边缘似然函数是不可用的或局部渐近二次近似的对数似然函数不存在。在真实模型的适当可辨识性假设下，我们提供了贝叶斯模型选择过程是一致的并服从奥卡姆剃刀现象的充分条件，即，当样本量趋于无穷大时，选择包含真值的“最小”模型的概率趋于1。为了表明贝叶斯模型选择过程选择包含真理的最小模型，我们施加了先验反集中条件，要求由大模型分配给真理邻域的先验质量足够小。在一个更一般的设置，强模型可识别性假设可能不成立，我们引入了局部贝叶斯复杂性的概念，并开发贝叶斯模型选择过程的预言不等式。我们的贝叶斯预言不等式的特点之间的权衡近似误差和贝叶斯表征的局部复杂性的模型，说明了自适应性质的平均为基础的贝叶斯程序实现最佳的后验收敛率。模型选择理论的具体应用进行了讨论的背景下，高维非参数回归和密度回归的回归函数或条件密度被假定为依赖于一个固定的子集的预测。作为独立兴趣的结果，我们提出了一种获得平稳高斯过程小球概率上界的一般方法。
2017-01-09 math.ST stat.ME stat.ML
A stochastic optimisation unadjusted Langevin method for empirical Bayesian estimation in semi-blind image deblurring problems
针对半盲图像去卷积中边际似然计算难的问题，提出结合Moreau-Yosida正则化未调整朗之万MCMC的随机近似近端梯度优化方法，可自动校准多类参数，有收敛保证且效果优于现有方法。
2024-03-07 stat.AP stat.CO
Bayes Calculations from Quantile Implied Likelihood
在统计实践中，给定数据集的现实贝叶斯模型可以由似然函数定义，由于大数据样本量、高参数维数或复杂的似然函数形式，该似然函数在分析或计算上是难以处理的。这反过来又对模型参数的后验分布的计算和推断提出了挑战。对于这样的模型，引入了一个易于处理的似然函数，它通过其分位数函数逼近精确的似然。它由关键量的渐近卡方置信分布定义，该分布由给定模型参数的样本分位数的渐近正态分布生成。该分位数隐含似然（QIL）产生近似的后验分布，其可以通过使用惩罚对数似然最大化或任何合适的蒙特卡罗算法来估计。通过对样本量达到数百万的模拟和真实数据集的贝叶斯分析，说明了贝叶斯计算的QIL方法。分析涉及各种模型的单变量或多变量iid或非iid数据，低或高的参数维数，其中许多是由棘手的似然定义。概率模型包括学生t、g和h以及g和k分布;具有许多协变量的贝叶斯logit回归模型;指数随机图模型，一种双重棘手的网络模型;多变量偏正态模型，当逆协方差阵相对于样本量较大时，用于逆协方差矩阵的稳健推断;以及Wallenius分布模型。
2019-03-16 stat.ME
How Bayesian Should Bayesian Optimisation Be?
University of Exeter（埃克塞特大学）
贝叶斯优化（BO）使用概率代理模型-通常是高斯过程（GP）-用于优化昂贵的黑盒函数。在每次BO迭代中，GP超参数通过最大化边缘似然来拟合先前评估的数据。然而，这并不能解释超参数本身的不确定性，导致模型预测过于自信。这种不确定性可以通过采用贝叶斯方法将模型超参数边缘化来解释。我们调查是否完全贝叶斯处理的高斯过程超参数在BO（FBBO）导致改进的优化性能。由于分析方法是棘手的，我们比较FBBO使用三个近似推理方案的最大似然方法，使用预期改善（EI）和置信上限（UCB）的收购功能与ARD和各向同性Matern内核配对，在15个著名的基准问题4观测噪声设置。使用具有ARD内核的EI的FBBO在无噪声设置中导致最佳性能，当噪声增加时，BO分量的组合之间的差异小得多。FBBO会导致UCB的过度勘探，但对EI无害。因此，我们建议FBBO使用带有ARD内核的EI作为BO的默认选择。
2021-05-03 cs.LG stat.ML
Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization
University of Oxford（牛津大学）；University of Warwick（华威大学）
贝叶斯似然自由推理方法产生后验近似的模拟器模型与棘手的可能性。近年来，许多工作训练神经网络来逼近难以处理的似然或后验。大多数建议使用归一化流，即神经网络参数化可逆映射，用于从底层基本度量转换样本;然后可以访问转换样本的概率密度，并且可以通过模拟参数-观测对的极大似然训练归一化流。最近的一项工作[拉梅什等人，2022]用生成网络近似后验，这降低了可逆性要求，因此是一类更灵活的分布，可以扩展到高维和结构化数据。然而，生成网络只允许从参数化分布中采样;因此，Ramesh et al.[2022]遵循对抗训练的常见解决方案，其中生成网络与"批评者"网络进行最小-最大游戏。这个过程是不稳定的，可能导致一个学习的分布低估了不确定性-在极端情况下崩溃到一个点。在这里，我们建议使用通过评分规则最小化训练的生成网络来近似后验，这是一种被忽视的无对抗方法，可以实现平滑训练和更好的不确定性量化。在模拟研究中，评分规则方法在对抗框架方面具有更短的训练时间，从而产生更好的性能。
2022-05-31 cs.LG stat.CO stat.ME
Boosting Stochastic Optimisation for High-dimensional Latent Variable Models
London School of Economics and Political Science（伦敦政治经济学院）
本文提出通过Metropolis调整兰格-因变量采样器和mini-batch梯度技术提升高维潜在变量模型的随机优化性能。
2025-12-08 stat.CO
A Neural Estimation Framework for Aggregated Relational Data under Intractable Likelihoods
School of Mathematics, University of Birmingham（伯明翰大学数学学院）
提出一种基于模拟的神经估计框架，通过训练置换不变贝叶斯估计器，解决聚合关系数据中因同质性、潜在空间聚类和不完美回忆导致的跨群体依赖问题，并应用于网络规模升级法难以处理的生成模型。
2026-06-02 stat.AP stat.ME
Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood Estimation
本文提出了一类连续时间交互粒子系统，用于实现潜变量模型的最大边际似然估计，通过离散化推导出 Interacting Particle Langevin Algorithm (IPLA)，并证明了其几何遍历性及非渐近误差界。
2025-03-04 math.PR stat.CO stat.ML
Bayesian computation for statistical models with intractable normalizing constants
本文讨论了具有难处理的归一化常数的统计模型的贝叶斯分析中的一些计算问题。当似然函数中存在难以处理的归一化常数时，传统的MCMC方法无法应用。我们提出了一种方法，从这样的后验分布的样本。该方法可以被认为是Geyer和Thompson（1992）的MCMCMC-MLE方法的贝叶斯版本。据我们所知，这是第一个一般的和渐近一致的蒙特卡罗方法，这样的问题。我们用图像分割和社会网络建模的例子来说明该方法。我们还研究了算法的渐近性态，得到了经验平均值的一个强大数定律。
2008-04-21 stat.CO stat.ME
Improving Linear System Solvers for Hyperparameter Optimisation in Iterative Gaussian Processes
University of Cambridge（剑桥大学）；MPI for Intelligent Systems, Tübingen（图宾根智能系统马普研究所）；Ångström AI（昂斯特伦人工智能公司）
针对高斯过程超参数优化难适配大规模数据集的问题，提出三项线性系统求解器改进方案，实现最高72倍加速与最多7倍残差范数降低。
2025-01-12 cs.LG stat.ML
Sequential Neural Likelihood: Fast Likelihood-free Inference with Autoregressive Flows
University of Edinburgh（爱丁堡大学）
我们提出了序列神经似然（SNL），一种新的方法，贝叶斯推断在模拟器模型，其中的可能性是棘手的，但模拟数据的模型是可能的。SNL在模拟数据上训练自回归流，以学习高后验密度区域中的似然模型。一个连续的训练过程指导模拟，并减少模拟成本的数量级。我们表明，SNL是更强大的，更准确的，需要更少的调整比相关的基于神经的方法，我们讨论了诊断评估校准，收敛和拟合优度。
2019-01-21 cs.LG stat.ML
Approximate Integrated Likelihood via ABC methods
我们提出了一种新的使用最近的新的计算工具贝叶斯推断，即近似贝叶斯计算（ABC）的方法。ABC是一种方法来处理模型的似然函数可能是棘手的，甚至不可用和/或太昂贵的评估，特别是，我们考虑的问题，消除滋扰参数从一个复杂的统计模型，以产生一个似然函数只取决于感兴趣的数量。给定一个适当的先验的整个向量参数，我们建议近似的边缘后验和先验的感兴趣的数量的核估计的比率的综合似然。我们提出了几个例子。
2014-03-03 stat.CO
Stability of doubly-intractable distributions
当似然函数包含一个归一化函数$Z$时，双重难处理分布自然地出现在贝叶斯推理框架中的后验分布中。有两个这样的功能$Z$和$\widetilde Z$，我们提供的总变异和Wasserstein距离的估计结果后验概率措施。因此，这导致当地Lipschitz连续w.r.t. $Z$。在更一般的框架中的随机函数$\widetilde Z$，我们得到的预期全变差和预期Wasserstein距离的界限。的适用性的估计说明内设置两个代表性的蒙特卡罗恢复方案。
2020-08-12 cs.NA math.NA math.PR
Exact Bayesian Gaussian Cox Processes Using Random Integral
本文提出一种非参数贝叶斯方法，通过将强度函数与累积强度函数联合建模为变换后的高斯过程，并设计精确MCMC采样器，在不依赖数据增广或似然近似的情况下实现非齐次泊松过程的强度函数后验推断。
2024-06-28 stat.CO stat.ME stat.ML
The case for fully Bayesian optimisation in small-sample trials
the University of Melbourne（墨尔本大学）
虽然样本效率是使用贝叶斯优化的主要动机时，黑盒功能是昂贵的评估，基于第二类最大似然（ML-II）的标准方法可能会失败，并导致在小样本试验中令人失望的性能。本文提供了三个令人信服的理由，采用完全贝叶斯优化（FBO）作为替代方案。首先，ML-II的失败比使用人为设置的现有研究所暗示的更常见。其次，FBO比ML-II更健壮，而健壮性的代价几乎是微不足道的。第三，FBO已经变得易于实现，并且速度足够快。本文使用相关实验来支持这一论点，这些实验反映了当前关于模型、算法和软件平台的实践。由于收益似乎超过了成本，研究人员应该考虑在他们的应用中采用FBO，这样他们就可以防止潜在的失败，最终浪费宝贵的研究资源。
2022-08-30 cs.LG stat.ML
Private Posterior distributions from Variational approximations
隐私保护机制（如差分隐私）以数据中噪声的形式注入了额外的随机性，超出了采样机制。忽略这些额外的干扰可能会导致不准确和无效的推断。在本文中，我们将隐私机制显式地纳入似然函数，通过处理原始数据作为缺失，最终目标是估计模型参数的后验分布。这导致了使用私有数据执行有效统计推断的原则性方式，然而，相应的可能性是难以处理的。在本文中，我们推导出快速和准确的变分近似，以解决这种棘手的可能性，由于隐私。我们专注于估计朴素贝叶斯对数线性模型参数的后验分布，其中该模型的充分统计量使用差分私有接口共享。使用模拟研究，我们表明，后验近似优于天真的方法，忽略了噪声添加机制。
2015-11-24 cs.CR cs.LG stat.ML
A synthetic likelihood-based Laplace approximation for efficient design of biological processes
用于描述流行病学和生态学中的生物过程的复杂模型通常具有计算上难以处理或昂贵的可能性。这对贝叶斯推断提出了重大挑战，但更重要的是在实验设计方面。贝叶斯设计是通过在设计空间上最大化效用函数的期望来发现的，通常这需要从大量的后验分布中采样或近似。这使得在推理中采用的计算方法在设计中不可行。因此，在这些领域的最佳设计已被限制到一个小的尺寸或有限的范围内的效用函数。为了克服这些限制，我们提出了一个合成的基于似然的拉普拉斯近似近似效用函数的模型与棘手的似然。如将看到的，所提出的近似是灵活的，因为可以考虑广泛的效用函数，并且在高维中保持计算效率。为了探讨这种近似的有效性，从流行病学的一个说明性的例子被认为是。然后，我们的方法是用来设计实验，从流行病学和生态学的两个激励应用程序中的相对大量的观察。
2019-03-11 stat.ME
Copula Approximate Bayesian Computation Using Distribution Random Forests
该研究提出名为copulaABcdrf的新型近似贝叶斯计算框架，结合分布随机森林与多元copula元t分布估计后验分布，兼具变量选择、模型选择等功能，在多类模拟与真实网络数据上表现优于标准ABC方法，还可缓解模拟成本问题。
2024-09-11 stat.CO stat.ME
Estimating Intractable Posterior Distributions through Gaussian Process regression and Metropolis-adjusted Langevin procedure
针对昂贵且含噪/不完整数据下的贝叶斯校准难题，提出用 Gaussian Process Regression 序贯代理对数似然并结合 Metropolis-Adjusted Langevin Algorithm 高效推断后验。
2025-06-16 stat.ME
Bayesian Quantile and Expectile Optimisation
Secondmind Labs（Secondmind实验室）；Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）
贝叶斯优化（BO）被广泛用于优化随机黑箱函数。虽然大多数BO方法专注于优化条件期望，但许多应用程序需要规避风险的策略，并且需要考虑考虑分布尾部的替代标准。在本文中，我们提出了新的变分模型贝叶斯分位数和预期回归，非常适合异方差噪声设置。我们的模型包括两个潜在的高斯过程，分别占条件分位数（或期望）和尺度参数的非对称似然函数。此外，我们提出了两个BO策略的基础上最大值熵搜索和汤普森采样，这是专为这样的模型，可以容纳大量的点。与现有的BO风险规避优化方法相反，我们的策略可以直接优化分位数和期望值，而不需要复制观测值或假设噪声的参数形式。如实验部分所示，所提出的方法在异方差非高斯情况下明显优于现有技术。
2022-07-07 cs.LG stat.ML
Calibration of conditional composite likelihood for Bayesian inference on Gibbs random fields
Université Montpellier（蒙彼利埃大学）；University College Dublin（都柏林大学学院）
本文提出了一种校准方法，用于通过复合似然进行Gibbs随机场的贝叶斯推断，通过实例验证了该方法的有效性。
2015-11-18 math.ST stat.CO stat.TH
Efficient Bayesian Inference for Discretely Observed Continuous Time Markov Chains
本文针对离散观测下连续时间马尔可夫链推断中精确似然不可处理的问题，提出基于伪似然的可扩展贝叶斯框架，联合估计概率转移矩阵和生成元谱分解，并给出理论保证，实现计算成本对数据量几乎不变的高效推断。
2025-07-22 stat.CO stat.ME
Incorporating Expert Prior in Bayesian Optimisation via Space Warping
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能研究所）
贝叶斯优化是一个著名的样本有效的方法，用于优化昂贵的黑盒函数。然而，当处理大的搜索空间时，该算法在达到函数的最优值之前会经过几个低函数值区域。由于函数评估在金钱和时间方面都是昂贵的，因此可能希望缓解这个问题。平息这种冷启动阶段的一种方法是使用可以加速优化的先验知识。在其标准形式中，贝叶斯优化假设搜索空间中的任何点是最优的可能性是相等的。因此，任何可以提供关于函数的最优性的信息的先验知识都将提高优化性能。在本文中，我们表示的先验知识的函数最优通过一个先验分布。然后，先验分布被用来扭曲的搜索空间在这样一种方式，空间得到扩大周围的高概率区域的功能最优和收缩周围的低概率区域的最优。我们通过重新定义核矩阵，将此先验直接纳入函数模型（高斯过程），这使得该方法可以与任何采集函数一起工作，即采集不可知方法。我们通过优化的几个基准函数和超参数调整的两个算法：支持向量机（SVM）和随机森林，我们的方法优于标准贝叶斯优化方法。
2020-03-27 cs.LG stat.ML
Choice functions based multi-objective Bayesian optimisation
School of Computer Science and Statistics, Trinity College Dublin（都柏林圣三一学院计算机科学与统计学学院）；Dalle Molle Institute for Artificial Intelligence Research (IDSIA)（达勒·莫勒人工智能研究所（IDSIA））
在这项工作中，我们引入了一个新的框架，多目标贝叶斯优化，其中多目标函数只能通过选择判断，如“我选择选项A，B，C中的这五个选项A，B，C，D，E”。选项D被拒绝的事实意味着在所选的选项A、B、C中至少有一个选项是我严格偏好于D的（但我不必指定是哪一个）。我们假设对于某个维度$n_e$存在一个潜在向量函数f，它将选项嵌入到n维的实向量空间中，因此选择集可以通过非支配选项的帕累托集来表示。通过在f上放置一个高斯过程先验，并推导出一个新的选择数据的似然模型，我们提出了一个贝叶斯框架的选择函数学习。然后，我们应用这个代理模型来解决一个新的多目标贝叶斯优化从选择数据的问题。
2021-10-15 cs.LG stat.ML
A Function Emulation Approach for Doubly Intractable Distributions
双重难处理的分布出现在许多环境中，例如在点过程的马尔可夫模型和网络的指数随机图模型中。这些模型的贝叶斯推断是具有挑战性的，因为它们涉及到棘手的归一化“常数”，实际上是感兴趣的参数的函数。虽然已经为这些模型开发了几种聪明的计算方法，但每种方法都存在计算问题，这使得它在计算上负担沉重，甚至对许多问题来说是不可行的。我们提出了一种新的算法，通过用基于高斯过程的近似代替对归一化函数的蒙特卡罗近似，提供了比现有方法更高的计算增益。我们为这种方法提供了理论依据。我们还开发了一个密切相关的算法，更广泛地适用于任何似然函数，是昂贵的评估。我们说明了我们的方法的各种具有挑战性的模拟和真实数据的例子，包括指数随机图模型，马尔可夫点过程，传染病动力学模型的应用。该算法显示出显着的增益，在现有的方法的计算效率，并具有更大的增益更具挑战性的问题的潜力。对于一个随机图模型的例子，我们展示了如何在效率的增益，使我们能够进行准确的贝叶斯推断时，其他算法是计算上不切实际的。
2019-04-02 stat.CO
Approximate Bayesian Computation with composite score functions
当似然函数难以处理时，近似贝叶斯计算（ABC）和复合似然方法分别适用于贝叶斯和频率论推理。我们建议使用复合似然得分函数作为ABC中的汇总统计量，以获得精确的近似后验分布。这是出于使用的得分函数的完全似然，并扩展到一般的无偏估计函数在复杂的模型。此外，我们表明，如果综合得分是适当的标准化，由此产生的ABC程序是不变的重新参数化，并自动调整曲率的复合可能性，和相应的后验分布。通过模拟数据的实例说明了该方法，并讨论了其在空间极端降雨数据建模中的应用。
2015-02-24 stat.CO
Automatic Posterior Transformation for Likelihood-Free Inference
Technical University of Munich（慕尼黑工业大学）
如何在具有棘手似然性的随机模拟器上执行贝叶斯推理？最近的一种方法是使用基于神经网络的条件密度估计器从自适应提出的模拟中学习后验。然而，现有的方法限于一个狭窄的范围内的建议分布或需要重要性加权，可以限制在实践中的性能。在这里，我们提出了自动后验变换（APT），一个新的顺序神经后验估计方法，基于模拟的推理。APT可以使用任意的、动态更新的建议来修改后验估计，并且与强大的基于流的密度估计器兼容。它比以前的基于仿真的推理技术更灵活，可扩展性和效率。APT可以直接对高维时间序列和图像数据进行操作，为无似然推理开辟了新的应用。
2019-05-17 cs.LG stat.ML
Inverse Gaussian Process regression for likelihood-free inference
在这项工作中，我们考虑贝叶斯推断问题与棘手的似然函数。我们提出了一种方法来计算一个近似的后验与有限数量的模型模拟。该方法的特征在于逆高斯过程回归（IGPR），即，在该方法中，我们提供了一个自适应算法与回火过程来构造边缘后验分布的近似。通过算例，我们证明了IGPR与一些常用算法相比具有竞争力的性能，特别是在统计稳定性和计算效率方面，而付出的代价是它只能计算边缘后验的加权高斯近似。
2021-02-21 stat.CO stat.ME
Transformations in Semi-Parametric Bayesian Synthetic Likelihood
贝叶斯合成似然（Bayesian synthetic likelihood，BSL）是一种在似然函数难以处理的情况下进行近似贝叶斯推断的常用方法。在合成似然方法中，似然函数通过模型模拟进行参数近似，然后使用标准的基于似然的技术来执行推断。高斯合成似然估计已成为无处不在的BSL文献，主要是因为它的简单性和易于实现。然而，它通常限制性太强，并可能导致较差的后验近似。最近，一个更灵活的半参数贝叶斯合成似然（semiBSL）估计已被引入，这是显着更强大的不规则分布的汇总统计量。在这项工作中，我们提出了一些扩展semiBSL。首先，我们考虑使用变换核密度估计的边缘分布的更灵活的估计。其次，我们提出了白化semiBSL（wsemiBSL）-显着提高semiBSL的计算效率的方法。wsemiBSL在每次算法迭代时使用近似白化变换来解相关汇总统计量。本文开发的方法显着提高了BSL算法的通用性和效率。
2020-07-03 stat.CO stat.ME
Bayesian Learning of Conditional Kernel Mean Embeddings for Automatic Likelihood-Free Inference
The University of Sydney（悉尼大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；NVIDIA（英伟达）
在无似然设置的可能性评估是棘手的，近似贝叶斯计算（ABC）解决了艰巨的推理任务，发现合理的参数解释的观察模拟程序。然而，它们需要大量的模拟调用。重要的是，决定模拟差异度量的超参数至关重要地平衡了推理精度和样本效率，但很难调整。在本文中，我们提出了内核嵌入似然自由推理（KELFI），一个整体框架，自动学习模型超参数，以提高推理精度有限的模拟预算。通过利用条件均值嵌入的似然平滑性，我们非参数地近似似然和后验作为代理密度，并从封闭形式的后验均值嵌入中采样，其超参数在其近似边缘似然下学习。我们的模块化框架在生态学中具有挑战性的推理问题上表现出更高的准确性和效率。
2019-03-03 cs.LG stat.ML
On asymptotic validity of naive inference with an approximate likelihood
许多统计模型的似然性是难以处理的：精确计算似然性是不可能的，或者太昂贵了。在这种情况下，一种常见的方法是用近似值代替可能性，并继续进行推理，就好像近似可能性是确切的可能性一样。在本文中，我们描述的近似似然的条件，保证这种天真的近似似然推断具有相同的一阶渐近性质的推断与确切的可能性。我们调查的影响，这些结果的推断使用拉普拉斯近似的可能性在一个简单的两级潜变量模型，并使用减少依赖近似的可能性在伊辛模型的格子。
2016-11-22 math.ST stat.TH
Optimistic Distributionally Robust Optimization for Nonparametric Likelihood Approximation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；The Hong Kong Polytechnic University（香港理工大学）；Imperial College Business School（帝国理工商学院）
似然函数是贝叶斯统计中的一个基本组成部分。然而，在许多应用中，评估观测的可能性在计算上是难以处理的。在本文中，我们提出了一个非参数近似的可能性，确定一个概率测度，它位于附近的标称措施，并最大限度地提高观察给定的样本点的概率。我们表明，当附近的构造由Kullback-Leibler分歧，矩条件或Wasserstein距离，那么我们的\textit{optimistic likelihood}可以确定通过凸优化问题的解决方案，它承认在特定情况下的解析表达式。我们还表明，我们的乐观似然近似的后验推理问题具有很强的理论性能保证，它在概率分类任务中具有竞争力。
2019-10-23 cs.LG math.OC stat.ML
Bayesian Synthetic Likelihood
本文介绍贝叶斯合成似然（BSL）方法，用于似然不可计算但可模拟的模型中的后验推断，并概述其可扩展稳健的扩展。
2023-05-10 stat.CO stat.ME
A Likelihood-Free Reverse Sampler of the Posterior Distribution
本文考虑了当似然函数难以处理且辅助统计量被用来总结数据中的信息时，针对后验分布的基于优化的采样器的性质。我们的反向采样器近似的似然为基础的后验分布通过解决一系列的模拟最小距离问题。通过变量变元的改变，这些估计值被重新加权先验和雅可比矩阵的体积，以作为从期望的后验分布中提取的结果。采样器提供了一个概念框架来理解两种类型的似然自由估计之间的差异。由于模拟的最小距离估计总是导致可接受的绘制，因此反向采样器可能是现有近似贝叶斯方法的替代方案，这些方法由于接受率低而需要计算。
2015-12-01 stat.ME
Conjugate Generalized Bayesian Inference for Discrete Doubly Intractable Problems
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出了一种计算高效的共轭广义贝叶斯推断方法，用于解决离散双重不可计算问题，通过指数族模型实现快速且准确的推断。
2026-08-04 stat.ME
Scalable, Likelihood-Free Calibration of Ice-Sheet Models with Deep Diffusion Emulators and Feature Matching
Yonsei University（延世大学）；Bayer AG（拜耳股份公司）；Seoul National University（首尔大学）
本文提出SC-DS方法，结合扩散模型与孪生网络实现冰盖模型可扩展无似然校准，精度相当且成本低，可应用于现有方法无法处理的全分辨率冰盖模拟场景。
2026-09-01 stat.AP
Annealed Important Sampling for Models with Latent Variables
本文研究了似然函数在解析上难以处理但可以无偏估计时的贝叶斯推断。我们提出了一个退火的重要性抽样过程中估计的期望后验。该算法是有用的情况下，找到一个好的建议密度是具有挑战性的，当需要估计的边际似然。似然估计的效果进行了研究，结果提供了指导方针，如何设置的似然估计的精度，以最佳地实现该程序。在几个模拟和真实数据的例子中，经验证明了方法的结果。
2014-02-25 stat.ME
Parameter Estimation in Hidden Markov Models with Intractable Likelihoods Using Sequential Monte Carlo
我们提出序贯蒙特卡罗算法的静态参数的极大似然估计的隐马尔可夫模型的一个棘手的可能性使用的想法，从近似贝叶斯计算。静态参数估计算法是基于梯度的，并且覆盖离线和在线估计。我们证明了他们的表现，估计参数的三个棘手的模型，即α-稳定分布，g-和-k分布，和随机波动率模型与α-稳定的回报，使用真实和合成数据。
2013-11-17 stat.CO stat.ME
Efficient Stochastic Optimisation via Sequential Monte Carlo
University of California, Berkeley（加州大学伯克利分校）
针对梯度难以计算的优化问题，提出用序贯蒙特卡洛（SMC）采样器替代昂贵的内采样循环，实现高效随机优化，并在能量模型奖励调优中验证有效性。
2026-06-12 cs.LG stat.CO stat.ML
An approximate KLD based experimental design for models with intractable likelihoods
数据收集是统计推断和数据科学的关键步骤，而统计试验设计（ED）的目标是找到能为推断提供最多信息的数据收集设置。在这项工作中，我们考虑一种特殊类型的ED问题的可能性是不是在一个封闭的形式。在这种情况下，不能直接使用流行的基于信息论的库尔贝克-莱布勒散度（KLD）设计准则，因为它需要评估似然函数。为了解决这个问题，我们推导出一个新的效用函数，这是原来的KLD效用的下限。该下限用数据空间中的两个或更多个熵的总和来表示，因此可以通过熵估计方法有效地进行评估。我们提供了几个数值例子来证明所提出的方法的性能。
2020-06-30 stat.CO stat.ML
