Sampling from density power divergence-based generalized posterior distribution via stochastic optimization
Tokyo University of Science(东京科学大学);Meisei University(明海大学);RIKEN Center for Brain Science(理化学研究所脑科学中心)
本文提出了一种基于随机优化的采样方法,用于高效处理高维数据中基于密度幂分歧的后验分布,适用于具有不可计算积分的参数模型。
2025-12-10 stat.ME
Efficient computational strategies for doubly intractable problems with applications to Bayesian social networks
最近出现在文献中的强大的想法进行调整,并结合设计改进的贝叶斯指数随机图模型的采样器。不同形式的自适应大都会黑斯廷斯建议(垂直,水平和矩形)进行测试,并结合延迟拒绝(DR)的战略,目的是减少方差的马尔可夫链蒙特卡罗估计给定的计算时间。在本文处理的示例中,最佳组合,即具有延迟拒绝的水平自适应,导致相对于Caimo和Friel(2011)的自适应方向采样近似交换算法的方差减少在92%和144%之间变化。这些结果对应于增加的性能,如果我们考虑到模拟时间,其从10%到94%不等。当考虑高度相关的后验分布时,获得最高的改进。
2014-09-17 stat.CO
Variational Diffusion Posterior Sampling with Midpoint Guidance
Ecole polytechnique(巴黎综合理工学院);Télécom SudParis(南巴黎电信学院);KTH University(皇家理工学院)
本文提出一种利用转移概率分解的新方法,在难以处理的引导项与先验转移的复杂性间进行权衡,以解决扩散模型后验采样难题,并在多种逆问题及心血管疾病诊断中验证了其有效性。
2024-12-24 cs.LG stat.ML
Exact and Approximate MCMC for Doubly-intractable Probabilistic Graphical Models Leveraging the Underlying Independence Model
Department of Statistics Purdue University(普渡大学统计系)
本文提出了一种无需完美或顺序采样器的MCMC方法,用于双重不可计算概率图模型,通过利用底层可计算的独立模型构建无偏蒙特卡洛估计,提升高维下的可扩展性。
2026-03-27 stat.CO stat.ME stat.ML
An Analysis of Ensemble Sampling
Columbia University(哥伦比亚大学);DeepMind(深度思维)
当在模型参数上保持精确的后验分布在计算上难以处理时,包围采样作为汤普森采样的实际近似。在本文中,我们建立了一个遗憾的界限,确保所需的行为时,集成采样应用于线性强盗问题。这是第一次严格的遗憾分析合奏抽样,并利用信息理论的概念和新的分析技术,可能会证明有用的超出本文的范围。
2023-03-01 cs.LG stat.ML
Schr{ö}dinger-F{ö}llmer Sampler: Sampling without Ergodicity
从概率分布采样是统计学和机器学习中的一个重要问题,特别是在贝叶斯推断中,当关于后验分布的整合是难以处理的并且从后验分布采样是推断的唯一可行选择时。在本文中,我们提出了薛定谔-Föllmer采样器(SFS),一种新的方法,从可能的非归一化分布的采样。所提出的SFS是基于Schrödinger-Föllmer扩散过程的单位时间间隔与时间相关的漂移项,它传输的退化分布在时间0的目标分布在时间1。与现有的马尔可夫链蒙特卡罗采样器要求遍历性相比,SFS不需要遍历性。在计算上,SFS可以很容易地实现使用Euler-Maruyama离散。在理论分析中,我们在适当的条件下,建立了SFS在瓦瑟斯坦距离上的抽样分布的非渐近误差界。我们进行数值实验,以评估的性能SFS,并证明它是能够产生更好的质量比现有的几种方法的样本。
2021-09-04 stat.CO
Scalable Sampling of Truncated Multivariate Normals Using Sequential Nearest-Neighbor Approximation
该研究提出一种基于序列最近邻近似的线性复杂度TMVN采样方法,通过调优维度参数m平衡保真度与效率,解决了现有方法接受率随维度骤降的问题,在数万维场景下性能优于前沿方法,还可用于部分删失高斯过程的后验推断。
2024-06-25 stat.CO
On Russian Roulette Estimates for Bayesian Inference with Doubly-Intractable Likelihoods
大量的统计模型是“双重难处理的”:似然归一化项是模型参数的函数,是难处理的,边际似然(模型证据)也是如此。这意味着不能使用从后验中采样的标准推断技术,例如马尔可夫链蒙特卡罗(MCMC)。示例包括但不限于大规模高斯马尔可夫随机场、自逻辑模型和指数随机图模型。一些近似方案的基础上MCMC技术,近似贝叶斯计算(ABC)或分析近似后,已被建议,这些在这里进行审查。精确的MCMC计划,它可以应用于一个子集的双重棘手的分布,也已经开发,本文所描述的。到目前为止,还没有一种通用的方法可以适用于所有类型的模型与双重棘手的后验。此外,从物理学文献的启发,我们研究了一种替代方法的基础上表示的棘手的可能性作为一个无穷级数。然后,通过俄罗斯轮盘抽样对序列进行有限时间随机截断,可以获得可能性的无偏估计,尽管估计值不一定是正的。从量子色动力学文献的结果被利用,允许使用可能是负的估计在一个伪边缘MCMC计划,这样的期望相对于后验分布被保存。该方法进行了审查,如伊辛模型中的参数,后的$d$ -Sphere和一个大规模的高斯马尔可夫随机场模型描述的臭氧柱数据的费舍尔-宾汉分布的知名的例子。这导致对方法的优点和缺点进行严格评估,并指出正在进行的研究。
2015-12-10 stat.CO stat.ME stat.ML
Sampling Conditionally on a Rare Event via Generalized Splitting
我们提出并分析了一种广义的分裂方法,近似从一个分布的条件下发生的罕见事件进行采样。这在运筹学、工程学和计算统计学的各种背景下都有重要的应用。该方法使用从单个粒子开始的独立试验。我们利用这种独立性,以获得渐近和非渐近界的采样器的总变差误差。我们的主要发现是,近似误差主要取决于分裂算法在一次运行中产生的点的数量的相对变化,并且这种相对变化可以很容易地通过模拟来估计。我们说明了所提出的方法的相关性的应用程序中,一个需要采样(大约)从一个棘手的后验密度在贝叶斯推断。
2019-09-08 stat.CO stat.ME
Annealed Important Sampling for Models with Latent Variables
本文研究了似然函数在解析上难以处理但可以无偏估计时的贝叶斯推断。我们提出了一个退火的重要性抽样过程中估计的期望后验。该算法是有用的情况下,找到一个好的建议密度是具有挑战性的,当需要估计的边际似然。似然估计的效果进行了研究,结果提供了指导方针,如何设置的似然估计的精度,以最佳地实现该程序。在几个模拟和真实数据的例子中,经验证明了方法的结果。
2014-02-25 stat.ME
Exact Sampling of Gibbs Measures with Estimated Losses
Monash University(莫纳什大学);University College London(伦敦大学学院);Queensland University of Technology(昆士兰科技大学)
针对损失需随机估计时标准MCMC后验依赖伪观测数量的问题,提出改进的PDMP采样器,实现后验抽取与伪观测数无关,并在五个实例中验证有效性。
2026-09-09 math.ST stat.CO stat.ME
An Optimal Transport-Based Generative Model for Bayesian Posterior Sampling
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Maryland at College Park(马里兰大学帕克分校)
本文提出了一种基于最优传输的生成模型,用于高效采样贝叶斯后验分布,支持连续和混合参数空间,并引入了基于最优传输的多元秩和分位数用于推断分析。
2026-03-01 stat.CO stat.ME
Generative Bayesian Filtering and Parameter Learning
Booth School of Business, University of Chicago(芝加哥大学布斯商学院);Department of Statistics, University of Chicago(芝加哥大学统计系)
本文提出生成式贝叶斯滤波(GBF)框架,将生成式贝叶斯计算扩展到动态状态空间模型,并引入生成式-Gibbs采样器进行参数学习,在不可处理密度场景下显著优于现有免似然方法。
2025-11-06 stat.CO stat.ME stat.ML
Importance sampling squared for Bayesian inference in latent variable models
我们考虑贝叶斯推断时,重要性抽样的可能性是分析棘手的,但可以无偏估计。我们将此过程称为重要性抽样平方(IS 2),因为我们通常可以通过重要性抽样来估计可能性本身。我们提供了一个正式的理由重要性抽样时,估计的可能性和研究其收敛特性。我们分析的影响,估计的可能性推断,并提供指导方针,如何建立的精度的可能性估计,以获得最佳的权衡?计算成本和模型参数后验推断的准确性之间的关系。我们举例说明的过程中的经验应用的广义多项logit模型和随机波动率模型。结果表明,在最优实现下,IS2方法可以得到快速准确的后验推理。
2016-07-24 stat.ME
IID Sampling from Intractable Multimodal and Variable-Dimensional Distributions
Bhattacharya(2021 b)介绍了一种新的方法,用于从欧几里得空间上的任何目标分布生成iid实现,而不管维度如何。在本文中,我们的目的是双重的。我们首先扩展了从一般多峰分布获得iid实现的方法,并用两个50维正态分布的混合来说明。然后,我们将固定维分布的iid抽样方法推广到变维情况,并以著名的“酸度数据”的变维正态混合模型为例进行说明,进一步证明了iid抽样方法对多峰分布的适用性。
2021-12-15 stat.CO stat.ME
Differentiable Sampling of Categorical Distributions Using the CatLog-Derivative Trick
KU Leuven(鲁汶大学);Örebro University(厄勒布鲁大学)
本文提出 CatLog-Derivative 技巧以解决类别分布的离散特性问题,并基于此提出新型无偏梯度估计器 IndeCateR,其方差在可证明上低于 REINFORCE,且实证显示在相同样本数下偏差和方差显著低于现有技术。
2023-11-21 cs.LG stat.ML
A Mixture-Based Framework for Guiding Diffusion Models
KTH University(KTH大学)
本文提出一种基于混合模型的扩散模型引导框架,通过混合近似中间后验分布并结合吉布斯采样,解决贝叶斯反问题中似然函数难以处理的问题,并在图像反问题和音频源分离任务上验证了有效性。
2025-02-05 cs.LG stat.ML
A Multi-armed Bandit MCMC, with applications in sampling from doubly intractable posterior
Stanford University(斯坦福大学)
马尔可夫链蒙特卡罗(MCMC)算法被广泛应用于复杂分布的采样,特别是贝叶斯推断中的后验分布的采样。然而,MCMC是不直接适用于面对双重棘手的问题。本文讨论并比较了两种现有的解决方案--伪边际蒙特卡罗法和交换法。本文还提出了一种新的算法:多臂强盗MCMC(MABMC),它在每一步中选择两个(或多个)随机接受率。MABMC可以直接应用于伪边际蒙特卡罗和Exchange算法,具有较高的平均接受概率。
2019-03-27 cs.AI physics.data-an stat.CO
Efficiently Sampling Functions from Gaussian Process Posteriors
Imperial College London(伦敦帝国学院);St. Petersburg State University(圣彼得堡国立大学);St. Petersburg Department of Steklov Mathematical Institute of Russian Academy of Sciences(俄罗斯科学院斯捷克洛夫数学研究所圣彼得堡分所);University College London(伦敦大学学院)
高斯过程是许多现实世界建模问题的黄金标准,特别是在模型的成功取决于其忠实表示预测不确定性的能力的情况下。这些问题通常作为较大框架的一部分存在,其中感兴趣的量最终通过对后验分布进行积分来定义。这些量通常是难以处理的,从而激发了蒙特卡罗方法的使用。尽管在将高斯过程放大到大训练集方面取得了实质性进展,但用于从其后验分布准确生成绘制的方法仍然在测试位置的数量上按立方缩放。我们确定了一个分解的高斯过程,自然适合于可扩展的采样分离出的数据之前。基于这种分解,我们提出了一种易于使用和通用的快速后验采样方法,该方法与稀疏近似无缝配对,以在训练和测试时提供可扩展性。在一系列旨在测试竞争抽样方案的统计特性和实际后果的实验中,我们演示了解耦样本路径如何以通常成本的一小部分准确地表示高斯过程后验。
2020-08-16 cs.LG stat.CO stat.ML
Sampling through iterated approximation: Gradient-free and multi-fidelity Bayesian inference via transport
Massachusetts Institute of Technology(麻省理工学院);Sandia National Laboratories(桑迪亚国家实验室)
本文提出一种迭代框架,用于贝叶斯推断问题,结合几何退火与多保真度建模,通过变分学习生成测度传输代理,结合重要性加权方案,高效准确地解决低维强非高斯贝叶斯逆问题。
2026-03-12 cs.NA math.NA stat.CO
Scalable Thompson Sampling via Optimal Transport
Duke University(杜克大学);Adobe Research(Adobe研究(Adobe Research));SUNY at Buffalo(纽约州立大学布法罗分校(SUNY at Buffalo))
汤普森抽样(Thompson sampling,TS)算法是一种序列决策算法,它要求在模型上保持后验分布。然而,计算精确的后验分布是棘手的,但最简单的模型。因此,近似后验分布的有效计算是具有复杂模型的可扩展TS(例如神经网络)的关键问题。在本文中,我们使用分布优化技术来近似的后验分布,通过Wasserstein梯度流解决。在此基础上,提出了一种基于粒子优化的TS算法,以有效地逼近后验。我们的方法是可扩展的,并没有明确的分布假设后验近似。在人工数据和真实大规模数据上的实验表明了所提方法的优越性能。
2019-02-19 cs.LG stat.ML
MCMC for doubly-intractable distributions
马尔可夫链蒙特卡罗(MCMC)算法通常用于从具有棘手的归一化常数的分布中提取样本。然而,标准MCMC算法不适用于双重棘手的分布,其中有额外的参数依赖的归一化项;例如,无向图形模型的参数后验。一个巧妙的非线性变量方案(Moeller等人,2004)提供了一个解决方案:精确抽样(Propp和Wilson,1996)用于从Metropolis-Hastings提案中抽样,其中接受概率是易处理的。不幸的是,这些昂贵的更新的接受概率可能很低。本文提供了Moeller等人(2004)的推广和一种新的MCMC算法,该算法在相同的精确采样量下获得更好的接受概率,并且无需在采样开始前估计模型参数。
2012-06-27 stat.CO stat.ME
Particle ancestor sampling for near-degenerate or intractable state transition models
我们一般考虑序列潜变量模型中的贝叶斯推断,特别是非线性状态空间模型(即,状态平滑)。我们与序贯蒙特卡罗(SMC)算法,它提供了一个强大的推理框架,解决这个问题。然而,对于某些具有挑战性和常见的模型类,最先进的算法仍然很困难。这项工作的动机特别是两个这样的模型类:(i)模型的状态转换内核是(近)退化,即(近)集中在低维流形,和(ii)模型的状态转换密度的逐点评估是棘手的。这两种类型的模型出现在许多感兴趣的应用中,包括跟踪,流行病学和计量经济学。这些类型的模型的困难在于,它们基本上排除了基于前向-后向的方法,这些方法被认为具有很大的实际重要性,尤其是构造计算效率高的粒子马尔可夫链蒙特卡罗(PMCMC)算法。为了缓解这一点,我们提出了一个“粒子再生”技术,使使用的前向-后向策略(近)退化模型,并通过扩展,棘手的模型。我们推导出所提出的方法,特别是在PMCMC的上下文中,但我们强调,它适用于任何向前向后为基础的蒙特卡罗方法。
2015-05-23 stat.CO
Gibbs posterior inference on a Levy density under discrete sampling
在金融数学中,Levy过程因其能够模拟连续变化和突然的不连续跳跃而被广泛使用。这些跳跃实际上是相关的,所以可靠的推断功能,控制跳跃的频率和幅度,即Levy密度,是至关重要的。执行基于模型的具体障碍(例如,Bayesian)推断的问题是,对于一般的Levy过程,可能性是棘手的。为了克服这一障碍,在这里,我们采用吉布斯后验框架,更新先验分布使用合适的损失函数,而不是一个可能性。我们建立渐近后验浓度率建议吉布斯后验。特别是,在最有趣的和实际相关的情况下,我们给出的条件下,吉布斯后集中在(近)最小最大的最佳速率,适应未知的光滑的真实利维密度。
2021-09-14 math.PR math.ST q-fin.MF
Simulation-Based Fitting of Intractable Models via Sequential Sampling and Local Smoothing
University of Padova(帕多瓦大学)
本文针对似然与矩均不可解的生成模型,提出一种结合全局搜索与信赖域型Fisher评分局部搜索的通用仿真拟合算法,仅需有限先验信息,并通过对比实验验证其性能,配套R包已上线CRAN。
2025-11-11 stat.CO stat.ME stat.ML
Exact sampling for intractable probability distributions via a Bernoulli factory
统计学领域的许多应用都需要马尔可夫链蒙特卡罗方法。确定适当的起始值和运行长度在分析和经验上都具有挑战性。克服这些问题的愿望导致了精确的或完美的采样算法的发展,该算法将马尔可夫链转换成产生i.i.d.从平稳分布中抽取样本。不幸的是,这些算法中很少有被开发用于统计应用中出现的分布,这些分布通常具有不可数的支持。本文研究了一般状态空间上几何遍历马尔可夫链的精确采样算法。我们的工作提供了一个显着减少的输入绘制所需的伯努利工厂,这使得通过拒绝抽样方法的精确采样的数量。我们说明了一个单变量的大都会黑斯廷斯采样器和二元吉布斯采样器,这提供了一个概念证明和洞察超参数选择的算法。最后,我们说明了算法的贝叶斯版本的单向随机效应模型的数据从苯乙烯暴露研究。
2012-03-08 math.ST stat.CO stat.TH
Efficient sampling of Gaussian graphical models using conditional Bayes factors
高斯图形模型的贝叶斯估计已被证明是具有挑战性的,因为高斯精度矩阵上的共轭先验分布,G-Wishart分布,具有双重难以处理的分区函数。最近的发展提供了一种直接从G-Wishart分布中采样的方法,这使得模型选择算法比以前更有效。尽管如此,估计高斯图形模型与少数几个变量仍然是一个几乎不可行的任务。在这里,我们提出了两种新的算法,使用直接采样器更有效地近似高斯图形模型的后验分布。第一种算法使用条件贝叶斯因子在Metropolis-Hastings框架中比较模型。第二种算法是基于连续时间马尔可夫过程。我们表明,这两种算法都大大快于国家的最先进的替代品。最后,我们展示了如何使用算法可以同时估计结构和功能连接之间的皮层下的大脑区域,使用静息态功能磁共振成像。
2014-09-09 q-bio.NC stat.ME
Private Posterior distributions from Variational approximations
隐私保护机制(如差分隐私)以数据中噪声的形式注入了额外的随机性,超出了采样机制。忽略这些额外的干扰可能会导致不准确和无效的推断。在本文中,我们将隐私机制显式地纳入似然函数,通过处理原始数据作为缺失,最终目标是估计模型参数的后验分布。这导致了使用私有数据执行有效统计推断的原则性方式,然而,相应的可能性是难以处理的。在本文中,我们推导出快速和准确的变分近似,以解决这种棘手的可能性,由于隐私。我们专注于估计朴素贝叶斯对数线性模型参数的后验分布,其中该模型的充分统计量使用差分私有接口共享。使用模拟研究,我们表明,后验近似优于天真的方法,忽略了噪声添加机制。
2015-11-24 cs.CR cs.LG stat.ML
Predictive posterior sampling from non-stationnary Gaussian process priors via Diffusion models with application to climate data
Mines Paris, PSL University(巴黎矿业学院(巴黎文理研究大学))
本文提出一种基于扩散生成模型的两步方法,通过DGM代理替换非平稳高斯过程先验并利用免训练引导算法进行后验采样,解决了非平稳GP预测后验分布计算不可行的问题,在环境科学逆问题中实现了最先进的预测。
2025-05-23 cs.LG stat.ML
Bayesian Inference for Gaussian Process Classifiers with Annealing and Pseudo-Marginal MCMC
核方法已经彻底改变了模式识别和机器学习领域。然而,他们的成功,关键取决于内核参数的选择。以高斯过程(GP)分类为例,研究了基于马尔可夫链蒙特卡罗(MCMC)方法的协方差(核)参数的贝叶斯推断。其动机是,与核参数的标准优化相比,它们已被系统地证明在量化预测中的不确定性方面具有优越性。最近,伪边缘MCMC方法已被提出作为GP模型的实用推理工具。特别是,它的金额在替代分析棘手的边际似然由近似方法和重要性抽样获得的无偏估计。在讨论了重要性抽样的潜在缺陷后,本文提出了退火重要性抽样的应用。实验结果表明,与重要性抽样相比,退火重要性抽样能以多项式的计算代价指数地减小边缘似然估计的方差.实际数据的结果表明,采用退火重要性抽样的伪边缘MCMC方法代表了一个步骤,在GP模型的全自动精确推理引擎的发展。
2014-05-26 stat.ME stat.ML
Posterior Sampling by Combining Diffusion Models with Annealed Langevin Dynamics
UT Austin(得克萨斯大学);Microsoft Research(微软研究院)
针对后验采样的计算难题,聚焦对数凹分布$p(x)$,提出结合扩散模型与退火朗之万动力学的方法,仅需得分误差$L^4$界即可在多项式时间内实现条件采样,解决朗之万动力学对得分估计误差敏感的问题。
2025-11-18 cs.AI cs.DS cs.LG
Amortized ratio-estimation importance sampling and localized simulation-based calibration for intractable likelihoods
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
针对不可处理似然模型,提出基于高斯混合专家的序贯后验估计与局部摊销比率估计重要性采样校正,并引入局部化基于仿真的校准,在三个案例中验证有效性。
2026-10-15 stat.CO stat.ME stat.ML
A Common Derivation for Markov Chain Monte Carlo Algorithms with Tractable and Intractable Targets
马尔可夫链蒙特卡罗(Markov chain Monte Carlo)是一类从高维目标密度中抽取马尔可夫样本来近似计算统计期望的数值积分的算法,特别是在贝叶斯统计中。然而,许多马尔可夫链蒙特卡罗算法似乎并不共享相同的理论支持,每个算法都以不同的方式证明。这导致了许多术语和辅助概念,这使得马尔可夫链蒙特卡罗文献似乎是分散的,并恐吓来自许多其他领域的研究人员,包括贝叶斯统计的新研究人员。利用一个随机数发生器和一个自逆映射构造了梅特罗波利斯-黑斯廷斯算法的一个推广版本。这个公式承认许多其他马尔可夫链蒙特卡罗算法作为特殊情况。许多马尔可夫链蒙特卡罗算法的一个共同的推导在绘制这些算法之间的联系和比较时是有用的。因此,我们现在可以构建多个马尔可夫链蒙特卡罗算法的许多新组合,这些组合放大了每个单独算法的效率。具体来说,我们提出了两个新的采样方案,结合切片采样方向或哈密顿采样。我们的哈密顿切片采样方案也适用于伪边缘背景下,目标密度是棘手的,但可以无偏估计,例如,使用粒子滤波。
2018-03-25 stat.CO
A correlated pseudo-marginal approach to doubly intractable problems
本文针对双重难解后验提出一种基于无偏块泊松估计器的带符号伪边际Metropolis-Hastings算法,结合重要性采样保证估计一致性,并证明其适合并行化和相关伪边际方法,在Ising模型和Kent分布上表现优越。
2025-08-22 stat.CO stat.ME
Discrepancy-based Inference for Intractable Generative Models using Quasi-Monte Carlo
不可解的生成模型是可能性不可用但采样是可能的模型。在这种情况下,大多数参数推断方法需要计算数据和生成模型之间的一些差异。例如,这是最小距离估计和近似贝叶斯计算的情况。这些方法需要针对不同的参数值从模型中采样大量的实现,当仿真是昂贵的操作时,这可能是一个重大的挑战。在本文中,我们建议通过在我们的模型模拟中执行“样本多样性”来增强这种方法。这将通过使用准蒙特卡罗(QMC)点集来实现。我们的主要结果是样本的复杂性界限表明,在平滑条件下的发电机,QMC可以显着减少所需的样本数量,以获得一个给定的精度水平时,使用三个最常见的差异:最大的平均差异,瓦瑟斯坦距离,和Sinkhorn分歧。这是由一个模拟研究,其中强调,提高精度有时也是可能的,在某些设置不包括的理论。
2022-07-04 stat.CO stat.ME
Approximate Collapsed Gibbs Clustering with Expectation Propagation
University of Washington(华盛顿大学)
我们开发了一个框架,近似崩溃的吉布斯抽样生成潜变量集群模型。Collapsed Gibbs是一种流行的MCMC方法,它在后验中整合变量以改善混合。不幸的是,对于许多复杂的模型,整合出这些变量是分析或计算上难以处理的。我们有效地近似必要的崩溃吉布斯积分借用的想法从期望传播。我们提出了两个案例研究,其中精确的崩溃吉布斯抽样是棘手的学生-t的和时间序列聚类的混合物。我们对真实数据和合成数据的实验表明,我们的近似采样器能够在对这些类型的模型进行采样时实现运行时精度的权衡,从而比在这些情况下依赖的天真Gibbs采样器更快地提供具有竞争力的精度的结果。
2018-07-19 cs.LG stat.CO stat.ML
Exact MCMC for Intractable Proposals
Duke University(杜克大学);IIT Kanpur(坎普尔印度理工学院)
本文提出利用伯努利工厂MCMC算法解决不可行提案分布的问题,通过三个实例展示其有效性。
2026-04-19 stat.CO stat.ME
Noisy Hamiltonian Monte Carlo for doubly-intractable distributions
School of Mathematics and Statistics, University College Dublin(都柏林大学学院数学与统计学院);Insight Centre for Data Analytics(Insight数据分析中心)
本文研究了在双重不可行分布中使用噪声哈密顿蒙特卡洛方法的可行性,通过蒙特卡洛估计替代梯度和接受-拒绝提议以克服计算困难。
2026-10-14 stat.CO
Multilevel rejection sampling for approximate Bayesian computation
无似然方法,如近似贝叶斯计算,是解决具有复杂似然函数的实际推理问题的有力工具。近似贝叶斯计算的马尔可夫链蒙特卡罗和序贯蒙特卡罗变体可以是在近似贝叶斯计算设置中对后验分布进行采样的有效技术。然而,如果不仔细考虑收敛标准和建议内核的选择,这种方法可能会导致非常有偏见的推理或计算效率低下的采样。相比之下,用于近似贝叶斯计算的拒绝抽样尽管计算密集,但会导致来自近似后验的独立的、相同分布的样本。提出了一种加速无似然贝叶斯推断的替代方法,该方法将多级蒙特卡罗方差缩减技术直接应用于拒绝抽样。所得到的方法保留了拒绝抽样的精度优势,同时显着提高了计算效率。
2018-02-28 stat.CO
On predictive inference for intractable models via approximate Bayesian computation
近似贝叶斯计算(ABC)通常用于参数估计和模型比较的棘手的基于模拟器的模型,其似然函数无法评估。在本文中,我们反而调查ABC作为一个通用的近似方法预测推理的可行性,特别是,用于计算后验预测分布的未来观测或缺失数据的利益。我们考虑三个互补的ABC方法,每个基于不同的假设,其中预测密度的棘手的模型可以从采样。的情况下,只有模拟从联合密度的观察到的和未来的数据给定的模型参数可以用于推断给予特别注意,它表明,在这种设置中的理想的汇总统计量是最小的预测足够的,而不仅仅是最小的足够的(在普通意义上)。ABC预测方法,利用一定的潜变量表示也进行了研究。我们还展示了如何常见的ABC抽样算法可以用于所考虑的预测设置。我们的主要结果首先说明了使用简单的时间序列模型,便于分析处理,后来通过使用两个常见的棘手的动态模型。
2022-09-12 stat.CO stat.ME
Nearly Consistent Finite Particle Estimates in Streaming Importance Sampling
在贝叶斯推理中,我们试图计算有关随机变量的信息,例如基于{可用数据}和先验信息的矩或分位数。当随机变量的分布是{难处理的}时,通常需要蒙特卡罗(MC)抽样。{重要性抽样是一种标准的MC工具,它使用一组加权样本来近似这种不可用的分布。}当MC样本(粒子)的数量趋于无穷大时,该过程是渐近一致的。然而,保留无限多个粒子是棘手的。因此,我们提出了一种方法,只保留粒子的\emph{finite representative subset}和它们的增强重要性权重,即\emph{nearly consistent}。为了以在线方式做到这一点,我们(1)通过其核均值嵌入将后验密度估计嵌入到再生核希尔伯特空间(RKHS)中;以及(2)使用最大均值差异(积分概率距离)将该RKHS元素顺序地投影到RKHS中的低维子空间上。从理论上讲,我们建立,该方案的结果在一个压缩参数,这产生了一致性和内存之间的可调权衡确定的偏见。在实验中,我们观察到压缩的估计实现了相当的性能与密集的代表性的复杂性大幅降低。
2021-04-05 cs.CC math.ST stat.CO
Robustly estimating the marginal likelihood for cognitive models via importance sampling
马尔可夫链蒙特卡罗(MCMC)的最新进展将贝叶斯推断的范围扩展到似然函数难以处理的模型。虽然这些发展使我们能够估计模型参数,其他基本问题,如估计的边际似然,贝叶斯模型选择的基本工具,仍然具有挑战性。这是一个重要的科学限制,因为用分层模型测试心理学假设已经证明用当前的模型选择方法是困难的。我们提出了一个有效的方法来估计的边缘似然模型的可能性是棘手的,但可以无偏估计。它基于首先运行诸如MCMC的采样方法来获得模型参数的样本,然后使用这些样本来构建具有似然性的无偏估计的重要性抽样(IS)框架中的建议密度。我们的方法有几个有吸引力的属性:它产生一个无偏估计的边际似然,它是强大的质量和目标的抽样方法,用于形成的IS建议,它是计算便宜的估计方差的边际似然估计。我们还得到了该方法的收敛性,并提供了最大限度地提高计算效率的指导方针。该方法说明了两个具有挑战性的情况下,涉及层次模型:识别形式的个人差异,在应用选择方案,并评估最佳的参数化的认知模型在一个快速的决策背景。提供了实现这些方法的免费可用代码。扩展后验矩估计和并行化也进行了讨论。
2019-12-11 stat.AP stat.CO
Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling
Amazon Music ML(亚马逊音乐机器学习部门)
Plackett-Luce(PL)模型在学习排名(LTR)中无处不在,因为它提供了一个有用且直观的概率模型来对排名列表进行采样。反事实离线评估和优化排名指标是在生产中使用LTR方法的关键。当采用PL模型作为排名策略时,这两个任务都需要计算模型的期望值。这些通常是近似通过蒙特卡洛(MC)抽样,因为组合缩放的项目数量进行排名,使他们的分析计算棘手。尽管最近在通过Gumbel top-k技巧提高采样过程的计算效率方面取得了进展,但MC估计可能会受到高方差的影响。我们开发了一种新的方法,以产生更多的样本有效的期望在PL模型的估计相结合的Gumbel top-k技巧与准蒙特卡罗(QMC)抽样,一个行之有效的技术减少方差。我们从理论上和经验上使用来自亚马逊音乐和雅虎学习排名挑战的真实推荐数据来说明我们的发现。
2022-05-12 cs.IR cs.LG stat.CO
Parallel MCMC with Generalized Elliptical Slice Sampling
概率模型在概念上是发现数据结构的强大工具,但它们的实际有效性往往受到我们对其进行推理的能力的限制。精确推理通常是难以处理的,因此近似推理通常使用马尔可夫链蒙特卡罗(MCMC)来执行。为了从MCMC获得最佳可能的结果,我们希望有效地模拟快速混合马尔可夫链的许多步骤,使目标分布保持不变。在这方面,特别感兴趣的是如何利用多核计算来加速基于MCMC的推理,以改善混合并分配计算负载。在本文中,我们提出了一个可并行马尔可夫链蒙特卡罗算法,有效地从连续概率分布,可以利用数百个核心的采样。该方法在并行马尔可夫链之间共享信息,以建立目标分布密度函数的高斯混合尺度近似。我们结合这种近似与最近的方法称为椭圆切片采样创建一个马尔可夫链没有步长参数,可以快速混合,而不需要梯度或曲率计算。
2014-07-24 stat.CO stat.ML
NEO: Non Equilibrium Sampling on the Orbit of a Deterministic Transform
从复分布$π$采样并逼近其难以处理的归一化常数Z是具有挑战性的问题。本文导出了一类新的重要性抽样器(IS)和马尔可夫链蒙特卡罗(MCMC)抽样器。给定可逆映射T,这些方案通过从提议分布$ρ$采样的点来组合(具有权重)来自前向和后向轨道的元素。地图T并没有让目标$π$保持不变,因此命名为NEO,代表非平衡轨道。NEO-IS提供了$π$下期望的归一化常数的无偏估计量和自归一化IS估计,而NEO-MCMC结合了归一化常数的多个NEO-IS估计和迭代采样重要性恢复机制,以从$π$中采样。对于选择T作为共形哈密顿系统的离散时间积分器,NEO-IS在困难的基准上实现了最先进的性能,NEO-MCMC能够探索高度多模态的目标。此外,我们为这两种方法提供了详细的理论结果。特别地,我们证明了NEO-MCMC是一致几何遍历的,并在温和的条件下建立了显式混合时间估计。
2021-08-23 stat.CO stat.ME stat.ML
Efficient MCMC Sampling with Dimension-Free Convergence Rate using ADMM-type Splitting
对复杂模型执行精确的贝叶斯推断在计算上是困难的。马尔可夫链蒙特卡罗(MCMC)算法可以提供可靠的近似的后验分布,但昂贵的大型数据集和高维模型。减轻这种复杂性的标准方法包括使用子采样技术或将数据分布在集群中。然而,这些方法在高维场景中通常不可靠。在这里,我们专注于最近的替代类MCMC计划利用分裂策略类似于著名的交替方向的乘数(ADMM)优化算法所使用的。这些方法似乎提供了经验上最先进的性能,但它们在高维中的理论行为目前尚不清楚。在本文中,我们提出了一个详细的理论研究,这些算法之一,被称为分裂吉布斯采样器。在正则条件下,利用Ricci曲率和耦合思想,给出了该格式的显式收敛速度.我们用数字说明来支持我们的理论。
2021-12-08 stat.CO stat.ME stat.ML
Rejection Sampling with Vertical Weighted Strips
Center for Statistical Research and Methodology, U.S. Census Bureau(美国人口普查局统计研究与方法中心)
针对加权密度分布采样难的问题,提出基于权重函数优控、按上界贡献划分支撑集的拒绝采样方法,可在自适应拒绝采样假设不满足时使用,还能预评估采样效率,并用von Mises Fisher分布实例验证了框架。
2025-03-14 stat.CO stat.ME
Cross-entropy optimisation of importance sampling parameters for statistical model checking
INRIA Rennes - Bretagne Atlantique(INRIA 雷恩-布列塔尼大西洋中心)
提出一种基于交叉熵的低维参数优化算法,用于统计模型检验中的重要性采样分布,避免状态空间显式表示,显著提升模拟效率。
2012-01-25 cs.CE cs.PF cs.SY