Kernel Sequential Monte Carlo
我们提出了内核序贯蒙特卡罗(KSMC),从静态目标密度采样的框架。KSMC是一系列序贯蒙特卡罗算法,其基于在再生核希尔伯特空间中构建当前粒子系统的仿真器模型。我们在这里重点关注目标的非线性协方差结构和梯度建模。仿真器的几何形状自适应更新,随后用于通知本地建议。与自适应马尔可夫链蒙特卡罗不同,连续自适应不会损害采样器的收敛性。KSMC结合了序贯蒙特卡罗和核方法的优点:与马尔可夫链蒙特卡罗相比,多模态目标的性能优越,能够估计模型证据,仿真器能够表示表现出高度非线性的目标。由于KSMC不需要访问目标梯度,因此它特别适用于梯度未知或过于昂贵的目标。我们描述了必要的调整细节,并展示了一系列具有挑战性的合成和现实世界的例子所提出的方法的好处。
2017-07-25 stat.CO stat.ML
Inference with Hamiltonian Sequential Monte Carlo Simulators
本文结合序贯蒙特卡罗模拟器和哈密顿蒙特卡罗模拟器的优点,提出了一种新的蒙特卡罗模拟器。结果是一种对多模态和复杂形状具有鲁棒性的方法,用于在存在困难的似然性或目标函数的情况下进行推理。提供了几个例子。
2018-12-19 stat.CO
Discussion of "Sequential Quasi-Monte Carlo" by Mathieu Gerber and Nicolas Chopin
关于拟蒙特卡罗估计在应用中降低方差可能性的讨论。进一步的细节在随附的论文“拟蒙特卡罗的方差缩减“中提供。
2015-01-14 stat.CO
Variational Combinatorial Sequential Monte Carlo Methods for Bayesian Phylogenetic Inference
Columbia University(哥伦比亚大学)
贝叶斯系统发育推断通常使用随机游走马尔可夫链蒙特卡罗(MCMC)或组合序贯蒙特卡罗(CSMC)等算法通过拓扑和分支长度上的局部或顺序搜索来进行。然而,当MCMC用于进化参数学习时,收敛需要长时间运行,状态空间的探索效率低下。我们介绍变分组合序贯蒙特卡罗(VCSMC),一个强大的框架,建立变分顺序搜索学习分布在复杂的组合结构。然后,我们开发嵌套CSMC,一个有效的建议分布CSMC和证明嵌套CSMC是一个精确的近似(棘手的)局部最优建议。我们使用嵌套的CSMC定义第二个目标,VNCSMC产生更严格的下限比VCSMC。我们表明,VCSMC和VNCSMC的计算效率和探索更高的概率空间比现有的方法在一系列的任务。
2021-06-17 cs.LG stat.CO stat.ML
Adaptive Tuning Of Hamiltonian Monte Carlo Within Sequential Monte Carlo
序贯蒙特卡罗(SMC)采样器形成了一个有吸引力的替代MCMC贝叶斯计算。然而,它们的性能在很大程度上取决于用于恢复粒子的马尔可夫核。我们讨论了如何自动校准(使用当前粒子)哈密顿蒙特卡罗内核SMC。为此,我们建立在Fearnhead和Taylor(2013)的自适应SMC方法的基础上,我们还提出了替代方法。我们通过广泛的数值研究说明了在SMC采样器内使用HMC内核的优点。
2020-02-12 stat.CO
Sequential quasi-Monte Carlo: Introduction for Non-Experts, Dimension Reduction, Application to Partly Observed Diffusion Processes
SMC(序贯蒙特卡罗)算法是求解滤波及相关序列问题的一类蒙特卡罗算法。Gerber和Chopin(2015)介绍了SQMC(顺序准蒙特卡罗),SMC的QMC版本。本文件有两个目标:(a)将序贯蒙特卡罗引入QMC社区,该社区的成员通常不太熟悉状态空间模型和粒子滤波;(b)将SQMC扩展到连续时间状态空间模型的滤波,其中潜在过程是扩散。本文中反复出现的一点是降维的概念,即如何实现SQMC,尽管问题的维数很高,但它仍然提供了良好的性能。
2017-06-16 stat.CO
An invitation to sequential Monte Carlo samplers
统计学家经常使用蒙特卡罗方法来近似概率分布,主要是马尔可夫链蒙特卡罗和重要性抽样。序贯蒙特卡罗采样器是一类结合了两种技术来近似感兴趣的分布及其归一化常数的算法。这些采样器起源于状态空间模型的粒子滤波,并已成为通用和可扩展的采样技术。本文描述了序贯蒙特卡罗采样器及其可能的实现,认为它们在统计中仍然没有得到充分的使用,尽管它们能够执行顺序推理并利用并行处理资源以及其他潜在的好处。
2022-06-17 stat.CO stat.ME
Application of Sequential Quasi-Monte Carlo to Autonomous Positioning
序贯蒙特卡罗算法(也称为粒子滤波器)是用于近似状态空间模型的滤波(和相关)分布的流行方法。然而,它们以缓慢的$1/\sqrt{N}$速率收敛,这在实时数据密集型场景中可能是一个问题。我们简要介绍了SQMC(顺序准蒙特卡罗),这是基于Gerber和Chopin(2015)提出的低差异点集的SMC变体,它以更快的速度收敛,我们说明了SQMC在自主定位问题上的更高性能。
2015-03-05 stat.CO
An Annealed Sequential Monte Carlo Method for Bayesian Phylogenetics
我们描述了一个“并行”的贝叶斯系统发育推断,退火顺序蒙特卡罗方法,基于最近的进展,如退火参数的自适应确定顺序蒙特卡罗文献。该算法提供了一个近似的后验分布的树木和进化参数,以及一个无偏估计的边际似然。该无偏性可用于检验后验仿真软件的正确性。我们评估系统发育退火序贯蒙特卡罗的性能,通过审查和比较与其他计算贝叶斯系统发育方法,特别是不同的边际似然估计方法。与以前的序列蒙特卡罗方法在遗传学中,我们的退火方法可以利用标准的马尔可夫链蒙特卡罗树移动,因此受益于大量的库存,这种移动在文献中。因此,退火顺序蒙特卡罗方法应该是相对容易纳入现有的系统发育软件包的基础上马尔可夫链蒙特卡罗算法。我们用模拟研究和真实数据分析来说明我们的方法。
2019-03-13 q-bio.PE stat.CO
Variational Sequential Monte Carlo
大规模概率推理的许多最新进展依赖于变分方法。变分方法的成功取决于(i)制定一个灵活的参数分布族,以及(ii)优化参数,以找到这个家族中最接近精确后验的成员。在本文中,我们提出了一个新的近似家庭的分布,变分序贯蒙特卡罗(VSMC)家庭,并显示如何优化它的变分推断。VSMC融合了变分推断(VI)和序贯蒙特卡罗(SMC),为从业者提供灵活,准确和强大的贝叶斯推断。VSMC族是一个变分族,可以任意地近似后验,同时仍然允许其参数的有效优化。我们展示了它在状态空间模型,金融数据的随机波动模型和大脑神经回路的深度马尔可夫模型上的实用性。
2018-02-21 stat.CO stat.ME stat.ML
Repetition effects in a Sequential Monte Carlo sampler
本文研究了近期为政治选区重划引入的序贯蒙特卡洛(SMC)方法中样本重复现象的普遍性。
2024-09-24 cs.CY math.PR math.ST
Three discussions of the paper "sequential quasi-Monte Carlo sampling", by M. Gerber and N. Chopin
这是一个收集的三个书面讨论的文件“序贯准蒙特卡罗抽样”的M。Gerber和N.肖邦在2014年12月10日在伦敦皇家统计学会发表演讲后说。
2015-05-26 stat.CO
Finite Sample Complexity of Sequential Monte Carlo Estimators on Multimodal Target Distributions
我们证明了有限样本复杂性的序贯蒙特卡罗(SMC)算法,只需要当地的混合时间相关联的马尔可夫内核。我们的边界是特别有用的,当目标分布是多模态和全球混合的马尔可夫内核是缓慢的,在这种情况下,我们的方法建立了相应的马尔可夫链蒙特卡罗(MCMC)估计SMC的好处。通过顺序控制由SMC再循环程序引入的偏差来解决全局混合的缺乏。我们应用这些结果来获得的复杂性界限下的混合物的对数凹分布的近似期望,并表明SMC提供了一个完全多项式时间的随机逼近方案,一些困难的多峰问题,相应的马尔可夫链采样器是指数缓慢。最后,我们比较我们的方法得到的边界,现有的边界上的回火马尔可夫链相同的问题。
2022-08-13 math.PR stat.CO stat.ML
Generalised linear mixed model analysis via sequential Monte Carlo sampling
提出了一种用于广义线性混合模型贝叶斯分析的序贯蒙特卡罗抽样算法。这些模型支持各种有趣的回归类型的分析,但执行推理往往是非常困难的,即使使用贝叶斯方法结合马尔可夫链蒙特卡罗(MCMC)。序贯蒙特卡罗抽样法是一种新的、通用的从后验分布中产生样本的方法。在这篇文章中,我们演示了使用SMC方法进行GLP-I推理。我们证明了模拟和真实数据的方法的有效性,并发现,序贯蒙特卡罗是一个有竞争力的替代MCMC技术。
2008-10-07 stat.CO
Auto-Encoding Sequential Monte Carlo
我们建立在自动编码序贯蒙特卡罗(AESMC):模型和建议学习的基础上,最大限度地提高了一个广泛的家庭的结构化概率模型的对数边际似然下界的方法。我们的方法依赖于序贯蒙特卡罗(SMC)在结构化概率模型中执行推理的效率,以及深度神经网络对复杂条件概率分布建模的灵活性。我们开发了更多的理论见解,并引入了一个新的训练过程,提高了模型和建议学习。我们证明了我们的方法为深度生成模型中的同时模型学习和建议适应提供了一种快速,易于实现和可扩展的方法。
2018-04-05 stat.ML
On sequential Monte Carlo, partial rejection control and approximate Bayesian computation
我们提出了一个序贯蒙特卡罗采样器的部分拒绝控制算法的变体,并表明,这种变体可以被认为是一个序贯蒙特卡罗采样器与修改后的突变内核。我们证明了新的采样器可以减少增量的重要性权重的方差相比,标准的序贯蒙特卡罗采样器。我们提供了一个新的算法的理论性质的研究,并与现有的一些算法。最后,采样器是适应于应用程序下的挑战性的“似然自由”,近似贝叶斯计算建模框架,在那里我们表现出优越的性能超过现有的似然自由采样器。
2009-11-11 math.ST stat.CO stat.TH
Ensemble Kalman filter based Sequential Monte Carlo Sampler for sequential Bayesian inference
许多现实世界的问题需要一个估计参数的兴趣,在贝叶斯框架,从数据收集顺序的时间。从后验分布采样的传统方法,如{马尔可夫链蒙特卡罗}不能有效地解决这些问题,因为它们没有利用数据的顺序结构。为此,序列的方法,寻求更新的后验分布,每当一个新的收集的数据变得可用,经常被用来解决这些类型的问题。序贯方法的两种流行选择是Envelope卡尔曼滤波器(EnKF)和序贯蒙特卡罗采样器(SMCS)。虽然EnKF仅计算后验分布的高斯近似,但SMCS可以直接从后验中提取样本。然而,它的性能关键取决于所使用的内核。在这项工作中,我们提出了一种方法,构建SMCS的内核使用EnKF制定,我们证明了该方法的性能与数值例子。
2022-01-23 stat.CO stat.ME
vSMC: Parallel Sequential Monte Carlo in C++
序贯蒙特卡罗是从一系列分布中进行抽样的一系列算法。其中的一些算法,如粒子滤波器,在物理和信号处理领域有着广泛的应用。最近的发展已经建立了他们的应用程序在更一般的推理问题,如贝叶斯建模。这些算法近年来吸引了相当大的关注,因为它们承认自然和可扩展的并行化。然而,这些算法被认为是难以实现的。此外,并行编程虽然在概念上很吸引人,但对许多研究人员来说往往是陌生的,特别是对于与序贯蒙特卡罗相关的领域。为了在并行硬件上实现一般的序贯蒙特卡罗算法,提出了一个C++模板库。两个例子:一个简单的粒子滤波器和一个经典的贝叶斯建模问题。
2013-06-24 cs.MS stat.CO
De-Sequentialized Monte Carlo: a parallel-in-time particle smoother
粒子平滑器是SMC(序贯蒙特卡罗)算法,用于近似状态空间模型中给定观测值的状态的联合分布。我们提出了dSMC(去序列化蒙特卡罗),一个新的粒子平滑器,能够处理$T$观测在并行架构上的$\mathcal{O}(\log T)$时间。这与标准粒子平滑器相比是有利的,标准粒子平滑器的复杂性在$T$中是线性的。我们推导出dSMC的$\mathcal{L}_p$收敛结果,并给出了一个明确的上界,在$T$多项式。然后,我们讨论了如何通过(i)在算法初始化时设计良好的建议分布来对粒子进行采样,以及(ii)使用懒惰的重新分配来增加dSMC中使用的粒子数量,来减少dSMC计算的平滑估计的方差。最后,我们设计了一个基于dSMC的粒子Gibbs采样器,它能够在并行硬件上以$\mathcal{O}(\log(T))$的代价在状态空间模型中进行参数推断。
2022-02-04 cs.DC stat.CO stat.ML
Finite Sample Complexity of Sequential Monte Carlo Estimators
本文给出了静态空间上序贯蒙特卡罗采样器的有限样本误差的界。我们的方法明确地将算法的性能与所选分布序列的属性和相关马尔可夫核的混合属性联系起来。这使我们能够给出第一个有限样本比较其他蒙特卡罗计划。我们得到了各种目标分布的序贯蒙特卡罗近似的复杂性的界限,包括有限空间,产品措施,和对数凹分布,包括贝叶斯逻辑斯谛回归。所得到的界限是在一个对数因子内的类似界限可获得马尔可夫链蒙特卡罗。
2022-08-18 math.PR stat.CO stat.ME
Online Rolling Controlled Sequential Monte Carlo
本研究提出ORCSMC算法,通过滚动窗口将受控序贯蒙特卡洛扩展至在线场景,用双粒子系统同步估计扭曲函数与滤波,在多模型实验中验证了其高维下更优的估计精度与鲁棒性,为复杂隐变量模型实时推断提供高效方案。
2025-08-01 stat.CO
Simple conditions for convergence of sequential Monte Carlo genealogies with applications
我们提出了简单的条件下,限制系谱过程与一类相互作用的粒子系统与非中性的选择机制,随着粒子数量的增长,是一个时间重新缩放的金曼合并。序贯蒙特卡罗算法是在诸如非线性滤波和平滑等问题中近似积分的流行方法,这些问题采用这种类型的粒子系统。它们的表现强烈依赖于诱导谱系过程的性质。我们验证了我们的主要结果的标准序贯蒙特卡罗算法与广泛的一类低方差reservation计划,以及有条件的序贯蒙特卡罗与多项式reservation的条件。
2020-12-07 math.PR stat.CO stat.ME
A Class of Two-Timescale Stochastic EM Algorithms for Nonconvex Latent Variable Models
Baidu Research(百度研究院)
期望最大化(EM)算法是学习潜变量模型的流行选择。EM的变体最初被引入,使用增量更新来扩展到大型数据集,并使用蒙特卡罗(MC)近似来绕过大多数非凸模型的潜在数据的棘手的条件期望。在本文中,我们提出了一个一般类的方法称为两个时间尺度EM方法的基础上的两个阶段的随机更新的方法来解决一个基本的非凸优化任务的潜变量模型。我们激励选择一个双动态调用的方差减少美德的方法的每个阶段的两个来源的噪声:增量更新和MC近似的指数采样。我们建立了有限时间和全局收敛界的非凸目标函数。各种模型的数值应用,如变形模板的图像分析或非线性模型的药代动力学也来说明我们的研究结果。
2022-03-18 cs.LG stat.ML
Multifidelity Approximate Bayesian Computation with Sequential Monte Carlo Parameter Sampling
多保真度近似贝叶斯计算(MF-ABC)是一种用于参数推断的无可能性技术,它利用模型近似来显着提高ABC算法的速度(Prescott和Baker,2020)。以前的工作只考虑MF-ABC的上下文中的拒绝抽样,这并不特别有效地探索参数空间。在这项工作中,我们集成了多保真度的方法与ABC序贯蒙特卡罗(ABC-SMC)算法到一个新的MF-ABC-SMC算法。我们表明,ABC-SMC和MF-ABC产生的改进,以产生蒙特卡罗样本的效率和估计的ABC后被放大时,这两种技术一起使用。
2020-10-12 stat.CO
Sequential Monte Carlo Smoothing with Parameter Estimation
针对一般状态空间模型的未知参数问题,提出了两种新的贝叶斯平滑方法。第一种方法是基于粒子学习和平滑算法,但在后向reserving权重的调整。第二种方法是将序贯参数学习和平滑算法相结合,用于一般状态空间模型。该方法简单而有效,是目前求解联合贝叶斯平滑问题最好的序贯蒙特卡罗算法。本文首先利用模拟数据对三个基准模型进行了验证,然后将其应用于金融危机期间标准普尔500指数日收益率的随机波动率模型。
2016-04-19 stat.CO
Sequential Monte Carlo for Graphical Models
我们提出了一个新的框架,如何使用序贯蒙特卡罗(SMC)算法的概率图模型(PGM)的推理。通过对PGM的序列分解,我们找到了定义在单调递增的概率空间序列上的辅助分布序列。通过使用SMC瞄准这些辅助分布,我们能够近似由PGM定义的完整联合分布。SMC采样器的主要优点之一是它提供了模型配分函数的无偏估计。我们还展示了它如何可以用于粒子马尔可夫链蒙特卡罗框架内,以构建一般PGM的高维块采样算法。
2014-10-06 stat.ME stat.ML
Some Contributions to Sequential Monte Carlo Methods for Option Pricing
期权定价是金融工程中的一个重要问题。在许多具有实际意义的场景中,与标的资产相关的金融期权价格简化为计算w.r.t.~扩散过程。一般来说,这些期望值无法通过分析计算,而近似这些数量的一种方法是通过蒙特卡罗方法;蒙特卡罗方法至少从20世纪70年代开始就被用于期权定价。在Del Moral,P.\& Shevchenko,P.V.(2014)"Valuation of barrier options using序贯蒙特卡罗"和Jasra,A. \& Del Moral,P.(2011)"期权定价的序贯蒙特卡罗",序贯蒙特卡罗(SMC)方法是应用于这种情况的自然工具,可以大大改善标准蒙特卡罗。在本文中,本着类似的精神,Del Moral,P.\& Shevchenko,P.V.(2014)"Valuation of barrier options using序贯蒙特卡罗"和Jasra,A. \& Del Moral,P.(2011)"期权定价的序贯蒙特卡罗"我们表明,通过构建一系列人工目标密度随时间的推移使用SMC方法可以实现显着收益。特别是,我们近似的最佳重要性抽样分布的SMC算法,通过使用一系列的加权函数。这是证明了两个例子,障碍期权和目标应计赎回票据(TARN的)。我们还提供了我们的SMC估计的无偏性的证明。
2016-08-11 q-fin.CP q-fin.PR stat.CO
Sequential Monte Carlo Bandits
Pipewave Inc.(Pipewave公司);Harvard University(哈佛大学)
在本文中,我们提出了一个灵活而有效的框架来处理多武装匪徒,结合序贯蒙特卡罗算法与分层贝叶斯建模技术。该框架自然包括不安分的土匪,上下文土匪,和其他土匪变种下一个单一的推理模型。尽管该模型的一般性,我们提出了有效的蒙特卡罗算法,使推理可扩展性,基于最近的发展序贯蒙特卡罗方法。通过两个模拟研究,该框架被证明优于其他经验方法,同时也自然扩展到更复杂的问题,现有的方法无法应付。此外,我们成功地将我们的框架应用于基于在线视频的广告推荐,并显示其提高的效率相比,目前的最先进的强盗算法。
2013-10-04 cs.LG stat.ME stat.ML
Capacity estimation of two-dimensional channels using Sequential Monte Carlo
我们推导出一种新的基于序列蒙特卡罗的算法来估计二维的【形】信道模型的容量。重点是计算2-D的一个无限游程长度有限的约束信道的无噪声容量,但基本的想法是普遍适用的。所提出的算法是针对一个国家的最先进的方法,产生超过一个数量级的改进,在给定的计算时间的估计精度。
2014-08-11 cs.IT math.IT stat.CO
Nested Sequential Monte Carlo Methods
我们提出了嵌套序贯蒙特卡罗(NSMC),一种方法来采样序列的概率分布,即使在随机变量是高维的。NSMC通过只需要近似的,适当加权的,来自SMC提案分布的样本来概括SMC框架,同时仍然产生正确的SMC算法。此外,NSMC本身可以用于产生这样的适当加权的样本。因此,一个NSMC采样器可以被用来为另一个NSMC采样器构造一个有效的高维建议分布,并且算法的这种嵌套可以被实现到任意程度。这使我们能够考虑使用SMC的复杂和高维模型。我们的结果,激励我们的方法在几个过滤问题的尺寸在100至1 000的顺序的功效。
2015-09-11 stat.CO stat.ME stat.ML
Replica Conditional Sequential Monte Carlo
本文提出了一种马尔可夫链蒙特卡罗(MCMC)方法来对非线性非高斯状态空间模型进行状态推断。解决该问题的当前最先进的方法依赖于粒子MCMC技术及其变体,例如迭代条件序贯蒙特卡罗(cSMC)方案,其在MCMC内使用序贯蒙特卡罗(SMC)类型提议。标准SMC提议的缺陷在于,当整个观测序列可用时,它们仅使用直到时间$t$的观测来提议时间$t$处的状态。可以使用基于前瞻技术的更复杂的SMC,但它们可能难以付诸实践。我们在这里提出副本cSMC,我们建立SMC建议,一个副本使用来自整个观察序列的信息,通过调节其他副本的状态。这种方法很容易并行化,我们证明了其出色的经验性能相比,标准的迭代cSMC计划在固定的计算复杂度。
2019-05-13 stat.CO
Parameter Estimation in Hidden Markov Models with Intractable Likelihoods Using Sequential Monte Carlo
我们提出序贯蒙特卡罗算法的静态参数的极大似然估计的隐马尔可夫模型的一个棘手的可能性使用的想法,从近似贝叶斯计算。静态参数估计算法是基于梯度的,并且覆盖离线和在线估计。我们证明了他们的表现,估计参数的三个棘手的模型,即α-稳定分布,g-和-k分布,和随机波动率模型与α-稳定的回报,使用真实和合成数据。
2013-11-17 stat.CO stat.ME
Sequential Monte Carlo samplers: error bounds and insensitivity to initial conditions
本文讨论了逼近概率分布序列的序贯蒙特卡罗方法的有限样本稳定性。本文给出的结果适用于序列中的开始和结束分布是固定的并且中间步骤的数量是算法的参数的情况。在非紧空间的假设下,证明了初始分布的影响在中间步数上指数衰减,并且相应的随机误差在\mathbb{L}_{p}范数下是稳定的.
2011-03-21 math.PR stat.CO
Stability of Conditional Sequential Monte Carlo
粒子吉布斯(PG)采样器是一种马尔可夫链蒙特卡罗(MCMC)算法,它使用相互作用的粒子系统来执行吉布斯步骤。每一步Gibbs都是模拟一个粒子系统,它依赖于一个条件序贯蒙特卡罗(cSMC)方法来创建粒子系统。我们提出了一种新的解释cSMC算法作为一个扰动的序贯蒙特卡罗(SMC)方法,并适用于伸缩分解SMC算法\cite{delmoral2004}的分析得出的预期采样路径从cSMC和MCMC算法的目标分布之间的距离的界限。这可以用来得到一致的遍历性结果。特别是,我们可以证明,cSMC的混合率可以保持恒定的线性增加粒子的数量与观察的数量。基于我们的分解,我们还证明了cSMC算法的中心极限定理,这不能使用\cite{Andrieu2013}和\cite{Lindsten2014}的方法。
2018-06-18 stat.CO
Bayesian Conditional Monte Carlo Algorithms for Sequential Single and Multi-Object filtering
贝叶斯滤波的目的是从一个观察到的过程中顺序跟踪一个隐藏的过程。特别是,序贯蒙特卡罗(SMC)技术传播的时间加权的轨迹,表示的后验概率密度函数(pdf)的隐藏过程给定的可用的意见。另一方面,条件蒙特卡罗(CMC)是一种方差缩减技术,它用给定另一个变量的条件期望来代替感兴趣时刻的估计量。在本文中,我们表明,一些适应,可以利用SMC算法的时间递归性质,以提出自然的时间CMC估计的一些点估计的隐藏过程,这优于相关的粗蒙特卡罗(MC)估计无论样本数。我们接下来表明,我们的贝叶斯CMC估计可以准确地计算,或有效地近似,在一些隐藏的马尔可夫链(HMC)模型,在一些跳跃马尔可夫状态空间系统(JMSS),以及在多目标滤波。最后通过仿真验证了算法的有效性。
2012-10-18 stat.CO
Improved Sequential Stopping Rule for Monte Carlo Simulation
本文对文献[1]中的负二项蒙特卡罗方法进行了改进,证明了当μ_1,μ_2 > 1时,相对区间[p/μ_2,pμ_1]的置信水平在比文献[1]更宽的区间范围内超过其渐近值,这扩展了估计量的适用性,放宽了保证给定置信水平的条件。
2008-09-23 stat.CO
Sequential Monte Carlo on large binary sampling spaces
如果蒙特卡罗算法使用过去的模拟自动校准其当前的建议分布,则称其为自适应的。定义建议分布集的参数族的选择对于良好的性能至关重要。在本文中,我们提出了这样一个参数族的自适应采样高维二进制空间。这个问题的一个实际动机是变量选择在线性回归上下文中。我们希望使用适当版本的序贯蒙特卡罗从模型空间上的贝叶斯后验分布中采样。原始版本的序贯蒙特卡罗很容易使用具有独立分量的二进制向量实现。然而,对于高维问题,这些简单的建议并不能产生令人满意的结果。一个有效的自适应算法的关键是考虑相关性的二元参数族,类似于连续空间上的多元正态分布。我们提供了二进制数据的模型的审查,并使其中之一的顺序蒙特卡罗抽样的上下文中工作。对大约100个协变量的真实数据的计算研究表明,在困难的情况下,我们的序贯蒙特卡罗方法明显优于基于马尔可夫链探索的标准技术。
2011-11-09 math.ST stat.CO stat.ME
Embarrassingly Parallel Sequential Markov-chain Monte Carlo for Large Sets of Time Series
贝叶斯计算关键依赖于马尔可夫链蒙特卡罗(MCMC)算法。在大规模数据集的情况下,运行Metropolis-Hastings采样器从后验分布中提取数据变得令人望而却步,因为每次迭代都需要计算大量的似然项。为了进行贝叶斯推断的一个大的时间序列,我们考虑了一个算法,结合了“分而治之”的想法,以前用于设计MCMC算法的大数据与顺序MCMC策略。该方法的性能说明了使用一个大的金融数据集。
2015-12-04 stat.AP stat.CO
Sequential Monte Carlo Methods for Option Pricing
在下面的论文中,我们提供了一个回顾和发展的序贯蒙特卡罗(SMC)方法的期权定价。SMC是一类基于蒙特卡罗的算法,其被设计为近似关于相关概率测度的序列的期望。这些方法已被成功地用于工程,统计,物理和运筹学中的广泛应用。SMC方法非常适合于许多期权定价问题和灵敏度/希腊计算,由于连续模拟的性质。然而,这是很少的情况下,这样的想法是明确使用的期权定价文献。本文介绍了SMC方法的最新研究进展,并对SMC方法在期权定价中的应用进行了评述。此外,它说明了一些现有的期权定价方法可以通过SMC增强。具体而言,当定价算术亚式期权w.r.t一个复杂的随机波动率模型,它表明,SMC方法提供了额外的策略,以改善估计。
2010-05-26 stat.CO
Quasi-Newton Sequential Monte Carlo
序贯蒙特卡罗采样器代表了贝叶斯模型中后验推断的一种引人注目的方法,因为它是可并行的,并且提供了后验归一化常数的无偏估计。在这项工作中,我们显着加快序贯蒙特卡罗采样器采用L-BFGS海森近似,代表了国家的最先进的全批量优化技术。L-BFGS Hessian近似在参数维度上仅具有线性复杂度,并且不需要额外的后验或梯度评估。由此产生的序贯蒙特卡罗算法是自适应的,并行化的,非常适合于高维和多模态的设置,我们证明在具有挑战性的后验分布的数值实验。
2022-11-22 stat.ME
Simulation based sequential Monte Carlo methods for discretely observed Markov processes
离散观测马尔可夫过程的参数估计是一个具有挑战性的问题。然而,马尔可夫过程的模拟是直接使用吉莱斯皮算法。我们利用这种方便的模拟开发一个有效的序贯蒙特卡罗(SMC)算法获得样本的参数的后验分布。特别是,我们引入两个关键的创新,耦合模拟,这使我们能够研究多个参数值的基础上,一个单一的模拟,和一个简单的,但有效的,重要性抽样计划转向模拟对观测数据。这些创新大大提高了SMC算法的效率,对仿真过程的速度影响最小。SMC算法成功地应用于两个例子,一个Lotka-Volterra模型和Repressilator模型。
2014-04-16 stat.CO
Controlled Sequential Monte Carlo
序贯蒙特卡罗方法,也称为粒子方法,是一组流行的技术,用于近似高维概率分布及其归一化常数。这些方法在统计学和相关领域中有许多应用,例如用于非线性非高斯状态空间模型和复杂静态模型中的推断。像许多蒙特卡罗抽样方案一样,它们依赖于对它们的性能有关键影响的建议分布。在这里,我们介绍了一类控制序贯蒙特卡罗算法,其中的建议分布是通过近似的解决方案,以相关的最优控制问题,使用迭代计划。该方法建立在计量经济学、物理学和统计学中用于状态空间模型推理的一些现有算法的基础上,并将这些方法推广以适应复杂的静态模型。我们提供了一个理论分析,这种方法的波动和稳定性,也提供了洞察相关算法的属性。我们展示了显着的收益,在一个固定的计算复杂度的各种应用程序的最先进的方法。
2019-10-30 stat.CO
Perfect simulation using atomic regeneration with application to Sequential Monte Carlo
考虑一个不可约的Harris递归马尔可夫链,其转移核为Π,概率测度为π。如果Π满足最小化条件,则分裂链允许识别再生时间,其可以被利用以从π获得完美样本。不幸的是,许多与复杂的马尔可夫链蒙特卡罗算法相关的转移核在分析上是难以处理的,因此建立优化条件并模拟分裂链即使不是不可能,也是具有挑战性的。对于具有难处理转移核的一致遍历马尔可夫链,我们提出了两个具有相似期望运行时间的有效完美模拟程序,它们分别是multigamma耦合器和一个插补方案的实例.这些算法通过引入人工原子和使用伯努利工厂来克服核的困难。我们详细介绍了这些程序的应用程序时,最近推出的迭代条件序贯蒙特卡罗内核。我们还提供的方法的一般适用性的结果,以及如何序贯蒙特卡罗方法可用于促进完美的模拟和/或无偏估计的期望相对于平稳分布的非均匀遍历马尔可夫链。
2014-07-22 stat.CO
Inference Networks for Sequential Monte Carlo in Graphical Models
我们引入了一种新的方法摊销推理有向图模型通过学习启发式近似随机逆,专门设计用于作为建议分布在序贯蒙特卡罗方法。我们描述了一个程序,用于构建和学习一个结构化的神经网络,它代表了一个逆因式分解的图形模型,导致在一个条件密度估计,作为输入的特定值的观察到的随机变量,并返回一个近似的潜变量的分布。该识别模型可以在执行推理之前离线学习,独立于任何特定的数据集。这些网络的输出可用作自动学习的高质量建议分布,以加速各种问题设置的序贯蒙特卡罗。
2018-03-07 stat.ML
Sequential Monte Carlo with transformations
本文介绍了在不同维数的空间上对后验序列顺序进行贝叶斯推断的方法。我们展示了如何通过使用序贯蒙特卡罗(SMC)采样器来实现这一点(Del Moral等人,2006年,2007年),充分利用这个框架的灵活性,以便该方法是计算效率。特别是,我们介绍了使用确定性变换的创新,有效地移动粒子之间的目标分布与不同的尺寸。这种方法,结合自适应方法,产生一个非常灵活和通用的算法贝叶斯模型比较,适用于在可逆跳马尔可夫链蒙特卡罗(RJMCMC)的接受率低的应用程序中使用。我们证明了这种方法的混合模型模型比较的研究问题,并为新的应用程序推断合并树顺序,数据到达。
2019-09-11 stat.AP stat.CO stat.ME
Unbiased and Consistent Nested Sampling via Sequential Monte Carlo
本文提出 NS-SMC 与 ANS-SMC 两种序贯蒙特卡洛嵌套抽样算法,在 MCMC 相关样本下保证收敛与边际似然无偏估计,并通过数值实验验证性能。
2025-03-19 stat.CO
The Application of Zig-Zag Sampler in Sequential Markov Chain Monte Carlo
Meiji University(明治大学)
粒子滤波方法广泛应用于非线性非高斯状态空间模型的序贯状态估计中。然而,传统的粒子滤波方法在高维状态空间模型中存在权值退化的问题。目前,在高维状态空间模型下,有很多方法可以提高粒子滤波的性能。其中,比较先进的方法是通过实现复合大都市-哈希(MH)核来构造顺序马尔可夫chian蒙特卡罗(SMCMC)框架。在本文中,我们提出了离散的Zig-Zag采样器和应用Zig-Zag采样器在SMCMC框架内的复合MH核的细化阶段,实现了在联合绘制阶段的可逆粒子流。我们评估所提出的方法的性能,通过具有挑战性的复杂的高维滤波的例子的数值实验。数值实验表明,在高维状态估计算例中,与现有滤波方法相比,该方法提高了估计精度,提高了接收率。
2021-11-18 cs.LG stat.AP stat.CO
Automatic Rao-Blackwellization for Sequential Monte Carlo with Belief Propagation
LJK(LJK实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);ENS – PSL University(巴黎高等师范学院-巴黎文理研究大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
针对状态空间模型精确贝叶斯推断难、基础SMC方法对复杂模型近似效果差的问题,提出结合置信传播与采样式SMC的混合推断算法,实现自动Rao-Blackwell化,对高斯树模型可获精确解。
2023-12-15 cs.LG stat.CO
A review of sequential Monte Carlo methods for real-time disease modeling
本文综述了序贯蒙特卡洛方法在实时动态疾病建模中的应用,结合SEIR模型与核密度逼近技术,证明了其在在线推断和时变参数监测上的有效性,为公共卫生干预提供支持。
2024-08-28 math.DS q-bio.PE stat.CO
Data-driven Sequential Monte Carlo in Probabilistic Programming
University of Oxford(牛津大学)
现有的概率规划系统中的大多数马尔可夫链蒙特卡罗(MCMC)和顺序蒙特卡罗(SMC)算法仅使用模型先验作为建议分布。在这项工作中,我们描述了一种训练判别模型,即一个神经网络的方法,以近似的最佳建议,通过使用后验估计从以前运行的推理。我们展示了一个例子,结合了数据驱动的建议,用于在英国圣公会概率编程系统的非参数模型。我们的研究结果表明,数据驱动的建议可以显着提高推理性能,因此需要相当少的粒子来执行良好的后验估计。
2016-05-16 cs.AI stat.AP stat.ML
Error Bounds and Normalizing Constants for Sequential Monte Carlo in High Dimensions
在Beskos et al(2011)的最新论文中,在Del Moral et al(2006)、Neal(2001)中引入的序贯蒙特卡罗(SMC)采样器已被证明在状态空间d的维度上是渐近稳定的,其代价仅为d的多项式,当蒙特卡罗样本数N固定时。更准确地说,它已经建立了有效的样本量(ESS)的后续(近似)样本和固定维边际的蒙特卡罗误差将收敛$d$增长,与$\mathcal{O}(Nd^2)$的计算成本。在目前的工作中,进一步的结果SMC方法在高维提供作为$d\to\infty$和$N$固定。我们推导出一个显式的界的蒙特卡罗误差估计使用SMC采样器和精确的渐近相对$\mathbb{L}_2$ -误差的归一化常数的估计。我们还建立了该算法的混沌边缘传播特性。文中还讨论了几种基于SMC的近似滤波方案在高维情况下的精度。
2011-12-07 stat.CO
Marginal sequential Monte Carlo for doubly intractable models
对于具有难处理的分区函数的模型的贝叶斯推断被称为双重难处理的问题,其中标准的蒙特卡罗方法不适用。在过去的十年中,辅助变量蒙特卡罗技术得到了发展(Møller等人,2006; Murray等人,2006)来解决这个问题;这些方法是更一般的伪边缘或精确近似蒙特卡罗算法(Andrieu和Roberts,2009)的成员,其利用对难以处理的后验的无偏估计。Everitt等人(2017)研究了精确近似重要性抽样(IS)和序贯蒙特卡罗(SMC)在双重棘手问题中的使用,但仅关注使用数据点回火的SMC算法。本文描述了可能使用替代分布序列的SMC采样器,并描述了随着算法的进展,基于Moores等人的想法,自适应地改进似然估计的方法。这种方法是比较与一些替代算法的双重棘手的问题,包括近似贝叶斯计算(ABC),我们表明是密切相关的方法Møller等人。(2006)。
2017-10-12 cs.AI physics.data-an stat.CO
Forward Smoothing using Sequential Monte Carlo
序贯蒙特卡罗(SMC)方法是一组广泛使用的用于非线性非高斯状态空间模型中的推断的计算工具。我们提出了一个新的SMC算法来递归地计算可加泛函的期望。本质上,它是Doucet等人(2000)提出的前向滤波后向平滑SMC算法的在线或仅前向实现。与标准路径空间SMC估计的渐近方差随时间平方增加,即使在有利的混合假设下,所提出的SMC估计的渐近方差只随时间线性增加。这种向前平滑过程使我们能够实现在线极大似然参数估计算法,不遭受粒子路径退化问题。
2010-12-24 stat.CO stat.ME
Sequential Markov Chain Monte Carlo for Filtering of State-Space Models with Low or Degenerate Observation Noise
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University College London(伦敦大学学院);Imperial College London(帝国理工学院)
研究观测噪声退化或低时的离散时间滤波问题,通过推导滤波密度及递推关系,设计序贯马尔可夫链蒙特卡罗方法,证明低噪声情况在噪声消失时收敛到退化噪声情况,并在随机模型上展示了方法性能。
2026-07-22 stat.CO