Sequentially interacting Markov chain Monte Carlo methods
序贯蒙特卡罗(SMC)是一种从一系列增加维数的概率分布中近似抽样并估计其归一化常数的方法。我们在这里提出了一种替代方法命名为顺序交互马尔可夫链蒙特卡罗(SIMCMC)。SIMCMC方法的工作原理是产生相互作用的非马尔可夫序列,这些序列的行为渐近地类似于具有所需极限分布的独立Metropolis-Hastings(MH)马尔可夫链。与SMC相反,SIMCMC允许我们以类似MCMC的方式迭代地改进我们的估计。我们建立了现实的可验证的假设下的收敛结果,并证明其性能的贝叶斯时间序列分析中出现的几个例子。
2012-11-12 math.ST stat.TH
Quasi-Newton Sequential Monte Carlo
序贯蒙特卡罗采样器代表了贝叶斯模型中后验推断的一种引人注目的方法,因为它是可并行的,并且提供了后验归一化常数的无偏估计。在这项工作中,我们显着加快序贯蒙特卡罗采样器采用L-BFGS海森近似,代表了国家的最先进的全批量优化技术。L-BFGS Hessian近似在参数维度上仅具有线性复杂度,并且不需要额外的后验或梯度评估。由此产生的序贯蒙特卡罗算法是自适应的,并行化的,非常适合于高维和多模态的设置,我们证明在具有挑战性的后验分布的数值实验。
2022-11-22 stat.ME
Comment on "Sequential Monte Carlo for Bayesian Computation" (P. Del Moral, A. Doucet, A. Jasra)
主要的问题涉及到序列蒙特卡罗的另一个最新进展,即使用自动适应目标分布的混合过渡核(Douc et al. 2006)。是否有一类静态推理问题更适合后向核方法,或者预测哪种方法在特定情况下可能具有更好的性能还为时过早?
2006-06-22 math.PR math.ST stat.TH
Sequential Implementation of Monte Carlo Tests with Uniformly Bounded Resampling Risk
本文介绍了一个开放式的顺序算法计算的p值的一个测试,使用蒙特卡罗模拟。它保证了剩余风险,即与基于理论p值的决策不同的决策的概率,被一个任意小的常数一致地限制。以前建议的顺序或非顺序算法,使用有限的样本量,没有这个属性。虽然该算法是开放式的,但预期的步骤数是有限的,除非p值在拒绝和不拒绝之间的阈值上。该算法适合作为执行需要(重新)采样的测试的标准。它还可以用于其他情况:检查检验是否保守,迭代地执行双重bootstrap检验,以及确定一定功效所需的样本量。
2008-07-07 math.ST stat.TH
Limit theorems for weighted samples with applications to Sequential Monte Carlo Methods
在过去的十年中,序列蒙特卡罗方法(SMC)成为计算统计学中的一个关键工具。这些算法通过与加权粒子群相关联的加权经验测量序列来近似分布序列。这些粒子和权重是根据初等变换(突变和选择)递归生成的。应用程序的例子包括顺序蒙特卡洛技术来解决最佳的非线性滤波问题的状态空间模型,分子模拟,遗传优化等,尽管许多理论上的进步,这些近似的渐近性质当然仍然是一个问题的中心利益。本文从渐近的角度分析了序贯蒙特卡罗方法,即建立了粒子数变大时的大数定律和不变原理。我们引入了“加权样本”的一致性和渐近正态性的概念,并推导出条件下的突变和选择过程中使用的顺序蒙特卡洛建立保持这些属性。为了说明我们的研究结果,我们分析SMC算法近似状态空间模型中的过滤分布。我们展示了我们的技术如何允许放宽限制性的技术条件,在以前报道的作品,并提供理由来分析更复杂的序贯抽样策略。
2005-07-03 math.PR math.ST stat.TH
An invitation to sequential Monte Carlo samplers
统计学家经常使用蒙特卡罗方法来近似概率分布,主要是马尔可夫链蒙特卡罗和重要性抽样。序贯蒙特卡罗采样器是一类结合了两种技术来近似感兴趣的分布及其归一化常数的算法。这些采样器起源于状态空间模型的粒子滤波,并已成为通用和可扩展的采样技术。本文描述了序贯蒙特卡罗采样器及其可能的实现,认为它们在统计中仍然没有得到充分的使用,尽管它们能够执行顺序推理并利用并行处理资源以及其他潜在的好处。
2022-06-17 stat.CO stat.ME
On adaptive resampling strategies for sequential Monte Carlo methods
序贯蒙特卡罗(SMC)方法是一类结合重要性抽样和恢复步骤从任意概率分布序列中近似抽样的技术。本文研究一类SMC方法的收敛性分析,其中,利用有效样本量等准则在线计算响应发生的时间。这是一个流行的做法,从业者之间,但有很少的收敛结果,这些方法。通过结合半群技巧和一个原始的耦合变元,我们得到了这些算法的泛函中心极限定理和一致指数浓度估计。
2012-03-02 math.ST stat.TH
Ensemble Kalman filter based Sequential Monte Carlo Sampler for sequential Bayesian inference
许多现实世界的问题需要一个估计参数的兴趣,在贝叶斯框架,从数据收集顺序的时间。从后验分布采样的传统方法,如{马尔可夫链蒙特卡罗}不能有效地解决这些问题,因为它们没有利用数据的顺序结构。为此,序列的方法,寻求更新的后验分布,每当一个新的收集的数据变得可用,经常被用来解决这些类型的问题。序贯方法的两种流行选择是Envelope卡尔曼滤波器(EnKF)和序贯蒙特卡罗采样器(SMCS)。虽然EnKF仅计算后验分布的高斯近似,但SMCS可以直接从后验中提取样本。然而,它的性能关键取决于所使用的内核。在这项工作中,我们提出了一种方法,构建SMCS的内核使用EnKF制定,我们证明了该方法的性能与数值例子。
2022-01-23 stat.CO stat.ME
Properties of Marginal Sequential Monte Carlo Methods
我们提供了一个框架,该框架允许许多"边际“序贯蒙特卡罗(SMC)算法作为特殊情况--包括边际粒子滤波器[Klaas等人,2005年,在:不确定性在人工智能的程序,pp。308- 315]、独立粒子滤波器[Lin等人,2005年,美国统计协会杂志100页。1412- 1421]和线性成本近似贝叶斯计算SMC [Sisson等人,2007年,美国国家科学院院刊(Proceedings of the National Academy of Sciences,USA)104页。1760--1765。]。我们提供的条件下,这样的算法服从大数定律和中心极限定理,并提供一些进一步的渐近特征。最后,它表明,一类估计与某些边际SMC算法的渐近方差是永远不会大于由一个标准的SMC算法使用相同的建议分布提供的估计。
2023-03-06 math.PR math.ST stat.CO
Resampling Strategy in Sequential Monte Carlo for Constrained Sampling Problems
序贯蒙特卡罗(SMC)方法是一类用于以序贯方式获得高维随机变量的随机样本的蒙特卡罗方法。在应用程序中遇到的许多问题通常涉及不同类型的约束。这些限制可能使问题更具挑战性。在本文中,我们制定了一个通用的框架,使用SMC约束抽样问题的基础上向前和向后的导频响应策略。我们回顾了一些现有的方法的框架下,开发了几个新的算法。注意,所有观察到的或施加在底层系统上的信息都可以被视为约束。因此,本文中概述的方法可以在许多应用中是有用的。
2018-12-19 stat.ME
Finite Sample Complexity of Sequential Monte Carlo Estimators
本文给出了静态空间上序贯蒙特卡罗采样器的有限样本误差的界。我们的方法明确地将算法的性能与所选分布序列的属性和相关马尔可夫核的混合属性联系起来。这使我们能够给出第一个有限样本比较其他蒙特卡罗计划。我们得到了各种目标分布的序贯蒙特卡罗近似的复杂性的界限,包括有限空间,产品措施,和对数凹分布,包括贝叶斯逻辑斯谛回归。所得到的界限是在一个对数因子内的类似界限可获得马尔可夫链蒙特卡罗。
2022-08-18 math.PR stat.CO stat.ME
Discussion of "Sequential Quasi-Monte-Carlo Sampling" by M. Gerber and N. Chopin
在这篇评论中,我们考虑QMC方法是否可以进一步嵌入SMC计划中的设置中的潜在过程的过渡密度是棘手的和伪边缘的方法部署。
2015-02-04 stat.ME
Simple conditions for convergence of sequential Monte Carlo genealogies with applications
我们提出了简单的条件下,限制系谱过程与一类相互作用的粒子系统与非中性的选择机制,随着粒子数量的增长,是一个时间重新缩放的金曼合并。序贯蒙特卡罗算法是在诸如非线性滤波和平滑等问题中近似积分的流行方法,这些问题采用这种类型的粒子系统。它们的表现强烈依赖于诱导谱系过程的性质。我们验证了我们的主要结果的标准序贯蒙特卡罗算法与广泛的一类低方差reservation计划,以及有条件的序贯蒙特卡罗与多项式reservation的条件。
2020-12-07 math.PR stat.CO stat.ME
The divide-and-conquer sequential Monte Carlo algorithm: theoretical properties and limit theorems
本文全面刻画了分治序贯蒙特卡洛(DaC-SMC)算法的理论性质,证明其具备与常规SMC算法相同的大数定律、中心极限定理等基本性质,并推导了最优中间目标表达式,证明其统计效率优于直接SMC。
2023-06-30 math.PR math.ST stat.CO
Inference with Hamiltonian Sequential Monte Carlo Simulators
本文结合序贯蒙特卡罗模拟器和哈密顿蒙特卡罗模拟器的优点,提出了一种新的蒙特卡罗模拟器。结果是一种对多模态和复杂形状具有鲁棒性的方法,用于在存在困难的似然性或目标函数的情况下进行推理。提供了几个例子。
2018-12-19 stat.CO
Sequential Monte Carlo smoothing with application to parameter estimation in non-linear state space models
本文讨论了序列蒙特卡罗方法(SMC)在一般状态空间模型中的应用。当在平滑模式中应用标准SMC技术时,一个众所周知的问题是,恢复机制在道路空间中引入了近似的退化。然而,当通过EM算法执行极大似然估计时,所有涉及的泛函对于模型的大子类都是加法形式。为了解决这个问题,在这种情况下,修改的标准方法(基于北川和佐藤提出的技术)的建议。我们的算法依赖于遗忘特性的滤波动态和质量的估计产生的影响,无论是理论上和通过模拟。
2008-03-06 math.ST stat.TH
Sequential Monte Carlo for Graphical Models
我们提出了一个新的框架,如何使用序贯蒙特卡罗(SMC)算法的概率图模型(PGM)的推理。通过对PGM的序列分解,我们找到了定义在单调递增的概率空间序列上的辅助分布序列。通过使用SMC瞄准这些辅助分布,我们能够近似由PGM定义的完整联合分布。SMC采样器的主要优点之一是它提供了模型配分函数的无偏估计。我们还展示了它如何可以用于粒子马尔可夫链蒙特卡罗框架内,以构建一般PGM的高维块采样算法。
2014-10-06 stat.ME stat.ML
Sequential Monte Carlo algorithms for a class of outer measures
在一般情况下,用一些特定的外测度代替概率分布,可以导出封闭形式的随机滤波方程。在这篇文章中,我们研究如何的序贯蒙特卡罗方法的原则,可以适应这些方程的实际实施的目的。特别是,我们探讨如何抽样可以用来提供支持点的近似这些外部措施。这一步使实用的算法,以粒子滤波器的精神来推导。所获得的算法的性能在模拟中得到证明,并通过各种例子说明其通用性。
2018-05-04 stat.ME
Sequential Monte Carlo Bandits
Pipewave Inc.(Pipewave公司);Harvard University(哈佛大学)
在本文中,我们提出了一个灵活而有效的框架来处理多武装匪徒,结合序贯蒙特卡罗算法与分层贝叶斯建模技术。该框架自然包括不安分的土匪,上下文土匪,和其他土匪变种下一个单一的推理模型。尽管该模型的一般性,我们提出了有效的蒙特卡罗算法,使推理可扩展性,基于最近的发展序贯蒙特卡罗方法。通过两个模拟研究,该框架被证明优于其他经验方法,同时也自然扩展到更复杂的问题,现有的方法无法应付。此外,我们成功地将我们的框架应用于基于在线视频的广告推荐,并显示其提高的效率相比,目前的最先进的强盗算法。
2013-10-04 cs.LG stat.ME stat.ML
Convergence of random-weight sequential Monte Carlo methods
我们研究了一个序贯蒙特卡罗方法的性质,其中出现在算法中的粒子的重量是由一个积极的,无偏估计量估计。我们提出了广泛适用的收敛结果,包括一个中心极限定理,我们讨论了它们在统计物理应用的相关性。使用这些结果,我们表明,rescue步骤减少的影响的随机性的权重的渐近方差的估计。此外,我们探讨了序贯蒙特卡罗方法的收敛极限,重点是几乎必然收敛。我们构造了一个例子算法,我们可以证明依概率收敛,但不收敛几乎肯定,即使在非随机权重的情况下。
2022-08-25 math.PR stat.ME
Discussion of "Sequential Quasi-Monte Carlo" by Mathieu Gerber and Nicolas Chopin
关于拟蒙特卡罗估计在应用中降低方差可能性的讨论。进一步的细节在随附的论文“拟蒙特卡罗的方差缩减“中提供。
2015-01-14 stat.CO
Adaptive Tuning Of Hamiltonian Monte Carlo Within Sequential Monte Carlo
序贯蒙特卡罗(SMC)采样器形成了一个有吸引力的替代MCMC贝叶斯计算。然而,它们的性能在很大程度上取决于用于恢复粒子的马尔可夫核。我们讨论了如何自动校准(使用当前粒子)哈密顿蒙特卡罗内核SMC。为此,我们建立在Fearnhead和Taylor(2013)的自适应SMC方法的基础上,我们还提出了替代方法。我们通过广泛的数值研究说明了在SMC采样器内使用HMC内核的优点。
2020-02-12 stat.CO
Parameter Estimation in Hidden Markov Models with Intractable Likelihoods Using Sequential Monte Carlo
我们提出序贯蒙特卡罗算法的静态参数的极大似然估计的隐马尔可夫模型的一个棘手的可能性使用的想法,从近似贝叶斯计算。静态参数估计算法是基于梯度的,并且覆盖离线和在线估计。我们证明了他们的表现,估计参数的三个棘手的模型,即α-稳定分布,g-和-k分布,和随机波动率模型与α-稳定的回报,使用真实和合成数据。
2013-11-17 stat.CO stat.ME
An Annealed Sequential Monte Carlo Method for Bayesian Phylogenetics
我们描述了一个“并行”的贝叶斯系统发育推断,退火顺序蒙特卡罗方法,基于最近的进展,如退火参数的自适应确定顺序蒙特卡罗文献。该算法提供了一个近似的后验分布的树木和进化参数,以及一个无偏估计的边际似然。该无偏性可用于检验后验仿真软件的正确性。我们评估系统发育退火序贯蒙特卡罗的性能,通过审查和比较与其他计算贝叶斯系统发育方法,特别是不同的边际似然估计方法。与以前的序列蒙特卡罗方法在遗传学中,我们的退火方法可以利用标准的马尔可夫链蒙特卡罗树移动,因此受益于大量的库存,这种移动在文献中。因此,退火顺序蒙特卡罗方法应该是相对容易纳入现有的系统发育软件包的基础上马尔可夫链蒙特卡罗算法。我们用模拟研究和真实数据分析来说明我们的方法。
2019-03-13 q-bio.PE stat.CO
seMCD: Sequentially implemented Monte Carlo depth computation with statistical guarantees
针对高维空间统计深度函数计算代价高昂的问题,提出序贯蒙特卡洛方法seMCD,输出带用户指定概率保证的区间,样本量少且适用于多元与函数空间,实证验证了其在异常检测等任务中的高效可靠性。
2025-07-08 math.ST stat.CO stat.ME
Sequential quasi-Monte Carlo: Introduction for Non-Experts, Dimension Reduction, Application to Partly Observed Diffusion Processes
SMC(序贯蒙特卡罗)算法是求解滤波及相关序列问题的一类蒙特卡罗算法。Gerber和Chopin(2015)介绍了SQMC(顺序准蒙特卡罗),SMC的QMC版本。本文件有两个目标:(a)将序贯蒙特卡罗引入QMC社区,该社区的成员通常不太熟悉状态空间模型和粒子滤波;(b)将SQMC扩展到连续时间状态空间模型的滤波,其中潜在过程是扩散。本文中反复出现的一点是降维的概念,即如何实现SQMC,尽管问题的维数很高,但它仍然提供了良好的性能。
2017-06-16 stat.CO
Estimating Boltzmann Averages for Protein Structural Quantities Using Sequential Monte Carlo
序贯蒙特卡罗(SMC)方法被广泛用于从难以处理的目标分布中抽取样本。当目标分布受到高度约束或多峰时,颗粒简并会阻碍SMC的使用。作为一个激励的应用程序,我们考虑从玻尔兹曼分布采样蛋白质结构的问题。本文提出了一种通用的SMC方法,为每个粒子传播多个后代,然后通过重新分配来保持所需的粒子数。仿真研究表明,该方法用于解决蛋白质采样问题的有效性。作为一个真实数据的例子,我们使用我们的方法来估计的SARS冠状病毒-2病毒刺突蛋白的一个关键部分的原子接触的数量。
2022-10-25 stat.ME
Sequential Monte Carlo with Adaptive Weights for Approximate Bayesian Computation
近似贝叶斯计算(ABC)方法越来越多地用于复杂模型的分析。ABC的一个主要挑战是克服基于先验预测抽样的接受/拒绝方法中通常固有的高拒绝率问题。一些最近的发展旨在解决这个问题的扩展的基础上序贯蒙特卡罗(SMC)的战略。我们在此基础上,介绍了一种ABC SMC方法,该方法使用基于数据的自适应权重。这种易于实现和计算平凡的ABC SMC扩展可以大大提高接受率,如一系列模拟和真实数据集的例子所示,包括当前系统生物学应用中动态建模的热门例子。
2015-03-26 math.ST stat.CO stat.TH
Lookahead Strategies for Sequential Monte Carlo
序贯蒙特卡罗(SMC)是基于重要性抽样和随机响应原理的一种处理复杂随机动态系统的有效方法。这些系统中的许多都拥有强大的记忆力,未来的信息可以帮助加强对当前状态的推断。通过对现有的几种算法进行理论分析,并引入几种新的算法,我们系统地研究了如何构造有效的SMC算法来利用“未来”的信息,同时又不产生很高的计算负担。其主要思想是允许在蒙特卡罗过程中进行前瞻,以便将来的信息可以用于加权和生成蒙特卡罗样本,或者从当前状态的样本中重新搜索。
2013-02-21 stat.ME
Sequential Monte Carlo with transformations
本文介绍了在不同维数的空间上对后验序列顺序进行贝叶斯推断的方法。我们展示了如何通过使用序贯蒙特卡罗(SMC)采样器来实现这一点(Del Moral等人,2006年,2007年),充分利用这个框架的灵活性,以便该方法是计算效率。特别是,我们介绍了使用确定性变换的创新,有效地移动粒子之间的目标分布与不同的尺寸。这种方法,结合自适应方法,产生一个非常灵活和通用的算法贝叶斯模型比较,适用于在可逆跳马尔可夫链蒙特卡罗(RJMCMC)的接受率低的应用程序中使用。我们证明了这种方法的混合模型模型比较的研究问题,并为新的应用程序推断合并树顺序,数据到达。
2019-09-11 stat.AP stat.CO stat.ME
Variance Estimation in Adaptive Sequential Monte Carlo
序贯蒙特卡罗(SMC)方法代表了通过简单的选择/突变机制来模拟一系列概率测度的一组经典技术。然而,相关联的选择函数和变异核通常取决于对算法的效率至关重要的调谐参数。解决这个问题的标准方法是应用自适应序贯蒙特卡罗(ASMC)方法,该方法包括利用样本历史给出的信息来调整参数。本文主要研究ASMC方法中的方差估计问题。具体来说,我们专注于渐近方差与Beskos等人定义的“限制”顺序蒙特卡罗算法一致的情况。(2016)。我们证明,在自然假设下,Lee和Whiteley(2018)在非自适应情况下引入的估计量(即,SMC)也是ASMC方法的渐近方差的一致估计量。要做到这一点,我们引入了一个新的估计,表示在合并树为基础的措施,并解释其与前一个连接。我们的估计器是通过跟踪相关的相互作用粒子系统的谱系构造的。我们使用的工具连接粒子马尔可夫链蒙特卡罗方法的研究和SMC方法中的方差估计问题。因此,他们可能会给一些新的见解时,处理复杂的谱系涉及问题的相互作用粒子系统在更一般的情况下。
2020-08-22 math.PR math.ST stat.CO
Application of Sequential Quasi-Monte Carlo to Autonomous Positioning
序贯蒙特卡罗算法(也称为粒子滤波器)是用于近似状态空间模型的滤波(和相关)分布的流行方法。然而,它们以缓慢的$1/\sqrt{N}$速率收敛,这在实时数据密集型场景中可能是一个问题。我们简要介绍了SQMC(顺序准蒙特卡罗),这是基于Gerber和Chopin(2015)提出的低差异点集的SMC变体,它以更快的速度收敛,我们说明了SQMC在自主定位问题上的更高性能。
2015-03-05 stat.CO
Variational Sequential Monte Carlo
大规模概率推理的许多最新进展依赖于变分方法。变分方法的成功取决于(i)制定一个灵活的参数分布族,以及(ii)优化参数,以找到这个家族中最接近精确后验的成员。在本文中,我们提出了一个新的近似家庭的分布,变分序贯蒙特卡罗(VSMC)家庭,并显示如何优化它的变分推断。VSMC融合了变分推断(VI)和序贯蒙特卡罗(SMC),为从业者提供灵活,准确和强大的贝叶斯推断。VSMC族是一个变分族,可以任意地近似后验,同时仍然允许其参数的有效优化。我们展示了它在状态空间模型,金融数据的随机波动模型和大脑神经回路的深度马尔可夫模型上的实用性。
2018-02-21 stat.CO stat.ME stat.ML
Three discussions of the paper "sequential quasi-Monte Carlo sampling", by M. Gerber and N. Chopin
这是一个收集的三个书面讨论的文件“序贯准蒙特卡罗抽样”的M。Gerber和N.肖邦在2014年12月10日在伦敦皇家统计学会发表演讲后说。
2015-05-26 stat.CO
vSMC: Parallel Sequential Monte Carlo in C++
序贯蒙特卡罗是从一系列分布中进行抽样的一系列算法。其中的一些算法,如粒子滤波器,在物理和信号处理领域有着广泛的应用。最近的发展已经建立了他们的应用程序在更一般的推理问题,如贝叶斯建模。这些算法近年来吸引了相当大的关注,因为它们承认自然和可扩展的并行化。然而,这些算法被认为是难以实现的。此外,并行编程虽然在概念上很吸引人,但对许多研究人员来说往往是陌生的,特别是对于与序贯蒙特卡罗相关的领域。为了在并行硬件上实现一般的序贯蒙特卡罗算法,提出了一个C++模板库。两个例子:一个简单的粒子滤波器和一个经典的贝叶斯建模问题。
2013-06-24 cs.MS stat.CO
Sequentially Constrained Monte Carlo
约束可以从广义上解释为对参数的任何类型的显式限制。虽然某些约束直接在参数空间上定义,但当它们由模型上的已知行为定义时,将约束转换为参数空间上的特征可能是不可能的。由于将约束结合到模型中而导致难以从后验分布进行采样是导致参数空间中的截断和低效采样算法的常见挑战。我们提出了一个变种的序贯蒙特卡罗算法的后验抽样存在的约束,通过定义一个序列的密度,通过施加的约束。从无约束或轻度约束分布生成的粒子经过过滤并通过采样和重采样步骤移动,以从完全约束的目标分布中获取样本。一般和模型特定形式的约束执行策略的定义。顺序约束蒙特卡罗算法证明了由函数的单调性定义的约束,密度约束到低维流形,坚持理论推导的模型,和模型特征匹配。
2015-02-25 stat.ME
Forward Smoothing using Sequential Monte Carlo
序贯蒙特卡罗(SMC)方法是一组广泛使用的用于非线性非高斯状态空间模型中的推断的计算工具。我们提出了一个新的SMC算法来递归地计算可加泛函的期望。本质上,它是Doucet等人(2000)提出的前向滤波后向平滑SMC算法的在线或仅前向实现。与标准路径空间SMC估计的渐近方差随时间平方增加,即使在有利的混合假设下,所提出的SMC估计的渐近方差只随时间线性增加。这种向前平滑过程使我们能够实现在线极大似然参数估计算法,不遭受粒子路径退化问题。
2010-12-24 stat.CO stat.ME
Multicanonical Sequential Monte Carlo Sampler for Uncertainty Quantification
在许多实际工程系统中,系统的性能或可靠性由标量参数表征。该性能参数的分布在许多不确定性量化问题中是重要的,从风险管理到效用优化。在实践中,这种分布通常不能解析地导出,并且必须通过模拟来数值地获得。为此,通常使用标准的蒙特卡罗模拟,然而,它们不能有效地重建分布的尾部,这在许多应用中是必不可少的。一种可能的补救方法是使用多规范蒙特卡罗方法,一种自适应重要性抽样方案。在该方法中,在每次迭代中从非标准形式的重要性抽样分布中抽取样本,这通常通过马尔可夫链蒙特卡罗(MCMC)来完成。MCMC本质上是串行的,因此难以并行。在本文中,我们提出了一种新的方法,它使用序贯蒙特卡罗采样器绘制的重要性抽样分布,这是特别适合于并行实现。数学和实际的例子,我们证明了所提出的方法的竞争力的性能。
2022-09-30 stat.ME
Online Semiparametric Regression via Sequential Monte Carlo
本文开发了基于序贯蒙特卡洛的在线半参数回归算法,以规避变分方法的固有误差,为不同数据率场景提供了新的准确性与速度权衡方案。
2024-08-27 stat.ME
Time-complexity of sampling from a multimodal distribution using sequential Monte Carlo
Carnegie Mellon University(卡内基梅隆大学)
该研究探讨了在低温下使用序贯蒙特卡罗方法从多模分布采样的时间复杂度,分析了几何退火调度与兰格-丹德扩散的效率,并得出了收敛性的数学结果。
2026-01-10 cs.NA math.NA math.PR
Some Contributions to Sequential Monte Carlo Methods for Option Pricing
期权定价是金融工程中的一个重要问题。在许多具有实际意义的场景中,与标的资产相关的金融期权价格简化为计算w.r.t.~扩散过程。一般来说,这些期望值无法通过分析计算,而近似这些数量的一种方法是通过蒙特卡罗方法;蒙特卡罗方法至少从20世纪70年代开始就被用于期权定价。在Del Moral,P.\& Shevchenko,P.V.(2014)"Valuation of barrier options using序贯蒙特卡罗"和Jasra,A. \& Del Moral,P.(2011)"期权定价的序贯蒙特卡罗",序贯蒙特卡罗(SMC)方法是应用于这种情况的自然工具,可以大大改善标准蒙特卡罗。在本文中,本着类似的精神,Del Moral,P.\& Shevchenko,P.V.(2014)"Valuation of barrier options using序贯蒙特卡罗"和Jasra,A. \& Del Moral,P.(2011)"期权定价的序贯蒙特卡罗"我们表明,通过构建一系列人工目标密度随时间的推移使用SMC方法可以实现显着收益。特别是,我们近似的最佳重要性抽样分布的SMC算法,通过使用一系列的加权函数。这是证明了两个例子,障碍期权和目标应计赎回票据(TARN的)。我们还提供了我们的SMC估计的无偏性的证明。
2016-08-11 q-fin.CP q-fin.PR stat.CO
High-dimensional Filtering using Nested Sequential Monte Carlo
序贯蒙特卡罗(SMC)方法是贝叶斯滤波最成功的近似方法之一。然而,SMC没有好的建议分布挣扎在高维。我们提出了嵌套的序贯蒙特卡罗(NSMC),一种方法,概括SMC框架,只需要近似,适当加权,样本从SMC的建议分布,同时仍然导致一个正确的SMC算法。通过这种方式,我们可以精确地近似局部最优建议,并扩展我们可以使用SMC进行有效推理的模型类。我们表现出更高的精度比其他国家的最先进的方法在几个时空状态空间模型。
2016-12-29 stat.CO stat.ML
Capacity estimation of two-dimensional channels using Sequential Monte Carlo
我们推导出一种新的基于序列蒙特卡罗的算法来估计二维的【形】信道模型的容量。重点是计算2-D的一个无限游程长度有限的约束信道的无噪声容量,但基本的想法是普遍适用的。所提出的算法是针对一个国家的最先进的方法,产生超过一个数量级的改进,在给定的计算时间的估计精度。
2014-08-11 cs.IT math.IT stat.CO
Deterministic Fokker-Planck Transport -- With Applications to Sampling, Variational Inference, Kernel Mean Embeddings & Sequential Monte Carlo
FUB(柏林自由大学)
本文针对概率流 ODE 需评估不可处理当前密度的问题,分析核密度估计近似的缺陷,并提出将其转化为采样、变分推断、核均值嵌入和序贯 Monte Carlo 中优势的确定性 Fokker–Planck 输运方法。
2024-10-11 cs.LG cs.NA math.NA
Generalised linear mixed model analysis via sequential Monte Carlo sampling
提出了一种用于广义线性混合模型贝叶斯分析的序贯蒙特卡罗抽样算法。这些模型支持各种有趣的回归类型的分析,但执行推理往往是非常困难的,即使使用贝叶斯方法结合马尔可夫链蒙特卡罗(MCMC)。序贯蒙特卡罗抽样法是一种新的、通用的从后验分布中产生样本的方法。在这篇文章中,我们演示了使用SMC方法进行GLP-I推理。我们证明了模拟和真实数据的方法的有效性,并发现,序贯蒙特卡罗是一个有竞争力的替代MCMC技术。
2008-10-07 stat.CO
Sequential Monte Carlo as Approximate Sampling: bounds, adaptive resampling via $\infty$-ESS, and an application to Particle Gibbs
序贯蒙特卡罗(SMC)算法最初是为估计状态空间模型中的棘手条件期望而设计的,但现在通常用于在通用贝叶斯推理的上下文中生成近似样本。特别是,SMC算法经常被用作子程序内较大的蒙特卡罗计划,在这种情况下,放在SMC的要求是不同的:控制的均方误差是不够的-一个需要控制的发散直接从目标分布。为了实现这一目标,我们引入了条件自适应恢复粒子滤波器,建立在Gordon,Salmond和Smith(1993),Andrieu,Doucet和Holenstein(2010)以及Whiteley,Lee和Heine(2016)的工作基础上。通过控制有效样本量的新概念,$\infty$ -ESS,我们建立了由此产生的SMC采样算法的效率,提供了Andrieu,Lee和Vihola(2013)工作的自适应恢复扩展。我们应用我们的研究结果,以达到新的发散范围SMC采样器的自适应rescue以及自适应rescue版本的粒子吉布斯算法具有相同的几何遍历保证其非自适应对应。
2017-04-10 math.ST stat.CO stat.TH
Variational Combinatorial Sequential Monte Carlo Methods for Bayesian Phylogenetic Inference
Columbia University(哥伦比亚大学)
贝叶斯系统发育推断通常使用随机游走马尔可夫链蒙特卡罗(MCMC)或组合序贯蒙特卡罗(CSMC)等算法通过拓扑和分支长度上的局部或顺序搜索来进行。然而,当MCMC用于进化参数学习时,收敛需要长时间运行,状态空间的探索效率低下。我们介绍变分组合序贯蒙特卡罗(VCSMC),一个强大的框架,建立变分顺序搜索学习分布在复杂的组合结构。然后,我们开发嵌套CSMC,一个有效的建议分布CSMC和证明嵌套CSMC是一个精确的近似(棘手的)局部最优建议。我们使用嵌套的CSMC定义第二个目标,VNCSMC产生更严格的下限比VCSMC。我们表明,VCSMC和VNCSMC的计算效率和探索更高的概率空间比现有的方法在一系列的任务。
2021-06-17 cs.LG stat.CO stat.ML
Auto-Encoding Sequential Monte Carlo
我们建立在自动编码序贯蒙特卡罗(AESMC):模型和建议学习的基础上,最大限度地提高了一个广泛的家庭的结构化概率模型的对数边际似然下界的方法。我们的方法依赖于序贯蒙特卡罗(SMC)在结构化概率模型中执行推理的效率,以及深度神经网络对复杂条件概率分布建模的灵活性。我们开发了更多的理论见解,并引入了一个新的训练过程,提高了模型和建议学习。我们证明了我们的方法为深度生成模型中的同时模型学习和建议适应提供了一种快速,易于实现和可扩展的方法。
2018-04-05 stat.ML
A flexible sequential Monte Carlo algorithm for parametric constrained regression
提出了一种算法,使回归曲线的形状约束的实施,而不需要的约束被写为封闭形式的表达式,也不假设的损失函数的函数形式。该算法基于序贯蒙特卡罗-模拟退火,仅依赖于评估约束是否得到满足的指示函数,从而允许通过指定适当的指示函数来强制执行各种复杂的约束,而无需改变算法的其他部分。通过有理函数和单调约束下的B-样条回归模型的拟合,说明了该算法的有效性。使用R的算法实现可以在GitHub上免费获得。
2019-04-01 stat.CO stat.ME
Information Geometry and Sequential Monte Carlo
本文探讨了信息几何方法在序贯蒙特卡罗(SMC)抽样中的应用。特别是黎曼流形Metropolis调整Langevin算法(mMALA)适用于SMC中的过渡内核。类似于它在马尔可夫链蒙特卡罗方法中的功能,mMALA是一个完全自适应的内核,允许对高维和高度相关的参数空间进行有效采样。我们建立了理论框架,其使用SMC的重点应用程序的问题的顺序贝叶斯推断的动力系统建模的常微分方程组。此外,我们认为,定义测地线上的分布序列优化有效的样本量在SMC运行。我们说明了应用的方法,通过推断模拟的Lotka-Volterra和Fitzhugh-Nagumo模型的参数。特别是,我们表明,相比采用标准的自适应随机游动内核,SMC采样器与信息几何内核设计达到了更高水平的统计鲁棒性的推断参数的动力系统。
2012-12-04 physics.comp-ph stat.ME
Convergence Bounds for Sequential Monte Carlo on Multimodal Distributions using Soft Decomposition
Department of Applied Mathematics \& Statistics, Johns Hopkins University e1,e2
本文研究了序贯蒙特卡洛算法在多模分布上的收敛性界,通过软分解方法,利用局部马尔可夫链混合动态而非全局混合动态,提出新的收敛性界分析方法。
2026-03-17 cs.LG math.PR math.ST
Online Rolling Controlled Sequential Monte Carlo
本研究提出ORCSMC算法,通过滚动窗口将受控序贯蒙特卡洛扩展至在线场景,用双粒子系统同步估计扭曲函数与滤波,在多模型实验中验证了其高维下更优的估计精度与鲁棒性,为复杂隐变量模型实时推断提供高效方案。
2025-08-01 stat.CO
Markov chain Monte Carlo algorithms with sequential proposals
我们探讨了一个一般的框架,在马尔可夫链蒙特卡罗(MCMC)抽样连续的建议,试图作为候选人的下一个状态的马尔可夫链。这种顺序建议框架可以应用于各种现有的MCMC方法,包括使用随机建议的梅特罗波利斯-黑斯廷斯算法和使用确定性建议的方法,如哈密顿蒙特卡罗(HMC)或弹性粒子采样器。在某些情况下,序列建议MCMC方法构造的马尔可夫链与延迟拒绝方法构造的马尔可夫链相同。在HMC的背景下,顺序提议方法已被提出为额外机会广义混合蒙特卡罗(XCGHMC)。我们开发了两种新的方法,其中的轨迹导致HMC的建议自动调整,以避免加倍回,在无掉头采样器(NUTS)。这些新方法的数值效率相比有利的NUTS。我们还表明,顺序建议弹性粒子采样器使构造的马尔可夫链通过低目标密度的区域,从而有利于更好地混合的链时,目标密度是多模态的。
2019-08-20 stat.CO stat.ML
Sequential Monte-Carlo testing by betting
提出随时有效的序贯蒙特卡洛检验方法,利用新赌博策略构建检验鞅,支持任意时刻停止且保持优异功效。
2024-12-11 stat.ME