Multilevel Estimation of Normalization Constants Using the Ensemble Kalman-Bucy Filter
在这篇文章中,我们考虑应用多级蒙特卡罗,归一化常数的估计。特别是,我们将利用滤波算法,整体卡尔曼-布西滤波器(EnKBF),这是一个N粒子表示的卡尔曼-布西滤波器(KBF)。EnKBF是令人感兴趣的,因为它与连续线性设置中的最佳滤波器(即KBF)一致。这激发了我们在线性设置中的特定设置。由此产生的方法,我们将使用的是多级集成卡尔曼-布西滤波器(MLEnKBF)。我们提供了一个分析的基础上推导出Lq-界的归一化常数使用单级,和多级算法。我们的结果将通过数值结果突出显示,在那里我们首先展示了MLEnKBF的错误成本率,将其与线性高斯模型上的EnKBF进行比较。我们的分析将针对MLEnKBF的一个变体,而数值将在不同的变体上进行测试。我们还利用这种方法的参数估计,在那里我们测试这在大气科学中产生的模型,如随机洛伦兹63和96模型。
2022-09-19 cs.NA math.DS math.NA
NEO: Non Equilibrium Sampling on the Orbit of a Deterministic Transform
从复分布$π$采样并逼近其难以处理的归一化常数Z是具有挑战性的问题。本文导出了一类新的重要性抽样器(IS)和马尔可夫链蒙特卡罗(MCMC)抽样器。给定可逆映射T,这些方案通过从提议分布$ρ$采样的点来组合(具有权重)来自前向和后向轨道的元素。地图T并没有让目标$π$保持不变,因此命名为NEO,代表非平衡轨道。NEO-IS提供了$π$下期望的归一化常数的无偏估计量和自归一化IS估计,而NEO-MCMC结合了归一化常数的多个NEO-IS估计和迭代采样重要性恢复机制,以从$π$中采样。对于选择T作为共形哈密顿系统的离散时间积分器,NEO-IS在困难的基准上实现了最先进的性能,NEO-MCMC能够探索高度多模态的目标。此外,我们为这两种方法提供了详细的理论结果。特别地,我们证明了NEO-MCMC是一致几何遍历的,并在温和的条件下建立了显式混合时间估计。
2021-08-23 stat.CO stat.ME stat.ML
Particle filters
这是一个简短的审查蒙特卡罗方法近似过滤器分布在状态空间模型。讨论了基本算法和减少权重不平衡的不同策略。最后,更困难的问题,如平滑和参数估计和应用程序以外的状态空间模型上下文的方法。
2013-09-30 math.ST stat.CO stat.TH
Error Bounds and Normalizing Constants for Sequential Monte Carlo in High Dimensions
在Beskos et al(2011)的最新论文中,在Del Moral et al(2006)、Neal(2001)中引入的序贯蒙特卡罗(SMC)采样器已被证明在状态空间d的维度上是渐近稳定的,其代价仅为d的多项式,当蒙特卡罗样本数N固定时。更准确地说,它已经建立了有效的样本量(ESS)的后续(近似)样本和固定维边际的蒙特卡罗误差将收敛$d$增长,与$\mathcal{O}(Nd^2)$的计算成本。在目前的工作中,进一步的结果SMC方法在高维提供作为$d\to\infty$和$N$固定。我们推导出一个显式的界的蒙特卡罗误差估计使用SMC采样器和精确的渐近相对$\mathbb{L}_2$ -误差的归一化常数的估计。我们还建立了该算法的混沌边缘传播特性。文中还讨论了几种基于SMC的近似滤波方案在高维情况下的精度。
2011-12-07 stat.CO
Error bounds for simultaneous Wasserstein contractive adaptive increasingly rare MCMC
University of Bath(巴斯大学);University of Passau(帕绍大学)
针对自适应渐稀马尔可夫链蒙特卡洛算法,在同时Wasserstein压缩假设下推导均方误差的显式界,并应用于自适应立体算法和基于归一化流的Metropolis-Hastings方案。
2026-06-29 math.PR math.ST stat.CO
Exponential Random Graph Models with Big Networks: Maximum Pseudolikelihood Estimation and the Parametric Bootstrap
随着对网络数据跨领域研究的不断深入,指数随机图模型(ERGM)已经成为网络数据统计分析的主要方法。ERGM参数估计需要一个难以处理的归一化常数的近似。模拟方法代表了最先进的方法来近似归一化常数,从而导致通过蒙特卡罗极大似然(MCMLE)进行估计。MCMLE在使用大样本网络来近似归一化常数时是准确的。然而,MCMLE在计算上是昂贵的,并且如果网络的大小在1,000个节点的量级上(即,一百万个潜在联系)或更多。当网络很大时,一种选择是最大伪随机估计(MPLE)。标准MPLE简单快速,但通常低估了标准误。我们表明,一个restling方法-参数引导-结果在准确的覆盖概率为置信区间。我们发现,自举MPLE可以运行在MCMLE的1/5的时间。我们研究了MCMLE和MPLE的相对性能与模拟研究,并说明了两种不同的方法,将它们应用到网络的法案在美国参议院。
2017-08-08 stat.CO
Differentiable Particle Filtering using Optimal Placement Resampling
1 Department of Control for Transportation;Vehicle Systems, Faculty of Transportation Engineering;Vehicle Engineering, Budapest University of Technology
本文提出了一种基于经验累积分布函数的可微重采样方法,用于解决传统粒子滤波中因非可微性导致的参数估计问题。
2024-02-26 cs.LG stat.CO
Particle filter with rejection control and unbiased estimator of the marginal likelihood
我们考虑在序贯蒙特卡罗方法中结合使用剩余和部分拒绝控制,也称为粒子滤波器。虽然方差减少性能的拒绝控制是已知的,有没有(据我们所知)在这种类型的粒子滤波器的边际似然(也称为模型证据或归一化常数)的无偏估计的任何工作。能够无偏差地估计边际似然对于模型比较、可解释和可靠置信区间的计算以及精确近似方法(例如粒子马尔可夫链蒙特卡罗)是高度相关的。在本文中,我们提出了一个粒子滤波器与拒绝控制,使无偏估计的边际似然。
2020-03-04 stat.CO stat.ML
Stability properties of some particle filters
在乘性漂移和其他正则条件下,建立了预测滤波器的粒子滤波器近似的渐近方差在时间上一致有界,而归一化常数的粒子近似的非渐近相对方差在时间上线性有界。证明了非紧状态空间上的隐马尔可夫模型的成立条件。粒子稳定性的结果得到证明$v$ -范数乘法稳定性和指数矩结果的基础Feynman-Kac公式。
2013-12-05 math.PR stat.CO
AdaAnn: Adaptive Annealing Scheduler for Probability Density Approximation
University of Notre Dame(圣母大学)
近似概率分布可能是一项具有挑战性的任务,特别是当它们在高几何复杂性的区域上得到支持或表现出多种模式时。退火可用于促进这一任务,其通常与逆温度中的恒定先验选择增量相结合。然而,使用恒定增量限制了计算效率,因为无法适应退火密度的平滑变化可以用较大增量同样好地处理的情况。我们引入AdaAnn,一个自适应退火调度程序,自动调整的温度增量的基础上的预期变化的库尔贝克-莱布勒散度之间的两个分布具有足够接近的退火温度。AdaAnn易于实现,并且可以集成到现有的采样方法中,例如变分推断的归一化流和马尔可夫链蒙特卡罗。我们证明了计算效率的AdaAnn调度程序的变分推断与规范化流的一些例子,包括密度近似和参数估计的动力系统。
2022-02-01 cs.LG stat.CO stat.ML
Guidance for twisted particle filter: a continuous-time perspective
Duke University(杜克大学);Shanghai Jiao Tong University(上海交通大学)
本文提出Twisted-Path Particle Filter,通过神经网络参数化扭曲函数以最小化路径测度的KL散度,提升粒子滤波的估计精度。
2026-05-02 math.OC stat.CO
Approximating optimal SMC proposal distributions in individual-based epidemic models
针对基于个体的流行病模型推断效率低的问题,提出利用单个体最优提议分布可解析计算、个体动态以感染率为条件独立的特性,构建高效SMC提议分布,实现SIS和SEIR模型下采样效率数量级提升。
2025-08-01 stat.ME
Particle filtering within adaptive Metropolis Hastings sampling
我们表明,它是可行的,进行精确的贝叶斯推断的非高斯状态空间模型使用自适应大都会Hastings采样计划的似然近似的粒子滤波器。此外,基于法线混合提议的自适应独立Metropolis Hastings采样器在计算上比自适应随机游动提议有效得多,因为与近似似然的成本相比,构造良好自适应提议的成本可以忽略不计。独立的大都会黑斯廷斯提案也很有吸引力,因为它们很容易在多个处理器上并行运行。我们还表明,当使用的粒子滤波器,任何模型的边际似然是在一个有效的和无偏的方式,使模型比较简单。
2009-11-02 stat.CO stat.ME
Controlled Sequential Monte Carlo
序贯蒙特卡罗方法,也称为粒子方法,是一组流行的技术,用于近似高维概率分布及其归一化常数。这些方法在统计学和相关领域中有许多应用,例如用于非线性非高斯状态空间模型和复杂静态模型中的推断。像许多蒙特卡罗抽样方案一样,它们依赖于对它们的性能有关键影响的建议分布。在这里,我们介绍了一类控制序贯蒙特卡罗算法,其中的建议分布是通过近似的解决方案,以相关的最优控制问题,使用迭代计划。该方法建立在计量经济学、物理学和统计学中用于状态空间模型推理的一些现有算法的基础上,并将这些方法推广以适应复杂的静态模型。我们提供了一个理论分析,这种方法的波动和稳定性,也提供了洞察相关算法的属性。我们展示了显着的收益,在一个固定的计算复杂度的各种应用程序的最先进的方法。
2019-10-30 stat.CO
Multiplicative Gaussian Particle Filter
National University of Singapore(新加坡国立大学);University of Adelaide(阿德莱德大学)
我们提出了一种新的基于采样的方法,在过滤问题的近似推理。而不是近似条件分布与一组有限的状态,如在粒子滤波器,我们的方法近似分布与一组连续函数的函数的加权和。该方法的核心是使用采样来近似贝叶斯滤波器中的乘法。我们提供了理论分析,给出采样条件,以提供良好的近似。接下来,我们专门讨论高斯的加权和的情况,并展示高斯的性质如何实现封闭形式的转换和有效的乘法。最后,我们对机器人定位问题进行了初步的实验,并与粒子滤波器的性能进行了比较,以证明所提出的方法的潜力。
2020-02-29 cs.LG stat.ML
Multidimensional Projection Filters via Automatic Differentiation and Sparse-Grid Integration
投影滤波器是一种用于逼近最优滤波问题的解的技术。在投影滤波器中,控制最佳滤波密度的传播的Kushner-Stratonovich随机偏微分方程被投影到参数密度的流形,从而产生有限维随机微分方程。尽管投影滤波器能够表示复杂的概率密度,但它们目前的实现仅限于高斯族或一维滤波应用。这项工作认为,结合数值积分和自动微分构造投影滤波算法更一般的问题。具体来说,我们提供了一个详细的阐述这种组合的指数族的流形,并展示了如何将投影过滤器多维的情况下。我们证明了数值比较的基础上的有限差分解的库什纳-Stratonovich方程和引导粒子滤波器与系统的resstrom,所提出的算法保留了一个准确的近似的过滤密度,同时需要一个相对较低的正交点。由于稀疏网格积分和自动微分用于计算自然统计量和Fisher度量的期望值,所提出的滤波算法是高度可扩展的。因此,它们适用于许多应用中的维数超过粒子滤波器的实际限制,但高斯近似被认为是不满意的。
2022-09-14 math.DS math.OC stat.ME
An invitation to sequential Monte Carlo samplers
统计学家经常使用蒙特卡罗方法来近似概率分布,主要是马尔可夫链蒙特卡罗和重要性抽样。序贯蒙特卡罗采样器是一类结合了两种技术来近似感兴趣的分布及其归一化常数的算法。这些采样器起源于状态空间模型的粒子滤波,并已成为通用和可扩展的采样技术。本文描述了序贯蒙特卡罗采样器及其可能的实现,认为它们在统计中仍然没有得到充分的使用,尽管它们能够执行顺序推理并利用并行处理资源以及其他潜在的好处。
2022-06-17 stat.CO stat.ME
Knots and variance ordering of sequential Monte Carlo algorithms
Adelaide University(阿德莱德大学);University of Bristol(布里斯托大学)
该研究提出knot算子这一新的方差缩减技术,通过将势函数信息融入转移核提升粒子滤波器效率,建立Feynman-Kac模型偏序与粒子滤波器渐近方差排序的对应关系,推广现有技术并给出定量结果,还验证了对完全自适应粒子滤波器的改进效果。
2025-10-28 stat.CO stat.ME
Optimized Auxiliary Particle Filters: adapting mixture proposals via convex optimization
辅助粒子滤波器(APF)是一类用于状态空间模型贝叶斯推断的序贯蒙特卡罗(SMC)方法。在其原始推导中,APF在扩展的状态空间中使用辅助变量来改善推理。在这项工作中,我们提出了优化的辅助粒子滤波器,传统的APF辅助变量被解释为权重的重要性抽样混合建议的框架。在这种解释下,我们设计了一种机制,提出的混合权重的启发,在多个和自适应重要性抽样的最新进展。特别是,我们建议通过制定一个凸优化问题来选择混合权重,目的是在每个时间步近似滤波后验。此外,我们提出了一个加权方案,推广了以前的结果对APF(皮特等人。2012),证明了无偏性和一致性,我们的估计。我们的框架表明显着改善的估计一系列的指标相比,国家的最先进的粒子滤波器在类似的计算复杂性,具有挑战性和广泛使用的动态模型。
2021-06-16 stat.CO
Unscented Auxiliary Particle Filter Implementation of the Cardinalized Probability Hypothesis Density Filter
概率假设密度(PHD)滤波器通过在时间上逼近随机有限目标集(RFS)的强度函数,减少了最优贝叶斯多目标滤波的计算量。然而,作为一个强大的去杂算法,它的缺点是缺乏精确的估计的期望目标数。作为PHD递归的推广,基数化PHD(CPHD)递归将强度函数和后验基数分布联合传播,弥补了这一缺陷。虽然有一些新的方法来增强PHD滤波器的序贯蒙特卡罗(SMC)实现,但CPHD滤波器的当前SMC实现在估计精度方面性能较差。在本文中,基于无迹变换(UT),我们提出了一种辅助实现的CPHD滤波器的高度非线性系统。为此,我们用线性泛函的预测和更新估计来近似初等对称函数。随后,我们通过数值模拟证明,我们的算法显着执行SMC-CPHD滤波器和辅助粒子实现的PHD滤波器在困难的情况下,高杂波。我们还比较了我们提出的算法与其同行的其他指标,如运行时间和新的目标外观的敏感性。
2015-06-08 stat.AP
The Alive Particle Filter
在下面的文章中,我们开发了一个粒子滤波器来逼近具有指示势的Feynman-Kac模型。这样的模型的例子包括近似贝叶斯计算(ABC)后验与隐马尔可夫模型(HALTH)或罕见事件的问题。此类模型需要使用高级粒子滤波器或马尔可夫链蒙特卡罗(MCMC)算法(例如Jasra等人(2012))来执行估计。现有的粒子滤波器的缺点之一是它们可能“抖动”,因为由于指示器电位,算法可能提前终止。在本文中,使用Lee等人(2013)中的局部自适应粒子滤波器的特殊情况,它与Le Gland & Oudjane(2004)密切相关,我们使用一种可以处理后一个问题的算法,同时引入每时间步长的随机成本。该算法从理论的角度进行了研究,并给出了几个结果,这有助于验证算法,并为其实施提供指导方针。此外,我们还展示了如何使用粒子MCMC在MCMC中使用该算法(Andrieu et al. 2010)。给出了隐马尔可夫模型ABC近似的数值例子。
2013-03-31 stat.CO
Multilevel Localized Ensemble Kalman Bucy Filters
本研究提出多层局域化集合卡尔曼-布西滤波器,将协方差局域化与多层蒙特卡洛结合,首次在连续时间场景下实现局域化数据同化,提升了稳定性并降低了计算复杂度。
2025-02-24 stat.CO
The Progressive Proposal Particle Filter: Better Approximations to the Optimal Importance Density
为特定应用设计粒子滤波器的关键步骤是重要性密度的选择。最佳方案是使用状态的条件后验密度,但这在大多数情况下不能被采样或解析计算。在实践中,使用该密度的近似值,特别是基于线性化或无迹变换的高斯密度。对于许多高度非线性或非高斯模型,这些近似可能很差,导致粒子近似的退化,甚至滤波器完全“失去跟踪”。在本文中,我们开发了一种新的机制来逼近最佳的重要性密度,我们称之为渐进式建议方法。这是通过逐步引入观测值并执行一系列状态更新来实现的,每个状态更新都使用最佳重要性密度的局部高斯近似。一些改进和扩展的基本算法也被引入。仿真被用来证明在一些应用程序上的性能比简单的粒子滤波器的改进。
2014-08-14 stat.CO
Adaptive sequential Monte Carlo by means of mixture of experts
适当地设计粒子滤波器的建议核是一个非常重要的问题,因为一个坏的选择可能会导致粒子样本的恶化,从而浪费计算能力。在本文中,我们介绍了一种新的算法,自适应近似所谓的最优建议核的混合物的综合曲线指数分布与逻辑权重。这一系列的分布,被称为专家的混合物,是足够广泛的,以使用在存在多模态或强烈偏斜的分布。通过在线EM方法,通过最小化辅助目标和粒子滤波器的仪器分布之间的库尔贝克-莱布勒散度,将混合物拟合到最优内核。在粒子滤波器的每次迭代中,该算法只需要解决整个粒子样本的单个优化问题,从而产生仅具有线性复杂度的算法。此外,我们在仿真研究中说明了该方法可以成功地应用于非线性状态空间模型的最优滤波。
2012-10-11 stat.CO stat.ME stat.ML
Adaptive Path Sampling in Metastable Posterior Distributions
规范化常数在贝叶斯计算中起着重要的作用,并且有大量关于计算或近似不能以封闭形式计算的规范化常数的方法的文献。当归一化常数按数量级变化时,基于重要性抽样的方法可能需要多轮调整。我们提出了一种改进的方法,使用自适应路径采样,迭代地减少基地和目标之间的差距。使用这种自适应策略,我们开发了两个亚稳态采样方案。它们在Stan中是自动化的,几乎不需要调整。对于多峰后验密度,我们配备了连续温度的模拟回火。对于漏斗形的熵障碍,我们自适应地增加瓶颈区域的质量,形成一个隐式的分而治之。这两种方法在经验上都比现有的亚稳态分布采样方法表现得更好,包括更高的准确性和计算效率。
2020-09-01 stat.CO stat.ME
Piecewise Constant Sequential Importance Sampling for Fast Particle Filtering
粒子滤波器是非线性、非高斯动态下目标跟踪的关键算法。然而,粒子滤波器的高计算成本阻碍了它们在似然模型评估成本高或需要大量粒子来表示后验的情况下的适用性。我们介绍了近似顺序重要性抽样/恢复(ASIR)算法,其目的是通过近似的可能性与混合均匀分布在预定义的细胞或箱,以减少传统的粒子滤波器的成本。每个仓中的粒子由原始粒子分布的质心处的虚拟粒子表示,并且具有作为同一仓中所有粒子的状态的平均值的状态向量。仅为虚拟粒子评估似然性,并且将结果权重相同地指定给箱中的所有粒子。我们推导出这样得到的分段常数函数表示的近似误差的上界,并分析如何bin大小影响跟踪精度和运行时间。此外,我们数值表明,ASIR近似误差收敛到顺序重要性抽样/rescue(SIR)的bin大小减小。我们提出了一组数值实验,从生物图像处理和跟踪领域,证明ASIR的能力。总的来说,我们认为ASIR是一个有前途的候选人,简单,快速的粒子滤波在通用应用程序。
2014-02-03 cs.CC stat.CO
A PRticle filter algorithm for nonparametric estimation of multivariate mixing distributions
针对PR算法在高维混合分布估计中计算归一化常数效率低的问题,提出PRticle滤波算法,通过自适应重权粒子集实现蒙特卡罗近似,经理论与实验验证了其收敛性与准确性。
2022-11-20 stat.CO stat.ME
Asymptotically Optimal Discrete Time Nonlinear Filters From Stochastically Convergent State Process Approximations
Department of Electrical & Computer Engineering, Rutgers, The State University of New Jersey(新泽西州立罗格斯大学电气与计算机工程系)
本文研究了在离散时间下,基于随机收敛状态过程近似的最优非线性滤波器近似问题,提出了一种在强意义下收敛的近似滤波算子,并为Egoroff定理提供了量化证明。
2016-05-01 cs.SY eess.SY math.OC
Information Criterion for Boltzmann Approximation Problems
本文考虑的问题,近似密度时,它可以评估到一个归一化常数在有限数量的点。我们称这个问题为玻尔兹曼近似(BA)问题。BA问题在统计学中是普遍存在的,例如近似贝叶斯推断的后验密度和估计重要性抽样的最佳密度。用参数模型近似密度可以被视为模型选择问题。这个问题不能用最大化模型的(边际)可能性的传统方法来解决,例如使用Akaike信息准则(AIC)或贝叶斯信息准则(BIC)。相反,我们的目标是最小化衡量参数模型与目标密度偏差的交叉熵。本文提出了一种新的信息准则--交叉熵信息准则(CIC),并证明了在一定的正则条件下,CIC是交叉熵的渐近无偏估计量.我们提出了一种迭代方法来近似目标密度通过最小化CIC。我们证明,所提出的方法选择一个参数模型,以及近似的目标密度。
2020-10-07 stat.ME
A geometric ensemble method for Bayesian inference
本文提出一种基于凸多面体上均匀分布之和的几何集成方法,用于近似贝叶斯推断,并通过Ikeda映射和Lorenz '96方程的数值实验验证了其在低维和高维环境下的可行性。
2025-04-09 math.OC math.PR stat.ME