Particle Filters for Partially-Observed Boolean Dynamical Systems
部分可观测布尔动力系统(POBDS)是一类非线性模型,主要应用于基于噪声和不完全测量的布尔过程的估计和控制。POBDS状态估计的最优最小均方误差(MMSE)算法,即布尔卡尔曼滤波器(BKF)和布尔卡尔曼平滑器(BKS),由于计算量和存储量的要求,在大系统的情况下是难以处理的。为了解决这个问题,我们提出了近似MMSE滤波和平滑算法的辅助粒子滤波器(APF)方法的基础上,从序贯蒙特卡罗理论。这些算法与最大似然(ML)方法同时用于POBDS模型中的状态和参数估计。在连续参数的存在下,ML估计使用的期望最大化(EM)算法进行,我们为此开发了一个特殊的平滑,降低了计算复杂性的期望最大化算法。将所得的基于粒子的自适应滤波器应用于通过噪声RNA-Seq时间序列数据观察到的布尔基因调控网络的POBDS模型,并通过一系列使用众所周知的细胞周期基因调控模型的数值实验来评估性能。
2017-02-23 math.DS q-bio.MN stat.ME
Automatic Differentiation for Inference on Partially Observed Markov Process Models
University of Pennsylvania(宾夕法尼亚大学);University of Michigan(密歇根大学)
本文提出将两种现有自动微分粒子滤波方法嵌入统一理论框架,扩展出一类支持偏差/方差权衡的新算法,并开发仅需可微分模拟器的似然最大化方法,在科学基准问题上显著优于现有方法。
2026-10-23 stat.CO stat.ME stat.ML
Particle Filters for Multiscale Diffusions
我们考虑多尺度随机系统,部分观察到的慢时间尺度的离散点。我们引入了一个粒子滤波器,利用系统的多尺度结构,有效地逼近最优滤波器。
2007-10-26 stat.CO
Unbiased and Multilevel Methods for a Class of Diffusions Partially Observed via Marked Point Processes
本文针对标记点过程部分观测的扩散滤波问题,提出多层粒子滤波方法,实现均方误差 $\mathcal{O}(\epsilon^2)$ 且成本 $\mathcal{O}(\epsilon^{-2.5})$,并扩展至无偏估计与在线参数估计。
2023-11-16 cs.NA math.NA stat.CO
Multilevel Particle Filters for Partially Observed McKean-Vlasov Stochastic Differential Equations
针对部分观测McKean-Vlasov随机微分方程的滤波问题,提出新的粒子滤波器和多层粒子滤波器进行数值近似,并证明MLPF在计算成本上具有更优的理论收敛阶。
2024-04-25 cs.NA math.NA stat.CO
Likelihood Evaluation of Jump-Diffusion Models Using Deterministic Nonlinear Filters
在这项研究中,我们开发了一个确定性的非线性滤波算法的基础上的高维版本的Kitagawa(1987),以评估模型的似然函数,允许随机波动率和跳跃的到来强度也是随机的。我们数值计算表明,确定性滤波方法是精确的,比粒子滤波快得多,除了产生一个光滑的函数的参数空间。然后,我们找到了各种模型的最大似然估计,包括随机波动率,跳跃的回报和方差,以及随机跳跃到达强度与标准普尔500指数的每日回报。在大衰退期间,跳跃到达强度显著增加,并有助于波动性和负收益的聚集。
2019-06-29 q-fin.ST stat.CO stat.ME
Parameter Estimation for Partially Observed McKean-Vlasov Diffusions
针对部分观测McKean-Vlasov扩散过程,提出基于马尔可夫随机逼近的随机化多层蒙特卡洛参数估计方法,并引入新MCMC算法,证明偏差小且可控,在多个实例中验证。
2024-11-11 cs.NA math.NA stat.ME
Particle-based likelihood inference in partially observed diffusion processes using generalised Poisson estimators
本文涉及使用的期望最大化(EM)算法的推理部分观察扩散过程。在这方面,一个众所周知的问题是,除了少数扩散过程缺乏封闭形式的过渡密度的表达式。因此,为了有效地估计EM中间量,我们构造,使用新的技术无偏估计的扩散过渡密度,随机权重固定滞后辅助粒子平滑,避免了众所周知的问题,粒子轨迹退化的平滑模式。理论上证明了该估计器的合理性,并在一个模拟的例子上进行了演示。
2010-08-17 math.ST stat.TH
Robust, partially alive particle Metropolis-Hastings via the Frankenfilter
Lancaster University(兰卡斯特大学);Durham University(杜伦大学);University of Bristol(布里斯托大学)
针对隐马尔可夫模型中条件似然为零导致粒子滤波失效的问题,提出Frankenfilter,通过固定模拟次数上下限并设定成功目标,实现鲁棒且高效的似然估计,在伪边际Metropolis-Hastings中比标准粒子滤波效率提高2-3倍。
2026-09-03 stat.ME
Bayesian Parameter Estimation for Partially Observed McKean-Vlasov Diffusions Using Multilevel Markov chain Monte Carlo
本文提出基于多层马尔可夫链蒙特卡洛的新算法,用于部分观测McKean-Vlasov扩散的贝叶斯参数估计,显著降低计算成本并证明收敛性。
2025-04-22 cs.NA math.NA stat.CO
Bayesian Static Parameter Estimation for Partially Observed Diffusions via Multilevel Monte Carlo
在这篇文章中,我们考虑静态贝叶斯参数估计的部分可观察扩散离散观察。我们工作的假设下,必须采取离散化的基本扩散过程,例如使用欧拉-丸山方法。鉴于这一假设,我们展示了如何使用马尔可夫链蒙特卡罗(MCMC),特别是粒子MCMC [Andrieu,C.,Doucet,A.和Holenstein,R.(2010年)。粒子马尔可夫链蒙特卡罗方法(讨论)。J. R.中央集权主义者Soc. Ser. B,72,269- 342]来实现多级(ML)蒙特卡罗(MC)塌缩和恒等式的新近似。我们的方法是在两个不同的离散化水平上构造参数和隐变量联合分布的后验密度的近似耦合,然后通过重要性抽样方法进行校正。权重的方差与观测数据集的长度无关。这种方法的效用在于,对于规定水平的均方误差,该MLMC方法的成本可证明小于独立同分布。从与最精确的离散化相关联的后验中采样。然而,这里的方法包括仅使用已知且有效的仿真方法。的理论结果示出的两个原型过程的参数的推断噪声的过程中的部分观察:第一个是一个Ornstein乌伦贝克过程,第二个是一个更一般的朗之万方程。
2017-01-20 math.PR stat.CO
Dynamic Power Systems Line Outage Detection Using Particle Filter and Partially Observed States
由于部分相量测量单元(PMU)的部署和停电信号强度的变化,实时输电线路停电检测是困难的。现有的检测方法集中于监测PMU测量的节点代数状态,即,电压相位角和幅度。然而,这种方法的成功在很大程度上取决于强停电信号和停电位置附近PMU的存在。为了克服这些限制,在这项工作中提出了一个统一的框架,利用节点电压信息和发电机动态状态,例如,转子角位置所提出的计划被证明是更快,更强大的未知的停电位置,通过将发电机动态。使用IEEE 39节点系统的仿真数据,所提出的计划的属性和性能相比,现有的方法。新方法可以通过更快地检测停电并提供停电信号故障用于诊断目的,帮助提高运营商的实时态势感知能力,使未来的电力系统更具弹性。
2021-10-27 cs.SY eess.SY stat.AP
Computational Doob's h-transforms for Online Filtering of Discretely Observed Diffusions
Institut Polytechnique de Paris(巴黎理工学院);ENSAE Paris(巴黎国立统计与经济管理学院);ESSEC Business School(埃塞克商学院);National University of Singapore(新加坡国立大学)
本文针对离散观测非线性扩散过程的在线滤波问题,提出利用神经网络求解倒向 Kolmogorov 方程来近似 Doob h-变换的计算框架,从而训练局部最优辅助粒子滤波器,在高信息量观测、极端观测及高维状态场景下显著提升滤波效率。
2023-05-30 cs.LG eess.SP stat.CO
An Improved Unbiased Particle Filter
在本文中,我们考虑部分观察到的多维扩散过程,定期观察在离散时间的过滤。我们假设,由于数值的原因,一个时间离散的扩散过程,这通常会导致过滤,是受到离散化的偏见。[16]中的方法确定,当仅访问时间离散化扩散时,可以使用有限方差的估计量来消除离散化偏差。本文在文献[17]的基础上,引入了一个改进的估计量,改进了文献[16]的方法。我们证明了这个新的估计是无偏的,并具有有限的方差。此外,我们推测并验证在数值模拟中,获得了可观的收益。也就是说,对于给定的均方误差(MSE)和特定类别的多维扩散,实现所述MSE的成本下降。
2023-02-20 cs.NA math.NA stat.CO
SURGE: Approximation and Training Free Particle Filter for Diffusion Surrogate
Department of Mechanical Engineering, Northwestern University, Evanston, IL, United States;Institute for Computational \& Mathematical Engineering, Stanford University, Stanford, CA, United States;Department of Industrial Engineering \& Management Sciences, Northwestern University, Evanston, IL, United States
提出一种基于扩散模型的无偏粒子滤波方法,通过序列蒙特卡洛对扩散轨迹进行重加权和重采样,融合观测数据与模型模拟,实现状态估计的连续校正。
2026-05-25 cs.LG cs.NA math.NA
Iterated filtering
部分观测马尔可夫过程模型的推理一直是一个长期存在的方法挑战,许多科学和工程应用。迭代滤波算法通过求解滤波问题的递归序列来最大化部分观测马尔可夫过程模型的似然函数。我们提出了新的理论成果有关的迭代滤波算法的收敛性,通过顺序蒙特卡罗滤波器实现。这一理论补充了越来越多的经验证据,迭代过滤算法提供了一个有效的推理策略的非线性动态系统的科学模型。在我们的理论的第一步涉及研究一种新的递归方法,最大化的似然函数的潜在变量模型,当这种可能性是通过重要性抽样评估。这导致考虑迭代重要性采样算法,其用作迭代滤波的简单特殊情况,并且可能具有其自身的适用性。
2012-11-22 math.ST stat.TH
On Unbiased Score Estimation for Partially Observed Diffusions
考虑了一类部分可测扩散过程的统计推断问题,该过程具有离散可测数据和有限维参数。我们构造了得分函数的无偏估计量,即对数似然函数关于参数的梯度,没有时间离散化偏差。这些估计器可以直接用于随机梯度方法中,以执行极大似然估计或贝叶斯推断。由于我们提出的方法只需要访问一个时间离散化方案,如Euler-Maruyama方法,它适用于广泛的一类扩散过程和观测模型。我们的方法基于使用Girsanov定理将得分表示为平滑期望,以及Mcleish [2011],Rhee和Glynn [2015],Jacob等人[2020 a]中开发的随机化方案的新适应。这允许在使用Andrieu等人[2010]的条件粒子滤波器计算平滑期望时消除时间离散化偏差和老化偏差。我们的方法的核心是多个条件粒子滤波器的新的耦合的发展。我们证明在假设下,我们的估计是无偏的,有有限的方差。该方法说明了人口生态学和神经科学的几个具有挑战性的应用。
2021-05-11 stat.CO stat.ME
Unbiased Parameter Estimation for Partially Observed Diffusions
本文针对部分观测扩散过程的静态参数估计问题,提出基于双重随机化和马尔可夫随机逼近的无偏估计方法,消除了时间离散化偏差,并通过数值实验验证其优于现有无偏方法。
2023-09-19 cs.NA math.NA stat.CO
Unbiased Estimation of the Hessian for Partially Observed Diffusions
在这篇文章中,我们考虑的发展无偏估计量的海森,对数似然函数的参数,部分观察扩散过程。这些过程出现在许多应用中,其中这种扩散需要通过雅可比矩阵或海森矩阵的导数信息。由于时间离散化的扩散引起的偏见,我们提供了一个无偏估计量的海森。这是基于使用Girsanov定理和Mcleish [2011]和Rhee & Glynn [2015]开发的随机化方案。我们证明了我们开发的估计的海森是无偏的,有限方差之一。我们数值测试和验证,通过比较这里的方法,一个新提出的粒子滤波方法。我们测试这一范围内的扩散模型,其中包括不同的奥恩斯坦-乌伦贝克过程和Fitzhugh-南云模型,在神经科学中出现。
2021-09-06 cs.NA math.NA stat.CO
The two filter formula reconsidered: Smoothing in partially observed Gauss--Markov models without information parametrization
Centre for Mathematical Sciences, Lund University(隆德大学数学科学中心)
本文重新审视部分观测高斯-马尔可夫模型中的双滤波器公式,提出基于对数二次似然的递归,避免信息参数化,简化平方根算法,并给出前向马尔可夫表示公式。
2025-02-28 cs.LG stat.ME
Statistical classification for partially observed functional data via filtering
本文讨论了L2值随机协变量的函数分类问题,其中一些协变量可能有缺失或不可观测的片段。这里,允许训练样本以及新的未分类观测在其函数协变量中具有缺失片段。此外,与文献中大多数先前的结果不同,协变量片段通常被假设为完全随机完全随机缺失,我们在这里不施加任何这样的假设。鉴于所观察到的曲线段,我们构建了一个内核类型的分类器,这是非常简单的实现在实践中。我们还建立了强一致性的建议分类器,并提供了一些数值例子来评估其在实践中的性能。
2018-11-28 stat.ME
Unbiased Parameter Estimation of Partially Observed Diffusions using Diffusion Bridges
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种利用扩散桥相关对数似然梯度恒等式的新方法,实现对部分观测扩散过程静态参数的无时间离散化偏差估计,允许扩散系数依赖参数,并证明估计量无偏且有限方差。
2025-09-25 cs.NA math.NA stat.ME
Causal Effects with Hidden Treatment Diffusion on Observed or Partially Observed Networks
在随机实验中,单元之间的相互作用可能会产生治疗扩散过程。当感兴趣的治疗是可以在对等体之间共享的实际对象或产品时(例如,传单、小册子、录像)。例如,如果感兴趣的干预是通过将视频分发给目标个人来实现的信息活动,则这些被治疗的个人中的一些可能与他们的朋友分享他们接收到的视频。这种现象通常未被观察到,导致两个治疗组中的个体分配错误:一些最初未接受治疗的单位可能实际上通过扩散接受了治疗。治疗分类错误反过来又会在因果效应的估计中引入偏倚。受最近一个旨在鼓励学生参加文化活动的不同类型的学校激励措施的影响的实地实验的启发,我们提出了一种新的方法来处理一个隐藏的扩散过程中观察到的或部分观察到的networks.Specifically,我们开发了一个基于模拟的敏感性分析,评估的鲁棒性的估计对可能存在的治疗扩散。我们模拟了几个扩散的情况下,在一个合理的范围内的敏感性参数,我们比较的处理效应,这是在每个场景中估计的一个,而忽略了扩散过程。结果表明,即使是一个小尺寸的治疗扩散参数可能会导致一个显着的偏差估计的处理效应。
2021-09-15 stat.ME
Parameter Estimation for Partially Observed Hypoelliptic Diffusions
亚椭圆扩散过程可用于模拟从分子动力学到音频信号分析的各种应用中的现象。我们研究参数估计的情况下,我们观察到一些组件的解决方案,在离散的时间。由于过渡密度的精确似然性通常是未知的,因此使用了预期在小的样本间时间$Δt$和大的总观察时间$NΔt$的限制下工作良好的近似。亚椭圆率与部分观测一起导致病态,需要对要估计的各种参数的近似似然性进行明智的组合。我们将这些结合在一个确定性扫描吉布斯采样器之间交替缺失数据的未观察到的解决方案的组件,和参数。数值实验表明,该方法适用于模拟数据时的渐近一致性。本文的结论与吉布斯抽样的分子动力学数据的应用。
2007-10-30 stat.ME
Approximate filtering via discrete dual processes
本文研究了扩散与离散状态空间马尔可夫链的对偶性,提出在Cox-Ingersoll-Ross和Wright-Fisher扩散驱动的隐马尔可夫模型中应用近似滤波策略,并与精确策略和粒子滤波基准进行比较。
2023-11-28 math.PR stat.CO stat.ME
Dimension Reduction in Statistical Estimation of Partially Observed Multiscale Processes
我们考虑部分观测的多尺度扩散模型,指定到一个未知的向量参数。我们建立了一个非常一般的一类检验函数,过滤器的原始模型收敛到一个过滤器的减少的维度。然后,这个结果被用来证明统计估计的未知参数的基础上减少的维度,但使用原始的可用数据的模型。这允许在较低维度下工作时学习感兴趣的未知参数,而不是使用原始的高维系统。仿真研究支持并说明了理论结果。
2017-11-26 math.PR math.ST q-fin.ST
Parameter estimation for partially observed second-order diffusion processes
针对仅观测位置的二阶扩散过程,本文修正标准随机梯度下降与 Kalman 滤波参数估计,消除驱动噪声时间相关导致的系统偏差,并可推广至最大似然方法。
2025-03-14 cs.NA math.NA math.ST
Optimal control for parameter estimation in partially observed hypoelliptic stochastic differential equations
在部分观测框架下研究了随机微分方程的参数估计问题。我们的目标是设计一种方法,椭圆和hypoelliptical的SDES,后者的特点是退化扩散系数。这一特征经常导致基于Euler Maruyama离散化方案的对比度估计器的失败,并显着削弱了用于重建未观测状态的经典随机滤波方法。所有这些问题使得亚椭圆方程的估计问题难以解决。为了克服这一点,我们构造了一个定义良好的费用函数,无论椭圆性质的SDES。我们还通过考虑控制理论的观点来绕过过滤步骤。未观测状态的估计,解决确定性最优控制问题,使用数值方法,不需要强假设的扩散系数条件。对不同的部分观测亚椭圆方程组进行了数值模拟,结果表明,该方法不仅能得到精确的估计,而且与其他方法相比,大大降低了计算量。
2021-08-12 math.OC stat.ME