Latent-EnSF: A Latent Ensemble Score Filter for High-Dimensional Data Assimilation with Sparse Observation Data
Georgia Institute of Technology（佐治亚理工学院）
针对高维稀疏观测下非线性贝叶斯滤波的难题，提出耦合双编码器VAE的Latent-EnSF方法，实现一致潜空间表征，在浅水波和中期天气预报任务中精度、收敛速度与效率均更优。
2024-09-11 cs.AI cs.LG eess.SP
AECSF: Adaptive Ensemble Conditional Score Filtering for High-Dimensional Nonlinear Data Assimilation
Tongji University（同济大学）；Wuhan University（武汉大学）；University of South Carolina（南卡罗来纳大学）
针对高维非线性数据同化中贝叶斯状态估计的统计保真度与计算可行性矛盾，提出免训练的自适应集成条件分数滤波器AECSF，利用条件Tweedie恒等式和共享自适应加权提议集成高效估计噪声后验分数，提升后验采样与非线性滤波精度。
2026-10-05 cs.LG cs.NA math.NA
Amortized Filtering and Smoothing with Conditional Normalizing Flows
School of Mathematics and Statistics（数学与统计学学院）；The University of Sydney（悉尼大学）；Faculty of Science and Technology（科学与技术学院）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港 Baptist大学）；Institute of Computational Mathematics and Scientific/Engineering Computing（计算数学与科学/工程计算研究所）；Academy of Mathematics and Systems Science（数学与系统科学学院）；Chinese Academy of Sciences（中国科学院）；Department of Mathematics and Center for Computation and Technology（数学系与计算技术中心）；Louisiana State University（路易斯安那州立大学）
FLUID提出一种基于流的统一近似推断框架，通过共享摘要统计量学习正向和反向流，实现高维非线性动态系统的滤波与平滑，并支持轨迹外推与隐式正则化。
2026-09-21 cs.LG cs.NA math.NA
Rethinking Forward Processes for Score-Based Nonlinear Data Assimilation in High Dimensions
KAIST（韩国科学技术院）
本文提出了一种针对数据同化问题的改进前向过程，用于高维非线性系统的状态估计，通过改进的分数基滤波器在测量空间中转换系统状态，提高了同化性能。
2026-05-21 cs.AI cs.LG stat.ML
Posterior Uncertainty Estimation via a Monte Carlo Procedure Specialized for Data Assimilation
本文形式化了Chevallier等人提出的用于大规模数据同化的蒙特卡洛后验方差近似算法，证明其收敛性，并扩展了考虑采样不确定性的贝叶斯可信区间，通过模拟实验验证了其有效性。
2023-11-15 stat.CO
Efficient sequential Bayesian inference for state-space epidemic models using ensemble data assimilation
Trinity College Dublin（都柏林三一学院）
本文提出了一种高效的序贯贝叶斯推断方法，用于状态空间流行病模型，通过使用集合数据同化替代传统粒子滤波，以提高计算效率并保持推断精度。
2026-05-18 stat.CO stat.ME
A Hybrid Monte-Carlo Sampling Smoother for Four Dimensional Data Assimilation
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；Computational Science Laboratory（计算科学实验室）
本文提出一种基于集合的采样平滑器，用于四维数据同化，结合混合/汉密尔顿蒙特卡罗方法，有效采样初始时间的后验概率密度，适用于非高斯误差和非线性动力学。
2015-05-18 cs.NA math.NA stat.CO
Particle filters for data assimilation based on reduced order data models
我们介绍了一个数据同化（DA）的框架，其中的数据被分成多个集合对应的状态空间的低秩投影。开发了吸收部分或全部投影数据的算法，包括与任何通用DA方法兼容的算法。这里探讨的主要应用程序是PROJ-PF，一个投影粒子滤波器。PROJ-PF的实施吸收了高度信息化但低维的观察结果。这里考虑的实现是基于使用对应于不稳定子空间（AUS）中的同化的投影。在粒子滤波的背景下，投影方法减轻了高维DA问题中粒子系综的崩溃，同时保留尽可能多的相关信息，因为不稳定和中性模式对应于最不确定的模型预测。特别是，我们制定和数值实现投影最优建议粒子滤波器（PROJ-OP-PF）和比较标准的最优建议和包围变换卡尔曼滤波器。
2020-05-18 stat.CO
Particle Filters and Data Assimilation
状态空间模型可以通过引入潜在的马尔可夫状态过程来结合关于时间序列的潜在动态的主题知识。用户可以指定这个过程的动态以及状态如何与已经进行的部分和噪声观测相关。然后，推理和预测涉及解决一个具有挑战性的逆问题：在给定观测值的情况下，计算感兴趣的量的条件分布。本文综述了求解这一反问题的蒙特卡罗算法，包括基于粒子滤波器和集合卡尔曼滤波的方法。我们讨论了高维状态模型所带来的挑战，参数和状态的联合估计，以及对状态过程历史的推断。我们还指出了一些潜在的新的发展，这将是重要的解决尖端的过滤应用。
2017-09-13 stat.AP stat.CO
A Kalman filter powered by $\mathcal{H}^2$-matrices for quasi-continuous data assimilation problems
连续跟踪地下流体或羽流的运动是在应用中经常遇到的挑战，例如跟踪注入的CO $_2$或有害物质的羽流。监测技术的进步使得有可能在羽流移动时以高频率收集测量数据，这具有在数据处理的帮助下提供连续的高分辨率流体流动图像的潜在优势。然而，这种方法的适用性是有限的高计算成本与分析大型数据集的实时监控所施加的时间限制。现有的数据同化方法的计算要求，增加超线性的未知数$m$的大小。在本文中，我们提出了HiKF，一个新的卡尔曼滤波器（KF）的变种供电的分层矩阵的方法，大大降低了计算和存储成本的标准KF从$\mathcal{O}(m^2)$到$\mathcal{O}(m)$，而实际上产生相同的结果。这里介绍的HiKF版本利用了所谓的随机游动动力学模型，该模型是针对一类数据同化问题定制的，其中测量值是准连续收集的。该方法已被应用到一个现实的CO $_2$注入模型，并与集合卡尔曼滤波（EnKF）进行比较。数值结果表明，HiKF可以提供比EnKF更准确的估计，也证明了在这种情况下，作为一个随机游动的建模系统动态的有用性。
2014-04-15 cs.NA math.NA stat.CO
Sampling, feasibility, and priors in Bayesian estimation
详细讨论了重要性抽样算法，重点是隐式抽样，并通过粒子滤波器应用于数据同化。隐式抽样使得有可能使用数据以相对较低的成本找到高概率样本，使同化更有效。本文对资料同化的可行性作了一个新的分析，详细说明了为什么可行性取决于噪声的协方差阵的Frobenius范数，而不取决于变量的数目。下面讨论特定粒子滤波器的收敛性。数值资料同化中的一个主要问题是确定合适的先验，本文就这一问题的最新研究进展作了介绍。分析强调，需要仔细注意的数据和数据同化问题的物理。
2015-05-29 stat.CO
Conditions for successful data assimilation
我们表明，使用理想化的模型，数值资料同化可以成功，只有当一个有效的尺寸的问题是不过分的。这个有效维数取决于模型和数据中的噪声，在物理上合理的问题中，即使变量数量很大，它也可以是适度的。然后，我们分析了几种数据同化算法，包括粒子滤波和变分方法。我们表明，精心设计的粒子滤波器可以解决这些数据同化问题，可以解决的原则，并比较条件下，变分方法可以成功的粒子滤波器所需的条件。我们还讨论了我们分析的局限性。
2014-10-22 math-ph math.MP stat.CO
An Ensemble Kalman-Particle Predictor-Corrector Filter for Non-Gaussian Data Assimilation
一个Enkalman滤波器（EnKF，预测器）被用来在状态中做出一个大的变化，其次是一个粒子滤波器（PF，校正器），它分配的重要性权重来描述非高斯分布。权重由非参数密度估计得到。几个数值例子表明，新的预测校正滤波器结合了EnKF和PF的优点，它是适合于高维状态的偏微分方程的解的离散化。
2009-02-13 physics.ao-ph stat.CO stat.ME
Ensemble Kalman filtering with a divided state-space strategy for coupled data assimilation problems
International Research Institute of Stavanger (IRIS)（斯塔万格国际研究所）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出一种分块状态空间策略，用于解决耦合系统数据同化问题，通过分别处理子系统并结合高效准确的权衡方法改进集合卡尔曼滤波。
2014-08-19 cs.NA math.NA nlin.CD
A Sampling Filter for Non-Gaussian Data Assimilation
数据同化结合了来自模型、测量和先验的信息，以估计动力系统（如大气）的状态。Ensemble卡尔曼滤波器（EnKF）是一种基于集合的数据同化方法，由于其公式简单、易于实现和良好的实际效果而得到广泛的应用。大多数EnKF算法假设潜在的概率分布是高斯分布。虽然这一假设被广泛接受，但当应用于大型非线性模型、非线性观测算子和大水平的不确定性时，它的限制性太大。为了避免高斯假设，已经提出了几种方法。最成功的策略之一是最大似然集成滤波器（MLEF），它计算状态的最大后验估计，假设后验分布是高斯的。MLEF被设计用于处理非线性甚至不可微的观测算子，并显示出良好的实际性能。然而，MLEF可以处理的非线性程度是有限的。本文提出了一种新的基于集合的数据同化方法，称为“抽样滤波器”，它直接从后验分布中抽样获得分析。采样策略是基于混合蒙特卡罗（HMC）方法，可以处理非高斯概率分布。数值实验使用Lorenz-96模型和观测算子进行了不同程度的非线性和可微性。本文还用线性观测算子的浅水球模型对滤波器进行了检验。结果表明，即使在EnKF和MLEF滤波器发散的高度非线性情况下，采样滤波器也可以表现良好。
2014-12-05 cs.CE stat.CO
Machine learning-based conditional mean filter: a generalization of the ensemble Kalman filter for nonlinear data assimilation
RWTH Aachen University（亚琛工业大学）；Technische Universität Braunschweig（布伦瑞克工业大学）；KAUST（阿卜杜拉国王科技大学）
本文提出了基于机器学习的集成条件均值滤波器（ML-EnCMF）--一种基于条件均值滤波器（CMF）的滤波方法。CMF的更新均值与后验均值相匹配，后验均值是通过对过滤器的预测分布应用贝叶斯规则获得的。此外，我们证明了CMF的更新协方差与期望的条件协方差一致。实现EnCMF需要计算条件均值（CM）。基于似然的估计器对于小的系综尺寸容易产生显著的误差，从而导致滤波器发散。我们开发了一个系统的方法集成机器学习到EnCMF的基础上CM的正交投影属性。首先，我们使用一个人工神经网络（ANN）和一个线性函数的组合，获得基于集成卡尔曼滤波器（EnKF），近似CM，使ML-EnCMF继承EnKF的优点。其次，在估计损失函数时，我们应用适当的方差缩减技术来减少统计误差。最后，我们提出了一个模型选择过程，用于明智地选择所应用的滤波器，即，在每个更新步骤中，使用EnKF或ML-EnCMF。我们使用Lorenz-63和Lorenz-96系统证明了ML-EnCMF的性能，并表明ML-EnCMF优于EnKF和基于似然的EnCMF。
2022-08-01 cs.LG cs.NA math.NA
Local Sequential MCMC for Data Assimilation with Applications in Geoscience
本研究针对高维数据同化中的权重退化与效率问题，在SMCMC框架下提出局部化方法，通过限制转移密度至观测区域降低自由度，经地球科学相关高维模型与真实/合成观测测试，在高精度需求下效率与准确性优于对比方法。
2024-09-11 cs.NA math.NA stat.CO
Auto-differentiable Ensemble Kalman Filters
University of Chicago（芝加哥大学）
数据同化是关于连续估计时间演变状态。这个任务，这在广泛的科学和工程应用中出现，是特别具有挑战性的状态时，是高维的状态空间动态是未知的。本文介绍了一个用于数据同化中动力系统学习的机器学习框架。我们的自微分集合卡尔曼滤波器（AD-EnKFs）将用于状态恢复的集合卡尔曼滤波器与用于学习动态的机器学习工具相结合。在这样做时，AD-EnKF利用集合卡尔曼滤波器缩放到高维状态的能力和自动微分的能力来训练动态的高维代理模型。使用Lorenz-96模型的数值结果表明，AD-EnKF优于使用期望最大化或粒子滤波器合并数据同化和机器学习的现有方法。此外，AD-EnKF易于实现，并且需要最少的调谐。
2021-07-19 cs.LG stat.CO stat.ML
Inference of stochastic parameterizations for model error treatment using nested ensemble Kalman filters
随机参数化正越来越多地被用来表示集合预报和数据同化中与模式误差相关的不确定性。与使用这些参数化相关的挑战之一是在其制定的随机强迫的属性的优化。在这项工作中，分层数据同化方法的基础上，两个嵌套集合卡尔曼滤波器的随机参数化的推断。所提出的技术是基于Rao-Blackwellization的参数估计问题。该技术包括使用集合卡尔曼滤波器的集合，每个滤波器使用不同的随机参数值。我们展示了该技术推断Lorenz-96动力系统中模型误差随机表示的协方差结构相关参数的能力。评价是用随机孪生试验和预报模型中未解决物理问题的不完善模型试验进行的。所提出的技术成功地执行不同的模型误差协方差结构。该技术被提议作为数据同化系统的先验优化的一部分离线应用，并且原则上可以扩展到数据同化系统的其他超参数的估计。
2018-07-27 stat.CO
A defensive marginal particle filtering method for data assimilation
粒子滤波（PF）是一种常用的动态系统状态估计方法。标准PF方法的一个主要局限性是状态空间的维数随着时间的推移而增加，最终可能导致算法的退化。一种可能的方法来减轻退化问题是计算在每个时间步的边缘后验分布，这导致了所谓的边缘PF方法。边缘PF方法的一个关键问题是在边缘空间中构造一个好的抽样分布。当后验分布接近高斯分布时，EnjunctiveKalman滤波（EnKF）方法通常可以提供良好的采样分布，但当后验分布为强非高斯分布时，EnKF方法可能完全失效。在这项工作中，我们提出了一个防御性的边缘PF（DMPF）算法，它构造了一个采样分布在边缘空间相结合的标准PF和EnKF近似使用多个重要性抽样（MIS）计划。该算法的一个重要特点是，它可以自动调整PF和EnKF组件在MIS计划在每一步中的相对权重，根据非高斯后验。通过数值例子，我们证明了所提出的方法可以很好地执行，无论后验是否可以很好地近似高斯。
2019-08-29 stat.CO
Model error covariance estimation in particle and ensemble Kalman filters using an online expectation-maximization algorithm
基于集合的数据同化技术从部分观测值估计动力系统的状态，其性能关键取决于模型动力学和观测值的规定不确定性。这些通常是不知道的，必须推断出来。已经提出了许多方法来解决这个问题，包括完全贝叶斯，似然最大化和创新为基础的技术。该方法通过期望最大化（Expectation-Maximization，EM）算法求取似然函数的最大值来推断模型误差协方差，并结合集合卡尔曼滤波器和粒子滤波器来估计系统的状态。期望最大化算法在数据同化中的经典应用包括对固定批次的观测值进行滤波和平滑，以便完成单次迭代。在高维应用中使用顺序滤波时，这是不方便的。出于这一动机，适应的算法，可以处理的意见和更新的参数上飞，与一些基本的简化，提出。在使用Lorenz-63和40变量Lorenz-96动力系统进行的实验中，对所提出的技术进行了评估，并取得了良好的性能，这些动力系统旨在代表数据同化中的一些常见场景，例如非线性、混乱性和模型误设定。
2020-03-04 stat.CO
Analog ensemble data assimilation and a method for constructing analogs with variational autoencoders
University of Colorado, Boulder（科罗拉多大学博尔德分校）
建议使用预测平均值的类似物来生成用于集合最优插值（EnOI）或集合变分（EnVar）方法的扰动集合。提出了一种使用变分自编码器（VAE;一种机器学习方法）构建模拟的新方法。使用来自目录的类似物（AnEnOI）和使用构建的类似物（cAnEnOI）的所得模拟方法在多尺度Lorenz-96模型的背景下进行测试，其中标准EnOI和系综平方根滤波器用于比较。使用类似物从一个中等大小的目录显示，以提高EnOI的性能，有限的边际改善所造成的增加目录大小。使用构造的模拟（cAnEnOI）的方法被发现执行以及一个完整的合奏平方根滤波器，并在很宽的范围内的调谐参数是强大的。
2020-06-01 cs.LG physics.comp-ph stat.CO
Two Localization Strategies for Sequential MCMC Data Assimilation with Applications to Nonlinear Non-Gaussian Geophysical Models
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Florida State University（佛罗里达州立大学）
本文提出两种基于SMCMC的局部数据同化策略，用于高维非线性非高斯地质模型，通过空间稀疏性减少自由度并提高效率，适用于处理重尾误差的高斯和非高斯观测噪声。
2026-10-06 stat.AP stat.CO stat.ME
Continuous Hyper-parameter OPtimization (CHOP) in an ensemble Kalman filter
实际的数据同化算法通常包含超参数，这可能是由于例如使用某些辅助技术（如集合卡尔曼滤波器中的协方差膨胀和局部化）、某些量（如模型和/或观测误差协方差阵）的重新参数化等而产生的。以及将超参数引入同化算法的方法的丰富性，人们可能会问是否有可能开发一种合理且通用的方法来有效地选择各种类型的（有时是高维的）超参数。这项工作的目的是探索一个可行的，虽然可能是部分的，这个问题的答案。我们的主要思想是建立在这样的概念上的，即具有超参数的数据同化算法可以被认为是连接一组感兴趣的量（例如，模型状态变量和/或参数）与观测空间中的预测观测的对应集合相关联。因此，超参数的选择可以被改写为一个参数估计问题，其中我们的目标是调整超参数，以这样一种方式，所得到的预测观测值可以在很好的程度上匹配真实观测值。从这个角度来看，我们提出了一个超参数估计工作流程，并研究了该工作流程在集合卡尔曼滤波器中的性能。在一系列的实验中，我们观察到，所提出的工作流有效地工作，即使在存在相对大量的（高达$10^3$）的超参数，并在各种条件下表现出相当好的和一致的性能。
2022-06-07 math.OC nlin.CD physics.data-an
Massively Parallel Implicit Equal-Weights Particle Filter for Ocean Drift Trajectory Forecasting
预测海洋漂移轨迹对于许多应用都很重要，包括搜索和救援行动、溢油清理和冰山风险缓解。在操作环境中，漂移轨迹的预测是根据三维洋流的计算需求预测产生的。在这里，我们研究了一个补充的方法，为更短的时间尺度，通过使用最近的国家的最先进的隐式等权重粒子滤波器应用到一个简化的海洋模型。为了实现这一目标，我们提出了一种新的算法设计的数据同化系统中的所有组件-包括模型，模型误差，和粒子滤波器-利用大规模并行计算架构，如图形处理单元。更快的计算可以使现场和特设模型运行的应急管理，更大的合奏更好的不确定性量化。使用一个具有挑战性的测试案例与接近现实的混沌不稳定性，我们运行数据同化实验的基础上，从漂流和系泊浮标的合成观测，并分析漂移的轨迹预测。我们的研究结果表明，即使是稀疏的漂移观测也足以显着改善短期漂移预测长达12小时。等距系泊浮标观测只有0.1%的状态空间，合奏后的数据同化，高质量的概率预报的真实状态的准确描述。
2019-10-02 physics.ao-ph stat.CO
Stochastic Approximation for High-frequency Observations in Data Assimilation
随着高频传感器在许多生物和物理系统中的日益渗透，大量的观测结果为下游估计的更高统计准确性提供了机会，但它们的频率导致了数据同化任务中的大量计算问题。这些观测的高频率传统上是通过使用数据修改策略来处理的，例如累积、平均和采样。然而，这些数据修改策略将降低估计的质量，这对于许多系统来说可能是站不住脚的。因此，为了确保高质量的估计，我们采用随机逼近方法来解决数据同化中高频观测的独特挑战。因此，我们能够以避免上述计算问题并保持估计的统计准确性的方式产生利用所有观察结果的估计。
2020-11-05 math.OC stat.CO stat.ML
Machine Learning Techniques to Construct Patched Analog Ensembles for Data Assimilation
University of Colorado（科罗拉多大学）
[Grooms QJRMS，2020]中介绍了使用机器学习文献中的生成模型来创建用于数据同化方案的人工集合成员，作为构建的模拟集合最佳插值（cAnEnOI）。具体来说，我们研究了这种方法的机器学习组件的一般和变分自编码器，并结合了数据同化中的构造模拟和集合最优插值的思想。为了扩展cAnEnOI的可扩展性，用于数据同化复杂的动力学模型，我们建议使用修补方案将全球空间域划分为可消化的块。使用补丁使得训练生成模型成为可能，并且具有能够在生成步骤期间利用并行性的额外好处。测试这种新算法的一维玩具模型，我们发现，更大的补丁大小使它更难训练一个准确的生成模型（即模型的重建误差小），而相反的数据同化性能提高在更大的补丁大小。因此，存在最佳点，其中斑块大小足够大以实现良好的数据同化性能，但不太大以至于难以训练精确的生成模型。在我们的测试中，新的修补cAnEnOI方法优于原始（未修补）cAnEnOI，以及[Grooms QJRMS，2020]的总体平方根滤波器结果。
2021-02-27 cs.LG physics.comp-ph stat.CO
