What is the correct cost functional for variational data assimilation?
变分方法的资料同化，特别是弱约束四维变分（WC-4DVar），是重要的，在地球科学，但也在其他社区（通常在不同的名称）。成本函数和所得到的最优轨迹可以具有概率解释，例如通过将资料同化与最大后验概率（MAP）估计相联系。如果将未知轨迹建模为随机微分方程的解，这是特别可能的，天气预报和气候建模越来越多地采用这种方法。在这种情况下，MAP估计器（或“最可能的路径”的最小化Onsager-Machlup功能）。虽然这一事实是众所周知的，似乎有一些混乱的文献中，与能量（或“最小二乘”）功能有时被要求产生的最可能的path. First本文的目的是解决这种混乱，并表明，能量功能不，在一般情况下，提供最可能的path. Second的目的是讨论在实践中的影响。虽然上述结果属于随机模型在连续时间，他们确实有后果，在实践中，近似的离散时间计划。事实证明，使用近似值并计算其最可能的路径并不一定能很好地近似出最可能的路径。这表明，即使在离散时间，一个版本的Onsager-Machlup功能应使用，而不是能源功能，至少如果该解决方案被解释为MAP估计。
2018-04-17 physics.ao-ph
Learning Variational Data Assimilation Models and Solvers
IMT Atlantique（大西洋国立高等矿业电信学校）；UMR CNRS Lab-STICC（法国国家科学研究中心Lab-STICC联合实验室）；Ifremer（法国海洋开发研究院）；UMR CNRS LOPS（法国国家科学研究中心LOPS联合实验室）；INRIA Rennes（法国国家信息与自动化研究所雷恩中心）；UMR CNRS IRMAR（法国国家科学研究中心IRMAR联合实验室）；INPT-ENM（图卢兹国立高等气象学校）；UMR CNRS CNRM（法国国家科学研究中心CNRM联合实验室）；CERFACS（欧洲科学计算研究与高级培训中心）；UMR INSERM Latim（法国国家健康与医学研究院Latim联合实验室）
本文讨论变分资料同化从学习的角度来看。数据同化的目的是重建的时间演变的一些国家提供了一系列的观测，可能是噪音和不规则采样。使用嵌入在深度学习框架中的自动区分工具，我们引入了用于数据同化的端到端神经网络架构。它包括两个关键组成部分：一个变分模型和一个基于梯度的求解器都实现为神经网络。所提出的端到端学习架构的一个关键特征是，我们可以使用监督和非监督策略来训练NN模型。我们在Lorenz-63和Lorenz-96系统上的数值实验报告了显著的增益w.r.t.一个经典的基于梯度的最小化的变分成本的重建性能和优化复杂性。有趣的是，我们还表明，从真正的Lorenz-63和Lorenz-96 ODE表示发出的变分模型可能不会导致最佳的重建性能。我们相信，这些结果可能会开辟新的研究途径，在地球科学同化模型的规格。
2020-07-25 cs.LG physics.ao-ph physics.comp-ph
VAE-Var: Variational-Autoencoder-Enhanced Variational Assimilation
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出VAE-Var，一种利用变分自编码器建模非高斯背景误差的变分同化算法，在低维混沌系统上实验证明其精度优于传统变分方法。
2024-05-22 cs.AI cs.LG math.DS
On Variational Data Assimilation in Continuous Time
连续时间变分资料同化的重新审视。本文的核心技术部分来自于最优非线性控制理论。或者，调查的方法可以被认为是一个连续的时间概括什么是所谓的弱约束四维变分同化（WC-4DVAR）在地球科学。该技术允许同化轨迹的情况下，部分观测和模型误差的存在。几个数学方面的方法进行了研究。在计算上，它相当于解决一个两点边值问题。对于不完美的模型，小的动态误差（即轨迹服从模型动态）和小的观测误差（即轨迹密切跟随观测）之间的权衡进行了研究。对于（几乎）完美的模型，这种权衡在某种意义上是（几乎）微不足道的，但允许一些动态误差被证明即使在这种情况下也有积极的影响。所提出的形式主义是动态的性质，没有假设需要作出有关的存在（或不存在）的动态或观测噪声，更不用说对他们的统计。
2010-02-18 physics.ao-ph physics.data-an
Boundary conditions control for a Shallow-Water model
变分资料同化技术被用来估计邻近刚性边界的节点的插值算子和导数的最佳离散。本文讨论了方箱浅水模式中人工观测资料的同化和黑海模式中实际观测资料的同化。在这两个实验中，控制算子的离散化附近的刚性边界，可以使模型的解决方案更接近观测同化窗口和窗口以外。这种类型的控制还允许改进模型的气候变迁。
2012-12-13 math.OC physics.ao-ph
Variational Data Assimilation with a Learned Inverse Observation Operator
Google Research（谷歌研究院）；Technical University of Munich（慕尼黑工业大学）；Harvard University（哈佛大学）
变分资料同化对动力系统的初始状态进行优化，使其演化符合观测资料。物理模型随后可以演化到未来进行预测。这一原则是大规模预报应用的基石，如数值天气预报。因此，它在全球天气预报机构的当前业务系统中实施。然而，找到一个好的初始状态提出了一个困难的优化问题，部分原因是物理状态和它们相应的观测之间的不可逆关系。我们学习从观测数据到物理状态的映射，并展示如何使用它来提高可优化性。我们采用这种映射在两个方面：更好地初始化非凸优化问题，并重新制定的目标函数在更好的表现物理空间，而不是观察空间。对Lorenz96模型和二维湍流的实验结果表明，该方法可以显著提高混沌系统的预测质量。
2021-05-20 cs.LG physics.ao-ph
Coupled multiscale paleoclimate reconstruction with four-dimensional variational data assimilation
University of Washington（华盛顿大学）；University of Southern California（南加州大学）
本文提出新的数据同化框架LMR4D-Var，整合异质古气候信息重建气候轨迹，经验证其技能优于此前方法，可同化多尺度记录并支持更久远时间的古气候应用。
2026-09-11 nlin.CD physics.ao-ph physics.data-an
Variational Downscaling, Fusion and Assimilation of Hydrometeorological States via Regularized Estimation
在过去的几十年里，在噪声环境中，通过下采样观测和背景模式预报来改进水文气象状态的估计一直是越来越多的研究课题。在这里，我们介绍了一个统一的框架，将降尺度，数据融合和数据同化的问题作为不适定的逆问题联系在一起。这个框架寻求解决方案，超越了经典的最小二乘估计范式，通过施加适当的正则化，这是符合程度的平滑性和概率结构的基本状态的约束。我们回顾相关的正规化方法在衍生空间和扩展的经典配方，特别强调水文和大气的应用，上述问题。根据感兴趣的状态变量的统计特征，本文的主要结果表明，适当的正则化可以更准确和稳定地恢复真实状态，从而更巧妙地进行预测。特别是，在导数空间中使用Tikhonov和Huber正则化，所提出的框架的承诺表现在静态降尺度和合成多传感器降水数据的融合，而数据同化数值实验中使用的热方程在变分设置。
2012-10-02 math-ph math.MP physics.ao-ph
Accounting for model error in ensemble variational data assimilation through learned generative dynamics
CEREA, ENPC, EDF R&D, Institut Polytechnique de Paris（CEREA，巴黎高等路桥学院，法国电力集团研发部，巴黎理工学院）
该研究提出生成式迭代集合卡尔曼滤波（IEnKF-G），将学习到的生成动力学与集合变分数据同化结合，在含显著模型误差的地球物理模型测试中，其精度优于IEnKF-Q等基准方法。
2026-10-14 cs.LG physics.ao-ph stat.ML
FengWu-4DVar: Coupling the Data-driven Weather Forecasting Model with 4D Variational Assimilation
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本研究将AI天气预报模型FengWu与四维变分同化耦合，开发出循环预报系统FengWu-4DVar，无需物理模型和传统伴随模型，就能融合观测数据生成准确分析场，实现高效迭代预报。
2024-05-19 cs.AI cs.LG physics.ao-ph
Deterministic treatment of model error in geophysical data assimilation
本章介绍了一种新的方法来处理地球物理资料同化中的模型误差。在该方法中，模型误差被视为在时间上完全相关的确定性过程。这允许推导的演变方程的相关时刻的模型误差统计所需的资料同化程序，以及适用于大型数值模型典型的环境科学的近似。在这篇文章中，我们首先推导出一般情况下的模型误差动力学方程，然后推导出参数误差的特殊情况。我们展示了如何将这种确定性的模型误差的描述，可以在顺序和变分资料同化程序。使用低阶动力系统，原型的大气环流，和一个现实的土壤模型与标准方法的数值比较。确定性的方法被证明是非常有竞争力的，只有轻微的额外的计算成本。最重要的是，它提供了一种新的方式来解决的问题，占模式误差的资料同化，可以很容易地在系统中的日益复杂的背景下，在现代的合奏程序。
2015-11-10 physics.ao-ph
AI-based data assimilation: Learning the functional of analysis estimation
本文提出了一种名为AI-Var的新型基于AI的变分数据同化方法，通过深度学习将DA过程直接集成到神经网络中以最小化代价函数，无需依赖现有分析数据集，实验证明其能高效同化观测数据并为NWP提供准确初始条件，显著提升计算效率。
2024-06-01 physics.ao-ph
XiChen: A global weather observation-to-forecast machine learning system via four-dimensional variational gradient-guided flexible assimilation
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
XiChen通过四维变分梯度引导的灵活同化，实现全球天气观测到预报的机器学习系统，具备物理一致性与鲁棒性。
2026-02-08 cs.AI cs.LG physics.ao-ph
Long-window tandem variational data assimilation methods for chaotic climate models tested with the Lorenz 63 system
针对无伴随模型的混沌气候模型参数估计问题，提出长窗口串联变分数据同化方法，通过利用其他ESM的伴随模型、DSPE稳定切线性系统及双模型同步，实现长窗口参数估计，节省计算资源且精度提升显著。
2025-04-17 nlin.CD physics.ao-ph
Quantum Approximate Optimization Algorithm and Quantum-enhanced Markov Chain Monte Carlo: A Hybrid Approach to Data Assimilation in 4DVAR
提出混合量子-经典框架QVPF，结合QAOA与QMCMC优化变分粒子滤波器，以解决4DVAR在高维非线性系统中的计算挑战，显著提升数据同化的准确性与效率。
2025-04-28 math.OC physics.ao-ph quant-ph
An Ensemble Kalman-Particle Predictor-Corrector Filter for Non-Gaussian Data Assimilation
一个Enkalman滤波器（EnKF，预测器）被用来在状态中做出一个大的变化，其次是一个粒子滤波器（PF，校正器），它分配的重要性权重来描述非高斯分布。权重由非参数密度估计得到。几个数值例子表明，新的预测校正滤波器结合了EnKF和PF的优点，它是适合于高维状态的偏微分方程的解的离散化。
2009-02-13 physics.ao-ph stat.CO stat.ME
1D+4D-VAR data assimilation of lightning with WRFDA system using nonlinear observation operators
本文讨论了在两种情况下的恶劣天气同化数据从地球网络总闪电网络（ENTLN）的影响。来自ENTLN的数据可以替代即将推出的GOES Lightning Mapper（GLM）。我们使用天气研究和预报（WRF）模式和变分同化技术在9公里的空间分辨率。主要目标是研究未来GLM观测闪电的潜在影响。以前的努力同化闪电观测主要利用轻推的方法。我们开发了三种更复杂的方法，3D-VAR WRFDA和1D+nD-VAR（n= 3，4）WRFDA计划，目前正在考虑由国家环境预测中心（NCEP）和海军研究实验室（NRL）的业务实施。本研究使用对流可用位能（CAPE）作为闪电数据和模型变量之间的代理。为了测试上述方案的性能，我们评估的结果分析和预测的降水相比，从控制实验和验证他们对NCEP第IV阶段降水的质量。结果表明，同化闪电观测改善降水统计同化窗口期间和3-7小时后。1D+4D-VAR方法表现最好，在两种情况下，在同化窗口期间，与对照相比，降水均方根误差显著改善了25%和27.5%。这一发现证实了变分nD-VAR（n= 3，4）同化的闪电观测，提高了湿度分析和预报的准确性。最后，我们简要讨论了固有的局限性，在目前的闪电同化计划，其影响，以及可能的方法来改善它们。
2013-06-08 math.OC physics.ao-ph
Surrogate-based variational data assimilation for tidal modelling
EDF R&D（法国电力集团研发中心）；European Center for Research and Advanced Training in Scientific Computation (CERFACS)（欧洲科学计算高级研究与培训中心）；French National Research Center (CNRS)（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Saint-Venant Laboratory for Hydraulics (LHSV)（圣维南水力学实验室）
数据同化（DA）被广泛用于将物理知识和观测相结合。它是目前地球科学中常用的参数标定方法。在气候变化的背景下，旧的校准不一定适用于新的情景。这就提出了DA计算成本的问题，因为昂贵的基于物理的数值模型需要重新分析。因此，减少和metamodelling代表有趣的观点，例如在最近的贡献提出的集成和变分方法之间的杂交，结合他们的优势（效率，非线性框架）。然而，它们通常基于蒙特卡罗（MC）类型的采样，这通常需要相当大地增加系综大小以获得更好的效率，因此在基于系综的方法中也表示计算负担。为了解决这些问题，提出了两种用代理模型代替复杂模型的方法：（1）PODEn 3DVAR直接从PODEn 4DVAR中得到启发，它依赖于一种基于集合的联合参数-状态本征正交分解（POD），它提供了一个线性元模型;（ii）POD-PCE-3DVAR，其中模型状态是POD简化的，然后使用多项式混沌扩展（PCE）学习，从而产生非线性元模型。这两个元模型都允许编写一个近似的成本函数，其最小值可以通过分析计算，或者通过梯度下降以可忽略的成本推导出来。此外，自适应元建模误差协方差阵给出了POD-PCE-3DVAR，允许大幅提高元模型为基础的DA分析。提出的方法面临的孪生实验，并比较经典的3DVAR的测量为基础的问题。结果是有希望的，特别是优越的POD-PCE-3DVAR，表现出良好的收敛到经典的3DVAR和鲁棒性噪声。
2021-06-08 cs.LG physics.ao-ph physics.flu-dyn
A continuous data assimilation closure for modeling statistically steady turbulence in large-eddy simulation
本文提出一种基于三维变分数据同化的大涡模拟闭合模型，通过反馈控制将未解析动力学表示为随机过程，以少量参数在粗模拟中准确重建地转湍流的能量谱与纬向速度剖面。
2024-07-01 physics.ao-ph physics.flu-dyn
PR-Smoother: Simulator-Preserving Non-Gaussian Smoothing for Data Assimilation
iTHEMS；RIKEN（理化学研究所）
提出PR-Smoother，一种保模拟器摊销平滑器，通过仅学习未来条件修正保持指定模拟器显式，实现非高斯后验平滑，并在Lorenz-96及Kolmogorov流中验证多模态捕获与高维扩展能力。
2026-09-29 cs.LG nlin.CD physics.ao-ph
Update hydrological states or meteorological forcings? Comparing data assimilation methods for differentiable hydrologic models
The Pennsylvania State University（宾夕法尼亚州立大学）
本研究比较了可微分水文模型的数据同化方法，开发了变分同化方案，通过同时调整降水和内部状态，将提前一天预报的NSE从0.75提升至0.82，且无需训练数据，适用于河网。
2025-02-23 cs.LG physics.ao-ph physics.flu-dyn
Data Assimilation with Machine Learning Surrogate Models: A Case Study with FourCastNet
The University of Chicago（芝加哥大学）
针对机器学习天气替代模型长期预测不准确的问题，本文将FourCastNet整合到变分数据同化框架中结合部分带噪观测，实证与理论证明其滤波估计可长期准确，为预测任务提供有效初始条件。
2025-02-10 cs.LG eess.SP nlin.CD
Sensitivity And Out-Of-Sample Error in Continuous Time Data Assimilation
本文通过识别数据同化对观测扰动的敏感性作为控制权衡的参数，建立敏感性与样本外误差的关系，并提出最小化样本外误差作为设置适当敏感性和解决权衡的标准。
2011-08-29 cs.SY eess.SY math.OC
A multi-model ensemble Kalman filter for data assimilation and forecasting
数据同化（DA）的目的是最佳地结合模式的预测和观测，都是部分和噪音。多模型DA推广了卡尔曼滤波器的变分形式或贝叶斯形式，并证明了它也是最小方差线性无偏无偏估计量。在这里，我们制定并实现了多模型集合卡尔曼滤波器（MM-EnKF）基于这个框架。MM-EnKF可以结合多个模型集成的DA和预测流量依赖的方式，它使用自适应模型误差估计提供矩阵值的权重为单独的模型和观察。为了说明的目的，我们使用Lorenz 96模型将这种方法应用于各种情况。我们的数值实验包括多个模型的参数误差，不同的解决尺度，和不同的qualitys。MM-EnKF的结果在显着的误差减少相比，最好的模型，以及一个未加权的多模型集成，相对于概率和确定性的误差度量。
2023-01-18 cs.SY eess.SY math.OC
