Data Assimilation and Sensitivity of the Black Sea Model to Parameters
为了估计模型参数对解的影响,将一种基于伴随的方法应用于浅水模式。在参数中,考虑了海底地形、初始条件、刚性边界上的边界条件、黏性系数和风应力张力的幅值。从不同的角度分析了它们的影响。两种配置进行了分析:在一个正方形的盒子和一个更现实的情况下,模拟黑海电流的模型的学术案例。在这两个实验中,刚性边界附近的边界条件的影响最多的解决方案。这一事实指出了在模型开发过程中确定最佳边界近似的必要性。
2011-12-19 math.OC physics.ao-ph
Data assimilation of dead fuel moisture observations from remote automated weather stations
可燃物含水量对野火的行为有着重要的影响,是火灾风险评估中的一个重要基础因素。我们提出了一种方法来同化死燃料水分含量观测从远程自动气象站(RAWS)到一个时滞燃料水分模型。RAWS在空间上很稀疏,需要一种机制来估计可能远离观测站的位置的燃料水分含量。这是安排使用趋势面模型(TSM),它使我们能够考虑到地形和大气状态对燃料水分含量的空间变异性的影响。在每个感兴趣的位置处,TSM提供伪观测,该伪观测通过卡尔曼滤波被同化。该方法进行了测试与时滞燃料水分模型在耦合天气火灾代码WRF-SFIRE 10小时燃料水分含量观测科罗拉多州RAWS在2013年。我们使用留一法测试的TSM相比,毫不逊色,在荒地火灾评估系统中使用的距离平方反比插值。最后,我们证明了资料同化方法是能够提高燃料水分含量估计在未观察到的燃料类。
2014-06-17 physics.ao-ph
What is the correct cost functional for variational data assimilation?
变分方法的资料同化,特别是弱约束四维变分(WC-4DVar),是重要的,在地球科学,但也在其他社区(通常在不同的名称)。成本函数和所得到的最优轨迹可以具有概率解释,例如通过将资料同化与最大后验概率(MAP)估计相联系。如果将未知轨迹建模为随机微分方程的解,这是特别可能的,天气预报和气候建模越来越多地采用这种方法。在这种情况下,MAP估计器(或“最可能的路径”的最小化Onsager-Machlup功能)。虽然这一事实是众所周知的,似乎有一些混乱的文献中,与能量(或“最小二乘”)功能有时被要求产生的最可能的path. First本文的目的是解决这种混乱,并表明,能量功能不,在一般情况下,提供最可能的path. Second的目的是讨论在实践中的影响。虽然上述结果属于随机模型在连续时间,他们确实有后果,在实践中,近似的离散时间计划。事实证明,使用近似值并计算其最可能的路径并不一定能很好地近似出最可能的路径。这表明,即使在离散时间,一个版本的Onsager-Machlup功能应使用,而不是能源功能,至少如果该解决方案被解释为MAP估计。
2018-04-17 physics.ao-ph
Learning Variational Data Assimilation Models and Solvers
IMT Atlantique(大西洋国立高等矿业电信学校);UMR CNRS Lab-STICC(法国国家科学研究中心Lab-STICC联合实验室);Ifremer(法国海洋开发研究院);UMR CNRS LOPS(法国国家科学研究中心LOPS联合实验室);INRIA Rennes(法国国家信息与自动化研究所雷恩中心);UMR CNRS IRMAR(法国国家科学研究中心IRMAR联合实验室);INPT-ENM(图卢兹国立高等气象学校);UMR CNRS CNRM(法国国家科学研究中心CNRM联合实验室);CERFACS(欧洲科学计算研究与高级培训中心);UMR INSERM Latim(法国国家健康与医学研究院Latim联合实验室)
本文讨论变分资料同化从学习的角度来看。数据同化的目的是重建的时间演变的一些国家提供了一系列的观测,可能是噪音和不规则采样。使用嵌入在深度学习框架中的自动区分工具,我们引入了用于数据同化的端到端神经网络架构。它包括两个关键组成部分:一个变分模型和一个基于梯度的求解器都实现为神经网络。所提出的端到端学习架构的一个关键特征是,我们可以使用监督和非监督策略来训练NN模型。我们在Lorenz-63和Lorenz-96系统上的数值实验报告了显著的增益w.r.t.一个经典的基于梯度的最小化的变分成本的重建性能和优化复杂性。有趣的是,我们还表明,从真正的Lorenz-63和Lorenz-96 ODE表示发出的变分模型可能不会导致最佳的重建性能。我们相信,这些结果可能会开辟新的研究途径,在地球科学同化模型的规格。
2020-07-25 cs.LG physics.ao-ph physics.comp-ph
VAE-Var: Variational-Autoencoder-Enhanced Variational Assimilation
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出VAE-Var,一种利用变分自编码器建模非高斯背景误差的变分同化算法,在低维混沌系统上实验证明其精度优于传统变分方法。
2024-05-22 cs.AI cs.LG math.DS
On Variational Data Assimilation in Continuous Time
连续时间变分资料同化的重新审视。本文的核心技术部分来自于最优非线性控制理论。或者,调查的方法可以被认为是一个连续的时间概括什么是所谓的弱约束四维变分同化(WC-4DVAR)在地球科学。该技术允许同化轨迹的情况下,部分观测和模型误差的存在。几个数学方面的方法进行了研究。在计算上,它相当于解决一个两点边值问题。对于不完美的模型,小的动态误差(即轨迹服从模型动态)和小的观测误差(即轨迹密切跟随观测)之间的权衡进行了研究。对于(几乎)完美的模型,这种权衡在某种意义上是(几乎)微不足道的,但允许一些动态误差被证明即使在这种情况下也有积极的影响。所提出的形式主义是动态的性质,没有假设需要作出有关的存在(或不存在)的动态或观测噪声,更不用说对他们的统计。
2010-02-18 physics.ao-ph physics.data-an
Variational Data Assimilation with a Learned Inverse Observation Operator
Google Research(谷歌研究院);Technical University of Munich(慕尼黑工业大学);Harvard University(哈佛大学)
变分资料同化对动力系统的初始状态进行优化,使其演化符合观测资料。物理模型随后可以演化到未来进行预测。这一原则是大规模预报应用的基石,如数值天气预报。因此,它在全球天气预报机构的当前业务系统中实施。然而,找到一个好的初始状态提出了一个困难的优化问题,部分原因是物理状态和它们相应的观测之间的不可逆关系。我们学习从观测数据到物理状态的映射,并展示如何使用它来提高可优化性。我们采用这种映射在两个方面:更好地初始化非凸优化问题,并重新制定的目标函数在更好的表现物理空间,而不是观察空间。对Lorenz96模型和二维湍流的实验结果表明,该方法可以显著提高混沌系统的预测质量。
2021-05-20 cs.LG physics.ao-ph
Coupled multiscale paleoclimate reconstruction with four-dimensional variational data assimilation
University of Washington(华盛顿大学);University of Southern California(南加州大学)
本文提出新的数据同化框架LMR4D-Var,整合异质古气候信息重建气候轨迹,经验证其技能优于此前方法,可同化多尺度记录并支持更久远时间的古气候应用。
2026-09-11 nlin.CD physics.ao-ph physics.data-an
Variational Downscaling, Fusion and Assimilation of Hydrometeorological States via Regularized Estimation
在过去的几十年里,在噪声环境中,通过下采样观测和背景模式预报来改进水文气象状态的估计一直是越来越多的研究课题。在这里,我们介绍了一个统一的框架,将降尺度,数据融合和数据同化的问题作为不适定的逆问题联系在一起。这个框架寻求解决方案,超越了经典的最小二乘估计范式,通过施加适当的正则化,这是符合程度的平滑性和概率结构的基本状态的约束。我们回顾相关的正规化方法在衍生空间和扩展的经典配方,特别强调水文和大气的应用,上述问题。根据感兴趣的状态变量的统计特征,本文的主要结果表明,适当的正则化可以更准确和稳定地恢复真实状态,从而更巧妙地进行预测。特别是,在导数空间中使用Tikhonov和Huber正则化,所提出的框架的承诺表现在静态降尺度和合成多传感器降水数据的融合,而数据同化数值实验中使用的热方程在变分设置。
2012-10-02 math-ph math.MP physics.ao-ph
Accounting for model error in ensemble variational data assimilation through learned generative dynamics
CEREA, ENPC, EDF R&D, Institut Polytechnique de Paris(CEREA,巴黎高等路桥学院,法国电力集团研发部,巴黎理工学院)
该研究提出生成式迭代集合卡尔曼滤波(IEnKF-G),将学习到的生成动力学与集合变分数据同化结合,在含显著模型误差的地球物理模型测试中,其精度优于IEnKF-Q等基准方法。
2026-10-14 cs.LG physics.ao-ph stat.ML
FengWu-4DVar: Coupling the Data-driven Weather Forecasting Model with 4D Variational Assimilation
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究将AI天气预报模型FengWu与四维变分同化耦合,开发出循环预报系统FengWu-4DVar,无需物理模型和传统伴随模型,就能融合观测数据生成准确分析场,实现高效迭代预报。
2024-05-19 cs.AI cs.LG physics.ao-ph
Deterministic treatment of model error in geophysical data assimilation
本章介绍了一种新的方法来处理地球物理资料同化中的模型误差。在该方法中,模型误差被视为在时间上完全相关的确定性过程。这允许推导的演变方程的相关时刻的模型误差统计所需的资料同化程序,以及适用于大型数值模型典型的环境科学的近似。在这篇文章中,我们首先推导出一般情况下的模型误差动力学方程,然后推导出参数误差的特殊情况。我们展示了如何将这种确定性的模型误差的描述,可以在顺序和变分资料同化程序。使用低阶动力系统,原型的大气环流,和一个现实的土壤模型与标准方法的数值比较。确定性的方法被证明是非常有竞争力的,只有轻微的额外的计算成本。最重要的是,它提供了一种新的方式来解决的问题,占模式误差的资料同化,可以很容易地在系统中的日益复杂的背景下,在现代的合奏程序。
2015-11-10 physics.ao-ph
AI-based data assimilation: Learning the functional of analysis estimation
本文提出了一种名为AI-Var的新型基于AI的变分数据同化方法,通过深度学习将DA过程直接集成到神经网络中以最小化代价函数,无需依赖现有分析数据集,实验证明其能高效同化观测数据并为NWP提供准确初始条件,显著提升计算效率。
2024-06-01 physics.ao-ph
XiChen: A global weather observation-to-forecast machine learning system via four-dimensional variational gradient-guided flexible assimilation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
XiChen通过四维变分梯度引导的灵活同化,实现全球天气观测到预报的机器学习系统,具备物理一致性与鲁棒性。
2026-02-08 cs.AI cs.LG physics.ao-ph
Long-window tandem variational data assimilation methods for chaotic climate models tested with the Lorenz 63 system
针对无伴随模型的混沌气候模型参数估计问题,提出长窗口串联变分数据同化方法,通过利用其他ESM的伴随模型、DSPE稳定切线性系统及双模型同步,实现长窗口参数估计,节省计算资源且精度提升显著。
2025-04-17 nlin.CD physics.ao-ph
Quantum Approximate Optimization Algorithm and Quantum-enhanced Markov Chain Monte Carlo: A Hybrid Approach to Data Assimilation in 4DVAR
提出混合量子-经典框架QVPF,结合QAOA与QMCMC优化变分粒子滤波器,以解决4DVAR在高维非线性系统中的计算挑战,显著提升数据同化的准确性与效率。
2025-04-28 math.OC physics.ao-ph quant-ph
1D+4D-VAR data assimilation of lightning with WRFDA system using nonlinear observation operators
本文讨论了在两种情况下的恶劣天气同化数据从地球网络总闪电网络(ENTLN)的影响。来自ENTLN的数据可以替代即将推出的GOES Lightning Mapper(GLM)。我们使用天气研究和预报(WRF)模式和变分同化技术在9公里的空间分辨率。主要目标是研究未来GLM观测闪电的潜在影响。以前的努力同化闪电观测主要利用轻推的方法。我们开发了三种更复杂的方法,3D-VAR WRFDA和1D+nD-VAR(n= 3,4)WRFDA计划,目前正在考虑由国家环境预测中心(NCEP)和海军研究实验室(NRL)的业务实施。本研究使用对流可用位能(CAPE)作为闪电数据和模型变量之间的代理。为了测试上述方案的性能,我们评估的结果分析和预测的降水相比,从控制实验和验证他们对NCEP第IV阶段降水的质量。结果表明,同化闪电观测改善降水统计同化窗口期间和3-7小时后。1D+4D-VAR方法表现最好,在两种情况下,在同化窗口期间,与对照相比,降水均方根误差显著改善了25%和27.5%。这一发现证实了变分nD-VAR(n= 3,4)同化的闪电观测,提高了湿度分析和预报的准确性。最后,我们简要讨论了固有的局限性,在目前的闪电同化计划,其影响,以及可能的方法来改善它们。
2013-06-08 math.OC physics.ao-ph
Surrogate-based variational data assimilation for tidal modelling
EDF R&D(法国电力集团研发中心);European Center for Research and Advanced Training in Scientific Computation (CERFACS)(欧洲科学计算高级研究与培训中心);French National Research Center (CNRS)(法国国家科学研究中心);Université de Toulouse(图卢兹大学);Saint-Venant Laboratory for Hydraulics (LHSV)(圣维南水力学实验室)
数据同化(DA)被广泛用于将物理知识和观测相结合。它是目前地球科学中常用的参数标定方法。在气候变化的背景下,旧的校准不一定适用于新的情景。这就提出了DA计算成本的问题,因为昂贵的基于物理的数值模型需要重新分析。因此,减少和metamodelling代表有趣的观点,例如在最近的贡献提出的集成和变分方法之间的杂交,结合他们的优势(效率,非线性框架)。然而,它们通常基于蒙特卡罗(MC)类型的采样,这通常需要相当大地增加系综大小以获得更好的效率,因此在基于系综的方法中也表示计算负担。为了解决这些问题,提出了两种用代理模型代替复杂模型的方法:(1)PODEn 3DVAR直接从PODEn 4DVAR中得到启发,它依赖于一种基于集合的联合参数-状态本征正交分解(POD),它提供了一个线性元模型;(ii)POD-PCE-3DVAR,其中模型状态是POD简化的,然后使用多项式混沌扩展(PCE)学习,从而产生非线性元模型。这两个元模型都允许编写一个近似的成本函数,其最小值可以通过分析计算,或者通过梯度下降以可忽略的成本推导出来。此外,自适应元建模误差协方差阵给出了POD-PCE-3DVAR,允许大幅提高元模型为基础的DA分析。提出的方法面临的孪生实验,并比较经典的3DVAR的测量为基础的问题。结果是有希望的,特别是优越的POD-PCE-3DVAR,表现出良好的收敛到经典的3DVAR和鲁棒性噪声。
2021-06-08 cs.LG physics.ao-ph physics.flu-dyn
A continuous data assimilation closure for modeling statistically steady turbulence in large-eddy simulation
本文提出一种基于三维变分数据同化的大涡模拟闭合模型,通过反馈控制将未解析动力学表示为随机过程,以少量参数在粗模拟中准确重建地转湍流的能量谱与纬向速度剖面。
2024-07-01 physics.ao-ph physics.flu-dyn
Boundary conditions control for a Shallow-Water model
变分资料同化技术被用来估计邻近刚性边界的节点的插值算子和导数的最佳离散。本文讨论了方箱浅水模式中人工观测资料的同化和黑海模式中实际观测资料的同化。在这两个实验中,控制算子的离散化附近的刚性边界,可以使模型的解决方案更接近观测同化窗口和窗口以外。这种类型的控制还允许改进模型的气候变迁。
2012-12-13 math.OC physics.ao-ph
PR-Smoother: Simulator-Preserving Non-Gaussian Smoothing for Data Assimilation
iTHEMS;RIKEN(理化学研究所)
提出PR-Smoother,一种保模拟器摊销平滑器,通过仅学习未来条件修正保持指定模拟器显式,实现非高斯后验平滑,并在Lorenz-96及Kolmogorov流中验证多模态捕获与高维扩展能力。
2026-09-29 cs.LG nlin.CD physics.ao-ph
Update hydrological states or meteorological forcings? Comparing data assimilation methods for differentiable hydrologic models
The Pennsylvania State University(宾夕法尼亚州立大学)
本研究比较了可微分水文模型的数据同化方法,开发了变分同化方案,通过同时调整降水和内部状态,将提前一天预报的NSE从0.75提升至0.82,且无需训练数据,适用于河网。
2025-02-23 cs.LG physics.ao-ph physics.flu-dyn
A unified neural background-error covariance model for midlatitude and tropical atmospheric data assimilation
University of Ljubljana(卢布尔雅那大学);European Centre for Medium-range Weather Forecasts(欧洲中期天气预报中心)
本文提出了一种统一的神经网络模型,用于在中纬度和热带大气数据同化中估计背景误差协方差,通过降维潜在空间实现平衡的分析增量。
2026-01-19 physics.ao-ph
Data Assimilation with Machine Learning Surrogate Models: A Case Study with FourCastNet
The University of Chicago(芝加哥大学)
针对机器学习天气替代模型长期预测不准确的问题,本文将FourCastNet整合到变分数据同化框架中结合部分带噪观测,实证与理论证明其滤波估计可长期准确,为预测任务提供有效初始条件。
2025-02-10 cs.LG eess.SP nlin.CD
Sensitivity And Out-Of-Sample Error in Continuous Time Data Assimilation
本文通过识别数据同化对观测扰动的敏感性作为控制权衡的参数,建立敏感性与样本外误差的关系,并提出最小化样本外误差作为设置适当敏感性和解决权衡的标准。
2011-08-29 cs.SY eess.SY math.OC
Capability demonstration of a JEDI-based system for TEMPO assimilation: system description and evaluation
本文构建首个基于JEDI的TEMPO NO2同化系统,采用4DEnVar与EDA联合TROPOMI观测,评估显示其改善柱浓度与日变化模拟,但地面NO2影响存在平台差异。
2025-06-08 physics.ao-ph stat.AP
LO-SDA: Latent Optimization for Score-based Atmospheric Data Assimilation
LO-SDA提出一种结合变分自编码器和背景条件扩散模型的生成式数据同化方法,通过潜在优化确保观测一致性,在高维全球大气系统中超越传统方法。
2025-10-26 physics.ao-ph
A Neural-Network Model-Measurement-Based Observation Operator For Weather Radar Reflectivity Assimilation
University of Ljubljana(卢布尔雅那大学);European Centre for Medium-Range Weather Forecasts(欧洲中期天气预报中心)
提出一种神经网络观测算子,将模型状态变量映射为雷达反射率,在3DVar同化框架中有效降低反射率误差并改善对流带分析。
2026-09-30 physics.ao-ph
A multi-model ensemble Kalman filter for data assimilation and forecasting
数据同化(DA)的目的是最佳地结合模式的预测和观测,都是部分和噪音。多模型DA推广了卡尔曼滤波器的变分形式或贝叶斯形式,并证明了它也是最小方差线性无偏无偏估计量。在这里,我们制定并实现了多模型集合卡尔曼滤波器(MM-EnKF)基于这个框架。MM-EnKF可以结合多个模型集成的DA和预测流量依赖的方式,它使用自适应模型误差估计提供矩阵值的权重为单独的模型和观察。为了说明的目的,我们使用Lorenz 96模型将这种方法应用于各种情况。我们的数值实验包括多个模型的参数误差,不同的解决尺度,和不同的qualitys。MM-EnKF的结果在显着的误差减少相比,最好的模型,以及一个未加权的多模型集成,相对于概率和确定性的误差度量。
2023-01-18 cs.SY eess.SY math.OC
U-Net Kalman Filter (UNetKF): An Example of Machine Learning-assisted Ensemble Data Assimilation
University Cooperation of Atmospheric Research(大学大气研究合作组织);National Oceanic and Atmospheric Administration/Geophysical Fluid Dynamics Laboratory(美国国家海洋和大气管理局/地球物理流体动力学实验室);Princeton University(普林斯顿大学)
本文提出UNetKF,利用U-Net预测局地集合协方差以改进EnKF,在准地转模型上训练并验证,性能匹配或超越传统3DVar、En3DVar和EnKF,且可迁移至高分辨率模型。
2024-03-19 cs.LG physics.ao-ph
Benchmarking AI-based data assimilation to advance data-driven global weather forecasting
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出DABench基准测试,用于评估AI基于的数据同化方法,展示其在提升全球天气预报准确性方面的竞争力。
2026-02-16 cs.CV cs.LG physics.ao-ph
Exploring the Use of Machine Learning Weather Models in Data Assimilation
NOAA/NCEP/EMC(美国国家海洋和大气管理局/国家环境预报中心/环境模式中心)
本研究评估了GraphCast和NeuralGCM的切线性与伴随模型在资料同化中的适用性,发现其伴随结果虽与MPAS-A有相似性但存在非物理噪声,揭示了ML气象模型集成到业务DA系统前需解决的关键问题。
2024-11-22 cs.LG physics.ao-ph
Generating Unseen Nonlinear Evolution in Sea Surface Temperature Using a Deep Learning-Based Latent Space Data Assimilation Framework
Tianjin University(天津大学);Minjiang University(闽江学院)
本文提出纯数据驱动的潜空间数据同化框架DeepDA,利用生成式AI捕捉海表温度非线性演变,在观测缺失时保持稳定且具可解释性。
2024-12-18 cs.AI cs.CV cs.LG
Towards the use of conservative thermodynamic variables in data assimilation: a case study using ground-based microwave radiometer measurements
本研究旨在将两个保守的热力学变量(大气熵位温和总水含量)引入一维变分资料同化系统(1D-Var)中,以展示其对未来业务同化方案的益处。该系统是评估使用微波亮温从地面辐射计安装在现场活动SOFOG 3D致力于雾预报改进。一个基本的目标是方便的背景误差协方差矩阵,高度依赖于天气条件时,使用经典变量的规格,很难在雾条件下的云和热力学特性的最佳检索。因此,这些新的保守变量的背景误差协方差矩阵计算的集合方法的基础上,法国对流尺度模型AROME,全天候和雾的条件。第一个结果表明,使用这些矩阵的新变量减少了一些依赖性的气象条件(昼夜周期,存在或不云)相比,通常的变量(温度,比湿度)。然后,两个1D-Var实验(经典与保守变量)进行了评估,在一个完整的昼夜循环的特点是一个层演变的辐射雾的情况下,使用每小时的亮温。结果表明,正如预期的那样,分析的亮温的1D-Var比背景值的两个变量的选择更接近观测值。对于对水蒸气和液态水敏感的通道尤其如此。另一方面,模型空间(水蒸气、液态水)中的分析增量显示两组变量之间存在显著差异。
2022-01-31 physics.ao-ph physics.data-an physics.geo-ph