A remark on Domain Decomposition approaches solving Three Dimensional Variational Data Assimilation models
Department of Mathematics and Applications, University of Naples Federico II(那不勒斯费德里科二世大学数学与应用系)
本文研究了三维变分数据同化问题的域分解方法,分析了两种域分解方法的等价性,提出了使用Tikhonov正则化变分公式来解决大规模不适定逆问题的方法。
2018-07-18 cs.NA math.NA
A scalable space-time domain decomposition approach for solving large-scale nonlinear regularized inverse ill-posed problems in 4D variational data assimilation
我们开发创新的算法,解决强约束的四维变分资料同化在大规模应用。我们提出了一种时空分解方法,采用区域分解沿空间和时间方向的重叠的情况下,涉及分区的解决方案和运营商。从定义在整个域上的全局泛函出发,我们得到了一种正则化的局部泛函的子域集,提供了预测和数据同化模型的降阶。我们分析了算法的收敛性和它的性能方面的时间复杂度和算法的可扩展性降低。根据汉堡大学提供的海洋综合/再分析目录中的设置,对球面上的浅水方程进行了数值试验。
2022-04-11 cs.NA math.NA
New bounds on the condition number of the Hessian of the preconditioned variational data assimilation problem
数据同化算法将先验信息和观测信息相结合,并通过各自的不确定性进行加权,以获得动力系统的最可能后验。在变分资料同化中,后验是通过求解非线性最小二乘问题来计算的。许多数值天气预报(NWP)中心使用全观测误差协方差(OEC)加权矩阵,这可能会减慢数据同化过程的收敛速度。以前的工作揭示了OEC矩阵的最小特征值的调节和非预处理的数据同化问题的收敛的重要性。在本文中,我们研究使用相关的OEC矩阵的预处理数据同化问题的第一次。我们考虑的情况下,有更多的状态变量比观察,这是典型的应用稀疏测量,如数值预报和遥感。我们发现,类似于未预处理的问题,OEC矩阵的最小特征值出现在新的界限上的条件数的Hessian的预处理目标函数。数值实验表明,当背景和观测尺度相等时,Hessian的条件数最小。这与未预处理的情况相反,在未预处理的情况下,减小观测误差长度尺度总是改善条件。共轭梯度实验表明,在这个框架中的条件数的海森是一个很好的代理收敛。特征值聚类解释了收敛比预期快的情况。
2021-05-21 cs.NA math.NA
From Variational Optimization to Flow-Based Transport: Posterior-Geometry Regularization for Ill-Conditioned Data Assimilation
Oak Ridge National Laboratory(橡树岭国家实验室);Florida State University(佛罗里达州立大学);Colorado State University(科罗拉多州立大学)
本研究提出基于流的输运方法替代变分优化进行数据同化,通过逐步正则化中间分布的协方差和曲率缓解病态后验几何,数值测试显示其在高维病态问题上更鲁棒且计算成本更低。
2026-09-24 cs.NA math.NA
Variational data assimilation for the wave equation in heterogeneous media: Numerical investigation of stability
University College London(伦敦大学学院);Inria Project-Team Makutu, Université de Pau et des Pays de l’Adour(法国国家信息与自动化研究所 Makutu 项目组,波城与阿杜尔地区大学);Institute for Numerical and Applied Mathematics, University of Göttingen(哥廷根大学数值与应用数学研究所)
本文研究了在异质介质中波动方程的变分数据同化问题,探讨了介质不连续性对稳定性及计算需求的影响。
2026-01-13 cs.NA math.NA
Spectral estimates for saddle point matrices arising in weak constraint four-dimensional variational data assimilation
我们考虑大稀疏对称线性系方程的弱约束四维变分资料同化,数值天气预报的高兴趣的方法的解决方案中出现的。这些系统可以被写为具有3 × 3块结构的鞍点系统,但是可以执行块消去以将它们减少到具有2 × 2块结构的鞍点系统,或者进一步减少到对称正定系统。在本文中,我们分析如何敏感的频谱这些矩阵的观测数量的基础动力系统。我们还得到了矩阵的特征值的界。数值实验证实了理论分析和边界。
2020-05-14 cs.NA math.DS math.NA
Impact of correlated observation errors on the convergence of the conjugate gradient algorithm in variational data assimilation
一类重要的非线性加权最小二乘问题产生于大气和海洋模式中观测值的同化。在变分资料同化中,逆误差协方差阵定义了最小二乘问题的加权矩阵。对于观测误差,对角矩阵(即,不相关的误差)通常是为了简化而假设的,即使当观测误差被怀疑是相关的时。虽然考虑观测误差相关性应提高解的质量,但它也影响用于求解的最小化算法的收敛速度。如果在达到完全收敛之前停止最小化过程,这在操作应用中通常是这种情况,则即使正确地考虑了观测误差相关性,解也可能降级。本文研究了观测误差相关阵(R)对一维变分资料同化(1D-Var)问题的预条件共轭梯度(PCG)算法的收敛速度的影响。我们设计理想化的一维无功系统,以包括在更复杂的系统中使用的两个关键特征:我们使用背景误差协方差阵(B)作为预处理器(B-PCG);我们使用扩散算子来模拟B和R中的空间相关性。一维变分系统的分析和数值结果表明,B-PCG的收敛速度对基于扩散的相关模型的参数具有很强的敏感性。根据参数的选择,相关观测误差可以加速或减慢收敛。在实践中,在B和R的参数规范中可能需要在一方面保持接近最佳可用估计和另一方面确保最小化算法的足够收敛速度之间进行折衷。
2022-12-05 cs.NA math.NA
A note on preconditioning weighted linear least squares, with consequences for weakly-constrained variational data assimilation
Université de Toulouse, INP, IRIT(图卢兹大学,国立理工学院,IRIT);CERFACS(欧洲中尺度气象应用研究中心);NAXYS, University of Namur(纳穆尔大学 NAXYS 实验室)
本文分析了使用模型矩阵近似进行线性加权最小二乘预条件化的影响,探讨了模型和加权矩阵的特征结构之间的相互作用,并通过一个小例子说明此类预条件器可能的低效性,最后讨论了这些结果在弱约束4D-Var数据同化问题中的影响。
2017-09-26 cs.NA math.NA math.OC
A Derivative-Free Trust Region Framework for Variational Data Assimilation
Virginia Polytechnic Institute and State University(弗吉尼亚理工大学)
本文提出TR-4D-EnKF方法,结合信任区域框架与集合变分方法,通过低维优化提升数据同化效率和精度,实验验证其优于现有方法。
2015-02-01 cs.NA math.NA
Preserving Structure in Variational Data Assimilation of Hyperbolic Conservation Laws via Regularization
Dartmouth College(达特茅斯学院)
针对双曲守恒律变分数据同化中高斯平滑破坏间断的问题,提出基于稀疏促进残差变换的正则化项,结合广义稀疏贝叶斯学习,在三维变分框架下解决非凸目标,实验表明比全变分更准确解析间断。
2026-09-11 cs.NA math.NA
Second order adjoint sensitivity analysis in variational data assimilation for tsunami models
我们从数学上推导出海啸建模的数据同化结果的灵敏度,在观测运营商的扰动。我们考虑一维浅水方程变分数据同化方案的结果,用于(i)初始条件重建,以及(ii)Kevlahan等人提出的测深检测。(2019,2020)。我们使用变分方法推导出一个费用函数J的Hessian,它表示预测解和观测值之间的误差。使用Shutyaev等人(2017,2018)概述的这种Hessian表示和方法,我们分别在数学上推导出任意响应函数对情况(i)和(ii)的观测扰动的灵敏度。这种分析可能证实了早期工作的结果,收敛的充分条件,以及传播的表面波对水深重建误差的敏感性。这种灵敏度分析将说明观测网络的特定元素是否比其他元素更关键,并有助于最大限度地减少观测收集的额外成本和预测模型的效率。
2020-03-15 cs.NA math.FA math.NA
Numerical Linear Algebra in Data Assimilation
数据同化是一种将系统状态的观测(即真实世界数据)与该系统的模型输出相结合的方法,以改善对系统状态的估计,从而改善模型输出。该模型通常由离散的偏微分方程表示。资料同化问题可以表述为一个大规模的贝叶斯逆问题。基于这一解释,我们将得出最重要的变分和序列数据同化方法,特别是三维和四维变分数据同化(3D-Var和4D-Var)和卡尔曼滤波。然后,我们将考虑更先进的方法,这是卡尔曼滤波和变分数据同化的扩展,并特别注意它们的优点和缺点。数据同化问题通常会导致一个非常大的优化问题和/或一个非常大的线性系来解决(由于包括时间和空间维度)。因此,本文的第二部分旨在回顾各种数据同化方法的进展和挑战,特别是从数值线性代数的角度。
2020-05-14 cs.NA math.NA stat.AP
POD/DEIM Reduced-Order Strategies for Efficient Four Dimensional Variational Data Assimilation
Virginia Polytechnic Institute and State University(弗吉尼亚理工大学);The Florida State University(佛罗里达州立大学)
本文研究了降阶建模方法以加速大规模非线性动力系统变分数据同化问题,提出基于POD和DEIM的降阶策略,通过伽辽金和皮尔洛-伽辽金投影构建降阶数据同化系统,验证了理论框架的有效性,提升了计算效率。
2015-04-23 cs.NA cs.SY eess.SY
A Reynolds-Semi-Robust, Globally Divergence-Free E-HDG/IMEX-SAV Method for Variational Initial-State Data Assimilation of the Navier-Stokes Equations
School of Mathematics, Sichuan University(四川大学数学学院)
本文提出一种E-HDG/IMEX-SAV方法,用于Navier-Stokes方程的变分初始状态数据同化,实现全局无散和Reynolds半稳健的误差估计,数值实验验证了其有效性和稳定性。
2026-09-16 cs.NA math.NA
A Hybrid Monte-Carlo Sampling Smoother for Four Dimensional Data Assimilation
Virginia Polytechnic Institute and State University(弗吉尼亚理工大学);Computational Science Laboratory(计算科学实验室)
本文提出一种基于集合的采样平滑器,用于四维数据同化,结合混合/汉密尔顿蒙特卡罗方法,有效采样初始时间的后验概率密度,适用于非高斯误差和非线性动力学。
2015-05-18 cs.NA math.NA stat.CO
Accelerating an ensemble of variational data assimilations with randomized preconditioning
CERFACS(欧洲研究与培训航空中心);CECI, Université de Toulouse, CERFACS/CNRS/IRD(图卢兹大学);Météo-France, CNRS, Univ. Toulouse, CNRM(法国气象局)
针对变分数据同化集合(EDA)求解线性方程组效率低的问题,提出利用随机低秩矩阵近似构造有限内存预处理器,通过利用右端项差异构造草图矩阵,有效加速所有集合成员的求解过程。
2026-10-16 cs.NA math.NA
Preserving Nonlinear Constraints in Variational Flow Filtering Data Assimilation
本文扩展 VFP 粒子流滤波框架,提出 VFPSTAB 与 VFPDAE 两种方法以非精确或精确保持非线性等式状态约束,并通过三类方程验证其效果。
2024-05-07 cs.CE cs.NA math.NA
Variational Data-Consistent Assimilation
本文提出基于数据一致反演理论的DC-4DVar和DC-WME 4D-Var方法,通过引入可预测性感知正则化项扩展经典4D-Var,在非线性部分观测系统中提高了估计精度与鲁棒性,并在基准实验中优于标准方法。
2025-11-03 cs.NA math.NA math.OC
On the use of the saddle formulation in weakly-constrained 4D-VAR data assimilation
Université de Toulouse, INP, IRIT(图卢兹大学,国立理工学院,IRIT);CERFACS(欧洲中尺度天气预报中心);NAXYS, University of Namur(南纳姆大学,NAXYS)
本文讨论了在数据同化中弱约束4D-VAR方法中使用鞍点变分公式在实际中的应用。研究表明,原始形式的方法由于生成的目标函数值缺乏单调性,可能导致结果异常或发散。随后提出了收敛且变分一致的算法变体,并将其性能与其他公式进行比较。该比较在两个数据同化实例(Burgers方程和准地转模型)中进行,使用了两种不同的并行计算环境假设。由于这些变体本质上保留了原始提案的并行化优势,因此它们通常但不总是表现最好,即使在中等数量的计算过程中。
2017-09-19 cs.NA math.NA math.OC
Bias and Multiscale Correction Methods for Variational State Estimation
针对观测偏差噪声影响数据同化性能的问题,提出结合偏差校正与流形分解的参数化背景数据弱形式变分状态估计方法,在多类数据实验中验证了有效性。
2024-11-04 cs.NA math.NA
A Structurally Informed Data Assimilation Approach for Nonlinear Partial Differential Equations
针对非线性偏微分方程中不连续状态变量导致ETKF数据同化因高斯假设产生偏差的问题,提出基于状态梯度二阶矩并结合聚类纳入不连续区域信息的结构感知非高斯先验方法,在浅水波方程上的表现优于含增强技术的ETKF。
2024-03-05 cs.NA math.NA
Accuracy controlled data assimilation for parabolic problems
本文关注的是恢复(近似)解决方案的抛物问题,从不完整的,可能不一致的观测数据,给出了一个时间-空间的圆柱,这是一个严格的子集的计算域正在考虑。与以前的方法,这个和相关的问题,我们的出发点是一个正则化的最小二乘制定在一个连续的无限维设置,是基于稳定的变分时空配方的抛物型偏微分方程。这使我们能够推导出先验以及后验误差界的恢复状态相对于某一参考解决方案。在这些界限中,正则化参数与底层离散化无关。推导后验界的一个重要组成部分是建设合适的福廷运营商,使我们能够控制振荡的双重规范的离散化所产生的错误。此外,变分框架允许我们设计的预条件的离散问题,其应用程序可以在线性时间内进行,并且其中的预条件系统的条件数是均匀成比例的正则化连续问题。特别是,我们提供了适当的停止准则的基础上的后验误差界的迭代求解器。所提出的数值实验量化的理论研究结果,并证明了性能的数值方案与底层的离散化和正则化。
2021-07-12 cs.NA math.NA
An Efficient and Statistically Accurate Lagrangian Data Assimilation Algorithm with Applications to Discrete Element Sea Ice Models
复杂非线性湍流的拉格朗日资料同化是一个重要但计算上具有挑战性的课题。在这篇文章中,一个有效的数据驱动的统计准确的降阶建模算法,显着加快拉格朗日资料同化的计算效率。该算法从高维流场的傅立叶变换开始,随后是有效的模型简化,仅保留与能量模式对应的傅立叶系数的一个小子集。然后,一个线性随机模型来近似每个傅立叶系数的非线性动力学。有效的加性和乘性噪声的过程被纳入表现出高斯和非高斯统计,分别模式的特征。降阶系统中的所有参数,包括乘性噪声系数,通过封闭的解析公式系统地确定。这些线性随机模型成功地预测了不确定性,并促进了极其快速的资料同化方案。新的拉格朗日资料同化,然后施加到观测的海冰浮冰的轨迹,由大气风和湍流洋流驱动。它示出,观察仅约$30$非相互作用的浮冰在$200$公里$\times200$公里域是足够的恢复的关键多尺度特征的洋流。附加的浮冰角位移观测被认为是对质心位置的适当补充,以提高资料同化技巧。此外,观测到的大、小浮冰分别更有助于恢复海洋的大、小尺度特征。傅立叶域资料同化也成功地恢复了云遮蔽地区的海洋特征。
2021-07-27 cs.NA math.NA physics.ao-ph
Data Assimilation Models for Computing Probability Distributions of Complex Multiscale Systems
本文提出一种数据同化模型,通过滤波更新整合观测数据以细化高阶统计反馈,从而用较小集合规模准确捕获复杂多尺度系统的非高斯概率分布,并在三合体系统中验证了其有效性。
2025-03-29 cs.NA math.NA nlin.CD
Ensemble Variational Fokker-Planck Methods for Data Assimilation
研究提出用于数据同用的变分Fokker-Planck(VFP)框架,通过依赖扩散项的最优漂移定义McKean-Vlasov-Ito过程,引入正则化与互信息惩罚避免粒子坍缩,并支持局部化以缓解维数灾难,在Lorenz等模型上验证了有效性。
2024-01-19 cs.CE cs.NA math.NA
Numerical Solution for Nonlinear 4D Variational Data Assimilation (4D-Var) via ADMM
针对经典4D-Var梯度算法对初始猜测敏感、易陷局部极小的问题,提出带正则化的线性化多块ADMM方法,通过推导全系统欧拉-拉格朗日方程提升观测数据利用率,在多类动力系统实验中验证了其鲁棒性与计算效率。
2024-10-06 cs.NA math.NA math.OC
Efficient computation of matrix-vector products with full observation weighting matrices in data assimilation
最近的研究表明,通过在数据同化系统中使用空间相关的观测误差协方差信息,数值天气预报的技能得到了提高。在这种情况下,同化中使用的观测加权矩阵(逆误差协方差阵)可以是全矩阵而不是对角矩阵。因此,变分最小化问题中的矩阵-向量积的计算可能非常耗时,特别是如果矩阵-向量积的并行计算需要处理元件之间的高度通信。因此,我们引入了一个著名的数值逼近方法,称为快速多极子方法(FMM),以加快数据同化中的矩阵向量乘法。我们探讨了一种特殊类型的FMM,使用奇异值分解(SVD-FMM),并调整它,以适应我们的新应用数据同化。与标准方法相比,SVD-FMM技术通过近似大部分矩阵-向量积的计算,大大降低了计算复杂性。我们开发了一种新的可能的并行化方案的SVD-FMM为我们的应用程序,它可以减少通信成本。我们调查的SVD-FMM技术在几个数值实验的准确性:我们首先使用协方差矩阵,使用不同的相关函数和lengthscales创建的准确性进行评估;然后调查的影响,重新调整的协方差阵的准确性;最后检查的可行性,该技术在存在缺失的观察。我们还对一些数值结果提供了理论解释。我们的研究结果表明,SVD-FMM技术有潜力作为一个有效的技术同化大量的观测数据在一个很短的时间间隔。
2021-09-05 cs.NA math.NA
Adjoint for advection schemes on the sphere in ICON model
Ivane Javakhishvili Tbilisi State University(伊万·贾瓦希什维利第比利斯国立大学);University of Cologne(科隆大学);Research Center Jülich(于利希研究中心)
本文提出了一种新的高效方法用于球面ICON模型中对流方案的伴随求解器开发,通过重用现有求解器代码减少开发时间,并在单调对流方程求解器中表现出无振荡和非物理负浓度的优势。
2018-06-15 cs.NA math.NA
Convergence properties of a Gauss-Newton data-assimilation method
本文针对四维弱约束变分数据同化,在高斯-牛顿迭代的观测失配项前引入关键参数,解析证明其在无噪声观测下保证收敛、在有界噪声下保证误差有界,并通过 Lorenz 63 和 Lorenz 96 模型数值实验验证了理论结果。
2023-04-12 cs.NA math.DS math.NA
Time-limited Balanced Truncation for Data Assimilation Problems
本文探讨了将平衡截断应用于线性高斯贝叶斯推断和4D-Var方法,提出限时平衡截断增强方法,支持不稳定系统平衡并改善短观测周期数值结果。
2023-08-24 cs.NA cs.SY eess.SY
Randomized Preconditioned Solvers for Strong Constraint 4D-Var Data Assimilation
针对强约束4D-Var数据同化中下降方向计算成本高的问题,提出三种基于随机化技术的可扩展预处理器,结合自适应策略,在两类模型问题上显著降低了PCG迭代和黑塞矩阵乘积次数。
2025-06-12 cs.NA math.NA
A Revised Scheme to Compute Horizontal Covariances in an Oceanographic 3D-VAR Assimilation System
Centro Euro-Mediterraneo sui Cambiamenti Climatici(欧洲-地中海气候变化中心);Department of Mathematics and Applications, University of Naples ”Federico II”(那不勒斯费德里科二世大学数学与应用系)
本文提出通过引入三阶精度递归滤波器替代一阶精度递归滤波器,改进海洋三维变分同化方案OceanVar,以提高水平高斯协方差的计算效率与精度,实验表明该方法在计算时间和协方差建模准确性上均具优势。
2014-04-23 cs.CE cs.DC cs.NA
Data assimilation for a quasi-geostrophic model with circulation-preserving stochastic transport noise
本文介绍了作者在发展高维流体动力学模式基于集合的数据同化方法的项目中的最新进展。这里提出的算法是一个粒子滤波器,结合了模型简化,回火,抖动和轻推。该方法进行了测试的两层准地转模式的$β$ -平面通道流与$O(10^6)$度的自由,其中只有一分钟的一小部分噪音观察。该模型通过遵循Holm(Proc Roy Soc A,2015)中引入的地球物理流体动力学的随机变分方法来简化,作为推导未分辨尺度的随机参数化的框架。减少是实质性的:计算仅针对$O(10^4)$自由度进行。我们引入了一个随机的时间步进计划的两层模型,并证明其在时间上的一致性。然后,我们分析了不同的程序(回火与抖动和轻推相结合)的数据同化过程中使用的降阶模型的性能的影响,以及观测数据的尺寸(“气象站”的数量)和数据同化步骤如何影响结果的准确性和不确定性。
2019-10-01 cs.NA math.NA physics.flu-dyn
Continuous Data Assimilation for the Navier-Stokes Equations with Nonlinear Slip Boundary Conditions
本文针对具有非线性滑移边界条件的纳维-斯托克斯方程,提出并分析了连续数据同化方法,证明其指数收敛性,并利用部分演化张量神经网络预测数据以降低计算成本,数值实验验证了方法的有效性。
2025-03-27 cs.NA math.NA
Projected Shadowing-based Data Assimilation
Centrum Wiskunde & Informatica(数学与计算机科学中心);Utrecht University(乌得勒支大学);Sandia National Laboratories(桑迪亚国家实验室);University of Kansas(堪萨斯大学)
本文提出基于计算时间依赖稳定/不稳定分裂的数据同化算法,结合阴影细化与同步技术,通过Lyapunov指数/向量计算投影非稳定子空间,扩展参数估计并适应观测不全的情况,利用 Lorenz 63 和 96 模型验证方法有效性。
2017-07-28 cs.NA math.DS math.NA
Adjoint-Matching Neural Network Surrogates for Fast 4D-Var Data Assimilation
Virginia Tech(弗吉尼亚理工大学);Oden Institute for Computational Engineering and Sciences, University of Texas at Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学研究所)
数据同化是将来自不完美的计算机模拟的信息与真实的噪声、稀疏测量融合,以获得感兴趣的动力系统的状态或参数的改进估计的过程。在许多地球科学应用中使用的数据同化程序,如数值天气预报,是四维变分(4D-Var)算法的变体。解决基础4D-Var优化问题的成本主要由重复的前向和伴随模型运行的成本决定。这促使用快速、近似的代理模型代替物理模型及其伴随模型的评估。神经网络为数据驱动的代理模型的创建提供了一种很有前途的方法。代理4D-Var解决方案的精度取决于每个代理捕获前向和伴随模型动态的精度。我们制定和分析了几种方法,将伴随信息到神经网络代理的建设。由此产生的网络进行测试看不见的数据,并在一个连续的数据同化问题,使用洛伦茨-63系统。使用伴随信息构建的代理表现出优越的性能的4D-Var数据同化问题相比,一个标准的神经网络代理,只使用前向动力学信息。
2022-12-20 cs.CE cs.LG cs.NA
Ensemble filter techniques for intermittent data assimilation - a survey
University of Potsdam(波茨坦大学);Imperial College London(伦敦帝国学院)
本文从数学角度介绍间歇性数据同化的滤波技术,综述了贝叶斯统计、马尔可夫过程以及基于集合变换滤波器的非线性数据同化最新进展。
2012-08-31 cs.NA math.DS math.NA