Incorporating Transformer and LSTM to Kalman Filter with EM algorithm for state estimation
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）
卡尔曼滤波器要求模型的真实参数，递归求解最优状态估计。期望最大化（EM）算法适用于估计卡尔曼滤波前无法估计的模型参数，即EM-KF算法。为了提高EM-KF算法的精度，提出了一种在seq 2seq（Encoder-Decoder in Sequence）框架下，将长短期记忆网络（LSTM）、Transformer和EM-KF算法相结合的状态估计方法。对线性移动机器人模型的仿真结果表明，该方法具有更高的精度。本文的源代码可在https://github.com/zshicode/Deep-Learning-Based-State-Estimation上获得。
2021-05-25 cs.LG
On-Line Learning of Linear Dynamical Systems: Exponential Forgetting in Kalman Filters
卡尔曼滤波是时间序列预测和分析的重要工具。我们表明，卡尔曼滤波器的预测对过去的依赖是指数衰减，每当过程噪声是非退化的。因此，卡尔曼滤波器可以通过对一些最近的观测进行回归来近似。令人惊讶的是，我们还表明，有一些过程噪声是必不可少的指数衰减。在没有过程噪声的情况下，可能会发生预测一致地依赖于所有过去的情况，这使得预测更加困难。基于这一见解，我们设计了一个在线算法的线性动力系统（LDS），它只考虑了一些最近的观察不正确的学习。我们使用我们的衰减结果，以提供第一遗憾界w.r.t.学习LDS中的卡尔曼滤波器。也就是说，我们比较我们的算法的结果，最好的，事后诸葛亮，卡尔曼滤波器为一个给定的信号。此外，该算法是实用的：其每次更新的运行时间是线性的回归深度。
2018-09-16 cs.AI cs.LG math.OC
Ensemble Kalman Variational Objectives: Nonlinear Latent Trajectory Inference with A Hybrid of Variational Inference and Ensemble Kalman Filter
Meiji University（明治大学）；Chuo University（中央大学）
变分推断（VI）结合贝叶斯非线性滤波产生潜在的时间序列建模的最先进的结果。最近的大量工作集中在序贯蒙特卡罗（SMC）及其变体上，例如，前向滤波后向模拟（FFBSi）。虽然这些研究取得了成功，严重的问题仍然存在于粒子退化和有偏梯度估计。在本文中，我们提出了Ensemble卡尔曼变分目标（EnKO），VI和集合卡尔曼滤波（EnKF）的混合方法，推断状态空间模型（SSM）。我们提出的方法可以有效地识别潜在的动态，因为它的粒子多样性和无偏梯度估计。我们证明了我们的EnKO优于SMC为基础的方法在预测能力和粒子效率的三个基准非线性系统识别任务。
2021-11-09 cs.LG stat.CO stat.ML
Kalman filter demystified: from intuition to probabilistic graphical model to real case in financial markets
A.I. SQUARE CONNECT；LAMSADE；Paris Dauphine University（巴黎多芬大学）；Université Paris Dauphine（巴黎多芬大学）
在本文中，我们重新审视卡尔曼滤波理论。在给出了一个简化的金融市场例子的直观性之后，我们重新审视了它背后的数学基础。然后，我们展示了卡尔曼滤波器可以用一种非常不同的方式来表示，使用图形模型。这使我们能够建立卡尔曼滤波器和隐马尔可夫模型之间的联系。然后，我们看看他们在金融市场的应用，并提供各种直观的复杂系统，如金融市场的适用性。虽然本文写得更像是一个自包含的工作，将卡尔曼滤波器连接到隐马尔可夫模型，因此重新访问了众所周知的和建立的结果，它包含了新的结果，并为该领域带来了额外的贡献。首先，利用卡尔曼滤波和隐马尔可夫模型之间的联系，给出了扩展卡尔曼滤波的新的推理算法。其次，由于使用了CMA-ES优化，它提出了一种替代传统的参数估计使用EM算法。第三，研究了卡尔曼滤波器及其隐马尔可夫模型在金融市场中的应用，提供了各种动态假设和测试。最后，我们将卡尔曼滤波方法与趋势跟踪技术分析系统相结合，展示了它们在趋势跟踪检测方面的优越性能。
2018-12-13 cs.LG q-fin.ST stat.ML
Learning the Kalman Filter with Fine-Grained Sample Complexity
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们开发了离散时间无限时域卡尔曼滤波中无模型策略梯度（PG）方法的第一个端到端样本复杂度。具体来说，我们介绍了滚动时域政策梯度（RHPG-KF）框架，并证明了$\tilde{\mathcal{O}}(ε^{-2})$样本复杂性RHPG-KF学习稳定的过滤器，是$ε$ -接近最优卡尔曼滤波器。值得注意的是，所提出的RHPG-KF框架不要求系统是开环稳定的，也不假设稳定滤波器的任何先验知识。我们的研究结果揭示了应用无模型PG方法来控制一个线性动力系统的状态测量可能会被破坏的统计噪声和其他（可能是敌对的）干扰。
2023-02-28 cs.AI cs.LG cs.SY
State estimation under non-Gaussian Levy noise: A modified Kalman filtering method
Huazhong University of Science and Technology（华中科技大学）；Illinois Institute of Technology（伊利诺伊理工学院）
卡尔曼滤波器广泛用于高斯噪声下线性系的状态估计。当存在非高斯Lévy噪声时，由于非高斯Lévy噪声可能具有无穷大方差的事实，常规卡尔曼滤波器可能失效。针对非高斯Lévy噪声下的线性系设计了一种改进的Kalman滤波器。它以合理的计算成本有效地工作。仿真结果说明了这种非高斯滤波方法。
2013-03-10 cs.IT cs.LG math.DS
Can a Transformer Represent a Kalman Filter?
Simons Institute, UC Berkeley（加州大学伯克利分校西蒙斯研究所）
该研究证明Transformer可强近似卡尔曼滤波器，构建了因果掩码Transformer Filter，基于自注意力表示Nadaraya-Watson核估计器的两步归约实现，还验证其可逼近LQG等最优控制策略性能。
2024-05-18 cs.LG stat.ML
Stochastic Formulation of Causal Digital Twin: Kalman Filter Algorithm
我们为不同类型的数字孪生提供了一些基本和合理的定义，并就何时以及如何使用它们提出了建议。跟进我们最近出版的学习因果数字孪生，本文报道了一个随机制定和解决问题。将用于因果关系估计的结构向量自回归模型（SVAR）转化为状态空间模型。卡尔曼滤波器（和平滑），然后估计因果关系的因素，在一个系统的连接机器轴承。之前的神经网络算法和卡尔曼平滑器产生了非常相似的结果;然而，卡尔曼滤波器/平滑器可能对来自工业物联网源的噪声数据表现出更好的性能。
2021-05-11 cs.LG cs.SY eess.SY
Data-Driven Discovery of Interpretable Kalman Filter Variants through Large Language Models and Genetic Programming
University of Reading（reading大学）；University of Cambridge（剑桥大学）
本文探讨通过遗传编程和大规模语言模型自动发现卡尔曼滤波变种的可能性，展示框架在不同条件下发现最优解及可解释替代方案的能力。
2025-08-25 cs.LG cs.NE
Auto-differentiable Ensemble Kalman Filters
University of Chicago（芝加哥大学）
数据同化是关于连续估计时间演变状态。这个任务，这在广泛的科学和工程应用中出现，是特别具有挑战性的状态时，是高维的状态空间动态是未知的。本文介绍了一个用于数据同化中动力系统学习的机器学习框架。我们的自微分集合卡尔曼滤波器（AD-EnKFs）将用于状态恢复的集合卡尔曼滤波器与用于学习动态的机器学习工具相结合。在这样做时，AD-EnKF利用集合卡尔曼滤波器缩放到高维状态的能力和自动微分的能力来训练动态的高维代理模型。使用Lorenz-96模型的数值结果表明，AD-EnKF优于使用期望最大化或粒子滤波器合并数据同化和机器学习的现有方法。此外，AD-EnKF易于实现，并且需要最少的调谐。
2021-07-19 cs.LG stat.CO stat.ML
Numerical Gaussian process Kalman filtering
KU Leuven（荷语鲁汶大学）
本文介绍了数值高斯过程卡尔曼滤波（GPKF）。数值高斯过程是近年来发展起来的一种模拟时空模型的方法。本文的贡献是将数值高斯过程嵌入到递归卡尔曼滤波方程中。这种嵌入使我们能够使用高斯过程对无限维系统进行卡尔曼滤波。这是可能的，因为i）我们从数值高斯过程获得线性模型，以及ii）该模型的状态根据定义是高斯分布的随机变量。数值GPKF的方便特性是不需要模型的空间离散化，并且不需要手动设置卡尔曼滤波器，即手动微调过程和测量噪声水平，因为它们是从数据流在线学习的。我们展示的能力的数值GPKF的平流方程的模拟研究。
2020-05-11 cs.LG eess.SP stat.CO
Slow Convergence of Interacting Kalman Filters in Word-of-Mouth Social Learning
Cornell University（康奈尔大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
研究口碑社交学习中 $m$ 个顺序运作的 Kalman filter 智能体的缓慢收敛问题，证明协方差随智能体数量呈指数级减慢，并提出人为加权先验以恢复最优学习率。
2024-10-11 cs.LG econ.TH eess.SP
A Simple Illustration of Interleaved Learning using Kalman Filter for Linear Least Squares
本文通过卡尔曼滤波的线性最小二乘框架，以简单统计和优化视角阐明机器学习中受生物启发的交错学习机制。
2023-09-22 cs.LG eess.SP q-bio.NC
[Re] The Discriminative Kalman Filter for Bayesian Filtering with Nonlinear and Non-Gaussian Observation Models
Rice University（莱斯大学）
本研究复现了Burkhart等人2020年提出的判别式卡尔曼滤波器的神经科学核心结果，提供了该MATLAB算法的开源Python替代版本，通过多随机种子和未用试次进一步验证了滤波器有效性。
2024-01-24 cs.LG cs.RO eess.SP
Neural Augmentation of Kalman Filter with Hypernetwork for Channel Tracking
Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司）；Qualcomm Technologies, Inc.（高通技术公司）；Qualcomm AI Research（高通人工智能研究院）
我们提出了超网络卡尔曼滤波器（HKF）跟踪应用程序具有多种不同的动态。HKF结合了卡尔曼滤波器的泛化能力和神经网络的表达能力。HKF不是保持一组卡尔曼滤波器并基于近似实际动态来选择一个，而是基于观察到的序列来使自身适应每个动态。通过对CDL-B信道模型的大量实验，我们证明了HKF可以在很宽的多普勒值范围内跟踪信道，使卡尔曼滤波器的性能与一般的多普勒信息相匹配。在高多普勒值下，它比genie卡尔曼滤波器获得约2dB的增益。与LSTM不同，HKF可以很好地推广到不可见的多普勒、SNR值和导频模式，而LSTM会遭受严重的性能下降。
2021-09-26 cs.IT cs.LG eess.SP
