[Re] The Discriminative Kalman Filter for Bayesian Filtering with Nonlinear and Non-Gaussian Observation Models
Rice University（莱斯大学）
本研究复现了Burkhart等人2020年提出的判别式卡尔曼滤波器的神经科学核心结果，提供了该MATLAB算法的开源Python替代版本，通过多随机种子和未用试次进一步验证了滤波器有效性。
2024-01-24 cs.LG cs.RO eess.SP
Convergence of the Square Root Ensemble Kalman Filter in the Large Ensemble Limit
Ensemble滤波器通过用集合均值和协方差表示概率分布来实现序贯贝叶斯估计。无偏平方根集合滤波器使用确定性算法产生具有规定均值和协方差的分析（后验）集合，与卡尔曼更新一致。这包括在实践中使用的几种滤波器，例如包络变换卡尔曼滤波器（ETKF），包络调整卡尔曼滤波器（EAKF）以及Whitaker和Hamill的滤波器。在线性模型和初始分布的所有矩都存在的情况下，我们证明了在每个时间指数处，当集合成员数增加到无穷大时，无偏集合平方根滤波器的均值和协方差收敛到Kalman滤波器的均值和协方差.收敛在$L^{p}$中，并且收敛速度不依赖于模型维数。这个结果在无限维希尔伯特空间中也成立。
2014-10-10 math.ST stat.TH
Kalman Filtering With Censored Measurements
本文研究了过程观测值被删失时的卡尔曼滤波问题。删失的测量值是由Tobit模型的I型，是一维的两个删失限制，而（隐藏的）状态向量是多维的。对于该模型，通过卡尔曼滤波类型的递归算法提供状态向量的贝叶斯估计。实验结果表明了该算法的有效性和实用性。实验结果表明，该方法优于其他过滤方法，在最大限度地减少计算成本，以及总的均方根误差（RMSE）的合成和真实的数据集。
2020-02-20 eess.SP stat.ME
Kalman filter with impulse noised outliers : A robust sequential algorithm to filter data with a large number of outliers
脉冲噪声异常值是指与其他观测值有显著差异的数据点，通常通过局部回归或卡尔曼滤波算法将其从数据集中去除，但当异常值的数量与低噪声数据的数量级相同时，这些方法或其推广并不适用.在这篇文章中，我们提出了一个新的模型，脉冲噪声离群值的基础上简单的潜在的线性高斯过程中的卡尔曼滤波器。本文提出了一种快速前向-后向算法对序列数据进行滤波和平滑，同时也检测出了这些异常值，并与经典算法进行了鲁棒性和效率的比较。最后，我们applythis方法对一个真正的数据集，从步行超过称重系统承认约60%的离群值。为此，我们进一步开发了一个（显式）期望最大化算法来校准一些算法参数。
2022-07-29 math.ST stat.ME stat.TH
Generalized Correntropy for Robust Adaptive Filtering
相关熵作为核空间中一种鲁棒的非线性相似性度量，在机器学习和信号处理领域受到越来越多的关注。特别是，最大相关熵准则（MCC）最近已成功地应用于鲁棒回归和滤波。相关熵中的默认核函数是高斯核，当然，这并不总是最佳选择。在这项工作中，我们提出了一个广义相关熵，采用广义高斯密度（GGD）函数作为内核（不一定是Mercer内核），并提出了一些重要的性质。本文进一步提出了广义最大相关熵准则（GMCC），并将其应用于自适应滤波。提出了一种自适应算法GMCC，并研究了其均方收敛性能。我们表明，该算法是非常稳定的，可以实现零发散概率（POD）。仿真结果证实了理论预期，并证明了新算法的理想性能。
2015-04-12 cs.IT math.IT stat.ML
Constrained Maximum Correntropy Adaptive Filtering
约束自适应滤波算法包括约束最小均方（CLMS）、约束仿射投影（CAP）和约束递归最小二乘（CRLS）等，在许多应用中得到了广泛的研究。现有的约束自适应滤波算法大多是在均方误差（MSE）准则下发展起来的，MSE准则是高斯噪声下的理想最优性准则。然而，该假设未能对实践中发现的非高斯噪声的行为进行建模。基于最大相关熵准则（MCC）在非高斯脉冲噪声中的鲁棒性和简单性，提出了一种新的自适应滤波算法-约束最大相关熵准则（CMCC）。具体来说，CMCC将线性约束并入MCC滤波器以明确地解决约束优化问题。该自适应滤波算法易于实现，计算复杂度低，在重尾脉冲噪声背景下，收敛精度（均方差）和稳定性明显优于基于均方误差的约束自适应算法.在能量守恒关系下，研究了算法的均方收敛性，得到了保证算法均方收敛和稳态均方偏差的充分条件.仿真结果证实了高斯和非高斯噪声下的理论预测，并通过与其他传统方法的比较，证明了新算法的优良性能。
2016-12-14 stat.ML
Robustness of Maximum Correntropy Estimation Against Large Outliers
最大相关熵准则（MCC）最近已被成功地应用于鲁棒回归、分类和自适应滤波中，其中相关熵最大化而不是众所周知的均方误差（MSE）最小化，以提高对离群值（或脉冲噪声）的鲁棒性。在MCC下，人们一直致力于开发各种鲁棒自适应算法，但迄今为止，对于离群值对最优解的影响还知之甚少。在这项工作中，我们研究了这个问题的背景下，参数估计的一个简单的线性误差的变量（EIV）模型，其中所有的变量是标量。在一定的条件下，我们推导出上界的绝对值的估计误差，并表明MCC下的最优解可以非常接近的真实值的未知参数，即使离群值（其值可以是任意大）的输入和输出变量。最后通过实例验证了理论的正确性.
2017-11-23 stat.ML
The Extended Kalman Filter is a Natural Gradient Descent in Trajectory Space
扩展卡尔曼滤波器可能是从系统的某些功能的噪声测量实时估计动力系统的状态的最标准工具，具有广泛的实际应用（例如通过GPS的位置跟踪）。虽然用于线性系的普通卡尔曼滤波器是很好理解的，但是扩展卡尔曼滤波器依赖于已经被争论的线性化。我们从统计学习的第一原理中恢复精确的扩展卡尔曼滤波方程：扩展卡尔曼滤波器等于Amari的在线自然梯度，应用于系统的轨迹空间。也就是说，动力系统的每个可能的轨迹定义了可能观测的概率定律。原则上，这使得有可能将潜在的轨迹视为观测的统计模型的参数。然后，当观测值变得可用时，可以通过对观测值的对数似然的梯度上升来学习参数。使用来自信息几何的Amari自然梯度（用Fisher矩阵预处理的梯度下降，其提供参数化不变性）精确地恢复扩展卡尔曼滤波器。这仅适用于卡尔曼滤波器中过程噪声的特定选择，即，采用与后验协方差成比例的噪声-在缺乏特定模型信息的情况下的典型选择。
2019-01-03 math.OC stat.ML
Recursive KalmanNet: Deep Learning-Augmented Kalman Filtering for State Estimation with Consistent Uncertainty Quantification
Exail
本文提出Recursive KalmanNet，一种结合卡尔曼滤波与循环神经网络的深度学习滤波器，通过递归Joseph公式和高斯负对数似然优化实现一致误差协方差量化，在非高斯噪声下优于传统方法。
2025-06-13 cs.LG eess.SP stat.ML
Online Natural Gradient as a Kalman Filter
我们将Amari的自然梯度作为卡尔曼滤波的一个具体案例，应用于统计学习中。也就是说，应用扩展卡尔曼滤波器从一系列观测值估计概率模型的固定未知参数，严格等价于通过对观测值的对数似然的在线随机自然梯度下降来估计该参数。在i.i.d.在这种情况下，这种关系是扩展卡尔曼滤波器的“信息滤波器”措辞的结果。在递归（状态空间，非i.i.d.）案例中，我们证明了状态和参数的联合卡尔曼滤波器是实时递归学习（RTRL）的自然梯度，RTRL是一种经典的训练递归模型的算法。这种精确的代数对应为自然梯度超参数提供了相关的解释，例如学习率或费舍尔信息矩阵的初始化和正则化。
2018-08-27 math.OC stat.ML
Ensemble Kalman Variational Objectives: Nonlinear Latent Trajectory Inference with A Hybrid of Variational Inference and Ensemble Kalman Filter
Meiji University（明治大学）；Chuo University（中央大学）
变分推断（VI）结合贝叶斯非线性滤波产生潜在的时间序列建模的最先进的结果。最近的大量工作集中在序贯蒙特卡罗（SMC）及其变体上，例如，前向滤波后向模拟（FFBSi）。虽然这些研究取得了成功，严重的问题仍然存在于粒子退化和有偏梯度估计。在本文中，我们提出了Ensemble卡尔曼变分目标（EnKO），VI和集合卡尔曼滤波（EnKF）的混合方法，推断状态空间模型（SSM）。我们提出的方法可以有效地识别潜在的动态，因为它的粒子多样性和无偏梯度估计。我们证明了我们的EnKO优于SMC为基础的方法在预测能力和粒子效率的三个基准非线性系统识别任务。
2021-11-09 cs.LG stat.CO stat.ML
Nonlinear Kalman Filtering with Divergence Minimization
我们考虑的非线性卡尔曼滤波问题使用Kullback-Leibler（KL）和$α$ -发散措施作为优化准则。与线性卡尔曼滤波器不同，非线性卡尔曼滤波器不具有封闭形式的高斯后验，因为由于似然中的非线性而缺乏共轭性。在本文中，我们提出了新的算法来优化的前向和反向形式的KL分歧，以及α发散，其中包含这两个作为限制的情况下。与以前的方法不同，我们的算法不进行近似的发散被优化，但使用蒙特卡罗积分技术，以获得无偏算法直接优化。我们评估性能的雷达和传感器跟踪，和期权定价问题，表现出普遍的改善UKF和EKF，以及竞争力的性能与粒子滤波。
2017-05-01 math.OC stat.ML
Kalman Filter-based Heuristic Ensemble (KFHE): A new perspective on multi-class ensemble classification using Kalman filters
Insight Centre for Data Analytics（数据 analytics 洞察中心）；University College Dublin（都柏林大学学院）
本文介绍了一种新的观点，多类集成分类认为训练集成的状态估计问题。新的观点认为，最终的集成分类器模型作为一个静态的状态，它可以使用一个卡尔曼滤波器，结合噪声的估计由个别分类器模型进行估计。本文还提出了一种基于这种观点的新算法--基于卡尔曼滤波器的启发式包络算法（KFHE），表明了这种新观点的实用性。在30个数据集上进行的实验将KFHE与最先进的多类集成分类算法进行了比较，并显示了新视角和算法的潜力和有效性。现有的集成方法权衡分类准确性对类标签噪声的鲁棒性，但KFHE被证明是显着更好或至少一样好的最先进的算法的数据集都有和没有类标签噪声。
2019-02-21 cs.AI cs.LG stat.ML
On the Projective Geometry of Kalman Filter
卡尔曼滤波器的收敛性最好通过研究Riccati映射在正定（协方差）矩阵空间中的收缩来分析。在本文中，我们将探讨这种收缩性质如何与一个更基本的非扩张性性质的过滤映射的空间中的概率分布赋予希尔伯特度量。这被看作是一个初步的步骤，以改善一般的图形模型的过滤算法的收敛性分析。
2015-10-07 math.OC stat.ML
State estimation under non-Gaussian Levy noise: A modified Kalman filtering method
Huazhong University of Science and Technology（华中科技大学）；Illinois Institute of Technology（伊利诺伊理工学院）
卡尔曼滤波器广泛用于高斯噪声下线性系的状态估计。当存在非高斯Lévy噪声时，由于非高斯Lévy噪声可能具有无穷大方差的事实，常规卡尔曼滤波器可能失效。针对非高斯Lévy噪声下的线性系设计了一种改进的Kalman滤波器。它以合理的计算成本有效地工作。仿真结果说明了这种非高斯滤波方法。
2013-03-10 cs.IT cs.LG math.DS
Approximate Kalman Filter Q-Learning for Continuous State-Space MDPs
Stanford University（斯坦福大学）
我们试图通过Q学习来学习具有连续状态的马尔可夫决策过程（MDP）的有效策略。给定一组基函数的状态动作对，我们搜索相应的一组线性权重，最小化平均贝尔曼残差。我们的算法使用卡尔曼滤波器模型来估计这些权重，并且我们已经开发了一个更简单的近似卡尔曼滤波器模型，该模型在几个标准基准问题上优于当前最先进的TD学习方法。
2013-09-26 cs.LG stat.ML
Can a Transformer Represent a Kalman Filter?
Simons Institute, UC Berkeley（加州大学伯克利分校西蒙斯研究所）
该研究证明Transformer可强近似卡尔曼滤波器，构建了因果掩码Transformer Filter，基于自注意力表示Nadaraya-Watson核估计器的两步归约实现，还验证其可逼近LQG等最优控制策略性能。
2024-05-18 cs.LG stat.ML
Auto-differentiable Ensemble Kalman Filters
University of Chicago（芝加哥大学）
数据同化是关于连续估计时间演变状态。这个任务，这在广泛的科学和工程应用中出现，是特别具有挑战性的状态时，是高维的状态空间动态是未知的。本文介绍了一个用于数据同化中动力系统学习的机器学习框架。我们的自微分集合卡尔曼滤波器（AD-EnKFs）将用于状态恢复的集合卡尔曼滤波器与用于学习动态的机器学习工具相结合。在这样做时，AD-EnKF利用集合卡尔曼滤波器缩放到高维状态的能力和自动微分的能力来训练动态的高维代理模型。使用Lorenz-96模型的数值结果表明，AD-EnKF优于使用期望最大化或粒子滤波器合并数据同化和机器学习的现有方法。此外，AD-EnKF易于实现，并且需要最少的调谐。
2021-07-19 cs.LG stat.CO stat.ML
Long-time accuracy of ensemble Kalman filters for chaotic and machine-learned dynamical systems
本文研究高维动力系统的在线状态估计问题，确立了集合卡尔曼滤波器在混沌系统及机器学习替代动力学模型中的长时间精度，证明了其估计误差在长时间范围内保持较小，验证了机器学习预测模型在集合数据同化中的有效性。
2024-12-18 cs.NA math.DS math.NA
A Simple Illustration of Interleaved Learning using Kalman Filter for Linear Least Squares
本文通过卡尔曼滤波的线性最小二乘框架，以简单统计和优化视角阐明机器学习中受生物启发的交错学习机制。
2023-09-22 cs.LG eess.SP q-bio.NC
Innovative And Additive Outlier Robust Kalman Filtering With A Robust Particle Filter
在本文中，我们提出了CE-BASS，一个粒子混合卡尔曼滤波器，这是强大的创新和添加剂离群值，并能够充分捕捉多模态的隐藏状态的分布。此外，粒子采样方法对过去的状态进行重新采样，这使得CE-BASS能够处理在观测中无法立即看到的创新离群值，例如趋势变化。过滤器是计算效率高，因为我们得到新的，准确的近似粒子的最佳建议分布。所提出的算法与现有的方法进行比较，并适用于机器温度和服务器数据。
2020-07-07 stat.AP stat.CO stat.ME
Neural Augmentation of Kalman Filter with Hypernetwork for Channel Tracking
Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司）；Qualcomm Technologies, Inc.（高通技术公司）；Qualcomm AI Research（高通人工智能研究院）
我们提出了超网络卡尔曼滤波器（HKF）跟踪应用程序具有多种不同的动态。HKF结合了卡尔曼滤波器的泛化能力和神经网络的表达能力。HKF不是保持一组卡尔曼滤波器并基于近似实际动态来选择一个，而是基于观察到的序列来使自身适应每个动态。通过对CDL-B信道模型的大量实验，我们证明了HKF可以在很宽的多普勒值范围内跟踪信道，使卡尔曼滤波器的性能与一般的多普勒信息相匹配。在高多普勒值下，它比genie卡尔曼滤波器获得约2dB的增益。与LSTM不同，HKF可以很好地推广到不可见的多普勒、SNR值和导频模式，而LSTM会遭受严重的性能下降。
2021-09-26 cs.IT cs.LG eess.SP
