State estimation under non-Gaussian Levy noise: A modified Kalman filtering method
Huazhong University of Science and Technology（华中科技大学）；Illinois Institute of Technology（伊利诺伊理工学院）
卡尔曼滤波器广泛用于高斯噪声下线性系的状态估计。当存在非高斯Lévy噪声时，由于非高斯Lévy噪声可能具有无穷大方差的事实，常规卡尔曼滤波器可能失效。针对非高斯Lévy噪声下的线性系设计了一种改进的Kalman滤波器。它以合理的计算成本有效地工作。仿真结果说明了这种非高斯滤波方法。
2013-03-10 cs.IT cs.LG math.DS
Numerical Gaussian process Kalman filtering
KU Leuven（荷语鲁汶大学）
本文介绍了数值高斯过程卡尔曼滤波（GPKF）。数值高斯过程是近年来发展起来的一种模拟时空模型的方法。本文的贡献是将数值高斯过程嵌入到递归卡尔曼滤波方程中。这种嵌入使我们能够使用高斯过程对无限维系统进行卡尔曼滤波。这是可能的，因为i）我们从数值高斯过程获得线性模型，以及ii）该模型的状态根据定义是高斯分布的随机变量。数值GPKF的方便特性是不需要模型的空间离散化，并且不需要手动设置卡尔曼滤波器，即手动微调过程和测量噪声水平，因为它们是从数据流在线学习的。我们展示的能力的数值GPKF的平流方程的模拟研究。
2020-05-11 cs.LG eess.SP stat.CO
Robust Filtering and Smoothing with Gaussian Processes
University of Washington（华盛顿大学）；University of Cambridge（剑桥大学）；AGT Group (R&D) GmbH（AGT集团（研发）有限公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
提出一种基于非参数高斯过程模型的非线性随机动态系统鲁棒贝叶斯滤波与平滑算法，通过解析平滑实现鲁棒性，数值实验表明在其它先进方法失效时仍保持稳健。
2012-03-20 cs.AI cs.RO cs.SY
GP-SUM. Gaussian Processes Filtering of non-Gaussian Beliefs
Massachusetts Institute of Technology（麻省理工学院）；Mechanical Engineering Department（机械工程系）
本文研究了具有复杂信念的随机动态滤波和状态传播问题。主要贡献是GP-SUM，一种适合于动态系统和观测模型的滤波算法，表示为高斯过程（GP），以及表示为高斯加权和的状态。GP-SUM的关键属性是它不依赖于动态或观测模型的线性化，也不依赖于信念的单峰高斯近似，因此能够跟踪复杂的状态分布。该算法可以被看作是一个基于采样的过滤器与概率贝叶斯过滤器的组合。一方面，GP-SUM通过对状态分布进行采样并通过动态系统和观测模型传播每个样本来运行。另一方面，它实现了有效的采样和准确的概率传播依赖于GP形式的系统，高斯和形式的信念。我们表明，GP-SUM优于几个GP-Bayes和粒子滤波器的标准基准。我们还展示了它在推任务中的使用，预测自然发生的非高斯分布的实验精度。
2019-01-30 cs.LG cs.RO stat.ML
Generalized Gaussian Kernel Adaptive Filtering
Tokyo University of Agriculture and Technology（东京农工大学）；Università Politecnica delle Marche（马尔凯理工大学）
提出了一种广义高斯核自适应滤波方法，该方法的核参数是自适应的，并且是数据驱动的。高斯核由中心向量和对称正定精度矩阵参数化，该精度矩阵是标量宽度参数的推广。这些参数自适应更新的基础上提出的最小二乘型规则，以尽量减少估计误差。本文的主要贡献是建立SPD流形上精度矩阵的更新规则，以保持其对称正定性。与传统的核自适应滤波器不同，本文提出的回归器是不同参数的高斯核的叠加，这使得回归器具有更大的灵活性。核自适应滤波算法与l1-正则化最小二乘一起建立，以避免过拟合和字典的维数增加。实验结果证实了该方法的有效性。
2018-04-25 cs.LG eess.SP stat.ML
Collaborative Filtering with Side Information: a Gaussian Process Perspective
University of Oxford（牛津大学）
我们通过高斯过程（GP）回归来解决带边信息的协同过滤（CF）问题。驱动的想法，使用内核来显式地模拟用户项目的相似性，我们制定的GP的方式，允许纳入低秩矩阵分解，到达我们的模型，塔克高斯过程（TGP）。因此，TGP概括了经典的贝叶斯矩阵分解模型，并超越了它们，给出了一种自然而优雅的方法，用于合并边信息，增强了CF问题的预测性能。此外，我们表明，这是一种新的回归模型，特别适合于网格结构的数据和问题的协变量的依赖是接近可分离的。
2017-06-08 cs.IR cs.LG stat.ML
Constrained Maximum Correntropy Adaptive Filtering
约束自适应滤波算法包括约束最小均方（CLMS）、约束仿射投影（CAP）和约束递归最小二乘（CRLS）等，在许多应用中得到了广泛的研究。现有的约束自适应滤波算法大多是在均方误差（MSE）准则下发展起来的，MSE准则是高斯噪声下的理想最优性准则。然而，该假设未能对实践中发现的非高斯噪声的行为进行建模。基于最大相关熵准则（MCC）在非高斯脉冲噪声中的鲁棒性和简单性，提出了一种新的自适应滤波算法-约束最大相关熵准则（CMCC）。具体来说，CMCC将线性约束并入MCC滤波器以明确地解决约束优化问题。该自适应滤波算法易于实现，计算复杂度低，在重尾脉冲噪声背景下，收敛精度（均方差）和稳定性明显优于基于均方误差的约束自适应算法.在能量守恒关系下，研究了算法的均方收敛性，得到了保证算法均方收敛和稳态均方偏差的充分条件.仿真结果证实了高斯和非高斯噪声下的理论预测，并通过与其他传统方法的比较，证明了新算法的优良性能。
2016-12-14 stat.ML
Taylor Moment Expansion for Continuous-Discrete Gaussian Filtering and Smoothing
本文研究了连续-离散状态空间模型中的非线性高斯滤波和平滑问题，其中动态模型用伊藤随机微分方程表示，测量值是在离散时刻得到的。我们提出了一种新的泰勒矩展开（TME）高斯滤波器和平滑器，它近似的时刻的时间泰勒展开。与经典线性化或Ito-Taylor方法不同，泰勒展开式是直接针对时间变量的矩函数形成的，而不是通过对模型中的非线性函数使用泰勒展开式。我们分析了TME高斯滤波器和平滑器的理论性质，包括协方差估计的正定性和稳定性。通过数值实验，我们表明，所提出的TME高斯滤波器和平滑显着优于国家的最先进的方法在估计精度和数值稳定性。
2020-01-08 math.ST stat.AP stat.ME
Ensemble Kalman Filtering for Online Gaussian Process Regression and Learning
The University of Sheffield（谢菲尔德大学）；University of Canterbury（坎特伯雷大学）；The University of Oxford（牛津大学）
高斯过程回归是一种机器学习方法，已被证明其对未知函数的估计的能力。然而，高斯过程具有高计算复杂性，因为在基本形式中，它们随着观测的数量而立方地缩放。提出了几种基于诱导点的方法来处理静态环境中的这个问题。然而，这些方法面临着实时任务的挑战，并且当数据随着时间顺序接收时。提出了一种新的稀疏高斯过程模型在线训练算法。它把高斯过程的均值和超参数分别作为集合卡尔曼滤波器的状态和参数。对新的即将到来的数据样本执行参数和状态的在线评估。该过程迭代地提高了参数估计的准确性。集合卡尔曼滤波器降低了获得具有高斯过程的预测所需的计算复杂度，从而保持这些预测的准确性水平。所提出的方法的性能证明在合成数据集和真正的大数据集的英国房价。
2018-07-09 cs.LG stat.ML
Flow-based Bayesian filtering for high-dimensional nonlinear stochastic dynamical systems
School of Mathematical Sciences, Tongji University（同济大学数学科学学院）；Department of Mathematics, Shanghai Normal University（上海师范大学数学系）
针对高维非线性随机动力系统的贝叶斯滤波问题，提出基于流的贝叶斯滤波器（FBF），利用归一化流构建具有高斯滤波分布的潜在线性状态空间模型，实现高效数据驱动的滤波。
2025-03-05 cs.LG cs.NA math.NA
Uniform {\varepsilon}-Stability of Distributed Nonlinear Filtering over DNAs: Gaussian-Finite HMMs
本文研究了条件高斯噪声中部分观测的有限状态空间马尔可夫链的分布式滤波稳定性。我们考虑一个非线性过滤计划在分布式网络的代理（DNA），它依赖于分布式评估的集中式非线性滤波的似然部分，是基于一个特定的专业化的交替方向法的乘法器（ADMM）的快速平均共识。假设网络中每个传感器的任何两个连续噪声测量之间的一致步骤数相同，我们充分表征了最小数量的此类步骤，使得分布式滤波器在有限的操作范围T内以及在所有传感器上以规定的精度水平{ \varepsilon } \in（0，1]保持一致稳定。稳定性是在每个传感器处以及T内的每个时间处的后验的集中式和分布式版本之间的\ell_1范数的意义上。粗略地说，我们的主要结果表明，一致的{ \varepsilon }-稳定性的分布式过滤过程只依赖于对数线性T和（大致）的网络的大小，并仅在数学上的1/{ \varepsilon }。如果满足该总对数线性界限，则任何额外的共识迭代将导致共识误差的完全量化的进一步指数衰减。我们的边界是普遍的，在这个意义上，他们是独立的高斯隐马尔可夫模型（HMM）的特定结构正在考虑。
2016-09-26 math.OC math.ST stat.ML
Probabilistic Solutions To Ordinary Differential Equations As Non-Linear Bayesian Filtering: A New Perspective
我们将常微分方程（ODE）解的概率数值近似表示为具有非线性测量函数的高斯过程（GP）回归问题。这是通过定义测量序列来实现的，该测量序列由GP的导数与在GP处评估的向量场之间的差的观测值组成-这些观测值在ODE的解处均为零。当GP具有状态空间表示时，问题可以简化为非线性贝叶斯滤波问题，并且所有广泛使用的贝叶斯滤波和平滑问题的近似都变得适用。此外，所有以前的基于GP的ODE求解器，制定在生成合成测量的梯度场出来作为特定的近似。基于本文提出的非线性贝叶斯滤波问题，我们开发了新的高斯求解器，我们建立了良好的稳定性。此外，非高斯近似的滤波问题推导出的粒子滤波器的方法。所得到的求解器进行了比较与其他概率求解器在说明性实验。
2019-04-24 stat.CO stat.ME stat.ML
The discriminative Kalman filter for nonlinear and non-Gaussian sequential Bayesian filtering
卡尔曼滤波器（KF）用于计算状态空间模型中潜在状态的后验分布的各种应用中。该模型要求状态和观测值之间存在线性关系。已经提出了对卡尔曼滤波器的扩展，其将线性近似结合到非线性模型，例如扩展卡尔曼滤波器（EKF）和无迹卡尔曼滤波器（UKF）。然而，我们认为，在观测变量的维数大大超过状态变量的维数的情况下，$p(\text{state}|\text{observation})$的模型证明更容易学习和更准确的潜在空间估计。我们推导并验证我们所谓的判别卡尔曼滤波器（DKF）：贝叶斯滤波的一个封闭形式的判别版本，很容易结合现成的判别学习技术。此外，我们证明了在温和的假设下，可以指定$p(\text{state}|\text{observation})$的高度非线性模型.我们在合成数据集和非人类灵长类动物的神经解码中进行激励和验证，与标准卡尔曼滤波器相比，解码性能大幅提高。
2016-08-30 stat.ML
[Re] The Discriminative Kalman Filter for Bayesian Filtering with Nonlinear and Non-Gaussian Observation Models
Rice University（莱斯大学）
本研究复现了Burkhart等人2020年提出的判别式卡尔曼滤波器的神经科学核心结果，提供了该MATLAB算法的开源Python替代版本，通过多随机种子和未用试次进一步验证了滤波器有效性。
2024-01-24 cs.LG cs.RO eess.SP
Transformers Can Solve Non-Linear and Non-Markovian Filtering Problems in Continuous Time For Conditionally Gaussian Signals
Department of Mathematics, University of Oxford（牛津大学数学系）；Oxford Man Institute for Quantitative Finance, University of Oxford（牛津大学牛津曼量化金融研究所）；Department of Mathematics, McMaster University（麦克马斯特大学数学系）；Vector Institute（向量研究所）
本文提出filterformers模型，通过自定义注意力机制近似实现非马尔可夫且条件高斯信号过程的条件分布，解决了随机过滤问题的理论基础。
2026-04-02 cs.LG cs.NA cs.NE
Asymmetric Correntropy for Robust Adaptive Filtering
Xi’an Jiaotong University（西安交通大学）；Xi’an Microelectronic Technology Institute（西安微电子技术研究所）；Harbin Engineering University（哈尔滨工程大学）；National Space Science Center, Chinese Academy of Sciences（中国科学院国家空间科学中心）
近年来，相关熵被广泛应用于鲁棒自适应滤波中，以消除脉冲噪声或野值的不利影响。相关熵通常定义为两个随机变量之间高斯核的期望。当两个随机变量之间的误差在零附近对称分布时，这个定义是合理的。然而，对于非对称误差分布的情况，对称高斯核是不合适的，不能很好地适应误差分布。为了解决这个问题，在这个简短的，我们提出了一个新的变体的相关熵，命名为非对称相关熵，它使用非对称高斯模型作为核函数。此外，提出了一种基于非对称相关熵的鲁棒自适应滤波算法，并分析了其稳态收敛性能。仿真结果验证了该算法的理论结果和良好的性能。
2021-11-01 cs.LG eess.SP stat.ML
A competitive baseline for deep learning enhanced data assimilation using conditional Gaussian ensemble Kalman filtering
University of Colorado Boulder（科罗拉多大学博尔德分校）；Pennsylvania State University（宾夕法尼亚州立大学）
本文研究了EnKF的两种非线性扩展（CG-EnKF和NS-EnKF），通过条件高斯更新公式构建Kalman增益矩阵，在Lorenz-96系统中显著优于基于深度学习的分数滤波器（SF），并能处理高度非高斯噪声扰动。
2024-09-22 cs.LG math.DS physics.ao-ph
Efficient Spatio-Temporal Gaussian Regression via Kalman Filtering
University of Padova（帕多瓦大学）；ETH Zürich（苏黎世联邦理工学院）
在这项工作中，我们研究了非参数重建时空动态高斯过程（GP）通过GP回归稀疏和噪声数据。GP主要应用于空间回归，它们代表了最强大的估计方法之一，这也要归功于它们的通用表示属性。他们的扩展到动态过程，而不是难以捉摸的，因为经典的实现导致不可扩展的算法。然后，我们提出了一个新的程序来解决这个问题，耦合GP回归和卡尔曼滤波。特别是，假设空间/时间可分性的协方差（内核）的过程和合理的时间谱，我们建立了一个有限维离散时间状态空间过程表示服从卡尔曼滤波。在固定空间位置的有限集合上进行采样，我们的主要发现是，在时刻$t_k$的卡尔曼滤波器状态表示足够的统计量来计算在整个空间域上的任何$t \geq t_k$处的过程的最小方差估计。这一结果可以解释为一个新的动态GPS的卡尔曼表示定理。然后，我们将研究扩展到空间输入位置集可以随时间变化的情况。所提出的算法最后测试合成和真实的现场数据，也提供了与标准GP和截断GP回归技术的比较。
2017-05-03 cs.AI cs.LG stat.ML
Recursive Sparse Pseudo-input Gaussian Process SARSA
Stevens Institute of Technology（史蒂文斯理工学院）
时间差分学习的高斯过程（GP）方法类已经显示出数据高效的无模型强化学习的前景。在本文中，我们认为最近的变体GP-SARSA算法，称为稀疏伪输入高斯过程SARSA（SPGP-SARSA），并推导出其预测矩的递归公式。这个扩展提高了内存效率，因为以前的计算可以重用，而且有趣的是，它提供了一种在多个时间尺度上更新值估计的技术
2018-11-17 cs.LG stat.ML
Closed-form Filtering for Non-linear Systems
Inria（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）；University College London（伦敦大学学院）；Inria Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）；Inria London（法国国家信息与自动化研究所伦敦分部）
本文提出基于高斯PSD模型的新型闭式滤波器，解决非线性系统的序贯贝叶斯滤波问题，在保证理论误差界的前提下显著降低了内存与计算复杂度。
2024-02-15 cs.LG cs.RO stat.ML
Coupling techniques for nonlinear ensemble filtering
我们考虑在高维非高斯状态空间模型中进行滤波，这些模型具有难以处理的过渡内核，非线性和可能的混沌动力学，以及空间和时间上的稀疏观测。我们提出了一种新的过滤方法，利用运输的措施，凸优化，并从概率图形模型的想法，以产生强大的合奏近似的过滤分布在高维度。我们的方法可以理解为使用随机或确定性耦合将集合卡尔曼滤波器（EnKF）自然推广到非线性更新。非线性更新的使用可以在计算成本的边际增加的情况下减少EnKF的固有偏差。我们避免了任何形式的重要性抽样，并引入非高斯本地化方法的尺寸可扩展性。我们的框架实现了国家的最先进的跟踪性能上具有挑战性的配置的洛伦兹-96模型在混沌政权。
2022-04-06 stat.CO stat.ME stat.ML
Recursive KalmanNet: Deep Learning-Augmented Kalman Filtering for State Estimation with Consistent Uncertainty Quantification
Exail
本文提出Recursive KalmanNet，一种结合卡尔曼滤波与循环神经网络的深度学习滤波器，通过递归Joseph公式和高斯负对数似然优化实现一致误差协方差量化，在非高斯噪声下优于传统方法。
2025-06-13 cs.LG eess.SP stat.ML
PFPN: Continuous Control of Physically Simulated Characters using Particle Filtering Policy Network
Clemson University（克莱姆森大学）
使用强化学习的基于物理的角色控制的数据驱动方法已成功应用于生成高质量的运动。然而，现有的方法通常依赖于高斯分布来表示动作策略，这可能会过早地在解决高清晰度角色的高维连续控制问题时承诺次优动作。在本文中，为了提高基于物理的字符控制器的学习性能，我们提出了一个框架，认为基于粒子的行动政策作为高斯政策的替代品。我们利用粒子滤波动态探索和离散化的行动空间，并跟踪后验政策表示为一个混合分布。由此产生的策略可以取代单峰高斯策略，这是字符控制问题的主食，而不改变用于执行策略优化的强化学习算法的底层模型架构。我们证明了我们的方法在各种动作捕捉模仿任务的适用性。基线使用我们的基于粒子的政策实现更好的模仿性能和收敛速度相比，相应的实现使用高斯，更强大的外部扰动字符控制。相关代码可在https://motion-lab.github.io/PFPN上获得。
2021-10-01 cs.GR cs.LG stat.ML
A Discriminative Approach to Bayesian Filtering with Applications to Human Neural Decoding
Brown University（布朗大学）
给定将隐藏状态序列与对应的测量或观测相关联的静态状态空间模型，贝叶斯滤波提供了用于在给定到当前时间的所有测量的情况下推断当前状态的后验分布的原则性统计框架。例如，阿波罗登月舱实施了卡尔曼滤波器，从一系列基于地球的雷达测量中推断其位置，并安全降落在月球上。为了执行贝叶斯过滤，我们需要一个描述每个观测给定状态的条件分布的测量模型。卡尔曼滤波器将该测量模型视为线性高斯模型。在这里，我们展示了如何一个非线性的，高斯近似的状态分布给定的观察可以与贝叶斯规则结合使用，以建立一个非线性的，非高斯测量模型。由此产生的方法，称为判别卡尔曼滤波器（DKF），保留了快速的封闭形式更新的后验。我们认为，在许多情况下，状态的分布给定的测量是更好地近似为高斯，特别是当测量的维数远远超过状态和Bernstein-von Mises定理适用。脑机接口的在线神经解码提供了一个激励性的例子，其中过滤包含越来越详细的神经活动测量，以提供用户对外部设备的控制。在BrainGate 2临床试验中，DKF成功地使三名四肢瘫痪的志愿者能够仅使用心理图像实时控制屏幕上的光标。参与者“T9”使用DKF在平板电脑上键入消息。
2018-07-17 cs.LG cs.NE stat.ML
A Joint introduction to Gaussian Processes and Relevance Vector Machines with Connections to Kalman filtering and other Kernel Smoothers
Universidad Rey Juan Carlos（胡安卡洛斯国王大学）；Ecole Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
贝叶斯核方法的表达能力使其成为人工智能许多不同方面的重要工具，并对大量现代应用领域非常有用，通过不确定性分析提供了强大的功能和可解释性。本文介绍和讨论了两种方法，跨越概率贝叶斯方案和回归核方法的领域：高斯过程和相关向量机。我们的重点是开发一个共同的框架，以查看这些方法，通过中间方法的概率版本的著名的内核岭回归，并绘制它们之间的连接，通过双配方，并讨论其应用程序的背景下，主要任务：回归，平滑，插值和过滤。总的来说，我们提供了这些模型背后的数学概念的理解，我们总结和深入讨论不同的解释，并强调与其他方法的关系，如线性核平滑，卡尔曼滤波和傅立叶近似。在整个过程中，我们提供了许多数字，以促进理解，我们提出了许多建议，以从业人员。不同技术的优点和缺点突出。据我们所知，这是迄今为止针对这两种方法的最深入的研究，并且将与整个数据科学，信号处理，机器学习和人工智能领域的理论理解和实践者相关。
2021-07-11 cs.AI cs.LG cs.NA
Gaussian Process Pseudo-Likelihood Models for Sequence Labeling
University of Sheffield（谢菲尔德大学）；INRIA-ENS（法国国家信息与自动化研究所-巴黎高等师范学校）；Indian Institute of Science（印度科学理工学院）
在自然语言处理中出现的几个机器学习问题可以建模为序列标记问题。我们提供基于伪似然近似的高斯过程模型来执行序列标记。高斯过程（GPs）提供了一种贝叶斯方法来在基于内核的框架中学习。伪似然模型使人们能够捕捉长范围的依赖关系的输出组件的序列，而不会成为计算上棘手的。我们使用一个有效的变分高斯近似方法进行推理，在建议的模型。我们还提供了一个迭代算法，可以有效地利用来自相邻标签的信息来执行预测。捕获长程依赖的能力使得所提出的方法适用于广泛的序列标记问题。在序列标记数据集上的数值实验证明了该方法的有效性。
2016-09-21 cs.LG stat.ML
Robust volatility updates for Hierarchical Gaussian Filtering
Interacting Minds Centre, Aarhus University（阿arhus大学交互心智中心）；Centre for Humanities Computing, Aarhus University（阿arhus大学人文计算中心）；Translational Neuromodeling Unit, University of Zurich & ETH Zurich（苏黎世大学转化神经建模单元及苏黎世联邦理工学院）；Institute for Cognitive Science, University of Osnabrück（奥斯纳布吕克大学认知科学研究所）
本文提出一种改进的二次近似方法，用于解决HGF网络中波动耦合节点的变分能量问题，避免后验精度为负数导致的计算错误，提升模型鲁棒性。
2026-05-01 cs.LG cs.NE q-bio.NC
