Bayesian Recurrent Units and the Forward-Backward Algorithm
Idiap Research Institute（伊迪亚普研究院）
使用贝叶斯定理，我们推导出一个单位形式的递归以及一个类似于向前向后算法的向后递归。由此产生的贝叶斯递归单元可以作为递归神经网络集成到深度学习框架中，同时保留与隐马尔可夫模型直接对应的概率解释。虽然贡献主要是理论上的，语音识别的实验表明，在最先进的递归架构的末尾添加派生单元可以在可训练参数方面以非常低的成本提高性能。
2022-07-21 cs.LG stat.ML
Backward Bayesian Outcome Weighted Learning
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Duke University（杜克大学）
针对现有结局加权学习类方法无法量化个体治疗决策不确定性的问题，本文将贝叶斯OWL扩展至多阶段场景，提出反向贝叶斯结局加权学习（BBOWL），通过模拟研究验证了其性能。
2026-08-04 stat.ME stat.ML
A New Smoothing Technique based on the Parallel Concatenation of Forward/Backward Bayesian Filters: Turbo Smoothing
最近，一种新的方法，用于开发滤波算法，基于并行级联的贝叶斯滤波器和所谓的涡轮滤波，已经提出。在这篇手稿中，我们将展示如何利用相同的概念方法来设计一种新的平滑方法，称为涡轮平滑。一种涡轮平滑器将在其前向传递中使用的涡轮滤波器与在其后向传递中使用的两个后向信息滤波器的并行级联相结合。作为一般理论的一个具体应用，给出了条件线性高斯系统的两个Turbo平滑算法的详细推导过程。一个特定的动态系统的数值结果证明，这些算法可以实现更好的复杂性，精度权衡比其他平滑技术最近出现在文献中。
2019-02-15 stat.CO
Double Bayesian Smoothing as Message Passing
最近，提出了一种基于两个贝叶斯过滤器互连的过滤算法开发新方法，称为双贝叶斯过滤。在这篇手稿中，我们表明，同样的概念方法可以用来设计一种新的平滑方法，称为双贝叶斯平滑。双贝叶斯平滑器将在其前向传递中使用的双贝叶斯滤波器与在其后向传递中使用的两个后向信息滤波器的互连相结合。作为一般方法的一个具体应用，给出了条件线性高斯系统的双贝叶斯平滑算法的详细推导。两个特定的动态系统的数值结果表明，这些算法可以实现更好的复杂性，精度的权衡和跟踪能力比其他平滑技术最近出现在文献中。
2019-07-25 math.ST stat.TH
Bayesian approach to inverse problems for functions with variable index Besov prior
Xi’an Jiaotong University（西安交通大学）；Beijing Center for Mathematics and Information Interdisciplinary Sciences (BCMIIS)（北京数学与交叉科学中心）
本文提出了一种非高斯变量指数贝索夫先验测度，用于解决具有变量指数的贝叶斯反问题，首次将贝叶斯理论应用于分数阶反向扩散问题，以量化其不确定性。
2015-08-24 math.AP math.ST stat.TH
Dependent Bayesian Lenses: Categories of Bidirectional Markov Kernels with Canonical Bayesian Inversion
我们概括了现有的贝叶斯透镜的结构，以允许在向后的对象依赖于向前的对象的状态（解释为概率分布）的对象对之间的透镜。这给了一个自然的设置，研究随机地图与贝叶斯逆限制在一个给定的先验支持的点。为了正式说明这一点，我们提出了一个定义弗里茨的支持对象在马尔可夫范畴，并表明，这些产生了一个部分到类别的依赖贝叶斯镜头编码一个更规范的概念贝叶斯反演。
2022-09-29 cs.LO math.CT math.PR
A Bayesian algorithm for retrosynthesis
The Institute of Statistical Mathematics, Research Organization of Information and Systems（信息系统研究机构统计数学研究所）；Daicel Corporation（大赛璐公司）
以所需产物结束的合成路线的鉴定一直是固有的耗时过程，其在很大程度上依赖于关于整个反应空间的有限部分的专业知识。目前，新兴的机器学习技术正在颠覆逆合成规划的过程。本研究的目的是发现从给定的所需分子到市售化合物的反向合成路线。该问题被减少到一个组合优化任务的解决方案空间的组合复杂性的所有可能的购买反应物对。我们解决这个问题的框架内的贝叶斯推断和计算。工作流程包括两个步骤：训练深度神经网络，以高精度向前预测给定反应物的产物，然后通过条件概率的贝叶斯定律将该向前模型反转为向后模型。使用后向模型，一组不同的高度可能的反应序列结束一个给定的合成目标是详尽的探索使用蒙特卡罗搜索算法。贝叶斯逆合成算法可以成功地重新发现80.3%和50.0%的已知的合成路线的一步和两步反应的前10名的准确性，分别，从而优于国家的最先进的算法的整体准确性。值得注意的是，蒙特卡罗方法，这是专门设计的存在不同的多个路线，往往揭示了一个排名名单的数百个反应路线相同的合成目标。我们研究了基于合成有机化学专业知识的这些不同候选物的潜在适用性。
2020-03-06 cs.LG physics.chem-ph stat.ML
High-dimensional Bayesian filtering through deep density approximation
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
本文比较了两种深度密度方法在非线性滤波中的性能，通过福克-普朗克方程建模随机微分方程的滤波密度，并在离散观测时间进行贝叶斯更新。在低维例子中粒子滤波有效，但在高维洛伦茨-96模型中，深度后向随机微分方程滤波器表现更优，计算效率提升显著。
2026-04-19 cs.NA math.NA stat.CO
Inferential Induction: A Novel Framework for Bayesian Reinforcement Learning
Chalmers University of Technology（查尔姆斯理工大学）；University of Oslo（奥斯陆大学）
贝叶斯强化学习（BRL）为强化学习提供了一种决策理论解决方案。虽然“基于模型”的BRL算法集中在维护模型或值函数的后验分布，并将其与近似动态规划或树搜索相结合，但以前的贝叶斯“无模型”价值函数分布方法隐含地进行了强假设或近似。我们描述了一种新的贝叶斯框架，推理归纳，正确推断价值函数分布的数据，这导致了一类新的BRL算法的发展。我们设计了一个算法，贝叶斯反向归纳，在这个框架。我们的实验表明，该算法是有竞争力的最先进的。
2020-07-01 cs.LG stat.ML
Introduction to Automatic Backward Filtering Forward Guiding
在本文中，我的目的是给一个非正式的治疗自动向后过滤正向引导，一般算法的条件采样从一个马尔可夫过程的有向无环图。我将说明，基本的想法可以理解的概率和统计学的基本背景。更技术性的处理是论文自动向后过滤马尔可夫过程和图形模型的前向指导（Van der Meulen和Schauer，2021）。我特别假设一些基于似然推理和贝叶斯统计的背景知识。最后一节要求更高，假设熟悉从无穷小生成器构造的连续时间随机过程。显然，这里讨论的所有工作都是过去十年与各种合作者一起进行的研究的结果，最重要的是Moritz Schauer（瑞典查尔姆斯理工大学和哥德堡大学）。第8部分是基于与Marcin Mider（Trium Analysis Online GmbH，德国）和Frank Schäfer（巴塞尔大学，瑞士）的联合工作。
2022-10-31 math.PR stat.CO
Tutorial on Exact Belief Propagation in Bayesian Networks: from Messages to Algorithms
在贝叶斯网络中，通过消息传递算法实现精确的置信传播。这些算法（例如：向内和向外）仅提供相应消息的递归定义。相比之下，当处理隐马尔可夫模型和变体时，人们通常首先明确定义这些消息（前向和后向量），然后导出所有结果和算法。在本文中，我们概括了隐马尔可夫模型的方法，通过引入一个明确的定义，在贝叶斯网络中的消息，从中我们得到所有相关的属性和结果，包括递归算法，允许计算这些消息。两个教学的例子（降水隐马尔可夫模型和谱系贝叶斯网络）被认为是沿文件来说明新的形式主义和独立的R信源编码中提供的附录。
2012-01-23 math.PR stat.CO
Fast MCMC sampling for Markov jump processes and continuous time Bayesian networks
Gatsby Computational Neuroscience Unit（盖比计算神经科学单元）；University College London（伦敦大学学院）
马尔可夫跳过程和连续时间贝叶斯网络是一类重要的连续时间动态系统。在本文中，我们通过引入一个快速辅助变量吉布斯采样器来解决这些模型中未观测路径的推断问题。我们的方法是基于均匀化的思想，并建立了一个马尔可夫链的路径通过采样一组有限的虚拟跳跃时间，然后运行一个标准的隐马尔可夫模型的前向滤波-后向采样算法的状态在现有的和虚拟的跳跃时间。我们证明了显着的计算效益超过一个国家的最先进的吉布斯采样器上的一些连续时间贝叶斯网络。
2012-02-14 cs.LG stat.ME stat.ML
Forward-Backward Latent State Inference for Hidden Continuous-Time semi-Markov Chains
Technische Universitat Darmstadt（达姆施塔特工业大学）
隐半马尔可夫模型（HSMM）-虽然广泛使用-但仅限于离散和均匀的时间网格。因此，它们不太适合解释经常不规则间隔的离散事件数据从连续时间现象。我们表明，非采样为基础的潜在状态推断中使用的HSMM的可以推广到潜在的连续时间半马尔可夫链（CTSMC）。我们制定积分微分向前和向后方程调整的观察可能性，并引入一个精确的积分方程的贝叶斯后边缘和可扩展的Viterbi型算法的后验路径估计。所提出的方程可以有效地解决使用众所周知的数值方法。作为一种实用的工具，变步长HSMM的介绍。我们评估我们的方法相比，经典的HSMM的潜在状态推理的情况下。
2022-10-17 cs.LG stat.ML
Achieving Parsimony in Bayesian VARs with the Horseshoe Prior
在向量自回归（VAR）模型或任何多变量回归模型的上下文中，相关预测因子的数量相对于从其构建预测方程的可用信息集可能较小。众所周知，基于（未惩罚的）最小二乘估计的预测可能会过拟合数据，导致预测结果不佳。自从明尼苏达先验被提出以来（Doan et al.（1984）），已经开发了许多旨在提高预测性能的方法。在本文中，我们在贝叶斯VAR的背景下提出了马蹄先验（Carvalho et al.（2010），Carvalho et al.（2009））。马蹄先验是一种独特的收缩先验方案，它将不相关的信号严格地收缩到0，同时允许大信号保持大并且实际上未收缩。在一项实证研究中，我们表明，马蹄事先竞争有利的收缩方案中常用的贝叶斯VAR模型，以及与前，在系数向量中施加真正的稀疏性。此外，我们建议使用粒子吉布斯与向后模拟（Lindsten et al.（2012），Andrieu et al.（2010））的估计随时间变化的波动性参数。我们提供了在线补充材料中使用的所有MCMC方法的详细描述。
2017-09-21 stat.AP
A Bayesian Non-Stationary Heteroskedastic Time Series Model for Multivariate Critical Care Data
通过对标准状态空间模型的观测值方差进行修正，提出了一种适用于非平稳健康时间序列的多变量GARCH模型。该模型提供了一种直观的方式处理异方差数据使用状态空间模型的条件性质。我们遵循贝叶斯范式来执行推理过程。特别地，我们使用马尔可夫链蒙特卡罗方法从所得的后验分布中获得样本。由于模型参数具有自然的时间相关结构，我们采用前向滤波后向采样算法从后验分布中有效地获取样本。所提出的模型还处理缺失数据在一个完全贝叶斯的方式。我们验证我们的模型合成数据，然后用它来分析从重症监护病房在蒙特利尔医院的数据集。我们进一步表明，我们提出的模型提供了更好的性能，WAIC方面，比标准的状态空间模型。该模型提供了一种新的方法来模拟多元异方差非平稳时间序列数据和简单的应用WAIC允许我们比较竞争模型。
2023-03-15 stat.AP stat.ME
Advances in exact Bayesian structure discovery in Bayesian networks
我们考虑一个贝叶斯方法学习贝叶斯网络结构从完整的数据。最近，Koivisto和Sood（2004）提出了一种算法，对于任何一条边，都可以在O（n 2^n）时间内计算其边际后验概率，其中n是属性的数量;每个属性的父节点数量受一个常数的限制。本文证明了所有n（n - 1）条潜在边的后验概率可以在O（n2^n）总时间内计算。这个结果是通过一个向前向后的技术和快速Moebius变换算法，这是独立的利益。由此产生的约n^2倍的加速，使我们能够通过实验研究学习中等规模网络的统计能力。我们报告了一个模拟研究的结果，该研究涵盖了具有5到25个离散属性的20到10，000个记录的数据集
2012-06-27 cs.AI cs.LG stat.ML
Bayesian inference on dynamic linear models of day-to-day origin-destination flows in transportation networks
起讫点（OD）需求的估计在成功的交通研究中起着关键作用。在本文中，我们考虑估计时变的日常OD流量给定的交通流量在一个交通网络中的一个序列的日子。本文提出了一个动态线性模型（DLM）来描述OD流量随时间的随机演化。DLM是贝叶斯状态空间模型，可以捕获非平稳性。我们考虑到OD流量之间的分配路径和路段上的交通量分配的层次关系。路径选择概率通过基于过去路径成本的效用模型获得。提出了一种结合吉布斯抽样和前向滤波后向抽样技术的马尔可夫链蒙特卡罗算法，用于逼近OD流量和路径选择模型参数的联合后验分布。我们的方法可以应用到拥塞的网络，并在情况下，当数据只在一个子集的链接。我们说明了我们的方法的应用，通过模拟实验的测试网络从文献。
2016-08-24 stat.AP
A Bayesian Approach to Recurrence in Neural Networks
我们首先重申，常见的神经网络激活函数具有简单的贝叶斯起源。本着这种精神，我们继续表明，贝叶斯定理也意味着一个简单的递归关系，这导致了贝叶斯经常性单位与规定的反馈制定。我们表明，引入上下文指示符导致变量反馈，这是类似于在传统的经常性单位的忘记机制。类似的方法导致概率输入门。贝叶斯公式自然地导致卡尔曼平滑器或前向-后向算法的两遍算法，这意味着推理自然地取决于未来的输入以及过去的输入。语音识别的实验证实，所得到的架构可以执行，以及一个双向循环网络与相同数量的参数作为一个单向的。此外，当显式双向配置时，该架构可以超过常规双向递归的性能。
2020-04-20 cs.LG stat.ML
Dynamic Bayesian regression quantile synthesis for forecasting outlook-at-risk
Meiji University（明治大学）；Keio University（庆应义塾大学）；Nagoya University（名古屋大学）
本文提出动态贝叶斯回归分位数合成方法，通过引入时间变化的潜在因子结构，提升多变量时间序列的分位数预测性能。
2026-03-12 stat.AP stat.ME
Probabilistic Backpropagation for Scalable Learning of Bayesian Neural Networks
大型多层神经网络训练的反向传播最近取得了国家的最先进的结果，在广泛的问题。然而，使用反向传播进行神经网络学习仍然存在一些缺点，例如，必须将大量超参数调整到数据，缺乏校准的概率预测，以及过度拟合训练数据的趋势。原则上，学习神经网络的贝叶斯方法不存在这些问题。然而，现有的贝叶斯技术缺乏对大数据集和网络规模的可扩展性。在这项工作中，我们提出了一种新的可扩展的方法学习贝叶斯神经网络，称为概率反向传播（PBP）。与经典的反向传播类似，PBP的工作原理是通过网络计算概率的前向传播，然后进行梯度的后向计算。在10个真实世界数据集上进行的一系列实验表明，PBP比其他技术快得多，同时提供了有竞争力的预测能力。我们的实验还表明，PBP提供了准确的估计后验方差的网络权重。
2015-07-15 stat.ML
Forward-Backward Selection with Early Dropping
University of Crete（克里特大学）；Gnosis Data Analysis IKE（Gnosis数据分析公司）
前向-后向选择是最基本和最常用的特征选择算法之一。它也是通用的，在概念上适用于许多不同类型的数据。在本文中，我们提出了一个启发式，显着提高其运行时间，同时保持预测精度。这个想法是暂时丢弃与给定的选定变量集的结果有条件独立的变量。根据这些变量如何被重新考虑和重新引入，这种启发式算法产生了一系列越来越强的理论保证。在可以由贝叶斯网络或最大祖先图忠实地表示的分布中，该算法家族的成员能够正确地识别样本限制中的马尔可夫毯。在实验中，我们表明，所提出的启发式算法提高了约两个数量级的高维问题的计算效率，同时选择更少的变量和保留预测性能。此外，我们表明，所提出的算法和特征选择与LASSO执行类似的限制时，选择相同数量的变量，使所提出的算法一个有吸引力的替代问题，没有（有效的）算法LASSO存在。
2017-05-30 cs.LG stat.ML
Looking-backward probabilities for Gibbs-type exchangeable random partitions
吉布斯型随机概率测度和可交换的随机分区，他们诱导代表了丰富和活跃的文献的主题。它们为广泛的理论和应用问题提供了一个概率框架，这些问题通常被称为物种抽样问题。在本文中，我们考虑了一类向后看物种抽样问题介绍了Lijoi等人。（Ann. Appl. Probab。18（2008）1519-1547）。具体而言，给定一些信息的随机分区诱导的初始样本从吉布斯型随机概率测度，我们研究的条件分布的统计相关的老物种，即那些物种中检测到的初始样本和可能重新观察到的额外的样本。所提出的结果有助于吉布斯型可交换随机分区的条件属性的分析，到目前为止，主要集中在统计相关的物种所产生的额外的样品，而不是已经检测到的初始样品。
2015-04-03 math.ST stat.TH
Bayesian Approach to Linear Bayesian Networks
Seoul National University（首尔国立大学）；Sungkyunkwan University（成均馆大学）
本文提出首个学习高维线性贝叶斯网络的贝叶斯方法，利用偏协方差矩阵逆迭代估计拓扑排序与父节点，结合不等收缩的贝叶斯正则化恢复结构，理论证明样本充分条件，并在合成数据上优于现有频率派方法。
2023-11-27 cs.LG math.ST stat.ME
Scalable Bayesian Multiple Changepoint Detection via Auxiliary Uniformization
通过在按时间顺序排列的观测值上附加辅助事件时间，将离散时间观测值的贝叶斯多变点问题转化为连续时间观测值的贝叶斯多变点问题。提出了一种前向滤波后向采样（FFBS）算法，用于模拟塌陷吉布斯抽样方案中的变点。理想情况下，FFBS算法的计算成本和内存成本都可以二次缩小到变化点的数量，而不是观察的数量，否则这对于长序列的观察是禁止的。新的公式允许在新数据到达时变点的数量无限地增加。此外，一个随时间变化的变点复发率在不同的部分被假定为特征的不同尺度的运行长度的变点。然后，我们提出了一个连续时间Viterbi算法获得的最大后验概率（MAP）估计的变化点。我们通过仿真研究和实际数据分析证明了该方法。
2020-06-28 stat.CO stat.ME
Nonparametric Bayesian volatility learning under microstructure noise
本文提出一种非参数贝叶斯方法，在微观结构噪声下学习随机微分方程的扩散系数，采用分段常数先验与逆Gamma马尔可夫链，结合前向滤波后向模拟的吉布斯采样，在合成数据与EUR/USD汇率数据上验证了有效性。
2024-03-17 q-fin.ST stat.ME stat.ML
Efficient Bayesian PARCOR Approaches for Dynamic Modeling of Multivariate Time Series
提出了一种贝叶斯格型滤波和平滑方法，用于对多变量非平稳时间序列进行快速准确的建模和推断。这种方法提供了计算的可行性和可解释的时间-频率分析的多元背景下。建议的框架，使我们能够获得后验估计的时变谱密度的个别时间序列组件，以及后验测量的时间-频率关系的多个组件，如时变相干性和部分相干性。建议制定考虑多元动态线性模型（MDLM）的前向和后向时变偏自相关系数（TV-VPARCOR）。在MDLM上下文中使用近似，避免了计算昂贵的计划后验推断的多变量动态PARCOR模型。通过Whittle算法得到了相应时变向量自回归（TV-VAR）系数的近似推断。所提出的TV-VPARCOR表示的一个关键方面是，它们具有较低的维度，因此比TV-VAR表示更有效。TV-VPARCOR模型的性能说明在模拟研究和分析中产生的神经科学和环境应用的多变量非平稳时间数据。模型的性能进行评估，使用拟合优度测量在时间-频率域，也通过评估短期预测的质量。
2019-07-20 stat.AP stat.CO stat.ME
Using Autodiff to Estimate Posterior Moments, Marginals and Samples
本文提出利用物理学中的源项技巧，通过对修改后的边际似然估计器进行自动微分，避免手写向后遍历，从而高效计算大规模并行重要性采样中的后验期望、边缘分布和样本。
2024-06-18 math.ST stat.CO stat.TH
Sparse Bayesian Learning via Stepwise Regression
Cornell University（康奈尔大学）
稀疏贝叶斯学习（SBL）是一个强大的框架，用于在概率模型中实现稀疏性。在这里，我们提出了一个坐标上升算法SBL称为相关匹配追踪（RMP），并表明，由于其噪声方差参数为零，RMP表现出惊人的连接逐步回归。此外，我们得到新的保证逐步回归算法，这也揭示了RMP。我们对前向回归的保证改进了具有噪声的正交匹配追踪的确定性和概率结果。我们对确定系统的后向回归的分析最终在子集选择问题的最优解的残差上有界，如果满足，则保证结果的最优性。据我们所知，这个界限是第一个可以在多项式时间内计算的，并且主要取决于矩阵的最小奇异值。我们报告使用各种特征选择算法的数值实验。值得注意的是，RMP及其限制性变体都是有效的，并保持了相关特征的强大性能。
2021-06-11 cs.IT cs.LG math.IT
Lagged Exact Bayesian Online Changepoint Detection with Parameter Estimation
识别序列数据生成过程中的变化，称为变点检测，已经成为各种领域越来越重要的主题。最近开发的一种方法，我们称之为精确在线贝叶斯变点检测（EXO），已经显示出合理的结果与实时更新的有效计算。该方法基于\textit{forward}递归消息传递算法。然而，从这些方法检测到的变化点是不稳定的。我们提出了一种新的算法称为滞后精确在线贝叶斯变点检测（LEXO），提高了检测的准确性和稳定性，通过将$\ell$ -时间滞后的推理。新算法在前向EXO算法中增加了一个递归的\textit{backward}步，计算复杂度与增加的滞后数成线性关系。与政权相关的参数估计也被开发。三个常见的变点模型的仿真研究表明，从LEXO检测到的变点是更稳定的，从LEXO参数估计有相当低的MSE比EXO。我们说明了两个现实世界的数据例子比较EXO和LEXO的方法的适用性。
2018-10-13 stat.ML
Bayesian inversion of convolved hidden Markov models with applications in reservoir prediction
讨论了卷积隐马尔可夫模型的有效评估问题。底层被定义为一个不可观测的分类一阶马尔可夫链，而中间层被假设为一个高斯空间变量的条件下的底层。因此，该层无条件地表现为高斯混合空间变量。我们观察到顶层作为具有高斯误差的中间层的卷积。重点是评估的分类和高斯混合变量的观察，我们在贝叶斯反演框架。该模型被定义为使地下地震AVO数据反演成岩性/流体类，并评估相关的弹性材料属性。由于似然函数中的空间耦合，后验归一化常数的评估在计算上要求很高，并且蛮力、单站点更新马尔可夫链蒙特卡罗算法收敛太慢而没有用。我们构造了两类近似后验模型，我们分析和有效地使用递归向前向后算法进行评估。这些近似的后验密度被用作独立建议马尔可夫链蒙特卡罗算法中的建议密度，以评估正确的后验模型。一组合成现实的例子。建议的近似提供了有效的建议密度，这导致在马尔可夫链蒙特卡罗算法的接受概率在0.10-0.50的范围内。最后给出了一个岩性/流体地震反演实例。可以可靠地预测岩性/流体类别和弹性材料性质。
2017-10-18 physics.geo-ph stat.AP
Fast Matrix Square Roots with Applications to Gaussian Processes and Bayesian Optimization
Columbia University（哥伦比亚大学）；The Broad Institute（博德研究所）；Facebook（脸书）；Cornell University（康奈尔大学）；University of Pennsylvania（宾夕法尼亚大学）；Uber AI（优步人工智能）
矩阵平方根及其逆经常出现在机器学习中，例如，当从高维高斯$\mathcal{N}(\mathbf 0, \mathbf K)$采样或相对于协方差矩阵$\mathbf K$白化向量$\mathbf b$时。虽然现有的方法通常需要$O(N^3)$计算，我们引入了一个高效的二次时间算法计算$\mathbf K^{1/2} \mathbf b$，$\mathbf K^{-1/2} \mathbf b$，和他们的衍生物通过矩阵向量乘法（MVMs）。我们的方法结合了Krylov子空间方法与有理逼近，通常实现$4$小数位的准确性与少于$100$的MVMs。此外，反向传递需要很少的额外计算。我们证明了我们的方法对像$50,\!000 \times 50,\!000$这样大的矩阵的适用性-远远超出了传统方法-而且逼近误差很小。将这种增强的可扩展性应用于变分高斯过程、贝叶斯优化和吉布斯采样，可以产生更强大的模型，具有更高的准确性。
2020-11-30 cs.LG stat.ML
Deep Learning and Bayesian inference for Inverse Problems
本文探讨如何将贝叶斯深度学习用于反问题，提出利用指数族近似计算，并区分物理约束与数据驱动两种场景，以降低计算成本并量化不确定性。
2023-08-28 stat.ML
A Recursive Theory of Variational State Estimation: The Dynamic Programming Approach
Lund University（隆德大学）
本文提出了一种基于动态规划的变分状态估计理论，通过逆向和正向方法结合，得出了变分双滤波公式，并展示了在特定模型中价值函数递归的可行性。
2025-12-16 stat.ME
Some Bayesian Perspectives on Clinical Trials
George Mason University（乔治梅森大学）
本文通过贝叶斯框架分析三个临床试验案例，提出两臂二项式试验的精确逆向归纳方法，改进样本量和功率平衡，适用于罕见病等患者节省场景。
2026-02-11 stat.ME
BNN-DP: Robustness Certification of Bayesian Neural Networks via Dynamic Programming
Technical University of Delft（代尔夫特理工大学）；Trinity College Dublin（都柏林圣三一学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出BNN-DP框架，通过动态规划高效计算贝叶斯神经网络的预测边界，实现对抗鲁棒性认证，在紧致性和效率上优于现有方法达四个数量级。
2023-06-19 cs.LG stat.ML
Efficient Bayesian network structure learning via local Markov boundary search
University of Chicago（芝加哥大学）
我们分析了在没有特定分布假设的情况下，从一般环境中的观测数据学习有向无环图模型的复杂性。我们的方法是信息理论，并使用本地马尔可夫边界搜索过程，以递归地构建祖先集的基础图形模型。也许令人惊讶的是，我们表明，对于某些图形集成，一个简单的前向贪婪搜索算法（即没有向后修剪阶段）足以学习每个节点的马尔可夫边界。这大大提高了样本的复杂性，我们表明，在最多的多项式的节点数。然后，这是适用于学习整个图下一个新的可识别性条件，概括现有的条件从文献中。作为一个独立的兴趣，我们建立有限样本保证的问题，从数据中恢复马尔可夫边界。此外，我们将我们的结果的特殊情况下，多项式树，简化的假设，并提供明确的条件下，多项式树是可识别的和可学习的多项式时间。我们进一步说明了该算法的性能，这是很容易实现的，在模拟研究。我们的方法是通用的，适用于离散或连续分布没有分布的假设，并因此揭示了最小的假设，需要有效地学习结构的有向图形模型从数据。
2021-11-21 cs.AI cs.LG math.ST
Sampling from Bayesian Neural Network Posteriors with Symmetric Minibatch Splitting Langevin Dynamics
Nanyang Technological U.（南洋理工大学）；ETH Zürich（苏黎世联邦理工学院）；City University of Hong Kong（香港城市大学）；University of Edinburgh（爱丁堡大学）
本文提出对称小批量分裂朗之万动力学采样算法 SMS-UBU，在仅用一个小批量的情况下实现 $O(h^2 d^{1/2})$ 偏差控制，并在多个数据集上验证其采样的贝叶斯神经网络具有更优的校准性能。
2025-03-11 cs.LG cs.NA math.NA
Nonlinear filtering based on density approximation and deep BSDE prediction
Chalmers University of Technology and University of Gothenburg（查尔姆斯理工大学和哥德堡大学）；Saab AB（萨博集团）
本文提出一种基于反向随机微分方程的近似贝叶斯滤波方法，利用非线性费曼-卡茨表示和深度BSDE方法与神经网络近似未归一化滤波密度，通过离线训练实现在线应用，并在两个数值例子中验证了理论收敛速度。
2026-04-19 cs.NA math.NA stat.CO
Bayesian statistical inverse problems for a coupled Fokker-Planck-Darcy system
Imperial College London（帝国理工学院）；California Institute of Technology（加州理工学院）；Scuola Normale Superiore（比萨高等师范学院）
本研究针对耦合Fokker-Planck-Darcy系统，提出贝叶斯统计反演方法恢复空间介电常数，建立适定性与稳定性估计，证明后验收缩速率，并通过数值实验验证理论结果。
2026-09-24 cs.NA math.AP math.NA
Amortized Filtering and Smoothing with Conditional Normalizing Flows
School of Mathematics and Statistics（数学与统计学学院）；The University of Sydney（悉尼大学）；Faculty of Science and Technology（科学与技术学院）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港 Baptist大学）；Institute of Computational Mathematics and Scientific/Engineering Computing（计算数学与科学/工程计算研究所）；Academy of Mathematics and Systems Science（数学与系统科学学院）；Chinese Academy of Sciences（中国科学院）；Department of Mathematics and Center for Computation and Technology（数学系与计算技术中心）；Louisiana State University（路易斯安那州立大学）
FLUID提出一种基于流的统一近似推断框架，通过共享摘要统计量学习正向和反向流，实现高维非线性动态系统的滤波与平滑，并支持轨迹外推与隐式正则化。
2026-09-21 cs.LG cs.NA math.NA
