首页/论文/1301.0572

arXiv 1301.05722013-01cs.AI

动态贝叶斯网络中近似推理的期望传播

Expectation Propogation for approximate inference in dynamic Bayesian networks

SNN, University of Nijmegen（奈梅亨大学 SNN）

Tom Heskes, Onno Zoeter

备注：: Appears in Proceedings of the Eighteenth Conference on Uncertainty in Artificial Intelligence (UAI2002)

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

本文将动态贝叶斯网络中近似推理的期望传播描述为Pearl精确置信传播的自然推广.期望传播是一种贪心算法，在许多实际情况下收敛，但并不总是收敛.我们导出了一个双环算法，保证收敛到Bethe自由能的局部最小值.此外，我们证明了（阻尼）期望传播的稳定不动点对应于这个自由能的局部极小值，我们通过将这些算法应用于切换线性动力系统来说明这些算法，并讨论其意义用于一般贝叶斯网络中的近似推理。

英文摘要：

We describe expectation propagation for approximate inference in dynamic Bayesian networks as a natural extension of Pearl s exact belief propagation.Expectation propagation IS a greedy algorithm, converges IN many practical cases, but NOT always.We derive a DOUBLE - loop algorithm, guaranteed TO converge TO a local minimum OF a Bethe free energy.Furthermore, we show that stable fixed points OF (damped) expectation propagation correspond TO local minima OF this free energy, but that the converse need NOT be the CASE .We illustrate the algorithms BY applying them TO switching linear dynamical systems AND discuss implications FOR approximate inference IN general Bayesian networks.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

连续时间贝叶斯网络的期望传播

Expectation Propagation for Continuous Time Bayesian Networks

Stanford University（斯坦福大学）；UC Riverside（加州大学河滨分校）

连续时间贝叶斯网络（CTBN）描述了在连续时间内演化的具有多个状态的结构化随机过程。CTBN是一组变量上的有向（可能是循环的）依赖图，每个变量表示一个有限状态的连续时间马尔可夫过程，其转换模型是其父过程的函数。如前所述，CTBN中的精确推理是棘手的。我们解决问题的近似推理，允许一般查询的证据在连续的时间间隔和离散的时间点。我们展示了如何CTBN可以参数化的指数家庭，并使用这种洞察力来开发集群图中的消息传递方案，并允许我们应用期望传播CTBN。我们的聚类图中的聚类不包含单个时间点上的聚类变量的分布，而是包含整个持续时间内变量轨迹的分布。因此，与离散时间时态模型（如动态贝叶斯网络）不同，我们可以调整时间粒度，以便在不同条件下对不同变量进行推理。

2012-07-04cs.AI

连续时间贝叶斯网络的期望最大化和复持续时间分布

Expectation Maximization and Complex Duration Distributions for Continuous Time Bayesian Networks

Stanford University（斯坦福大学）；UC Riverside（加州大学河滨分校）

连续时间贝叶斯网络（CTBN）描述了在连续时间内演化的具有多个状态的结构化随机过程。CTBN是一组变量上的有向（可能是循环的）依赖图，每个变量表示一个有限状态的连续时间马尔可夫过程，其转换模型是其父过程的函数。我们解决的问题，学习的参数和结构的CTBN从部分观察到的数据。我们展示了如何将期望最大化（EM）和结构期望最大化（SEM）应用于CTBN。EM算法的可用性使我们能够扩展CTBN的表示，以允许更丰富的过渡持续时间分布，称为相位分布。这个类是一个高度表达的半参数表示，它可以任意接近任何持续时间分布。对CTBN框架的这种扩展解决了CTBN和DBN的主要限制之一-对指数/几何分布持续时间的限制。我们提出了一个真实的数据集的人的寿命的实验结果，表明我们的算法学习合理的模型-结构和参数-从部分观察到的数据，并与相位分布的使用，实现了更好的性能比DBN。

2012-07-04cs.AI

近似贝叶斯推理的期望传播

Expectation Propagation for approximate Bayesian inference

Carnegie Mellon University（卡内基梅隆大学）

本文提出了一种新的贝叶斯网络的确定性逼近技术。这种方法，“期望传播”，统一了两个以前的技术：假设密度过滤，卡尔曼滤波器的扩展，和循环的信念传播，在贝叶斯网络的信念传播的扩展。所有这三种算法都试图恢复一个近似分布，该分布在KL散度上接近真实分布。循环信念传播，因为它传播精确的信念状态，是有用的信念网络的有限类别，如那些纯粹是离散的。期望传播通过仅保留某些期望（例如均值和方差）来近似信念状态，并迭代直到这些期望在整个网络中保持一致。这使得它适用于具有离散和连续节点的混合网络。期望传播也在相反的方向上扩展了信念传播-它可以传播更丰富的信念状态，包括节点之间的相关性。高斯混合模型的实验表明，期望传播令人信服地优于具有类似计算成本的方法：拉普拉斯方法，变分贝叶斯和蒙特卡洛。期望传播也提供了一个有效的算法训练贝叶斯点机分类器。

2013-01-10cs.AIcs.LG

基于期望最大化和Turbo深度近似消息传递的贝叶斯深度学习

Bayesian Deep Learning Via Expectation Maximization and Turbo Deep Approximate Message Passing

College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；The Hong Kong University of Science and Technology（香港科技大学）

本文提出EM-TDAMP算法，将DNN学习与压缩建模为稀疏贝叶斯推断问题，通过期望最大化与turbo深度近似消息传递实现高效学习和结构化压缩，并扩展至贝叶斯联邦学习框架，在波士顿房价预测和手写识别中验证了其优势。

2024-06-09cs.AIcs.LG

对话状态跟踪挑战与贝叶斯方法

The Dialog State Tracking Challenge with Bayesian Approach

University of Hamburg（汉堡大学）

生成模型是解决对话状态跟踪问题的最常用的方法之一，它能够以显式的方式对对话假设进行建模。在这种贝叶斯网络模型中，最重要的任务是通过学习并将训练数据反映到以网络状态为条件的用户动作的概率分布中来构建最可靠的用户模型。本文提供了一个全面的学习过程中的贝叶斯框架，强调最先进的理论分析的期望最大化学习算法。

2017-02-20cs.AI

用随机搜索算法从不完全数据中学习贝叶斯网络

Learning Bayesian Networks from Incomplete Data with Stochastic Search Algorithms

George Mason University（乔治梅森大学）；IET（IET公司）

本文介绍了随机搜索方法，包括一个新的随机算法和自适应变异算子，学习贝叶斯网络从不完整的数据。这个问题的特点是一个巨大的解决方案空间与高度多模态景观。最先进的方法都涉及使用确定性方法，如期望最大化算法。这些方法保证找到局部最大值，但不探索其他模式的景观。我们的方法发展了结构和缺失的数据。我们比较我们的随机算法，并表明他们都产生准确的结果。

2013-01-23cs.AIcs.LG

更多相关论文收起更多论文

概率括号符号：多变量系统和静态贝叶斯网络

Probability Bracket Notation: Multivariable Systems and Static Bayesian Networks

Sherman Visual Lab（舍曼视觉实验室）

本文扩展了概率括号符号（PBN）以适用于多变量概率系统和静态贝叶斯网络，通过统一的代数形式定义概率分布和条件期望，提供系统的方法来表示和操作随机变量间的依赖关系，并展示了其在推理和期望计算中的应用。

2026-05-10cs.AImath.PR

贝叶斯结构EM算法

The Bayesian Structural EM Algorithm

University of California, Berkeley（加州大学伯克利分校）

近年来，有一系列关于从数据中学习贝叶斯网络的工作。这一领域的难题之一是如何从不完整的数据中有效地学习信念网络的结构-也就是说，在存在缺失值或隐藏变量的情况下。在最近的一篇论文中，我介绍了一种称为结构EM的算法，它将标准的期望最大化（EM）算法（优化参数）与结构搜索结合起来进行模型选择。该算法基于惩罚似然分数来学习网络，其中包括BIC/MDL分数和贝叶斯分数的各种近似值。在本文中，我扩展结构EM直接处理贝叶斯模型选择。我证明了所得到的算法的收敛性，并展示了如何将其应用于学习一大类概率模型，包括贝叶斯网络及其一些变体。

2013-01-30cs.AIcs.LGstat.ML

连续时间贝叶斯网络分类器工具包

CTBNCToolkit: Continuous Time Bayesian Network Classifier Toolkit

连续时间贝叶斯网络分类器被设计用于多变量流数据的时间分类，当事件的持续时间很重要并且类不随时间变化时。本文介绍了CTBNCToolkit：一个开源的Java工具包，它提供了一个独立的应用程序的时间分类和连续时间贝叶斯网络分类库。CTBNCToolkit实现了连续时间贝叶斯网络分类器的推理算法、参数学习算法和结构学习算法。结构学习算法基于评分函数：提供边际对数似然评分和条件对数似然评分。CTBNCToolkit还提供了一个实现的期望最大化算法的聚类目的。本文介绍了连续时间贝叶斯网络分类器。如何从命令行使用CTBNToolkit在特定部分中进行了描述。工具包中还包括一些示例，以帮助用户了解如何使用该工具包。建议专门用于Java库的一节，以帮助进一步的代码扩展。

2014-04-18cs.AIcs.LGcs.MS

因果关系：在现实世界中实际评估贝叶斯网络的近似指南

Causal datasheet: An approximate guide to practically assess Bayesian networks in the real world

University of Sussex（萨塞克斯大学）；Surgo Foundation（苏尔戈基金会）；Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；University of Washington（华盛顿大学）

在解决现实世界的问题，如改变就医行为，设计干预措施，以改善下游的结果需要了解系统内的因果关系。因果贝叶斯网络（BN）已经被提出作为这样一个强大的方法。然而，在现实世界的应用中，对BN结果的信心通常最多是中等的。这在一定程度上是由于无法验证一些基本事实，因为DAG不可用。如果学习到的DAG与预先存在的域原则冲突，这尤其成问题。在政策一级，必须证明这种分析所产生的见解是正确的，最好是伴随着不确定性估计。在这里，我们提出了Gebru等人（2018）提出的贝叶斯概念的因果扩展，以包括任何给定数据集的近似BN性能预期。为了生成原型因果数据表的结果，我们构建了超过30，000个具有真实数据特征的属性的合成数据集。然后，我们记录了最先进的结构学习算法给出的结果。这些结果用于填充因果数据表，并根据预期性能自动生成建议。作为概念验证，我们使用我们的因果数据表生成工具（CDG-T）来分配预期的性能期望，我们在印度北方邦进行的孕产妇健康调查。

2020-03-12cs.AIcs.LGcs.PF

基于核密度估计的未知连续上下文分布随机贝叶斯优化

Stochastic Bayesian Optimization with Unknown Continuous Context Distribution via Kernel Density Estimation

Nanjing University（南京大学）

针对连续上下文变量分布未知的贝叶斯优化问题，提出基于核密度估计的两种算法，分别优化期望和分布鲁棒目标，实现亚线性贝叶斯累积遗憾。

2023-12-21cs.AIcs.LG

Bayesian伪标签：稳健高效半监督分割的期望最大化

Bayesian Pseudo Labels: Expectation Maximization for Robust and Efficient Semi-Supervised Segmentation

University College London（伦敦大学学院）；GSK R & D（葛兰素史克研发部）

本文研究了切分中的伪标号问题。我们的贡献是四方面的。首先，我们提出了一个新的配方的伪标签的期望最大化（EM）算法明确的统计解释。其次，我们提出了一种纯粹基于原始伪标记的半监督医学图像分割方法，即SegPL。我们证明了SegPL是一种具有竞争力的方法，可以对抗基于2D多类MRI脑肿瘤分割任务和3D二进制CT肺血管分割任务的半监督分割的最先进的一致性正则化方法。与以前的方法相比，SegPL的简单性允许更少的计算成本。第三，我们证明了SegPL的有效性可能源于其对分布外噪声和对抗攻击的鲁棒性。最后，在EM框架下，我们通过变分推理引入了SegPL的概率概括，它在训练过程中学习了伪标签的动态阈值。我们表明，SegPL与变分推理可以执行不确定性估计与黄金标准的方法深度包围。

2022-09-13cs.AIcs.CVcs.LG

基于自上而下调制的WTA网络的贝叶斯信息整合

Bayesian Integration of Information Using Top-Down Modulated WTA Networks

本文研究WTA电路能否整合多个网络中的概率信息，并探讨自上而下调制对推理和学习的提升，结果显示其能高效整合并改善性能，适合神经形态硬件实现。

2023-08-29cs.AI

具有后验混合贝叶斯信念的正则化离线策略优化

Regularized Offline Policy Optimization with Posterior Hybrid Bayesian Belief

Zhejiang University, Hangzhou, China（浙江大学）

提出后验混合贝叶斯信念（PhyB）以统一量化离线强化学习中的认知不确定性，并基于此开发迭代正则化策略优化算法，实现单调改进直至收敛。

2026-07-21cs.AIcs.LG

可扩展贝叶斯推理的反应式消息传递

Reactive Message Passing for Scalable Bayesian Inference

Eindhoven University of Technology（埃因霍温理工大学）；GN Hearing（GN Hearing 公司）

我们引入反应式消息传递（RMP）作为一个框架，用于在概率模型的因子图表示中执行无调度、鲁棒和可扩展的基于消息传递的推理。RMP基于反应式编程风格，仅描述因子图中的节点如何对连接节点中的变化做出反应。没有固定的消息传递时间表提高了推理过程的鲁棒性、可扩展性和执行时间。我们还提出了ReactiveMP.jl，这是一个Julia软件包，用于通过最小化约束Bethe自由能来实现RMP。通过用户定义的局部形式规范和对变分后验分布的因式分解约束，ReactiveMP.jl执行混合消息传递算法，包括信念传播，变分消息传递，期望传播和期望最大化更新规则。实验结果表明，与其他Julia包相比，基于ReactiveMP的RMP在一系列概率模型中进行贝叶斯推理的性能有所提高。特别是，我们表明RMP框架能够在标准膝上计算机上运行具有数十万个随机变量的大规模概率状态空间模型的贝叶斯推理。

2021-12-25cs.AIcs.LG

通过附加结构实现贝叶斯化以捕捉更多不确定性

Be Bayesian by Attachments to Catch More Uncertainty

Nankai University（南开大学）；Beihang University（北京航空航天大学）

针对贝叶斯神经网络不确定性捕捉能力不足的问题，提出带附加贝叶斯结构的ABNN，整合分布外数据不确定性，经理论与实验验证优于现有前沿方法。

2024-04-12cs.AIcs.LG

期望最大化伪标签

Expectation Maximization Pseudo Labels

UCL（伦敦大学学院）；GSK（葛兰素史克）

本研究将伪标记与期望最大化算法关联，提出贝叶斯伪标签及变分生成方法，在四类医学图像半监督分割任务中验证了效果，还证明其可提升表征鲁棒性并开源了代码。

2024-01-26cs.AIcs.CVcs.LG

基于在线贝叶斯推理的终身增量强化学习

Lifelong Incremental Reinforcement Learning with Online Bayesian Inference

Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）

一个长寿的强化学习（RL）代理的核心能力是随着环境的变化逐渐适应其行为，并逐渐建立在以前的经验，以促进未来的学习在现实世界的场景。在本文中，我们提出了终身增量强化学习（LLIRL），一个新的增量算法，有效的终身适应动态环境。我们开发和维护一个包含参数化环境模型的无限混合的库，这相当于在潜在空间中聚类环境参数。混合物上的先验分布被公式化为中国餐馆过程（CRP），该过程在没有任何外部信息的情况下增量地实例化新的环境模型以提前发出环境变化的信号。在终身学习过程中，我们采用期望最大化（EM）算法与在线贝叶斯推理，以完全增量的方式更新混合物。在EM中，E步骤涉及估计环境到集群分配的后验期望，而M步骤更新环境参数以供将来学习。该方法允许所有环境模型根据需要进行调整，其中新模型针对环境变化进行实例化，并且当再次遇到先前看到的环境时检索旧模型。实验表明，LLIRL优于相关的现有方法，并使有效的增量适应各种动态环境的终身学习。

2021-02-12cs.AIcs.LG