SOLBP: Second-Order Loopy Belief Propagation for Inference in Uncertain Bayesian Networks
University of Michigan(密歇根大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);BI Norwegian Business School(BI挪威商学院);University of Brescia(布雷西亚大学)
在二阶不确定贝叶斯网络中,条件概率仅在分布内已知,即,概率大于概率Delta方法已被应用于扩展精确的一阶推理方法,通过贝叶斯网络派生的和-积网络传播均值和方差,从而表征认知不确定性或模型本身的不确定性。或者,二阶信念传播已被证明为多树,但不是一般的有向无环图结构。在这项工作中,我们将Loopy Belief Propagation扩展到二阶贝叶斯网络的设置,从而产生二阶Loopy Belief Propagation(SOLBP)。对于二阶贝叶斯网络,SOLBP生成的推理与和积网络生成的推理一致,同时计算效率更高,可扩展性更强。
2022-08-16 cs.AI cs.LG stat.ML
Gaussian Ensemble Belief Propagation for Efficient Inference in High-Dimensional Systems
CSIRO’s Data61(联邦科学与工业研究组织Data61);Monash University(莫纳什大学)
针对机器学习中高维模型推理的核心挑战,提出结合EnKF和GaBP优势的GEnBP算法,通过图模型低秩局部消息传递更新样本集合,高效处理高维复杂场景,在多问题结构中准确性与计算效率优于现有方法。
2025-02-11 cs.LG stat.ML
$α$ Belief Propagation as Fully Factorized Approximation
KTH Royal Institute of Technology(KTH皇家理工学院);Huawei Technologies Sweden AB(华为技术瑞典有限公司)
置信传播(BP)算法在无环图中可以进行精确推理,但在有环图中性能较差,且其解的理解有限。这项工作给出了一个可解释的信念传播规则,实际上是一个本地化的$α$发散最小化。我们称这种算法为$α$置信传播($α$ -BP)。$α$ -BP的性能进行了测试,在MAP(最大后验)推理问题,其中$α$ -BP可以优于(循环)BP的显着保证金,即使在全连通图。
2019-08-23 cs.LG stat.ML
Optimal Inference in Crowdsourced Classification via Belief Propagation
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
众包系统在解决低收入工人的大规模标签任务方面很受欢迎。我们研究了在流行的Dawid-Skene模型下从可能错误的众包标签中恢复真实标签的问题。为了解决这个推理问题,最近已经提出了几种算法,但最好的已知保证仍然显着大于基本限制。我们通过在基本极限上引入更严格的下限并证明置信传播(BP)完全匹配这个下限来缩小这一差距。保证BP的最优性是最强的,在这个意义上,它是信息理论上不可能的任何其他算法正确地标记一个更大的部分的任务。实验结果表明,BP是接近最佳的所有制度的考虑,并提高竞争的最先进的算法。
2017-01-12 cs.LG stat.ML
Block Belief Propagation for Parameter Learning in Markov Random Fields
Virginia Tech(弗吉尼亚理工大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
训练马尔可夫随机场的传统学习方法需要对所有变量进行推理以计算似然梯度。因此,这些方法的迭代复杂度与图形模型的大小成比例。在本文中,我们提出了\emph{block belief propagation learning}(BBPL),它使用块坐标更新的近似边缘计算近似梯度,消除了需要计算整个图形模型的推理。因此,BBPL的迭代复杂度不随图的大小而缩放。我们证明,该方法收敛到相同的解决方案,通过使用完整的推理每次迭代,尽管这些近似值,我们经验证明其可扩展性的改进标准的训练方法。
2018-11-09 cs.LG stat.ML
Implicit Posterior Variational Inference for Deep Gaussian Processes
National University of Singapore(新加坡国立大学);MIT(麻省理工学院)
多层深度高斯过程(DGP)模型是具有更强表达能力的GP模型的分层组合。精确的DGP推理是棘手的,这促使了最近的发展确定性和随机近似方法。不幸的是,确定性的近似方法产生一个有偏的后验信念,而随机的是计算成本高。本文提出了一种隐式后验变分推理(IPVI)框架DGP,可以理想地恢复一个无偏的后验信念,仍然保持时间效率。受生成对抗网络的启发,我们的IPVI框架通过将DGP推理问题转换为两人游戏来实现这一点,有趣的是,其中纳什均衡与无偏后验信念相一致。因此,这启发我们设计一种最佳响应动态算法来搜索纳什均衡(即,无偏的后验信念)。经验评估表明,IPVI优于国家的最先进的DGP的近似方法。
2019-10-26 cs.LG stat.ML
Efficient Incremental Belief Updates Using Weighted Virtual Observations
Offtopia(奥夫托皮亚);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对贝叶斯概率程序中Monte Carlo推理的增量信念更新问题,提出通过构建加权虚拟观测并优化权重来重建后验的方法,具有高效、鲁棒且与具体编程语言无关的特性。
2024-02-10 cs.LG stat.ML
PGMax: Factor Graphs for Discrete Probabilistic Graphical Models and Loopy Belief Propagation in JAX
DeepMind(深度思维);Massachusetts Institute of Technology(麻省理工学院)
PGMax是一个开源Python包,用于(a)轻松地将离散概率图形模型(PGM)指定为因子图;以及(b)在JAX中自动运行高效和可扩展的循环置信传播(LBP)。PGMax支持具有易处理因子的一般因子图,并利用GPU等现代加速器进行推理。与现有的替代方案相比,PGMax获得了更高质量的推理结果,推理时间加速高达三个数量级。PGMax还与快速增长的JAX生态系统无缝交互,开辟了新的研究可能性。我们的源代码、示例和文档可以在https://github.com/deepmind/PGMax上找到。
2023-03-24 cs.AI cs.LG stat.ML
Discrete Independent Component Analysis (DICA) with Belief Propagation
我们将置信传播应用到由离散独立隐变量和离散可见变量组成的贝叶斯二分图。该网络是独立分量分析(DICA)的离散对应物,它以因子图的形式进行推理和学习。一套完整的模拟报告的字符图像从MNIST数据集。结果表明,源代码实现的阶乘代码有助于建立一个良好的生成模型的数据,可用于各种推理模式。
2015-05-26 cs.CV cs.LG stat.ML
Parsimonious Computing: A Minority Training Regime for Effective Prediction in Large Microarray Expression Data Sets
PES University(PES大学);BITS Pilani K K Birla Goa Campus(比尔拉科学技术学院K K比拉果阿校区);North Carolina State University(北卡罗来纳州立大学);IIT Patna(印度理工学院巴特那分校)
在浅层神经网络中,对反向传播中使用的学习率进行严格的数学研究已经成为一种必要。这是因为实验证据需要理论背景的支持。这样的理论可能有助于减少实验工作量,以实现预期的结果。我们利用均方误差的函数性质,即Lipschitz连续性来计算浅层神经网络的学习率。我们声称,我们的方法减少了调优工作,特别是当一个重要的语料库的数据进行处理。我们取得了显着的改善,节省计算成本,同时超过文献报道的预测精度。这里提出的学习率是Lipschitz常数的倒数。这项工作的结果在一个新的方法进行基因表达推断的大型微阵列数据集与有限的计算资源约束的浅架构。数据集的随机子采样,自适应Lipschitz常数启发学习率和新的激活函数A-ReLU的组合帮助实现了论文中报告的结果。
2020-05-18 cs.LG q-bio.QM stat.ML
Efficient inference in stochastic block models with vertex labels
Eindhoven University of Technology(埃因霍温理工大学);Microsoft Research - INRIA joint centre(微软研究院-法国国家信息与自动化研究所联合中心)
我们研究了两个社区的随机块模型,其中顶点包含边信息的形式的顶点标签。这些顶点标签可以具有任意的标签分布,这取决于社区成员。我们分析了流行的信念传播算法的线性化版本。我们表明,该算法实现了最高的精度可能的网络参数的某个函数有一个唯一的固定点。每当该函数具有多个固定点时,置信传播算法可能不会最佳地执行。我们发现,增加顶点标签中的信息可能会减少不动点的数量,从而导致最优的信念传播。
2018-08-17 cs.LG math.PR stat.ML
Adversarially-Robust Inference on Trees via Belief Propagation
本文研究树结构图模型在恶意对手破坏部分叶节点时的根节点后验推断问题,证明当破坏比例满足 ρ ≤ c ε 且信噪比超过 O(log d) 时,信念传播算法可实现信息论最优的鲁棒推断。
2024-03-31 cs.DS math.PR math.ST
Anytime Belief Propagation Using Sparse Domains
University of Massachusetts(马萨诸塞大学);University College London(伦敦大学学院)
置信传播算法在边缘推理中得到了广泛的应用,但在大范围变量和高阶因子的情况下,置信传播算法的速度较慢。以前的工作提供了有用的近似,以促进对这些模型的推断,但缺乏重要的随时属性,如:1)提供准确和一致的边缘时,提前停止,2)改善近似时,运行时间更长,3)收敛到BP的不动点。为此,我们提出了一个消息传递算法,工作在稀疏(部分实例化)域,并使用动态消息调度收敛到一致的边缘。该算法递增地增长稀疏域,使用基于边缘推理目标的梯度的优先级方案来选择要添加的下一个值。我们的实验证明了本地任何时候的一致性和快速收敛,提供了显着的加速比BP,以获得低误差边缘:高达25倍的网格模型,高达6倍的真实世界的自然语言处理任务。
2013-11-14 cs.AI cs.LG stat.ML
Generative Modeling with Bayesian Sample Inference
School of Computation, Information;Technology \& Munich Data Science Institute, Technical University of Munich
本文提出一种基于贝叶斯采样推断的生成模型,通过迭代高斯后验推断提升样本质量,并在ImageNet32上优于BFNs和变分扩散模型。
2026-08-17 cs.LG stat.ML
Incremental inference of collective graphical models
Georgia Institute of Technology(佐治亚理工学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
我们认为增量推理问题的集体动力学的聚合数据。特别是,我们解决的问题,估计聚合边际的马尔可夫链从嘈杂的聚合观测增量(在线)的方式。我们提出了一个滑动窗口Sinkhorn信念传播(SW-SBP)算法,利用滑动窗口过滤器的最近的噪声聚集观测以及编码信息从丢弃的观察。我们的算法是建立在最近提出的多边际最优运输的SBP算法,利用标准的信念传播和Sinkhorn算法来解决推理问题,从聚合数据。我们证明了我们的算法的应用程序,如推断人口流动的聚集观察的性能。
2020-06-26 cs.IT cs.LG cs.SY
Active Inference with Reusable State-Dependent Value Profiles
Jacob Poschl
本文提出可重用状态依赖价值轮廓方法,通过信念加权混合实现状态条件策略招募,展示在波动环境中有效适应性控制的计算机制。
2025-12-03 cs.AI cs.LG stat.ML
Neuralizing Efficient Higher-order Belief Propagation
School of Computing(计算机学院);National University of Singapore(新加坡国立大学)
图神经网络模型已被广泛用于在端到端设置中学习图结构化数据的节点表示。这些模型通常依赖于谱图卷积的局部一阶近似,因此无法捕获节点之间的高阶关系信息。概率图模型形成了另一类模型,其在合并此类关系信息时提供了丰富的灵活性,但受限于高阶的低效近似推理算法。在本文中,我们建议结合这些方法来学习更好的节点和图形表示。首先,我们推导出一个有效的近似和积循环信念传播推理算法高阶PGM。然后,我们将消息传递更新嵌入到神经网络中,以在端到端学习中提供推理算法的归纳偏差。这为我们提供了一个足够灵活的模型,可以容纳领域知识,同时保持计算优势。我们进一步提出了用于构建高阶因子的方法,这些因子以节点和边缘特征为条件,并在必要时共享参数。我们的实验评估表明,我们的模型确实捕捉到了高阶信息,在分子数据集中的表现大大优于最先进的$k$阶图神经网络。
2020-10-19 cs.LG stat.ML
Inference with Aggregate Data: An Optimal Transport Approach
Georgia Institute of Technology(佐治亚理工学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
我们认为推理(过滤)问题的概率图模型与聚合数据产生的一个大的人口的个人。提出了一种新的树结构图上的有效的置信传播算法,该算法具有多项式计算复杂性和全局收敛性保证。这与以前的方法相反,这些方法要么随着人口的增长而表现出令人望而却步的复杂性,要么不保证收敛。我们的方法是基于最优运输,或更具体地说,多边际最优运输理论。特别是,我们考虑一个推理问题与总的意见,可以被看作是一个结构化的多边际最优运输问题的成本函数分解根据底层图。因此,著名的Sinkhorn/迭代缩放算法的多边际最优运输可以利用标准的信念传播算法一起建立一个有效的推理方案,我们称之为Sinkhorn信念传播(SBP)。我们进一步专门的SBP算法的情况下,由于其控制和估计的意义与隐马尔可夫模型。我们证明了我们的算法的应用程序,如推断人口流动的聚集观察的性能。我们还表明,在特殊的情况下,观察是由一个单独的,我们的算法自然减少到标准的信念传播算法。
2020-10-03 cs.LG cs.SY eess.SY
Belief Propagation in Conditional RBMs for Structured Prediction
UC Irvine(加州大学欧文分校)
限制玻尔兹曼机(RBM)和条件玻尔兹曼机(CRBM)是有着广泛应用的流行模型。在以前的工作中,这类模型的学习一直由对比发散CD及其变体主导。置信传播~(BP)算法被认为对于条件RBM ~(例如,Mnih等人[2011]),并且在应用于学习时不如CD ~(例如,Larochelle等人[2012])。在这项工作中,我们提出了一个基于矩阵的CRBM,这是很容易扩展到数以万计的可见和隐藏的单位的信念传播算法的实现。我们证明,在最大似然和最大利润率学习,训练条件RBM与BP作为推理例程可以提供显着更好的结果比目前最先进的CD方法结构化预测问题。我们还包括训练CRBM与BP的实用指南,和CRBM的学习和推理算法的相互作用的一些见解。
2017-03-02 cs.CV cs.LG stat.ML
Learning the Structure of Deep Sparse Graphical Models
深度信念网络是对复杂概率分布建模的一种强大方式。然而,学习一个信念网络的结构,特别是一个隐藏的单位,是困难的。印度自助餐过程已被用作一个单一的无限宽的隐藏层的信念网络的有向结构的非参数贝叶斯先验。在本文中,我们介绍了级联印度自助餐过程(CIBP),它提供了一个非参数先验的分层,有向信念网络的结构,是无界的深度和宽度,但允许听话的推理。我们使用CIBP先验与非线性高斯信念网络,因此每个单元可以在离散和连续表示之间改变其行为。我们提供了马尔可夫链蒙特卡罗算法在这些信念网络的推理,并探讨在几个图像数据集上学习的结构。
2010-08-19 stat.ML
Meta reinforcement learning as task inference
DeepMind(深度思维)
人类通过依赖关于自然发生的任务结构的先验知识来实现有效的学习。设计具有类似性质的强化学习(RL)算法引起了人们极大的兴趣。这包括学习学习算法本身的建议,这一想法也被称为元学习。这个想法的一个正式解释是作为一个部分可观察的多任务RL问题,其中任务信息是隐藏的代理。这种未知的任务问题可以减少到马尔可夫决策过程(MDP)的基础上,通过增加一个代理的意见与过去的经验,对任务的信念估计。然而,估计的信念状态是棘手的,在大多数部分观察的MDP。我们提出了一种方法,分别学习的政策和任务信念,利用各种特权信息。我们的方法可以非常有效地解决标准元强化学习环境,以及奖励稀疏且需要长期记忆的复杂连续控制环境。
2019-10-22 cs.AI cs.LG stat.ML
Comparative Study for Inference of Hidden Classes in Stochastic Block Models
CNRS(法国国家科学研究中心);ESPCI ParisTech(巴黎高等物理化工学院);University of Würzburg(维尔茨堡大学);CEA Saclay(法国原子能和替代能源委员会萨克雷中心);Institut de Physique Théorique, IPhT(理论物理研究所(IPhT))
随机块模型中隐类的推断是一个经典问题,有着重要的应用。最常用的方法,这个问题涉及天真的平均场方法或启发式谱方法。最近,置信传播被提出来解决这个问题。在这篇文章中,我们对这三种方法在合成网络上进行了比较研究。我们发现,信念传播表现出更好的性能相比,天真的平均场和频谱的方法。这适用于准确性,计算效率和过度拟合数据的趋势。
2012-07-13 cond-mat.stat-mech cs.LG physics.data-an