$α$ Belief Propagation as Fully Factorized Approximation
KTH Royal Institute of Technology(KTH皇家理工学院);Huawei Technologies Sweden AB(华为技术瑞典有限公司)
置信传播(BP)算法在无环图中可以进行精确推理,但在有环图中性能较差,且其解的理解有限。这项工作给出了一个可解释的信念传播规则,实际上是一个本地化的$α$发散最小化。我们称这种算法为$α$置信传播($α$ -BP)。$α$ -BP的性能进行了测试,在MAP(最大后验)推理问题,其中$α$ -BP可以优于(循环)BP的显着保证金,即使在全连通图。
2019-08-23 cs.LG stat.ML
Neural Enhanced Belief Propagation on Factor Graphs
University of Amsterdam(阿姆斯特丹大学);UvA-Bosch Delta Lab(阿姆斯特丹大学博世三角洲实验室)
图模型是局部相关随机变量的结构化表示。对这些随机变量进行推理的传统方法是使用置信传播进行推理。当提供真实的数据生成过程时,置信传播可以推断树结构因子图中的最优后验概率估计。然而,在许多情况下,我们可能只能获得数据生成过程的差近似,或者我们可能会面临因子图中的循环,导致次优估计。在这项工作中,我们首先扩展图神经网络的因子图(FG-GNN)。然后,我们提出了一个新的混合模型,结合运行的FG-GNN与信念传播。FG-GNN在每次推理迭代时接收来自置信传播的输入消息,并输出它们的校正版本。因此,我们得到一个更准确的算法,结合了信念传播和图神经网络的好处。我们将我们的想法纠错解码任务,我们表明,我们的算法可以优于信念传播LDPC码在突发信道。
2021-03-16 cs.LG stat.ML
Understanding the Behavior of Belief Propagation
Graz University of Technology(格拉茨技术大学)
概率图模型是建模高维分布的一个强大的概念。除了对分布建模之外,概率图模型还为执行统计推断提供了一个优雅的框架;然而,由于高维性质,人们必须经常使用近似方法来实现这一目的。信念传播执行近似推理,是有效的,并回顾了一个很长的成功故事。然而,在大多数情况下,信念传播缺乏任何性能和收敛保证。许多现实的问题,提出了图形模型与循环,但是,在这种情况下,既不能保证置信传播提供准确的估计,也不能保证它收敛。本文研究了模型参数对置信传播性能的影响。我们特别感兴趣的是它们对(i)不动点的数目,(ii)收敛性,和(iii)逼近质量的影响。
2022-09-05 cs.AI cs.LG stat.ML
Local stability of Belief Propagation algorithm with multiple fixed points
INRIA Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗克库尔分部);INRIA Saclay(法国国家信息与自动化研究所萨克雷分部)
统计物理学和计算机科学中的许多问题都可以表示为马尔可夫随机场上的边际概率的计算。置信传播是一种迭代的消息传递算法,当底层图是树时,它精确地计算这样的边缘。但它已经获得了它的普及,作为一种有效的方法来近似他们在更一般的情况下,即使它可以表现出多个不动点,并不能保证收敛。本文利用图的结构和不动点处的信念值,给出了一个新的信念传播不动点局部稳定的充分条件。这使得通常的理解相信,信念传播在稀疏图上表现得更好。
2012-07-19 cs.LG stat.ML
Belief Propagation, Bethe Approximation and Polynomials
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
因子图是在机器学习、编码理论和统计物理中简洁地表示概率分布的重要模型。当使用因子图时,自然会出现一些计算问题,例如计算边际和配分函数。置信传播是解决这些问题的一种广泛使用的迭代法。然而,尽管它在经验上取得了显著的成功,但人们对信念传播的正确性和效率知之甚少。Bethe approximation是一个基于优化的框架,用于近似分区函数。虽然已知Bethe近似的稳定点与置信度传播的不动点一致,但一般来说,Bethe近似与配分函数之间的关系并不清楚。已经观察到,对于少数几类因子图,Bethe近似总是给出配分函数的下界,这将它们与一般情况区分开来,在一般情况下,下界和上界都不普遍成立。这已被严格证明的永久性和有吸引力的图形模型。在这里,我们考虑二部正常因子图,并表明,如果当地的约束满足一定的分析性质,贝特近似是一个下界的分区函数。我们通过多项式的透镜观察因子图得到这个结果。在这个过程中,我们将Bethe近似重新表述为多项式优化问题。我们的充分条件的下限性质举行的灵感来自最近的发展,在理论上的真正稳定的多项式。我们相信,这种查看因子图及其与真实稳定性的联系的方式可能会更好地理解一般的信念传播和因子图。
2017-08-08 cs.DS cs.IT cs.LG
$α$ Belief Propagation for Approximate Inference
KTH Royal Institute of Technology(KTH皇家理工学院)
置信传播(BP)算法是一种广泛应用于图模型推理的消息传递方法。无环图上的BP算法在线性时间内收敛。但对于有环图,BP算法的性能是不确定的,其解的理解也是有限的。为了更好地了解BP在一般的图形,我们推导出一个可解释的信念传播算法,是由本地化的$α$发散最小化的动机。我们称这种算法为$α$置信传播($α$ -BP)。事实证明,$α$ -BP推广了标准BP。此外,本文还研究了$α$ -BP算法的收敛性.我们证明并给出了$α$ -BP算法的收敛条件。随机图上的实验模拟验证了我们的理论结果。最后给出了$α$ -BP在实际问题中的应用。
2020-06-27 cs.LG stat.ML
Discrete Independent Component Analysis (DICA) with Belief Propagation
我们将置信传播应用到由离散独立隐变量和离散可见变量组成的贝叶斯二分图。该网络是独立分量分析(DICA)的离散对应物,它以因子图的形式进行推理和学习。一套完整的模拟报告的字符图像从MNIST数据集。结果表明,源代码实现的阶乘代码有助于建立一个良好的生成模型的数据,可用于各种推理模式。
2015-05-26 cs.CV cs.LG stat.ML
Expectation Particle Belief Propagation
University of Oxford(牛津大学)
我们提出了一个原始的基于粒子的实现的循环信念传播(LPB)算法的两两马尔可夫随机场(MRF)的连续状态空间。该算法构造自适应有效的建议分布近似的局部信念在每个音符的MRF。这是通过考虑指数族中的建议分布来实现的,其参数在期望传播(EP)框架中迭代更新。所提出的粒子方案提供一致的估计的LBP边缘的粒子数的增加。我们证明,它提供了更准确的结果比粒子信念传播(PBP)算法的Ihler和McAllester(2009)在一小部分的计算成本,另外更强大的经验。我们的算法在每次迭代的计算复杂度是粒子数的平方。我们还提出了一个加速实现与次二次计算复杂性,仍然提供相合估计的循环BP边缘分布,并执行几乎以及原始程序。
2015-06-19 cs.AI stat.CO stat.ML
SOLBP: Second-Order Loopy Belief Propagation for Inference in Uncertain Bayesian Networks
University of Michigan(密歇根大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);BI Norwegian Business School(BI挪威商学院);University of Brescia(布雷西亚大学)
在二阶不确定贝叶斯网络中,条件概率仅在分布内已知,即,概率大于概率Delta方法已被应用于扩展精确的一阶推理方法,通过贝叶斯网络派生的和-积网络传播均值和方差,从而表征认知不确定性或模型本身的不确定性。或者,二阶信念传播已被证明为多树,但不是一般的有向无环图结构。在这项工作中,我们将Loopy Belief Propagation扩展到二阶贝叶斯网络的设置,从而产生二阶Loopy Belief Propagation(SOLBP)。对于二阶贝叶斯网络,SOLBP生成的推理与和积网络生成的推理一致,同时计算效率更高,可扩展性更强。
2022-08-16 cs.AI cs.LG stat.ML
On Convergence Rate of the Gaussian Belief Propagation Algorithm for Markov Networks
高斯置信传播(Gaussian Belief Propagation,BP)算法是信号处理和涉及马尔可夫网络的统计学习中最重要的分布式算法之一。众所周知,当高斯图是非循环图时,该算法在有限次迭代中从马尔可夫网络上的高维联合密度函数正确地计算边缘密度函数。最近还知道,该算法产生正确的边际平均值的循环高斯图的行走可和的条件下渐近。本文进一步推广了这一收敛结果,证明了在行走可和条件下,收敛是指数收敛的,并给出了一个简单的收敛速度界。
2019-03-06 eess.SP stat.ML
Accuracy Bounds for Belief Propagation
Toyota Technological Institute, Chicago(丰田理工学院芝加哥分校)
置信传播(BP)算法被广泛应用于对任意图形模型进行近似推理,部分原因是其出色的经验性质和性能。然而,理论上很少知道这个算法何时会表现良好。利用最近的BP算法的收敛性和稳定性分析以及二进制系统近似的新结果,我们推导出BP算法对离散值随机变量的两两马尔可夫随机场的估计误差的界。我们的边界是相对简单的计算,并与以前的方法相比,毫不逊色的边界BP的准确性。
2012-06-20 cs.AI cs.LG stat.ML
Belief Propagation Neural Networks
Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
学习神经求解器已成功地用于解决组合优化和决策问题。然而,这些问题的更一般的计数变体在很大程度上仍然通过手工制作的求解器来解决。为了弥补这一差距,我们引入了信念传播神经网络(BPNNs),一类参数化的运营商,操作因子图和广义的信念传播(BP)。在其最严格的形式中,BPNN层(BPNN-D)是一个学习的迭代算子,可证明对于任何参数的选择都保持了BP的许多理想属性。从经验上讲,我们表明,通过训练BPNN-D学习比原始BP更好地执行任务:它在Ising模型上的收敛速度快1.7倍,同时提供更严格的边界。在具有挑战性的模型计数问题上,BPNN计算估计值的速度比最先进的手工方法快100倍,同时返回具有可比质量的估计值。
2020-07-01 cs.LG stat.ML
Fast Convergence of Belief Propagation to Global Optima: Beyond Correlation Decay
置信传播是图模型中概率推理和推断的基本消息传递算法。虽然它在树上是精确的,但在大多数应用中,置信传播是在具有循环的图上运行的。理解“循环”信念传播的行为一直是机器学习研究人员面临的主要挑战,并且BP的正收敛结果在强假设下是已知的,这意味着底层图形模型表现出相关性的衰减。我们表明,在一个自然的初始化,BP收敛迅速的全局最优的Bethe自由能伊辛模型在任意图,只要伊辛模型是\emph{ferromagnetic}(即邻居喜欢对齐)。即使这样的模型可以表现出长范围的相关性,并且可能有多个次优BP固定点,这也是成立的。我们还显示了一个类似的结果迭代(天真)平均场方程,也许令人惊讶的是,这两个结果是无量纲的意义上说,一个常数的迭代次数已经提供了一个很好的估计贝特/平均场自由能。
2019-05-24 cs.DS cs.LG math.PR
Negative Tree Reweighted Belief Propagation
University of California, Irvine(加利福尼亚大学欧文分校)
我们引入了一类新的下界的马尔可夫随机场的对数分区函数,它利用了反向詹森不等式。特别是,我们的方法近似的棘手的分布使用负权重的生成树的线性组合。该技术是树加权置信传播算法的下界对应物,该算法使用具有正权重的生成树的凸组合来提供相应的上界。我们开发的算法来优化和收紧的有效参数值的非凸集的下界。我们的算法概括了平均场方法(包括天真和结构化的平均场近似),它包括作为一个限制的情况下。
2012-03-15 cs.LG stat.ML
Relaxed Scheduling for Scalable Belief Propagation
ITMO University(圣彼得堡国立信息技术机械与光学大学);IST Austria(奥地利科学技术研究所)
利用大规模硬件并行性的能力是机器学习最近加速进展的关键推动因素之一。因此,已经投入了相当大的努力来开发经典机器学习算法的高效并行变体。然而,尽管并行化的知识丰富,一些经典的机器学习算法往往难以并行化的同时保持收敛。在本文中,我们专注于高效的并行算法的关键机器学习任务的推理图形模型,特别是在基本的信念传播算法。我们解决的挑战,有效地并行化这一经典的范例,显示如何利用可扩展的放松的并行程序在这种情况下。我们提出了一个广泛的实证研究,表明我们的方法优于以前的并行信念传播实现的可扩展性和挂钟收敛时间方面,在一系列的实际应用。
2021-01-18 cs.AI cs.DC cs.LG
Block Belief Propagation for Parameter Learning in Markov Random Fields
Virginia Tech(弗吉尼亚理工大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
训练马尔可夫随机场的传统学习方法需要对所有变量进行推理以计算似然梯度。因此,这些方法的迭代复杂度与图形模型的大小成比例。在本文中,我们提出了\emph{block belief propagation learning}(BBPL),它使用块坐标更新的近似边缘计算近似梯度,消除了需要计算整个图形模型的推理。因此,BBPL的迭代复杂度不随图的大小而缩放。我们证明,该方法收敛到相同的解决方案,通过使用完整的推理每次迭代,尽管这些近似值,我们经验证明其可扩展性的改进标准的训练方法。
2018-11-09 cs.LG stat.ML
Belief propagation for permutations, rankings, and partial orders
Santa Fe Institute(圣塔菲研究所)
许多数据集通过指示哪个团队赢得了比赛,用户喜欢哪个项目,或者谁感染了谁来提供有关排序或排名的部分信息。我们定义了一个连续自旋系统的吉布斯分布是后验分布的排列,这些相互作用的概率模型。使用腔方法,我们推导出一个信念传播算法,计算每个节点的位置的边缘分布。此外,Bethe自由能让我们近似一个偏序的线性扩展的数量,并在竞争的概率模型之间进行模型选择,例如Bradley-Terry-Luce噪声比较模型及其表兄弟。
2022-05-05 cond-mat.stat-mech cs.AI cs.LG
PGMax: Factor Graphs for Discrete Probabilistic Graphical Models and Loopy Belief Propagation in JAX
DeepMind(深度思维);Massachusetts Institute of Technology(麻省理工学院)
PGMax是一个开源Python包,用于(a)轻松地将离散概率图形模型(PGM)指定为因子图;以及(b)在JAX中自动运行高效和可扩展的循环置信传播(LBP)。PGMax支持具有易处理因子的一般因子图,并利用GPU等现代加速器进行推理。与现有的替代方案相比,PGMax获得了更高质量的推理结果,推理时间加速高达三个数量级。PGMax还与快速增长的JAX生态系统无缝交互,开辟了新的研究可能性。我们的源代码、示例和文档可以在https://github.com/deepmind/PGMax上找到。
2023-03-24 cs.AI cs.LG stat.ML
Belief Propagation in Conditional RBMs for Structured Prediction
UC Irvine(加州大学欧文分校)
限制玻尔兹曼机(RBM)和条件玻尔兹曼机(CRBM)是有着广泛应用的流行模型。在以前的工作中,这类模型的学习一直由对比发散CD及其变体主导。置信传播~(BP)算法被认为对于条件RBM ~(例如,Mnih等人[2011]),并且在应用于学习时不如CD ~(例如,Larochelle等人[2012])。在这项工作中,我们提出了一个基于矩阵的CRBM,这是很容易扩展到数以万计的可见和隐藏的单位的信念传播算法的实现。我们证明,在最大似然和最大利润率学习,训练条件RBM与BP作为推理例程可以提供显着更好的结果比目前最先进的CD方法结构化预测问题。我们还包括训练CRBM与BP的实用指南,和CRBM的学习和推理算法的相互作用的一些见解。
2017-03-02 cs.CV cs.LG stat.ML
Self-Guided Belief Propagation -- A Homotopy Continuation Method
Graz University of Technology(格拉茨工业大学);University of Cambridge(剑桥大学);Alan Turing Institute(阿兰·图灵研究所)
针对图模型概率推断中BP精度不足或不收敛的问题,提出逐步引入成对势的自引导置信传播(SBP)同伦延拓方法,理论上证明其在吸引模型中可达Bethe近似全局最优,实验验证其在BP收敛时精度更高、不收敛时仍能得到唯一稳定准确解,且不增加计算负担。
2021-03-19 cs.LG stat.ML
Bayesian image segmentations by Potts prior and loopy belief propagation
Tohoku University(东北大学);Yamagata University(山形大学);National Tsing Hua University(国立清华大学)
提出了一种基于Potts先验和循环置信传播的贝叶斯图像分割模型。该贝叶斯模型涉及到Potts模型的两两交互作用、彩色图像建模中高斯分布的平均向量和协变矩阵。这些术语通常被称为统计机器学习理论中的超参数。为了确定这些超参数,我们提出了一个新的方案,超参数估计的基础上的条件最大化熵的Potts先验。该算法基于循环置信传播算法。此外,我们比较了我们的条件最大熵框架与传统的最大似然框架,也澄清如何在LBP的Potts模型的一阶相变影响我们的超参数估计程序。
2014-08-18 cond-mat.dis-nn cond-mat.stat-mech cs.CV
Gaussian Ensemble Belief Propagation for Efficient Inference in High-Dimensional Systems
CSIRO’s Data61(联邦科学与工业研究组织Data61);Monash University(莫纳什大学)
针对机器学习中高维模型推理的核心挑战,提出结合EnKF和GaBP优势的GEnBP算法,通过图模型低秩局部消息传递更新样本集合,高效处理高维复杂场景,在多问题结构中准确性与计算效率优于现有方法。
2025-02-11 cs.LG stat.ML
Solving Non-parametric Inverse Problem in Continuous Markov Random Field using Loopy Belief Propagation
Yamagata University(山形大学);Tohoku University(东北大学)
在本文中,我们解决的逆问题,或统计机器学习问题,在马尔可夫随机场与非参数的连续变量的成对能量函数。逆问题由极大似然估计来表示。由于两个问题,极大似然估计的精确处理是棘手的:(1)它包括配分函数的评估和(2)它是以函数优化的形式制定的。我们通过使用Bethe近似来避免问题(1)。Bethe逼近是一种等价于循环置信传播的逼近技术。问题(2)可以通过使用正交函数展开来解决。正交函数展开可以将函数优化问题转化为函数优化问题。我们的方法可以提供一个解析形式的解决方案的反问题的框架内的贝特近似。
2017-03-28 cond-mat.dis-nn cs.LG stat.ML
Belief Propagation for Maximum Coverage on Weighted Bipartite Graph and Application to Text Summarization
Ibaraki University(茨城大学)
本文从最大覆盖问题的角度研究文本摘要。在图论中,文本摘要的任务被看作是二分图上的最大覆盖问题。近年来,利用统计力学的思想,提出了基于置信传播的无权图最大覆盖算法。我们将其推广到加权图的文本摘要。最后,我们将我们的算法应用于加权双正则随机图的最大覆盖性能验证。我们还将其应用于表示开放文本数据集上真实文档的二分图,并检验了文本摘要的性能。实验结果表明,该算法在某些文本摘要环境下具有比贪婪型算法更好的性能。
2020-03-26 cs.CL cs.IR cs.LG