Region-based Energy Neural Network for Approximate Inference
KTH Royal Institute of Technology（KTH皇家理工学院）
基于区域的自由能最初被提出用于广义置信传播（GBP）以改进循环置信传播（loopy BP）。在本文中，我们提出了一个基于神经网络的能量模型的推理一般马尔可夫随机场（MRF），直接最小化的区域为基础的自由能定义在区域图。我们称我们的模型为基于区域的能量神经网络（RENN）。与消息传递算法不同，RENN避免了迭代消息传播，速度更快。与最近的基于深度神经网络的模型不同，RENN的推理不需要采样，并且RENN适用于一般的MRF。RENN也可以用于MRF学习。我们的边缘分布估计，分区函数估计，和学习的MRF的实验表明，RENN优于平均场方法，循环BP，GBP，和国家的最先进的神经网络为基础的模型。
2020-06-17 cs.LG stat.ML
$α$ Belief Propagation as Fully Factorized Approximation
KTH Royal Institute of Technology（KTH皇家理工学院）；Huawei Technologies Sweden AB（华为技术瑞典有限公司）
置信传播（BP）算法在无环图中可以进行精确推理，但在有环图中性能较差，且其解的理解有限。这项工作给出了一个可解释的信念传播规则，实际上是一个本地化的$α$发散最小化。我们称这种算法为$α$置信传播（$α$ -BP）。$α$ -BP的性能进行了测试，在MAP（最大后验）推理问题，其中$α$ -BP可以优于（循环）BP的显着保证金，即使在全连通图。
2019-08-23 cs.LG stat.ML
Expectation Particle Belief Propagation
University of Oxford（牛津大学）
我们提出了一个原始的基于粒子的实现的循环信念传播（LPB）算法的两两马尔可夫随机场（MRF）的连续状态空间。该算法构造自适应有效的建议分布近似的局部信念在每个音符的MRF。这是通过考虑指数族中的建议分布来实现的，其参数在期望传播（EP）框架中迭代更新。所提出的粒子方案提供一致的估计的LBP边缘的粒子数的增加。我们证明，它提供了更准确的结果比粒子信念传播（PBP）算法的Ihler和McAllester（2009）在一小部分的计算成本，另外更强大的经验。我们的算法在每次迭代的计算复杂度是粒子数的平方。我们还提出了一个加速实现与次二次计算复杂性，仍然提供相合估计的循环BP边缘分布，并执行几乎以及原始程序。
2015-06-19 cs.AI stat.CO stat.ML
Belief propagation generalizes backpropagation
人工智能中最重要的两种算法是反向传播和置信度传播。尽管它们很重要，但它们之间的联系却没有得到很好的描述。我们发现，当输入到反向传播转换成一个输入到信念传播，使（循环）信念传播可以运行它，然后信念传播的结果编码的结果反向传播，从而反向传播恢复作为一个特殊的情况下，信念传播。换句话说，我们显然是第一次证明，信念传播推广反向传播。我们的分析是一种理论贡献，我们希望它可以调和我们对这些算法的理解，并为工程研究人员提供指导，以改善使用其中一种算法的系统的行为。
2022-10-02 cs.AI cs.LG stat.ML
Belief Propagation Min-Sum Algorithm for Generalized Min-Cost Network Flow
置信传播算法是广泛用于解决图模型优化和统计推断问题的工具。在循环图模型的一般情况下，信念传播是一种在实践中非常成功的启发式方法，尽管它的经验成功通常缺乏理论保证。本文扩展了简短的列表中的特殊情况下，正确性和/或收敛的信念传播算法被证明。通过放松流守恒（平衡）约束，推广了最小和网络流问题的公式，并证明了置信传播算法收敛于精确结果。
2018-07-12 cs.DS stat.ML
Primal View on Belief Propagation
Center for Machine Perception, Czech Technical University（捷克技术大学机器感知中心）
已知循环置信传播（BP）的不动点对应于Bethe变分问题的稳定点，其中我们最小化Bethe自由能，并受归一化和边缘化约束。不幸的是，这并不能完全解释BP，因为BP是一个对偶而不是原始算法来解决贝特变分问题-信念在收敛之前是不可行的。因此，我们对BP没有更好的理解，而只是作为一种算法来寻找一个非线性函数系统的公共零点，这些函数之间没有显式的关系。在这篇理论论文中，我们证明了这些函数实际上是明确相关的-它们是一个单一函数的重参数化的偏导数。这意味着，BP寻求单个函数的稳定点，没有任何约束。这个函数有一个非常自然的形式：它是局部对数配分函数的线性组合，就像贝特熵是局部熵的线性组合一样。
2012-03-15 cs.AI cs.LG stat.ML
Fast Convergence of Belief Propagation to Global Optima: Beyond Correlation Decay
置信传播是图模型中概率推理和推断的基本消息传递算法。虽然它在树上是精确的，但在大多数应用中，置信传播是在具有循环的图上运行的。理解“循环”信念传播的行为一直是机器学习研究人员面临的主要挑战，并且BP的正收敛结果在强假设下是已知的，这意味着底层图形模型表现出相关性的衰减。我们表明，在一个自然的初始化，BP收敛迅速的全局最优的Bethe自由能伊辛模型在任意图，只要伊辛模型是\emph{ferromagnetic}（即邻居喜欢对齐）。即使这样的模型可以表现出长范围的相关性，并且可能有多个次优BP固定点，这也是成立的。我们还显示了一个类似的结果迭代（天真）平均场方程，也许令人惊讶的是，这两个结果是无量纲的意义上说，一个常数的迭代次数已经提供了一个很好的估计贝特/平均场自由能。
2019-05-24 cs.DS cs.LG math.PR
Neuralizing Efficient Higher-order Belief Propagation
School of Computing（计算机学院）；National University of Singapore（新加坡国立大学）
图神经网络模型已被广泛用于在端到端设置中学习图结构化数据的节点表示。这些模型通常依赖于谱图卷积的局部一阶近似，因此无法捕获节点之间的高阶关系信息。概率图模型形成了另一类模型，其在合并此类关系信息时提供了丰富的灵活性，但受限于高阶的低效近似推理算法。在本文中，我们建议结合这些方法来学习更好的节点和图形表示。首先，我们推导出一个有效的近似和积循环信念传播推理算法高阶PGM。然后，我们将消息传递更新嵌入到神经网络中，以在端到端学习中提供推理算法的归纳偏差。这为我们提供了一个足够灵活的模型，可以容纳领域知识，同时保持计算优势。我们进一步提出了用于构建高阶因子的方法，这些因子以节点和边缘特征为条件，并在必要时共享参数。我们的实验评估表明，我们的模型确实捕捉到了高阶信息，在分子数据集中的表现大大优于最先进的$k$阶图神经网络。
2020-10-19 cs.LG stat.ML
Bayesian Random Fields: The Bethe-Laplace Approximation
UC Irvine（加州大学欧文分校）
虽然学习无向图模型参数的最大似然值很难，但对给定数据的参数的后验分布建模更难。然而，无向模型在计算机视觉和文本建模（例如条件随机场）中无处不在。但是，在有向模型的贝叶斯方法已经非常成功的地方，无向模型的正确贝叶斯处理仍然处于婴儿阶段。提出了一种基于拉普拉斯近似的参数后验估计方法。这种近似需要计算特征上的协方差矩阵，我们使用基于循环置信传播的线性响应近似来计算。我们发展的理论，有条件和无条件的随机场或无隐变量。在条件设置中，我们引入了一个新的变形适合结构域的装袋。在这里，我们运行循环最大乘积算法的“super-graph”组成的图形的个别模型从后验采样和连接的约束。在真实数据上的实验验证了所提方法的有效性。
2012-06-27 cs.LG stat.ML
pRSL: Interpretable Multi-label Stacking by Learning Probabilistic Rules
TU Dortmund University（多特蒙德工业大学）
多标签分类中的一个关键任务是对所涉及的类之间的结构进行建模。通过概率和可解释的手段对这种结构进行建模使得能够应用于各种各样的任务，例如zero-shot学习或从不完整数据中学习。在本文中，我们提出了概率规则堆叠学习器（pRSL），它使用概率命题逻辑规则和信念传播相结合的几个潜在的分类器的预测。我们推导出精确和近似推理和学习的算法，并表明pRSL在各种基准数据集上达到了最先进的性能。在这个过程中，我们引入了一个新的多类别的概括的噪声或门。此外，我们报告模拟结果的质量循环的信念传播算法的近似推理在二分噪声或网络。
2021-05-28 cs.LG stat.CO stat.ML
Approximate Inference and Constrained Optimization
SNN, University of Nijmegen（奈梅亨大学 SNN）
循环和广义置信传播是马尔可夫随机场和贝叶斯网络中常用的近似推理算法。这些算法的不动点对应于Bethe和Kikuchi自由能的极值。然而，信念传播并不总是收敛的，这解释了需要显式地最小化菊池/贝特自由能的方法，如CCCP和UPS。在这里，我们描述了一类算法，解决了这一典型的非凸约束最小化菊池自由能通过一系列的凸约束最小化的上限菊池自由能。直觉上，人们会期望更紧的边界会导致更快的算法，这在我们的模拟中确实令人信服地证明了。几个想法被应用到获得紧凸边界，产生戏剧性的加速CCCP。
2012-10-19 cs.AI cs.LG stat.ML
Constrained Approximate Maximum Entropy Learning of Markov Random Fields
Stanford University（斯坦福大学）
马尔可夫随机场（MRF）中的参数估计是一项困难的任务，其中网络上的推理在梯度下降过程的内环中运行。用近似方法（如循环置信传播（LBP））代替精确推理可能会导致收敛性差。在本文中，我们提供了一种不同的方法来结合MRF学习和Bethe近似。我们考虑最大似然马尔可夫网络学习的对偶-矩匹配约束下的熵最大化-然后在所产生的优化问题中近似目标和约束。与以前沿着这些路线的工作（Teh & Welling，2003）不同，我们的公式允许在一般对数线性模型，参数正则化和条件训练中的特征之间共享参数。我们表明，分段训练（萨顿和麦卡勒姆，2005年）是一个非常有限的特殊情况下，这种提法。我们研究了两种优化策略：一种是基于一个单一的凸近似，一种是使用重复的凸近似。我们展示了几个真实网络的结果，证明这些算法可以显着优于循环和分段学习。我们的研究结果还提供了一个框架，用于分析熵目标和约束的不同松弛的权衡。
2012-06-13 cs.LG stat.ML
A Generalized Loop Correction Method for Approximate Inference in Graphical Models
University of Alberta（阿尔伯塔大学）
置信传播（BP）是概率图模型中最流行的推理方法之一。BP保证为树结构返回正确的答案，但对于循环图形模型可能不正确或不收敛。近年来，提出了几种新的基于空腔分布的近似推理算法。这些方法可以通过合并BP消息之间的依赖性来考虑循环的影响。或者，基于区域的近似（导致诸如广义置信传播的方法）通过考虑变量的小集群内的相互作用来改进BP，从而将这些集群内的小循环考虑在内。本文介绍了一种方法，广义环路校正（GLC），受益于这两种类型的环路校正。我们展示了GLC如何与这两个家庭的推理方法，然后提供经验证据表明，GLC有效地工作在一般情况下，可以显着更准确的校正方案。
2012-06-18 cs.AI cs.LG stat.ML
Optimal Learning for Stochastic Optimization with Nonlinear Parametric Belief Models
我们考虑贝叶斯学习问题的信息（知识梯度）的期望值的估计问题的信念模型是非线性的参数。我们的目标是最大化一些度量，同时学习的非线性信念模型的未知参数，通过引导一个顺序的实验过程，这是昂贵的。我们克服了计算的期望值的实验，这是计算上难以处理的问题，通过使用采样近似，这有助于指导实验，但不提供一个准确的估计的未知参数。然后，我们引入了一个resception过程，允许采样模型，以适应新的信息，利用过去的实验。我们从理论上证明了该方法渐近收敛到真实参数，同时最大化我们的度量。我们的经验表明，该过程具有快速收敛，产生良好的结果与非常少量的实验。
2016-11-22 stat.ML
Expectation Consistent Approximate Inference: Generalizations and Convergence
循环置信传播的近似方法，包括期望传播和近似消息传递，在概率推理问题中引起了广泛的关注。本文提出并分析了Opper和Winther的期望一致近似推理方法的推广。所提出的方法，称为广义期望一致性（GEC），可以适用于最大后验概率（MAP）和最小均方误差（MMSE）估计。在这里，我们描述了它的不动点，收敛性和性能相对于副本预测的最优性。
2017-01-24 cs.IT math.IT stat.ML
Inferring Team Strengths Using a Discrete Markov Random Field
我们提出了一个原始的模型，使用马尔可夫随机场，它可以用来生成历史的进攻和防守实力的球队随着时间的推移推断团队的实力。该模型旨在应用于足球或曲棍球等运动，其中比赛结果在有限的离散空间中具有价值。我们使用期望最大化和循环信念传播的组合进行推理。讨论了处理非凸优化问题和高维参数空间的挑战。该模型的性能证明了从英超联赛的职业足球数据。
2013-05-09 stat.ML
MCMC assisted by Belief Propagation
KAIST（韩国科学技术院）；LANL（洛斯阿拉莫斯国家实验室）
马尔可夫链蒙特卡罗（MCMC）和置信传播（BP）是图模型（GM）中最常用的计算推理算法。原则上，MCMC是一种精确的概率方法，然而，它经常遭受指数慢混合。相比之下，BP是一种确定性方法，通常快速，经验上非常成功，但通常缺乏对循环图的准确性的控制。在本文中，我们介绍了MCMC算法校正BP的逼近误差，即，我们提供了一种通过连续的BP感知MCMC来补偿BP误差的方法。我们的框架是基于循环演算（LC）的方法，它允许表达的BP误差作为加权广义循环的总和。虽然完整的系列是计算上棘手的，它是已知的，截断系列，总结所有2-正规循环，是可计算的多项式时间的平面成对二进制GM，它也提供了一个高度准确的近似经验。受此启发，我们首先提出了一个多项式时间近似MCMC计划截断系列一般（非平面）成对二元模型。我们这里的主要思想是使用蠕虫算法，已知在其他（相关）问题中提供快速混合，然后设计一个适当的拒绝方案来采样2-正则循环。此外，我们还设计了一个有效的拒绝免费MCMC计划近似的完整系列。我们设计的主要新颖之处在于利用了循环基的概念，它提供了一个有效的广义循环分解。从本质上讲，建议的MCMC计划运行在转换后的GM建立在非平凡的BP解决方案，我们的实验表明，这种合成的BP和MCMC优于直接MCMC和裸BP计划。
2020-05-11 cs.AI cs.DS stat.ML
Dynamic Trees: A Structured Variational Method Giving Efficient Propagation Rules
动态树是树结构信念网络的混合。它们解决了固定树网络的一些问题，但代价是使精确推理变得难以处理。为此，使用了诸如采样或平均场方法之类的近似方法。然而，平均场近似假设在节点状态上的分解分布。这样的分布在后验中看起来很不协调，因为节点在前验中高度相关。在这里，使用结构化变分方法，其中非证据节点的后验分布本身由动态树近似。事实证明，这种形式可以灵活有效地使用。其结果是一组更新规则，可以通过网络传播信息，以获得完整的变分近似和相关的边缘。该规则比平均场方法更有效，在推理的定量和定性方面都有明显的改进。计算的边缘给出了更好的近似后比一个小玩具问题上的循环传播。
2013-01-16 cs.AI cs.LG stat.ML
