$α$ Belief Propagation as Fully Factorized Approximation
KTH Royal Institute of Technology（KTH皇家理工学院）；Huawei Technologies Sweden AB（华为技术瑞典有限公司）
置信传播（BP）算法在无环图中可以进行精确推理，但在有环图中性能较差，且其解的理解有限。这项工作给出了一个可解释的信念传播规则，实际上是一个本地化的$α$发散最小化。我们称这种算法为$α$置信传播（$α$ -BP）。$α$ -BP的性能进行了测试，在MAP（最大后验）推理问题，其中$α$ -BP可以优于（循环）BP的显着保证金，即使在全连通图。
2019-08-23 cs.LG stat.ML
Neural Enhanced Belief Propagation on Factor Graphs
University of Amsterdam（阿姆斯特丹大学）；UvA-Bosch Delta Lab（阿姆斯特丹大学博世三角洲实验室）
图模型是局部相关随机变量的结构化表示。对这些随机变量进行推理的传统方法是使用置信传播进行推理。当提供真实的数据生成过程时，置信传播可以推断树结构因子图中的最优后验概率估计。然而，在许多情况下，我们可能只能获得数据生成过程的差近似，或者我们可能会面临因子图中的循环，导致次优估计。在这项工作中，我们首先扩展图神经网络的因子图（FG-GNN）。然后，我们提出了一个新的混合模型，结合运行的FG-GNN与信念传播。FG-GNN在每次推理迭代时接收来自置信传播的输入消息，并输出它们的校正版本。因此，我们得到一个更准确的算法，结合了信念传播和图神经网络的好处。我们将我们的想法纠错解码任务，我们表明，我们的算法可以优于信念传播LDPC码在突发信道。
2021-03-16 cs.LG stat.ML
Perception-Based Beliefs for POMDPs with Visual Observations
Ruhr-University Bochum（博德姆鲁尔大学）；Radboud University（拉德博德大学）；Eindhoven University of Technology（埃因霍温理工大学）；Ruhr University Bochum（博德姆鲁尔大学）
本文提出基于感知的POMDP信念框架，通过图像分类器将视觉观测转化为状态分布，提升高维观测下的决策规划性能。
2026-02-05 cs.LG
Expectation Propagation for approximate Bayesian inference
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种新的贝叶斯网络的确定性逼近技术。这种方法，“期望传播”，统一了两个以前的技术：假设密度过滤，卡尔曼滤波器的扩展，和循环的信念传播，在贝叶斯网络的信念传播的扩展。所有这三种算法都试图恢复一个近似分布，该分布在KL散度上接近真实分布。循环信念传播，因为它传播精确的信念状态，是有用的信念网络的有限类别，如那些纯粹是离散的。期望传播通过仅保留某些期望（例如均值和方差）来近似信念状态，并迭代直到这些期望在整个网络中保持一致。这使得它适用于具有离散和连续节点的混合网络。期望传播也在相反的方向上扩展了信念传播-它可以传播更丰富的信念状态，包括节点之间的相关性。高斯混合模型的实验表明，期望传播令人信服地优于具有类似计算成本的方法：拉普拉斯方法，变分贝叶斯和蒙特卡洛。期望传播也提供了一个有效的算法训练贝叶斯点机分类器。
2013-01-10 cs.AI cs.LG
Understanding the Behavior of Belief Propagation
Graz University of Technology（格拉茨技术大学）
概率图模型是建模高维分布的一个强大的概念。除了对分布建模之外，概率图模型还为执行统计推断提供了一个优雅的框架;然而，由于高维性质，人们必须经常使用近似方法来实现这一目的。信念传播执行近似推理，是有效的，并回顾了一个很长的成功故事。然而，在大多数情况下，信念传播缺乏任何性能和收敛保证。许多现实的问题，提出了图形模型与循环，但是，在这种情况下，既不能保证置信传播提供准确的估计，也不能保证它收敛。本文研究了模型参数对置信传播性能的影响。我们特别感兴趣的是它们对（i）不动点的数目，（ii）收敛性，和（iii）逼近质量的影响。
2022-09-05 cs.AI cs.LG stat.ML
Local stability of Belief Propagation algorithm with multiple fixed points
INRIA Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔分部）；INRIA Saclay（法国国家信息与自动化研究所萨克雷分部）
统计物理学和计算机科学中的许多问题都可以表示为马尔可夫随机场上的边际概率的计算。置信传播是一种迭代的消息传递算法，当底层图是树时，它精确地计算这样的边缘。但它已经获得了它的普及，作为一种有效的方法来近似他们在更一般的情况下，即使它可以表现出多个不动点，并不能保证收敛。本文利用图的结构和不动点处的信念值，给出了一个新的信念传播不动点局部稳定的充分条件。这使得通常的理解相信，信念传播在稀疏图上表现得更好。
2012-07-19 cs.LG stat.ML
Belief Propagation, Bethe Approximation and Polynomials
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
因子图是在机器学习、编码理论和统计物理中简洁地表示概率分布的重要模型。当使用因子图时，自然会出现一些计算问题，例如计算边际和配分函数。置信传播是解决这些问题的一种广泛使用的迭代法。然而，尽管它在经验上取得了显著的成功，但人们对信念传播的正确性和效率知之甚少。Bethe approximation是一个基于优化的框架，用于近似分区函数。虽然已知Bethe近似的稳定点与置信度传播的不动点一致，但一般来说，Bethe近似与配分函数之间的关系并不清楚。已经观察到，对于少数几类因子图，Bethe近似总是给出配分函数的下界，这将它们与一般情况区分开来，在一般情况下，下界和上界都不普遍成立。这已被严格证明的永久性和有吸引力的图形模型。在这里，我们考虑二部正常因子图，并表明，如果当地的约束满足一定的分析性质，贝特近似是一个下界的分区函数。我们通过多项式的透镜观察因子图得到这个结果。在这个过程中，我们将Bethe近似重新表述为多项式优化问题。我们的充分条件的下限性质举行的灵感来自最近的发展，在理论上的真正稳定的多项式。我们相信，这种查看因子图及其与真实稳定性的联系的方式可能会更好地理解一般的信念传播和因子图。
2017-08-08 cs.DS cs.IT cs.LG
$α$ Belief Propagation for Approximate Inference
KTH Royal Institute of Technology（KTH皇家理工学院）
置信传播（BP）算法是一种广泛应用于图模型推理的消息传递方法。无环图上的BP算法在线性时间内收敛。但对于有环图，BP算法的性能是不确定的，其解的理解也是有限的。为了更好地了解BP在一般的图形，我们推导出一个可解释的信念传播算法，是由本地化的$α$发散最小化的动机。我们称这种算法为$α$置信传播（$α$ -BP）。事实证明，$α$ -BP推广了标准BP。此外，本文还研究了$α$ -BP算法的收敛性.我们证明并给出了$α$ -BP算法的收敛条件。随机图上的实验模拟验证了我们的理论结果。最后给出了$α$ -BP在实际问题中的应用。
2020-06-27 cs.LG stat.ML
A visual introduction to Gaussian Belief Propagation
Imperial College London（帝国理工学院）；DeepMind（深度思维）
在这篇文章中，我们提出了一个直观的介绍高斯信念传播（GBP），一个近似的概率推理算法，通过传递任意结构的因子图的节点之间的消息。作为循环置信传播的一种特殊情况，GBP更新仅依赖于本地信息，并且将独立于消息调度收敛。我们的主要论点是，考虑到最近的趋势，在计算硬件，GBP有正确的计算属性作为一个可扩展的分布式概率推理框架，为未来的机器学习系统。
2021-07-05 cs.AI cs.CV cs.LG
Loopy Belief Propagation for Approximate Inference: An Empirical Study
最近，研究者们证明了在具有纠错码循环的贝叶斯网络中使用Pearls多叉树算法的循环信念传播，其中最引人注目的例子是Turbo码的性能接近Shannon极限，其译码算法等价于链结构贝叶斯网络中的循环信念传播.在本文中，我们要问：纠错码上下文中是否有什么特殊之处，或者循环传播在更一般的设置中是否作为一种近似推理方案工作？我们比较了在四种贝叶斯网络结构中使用循环传播计算的边缘值和精确的边缘值，包括两个真实世界的网络：ALARM和QMR.我们发现循环信念经常收敛，并且当它们收敛时，它们给出了正确边缘值的一个很好的近似.然而，在QMR网络上，循环信念振荡，并且与正确的后验没有明显的关系.我们对这些振荡的原因进行了初步的研究，并指出一些防止它们的简单方法会导致错误的结果。
2013-01-23 cs.AI cs.LG
Universal Learning of Stochastic Dynamics for Exact Belief Propagation using Bernstein Normalizing Flows
本文提出结合归一化流与 Bernstein 多项式的模型，既能通用逼近非线性随机动力学，又能支持解析信念传播，在高度非线性、非加性非高斯噪声系统中优于现有数据驱动方法。
2025-09-19 cs.LG cs.SY eess.SY
Multi-Agent Decentralized Belief Propagation on Graphs
Qualcomm（高通）；Northwestern University（西北大学）
我们考虑的问题的交互式部分可观察马尔可夫决策过程（I-POMDPs），其中代理位于通信网络的节点。具体来说，我们假设所有消息都有一个特定的消息类型。此外，每个代理根据交互式信念状态、本地观察到的信息以及通过网络从其邻居接收到的消息做出单独的决策。在这种情况下，代理的集体目标是通过与邻居交换信息来最大化网络上的全局平均回报。我们提出了一个分散的信念传播算法，并证明了我们的算法的收敛性。最后，我们展示了我们的框架的多个应用程序。我们的工作似乎是第一次研究分散的信念传播算法的网络多智能体I-POMDPs。
2020-11-10 cs.AI cs.LG
Approximation-Aware Dependency Parsing by Belief Propagation
Johns Hopkins University（约翰斯·霍普金斯大学）
我们展示了如何训练Smith和Reynner（2008）的快速依赖解析器以提高准确性。这个解析器可以考虑边之间的高阶交互，同时保持O（n^3）的运行时间。它输出具有最大预期召回率的解析-但为了速度，该预期是在仅近似构造的后验分布下采用的，使用通过结构化因子的循环信念传播。我们展示了如何调整模型参数来补偿这种近似引入的误差，通过遵循训练数据上的实际损失的梯度。我们通过反向传播找到这个梯度。也就是说，我们将整个解析器（近似和所有）视为可微电路，就像Stoyanov et al.（2011）和Domke（2010）对循环CRF所做的那样。所得到的训练解析器获得更高的准确性与更少的迭代的信念传播比条件对数似然训练。
2015-08-10 cs.CL cs.LG
Discrete Independent Component Analysis (DICA) with Belief Propagation
我们将置信传播应用到由离散独立隐变量和离散可见变量组成的贝叶斯二分图。该网络是独立分量分析（DICA）的离散对应物，它以因子图的形式进行推理和学习。一套完整的模拟报告的字符图像从MNIST数据集。结果表明，源代码实现的阶乘代码有助于建立一个良好的生成模型的数据，可用于各种推理模式。
2015-05-26 cs.CV cs.LG stat.ML
Neural Enhanced Belief Propagation for Data Association in Multiobject Tracking
University of California San Diego（加州大学圣地亚哥分校）
由多目标跟踪（MOT）方法实现的态势感知技术将在自主导航和应用海洋科学等领域创造新的服务和应用。置信传播（BP）是贝叶斯MOT的一种最先进的方法，但完全依赖于统计模型和预处理的传感器测量。在本文中，我们建立了一个混合的方法，基于模型和数据驱动的MOT。所提出的神经增强置信传播（NEBP）方法通过从原始传感器数据中学习到的信息来补充BP，其目标是改善数据关联并拒绝虚警测量。我们在nuScenes自动驾驶数据集上评估了我们的NEBP方法用于MOT的性能，并证明它可以优于最先进的参考方法。
2022-06-16 cs.CV cs.LG eess.SP
Circular Belief Propagation for Approximate Probabilistic Inference
Ecole Normale Supérieure（巴黎高等师范学院）；Université de Lille（里尔大学）；Iktos SA（Iktos公司）；Institut de Neurosciences de la Timone（timone神经科学研究所）
本文提出循环置信传播（CBP），通过学习检测和消除循环引起的虚假相关性和置信度放大，在二元概率图上显著优于标准置信传播，并接近先前算法的性能。
2024-03-17 cs.AI cs.LG
SOLBP: Second-Order Loopy Belief Propagation for Inference in Uncertain Bayesian Networks
University of Michigan（密歇根大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；BI Norwegian Business School（BI挪威商学院）；University of Brescia（布雷西亚大学）
在二阶不确定贝叶斯网络中，条件概率仅在分布内已知，即，概率大于概率Delta方法已被应用于扩展精确的一阶推理方法，通过贝叶斯网络派生的和-积网络传播均值和方差，从而表征认知不确定性或模型本身的不确定性。或者，二阶信念传播已被证明为多树，但不是一般的有向无环图结构。在这项工作中，我们将Loopy Belief Propagation扩展到二阶贝叶斯网络的设置，从而产生二阶Loopy Belief Propagation（SOLBP）。对于二阶贝叶斯网络，SOLBP生成的推理与和积网络生成的推理一致，同时计算效率更高，可扩展性更强。
2022-08-16 cs.AI cs.LG stat.ML
The Role of Normalization in the Belief Propagation Algorithm
INRIA Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔分部）；INRIA Saclay（法国国家信息与自动化研究所萨克雷分部）
统计物理和计算机科学中的一个重要问题可以表示为马尔可夫随机场上边际概率的计算。当底层图是树时，置信传播算法是计算这些边缘的精确过程，作为在更一般的情况下近似它们的有效方法，它已经获得了普及。在本文中，我们专注于一个方面的算法，没有得到那么多的关注，在文献中，这是正常化的消息的效果。我们特别表明，对于一个大类的规范化策略，它是可以只专注于信念收敛。在此之后，我们表达的必要条件和充分条件的局部稳定的不动点的图的结构和信念值在不动点。我们还明确了规范化常数和Bethe自由能之间的一些联系。
2011-01-21 cs.LG
Residual Belief Propagation for Topic Modeling
Soochow University（苏州大学）；City University of Hong Kong（香港城市大学）
快速的收敛速度是训练潜在狄利克雷分配（LDA）的一个重要特性，特别是在大规模数据集的在线和并行主题建模中。本文提出了一种新的残差置信传播（RBP）算法，以加快训练LDA的收敛速度。所提出的RBP使用一种通知调度方案来进行异步消息传递，该方案以更高的优先级传递快速收敛的消息，以在每次学习迭代中影响那些缓慢收敛的消息。广泛的实证研究证实，RBP显着减少了训练时间，直到收敛，同时实现了比其他国家的最先进的LDA训练算法，包括变分贝叶斯（VB），折叠吉布斯采样（GS），循环信念传播（BP），和残留VB（RVB）低得多的预测困惑。
2012-04-30 cs.IR cs.LG
Automatic Rao-Blackwellization for Sequential Monte Carlo with Belief Propagation
LJK（LJK实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；ENS – PSL University（巴黎高等师范学院-巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
针对状态空间模型精确贝叶斯推断难、基础SMC方法对复杂模型近似效果差的问题，提出结合置信传播与采样式SMC的混合推断算法，实现自动Rao-Blackwell化，对高斯树模型可获精确解。
2023-12-15 cs.LG stat.CO
Convergence analysis of the information matrix in Gaussian belief propagation
Carnegie Mellon University（卡内基梅隆大学）；University of Macau（澳门大学）；The University of Hong Kong（香港大学）
高斯置信传播（BP）已被广泛用于大规模网络（诸如智能电网、通信网络和社交网络）中的分布式估计，其中本地测量/观察分散在广阔的地理区域上。然而，高斯BP的收敛仍然是一个悬而未决的问题。在本文中，我们考虑高斯BP的收敛性，特别是集中在信息矩阵的收敛性。我们解析地证明了交换信息矩阵对任意半正定初值收敛，并且它到唯一正定极限矩阵的距离以指数形式快速减小.
2017-04-13 cs.LG
Learning unbelievable marginal probabilities
University of Rochester（罗切斯特大学）；Columbia University（哥伦比亚大学）
Loopy belief propagation在具有循环的图形模型上执行近似推理。人们可能希望通过调整模型参数来补偿近似值。用于此目的的学习算法以前已经探索过了，并且已经声称每一组局部一致的边缘都可以从在图形模型上运行的置信传播中产生。相反，在这里，我们表明，许多概率分布的边际不能通过使用任何一组模型参数或任何学习算法的信念传播。我们称这种边缘化为“难以置信”。只要贝特自由能的海森函数在目标边缘不是正定的，就会出现这个问题。所有用于信念传播的学习算法在这些情况下必然失败，产生甚至可能比预学习近似更差的信念或信念集。然后，我们表明，平均不准确的信念，每个信念传播使用模型参数扰动一些学习的平均值，可以实现令人难以置信的边际。
2011-06-02 cs.AI cs.LG
Accuracy Bounds for Belief Propagation
Toyota Technological Institute, Chicago（丰田理工学院芝加哥分校）
置信传播（BP）算法被广泛应用于对任意图形模型进行近似推理，部分原因是其出色的经验性质和性能。然而，理论上很少知道这个算法何时会表现良好。利用最近的BP算法的收敛性和稳定性分析以及二进制系统近似的新结果，我们推导出BP算法对离散值随机变量的两两马尔可夫随机场的估计误差的界。我们的边界是相对简单的计算，并与以前的方法相比，毫不逊色的边界BP的准确性。
2012-06-20 cs.AI cs.LG stat.ML
Belief Propagation Neural Networks
Stanford University（斯坦福大学）；Shanghai Jiao Tong University（上海交通大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
学习神经求解器已成功地用于解决组合优化和决策问题。然而，这些问题的更一般的计数变体在很大程度上仍然通过手工制作的求解器来解决。为了弥补这一差距，我们引入了信念传播神经网络（BPNNs），一类参数化的运营商，操作因子图和广义的信念传播（BP）。在其最严格的形式中，BPNN层（BPNN-D）是一个学习的迭代算子，可证明对于任何参数的选择都保持了BP的许多理想属性。从经验上讲，我们表明，通过训练BPNN-D学习比原始BP更好地执行任务：它在Ising模型上的收敛速度快1.7倍，同时提供更严格的边界。在具有挑战性的模型计数问题上，BPNN计算估计值的速度比最先进的手工方法快100倍，同时返回具有可比质量的估计值。
2020-07-01 cs.LG stat.ML
Fast Convergence of Belief Propagation to Global Optima: Beyond Correlation Decay
置信传播是图模型中概率推理和推断的基本消息传递算法。虽然它在树上是精确的，但在大多数应用中，置信传播是在具有循环的图上运行的。理解“循环”信念传播的行为一直是机器学习研究人员面临的主要挑战，并且BP的正收敛结果在强假设下是已知的，这意味着底层图形模型表现出相关性的衰减。我们表明，在一个自然的初始化，BP收敛迅速的全局最优的Bethe自由能伊辛模型在任意图，只要伊辛模型是\emph{ferromagnetic}（即邻居喜欢对齐）。即使这样的模型可以表现出长范围的相关性，并且可能有多个次优BP固定点，这也是成立的。我们还显示了一个类似的结果迭代（天真）平均场方程，也许令人惊讶的是，这两个结果是无量纲的意义上说，一个常数的迭代次数已经提供了一个很好的估计贝特/平均场自由能。
2019-05-24 cs.DS cs.LG math.PR
Pull Message Passing for Nonparametric Belief Propagation
University of Michigan（密歇根大学）
我们提出了一个“拉”的方法来近似产品的高斯混合物内的消息更新的非参数信念传播（NBP）推理。现有的NBP方法通常将连续值潜变量之间的消息表示为高斯混合模型。为了避免在循环图的计算困难，NBP需要这样的混合物的产品的近似。基于采样的乘积近似已经显示出对NBP推理的有效性。然而，在传统的“推”消息更新过程中使用的这种近似很快变得计算上禁止在高维变量上的多模态分布。相比之下，我们提出了一个“拉”的方法，作为非参数信念传播（PMPNBP）算法的拉消息传递，并证明其有效的推理的可行性。我们报告的结果使用实验从现有的NBP方法，PAMPAS，用于推断一个铰接结构在混乱的姿态。从这个说明性问题的结果发现，PMPNBP具有更大的能力，有效地缩放其混合物中的组分的数量，从而提高推理精度。
2018-07-27 cs.CV cs.LG
BeliefPPG: Uncertainty-aware Heart Rate Estimation from PPG signals via Belief Propagation
ETH Zürich（苏黎世联邦理工学院）
本研究提出BeliefPPG方法，结合神经网络与置信传播处理PPG信号，实现了具备校准不确定性的心率估计，在八个公开数据集的交叉验证中展现出鲁棒性与当前最优性能。
2023-06-14 cs.CV cs.LG eess.SP
Negative Tree Reweighted Belief Propagation
University of California, Irvine（加利福尼亚大学欧文分校）
我们引入了一类新的下界的马尔可夫随机场的对数分区函数，它利用了反向詹森不等式。特别是，我们的方法近似的棘手的分布使用负权重的生成树的线性组合。该技术是树加权置信传播算法的下界对应物，该算法使用具有正权重的生成树的凸组合来提供相应的上界。我们开发的算法来优化和收紧的有效参数值的非凸集的下界。我们的算法概括了平均场方法（包括天真和结构化的平均场近似），它包括作为一个限制的情况下。
2012-03-15 cs.LG stat.ML
Relaxed Scheduling for Scalable Belief Propagation
ITMO University（圣彼得堡国立信息技术机械与光学大学）；IST Austria（奥地利科学技术研究所）
利用大规模硬件并行性的能力是机器学习最近加速进展的关键推动因素之一。因此，已经投入了相当大的努力来开发经典机器学习算法的高效并行变体。然而，尽管并行化的知识丰富，一些经典的机器学习算法往往难以并行化的同时保持收敛。在本文中，我们专注于高效的并行算法的关键机器学习任务的推理图形模型，特别是在基本的信念传播算法。我们解决的挑战，有效地并行化这一经典的范例，显示如何利用可扩展的放松的并行程序在这种情况下。我们提出了一个广泛的实证研究，表明我们的方法优于以前的并行信念传播实现的可扩展性和挂钟收敛时间方面，在一系列的实际应用。
2021-01-18 cs.AI cs.DC cs.LG
Block Belief Propagation for Parameter Learning in Markov Random Fields
Virginia Tech（弗吉尼亚理工大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
训练马尔可夫随机场的传统学习方法需要对所有变量进行推理以计算似然梯度。因此，这些方法的迭代复杂度与图形模型的大小成比例。在本文中，我们提出了\emph{block belief propagation learning}（BBPL），它使用块坐标更新的近似边缘计算近似梯度，消除了需要计算整个图形模型的推理。因此，BBPL的迭代复杂度不随图的大小而缩放。我们证明，该方法收敛到相同的解决方案，通过使用完整的推理每次迭代，尽管这些近似值，我们经验证明其可扩展性的改进标准的训练方法。
2018-11-09 cs.LG stat.ML
Belief propagation for permutations, rankings, and partial orders
Santa Fe Institute（圣塔菲研究所）
许多数据集通过指示哪个团队赢得了比赛，用户喜欢哪个项目，或者谁感染了谁来提供有关排序或排名的部分信息。我们定义了一个连续自旋系统的吉布斯分布是后验分布的排列，这些相互作用的概率模型。使用腔方法，我们推导出一个信念传播算法，计算每个节点的位置的边缘分布。此外，Bethe自由能让我们近似一个偏序的线性扩展的数量，并在竞争的概率模型之间进行模型选择，例如Bradley-Terry-Luce噪声比较模型及其表兄弟。
2022-05-05 cond-mat.stat-mech cs.AI cs.LG
PGMax: Factor Graphs for Discrete Probabilistic Graphical Models and Loopy Belief Propagation in JAX
DeepMind（深度思维）；Massachusetts Institute of Technology（麻省理工学院）
PGMax是一个开源Python包，用于（a）轻松地将离散概率图形模型（PGM）指定为因子图;以及（b）在JAX中自动运行高效和可扩展的循环置信传播（LBP）。PGMax支持具有易处理因子的一般因子图，并利用GPU等现代加速器进行推理。与现有的替代方案相比，PGMax获得了更高质量的推理结果，推理时间加速高达三个数量级。PGMax还与快速增长的JAX生态系统无缝交互，开辟了新的研究可能性。我们的源代码、示例和文档可以在https://github.com/deepmind/PGMax上找到。
2023-03-24 cs.AI cs.LG stat.ML
Belief Propagation Algorithm for Portfolio Optimization Problems
Akita Prefectural University（秋田县立大学）；Tohoku University（东北大学）
利用复制分析方法对具有绝对偏差和预期损失模型的投资组合优化问题的最优解的典型行为进行了估计。Ciliberti和M.梅扎尔[Eur.物理学B 57，175（2007）];然而，他们还没有开发出一种近似的推导方法来找到关于给定收益集的最优投资组合。利用Bethe自由能理论，提出了一种求解投资组合优化问题的基于置信传播的近似算法，并通过数值实验验证了该算法与副本分析算法的一致性.进一步证明了H. Konno和H. Yamazaki提出的绝对偏差模型和均值-方差模型的最优解具有相同的典型行为，并利用副本分析和置信传播算法进行了验证。
2010-09-09 cond-mat.stat-mech cs.LG math.OC
Belief propagation for networks with loops
University of Michigan（密歇根大学）；Santa Fe Institute（圣塔菲研究所）；Center for the Study of Complex Systems, University of Michigan（密歇根大学复杂系统研究中心）
置信传播是一种广泛使用的消息传递方法，用于解决网络上的概率模型，如流行病模型，自旋模型和贝叶斯图模型，但它存在严重的缺点，即它在包含短循环的网络的常见情况下效果不佳。在这里，我们提供了一个解决方案，这个长期存在的问题，推导出一个信念传播方法，允许快速计算系统中的概率分布与短循环，可能具有高密度，以及给出表达式的熵和配分函数，这是出了名的难以计算的数量。使用伊辛模型作为一个例子，我们表明，我们的方法在真实和合成网络上都给出了很好的结果，大大提高了标准的消息传递方法。我们还讨论了我们的方法的潜在应用到各种其他问题。
2021-04-24 cond-mat.stat-mech cs.LG cs.SI
Neural Enhanced Belief Propagation for Cooperative Localization
University of California, San Diego（加州大学圣地亚哥分校）
位置感知网络将为现代便利、应用海洋科学和公共安全引入创新服务和应用。在本文中，我们建立了一个混合的方法，基于模型和数据驱动的推理。我们考虑一个合作定位（CL）的情况下，在无线网络中的移动代理的目的是本地化自己与其他代理进行成对的观察和交换位置信息。分布式CL在大型代理网络的传统方法是信念传播（BP），这是完全基于模型的，是已知的遭受提供不一致（过度自信）的估计。所提出的方法解决了这些限制，通过补充BP与图神经网络（GNN）提供的学习信息。数值实验表明，该方法可以提高估计精度，避免过度自信的信念，而其计算复杂性仍然与BP算法相当。值得注意的是，通过不明确解决用于GNN训练的损失函数中的过度自信来获得更一致的信念。
2021-05-27 cs.LG cs.MA cs.RO
Belief Propagation in Conditional RBMs for Structured Prediction
UC Irvine（加州大学欧文分校）
限制玻尔兹曼机（RBM）和条件玻尔兹曼机（CRBM）是有着广泛应用的流行模型。在以前的工作中，这类模型的学习一直由对比发散CD及其变体主导。置信传播~（BP）算法被认为对于条件RBM ~（例如，Mnih等人[2011]），并且在应用于学习时不如CD ~（例如，Larochelle等人[2012]）。在这项工作中，我们提出了一个基于矩阵的CRBM，这是很容易扩展到数以万计的可见和隐藏的单位的信念传播算法的实现。我们证明，在最大似然和最大利润率学习，训练条件RBM与BP作为推理例程可以提供显着更好的结果比目前最先进的CD方法结构化预测问题。我们还包括训练CRBM与BP的实用指南，和CRBM的学习和推理算法的相互作用的一些见解。
2017-03-02 cs.CV cs.LG stat.ML
Self-Guided Belief Propagation -- A Homotopy Continuation Method
Graz University of Technology（格拉茨工业大学）；University of Cambridge（剑桥大学）；Alan Turing Institute（阿兰·图灵研究所）
针对图模型概率推断中BP精度不足或不收敛的问题，提出逐步引入成对势的自引导置信传播（SBP）同伦延拓方法，理论上证明其在吸引模型中可达Bethe近似全局最优，实验验证其在BP收敛时精度更高、不收敛时仍能得到唯一稳定准确解，且不增加计算负担。
2021-03-19 cs.LG stat.ML
Bayesian image segmentations by Potts prior and loopy belief propagation
Tohoku University（东北大学）；Yamagata University（山形大学）；National Tsing Hua University（国立清华大学）
提出了一种基于Potts先验和循环置信传播的贝叶斯图像分割模型。该贝叶斯模型涉及到Potts模型的两两交互作用、彩色图像建模中高斯分布的平均向量和协变矩阵。这些术语通常被称为统计机器学习理论中的超参数。为了确定这些超参数，我们提出了一个新的方案，超参数估计的基础上的条件最大化熵的Potts先验。该算法基于循环置信传播算法。此外，我们比较了我们的条件最大熵框架与传统的最大似然框架，也澄清如何在LBP的Potts模型的一阶相变影响我们的超参数估计程序。
2014-08-18 cond-mat.dis-nn cond-mat.stat-mech cs.CV
Learning Markov Processes as Sum-of-Square Forms for Analytical Belief Propagation
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出利用稀疏平方和形式进行有效条件密度估计，实现分析信念传播，同时在低维空间中减少内存消耗，并扩展至12维系统。
2026-04-08 cs.LG cs.SY eess.SY
Gaussian Ensemble Belief Propagation for Efficient Inference in High-Dimensional Systems
CSIRO’s Data61（联邦科学与工业研究组织Data61）；Monash University（莫纳什大学）
针对机器学习中高维模型推理的核心挑战，提出结合EnKF和GaBP优势的GEnBP算法，通过图模型低秩局部消息传递更新样本集合，高效处理高维复杂场景，在多问题结构中准确性与计算效率优于现有方法。
2025-02-11 cs.LG stat.ML
BP-Seg: A graphical model approach to unsupervised and non-contiguous text segmentation using belief propagation
LinkedIn Corporation（领英公司）
本文提出基于置信传播的图模型无监督文本分割方法BP-Seg，兼顾局部连贯性与远距离语义相似性，实验验证其优于现有方法。
2025-09-25 cs.AI cs.CL cs.LG
Solving Non-parametric Inverse Problem in Continuous Markov Random Field using Loopy Belief Propagation
Yamagata University（山形大学）；Tohoku University（东北大学）
在本文中，我们解决的逆问题，或统计机器学习问题，在马尔可夫随机场与非参数的连续变量的成对能量函数。逆问题由极大似然估计来表示。由于两个问题，极大似然估计的精确处理是棘手的：（1）它包括配分函数的评估和（2）它是以函数优化的形式制定的。我们通过使用Bethe近似来避免问题（1）。Bethe逼近是一种等价于循环置信传播的逼近技术。问题（2）可以通过使用正交函数展开来解决。正交函数展开可以将函数优化问题转化为函数优化问题。我们的方法可以提供一个解析形式的解决方案的反问题的框架内的贝特近似。
2017-03-28 cond-mat.dis-nn cs.LG stat.ML
Belief Propagation for Maximum Coverage on Weighted Bipartite Graph and Application to Text Summarization
Ibaraki University（茨城大学）
本文从最大覆盖问题的角度研究文本摘要。在图论中，文本摘要的任务被看作是二分图上的最大覆盖问题。近年来，利用统计力学的思想，提出了基于置信传播的无权图最大覆盖算法。我们将其推广到加权图的文本摘要。最后，我们将我们的算法应用于加权双正则随机图的最大覆盖性能验证。我们还将其应用于表示开放文本数据集上真实文档的二分图，并检验了文本摘要的性能。实验结果表明，该算法在某些文本摘要环境下具有比贪婪型算法更好的性能。
2020-03-26 cs.CL cs.IR cs.LG
