Classification-Aided Robust Multiple Target Tracking Using Neural Enhanced Message Passing
Northwestern Polytechnical University(西北工业大学);Research & Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院)
针对强杂波下雷达多目标跟踪难题,提出分类辅助的神经增强消息传递算法,融合因子图与神经网络置信度以增强杂波抑制与数据关联,显著提升跟踪性能。
2023-10-19 cs.AI cs.LG cs.SY
Norm-Product Belief Propagation: Primal-Dual Message-Passing for Approximate Inference
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
在本文中,我们对待这两种形式的概率推理,估计边际概率的联合分布,并找到最可能的分配,通过一个统一的消息传递算法架构。本文推广了和-积、最大-积的置信传播算法和树重(TRW)和-积、最大-积算法(TRBP),并引入了一组新的基于“凸自由能”的收敛算法和作为凸自由能的零温度的线性规划松弛算法。这项工作的主要思想产生于现有的BP和TRBP算法,同时观察到,他们都是减少从基本的优化公式的$f + \sum_i h_i$的功能$f$是一个扩展值,严格凸,但非光滑和功能$h_i$是扩展值函数(不一定凸)。我们使用工具,从凸对偶提出的“原始-对偶上升”算法,这是一个扩展的Bregman连续投影计划,旨在处理一般类型的优化$f + \sum_i h_i$。将分数自由能变分原理映射到这个框架引入了“范数乘积”消息传递。特殊情况包括和积和最大积(BP算法)和TRBP算法。当分数自由能被设置为凸的(凸自由能)时,范数乘积对于边缘概率的估计和近似LP松弛是全局收敛的。我们还介绍了范数积的另一个分支,“凸极大积”。凸最大乘积是收敛的(不同于最大乘积),目的是求解LP松弛。
2010-06-28 cs.AI cs.IT math.IT
Sigma Point Belief Propagation
Vienna University of Technology(维也纳工业大学)
本研究将Sigma点滤波器扩展至带环因子图的非序贯贝叶斯推理,提出低复杂度的Sigma点置信传播(SPBP)方法,在分布式传感器定位任务中性能优于粒子基BP且计算通信成本更低。
2013-11-17 cs.AI cs.DC
Relaxed Scheduling for Scalable Belief Propagation
ITMO University(圣彼得堡国立信息技术机械与光学大学);IST Austria(奥地利科学技术研究所)
利用大规模硬件并行性的能力是机器学习最近加速进展的关键推动因素之一。因此,已经投入了相当大的努力来开发经典机器学习算法的高效并行变体。然而,尽管并行化的知识丰富,一些经典的机器学习算法往往难以并行化的同时保持收敛。在本文中,我们专注于高效的并行算法的关键机器学习任务的推理图形模型,特别是在基本的信念传播算法。我们解决的挑战,有效地并行化这一经典的范例,显示如何利用可扩展的放松的并行程序在这种情况下。我们提出了一个广泛的实证研究,表明我们的方法优于以前的并行信念传播实现的可扩展性和挂钟收敛时间方面,在一系列的实际应用。
2021-01-18 cs.AI cs.DC cs.LG
Convergence of Min-Sum Message Passing for Quadratic Optimization
我们建立了一个广泛的二次目标函数的最小化的最小和消息传递算法的收敛性:那些承认凸分解。我们的结果也适用于高斯置信传播的收敛性的等价问题。
2008-12-24 cs.AI cs.IT math.IT
Max-Product Belief Propagation for Linear Programming: Applications to Combinatorial Optimization
Korea Advanced Institute of Science & Technology(韩国科学技术院)
最大乘积{置信传播}(BP)是一种流行的消息传递启发式算法,用于近似由图模型(GM)表示的联合分布中的最大后验(MAP)分配。在过去的几年里,人们已经证明BP可以解决几类线性规划(LP)公式的组合优化问题,包括最大权重匹配、最短路径和网络流,即,BP可以用作某些组合优化的消息传递求解器。然而,这些LP和相应的BP分析对潜在的问题设置非常敏感,并且还不清楚这些结果可以推广到什么程度。本文给出了BP算法收敛于线性规划最优解的一般判据,并证明了它在许多经典的组合优化问题(包括最大权完美匹配、最短路、旅行商、圈包装、点/边覆盖和网络流)的线性规划公式中都是满足的。
2017-06-28 cs.AI
Convex Combination Belief Propagation Algorithms
我们提出了新的消息传递算法进行推理与图形模型。我们的方法是专为最困难的推理问题,循环的信念传播和其他算法无法收敛。当底层图形模型是非循环的时,置信传播保证收敛,但是当底层图形具有复杂拓扑时,置信传播可能无法收敛并且对初始化敏感。本文介绍了修改标准的信念传播算法,导致的方法,收敛到唯一的解决方案的图形模型与任意拓扑结构和潜在的功能。
2022-07-18 cs.AI stat.CO
On the Generation of Alternative Explanations with Implications for Belief Revision
Brown University(布朗大学)
一般来说,对于一个给定的观察结果,最好的解释并不保证它相对于其他替代解释的好坏。贝叶斯网络中用于信念修正的消息传递方案的一个主要缺陷是它们不能产生超出第二好的替代方案。在本文中,我们提出了一种基于线性约束系统的一般方法,该方法以有序和高效的方式自然地生成替代解释。这种方法,然后应用到成本为基础的绑架问题,以及在贝叶斯网作品的信念修正。
2013-03-20 cs.AI
Message Scheduling for Performant, Many-Core Belief Propagation
School of Computing University of Utah(犹他大学计算学院)
置信传播(BP)是一种用于概率图模型(PGMs)上的近似推理的消息传递算法,在计算机视觉、纠错码和蛋白质折叠等领域有着广泛的应用。虽然一般,算法的收敛性和速度限制了其在困难的推理问题上的实际应用。众核图形处理单元(GPU)作为一种高度并行化的算法,可以显著提高BP算法的性能。通过众核系统改进BP是不平凡的:算法中消息的调度强烈影响性能。我们提出了一个BP在GPU上的消息调度的研究。我们证明,BP表现出的速度和收敛之间的权衡并行性的基础上,并表明现有的消息处理不能够利用这种权衡。为此,我们提出了一种新的随机消息调度方法,随机BP(RnBP),它优于现有的方法在GPU上。
2019-09-24 cs.AI cs.CV cs.DC
Convergence of Generalized Belief Propagation Algorithm on Graphs with Motifs
Qualcomm(高通);Northwestern University(西北大学)
置信传播是机器学习中众多应用的基本消息传递算法。已知树图上的置信传播算法是精确的。然而,在大多数应用中,置信传播是在循环图上运行的。因此,理解循环图上的信念传播行为一直是各个领域研究者的主要课题。本文研究了具有模体(三角形、环等)的图上的广义置信传播算法的收敛行为我们表明,在一定的初始化,广义信念传播收敛到全局最优的Bethe自由能的铁磁伊辛模型的图案。
2021-12-11 cs.AI cs.LG stat.ML
Distributed Revision of Belief Commitment in Multi-Hypothesis Interpretations
UCLA(加利福尼亚大学洛杉矶分校)
本文扩展了信念网络的应用,包括信念承诺的修正,即,对一组假设的绝对接受,这些假设共同构成了对现有证据的最令人满意的解释。建立了非单调推理的一致性模型,提出了分布式信念修正算法。我们表明,在单连接网络中,最令人满意的解释可以找到在线性时间的消息传递算法类似于一个信念更新。在多连通网络中,问题可能是指数困难的,但如果网络是稀疏的,拓扑考虑可以用来使解释任务易于处理。一般来说,找到最可能的假设组合并不比计算任何单个假设的置信度更复杂。在医学诊断中的应用举例说明。
2013-03-27 cs.AI
Regionalized Optimization
Univ. Artois(阿图瓦大学)
我们提出了一个理论框架,用于在函子的约束下从局部损失的集合中非冗余地重建全局损失;我们将这种损失称为区域化损失,以纪念Yedidia,Freeman,Weiss的著名文章“构建自由能近似和广义置信传播算法”,其中构建了区域化损失的第一个例子,用于熵和边际函子。我们展示了如何可以关联到这些区域化的损失消息传递算法,找到他们的临界点。它是优化问题的一个自然数学框架,其中数据集上有多个观点,并取代消息传递算法作为寻找这些问题的最优解的规范方法。我们解释了广义置信传播算法如何落入我们提出的框架,并提出了新的消息传递算法的嘈杂的信道网络。
2022-05-19 cs.AI math.OC
Oversmoothing, Oversquashing, Heterophily, Long-Range, and more: Demystifying Common Beliefs in Graph Machine Learning
ELLIS Alicante(阿利坎特埃利斯研究所);NEC Laboratories Europe(日本 NEC 欧洲实验室)
本文旨在解密图机器学习中常见的误解,通过明确常见信念并提供反例,澄清概念差异,帮助研究人员更精准地解决具体问题。
2026-02-19 cs.AI cs.LG
Solving Constraint Satisfaction Problems through Belief Propagation-guided decimation
Stanford University(斯坦福大学);Università di Roma La Sapienza(罗马第一大学);Ecole Normale(巴黎高等师范学院)
消息传递算法在解决稀疏随机图上的硬约束满足问题上取得了惊人的成功。在这样的应用中,变量被顺序地固定以满足约束。消息传递在每个步骤之后运行。其结果为下一步的选择提供了启发。参照统计物理学中的类似程序,这种方法被称为“抽取”。抽取过程的行为知之甚少。在这里,我们考虑一个简单的随机抽取算法的基础上的信念传播(BP),并分析其行为的随机k-可满足性公式。特别是,我们提出了一个树模型的分析,我们猜想,它提供了渐近准确的预测在大的情况下的限制。数值模拟证实了这一猜想。
2019-06-04 cond-mat.dis-nn cond-mat.stat-mech cs.AI
A visual introduction to Gaussian Belief Propagation
Imperial College London(帝国理工学院);DeepMind(深度思维)
在这篇文章中,我们提出了一个直观的介绍高斯信念传播(GBP),一个近似的概率推理算法,通过传递任意结构的因子图的节点之间的消息。作为循环置信传播的一种特殊情况,GBP更新仅依赖于本地信息,并且将独立于消息调度收敛。我们的主要论点是,考虑到最近的趋势,在计算硬件,GBP有正确的计算属性作为一个可扩展的分布式概率推理框架,为未来的机器学习系统。
2021-07-05 cs.AI cs.CV cs.LG
Proactive Message Passing on Memory Factor Networks
Massachusetts Institute of Technology(麻省理工学院);Disney Research Boston(迪士尼研究波士顿分院);University of Toronto(多伦多大学)
我们介绍了一种新型的图形模型,我们称之为“记忆因子网络”(MFN)。我们展示了如何使用MFN来模拟许多类型的数据集固有的结构。我们还介绍了一个相关的消息传递风格的算法称为“主动消息传递”(PMP),执行推理的MFN。PMP具有收敛保证,并且与竞争算法(如置信传播的变体)相比是有效的。我们专门的MFN和PMP的一些不同类型的数据(离散,连续,标记)和推理问题(插值,假设检验),提供的例子,并讨论有效实施的方法。
2016-01-18 cs.AI cs.CV
Efficient and accurate group testing via Belief Propagation: an empirical study
Goethe University(歌德大学)
组测试问题要求有效的汇集方案和算法,允许筛选适度大量的样本罕见的感染。目标是在进行尽可能少的测试的同时准确识别受感染的样本。探索使用的技术集中在信念传播消息传递算法,我们提出了一个新的测试设计,显着提高了结果的准确性。新的设计带有置信传播作为一种有效的推理算法。针对实际而不是渐近问题大小的结果,我们进行了实验研究。
2021-05-13 cs.AI cs.DM cs.IT
Information Geometry of Message Passing
Eindhoven University of Technology(埃因霍温理工大学);Lviv Polytechnic National University(利沃夫国立理工大学);Lazy Dynamics(拉齐动力公司)
该研究在Forney风格因子图上推导自然梯度消息传递(NGMP),其比变分消息传递更准确,在泊松平滑等实验中主要提升不确定性校准效果。
2026-08-24 cs.AI cs.LG
Circular Belief Propagation for Approximate Probabilistic Inference
Ecole Normale Supérieure(巴黎高等师范学院);Université de Lille(里尔大学);Iktos SA(Iktos公司);Institut de Neurosciences de la Timone(timone神经科学研究所)
本文提出循环置信传播(CBP),通过学习检测和消除循环引起的虚假相关性和置信度放大,在二元概率图上显著优于标准置信传播,并接近先前算法的性能。
2024-03-17 cs.AI cs.LG
Faster Algorithms for Max-Product Message-Passing
NICTA(澳大利亚国家信息与通信技术研究院);Australian National University(澳大利亚国立大学)
图模型中的最大后验推理通常通过消息传递算法来解决,例如连接树算法或循环置信传播算法。众所周知,这个问题的精确解在模型被三角化后的最大团的大小上是指数的,而近似推理在模型的因子的大小上通常是指数的。在本文中,我们利用了这样一个事实,即许多模型的最大团大于其组成因子,并且许多因子完全由潜变量组成(即,它们不依赖于观察)。这在各种各样的应用程序中是常见的情况,包括网格、树和环形结构模型。在这种情况下,我们能够将消息传递的复杂性指数降低0.5,无论是精确推理还是近似推理。
2010-04-08 cs.AI cs.DS
Structured Message Passing
The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Washington(华盛顿大学)
在本文中,我们提出了结构化的消息传递(SMP),一个统一的框架,近似推理算法,利用结构化的表示,如代数决策图和稀疏哈希表。当消息在其范围内具有几个相同的值(上下文特定的独立性)或零(确定性)或两者时,这些表示可以比传统的表格表示产生显著的时间和空间节省。因此,为了充分利用结构化表示的力量,我们建议在消息中人为地引入上下文特定的独立性和确定性。这产生了一类新的强大的近似推理算法,其中包括流行的算法,如聚类图的信念传播(BP),期望传播和粒子BP作为特殊情况。我们表明,我们的新算法引入了几个有趣的偏差方差权衡。我们根据经验评估这些权衡,并证明我们的新算法比最先进的技术更准确和可扩展。
2013-09-26 cs.AI
Reactive Message Passing for Scalable Bayesian Inference
Eindhoven University of Technology(埃因霍温理工大学);GN Hearing(GN Hearing 公司)
我们引入反应式消息传递(RMP)作为一个框架,用于在概率模型的因子图表示中执行无调度、鲁棒和可扩展的基于消息传递的推理。RMP基于反应式编程风格,仅描述因子图中的节点如何对连接节点中的变化做出反应。没有固定的消息传递时间表提高了推理过程的鲁棒性、可扩展性和执行时间。我们还提出了ReactiveMP.jl,这是一个Julia软件包,用于通过最小化约束Bethe自由能来实现RMP。通过用户定义的局部形式规范和对变分后验分布的因式分解约束,ReactiveMP.jl执行混合消息传递算法,包括信念传播,变分消息传递,期望传播和期望最大化更新规则。实验结果表明,与其他Julia包相比,基于ReactiveMP的RMP在一系列概率模型中进行贝叶斯推理的性能有所提高。特别是,我们表明RMP框架能够在标准膝上计算机上运行具有数十万个随机变量的大规模概率状态空间模型的贝叶斯推理。
2021-12-25 cs.AI cs.LG
Feedback Message Passing for Inference in Gaussian Graphical Models
Massachusetts Institute of Technology(麻省理工学院);University of California, Irvine(加州大学欧文分校)
虽然循环置信传播(LBP)在一些具有循环的高斯图形模型中的推理表现相当不错,但它的性能对许多其他模型并不令人满意。特别地,对于某些模型,LBP不收敛,并且通常当它收敛时,计算的方差是不正确的(除了无环图,其置信传播(BP)是非迭代和精确的)。在本文中,我们提出了{\em反馈消息传递}(FMP),一个消息传递算法,利用一个特殊的顶点集(称为{\em反馈顶点集}或{\em FVS}),其删除结果在一个无圈图。在FMP中,标准BP被多次使用在不包括FVS的无环子图上,而一个特殊的消息传递方案被用于FVS中的节点。精确推理的计算复杂度为$O(k^2n)$,其中$k$为反馈节点数,$n$为节点总数。当FVS的尺寸非常大时,FMP是难处理的。因此,我们提出{\em approximate FMP},其中使用伪FVS而不是FVS,并且其中通过去除伪FVS而获得的非无圈图中的推断使用LBP近似地进行。我们表明,当近似FMP收敛时,它会产生确切的手段和伪FVS和确切的手段在整个图的其余部分的方差。我们还提供了近似FMP的收敛性和精度的理论结果。特别是,我们证明方差计算的误差界。基于这些理论结果,我们设计了有效的算法来选择一个有界大小的伪FVS。伪FVS的选择允许我们明确地在效率和准确性之间进行权衡。实验结果表明,使用大小不大于$\log(n)$的伪FVS,该过程比LBP在整个图上更频繁、更快速地收敛…
2011-05-10 cs.AI stat.ML
An Improved Three-Weight Message-Passing Algorithm
Disney Research Boston(迪士尼研究(波士顿));Cornell University(康奈尔大学)
我们描述了如何强大的“分而并”算法约束满足可以推导出作为一个特殊情况下的消息传递版本的交替方向乘数法(ADMM)算法的凸优化,并介绍了一种改进的消息传递算法ADMM/DC通过引入三个不同的权重的消息,“一定”和“没有意见”的权重,以及ADMM/DC中使用的标准重量。“确定”消息允许我们的改进算法实现约束传播作为一种特殊情况,而“无意见”消息通过使算法只关注主动约束来加速某些问题的收敛。我们描述了我们的三重版本的ADMM/DC可以大大提高性能的非凸问题,如圆包装和解决大型数独难题,同时保留凸问题的ADMM的确切性能。我们还描述了我们的算法相比,其他基于信念传播的消息传递算法的优势。
2013-05-08 cs.AI cs.DS math.OC
Lossy source encoding via message-passing and decimation over generalized codewords of LDGM codes
我们描述了使用低密度生成矩阵(LDGM)码的有损信源编码的消息传递和抽取方法。特别是,本文解决了编码伯努利(0.5)源的问题:随机生成的LDGM码与适当的不规则度分布,我们的方法产生的性能非常接近率失真限制在一定范围内的速率。我们的方法的灵感来自调查传播(SP)算法,最初开发的Mezard等人。解决随机可满足性问题。Maneva等人先前的工作展示了如何将SP理解为可满足性问题的另一种表示的置信传播(BP)。类似于这种连接,我们的方法是定义一个家庭的马尔可夫随机场广义码字,从本地消息传递规则可以得出标准的方式。整个信源编码方法基于消息传递,将比特子集设置为它们的首选值(抽取),并减少代码。
2005-08-15 cs.AI cs.IT math.IT
RAMP: Recognition parametrisation by Amortised Message Passing
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);Centre for Artificial Intelligence(人工智能中心)
无监督学习旨在揭示潜在因素,概率模型有局限。本文基于新范式提出RAMP方法,通过学习摊销消息传递框架隐式定义潜在结构,能在复杂高维数据的非线性模型中有效基于似然恢复潜在变量分布。
2026-07-22 cs.AI cs.LG
Tensor Generalized Approximate Message Passing
Columbia University(哥伦比亚大学)
提出张量广义近似消息传递(TeG-AMP)算法用于低秩张量推断,基于TR和CP分解模型推导并简化,实验证明其充分利用张量结构显著提升了恢复性能。
2025-03-25 cs.AI cs.IT cs.LG
Join-Graph Propagation Algorithms
Microsoft Research(微软研究院);University of California Irvine(加利福尼亚大学欧文分校);University of Washington(华盛顿大学)
本文研究了参数化的近似消息传递方案,是基于有界推理和珍珠的信念传播算法(BP)的启发。我们从有界推理的小型聚类算法开始,然后转移到称为迭代连接图传播(IJGP)的迭代方案,它结合了迭代和有界推理。算法IJGP属于广义置信传播算法类,这是一个允许与统计物理近似算法连接的框架,并且经验证明它超越了小型聚类和置信传播的性能,以及其他一些最先进的算法在几类网络上的性能。我们还提供了深入了解的准确性,迭代BP和IJGP相关的这些算法,众所周知的类的约束传播计划。
2014-01-15 cs.AI
Tightening LP Relaxations for MAP using Message Passing
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);Hebrew University(希伯来大学)
线性规划(LP)松弛已经成为在图形模型中找到最可能(MAP)配置的强大工具。这些松弛可以有效地解决使用消息传递算法,如信念传播,当松弛是紧的,可证明找到MAP配置。然而,标准LP松弛在许多现实世界的问题中不够紧密,这导致了使用更高阶的基于簇的LP松弛。计算成本随着集群的大小呈指数级增长,并限制了我们可以使用的集群的数量和类型。我们建议在对偶LP中单调地解决集群选择问题,迭代地选择具有保证改进的集群,并通过重用现有解决方案快速重新解决添加的集群。我们的双消息传递算法发现MAP配置在蛋白质侧链布局,蛋白质设计,和立体声问题,在标准LP松弛失败的情况下。
2012-06-13 cs.AI cs.CE cs.DS
Anytime Belief Propagation Using Sparse Domains
University of Massachusetts(马萨诸塞大学);University College London(伦敦大学学院)
置信传播算法在边缘推理中得到了广泛的应用,但在大范围变量和高阶因子的情况下,置信传播算法的速度较慢。以前的工作提供了有用的近似,以促进对这些模型的推断,但缺乏重要的随时属性,如:1)提供准确和一致的边缘时,提前停止,2)改善近似时,运行时间更长,3)收敛到BP的不动点。为此,我们提出了一个消息传递算法,工作在稀疏(部分实例化)域,并使用动态消息调度收敛到一致的边缘。该算法递增地增长稀疏域,使用基于边缘推理目标的梯度的优先级方案来选择要添加的下一个值。我们的实验证明了本地任何时候的一致性和快速收敛,提供了显着的加速比BP,以获得低误差边缘:高达25倍的网格模型,高达6倍的真实世界的自然语言处理任务。
2013-11-14 cs.AI cs.LG stat.ML
Learning General Latent-Variable Graphical Models with Predictive Belief Propagation
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
学习一般潜变量概率图模型是机器学习和人工智能的一个关键理论挑战。所有以前的方法,包括EM算法和谱算法,面临着严重的限制,在很大程度上限制了它们的适用性,并影响其性能。为了克服这些局限性,在本文中,我们介绍了一种新的配方的消息传递推理连接树命名为预测的信念传播,并提出了一个新的学习和推理算法的基础上,这种配方的一般潜变量图形模型。该算法将硬参数学习问题简化为一系列监督学习问题,并将不同类型的隐图模型的学习统一到一个无局部最优和统计一致的学习框架中.然后,我们给出了我们的算法的正确性的证明,并在合成和真实数据集上的实验表明,我们的算法显着优于EM算法和谱算法,同时也是数量级更快的计算。
2019-11-28 cs.AI cs.LG stat.ML
Perturbed Message Passing for Constraint Satisfaction Problems
University of Alberta(阿尔伯塔大学)
我们介绍了一种有效的消息传递方案解决约束满足问题(CSP),它使用随机扰动的信念传播(BP)和调查传播(SP)消息绕过抽取,直接产生一个单一的满意的分配。我们的第一个CSP求解器,称为扰动Blief传播,平滑地插值两个众所周知的推理过程;它开始于BP,结束于Gibbs采样器,它从一组解决方案中产生一个样本。此外,我们应用类似的扰动计划SP产生另一个CSP求解器,扰动调查传播。在随机和真实世界的CSP上的实验结果表明,扰动BP通常更成功,同时比标准BP引导抽取效率高数十到数百倍。扰动BP还可以与最先进的SP引导抽取相媲美,SP引导抽取具有计算复杂性,通常比我们的方法(变量域和约束的基数)更差。此外,我们的随机可满足性和着色问题的实验表明,扰动SP可以优于SP指导的抽取,使其成为最好的不完全随机CSP求解困难的制度。
2015-02-03 cs.AI cs.CC stat.ML