GCN-MPPR: Enhancing the Propagation of Message Passing Neural Networks via Motif-Based Personalized PageRank
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Key Laboratory of Big Data Management and Analytics (Liaoning Province), Northeastern University(东北大学大数据管理与分析重点实验室);The Department of Computer Science, Aalborg University(奥尔堡大学计算机科学系);College of Medicine and Biological Information Engineering, Northeastern University(东北大学医学院生物信息工程学院)
GCN-MPPR通过基于motif的个性化PageRank改进信息传播,提升GCN在精度、稳定性和效率上的表现。
2026-02-08 cs.AI
Graph Unitary Message Passing
Department of Electrical Engineering, Tsinghua University(清华大学电子工程系);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);State Key laboratory of Space Network and Communications(空间网络与通信国家重点实验室)
针对图神经网络中不稳定问题,提出图酉消息传递框架,通过在变换图上用酉传播算子避免指数衰减,结合图变换和酉投影程序,经理论分析表明其能保持深度稳定,实验取得较好性能。
2026-07-07 cs.AI cs.LG
SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network
Zhejiang University(浙江大学)
本文提出SF-GNN方法,通过自过滤器模块评估节点表示质量并控制消息传播,以解决深度GNN中低质量节点表示干扰导致的性能退化问题,在多种图任务上优于现有基线方法。
2024-07-03 cs.AI cs.LG
Structured Message Passing
The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Washington(华盛顿大学)
在本文中,我们提出了结构化的消息传递(SMP),一个统一的框架,近似推理算法,利用结构化的表示,如代数决策图和稀疏哈希表。当消息在其范围内具有几个相同的值(上下文特定的独立性)或零(确定性)或两者时,这些表示可以比传统的表格表示产生显著的时间和空间节省。因此,为了充分利用结构化表示的力量,我们建议在消息中人为地引入上下文特定的独立性和确定性。这产生了一类新的强大的近似推理算法,其中包括流行的算法,如聚类图的信念传播(BP),期望传播和粒子BP作为特殊情况。我们表明,我们的新算法引入了几个有趣的偏差方差权衡。我们根据经验评估这些权衡,并证明我们的新算法比最先进的技术更准确和可扩展。
2013-09-26 cs.AI
Message Scheduling for Performant, Many-Core Belief Propagation
School of Computing University of Utah(犹他大学计算学院)
置信传播(BP)是一种用于概率图模型(PGMs)上的近似推理的消息传递算法,在计算机视觉、纠错码和蛋白质折叠等领域有着广泛的应用。虽然一般,算法的收敛性和速度限制了其在困难的推理问题上的实际应用。众核图形处理单元(GPU)作为一种高度并行化的算法,可以显著提高BP算法的性能。通过众核系统改进BP是不平凡的:算法中消息的调度强烈影响性能。我们提出了一个BP在GPU上的消息调度的研究。我们证明,BP表现出的速度和收敛之间的权衡并行性的基础上,并表明现有的消息处理不能够利用这种权衡。为此,我们提出了一种新的随机消息调度方法,随机BP(RnBP),它优于现有的方法在GPU上。
2019-09-24 cs.AI cs.CV cs.DC
Language Models as Messengers: Enhancing Message Passing in Heterophilic Graph Learning
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);School of Information and Intelligent Science, Donghua University(东华大学信息与智能科学学院)
LEMP4HG通过语言模型增强信息传递,提升异质图学习性能,同时保持同质图的鲁棒性。
2026-02-27 cs.AI
Lifted Region-Based Belief Propagation
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Indian Institute of Technology, Delhi(印度理工学院德里分校)
由于精确提升推理的难处理性,最近的研究集中在发现统计关系模型(SRM)中的精确且有效的近似推理算法,例如提升一阶置信传播。FOBP通过识别和提升冗余的消息计算来模拟命题因子图的信念传播,而无需构建基础因子图。在这项工作中,我们提出了一个广义的FOBP称为提升广义信念传播,其中区域结构和消息结构都可以解除。这种方法允许更多的推断在区域内执行(在BP的精确推断步骤中),从而允许在具有更大区域范围和更少边缘的图结构上模拟传播,同时仍然保持易处理性。我们证明了所得到的算法收敛在更少的迭代次数更准确的结果在各种SRM。
2016-06-30 cs.AI
Byzantine Fault-Tolerant Multi-Agent System for Healthcare: A Gossip Protocol Approach to Secure Medical Message Propagation
Nihir Chadderwala(独立研究者)
本文提出一种基于 gossip 协议的拜占庭容错多智能体系统,用于医疗领域,通过加密验证和共识协议保障信息安全与系统容错性。
2025-11-27 cs.AI cs.DC
Deep Attentive Belief Propagation: Integrating Reasoning and Learning for Solving Constraint Optimization Problems
Nanyang Technological University(南洋理工大学);Sun Yat-sen University(中山大学);Guilin University of Electronic Technology(桂林电子科技大学)
置信传播(BP)是一种重要的消息传递算法,适用于各种图模型上的推理任务,包括求解约束优化问题(COPs)。已经表明,BP可以通过在发送新消息之前混合旧消息和新消息来在各种基准上实现最先进的性能,即,阻尼然而,现有的方法调整的静态阻尼因子的BP不仅是费力的,而且损害他们的性能。此外,现有的BP算法在合成新消息时对每个变量节点的邻居都是平等的,这也限制了它们的探索能力。为了解决这些问题,我们将BP、门控递归单元(GRU)和图注意力网络(GAT)无缝集成到消息传递框架中,以推理用于组成新BP消息的动态权重和阻尼因子。我们的模型,深度注意信念传播(DABP),在每次迭代中的因子图和BP消息作为输入,并通过GRU和GAT推断最佳权重和阻尼因子,然后是一个多头注意力层。此外,与现有的基于神经网络的BP变种,我们提出了一种新的自监督学习算法的DABP与平滑的解决方案的成本,它不需要昂贵的训练标签,也避免了常见的分布问题,通过有效的在线学习。大量的实验表明,我们的模型显着优于最先进的基线。
2022-09-24 cs.AI cs.LG
Improved Dynamic Schedules for Belief Propagation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
置信传播及其变体是用于近似推理的流行方法,但是它们的运行时间甚至它们的收敛性在很大程度上取决于用于发送消息的调度。最近,动态更新调度在硬网络上的收敛速度比静态调度快得多,即Elidan等人的剩余BP调度。但是RBP算法浪费了消息更新:许多消息的计算仅仅是为了确定它们的优先级,并且从未实际执行。在本文中,我们表明,估计残差,而不是直接计算它,导致收敛所需的消息数量显着减少,并在总运行时间。残差估计使用的上界的基础上最近的工作BP的消息错误。在合成和真实世界的网络中,这大大减少了BP的运行时间,在某些情况下减少了五倍,而不会影响解决方案的质量。
2012-06-20 cs.AI cs.LG stat.ML
Multi-Agent Decentralized Belief Propagation on Graphs
Qualcomm(高通);Northwestern University(西北大学)
我们考虑的问题的交互式部分可观察马尔可夫决策过程(I-POMDPs),其中代理位于通信网络的节点。具体来说,我们假设所有消息都有一个特定的消息类型。此外,每个代理根据交互式信念状态、本地观察到的信息以及通过网络从其邻居接收到的消息做出单独的决策。在这种情况下,代理的集体目标是通过与邻居交换信息来最大化网络上的全局平均回报。我们提出了一个分散的信念传播算法,并证明了我们的算法的收敛性。最后,我们展示了我们的框架的多个应用程序。我们的工作似乎是第一次研究分散的信念传播算法的网络多智能体I-POMDPs。
2020-11-10 cs.AI cs.LG
Max-Product Belief Propagation for Linear Programming: Applications to Combinatorial Optimization
Korea Advanced Institute of Science & Technology(韩国科学技术院)
最大乘积{置信传播}(BP)是一种流行的消息传递启发式算法,用于近似由图模型(GM)表示的联合分布中的最大后验(MAP)分配。在过去的几年里,人们已经证明BP可以解决几类线性规划(LP)公式的组合优化问题,包括最大权重匹配、最短路径和网络流,即,BP可以用作某些组合优化的消息传递求解器。然而,这些LP和相应的BP分析对潜在的问题设置非常敏感,并且还不清楚这些结果可以推广到什么程度。本文给出了BP算法收敛于线性规划最优解的一般判据,并证明了它在许多经典的组合优化问题(包括最大权完美匹配、最短路、旅行商、圈包装、点/边覆盖和网络流)的线性规划公式中都是满足的。
2017-06-28 cs.AI
Perturbed Message Passing for Constraint Satisfaction Problems
University of Alberta(阿尔伯塔大学)
我们介绍了一种有效的消息传递方案解决约束满足问题(CSP),它使用随机扰动的信念传播(BP)和调查传播(SP)消息绕过抽取,直接产生一个单一的满意的分配。我们的第一个CSP求解器,称为扰动Blief传播,平滑地插值两个众所周知的推理过程;它开始于BP,结束于Gibbs采样器,它从一组解决方案中产生一个样本。此外,我们应用类似的扰动计划SP产生另一个CSP求解器,扰动调查传播。在随机和真实世界的CSP上的实验结果表明,扰动BP通常更成功,同时比标准BP引导抽取效率高数十到数百倍。扰动BP还可以与最先进的SP引导抽取相媲美,SP引导抽取具有计算复杂性,通常比我们的方法(变量域和约束的基数)更差。此外,我们的随机可满足性和着色问题的实验表明,扰动SP可以优于SP指导的抽取,使其成为最好的不完全随机CSP求解困难的制度。
2015-02-03 cs.AI cs.CC stat.ML
On Over-Squashing in Message Passing Neural Networks: The Impact of Width, Depth, and Topology
University of Cambridge(剑桥大学);Sapienza University(萨皮恩扎大学);University of Oxford(牛津大学);Microsoft Research(微软研究院)
本研究从理论上分析了消息传递神经网络中过压缩现象的成因,证明增加宽度可缓解但增加敏感度,深度无益且受梯度消失主导,而图拓扑结构影响最大,为图重连方法提供了理论依据。
2023-05-24 cs.AI cs.DM cs.LG
Topology-Aware Knowledge Propagation in Decentralized Learning
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
本文研究去中心化学习中 OOD 知识受拓扑影响而传播不足的问题,提出拓扑感知聚合策略,使各模型 OOD 准确率较基线平均提升123%。
2025-05-16 cs.AI cs.DC cs.LG
Convergence of Min-Sum Message Passing for Quadratic Optimization
我们建立了一个广泛的二次目标函数的最小化的最小和消息传递算法的收敛性:那些承认凸分解。我们的结果也适用于高斯置信传播的收敛性的等价问题。
2008-12-24 cs.AI cs.IT math.IT
Reactive Message Passing for Scalable Bayesian Inference
Eindhoven University of Technology(埃因霍温理工大学);GN Hearing(GN Hearing 公司)
我们引入反应式消息传递(RMP)作为一个框架,用于在概率模型的因子图表示中执行无调度、鲁棒和可扩展的基于消息传递的推理。RMP基于反应式编程风格,仅描述因子图中的节点如何对连接节点中的变化做出反应。没有固定的消息传递时间表提高了推理过程的鲁棒性、可扩展性和执行时间。我们还提出了ReactiveMP.jl,这是一个Julia软件包,用于通过最小化约束Bethe自由能来实现RMP。通过用户定义的局部形式规范和对变分后验分布的因式分解约束,ReactiveMP.jl执行混合消息传递算法,包括信念传播,变分消息传递,期望传播和期望最大化更新规则。实验结果表明,与其他Julia包相比,基于ReactiveMP的RMP在一系列概率模型中进行贝叶斯推理的性能有所提高。特别是,我们表明RMP框架能够在标准膝上计算机上运行具有数十万个随机变量的大规模概率状态空间模型的贝叶斯推理。
2021-12-25 cs.AI cs.LG
A visual introduction to Gaussian Belief Propagation
Imperial College London(帝国理工学院);DeepMind(深度思维)
在这篇文章中,我们提出了一个直观的介绍高斯信念传播(GBP),一个近似的概率推理算法,通过传递任意结构的因子图的节点之间的消息。作为循环置信传播的一种特殊情况,GBP更新仅依赖于本地信息,并且将独立于消息调度收敛。我们的主要论点是,考虑到最近的趋势,在计算硬件,GBP有正确的计算属性作为一个可扩展的分布式概率推理框架,为未来的机器学习系统。
2021-07-05 cs.AI cs.CV cs.LG
Norm-Product Belief Propagation: Primal-Dual Message-Passing for Approximate Inference
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
在本文中,我们对待这两种形式的概率推理,估计边际概率的联合分布,并找到最可能的分配,通过一个统一的消息传递算法架构。本文推广了和-积、最大-积的置信传播算法和树重(TRW)和-积、最大-积算法(TRBP),并引入了一组新的基于“凸自由能”的收敛算法和作为凸自由能的零温度的线性规划松弛算法。这项工作的主要思想产生于现有的BP和TRBP算法,同时观察到,他们都是减少从基本的优化公式的$f + \sum_i h_i$的功能$f$是一个扩展值,严格凸,但非光滑和功能$h_i$是扩展值函数(不一定凸)。我们使用工具,从凸对偶提出的“原始-对偶上升”算法,这是一个扩展的Bregman连续投影计划,旨在处理一般类型的优化$f + \sum_i h_i$。将分数自由能变分原理映射到这个框架引入了“范数乘积”消息传递。特殊情况包括和积和最大积(BP算法)和TRBP算法。当分数自由能被设置为凸的(凸自由能)时,范数乘积对于边缘概率的估计和近似LP松弛是全局收敛的。我们还介绍了范数积的另一个分支,“凸极大积”。凸最大乘积是收敛的(不同于最大乘积),目的是求解LP松弛。
2010-06-28 cs.AI cs.IT math.IT
An Improved Three-Weight Message-Passing Algorithm
Disney Research Boston(迪士尼研究(波士顿));Cornell University(康奈尔大学)
我们描述了如何强大的“分而并”算法约束满足可以推导出作为一个特殊情况下的消息传递版本的交替方向乘数法(ADMM)算法的凸优化,并介绍了一种改进的消息传递算法ADMM/DC通过引入三个不同的权重的消息,“一定”和“没有意见”的权重,以及ADMM/DC中使用的标准重量。“确定”消息允许我们的改进算法实现约束传播作为一种特殊情况,而“无意见”消息通过使算法只关注主动约束来加速某些问题的收敛。我们描述了我们的三重版本的ADMM/DC可以大大提高性能的非凸问题,如圆包装和解决大型数独难题,同时保留凸问题的ADMM的确切性能。我们还描述了我们的算法相比,其他基于信念传播的消息传递算法的优势。
2013-05-08 cs.AI cs.DS math.OC
Characterizing and Improving Generalized Belief Propagation Algorithms on the 2D Edwards-Anderson Model
University of Havana(哈瓦那大学);Università La Sapienza(罗马第一大学);INFN – Sezione di Roma 1(意大利国家核物理研究所罗马第一分部);CNR – IPCF(意大利国家研究委员会-凝聚态物理与技术研究所)
我们研究了不同的消息传递算法在二维Edwards Anderson模型中的性能。我们表明,标准的置信传播(BP)算法收敛仅在高温下的顺磁溶液。然后,我们测试了广义置信传播(GBP)算法,来自聚类变分方法(CVM)在plaquette级别。我们比较它的性能与BP和其他算法在相同的近似:双循环(DL)和双向消息传递算法(HAK)。的plaquette-CVM近似改进BP在至少三个方面:在高温下的顺磁性溶液的质量,一个更好的估计(较低)的临界温度,和事实上,GBP消息传递算法收敛到非顺磁性的解决方案。标准GBP消息传递算法在低温下缺乏收敛性似乎与实现细节有关,而与长程序的出现无关。事实上,我们证明,规范不变性的约束CVM自由能可以利用,以获得一个新的消息传递算法,收敛在更低的温度。在其所有的收敛区域,这种新的算法是快于HAK和DL的一些数量级。
2011-10-06 cond-mat.dis-nn cond-mat.stat-mech cs.AI
Expanding the Scope: Inductive Knowledge Graph Reasoning with Multi-Starting Progressive Propagation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);National Institute of Healthcare Data Science, Nanjing University(南京大学健康医疗大数据国家研究院)
针对归纳式知识图谱推理中GNN消息传播效率低的问题,提出MStar模型,通过多查询相关起点拓展传播范围、高速层远距传信及LinkVerify训练策略降噪,在远距离实体推理上性能优于现有最优模型。
2024-07-15 cs.AI cs.CL
Convex Combination Belief Propagation Algorithms
我们提出了新的消息传递算法进行推理与图形模型。我们的方法是专为最困难的推理问题,循环的信念传播和其他算法无法收敛。当底层图形模型是非循环的时,置信传播保证收敛,但是当底层图形具有复杂拓扑时,置信传播可能无法收敛并且对初始化敏感。本文介绍了修改标准的信念传播算法,导致的方法,收敛到唯一的解决方案的图形模型与任意拓扑结构和潜在的功能。
2022-07-18 cs.AI stat.CO
Circular Belief Propagation for Approximate Probabilistic Inference
Ecole Normale Supérieure(巴黎高等师范学院);Université de Lille(里尔大学);Iktos SA(Iktos公司);Institut de Neurosciences de la Timone(timone神经科学研究所)
本文提出循环置信传播(CBP),通过学习检测和消除循环引起的虚假相关性和置信度放大,在二元概率图上显著优于标准置信传播,并接近先前算法的性能。
2024-03-17 cs.AI cs.LG
PANDA: Expanded Width-Aware Message Passing Beyond Rewiring
Yonsei University(延世大学)
本文提出PANDA,一种扩展宽度感知的消息传递范式,通过选择性扩展高中心性节点的宽度来缓解图神经网络的过度压缩问题,实验证明其优于现有重连方法。
2024-07-20 cs.AI cs.LG
Reward Propagation Using Graph Convolutional Networks
Mila(米拉研究所);McGill University(麦吉尔大学);DeepMind(深度思维公司)
基于潜力的奖励塑造提供了一种设计好的奖励函数的方法,其目的是加速学习。然而,自动为复杂环境寻找潜在函数是一个困难的问题(事实上,与从头开始学习价值函数的难度相同)。我们提出了一个新的框架,利用图表示学习的思想来学习潜在的功能。我们的方法依赖于图卷积网络,我们将其用作与强化学习的概率推理观点相结合的关键成分。更准确地说,我们利用图卷积网络来执行从奖励状态的消息传递。然后,传播的消息可以用作奖励塑造的潜在函数,以加速学习。我们经验验证,我们的方法可以实现相当大的改善,在小和高维控制问题。
2020-11-02 cs.AI cs.LG
Framelet Message Passing
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Shanghai Jiao Tong University(上海交通大学)
图神经网络(GNNs)已获得了广泛的应用。神经消息传递是通过聚集相邻特征进行特征传播的典型关键模块。在这项工作中,我们提出了一个新的消息传递的基础上多尺度小框架变换,称为小框架消息传递。与传统的空间方法不同,该方法在节点消息更新中集成了多跳邻居节点的小框架表示。我们还提出了一个连续的消息传递使用神经ODE求解器。由于小标架的多尺度特性,离散和连续两种情况下都可以证明网络的稳定性和限制过平滑。在真实图数据集上的数值实验表明,小框架消息传递的连续版本在学习异构图时显著优于现有方法,并且在经典节点分类任务上以较低的计算成本实现了最先进的性能。
2023-02-28 cs.AI cs.LG
Regionalized Optimization
Univ. Artois(阿图瓦大学)
我们提出了一个理论框架,用于在函子的约束下从局部损失的集合中非冗余地重建全局损失;我们将这种损失称为区域化损失,以纪念Yedidia,Freeman,Weiss的著名文章“构建自由能近似和广义置信传播算法”,其中构建了区域化损失的第一个例子,用于熵和边际函子。我们展示了如何可以关联到这些区域化的损失消息传递算法,找到他们的临界点。它是优化问题的一个自然数学框架,其中数据集上有多个观点,并取代消息传递算法作为寻找这些问题的最优解的规范方法。我们解释了广义置信传播算法如何落入我们提出的框架,并提出了新的消息传递算法的嘈杂的信道网络。
2022-05-19 cs.AI math.OC
Refined Edge Usage of Graph Neural Networks for Edge Prediction
针对边预测中边兼具拓扑与监督作用且预测对象为节点对的特点,本文提出 EMPIRE 框架,通过边划分、目标感知消息传递、加权消息及难负例采样提升预测性能。
2024-01-23 cs.AI cs.IR cs.LG
Message Passing and Combinatorial Optimization
Department of Computing Science(计算科学系)
图形模型使用直观且研究充分的图论方法来隐式地表示大型系统中变量之间的依赖关系。它们可以通过只指定局部因素来模拟复杂系统的全局行为。本文从代数的角度研究了离散图模型中的推理问题,以及如何用推理来表示和逼近NP难的组合问题。我们调查的复杂性和减少各种推理问题,部分通过组织他们在推理层次结构。然后,我们调查这些问题的一个子集,使用分配律的形式的消息传递易于处理的近似。所得到的消息传递过程的质量,称为置信传播(BP),取决于图形模型中的循环的影响。我们贡献了三个类的近似,提高BP循环图A)循环校正技术; B)调查传播,另一种消息传递技术,超越BP在某些设置;和C)混合方法,确定性消息传递和马尔可夫链蒙特卡洛推理之间的插值。然后,我们回顾了现有的消息传递解决方案,并提供了新的图形模型和推理技术的组合问题下的三个大类:A)约束满足问题,如可满足性,着色,包装,集/覆盖覆盖和支配/独立集及其优化对应; B)聚类问题,如层次聚类,K-中位数,K-聚类,K-中心和模块化优化; C)置换问题,包括赋值、图态射和对齐、寻找对称性和旅行商问题。在许多情况下,我们表明,消息传递是能够找到的解决方案,无论是接近最佳或有利的比较,与今天的国家的最先进的方法。
2015-08-20 cs.AI cs.CC cs.DS