Link Prediction with Untrained Message Passing Layers
Chair of Machine Learning for Complex Networks（复杂网络机器学习教授席位）；Center for Artificial Intelligence and Data Science (CAIDAS)（人工智能与数据科学中心）；Julius-Maximilians-Universität Würzburg（维尔堡大学）
本文探索在图神经网络中移除消息传递步骤的可训练参数，提出未训练消息传递层用于链路预测，发现其性能可比肩甚至超越全训练模型，且具有高效性和可解释性。
2025-11-04 cs.AI cs.LG
Memory-based Message Passing: Decoupling the Message for Propogation from Discrimination
ZJ Lab（之江实验室）
消息传递是图神经网络在图表示学习中的一个基本过程。基于同质性假设，当前消息传递总是聚集连接节点的特征，例如图拉普拉斯平滑过程。然而，现实世界的图形往往是嘈杂的和/或不平滑的。同质性假设并不总是成立，导致次优结果。一种改进的消息传递方法需要保持每个节点的区分能力时，聚集来自邻居的消息。为此，我们提出了一种基于内存的消息传递（MMP）方法解耦成一个自嵌入部分的歧视和传播的记忆部分的每个节点的消息。此外，我们开发了一种控制机制和解耦正则化来控制每个节点在内存中吸收和排除消息的比例。更重要的是，我们的MMP是一种通用技能，可以作为额外的一层来帮助提高传统GNN的性能。在具有不同同质性比率的数据集上的大量实验证明了该方法的有效性和鲁棒性。
2022-02-01 cs.AI cs.LG
Convergence of Min-Sum Message Passing for Quadratic Optimization
我们建立了一个广泛的二次目标函数的最小化的最小和消息传递算法的收敛性：那些承认凸分解。我们的结果也适用于高斯置信传播的收敛性的等价问题。
2008-12-24 cs.AI cs.IT math.IT
Message-Passing Algorithms: Reparameterizations and Splittings
EPFL（洛桑联邦理工学院）；Yale University（耶鲁大学）
最大积算法是一种局部消息传递方案，它试图计算给定概率分布的最可能分配（MAP），已成功地用作编码理论，计算机视觉和机器学习中出现的应用程序的近似推理方法。然而，不能保证最大乘积算法收敛到MAP分配，并且如果收敛到MAP分配，也不能保证恢复MAP分配。替代收敛的消息传递计划已被提出来克服这些困难。这项工作提供了一个系统的研究，这样的消息传递算法，扩展了已知的结果，表现出新的充分条件收敛到局部和/或全局最优，提供了一个组合的特征，这些最优的基础上，图覆盖，并描述了一个新的收敛和正确的消息传递算法，其推导统一了许多已知的收敛的消息传递算法。虽然收敛和正确的消息传递算法代表了在分析最大乘积型消息传递算法中向前迈出的一步，但保证收敛到全局最优值所需的条件在理论和实践中都可能过于严格。这种收敛和正确的消息传递计划的限制的特点是图覆盖和举例说明。
2012-12-01 cs.AI cs.IT math.IT
Message passing for quantified Boolean formulas
Politecnico di Torino（都灵理工大学）；Institut de Physique Theorique, IPhT, CEA Saclay（法国原子能委员会萨克雷核研究中心理论物理研究所（IPhT））；URA 2306, CNRS（法国国家科学研究中心 URA 2306 联合研究单位）
我们介绍了两种类型的量化布尔公式（QBF）的消息传递算法。第一种类型是基于消息传递的算法，它可以通过分配通用变量来证明QBF的不可满足性，使得剩余的公式是不可满足的。在第二种类型中，我们使用消息传递来指导Davis-Putnam Logemann-Loveland（DPLL）完全求解器的分支算法。数值实验表明，在随机QBF上，我们的分支算法相对于最先进的求解器给出了鲁棒的指数效率增益。我们还设法解决了QBFLIB库中一些以前未解决的基准测试。除此之外，我们的研究揭示了在小系统中使用消息传递和作为子程序在完整的求解器。
2012-02-12 cond-mat.dis-nn cs.AI
A new look at reweighted message passing
我们提出了一个新的家庭的MAP估计的图形模型，我们称之为{ \em顺序重新加权消息传递}（SRMP）的消息传递技术。特殊情况包括众所周知的技术，例如{ \em最小和扩散}（MSD）和更快的{ \em顺序树重加权消息传递}（TRW-S）。重要的是，我们的推导比TRW-S的原始推导更简单，并且不涉及分解成树。这使得容易概括。我们提出了这样一个推广的情况下，高阶图形模型，并测试它在几个现实世界的问题，有希望的结果。
2017-01-19 cs.AI cs.CV cs.LG
Language Models as Messengers: Enhancing Message Passing in Heterophilic Graph Learning
School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；School of Information and Intelligent Science, Donghua University（东华大学信息与智能科学学院）
LEMP4HG通过语言模型增强信息传递，提升异质图学习性能，同时保持同质图的鲁棒性。
2026-02-27 cs.AI
Unbiased Heterogeneous Scene Graph Generation with Relation-aware Message Passing Neural Network
KAIST（韩国科学技术院）；Electronics and Telecommunications Research Institute（电子通信研究院）；University of Science and Technology（科学技术大学）
本文提出HetSGG框架，通过关系感知消息传递神经网络（RMP）建模异构场景图中的对象与谓词依赖关系，有效缓解长尾偏差并在尾部谓词类别上取得最优性能。
2023-07-06 cs.AI
Rethinking Graph Neural Architecture Search from Message-passing
University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
图神经网络（GNNs）最近作为从图上的数据学习的标准工具包出现。目前的GNN设计工作依赖于大量的人类专业知识来探索不同的消息传递机制，并需要手动枚举来确定适当的消息传递深度。受CNN中神经结构搜索（NAS）强大搜索能力的启发，提出了一种新的搜索空间的图神经结构搜索（GNAS）。GNAS可以自动学习更好的架构，并在图上获得最佳的消息传递深度。具体来说，我们设计了图神经架构范式（GAP），它采用树型拓扑计算过程和两种细粒度原子操作（特征过滤和邻居聚合），从消息传递机制出发，构建了强大的图网络搜索空间。特征过滤执行自适应特征选择，而邻居聚合捕获结构信息并计算邻居的统计信息。实验表明，我们的GNAS可以搜索更好的GNN与多种消息传递机制和最佳的消息传递深度。搜索网络在三个经典图任务的五个大规模数据集上比最先进的手动设计和基于搜索的GNN取得了显着的改进。代码可以在https://github.com/phython96/GNAS-MP上找到。
2021-06-24 cs.AI cs.LG
Reactive Message Passing for Scalable Bayesian Inference
Eindhoven University of Technology（埃因霍温理工大学）；GN Hearing（GN Hearing 公司）
我们引入反应式消息传递（RMP）作为一个框架，用于在概率模型的因子图表示中执行无调度、鲁棒和可扩展的基于消息传递的推理。RMP基于反应式编程风格，仅描述因子图中的节点如何对连接节点中的变化做出反应。没有固定的消息传递时间表提高了推理过程的鲁棒性、可扩展性和执行时间。我们还提出了ReactiveMP.jl，这是一个Julia软件包，用于通过最小化约束Bethe自由能来实现RMP。通过用户定义的局部形式规范和对变分后验分布的因式分解约束，ReactiveMP.jl执行混合消息传递算法，包括信念传播，变分消息传递，期望传播和期望最大化更新规则。实验结果表明，与其他Julia包相比，基于ReactiveMP的RMP在一系列概率模型中进行贝叶斯推理的性能有所提高。特别是，我们表明RMP框架能够在标准膝上计算机上运行具有数十万个随机变量的大规模概率状态空间模型的贝叶斯推理。
2021-12-25 cs.AI cs.LG
How Particle System Theory Enhances Hypergraph Message Passing
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
本文提出受粒子系统启发的超图消息传递框架，通过吸引、排斥及Allen-Cahn项实现类别平衡，缓解过平滑与异质性，并理论证明能量下界支持深层传播，实验验证其在同质与异质数据集上的优越分类性能。
2025-05-24 cs.AI cs.LG
A residual-based message passing algorithm for constraint satisfaction problems
University of Shanghai for Science and Technology（上海理工大学）；South China Normal University（华南师范大学）
消息传递算法，其迭代的性质捕获复杂系统中互连变量之间的复杂交互作用，并从迭代消息的不动点提取信息，为解决优化，推理和学习问题中的困难计算任务提供了强大的工具包。在约束满足问题（CSP）的上下文中，当控制参数（如约束密度）进行调整，多个阈值现象出现，信号在其解决方案空间的基本结构转变。在这些过渡点周围找到解决方案对于算法设计来说是非常具有挑战性的，其中消息传递算法遭受远离收敛的大的消息波动。在这里，我们引入了一个基于残差的更新步骤的消息传递算法，其中连续步骤之间变化较大的消息在更新过程中被赋予高优先级。对于模型RB的具体例子，一个典型的原型随机CSP与增长域，我们表明，我们的算法提高了消息更新的收敛性，并增加了成功的概率在满足性阈值附近找到解决方案，具有较低的计算成本。我们的消息传递算法的方法应该是有价值的，探索他们的权力，在开发算法，找到基态解决方案，并了解解决方案空间的详细结构的硬优化问题。
2022-02-25 cond-mat.dis-nn cs.AI
Proactive Message Passing on Memory Factor Networks
Massachusetts Institute of Technology（麻省理工学院）；Disney Research Boston（迪士尼研究波士顿分院）；University of Toronto（多伦多大学）
我们介绍了一种新型的图形模型，我们称之为“记忆因子网络”（MFN）。我们展示了如何使用MFN来模拟许多类型的数据集固有的结构。我们还介绍了一个相关的消息传递风格的算法称为“主动消息传递”（PMP），执行推理的MFN。PMP具有收敛保证，并且与竞争算法（如置信传播的变体）相比是有效的。我们专门的MFN和PMP的一些不同类型的数据（离散，连续，标记）和推理问题（插值，假设检验），提供的例子，并讨论有效实施的方法。
2016-01-18 cs.AI cs.CV
GGNNs : Generalizing GNNs using Residual Connections and Weighted Message Passing
Indian Institute Of Technology, Bombay（印度理工学院孟买分校）
本文提出GGNNs，通过在消息传递机制中引入消息加权和残差连接来泛化GNNs，显著提升了图神经网络的学习能力与收敛速度。
2023-11-26 cs.AI cs.LG
Message Passing and Combinatorial Optimization
Department of Computing Science（计算科学系）
图形模型使用直观且研究充分的图论方法来隐式地表示大型系统中变量之间的依赖关系。它们可以通过只指定局部因素来模拟复杂系统的全局行为。本文从代数的角度研究了离散图模型中的推理问题，以及如何用推理来表示和逼近NP难的组合问题。我们调查的复杂性和减少各种推理问题，部分通过组织他们在推理层次结构。然后，我们调查这些问题的一个子集，使用分配律的形式的消息传递易于处理的近似。所得到的消息传递过程的质量，称为置信传播（BP），取决于图形模型中的循环的影响。我们贡献了三个类的近似，提高BP循环图A）循环校正技术; B）调查传播，另一种消息传递技术，超越BP在某些设置;和C）混合方法，确定性消息传递和马尔可夫链蒙特卡洛推理之间的插值。然后，我们回顾了现有的消息传递解决方案，并提供了新的图形模型和推理技术的组合问题下的三个大类：A）约束满足问题，如可满足性，着色，包装，集/覆盖覆盖和支配/独立集及其优化对应; B）聚类问题，如层次聚类，K-中位数，K-聚类，K-中心和模块化优化; C）置换问题，包括赋值、图态射和对齐、寻找对称性和旅行商问题。在许多情况下，我们表明，消息传递是能够找到的解决方案，无论是接近最佳或有利的比较，与今天的国家的最先进的方法。
2015-08-20 cs.AI cs.CC cs.DS
Graph Signal Adaptive Message Passing
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Shenzhen International Graduate School（深圳国际研究生院）；Tsinghua University（清华大学）
本文提出图信号自适应消息传递方法 GSAMP，通过节点局部化计算和基于优化问题的自适应更新，同时实现时变图信号的在线预测、缺失数据填补与噪声去除，并在高斯及脉冲噪声下有效处理真实图信号。
2024-11-23 cs.AI eess.SP
CIN++: Enhancing Topological Message Passing
Sapienza University（萨皮恩扎大学）；University of Cambridge（剑桥大学）；Microsoft Research AI4Science（微软研究院AI4Science）
本文提出CIN++，在CIN的拓扑消息传递中增加下层消息以建模胞腔复形内环间直接交互，从而增强高阶与长程建模能力，并在大规模长程化学基准上达到SOTA。
2023-06-06 cs.AI cs.LG
BeMap: Balanced Message Passing for Fair Graph Neural Network
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Rochester（罗切斯特大学）；Penn State University（宾夕法尼亚州立大学）
针对图神经网络消息传递会因不同群体1跳邻居不均衡而放大偏差的问题，提出采用均衡感知采样策略的公平消息传递方法BeMap，可在维持分类精度的同时缓解偏差，且已开源代码。
2024-03-08 cs.AI cs.LG cs.SI
Consensus Message Passing for Layered Graphical Models
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research（微软研究院）
生成模型为概率推理提供了一个强大的框架。然而，在许多领域，它们的使用受到推理的实际困难的阻碍。这在计算机视觉中尤其如此，其中成像过程的模型往往是大的、多环的和分层的。由于这个原因，自下而上的条件模型传统上在这些领域占主导地位。我们发现，广泛使用的，通用的消息传递推理算法，如期望传播（EP）和可变消息传递（VMP）失败的最简单的视觉模型。考虑到这些模型，我们引入了一个修改的消息传递，学会利用他们的分层结构通过传递“共识”的消息，引导推理走向好的解决方案。对各种问题的实验表明，所提出的技术导致更准确的推理结果，不仅与标准EP和VMP相比，而且与竞争性自下而上的条件模型相比。
2015-01-26 cs.AI cs.CV cs.LG
Distilling Self-Knowledge From Contrastive Links to Classify Graph Nodes Without Passing Messages
University of Electronic Science and Technology of China（电子科技大学）
如今，遵循消息传递范式的图神经网络（GNNs）成为图形数据学习的主要方式。这种范例中的模型必须花费额外的空间来使用邻接矩阵查找相邻节点，并花费额外的时间来聚合来自相邻节点的多个消息。为了解决这个问题，我们开发了一种名为LinkDist的方法，该方法将连接节点对的自我知识提取到多层感知器（MLP）中，而无需聚合消息。对8个真实世界数据集的实验表明，来自LinkDist的MLP可以在不知道其邻接关系的情况下预测节点的标签，但在半监督和全监督节点分类的情况下，与GNN相比具有相当的准确性。此外，LinkDist受益于其非消息传递范式，我们还可以以对比的方式从任意采样的节点对中获取自我知识，以进一步提高LinkDist的性能。
2021-06-16 cs.AI cs.LG
Convergent message passing algorithms - a unifying view
消息传递算法已经成为图形模型中近似推理的强大技术。当这些算法收敛时，它们可以找到局部（有时甚至是全局）最优的变分公式的推理问题。但是许多最流行的算法并不能保证收敛。这导致了最近的兴趣，收敛的消息传递算法。在本文中，我们提出了一个统一的观点，收敛的消息传递算法。我们提出了一个简单的推导的抽象算法，树一致性界优化（TCBO），可证明收敛的总和和最大产品的形式。然后，我们表明，许多现有的收敛算法的实例，我们的TCBO算法，并获得新的收敛算法“免费”交换最大化和总结现有的算法。特别是，我们表明，Wainwright的非收敛和产品算法的树为基础的变分界限，实际上是收敛的树是单调链的情况下，正确的更新顺序。
2012-05-09 cs.AI cs.LG
Properties of Bethe Free Energies and Message Passing in Gaussian Models
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
本文利用平均场近似和分数阶Bethe近似解决了高斯概率模型中近似边缘的计算问题。我们定义的高斯分数贝特自由能的矩参数的近似边缘，推导出一个下限和一个上界的分数贝特自由能，并建立一个必要条件的下限是有界的从下面。事实证明，该条件与成对归一化条件相同，这是已知的消息传递算法收敛的充分条件。我们证明了高斯消息传递算法的稳定不动点是高斯Bethe自由能的局部极小值。通过一个反例，证明了自由能的无界性意味着消息传递算法的发散性的猜想是错误的。
2014-01-16 cs.AI cs.LG stat.ML
Boolean Matrix Factorization and Noisy Completion via Message Passing
Carnegie Mellon University（卡内基梅隆大学）；University of Alberta（阿尔伯塔大学）
布尔矩阵分解和布尔矩阵完成噪声观测是理想的无监督数据分析方法，由于其可解释性，但难以执行，由于其NP-硬度。我们把这些问题的最大后验推理问题的图形模型，并提出了一个消息传递的方法，规模与观察和因素的数量呈线性关系。我们的实证研究表明，消息传递是能够恢复低秩布尔矩阵，在理论上可能的恢复的边界，并与最先进的在现实世界中的应用，如协同过滤与大规模的布尔数据相媲美。
2016-02-04 cs.AI cs.DM math.ST
Lossy source encoding via message-passing and decimation over generalized codewords of LDGM codes
我们描述了使用低密度生成矩阵（LDGM）码的有损信源编码的消息传递和抽取方法。特别是，本文解决了编码伯努利（0.5）源的问题：随机生成的LDGM码与适当的不规则度分布，我们的方法产生的性能非常接近率失真限制在一定范围内的速率。我们的方法的灵感来自调查传播（SP）算法，最初开发的Mezard等人。解决随机可满足性问题。Maneva等人先前的工作展示了如何将SP理解为可满足性问题的另一种表示的置信传播（BP）。类似于这种连接，我们的方法是定义一个家庭的马尔可夫随机场广义码字，从本地消息传递规则可以得出标准的方式。整个信源编码方法基于消息传递，将比特子集设置为它们的首选值（抽取），并减少代码。
2005-08-15 cs.AI cs.IT math.IT
A Message Passing Perspective on Learning Dynamics of Contrastive Learning
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，对比学习在自监督视觉表示学习方面取得了令人瞩目的成果，但对它的学习动力学仍缺乏严格的理解。在本文中，我们表明，如果我们把一个对比的目标等价到特征空间，那么它的学习动力学承认一个可解释的形式。具体来说，我们表明，其梯度下降对应于一个特定的消息传递计划，相应的增强图。基于这个角度，我们从理论上描述了对比学习如何通过对齐更新和均匀性更新逐渐学习区分性特征。同时，这种观点也建立了一个有趣的对比学习和消息传递图神经网络（MP-GNNs）之间的联系。这种联系不仅提供了对每个社区独立开发的许多技术的统一理解，而且使我们能够借用MP-GNN的技术来设计新的对比学习变体，例如图形注意力，图形重新布线，跳跃知识技术等。我们相信，我们的消息传递视角不仅提供了对对比学习动态的新的理论理解，而且还将这两个看似独立的领域连接在一起，这可能会激发更多的交叉研究，以相互受益。该代码可在https://github.com/PKU-ML/Message-Passing-Contrastive-Learning上获得。
2023-03-08 cs.AI cs.CV cs.LG
Message Passing Multi-Agent GANs
IIT Kanpur（印度理工学院坎普尔分校）
智能体之间的通信和共享智能是实现人工通用智能的一个重要方面。作为迎接这一挑战的第一步，我们引入了一个新的图像生成框架：消息传递多代理生成对抗网络（MPM GANs）。虽然GANs最近被证明对图像生成和其他任务非常有效，但这些网络主要限于单生成器-多线程网络。我们表明，我们可以获得通过消息传递进行通信的多代理GANs，以实现更好的图像生成。在这个框架中，个体行为者的目标有两个方面：合作目标和竞争目标。合作目标确保信息共享机制引导其他生成器生成比自己更好的信息，而竞争目标则鼓励每个生成器生成比其对应方更好的信息。我们分析和可视化这些GANs在各种场景中相互共享的消息。我们定量地表明，消息共享公式作为对抗训练的正则化。定性，我们表明，不同的发电机捕捉不同的特点的底层数据分布。
2016-12-05 cs.AI cs.CV cs.LG
