CIN++: Enhancing Topological Message Passing
Sapienza University（萨皮恩扎大学）；University of Cambridge（剑桥大学）；Microsoft Research AI4Science（微软研究院AI4Science）
本文提出CIN++，在CIN的拓扑消息传递中增加下层消息以建模胞腔复形内环间直接交互，从而增强高阶与长程建模能力，并在大规模长程化学基准上达到SOTA。
2023-06-06 cs.AI cs.LG
Distilling Self-Knowledge From Contrastive Links to Classify Graph Nodes Without Passing Messages
University of Electronic Science and Technology of China（电子科技大学）
如今，遵循消息传递范式的图神经网络（GNNs）成为图形数据学习的主要方式。这种范例中的模型必须花费额外的空间来使用邻接矩阵查找相邻节点，并花费额外的时间来聚合来自相邻节点的多个消息。为了解决这个问题，我们开发了一种名为LinkDist的方法，该方法将连接节点对的自我知识提取到多层感知器（MLP）中，而无需聚合消息。对8个真实世界数据集的实验表明，来自LinkDist的MLP可以在不知道其邻接关系的情况下预测节点的标签，但在半监督和全监督节点分类的情况下，与GNN相比具有相当的准确性。此外，LinkDist受益于其非消息传递范式，我们还可以以对比的方式从任意采样的节点对中获取自我知识，以进一步提高LinkDist的性能。
2021-06-16 cs.AI cs.LG
Clifford Group Equivariant Simplicial Message Passing Networks
AMLab, University of Amsterdam（阿姆斯特丹大学AMLab）；AI4Science Lab（AI4Science实验室）；Anton Pannekoek Institute（安东·潘内科研究所）；UvA-Bosch Delta Lab（阿姆斯特丹大学-博世三角洲实验室）
本研究提出Clifford群等变单纯形消息传递网络，结合Clifford群等变层与单纯形消息传递，通过几何积表示单纯形特征、跨维度共享参数及聚合多维度消息实现高效传递，在多种几何任务上性能超越现有等变和单纯形图神经网络。
2024-03-12 cs.AI
BeMap: Balanced Message Passing for Fair Graph Neural Network
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Rochester（罗切斯特大学）；Penn State University（宾夕法尼亚州立大学）
针对图神经网络消息传递会因不同群体1跳邻居不均衡而放大偏差的问题，提出采用均衡感知采样策略的公平消息传递方法BeMap，可在维持分类精度的同时缓解偏差，且已开源代码。
2024-03-08 cs.AI cs.LG cs.SI
Message passing all the way up
DeepMind（深度思维）；University of Cambridge（剑桥大学）
消息传递框架是近年来图神经网络（GNN）取得巨大成功的基础。尽管它的优雅，存在许多问题，它不能证明解决给定的输入图。这导致了关于“超越消息传递”的研究激增，构建不受这些限制的GNN-这一术语在常规话语中无处不在。然而，这些方法真的超越了消息传递吗？在这篇立场论文中，我讨论了使用这个术语的危险性--特别是在向新手教授图表示学习时。我证明了我们想要在图上计算的任何感兴趣的函数都很可能使用成对消息传递来表达-只是在一个可能修改的图上，并讨论了大多数实际实现如何巧妙地实现这种技巧。希望发起一个富有成效的讨论，我建议用一个更温和的术语“增强的消息传递”代替“超越消息传递”。
2022-02-22 cs.LG cs.SI stat.ML
GMLP: Building Scalable and Flexible Graph Neural Networks with Feature-Message Passing
Peking University（北京大学）；Tencent Inc.（腾讯公司）
在最近的研究中，神经消息传递已被证明是设计图神经网络（GNNs）的有效方法，GNNs在许多基于图的任务中已实现最先进的性能。然而，当前的神经消息传递架构通常需要在多轮中执行昂贵的递归邻域扩展，因此存在可扩展性问题。此外，大多数现有的神经消息传递计划是不灵活的，因为它们被限制到固定的跳邻域和不敏感的不同节点的实际需求。我们通过一种新的特征消息传递框架来规避这些限制，该框架称为图多层感知器（GMLP），它将神经更新与消息传递分离。通过这种分离，GMLP通过以预计算的方式执行消息传递过程来显著提高可扩展性和效率，并且在利用不同级别的地点上的节点特征消息方面是灵活和自适应的。我们在这个框架下进一步推导出可扩展GNN的新变体，以在性能和效率方面实现两全其美。我们对11个基准数据集进行了广泛的评估，包括ogbn产品和工业数据集等大规模数据集，证明GMLP不仅实现了最先进的性能，而且具有很高的训练可扩展性和效率。
2021-04-20 cs.LG
Expressive Power of Temporal Message Passing
University of Oxford（牛津大学）；Queen Mary University of London（伦敦玛丽女王大学）；TU Wien（维也纳工业大学）
该研究将时序消息传递机制分为全局与局部两类，通过Weisfeiler-Leman刻画分析其表达能力，证明二者在任意图上表达能力不可比较，在颜色持久时序图上局部机制表达能力更强，且结论得到实验验证。
2024-08-19 cs.LG
Convergence of Message Passing Graph Neural Networks with Generic Aggregation On Large Random Graphs
GIPSA-lab（吉萨实验室）；Université Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；IRISA（法国国家信息与自动化研究所雷恩分部）；LJAD（艾克斯-马赛大学计算机科学实验室）
本文研究随机图上消息传递图神经网络随节点数增大向连续模型的收敛性，将现有仅归一化均值聚合的收敛结果扩展到含注意力、最大卷积等的通用聚合类，给出高概率非渐近界，并单独处理坐标最大聚合的不同收敛速率。
2025-02-12 cs.LG stat.ML
ADMP-GNN: Adaptive Depth Message Passing GNN
Université Paris-Saclay, CentraleSupélec, Inria（巴黎-萨克雷大学、中央超导研究所、法国国家信息与自动化技术研究所）
针对现有GNN对所有节点采用固定消息传递层数、未适配节点差异的问题，提出可动态调整各节点消息传递层数的ADMP-GNN框架，适用于各类消息传递类GNN，在节点分类任务上性能优于基线模型。
2025-09-01 cs.LG stat.ML
Towards Dynamic Message Passing on Graphs
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Agriculture Information Institute, CAAS（中国农业科学院农业信息研究所）；Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
针对现有图神经网络消息传递过度依赖输入拓扑、存在瓶颈或高计算开销的问题，提出一种动态消息传递机制并基于此开发$\texttt{N^2}$模型，通过节点与伪节点的空间关系构建灵活路径，在18个基准上性能更优且参数更少、可扩展至大规模任务。
2024-12-01 cs.LG
Understanding the Message Passing in Graph Neural Networks via Power Iteration Clustering
Harbin Institute of Technology（哈尔滨工业大学）
图神经网络的消息传递机制至今仍是一个谜。除了卷积神经网络之外，没有提出GNN的理论起源。令我们惊讶的是，消息传递最好用幂迭代来理解。通过完全或部分去除GNN的激活函数和层权重，我们提出了子空间幂迭代聚类（SPIC）模型，该模型仅使用一个聚合器进行迭代学习。实验表明，我们的模型扩展了GNN，增强了它们处理随机特征网络的能力。此外，我们展示了一些最先进的GNN在设计中的冗余性，并通过消息传递的随机聚合器定义了模型评估的下限。我们的发现推动了对神经网络理论理解的边界。
2021-01-11 cs.LG stat.ML
Concept Graph Convolutions: Message Passing in the Concept Space
University of Cambridge（剑桥大学）
本文提出概念图卷积，通过在概念空间中进行信息传递提升可解释性，结合原始和概念表示，利用结构和注意力机制边权重，实现任务准确性和概念演化的深入理解。
2026-04-22 cs.LG
E(n) Equivariant Message Passing Cellular Networks
University of Amsterdam（阿姆斯特丹大学）；University of Cambridge（剑桥大学）
本文提出E(n)等变消息传递细胞网络（EMPCNs），通过纳入任意细胞并采用解耦技术，在无需可转向性的情况下实现接近最先进的性能，并展现出更强的泛化能力，为高阶消息传递提供了可扩展且富有表达力的框架。
2024-07-18 cs.LG
A Message Passing Perspective on Learning Dynamics of Contrastive Learning
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，对比学习在自监督视觉表示学习方面取得了令人瞩目的成果，但对它的学习动力学仍缺乏严格的理解。在本文中，我们表明，如果我们把一个对比的目标等价到特征空间，那么它的学习动力学承认一个可解释的形式。具体来说，我们表明，其梯度下降对应于一个特定的消息传递计划，相应的增强图。基于这个角度，我们从理论上描述了对比学习如何通过对齐更新和均匀性更新逐渐学习区分性特征。同时，这种观点也建立了一个有趣的对比学习和消息传递图神经网络（MP-GNNs）之间的联系。这种联系不仅提供了对每个社区独立开发的许多技术的统一理解，而且使我们能够借用MP-GNN的技术来设计新的对比学习变体，例如图形注意力，图形重新布线，跳跃知识技术等。我们相信，我们的消息传递视角不仅提供了对对比学习动态的新的理论理解，而且还将这两个看似独立的领域连接在一起，这可能会激发更多的交叉研究，以相互受益。该代码可在https://github.com/PKU-ML/Message-Passing-Contrastive-Learning上获得。
2023-03-08 cs.AI cs.CV cs.LG
Jensen-Shannon Divergence Message-Passing for Rich-Text Graph Representation Learning
College of Computer and Information Science, Southwest University, Chongqing, China（计算机与信息科学学院，西南大学，重庆，中国）
本文提出JSDMP范式，通过结合结构和文本的相似性与不同性，改进丰富文本图表示学习，提出DMPGCN和DMPPRG两种新型图神经网络，实验表明其优于现有基线。
2025-12-23 cs.LG
Entropy Aware Message Passing in Graph Neural Networks
ETH Zurich（苏黎世联邦理工学院）
针对深度图神经网络的过平滑问题，提出一种融合熵感知消息传递项、在节点聚合时对熵做梯度上升以保留嵌入熵的新型物理启发GNN模型，可适配现有架构并在多数据集上与前沿模型对比验证。
2024-03-07 cs.LG
Graph Convolutional Networks with Dual Message Passing for Subgraph Isomorphism Counting and Matching
the Hong Kong University of Science and Technology（香港科技大学）
图神经网络（GNNs）和消息传递神经网络（MPNNs）在许多应用中已经被证明是对子图结构的表达。异构图中的一些应用需要显式的边建模，例如子图同构计数和匹配。然而，现有的消息传递机制在理论上设计得并不好。在本文中，我们从一个特殊的边到点的变换，并利用同构性质的边到点的对偶图。证明了在原图上搜索同构等价于在其对偶图上搜索同构。基于这一观察，我们提出了双消息传递神经网络（DMPNN），以增强子结构表示学习的异步方式子图同构计数和匹配，以及无监督节点分类。大量的实验证明了DMPNN的鲁棒性能相结合的节点和边表示学习在合成和真实的异构图。代码可在www.example.com上获得。
2021-12-16 cs.LG
Ordered GNN: Ordering Message Passing to Deal with Heterophily and Over-smoothing
Shanghai Jiao Tong University（上海交通大学）；Chinese Academy of Sciences（中国科学院）
大多数图神经网络遵循消息传递机制。然而，当多次消息传递应用于图时，它面临过度平滑问题，导致不可区分的节点表示，并阻止模型有效地学习更远节点之间的依赖关系。另一方面，具有不同标签的相邻节点的特征可能被错误地混合，从而导致异质性问题。在这项工作中，我们建议将消息传递到节点表示中，特定的神经元块针对特定跳内的消息传递。这是通过将中心节点的根树的层次结构与其节点表示中的有序神经元对齐来实现的。在大量数据集上的实验结果表明，我们的模型可以同时在同质和异质环境中实现最先进的技术，而无需任何有针对性的设计。此外，当模型变得非常深时，它的性能保持得很好，有效地防止了过度平滑问题。最后，可视化门控向量表明，我们的模型学习在同质性和异质性设置之间表现不同，提供了一个可解释的图神经模型。
2023-02-03 cs.LG
Language Models as Messengers: Enhancing Message Passing in Heterophilic Graph Learning
School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；School of Information and Intelligent Science, Donghua University（东华大学信息与智能科学学院）
LEMP4HG通过语言模型增强信息传递，提升异质图学习性能，同时保持同质图的鲁棒性。
2026-02-27 cs.AI
Graph Coarsening with Message-Passing Guarantees
IRISA（IRISA（法国国家科学研究院、雷恩第一大学等联合组建的科研机构））；CNRS（法国国家科学研究院）
本文提出一种面向粗化图的有向消息传递操作，在保留传播信号方面提供理论保证，并在节点分类任务上优于朴素消息传递。
2024-05-28 cs.LG stat.ML
Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning
University of Oxford（牛津大学）；Massachusetts Institute of Technology（麻省理工学院）；McMaster University（麦马斯特大学）；Vector Institute（向量研究所）；AITHYRA
本文提出SMPNNs，通过替代注意力机制，实现高效的大规模图表示学习，克服传统GNN的过平滑问题，提升性能。
2026-03-09 cs.LG
Hierarchical Inter-Message Passing for Learning on Molecular Graphs
TU Dortmund University（多特蒙德工业大学）
我们提出了一个分层的神经消息传递结构的分子图上学习。我们的模型采用两种互补的图表示：原始分子图表示及其相关的连接树，其中节点表示原始图中有意义的簇，例如，环或桥连化合物。然后，我们通过在每个图中传递消息来学习分子的表示，并使用粗到细和细到粗的信息流在两种表示之间交换消息。我们的方法能够克服经典GNN的一些限制，如检测周期，同时仍然非常有效地进行训练。我们验证其性能的ZINC数据集和数据集源于MoleculeNet基准集合。
2020-06-22 cs.LG stat.ML
Unbiased Heterogeneous Scene Graph Generation with Relation-aware Message Passing Neural Network
KAIST（韩国科学技术院）；Electronics and Telecommunications Research Institute（电子通信研究院）；University of Science and Technology（科学技术大学）
本文提出HetSGG框架，通过关系感知消息传递神经网络（RMP）建模异构场景图中的对象与谓词依赖关系，有效缓解长尾偏差并在尾部谓词类别上取得最优性能。
2023-07-06 cs.AI
Directional Message Passing for Molecular Graphs
Technical University of Munich（慕尼黑工业大学）
图神经网络近年来在预测分子的量子力学性质方面取得了巨大的成功。这些模型仅使用原子（节点）之间的距离将分子表示为图。然而，他们没有考虑从一个原子到另一个原子的空间方向，尽管方向信息在分子的经验势中起着核心作用，例如在角势中。为了缓解这一限制，我们提出了定向消息传递，其中我们嵌入原子之间传递的消息，而不是原子本身。每个消息与坐标空间中的方向相关联。这些方向信息嵌入是旋转等变的，因为相关的方向随分子旋转。我们提出了一个类似于信念传播的消息传递方案，它通过基于它们之间的角度转换消息来使用方向信息。此外，我们使用球面贝塞尔函数和球谐函数来构建理论上有充分依据的正交表示，这些表示比目前流行的高斯径向基表示具有更好的性能，同时使用不到1/4的参数。我们利用这些创新来构建定向消息传递神经网络（DimeNet）。DimeNet在MD 17上的平均表现优于之前的GNN 76%，在QM 9上则优于之前的GNN 31%。我们的实现可在线获得。
2022-04-05 cs.LG physics.comp-ph stat.ML
Graph Networks with Spectral Message Passing
DeepMind（深度思维）
图神经网络（GNN）是机器学习社区对涉及关系推理的问题的强烈关注的主题。GNN可以大致分为空间方法和频谱方法。空间方法使用一种学习的消息传递形式，其中顶点之间的交互在本地计算，并且信息在图上以更大数量的消息传递步骤传播更长的距离。谱方法使用图拉普拉斯算子的特征分解来产生对图结构化数据的空间卷积的泛化，该图结构化数据同时在短时间尺度和长时间尺度上访问信息。在这里，我们介绍了频谱图网络，它将消息传递应用于空间域和频谱域。我们的模型将空间图的顶点投影到拉普拉斯特征向量上，每个特征向量都表示为完全连接的“谱图”中的顶点，然后将学习的消息传递给它们。我们将此模型应用于各种基准任务，包括MNIST分类的基于图形的变体，MoleculeNet和QM9上的分子性质预测，以及随机图上的最短路径问题。我们的研究结果表明，谱GN促进了有效的训练，尽管有更多的参数，但训练迭代次数较少，达到了高性能。该模型还提供了边缘丢失的鲁棒性，并优于分类任务的基线。我们还探讨了这些性能优势如何取决于数据集的属性。
2020-12-31 cs.LG stat.ML
Building powerful and equivariant graph neural networks with structural message-passing
EPFL（洛桑联邦理工学院）
消息传递已被证明是设计图神经网络的一种有效方法，因为它能够利用置换等方差和对学习局部结构的归纳偏差，以实现良好的泛化。然而，目前的消息传递架构具有有限的表示能力，并且无法学习图的基本拓扑属性。我们解决这个问题，并提出了一个强大的和equivariant消息传递框架的基础上两个想法：第一，我们传播一个热编码的节点，除了功能，为了学习每个节点周围的本地上下文矩阵。该矩阵包含关于特征和拓扑的丰富的本地信息，并且最终可以被合并以构建节点表示。其次，我们提出的方法参数化的消息和更新功能，确保置换等变性。具有独立于独热编码的特定选择的表示允许归纳推理并导致更好的泛化属性。实验上，我们的模型可以比以前的方法更准确地预测合成数据的各种图拓扑属性，并在ZINC数据集上的分子图回归方面取得了最先进的结果。
2020-10-23 cs.LG stat.ML
Revisiting the Message Passing in Heterophilous Graph Neural Networks
Zhejiang University（浙江大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文重新审视异质图神经网络中的消息传递，提出统一的HTMP机制并揭示其成功源于隐式增强类间兼容性矩阵，进而提出CMGNN方法显式利用并改进该矩阵，在10个基准数据集上优于13个基线。
2024-05-28 cs.LG cs.SI
How Does Message Passing Improve Collaborative Filtering?
Snap Inc.（Snap公司）；University of California, Riverside（加州大学河滨分校）；University of Notre Dame（圣母大学）
该研究揭示消息传递提升协同过滤的核心机制是前向传播的邻居表征传递而非反向传播梯度更新，并提出即插即用的测试时增强框架TAG-CF，在几乎无额外开销下显著提升推荐性能。
2024-10-28 cs.IR cs.LG
Why Multi-Layer Message Passing Works: Completeness Theory for Graph Neural Network Interatomic Potentials
Institute of Computational Mathematics and Scientific/Engineering Computing, AMSS, Chinese Academy of Sciences（中国科学院数学与系统科学研究院计算数学与科学工程计算研究所）；Institute of Applied Physics and Computational Mathematics（应用物理与计算数学研究所）；College of Engineering, Peking University（北京大学工学院）
该研究提出图神经网络原子间势的多层完备性理论，证明超图神经网络是势能面通用近似器，为实际应用的多层消息传递设置提供严格依据，并表明DPA3、CHGNet具备通用近似能力。
2026-09-03 cs.LG math-ph math.MP
Reactive Message Passing for Scalable Bayesian Inference
Eindhoven University of Technology（埃因霍温理工大学）；GN Hearing（GN Hearing 公司）
我们引入反应式消息传递（RMP）作为一个框架，用于在概率模型的因子图表示中执行无调度、鲁棒和可扩展的基于消息传递的推理。RMP基于反应式编程风格，仅描述因子图中的节点如何对连接节点中的变化做出反应。没有固定的消息传递时间表提高了推理过程的鲁棒性、可扩展性和执行时间。我们还提出了ReactiveMP.jl，这是一个Julia软件包，用于通过最小化约束Bethe自由能来实现RMP。通过用户定义的局部形式规范和对变分后验分布的因式分解约束，ReactiveMP.jl执行混合消息传递算法，包括信念传播，变分消息传递，期望传播和期望最大化更新规则。实验结果表明，与其他Julia包相比，基于ReactiveMP的RMP在一系列概率模型中进行贝叶斯推理的性能有所提高。特别是，我们表明RMP框架能够在标准膝上计算机上运行具有数十万个随机变量的大规模概率状态空间模型的贝叶斯推理。
2021-12-25 cs.AI cs.LG
A new look at reweighted message passing
我们提出了一个新的家庭的MAP估计的图形模型，我们称之为{ \em顺序重新加权消息传递}（SRMP）的消息传递技术。特殊情况包括众所周知的技术，例如{ \em最小和扩散}（MSD）和更快的{ \em顺序树重加权消息传递}（TRW-S）。重要的是，我们的推导比TRW-S的原始推导更简单，并且不涉及分解成树。这使得容易概括。我们提出了这样一个推广的情况下，高阶图形模型，并测试它在几个现实世界的问题，有希望的结果。
2017-01-19 cs.AI cs.CV cs.LG
How Particle System Theory Enhances Hypergraph Message Passing
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
本文提出受粒子系统启发的超图消息传递框架，通过吸引、排斥及Allen-Cahn项实现类别平衡，缓解过平滑与异质性，并理论证明能量下界支持深层传播，实验验证其在同质与异质数据集上的优越分类性能。
2025-05-24 cs.AI cs.LG
Convergent message passing algorithms - a unifying view
消息传递算法已经成为图形模型中近似推理的强大技术。当这些算法收敛时，它们可以找到局部（有时甚至是全局）最优的变分公式的推理问题。但是许多最流行的算法并不能保证收敛。这导致了最近的兴趣，收敛的消息传递算法。在本文中，我们提出了一个统一的观点，收敛的消息传递算法。我们提出了一个简单的推导的抽象算法，树一致性界优化（TCBO），可证明收敛的总和和最大产品的形式。然后，我们表明，许多现有的收敛算法的实例，我们的TCBO算法，并获得新的收敛算法“免费”交换最大化和总结现有的算法。特别是，我们表明，Wainwright的非收敛和产品算法的树为基础的变分界限，实际上是收敛的树是单调链的情况下，正确的更新顺序。
2012-05-09 cs.AI cs.LG
Consensus Message Passing for Layered Graphical Models
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research（微软研究院）
生成模型为概率推理提供了一个强大的框架。然而，在许多领域，它们的使用受到推理的实际困难的阻碍。这在计算机视觉中尤其如此，其中成像过程的模型往往是大的、多环的和分层的。由于这个原因，自下而上的条件模型传统上在这些领域占主导地位。我们发现，广泛使用的，通用的消息传递推理算法，如期望传播（EP）和可变消息传递（VMP）失败的最简单的视觉模型。考虑到这些模型，我们引入了一个修改的消息传递，学会利用他们的分层结构通过传递“共识”的消息，引导推理走向好的解决方案。对各种问题的实验表明，所提出的技术导致更准确的推理结果，不仅与标准EP和VMP相比，而且与竞争性自下而上的条件模型相比。
2015-01-26 cs.AI cs.CV cs.LG
Properties of Bethe Free Energies and Message Passing in Gaussian Models
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
本文利用平均场近似和分数阶Bethe近似解决了高斯概率模型中近似边缘的计算问题。我们定义的高斯分数贝特自由能的矩参数的近似边缘，推导出一个下限和一个上界的分数贝特自由能，并建立一个必要条件的下限是有界的从下面。事实证明，该条件与成对归一化条件相同，这是已知的消息传递算法收敛的充分条件。我们证明了高斯消息传递算法的稳定不动点是高斯Bethe自由能的局部极小值。通过一个反例，证明了自由能的无界性意味着消息传递算法的发散性的猜想是错误的。
2014-01-16 cs.AI cs.LG stat.ML
Lifted Message Passing for the Generalized Belief Propagation
Ben Gurion University of The Negev（本古里安大学）
我们介绍了提升广义置信传播（GBP）消息传递算法，用于概率关系模型（如马尔可夫逻辑网络）中的和积查询的计算。该算法形成了一个紧凑的区域图，并建立了一个修改版本的消息传递，它模仿了相应的地面模型中的GBP行为。紧凑的图是通过利用图形表示的集群，这减少了集群的对称性检测同构测试小的局部图。因此，该框架能够处理复杂的模型，同时保持域大小独立。
2016-10-05 cs.AI
Convergence of Min-Sum Message Passing for Quadratic Optimization
我们建立了一个广泛的二次目标函数的最小化的最小和消息传递算法的收敛性：那些承认凸分解。我们的结果也适用于高斯置信传播的收敛性的等价问题。
2008-12-24 cs.AI cs.IT math.IT
Message-Passing Algorithms: Reparameterizations and Splittings
EPFL（洛桑联邦理工学院）；Yale University（耶鲁大学）
最大积算法是一种局部消息传递方案，它试图计算给定概率分布的最可能分配（MAP），已成功地用作编码理论，计算机视觉和机器学习中出现的应用程序的近似推理方法。然而，不能保证最大乘积算法收敛到MAP分配，并且如果收敛到MAP分配，也不能保证恢复MAP分配。替代收敛的消息传递计划已被提出来克服这些困难。这项工作提供了一个系统的研究，这样的消息传递算法，扩展了已知的结果，表现出新的充分条件收敛到局部和/或全局最优，提供了一个组合的特征，这些最优的基础上，图覆盖，并描述了一个新的收敛和正确的消息传递算法，其推导统一了许多已知的收敛的消息传递算法。虽然收敛和正确的消息传递算法代表了在分析最大乘积型消息传递算法中向前迈出的一步，但保证收敛到全局最优值所需的条件在理论和实践中都可能过于严格。这种收敛和正确的消息传递计划的限制的特点是图覆盖和举例说明。
2012-12-01 cs.AI cs.IT math.IT
Message passing for quantified Boolean formulas
Politecnico di Torino（都灵理工大学）；Institut de Physique Theorique, IPhT, CEA Saclay（法国原子能委员会萨克雷核研究中心理论物理研究所（IPhT））；URA 2306, CNRS（法国国家科学研究中心 URA 2306 联合研究单位）
我们介绍了两种类型的量化布尔公式（QBF）的消息传递算法。第一种类型是基于消息传递的算法，它可以通过分配通用变量来证明QBF的不可满足性，使得剩余的公式是不可满足的。在第二种类型中，我们使用消息传递来指导Davis-Putnam Logemann-Loveland（DPLL）完全求解器的分支算法。数值实验表明，在随机QBF上，我们的分支算法相对于最先进的求解器给出了鲁棒的指数效率增益。我们还设法解决了QBFLIB库中一些以前未解决的基准测试。除此之外，我们的研究揭示了在小系统中使用消息传递和作为子程序在完整的求解器。
2012-02-12 cond-mat.dis-nn cs.AI
Message Passing Multi-Agent GANs
IIT Kanpur（印度理工学院坎普尔分校）
智能体之间的通信和共享智能是实现人工通用智能的一个重要方面。作为迎接这一挑战的第一步，我们引入了一个新的图像生成框架：消息传递多代理生成对抗网络（MPM GANs）。虽然GANs最近被证明对图像生成和其他任务非常有效，但这些网络主要限于单生成器-多线程网络。我们表明，我们可以获得通过消息传递进行通信的多代理GANs，以实现更好的图像生成。在这个框架中，个体行为者的目标有两个方面：合作目标和竞争目标。合作目标确保信息共享机制引导其他生成器生成比自己更好的信息，而竞争目标则鼓励每个生成器生成比其对应方更好的信息。我们分析和可视化这些GANs在各种场景中相互共享的消息。我们定量地表明，消息共享公式作为对抗训练的正则化。定性，我们表明，不同的发电机捕捉不同的特点的底层数据分布。
2016-12-05 cs.AI cs.CV cs.LG
A residual-based message passing algorithm for constraint satisfaction problems
University of Shanghai for Science and Technology（上海理工大学）；South China Normal University（华南师范大学）
消息传递算法，其迭代的性质捕获复杂系统中互连变量之间的复杂交互作用，并从迭代消息的不动点提取信息，为解决优化，推理和学习问题中的困难计算任务提供了强大的工具包。在约束满足问题（CSP）的上下文中，当控制参数（如约束密度）进行调整，多个阈值现象出现，信号在其解决方案空间的基本结构转变。在这些过渡点周围找到解决方案对于算法设计来说是非常具有挑战性的，其中消息传递算法遭受远离收敛的大的消息波动。在这里，我们引入了一个基于残差的更新步骤的消息传递算法，其中连续步骤之间变化较大的消息在更新过程中被赋予高优先级。对于模型RB的具体例子，一个典型的原型随机CSP与增长域，我们表明，我们的算法提高了消息更新的收敛性，并增加了成功的概率在满足性阈值附近找到解决方案，具有较低的计算成本。我们的消息传递算法的方法应该是有价值的，探索他们的权力，在开发算法，找到基态解决方案，并了解解决方案空间的详细结构的硬优化问题。
2022-02-25 cond-mat.dis-nn cs.AI
Proactive Message Passing on Memory Factor Networks
Massachusetts Institute of Technology（麻省理工学院）；Disney Research Boston（迪士尼研究波士顿分院）；University of Toronto（多伦多大学）
我们介绍了一种新型的图形模型，我们称之为“记忆因子网络”（MFN）。我们展示了如何使用MFN来模拟许多类型的数据集固有的结构。我们还介绍了一个相关的消息传递风格的算法称为“主动消息传递”（PMP），执行推理的MFN。PMP具有收敛保证，并且与竞争算法（如置信传播的变体）相比是有效的。我们专门的MFN和PMP的一些不同类型的数据（离散，连续，标记）和推理问题（插值，假设检验），提供的例子，并讨论有效实施的方法。
2016-01-18 cs.AI cs.CV
An Improved Three-Weight Message-Passing Algorithm
Disney Research Boston（迪士尼研究（波士顿））；Cornell University（康奈尔大学）
我们描述了如何强大的“分而并”算法约束满足可以推导出作为一个特殊情况下的消息传递版本的交替方向乘数法（ADMM）算法的凸优化，并介绍了一种改进的消息传递算法ADMM/DC通过引入三个不同的权重的消息，“一定”和“没有意见”的权重，以及ADMM/DC中使用的标准重量。“确定”消息允许我们的改进算法实现约束传播作为一种特殊情况，而“无意见”消息通过使算法只关注主动约束来加速某些问题的收敛。我们描述了我们的三重版本的ADMM/DC可以大大提高性能的非凸问题，如圆包装和解决大型数独难题，同时保留凸问题的ADMM的确切性能。我们还描述了我们的算法相比，其他基于信念传播的消息传递算法的优势。
2013-05-08 cs.AI cs.DS math.OC
Graph Signal Adaptive Message Passing
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Shenzhen International Graduate School（深圳国际研究生院）；Tsinghua University（清华大学）
本文提出图信号自适应消息传递方法 GSAMP，通过节点局部化计算和基于优化问题的自适应更新，同时实现时变图信号的在线预测、缺失数据填补与噪声去除，并在高斯及脉冲噪声下有效处理真实图信号。
2024-11-23 cs.AI eess.SP
Boolean Matrix Factorization and Noisy Completion via Message Passing
Carnegie Mellon University（卡内基梅隆大学）；University of Alberta（阿尔伯塔大学）
布尔矩阵分解和布尔矩阵完成噪声观测是理想的无监督数据分析方法，由于其可解释性，但难以执行，由于其NP-硬度。我们把这些问题的最大后验推理问题的图形模型，并提出了一个消息传递的方法，规模与观察和因素的数量呈线性关系。我们的实证研究表明，消息传递是能够恢复低秩布尔矩阵，在理论上可能的恢复的边界，并与最先进的在现实世界中的应用，如协同过滤与大规模的布尔数据相媲美。
2016-02-04 cs.AI cs.DM math.ST
MAP Estimation, Message Passing, and Perfect Graphs
Columbia University（哥伦比亚大学）
有效地找到一个图形模型的最大后验概率（MAP）配置是一个重要的问题，这是经常使用消息传递算法实现。这种算法的最优性仅在单连通图和其他有限的设置中得到很好的建立。这篇文章扩展了一组图，其中MAP估计是在P中，并且消息传递恢复了所谓的完美图的精确解。这一结果利用了最近的进展，定义完美图（强完美图定理），线性规划松弛MAP估计和最近收敛的消息传递计划。本文将图形模型转换为马尔可夫随机场，这是直接放松到线性规划。其中，完整性通常可以通过测试图的完美性来建立。使用多项式时间算法有效地执行该完美性测试。或者，来自完美图论的已知分解工具可以用于证明某些图族的完美性。因此，提供了一种通用的图形框架，用于确定任何图形模型中的MAP估计何时在P中，具有积分线性规划松弛，并且通过消息传递可以精确地恢复。
2012-05-09 cs.AI cs.DM cs.DS
Lossy source encoding via message-passing and decimation over generalized codewords of LDGM codes
我们描述了使用低密度生成矩阵（LDGM）码的有损信源编码的消息传递和抽取方法。特别是，本文解决了编码伯努利（0.5）源的问题：随机生成的LDGM码与适当的不规则度分布，我们的方法产生的性能非常接近率失真限制在一定范围内的速率。我们的方法的灵感来自调查传播（SP）算法，最初开发的Mezard等人。解决随机可满足性问题。Maneva等人先前的工作展示了如何将SP理解为可满足性问题的另一种表示的置信传播（BP）。类似于这种连接，我们的方法是定义一个家庭的马尔可夫随机场广义码字，从本地消息传递规则可以得出标准的方式。整个信源编码方法基于消息传递，将比特子集设置为它们的首选值（抽取），并减少代码。
2005-08-15 cs.AI cs.IT math.IT
Message Passing and Combinatorial Optimization
Department of Computing Science（计算科学系）
图形模型使用直观且研究充分的图论方法来隐式地表示大型系统中变量之间的依赖关系。它们可以通过只指定局部因素来模拟复杂系统的全局行为。本文从代数的角度研究了离散图模型中的推理问题，以及如何用推理来表示和逼近NP难的组合问题。我们调查的复杂性和减少各种推理问题，部分通过组织他们在推理层次结构。然后，我们调查这些问题的一个子集，使用分配律的形式的消息传递易于处理的近似。所得到的消息传递过程的质量，称为置信传播（BP），取决于图形模型中的循环的影响。我们贡献了三个类的近似，提高BP循环图A）循环校正技术; B）调查传播，另一种消息传递技术，超越BP在某些设置;和C）混合方法，确定性消息传递和马尔可夫链蒙特卡洛推理之间的插值。然后，我们回顾了现有的消息传递解决方案，并提供了新的图形模型和推理技术的组合问题下的三个大类：A）约束满足问题，如可满足性，着色，包装，集/覆盖覆盖和支配/独立集及其优化对应; B）聚类问题，如层次聚类，K-中位数，K-聚类，K-中心和模块化优化; C）置换问题，包括赋值、图态射和对齐、寻找对称性和旅行商问题。在许多情况下，我们表明，消息传递是能够找到的解决方案，无论是接近最佳或有利的比较，与今天的国家的最先进的方法。
2015-08-20 cs.AI cs.CC cs.DS
