Towards Dynamic Message Passing on Graphs
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Agriculture Information Institute, CAAS（中国农业科学院农业信息研究所）；Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
针对现有图神经网络消息传递过度依赖输入拓扑、存在瓶颈或高计算开销的问题，提出一种动态消息传递机制并基于此开发$\texttt{N^2}$模型，通过节点与伪节点的空间关系构建灵活路径，在18个基准上性能更优且参数更少、可扩展至大规模任务。
2024-12-01 cs.LG
Concept Graph Convolutions: Message Passing in the Concept Space
University of Cambridge（剑桥大学）
本文提出概念图卷积，通过在概念空间中进行信息传递提升可解释性，结合原始和概念表示，利用结构和注意力机制边权重，实现任务准确性和概念演化的深入理解。
2026-04-22 cs.LG
Unsupervised Hyperbolic Representation Learning via Message Passing Auto-Encoders
Seoul National University（首尔大学）；University of Birmingham（伯明翰大学）
大多数关于双曲嵌入的现有文献集中在监督学习上，而非监督双曲嵌入的使用则较少被探索。在本文中，我们分析了无监督任务如何从双曲空间中的学习表示中受益。为了探索如何以及未标记数据的层次结构可以表示在双曲空间中，我们设计了一种新的双曲消息传递自动编码器，其整体自动编码是在双曲空间中进行。该模型通过充分利用双曲几何的信息传递方式对网络进行自动编码。通过大量的定量和定性分析，我们验证了无监督双曲表示的性质和好处。代码可在https://github.com/junhocho/HGCAE上获得。
2021-03-30 cs.LG
Jensen-Shannon Divergence Message-Passing for Rich-Text Graph Representation Learning
College of Computer and Information Science, Southwest University, Chongqing, China（计算机与信息科学学院，西南大学，重庆，中国）
本文提出JSDMP范式，通过结合结构和文本的相似性与不同性，改进丰富文本图表示学习，提出DMPGCN和DMPPRG两种新型图神经网络，实验表明其优于现有基线。
2025-12-23 cs.LG
Entropy Aware Message Passing in Graph Neural Networks
ETH Zurich（苏黎世联邦理工学院）
针对深度图神经网络的过平滑问题，提出一种融合熵感知消息传递项、在节点聚合时对熵做梯度上升以保留嵌入熵的新型物理启发GNN模型，可适配现有架构并在多数据集上与前沿模型对比验证。
2024-03-07 cs.LG
Can strong structural encoding reduce the importance of Message Passing?
University of Amsterdam（阿姆斯特丹大学）；University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
针对图神经网络中消息传递难以学习粗略拓扑结构的问题，提出基于张量积的特征与结构信息交互建模方法。实验表明，强结构编码能显著提升模型鲁棒性，甚至在移除消息传递层时仍保持性能，证明其可降低对消息传递的依赖。
2023-10-22 cs.LG
Graph Convolutional Networks with Dual Message Passing for Subgraph Isomorphism Counting and Matching
the Hong Kong University of Science and Technology（香港科技大学）
图神经网络（GNNs）和消息传递神经网络（MPNNs）在许多应用中已经被证明是对子图结构的表达。异构图中的一些应用需要显式的边建模，例如子图同构计数和匹配。然而，现有的消息传递机制在理论上设计得并不好。在本文中，我们从一个特殊的边到点的变换，并利用同构性质的边到点的对偶图。证明了在原图上搜索同构等价于在其对偶图上搜索同构。基于这一观察，我们提出了双消息传递神经网络（DMPNN），以增强子结构表示学习的异步方式子图同构计数和匹配，以及无监督节点分类。大量的实验证明了DMPNN的鲁棒性能相结合的节点和边表示学习在合成和真实的异构图。代码可在www.example.com上获得。
2021-12-16 cs.LG
Ordered GNN: Ordering Message Passing to Deal with Heterophily and Over-smoothing
Shanghai Jiao Tong University（上海交通大学）；Chinese Academy of Sciences（中国科学院）
大多数图神经网络遵循消息传递机制。然而，当多次消息传递应用于图时，它面临过度平滑问题，导致不可区分的节点表示，并阻止模型有效地学习更远节点之间的依赖关系。另一方面，具有不同标签的相邻节点的特征可能被错误地混合，从而导致异质性问题。在这项工作中，我们建议将消息传递到节点表示中，特定的神经元块针对特定跳内的消息传递。这是通过将中心节点的根树的层次结构与其节点表示中的有序神经元对齐来实现的。在大量数据集上的实验结果表明，我们的模型可以同时在同质和异质环境中实现最先进的技术，而无需任何有针对性的设计。此外，当模型变得非常深时，它的性能保持得很好，有效地防止了过度平滑问题。最后，可视化门控向量表明，我们的模型学习在同质性和异质性设置之间表现不同，提供了一个可解释的图神经模型。
2023-02-03 cs.LG
Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning
University of Oxford（牛津大学）；Massachusetts Institute of Technology（麻省理工学院）；McMaster University（麦马斯特大学）；Vector Institute（向量研究所）；AITHYRA
本文提出SMPNNs，通过替代注意力机制，实现高效的大规模图表示学习，克服传统GNN的过平滑问题，提升性能。
2026-03-09 cs.LG
Demystifying Topological Message-Passing with Relational Structures: A Case Study on Oversquashing in Simplicial Message-Passing
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；UCLA（加州大学洛杉矶分校）；Center for Scalable Data Analytics and Artificial Intelligence（可扩展数据与人工智能中心）；University of Oxford（牛津大学）
本文提出基于关系结构的统一公理化框架，以连接图与拓扑消息传递，并用于分析和缓解单纯形网络中的过度挤压问题。
2025-06-06 cs.LG stat.ML
Framelet Message Passing
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Shanghai Jiao Tong University（上海交通大学）
图神经网络（GNNs）已获得了广泛的应用。神经消息传递是通过聚集相邻特征进行特征传播的典型关键模块。在这项工作中，我们提出了一个新的消息传递的基础上多尺度小框架变换，称为小框架消息传递。与传统的空间方法不同，该方法在节点消息更新中集成了多跳邻居节点的小框架表示。我们还提出了一个连续的消息传递使用神经ODE求解器。由于小标架的多尺度特性，离散和连续两种情况下都可以证明网络的稳定性和限制过平滑。在真实图数据集上的数值实验表明，小框架消息传递的连续版本在学习异构图时显著优于现有方法，并且在经典节点分类任务上以较低的计算成本实现了最先进的性能。
2023-02-28 cs.AI cs.LG
How Powerful are K-hop Message Passing Graph Neural Networks
Washington University in St. Louis（圣路易斯华盛顿大学）；Washington University School of Medicine（华盛顿大学医学院）；Peking University（北京大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
图神经网络（GNN）最流行的设计范例是单跳消息传递-重复聚合来自单跳邻居的信息。然而，1跳消息传递的表达能力受到Weisfeiler-Lehman（1-WL）测试的限制。最近，研究人员通过同时聚合来自K跳邻居节点的信息，将1跳消息传递扩展为K跳消息传递。然而，没有工作分析的表达能力的K跳消息传递。在这项工作中，我们从理论上描述了K跳消息传递的表达能力。具体来说，我们首先正式区分两个不同的内核的K跳消息传递，这是经常被滥用在以前的作品。然后，我们表征的表达能力的K跳消息传递表明，它是更强大的1-WL，可以区分几乎所有的正则图。尽管更高的表达能力，我们表明，K跳消息传递仍然不能区分一些简单的正则图，其表达能力是由3-WL的范围。为了进一步增强其表达能力，我们引入了KP-GNN框架，该框架通过利用每一跳中的外围子图信息来改进K跳消息传递。我们表明，KP-GNN可以区分许多距离正则图，不能区分以前的距离编码或3-WL方法。实验结果验证了KP-GNN的表达能力和有效性。KP-GNN在所有基准数据集上都取得了有竞争力的结果。
2023-01-06 cs.AI cs.LG
Link Prediction with Untrained Message Passing Layers
Chair of Machine Learning for Complex Networks（复杂网络机器学习教授席位）；Center for Artificial Intelligence and Data Science (CAIDAS)（人工智能与数据科学中心）；Julius-Maximilians-Universität Würzburg（维尔堡大学）
本文探索在图神经网络中移除消息传递步骤的可训练参数，提出未训练消息传递层用于链路预测，发现其性能可比肩甚至超越全训练模型，且具有高效性和可解释性。
2025-11-04 cs.AI cs.LG
Memory-based Message Passing: Decoupling the Message for Propogation from Discrimination
ZJ Lab（之江实验室）
消息传递是图神经网络在图表示学习中的一个基本过程。基于同质性假设，当前消息传递总是聚集连接节点的特征，例如图拉普拉斯平滑过程。然而，现实世界的图形往往是嘈杂的和/或不平滑的。同质性假设并不总是成立，导致次优结果。一种改进的消息传递方法需要保持每个节点的区分能力时，聚集来自邻居的消息。为此，我们提出了一种基于内存的消息传递（MMP）方法解耦成一个自嵌入部分的歧视和传播的记忆部分的每个节点的消息。此外，我们开发了一种控制机制和解耦正则化来控制每个节点在内存中吸收和排除消息的比例。更重要的是，我们的MMP是一种通用技能，可以作为额外的一层来帮助提高传统GNN的性能。在具有不同同质性比率的数据集上的大量实验证明了该方法的有效性和鲁棒性。
2022-02-01 cs.AI cs.LG
Equivariant message passing for the prediction of tensorial properties and molecular spectra
Technische Universität Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
消息传递神经网络已成为一种选择的方法，用于学习图，特别是化学性质的预测和分子动力学研究的加速。虽然它们很容易扩展到大的训练数据集，但以前的方法已被证明比内核方法的数据效率低。我们确定的一个主要原因不变表示的限制，并扩展到旋转等变表示的消息传递制定。在此基础上，我们提出了极化原子相互作用神经网络（PaiNN），并对常用的分子基准进行了改进，同时减小了模型规模和推理时间。我们利用PaiNN获得的等变atomwise表示来预测张量性质。最后，我们将其应用于分子光谱的模拟，与电子结构参考相比，实现了4-5个数量级的加速。
2021-06-07 cs.LG physics.chem-ph
A Geometric Insight into Equivariant Message Passing Neural Networks on Riemannian Manifolds
ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Université Paris-Saclay（巴黎萨克雷大学）；University of Cambridge（剑桥大学）
本文通过度量保持的最优嵌入准则，将等变消息传递建模为扭曲Polyakov作用量最小化导出的扩散过程，并离散化得到高阶等变GNN，推广ACE/MACE至黎曼流形。
2023-10-16 cs.LG stat.ML
E(n) Equivariant Message Passing Simplicial Networks
University of Amsterdam（阿姆斯特丹大学）
本文提出 E(n) 等变消息传递单纯复形网络（EMPSNs），通过学习高维单纯形特征并引入几何信息，提升了几何图学习的等变性与性能，有效缓解过平滑问题。
2023-10-22 cs.AI cs.LG
Convergence of Message Passing Graph Neural Networks with Generic Aggregation On Large Random Graphs
GIPSA-lab（吉萨实验室）；Université Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；IRISA（法国国家信息与自动化研究所雷恩分部）；LJAD（艾克斯-马赛大学计算机科学实验室）
本文研究随机图上消息传递图神经网络随节点数增大向连续模型的收敛性，将现有仅归一化均值聚合的收敛结果扩展到含注意力、最大卷积等的通用聚合类，给出高概率非渐近界，并单独处理坐标最大聚合的不同收敛速率。
2025-02-12 cs.LG stat.ML
The Inverse G-Wishart Distribution and Variational Message Passing
University of Technology Sydney（悉尼科技大学）
因子图上的消息传递是任意图形化大型模型的近似推理算法编码的一个强大范例。因子图片段的概念允许代数和计算机代码的划分。我们发现，逆G-Wishart家庭的分布，使基本的变分信息传递因子图片段，以优雅和简洁地表示。这样的片段出现在模型中，其中对该模型进行关于协方差阵或方差参数的近似推断，并且在当代统计学和机器学习中普遍存在。
2020-12-11 cs.LG stat.ML
Entropy Message Passing
University of Niš（尼什大学）
提出了一种新的无圈因子图消息传递算法。所提出的“熵消息传递”（EMP）算法可以被看作是在熵半环上的和积消息传递，这已经出现在自动机理论中。EMP的主要用途是计算模型的熵。但是，EMP也可以用于计算出现在期望最大化和梯度下降算法中的表达式。
2010-11-08 cs.IT cs.LG math.IT
ADMP-GNN: Adaptive Depth Message Passing GNN
Université Paris-Saclay, CentraleSupélec, Inria（巴黎-萨克雷大学、中央超导研究所、法国国家信息与自动化技术研究所）
针对现有GNN对所有节点采用固定消息传递层数、未适配节点差异的问题，提出可动态调整各节点消息传递层数的ADMP-GNN框架，适用于各类消息传递类GNN，在节点分类任务上性能优于基线模型。
2025-09-01 cs.LG stat.ML
Message passing all the way up
DeepMind（深度思维）；University of Cambridge（剑桥大学）
消息传递框架是近年来图神经网络（GNN）取得巨大成功的基础。尽管它的优雅，存在许多问题，它不能证明解决给定的输入图。这导致了关于“超越消息传递”的研究激增，构建不受这些限制的GNN-这一术语在常规话语中无处不在。然而，这些方法真的超越了消息传递吗？在这篇立场论文中，我讨论了使用这个术语的危险性--特别是在向新手教授图表示学习时。我证明了我们想要在图上计算的任何感兴趣的函数都很可能使用成对消息传递来表达-只是在一个可能修改的图上，并讨论了大多数实际实现如何巧妙地实现这种技巧。希望发起一个富有成效的讨论，我建议用一个更温和的术语“增强的消息传递”代替“超越消息传递”。
2022-02-22 cs.LG cs.SI stat.ML
Rethinking Graph Neural Architecture Search from Message-passing
University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
图神经网络（GNNs）最近作为从图上的数据学习的标准工具包出现。目前的GNN设计工作依赖于大量的人类专业知识来探索不同的消息传递机制，并需要手动枚举来确定适当的消息传递深度。受CNN中神经结构搜索（NAS）强大搜索能力的启发，提出了一种新的搜索空间的图神经结构搜索（GNAS）。GNAS可以自动学习更好的架构，并在图上获得最佳的消息传递深度。具体来说，我们设计了图神经架构范式（GAP），它采用树型拓扑计算过程和两种细粒度原子操作（特征过滤和邻居聚合），从消息传递机制出发，构建了强大的图网络搜索空间。特征过滤执行自适应特征选择，而邻居聚合捕获结构信息并计算邻居的统计信息。实验表明，我们的GNAS可以搜索更好的GNN与多种消息传递机制和最佳的消息传递深度。搜索网络在三个经典图任务的五个大规模数据集上比最先进的手动设计和基于搜索的GNN取得了显着的改进。代码可以在https://github.com/phython96/GNAS-MP上找到。
2021-06-24 cs.AI cs.LG
Expectation maximization as message passing
根据以前的工作Eckford，它示出了如何期望最大化（EM）可能被视为，并使用，作为一个消息传递算法在因子图。
2005-08-03 cs.IT cs.LG math.IT
Understanding the Message Passing in Graph Neural Networks via Power Iteration Clustering
Harbin Institute of Technology（哈尔滨工业大学）
图神经网络的消息传递机制至今仍是一个谜。除了卷积神经网络之外，没有提出GNN的理论起源。令我们惊讶的是，消息传递最好用幂迭代来理解。通过完全或部分去除GNN的激活函数和层权重，我们提出了子空间幂迭代聚类（SPIC）模型，该模型仅使用一个聚合器进行迭代学习。实验表明，我们的模型扩展了GNN，增强了它们处理随机特征网络的能力。此外，我们展示了一些最先进的GNN在设计中的冗余性，并通过消息传递的随机聚合器定义了模型评估的下限。我们的发现推动了对神经网络理论理解的边界。
2021-01-11 cs.LG stat.ML
Reactive Message Passing for Scalable Bayesian Inference
Eindhoven University of Technology（埃因霍温理工大学）；GN Hearing（GN Hearing 公司）
我们引入反应式消息传递（RMP）作为一个框架，用于在概率模型的因子图表示中执行无调度、鲁棒和可扩展的基于消息传递的推理。RMP基于反应式编程风格，仅描述因子图中的节点如何对连接节点中的变化做出反应。没有固定的消息传递时间表提高了推理过程的鲁棒性、可扩展性和执行时间。我们还提出了ReactiveMP.jl，这是一个Julia软件包，用于通过最小化约束Bethe自由能来实现RMP。通过用户定义的局部形式规范和对变分后验分布的因式分解约束，ReactiveMP.jl执行混合消息传递算法，包括信念传播，变分消息传递，期望传播和期望最大化更新规则。实验结果表明，与其他Julia包相比，基于ReactiveMP的RMP在一系列概率模型中进行贝叶斯推理的性能有所提高。特别是，我们表明RMP框架能够在标准膝上计算机上运行具有数十万个随机变量的大规模概率状态空间模型的贝叶斯推理。
2021-12-25 cs.AI cs.LG
A new look at reweighted message passing
我们提出了一个新的家庭的MAP估计的图形模型，我们称之为{ \em顺序重新加权消息传递}（SRMP）的消息传递技术。特殊情况包括众所周知的技术，例如{ \em最小和扩散}（MSD）和更快的{ \em顺序树重加权消息传递}（TRW-S）。重要的是，我们的推导比TRW-S的原始推导更简单，并且不涉及分解成树。这使得容易概括。我们提出了这样一个推广的情况下，高阶图形模型，并测试它在几个现实世界的问题，有希望的结果。
2017-01-19 cs.AI cs.CV cs.LG
How Particle System Theory Enhances Hypergraph Message Passing
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
本文提出受粒子系统启发的超图消息传递框架，通过吸引、排斥及Allen-Cahn项实现类别平衡，缓解过平滑与异质性，并理论证明能量下界支持深层传播，实验验证其在同质与异质数据集上的优越分类性能。
2025-05-24 cs.AI cs.LG
Utility of Equivariant Message Passing in Cortical Mesh Segmentation
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Imperial College London（帝国理工学院）；DeepMind（深度思维）
大脑皮层区域的自动分割一直是医学图像分析中的一个长期挑战。大脑皮层的复杂几何形状通常表示为多边形网格，其分割可以通过基于图的学习方法来解决。当皮质网格在受试者之间未对齐时，当前方法产生显著更差的分割结果，限制了其处理多域数据的能力。在本文中，我们研究了E（n）-等变图神经网络（EGNNs）的效用，比较了它们与普通图神经网络（GNNs）的性能。我们的评估表明，GNN在对齐网格上的性能优于EGNN，因为它们能够利用全局坐标系的存在。在未对齐的网格上，普通GNN的性能大幅下降，而E（n）-等变消息传递保持相同的分割结果。通过在重新对齐的数据（全局坐标系中的共配准网格）上使用普通GNN也可以获得最佳结果。
2022-06-15 cs.CV cs.LG
Relational Message Passing for Knowledge Graph Completion
Stanford University（斯坦福大学）
知识图谱补全的目的是预测知识图谱中实体之间缺失的关系。在这项工作中，我们提出了一个关系消息传递方法的知识图谱完成。与现有的基于嵌入的方法不同，关系消息传递仅考虑边缘特征（即，关系类型），并迭代地在边之间传递关系消息以聚合邻域信息。具体而言，在关系消息传递框架下，为给定实体对建模了两种邻域拓扑：（1）关系上下文，它捕获给定实体对相邻边的关系类型;（2）关系路径，它表征给定两个实体在知识图谱中的相对位置。这两个消息传递模块结合在一起进行关系预测。在知识图谱基准测试和我们新提出的数据集上的实验结果表明，我们的方法PathCon的性能大大优于最先进的知识图谱完成方法。PathCon也被证明适用于在训练阶段看不到实体的归纳设置，并且能够为预测结果提供可解释的解释。代码和所有数据集都可以在https://github.com/hwwang55/PathCon上找到。
2021-05-27 cs.LG stat.ML
GGNNs : Generalizing GNNs using Residual Connections and Weighted Message Passing
Indian Institute Of Technology, Bombay（印度理工学院孟买分校）
本文提出GGNNs，通过在消息传递机制中引入消息加权和残差连接来泛化GNNs，显著提升了图神经网络的学习能力与收敛速度。
2023-11-26 cs.AI cs.LG
Passing Expectation Propagation Messages with Kernel Methods
University College London（伦敦大学学院）；Google Deepmind（谷歌DeepMind）
我们建议学习一个基于内核的消息运算符，它将所有期望传播（EP）传入消息作为输入到因子节点，并产生传出消息。在普通EP中，计算传出消息涉及估计可能不具有解析表达式的多元积分。学习这样一个操作允许一个绕过昂贵的计算过程中的积分推理直接映射到一个传出的消息所有传入的消息。可以从训练数据（输入和输出消息的示例）中学习运算符，这允许对可以采样的任何类型的因素进行自动推理。
2015-01-02 cs.LG stat.ML
Graph Coarsening with Message-Passing Guarantees
IRISA（IRISA（法国国家科学研究院、雷恩第一大学等联合组建的科研机构））；CNRS（法国国家科学研究院）
本文提出一种面向粗化图的有向消息传递操作，在保留传播信号方面提供理论保证，并在节点分类任务上优于朴素消息传递。
2024-05-28 cs.LG stat.ML
Exact solution to the random sequential dynamics of a message passing algorithm
Technische Universität Berlin（柏林工业大学）；University of Birmingham（伯明翰大学）
我们分析了大系统极限下具有随机相互作用的伊辛模型的消息传递算法的随机序列动力学。我们得到了两次关联函数和收敛速度的精确结果。证明了静态问题的{ \em de Almedia-Almedia-less}稳定性判据是随机序列动力学全局收敛的充分必要条件.
2021-03-02 cond-mat.dis-nn cs.LG
Hierarchical Inter-Message Passing for Learning on Molecular Graphs
TU Dortmund University（多特蒙德工业大学）
我们提出了一个分层的神经消息传递结构的分子图上学习。我们的模型采用两种互补的图表示：原始分子图表示及其相关的连接树，其中节点表示原始图中有意义的簇，例如，环或桥连化合物。然后，我们通过在每个图中传递消息来学习分子的表示，并使用粗到细和细到粗的信息流在两种表示之间交换消息。我们的方法能够克服经典GNN的一些限制，如检测周期，同时仍然非常有效地进行训练。我们验证其性能的ZINC数据集和数据集源于MoleculeNet基准集合。
2020-06-22 cs.LG stat.ML
Building powerful and equivariant graph neural networks with structural message-passing
EPFL（洛桑联邦理工学院）
消息传递已被证明是设计图神经网络的一种有效方法，因为它能够利用置换等方差和对学习局部结构的归纳偏差，以实现良好的泛化。然而，目前的消息传递架构具有有限的表示能力，并且无法学习图的基本拓扑属性。我们解决这个问题，并提出了一个强大的和equivariant消息传递框架的基础上两个想法：第一，我们传播一个热编码的节点，除了功能，为了学习每个节点周围的本地上下文矩阵。该矩阵包含关于特征和拓扑的丰富的本地信息，并且最终可以被合并以构建节点表示。其次，我们提出的方法参数化的消息和更新功能，确保置换等变性。具有独立于独热编码的特定选择的表示允许归纳推理并导致更好的泛化属性。实验上，我们的模型可以比以前的方法更准确地预测合成数据的各种图拓扑属性，并在ZINC数据集上的分子图回归方面取得了最先进的结果。
2020-10-23 cs.LG stat.ML
CIN++: Enhancing Topological Message Passing
Sapienza University（萨皮恩扎大学）；University of Cambridge（剑桥大学）；Microsoft Research AI4Science（微软研究院AI4Science）
本文提出CIN++，在CIN的拓扑消息传递中增加下层消息以建模胞腔复形内环间直接交互，从而增强高阶与长程建模能力，并在大规模长程化学基准上达到SOTA。
2023-06-06 cs.AI cs.LG
Unitary Approximate Message Passing for Matrix Factorization
Artificial Intelligence Technology Engineering Research Center, Open University of Henan（河南开放大学人工智能技术工程研究中心）；University of Wollongong（伍伦贡大学）；Weizmann Institute of Science（魏茨曼科学研究所）；University of Sydney（悉尼大学）
我们考虑矩阵分解（MF）与一定的约束，发现在各个领域的广泛应用。利用变分推理（VI）和酉近似消息传递（UAMP），我们开发了一个贝叶斯方法MF与一个有效的消息传递实现，称为UAMPMF。通过在因子矩阵上施加适当的先验，UAMPMF可以用于解决许多可以用MF表示的问题，例如非负矩阵因子分解、字典学习、具有矩阵不确定性的压缩感知、鲁棒主成分分析和稀疏矩阵因子分解。大量的数值例子表明，UAMPMF显着优于国家的最先进的算法在恢复精度，鲁棒性和计算复杂度。
2022-07-31 cs.LG eess.SP
Distilling Self-Knowledge From Contrastive Links to Classify Graph Nodes Without Passing Messages
University of Electronic Science and Technology of China（电子科技大学）
如今，遵循消息传递范式的图神经网络（GNNs）成为图形数据学习的主要方式。这种范例中的模型必须花费额外的空间来使用邻接矩阵查找相邻节点，并花费额外的时间来聚合来自相邻节点的多个消息。为了解决这个问题，我们开发了一种名为LinkDist的方法，该方法将连接节点对的自我知识提取到多层感知器（MLP）中，而无需聚合消息。对8个真实世界数据集的实验表明，来自LinkDist的MLP可以在不知道其邻接关系的情况下预测节点的标签，但在半监督和全监督节点分类的情况下，与GNN相比具有相当的准确性。此外，LinkDist受益于其非消息传递范式，我们还可以以对比的方式从任意采样的节点对中获取自我知识，以进一步提高LinkDist的性能。
2021-06-16 cs.AI cs.LG
Convergent message passing algorithms - a unifying view
消息传递算法已经成为图形模型中近似推理的强大技术。当这些算法收敛时，它们可以找到局部（有时甚至是全局）最优的变分公式的推理问题。但是许多最流行的算法并不能保证收敛。这导致了最近的兴趣，收敛的消息传递算法。在本文中，我们提出了一个统一的观点，收敛的消息传递算法。我们提出了一个简单的推导的抽象算法，树一致性界优化（TCBO），可证明收敛的总和和最大产品的形式。然后，我们表明，许多现有的收敛算法的实例，我们的TCBO算法，并获得新的收敛算法“免费”交换最大化和总结现有的算法。特别是，我们表明，Wainwright的非收敛和产品算法的树为基础的变分界限，实际上是收敛的树是单调链的情况下，正确的更新顺序。
2012-05-09 cs.AI cs.LG
Graph Networks with Spectral Message Passing
DeepMind（深度思维）
图神经网络（GNN）是机器学习社区对涉及关系推理的问题的强烈关注的主题。GNN可以大致分为空间方法和频谱方法。空间方法使用一种学习的消息传递形式，其中顶点之间的交互在本地计算，并且信息在图上以更大数量的消息传递步骤传播更长的距离。谱方法使用图拉普拉斯算子的特征分解来产生对图结构化数据的空间卷积的泛化，该图结构化数据同时在短时间尺度和长时间尺度上访问信息。在这里，我们介绍了频谱图网络，它将消息传递应用于空间域和频谱域。我们的模型将空间图的顶点投影到拉普拉斯特征向量上，每个特征向量都表示为完全连接的“谱图”中的顶点，然后将学习的消息传递给它们。我们将此模型应用于各种基准任务，包括MNIST分类的基于图形的变体，MoleculeNet和QM9上的分子性质预测，以及随机图上的最短路径问题。我们的研究结果表明，谱GN促进了有效的训练，尽管有更多的参数，但训练迭代次数较少，达到了高性能。该模型还提供了边缘丢失的鲁棒性，并优于分类任务的基线。我们还探讨了这些性能优势如何取决于数据集的属性。
2020-12-31 cs.LG stat.ML
Geometric and Physical Quantities Improve E(3) Equivariant Message Passing
University of Amsterdam（阿姆斯特丹大学）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；UvA-Bosch DeltaLab（阿姆斯特丹大学-博世德尔塔实验室）
包括协变信息，如位置，力，速度或自旋在计算物理和化学中的许多任务中是重要的。我们引入了可操纵E（3）等变图神经网络（SEGNN），它推广了等变图网络，使得节点和边属性不限于不变标量，而是可以包含协变信息，如向量或张量。该模型由可操纵的MLP组成，能够在消息和更新功能中结合几何和物理信息。通过定义可操纵节点属性，MLP提供了一类新的激活函数，可与可操纵特征场一起通用。我们通过等变非线性卷积的镜头来讨论我们和相关工作，这进一步使我们能够确定SEGNN的成功组件：非线性消息聚合改进了经典的线性（可转向）点卷积;可转向消息改进了最近发送不变消息的等变图网络。我们证明了我们的方法在计算物理和化学的几个任务的有效性，并提供了广泛的消融研究。
2022-03-26 cs.AI cs.LG stat.ML
BeMap: Balanced Message Passing for Fair Graph Neural Network
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Rochester（罗切斯特大学）；Penn State University（宾夕法尼亚州立大学）
针对图神经网络消息传递会因不同群体1跳邻居不均衡而放大偏差的问题，提出采用均衡感知采样策略的公平消息传递方法BeMap，可在维持分类精度的同时缓解偏差，且已开源代码。
2024-03-08 cs.AI cs.LG cs.SI
Consensus Message Passing for Layered Graphical Models
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research（微软研究院）
生成模型为概率推理提供了一个强大的框架。然而，在许多领域，它们的使用受到推理的实际困难的阻碍。这在计算机视觉中尤其如此，其中成像过程的模型往往是大的、多环的和分层的。由于这个原因，自下而上的条件模型传统上在这些领域占主导地位。我们发现，广泛使用的，通用的消息传递推理算法，如期望传播（EP）和可变消息传递（VMP）失败的最简单的视觉模型。考虑到这些模型，我们引入了一个修改的消息传递，学会利用他们的分层结构通过传递“共识”的消息，引导推理走向好的解决方案。对各种问题的实验表明，所提出的技术导致更准确的推理结果，不仅与标准EP和VMP相比，而且与竞争性自下而上的条件模型相比。
2015-01-26 cs.AI cs.CV cs.LG
Properties of Bethe Free Energies and Message Passing in Gaussian Models
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
本文利用平均场近似和分数阶Bethe近似解决了高斯概率模型中近似边缘的计算问题。我们定义的高斯分数贝特自由能的矩参数的近似边缘，推导出一个下限和一个上界的分数贝特自由能，并建立一个必要条件的下限是有界的从下面。事实证明，该条件与成对归一化条件相同，这是已知的消息传递算法收敛的充分条件。我们证明了高斯消息传递算法的稳定不动点是高斯Bethe自由能的局部极小值。通过一个反例，证明了自由能的无界性意味着消息传递算法的发散性的猜想是错误的。
2014-01-16 cs.AI cs.LG stat.ML
Accelerated Message Passing for Entropy-Regularized MAP Inference
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
离散值马尔可夫随机场的最大后验（MAP）推断是机器学习中的一个基本问题，涉及识别给定分布的随机变量的最可能配置。由于这个组合问题的难度，线性规划（LP）松弛通常用于导出专门的消息传递算法，这些算法通常被解释为对偶LP上的坐标下降。为了实现更理想的计算性能，许多方法用熵项正则化LP，从而产生一类具有收敛保证的平滑消息传递算法。在本文中，我们提出了随机化的方法来加速这些算法，利用经典的加速梯度方法的基础技术。所提出的算法结合了标准平滑消息传递算法的熟悉步骤，这些步骤可以被视为坐标最小化步骤。我们表明，这些加速的变种实现更快的速度寻找$ε$ -最佳点的非正则化问题，当LP是紧的，我们证明了所提出的算法恢复真正的MAP解决方案，在更少的迭代比标准的消息传递算法。
2020-07-01 cs.LG math.OC stat.ML
A Convergence Analysis of Approximate Message Passing with Non-Separable Functions and Applications to Multi-Class Classification
Technical University of Berlin（柏林工业大学）；Harvard University（哈佛大学）；University of Birmingham（伯明翰大学）；University of Potsdam（波茨坦大学）
本文分析了具有不可分离多元非线性的近似消息传递（AMP）动力学收敛性，并独立完成了多类分类中凸优化问题的完整分析。
2024-02-13 cs.IT cs.LG math.IT
MACE: Higher Order Equivariant Message Passing Neural Networks for Fast and Accurate Force Fields
University of Cambridge（剑桥大学）；ENS Paris-Saclay, Université Paris-Saclay（巴黎萨克雷大学巴黎萨克雷高等师范学院）；University of British Columbia（不列颠哥伦比亚大学）
创建快速准确的力场是计算化学和材料科学中的一个长期挑战。最近，几个等变消息传递神经网络（MPNN）已被证明优于使用其他方法建立的模型的准确性。然而，大多数MPNN的计算成本高，可扩展性差。我们认为这些限制的出现是因为MPNN只传递两体消息，导致网络的层数和表达能力之间存在直接关系。在这项工作中，我们介绍了MACE，一个新的等变MPNN模型，使用更高的身体秩序的消息。特别是，我们表明，使用四体消息将所需的消息传递迭代次数减少到只有两次，从而产生快速且高度并行化的模型，在rMD17，3BPA和AcAc基准任务上达到或超过最先进的精度。我们还证明了使用高阶消息会导致学习曲线的陡度提高。
2023-01-26 cond-mat.mtrl-sci cs.LG physics.chem-ph
Multi-Scale Message Passing Neural PDE Solvers
ETH Zürich（苏黎世联邦理工学院）；UC Berkeley（加州大学伯克利分校）
我们提出了一种新的多尺度消息传递神经网络学习算法的时间依赖的偏微分方程的解决方案。我们的算法同时具有时间和空间多尺度分辨率的特点，通过将多尺度序列模型和图形门控模块分别在编码器和处理器。基准数值实验表明，所提出的算法优于基线，特别是在一系列的空间和时间尺度的偏微分方程。
2023-02-07 cs.LG cs.NA math.NA
Policy Message Passing: A New Algorithm for Probabilistic Graph Inference
Borealis AI（北极光人工智能）；Princeton University（普林斯顿大学）；Simon Fraser University（西蒙弗雷泽大学）
一般的图结构神经网络架构通过两个核心组件对图进行操作：（1）足够复杂的消息函数;（2）固定的信息聚合过程。在本文中，我们提出了政策消息传递算法，它需要一个概率的角度来看，并重新制定了整个信息聚合的随机序列过程。该算法可以在更大的搜索空间上进行搜索，利用推理历史进行推理，对噪声边缘具有较好的鲁棒性。我们将我们的算法应用于多个复杂的图推理和预测任务，并表明我们的算法始终优于最先进的图结构模型。
2019-09-29 cs.CV cs.LG stat.ML
Directional Message Passing for Molecular Graphs
Technical University of Munich（慕尼黑工业大学）
图神经网络近年来在预测分子的量子力学性质方面取得了巨大的成功。这些模型仅使用原子（节点）之间的距离将分子表示为图。然而，他们没有考虑从一个原子到另一个原子的空间方向，尽管方向信息在分子的经验势中起着核心作用，例如在角势中。为了缓解这一限制，我们提出了定向消息传递，其中我们嵌入原子之间传递的消息，而不是原子本身。每个消息与坐标空间中的方向相关联。这些方向信息嵌入是旋转等变的，因为相关的方向随分子旋转。我们提出了一个类似于信念传播的消息传递方案，它通过基于它们之间的角度转换消息来使用方向信息。此外，我们使用球面贝塞尔函数和球谐函数来构建理论上有充分依据的正交表示，这些表示比目前流行的高斯径向基表示具有更好的性能，同时使用不到1/4的参数。我们利用这些创新来构建定向消息传递神经网络（DimeNet）。DimeNet在MD 17上的平均表现优于之前的GNN 76%，在QM 9上则优于之前的GNN 31%。我们的实现可在线获得。
2022-04-05 cs.LG physics.comp-ph stat.ML
Learning by message-passing in networks of discrete synapses
我们表明，一个消息传递过程允许存储在二进制的“材料”突触的随机模式，几乎饱和的信息理论界的数量。我们将学习算法应用于网络，其特征在于广泛的不同的连接拓扑结构和大小与生物系统（例如$n\simeq10^{5}-10^{6}$）。该算法可以变成一个在线的容错学习协议的潜在利益在建模方面的突触可塑性和在建设neuromorphic设备。
2005-12-09 cond-mat.dis-nn cs.LG q-bio.NC
Low Stein Discrepancy via Message-Passing Monte Carlo
Illinois Institute of Technology（伊利诺伊理工学院）；MIT（麻省理工学院）；Heidelberg University（海德堡大学）
本文扩展消息传递蒙特卡洛框架以采样一般多元分布，通过最小化核化Stein差异提出Stein-MPMC方法，实现比现有方法更低的Stein差异。
2025-03-27 cs.LG cs.NA math.NA
A Unitary Transform Based Generalized Approximate Message Passing
Zhejiang University（浙江大学）；Ocean College, Zhejiang University（浙江大学海洋学院）；The University of Tokyo（东京大学）；Institute for Physics of Intelligence, The University of Tokyo（东京大学智能物理研究所）；University of Wollongong（伍伦贡大学）
我们考虑从通过广义线性模型（GLM）获得的一般非线性测量恢复未知信号${\mathbf x}\in {\mathbb R}^n$的问题，即，${\mathbf y}= f\left({\mathbf A}{\mathbf x}+{\mathbf w}\right)$，其中$f(\cdot)$是分量非线性函数。针对一般测量矩阵$\bf{A}$，特别是高相关矩阵，基于酉变换近似消息传递（UAMP）和期望传播，提出了一种基于酉变换的广义近似消息传递（GUAMP）算法.量化压缩感知的实验结果表明，在相关矩阵$\bf{A}$下，该算法的性能明显优于GAMP和GVAMP.
2022-10-17 cs.IT cs.LG math.IT
