Relational Message Passing for Knowledge Graph Completion
Stanford University（斯坦福大学）
知识图谱补全的目的是预测知识图谱中实体之间缺失的关系。在这项工作中，我们提出了一个关系消息传递方法的知识图谱完成。与现有的基于嵌入的方法不同，关系消息传递仅考虑边缘特征（即，关系类型），并迭代地在边之间传递关系消息以聚合邻域信息。具体而言，在关系消息传递框架下，为给定实体对建模了两种邻域拓扑：（1）关系上下文，它捕获给定实体对相邻边的关系类型;（2）关系路径，它表征给定两个实体在知识图谱中的相对位置。这两个消息传递模块结合在一起进行关系预测。在知识图谱基准测试和我们新提出的数据集上的实验结果表明，我们的方法PathCon的性能大大优于最先进的知识图谱完成方法。PathCon也被证明适用于在训练阶段看不到实体的归纳设置，并且能够为预测结果提供可解释的解释。代码和所有数据集都可以在https://github.com/hwwang55/PathCon上找到。
2021-05-27 cs.LG stat.ML
MACE: Higher Order Equivariant Message Passing Neural Networks for Fast and Accurate Force Fields
University of Cambridge（剑桥大学）；ENS Paris-Saclay, Université Paris-Saclay（巴黎萨克雷大学巴黎萨克雷高等师范学院）；University of British Columbia（不列颠哥伦比亚大学）
创建快速准确的力场是计算化学和材料科学中的一个长期挑战。最近，几个等变消息传递神经网络（MPNN）已被证明优于使用其他方法建立的模型的准确性。然而，大多数MPNN的计算成本高，可扩展性差。我们认为这些限制的出现是因为MPNN只传递两体消息，导致网络的层数和表达能力之间存在直接关系。在这项工作中，我们介绍了MACE，一个新的等变MPNN模型，使用更高的身体秩序的消息。特别是，我们表明，使用四体消息将所需的消息传递迭代次数减少到只有两次，从而产生快速且高度并行化的模型，在rMD17，3BPA和AcAc基准任务上达到或超过最先进的精度。我们还证明了使用高阶消息会导致学习曲线的陡度提高。
2023-01-26 cond-mat.mtrl-sci cs.LG physics.chem-ph
Passing Expectation Propagation Messages with Kernel Methods
University College London（伦敦大学学院）；Google Deepmind（谷歌DeepMind）
我们建议学习一个基于内核的消息运算符，它将所有期望传播（EP）传入消息作为输入到因子节点，并产生传出消息。在普通EP中，计算传出消息涉及估计可能不具有解析表达式的多元积分。学习这样一个操作允许一个绕过昂贵的计算过程中的积分推理直接映射到一个传出的消息所有传入的消息。可以从训练数据（输入和输出消息的示例）中学习运算符，这允许对可以采样的任何类型的因素进行自动推理。
2015-01-02 cs.LG stat.ML
Graph Coarsening with Message-Passing Guarantees
IRISA（IRISA（法国国家科学研究院、雷恩第一大学等联合组建的科研机构））；CNRS（法国国家科学研究院）
本文提出一种面向粗化图的有向消息传递操作，在保留传播信号方面提供理论保证，并在节点分类任务上优于朴素消息传递。
2024-05-28 cs.LG stat.ML
Hierarchical Inter-Message Passing for Learning on Molecular Graphs
TU Dortmund University（多特蒙德工业大学）
我们提出了一个分层的神经消息传递结构的分子图上学习。我们的模型采用两种互补的图表示：原始分子图表示及其相关的连接树，其中节点表示原始图中有意义的簇，例如，环或桥连化合物。然后，我们通过在每个图中传递消息来学习分子的表示，并使用粗到细和细到粗的信息流在两种表示之间交换消息。我们的方法能够克服经典GNN的一些限制，如检测周期，同时仍然非常有效地进行训练。我们验证其性能的ZINC数据集和数据集源于MoleculeNet基准集合。
2020-06-22 cs.LG stat.ML
Graph Networks with Spectral Message Passing
DeepMind（深度思维）
图神经网络（GNN）是机器学习社区对涉及关系推理的问题的强烈关注的主题。GNN可以大致分为空间方法和频谱方法。空间方法使用一种学习的消息传递形式，其中顶点之间的交互在本地计算，并且信息在图上以更大数量的消息传递步骤传播更长的距离。谱方法使用图拉普拉斯算子的特征分解来产生对图结构化数据的空间卷积的泛化，该图结构化数据同时在短时间尺度和长时间尺度上访问信息。在这里，我们介绍了频谱图网络，它将消息传递应用于空间域和频谱域。我们的模型将空间图的顶点投影到拉普拉斯特征向量上，每个特征向量都表示为完全连接的“谱图”中的顶点，然后将学习的消息传递给它们。我们将此模型应用于各种基准任务，包括MNIST分类的基于图形的变体，MoleculeNet和QM9上的分子性质预测，以及随机图上的最短路径问题。我们的研究结果表明，谱GN促进了有效的训练，尽管有更多的参数，但训练迭代次数较少，达到了高性能。该模型还提供了边缘丢失的鲁棒性，并优于分类任务的基线。我们还探讨了这些性能优势如何取决于数据集的属性。
2020-12-31 cs.LG stat.ML
Building powerful and equivariant graph neural networks with structural message-passing
EPFL（洛桑联邦理工学院）
消息传递已被证明是设计图神经网络的一种有效方法，因为它能够利用置换等方差和对学习局部结构的归纳偏差，以实现良好的泛化。然而，目前的消息传递架构具有有限的表示能力，并且无法学习图的基本拓扑属性。我们解决这个问题，并提出了一个强大的和equivariant消息传递框架的基础上两个想法：第一，我们传播一个热编码的节点，除了功能，为了学习每个节点周围的本地上下文矩阵。该矩阵包含关于特征和拓扑的丰富的本地信息，并且最终可以被合并以构建节点表示。其次，我们提出的方法参数化的消息和更新功能，确保置换等变性。具有独立于独热编码的特定选择的表示允许归纳推理并导致更好的泛化属性。实验上，我们的模型可以比以前的方法更准确地预测合成数据的各种图拓扑属性，并在ZINC数据集上的分子图回归方面取得了最先进的结果。
2020-10-23 cs.LG stat.ML
Properties of Bethe Free Energies and Message Passing in Gaussian Models
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
本文利用平均场近似和分数阶Bethe近似解决了高斯概率模型中近似边缘的计算问题。我们定义的高斯分数贝特自由能的矩参数的近似边缘，推导出一个下限和一个上界的分数贝特自由能，并建立一个必要条件的下限是有界的从下面。事实证明，该条件与成对归一化条件相同，这是已知的消息传递算法收敛的充分条件。我们证明了高斯消息传递算法的稳定不动点是高斯Bethe自由能的局部极小值。通过一个反例，证明了自由能的无界性意味着消息传递算法的发散性的猜想是错误的。
2014-01-16 cs.AI cs.LG stat.ML
Accelerated Message Passing for Entropy-Regularized MAP Inference
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
离散值马尔可夫随机场的最大后验（MAP）推断是机器学习中的一个基本问题，涉及识别给定分布的随机变量的最可能配置。由于这个组合问题的难度，线性规划（LP）松弛通常用于导出专门的消息传递算法，这些算法通常被解释为对偶LP上的坐标下降。为了实现更理想的计算性能，许多方法用熵项正则化LP，从而产生一类具有收敛保证的平滑消息传递算法。在本文中，我们提出了随机化的方法来加速这些算法，利用经典的加速梯度方法的基础技术。所提出的算法结合了标准平滑消息传递算法的熟悉步骤，这些步骤可以被视为坐标最小化步骤。我们表明，这些加速的变种实现更快的速度寻找$ε$ -最佳点的非正则化问题，当LP是紧的，我们证明了所提出的算法恢复真正的MAP解决方案，在更少的迭代比标准的消息传递算法。
2020-07-01 cs.LG math.OC stat.ML
Policy Message Passing: A New Algorithm for Probabilistic Graph Inference
Borealis AI（北极光人工智能）；Princeton University（普林斯顿大学）；Simon Fraser University（西蒙弗雷泽大学）
一般的图结构神经网络架构通过两个核心组件对图进行操作：（1）足够复杂的消息函数;（2）固定的信息聚合过程。在本文中，我们提出了政策消息传递算法，它需要一个概率的角度来看，并重新制定了整个信息聚合的随机序列过程。该算法可以在更大的搜索空间上进行搜索，利用推理历史进行推理，对噪声边缘具有较好的鲁棒性。我们将我们的算法应用于多个复杂的图推理和预测任务，并表明我们的算法始终优于最先进的图结构模型。
2019-09-29 cs.CV cs.LG stat.ML
Directional Message Passing for Molecular Graphs
Technical University of Munich（慕尼黑工业大学）
图神经网络近年来在预测分子的量子力学性质方面取得了巨大的成功。这些模型仅使用原子（节点）之间的距离将分子表示为图。然而，他们没有考虑从一个原子到另一个原子的空间方向，尽管方向信息在分子的经验势中起着核心作用，例如在角势中。为了缓解这一限制，我们提出了定向消息传递，其中我们嵌入原子之间传递的消息，而不是原子本身。每个消息与坐标空间中的方向相关联。这些方向信息嵌入是旋转等变的，因为相关的方向随分子旋转。我们提出了一个类似于信念传播的消息传递方案，它通过基于它们之间的角度转换消息来使用方向信息。此外，我们使用球面贝塞尔函数和球谐函数来构建理论上有充分依据的正交表示，这些表示比目前流行的高斯径向基表示具有更好的性能，同时使用不到1/4的参数。我们利用这些创新来构建定向消息传递神经网络（DimeNet）。DimeNet在MD 17上的平均表现优于之前的GNN 76%，在QM 9上则优于之前的GNN 31%。我们的实现可在线获得。
2022-04-05 cs.LG physics.comp-ph stat.ML
Multi-Scale Message Passing Neural PDE Solvers
ETH Zürich（苏黎世联邦理工学院）；UC Berkeley（加州大学伯克利分校）
我们提出了一种新的多尺度消息传递神经网络学习算法的时间依赖的偏微分方程的解决方案。我们的算法同时具有时间和空间多尺度分辨率的特点，通过将多尺度序列模型和图形门控模块分别在编码器和处理器。基准数值实验表明，所提出的算法优于基线，特别是在一系列的空间和时间尺度的偏微分方程。
2023-02-07 cs.LG cs.NA math.NA
On Approximate Nonlinear Gaussian Message Passing On Factor Graphs
Institute for Electrical Engineering in Medicine, University of Lübeck（医学电气工程研究所，吕贝克大学）
本文提出了一种基于因子图的近似高斯信息传递规则，用于处理确定性非线性变换节点，通过数值求积和Rauch-Tung-Striebel型近似方法，为非线性问题的求解提供了新的算法框架。
2019-03-21 cs.LG cs.SY eess.SP
A Message Passing Perspective on Learning Dynamics of Contrastive Learning
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，对比学习在自监督视觉表示学习方面取得了令人瞩目的成果，但对它的学习动力学仍缺乏严格的理解。在本文中，我们表明，如果我们把一个对比的目标等价到特征空间，那么它的学习动力学承认一个可解释的形式。具体来说，我们表明，其梯度下降对应于一个特定的消息传递计划，相应的增强图。基于这个角度，我们从理论上描述了对比学习如何通过对齐更新和均匀性更新逐渐学习区分性特征。同时，这种观点也建立了一个有趣的对比学习和消息传递图神经网络（MP-GNNs）之间的联系。这种联系不仅提供了对每个社区独立开发的许多技术的统一理解，而且使我们能够借用MP-GNN的技术来设计新的对比学习变体，例如图形注意力，图形重新布线，跳跃知识技术等。我们相信，我们的消息传递视角不仅提供了对对比学习动态的新的理论理解，而且还将这两个看似独立的领域连接在一起，这可能会激发更多的交叉研究，以相互受益。该代码可在https://github.com/PKU-ML/Message-Passing-Contrastive-Learning上获得。
2023-03-08 cs.AI cs.CV cs.LG
MPLP: Learning a Message Passing Learning Protocol
Google Research（谷歌研究院）
提出了一种新的学习人工神经网络权值的方法--消息传递学习协议（MPLP）。在MPLP中，我们将ANN中发生的每一个操作抽象为独立的代理。每个代理负责接收来自其他代理的多维消息，更新其内部状态，并生成要传递给相邻代理的多维消息。我们证明了MPLP的可行性，而不是传统的基于梯度的方法简单的前馈神经网络，并提出了一个框架，能够推广到非传统的神经网络架构。MPLP是使用端到端基于梯度的元优化进行Meta学习的。我们进一步讨论了MPLP的观察属性，并假设其适用于深度学习的各个领域。
2020-07-03 cs.CV cs.LG cs.NE
Variational Message Passing with Structured Inference Networks
最近将深度模型与概率图模型相结合的努力在提供灵活的模型方面很有希望，这些模型也很容易解释。我们提出了一个变分消息传递算法的变分推断在这样的模型。我们做了三个贡献。首先，我们提出了结构化的推理网络，它将图形模型的结构纳入变分自动编码器（VAE）的推理网络中。其次，我们建立条件下，这样的推理网络，使快速摊销推理类似于VAE。最后，我们推导出一个变分的消息传递算法进行有效的自然梯度推理，同时保持摊销推理的效率。通过同时启用深度结构化模型的结构化，摊销和自然梯度推理，我们的方法简化和推广了现有的方法。
2018-06-14 stat.ML
Sparse Multinomial Logistic Regression via Approximate Message Passing
针对多类线性分类和特征选择问题，提出了稀疏多项逻辑回归（MLR）的近似消息传递方法。首先，我们提出了两个算法的基础上的混合广义近似消息传递（HyGAMP）框架：一个发现最大后验（MAP）线性分类器和其他发现的近似测试错误率最小化线性分类器。然后，我们设计这两个算法的计算简化的变种。接下来，我们详细介绍了分别使用Stein的无偏风险估计（SURE）和期望最大化（EM）来调整其假设统计模型的超参数的方法。最后，使用合成和真实世界的数据集，我们证明了改进的错误率和运行时性能相对于现有的最先进的方法稀疏MLR。
2016-06-14 cs.IT math.IT stat.ML
Boolean Matrix Factorization and Noisy Completion via Message Passing
Carnegie Mellon University（卡内基梅隆大学）；University of Alberta（阿尔伯塔大学）
布尔矩阵分解和布尔矩阵完成噪声观测是理想的无监督数据分析方法，由于其可解释性，但难以执行，由于其NP-硬度。我们把这些问题的最大后验推理问题的图形模型，并提出了一个消息传递的方法，规模与观察和因素的数量呈线性关系。我们的实证研究表明，消息传递是能够恢复低秩布尔矩阵，在理论上可能的恢复的边界，并与最先进的在现实世界中的应用，如协同过滤与大规模的布尔数据相媲美。
2016-02-04 cs.AI cs.DM math.ST
Weighted Message Passing and Minimum Energy Flow for Heterogeneous Stochastic Block Models with Side Information
研究了一般异质随机块模型（SBM）中含有噪声或部分标签信息的社区检测的误分类错误。我们建立了一个连接的误分类率和最小能量的概念上的局部邻域的SBM。我们开发了一个最佳加权的消息传递算法来重建标签的SBM基于最小能量流和特定的马尔可夫转移阵的特征向量。在本文中考虑的一般SBM允许不等大小的社区，度异质性，不同的连接概率块之间。我们专注于如何最佳地权衡消息传递，以改善误分类。
2017-09-12 math.ST stat.ML stat.TH
A unifying tutorial on Approximate Message Passing
在过去的十年左右，近似消息传递（AMP）算法已经成为非常流行的各种结构化的高维统计问题。这些技术的起源可以追溯到统计物理学文献中的信念传播概念，这一事实为许多统计学家提供了一定的神秘感。我们在这项工作中的目标是从统计的角度提出AMP的主要思想，说明AMP框架的功能和灵活性。在此过程中，我们加强和统一了现有文献中的许多结果。
2021-05-05 cs.IT math.IT math.ST
Robust Group Synchronization via Cycle-Edge Message Passing
我们提出了一个通用的框架来解决组同步问题，我们专注于设置对抗或统一腐败和足够小的噪声。具体而言，我们应用一种新的消息传递过程，使用周期的一致性信息，以估计腐败水平的组比，从而解决同步问题，在我们的设置。我们首先解释为什么组周期的一致性信息是必不可少的有效解决组同步问题。然后，我们建立精确的恢复和线性收敛保证建议的消息传递过程下的确定性设置与对抗腐败。只要每个边缘的损坏周期的比率由合理的常数限制，这些保证就成立。我们还建立了所提出的方法的稳定性，亚高斯噪声。我们进一步建立了一个共同的统一腐败模型下的高概率精确恢复。
2021-07-27 cs.IT math.IT math.OC
