Feature Propagation on Graph: A New Perspective to Graph Representation Learning
Ant Financial(蚂蚁金服公司)
我们研究了图上的特征传播,这是图表示学习任务中的一个推理过程。它是将特征分布到整个图的$t$阶上,从而扩展端部的特征。该过程已成功地应用于图嵌入或图神经网络中,但很少有研究特征传播的收敛性。如果没有收敛保证,它可能会导致意外的数值溢出和任务失败。本文首先形式化地定义了图上特征传播的概念,然后研究了它收敛到平衡态的条件。我们进一步链接功能传播到几个既定的方法,如node2vec和structure2vec。在本文的最后,我们将现有的方法从代表节点扩展到边缘(edge2vec),并展示了它在真实世界场景中的欺诈交易检测的应用。实验表明,它具有很强的竞争力。
2018-04-17 cs.AI cs.SI
Convergence of Generalized Belief Propagation Algorithm on Graphs with Motifs
Qualcomm(高通);Northwestern University(西北大学)
置信传播是机器学习中众多应用的基本消息传递算法。已知树图上的置信传播算法是精确的。然而,在大多数应用中,置信传播是在循环图上运行的。因此,理解循环图上的信念传播行为一直是各个领域研究者的主要课题。本文研究了具有模体(三角形、环等)的图上的广义置信传播算法的收敛行为我们表明,在一定的初始化,广义信念传播收敛到全局最优的Bethe自由能的铁磁伊辛模型的图案。
2021-12-11 cs.AI cs.LG stat.ML
From Spectrum Wavelet to Vertex Propagation: Graph Convolutional Networks Based on Taylor Approximation
Shenzhen Research Institute of Big Data(深圳大数据研究院);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
图卷积网络(GCN)最近被用来提取具有一些标记数据和高维特征的数据集的底层结构。现有的GCN主要依赖于图小波核的一阶Chebyshev近似。这种通用的传播模型并不总是适合各种数据集及其特征。这项工作重温了图小波的基本原理,并探讨了在顶点域的信号传播近似的频谱小波核的效用。首先,我们推导出通过顶点传播表示图小波核的条件。接下来,我们提出了基于泰勒展开的GCN层的替代传播模型。我们进一步分析了TGCN的详细图形表示的选择。在引文网络、多媒体数据集和合成图上的实验表明,基于泰勒的GCN(TGCN)在节点分类问题上优于传统的GCN方法。
2020-11-29 cs.AI eess.SP
Convex Combination Belief Propagation Algorithms
我们提出了新的消息传递算法进行推理与图形模型。我们的方法是专为最困难的推理问题,循环的信念传播和其他算法无法收敛。当底层图形模型是非循环的时,置信传播保证收敛,但是当底层图形具有复杂拓扑时,置信传播可能无法收敛并且对初始化敏感。本文介绍了修改标准的信念传播算法,导致的方法,收敛到唯一的解决方案的图形模型与任意拓扑结构和潜在的功能。
2022-07-18 cs.AI stat.CO
Graph Propagation Transformer for Graph Representation Learning
OPPO Research Institute(OPPO研究院)
该研究提出图传播Transformer(GPTrans)架构,通过支持三类信息传播的图传播注意力机制学习图表示,在多个基准实验中性能优于现有基于Transformer的图模型。
2024-10-09 cs.AI cs.LG
AdaProp: Learning Adaptive Propagation for Graph Neural Network based Knowledge Graph Reasoning
Paradigm Inc.(第四范式公司);Hong Kong Baptist University(香港浸会大学);Tsinghua University(清华大学);HKUST (Guangzhou)(香港科技大学(广州))
针对现有GNN知识图谱推理方法人工设计传播路径忽略实体与查询关系相关性、实体数爆炸的问题,提出AdaProp方法,通过增量采样机制和基于学习的采样分布实现自适应传播,兼具高效性与语义感知能力。
2023-06-14 cs.AI cs.LG
Knowledge Propagation over Conditional Independence Graphs
Microsoft Research(微软研究院)
本文针对条件独立图提出知识传播算法,通过利用特征间的直接依赖关系改进图上的信息传播,并在Cora和PubMed数据集上取得优于现有方法的性能。
2024-10-22 cs.AI cs.LG
Data-Driven Radio Propagation Modeling using Graph Neural Networks
Orange Labs(奥兰治实验室)
针对传统无线电传播物理模型准确性与灵活性不足的问题,提出将环境转为图表示、用图神经网络从真实数据学习传播特性的方法,在速度和精度上优于经典方法,首次实现仅靠点测量生成信号覆盖图。
2025-01-08 cs.AI cs.LG cs.NI
Propagation using Chain Event Graphs
City University(城市大学)
链事件图(Chain Event Graph,CEG)是一种用于描述状态空间高度不对称且不具有自然乘积结构的问题的条件独立性的图模型。在这篇文章中,我们提出了一个概率传播算法,它使用的拓扑结构的CEG建立一个运输商CEG。有趣的是,运输商CEG是直接类似于三角贝叶斯网络(BN)在更传统的连接树传播算法与BN。传播方法使用的因子分解公式也类似于(但不同于)使用的集团和BN分离器上的潜力。看起来,当应用于存在显著不对称性的上下文时,该方法通常比BN算法更有效。
2012-06-13 cs.AI cs.CL
Uncertainty Propagation through Trained Deep Neural Networks Using Factor Graphs
SRI International(SRI国际公司);Center for Vision Technologies(视觉技术中心)
针对深度神经网络偶然不确定性传播中单向信息流方法的局限,本文提出用因子图将其建模为非线性优化问题,并在三个数据集和两种架构上取得统计显著的性能提升。
2023-12-10 cs.AI cs.LG
Rethinking Propagation for Unsupervised Graph Domain Adaptation
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
针对无监督图域适应,本文重新审视 GNN 的传播过程,通过理论分析证明移除源图传播层、堆叠目标图传播层可收紧风险界,并据此提出简单有效的 A2GNN 方法,实验验证其有效性。
2024-02-08 cs.AI cs.LG
A Graph Regularized Point Process Model For Event Propagation Sequence
Ant Group(蚂蚁集团)
点过程是建模以不规则间隔发生的事件序列的主要范式。在本文中,我们的目标是在图中建模事件传播的潜在动力学,其中事件序列在有向加权图中传播,其节点表示事件标记(例如,事件类型)。现有的大多数工作只考虑将序列事件历史编码到事件表示中,而忽略了潜在图结构中的信息。此外,它们还具有较差的模型可解释性,即,未能发现各种节点之间的因果影响。为了解决这些问题,我们提出了一个图正则化点过程(GRPP),它可以分解为:1)一个图传播模型,它表征了节点与邻居之间的事件交互,并归纳学习节点表示; 2)一个时间注意强度模型,其过去事件对当前事件的激发和时间衰减因子通过节点嵌入的上下文化来构建。此外,通过应用图正则化方法,GRPP通过揭示节点之间的影响强度来提供模型的可解释性。在不同数据集上的数值实验表明,GRPP在传播时间和节点预测方面都明显优于现有模型。
2022-11-21 cs.AI cs.LG
PGMax: Factor Graphs for Discrete Probabilistic Graphical Models and Loopy Belief Propagation in JAX
DeepMind(深度思维);Massachusetts Institute of Technology(麻省理工学院)
PGMax是一个开源Python包,用于(a)轻松地将离散概率图形模型(PGM)指定为因子图;以及(b)在JAX中自动运行高效和可扩展的循环置信传播(LBP)。PGMax支持具有易处理因子的一般因子图,并利用GPU等现代加速器进行推理。与现有的替代方案相比,PGMax获得了更高质量的推理结果,推理时间加速高达三个数量级。PGMax还与快速增长的JAX生态系统无缝交互,开辟了新的研究可能性。我们的源代码、示例和文档可以在https://github.com/deepmind/PGMax上找到。
2023-03-24 cs.AI cs.LG stat.ML
Spectral Propagation Graph Network for Few-shot Time Series Classification
Institute of Medical Technology, Health Science Center of Peking University(北京大学医学部医学技术研究院);National Institute of Health Data Science, Peking University(北京大学国家健康医疗大数据研究院)
Few-Shot时间序列分类(Few-Shot TSC)是时间序列分析中的一个具有挑战性的问题。当同一类时间序列在谱域不完全一致或不同类时间序列在谱域部分一致时,分类更加困难。为了解决这个问题,我们提出了一种新的方法命名为频谱传播图网络(SPGN)显式建模和传播不同的时间序列与图网络之间的频谱明智的关系。据我们所知,SPGN是第一个利用不同时间间隔的频谱比较,并涉及频谱传播的所有时间序列与图形网络的Few-Shot TSC。SPGN首先使用带通滤波器在谱域中扩展时间序列,以计算时间序列之间的谱关系。SPGN利用图网络,将光谱关系与标签信息相结合,进行光谱传播。进一步的研究揭示了光谱关系获取和光谱传播之间的双向效应。我们进行了广泛的实验上Few-Shot TSC基准。SPGN在$4\% \sim 13\%$中的表现远远优于最新结果。此外,SPGN在跨域和跨路设置下分别超过它们约$12\%$和$9\%$。
2022-11-22 cs.AI cs.LG
Graph Unitary Message Passing
Department of Electrical Engineering, Tsinghua University(清华大学电子工程系);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);State Key laboratory of Space Network and Communications(空间网络与通信国家重点实验室)
针对图神经网络中不稳定问题,提出图酉消息传递框架,通过在变换图上用酉传播算子避免指数衰减,结合图变换和酉投影程序,经理论分析表明其能保持深度稳定,实验取得较好性能。
2026-07-07 cs.AI cs.LG
SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network
Zhejiang University(浙江大学)
本文提出SF-GNN方法,通过自过滤器模块评估节点表示质量并控制消息传播,以解决深度GNN中低质量节点表示干扰导致的性能退化问题,在多种图任务上优于现有基线方法。
2024-07-03 cs.AI cs.LG
Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations
Global Health Drug Discovery Institute(全球健康药物研发中心)
图神经网络是深度学习成功的延续。图形数据。已经提出了数十种不同的图神经网络变体,大多数遵循邻域聚合方案,其中节点特征通过从层到层聚合其相邻节点的特征来更新。尽管相关研究激增,但GNN的能力仍然无法与计算机视觉中的CNN和自然语言处理中的RNN相提并论。我们从信息传播的角度重新思考这个问题,并提出通过结合异构聚合来增强GNN层之间的信息传播。我们认为,随着更丰富的信息从浅层传播到深层,GNN制定的特征的区分能力可以从中受益。作为我们在这个方向上的第一次尝试,提出了一个新的通用GNN层配方,并在此基础上提出了一个新的GNN变体,称为HAG-Net。我们在许多图分类基准上实证验证了HAG-Net的有效性,并详细说明了所有的设计选项和标准。
2021-02-08 cs.AI cs.LG
Optimal Propagation for Graph Neural Networks
The University of British Columbia(英属哥伦比亚大学);Amazon(亚马逊);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Alibaba(阿里巴巴)
本文针对初始图可能非最优的问题,提出通过双层优化同时学习个性化PageRank传播矩阵和半监督节点分类,并引入低秩近似降低复杂度,实验证明其效果和鲁棒性优于所有基线方法。
2023-09-21 cs.AI cs.LG
Rumor Detection on Social Media with Reinforcement Learning-based Key Propagation Graph Generator
The Chinese University of Hong Kong(香港中文大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对社交媒体谣言检测中传播图噪声和结构不足的问题,提出基于强化学习的KPG框架,通过生成关键传播图提升检测性能,在四个数据集上优于现有方法。
2025-06-22 cs.AI cs.LG cs.SI
Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation
The University of Queensland(昆士兰大学);Peking University(北京大学);National Engineering Laboratory for Big Data Analysis and Applications(国家大数据分析与应用工程实验室);Beijing University of Posts and Telecommunications(北京邮电大学);Griffith University(格里菲斯大学)
针对归纳式场景下可扩展GNN推理的可扩展性问题,提出带节点自适应传播的在线框架及Inception Distillation方法,实现了准确率与效率的双重提升,在大数据集上最高达75倍加速。
2023-12-09 cs.AI cs.LG
APAN: Asynchronous Propagation Attention Network for Real-time Temporal Graph Embedding
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
受图数据库中查询k跳邻居的时间复杂度的限制,大多数图算法不能在线部署并执行毫秒级推理。这个问题极大地限制了图算法在某些领域的应用潜力,例如金融欺诈检测。因此,我们提出了异步传播注意力网络,一个异步的连续时间动态图算法的实时的【形】时间图嵌入。传统的图模型通常执行两个串行操作:首先进行图计算,然后进行模型推理。我们将模型推理和图计算步骤解耦,使得繁重的图查询操作不会影响模型推理的速度。大量实验表明,该方法可以实现竞争性的性能和8.7倍的推理速度的同时提高。
2021-03-26 cs.AI cs.DB cs.SI
Label Propagation on K-partite Graphs with Heterophily
Univ. of Southern California(南加州大学);Fudan University(复旦大学);Information Sciences Institute(信息科学研究所)
本文首次在异质性假设下研究了异质图中的标号传播问题。同构标签传播(即,两个连通节点共享相似标号)的问题已经得到了广泛的研究。不幸的是,现实生活中的网络是异构的,它们包含不同类型的顶点(例如,用户、图像、文本)和关系(例如,友谊、共同标记),并允许每个节点向其邻居传播相同和相反的标签副本。我们提出了一个$\mathcal{K}$ -partite标签传播模型来处理异构节点/关系和异构传播的神秘组合。在此基础上,我们提出了一种新的标签推理算法框架,该框架具有近线性时间复杂度的更新规则。由于真实网络随时间而变化,我们设计了一种增量方法,该方法支持新数据和证据的快速更新(例如,Ground truth labels),保证效率。我们还提供了一个效用函数,以自动确定是否是增量或重新建模的方法是有利的。在真实数据集上的大量实验验证了该方法的有效性和效率,以及其优于最先进的标签传播方法的优势。
2017-01-21 cs.AI cs.LG cs.SI
A Spectral Approach to Analyzing Belief Propagation for 3-Coloring
Carnegie Mellon University(卡内基梅隆大学);U.C. Berkeley(加州大学伯克利分校);Tel-Aviv University(特拉维夫大学)
有助于BP的严格理解,在本文中,我们将BP的收敛性与图的谱性质联系起来。这包括一个随机图的结果与“种植”的解决方案,因此,我们获得了第一个严格的结果BP图着色的情况下,一个复杂的图形结构(而不是树)。特别地,分析示出了置信传播如何打破颜色类的$3!$可能排列之间的对称性。
2007-12-02 cs.AI cs.CC cs.DM
Rethinking Node-wise Propagation for Large-scale Graph Learning
Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
针对大规模图学习中现有传播策略忽视节点拓扑差异的问题,提出自适应拓扑感知传播(ATP),一种即插即用的节点级优化策略,可离线执行并提升可扩展GNN的性能与效率。
2024-02-09 cs.AI cs.LG cs.SI
Propagation Graph Estimation from Individual's Time Series of Observed States
Hokkaido University(北海道大学)
各种各样的事物都是通过个人的媒介传播的。一些个体跟随其他个体,并在少量时间步之后采取与他们的状态相似的状态。本文研究了由所有个体的实值状态序列估计个体的状态传播阶的问题。我们提出了一种方法来估计个人之间的传播方向的一个人的状态位置的时间延迟的总和从其他个人的匹配的状态位置平均在最小成本对齐,并显示如何有效地计算它。我们所提出的方法估计的传播顺序被证明是显着更准确的,比我们的合成数据集的基线方法,也是一致的日本股票价格时间序列和生物细胞放电状态序列的数据集的视觉可识别的传播顺序。
2021-07-30 cs.AI cs.LG q-bio.QM
BP-Seg: A graphical model approach to unsupervised and non-contiguous text segmentation using belief propagation
LinkedIn Corporation(领英公司)
本文提出基于置信传播的图模型无监督文本分割方法BP-Seg,兼顾局部连贯性与远距离语义相似性,实验验证其优于现有方法。
2025-09-25 cs.AI cs.CL cs.LG
Unveiling the Unseen Potential of Graph Learning through MLPs: Effective Graph Learners Using Propagation-Embracing MLPs
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
针对图半监督节点分类中知识蒸馏难以显式注入结构信息且计算成本高的问题,提出P&D方法,通过在蒸馏前传播教师GNN输出作为逆传播的近似,使学生MLP有效学习特征变换与传播,显著提升性能。
2023-11-20 cs.AI cs.IT cs.LG