Graph Filtration Kernels
Center for Machine Learning, Sankt Augustin（机器学习中心，圣奥古斯丁）
大多数流行的图核是基于Haussler的$\mathcal{R}$ -卷积核的概念，并根据相互子结构定义图的相似性。在这项工作中，我们丰富了这些相似性的措施，考虑图过滤：使用有意义的顺序的边缘集，这允许构建一个序列的嵌套图，我们可以考虑在多个粒度的图。首先，这提供了对不同分辨率级别的功能的访问。此外，它不是简单地比较图中特征的频率，而是允许根据它们在序列中存在的时间和时间进行比较。在这项工作中，我们提出了一个家庭的图形内核，将这些存在区间的功能。虽然我们的方法可以应用于任意图形特征，但我们特别强调Weisfeiler-Lehman顶点标签，从而获得高效的内核。我们表明，使用Weisfeiler-Lehman标签在一定的过滤严格增加了表达能力，在普通的Weisfeiler-Lehman程序决定图同构。事实上，这一结果直接产生了更强大的图形内核的基础上，这些功能，并具有影响图神经网络，由于其密切关系的Weisfeiler-Lehman方法。我们根据经验验证了我们的图内核的表达能力，并在各种真实世界基准数据集的预测性能方面显示出比最先进的图内核的显着改进。
2021-10-22 cs.LG
Contextual Weisfeiler-Lehman Graph Kernel For Malware Detection
Nanyang Technological University（南洋理工大学）
在本文中，我们提出了一种新的图形内核，专门解决网络安全领域的一个具有挑战性的问题，即恶意软件检测。先前的研究已经揭示了以下内容：（1）程序的图形表示非常适合于恶意软件检测，因为它们对几种攻击是鲁棒的，（2）除了捕获拓扑邻域（即，结构信息），重要的是从这些图中捕获邻域可达的上下文以准确地检测恶意邻域。我们观察到，国家的最先进的图形内核，如Weisfeiler-Lehman内核（WLK）捕捉结构信息，但未能捕捉上下文信息。为了解决这个问题，我们开发了上下文Weisfeiler-Lehman内核（CWLK），它能够捕获这两种类型的信息。我们表明，对于恶意软件检测问题，CWLK更有表现力，因此比WLK更准确，同时保持相当的效率。通过我们对50，000多个真实Android应用程序的大规模实验，我们证明CWLK在保持高效率的同时，分别比两种最先进的图形内核（包括WLK）和三种恶意软件检测技术的性能高出5.27%和4.87%以上。这种高准确性和效率使CWLK适合大规模现实世界的恶意软件检测。
2016-06-21 cs.CR cs.LG
Nested Graph Neural Networks
Peking University（北京大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；Purdue University（普渡大学）
图神经网络（GNN）在图分类中的成功与Weisfeiler-Lehman（1-WL）算法密切相关。通过迭代地将相邻节点特征聚合到中心节点，1-WL和GNN都获得了对中心节点周围的有根子树进行编码的节点表示。然后将这些有根子树表示合并为单个表示以表示整个图。然而，有根子树表示非树图的表达能力有限。为了解决这个问题，我们提出了嵌套图神经网络（NGNNs）。NGNN用有根子图而不是有根子树来表示图，因此共享许多相同子图（而不是子树）的两个图往往具有相似的表示。关键是使每个节点表示编码围绕它的子图而不是子树。为了实现这一点，NGNN提取每个节点周围的局部子图，并将基本GNN应用于每个子图以学习子图表示。然后通过合并这些子图表示来获得全图表示。我们提供了一个严格的理论分析表明，NGNN是严格比1-WL更强大。特别是，我们证明了NGNN可以区分几乎所有的r-正则图，其中1-WL总是失败。此外，与其他更强大的GNN不同，NGNN只引入了比标准GNN更高的恒定因子时间复杂度。NGNN是一个即插即用的框架，可以与各种基本GNN组合。我们在几个基准数据集上测试了具有不同基础GNN的NGNN。NGNN一致地提高了它们的性能，并在所有数据集上显示出极具竞争力的性能。
2021-10-25 cs.LG
QESK: Quantum-based Entropic Subtree Kernels for Graph Classification
Beijing Normal University（北京师范大学）；Central University of Finance and Economics（中央财经大学）；University of York（约克大学）
在本文中，我们提出了一种新的图核，即量子熵子树核（QESK），用于图分类。为此，我们开始计算平均混合矩阵（AMM）的连续时间量子行走（CTQW）演变的每个图形结构。此外，我们展示了如何AMM矩阵可以用来计算一系列的熵子树表示与经典的Weisfeiler-Lehman（WL）算法。对于一对图，QESK核是通过计算它们的熵子树表示之间的负欧几里得距离的幂来定义的，理论上导致正定图核。我们表明，所提出的QESK内核不仅通过CTQW封装了图结构的复杂的内在量子结构特征，而且在理论上解决了忽略最先进的R-卷积图内核中出现的非共享子结构的影响的缺点。此外，与经典的R-卷积核不同，所提出的QESK可以区分同构子树的全局图结构的区别，从理论上解释了有效性。实验表明，所提出的QESK内核可以显着优于最先进的图形内核和图形深度学习方法的图形分类问题。
2022-12-10 cs.AI cs.LG
Exploring Consistency in Graph Representations:from Graph Kernels to Graph Neural Networks
Dartmouth College（达特茅斯学院）；University of California San Diego（加利福尼亚大学圣迭戈分校）
该研究针对图神经网络难捕捉一致图间相似性的问题，对比分析图核一致性特性提出跨层一致性损失，有效提升了多骨干多数据集的图分类性能。
2024-12-11 cs.AI cs.LG
Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels
University of Oxford（牛津大学）
目前的神经结构搜索（NAS）策略只关注于找到一个单一的，好的，架构。它们几乎无法解释为什么特定的网络表现良好，或者如果我们想要进一步改进，我们应该如何修改架构。我们提出了一个贝叶斯优化（BO）的NAS方法，结合Weisfeiler-Lehman图形内核与高斯过程代理。我们的方法优化的架构，在一个高度的数据效率的方式：它是能够捕获的拓扑结构的架构，并可扩展到大型图形，从而使高维和图形的搜索空间服从BO。更重要的是，我们的方法通过发现有用的网络特征及其对网络性能的相应影响来提供可解释性。事实上，我们的经验表明，我们的代理模型是能够识别有用的图案，可以指导新架构的生成。我们最后表明，我们的方法优于现有的NAS方法，以实现最先进的封闭和开放域搜索空间。
2021-02-19 cs.LG stat.ML
Wasserstein Weisfeiler-Lehman Graph Kernels
ETH Zurich（苏黎世联邦理工学院）；SIB Swiss Institute of Bioinformatics（SIB瑞士生物信息学研究所）
大多数图形内核都是$\mathcal{R}$ -卷积内核类的一个实例，它通过比较对象的子结构来度量对象的相似性。尽管它们在经验上取得了成功，但大多数图内核使用最终子结构集合的朴素聚合，通常是总和或平均值，从而可能会丢弃有关单个组件分布的有价值信息。此外，这些方法中只有有限的实例可以扩展到连续属性图。我们提出了一种新的方法，依赖于两个图的节点特征向量分布之间的Wasserstein距离，它允许通过将图视为高维对象而不是简单的方法来找到数据集中的细微差异。我们进一步提出了一个Weisfeiler-Lehman启发的嵌入方案，用于具有连续节点属性和加权边的图，通过计算Wasserstein距离来增强它，从而提高了几个图分类任务的最新预测性能。
2019-10-30 cs.LG q-bio.MN stat.ML
Gaussian process regression with Sliced Wasserstein Weisfeiler-Lehman graph kernels
Safran Tech（赛峰技术公司）；Centre de Mathématiques Appliquées, Ecole Polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院应用数学中心，巴黎理工学院）；Univ Rennes, Ensai, CNRS, CREST（雷恩大学、法国国立统计与经济管理学校、法国国家科学研究中心、法国国家统计与经济研究所）
针对计算物理中大型稀疏带连续属性图的回归需求，提出具有正定性且复杂度更低的SWWL图核用于高斯过程回归，在分子分类及多物理场大规模图回归任务中验证了有效性与效率。
2024-03-11 cs.LG stat.ML
Generalizing Weisfeiler-Lehman Kernels to Subgraphs
KAIST, Republic of Korea（韩国延世大学）
针对GNN在子图级任务中难以捕捉复杂交互的问题，提出WLKS——基于诱导k跳邻域推广的Weisfeiler-Lehman核，结合多k跳层级核以增强结构表达，在8个基准上5个数据集性能优于主流方法且训练时间大幅缩短。
2025-11-11 cs.AI cs.LG cs.SI
The Weight Function in the Subtree Kernel is Decisive
Laboratoire Reproduction et Développement des Plantes（植物繁殖与发育实验室）；Univ Lyon（里昂大学）；ENS de Lyon（里昂高等师范学院）；UCB Lyon 1（里昂第一大学）；CNRS（法国国家科学研究中心）；INRAE（法国国家农业、食品与环境研究院）；Inria（法国国家信息与自动化研究所）
树数据是普遍存在的，因为它们对各种各样的情况进行建模，例如，植物的结构、RNA的二级结构或XML文件的层次结构。然而，分析这些非欧几里德数据本身是困难的。在本文中，我们专注于子树核，这是Vishwanathan和Smola在21世纪初引入的树数据的卷积核。更确切地说，我们从理论角度和实际数据应用中研究了权重函数的影响。我们建立了一个2类随机模型，当叶子的权重为零时，子树核的性能得到改善，这促使定义一个新的权重函数，从数据中学习，而不是像通常那样由用户固定。为此，我们定义了一个统一的框架，用于计算有序或无序树的子树内核，这是特别适合于调整参数。我们通过八个真实数据分类问题展示了我们方法的巨大效率，特别是对于小数据集，这也说明了权重函数的重要性。最后，一个可视化工具的显着特征。
2020-04-15 cs.LG stat.ML
A Novel Higher-order Weisfeiler-Lehman Graph Convolution
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）
当前的GNN架构使用顶点邻域聚合方案，这将它们的鉴别能力限制为一维Weisfeiler-Lehman（WL）图同构测试的鉴别能力。在这里，我们提出了一种新的图卷积算子，是基于2维WL测试。我们正式表明，由此产生的2-WL-GNN架构比现有的GNN方法更具歧视性。这一理论结果得到了使用合成和真实数据的实验研究的补充。在多个常见的图分类基准测试中，我们证明了所提出的模型与最先进的图内核和GNN相比具有竞争力。
2020-09-21 cs.LG stat.ML
Gradual Weisfeiler-Leman: Slow and Steady Wins the Race
University of Vienna（维也纳大学）
经典的Weisfeiler-Leman算法（又称颜色细化）是使用核和神经网络进行图学习的基础。该算法最初是为图同构测试而开发的，它迭代地细化顶点颜色。在许多数据集上，稳定着色在几次迭代之后达到，并且机器学习任务的最佳迭代次数通常甚至更低。这表明颜色发散得太快，定义的相似性太粗糙。我们概括了颜色细化的概念，并提出了一个逐步邻域细化的框架，它允许较慢的收敛到稳定的着色，从而提供了一个更细粒度的细化层次结构和顶点相似性。我们通过聚类顶点邻域来分配新的颜色，取代了原来的单射颜色分配函数。我们的方法是用来获得新的变种现有的图形内核和近似的图形编辑距离通过最佳分配顶点相似性。我们表明，在这两个任务中，我们的方法优于原来的颜色细化，只有一个温和的增加运行时间推进的最先进的。
2022-12-08 cs.DS cs.LG
Weisfeiler-Lehman meets Gromov-Wasserstein
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；The Ohio State University（俄亥俄州立大学）；Halıcıoğlu Data Science Institute（哈利奇奥卢数据科学研究所）
Weisfeiler-Lehman（WL）测试是图同构测试的经典过程。WL测试也被广泛用于设计图核和分析图神经网络。在本文中，我们提出了Weisfeiler-Lehman（WL）距离，标记测度马尔可夫链（LMMC）之间的距离的概念，其中标记图是特殊情况。WL距离是多项式时间可计算的，也是兼容的WL测试的意义上，前者是积极的，当且仅当WL测试可以区分两个涉及的图。WL距离捕获并比较底层LMMC的细微结构，因此，它比用于定义最先进的Wasserstein Weisfeiler-Lehman图内核的图之间的距离更具鉴别力。受到WL距离结构的启发，我们在LMMCs上识别出一个神经网络架构，该架构被证明是通用的w.r.t.定义在所有LMMC（包括所有图）的空间上的连续函数，赋予WL距离。最后，WL距离被证明是稳定的w.r.t. Gromov-Wasserstein（GW）距离的自然变体，用于比较我们识别的度量马尔可夫链。因此，WL距离也可以被解释为GW距离的多项式时间下限，其通常是NP难计算的。
2022-02-05 cs.LG math.MG
On Valid Optimal Assignment Kernels and Applications to Graph Classification
TU Dortmund（多特蒙德工业大学）；University of York（约克大学）
核方法的成功引发了新的半正定函数的设计，特别是结构化数据。一个领先的设计范例是卷积核，它将结构化对象分解为它们的部分，并对所有部分对求和。相比之下，分配核是从部分之间的最佳双射获得的，这可以提供更有效的相似性概念。然而，在一般情况下，最优分配产生不定函数，这使得它们在核方法中的使用变得复杂。我们刻画了一类用于比较保证半正定最优分配核的部分的基础核。这些基本内核产生的层次结构，从其中的最佳分配内核计算在线性时间的直方图相交。我们应用这些结果，通过开发的Weisfeiler-Lehman最优分配核图。它在广泛使用的基准数据集上提供了较高的分类精度，优于原始的Weisfeiler-Lehman内核。
2017-01-31 cs.LG stat.ML
Weisfeiler-Leman at the margin: When more expressivity matters
University of Kaiserslautern-Landau（凯撒斯劳滕-兰道大学）；RWTH Aachen University（亚琛工业大学）；Google Research（谷歌研究院）；University of Antwerp（安特卫普大学）
本文研究图神经网络表达力与泛化性能的关系，利用边际理论分析子图增强的1-WL和MPNN，证明梯度流趋向最大边际解，并提出具有可证明泛化性质的架构变体。
2024-05-28 cs.DM cs.LG cs.NE
Ordered Decompositional DAG Kernels Enhancements
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；University of Padova（帕多瓦大学）
在本文中，我们将展示如何有序分解DAGs（ODD）内核框架，一个框架，允许从树内核的图形内核的定义，允许轻松地定义新的国家的最先进的图形内核。在这里，我们考虑一个快速的图形内核的基础上的子树内核（ST），我们提出了各种增强，以增加其表现力。建议的DAG内核具有相同的最坏情况下的复杂度为基础的ST，但由于一组增强的功能，提高了表达能力。此外，我们提出了一种新的加权方案的功能，它可以应用到其他内核的ODD框架。这些改进允许所提出的内核，以提高基于ST的内核的分类性能的几个现实世界的数据集，达到最先进的性能。
2015-12-28 cs.LG
Using Weisfeiler-Leman Features for Algorithm Selection in Constraint Optimisation
University of Southern Denmark（南丹麦大学）
本文提出基于Weisfeiler-Leman的自动化特征提取方法，构建\texttt{WLc}割表示，在MiniZinc挑战赛实例上验证其在SVM等算法选择任务中优于传统特征，为约束优化算法选择提供新方案。
2026-10-09 cs.AI cs.LG
Faster Kernels for Graphs with Continuous Attributes via Hashing
TU Dortmund University（多特蒙德工业大学）
虽然用于具有离散标签的图的最先进的内核可以很好地扩展到具有数千个节点的图，但不幸的是，用于具有连续属性的图的少数现有内核不能很好地扩展。为了克服这一限制，我们提出了散列图内核，一个通用的框架，从离散的连续属性的图形获得内核。其思想是使用随机哈希函数迭代地将连续属性转换为离散标签。我们说明哈希图内核的Weisfeiler-Lehman子树内核和最短路径内核。由此产生的新的图形内核被证明是，两者，能够处理具有连续属性的图形和可扩展到大型图形和数据集。这是支持我们的理论分析，并证明了广泛的实验评估。
2016-10-01 cs.LG stat.ML
Heterogeneous Attributed Graph Learning via Neighborhood-Aware Star Kernels
Key Laboratory of System Software (Chinese Academy of Sciences)（系统软件重点实验室（中国科学院））；State Key Laboratory of Computer Science（计算机科学国家重点实验室）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对现有图核难以同时捕捉属性图异质属性语义与邻域信息的问题，提出正定图核NASK，通过Gower系数指数变换与WL增强星型子结构建模，在多基准上优于16种SOTA基线。
2025-11-14 cs.LG
Tailoring Self-Attention for Graph via Rooted Subtrees
Shanghai Jiaotong University（上海交通大学）
针对现有图注意力机制长程信息捕获不足或局部细粒度信息缺失的问题，提出基于有根子树的多跳子树注意力STA及高效形式，构建STAGNN模型，在10个节点分类任务上性能优于现有图Transformer和主流GNN。
2023-10-08 cs.AI cs.LG
Fast, Accurate and Interpretable Graph Classification with Topological Kernels
Department of Computer Science, Royal Holloway University of London（皇家霍洛威大学计算机科学系）
本文提出基于拓扑指数的显式特征映射用于图分类，并通过扩展特征向量（EFV）和拓扑核线性组合（LCTK）在保持高效计算的同时提升准确率，实现准确率与效率的良好平衡。
2025-09-22 cs.LG
Learning from graphs with structural variation
University of Copenhagen（哥本哈根大学）
我们研究了图数据的结构变化对图核预测性能的影响。为此，我们引入了一种新颖的，对GraphHopper内核具有噪声鲁棒性的自适应，并在基准数据上对其进行了验证，在一系列数据集上获得了适度改进的预测性能。接下来，我们研究了最先进的Weisfeiler-Lehman图核在增加合成结构错误下的性能，发现引入错误的效果强烈依赖于数据集。
2018-06-29 cs.DS cs.LG stat.ML
Optimization-Free Graph Embedding via Distributional Kernel for Community Detection
IEEE Publication Technology Group（IEEE出版技术组）
本文提出无需优化的分布感知图嵌入方法，通过考虑节点分布和度数特征，有效缓解过平滑问题，提升社区检测性能。
2026-02-14 cs.LG
Neighborhood Preserving Kernels for Attributed Graphs
Indian Institute of Space Science and Technology（印度空间科学技术研究院）；Litmus7 Systems Consulting Pvt Ltd（Litmus7系统咨询私人有限公司）
我们描述了一个再生核的设计适用于属性图，其中两个图之间的相似性定义的基础上的邻域信息的图形节点的帮助下的产品图配方。我们表示建议的内核作为两个其他内核的加权和，其中一个是一个R-卷积核，处理的图形的属性信息，另一个是一个最优分配核，处理标签信息。它们是以这样一种方式制定的，即作为内核计算的一部分处理的边缘具有相同的邻域属性，因此提出的内核使得在图形中处理的区域之间具有明确的对应关系。这些概念也被扩展到最短路径的情况。我们确定了可以映射到这样的邻域保持框架的最先进的内核。我们发现，在Weisfeiler-Lehman颜色细化算法的每次迭代中的幅角图的核值可以从我们的方法中制定的产品图递归地获得。通过将所提出的内核上的支持向量机，我们分析了现实世界的数据集，它已表现出优越的性能相比，其他国家的最先进的图形内核。
2020-10-13 cs.AI cs.LG
Hypergraph Isomorphism Computation
Tsinghua University（清华大学）；Shanghai University（上海大学）
针对超图同构问题，本文将Weisfiler-Lehman测试推广至超图，提出超图Weisfiler-Lehman测试算法及核框架，在19个数据集上验证显示其显著提升分类性能且运行速度提高80倍以上。
2023-07-26 cs.AI cs.DS cs.LG
A Simple yet Effective Method for Graph Classification
Beihang University（北京航空航天大学）
在深度神经网络中，通常可以通过增加先前开发的基本模型的复杂性来获得更好的结果。然而，目前还不清楚是否有一种方法可以通过降低这些模型的复杂性来提高性能。直觉上，给定一个问题，一个更简单的数据结构伴随着一个更简单的算法。在这里，我们研究了在简化学习过程的同时提高图分类性能的可行性。受图的结构熵的启发，我们将图的数据样本转换为编码树，这是一种简单但必不可少的图数据结构。此外，我们提出了一种新的消息传递方案，称为分层报告，其中功能从叶节点转移到根结点通过以下的编码树的层次结构。然后，我们提出了一个树核和卷积网络来实现我们的图分类方案。在所设计的消息传递方案下，树核和卷积网络的$O(n)$的运行复杂度低于Weisfeiler-Lehman子树核和其它至少为$O(hm)$的图神经网络.我们经验验证我们的方法与几个图分类基准，并证明他们实现了更好的性能和更低的计算消耗比竞争的方法。
2022-06-06 cs.AI cs.LG
KerGNNs: Interpretable Graph Neural Networks with Graph Kernels
Yale University（耶鲁大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
图核历来是图分类任务中最广泛使用的技术。然而，这些方法遭受有限的性能，因为手工制作的图的组合功能。近年来，图神经网络（GNNs）由于其优越的性能，已成为下游图相关任务的最先进的方法。大多数GNN基于消息传递神经网络（MPNN）框架。然而，最近的研究表明，MPNN不能超过的权力的Weisfeiler-Lehman（WL）算法在图同构测试。为了解决现有的图形内核和GNN方法的局限性，在本文中，我们提出了一种新的GNN框架，称为\textit{Kernel Graph Neural Networks}（KerGNNs），它集成了图形内核到GNNs的消息传递过程。受卷积神经网络（CNN）中卷积滤波器的启发，KerGNNs采用可训练的隐藏图作为图滤波器，其与子图相结合以使用图核更新节点嵌入。此外，我们还证明了MPNN可以被视为Kerns的特殊情况。我们将KerGNN应用于多个与图相关的任务，并使用交叉验证与基准进行公平比较。我们表明，与现有的最先进的方法相比，我们的方法具有竞争力的性能，证明了提高GNN表示能力的潜力。我们还表明，KerGNNs中训练的图过滤器可以揭示数据集的局部图结构，与传统的GNN模型相比，这显着提高了模型的可解释性。
2022-02-25 cs.AI cs.LG
Malware Analysis with Symbolic Execution and Graph Kernel
Université Catholique de Louvain（鲁汶天主教大学）
恶意软件分析技术分为静态分析和动态分析。这两种技术都可以通过诸如混淆之类的规避技术来绕过。在一系列的作品中，作者们推广了符号执行与机器学习的结合使用，以避免此类陷阱。这些作品中的大多数依赖于自然的基于图的表示，然后可以插入到基于图的学习算法，如Gspan。这种方法有两个主要问题。第一个是计算图形的成本。事实上，使用图需要计算和表示分析文件的整个状态空间。由于这种计算过于繁琐，这些技术通常依赖于开发策略来计算行为的代表性子图。不幸的是，有效的图形构建策略仍然很少探索。第二个问题是分类本身。基于图的机器学习算法依赖于比较最大的公共结构。这将恶意软件签名的小而特定的部分排除在外。此外，它不允许我们使用有效的算法，如支持向量机。我们提出了一个新的高效的开源工具链，用于基于机器学习的分类。我们还探讨了如何在这个过程中使用图形内核技术。我们专注于1维Weisfeiler-Lehman内核，它可以捕获图之间的局部相似性。我们的实验结果表明，我们的方法优于现有的一个令人印象深刻的因素。
2022-04-12 cs.CR cs.LG
Structural Optimization Makes Graph Classification Simpler and Better
State Key Lab of Software Development Environment（软件开发环境国家重点实验室）；Beihang University（北京航空航天大学）
在深度神经网络中，通常可以通过增加先前开发的基本模型的复杂性来获得更好的结果。然而，目前还不清楚是否有一种方法可以通过降低这些模型的复杂性来提高性能。在这里，基于一种优化方法，我们研究了在简化模型学习过程的同时提高图分类性能的可行性。受结构信息评估进展的启发，我们将给定的数据样本从图优化为编码树。特别地，我们最小化变换后的编码树的结构熵来解码图的关键结构。这种转换被称为结构优化。此外，我们提出了一种新的功能组合方案，称为分层报告，编码树。在该方案中，通过遵循编码树的层次结构，将特征从叶节点转移到根结点。然后，我们提出了一个实施方案中的树内核和卷积网络进行图形分类。树内核遵循Weisfeiler-Lehman（WL）子树内核中的标签传播，但它具有较低的运行时复杂度$O(n)$。卷积网络是我们的树内核在深度学习领域的一种特殊实现，称为编码树学习（ETL）。我们用几个图分类基准测试对我们的树核和卷积网络进行了经验验证，并证明我们的方法比竞争方法具有更好的性能和更低的计算消耗。
2021-09-05 cs.AI cs.LG
Walk Extraction Strategies for Node Embeddings with RDF2Vec in Knowledge Graphs
IDLab（IDLab 实验室）；Ghent University – imec（根特大学 – imec）；Data and Web Science Group（数据与网络科学组）；University of Mannheim（曼海姆大学）；IBM Research Almaden（IBM 阿尔马登研究中心）；IBM（IBM 公司）
由于KG是符号结构，因此必须应用专门的技术以使它们与数据采掘技术兼容。RDF 2 Vec是一种无监督的技术，可以通过扩展成功的语言建模技术来创建KG中节点的任务不可知的数值表示。最初的工作提出了Weisfeiler-Lehman（WL）内核来提高表示的质量。然而，在这项工作中，我们正式和经验表明，WL内核在单个KG的上下文中几乎没有改善步行嵌入。作为WL内核的替代方案，我们提出了五种不同的策略来提取基本随机游走的补充信息。我们在几个基准数据集上比较了这些行走，以表明\emph{n-gram}策略在节点分类任务上的平均性能最好，并且调整行走策略可以提高预测性能。
2020-09-09 cs.AI cs.LG stat.ML
subgraph2vec: Learning Distributed Representations of Rooted Sub-graphs from Large Graphs
Nanyang Technological University（南洋理工大学）；BigCommerce
在本文中，我们提出了subgraph 2 vec，这是一种受深度学习和图核的最新进展启发，从大型图中学习有根子图的潜在表示的新方法。这些潜在表示在连续向量空间中对语义子结构依赖性进行编码，这很容易被统计模型用于诸如图分类、聚类、链接预测和社区发现之类的任务。subgraph 2 vec利用从节点邻域获得的本地信息，以无监督的方式学习它们的潜在表示。我们证明，通过我们的方法学习的子图向量可以与分类器（如CNN，SVM和关系数据聚类算法）结合使用，以实现显着优越的准确性。此外，我们表明，子图向量可用于构建Weisfeiler-Lehman图内核的深度学习变体。我们在几个基准和大规模真实世界数据集上的实验表明，subgraph 2 vec在监督和无监督学习任务上的准确性都比现有的图核有显着提高。具体来说，在两个现实世界的程序分析任务上，即代码克隆和恶意软件检测，subgraph 2 vec分别比最先进的内核高出17%和4%以上。
2016-06-29 cs.AI cs.CR cs.LG
Ego-GNNs: Exploiting Ego Structures in Graph Neural Networks
McGill University（麦吉尔大学）；Microsoft Research（微软研究院）
图神经网络（GNN）作为图结构数据的深度学习框架已经取得了显着的成功。然而，GNN从根本上受到其树结构归纳偏差的限制：WL子树内核公式限制了GNN的表示能力，并且多项式时间GNN可证明无法识别图中的三角形。在这项工作中，我们建议用自我图上定义的信息来增强GNN消息传递操作（即，围绕每个节点的导出子图）。我们将这些方法称为Ego-GNNs，并证明Ego-GNNs比标准的消息传递GNNs更强大。特别是，我们证明了Ego-GNNs能够识别闭合三角形，这对于现实世界图中传递性的突出性至关重要。我们还激励我们的方法从图形信号处理的角度来看，作为一种形式的复用图卷积。使用合成和真实数据的节点分类实验结果突出了使用这种方法可以实现的性能增益。
2021-07-22 cs.LG
DDGK: Learning Graph Representations for Deep Divergence Graph Kernels
Google AI（谷歌人工智能）
神经网络能在没有特征工程的情况下学习比较图吗？在本文中，我们表明，它是可能的，学习表示图的相似性，既没有领域知识也没有监督（即\特征工程或标记图）。我们提出了深度发散图核，这是一种用于学习图表示的无监督方法，它编码了图同构的放松概念。我们的方法包括三个部分。首先，我们为每个锚点图学习一个编码器来捕获它的结构。其次，对于每一对图，我们训练一个交叉图注意力网络，它使用锚图的节点表示来重建另一个图。这种方法，我们称之为同构注意，捕捉一个图的表示可以编码另一个图的表示。我们使用注意力增强编码器的预测来定义每对图的发散分数。最后，我们构造一个嵌入空间的所有图使用这些成对的分歧分数。与以前的工作不同，其中大部分依赖于1）监督，2）领域特定知识（例如依赖于Weisfeiler-Lehman内核）和3）已知的节点对齐，我们的无监督方法联合学习节点表示，图形表示和图形之间基于注意力的对齐。我们的实验结果表明，深度发散图核可以学习图之间的无监督对齐，并且当用作许多具有挑战性的图分类任务的特征时，学习的表示可以获得有竞争力的结果。此外，我们说明了如何学习的注意力允许洞察子结构跨图的对齐。
2019-04-21 cs.IR cs.LG cs.SI
MoSE: Unveiling Structural Patterns in Graphs via Mixture of Subgraph Experts
Nanyang Technological University（南洋理工大学）
针对GNN捕获高阶子图模式能力不足的问题，本文提出MoSE框架，通过匿名游走提取子图并动态路由至专家，增强灵活性与可解释性，理论证明其表达力强于SWL，实验验证其性能优于基线。
2025-09-11 cs.AI cs.LG
Directional Graph Networks
Valence Discovery；University of Cambridge（剑桥大学）；McGill University（麦吉尔大学）；MILA
图神经网络（GNN）中各向异性内核的缺乏严重限制了它们的表达能力，导致了众所周知的问题，如过度平滑。为了克服这一限制，我们提出了第一个全局一致的GNN各向异性内核，允许根据拓扑导出的方向流定义的图卷积。首先，通过在图中定义一个向量场，我们开发了一种方法，通过将特定于节点的消息投影到该字段中来应用方向导数和平滑。然后，我们建议使用拉普拉斯特征向量作为这样的向量场。我们证明了该方法在$n$维网格上推广了CNN，并且在Weisfeiler-Lehman 1-WL测试方面比标准GNNs更具鉴别力。我们在不同的标准基准上评估了我们的方法，在CIFAR 10图形数据集上看到了8%的相对误差减少，在分子ZINC数据集上看到了11%到32%的相对误差减少，在MolPCBA数据集上看到了1.6%的相对精度增加。这项工作的一个重要成果是，它使图网络能够以无监督的方式嵌入方向，从而更好地表示不同物理或生物问题中的各向异性特征。
2021-04-07 cs.CG cs.LG cs.SI
SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling
Washington University in St. Louis（圣路易斯华盛顿大学）；Peking University（北京大学）
本文提出 SPGNN 架构，通过基于拼接的单射图卷积和 WL-SortPool 池化模块增强子图模式识别能力，在图分类基准上取得与最先进方法竞争的结果。
2024-04-29 cs.AI cs.LG
