Faster Kernels for Graphs with Continuous Attributes via Hashing
TU Dortmund University(多特蒙德工业大学)
虽然用于具有离散标签的图的最先进的内核可以很好地扩展到具有数千个节点的图,但不幸的是,用于具有连续属性的图的少数现有内核不能很好地扩展。为了克服这一限制,我们提出了散列图内核,一个通用的框架,从离散的连续属性的图形获得内核。其思想是使用随机哈希函数迭代地将连续属性转换为离散标签。我们说明哈希图内核的Weisfeiler-Lehman子树内核和最短路径内核。由此产生的新的图形内核被证明是,两者,能够处理具有连续属性的图形和可扩展到大型图形和数据集。这是支持我们的理论分析,并证明了广泛的实验评估。
2016-10-01 cs.LG stat.ML
FusedMM: A Unified SDDMM-SpMM Kernel for Graph Embedding and Graph Neural Networks
Indiana University(印第安纳大学)
我们开发了一个融合矩阵乘法内核,统一采样稠密矩阵乘法和稀疏稠密矩阵乘法下一个单一的操作称为FusedMM。通过使用用户定义的函数,FusedMM可以捕获流行的图嵌入和GNN方法所需的几乎所有计算模式。FusedMM比Deep Graph Library中的等效内核快一个数量级。FusedMM的优越性能来自于底层的向量化内核、合适的负载均衡方案和内存带宽的有效利用。FusedMM可以使用代码生成器调整其性能,并在Intel、AMD和ARM处理器上表现同样出色。FusedMM在不同的处理器上将端到端图嵌入算法的速度提高了28倍。
2021-10-27 cs.DC cs.LG cs.SI
Generalized Shortest Path Kernel on Graphs
Tokyo Institute of Technology(东京工业大学);Chalmers University of Technology(查尔姆斯理工大学)
我们考虑使用图核的分类图的问题。我们定义了一个新的图核,称为广义最短路径核,基于节点之间的最短路径的数量和长度。对于我们的例子分类问题,我们考虑从两个著名的家庭分类随机图的任务,通过它们包含的集群的数量。我们验证经验,广义最短路径内核优于原始最短路径内核的一些数据集。对实验结果进行了理论分析。特别是,我们估计的最短路径内核和广义最短路径内核的预期特征向量的分布,我们展示了一些证据来解释为什么我们的图形内核优于我们的图形分类问题的最短路径内核。
2015-10-22 cs.DS cs.LG
Multi-kernel Regression For Graph Signal Processing
KTH Royal Institute of Technology(KTH皇家理工学院)
我们开发了一种基于多核的回归方法,用于图形信号处理,其中假设目标信号在图形上是平滑的。在多核回归中,一个有效的核函数被表示为多个基核函数的线性组合。我们估计的线性权重学习有效的核函数通过适当的正则化的基础上图的光滑性。我们表明,由此产生的优化问题被证明是凸的,并提出一个加速投影梯度下降为基础的解决方案。使用真实世界的图形信号的仿真结果表明基于多核的方法比基于标准核的方法的效率。
2018-03-12 cs.LG stat.ML
A Survey on Graph Kernels
TU Dortmund University(多特蒙德工业大学);MIT(麻省理工学院)
图核已经成为解决图上分类任务的一种成熟和广泛使用的技术。本调查给出了一个全面的概述,在过去的15年中开发的基于核的图分类技术。我们描述和分类图形内核的基础上固有的设计,如其提取的图形特征的性质,他们的计算方法和他们在实践中的问题的适用性。在一个广泛的实验评估中,我们研究了一个大型的图形内核套件的分类准确性,建立基准以及新的数据集。我们比较流行的内核与几个基线方法的性能,并研究应用高斯RBF内核的度量引起的图形内核的效果。在这样做的过程中,我们发现简单的基线在某些数据集上进行这种转换后变得具有竞争力。此外,我们研究了现有的图形内核在其预测(和预测误差)中的一致程度,并获得了数据驱动的内核分类结果。最后,根据我们的实验结果,我们得出一个从业者的指南,以基于核的图分类。
2020-02-04 cs.LG stat.ML
Subgraph Matching Kernels for Attributed Graphs
我们提出了基于子图匹配的图核,即子图之间的结构保持双射。虽然最近提出了基于公共子图的内核(Wale等人,2008; Shervashidze等人,2009)一般不能应用于属性图,我们的方法允许通过一个灵活的评分方案比较顶点和边属性的内核来评价子图的映射。我们发现,子图匹配内核推广了几个已知的内核。为了计算核,我们提出了一种图论算法,该算法受到Levi(1973)观察到的两个图的公共子图和它们的乘积图中的团之间的经典关系的启发。令人鼓舞的实验结果的分类任务的现实世界的图。
2012-06-27 cs.LG stat.ML
Low-rank Kernel Learning for Graph-based Clustering
University of Electronic Science and Technology of China(电子科技大学)
邻接图的构造是基于图聚类的基础。内核空间中的图学习在许多基准数据集上表现出令人印象深刻的性能。然而,其性能在很大程度上取决于所选择的核矩阵。为了解决这个问题,先前的多核学习算法已经被应用于从一组预定义的核中学习最优的核。这种方法可能对噪声敏感,并限制了共识核的表示能力。与现有的方法相比,我们建议学习一个低秩的核矩阵,利用核矩阵的相似性,并寻求一个最佳的内核从候选内核的邻域。通过在统一的框架中制定图构造和核学习,图和共识核可以相互迭代增强。大量的实验结果验证了该方法的有效性。
2019-03-14 cs.CV cs.LG stat.ML
Scalable Global Alignment Graph Kernel Using Random Features: From Node Embedding to Graph Embedding
IBM Research(IBM研究院);CMU(卡内基梅隆大学);WUSTL(华盛顿大学圣路易斯分校);GMU(乔治梅森大学);UDEL(特拉华大学);Huawei(华为)
图核被广泛用于度量图之间的相似性。许多现有的图核,它专注于局部模式图,而不是他们的全局属性,遭受显着的结构信息丢失时表示图。最近的一些全局图核,它利用图的几何节点嵌入的对齐,产生最先进的性能。然而,这些图核不一定是正定的。更重要的是,计算图核矩阵在图的数量和大小方面将具有至少二次{时间}复杂度。在本文中,我们提出了一个新的家庭的全球对齐图的内核,它考虑到了全球性的图形,通过使用几何节点嵌入和相关的节点运输的基础上推土机的距离。与现有的全局核相比,该核是正定的。我们的图核是通过定义一个分布在\emph{random graphs},它可以自然地产生随机特征近似。随机特征近似导致我们的图嵌入,这被称为“随机图嵌入”(RGE)。特别是,RGE示出实现\emph{(quasi-)linear scalability}的数量和大小的图形。在9个基准数据集上的实验结果表明,RGE优于或匹配12个最先进的图分类算法。
2019-11-25 cs.LG stat.ML
Message Passing Graph Kernels
École Polytechnique(巴黎综合理工学院)
图核最近成为一种很有前途的方法,用于同时处理图相似性和学习任务。在本文中,我们提出了一个通用的框架设计图内核。建议的框架利用著名的消息传递计划的图形。从该框架派生的内核由两个组件组成。第一个分量是顶点之间的核,而第二个分量是图之间的核。所提出的框架背后的主要思想是使用迭代过程隐式地更新顶点的表示。然后,这些表示充当比较图对的内核的构建块。我们得到四个实例的建议框架,并通过大量的实验表明,这些实例是竞争力的国家的最先进的方法在各种任务。
2018-08-07 cs.LG stat.ML
RetGK: Graph Kernels based on Return Probabilities of Random Walks
Washington University in St. Louis(圣路易斯华盛顿大学)
图结构数据在计算机视觉、生物信息学和社交网络等领域有着广泛的应用。量化图之间的相似性是一个基本问题。在本文中,我们开发了一个框架,计算图形内核,返回概率的基础上,随机游动。我们提出的内核的优点是,它们可以有效地利用各种节点属性,同时可扩展到大型数据集。我们进行了广泛的图分类实验,以评估我们的图形内核。实验结果表明,我们的图内核显着优于现有的最先进的方法在准确性和计算效率。
2018-09-07 cs.LG stat.ML
HAQJSK: Hierarchical-Aligned Quantum Jensen-Shannon Kernels for Graph Classification
Beijing Normal University(北京师范大学);Central University of Finance and Economics(中央财经大学);Zhejiang Normal University(浙江师范大学);University of York(约克大学)
在这项工作中,我们提出了一个家庭的新的量子内核,即层次对齐的量子詹森-香农核(HAQJSK),非属性图。与大多数现有的经典图核不同,所提出的HAQJSK核可以将图之间的分层对齐结构信息合并,并将随机大小的图转换为固定大小的对齐图结构,即,连续时间量子游走的层次传递对齐邻接矩阵和层次传递对齐密度矩阵。对于手头的一对图,通过测量它们的传递对齐图结构之间的量子詹森-香农发散(QJSD)来定义所得到的HAQJSK内核。我们表明,建议的HAQJSK内核不仅反映了更丰富的内在的全局图的CTQW方面的特点,但也解决了忽略结构对应信息中出现的大多数现有的R-卷积内核的缺点。此外,与QJSD和CTQW相关的量子Jensen-Shannon核不同,HAQJSK核可以同时保证置换不变性和正定性,从而解释了HAQJSK核的理论优势.实验结果表明了所提核函数的有效性。
2022-12-10 cs.AI cs.LG
QESK: Quantum-based Entropic Subtree Kernels for Graph Classification
Beijing Normal University(北京师范大学);Central University of Finance and Economics(中央财经大学);University of York(约克大学)
在本文中,我们提出了一种新的图核,即量子熵子树核(QESK),用于图分类。为此,我们开始计算平均混合矩阵(AMM)的连续时间量子行走(CTQW)演变的每个图形结构。此外,我们展示了如何AMM矩阵可以用来计算一系列的熵子树表示与经典的Weisfeiler-Lehman(WL)算法。对于一对图,QESK核是通过计算它们的熵子树表示之间的负欧几里得距离的幂来定义的,理论上导致正定图核。我们表明,所提出的QESK内核不仅通过CTQW封装了图结构的复杂的内在量子结构特征,而且在理论上解决了忽略最先进的R-卷积图内核中出现的非共享子结构的影响的缺点。此外,与经典的R-卷积核不同,所提出的QESK可以区分同构子树的全局图结构的区别,从理论上解释了有效性。实验表明,所提出的QESK内核可以显着优于最先进的图形内核和图形深度学习方法的图形分类问题。
2022-12-10 cs.AI cs.LG
Graph Kernels: State-of-the-Art and Future Challenges
ETH Zurich(苏黎世联邦理工学院);Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
图结构数据是许多应用领域的组成部分,包括化学信息学、计算生物学、神经成像和社会网络分析。在过去的二十年中,已经提出了许多图核,即图之间的核函数,以解决评估图之间的相似性的问题,从而使得在分类和回归设置中执行预测成为可能。这份手稿提供了现有的图形内核,它们的应用程序,软件和数据资源的审查,以及最先进的图形内核的实证比较。
2020-11-10 cs.LG stat.ML
Graph Kernels: A Survey
École Polytechnique(巴黎综合理工学院);École des Ponts(巴黎高科路桥学院);Université Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
在过去的十年中,图核引起了人们的广泛关注,并且已经发展成为结构化数据学习的一个快速发展的分支。在过去的20年中,该领域的大量研究活动导致了数十种图核的发展,每种都专注于图的特定结构特性。图核已被证明在从社交网络到生物信息学的广泛领域中是成功的。本调查的目标是提供一个统一的视图的文献图内核。特别是,我们提出了广泛的图形内核的全面概述。此外,我们在公开的数据集上对其中几个内核进行了实验评估,并进行了比较研究。最后,我们讨论了图内核的关键应用,并概述了一些有待解决的挑战。
2021-11-24 cs.LG stat.ML
Neighborhood Preserving Kernels for Attributed Graphs
Indian Institute of Space Science and Technology(印度空间科学技术研究院);Litmus7 Systems Consulting Pvt Ltd(Litmus7系统咨询私人有限公司)
我们描述了一个再生核的设计适用于属性图,其中两个图之间的相似性定义的基础上的邻域信息的图形节点的帮助下的产品图配方。我们表示建议的内核作为两个其他内核的加权和,其中一个是一个R-卷积核,处理的图形的属性信息,另一个是一个最优分配核,处理标签信息。它们是以这样一种方式制定的,即作为内核计算的一部分处理的边缘具有相同的邻域属性,因此提出的内核使得在图形中处理的区域之间具有明确的对应关系。这些概念也被扩展到最短路径的情况。我们确定了可以映射到这样的邻域保持框架的最先进的内核。我们发现,在Weisfeiler-Lehman颜色细化算法的每次迭代中的幅角图的核值可以从我们的方法中制定的产品图递归地获得。通过将所提出的内核上的支持向量机,我们分析了现实世界的数据集,它已表现出优越的性能相比,其他国家的最先进的图形内核。
2020-10-13 cs.AI cs.LG
Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
Institute for Advanced Study(高等研究院);Zhejiang University(浙江大学);Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
虽然图核(GK)易于训练并享有可证明的理论保证,但它们的实际性能受到其表达能力的限制,因为核函数通常依赖于图的手工组合特征。与图核相比,图神经网络(GNN)通常具有更好的实际性能,因为GNN使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而,由于大量的超参数和训练过程的非凸性质,GNN更难训练。GNN的理论保证也没有得到很好的理解。此外,GNN的表达能力与参数的数量成比例,因此当计算资源有限时,很难利用GNN的全部功能。本文提出了一类新的图核,图神经切线核(GNTKs),它对应于通过梯度下降训练的无限宽多层GNN。GNTK充分利用了GNN的表达能力,继承了GK的优点。从理论上讲,我们证明了GNTK可以在图上学习一类光滑函数。根据经验,我们在图分类数据集上测试了GNTK,并显示它们具有强大的性能。
2019-11-04 cs.AI cs.CV cs.LG
Global Weisfeiler-Lehman Graph Kernels
TU Dortmund University(多特蒙德工业大学)
大多数最先进的图形内核仅考虑局部图形属性,即,关于顶点或其它小子结构的邻域的属性来计算核。另一方面,考虑全局图形属性的内核可能无法很好地扩展到大型图形数据库。在这里,我们建议开始探索局部和全局图内核之间的空间,在两个世界之间取得平衡。具体来说,我们介绍了一种新的图形内核的基础上$k$维Weisfeiler-Lehman算法。不幸的是,$k$维Weisfeiler-Lehman算法在$k$中呈指数级扩展。因此,我们设计了一个随机版本的内核与可证明的近似保证使用条件Rademacher平均。在有界度图上,它甚至可以在常数时间内计算。我们支持我们的理论结果与实验上的几个图分类基准,表明我们的内核往往优于国家的最先进的分类精度。
2017-09-22 cs.LG stat.ML
Topology Based Scalable Graph Kernels
Yahoo Research(雅虎研究院);Intel Inc.(英特尔公司)
我们提出了一个新的图核的图分类和比较使用奥利维尔里奇曲率。图中边的Ricci曲率描述了局部邻域的连通性。密集连接邻域中的边具有正曲率,而用作局部桥的边具有负曲率。我们使用的边缘曲率分布,形成一个图形的核心,然后使用比较和聚类图。曲率核纯粹使用图形拓扑,因此在节点属性不可用时用于设置。
2019-07-15 cs.LG stat.ML
Non-separable Spatio-temporal Graph Kernels via SPDEs
Finnish Center for Artificial Intelligence FCAI(芬兰人工智能中心FCAI);Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
本文利用SPDE与图上高斯过程的联系,提出推导不可分离时空图核的框架,并在热方程与波动方程上构建图核,在实际应用中优于现有图核。
2024-12-27 cs.LG stat.ML
Graph Filtration Kernels
Center for Machine Learning, Sankt Augustin(机器学习中心,圣奥古斯丁)
大多数流行的图核是基于Haussler的$\mathcal{R}$ -卷积核的概念,并根据相互子结构定义图的相似性。在这项工作中,我们丰富了这些相似性的措施,考虑图过滤:使用有意义的顺序的边缘集,这允许构建一个序列的嵌套图,我们可以考虑在多个粒度的图。首先,这提供了对不同分辨率级别的功能的访问。此外,它不是简单地比较图中特征的频率,而是允许根据它们在序列中存在的时间和时间进行比较。在这项工作中,我们提出了一个家庭的图形内核,将这些存在区间的功能。虽然我们的方法可以应用于任意图形特征,但我们特别强调Weisfeiler-Lehman顶点标签,从而获得高效的内核。我们表明,使用Weisfeiler-Lehman标签在一定的过滤严格增加了表达能力,在普通的Weisfeiler-Lehman程序决定图同构。事实上,这一结果直接产生了更强大的图形内核的基础上,这些功能,并具有影响图神经网络,由于其密切关系的Weisfeiler-Lehman方法。我们根据经验验证了我们的图内核的表达能力,并在各种真实世界基准数据集的预测性能方面显示出比最先进的图内核的显着改进。
2021-10-22 cs.LG
Graph Convolutional Networks using Heat Kernel for Semi-supervised Learning
CAS Key Laboratory of Network Data Science and Technology(中国科学院网络数据科学与技术重点实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Computer Science and Technology(计算机科学与技术学院);University of Chinese Academy of Sciences(中国科学院大学)
图卷积网络在图结构数据的半监督学习中取得了显著的成功。基于图的半监督学习的关键是捕捉图结构施加在节点上的标签或特征的平滑性。以前的方法,谱方法和空间方法,致力于将图卷积定义为相邻节点上的加权平均,然后学习图卷积核以利用平滑性来提高基于图的半监督学习的性能。一个开放的挑战是如何确定适当的邻域,反映相关信息的光滑性表现在图结构。在本文中,我们提出了GraphHeat,利用热核来增强低频滤波器,并在图上的信号变化中实现平滑。GraphHeat利用热扩散下目标节点的局部结构,灵活地确定其邻近节点,不受以往方法的顺序约束。GraphHeat在三个基准数据集上实现了基于图的半监督分类任务:Cora,Citeseer和Pubmed。
2020-07-27 cs.LG cs.SI
Graph kernels between point clouds
INRIA(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院)
点云是二维或三维的点集。大多数用于点集学习的核方法尚未处理与计算机视觉和图形学中的点云相关的特定几何不变性和实际约束。在本文中,我们提出了扩展的点云图形内核,它允许使用核方法,如形状,线图,或任何三维点云。为了用尽可能少的自由参数设计丰富且数值有效的内核,我们在协方差矩阵及其在图形模型上的因式分解之间使用内核。我们推导出多项式时间动态规划递归,并从几个训练样本中应用于手写数字和汉字的识别。
2007-12-20 cs.LG
Towards Subgraph Isomorphism Counting with Graph Kernels
Hong Kong University of Science and Technology(香港科技大学)
针对子图同构计数这一#P完全难题,该研究率先探索图核在该任务中的应用,通过引入邻域信息并结合多项式、高斯等核变体增强图核能力,实验验证了方法的有效性。
2024-05-13 cs.LG
Transductive Kernels for Gaussian Processes on Graphs
University of Oxford(牛津大学);University of Cambridge(剑桥大学);Man AHL(曼恩AHL公司);Invenia Labs(Invenia实验室)
图上的核对于节点级问题的选择有限。为了解决这个问题,我们提出了一种新的,广义的内核与节点特征数据的图半监督学习。核是从正则化框架中导出的,将图形和特征数据视为两个希尔伯特空间。我们还展示了图上的许多基于内核的模型是我们设计的实例。以这种方式定义的内核具有转换属性,这导致在更少的训练点上学习的能力得到提高,以及更好地处理高度非欧几里德数据。我们使用合成数据证明了这些优势,其中整个图的分布可以告知标签的模式。最后,通过在核中使用一个灵活的图拉普拉斯多项式,该模型也可以有效地进行半监督分类的各种水平的同质图。
2022-11-28 cs.LG stat.ML
Graph Kernels exploiting Weisfeiler-Lehman Graph Isomorphism Test Extensions
University of Padova(帕多瓦大学)
在本文中,我们提出了一种新的图形核框架的启发Weisfeiler-Lehman(WL)同构测试。任何WL测试都包括基于从图中提取的测试特定信息(例如节点的邻居集合)的节点的重新标记阶段。我们定义了一种新的重标记方法,并从中推导出了该框架的两个核函数,这两个新的核函数在五个真实数据集上的计算速度非常快,并取得了最先进的结果。
2015-09-22 cs.AI cs.LG
Literature Review: Graph Kernels in Chemoinformatics
这篇评论的目的是向读者介绍图核和相应的文献,重点是那些直接应用于化学信息学。图核是允许推断分子和化合物的性质的函数,这可以帮助完成诸如在药物设计中找到合适的化合物之类的任务。核方法的使用仅仅是一种特定的方式来量化图之间的相似性。我们的讨论仅限于这一种方法,尽管近年来出现了流行的替代方法,最著名的是图神经网络。
2022-08-26 cs.LG q-bio.QM stat.ML
KONG: Kernels for ordered-neighborhood graphs
Noah’s Ark Lab Paris, Huawei Technologies Ltd(华为技术有限公司诺亚方舟实验室巴黎分部);London School of Economics(伦敦政治经济学院)
我们提出了新的图形内核的节点和边缘标签,有秩序的邻居,即当邻居节点遵循一个顺序的图形。具有有序邻域的图是演化图的自然数据表示,其中边随着时间的推移而创建,这导致了有序。结合卷积子图核和字符串核,我们设计了新的可扩展算法,用于使用草图技术生成显式图形特征映射。我们得到精确的边界的近似精度和计算复杂性的建议的方法,并证明其适用于真实的数据集。特别是,我们的实验表明,邻域排序的结果在更多的信息功能。对于一般图的特殊情况,即没有有序邻域的图,新的图核产生了有效和简单的算法,用于比较图之间的标签分布。
2018-05-29 cs.LG stat.ML
Extending local features with contextual information in graph kernels
University of Padova(帕多瓦大学)
图核通常定义为原始图的局部子结构上的更简单的核。不同的内核考虑不同类型的子结构。然而,在某些情况下,它们具有相似的预测性能,可能是因为子结构可以被解释为它们诱导的子图的近似。在本文中,我们建议关联到每个功能的一块信息的背景下,该功能出现在图中。出现在两个不同图中的子结构仅当它在两个图中以相同的上下文出现时才匹配。我们提出了一个内核基于这个想法,认为树的子结构,和上下文的功能。内核的灵感来自[6]中的框架,即使它不是它的一部分。我们给出了一个有效的算法来计算内核,并在现实世界的图分类数据集上显示出有希望的结果。
2015-09-03 cs.LG
Convolutional Kernel Networks for Graph-Structured Data
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);Univ. Lyon(里昂大学);Université Lyon 1(里昂第一大学)
我们介绍了一个家庭的多层图核,并建立新的联系图卷积神经网络和核方法。我们的方法将卷积核网络推广到图结构数据,通过将图表示为一系列内核特征映射,其中每个节点都携带有关局部图子结构的信息。一方面,内核的观点提供了一个无监督的,富有表现力的,易于正则化的数据表示,这是有用的,当有限的样本可用。另一方面,我们的模型也可以在大规模数据上进行端到端的训练,从而产生新型的图卷积神经网络。我们表明,我们的方法在几个图分类基准上实现了有竞争力的性能,同时提供了简单的模型解释。我们的代码可以在https://github.com/claying/GCKN上免费获得。
2020-06-29 cs.LG stat.ML
Fast Graph Kernel with Optical Random Features
LightOn(LightOn公司)
图核是图分类的经典方法。然而,它遭受了高的计算成本,由于同构测试,它包括。作为一个通用的代理,并且通常以丢失一些信息为代价,这个测试可以有效地被计算各种图形特征的用户定义的映射所取代。在本文中,我们建议在graphlet框架内利用内核随机特征,并与平均内核度量建立理论联系。如果这种方法对于通常的随机特征仍然是昂贵的,那么我们将结合可以在恒定时间内计算的光学随机特征。实验表明,所得到的算法是数量级更快的graphlet内核相同,或更好的精度。
2020-10-16 cs.LG stat.ML
AERK: Aligned Entropic Reproducing Kernels through Continuous-time Quantum Walks
Central University of Finance and Economics(中央财经大学);Zhejiang Normal University(浙江师范大学);Beijing Normal University(北京师范大学);University of York(约克大学)
在这项工作中,我们开发了一个对齐的熵再生核(AERK)的图分类。我们首先对每个图结构执行连续时间量子行走(CTQW),并计算平均混合矩阵(AMM)来描述CTQW如何从起始顶点访问所有顶点。更具体地说,我们展示了这个AMM矩阵如何允许我们计算图的每个顶点的量子香农熵。对于两两图,建议的AERK核是通过计算再生核的量子香农熵之间的相似性,他们的每一对对齐的顶点。理论性质分析表明,AERK核不仅克服了现有R-卷积图核忽略图间结构对应信息的缺点,而且克服了现有基于顶点的匹配核忽略对齐顶点对间结构差异的问题.此外,不同于现有的经典图核只关注图的全局或局部结构信息,所提出的AERK核可以通过量子香农熵同时捕获全局和局部结构信息,反映更精确的基于核的图对之间的相似性度量。上述理论性质解释了所提出的内核的有效性。标准图数据集上的实验评估表明,所提出的AERK内核能够优于最先进的图分类任务的图内核。
2023-03-04 cs.AI cs.LG
Rethinking Kernel Methods for Node Representation Learning on Graphs
Rutgers University(罗格斯大学);University of Delaware(特拉华大学)
图核是度量图相似性的核方法,是图分类的标准工具。然而,使用核方法进行节点分类,这是一个相关的问题,图表示学习,仍然是不适定的,最先进的方法在很大程度上是基于几何学。在这里,我们提出了一个新的理论基于内核的框架节点分类,可以弥合这两个表示学习问题之间的差距图。我们的方法的动机是图形内核方法,但扩展到学习的节点表示捕捉图中的结构信息。我们从理论上表明,我们的配方是强大的任何半正定内核。为了有效地学习内核,我们提出了一种新的节点特征聚合机制和在训练阶段采用的数据驱动的相似性度量。更重要的是,我们的框架是灵活的,并与其他基于图的深度学习模型互补,例如,图卷积网络。我们经验性地评估我们的方法在一些标准的节点分类基准,并证明我们的模型设置了新的艺术状态。
2019-10-06 cs.LG stat.ML
Graph Kernels via Functional Embedding
Cornell University(康奈尔大学);Rutgers University(罗格斯大学)
我们提出了一个表示的图形作为一个功能性的对象,来自底层邻接矩阵的幂迭代。所提出的函数表示是图不变的,即,该泛函在顶点的任何重新排序下保持不变。这个性质消除了处理指数级多个同构形式的困难。在这些泛函之间构建的Bhattacharyya内核在4个标准基准图分类数据集中的3个上的性能显著优于最先进的图内核,证明了我们方法的优越性。所提出的方法是简单的,运行时间线性的边的数量,这使得我们的内核更有效和可扩展性相比,许多广泛采用的图形内核的运行时间立方的顶点数。
2014-04-21 cs.AI cs.LG stat.ML
Fast Graph Neural Tangent Kernel via Kronecker Sketching
Columbia University(哥伦比亚大学);Carnegie Mellon University(卡内基梅隆大学);Adobe Research(Adobe 研究院);Princeton University(普林斯顿大学);Duke University(杜克大学)
许多深度学习任务必须处理图形(例如,蛋白质结构、社交网络、源代码抽象语法树)。由于这些任务的重要性,人们转向图神经网络(GNNs)作为在图上学习的实际方法。GNN由于其令人信服的性能而得到广泛应用。不幸的是,使用GNN的一个主要障碍是GNN需要大量的时间和资源来进行训练。最近,一种用于在图数据上学习的新方法是图神经切线核(GNTK)[Du,Hou,Salakhutdinov,Poczos,Wang和Xu 19]。GNTK是神经切线核(NTK)[Jacot,Gabriel和Hongler 18](一种核方法)在图形数据上的应用,解决NTK回归相当于使用梯度下降来训练无限宽的神经网络。使用GNTK的主要好处是,与任何内核方法类似,GNTK的参数可以在单个步骤中直接求解。这可以避免耗时的梯度下降。同时,草图已经越来越多地用于加速各种优化问题,包括解决核回归。给定$n$图的核矩阵,在求解核回归时使用草图法,可将计算时间减少到$o(n^3)$。但不幸的是,这样的方法通常需要事先对核矩阵有广泛的了解,而在GNTK的情况下,我们发现核矩阵的构造已经是$O(n^2N^4)$了,假设每个图都有$N$节点。当图$N$的大小增加时,核矩阵构造时间可能是主要的性能瓶颈。因此,一个自然的问题是,我们是否可以加快内核矩阵的构造,以改善GNTK回归的端到端运行时间。本文首次提出了在$o(n^2N^3)$运行时构…
2021-12-04 cs.LG
Metric Graph Kernels via the Tropical Torelli Map
KTH Royal Institute of Technology(皇家理工学院);Imperial College London(伦敦帝国学院)
本文提出基于热带代数几何的度量图核,通过几何和拓扑特性进行图比较,适用于无标签设置下的城市道路网络分类。
2026-01-29 cs.LG stat.ME stat.ML
Temporal Graph Kernels for Classifying Dissemination Processes
University of Bonn(波恩大学);TU Dortmund University(多特蒙德工业大学)
许多真实世界的图或网络是时间性的,例如,在社交网络中,人们仅在特定的时间点进行交互。这些信息指导网络上的传播过程,例如谣言,假新闻或疾病的传播。然而,目前最先进的监督图分类方法主要是针对静态图设计的,可能无法捕获时间信息。因此,它们不足以区分不同传播过程的图形。为了解决这个问题,我们引入了一个框架,以提升标准的图形内核的时域。具体来说,我们探索三种不同的方法,并调查时间信息和效率之间的权衡损失。此外,为了处理大规模的图形,我们提出了我们的内核的随机变量与可证明的近似保证。我们在广泛的现实世界社交网络上评估我们的方法。我们的方法在准确性方面大大优于静态内核,同时仍然可以扩展到大型图形和数据集。因此,我们确认,考虑到时间信息是至关重要的传播过程的成功分类。
2021-08-20 cs.LG cs.SI stat.ML
Kernel Graph Convolutional Neural Networks
École Polytechnique(巴黎综合理工学院);Athens University of Economics and Business(雅典经济与商业大学)
图核已经成功地应用于许多图分类问题。通常,首先设计一个核,然后基于该核隐式定义的特征训练SVM分类器。这种两阶段方法将数据表示与学习相结合,这是次优的。另一方面,卷积神经网络(CNN)具有在训练期间直接从原始数据学习其自身特征的能力。不幸的是,它们无法处理图形等不规则数据。我们通过使用图形内核来解决这个挑战,将图形的有意义的局部邻域嵌入到连续向量空间中。然后,一组滤波器与这些补丁卷积,合并,然后将输出传递到前馈网络。通过有限的参数调整,我们的方法在10个基准数据集中的7个上优于强基线。
2018-09-07 cs.LG
A Generalized Weisfeiler-Lehman Graph Kernel
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
Weisfeiler-Lehman图核由于其显著的时间复杂度和预测性能而成为最流行的图核之一。他们的关键概念是基于邻域表示树关于相等性的隐式比较(即,同构)。然而,这种二进制值的比较,可以说是过于严格的定义合适的相似性措施的图。为了克服这一限制,我们提出了一个推广的Weisfeiler-Lehman图内核,它考虑到树之间的相似性,而不是平等。我们实现这一点,使用一个专门适合的变化,众所周知的树编辑距离,可以有效地计算。我们的经验表明,我们的方法显着优于国家的最先进的方法,在预测性能的数据集包含结构上更复杂的图超出了通常认为的分子图。
2021-01-20 cs.LG
Heterogeneous Attributed Graph Learning via Neighborhood-Aware Star Kernels
Key Laboratory of System Software (Chinese Academy of Sciences)(系统软件重点实验室(中国科学院));State Key Laboratory of Computer Science(计算机科学国家重点实验室);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
针对现有图核难以同时捕捉属性图异质属性语义与邻域信息的问题,提出正定图核NASK,通过Gower系数指数变换与WL增强星型子结构建模,在多基准上优于16种SOTA基线。
2025-11-14 cs.LG
The Structurally Smoothed Graphlet Kernel
表示图的常用范例是使用包含某些图案或子图的出现的归一化频率的向量。该向量表示可以用于各种应用中,例如用于计算图之间的相似性。Shervashidze等人的graphlet内核。[32]使用k个节点的诱导子图(Przulj [28]命名为graphlet)作为向量表示中的基序,并通过这些向量之间的点积计算内核。我们可以很容易地证明这是图之间的有效核。然而,这种矢量表示存在一些缺点。当k变大时,我们会遇到稀疏性问题;大多数高阶小图不会出现在给定的图中。这导致了对角优势,即给定的图与其自身相似,但与数据集中的任何其他图都不相似。另一方面,由于较低阶的小图往往更多,因此使用较低的k值不能提供足够的区分能力。我们提出了一种平滑技术来解决上述问题。我们的方法是基于一个新的扩展Kneser-Ney和Pitman-Yor平滑技术从自然语言处理的图形。我们使用低阶和高阶graphlet之间的关系,以获得我们的方法。因此,我们的平滑算法不仅尊重子图之间的依赖关系,而且还通过在小图之间分配概率质量来解决对角优势问题。在我们的实验中,平滑的graphlet内核优于基于原始频率计数的图形内核。
2014-03-03 cs.LG
Poisson Kernel Avoiding Self-Smoothing in Graph Convolutional Networks
Huazhong University of Science and Technology(华中科技大学);Nanyang Technological University(南洋理工大学)
图卷积网络(Graph Convolutional Network,GCN)是目前处理非欧数据的有效工具,如社会行为分析中的社交网络、化学领域的分子结构分析、基于卷积的动作识别等。图卷积核是GCN中提取节点特征的重要因素之一,对它的一些改进在理论和实验上都取得了很好的效果。然而,关于不同的数据类型和图结构如何影响这些内核的性能的研究有限。现有的方法大多采用自适应卷积核来处理给定的图结构,这仍然没有揭示其内在原因。本文从谱图的理论分析出发,研究了现有的图卷积核的性质。在考虑一些特定参数的设计数据集时,我们揭示了卷积核的自平滑现象。在此基础上,我们提出了泊松核,它可以避免自平滑,而无需训练任何自适应核。实验结果表明,我们的泊松核不仅在基准数据集上工作良好,最先进的方法工作良好,而且在合成数据集上也明显优于它们。
2020-02-25 cs.CV cs.LG
An End-to-End Graph Convolutional Kernel Support Vector Machine
School of Computer Science & Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院)
提出了一种新的基于核的支持向量机(SVM)的图分类方法。SVM特征空间映射由一系列图卷积层组成,该卷积层为每个顶点生成向量空间表示,然后是一个池化层,该池化层为图生成再生核希尔伯特空间(RKHS)表示。RKHS的使用提供了使用核函数在该空间中隐式操作的能力,而没有显式映射到它的计算复杂性。所提出的模型以监督的端到端的方式进行训练,从而卷积层,核函数和SVM参数相对于正则化分类损失进行联合优化。这种方法不同于现有的基于核的图分类模型,后者使用特征工程或无监督学习来定义核函数。实验结果表明,该模型优于现有的深度学习基线模型在一些数据集上。
2020-08-04 cs.LG stat.ML
Autism Spectrum Disorder Classification using Graph Kernels on Multidimensional Time Series
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of California, Davis(加利福尼亚大学戴维斯分校)
我们提出了一种方法来模型时间序列数据从静息状态fMRI自闭症谱系障碍(ASD)的严重程度分类。我们建议采用核机器,并采用图形内核,定义两个图形之间的核点积。这使我们能够利用时空信息来捕捉大脑网络的动态,而不是在空间或时间维度上聚合它们。除了传统的相似性图,我们探索使用稀疏编码的L1图,和时间延迟嵌入的持久同源性,在提出的管道ASD分类。在我们的实验中,两个数据集的ABIDE集合,我们证明了一个一致的和显着的优势,在使用图形内核传统的线性或非线性内核的各种时间序列功能。
2016-11-29 cs.LG stat.ML
A Unifying View of Explicit and Implicit Feature Maps of Graph Kernels
TU Dortmund University(多特蒙德工业大学);Washington University in St. Louis(圣路易斯华盛顿大学);TU Darmstadt(达姆施塔特工业大学)
非线性核方法可以通过使用合适的显式特征映射的快速线性方法来近似,从而允许其应用于大规模问题。我们研究了结构化数据的卷积核是如何从基本核组成的,并构建了相应的特征图。在此基础上,我们提出了广泛使用的图核的核技巧的基础上的准确和近似的特征映射。我们分析了显式特征映射的内核和图形属性计算是可行的,实际上更有效。特别是,我们推导出近似的,明确的特征映射的最先进的内核支持实值属性,包括GraphHopper和图形不变的内核。在广泛的实验中,我们表明,我们的方法往往达到了接近的准确方法的基础上的内核技巧的分类精度,但只需要一小部分的运行时间。此外,我们提出和分析算法计算随机行走,最短路径和子图匹配核显式和隐式特征映射。我们的理论结果证实了实验观察时,比较运行时间的标签多样性,步行长度和子图的大小,分别相变。
2019-09-03 cs.LG stat.ML
Taming graph kernels with random features
Google Robotics(谷歌机器人部门);Columbia University(哥伦比亚大学)
针对图核算法立方级时间复杂度难题,提出图随机特征(GRFs)机制及拟蒙特卡洛变体q-GRFs,可降低计算成本、支持分布式计算,还可用于求解特定对称正定线性方程组。
2023-04-29 cs.LG
The All-Paths and Cycles Graph Kernel
University of York(约克大学)
随着最近可用的结构化数据量的增加,人们对利用图进行机器学习的方法产生了相当大的兴趣。这些方法中的许多都是核方法,其重点是测量图之间的相似性。这些通常涉及测量结构元素的相似性,例如步行或路径。Borgwardt和Kriegel提出了全路径核,但强调它是NP-难计算的,在实践中是不可行的,而倾向于最短路径核。在本文中,我们介绍了一种新的算法来计算所有路径的核,这是非常有效的,并进一步丰富了它包括简单的循环以及。我们演示了它是如何可行的,即使在大型数据集上计算所有的路径和简单的循环到一个中等的长度。我们展示了如何计数标记的路径/简单的循环之间的顶点的图和评估标记的路径和简单的循环内核。在各种图数据集上的广泛评估表明,所有路径和循环内核具有优于最短路径内核的性能和最先进的整体性能。
2017-08-04 cs.LG
Learning subtree pattern importance for Weisfeiler-Lehmanbased graph kernels
The University of Tokyo(东京大学);Kyoto University(京都大学);Alato University(阿尔托大学)
图是关系数据的一种常用表示方法,在分子、生物、社交网络等领域中普遍存在。一种流行的方法来学习与图结构的数据是利用graph kernels,它衡量之间的相似性,并被插入到一个核心机器,如支持向量机。Weisfeiler-Lehman(WL)的基于图的核,采用WL标记方案来提取子树模式和执行节点嵌入,被证明可以实现很好的性能,同时是有效的可计算性。然而,通用核的一个主要缺点是核构造和学习过程的解耦。对于分子图,通常的核函数如WL子树,基于分子的子结构,认为所有可用的子结构具有相同的重要性,这可能不适合于实际应用。在本文中,我们提出了一种在WWL内核框架中学习子树模式权重的方法,这是图分类任务的最新方法[14]。为了克服大规模数据集上的计算问题,我们提出了一种有效的学习算法,并推导了一个泛化间隙界来证明其收敛性。最后,通过对合成数据集和真实数据集的实验,我们证明了我们提出的方法学习子树模式的权重的有效性。
2021-06-08 cs.LG
Ordinal Pattern Kernel for Brain Connectivity Network Classification
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
脑连接网络表征了脑区域的功能或结构相互作用,已被广泛用于脑疾病分类。基于核的方法,例如图核(即,定义在图上的核),已被提出用于测量大脑网络的相似性,并产生了有前途的分类性能。然而,大多数图核都是建立在未加权图上的(即,网络),而忽略了脑连接网络中有价值的边的权值信息,边权值传达了脑区域之间的时间相关性或纤维连接的强度。因此,在本文中,我们提出了一个有序模式核的大脑连接网络分类。与现有的度量未加权图的拓扑相似性的图核不同,所提出的有序模式核通过比较来自加权网络的有序模式来计算加权网络的相似性。为了评估所提出的序数核的有效性,我们进一步开发了一个基于深度优先的序数模式核,并在ADNI数据库的真实脑疾病数据集上进行了广泛的实验。结果表明,我们提出的有序模式内核可以实现更好的分类性能相比,国家的最先进的图形内核。
2021-01-18 cs.LG stat.ML
Multi-Relation Graph-Kernel Strengthen Network for Graph-Level Clustering
Hainan University(海南大学);Northeast Normal University(东北师范大学);Hebei University of Technology(河北工业大学);University of Chinese Academy of Science(中国科学院大学);Hubei University(湖北大学);The Australian National University(澳大利亚国立大学);Beijing University of Posts and Telecommunications(北京邮电大学);Southeast University(东南大学)
针对图级聚类中现有深度方法受限于池化及传统图核难以处理多关系数据的问题,提出多关系图核增强网络(MGSN),通过结合多关系建模与图核技术提取特征并渐进融合,在多个基准上超越现有方法。
2025-04-02 cs.LG
Provenance Graph Kernel
University of Oxford(牛津大学);Exeter University(埃克塞特大学);Polysurance
起源是描述实体、活动和代理如何影响一段数据的记录;它通常表示为节点和边上都有相关标签的图。随着起源在广泛的应用领域中的越来越多的采用,用户越来越多地面临着大量的图形数据,这可能证明是具有挑战性的处理。另一方面,图核已经成功地用于有效地分析图。在本文中,我们介绍了一种新的图核称为起源核,这是灵感和原产地数据量身定制。它将一个起源图分解成以给定节点为根的树模式,并考虑到距离根一定距离的边和节点的标签。我们采用起源核分类起源图从三个应用领域。我们的评估表明,它们在分类精度方面表现良好,与现有的图核方法和起源网络分析方法相比,它们在计算时间上更有效。此外,种源核所使用的种源类型也有助于提高基于它们建立的预测模型的可解释性。
2021-09-14 cs.AI cs.DB cs.LG
KerGNNs: Interpretable Graph Neural Networks with Graph Kernels
Yale University(耶鲁大学);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心)
图核历来是图分类任务中最广泛使用的技术。然而,这些方法遭受有限的性能,因为手工制作的图的组合功能。近年来,图神经网络(GNNs)由于其优越的性能,已成为下游图相关任务的最先进的方法。大多数GNN基于消息传递神经网络(MPNN)框架。然而,最近的研究表明,MPNN不能超过的权力的Weisfeiler-Lehman(WL)算法在图同构测试。为了解决现有的图形内核和GNN方法的局限性,在本文中,我们提出了一种新的GNN框架,称为\textit{Kernel Graph Neural Networks}(KerGNNs),它集成了图形内核到GNNs的消息传递过程。受卷积神经网络(CNN)中卷积滤波器的启发,KerGNNs采用可训练的隐藏图作为图滤波器,其与子图相结合以使用图核更新节点嵌入。此外,我们还证明了MPNN可以被视为Kerns的特殊情况。我们将KerGNN应用于多个与图相关的任务,并使用交叉验证与基准进行公平比较。我们表明,与现有的最先进的方法相比,我们的方法具有竞争力的性能,证明了提高GNN表示能力的潜力。我们还表明,KerGNNs中训练的图过滤器可以揭示数据集的局部图结构,与传统的GNN模型相比,这显着提高了模型的可解释性。
2022-02-25 cs.AI cs.LG
Exploring Consistency in Graph Representations:from Graph Kernels to Graph Neural Networks
Dartmouth College(达特茅斯学院);University of California San Diego(加利福尼亚大学圣迭戈分校)
该研究针对图神经网络难捕捉一致图间相似性的问题,对比分析图核一致性特性提出跨层一致性损失,有效提升了多骨干多数据集的图分类性能。
2024-12-11 cs.AI cs.LG
Deep Hierarchical Graph Alignment Kernels
Tongji University(同济大学);Jilin University(吉林大学)
针对 R-卷积图核忽视子结构隐式相似性与拓扑位置的问题,提出 DHGAK,通过深度嵌入空间中的层次对齐、聚类和核均值嵌入构建 RKHS 特征映射,并验证其理论保证与性能优势。
2024-05-09 cs.LG stat.ML
Kernel-based Reconstruction of Graph Signals
工程、社会科学、物理学和生物学中的许多应用都涉及网络推理。在这种情况下,图形信号被广泛地遇到作为顶点属性或特征的描述符在图形结构的数据。在图上信号处理(SPoG)的文献中,已经广泛地分析了在给定顶点子集上它们的值的噪声观测的情况下在所有顶点中估计这样的信号。本文主张核回归作为一个框架,推广流行的SPoG建模和重建,并扩展其功能。将信号重构公式化为关于图信号的再现核希尔伯特空间的回归任务渗透了统计学习的益处,提供了新的见解,并且允许估计器利用比现有替代方案更丰富形式的先验信息。一些SPoG概念,如带限性,图滤波器和图傅立叶变换自然地容纳在内核框架中。此外,本文利用所谓的代表定理设计更简单的版本现有的Thikhonov正则化估计,并提供了一种新的概率解释的核方法的基础上图形模型。针对SPoG估计中带宽参数的选取和核方法中核映射的选取问题,提出了两种优势互补的多核方法.而第一个使带限信号的未知带宽的估计,第二个允许有效的图形滤波器的选择。数值试验与合成以及真实数据表明所提出的方法相对于国家的最先进的替代品的优点。
2016-05-23 cs.LG stat.ML