Sub-Graph Learning for Spatiotemporal Forecasting via Knowledge Distillation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
研究大型图中的交互的挑战之一是学习它们的不同模式和各种交互类型。因此,只考虑一个分布和模型来研究所有节点,而忽略它们在其邻域中的多样性和局部特征,可能会严重影响整体性能。根据图中节点的结构信息和它们之间的交互作用,主图可以被划分为多个子图。这种图划分会极大地影响学习过程,但是整体性能高度依赖于聚类方法,以避免误导模型。在这项工作中,我们提出了一个名为KD-SGL的新框架来有效地学习子图,其中我们定义了一个全局模型来学习图的整体结构,并为每个子图定义了多个局部模型。我们评估了所提出的框架的性能,并在公共数据集上对其进行了评估。基于所取得的结果,它可以提高性能的国家的最先进的时空模型具有可比的结果相比,集成的模型具有较低的复杂性。
2022-11-17 cs.LG
A Spectral Analysis of Graph Neural Networks on Dense and Sparse Graphs
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种随机图模型,分析了稀疏性对图谱及GNNs节点分类性能的影响,并证明GNNs在稀疏图上优于谱方法。
2023-09-13 cs.LG cs.SI eess.SP
A Note on Spectral Clustering and SVD of Graph Data
Tsinghua University(清华大学)
谱聚类和奇异值分解(SVD)都是分析图形数据的常用方法.在本文中,我将使用简单的线性代数来展示它们之间的联系,旨在为未来的研究提供一些深入的理解。
2018-09-27 cs.LG cs.SI
Spectral-based Graph Convolutional Network for Directed Graphs
Tianjin University(天津大学);Alibaba(阿里巴巴);Tencent(腾讯)
图卷积网络(Graph Convolutional Network,GCN)由于其强大的特征提取能力,成为近年来最流行的图数据处理方法。GCN方法分为两类,基于光谱和基于空间。作为最早的图数据卷积网络,基于频谱的GCN在许多与图相关的分析任务中取得了令人印象深刻的结果。然而,基于谱的模型不能直接在有向图上工作。在本文中,我们提出了一个改进的基于谱的GCN的有向图,利用重新定义的拉普拉斯算子,以改善其传播模型。我们的方法可以直接在半监督节点分类任务中的有向图数据上工作。在多个有向图数据集上的实验表明,该方法的性能优于现有的方法。
2019-07-21 cs.LG cs.SI stat.ML
Specformer: Spectral Graph Neural Networks Meet Transformers
University of British Columbia(不列颠哥伦比亚大学)
谱图神经网络(GNN)通过谱域图卷积来学习图表示。然而,大多数现有的谱图滤波器是标量到标量函数,即,将单个特征值映射到单个滤波值,从而忽略频谱的全局模式。此外,这些滤波器往往是基于一些固定阶多项式,这具有有限的表达性和灵活性。为了解决这些问题,我们引入了Specformer,它有效地对所有特征值的集合进行编码,并在谱域中执行自注意,从而形成可学习的集合到集合的谱滤波器。我们还设计了一个具有可学习基础的解码器,以实现非局部图卷积。重要的是,Specformer与置换是等变的。通过堆叠多个Specformer层,可以构建强大的光谱GNN。在合成数据集上,我们证明了我们的Specformer可以比其他光谱GNN更好地恢复地面实况光谱滤波器。在真实世界的图数据集上进行的节点级和图级任务的广泛实验表明,我们的Specformer优于最先进的GNN,并学习有意义的频谱模式。代码和数据可在https://github.com/bdy9527/Specformer上获得。
2023-03-02 cs.AI cs.LG cs.SI
POI Recommendation with LLM-Augmented Multi-Graph Learning and Contrastive Alignment
Institute for Digital Transformation - University of Applied Sciences Ravensburg-Weingarten(拉芬斯堡-魏恩加腾应用科学大学数字转型研究所)
该研究针对POI推荐的物品冷启动问题,提出LLM-MGCL模型,结合语义、地理与交互多图及对比学习,在Yelp数据集上显著优于基线模型,缓解了冷启动问题。
2026-10-23 cs.IR cs.LG
An Experimental Study of the Transferability of Spectral Graph Networks
谱图卷积网络是使用拉普拉斯算子的图结构数据的标准卷积网络的推广。一个常见的误解是光谱滤波器的不稳定性,即不可能在可变大小和拓扑的图之间转移光谱滤波器。这种误解限制了光谱网络的发展,有利于空间图网络的多图任务。然而,最近的工作证明了谱滤波器在图扰动下的稳定性。我们的工作补充和进一步强调了高质量的光谱可转移性的基准测试光谱图网络的任务,涉及不同大小和连接的图形。数值实验显示良好的性能图回归,图分类,节点分类问题上的两个图基准。我们的实验的实现可在GitHub上进行重现。
2020-12-18 cs.LG
Spectral Toolkit of Algorithms for Graphs: Technical Report (1)
本文介绍了开源谱图算法库STAG,重点展示其已完成的局部图聚类组件,并提供用户指南、案例研究及开发中的技术考量。
2023-04-05 cs.DS cs.LG cs.MS
SF-GRASS: Solver-Free Graph Spectral Sparsification
Stevens Institute of Technology(史蒂文斯理工学院);Michigan Technological University(密歇根理工大学)
最近的谱图稀疏化技术在加速许多数值和图形算法方面表现出了良好的性能,例如用于求解大型稀疏矩阵的迭代法,无向图的谱划分,电力/热网格的无向量验证,大型图的表示学习等。然而,先前的谱图稀疏化方法依赖于快速拉普拉斯矩阵求解器,这些求解器通常在实践中具有挑战性。这项工作,第一次,介绍了一种无求解器的方法(SF-GRASS)的频谱图稀疏化,利用新兴的频谱图粗化和图形信号处理(GSP)技术。我们引入了一个局部谱嵌入方案,用于有效地识别谱临界边缘,这些边缘是保持图谱特性的关键,例如前几个拉普拉斯特征值和特征向量。由于SF-GRASS中的关键核函数可以使用稀疏矩阵向量乘法(SpMV)有效地实现,因此所提出的谱方法易于实现并且具有固有的并行友好性。我们广泛的实验结果表明,所提出的方法可以产生一个层次的高品质的光谱稀疏在近线性时间的各种现实世界中,大规模的图形和电路网络相比,与现有的国家的最先进的谱方法。
2020-08-17 cs.DS cs.LG cs.NA
Spectral GNN via Two-dimensional (2-D) Graph Convolution
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Florida International University(佛罗里达国际大学)
针对现有谱 GNN 卷积无法构造目标输出的缺陷,本文提出统一各类范式的 2-D 图卷积及 ChebNet2D 实现,并验证其有效性与效率。
2024-04-06 cs.LG cs.NA eess.SP
Technical Report: The Graph Spectral Token -- Enhancing Graph Transformers with Spectral Information
The University of Chicago(芝加哥大学);Tsinghua University(清华大学)
本文提出 Graph Spectral Token,通过参数化 [CLS] token 将图谱全局结构信息注入图 Transformer,并在 GraphTrans 与 SubFormer 上验证其性能与效率收益。
2024-04-08 cs.LG
Understanding Regularized Spectral Clustering via Graph Conductance
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文利用图电导和谱聚类之间的关系来研究(i)谱聚类的失败和(ii)正则化的好处。原因很简单。稀疏图和随机图创建了许多小树,这些小树仅通过一条边连接到图的核心。图电导是敏感的,这些嘈杂的“悬挂集”。谱聚类继承了这种敏感性。本文的第二部分从先前提出的正则化谱聚类的形式开始,并表明它与“正则化图”上的图电导有关。我们称正则化图上的电导为CoreCut。基于先前将图电导与谱聚类(例如Cheeger不等式)相关联的参数,最小化CoreCut松弛以正则化谱聚类。对CoreCut的简单检查揭示了为什么它对图中的小切割不那么敏感。总之,这些结果表明,谱聚类的不平衡分区可以被理解为在稀疏和随机图的外围对噪声的过拟合。正则化修复了这种过拟合。除了这种统计上的好处,这些结果还证明了正则化如何提高谱聚类的计算速度。我们提供模拟和数据的例子来说明这些结果。
2018-12-01 cs.LG stat.ML
ASPECT: Node-Level Adaptive Spectral Fusion for Graph Contrastive Learning
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院)
ASPECT通过节点级自适应融合低频和高频视图,提升图对比学习的表示质量,在混合图中减少悔恨,同时通过ASPECT-S增强稳定性。
2026-05-06 cs.AI cs.LG
GRASPEL: Graph Spectral Learning at Scale
Michigan Technological University(密歇根理工大学);Stevens Institute of Technology(史蒂文斯理工学院)
从数据中学习有意义的图在许多数据采掘和机器学习任务中发挥着重要作用,例如数据表示和分析、降维、数据聚类和可视化等。在这项工作中,我们首次提出了一种高度可扩展的谱方法(GRASPEL),用于从数据中学习大型图。通过将精度矩阵限制为图拉普拉斯算子,我们的方法旨在估计超稀疏(树状)加权无向图,并与先前的图形Lasso方法有明确的联系。通过交织最新的高性能近线性时间谱方法进行图稀疏化,粗化和嵌入,可以通过识别并将最光谱关键的边缘包含到图中来学习超稀疏但光谱鲁棒的图。与现有的最先进的图学习方法相比,GRASPEL更具可扩展性,并且允许大幅提高各种数据采掘和机器学习应用(诸如谱聚类(SC)和t分布随机邻居嵌入(t-SNE))的计算效率和解决方案质量。{For例如,与使用现有方法构建的图相比,GRASPEL实现了最佳的谱聚类效率和准确性。
2020-07-28 cs.CV cs.LG stat.ML
A parameter-free graph reduction for spectral clustering and SpectralNet
The University of Sydney(悉尼大学)
基于图的聚类方法,如谱聚类和SpectralNet,在检测非凸形状的聚类方面非常有效。与流行的$k$ -means不同,基于图的聚类方法不假设每个聚类具有单个均值。然而,这些方法需要一个图,其中同一簇中的顶点由大权重的边连接。为了实现这一目标,许多研究提出了带参数的图约简方法。不幸的是,这些参数必须针对每个数据集进行调整。我们介绍了一个图约简方法,不需要任何参数。首先,使用自适应阈值过滤从每个点$p$到其邻居的距离,以仅保留具有相似周围密度的邻居。第二,计算与近邻的相似性,并且仅保持高相似性。在这两个过滤步骤中幸存下来的边形成了被传递到谱聚类和SpectralNet的构造图。实验表明,我们的方法提供了一个稳定的替代方案,其中其他方法的性能根据其参数的设置而波动。
2023-02-25 cs.AI cs.IR cs.LG
Improved spectral convergence rates for graph Laplacians on epsilon-graphs and k-NN graphs
University of Minnesota(明尼苏达大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文改进了由随机数据构造的Laplace-Beltrami算子的图基逼近的谱收敛速度。我们利用连续特征函数的正则性和强点态一致性结果证明了谱收敛速度与图拉普拉斯算子的点态一致性速度相同。特别是,对于图的连通性$\varepsilon$的最佳选择,我们的研究结果表明,图拉普拉斯算子的特征值和特征向量收敛到拉普拉斯-贝尔特拉米算子的速度为$O(n^{-1/(m+4)})$,对数因子,其中$m$是流形维数和$n$是图中的顶点数。我们的方法是通用的,并允许我们分析各种各样的图形结构,包括$\varepsilon$ -图和$k$ -NN图。
2020-06-27 cs.LG math.PR math.SP