Full-Spectrum Graph Neural Networks: Expressive and Scalable
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore 637371, Singapore(数学科学学院,物理与数学科学学院,南洋理工大学,新加坡637371,新加坡)
提出全谱图神经网络(FSpecGNN),通过将信号从节点域提升到节点对域并将单变量谱滤波器扩展为双变量滤波器,实现了对节点对信号的通用逼近,同时保持可扩展性。
2026-05-24 cs.LG
Scalable and Certifiable Graph Unlearning: Overcoming the Approximation Error Barrier
Renmin University of China(中国人民大学)
针对现有可认证图遗忘方法在大规模图上因需重新计算图传播而不实用的问题,提出ScaleGUN,集成近似图传播技术实现十亿边图的可认证遗忘,在三种场景下提供保证且效率远超重新训练/传播。
2025-02-18 cs.LG
Scalable Consistency Training for Graph Neural Networks via Self-Ensemble Self-Distillation
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Amazon Web Services(亚马逊网络服务)
一致性训练是改进计算机视觉和自然语言处理中深度学习模型的一种流行方法。图神经网络(GNNs)在各种网络科学学习任务中取得了显着的性能,但迄今为止还没有研究大规模图问题的一致性训练的效果。GNN通过小批量训练和子样本节点邻居来处理高度节点,从而扩展到大型图。我们利用邻居的子采样中固有的随机性,并引入一种新的一致性训练方法来提高精度。对于目标节点,我们生成不同的邻域扩展,并将预测平均值的知识提取到GNN。我们的方法近似于可能的邻域样本的预期预测,实际上只需要几个样本。我们证明了我们的训练方法在几种不同的设置中优于标准GNN训练,并且在标签率较低时获得最大收益。
2021-10-12 cs.LG
An Efficient and Scalable Graph Condensation with Structure-Preserving
Southwest University(西南大学)
提出一种解耦节点压缩与图结构生成的保结构图压缩方法(SP-ESGC),通过热核特征传播和混合聚类策略实现高效图压缩,并利用预训练边预测器生成可迁移的结构模式,在保持高计算效率的同时提升跨GNN架构的泛化能力。
2026-05-29 cs.LG
Role action embeddings: scalable representation of network positions
Facebook(脸书)
我们考虑在嵌入空间中将具有相似局部邻域的节点嵌入在一起的问题,通常称为“角色嵌入”。“我们提出了RAE,一个学习角色嵌入的无监督框架。它结合了一个节点内损失函数和一个图神经网络(GNN)架构,将具有相似局部邻域的节点放置在嵌入空间中。我们还提出了一种更快的方法来生成负例,称为邻居洗牌,它可以直接在批次中快速创建负例。这些技术可以很容易地与现有的GNN方法相结合,以大规模创建无监督的角色嵌入。然后,我们探索角色动作嵌入,它总结了节点邻域中的非结构特征,从而提高了节点分类任务的性能。我们发现,本文提出的模型架构在图和节点分类任务上都提供了强大的性能,在某些情况下可以与半监督方法竞争。
2018-12-03 cs.LG cs.SI
Graph Coarsening via Convolution Matching for Scalable Graph Neural Network Training
University of California, Santa Cruz(加州大学圣克鲁兹分校);Amazon(亚马逊);University of Michigan(密歇根大学)
提出CONVMATCH及可扩展变体A-CONVMATCH,通过卷积匹配进行图粗化,在显著缩小图规模的同时保持GNN预测性能,在节点分类和链接预测任务上均优于基线。
2023-12-24 cs.LG
Reinforcement Learning for Scalable Logic Optimization with Graph Neural Networks
Huawei Technologies, Zurich Research Center(华为技术有限公司苏黎世研究中心)
逻辑优化是一个NP难问题,通常通过手工设计的算法来解决。我们建议将图卷积网络与强化学习和一种新颖的可扩展节点嵌入方法相结合,以学习哪些局部变换应该应用于逻辑图。我们表明,这种方法在较小的电路上实现了与ABC相似的尺寸减小,并且在较大的随机图上优于它1.5- 1.75倍。
2021-05-04 cs.LG
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification
Shanghai Jiao Tong University(上海交通大学);Amazon Web Service(亚马逊云科技);Shanghai AI Lab(上海人工智能实验室)
针对图神经网络存在的过压缩、异配性等缺陷及传统方法二次复杂度的问题,提出基于核化Gumbel-Softmax算子的NodeFormer,实现线性复杂度的可扩展图结构学习,在大图节点分类和无图增强任务中表现优异。
2023-06-14 cs.AI cs.LG
Scalable Topology-Preserving Graph Coarsening: Concepts and Algorithms
Department of Computer Science, Beijing Institute of Technology(北京理工大学计算机科学系)
针对现有拓扑保持图粗化方法时间复杂度高的问题,提出基于代数拓扑的图强坍缩和图边坍缩概念的可扩展拓扑保持图粗化(STPGC),通过三种新算法消除主导节点和边,严格保持拓扑特征,并证明其保持GNN感受野,加速GNN训练。
2026-05-29 cs.LG
RiskSEA : A Scalable Graph Embedding for Detecting On-chain Fraudulent Activities on the Ethereum Blockchain
Coinbase
本文提出RiskSEA风险评分系统,通过可扩展的node2vec图嵌入与交易行为特征相结合,并引入嵌入传播和动态嵌入两种方法,有效检测以太坊上的欺诈地址。
2024-10-03 cs.AI cs.CR cs.LG
GLINKX: A Scalable Unified Framework For Homophilous and Heterophilous Graphs
Cornell University(康奈尔大学);Twitter Inc.(推特公司)
在图学习中,关于图启发的架构有两个主要的归纳偏见:一方面,高阶交互和消息传递在同构图上工作得很好,并且被GCN和GAT利用。然而,这样的架构不能容易地扩展到大型真实世界的图形。另一方面,使用自我特征和邻接嵌入的浅层(或节点级)模型在异质图中工作得很好。在这项工作中,我们提出了一种新的可扩展的浅方法- GLINKX -可以工作在homophilous和heterophilous图。GLINKX利用(i)新颖的单亲标签传播,(ii)自我/节点特征,(iii)作为位置嵌入的知识图谱嵌入,(iv)节点级训练,以及(v)低维消息传递。形式上,我们证明了新的错误界和证明GLINKX的组件。实验上,我们证明了它的有效性,在几个同性恋和异性恋的数据集。
2022-11-19 cs.LG cs.SI
SMGRL: Scalable Multi-resolution Graph Representation Learning
McMaster University(麦克马斯特大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所);University of Texas at Austin(德克萨斯大学奥斯汀分校);Apple(苹果公司)
针对 GCN 难捕捉长程依赖、过平滑及大图训练成本高的问题,本文提出模型无关的 SMGRL 框架,通过图粗化与自相似性学习并聚合多分辨率嵌入,在低计算成本下提升分类准确率。
2023-08-15 cs.AI cs.LG
Scalable Hypergraph Embedding System
The University of Texas at Austin(得克萨斯大学奥斯汀分校);The University of Tehran(德黑兰大学);Stanford University(斯坦福大学)
利用图嵌入可以解决网络数据中的节点分类、链接预测等问题。然而,很难使用图来捕捉非二元关系,如社区的节点。这种复杂的关系用超图来表示更自然。虽然超图是图的推广,但最先进的图嵌入技术不足以在合理的时间内准确地解决大型超图上的预测和分类任务。在本文中,我们介绍了HyperNetVec,一个新的分层框架,可扩展的无监督超图嵌入。HyperNetVec利用共享内存并行性,能够在几分钟内为具有数百万个节点和超边的真实超图生成高质量的嵌入,而现有的超图系统要么无法处理如此大型的超图,要么可能需要几天时间才能生成嵌入。
2022-01-25 cs.LG cs.SI
Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation
The University of Queensland(昆士兰大学);Peking University(北京大学);National Engineering Laboratory for Big Data Analysis and Applications(国家大数据分析与应用工程实验室);Beijing University of Posts and Telecommunications(北京邮电大学);Griffith University(格里菲斯大学)
针对归纳式场景下可扩展GNN推理的可扩展性问题,提出带节点自适应传播的在线框架及Inception Distillation方法,实现了准确率与效率的双重提升,在大数据集上最高达75倍加速。
2023-12-09 cs.AI cs.LG
Rethinking Node-wise Propagation for Large-scale Graph Learning
Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
针对大规模图学习中现有传播策略忽视节点拓扑差异的问题,提出自适应拓扑感知传播(ATP),一种即插即用的节点级优化策略,可离线执行并提升可扩展GNN的性能与效率。
2024-02-09 cs.AI cs.LG cs.SI
Scalable and Adaptive Spectral Embedding for Attributed Graph Clustering
Nanjing University(南京大学)
针对大规模属性图聚类计算与内存成本高的问题,提出无参数学习的可扩展自适应谱嵌入方法SASE,兼具线性复杂度与优异聚类性能。
2024-08-11 cs.LG stat.ML
Small Graph Is All You Need: DeepStateGNN for Scalable Traffic Forecasting
Kiel University(基尔大学);University of Southern California(南加州大学)
本文提出 DeepStateGNN,通过多相似性准则将传感器聚类为固定数量的 Deep State Nodes,以提升大规模交通网络上预测与重构的可扩展性、训练速度和精度。
2025-02-20 cs.AI cs.LG
Scalable Global Alignment Graph Kernel Using Random Features: From Node Embedding to Graph Embedding
IBM Research(IBM研究院);CMU(卡内基梅隆大学);WUSTL(华盛顿大学圣路易斯分校);GMU(乔治梅森大学);UDEL(特拉华大学);Huawei(华为)
图核被广泛用于度量图之间的相似性。许多现有的图核,它专注于局部模式图,而不是他们的全局属性,遭受显着的结构信息丢失时表示图。最近的一些全局图核,它利用图的几何节点嵌入的对齐,产生最先进的性能。然而,这些图核不一定是正定的。更重要的是,计算图核矩阵在图的数量和大小方面将具有至少二次{时间}复杂度。在本文中,我们提出了一个新的家庭的全球对齐图的内核,它考虑到了全球性的图形,通过使用几何节点嵌入和相关的节点运输的基础上推土机的距离。与现有的全局核相比,该核是正定的。我们的图核是通过定义一个分布在\emph{random graphs},它可以自然地产生随机特征近似。随机特征近似导致我们的图嵌入,这被称为“随机图嵌入”(RGE)。特别是,RGE示出实现\emph{(quasi-)linear scalability}的数量和大小的图形。在9个基准数据集上的实验结果表明,RGE优于或匹配12个最先进的图分类算法。
2019-11-25 cs.LG stat.ML
FeLoG: Scalable and Efficient Distributed Graph Embedding with Feedback Loop Mechanism
Huazhong University of Science and Technology(华中科技大学);Bowling Green State University(伯灵顿州立大学)
提出FeLoG系统,通过反馈耦合采样与训练、活动感知通信和轮次交错流水线,实现分布式图嵌入的加速和资源高效利用。
2026-08-24 cs.DC cs.LG
GRAPES: Learning to Sample Graphs for Scalable Graph Neural Networks
Vrije Universiteit Amsterdam(瓦赫宁海姆大学阿姆斯特丹分校);Amsterdam UMC(阿姆斯特丹医疗中心);University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
提出自适应采样方法GRAPES,通过训练辅助GNN预测节点采样概率以优化下游任务,在保持高准确率的同时实现大规模图的可扩展性。
2025-07-15 cs.AI cs.LG
A Simple and Scalable Graph Neural Network for Large Directed Graphs
Megagon Labs(Megagon实验室);Osaka University(大阪大学)
本文针对大型有向图节点分类,系统基准测试节点表示与边方向感知组合,并提出融合全部组合的简单可扩展 GNN 方法 A2DUG,准确率最高提升 11.29。
2023-12-06 cs.LG cs.SI
DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks
Intel Corporation(英特尔公司)
在图神经网络(GNN)上进行全批训练以学习大型图的结构是一个关键问题,需要扩展到数百个计算节点才可行。由于单个计算节点上的内存容量和带宽要求很大,以及多个节点之间的通信量很大,因此这具有挑战性。在本文中,我们提出了DistGNN,它通过高效的共享内存实现,使用最小顶点切割图分区算法减少通信,以及使用延迟更新算法族避免通信,优化了著名的深度图库(DGL),用于CPU集群上的全批训练。我们在四个常见的GNN基准数据集上的结果:Reddit,OGB-Products,OGB-Papers和Proteins,使用单个CPU插槽和使用128个CPU插槽分别显示高达3.7倍的速度提升,超过在单个CPU插槽上运行的基线DGL实现
2021-04-16 cs.DC cs.LG
gHAWK: Local and Global Structure Encoding for Scalable Training of Graph Neural Networks on Knowledge Graphs
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
gHAWK通过预计算节点的局部和全局结构特征,提升大规模知识图谱上图神经网络训练的效率和准确性。
2026-11-10 cs.DB cs.LG
Cleora: A Simple, Strong and Scalable Graph Embedding Scheme
Synerise(赛纳里斯(Synerise公司));Warsaw University of Technology(华沙理工大学)
图嵌入领域目前主要由对比学习方法主导,该方法需要制定明确的目标函数并对正例和反例进行采样。这会产生概念和计算开销。简单、经典的无监督方法,如多维缩放(MSD)或拉普拉斯特征映射,跳过了繁琐的目标优化的必要性,直接利用数据几何。不幸的是,它们依赖于非常昂贵的操作,如矩阵特征分解,使它们无法扩展到当今数字世界中常见的大型图形。在本文中,我们提出了Cleora:一种算法,它可以在两个世界中获得最佳效果,即无监督和高度可扩展性。我们表明,高质量的嵌入可以产生没有流行的逐步学习框架与示例采样。我们算法的一个直观的学习目标是,一个节点应该与它的邻居相似,而不显式地将断开的节点分开。该目标是通过迭代加权平均的节点邻居的嵌入,然后跨维度归一化。由于平均操作,该算法在嵌入空间中快速前进,通常只需几次迭代即可达到最佳嵌入。Cleora比其他最先进的CPU算法运行速度更快,并在下游任务(链接预测和节点分类)上产生具有竞争力质量的嵌入。我们表明,Cleora学习的数据抽象是类似的对比方法,但在更低的计算成本。我们在MIT许可下开源Cleora,允许在https://github.com/Synerise/cleora下进行商业使用。
2021-02-03 cs.AI cs.LG
A Scalable and Effective Alternative to Graph Transformers
Georgia Institute of Technology(佐治亚理工学院);Meta AI;Amazon Web Services(亚马逊网络服务)
针对图Transformer二次复杂度难以适配大规模图的问题,提出可扩展的GECO方法,结合邻域传播与全局卷积准线性捕获长程依赖,在200万节点图上加速169倍,性能优于基线最高达4.5%。
2024-06-17 cs.LG cs.SI
Scalable Adversarial Attack on Graph Neural Networks with Alternating Direction Method of Multipliers
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
图神经网络(GNN)在分析图结构数据方面具有很高的性能,并已广泛应用于金融和自动驾驶等安全关键领域。然而,只有少数工作探索了GNN对对抗攻击的鲁棒性,并且它们的设计通常受到输入数据集规模的限制(即,集中于仅具有数千个节点的小图)。在这项工作中,我们提出,SAG,第一个可扩展的对抗攻击方法与交替方向乘法器(ADMM)。我们首先将大规模图解耦成几个较小的图分区,并将原问题转化为几个子问题。然后,我们建议使用投影梯度下降来解决这些子问题的图形拓扑结构和节点的功能,导致相当低的内存消耗相比,传统的攻击方法。严格的实验进一步表明,SAG可以显着减少计算和内存开销相比,国家的最先进的方法,使SAG适用于图与大尺寸的节点和边。
2020-09-22 cs.AI cs.LG stat.ML
Scalable Spatiotemporal Graph Neural Networks
UiT the Arctic University of Norway(挪威北极圈大学);NORCE Norwegian Research Centre(挪威研究中心NORCE);Politecnico di Milano(米兰理工大学)
时空时间序列的神经预测推动了几个相关应用领域的研究和工业创新。图神经网络(GNN)通常是预测架构的核心组件。然而,在大多数时空GNN中,计算复杂性与序列长度乘以图中链接数的二次因子成比例,因此阻碍了这些模型在大型图和长时间序列中的应用。虽然在静态图的上下文中已经提出了提高可扩展性的方法,但很少有研究致力于时空情况。为了填补这一空白,我们提出了一个可扩展的架构,利用了时间和空间动态的有效编码。特别是,我们使用随机递归神经网络将输入时间序列的历史嵌入到包含多尺度时间动态的高维状态表示中。这样的表示,然后传播沿空间维度使用不同的权力的图形邻接矩阵生成节点嵌入的特点是丰富的池的时空特征。在被馈送到前馈解码器之前,可以以无监督的方式有效地预先计算得到的节点嵌入,该前馈解码器学习将多尺度时空表示映射到预测。然后,可以通过对节点嵌入进行采样而不破坏任何依赖性,将训练过程并行化,从而实现大型网络的可扩展性。相关数据集上的实证结果表明,我们的方法取得了与最先进的竞争力的结果,同时大大减少了计算负担。
2023-02-20 cs.AI cs.LG
Scalable and Adaptive Graph Neural Networks with Self-Label-Enhanced training
China Telecom Research Institute(中国电信研究院)
在大规模图上直接实现图神经网络(GNNs)是一个困难的问题。除了现有的邻居采样技术,可扩展的方法解耦图卷积和其他可学习的转换到预处理和后分类器允许正常的小批量训练。通过用注意力机制代替SIGN中的冗余连接操作,提出了可扩展自适应图神经网络(SAGN)。SAGN可以自适应地收集不同跳之间的邻域信息。为了进一步提高半监督学习任务的可扩展性模型,提出了结合自训练方法和标签深度传播的自标签增强(Self-Label-Enhance,SLE)框架。我们在基础模型中增加了一个可扩展的节点标签模块。然后,我们迭代的训练模型和增强训练集在几个阶段。为了生成节点标签模块的输入,我们直接应用基于独热编码标签向量的标签传播,而无需内部随机掩蔽。我们发现,经验上的标签泄漏已被有效地缓解后,图卷积。增强训练集中的硬伪标签与真标签一起参与标签传播。在归纳数据集和转换数据集上的实验表明,与其他基于采样和无采样的方法相比,SAGN获得了更好或相当的结果,SLE可以进一步提高性能。
2021-07-01 cs.AI cs.LG
GraphZoom: A multi-level spectral approach for accurate and scalable graph embedding
Cornell University(康奈尔大学);Michigan Technological University(密歇根理工大学);Stevens Institute of Technology(史蒂文斯理工学院)
图嵌入技术已经越来越多地部署在涉及非欧几里德数据学习的许多不同应用中。然而,现有的图嵌入模型要么在训练过程中没有包含节点属性信息,要么受到节点属性噪声的影响,这会影响准确性。此外,由于它们的高计算复杂性和存储器使用,它们中的很少扩展到大型图。在本文中,我们提出了GraphZoom,一个多层次的框架,用于提高无监督图嵌入算法的准确性和可扩展性。GraphZoom首先执行图融合以生成新的图,该新的图有效地编码了原始图的拓扑和节点属性信息。然后,通过合并具有高光谱相似性的节点,将该融合图反复粗化为小得多的图。GraphZoom允许将任何现有的嵌入方法应用于粗化图,然后逐步将粗化级别获得的嵌入细化为越来越精细的图。我们已经在一些流行的图形数据集上评估了我们的方法,用于转换和归纳任务。我们的实验表明,与最先进的无监督嵌入方法相比,GraphZoom可以大幅提高分类精度,并将整个图嵌入过程显著加速高达40.8倍。
2020-02-17 cs.LG stat.ML
From Node Interaction to Hop Interaction: New Effective and Scalable Graph Learning Paradigm
Fudan University(复旦大学)
本文提出跳数交互范式及HopGNN框架,将节点间交互转化为节点内多跳特征交互,并引入自监督多任务学习,在12个基准数据集上验证了其优越性能、可扩展性和效率。
2023-04-13 cs.LG
A Scalable Multiclass Algorithm for Node Classification
我们介绍了一个可扩展的算法,MUCCA,多类节点分类加权图。与以前提出的方法相同的任务,MUCCA工程的时间线性的节点数量。我们的方法是基于一个游戏理论制定的问题,其中的测试标签表示为一个纳什均衡的某个游戏。然而,为了实现可扩展性,我们找到了原始图的生成树上的均衡。对真实数据的实验表明,MUCCA比其竞争对手快得多,同时实现了类似的预测性能。
2011-12-19 cs.GT cs.LG
Graph Random Features for Scalable Gaussian Processes
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Google DeepMind(谷歌DeepMind);Alan Turing Institute(艾伦·图灵研究所)
本研究将图随机特征应用于可扩展高斯过程,将时间复杂度从$O(N^3)$降至$O(N^{3/2})$,支持单芯片上超过$10^6$节点的图贝叶斯优化,并保持性能。
2025-09-25 cs.LG
Mitigating Homophily Disparity in Graph Anomaly Detection: A Scalable and Adaptive Approach
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学);National Engineering Laboratory for Big Data Analysis and Applications(大数据分析与应用国家工程实验室);Peking University(北京大学)
SAGAD通过自适应融合和频率偏好指导损失,有效缓解图异常检测中的同质性差异,实现高效且可扩展的异常检测
2026-03-09 cs.LG
Scalable Deep Generative Relational Models with High-Order Node Dependence
University of New South Wales(新南威尔士大学);Fudan University(复旦大学);University of Technology, Sydney(悉尼科技大学)
我们提出了一个概率框架,用于建模和探索关系数据的潜在结构。给定网络中节点的特征信息,可扩展深度生成关系模型(SDREM)构建了一个深度网络架构,该架构可以近似节点的特征信息和节点的潜在表示之间的潜在非线性映射。我们的贡献是双重的:(1)我们结合高阶邻域结构信息来生成每个节点处的潜在表示,这些表示在网络上平滑变化。(2)由于潜在表示的狄利克雷随机变量结构,我们引入了一种新的数据增强技巧,允许有效的吉布斯抽样。SDREM可用于大型稀疏网络,因为其计算成本随正链路的数量而变化。我们通过在一系列真实数据集上改进链接预测性能来展示其竞争性能。
2019-11-04 cs.LG stat.ML
ReDiSC: A Reparameterized Masked Diffusion Model for Scalable Node Classification with Structured Predictions
Sun Yat-sen University(中山大学);Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团)
针对现有节点分类方法未建模图节点标签相关性的问题,提出ReDiSC重参数化掩码扩散模型,通过变分EM框架学习,在同构/异构图上性能优异且可扩展至大规模数据,优于多数基线方法。
2026-07-30 cs.LG
Node Assigned physics-informed neural networks for thermal-hydraulic system simulation: CVH/FL module
Jeonbuk National University(全北国立大学);Hanyang University(汉阳大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
本研究提出节点分配物理信息神经网络(NA-PINN),通过为每个节点分配独立网络解决热工水力系统程序中的空间方程变化问题,在6水箱模拟中误差远低于传统PINN,为首次成功应用PINN的系统程序实现。
2025-04-23 cs.LG
Digraphwave: Scalable Extraction of Structural Node Embeddings via Diffusion on Directed Graphs
KTH Royal Institute of Technology(瑞典皇家理工学院);SEB Group(SEB集团)
结构节点嵌入,即捕获图中每个节点的局部连通性信息的向量,在数据采掘和机器学习中有许多应用,例如,网络对齐和节点分类、聚类和异常检测。对于有向图的分析,例如,在事务图、通信网络和社交网络中,捕获结构节点嵌入中的方向信息的能力是非常期望的,嵌入提取方法的可扩展性也是如此。然而,大多数现有的方法仅针对无向图设计。因此,我们提出了一个可扩展的算法,用于提取有向图上的结构节点嵌入。的Digraphwave嵌入由压缩的扩散模式签名,这是两次增强,以增加其辨别能力。通过证明扩散初始化节点局部附近所含热量的下限,建立了理论上合理的扩散时间尺度值,并且只剩下两个易于解释的超参数:嵌入维数和邻域分辨率指定符。在我们的实验中,两个嵌入增强,命名为转置和聚合,显示出导致分类自守身份的宏F1得分显着增加,其中Digraphwave优于所有其他结构嵌入基线。此外,Digraphwave在真实图数据集上的性能优于或匹配所有基线的性能,在网络对齐任务中显示出特别大的性能增益,同时还可扩展到具有数百万个节点和边的图形,运行速度比以前的基于扩散模式的方法快30倍,并且内存消耗很小。
2022-07-20 cs.LG cs.SI
GeoGAE: Scalable Graph-Level Autoencoding via Hyperball Cloud Representations
IDEAS Research Institute(IDEAS 研究院)
本文提出GeoGAE,一种基于超球云表示的自编码器,通过Transformer实现图级嵌入与重建,解决现有方法可扩展性问题,并在多领域数据集上验证有效性。
2026-09-29 cs.LG
Node Embedding with Adaptive Similarities for Scalable Learning over Graphs
University of Minnesota(明尼苏达大学)
节点嵌入是在图的节点上提取信息和描述性特征的任务。节点嵌入对于图分析的重要性,以及节点分类、链接预测和社区发现等学习任务,使得人们对该问题的兴趣越来越大,并导致了一些最新的进展。与特征域中的PCA非常相似,节点嵌入是一项固有的\emph{unsupervised}任务;在缺乏用于验证的元数据的情况下,实际方法可能需要标准化并限制可调超参数的使用。最后,节点嵌入方法面临着在面对不断增加的大小的大规模现实世界的图形保持可扩展性。在目前的工作中,我们提出了一个自适应的节点嵌入框架,调整嵌入过程到一个给定的底层图,在一个完全无监督的方式。为了实现这一点,我们采用了一个可调的节点相似性矩阵的概念,分配不同长度的路径上的权重。多重长度相似性的设计确保了所得到的嵌入也继承了可解释的谱特性。所提出的模型进行了仔细研究,解释,并使用随机块模型进行数值评估。此外,提出了一种算法方案,以有效地训练模型参数,在无监督的方式。我们进行了广泛的节点分类,链接预测,和聚类实验,许多现实世界的图形从各个领域,并与国家的最先进的可扩展和无监督的节点嵌入替代品。所提出的方法在许多情况下具有优越的性能,同时还产生关于图的底层结构的可解释的信息。
2019-06-13 cs.LG stat.ML
Scalable Attack on Graph Data by Injecting Vicious Nodes
Xi’an Jiaotong University(西安交通大学);University of Virginia(弗吉尼亚大学);Western Michigan University(西密歇根大学)
最近的研究表明,图卷积网络(GCN)很容易受到精心设计的攻击,这些攻击旨在通过不明显的扰动对图上的特定节点造成错误分类。然而,绝大多数现有的作品不能处理大规模的图形,因为他们的高时间复杂度。此外,现有的工作主要集中在操纵图上的现有节点,而在实践中,攻击者通常没有权限修改现有节点的信息。在本文中,我们开发了一个更具可扩展性的框架,称为近似快速梯度符号法(AFGSM),它考虑了一个更实际的攻击场景,对手只能注入新的恶性节点的图形,而没有控制权的原始图形。在方法上,我们提供了一个近似策略来线性化我们攻击的模型,然后以较低的时间成本推导出近似的封闭解。为了与现有的操纵原始图的攻击方法进行公平的比较,我们通过注入恶意节点来使它们适应新的攻击场景。实验结果表明,该攻击方法可以显著降低GCN的分类精度,并且在不影响攻击性能的前提下,比现有方法速度更快.
2020-04-22 cs.CR cs.LG
GAR: An efficient and scalable Graph-based Activity Regularization for semi-supervised learning
University of South Florida(南佛罗里达大学)
在本文中,我们提出了一种新的基于图的方法半监督学习的问题,它认为是一个自适应的邻接的例子在整个训练的无监督部分。使用神经网络模型的预测推断的例子的相邻性,该模型首先由监督预训练初始化。然后,根据一种新的无监督目标更新这些预测,该目标正则化另一个邻接,现在连接输出节点。从网络的预测中推断出的输出节点的邻接规则化,创建了一个更容易的优化问题,并最终使网络的预测变成最佳嵌入。最终,所提出的框架提供了一个有效的和可扩展的基于图的解决方案,这是自然的深层神经网络的操作机制。我们的研究结果表明,与最先进的生成方法的半监督学习的一个机器人到训练,低成本的框架相当的性能。
2020-08-05 cs.LG
SNoRe: Scalable Unsupervised Learning of Symbolic Node Representations
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院);University of Nova Gorica(新戈里察大学)
从复杂的现实网络中学习是一个活跃的研究领域,最近在学习信息丰富,低维网络节点表示方面取得了进展。然而,最先进的方法不一定是可解释的,因此不完全适用于生物医学或用户分析任务中的敏感环境,其中明确的偏差检测是高度相关的。所提出的SNoRe(Symbolic Node Representations)算法能够基于作为特征的邻域散列的相似性来学习单个网络节点的符号化的、人类可理解的表示。SNoRe的可解释的功能是适合于直接解释的个人预测,我们证明了它与广泛使用的实例解释工具SHAP耦合,以获得诺模图表示的相关性的个人功能为一个给定的分类。据我们所知,这是在结构节点嵌入设置中的第一个这样的尝试之一。在对11个真实数据集的实验评估中,SNoRe被证明与强基线(如变分图自动编码器,node2vec和LINE)具有竞争力。SNoRe的矢量化实现可扩展到大型网络,使其适用于当代网络学习和分析任务。
2020-11-18 cs.AI cs.LG
ffstruc2vec: Flat, Flexible and Scalable Learning of Node Representations from Structural Identities
Universidad Católica San Antonio de Murcia (UCAM)(穆尔西亚圣安东尼奥天主教大学);FOM University of Applied Sciences in Economics and Management(FOM经济与管理应用科学大学)
本文提出可扩展深度学习框架ffstruc2vec,通过扁平高效架构灵活捕获结构模式并保留节点结构标识,在多项任务上表现卓越,同时提供结构可解释性。
2025-04-01 cs.AI cs.LG cs.SI
node2vec: Scalable Feature Learning for Networks
Stanford University(斯坦福大学)
在网络中的节点和边上的预测任务需要在学习算法使用的工程特征方面进行仔细的努力。最近在更广泛的表示学习领域的研究已经在通过学习特征本身来自动预测方面取得了重大进展。然而,目前的特征学习方法没有足够的表达能力来捕捉网络中观察到的连接模式的多样性。在这里,我们提出了node2vec,一个算法框架,用于学习网络中节点的连续特征表示。在node2vec中,我们学习节点到低维特征空间的映射,该映射最大化保留节点的网络邻域的可能性。我们定义了一个灵活的概念,一个节点的网络邻域,并设计了一个有偏的随机游走过程,有效地探索不同的社区。我们的算法概括了以前的工作,这是基于刚性的概念网络的邻居,我们认为,增加的灵活性,探索社区是学习更丰富的表示的关键。我们证明了node2vec在多标签分类和链接预测在几个现实世界的网络从不同的领域现有的国家的最先进的技术的功效。总之,我们的工作代表了一种新的方法,可以有效地学习复杂网络中最先进的任务无关表示。
2016-07-03 cs.LG cs.SI stat.ML
A Degeneracy Framework for Scalable Graph Autoencoders
Deezer Research & Development(Deezer研发部);École Polytechnique(巴黎综合理工学院)
在本文中,我们提出了一个通用的框架,规模图自编码器(AE)和图变分自编码器(VAE)。该框架利用图退化概念,仅从节点的密集子集而不是使用整个图来训练模型。再加上一个简单而有效的传播机制,我们的方法显着提高了可扩展性和训练速度,同时保持性能。我们评估和讨论我们的方法对现有的图形AE和VAE的几个变种,提供这些模型的第一个应用程序的大型图形高达数百万的节点和边缘。我们取得了经验上有竞争力的结果w.r.t.几种流行的可扩展节点嵌入方法,强调了进一步研究更可扩展的图AE和VAE的相关性。
2022-06-21 cs.LG cs.SI stat.ML
Efficient and Scalable Graph Generation through Iterative Local Expansion
ETH Zürich(苏黎世联邦理工学院);Prescient Design(Prescient Design公司);SDSC, ETH Zürich(苏黎世联邦理工学院SDSC);DISCO, ETH Zürich(苏黎世联邦理工学院DISCO)
针对现有图生成方法难处理大图、难以同时捕捉全局与局部结构的问题,提出基于迭代局部扩展的去噪扩散图生成方法,次二次运行时间,在基准数据集达SOTA,可扩展至5000节点且泛化性更强。
2024-05-14 cs.LG cs.SI
Scalable Decentralized Learning with Teleportation
Kyoto University(京都大学);OIST(冲绳科学技术大学院大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
提出TELEPORTATION方法,通过仅激活部分节点并在小拓扑上进行参数交换,完全消除分散式SGD在大规模节点下的收敛速度下降,并提升训练稳定性与准确率。
2025-02-28 cs.LG math.OC stat.ML
Guard: Scalable Straggler Detection and Node Health Management for Large-Scale Training
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country(匿名机构,匿名城市,匿名地区,匿名国家)
本文提出Guard系统,通过在线性能监控和离线节点扫描机制,有效检测训练中的延迟节点并确保节点健康,从而提升大规模训练的效率和稳定性。
2026-05-18 cs.AI cs.DC cs.LG
Scalable Influence Estimation in Continuous-Time Diffusion Networks
Georgia Institute of Technology(佐治亚理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
如果一条信息从一个媒体网站发布,它能在一个月内传播到一百万个网页吗?这个影响估计问题是非常具有挑战性的,因为这两个问题的时间敏感性和可扩展性的问题需要同时解决。本文提出了一种连续时间扩散网络影响估计的随机算法。我们的算法可以估计的|V|节点和|E|边的网络中的每个节点的影响$\varepsilon$的精度使用$n=O(1/\varepsilon^2)$随机化和对数因子O(nPDMATHABMN +n |V|)的计算。当作为一个贪婪的影响力最大化算法的子程序,我们提出的方法是保证找到一组节点的影响至少(1-1/e)OPT-2 $\varepsilon$,其中OPT是最佳值。在合成数据和真实数据上的实验表明,该方法可以很容易地扩展到数百万节点的网络,同时在估计影响的准确性和最大化影响时所选节点的质量方面比以前的最新技术有显着提高。
2013-11-14 cs.LG cs.SI
Toward Scalable Graph Unlearning: A Node Influence Maximization based Approach
本文提出基于节点影响力最大化的可扩展图遗忘方法,通过解耦影响传播和细粒度影响函数识别受影响节点,并构建微调框架平衡遗忘与推理,在14个数据集上实现最优性能。
2025-01-21 cs.AI cs.DB cs.LG
Neighborhood-aware Scalable Temporal Network Representation Learning
University of Massachusetts(马萨诸塞大学);Purdue University(普渡大学)
时态网络已被广泛用于模拟现实世界的复杂系统,如金融系统和电子商务系统。在时间网络中,一组节点的联合邻域通常提供关键的结构信息,用于预测它们是否可以在某个时间进行交互。然而,最近的时间网络的表示学习方法往往无法提取这些信息或依赖于结构特征的在线构造,这是耗时的。为了解决这个问题,这项工作提出了邻居感知的时间网络模型(NAT)。对于网络中的每个节点,NAT放弃了常用的基于单个向量的表示,而采用一种新的字典类型的邻域表示。这样的字典表示将相邻节点的下采样集合记录为键,并且允许快速构造多个节点的联合邻域的结构特征。我们还设计了一个专用的数据结构称为N-缓存,以支持并行访问和更新的GPU上的这些字典表示。NAT在七个真实世界的大规模时间网络上进行了评估。NAT不仅在传导性和归纳性链接预测准确性方面分别比所有前沿基线平均高出1.2%和4.2%,而且还保持可扩展性,相对于采用联合结构特征的基线实现了4.1- 76.7倍的速度提升,相对于不采用这些特征的基线实现了1.6- 4.0倍的速度提升。代码链接:https://github.com/Graph-COM/Neighborhood-Aware-Temporal-Network。
2022-11-30 cs.LG cs.SI
Scalable Graph Self-Supervised Learning
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对图自监督学习中损失计算复杂度随节点数和维度增加的问题,提出基于节点或维度采样的方法降低协方差矩阵计算成本,实验证明该方法在保持甚至提升下游性能的同时有效减少了计算开销。
2024-02-14 cs.AI cs.LG
Scalable Generative Models for Graphs with Graph Attention Mechanism
The University of Tokyo(东京大学);RIKEN(理化学研究所)
图是普遍存在的真实世界的数据结构,并且近似图上的分布并从中导出新样本的生成模型具有显著的重要性。在图生成任务中的已知挑战中,大型图和数据集的可扩展性处理是实际应用中最重要的挑战之一。最近,越来越多的图生成模型已经被提出,并表现出令人印象深刻的结果。然而,由于生成过程复杂或训练并行化困难,可扩展性仍然是一个未解决的问题。在本文中,我们首先从三个不同的角度定义可扩展性:节点数量,数据和节点/边缘标签。然后,我们提出了一种生成模型,它可以在所有三种情况下扩展,特别是在训练中。我们的目标是实现可扩展性,采用一种新的图形注意力机制,制定一个简单和一般的方式的可能性图。此外,我们应用两种技术来减少计算复杂性。此外,我们构建了一个统一的和非特定领域的评价指标,在节点/边标记图生成任务相结合的图形内核和最大均值离散。我们在合成图和真实世界图上的实验证明了我们模型的可扩展性和与基线方法相比的优越性能。
2019-10-03 cs.LG stat.ML
Fast and Featureless Node Representation Learning with Partial Pairwise Supervision
Indian Institute of Science Education and Research(印度科学教育与研究学院)
该研究提出了一种快速且统一的框架,用于在部分可用的成对节点标签和无可用节点特征的图中进行可扩展的节点表示学习,通过结合社区感知的结构信号和带符号的成对约束,实现了高效的优化方案。
2026-05-19 cs.AI cs.LG