An Efficient and Scalable Graph Condensation with Structure-Preserving
Southwest University(西南大学)
提出一种解耦节点压缩与图结构生成的保结构图压缩方法(SP-ESGC),通过热核特征传播和混合聚类策略实现高效图压缩,并利用预训练边预测器生成可迁移的结构模式,在保持高计算效率的同时提升跨GNN架构的泛化能力。
2026-05-29 cs.LG
Scalable Varied-Density Clustering via Graph Propagation
针对高维数据变密度聚类问题,提出将其作为邻域图中标签传播过程的新视角,引入密度感知邻域传播算法并结合随机投影方法构建近似邻域图,在降计算成本同时保持聚类质量,处理大数据集效率高且准确率有竞争力。
2026-07-13 cs.LG
DHIL-GT: Scalable Graph Transformer with Decoupled Hierarchy Labeling
Nanyang Technological University(南洋理工大学)
针对图Transformer的图规模计算瓶颈,提出DHIL-GT:通过解耦图计算至独立预计算阶段,利用图标记层次提取信息,实现线性复杂度,在大规模基准上计算效率更优,且在同/异质性图上效果顶级。
2024-12-06 cs.LG
GARNET: Reduced-Rank Topology Learning for Robust and Scalable Graph Neural Networks
Cornell University(康奈尔大学);UC Berkeley(加州大学伯克利分校);Stevens Institute of Technology(史蒂文斯理工学院)
图神经网络(GNN)已经越来越多地部署在涉及对非欧几里德数据进行学习的各种应用中。然而,最近的研究表明,GNN容易受到图对抗攻击的攻击。虽然有几种防御方法可以通过消除对抗性组件来提高GNN的鲁棒性,但它们也可能损害有助于GNN训练的底层干净图结构。此外,由于其高计算复杂性和存储器使用,这些防御模型中很少有可以扩展到大型图的。在本文中,我们提出了GARNET,一种可扩展的谱方法,以提高GNN模型的对抗鲁棒性。GARNET首先利用加权谱嵌入来构建一个基础图,它不仅能抵抗对抗攻击,而且还包含用于GNN训练的关键(干净)图结构。接下来,GARNET通过基于概率图模型修剪额外的非关键边来进一步细化基础图。GARNET已经在各种数据集上进行了评估,包括具有数百万节点的大型图。我们广泛的实验结果表明,GARNET在最先进的GNN(防御)模型上分别实现了高达13.27%和14.7倍的对抗准确性提高和运行时加速。
2023-01-08 cs.LG
Scalable Generative Modeling of Weighted Graphs
Department of Biostatistics University of California, Los Angeles(生物统计学系 美国加利福尼亚大学洛杉矶分校);Department of Computer Science Johns Hopkins University(计算机科学系 约翰霍普金斯大学)
针对现有深度生成模型难以适配加权图联合分布学习的问题,提出BiGG模型的扩展自回归模型BiGG-E,可高效学习加权图联合分布,实验验证其性能与可扩展性更优。
2025-07-30 cs.LG
Scalable and Certifiable Graph Unlearning: Overcoming the Approximation Error Barrier
Renmin University of China(中国人民大学)
针对现有可认证图遗忘方法在大规模图上因需重新计算图传播而不实用的问题,提出ScaleGUN,集成近似图传播技术实现十亿边图的可认证遗忘,在三种场景下提供保证且效率远超重新训练/传播。
2025-02-18 cs.LG
Scalable Graph Neural Networks via Bidirectional Propagation
Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团);Beijing Institute of Technology(北京理工大学)
图神经网络是一个新兴的非欧数据学习领域。最近,人们对设计可扩展到大型图的GNN越来越感兴趣。大多数现有的方法使用“图采样”或“逐层采样”技术来减少训练时间。然而,这些方法在应用于具有数十亿条边的图时仍然存在性能下降和可扩展性问题。本文介绍了GBP,一个可扩展的GNN,利用本地化的双向传播过程中的特征向量和训练/测试节点。理论分析表明,GBP算法是第一个在预计算和训练阶段都达到次线性时间复杂度的算法。一项广泛的实证研究表明,GBP实现了最先进的性能与显着更少的训练/测试时间。最值得注意的是,GBP可以在一台机器上在不到半小时的时间内在具有超过6000万个节点和18亿条边的图形上提供卓越的性能。GBP的代码可以在https://github.com/chennnM/GBP上找到。
2021-09-02 cs.LG
GAR: An efficient and scalable Graph-based Activity Regularization for semi-supervised learning
University of South Florida(南佛罗里达大学)
在本文中,我们提出了一种新的基于图的方法半监督学习的问题,它认为是一个自适应的邻接的例子在整个训练的无监督部分。使用神经网络模型的预测推断的例子的相邻性,该模型首先由监督预训练初始化。然后,根据一种新的无监督目标更新这些预测,该目标正则化另一个邻接,现在连接输出节点。从网络的预测中推断出的输出节点的邻接规则化,创建了一个更容易的优化问题,并最终使网络的预测变成最佳嵌入。最终,所提出的框架提供了一个有效的和可扩展的基于图的解决方案,这是自然的深层神经网络的操作机制。我们的研究结果表明,与最先进的生成方法的半监督学习的一个机器人到训练,低成本的框架相当的性能。
2020-08-05 cs.LG
Towards Robust and Scalable Density-based Clustering via Graph Propagation
School of Computer Science, University of Auckland, New Zealand(奥克兰大学计算机科学学院);Department of Mathematics and Computer Science, University of Southern Denmark, Denmark(丹麦南部大学数学与计算机科学系)
本文提出CluProp框架,将高维空间中的变密度聚类转化为邻域图上的标签传播过程,通过高效的传播机制缓解传统密度方法的参数敏感性,实现大规模数据的高效准确聚类。
2026-08-27 cs.LG
Scalable Feature Learning on Huge Knowledge Graphs for Downstream Machine Learning
Inria Saclay(法国国家科学研究中心萨克雷实验室)
SEPAL通过在小实体核心上优化嵌入并利用消息传递传播至整个图,实现大规模知识图谱的高质量嵌入,提升下游任务性能。
2026-03-17 cs.LG
GIST: Gauge-Invariant Spectral Transformers for Scalable Graph Neural Operators
IBM Research(IBM研究院)
GIST通过限制注意力至高效近似频谱嵌入的成对内积,解决了不规则网格上神经算子的规范不变性与计算复杂性之间的矛盾,证明其在端到端O(N)复杂度下能估计精确的规范不变图核,并在多个基准上取得最佳性能。
2026-05-12 cs.LG
Scalable Label Propagation for Multi-relational Learning on the Tensor Product of Graphs
University of Minnesota Twin Cities(明尼苏达大学双城分校)
知识图谱上的多关系学习推断跨图的实体之间的高阶关系。该学习任务可以通过在知识图谱的张量积上的标签传播来解决,以学习作为张量的高阶关系。在本文中,我们推广了广泛使用的标签传播模型的归一化张量积图,并提出了一个优化配方和可扩展的基于低秩张量的标签传播算法(LowrankTLP)推断多关系的两个学习任务,超链接预测和多图对齐。优化配方最大限度地减少噪音张量估计误差的上界多图对齐,通过学习与归一化张量积图的频谱中的特征对的子集。我们还提供了一个数据依赖的二进制超链接预测的转导Rademacher绑定。我们加速LowrankTLP与并行张量计算,使标签传播的张量积的100个图,每个大小为1000在不到半小时的模拟。LowrankTLP还被应用于预测出版记录中的作者-论文-地点超链接,多达26个CT扫描图像的分割区域的对齐以及多个物种的蛋白质-蛋白质相互作用网络的对齐。实验表明,LowrankTLP确实很好地近似原始标签传播,具有更好的可扩展性和准确性。
2020-05-18 cs.LG
Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning
University of Oxford(牛津大学);Massachusetts Institute of Technology(麻省理工学院);McMaster University(麦马斯特大学);Vector Institute(向量研究所);AITHYRA
本文提出SMPNNs,通过替代注意力机制,实现高效的大规模图表示学习,克服传统GNN的过平滑问题,提升性能。
2026-03-09 cs.LG
A Few Moments Please: Scalable Graphon Learning via Moment Matching
Rice University(里士大学);King Juan Carlos University(胡安卡洛斯国王大学)
本文提出一种基于矩匹配和隐式神经表示的可扩展 graphon 估计方法,避免潜在变量建模与 Gromov-Wasserstein 优化,并引入 MomentMixup 数据增强,在多个基准上取得领先性能。
2025-06-04 cs.LG
Scalable Implicit Graphon Learning
Rice University(Rice大学)
提出SIGL方法,结合隐式神经表示和图神经网络,实现任意分辨率下的连续图论学习,解决现有方法的固定分辨率和扩展性问题,并在合成与真实图上表现更优。
2025-05-21 cs.LG stat.ML
GeoGAE: Scalable Graph-Level Autoencoding via Hyperball Cloud Representations
IDEAS Research Institute(IDEAS 研究院)
本文提出GeoGAE,一种基于超球云表示的自编码器,通过Transformer实现图级嵌入与重建,解决现有方法可扩展性问题,并在多领域数据集上验证有效性。
2026-09-29 cs.LG
Graph Traversal with Tensor Functionals: A Meta-Algorithm for Scalable Learning
USC Information Sciences Institute(南加州大学信息科学研究所);Google Research(谷歌研究院);University of Southern California(南加州大学)
图表示学习(GRL)方法已经影响了从化学到社会科学的各个领域。然而,它们的算法实现是专门针对特定用例的,例如消息传递方法与节点嵌入方法的运行方式不同。尽管它们有明显的差异,但所有这些方法都利用了图结构,因此,它们的学习可以用随机图遍历来近似。我们提出了通过张量泛函(GTTF),一个统一的元算法框架,用于简化各种图算法的实现,并实现透明和有效的扩展到大型图的图形。GTTF建立在一个数据结构(存储为稀疏张量)和一个随机图遍历算法(使用张量操作描述)之上。该算法是一个接受两个函数的泛函,并且可以通过简单地改变这两个函数来专门化以获得各种GRL模型和目标。我们展示了广泛的方法,我们的算法以无偏的方式学习,并且在预期中,近似学习,就像直接运行专门的实现一样。有了这些功能,我们可以扩展其他不可扩展的方法,以在大型图形数据集上设置最先进的方法,同时比现有的GRL库更高效-每个方法专门化只需几行代码。GTTF和它的各种GRL实现在:https://github.com/isi-usc-edu/gttf。
2021-02-08 cs.LG
Inferential SIR-GN: Scalable Graph Representation Learning
Boise State University(博伊西州立大学)
图表示学习方法为网络中的节点生成数值向量表示,从而使它们能够在标准机器学习模型中使用。这些方法旨在保留关系信息,使得图中相似的节点在表示空间中彼此接近。相似性主要基于两个概念之一:连接性或结构作用。在节点结构作用重要的任务中,基于连接性的方法表现出较差的性能。最近的工作已经开始关注学习方法对数百万到数十亿节点和边的大规模图的可扩展性。许多无监督的节点表示学习算法不能扩展到大型图,并且不能为不可见的节点生成节点表示。在这项工作中,我们提出了推理SIR-GN,这是一种在随机图上预先训练的模型,然后快速计算节点表示,包括非常大的网络。我们证明了该模型能够捕获节点的结构角色信息,并在节点和图分类任务中表现出优异的性能,在看不见的网络。此外,我们观察到推理SIR-GN的可扩展性与目前最快的大规模图形方法相当。
2021-11-08 cs.LG
Graph Neural Networks for Scalable and Transferable Node Centrality Approximation
Center for Nonlinear and Complex Systems, Università degli Studi dell’Insubria(非线性与复杂系统中心,因苏布利亚大学);Data Science Institute, Hasselt University(哈塞尔特大学数据科学研究所)
研究用图神经网络近似介数和接近中心性,将其作为节点排序问题,以精确中心性值监督,用肯德尔tau秩相关评估。通过混合分布训练等方法,在不同图拓扑上取得较好结果,证明其可提高结构转移能力,同时指出接近中心性对拓扑敏感这一挑战。
2026-07-13 cs.LG
Input Snapshots Fusion for Scalable Discrete-Time Dynamic Graph Neural Networks
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);Pennsylvania State University(宾夕法尼亚州立大学);Dalian University of Technology(大连理工大学)
针对离散时间动态图中时间边探索不足及现有方法计算成本高的问题,提出SFDyG模型,融合霍克斯过程与图神经网络,实现高效训练并在8个数据集的未来链路预测任务中持续优于现有方法。
2025-02-12 cs.LG
GNN Transformation Framework for Improving Efficiency and Scalability
Osaka University(大阪大学);Eindhoven University of Technology(埃因霍温理工大学)
我们提出了一个框架,可以自动将不可扩展的GNN转换为基于预计算的GNN,这些GNN对于大规模图来说是高效和可扩展的。我们的框架的优点是双重的; 1)它通过将局部特征聚合与图卷积中的权重学习分离,将各种不可扩展的GNN转换为大规模图,2)通过将其边缘分解为小的不相交和平衡集,有效地在GPU上执行大规模图的预计算。通过对大规模图的大量实验,我们证明了变换后的GNN在训练时间上比现有的GNN运行得更快,同时达到了与最先进的GNN竞争的准确性。因此,我们的转换框架为可扩展GNN的未来研究提供了简单有效的基线。
2022-07-25 cs.LG
One-step Bipartite Graph Cut: A Normalized Formulation and Its Application to Scalable Subspace Clustering
South China Agricultural University(华南农业大学);Sun Yat-sen University(中山大学)
本文提出一步归一化二分图切割准则(OBCut),等价于迹最大化,并集成自适应锚点学习与二分图学习,实现线性时间可扩展子空间聚类,实验验证其有效性与可扩展性。
2023-05-12 cs.LG
Scalable Consistency Training for Graph Neural Networks via Self-Ensemble Self-Distillation
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Amazon Web Services(亚马逊网络服务)
一致性训练是改进计算机视觉和自然语言处理中深度学习模型的一种流行方法。图神经网络(GNNs)在各种网络科学学习任务中取得了显着的性能,但迄今为止还没有研究大规模图问题的一致性训练的效果。GNN通过小批量训练和子样本节点邻居来处理高度节点,从而扩展到大型图。我们利用邻居的子采样中固有的随机性,并引入一种新的一致性训练方法来提高精度。对于目标节点,我们生成不同的邻域扩展,并将预测平均值的知识提取到GNN。我们的方法近似于可能的邻域样本的预期预测,实际上只需要几个样本。我们证明了我们的训练方法在几种不同的设置中优于标准GNN训练,并且在标签率较低时获得最大收益。
2021-10-12 cs.LG
GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings
TU Dortmund University(多特蒙德工业大学);Stanford University(斯坦福大学)
我们提出了GNNAutoScale(GAS),这是一个将任意消息传递GNN扩展到大型图形的框架。GAS通过利用来自先前训练迭代的历史嵌入来修剪计算图的整个子树,从而导致相对于输入节点大小的恒定GPU内存消耗,而不会丢弃任何数据。虽然现有的解决方案由于边缘的子采样或不可训练的传播而削弱了消息传递的表达能力,但我们的方法可以证明能够保持原始GNN的表达能力。我们通过提供历史嵌入的近似误差界来实现这一点,并展示了如何在实践中收紧它们。从经验上讲,我们证明了我们的框架PyGAS的实际实现,PyGAS是PyTorch Geometric的一个易于使用的扩展,既快速又节省内存,学习表达性节点表示,非常类似于它们的非缩放对应物的性能,并在大规模图上达到最先进的性能。
2021-06-10 cs.LG
Topology Based Scalable Graph Kernels
Yahoo Research(雅虎研究院);Intel Inc.(英特尔公司)
我们提出了一个新的图核的图分类和比较使用奥利维尔里奇曲率。图中边的Ricci曲率描述了局部邻域的连通性。密集连接邻域中的边具有正曲率,而用作局部桥的边具有负曲率。我们使用的边缘曲率分布,形成一个图形的核心,然后使用比较和聚类图。曲率核纯粹使用图形拓扑,因此在节点属性不可用时用于设置。
2019-07-15 cs.LG stat.ML
Scalable and Adaptive Graph Neural Networks with Self-Label-Enhanced training
China Telecom Research Institute(中国电信研究院)
在大规模图上直接实现图神经网络(GNNs)是一个困难的问题。除了现有的邻居采样技术,可扩展的方法解耦图卷积和其他可学习的转换到预处理和后分类器允许正常的小批量训练。通过用注意力机制代替SIGN中的冗余连接操作,提出了可扩展自适应图神经网络(SAGN)。SAGN可以自适应地收集不同跳之间的邻域信息。为了进一步提高半监督学习任务的可扩展性模型,提出了结合自训练方法和标签深度传播的自标签增强(Self-Label-Enhance,SLE)框架。我们在基础模型中增加了一个可扩展的节点标签模块。然后,我们迭代的训练模型和增强训练集在几个阶段。为了生成节点标签模块的输入,我们直接应用基于独热编码标签向量的标签传播,而无需内部随机掩蔽。我们发现,经验上的标签泄漏已被有效地缓解后,图卷积。增强训练集中的硬伪标签与真标签一起参与标签传播。在归纳数据集和转换数据集上的实验表明,与其他基于采样和无采样的方法相比,SAGN获得了更好或相当的结果,SLE可以进一步提高性能。
2021-07-01 cs.AI cs.LG
GLINKX: A Scalable Unified Framework For Homophilous and Heterophilous Graphs
Cornell University(康奈尔大学);Twitter Inc.(推特公司)
在图学习中,关于图启发的架构有两个主要的归纳偏见:一方面,高阶交互和消息传递在同构图上工作得很好,并且被GCN和GAT利用。然而,这样的架构不能容易地扩展到大型真实世界的图形。另一方面,使用自我特征和邻接嵌入的浅层(或节点级)模型在异质图中工作得很好。在这项工作中,我们提出了一种新的可扩展的浅方法- GLINKX -可以工作在homophilous和heterophilous图。GLINKX利用(i)新颖的单亲标签传播,(ii)自我/节点特征,(iii)作为位置嵌入的知识图谱嵌入,(iv)节点级训练,以及(v)低维消息传递。形式上,我们证明了新的错误界和证明GLINKX的组件。实验上,我们证明了它的有效性,在几个同性恋和异性恋的数据集。
2022-11-19 cs.LG cs.SI
A Degeneracy Framework for Scalable Graph Autoencoders
Deezer Research & Development(Deezer研发部);École Polytechnique(巴黎综合理工学院)
在本文中,我们提出了一个通用的框架,规模图自编码器(AE)和图变分自编码器(VAE)。该框架利用图退化概念,仅从节点的密集子集而不是使用整个图来训练模型。再加上一个简单而有效的传播机制,我们的方法显着提高了可扩展性和训练速度,同时保持性能。我们评估和讨论我们的方法对现有的图形AE和VAE的几个变种,提供这些模型的第一个应用程序的大型图形高达数百万的节点和边缘。我们取得了经验上有竞争力的结果w.r.t.几种流行的可扩展节点嵌入方法,强调了进一步研究更可扩展的图AE和VAE的相关性。
2022-06-21 cs.LG cs.SI stat.ML
GRAND+: Scalable Graph Random Neural Networks
Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学);Tencent Inc.(腾讯公司);Bosch Center for Artificial Intelligence(博世人工智能中心)
图神经网络(GNN)已被广泛用于图的半监督学习。最近的一项研究表明,图随机神经网络(GRAND)模型可以产生最先进的性能为这个问题。然而,它是困难的GRAND处理大规模的图形,因为它的有效性依赖于计算昂贵的数据增强程序。在这项工作中,我们提出了一个可扩展的和高性能的GNN框架GRAND+的半监督图学习。为了解决上述问题,我们在GRAND+中开发了一种广义前推(GFPush)算法来预先计算一般传播矩阵,并使用它以小批量方式执行图数据增强。我们表明,GFPush的低时间和空间复杂度使GRAND+能够有效地扩展到大型图形。此外,我们引入了一个置信度感知的一致性损失的模型优化的GRAND+,促进GRAND+的推广优势。我们在七个不同大小的公共数据集上进行了广泛的实验。结果表明,GRAND+ 1)能够扩展到大型图形,并且比现有的可扩展GNN花费更少的运行时间,2)可以在所有数据集上提供比全批和可扩展GNN一致的准确性改进。
2022-03-12 cs.LG cs.SI
Flatten Graphs as Sequences: Transformers are Scalable Graph Generators
Max Planck Institute of Biochemistry(马克斯·普朗克生物化学研究所)
AutoGraph利用Transformer模型将图扁平化为序列,实现高效可扩展的图生成,生成速度比扩散模型快100倍,并展示出良好的迁移能力。
2025-12-08 cs.LG stat.ML
SHAKE-GNN: Scalable Hierarchical Kirchhoff-Forest Graph Neural Network
LIX, Ecole Polytechnique, IP Paris(LIX,巴黎高等理工学院,IP巴黎)
针对大规模图级GNN扩展难题,提出基于基尔霍夫森林分层结构的SHAKE-GNN框架,引入数据驱动的权衡参数选择策略,在多图分类基准上实现性能与可扩展性的平衡。
2026-09-01 cs.LG stat.ML
CoRe-GD: A Hierarchical Framework for Scalable Graph Visualization with GNNs
ETH Zurich(苏黎世联邦理工学院)
提出基于GNN的层次化图绘制框架CoRe-GD,通过粗化层次结构与位置重连技术,在次二次运行时间下学习优化Stress,实现可扩展的最先进性能。
2024-02-09 cs.CG cs.LG
Scalable and Adaptive Spectral Embedding for Attributed Graph Clustering
Nanjing University(南京大学)
针对大规模属性图聚类计算与内存成本高的问题,提出无参数学习的可扩展自适应谱嵌入方法SASE,兼具线性复杂度与优异聚类性能。
2024-08-11 cs.LG stat.ML
Scalable Generative Models for Graphs with Graph Attention Mechanism
The University of Tokyo(东京大学);RIKEN(理化学研究所)
图是普遍存在的真实世界的数据结构,并且近似图上的分布并从中导出新样本的生成模型具有显著的重要性。在图生成任务中的已知挑战中,大型图和数据集的可扩展性处理是实际应用中最重要的挑战之一。最近,越来越多的图生成模型已经被提出,并表现出令人印象深刻的结果。然而,由于生成过程复杂或训练并行化困难,可扩展性仍然是一个未解决的问题。在本文中,我们首先从三个不同的角度定义可扩展性:节点数量,数据和节点/边缘标签。然后,我们提出了一种生成模型,它可以在所有三种情况下扩展,特别是在训练中。我们的目标是实现可扩展性,采用一种新的图形注意力机制,制定一个简单和一般的方式的可能性图。此外,我们应用两种技术来减少计算复杂性。此外,我们构建了一个统一的和非特定领域的评价指标,在节点/边标记图生成任务相结合的图形内核和最大均值离散。我们在合成图和真实世界图上的实验证明了我们模型的可扩展性和与基线方法相比的优越性能。
2019-10-03 cs.LG stat.ML
EmbedPart: Embedding-Driven Graph Partitioning for Scalable Graph Neural Network Training
Technical University of Munich (TUM)(慕尼黑工业大学);University of Bayreuth(拜罗伊特大学);University of Toronto(多伦多大学)
本文提出EmbedPart,通过利用节点嵌入实现高效的图分区,提升大规模图神经网络训练的可扩展性与质量。
2026-04-01 cs.DB cs.DC cs.LG
Fast and Scalable Complex Network Descriptor Using PageRank and Persistent Homology
Michigan State University(密歇根州立大学);University of South Florida(南佛罗里达大学)
图的PageRank是定义在图的节点集上的标量函数,它编码图的节点中心性信息。在本文中,我们使用PageRank函数和持久同源性来获得一个可扩展的图描述符,并利用它来比较图之间的相似性。对于给定的图$G(V,E)$,我们的描述符可以在$O(|E|α(|V|))$中计算,其中$α$是逆阿克曼函数,这使得它在大规模图上是可扩展和可计算的。我们证明了我们的方法的有效性,利用它对多个形状网格数据集。
2020-09-12 cs.CG cs.CV cs.LG
A Scalable and Effective Alternative to Graph Transformers
Georgia Institute of Technology(佐治亚理工学院);Meta AI;Amazon Web Services(亚马逊网络服务)
针对图Transformer二次复杂度难以适配大规模图的问题,提出可扩展的GECO方法,结合邻域传播与全局卷积准线性捕获长程依赖,在200万节点图上加速169倍,性能优于基线最高达4.5%。
2024-06-17 cs.LG cs.SI
FastGAE: Scalable Graph Autoencoders with Stochastic Subgraph Decoding
Deezer Research(Deezer研究院);LIX, École Polytechnique(巴黎综合理工学院LIX实验室)
图自编码器(AE)和变分自编码器(VAE)是功能强大的节点嵌入方法,但存在可扩展性问题。在本文中,我们介绍了FastGAE,一个通用的框架,以规模图AE和VAE的大型图与数百万的节点和边缘。我们的策略,基于一个有效的随机子图解码方案,显着加快了图AE和VAE的训练,同时保持甚至提高性能。我们证明了FastGAE在各种现实世界的图形上的有效性,远远优于现有的几种方法来缩放图形AE和VAE。
2021-04-13 cs.LG cs.SI stat.ML
PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm
Peking University(北京大学);Tencent Inc.(腾讯公司)
图神经网络(GNN)在各种基于图的任务中已经实现了最先进的性能。然而,由于主流GNN是基于神经消息传递机制设计的,因此它们不能很好地扩展到数据大小和消息传递步骤。尽管人们对可扩展GNN的设计产生了浓厚的兴趣,但目前的研究集中在特定的GNN设计上,而不是一般的设计空间,限制了潜在的可扩展GNN模型的发现。本文提出了PasCa,这是一种新的范式和系统,它提供了一种原则性的方法来系统地构建和探索可扩展GNN的设计空间,而不是研究单个设计。通过解构消息传递机制,PasCa提出了一种新的可扩展图神经架构范式(Scalable Graph Neural Architecture Paradigm,SGAP),并给出了一个包含15万种不同设计的通用架构设计空间。遵循该范例,我们实现了一个自动搜索引擎,该引擎可以自动搜索性能良好且可扩展的GNN架构,以平衡多个标准之间的权衡(例如,准确性和效率)。对10个基准数据集的实证研究表明,代表性实例(即,PasCa-V1,V2和V3)在竞争基线之间实现了一致的性能。具体来说,PasCa-V3在我们的大型行业数据集上的预测准确性方面优于最先进的GNN方法JK-Net 0.4\%,同时实现了高达$28.3\times$的训练加速。
2022-03-01 cs.AI cs.LG
PyG 2.0: Scalable Learning on Real World Graphs
Nvidia;Max Planck Institute for Informatics(马克斯·普朗克研究所);Stanford University(斯坦福大学)
论文介绍 PyG 2.0 的全面升级,通过异构图、时序图、可扩展存储及多项优化增强大规模真实图学习能力,并总结其在关系深度学习与大语言建模中的应用。
2025-07-27 cs.AI cs.LG
From block-Toeplitz matrices to differential equations on graphs: towards a general theory for scalable masked Transformers
Google Brain Robotics(谷歌大脑机器人部门);Columbia University(哥伦比亚大学);University of Cambridge(剑桥大学);University of Oxford(牛津大学);Google Research(谷歌研究院);The Alan Turing Institute(艾伦·图灵研究所);Google(谷歌)
在本文中,据我们所知,我们提供了第一种全面的方法,用于以可扩展的方式将各种掩蔽机制整合到Transformers架构中。我们表明,最近的结果线性因果注意(Choromanski等人,2021)和对数线性RPE-注意(Luo等人,2021)是这一一般机制的特例。然而,通过铸造的问题作为一个拓扑(基于图形)调制的未掩蔽的注意,我们得到了一些结果未知的,包括有效的d维RPE掩蔽和图形内核掩蔽。我们利用许多数学技术,从频谱分析,通过动态规划和随机游走的新算法解决图上的马尔可夫过程。我们提供了相应的实证评价。
2023-03-28 cs.AI cs.LG
Scalable Graph Neural Network Training: The Case for Sampling
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
图神经网络(GNN)是一种新的且越来越受欢迎的深度神经网络架构家族,用于在图上执行学习。由于图形数据的不规则性,有效地训练它们是具有挑战性的。当扩展到超过单个设备容量的大型图形时,问题变得更具挑战性。分布式DNN训练的标准方法,例如数据和模型并行,并不直接适用于GNN。相反,文献中出现了两种不同的方法:全图和基于样本的训练。在本文中,我们回顾和比较这两种方法。这两种方法的可扩展性都具有挑战性,但我们认为研究应该集中在基于样本的训练上,因为它是一种更有前途的方法。最后,我们回顾了最近的系统支持基于样本的训练。
2021-05-05 cs.DC cs.LG
SIGN: Scalable Inception Graph Neural Networks
Twitter(推特);Imperial College London(帝国理工学院)
图表示学习最近已被应用于从计算机图形和化学到高能物理和社交媒体的广泛问题。图神经网络的流行在学术界和工业界都引发了人们对开发扩展到非常大的图(如Facebook或Twitter社交网络)的方法的兴趣。在大多数这些方法中,通过在训练时保留节点邻居或子图的子集的采样策略来减轻计算成本。在本文中,我们提出了一种新的、高效的、可扩展的图深度学习架构,该架构通过使用不同大小的图卷积滤波器来回避对图采样的需求,这些滤波器可以进行高效的预计算,从而实现极快的训练和推理。我们的架构允许使用不同的局部图运算符(例如,图案诱导的邻接矩阵或个性化页面排名扩散矩阵),以最好地适应手头的任务。我们对各种开放基准进行了广泛的实验评估,并表明我们的方法与其他最先进的架构相比具有竞争力,同时需要一小部分的训练和推理时间。此外,我们在ogbn-papers 100 M上获得了最先进的结果,ogbn-papers 100 M是最大的公共图数据集,拥有超过1.1亿个节点和15亿条边。
2020-11-03 cs.LG stat.ML
STLGT: A Scalable Trace-Based Linear Graph Transformer for Tail Latency Prediction in Microservices
East China Normal University(华东师范大学)
STLGT通过构建跨度图编码跟踪信息,实现多步p95尾部延迟预测,相比PERT-GNN提升8.5%的MAPE精度,并在N=32时达到12倍的CPU推理速度。
2026-04-29 cs.AI cs.LG
DiPhon: Diffusion on Graphons for Scalable Graph Generation
King Juan Carlos University(金 Juan 卡洛斯大学);EPFL(苏黎世联邦理工学院);University of Pennsylvania(宾夕法尼亚大学)
研究如何将扩散模型扩展到大型图,通过图子提出DiPhon框架,制定连续扩散过程并推导逆时间过程,证明其与连续图子过程的矩匹配,实验展示了在小图训练后生成大图的可扩展性。
2026-07-09 cs.AI cs.LG stat.ML
Scalable Attack on Graph Data by Injecting Vicious Nodes
Xi’an Jiaotong University(西安交通大学);University of Virginia(弗吉尼亚大学);Western Michigan University(西密歇根大学)
最近的研究表明,图卷积网络(GCN)很容易受到精心设计的攻击,这些攻击旨在通过不明显的扰动对图上的特定节点造成错误分类。然而,绝大多数现有的作品不能处理大规模的图形,因为他们的高时间复杂度。此外,现有的工作主要集中在操纵图上的现有节点,而在实践中,攻击者通常没有权限修改现有节点的信息。在本文中,我们开发了一个更具可扩展性的框架,称为近似快速梯度符号法(AFGSM),它考虑了一个更实际的攻击场景,对手只能注入新的恶性节点的图形,而没有控制权的原始图形。在方法上,我们提供了一个近似策略来线性化我们攻击的模型,然后以较低的时间成本推导出近似的封闭解。为了与现有的操纵原始图的攻击方法进行公平的比较,我们通过注入恶意节点来使它们适应新的攻击场景。实验结果表明,该攻击方法可以显著降低GCN的分类精度,并且在不影响攻击性能的前提下,比现有方法速度更快.
2020-04-22 cs.CR cs.LG
Digraphwave: Scalable Extraction of Structural Node Embeddings via Diffusion on Directed Graphs
KTH Royal Institute of Technology(瑞典皇家理工学院);SEB Group(SEB集团)
结构节点嵌入,即捕获图中每个节点的局部连通性信息的向量,在数据采掘和机器学习中有许多应用,例如,网络对齐和节点分类、聚类和异常检测。对于有向图的分析,例如,在事务图、通信网络和社交网络中,捕获结构节点嵌入中的方向信息的能力是非常期望的,嵌入提取方法的可扩展性也是如此。然而,大多数现有的方法仅针对无向图设计。因此,我们提出了一个可扩展的算法,用于提取有向图上的结构节点嵌入。的Digraphwave嵌入由压缩的扩散模式签名,这是两次增强,以增加其辨别能力。通过证明扩散初始化节点局部附近所含热量的下限,建立了理论上合理的扩散时间尺度值,并且只剩下两个易于解释的超参数:嵌入维数和邻域分辨率指定符。在我们的实验中,两个嵌入增强,命名为转置和聚合,显示出导致分类自守身份的宏F1得分显着增加,其中Digraphwave优于所有其他结构嵌入基线。此外,Digraphwave在真实图数据集上的性能优于或匹配所有基线的性能,在网络对齐任务中显示出特别大的性能增益,同时还可扩展到具有数百万个节点和边的图形,运行速度比以前的基于扩散模式的方法快30倍,并且内存消耗很小。
2022-07-20 cs.LG cs.SI
FairGP: A Scalable and Fair Graph Transformer Using Graph Partitioning
Dalian University of Technology(大连理工大学);University of South Australia(南澳大学);The University of New South Wales(新南威尔士大学);The University of Melbourne(墨尔本大学);RMIT University(皇家墨尔本理工大学)
FairGP通过图划分减少高阶节点敏感特征对低阶节点的偏差影响,并优化注意力机制,在降低计算复杂度的同时提升图Transformer的公平性,在多个数据集上优于现有方法。
2025-01-02 cs.LG stat.ML
Scalable Adversarial Attack on Graph Neural Networks with Alternating Direction Method of Multipliers
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
图神经网络(GNN)在分析图结构数据方面具有很高的性能,并已广泛应用于金融和自动驾驶等安全关键领域。然而,只有少数工作探索了GNN对对抗攻击的鲁棒性,并且它们的设计通常受到输入数据集规模的限制(即,集中于仅具有数千个节点的小图)。在这项工作中,我们提出,SAG,第一个可扩展的对抗攻击方法与交替方向乘法器(ADMM)。我们首先将大规模图解耦成几个较小的图分区,并将原问题转化为几个子问题。然后,我们建议使用投影梯度下降来解决这些子问题的图形拓扑结构和节点的功能,导致相当低的内存消耗相比,传统的攻击方法。严格的实验进一步表明,SAG可以显着减少计算和内存开销相比,国家的最先进的方法,使SAG适用于图与大尺寸的节点和边。
2020-09-22 cs.AI cs.LG stat.ML
Scalable Deep Graph Clustering with Random-walk based Self-supervised Learning
The Ohio State University(俄亥俄州立大学);Kent State University(肯特州立大学);Augusta University(奥古斯塔大学)
本文提出可扩展深度图聚类算法RwSL,将拉普拉斯平滑与广义PageRank关联,利用随机游走图滤波器和自监督小批量训练,在百万级节点和18亿条边的图上实现高效聚类。
2023-01-18 cs.LG cs.SI
Scalable Graph Algorithms
最近,处理大型复杂网络引起了人们极大的兴趣。复杂图在从技术网络到人类大脑等生物系统的广泛应用中非常有用。有时,这些网络由数十亿个实体组成,这些实体产生了新兴的属性和结构。分析这些结构有助于我们获得关于周围环境的新见解。随着大型网络变得丰富,需要可扩展的算法来执行分析。一个突出的例子是PageRank算法,它是诸如Google的网络搜索引擎用来对显示给用户的网页进行排名的措施之一。为了找到这些模式,必须获取和处理大量数据。设计和评估处理这些数据集的可扩展图算法是理解底层系统的关键任务。这篇论文总结了我在过去六年中与许多合著者开发的广泛的可扩展图算法。一般来说,这项研究是基于四个支柱:多级算法,实用的内核化,并行化和模因算法是高度互连。进行的实验表明,我们的算法找到更好的解决方案和/或比以前的国家的最先进的可扩展性。
2019-11-30 cs.DC cs.DS cs.LG
a-TMFG: Scalable Triangulated Maximally Filtered Graphs via Approximate Nearest Neighbors
a-TMFG通过近似最近邻方法,解决了大规模数据下构建三角形最大过滤图的内存和计算复杂度问题,提供了一种高效构建人工图的方法。
2026-03-10 cs.LG stat.ML
Towards Scalable Spectral Clustering via Spectrum-Preserving Sparsification
Michigan Technological University(密歇根理工大学)
最近邻图拉普拉斯矩阵的特征分解是谱聚类算法的主要计算瓶颈。在这项工作中,我们引入了一个高度可扩展的,频谱保持的图稀疏化算法,使建立超稀疏NN(u-NN)图与保证保留的原始图频谱,如原始图拉普拉斯算子的前几个特征向量。我们的方法可以立即导致可扩展的谱聚类的大型数据网,而不牺牲解决方案的质量。所提出的方法从构建低拉伸生成树(LSST)从原始图,然后通过利用频谱离树嵌入方案迭代地恢复小部分的“频谱关键”离树边缘到LSST。为了确定合适数量的离树边缘恢复到LSST,提出了一种特征值稳定性检查方案,该方案能够鲁棒地保留稀疏图内的前几个拉普拉斯特征向量。此外,提出了一种增量图致密化方案,用于识别原始NN图中缺失但仍能在谱聚类任务中发挥重要作用的额外边缘。我们的实验结果表明,各种知名的数据集,该方法可以显着降低NN图的复杂性,导致显着的加速谱聚类。
2018-10-11 cs.AI cs.LG stat.ML
SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization
Nanyang Technological University(南洋理工大学);East China Normal University(华东师范大学);Google Research(谷歌研究院)
针对大规模图上 GNN 消息传递开销过高的问题,本文提出 SCARA,通过面向特征的计算选择与复用实现次线性复杂度,并在 Papers100M 上实现最高 100 倍加速。
2022-07-19 cs.DB cs.LG