Multi-GPU Graph Analytics
我们提出了一个单节点,多GPU可编程图形处理库,允许程序员轻松地扩展单GPU图形算法,以实现可扩展的性能与数十亿条边的大型图形。直接使用单GPU实现,我们的设计只需要程序员指定一些算法相关的问题,隐藏大多数多GPU相关的实现细节。我们分析了在不同的图形原语和数据集的背景下,可扩展性的理论和实践限制。我们描述了几个优化,如方向优化遍历,和一个刚刚足够的内存分配方案,更好的性能和更小的内存消耗。与以前的工作相比,我们在操作和数据集上实现了一流的性能,包括随着系统中GPU数量的增加,在大多数原语上具有出色的强可扩展性和弱可扩展性。
2017-03-01 cs.DC
HongTu: Scalable Full-Graph GNN Training on Multiple GPUs (via communication-optimized CPU data offloading)
提出可扩展全图GNN训练系统HongTu,通过CPU数据卸载、去重通信和成本模型引导的图重组技术,在多GPU上支持十亿规模图训练,显著降低通信开销并实现大幅加速。
2023-11-25 cs.DC
Scaling Up Large-Scale Graph Processing for GPU-Accelerated Heterogeneous Systems
GPU加速的异构体系结构不仅具有支持大规模图形处理的大内存容量,还为高性能计算提供了巨大的潜力。然而,由于有限的CPU-GPU传输效率,很少有现有的异构系统可以利用这两种硬件优势来实现图形处理的扩展性能。在本文中,我们研究了异构图系统的传输效率问题。我们的关键见解是,异构图形处理的传输效率可以大大提高,通过简单地迭代每个子图多次(而不是只有一次在以前的工作)在GPU,进一步使异构图形系统的效率,通过提高GPU的处理能力,以获得改进。因此,我们提出Seraph,与{ \em流水线}子图迭代和{ \em预测}顶点更新的亮点,以合作最大限度地提高图形处理的GPU的有效计算。我们对各种大型图形数据集的评估表明,Seraph的性能优于最先进的异构图形系统5.42倍(与Graphie相比)和3.05倍(与Garaph相比)。此外,Seraph可以在Graphie上显着扩展,因为它具有更多的计算能力来进行大规模图形处理。
2018-06-03 cs.DC
Efficient and Scalable Graph Pattern Mining on GPUs
图模式挖掘(GPM)通过搜索感兴趣的小模式来提取大型图中的高阶信息。GPM应用在计算上是昂贵的,因此对于GPU加速是有吸引力的。不幸的是,由于GPM算法和并行硬件的复杂性,手动优化GPM应用程序遭受编程复杂性,而现有的GPM框架牺牲效率的可编程性。此外,在GPU上几乎没有做过将GPM计算扩展到大问题大小的工作。我们描述了G2Miner,第一个在多个GPU上运行的图形模式挖掘(GPM)框架。G2Miner使用模式感知、输入感知和架构感知的搜索策略来在GPU上实现高效率。为了简化编程,它提供了一个代码生成器,可以自动生成模式感知的CUDA代码。G2Miner灵活地支持广度优先搜索(BFS)和深度优先搜索(DFS),以最大限度地提高内存利用率并为GPU生成足够的并行度。为了提高G2Miner的可扩展性,我们使用自定义的调度策略来平衡多个GPU之间的工作。在V100 GPU上的实验表明,G2Miner在两个最先进的单GPU系统Pangolin和PBE上分别实现了5.4倍和7.2倍的平均加速比。在多GPU设置中,G2Miner实现了从1到8个GPU的线性加速,适用于各种模式和数据图。我们还表明,在V100 GPU上的G2Miner比在56核CPU机器上的最先进的基于CPU的系统Peregrine和GraphZero快48.3倍和15.2倍。
2022-07-27 cs.DC
PathWeaver: A High-Throughput Multi-GPU System for Graph-Based Approximate Nearest Neighbor Search
PathWeaver提出流水线路径扩展、ghost staging和方向引导选择三种技术,构建高吞吐量多GPU框架,在大规模数据集上显著加速基于图的近似最近邻搜索,实现最高5.30倍加速。
2025-07-23 cs.DC
An Adaptive Load Balancer For Graph Analytical Applications on GPUs
图形分析工作负载的GPU线程之间的负载平衡是困难的,因为图形应用程序的不规则性和顶点度的高度可变性,特别是在幂律图中。我们描述了一种新的负载均衡计划来解决这个问题。我们的计划是在IrGL编译器中实现的,允许用户从高级顺序程序中为GPU生成高效的负载平衡代码。我们评估了多达16个分布式GPU上的几个图形分析应用程序,使用IrGL来编译代码,并使用Gluon基板进行GPU间通信。我们的实验表明,该计划可以实现平均速度提高2.2倍的输入,遭受严重的负载不平衡问题时,以前的国家的最先进的负载平衡计划使用。
2020-02-27 cs.DC
Matrix Factorization on GPUs with Memory Optimization and Approximate Computing
Citadel(城堡投资);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
矩阵分解(MF)发现潜在的功能,从观察,这在协同过滤,数据压缩,特征提取,词嵌入等领域表现出了很大的希望,虽然已经提出了许多特定问题的优化技术,交替最小二乘(ALS)仍然流行,由于其普遍适用性,如易于处理正未标记的输入,快速收敛和并行化能力。当前的MF实现要么针对单个机器进行了优化,要么需要大型计算机集群,但仍然不够。这是因为单个机器为大规模数据提供有限的计算能力,而多台机器则遭受网络通信瓶颈。为了解决上述挑战,在图形处理单元(GPU)上加速ALS是一个有前途的方向。我们提出了新的方法,提高MF效率,通过内存优化和近似计算。前者利用GPU的存储层次结构来提高数据的重用性,后者在不影响学习算法收敛性的前提下减少了不必要的计算。在大规模数据集上进行的大量实验表明,我们的解决方案不仅比竞争对手的CPU解决方案性能好得多,而且与最先进的GPU解决方案相比,性能提高了2 - 4倍。我们的实现是开源和公开的。
2018-08-11 cs.DC cs.IR cs.LG
HPAC-Offload: Accelerating HPC Applications with Portable Approximate Computing on the GPU
本文提出HPAC-Offload,一种基于pragma的可移植近似计算编程模型,在GPU上扩展OpenMP应用,实现显著加速(LULESH最高1.64倍)且质量损失极小(0.1%)。
2023-08-31 cs.DC
BANG: Billion-Scale Approximate Nearest Neighbor Search using a Single GPU
本文提出BANG,首个在单个GPU上处理无法完全放入显存的十亿级图数据集的ANNS技术,通过压缩数据集与主机内存图索引协同访问,在三个十亿级数据集上实现召回率0.9时吞吐量比竞争方法高50至400倍。
2025-04-12 cs.DC
A Fine-Grained Hybrid CPU-GPU Algorithm for Betweenness Centrality Computations
介数中心性(BC)是大规模图的一个重要的图分析应用。虽然有许多努力在多核CPU和众核GPU上并行化介数中心算法,在这项工作中,我们提出了一种新的细粒度CPU-GPU混合算法,将图形划分为CPU和GPU分区,并同时在CPU和GPU资源上执行BC计算,同时具有非常少量的CPU-GPU通信。在我们的混合BC算法的正向阶段利用BC问题中固有的多源属性。我们还执行了一个新的混合和异步向后阶段,执行最小的CPU-GPU同步。使用大量具有不同特征的图进行的评估表明,我们的混合方法比基于流行的批量同步范式(BSP)方法的现有混合算法在性能上提高了80%,并且CPU-GPU通信减少了80 - 90%。
2020-08-13 cs.DC
Exploring the Limits of GPUs With Parallel Graph Algorithms
在本文中,我们探讨了通用并行计算的图形处理器(GPU)的限制,通过研究问题,需要高度不规则的数据访问模式:列表排名和连接组件的并行图算法。这样的图形问题代表了合并GPU上的并行存储器访问的最坏情况,这对于良好的GPU性能至关重要。我们的实验研究表明,PRAM算法是一个很好的起点,开发高效的并行GPU方法,但需要非平凡的修改,以确保良好的GPU性能。我们提出了一套指导方针,帮助算法设计人员适应PRAM图算法的并行GPU计算。我们指出,GPU的并行图形算法的研究是更广泛的兴趣,一般的离散和组合问题,因为这些问题中的许多需要类似的不规则的数据访问模式。
2010-02-24 cs.CC cs.DC cs.DS
Efficient and High-quality Sparse Graph Coloring on the GPU
图着色已被广泛用于并行计算中的并发发现。为了加速大规模数据集的图着色,已经提出了利用现代GPU的并行算法。现有的GPU实现要么具有有限的性能,要么产生不令人满意的着色质量(分配的颜色太多)。我们提出了一个工作效率高的并行图着色的GPU上实现具有良好的着色质量。我们的方法采用了投机贪婪计划,内在地产生更好的质量比找到最大独立集的方法。为了在GPU上实现高性能,我们改进了算法,以利用有效的运算符和减少冲突。我们还结合了常见的优化技术,以进一步提高性能。我们的方法进行评估与合成和现实世界的稀疏图形的NVIDIA GPU。实验结果表明,我们提出的实现实现平均4.1倍(高达8.9倍)的串行实现的加速比。它的性能也优于现有的GPU实现从NVIDIA ® SPARSE库(2.2倍的平均加速),同时产生更好的着色质量比SPARSE。
2020-01-17 cs.DC
GPU accelerated maximum cardinality matching algorithms for bipartite graphs
我们设计,实现和评估基于GPU的算法的最大基数匹配问题的二分图。这样的算法在计算机科学、科学计算、生物信息学和其它领域中具有多种应用。据我们所知,我们是第一个研究,重点是GPU实现的最大基数匹配算法。我们比较了所提出的算法与串行和多核实现从文献上的一个大的现实生活中的问题,在大多数情况下,我们的GPU加速算法之一被证明是比顺序和多核实现更快。
2013-03-06 cs.DC
A GPU-based parallel algorithm for enumerating all chordless cycles in graphs
在有限无向简单图中,一个无弦圈是一个诱导子图,它是一个圈。我们提出了一个GPU并行算法来枚举所有的弦圈这样的图。该算法,在OpenCL中实现,是基于以前的顺序算法开发的当前作者为同一问题。它使用了一个更紧凑的数据结构的解决方案表示,这是适合的GPU的内存大小的限制。此外,对于具有足够大量的无弦周期的图,该算法在执行时间上有了显着的改进,优于顺序方法。
2015-06-25 cs.DC
Efficient Graph Embedding at Scale: Optimizing CPU-GPU-SSD Integration
Alibaba Group, Hangzhou, China(阿里巴巴集团);Zhejiang University, Hangzhou, China(浙江大学)
Legend通过优化CPU-GPU-SSD集成,实现大规模图嵌入的高效处理,提升性能并降低资源消耗
2026-03-12 cs.DC
Parallel Graph Coloring Algorithms for Distributed GPU Environments
图着色通常用于并行化在分布式和多GPU环境中运行的科学计算;它标识可以并行更新的独立数据集。在单个GPU或分布式存储器中存在许多用于图着色的算法,但据我们所知,混合MPI+GPU算法直到本工作才被探索。基于Gebremedhin等人的分布式着色算法和Deveci等人的共享内存着色算法,提出了几种MPI+GPU着色方法。节点上的并行着色使用KokkosKernels中的实现,它为多核CPU和GPU提供并行化。我们进一步扩展我们的方法来计算距离-2和部分距离-2着色,给出了第一个已知的分布式,多GPU算法,这些问题。此外,我们提出了一种新的启发式,以减少通信的分布式图着色的包围圈。我们的实验表明,我们的方法有效地运行在输入太大,适合在一个单一的GPU和扩展到图形与76.7十亿边运行在128个GPU。
2021-06-30 cs.DC cs.DM
Bit-GraphBLAS: Bit-Level Optimizations of Matrix-Centric Graph Processing on GPU
在像邻接矩阵这样的一般图数据结构中,当边是齐次的时,两个节点的连通性可以使用单个比特来充分表示。然而,现有的以矩阵为中心的图处理框架还没有充分利用这种洞察力。这项工作填补了空白,系统地探索图的位级表示和相应的优化图操作。提出了一种位块压缩稀疏行(B2SR)的两级表示方法,并利用现代GPU的固有特性对B2SR上的图操作进行了一系列优化。在NVIDIA Pascal和Volta GPU上的评估表明,优化分别为基本的GraphBLAS内核SpMV和SpGEMM带来了$40\times$和$6555\times$,使基于GraphBLAS的BFS加速到$433\times$,SSSP,PR和CC加速到$35\times$,TC加速到$52\times$。
2022-02-22 cs.DC
Counting Triangles in Large Graphs on GPU
聚类系数和传递率是网络分析中经常使用的概念,这就需要快速实用的算法来计算大型图中的三角形。以前的研究集中在顺序算法、MapReduce并行化和快速近似。本文提出了一种基于CUDA GPU的并行三角形计数算法。我们描述了实现高性能所需的实施细节,并提出了我们的方法的实验评估。我们的算法在CPU实现上实现了8到15倍的加速,并且能够在Nvidia Tesla C2050 GPU上在不到10秒的时间内在8900万个边图中找到38亿个三角形。
2016-08-06 cs.DC
BigGraphVis: Leveraging Streaming Algorithms and GPU Acceleration for Visualizing Big Graphs
图形布局是探索海量图形的关键。大量的节点和边不允许网络分析软件产生有意义的普适网络的可视化。长计算时间,内存和显示限制包围软件的能力,探索大量的图形。介绍了一种新的并行图形可视化方法BigGraphVis,该方法利用GPU的并行处理和社区发现算法来实现图形社区的可视化。将并行流媒体社区发现算法与概率数据结构相结合,充分利用图形处理器(GPU)的并行处理。据我们所知,这是第一次尝试将流算法的强大功能与GPU计算相结合,以应对大图形可视化挑战。我们的方法提取社区信息,在几个通过的边缘列表,并使用Forcephilas2算法呈现社区结构。我们对大量真实图形的实验表明,通过可视化图形社区可以实现大约70%到95%的加速,并且可视化似乎是有意义和可靠的。我们检查的最大的图包含超过300万个节点和3400万条边,布局计算大约花了五分钟。我们还观察到,BigGraphVis着色策略可以成功地应用于生成信息量更大的Forcebrahas2布局。
2021-08-01 cs.CG cs.DC cs.GR
HyTGraph: GPU-Accelerated Graph Processing with Hybrid Transfer Management
使用内存有限的GPU处理大型图形需要解决主机-GPU数据传输问题,这是一个关键的性能瓶颈。现有的GPU加速图处理框架通过在运行时管理活动子图传输来减少数据传输。一些框架采用基于带有过滤或压缩的显式内存复制的显式传输管理方法。相比之下,其他采用隐式传输管理方法的基础上按需访问零拷贝或统一的内存。经过深入的分析,我们发现,随着活动顶点的演变,这两种方法的性能在不同的工作负载。由于大量冗余数据传输、高CPU压缩开销或低带宽利用率,采用单一方法通常会导致性能欠佳。在这项工作中,我们提出了一种混合传输管理方法,在运行时采取这两种方法的优点,在每次迭代的目标是实现最短的执行时间。基于混合方法,我们提出了HytGraph,一个GPU加速的图形处理框架,它是由一组有效的任务调度优化,以提高性能。我们在真实世界和合成图上的实验结果表明,HyTGraph比现有的GPU加速图形处理系统(包括Grus,Subway和EMOGI)实现了高达10.27倍的加速。
2022-08-31 cs.DC
HC-SpMM: Accelerating Sparse Matrix-Matrix Multiplication for Graphs with Hybrid GPU Cores
针对真实图不规则性导致GPU上SpMM效率低的问题,提出HC-SpMM算法,利用混合GPU核心并结合数据划分、核心选择等优化,还集成至GNN流水线,在14个数据集上实现优于现有方案的加速效果。
2024-12-12 cs.DC
C-SAW: A Framework for Graph Sampling and Random Walk on GPUs
许多应用需要学习、挖掘、分析和可视化大规模图形。这些图通常太大而不能使用传统的图处理技术有效地处理。许多应用程序都需要分析,转换,可视化和学习大规模的图形。这些图通常太大而不能使用传统的图处理技术有效地处理。最近的文献表明,图采样/随机游走可能是一个有效的解决方案。在本文中,我们提出,据我们所知,第一个基于GPU的框架图采样/随机游走。首先,我们的框架提供了一个通用的API,允许用户轻松实现各种采样和随机游走算法。其次,将该框架卸载到GPU上,我们引入了以扭曲为中心的并行选择,并对碰撞迁移进行了两次优化。第三,为了支持超过GPU内存容量的图形,我们为内存不足采样引入了有效的数据传输优化,例如工作负载感知调度和批量多实例采样。总的来说,我们的框架不断超越最先进的项目。首先,我们的框架提供了一个通用的API,允许用户轻松实现各种采样和随机游走算法。其次,卸载这个框架上的GPU,我们引入了以扭曲为中心的并行选择,和两个新的优化碰撞迁移。第三,为了支持超过GPU内存容量的图形,我们为内存不足和多GPU采样引入了有效的数据传输优化,例如工作负载感知调度和批量多实例采样。总的来说,我们的框架除了支持广泛的采样和随机游走算法的能力外,还不断超越最先进的项目。
2020-09-18 cs.DC
Exploring the Design Space of Static and Incremental Graph Connectivity Algorithms on GPUs
连通分支和生成森林是图的基本算法,因为它们在图聚类和图像分割等重要应用中有着广泛的应用。GPU是图形算法的理想平台,因为其高峰值性能和内存带宽。虽然文献中存在几种GPU连接算法,但许多设计选择尚未探索。在本文中,我们将探讨GPU连接算法中的各种设计选择,包括采样、链接和树压缩,适用于静态和增量设置。我们的各种设计选择导致超过300个新的GPU实现的连接,其中许多优于国家的最先进的。我们提出了一个实验评估,并表明,我们实现了2.47倍加速比现有的静态算法的平均加速。在增量设置中,我们实现了高达每秒482.3亿条边的吞吐量。与72核机器上最先进的CPU实现相比,我们使用Tesla V100 GPU实现了8.26- 14.51倍的静态连接加速和1.85- 13.36倍的增量连接加速。
2020-08-26 cs.DC
GRNND: A GPU-Parallel Relative NN-Descent Algorithm for Efficient Approximate Nearest Neighbor Graph Construction
Nanjing University(南京大学);Institute of Science Tokyo(东京科学大学)
针对RNN-Descent图构建随数据量和维度增长耗时剧增的问题,提出首个GPU并行的GRNND算法,通过无序邻居传播等策略优化,实现远超现有CPU、GPU方法的加速效果。
2025-10-03 cs.DC
GrAND: GPU-based Dynamic Graph Indexes for Approximate Nearest Neighbour Search
IIT Hyderabad(印度理工学院海德拉巴分校)
GrAND是针对Vamana和CAGRA的GPU原生动态更新算法集合,通过优化图修复、并行邻接表更新和按需反向图构建,在7个数据集的5种流工作负载中,相比SVFusion和FreshDiskANN-GPU大幅提升了ANNS的整体吞吐量。
2026-08-24 cs.DB cs.DC
Distributed Hybrid CPU and GPU training for Graph Neural Networks on Billion-Scale Graphs
图神经网络(GNN)在从图结构数据中学习方面取得了巨大的成功。它们被广泛用于各种应用,例如推荐、欺诈检测和搜索。在这些域中,图通常是大的和异构的,包含数百万或数十亿个不同类型的顶点和边。为了应对这一挑战,我们开发了DistDGLv 2,这是一个扩展DistDGL的系统,用于使用分布式混合CPU/GPU训练,以小批量方式在大规模异构图上训练GNN。DistDGLv 2将图形数据放置在分布式CPU内存中,并在GPU中执行小批量计算。为了便于使用,DistDGLv 2采用了与Deep Graph Library(DGL)的小批量训练和异构图形API兼容的API,这使得分布式训练几乎不需要修改代码。为了确保模型的准确性,DistDGLv 2遵循同步训练方法,并允许形成小批量的自我网络包含非局部顶点。为了保证数据的局部性和负载均衡,DistDGLv 2使用一种带最小边割和多个均衡约束的多级划分算法对异构图进行划分. DistDGLv 2部署了一个异步小批量生成管道,使计算和数据访问异步,以充分利用所有硬件(CPU,GPU,网络,PCIe)。这种组合使DistDGLv 2能够训练高质量的模型,同时实现高并行效率和内存可扩展性。我们在各种GNN工作负载上演示了DistDGLv 2。我们的结果表明,DistDGLv 2实现了2- 3倍的速度比DistDGL和18倍的速度比欧拉。在具有64个GPU的…
2022-03-13 cs.DC
SIMD-X: Programming and Processing of Graph Algorithms on GPUs
凭借高计算能力和内存带宽,图形处理单元(GPU)有助于加速数据密集型分析,尤其是当此类应用程序适合单指令多数据(SIMD)模型时。然而,由于内存访问和控制流的不规则性,诸如宽度优先搜索和k核之类的图形算法通常无法充分利用GPU。为了应对这一挑战,我们开发了SIMD-X,用于在GPU上编程和处理单指令多个复杂数据。具体来说,新的主动计算合并(ACC)模型不仅为程序员提供了编程的便利,更重要的是为系统级优化创造了机会。为此,SIMD-X利用即时任务管理,在运行时过滤掉不活动的顶点,并智能地将各种任务映射到不同数量的GPU核心,以追求工作负载平衡。此外,SIMD-X利用基于推拉的内核融合,在新的无死锁全局屏障的帮助下,将大量的计算内核减少到非常少。使用SIMD-X,用户可以在数十行代码中编写图形算法,同时实现3?,六个?二十四?三个?Gunrock,Galois,CuSha和Ligra的加速。
2018-12-10 cs.DC
Efficient Accelerated Graph Edit Distance Computation on GPU
Jülich Supercomputing Center Forschungszentrum Jülich(于利希超级计算中心 于利希研究中心)
本文提出FAST-GED框架,通过GPU友好的算法设计和高效硬件映射,实现大规模图编辑距离计算的高精度与高速度,验证了其在真实和合成数据集上的优越性能。
2026-03-25 cs.DC
FastGraph: PCA-Subspace Binned k-Nearest-Neighbor Graph Construction for GPU Geometric Deep Learning
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Zurich(苏黎世大学)
本文提出GPU优化的k近邻算法FastGraph,通过支持梯度流的GPU驻留分箱分区方案与自适应调优,在低维场景下相比主流库实现20-40倍加速且无额外内存开销,可有效提升GNN工作流性能。
2026-10-26 cs.DC
QGTC: Accelerating Quantized Graph Neural Networks via GPU Tensor Core
近年来,量化图神经网络(QGNN)由于其高鲁棒性和低计算和存储开销而吸引了大量的研究和工业界的关注。不幸的是,QGNN的性能提升从未在现代GPU平台上实现。为此,我们提出了第一个基于Tensor Core(TC)的计算框架QGTC,以支持GPU上QGNN的任何位宽计算。提出了一种基于低比特数据表示和比特分解计算的量化低比特算术设计。我们通过结合3D堆栈位压缩、零瓦片跳跃和非零瓦片重用技术,设计了一种新颖的TC定制的CUDA内核设计,以系统地提高性能。我们采用了一种有效的带宽优化子图包装策略,以最大限度地提高CPU主机和GPU设备之间的传输效率。我们将QGTC与Pytorch集成,以获得更好的可编程性和可扩展性。大量的实验表明,与最先进的Deep Graph Library框架相比,QGTC在各种设置中平均实现了2.7倍的加速。
2021-12-30 cs.DC
FlowWalker: A Memory-efficient and High-performance GPU-based Dynamic Graph Random Walk Framework
本文提出基于GPU的动态图随机游走框架FlowWalker,通过高效并行采样、以采样器为中心的范式和动态调度策略,降低空间复杂度并解决工作负载不均衡问题,在十个数据集上实现最高752.2倍加速,并将字节跳动好友推荐GNN训练中的随机游走时间占比从35%降至3%。
2024-04-26 cs.DC
GraphBLAST: A High-Performance Linear Algebra-based Graph Framework on the GPU
图算法的高性能实现在诸如GPU的新并行硬件上实现是具有挑战性的,这是因为三个挑战:(1)提出图构建块的困难,(2)并行硬件上的负载不平衡,以及(3)具有低算术强度的图问题。为了解决其中的一些挑战,GraphBLAS是图分析社区的一项创新,持续的努力,提出基于稀疏线性代数的构建块,这将允许图算法以高性能,简洁,可组合和可移植的方式表达。在本文中,我们研究了基于线性代数的方法来构建图形框架的性能挑战,并描述了克服这些瓶颈的新设计原则。新的设计原则之一是利用输入稀疏性,这允许用户编写图形算法,而无需指定推和拉方向。利用输出稀疏性允许用户告诉后端他们不希望在单个向量化计算中计算输出的哪些值。负载平衡是在并行工作者之间平衡工作的重要特性。我们描述了重要的负载平衡功能,用于处理具有不同特性的图形。本文中描述的设计原理已经在“GraphBLAST”中实现,这是NVIDIA GPU上第一个基于线性代数的高性能图形框架,是开源的。结果表明,在单个GPU上,GraphBLAST的平均速度比之前的GraphBLAS实现SuiteSparse和GBTL至少提高了一个数量级,性能与最快的GPU硬连线基元和共享内存图框架Ligra和Gunrock相当,并且比任何其他GPU图框架都更好,同时提供更简单、更简洁的编程模型。
2021-06-15 cs.DC cs.MS
Efficient Strategies for Graph Pattern Mining Algorithms on GPUs
图模式挖掘(GPM)是一个重要的、快速发展的、计算量大的领域。GPM计算依赖于子图枚举,其包括从输入图中提取与给定属性匹配的子图。图形处理单元(GPU)已经成为许多领域加速应用程序的有效平台。然而,子图枚举的不规则性使得其在GPU上的高效执行具有挑战性,这是由于典型的未合并存储器访问、发散和负载不平衡。不幸的是,这些方面在以前的工作中没有得到充分解决。因此,这项工作提出了新的策略,设计和实现子图枚举在GPU上的效率。我们支持深度优先搜索风格搜索(DFS范围),最大限度地提高内存性能,同时提供足够的并行性供GPU利用,以及以扭曲为中心的设计,最大限度地减少执行发散并提高计算能力的利用率。我们还提出了一个低成本的负载均衡层,以避免闲置和重新分配工作线程之间的扭曲在GPU。我们的策略已部署在一个名为DuMato的系统,它提供了一个简单的编程接口,允许有效地实现GPM算法。我们的评估表明,DuMato通常比最先进的GPM系统快一个数量级,并且可以挖掘更大的子图(多达12个顶点)。
2022-12-08 cs.DC
A Comparative Study on Exact Triangle Counting Algorithms on the GPU
我们使用三种不同的方法在GPU上实现精确的三角形计数:子图匹配到三角形模式;可编程图形分析,集合相交方法;和基于稀疏矩阵矩阵乘法的矩阵公式。这三种方法都提供了优于CPU实现和可比GPU实现的一流性能,其中图分析方法实现了最佳性能,因为它能够利用有效的过滤步骤来消除不必要的工作及其高性能的集合相交核心。
2018-04-18 cs.DC
A Graph-based Model for GPU Caching Problems
由于GPU体系结构提供的大量并行性和复杂的数据共享模式,在GPU程序中建模数据共享是一项具有挑战性的任务。更好的GPU缓存效率可以通过不同线程之间的仔细任务调度来实现。传统上,在并行计算领域,图划分模型被用来建模数据通信和指导任务调度。然而,我们发现,以前的方法是不准确的或昂贵的应用时,GPU程序。在本文中,我们提出了一种新的任务划分模型,是准确的,并引起快速和高质量的任务/数据重组算法的发展。我们证明了所提出的模型的有效性,通过严格的理论分析的算法界限和广泛的实验分析。实验结果表明,它在一组有代表性的GPU应用程序中实现了显着的性能改善。
2016-05-06 cs.DC cs.PL
PLASMA: A Layout-Aware Benchmark Reveals Memory Layout Matters for Graph-based ANNS on GPU
The University of Tokyo(东京大学);OMRON SINIC X Corporation(OMRON SINIC X公司)
研究人员提出PLASMA框架,用于评估GPU上基于图的ANNS,发现顶点重排序可提升QPS且不损失准确率,凸显内存布局对该任务的重要性。
2026-08-20 cs.CV cs.DB cs.DC
GORIO: GPU-Centered Remote I/O for Graph ANNS over NVMe-oF
NUDT(国防科技大学)
研究针对图近似近邻搜索中大型向量索引超单GPU服务器内存问题,提出GORIO系统,将以GPU为中心的本地I/O扩展到远程存储,设计两层架构,实验表明其性能大幅提升。
2026-07-08 cs.DB cs.DC
ETALE: Evolving Topology with Accelerated Lock-free Execution for Dynamic Graph ANN Search on GPUs
University of Washington(华盛顿大学)
研究GPU上基于图的近似最近邻索引相关问题,提出ETALE索引,核心是无锁写时复制平板图,在多数据集上评估,相比其他索引速度更快且内存占用有界。
2026-07-07 cs.DC
Using Graph Properties to Speed-up GPU-based Graph Traversal: A Model-driven Approach
虽然众所周知并且公认的是图算法的性能严重依赖于输入数据,但是令人惊讶的是,很少有研究来量化和预测图结构对性能的影响。在GPU等众核系统上运行的并行图形算法也不例外:大多数研究都集中在如何在特定GPU上有效地实现和调整不同的图形操作。然而,由于用于对系统进行基准测试的图形,因此仅间接考虑了输入图形的性能影响。在这项工作中,我们提出了一个案例研究,研究如何使用输入图的属性,以提高性能的广度优先搜索(BFS)图遍历。为此,我们首先研究了248个图中15个不同BFS实现的性能变化。使用此性能数据,我们表明,显着的速度可以通过结合最好的实现,为每个级别的遍历。为了利用这种数据相关的优化,我们必须正确预测每个图级别算法的相对性能,并在运行时为每个级别启用动态切换到最佳算法。我们使用收集的性能数据来训练二元决策树,以实现高精度预测和快速切换。我们的经验表明,我们的决策树是足够快,允许实现之间的动态切换,没有明显的开销,并在其预测足够准确,使显着的BFS加速。我们的结论是,我们的模型驱动方法(1)使BFS能够超越最先进的GPU算法,(2)可以适用于其他BFS变体,其他算法或更具体的数据集。
2017-08-03 cs.DC
Global Neighbor Sampling for Mixed CPU-GPU Training on Giant Graphs
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);AWS AI(亚马逊云科技人工智能部门)
图神经网络(GNN)是用于从图数据学习的强大工具,并且广泛用于各种应用,诸如社交网络推荐、欺诈检测和图搜索。这些应用程序中的图通常很大,通常包含数亿个节点。在如此大的图上有效地训练GNN模型仍然是一个巨大的挑战。尽管已经提出了许多基于采样的方法来支持大型图上的小批量训练,但这些方法尚未被证明适用于真正的行业规模图,这些图需要GPU或混合CPU-GPU训练。最先进的基于采样的方法通常不会针对这些现实世界的硬件设置进行优化,其中CPU和GPU之间的数据移动是一个瓶颈。为了解决这个问题,我们提出了全局邻域采样,旨在在巨型图上训练GNN,专门用于混合CPU-GPU训练。该算法定期对所有小批量节点的全局缓存进行采样,并将其存储在GPU中。这种全局缓存允许小批量的GPU内重要性采样,这大大减少了小批量中的节点数量,特别是在输入层中,以减少CPU和GPU之间的数据复制和小批量计算,而不影响训练收敛速度或模型精度。我们提供了一个高效的实现这种方法,并表明我们的实现优于一个有效的节点明智的邻居采样基线的一个因素的2X-4X的巨型图。该算法的性能比具有小层数的LARKING算法高出2X-14 X倍,同时精度也比LARKING算法高得多。我们还从理论上分析了该算法,并表明在缓存节点数据大小合适的情况下,该算法的收敛速度与底层的逐节点采样方法相当。
2021-06-11 cs.DC cs.LG
FusionRCG: Orchestrating Recursive Computation Graphs across GPU Memory Hierarchies
University of Science and Technology of China(中国科学技术大学);Zhongguancun Academy(中关村学院);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院)
本文提出FusionRCG框架,通过优化计算图结构和GPU内存映射,解决高维积分计算中的内存瓶颈问题,实现SCF计算速度提升3.09倍,并在64个GPU上保持75%的并行效率。
2026-05-13 cs.DC physics.chem-ph physics.comp-ph
Legion: Automatically Pushing the Envelope of Multi-GPU System for Billion-Scale GNN Training
针对现有单机多GPU缓存式GNN系统难以高效训练十亿规模图的问题,本文提出Legion系统,通过分层图划分、统一多GPU缓存及自动缓存管理机制提升训练效率,支持十亿规模GNN训练且性能优于现有最优系统。
2023-06-12 cs.DC
Boosting Graph Embedding on a Single GPU
Sabancı University(萨班哲大学)
图是无处不在的,它们可以模拟现实生活中系统的独特特征和复杂关系。虽然在图上使用机器学习(ML)是有前途的,但它们的原始表示不适合ML算法。图嵌入将图的每个节点表示为d维向量,这更适合于ML任务。然而,嵌入过程是昂贵的,基于CPU的工具不能扩展到真实世界的图形。在这项工作中,我们提出了GOSH,一个基于GPU的工具嵌入大规模的图形与最小的硬件约束。GOSH采用了一种新的图粗化算法,以增强更新的影响,并最大限度地减少嵌入的工作。它还集成了一个分解模式,使任何任意大的图都可以嵌入单个GPU。因此,GOSH在链接预测的准确性和速度方面都达到了最先进的水平,并在与最先进技术相比的一小部分时间内为节点分类提供高质量的嵌入。例如,它可以在单个GPU上在不到30分钟的时间内嵌入超过6500万个顶点和18亿条边的图形。
2021-10-19 cs.DC cs.LG
Pangolin: An Efficient and Flexible Graph Pattern Mining System on CPU and GPU
图模式挖掘(GPM)问题,如模体计数,有越来越多的兴趣。GPM系统已经开发出来,为这些问题的编程算法提供统一的接口,并在并行系统上运行它们。然而,现有的系统可能需要几个小时才能在中等大小的图形中挖掘简单的模式,这大大限制了它们在现实世界中的可用性。我们提出了Pangolin,一个高性能和灵活的内存GPM框架,目标是共享内存CPU和GPU。Pangolin是第一个为GPU处理提供高级抽象的GPM系统。它提供了一个简单的编程接口的基础上的扩展-减少-过滤器模型,使用户能够指定特定于应用程序的知识,搜索空间修剪和同构测试消除。我们描述了新的优化,利用局部性,减少内存消耗,并减轻动态内存分配和同步的开销。在28核CPU上的评估表明,Pangolin的性能平均分别比现有的GPM框架Arabesque、RStream和Fractal高出49倍、88倍和80倍。V100 GPU上的加速将Pangolin的性能平均提高了15倍。与最先进的手工优化的GPM应用程序相比,Pangolin以更少的编程工作提供了有竞争力的性能。
2020-01-17 cs.DC
GE-SpMM: General-purpose Sparse Matrix-Matrix Multiplication on GPUs for Graph Neural Networks
图神经网络(GNN)在各个领域都取得了显著的进步。稀疏矩阵-矩阵乘法(SpMM)是GNN中的基本运算符,它执行稀疏矩阵和稠密矩阵之间的乘法。在GPU等并行硬件上加速SpMM可能面临以下挑战:从GNN应用程序的角度来看,需要考虑兼容性。一般的GNN算法需要类似于SpMM的操作(例如,池化),这在当前高性能GPU库中不支持(例如,Nvidia cuSPARSE)。此外,在以前的实现中的复杂的预处理将导致沉重的数据格式转换开销在GNN框架。从GPU硬件的角度来看,GPU上的SpMV(稀疏矩阵向量)设计中的优化并不适用于SpMM。SpMM暴露了密集输出矩阵中的列并行性,但是从SpMV直接泛化导致对全局内存中的稀疏矩阵的低效的、未合并的访问。稀疏行数据可以在GPU线程之间重用,这在从SpMV继承的SpMM设计中是不可能的。为了应对这些挑战,我们提出了GE-SpMM。GE-SpMM对以最常见的压缩稀疏行(CSR)格式表示的稀疏矩阵执行类似于SpMM的操作,因此它可以嵌入到GNN框架中,无需预处理开销,并支持通用GNN算法。我们引入了合并行缓存方法来并行处理列,并确保合并访问稀疏矩阵数据。我们还提出了粗粒度的Warp合并,以减少GPU warp之间的冗余数据加载。在真实世界的图数据集上的实验表明,GE-SpMM比Nvidia cuSPARSE和GraphBLAST的加速比分别高达1.41倍和1.…
2020-07-07 cs.DC
Sphynx: a parallel multi-GPU graph partitioner for distributed-memory systems
图划分已经成为一种重要的工具,用于将工作划分到多个处理器之间,以最小化通信开销和平衡工作负载。虽然基于加速器的超级计算机正在成为标准,但随着应用程序快速迁移到这些架构,图分区的使用变得更加重要。然而,没有可用于应用程序的分布式内存并行、多GPU图形分区器。我们开发了一个光谱图分区,Sphynx,使用Trilinos框架的便携式,加速器友好的堆栈。在Sphynx中,我们允许使用不同的预处理器并利用它们的独特优势。我们使用Sphynx系统地评估频谱分割中的各种算法选择,重点是GPU性能。我们进行这些评估的两个不同类别的图形:定期(如网格,矩阵有限元法)和不规则(如社交网络和网络图),并表明,这些图形类需要不同的设置和预处理。Summit超级计算机上的实验结果表明,Sphynx是最快的替代不规则图在一个应用程序友好的设置,并获得了分区质量接近ParMETIS的规则图。与单个GPU上的nvGRAPH相比,Sphynx速度更快,获得更好的平衡和更好的分区质量。Sphynx为寻找基于GPU的分区器的应用程序提供了一个良好而强大的分区方法。
2021-05-02 cs.DC cs.DM cs.MS
GPU-Accelerated Algorithms for Process Mapping
Heidelberg University(海德堡大学)
本文提出两种基于GPU的进程映射算法,通过分层多细分和多级图划分管道整合,实现高效的负载平衡与通信成本优化,具有显著的速度提升优势。
2026-03-13 cs.DC
Fantasy: Efficient Large-scale Vector Search on GPU Clusters with GPUDirect Async
University of California Santa Cruz(加州大学圣克鲁兹分校)
Fantasy通过在GPU集群中流水线向量搜索与数据传输,利用GPUDirect Async技术提高大规模向量搜索的效率和吞吐量。
2025-12-01 cs.DC
Euler Meets GPU: Practical Graph Algorithms with Theoretical Guarantees
欧拉巡回技术是设计并行图算法的经典工具,最初是为PRAM模型提出的。我们问它是否可以适应在GPU上高效运行。我们专注于两个既定的应用程序的技术:(1)的问题,寻找最低共同祖先(LCA)的节点对树,(2)的问题,在无向图中找到桥梁。在我们的实验中,我们比较理论上最优的算法,使用欧拉巡回技术对简单的appropriistics应该执行特别好的典型实例。我们表明,欧拉巡回赛为基础的算法不仅履行其理论承诺,并在硬的情况下优于实际算法,但也表现出与他们在简单的情况下。
2021-03-28 cs.DC cs.DS
CAGRA: Highly Parallel Graph Construction and Approximate Nearest Neighbor Search for GPUs
NVIDIA(英伟达)
针对现有近似最近邻搜索算法对GPU等并行硬件利用不足的问题,提出CAGRA并行近邻图构建与搜索算法,在图构建速度、大小批量查询吞吐量上均显著优于现有CPU及GPU最优方法,同时保持精度相当。
2024-07-09 cs.CV cs.DB cs.DC
Efficient Scaling of Dynamic Graph Neural Networks
IBM Research, India(IBM印度研究院);University of Utah(犹他大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Tokyo(东京大学)
我们提出了分布式算法训练动态图神经网络(GNN)的大规模图跨越多节点,多GPU系统。据我们所知,这是第一次对动态GNN进行缩放研究。我们设计了减少GPU内存使用的机制,并确定了两个执行时间瓶颈:CPU-GPU数据传输和通信量。利用动态图的性质,我们设计了一个基于图差异的策略,以显着减少传输时间。我们开发了一个简单,但有效的数据分配技术,通信量保持固定和线性的输入大小,对于任何数量的GPU。我们在128个GPU的系统上使用十亿大小的图进行的实验表明:(i)分布方案在128个GPU上实现了高达30倍的加速;(ii)图差技术将传输时间减少了4.1倍,总执行时间减少了40%
2021-09-16 cs.DC cs.LG
Characterizing and Understanding GCNs on GPU
图卷积神经网络(GCN)在图结构数据分析方面已经取得了最先进的性能。与传统的神经网络一样,GCN的训练和推理都是通过GPU来加速的。因此,表征和理解GCN在GPU上的执行模式对于软件和硬件优化都很重要。不幸的是,据我们所知,GPU上没有GCN工作负载的详细表征工作。在本文中,我们在推理阶段描述GCN工作负载,并在NVIDIA V100 GPU上探索GCN模型。给出了表征和探索,我们提出了几个有用的指导方针,软件优化和硬件优化的GCN在GPU上的有效执行。
2020-01-28 cs.DC
MGG: Accelerating Graph Neural Networks with Fine-grained intra-kernel Communication-Computation Pipelining on Multi-GPU Platforms
University of Rochester(罗切斯特大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
提出MGG系统,通过动态软件流水线实现多GPU平台GNN内核内细粒度计算与通信重叠,结合负载均衡与运行时优化,性能显著优于现有系统。
2023-06-27 cs.DC cs.LG
Accelerating wave-propagation algorithms with adaptive mesh refinement using the Graphics Processing Unit (GPU)
Clawpack是一个使用基于黎曼解算器和限制器的高分辨率有限体积法求解非线性双曲型偏微分方程的库。它支持自适应网格细化(AMR),这在解决多尺度问题中至关重要。最近,我们增加了使用图形处理单元(GPU)加速代码的功能。添加了管理CPU和GPU AMR数据并促进GPU内核执行的工具。定制和CPU线程安全内存管理器旨在管理GPU和CPU内存池,这对于消除内存分配和释放的开销至关重要。该算法在每个时间步进行全局约简,根据柯朗数约束动态调整时间步。一些小的GPU内核被合并到更大的内核中,这大大降低了内核启动开销。在声学基准问题中观察到$2$和$3$之间的总运行时间的加速。
2018-08-08 cs.DC cs.MS cs.NA