HongTu: Scalable Full-Graph GNN Training on Multiple GPUs (via communication-optimized CPU data offloading)
提出可扩展全图GNN训练系统HongTu,通过CPU数据卸载、去重通信和成本模型引导的图重组技术,在多GPU上支持十亿规模图训练,显著降低通信开销并实现大幅加速。
2023-11-25 cs.DC
Scaling Up Large-Scale Graph Processing for GPU-Accelerated Heterogeneous Systems
GPU加速的异构体系结构不仅具有支持大规模图形处理的大内存容量,还为高性能计算提供了巨大的潜力。然而,由于有限的CPU-GPU传输效率,很少有现有的异构系统可以利用这两种硬件优势来实现图形处理的扩展性能。在本文中,我们研究了异构图系统的传输效率问题。我们的关键见解是,异构图形处理的传输效率可以大大提高,通过简单地迭代每个子图多次(而不是只有一次在以前的工作)在GPU,进一步使异构图形系统的效率,通过提高GPU的处理能力,以获得改进。因此,我们提出Seraph,与{ \em流水线}子图迭代和{ \em预测}顶点更新的亮点,以合作最大限度地提高图形处理的GPU的有效计算。我们对各种大型图形数据集的评估表明,Seraph的性能优于最先进的异构图形系统5.42倍(与Graphie相比)和3.05倍(与Garaph相比)。此外,Seraph可以在Graphie上显着扩展,因为它具有更多的计算能力来进行大规模图形处理。
2018-06-03 cs.DC
Efficient and Scalable Graph Pattern Mining on GPUs
图模式挖掘(GPM)通过搜索感兴趣的小模式来提取大型图中的高阶信息。GPM应用在计算上是昂贵的,因此对于GPU加速是有吸引力的。不幸的是,由于GPM算法和并行硬件的复杂性,手动优化GPM应用程序遭受编程复杂性,而现有的GPM框架牺牲效率的可编程性。此外,在GPU上几乎没有做过将GPM计算扩展到大问题大小的工作。我们描述了G2Miner,第一个在多个GPU上运行的图形模式挖掘(GPM)框架。G2Miner使用模式感知、输入感知和架构感知的搜索策略来在GPU上实现高效率。为了简化编程,它提供了一个代码生成器,可以自动生成模式感知的CUDA代码。G2Miner灵活地支持广度优先搜索(BFS)和深度优先搜索(DFS),以最大限度地提高内存利用率并为GPU生成足够的并行度。为了提高G2Miner的可扩展性,我们使用自定义的调度策略来平衡多个GPU之间的工作。在V100 GPU上的实验表明,G2Miner在两个最先进的单GPU系统Pangolin和PBE上分别实现了5.4倍和7.2倍的平均加速比。在多GPU设置中,G2Miner实现了从1到8个GPU的线性加速,适用于各种模式和数据图。我们还表明,在V100 GPU上的G2Miner比在56核CPU机器上的最先进的基于CPU的系统Peregrine和GraphZero快48.3倍和15.2倍。
2022-07-27 cs.DC
A Fine-Grained Hybrid CPU-GPU Algorithm for Betweenness Centrality Computations
介数中心性(BC)是大规模图的一个重要的图分析应用。虽然有许多努力在多核CPU和众核GPU上并行化介数中心算法,在这项工作中,我们提出了一种新的细粒度CPU-GPU混合算法,将图形划分为CPU和GPU分区,并同时在CPU和GPU资源上执行BC计算,同时具有非常少量的CPU-GPU通信。在我们的混合BC算法的正向阶段利用BC问题中固有的多源属性。我们还执行了一个新的混合和异步向后阶段,执行最小的CPU-GPU同步。使用大量具有不同特征的图进行的评估表明,我们的混合方法比基于流行的批量同步范式(BSP)方法的现有混合算法在性能上提高了80%,并且CPU-GPU通信减少了80 - 90%。
2020-08-13 cs.DC
Efficient and High-quality Sparse Graph Coloring on the GPU
图着色已被广泛用于并行计算中的并发发现。为了加速大规模数据集的图着色,已经提出了利用现代GPU的并行算法。现有的GPU实现要么具有有限的性能,要么产生不令人满意的着色质量(分配的颜色太多)。我们提出了一个工作效率高的并行图着色的GPU上实现具有良好的着色质量。我们的方法采用了投机贪婪计划,内在地产生更好的质量比找到最大独立集的方法。为了在GPU上实现高性能,我们改进了算法,以利用有效的运算符和减少冲突。我们还结合了常见的优化技术,以进一步提高性能。我们的方法进行评估与合成和现实世界的稀疏图形的NVIDIA GPU。实验结果表明,我们提出的实现实现平均4.1倍(高达8.9倍)的串行实现的加速比。它的性能也优于现有的GPU实现从NVIDIA ® SPARSE库(2.2倍的平均加速),同时产生更好的着色质量比SPARSE。
2020-01-17 cs.DC
GPU accelerated maximum cardinality matching algorithms for bipartite graphs
我们设计,实现和评估基于GPU的算法的最大基数匹配问题的二分图。这样的算法在计算机科学、科学计算、生物信息学和其它领域中具有多种应用。据我们所知,我们是第一个研究,重点是GPU实现的最大基数匹配算法。我们比较了所提出的算法与串行和多核实现从文献上的一个大的现实生活中的问题,在大多数情况下,我们的GPU加速算法之一被证明是比顺序和多核实现更快。
2013-03-06 cs.DC
A GPU-based parallel algorithm for enumerating all chordless cycles in graphs
在有限无向简单图中,一个无弦圈是一个诱导子图,它是一个圈。我们提出了一个GPU并行算法来枚举所有的弦圈这样的图。该算法,在OpenCL中实现,是基于以前的顺序算法开发的当前作者为同一问题。它使用了一个更紧凑的数据结构的解决方案表示,这是适合的GPU的内存大小的限制。此外,对于具有足够大量的无弦周期的图,该算法在执行时间上有了显着的改进,优于顺序方法。
2015-06-25 cs.DC
Efficient Graph Embedding at Scale: Optimizing CPU-GPU-SSD Integration
Alibaba Group, Hangzhou, China(阿里巴巴集团);Zhejiang University, Hangzhou, China(浙江大学)
Legend通过优化CPU-GPU-SSD集成,实现大规模图嵌入的高效处理,提升性能并降低资源消耗
2026-03-12 cs.DC
Bit-GraphBLAS: Bit-Level Optimizations of Matrix-Centric Graph Processing on GPU
在像邻接矩阵这样的一般图数据结构中,当边是齐次的时,两个节点的连通性可以使用单个比特来充分表示。然而,现有的以矩阵为中心的图处理框架还没有充分利用这种洞察力。这项工作填补了空白,系统地探索图的位级表示和相应的优化图操作。提出了一种位块压缩稀疏行(B2SR)的两级表示方法,并利用现代GPU的固有特性对B2SR上的图操作进行了一系列优化。在NVIDIA Pascal和Volta GPU上的评估表明,优化分别为基本的GraphBLAS内核SpMV和SpGEMM带来了$40\times$和$6555\times$,使基于GraphBLAS的BFS加速到$433\times$,SSSP,PR和CC加速到$35\times$,TC加速到$52\times$。
2022-02-22 cs.DC
Counting Triangles in Large Graphs on GPU
聚类系数和传递率是网络分析中经常使用的概念,这就需要快速实用的算法来计算大型图中的三角形。以前的研究集中在顺序算法、MapReduce并行化和快速近似。本文提出了一种基于CUDA GPU的并行三角形计数算法。我们描述了实现高性能所需的实施细节,并提出了我们的方法的实验评估。我们的算法在CPU实现上实现了8到15倍的加速,并且能够在Nvidia Tesla C2050 GPU上在不到10秒的时间内在8900万个边图中找到38亿个三角形。
2016-08-06 cs.DC
HyTGraph: GPU-Accelerated Graph Processing with Hybrid Transfer Management
使用内存有限的GPU处理大型图形需要解决主机-GPU数据传输问题,这是一个关键的性能瓶颈。现有的GPU加速图处理框架通过在运行时管理活动子图传输来减少数据传输。一些框架采用基于带有过滤或压缩的显式内存复制的显式传输管理方法。相比之下,其他采用隐式传输管理方法的基础上按需访问零拷贝或统一的内存。经过深入的分析,我们发现,随着活动顶点的演变,这两种方法的性能在不同的工作负载。由于大量冗余数据传输、高CPU压缩开销或低带宽利用率,采用单一方法通常会导致性能欠佳。在这项工作中,我们提出了一种混合传输管理方法,在运行时采取这两种方法的优点,在每次迭代的目标是实现最短的执行时间。基于混合方法,我们提出了HytGraph,一个GPU加速的图形处理框架,它是由一组有效的任务调度优化,以提高性能。我们在真实世界和合成图上的实验结果表明,HyTGraph比现有的GPU加速图形处理系统(包括Grus,Subway和EMOGI)实现了高达10.27倍的加速。
2022-08-31 cs.DC
HC-SpMM: Accelerating Sparse Matrix-Matrix Multiplication for Graphs with Hybrid GPU Cores
针对真实图不规则性导致GPU上SpMM效率低的问题,提出HC-SpMM算法,利用混合GPU核心并结合数据划分、核心选择等优化,还集成至GNN流水线,在14个数据集上实现优于现有方案的加速效果。
2024-12-12 cs.DC
C-SAW: A Framework for Graph Sampling and Random Walk on GPUs
许多应用需要学习、挖掘、分析和可视化大规模图形。这些图通常太大而不能使用传统的图处理技术有效地处理。许多应用程序都需要分析,转换,可视化和学习大规模的图形。这些图通常太大而不能使用传统的图处理技术有效地处理。最近的文献表明,图采样/随机游走可能是一个有效的解决方案。在本文中,我们提出,据我们所知,第一个基于GPU的框架图采样/随机游走。首先,我们的框架提供了一个通用的API,允许用户轻松实现各种采样和随机游走算法。其次,将该框架卸载到GPU上,我们引入了以扭曲为中心的并行选择,并对碰撞迁移进行了两次优化。第三,为了支持超过GPU内存容量的图形,我们为内存不足采样引入了有效的数据传输优化,例如工作负载感知调度和批量多实例采样。总的来说,我们的框架不断超越最先进的项目。首先,我们的框架提供了一个通用的API,允许用户轻松实现各种采样和随机游走算法。其次,卸载这个框架上的GPU,我们引入了以扭曲为中心的并行选择,和两个新的优化碰撞迁移。第三,为了支持超过GPU内存容量的图形,我们为内存不足和多GPU采样引入了有效的数据传输优化,例如工作负载感知调度和批量多实例采样。总的来说,我们的框架除了支持广泛的采样和随机游走算法的能力外,还不断超越最先进的项目。
2020-09-18 cs.DC
Exploring the Design Space of Static and Incremental Graph Connectivity Algorithms on GPUs
连通分支和生成森林是图的基本算法,因为它们在图聚类和图像分割等重要应用中有着广泛的应用。GPU是图形算法的理想平台,因为其高峰值性能和内存带宽。虽然文献中存在几种GPU连接算法,但许多设计选择尚未探索。在本文中,我们将探讨GPU连接算法中的各种设计选择,包括采样、链接和树压缩,适用于静态和增量设置。我们的各种设计选择导致超过300个新的GPU实现的连接,其中许多优于国家的最先进的。我们提出了一个实验评估,并表明,我们实现了2.47倍加速比现有的静态算法的平均加速。在增量设置中,我们实现了高达每秒482.3亿条边的吞吐量。与72核机器上最先进的CPU实现相比,我们使用Tesla V100 GPU实现了8.26- 14.51倍的静态连接加速和1.85- 13.36倍的增量连接加速。
2020-08-26 cs.DC
PPipe: Efficient Video Analytics Serving on Heterogeneous GPU Clusters via Pool-Based Pipeline Parallelism
本文提出 PPipe 推理服务系统,利用基于池的流水线并行、MILP 控制平面和自适应批处理,在异构 GPU 集群上提升视频分析推理吞吐量与低端 GPU 利用率。
2025-07-24 cs.DC
Distributed Hybrid CPU and GPU training for Graph Neural Networks on Billion-Scale Graphs
图神经网络(GNN)在从图结构数据中学习方面取得了巨大的成功。它们被广泛用于各种应用,例如推荐、欺诈检测和搜索。在这些域中,图通常是大的和异构的,包含数百万或数十亿个不同类型的顶点和边。为了应对这一挑战,我们开发了DistDGLv 2,这是一个扩展DistDGL的系统,用于使用分布式混合CPU/GPU训练,以小批量方式在大规模异构图上训练GNN。DistDGLv 2将图形数据放置在分布式CPU内存中,并在GPU中执行小批量计算。为了便于使用,DistDGLv 2采用了与Deep Graph Library(DGL)的小批量训练和异构图形API兼容的API,这使得分布式训练几乎不需要修改代码。为了确保模型的准确性,DistDGLv 2遵循同步训练方法,并允许形成小批量的自我网络包含非局部顶点。为了保证数据的局部性和负载均衡,DistDGLv 2使用一种带最小边割和多个均衡约束的多级划分算法对异构图进行划分. DistDGLv 2部署了一个异步小批量生成管道,使计算和数据访问异步,以充分利用所有硬件(CPU,GPU,网络,PCIe)。这种组合使DistDGLv 2能够训练高质量的模型,同时实现高并行效率和内存可扩展性。我们在各种GNN工作负载上演示了DistDGLv 2。我们的结果表明,DistDGLv 2实现了2- 3倍的速度比DistDGL和18倍的速度比欧拉。在具有64个GPU的…
2022-03-13 cs.DC
SIMD-X: Programming and Processing of Graph Algorithms on GPUs
凭借高计算能力和内存带宽,图形处理单元(GPU)有助于加速数据密集型分析,尤其是当此类应用程序适合单指令多数据(SIMD)模型时。然而,由于内存访问和控制流的不规则性,诸如宽度优先搜索和k核之类的图形算法通常无法充分利用GPU。为了应对这一挑战,我们开发了SIMD-X,用于在GPU上编程和处理单指令多个复杂数据。具体来说,新的主动计算合并(ACC)模型不仅为程序员提供了编程的便利,更重要的是为系统级优化创造了机会。为此,SIMD-X利用即时任务管理,在运行时过滤掉不活动的顶点,并智能地将各种任务映射到不同数量的GPU核心,以追求工作负载平衡。此外,SIMD-X利用基于推拉的内核融合,在新的无死锁全局屏障的帮助下,将大量的计算内核减少到非常少。使用SIMD-X,用户可以在数十行代码中编写图形算法,同时实现3?,六个?二十四?三个?Gunrock,Galois,CuSha和Ligra的加速。
2018-12-10 cs.DC
Efficient Accelerated Graph Edit Distance Computation on GPU
Jülich Supercomputing Center Forschungszentrum Jülich(于利希超级计算中心 于利希研究中心)
本文提出FAST-GED框架,通过GPU友好的算法设计和高效硬件映射,实现大规模图编辑距离计算的高精度与高速度,验证了其在真实和合成数据集上的优越性能。
2026-03-25 cs.DC
FastGraph: PCA-Subspace Binned k-Nearest-Neighbor Graph Construction for GPU Geometric Deep Learning
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Zurich(苏黎世大学)
本文提出GPU优化的k近邻算法FastGraph,通过支持梯度流的GPU驻留分箱分区方案与自适应调优,在低维场景下相比主流库实现20-40倍加速且无额外内存开销,可有效提升GNN工作流性能。
2026-10-26 cs.DC
QGTC: Accelerating Quantized Graph Neural Networks via GPU Tensor Core
近年来,量化图神经网络(QGNN)由于其高鲁棒性和低计算和存储开销而吸引了大量的研究和工业界的关注。不幸的是,QGNN的性能提升从未在现代GPU平台上实现。为此,我们提出了第一个基于Tensor Core(TC)的计算框架QGTC,以支持GPU上QGNN的任何位宽计算。提出了一种基于低比特数据表示和比特分解计算的量化低比特算术设计。我们通过结合3D堆栈位压缩、零瓦片跳跃和非零瓦片重用技术,设计了一种新颖的TC定制的CUDA内核设计,以系统地提高性能。我们采用了一种有效的带宽优化子图包装策略,以最大限度地提高CPU主机和GPU设备之间的传输效率。我们将QGTC与Pytorch集成,以获得更好的可编程性和可扩展性。大量的实验表明,与最先进的Deep Graph Library框架相比,QGTC在各种设置中平均实现了2.7倍的加速。
2021-12-30 cs.DC
FlowWalker: A Memory-efficient and High-performance GPU-based Dynamic Graph Random Walk Framework
本文提出基于GPU的动态图随机游走框架FlowWalker,通过高效并行采样、以采样器为中心的范式和动态调度策略,降低空间复杂度并解决工作负载不均衡问题,在十个数据集上实现最高752.2倍加速,并将字节跳动好友推荐GNN训练中的随机游走时间占比从35%降至3%。
2024-04-26 cs.DC
Efficient Strategies for Graph Pattern Mining Algorithms on GPUs
图模式挖掘(GPM)是一个重要的、快速发展的、计算量大的领域。GPM计算依赖于子图枚举,其包括从输入图中提取与给定属性匹配的子图。图形处理单元(GPU)已经成为许多领域加速应用程序的有效平台。然而,子图枚举的不规则性使得其在GPU上的高效执行具有挑战性,这是由于典型的未合并存储器访问、发散和负载不平衡。不幸的是,这些方面在以前的工作中没有得到充分解决。因此,这项工作提出了新的策略,设计和实现子图枚举在GPU上的效率。我们支持深度优先搜索风格搜索(DFS范围),最大限度地提高内存性能,同时提供足够的并行性供GPU利用,以及以扭曲为中心的设计,最大限度地减少执行发散并提高计算能力的利用率。我们还提出了一个低成本的负载均衡层,以避免闲置和重新分配工作线程之间的扭曲在GPU。我们的策略已部署在一个名为DuMato的系统,它提供了一个简单的编程接口,允许有效地实现GPM算法。我们的评估表明,DuMato通常比最先进的GPM系统快一个数量级,并且可以挖掘更大的子图(多达12个顶点)。
2022-12-08 cs.DC
A Comparative Study on Exact Triangle Counting Algorithms on the GPU
我们使用三种不同的方法在GPU上实现精确的三角形计数:子图匹配到三角形模式;可编程图形分析,集合相交方法;和基于稀疏矩阵矩阵乘法的矩阵公式。这三种方法都提供了优于CPU实现和可比GPU实现的一流性能,其中图分析方法实现了最佳性能,因为它能够利用有效的过滤步骤来消除不必要的工作及其高性能的集合相交核心。
2018-04-18 cs.DC
BANG: Billion-Scale Approximate Nearest Neighbor Search using a Single GPU
本文提出BANG,首个在单个GPU上处理无法完全放入显存的十亿级图数据集的ANNS技术,通过压缩数据集与主机内存图索引协同访问,在三个十亿级数据集上实现召回率0.9时吞吐量比竞争方法高50至400倍。
2025-04-12 cs.DC
Vortex: Overcoming Memory Capacity Limitations in GPU-Accelerated Large-Scale Data Analytics
针对GPU内存容量有限及PCIe通信瓶颈问题,提出Vortex框架,通过优化IO原语利用多GPU系统所有PCIe链路为单目标GPU提供IO支持,分离内核开发与IO调度,延迟物化技术提升性能5.7倍,性价比提升2.5倍。
2025-02-13 cs.DB cs.DC
ETALE: Evolving Topology with Accelerated Lock-free Execution for Dynamic Graph ANN Search on GPUs
University of Washington(华盛顿大学)
研究GPU上基于图的近似最近邻索引相关问题,提出ETALE索引,核心是无锁写时复制平板图,在多数据集上评估,相比其他索引速度更快且内存占用有界。
2026-07-07 cs.DC
Using Graph Properties to Speed-up GPU-based Graph Traversal: A Model-driven Approach
虽然众所周知并且公认的是图算法的性能严重依赖于输入数据,但是令人惊讶的是,很少有研究来量化和预测图结构对性能的影响。在GPU等众核系统上运行的并行图形算法也不例外:大多数研究都集中在如何在特定GPU上有效地实现和调整不同的图形操作。然而,由于用于对系统进行基准测试的图形,因此仅间接考虑了输入图形的性能影响。在这项工作中,我们提出了一个案例研究,研究如何使用输入图的属性,以提高性能的广度优先搜索(BFS)图遍历。为此,我们首先研究了248个图中15个不同BFS实现的性能变化。使用此性能数据,我们表明,显着的速度可以通过结合最好的实现,为每个级别的遍历。为了利用这种数据相关的优化,我们必须正确预测每个图级别算法的相对性能,并在运行时为每个级别启用动态切换到最佳算法。我们使用收集的性能数据来训练二元决策树,以实现高精度预测和快速切换。我们的经验表明,我们的决策树是足够快,允许实现之间的动态切换,没有明显的开销,并在其预测足够准确,使显着的BFS加速。我们的结论是,我们的模型驱动方法(1)使BFS能够超越最先进的GPU算法,(2)可以适用于其他BFS变体,其他算法或更具体的数据集。
2017-08-03 cs.DC
PathWeaver: A High-Throughput Multi-GPU System for Graph-Based Approximate Nearest Neighbor Search
PathWeaver提出流水线路径扩展、ghost staging和方向引导选择三种技术,构建高吞吐量多GPU框架,在大规模数据集上显著加速基于图的近似最近邻搜索,实现最高5.30倍加速。
2025-07-23 cs.DC
Legion: Automatically Pushing the Envelope of Multi-GPU System for Billion-Scale GNN Training
针对现有单机多GPU缓存式GNN系统难以高效训练十亿规模图的问题,本文提出Legion系统,通过分层图划分、统一多GPU缓存及自动缓存管理机制提升训练效率,支持十亿规模GNN训练且性能优于现有最优系统。
2023-06-12 cs.DC
Literature Review and Implementation Overview: High Performance Computing with Graphics Processing Units for Classroom and Research Use
在本报告中,我将讨论GPU HPC系统的历史和现状。虽然高功率GPU只存在了很短的时间,但它们在深度学习应用中得到了快速采用。我还将讨论用于深度学习研究和学术教学的商用硬件NVIDIA GPU HPC集群的实现。
2020-05-13 cs.DC
Pangolin: An Efficient and Flexible Graph Pattern Mining System on CPU and GPU
图模式挖掘(GPM)问题,如模体计数,有越来越多的兴趣。GPM系统已经开发出来,为这些问题的编程算法提供统一的接口,并在并行系统上运行它们。然而,现有的系统可能需要几个小时才能在中等大小的图形中挖掘简单的模式,这大大限制了它们在现实世界中的可用性。我们提出了Pangolin,一个高性能和灵活的内存GPM框架,目标是共享内存CPU和GPU。Pangolin是第一个为GPU处理提供高级抽象的GPM系统。它提供了一个简单的编程接口的基础上的扩展-减少-过滤器模型,使用户能够指定特定于应用程序的知识,搜索空间修剪和同构测试消除。我们描述了新的优化,利用局部性,减少内存消耗,并减轻动态内存分配和同步的开销。在28核CPU上的评估表明,Pangolin的性能平均分别比现有的GPM框架Arabesque、RStream和Fractal高出49倍、88倍和80倍。V100 GPU上的加速将Pangolin的性能平均提高了15倍。与最先进的手工优化的GPM应用程序相比,Pangolin以更少的编程工作提供了有竞争力的性能。
2020-01-17 cs.DC
Technical Report: Accelerating Dynamic Graph Analytics on GPUs
由于图形分析通常涉及计算密集型操作,因此GPU已被广泛用于加速处理。然而,在诸如社交网络、网络安全和欺诈检测的许多应用中,它们的代表图频繁地演变,并且必须在GPU上执行图结构的重建以并入更新。因此,图的重建成为处理高速图流的瓶颈。在本文中,我们提出了一个基于GPU的动态图存储方案,以支持现有的图形算法容易。此外,我们提出了并行更新算法,以支持高效的流更新,使维护的图形是立即可用于GPU上的高速分析处理。我们在大规模真实数据集和合成数据集上使用三个流应用程序进行了广泛的实验,证明了我们所提出的方法的优越性能。
2018-06-27 cs.DC cs.DS
GRNND: A GPU-Parallel Relative NN-Descent Algorithm for Efficient Approximate Nearest Neighbor Graph Construction
Nanjing University(南京大学);Institute of Science Tokyo(东京科学大学)
针对RNN-Descent图构建随数据量和维度增长耗时剧增的问题,提出首个GPU并行的GRNND算法,通过无序邻居传播等策略优化,实现远超现有CPU、GPU方法的加速效果。
2025-10-03 cs.DC
GE-SpMM: General-purpose Sparse Matrix-Matrix Multiplication on GPUs for Graph Neural Networks
图神经网络(GNN)在各个领域都取得了显著的进步。稀疏矩阵-矩阵乘法(SpMM)是GNN中的基本运算符,它执行稀疏矩阵和稠密矩阵之间的乘法。在GPU等并行硬件上加速SpMM可能面临以下挑战:从GNN应用程序的角度来看,需要考虑兼容性。一般的GNN算法需要类似于SpMM的操作(例如,池化),这在当前高性能GPU库中不支持(例如,Nvidia cuSPARSE)。此外,在以前的实现中的复杂的预处理将导致沉重的数据格式转换开销在GNN框架。从GPU硬件的角度来看,GPU上的SpMV(稀疏矩阵向量)设计中的优化并不适用于SpMM。SpMM暴露了密集输出矩阵中的列并行性,但是从SpMV直接泛化导致对全局内存中的稀疏矩阵的低效的、未合并的访问。稀疏行数据可以在GPU线程之间重用,这在从SpMV继承的SpMM设计中是不可能的。为了应对这些挑战,我们提出了GE-SpMM。GE-SpMM对以最常见的压缩稀疏行(CSR)格式表示的稀疏矩阵执行类似于SpMM的操作,因此它可以嵌入到GNN框架中,无需预处理开销,并支持通用GNN算法。我们引入了合并行缓存方法来并行处理列,并确保合并访问稀疏矩阵数据。我们还提出了粗粒度的Warp合并,以减少GPU warp之间的冗余数据加载。在真实世界的图数据集上的实验表明,GE-SpMM比Nvidia cuSPARSE和GraphBLAST的加速比分别高达1.41倍和1.…
2020-07-07 cs.DC
Fast BFS-Based Triangle Counting on GPUs
在本文中,我们提出了一种新的方法来计算三角形计数的GPU上。与以前的图形匹配公式不同,我们的方法是基于BFS的,通过以全源BFS方式遍历图形,因此可以以大规模并行的方式映射到GPU上。我们的实现使用Gunrock编程模型,我们评估我们的实现在运行时和内存消耗与以前的国家的最先进的工作相比。我们维持了近10 GTEPS的峰值每秒边缘(TEPS)速率。我们的算法是所有现有GPU实现中最具可扩展性和并行性的,也优于所有现有的CPU分布式实现。这项工作特别侧重于利用我们在2019年子图同构图挑战赛的三角形计数问题上的实现,展示了比2018年冠军3.84倍的几何平均加速。
2019-09-04 cs.DC
GPU-Accelerated Algorithms for Process Mapping
Heidelberg University(海德堡大学)
本文提出两种基于GPU的进程映射算法,通过分层多细分和多级图划分管道整合,实现高效的负载平衡与通信成本优化,具有显著的速度提升优势。
2026-03-13 cs.DC
Fantasy: Efficient Large-scale Vector Search on GPU Clusters with GPUDirect Async
University of California Santa Cruz(加州大学圣克鲁兹分校)
Fantasy通过在GPU集群中流水线向量搜索与数据传输,利用GPUDirect Async技术提高大规模向量搜索的效率和吞吐量。
2025-12-01 cs.DC
Fast Integral Histogram Computations on GPU for Real-Time Video Analytics
在许多多媒体内容分析框架中,表示为直方图的特征似然图在整个算法中起着关键作用。积分直方图为在恒定时间内提取多尺度基于直方图的区域描述符提供了有效的计算框架,这些区域描述符被认为是许多视频内容分析框架的主要构建块。我们评估四个不同的映射的积分直方图计算到图形处理单元(GPU)使用不同的内核优化策略。我们的内核以交叉编织或波前扫描顺序对行和列直方图执行累积求和,使用不同的数据组织和调度方法,这些方法严重影响GPU资源(核心和共享内存)的利用率。与基于条带的组织相比,将3D阵列平铺成更小的规则数据块显著加快了计算效率。与单线程顺序CPU实现相比,使用GTX Titan X图形卡,使用对角波前扫描的平铺积分直方图对于640 x 480图像和32个仓具有约300.4帧/秒的最佳性能,加速因子约为120。双缓冲已被利用来重叠跨图像序列的计算和通信。将积分直方图箱计算映射到多个GPU上使我们能够以0.73 Hz的帧速率和比单线程CPU实现高153倍的加速因子以及比16线程CPU实现高45倍的加速因子来处理32千兆字节的积分直方图数据(64 MB图像和128个箱)。
2017-11-06 cs.DC
Characterizing and Understanding GCNs on GPU
图卷积神经网络(GCN)在图结构数据分析方面已经取得了最先进的性能。与传统的神经网络一样,GCN的训练和推理都是通过GPU来加速的。因此,表征和理解GCN在GPU上的执行模式对于软件和硬件优化都很重要。不幸的是,据我们所知,GPU上没有GCN工作负载的详细表征工作。在本文中,我们在推理阶段描述GCN工作负载,并在NVIDIA V100 GPU上探索GCN模型。给出了表征和探索,我们提出了几个有用的指导方针,软件优化和硬件优化的GCN在GPU上的有效执行。
2020-01-28 cs.DC
Parallel Graph Coloring Algorithms for Distributed GPU Environments
图着色通常用于并行化在分布式和多GPU环境中运行的科学计算;它标识可以并行更新的独立数据集。在单个GPU或分布式存储器中存在许多用于图着色的算法,但据我们所知,混合MPI+GPU算法直到本工作才被探索。基于Gebremedhin等人的分布式着色算法和Deveci等人的共享内存着色算法,提出了几种MPI+GPU着色方法。节点上的并行着色使用KokkosKernels中的实现,它为多核CPU和GPU提供并行化。我们进一步扩展我们的方法来计算距离-2和部分距离-2着色,给出了第一个已知的分布式,多GPU算法,这些问题。此外,我们提出了一种新的启发式,以减少通信的分布式图着色的包围圈。我们的实验表明,我们的方法有效地运行在输入太大,适合在一个单一的GPU和扩展到图形与76.7十亿边运行在128个GPU。
2021-06-30 cs.DC cs.DM
Large-Scale Approximate k-NN Graph Construction on GPU
k-最近邻图是流形学习、机器学习和信息检索等学科中的关键数据结构,NN-下降算法是解决k-最近邻图构造问题的有效方法。然而,它不能直接移植到GPU由于密集的内存访问所需的方法。在本文中,NN-Descent已被重新设计,以适应GPU架构。特别是,存储器访问的次数已显著减少。重新设计充分利用了GPU硬件的并行性。同时,NN-Descent的通用性和简单性得到了很好的保留。此外,一个简单而有效的k-NN图合并方法。它允许两个图形在GPU上有效地合并。更重要的是,它使得为GPU内存外的数据集构建高质量的k-NN图变得容易。结果表明,我们的方法比单线程NN-Descent快100- 250倍,比现有的基于GPU的方法快2.5- 5倍。
2021-03-29 cs.DC cs.IR
GNNAdvisor: An Adaptive and Efficient Runtime System for GNN Acceleration on GPUs
作为基于图的深度学习的新兴趋势,图神经网络(GNN)因其生成高质量节点特征向量(嵌入)的能力而脱颖而出。然而,现有的一刀切的GNN实现不足以赶上不断发展的GNN架构,不断增加的图形大小和不同的节点嵌入维度。为此,我们提出了\textbf{GNNAdvisor},一个自适应和高效的运行时系统,以加速GPU平台上的各种GNN工作负载。首先,GNNAvisor从GNN模型和输入图中探索并识别出几个与性能相关的特征,并将其用作GNN加速的新驱动力。其次,GNNAvisor实现了一种新颖高效的2D工作负载管理,专为GNN计算量身定制,以提高不同应用设置下的GPU利用率和性能。第三,GNNAvisor利用GPU的存储层次结构,根据GPU内存结构和GNN工作负载的特点,优雅地协调GNN的执行,从而实现加速。此外,为了实现自动运行时优化,GNNAvisor集成了一个轻量级的分析模型,用于有效的设计参数搜索。广泛的实验表明,GNNAvisor在各种数据集的主流GNN架构上的性能优于最先进的GNN计算框架,例如Deep Graph Library(平均速度快于$3.02\times$)和NeuGraph(快于$4.10\times$)。
2021-06-20 cs.DC
Combining Performance and Productivity: Accelerating the Network Sensing Graph Challenge with GPUs and Commodity Data Science Software
针对匿名网络感知图挑战赛的端到端复杂工作负载,研究用数据科学语言解读GraphBLAS公式,基于NVIDIA RAPIDS生态的现成ETL工具实现GPU加速,在多款NVIDIA GPU上较CPU版Pandas代码获百倍至千倍以上加速。
2025-09-03 cs.DC
Helios: An Efficient Out-of-core GNN Training System on Terabyte-scale Graphs with In-memory Performance
针对单机 TB 级图 GNN 训练的磁盘 IO 与 GPU 利用率瓶颈,本文提出 Helios,通过 GPU 发起异步 IO、GPU 管理异构缓存和 GNN 感知深度流水线,达到内存系统级吞吐量。
2023-10-02 cs.DC
Exploring the Limits of GPUs With Parallel Graph Algorithms
在本文中,我们探讨了通用并行计算的图形处理器(GPU)的限制,通过研究问题,需要高度不规则的数据访问模式:列表排名和连接组件的并行图算法。这样的图形问题代表了合并GPU上的并行存储器访问的最坏情况,这对于良好的GPU性能至关重要。我们的实验研究表明,PRAM算法是一个很好的起点,开发高效的并行GPU方法,但需要非平凡的修改,以确保良好的GPU性能。我们提出了一套指导方针,帮助算法设计人员适应PRAM图算法的并行GPU计算。我们指出,GPU的并行图形算法的研究是更广泛的兴趣,一般的离散和组合问题,因为这些问题中的许多需要类似的不规则的数据访问模式。
2010-02-24 cs.CC cs.DC cs.DS
A Hybrid Graph Coloring Algorithm for GPUs
图算法主要分为拓扑驱动和数据驱动两大类。数据驱动的方法维护一个活动节点的工作列表,这些节点上的工作必须完成。拓扑驱动的方法扫描整个图以找到活动节点。杂交是一种优化技术,其中在每次迭代中,基于工作列表大小以拓扑驱动或数据驱动的方式进行计算。在混合实现中,需要在拓扑驱动和数据驱动方法之间切换。通常,工作列表仅在算法的数据驱动部分中维护,而在拓扑驱动部分中丢弃。我们提出了一个变种的杂交,其中一个工作列表是保持在整个算法的所有迭代,仍然显示它比这两个,拓扑驱动和数据驱动的方法更快。我们考虑一个图着色算法称为IPGC(迭代并行图着色),并实现了一个混合版本相同的图域特定的语言称为IrGL。我们在NVIDIA GPU上的一套10个大型图形上观察到2.13倍的IPGC数据驱动实现的平均加速。
2019-12-03 cs.DC
A GPU implementation of the Simulated Annealing Heuristic for the Quadratic Assignment Problem
二次分配问题是组合优化中最困难的问题之一。一个有效的启发式获得近似解的QAP是模拟退火(SA)。在这里,我们描述了一个SA实现的QAP上运行的图形处理单元(GPU)。GPU由低成本商品图形芯片组成,其组合为通用并行计算提供了强大的平台。对于SA运行大量的迭代,我们发现性能比最近的非并行但非常有效的QAP SA实现好50-100倍
2012-08-13 cs.DC
A Data as a Service (DaaS) Model for GPU-based Data Analytics
具有要为消费者提供的资源的基于云的服务越来越成为规范,特别是对于大数据、时空数据采掘和应用服务,这些服务强加用户同意的服务质量(QoS)规则或服务水平协议(SLA)。考虑到数据中心和云系统的普遍性,需要考虑成本,效用和能源的系统的实时分析。本文提出了一种用于数据即服务(DaaS)的GPU系统的覆盖模型,以提供来自数据中心或云系统的网络数据、客户、投资者和用户数据的实时数据分析。使用一个模型层来定义一个学习协议和系统,我们给出了一个定制的,有利可图的系统在GPU上的DaaS。如结果所示,支持GPU的聚类模型分析的预处理和初始操作是有希望的。我们在真实世界的数据集上检查模型,以建模大数据集或时空数据采掘服务。我们还使用聚类、神经网络的自组织特征映射(SOFM或SOM)来生成我们的模型的结果,以生成DaaS模型的聚类分布。到目前为止的实验结果表明,一个有前途的模型,可以提高SLA和/或QoS的DaaS。
2018-02-05 cs.DC
Accelerating Graph Sampling for Graph Machine Learning using GPUs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Northeastern University(东北大学)
表示学习算法自动学习数据的特征。图数据的几种表示学习算法,如DeepWalk,node 2 vec和GraphSAGE,对图进行采样以产生适合于训练DNN的小批量。然而,采样时间可能是训练时间的很大一部分,并且现有系统不能有效地并行采样。采样是一个非常复杂的并行问题,可能会出现GPU加速,但图形的不规则性使得很难有效地使用GPU资源。本文介绍了NextDoor,一个旨在有效地在GPU上执行图形采样的系统。NextDoor采用了一种新的图形采样方法,我们称之为transit-parallelism,它允许负载均衡和边缘缓存。NextDoor为最终用户提供了编写各种图形采样算法的高级抽象。我们实现了几个图形采样应用程序,并表明NextDoor运行它们的数量级比现有的系统更快。
2021-05-11 cs.DC cs.LG
Complete PISO and SIMPLE solvers on Graphics Processing Units
利用CUDA技术在Fermi级图形处理器上实现了Navier-Stokes方程的压力隐式分裂算子(PISO)和压力关联方程半隐式方法(SIMPLE)求解器。我们还介绍了一种新的稀疏矩阵格式,用于在GPU上执行基本CFD操作,如梯度或散度离散化。通过对几个标准问题、定常问题和非定常问题的计算,验证了该方法的有效性. GPU实现的计算效率通过比较其双精度的运行时间与OpenFOAM中实现的基本相同的算法进行了检查。结果显示,GPU(Tesla C2070)的性能比服务器级6核12线程CPU(Intel Xeon X5670)高出4.2倍。
2012-07-06 cs.DC
Specializing Coherence, Consistency, and Push/Pull for GPU Graph Analytics
这项工作提供了第一项研究,以探索更新传播的相互作用,有和没有细粒度的同步(推与拉),新兴的一致性协议(GPU与DeNovo一致性),和以软件为中心的一致性模型(DRF 0,DRF 1和DRFrlx)的图形工作负载与本地统一共享内存的新兴集成GPU-CPU系统。我们研究了6个图形应用程序,其中6个图形输入用于在12个系统(硬件+软件)配置上运行的总共36个工作负载,这些配置反映了更新传播,一致性和内存一致性的上述设计空间。我们做出了三个重要贡献。首先,我们表明,对于所有工作负载,没有单一的最佳系统配置,激励系统具有灵活的一致性和一致性支持。其次,我们开发了一个模型,以准确地预测最佳的系统配置-该模型可以由软件设计人员使用,以决定推与拉和一致性模型和灵活的硬件调用适当的一致性和一致性配置为给定的工作负载。第三,我们表明,这里探索的设计维度是相互依赖的,加强了上述设计维度的软硬件协同设计的需要。例如,软件设计人员在决定推还是拉时必须考虑硬件支持的一致性模型--在某些情况下,如果硬件支持DRFrlx,推可能更好,而如果硬件不支持DRFrlx,拉可能更好。
2020-02-25 cs.DC
Compilation Techniques for Graph Algorithms on GPUs
图形程序的性能在很大程度上取决于算法、输入图形的大小和结构以及底层硬件的特性。没有一组优化或一个硬件平台可以在所有设置中很好地工作。为了实现高性能,程序员必须仔细选择要使用哪组优化和硬件平台。GraphIt程序设计语言使程序员只需编写一次算法,并使用调度语言针对不同的输入进行优化。然而,GraphIt目前不支持为GPU生成高性能代码。为了在GPU上实现高性能,程序员必须采用一种具有完全不同的抽象和优化集的低级语言从头开始重新实现整个算法。我们提出GG,一个扩展的GraphIt编译器框架,实现高性能的CPU和GPU使用相同的算法规范。GG通过一种新的GPU调度语言和编译器显着扩展了GPU图形处理框架的优化空间,该语言和编译器支持为GPU组合图形优化。GG还引入了基于边缘的线程扭曲CTA负载均衡(ETWC)和边缘阻塞(EdgeBlocking)两种性能优化,为GPU拓展了优化空间。ETWC通过动态地将每个顶点的边划分为分配给线程、线程束和CTA以供执行的块来改进负载均衡。EdgeBlocking通过重新排序边和限制随机内存访问以适应L2缓存来提高程序的局部性。我们在Pascal和Volta两代NVIDIA GPU上对5种算法和9种输入图形进行了评估,结果表明,它在最先进的GPU图形处理框架上实现了高达5.11倍的加速比,并且在90个实验中的66个实验中是最快的。
2021-01-08 cs.DC cs.PL
OpenGraphGym-MG: Using Reinforcement Learning to Solve Large Graph Optimization Problems on MultiGPU Systems
大规模图优化问题出现在许多领域。本文提出了一个可扩展的高性能框架(名为OpenGraphGym-MG),它使用深度强化学习和图嵌入来解决多GPU的大型图优化问题。本文采用了一种通用的强化学习算法(深度Q学习)和一个代表性的图嵌入(structure 2 vec)来展示框架的可扩展性,并且最重要的是,说明新颖的优化技术,例如空间并行性、图级和节点级批处理、分布式稀疏图存储、高效的并行RL训练和推理算法、重复的梯度下降迭代、和自适应多节点选择。该研究从并行效率和内存开销两个方面进行了全面的性能分析,证明了并行RL训练和推理算法在多个GPU上的高效性和高度可扩展性。该研究还使用Summit超级计算机的单个计算节点(具有六个GPU)进行了一系列大型图形实验,包括生成的图形(超过3000万条边)和真实世界的图形。在RL训练和推理方面都实现了良好的可扩展性:随着GPU数量从1增加到6,在具有超过3000万条边的大型图上,单步的RL训练和单步的RL推理的时间分别从316.4s减少到54.5s和23.8s减少到3.4s。单节点上的研究成果为未来解决Summit中跨多个节点的大量GPU的图优化问题奠定了坚实的基础。
2021-06-24 cs.DC
Meerkat: A framework for Dynamic Graph Algorithms on GPUs
本文提出 GPU 动态图库 Meerkat,采用基于哈希表的邻域表示与 warp 协作执行,实现多种动态图算法,并在查询、更新及算法性能上显著优于 Hornet。
2023-06-02 cs.DC