VersaGNN: a Versatile accelerator for Graph neural networks
University of California Los Angeles(加州大学洛杉矶分校)
\textit{Graph Neural Network}(GNN)是一种很有前途的分析图结构数据的方法,它通过节点级消息传递巧妙地捕获它们的依赖信息。它在节点分类、图匹配、聚类和图生成等许多任务中都取得了最先进的性能。由于GNN在非欧几里德数据上操作,它们不规则的数据访问模式会在传统架构(如GPU和CPU)上造成相当大的计算成本和开销。我们的分析表明,GNN采用混合计算模型。\textit{Aggregation}(或\textit{Message Passing})阶段执行向量加法,其中以不规则步幅获取向量。\textit{Transformation}(或\textit{Node Embedding})阶段可以是密集矩阵乘法或稀疏-密集矩阵乘法。在这项工作中,我们提出了\textit{VersaGNN},一个超高效的,基于systolic-array的通用硬件加速器,统一了密集和稀疏矩阵乘法。通过将这种单一优化的脉动阵列应用于聚合和转换阶段,我们显着降低了芯片尺寸和能耗。然后,我们将计算引擎划分为分块脉动阵列,以支持\textit{Strassen}的密集矩阵乘法算法,从而大大减少乘法的数量,并实现GNN的高吞吐量计算。为了平衡稀疏-密集矩阵乘法的工作量,我们还引入了一种贪婪算法,将压缩格式的稀疏子矩阵合并为压缩子矩阵,以减少计算周期。与当前最先进的GNN软件框架相比,\te…
2021-05-04 cs.AI cs.AR cs.LG
NeuraChip: Accelerating GNN Computations with a Hash-based Decoupled Spatial Accelerator
Northeastern University(东北大学);KAIST(韩国科学技术院);Universidad de Murcia(穆尔西亚大学);Boston University(波士顿大学)
提出基于Gustavson算法的GNN空间加速器NeuraChip,通过解耦稀疏矩阵乘法计算、滚动逐出策略和动态重置种子的哈希映射实现负载均衡,显著提升了计算速度并开源了模拟器NeuraSim。
2024-04-26 cs.AR cs.DC cs.LG
Reducing Down(stream)time: Pretraining Molecular GNNs using Heterogeneous AI Accelerators
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Washington(华盛顿大学);IBM Research(IBM研究院);Graphcore
迁移学习的成功已经推广了一些方法,这些方法涉及从大量数据源中预训练模型,然后针对特定任务进行微调。虽然这种方法已经成为自然语言处理等领域的标准,但化学迁移学习方法的实施和评估仍处于早期阶段。在这项工作中,我们展示了在包含270万个水簇的分子数据库上训练的图神经网络(GNN)的下游任务的微调。使用Graphcore IPU作为训练分子GNN的AI加速器,将训练时间从0.5M集群上的2.7天减少到2.7M集群上的1.2小时。在单个GPU上,微调分子动力学下游任务的预训练模型和转移到不同的势能表面分别只需8.3小时和28分钟。
2022-11-08 cs.LG physics.atm-clus
H-GCN: A Graph Convolutional Network Accelerator on Versal ACAP Architecture
Washington State University(华盛顿州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);Boston University(波士顿大学);University of Rochester(罗切斯特大学);Indiana University(印第安纳大学)
图神经网络(GNN)由于其将机器学习(ML)方法扩展到广泛定义为具有非结构化数据(特别是图)的应用的独特能力而引起了极大的关注。与其他机器学习(ML)模式相比,由于图类型学的不规则性和异构性,图神经网络(GNNs)的加速更具挑战性。然而,现有的工作主要集中在处理图的不规则性,并没有研究其异质性。为此,我们提出了H-GCN,这是一种基于PL(可编程逻辑)和AIE(AI引擎)的混合加速器,它利用Xilinx Versal自适应计算加速平台(ACAPs)的新兴异构性来实现高性能GNN推理。特别地,H-GCN基于其固有的异质性将每个图划分为三个子图,并分别使用PL和AIE处理它们。为了进一步提高性能,我们探索了AIE的稀疏支持,并开发了一种有效的密度感知方法来自动将稀疏矩阵-矩阵乘法(SpMM)的瓦片映射到收缩张量阵列上。与现有的GCN加速器相比,H-GCN加速器的平均加速比为1.1~ 2.3倍。
2022-06-28 cs.AR cs.LG
Computing Graph Neural Networks: A Survey from Algorithms to Accelerators
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
近年来,图神经网络(GNN)由于其从图结构数据中建模和学习的能力而在机器学习领域迅速发展。这种能力在数据固有相关性的各种各样的领域中具有很强的意义,传统的神经网络在这些领域中表现不佳。事实上,正如最近的评论可以证明的那样,GNN领域的研究发展迅速,并导致了各种GNN算法变体的开发,以及对化学,神经学,电子学或通信网络等领域突破性应用的探索。然而,在目前的研究阶段,GNN的有效处理仍然是一个开放的挑战,原因有几个。除了它们的新颖性之外,GNN很难计算,因为它们依赖于输入图,它们的密集和非常稀疏的操作组合,或者在某些应用中需要扩展到巨大的图。在这方面,本文旨在作出两个主要贡献。一方面,从计算的角度对GNN领域进行了回顾。这包括GNN基础知识的简短教程,过去十年该领域发展的概述,以及不同GNN算法变体多个阶段中执行的操作总结。另一方面,深入分析了当前的软件和硬件加速方案,从中提炼出GNN加速器的硬件-软件,图形感知和以通信为中心的愿景。
2021-07-23 cs.DC cs.LG stat.ML
Accelerating Generic Graph Neural Networks via Architecture, Compiler, Partition Method Co-Design
Shanghai Jiao Tong University(上海交通大学)
本文提出SwitchBlade协同设计框架,通过分区级算子融合、多线程和细粒度图分区,在支持通用GNN的同时实现优于V100且媲美专用加速器的性能与能效。
2023-08-16 cs.AR cs.LG
A Data-Driven Approach to Dataflow-Aware Online Scheduling for Graph Neural Network Inference
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);University of Catania(卡塔尼亚大学)
针对不同数据流和图属性导致GNN加速器性能差异未被充分探索的问题,提出数据驱动框架预测延迟并引入在线调度算法,实现最优数据流选择,显著提升推理效率。
2024-11-25 cs.AR cs.LG
BlockGNN: Towards Efficient GNN Acceleration Using Block-Circulant Weight Matrices
Peking University(北京大学);Advanced Institute of Information Technology, Peking University(北京大学高等信息研究院)
近年来,图神经网络(GNNs)似乎是分析非欧图数据的最先进算法。通过应用深度学习从图结构中提取高级表示,GNN在各种任务中实现了非凡的准确性和强大的泛化能力。然而,随着图形尺寸的不断增加,越来越复杂的GNN层和更高的特征维数,GNN的计算复杂性呈指数增长。如何实时的推理GNN已经成为一个具有挑战性的问题,特别是对于一些资源有限的边缘计算平台。为了应对这一挑战,我们提出了BlockGNN,这是一种实现高效GNN加速的软硬件协同设计方法。在算法层面,我们建议利用块循环权重矩阵来大大降低各种GNN模型的复杂性。在硬件设计层面,我们提出了一种流水线CirCore架构,支持高效的块循环矩阵计算。基于CirCore,我们提出了一种新的BlockGNN加速器来计算各种低延迟的GNN。此外,为了确定不同的部署任务的最佳配置,我们还引入了一个性能和资源模型,帮助自动选择最佳的硬件参数。ZC 706 FPGA平台上的全面实验表明,在各种GNN任务上,与基线HyGCN架构相比,BlockGNN实现了高达$8.3\times$的加速,并且与Intel Xeon CPU平台相比,实现了$111.9\times$的节能。
2021-06-25 cs.AI cs.AR cs.LG
Enabling Automated FPGA Accelerator Optimization Using Graph Neural Networks
University of California - Los Angeles(加利福尼亚大学洛杉矶分校)
高级综合(HLS)使计算机架构师从用非常低级语言开发他们的设计中解放出来,并且不需要精确地指定数据应该如何在寄存器级传输。在HLS的帮助下,硬件设计人员只需描述设计的高级行为流程。尽管如此,开发一个高性能的架构仍然需要几周的时间,主要是因为在更高的级别上有许多设计选择,需要更多的时间来探索。从HLS工具获得关于每个设计候选者的质量的反馈也需要几分钟到几个小时。在本文中,我们提出了解决这个问题的建模HLS工具与图神经网络(GNN),被训练用于广泛的应用。实验结果表明,通过采用基于GNN的模型,我们能够在毫秒内以高精度估计设计质量,这可以帮助我们非常快速地搜索解决方案空间。
2021-11-22 cs.AR cs.LG
Hardware Acceleration of Sampling Algorithms in Sample and Aggregate Graph Neural Networks
University of Science and Technology of China(中国科学技术大学)
采样是许多GNN结构中的重要过程,以便以较小的计算复杂性训练较大的数据集。然而,与GNN中的其他过程(如聚合,反向传播)相比,采样过程仍然花费大量时间,这限制了训练的速度。为了减少采样时间,硬件加速是理想的选择。然而,最先进的GNN加速提案没有指定如何加速采样过程。另外,直接对传统的采样算法进行加速会使加速器的结构变得非常复杂。在这项工作中,我们做出了两个贡献:(1)提出了一种新的邻居采样器:CONCAT Sampler,可以在硬件层面轻松加速,同时保证测试准确性。(2)设计了一种基于FPGA的CONCAT采样加速器,使用该加速器,相邻采样过程的速度比不使用加速器时提高了300-1000倍。
2022-09-07 cs.AR cs.LG
PyGFI: Analyzing and Enhancing Robustness of Graph Neural Networks Against Hardware Errors
Villanova University(维拉诺瓦大学);Meta Platforms Inc.(元平台公司)
本文首次通过基于 PyTorch 的定制故障注入工具大规模评估 GNN 的硬件错误弹性,揭示模型与数据集间的显著差异,并提出低成本缓解机制以指导加速器设计。
2023-04-24 cs.LG
GNNIE: GNN Inference Engine with Load-balancing and Graph-Specific Caching
University of Minnesota(明尼苏达大学)
图神经网络(GNN)分析引擎对于使用大型图模型的现实问题至关重要。GNN硬件平台的挑战包括以下能力:(a)托管各种GNN,(b)处理输入顶点特征向量和图邻接矩阵以及伴随的随机内存访问模式中的高稀疏性,以及(c)在面对由高稀疏性和幂律顶点度分布引起的不均匀工作负载时保持负载平衡计算。本文提出了GNNIE,这是一个旨在运行各种GNN的加速器。它解决了工作负载不平衡(i)~分裂顶点特征操作数到块,(ii)~重新排序和重新分配计算,(iii)~使用一种新的灵活的MAC架构。它采用了一个特定于图形的,度感知的缓存策略,非常适合现实世界的图形特征。该策略增强了片上数据重用,避免了对DRAM的随机内存访问。GNNIE在图形注意力网络(GAT)、图卷积网络(GCN)、GraphSAGE、GINConv和DiffPool上的多个数据集上,在CPU上实现了21233倍的平均加速,在GPU上实现了699倍的加速。与之前的方法相比,GNNIE在GCN、GraphSAGE和GINConv上实现了35倍于HyGCN(无法实现GAT)的平均加速,并且使用了3.4倍的处理单元,平均加速比AWB-GCN(仅运行GCN)高出2.1倍。
2021-08-07 cs.AR cs.LG
GNNear: Accelerating Full-Batch Training of Graph Neural Networks with Near-Memory Processing
Peking University(北京大学);Alibaba Group(阿里巴巴集团);Beijing Advanced Innovation Center for Integrated Circuits(北京集成电路高精尖创新中心)
最近,图神经网络(GNN)已经成为分析非欧几里德图数据的最先进的算法。然而,实现有效的GNN训练是具有挑战性的,特别是在大型图上。原因有很多:1)GNN训练会占用大量内存。在大型图上进行全批训练甚至需要数百到数千GB的内存。2)GNN训练涉及内存密集型和计算密集型操作,挑战当前的CPU/GPU平台。3)图形的不规则性会导致严重的资源利用不足和负载不平衡问题。本文提出了一个GNNear加速器来应对这些挑战。GNNear采用基于DIMM的存储系统,提供足够的存储容量。为了匹配GNN训练的异构性,我们将内存密集型Reduce操作卸载到DIMM内的Near-Memory-Engines(NME),充分利用高聚合本地带宽。我们采用了一个集中加速引擎(CAE)来处理计算密集型的更新操作。我们进一步提出了几种优化策略来处理输入图的不规则性,提高GNNear的性能。通过对16个GNN训练任务的综合评估,GNNear与Xeon E5-2698-v4 CPU和NVIDIA V100 GPU相比,实现了30.8 $\times$ /2.5 $\times$几何平均加速比和79.6 $\times$ /7.3 $\times$(几何平均)能效提升。
2022-08-16 cs.AR cs.LG
FlowGNN: A Dataflow Architecture for Real-Time Workload-Agnostic Graph Neural Network Inference
Georgia Institute of Technology(佐治亚理工学院)
图神经网络(GNN)最近受到了广泛的欢迎,这要归功于它们对量子化学、药物发现和高能物理等图形相关问题的广泛适用性。然而,由于开发高效的加速器和快速创建新的GNN模型之间的差距,同时满足对新的GNN模型和快速推理的需求是具有挑战性的。现有技术集中于加速特定类别的GNN,例如图卷积网络(GCN),但缺乏支持广泛范围的现有或新的GNN模型的一般性。此外,大多数作品依赖于图的预处理,以利用数据的局部性,使他们不适合实时的【形】应用程序。为了解决这些限制,在这项工作中,我们提出了一个通用的GNN加速架构,名为FlowGNN,它可推广到大多数消息传递GNN。贡献是三方面的。首先,我们提出了一种新颖的和可扩展的的GNN架构,它通常支持广泛的GNN模型与消息传递机制。该架构具有一个可配置的并行优化,用于同时计算节点嵌入,边缘嵌入和消息传递,这通常适用于所有模型。我们还提出了一个丰富的模型特定的组件库。其次,我们提供了超快的实时的【形】GNN推理,而无需任何图形预处理,使其与动态变化的图形结构无关。第三,我们在Xilinx Alveo U 50 FPGA板上验证了我们的架构,并测量了板上端到端性能。我们在CPU(6226 R)上实现了高达24- 254倍的加速,在GPU(A6000)上实现了1.3- 477倍的加速(批量大小为1到1024);我们还在四个数据集上以1.26倍的加速和1.55倍的能效优…
2022-10-19 cs.DC cs.LG
DGNN-Booster: A Generic FPGA Accelerator Framework For Dynamic Graph Neural Network Inference
Georgia Institute of Technology(佐治亚理工学院)
本文提出DGNN-Booster,一种基于HLS的通用FPGA加速器框架,通过两种数据流设计支持主流动态图神经网络实时推理,在ZCU102上实现最高5.6倍于CPU、8.4倍于GPU的加速,并显著提升能效。
2023-04-13 cs.AI cs.AR cs.LG
Revisiting Pre-Propagation GNNs: Robust Diffusion Operators and Hidden-State Re-Propagation
School of Electrical and Computer Engineering, Cornell University, Ithaca, New York, USA(电气与计算机工程系,康奈尔大学,纽约州伊萨卡市)
提出鲁棒图扩散算子和少量隐状态再传播方案,使预传播图神经网络在保持训练效率的同时匹配消息传递图神经网络的精度。
2026-05-24 cs.LG
Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis
ETH Zurich(苏黎世联邦理工学院)
本文构建GNN并行性分类体系,结合工作深度、通信与同步分析,系统评估模型、任务、框架和加速器,并推广消息传递流水线以指导高效并行GNN设计。
2023-08-17 cs.AR cs.DC cs.LG
Characterizing the Communication Requirements of GNN Accelerators: A Model-Based Approach
现实世界中的关系数据需要能够准确研究它的工具。在这方面,图神经网络(GNN)是一种强大的工具,其中在过去十年中还开发了用于它的各种模型。最近,人们大力推动创建加速器,以加快GNN的推理和训练过程。然而,这些加速器并没有深入研究其数据流对整体数据移动的影响,因此也没有深入研究其对通信需求的影响。在本文中,我们制定了分析模型,捕获最新GNN加速器框架中的数据移动量。具体而言,所提出的模型捕获这些加速器设计的流程和硬件设置,并针对一组硬件、GNN模型和输入图形参数暴露其可扩展性特征。此外,所提出的方法提供了不同的GNN加速器的比较分析的手段。
2021-03-18 cs.AR
MaxK-GNN: Extremely Fast GPU Kernel Design for Accelerating Graph Neural Networks Training
University of Connecticut(康涅狄格大学);Northeastern University(东北大学)
MaxK-GNN通过算法与系统垂直优化,引入MaxK非线性和CBSR格式,设计高效前向与后向内核,在Reddit上实现3.22/4.24倍加速,接近理论极限。
2024-03-19 cs.AI cs.DC cs.LG
GenGNN: A Generic FPGA Framework for Graph Neural Network Acceleration
Georgia Institute of Technology(佐治亚理工学院);Beijing University of Posts and Telecommunications(北京邮电大学)
图神经网络(GNN)最近大受欢迎,这要归功于它们对无处不在的图相关问题(如量子化学、药物发现和高能物理)的广泛适用性。然而,同时满足对新GNN模型和快速推理的需求是具有挑战性的,因为开发高效FPGA加速器的难度与创建新GNN模型的快速步伐之间存在差距。现有技术集中于特定类别的GNN的加速,但缺乏跨现有模型工作或扩展到新的和新兴的GNN模型的一般性。在这项工作中,我们提出了一个通用的GNN加速框架,使用高级合成(HLS),命名为GenGNN,具有双重目标。首先,我们的目标是提供超快的GNN推理,而无需任何图形预处理以满足实时要求。其次,我们的目标是支持一组不同的GNN模型,并具有灵活适应新模型的可扩展性。该框架具有适用于所有模型的优化消息传递结构,并结合了丰富的模型特定组件库。我们在Xilinx Alveo U50 FPGA上验证了我们的实现,并观察到相对于CPU(6226 R)基线的速度提高了25倍,相对于GPU(A6000)基线的速度提高了13倍。我们的HLS代码将在接受后在GitHub上开源。
2022-01-20 cs.DC cs.LG
Bit-Flip Fault Attack: Crushing Graph Neural Networks via Gradual Bit Search
Department of Electrical and Computer Engineering(电气与计算机工程系);George Mason University(乔治·马歇尔大学)
本文提出渐进比特翻转故障攻击(GBFA),通过层感知策略和马尔可夫模型预测层执行顺序,利用梯度排序定位脆弱比特,以最少比特翻转显著降低GNN在节点分类任务上的预测精度。
2025-07-07 cs.AR cs.LG
GNNavigator: Towards Adaptive Training of Graph Neural Networks via Automatic Guideline Exploration
Beihang University(北京航空航天大学);CUHK(香港中文大学)
针对图神经网络训练中成本、内存与精度难以平衡且现有方法适应性不足的问题,提出自适应训练配置优化框架GNNavigator,通过软硬件协同抽象等技术实现最高3.1倍加速与44.9%峰值内存降低,且精度持平最优水平。
2024-04-15 cs.AI cs.LG
B-cos GNNs: Faithful Explanations through Dynamic Linearity
Saarland Informatics Campus, Saarland University(萨尔兰信息学校区,萨尔兰大学);DFKI
提出B-cos GNNs,一种内在可解释的图神经网络,通过单个输入依赖的线性映射将预测精确分解为每个节点、每个特征的贡献,在保持高解释性的同时牺牲少量预测精度。
2026-05-27 cs.LG
Dynamic Portfolio Rebalancing: A Hybrid new Model Using GNNs and Pathfinding for Cost Efficiency
本文提出一种混合模型,利用图神经网络预测交易成本并结合Dijkstra算法寻找最低成本再平衡路径,以显著降低投资组合再平衡的交易成本。
2024-10-02 cs.LG q-fin.PM
Panther: A Cost-Effective Privacy-Preserving Framework for GNN Training and Inference Services in Cloud Environments
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);College of Information Engineering, Shanghai Maritime University(上海 Maritime University 信息工程学院)
Panther是一种在云环境中降低GNN隐私保护成本的框架,通过异步四方计算和随机填充技术,显著减少训练和推理时间及通信开销。
2025-11-03 cs.CR cs.LG
BitGNN: Unleashing the Performance Potential of Binary Graph Neural Networks on GPUs
North Carolina State University(北卡罗来纳州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出 BitGNN,面向 GPU 位操作特性重构二元 GNN 推理后端,在保持准确率不变的情况下较现有实现提速 8–22 倍。
2023-06-03 cs.DC cs.LG
Model-Architecture Co-Design for High Performance Temporal GNN Inference on FPGA
University of Southern California(南加州大学);US Army Research Lab(美国陆军研究实验室)
时态图神经网络(TGNNs)是一种在时态图上捕捉时态、结构和上下文信息的强大模型。在许多下游任务中,生成的时间节点嵌入优于其他方法。现实世界的应用需要高性能的实时流动态图的推理。然而,这些模型通常依赖于复杂的注意力机制来捕捉时间邻居之间的关系。此外,维护顶点存储器受到内在的时间数据依赖性的影响,这阻碍了任务级并行性,使其在通用处理器上效率低下。在这项工作中,我们提出了一种新的模型架构的协同设计,在基于内存的TGNNs的FPGA上的推理。我们提出的关键建模优化包括一个轻量级的方法来计算注意力分数和相关的时间邻居修剪策略,以进一步减少计算和内存访问。这些都与利用FPGA硬件的关键硬件优化相结合。我们用基于FIFO的硬件采样器代替时间采样器,用查找表代替时间编码器。我们使用知识蒸馏来训练我们的简化模型,以确保与原始模型相似的精度。利用模型优化,我们提出了一个原则性的硬件架构,使用并行处理,流水线,和预取技术,以进一步提高性能。我们还提出了一个硬件机制,以确保按时间顺序的顶点更新,而不牺牲计算并行性。我们评估三个真实世界的数据集上的性能的硬件加速器。
2022-03-10 cs.AR cs.LG
GSR-GNN: Training Acceleration and Memory-Saving Framework of Deep GNNs on Circuit Graph
University of Minnesota, Twin Cities(明尼苏达大学双城分校);New York University(纽约大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文提出GSR-GNN框架,通过可逆残差模块和分组稀疏非线性操作,实现深度GNN在大规模电路图上的高效训练,达到87.2%的内存节省和30倍以上的加速,同时保持相关质量指标的稳定。
2026-03-28 cs.AI cs.LG
SFR-GNN: Simple and Fast Robust GNNs against Structural Attacks
The Hong Kong Polytechnic University(香港理工大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学)
本文提出 SFR-GNN,利用互信息理论,通过节点属性预训练和对比学习微调,在不净化修改结构、不进行自适应聚合的情况下高效防御图结构攻击,实现 24%--162% 加速并提升节点分类鲁棒性。
2024-09-01 cs.AI cs.LG
Cost Sensitive GNN-based Imbalanced Learning for Mobile Social Network Fraud Detection
National Digital Switching System Engineering and Technological Research Center(国家数字交换系统工程技术研究中心);University of Toronto(多伦多大学);Fudan University(复旦大学)
随着移动网络的快速发展,人们的社交活动得到了极大的便利。然而,移动社交网络欺诈在这些网络上的兴起,已经造成了很大的困扰,在耗尽个人和社会财富的情况下,然后可能造成重大的经济损害。为了检测欺诈用户,描绘移动网络中用户的社交行为的呼叫详细记录(CDR)数据已经被广泛利用。但是,上述数据中的不平衡问题,这可能会严重阻碍基于图神经网络(GNN)的欺诈检测器的有效性,在以前的工作中几乎没有解决。本文将代价敏感学习与图神经网络相结合,提出了一种新的代价敏感图神经网络(CSGNN)。我们对两个开源的真实移动网络欺诈数据集进行了广泛的实验。实验结果表明,CSGNN能有效地解决图的不平衡问题,从而获得比现有算法更好的检测性能。我们相信我们的研究可以应用到解决其他领域的图不平衡问题。CSGNN代码和数据集可在https://github.com/xxhu94/CSGNN上公开获取。
2023-03-28 cs.AI cs.LG cs.SI
GNN at the Edge: Cost-Efficient Graph Neural Network Processing over Distributed Edge Servers
Sun Yat-sen University(中山大学)
边缘智能已经成为一种有前途的计算范例,用于支持依赖于机器学习技术的各种智能应用程序。虽然社区已经广泛研究了传统深度学习模型(例如CNN,RNN)的多层边缘部署,但新兴的图神经网络(GNN)仍在探索中,与其广泛的边缘采用(如交通流量预测和基于位置的社交推荐)存在明显差异。为了弥补这一差距,本文正式研究了多层异构边缘网络上分布式GNN处理的成本优化问题。我们建立了一个全面的建模框架,可以捕获各种不同的成本因素,在此基础上,我们制定了一个具有成本效益的图布局优化问题,被证明是NP-难的。我们从理论上揭示了GNN独特的计算模式中所涉及的二次子模块化的结构特性,而不是简单地应用传统的数据放置智慧,这促使我们设计了一个利用图切割的高效迭代解决方案。严格的分析表明,它提供了参数化的常数逼近比,保证收敛性,和准确的可行性。为了解决GNN处理中潜在的图拓扑演化问题,我们进一步设计了一种增量更新策略和一种轻量级动态布局优化的自适应调度算法。对真实数据集和各种GNN基准的评估表明,我们的方法在快速收敛速度下实现了超过事实基线的卓越性能,成本降低了95.8%以上。
2022-10-31 cs.DC cs.LG cs.NI
Heuristic Methods are Good Teachers to Distill MLPs for Graph Link Prediction
University of California Los Angeles(加州大学洛杉矶分校);Harvard University(哈佛大学);Snap Inc.(Snap公司)
本文提出EHDM方法,通过启发式方法提炼MLP,有效提升图链接预测性能并降低训练成本。
2026-02-15 cs.AI cs.LG
Message Passing on the Edge: Towards Scalable and Expressive GNNs
IMC UC(智利天主教大学工程与计算机科学学院);CENIA(信息学与数据科学基础研究中心);IMFD(数据基础研究所);TU Wien(维也纳工业大学)
本文提出EB-GNN,一种基于边的信息传递图神经网络,理论证明其比1WL更具表达力,并在实际应用中表现出高效性和竞争力。
2026-01-30 cs.AI cs.LG
CTS-Bench: Benchmarking Graph Coarsening Trade-offs for GNNs in Clock Tree Synthesis
The University of Southern Mississippi(密苏里州南方大学);Intel Corporation(英特尔公司);Louisiana Tech University(路易斯安那理工大学)
提出CTS-Bench基准套件,系统评估图粗化对GNN在时钟树综合中预测精度与计算效率的权衡,发现粗化虽降低内存和加速训练,但会移除关键结构信息导致零样本评估下R²为负。
2026-06-07 cs.LG
GNN-SKAN: Harnessing the Power of SwallowKAN to Advance Molecular Representation Learning with GNNs
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对GNN在分子表示学习中的注释不足、分子多样性和过度挤压问题,提出集成KAN及自适应RBF的SwallowKAN变体,构建GNN-SKAN和GNN-SKAN+,在多个数据集上取得最先进性能。
2024-11-09 cs.AI cs.LG
Scalable Neural Network Training over Distributed Graphs
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
提出RETEXO框架,通过惰性消息传递重排训练序列,消除分布式GNN训练中的通信瓶颈,在保持精度的同时将网络数据成本降低1-2个数量级,并支持从数据中心到边缘网络的所有去中心化级别。
2024-02-11 cs.AI cs.IR cs.LG
GraphEdge: Dynamic Graph Partition and Task Scheduling for GNNs Computing in Edge Network
Guangxi Key Laboratory of Multimedia Communications and Network Technology(广西多媒体通信与网络技术重点实验室);School of Computer, Electronics and Information, Guangxi University(广西大学计算机、电子与信息学院);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院);Pazhou Laboratory(琶洲实验室);College of Cyber Security, Jinan University(暨南大学网络安全学院);Department of Information Systems, University of Maryland, Baltimore County (UMBC)(马里兰大学巴尔的摩县信息学院)
针对图神经网络在边缘计算中通信成本高的问题,提出GraphEdge架构,通过HiCut图割算法优化图布局,并利用DRLGO算法实现子图级任务卸载,以最小化通信成本、处理时间和能耗。
2025-04-22 cs.AI cs.LG
Benchmarking GPU and TPU Performance with Graph Neural Networks
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
已经开发了许多人工智能(AI)设备来加速神经网络模型的训练和推理。最常见的是图形处理单元(GPU)和张量处理单元(TPU)。它们针对密集数据表示进行了高度优化。然而,稀疏表示(如图)在许多领域都很普遍,包括科学。因此,重要的是要描述可用AI加速器在稀疏数据上的性能。本文分析和比较了GPU和TPU的性能,训练了一个图神经网络(GNN)来解决现实生活中的模式识别问题。描述作用于稀疏数据的新模型类别可能有助于优化深度学习库和未来AI加速器的设计。
2022-10-21 cs.LG
$\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Shanghai Jiao Tong University(上海交通大学)
随着图数据大小的增加,推理过程中的巨大延迟和内存消耗对图神经网络(GNN)的实际部署构成了重大挑战。虽然量化是降低GNN复杂性的一种有效方法,但大多数以前关于GNN量化的工作都未能利用GNN的独特特性,从而导致精度严重下降。通过深入分析GNN的拓扑结构,我们观察到图的拓扑结构导致节点之间存在显著差异,图中的大多数节点似乎具有较小的聚合值。受此启发,在本文中,我们提出了GNN的聚合感知混合精度量化($\rm A^2Q$),其中自动学习并分配给图中的每个节点适当的位宽。为了减轻节点之间稀疏连接引起的梯度消失问题,我们提出了一种局部梯度方法,以节点特征的量化误差作为训练过程中的监督。我们还开发了一个最近邻策略来处理未见过图的推广。在八个公共节点级和图级数据集上的实验证明了该方法的通用性和鲁棒性。与FP 32模型相比,我们的方法可以实现高达18.6倍(即,1.70bit)压缩比,精度下降可忽略不计。同时,与现有的量化方法相比,该方法在节点级和图级任务上的精度分别提高了11.4%和9.5%,在专用硬件加速器上的加速比提高了2倍.
2023-02-01 cs.LG
Label-free Node Classification on Graphs with Large Language Models (LLMS)
Michigan State University(密歇根州立大学);Emory University(埃默里大学)
本文提出 LLM-GNN 流程,通过主动选择少量节点由大语言模型标注并训练图神经网络,以不到 1 美元成本在 products 数据集上实现 74.9% 的无标签节点分类准确率。
2024-02-24 cs.AI cs.CL cs.LG
Continuous Spiking Graph Neural Networks
针对连续图神经网络计算开销大、难以部署于低功耗设备的问题,提出融合脉冲神经网络与连续动力学的COS-GNN框架,利用二阶ODE实现高效传播,并理论证明其缓解梯度问题,实验验证其有效性。
2026-09-21 cs.AI cs.LG cs.NE
MQ-GNN: A Multi-Queue Pipelined Architecture for Scalable and Efficient GNN Training
Department of Computer Science and Engineering, Kyung Hee University (Global Campus), Republic of Korea(计算机科学与工程系,庆熙大学(全球校区),大韩民国);College of Software, Kyung Hee University (Global Campus), Republic of Korea(软件学院,庆熙大学(全球校区),大韩民国)
MQ-GNN通过多队列流水线架构和RaCoM机制,实现高效的多GPU GNN训练,提升训练速度和GPU利用率。
2026-01-08 cs.AI cs.DC cs.LG
Understanding the Design-Space of Sparse/Dense Multiphase GNN dataflows on Spatial Accelerators
图神经网络(GNN)最近引起了人们的广泛兴趣,因为它们成功地从云和HPC中的几个关键应用程序的图结构数据中学习表示。由于其独特的计算和存储器特性来自计算的密集和稀疏阶段之间的相互作用,可重新配置的空间流(又名空间)加速器的出现通过映射优化的空间流(即,计算顺序和并行性)。这项工作的目标是描述和理解在空间加速器上运行GNN的设计空间,以便映射器或设计空间探索工具根据工作负载优化设计空间。具体来说,我们提出了一种分类法来描述所有可能的选择,用于在空间加速器上在空间和时间上映射GNN推理的密集和稀疏阶段,捕获阶段内的最低和阶段间的最低(流水线)。使用这种分类法,我们做深入的成本和效益的几个并行执行和执行的硬件参数的并行执行的影响和价值的灵活性,以支持流水线执行的案例研究。
2022-03-07 cs.AR cs.DC
Scaling Graph Neural Networks for Particle Track Reconstruction
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Youngstown State University(扬斯敦州立大学)
本文针对高能物理中粒子径迹重建的计算扩展性问题,改进Exa.TrkX流水线以支持对输入粒子图样本进行GNN训练,并结合性能优化,在提升精确率与召回率的同时实现了2倍加速。
2025-04-07 cs.CE cs.DC cs.LG
Domain Adaptive Graph Neural Networks for Constraining Cosmological Parameters Across Multiple Data Sets
University of Pisa(比萨大学);Fermi National Accelerator Laboratory(费米国家加速器实验室);University of Chicago(芝加哥大学);Flatiron Institute(Flatiron研究所)
针对深度学习模型跨宇宙学模拟数据集及观测数据时性能下降的问题,提出结合最大均值差异无监督域自适应的图神经网络,可提取域不变特征,提升跨数据集约束宇宙学参数的准确率与鲁棒性。
2024-04-15 astro-ph.CO cs.AI cs.LG
Chi-Geometry: A Library for Benchmarking Chirality Prediction of GNNs
Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出Chi-Geometry库,通过生成可控合成图数据来基准测试GNN的手性预测能力,并基于测试结果设计了两种兼顾准确率与计算效率的新GNN架构。
2025-08-12 cs.LG
Branching Strategies Based on Subgraph GNNs: A Study on Theoretical Promise versus Practical Reality
本文研究了基于子图GNN的分支策略,发现理论上的高表达力GNNs在实际应用中因计算成本过高而无法超越传统方法。
2025-12-10 cs.AI cs.LG cs.NA
Dynasparse: Accelerating GNN Inference through Dynamic Sparsity Exploitation
图神经网络(GNN)推理被用于许多现实世界的应用中。GNN推理中的数据稀疏性,包括输入图和GNN模型中的稀疏性,为进一步加速推理提供了机会。此外,已经提出了许多用于模型压缩的修剪技术,这些技术增加了GNN的数据稀疏性。我们提出了Dynasparse,一个全面的硬件-软件协同设计的FPGA上,通过动态稀疏开发来加速GNN推理。为此,我们将GNN计算内核从基本计算原语中解耦,并探索硬件-软件协同设计如下:1)硬件设计:我们提出了一种新的统一的FPGA加速器设计,以有效地执行各种计算原语。我们开发了一个定制的软处理器,是紧密耦合的加速器执行一个运行时系统。此外,我们开发了有效的硬件机制来分析数据的稀疏性,并执行即时数据格式转换,为各种计算原语准备输入数据; 2)软件设计:我们开发了一个运行时系统,与加速器协同工作,以执行基于数据稀疏性的动态内核到原语映射。我们在最先进的FPGA平台Xilinx Alveo U250上实现了Dynasparse,并使用广泛使用的GNN模型(GCN,GraphSAGE,GIN和SGC)对设计进行了评估。对于上述GNN模型和各种输入图,与最先进的GNN加速器中采用的静态映射策略相比,所提出的加速器和动态内核到基元映射平均将推理延迟减少了$3.73\times$。与最先进的CPU(GPU)实现相比,Dynasparse在端到端延迟方面实现了高达$56.9\tim…
2023-03-22 cs.AR cs.DC
An Efficient Subgraph GNN with Provable Substructure Counting Power
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
本文提出一种高效子图 GNN,通过预计算封装到根节点距离信息的结构嵌入,在保持可证明子结构计数能力的同时显著降低计算开销。
2024-06-13 cs.LG
PriDyG: Privacy-preserving Dynamic Graph Inference with LLM-GNN Collaboration
Emory University(埃默里大学)
PriDyG是结合GNN结构学习与LLM语义推理的隐私保护动态图推理框架,可在边级差分隐私约束下,在节点分类等任务中降低累计隐私开销并保持良好效用。
2026-08-06 cs.CR cs.LG
Boosting-GNN: Boosting Algorithm for Graph Networks on Imbalanced Node Classification
PLA Strategy Support Force Information Engineering University(中国人民解放军战略支援部队信息工程大学)
图神经网络(GNN)已被广泛用于图形数据表示。然而,现有的研究只考虑了理想的平衡数据集,不平衡数据集很少考虑。传统的处理不平衡数据集的方法,如重新排序,重新加权和合成样本,在GNN中不再适用。本文提出了一种集成模型Boosting-GNN,它在Boosting过程中使用GNN作为基分类器。在Boosting-GNN中,为未被前一个分类器正确分类的训练样本设置更高的权重,从而实现更高的分类精度和更好的可靠性。此外,还采用了迁移学习来降低计算量,提高拟合能力。实验结果表明,与GCN、GraphSAGE、GAT、SGC、N-GCN等算法相比,本文提出的Boosting-GNN模型在合成不平衡数据集上的平均性能提高了4.5%
2022-05-08 cs.CV cs.LG
ApproxPilot: A GNN-based Accelerator Approximation Framework
针对近似加速器设计空间大、传统优化方法成本高或精度扩展性不足的问题,提出嵌入关键路径特征的GNN预测模型,构建端到端框架ApproxPilot,在同等精度约束下实现了更优的性能与硬件开销表现。
2024-07-16 cs.AR
GNNSampler: Bridging the Gap between Sampling Algorithms of GNN and Hardware
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学)
采样是图神经网络(GNN)训练中的一个关键操作,有助于降低成本。先前的文献已经探索了通过数学和统计方法来改进采样算法。然而,在采样算法和硬件之间存在差距。在不考虑硬件的情况下,算法设计者仅仅在算法级优化采样,错过了利用硬件特性提升现有采样算法效率的巨大潜力。在本文中,我们开创性地提出了一个统一的编程模型,主流的采样算法,称为GNNSampler,涵盖了各种类别的采样算法的关键过程。其次,利用硬件的特点,我们选择的数据局部性作为一个案例研究,并探讨数据局部性之间的节点和他们的邻居在一个图,以减轻不规则的内存访问采样。第三,我们在GNNSampler中对各种采样算法实现了局部感知优化,以优化一般采样过程。最后,我们着重在大型图数据集上进行实验,以分析训练时间,准确性和硬件级指标之间的相关性。大量的实验表明,我们的方法是通用的主流采样算法,并有助于显着减少训练时间,特别是在大规模的图形。
2022-06-24 cs.LG
Text2Graph: Combining Lightweight LLMs and GNNs for Efficient Text Classification in Label-Scarce Scenarios
Text2Graph通过结合轻量级LLM和GNN,为标签稀缺场景提供高效的文本分类方法,兼顾性能与可持续性。
2025-12-12 cs.LG