Leveraging Classical Algorithms for Graph Neural Networks
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
本研究通过在经典算法上预训练图神经网络，为分子性质预测任务注入算法先验，实验表明该方法在ogbg-molhiv和ogbg-molclintox上分别提升6%和3%的绝对性能，验证了其有效性。
2025-10-24 cs.LG
GLIP: Graph and LLM Joint Pretraining for Graph-Level Tasks
Fudan University（复旦大学）；ByteDance（字节跳动）
提出GLIP框架，通过图增强、多令牌选择策略和扩散投影器，联合预训练图神经网络和大型语言模型，在图级分类与推理任务上超越现有方法。
2026-06-29 cs.LG
PreGIP: Watermarking the Pretraining of Graph Neural Networks for Deep Intellectual Property Protection
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出PreGIP框架，通过任务无关的水印损失和抗微调水印注入，在不损害嵌入空间质量的前提下保护GNN预训练模型的知识产权。
2025-05-31 cs.AI cs.LG
Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design
University of California, Berkeley（加州大学伯克利分校）；Intel AI Labs（英特尔人工智能实验室）
能够预测电路的性能而无需运行昂贵的仿真是一种可以促进自动化设计的期望能力。在本文中，我们提出了一种有监督的预训练方法来学习电路表示，这些电路表示可以适应新的电路拓扑结构或看不见的预测任务。我们假设，如果我们训练一个神经网络（NN），可以预测的输出直流电压的广泛的电路实例，它将被迫学习每个电路元件的作用，以及它们如何相互作用的一般知识。这个监督学习目标的数据集可以很容易地大规模收集，因为获得地面真实标签所需的DC模拟相对便宜。然后，这种表示将有助于对看不见的电路度量进行Few-Shot推广，这些电路度量需要更耗时的仿真来获得地面实况标签。为了处理不同电路的可变拓扑结构，我们将每个电路描述为一个图，并使用图神经网络（GNNs）来学习节点嵌入。我们表明，对输出节点电压预测的预训练GNN可以鼓励学习表示，这些表示可以适应新的看不见的拓扑结构或新的电路级属性的预测，与随机初始化模型相比，样本效率高达10倍。我们进一步表明，通过微调预训练的GNN作为学习模型的特征提取器，我们可以将先前基于SoTA模型的优化方法的样本效率提高2倍（几乎与使用Oracle模型一样好）。
2022-04-01 cs.AI cs.LG
Computing Graph Neural Networks: A Survey from Algorithms to Accelerators
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
近年来，图神经网络（GNN）由于其从图结构数据中建模和学习的能力而在机器学习领域迅速发展。这种能力在数据固有相关性的各种各样的领域中具有很强的意义，传统的神经网络在这些领域中表现不佳。事实上，正如最近的评论可以证明的那样，GNN领域的研究发展迅速，并导致了各种GNN算法变体的开发，以及对化学，神经学，电子学或通信网络等领域突破性应用的探索。然而，在目前的研究阶段，GNN的有效处理仍然是一个开放的挑战，原因有几个。除了它们的新颖性之外，GNN很难计算，因为它们依赖于输入图，它们的密集和非常稀疏的操作组合，或者在某些应用中需要扩展到巨大的图。在这方面，本文旨在作出两个主要贡献。一方面，从计算的角度对GNN领域进行了回顾。这包括GNN基础知识的简短教程，过去十年该领域发展的概述，以及不同GNN算法变体多个阶段中执行的操作总结。另一方面，深入分析了当前的软件和硬件加速方案，从中提炼出GNN加速器的硬件-软件，图形感知和以通信为中心的愿景。
2021-07-23 cs.DC cs.LG stat.ML
AMPLE: Event-Driven Accelerator for Mixed-Precision Inference of Graph Neural Networks
Imperial College London（帝国理工学院）
针对现有FPGA加速器双缓冲机制未考虑图节点非规则分布的问题，提出事件驱动加速器AMPLE，采用混合精度量化和预取技术，在2K至700K节点数据集上实现比CPU和GPU分别快243倍和7.2倍的平均加速。
2025-02-28 cs.AI cs.AR cs.LG
Self-Supervised Pretraining for Heterogeneous Hypergraph Neural Networks
Meta AI
提出用于异构超图神经网络的自监督预训练框架SPHH，通过两个预训练任务学习局部和全局表示，在多种下游任务中显著提升性能并展现鲁棒性。
2023-11-19 cs.LG cs.SI stat.ML
One Model for One Graph: A New Perspective for Pretraining with Cross-domain Graphs
Michigan State University（密歇根州立大学）；Hong Kong Polytechnic University（香港理工大学）；Snap Inc.（Snap公司）
针对GNN跨领域泛化难的问题，提出“一图一模型”预训练框架，通过预训练专家库并结合门控函数为新图动态选择专家子集，有效整合先验知识并避免负迁移，在链路预测和节点分类任务上表现优越。
2025-05-29 cs.AI cs.LG stat.ML
H-GCN: A Graph Convolutional Network Accelerator on Versal ACAP Architecture
Washington State University（华盛顿州立大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；Boston University（波士顿大学）；University of Rochester（罗切斯特大学）；Indiana University（印第安纳大学）
图神经网络（GNN）由于其将机器学习（ML）方法扩展到广泛定义为具有非结构化数据（特别是图）的应用的独特能力而引起了极大的关注。与其他机器学习（ML）模式相比，由于图类型学的不规则性和异构性，图神经网络（GNNs）的加速更具挑战性。然而，现有的工作主要集中在处理图的不规则性，并没有研究其异质性。为此，我们提出了H-GCN，这是一种基于PL（可编程逻辑）和AIE（AI引擎）的混合加速器，它利用Xilinx Versal自适应计算加速平台（ACAPs）的新兴异构性来实现高性能GNN推理。特别地，H-GCN基于其固有的异质性将每个图划分为三个子图，并分别使用PL和AIE处理它们。为了进一步提高性能，我们探索了AIE的稀疏支持，并开发了一种有效的密度感知方法来自动将稀疏矩阵-矩阵乘法（SpMM）的瓦片映射到收缩张量阵列上。与现有的GCN加速器相比，H-GCN加速器的平均加速比为1.1~ 2.3倍。
2022-06-28 cs.AR cs.LG
Does GNN Pretraining Help Molecular Representation?
Google Cloud AI Research（谷歌云人工智能研究院）；Google Research（谷歌研究院）
使用图神经网络（GNN）提取分子的信息表示在AI驱动的药物发现中至关重要。最近，图研究社区一直在试图复制自然语言处理中自我监督预训练的成功，并取得了一些成功。然而，我们发现在许多情况下，对小分子数据进行自我监督预训练所带来的好处可以忽略不计。我们对GNN预训练的关键组成部分进行了彻底的消融研究，包括预训练目标，数据分割方法，输入特征，预训练数据集规模和GNN架构，以了解它们如何影响下游任务的准确性。我们的第一个重要发现是，在许多情况下，自监督图预训练并不总是比非预训练方法具有统计上的显著优势。其次，虽然通过额外的监督预训练可以观察到明显的改善，但随着更丰富的特征或更平衡的数据分割，这种改善可能会减少。第三，超参数对下游任务准确率的影响可能大于预训练任务的选择，特别是当下游任务规模较小时。最后，我们提供了一些小分子预训练方法的复杂性可能不足的地方，然后是不同预训练数据集上的经验证据。
2022-11-02 cs.LG q-bio.BM
PyGFI: Analyzing and Enhancing Robustness of Graph Neural Networks Against Hardware Errors
Villanova University（维拉诺瓦大学）；Meta Platforms Inc.（元平台公司）
本文首次通过基于 PyTorch 的定制故障注入工具大规模评估 GNN 的硬件错误弹性，揭示模型与数据集间的显著差异，并提出低成本缓解机制以指导加速器设计。
2023-04-24 cs.LG
FARe: Fault-Aware GNN Training on ReRAM-based PIM Accelerators
Washington State University（华盛顿州立大学）；University of Houston（休斯顿大学）
本文提出故障感知框架FARe，针对ReRAM存内计算加速器上的硬件故障问题，在约1%时序开销下将GNN测试精度恢复47.6%，优于现有容错方案。
2024-01-19 cs.AR cs.LG
Molecule-Morphology Contrastive Pretraining for Transferable Molecular Representation
GSK（葛兰素史克）
本研究提出 Molecule-Morphology Contrastive Pretraining (MoCoP) 框架，通过整合分子图与细胞形态的多模态表示，显著提升了 QSAR 模型在分子属性预测任务中的性能。
2023-06-27 cs.LG q-bio.BM
Revisiting Pre-Propagation GNNs: Robust Diffusion Operators and Hidden-State Re-Propagation
School of Electrical and Computer Engineering, Cornell University, Ithaca, New York, USA（电气与计算机工程系，康奈尔大学，纽约州伊萨卡市）
提出鲁棒图扩散算子和少量隐状态再传播方案，使预传播图神经网络在保持训练效率的同时匹配消息传递图神经网络的精度。
2026-05-24 cs.LG
Relational Graph Modeling for Credit Default Prediction: Heterogeneous GNNs and Hybrid Ensemble Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出异构图神经网络与混合集成学习方法，通过构建大规模异构图整合借款人与交易数据，提升信用违约预测的准确性和公平性。
2026-01-21 cs.LG
On the Scalability of GNNs for Molecular Graphs
Valence Labs（瓦伦斯实验室）；Université de Montréal（蒙特利尔大学）；Mila Quebec（米拉魁北克研究所）；McGill University（麦吉尔大学）；NVIDIA Corporation（英伟达公司）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
该研究针对图神经网络（GNNs）规模化收益不明确的问题，在大规模2D分子图数据集上分析三类GNN架构的缩放规律，验证了多维度缩放的增益，提出基础模型MolGPS，在多数下游任务上取得SOTA，为GNNs赋能药物发现铺路。
2024-09-11 cs.LG
GraphFM: A generalist graph transformer that learns transferable representations across diverse domains
University of Pennsylvania（宾夕法尼亚大学）；Columbia University（哥伦比亚大学）
GraphFM是一种通用图变换器，通过多图预训练学习可迁移的表示，提升跨不同图结构和任务的性能。
2026-02-14 cs.LG cs.SI
VersaGNN: a Versatile accelerator for Graph neural networks
University of California Los Angeles（加州大学洛杉矶分校）
\textit{Graph Neural Network}（GNN）是一种很有前途的分析图结构数据的方法，它通过节点级消息传递巧妙地捕获它们的依赖信息。它在节点分类、图匹配、聚类和图生成等许多任务中都取得了最先进的性能。由于GNN在非欧几里德数据上操作，它们不规则的数据访问模式会在传统架构（如GPU和CPU）上造成相当大的计算成本和开销。我们的分析表明，GNN采用混合计算模型。\textit{Aggregation}（或\textit{Message Passing}）阶段执行向量加法，其中以不规则步幅获取向量。\textit{Transformation}（或\textit{Node Embedding}）阶段可以是密集矩阵乘法或稀疏-密集矩阵乘法。在这项工作中，我们提出了\textit{VersaGNN}，一个超高效的，基于systolic-array的通用硬件加速器，统一了密集和稀疏矩阵乘法。通过将这种单一优化的脉动阵列应用于聚合和转换阶段，我们显着降低了芯片尺寸和能耗。然后，我们将计算引擎划分为分块脉动阵列，以支持\textit{Strassen}的密集矩阵乘法算法，从而大大减少乘法的数量，并实现GNN的高吞吐量计算。为了平衡稀疏-密集矩阵乘法的工作量，我们还引入了一种贪婪算法，将压缩格式的稀疏子矩阵合并为压缩子矩阵，以减少计算周期。与当前最先进的GNN软件框架相比，\te…
2021-05-04 cs.AI cs.AR cs.LG
$\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shanghai Jiao Tong University（上海交通大学）
随着图数据大小的增加，推理过程中的巨大延迟和内存消耗对图神经网络（GNN）的实际部署构成了重大挑战。虽然量化是降低GNN复杂性的一种有效方法，但大多数以前关于GNN量化的工作都未能利用GNN的独特特性，从而导致精度严重下降。通过深入分析GNN的拓扑结构，我们观察到图的拓扑结构导致节点之间存在显著差异，图中的大多数节点似乎具有较小的聚合值。受此启发，在本文中，我们提出了GNN的聚合感知混合精度量化（$\rm A^2Q$），其中自动学习并分配给图中的每个节点适当的位宽。为了减轻节点之间稀疏连接引起的梯度消失问题，我们提出了一种局部梯度方法，以节点特征的量化误差作为训练过程中的监督。我们还开发了一个最近邻策略来处理未见过图的推广。在八个公共节点级和图级数据集上的实验证明了该方法的通用性和鲁棒性。与FP 32模型相比，我们的方法可以实现高达18.6倍（即，1.70bit）压缩比，精度下降可忽略不计。同时，与现有的量化方法相比，该方法在节点级和图级任务上的精度分别提高了11.4%和9.5%，在专用硬件加速器上的加速比提高了2倍.
2023-02-01 cs.LG
Same Graph Cross-Task Transfer in GNNs: Protocols and Predictors
该研究针对GNN同图跨任务迁移的评估缺陷，提出无泄漏协议，发现迁移方向性规律，引入CTS指标，表明数据集同质性可指导机制选择以避免负迁移。
2026-07-31 cs.LG cs.SI
BlockGNN: Towards Efficient GNN Acceleration Using Block-Circulant Weight Matrices
Peking University（北京大学）；Advanced Institute of Information Technology, Peking University（北京大学高等信息研究院）
近年来，图神经网络（GNNs）似乎是分析非欧图数据的最先进算法。通过应用深度学习从图结构中提取高级表示，GNN在各种任务中实现了非凡的准确性和强大的泛化能力。然而，随着图形尺寸的不断增加，越来越复杂的GNN层和更高的特征维数，GNN的计算复杂性呈指数增长。如何实时的推理GNN已经成为一个具有挑战性的问题，特别是对于一些资源有限的边缘计算平台。为了应对这一挑战，我们提出了BlockGNN，这是一种实现高效GNN加速的软硬件协同设计方法。在算法层面，我们建议利用块循环权重矩阵来大大降低各种GNN模型的复杂性。在硬件设计层面，我们提出了一种流水线CirCore架构，支持高效的块循环矩阵计算。基于CirCore，我们提出了一种新的BlockGNN加速器来计算各种低延迟的GNN。此外，为了确定不同的部署任务的最佳配置，我们还引入了一个性能和资源模型，帮助自动选择最佳的硬件参数。ZC 706 FPGA平台上的全面实验表明，在各种GNN任务上，与基线HyGCN架构相比，BlockGNN实现了高达$8.3\times$的加速，并且与Intel Xeon CPU平台相比，实现了$111.9\times$的节能。
2021-06-25 cs.AI cs.AR cs.LG
CTS-Bench: Benchmarking Graph Coarsening Trade-offs for GNNs in Clock Tree Synthesis
The University of Southern Mississippi（密苏里州南方大学）；Intel Corporation（英特尔公司）；Louisiana Tech University（路易斯安那理工大学）
提出CTS-Bench基准套件，系统评估图粗化对GNN在时钟树综合中预测精度与计算效率的权衡，发现粗化虽降低内存和加速训练，但会移除关键结构信息导致零样本评估下R²为负。
2026-06-07 cs.LG
CAST: Cross Attention based multimodal fusion of Structure and Text for materials property prediction
LG AI Research（LG人工智能研究）
提出基于交叉注意力的多模态模型CAST，融合图节点级与文本token级特征并引入掩码节点预测预训练，在四项材料性能预测任务上实现10.2%至35.7%的MAE提升。
2025-08-08 cond-mat.mtrl-sci cs.AI cs.LG
Evaluating Logical Generalization in Graph Neural Networks
Facebook AI Research（Facebook AI研究）；McGill University（麦吉尔大学）；Montreal Institute of Learning Algorithms (Mila)（蒙特利尔学习算法研究所（Mila））；School of Computer Science（计算机科学学院）
最近的研究强调了关系归纳偏差在构建学习代理中的作用，这些学习代理可以以组合方式进行概括和推理。然而，尽管诸如图神经网络（GNN）等关系学习算法显示出了希望，但我们不了解这些方法如何有效地适应新任务。在这项工作中，我们通过设计一个基于一阶逻辑的基准套件来研究使用GNNs进行逻辑泛化的任务。我们的基准测试套件GraphLog要求学习算法在不同的合成逻辑中执行规则归纳，表示为知识图谱。GraphLog由57个不同逻辑域上的关系预测任务组成。我们使用GraphLog在三种不同的设置中评估GNN：单任务监督学习，多任务预训练和持续学习。与以前的基准测试不同，我们的方法允许我们精确地控制不同任务之间的逻辑关系。我们发现，模型的泛化和适应能力在很大程度上取决于它们在训练过程中遇到的逻辑规则的多样性，我们的研究结果突出了GNN模型设计的新挑战。我们在https://www.cs.mcgill.ca/~ksinha4/graphlog公开发布数据集和用于生成数据集并与数据集交互的代码。
2020-03-14 cs.LG stat.ML
Geometric Self-Supervised Pretraining on 3D Protein Structures using Subgraphs
Harvard University（哈佛大学）；École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文提出一种基于子图的3D蛋白质结构几何自监督预训练方法，通过预测子图局部几何质心与蛋白质全局几何质心之间的距离来预训练3D图神经网络，在多种蛋白质分类任务中使3D GNN性能最高提升6%，无需多视图、数据增强或掩码策略。
2024-10-19 cs.LG q-bio.BM q-bio.QM
FlowGNN: A Dataflow Architecture for Real-Time Workload-Agnostic Graph Neural Network Inference
Georgia Institute of Technology（佐治亚理工学院）
图神经网络（GNN）最近受到了广泛的欢迎，这要归功于它们对量子化学、药物发现和高能物理等图形相关问题的广泛适用性。然而，由于开发高效的加速器和快速创建新的GNN模型之间的差距，同时满足对新的GNN模型和快速推理的需求是具有挑战性的。现有技术集中于加速特定类别的GNN，例如图卷积网络（GCN），但缺乏支持广泛范围的现有或新的GNN模型的一般性。此外，大多数作品依赖于图的预处理，以利用数据的局部性，使他们不适合实时的【形】应用程序。为了解决这些限制，在这项工作中，我们提出了一个通用的GNN加速架构，名为FlowGNN，它可推广到大多数消息传递GNN。贡献是三方面的。首先，我们提出了一种新颖的和可扩展的的GNN架构，它通常支持广泛的GNN模型与消息传递机制。该架构具有一个可配置的并行优化，用于同时计算节点嵌入，边缘嵌入和消息传递，这通常适用于所有模型。我们还提出了一个丰富的模型特定的组件库。其次，我们提供了超快的实时的【形】GNN推理，而无需任何图形预处理，使其与动态变化的图形结构无关。第三，我们在Xilinx Alveo U 50 FPGA板上验证了我们的架构，并测量了板上端到端性能。我们在CPU（6226 R）上实现了高达24- 254倍的加速，在GPU（A6000）上实现了1.3- 477倍的加速（批量大小为1到1024）;我们还在四个数据集上以1.26倍的加速和1.55倍的能效优…
2022-10-19 cs.DC cs.LG
BitGNN: Unleashing the Performance Potential of Binary Graph Neural Networks on GPUs
North Carolina State University（北卡罗来纳州立大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出 BitGNN，面向 GPU 位操作特性重构二元 GNN 推理后端，在保持准确率不变的情况下较现有实现提速 8–22 倍。
2023-06-03 cs.DC cs.LG
Accelerating Generic Graph Neural Networks via Architecture, Compiler, Partition Method Co-Design
Shanghai Jiao Tong University（上海交通大学）
本文提出SwitchBlade协同设计框架，通过分区级算子融合、多线程和细粒度图分区，在支持通用GNN的同时实现优于V100且媲美专用加速器的性能与能效。
2023-08-16 cs.AR cs.LG
Fragment-based Pretraining and Finetuning on Molecular Graphs
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出GraphFP，在片段级别对分子图GNN进行对比与预测式预训练，并同时利用分子图和片段图信息进行下游微调，在多个分子和长程生物基准上取得显著性能提升。
2023-10-28 cs.LG
Using pretrained graph neural networks with token mixers as geometric featurizers for conformational dynamics
University of Chicago（芝加哥大学）；James Franck Institute（詹姆斯·弗兰克研究所）；New York University（纽约大学）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
本文提出 geom2vec，利用在大规模分子构象数据上自监督预训练的等变图神经网络作为通用几何特征提取器，并结合 token 混合器捕获结构单元间可解释关系，从而在有限计算资源下免去手动特征选择并提升分子构象动力学分析的鲁棒性。
2024-12-31 cs.LG physics.chem-ph physics.comp-ph
Node Level Graph Autoencoder: Unified Pretraining for Textual Graph Learning
Hong Kong University of Science and Technology（香港科技大学）
提出节点级图自编码器（NodeGAE），一种统一的无监督预训练框架，利用语言模型进行文本重建并添加辅助损失以感知图结构，在节点分类和链接预测任务上显著提升多种GNN的性能。
2024-08-21 cs.AI cs.CL cs.LG
Are LLM-Enhanced Graph Neural Networks Robust against Poisoning Attacks?
State Key Laboratory of Integrated Services Networks, School of Cyber Engineering, Xidian University（西安电子科技大学网络与信息安全学院综合业务网理论及关键技术国家重点实验室）；Hangzhou Institute of Technology, Xidian University（西安电子科技大学杭州研究院）
本文研究了大语言模型增强的图神经网络在面对污染攻击时的鲁棒性，通过系统评估框架评估了24种模型，分析了影响鲁棒性的关键因素，并提出了新的攻击方法和防御策略。
2026-03-27 cs.LG
Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis
ETH Zurich（苏黎世联邦理工学院）
本文构建GNN并行性分类体系，结合工作深度、通信与同步分析，系统评估模型、任务、框架和加速器，并推广消息传递流水线以指导高效并行GNN设计。
2023-08-17 cs.AR cs.DC cs.LG
Evaluating Loss Functions for Graph Neural Networks: Towards Pretraining and Generalization
Zhoukou Normal University（周口师范学院）；South China University of Technology（华南理工大学）；Georgia Southwestern State University（佐治亚西南州立大学）；University of New South Wales（新南威尔士大学）
该研究针对图神经网络性能依赖损失函数选择但缺乏大规模协同评估的问题，通过7种GNN架构、30种损失组合在3个数据集上的实验，分析了不同设置下的最优组合，揭示了混合损失、GIN等的性能特点。
2025-06-17 cs.LG
NeuraChip: Accelerating GNN Computations with a Hash-based Decoupled Spatial Accelerator
Northeastern University（东北大学）；KAIST（韩国科学技术院）；Universidad de Murcia（穆尔西亚大学）；Boston University（波士顿大学）
提出基于Gustavson算法的GNN空间加速器NeuraChip，通过解耦稀疏矩阵乘法计算、滚动逐出策略和动态重置种子的哈希映射实现负载均衡，显著提升了计算速度并开源了模拟器NeuraSim。
2024-04-26 cs.AR cs.DC cs.LG
A Comprehensive Evaluation of Graph Neural Networks and Physics Informed Learning for Surrogate Modelling of Finite Element Analysis
本文评估了GNN和3D U-Net作为FEA代理模型，发现GNN优于U-Net，且结合物理信息的MPNN PINN在精度、速度和模型大小间取得最佳平衡。
2025-10-16 cs.LG
A Data-Driven Approach to Dataflow-Aware Online Scheduling for Graph Neural Network Inference
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of Catania（卡塔尼亚大学）
针对不同数据流和图属性导致GNN加速器性能差异未被充分探索的问题，提出数据驱动框架预测延迟并引入在线调度算法，实现最优数据流选择，显著提升推理效率。
2024-11-25 cs.AR cs.LG
Bit-Flip Fault Attack: Crushing Graph Neural Networks via Gradual Bit Search
Department of Electrical and Computer Engineering（电气与计算机工程系）；George Mason University（乔治·马歇尔大学）
本文提出渐进比特翻转故障攻击（GBFA），通过层感知策略和马尔可夫模型预测层执行顺序，利用梯度排序定位脆弱比特，以最少比特翻转显著降低GNN在节点分类任务上的预测精度。
2025-07-07 cs.AR cs.LG
GenGNN: A Generic FPGA Framework for Graph Neural Network Acceleration
Georgia Institute of Technology（佐治亚理工学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
图神经网络（GNN）最近大受欢迎，这要归功于它们对无处不在的图相关问题（如量子化学、药物发现和高能物理）的广泛适用性。然而，同时满足对新GNN模型和快速推理的需求是具有挑战性的，因为开发高效FPGA加速器的难度与创建新GNN模型的快速步伐之间存在差距。现有技术集中于特定类别的GNN的加速，但缺乏跨现有模型工作或扩展到新的和新兴的GNN模型的一般性。在这项工作中，我们提出了一个通用的GNN加速框架，使用高级合成（HLS），命名为GenGNN，具有双重目标。首先，我们的目标是提供超快的GNN推理，而无需任何图形预处理以满足实时要求。其次，我们的目标是支持一组不同的GNN模型，并具有灵活适应新模型的可扩展性。该框架具有适用于所有模型的优化消息传递结构，并结合了丰富的模型特定组件库。我们在Xilinx Alveo U50 FPGA上验证了我们的实现，并观察到相对于CPU（6226 R）基线的速度提高了25倍，相对于GPU（A6000）基线的速度提高了13倍。我们的HLS代码将在接受后在GitHub上开源。
2022-01-20 cs.DC cs.LG
Heterogeneous Graph-Based Multimodal Brain Network Learning
Beijing Institute of Technology（北京理工大学）；Yangzhou University（扬州大学）；Northern Jiangsu People’s Hospital（苏北人民医院）；Tsinghua University（清华大学）
图神经网络（GNNs）从图形网络的角度为脑神经成像技术提供了强有力的见解。然而，大多数现有的基于GNN的模型假设神经成像产生的大脑连接体网络是具有单一类型的节点和边的同质图。事实上，新兴的研究已经报道并强调了人类大脑活动之间，特别是两个大脑半球之间的异质性的重要性。因此，基于神经网络的图形方法不足以对复杂的大脑活动状态进行建模。为了克服这个问题，在本文中，我们提出了一个异构图神经网络（HebrainGNN）的多模态脑神经成像融合学习。我们首先将大脑网络建模为具有多类型节点的异构图（即，左和右半球节点）和多类型边缘（即，半球内和半球间边缘）。然后，我们提出了一种基于异构脑网络的自监督预训练策略，以解决由大参数大小和小医疗数据样本大小之间的冲突引起的潜在过拟合问题。我们的研究结果表明，该模型优于其他现有的方法在脑相关疾病的预测任务。消融实验表明，我们的异构图形为基础的模型更加重视半球连接，可能会被忽视，由于他们的低强度由以前的同质图形模型。其他实验也表明，我们提出的模型与预训练策略解决了有限的标记数据的问题，并产生了显着的准确性提高。
2022-09-28 cs.LG cs.NE q-bio.NC
It's All Connected: Topology-Aware Structural Graph Encoding Improves Performance on Polymer Prediction
Faculty of Engineering Science, University of Bayreuth, Germany（拜罗伊特大学工程科学学院）；Faculty of Mathematics, Physics & Computer Science, University of Bayreuth, Germany（拜罗伊特大学数学、物理与计算机科学学院）；Laboratory of Organic and Macromolecular Chemistry (IOMC), Friedrich Schiller University Jena, Germany（耶拿弗里德里希·施莱尔大学有机与大分子化学实验室）；Jena Center for Soft Matter (JCSM), Friedrich Schiller University Jena, Germany（耶拿软物质中心（JCSM））；Helmholtz Institute for Polymers in Energy Applications Jena (HIPOLE Jena), Germany（耶拿聚合物能源应用研究所（HIPOLE 耶拿））；Helmholtz Zentrum Berlin für Materialien und Energie GmbH (HZB), Germany（柏林材料与能源研究中心（HZB））
本文提出一种拓扑感知的结构图编码方法，通过构建大图和预训练提升聚合物预测性能，实验显示联合使用图构建和自监督预训练可显著降低误差。
2026-05-11 cs.LG
GraNNite: Enabling High-Performance Execution of Graph Neural Networks on Resource-Constrained Neural Processing Units
Purdue University（普渡大学）；Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）；Intel Corporation（英特尔公司）
针对资源受限设备部署图神经网络（GNNs）时面临的高延迟和能源开销问题，提出硬件感知框架GraNNite，通过三步优化实现商用NPU上的高性能执行，在Intel Core Ultra AI PC上取得显著加速和能效提升。
2025-02-13 cs.AI cs.AR cs.LG
ChemBERTa: Large-Scale Self-Supervised Pretraining for Molecular Property Prediction
University of Toronto（多伦多大学）；Reverie Labs；DeepChem
GNN和化学指纹是代表分子进行属性预测的主要方法。然而，在NLP中，由于其强大的下游任务转移，Transformers已经成为表示学习的事实标准。与此同时，围绕Transformers的软件生态系统正在迅速成熟，HuggingFace和BertViz等库可以简化培训和自省。在这项工作中，我们首次尝试通过我们的ChemBERTa模型系统地评估Transformers器对分子性质预测任务的影响。ChemBERTa可以很好地扩展预训练数据集的大小，在MoleculeNet上提供有竞争力的下游性能和有用的基于注意力的可视化模式。我们的研究结果表明，Transformers提供了一个有前途的途径，未来的工作，分子表示学习和属性预测。为了促进这些努力，我们从PubChem发布了一个适合大规模自我监督预训练的77M SMILES的策划数据集。
2020-10-23 cs.CL cs.LG physics.chem-ph
GNNear: Accelerating Full-Batch Training of Graph Neural Networks with Near-Memory Processing
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；Beijing Advanced Innovation Center for Integrated Circuits（北京集成电路高精尖创新中心）
最近，图神经网络（GNN）已经成为分析非欧几里德图数据的最先进的算法。然而，实现有效的GNN训练是具有挑战性的，特别是在大型图上。原因有很多：1）GNN训练会占用大量内存。在大型图上进行全批训练甚至需要数百到数千GB的内存。2)GNN训练涉及内存密集型和计算密集型操作，挑战当前的CPU/GPU平台。3)图形的不规则性会导致严重的资源利用不足和负载不平衡问题。本文提出了一个GNNear加速器来应对这些挑战。GNNear采用基于DIMM的存储系统，提供足够的存储容量。为了匹配GNN训练的异构性，我们将内存密集型Reduce操作卸载到DIMM内的Near-Memory-Engines（NME），充分利用高聚合本地带宽。我们采用了一个集中加速引擎（CAE）来处理计算密集型的更新操作。我们进一步提出了几种优化策略来处理输入图的不规则性，提高GNNear的性能。通过对16个GNN训练任务的综合评估，GNNear与Xeon E5-2698-v4 CPU和NVIDIA V100 GPU相比，实现了30.8 $\times$ /2.5 $\times$几何平均加速比和79.6 $\times$ /7.3 $\times$（几何平均）能效提升。
2022-08-16 cs.AR cs.LG
MaxK-GNN: Extremely Fast GPU Kernel Design for Accelerating Graph Neural Networks Training
University of Connecticut（康涅狄格大学）；Northeastern University（东北大学）
MaxK-GNN通过算法与系统垂直优化，引入MaxK非线性和CBSR格式，设计高效前向与后向内核，在Reddit上实现3.22/4.24倍加速，接近理论极限。
2024-03-19 cs.AI cs.DC cs.LG
MOL-Mamba: Enhancing Molecular Representation with Structural & Electronic Insights
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Anhui University（安徽大学）；University of Science and Technology of China（中国科学技术大学）
针对现有分子表示方法忽视结构与电子信息关联的问题，提出MOL-Mamba框架，通过原子与片段Mamba图、Mamba-Transformer融合器及协同训练策略增强分子表示，在11个数据集上超越现有最优方法。
2025-02-06 cs.LG physics.chem-ph q-bio.BM
Evaluating representation learning on the protein structure universe
University of Cambridge（剑桥大学）；University of Missouri（密苏里大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）
本研究推出蛋白质结构表示学习基准套件ProteinWorkshop，通过实验与预测结构的预训练及下游任务评估，证实大规模预训练提升GNN性能，且等变GNN获益更显著，为相关研究提供开源工具支持。
2024-06-19 cs.LG q-bio.BM
PipeFisher: Efficient Training of Large Language Models Using Pipelining and Fisher Information Matrices
ETH Zurich（苏黎世联邦理工学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
PipeFisher通过将K-FAC二阶优化计算分配到流水线气泡中，提高加速器利用率并加速收敛，在BERT预训练中将模拟训练时间减少至一阶优化器的50%-75%。
2023-05-13 cs.LG
MoCL: Data-driven Molecular Fingerprint via Knowledge-aware Contrastive Learning from Molecular Graph
Michigan State University（密歇根州立大学）；Agios Pharmaceuticals（阿吉奥斯制药公司）
近年来，在生物医学领域利用图神经网络（GNN）来解决药物相关问题的增长迅速。然而，像任何其他深度架构一样，GNN是数据饥渴的。虽然在现实世界中需要标签通常是昂贵的，但以无监督的方式预训练GNN已被积极探索。其中，图对比学习，通过最大化成对图增强之间的互信息，已被证明是有效的各种下游任务。然而，目前的图对比学习框架有两个局限性。首先，增广是为一般图设计的，因此可能不适合或不够强大的某些领域。其次，对比方案只学习对局部扰动不变的表示，因此不考虑数据集的全局结构，这对下游任务也可能有用。因此，在本文中，我们研究图对比学习的背景下，生物医学领域，分子图。我们提出了一个新的框架称为MoCL，它利用领域知识在本地和全球层面，以协助表示学习。本地级别的领域知识指导增强过程，使得在不改变图语义的情况下引入变化。全局级知识编码整个数据集中图之间的相似性信息，并有助于学习具有更丰富语义的表示。整个模型是通过双对比物镜学习的。我们在线性和半监督设置下对各种分子数据集进行了MoCL评估，结果表明MoCL达到了最先进的性能。
2022-05-02 cs.LG physics.bio-ph
Multi-node Bert-pretraining: Cost-efficient Approach
University of Toronto（多伦多大学）；Vector Institute（向量研究院）
最近，大规模基于transformer的语言模型，如BERT，GPT-2和XLNet，为许多自然语言处理（NLP）任务带来了令人兴奋的飞跃。这些最新模型中的一个共同趋势是模型复杂性的显着增加，这引入了更多的权重和计算。此外，随着大规模无监督数据集的出现，由于单个训练时期内数据样本量的增加，训练时间进一步延长。因此，为了在合理的时间内训练这些模型，机器学习（ML）程序员通常需要高级硬件设置，例如支持GPU的高级NVIDIA DGX工作站或专用加速器，例如Google的TPU Pods。我们的工作解决了这一限制，并证明了通过仔细的算法和软件优化，BERT预训练模型可以在2周内在学术规模的广泛可用的GPU集群上训练。在本文中，我们提出了这些优化如何提高单个设备的训练吞吐量，分布在多个节点和GPU的训练工作量，并克服了大量的数据交换通过网络引入的通信瓶颈。我们表明，我们能够在合理的时间预算（12天）内在学术环境中对BERT进行预训练，但与之前基于NVIDIA DGX机器或Google TPU Pods的工业环境相比，硬件资源要求要便宜得多。
2020-08-01 cs.CL cs.LG stat.ML
Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models
研究旨在解决大语言模型训练资源受限问题，提出Agora系统，通过互联网级链路的带宽高效流水线并行模型分片与多方容错集体操作相结合，实现集体训练、集体所有模型，首次展示Pluralis - 8B预训练，效率达集中式基线63%。
2026-07-16 cs.DC cs.LG
Staged Factorial Screening for Budget-Constrained Micro-Pretraining
Hewlett Packard Enterprise（惠普企业）
针对预算受限的微预训练，提出分阶段分数因子设计方法，通过短时筛选识别高惩罚方向并确认有效锚点，在共享加速器上实现高效配方筛选。
2026-04-27 cs.CL cs.LG
MaGNAS: A Mapping-Aware Graph Neural Architecture Search Framework for Heterogeneous MPSoC Deployment
University of California Irvine（加州大学欧文分校）；Université Polytechnique Hauts-de-France（上法兰西综合理工大学）
提出 MaGNAS 映射感知图神经架构搜索框架，通过双层进化搜索联合优化视觉 GNN 架构与异构 MPSoC 映射，在 Xavier AGX 上显著降低延迟和能耗且准确率损失极小。
2023-07-16 cs.CV cs.DC cs.LG
