Unsupervised Optimisation of GNNs for Node Clustering
School of Engineering Mathematics and Technology, University of Bristol（布里斯托尔大学工程数学与技术学院）
本文提出仅通过优化模块度而无须真实标签即可训练GNN进行节点聚类，并验证其可用于超参数调优、模型选择及预测真实性能，同时揭示GNN在特征与连接信息冲突时存在局限。
2024-02-20 cs.AI cs.LG
Which Hyperparameters to Optimise? An Investigation of Evolutionary Hyperparameter Optimisation in Graph Neural Network For Molecular Property Prediction
Heriot-Watt University（赫瑞-瓦特大学）
近年来，图神经网络（GNN）的研究引起了人们的广泛关注，并在分子性质预测方面取得了良好的效果。大多数用于分子性质预测的GNN都是基于通过聚合其邻居节点（例如原子）的信息来学习节点表示的想法提出的。然后，可以将表示传递到后续层以处理各个下游任务。因此，GNN的架构可以被认为是由两个核心部分组成：图相关层和任务特定层。面对现实世界的分子问题，这些层的超参数优化是至关重要的。在这种情况下，超参数优化（HPO）变得昂贵，因为评估候选解决方案需要大量的计算资源来训练和验证模型。此外，更大的搜索空间往往使HPO问题更具挑战性。在这项研究中，我们专注于选择两种类型的GNN超参数的影响，那些属于图形相关的层和任务特定的层，对GNN的性能进行分子性质预测。在我们的实验中。我们采用了最先进的进化算法（即，CMA-ES）用于HPO。结果表明，分别优化两类超参数可以获得GNN性能的改善，而同时优化两类超参数则可以获得显著的改善。同时，我们的研究也进一步证实了HPO对GNN在分子性质预测问题中的重要性。
2021-04-14 cs.LG
mHC-lite: You Don't Need 20 Sinkhorn-Knopp Iterations
CSE, University of Michigan, Ann Arbor, USA（计算机科学与工程系，密歇根大学，安娜堡，美国）；CCDS, Nanyang Technological University, Singapore（计算机科学与数据科学系，南洋理工大学，新加坡）；CBS-NTT Physics of Intelligence Program, Harvard University, Cambridge, USA（哈佛大学剑桥分校人工智能物理计划）；Physics of Artificial Intelligence Group, NTT Research Inc, USA（人工智能物理研究组，NTT研究公司，美国）
mHC-lite通过构造双随机矩阵消除残差不稳定性，实现更高训练吞吐量。
2026-01-09 cs.AI cs.LG
mHC-SSM: Manifold-Constrained Hyper-Connections for State Space Language Models with Stream-Specialized Adapters
Department of Digital Forensics Engineering, Technology Faculty, Firat University（费拉特大学数字取证工程系）
本文提出mHC-SSM，通过约束残差流混合矩阵到双随机矩阵流形，改进状态空间语言模型的性能，并引入流专用适配器以提升模型效果。
2026-05-08 cs.AI cs.CL cs.LG
HEHRGNN: A Unified Embedding Model for Knowledge Graphs with Hyperedges and Hyper-Relational Edges
organization= Department of Computer Science；Engineering Indian Institute of Technology Palakkad , country= India
HEHRGNN是一种统一的嵌入模型，用于处理具有超边和超关系边的n-元关系知识图谱，通过统一的事实表示格式和新型消息传播模型，提升链接预测性能。
2026-02-21 cs.AI cs.LG
Hyperbolic Benchmarking Unveils Network Topology-Feature Relationship in GNN Performance
Universitat de Barcelona（巴塞罗那大学）；UBICS；ICREA（加泰罗尼亚研究与高级研究所）
本研究提出基于双曲空间几何软配置模型的图机器学习基准测试框架，通过生成合成网络评估网络拓扑与节点特征对GNN性能的影响，为模型选择提供指导。
2024-06-04 cs.LG
Diffusing to the Top: Boost Graph Neural Networks with Minimal Hyperparameter Tuning
University of Sydney（悉尼大学）；Riken AIP（理化学研究所先进智能项目）
针对图神经网络超参数调优成本高的问题，提出图条件潜在扩散框架GNN-Diff，基于轻量粗调的次优检查点生成高性能GNN，经多任务多数据集实验验证其调优高效、稳定性与泛化性强。
2024-10-08 cs.LG
Hyperparameter Transfer in Graph Neural Networks
Department of Operations Research and Financial Engineering（运营研究与金融工程系）；School of Engineering and Applied Science（工程与应用科学学院）；Princeton University（普林斯顿大学）
研究图神经网络超参数转移，开发并验证适用于多种优化器的转移参数化，通过理论分析和实验表明其能实现稳定特征更新、学习率转移及性能提升，为不同任务和场景缩放图神经网络提供实用方法。
2026-11-05 cs.AI cs.LG
A Genetic Algorithm with Tree-structured Mutation for Hyperparameter Optimisation of Graph Neural Networks
Heriot-Watt University（赫瑞-瓦特大学）
近年来，图神经网络（GNNs）由于具有处理图相关问题的优异能力而受到越来越多的关注。在实践中，超参数优化（HPO）对于GNN实现令人满意的结果至关重要，但这个过程成本很高，因为不同超参数设置的评估需要过度训练许多GNN。已经提出了许多方法HPO，其目的是有效地识别有前途的超参数。特别地，已经探索了用于HPO的遗传算法（GA），其将GNN视为黑盒模型，给定一组超参数，只能观察其输出。然而，由于GNN模型非常复杂，并且对GNN上的超参数进行评估非常昂贵，因此GA需要先进的技术来平衡搜索的探索和利用，并在有限的计算资源下使优化更加有效。因此，我们提出了一个树结构的变异策略，遗传算法来缓解这个问题。同时，我们回顾了HPO的最新研究成果，为树结构的思想提供了发展的空间，希望我们的方法能在未来进一步完善这些HPO方法。
2021-04-28 cs.LG cs.NE
Exploring Representation of Horn Clauses using GNNs (Extended Technical Report)
Uppsala University（乌普萨拉大学）；University of Regensburg（雷根斯堡大学）；Microsoft Research（微软研究院）
由于真实世界程序设计语言语法的复杂性以及由于使用标识符来重构在程序中隐式表示的长距离关系信息的困难性，从原始源代码学习程序语义是具有挑战性的。解决第一点，我们认为约束角子句（CHCs）作为一个标准的程序验证问题的表示，提供了一个简单的和程序设计语言独立的语法。对于第二个挑战，我们探索了CHCs的图形表示，并提出了一个新的关系超图神经网络（R-HyGNN）架构来学习程序特征。我们介绍了两种不同的图形表示的CHCs。一种是约束图（constraint graph，CG），它通过将CHCs中的符号及其关系分别转换为类型化节点和二元边，并将约束构造为抽象语法树来强调CHCs的语法信息。第二种是控制流和数据流超图（CDHG），它通过用三值超边表示控制流和数据流来强调CHC的语义信息。然后，我们提出了一个新的GNN架构，R-HyGNN，扩展关系图卷积网络，处理超图。为了评估R-HyGNN从程序中提取语义信息的能力，我们使用R-HyGNN在两个图表示上对模型进行训练，并使用CHC-COMP 2021中的基准作为训练数据，对五个难度越来越大的代理任务进行训练。最困难的代理任务要求模型预测反例中子句的出现，这包含了CHCs的可满足性。CDHG在此任务中达到90.59%的准确率。此外，R-HyGNN对其中一个由290多个子句组成的图有完美的预测。总的来说，我们的实验表明，R-HyGNN可以捕获复杂的程…
2022-07-26 cs.AI cs.LG
Hyperdimensional Representation Learning for Node Classification and Link Prediction
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出超维图学习器（HDGL），利用超维空间表示和注入性属性，单次遍历实现节点分类与链接预测，以低计算成本达到与先进GNN竞争的性能。
2025-02-27 cs.AI cs.LG cs.SI
Hyperbolic Graph Neural Networks
Facebook AI Research（脸书人工智能研究院）
从图结构数据中学习是机器学习和人工智能的一项重要任务，图神经网络（GNN）在这方面表现出了巨大的潜力。受几何表示学习的最新进展的启发，我们提出了一种新的GNN架构，用于学习具有可微指数和对数映射的黎曼流形上的表示。我们开发了一个可扩展的算法建模的图的结构特性，比较欧几里德和双曲几何。在我们的实验中，我们表明双曲GNN可以在各种基准数据集上带来实质性的改进。
2019-10-28 cs.LG stat.ML
Multi-RF Fusion with Multi-GNN Blending for Molecular Property Prediction
本文提出多RF融合与多GNN融合方法，在ogbg-molhiv数据集上取得0.8476±0.0002的ROC-AUC成绩，通过调整max_features和GNN预测平均策略提升性能。
2026-03-21 cs.AI cs.LG
Uncertainty in GNN Learning Evaluations: A Comparison Between Measures for Quantifying Randomness in GNN Community Detection
University of Bristol（布里斯托大学）
比较了三种随机性量化度量指标，发现基于Wasserstein距离的$W$随机性系数能提供最稳健的评估，并揭示了超参数优化对GNN社区检测性能的显著影响。
2024-01-04 cs.LG cs.SI physics.soc-ph
Graph-adaptive Rectified Linear Unit for Graph Neural Networks
The Chinese University of Hong Kong（香港中文大学）；Australian National University（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61部）
图神经网络（GNN）通过将传统卷积扩展到非欧几里德数据的学习，取得了显着的成功。GNN的关键是采用神经消息传递范式，分为两个阶段：聚合和更新。当前的GNN设计在聚合阶段考虑了拓扑信息。但在更新阶段，所有节点共享相同的更新功能。相同更新函数将每个节点嵌入视为i.i.d.。随机变量，因此忽略了邻域之间的隐式关系，这限制了GNN的容量。更新函数通常用线性变换后接非线性激活函数来实现。为了使更新函数具有拓扑意识，我们将拓扑信息注入到非线性激活函数中，提出了一种新的参数化激活函数--图自适应整流线性单元（GReLU）。GReLU的参数是从基于节点特征和相应的邻接矩阵的超函数中获得的。为了降低过拟合的风险和计算成本，我们将超函数分解为节点和特征的两个独立分量。我们进行了全面的实验，以表明我们的即插即用GReLU方法是高效和有效的给定不同的GNN骨干和各种下游任务。
2022-02-13 cs.AI cs.LG
A Novel Genetic Algorithm with Hierarchical Evaluation Strategy for Hyperparameter Optimisation of Graph Neural Networks
Heriot-Watt University（赫瑞-瓦特大学）；University of Aberdeen（阿伯丁大学）
结构化数据的图形表示可以促进立体特征的提取，并且在与深度学习系统（所谓的图神经网络（GNN））一起工作时，它已经表现出出色的能力。选择一个有前途的架构来构建GNN可以转移到一个超参数优化问题，这是一个非常具有挑战性的任务，因为底层搜索空间的大小和评估候选GNN的高计算成本。为了解决这个问题，本研究提出了一种新的遗传算法与分层评估策略（HESGA），它结合了全面评估的GNNs的快速评估方法。通过使用完全评估，GNN由一组超参数值表示，并在指定的数据集上进行训练，均方根误差（RMSE）将用于衡量由超参数值集表示的GNN的质量（对于回归问题）。虽然在所提出的快速评估过程中，训练将在早期阶段中断，但开始和中断时期之间的RMSE值的差异将被用作快速分数，这意味着GNN的潜力正在被考虑。为了协调这两种类型的评估，所提出的分层策略使用较低级别的快速评估来推荐候选人到更高级别，其中全面评估将作为最终评估者来维护一组精英个体。为了验证HESGA的有效性，我们将其应用于优化两种类型的深度图神经网络。在三个基准数据集上的实验结果表明，与贝叶斯超参数优化相比，该方法具有明显的优势.
2021-01-26 cs.LG cs.NE
Hyperbolic Graph Attention Network
Beijing University of Posts and Telecommunications（北京邮电大学）；West Virginia University（西弗吉尼亚大学）
图神经网络（GNN）在处理图方面表现出了优越的性能，近年来引起了广泛的研究关注。然而，大多数现有的GNN模型主要是针对欧几里得空间中的图设计的。最近的研究已经证明，图形数据表现出非欧几里德潜在的解剖。不幸的是，到目前为止，很少有研究GNN在非欧几里德设置。为了弥补这一缺陷，本文首次尝试在双曲空间中研究了具有注意力机制的GNN。双曲GNN的研究有一些独特的挑战：由于双曲空间不是向量空间，因此向量运算（例如，向量加法、减法和标量乘法）不能被执行。为了解决这个问题，我们采用gyrovector空间，它提供了一个优雅的代数形式主义的双曲几何，变换的功能，在一个图，然后我们提出了双曲接近的注意力机制聚合的功能。此外，由于双曲空间中的数学运算可能比欧氏空间中的数学运算更复杂，我们进一步设计了一种新的加速策略，使用对数和指数映射来提高我们提出的模型的效率。在四个真实世界数据集上的综合实验结果表明，我们提出的双曲图注意力网络模型的性能，通过与其他国家的最先进的基线方法进行比较。
2019-12-06 cs.LG stat.ML
Unsupervised Joint $k$-node Graph Representations with Compositional Energy-Based Models
Purdue University（普渡大学）；Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；United States Army Research Laboratory（美国陆军研究实验室）
现有的学习归纳无监督图表示的图神经网络（GNN）方法集中于通过预测图中观察到的边来学习节点和边表示。尽管这样的方法已经在下游节点分类任务中显示出进步，但是它们在联合表示较大的$k$ -节点集合$k{>}2$时是无效的。我们提出了MHM-GNN，一种归纳的无监督图表示方法，将联合$k$节点表示与基于能量的模型（超图马尔可夫网络）和GNN相结合。为了解决这种组合所产生的损失的棘手性，我们使用有限样本无偏马尔可夫链蒙特卡罗估计赋予我们的优化与损失上限。我们的实验表明，MHM-GNN的无监督MHM-GNN表示比文献中现有的方法产生更好的无监督表示。
2020-10-08 cs.AI cs.LG
Stable and Transferable Hyper-Graph Neural Networks
University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）
我们介绍了一种架构，通过图神经网络（GNNs），我们称之为超图扩展神经网络（HENN），超图信号处理模型的稳定性和可转移性误差的第一界支持的信号处理。为此，我们提供了一个框架，用于通过谱相似性来限制GNN在任意图上的稳定性和可转移性误差。通过界定两个图移位算子（GSOs）之间的差异，在半正定意义上，通过其特征值谱，我们表明，这种错误只取决于GNN的性质和GSOs的谱相似性的大小。此外，我们还表明，假设图是彼此的小扰动，或者图是随机的并且从同一分布绘制或从同一图子采样，则可以使用我们的方法恢复现有的可传递性结果。因此，GNN和我们的HENN（使用归一化拉普拉斯算子作为图移位算子进行训练）都将随着图变得越来越大而变得越来越稳定和可转移。实验结果说明了在HENN中考虑多种图形表示的重要性，并显示了其优越的性能时，需要的可移植性。
2022-12-12 cs.LG
ChemHGNN: A Hierarchical Hypergraph Neural Network for Reaction Virtual Screening and Discovery
University of Notre Dame（诺丁汉大学）；Caltech（加州理工学院）；University of Washington（华盛顿大学）
针对传统GNN难以建模多反应物相互作用的问题，提出融合层级特征与反应中心感知负采样的超图神经网络ChemHGNN，在USPTO数据集上性能优于基线，为加速反应发现提供新框架。
2025-05-21 cs.LG
Classic GNNs are Strong Baselines: Reassessing GNNs for Node Classification
Beihang University（北京航空航天大学）；The Hong Kong Polytechnic University（香港理工大学）
本文通过充分调参与消融实验重新评估 GCN、GAT、GraphSAGE，发现经典 GNN 在 18 个数据集中的 17 个上可匹敌甚至超越 GT。
2024-10-28 cs.LG
Graph Attentional Autoencoder for Anticancer Hyperfood Prediction
Imperial College London（帝国理工学院）；Twitter（推特）；USI Lugano（卢加诺大学）
最近的研究工作表明，有可能从食物中发现抗癌药物样分子对蛋白质-蛋白质相互作用网络的影响，为疾病治疗饮食设计开辟了一条潜在的途径。我们将此任务表述为一个图分类问题，图神经网络（GNNs）在此问题上取得了最先进的结果。然而，根据我们的经验证据，GNN很难在稀疏低维特征上进行训练。在这里，我们提出了图增强功能，将图结构信息和原始节点属性以不同的比例整合在一起，以简化网络的训练。我们进一步介绍了一种新的神经网络架构的图形，图形注意自动编码器（GAA）预测食品化合物的抗癌性质的基础上扰动蛋白质网络。我们证明了该方法优于基线方法和最先进的图分类模型在这项任务中。
2020-01-16 cs.AI cs.LG
The Effectiveness of Curvature-Based Rewiring and the Role of Hyperparameters in GNNs Revisited
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Harvard University（哈佛大学）
本文重新评估基于曲率的重连在真实世界GNN数据集上的效果，发现所选边不符合瓶颈理论标准，SOTA准确率多为超参数扫描的异常值，而非一致性能提升。
2024-11-04 cs.LG
Constant-Depth Rational-Weight GNNs and their Connection to Schanuel's Conjecture
Leipzig University（莱比锡大学）；ScaDS.AI Dresden/Leipzig（德累斯顿/莱比锡人工智能可持续数据中心）
该研究探讨常深度理性权重GNN的表达能力，证明若Schanuel猜想成立，此类GNN可匹配1-WL测试的表达能力，还给出部分逆命题并通过实验验证结论。
2026-10-14 cs.LG cs.LO
UniGNN: a Unified Framework for Graph and Hypergraph Neural Networks
Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University（上海交通大学图像处理与模式识别研究所）
超图作为一种能够灵活表达实体间高阶关系的结构，近年来受到了各个领域的广泛关注。尽管图神经网络（GNN）在图表示学习方面取得了成功，但如何将强大的GNN变体直接适应超图仍然是一个具有挑战性的问题。在本文中，我们提出了UniGNN，一个统一的框架，用于解释图和超图神经网络中的消息传递过程，它可以将一般的GNN模型推广到超图。在这个框架中，旨在深化GNN的精心设计的架构也可以以最少的努力被合并到超图中。已经进行了大量的实验来证明UniGNN在多个真实世界数据集上的有效性，这些数据集的性能远远优于最先进的方法。特别是对于DBLP数据集，我们将半监督超节点分类任务的准确率从77.4%提高到88.8%。我们进一步证明了所提出的基于消息传递的UniGNN模型在区分非同构超图方面最多与一维广义Weisfeiler-Leman（1-GWL）算法一样强大。我们的代码可在\url{https://github.com/OneForward/UniGNN}上获得。
2021-05-03 cs.LG cs.SI
Ablate and Rescue: A Causal Analysis of Residual Stream Hyper-Connections
Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）；Independent（独立）；University of Oxford（牛津大学）
本文提出首个开源mHC语言模型，通过代表层面指标和因果干预分析多流架构，揭示并行流的信息编码与利用机制，引入系统性的流消除-救援框架进行因果比较。
2026-03-16 cs.AI cs.LG
Auto-ML Graph Neural Network Hypermodels for Outcome Prediction in Event-Sequence Data
Khalifa University（卡利法大学）；University of Milan（米兰大学）
本文提出HGNN(O)框架，通过自调机制实现高效适应，用于事件序列数据结果预测，取得高准确率和F1分数。
2025-11-24 cs.LG
MentorGNN: Deriving Curriculum for Pre-Training GNNs
Virginia Tech（弗吉尼亚理工大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
图预训练策略在图挖掘社区中引起了极大的关注，因为它们在参数化图神经网络（GNN）时具有灵活性，无需任何标签信息。其关键思想在于通过预测从输入图中提取的掩码图信号，将有价值的信息编码到骨干GNN中。为了平衡不同图形信号的重要性（例如，节点、边、子图），现有的方法大多是通过引入超参数来重新加权图信号的重要性而手工设计的。然而，次优超参数的人为干预往往会注入额外的偏差，并恶化下游应用程序的泛化性能。本文从一个新的角度来解决这些局限性，即，导出用于预训练GNN的课程。我们提出了一个名为MentorGNN的端到端模型，旨在监督GNN在具有不同结构和不同特征空间的图中的预训练过程。为了理解不同粒度的异构图信号，我们提出了一个课程学习范例，自动重新加权图信号，以确保在目标域中的良好的泛化。此外，我们对关系数据的域适应问题（即，图），通过导出预训练的GNN的泛化误差的自然且可解释的上界。在大量真实图上进行的大量实验验证了MentorGNN的性能。
2022-08-21 cs.LG
VS-Graph: Scalable and Efficient Graph Classification Using Hyperdimensional Computing
Department of Electrical and Computer Engineering, George Mason University, Fairfax, VA, USA（电气与计算机工程系，乔治·马歇尔大学，弗吉尼亚州 Fairfax）；Oak Ridge National Laboratory, Oak Ridge, TN, USA（橡树岭国家实验室，橡树岭，田纳西州）
VS-Graph通过超维度计算实现高效图分类，在保持性能的同时显著提升训练速度。
2025-12-03 cs.AI cs.LG cs.NE
HyperAttack: Multi-Gradient-Guided White-box Adversarial Structure Attack of Hypergraph Neural Networks
Central South University（中南大学）；National University of Defence Technology（国防科技大学）；Tsinghua University（清华大学）
超图神经网络（HGNN）在各种深度学习任务中表现出卓越的性能，利用高阶表示能力通过超边建模连接两个或更多节点来制定数据之间的复杂相关性。针对图神经网络的对抗性攻击已经得到了广泛的研究，但针对HGNN的对抗攻击研究较少，这对HGNN应用的安全性构成了威胁。在本文中，我们介绍了HyperAttack，第一个针对超图神经网络的白盒对抗攻击框架。HyperAttack通过在梯度和综合梯度的指导下扰动超边缘链路状态来进行白盒结构攻击。我们评估HyperAttack上广泛使用的Cora和PubMed数据集和三个超图神经网络与典型的超图建模技术。与GNN最先进的白盒结构化攻击方法相比，HyperAttack在时间效率上提高了10- 20倍，同时攻击成功率也提高了1.3%-3.7%。结果表明，HyperAttack可以实现有效的对抗攻击，平衡效率和时间成本。
2023-02-24 cs.AI cs.CR cs.LG
GNN-Suite: a Graph Neural Network Benchmarking Framework for Biomedical Informatics
School of Informatics University of Edinburgh（信息学院爱丁堡大学）；School of Biological Sciences University of Edinburgh（生物科学学院爱丁堡大学）
该研究提出面向计算生物学的GNN基准测试框架GNN-Suite，通过标准化流程对比多种GNN模型在癌症驱动基因识别任务上的性能，验证了网络学习方法的优势，可推动领域可重复研究与基准标准完善。
2025-05-15 cs.AI cs.LG
Parameterized Hypercomplex Graph Neural Networks for Graph Classification
Bayer AG（拜耳股份公司）；Freie Universität Berlin（柏林自由大学）
尽管最近在超复数（HC）空间中的表示学习取得了进展，但在图的背景下，这个主题仍然是大量未探索的。受复数和四元数代数的启发，在几种情况下，已经发现有效的表示学习，固有地结合了权重共享机制，我们开发了图神经网络，利用超复杂特征变换的属性。特别是，在我们提出的模型类中，指定代数本身的乘法规则是从训练期间的数据中推断出来的。给定一个固定的模型架构，我们提出的经验证据表明，我们提出的模型结合了正则化效应，减轻了过度拟合的风险。我们还表明，对于固定的模型容量，我们提出的方法优于其相应的实数形式的GNN，为HC嵌入的增强表达性提供了额外的确认。最后，我们在几个开放图基准数据集上测试了我们提出的超复杂GNN，并表明我们的模型达到了最先进的性能，同时消耗了更低的内存占用，参数为70个或更少。我们的实现可以在https://github.com/bayer-science-for-a-better-life/phc-gnn上找到。
2021-03-30 cs.LG
A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking
National University of Singapore（新加坡国立大学）；Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
大规模图训练是图神经网络（GNN）的一个众所周知的挑战性问题。由于将图结构演化到训练过程中的性质，普通GNN通常无法扩展，受到GPU内存空间的限制。到目前为止，虽然已经提出了许多可扩展的GNN架构，但我们仍然缺乏对这个水库的全面调查和公平基准，以找到设计可扩展GNN的理由。为此，我们首先将大规模图训练的代表性方法系统地制定为几个分支，并通过贪婪超参数搜索进一步为它们建立公平和一致的基准。此外，在效率方面，我们从理论上评估了各种分支的时间和空间复杂度，并根据经验将其与GPU内存使用率、吞吐量和收敛性进行了比较。此外，我们分析了可扩展GNN的各个分支的优缺点，然后提出了一种新的集成训练方式，命名为EnGCN，以解决现有的问题。我们的代码可在https://github.com/VITA-Group/Large_Scale_GCN_Benchmarking上获得。
2023-03-01 cs.AI cs.LG
The E$Δ$-MHC-Geo Transformer: Adaptive Geodesic Operations with Guaranteed Orthogonality
Independent Researcher（独立研究者）
本文提出E$Δ$-MHC-Geo变换器，结合流形约束超连接、深度delta学习和Cayley变换，实现输入自适应且无条件正交的残差连接。通过数据依赖的Cayley旋转和Householder反射的混合方法，提升长时稳定性和旋转损失性能。
2026-05-07 cs.AI cs.LG
Mitigating Bias in Graph Hyperdimensional Computing
University of California, Irvine（加州大学尔湾分校）；Purdue University Northwest（普渡大学西北分校）
本文提出FairGHDC框架，通过在超向量空间中直接去偏见，缓解图超维度计算中的公平性问题，同时保持计算效率。
2025-12-08 cs.LG cs.SI
A Systematic Comparison Study on Hyperparameter Optimisation of Graph Neural Networks for Molecular Property Prediction
Heriot-Watt University（赫瑞-瓦特大学）
图神经网络（GNN）已经被提出用于广泛的图相关学习任务。特别是近年来，越来越多的GNN系统被应用于预测分子性质。然而，一个直接的障碍是选择合适的超参数，以实现令人满意的性能，较低的计算成本。与此同时，在典型的深度学习应用中，许多分子数据集远远小于许多其他数据集。大多数超参数优化（HPO）方法尚未在分子域中的小数据集上探索其效率。在本文中，我们进行了理论分析的共同和特殊功能的两个国家的最先进的和流行的算法HPO：TPE和CMA-ES，我们比较了它们与随机搜索（RS），这是作为一个基线。在MoleculeNet平台上，从不同的角度对RS、TPE和CMA-ES对GNNs的HPO影响进行了实验研究，以预测GNNs的分子性质。在我们的实验中，我们得出结论，RS，TPE和CMA-ES在解决不同的特定分子问题时具有各自的优势。最后，我们相信我们的工作将激励GNN应用于化学和材料科学中的分子机器学习问题的进一步研究。
2021-04-22 cs.LG q-bio.BM
ASFGNN: Automated Separated-Federated Graph Neural Network
Ant Group（蚂蚁集团）
图神经网络（GNNs）通过利用图数据取得了显著的性能。GNN模型的成功总是依赖于丰富的特征和相邻关系。然而，在实践中，这些数据通常被不同的数据所有者（客户端）隔离，因此可能是非独立和相同分布的（非IID）。同时，考虑到数据所有者的网络状态有限，在数据隔离场景下，协同学习方法的超参数优化是耗时的。为了解决这些问题，我们提出了一个自动分离联邦图神经网络（ASFGNN）的学习范式。ASFGNN由两个主要部分组成，即，GNN的训练和超参数的调整。具体来说，为了解决数据非IID问题，我们首先提出了一种分离式联邦GNN学习模型，该模型将GNN的训练分为两部分：由客户单独完成的消息传递部分和由客户联邦学习的损失计算部分。为了解决耗时的参数调整问题，我们利用贝叶斯优化技术来自动调整所有客户端的超参数。我们在基准数据集上进行了实验，结果表明，ASFGNN在准确性和参数调整效率方面明显优于朴素联邦GNN。
2020-11-06 cs.DC cs.LG
VLSI Hypergraph Partitioning with Deep Learning
University of California Santa Cruz（加州大学圣克鲁兹分校）
本文针对VLSI超图网表划分问题，提出一组具有已知切割质量上界的新型合成基准，并系统评估了现有最先进划分算法与基于GNN的方法，揭示其各自优劣。
2024-09-02 cs.AI cs.AR cs.DC
A Self-supervised Riemannian GNN with Time Varying Curvature for Temporal Graph Learning
North China Electric Power University（华北电力大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Beihang University（北京航空航天大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
时间图上的表示学习由于其在广泛的现实应用中的重要性而引起了广泛的研究关注。虽然一些研究成功地获得了时间依赖的表征，但它仍然面临着重大的挑战。一方面，现有的嵌入方法大多将嵌入空间限制在一定的曲率范围内。然而，其基本几何事实上是在正曲率超球面、零曲率欧氏空间和负曲率双曲空间之间随时间演化的。另一方面，这些方法通常需要大量的标签来学习时间表示，从而显着限制了它们在实际应用中的无标签图中的广泛使用。为了弥补这一差距，我们首次尝试研究一般黎曼空间中的自监督时态图表示学习问题，支持时变曲率在超球面、欧几里得和双曲空间之间转移。本文提出了一种新的自监督黎曼图神经网络（SelfRGNN）。具体来说，我们设计了一个曲率变化的黎曼GNN与理论接地时间编码，并制定了一个功能曲率随时间的推移，以模拟正，零和负曲率空间之间的演变转移。为了实现自监督学习，我们提出了一种新的重加权自对比方法，探索黎曼空间本身没有增强，并提出了一个基于边缘的自监督曲率学习与里奇曲率。大量的实验表明了SelfRGNN的优越性，而且，案例研究显示了现实中时间图的时变曲率。
2022-08-30 cs.LG
DLGNet: Hyperedge Classification through Directed Line Graphs for Chemical Reactions
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Bergamo（贝加莫大学）；University of Milano-Bicocca（米兰比可卡大学）
本研究针对化学反应分类问题，提出有向线图概念并构建基于谱的DLGNet模型，借助新型有向线图拉普拉斯矩阵编码超边方向性，在真实化学反应数据集上实现显著性能提升。
2024-10-09 cs.AI cs.LG
Weisfeiler and Leman go Hyperbolic: Learning Distance Preserving Node Representations
École Polytechnique（巴黎综合理工学院）
近年来，图神经网络（GNNs）已经成为解决图上的机器学习问题的有前途的工具。大多数GNN是消息传递神经网络（MPNN）家族的成员。这些模型和Weisfeiler-Leman（WL）同构测试之间有着密切的联系，WL是一种可以成功测试广泛类图的同构的算法。最近，许多研究都集中在衡量GNN的表达能力上。例如，已经表明，标准MPNN在区分非同构图方面最多与WL一样强大。然而，这些研究在很大程度上忽略了节点/图的表示之间的距离，这对学习任务至关重要。在本文中，我们定义了一个节点之间的距离函数，它是基于WL算法产生的层次结构，并提出了一个模型，学习表示，保持这些节点之间的距离。由于新出现的层次结构对应于树，为了学习这些表示，我们利用了双曲神经网络领域的最新进展。我们在标准节点和图分类数据集上对所提出的模型进行了经验评估，在这些数据集上，它与最先进的模型具有竞争力的性能。
2023-02-28 cs.LG
Partition-Based Active Learning for Graph Neural Networks
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）
我们研究了半监督学习问题与图神经网络（GNNs）在主动学习设置。我们提出了GraphPart，一种新的基于分区的主动学习方法的GNNs。GraphPart首先将图分割成不相交的分区，然后在每个分区中选择代表节点进行查询。该方法的动机是一个新的分析的分类错误下现实的平滑假设的图形和节点功能。在多个基准数据集上进行的大量实验表明，该方法在广泛的注释预算约束下优于现有的GNN主动学习方法。此外，所提出的方法不引入额外的超参数，这对于模型训练至关重要，特别是在标记验证集可能不可用的主动学习设置中。
2023-03-17 cs.AI cs.LG
Principled Hyperedge Prediction with Structural Spectral Features and Neural Networks
Purdue University（普渡大学）；Peking University（北京大学）；Indiana University（印第安纳大学）
超图提供了一个框架来描述现实世界中复杂数据的多边关系。预测高阶关系，即超边，成为充分理解复杂相互作用的基本问题。图神经网络（GNN）的发展极大地推进了具有成对关系的普通图的分析。然而，这些方法不能很容易地推广到超图的情况。在本文中，我们概括了GNN在原则上表示高阶数据的挑战，即边缘和节点级的模糊性。为了克服这些挑战，我们提出了SNALS，它利用具有结构特征的二分图神经网络来共同解决这两个模糊性问题。SNALS捕捉超边缘与其局部环境的联合作用，通过收集它们连接的频谱信息来检索。因此，与最近的基于GNN的模型相比，SNALS实现了近30%的性能提升。此外，我们应用SNALS来预测3D基因组组织数据上的遗传高阶相互作用。SNALS在不同染色体上表现出一致的高预测准确性，并产生了关于4向基因相互作用的新发现，这被现有文献进一步验证。
2021-06-13 cs.LG cs.SI
A Depth-Aware Comparative Study of Euclidean and Hyperbolic Graph Neural Networks on Bitcoin Transaction Systems
School of Computing Sciences and Computer Engineering（计算科学与计算机工程学院）；University of Southern Mississippi（密西西比大学）
本文比较了欧几里得与双曲图神经网络在比特币交易网络中的节点分类性能，分析了嵌入空间差异及优化行为，揭示了嵌入几何与邻域深度对大规模交易网络建模的影响。
2026-03-17 cs.LG
Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
众所周知，训练深度图神经网络（GNN）非常困难。除了训练深度架构的标准困境（如消失梯度和过拟合）之外，它还独特地遭受过平滑，信息挤压等问题，这限制了它们在大规模图中编码高阶邻居结构的潜在能力。尽管提出了许多努力来解决这些限制，例如各种形式的跳过连接，图形规范化和随机丢弃，但很难将深度GNN架构带来的优势与训练这种架构所需的“技巧”区分开来。此外，缺乏一个具有公平和一致的实验环境的标准化基准，对衡量新机制的有效性构成了几乎不可逾越的障碍。有鉴于此，我们提出了第一个公平且可重复的基准，专门用于评估训练深度GNN的“技巧”。我们对现有的方法进行分类，研究它们的超参数敏感性，并统一基本配置。然后对数十个代表性的图数据集进行全面评估，包括最近的大规模Open Graph Benchmark，具有不同的深度GNN骨干。我们证明了初始连接，身份映射，组和批量归一化的有机组合在大型数据集上获得了深度GNN的最新结果。代码可用：https://github.com/VITA-Group/Deep_GCN_Benchmarking。
2022-05-09 cs.AI cs.LG
Can we ease the Injectivity Bottleneck on Lorentzian Manifolds for Graph Neural Networks?
Institute for Clarity in Documentation（清晰文档研究所）；Inria Paris-Rocquencourt（巴黎-罗克琴克特研究所）；Rajiv Gandhi University（拉贾维·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒实验室）；Vellore Institute of Technology（韦洛尔理工学院）
本文提出洛伦兹图同构网络 LGIN，通过保持洛伦兹度量的新更新规则缓解双曲 GNN 的单射瓶颈，在九个基准数据集上优于或匹配最先进的欧氏与双曲基线，首次将高判别力 GNN 原理适配到黎曼流形。
2025-07-18 cs.AI cs.LG
GNN-FiLM: Graph Neural Networks with Feature-wise Linear Modulation
Microsoft Research（微软研究院）
本文提出了一种新的图神经网络（GNN）类型，使用特征线性调制（FiLM）。许多标准的GNN变体通过仅基于每条边的源的表示来计算“消息”来沿着图的边传播信息。在GNN-FiLM中，边缘的目标节点的表示还用于计算可应用于所有传入消息的变换，从而允许对传递的信息进行特征调制。实验结果比较不同的GNN架构上的三个任务，从文献中，重新实现的基线方法的基础上。使用广泛的搜索发现所有方法的超参数，产生了一些令人惊讶的结果：基线模型之间的差异小于文献中报道的差异。尽管如此，GNN-FiLM在分子图回归任务上的表现优于基线方法，并在其他任务上表现出竞争力。
2020-06-26 cs.LG stat.ML
CiliaGraph: Enabling Expression-enhanced Hyper-Dimensional Computation in Ultra-Lightweight and One-Shot Graph Classification on Edge
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）
针对边缘端图分类任务中GNNs计算量大且现有HDC方法准确率低的问题，提出超轻量级HDC模型CiliaGraph，通过新颖的节点编码策略、基于距离的信息聚合及降维优化，在保持准确率的同时大幅降低内存并加速训练。
2024-05-29 cs.AI cs.LG
From Hypergraph Energy Functions to Hypergraph Neural Networks
Fudan University（复旦大学）；Amazon（亚马逊）；Peng Cheng Laboratory（鹏城实验室）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）
本文提出参数化超图正则化能量函数，其极小值作为节点嵌入，通过双层优化端到端训练分类器，并在超图节点分类基准上取得最先进结果。
2023-06-19 cs.LG
Unsupervised Graph Anomaly Detection via Multi-Hypersphere Heterophilic Graph Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Shanghai University（上海大学）
针对无监督图异常检测中异配异常难区分及异常模式依赖局部上下文的问题，提出MHetGL框架，通过HGE净化增强邻域并以MHL融合全局与局部模式，在十个数据集上优于14个基线。
2025-03-15 cs.AI cs.LG
KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices
University of Technology Sydney（悉尼科技大学）
针对超连接中的训练不稳定和参数爆炸问题，提出KromHC方法，利用Kronecker积分解小规模双随机矩阵来参数化残差矩阵，在保证精确双随机性的同时将参数复杂度降至O(n^2C)。
2026-06-01 cs.CL cs.LG
A Finite Element-Inspired Hypergraph Neural Network: Application to Fluid Dynamics Simulations
The University of British Columbia（不列颠哥伦比亚大学）
针对现有图神经网络多基于双边连接的局限，提出受有限元启发的FEIH(ϕ)-GNN超图网络，具备旋转等变性，在流体模拟基准上实现稳定准确的插值预测及适度外推能力。
2023-04-24 cs.LG physics.flu-dyn
HyperSAT: Unsupervised Hypergraph Neural Networks for Weighted MaxSAT Problems
School of Mathematical Sciences, University of Chinese Academy of Science（中国科学院大学数学科学学院）；Zhongguancun Laboratory（中关村实验室）；School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）
针对加权最大可满足性（Weighted MaxSAT）问题现有图神经网络方法不足的问题，提出无监督超图神经网络模型HyperSAT，通过超图表示及交叉注意力机制等提升求解性能，实验证明其优于现有方法。
2025-04-16 cs.LG
Rethinking Structure Learning For Graph Neural Networks
Nanyang Technological University（南洋理工大学）；School of Software Technology（软件技术学院）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Zhejiang University（浙江大学）；College of Big Data Internet（大数据互联网学院）；Shenzhen University（深圳大学）
本文提出新GSL框架并分析互信息，发现GSL未带来信息增益，真正提升GNN性能的是预训练的GSL基础，建议重新关注自训练和结构编码等核心组件。
2024-11-12 cs.LG
