NodeJEPA: Structure-Conditioned Latent Prediction for Node-Level Graph Self-Supervised Learning
Northeastern University（东北大学）
本文提出NodeJEPA，一种节点级图自监督学习的联合嵌入预测架构，通过结构条件隐式预测避免依赖输入重构，经节点分类基准评估有效，为相关研究提供实用方案。
2026-08-06 cs.AI cs.LG
Self-Supervised Learning on Molecular Graphs: A Systematic Investigation of Masking Design
Stony Brook University（石溪大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
本文系统研究了分子图自监督学习中掩码设计的影响，发现预测目标与编码器架构的协同作用比复杂的掩码分布更为关键，且语义丰富的目标能显著提升下游性能。
2025-12-08 cs.AI cs.LG q-bio.QM
KITS: Inductive Spatio-Temporal Kriging with Increment Training Strategy
S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab）；University of Cologne（科隆大学）；Beijing Institute of Technology（北京理工大学）；SenseTime Research（商汤科技研究院）
针对归纳式时空克里金中的训练—推理图间隙，本文提出 KITS，通过向训练图加入虚拟节点、特征配对融合与伪标签监督提升迁移能力，MAE 最高改善 18.33%。
2025-01-10 cs.AI cs.LG
MeshMask: Physics-Based Simulations with Masked Graph Neural Networks
Mines Paris - PSL University Centre for Material Forming (CEMEF)（巴黎矿学院-PSL大学材料成形中心（CEMEF））
针对计算流体动力学（CFD）问题，提出MeshMask掩码预训练技术，结合非对称编码器-解码器架构和门控多层感知器，在七个CFD数据集（含3D颅内动脉瘤模拟数据集）上取得最先进结果，长期预测精度提升高达60%，并支持多数据集同时预训练以减少新任务的数据与时间需求。
2025-01-24 cs.LG physics.flu-dyn
Discrepancy-Aware Graph Mask Auto-Encoder
School of Computer Science and Technology（计算机科学与技术学院）；Xidian University（西电大学）
针对现有掩码图自编码器在异配图上泛化差的问题，提出DGMAE，通过重构邻接节点的差异信息获得更具区分性的节点表征，在17个基准数据集的三类图分析任务上显著优于现有方法。
2025-08-14 cs.AI cs.LG
Graph Context Encoder: Graph Feature Inpainting for Graph Generation and Self-supervised Pretraining
AnotherBrain
我们提出了图上下文编码器（GCE），一个简单而有效的方法，图表示学习的基础上图特征掩蔽和重建。GCE模型被训练成有效地重建输入图，类似于图自动编码器，其中节点和边缘标签被掩蔽。特别是，我们的模型还允许通过掩蔽和重建由随机伪边增强的图来改变图结构。我们表明，GCE可用于新的图形生成，与分子生成的应用程序。作为一种预训练方法，我们还表明，GCE提高了在多个标准基准图数据集上测试的监督分类任务的基线性能。
2021-06-18 cs.LG
Beyond Parameter Finetuning: Test-Time Representation Refinement for Node Classification
National University of Defense Technology（国防科技大学）；Intelligent Game and Decision Lab（智能游戏与决策实验室）
本文提出TTReFT框架，通过改进测试时间适应方法，解决图神经网络在分布外测试中的性能下降问题，提升节点分类的准确性和实用性。
2026-01-29 cs.AI cs.LG
Generalized Equivariance and Preferential Labeling for GNN Node Classification
Peking University（北京大学）；University of Alberta（阿尔伯塔大学）
现有的图神经网络（GNN）在很大程度上依赖于节点嵌入，节点嵌入通过其身份、类型或内容将节点表示为向量。然而，具有无属性节点的图广泛存在于现实世界的应用中（例如，匿名社交网络）。以前的GNN要么为节点分配随机标签（这会给GNN引入伪影），要么为所有节点分配一个嵌入（这无法显式区分一个节点与另一个节点）。此外，当这些GNN应用于无属性节点分类问题时，它们具有不期望的等方差属性，这从根本上无法解决具有多个可能输出的数据。在本文中，我们分析了现有的节点分类问题的方法的局限性。我们的分析的启发，我们提出了一个广义的等方差属性和优先标签技术，满足所需的属性渐近。实验结果表明，我们取得了较高的性能在几个无属性的节点分类任务。
2022-02-26 cs.AI cs.LG
Diffusion-Guided Pretraining for Brain Graph Foundation Models
Department of Electrical and Computer Engineering, Lehigh University, Bethlehem, PA, USA（电气与计算机工程系，莱维大学）；Department of Computer Science and Engineering, Lehigh University, Bethlehem, PA, USA（计算机科学与工程系，莱维大学）；Department of Psychiatry and Behavioral Sciences, Stanford University School of Medicine, Stanford, CA, USA（精神病学与行为科学系，斯坦福大学医学院）
本文提出基于扩散的预训练框架，通过结构感知的掩码策略和拓扑感知的图级读出，提升脑图表示的鲁棒性和有效性。
2026-03-07 cs.AI cs.LG
CIMAGE: Exploiting the Conditional Independence in Masked Graph Auto-encoders
Sungkyunkwan University（成均馆大学）
CIMAGE利用条件独立性在潜在空间中引导掩码策略，通过CI感知的潜在因子分解和无监督聚类伪标签提升图自监督学习，在节点分类与链路预测上表现优异。
2025-03-10 cs.AI cs.LG
Generative and Contrastive Graph Representation Learning
Apple（苹果公司）
本文提出一种融合生成式与对比式范式的图自监督学习框架，通过社区感知节点级对比、图级对比及综合增强策略，在节点分类、聚类和链接预测任务上超越现有方法，性能提升0.23%-2.01%。
2025-09-24 cs.AI cs.LG
ASMa: Asymmetric Spatio-temporal Masking for Skeleton Action Representation Learning
ASMa通过非对称时空掩码策略提升骨骼动作表示学习，实现更全面的特征表示，并在资源受限设备上高效部署。
2026-02-05 cs.AI cs.CV
IMPA-HGAE:Intra-Meta-Path Augmented Heterogeneous Graph Autoencoder
College of Software, Jilin University（吉林大学软件学院）；College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）
针对异构图自监督学习中元路径内部节点信息利用不足的问题，提出 IMPA-HGAE 框架与新型掩码策略，在异构数据集上取得更优表示性能。
2025-06-07 cs.AI cs.LG
Dual Graph Representation Learning
Sun Yat-Sen University（中山大学）
图表示学习将节点作为低维向量嵌入到大型图中，对许多下游应用都有很大的好处。然而，大多数嵌入框架本质上是传导性的，无法泛化到看不见的节点或学习不同图的表示。虽然归纳方法可以推广到看不见的节点，但它们忽略了节点的不同上下文，并且不能双重学习节点嵌入。在本文中，我们提出了一个上下文感知的无监督双重编码框架，\textbf{CADE}，生成表示的节点相结合的实时邻域与邻居关注的表示，并保留额外的内存已知节点。通过与最先进的方法进行比较，我们证明了我们的方法是有效的。
2020-02-25 cs.LG stat.ML
On Generalized Degree Fairness in Graph Neural Networks
Singapore Management University（新加坡管理大学）
传统的图神经网络（GNN）经常面临公平性问题，这些问题可能源于其输入，包括节点属性和节点周围的邻居。虽然最近已经提出了几种方法来消除源于敏感属性的偏差，但它们忽略了GNN的其他关键输入，即节点的邻居，这可能会引入偏差，因为GNN依赖于邻域结构来生成节点表示。特别是，节点之间不同的邻域结构，表现在截然不同的节点度上，导致节点的不同行为和有偏见的结果。在本文中，我们首先定义和推广的度偏差使用一个广义的定义节点度的表现和量化不同的多跳结构周围不同的节点。为了解决节点分类中的偏差，我们提出了一种新的GNN框架，称为广义度公平中心图神经网络（Deg-FairGNN）。具体而言，在每个GNN层中，我们采用可学习的去偏置函数来生成去偏置上下文，该上下文调制逐层邻域聚合以消除源自节点之间不同程度的程度偏差。在三个基准数据集上的大量实验证明了我们的模型在准确性和公平性指标上的有效性。
2023-02-20 cs.LG cs.SI
CL-MAE: Curriculum-Learned Masked Autoencoders
Aalborg University（奥尔堡大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）；Milestone Systems（迈尔斯通系统公司）；SecurifAI（SecurifAI公司）
本文提出 CL-MAE，利用可学习掩码模块在 MAE 自监督训练中生成由易到难的重建课程，并在 ImageNet 及五个下游任务上验证其优于 MAE 的表示学习效果。
2024-02-28 cs.AI cs.CV cs.LG
What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders
Sun Yat-sen University（中山大学）；Ant Group（蚂蚁集团）
本文提出掩码图自编码器MaskGAE，通过掩码边重建任务改进图自编码器的自监督学习，并从理论和实验上证明其在链路预测和节点分类上的优越性。
2023-05-29 cs.AI cs.LG
Region-Aware Reconstruction Strategy for Pre-training fMRI Foundation Model
St. Jude Children’s Research Hospital（圣犹大儿童研究医院）；The University of Memphis（密苏里大学梅尔斯分校）
本研究提出一种基于AAL3的ROI引导区域感知掩码重建策略用于静息态fMRI基础模型预训练，在ADHD-200数据集上分类准确率提升4.23%，并增强了模型的可解释性与鲁棒性。
2025-11-01 cs.AI cs.CV cs.LG
Adaptive Universal Generalized PageRank Graph Neural Network
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）
在许多重要的图形数据处理应用中，所获取的信息包括节点特征和图形拓扑的观察。图神经网络（GNN）旨在利用这两种证据来源，但它们并没有最佳地权衡其效用，并以一种通用的方式整合它们。这里，普适性指的是对同质性或异质性图假设的独立性。我们通过引入一种新的广义PageRank（GPR）GNN架构来解决这些问题，该架构自适应地学习GPR权重，以便联合优化节点特征和拓扑信息抽取，而不管节点标签是同性还是异性。学习的GPR权重自动调整到节点标签模式，与初始化的类型无关，从而保证了通常难以处理的标签模式的良好学习性能。此外，它们允许避免特征过度平滑，这是一个使特征信息无差别的过程，而不需要网络是浅的。我们对GPR-GNN方法的理论分析是由所谓的上下文随机块模型生成的新的合成基准数据集促进的。我们还比较了我们的GNN架构的性能与几个国家的最先进的GNN的节点分类问题，使用著名的基准homophilic和heterophilic数据集。结果表明，GPR-GNN提供了显着的性能改善相比，现有的技术在合成和基准数据。
2021-10-26 cs.LG stat.ML
Where to Mask: Structure-Guided Masking for Graph Masked Autoencoders
School of Computer Science, Wuhan University（武汉大学计算机学院）；JD Explore Academy, JD.com（京东探索研究院）；School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；School of Computer Science, Yunnan University（云南大学计算机学院）；School of Computing, Macquarie University（麦考瑞大学计算学院）
本文提出结构引导掩码策略 StructMAE，通过基于结构重要性打分实现由易到难的掩码，改进图掩码自编码器，在节点和图分类任务上优于现有模型。
2024-04-24 cs.LG
Propagation Tree Is Not Deep: Adaptive Graph Contrastive Learning Approach for Rumor Detection
针对谣言传播树呈宽泛浅层结构的特点，提出自适应图对比学习方法RAGCL，通过基于节点中心性的视图增强生成稳健谣言表示，在四个基准数据集上优于现有方法。
2025-08-10 cs.AI cs.CL cs.SI
LinkThief: Combining Generalized Structure Knowledge with Node Similarity for Link Stealing Attack against GNN
East China Normal University（华东师范大学）；TongJi University（同济大学）
针对现有GNN链路窃取攻击依赖节点后验相似假设、无法覆盖不满足该假设的链路的问题，提出结合广义结构知识与节点相似性的LinkThief攻击方法，通过构建影子-目标桥接图提取结构特征，实验验证其在无额外假设下仍有效。
2024-10-01 cs.AI cs.CR cs.LG
Variational Graph Auto-Encoder Based Inductive Learning Method for Semi-Supervised Classification
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；State Grid Zhejiang Electric Power Co. Ltd.（国网浙江省电力有限公司）
针对图神经网络在归纳学习中依赖标注数据的问题，提出自标签增强VGAE模型及SLAM方法，通过标签重构与伪标签增强提升半监督节点分类性能。
2024-03-26 cs.LG
Task-driven Heterophilic Graph Structure Learning
Indian Institute of Science, Bangalore, India（印度科学研究院，班加罗尔）；University of Rochester, Rochester, United States（罗切斯特大学）
FgGSL通过结合频率信息与监督拓扑推断，实现任务驱动的异质图结构学习，有效提升图神经网络在异质图上的性能。
2025-12-29 cs.LG
Improving Fairness in Graph Neural Networks via Mitigating Sensitive Attribute Leakage
Vanderbilt University（范德堡大学）；University of Virginia（弗吉尼亚大学）；Case Western Reserve University（凯斯西储大学）
图神经网络（GNN）在学习图上的节点表示方面表现出强大的能力。然而，它们可能从训练数据中继承历史偏见，导致预测中的歧视性偏差。虽然一些工作已经开发了公平的GNN，但大多数都直接从非图域借用公平的表示学习技术，而没有考虑GNN中特征传播引起的敏感属性泄漏的潜在问题。然而，我们根据经验观察到，特征传播可以改变以前无害的非敏感特征与敏感特征的相关性。这可以被视为敏感信息的泄漏，这可能进一步加剧预测中的歧视。因此，我们根据特征相关性设计了两种特征掩蔽策略，以突出考虑特征传播和相关性变化在减轻歧视方面的重要性。出于我们的分析，我们提出了公平的看法图神经网络（FairVGNN）自动识别和屏蔽敏感相关的功能，考虑相关性变化后的功能传播，以产生公平的功能视图。给定学习到的公平视图，我们自适应地钳制编码器的权重，以避免使用敏感相关的特征。在真实数据集上的实验表明，FairVGNN在模型效用和公平性之间具有更好的权衡。我们的代码可在https://github.com/YuWVandy/FairVGNN上公开获取。
2022-06-09 cs.CR cs.CY cs.LG
Spatial Aggregation and Temporal Convolution Networks for Real-time Kriging
McGill University（麦吉尔大学）；HEC Montreal（蒙特利尔高等商学院）
时空克里格法是时空数据分析中的一个重要应用，旨在根据观测信号恢复/内插未采样/未观测位置的信号。时空克里金法的主要挑战是如何有效地建模和利用数据中的时空依赖性。最近，图神经网络（GNNs）在时空克里金任务中表现出了巨大的潜力。然而，标准GNN通常需要精心设计的邻接矩阵和特定的聚合函数，这对于一般应用/问题来说是不灵活的。为了解决这个问题，我们提出了SATCN -空间聚合和时间卷积网络-一个通用的和灵活的框架来执行时空克里格为各种时空数据集，而不需要模型规范。具体来说，我们提出了一种新的空间聚合网络（SAN）的灵感来自主邻域聚合，它使用多个聚合功能，以帮助一个节点收集不同的信息，从它的邻居。为了排除来自未采样节点的信息，一个屏蔽策略，防止未采样的传感器发送消息到他们的邻居被引入到SAN。我们通过时间卷积网络捕获时间依赖性，这使得我们的模型能够处理不同大小的数据。为了使SATCN可推广到看不见的节点，甚至看不见的图结构，我们采用归纳策略训练SATCN。我们对三个真实世界的时空数据集进行了广泛的实验，包括交通速度和气候记录。我们的研究结果表明，SATCN优于传统的和基于GNN的克里金模型。
2021-09-24 cs.LG
SeeGera: Self-supervised Semi-implicit Graph Variational Auto-encoders with Masking
East China Normal University（华东师范大学）；Microsoft Research Asia（微软亚洲研究院）
生成图自监督学习（SSL）的目的是通过重构输入图数据来学习节点表示。然而，大多数现有的方法只关注无监督学习任务，很少有工作显示出其优越性的最先进的图对比学习（GCL）模型，特别是在分类任务。虽然最近提出了一个模型来弥补这一差距，但它在无监督学习任务上的性能仍然是未知的。在本文中，全面提高性能的生成图SSL对其他GCL模型的无监督和监督学习任务，我们提出了SeeGera模型，这是基于家庭的自监督变分图自动编码器（VGAE）。具体来说，SeeGera采用半隐式变分推理框架，一种层次变分框架，主要关注特征重构和结构/特征掩蔽。一方面，SeeGera在编码器中同时嵌入节点和特征，并在解码器中重建链接和特征。由于特征嵌入包含丰富的特征语义信息，因此可以将其与节点嵌入相结合，为特征重构提供细粒度的知识。另一方面，SeeGera在层次变分框架中增加了一个额外的结构/特征掩蔽层，从而提高了模型的泛化能力。我们进行了广泛的实验，将SeeGera与其他9个最先进的竞争对手进行了比较。我们的研究结果表明，SeeGera可以在各种无监督和监督学习任务中与其他最先进的GCL方法相媲美。
2023-02-07 cs.LG
Fast Computation of Generalized Eigenvectors for Manifold Graph Embedding
Fuzhou University（福州大学）；York University（约克大学）
我们的目标是有效地计算输入图中节点的低维潜在坐标-称为图嵌入-用于后续数据处理，如聚类。专注于被解释为连续流形（称为流形图）上的均匀样本的有限图，我们利用现有的快速极端特征向量计算算法快速执行。首先提出稀疏矩阵对$(\A,\B)$的广义特征值问题，其中$\A = Ł- μ\Q + ε\I$是图拉普拉斯$Ł$与不连通两跳差分矩阵$\Q$之和.最小化瑞利商$\frac{\v^{\top} \A \v}{\v^{\top} \v}$的特征向量$\v$因此最小化$1$ -跳邻居距离，同时最大化断开的$2$ -跳邻居之间的距离，从而保持图形结构。然后选择定义特征向量正交性的矩阵$\B = \text{diag}(\{\b_i\})$，使得采样域中的边界/内部节点具有相同的广义度。$N$图节点的$K$维特征向量是$(\A,\B)$的第一个$K$广义特征向量，使用LOBPCG在$\cO(N)$中计算，其中$K \ll N$。实验表明，我们的嵌入是最快的文献中，同时产生最好的聚类性能的流形图。
2022-03-07 cs.LG eess.SP
Fairness-Aware Node Representation Learning
University of California, Irvine（加州大学欧文分校）
节点表示学习已经证明了它在图的各种应用中的有效性。特别是，对比学习的最新发展已经导致了一些任务的无监督节点表示学习的有希望的结果。尽管图对比学习取得了成功，随之而来的兴趣也在不断增长，但公平性在该领域的探索还很不够。为此，本研究通过自适应特征掩蔽和边缘删除，解决了图对比学习中的公平性问题，并采用公平性感知图增强设计。在这项研究中，不同的公平性概念的图，作为建议的图增强的指导方针。此外，理论分析提供了定量证明所提出的特征掩蔽方法可以减少本征偏差。真实社交网络上的实验结果表明，所提出的增强可以提高公平性的统计奇偶性和平等的机会，同时提供可比的分类精度，以国家的最先进的对比方法节点分类。
2021-06-09 cs.LG
Heterogeneous Graph Masked Autoencoders
University of Notre Dame（圣母大学）；Brandeis University（布兰迪斯大学）
生成式自监督学习（SSL），特别是掩码自编码器，已成为最令人兴奋的学习范式之一，并在处理图数据方面显示出巨大的潜力。然而，现实世界中的图往往是异构的，这就提出了现有方法所忽略的三个关键挑战：1）如何捕捉复杂的图结构？2)如何合并各种节点属性？以及3）如何编码不同的节点位置？鉴于此，我们研究了异构图上的生成SSL问题，并提出了HGMAE，一种新的异构图掩码自编码器模型来解决这些挑战。HGMAE通过两种创新的掩蔽技术和三种独特的训练策略捕获全面的图形信息。特别是，我们首先开发了具有动态掩码率的元路径掩码和自适应属性掩码，以便在异构图上进行有效和稳定的学习。然后，我们设计了几种训练策略，包括基于元路径的边缘重建，以采用复杂的结构信息，目标属性恢复，将各种节点属性，和位置特征预测编码节点的位置信息。大量的实验表明，HGMAE在多个数据集的多个任务上优于对比和生成的最先进的基线。代码可在https://github.com/meettyj/HGMAE上获得。
2023-02-10 cs.LG
Linear Transformer Topological Masking with Graph Random Features
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；University of Cambridge（剑桥大学）；Alan Turing Institute（阿兰·图灵研究所）；Columbia University（哥伦比亚大学）
本文提出将拓扑掩码参数化为加权邻接矩阵的可学习函数，并利用图随机特征进行近似，使其与线性注意力兼容，保持 $\mathcal{O}(N)$ 复杂度，在图像和点云任务上取得显著性能提升。
2024-10-15 cs.LG stat.ML
H$^3$GNNs: Harmonizing Heterophily and Homophily in GNNs via Joint Structural Node Encoding and Self-Supervised Learning
North Carolina State University（北卡罗来纳州立大学）
针对GNN在自监督设置中难以平衡异质性和同质性的问题，提出H³GNNs端到端自监督框架，通过联合结构节点编码和基于节点难度动态掩码的师生自监督学习，在异质性和同质性数据集上均取得优异性能。
2025-04-16 cs.LG cs.SI
Masking Neural Networks Using Reachability Graphs to Predict Process Events
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
衰变重放挖掘是一种深度学习方法，它利用流程模型符号来预测下一个事件。然而，这种方法并没有将神经网络与过程模型的结构充分地结合起来。本文提出了一种方法，以进一步连锁的衰变重放挖掘的过程模型与神经网络的下一个事件的预测。该方法使用了一个掩蔽层，它是初始化的基础上的可达性图的过程模型。此外，修改的神经网络架构，提出了提高预测性能。实验结果证明了该方法的价值，并强调发现精确和通用的过程模型的重要性。
2021-08-01 cs.LG
Graph Hopfield Networks: Energy-Based Node Classification with Associative Memory
Equal contribution（共同贡献）
图Hopfield网络结合联想记忆与图拉普拉斯平滑，通过能量下降实现节点分类，提升稀疏网络和特征遮蔽下的性能，并在异质性基准测试中表现优异。
2026-03-03 cs.AI cs.IR cs.LG
TSC: A Simple Two-Sided Constraint against Over-Smoothing
School of Computer and Information Technology, Shanxi University（山西大学计算机与信息技术学院）；College of Physics and Electronic Engineering, Shanxi University（山西大学物理与电子工程学院）
本文提出双边约束TSC，通过随机掩码和对比约束同时缓解GCN过度平滑中邻居质量与数量问题，提升深层图网络性能。
2024-08-06 cs.LG
HM-NAS: Efficient Neural Architecture Search via Hierarchical Masking
Michigan State University（密歇根州立大学）；AInnovation（旷视）
最近，在设计神经网络架构中使用自动方法（通常称为神经架构搜索（NAS））引起了相当大的关注。在这项工作中，我们提出了一个有效的NAS方法，命名为HM-NAS，推广现有的基于权重共享的NAS方法。现有的基于权重共享的NAS方法仍然采用手工设计的算法来生成架构候选。因此，架构候选者的空间被约束在所有可能架构的子集中，使得架构搜索结果次优。HM-NAS通过两项创新解决了这一限制。首先，HM-NAS结合了多级架构编码方案，以能够搜索更灵活的网络架构。其次，它放弃了手工设计的算法，并采用了一个分层掩蔽方案，自动学习和确定最佳架构。与最先进的基于权重共享的方法相比，HM-NAS能够实现更好的架构搜索性能和有竞争力的模型评估精度。没有手工设计的算法所施加的约束，我们搜索的网络包含更灵活和有意义的架构，现有的基于权重共享的NAS方法是无法发现的。
2019-09-07 cs.CV cs.LG stat.ML
Graph Masked Autoencoders with Transformers
University of Technology Sydney（悉尼科技大学）；Chinese University of Hong Kong（香港中文大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
最近，Transformers在学习图形表示方面表现出了很好的性能。然而，由于深度Transformers很难从头开始训练，加上w.r.t.的二次内存消耗，因此将Transformers应用于现实场景时仍然存在一些挑战。节点的数量。在本文中，我们提出了图掩码自编码器（GMAEs），一个自监督的基于变换的模型学习图表示。为了解决上述两个挑战，我们采用了掩蔽机制和非对称编解码器的设计。具体来说，GMAE以部分掩码图作为输入，并重建掩码节点的特征。编码器和解码器是不对称的，其中编码器是深Transformer，解码器是浅Transformer。掩蔽机制和非对称设计使得GMAE与传统Transformers相比是一种存储效率高的模型。我们表明，当作为一个传统的自监督图表示模型，GMAE实现了最先进的性能在共同的下游评估协议下的图分类任务和节点分类任务。我们还表明，与从头开始的端到端训练相比，我们可以在使用GMAE进行预训练和微调后实现相当的性能，同时简化训练过程。
2022-05-12 cs.IR cs.LG
A Zero-shot Generalized Graph Anomaly Detection Framework via Node Reconstruction
School of Computing, KAIST（韩国科学技术院计算机学院）
提出AlignGAD框架，通过全局统一模块对齐异构特征、聚类模块捕获组级异常模式及节点差异评分模块聚合多视图异常证据，实现零样本跨域图异常检测。
2026-09-01 cs.AI cs.LG
Sparse Masked Attention Policies for Reliable Generalization
Delft University of Technology（代尔夫特理工大学）
本文提出了一种稀疏遮蔽注意力策略，通过学习遮蔽函数提升策略在未见任务中的泛化能力。
2026-02-23 cs.LG
Masked Bayesian Neural Networks : Computation and Optimality
本文提出一种新颖的稀疏贝叶斯神经网络，通过掩码变量实现节点级稀疏，并设计先验分布保证后验分布的理论最优性，在保持预测精度和不确定性量化能力的同时有效简化了复杂的DNN架构。
2023-05-23 cs.LG stat.ML
GDA-HIN: A Generalized Domain Adaptive Model across Heterogeneous Information Networks
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
使用图结构网络的领域自适应通过共享图参数来学习标签区分和网络不变的节点嵌入。现有的研究大多集中在同构网络的领域自适应上。少数研究异构网络情况的工作只考虑共享节点类型，而忽略了单个网络中的私有节点类型。然而，对于给定的源和目标异构网络，它们通常包含共享和私有节点类型，其中私有类型为图领域自适应带来额外的挑战。在本文中，我们研究了异构信息网络（HIN）与共享和私有节点类型，并提出了一个广义域自适应模型跨HIN（GDA-HIN）来处理它们之间的域转移。GDA-HIN不仅可以对齐两个HIN中相同类型的节点和边的分布，而且可以充分利用不同类型的节点和边，以提高知识转移的性能。在多个数据集上进行的大量实验表明，GDA-HIN在异构网络的各种领域自适应任务中的性能优于最先进的方法。
2022-09-25 cs.LG stat.ML
Self-Supervised Learning of Contextual Embeddings for Link Prediction in Heterogeneous Networks
Virginia Tech（弗吉尼亚理工大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
用于异构网络的表示学习方法为每个节点产生低维向量嵌入，该低维向量嵌入对于涉及该节点的所有任务通常是固定的。许多现有的方法集中于以一种对正在使用节点的下游应用不可知的方式获得节点的静态向量表示。然而，实际上，诸如链接预测的下游任务需要特定的上下文信息，该上下文信息可以从与作为任务的输入提供的节点相关的子图中提取。为了应对这一挑战，我们开发了SLiCE，一个框架桥接静态表示学习方法，使用全局信息从整个图与本地化的注意力驱动机制，学习上下文节点表示。我们首先通过引入高阶语义关联和掩码节点，以自监督的方式预训练我们的模型，然后针对特定的链接预测任务微调我们的模型。我们不是通过聚合来自通过元路径连接的所有语义邻居的信息来训练节点表示，而是自动学习不同元路径的组成，这些元路径表征特定任务的上下文，而不需要任何预定义的元路径。在几个公开的基准网络数据集上，SLiCE显著优于静态和上下文嵌入学习方法。我们还解释了语义关联矩阵，并提供其效用和相关性，使成功的链接预测网络中的异构节点之间。
2021-03-21 cs.LG cs.SI stat.ML
A Learned Generalized Geodesic Distance Function-Based Approach for Node Feature Augmentation on Graphs
Singapore Management University（新加坡管理大学）
本文提出LGGD方法，通过结合训练数据、图拓扑和节点内容特征学习广义测地距离函数来生成图节点特征，提升了节点分类性能并证明了参数可学习性。
2025-03-07 cs.LG
MABLE: Masked Autoencoding with Bi-Lipschitz Decoding for Embeddings and Graph Metric Learning
Fleet Space Technologies（舰队空间技术公司）；Research School of Earth Sciences, Australian National University（澳大利亚国立大学地球科学研究学院）
提出MABLE框架，结合掩码重建与固定余弦相似度损失，用双利普希茨特征解码器等方法学习节点和图嵌入，应用于地理空间矿物勘探数据，在多项研究中展现优势。
2026-07-07 cs.LG physics.geo-ph
Covariance and Correlation Kernels on a Graph in the Generalized Bag-of-Paths Formalism
Université de Lausanne（洛桑大学）；Université catholique de Louvain（鲁汶天主教大学）；Université Libre de Bruxelles（布鲁塞尔自由大学）
这项工作推导出封闭形式的表达式计算期望的共存和同现的节点从网络中采样的路径，根据一般的路径权重（一袋路径）的数量。其基本思想是，当两个节点经常出现在网络的（最好是短的）路径上时，它们被认为是相似的。不同的表达式得到的规则和命中路径，并作为计算新的协方差和节点之间的相关性措施，这是有效的半正定核图的基础。半监督分类问题的实验表明，引入的相似性措施提供竞争力的结果相比，其他国家的最先进的节点之间的距离和相似性措施。
2020-01-30 cs.LG stat.ML
NODE-GAM: Neural Generalized Additive Model for Interpretable Deep Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Hospital of Sickkids（病童医院）；Microsoft Research（微软研究院）
在真实的高风险环境（例如医疗保健）中部署机器学习模型通常不仅取决于模型的准确性，还取决于其公平性，鲁棒性和可解释性。广义加性模型（GAM）是一类可解释的模型，在这些高风险领域有着悠久的使用历史，但它们缺乏深度学习的理想特征，如可微性和可扩展性。在这项工作中，我们提出了一种神经GAM（NODE-GAM）和神经GA $^2$ M（NODE-GA $^2$ M），它们在大型数据集上的扩展性和性能优于其他GAM，同时与其他集成和深度学习模型相比，仍然具有可解释性。我们证明了我们的模型在数据中找到了有趣的模式。最后，我们通过自我监督的预训练提高了模型的准确性，这对于不可微的GAM是不可能的。
2022-03-16 cs.LG
SNACK: A Sequential Notation Framework for Probabilistic Graph Generation
Seoul National University（首尔大学）
研究提出用于概率图生成的序列表示框架SNACK，通过编码下三角邻接矩阵非零项建立双射对应，支持无效logit掩码与GFlowNet训练，在图生成任务中样本质量有竞争力且训练吞吐量大幅提升。
2026-10-27 cs.LG stat.ML
Graph Positional Autoencoders as Self-supervised Learners
Beijing University of Posts and Telecommunications（北京邮电大学）；National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理学院）
针对传统图自编码器掩码范式仅捕获低频信号、难学结构信息的问题，提出双路径架构的GraphPAE，同时重构节点特征与位置以学习多频信息，在多项任务上取得最优性能。
2025-06-15 cs.LG
Inductive Representation Learning on Large Graphs
Stanford University（斯坦福大学）
大型图中节点的低维嵌入在各种预测任务中非常有用，从内容推荐到识别蛋白质功能。然而，大多数现有的方法要求在嵌入的训练期间图中的所有节点都存在;这些以前的方法本质上是转导的，并且不会自然地推广到看不见的节点。在这里，我们提出了GraphSAGE，一个通用的归纳框架，利用节点特征信息（例如，文本属性）来有效地生成先前未见过的数据的节点嵌入。我们不是为每个节点训练单独的嵌入，而是学习一个函数，该函数通过从节点的局部邻域中采样和聚合特征来生成嵌入。我们的算法在三个归纳节点分类基准上的性能优于强基线：我们根据引用和Reddit帖子数据对不断变化的信息图中的未见过节点的类别进行分类，并且我们表明我们的算法使用多图数据集推广到完全未见过的图蛋白质-蛋白质相互作用。
2018-09-10 cs.LG cs.SI stat.ML
When do neural ordinary differential equations generalize on complex networks?
Network Science Institute, Northeastern University, Boston, Massachusetts, USA；Khoury College of Computer Sciences, Northeastern University, Boston, Massachusetts, USA；Santa Fe Institute, Santa Fe, New Mexico, USA；Institute for Experiential AI, Northeastern University, Boston, Massachusetts, USA；Department of Physics, Northeastern University, Boston, Massachusetts, USA
研究探讨了神经ODEs在复杂网络上的泛化能力，发现度异质性和动态系统类型是影响泛化的主要因素，同时指出平均聚类作用较弱。
2026-02-09 cs.LG cs.SI physics.soc-ph
Hi-GMAE: Hierarchical Graph Masked Autoencoders
Sangfor Technologies Inc.（深之蓝科技有限公司）；Wuhan University（武汉大学）；The University of Melbourne（墨尔本大学）；Dalian Maritime University（大连海事大学）；Macquarie University（麦考瑞大学）；Wuhan University, Wuhan University Shenzhen Research Institute（武汉大学深圳研究院）
本文提出Hi-GMAE，一种多尺度图掩码自编码器，通过构建多尺度图层次结构，解决单尺度GMAE无法捕捉图的层次结构问题，实验表明其在17个图数据集上优于29种现有自监督方法。
2026-03-18 cs.LG
NetEffect: Discovery and Exploitation of Generalized Network Effects
Carnegie Mellon University（卡内基梅隆大学）；Brandeis University（布兰迪斯大学）；KAIST（韩国科学技术院）
提出图挖掘方法NetEffect，通过统计测试和闭式解发现并利用广义网络效应（GNE），在节点分类任务中实现高效加速，并揭示真实图中GNE的意外缺失。
2024-02-12 cs.LG cs.SI
Semi-Supervised Learning with Heterophily
Carnegie Mellon University（卡内基梅隆大学）
我们推导出一个家庭的线性推理算法，推广现有的基于图形的标签传播算法，允许他们传播广义的假设之间的“吸引力”或“兼容性”类的相邻节点（特别是那些涉及异性之间的节点，其中“异性相吸”）。因此，我们称之为半监督学习与异质性（SSLH），并显示它是如何推广和改进最近提出的方法称为线性置信传播（LinBP）。重要的是，我们的框架使我们能够减少估计节点之间的相对兼容性的问题，从部分标记图到一个简单的优化问题。结果是一个非常快速的算法，尽管它很简单，但却令人惊讶地有效：我们可以在与LinBP相同的时间内对同一图中的未标记节点进行分类，但具有更高的准确性，尽管我们的算法不知道兼容性。
2016-12-28 cs.DB cs.LG
Graph Gamma Process Generalized Linear Dynamical Systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们引入图伽玛过程（GGP）线性动力系统来建模实值多元时间序列。对于时间模式发现，该模型下的潜在表示用于将时间序列分解为多变量子序列的简约集合。在每个子序列中，不同的数据维度通常共享相似的时间模式，但可能表现出不同的幅度，因此允许所有子序列的叠加在不同的数据维度上表现出不同的行为。我们进一步推广所提出的模型，通过用负二项分布代替高斯观测层来建模多变量计数时间序列。从建议的GGP生成的是一个无限维有向稀疏随机图，这是通过采取的可数无限的二元邻接矩阵，共享同一组的可数无限节点的逻辑或运算构造。这些邻接矩阵中的每一个与权重相关联以指示其激活强度，并且在属于相同节点社区的节点的有限子集之间放置有限数量的边。我们使用生成的随机图，其非零度节点的数量是有限的，定义的稀疏模式和（广义）线性动力系统的潜在状态转移矩阵的维数。每个节点社区相对于整体激活强度的激活强度用于提取多变量子序列，揭示相应社区捕获的数据模式。在合成和现实世界的时间序列，建议的非参数贝叶斯动态模型，这是随机初始化，始终表现出良好的预测性能相比，各种基线模型，揭示可解释的潜在状态转换模式和分解的时间序列到不同的表现子序列。
2020-07-25 cs.LG stat.AP stat.CO
