Permutation-Invariant Subgraph Discovery
Qatar Computing Research Institute, Hamad Bin Khalifa University(卡塔尔计算研究所,哈马德·本·哈利法大学);INRIA(法国国家信息与自动化研究所)
我们介绍排列和结构化扰动推理(PSPI),一个新的问题制定,抽象出许多图形匹配任务,出现在系统生物学。PSPI可以被视为置换推理或图匹配的鲁棒公式,其中目标是在假设一组边缘可能由于潜在原因而经历扰动的情况下找到两个图之间的置换。例如,假设有两个基因调控网络X和Y分别来自患病和正常组织。然后,PSPI问题可以用来检测两个网络之间是否存在结构变化,这可以作为疾病的特征。除了新的问题制定,我们提出了一个ADMM算法(STEPD)来解决一个放松版本的PSPI问题。比较基因调控网络(GRNs)的一个广泛的案例研究被用来证明,STEPD是能够准确地推断结构化的扰动,从而为计算生物学家提供了一个工具,以确定新的预后签名。谱分析证实,STEPD可以恢复小的类candle扰动,使其成为一个有用的工具,用于检测置换不变的变化图。
2021-04-02 cs.AI cs.LG
MoSE: Unveiling Structural Patterns in Graphs via Mixture of Subgraph Experts
Nanyang Technological University(南洋理工大学)
针对GNN捕获高阶子图模式能力不足的问题,本文提出MoSE框架,通过匿名游走提取子图并动态路由至专家,增强灵活性与可解释性,理论证明其表达力强于SWL,实验验证其性能优于基线。
2025-09-11 cs.AI cs.LG
Ripple Walk Training: A Subgraph-based training framework for Large and Deep Graph Neural Network
Florida State University(佛罗里达州立大学)
图神经网络(GNN)在学习图结构数据和各种任务方面取得了出色的性能。然而,许多当前的GNN在面对大型图或使用更深层次的结构时会遇到三个常见问题:邻居爆炸,节点依赖和过度平滑。这些问题与图本身的数据结构或多层GNNs框架的设计有关,并且可能导致低训练效率和高空间复杂度。为了解决这些问题,本文提出了一个通用的基于子图的训练框架,即Ripple Walk Training(RWT),用于深度和大型图神经网络。RWT从全图中采样子图以构成小批量,并且基于小批量梯度更新全GNN。我们分析了高质量的子图,训练GNN的理论方法。Ripple Walk Sampler是一种新的采样方法,它对这些高质量的子图进行采样以构成小批量,该方法同时考虑了图结构数据的随机性和连通性。在不同大小的图上进行的大量实验证明了RWT在训练各种GNN(GCN和GAT)时的有效性和效率。
2021-05-04 cs.LG stat.ML
Recognizing Predictive Substructures with Subgraph Information Bottleneck
Center for Research on Intelligent Perception and Computing (CRIPAC), National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所 模式识别国家重点实验室 智能感知与计算研究中心);Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心);Tencent AI LAB(腾讯AI实验室)
图卷积网络的出现极大地推动了图学习的发展。然而,两个干扰因素,噪声和冗余的图形数据,以及缺乏解释的预测结果,阻碍了GCN的进一步发展。一种解决方案是识别预测但压缩的子图,以去除噪声和冗余,并获得图的可解释部分。这种子图的设置类似于信息瓶颈(IB)原理,而IB原理在图结构数据和GCN上的研究较少。受IB原理的启发,我们提出了一个新的子图信息瓶颈(SIB)框架来识别这样的子图,命名为IB-子图。然而,互信息的复杂性和图形数据的离散性使得SIB的目标难以优化。为此,我们引入了一个双层优化计划加上一个互信息估计不规则图。此外,我们提出了一个连续松弛的子图选择与连接损失的稳定。我们进一步从理论上证明了我们的互信息估计方案的误差界和IB-子图的噪声不变性。在图学习和大规模点云任务上的大量实验证明了IB-子图的优越性。
2021-03-20 cs.AI cs.LG
Technical Report: A Generalized Matching Pursuit Approach for Graph-Structured Sparsity
University at Albany – SUNY(奥尔巴尼大学)
稀疏约束优化问题是数据采掘、机器学习和统计学中一个重要且具有挑战性的问题。在本文中,我们专注于稀疏约束优化的情况下,成本函数是一个一般的非线性函数,特别是,稀疏约束定义的图结构稀疏模型。现有的方法在线性模型中稀疏估计的背景下探索这个问题。据我们所知,这是第一个工作,提出了一个有效的近似算法,即图结构的匹配追踪(Graph-Mp),以优化一般的非线性函数图结构的约束。我们证明,我们的算法享有类似于那些设计的线性模型的收敛速度和逼近精度的强保证。作为一个案例研究,我们专门Graph-Mp优化了一些著名的图扫描统计模型的连接子图检测任务,经验证据表明,我们的通用算法表现优于国家的最先进的方法,专门为连接子图检测的任务。
2016-12-11 cs.AI cs.LG stat.ML
Learning Constraints for Structured Prediction Using Rectifier Networks
University of Utah(犹他大学)
各种自然语言处理任务都是结构化预测问题,其中输出由多个相互依赖的决策构成。过去的工作表明,领域知识,作为输出空间的约束,可以帮助提高预测的准确性。然而,设计良好的约束往往依赖于领域的专业知识。在本文中,我们研究的问题,学习这样的约束。我们的框架的问题,训练一个两层整流器网络,以确定有效的结构或子结构,并显示了一个构造,用于将训练后的网络转换成系统的线性约束的推理变量。我们对几个NLP任务的实验表明,学习的约束可以提高预测精度,特别是当训练样本的数量很小时。
2020-05-23 cs.CL cs.LG
D2Match: Leveraging Deep Learning and Degeneracy for Subgraph Matching
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA))
针对现有子图匹配方法计算成本高或无理论保证的问题,提出结合深度学习与简并性的D2Match方法,证明子图匹配可简并为子树匹配并等价于二分图完美匹配,实现线性复杂度,可融入环与节点属性,实验验证其性能优于现有GNN类方法。
2023-06-10 cs.AI cs.LG
Generative Subgraph Contrast for Self-Supervised Graph Representation Learning
Nanjing University of Science and Technology(南京理工大学)
对比学习在图表示学习领域显示出巨大的潜力。大多数图对比学习方法通过人工构造正/负样本,依赖于基于向量内积的相似性度量来区分用于图表示的样本。然而,手工制作的样品结构(例如,图的节点或边上的扰动)可能不能有效地捕获图的固有局部结构。另外,基于向量内积的相似性度量不能充分利用图的局部结构来表征图的差异。为此,在本文中,我们提出了一种新的自适应子图生成的对比学习框架,高效和强大的自监督图表示学习,和最佳的传输距离被用作子图之间的相似性度量。该方法的目标是通过捕捉图的内在结构来生成对比样本,同时根据子图的特征和结构来区分样本。具体来说,对于每个中心节点,通过自适应学习的关系权重的节点的相应的邻域,我们首先开发一个网络来生成插值子图。然后,我们从相同和不同的节点,分别构造的积极和消极对的子图。最后,我们采用两种类型的最佳运输距离(即,Wasserstein距离和Gromov-Wasserstein距离)来构建结构化对比损失。在基准数据集上的大量节点分类实验验证了我们的图对比学习方法的有效性。
2022-07-26 cs.AI cs.LG
Improving Expressivity of GNNs with Subgraph-specific Factor Embedded Normalization
Zhejiang University(浙江大学);China Electric Power Research Institute(中国电力科学研究院);State Grid Shanghai Municipal Electric Power Company(国网上海市电力公司)
针对现有GNN忽略节点诱导子图结构特征、表达能力受限的问题,提出即插即用的SuperNorm归一化方案,理论上证明其可使GNN达到1-WL测试的区分能力,还能缓解过平滑,多数据集实验验证了有效性。
2023-06-11 cs.AI cs.LG
Personalized Subgraph Federated Learning with Sheaf Collaboration
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(电子工程学院,南洋理工大学,新加坡)
本文提出FedSheafHN框架,通过层束协作机制将客户端局部子图嵌入协作图并利用超网络生成个性化模型,以解决子图联邦学习中的客户端异质性问题,实验表明其在多个图数据集上优于现有方法且收敛更快、泛化能力更强。
2025-08-19 cs.LG
SubGCache: Accelerating Graph-based RAG with Subgraph-level KV Cache
Nanyang Technological University(南洋理工大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
该研究针对基于图的RAG中不同查询常检索到相似子图导致重复计算的问题,提出SubGCache方法,通过子图聚类与代表性子图的KV缓存复用降低推理延迟,实验验证其最多可将TTFT缩短6.68倍且生成质量相当或更优。
2025-05-19 cs.LG
Sampling Enclosing Subgraphs for Link Prediction
Ontario Tech University(安大略理工大学)
链接预测是图结构数据(例如,社交网络、药物副作用网络等)。图神经网络已经为这个问题提供了鲁棒的解决方案,特别是通过学习包围目标链路的子图的表示(即,节点对)。然而,这些解决方案不能很好地扩展到大型图,因为对封闭子图的提取和操作在计算上是昂贵的,特别是对于大型图。本文提出了一种可扩展的链接预测解决方案,我们称之为ScaLed,它利用稀疏封闭子图进行预测。为了提取稀疏封闭子图,ScaLed从目标节点对进行多次随机游走,然后对由所有访问节点引起的采样封闭子图进行操作。通过利用较小的采样封闭子图,ScaLed可以以更少的开销扩展到更大的图,同时保持高准确性。ScaLed还提供了灵活性来控制计算开销和准确性之间的权衡。通过全面的实验,我们已经表明,ScaLed可以产生与现有子图表示学习框架报告的准确性相当的准确性,同时计算要求较低。
2022-06-23 cs.LG cs.SI
Personalized Subgraph Federated Learning with Differentiable Auxiliary Projections
Nanyang Technological University(南洋理工大学);Shenzhen MSU-BIT University(深圳MSU-BIT大学)
针对子图联邦学习中的非IID问题,提出FedAux框架,通过可学习APV、软排序与一维卷积刻画客户端特征,并由服务器相似度加权聚合模型,理论与实验均验证其优势。
2025-09-30 cs.AI cs.LG
Two-level Graph Neural Network
Xiamen University(厦门大学);University of York(约克大学)
图神经网络(GNN)是最近提出的用于处理图结构数据的神经网络结构。现有的GNN由于采用了邻居聚合策略,只注重获取节点级信息,而忽略了高层信息。因此,现有的GNN遭受由局部排列不变性(LPI)问题引起的代表性限制。为了克服这些限制并丰富GNN捕获的功能,我们提出了一种新的GNN框架,称为两级GNN(TL-GNN)。这将子图级信息与节点级信息合并。此外,我们提供了一个数学分析的LPI问题,这表明,子图级的信息是有益的,以克服与LPI相关的问题。提出了一种基于动态规划算法的子图计数方法,该方法的时间复杂度为O(n^3),n为图的节点数。实验表明,TL-GNN优于现有的GNN,并达到最先进的性能。
2022-01-03 cs.AI cs.LG
Fact or Fiction? Improving Fact Verification with Knowledge Graphs through Simplified Subgraph Retrievals
University of Oslo(奥斯陆大学)
针对自然语言处理中事实验证的难题,研究提出基于知识图谱的高效声明验证方法,通过将证据检索从微调语言模型简化为逻辑检索,在FactKG数据集上实现了更低计算资源消耗与更高测试集准确率。
2024-08-14 cs.AI cs.CL cs.LG
Filter Learning for Subgraphs: Algebras and Performance Risk Bounds
研究图信号处理中部分观测下图滤波器学习问题,基于距离感知拉普拉斯构造开发子图滤波器代数,建立性能风险界,实验表明该代数模型在SFL任务中优于其他基线。
2026-07-24 cs.LG eess.SP
FedSheafHN: Personalized Federated Learning on Graph-structured Data
Nanyang Technological University(南洋理工大学)
提出FedSheafHN模型,通过协作图嵌入与层束扩散学习客户端表示,结合高级超网络生成个性化参数,提升了图结构数据个性化联邦学习的性能、收敛速度及新客户端泛化能力。
2024-05-31 cs.LG
Graph-Memoized Reasoning: Foundations Structured Workflow Reuse in Intelligent Systems
Independent Researcher(独立研究者)
图记忆推理通过图结构内存实现推理工作流的重用,旨在提升智能系统中的效率与可重复性。
2025-11-11 cs.AI cs.LG
Towards Faithful Class-level Self-explainability in Graph Neural Networks by Subgraph Dependencies
School of Computing, Macquarie University(麦考瑞大学计算机学院);CSIRO’s Data61(CSIRO数据61)
本文提出自解释GNN框架GraphOracle,通过联合学习分类器与判别性稀疏子图,并利用熵正则化子图选择和随机游走提取,实现忠实、可扩展的类级解释,弥补了ProtGNN和PGIB等先前方法在类级解释上的不足。
2025-08-15 cs.AI cs.LG
Subgraph Pooling: Tackling Negative Transfer on Graphs
University of Notre Dame(圣母大学);Brandeis University(布兰迪斯大学)
本文针对图迁移学习中因结构差异导致的负迁移问题,提出子图池化(SP)和SP++方法,通过聚合k跳邻域或随机游走节点来缓解结构差异影响,并在多种设置下验证了其有效性和通用性。
2024-05-04 cs.AI cs.LG cs.SI
Distributed Optimization of Graph Convolutional Network using Subgraph Variance
Deakin University(迪肯大学)
近年来,图卷积网络在图结构数据学习方面取得了巨大的成功。随着图中节点和边数量的不断增加,单处理器的GCN训练已经不能满足对时间和内存的需求,分布式GCN训练框架的研究应运而生。然而,现有的分布式GCN训练框架需要处理器之间的巨大通信成本,因为需要从其他处理器收集和传输大量的依赖节点和边缘信息用于GCN训练。为了解决这个问题,我们提出了一个基于图增强的分布式GCN框架(GAD)。特别是,GAD有两个主要组件,GAD-Partition和GAD-Optimizer。我们首先提出了一个基于图扩充的分区(GAD-Partition),它可以将原始图划分为扩充子图,通过选择和存储尽可能少的其他处理器的重要节点来减少通信,同时保证训练的准确性。此外,我们进一步设计了一个基于子图方差的重要性计算公式,并提出了一种新的加权全局一致性方法,统称为GAD-Optimizer。该优化器自适应地降低具有大方差的子图的重要性,以减少GAD分区引入的额外方差对分布式GCN训练的影响。在四个大规模真实世界数据集上的广泛实验表明,与最先进的方法相比,我们的框架显着降低了通信开销(50%),提高了分布式GCN训练的收敛速度(2倍),并且基于最小冗余的准确性略有提高(0.45%)。
2021-10-06 cs.AI cs.DC cs.LG
Reinforcement Learning Based Query Vertex Ordering Model for Subgraph Matching
Zhejiang Gongshang University(浙江工商大学);University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Hong Kong University of Science and Technology(香港科技大学)
子图匹配是使用图结构数据的各个领域中的基本问题。子图匹配算法枚举查询图q在数据图G中的所有同构嵌入。匹配算法的一个重要分支利用回溯搜索方法,该方法递归地扩展中间结果,遵循查询顶点的匹配顺序。它已被证明,匹配顺序起着至关重要的作用,这些回溯的子图匹配算法的时间效率。近年来,许多用于查询顶点排序的高级技术(即,匹配顺序生成)来根据预先设置的启发式规则减少没有希望的中间结果。本文首次将强化学习(RL)和图神经网络(GNNs)技术应用于子图匹配算法中,生成高质量的匹配顺序。该模型不使用固定的枚举法生成匹配顺序,而是充分利用图的信息,采用基于自适应学习的规则来确定查询顶点的顺序,从而显著减少了冗余枚举数。在强化学习框架的帮助下,我们的模型能够考虑长期的利益,而不是只考虑当前排序步骤的局部信息。在六个真实数据图上的大量实验表明,我们提出的匹配顺序生成技术可以减少多达两个数量级的查询处理时间相比,国家的最先进的算法。
2022-03-30 cs.AI cs.DB cs.LG
Density-aware Hierarchical Clustering Based on Element-Categorized Connection Subgraphs
Tongji University(同济大学);RadioSky (Shanghai) Communication Technology Co., Ltd(天睿(上海)通信技术有限公司)
本文提出DHC-ECS方法,整合三类聚类技术,引入新型相似度度量,在异构基准数据集上较基线方法表现更优,可减少人工参数调整依赖。
2026-08-10 cs.AI cs.LG
Are Graph Transformers Necessary? Efficient Long-Range Message Passing with Fractal Nodes in MPNNs
针对GNN难以平衡局部与全局信息、图Transformer忽视MPNN效率的问题,提出分形节点概念,利用图划分诱导的分形结构增强子图特征聚合与长程传播,在保持MPNN效率的同时提升表达能力,性能优于或媲美图Transformer。
2025-11-17 cs.AI cs.LG
Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module
Westlake University(西湖大学);Jilin University(吉林大学);Tianjin University(天津大学);Emory University(埃默里大学)
针对深度图神经网络的过平滑问题,从重叠邻域子图视角重审过平滑机制,提出基于后验采样的节点自适应残差模块PSNR,理论证明其可弥补现有残差方法缺陷,实验验证其在全观测节点分类和特征缺失场景下性能更优。
2024-10-31 cs.AI cs.LG
Equivariant Subgraph Aggregation Networks
Purdue University(普渡大学);Imperial College London(伦敦帝国理工学院);Twitter(推特);MIT(麻省理工学院);UCSD(加州大学圣地亚哥分校);University of Tuebingen(图宾根大学);NVIDIA Research(英伟达研究院)
消息传递神经网络(MPNN)是用于图结构数据的深度学习的领先架构,这在很大程度上是由于其简单性和可扩展性。不幸的是,它表明,这些架构是有限的,在他们的表达能力。本文提出了一种新的框架称为等变子图聚合网络(ESAN)来解决这个问题。我们的主要观察是,虽然两个图可能无法区分的MPNN,他们往往包含可区分的子图。因此,我们建议将每个图表示为由一些预定义的策略导出的一组子图,并使用合适的等变架构来处理它。我们开发了新的变种的1维Weisfeiler-Leman(1-WL)测试图同构,并证明下界ESAN的表现力在这些新的WL变种。我们进一步证明,我们的方法增加了MPNN和更具表现力的架构的表达能力。此外,我们提供的理论结果,描述如何设计的选择,如子图的选择政策和等变神经架构影响我们的架构的表达能力。为了处理增加的计算成本,我们提出了一个子图采样方案,它可以被看作是我们的框架的随机版本。在真实数据集和合成数据集上进行的一系列实验表明,我们的框架提高了流行GNN架构的表达能力和整体性能。
2022-03-16 cs.LG stat.ML
Decoupled Subgraph Federated Learning
Chalmers University of Technology(挑战者技术大学);AI Sweden(瑞典人工智能)
针对多客户端互联子图联邦学习问题,提出FedStruct框架,利用全局图结构信息捕获节点依赖,无需共享敏感特征或嵌入,在六数据集上接近集中式性能。
2025-05-28 cs.IT cs.LG math.IT
Dynamically Pruned Message Passing Networks for Large-Scale Knowledge Graph Reasoning
Hulu(葫芦);Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学)
我们提出了动态修剪消息传递网络(DPMPN)的大规模知识图谱推理。与现有的基于嵌入或基于路径的模型相比,我们学习了一个依赖于输入的子图来显式地建模推理过程。子图的动态构造和扩展应用图形注意力机制的输入查询的条件。通过这种方式,我们不仅构建了图结构的解释,而且还使图神经网络(GNN)中设计的消息传递能够随图的大小而扩展。我们从提出的意识先验中获得灵感,并开发了一个双GNN框架,同时编码输入不可知的全图表示,并学习由注意力模块协调的输入依赖的局部表示。实验证明了我们的模型的推理能力,即提供清晰的图形解释以及提供准确的预测,在知识库完成任务中优于大多数最先进的方法。
2020-04-07 cs.AI cs.LG
Ground-Truth Subgraphs for Better Training and Evaluation of Knowledge Graph Augmented LLMs
Graphcore Research(Graphcore研究院)
SynthKGQA通过生成高质量的知识图谱问答数据集,提升知识图谱增强大语言模型的训练和评估效果。
2026-10-15 cs.AI cs.CL cs.IR
DynaGRAG | Exploring the Topology of Information for Advancing Language Understanding and Generation in Graph Retrieval-Augmented Generation
提出DynaGRAG框架,通过去重、两步均值池化、查询感知检索及DSA-BFS算法增强知识图谱子图表示与多样性,结合GCN与LLM提升语言理解与生成能力。
2025-01-28 cs.AI cs.CL cs.LG
Local Fragments, Global Gains: Subgraph Counting using Graph Neural Networks
Indian Institute of Technology Gandhinagar(印度理工学院冈德辛加尔)
本文提出局部k-WL算法和碎片技术,利用图神经网络提高子图计数的表达能力和效率,并展示其在复杂模式计数中的应用。
2025-11-30 cs.DS cs.LG
Structured Query-Based Image Retrieval Using Scene Graphs
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);Intel Labs(英特尔实验室)
结构化查询可以捕获对象交互的复杂性(例如,“女人骑摩托车”),而不像单个对象(例如,“女人”或“摩托车”)。因此,使用结构化查询的检索比单个对象检索有用得多,但这是一个更具挑战性的问题。在本文中,我们提出了一种方法,它使用场景图嵌入的基础上的一种方法,以图像检索。我们研究如何视觉关系,来自场景图,可以用作结构化查询。视觉关系是场景图的有向子图,其中主语和宾语作为通过谓词关系连接的节点。值得注意的是,我们甚至能够在长尾COCO-Stuff数据集中发现的低频到中频对象上实现高召回率,并发现添加视觉关系启发的损失在最好的情况下将我们的召回率提高了10%。
2020-05-13 cs.CV cs.LG
Continual Graph Learning: A Survey
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);University College London(伦敦大学学院);Aston University(阿斯顿大学)
本文综述了持续图学习的核心方法与挑战,提出基于对抗的生成性重放框架,提升分布匹配与稳定性。
2026-03-29 cs.AI cs.LG
Federated Learning with Limited Node Labels
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
针对现有子图联邦学习忽略跨子图边、需大量标注数据的问题,提出FedMpa及改进版FedMpae框架,通过少量数据训练MLP传播联邦特征、池化重构图结构,在六个数据集的节点分类任务中表现优异。
2024-06-18 cs.AI cs.DC cs.LG
How Interpretable Are Interpretable Graph Neural Networks?
Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出 SubMT 理论框架分析可解释图神经网络的子图学习局限,并设计 GMT 架构以更准确近似 SubMT,在 12 个基准上显著提升可解释性与泛化性。
2024-06-12 cs.LG stat.ML
Generative Risk Minimization for Out-of-Distribution Generalization on Graphs
University of Virginia(弗吉尼亚大学);University of Connecticut(康涅狄格大学)
针对图结构数据OOD泛化因非独立同分布特性和复杂结构信息导致的挑战,提出生成式风险最小化(GRM)框架,通过生成不变子图而非提取来捕获不变信息,经理论分析和实验验证其在节点级与图级OOD泛化任务中的优越性。
2025-02-11 cs.AI cs.LG
Link Prediction Based on Graph Neural Networks
Washington University in St. Louis(圣路易斯华盛顿大学)
链接预测是网络结构化数据的一个关键问题。链接预测算法使用一些评分函数,如公共邻居和Katz指数,来衡量链接的可能性。由于它们的简单性、可解释性和可扩展性,它们已经获得了广泛的实际用途。然而,每一种启发式算法都对两个节点何时可能链接有很强的假设,这限制了它们在这些假设失败的网络上的有效性。在这方面,更合理的方法应该是从给定的网络中学习合适的启发式,而不是使用预定义的启发式。通过提取每个目标链接周围的局部子图,我们的目标是学习将子图模式映射到链接存在的函数,从而自动学习适合当前网络的“启发式”。在本文中,我们研究这种启发式学习范式的链接预测。首先,我们发展了一个新的$γ$ -衰减启发式理论。该理论将大量的拓扑图统一在一个框架中,并证明了所有这些拓扑图都可以从局部子图中得到很好的近似。我们的研究结果表明,局部子图保留丰富的信息有关的链接存在。其次,基于$γ$ -衰减理论,我们提出了一种新的算法,利用图神经网络(GNN)从局部子图中学习算法。它的实验结果显示出前所未有的性能,在广泛的问题上一直工作得很好。
2018-11-20 cs.LG stat.ML
Relational Database Distillation: From Structured Tables to Condensed Graph Data
The University of Queensland(昆士兰大学);Shandong University(山东大学)
本研究提出关系数据库蒸馏方法,将大规模结构化数据库压缩为紧凑图数据,保留预测能力,通过异质图结构和核岭回归引导目标实现高效学习。
2026-01-20 cs.DB cs.LG
SlepNet: Spectral Subgraph Representation Learning for Neural Dynamics
Yale University(耶鲁大学);Wu Tsai Institute(吴氏研究所);Mila-Quebec AI Institute(蒙特利尔AI研究所);Yale School of Medicine(耶鲁医学院);Computational Biology and Bioinformatics Program, Yale University(耶鲁大学计算生物学与生物信息学项目);University College London(伦敦大学学院)
SlepNet提出用Slepian基替代图傅里叶谐波的GCN架构,自动学习子图以集中信号能量,在fMRI和交通数据上优于基线,实现高分辨率神经表示与轨迹学习。
2025-06-19 cs.LG
Exploring the In-Context Learning Capabilities of LLMs for Money Laundering Detection in Financial Graphs
The Vanguard Group, Inc.(先锋集团)
本文研究了LLMs在金融图谱中进行反洗钱检测的能力,通过提取局部子图并利用少量样本进行情境学习,展示LLMs在识别可疑行为和生成解释方面的潜力。
2025-10-29 cs.AI cs.LG
Gated Graph Sequence Neural Networks
Department of Computer Science, University of Toronto(多伦多大学计算机科学系);Microsoft Research(微软研究院)
图结构数据经常出现在包括化学、自然语言语义、社交网络和知识库的领域中。在这项工作中,我们研究了图结构输入的特征学习技术。我们的出发点是以前关于图神经网络的工作(Scarselli等人,2009),我们修改使用门控递归单元和现代优化技术,然后扩展到输出序列。结果是灵活且广泛有用的一类神经网络模型,其相对于纯粹基于序列的模型(例如,当问题是图结构时,使用LSTM。我们展示了一些简单的AI(bAbI)和图形算法学习任务的能力。然后,我们展示了它在程序验证问题上的最先进性能,其中子图需要与抽象数据结构相匹配。
2017-09-22 cs.AI cs.LG cs.NE
The Structure-Content Trade-off in Knowledge Graph Retrieval
Université Paris-Saclay - CEA Palaiseau - France(巴黎-萨克雷大学-CEA帕莱索-法国)
本文研究了知识图谱检索中结构与内容的权衡,通过混合检索函数发现平衡两者可提升LLM的推理效果。
2025-11-26 cs.CL cs.IR cs.LG
FUSE-Traffic: Fusion of Unstructured and Structured Data for Event-aware Traffic Forecasting
Department of Computer Science and Engineering, University of North Texas(计算机科学与工程系,北卡罗来纳州立大学)
本文面向事件感知交通预测,提出FUSE-Traffic以融合非结构化与结构化数据,克服传统GNN依赖人工事件特征、泛化性弱及语义损失的问题。
2025-10-16 cs.AI cs.LG
MR-GNN: Multi-Resolution and Dual Graph Neural Network for Predicting Structured Entity Interactions
预测结构化实体之间的相互作用是许多任务的核心,例如药物方案和新材料设计。近年来,图神经网络已成为引人注目的。它们将结构化实体表示为图,然后使用图卷积操作从每个单独的图中提取特征。然而,这些方法具有一些局限性:i)它们的网络仅从固定大小的子图结构中提取特征(即,固定大小的感受野),并且忽略不同大小的子结构中的特征,以及ii)通过独立地考虑每个实体来提取特征,这可能不能有效地反映两个实体之间的交互。为了解决这些问题,我们提出了MR-GNN,一个端到端的图神经网络,具有以下特点:i)它使用基于多分辨率的架构,从每个节点的不同邻域中提取节点特征,ii)它使用双图状态长短期记忆网络(L-STM)来总结每个图的局部特征,并提取成对图之间的交互特征。在真实世界数据集上进行的实验表明,MR-GNN改进了最先进方法的预测。
2019-05-23 cs.LG stat.ML
Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation
Georgia Institute of Technology(佐治亚理工学院)
提出SubgraphRAG框架,通过轻量级多层感知机与并行三元组评分机制高效检索子图,在无需微调的情况下,使较小LLM具备可解释推理能力,并让GPT-4o达到SOTA准确率,有效平衡了检索效率与有效性。
2025-02-05 cs.CL cs.IR cs.LG
Cross-Paradigm Graph Backdoor Attacks with Promptable Subgraph Triggers
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Tongji University(同济大学)
针对现有图后门攻击触发器跨范式迁移性差的问题,提出CP-GBA,利用图提示学习训练通用子图触发器,实现跨监督、对比、提示学习范式的高迁移性攻击,并取得最优攻击成功率。
2025-10-26 cs.CR cs.LG
Scalable Graph Neural Networks for Heterogeneous Graphs
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
图神经网络(GNN)是一类流行的参数模型,用于学习图结构数据。最近的研究表明,GNN主要使用图进行特征平滑,并且通过简单地操作图平滑的节点特征,而不是使用端到端学习的特征层次结构,在基准任务上显示出有竞争力的结果,这些特征层次结构很难扩展到大型图。在这项工作中,我们问这些结果是否可以扩展到异构图,编码不同实体之间的多种类型的关系。我们提出了关系子图的邻居平均(NARS),它训练了一个分类器的邻居平均功能的随机采样的子图的关系的“元标记”。我们描述了优化,以允许这些节点特征集在训练和推理时以内存有效的方式计算。NARS在几个基准数据集上达到了最先进的精度,优于更昂贵的基于GNN的方法
2020-11-19 cs.LG
The Intrinsic Scale of Networks is Small
Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们定义的内在规模,在网络开始揭示其身份的规模,在网络中的子图(由随机游走创建)是从类似的大小的子图在网络的扰动副本区分。我们对几种网络的内在规模进行了广泛的研究,从结构化(例如道路网络)到ad-hoc和非结构化(例如众包信息网络),再到生物网络。我们发现:(a)网络的内在规模非常小(7-20个顶点),尽管网络要大很多个数量级。(b)内在尺度量化了网络中的“结构”--明确为特定任务构建的网络具有较小的内在尺度。(c)不同尺度的结构可以是脆弱的(容易破坏)或坚固的。
2019-01-15 cs.LG cs.SI physics.soc-ph
Beyond Soft Masks: Hard-Perturbation Mixup Explainer for Robust GNN Explainability
Xi’an Jiaotong University(西安交通大学);PayPal;bellevue USA(贝尔维尤美国)
提出基于广义图信息瓶颈的硬扰动混合解释框架HPME,通过图池化提取离散解释子图并采用结构级替换的混合策略,解决软掩码方法中标签无关信息泄漏和分布偏移问题,提升解释保真度。
2026-06-04 cs.AI cs.IT cs.LG
Learning to Count Isomorphisms with Graph Neural Networks
Singapore Management University(新加坡管理大学)
针对传统子图同构计数计算成本高、现有GNN节点中心消息传递及固定输入图表示适配性差的问题,提出边中心消息传递、查询条件调制输入表示的Count-GNN,经多基准实验验证性能优越。
2023-03-03 cs.LG
A Differentiable Relaxation of Graph Segmentation and Alignment for AMR Parsing
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
摘要意义表示是一种广泛的语义形式主义,它将句子意义表示为一个有向无环图。为了训练大多数AMR解析器,需要将图分割成子图,并将每个子图与句子中的单词对齐;这通常在预处理时完成,依赖于手工制定的规则。相比之下,我们将对齐和分割视为模型中的潜在变量,并将其作为端到端训练的一部分。由于结构化隐变量的边缘化是不可行的,我们使用变分自编码框架。为了确保端到端的可微优化,我们引入了可微松弛的分割和对齐问题。我们观察到,诱导分割产生了很大的收益使用“贪婪”分割启发式。我们的方法的性能也接近依赖于\citet{lyu-titov-2018-amr}的分割规则的模型的性能,该分割规则是手工制作的以处理单个AMR构造。
2022-10-24 cs.CL cs.LG
Towards Efficient Training of Graph Neural Networks: A Multiscale Approach
Faculty of Computer and Information Science(计算机与信息科学学院);Ben-Gurion University of the Negev(本· Gurion 内盖夫大学);Department of Applied Mathematics and Theoretical Physics(应用数学与理论物理系);University of Cambridge(剑桥大学);Department of Earth, Ocean and Atmospheric Sciences(地球、海洋与大气科学系);University of British Columbia(不列颠哥伦比亚大学);Pidstryhach Institute for Applied Problems of Mechanics and Mathematics(应用力学与数学问题研究所);NAS of Ukraine, L’viv, Ukraine(乌克兰国家科学院,利沃夫,乌克兰)
本文提出多尺度方法,通过层次化图表示和子图整合信息,提升图神经网络在大规模问题中的训练效率和预测性能。
2025-11-27 cs.LG
Supervised Feature Selection in Graphs with Path Coding Penalties and Network Flows
INRIA Grenoble Rhône-Alpes(法国国立信息与自动化研究院格勒诺布尔罗讷-阿尔卑斯中心)
我们考虑监督学习问题,其中特征嵌入在图中,例如基因网络中的基因表达。在这种情况下,它是非常感兴趣的自动选择一个子图与几个连接组件;通过利用先验知识,确实可以提高预测性能或获得更容易解释的结果。最近提出了用于选择图中特征的正则化或惩罚函数,但它们提出了新的算法挑战。例如,它们通常需要解决所有连通子图之间的组合硬选择问题。在本文中,我们提出了计算上可行的策略来选择一个稀疏和良好连接的功能子集坐在一个有向无环图(DAG)。我们引入结构化稀疏惩罚路径上的DAG称为“路径编码”的处罚。与现有的正则化函数不同,这些正则化函数对图中特征之间的远程交互进行建模,路径编码惩罚是易于处理的。惩罚及其邻近算子涉及路径选择问题,我们利用网络流优化有效地解决了这个问题。我们在合成,图像和基因组数据上的实验表明,我们的方法是可扩展的,并且比图的其他正则化函数导致更多的连接子图。
2013-08-29 cs.LG math.OC stat.ML
L2G-Net: Local to Global Spectral Graph Neural Networks via Cauchy Factorizations
University of Southern California(南加州大学)
提出L2G-Net,通过将图傅里叶变换精确分解为作用于子图的算子并利用柯西矩阵组合,实现局部到全局的谱图神经网络,避免全特征分解,在长程依赖任务上以极少的可学习参数达到竞争性能。
2026-05-29 cs.LG