Robust Node Classification on Graphs: Jointly from Bayesian Label Transition and Topology-based Label Propagation
Indiana University-Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校)
使用图神经网络(GNN)的节点分类已经广泛应用于各种现实场景中。然而,近年来,令人信服的证据表明,基于GNN的节点分类的性能可能会因拓扑扰动而大幅恶化,例如随机连接或对抗攻击。已经提出了各种解决方案,例如拓扑去噪方法和机制设计方法,以开发鲁棒的基于GNN的节点分类器,但是这些工作都不能完全解决与拓扑扰动相关的问题。最近,贝叶斯标签转换模型被提出来解决这个问题,但其收敛速度慢,可能会导致性能较差。在这项工作中,我们提出了一个新的标签推理模型,即LInDT,它集成了贝叶斯标签转换和基于拓扑的标签传播,以提高GNN对拓扑扰动的鲁棒性。LInDT优于现有的标签转换方法,因为它通过利用基于邻域的标签传播来改善不确定节点的标签预测,从而更好地收敛标签推理。此外,LIndT采用非对称狄利克雷分布作为先验,这也有助于它改进标签推理。在五个图数据集上的大量实验表明,在三种拓扑扰动情况下,LInDT对基于GNN的节点分类的优越性。
2022-08-21 cs.LG
Neuralizing Efficient Higher-order Belief Propagation
School of Computing(计算机学院);National University of Singapore(新加坡国立大学)
图神经网络模型已被广泛用于在端到端设置中学习图结构化数据的节点表示。这些模型通常依赖于谱图卷积的局部一阶近似,因此无法捕获节点之间的高阶关系信息。概率图模型形成了另一类模型,其在合并此类关系信息时提供了丰富的灵活性,但受限于高阶的低效近似推理算法。在本文中,我们建议结合这些方法来学习更好的节点和图形表示。首先,我们推导出一个有效的近似和积循环信念传播推理算法高阶PGM。然后,我们将消息传递更新嵌入到神经网络中,以在端到端学习中提供推理算法的归纳偏差。这为我们提供了一个足够灵活的模型,可以容纳领域知识,同时保持计算优势。我们进一步提出了用于构建高阶因子的方法,这些因子以节点和边缘特征为条件,并在必要时共享参数。我们的实验评估表明,我们的模型确实捕捉到了高阶信息,在分子数据集中的表现大大优于最先进的$k$阶图神经网络。
2020-10-19 cs.LG stat.ML
Node Embedding from Hamiltonian Information Propagation in Graph Neural Networks
C3 AI(C3人工智能公司);Nanyang Technological University(南洋理工大学)
图神经网络(GNN)在图结构数据的各种推理任务中取得了成功。然而,文献中许多GNN面临的共同挑战包括各种几何形状下的图节点嵌入问题和过平滑问题。为了解决这些问题,我们提出了一种新的图信息传播策略,称为Hamilton动态GNN(HDG),它使用Hamilton力学方法来学习图中的节点嵌入。HDG中的哈密顿能量函数是可学习的,并且可以适应任何给定图形数据集的底层几何。我们展示了HDG自动学习图形数据集的底层几何结构的能力,即使是那些具有复杂和混合几何结构的图形数据集,通过对各种下游任务的最先进基线进行全面评估。我们还验证了HDG对小扰动是稳定的,并且可以减轻堆叠许多层时的过度平滑问题。
2023-03-02 cs.LG
Rethinking Node-wise Propagation for Large-scale Graph Learning
Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
针对大规模图学习中现有传播策略忽视节点拓扑差异的问题,提出自适应拓扑感知传播(ATP),一种即插即用的节点级优化策略,可离线执行并提升可扩展GNN的性能与效率。
2024-02-09 cs.AI cs.LG cs.SI
HOPF: Higher Order Propagation Framework for Deep Collective Classification
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Ohio State University(俄亥俄州立大学)
给定一个图,其中每个节点都有与之关联的某些属性,并且一些节点有与之关联的标签,集体分类(CC)是使用来自节点及其邻居的信息为每个未标记的节点分配标签的任务。通常情况下,节点不仅受到其直接邻居的影响,而且还受到多跳远的高阶邻居的影响。最近的最先进的CC模型学习Weisfeiler-Lehman(WL)内核的端到端可微变化,以聚合多跳邻域信息。在这项工作中,我们提出了一个高阶传播框架,HOPF,它提供了一个迭代推理机制,这些强大的可微内核。经典迭代推理机制与最近的可微内核的这种组合允许框架学习同时利用邻域中可用的属性和标签信息的图卷积滤波器。此外,这些迭代可微内核可以扩展到超过现有可微内核的存储器限制的更大跳数。我们还表明,现有的WL基于内核的模型遭受节点信息变形的问题,其中节点的信息变形或淹没时,考虑多跳的邻居的信息。为了解决这个问题,我们提出了HOPF的一个特定实例,称为NIP模型,它在每个传播步骤中保留节点信息。NIP模型的迭代公式化进一步有助于将远距离跳信息简洁地合并为推断标签的摘要。我们对来自不同领域的11个数据集进行了广泛的评估。我们发现,现有的CC模型不提供跨数据集一致的性能,而建议的NIP模型与迭代推理是更强大的。
2018-11-13 cs.LG cs.SI stat.ML
Revisiting Pre-Propagation GNNs: Robust Diffusion Operators and Hidden-State Re-Propagation
School of Electrical and Computer Engineering, Cornell University, Ithaca, New York, USA(电气与计算机工程系,康奈尔大学,纽约州伊萨卡市)
提出鲁棒图扩散算子和少量隐状态再传播方案,使预传播图神经网络在保持训练效率的同时匹配消息传递图神经网络的精度。
2026-05-24 cs.LG
On the Unreasonable Effectiveness of Feature propagation in Learning on Graphs with Missing Node Features
Twitter(推特);Imperial College London(伦敦帝国理工学院);University of Oxford(牛津大学)
虽然图神经网络(GNN)最近已经成为关系数据建模的事实标准,但它们对图的节点或边特征的可用性施加了很强的假设。然而,在许多现实世界的应用程序中,功能只能部分使用;例如,在社交网络中,年龄和性别仅对一小部分用户可用。我们提出了一个通用的方法来处理丢失的功能图机器学习应用程序,是基于最小化的Dirichlet能量,并导致一个扩散型微分方程的图形。这个方程的离散化产生了一个简单,快速和可扩展的算法,我们称之为特征传播。我们的实验表明,所提出的方法优于以前的方法在七个常见的节点分类基准,可以承受惊人的高比率的丢失功能:平均而言,我们观察到只有约4%的相对准确度下降时,99%的功能丢失。而且,在单个GPU上运行一个拥有$\sim$ 250万个节点和$\sim$ 123万条边的图,只需要10秒。
2022-05-23 cs.LG
GIPA: A General Information Propagation Algorithm for Graph Learning
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);Link2Do Technology(Link2Do科技);Tsinghua University(清华大学);Guangzhou University(广州大学)
图神经网络(GNN)已广泛用于图结构数据计算,在诸如节点分类、链接预测和网络推荐的各种应用中显示出有前途的性能。现有的工作主要集中在节点之间的相关性进行加权聚合的邻居节点的注意力的基础上,如点积的两个节点的密集向量。这可能导致在进行信息传播时传播节点中的冲突噪声。为了解决这个问题,我们提出了一个通用的信息传播算法(简称GIPA),它利用更细粒度的信息融合,包括逐位和逐特征的相关性的基础上边缘特征在其传播。具体而言,逐位相关基于节点及其边的密集表示,通过多层感知器(MLP)计算逐元素注意力权重;逐特征相关基于节点属性特征的独热表示,用于特征选择。我们评估了GIPA在开放图基准蛋白质(OGBN蛋白质)数据集和阿里巴巴支付宝数据集上的性能。实验结果表明,GIPA在预测精度方面优于最先进的模型,例如,GIPA实现了$0.8901\pm 0.0011$的平均ROC-AUC,优于OGBN-蛋白排行榜中列出的所有现有方法。
2023-02-06 cs.LG
Simplifying Node Classification on Heterophilous Graphs with Compatible Label Propagation
University of Luxembourg(卢森堡大学);Criteo(科韬)
图神经网络(GNN)在图学习任务中占主导地位;然而,最近的研究表明,一种著名的图算法,标签传播(LP),结合浅层神经网络,可以在具有高同质性的图上实现与GNN相当的半监督节点分类性能。在本文中,我们表明,这种方法不符合低同伦图,其中节点往往连接到节点的相反类。为了克服这一点,我们精心设计了一个基础预测与LP算法,享有一个封闭的形式的解决方案,以及收敛保证的组合。我们的算法首先学习类兼容性矩阵,然后使用LP算法按类兼容性加权来聚合标签预测。在各种各样的基准,我们表明,我们的方法实现了领先的性能与各种层次的同质性图。同时,它具有数量级更少的参数,需要更少的执行时间。经验评估表明,简单的适应LP可以在半监督节点分类的同质性和异质性制度的竞争力。
2022-11-30 cs.LG cs.SI
Graph Propagation Transformer for Graph Representation Learning
OPPO Research Institute(OPPO研究院)
该研究提出图传播Transformer(GPTrans)架构,通过支持三类信息传播的图传播注意力机制学习图表示,在多个基准实验中性能优于现有基于Transformer的图模型。
2024-10-09 cs.AI cs.LG
Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation
The University of Queensland(昆士兰大学);Peking University(北京大学);National Engineering Laboratory for Big Data Analysis and Applications(国家大数据分析与应用工程实验室);Beijing University of Posts and Telecommunications(北京邮电大学);Griffith University(格里菲斯大学)
针对归纳式场景下可扩展GNN推理的可扩展性问题,提出带节点自适应传播的在线框架及Inception Distillation方法,实现了准确率与效率的双重提升,在大数据集上最高达75倍加速。
2023-12-09 cs.AI cs.LG
Cyclic Label Propagation for Graph Semi-supervised Learning
Alibaba Group(阿里巴巴集团);Monash University(莫纳什大学);Central South University(中南大学);Zhejiang University(浙江大学)
图神经网络(GNN)已经成为图分析的有效方法,特别是在半监督学习的情况下。尽管GNN取得了成功,但它经常遭受过平滑和过拟合问题,这影响了它在节点分类任务上的性能。我们分析了一种替代方法,标签传播算法(LPA),避免了上述问题,因此它是一个有前途的选择图半监督学习。然而,LPA在特征开发和关系建模方面的固有局限性使得标签传播变得不那么有效。为了克服这些限制,我们引入了一种新的图半监督学习框架,称为循环标签传播(CycProp),它将GNN以循环和相互加强的方式集成到标签传播过程中,以利用GNN和LPA的优势。特别地,我们提出的CycProp使用标签传播的增强信息更新GNN模块学习的节点嵌入,同时依次在节点嵌入的帮助下微调标签传播的加权图。在模型收敛后,分别使用LPA和GNN模块获得可靠的预测标签和信息节点嵌入。在各种真实数据集上进行了大量的实验,实验结果表明,所提出的CycProp模型可以实现相对显着的收益比国家的最先进的方法。
2020-11-24 cs.LG
Label Propagation across Graphs: Node Classification using Graph Neural Tangent Kernels
Rice University(莱斯大学)
图神经网络(GNN)在过去几年中在节点分类任务上取得了优异的性能。通常,这是在一个转导半监督学习设置中构建的,其中整个图,包括要标记的目标节点,可用于训练。部分受可扩展性的驱动,最近的工作集中在归纳的情况下,只有图的标记部分可用于训练。在这种情况下,我们目前的工作考虑了一个具有挑战性的归纳设置,其中一组标记的图可用于训练,而未标记的目标图是完全独立的,即,在标记的和未标记的节点之间没有连接。在测试图和训练图来自相似分布的隐含假设下,我们的目标是开发一个标记函数,该函数可以推广到未观察到的连接结构。为此,我们采用了一个图神经切线核(GNTK),它对应于无限宽的GNN,以基于拓扑结构和节点特征找到不同图中节点之间的对应关系。我们增强了GNTK与剩余连接的能力,并在标准基准测试中实证说明了其性能增益。
2021-10-07 cs.LG eess.SP
SF-GNN: Self Filter for Message Lossless Propagation in Deep Graph Neural Network
Zhejiang University(浙江大学)
本文提出SF-GNN方法,通过自过滤器模块评估节点表示质量并控制消息传播,以解决深度GNN中低质量节点表示干扰导致的性能退化问题,在多种图任务上优于现有基线方法。
2024-07-03 cs.AI cs.LG
Dissimilar Nodes Improve Graph Active Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
在许多实际场景中,图嵌入算法的训练标签可能是昂贵的。主动学习(AL)算法非常有助于获得最有用的标签进行训练,同时将标签查询的总数保持在一定的预算之下。现有的主动图嵌入框架提出使用中心度分数、密度分数和熵分数来评估未标记节点的价值,并且已经被证明能够对图卷积网络的节点分类任务带来一些改进。然而,在评估未标记节点的重要性时,它没有考虑现有标记节点对未标记节点价值的影响。换句话说,给定相同的未标记节点,计算出的信息分数总是相同的,并且对标记节点集是不可知的。为了解决这个问题,在这项工作中,我们引入了3个基于差异的信息分数的主动学习:特征差异分数(FDS),结构差异分数(SDS),和嵌入差异分数(EDS)。我们发现,这三个分数能够考虑标记集对未标记候选值的影响,从而提高我们的AL性能。实验结果表明,新算法的分类准确率平均提高了2.1%,并且能够推广到不同的图神经网络结构。
2022-12-05 cs.AI cs.LG
Information Gain Propagation: a new way to Graph Active Learning with Soft Labels
Peking University(北京大学);Apple(苹果公司)
图神经网络(GNN)在各种任务中取得了巨大的成功,但它们的性能高度依赖于大量的标记节点,这通常需要相当大的人力。提出了基于GNN的主动学习(AL)方法,通过选择最有价值的节点进行标记来提高标记效率。现有的方法假设一个预言机可以正确地对所有选定的节点进行分类,因此只关注节点的选择。然而,这样一个精确的标签任务是昂贵的,特别是当分类是出了域的个人专家(oracle)。本文更进一步,提出了一个软标签的方法,以AL上的GNNs。我们的主要创新是:i)放松查询,其中领域专家(Oracle)仅判断预测标签的正确性(二元问题)而不是识别确切的类(多类问题),以及ii)对于具有放松查询和软标签的主动学习者最大化信息增益传播的新准则。对公共数据集的实证研究表明,我们的方法在准确性和标记成本方面都显着优于最先进的基于GNN的AL方法。
2022-03-02 cs.LG
Graph Positional Encoding via Random Feature Propagation
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Imperial College London(伦敦帝国学院);Purdue University(普渡大学);Bar-Ilan University(巴伊兰大学);NVIDIA Research(英伟达研究院)
本研究针对图神经网络两类增强方案关联不明的问题,提出融合二者优势的随机特征传播(RFP)位置编码方法,提供理论支撑并验证其在多类基准任务上性能更优。
2023-07-19 cs.LG
Multi-Label Node Classification with Label Influence Propagation
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Capital One;GrabTaxi Holdings Pte. Ltd.(GrabTaxi控股私人有限公司)
提出标签影响传播(LIP)模型,通过分解GNN的消息传递为传播和变换操作,量化标签间影响,构建标签影响图传播高阶影响,动态调整学习过程,在多标签节点分类任务上超越现有方法。
2026-07-02 cs.AI cs.LG
GripNet: Graph Information Propagation on Supergraph for Heterogeneous Graphs
Queen’s University(女王大学);University of Waterloo(滑铁卢大学);Perimeter Institute for Theoretical Physics(圆周理论物理研究所);University of Sheffield(谢菲尔德大学)
本文提出GripNet框架,通过引入由超顶点和超边组成的超图数据结构,沿定义路径进行多层信息传播,克服了现有异构图表示学习方法在属性利用和可扩展性上的局限,在链路预测、节点分类和数据集成任务中表现优越。
2020-10-29 cs.LG
GIPA: General Information Propagation Algorithm for Graph Learning
Ant Group(蚂蚁集团);Alibaba Group(阿里巴巴集团)
图神经网络(GNNs)已广泛用于分析图结构数据,在节点分类、链接预测和网络推荐等各种应用中显示出良好的效果。在本文中,我们提出了一个新的图形注意力神经网络,即GIPA,属性图数据学习。GIPA由三个关键组件组成:注意力、特征传播和聚合。具体而言,注意力组件引入了一种新的基于多层感知器的多头,以生成比传统实现(如点积)更好的非线性特征映射和表示。传播组件不仅考虑节点特征,还考虑边缘特征,这与仅考虑节点特征的现有GNN不同。聚合组件使用剩余连接来生成最终的嵌入。我们使用Open Graph Benchmark蛋白质(简称ogbn-proteins)数据集评估GIPA的性能。实验结果表明,GIPA在预测精度方面可以击败最先进的模型,例如,GIPA实现了$0.8700\pm 0.0010$的平均测试ROC-AUC,并且优于ogbn蛋白排行榜中列出的所有以前的方法。
2021-08-10 cs.LG
Multi-View Graph Feature Propagation for Privacy Preservation and Feature Sparsity
Tel Aviv University(特拉维夫大学)
针对图神经网络在节点分类中面临的特征稀疏和隐私泄露问题,提出多视图特征传播(MFP)框架,通过多视图高斯噪声特征传播增强分类性能并保护隐私,实验表明其优于基线且隐私性更佳。
2025-10-13 cs.AI cs.LG
TPGNN: Learning High-order Information in Dynamic Graphs via Temporal Propagation
University of Leeds(利兹大学);Shaoxing University(绍兴文理学院)
本文提出TPGNN,通过时间传播器和逐节点编码器高效学习动态图中的高阶邻居信息,缓解过度平滑,并在时间链路预测和节点分类任务上验证了其效率和鲁棒性优势。
2023-04-13 cs.LG cs.SI
Omni-Granular Ego-Semantic Propagation for Self-Supervised Graph Representation Learning
Institute of Medical Technology, Health Science Center of Peking University(北京大学医学部医学技术研究院);National Institute of Health Data Science, Peking University(北京大学健康医疗大数据国家研究院)
无监督/自监督图表示学习对于下游节点和图级分类任务至关重要。图的全局结构有助于区分表示,现有方法主要通过施加额外的监督来利用全局结构。然而,它们的全局语义通常对于所有节点/图是不变的,并且它们未能显式地嵌入全局语义以丰富表示。在本文中,我们提出了全粒度自我语义传播自监督图表示学习(OEPG)。具体来说,我们引入实例自适应全局感知自我语义描述符,利用每个节点/图和整个图数据集的分层全局集群之间的一阶和二阶特征差异。描述符可以作为新的邻居节点显式地集成到局部图卷积中。此外,我们设计了一个全粒度的规范化的整个规模和层次的自我语义分配注意力的权重,每个描述符从全粒度的角度。专门的借口任务和交叉迭代动量更新进一步发展为本地-全球相互适应。在下游任务中,OEPG在跨尺度和跨领域的多个数据集上始终获得最佳性能,精度增益为2%~6%。值得注意的是,OEPG还推广到数量和拓扑不平衡的场景。
2022-05-31 cs.AI cs.CV cs.LG
Unifying Graph Convolutional Neural Networks and Label Propagation
Stanford University(斯坦福大学)
标签传播(LPA)和图卷积神经网络(GCN)都是图上的消息传递算法。两者都解决了节点分类的任务,但LPA在图的边缘传播节点标签信息,而GCN传播和转换节点特征信息。然而,虽然在概念上相似,但LPA和GCN之间的理论关系尚未被研究。在这里,我们从两个方面研究LPA和GCN之间的关系:(1)特征/标签平滑,我们分析一个节点的特征/标签如何在其邻居上传播;以及(2)特征/标签影响,即一个节点的初始特征/标签对另一个节点的最终特征/标签的影响程度。基于我们的理论分析,我们提出了一个端到端的模型,统一GCN和LPA的节点分类。在我们的统一模型中,边缘权重是可学习的,LPA作为正则化来帮助GCN学习适当的边缘权重,从而提高分类性能。我们的模型也可以被看作是基于节点标签的学习注意力权重,这比现有的基于特征的注意力模型更面向任务。在真实世界的图上进行的大量实验中,我们的模型在节点分类精度方面优于最先进的基于GCN的方法。
2020-02-17 cs.LG stat.ML
Meta-Active Learning for Node Response Prediction in Graphs
NTT Communication Science Laboratories(NTT通信科学实验室)
元学习是一种提高目标任务观测值有限的机器学习性能的重要方法。然而,当观测值是不平衡获得的,它是很难提高性能,即使与元学习方法。在本文中,我们提出了一种主动学习方法,用于属性图中节点响应预测任务的元学习,其中选择要观察的节点以尽可能少地观察节点来提高性能。与所提出的方法,我们使用基于图卷积神经网络的模型来预测节点响应和选择节点,通过该模型,我们可以预测响应和选择节点,即使对于具有未知响应变量的图。通过最小化期望测试误差来训练响应预测模型。节点选择模型通过强化学习最大化期望误差减少来训练。我们证明了所提出的方法与11种类型的道路拥堵预测任务的有效性。
2020-10-12 cs.LG stat.ML
Robust Offline Active Learning on Graphs
The Pennsylvania State University(宾夕法尼亚州立大学)
提出一种结合图结构与节点协变量的离线主动学习方法,通过两阶段有偏采样平衡信息性与代表性,理论证明误差权衡,实验验证在含噪场景下优于现有方法。
2024-11-07 cs.LG stat.ML
When Contrastive Learning Meets Active Learning: A Novel Graph Active Learning Paradigm with Self-Supervision
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文研究了图上的主动学习,其目的是发现信息量最大的节点,以最大化图神经网络的性能。以前,大多数图AL方法专注于从精心选择的标记数据集中学习节点表示,忽略了大量未标记的数据。受对比学习(CL)成功的启发,我们提出了一种新的范式,无缝集成图AL与CL。在能够以自我监督的方式利用丰富的未标记数据的能力的同时,由AL选择的节点进一步提供可以更好地指导表示学习的语义信息。此外,以前的工作测量节点的信息量,而不考虑GNN的邻域传播方案,因此可能会选择噪声节点。我们认为,由于GNN的平滑性质,来自同构子图的中心节点应该最有利于模型训练。为此,我们提出了一个极大极小选择方案,明确利用邻域信息和发现同伦子图,以促进积极的选择。在五个公共数据集上进行的全面、无混淆的实验表明,我们的方法优于最先进的方法。
2021-04-16 cs.LG stat.ML
Node Attribute Completion in Knowledge Graphs with Multi-Relational Propagation
EPFL(洛桑联邦理工学院)
现有的关于知识图谱完成的文献大多集中在链接预测任务上。然而,知识图谱有一个额外的不完整性问题:它们的节点拥有数值属性,其值经常丢失。我们的方法,表示为MrAP,通过在知识图谱的多关系结构中传播信息来估算缺失属性的值。它采用回归函数根据节点之间的关系和属性的类型来预测一个节点属性与另一个节点属性。传播机制在消息传递方案中迭代地操作,该方案在每次迭代时收集预测并更新节点属性的值。在两个基准数据集上的实验表明了该方法的有效性。
2020-11-10 cs.LG
Clustering Based on Density Propagation and Subcluster Merging
School of Artificial Intelligence, OPtics and ElectroNics (iOPEN)(人工智能、光学与电子学院(iOPEN));School of Computer Science(计算机学院);Northwestern Polytechnical University(西北工业大学)
提出DPSM密度聚类方法,通过密度传播自动确定簇数并适用于图空间,结合CluCut度量指导子簇合并,实验验证其有效性。
2024-11-04 cs.LG stat.ML
Topological based classification of paper domains using graph convolutional networks
Bar-Ilan University(巴伊兰大学)
图中节点分类的主要方法是信息传播和节点类与外部信息的关联。现有技术的方法通过图卷积网络合并这些方法。我们在这里使用的关联的拓扑特征的节点与他们的类来预测这个类。此外,将拓扑信息与信息传播相结合,提高了标准CiteSeer和Cora论文分类任务的分类精度。拓扑特征和信息传播产生的结果几乎与基于文本的分类一样好,没有文本或内容信息。我们建议通过一个GCN表示的拓扑结构和信息传播与相邻的训练节点分类作为输入和当前节点分类作为输出。这种形式主义优于现有技术的方法。
2019-04-10 cs.LG cs.SI stat.ML
Propagation with Adaptive Mask then Training for Node Classification on Attributed Networks
Huazhong University of Science and Technology(华中科技大学)
属性网络上的节点分类是一个半监督任务,对于网络分析至关重要。通过解耦图卷积网络(GCN)中的两个关键操作,即特征变换和邻域聚合,解耦GCN的一些最新工作可以支持信息更深层次的传播,并获得更好的性能。然而,它们遵循传统的GCN的结构感知传播策略,难以捕捉节点的属性相关性,并且对两端属于不同类别的边所描述的结构噪声敏感。为了解决这些问题,我们提出了一种名为itshape Propagation with Adaptive Mask then Training(PAMT)的新方法。其关键思想是将属性相似性掩码集成到结构感知的传播过程中。这样,PAMT在传播过程中能够保持相邻节点的属性相关性,有效降低结构噪声的影响。此外,我们开发了一种迭代细化机制,在训练过程中更新相似性掩码,以提高训练性能。在四个真实数据集上的大量实验证明了PAMT的优越性能和鲁棒性。
2022-06-23 cs.AI cs.LG
Propagation Kernels
我们介绍了传播内核,一个通用的图形内核框架,有效地测量结构化数据的相似性。传播内核基于监视信息如何通过一组给定的图传播。它们利用来自传播方案(如随机游动)的早期分布来捕获编码在节点标签、属性和边信息中的结构信息。这有两个好处。首先,现成的传播方案可以用于自然地构造许多图类型的核,包括标记的、部分标记的、未标记的、有向的和属性的图。其次,通过利用现有的高效和信息传播方案,传播内核可以比最先进的方法快得多,而不会牺牲预测性能。我们还将证明,如果手头的图具有规则的结构,例如在对图像或视频数据建模时,可以利用这种规则性将内核计算扩展到具有数千个节点的大型图数据库。我们支持我们的贡献,详尽的实验,从各种应用领域的一些现实世界的图。
2014-10-13 cs.LG stat.ML
Models for information propagation on graphs
本文提出并统一了图上信息传播的三类模型(波前传播、广义旅行时间最小化、程函方程),证明其等价性,并应用于半监督学习和信任网络。
2025-01-23 cs.LG cs.NA cs.SI
GraphHop: An Enhanced Label Propagation Method for Node Classification
University of Southern California(南加州大学)
提出了一种基于图结构数据的可扩展半监督节点分类方法GraphHop。该图包含所有节点的属性,但少数节点的标签。经典的标签传播(LP)方法和新兴的图卷积网络(GCN)是两个流行的半监督解决方案,这个问题。LP方法在对节点属性和标签进行联合建模时效果不佳,或者在大规模图上收敛速度较慢。GraphHop是针对其缺点提出的。通过适当的初始标签向量嵌入,GraphHop的每次迭代都包含两个步骤:1)标签聚合和2)标签更新。在步骤1中,每个节点聚合在先前迭代中获得的其邻居的标签向量。在步骤2中,基于节点自身的标签和在步骤1中获得的聚合标签信息,为每个节点预测新的标签向量。这个迭代过程利用了邻近信息,使GraphHop能够在极小的标签速率设置中表现良好,并能够很好地扩展到非常大的图形。实验结果表明,GraphHop在广泛的任务(例如,引文网络、社会图和商品消费图上的多标签和多类别分类)。我们的代码可在GitHub上公开获取(https://github.com/TianXieUSC/GraphHop)。
2021-01-07 cs.LG
Active Learning on Trees and Graphs
Università degli Studi di Milano(米兰大学);Università dell’Insubria(因苏布里亚大学)
我们研究的问题,主动学习在一个给定的树,其节点被分配的二元标签在一个对抗的方式。受Guillory和Bilmes最近结果的启发,我们描述了查询的最佳位置(常数因子),以便最大限度地减少非查询节点上的错误。我们的查询选择算法是非常有效的,和非查询节点上的错误的最佳数量是通过一个简单而有效的mincut分类器实现的。通过一个简单的修改的查询选择算法,我们还显示最优性(常数因子)的查询数量和非查询节点上的错误数量之间的权衡。通过使用生成树,我们的算法可以有效地应用到一般的图形,虽然找到最佳和有效的主动学习算法的一般图形的问题仍然是开放的。为此,我们提供了一个下界上的任意图形上的错误的数量由任何主动学习算法使用的查询的数量是一个恒定的分数的图形大小。
2013-01-22 cs.LG stat.ML
LSCALE: Latent Space Clustering-Based Active Learning for Node Classification
National University of Singapore(新加坡国立大学)
图上的节点分类是许多实际领域中的一个重要课题。它通常需要标签进行培训,这在实践中可能很难或昂贵。给定标记预算,主动学习旨在通过仔细选择标记哪些节点来提高性能。以前的图主动学习方法使用标记的节点学习表示,并选择一些未标记的节点进行标记获取。然而,它们没有充分利用未标记节点中存在的表示能力。我们认为,在未标记的节点的表示能力可以是有用的主动学习和进一步提高节点分类的主动学习的性能。在本文中,我们提出了一个潜在的空间聚类为基础的主动学习框架节点分类(LSCALE),我们充分利用标记和未标记的节点的表示能力。具体来说,为了选择用于标记的节点,我们的框架在基于无监督特征和监督特征的动态组合的潜在空间上使用K-Medoids聚类算法。此外,我们还设计了一个增量式分簇模块,以避免在不同步骤中选择的节点之间的冗余。在五个数据集上进行的大量实验表明,我们提出的框架LSCALE始终显著优于最先进的方法。
2022-07-20 cs.LG cs.SI
Protocols for Learning Classifiers on Distributed Data
University of Maryland(马里兰大学);University of Utah(犹他大学)
我们考虑的问题,学习分类器的标记数据,已分布在几个节点。我们的目标是找到一个单一的分类器,具有较小的近似误差,在所有的数据集,同时最大限度地减少节点之间的通信。这种设置模拟了处理大量分布式数据集时的真实通信瓶颈。我们提出了几个非常一般的基于采样的解决方案,以及一些双向协议,具有可证明的指数加速任何单向协议。我们专注于无噪声数据分布在两个或多个节点的核心问题。我们介绍的技术让人想起主动学习,但不是主动探测标签,而是节点主动相互通信,每个节点同时从另一个节点学习重要数据。
2012-02-27 cs.LG stat.ML
Unsupervised Neighborhood Propagation Kernel Layers for Semi-supervised Node Classification
KU Leuven(鲁汶大学)
本研究提出深度图卷积核机器GCKM用于半监督节点分类,由无监督邻域传播核层与半监督分类核模块构成,设计了对偶域端到端训练方案,在少标签场景下提升了分类性能。
2023-12-15 cs.LG
Gate the Filter, Not the Message: Node-Channel Mixtures for Pre-Propagation GNNs
School of Electrical and Computer Engineering, Cornell University(康奈尔大学电气与计算机工程学院)
针对预传播图神经网络中复杂跳聚合器性能不佳的问题,提出FilterMoE模型,通过3D门控张量联合路由节点和通道上的可学习切比雪夫滤波器专家,在11个同质和异质基准测试中平均提升1.53个测试分数。
2026-06-01 cs.LG
Active Discovery of Network Roles for Predicting the Classes of Network Nodes
University of Colorado(科罗拉多大学)
现实世界网络中的节点通常具有类标签或底层属性,这些标签或属性与它们连接到其他节点的方式有关。有时这种关系很简单,例如同一类的节点可能更有可能连接。然而,在其他情况下,这并不正确,网络中节点的链接方式与其属性之间的关系则不同,更为复杂。在这里,我们考虑网络,我们知道节点是如何连接的,但我们不知道节点的类标签或类标签如何与网络链接相关。我们希望识别最佳的节点子集来标记,以了解节点属性和网络链接之间的关系。然后,我们可以使用这个发现的关系来准确地预测其余网络节点的类标签。我们提出了一个模型,识别具有相似链接模式的节点组,我们称之为网络角色,使用生成块模型。然后,该模型通过使用最大间隔分类器学习从网络角色到类标签的映射来预测标签。我们选择一个子集的节点标记根据迭代的边缘为基础的主动学习策略。通过将网络角色的发现与分类器优化相结合,主动学习过程可以使网络角色适应于更好地表示用于节点分类的网络。我们通过探索现实世界中的网络,包括海洋食物网和英语单词网络来展示该模型。我们表明,与其他网络分类器相比,该模型实现了良好的分类精度为一系列的网络类标签和网络链接之间的不同关系。
2014-03-18 cs.LG cs.SI stat.ML
Regional based query in graph active learning
Bar-Ilan University(巴伊兰大学)
图卷积网络(GCN)已经成为网络中节点分类的主要方法,并且在多个节点分类任务中达到了最高的准确率。在没有可用的标记样本的情况下,已经开发了主动学习方法,以使用对oracle的最少数量的查询来获得最高的准确度。目前最好的主动学习方法都是以样本类的不确定性作为选择准则。然而,在基于图的分类中,每个节点的类通常与其邻居的类相关。因此,节点的邻居的类别的不确定性可以是更适当的选择标准。在这里,我们提出了两个这样的标准,一个扩展的经典的不确定性措施,和其他扩展的页面排名算法。我们表明,后者是最佳的标记节点的分数时,是低的,当这个分数增长到一个超过平均程度,区域的不确定性比所有现有的方法表现更好。虽然我们已经在图上测试了这种方法,但这种方法可以扩展到任何分类问题,其中可以在输入样本之间定义距离度量。所有使用的代码都可以访问:https://github.com/louzounlab/graph-al所有使用的数据集都可以访问:https://github.com/louzounlab/DataSets
2019-06-20 cs.LG stat.ML
Learning Graph Representations with Embedding Propagation
NEC Labs Europe(NEC欧洲实验室)
我们提出了嵌入传播(EP),一个无监督学习框架的图结构数据。EP通过在相邻节点之间传递两种类型的消息来学习图的矢量表示。转发消息由标签表示组成,例如与节点相关联的单词和其他属性的表示。反向消息由聚合标签表示和应用重建损失产生的梯度组成。节点表示最终从其标签的表示中计算出来。由于参数和超参数显著减少,EP的实例在一系列基准数据集上与最先进的无监督和半监督学习方法竞争并且通常优于它们。
2017-10-09 cs.LG
Uncertainty Propagation in Deep Neural Network Using Active Subspace
Tsinghua University(清华大学);Princeton University(普林斯顿大学)
深度神经网络(DNN)的输入来自真实世界的数据,通常带有不确定性。然而,以低计算成本将输入特征中的不确定性传播到DNN预测是具有挑战性的。这项工作采用了基于梯度的子空间方法和响应面技术来加速DNN中的不确定性传播。具体而言,采用主动子空间方法来使用DNN输出到输入的梯度来识别输入特征中最重要的子空间。然后,可以有效地构建该低维子空间内的响应面,并且可以通过评估计算成本低的响应面而不是DNN模型来获得预测的不确定性。此外,子空间可以帮助解释对抗性示例。该方法在MNIST数据集与卷积神经网络。代码可在:https://github.com/jiweiqi/nnsubspace.
2020-01-11 cs.CV cs.LG stat.ML
A Graph Regularized Point Process Model For Event Propagation Sequence
Ant Group(蚂蚁集团)
点过程是建模以不规则间隔发生的事件序列的主要范式。在本文中,我们的目标是在图中建模事件传播的潜在动力学,其中事件序列在有向加权图中传播,其节点表示事件标记(例如,事件类型)。现有的大多数工作只考虑将序列事件历史编码到事件表示中,而忽略了潜在图结构中的信息。此外,它们还具有较差的模型可解释性,即,未能发现各种节点之间的因果影响。为了解决这些问题,我们提出了一个图正则化点过程(GRPP),它可以分解为:1)一个图传播模型,它表征了节点与邻居之间的事件交互,并归纳学习节点表示; 2)一个时间注意强度模型,其过去事件对当前事件的激发和时间衰减因子通过节点嵌入的上下文化来构建。此外,通过应用图正则化方法,GRPP通过揭示节点之间的影响强度来提供模型的可解释性。在不同数据集上的数值实验表明,GRPP在传播时间和节点预测方面都明显优于现有模型。
2022-11-21 cs.AI cs.LG
Label Efficient Regularization and Propagation for Graph Node Classification
University of Southern California(南加州大学);U.S. Army Research Lab(美国陆军研究实验室)
最近提出了一种称为GraphHop的增强标签传播(LP)方法。它在各种网络的半监督节点分类任务中优于图卷积网络(GCN)。虽然GraphHop的性能直观地解释了关节节点属性和标签信号平滑,但缺乏严格的数学处理。在本文中,我们提出了一个标签有效的正则化和传播(LERP)框架的图节点分类,并提出了一个替代的优化过程,其解决方案。此外,我们表明,GraphHop只提供了一个近似的解决方案,这个框架,有两个缺点。首先,它在分类器训练中包括所有节点,而在标签更新步骤中不考虑伪标签节点的可靠性。其次,它提供了一个粗略的近似最佳的子问题的标签聚合步骤。基于LERP框架,我们提出了一种新的方法,命名为LERP方法,以解决这两个缺点。LERP在交替优化期间自适应地确定可靠的伪标签,并提供更好的近似最优值,同时具有计算效率。保证了LERP的理论收敛性。大量的实验证明了LERP的有效性和效率。也就是说,LERP在五个测试数据集和一个对象识别任务上以极低的标签率(即,每类1、2、4、8、16和20个标记样本)。
2022-10-31 cs.AI cs.LG
Powerful Graph Convolutioal Networks with Adaptive Propagation Mechanism for Homophily and Heterophily
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
图卷积网络由于其对图结构数据的处理能力而被广泛应用于各个领域。典型的GCN及其变体在同质性假设下工作(即,具有相同类的节点倾向于彼此连接),同时忽略存在于许多真实世界网络中的异质性(即,具有不同类的节点倾向于形成边)。现有的方法主要通过聚集高阶邻域或组合直接表示来处理异质性,这导致结果中存在噪声和无关信息。但是这些方法并没有改变GCN的传播机制,它是在同质性假设下工作的(这是GCN的一个基本部分)。这使得很难区分来自不同类的节点的表示。针对这一问题,本文设计了一种新的传播机制,该机制可以根据节点对之间的同构性和异构性自动改变传播和聚合过程。为了自适应地学习传播过程,我们引入了两个测量的节点对之间的同伦度,这是学习的基础上的拓扑和属性信息,分别。然后,我们将可学习的同质性程度纳入到图卷积框架中,该框架在端到端模式中进行训练,使其能够超越同质性的假设。更重要的是,我们从理论上证明,我们的模型可以约束表示节点之间的相似性,根据他们的同质程度。在7个真实数据集上的实验表明,该方法在异质性和低同质性情况下的性能优于现有方法,在同质性情况下具有竞争力。
2021-12-27 cs.LG
Network Learning with Local Propagation
University of Geneva(日内瓦大学)
本文提出了一种具有局部传播的局部解耦网络参数学习方法。考虑三个元素:(i)描述所有节点处的表示的非线性变换的集合,(ii)与对应的局部表示目标相关的每个节点处的局部目标,以及(iii)将每个节点处的非线性误差向量与来自直接连接的节点的目标误差向量相关的局部传播模型。建模概念(i),(ii)和(iii)提供了几个优点,包括(a)表示为图的任何网络的统一学习原理,(b)理解和解释局部和全局学习动态,(c)解耦和并行参数学习,(d)在无限长,多路径和多目标网络中学习的可能性。数值实验验证了学习原理的潜力。初步结果表明,在比较国家的最先进的方法,w.r.t.学习时间和网络规模,同时具有相当的识别精度。
2018-05-20 cs.AI cs.LG cs.NE
FairProp: Fair Node Representation Learning via Differentiable Propagation Layers
KU Leuven(鲁汶大学)
本文提出FairProp,通过向APPNP的凸平滑问题加入群体均值约束和组内协方差正则化,并将投影梯度下降展开为可微分传播层,实现节点分类、链接预测和回归的公平表示学习,提供首个相关界限并线性收敛。
2026-10-06 cs.LG cs.SI
Learning in Unlabeled Networks - An Active Learning and Inference Approach
Bournemouth University(伯恩茅斯大学)
基于网络结构和节点的某个训练子集的标签的知识来确定所有网络节点的标签的任务被称为网络内分类。可能发生的是,节点的标签都是未知的,并且另外没有关于节点可以被分配到的类的数量的信息。在这种情况下,必须选择节点的子集用于初始标签获取。由此产生的问题是:“应该收集哪些节点的标签并用于学习,以便为整个网络提供最佳的分类精度?".主动学习和推理是研究这一问题的一个实用框架。提出并验证了一套网络内分类的主动学习和推理方法。基于网络结构的每个节点的效用得分计算是该过程中的第一步。分数使得能够对节点进行排名。基于排名,选择为其获取标签的一组节点(例如,通过从排名中取顶部或底部N)。本文提出的新的测量邻居方法建议不从排名中获得节点的标签,而是获取其邻居的标签。本文研究了29个不同的配方的效用分数和选择方法报告其影响的结果,两个集体分类算法:迭代分类算法和循环的信念传播。我们主张,所提出的方法的准确性取决于所检查的网络的结构特性。我们声称,测量邻居的方法将工作更好地比常规方法的网络具有较高的聚类系数和比常规方法的网络具有较低的聚类系数。根据我们的假设,基于聚类系数,我们能够推荐合适的主动学习和推理方法。
2015-10-05 cs.LG cs.SI stat.ML
MDTE: Minority-Aware Diffusion over Temporal Edge Events for Imbalanced Node Classification
Zhejiang University of Technology(浙江工业大学);The University of Sydney(悉尼大学);Vecton AI
针对时序图不平衡节点分类中少数类表示被同化、判别证据不足的问题,提出MDTE框架,通过分布感知选择性传播与多视图判别融合,在五个真实数据集上显著提升少数类相关指标。
2026-08-26 cs.LG
Dynamic Trees: A Structured Variational Method Giving Efficient Propagation Rules
动态树是树结构信念网络的混合。它们解决了固定树网络的一些问题,但代价是使精确推理变得难以处理。为此,使用了诸如采样或平均场方法之类的近似方法。然而,平均场近似假设在节点状态上的分解分布。这样的分布在后验中看起来很不协调,因为节点在前验中高度相关。在这里,使用结构化变分方法,其中非证据节点的后验分布本身由动态树近似。事实证明,这种形式可以灵活有效地使用。其结果是一组更新规则,可以通过网络传播信息,以获得完整的变分近似和相关的边缘。该规则比平均场方法更有效,在推理的定量和定性方面都有明显的改进。计算的边缘给出了更好的近似后比一个小玩具问题上的循环传播。
2013-01-16 cs.AI cs.LG stat.ML
Scalable Decentralized Learning with Teleportation
Kyoto University(京都大学);OIST(冲绳科学技术大学院大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
提出TELEPORTATION方法,通过仅激活部分节点并在小拓扑上进行参数交换,完全消除分散式SGD在大规模节点下的收敛速度下降,并提升训练稳定性与准确率。
2025-02-28 cs.LG math.OC stat.ML
Topics and Label Propagation: Best of Both Worlds for Weakly Supervised Text Classification
TCS Research, Tata Consultancy Services(塔塔咨询服务公司研究部);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
提出了一种基于标签传播的弱监督文本分类算法。我们构建了一个图,其中每个文档由一个节点表示,边权重表示文档之间的相似性。此外,我们发现潜在的主题使用潜在狄利克雷分配(LDA)和丰富的文档图,包括额外的节点的形式的主题。主题和文本文档之间的边权重表示它们之间的“亲和力”水平。我们的方法不需要文档级别的标签,相反,它只需要手动标签的主题节点。这大大减少了所需的监督水平,因为只有少数几个主题被观察到足以达到足够高的准确性。标签传播算法在这个丰富的图上被用来在节点之间传播标签。我们的方法结合了标签传播(通过文档-文档相似性)和主题建模(用于最小但智能的监督)的优点。我们证明了我们的方法在各种数据集上的有效性,并与最先进的弱监督文本分类方法进行了比较。
2017-12-04 cs.CL cs.LG
Out-of-Distribution Detection in Heterogeneous Graphs via Energy Propagation
School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);Department of Computer Science, Baylor University(贝勒大学计算机科学系);School of Qiyue Media and Communication, Cangzhou Normal University(沧州市庆云传媒学院)
本文针对异构图中的分布外检测问题,提出OODHG方法,通过节点表示学习、能量计算、元路径能量传播和能量约束,同时实现OOD节点检测与ID节点分类,实验证明其优于基线模型。
2025-04-29 cs.LG cs.SI