MM-GNN: Mix-Moment Graph Neural Network towards Modeling Neighborhood Feature Distribution
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Microsoft Research Asia(微软亚洲研究院)
图神经网络(GNN)通过聚合来自邻居的信息,在图表示学习上表现出了表达性能。最近,一些研究讨论了在图上建模邻域分布的重要性。然而,大多数现有的GNN通过单个统计来聚合邻居的特征(例如,mean,max,sum),这丢失了与邻居的特征分布相关的信息,因此降低了模型性能。本文受统计学中矩方法的启发,提出用多阶矩来描述邻域的特征分布。设计了一种新的GNN模型--混合矩图神经网络(MM-GNN),它包括多阶矩嵌入(MME)模块和基于元素注意力的矩适配器模块。MM-GNN首先计算每个节点的邻居的多阶矩作为签名,然后使用基于元素注意力的矩适配器为每个节点的重要矩分配更大的权重并更新节点表示。我们在15个真实世界的图(包括社交网络、引文网络和网页网络等)上进行了广泛的实验。评估我们的模型,结果表明MM-GNN优于现有的国家的最先进的模型。
2023-01-28 cs.LG
Advancing GraphSAGE with A Data-Driven Node Sampling
Samsung Research(三星研究院);Samsung Electronics, co.(三星电子);New York University(纽约大学)
作为一种高效且可扩展的图神经网络,GraphSAGE通过聚合二次采样的局部邻域并通过以小批量梯度下降方式学习来实现推断看不见的节点或图的归纳能力。GraphSAGE中使用的邻域采样方法在并行推断一批度不同的目标节点时有效地提高了计算和内存效率。尽管有这个优势,默认的均匀采样在训练和推理中受到高方差的影响,导致次优精度。我们提出了一种新的数据驱动的采样方法的原因的实值的重要性的邻域的非线性回归,并使用该值作为标准的子采样的邻域。使用基于值的强化学习来学习回归量。从GraphSAGE的负分类损失输出中归纳提取每个顶点和邻域组合的隐含重要性。因此,在使用三个数据集的归纳节点分类基准中,我们的方法使用均匀采样增强了基线,在准确性上优于图神经网络的最新变体。
2019-04-29 cs.LG stat.ML
Neighborhood Convolutional Network: A New Paradigm of Graph Neural Networks for Node Classification
Huazhong University of Science and Technology(华中科技大学)
解耦的图卷积网络(GCN)是GCN的最新发展,它在每个卷积层中实现了邻域聚合和特征变换,在图表示学习方面表现出了良好的性能。现有的解耦GCN首先利用简单的神经网络(例如,MLP)学习节点的隐藏特征,然后将学习到的特征以固定的步长在图上传播,以聚集多跳邻域的信息。尽管有效,但需要整个邻接矩阵作为输入的聚合操作涉及模型训练,导致高训练成本,阻碍了其在更大图上的潜力。另一方面,由于作为输入的节点属性的独立性,用于解耦GCN的神经网络非常简单,并且高级技术不能应用于建模。为此,我们进一步解放的聚合操作从解耦的GCN,并提出了一个新的范式的GCN,称为邻域卷积网络(NCN),利用邻域聚合结果作为输入,然后由一个特殊的卷积神经网络量身定制的聚合输入提取表达节点表示。这样,该模型既继承了解耦GCN在聚集邻域信息方面的优点,又开发了更强大的特征学习模块。一种称为掩码训练的训练策略被纳入,以进一步提高模型的性能。大量的结果表明,我们的模型的节点分类任务的有效性不同的同伦图和异伦图。
2022-11-15 cs.LG cs.SI
BasConv: Aggregating Heterogeneous Interactions for Basket Recommendation with Graph Convolutional Neural Network
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Airbnb, Inc(爱彼迎公司);UC San Diego(加州大学圣地亚哥分校);Walmart Labs(沃尔玛实验室)
购物篮内推荐减少了用户的探索时间,其中用户对购物篮的意图很重要。购物篮的意图可以从用户-物品协同过滤信号和多物品相关性两者中检索。通过定义一个篮子实体来表示篮子意图,我们可以将此问题建模为User-Basket-Item~(UBI)图中的篮子项目链接预测任务。以前的工作解决了这个问题,同时利用用户的项目交互和项目的项目交互。然而,以往研究的总体性和异质性特征很少。集体定义了每个节点的语义,这些节点应该从直接和间接连接的邻居聚合。异质性来自UBI图中的多类型交互以及多类型节点。为此,我们提出了一个新的框架命名为\textbf{BasConv},这是基于图卷积神经网络。我们的BasConv模型有三种类型的聚合器,专门为三种类型的节点设计。它们共同从邻域和高阶上下文学习节点嵌入。此外,聚合器中的交互层可以区分不同类型的交互。在两个真实数据集上的大量实验证明了BasConv的有效性。我们的代码可在https://github.com/JimLiu96/basConv上获得。
2020-05-08 cs.IR cs.LG
Finding Global Homophily in Graph Neural Networks When Meeting Heterophily
East China Normal University(华东师范大学);Microsoft Research Asia(微软亚洲研究院);Nanyang Technological University(南洋理工大学)
研究了具有异质性的图上的图神经网络。一些现有的方法用多跳邻居来放大节点的邻域,以包括更多具有同质性的节点。然而,为不同节点设置个性化的邻域大小是一个重大挑战。此外,对于排除在邻域中的其他同性节点,它们被忽略用于信息聚合。为了解决这些问题,我们提出了两个模型GloGNN和GloGNN++,它们通过聚合图中全局节点的信息来生成节点的嵌入。在每一层中,两个模型都学习一个系数矩阵来捕获节点之间的相关性,并基于此执行邻域聚合。系数矩阵允许有符号的值,并且是从具有封闭形式解的优化问题导出的。我们进一步加速邻域聚集,并得到一个线性的时间复杂度。我们从理论上解释了模型的有效性,证明了系数矩阵和生成的节点嵌入矩阵具有所需的分组效果。我们进行了广泛的实验,将我们的模型与其他11个竞争对手在15个基准数据集上进行了广泛的领域,规模和图形异质性的比较。实验结果表明,我们的方法实现了优越的性能,也是非常有效的。
2022-05-15 cs.AI cs.LG
On the Two Sides of Redundancy in Graph Neural Networks
Faculty of Computer Science, University of Vienna(维也纳大学计算机科学学院);UniVie Doctoral School Computer Science, University of Vienna(维也纳大学UniVie计算机科学博士学院);Simula Research Laboratory(Simula研究实验室);Research Network Data Science, University of Vienna(维也纳大学数据科学研究网络)
本文针对图神经网络中的过度挤压问题,提出基于邻域树剪枝和同构子树合并的聚合方案,通过控制信息冗余提升节点和图嵌入质量,并在基准数据集上取得更高准确率。
2024-03-28 cs.LG
Graph Feature Gating Networks
Michigan State University(密歇根州立大学);Vanderbilt University(范德堡大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
图神经网络(GNN)由于其在学习有效的图表示方面的能力而受到极大的关注。大多数GNN遵循消息传递方案,其中通过聚合和转换来自邻域的信息来更新节点表示。同时,它们对不同特征维的信息采用相同的聚合策略。然而,根据社会维度理论和谱嵌入的建议,在聚合过程中对维度进行不同的处理有潜在的好处。在这项工作中,我们研究了GNN中特征维度的异质贡献。特别是,我们提出了一个通用的图形特征门控网络(GFGN)的基础上的图形信号去噪问题,然后相应地引入三个图形滤波器下GFGN允许不同水平的贡献,从特征尺寸。在各种真实数据集上的大量实验证明了所提出的框架的有效性和鲁棒性。
2021-05-10 cs.AI cs.LG
Improved Aggregating and Accelerating Training Methods for Spatial Graph Neural Networks on Fraud Detection
Nanjing University of Posts and Telecommunications(南京邮电大学);Nanjing Normal University(南京师范大学)
图神经网络(GNNs)已被广泛应用于众多领域。最近的一项工作结合分层结构和剩余连接,提出了一种改进的深度架构,将CAmouflage-Resistant GNN(CARE-GNN)扩展到称为Residual Layered CARE-GNN(RLC-GNN)的深度模型,形成自校正和增量学习机制,并在欺诈检测任务上实现了显着的性能改进。然而,我们发现RLC-GNN的三个问题,这是相邻信息的使用达到限制,训练困难,这是深层模型的固有问题,缺乏对节点特征和外部模式的综合考虑。在这项工作中,我们提出了三种方法来解决这三个问题分别。首先,我们建议通过余弦距离进行相似性度量,同时考虑局部特征和外部模式。然后,将相似性度量模块和邻域规范化思想与节点规范化和批量规范化相结合,提出了部分邻域规范化方法,克服了训练困难,同时减轻了图的高密度带来的噪声影响。最后,提出了中间信息补充的方法来解决信息不足的问题。实验在Yelp和Amazon数据集上进行。实验结果表明,本文提出的方法有效地解决了这三个问题。在Yelp数据集上,应用这三种方法后,我们在召回率、AUC和Macro-F1指标上分别获得了4.81%、6.62%和6.81%的改善。在Amazon数据集上,我们分别获得了1.65%和0.29%的召回率和AUC改善。
2022-02-14 cs.AI cs.LG
Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural Networks
Beihang University(北京航空航天大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Leeds(利兹大学)
图神经网络(GNN)已被广泛用于各种结构化图数据的表示学习。虽然很有前途,但大多数现有的GNN过度简化了图中边的复杂性和多样性,因此无法有效地处理普遍存在的异构图,这些异构图通常是多关系图表示的形式。在本文中,我们提出了RioGNN,一种新的加强,递归和灵活的邻域选择引导的多关系图神经网络架构,导航复杂的神经网络结构,同时保持关系依赖的表示。首先根据实际任务构造一个多关系图,反映节点、边、属性和标签的异构性。为了避免不同类型节点之间的嵌入过度同化,我们采用了一种标签感知的神经相似性度量来确定基于节点属性的最相似邻居。一个增强的关系感知的邻居选择机制,选择最相似的邻居的目标节点在一个关系,然后聚合所有的邻居信息从不同的关系,以获得最终的节点嵌入。特别地,为了提高邻居选择的效率,我们提出了一种新的递归和可扩展的强化学习框架,具有可估计的深度和宽度的不同规模的多关系图。RioGNN可以通过过滤阈值机制识别每个关系的个体重要性,从而学习更多有区别的节点嵌入,增强了可解释性。在真实图数据和实际任务上的综合实验表明,与其他比较GNN模型相比,该模型在有效性、效率和模型可解释性方面都有很大的进步。
2021-10-05 cs.LG cs.SI
Improving Fraud Detection via Hierarchical Attention-based Graph Neural Network
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
图神经网络(GNN)已经成为欺诈检测任务的强大工具,其中欺诈节点通过经由不同关系聚合邻居信息来识别。为了避开这种检测,狡猾的欺诈者通过连接到合法用户(即,关系伪装)或提供看似合法的反馈(即,特征伪装)。一个广泛的解决方案,加强了GNN聚合过程与邻居选择器根据原始节点的功能。这种方法在识别欺诈者时可能存在局限性,不仅关系伪装,而且特征伪装使他们难以与合法邻居区分开来。在本文中,我们提出了一个分层的基于注意力的图神经网络(HA-GNN)的欺诈检测,它结合了不同的关系,对伪装加权邻接矩阵。这在关系密度理论中是有动机的,并且被利用来形成基于层次注意力的图神经网络。具体来说,我们设计了一个关系注意力模块来反映两个节点之间的联系强度,而一个邻居注意力模块来捕获与图相关联的长期结构亲和力。我们通过聚合来自本地/远程结构和原始节点特征的信息来生成节点嵌入。三个真实世界的数据集上的实验证明了我们的模型在最先进的国家的有效性。
2022-02-21 cs.LG cs.SI
Hierarchical Graph Convolutional Networks for Semi-supervised Node Classification
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
图卷积网络(GCN)已成功应用于网络挖掘的节点分类任务。然而,大多数基于邻域聚集的模型通常是肤浅的,缺乏“图池”机制,这使得模型无法获得足够的全局信息。为了增加感受野,我们提出了一种新的深度层次图卷积网络(H-GCN)的半监督节点分类。H-GCN首先重复地将结构相似的节点聚合为超节点,然后将粗化的图细化为原始图,以恢复每个节点的表示。而不是仅仅聚集一跳或两跳的邻居信息,建议的粗化过程扩大了每个节点的感受野,因此更多的全球信息可以被捕获。所提出的H-GCN模型在各种公共基准图数据集上表现出强大的经验性能,优于最先进的方法,并在准确性方面获得高达5.9%的性能提升。此外,当只提供少量标记样本时,我们的模型获得了实质性的改进。
2019-06-10 cs.LG cs.SI stat.ML
Local Augmentation for Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学);Stanford University(斯坦福大学);Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯人工智能实验室)
图神经网络(GNN)在基于图的任务上取得了卓越的性能。GNN的核心思想是通过聚集来自局部邻域的信息来获得信息表示。然而,它仍然是一个悬而未决的问题,是否足够的邻域信息聚合学习表示的节点与邻居很少。为了解决这个问题,我们提出了一个简单而有效的数据增强策略,局部增强,学习的中心节点的功能为条件的邻居的节点特征的分布和增强GNN的表达能力与生成的功能。局部增强是一个通用框架,可以以即插即用的方式应用于任何GNN模型。它从学习的条件分布中采样与每个节点相关联的特征向量,作为每次训练迭代时骨干模型的额外输入。大量的实验和分析表明,局部增强在应用于各种GNN架构时,在不同的基准测试中始终会产生性能改进。例如,实验表明,在Cora,Citeseer和Pubmed上的测试准确性方面,插入GCN和GAT的局部增强平均提高了3.4%和1.6%。此外,我们在大型图(OGB)上的实验结果表明,我们的模型一致地提高了主干的性能。代码可在https://github.com/SongtaoLiu0823/LAGNN上获得。
2022-06-27 cs.LG
Stochastic Aggregation in Graph Neural Networks
Sloan Kettering Institute(斯隆凯特琳研究所);Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);City College of New York(纽约城市学院);City University of New York(纽约城市大学);Facebook, Inc.(脸书公司)
图神经网络(GNNs)表现出的病理,包括过度平滑和有限的鉴别能力,作为次优表达的聚合机制的结果。我们在这里提出了一个统一的框架随机聚合(STAG)在GNN,噪声(自适应)注入到聚合过程中从附近形成节点嵌入。我们提供的理论论据,STAG模型,很少的开销,补救上述两个问题。除了固定噪声模型,我们还提出了概率版本的STAG模型和一个变分推断框架来学习噪声后验。我们进行说明性的实验,明确针对过平滑和多集聚合的限制。此外,STAG增强了GNN的一般性能,这一性能在常见的引文和分子图基准数据集中表现出竞争力。
2021-02-26 cs.AI cs.LG stat.ML
k-hop Graph Neural Networks
École Polytechnique(巴黎综合理工学院);Athens University of Economics and Business(雅典经济与商业大学)
图神经网络(GNN)最近已经成为用于学习节点和图表示的强大架构。标准GNN在区分非同构图方面具有与图同构的Weisfeiler-Leman测试相同的表达能力。然而,最近的研究表明,该测试无法识别基本的图形属性,如连通性和三角形自由度。我们证明了GNN也受到同样的限制。为了解决这个限制,我们提出了一个更具表现力的架构,k-hop GNNs,它通过聚合不仅来自其直接邻居,而且来自其k-hop邻域的信息来更新节点的表示。我们表明,所提出的架构可以识别基本的图形属性。我们评估标准的节点分类和图分类数据集的建议架构。我们的实验评估证实了我们的理论研究结果,因为所提出的模型实现了更好的性能或与标准GNN和最先进的算法相当。
2020-08-09 cs.LG stat.ML
Saliency-Aware Regularized Graph Neural Network
Harbin Institute of Technology at Shenzhen(哈尔滨工业大学(深圳));Southern University of Science and Technology(南方科技大学);Shenzhen University(深圳大学);Peng Cheng Laboratory(鹏城实验室)
提出SAR-GNN模型,通过图神经记忆模块提炼紧凑图表示并估计全局节点显著性,以此正则化邻域聚合以优化消息传递,从而学习更有效的图表示并提升图分类性能。
2024-01-01 cs.LG
High-Order Pooling for Graph Neural Networks with Tensor Decomposition
McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学);HEC Montréal(蒙特利尔高等商学院);Mila(米拉人工智能研究所)
图神经网络(GNN)由于其在建模各种图结构数据方面的有效性和灵活性而引起了越来越多的关注。现有的GNN架构通常采用简单的池化操作(例如,sum,average,max),当聚集来自局部邻域的消息以更新节点表示或汇集来自整个图的节点表示以计算图表示时。虽然简单有效,但这些线性运算并不能模拟节点之间的高阶非线性交互。我们提出了张量化图神经网络(tGNN),这是一种高度表达的GNN架构,依赖于张量分解来建模高阶非线性节点交互。tGNN利用对称CP分解来有效地参数化置换不变的多线性映射,用于对节点交互进行建模。对节点和图分类任务的理论和实证分析表明,tGNN优于竞争基线。特别是,tGNN在两个OGB节点分类数据集和一个OGB图分类数据集上取得了最可靠的结果。
2022-10-20 cs.AI cs.LG
Tensor Graph Convolutional Networks for Text Classification
Tsinghua-iFLYTEK Joint Lab(清华-讯飞联合实验室);iFlytek Research(科大讯飞研究院);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);Tsinghua University(清华大学);Institute for Precision Medicine, Tsinghua University(清华大学精准医学研究院)
与序列学习模型相比,基于图的神经网络具有一些优异的性能,如全局信息捕获能力。在本文中,我们研究基于图的神经网络的文本分类问题。针对这一任务,提出了一种新的框架TensorGCN(张量图卷积网络)。首先构造文本图张量来描述语义、句法和顺序上下文信息。然后,在文本图张量上执行两种传播学习。第一种是用于聚集来自单个图中的邻域节点的信息的图内传播。第二种是图间传播,用于协调图之间的异构信息。在基准数据集上进行了大量的实验,结果表明了我们提出的框架的有效性。我们提出的TensorGCN提供了一种有效的方法来协调和集成来自不同类型图的异构信息。
2020-01-12 cs.CL cs.IR cs.LG
FLASH: Flexible Learning of Adaptive Sampling from History in Temporal Graph Neural Networks
Ben-Gurion University of the Negev(本·古里安大学);Purdue University(普渡大学);University of Cambridge(剑桥大学)
研究时态图未来链接预测汇总历史交互信号时,长历史会消耗资源,常用启发式采样静态且不适应图结构。提出FLASH可学习且图自适应的邻域选择机制,集成到TGNNs并端到端训练,实验证明性能提升。
2026-07-07 cs.LG cs.SI
Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations
Global Health Drug Discovery Institute(全球健康药物研发中心)
图神经网络是深度学习成功的延续。图形数据。已经提出了数十种不同的图神经网络变体,大多数遵循邻域聚合方案,其中节点特征通过从层到层聚合其相邻节点的特征来更新。尽管相关研究激增,但GNN的能力仍然无法与计算机视觉中的CNN和自然语言处理中的RNN相提并论。我们从信息传播的角度重新思考这个问题,并提出通过结合异构聚合来增强GNN层之间的信息传播。我们认为,随着更丰富的信息从浅层传播到深层,GNN制定的特征的区分能力可以从中受益。作为我们在这个方向上的第一次尝试,提出了一个新的通用GNN层配方,并在此基础上提出了一个新的GNN变体,称为HAG-Net。我们在许多图分类基准上实证验证了HAG-Net的有效性,并详细说明了所有的设计选项和标准。
2021-02-08 cs.AI cs.LG
How Powerful are Graph Neural Networks?
MIT(麻省理工学院);Stanford University(斯坦福大学)
图神经网络是一种有效的图的表示学习框架。GNN遵循邻域聚合方案,其中节点的表示向量通过递归聚合和变换其相邻节点的表示向量来计算。已经提出了许多GNN变体,并在节点和图分类任务上取得了最先进的结果。然而,尽管GNN彻底改变了图表示学习,但对其表示属性和局限性的理解有限。在这里,我们提出了一个理论框架,用于分析GNN捕获不同图结构的表达能力。我们的研究结果描述了流行的GNN变体(如图卷积网络和GraphSAGE)的区分能力,并表明它们无法学习区分某些简单的图结构。然后,我们开发了一个简单的架构,可以证明是最具表现力的GNN类,是一样强大的Weisfeiler-Lehman图同构测试。我们在一些图分类基准上实证验证了我们的理论研究结果,并证明我们的模型达到了最先进的性能。
2019-02-22 cs.CV cs.LG stat.ML
Manufacturing Service Capability Prediction with Graph Neural Networks
North Carolina State University(北卡罗来纳州立大学);Arizona State University(亚利桑那州立大学)
本研究提出一种基于图神经网络的方法,通过聚合图节点邻域信息与对图数据过采样,在知识图谱上识别制造服务能力,有效提升了识别准确性与图谱质量。
2024-03-25 cs.LG cs.SI
Guarding Graph Neural Networks for Unsupervised Graph Anomaly Detection
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems(浙江可感知感知与智能系统重点实验室);Department of Computer Science, Rensselaer Polytechnic Institute(罗切斯特理工学院计算机科学系)
针对无监督图异常检测中GNNs受异常干扰的问题,提出G3AD框架,通过辅助网络与相关性约束及自适应缓存模块守护GNNs,在合成和真实数据集上超越二十种最先进方法。
2025-05-24 cs.AI cs.LG
SST-GNN: Simplified Spatio-temporal Traffic forecasting model using Graph Neural Network
Independent University, Bangladesh(孟加拉国独立大学)
为了捕捉交通数据中的空间关系和时间动态,交通预测的时空模型近年来引起了人们的极大关注。最近的工作大多采用多层图神经网络(GNN)来捕获空间依赖性。然而,具有不同跳距的路口可以携带不同的交通信息,这些交通信息应该单独利用,但是现有的多层GNN无法区分它们的影响。同样,为了捕捉时间的相互关系,递归神经网络在最先进的方法中很常见,这些方法通常无法捕捉长期依赖关系。此外,交通数据显示每天或每周的重复模式,应明确解决。为了解决这些限制,我们设计了一个简化的时空交通预测GNN(SST-GNN),有效地编码的空间依赖性分别聚合不同的邻域表示,而不是与多个层和捕获的时间依赖性与一个简单而有效的加权时空聚合机制。我们捕获的周期性的交通模式,通过使用一种新的位置编码方案与历史和当前的数据在两个不同的模型。通过广泛的实验分析,我们已经表明,我们的模型在性能测量系统(PeMS)的三个真实世界的流量数据集上的表现明显优于最先进的模型。
2021-03-31 cs.LG
Sketch-Augmented Features Improve Learning Long-Range Dependencies in Graph Neural Networks
Department of Computer Science, University of Chicago(芝加哥大学计算机科学系);Leadership Computing Facility, Argonne National Laboratory(阿贡国家实验室领导计算设施);Department of Statistics, University of Chicago(芝加哥大学统计系);NSF-Simons National Institute for Theory and Mathematics in Biology(国家理论与生物数学研究所)
本文提出将随机化全局嵌入(Sketched Random Features)注入标准图神经网络,以缓解过度挤压、过度平滑和表达力受限问题,从而高效捕获长程依赖并在真实图任务上持续提升性能。
2025-11-05 cs.LG
Similarity-Navigated Conformal Prediction for Graph Neural Networks
Nanjing University(南京大学);Southern University of Science and Technology(南方科技大学);Nanyang Technological University(南洋理工大学)
针对图神经网络节点分类缺乏可靠不确定性估计的问题,提出 SNAPS 算法,利用特征相似性与结构邻域聚合非一致性分数,生成更紧凑预测集合并具备有限样本覆盖率保证。
2025-01-04 cs.LG
PreGS: A Parameter-Transfer-Based Multi-Expert Graph Neural Network for Node Classification
College of Physics and Information Engineering, Minnan Normal University(闽南师范大学物理与信息工程学院)
本文提出PreGS框架,通过参数迁移将预训练GAT的权重传给多个GraphSAGE专家,融合多源特征进行节点分类,并扩展出PreGSv2,在八个数据集上验证了其有效性和稳定性。
2026-09-23 cs.LG
Permute Me Softly: Learning Soft Permutations for Graph Representations
École Polytechnique(巴黎综合理工学院)
图神经网络(GNN)最近已经成为利用图进行机器学习的主导范例。对GNN的研究主要集中在消息传递神经网络(MPNN)家族上。类似于同构的Weisfeiler-Leman(WL)测试,这些模型遵循迭代邻域聚合过程来更新顶点表示,然后通过聚合顶点的表示来计算图形表示。虽然非常成功,MPNN在过去几年中得到了深入的研究。因此,需要一种新的架构,这将使该领域的研究脱离MPNN。在本文中,我们提出了一种新的图神经网络模型,即所谓的$π$ -GNN,它学习“软”排列(即,双随机)矩阵,从而将所有图投影到公共向量空间中。学习的矩阵对输入图的顶点施加“软”排序,并且基于该排序,邻接矩阵被映射到向量。这些向量可以被馈送到全连接或卷积层中,以处理监督学习任务。在大型图的情况下,为了使模型在运行时间和内存方面更有效,我们进一步将双随机阵放宽到行随机阵。我们在图分类和图回归数据集上对该模型进行了经验评估,结果表明,该模型的性能与最先进的模型相比具有竞争力。
2022-07-04 cs.LG stat.ML
Can strong structural encoding reduce the importance of Message Passing?
University of Amsterdam(阿姆斯特丹大学);University of Oxford(牛津大学);University of Cambridge(剑桥大学)
针对图神经网络中消息传递难以学习粗略拓扑结构的问题,提出基于张量积的特征与结构信息交互建模方法。实验表明,强结构编码能显著提升模型鲁棒性,甚至在移除消息传递层时仍保持性能,证明其可降低对消息传递的依赖。
2023-10-22 cs.LG
Enhancing Graph Neural Network-based Fraud Detectors against Camouflaged Fraudsters
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Beijing University of Posts and Telecommunications(北京邮电大学);Beihang University(北京航空航天大学)
近年来,图神经网络(GNNs)被广泛应用于欺诈检测问题,它通过不同的关系聚合节点的邻域信息来揭示节点的可疑性。然而,很少有以前的工作已经注意到欺诈者的伪装行为,这可能会妨碍基于GNN的欺诈检测器在聚合过程中的性能。在本文中,我们介绍了两种类型的抵押贷款的基础上,最近的实证研究,即,特征伪装和关系伪装。现有的GNN没有解决这两个问题,这导致它们在欺诈检测问题中的性能很差。或者,我们提出了一个新的模型,名为CAmouflage-Resistant GNN(CARE-GNN),以增强GNN聚合过程中的三个独特的模块,对重复。具体地说,我们首先设计了一个标签感知的相似性度量,以找到信息丰富的相邻节点。然后,我们利用强化学习(RL)来找到要选择的邻居的最佳数量。最后,跨不同关系的所选邻居被聚合在一起。在两个真实欺诈数据集上的综合实验证明了RL算法的有效性。所提出的CARE-GNN也优于最先进的GNN和基于GNN的欺诈检测器。我们将所有基于GNN的欺诈检测器集成为开源工具箱:https://github.com/safe-graph/DGFraud。CARE-GNN代码和数据集可在https://github.com/YingtongDou/CARE-GNN上获得。
2020-08-19 cs.CR cs.LG cs.SI
Effective Resistance Rewiring: A Simple Topological Correction for Over-Squashing
本文提出Effective Resistance Rewiring方法,通过有效电阻检测结构瓶颈,改善图神经网络的信息传播与表示多样性,同时结合归一化技术优化深度模型的性能。
2026-03-12 cs.AI cs.LG
Recommending Related Products Using Graph Neural Networks in Directed Graphs
Amazon(亚马逊)
相关产品推荐(RPR)是任何电子商务服务成功的关键。在本文中,我们处理推荐相关产品的问题,即,给定一个查询产品,我们希望建议具有与它一起购买的高可能性的前k个产品。我们的问题隐含地假设不对称性,即,对于电话,我们想推荐一个合适的电话壳,但是对于电话壳,它可能不适合推荐电话,因为客户通常只会在拥有电话时才购买电话壳。我们也不局限于补充或替代产品推荐。例如,对于一个特定的夜穿T恤,我们可以建议类似的T恤以及运动裤。因此,相关性的概念对于查询产品是主观的,并且取决于客户偏好。此外,各种因素,如产品价格,可用性导致的选择偏差的存在,在历史购买数据,这需要进行控制,而训练相关的产品推荐模型。这些挑战是相互正交的,认为我们的问题是不平凡的。为了解决这些问题,我们提出了DAEMON,一种新的图神经网络(GNN)为基础的框架相关的产品推荐,其中的问题制定为一个节点推荐任务上的有向产品图。为了捕捉产品的不对称性,我们采用了一个不对称的损失函数,并通过适当地聚合来自其邻域的特征来学习每个产品的对偶嵌入。DAEMON利用多模态数据源(如目录元数据)、浏览行为日志来减轻选择偏差并为冷启动产品生成建议。大量的离线实验表明,DAEMON在节点推荐任务的HitRate和MRR方面比最先进的基线高出30 - 160%。
2022-11-18 cs.IR cs.LG