Curvature Graph Neural Network
Central South University(中南大学);Peking University(北京大学);Southwest Jiaotong University(西南交通大学)
图神经网络(GNNs)在许多基于图的任务中取得了巨大的成功。许多工作致力于赋予GNN自适应局部性能力,这使得能够通过特定于节点的机制来测量相邻节点对目标节点的重要性。然而,目前的节点特定的机制是不够的区分节点的重要性的拓扑结构。我们认为,相邻节点的结构的重要性是密切相关的聚合的重要性。本文引入离散图曲率(Ricci曲率)来量化成对节点的结构连接强度。提出了曲率图神经网络(Curvature Graph Neural Network,CGNN),利用图曲率的结构特性,有效地提高了GNN的自适应局部性。为了提高曲率对不同数据集的适应性,我们通过必要的负曲率处理模块和曲率归一化模块将曲率显式地转化为相邻节点的权值。然后,我们在各种合成数据集和真实世界数据集上进行了大量实验。在人工数据集上的实验结果表明,CGNN有效地利用了拓扑结构信息,性能得到了显著提高。CGNN在5个密集节点分类基准数据集上的性能优于基线。该研究加深了对如何利用高级拓扑信息和从图曲率的角度分配相邻节点重要性的理解,并鼓励我们弥合图论和神经网络之间的差距。
2021-06-30 cs.AI cs.LG
Graph Synthetic Out-of-Distribution Exposure with Large Language Models
University of Southern California(南加州大学);University of Maryland, College Park(马里兰大学学院 park 分校);University of Wisconsin, Madison(威斯康星大学麦迪逊分校);Arizona State University(亚利桑那州立大学)
针对图OOD检测中真实OOD样本获取难的问题,提出GOE-LLM框架,通过大语言模型生成伪OOD节点实现OOD暴露,性能媲美使用真实OOD标签的方法。
2025-05-17 cs.LG
PROVCREATOR: Synthesizing Complex Heterogenous Graphs with Node and Edge Attributes
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Virginia Tech(弗吉尼亚理工大学)
本文提出 ProvCreator 框架,将带高维节点与边属性的复杂异构图合成转化为序列生成,利用基于 transformer 的 LLM 实现无损编码、高效压缩和端到端生成。
2025-07-28 cs.LG
Unsupervised Optimisation of GNNs for Node Clustering
School of Engineering Mathematics and Technology, University of Bristol(布里斯托尔大学工程数学与技术学院)
本文提出仅通过优化模块度而无须真实标签即可训练GNN进行节点聚类,并验证其可用于超参数调优、模型选择及预测真实性能,同时揭示GNN在特征与连接信息冲突时存在局限。
2024-02-20 cs.AI cs.LG
Identifying critical nodes in complex networks by graph representation learning
University of Electronic Science and Technology of China(电子科技大学);Union Big Data Tech. Inc.(联合大数据技术有限公司)
由于其广泛的应用,关键节点识别已成为网络科学微观层面的重要研究课题。影响力最大化是关键节点挖掘中的主要问题之一,通常采用启发式算法来处理。本文提出了一种深度图学习框架IMGNN,并设计了相应的训练样本生成方案。该框架以网络中节点的中心性作为输入,以节点在最优初始传播器中的概率作为输出。通过在大量小型合成网络上进行训练,IMGNN在固定感染规模下最小化初始传播者的大小方面比基于人类的免疫学更有效。在一个合成网络和五个真实网络上的实验结果表明,与传统的非迭代节点排序算法相比,当最终感染规模固定时,IMGNN在不同感染概率下具有最小的初始传播者比例. IMGNN的重新排序版本优于所有最新的关键节点挖掘算法。
2022-01-20 cs.LG cs.SI
A GAN Approach for Node Embedding in Heterogeneous Graphs Using Subgraph Sampling
Academia Sinica(中央研究院);National Chenchi University(国立政治大学);National Taiwan University(国立台湾大学)
本文提出一种结合GNN与GAN的异构图节点嵌入框架,通过对抗学习同时生成合成节点和边,以缓解类别不平衡问题,并在多个真实数据集上验证了其在少数类节点识别任务中的优越性能。
2024-11-23 cs.AI cs.LG cs.SI
SynCo: Synthetic Community-Aware Attributed Graph Generator for Graph Neural Network Benchmarking
Federal University of São Carlos(圣卡洛斯联邦大学);Federal University of Mato Grosso do Sul(南马托格罗索联邦大学)
SynCo是一种社区感知的属性图生成器,允许用户控制度分布和子社区结构,在图模仿、超参数评估和节点聚类任务中优于现有方法,并能生成多达210万节点的大规模图。
2026-09-11 cs.LG cs.SI
FLIGAN: Enhancing Federated Learning with Incomplete Data using GAN
Vienna University of Technology(维也纳技术大学)
本文提出FLIGAN方法,利用联邦式生成对抗网络生成合成数据以解决联邦学习中数据不完整和类别不平衡问题,并通过按类别采样和节点分组提升合成数据质量,实验显示模型准确率最高可提升20%。
2024-04-02 cs.LG
DINE: Dimensional Interpretability of Node Embeddings
University of Pisa(比萨大学);CENTAI Institute(CENTAI研究所);TU Delft(代尔夫特理工大学)
针对节点嵌入全局可解释性缺失的问题,提出衡量嵌入维度全局可解释性的新指标,并推出DINE方法,可在不损失任务性能的前提下提升现有节点嵌入的可解释性,实验验证了其在链路预测中的有效性。
2023-10-02 cs.AI cs.LG
Graph Neural Networks with Precomputed Node Features
ETH Zurich(苏黎世联邦理工学院)
大多数图神经网络(GNN)无法区分某些图或图中的某些节点对。这使得无法解决某些分类任务。但是,向这些模型添加其他节点功能可以解决此问题。我们介绍了几个这样的增强,包括(i)位置节点嵌入,(ii)规范节点ID,和(iii)随机特征。这些扩展的动机是理论结果和合成子图检测任务的广泛测试证实。我们发现,位置嵌入显着优于其他扩展在这些任务。此外,位置嵌入具有更好的样本效率,在不同的图分布上表现良好,甚至优于使用地面真实节点位置的学习。最后,我们证明了不同的增强在已建立的GNN基准上具有竞争力,并建议何时使用它们。
2022-09-17 cs.LG
GraphSMOTE: Imbalanced Node Classification on Graphs with Graph Neural Networks
College of Information Science and Technology, Penn State University(宾夕法尼亚州立大学信息科学与技术学院)
节点分类是图学习中的一个重要研究课题。图神经网络(GNN)已经实现了节点分类的最新性能。然而,现有的GNN解决了不同类的节点样本平衡的问题;而对于许多现实场景,某些类的实例可能比其他类少得多。在这种情况下,直接训练GNN分类器将不充分表示来自那些少数类别的样本,并导致次优性能。因此,开发用于不平衡节点分类的GNN非常重要。然而,这方面的工作相当有限。因此,我们寻求将先前的用于i.i.d数据的不平衡学习技术扩展到不平衡节点分类任务,以促进GNN分类器。特别是,我们选择采用合成少数过采样算法,因为它们被发现是最有效和最稳定的。这个任务是不平凡的,因为以前的合成少数过采样算法未能提供新合成的样本,这是至关重要的学习图的关系信息。此外,节点属性是高维的。在原始输入域中直接过采样可能会产生域外样本,这可能会损害分类器的准确性。我们提出了一个新的框架,GraphSMOTE,其中嵌入空间被构造成编码节点之间的相似性。在这个空间中合成新的样品以确保准确性。此外,还同时训练边缘生成器来对关系信息进行建模,并将其提供给那些新的样本。该框架是通用的,并且可以容易地扩展为不同的变体。使用三个不同的数据集对所提出的框架进行了评估,它的性能优于所有基线,并且具有很大的优势。
2021-03-16 cs.LG
Prompt Tuning without Labeled Samples for Zero-Shot Node Classification in Text-Attributed Graphs
Indian Institute of Science(印度科学研究院);Singapore Management University(新加坡管理大学)
本文提出一种基于双模态生成器的零样本提示调优框架,通过生成合成样本实现文本属性图中节点分类的无标注样本学习。
2026-01-07 cs.IR cs.LG
VisAdj: Learning Adjacency Matrices from Node-Link Images
University of Delaware(特拉华大学)
针对从节点-链接图像学习邻接矩阵的问题,提出VisAdj框架,通过注意力稀疏邻居采样器与线图变换器实现拓扑感知的邻接预测,在合成图、道路网络和船舶图像上性能优于现有基线。
2026-08-25 cs.AI cs.CV cs.LG
BOND: Benchmarking Unsupervised Outlier Node Detection on Static Attributed Graphs
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Visa Research(Visa研究院);Carnegie Mellon University(卡内基梅隆大学);Beihang University(北京航空航天大学);Arizona State University(亚利桑那州立大学);Illinois Institute of Technology(伊利诺伊理工学院);Lehigh University(理海大学);University of Virginia(弗吉尼亚大学)
检测图中哪些节点是离群值是一项相对较新的机器学习任务,具有许多应用。尽管近年来为这项任务开发的算法激增,但一直没有标准的综合设置用于性能评估。因此,很难理解哪种方法效果好,以及在广泛的环境下效果如何。为了弥合这一差距,我们提出-据我们所知-第一个全面的基准无监督离群节点检测静态属性图称为BOND,具有以下亮点。(1)我们基准测试了从经典矩阵分解到最新图神经网络的14种方法的离群值检测性能。(2)使用九个真实的数据集,我们的基准测试评估了不同的检测方法如何响应两种主要类型的合成离群值,并分别对“有机”(真正的非合成)离群值。(3)使用现有的随机图生成技术,我们产生了一个家庭的合成生成的数据集的不同的图形大小,使我们能够比较不同的离群值检测算法的运行时间和内存使用。基于我们的实验结果,我们讨论了现有的图离群点检测算法的优点和缺点,我们强调了未来研究的机会。重要的是,我们的代码是免费提供的,并且易于扩展:https://github.com/pygod-team/pygod/tree/main/benchmark
2022-10-16 cs.LG cs.SI
Embedding Node Structural Role Identity Using Stress Majorization
Dartmouth College(达特茅斯学院);Millennium Management, LLC(千禧管理有限责任公司);Stony Brook Univeristy(石溪大学)
网络中的节点可以具有确定它们在系统中的角色的一个或多个功能。与捕获节点的本地上下文的本地邻近度相反,角色标识捕获节点在网络中扮演的功能性“角色”,例如作为组的中心或两个组之间的桥梁。这意味着网络中相距遥远的节点可以具有相似的结构角色身份。最近的几项工作已经探索了在网络中嵌入节点角色的方法。然而,这些方法都依赖于近似或间接建模的结构等效。在本文中,我们提出了一个新的和灵活的框架,使用应力优化,转换网络中的高维角色身份直接(没有近似或间接建模)到一个低维嵌入空间。我们的方法也是灵活的,因为它不依赖于特定的结构相似性定义。我们使用三个真实世界和五个合成网络对节点分类,聚类和可视化任务进行了评估。我们的实验表明,我们的框架在学习节点角色表示方面取得了优于现有方法的结果。
2021-09-14 cs.AI cs.LG cs.SI
Boosting-GNN: Boosting Algorithm for Graph Networks on Imbalanced Node Classification
PLA Strategy Support Force Information Engineering University(中国人民解放军战略支援部队信息工程大学)
图神经网络(GNN)已被广泛用于图形数据表示。然而,现有的研究只考虑了理想的平衡数据集,不平衡数据集很少考虑。传统的处理不平衡数据集的方法,如重新排序,重新加权和合成样本,在GNN中不再适用。本文提出了一种集成模型Boosting-GNN,它在Boosting过程中使用GNN作为基分类器。在Boosting-GNN中,为未被前一个分类器正确分类的训练样本设置更高的权重,从而实现更高的分类精度和更好的可靠性。此外,还采用了迁移学习来降低计算量,提高拟合能力。实验结果表明,与GCN、GraphSAGE、GAT、SGC、N-GCN等算法相比,本文提出的Boosting-GNN模型在合成不平衡数据集上的平均性能提高了4.5%
2022-05-08 cs.CV cs.LG
Explain Graph Neural Networks to Understand Weighted Graph Features in Node Classification
Yale University(耶鲁大学);J.P. Morgan AI Research(摩根大通人工智能研究院)
从不同的应用程序,具有额外的拓扑结构和连接信息收集的真实数据是服从表示为加权图。图神经网络(GNNs)是研究节点标注问题的一种强有力的工具,它可以模拟专家对节点标注的决策。GNN通过使用神经网络来嵌入节点信息并通过图中的边将其传递,从而将节点特征、连接模式和图结构相结合。我们希望识别GNN模型使用的输入数据中的模式,以做出决策,并检查模型是否按我们的期望工作。然而,由于复杂的数据表示和非线性变换,解释GNN做出的决策是具有挑战性的。在这项工作中,我们提出了新的图形特征的解释方法,以确定信息组件和重要的节点特征。此外,我们提出了一个管道,以确定用于节点分类的关键因素。我们使用四个数据集(两个合成和两个真实)来验证我们的方法。我们的研究结果表明,我们的解释方法可以模仿用于节点分类的数据模式,通过人类的解释和解开图中的不同功能。此外,我们的解释方法可用于理解数据,调试GNN模型,并检查模型决策。
2020-02-02 cs.AI cs.LG cs.SI
Predicting Properties of Nodes via Community-Aware Features
SGH Warsaw School of Economics(华沙经济学院);Toronto Metropolitan University(多伦多都会大学);Tutte Institute for Mathematics and Computing(塔特数学与计算研究所)
本文提出了一族社区感知节点特征,利用网络社区结构提升节点分类的预测能力,证明了其包含经典特征无法恢复的信息,并在合成与真实网络中验证了其高效性和有效性。
2024-04-26 cs.LG cs.SI math.CO
A Regularization Approach for Prediction of Edges and Node Features in Dynamic Graphs
ENS Cachan(卡尚高等师范学院);UniverSud(巴黎南大学联盟);mercis(1000mercis公司);TTI Chicago(芝加哥丰田技术研究院);INSEAD(欧洲工商管理学院);CNRS(法国国家科学研究中心)
我们考虑两个问题的预测链接的动态图序列和预测功能定义在每个节点的图。在许多应用中,一个问题的解决方案对解决另一个问题是有用的。事实上,如果这些函数反映了节点特征,那么它们通过图结构是相关的。在本文中,我们制定了一个混合的方法,同时学习图的结构和预测的节点相关的功能的值。我们的方法是基于联合正则化目标的优化。我们实证测试所提出的方法与合成和真实数据的好处。结果表明,联合正则化提高了预测性能的图的演变和节点的功能。
2012-03-24 cs.LG stat.ML
Online non-parametric change-point detection for heterogeneous data streams observed over graph nodes
考虑由图的节点生成的异构数据流。数据流本质上由多个流组成,可能具有取决于每个节点的不同性质。在给定时刻$τ$,对于节点$C$的子集出现变化点,表示它们的关联流的概率分布的变化。在本文中,我们提出了一个在线的非参数方法来推断$τ$的基础上的变化后,与每个节点的数据流的变化前的分布之间的似然比的直接估计。我们提出了一种基于核的方法,假设连接的节点的图预计有类似的似然比估计时,没有变点。我们证明了我们的方法在合成实验和现实世界中的应用质量。
2021-10-20 cs.LG stat.ML
Reinforcement Learning for Node Selection in Branch-and-Bound
Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所)
针对分支定界中节点选择问题,提出基于强化学习与图神经网络的模拟技术,考虑全局树状态生成概率分布,在严格时间限制下显著提升了多个基准上的最优性差距减少和每节点效率。
2024-06-05 cs.LG
Edge Entropy as an Indicator of the Effectiveness of GNNs over CNNs for Node Classification
Carnegie Mellon University(卡内基梅隆大学)
图神经网络(GNN)将卷积神经网络(CNN)扩展到基于图的数据。出现的一个问题是GNN中的底层图结构相对于CNN(忽略此图结构)提供了多少性能改进。为了解决这个问题,我们引入了边缘熵,并评估了它对GNN相对于CNN的性能改进的可能性。我们对合成数据集和真实数据集的节点分类结果表明,较低的边缘熵值预测GNN相对于CNN的预期性能增益较大,相反,较高的边缘熵导致预期较小的改进增益。
2020-12-16 cs.LG eess.SP
Deep Node Ranking for Neuro-symbolic Structural Node Embedding and Classification
Jožef Stefan Institute(约瑟夫·斯蒂芬研究所);Cosylab d.o.o.(Cosylab 公司);National Institute of Chemistry(国家化学研究所);Faculty of Computer and Information Science(计算机与信息科学学院);University of Nova Gorica(新戈里察大学)
网络节点嵌入是复杂网络分析的一个活跃的研究领域。本文提出了一种新的方法来学习网络节点嵌入和直接节点分类使用的节点排名计划加上一个自动编码器为基础的神经网络架构。提出的深度节点排名(DNR)算法的主要优点是有竞争力或更好的分类性能,显着更高的学习速度和更低的空间要求相比,最先进的方法对15个现实生活中的节点分类基准。此外,它可以探索符号和派生的子符号节点表示之间的关系,提供对学习节点空间结构的见解。为了避免直接节点分类设置中的空间复杂度瓶颈,DNR以小批量计算来自给定节点的个性化随机游走的平稳分布,无缝扩展到更大的网络。与DNR相关的缩放定律也在1488个合成的Erdens-Rényi网络上进行了研究,证明了它对数千万条链路的可扩展性。
2021-08-30 cs.LG stat.ML
Investigating Transfer Learning in Graph Neural Networks
University of the Witwatersrand(金山大学);University of Johannesburg(约翰内斯堡大学)
图神经网络(GNN)通过扩展深度学习模型以在图空间中使用来构建它们的成功。事实证明,迁移学习对于传统的深度学习问题非常成功:可以更快地进行训练并提高性能。尽管人们对GNN及其用例越来越感兴趣,但对其可移植性的研究却很少。这项研究表明,迁移学习是有效的GNN,并描述了源任务和GNN的选择如何影响学习概括性知识的能力。我们使用真实世界和合成数据的节点分类和图形分类的上下文中进行实验。为此,我们还提供了一个通用的方法迁移学习实验,并提出了一种新的算法生成合成图分类任务。我们比较了GCN,GraphSAGE和GIN在合成和真实世界数据集上的性能。我们的研究结果表明,经验与归纳操作的GNN产生统计显着改善传输。此外,我们表明,源和目标任务之间的社区结构的相似性,支持统计上显着的改进,在转移以上只使用节点属性。
2022-02-01 cs.LG
DAG Structure Learning with Node-Varying Heavy-Tailed Disturbances
Indian Institute of Science(印度科学学院)
本文提出节点异方差Student-t DAGMA,联合估计图结构、节点扰动尺度及自由度,在异质性重尾扰动下提升结构恢复性能,且在金融数据上测试负对数似然优于基线。
2026-10-12 cs.LG
Bi-View Embedding Fusion: A Hybrid Learning Approach for Knowledge Graph's Nodes Classification Addressing Problems with Limited Data
Department of Mathematical and Computer Sciences, Physical Sciences and Earth Sciences, University of Messina(数学与计算机科学系、物理科学与地球科学系,墨西拿大学)
本文提出了一种双视角嵌入融合方法,通过结合Node2Vec和GraphSAGE两种互补的图嵌入技术,提升知识图谱节点特征的 informative 内容,从而生成增强的图嵌入以改进GML模型,无需额外合成数据。
2025-11-17 cs.LG
Generative Models and Learning Algorithms for Core-Periphery Structured Graphs
Indian Institute of Science(印度科学学院)
我们考虑核心-外围结构图,这些图分别具有一组密集连接和稀疏连接的节点,称为核心节点和外围节点。所谓的节点的核心得分与其成为核心节点的可能性有关。在本文中,我们专注于学习一个图的节点属性和连通性结构的核心分数。为此,我们提出了两类概率图模型:仿射和非线性。首先,我们描述仿射生成模型来模拟节点属性对其核心分数的依赖性,这决定了图的结构。接下来,我们讨论了非线性生成模型,其中节点属性的偏相关性通过潜在核心分数影响图结构。我们开发的算法,用于推断模型参数和核心分数的图形时,图形结构和节点属性。当只有图的节点属性可用时,我们共同学习核心-外围结构图及其核心分数。我们提供了几个合成和真实世界的数据集上的数值实验结果,以证明所开发的模型和算法的有效性。
2022-10-04 cs.LG
SANGEA: Scalable and Attributed Network Generation
Euranova(Euranova公司)
针对合成图生成器难以扩展到大型图的问题,本文提出SANGEA框架,通过社区划分、分社区训练与重连生成大型带属性图,并验证其相似性、下游效用与隐私表现。
2023-09-27 cs.LG
Demystifying Graph Convolution with a Simple Concatenation
Mississippi State University(密西西比州立大学)
图卷积(GConv)是一种广泛使用的技术,已被证明对图学习应用非常有效,最值得注意的是节点分类。另一方面,许多基于GConv的模型没有量化图拓扑和节点特征对性能的影响,甚至被一些不考虑图结构或节点属性的模型超越。我们量化了图拓扑、节点特征和标签之间的信息重叠,以确定图卷积在节点分类任务中的表示能力。在这项工作中,我们首先使用方差分析确定图卷积特征的线性可分性。互信息用于更好地理解图拓扑、节点特征和标签之间可能的非线性关系。我们的理论分析表明,一个简单而有效的图操作,连接图的拓扑结构和节点属性始终优于传统的图卷积,特别是在异质性的情况下。利用合成数据集和真实世界基准的广泛实证研究表明,图拼接是图卷积的一种简单但更灵活的替代方案。
2022-07-18 cs.LG
Feature-Enhanced Graph Neural Networks for Classification of Synthetic Graph Generative Models: A Benchmarking Study
Abertay University(阿伯塔伊大学)
本文提出了一种结合图神经网络与人工设计图论特征的方法,用于合成图生成模型的分类任务,发现GraphSAGE和GTN在分类性能上表现最佳。
2025-12-20 cs.LG
An Efficient and Scalable Graph Condensation with Structure-Preserving
Southwest University(西南大学)
提出一种解耦节点压缩与图结构生成的保结构图压缩方法(SP-ESGC),通过热核特征传播和混合聚类策略实现高效图压缩,并利用预训练边预测器生成可迁移的结构模式,在保持高计算效率的同时提升跨GNN架构的泛化能力。
2026-05-29 cs.LG
Adaptive Universal Generalized PageRank Graph Neural Network
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学)
在许多重要的图形数据处理应用中,所获取的信息包括节点特征和图形拓扑的观察。图神经网络(GNN)旨在利用这两种证据来源,但它们并没有最佳地权衡其效用,并以一种通用的方式整合它们。这里,普适性指的是对同质性或异质性图假设的独立性。我们通过引入一种新的广义PageRank(GPR)GNN架构来解决这些问题,该架构自适应地学习GPR权重,以便联合优化节点特征和拓扑信息抽取,而不管节点标签是同性还是异性。学习的GPR权重自动调整到节点标签模式,与初始化的类型无关,从而保证了通常难以处理的标签模式的良好学习性能。此外,它们允许避免特征过度平滑,这是一个使特征信息无差别的过程,而不需要网络是浅的。我们对GPR-GNN方法的理论分析是由所谓的上下文随机块模型生成的新的合成基准数据集促进的。我们还比较了我们的GNN架构的性能与几个国家的最先进的GNN的节点分类问题,使用著名的基准homophilic和heterophilic数据集。结果表明,GPR-GNN提供了显着的性能改善相比,现有的技术在合成和基准数据。
2021-10-26 cs.LG stat.ML
GraphK: Variable-Size Graph Generation with Efficient Edge Construction
Ataturk University(阿塔图尔克大学);Istanbul Technical University(伊斯坦布尔理工大学);Memorial University(纪念大学)
该研究提出新型图生成框架GraphK,通过编码器-采样器-解码器结构及KDTree边预测实现可变大小图生成,在合成与真实数据集上性能优于现有方法。
2026-08-20 cs.LG
Embedding Node Structural Role Identity into Hyperbolic Space
Dartmouth College(达特茅斯学院);Stony Brook University(石溪大学);Jefferies Financial Group LLC(杰富瑞金融集团有限责任公司)
最近,人们对在双曲空间中嵌入网络很感兴趣,因为双曲空间已经被证明在捕获图/网络结构方面工作得很好,因为它可以自然地反映复杂网络的一些属性。然而,双曲空间中网络嵌入的研究主要集中在微观节点嵌入上。在这项工作中,我们是第一个提出了一个框架,嵌入到双曲空间节点的结构角色。我们的框架扩展了struct 2 vec,一个著名的结构角色保持嵌入方法,将其移动到一个双曲面模型。我们在四个真实世界和一个合成网络上评估了我们的方法。我们的研究结果表明,双曲空间是更有效的学习比欧几里得空间的节点的结构作用的潜在表示。
2020-11-03 cs.LG cs.SI
Neural Topological Ordering for Computation Graphs
Qualcomm AI Research(高通人工智能研究院);Google LLC(谷歌有限责任公司);University of Amsterdam(阿姆斯特丹大学)
最近的工作机器学习的组合优化已经表明,基于学习的方法可以优于探试法在速度和性能方面。在本文中,我们考虑的问题,找到一个最佳的拓扑顺序上的有向无环图的内存最小化的问题,在编译器中出现的焦点。我们提出了一个端到端的机器学习为基础的方法,使用编码器-解码器框架的拓扑排序。我们的编码器是一种新的注意力为基础的图神经网络架构称为\emph{Topoformer},它使用不同的拓扑转换的DAG的消息传递。由编码器产生的节点嵌入被转换成节点优先级,其被解码器用于生成拓扑顺序上的概率分布。我们训练我们的模型的数据集的综合生成的图形称为分层图。我们表明,我们的模型优于,或与几个拓扑排序基线,同时显着更快的合成图与多达2k个节点。我们还训练和测试我们的模型上的一组现实世界的计算图,显示性能的改善。
2022-10-07 cs.LG
Commute-Time-Optimised Graphs for GNNs
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
针对带专家先验的图重连问题,本文提出两种纳入节点对交互先验、优化特权节点对通勤时间的定制方法,并在合成数据集和真实引文图上验证其效果。
2024-09-05 cs.LG cs.SI
Online Centralized Non-parametric Change-point Detection via Graph-based Likelihood-ratio Estimation
Centre Borelli, ENS Paris-Saclay, Université Paris-Saclay(巴黎萨克雷大学巴黎萨克雷高等师范学院博雷利中心)
考虑图中的每个节点都要生成一个数据流,该数据流是同步的,并且可以近实时地观察到。在变化点$τ$,在节点$C$的子集处发生变化,这影响其相关联的节点流的概率分布。在本文中,我们提出了一种新的基于核的方法来检测$τ$和本地化$C$,基于直接估计的似然比之间的变化和变化前的节点流的分布。我们的主要工作假设是图上的似然比估计的平滑性,即期望连接的节点具有相似的似然比。所提出的方法的质量证明了广泛的实验合成的情况下。
2023-01-12 cs.LG stat.ML
Scalable Graph Neural Network-based framework for identifying critical nodes and links in Complex Networks
Kansas State University(堪萨斯州立大学);Columbia University(哥伦比亚大学)
识别图中的关键节点和链接是一项至关重要的任务。这些节点/链路通常表示在系统性能中起关键作用的关键元件/通信链路。然而,文献中关于识别关键节点/链接的大多数方法都是基于迭代方法,该方法一次探索图中的每个节点/链接,对图中的所有节点/链接重复。这种方法具有高计算复杂性,并且所得到的分析也是网络特定的。为了克服这些挑战,本文提出了一个可扩展的和通用的图神经网络(GNN)为基础的框架,以确定在大型复杂网络中的关键节点/链路。该框架定义了一个基于GNN的模型,该模型学习节点/链路的一个小的代表性子集上的节点/链路关键度得分。可以采用适当训练的模型来预测大型图中看不见的节点/链接的得分,从而识别最关键的节点/链接。该框架的可扩展性通过预测大规模合成网络和真实网络中的节点/链接得分来证明。所提出的方法是相当准确的近似的临界分数,并提供了一个显着的计算优势,传统的方法。
2021-05-10 cs.LG cs.SI
Beyond Real-world Benchmark Datasets: An Empirical Study of Node Classification with GNNs
Osaka University(大阪大学);TDAI Lab Co., Ltd.(TDAI实验室有限公司)
图神经网络(GNNs)在节点分类任务上取得了巨大的成功。尽管人们对开发和评估GNN有广泛的兴趣,但它们是用有限的基准数据集进行评估的。因此,GNN的现有评估缺乏对图的各种特征的细粒度分析。出于这一动机,我们进行了广泛的实验与合成图生成器,可以生成具有控制特性的细粒度分析的图形。我们的实证研究从具有节点类标签的真实世界图的四个主要特征中阐明了GNN的优点和缺点,即,1)类大小分布(平衡对不平衡),2)类之间的边连接比例(同性对异性),3)属性值(有偏对随机),以及4)图大小(小对大)。此外,为了促进未来对GNN的研究,我们公开发布了我们的代码库,允许用户使用各种图表评估各种GNN。我们希望这项工作为未来的研究提供有趣的见解。
2022-12-28 cs.LG
Learning Sparse Graphs via Majorization-Minimization for Smooth Node Signals
在这封信中,我们提出了一个算法,学习稀疏加权图估计其邻接矩阵的假设下,观察到的信号变化平滑的节点图。该算法是基于优化最小化(MM)的原则,其中我们首先获得一个紧代理函数的图学习目标,然后解决由此产生的代理问题,它有一个简单的封闭形式的解决方案。所提出的算法不需要调整任何超参数,并且具有在迭代过程中消除无效变量的理想特性-这可以帮助加速算法。使用合成和真实世界(脑网络)数据进行的数值模拟表明,该算法收敛速度更快,在平均迭代次数方面,比文献中现有的几种方法。
2022-02-06 cs.LG eess.SP
Synthetic Graph Generation to Benchmark Graph Learning
University of Bonn(波恩大学);The University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院)
图学习算法在许多图分析任务上已经达到了最先进的性能,例如节点分类、链接预测和聚类。然而,追踪该领域的迅速发展已经变得很难。一个原因是由于在实践中用于对图学习算法的性能进行基准测试的数据集数量非常少。这个令人震惊的小样本量(~10)只允许对问题进行有限的科学洞察。在这项工作中,我们的目标是解决这一缺陷。我们建议生成合成图,并研究在受控情况下的图学习算法的行为。我们开发了一个功能齐全的合成图生成器,可以对不同的模型进行深入检查。我们认为,合成图生成允许算法的彻底调查,并提供了更多的见解比过拟合三个引文数据集。在案例研究中,我们展示了我们的框架如何提供对无监督和监督图神经网络模型的洞察。
2022-04-04 cs.LG cs.SI
Simplified Graph Convolution with Heterophily
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
最近的工作表明,一种简单、快速的方法,称为简单图卷积(SGC)(Wu et al.,2019),它避开了深度学习,在常见的图机器学习基准测试中与图卷积网络(GCN)(Kipf & Welling,2017)等深度方法具有竞争力。图形数据在SGC中的使用隐含地假设了同质性的共同但不通用的图形特征,其中节点链接到相似的节点。在这里,我们证实了SGC确实对嗜异性(即,非homophilous)图,通过对合成和真实世界数据集的实验。我们提出了自适应简单图卷积(ASGC),我们表明,它可以适应homophilous和heterophilous图结构。像SGC一样,ASGC不是一个深度模型,因此是快速的,可扩展的和可解释的;此外,我们可以证明自然合成数据模型的性能保证。从经验上讲,ASGC通常在现实世界数据集的基准上与最近的深度模型在节点分类方面具有竞争力。SGC论文质疑图神经网络的复杂性是否适用于涉及同构网络的常见图问题;我们的研究结果同样表明,虽然深度学习通常实现最高性能,但异构结构本身并不需要这些更复杂的方法。
2022-06-03 cs.LG cs.SI
On Graph Neural Network Fairness in the Presence of Heterophilous Neighborhoods
University of Michigan(密歇根大学);Lawrence Livermore National Lab(劳伦斯利弗莫尔国家实验室);RWTH Aachen University(亚琛工业大学)
我们研究了图神经网络(GNNs)的节点分类任务,并建立了由统计奇偶性和平等机会衡量的组公平性与局部非线性之间的联系,即,链接节点具有相似属性的趋势。这种非对称性通常是由同质性引起的,即具有相似属性的节点连接的趋势。在社交网络中,系统性因素迫使个体进入具有共同敏感属性的社区,因此,同质性是很常见的。通过合成图,我们研究了本地发生的同质性和公平预测之间的相互作用,发现并不是所有的节点邻域在这方面都是平等的-由一类敏感属性主导的邻域往往很难获得公平待遇,特别是在发散的本地类和敏感属性同质性的情况下。在确定局部同质性和公平性之间存在关系后,我们研究了不公平性问题是否与所应用的GNN模型的设计有关。我们表明,通过采用能够处理dispertative组标签的heterophilous GNN设计,在真实和合成数据集中,局部heterophilous邻域中的组公平性可以比homophilous设计提高高达25%。
2022-11-14 cs.CY cs.LG cs.SI
Joint Learning of Hierarchical Community Structure and Node Representations: An Unsupervised Approach
University of Minnesota, Twin Cities(明尼苏达大学双城分校);Intel Labs(英特尔实验室)
图表示学习已经证明了在诸如跨一系列域的链接预测和节点分类等任务中的改进性能。研究表明,许多自然图可以组织在分层社区中,从而导致使用这些社区来提高节点表示质量的方法。然而,这些方法没有利用学习的表示来提高发现的社区的质量,并建立表示学习和社区发现的迭代和联合优化。在这项工作中,我们提出了Mazi,一个算法,共同学习的层次社区结构和节点表示的图形在一个无监督的方式。为了说明节点表示中的结构,Mazi在层次结构的每个级别上生成节点表示,并利用它们来影响原始图的节点表示。此外,在每一级的社区发现,同时最大化的模块性度量和最小化之间的距离表示的节点和它的社区。使用多标签节点分类和链接预测任务,我们评估我们的方法在各种合成和现实世界的图形,并证明,Mazi优于其他层次和非层次的方法。
2022-01-22 cs.LG cs.SI
Node4All: Learning Node Representation Beyond Datasets
KAIST(韩国科学技术院);Seoul National University(首尔国立大学)
研究针对多数节点表示学习方法依赖特定数据集训练的问题,提出Node4All,基于通道图变换器和自监督学习构建,能跨任意图数据集泛化,在节点分类任务中表现出色,实现可复用性且实践效果好。
2026-07-21 cs.LG cs.SI
Hypernetwork Dismantling via Deep Reinforcement Learning
Anhui University(安徽大学);Swinburne University of Technology(斯威本科技大学)
网络拆除旨在通过删除一组最佳节点来降低网络的连通性。它已被广泛应用于许多现实世界的应用,如流行病控制和谣言遏制。然而,传统的方法通常集中在简单的网络建模,只有成对的相互作用,而超网络建模的组明智的相互作用是无处不在的和关键的。在这项工作中,我们制定了超网络拆除问题的节点序列决策问题,并提出了一个深度强化学习(DRL)为基础的超网络拆除框架。此外,我们设计了一种新的归纳超网络嵌入方法,以确保可移植到各种现实世界的超网络。我们的框架首先生成小规模的合成超网络,并将节点和超网络嵌入到一个低维向量空间中,分别表示DRL中的动作和状态空间。然后由智能体在这些合成超网络上进行试错拆解任务,不断优化拆解策略。最后,将优化后的策略应用于现实世界的超网络拆解任务。五个真实世界的超网络上的实验结果证明了我们提出的框架的有效性。
2022-03-08 cs.LG cs.SY eess.SY
The Effects of Randomness on the Stability of Node Embeddings
RWTH Aachen University(亚琛工业大学)
本文系统评估了随机性对五种最先进节点嵌入算法稳定性的影响,发现嵌入空间几何特性和节点实际分类结果存在显著不稳定性,强调了使用节点嵌入时需考虑不稳定性效应。
2020-05-20 cs.LG cs.SI stat.ML
GRAND: Graph Release with Assured Node Differential Privacy
University of Chicago(芝加哥大学);University of Minnesota, Twin Cities(明尼苏达大学双城分校)
GRAND是一种首个在节点层面保障差分隐私并保持网络结构属性的图谱释放机制,通过广泛实验验证了其有效性。
2026-01-03 cs.LG math.ST stat.ME
Bayesian Detection of Mesoscale Structures in Pathway Data on Graphs
University of Zurich(苏黎世大学)
中尺度结构是复杂系统的抽象和分析的一个组成部分。它们揭示了网络中节点的功能,并促进了我们对网络动力学的理解。例如,它们可以表示社交或引用网络中的社区,企业交互中的角色,或交通网络中的核心-外围结构。我们通常在相互作用独立的假设下探测中尺度结构。然而,在许多情况下,相互作用以特定的顺序发生,使这一假设无效。这种模式出现在路径数据中;为了捕捉它们,我们必须使用高阶网络模型来建模相互作用之间的依赖关系。然而,高阶网络中的中尺度结构的检测仍然是研究不足。在这项工作中,我们推导出一个贝叶斯方法,同时模型组中的节点的最佳分区和组之间的最佳高阶网络动态。在合成数据中,我们证明了我们的方法可以恢复标准的基于邻近度的社区和基于角色的节点分组。在合成和真实世界的数据中,我们表明它可以与基线技术竞争,同时还提供了可解释的网络动态抽象。
2023-01-16 cs.LG stat.ME stat.ML
Learning Expanding Graphs for Signal Interpolation
Delft University of Technology(代尔夫特理工大学)
在图上执行信号处理需要了解底层的固定拓扑。然而,随着时间的推移,随着新节点的出现,图的大小通常会增加,其连接性通常是未知的;因此,在冷启动推荐等应用中,下游任务更具挑战性。我们解决这样的挑战,信号插值在传入节点盲目的拓扑连接的特定节点。具体来说,我们提出了一个随机附件模型参数化的附件概率和边权重的传入节点。我们估计这些参数的数据驱动的方式,仅依赖于早期传入节点的连接行为,目标是内插信号值。我们研究手头的问题的非凸性,推导出条件时,它可以边际convexified,并提出了一个交替的预测下降的方法之间的估计附件的概率和边缘的权重。冷启动协同过滤的合成和真实数据处理的数值实验证实了我们的研究结果。
2022-03-15 cs.LG eess.SP
Semi-Supervised Node Classification by Graph Convolutional Networks and Extracted Side Information
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
存在于集群中的图的节点更有可能彼此连接,而不是与图中的其他节点连接。然后揭示一些节点的一些信息,图的结构(图边)提供了了解其他节点更多信息的机会。从这个角度来看,本文重温了节点分类任务,在半监督的情况下,图卷积网络(GCN)。我们的目标是从围绕显示的节点标签循环的信息流中受益。本文的贡献是双重的。首先,本文提供了一种从图实现中提取边信息的方法。然后提出了一种新的GCN结构,将传统GCN的输出与提取的边信息相结合。本文的另一个贡献是相关的非图观察(独立的边信息),存在于旁边的图实现在许多应用程序。实际上,所提取的边信息可以被独立于图结构的边信息序列替换。对于这两种情况下,在合成和真实世界的数据集上的实验表明,与现有的最先进的节点分类任务的方法相比,所提出的模型实现了更高的预测精度。
2020-11-13 cs.LG cs.SI stat.ML
Predicting Diffusion Reach Probabilities via Representation Learning on Social Networks
Boğaziçi University(博阿齐奇大学)
网络上两个节点之间的扩散到达概率被定义为从一个节点发起的级联到达另一个节点的概率。无限数量的级联将使得能够计算任何两个节点之间的真实扩散到达概率。然而,级联的数量有限,人们通常只能使用所有可用级联中的一小部分。在这项工作中,我们解决的问题,估计扩散到达概率只给出了有限数量的级联和部分信息的基础网络结构。我们提出的策略采用节点表示学习来生成节点嵌入并将其馈送到机器学习算法中,以创建预测扩散到达概率的模型。我们提供了实验分析,在两个现实世界的社交网络上使用综合生成的级联。计算结果表明,在叶栅所占比例较小的情况下,该方法优于现有叶栅计算值。
2019-01-12 cs.LG cs.SI stat.ML
Enhancing ML model accuracy for Digital VLSI circuits using diffusion models: A study on synthetic data generation
IIIT(印度信息技术学院)
本研究利用扩散模型为数字VLSI电路生成合成数据,以增强机器学习模型在性能评估、设计和测试中的准确性,验证了数据增强的有效性。
2023-10-15 cs.AR cs.LG
Interpretable Deep Graph Generation with Node-Edge Co-Disentanglement
George Mason University(乔治梅森大学);Syracuse University(雪城大学);IBM Research AI(IBM研究院人工智能部门);Case Western Reserve University(凯斯西储大学)
解纠缠表示学习最近吸引了大量的关注,特别是在图像表示学习领域。然而,学习图背后的解纠缠表示仍然在很大程度上未被探索,特别是对于具有节点和边特征的属性图。用于图生成的解纠缠学习具有实质性的新挑战,包括1)缺乏用于联合解码节点和边属性的图解卷积操作;以及2)难以在分别影响i)仅节点、ii)仅边以及iii)它们之间的联合模式的潜在因素之间实施解纠缠。为了解决这些挑战,我们提出了一个新的解纠缠增强框架,用于属性图的深度生成模型。特别是,提出了一种新的变分目标,以解开上述三种类型的潜在因素,与新的架构,节点和边缘解卷积。此外,在每一种类型中,个体因子解纠缠被进一步增强,这被证明是对现有图像框架的概括。在合成数据集和真实数据集上的定性和定量实验证明了该模型及其扩展的有效性。
2020-06-09 cs.LG stat.ML