GRATIS: Deep Learning Graph Representation with Task-specific Topology and Multi-dimensional Edge Features
University of Cambridge(剑桥大学);Baidu Inc(百度公司);Shenzhen University(深圳大学);Middle East Technical University(中东技术大学);University of Birmingham(伯明翰大学)
Graph对于表示各种类型的真实世界数据非常强大。图的拓扑结构(边的存在)和边的特征决定了图中顶点之间的消息传递机制。虽然大多数现有方法仅手动定义单值边来描述一对顶点之间的连接性或关联强度,但这种手动定义的拓扑和单值边特征可能会忽略任务特定的和关键的关系线索。在本文中,我们提出了第一个通用的图表示学习框架(称为GRATIS),它可以生成一个强大的图表示与任务特定的拓扑结构和任务特定的多维边缘功能,从任何任意输入。为了学习每个边的存在和多维特征,我们的框架考虑了相应的顶点对及其全局上下文信息,使生成的图表示具有针对不同下游任务的全局最优消息传递机制。对11个图和非图数据集的各种图分析任务的原则性调查结果表明,我们的GRATIS不仅可以大大增强预定义的图,而且还可以学习非图数据的强大图表示,所有任务的性能都有明显的提高。特别是,学习的拓扑结构和多维边缘特征为图形分析任务提供了与任务相关的补充线索。我们的框架是有效的,健壮的和灵活的,是一个即插即用的模块,可以与不同的骨干和图神经网络(GNN)相结合,从各种图形和非图形数据生成特定于任务的图形表示。我们的代码可在https://github.com/SSYSteve/Learning-Graph-Representation-with-Task-specific-Topology-and-Multi-dimensional-Edge-Fe…
2022-11-19 cs.LG
Topology-Aware Gaussian Graph Repair for Robust Graph Neural Networks
Computing Science/Financial Computing and Data Analytics Group, Tampere University(计算科学/金融计算与数据分析组,塔尔皮奥大学)
提出拓扑感知高斯修复(TAGR)框架,通过自适应高斯核构建稀疏特征邻域图并结合拓扑感知残差校正,在不改变网络架构的情况下提升图神经网络在噪声边和缺失边场景下的鲁棒性。
2026-06-02 cs.LG cs.SI
Graph Signal Processing -- Part III: Machine Learning on Graphs, from Graph Topology to Applications
University of Montenegro(黑山大学);Imperial College London(帝国理工学院)
图上的许多现代数据分析应用程序在图拓扑结构先验未知的域上操作,因此其确定成为问题定义的一部分,而不是作为帮助问题解决方案的先验知识。本专题的第三部分首先讨论学习图拓扑的方法,从问题的物理学已经表明可能的拓扑的情况,到从数据中学习图拓扑的最一般情况。一个特别强调的是基于观察到的数据的相关性和精度矩阵的图形拓扑定义,结合额外的先验知识和结构条件,如图连接的平滑性或稀疏性。为了学习稀疏图(具有少量边),采用最小绝对收缩和选择算子(称为LASSO)及其特定于图的变体(图形LASSO)。为了完整起见,LASSO的两个变体都是以直观的方式导出的,并进行了解释。通过几个物理上定义良好的图形,如电路,线性传热,社会和计算机网络,弹簧质量系统的例子,提供了一个深入的阐述的图形拓扑学习范式。随着许多图神经网络(GNN)和卷积图网络(GCN)的出现,我们还从图信号滤波的角度回顾了GNN和GCN的主要趋势。张量表示的格子结构的图形被认为是下一个,它表明,张量(多维数据数组)是一类特殊的图形信号,从而图形顶点驻留在一个高维的规则的晶格结构。这部分专题论文的结论是两个新兴的应用在金融数据处理和地下交通网络建模。
2020-01-02 cs.IT cs.LG eess.SP
Characterizing the Influence of Topology on Graph Learning Tasks
Shanghai Jiao Tong University(上海交通大学);Huawei Technologies(华为技术有限公司)
针对图拓扑对下游学习任务性能的影响机制尚不明确的问题,本文提出度量指标TopoInf,通过衡量拓扑信息与任务目标的兼容性表征拓扑影响,经分析与实验验证其有效性并可用于提升图学习效果。
2024-04-11 cs.AI cs.LG
Maximizing Mutual Information Across Feature and Topology Views for Learning Graph Representations
Xidian University(西安电子科技大学)
最近,最大化互信息已成为无监督图表示学习的一种强有力的方法。现有的方法通常有效地从拓扑视图捕获信息,但忽略了特征视图。为了规避这个问题,我们提出了一种新的方法,利用跨功能和拓扑视图的互信息最大化。具体来说,我们首先利用多视图表示学习模块,以更好地捕捉局部和全局信息内容的功能和拓扑视图上的图形。为了对特征和拓扑空间共享的信息进行建模,我们开发了一个通用的表示学习模块,使用互信息最大化和重建损失最小化。为了明确鼓励来自同一视图的图表示之间的多样性,我们还引入了不一致正则化来扩大来自同一视图的表示之间的距离。在合成数据集和真实数据集上的实验表明了特征视图和拓扑视图集成的有效性。特别是,与以前的监督方法相比,我们提出的方法可以实现类似的,甚至更好的性能下的无监督表示和线性评价协议。
2022-10-11 cs.LG stat.ML
Are GNNs doomed by the topology of their input graph?
NYU Tandon School of Engineering(纽约大学坦登工程学院)
本研究探讨图神经网络是否受限于输入图拓扑,引入k-跳相似性概念,揭示局部拓扑与消息传递的相互作用可导致有效学习或过平滑,并通过实验验证其实际影响。
2025-02-25 cs.LG stat.ML
FMP: Toward Fair Graph Message Passing against Topology Bias
Texas A&M University(得克萨斯农工大学);Rice University(莱斯大学)
尽管最近在通过图神经网络(GNN)中的正则化、对抗性去偏置和对比学习来实现公平表示和预测方面取得了进展,但工作机制(即,消息传递)在引起不公平问题的GNN背后仍然是未知的。在这项工作中,我们从理论和实验上证明,代表性的聚集在消息传递方案中积累的偏见,由于拓扑结构引起的拓扑结构的偏见在节点表示。因此,提出了一种\textsf{F}空中\textsf{M}消息\textsf{P}发送(FMP)方案,以聚合来自邻居的有用信息,但在考虑图平滑性和公平性目标的统一框架中最小化拓扑偏差的影响。所提出的FMP是有效的,透明的,并与反向传播训练兼容。为了提高算法的效率,还采用了梯度计算加速方法。节点分类任务的实验表明,所提出的FMP优于国家的最先进的基线,有效地和有效地减轻偏见的三个现实世界的数据集。
2022-02-08 cs.LG
Expediting Distributed DNN Training with Device Topology-Aware Graph Deployment
本文介绍了TAG,这是一个自动系统,用于导出优化的DNN训练图及其部署到任何设备拓扑结构上,以加快设备和拓扑异构ML集群的训练。我们新颖地将DNN计算图和设备拓扑图作为输入组合到图神经网络(GNN)中,并将GNN与基于搜索的方法相结合,以快速识别优化的分布式训练策略。为了减少异构集群中的通信,我们进一步探索了无损梯度压缩技术,并解决了一个组合优化问题,以自动应用该技术的训练时间最小化。我们使用各种具有代表性的DNN模型和设备拓扑来评估TAG,结果表明,与现有方案相比,它可以实现高达4.56倍的训练速度。TAG可以为看不见的DNN模型和看不见的设备拓扑生成有效的部署策略,而无需进行大量的微调。
2023-02-13 cs.DC cs.LG
GraphTOP: Graph Topology-Oriented Prompting for Graph Neural Networks
University of Virginia(弗吉尼亚大学);University of Connecticut Storrs(康涅狄格大学斯特劳斯分校)
本文提出GraphTOP框架,通过将图提示应用于拓扑结构(边重连)而非特征,有效适配预训练GNN,在多个数据集上超越基线。
2025-10-25 cs.AI cs.LG
Probing Graph Neural Network Activation Patterns Through Graph Topology
Department of Computer Science, University of Geneva, Geneva, Switzerland(日内瓦大学计算机科学系);Research Institute for Statistics and Information Science, Geneva, Switzerland(日内瓦统计与信息科学研究所);School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院)
本文通过分析图神经网络的激活模式,揭示了图拓扑与学习偏好之间的关系,发现全局注意力机制加剧了拓扑瓶颈并增加了负曲率的出现。
2026-02-24 cs.AI cs.LG
Designing the Topology of Graph Neural Networks: A Novel Feature Fusion Perspective
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Paradigm. Inc.(第四范式有限公司);Lenovo(联想)
近年来,图神经网络(GNN)在各种实际应用中表现出了卓越的性能。为了提高模型的容量,除了设计聚集操作外,GNN的拓扑结构设计也很重要。一般来说,有两种主流的GNN拓扑设计方式。第一种是堆叠聚合操作以获得更高级别的功能,但随着网络的深入,很容易导致性能下降。第二,在每一层中使用多个聚合操作,这提供了足够的和独立的特征提取阶段的本地邻居,但昂贵的获得更高级别的信息。为了享受这两种方式的好处,同时减轻相应的不足,我们学习设计的GNN的拓扑结构在一个新的特征融合的角度,这被称为F $^2$ GNN。具体而言,我们提供了一个特征融合的角度来设计GNN拓扑结构,并提出了一个新的框架,统一现有的拓扑结构设计与特征选择和融合策略。在此基础上提出了一种神经结构搜索方法,该方法包含一组搜索空间中的选择和融合操作以及一种改进的可微搜索算法。在八个真实数据集上的性能提升证明了F $^2$ GNN的有效性。实验结果表明,F $^2$ GNN通过自适应地利用不同层次的特征,在改善现有GNN拓扑设计方法不足的同时,能够有效地提高模型容量,特别是缓解过度平滑问题.
2022-02-01 cs.LG
Graph Topology Information Enhanced Heterogeneous Graph Representation Learning
Nanyang Technological University(南洋理工大学);Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly(南洋理工大学-不列颠哥伦比亚大学积极老龄化联合卓越研究中心)
本文提出ToGRL框架,通过引入任务相关的潜在拓扑信息提升异构图表示学习效果,采用两阶段方法优化邻接矩阵和节点表示,减少内存消耗并增强下游任务适应性。
2026-04-07 cs.IR cs.LG
Topology-aware Graph Neural Networks for Learning Feasible and Adaptive ac-OPF Solutions
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
最优潮流问题的求解是保证电网实时运行的有效性和可靠性的基础性工作。提出了一种新的拓扑信息图神经网络(GNN)方法,用于预测实时交流最优潮流问题的最优解。为了将电网拓扑结构的NN模型,建议GNN-for-OPF框架创新地利用位置边际价格和电压幅度的局部属性。此外,我们开发了一个物理感知(交流)流可行性正则化方法一般OPF学习。我们提出的设计的优点包括降低模型的复杂性,提高了泛化能力和可行性保证。通过对网格拓扑偶然性下图子空间稳定性的分析理解,我们表明所提出的GNN可以通过有效的再训练策略快速适应变化的网格拓扑。在不同规模的测试系统上进行的数值测试验证了我们提出的基于GNN的学习框架的预测精度、改进的流可行性和拓扑自适应能力。
2022-11-01 cs.LG cs.SY eess.SP
Resilient Temporal GCN for Smart Grid State Estimation Under Topology Inaccuracies
University of South Florida(南佛罗里达大学)
本文针对电力系统状态估计中拓扑信息不准确的问题,提出在时序图卷积网络中融入基于量测数据生成的知识图谱,并设计了两种架构变体,以提升模型在拓扑不确定性下的状态估计性能与弹性。
2024-10-21 cs.AI cs.LG eess.SP
Communication Topology Co-Design in Graph Recurrent Neural Network Based Distributed Control
University of Pennsylvania(宾夕法尼亚大学)
在设计大规模分布式控制器时,子控制器之间的信息共享约束(由互连它们的通信拓扑定义)与控制器本身一样重要。使用密集拓扑结构实现的控制器通常优于使用稀疏拓扑结构实现的控制器,但是还期望最小化控制器部署的成本。出于上述动机,我们介绍了一个紧凑但富有表现力的图形递归神经网络(GRNN)参数化的分布式控制器,非常适合分布式控制器和通信拓扑协同设计。我们提出的参数化具有本地和分布式架构,类似于以前的基于图神经网络(GNN)的参数化,同时进一步自然地允许分布式控制器和实现它所需的通信拓扑的联合优化。我们表明,分布式控制器/通信拓扑的协同设计任务可以构成为一个$\ell_1$ -正则化的经验风险最小化问题,可以有效地解决使用随机梯度方法。我们运行了大量的模拟来研究基于GRNN的分布式控制器的性能,并表明:(a)它们实现了与基于GNN的控制器相当的性能,同时具有更少的自由参数;(b)我们的方法允许有效地近似性能/通信密度权衡曲线。
2021-04-28 cs.LG cs.SY eess.SY
Position-aware Structure Learning for Graph Topology-imbalance by Relieving Under-reaching and Over-squashing
Beihang University(北京航空航天大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
拓扑不平衡是由标记节点的拓扑位置不均匀引起的特定于图的不平衡问题,它严重损害了GNN的性能。拓扑不平衡意味着什么以及如何衡量其对图学习的影响仍然没有得到充分的探索。在本文中,我们提供了一个新的理解的拓扑不平衡从全局来看的监管信息分布的不足和过度挤压,这促使两个定量指标作为测量。基于我们的分析,我们提出了一种新的位置感知图结构学习框架PASTEL,它直接优化了信息传播路径,从本质上解决了拓扑不平衡问题。我们的关键见解是提高同一类内节点的连通性,以获得更多的监督信息,从而缓解不足和过度挤压现象。具体来说,我们设计了一个基于锚点的位置编码机制,它更好地结合了相对拓扑位置,并通过最大化标签影响来增强类内归纳偏差。我们进一步提出了一个类的冲突措施作为边的权重,这有利于不同的节点类的分离。大量的实验证明了PASTEL在增强GNN在不同数据标注场景中的能力方面的优越潜力和适应性。
2022-08-17 cs.AI cs.LG
Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping
University of Pennsylvania(宾夕法尼亚大学);Lehigh University(理海大学);Army Research Laboratory(陆军研究实验室)
图神经网络(GNN)是利用图结构信息来对来自网络数据的表示进行建模的处理架构。尽管GNN取得了成功,但在有限的训练数据下,GNN的泛化性能不佳,称为过拟合。本文提出了拓扑自适应边缘丢弃(TADropEdge)方法作为一种自适应数据增强技术,以提高泛化性能和学习鲁棒GNN模型。我们首先明确分析随机边缘丢弃如何在训练期间增加数据多样性,同时指示i.i.d.边缘丢弃不考虑图形结构信息,并且可能导致噪声增强数据降低性能。为了克服这个问题,我们认为图的连通性作为捕捉图的拓扑结构的关键属性。TADropEdge将此因素纳入随机边丢弃中,使得边丢弃的子图保持与底层图相似的拓扑结构,从而产生更令人满意的数据增强。特别地,TADropEdge首先利用图谱为图边缘分配适当的权重,这表示它们对于建立图连通性的关键性。然后,它规范化的边缘权重和删除图形边缘自适应的基础上,他们的规范化的权重。除了提高泛化性能外,TADropEdge还降低了有效训练的方差,可以作为一种通用方法模块应用于不同的GNN模型。在真实数据集和人工数据集上的实验验证了该方法的有效性。
2021-06-05 cs.LG eess.SP
Detecting Topology Attacks against Graph Neural Networks
Nanjing University(南京大学);Alibaba Groups(阿里巴巴集团);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
图神经网络(GNNs)在实际应用中得到了广泛的应用,但最近的研究揭示了其在拓扑攻击中的脆弱性。为了解决这个问题,现有的努力主要致力于提高GNN的鲁棒性,而很少注意检测此类攻击。在这项工作中,我们研究的受害者节点检测问题下的拓扑攻击GNNs。我们的方法是建立在植根于GNN的内在消息传递性质的关键观察。也就是说,受害者节点的邻域往往具有两个竞争的组力,分别将节点分类结果推向原始标签和目标标签。基于这一观察,我们建议通过故意设计一个有效的测量每个节点的邻域方差来检测受害者节点。在四个真实数据集和五个现有拓扑攻击上的实验结果表明了该方法的有效性和效率。
2022-04-26 cs.GR cs.LG
Safeguarding Graph Neural Networks against Topology Inference Attacks
Stevens Institute of Technology(史蒂文斯理工学院);University of Connecticut(康涅狄格大学);East China Normal University(华东师范大学)
针对GNN拓扑隐私未被充分探索的问题,提出拓扑推理攻击(TIAs)揭示其脆弱性,进而设计双层优化的私有图重建(PGR)防御框架,有效减少拓扑泄漏且对模型准确性影响小。
2025-11-10 cs.CR cs.LG
A Deep Graph Neural Networks Architecture Design: From Global Pyramid-like Shrinkage Skeleton to Local Topology Link Rewiring
Shanghai Jiao Tong University(上海交通大学)
表达性在评估深度神经网络中起着基础性的作用,它与理解性能改进的极限密切相关。在本文中,我们提出了一个三管道的训练框架的基础上的关键表现力,包括全球模型收缩,权重进化,链接的权重重新布线。具体来说,我们提出了一个类似于骨架的骨架,以克服影响信息传输的鞍点。然后,我们分析了网络拓扑结构中的模块化(聚类)现象的原因,并使用它来重新布线潜在的错误加权链接。我们对节点分类进行了数值实验,结果证实了所提出的训练框架在快速收敛和对潜在错误加权链接的鲁棒性方面显着提高了性能。GNN的结构设计从动力学和拓扑空间两个方面验证了GNN的表达能力,为设计更高效的神经网络提供了指导。
2020-12-16 cs.AI cs.LG
CoATA: Effective Co-Augmentation of Topology and Attribute for Graph Neural Networks
College of Computer and Information Science, Southwest University(计算机与信息科学学院,西南大学)
针对图神经网络中现实图数据的噪声与不完整问题,提出双通道框架CoATA,通过传播结构信号去噪属性、投影构建二部图细化结构,并利用对比学习实现拓扑与属性的协同增强,在七个基准数据集上优于十一种基线方法。
2025-06-27 cs.AI cs.LG
Understanding the Representation Power of Graph Neural Networks in Learning Graph Topology
Northeastern University(东北大学);Kellogg School of Management(凯洛格管理学院);Northwestern University(西北大学);Dana Farber Cancer Institute(达纳-法伯癌症研究所);Brigham and Women’s Hospital(布莱根妇女医院);Harvard Medical School(哈佛医学院);Central European University(中欧大学);Khoury College of Computer Sciences(胡里计算机科学学院)
为了加深对图神经网络的理解,我们通过图矩的观察镜来研究图卷积网络(GCN)的表示能力.我们发现GCN在学习图矩方面有相当大的限制。如果没有仔细的设计,GCN即使有多层和非线性激活函数也会失败。我们从理论上分析了GCN的表现力,得出了一个模块化的GCN设计,使用不同的传播规则与剩余连接可以显着提高GCN的性能。我们证明,这样的模块化设计是能够区分图从不同的图形生成模型,令人惊讶的小图,一个臭名昭著的困难的问题,在网络科学。我们的研究表明,深度比宽度更有影响力,更深的GCN更有能力学习高阶图矩。此外,将GCN模块与不同的传播规则相结合对GCN的表示能力至关重要。
2019-10-31 cs.LG physics.data-an stat.ML
Graph Neural Networks for Transmission Grid Topology Control: Busbar Information Asymmetry and Heterogeneous Representations
Radboud University(拉德博德大学);TenneT TSO(TenneT 运营商)
针对输电网拓扑控制中同质图表示存在的母线信息不对称问题,提出异质图表示方法,实验证明异质GNN在分布内配置下表现最优,且两类GNN泛化能力均优于FCNN基线。
2025-10-03 cs.AI cs.LG stat.ML
Hyperspaces and Function Graphs in Digital Topology
我们将超空间和函数空间的研究从经典拓扑学转向数字拓扑学。我们定义了数字超空间和数字函数图,并研究了它们之间的关系和图形性质。
2023-02-06 math.GT
Galois covers of graphs and embedded topology of plane curves
分裂数是判别平面曲线嵌入拓扑的有效方法,它不取决于平面曲线补曲线的基本群。本文给出了分裂数的一个推广,称之为分裂图。利用分裂图的方法,对由一条平滑曲线和三条不共点直线组成的平面曲线的嵌入拓扑进行了分类,称之为Artal排列。
2018-04-19 math.AG math.GT
Open-Closed String Topology via Fat Graphs
给定一个光滑闭流形M,它有一个闭子流形族{L_i},我们考虑自由闭路空间LM和开弦空间PM(L_i,L_j)(路径g:[0,1]->M,其中g(0)在L_i中,g(1)在L_j中).我们构造了一个在族(h_*(LM),h_*(PM(L_i,L_j)上的开闭TQFT,它推广了h_*(LM)上的已知弦拓扑TQFT.这里h_* 是支持M和L_i定向的乘法广义同调论。为了构造操作,我们引入了开闭胖图的概念,将胖图推广到开闭设置。
2006-06-20 math.AT math.GT
Morse theory, graphs, and string topology
在这些讲义中,我们讨论了一个机构的工作,其中莫尔斯理论是用来构建各种同调和上同调运算。在经典的设置代数拓扑,这是通过构建一个模空间的图形流,使用同伦理论的方法来构建一个虚拟的基本类,并评估上同调类这个基本类。通过使用类似的结构的基础上“脂肪”或带状图,我们描述了如何构建弦拓扑操作的闭路空间的流形,使用莫尔斯理论技术。最后,我们讨论了如何将这些弦拓扑运算与余切丛中J -全纯曲线的计数联系起来。最后,我们推测的关系的绝对和相对Gromov-Witten理论的余切丛,和开闭弦拓扑的基础流形。
2004-11-11 math.AT math.GT math.SG
Topology of two-connected graphs and homology of spaces of knots
本文基于位形空间和二连通图的拓扑结构,提出了一种计算$\R^n$中结点空间的上同调群的新方法$n \ge 3$,并计算了所有这类$\R^3$阶.更一般地说,对于任何有限阶的节点空间的上同调类,我们定义它的主象征,它位于某个有限维配置空间的上同调群中,并以更小滤子的类为模来刻画我们的类。
1997-07-01 math.AT math.GT
Topology and chromatic number of random $ε$-distance graphs on spheres
给定$0<α\leqπ$,$ε>0$和$n$,我们通过画$d$ i.i.d.当$u$和$v$之间的测地线距离为$ε$ -接近$α$时,顶点和边$u {\sim} v$的均匀随机点。该模型推广了球面上的距离图,也推广了随机Borsuk图。已知拓扑工具可以给出Borsuk图的色数的紧界。我们现在研究这些拓扑不变量之一的效率,即Lóvasz的邻域复形的连通性,以限制该模型的随机图的色数。我们表明,在一般情况下,这个界表现不好,但是,它仍然产生一些有用的界限尺寸$d=1$和2。
2022-07-28 math.CO math.GT