Characterizing Graph Datasets for Node Classification: Homophily-Heterophily Dichotomy and Beyond
HSE University(高等经济大学);Yandex Research(Yandex研究院);Skoltech(斯科尔科沃科学技术研究院)
本文针对节点分类图数据集中同质性度量不可比的问题,形式化理想性质并提出调整同质性与标签信息量LI,证明其性质且实验显示LI更能预测GNN性能。
2024-04-15 cs.DM cs.LG cs.SI
Supervised Attention Using Homophily in Graph Neural Networks
École Polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院)
针对GAT聚合异类别邻居导致表示分离不足的问题,提出一种可嵌入任意图注意力模型的同质性监督注意力技术,并在多个节点分类数据集上验证其优于基线。
2023-07-15 cs.LG cs.SI
It Takes a Graph to Know a Graph: Rewiring for Homophily with a Reference Graph
Viterbi Faculty of Electrical and Computer Engineering(电气与计算机工程学院)
针对图神经网络在异配图上表现不佳的问题,提出基于参考图的图重连框架及标签驱动扩散构建参考图的方法,理论保证同配性提升,在11个真实数据集上优于现有方法且高效可扩展。
2025-05-18 cs.LG
Homophily-Related: Adaptive Hybrid Graph Filter for Multi-View Graph Clustering
University of Electronic Science and Technology of China(电子科技大学);Virginia Tech(弗吉尼亚理工大学);Shantou University(汕头大学);Lehigh University(理海大学)
针对传统图神经网络在异配图上因忽略高频信息导致性能不佳的问题,提出自适应混合图滤波器AHGFC,通过设计图联合聚合矩阵并利用与同质性相关的滤波器学习节点嵌入,融合多视图特征,在六类数据集上取得良好效果。
2024-01-05 cs.LG cs.SI
Not All Nodes Are Created Equal: Homophily-Aware Stratification for Stable GNN Evaluation
Universität Bayreuth(拜罗伊特大学);FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Ludwig-Maximilians-Universität München(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对图神经网络评估中随机划分导致结果不稳定的问题,提出同质性感知分层程序,以节点同质性为主轴、类别为次轴构建划分,在15个数据集和7种架构上取得更低的稳定性排名。
2026-09-18 cs.AI cs.LG cs.SI
PathMLP: Smooth Path Towards High-order Homophily
Institute of Cyberspace Security, Zhejiang University of Technology(浙江工业大学网络空间安全学院);Binjiang Institute of Artificial Intelligence(滨江人工智能研究院);College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院);Science and Technology on Communication Information Security Control Laboratory(通信信息安全控制科学与技术实验室)
PathMLP通过相似性路径采样捕获高阶同质性,利用MLP轻量级模型编码路径消息并自适应聚合,在20个数据集的16个上超越基线,缓解异质性且避免过度平滑。
2024-08-21 cs.LG cs.SI
Breaking the Entanglement of Homophily and Heterophily in Semi-supervised Node Classification
Beijing Institute of Technology(北京理工大学)
针对现有图神经网络受同质性假设限制、忽略有向边导致性能受限的问题,提出AMUD方法自适应建模有向图,搭配ADPA新型有向图学习范式,在16个基准数据集上性能较基线提升3.96。
2024-03-11 cs.AI cs.LG cs.SI
New Benchmarks for Learning on Non-Homophilous Graphs
Cornell University(康奈尔大学);Facebook AI(脸书人工智能研究院)
许多具有图结构的数据都满足同质性原则,这意味着连接的节点在特定属性方面往往是相似的。因此,用于图机器学习任务的无处不在的数据集通常是高度同质的,奖励利用同质性作为归纳偏差的方法。最近的工作已经指出了这个特别的焦点,因为新的非同质数据集已经引入,更适合于低同质性设置的图表示学习模型已经开发出来。然而,这些数据集很小,不适合真正测试新方法在非同性恋环境中的有效性。我们提出了一系列改进的图数据集的节点标签关系,不满足同伦原则。与此同时,我们引入了一个新的措施的存在或不存在的同质性,比现有的措施更适合在不同的制度。我们在我们提出的数据集上对一系列简单的方法和图神经网络进行了基准测试,为进一步的研究提供了新的见解。数据和代码可以在https://github.com/CUAI/Non-Homophily-Benchmarks上找到。
2021-07-05 cs.LG cs.SI
GBK-GNN: Gated Bi-Kernel Graph Neural Networks for Modeling Both Homophily and Heterophily
Microsoft Research Asia(微软亚洲研究院);Beijing University of Technology(北京工业大学);Peking University(北京大学);Northeastern University(东北大学)
图神经网络(GNN)广泛用于各种基于图的机器学习任务。对于节点级任务,GNN具有强大的能力来建模图的同质性(即,连接的节点更相似),而它们捕获异质特性的能力常常是可疑的。这部分是由于设计的特征转换具有相同的内核的节点在同一跳和随之而来的聚合运算符。一个内核不能对相似性和相异性进行建模(即,节点特征之间的正相关和负相关),即使我们使用像图注意力网络(GAT)这样的注意力机制,因为由注意力计算的权重总是正值。在本文中,我们提出了一种新的GNN模型的基础上的双核特征变换和选择门。两个核分别捕获同质和异质信息,并引入门来选择我们应该使用给定的节点对的核。我们进行了广泛的实验,各种数据集具有不同的同质性,异质性。实验结果表明,对国家的最先进的GNN方法的一致和显着的改进。
2022-04-24 cs.LG
HoTS: Homophily-Aware Temperature Scaling for Graph Neural Network Calibration
针对图节点分类中现有校准方法忽略局部结构的问题,提出同质性感知温度缩放(HoTS),利用熵和局部同质性为每节点分配温度,在18个基准上取得最优ECE 4.79%。
2026-09-29 cs.LG
Disentangling Homophily and Rarity: Explaining Failure in Graph Neural Networks
Simula Research Laboratory(西穆拉研究实验室)
该研究通过评估6种GNN在5个不同同质性数据集上的表现,挑战了异质节点分类的子群泛化框架,发现可通过重训分类头或最终线性层恢复异质节点分类所需信息。
2026-08-18 cs.LG
Unveiling the Impact of Local Homophily on GNN Fairness: In-Depth Analysis and New Benchmarks
University of Michigan(密歇根大学)
本研究将局部同质性下的公平预测挑战形式化为分布外问题,通过理论与实证分析揭示了两类加剧GNN不公平性的因素,同时推出三个新基准与半合成图生成器,填补了局部同质性与GNN公平性关联研究的空白。
2024-10-05 cs.CY cs.LG cs.SI
Graph Neural Networks with Heterophily
University of Michigan(密歇根大学);Adobe Research(Adobe研究院);Intel Labs(英特尔实验室)
图神经网络(GNN)已被证明对许多不同的实际应用是有用的。然而,许多现有的GNN模型已经隐含地假设了图中连接的节点之间的同质性,因此在很大程度上忽略了异质性的重要设置,其中大多数连接的节点来自不同的类。在这项工作中,我们提出了一个新的框架,称为CPGNN,推广GNNs的图,无论是同质性或异质性。所提出的框架采用了一个可解释的兼容性矩阵,用于对图中的异质性或同质性水平进行建模,这可以以端到端的方式进行学习,使其能够超越强同质性的假设。从理论上讲,我们表明,取代兼容性矩阵在我们的框架与身份(这代表纯同伦)减少到GCN。我们广泛的实验证明了我们的方法在更现实和更具挑战性的实验环境中的有效性,与以前的作品相比,训练数据显着减少:CPGNN变体在具有或不具有上下文节点特征的异质性设置中实现了最先进的结果,同时在同质性设置中保持了相当的性能。
2021-06-14 cs.LG cs.SI stat.ML
On Graph Neural Network Fairness in the Presence of Heterophilous Neighborhoods
University of Michigan(密歇根大学);Lawrence Livermore National Lab(劳伦斯利弗莫尔国家实验室);RWTH Aachen University(亚琛工业大学)
我们研究了图神经网络(GNNs)的节点分类任务,并建立了由统计奇偶性和平等机会衡量的组公平性与局部非线性之间的联系,即,链接节点具有相似属性的趋势。这种非对称性通常是由同质性引起的,即具有相似属性的节点连接的趋势。在社交网络中,系统性因素迫使个体进入具有共同敏感属性的社区,因此,同质性是很常见的。通过合成图,我们研究了本地发生的同质性和公平预测之间的相互作用,发现并不是所有的节点邻域在这方面都是平等的-由一类敏感属性主导的邻域往往很难获得公平待遇,特别是在发散的本地类和敏感属性同质性的情况下。在确定局部同质性和公平性之间存在关系后,我们研究了不公平性问题是否与所应用的GNN模型的设计有关。我们表明,通过采用能够处理dispertative组标签的heterophilous GNN设计,在真实和合成数据集中,局部heterophilous邻域中的组公平性可以比homophilous设计提高高达25%。
2022-11-14 cs.CY cs.LG cs.SI
Beyond Fixed Depth: Adaptive Graph Neural Networks for Node Classification Under Varying Homophily
本文针对固定聚合深度在同配与异配图上泛化不足的问题,提出基于理论度量的自适应深度GNN架构,动态选择节点级聚合深度,并在统一模型中一致提升标准GNN骨干网络在多个基准上的节点分类性能。
2025-11-10 cs.AI cs.LG
Finding Global Homophily in Graph Neural Networks When Meeting Heterophily
East China Normal University(华东师范大学);Microsoft Research Asia(微软亚洲研究院);Nanyang Technological University(南洋理工大学)
研究了具有异质性的图上的图神经网络。一些现有的方法用多跳邻居来放大节点的邻域,以包括更多具有同质性的节点。然而,为不同节点设置个性化的邻域大小是一个重大挑战。此外,对于排除在邻域中的其他同性节点,它们被忽略用于信息聚合。为了解决这些问题,我们提出了两个模型GloGNN和GloGNN++,它们通过聚合图中全局节点的信息来生成节点的嵌入。在每一层中,两个模型都学习一个系数矩阵来捕获节点之间的相关性,并基于此执行邻域聚合。系数矩阵允许有符号的值,并且是从具有封闭形式解的优化问题导出的。我们进一步加速邻域聚集,并得到一个线性的时间复杂度。我们从理论上解释了模型的有效性,证明了系数矩阵和生成的节点嵌入矩阵具有所需的分组效果。我们进行了广泛的实验,将我们的模型与其他11个竞争对手在15个基准数据集上进行了广泛的领域,规模和图形异质性的比较。实验结果表明,我们的方法实现了优越的性能,也是非常有效的。
2022-05-15 cs.AI cs.LG
ASEHybrid: When Geometry Matters Beyond Homophily in Graph Neural Networks
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
ASEHybrid通过标签信息量理论框架,结合曲率引导重排和位置几何,提升图神经网络在异质图上的表现。
2026-01-26 cs.LG
Beyond Homophily in Graph Neural Networks: Current Limitations and Effective Designs
University of Michigan(密歇根大学);Carnegie Mellon University(卡内基梅隆大学)
我们研究了图神经网络在半监督节点分类任务中在异质或低同质情况下的表示能力,即,在网络中,连接的节点可能具有不同的类标签和不同的特征。许多流行的GNN未能推广到这种设置,甚至被忽略图结构的模型(例如,多层感知器)。出于这种限制,我们确定了一组关键设计-自我和邻居嵌入分离,高阶邻域和中间表示的组合-促进从异质性下的图结构中学习。我们将它们组合成一个图神经网络,H2 GCN,我们使用的基本方法来经验评估所确定的设计的有效性。超越了具有强同质性的传统基准,我们的实证分析表明,在具有异质性的合成和真实网络上,所识别的设计分别将GNN的准确性提高了40%和27%,并在同质性下产生了具有竞争力的性能。
2020-10-23 cs.LG stat.ML
Beyond Homophily: Reconstructing Structure for Graph-agnostic Clustering
University of Electronic Science and Technology of China(电子科技大学)
针对现有图聚类方法依赖同质性假设、难以处理异质性图的问题,提出包含图重构、混合滤波器和双图聚类网络的图无关聚类方法,在11个基准图上表现优异,尤其擅长异质性图。
2023-05-03 cs.AI cs.LG cs.SI
Directed Homophily-Aware Graph Neural Network
College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学);Institute for Infocomm Research, A*STAR(信息与通信研究所,A*STAR)
本文提出DHGNN,通过引入同质性意识和方向敏感组件,解决有向图中泛化能力差和性能不佳的问题,在节点分类和链接预测中取得显著提升。
2026-01-13 cs.LG
Label-Wise Graph Convolutional Network for Heterophilic Graphs
The Pennsylvania State University(宾夕法尼亚州立大学)
图神经网络(GNN)在为各种应用建模图方面取得了卓越的性能。然而,大多数现有的GNN假设图在节点标签中表现出强同质性,即,在图中连接具有相似标签的节点。他们未能推广到heterophilic图,其中链接的节点可能有不同的标签和属性。因此,在本文中,我们研究了一个新的框架,表现良好的图与同质或异质。更具体地说,我们提出了一个标签明智的消息传递机制,以避免聚合不同的节点表示所造成的负面影响,并保留异嗜上下文的表示学习。我们进一步提出了一个双层优化方法来自动选择具有同质/异质性的图的模型。理论分析和大量的实验表明,我们提出的框架的有效性,对同性和异性图的节点分类。
2023-02-16 cs.LG
RAW-GNN: RAndom Walk Aggregation based Graph Neural Network
Tianjin University(天津大学);Meituan(美团);The Hong Kong Polytechnic University(香港理工大学)
基于图卷积的方法已经成功地应用于同构图上的表示学习,其中具有相同标签或相似属性的节点倾向于彼此连接。由于这些方法使用的图卷积网络(GCN)的同质性假设,它们不适合于异质图,其中具有不同标签或不相似属性的节点往往是相邻的。有几种方法试图解决这种异质性问题,但它们并没有改变GCN的基本聚合机制,因为它们依赖于求和运算符来聚合来自相邻节点的信息,这隐含地受到同质性假设的影响。在这里,我们引入了一种新的聚合机制,并开发了一个随机游走聚合为基础的图神经网络(称为RAW-GNN)的方法。该方法将随机游走策略与图神经网络相结合。该方法利用广度优先随机游走搜索来捕获同质信息,利用深度优先搜索来收集异质信息。该算法用基于路径的邻域代替传统的邻域,并引入了一种新的基于递归神经网络的路径聚集器。这些设计使得RAW-GNN适用于同质和异质图。大量的实验结果表明,新方法在各种同质和异质图上都达到了最先进的性能。
2022-06-28 cs.LG
Graph Homophily Booster: Rethinking the Role of Discrete Features on Heterophilic Graphs
针对图神经网络在异配图上表现不佳的问题,提出GRAPHITE框架,通过创建特征节点进行图变换以直接提升图同配性,在异配图上显著优于现有方法且保持同配图上的相当性能。
2025-09-16 cs.LG
Neighborhood Homophily-based Graph Convolutional Network
Zhejiang University of Technology(浙江工业大学);Binjiang Cyberspace Security Institute of ZJUT(浙江工业大学滨江网络空间安全研究院)
针对经典GNN同质性假设难以适配异质图的问题,本文提出邻域同质性指标NH,并构建NHGCN模型,通过指标估计与模型推理交替优化实现节点分类,在两类基准上均取得SOTA性能,最高提升7.4%。
2023-10-06 cs.LG
Memorization in Graph Neural Networks
CISPA Helmholtz Center for Information Security(CISPA 欧洲信息安全中心)
该研究提出NCMemo框架量化图神经网络的标签记忆,揭示其与图同质性的反比关系及低同质性下的记忆机制,验证图重连可在不损性能的前提下减记忆、降隐私风险。
2025-09-03 cs.LG
Universal Graph Backdoor Defense: A Feature-based Homophily Perspective
The University of New South Wales(新南威尔士大学);University of Wollongong(沃林戈大学)
针对图后门攻击,提出基于特征同质性视角的通用防御框架,通过邻居感知重构损失区分后门节点并采用鲁棒训练消除触发器影响。
2026-05-25 cs.CR cs.LG
On Local Aggregation in Heterophilic Graphs
Intel Labs(英特尔实验室)
最近的许多工作研究了图神经网络(GNNs)在图同构(一种依赖于标签的连通性度量)的背景下的性能。传统的GNN通过聚合图中节点邻居的信息来生成节点嵌入。节点分类任务的最新结果表明,这种局部聚合方法在低同伦图(异亲图)中表现不佳。已经提出了几种机制来通过增加GNN层的聚合范围(通过多跳聚合或通过来自远程节点的远程聚合)来提高GNN在这种图上的准确性。在本文中,我们证明了适当调整的经典GNNs和多层感知器匹配或超过最近的heterophilic图上的远程聚合方法的准确性。因此,我们的研究结果强调了需要替代数据集来衡量长期GNN聚合机制。我们还表明,同质性是一个穷人的信息在一个节点的局部邻域的措施,并提出了邻域信息内容(NIC)度量,这是一种新的信息理论图度量。我们认为,NIC是更相关的GNN使用的本地聚合方法。我们表明,从经验上讲,它与节点分类任务中的GNN准确性的相关性比同质性更好。
2021-06-06 cs.AI cs.LG
Revisiting Heterophily For Graph Neural Networks
McGill University(麦吉尔大学);Mila(米拉人工智能研究所);DeepMind(深度思维)
图神经网络(GNNs)是对基本神经网络(NN)的扩展,它基于关系归纳偏差(homophily假设)使用图结构。虽然人们普遍认为GNN在现实任务中的性能优于NN,但最近的工作已经确定了一组非平凡的数据集,与NN相比,它们的性能并不令人满意。异质性被认为是这种经验观察的主要原因,已经提出了许多工作来解决它。在本文中,我们首先回顾了广泛使用的同质性度量,并指出他们只考虑图标签的一致性是一个缺点。然后,我们从聚合后节点相似性的角度研究异质性,并定义新的同质性度量,这是潜在的优势相比,现有的。在此基础上,我们证明了一些有害的异质性情况下,可以有效地解决当地多元化经营。然后,我们提出了自适应通道混合(ACM),一个框架,自适应地利用聚合,多样化和身份通道节点明智地提取更丰富的本地化信息,为不同的节点异构的情况。ACM比常用的单通道框架更强大,可以在异嗜图上进行节点分类任务,并且易于在基线GNN层中实现。当对10个基准节点分类任务进行评估时,ACM增强的基线始终实现了显着的性能增益,在大多数任务上超过了最先进的GNN,而不会产生显着的计算负担。
2022-10-14 cs.LG cs.SI
DuoGNN: Topology-aware Graph Neural Network with Homophily and Heterophily Interaction-Decoupling
Imperial College London(帝国理工学院)
针对GNN过平滑、过压缩及泛化差的问题,提出拓扑感知的DuoGNN,通过解耦同/异质性边的双聚合流水线实现提升,在多类节点分类任务中表现优于变体。
2026-08-25 cs.LG cs.SI
Feature Distribution on Graph Topology Mediates the Effect of Graph Convolution: Homophily Perspective
Kim Jaechul Graduate School of Artificial Intelligence, KAIST(KAIST金在哲人工智能研究生院);School of Electrical Engineering, KAIST(KAIST电气工程学院);Michigan State University(密歇根州立大学)
针对特征打乱提升GNN性能的现象,提出A-X依赖的测量方法与控制模型,建立其与图卷积的理论关系并实证,发现更小的A-X依赖可提升节点分类性能。
2024-06-06 cs.LG cs.SI
ES-GNN: Generalizing Graph Neural Networks Beyond Homophily with Edge Splitting
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Duke Kunshan University(昆山杜克大学);Southeast University(东南大学)
针对图神经网络依赖同配性偏置、在异配图上泛化性差且鲁棒性不足的问题,提出ES-GNN框架通过自适应边拆分动态构建互补子图并交替传播与拆分,解耦任务相关与无关特征,在多个数据集上实现优异性能与鲁棒性,缓解过平滑问题。
2024-09-17 cs.LG
Graph homophily booster: Reimagining the role of discrete features in heterophilic graph learning
University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校)
GRAPHITE通过设计图变换直接提升图同质性,有效解决异质图学习中的挑战。
2026-02-06 cs.AI cs.LG
Incorporating Heterophily into Graph Neural Networks for Graph Classification
College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院);University of Illinois, Chicago(伊利诺伊大学芝加哥分校)
针对图中同配性与异配性并存导致现有 GNN 图分类性能受限的问题,提出 IHGNN 架构,通过自我/邻居嵌入的整合分离、跨层自适应聚合及区分性图级读出提升性能,并在多个数据集上验证其优于现有方法。
2024-05-09 cs.LG cs.SI
PC-Conv: Unifying Homophily and Heterophily with Two-fold Filtering
University of Electronic Science and Technology of China(电子科技大学)
本文提出双重滤波机制PC-Conv,通过扩展图热方程并利用PC多项式近似,统一处理同质性与异质性图,在节点分类任务上达到竞争性能。
2023-12-22 cs.AI cs.LG cs.SI
NCGNN: Node-Level Capsule Graph Neural Network for Semisupervised Classification
Shanghai Jiao Tong University(上海交通大学)
消息传递已经发展成为设计图神经网络(GNN)的有效工具。然而,大多数现有的消息传递方法只是简单地求和或平均所有相邻的功能,以更新节点表示。它们受到两个问题的限制,即,(i)缺乏可解释性来识别对GNN的预测有重要意义的节点特征,以及(ii)特征过度混合,导致在捕获长范围依赖关系时的过度平滑问题,并且无法处理异质性或低同质性下的图。在本文中,我们提出了一个节点级胶囊图神经网络(NCGNN),以解决这些问题,改进的消息传递方案。具体来说,NCGNN将节点表示为节点级胶囊组,其中每个胶囊提取其对应节点的独特特征。对于每个节点级胶囊,一种新的动态路由过程的开发,以自适应地选择合适的胶囊聚合从所设计的图过滤器确定的子图。NCGNN只聚集有利的胶囊,并抑制不相关的消息,以避免过度混合功能的交互节点。因此,它可以缓解过度平滑的问题,并学习有效的节点表示的同胚或异质图。此外,我们提出的消息传递方案是固有的可解释性和免除复杂的事后解释,作为图过滤器和动态路由过程中确定的一个子集的节点功能,是最重要的模型预测从提取的子图。在合成图和真实图上的大量实验表明,NCGNN可以很好地解决过度平滑问题,并为半监督节点分类产生更好的节点表示。它在同质性和异质性下的表现都优于现有技术。
2022-06-16 cs.LG
Homophily-aware Supervised Contrastive Counterfactual Augmented Fair Graph Neural Network
Institut de Mathématiques de Toulouse(图卢兹数学研究所);University of the Basque Country(巴斯克大学);IKERBASQUE(巴斯克科学基金会);Institut Polytechnique de Paris(巴黎综合理工学院);INRIA, Projet Regalia(法国国家信息与自动化研究所,Regalia项目)
本文提出一种改进的公平图神经网络框架,通过两阶段训练策略提升分类准确性和公平性。
2026-02-08 cs.LG
Enhancing Spectral Graph Neural Networks with LLM-Predicted Homophily
针对有限标注下SGNN性能下降问题,提出用LLM预测图同质性比率作为全局先验指导谱滤波器构建,在多个基准上提升性能且成本极低。
2025-08-05 cs.LG
Homophily-oriented Heterogeneous Graph Rewiring
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
随着万维网(WWW)的迅速发展,异构图(HG)得到了爆炸式的增长.近年来,异构图神经网络(HGNN)在HG学习方面表现出了巨大的潜力。目前对HGNN的研究主要集中在一些同质性较强的HG(由元路径连接的节点往往具有相同的标签)上,而对那些同质性较弱的HG的研究却很少。近年来,关于具有异质性的齐次图的研究已经很多。然而,由于异质性,这是不平凡的扩展他们的方法来处理HGs与heterophily。在这项工作中,基于经验的观察,我们提出了一个元路径诱导的度量来衡量一个HG的同伦程度。我们还发现,目前的HGNNs可能有退化的性能时,处理HGs的同质性较低。因此,有必要提高HGNN在非同质HGs上的推广能力。为此,我们提出了HDHGR,一种面向同质性的深度异构图重新布线方法,它修改了HG结构以提高HGNN的性能。我们从理论上验证了HDHGR。此外,在真实世界的HG上的实验证明了HDHGR的有效性,它带来了最多超过10%的相对增益。
2023-02-24 cs.AI cs.LG cs.SI
Is Homophily a Necessity for Graph Neural Networks?
New Jersey Institute of Technology(新泽西理工学院);Michigan State University(密歇根州立大学);Snap Inc.(Snap公司)
该研究针对“GNN依赖同质性假设、无法适配异质性图”的普遍认知,通过实验发现标准GCN在部分异质性图上性能优于专门设计的新架构,进而重新论证同质性并非GNN高性能的必要条件,刻画了GCN在异质性图上表现良好的条件并提供理论与实证支撑。
2023-07-21 cs.LG stat.ML
Beyond Smoothing: Unsupervised Graph Representation Learning with Edge Heterophily Discriminating
Monash University(莫纳什大学);Griffith University(格里菲斯大学)
无监督图表示学习(UGRL)已引起越来越多的研究关注,并在多个图分析任务中取得了可喜的成果。依赖于同质性假设,现有的UGRL方法倾向于沿着所有边平滑学习的节点表示,忽略连接具有不同属性的节点的异质性边的存在。因此,目前的方法很难推广到异嗜图,其中不同的节点是广泛连接的,也容易受到对抗攻击。为了解决这个问题,我们提出了一种新的无监督图表示学习方法与边缘hEterophily discriminaTing(GREET),学习表示,通过区分和利用homophilic边缘和heterophilic边缘。为了区分两种类型的边缘,我们建立了一个边缘推理机,推断边缘同质/异质性的特征和结构信息。我们训练的边缘网络在一个无监督的方式,通过最大限度地减少精心制作的锚定的排名损失,随机采样的节点对作为支点。节点表示是通过对比从所区分的同性和异性边缘获得的双通道编码来学习的。通过有效的交互机制,边缘鉴别和表示学习可以在训练阶段相互促进。我们在14个基准数据集和多个学习场景上进行了广泛的实验,以证明GREET的优越性。
2022-11-25 cs.LG cs.SI
Is Heterophily A Real Nightmare For Graph Neural Networks To Do Node Classification?
McGill University(麦吉尔大学);Mila;DeepMind
图神经网络(GNNs)是对基本神经网络(NN)的扩展,它利用基于关系归纳偏差(homophily假设)的图结构。虽然GNN被认为在现实世界的任务中优于NN,但GNN相对于图不可知NN的性能优势似乎并不令人满意。异质性被认为是一个主要的原因,已经提出了许多工作来解决它。在本文中,我们首先表明,并不是所有的异质性的情况下是有害的GNNs与聚集操作。然后,我们提出了基于相似性矩阵的新度量,该矩阵考虑了图结构和输入特征对GNN的影响。通过对合成图的测试,证明了该度量方法优于常用的同质性度量方法。从度量和观察,我们发现一些有害的异质性的情况下,可以通过多元化操作来解决。有了这个事实和滤波器组的知识,我们提出了自适应通道混合(ACM)框架,以自适应地利用每个GNN层中的聚合,多样化和身份通道来解决有害的异质性。我们用10个真实世界的节点分类任务来验证ACM增强的基线。它们始终实现显着的性能增益,并在大多数任务上超过最先进的GNN,而不会产生显着的计算负担。
2021-09-12 cs.LG cs.SI
Relational Graph Neural Network Design via Progressive Neural Architecture Search
The Chinese University of Hong Kong(香港中文大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);The Hong Kong Polytechnic University(香港理工大学)
针对图神经网络(GNNs)的表示学习中长期存在的一个难题,提出了一种新的解决方案:如何有效地捕获和表示嵌入在长距离节点中的有用信息,以提高低同质性节点的性能,而不会导致高同质性节点的性能下降。这种困境限制了现有GNN的泛化能力。直观地说,与远距离节点的交互比与近邻节点的交互引入更多的噪声。然而,在大多数现有的作品中,在节点之间传递的消息混合在一起,从通信的角度来看,这是低效的。我们的解决方案是基于一种新颖的,简单的,但有效的聚合方案,从而在一个梯形的GNN架构,即LADDER-GNN。具体来说,我们将来自不同跳点的消息分开,为它们分配不同的维度,然后将它们连接起来以获得节点表示。这种解开的表示有助于提高从不同跳传递的消息的信息噪声比。为了探索一个有效的跳-维关系,我们开发了一个条件渐进的神经结构搜索策略。基于搜索结果,我们进一步提出了一个有效的近似跳维关系函数,以促进建议的梯形GNN的快速配置。我们在七个不同的半监督节点分类数据集上验证了所提出的LADDER-GNN。实验结果表明,我们的解决方案实现了更好的性能比大多数现有的GNN。我们进一步分析了我们的聚合方案与两种常用的GNN架构,结果证实,我们的计划优于现有的计划在分类低同质性节点的大幅度。
2022-02-16 cs.LG
Enhancing Intra-class Information Extraction for Heterophilous Graphs: One Neural Architecture Search Approach
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Paradigm. Inc.(第四范式公司);Lenovo(联想集团);Tsinghua University(清华大学)
近年来,图神经网络(GNN)在图表示学习中很受欢迎,它假设了同构属性,即,所连接的节点具有相同的标签或具有相似的特征。然而,它们可能无法推广到低/中同亲水平的异亲图。现有方法倾向于通过增强类内信息抽取来解决这个问题,即,要么通过设计更好的GNN来提高模型有效性,要么重新设计图结构以纳入更多来自远距离跳的潜在类内节点。尽管取得了成功,但我们观察到两个方面可以进一步改进:(a)增强节点本身的自我特征信息抽取,这在提取类内信息时更可靠;(b)设计节点级GNN可以更好地适应具有不同同质性比率的节点。在本文中,我们提出了一种新的方法IIE-GNN(类内信息增强图神经网络),以实现两个改进。在此基础上提出了一个统一的框架,该框架通过精心设计的7个分块来提取节点自身和邻居的类内信息。在神经结构搜索(NAS)的帮助下,我们提出了一种新的基于框架的搜索空间,并提供了一个结构预测器来为每个节点设计GNN。我们进一步进行实验,以表明IIE-GNN可以通过设计逐节点GNN来增强类内信息抽取来提高模型性能。
2022-11-20 cs.LG
Memory-based Message Passing: Decoupling the Message for Propogation from Discrimination
ZJ Lab(之江实验室)
消息传递是图神经网络在图表示学习中的一个基本过程。基于同质性假设,当前消息传递总是聚集连接节点的特征,例如图拉普拉斯平滑过程。然而,现实世界的图形往往是嘈杂的和/或不平滑的。同质性假设并不总是成立,导致次优结果。一种改进的消息传递方法需要保持每个节点的区分能力时,聚集来自邻居的消息。为此,我们提出了一种基于内存的消息传递(MMP)方法解耦成一个自嵌入部分的歧视和传播的记忆部分的每个节点的消息。此外,我们开发了一种控制机制和解耦正则化来控制每个节点在内存中吸收和排除消息的比例。更重要的是,我们的MMP是一种通用技能,可以作为额外的一层来帮助提高传统GNN的性能。在具有不同同质性比率的数据集上的大量实验证明了该方法的有效性和鲁棒性。
2022-02-01 cs.AI cs.LG
Self-Attention Empowered Graph Convolutional Network for Structure Learning and Node Embedding
School of Electronic and Information Engineering, Xi’an Jiaotong University(西安交通大学电子与信息工程学院);College of Geomatics, Xi’an University of Science and Technology(西安科技大学测绘学院)
针对图神经网络难捕捉长程依赖、异配图下性能下降的问题,提出融合自注意力的GCN-SA框架,通过图结构学习模块与改进transformer块捕捉长程依赖,在不同同配性图的节点表示学习上表现优异。
2024-03-06 cs.LG cs.SI
Graph Neural Convection-Diffusion with Heterophily
Nanyang Technological University(南洋理工大学);C3 AI
本文提出一种基于对流-扩散方程的图神经网络,同时建模同配性扩散与异配性对流,在异配图节点分类任务上取得有竞争力的性能。
2023-05-30 cs.LG cs.SI
Understanding and Improving Graph Injection Attack by Promoting Unnoticeability
The Chinese University of Hong Kong(香港中文大学);Hong Kong Baptist University(香港浸会大学);The University of Sydney(悉尼大学)
最近,图注入攻击(GIA)作为图神经网络(GNN)上的实际攻击场景出现,其中攻击者可以仅注入少量恶意节点而不是修改现有节点或边,即,图修改攻击(GMA)。尽管GIA取得了可喜的成果,但人们对它为什么成功以及成功背后是否存在陷阱知之甚少。为了理解GIA的力量,我们将其与GMA进行了比较,发现GIA可以证明比GMA更有害,因为它具有相对较高的灵活性。然而,高灵活性也会导致对原始图的同质性分布的极大破坏,即,邻居之间的相似性。因此,GIA的威胁可以很容易地减轻,甚至可以通过旨在恢复原始同质性的基于同质性的防御来预防。为了解决这个问题,我们引入了一个新的约束--同质性不可注意性,强制GIA保留同质性,并提出了和谐对抗目标(HAO)来实例化它。大量实验证明,带有HAO的GIA可以突破基于同质性的防御,并且比之前的GIA攻击性能好得多。我们相信我们的方法可以更可靠地评估GNN的鲁棒性。
2022-04-05 cs.CR cs.LG stat.ML
Beyond Homophily: Towards Generalized Graph Reconstruction Attack and Defense
Hong Kong Baptist University(香港浸会大学);Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学)
针对图神经网络可能泄露训练图邻接信息的问题,提出基于马尔可夫链近似的攻击方法MC-GRA(+)和防御方法MC-GPB(+),在异质图上实现高保真重构攻击并有效防御。
2026-06-06 cs.LG
Examining the Effects of Degree Distribution and Homophily in Graph Learning Models
Warwick University(华威大学);Google Research(谷歌研究院)
本研究针对GraphWorld原有SBM生成器的图结构局限,整合LFR和CABAM两种合成图生成器拓展图空间覆盖,通过30万张图的节点分类基准测试分析11种GNN对同质性、度分布等的敏感度,并开源相关扩展。
2023-07-17 cs.LG cs.SI
Multi-label Node Classification On Graph-Structured Data
Delft University of Technology(代尔夫特理工大学);L3S Research Center(L3S研究中心)
针对图上多标签节点分类缺乏数据集与适配评估的问题,本文发布3个生物数据集、可调图生成器及9数据集基准,定义多标签同质性与跨类邻域相似性,并用8种方法完成大规模比较。
2024-02-29 cs.LG
Restructuring Graph for Higher Homophily via Adaptive Spectral Clustering
School of Computing, Australian National University(澳大利亚国立大学计算学院);CSE & GSAI, POSTECH(浦项科技大学计算机科学与工程系及人工智能研究生院);Data61, CSIRO(澳大利亚联邦科学与工业研究组织 Data61)
提出一种可集成于任意GNN的图重构方法,通过自适应谱聚类、密度感知同质性度量及邻接矩阵重构,显著提升经典GNN在低同质性图上的性能。
2024-04-29 cs.LG cs.SI
Going beyond accuracy: estimating homophily in social networks using predictions
Department of Sociology, Cornell University(康奈尔大学社会学系);Department of Sociology, Dartmouth College(达特茅斯学院社会学系);Qatar Computing Research Institute(卡塔尔计算研究所)
在在线社交网络中,通常使用节点类别的预测来估计同质性和其他关系属性的度量。然而,在线社交网络数据往往缺乏关于节点的基本人口统计信息。研究人员必须依靠预测的节点属性来估计同质性的措施,但很少有人知道这些措施的有效性。我们发现,估计同伦在网络中可以被看作是一个二元预测问题,和同伦估计是无偏的二元水平的残差总和为零的网络。节点级的预测模型,例如使用名称来分类种族或性别,通常不具有此属性,并且可能会在同质性估计中引入较大的偏差。由于沿二进制的误差自相关,会出现偏倚。重要的是,节点级别的分类性能不是同质性估计精度的可靠指标。我们比较的估计策略,使预测在节点和二分体水平,在不同的设置中的性能评估。我们提出了一种新的“自我改变”建模方法,优于标准的节点和二元分类策略。虽然本文的重点是同质性,结果推广到其他关系的措施,聚合预测沿二元网络。最后,我们建议研究设计,研究同质性在线网络。这篇论文的代码可以在https://github.com/georgeberry/autocorr上找到。
2020-01-30 cs.LG cs.SI
Shift-Robust Node Classification via Graph Adversarial Clustering
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院);KAIST(韩国科学技术院);Emory University(埃默里大学)
图神经网络(GNN)是图结构数据中的节点分类模型。然而,在测试时间期间,这些算法假设没有数据移位,即,$\Pr_\text{train}(X,Y) = \Pr_\text{test}(X,Y)$。域自适应方法可以用于数据转移,但它们中的大多数被设计为仅鼓励源数据和目标数据之间的相似特征分布。类上的条件转移仍然会影响这种适应。幸运的是,图在不同的数据分布中产生图同构。作为回应,我们提出了移位鲁棒节点分类(SRNC),以解决这些限制。我们在目标图上引入一个无监督的聚类GNN,根据图的同质性对相似的节点进行分组。在聚类目标上使用了带有源图标签信息的对抗损失。然后在聚类GNN生成的训练图和目标图上的对抗样本上分别优化了一个具有平移鲁棒性的分类器。我们分别对开集移位和表示移位进行了实验,实验结果证明了SRNC在推广到具有数据移位的测试图上的优越精度。SRNC始终优于先前的图上的SoTA域自适应算法,该算法逐步使用目标图上的模型预测进行训练。
2022-03-07 cs.LG
Ordered GNN: Ordering Message Passing to Deal with Heterophily and Over-smoothing
Shanghai Jiao Tong University(上海交通大学);Chinese Academy of Sciences(中国科学院)
大多数图神经网络遵循消息传递机制。然而,当多次消息传递应用于图时,它面临过度平滑问题,导致不可区分的节点表示,并阻止模型有效地学习更远节点之间的依赖关系。另一方面,具有不同标签的相邻节点的特征可能被错误地混合,从而导致异质性问题。在这项工作中,我们建议将消息传递到节点表示中,特定的神经元块针对特定跳内的消息传递。这是通过将中心节点的根树的层次结构与其节点表示中的有序神经元对齐来实现的。在大量数据集上的实验结果表明,我们的模型可以同时在同质和异质环境中实现最先进的技术,而无需任何有针对性的设计。此外,当模型变得非常深时,它的性能保持得很好,有效地防止了过度平滑问题。最后,可视化门控向量表明,我们的模型学习在同质性和异质性设置之间表现不同,提供了一个可解释的图神经模型。
2023-02-03 cs.LG