ViDTA: Enhanced Drug-Target Affinity Prediction via Virtual Graph Nodes and Attention-based Feature Fusion
School of Software Engineering Huazhong University of Science;School of Cyber Science;Engineering Huazhong University of Science;Union Hospital, Tongji Medical College Huazhong University of Science
本文提出ViDTA框架,通过在GNN中引入虚拟图节点整合药物分子局部与全局特征,并设计基于注意力的线性特征融合网络捕获药物-蛋白质交互信息,在Davis、Metz和KIBA等基准上取得了优于现有方法的药物-靶标亲和力预测性能。
2024-12-27 cs.AI cs.LG q-bio.BM
Generalized Equivariance and Preferential Labeling for GNN Node Classification
Peking University(北京大学);University of Alberta(阿尔伯塔大学)
现有的图神经网络(GNN)在很大程度上依赖于节点嵌入,节点嵌入通过其身份、类型或内容将节点表示为向量。然而,具有无属性节点的图广泛存在于现实世界的应用中(例如,匿名社交网络)。以前的GNN要么为节点分配随机标签(这会给GNN引入伪影),要么为所有节点分配一个嵌入(这无法显式区分一个节点与另一个节点)。此外,当这些GNN应用于无属性节点分类问题时,它们具有不期望的等方差属性,这从根本上无法解决具有多个可能输出的数据。在本文中,我们分析了现有的节点分类问题的方法的局限性。我们的分析的启发,我们提出了一个广义的等方差属性和优先标签技术,满足所需的属性渐近。实验结果表明,我们取得了较高的性能在几个无属性的节点分类任务。
2022-02-26 cs.AI cs.LG
Determinate Node Selection for Semi-supervised Classification Oriented Graph Convolutional Networks
Guizhou University(贵州大学)
图卷积网络(GCN)通过从图数据中提取结构信息,在半监督节点分类领域已被证明是成功的。然而,随机选择的标记节点使用的GCN可能会导致不稳定的泛化性能的GCN。在本文中,我们提出了一种有效的方法,确定性选择标记的节点:确定性节点选择(DNS)算法。DNS算法识别图中的两类代表性节点:典型节点和发散节点。通过探索图的结构并确定节点表示图内数据分布的能力来选择这些标记的节点。DNS算法可以非常简单地应用于广泛的半监督图神经网络模型的节点分类任务。通过大量的实验,我们已经证明,与原始方法相比,DNS算法的引入可以显着提高模型的平均准确度,并显着降低标准差。
2023-01-11 cs.AI cs.LG
NodeReg: Mitigating the Imbalance and Distribution Shift Effects in Semi-Supervised Node Classification via Norm Consistency
Soochow University(苏州大学);Westlake University(西湖大学)
提出NodeReg正则化方法,通过强制节点表示范数一致性,有效缓解半监督节点分类中邻居不平衡与噪声引发的分布外泛化问题,显著提升分类性能。
2025-03-05 cs.AI cs.LG
TAM: Topology-Aware Margin Loss for Class-Imbalanced Node Classification
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);AITRICS
由于相邻节点之间的相互作用,在类不平衡图数据下学习无偏节点表示是具有挑战性的。现有研究的共同点是,他们补偿的小类节点“作为一个组”,根据他们的整体数量(忽略节点连接图),这不可避免地增加了假阳性的情况下,主要节点。我们假设这些假阳性病例的增加受到每个节点周围标签分布的高度影响,并通过实验证实了这一点。此外,为了处理这个问题,我们提出了拓扑感知余量(TAM),以反映局部拓扑的学习目标。我们的方法比较了每个节点的连接模式与类平均对应部分,并自适应地调整相应的基础上,保证金。我们的方法在具有代表性GNN架构的各种节点分类基准数据集上始终表现出优于基线的优势。
2022-06-26 cs.AI cs.LG
Contrastive Meta-Learning for Few-shot Node Classification
University of Virginia(弗吉尼亚大学);Arizona State University(亚利桑那州立大学)
针对少样本节点分类标签不足问题,提出对比元学习框架COSMIC,通过对比两步优化增强类内泛化能力,并利用相似性敏感混合策略生成困难节点类别提升类间泛化能力,实验验证其优于现有基线。
2023-06-27 cs.AI cs.LG
BuffGraph: Enhancing Class-Imbalanced Node Classification via Buffer Nodes
National University of Singapore(新加坡国立大学)
BuffGraph通过在图结构中插入缓冲节点来调节多数类影响,从而缓解类别不平衡节点分类中的偏差问题,并在多个数据集上取得优于现有方法的性能。
2024-02-20 cs.AI cs.LG
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification
Shanghai Jiao Tong University(上海交通大学);Amazon Web Service(亚马逊云科技);Shanghai AI Lab(上海人工智能实验室)
针对图神经网络存在的过压缩、异配性等缺陷及传统方法二次复杂度的问题,提出基于核化Gumbel-Softmax算子的NodeFormer,实现线性复杂度的可扩展图结构学习,在大图节点分类和无图增强任务中表现优异。
2023-06-14 cs.AI cs.LG
Graph Decipher: A transparent dual-attention graph neural network to understand the message-passing mechanism for the node classification
University of Colorado Denver(科罗拉多大学丹佛分校)
图神经网络可以有效地应用于为广泛不同领域的许多现实问题找到解决方案。图神经网络的成功与图上的消息传递机制有关,然而,大多数算法中的消息聚集行为仍然不完全清楚。为了改善功能,我们提出了一个新的透明网络,称为图形解密调查的消息传递机制,优先级在两个主要组成部分:图形结构和节点属性,在图形,功能和全局水平下的节点分类任务的图形。然而,计算负担现在成为最重要的问题,因为图的结构和节点属性的相关性计算上的图。为了解决这个问题,图特征过滤器只提取相关的代表性节点属性,允许以面向类别的方式执行计算。在7个数据集上的实验表明,Graph Decipher在节点分类任务下实现了最先进的性能,同时大大降低了计算负担。此外,由于我们的算法有能力探索的代表节点属性的类别,它是用来减轻不平衡的节点分类问题的多类图数据集。
2022-01-04 cs.AI cs.LG
Using Subgraph GNNs for Node Classification:an Overlooked Potential Approach
East China Normal University(东华师范大学)
SubGND通过引入子图分类方法和自适应特征缩放机制,在异质设置中实现了与全局GNNs相当或更优的节点分类性能。
2026-01-13 cs.AI cs.LG
Graph Neural Network with Curriculum Learning for Imbalanced Node Classification
Aerospace Information Research Institute, Chinese Academy Of Sciences(中国科学院空天信息研究院);School of Software, Tsinghua University(清华大学软件学院);National University of Singapore(新加坡国立大学)
图神经网络(GNN)是一种新兴的基于图的学习任务,如节点分类技术。在这项工作中,我们揭示了GNN的脆弱性节点标签的不平衡。传统的不平衡分类解决方案(例如,rescue)在节点分类中没有考虑图结构是无效的。更糟糕的是,由于缺乏足够的先验知识,它们甚至可能带来过拟合或欠拟合的结果。为了解决这些问题,我们提出了一种新的图神经网络框架与课程学习(GNN-CL)由两个模块。一方面,我们希望通过新的基于图的过采样,获得一定的可靠的插值节点和边缘的基础上光滑和同质性。另一方面,我们结合了图分类损失和度量学习损失,调整了特征空间中与少数类相关的不同节点之间的距离。受课程学习的启发,在训练过程中动态调整不同模块的权重,以获得更好的泛化和区分能力。通过几个广泛使用的图数据集评估了所提出的框架,表明我们提出的模型始终优于现有的最先进的方法。
2022-02-05 cs.AI cs.LG
Rethinking Tokenized Graph Transformers for Node Classification
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);Hopcroft Center on Computing Science, Huazhong University of Science and Technology(华中科技大学霍普克罗夫特计算科学中心);Cornell University(康奈尔大学)
针对现有节点标记化图Transformer仅利用一阶邻居生成标记序列的局限,提出SwapGT方法,通过标记交换操作生成更优序列,结合Transformer骨干与中心对齐损失,在多数据集上提升节点分类性能。
2025-02-12 cs.AI cs.LG
Population Graph Cross-Network Node Classification for Autism Detection Across Sample Groups
Michigan State University(密歇根州立大学)
本文提出OTGCN方法,将图卷积网络与最优传输相结合以解决跨网络节点分类中的领域漂移问题,并在结合成像与非成像数据的自闭症谱系障碍分类任务中验证了其有效性。
2024-01-10 cs.AI cs.LG cs.SI
Hyperdimensional Representation Learning for Node Classification and Link Prediction
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出超维图学习器(HDGL),利用超维空间表示和注入性属性,单次遍历实现节点分类与链接预测,以低计算成本达到与先进GNN竞争的性能。
2025-02-27 cs.AI cs.LG cs.SI
Virtual Nodes Guided Dynamic Graph Neural Network for Brain Tumor Segmentation with Missing Modalities
University of Science and Technology Beijing(科学技术大学)
本文提出了一种基于图的单阶段框架,通过引入模态特定的虚拟节点来补偿缺失模态,利用图网络的灵活性设计动态连接策略,提升模型对任意模态组合的鲁棒性,并在BRATS-2018和BRATS-2020数据集上验证了方法在不完整模态下的优越性能。
2026-05-16 cs.AI
On Positional and Structural Node Features for Graph Neural Networks on Non-attributed Graphs
Emory University(埃默里大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学)
图神经网络(GNN)已被广泛用于各种与图相关的问题,例如节点分类和图分类,其中主要在自然节点特征可用时建立优越的性能。然而,没有自然节点特征的GNN如何工作还没有很好的理解,特别是关于构建人工节点的各种方法。在本文中,我们指出了两种类型的人工节点特征,即,位置和结构节点特征,并提供关于为什么它们中的每一个更适合于某些任务的见解,即,位置节点分类、结构节点分类和图形分类。在10个基准数据集上进行的大量实验结果验证了我们的见解,从而为非属性图上GNN的不同人工节点特征之间的选择提供了实用指南。该代码可在https://github.com/zjzijielu/gnn-positional-structural-node-features上获得。
2022-09-09 cs.AI cs.LG cs.SI
From Abductive Explanations to Global Logical Rules for Node Classification in SGCs
本研究针对SGC节点分类任务,提出以最小溯因解释为中间表示的逻辑框架,可提取紧凑且高保真的全局逻辑规则。
2026-08-19 cs.AI cs.LG cs.LO
Mixture of Experts for Node Classification
National University of Defense Technology(国防科技大学)
本文提出专家混合框架 MoE-NP,通过结合多个节点预测器并根据节点模式动态选择模型,解决了单一预测器难以适应多样节点模式的问题,在多个真实数据集上显著提升了节点分类性能。
2025-06-04 cs.AI cs.SI
Hypergraph-Based Dynamic Graph Node Classification
School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);Baylor University(贝勒大学)
本文提出HYDG模型,通过个体级和群体级超图分别捕捉动态图中节点的时空表示与同类节点的多粒度时序依赖,结合超图神经网络加权聚合,在五个真实数据集上验证了其优于现有动态图节点分类方法。
2024-12-29 cs.AI cs.SI
Imbalanced Node Classification Beyond Homophilic Assumption
Northwestern Polytechnical University(西北工业大学);Bytedance Inc(字节跳动公司);Griffith University(格里菲斯大学);The University of Queensland(昆士兰大学)
针对现有不平衡节点分类方法依赖同质性假设、难以适配高异质性图的问题,提出GraphSANN模型,通过统一特征混合、自适应子图提取与多滤波编码实现两类图上的高效分类,实验验证了其优越性。
2023-04-28 cs.AI
Batch Virtual Adversarial Training for Graph Convolutional Networks
Tsinghua University(清华大学)
提出了一种新的图卷积网络(GCN)正则化方法--批量虚拟对抗训练(BVAT)。BVAT解决了GCN不考虑模型输出分布对输入周围局部扰动的平滑性的缺点。我们提出了两种算法,基于样本的BVAT和基于优化的BVAT,这是适合于促进图结构数据的模型的平滑性,无论是找到虚拟对抗扰动的一个子集的节点远离对方或生成虚拟对抗扰动的所有节点的优化过程。在Cora、Citeseer和Pubmed三个引文网络数据集和一个知识图谱数据集Nell上的实验验证了该方法的有效性,在半监督节点分类任务中取得了最佳的结果.
2019-05-24 cs.AI cs.LG stat.ML
Virtual Adversarial Training on Graph Convolutional Networks in Node Classification
Peking University(北京大学);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院)
图卷积网络(GCN)的有效性已在广泛的基于图的机器学习任务中得到证明。然而,GCN中的参数更新仅来自标记节点,缺乏对未标记数据的利用。在本文中,我们将虚拟对抗训练(VAT),一种基于标记和未标记数据的对抗正则化方法应用于GCN的监督损失,以提高其泛化性能。通过在半监督学习中对后验分布施加虚拟对抗平滑性,VAT产生对GCN的对称拉普拉斯平滑性的改进。此外,由于特征属性的不同,我们分别对稀疏特征和密集特征进行虚拟对抗扰动,从而得到GCN稀疏VAT(GCNSVAT)和GCN密集VAT(GCNDVAT)算法。大量的实验验证了我们的两种方法在不同训练规模下的有效性。我们的工作为更好地理解未来GCN的改进方向铺平了道路。
2020-02-20 cs.LG stat.ML
Virtual Nodes based Heterogeneous Graph Convolutional Neural Network for Efficient Long-Range Information Aggregation
School of Statistics and Mathematics, Guangdong University of Finance & Economics(广东金融学院统计与数学学院);School of Digital Economics, Guangdong University of Finance & Economics(广东金融学院数字经济学学院)
针对异质图神经网络长程依赖建模需堆叠多层、计算复杂且易过平滑的问题,提出VN-HGCN,利用连接特定类型全部节点的虚拟节点在4层内实现高效长程聚合,并可作为通用框架迁移到其他HGNN。
2025-09-28 cs.LG
Learn When and Where to Connect: Adaptive Virtual Nodes for Dynamic Message Passing on Graphs
School of Computing, KAIST(计算机学院,韩国科学技术院);Department of AI Computing, KAIST(人工智能计算系,韩国科学技术院)
提出MAVN框架,通过端到端可微分的方式自适应地决定在消息传递神经网络的哪一层为哪些节点引入虚拟节点,并基于双向评分机制建立连接,理论证明其能模拟任意节点-虚拟节点连接模式,实验表明在多个数据集上显著提升骨干网络性能。
2026-06-02 cs.AI cs.LG
Virtual Node Tuning for Few-shot Node Classification
Arizona State University(亚利桑那州立大学);ByteDance Research(字节跳动研究院)
针对少样本节点分类中基类标签不足的现有方法失效问题,提出带GPPE模块的虚拟节点调优方法,以预训练图Transformer为编码器、虚拟节点为软提示,在四个数据集上性能超越现有SOTA及全监督基线。
2023-06-09 cs.LG
Inductive Spatio-Temporal Kriging with Physics-Guided Increment Training Strategy for Air Quality Inference
针对空气质量推断中虚拟节点与真实节点不一致的问题,本文提出PGITS,利用颗粒物平流扩散物理动态生成图结构并衔接两类节点,以提升归纳式时空克里金效果。
2025-03-12 cs.LG
Virtual Vector Machine for Bayesian Online Classification
Microsoft Research(微软研究院);Purdue University(普渡大学)
在典型的在线学习场景中,要求学习器使用小的存储器缓冲器来处理大的数据流。这样的要求通常与学习者对预测准确性的主要追求相冲突。为了解决这个难题,我们引入了一种新的贝叶斯在线分类算法,称为虚拟向量机。虚拟向量机允许您平滑地权衡预测精度与内存大小。虚拟向量机通过在分类权重上的高斯分布加上恒定数量的虚拟数据点来总结包含在先前数据流中的信息。虚拟数据点被设计为添加关于分类权重的额外非高斯信息。为了保持虚拟点的数量不变,虚拟向量机将当前真实数据点添加到虚拟点集合中,将两个最相似的虚拟点合并为新的虚拟点,或者删除远离决策边界的虚拟点。在这个过程中丢失的信息被吸收到高斯分布中。由虚拟点提供的额外信息导致比以前的在线分类算法更高的预测准确性。
2012-05-09 cs.LG stat.ML
Collaborative Graph Walk for Semi-supervised Multi-Label Node Classification
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Symantec(赛门铁克)
本文提出协作图游走方法Multi-Label-Graph-Walk,利用强化学习精细调整节点嵌入,通过多智能体协作游走捕获标签与结构关系及任务相关性,实现半监督多标签节点分类性能显著提升。
2019-11-17 cs.AI cs.LG stat.ML
Understanding Virtual Nodes: Oversquashing and Node Heterogeneity
Imperial College London(伦敦帝国理工学院);University of Oxford(牛津大学);AITHYRA(艾西拉(机构名音译));École Polytechnique, IP Paris(巴黎综合理工学院、巴黎理工学院)
本文从过度压缩与敏感性分析角度理论分析了虚拟节点的作用,并提出一种计算复杂度相同但能根据图结构差异化节点敏感性的虚拟节点变体,作为图级任务的高效基线。
2025-04-07 cs.LG
Local Virtual Nodes for Alleviating Over-Squashing in Graph Neural Networks
Computer Engineering Department, Boğaziçi University(博雅科技大学计算机工程系)
针对GNN长程依赖中的过度挤压问题,提出由节点中心性定位、带可训练共享嵌入的局部虚拟节点LVN,在尽量保持原图全局拓扑的同时改善瓶颈连通并提升分类性能。
2025-08-28 cs.LG
Towards Stable Imbalanced Data Classification via Virtual Big Data Projection
University Of Houston(休斯顿大学)
虚拟大数据(Virtual Big Data,VBD)被证明可以有效地解决生成对抗神经网络(Generative Adversarial Neural Networks,GANs)的模式坍塌和生成元梯度消失问题。在本文中,我们研究了VBD解决机器学习中其他两个主要挑战的能力,包括深度自动编码器训练和不平衡数据分类。首先,我们证明了,VBD可以显着减少验证损失的自动编码器通过提供他们一个巨大的多样化的训练数据,这是达到更好的推广,以尽量减少过拟合问题的关键。其次,我们使用VBD提出了第一个基于投影的方法,称为交叉级联,以平衡倾斜的类分布,而不会过采样。我们证明,交叉连接可以解决不平衡分类的数据驱动方法的不确定性问题。
2020-08-23 cs.LG stat.ML
Node Classification Meets Link Prediction on Knowledge Graphs
University of Oxford(牛津大学)
节点分类和链接预测在图表示学习中得到了广泛的研究。虽然直推节点分类和链接预测都是在单个输入图上操作的,但到目前为止,它们被分别研究。节点分类模型采用具有节点特征和不完整节点标签的输入图,并隐含地假设该图是关系完整的,即,没有边缘缺失。相比之下,链接预测模型仅由输入图的关系不完整性驱动,并且通常不利用节点特征或类。我们提出了一个统一的观点和研究的问题(一)不完整的图和(二)链接预测的节点功能的图上的转导节点分类,介绍了一个新的数据集,维基校友,并进行了广泛的基准测试研究。
2021-08-30 cs.AI cs.LG
Virtual Node Generation for Node Classification in Sparsely-Labeled Graphs
University of Illinois, Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对图领域稀疏标签下数据生成方法研究不足的问题,提出一种通过求解双重优化问题生成高质量虚拟节点注入图中以扩展标签传播的方法,兼容多种图学习范式,在10个公开数据集上较14个基线取得显著性能提升。
2024-09-12 cs.LG cs.SI
Deep Node Ranking for Neuro-symbolic Structural Node Embedding and Classification
Jožef Stefan Institute(约瑟夫·斯蒂芬研究所);Cosylab d.o.o.(Cosylab 公司);National Institute of Chemistry(国家化学研究所);Faculty of Computer and Information Science(计算机与信息科学学院);University of Nova Gorica(新戈里察大学)
网络节点嵌入是复杂网络分析的一个活跃的研究领域。本文提出了一种新的方法来学习网络节点嵌入和直接节点分类使用的节点排名计划加上一个自动编码器为基础的神经网络架构。提出的深度节点排名(DNR)算法的主要优点是有竞争力或更好的分类性能,显着更高的学习速度和更低的空间要求相比,最先进的方法对15个现实生活中的节点分类基准。此外,它可以探索符号和派生的子符号节点表示之间的关系,提供对学习节点空间结构的见解。为了避免直接节点分类设置中的空间复杂度瓶颈,DNR以小批量计算来自给定节点的个性化随机游走的平稳分布,无缝扩展到更大的网络。与DNR相关的缩放定律也在1488个合成的Erdens-Rényi网络上进行了研究,证明了它对数千万条链路的可扩展性。
2021-08-30 cs.LG stat.ML
Few-shot Node Classification with Extremely Weak Supervision
University of Virginia(弗吉尼亚大学);Arizona State University(亚利桑那州立大学)
Few-Shot节点分类的目的是以有限的标记节点作为参考对节点进行分类。最近的Few-Shot节点分类方法通常从具有丰富标记节点的类(即,元训练类)然后推广到具有有限标记节点的类(即,元测试类)。然而,在现实世界的图,它通常是很难获得丰富的标记节点的许多类。在实践中,每个元训练类只能由几个标记节点组成,称为极弱监督问题。在Few-Shot节点分类中,由于用于元训练的标记节点非常有限,元训练和元测试之间的泛化差距将变得更大,从而导致次优性能。为了解决这个问题,我们研究了一个新的问题,Few-Shot节点分类与极弱的监督,并提出了一个原则性的框架X-FNC下流行的元学习框架。具体来说,我们的目标是在极弱的监督下,在不同的元训练任务中积累元知识,并将这些知识推广到元测试任务中。为了解决标签节点极其稀缺所带来的挑战,我们提出了两个基本模块来获取伪标签节点作为额外的参考,并有效地从极其有限的监督信息中学习。我们进一步在监督极弱的四节点分类数据集上进行了广泛的实验,以验证我们的框架与最先进的基线相比的优越性。
2023-01-06 cs.AI cs.LG
Next Level Message-Passing with Hierarchical Support Graphs
ETH Zurich(苏黎世联邦理工学院)
针对MPNNs信息交换受限的问题,提出层次支撑图(HSG)通过递归粗化扩展虚拟节点概念,提供灵活框架增强信息流,并在多个数据集上取得最先进结果。
2024-08-29 cs.AI cs.LG
Probabilistic Graph Rewiring via Virtual Nodes
RWTH Aachen University(亚琛工业大学);University of Stuttgart(斯图加特大学);Bitdefender(比特 Defender)
本文提出 IPR-MPNN,通过可微端到端引入少量虚拟节点进行隐式概率图重连,在避免二次复杂度的同时增强长距离消息传播,并在理论和多个图数据集上验证其表达能力、性能与效率优势。
2024-12-02 cs.LG
DarkFarseer: Robust Spatio-temporal Kriging under Graph Sparsity and Noise
针对现有归纳式时空克里金法(ISK)未有效提取物理传感器时空特征、未聚焦虚拟传感器表示及图构建存在稀疏和噪声问题,提出含三个关键组件的DarkFarseer框架,显著提升ISK性能。
2025-11-13 cs.LG
Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification
Technical University of Munich(慕尼黑工业大学)
图中节点之间的相互依赖性是改进节点上的类预测的关键,并用于标签传播(LP)或图神经网络(GNN)等方法。尽管如此,非独立节点级预测的不确定性估计还未得到充分探索。在这项工作中,我们从三个方面探索了节点分类的不确定性量化:(1)我们导出了三个公理,明确描述了同构属性图中预期的预测不确定性行为。(2)我们提出了一个新的模型图后验网络(GPN),明确执行贝叶斯后验更新的预测相互依赖的节点。GPN可证明遵守所提出的公理。(3)我们广泛评估了GPN和一组强大的半监督节点分类基线,包括异常特征的检测和遗漏类的检测。在实验中,GPN优于现有的不确定性估计方法。
2021-10-26 cs.LG stat.ML
Label-Consistency based Graph Neural Networks for Semi-supervised Node Classification
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
图神经网络(GNNs)在基于图的半监督节点分类中取得了显著的成功,它利用来自相邻节点的信息来改进目标节点的表示学习。GNN在节点分类方面的成功取决于连接的节点往往具有相同标签的假设。然而,这样的假设并不总是有效,限制了GNN在节点分类方面的性能。在本文中,我们提出了基于标签一致性的图神经网络(LC-GNN),利用节点对不连接,但具有相同的标签,以扩大GNN中的节点的感受野。在基准数据集上的实验表明,LC-GNN在基于图的半监督节点分类中优于传统GNN,并进一步显示了LC-GNN在只有少数标记节点的稀疏场景中的优越性。
2020-07-27 cs.LG cs.SI stat.ML
Distinguished In Uniform: Self Attention Vs. Virtual Nodes
RWTH Aachen University(亚琛工业大学);Georg-August-Universität Göttingen(哥廷根大学)
本文比较 Graph Transformer 的全局自注意力与 MPGNN+虚拟节点架构,证明二者均非统一通用逼近器且统一表达能力互不包含,实验也显示无明确优劣排名。
2024-05-20 cs.LG
Constraints and Variables Reduction for Optimal Power Flow Using Hierarchical Graph Neural Networks with Virtual Node-Splitting
University of Houston(休斯顿大学)
本文提出虚拟节点分裂策略与两阶段自适应层次GNN,先预测拥塞线路再预测满负荷发电机,构建ROPLG模型以大幅削减OPF约束和变量,在保证最优解的同时显著降低计算时间。
2025-05-29 cs.LG cs.SY eess.SY
Graph Inference Learning for Semi-supervised Classification
Nanjing University of Science and Technology(南京理工大学);Tencent AI Lab(腾讯人工智能实验室)
在这项工作中,我们解决了图数据的半监督分类,其中未标记节点的类别是从标记节点和图结构中推断出来的。最近的工作通常通过传统的监督方式通过高级图卷积来解决这个问题,但是当标记数据稀缺时,性能可能会显着降低。为此,我们提出了一个图推理学习(GIL)框架,通过学习图拓扑上节点标签的推理来提高半监督节点分类的性能。为了连接两个节点之间的关系,我们通过将节点属性、节点间路径和局部拓扑结构封装在一起,形式化地定义了一种结构关系,使得推理可以方便地从一个节点推导到另一个节点。在学习推理过程中,我们进一步引入了从训练节点到验证节点的结构关系的元优化,使得学习后的图推理能力能够更好地自适应测试节点。四个基准数据集(包括Cora,Citeseer,Pubmed和NELL)的综合评估表明,我们提出的GIL与最先进的方法相比,在半监督节点分类任务上的优越性。
2020-01-17 cs.LG stat.ML
Positive-Unlabeled Node Classification with Structure-aware Graph Learning
Hong Kong University of Science and Technology(香港科技大学);Paradigm(第四范式);Tsinghua University(清华大学)
针对正未标记节点分类中忽略图结构信息的问题,提出一种利用距离感知PU损失和图结构对齐正则化器的新方法,理论证明其能最小化期望损失,且在多种数据集上性能优于现有最先进方法。
2023-10-20 cs.AI cs.LG
Weighted Graph Structure Learning with Attention Denoising for Node Classification
Ocean University of China(中国海洋大学)
针对加权图中噪声边和异常权重导致节点分类不准的问题,提出EWGSL方法,融合权重学习与结构学习,改进注意力系数和损失函数,平均Micro-F1提升17.8%。
2025-03-29 cs.AI cs.LG
VirtualFlow: Decoupling Deep Learning Models from the Underlying Hardware
Princeton University(普林斯顿大学);Google AI(谷歌人工智能(Google AI))
最先进的深度学习系统,如TensorFlow和PyTorch,将模型与底层硬件紧密耦合。这种耦合要求用户修改应用程序逻辑,以便跨不同的资源集运行相同的作业,从而限制了给定工作负载的硬件选择,并可能迫使用户放弃更有效的硬件配置。我们提出VirtualFlow,一个系统利用一种新的抽象称为虚拟节点处理解耦的模型从硬件。在训练或推断的每个步骤中,该批输入数据跨虚拟节点而不是硬件加速器(例如GPU和TPU)被分割。将多个虚拟节点映射到每个加速器并按顺序处理它们可以有效地对批处理进行时间切片,从而允许用户减少其工作负载的内存需求,并在小型群集上模拟大批量。使用这种技术,VirtualFlow可以实现许多新的用例,例如跨不同硬件、资源弹性和异构训练再现训练结果。在我们的评估中,我们为TensorFlow实现的VirtualFlow通过开箱即用的超参数在不同硬件上实现了强大的收敛保证,通过资源弹性将作业完成时间降低了48%,通过异构训练将吞吐量提高了42%。
2021-05-11 cs.DC cs.LG
Revisiting Neighborhood Aggregation in Graph Neural Networks for Node Classification using Statistical Signal Processing
International University of Rabat(拉巴特国际大学)
本文从统计信号处理角度重新审视GNN中的邻域聚合,指出基准模型在边缘独立标签假设下的概念缺陷,并提出改进设计见解。
2024-07-21 cs.LG eess.SP stat.ML
Eye Movement Feature Classification for Soccer Goalkeeper Expertise Identification in Virtual Reality
University of Tübingen(图宾根大学)
足球运动员专业技能评估的最新研究肯定了知觉技能(特别是决策)的重要性,无论是集中在高实验控制或现实的陈述。为了以最佳方式评估运动员的感知技能,我们捕获了全方位的现场场景,并在虚拟现实眼镜上向12名专家,10名中级和13名新手足球守门员展示。所有的场景都是从同一个自然守门员的角度展示的,并在回传给守门员后结束。基于他们的注视行为,我们用常见的机器学习技术对他们的专业知识进行了分类。这项试点研究显示了基于守门员凝视行为的守门员专业知识的客观分类的有希望的结果,并提供了有价值的见解,为训练系统的设计提供信息,以提高运动员的感知技能。
2021-01-06 cs.AI cs.CV cs.HC
VCR-Graphormer: A Mini-batch Graph Transformer via Virtual Connections
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta AI;Georgia Institute of Technology(佐治亚理工学院)
针对图Transformer小批量训练中样本不足导致密集注意力失效的问题,提出VCR-Graphormer,通过PPR令牌化解耦训练与拓扑,并引入虚拟连接编码多维度上下文信息。
2024-03-24 cs.LG
Node Centralities and Classification Performance for Characterizing Node Embedding Algorithms
University of Tsukuba(筑波大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所)
将图节点嵌入到向量空间中可以允许使用机器学习来例如预测节点类,但是由于图的多样性,与自然语言处理领域相比,节点嵌入算法的研究是不成熟的。我们检查节点嵌入算法的性能相对于图形中心的措施,表征不同的图形,通过系统的实验与四个节点嵌入算法,四个或五个图形中心,和六个数据集。实验结果揭示了节点嵌入算法的性质,为进一步研究该问题奠定了基础。
2018-02-18 cs.LG cs.SI stat.ML
One Node at a Time: Node-Level Network Classification
Wesleyan University(卫斯理大学);Dartmouth College(达特茅斯学院)
网络分类旨在根据网络(或图)的结构将其分为不同的类别。我们研究网络的分类和它的组成节点之间的连接,以及是否从网络中的节点在不同的组是可区分的结构节点特征,如中心性和聚类系数。我们使用各种网络数据集和随机网络模型证明,可以训练分类器来准确预测给定节点的网络类别(而无需看到整个网络),这意味着复杂网络即使在节点级别也显示出不同的结构模式。最后,我们讨论了节点级网络分类的两个应用:(i)小样本节点的全网络分类,以及(ii)网络自举。
2022-08-03 cs.LG cs.SI physics.soc-ph
Evi-VN: Hard Region Guided Virtual Node Evidence Injection for GNN-Based Fraud Detection
The Hong Kong Polytechnic University(香港理工大学)
Evi-VN是首个用特征隔离证据链纠正GNN共享难区域的图欺诈检测框架,通过虚拟类节点选择性注入异构证据,可增强各类GNN,在多欺诈任务上验证了优势。
2026-10-09 cs.LG
Topological based classification of paper domains using graph convolutional networks
Bar-Ilan University(巴伊兰大学)
图中节点分类的主要方法是信息传播和节点类与外部信息的关联。现有技术的方法通过图卷积网络合并这些方法。我们在这里使用的关联的拓扑特征的节点与他们的类来预测这个类。此外,将拓扑信息与信息传播相结合,提高了标准CiteSeer和Cora论文分类任务的分类精度。拓扑特征和信息传播产生的结果几乎与基于文本的分类一样好,没有文本或内容信息。我们建议通过一个GCN表示的拓扑结构和信息传播与相邻的训练节点分类作为输入和当前节点分类作为输出。这种形式主义优于现有技术的方法。
2019-04-10 cs.LG cs.SI stat.ML
Context-based Virtual Adversarial Training for Text Classification with Noisy Labels
ShinhanCard(新韩卡公司);Deargen Inc.(Deargen公司);GC Company(GC公司)
深度神经网络(DNN)具有很高的能力,可以在足够的训练时间内完全记忆噪声标签,不幸的是,它的记忆会导致性能下降。最近,虚拟对抗训练(VAT)引起了人们的关注,因为它可以进一步提高DNN在半监督学习中的泛化能力。VAT背后的驱动力是通过强制输入和扰动输入之间的一致性来防止模型过度拟合数据点。这种策略可以帮助从噪声标签中学习,如果它阻止神经模型学习噪声样本,同时鼓励模型泛化干净样本。在本文中,我们提出了基于上下文的虚拟对抗训练(ConVAT),以防止文本分类器过度拟合噪声标签。与以前的工作不同,所提出的方法在上下文级别而不是输入级别执行对抗训练。它使分类器不仅学习它的标签,而且学习它的上下文邻居,这通过保留每个数据点上的上下文语义来简化对噪声标签的学习。我们进行了广泛的实验,四个文本分类数据集与两种类型的标签噪声。综合实验结果清楚地表明,所提出的方法工作得很好,即使在非常嘈杂的设置。
2022-05-29 cs.AI cs.CL cs.LG