Graph Convolutional Networks for Text Classification
Northwestern University(西北大学)
文本分类是自然语言处理中的一个重要而经典的问题。已经有许多应用卷积神经网络(规则网格上的卷积,例如,序列)进行分类。然而,只有有限数量的研究探索了更灵活的图卷积神经网络(非网格上的卷积,例如,任意图形)的任务。在这项工作中,我们建议使用图卷积网络的文本分类。我们基于词同现和文档词关系为语料库构建单个文本图,然后学习该语料库的文本图卷积网络(Text GCN)。我们的文本GCN初始化为单词和文档的one-hot表示,然后联合学习单词和文档的嵌入,由文档的已知类标签监督。我们在多个基准数据集上的实验结果表明,没有任何外部词嵌入或知识的普通文本GCN优于最先进的文本分类方法。另一方面,Text GCN还学习预测单词和文档嵌入。此外,实验结果表明,随着训练数据的减少,文本GCN相对于现有比较方法的改进更加显著,说明文本GCN在文本分类中对较少训练数据的鲁棒性。
2018-11-13 cs.AI cs.CL
From Spectrum Wavelet to Vertex Propagation: Graph Convolutional Networks Based on Taylor Approximation
Shenzhen Research Institute of Big Data(深圳大数据研究院);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
图卷积网络(GCN)最近被用来提取具有一些标记数据和高维特征的数据集的底层结构。现有的GCN主要依赖于图小波核的一阶Chebyshev近似。这种通用的传播模型并不总是适合各种数据集及其特征。这项工作重温了图小波的基本原理,并探讨了在顶点域的信号传播近似的频谱小波核的效用。首先,我们推导出通过顶点传播表示图小波核的条件。接下来,我们提出了基于泰勒展开的GCN层的替代传播模型。我们进一步分析了TGCN的详细图形表示的选择。在引文网络、多媒体数据集和合成图上的实验表明,基于泰勒的GCN(TGCN)在节点分类问题上优于传统的GCN方法。
2020-11-29 cs.AI eess.SP
JuryGCN: Quantifying Jackknife Uncertainty on Graph Convolutional Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
图卷积网络(GCN)在许多实际应用中表现出很强的经验性能。绝大多数关于GCN的现有工作主要集中在准确性上,而忽略了GCN对其预测的信心或不确定性。尽管是值得信赖的图挖掘的基石,GCN的不确定性量化还没有得到很好的研究,并且现有的努力要么无法提供确定性量化,要么必须通过引入额外的参数或架构来改变GCN的训练过程。在本文中,我们提出了第一个基于频率的方法命名为JuryGCN量化的GCN的不确定性,其中的关键思想是量化的不确定性的节点的置信区间的宽度由刀切估计。此外,我们利用影响函数来估计GCN参数的变化,而无需重新训练来扩大计算。建议的JuryGCN是能够确定性地量化不确定性,而无需修改GCN架构或引入额外的参数。我们在真实世界的数据集上进行了广泛的实验评估,在主动学习和半监督节点分类的任务,证明了所提出的方法的有效性。
2022-10-12 cs.AI cs.LG cs.SI
GROW: A Row-Stationary Sparse-Dense GEMM Accelerator for Memory-Efficient Graph Convolutional Neural Networks
KAIST(韩国科学技术院);POSTECH(浦项科技大学)
图卷积神经网络(GCN)已经成为输入数据是相关的各种应用领域中的关键技术。GCN的一个独特属性是它的两个主要执行阶段(聚合和组合)表现出截然不同的数据流。因此,先前的GCN加速器通过将聚合和组合阶段铸造为一系列稀疏-密集矩阵乘法来解决这个研究空间。然而,以前的工作经常受到低效数据移动的影响,留下了大量的性能。我们提出了GROW,GCN加速器的基础上Gustavson的算法架构的行积的稀疏密集GEMM加速器。GROW共同设计的软件/硬件在GCN的局部性和并行性方面取得了平衡,与最先进的GCN加速器相比,实现了显著的能效改进。
2022-12-01 cs.AI cs.AR cs.LG
Lower and Upper Bounds for Numbers of Linear Regions of Graph Convolutional Networks
Wuhan University(武汉大学);Shanghai Jiao Tong University(上海交通大学);University of New South Wales(新南威尔士大学);Harbin Institute of Technology(哈尔滨工业大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
随着图神经网络在过去五年中的成功应用,对GNN表达能力的研究引起了人们的广泛关注。线性区域的数量被认为是衡量具有分段线性激活的神经网络表达能力的一个很好的指标。本文给出了经典图卷积网络在单层和多层情况下线性区域数目的估计。特别是,我们得到了一个最佳的上界的最大数量的线性区域的一层GCN,和多层GCN的上限和下限。模拟估计表明,真正的线性区域的最大数量可能更接近我们估计的下限。这些结果意味着多层GCN的线性区域的数量一般是指数大于每个参数的单层GCN。这表明更深的GCN比浅GCN具有更多的表现力。
2022-06-01 cs.AI cs.LG stat.ML
Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks
National Taiwan University(国立台湾大学);University of California, Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
图卷积网络(GCN)已成功应用于许多基于图的应用,然而,训练大规模的GCN仍然具有挑战性。当前基于SGD的算法要么具有随着GCN层数呈指数增长的高计算成本,要么具有用于保持整个图和将每个节点嵌入存储器中的大空间需求。在本文中,我们提出了一种新的GCN算法,适合SGD为基础的训练,通过利用图聚类结构的GCN。GCN的工作原理如下:在每一步中,它对与图聚类算法识别的稠密子图相关联的节点块进行采样,并将邻域搜索限制在该子图内。这种简单但有效的策略导致显着提高内存和计算效率,同时能够实现与以前的算法相当的测试精度。为了测试我们算法的可扩展性,我们创建了一个新的Amazon 2 M数据,其中包含200万个节点和6100万条边,比之前最大的公开数据集(Reddit)大5倍以上。对于在此数据上训练3层GCN,Quarter-GCN比以前最先进的VR-GCN更快(1523秒vs 1961秒),并且使用更少的内存(2.2GB vs 11.2GB)。此外,对于在此数据上训练4层GCN,我们的算法可以在大约36分钟内完成,而所有现有的GCN训练算法由于内存不足问题而无法训练。此外,编译器-GCN允许我们在没有太多时间和内存开销的情况下训练更深的GCN,从而提高了预测精度--使用5层编译器-GCN,我们在PPI数据集上实现了最先进的测试F1得分99.36,而之前的最佳结果是98.71 [16]。我们的代码…
2019-08-08 cs.AI cs.LG stat.ML
IA-GCN: Interactive Graph Convolutional Network for Recommendation
Business Growth BU, JD.com(京东商业增长事业部)
本文提出交互式图卷积网络IA-GCN,通过在用户-物品对之间建立双边交互引导,使图卷积聚合过程突出与目标相关的邻域信息,从而提升协同过滤推荐性能,并在三个基准数据集上验证了其有效性和鲁棒性。
2024-05-06 cs.AI cs.IR
What Do Graph Convolutional Neural Networks Learn?
University of Toronto(多伦多大学)
图神经网络(GNN)在过去几年中因其在众多机器学习任务中的卓越性能而获得了广泛关注。图卷积神经网络(GCN)是GNN的一种常见变体,已知其在半监督节点分类(SSNC)中具有高性能,并且在同质性假设下工作良好。最近的文献强调,GCN可以在某些“特殊条件”下实现对异嗜图的强大性能。这些论点促使我们理解GCN为什么以及如何学习执行SSNC。我们发现一个类内的节点和GCN的性能的潜在节点嵌入的相似性之间的正相关关系。我们对数据集的底层图结构的调查发现,GCN的SSNC性能受到类内节点邻域结构的一致性和唯一性的显着影响。
2022-07-05 cs.AI cs.LG stat.ML
GCNScheduler: Scheduling Distributed Computing Applications using Graph Convolutional Networks
University of Southern California(南加州大学)
我们考虑的经典问题调度任务图对应的复杂应用程序的分布式计算系统。以前已经提出了一些算法来优化任务调度的度量,如完工时间和吞吐量。然而,它们往往运行缓慢,特别是对于较大的问题实例,限制了它们在更动态系统中的适用性。出于更快地解决这些问题的目标,我们首次提出了一种基于图卷积网络的调度器(GCN)。通过仔细地将任务间数据依赖结构与网络设置集成到输入图中并将其馈送到适当的GCN,GCN可以针对给定目标有效地调度复杂应用程序的任务。我们评估我们的计划与基线通过模拟。我们表明,我们的计划不仅可以快速,有效地学习现有的调度方案,但它也可以很容易地应用到大规模的设置,目前的调度方案无法处理。我们表明,它实现了更好的最大完工时间比经典的HEFT算法,几乎相同的吞吐量为面向吞吐量的HEFT(TP-HEFT),同时提供几个数量级更快的调度时间在这两种情况下。例如,对于最大完工时间最小化,GCN调度50个节点的任务图大约需要4毫秒,而HEFT需要1500秒以上;对于吞吐量最大化,GCN调度100个节点的任务图大约需要3.3毫秒,而TP-HEFT大约需要6.9秒。
2021-10-22 cs.AI cs.DC cs.LG
PipeGCN: Efficient Full-Graph Training of Graph Convolutional Networks with Pipelined Feature Communication
Rice University(莱斯大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
图卷积网络(GCN)是用于学习图结构数据的最先进的方法,并且训练大规模GCN需要跨多个加速器进行分布式训练,使得每个加速器能够保持分区的子图。然而,分布式GCN训练在每次训练迭代期间在每个GCN层的分区之间传递节点特征和特征梯度的开销过高,限制了可实现的训练效率和模型可扩展性。为此,我们提出了PipeGCN,一个简单而有效的计划,隐藏了通信开销的管道分区间通信与分区内计算。对于高效的GCN训练来说,流水线是不平凡的,因为所传送的节点特征/梯度将变得陈旧,从而可能损害收敛,从而否定流水线的益处。值得注意的是,关于GCN训练的收敛速度与陈旧的功能和陈旧的功能梯度知之甚少。这项工作不仅提供了一个理论上的收敛性分析,但也发现PipeGCN的收敛速度接近香草分布式GCN训练没有任何陈旧。此外,我们开发了一种平滑方法,以进一步提高PipeGCN的收敛性。大量的实验表明,PipeGCN可以大大提高训练吞吐量(1.7倍~ 28.5倍),同时达到与其vanilla对应物和现有全图训练方法相同的准确性。该代码可在https://github.com/RICE-EIC/PipeGCN上获得。
2022-03-20 cs.AI cs.LG
Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective
Beijing Institute of Technology(北京理工大学);Renmin University of China(中国人民大学)
图卷积网络(GCN)在各种基于图的任务上取得了令人满意的性能。然而,当堆叠更多层时,它们遭受过度平滑。在本文中,我们提出了一个定量的研究,这一观察和发展新的见解更深的GCN。首先,我们从优化的角度来解释当前的图卷积运算,并认为过度平滑主要是由优化问题的解的朴素一阶近似引起的。随后,我们引入了两个指标来衡量节点级任务的过度平滑。具体来说,我们分别计算连接和断开连接的节点之间的成对距离占总距离的分数。基于我们的理论和实证分析,我们从优化的角度建立了一个通用的GCN理论框架,并推导出一种新的卷积核GCN+,它具有较低的参数量,同时从本质上减轻了过平滑。在真实数据集上的大量实验表明,GCN+在节点分类任务上的性能优于最先进的基线方法。
2020-09-25 cs.AI cs.LG stat.ML
Schema-Aware Deep Graph Convolutional Networks for Heterogeneous Graphs
AWS AI Labs(AWS AI 实验室)
基于图卷积网络(GCN)的方法在解决复杂的图结构问题方面取得了重大进展。GCN通过消息传递将图的结构信息和节点(或边)特征结合起来,并计算“深”节点表示。尽管在该领域取得了重大进展,但为异构图设计GCN架构仍然是一个开放的挑战。由于异构图的模式,有用的信息可能驻留在多跳之外。一个关键的问题是如何执行消息传递,以纳入多跳以外的邻居的信息,同时避免众所周知的过度平滑问题的GCN。为了解决这个问题,我们提出了我们的GCN框架“深度异构图卷积网络(DHGCN)”,它利用了异构图的模式,并使用分层的方法来有效地利用信息许多跳远。它首先基于目标节点的“模式导出的自我网络”(SEN)计算目标节点的表示。然后,它将相同类型的节点与各种预定义的元路径链接起来,并沿着这些链接执行消息传递,以计算最终的节点表示。我们的设计选择自然地捕获了从模式生成异构图的方式。真实和合成数据集上的实验结果证实了设计选择,并说明了相对于竞争替代品的性能增益。
2021-05-03 cs.AI cs.LG
RGE-GCN: Recursive Gene Elimination with Graph Convolutional Networks for RNA-seq based Early Cancer Detection
Department of Computer Science, New Jersey Institute of Technology(计算机科学系,新泽西理工学院);Department of Data Science, New Jersey Institute of Technology(数据科学系,新泽西理工学院);Department of Biostatistics(生物统计学系);Division of Cardiology, Brown University Health(心脏病学部,布朗大学健康中心);Department of Medicine, Warren Alpert Medical School of Brown University(医学系,布朗大学沃伦·阿尔珀特医学院)
RGE-GCN结合图卷积网络和递归基因消除,用于基于RNA-seq的早期癌症检测,实现了高准确率和生物标志物发现。
2025-12-07 cs.AI cs.LG
RBA-GCN: Relational Bilevel Aggregation Graph Convolutional Network for Emotion Recognition
提出RBA-GCN,通过图生成、相似性聚类和双层聚合模块,解决传统GCN信息冗余和模态交互弱的问题,在IEMOCAP和MELD上F1提升2.17%-5.21%。
2023-08-31 cs.AI cs.LG
Beyond Graph Convolutional Network: An Interpretable Regularizer-centered Optimization Framework
College of Computer and Data Science, Fuzhou University(福州大学计算机与数据科学学院);School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院)
本文提出一个可解释的以正则化器为中心的优化框架来统一解释各种图卷积网络,并基于此设计了双正则化器图卷积网络tsGCN,利用矩阵恒等式和低秩近似降低计算复杂度,在多个数据集上取得优异分类性能。
2023-01-11 cs.AI cs.LG
Understanding the Basis of Graph Convolutional Neural Networks via an Intuitive Matched Filtering Approach
University of Montenegro(黑山大学);Imperial College London(伦敦帝国理工学院)
图卷积神经网络(GCNN)正在成为不规则域数据处理的首选模型,但由于NN的黑箱性质,很少研究其分析和操作原理。为此,我们重新审视了GCNN的操作,并表明它们的卷积层可以有效地对具有所选模式(特征)的输入数据进行匹配滤波。这使我们能够通过匹配滤波器的角度提供GCNN的统一解释,从而在匹配滤波框架内讨论非线性ReLU和最大池化层。接下来是关于GCNN中信息传播和学习的分步指南。它还表明,标准的CNN和全连接的神经网络可以得到作为一个特殊的情况下,GCNN。一个精心选择的数值示例指导读者完成GCNN操作的各个步骤,并在视觉和数值上进行学习。
2021-08-23 cs.AI cs.IT cs.LG
GIST: Distributed Training for Large-Scale Graph Convolutional Networks
Rice University(莱斯大学);Nanyang Technology University(南洋理工大学)
图卷积网络(GCN)是图上机器学习的首选解决方案,但其训练在图大小和模型参数数量方面都难以扩展。虽然一些工作已经探索了大规模图的培训(例如,GraphSAGE、GraphterGCN等),我们开创了大规模GCN模型的有效训练(即,超宽,超参数化模型),并提出了一种新的分布式训练框架。我们提出的训练方法,称为GIST,将GCN模型的参数分割成几个独立和并行训练的较小的子GCN。除了与所有GCN架构和现有采样技术兼容以实现有效的GCN训练外,GIST i)提高了模型性能,ii)扩展到任意大的图上的训练,iii)减少了挂钟训练时间,iv)支持显著过度参数化的GCN模型的训练。值得注意的是,使用GIST,我们训练了一个全宽32,768维的GraphSAGE模型,该模型超过了单个GPU的容量8倍,在Amazon2M数据集上达到了SOTA性能。
2022-03-14 cs.AI cs.DC cs.LG
GCNET: graph-based prediction of stock price movement using graph convolutional network
University of Tehran(德黑兰大学)
考虑相关股票数据对股票价格走势预测的重要性已经在许多研究中显示出来,然而,用于建模、嵌入和分析相关股票行为的先进图形技术尚未被广泛用于股票价格走势预测。在这一领域的主要挑战是找到一种方法来建模的任意一组股票之间的现有关系,并利用这样的模型,以提高这些股票的预测性能。在这个领域中的大多数现有的方法依赖于基本的图分析技术,具有有限的预测能力,并且缺乏通用性和灵活性。在本文中,我们介绍了一种新的框架,称为GCNET模型之间的关系任意一组股票作为一个图形结构称为影响网络,并使用一组基于历史的预测模型来推断合理的初始标签的股票节点的一个子集在图中。最后,GCNET使用图卷积网络算法来分析这个部分标记的图,并预测图中每个股票的下一个价格走势。GCNET是一个通用的预测框架,可以应用于基于历史数据预测相互作用的股票的价格波动。我们的实验和一组股票从纳斯达克指数的评估表明,GCNET显着提高SOTA的准确性和MCC措施方面的性能。
2022-08-31 cs.AI cs.LG q-fin.TR
R-GCN: The R Could Stand for Random
Ghent University - imec(根特大学-imec);IDLab(互联网与数据实验室)
关系图卷积网络(R-GCN)的出现标志着语义Web领域的一个里程碑,它是一种广泛引用的方法,将端到端的分层表示学习推广到知识图谱(KG)。R-GCN通过重复聚合其邻居的参数化、关系特定的变换来生成感兴趣节点的表示。然而,在本文中,我们认为,R-GCN的主要贡献在于这种“消息传递”的范例,而不是学习的权重。为此,我们引入了“随机关系图卷积网络“(RR-GCN),它使所有参数都未经训练,从而通过聚合来自邻居的随机变换的随机表示来构建节点嵌入,即,没有学习参数。我们的经验表明,RR-GCN可以与完全训练的R-GCN在节点分类和链接预测设置。
2022-05-06 cs.AI cs.LG stat.ML
Stability and Generalization of Graph Convolutional Neural Networks
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
受一维和二维数据上的卷积神经网络的启发,图卷积神经网络(GCNN)已经被开发用于图数据上的各种学习任务,并且在现实世界的数据集上显示出优越的性能。尽管他们取得了成功,但缺乏对GCNN模型的理论探索,例如它们的泛化特性。在本文中,我们通过分析单层GCNN模型的稳定性并在半监督图学习环境中推导其泛化保证,迈出了对GCNN模型更深入的理论理解的第一步。特别是,我们证明了GCNN模型的算法稳定性取决于其图卷积滤波器的最大绝对特征值。此外,为了确保提供强泛化保证所需的一致稳定性,最大绝对特征值必须与图的大小无关。我们的研究结果为设计新的和改进的图卷积滤波器提供了新的见解,并保证了算法的稳定性。我们评估了各种真实世界图数据集的泛化差距和稳定性,并表明实证结果确实支持我们的理论研究结果。据我们所知,我们是第一个在半监督环境中研究图学习的稳定性界限并推导出GCNN模型的泛化界限的人。
2019-05-14 cs.AI cs.LG stat.ML
Multi-Task Text Classification using Graph Convolutional Networks for Large-Scale Low Resource Language
IIIT Hyderabad(海得拉巴国际信息技术研究所)
图卷积网络(GCN)在情感分析、情感检测等单一文本分类任务上取得了最先进的结果。然而,性能是通过对英语等资源丰富的语言进行测试和报告来实现的。将GCN应用于多任务文本分类是一个未探索的领域。此外,训练GCN或采用英语GCN用于印度语言通常受到数据可用性,丰富的形态变化,语法和语义差异的限制。在本文中,我们研究了使用GCN的泰卢固语在单任务和多任务设置为四个自然语言处理(NLP)的任务,即。情感分析(SA),情感识别(EI),仇恨言论(HS),和讽刺检测(SAR)。为了评估GCN与印度语言之一,泰卢固语的性能,我们分析了GCN的基础上的模型与广泛的实验四个下游任务。此外,我们为四个NLP任务创建了一个带注释的泰卢固语数据集TEL-NLP。此外,我们提出了一种有监督的图重建方法,Telugu上的多任务文本GCN(MT-Text GCN),它利用同时(i)使用图形自动编码器(GAE)从单词-句子图重建中学习低维单词和句子图嵌入,以及(ii)使用这些潜在的句子图嵌入执行多任务文本分类。我们认为,我们提出的MT-Text GCN在TEL-NLP上比现有的泰卢固语预训练词嵌入和多语言预训练Transformer模型:mBERT和XLM-R有了显着的改进。在TEL-NLP上,我们在四个NLP任务中获得了很高的F1分数:SA(0.84),EI(0.55),HS(0.83)和SAR(0.66)。最后…
2022-05-02 cs.AI cs.CL cs.LG
Distributed Optimization of Graph Convolutional Network using Subgraph Variance
Deakin University(迪肯大学)
近年来,图卷积网络在图结构数据学习方面取得了巨大的成功。随着图中节点和边数量的不断增加,单处理器的GCN训练已经不能满足对时间和内存的需求,分布式GCN训练框架的研究应运而生。然而,现有的分布式GCN训练框架需要处理器之间的巨大通信成本,因为需要从其他处理器收集和传输大量的依赖节点和边缘信息用于GCN训练。为了解决这个问题,我们提出了一个基于图增强的分布式GCN框架(GAD)。特别是,GAD有两个主要组件,GAD-Partition和GAD-Optimizer。我们首先提出了一个基于图扩充的分区(GAD-Partition),它可以将原始图划分为扩充子图,通过选择和存储尽可能少的其他处理器的重要节点来减少通信,同时保证训练的准确性。此外,我们进一步设计了一个基于子图方差的重要性计算公式,并提出了一种新的加权全局一致性方法,统称为GAD-Optimizer。该优化器自适应地降低具有大方差的子图的重要性,以减少GAD分区引入的额外方差对分布式GCN训练的影响。在四个大规模真实世界数据集上的广泛实验表明,与最先进的方法相比,我们的框架显着降低了通信开销(50%),提高了分布式GCN训练的收敛速度(2倍),并且基于最小冗余的准确性略有提高(0.45%)。
2021-10-06 cs.AI cs.DC cs.LG
Graph Convolutional Network with Generalized Factorized Bilinear Aggregation
Australian National University(澳大利亚国立大学);Data61/CSIRO(Data61/联邦科学与工业研究组织)
虽然图卷积网络(GCN)已经在各种应用中展示了它们的能力,但是作为GCN最重要的组成部分的图卷积层仍然使用线性变换和简单的池化步骤。在本文中,我们提出了一种新的推广的分解双线性(FB)层来模拟GCN中的特征交互。FB执行两个矩阵向量乘法,即权重矩阵与两侧隐藏特征向量的外积相乘。然而,FB层遭受系数的二次数量、过拟合和由于违反i.i.d.的隐藏表示的通道之间的相关性而导致的虚假相关性。假设因此,我们提出了一个紧凑的FB层,通过定义一个家庭的总结运营商应用于二次项。我们分析建议池运营商和激励他们的使用。我们在多个数据集上的实验结果表明,GFB-GCN与其他文本分类方法相比具有竞争力。
2021-07-24 cs.AI cs.CL cs.LG
Every Node Counts: Self-Ensembling Graph Convolutional Networks for Semi-Supervised Learning
Huazhong University of Science & Technology(华中科技大学);University of Technology Sydney(悉尼科技大学);JD.COM Silicon Valley Research Center(京东硅谷研究中心)
图卷积网络(GCN)为基于图的半监督任务提供了一种强有力的手段。然而,作为谱图卷积的局部一阶近似,经典的GCN不能充分利用未标记数据,特别是当未标记节点远离标记节点时。为了利用来自未标记节点的信息来促进GCN的训练,我们提出了一个名为Self-Ensembling GCN(SEGCN)的新框架,该框架将GCN与Mean Teacher -半监督学习中的另一个强大模型-结合在一起。SEGCN包含一个学生模型和一个教师模型。作为一名学生,它不仅学会正确地对标记的节点进行分类,而且在更具有挑战性的情况下,如高辍学率和图崩溃,它还试图在未标记的节点上与老师保持一致。作为教师,它会对学生模型权重进行平均,并生成更准确的预测来引导学生。在这种相互促进的过程中,标记和未标记的样本都可以充分利用反向传播的有效梯度训练GCN。在三个文章分类任务,即Citeseer,Cora和Pubmed中,我们验证了所提出的方法在分类精度上与最新技术相匹配。
2018-09-26 cs.AI cs.LG stat.ML
Towards a Spectrum of Graph Convolutional Networks
NEC Labs Europe(NEC欧洲实验室)
我们提出了我们正在进行的工作,了解图卷积网络(GCN)的局限性,以及我们的工作概括的图卷积表示更复杂的节点属性依赖关系。基于GCN的分析与相应的计算图的帮助下,我们提出了一个推广现有的GCN的聚合操作是(a)由局部邻域图的结构特性和(b)不限于加权平均。我们表明,所提出的方法是严格更具表现力,而只需要一个适度的增加参数和计算的数量。我们还表明,当应用于规则网格图时,所提出的泛化与标准卷积层相同。
2018-05-04 cs.AI cs.CV cs.LG
Graph Convolutional Networks for Multi-modality Medical Imaging: Methods, Architectures, and Clinical Applications
UNC Charlotte(北卡罗来纳大学夏洛特分校);Sensebrain Research(Sensebrain研究院);UCLA(加州大学洛杉矶分校);Stanford University(斯坦福大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Rutgers University(罗格斯大学)
基于图像的表征和疾病理解涉及跨生物尺度的形态、空间和拓扑信息的综合分析。图卷积网络(GCN)的发展为通过图驱动架构解决这种信息复杂性创造了机会,因为GCN可以以显着的灵活性和效率执行特征聚合,交互和推理。这些GCN的能力催生了医学成像分析研究的新浪潮,其总体目标是改善定量疾病理解,监测和诊断。然而,为多模态医学成像设计重要的图像到图形转换以及深入了解模型解释和增强的临床决策支持仍然面临着艰巨的挑战。在这篇综述中,我们提出了最近的GCN的发展的背景下,医学图像分析,包括成像数据从放射学和组织病理学。我们讨论了在医学图像分析中快速增长的图形网络架构的使用,以改善疾病诊断和临床实践中的患者结局。为了促进跨学科研究,我们介绍了GCN的技术进步,新兴的医学应用,确定了使用基于图像的GCN及其在模型解释中的扩展所面临的共同挑战,以及有望改变医学图像研究和相关图形驱动医学研究范围的大规模基准。
2022-04-21 cs.AI cs.CV cs.LG