Detection of Word Adversarial Examples in Text Classification: Benchmark and Baseline via Robust Density Estimation
Seoul National University(首尔国立大学);NAVER WEBTOON AI(NAVER WEBTOON人工智能部门)
词级对抗攻击在NLP模型中取得了成功,近年来大大降低了基于transformer的模型的性能。作为一种对策,对抗性防御已被探索,但相对较少的努力已经检测到对抗性的例子。然而,检测对抗性示例对于自动化任务(例如,审查情感分析)可能是至关重要的,这些任务希望收集有关特定人群的信息,并且另外是迈向强大防御系统的一步。为此,我们在四个数据集和四个模型上发布了四种流行攻击方法的数据集,以鼓励在这一领域的进一步研究。与此同时,我们提出了一个基于密度估计的竞争性基线,该基线在30种攻击模型组合中的29种组合中具有最高的AUC。源代码可在https://github.com/anoymous92874838/text-adv-detection上获得。
2022-03-03 cs.CL cs.CR cs.LG
Graph Classification via Discriminative Edge Feature Learning
Deakin University(迪肯大学);Fudan University(复旦大学)
谱图卷积神经网络(GCNN)在图分类任务中取得了令人鼓舞的结果。然而,大多数谱GCNN在聚合节点特征时使用固定图,而忽略了边缘特征学习,无法获得最佳图结构。此外,许多现有的图数据集没有提供初始化的边缘特征,进一步限制了通过谱GCNN学习边缘特征的能力。在本文中,我们试图通过设计边缘特征方案和GCNN中每两个堆叠图卷积层之间的附加层来解决这个问题。两者都是轻量级的,同时有效地填补了边缘特征学习和图分类性能增强之间的差距。边缘特征方案使边缘特征适应不同图卷积层的节点表示。附加层有助于将边缘特征调整为最佳图形结构。为了测试我们的方法的有效性,我们采取欧几里德位置作为初始节点的功能和提取图形的语义信息从点云对象。我们提取的图的节点特征对于边缘特征学习比大多数现有的图数据集(在独热编码标签格式中)更具可扩展性。基于ModelNet 40、ModelNet 10和ShapeNet Part数据集构建了三个新的图形数据集。实验结果表明,我们的方法在新数据集上的性能优于最先进的图分类方法,在Graph-ModelNet 40上达到96.56%的整体准确率,在Graph-ModelNet 10上达到98.79%,在Graph-ShapeNet部分达到97.91%。构建的图形数据集将向社区发布。
2022-10-05 cs.CV cs.LG
GSpect: Spectral Filtering for Cross-Scale Graph Classification
本文提出GSpect模型,通过图小波神经网络卷积层和谱池化层解决跨尺度图分类问题,并构建MSG数据集,在多个数据集上显著提升分类准确率。
2024-08-31 cs.AI cs.LG cs.SI
A Simple Baseline Algorithm for Graph Classification
Telecom ParisTech(巴黎电信学院);Safran(赛峰集团)
图分类最近受到了机器学习的各个领域的广泛关注,例如核方法,顺序建模或图嵌入。所有这些方法都提供了有希望的结果,但各自有不同的优点和缺点。然而,它们中的大多数依赖于复杂的数学,需要大量的计算能力才能实现最佳性能。我们提出了一个简单而快速的算法的基础上的谱分解的图拉普拉斯进行图分类,并获得第一个参考得分的数据集。我们表明,这种方法获得竞争力的结果相比,国家的最先进的算法。
2018-11-12 cs.LG stat.ML
A simple yet effective baseline for non-attributed graph classification
The Ohio State University(俄亥俄州立大学)
图形是复杂的对象,不容易适用于典型的学习任务。最近,已经开发了一系列基于图核或图神经网络的方法,用于图分类和一般的图上的表示学习。随着开发的方法变得更加复杂,重要的是要了解日益复杂的方法的哪些组成部分是必要的或最有效的。作为第一步,我们开发了一个简单而有意义的图表示,并探讨其在图分类的有效性。我们在一系列图数据集上测试了图分类任务的基线表示。有趣的是,这种简单的表示实现了与用于非属性图分类的最先进的图核和图神经网络相似的性能。它在分类属性图上的性能稍弱,因为它没有包含属性。然而,考虑到它的简单性和效率,我们相信它仍然可以作为属性图分类的有效基线。我们的图形表示是有效的(线性时间)计算。我们还提供了一个简单的连接与图神经网络。注意,这些观察仅用于图分类的任务,而现有方法通常被设计用于更广泛的范围,包括节点嵌入和链接预测。由于可用的基准数据集数量有限,结果也可能存在偏差。尽管如此,我们的简单基线的良好性能要求开发新的,更全面的基准数据集,以便更好地评估和分析不同的图学习方法。此外,考虑到我们的图摘要的计算效率,我们相信它是未来图分类(甚至其他图学习)研究的基线方法的良好候选者。
2022-05-18 cs.LG stat.ML
From Graph Generation to Graph Classification
School of Computing Science(计算科学学院);Simon Fraser University(西蒙弗雷泽大学)
本研究提出一种利用图生成模型(GGM)的图分类新方法,推导了对应分类公式,提出用条件ELBO训练生成式图自编码器用于判别,为图分类领域提供了新思路。
2023-07-23 cs.LG stat.ML
Capsule Neural Networks for Graph Classification using Explicit Tensorial Graph Representations
Braintree Ltd.(布伦特里有限公司);University College London(伦敦大学学院)
图分类是许多科学领域中的一个重要问题。它解决的任务,如蛋白质和化合物的分类到类别根据其功能,或化学和结构特性。在有监督的环境中,这个问题可以被定义为学习一组标记图中的结构、特征和特征之间的关系,并能够正确预测未见过图的标签或类别。当试图应用已建立的分类算法时,由于需要固定大小的矩阵或图的张量表示,这可能会在节点和边的数量上有很大的不同,因此在这项任务中出现了一个重大的困难。在将显式张量表示与标准的基于图像的分类器相结合的先前工作的基础上,我们提出了一种模型,通过从给定集合中的每个图中提取固定大小的张量信息来执行图分类,并使用胶囊网络来执行分类。我们在这里考虑的图是无向的,并且在节点上具有类别特征。使用标准的基准化学和蛋白质数据集,我们证明了我们的图胶囊网络分类模型使用显式张量表示的图形是有竞争力的,尽管只有有限的超参数搜索与当前最先进的图形内核和图神经网络模型。
2019-02-22 cs.LG stat.ML
Time Series Classification from Scratch with Deep Neural Networks: A Strong Baseline
GE Global Research(通用电气全球研究中心);University of Maryland Baltimore County(马里兰大学巴尔的摩分校)
我们提出了一个简单但强大的基线,用于从头开始使用深度神经网络进行时间序列分类。我们提出的基线模型是纯端到端的,没有对原始数据或特征制作进行任何繁重的预处理。提出的全卷积网络(FCN)实现了其他最先进的方法的优异性能,我们对具有ResNet结构的非常深的神经网络的探索也具有竞争力。我们的卷积模型中的全局平均池化使得能够利用类激活图(CAM)来找出特定标签的原始数据中的贡献区域。我们的模型为现实世界的应用提供了一个简单的选择,并为未来的研究提供了一个很好的起点。全面的分析,讨论我们的模型,学习功能,网络结构和分类语义的泛化能力。
2016-12-14 cs.LG cs.NE stat.ML
Graph Convolutional Networks for Classification with a Structured Label Space
Bombora Inc.(Bombora公司);New York University(纽约大学)
在多类分类中,通常忽略类的结构信息。在本文中,我们提出了一个图卷积网络(GCN)增强神经网络分类器,利用一个已知的,底层的图形结构的标签。所提出的方法类似于(近似)推理过程,例如,条件随机场(CRF)。我们评估所提出的方法对文件分类和对象识别和报告的准确性和图论指标,对应于模型的预测的一致性。实验结果表明,所提出的模型优于基线方法,忽略了图形结构的标签空间的图论度量。
2018-02-22 cs.LG stat.ML
Clique pooling for graph classification
University of Cambridge(剑桥大学)
我们提出了一种新的图池操作使用团作为单位池。由于这种方法是纯粹的拓扑,而不是特征,它更容易解释,比过滤或修剪技术更好地模拟图像粗化,并且完全非参数化。该操作在图卷积网络(GCN)和GraphSAGE架构中实现,并针对标准图分类基准进行测试。此外,我们还探索了池化与常规图的向后兼容性,在用我们的机制替换标准卷积神经网络(CNN)中的两两池化时,表现出了竞争力。
2019-04-09 cs.LG stat.ML
Adaptive-Step Graph Meta-Learner for Few-Shot Graph Classification
College of Computer Science, Zhejiang University(浙江大学计算机学院);University of California, Santa Barbara(加州大学圣巴巴拉分校)
图分类的目的是从图结构的数据中提取准确的信息进行分类,在图学习领域变得越来越重要。虽然图神经网络(GNNs)已经成功地应用于图分类任务,但大多数GNNs在许多应用中忽略了标记图数据的稀缺性。例如,在生物信息学中,获得蛋白质图标签通常需要费力的实验。最近,少样本学习已经被探索来缓解这个问题,仅给定测试类的少量标记图样本。在Few-Shot图分类中,训练类和测试类之间的共享子结构是必不可少的。现有方法假设测试类属于从训练类聚类的同一超类集合。然而,根据我们的观察,训练类和测试类的标签空间在现实世界中通常不会重叠。因此,现有的方法不能很好地捕捉到不可见测试类的局部结构。为了克服这一局限性,在本文中,我们提出了一种直接的方法来捕捉子结构与良好的初始化元学习器在几个适应步骤。具体而言,(1)提出了一种新的图元学习器框架,该框架使用基于GNNs的模块对图数据进行快速自适应,并使用步长控制器对图元学习器进行鲁棒性和泛化,(2)对该框架进行了定量分析,并给出了基于该框架的泛化误差与图相关的上界;(3)在真实数据集上的大量实验表明,与基线相比,我们的框架在几个Few-Shot图分类任务上获得了最先进的结果。
2020-06-23 cs.LG stat.ML
Variational Recurrent Neural Networks for Graph Classification
Telecom ParisTech(巴黎高等电信学院);Safran(赛峰集团)
我们解决的问题,图的分类只基于结构信息。受自然语言处理技术(NLP)的启发,我们的模型顺序地嵌入信息来估计类成员概率。此外,我们还尝试了NLP类变分正则化技术,使模型在读取序列时预测序列中的下一个节点。我们的实验表明,我们的模型在几个标准分子数据集上实现了最先进的分类结果。最后,我们进行了定性分析,并就节点预测是否有助于模型更好地分类图给出了一些见解。
2019-05-13 cs.LG stat.ML
Two-stage Training of Graph Neural Networks for Graph Classification
KAIST(韩国科学技术院);Yonsei University(延世大学)
图神经网络(GNN)在图上的机器学习领域受到了广泛关注。受神经网络成功的启发,人们进行了一系列研究来训练GNN以处理各种任务,例如节点分类、图分类和链接预测。在这项工作中,我们感兴趣的任务是图分类。已经提出了几种GNN模型,并在这项任务中表现出很高的精度。然而,问题是通常的训练方法是否完全实现了GNN模型的能力。在这项工作中,我们提出了一个两阶段的训练框架的基础上三重损失。在第一阶段中,GNN被训练为将每个图映射到欧几里得空间向量,以便相同类的图很接近,而不同类的图映射得很远。一旦图基于标签被很好地分离,分类器就被训练来区分不同的类。这种方法是通用的,因为它与任何GNN模型兼容。通过调整五个GNN模型到我们的方法,我们证明了在12个数据集中,每个GNN的分配容量的准确性和利用率比每个模型的原始训练方法提高了5.4个点。
2022-04-08 cs.LG stat.ML
Graph Partition Neural Networks for Semi-Supervised Classification
University of Toronto(多伦多大学);Uber ATG Toronto(优步高级技术集团多伦多分部);Vector Institute(向量研究所);Microsoft Research Cambridge(微软研究院剑桥分院);Google Brain(谷歌大脑);Canadian Institute for Advanced Research(加拿大高级研究所)
我们提出了图分区神经网络(GPNN),图神经网络(GNNs)的扩展,能够处理非常大的图。GPNN在小子图中的节点之间的局部传播信息和子图之间的全局传播信息之间交替。为了有效地划分图形,我们实验了几种划分算法,并提出了一种新的变体,用于快速处理大规模图形。我们在各种半监督节点分类任务上广泛测试了我们的模型。实验结果表明,GPNN是优于或相当于国家的最先进的方法在各种各样的数据集上的基于图的半监督分类。我们还表明,GPNN可以实现类似的性能标准GNNs的传播步骤更少。
2018-03-16 cs.LG stat.ML
MGCN: Semi-supervised Classification in Multi-layer Graphs with Graph Convolutional Networks
Sharif University of Technology(谢里夫理工大学)
图嵌入是实现节点分类、链接预测等图分析任务的重要方法。图嵌入的目标是找到保留图信息的图节点的低维表示。最近的方法,如图卷积网络(GCN),试图考虑节点属性(如果可用),除了节点关系和学习节点嵌入的无监督和半监督的任务图。另一方面,多层图分析最近受到关注。然而,现有的多层图嵌入方法不能包含所有可用的信息(如节点属性)。此外,他们中的大多数考虑节点或边的类型,他们不处理层内和层间的边缘不同。在本文中,我们提出了一种称为MGCN的方法,利用GCN的多层图。MGCN使用层内和层间关系和节点属性嵌入多层图的节点。我们在半监督节点分类任务上评估我们的方法。实验结果表明,该方法的优越性,其他多层和单层的竞争对手,也显示了积极的效果,使用跨层的边缘。
2019-08-24 cs.LG stat.ML
IsoNN: Isomorphic Neural Network for Graph Representation Learning and Classification
IFM Lab(IFM实验室);Florida State University(佛罗里达州立大学)
深度学习模型在许多领域取得了巨大的成功,例如计算机视觉和自然语言处理。然而,与这些领域不同的是,由于“无节点有序”属性,很难将传统的深度学习模型应用于图数据。通常情况下,邻接矩阵会在图上投射一个人为的和随机的节点顺序,这使得深度模型在图分类任务上的性能非常不稳定,并且这些模型学习的表示缺乏清晰的可解释性。为了消除不必要的节点顺序约束,本文提出了一种新的同构神经网络(IsoNN)模型,该模型通过输入图与模板之间的图匹配来提取图的同构特征,从而学习图的表示。IsoNN有两个主要部分:图同构特征提取部分和分类部分。图同构特征提取组件利用一组子图模板作为核变量来学习输入图中存在的可能的子图模式,然后计算同构特征。在组件中使用一组置换矩阵来打破由矩阵表示带来的节点顺序。三个全连接层被用作IsoNN中的分类组件。在基准数据集上进行了大量实验,实验结果可以证明ISONN的有效性,特别是与经典和最先进的图分类方法相比。
2019-09-28 cs.LG stat.ML
Certified Robustness of Graph Classification against Topology Attack with Randomized Smoothing
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
图分类在各个领域都有实际应用。最近的研究表明,基于图的机器学习模型由于图数据的非独立同分布性质而特别容易受到对抗性扰动的影响。通过添加或删除图中的少量边,对手可以极大地改变由图分类模型预测的图标签。在这项工作中,我们提出了建立一个平滑的图分类模型与认证的鲁棒性保证。我们已经证明,所得到的图分类模型将输出相同的预测下的图$l_0$有界对抗扰动。我们还评估了我们的方法的有效性下的图卷积网络(GCN)的多类图分类模型。
2020-09-12 cs.CR cs.LG stat.ML
Structural Landmarking and Interaction Modelling: on Resolution Dilemmas in Graph Classification
Temple University(天普大学);East China Normal University(华东师范大学);Fudan University(复旦大学);Georgia Institute of Technology(佐治亚理工学院)
图神经网络是一种很有前途的用于学习和推理图结构数据的体系结构。然而,在图形分类方面,对“部分”及其"相互作用“进行建模的困难仍然存在,其中图形级表示通常是通过图形池将整个图形压缩成单个向量来获得的。从复杂系统的角度来看,将系统的所有部分混合在一起会影响模型的可解释性和预测性能,因为复杂系统的属性主要来自其组件之间的相互作用。我们分析了内在的困难,图分类的统一概念下的“分辨率困境”与学习理论的恢复保证,并提出了"SLIM“,一个归纳神经网络模型的结构地标和交互建模。事实证明,通过解决分辨率困境,并利用图的组成部分之间的显式交互关系来解释其复杂性,SLIM更具可解释性,准确性,并为图表示学习提供了新的见解。
2020-06-29 cs.LG stat.ML
Discriminative structural graph classification
EPFL(洛桑联邦理工学院);SDSC(瑞士数据科学中心)
本文重点研究了聚集函数的鉴别能力:这些聚集函数是图神经网络用来组合节点特征的置换不变函数。意识到最强大的聚合函数遭受维数灾难,我们考虑一个限制设置。特别是,我们表明,标准的总和和一种新的基于直方图的功能有能力区分任何固定数量的输入选择的对手。基于我们的见解,我们设计了一个图神经网络的目标,不是最大化的歧视能力,但学习的歧视性图表示,推广良好。我们的实证评估提供的证据表明,我们的选择可以产生效益的问题的结构图分类。
2019-06-05 cs.LG stat.ML
The Optimal Input-Independent Baseline for Binary Classification: The Dutch Draw
Centrum Wiskunde & Informatica(数学与计算机科学研究中心);Vrije Universiteit(阿姆斯特丹自由大学)
在将任何二元分类模型付诸实践之前,重要的是在适当的测试集上验证其性能。如果没有基准方法提供的参照系,就不可能确定一个分数是“好”还是“坏”。本文的目标是检查所有的基线方法,是独立的特征值,并确定哪个模型是“最好的”,为什么。通过确定哪些基线模型是最佳的,简化了评估过程中的关键选择决策。我们证明,最近提出的荷兰画基线是最好的输入无关分类器(独立的特征值)的所有位置不变的措施(独立的序列顺序)假设样本随机洗牌。这意味着荷兰式抽签基线是这些直观要求下的最佳基线,因此应在实践中使用。
2023-01-09 cs.LG math.ST stat.ME
PiNet: Attention Pooling for Graph Classification
University College London(伦敦大学学院)
我们提出了PiNet,一个通用的可微分注意力池机制,利用图卷积操作进行图级分类。我们展示了高样本效率和优于其他图神经网络的性能,在区分同构图类,以及竞争力的结果与最先进的方法对标准的化学信息学数据集。
2020-08-11 cs.CV cs.LG stat.ML
Topological based classification of paper domains using graph convolutional networks
Bar-Ilan University(巴伊兰大学)
图中节点分类的主要方法是信息传播和节点类与外部信息的关联。现有技术的方法通过图卷积网络合并这些方法。我们在这里使用的关联的拓扑特征的节点与他们的类来预测这个类。此外,将拓扑信息与信息传播相结合,提高了标准CiteSeer和Cora论文分类任务的分类精度。拓扑特征和信息传播产生的结果几乎与基于文本的分类一样好,没有文本或内容信息。我们建议通过一个GCN表示的拓扑结构和信息传播与相邻的训练节点分类作为输入和当前节点分类作为输出。这种形式主义优于现有技术的方法。
2019-04-10 cs.LG cs.SI stat.ML
Revisiting Neighborhood Aggregation in Graph Neural Networks for Node Classification using Statistical Signal Processing
International University of Rabat(拉巴特国际大学)
本文从统计信号处理角度重新审视GNN中的邻域聚合,指出基准模型在边缘独立标签假设下的概念缺陷,并提出改进设计见解。
2024-07-21 cs.LG eess.SP stat.ML
Are Powerful Graph Neural Nets Necessary? A Dissection on Graph Classification
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Zhejiang University(浙江大学)
图神经网络(GNN)受到越来越多的关注,部分原因是它们在许多节点和图分类任务中具有优异的性能。然而,人们对他们正在学习的内容以及所学习的图函数的复杂程度缺乏了解。在这项工作中,我们提出了将GNN的图分类分解为两个部分:1)图过滤,其中执行基于图的邻居聚合,以及2)集合函数,其中组成一组隐藏节点特征用于预测。为了研究这两部分的重要性,我们建议将它们分别线性化。我们首先线性化的图过滤功能,产生的图形特征网络(GFN),这是一个简单的轻量级神经网络上定义的\textit{set}的图形增强功能。GFN的集函数的进一步线性化导致图线性网络(GLN),这是一个线性函数。根据经验,我们对常见的图分类基准进行评估。令我们惊讶的是,我们发现,尽管简化了,GFN可以匹配或超过最近提出的GNN产生的最佳精度(计算成本的一小部分),而GLN表现明显不佳。我们的研究结果表明,非线性集函数的重要性,并建议,线性图过滤与非线性集函数是一个有效的和强大的计划建模现有的图分类基准。
2020-06-09 cs.LG cs.SI stat.ML
Semi-supervised Learning with Graphs: Covariance Based Superpixels For Hyperspectral Image Classification
University of Cambridge(剑桥大学)
提出了一种基于图的半监督高光谱图像分类框架。我们首先介绍了一种新的超像素算法的基础上的光谱协方差矩阵表示的像素,以提供一个更好的表示我们的数据。然后,我们在进行分类之前,根据仔细考虑的特征向量构建一个超像素图。通过使用两个基准数据集的一组实验结果,我们证明了我们的方法优于三种最先进的分类框架,特别是当使用极少量的标记数据时。
2019-05-14 cs.CV cs.LG stat.ML
Superpixel Contracted Graph-Based Learning for Hyperspectral Image Classification
高光谱图像分类的核心问题是在使用有限数量的标记数据时获得高的分类精度。在本文中,我们提出了一种新的基于图的框架,其目的是解决这个问题,在存在大规模的数据输入。我们的方法利用了一种新的超像素方法,专门为高光谱数据设计,以定义图像中有意义的局部区域,这些区域具有很高的概率共享相同的分类标签。然后,我们从这些区域提取光谱和空间特征,并使用这些来产生一个收缩的加权图形表示,其中每个节点代表一个区域,而不是一个像素。然后,我们的图被输入到一个基于图的半监督分类器中,该分类器给出最终的分类。我们表明,在图形表示中使用超像素是加速应用于高光谱图像的图形分类器的有效工具。我们通过详尽的定量和定性结果证明,我们提出的方法产生准确的分类时,使用了令人难以置信的少量标记的数据。我们表明,我们的方法减轻了现有方法的主要缺点,导致我们的方法优于几个比较国家的最先进的技术。
2019-03-19 cs.CV cs.LG stat.ML
Collaborative Graph Walk for Semi-supervised Multi-Label Node Classification
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Symantec(赛门铁克)
本文提出协作图游走方法Multi-Label-Graph-Walk,利用强化学习精细调整节点嵌入,通过多智能体协作游走捕获标签与结构关系及任务相关性,实现半监督多标签节点分类性能显著提升。
2019-11-17 cs.AI cs.LG stat.ML
Intrusion Detection: Machine Learning Baseline Calculations for Image Classification
PeopleTec, Inc.(PeopleTec公司)
网络安全可以通过应用机器学习来增强,方法是将网络攻击数据重新转换为图像格式,然后应用监督计算机视觉和其他机器学习技术来检测恶意样本。探索性数据分析显示,本研究中使用的十类恶意软件之间的相关性很小,也没有什么区别。一个一般的模型比较表明,最有前途的候选人考虑轻梯度提升机,随机森林分类器,额外的树分类器。卷积网络无法提供其出色的分类能力,被简单、完全连接的架构所超越。大多数测试未能突破80%的分类准确性,并且F1得分较低,表明更复杂的方法(例如,自举、随机采样和特征选择)以最大化性能。
2021-11-03 cs.LG
A Baseline for Multi-Label Image Classification Using An Ensemble of Deep Convolutional Neural Networks
Department of Computer Science, Durham Univeristy, United Kingdom
最近关于多标签图像分类的研究集中在设计更复杂的深度神经网络架构,例如使用注意力机制和区域建议网络。虽然已经报告了性能增益,但所提出的方法的骨干深度模型和不同作品中采用的评估指标各不相同,因此很难公平地比较每种方法。此外,由于缺乏适当调查的基线,所提出的技术所带来的优势往往是模糊的。为了解决这些问题,我们对用于多标签图像分类的主流深度卷积神经网络架构进行了深入研究,并提出了一个强大的基线。通过使用适当的数据增强技术和模型集成,基本的深度架构可以在三个基准数据集上实现比许多现有的更复杂的架构更好的性能,为未来多标签图像分类的研究提供了很好的见解。
2019-05-09 cs.CV cs.LG cs.MM
Graph Classification via Deep Learning with Virtual Nodes
Deakin University(迪肯大学);University of Wollongong(伍伦贡大学)
图分类的学习表示将可变大小的图转换为固定大小的向量(或矩阵)。这样的表示很好地与代数操作一起工作。在这里,我们介绍了一个简单的方法来增加一个属性图与一个虚拟节点,是双向连接到所有现有的节点。虚拟节点表示图的潜在方面,这些方面不能立即从属性和局部连接结构中获得。然后将扩展的图通过任何节点表示方法。虚拟节点的表示就是整个图的表示。在本文中,我们使用最近推出的列网络的扩展图,从而在一个新的端到端的图分类模型称为虚拟列网络(VCN)。该模型通过两项任务进行验证:(i)预测化合物的生物活性,以及(ii)从源代码中发现软件漏洞。结果表明,VCN是有竞争力的对成熟的竞争对手。
2017-08-14 cs.AI cs.LG stat.ML
Supervised Contrastive Learning with Structure Inference for Graph Classification
Beijing University of Technology(北京工业大学)
近年来,高级图神经网络在图分类方面显示出巨大的潜力。与节点分类不同的是,图分类需要对不同层次的拓扑信息进行分层积累,以生成有区别的图嵌入,节点分类可以直接使用从本地邻居聚合的节点嵌入来学习节点标签。尽管如此,如何充分探索图结构并制定有效的图分类管道仍然是基本的。本文提出了一种基于结构推理的有监督对比学习的图神经网络。首先,我们提出了一个数据驱动的图增强策略,可以发现额外的连接,以增强现有的边集。具体地说,我们诉诸于一个结构推理阶段的基础上扩散级联,以恢复可能的连接与高节点相似性。其次,为了提高图神经网络的对比度,我们提出了使用监督对比损失进行图分类。通过标签信息的整合,可以将one-vs-many对比学习扩展到many-vs-many,从而将拓扑相似度较高的图级嵌入拉近。监督对比损失和结构推理可以自然地并入分层图神经网络中,其中拓扑模式可以被充分探索以产生有区别的图嵌入。实验结果表明,该方法的有效性与最近的国家的最先进的方法相比。
2022-03-15 cs.LG
Image Evolution Trajectory Prediction and Classification from Baseline using Learning-based Patch Atlas Selection for Early Diagnosis
University of Dundee(邓迪大学);Istanbul Technical University(伊斯坦布尔理工大学)
最初诊断为早期轻度认知障碍(eMCI)的患者已知是临床异质性组,具有非常微妙的脑萎缩模式。为了检查正常对照(NC)和eMCI之间的边界,磁共振成像(MRI)被广泛用作一种非侵入性成像方式,以确定MCI患者脑图像的细微变化。然而,eMCI研究仍然受到可用MRI采集时间点数量的限制。理想情况下,人们将学习如何从单个时间点获得的MRI数据中早期诊断MCI患者,同时利用“不存在”的随访观察结果。为此,我们提出了新的监督和无监督框架,学习如何联合预测和标记强度补丁的演变轨迹,每个种子在一个特定的大脑地标,从基线强度补丁。具体而言,这两种策略的目的是在基线时间点识别最佳训练图谱块,以预测和分类给定测试基线块的演变轨迹。监督技术学习如何选择最好的地图集补丁,通过训练双向映射从空间的成对补丁相似性,以其相应的预测误差-当一个补丁被用来预测其他。另一方面,无监督技术使用多个内核学习多种基线图谱和测试补丁,以很好地捕获多个尺度的补丁分布。一旦最好的基线图谱补丁被选中,我们检索它们的演化轨迹,并平均它们来预测测试基线补丁的演化轨迹。接下来,我们将预测的轨迹输入到线性分类器的集合中,每个分类器都在特定的地标上训练。与基于单个时间点的分类方法相比,我们的分类准确率提高了10%。
2019-07-13 cs.CV cs.LG eess.IV
Graph-Hist: Graph Classification from Latent Feature Histograms With Application to Bot Detection
Carnegie Mellon University(卡内基梅隆大学)
神经网络越来越多地用于各种上下文中的图分类。社交媒体是这个领域的一个关键应用领域,然而社交媒体图的特征与大多数流行的基准数据集不同。社交网络往往是大而稀疏的,而基准则是小而密集的。传统上,大型稀疏网络通过研究局部属性的分布来分析。受此启发,我们引入了Graph-Hist:一种端到端的架构,它可以提取图的潜在局部特征,沿着特征空间的一维横截面将节点合并在一起,并基于此多通道直方图对图进行分类。我们表明,Graph-Hist在真实的社交媒体基准数据集上提高了最先进的性能,同时在其他基准上仍然表现良好。最后,我们通过在社交媒体中进行机器人检测来展示Graph-Hist的性能。虽然复杂的机器人和电子人账户越来越多地避开传统的检测方法,但它们在会话图中留下了人工伪像,这些伪像通过图分类来检测。我们应用Graph-Hist对这些会话图进行分类。在这个过程中,我们确认社交媒体图与大多数基线不同,并且Graph-Hist优于现有的机器人检测模型。
2019-10-02 cs.LG cs.SI stat.ML
PiNet: A Permutation Invariant Graph Neural Network for Graph Classification
University College London(伦敦大学学院);Braintree Ltd.(Braintree公司)
我们提出了一种用于图分类和表示学习的端到端深度学习学习模型,该模型对输入图的节点的排列是不变的。我们解决的挑战,学习一个固定大小的图形表示不同尺寸的图形通过可微节点注意力池机制。除了理论证明其不变性置换,我们提供的实证证据表明,在统计上显着的增益精度时,面对同构图分类任务,只有少量的训练样本。我们分析了四种不同矩阵的效果,以促进本地消息传递机制,通过该机制执行图卷积,而不是由能够在前者之间平滑过渡的学习参数对参数化的矩阵。最后,我们证明了我们的模型在一组分子数据集上实现了与现有技术竞争的分类性能。
2019-05-08 cs.CV cs.LG cs.NE
Strengthening structural baselines for graph classification using Local Topological Profile
AGH University of Science and Technology(AGH科技大学)
本研究分析图分类结构基线LDP,基于公平评估框架提出融合额外中心性与局部顶点描述符的LTP基线,在9个基准中4个达SOTA,优化了计算效率,可胜过GIN等现代模型并提供开源实现。
2023-05-01 cs.LG
Overhead-MNIST: Machine Learning Baselines for Image Classification
PeopleTec, Inc.(PeopleTec 公司)
对23种机器学习算法进行了训练,然后进行评分,以建立基线比较指标,并选择一种值得嵌入关键任务卫星成像系统的图像分类算法。Overhead-MNIST数据集是卫星图像的集合,其风格类似于机器学习文献中普遍存在的MNIST手写数字。在PyCaret一般比较中,CatBoost分类器、轻度梯度提升机器和极端梯度提升模型产生了最高的准确度、曲线下面积(AUC)和F1分数。单独的评估表明,深度卷积架构是最有前途的。我们将整体性能最佳算法的结果作为边缘可部署性和未来性能改进的基线:卷积神经网络(CNN)在看不见的测试数据上的分类准确度为0.965。
2021-10-19 cs.AI cs.CV cs.LG
From Graph Diffusion to Graph Classification
University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙菲莎大学)
针对图领域分类未充分探索的问题,提出为基于分数的图扩散模型定制新型判别训练目标,结合基于采样的推理方法,实现了最先进的图分类准确率。
2024-11-26 cs.AI cs.LG
Geometric graphs from data to aid classification tasks with graph convolutional networks
Queen Mary University of London(伦敦玛丽女王大学);Imperial College London(帝国理工学院);Tokyo Institute of Technology(东京工业大学)
传统的分类任务学习仅基于样本特征将样本分配给给定的类。这一范式正在演变,以包括其他信息来源,如样本之间的已知关系。在这里,我们表明,即使额外的关系信息是不可用的数据集,可以通过构建几何图形的功能本身,并使用它们在一个图卷积网络的分类。通过以相对低的边缘密度捕获样本相似性的图来最大化分类精度的提高。我们表明,这种特征衍生图增加了数据与地面实况的对齐,同时提高了类分离。我们还证明了使用谱稀疏化可以使图更有效,这减少了边缘的数量,同时仍然提高了分类性能。我们使用来自各个科学领域的合成和真实世界的数据集来说明我们的研究结果。
2021-04-13 cs.LG cs.SI physics.soc-ph
Quadratic GCN for Graph Classification
Bar-Ilan University(巴伊兰大学)
图卷积网络(GCN)已被广泛用于图中的顶点分类,并已被证明优于其他顶点分类方法。GCN已经扩展到图分类任务(GCT)。在GCT中,具有不同边数和顶点数的图属于不同的类,并且人们试图预测图类。基于GCN的GCT主要使用池化和基于注意力的模型。现有的GCT方法的精度仍然有限。在这里,我们提出了一种新的解决方案,结合GCN,知识图谱的方法,和一个新的自正则化激活函数,显着提高GCN的GCT的准确性。我们提出了二次GCN(QGCN)-一个GCN形式主义与二次层。这样的层产生具有固定维度的输出,与图顶点数无关。我们将这种方法应用到广泛的图形分类问题,并表明,当使用一个自我正则化的激活函数,QGCN优于所有的图形分类任务测试或没有外部输入的每个图形的最先进的方法。QGCN的代码可在https://github.com/Unknown-Data/QGCN上获得。
2021-04-14 cs.LG
Robust Classification of Graph-Based Data
Universidad Autónoma de Madrid(马德里自治大学);KU Leuven(鲁汶大学)
提出了一种基于图的分类方法,用于欧几里德数据情况下的半监督学习和图数据情况下的分类。我们的流形学习技术是基于一个凸优化问题,涉及一个凸二次正则化项和凹二次损失函数与权衡参数精心选择,使目标函数保持凸。如经验所示,考虑凹损失函数的优点在于,在存在噪声标签的情况下,学习问题变得更加鲁棒。此外,这里考虑的损失函数更类似于分类损失,而其他几种方法将基于图的分类问题视为回归问题。
2019-01-28 cs.LG
Room Classification on Floor Plan Graphs using Graph Neural Networks
George Mason University(乔治梅森大学)
我们提出了我们的方法来改善房间分类任务的建筑物平面图的平面图表示为无向图和利用图神经网络来预测房间类别。楼层平面图中的房间表示为图形中的节点,边表示它们在地图中的相邻关系。我们实验的House-GAN数据集,包括平面图的矢量格式和训练多层感知器和图神经网络。我们的研究结果表明,图神经网络,特别是GraphSAGE和拓扑自适应GCN能够分别达到80%和81%的准确率,超过基线多层感知器15%以上的利润率。
2021-08-12 cs.LG
Virus-MNIST: Machine Learning Baseline Calculations for Image Classification
PeopleTec, Inc.(PeopleTec 公司)
病毒-MNIST数据集是缩略图图像的集合,其风格类似于无处不在的MNIST手写数字。然而,这些是通过将可能的恶意软件代码重塑成图像阵列来投射的。自然,它准备在病毒分类器模型训练的基准测试中发挥作用。目前有十种类型:九种被归类为恶意软件,一种是良性的。粗略的检查显示,在选择分类和预处理方法时,必须考虑到不平等的类别群体和其他关键方面。探索性分析显示了聚合指标中可能的可识别特征(例如,像素中值),以及通过识别强相关性来减少特征数量的方法。模型比较显示,轻型梯度提升机器、梯度提升分类器和随机森林算法产生了最高的准确性分数,从而显示出更深入审查的前景。
2021-11-03 cs.LG
Semi-Supervised Node Classification on Graphs: Markov Random Fields vs. Graph Neural Networks
Duke University(杜克大学)
图结构数据的半监督节点分类在欺诈检测、虚假账号和评论检测、社交网络中用户的私有属性推断以及社区发现等方面有着广泛的应用。各种方法,如成对马尔可夫随机场(pMRF)和图神经网络开发的半监督节点分类。pMRF比图神经网络更有效。然而,现有的基于pMRF的方法不如图神经网络准确,这是由于它们假设所有边缘的基于几何学的恒定边缘势的关键限制。在这项工作中,我们的目标是解决现有的基于pMRF的方法的关键限制。特别是,我们建议学习边缘电位pMRF。我们对各种类型的图数据集的评估结果表明,我们优化的pMRF为基础的方法始终优于现有的图神经网络的准确性和效率。我们的研究结果强调,以前的工作可能低估了半监督节点分类的pMRF的力量。
2020-12-25 cs.LG
Structure-Enhanced Meta-Learning For Few-Shot Graph Classification
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);University of Hong Kong(香港大学)
图分类是一个非常有影响力的任务,在分子性质预测和蛋白质功能预测等众多现实世界的应用中发挥着至关重要的作用。为了处理具有有限标记图的新类别,Few-Shot图分类已经成为现有图分类解决方案和实际应用的桥梁。这项工作探讨了基于度量的元学习解决少镜头图分类问题的潜力。我们强调了在解决方案中考虑结构特征的重要性,并提出了一种新的框架,该框架显式地考虑了输入图的全局结构和局部结构。GIN上的一个实现,命名为SMF-GIN,测试两个数据集,Chembl和三角形,广泛的实验验证了所提出的方法的有效性。Chembl的构建是为了填补缺乏用于Few-Shot图分类评估的大规模基准的空白,其与SMF-GIN的实现一起发布在:https://github.com/jiangshunyu/SMF-GIN。
2021-12-28 cs.LG
Size-Invariant Graph Representations for Graph Classification Extrapolations
Purdue University(普渡大学)
通常,图表示学习方法假设训练和测试数据来自相同的分布。在这项工作中,我们考虑一个未充分探索的领域,否则迅速发展的领域的图表示学习:分布外(OOD)图分类的任务,其中训练和测试数据具有不同的分布,与测试数据在训练过程中不可用。我们的工作表明,使用因果模型来学习近似不变的表示是可能的,这些表示可以更好地在训练和测试数据之间进行外推。最后,我们得出结论与合成和真实世界的数据集实验展示的好处,是不变的训练/测试分布偏移的表示。
2021-07-06 cs.LG
Imbalanced Graph Classification via Graph-of-Graph Neural Networks
Vanderbilt University(范德堡大学);Snap Research(Snap研究院)
图神经网络(GNN)在识别图的分类标签方面取得了前所未有的成功。然而,大多数现有的GNN图分类问题都遵循平衡数据分割的协议,这与许多现实场景不一致,其中一些类的标签比其他类少得多。在这种不平衡的情况下直接训练GNN可能会导致少数类别中的图的无信息表示,并损害整体分类性能,这表明开发有效的GNN对处理不平衡图分类的重要性。现有的方法要么是针对非图结构化数据量身定制的,要么是专门为不平衡节点分类而设计的,而很少关注不平衡图分类。为此,我们引入了一个新的框架,图的图神经网络(G $^2$ GNN),它通过从相邻图中全局导出额外的监督和从图的随机扩充中局部导出额外的监督来解决图的不平衡问题。在全球范围内,我们构建了一个图形的图形(GoG)的基础上内核相似性和执行GoG传播聚合相邻的图形表示。在局部,我们采用拓扑增强通过掩蔽节点功能或下降的边缘与自洽正则化生成每个图的随机增强,提高模型的泛化能力。在七个基准数据集上进行的广泛的图分类实验表明,我们提出的G $^2$ GNN在F1宏观和F1微观分数上都优于许多基线约5%。G $^2$ GNN的实现可在https://github.com/YuWVandy/G2GNN}{https://github.com/YuWVandy/G2GNN
2022-09-28 cs.LG cs.SI
Adversarial Attacks on Graph Classification via Bayesian Optimisation
University of Oxford(牛津大学)
图神经网络是一种在广泛的基于图的学习任务中有效的流行模型,已被证明容易受到对抗性攻击。虽然大多数文献都集中在节点级分类任务中的这种脆弱性上,但很少有人致力于分析对图级分类的对抗性攻击,这是生物化学和社交网络分析等众多现实应用的一个重要问题。现有的几种方法通常需要不切实际的设置,例如访问受害者模型的内部信息,或者不切实际的大量查询。我们提出了一种新的贝叶斯优化为基础的攻击方法的图分类模型。我们的方法是黑盒,查询效率和吝啬的扰动。我们经验验证了所提出的方法的有效性和灵活性,广泛的图形分类任务,涉及不同的图形属性,约束和攻击模式。最后,我们分析了产生的对抗样本背后的常见可解释模式,这可能会进一步揭示图分类模型的对抗鲁棒性。
2021-11-04 cs.AI cs.CR cs.LG
A Survey on Graph Classification and Link Prediction based on GNN
School of Computer Science and Engineering(计算机科学与工程学院);University of Electronic Science and Technology of China(电子科技大学)
本文综述了图卷积神经网络的基础,解析了基于注意力机制和自编码器的GNN模型,并总结了其在节点分类、图分类及链接预测任务中的应用与相关数据集。
2023-07-03 cs.LG
Blockchain Phishing Scam Detection via Multi-channel Graph Classification
Zhejiang University of Technology(浙江工业大学)
随着区块链技术的普及,区块链交易网络的金融安全问题日益严峻。网络钓鱼诈骗检测方法将保护可能的受害者,并建立一个更健康的区块链生态系统。通常,现有的工作定义钓鱼欺诈检测作为一个节点分类任务,通过学习用户的潜在特征,通过图嵌入方法,如随机游走或图神经网络(GNN)。然而,由于区块链交易网络的规模庞大,这些检测方法具有高复杂度,忽略了交易的时间信息。为了解决这个问题,我们为用户定义了交易模式图,并将钓鱼欺诈检测转换为图分类任务。为了从输入图中提取更丰富的信息,我们提出了一种多通道图分类模型(MCGC),该模型具有多个用于GNN的特征提取通道。交易模式图和MCGC通过提取目标用户的交易模式特征,更能检测出潜在的钓鱼欺诈者。在七个基准数据集和以太坊数据集上的大量实验表明,所提出的MCGC不仅可以在图分类任务中实现最先进的性能,而且可以基于目标用户的交易模式图实现有效的钓鱼欺诈检测。
2021-08-19 cs.LG
Label Contrastive Coding based Graph Neural Network for Graph Classification
Florida State University(佛罗里达州立大学)
图分类是一个重要的研究问题,在许多不同领域的应用。为了学习图分类模型,最广泛使用的监督组件是输出层以及分类损失(例如,交叉熵损失与softmax或边际损失一起)。事实上,实例之间的区分信息是更细粒度的,这可以有利于图分类任务。本文提出了一种新的基于标签对比编码的图神经网络(LCGNN),以更有效、更全面地利用标签信息。LCGNN仍然使用分类损失来确保类别的可区分性。同时,LCGNN利用自监督学习提出的标签对比损失来鼓励实例级的类内紧凑性和类间可分性。为了支持对比学习,LCGNN引入了动态标签存储体和动量更新编码器。我们对八个基准图数据集的广泛评估表明,LCGNN可以超越最先进的图分类模型。实验结果也证明了LCGNN能以较少的训练数据获得有竞争力的性能,因为LCGNN充分利用了标签信息。
2021-01-14 cs.AI cs.LG
Research on the application of graph data structure and graph neural network in node classification/clustering tasks
本文研究图数据结构、经典图算法与GNN,在节点分类和聚类任务上比较评估,证明GNN准确率提升43%至70%,并提出二者融合策略。
2025-07-20 cs.LG
Application of Graph Neural Networks and graph descriptors for graph classification
AGH University of Science and Technology(AGH科技大学);ACK Cyfronet(ACK赛弗罗内特);Faculty of Computer Science, Electronics and Telecommunications(计算机科学、电子与电信学院);Institute of Computer Science(计算机科学研究所)
图分类是现代研究和工业中的一个重要领域。多种应用,特别是在化学和新药发现中,鼓励机器学习模型在该领域的快速发展。为了跟上新研究的步伐,适当的实验设计,公平的评估和独立的基准是必不可少的。设计强有力的基线是这类工作不可或缺的要素。在这篇论文中,我们探讨了多种方法来图分类。我们专注于图神经网络(GNNs),它是图表示学习的事实上的标准深度学习技术。经典的方法,如图描述符和分子指纹,也得到了解决。设计了公平评价实验方案,选择了合适的数据集。这使我们能够进行大量的实验,并严格分析现代方法。我们得出了许多结论,新的光的性能和质量的新算法。我们研究了跳跃知识GNN结构在图分类中的应用,这被证明是改进基本图神经网络结构的有效工具。对基线模型提出了多种改进,并进行了实验验证,这对公平模型比较领域做出了重要贡献。
2022-11-07 cs.LG
Graph Embedding Using Infomax for ASD Classification and Brain Functional Difference Detection
Yale University(耶鲁大学)
使用功能磁共振成像来表征ASD(一种复杂的神经发育障碍)中发生的大脑变化已经取得了重大进展。然而,由于fMRI的高维数和低信噪比,嵌入信息和强大的大脑区域fMRI表示ASD和健康对照(HC)组之间的图形级分类和区域级功能差异检测任务是困难的。在这里,我们将整个大脑的fMRI建模为一个图,它保留了几何和时间信息,并使用图神经网络(GNN)从图结构的fMRI数据中学习。我们研究了包括互信息(MI)损失(Infomax)的潜力,这是一个无监督的术语,鼓励每个节点表示及其相应的图形级汇总表示的大MI,以学习更好的图形嵌入。具体来说,这项工作开发了一个管道,包括GNN编码器,分类器和分类器,它迫使编码的节点表示既有利于分类,又揭示了图中的常见节点模式。我们同时优化图级分类损失和Infomax。我们证明了Infomax图嵌入作为正则化项提高了分类性能。此外,我们发现ASD和HC组在前额叶皮层,扣带皮层,视觉区域和其他社会,情感和执行相关的大脑区域的可分离的节点表示。与仅具有分类损失的GNN相比,所提出的管道可以促进训练更鲁棒的ASD分类模型。此外,可分离的节点表示可以检测两组之间的功能差异,并有助于揭示新的ASD生物标志物。
2019-08-14 cs.CV cs.LG eess.IV
Heterophily-Based Graph Neural Network for Imbalanced Classification
Eindhoven University of Technology(埃因霍温理工大学);Leiden University(莱顿大学)
本文提出Fast Im-GBK方法,结合异质性感知GNN与不平衡分类策略,解决图上的类别不平衡问题,显著提升分类性能并减少训练时间。
2023-10-12 cs.LG