Pooling Architecture Search for Graph Classification
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Paradigm. Inc.(第四范式);Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Lenovo(联想)
图分类是一个重要的问题,在许多领域的应用,如化学和生物信息学,其中图神经网络(GNN)已经是最先进的(SOTA)方法。GNN被设计为基于邻域聚合方案来学习节点级表示,并且为了获得图级表示,在现有GNN模型中的聚合操作之后应用池化方法来生成粗粒度图。然而,由于图分类的高度多样化的应用,以及现有的池化方法的性能在不同的图上不同。换句话说,这是一个具有挑战性的问题,设计一个通用的池架构,在大多数情况下表现良好,导致在现实世界的应用程序中的数据特定的池方法的需求。为了解决这个问题,我们建议使用神经架构搜索(NAS)来搜索用于图分类的自适应池化架构。首先,我们设计了一个统一的框架,包括四个模块:聚合,池化,读出,合并,它可以涵盖现有的人类设计的池化方法的图分类。在此框架基础上,结合人工设计的体系结构中的流行操作,设计了一种新的搜索空间。然后,为了实现有效的搜索,提出了一种粗化策略,以不断放松的搜索空间,从而可以采用可微搜索方法。在三个领域的六个真实数据集上进行了大量的实验,结果证明了所提出的框架的有效性和效率。
2021-08-24 cs.LG
SiGMA: Learning under Graph-Level Heterogeneity with Gated Message-Passing and Attention
Harvard University(哈佛大学)
本文系统分析了图级任务中的性能异质性,发现仅凭图拓扑无法解释该现象,并利用Tree Mover's Distance建立了类间距离比与性能异质性的联系,进而提出了选择性重布线和基于图谱的深度选择启发式方法以优化GNN设计。
2026-11-18 cs.LG
Graph is all you need? Lightweight data-agnostic neural architecture search without training
Rensselaer Polytechnic Institute(罗切斯特理工学院);IBM Research(IBM研究院)
提出免训练的轻量级数据无关NAS方法nasgraph,通过将架构转为图并利用平均度作为代理指标,在217秒内从200个随机采样架构中选出最优,并在多个基准上表现优异。
2025-06-20 cs.LG
GraphMinNet: Learning Dependencies in Graphs with Light Complexity Minimal Architecture
University of Kentucky(肯塔基大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Institute for Biomedical Informatics(生物医学信息学研究所)
本文提出GraphMinNet,一种基于极简门控循环单元的图神经网络架构,通过线性计算复杂度高效建模长距离依赖,结合特征与位置编码提升表达能力,在十个数据集上取得领先性能。
2025-02-01 cs.LG
Chimaera: A Mixture-of-Graph-Experts Architecture for Cross-Task and Cross-Dataset Graph Learning
University of Ulm(乌尔姆大学);University of Essex(埃塞克斯大学)
Chimaera提出图专家混合架构,整合多种图基础模型与线性GNN,扩展至多任务,实验证明其跨任务和数据集迁移的有效性。
2026-10-26 cs.LG
GNN-Transformer Cooperative Architecture for Trustworthy Graph Contrastive Learning
School of Computer and Information Technology, Shanxi University(山西大学计算机与信息技术学院)
提出GTCA架构,融合GNN与Transformer优势并引入图拓扑,解决图对比学习中随机增强干扰语义及GNN过平滑、过压缩问题,理论验证可信性,实验达最先进性能。
2025-03-27 cs.LG
Encoder-Decoder Architecture for Supervised Dynamic Graph Learning: A Survey
McGill University(麦吉尔大学)
近年来,流行的在线服务产生了大量的用户活动数据。服务提供商收集这些数据,以便进行客户行为分析,并提供更好,更个性化的服务。这些数据中的大多数可以建模并存储为图,例如Facebook中的社交图,Youtube中的用户-视频交互图。这些图需要随着时间的推移而发展,以捕捉现实世界中的动态,从而导致动态图的发明。然而,嵌入在动态图的时态信息带来了新的挑战,分析和部署它们。事件陈旧、时间信息学习和显式时间维度使用是动态图学习中的一些示例挑战。为了给工业界和学术界提供一个方便的参考,本文提出了基于动态图进化理论的三阶段递归时态学习框架,以便用一个广义的框架来解释时态信息的学习。在这个框架下,本调查分类和审查不同的可学习的编码器-解码器架构的监督动态图学习。我们相信,这项调查可以提供有用的指导方针,研究人员和工程师在寻找合适的图形结构,为他们的动态学习任务。
2022-03-27 cs.LG
Reducing Neural Architecture Search Spaces with Training-Free Statistics and Computational Graph Clustering
ETH Zürich(苏黎世联邦理工学院);Università di Bologna(博洛尼亚大学)
神经结构搜索(NAS)算法的计算需求通常与其目标搜索空间的大小成正比。因此,限制搜索到高质量的子集可以大大减少NAS算法的计算负荷。在本文中,我们提出了一种新的技术,以减少NAS的搜索空间的大小基于简化的缩减(C-BRED)。C-BRED通过聚类与其架构相关的计算图并使用与网络准确性相关的代理统计信息选择最有希望的集群来减少NAS空间。当考虑NAS-Bench-201(NB 201)数据集和CIFAR-100任务时,C-BRED选择了平均准确度为70%的子集,而不是整个空间的平均准确度为64%。
2022-04-29 cs.LG
Causal-aware Graph Neural Architecture Search under Distribution Shifts
Tsinghua University(清华大学);Alibaba Cloud(阿里云)
本文提出因果感知的图神经架构搜索方法 CARNAS,通过发现并利用图与架构间的稳定因果关系,在分布偏移下搜索可泛化的图架构,显著提升分布外泛化能力。
2024-12-30 cs.AI cs.LG
Joint Embedding Predictive Architecture for self-supervised pretraining on polymer molecular graphs
Department of Intelligent Systems, Delft University of Technology(智能系统系,代尔夫特理工大学)
针对聚合物标注数据集稀缺问题,研究在聚合物分子图上应用JEPA进行自监督预训练,证明该方法在标注数据稀缺时显著提升了下游任务性能。
2025-06-22 cs.LG
Graph-level Representation Learning with Joint-Embedding Predictive Architectures
Bocconi University(博科尼大学);Michigan State University(密歇根州立大学);University of Verona(维罗纳大学)
本文提出Graph-JEPA,一种基于联合嵌入预测架构的图级自监督表示学习方法,通过掩码建模预测子图表示,并在单位双曲线上预测坐标以捕获层次结构,实验证明其在图分类、回归和区分非同构图任务上表现优异。
2025-01-18 cs.LG
Unsupervised Graph Neural Architecture Search with Disentangled Self-supervision
Tsinghua University(清华大学);Wechat, Tencent(腾讯微信)
针对现有GNAS依赖监督标签的问题,本文提出DSGAS模型,通过解耦图超网络、联合解耦自监督训练和带增强的对比搜索,在无监督场景下实现了SOTA性能。
2024-03-08 cs.AI cs.LG
DARTS-GT: Differentiable Architecture Search for Graph Transformers with Quantifiable Instance-Specific Interpretability Analysis
Department of Computer Science, University of Oxford(牛津大学计算机科学系)
本文提出DARTS-GT,通过可微架构搜索在图Transformer注意力中实现深度异构的GNN算子选择,并开发了首个基于因果消融的GT定量可解释性框架,证明异构架构能兼顾性能与可解释性。
2025-10-30 cs.LG
FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search
Southern University of Science and Technology(南方科技大学)
提出结合常规与反向图视图的GNN性能预测器FR-NAS,通过定制损失在多个NAS基准上显著提升预测精度。
2024-04-24 cs.LG
A Generalization of Transformer Networks to Graphs
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
我们提出了一个推广的Transformer神经网络架构的任意图形。最初的Transformer是为自然语言处理(NLP)设计的,它对表示序列中单词之间所有连接的全连接图进行操作。这样的架构不利用图连接性归纳偏差,并且当图拓扑很重要并且尚未被编码到节点特征中时可能表现不佳。我们引入了一个图Transformer,与标准模型相比,它具有四个新的属性。首先,注意力机制是图中每个节点的邻域连通性的函数。其次,位置编码由拉普拉斯特征向量表示,其自然地概括了NLP中经常使用的正弦位置编码。第三,层归一化被批量归一化层取代,这提供了更快的训练和更好的泛化性能。最后,该架构扩展到边缘特征表示,这可能是关键的任务,例如。化学(键类型)或链接预测(知识图谱中的实体关系)。在一个图形基准上的数值实验证明了所提出的图形Transformer架构的性能。这项工作缩小了原来的Transformer,这是专为线图的有限情况下,和图神经网络,可以与任意图形之间的差距。由于我们的架构是简单和通用的,我们相信它可以作为一个黑盒,为未来的应用程序,希望考虑Transformer和图形。
2021-01-24 cs.LG
Graph-based Neural Modules to Inspect Attention-based Architectures: A Position Paper
IBM Research(IBM研究院);City, University of London(伦敦城市大学);UFRGS(巴西南大河州联邦大学);MIT Sloan School of Management(麻省理工学院斯隆管理学院)
编码器-解码器架构是最先进的解决方案的重要组成部分,适用于深度学习(DL)或基础模型发挥关键作用的多个领域。虽然有越来越多的社区致力于为DL模型提供解释,以及在神经符号社区中寻求整合符号表示和DL的大量工作,但仍有许多悬而未决的问题需要更好的工具来可视化DL架构的内部工作。特别是,编码器-解码器模型提供了一个令人兴奋的机会,可视化和编辑的知识隐含在模型权重的人。在这项工作中,我们探索如何创建一个抽象的网络段作为一个双向的基于图形的表示。对该图结构的更改应直接反映在底层张量表示中。这种双向图表示通过利用编码器-解码器的模式识别能力以及在图上执行的符号推理来实现新的神经符号系统。该方法有望产生与DL模型交互的新方式,同时也将学习和推理能力相结合,从而提高性能。
2022-10-13 cs.LG
Rethinking Graph Transformer Architecture Design for Node Classification
Zhejiang University of Technology(浙江工业大学);Binjiang Institute of Artificial Intelligence, ZJUT(浙江工业大学滨江人工智能研究院);Science and Technology on Communication Information Security Control Laboratory(通信信息安全控制实验室)
针对图Transformer在节点分类中易受全局噪声影响且难以扩展到大型图的问题,本文提出基于传播与转换解耦的GNNFormer架构,有效提升了同质与异质场景下的分类性能与计算效率。
2024-10-15 cs.LG
GraphPNAS: Learning Distribution of Good Neural Architectures via Deep Graph Generative Models
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所);University of Waterloo(滑铁卢大学)
神经架构可以自然地被视为计算图。出于这种观点,在本文中,我们通过学习随机图模型的镜头来研究神经架构搜索(NAS)。与现有的NAS方法相比,这些方法主要集中在搜索单个最佳架构,即点估计,我们提出了GraphPNAS一种深度图生成模型,可以学习性能良好的架构的分布。依靠图神经网络(GNNs),我们的GraphPNAS可以更好地捕捉良好神经架构的拓扑结构和其中运算符之间的关系。此外,我们的图生成器导致了一种可学习的概率搜索方法,比常用的RNN生成器和随机搜索方法更灵活,更有效。最后,我们通过一个有效的强化学习公式NAS学习我们的生成器。为了评估我们的GraphPNAS的有效性,我们在三个搜索空间上进行了广泛的实验,包括TinyImageNet上具有挑战性的RandWire,CIFAR 10上的ENAS和NAS-Bench-101/201。RandWire的复杂性明显大于文献中的其他搜索空间。我们表明,我们提出的图形生成器始终优于基于RNN的图形生成器,并且比最先进的NAS方法具有更好或相当的性能。
2022-11-28 cs.AI cs.LG
NodeNAS: Node-Specific Graph Neural Architecture Search for Out-of-Distribution Generalization
Tongji University(同济大学)
提出NodeNAS及多维扩展MNNAS方法,通过解耦节点拓扑与图分布、建模幂律分布,在有限数据下为不同节点定制架构,实现出色的分布外泛化。
2025-03-06 cs.LG cs.SI
Probabilistic Dual Network Architecture Search on Graphs
University of Cambridge(剑桥大学);Shenzhen Institue of Advanced Technology(深圳先进技术研究院)
提出了图神经网络的第一种可微网络结构搜索算法。GNN在广泛的任务上表现出良好的性能,但需要大量的架构工程。首先,图本质上是一种非欧几里得的复杂数据结构,导致GNN架构在不同数据集上的适应性较差。其次,一个典型的图块包含许多不同的组件,如聚合和注意力,产生一个大的组合搜索空间。为了解决这些问题,我们提出了一个概率双网络架构搜索(PDNAS)框架的GNN。PDNAS不仅优化了单个图形块(微架构)内的操作,而且还考虑了这些块应该如何相互连接(宏架构)。双架构(微架构和宏架构)优化允许PDNAS在不同的数据集上找到更深入的GNN,与其他图NAS方法相比具有更好的性能。此外,我们使用完全基于梯度的搜索方法来更新架构参数,使其成为第一个可微图NAS方法。PDNAS优于现有的手工设计的GNN和NAS结果,例如,在PPI数据集上,PDNAS在F1得分上击败了最好的竞争对手1.67和0.17。
2020-03-21 cs.LG stat.ML
Federated Learning with Heterogeneous Architectures using Graph HyperNetworks
NVIDIA(英伟达)
标准联邦学习(FL)技术仅限于具有相同网络架构的客户端。这限制了潜在的用例,例如在需要数据隐私和架构专有时的跨平台培训或组织间协作。我们提出了一个新的FL框架,通过采用图超网络参数共享,以适应异构客户端架构。图超网络的一个特性是它可以适应各种计算图,从而允许跨模型共享有意义的参数。与现有的解决方案不同,我们的框架不限制客户端共享相同的架构类型,不使用外部数据,也不要求客户端公开他们的模型架构。与基于蒸馏和非图超网络基线相比,我们的方法在标准基准测试中表现得更好。我们还显示了令人鼓舞的泛化性能看不见的架构。
2022-01-20 cs.AI cs.LG
Training-Free Cross-Architecture Merging for Graph Neural Networks
International Institute of Information Technology, Hyderabad, India(国际信息研究所,海得拉巴,印度)
H-GRAMA提出一种无需训练的跨架构图神经网络融合方法,通过通用操作符家族实现异构模型融合,保留高精度并提升推理效率
2026-02-22 cs.LG
Simplifying Architecture Search for Graph Neural Network
Paradigm Inc.(第四范式公司)
近年来,图神经网络(GNN)在各种场景中得到了广泛的应用。为了获得最佳的数据特定GNN架构,研究人员转向神经架构搜索(NAS)方法,该方法在发现卷积神经网络中的有效架构方面取得了令人印象深刻的进展。GraphNAS和Auto-GNN这两个前期工作首次尝试将NAS方法应用于GNN。尽管取得了令人鼓舞的结果,但由于设计的搜索空间,GraphNAS和Auto-GNN在表达能力和搜索效率方面存在一些缺点。为了克服这些缺点,我们提出了SNAG框架(简化的神经结构搜索图神经网络),由一个新的搜索空间和一个基于强化学习的搜索算法。在真实世界数据集上进行的大量实验证明了SNAG框架与人类设计的GNN和NAS方法(包括GraphNAS和Auto-GNN)相比的有效性。
2020-09-06 cs.LG stat.ML
Graph-Time Convolutional Neural Networks: Architecture and Theoretical Analysis
Delft University of Technology(代尔夫特理工大学)
设计和分析时空网络数据的学习模型对于预测、异常检测和多智能体协调等任务具有重要意义。图卷积神经网络(GCNN)是一种从时不变网络数据中学习的成熟方法。图卷积操作提供了一种原则性的方法来聚合多分辨率信息。然而,将卷积原理学习和相应分析扩展到时空域是具有挑战性的,因为时空数据具有更多的内在依赖性。因此,需要更高的灵活性来联合捕获空间和时间依赖性,以学习有意义的高阶表示。在这里,我们利用产品图来表示数据中的时空依赖关系,并引入图-时间卷积神经网络(GTCNN)作为辅助学习的原则架构。所提出的方法可以与任何类型的产品图,我们还介绍了一个参数产品图学习也时空耦合。卷积原理还允许与GCNN类似的数学易处理性。特别地,稳定性结果表明GTCNN对空间扰动是稳定的,但在可辨别性和鲁棒性之间存在隐含的权衡;即,模型越复杂,稳定性越差。基准数据集上的大量数值结果证实了我们的发现,并显示GTCNN与最先进的解决方案相比毫不逊色。我们预计GTCNN将成为更复杂模型的起点,这些模型将实现良好的性能,但也从根本上扎根。
2022-06-30 cs.LG
A Variational-Sequential Graph Autoencoder for Neural Architecture Performance Prediction
University of Mannheim(曼海姆大学)
在计算机视觉研究中,自动化建筑工程的过程,神经结构搜索(NAS),已经获得了很大的兴趣。在过去,NAS是很难访问的研究人员没有访问大规模的计算系统,由于非常长的计算时间的循环搜索和评估新的候选架构。NAS-Bench-101数据集促进了对经典方法(如监督学习)的范式转变,以评估神经架构。在本文中,我们提出了一个图形编码器建立在图神经网络(GNN)。我们证明了所提出的编码器对可见架构类型以及不可见架构类型(即,zero shot预测)。我们还提供了一个新的变序图自动编码器(VS-GAE)的基础上提出的图形编码器。VS-GAE专门用于利用GNN对不同长度的图进行编码和解码。不同采样方法的实验表明,我们的VS-GAE学习的嵌入空间增加了准确性预测任务的稳定性。
2020-08-26 cs.CV cs.LG
Anomaly-resistant Graph Neural Networks via Neural Architecture Search
通常,图神经网络(GNN)一直使用消息传递方法来聚合和汇总关于邻居的信息以表达它们的信息。尽管如此,以前的研究表明,图神经网络的性能变得脆弱时,有异常节点的邻居,由于这种消息传递方法。在本文中,受神经结构搜索方法的启发,我们提出了一种算法,识别异常节点,并自动排除他们的信息聚合。在各种真实世界数据集上的实验表明,我们提出的基于神经结构搜索的抗异常图神经网络(NASAR-GNN)实际上是有效的。
2021-12-19 cs.AI cs.LG
GraphNAS: Graph Neural Architecture Search with Reinforcement Learning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Centre for Artificial Intelligence, University of Technology Sydney(悉尼科技大学人工智能中心);Ant Financial Services Group(蚂蚁金融服务集团)
图神经网络(GNN)已被广泛用于分析诸如社交网络数据和生物数据的非欧几里德数据。尽管他们的成功,图神经网络的设计需要大量的手工工作和领域知识。在本文中,我们提出了一个图神经架构搜索方法(GraphNAS简称),使自动搜索的最佳图神经架构的基础上强化学习。具体来说,GraphNAS首先使用递归网络来生成描述图神经网络架构的可变长度字符串,然后使用强化学习训练递归网络,以最大限度地提高验证数据集上生成架构的预期准确性。在传导学习和归纳学习环境中对节点分类任务的广泛实验结果表明,GraphNAS可以在Cora,Citeseer,Pubmed引文网络和蛋白质-蛋白质相互作用网络上实现更好的性能。在节点分类任务上,GraphNAS可以设计一种新的网络架构,在测试集准确性方面可以与人类发明的最佳架构相媲美。
2019-08-20 cs.AI cs.LG stat.ML
Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search
The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
神经架构搜索(NAS)旨在为多个任务找到有效的模型。除了为单个任务寻求解决方案之外,人们对跨多个任务传输网络设计知识的兴趣也在激增。在这条研究路线中,有效地建模任务相关性是至关重要的,但却被高度忽视。因此,我们提出了\textbf{Arch-Graph},一个可转移的NAS方法,预测任务特定的最佳架构相对于给定的任务嵌入。它通过使用它们的嵌入作为预测器输入的一部分来利用多个任务之间的相关性,以实现快速适应。我们还制定NAS作为一个架构关系图预测问题,与关系图构造的候选架构作为节点和他们的成对关系的边缘。为了执行一些基本属性,如关系图中的无环性,我们添加了额外的约束优化过程中,转换NAS的问题,找到一个最大加权无环子图(MWAS)。然后,我们的算法努力消除循环,并且只有在排名结果可信的情况下才在图中建立边。通过MWAS,Arch-Graph可以有效地对每个任务的候选模型进行排名,只需少量预算来微调预测器。通过在TransNAS-Bench-101上的大量实验,我们展示了Arch-Graph在众多任务中的可移植性和高样本效率,击败了许多为单任务和多任务搜索设计的NAS方法。在50个模型的预算下,它能够在两个搜索空间上找到平均0.16%和0.29%的顶级架构。
2022-04-12 cs.CV cs.LG
Neural Architecture Search Over a Graph Search Space
Jagiellonian University(雅盖隆大学);Google AI(谷歌人工智能)
神经架构搜索(NAS)使许多领域的最先进的架构的发现。然而,NAS的成功取决于搜索空间的定义。当前搜索空间被定义为一个静态的决策序列和一组可用的行动,为每个决策。每个可能的操作序列定义了一个架构。我们提出了一类更具表现力的搜索空间:有向图。在我们的形式主义中,每个决策都是一个顶点,每个动作都是一条边。这允许我们对迭代和分支架构设计决策进行建模。我们在模拟和图像分类实验中展示了基本的迭代和分支搜索结构,并表明图形表示提高了样本效率。
2019-07-31 cs.LG stat.ML
Graph Neural Networks: Architectures, Stability and Transferability
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)是用于图上支持的信号的信息处理架构。它们在这里被呈现为卷积神经网络(CNN)的推广,其中各个层包含图形卷积滤波器组而不是经典卷积滤波器组。否则,GNN就像CNN一样工作。滤波器是由逐点非线性和堆叠在层。结果表明,GNN结构表现出等变性置换和稳定的图变形。这些属性有助于解释GNN的良好性能,这些性能可以通过经验观察到。它还表明,如果图收敛到一个极限对象,一个graphon,GNNs收敛到相应的极限对象,一个graphon神经网络。这种收敛证明了GNN在具有不同节点数量的网络中的可转移性。通过将GNNs应用于推荐系统、分散式协作控制和无线通信网络来说明概念。
2021-01-29 cs.LG stat.ML
Multi-conditioned Graph Diffusion for Neural Architecture Search
Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学);Universität Ulm(乌尔姆大学)
提出基于图扩散的神经架构搜索方法,利用离散条件图扩散过程生成高性能架构,并通过多条件无分类器引导施加准确率和延迟约束,仅需单次可微训练,在六个基准上快速生成架构并在ImageNet上验证泛化性。
2024-03-22 cs.CV cs.LG
Auto-GNN: Neural Architecture Search of Graph Neural Networks
Texas A&M University(得克萨斯农工大学)
图神经网络(GNN)已成功地应用于对图结构数据的操作。给定一个特定的场景,通常需要丰富的人类专业知识和大量艰苦的试验来确定合适的GNN架构。这是因为GNN架构的性能受到图卷积组件(如聚合函数和隐藏维度)的选择的显着影响。神经架构搜索(NAS)在发现图像和语言建模学习任务的有效深度架构方面显示出了潜力。然而,现有的NAS算法不能直接应用于GNN搜索问题。首先,GNN的搜索空间不同于现有NAS工作中的搜索空间。第二,GNN架构的表示学习能力随着架构的轻微修改而发生明显的变化。它影响了传统搜索方法的搜索效率。第三,NAS中广泛使用的技术(如参数共享)可能在GNN中变得不稳定。为了弥补这一差距,我们提出了自动图神经网络(AGNN)框架,其目的是在预定义的搜索空间内找到一个最佳的GNN架构。设计了一种基于强化学习的控制器,通过小步骤对体系结构进行强化验证。AGNN具有一种新颖的参数共享策略,该策略基于精心设计的同质性定义,使同质架构能够共享参数。在真实世界基准数据集上的实验表明,与现有的手工模型和传统的搜索方法相比,AGNN识别的GNN结构具有最佳的性能。
2019-09-10 cs.LG stat.ML
FC-GAGA: Fully Connected Gated Graph Architecture for Spatio-Temporal Traffic Forecasting
Unity Technologies(Unity科技公司);McGill University(麦吉尔大学)
多元时间序列预测是一个重要问题,在交通管理、蜂窝网络配置和定量金融中有应用。当有一个图可以捕捉时间序列之间的关系时,就会出现问题的特殊情况。在本文中,我们提出了一种新的学习架构,实现性能竞争力或优于现有的最好的算法,而不需要知识的图形。我们提出的架构的关键要素是可学习的全连接硬图门控机制,使使用的国家的最先进的和高计算效率的全连接的时间序列预测架构在交通预测应用。两个公共交通网络数据集的实验结果说明了我们的方法的价值,消融研究证实了每个元素的架构的重要性。代码可以在这里找到:https://github.com/boreshkinai/fc-gaga。
2020-12-14 cs.LG stat.ML
How to Build a Graph-Based Deep Learning Architecture in Traffic Domain: A Survey
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Macau(澳门大学)
近年来,已经提出了各种深度学习架构来解决交通领域的复杂挑战(例如空间依赖性,时间依赖性),并取得了令人满意的性能。这些架构由多种深度学习技术组成,以应对交通任务中的各种挑战。传统上,卷积神经网络(CNN)被用来通过将交通网络分解为网格来建模空间依赖性。然而,许多交通网络本质上是图结构的。为了充分利用这些空间信息,将交通网络用数学图形表示更为合适。最近,已经开发了各种新颖的深度学习技术来处理图形数据,称为图形神经网络(GNN)。越来越多的工作将GNN与其他深度学习技术相结合,构建了一个处理复杂交通任务中各种挑战的架构,其中GNN负责提取交通网络中的空间相关性。这些基于图的架构已经实现了最先进的性能。为了全面清晰地了解这一新兴趋势,本调查仔细研究了许多交通应用中各种基于图的深度学习架构。我们首先给出了基于图的交通问题的指导方针,并从各种交通数据集构造图。然后,我们分解这些基于图的架构,讨论它们共享的深度学习技术,阐明每种技术在流量任务中的应用。更重要的是,我们总结了一些常见的流量挑战以及针对每个挑战的相应的基于图的深度学习解决方案。最后,我们提供了基准数据集,开源代码和未来的研究方向在这个快速增长的领域。
2020-10-11 cs.LG eess.SP
Graph Neural Alchemist: An innovative fully modular architecture for time series-to-graph classification
Federal University of Minas Gerais (UFMG)(米纳斯吉拉斯联邦大学(UFMG))
本文提出一种基于有向可见性图与PageRank特征的全模块化GNN架构,用于时间序列分类,有效降低了计算复杂度并增强了长程依赖捕获能力,展现出优异的鲁棒性与泛化性。
2024-10-12 cs.AI cs.LG
GTNet: A Tree-Based Deep Graph Learning Architecture
Institute for Financial Services Analytics, University of Delaware(特拉华大学金融服务分析研究所)
我们提出了图树网络(GTNets),这是一种深度图学习架构,具有一种新的通用消息传递方案,该方案源于图的树表示。在树表示中,消息从叶节点向上传播到根结点,并且每个节点在从其子节点(邻居)接收信息之前保留其初始信息。我们根据树中消息传递的性质制定了一个通用传播规则,通过聚合节点的初始特征及其邻居节点的更新特征来更新节点的特征。在这个GTNet架构中提出了两个图表示学习模型--图树注意力网络(GTAN)和图树卷积网络(GTCN),在几个流行的基准数据集上实验证明了最先进的性能。与具有“过平滑”问题的普通图注意力网络(GAT)和图卷积网络(GCN)不同,所提出的GTAN和GTCN模型可以通过全面的实验和严格的理论分析来证明。
2022-04-27 cs.AI cs.LG
Deep Graph Library Optimizations for Intel(R) x86 Architecture
Intel Corporation(英特尔公司)
深度图库(DGL)被设计为一种工具,通过支持图形的核心抽象,包括流行的图神经网络(GNN),实现从图中进行结构学习。DGL包含CPU和GPU的所有核心图形操作的实现。在本文中,我们特别关注CPU实现,并使用最新版本的DGL(0.4.3)在一组GNN应用程序中进行性能分析,优化和结果。在7个应用程序中,我们实现了比基准CPU实现快11.5倍-13倍的速度。
2020-07-13 cs.DC cs.LG
FlowerFormer: Empowering Neural Architecture Encoding using a Flow-aware Graph Transformer
Kim Jaechul Graduate School of AI, KAIST(KAIST金哉澈人工智能研究生院)
为快速准确估计神经架构性能,提出融合信息流的图Transformer模型FlowerFormer,通过双向异步消息传递和流掩码全局注意力增强架构表示,在多种模型上表现优越。
2024-03-21 cs.AI cs.LG
Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search (Full version)
The University of Osaka Japan(大阪大学)
针对现有图神经架构搜索方法缺乏可解释性的问题,提出ExGNAS方法,通过结合简单搜索空间与蒙特卡洛树搜索算法,在保证高准确率和效率的同时实现决策过程的可解释性。
2025-11-04 cs.AI cs.DB cs.LG
Rethinking Graph Neural Architecture Search from Message-passing
University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学);Peng Cheng Laboratory(鹏城实验室)
图神经网络(GNNs)最近作为从图上的数据学习的标准工具包出现。目前的GNN设计工作依赖于大量的人类专业知识来探索不同的消息传递机制,并需要手动枚举来确定适当的消息传递深度。受CNN中神经结构搜索(NAS)强大搜索能力的启发,提出了一种新的搜索空间的图神经结构搜索(GNAS)。GNAS可以自动学习更好的架构,并在图上获得最佳的消息传递深度。具体来说,我们设计了图神经架构范式(GAP),它采用树型拓扑计算过程和两种细粒度原子操作(特征过滤和邻居聚合),从消息传递机制出发,构建了强大的图网络搜索空间。特征过滤执行自适应特征选择,而邻居聚合捕获结构信息并计算邻居的统计信息。实验表明,我们的GNAS可以搜索更好的GNN与多种消息传递机制和最佳的消息传递深度。搜索网络在三个经典图任务的五个大规模数据集上比最先进的手动设计和基于搜索的GNN取得了显着的改进。代码可以在https://github.com/phython96/GNAS-MP上找到。
2021-06-24 cs.AI cs.LG
Neural Architecture Optimization with Graph VAE
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
梯度优化方法由于其在连续空间上的高计算效率,在神经结构搜索(NAS)领域显示出巨大的潜力。网络表示从离散空间到潜在空间的映射是发现新体系结构的关键,然而,现有的基于梯度的方法不能完全表征网络。在本文中,我们提出了一个有效的NAS方法来优化网络架构在一个连续的空间,其中的潜在空间是建立在变分自编码器(VAE)和图神经网络(GNN)。该框架以端到端的方式联合学习四个组件:编码器,性能预测器,复杂度预测器和解码器。编码器和解码器属于图VAE,在连续表示和网络架构之间映射架构。预测因子是两个回归模型,分别拟合性能和计算复杂性。这些预测器确保所发现的架构具有优异的性能和高计算效率。大量的实验表明,我们的框架不仅生成了适当的连续表示,而且还发现了强大的神经架构。
2020-06-18 cs.LG stat.ML
NASGEM: Neural Architecture Search via Graph Embedding Method
Duke University(杜克大学);Facebook, Inc(脸书公司);Tsinghua University(清华大学);University of Nevada, Reno(内华达大学雷诺分校)
神经结构搜索(NAS)使神经网络的设计自动化并繁荣起来。最近提出了基于估计器的NAS来建模架构与其性能之间的关系,以实现可扩展和灵活的搜索。然而,现有的基于估计的方法编码的架构到一个潜在的空间,而不考虑图形的相似性。忽略基于节点的搜索空间中的图相似性可能引起相似图之间的大的不一致性以及它们在连续编码空间中的距离,导致不准确的编码表示和/或降低的表示容量,这可能产生次优的搜索结果。为了在编码中保留图的相关信息,我们提出了NASGEM,它代表通过图嵌入方法的神经结构搜索。NASGEM是由一种新的图嵌入方法,配备了相似性措施,捕捉图的拓扑信息。NASGEM通过精确估计图的距离并使用辅助Weisfeiler-Lehman核来指导编码,可以利用额外的结构信息来获得更精确的图表示,从而提高搜索效率。GEMNet是NASGEM发现的一组网络,在分类任务中始终优于现有搜索方法制作的网络,即,精度提高0.4%-3.6%,而乘法累积次数减少11%- 21%。我们进一步转移GEMNet用于COCO目标检测。在单阶段和两阶段检测器中,我们的GEMNet都超过了手动制作和自动搜索的同类产品。
2020-09-28 cs.AI cs.LG
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室)
贝叶斯优化(BO)是寻找黑箱函数全局最优解的一种有效方法。最近,BO已被应用于神经结构搜索,并显示出比纯进化策略更好的性能。这些方法都采用高斯过程(GP)作为代理函数,以手工相似性度量作为输入。在这项工作中,我们提出了一个贝叶斯图神经网络作为一个新的代理,它可以自动从深度神经架构中提取特征,并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理,我们开发了一个图贝叶斯优化框架,以解决深度神经架构搜索的挑战性任务。实验结果表明,我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
A Survey of Graph Transformers: Architectures, Theories and Applications
The Chinese University of Hong Kong(香港中文大学);SIGS, Tsinghua University(清华大学深圳国际研究生院);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);DAMO Academy, Alibaba Group(阿里巴巴达摩院);Hupan Lab(湖畔实验室);Renmin University of China(中国人民大学)
本文对图变换器进行全面综述,涵盖架构、理论基础及应用。依处理结构信息策略分类架构,从理论考察表现力并与其他算法对比,按四种图组织形式整理应用文献,还讨论了挑战和未来研究方向。
2026-07-28 cs.AI cs.LG
Spatio-Temporal Graph Convolutional Networks: Optimised Temporal Architecture
University of Oxford(牛津大学)
本研究提出结合CNN与LSTM时间块的时空图卷积网络新架构,通过理论论证和多数据集实验,实证比较了新模型与现有模型的性能。
2025-01-14 cs.LG stat.ML
LLM4GNAS: A Large Language Model Based Toolkit for Graph Neural Architecture Search
Zhejiang University(浙江大学);Guangzhou University(广州大学)
本文提出 LLM4GNAS 工具包,利用 LLM 通过提示词修改实现 GNAS 对新搜索空间的自动适配,并集成特征工程、架构搜索与超参数优化,在同构和异构图任务上性能优于现有方法。
2025-02-12 cs.AI cs.LG
Compact Graph Architecture for Speech Emotion Recognition
University of Warwick(华威大学)
我们提出了一种深度图方法来解决语音情感识别的任务。一种紧凑、高效和可扩展的数据表示方式是以图形的形式。根据图信号处理理论,我们提出将语音信号建模为循环图或线图。这种图结构使我们能够构建基于图卷积网络(GCN)的架构,该架构可以执行精确的图卷积,而不是标准GCN中使用的近似卷积。我们评估了流行的IEMOCAP和MSP-IMPROV数据库上的语音情感识别模型的性能。我们的模型优于标准GCN和其他相关的深度图架构,表明我们的方法的有效性。与现有的语音情感识别方法相比,我们的模型实现了与最新技术相当的性能,可学习参数显著减少(约30 K),表明其在资源受限设备中的适用性。
2021-02-02 cs.CV cs.LG eess.AS
Global optimization of graph acquisition functions for neural architecture search
Department of Computing, Imperial College London(计算系,帝国理工学院伦敦分校)
本文针对神经架构搜索中图贝叶斯优化的采集优化问题,提出包含可达性和最短路径属性的图输入空间显式优化公式,理论上证明其为图空间的等价表示,并在多个基准上验证了方法的高效性。
2025-05-29 cs.LG math.OC
Towards Lightweight Graph Neural Network Search with Curriculum Graph Sparsification
Tsinghua University(清华大学);Lanzhou University(兰州大学)
针对现有图神经架构搜索未适配资源受限场景的问题,提出结合图稀疏化与网络剪枝的轻量搜索方法GASSIP,通过双模块迭代优化实现性能相当但参数更少、图更稀疏的轻量GNN搜索。
2024-06-24 cs.AI cs.LG cs.SI
An Underparametrized Deep Decoder Architecture for Graph Signals
King Juan Carlos University(胡安·卡洛斯国王大学);Rice University(莱斯大学)
虽然深度卷积架构在处理图像和语音的各种监督应用中取得了显着的成果,但最近的工作表明,深度未经训练的非卷积架构在图像压缩和去噪等几项任务中也可以优于最先进的方法。由于许多当代数据集具有不同于1D/2D网格的不规则结构,本文将未经训练和参数化不足的非卷积架构推广到由图形表示的不规则域上定义的信号。所提出的架构由一系列的层,他们每个人都实现了一个上采样算子,一个线性特征组合,和一个标量非线性。一个新的元素是纳入上采样运营商占支持图的结构,这是通过考虑一个系统的图粗化方法的基础上层次聚类。在合成和真实世界数据集上进行的数值结果表明,如果考虑到支持图拓扑的信息,重建性能可以大大提高。
2020-01-14 cs.LG eess.SP
Exploring Robust Architectures for Deep Artificial Neural Networks
Rowan University(罗文大学);University of Minnesota(明尼苏达大学)
深度人工神经网络(DANN)的架构被常规地研究以提高其预测性能。然而,DANN的结构与其对噪声和对抗攻击的鲁棒性之间的关系却很少被探索。我们研究了DANN的鲁棒性与其底层图形架构或结构的关系。本研究:(1)从使用图论鲁棒性度量探索DANN体系结构的设计空间开始;(2)将图转换为DANN体系结构,以对各种图像分类任务进行训练/验证/测试;(3)探索训练的DANN对噪声和对抗攻击的鲁棒性与通过图论度量估计的其底层体系结构的鲁棒性之间的关系。我们发现,拓扑熵和Olivier-Ricci曲率的基础图可以量化的DANN的鲁棒性性能。对于复杂任务和大型DANN,上述关系更强。我们的工作将允许autoML和神经架构搜索社区探索健壮和准确的DANN的设计空间。
2022-04-05 cs.AI cs.LG
Edge-featured Graph Neural Architecture Search
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学);Peng Cheng Laboratory(鹏城实验室)
图神经网络(GNNs)已经成功地应用于许多关系任务中的图上的学习表示。近年来,研究者们开始研究神经网络结构搜索(NAS),以减少对人类经验的依赖,探索更好的GNN结构,但这些研究过于强调实体特征,而忽略了隐藏在边缘中的潜在关系信息。为了解决这个问题,我们将边缘特征纳入图搜索空间,并提出边缘特征图神经网络结构搜索,以找到最佳的GNN结构。具体来说,我们设计了丰富的实体和边缘更新操作来学习高阶表示,从而传达更通用的消息传递机制。此外,在我们的搜索空间中的架构拓扑允许探索实体和边缘的复杂特征依赖,这可以有效地优化可微搜索策略。在六个数据集上的三个图形任务的实验表明,EGNAS可以搜索更好的GNN,其性能高于当前最先进的人类设计和基于搜索的GNN。
2021-09-03 cs.AI cs.CV cs.LG
A Generic Graph-based Neural Architecture Encoding Scheme for Predictor-based NAS
Tsinghua University(清华大学);Weixin Group, Tencent(腾讯微信事业群);Beihang University(北京航空航天大学)
这项工作提出了一种新的基于图的神经架构编码方案,a.k.a. GATES,改进基于预测器的神经结构搜索。具体而言,不同于现有的基于图的计划,GATES模型的操作作为传播信息的转换,这模仿了神经架构的实际数据处理。GATES是一种更合理的神经结构模型,能够从“节点上的操作”和“边缘上的操作”单元搜索空间一致地编码结构。不同搜索空间上的实验结果证实了GATES在提高性能预测器方面的有效性。此外,配备了改进的性能预测器,样本效率的预测为基础的神经架构搜索(NAS)流程的提高。代码可在https://github.com/walkerning/aw_nas上获得。
2020-09-01 cs.LG cs.NE stat.ML
Directed Acyclic Graph Neural Networks
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院)
图结构数据在科学和工程中无处不在。图神经网络(GNN)旨在利用图中表现出的关系归纳偏差;在结构信息补充节点特征的情况下,它们已被证明优于其他形式的神经网络。最常见的GNN架构基于消息传递聚合来自邻域的信息。它的普遍性使它具有广泛的适用性。在本文中,我们专注于一个特殊的,但广泛使用的,类型的图-DAG-和注入一个更强的归纳偏见-偏序-到神经网络的设计。我们提出了\emph{directed acyclic graph neural network},DAGNN,一个架构,处理信息的流程定义的偏序。DAGNN可以被认为是一个框架,它需要早期的工作作为特殊情况(例如,树的模型和模型更新节点表示循环),但我们确定了几个关键组件,以前的架构缺乏。我们在代表性的DAG数据集上进行了全面的实验,包括消融研究(即,源代码,神经架构和概率图形模型),并证明DAGNN优于简单的DAG架构以及一般的图形架构。
2021-02-02 cs.AI cs.LG