Visualizing DNA reaction trajectories with deep graph embedding approaches
University of British Columbia（不列颠哥伦比亚大学）
针对DNA反应折叠路径模拟结果可视化需求，提出结合深度图嵌入与降维的ViDa方法，可在二维空间区分不同折叠机制的轨迹，性能优于现有最优水平。
2023-11-06 cs.AI cs.HC cs.LG
Graph Neural Processes: Towards Bayesian Graph Neural Networks
我们介绍了图神经过程（GNP），其灵感来自于最近在条件和潜在神经过程方面的工作。图神经过程被定义为对任意图数据进行操作的条件神经过程。它将稀疏观察的上下文点的特征作为输入，并输出目标点上的分布。我们展示了图神经过程中的边缘插补，并讨论了其他应用领域的方法的优点和缺点。GNP的一个主要好处是能够量化图结构上的深度学习中的不确定性。该方法的另一个好处是能够将图神经网络扩展到动态大小的图的输入。
2019-10-01 cs.LG stat.ML
Neural Programmer-Interpreters
Google DeepMind（谷歌DeepMind）
我们提出了神经程序员解释器（NPI）：一个循环和组合的神经网络，学习表示和执行程序。NPI有三个可学习的组件：一个任务不可知的循环核心，一个持久的键值程序存储器，以及特定于域的编码器，这些编码器使单个NPI能够在具有不同启示的多个感知不同的环境中运行。通过学习编写较低级别的程序来表达较高级别的程序，与序列到序列LSTM相比，NPI降低了样本复杂度并提高了泛化能力。程序存储器允许在现有程序的基础上有效地学习额外的任务。NPI还可以利用环境（例如具有读写指针的暂存器）来缓存计算的中间结果，从而减轻循环隐藏单元的长期记忆负担。在这项工作中，我们训练的NPI与全监督的执行痕迹，每个程序都有一个例子序列的要求，立即子程序的输入条件。NPI不是在大量相对较弱的标签上进行训练，而是从少量丰富的示例中学习。我们展示了我们的模型学习几种类型的组合程序的能力：添加，排序和规范化3D模型。此外，单个NPI学习执行这些程序和所有21个相关的子程序。
2016-02-29 cs.LG cs.NE
Deep API Programmer: Learning to Program with APIs
MIT（麻省理工学院）；Microsoft Research（微软研究院）
我们提出了DAPIP，一个通过示例编程的系统，它学习使用API进行编程以执行数据转换任务。我们设计了一种特定于域的语言（DSL），允许任意连接API输出和常量字符串。DSL由三个API家族组成：基于正则表达式的API、查找API和转换API。然后，我们提出了一种新的神经合成算法，以搜索与给定的一组示例相一致的DSL中的程序。搜索算法使用最近推出的神经架构来编码输入输出的例子，并在DSL中的程序搜索建模。我们表明，在合成和真实世界的基准测试中，合成算法的性能优于合成程序的基线方法。
2017-04-14 cs.AI cs.LG
Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
Institute for Advanced Study（高等研究院）；Zhejiang University（浙江大学）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
虽然图核（GK）易于训练并享有可证明的理论保证，但它们的实际性能受到其表达能力的限制，因为核函数通常依赖于图的手工组合特征。与图核相比，图神经网络（GNN）通常具有更好的实际性能，因为GNN使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而，由于大量的超参数和训练过程的非凸性质，GNN更难训练。GNN的理论保证也没有得到很好的理解。此外，GNN的表达能力与参数的数量成比例，因此当计算资源有限时，很难利用GNN的全部功能。本文提出了一类新的图核，图神经切线核（GNTKs），它对应于通过梯度下降训练的无限宽多层GNN。GNTK充分利用了GNN的表达能力，继承了GK的优点。从理论上讲，我们证明了GNTK可以在图上学习一类光滑函数。根据经验，我们在图分类数据集上测试了GNTK，并显示它们具有强大的性能。
2019-11-04 cs.AI cs.CV cs.LG
Graphon Neural Networks and the Transferability of Graph Neural Networks
University of Pennsylvania（宾夕法尼亚大学）；Dept. of Electrical and Systems Eng.（电气与系统工程系）；Philadelphia, PA 19143（费城，PA 19143）
图神经网络（GNN）依赖于图卷积来从网络数据中提取局部特征。这些图卷积使用所有节点共享的系数组合来自相邻节点的信息。由于这些系数是共享的，并且不依赖于图，因此可以设想使用相同的系数来定义另一个图上的GNN。这促使分析GNN在图中的可转移性。在本文中，我们引入图子NN作为GNN的极限对象，并证明了GNN的输出与其极限图子NN的输出之间的差的界。如果图卷积滤波器在图谱域中是带限的，则该界限随着节点数量的增加而消失。这一结果建立了GNN的可区分性和可转移性之间的权衡。
2020-10-20 cs.LG stat.ML
Graphs Unveiled: Graph Neural Networks and Graph Generation
University of Miskolc（米什科尔茨大学）
本文是一篇关于图神经网络（GNNs）的全面综述，探讨了其在各领域的应用，并介绍了图生成这一前沿领域。
2024-03-18 cs.AI cs.LG
Anomaly-resistant Graph Neural Networks via Neural Architecture Search
通常，图神经网络（GNN）一直使用消息传递方法来聚合和汇总关于邻居的信息以表达它们的信息。尽管如此，以前的研究表明，图神经网络的性能变得脆弱时，有异常节点的邻居，由于这种消息传递方法。在本文中，受神经结构搜索方法的启发，我们提出了一种算法，识别异常节点，并自动排除他们的信息聚合。在各种真实世界数据集上的实验表明，我们提出的基于神经结构搜索的抗异常图神经网络（NASAR-GNN）实际上是有效的。
2021-12-19 cs.AI cs.LG
On Node Features for Graph Neural Networks
EPFL（洛桑联邦理工学院）；HUST（华中科技大学）；Google（谷歌公司）；Griffith University（格里菲斯大学）
图神经网络（GNN）是一种用于图表示学习的深度模型。图神经网络的一个优点是它能够将节点特征纳入学习过程。然而，这阻碍了图神经网络应用于无特征图。本文首先分析了节点特征对图神经网络性能的影响。我们表明，如果节点特征和节点标签之间存在很强的相关性，GNN就能很好地工作。基于这些结果，我们提出了新的特征初始化方法，允许将图神经网络应用于非属性图。我们的实验结果表明，人工特征具有很强的竞争力，真正的功能。
2019-11-20 cs.LG stat.ML
Factor Graph Neural Network
National University of Singapore（新加坡国立大学）；Nanjing University（南京大学）
大多数成功的深度神经网络架构都是结构化的，通常由卷积神经网络和门控递归神经网络等元素组成。最近，图神经网络已经成功地应用于图结构化数据，例如点云和分子数据。这些网络通常只考虑成对依赖关系，因为它们是在图结构上操作的。我们推广的图神经网络到一个因素图神经网络（FGNN），以捕捉高阶依赖。我们表明，FGNN是能够代表最大产品的信念传播，概率图模型的近似推理算法，因此，它是能够做得很好，当最大产品做得很好。在合成数据集和真实数据集上的实验结果表明了该模型的有效性。
2019-06-03 cs.LG stat.ML
De Bruijn goes Neural: Causality-Aware Graph Neural Networks for Time Series Data on Dynamic Graphs
Julius-Maximilians-Universität Würzburg（维尔茨堡朱利叶斯-马克西米利安大学）；University of Zurich（苏黎世大学）
我们介绍了De Bruijn图神经网络（DBGNNs），一种新的时间感知图神经网络架构，用于动态图上的时间分辨数据。我们的方法占时间拓扑模式展开的因果拓扑的动态图，这是由因果散步，即时间上有序的链接序列，节点可以随着时间的推移相互影响。我们的架构建立在多层高阶De Bruijn图上，这是一种迭代线图构造，其中k阶De Bruijn图中的节点表示长度为k-1的行走，而边表示长度为k的行走。我们开发了一个图神经网络架构，利用德布鲁因图实现的消息传递计划，遵循非马尔可夫动力学，这使我们能够学习模式的因果拓扑结构的动态图。为了解决具有不同阶数k的De Bruijn图可以用于对同一数据集进行建模的问题，我们进一步应用统计模型选择来确定用于消息传递的最佳图拓扑。对合成和经验数据集的评估表明，DBGNN可以利用动态图中的时间模式，这大大提高了监督节点分类任务的性能。
2022-09-17 cs.AI cs.LG
Neural-Network-Directed Genetic Programmer for Discovery of Governing Equations
Vanderbilt University Medical Center（范德堡大学医学中心）；Clare Hall, University of Cambridge（剑桥大学克莱尔学堂）
我们开发了一个符号回归框架，用于从观测数据中提取控制数学表达式。演化方法faiGP旨在利用已编码为语法的函数代数的属性，提供通用近似的理论保证和最小化膨胀的方法。在这个框架中，语法的操作符的选择可能是由物理理论或对称性的考虑。由于目前还没有理论，可以得出的“自然常数”，从进化过程中提取这些系数的实证研究是方法论的兴趣。我们量化了不同类型的正则化因子对框架性能的影响，包括从转录组研究中改编的多样性度量和复杂性度量。我们的实现，它利用神经网络和遗传程序员，生成非平凡的符号等价表达式（“Ramanujan表达式”）或近似与潜在的有趣的数值应用。为了说明框架，配体-受体结合动力学模型，包括转录因子的基因调控的帐户，和从组学数据的顺式异构体的调控范围的模型。这项研究具有重要意义的数据驱动的方法的发展，发现控制方程的实验数据来自新的传感系统和高通量筛选技术。
2022-03-15 cs.LG cs.NE
Customized Graph Neural Networks
Michigan State University（密歇根州立大学）；Microsoft Research Asia（微软亚洲研究院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
最近，图神经网络（GNNs）大大推进了图分类的任务。通常，我们首先在给定的训练集中构建一个统一的GNN模型，然后使用这个统一的模型来预测测试集中所有未见过的图的标签。然而，同一数据集中的图通常具有显著不同的结构，这表明统一模型在给定单个图的情况下可能是次优的。因此，在本文中，我们的目标是开发定制的图神经网络的图形分类。具体来说，我们提出了一种新的定制图神经网络框架，即，自定义GNN。给定一个图样本，Customized-GNN可以基于其结构为该图生成一个特定于样本的模型。同时，该框架具有很强的通用性，可以应用于现有的众多图神经网络模型。各种图分类基准上的综合实验证明了所提出的框架的有效性。
2021-12-14 cs.LG stat.ML
A Comprehensive Survey on Graph Neural Networks
University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
近年来，深度学习彻底改变了许多机器学习任务，从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常在欧几里得空间中表示。然而，有越来越多的应用程序，其中数据是从非欧几里德域生成的，并表示为对象之间具有复杂关系和相互依赖性的图形。图数据的复杂性给现有的机器学习算法带来了巨大的挑战。最近，出现了许多关于扩展图数据的深度学习方法的研究。在本调查中，我们提供了数据采掘和机器学习领域的图神经网络（GNN）的全面概述。我们提出了一种新的分类法，将最先进的图神经网络分为四类，即递归图神经网络，卷积图神经网络，图自动编码器，时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用，并总结了图神经网络的开源代码，基准数据集和模型评估。最后，我们提出了在这个快速发展的领域的潜在研究方向。
2019-12-04 cs.LG stat.ML
Improving the Long-Range Performance of Gated Graph Neural Networks
Ruhr University Bochum（波鸿鲁尔大学）；University of Bonn（波恩大学）
能够处理多关系图的图神经网络（GNN）的许多流行变体可能遭受消失梯度。在这项工作中，我们提出了一种新的GNN架构的基础上的门控图神经网络具有改进的能力，以处理多关系图中的长程依赖关系。不同的合成任务的实验分析表明，该架构优于几个流行的GNN模型。
2020-07-19 cs.LG stat.ML
Theory of Graph Neural Networks: Representation and Learning
MIT（麻省理工学院）
图神经网络（GNN）是一种用于学习图的表示的神经网络架构，它已经成为一种流行的学习模型，用于节点、图和点的配置的预测任务，在实践中取得了广泛的成功。本文总结了关于广泛使用的消息传递GNN和高阶GNN的近似和学习特性的新兴理论结果，重点是表示，泛化和外推。一路上，它总结了数学联系。
2022-04-16 cs.LG stat.ML
Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview
Information Fusion and Mining Laboratory（信息融合与挖掘实验室）
图神经网络是专门针对图数据的表示学习任务而引入的一组神经网络模型。图神经网络已被证明是有效的捕捉网络结构信息，学习的表示可以实现节点和图分类任务的最先进的性能。除了不同的应用场景外，图神经网络模型的体系结构也很大程度上取决于所研究的图类型。研究中研究的图形数据通常可以分为两种主要类型，即，小图与巨型网络，它们在大小，实例数量和标签注释方面彼此差异很大。已经引入了几种不同类型的图神经网络模型，用于从这种不同类型的图中学习表示。本文针对这两种不同类型的图数据，将介绍近年来推出的图神经网络。更具体地说，本文介绍的图神经网络包括IsoNN、SDBN、LF&ER、GCN、GAT、DifNN、GNL、GraphSage和seGEN。在这些图神经网络模型中，IsoNN，SDBN和LF&ER最初是针对小图提出的，其余的最初是针对巨网络提出的。读者在阅读本教程时，也可以参考这些论文以获取详细信息。
2019-08-01 cs.LG cs.NE stat.ML
Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning
Carnegie Mellon University（卡内基梅隆大学）
本文研究了用图神经网络进行节点表示学习的问题。我们提出了一个图神经网络类命名为递归图神经网络（RGNN），解决了现有方法的缺点。通过使用递归单元来捕获跨层的长期依赖性，我们的方法可以成功地识别递归邻域扩展过程中的重要信息。在我们的实验中，我们证明了我们的模型类在三个基准测试中获得了最先进的结果：Pubmed，Reddit和PPI网络数据集。我们的深入分析还表明，结合递归单元是一种简单而有效的方法来防止图中的噪声信息，从而实现更深的图神经网络。
2019-08-26 cs.LG cs.SI stat.ML
Graph Neural Networks vs Convolutional Neural Networks for Graph Domination Number Prediction
Rice University（里士大学）
本文比较了图神经网络与卷积神经网络在预测图支配数中的性能，发现GNNs在准确率和速度上均优于CNNs，为图优化和数学发现提供了新的方法。
2025-11-22 cs.AI cs.LG math.CO
Get Rid of Suspended Animation Problem: Deep Diffusive Neural Network on Graph Semi-Supervised Classification
IFM Lab, Florida State University（佛罗里达州立大学IFM实验室）；Florida State University（佛罗里达州立大学）；IFM Lab（IFM实验室）；Tallahassee（塔拉哈西（此处按要求不应提取，但原文本中Tallahassee为城市名，根据规则应忽略，仅保留明确机构部分））
现有的图神经网络在模型架构深入时可能会遭遇“假死问题”。同时，对于一些图学习场景，例如，具有文本/图像属性的节点或具有长距离节点相关性的图，深度图神经网络对于有效的图表示学习将是必要的。本文提出了一种新的图神经网络，即DIFNET（图扩散神经网络），用于图表示学习和节点分类。DIFNET利用神经门和图残差学习进行节点隐藏状态建模，并包括用于节点邻域信息扩散的注意力机制。本文将做大量的实验，比较DIFNET与几个国家的最先进的图神经网络模型。实验结果可以说明DIFNET的学习性能优势和有效性，特别是在解决“假死问题”。
2020-01-22 cs.LG cs.NE stat.ML
ViDa: Visualizing DNA hybridization trajectories with biophysics-informed deep graph embeddings
UBC（不列颠哥伦比亚大学）
本研究提出ViDa可视化方法，结合散射变换、变分自编码器与非线性降维，加入生物物理领域监督损失，实现DNA杂交反应轨迹的高质量二维嵌入，优于现有方法，可揭示反应机制。
2023-11-06 cs.AI cs.HC cs.LG
Survey of Image Based Graph Neural Networks
在这篇综述论文中，我们分析了基于图像的图神经网络，并提出了一个三步分类方法。我们首先使用Quickshift算法将图像转换为超像素，以便减少30%的输入数据。超像素随后用于生成区域邻接图。最后，将图通过最先进的图卷积神经网络以获得分类分数。我们还分析了图神经网络中的空间卷积滤波技术和谱卷积滤波技术。基于光谱的模型比基于空间的模型和经典的CNN性能更好，计算成本更低。
2021-06-11 cs.AI cs.CV cs.LG
Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks
网络数据可以方便地建模为图形信号，其中数据值被分配给描述底层网络拓扑的图形的节点。从网络数据中成功学习是建立在有效利用这种图结构的方法之上的。在这项工作中，我们利用图信号处理来表征图神经网络（GNNs）的表示空间。我们讨论了图卷积滤波器在GNN中的作用，并表明使用此类滤波器构建的任何架构都具有置换等变性和拓扑变化稳定性的基本属性。这两个属性提供了关于GNN工作原理的见解，并有助于解释其可扩展性和可转移性，再加上其本地和分布式性质，使GNN成为在物理网络中学习的强大工具。我们还介绍了GNN扩展使用边变化和自回归移动平均图滤波器，并讨论其属性。最后，我们研究了GNNs在推荐系统和机器人群学习分散控制器中的使用。
2021-05-19 cs.LG cs.SY eess.SY
Knowledge Enhanced Graph Neural Networks for Graph Completion
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；INRIA Grenoble（法国国家信息与自动化研究所格勒诺布尔中心）；CNRS（法国国家科学研究中心）
提出知识增强图神经网络KeGNN，结合神经与符号方法，将先验知识融入图神经网络，用于图补全任务，并在节点分类基准上验证有效性。
2023-08-31 cs.AI cs.LG cs.LO
Generalization in Graph Neural Networks: Improved PAC-Bayesian Bounds on Graph Diffusion
Northeastern University（东北大学）；Google（谷歌）
本文提出基于图神经网络特征扩散矩阵最大奇异值的新泛化界，利用Hessian分析噪声稳定性，在真实图上数值更小且渐近匹配下界，并验证了优化噪声稳定性能提升微调预训练模型的测试性能。
2023-10-23 cs.LG cs.SI math.ST
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London（伦敦玛丽女王大学）；American University of Beirut（贝鲁特美国大学）
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间，并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而，这种性能是基于静态图结构的假设，当数据随时间变化时，这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近，提出了各种时空图神经网络算法，并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题，包括算法，应用和开放挑战。
2023-02-11 cs.LG
Capsule Graph Neural Networks with EM Routing
Nanjing University of Science and Technology（南京理工大学）
为了有效地对图实例进行分类，图神经网络需要具有捕获图中存在的部分-整体关系的能力。胶囊是一组代表实体复杂性质的神经元，在传统的卷积神经网络中显示出了它的优势。本文提出了一种新的胶囊图神经网络，它使用EM路由机制（CapsGNNEM）来生成高质量的图嵌入。在一些真实世界的图数据集上的实验结果表明，所提出的CapsGNNEM在图分类任务中优于9个最先进的模型。
2021-10-18 cs.LG
Room Classification on Floor Plan Graphs using Graph Neural Networks
George Mason University（乔治梅森大学）
我们提出了我们的方法来改善房间分类任务的建筑物平面图的平面图表示为无向图和利用图神经网络来预测房间类别。楼层平面图中的房间表示为图形中的节点，边表示它们在地图中的相邻关系。我们实验的House-GAN数据集，包括平面图的矢量格式和训练多层感知器和图神经网络。我们的研究结果表明，图神经网络，特别是GraphSAGE和拓扑自适应GCN能够分别达到80%和81%的准确率，超过基线多层感知器15%以上的利润率。
2021-08-12 cs.LG
Revisiting Graph Neural Networks: All We Have is Low-Pass Filters
Tokyo Institute of Technology（东京工业大学）；RIKEN（理化学研究所）
图神经网络已成为解决图结构数据上的机器学习问题的重要技术之一。最近关于顶点分类的工作提出了深度和分布式学习模型，以实现高性能和可扩展性。然而，我们发现基准数据集的特征向量已经为分类任务提供了相当多的信息，而图结构只提供了一种对数据进行降噪的方法。在本文中，我们开发了一个理论框架的基础上，图信号处理分析图神经网络。结果表明，图神经网络只对特征向量进行低通滤波，不具有非线性流形学习特性。我们进一步研究了它们对特征噪声的弹性，并对基于GCN的图神经网络设计提出了一些见解。
2019-05-26 cs.IT cs.LG math.IT
On the Robustness of Graph Neural Diffusion to Topology Perturbations
Nanyang Technological University（南洋理工大学）；C3 AI（C3 AI公司）
本研究探索图神经PDEs对拓扑扰动的鲁棒性，证明其天然更稳健，并提出通用框架以定义新型鲁棒GNNs，在基准数据集上性能与最先进水平相当。
2023-05-11 cs.LG
Sampling and Recovery of Graph Signals based on Graph Neural Networks
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Shanghai Jiao Tong University（上海交通大学）
我们提出了可解释的图神经网络的采样和恢复的图形信号，分别。为了进行信息测量，我们提出了一个新的图神经采样模块，其目的是选择那些最大限度地表达其相应邻域的顶点。这种表现力可以通过经由图神经网络估计的顶点特征和邻域特征之间的互信息来量化。为了从采样测量中重建原始图信号，我们提出了一个基于算法展开技术的图神经恢复模块。与以前的分析采样和恢复相比，所提出的方法能够灵活地学习各种图形信号模型的数据，通过利用神经网络的学习能力;与以前的基于神经网络的采样和恢复相比，所提出的方法是通过利用特定的图形属性设计的，并提供可解释性。我们进一步设计了一个新的多尺度图神经网络，它是一个可训练的多尺度图滤波器组，可以处理各种与图相关的学习任务。多尺度网络利用所提出的图神经采样和恢复模块来实现图的多尺度表示。在实验中，我们说明了所提出的图神经采样和恢复模块的效果，并发现该模块可以灵活地适应各种图结构和图信号。在基于主动采样的半监督学习任务中，图神经采样模块在Cora数据集上将分类精度提高了10%以上。我们进一步验证了建议的多尺度图神经网络上的几个标准数据集的顶点和图形分类。结果表明，我们的方法一贯提高分类精度。
2020-11-03 cs.LG cs.SI eess.SP
Graph Neural Networks and Boolean Satisfiability
Stanford University（斯坦福大学）
在本文中，我们探讨了深度神经架构是否可以学习对布尔可满足性（SAT）进行分类。我们花了相当多的时间来讨论SAT的理论性质。然后，我们定义了一个图形表示的合取范式的布尔公式，和训练神经分类器在一般的图形结构称为图神经网络，或GNNs，识别满足性的功能。据我们所知，这是以前从未尝试过的。我们的初步发现可能意义深远。在弱监督环境中，即没有问题特定的特征工程，图神经网络可以学习满足性特征。
2017-02-12 cs.AI
A unifying primary framework for quantum graph neural networks from quantum graph states
该研究提出基于量子图态的量子图神经网络统一框架，证明图态可作为参数化量子电路表征神经网络，也可作为底层结构在量子计算机上构建图神经网络，为量子图神经网络的理解与实现提供统一基础。
2024-02-21 cs.LG quant-ph
An Energy-Based View of Graph Neural Networks
New York University（纽约大学）
图神经网络是处理图结构数据的神经网络的流行变体。在这项工作中，我们考虑将图神经网络与Grathwohl et al.（2019）的基于能量的观点相结合，目的是获得更强大的分类器。我们成功地实现了这个框架，提出了一种新的方法来确保在特征和邻接矩阵上生成，并根据标准的图卷积网络（GCN）架构（Kipf & Welling（2016））评估我们的方法。我们的方法在提高鲁棒性的同时获得了相当的判别性能，为基于能量的图神经网络的未来研究开辟了有前途的新方向。
2021-10-04 cs.LG
Graph and graphon neural network stability
University of Pennsylvania（宾夕法尼亚大学）
图神经网络（GNN）是一种学习架构，它依赖于图结构的知识来生成大规模网络数据的有意义的表示。因此，GNN的稳定性很重要，因为在现实世界的场景中，通常存在与图形相关的不确定性。我们使用称为graphons的内核对象来分析GNN的稳定性。图子既是收敛图序列的极限，也是确定图和随机图的生成模型。基于图子信号处理理论，我们定义了图子神经网络，并分析了它们对图子扰动的稳定性。然后，我们通过将图子神经网络解释为从原始和扰动图子实例化的确定性和随机图上的GNN的生成模型来扩展这种分析。我们观察到，GNNs是稳定的graphon扰动的稳定性界，随着图的大小逐渐减少。这种渐进行为在电影推荐实验中得到进一步证明。
2021-04-26 cs.LG eess.SP
Autobahn: Automorphism-based Graph Neural Nets
Flatiron Institute（弗莱顿研究所）；New York University（纽约大学）；University of Chicago（芝加哥大学）
我们介绍了基于自同构的图神经网络（Autobahn），一个新的家庭的图神经网络。在一个高速公路，我们分解成一个子图的集合图，并应用局部卷积是等变的每个子图的自同构群。局部邻域和子图的特定选择恢复了现有的架构，例如消息传递神经网络。我们的形式主义还包括新颖的架构：作为一个例子，我们引入了一个图神经网络，它将图分解为路径和循环。由此产生的卷积反映了部分图可以变换的自然方式，保留了卷积的直观含义，而不会牺牲全局置换等方差。我们验证了我们的方法，应用Autobahn分子图，在那里它实现了竞争的结果与国家的最先进的消息传递算法。
2022-02-03 cs.LG
Graph Sequential Neural ODE Process for Link Prediction on Dynamic and Sparse Graphs
Monash University（莫纳什大学）；Griffith University（格里菲斯大学）
动态图上的链接预测是图挖掘中的一个重要任务。基于动态图神经网络（DGNN）的现有方法通常需要大量的历史数据（随时间的交互），这在实践中并不总是可用的。随着时间的推移，丢失的链接是图形数据中的一种常见现象，它进一步加剧了这个问题，从而创建了极其稀疏和动态的图形。为了解决这个问题，我们提出了一种新的方法，基于神经过程，称为图顺序神经ODE过程（GSNOP）。具体来说，GSNOP结合了神经过程和神经常微分方程的优点，将动态图上的链接预测建模为动态变化的随机过程。通过定义函数上的分布，GSNOP将不确定性引入到预测中，使其推广到更多的情况，而不是过度拟合稀疏数据。GSNOP对于可以与任何DGNN集成以考虑用于链接预测的时间和几何信息的模型结构也是不可知的。在三个动态图数据集上的大量实验表明，GSNOP可以显着提高现有DGNN的性能，并优于其他神经过程变体。
2022-11-15 cs.LG cs.SI
A Graph Neural Network with Negative Message Passing for Graph Coloring
Bielefeld University（比勒费尔德大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
图神经网络在过去的几年里受到了越来越多的关注，因为它们有希望处理图结构数据的能力，这可以在许多现实世界的问题中找到，例如推荐系统和药物合成。现有的研究大多集中在利用图神经网络来解决同构型问题，而对异构型问题的研究较少。针对图着色这类具有代表性的异质性问题，提出了一种图网络模型。与传统的图网络不同，我们引入负消息传递到建议的图神经网络更有效的信息交换处理图着色问题。此外，一个新的损失函数考虑到节点的自我信息，建议加快学习过程。实验研究进行了比较所提出的图模型与五个国家的最先进的算法对10个公开的图着色问题和一个现实世界的应用。数值结果验证了所提出的图神经网络的有效性。
2023-01-26 cs.LG cs.SI
Quantum Graph Neural Networks
X, The Moonshot Factory（X，登月工厂）；Google Research（谷歌研究院）
我们介绍了量子图神经网络（QGNN），一类新的量子神经网络ansatze是定制的，以表示具有图形结构的量子过程，特别适合于在量子网络上的分布式量子系统上执行。除了这类通用的ansatze，我们还介绍了进一步的专用架构，即量子图递归神经网络（QGRNN）和量子图卷积神经网络（QGCNN）。我们提供了QGNNs的四个示例应用：学习量子系统的哈密顿动力学，学习如何在量子网络中创建多体纠缠，谱聚类的无监督学习和图同构分类的监督学习。
2019-09-26 cs.LG quant-ph
Graph-to-Sequence Learning using Gated Graph Neural Networks
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
许多NLP应用程序可以被构建为图到序列的学习问题。与基于语法的方法相比，以前提出这种设置的神经架构的工作获得了有希望的结果，但仍然依赖于线性化算法和/或标准递归网络来实现最佳性能。在这项工作中，我们提出了一个新的模型，编码的全部结构信息中包含的图形。我们的架构耦合最近提出的门控图神经网络与输入变换，允许节点和边缘有自己的隐藏表示，同时解决参数爆炸问题，目前在以前的工作。实验结果表明，我们的模型优于强基线生成AMR图和基于语法的神经机器翻译。
2018-06-26 cs.CL cs.LG
Graph Rewriting for Graph Neural Networks
University of Leicester（莱斯特大学）
本文提出图重写神经网络（GReNN），将图重写作为图神经网络的形式化语义基础与工程方法，并通过 Groove 实现的类消息传递案例验证其对动态更新的增量操作能力。
2023-05-29 cs.LG cs.NE
Programming with Neural Surrogates of Programs
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
代理，模仿程序行为的模型，形成了各种开发工作流的基础。我们研究了三种基于代理的设计模式，在大型CPU模拟器的案例研究中评估每一种模式。使用代理编译，程序员可以开发一个代理，它模仿程序的行为，以代替原始程序部署到最终用户。代理编译加速了$1.6\times$研究的CPU模拟器。使用代理适应，程序员开发程序的代理，然后在不同的任务上重新训练该代理。代理自适应可将模拟器的误差降低至$50\%$。通过代理优化，程序员开发程序的代理，优化代理的输入参数，然后将优化的输入参数插回原始程序。替代优化找到与专家设置参数引起的误差相比将模拟器的误差减小$5\%$的模拟参数。在本文中，我们正式代理为基础的设计模式的分类。我们进一步描述了这三种设计模式的编程方法。我们的工作建立了一个基础的新兴类的工作流程的基础上编程与代理程序。
2021-12-12 cs.LG cs.PL cs.SE
Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision (Short Version)
Northwestern University（西北大学）；Tel-Aviv University（特拉维夫大学）；Google Inc.（谷歌公司）
将深度神经网络的成功扩展到自然语言理解和符号推理需要复杂的运算和外部记忆。最近的神经程序诱导方法试图解决这个问题，但通常限于可微记忆，因此不能扩展到小的合成任务之外。在这项工作中，我们提出了管理员-程序员-计算机框架，它集成了神经网络与不可微的内存，以支持抽象的，可扩展的和精确的操作，通过一个友好的神经计算机接口。具体来说，我们介绍了一个神经符号机，其中包含一个序列到序列的神经“程序员”，和一个不可微的“计算机”，这是一个Lisp解释器与代码辅助。为了成功地将REINFORCE应用于训练，我们使用通过迭代最大似然训练过程找到的近似黄金程序来增强它。NSM能够从大型知识库的弱监督中学习语义解析器。它实现了新的国家的最先进的性能在WebSites SP，一个具有挑战性的语义解析数据集，与弱监督。与以前的方法相比，NSM是端到端的，因此不依赖于特征工程或领域特定知识。
2016-12-04 cs.AI cs.CL cs.LG
Towards Truly Zero-shot Compositional Visual Reasoning with LLMs as Programmers
Google DeepMind（谷歌DeepMind）
本研究针对LLM作为视觉推理控制器时需人工设计特定上下文示例的问题，提出含时空抽象例程、用少量标注自动生成上下文示例的框架，提升了性能与鲁棒性，免去人工设计成本。
2024-05-14 cs.AI cs.CV cs.LG
Turaco: Complexity-Guided Data Sampling for Training Neural Surrogates of Programs
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Purdue University（普渡大学）
本文提出Turaco方法，通过程序分析评估不同执行路径的学习复杂度，并据此指导训练数据采样比例，从而提升程序神经代理模型的准确率。
2023-09-21 cs.LG cs.PL cs.SE
CNNLab: a Novel Parallel Framework for Neural Networks using GPU and FPGA-a Practical Study with Trade-off Analysis
UCSB（加州大学圣巴巴拉分校）；USTC（中国科学技术大学）
设计和实现高效的、可证明正确的并行神经网络处理是具有挑战性的。现有的高级并行抽象（如MapReduce）表现力不足，而MPI和Pthreads等低级工具则让ML专家反复解决相同的设计挑战。然而，多样性和大规模的数据量对构建灵活和高性能的深度学习神经网络实现提出了重大挑战。为了提高性能并保持可扩展性，我们提出了CNNLab，一种使用基于GPU和FPGA的加速器的新型深度学习框架。CNNLab为用户提供了一个统一的编程模型，使得硬件实现和调度对程序员是不可见的。在运行时，CNNLab在将任务卸载到加速器之前，利用GPU和FPGA之间的权衡。在最先进的Nvidia K40 GPU和Altera DE 5 FPGA板上的实验结果表明，CNNLab可以提供一个通用的框架，有效地支持不同的应用程序，而不会增加程序员的负担。此外，我们分析了详细的定量性能，吞吐量，功率，能量和性能密度的两种方法。实验结果利用GPU和FPGA之间的权衡，并为深度学习研究社区提供了有用的实践经验。
2016-06-20 cs.DC cs.LG
Fast weight programming and linear transformers: from machine learning to neurobiology
Harvard University（哈佛大学）；Center for Brain Science（脑科学中心）；Kempner Institute for the Study of Natural and Artificial Intelligence（自然与人工智能研究学院）
本文探讨了快速权重编程器（FWPs）的理论基础、计算特性及其与变换器和状态空间模型的联系，并讨论了FWPs与大脑突触可塑性模型的关联，揭示了自然与人工智能的交汇。
2026-09-28 cs.AI cs.LG q-bio.NC
Neural Program Repair by Jointly Learning to Localize and Repair
Google Brain（谷歌大脑）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；IISc Bangalore（印度科学学院班加罗尔分校）
由于它的潜力，以提高程序员的生产力和软件质量，自动程序修复一直是一个活跃的研究课题。较新的技术利用神经网络直接从错误程序及其修复的示例中学习。在这项工作中，我们考虑最近确定的一类错误称为变量滥用错误。变量误用的最新解决方案在选择最佳预测之前，列举程序中所有可能的错误位置的潜在修复。我们表明，这是有益的训练模型，共同和直接定位和修复变量误用错误。为此，我们提出了多头指针网络，每个头用于定位和修复。实验结果表明，联合模型显着优于枚举的解决方案，使用基于指针的模型单独修复。
2019-04-03 cs.LG stat.ML
Making Neural Programming Architectures Generalize via Recursion
University of California, Berkeley（加州大学伯克利分校）
从经验上讲，试图从数据中学习程序的神经网络表现出较差的泛化能力。此外，传统上很难推理出这些模型的行为超出了一定的输入复杂性水平。为了解决这些问题，我们提出用一个关键的抽象来增强神经架构：递归。作为一个应用程序，我们实现了递归神经程序员解释器框架上的四个任务：小学加法，冒泡排序，拓扑排序和快速排序。我们表现出优越的推广性和可解释性与少量的训练数据。递归将问题分成更小的部分，并大大减少了每个神经网络组件的域，使其易于证明整个系统行为的保证。我们的经验表明，为了使神经架构能够鲁棒地学习程序语义，有必要引入递归这样的概念。
2017-04-21 cs.LG cs.NE cs.PL
GraphNAS: Graph Neural Architecture Search with Reinforcement Learning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Centre for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）；Ant Financial Services Group（蚂蚁金融服务集团）
图神经网络（GNN）已被广泛用于分析诸如社交网络数据和生物数据的非欧几里德数据。尽管他们的成功，图神经网络的设计需要大量的手工工作和领域知识。在本文中，我们提出了一个图神经架构搜索方法（GraphNAS简称），使自动搜索的最佳图神经架构的基础上强化学习。具体来说，GraphNAS首先使用递归网络来生成描述图神经网络架构的可变长度字符串，然后使用强化学习训练递归网络，以最大限度地提高验证数据集上生成架构的预期准确性。在传导学习和归纳学习环境中对节点分类任务的广泛实验结果表明，GraphNAS可以在Cora，Citeseer，Pubmed引文网络和蛋白质-蛋白质相互作用网络上实现更好的性能。在节点分类任务上，GraphNAS可以设计一种新的网络架构，在测试集准确性方面可以与人类发明的最佳架构相媲美。
2019-08-20 cs.AI cs.LG stat.ML
ExAIS: Executable AI Semantics
Singapore Management University（新加坡管理大学）
神经网络可以被认为是一种新的编程范例，即，复杂的“人工智能”系统不是通过程序员头脑中的（通常是非正式的）逻辑推理来构建越来越复杂的程序，而是通过用大数据优化通用神经网络模型来构建的。在这种新的范式中，TensorFlow和PyTorch等AI框架发挥了关键作用，这与传统程序的编译器一样重要。众所周知，缺乏用于程序设计语言（例如C）的适当语义，即，编译器的正确性规范导致了许多有问题的程序行为和安全问题。由于程序设计语言的高度复杂性及其快速发展，通常很难为编译器提供正确的规范，但我们有一个独特的机会，这次可以为神经网络（功能有限，其中大多数具有稳定的语义）做正确的规范。在这项工作中，我们报告了我们为TensorFlow等神经网络框架提供正确性规范的努力。我们在逻辑程序设计语言Prolog中指定了几乎所有TensorFlow层的语义。我们证明了有用的语义通过两个应用程序。一个是TensorFlow的模糊引擎，它具有强大的预言和生成有效神经网络的系统方法。另一种是模型验证方法，可以为TensorFlow模型提供一致的错误报告。
2022-02-20 cs.AI cs.LG
A generative neural network model for random dot product graphs
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了GraphMoE，一种新的基于神经网络的方法来学习随机图的生成模型。神经网络被训练成通过矩估计器来匹配一类随机图的分布。用于训练的特征是graphlets，小顺序的子图计数。神经网络接受随机噪声作为输入，并输出图中节点的矢量表示。然后通过将核应用于表示来实现随机图。通过这种方式生成的图表被证明能够模仿来自化学、医学和社交网络的数据。生成的图与目标数据足够相似，从而能够欺骗能够分离随机图类别的随机神经网络。
2022-04-15 cs.LG stat.ML
Graph Wavelet Neural Network
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
我们提出了图小波神经网络（GWNN），一种新的图卷积神经网络（CNN），利用图小波变换来解决以前的谱图CNN方法依赖于图傅立叶变换的缺点。与图傅立叶变换不同，图小波变换不需要进行矩阵特征分解，计算量大，可以通过快速算法得到。此外，图小波是稀疏的，并在顶点域的局部化，提供了高效率和良好的解释图卷积。在三个基准数据集Cora，Citeseer和Pubmed上，所提出的GWNN在基于图的半监督分类任务中显着优于以前的谱图CNN。
2019-04-12 cs.LG stat.ML
Semialgebraic Neural Networks: From roots to representations
Rice University（莱斯大学）；University of Helsinki（赫尔辛基大学）
提出半代数神经网络（SANNs），通过将函数图像编码为分段多项式的核并执行同伦延拓方法，能够精确表示任意有界（含不连续）半代数函数，且支持传统深度学习训练。
2025-02-28 cs.LG cs.NA cs.NE
