Metapaths guided Neighbors aggregated Network for?Heterogeneous Graph Reasoning
Alibaba Group(阿里巴巴集团)
大多数真实世界的数据集本质上是异构的图,涉及到节点和关系类型的多样性。异构图嵌入是从图中学习结构和语义信息,然后嵌入到低维节点表示中。现有的方法通常通过定义元路径来捕捉异构图的复合关系,元路径表示图的语义。然而,这些方法要么忽略节点属性,要么丢弃图的局部和全局信息,要么只考虑一个元路径。为了解决这些限制,我们提出了一个元路径引导的邻居聚集异构图神经网络(MHN),以提高性能。特别地,MHN采用节点基嵌入来封装节点属性,元路径内的BFS和DFS邻居聚合来捕获局部和全局信息,以及元路径聚合来组合异构图的不同语义。我们在三个真实世界的异构图数据集上进行了大量的实验,包括节点分类,链接预测和阿里巴巴移动应用程序的在线A/B测试。结果表明,MHN表现优于其他国家的最先进的基线。
2021-03-11 cs.AI cs.LG cs.SI
Graph Metanetworks for Processing Diverse Neural Architectures
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Technion(以色列理工学院);NVIDIA(英伟达)
本文提出图元网络(GMNs),通过将神经网络参数构建为图并用图神经网络处理,以统一处理多种神经架构,具备表达力与置换等变性,并在多任务中验证有效性。
2023-12-29 cs.AI cs.LG stat.ML
Meta Learning in Decentralized Neural Networks: Towards More General AI
The University of Tokyo(东京大学);RIKEN(理化学研究所)
元学习通常是指从其他学习算法中学习的学习算法。神经网络预测中的不确定性问题表明,世界只能部分预测,并且学习过的神经网络不能推广到其不断变化的周围环境。因此,问题是预测模型如何同时表示多个预测。我们的目标是在分散式神经网络(分散式NN)的内容中提供对学习的基本理解,我们相信这是构建自主智能机器的最重要问题和先决条件之一。为此,我们将展示几个证据,用于在分散式NN中使用元学习解决上述问题。特别是,我们将提出三种不同的方法来构建这样一个分散的学习系统:(1)从许多副本神经网络中学习,(2)为不同的功能构建神经网络的层次结构,(3)利用不同的模态专家来学习跨模态表示。
2023-02-24 cs.AI cs.DC cs.LG
Graph Neural Networks vs Convolutional Neural Networks for Graph Domination Number Prediction
Rice University(里士大学)
本文比较了图神经网络与卷积神经网络在预测图支配数中的性能,发现GNNs在准确率和速度上均优于CNNs,为图优化和数学发现提供了新的方法。
2025-11-22 cs.AI cs.LG math.CO
Graph Neural Processes: Towards Bayesian Graph Neural Networks
我们介绍了图神经过程(GNP),其灵感来自于最近在条件和潜在神经过程方面的工作。图神经过程被定义为对任意图数据进行操作的条件神经过程。它将稀疏观察的上下文点的特征作为输入,并输出目标点上的分布。我们展示了图神经过程中的边缘插补,并讨论了其他应用领域的方法的优点和缺点。GNP的一个主要好处是能够量化图结构上的深度学习中的不确定性。该方法的另一个好处是能够将图神经网络扩展到动态大小的图的输入。
2019-10-01 cs.LG stat.ML
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London(伦敦玛丽女王大学);American University of Beirut(贝鲁特美国大学)
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间,并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而,这种性能是基于静态图结构的假设,当数据随时间变化时,这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近,提出了各种时空图神经网络算法,并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题,包括算法,应用和开放挑战。
2023-02-11 cs.LG
Capsule Graph Neural Networks with EM Routing
Nanjing University of Science and Technology(南京理工大学)
为了有效地对图实例进行分类,图神经网络需要具有捕获图中存在的部分-整体关系的能力。胶囊是一组代表实体复杂性质的神经元,在传统的卷积神经网络中显示出了它的优势。本文提出了一种新的胶囊图神经网络,它使用EM路由机制(CapsGNNEM)来生成高质量的图嵌入。在一些真实世界的图数据集上的实验结果表明,所提出的CapsGNNEM在图分类任务中优于9个最先进的模型。
2021-10-18 cs.LG
MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding
The Chinese University of Hong Kong(香港中文大学)
大量的现实世界的图或网络本质上是异构的,涉及到节点类型和关系类型的多样性。异构图嵌入是将异构图丰富的结构和语义信息嵌入到低维节点表示中。现有的模型通常在异构图中定义多个元路径来捕获复合关系并指导邻居选择。然而,这些模型要么忽略节点内容特征,要么丢弃元路径上的中间结点,要么只考虑一个元路径。为了解决这三个限制,我们提出了一个新的模型命名为元路径聚合图神经网络(MAGNN),以提高最终的性能。具体来说,MAGNN采用三个主要组件,即,用于封装输入节点属性的节点内容转换、用于合并中间语义节点的元路径内聚合以及用于组合来自多个元路径的消息的元路径间聚合。在三个真实世界的异构图数据集上进行的节点分类、节点聚类和链接预测的广泛实验表明,MAGNN实现了比最先进的基线更准确的预测结果。
2020-03-31 cs.LG cs.SI
Room Classification on Floor Plan Graphs using Graph Neural Networks
George Mason University(乔治梅森大学)
我们提出了我们的方法来改善房间分类任务的建筑物平面图的平面图表示为无向图和利用图神经网络来预测房间类别。楼层平面图中的房间表示为图形中的节点,边表示它们在地图中的相邻关系。我们实验的House-GAN数据集,包括平面图的矢量格式和训练多层感知器和图神经网络。我们的研究结果表明,图神经网络,特别是GraphSAGE和拓扑自适应GCN能够分别达到80%和81%的准确率,超过基线多层感知器15%以上的利润率。
2021-08-12 cs.LG
Graphon Neural Networks and the Transferability of Graph Neural Networks
University of Pennsylvania(宾夕法尼亚大学);Dept. of Electrical and Systems Eng.(电气与系统工程系);Philadelphia, PA 19143(费城,PA 19143)
图神经网络(GNN)依赖于图卷积来从网络数据中提取局部特征。这些图卷积使用所有节点共享的系数组合来自相邻节点的信息。由于这些系数是共享的,并且不依赖于图,因此可以设想使用相同的系数来定义另一个图上的GNN。这促使分析GNN在图中的可转移性。在本文中,我们引入图子NN作为GNN的极限对象,并证明了GNN的输出与其极限图子NN的输出之间的差的界。如果图卷积滤波器在图谱域中是带限的,则该界限随着节点数量的增加而消失。这一结果建立了GNN的可区分性和可转移性之间的权衡。
2020-10-20 cs.LG stat.ML
On Node Features for Graph Neural Networks
EPFL(洛桑联邦理工学院);HUST(华中科技大学);Google(谷歌公司);Griffith University(格里菲斯大学)
图神经网络(GNN)是一种用于图表示学习的深度模型。图神经网络的一个优点是它能够将节点特征纳入学习过程。然而,这阻碍了图神经网络应用于无特征图。本文首先分析了节点特征对图神经网络性能的影响。我们表明,如果节点特征和节点标签之间存在很强的相关性,GNN就能很好地工作。基于这些结果,我们提出了新的特征初始化方法,允许将图神经网络应用于非属性图。我们的实验结果表明,人工特征具有很强的竞争力,真正的功能。
2019-11-20 cs.LG stat.ML
A unifying primary framework for quantum graph neural networks from quantum graph states
该研究提出基于量子图态的量子图神经网络统一框架,证明图态可作为参数化量子电路表征神经网络,也可作为底层结构在量子计算机上构建图神经网络,为量子图神经网络的理解与实现提供统一基础。
2024-02-21 cs.LG quant-ph
Factor Graph Neural Network
National University of Singapore(新加坡国立大学);Nanjing University(南京大学)
大多数成功的深度神经网络架构都是结构化的,通常由卷积神经网络和门控递归神经网络等元素组成。最近,图神经网络已经成功地应用于图结构化数据,例如点云和分子数据。这些网络通常只考虑成对依赖关系,因为它们是在图结构上操作的。我们推广的图神经网络到一个因素图神经网络(FGNN),以捕捉高阶依赖。我们表明,FGNN是能够代表最大产品的信念传播,概率图模型的近似推理算法,因此,它是能够做得很好,当最大产品做得很好。在合成数据集和真实数据集上的实验结果表明了该模型的有效性。
2019-06-03 cs.LG stat.ML
Feature Learning for Meta-Paths in Knowledge Graphs
Hasso Plattner Institute(哈索·普拉特纳研究所)
本文主要研究异构知识图谱上的特征学习问题。这些特征可用于执行诸如图上的链接预测、分类和聚类等任务。知识图谱提供编码在边和节点类型中的丰富语义。元路径由图中的这些类型和抽象路径组成。迄今为止,元路径只能作为具有高冗余度的分类特征,因此不适合用于机器学习模型。我们提出元路径嵌入,以解决这个问题,通过学习语义和紧凑的向量表示。目前的图嵌入方法只嵌入节点和边类型,因此错过了在它们的组合中编码的语义。我们的方法使用skipgram模型嵌入元路径,并对skipgram模型进行了扩展,以处理大知识图谱中的冗余和大量元路径。我们通过预测维基数据上的链接来批判性地评估我们的嵌入方法。实验表明,我们学习到了一个合理的元路径嵌入,但可以进一步改进。
2018-09-07 cs.LG cs.SI stat.ML
Graph and graphon neural network stability
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)是一种学习架构,它依赖于图结构的知识来生成大规模网络数据的有意义的表示。因此,GNN的稳定性很重要,因为在现实世界的场景中,通常存在与图形相关的不确定性。我们使用称为graphons的内核对象来分析GNN的稳定性。图子既是收敛图序列的极限,也是确定图和随机图的生成模型。基于图子信号处理理论,我们定义了图子神经网络,并分析了它们对图子扰动的稳定性。然后,我们通过将图子神经网络解释为从原始和扰动图子实例化的确定性和随机图上的GNN的生成模型来扩展这种分析。我们观察到,GNNs是稳定的graphon扰动的稳定性界,随着图的大小逐渐减少。这种渐进行为在电影推荐实验中得到进一步证明。
2021-04-26 cs.LG eess.SP
Sampling and Recovery of Graph Signals based on Graph Neural Networks
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));Shanghai Jiao Tong University(上海交通大学)
我们提出了可解释的图神经网络的采样和恢复的图形信号,分别。为了进行信息测量,我们提出了一个新的图神经采样模块,其目的是选择那些最大限度地表达其相应邻域的顶点。这种表现力可以通过经由图神经网络估计的顶点特征和邻域特征之间的互信息来量化。为了从采样测量中重建原始图信号,我们提出了一个基于算法展开技术的图神经恢复模块。与以前的分析采样和恢复相比,所提出的方法能够灵活地学习各种图形信号模型的数据,通过利用神经网络的学习能力;与以前的基于神经网络的采样和恢复相比,所提出的方法是通过利用特定的图形属性设计的,并提供可解释性。我们进一步设计了一个新的多尺度图神经网络,它是一个可训练的多尺度图滤波器组,可以处理各种与图相关的学习任务。多尺度网络利用所提出的图神经采样和恢复模块来实现图的多尺度表示。在实验中,我们说明了所提出的图神经采样和恢复模块的效果,并发现该模块可以灵活地适应各种图结构和图信号。在基于主动采样的半监督学习任务中,图神经采样模块在Cora数据集上将分类精度提高了10%以上。我们进一步验证了建议的多尺度图神经网络上的几个标准数据集的顶点和图形分类。结果表明,我们的方法一贯提高分类精度。
2020-11-03 cs.LG cs.SI eess.SP
Graph Neural Network Expressivity and Meta-Learning for Molecular Property Regression
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Cornell University(康奈尔大学)
我们证明了元学习的模型不可知算法的适用性,特别是爬行动物,GNN模型在分子回归任务。使用元学习,我们能够学习新的化学预测任务,只需几个模型更新,而使用随机初始化的GNN需要从头开始学习每个回归任务。我们的实验表明,GNN层的表现力与改进的元学习相关。此外,我们还对GNN集成进行了实验,这些集成为k-shot学习提供了最佳性能和快速收敛。
2022-11-24 cs.LG q-bio.BM q-bio.QM
Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview
Information Fusion and Mining Laboratory(信息融合与挖掘实验室)
图神经网络是专门针对图数据的表示学习任务而引入的一组神经网络模型。图神经网络已被证明是有效的捕捉网络结构信息,学习的表示可以实现节点和图分类任务的最先进的性能。除了不同的应用场景外,图神经网络模型的体系结构也很大程度上取决于所研究的图类型。研究中研究的图形数据通常可以分为两种主要类型,即,小图与巨型网络,它们在大小,实例数量和标签注释方面彼此差异很大。已经引入了几种不同类型的图神经网络模型,用于从这种不同类型的图中学习表示。本文针对这两种不同类型的图数据,将介绍近年来推出的图神经网络。更具体地说,本文介绍的图神经网络包括IsoNN、SDBN、LF&ER、GCN、GAT、DifNN、GNL、GraphSage和seGEN。在这些图神经网络模型中,IsoNN,SDBN和LF&ER最初是针对小图提出的,其余的最初是针对巨网络提出的。读者在阅读本教程时,也可以参考这些论文以获取详细信息。
2019-08-01 cs.LG cs.NE stat.ML
Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning
Carnegie Mellon University(卡内基梅隆大学)
本文研究了用图神经网络进行节点表示学习的问题。我们提出了一个图神经网络类命名为递归图神经网络(RGNN),解决了现有方法的缺点。通过使用递归单元来捕获跨层的长期依赖性,我们的方法可以成功地识别递归邻域扩展过程中的重要信息。在我们的实验中,我们证明了我们的模型类在三个基准测试中获得了最先进的结果:Pubmed,Reddit和PPI网络数据集。我们的深入分析还表明,结合递归单元是一种简单而有效的方法来防止图中的噪声信息,从而实现更深的图神经网络。
2019-08-26 cs.LG cs.SI stat.ML
Meta Graph Attention on Heterogeneous Graph with Node-Edge Co-evolution
Didi Chuxing(滴滴出行)
图神经网络已成为结构化数据建模的重要工具。在许多现实世界的系统中,可能存在复杂的隐藏信息,例如,节点/边的异质性、静态节点/边属性和时空节点/边特征。然而,大多数现有的方法只考虑了部分信息。在本文中,我们提出了协同进化的Meta图神经网络(CoMGNN),它适用于元图注意异构图的节点和边缘状态的协同进化。我们进一步提出了一个时空适应的CoMGNN(ST-CoMGNN)的节点和边缘的时空模式建模。我们在两个大规模的真实世界数据集上进行了实验。实验结果表明,我们的模型显着优于国家的最先进的方法,从不同方面的编码不同的信息的有效性。
2020-10-09 cs.LG cs.SI stat.ML
Get Rid of Suspended Animation Problem: Deep Diffusive Neural Network on Graph Semi-Supervised Classification
IFM Lab, Florida State University(佛罗里达州立大学IFM实验室);Florida State University(佛罗里达州立大学);IFM Lab(IFM实验室);Tallahassee(塔拉哈西(此处按要求不应提取,但原文本中Tallahassee为城市名,根据规则应忽略,仅保留明确机构部分))
现有的图神经网络在模型架构深入时可能会遭遇“假死问题”。同时,对于一些图学习场景,例如,具有文本/图像属性的节点或具有长距离节点相关性的图,深度图神经网络对于有效的图表示学习将是必要的。本文提出了一种新的图神经网络,即DIFNET(图扩散神经网络),用于图表示学习和节点分类。DIFNET利用神经门和图残差学习进行节点隐藏状态建模,并包括用于节点邻域信息扩散的注意力机制。本文将做大量的实验,比较DIFNET与几个国家的最先进的图神经网络模型。实验结果可以说明DIFNET的学习性能优势和有效性,特别是在解决“假死问题”。
2020-01-22 cs.LG cs.NE stat.ML
Quantitative Neural Network Model of the Tip-of-the-Tongue Phenomenon Based on Synthesized Memory-Psycholinguistic-Metacognitive Approach
提出了一种新的舌尖现象的三阶段计算机人工神经网络模型。每个单词的节点都是由一些相互连接的学习自联想双层神经网络构建的,每个神经网络代表单独单词的语义、词汇或语音成分。该模型综合了记忆、心理语言学和元记忆的方法,弥补了言语错误和命名计时法的研究传统,并能定量解释许多舌尖效应。
2001-03-02 cs.AI cs.CL q-bio.NC
Graphs, Convolutions, and Neural Networks: From Graph Filters to Graph Neural Networks
网络数据可以方便地建模为图形信号,其中数据值被分配给描述底层网络拓扑的图形的节点。从网络数据中成功学习是建立在有效利用这种图结构的方法之上的。在这项工作中,我们利用图信号处理来表征图神经网络(GNNs)的表示空间。我们讨论了图卷积滤波器在GNN中的作用,并表明使用此类滤波器构建的任何架构都具有置换等变性和拓扑变化稳定性的基本属性。这两个属性提供了关于GNN工作原理的见解,并有助于解释其可扩展性和可转移性,再加上其本地和分布式性质,使GNN成为在物理网络中学习的强大工具。我们还介绍了GNN扩展使用边变化和自回归移动平均图滤波器,并讨论其属性。最后,我们研究了GNNs在推荐系统和机器人群学习分散控制器中的使用。
2021-05-19 cs.LG cs.SY eess.SY
Dynamic Meta-Learning for Adaptive XGBoost-Neural Ensembles
IMDEX Limited mining technology company(IMDEX有限采矿技术公司)
本研究提出一种结合XGBoost与神经网络的自适应集成框架,借助元学习、不确定性量化及特征重要性融合实现动态模型调度,在多数据集上取得更优预测性能与可解释性。
2025-09-30 cs.AI cs.LG
Unsupervised Meta-Testing with Conditional Neural Processes for Hybrid Meta-Reinforcement Learning
Department of Computer Engineering, Bogazici University(计算机工程系,博兹达奇大学)
本文提出UMCNP方法,将策略梯度元强化学习与基于条件神经过程的任务推断相结合,在元测试无奖励信号时通过离线重用训练样本和单条轨迹推断动力学模型,显著减少适应新任务所需样本。
2025-06-04 cs.AI cs.LG cs.RO
Robust Graph Meta-learning for Weakly-supervised Few-shot Node Classification
Arizona State University(亚利桑那州立大学);Texas A&M University(得克萨斯农工大学);University of Virginia(弗吉尼亚大学)
图被广泛地用于对数据的关系结构进行建模,并且图机器学习(ML)的研究具有广泛的应用范围,从分子图中的药物设计到社交网络中的友谊推荐。图ML的流行方法通常需要大量的标记实例来实现令人满意的结果,这在现实世界的场景中通常是不可行的,因为新出现的概念的标记数据(例如,节点的新分类)是有限的。虽然元学习已经被应用于不同的Few-Shot图学习问题,但大多数现有的努力主要假设来自那些可见类的所有数据都是黄金标记的,而当可见数据被严重的标签噪声弱标记时,这些方法可能会失去它们的有效性。因此,我们的目标是研究一个新的问题,弱监督图元学习,以提高模型的鲁棒性方面的知识转移。为了实现这一目标,本文提出了一种新的图元学习框架--图幻觉网络(Meta-GHN)。基于一种新的鲁棒性增强的情景训练,Meta-GHN被元学习,以从弱标记数据中产生干净的节点表示,并提取高度可转移的元知识,这使得模型能够快速适应具有少量标记实例的看不见的任务。大量的实验证明了Meta-GHN在弱监督Few-Shot节点分类任务上优于现有的图元学习研究。
2022-08-21 cs.LG
Approximation Rates for Metaplectic Neural Networks
Johann Radon Institute of Computational and Applied Mathematics (RICAM)(约翰·拉东计算与应用数学研究所(RICAM));Austrian Academy of Sciences(奥地利科学院);University of Twente(特温特大学);Università degli Studi di Torino(都灵大学)
该研究扩展巴伦空间概念并引入神经元坡涅特字典,证明其逼近界,构建对应深度网络架构,在含时薛定谔方程解的逼近任务中性能优于经典物理信息神经网络。
2026-08-11 cs.LG math.FA
Across-Task Neural Architecture Search via Meta Learning
Zhejiang University of Technology(浙江工业大学)
充足的标记数据和昂贵的计算资源是神经结构搜索成功的前提。在计算资源和数据有限的元学习场景中应用NAS具有挑战性。在本文中,跨任务的神经架构搜索(AT-NAS)提出了解决这个问题,通过结合基于梯度的元学习和EA的NAS学习的任务分布。超网通过元学习其权重来学习整个任务集。从超网中采样的结构编码迭代地适应进化算法,同时搜索一个任务敏感的元网络。搜索元网络可以通过几个学习步骤来适应新的任务,并且只需要很少的搜索时间。实验结果表明,AT-NAS在Few-Shot分类精度上优于相关方法。AT-NAS在分类基准测试中的性能与从头开始搜索的模型相当,通过在不到一个小时的时间内从5-GPU-天的预训练元网络中调整架构。
2021-10-12 cs.LG
Topology-aware Tensor Decomposition for Meta-graph Learning
HKUST(香港科技大学);HUST(华中科技大学)
针对现有元图学习方法忽略拓扑结构的问题,提出拓扑感知张量分解TENSUS,从张量视角学习元图,可插件式提升异构图节点分类和推荐性能。
2023-09-01 cs.LG
Neural Collaborative Filtering Bandits via Meta Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
上下文多臂强盗为解决决策中的开发-探索困境提供了强有力的工具,并直接应用于个性化推荐。事实上,用户之间的协作效应具有改善推荐的巨大潜力。在本文中,我们介绍和研究的问题,通过探索“神经协同过滤Bandits”,其中的奖励可以是非线性函数和组的动态形成不同的具体内容。为了解决这个问题,受元学习的启发,我们提出了元禁令(元强盗),其中元学习者被设计为代表并快速适应动态群体,以及基于UCB的探索策略。此外,我们分析了Meta-Ban可以实现的遗憾界的$\mathcal{O}(\sqrt{T \log T})$,提高了一个乘法因子$\sqrt{\log T}$的最先进的相关工作。最后,我们进行了大量的实验,表明Meta-Ban显著优于六个强基线。
2022-02-23 cs.LG
MetaGL: Evaluation-Free Selection of Graph Learning Models via Meta-Learning
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院);Intel Labs(英特尔研究院)
本研究提出元学习方法MetaGL,通过元图特征和G-M网络上的图元学习器,利用历史模型表现无需评估即可为新图选模型,性能优于现有方法且测试速度快。
2023-06-08 cs.LG cs.SI
Meta-World Conditional Neural Processes
Bogazici University(海峡大学)
我们提出了元世界条件神经过程(MW-CNP),一个条件世界模型生成器,利用样本效率和条件神经过程的可扩展性,使代理从自己的“幻觉”采样。我们打算在测试时尽可能地减少代理与目标环境的交互。为了减少测试时所需的样本数量,我们首先从具有隐藏参数的测试环境中的单个卷展栏获得过渡动态的潜在表示。然后,我们通过与Meta世界模型生成的“幻觉”交互来获得少样本学习的推出。使用来自MW-CNP的世界模型表示,元RL代理可以适应看不见的目标环境,与基线相比,从目标环境收集的样本显著减少。我们强调,在整个训练和测试过程中,智能体不能访问任务参数,MW-CNP是在元训练期间记录的离线交互数据上训练的。
2023-02-20 cs.AI cs.LG cs.NE
A Novel Modeling Approach for All-Dielectric Metasurfaces Using Deep Neural Networks
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Massachusetts Institute of Technology(麻省理工学院);East China Normal University(华东师范大学);Lockheed Martin Corporation(洛克希德·马丁公司);University of Central Florida(中佛罗里达大学)
超颖表面已成为一种有前途的手段,用于操纵光学波前的平面和高性能的光学器件。传统的元表面器件设计依赖于试错法来获得目标电磁(EM)响应,这种方法需要大量的努力来研究大量可能的元原子结构。在本文中,介绍了一种深度神经网络方法,与目前用于组装基于元表面的设备的技术相比,该方法在速度和准确性方面都有显着提高。我们的神经网络方法克服了三个关键的挑战,限制了以前的基于神经网络的设计方案:输入/输出矢量尺寸失配,准确的EM波相位预测,以及适应3-D介电结构,并可以普遍适用于各种各样的超颖表面器件设计在整个电磁波谱。使用这种新的方法,神经网络的例子,能够产生按需设计的元原子,元表面过滤器,相变可重构元表面进行了演示。
2019-06-08 cs.LG physics.optics
Metalearned Neural Memory
Microsoft Research(微软研究院)
我们用一种外部记忆机制来增强递归神经网络,这种机制建立在元学习的最新进展之上。我们将这种记忆概念化为一种快速适应的功能,我们将其参数化为一个深层神经网络。从神经记忆函数中读取相当于通过函数推送输入(键向量)以产生输出(值向量)。写入存储器意味着改变功能;具体来说,更新神经网络的参数以编码所需的信息。我们利用元学习的训练和算法技术一次性更新神经记忆功能。所提出的记忆增强模型在各种学习问题上实现了强大的性能,从监督式问答到强化学习。
2019-12-03 cs.LG cs.NE stat.ML
Joint Embedding of Meta-Path and Meta-Graph for Heterogeneous Information Networks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Cornell University(康奈尔大学);The University of Hong Kong(香港大学);Facebook(脸书)
元图是目前异构信息网络相似性搜索最有效的工具,元图是一组元路径的组合,它捕捉了复杂的结构信息。然而,目前基于元图的相关性计算只考虑了复杂的结构信息,而忽略了其嵌入的元路径信息。为了解决这个问题,我们提出了基于MEta-GrAph的网络嵌入模型,分别称为MEGA和MEGA++。MEGA模型同时使用从元图及其嵌入的节点之间的元路径导出的归一化相关性或相似性度量,然后利用张量分解方法执行节点嵌入。MEGA++进一步利用耦合张量矩阵分解方法获得节点的联合嵌入,同时考虑了元图所有Meta信息的隐藏关系,在两个真实数据集上的大量实验表明MEGA和MEGA++比现有方法更有效.
2018-09-11 cs.LG cs.SI stat.ML
Meta-Learning with Hessian-Free Approach in Deep Neural Nets Training
Fudan University(复旦大学);Rochester Institute of Technology(罗切斯特理工学院)
元学习是一种很有前途的方法,可以实现深度神经网络的有效训练方法,近年来吸引了越来越多的兴趣。但现有的方法大多不能训练复杂的神经网络模型,训练时间较长。本文在Hessian-Free方法的基础上,提出了一种新的二阶元优化算法--无Hessian-Free元学习(MLHF)方法。建立了两个递归神经网络来生成该Hessian-Free框架的阻尼和预条件矩阵。一系列的技术,以元训练MLHF走向稳定,并加强元训练的优化器,包括梯度计算的$H$。在CIFAR 10和ILSVRC 2012数据集上对深度卷积神经网络(包括CUDA-convnet和ResNet 18(v2))进行的数值实验表明,MLHF在整个长时间训练过程中表现出良好的连续训练性能,即,快速下降的早期阶段和快速下降的后期阶段,因此是一个有前途的元学习框架,可以提高现实世界深度神经网络的训练效率。
2018-09-07 cs.LG stat.ML
Graph Meta Learning via Local Subgraphs
Harvard University(哈佛大学)
现有的图的学习方法需要大量的标号和边信息。当新任务的数据稀缺时,元学习可以从先前的经验中学习,并形成急需的归纳偏差,以快速适应新任务。在这里,我们介绍G-Meta,一种新的图的元学习算法。G-Meta使用局部子图来传递特定于子图的信息,并通过Meta梯度更快地学习可传递的知识。G-Meta学习如何使用新任务中的少数节点或边快速适应新任务,并通过从其他图或相关但不相交的标签集中学习数据点来实现。G-Meta在理论上是合理的,因为我们证明了预测的证据可以在目标节点或边缘周围的局部子图中找到。在7个数据集和9个基线方法上的实验表明,G-Meta比现有方法的性能高出16.3%。与以前的方法不同,G-Meta成功地在具有挑战性的少样本学习设置中学习,这些设置需要泛化到全新的图形和从未见过的标签。最后,G-Meta可以扩展到大型图,我们在一个新的由1,840个图组成的生命树数据集上展示了这一点,在以前的工作中使用的图的数量增加了两个数量级。
2021-01-08 cs.LG stat.ML
Meta-Graph: Few Shot Link Prediction via Meta Learning
McGill University(麦吉尔大学);Mila(米拉);Uber AI(优步人工智能)
我们考虑图上的Few Shot链接预测的任务。目标是从图上的分布中学习,以便模型能够在少量训练后快速推断新图中的缺失边缘。我们表明,目前的链接预测方法一般装备不良,以处理这项任务。它们不能有效地将学到的知识从一个图转移到另一个图,也不能有效地从稀疏的边缘样本中学习。为了解决这个问题,我们引入了一个新的基于梯度的元学习框架,Meta-Graph。我们的框架利用高阶梯度以及学习的图签名函数,该函数有条件地生成图神经网络初始化。使用一组新的Few Shot链接预测基准测试,我们表明,元图可以学习快速适应一个新的图形,只使用一个小样本的真正的边缘,不仅能够快速适应,而且还改善了收敛的结果。
2020-03-01 cs.LG cs.SI stat.ML
Meta-Graph Based HIN Spectral Embedding: Methods, Analyses, and Insights
University of Illinois, Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
在这项工作中,我们建议研究不同的元图的效用,以及如何同时利用多个元图以无监督的方式进行HIN嵌入。基于对同构网络,特别是谱图理论的大量研究,本文首先对多个异构网络上不同元图的谱和嵌入质量进行了系统的实证研究,提出了一种有效的元图评价方法.它还有助于我们获得有价值的洞察高阶组织的HIN,并指出了一个实用的方法来选择有用的嵌入维。此外,我们探讨了通过数学几何推理组合多个元图来捕获HIN中的多维语义的挑战,并得出了具有$\ell_{2,1}$ -损失的自编码器的嵌入压缩方法,该方法以端到端的无监督方式找到信息量最大的元图和嵌入。最后,实证分析提出了一个统一的工作流程,以缩小我们的元图评估和组合方法之间的差距。据我们所知,这是第一个研究工作,提供丰富的理论和实证分析的效用元图及其组合,特别是关于HIN嵌入。与各种最先进的基于神经网络的嵌入方法在多个真实世界的HIN上进行了广泛的实验比较,证明了我们的框架在寻找有用的元图和生成高质量的HIN嵌入方面的有效性和效率。
2019-09-29 cs.LG cs.SI
Meta-Learning of Neural Architectures for Few-Shot Learning
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Freiburg(弗莱堡大学)
神经架构搜索(NAS)的最新进展已经允许将神经架构的自动化设计扩展到现实世界的领域,例如目标检测和语义分割。然而,NAS应用的一个先决条件是大量的标记数据和计算资源。这使得它的应用程序在少样本学习场景中具有挑战性,其中需要学习许多相关的任务,每个任务的数据量和计算时间都有限。因此,少样本学习通常使用固定的神经架构来完成。为了改进这一点,我们提出了MetaNAS,第一个方法,它完全集成了NAS与基于梯度的元学习。MetaNAS在元训练期间优化元架构以及元权重。在元测试期间,架构可以通过任务优化器的几个步骤来适应新的任务,即:任务适应变得计算便宜,并且每个任务只需要很少的数据。此外,MetaNAS是不可知的,因为它可以与任意模型不可知的元学习算法和任意基于梯度的NAS方法一起使用。%我们在Few-Shot分类基准上结合DARTS和REPTILE为MetaNAS提供了令人鼓舞的结果。标准Few-Shot分类基准测试的实证结果表明,结合DARTS和REPTILE的MetaNAS可以产生最先进的结果。
2021-06-14 cs.LG stat.ML
Meta-Curriculum Learning for Domain Adaptation in Neural Machine Translation
University of Macau(澳门大学)
元学习已被充分验证,对低资源神经机器翻译(NMT)有益。然而,我们发现元训练的NMT未能提高在元训练阶段看不见的域的翻译性能。在本文中,我们的目的是缓解这个问题,提出了一种新的Meta课程学习的领域自适应在NMT。在元训练过程中,NMT首先学习各领域的相似课程,避免过早陷入局部最优,最后学习各领域的个性化课程,提高模型学习领域知识的鲁棒性。在10个不同的低资源领域的实验结果表明,Meta课程学习可以提高熟悉和不熟悉的领域的翻译性能。所有的代码和数据都可以在https://github.com/NLP2CT/Meta-Curriculum上免费获得。
2021-03-03 cs.CL cs.LG
Neural Graph Machines: Learning Neural Networks Using Graphs
University of Cambridge(剑桥大学);Google Research(谷歌研究院)
标签传播是一种强大而灵活的图上的半监督学习技术。另一方面,神经网络在许多监督学习任务中有着良好的记录。在这项工作中,我们提出了一个训练框架与图形正则化的目标,即“神经图机”,可以结合神经网络和标签传播的力量。这项工作概括了以前关于神经网络的图增强训练的文献,使其能够应用于多种神经架构(前馈NN,CNN和LSTM RNN)和各种图形。新的目标允许神经网络通过以下方式来利用标记和未标记的数据:(a)允许网络像在监督设置中一样使用标记数据进行训练,(b)使网络偏向于学习图上相邻节点的类似隐藏表示,与标签传播相同。具有所提出的目标的这样的架构可以使用随机梯度下降来有效地训练,并且可以扩展到大型图,其运行时间在边的数量上是线性的。所提出的联合训练方法令人信服地优于许多现有的方法在广泛的任务(多标签分类的社会图,新闻分类,文档分类和语义意图分类),多种形式的图形输入(包括图形与和没有节点级功能),并使用不同类型的神经网络。
2017-03-14 cs.LG cs.NE
MetAL: Active Semi-Supervised Learning on Graphs via Meta Learning
Tokyo Institute of Technology(东京工业大学)
主动学习(AL)的目标是通过只选择信息量最大的样本进行标注,从而训练具有较少标注样本的分类模型。为其他数据类型(如图像和文本)设计的AL算法在图结构数据上表现不佳。虽然已经提出了一些基于几何学的人工智能算法的图,一个原则性的方法是缺乏的。在本文中,我们提出了MetAL,AL方法,选择未标记的实例,直接提高分类模型的未来性能。对于一个半监督学习问题,我们制定了AL任务作为一个双层优化问题。基于最近的元学习工作,我们使用元梯度来近似使用任何未标记实例重新训练模型对模型性能的影响。使用属于不同领域的多个图形数据集,我们证明了MetAL有效地优于现有的最先进的AL算法。
2020-07-22 cs.LG stat.ML
Neural Exploratory Landscape Analysis for Meta-Black-Box-Optimization
South China University of Technology(华南理工大学)
本文提出NeurELA,一种端到端、基于注意力两阶段神经网络的框架,用于动态刻画景观特征,替代人工特征,提升元黑箱优化的自主性和性能。
2025-03-27 cs.LG cs.NE
Meta-GNN: On Few-shot Node Classification in Graph Meta-learning
University of Electronic Science and Technology of China(中国电子科技大学);University of Maryland, College Park(马里兰大学帕克分校);Iowa State University(爱荷华州立大学)
元学习作为一种模仿人类智能的可能方法最近受到了极大的关注,即,学习新的知识和技能,很少或甚至没有演示。现有的大多数元学习方法都是针对图像和文本等少样本学习问题提出的,而不是在欧氏域中。然而,将元学习应用于非欧域的研究很少,最近提出的图神经网络(GNNs)模型不能有效地解决图少样本学习问题。为此,我们提出了一种新的图元学习框架- Meta-GNN -来解决图元学习设置中的Few-Shot节点分类问题。该算法通过对多个相似的少样本学习任务进行训练来获得分类器的先验知识,然后利用少量的标记样本对新类中的节点进行分类。此外,Meta-GNN是一个通用模型,可以直接并入任何现有的最先进的GNN。我们在三个基准数据集上进行的实验表明,我们提出的方法不仅提高了节点分类性能的大幅度提高了元学习范式中的少样本学习问题,但也学习一个更通用和灵活的任务适应模型。
2019-05-23 cs.LG stat.ML
MIGS: Meta Image Generation from Scene Graphs
Technical University of Munich(慕尼黑工业大学)
从场景图生成图像是显式场景生成和操作的一个很有前途的方向。然而,从场景图生成的图像缺乏质量,这部分是由于数据的高难度和多样性。我们提出了MIGS(Meta Image Generation from Scene Graphs),这是一种基于元学习的方法,用于从图中生成Few-Shot图像,使模型能够适应不同的场景,并通过对不同的任务集进行训练来提高图像质量。通过以任务驱动的方式对数据进行采样,我们使用元学习对基于场景属性分类的不同任务集进行训练生成器。我们的研究结果表明,使用这种元学习方法从场景图中生成图像,在图像质量和捕捉场景中的语义关系方面实现了最先进的性能。项目网址:https://migs2021.github.io/
2021-10-22 cs.CV cs.LG
Improving physics-informed neural networks with meta-learned optimization
Memorial University of Newfoundland(纽芬兰纪念大学)
我们表明,使用物理信息神经网络求解微分方程系统时,这些网络使用元学习优化方法进行训练,而不是像传统上那样使用固定的手工优化器,可以大大减少可实现的错误。我们选择了一种基于浅层多层感知器的可学习优化方法,该方法针对特定类别的微分方程进行元训练。我们说明了元训练优化器的几个方程的实际相关的数学物理,包括线性平流方程,泊松方程,Korteweg-德弗里斯方程和伯格斯方程。我们还说明了元学习优化器具有迁移学习能力,因为一个微分方程上的元训练优化器也可以成功地部署在另一个微分方程上。
2023-03-14 cs.LG cs.NA math.NA
A generative neural network model for random dot product graphs
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了GraphMoE,一种新的基于神经网络的方法来学习随机图的生成模型。神经网络被训练成通过矩估计器来匹配一类随机图的分布。用于训练的特征是graphlets,小顺序的子图计数。神经网络接受随机噪声作为输入,并输出图中节点的矢量表示。然后通过将核应用于表示来实现随机图。通过这种方式生成的图表被证明能够模仿来自化学、医学和社交网络的数据。生成的图与目标数据足够相似,从而能够欺骗能够分离随机图类别的随机神经网络。
2022-04-15 cs.LG stat.ML
Artificial Intelligence-Generated Terahertz Multi-Resonant Metasurfaces via Improved Transformer and CGAN Neural Networks
针对传统DNN用于太赫兹多谐振石墨烯超表面逆向设计泛化能力有限的问题,提出改进Transformer与CGAN分别实现高精度逆向设计方法,提升了设计精度与泛化性,推进了AIGM设计流程并提供指导。
2023-07-21 cs.LG physics.app-ph physics.optics
Fast Training of Neural Lumigraph Representations using Meta Learning
Stanford University(斯坦福大学)
新颖的视图合成是机器学习和计算机视觉中一个长期存在的问题。最近取得了重大进展,在开发神经场景表示和渲染技术,合成逼真的图像从任意视图。然而,这些表示训练非常慢,并且通常渲染也很慢。受基于图像的渲染的神经变体的启发,我们开发了一种新的神经渲染方法,其目标是快速学习也可以实时渲染的高质量表示。我们的方法MetaNLR++通过使用神经形状表示和基于2D CNN的图像特征提取、聚合和重新投影的独特组合来实现这一点。为了将表示收敛时间缩短到几分钟,我们利用Meta学习来学习神经形状和图像特征先验,从而加速训练。然后,可以使用传统的图形技术提取优化的形状和图像特征,并实时的渲染。我们表明,MetaNLR++实现了类似或更好的新的视图合成结果在竞争方法所需的时间的一小部分。
2021-10-26 cs.CV cs.GR cs.LG
Meta-learning Loss Functions of Parametric Partial Differential Equations Using Physics-Informed Neural Networks
University of Houston(休斯顿大学);University of Austin(奥斯汀大学)
本文提出基于广义加性模型的物理信息神经网络损失函数元学习方法,在Burger方程和二维热方程上验证,通过替代传统数据损失提升参数化PDE学习效率及元学习器性能与收敛性。
2024-11-29 cs.LG math.AP physics.comp-ph
Meta-neural-network for Realtime and Passive Deep-learning-based Object Recognition
Nanjing University(南京大学);Huazhong University of Science and Technology(华中科技大学)
深度学习最近在各个学科都取得了巨大的成功,但传统上需要耗时的计算机处理或大尺寸的衍射元件。在这里,我们从理论上提出并实验证明了一个纯被动的“元神经网络”的紧凑性和高分辨率的实时识别复杂的对象,通过分析声散射。我们证明了我们的元神经网络模仿标准的神经网络,尽管其占地面积小,由于其超材料单位细胞的独特能力,被称为“元神经元”,产生深亚波长分布的离散相移作为可学习的参数在训练过程中。由此产生的设备表现出“智能”来执行所需的任务,有可能解决当前在减小设备尺寸、成本和能耗与提高识别速度和准确性之间的权衡,这一点通过手写数字识别的示例来展示。我们的机制开辟了通往新的基于超材料的深度学习范例的道路,并使智能传感器等概念设备能够自动分析信号,对声学,光学和相关领域具有深远的影响。
2019-09-16 cs.LG cs.NE physics.app-ph
Graph Structure of Neural Networks
Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究院)
神经网络通常表示为神经元之间的连接图。然而,尽管它们被广泛使用,但目前对神经网络的图结构与其预测性能之间的关系了解甚少。在这里,我们系统地研究了神经网络的图结构如何影响其预测性能。为此,我们开发了一种新的基于图的表示神经网络称为关系图,其中神经网络计算层对应于沿图结构的消息交换轮。使用这种表示,我们表明:(1)关系图的“甜蜜点”导致神经网络具有显着提高的预测性能;(2)神经网络的性能近似是其关系图的聚类系数和平均路径长度的平滑函数;(3)我们的研究结果在许多不同的任务和数据集上是一致的;(4)甜蜜点可以有效地识别;(5)表现最好的神经网络具有与真实生物神经网络惊人相似的图形结构。我们的工作为神经网络结构的设计和对神经网络的理解开辟了新的方向。
2020-08-27 cs.CV cs.LG cs.SI
Meta-Learning Neural Bloom Filters
DeepMind(深度思维);University College London(伦敦大学学院)
最近有一种趋势是训练神经网络来取代手工制作的数据结构,目的是更快的执行,更好的准确性或更大的压缩。在这种设置中,通过在其输入的许多时期上训练网络直到收敛来实例化神经数据结构。在输入达到高吞吐量或短暂的应用中,从头开始训练网络是不切实际的。这激发了对Few-Shot神经数据结构的需求。在本文中,我们探讨了通过元学习在一个单一的一组数据的近似集成员的学习。我们提出了一种新的内存架构,神经布隆过滤器,这是能够实现显着的压缩增益超过经典的布隆过滤器和现有的内存增强神经网络。
2019-06-10 cs.DB cs.DS cs.LG