A Survey on The Expressive Power of Graph Neural Networks
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
图神经网络(GNNs)是解决各种图学习问题的有效机器学习模型。尽管他们的经验成功,GNN的理论局限性已被揭示最近。因此,已经提出了许多GNN模型来克服这些限制。在本调查中,我们全面概述了GNN的表达能力以及GNN的可证明的强大变体。
2020-10-16 cs.LG stat.ML
Learning Representations of Graph Data -- A Survey
University College London(伦敦大学学院)
深度神经网络在对象识别、图像分类和自然语言处理领域取得了巨大成功。然而,设计最佳的神经网络架构,可以学习和输出任意图形是一个正在进行的研究问题。本调查的目的是总结和讨论学习图数据表示方法的最新进展。我们从识别常用的图形数据类型开始,并回顾图论的基础知识。接着讨论了图核方法和神经网络之间的关系。接下来,我们确定了用于学习图数据表示的主要方法,即:核方法,卷积方法,图神经网络方法,图嵌入方法和概率方法。各种方法下的每一种方法进行了讨论,并在调查结束时简要讨论了未来的学习表示的图形数据。
2019-07-01 cs.LG stat.ML
Explainability in Graph Neural Networks: An Experimental Survey
University of New South Wales(新南威尔士大学)
图神经网络(GNNs)已经在各种应用领域中被广泛地开发用于图表示学习。然而,与所有其他神经网络模型类似,GNN也存在黑箱问题,因为人们无法理解其背后的机制。为了解决这个问题,已经提出了几种GNN可解释性方法来解释GNN做出的决策。在这次调查中,我们概述了最先进的GNN可解释性方法以及如何评估它们。此外,我们提出了一个新的评估指标,并进行了彻底的实验,比较GNN的可解释性方法在现实世界的数据集。我们还提出了GNN可解释性的未来方向。
2022-03-17 cs.AI cs.LG
Survey of Image Based Graph Neural Networks
在这篇综述论文中,我们分析了基于图像的图神经网络,并提出了一个三步分类方法。我们首先使用Quickshift算法将图像转换为超像素,以便减少30%的输入数据。超像素随后用于生成区域邻接图。最后,将图通过最先进的图卷积神经网络以获得分类分数。我们还分析了图神经网络中的空间卷积滤波技术和谱卷积滤波技术。基于光谱的模型比基于空间的模型和经典的CNN性能更好,计算成本更低。
2021-06-11 cs.AI cs.CV cs.LG
Graph Neural Network for Traffic Forecasting: A Survey
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
交通预测是智能交通系统成功的关键。深度学习模型,包括卷积神经网络和递归神经网络,已被广泛应用于交通预测问题中,以对空间和时间依赖性进行建模。近年来,为了对交通系统中的图结构以及上下文信息进行建模,已经引入了图神经网络,并且在一系列交通预测问题中取得了最先进的性能。在本调查中,我们回顾了使用不同图神经网络(例如图卷积和图注意力网络)在各种交通预测问题(例如道路交通流量和速度预测、城市轨道交通系统中的客流预测以及乘车平台中的需求预测)中快速增长的研究主体。我们还为每个问题提供了一个全面的开放数据和源资源列表,并确定了未来的研究方向。据我们所知,本文是第一个全面的调查,探讨应用图神经网络的交通预测问题。我们还创建了一个公共GitHub存储库,其中将更新最新的论文,开放数据和源资源。
2022-02-22 cs.AI cs.LG
A Survey on Graph Neural Networks for Knowledge Graph Completion
Indian Institute of Technology Delhi(印度理工学院德里分校)
知识图谱越来越多地用于各种下游任务,如问答和信息检索。然而,知识图谱往往是不完整的,从而导致性能不佳。因此,人们对知识库完成的任务很感兴趣。最近,图神经网络已被用于捕获固有地存储在这些知识图谱中的结构信息,并已被证明可以在各种数据集上实现SOTA性能。在这项调查中,我们了解所提出的方法的各种优点和缺点,并试图找到新的令人兴奋的研究问题,在这一领域,需要进一步调查。
2020-07-24 cs.AI cs.CL cs.LG
A Survey on Graph Representation Learning Methods
York University(约克大学)
图的表示学习是近年来一个非常活跃的研究领域。图表示学习的目标是生成能够准确捕捉大型图的结构和特征的图表示向量。这是特别重要的,因为图形表示向量的质量将影响这些向量在下游任务(诸如节点分类、链接预测和异常检测)中的性能。许多技术被提出用于生成有效的图表示向量。图表示学习的两个最流行的类别是不使用图神经网络(GNN)的图嵌入方法,我们将其表示为基于非GNN的图嵌入方法和基于图神经网络(GNN)的方法。非GNN图嵌入方法基于随机游走、时间点过程和神经网络学习方法等技术。另一方面,基于GNN的方法是深度学习在图形数据上的应用。在本调查中,我们提供了这两个类别的概述,并涵盖了静态和动态图的当前最先进的方法。最后,我们探讨了一些开放和正在进行的研究方向,为未来的工作。
2022-06-15 cs.LG cs.SI
A Survey of Explainable Graph Neural Networks: Taxonomy and Evaluation Metrics
University of Technology Sydney(悉尼科技大学)
本文全面综述了可解释图神经网络的可解释性技术,基于所用方法对其进行分类,提供了常见性能评估指标,并指出了未来的研究方向。
2023-05-23 cs.AI cs.LG
A Comprehensive Survey on Graph Neural Networks
University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
近年来,深度学习彻底改变了许多机器学习任务,从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常在欧几里得空间中表示。然而,有越来越多的应用程序,其中数据是从非欧几里德域生成的,并表示为对象之间具有复杂关系和相互依赖性的图形。图数据的复杂性给现有的机器学习算法带来了巨大的挑战。最近,出现了许多关于扩展图数据的深度学习方法的研究。在本调查中,我们提供了数据采掘和机器学习领域的图神经网络(GNN)的全面概述。我们提出了一种新的分类法,将最先进的图神经网络分为四类,即递归图神经网络,卷积图神经网络,图自动编码器,时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用,并总结了图神经网络的开源代码,基准数据集和模型评估。最后,我们提出了在这个快速发展的领域的潜在研究方向。
2019-12-04 cs.LG stat.ML
Graph Neural Processes: Towards Bayesian Graph Neural Networks
我们介绍了图神经过程(GNP),其灵感来自于最近在条件和潜在神经过程方面的工作。图神经过程被定义为对任意图数据进行操作的条件神经过程。它将稀疏观察的上下文点的特征作为输入,并输出目标点上的分布。我们展示了图神经过程中的边缘插补,并讨论了其他应用领域的方法的优点和缺点。GNP的一个主要好处是能够量化图结构上的深度学习中的不确定性。该方法的另一个好处是能够将图神经网络扩展到动态大小的图的输入。
2019-10-01 cs.LG stat.ML
Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
UFRGS(里约热内卢联邦大学);City, University of London(伦敦城市大学);University of Siena(锡耶纳大学);Université Côte d’Azur(蔚蓝海岸大学);Rice University(莱斯大学)
神经符号计算现在已经成为学术和工业研究实验室感兴趣的主题。图神经网络在关系和符号领域有着广泛的应用,在组合优化、约束满足、关系推理等科学领域有着广泛的应用。一般来说,需要改进人工智能系统的可解释性,可解释性和信任度,这需要有原则的方法,正如神经符号计算所建议的那样。在本文中,我们回顾了使用GNN作为神经符号计算模型的最新技术。这包括GNN在几个领域的应用,以及它与神经符号计算当前发展的关系。
2021-06-12 cs.AI cs.CL cs.LG
Foundations and modelling of dynamic networks using Dynamic Graph Neural Networks: A survey
University of Technology Sydney(悉尼科技大学)
动态网络被广泛应用于各个领域,包括社会网络分析、推荐系统和流行病学。将复杂网络表示为随时间变化的结构,使网络模型不仅可以利用结构模式,还可以利用时间模式。然而,动态网络文学来源于不同的领域,使用不一致的术语,这是具有挑战性的导航。与此同时,图神经网络(GNN)近年来因其在一系列网络科学任务(如链接预测和节点分类)上表现良好的能力而受到广泛关注。尽管图神经网络的流行和动态网络模型的证明的好处,有很少关注动态网络的图神经网络。为了解决这一事实所带来的挑战,这项研究跨越不同的领域,以及调查动态图神经网络,这项工作分为两个主要部分。首先,为了解决动态网络术语的模糊性,我们建立了一个动态网络的基础,具有一致的,详细的术语和符号。其次,我们提出了一个全面的调查动态图神经网络模型使用所提出的术语
2021-06-13 cs.LG cs.SI stat.ML
Deep Graph Generators: A Survey
Sharif University of Technology(谢里夫理工大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
过去几年,深度生成模型在图像、语音和自然语言处理等领域取得了巨大成功。由于基于图的深度学习的进步,特别是图表示学习,深度图生成方法最近出现了新的应用,从发现新的分子结构到建模社交网络。本文对基于深度学习的图形生成方法进行了全面的调查,并将其分为五大类,即自回归,基于自编码器,基于RL,对抗和基于流的图形生成器,为读者提供了每类方法的详细描述。我们还提供了公开的源代码,常用的数据集和最广泛使用的评估指标。最后,我们强调了现有的挑战,并讨论了未来的研究方向。
2020-12-31 cs.AI cs.LG cs.SI
Graph Representation Learning: A Survey
University of Southern California(南加州大学)
近年来,由于现实世界中的许多数据都是以图的形式出现的,因此图表示学习的研究受到了广泛的关注。高维图形数据通常是不规则的形式,这使得它们比定义在规则格上的图像/视频/音频数据更难以分析。各种图形嵌入技术已被开发,以将原始图形数据转换为低维向量表示,同时保留固有的图形属性。在这篇综述中,我们首先解释图嵌入任务及其挑战。接下来,我们将回顾各种具有洞察力的图嵌入技术。然后,我们针对小型和大型数据集评估了几种最先进的方法,并比较了它们的性能。最后,提出了潜在的应用和未来的发展方向。
2019-09-03 cs.LG cs.SI stat.ML
Neural Network Quantization for Efficient Inference: A Survey
University of California, San Diego(加州大学圣地亚哥分校)
随着神经网络变得越来越强大,人们越来越希望将其部署在现实世界中;然而,神经网络的能力和准确性在很大程度上取决于其深度和复杂性,这使得它们难以部署,特别是在资源受限的设备中。最近出现了神经网络量化,以满足通过降低网络的精度来减小神经网络的尺寸和复杂性的需求。有了更小更简单的网络,就有可能在目标硬件的约束下运行神经网络。本文综述了近十年来发展起来的许多神经网络量化技术。在对神经网络量化技术进行综述和比较的基础上,提出了该领域未来的研究方向。
2023-01-18 cs.LG
Neural Tangent Kernel: A Survey
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Huawei Technologies(华为技术有限公司)
一项开创性的工作[Jacot等人,2018]证明了在特定参数化下训练神经网络等同于执行特定的内核方法,因为宽度趋于无穷大。这种等价性为将核方法的丰富文献的结果应用于更难处理的神经网络开辟了一个有希望的方向。本调查涵盖了核心收敛的关键成果,宽度趋于无穷大,有限宽度的校正,应用程序,并讨论了相应的方法的局限性。
2022-08-29 cs.LG
Uncertainty Quantification on Graph Learning: A Survey
本文综述了图学习中不确定性量化技术,重点分析了图神经网络和图基础模型的不确定性表示与处理方法,旨在填补对图学习中不确定性量化关键挑战和机遇的理解空白。
2026-04-14 cs.LG
Encoder-Decoder Architecture for Supervised Dynamic Graph Learning: A Survey
McGill University(麦吉尔大学)
近年来,流行的在线服务产生了大量的用户活动数据。服务提供商收集这些数据,以便进行客户行为分析,并提供更好,更个性化的服务。这些数据中的大多数可以建模并存储为图,例如Facebook中的社交图,Youtube中的用户-视频交互图。这些图需要随着时间的推移而发展,以捕捉现实世界中的动态,从而导致动态图的发明。然而,嵌入在动态图的时态信息带来了新的挑战,分析和部署它们。事件陈旧、时间信息学习和显式时间维度使用是动态图学习中的一些示例挑战。为了给工业界和学术界提供一个方便的参考,本文提出了基于动态图进化理论的三阶段递归时态学习框架,以便用一个广义的框架来解释时态信息的学习。在这个框架下,本调查分类和审查不同的可学习的编码器-解码器架构的监督动态图学习。我们相信,这项调查可以提供有用的指导方针,研究人员和工程师在寻找合适的图形结构,为他们的动态学习任务。
2022-03-27 cs.LG
A Survey on Neural-symbolic Learning Systems
Jilin University(吉林大学);Queen’s University Belfast(贝尔法斯特女王大学);Griffith University(格里菲斯大学)
本文综述了神经符号学习系统的研究进展,指出结合神经系统的感知能力与符号系统的认知能力可弥补各自缺陷,并从挑战、方法、应用和未来方向四个视角为该新兴领域提供了全面概述。
2023-06-25 cs.LG
A Brief Survey on Representation Learning based Graph Dimensionality Reduction Techniques
Northern Illinois University(北伊利诺伊大学)
简化技术将表示在较高维度上的数据映射到具有不同程度信息损失的较低维度上。图形降维技术采用相同的原理,即提供图形结构的潜在表示,并对输出表示以及输入数据进行较小的调整。有几种尖端技术可以有效地从图数据生成嵌入并将其投影到低维潜在空间。由于操作理念的变化,特定图形降维技术的好处可能不会证明对每个场景或每个数据集都有利。因此,一些技术在表示较低维度的节点之间的关系方面是有效的,而另一些技术则擅长在低维空间上封装整个图结构。我们提出这项调查概述的好处,以及与现有的图形降维技术相关的问题。我们还试图将这些点与一些技术的潜在改进联系起来。这项调查可能有助于即将到来的研究人员有兴趣探索使用图表示学习,以有效地产生不同程度的粒度的低维图嵌入。
2022-10-13 cs.LG
Automated Machine Learning on Graphs: A Survey
Tsinghua University(清华大学)
图上的机器学习在学术界和工业界都得到了广泛的研究。然而,随着关于图学习的文献随着大量新兴方法和技术而繁荣,手动设计用于不同图相关任务的最佳机器学习算法变得越来越困难。为了解决这一关键挑战,图上的自动机器学习(AutoML)将图机器学习和AutoML的优势结合在一起,正受到研究界的关注。因此,本文全面综述了图上的AutoML,主要关注用于图机器学习的超参数优化(HPO)和神经架构搜索(NAS)。我们进一步概述了与自动化图机器学习相关的库,并深入讨论了AutoGL,这是第一个用于图上AutoML的专用开源库。最后,我们分享了我们对自动图机器学习未来研究方向的见解。本文是第一个系统和全面的审查自动机器学习的图,以我们所知。
2021-12-20 cs.LG
Continual Learning on Graphs: A Survey
School of Computer Science and Engineering, Macau University of Science and Technology(澳门科技大学计算机科学与工程学院);Department of Computer Science, Hong Kong Baptist University(香港浸会大学计算机科学系)
本文综述了持续图学习,提出从克服灾难性遗忘角度的新分类法,系统分析性能持续提升的挑战与解决方案,并展望未来方向。
2024-02-09 cs.LG
Curriculum Graph Machine Learning: A Survey
Tsinghua University(清华大学)
本文首次全面综述课程图机器学习(Graph CL),针对现有图模型随机训练导致的次优问题,按节点级、链接级和图级任务分类总结方法,并展望未来方向。
2024-03-12 cs.LG
Similarity of Neural Network Models: A Survey of Functional and Representational Measures
University of Passau(帕绍大学);University of Mannheim(曼海姆大学);RWTH Aachen University(亚琛工业大学);GESIS - Leibniz Institute for the Social Sciences(GESIS莱布尼茨社会科学研究所);Complexity Science Hub Vienna(维也纳复杂性科学中心)
该综述梳理了神经网络相似性度量的表征与功能两大互补视角,介绍现有方法、总结其性质与关联并指出开放问题,为相关系统研究奠定基础。
2025-04-09 cs.LG
Neural relation extraction: a survey
Huawei Turkey Research and Development Center(华为土耳其研发中心);Ford Otosan(福特奥托桑);Bogazici University(海峡大学);Yildiz Technical University(伊尔迪兹技术大学)
神经关系抽取使用深度学习方法从非结构化文本中发现实体之间的语义关系。本文对基于神经网络的关系抽取方法进行了综述。我们讨论了现有研究的优势和不足之处,并探讨了这一领域的其他研究方向和改进思路。
2020-06-23 cs.CL cs.LG
Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey
LG Electronics(LG电子)
随着卷积神经网络(CNN)模型大小不断增加的总体趋势,模型压缩和加速技术对于在边缘设备上部署这些模型变得至关重要。在本文中,我们提供了一个全面的调查修剪,一个主要的压缩策略,从CNN模型中删除非关键或冗余的神经元。该调查涵盖了修剪的总体动机,不同的策略和标准,它们的优点和缺点,以及主要修剪技术的汇编。最后,我们讨论了修剪的替代方案以及模型压缩社区目前面临的挑战。
2020-05-08 cs.LG stat.ML
A Survey on Neural Network Language Models
School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院)
语言模型作为自然语言处理(NLP)系统的核心组成部分,能够提供词的表示和词序列的概率指示。神经网络语言模型克服了维数灾难,提高了传统语言模型的性能。本文对NNLM进行了综述。首先介绍了经典NNLM的结构,然后介绍和分析了NNLM的一些主要改进。我们总结和比较语料库和工具包的NNLM。最后,对NNLM的研究方向进行了讨论。
2019-06-13 cs.CL cs.LG
A Survey of Neural Trees
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Zhejiang Lab(之江实验室)
神经网络(NN)和决策树(DT)都是机器学习的流行模型,但具有相互排斥的优点和局限性。为了实现这两个世界的最佳效果,提出了各种方法来显式或隐式地集成NN和DT。在这项调查中,这些方法被组织在一个学校,我们称之为神经树(NT)。本调查的目的是提出一个全面的审查NT,并试图确定他们如何提高模型的可解释性。我们首先提出了一个彻底的分类NTs,表示逐步整合和共同进化的NN和DT。之后,我们分析NT的可解释性和性能,并提出可能的解决方案,其余的挑战。最后,本次调查的结论与其他考虑因素,如条件计算和有前途的方向对这一领域的讨论。本调查中审查的论文列表及其相应的代码可在以下网站获得:https://github.com/zju-vipa/awesome-neural-trees
2022-09-07 cs.AI cs.LG
Verification for Machine Learning, Autonomy, and Neural Networks Survey
本调查概述了自主系统的验证技术,重点是安全关键的自主网络物理系统(CPS)及其子组件。CPS中的自主性是通过人工智能(AI)和机器学习(ML)的最新进展来实现的,这些进步通过诸如深度神经网络(DNN)之类的方法来实现,这些方法嵌入在所谓的学习使能组件(LEC)中,完成从分类到控制的任务。最近,形式化方法和形式化验证社区已经开发出方法来表征这些LEC中的行为,最终目标是形式化验证LEC的规范,本文对这些方法进行了综述。
2018-10-03 cs.AI cs.LG
A Survey of Supernet Optimization and its Applications: Spatial and Temporal Optimization for Neural Architecture Search
KAIST AI(韩国科学技术院人工智能学院)
本调查的重点是分类和评估神经架构搜索(NAS)领域的超网优化方法。超网优化涉及训练单个过参数化网络,该网络包含所有可能的网络架构的搜索空间。该调查分析了超网优化方法的基础上,他们的空间和时间优化的方法。空间优化涉及优化超网及其子系统的架构和参数,而时间优化涉及提高从超网选择架构的效率。这些方法在各种任务和设置,包括可转移性,领域泛化,和Transformer模型的优点,局限性和潜在的应用进行了讨论。
2023-02-07 cs.CV cs.LG
An Empirical Survey of Data Augmentation for Time Series Classification with Neural Networks
Kyushu University(九州大学)
近年来,深度人工神经网络在模式识别方面取得了许多成功。这一成功的部分原因可以归因于对大数据的依赖,以提高泛化能力。然而,在时间序列识别领域,许多数据集往往非常小。解决该问题的一种方法是通过使用数据增强。在本文中,我们调查的数据增强技术的时间序列和它们的应用与神经网络的时间序列分类。我们提出了一个分类法,并概述了四个家庭的时间序列数据增强,包括基于变换的方法,模式混合,生成模型和分解方法。此外,我们经验性地评估了12种时间序列数据增强方法在128个时间序列分类数据集上使用6种不同类型的神经网络。通过研究结果,我们能够分析每种数据增强方法的特点、优缺点和建议。本调查的目的是帮助在选择时间序列数据增强的神经网络的应用。
2021-07-02 cs.LG stat.ML
Topological Understanding of Neural Networks, a survey
Texas A&M University(德州农工大学)
我们来看看神经网络的内部结构,它通常被视为一个黑匣子。最简单和最容易理解的事情是看一个二进制分类,并试图理解神经网络采取的方法。我们回顾了不同的激活函数的意义,与之相关的网络结构类型,以及一些经验数据。我们发现了一些有趣的观察结果,并有可能在这些想法的基础上验证真实数据集的过程。我们提出了一些可能的实验,期待在三个不同的方向。
2023-01-23 cs.LG math.AT
Dynamic Neural Network Architectural and Topological Adaptation and Related Methods -- A Survey
University of Vienna(维也纳大学)
由于架构复杂性和数据集大小的稳步增加,深度神经网络(DNN)中的训练和推理已经导致用于减少DNN训练和推理的时间和空间要求的策略的发展,这在训练发生在资源受限的计算环境中或推理是时间关键应用的一部分的场景中特别重要。在本次调查中,我们的目标是提供一个总体概述和分类的国家的最先进的(SOTA)的技术,以减少DNN的训练和推理时间和空间复杂度,特别是侧重于架构的适应。
2021-07-28 cs.AI cs.LG
A Survey on Dynamic Neural Networks for Natural Language Processing
University of California, San Diego(加州大学圣地亚哥分校)
有效地缩放大型Transformer模型是自然语言处理最新进展的主要驱动力。动态神经网络作为一个新兴的研究方向,能够通过基于输入动态地调整其计算路径来扩展神经网络,其计算量和时间都呈次线性增长。动态神经网络可能是预训练语言模型参数数量不断增长的一个有前途的解决方案,它允许使用数万亿参数进行模型预训练,并在移动设备上进行更快的推理。本文综述了自然语言处理中三种类型的动态神经网络的研究进展:略读、混合专家模型和提前退出。我们还强调了当前动态神经网络的挑战和未来的研究方向。
2023-02-24 cs.AI cs.CL cs.LG
Object Recognition Using Deep Neural Networks: A Survey
IIT Kanpur(印度理工学院坎普尔分校);Pace University(佩斯大学)
使用深度神经网络识别物体是一个活跃的研究领域,在过去几年中取得了许多突破。本文试图说明这一领域的进展。本文简要介绍了神经网络的研究历史,并介绍了该领域的一些最新进展。最近开发的神经网络算法的性能在基准数据集已制成表格。最后给出了该领域的一些应用。
2014-12-10 cs.CV cs.LG cs.NE
Survey of Dropout Methods for Deep Neural Networks
University of Toronto(多伦多大学)
丢弃方法是一种用于神经网络训练或推理的随机技术,已经产生了重大的研究兴趣,并广泛应用于实践。它们已成功地应用于神经网络正则化、模型压缩以及神经网络输出不确定性的度量。虽然最初是针对密集神经网络层制定的,但最近的进展使得丢弃方法也适用于卷积和递归神经网络层。本文总结了辍学方法的历史,他们的各种应用,以及当前的研究兴趣。重要的建议方法进行了详细说明。
2019-10-25 cs.AI cs.LG cs.NE
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学)
使机器能够阅读和理解自然语言文档,以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来,深度学习的普及和大规模数据集的建立,都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器,并介绍了一些经典的模型,分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
A Survey on Low-Resource Neural Machine Translation
Microsoft Research Asia(微软亚洲研究院)
神经方法已经在机器翻译上实现了最先进的准确性,但是遭受收集大规模并行数据的高成本。因此,已经对具有非常有限的并行数据的神经机器翻译(NMT)进行了大量研究,即,低资源配置。本文综述了低资源的NMT,并根据其使用的辅助数据将相关工作分为三类:(1)利用源语言和/或目标语言的单语数据,(2)利用辅助语言的数据,(3)利用多模态数据。我们希望我们的调查能够帮助研究人员更好地了解该领域并激励他们设计更好的算法,并帮助行业从业者为他们的应用选择合适的算法。
2021-07-09 cs.CL cs.LG
Anomaly Detection in Dynamic Graphs: A Comprehensive Survey
Tennessee Technological University(田纳西理工大学)
本综述全面概述了基于动态图的异常检测(DGAD)技术,提出了按传统机器学习、矩阵变换、概率方法和深度学习分类的DGAD综述框架,总结了各方法优劣并指出了未来研究方向。
2024-05-31 cs.AI cs.LG
A Survey on Graph Diffusion Models: Generative AI in Science for Molecule, Protein and Material
KAIST(韩国科学技术院);Kyung Hee University(庆熙大学)
本文综述了图扩散模型在科学AIGC领域的应用,涵盖其机制及在分子、蛋白质和材料设计中的生成方法,并讨论了评估与挑战。
2023-04-04 cs.CV cs.LG
Representation Learning for Dynamic Graphs: A Survey
Borealis AI
图在许多现实世界的应用中自然出现,包括社交网络、推荐系统、本体论、生物学和计算金融。传统上,图的机器学习模型大多是针对静态图设计的。然而,许多应用程序涉及进化图。这给学习和推理带来了重要的挑战,因为节点、属性和边会随着时间的推移而变化。在这篇综述中,我们回顾了动态图的表示学习的最新进展,包括动态知识图谱。我们从编码器-解码器的角度描述现有的模型,根据它们采用的技术对这些编码器和解码器进行分类,并分析每个类别中的方法。我们还回顾了几个突出的应用和广泛使用的数据集,并强调了未来研究的方向。
2020-04-27 cs.LG stat.ML
Hyperbolic Deep Neural Networks: A Survey
University of Oulu(奥卢大学)
近年来,双曲空间中的深度表示学习因其对具有层次结构的知识图谱或同义词层次等数据的建模能力而受到越来越多的关注。在本文中,我们将该模型称为双曲深度神经网络。这样的双曲神经结构可能导致非常紧凑的模型,比欧几里得空间中的模型具有更多的物理可解释性。为了促进未来的研究,本文对双曲深度神经网络构建中的神经组件以及双曲空间的领先深度方法的推广进行了一致和全面的文献综述。它还介绍了围绕几个公开数据集上的各种机器学习任务的当前应用,以及有见地的观察和识别开放问题和有前途的未来方向。
2021-02-17 cs.CV cs.LG
From Quantum Graph Computing to Quantum Graph Learning: A Survey
Shanghai Jiao Tong University(上海交通大学);University of York(约克大学)
量子计算(QC)是一种新的计算范式,其基础与量子物理有关。已经取得了显著的进展,推动了一系列利用量子计算能力的基于量子的算法的诞生。在本文中,我们提供了一个有针对性的调查的发展,质量控制的图形相关的任务。我们首先阐述了量子力学和图论之间的关系,以表明量子计算机能够产生有用的解决方案,不能有效地产生经典系统的一些问题的图。基于其实用性和广泛的适用性,我们简要回顾了为各种任务设计的典型图学习技术。受这些强大的方法的启发,我们注意到,先进的量子算法已被提出用于表征图结构。我们给出了量子图学习的快照,其中期望作为后续研究的催化剂。我们进一步讨论了在图学习中使用量子算法的挑战,以及更灵活和通用的量子图学习求解器的未来方向。
2022-02-19 cs.LG quant-ph
A survey on recently proposed activation functions for Deep Learning
人工神经网络(ANN),通常被称为神经网络,是一类机器学习算法,并且已经取得了广泛的成功,其灵感来自于人类大脑的生物结构。神经网络具有从数据中学习复杂函数近似的能力,因此具有固有的强大功能。这种泛化能力已经能够影响涉及图像识别、语音识别、自然语言处理等的多学科领域。激活函数是神经网络的重要组成部分。它们定义了给定一组输入的网络中一个节点的输出。本综述讨论了神经网络中激活函数的主要概念,包括:深度神经网络简介,什么是激活函数及其如何在神经网络中使用的总结,它们最常见的属性,不同类型的激活函数,激活函数面临的一些挑战,限制和替代解决方案,最后的评论。
2022-04-07 cs.AI cs.LG
Analysis Methods in Neural Language Processing: A Survey
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Harvard School of Engineering and Applied Sciences(哈佛大学工程与应用科学学院)
近年来,自然语言处理领域取得了令人瞩目的进展,神经网络模型取代了许多传统系统。已经提出了大量的新模型,其中许多被认为是不透明的,相比之下,他们的功能丰富的同行。这促使研究人员以新颖且更细粒度的方式分析、解释和评估神经网络。在这篇综述论文中,我们回顾了神经语言处理中的分析方法,根据突出的研究趋势对其进行分类,突出现有的局限性,并指出未来工作的潜在方向。
2019-01-14 cs.CL cs.LG cs.NE
A Survey on Deep Neural Networks in Collaborative Filtering Recommendation Systems
Center for Artificial Intelligence and Technology(人工智能与技术中心);Faculty of Information Science and Technology(信息科学与技术学院);The National University of Malaysia(马来西亚国立大学)
本文综述DNN在协同过滤推荐中的应用,梳理基础原理、模型类别、评估协议、辅助信息及未来挑战。
2024-12-02 cs.AI cs.LG
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology(天津科技大学)
本文综述了基于强化学习的神经架构搜索方法,梳理其整体发展、改进与变体,重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
Methods for Recovering Conditional Independence Graphs: A Survey
Microsoft Research(微软研究院)
本文综述了恢复条件独立(CI)图的方法,涵盖传统优化与深度学习架构,并提供了相关预备知识以促进广泛应用。
2024-08-29 cs.LG stat.ML
Graph Kernels: A Survey
École Polytechnique(巴黎综合理工学院);École des Ponts(巴黎高科路桥学院);Université Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
在过去的十年中,图核引起了人们的广泛关注,并且已经发展成为结构化数据学习的一个快速发展的分支。在过去的20年中,该领域的大量研究活动导致了数十种图核的发展,每种都专注于图的特定结构特性。图核已被证明在从社交网络到生物信息学的广泛领域中是成功的。本调查的目标是提供一个统一的视图的文献图内核。特别是,我们提出了广泛的图形内核的全面概述。此外,我们在公开的数据集上对其中几个内核进行了实验评估,并进行了比较研究。最后,我们讨论了图内核的关键应用,并概述了一些有待解决的挑战。
2021-11-24 cs.LG stat.ML
Relational Composition in Neural Networks: A Survey and Call to Action
Harvard University(哈佛大学);Google(谷歌公司)
本文综述神经网络中的关系组合机制,分析其对可解释特征搜索的影响,并提出实证研究方向以理解结构化数据表示。
2024-07-19 cs.AI cs.LG
Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey
Robert Bosch GmbH(罗伯特·博世有限公司);University of Lübeck(吕贝克大学)
深度神经网络通过利用大量的训练数据,在许多不同的问题设置中获得最先进的结果。然而,收集、存储和--在监督学习的情况下--标记数据是昂贵和耗时的。此外,评估网络的泛化能力或预测在输入变换下推断的输出如何变化是复杂的,因为网络通常被视为黑盒。这两个问题都可以通过将先验知识结合到神经网络中来缓解。受卷积神经网络在计算机视觉任务中的成功启发,一种有前途的方法是结合关于问题的对称几何变换的知识来解决,以可预测的方式影响输出。这有望提高数据效率和更可解释的网络输出。在这篇综述中,我们试图对将几何先验知识引入神经网络的不同方法进行简要概述。此外,我们将这些方法与自动驾驶的3D目标检测相连接,我们希望在应用这些方法时获得有希望的结果。
2023-03-03 cs.CV cs.LG
Demystifying Deep Neural Networks Through Interpretation: A Survey
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
现代深度学习算法倾向于优化客观度量,例如最小化训练数据集上的交叉熵损失,以便能够学习。问题是,单一的度量是对现实世界任务的不完整描述。单一的度量无法解释算法为什么会学习。当一个错误发生时,缺乏可解释性会导致理解和修复错误的困难。最近,有工作做,以解决可解释性的问题,以提供对神经网络的行为和思维过程的见解。这些工作对于识别潜在的偏差和确保算法的公平性以及预期的性能是很重要的。
2021-01-05 cs.AI cs.LG
Survey on Large Scale Neural Network Training
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Inria(法国国家信息与自动化研究所);University of Lille(里尔大学);University of Bordeaux(波尔多大学);Sber AI(俄罗斯联邦储蓄银行人工智能研究院)
现代深度神经网络(DNN)需要大量的内存来存储训练过程中的权重、激活和其他中间张量。因此,许多模型不适合一个GPU设备,或者只能使用较小的每GPU批量大小进行训练。本调查提供了一个系统的概述,使更有效的DNN培训的方法。我们分析技术,节省内存,并充分利用计算和通信资源的架构与一个或几个GPU。我们总结了策略的主要类别,并在类别内和类别之间比较策略。随着文献中提出的方法,我们讨论了可用的实现。
2022-02-21 cs.AI cs.LG
Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks
Czech Technical University in Prague(布拉格捷克理工大学)
本文针对神经网络激活函数缺乏综合综述的问题,对过去三十年提出的400种激活函数进行了最大规模的系统化梳理与溯源,以避免重复研究并更新对该函数家族的理解。
2024-02-14 cs.LG cs.NE