Survey of Dropout Methods for Deep Neural Networks
University of Toronto（多伦多大学）
丢弃方法是一种用于神经网络训练或推理的随机技术，已经产生了重大的研究兴趣，并广泛应用于实践。它们已成功地应用于神经网络正则化、模型压缩以及神经网络输出不确定性的度量。虽然最初是针对密集神经网络层制定的，但最近的进展使得丢弃方法也适用于卷积和递归神经网络层。本文总结了辍学方法的历史，他们的各种应用，以及当前的研究兴趣。重要的建议方法进行了详细说明。
2019-10-25 cs.AI cs.LG cs.NE
Anomaly Detection in Dynamic Graphs: A Comprehensive Survey
Tennessee Technological University（田纳西理工大学）
本综述全面概述了基于动态图的异常检测（DGAD）技术，提出了按传统机器学习、矩阵变换、概率方法和深度学习分类的DGAD综述框架，总结了各方法优劣并指出了未来研究方向。
2024-05-31 cs.AI cs.LG
Graph Neural Network for Traffic Forecasting: A Survey
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）
交通预测是智能交通系统成功的关键。深度学习模型，包括卷积神经网络和递归神经网络，已被广泛应用于交通预测问题中，以对空间和时间依赖性进行建模。近年来，为了对交通系统中的图结构以及上下文信息进行建模，已经引入了图神经网络，并且在一系列交通预测问题中取得了最先进的性能。在本调查中，我们回顾了使用不同图神经网络（例如图卷积和图注意力网络）在各种交通预测问题（例如道路交通流量和速度预测、城市轨道交通系统中的客流预测以及乘车平台中的需求预测）中快速增长的研究主体。我们还为每个问题提供了一个全面的开放数据和源资源列表，并确定了未来的研究方向。据我们所知，本文是第一个全面的调查，探讨应用图神经网络的交通预测问题。我们还创建了一个公共GitHub存储库，其中将更新最新的论文，开放数据和源资源。
2022-02-22 cs.AI cs.LG
A Survey on Graph Neural Networks for Knowledge Graph Completion
Indian Institute of Technology Delhi（印度理工学院德里分校）
知识图谱越来越多地用于各种下游任务，如问答和信息检索。然而，知识图谱往往是不完整的，从而导致性能不佳。因此，人们对知识库完成的任务很感兴趣。最近，图神经网络已被用于捕获固有地存储在这些知识图谱中的结构信息，并已被证明可以在各种数据集上实现SOTA性能。在这项调查中，我们了解所提出的方法的各种优点和缺点，并试图找到新的令人兴奋的研究问题，在这一领域，需要进一步调查。
2020-07-24 cs.AI cs.CL cs.LG
A survey on recently proposed activation functions for Deep Learning
人工神经网络（ANN），通常被称为神经网络，是一类机器学习算法，并且已经取得了广泛的成功，其灵感来自于人类大脑的生物结构。神经网络具有从数据中学习复杂函数近似的能力，因此具有固有的强大功能。这种泛化能力已经能够影响涉及图像识别、语音识别、自然语言处理等的多学科领域。激活函数是神经网络的重要组成部分。它们定义了给定一组输入的网络中一个节点的输出。本综述讨论了神经网络中激活函数的主要概念，包括：深度神经网络简介，什么是激活函数及其如何在神经网络中使用的总结，它们最常见的属性，不同类型的激活函数，激活函数面临的一些挑战，限制和替代解决方案，最后的评论。
2022-04-07 cs.AI cs.LG
A Survey of Explainable Graph Neural Networks: Taxonomy and Evaluation Metrics
University of Technology Sydney（悉尼科技大学）
本文全面综述了可解释图神经网络的可解释性技术，基于所用方法对其进行分类，提供了常见性能评估指标，并指出了未来的研究方向。
2023-05-23 cs.AI cs.LG
Relational Composition in Neural Networks: A Survey and Call to Action
Harvard University（哈佛大学）；Google（谷歌公司）
本文综述神经网络中的关系组合机制，分析其对可解释特征搜索的影响，并提出实证研究方向以理解结构化数据表示。
2024-07-19 cs.AI cs.LG
Analysis of Explainers of Black Box Deep Neural Networks for Computer Vision: A Survey
Fraunhofer IOSB（弗劳恩霍夫应用信息技术研究所）
深度学习是一种对广泛或复杂数据进行推断的最先进技术。由于其多层非线性结构，深度神经网络作为一个黑箱模型，经常被批评为不透明，其预测无法被人类追踪。此外，模型从人工数据集学习，通常带有偏见或污染的歧视内容。通过增加分布，决策算法可以促进由于缺乏透明度而不容易注意到的预先判断和不公平。因此，科学家们开发了几种所谓的解释器或解释器，试图指出输入和输出之间的联系，以简化的方式表示机器学习黑盒的内部结构。在这项调查中，我们区分了用于计算机视觉任务的深度神经网络的解释系统的机制和属性。我们对相关研究的分类进行了全面的概述，并比较了几篇一般涉及可解释性的调查论文。指出了研究中存在的不足和差距，并总结了进一步研究的思路。
2019-11-27 cs.AI cs.CV
Demystifying Deep Neural Networks Through Interpretation: A Survey
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
现代深度学习算法倾向于优化客观度量，例如最小化训练数据集上的交叉熵损失，以便能够学习。问题是，单一的度量是对现实世界任务的不完整描述。单一的度量无法解释算法为什么会学习。当一个错误发生时，缺乏可解释性会导致理解和修复错误的困难。最近，有工作做，以解决可解释性的问题，以提供对神经网络的行为和思维过程的见解。这些工作对于识别潜在的偏差和确保算法的公平性以及预期的性能是很重要的。
2021-01-05 cs.AI cs.LG
Survey on Large Scale Neural Network Training
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Inria（法国国家信息与自动化研究所）；University of Lille（里尔大学）；University of Bordeaux（波尔多大学）；Sber AI（俄罗斯联邦储蓄银行人工智能研究院）
现代深度神经网络（DNN）需要大量的内存来存储训练过程中的权重、激活和其他中间张量。因此，许多模型不适合一个GPU设备，或者只能使用较小的每GPU批量大小进行训练。本调查提供了一个系统的概述，使更有效的DNN培训的方法。我们分析技术，节省内存，并充分利用计算和通信资源的架构与一个或几个GPU。我们总结了策略的主要类别，并在类别内和类别之间比较策略。随着文献中提出的方法，我们讨论了可用的实现。
2022-02-21 cs.AI cs.LG
A Survey on The Expressive Power of Graph Neural Networks
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
图神经网络（GNNs）是解决各种图学习问题的有效机器学习模型。尽管他们的经验成功，GNN的理论局限性已被揭示最近。因此，已经提出了许多GNN模型来克服这些限制。在本调查中，我们全面概述了GNN的表达能力以及GNN的可证明的强大变体。
2020-10-16 cs.LG stat.ML
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London（伦敦玛丽女王大学）；American University of Beirut（贝鲁特美国大学）
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间，并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而，这种性能是基于静态图结构的假设，当数据随时间变化时，这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近，提出了各种时空图神经网络算法，并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题，包括算法，应用和开放挑战。
2023-02-11 cs.LG
Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
UFRGS（里约热内卢联邦大学）；City, University of London（伦敦城市大学）；University of Siena（锡耶纳大学）；Université Côte d’Azur（蔚蓝海岸大学）；Rice University（莱斯大学）
神经符号计算现在已经成为学术和工业研究实验室感兴趣的主题。图神经网络在关系和符号领域有着广泛的应用，在组合优化、约束满足、关系推理等科学领域有着广泛的应用。一般来说，需要改进人工智能系统的可解释性，可解释性和信任度，这需要有原则的方法，正如神经符号计算所建议的那样。在本文中，我们回顾了使用GNN作为神经符号计算模型的最新技术。这包括GNN在几个领域的应用，以及它与神经符号计算当前发展的关系。
2021-06-12 cs.AI cs.CL cs.LG
A Survey on Knowledge integration techniques with Artificial Neural Networks for seq-2-seq/time series models
近年来，随着大规模计算能力的出现和大量数据的可用性，深度神经网络已经能够在多个领域探索未知领域。但有时，由于数据不足，数据质量差，数据可能没有广泛覆盖该领域等原因，它们表现不佳。基于知识的系统利用专家知识做出决策并适当采取行动。这种系统在决策过程中保持可解释性。本文的重点是探索技术，将专家知识集成到深度神经网络的序列到序列和时间序列模型，以提高其性能和可解释性。
2020-08-13 cs.AI cs.CL cs.LG
Deep Graph Generators: A Survey
Sharif University of Technology（谢里夫理工大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
过去几年，深度生成模型在图像、语音和自然语言处理等领域取得了巨大成功。由于基于图的深度学习的进步，特别是图表示学习，深度图生成方法最近出现了新的应用，从发现新的分子结构到建模社交网络。本文对基于深度学习的图形生成方法进行了全面的调查，并将其分为五大类，即自回归，基于自编码器，基于RL，对抗和基于流的图形生成器，为读者提供了每类方法的详细描述。我们还提供了公开的源代码，常用的数据集和最广泛使用的评估指标。最后，我们强调了现有的挑战，并讨论了未来的研究方向。
2020-12-31 cs.AI cs.LG cs.SI
On Interpretability of Artificial Neural Networks: A Survey
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
以人工深度神经网络（DNN）为代表的深度学习在处理文本、图像、视频、图形等重要领域取得了巨大成功，但DNN的黑箱性质已成为其在医疗诊断和治疗等关键任务应用中被广泛接受的主要障碍之一。由于深度学习的巨大潜力，解释神经网络最近吸引了许多研究关注。在本文中，我们全面的分类的基础上，我们系统地回顾了最近的研究在理解神经网络的机制，描述了可解释性的应用，特别是在医学中，并讨论了未来的可解释性研究的方向，如与模糊逻辑和脑科学。
2021-09-27 cs.AI cs.LG stat.ML
A Survey on Temporal Graph Representation Learning and Generative Modeling
IIT Delhi（德里印度理工学院）
时态图表示实体之间的动态关系，并且出现在许多现实生活应用中，如社交网络、电子商业、通信、道路网络、生物系统等等。它们需要研究静态图的生成建模和表示学习。在这次调查中，我们全面回顾了神经时间依赖图表示学习和生成建模方法，提出了在最近的时间处理图。最后，我们确定了现有方法的弱点，并讨论了我们最近发表的论文TIGGER[24]的研究建议。
2022-08-25 cs.LG
Data Augmentation on Graphs: A Technical Survey
Zhejiang University of Technology（浙江工业大学）；City University of Hong Kong（香港城市大学）
本综述全面梳理图数据增强（GDAug）技术，按多尺度图元素分类，明确各类技术定义与细节，覆盖多类特殊图的增强方法，总结评估指标与设计准则，展望应用与未来方向。
2024-06-21 cs.LG
Learning Representations of Graph Data -- A Survey
University College London（伦敦大学学院）
深度神经网络在对象识别、图像分类和自然语言处理领域取得了巨大成功。然而，设计最佳的神经网络架构，可以学习和输出任意图形是一个正在进行的研究问题。本调查的目的是总结和讨论学习图数据表示方法的最新进展。我们从识别常用的图形数据类型开始，并回顾图论的基础知识。接着讨论了图核方法和神经网络之间的关系。接下来，我们确定了用于学习图数据表示的主要方法，即：核方法，卷积方法，图神经网络方法，图嵌入方法和概率方法。各种方法下的每一种方法进行了讨论，并在调查结束时简要讨论了未来的学习表示的图形数据。
2019-07-01 cs.LG stat.ML
Neural Networks for Dynamic Shortest Path Routing Problems - A Survey
本文综述了动态最短路径路由问题的研究概况以及解决动态最短路径路由问题的各种神经网络，不同的最短路径优化问题可以用不同的神经网络算法来解决。分组交换多跳网络中的路由问题可以描述为一个经典的组合优化问题，即图中的最短路径路由问题。研究表明，神经网络由于其计算速度快，与其他软计算和元计算算法相比，是最佳的候选人，用于优化动态最短路径路由问题
2010-05-30 cs.AI cs.NE
Survey on Memory-Augmented Neural Networks: Cognitive Insights to AI Applications
该综述梳理记忆增强神经网络（MANNs）的认知理论基础、典型架构及多领域应用，为基于记忆的AI系统后续研究提供参考。
2023-12-13 cs.AI
A Comprehensive Survey on Graph Summarization with Graph Neural Networks
Macquarie University（麦考瑞大学）
本文全面综述了基于图神经网络的图摘要技术，回顾了循环、卷积、自编码器和注意力网络等前沿方法，探讨了图强化学习在提升摘要质量中的应用，并详细比较了基准数据集与评估指标，提出了未来的开放性研究挑战。
2024-01-04 cs.LG
Over-Squashing in Graph Neural Networks: A Comprehensive survey
Manipal Institute of Technology（马尼帕尔理工学院）；Manipal Academy of Higher Education（马尼帕尔高等教育学院）
该综述系统梳理GNN中的过度挤压问题，总结其成因、影响及图重连、归一化、谱分析和曲率方法等缓解技术，并提供模型分类与基准数据集参考。
2025-03-14 cs.AI
Geometrically Equivariant Graph Neural Networks: A Survey
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
许多科学问题需要以几何图形的形式处理数据。与一般图形数据不同，几何图形表现出平移、旋转和/或反射的对称性。研究人员利用这种归纳偏差，开发了几何等变图神经网络（GNNs），以更好地表征几何图的几何和拓扑结构。尽管取得了丰硕的成果，但仍然缺乏一个综述来描述同变GNN是如何发展的，这反过来又阻碍了同变GNN的进一步发展。为此，基于必要但简洁的数学描述，我们分析并将现有方法分为三组，分别关于GNN中的消息传递和聚合如何表示。我们还总结了基准以及相关的数据集，以方便以后的研究方法的发展和实验评估。并对今后的发展方向进行了展望。
2022-02-22 cs.LG
Graph Neural Networks Designed for Different Graph Types: A Survey
University of Kassel（卡塞尔大学）；Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)（弗劳恩霍夫能源经济与能源系统技术研究所（IEE））
该综述系统梳理现有 GNN，按其处理静态、动态、离散时间、连续时间及带属性图等类型的能力和架构分类，并指出研究空白及原因。
2023-04-26 cs.LG
A Survey on Graph Representation Learning Methods
York University（约克大学）
图的表示学习是近年来一个非常活跃的研究领域。图表示学习的目标是生成能够准确捕捉大型图的结构和特征的图表示向量。这是特别重要的，因为图形表示向量的质量将影响这些向量在下游任务（诸如节点分类、链接预测和异常检测）中的性能。许多技术被提出用于生成有效的图表示向量。图表示学习的两个最流行的类别是不使用图神经网络（GNN）的图嵌入方法，我们将其表示为基于非GNN的图嵌入方法和基于图神经网络（GNN）的方法。非GNN图嵌入方法基于随机游走、时间点过程和神经网络学习方法等技术。另一方面，基于GNN的方法是深度学习在图形数据上的应用。在本调查中，我们提供了这两个类别的概述，并涵盖了静态和动态图的当前最先进的方法。最后，我们探讨了一些开放和正在进行的研究方向，为未来的工作。
2022-06-15 cs.LG cs.SI
Neural Network Influence in Group Technology: A Chronological Survey and Critical Analysis
本文按时间顺序回顾了人工神经网络在单元制造系统附近成组技术应用中的影响。通过对从90年代初到2010年实践开始的文献进行批判性分析，确定了研究趋势，并捕捉了演变。分析不同的人工神经网络方法，发现研究模式，比较聚类效率，获得的解决方案和使用的工具，使这项研究在其类中的独家。
2012-12-21 cs.AI nlin.AO
A Comprehensive Survey on Graph Neural Networks
University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
近年来，深度学习彻底改变了许多机器学习任务，从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常在欧几里得空间中表示。然而，有越来越多的应用程序，其中数据是从非欧几里德域生成的，并表示为对象之间具有复杂关系和相互依赖性的图形。图数据的复杂性给现有的机器学习算法带来了巨大的挑战。最近，出现了许多关于扩展图数据的深度学习方法的研究。在本调查中，我们提供了数据采掘和机器学习领域的图神经网络（GNN）的全面概述。我们提出了一种新的分类法，将最先进的图神经网络分为四类，即递归图神经网络，卷积图神经网络，图自动编码器，时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用，并总结了图神经网络的开源代码，基准数据集和模型评估。最后，我们提出了在这个快速发展的领域的潜在研究方向。
2019-12-04 cs.LG stat.ML
Graph Neural Processes: Towards Bayesian Graph Neural Networks
我们介绍了图神经过程（GNP），其灵感来自于最近在条件和潜在神经过程方面的工作。图神经过程被定义为对任意图数据进行操作的条件神经过程。它将稀疏观察的上下文点的特征作为输入，并输出目标点上的分布。我们展示了图神经过程中的边缘插补，并讨论了其他应用领域的方法的优点和缺点。GNP的一个主要好处是能够量化图结构上的深度学习中的不确定性。该方法的另一个好处是能够将图神经网络扩展到动态大小的图的输入。
2019-10-01 cs.LG stat.ML
Foundations and modelling of dynamic networks using Dynamic Graph Neural Networks: A survey
University of Technology Sydney（悉尼科技大学）
动态网络被广泛应用于各个领域，包括社会网络分析、推荐系统和流行病学。将复杂网络表示为随时间变化的结构，使网络模型不仅可以利用结构模式，还可以利用时间模式。然而，动态网络文学来源于不同的领域，使用不一致的术语，这是具有挑战性的导航。与此同时，图神经网络（GNN）近年来因其在一系列网络科学任务（如链接预测和节点分类）上表现良好的能力而受到广泛关注。尽管图神经网络的流行和动态网络模型的证明的好处，有很少关注动态网络的图神经网络。为了解决这一事实所带来的挑战，这项研究跨越不同的领域，以及调查动态图神经网络，这项工作分为两个主要部分。首先，为了解决动态网络术语的模糊性，我们建立了一个动态网络的基础，具有一致的，详细的术语和符号。其次，我们提出了一个全面的调查动态图神经网络模型使用所提出的术语
2021-06-13 cs.LG cs.SI stat.ML
Graph Representation Learning: A Survey
University of Southern California（南加州大学）
近年来，由于现实世界中的许多数据都是以图的形式出现的，因此图表示学习的研究受到了广泛的关注。高维图形数据通常是不规则的形式，这使得它们比定义在规则格上的图像/视频/音频数据更难以分析。各种图形嵌入技术已被开发，以将原始图形数据转换为低维向量表示，同时保留固有的图形属性。在这篇综述中，我们首先解释图嵌入任务及其挑战。接下来，我们将回顾各种具有洞察力的图嵌入技术。然后，我们针对小型和大型数据集评估了几种最先进的方法，并比较了它们的性能。最后，提出了潜在的应用和未来的发展方向。
2019-09-03 cs.LG cs.SI stat.ML
A Survey of Neural Trees
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Zhejiang Lab（之江实验室）
神经网络（NN）和决策树（DT）都是机器学习的流行模型，但具有相互排斥的优点和局限性。为了实现这两个世界的最佳效果，提出了各种方法来显式或隐式地集成NN和DT。在这项调查中，这些方法被组织在一个学校，我们称之为神经树（NT）。本调查的目的是提出一个全面的审查NT，并试图确定他们如何提高模型的可解释性。我们首先提出了一个彻底的分类NTs，表示逐步整合和共同进化的NN和DT。之后，我们分析NT的可解释性和性能，并提出可能的解决方案，其余的挑战。最后，本次调查的结论与其他考虑因素，如条件计算和有前途的方向对这一领域的讨论。本调查中审查的论文列表及其相应的代码可在以下网站获得：https://github.com/zju-vipa/awesome-neural-trees
2022-09-07 cs.AI cs.LG
A Survey of Supernet Optimization and its Applications: Spatial and Temporal Optimization for Neural Architecture Search
KAIST AI（韩国科学技术院人工智能学院）
本调查的重点是分类和评估神经架构搜索（NAS）领域的超网优化方法。超网优化涉及训练单个过参数化网络，该网络包含所有可能的网络架构的搜索空间。该调查分析了超网优化方法的基础上，他们的空间和时间优化的方法。空间优化涉及优化超网及其子系统的架构和参数，而时间优化涉及提高从超网选择架构的效率。这些方法在各种任务和设置，包括可转移性，领域泛化，和Transformer模型的优点，局限性和潜在的应用进行了讨论。
2023-02-07 cs.CV cs.LG
Object Recognition Using Deep Neural Networks: A Survey
IIT Kanpur（印度理工学院坎普尔分校）；Pace University（佩斯大学）
使用深度神经网络识别物体是一个活跃的研究领域，在过去几年中取得了许多突破。本文试图说明这一领域的进展。本文简要介绍了神经网络的研究历史，并介绍了该领域的一些最新进展。最近开发的神经网络算法的性能在基准数据集已制成表格。最后给出了该领域的一些应用。
2014-12-10 cs.CV cs.LG cs.NE
A Survey on Graph Diffusion Models: Generative AI in Science for Molecule, Protein and Material
KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）
本文综述了图扩散模型在科学AIGC领域的应用，涵盖其机制及在分子、蛋白质和材料设计中的生成方法，并讨论了评估与挑战。
2023-04-04 cs.CV cs.LG
Neural Network Quantization for Efficient Inference: A Survey
University of California, San Diego（加州大学圣地亚哥分校）
随着神经网络变得越来越强大，人们越来越希望将其部署在现实世界中;然而，神经网络的能力和准确性在很大程度上取决于其深度和复杂性，这使得它们难以部署，特别是在资源受限的设备中。最近出现了神经网络量化，以满足通过降低网络的精度来减小神经网络的尺寸和复杂性的需求。有了更小更简单的网络，就有可能在目标硬件的约束下运行神经网络。本文综述了近十年来发展起来的许多神经网络量化技术。在对神经网络量化技术进行综述和比较的基础上，提出了该领域未来的研究方向。
2023-01-18 cs.LG
Hyperbolic Deep Neural Networks: A Survey
University of Oulu（奥卢大学）
近年来，双曲空间中的深度表示学习因其对具有层次结构的知识图谱或同义词层次等数据的建模能力而受到越来越多的关注。在本文中，我们将该模型称为双曲深度神经网络。这样的双曲神经结构可能导致非常紧凑的模型，比欧几里得空间中的模型具有更多的物理可解释性。为了促进未来的研究，本文对双曲深度神经网络构建中的神经组件以及双曲空间的领先深度方法的推广进行了一致和全面的文献综述。它还介绍了围绕几个公开数据集上的各种机器学习任务的当前应用，以及有见地的观察和识别开放问题和有前途的未来方向。
2021-02-17 cs.CV cs.LG
A Survey on Deep Neural Networks in Collaborative Filtering Recommendation Systems
Center for Artificial Intelligence and Technology（人工智能与技术中心）；Faculty of Information Science and Technology（信息科学与技术学院）；The National University of Malaysia（马来西亚国立大学）
本文综述DNN在协同过滤推荐中的应用，梳理基础原理、模型类别、评估协议、辅助信息及未来挑战。
2024-12-02 cs.AI cs.LG
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology（天津科技大学）
本文综述了基于强化学习的神经架构搜索方法，梳理其整体发展、改进与变体，重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
深度神经网络通过利用大量的训练数据，在许多不同的问题设置中获得最先进的结果。然而，收集、存储和--在监督学习的情况下--标记数据是昂贵和耗时的。此外，评估网络的泛化能力或预测在输入变换下推断的输出如何变化是复杂的，因为网络通常被视为黑盒。这两个问题都可以通过将先验知识结合到神经网络中来缓解。受卷积神经网络在计算机视觉任务中的成功启发，一种有前途的方法是结合关于问题的对称几何变换的知识来解决，以可预测的方式影响输出。这有望提高数据效率和更可解释的网络输出。在这篇综述中，我们试图对将几何先验知识引入神经网络的不同方法进行简要概述。此外，我们将这些方法与自动驾驶的3D目标检测相连接，我们希望在应用这些方法时获得有希望的结果。
2023-03-03 cs.CV cs.LG
Neural Tangent Kernel: A Survey
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Huawei Technologies（华为技术有限公司）
一项开创性的工作[Jacot等人，2018]证明了在特定参数化下训练神经网络等同于执行特定的内核方法，因为宽度趋于无穷大。这种等价性为将核方法的丰富文献的结果应用于更难处理的神经网络开辟了一个有希望的方向。本调查涵盖了核心收敛的关键成果，宽度趋于无穷大，有限宽度的校正，应用程序，并讨论了相应的方法的局限性。
2022-08-29 cs.LG
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science（数据智能科学研究所）；Osaka University（大阪大学）
神经机器翻译（NMT）是一种基于深度学习的机器翻译方法，在大规模并行语料库可用的情况下，其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的，特定领域的语料库通常是稀缺的或根本不存在，因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法，对于特定领域的翻译非常重要。在本文中，我们给出了一个全面的调查，最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
Neural relation extraction: a survey
Huawei Turkey Research and Development Center（华为土耳其研发中心）；Ford Otosan（福特奥托桑）；Bogazici University（海峡大学）；Yildiz Technical University（伊尔迪兹技术大学）
神经关系抽取使用深度学习方法从非结构化文本中发现实体之间的语义关系。本文对基于神经网络的关系抽取方法进行了综述。我们讨论了现有研究的优势和不足之处，并探讨了这一领域的其他研究方向和改进思路。
2020-06-23 cs.CL cs.LG
Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey
LG Electronics（LG电子）
随着卷积神经网络（CNN）模型大小不断增加的总体趋势，模型压缩和加速技术对于在边缘设备上部署这些模型变得至关重要。在本文中，我们提供了一个全面的调查修剪，一个主要的压缩策略，从CNN模型中删除非关键或冗余的神经元。该调查涵盖了修剪的总体动机，不同的策略和标准，它们的优点和缺点，以及主要修剪技术的汇编。最后，我们讨论了修剪的替代方案以及模型压缩社区目前面临的挑战。
2020-05-08 cs.LG stat.ML
A State-of-the-art Survey of Artificial Neural Networks for Whole-slide Image Analysis:from Popular Convolutional Neural Networks to Potential Visual Transformers
Northeastern University（东北大学）；Chengdu University of Information Technology（成都信息工程大学）；China Medical University（中国医科大学）；University of Luebeck（吕贝克大学）
为了提高病理学家工作的客观性和准确性，人工神经网络（ANN）方法已普遍需要的分割，分类，和检测的组织病理WSI。本文综述了基于人工神经网络的水稳性分析方法。本文首先介绍了WSI方法和ANN方法的发展现状。其次，对常用的人工神经网络方法进行了总结。接下来，我们讨论公开可用的WSI数据集和评估指标。这些用于WSI处理的ANN架构分为经典神经网络和深度神经网络（DNN），然后进行分析。最后，对该分析方法在该领域的应用前景进行了探讨。可视化Transformers是重要的潜在方法。
2022-02-26 cs.CV cs.LG eess.IV
Uncertainty Quantification on Graph Learning: A Survey
本文综述了图学习中不确定性量化技术，重点分析了图神经网络和图基础模型的不确定性表示与处理方法，旨在填补对图学习中不确定性量化关键挑战和机遇的理解空白。
2026-04-14 cs.LG
Graph Learning: A Survey
Federation University Australia（澳大利亚联邦大学）；Dalian University of Technology（大连理工大学）；Monash University（莫纳什大学）；Arizona State University（亚利桑那州立大学）
图被广泛用作连接数据的网络结构的流行表示。图形数据可以在广泛的应用领域中找到，例如社会系统、生态系统、生物网络、知识图谱和信息系统。随着人工智能技术的不断渗透，图学习（即，图上的机器学习）正受到研究人员和实践者的关注。图学习被证明对许多任务是有效的，例如分类、链接预测和匹配。图学习方法通常利用机器学习算法提取图的相关特征。在这次调查中，我们对图学习的最新技术进行了全面的概述。特别关注四类现有的图学习方法，包括图信号处理、矩阵分解、随机游走和深度学习。分别介绍了这几类模型下的主要模型和算法。我们研究了图学习在文本、图像、科学、知识图谱和组合优化等领域的应用。此外，我们讨论了几个有前途的研究方向在这一领域。
2021-05-03 cs.AI cs.LG cs.SI
Multi-Task Learning with Deep Neural Networks: A Survey
George Mason University（乔治梅森大学）；Department of Computer Science（计算机科学系）
多任务学习（MTL）是机器学习的一个分支，其中多个任务通过共享模型同时学习。这种方法提供了一些优点，例如提高数据效率，通过共享表示减少过拟合，以及通过利用辅助信息快速学习。然而，多个任务的同时学习提出了新的设计和优化挑战，选择哪些任务应该联合学习本身就是一个重要的问题。在本综述中，我们概述了深度神经网络的多任务学习方法，旨在总结该领域内成熟的和最新的方向。我们的讨论是根据现有的深度MTL技术分为三组：架构，优化方法和任务关系学习。我们还提供了常见的多任务基准测试的摘要。
2020-09-10 cs.CV cs.LG stat.ML
A Survey of Graph Prompting Methods: Techniques, Applications, and Challenges
University of Georgia（佐治亚大学）；Rice University（莱斯大学）；Jilin University（吉林大学）
本文从图的视角系统综述了图提示学习方法，介绍其基本概念、提示函数设计、应用场景及未来挑战，旨在弥合图与提示设计之间的差距。
2023-05-31 cs.AI cs.LG cs.SI
Learning Combinatorial Optimization on Graphs: A Survey with Applications to Networking
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
解决图上的组合优化问题的现有方法需要在算法上设计每个问题，在许多情况下会出现实际问题。理论计算机科学的实践方面，如计算复杂性，需要解决。为此目的，在图的机器学习研究的相关发展进行了调查。我们组织和比较结构涉及学习解决组合优化问题，特别着眼于电信领域及其不断发展的生活和研究网络。
2020-07-13 cs.AI cs.LG stat.ML
A survey of neural models for the automatic analysis of conversation: Towards a better integration of the social sciences
Institut Polytechnique de Paris（巴黎理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Inria Paris（法国国家信息与自动化研究所巴黎分部）
在过去的几年里，已经引入了一些令人兴奋的新方法来分析会话的神经架构。这些包括用于检测情感、对话行为和情感极性的神经架构。它们利用了当代机器学习的一些关键属性，例如具有注意力机制的递归神经网络和基于transformer的方法。然而，虽然架构本身非常有前途，但迄今为止应用它们的现象只是使对话引人入胜的一小部分。在本文中，我们调查这些神经架构和它们已被应用。在社会科学文献的基础上，我们描述了我们认为是最基本的和定义性的会话特征，这是随着时间的推移，由两个或两个以上的对话者的共同建设。我们将讨论如何将所调查的神经架构有益地应用于这些更基本的会话方面，以及这为我们带来了什么，以便更好地分析会话，甚至从长远来看，为会话系统生成会话的更好方法。
2022-03-31 cs.AI cs.CL cs.HC
A Survey on Neural Network Language Models
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）
语言模型作为自然语言处理（NLP）系统的核心组成部分，能够提供词的表示和词序列的概率指示。神经网络语言模型克服了维数灾难，提高了传统语言模型的性能。本文对NNLM进行了综述。首先介绍了经典NNLM的结构，然后介绍和分析了NNLM的一些主要改进。我们总结和比较语料库和工具包的NNLM。最后，对NNLM的研究方向进行了讨论。
2019-06-13 cs.CL cs.LG
A Comprehensive Survey on Graph Reduction: Sparsification, Coarsening, and Condensation
Emory University（埃默里大学）；The Hong Kong Polytechnic University（香港理工大学）；Georgia Institute of Technology（佐治亚理工学院）
本文系统综述了图稀疏化、图粗化和图凝聚三类图约简方法，提出统一定义与分层分类法，梳理技术细节、应用场景和未来研究方向，并附有完整论文列表。
2024-06-29 cs.AI cs.DS cs.LG
Encoder-Decoder Architecture for Supervised Dynamic Graph Learning: A Survey
McGill University（麦吉尔大学）
近年来，流行的在线服务产生了大量的用户活动数据。服务提供商收集这些数据，以便进行客户行为分析，并提供更好，更个性化的服务。这些数据中的大多数可以建模并存储为图，例如Facebook中的社交图，Youtube中的用户-视频交互图。这些图需要随着时间的推移而发展，以捕捉现实世界中的动态，从而导致动态图的发明。然而，嵌入在动态图的时态信息带来了新的挑战，分析和部署它们。事件陈旧、时间信息学习和显式时间维度使用是动态图学习中的一些示例挑战。为了给工业界和学术界提供一个方便的参考，本文提出了基于动态图进化理论的三阶段递归时态学习框架，以便用一个广义的框架来解释时态信息的学习。在这个框架下，本调查分类和审查不同的可学习的编码器-解码器架构的监督动态图学习。我们相信，这项调查可以提供有用的指导方针，研究人员和工程师在寻找合适的图形结构，为他们的动态学习任务。
2022-03-27 cs.LG
