A Survey on The Expressive Power of Graph Neural Networks
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
图神经网络（GNNs）是解决各种图学习问题的有效机器学习模型。尽管他们的经验成功，GNN的理论局限性已被揭示最近。因此，已经提出了许多GNN模型来克服这些限制。在本调查中，我们全面概述了GNN的表达能力以及GNN的可证明的强大变体。
2020-10-16 cs.LG stat.ML
A Comprehensive Survey of Deep Learning for Image Captioning
Murdoch University（莫道克大学）
生成图像的描述被称为图像描述。图像描述需要识别图像中的重要对象及其属性和关系。它还需要生成语法和语义正确的句子。基于深度学习的技术能够处理图像描述的复杂性和挑战。在这篇调查论文中，我们旨在对现有的基于深度学习的图像描述技术进行全面回顾。我们讨论了技术的基础，分析其性能，优势和局限性。我们还讨论了基于深度学习的自动图像描述中常用的数据集和评估指标。
2018-10-14 cs.CV cs.LG stat.ML
Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey
LG Electronics（LG电子）
随着卷积神经网络（CNN）模型大小不断增加的总体趋势，模型压缩和加速技术对于在边缘设备上部署这些模型变得至关重要。在本文中，我们提供了一个全面的调查修剪，一个主要的压缩策略，从CNN模型中删除非关键或冗余的神经元。该调查涵盖了修剪的总体动机，不同的策略和标准，它们的优点和缺点，以及主要修剪技术的汇编。最后，我们讨论了修剪的替代方案以及模型压缩社区目前面临的挑战。
2020-05-08 cs.LG stat.ML
An Empirical Survey of Data Augmentation for Time Series Classification with Neural Networks
Kyushu University（九州大学）
近年来，深度人工神经网络在模式识别方面取得了许多成功。这一成功的部分原因可以归因于对大数据的依赖，以提高泛化能力。然而，在时间序列识别领域，许多数据集往往非常小。解决该问题的一种方法是通过使用数据增强。在本文中，我们调查的数据增强技术的时间序列和它们的应用与神经网络的时间序列分类。我们提出了一个分类法，并概述了四个家庭的时间序列数据增强，包括基于变换的方法，模式混合，生成模型和分解方法。此外，我们经验性地评估了12种时间序列数据增强方法在128个时间序列分类数据集上使用6种不同类型的神经网络。通过研究结果，我们能够分析每种数据增强方法的特点、优缺点和建议。本调查的目的是帮助在选择时间序列数据增强的神经网络的应用。
2021-07-02 cs.LG stat.ML
Survey of Image Based Graph Neural Networks
在这篇综述论文中，我们分析了基于图像的图神经网络，并提出了一个三步分类方法。我们首先使用Quickshift算法将图像转换为超像素，以便减少30%的输入数据。超像素随后用于生成区域邻接图。最后，将图通过最先进的图卷积神经网络以获得分类分数。我们还分析了图神经网络中的空间卷积滤波技术和谱卷积滤波技术。基于光谱的模型比基于空间的模型和经典的CNN性能更好，计算成本更低。
2021-06-11 cs.AI cs.CV cs.LG
Object Recognition Using Deep Neural Networks: A Survey
IIT Kanpur（印度理工学院坎普尔分校）；Pace University（佩斯大学）
使用深度神经网络识别物体是一个活跃的研究领域，在过去几年中取得了许多突破。本文试图说明这一领域的进展。本文简要介绍了神经网络的研究历史，并介绍了该领域的一些最新进展。最近开发的神经网络算法的性能在基准数据集已制成表格。最后给出了该领域的一些应用。
2014-12-10 cs.CV cs.LG cs.NE
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域，并代表着构建对视觉世界有更高理解的自主系统的一步。目前，深度学习使强化学习能够扩展到以前难以解决的问题，例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术，允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中，我们首先介绍强化学习的一般领域，然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法，包括深度$Q$网络，信任区域策略优化和异步优势演员-评论家。同时，我们强调了深度神经网络的独特优势，重点是通过强化学习进行视觉理解。最后，我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
Time Series Forecasting With Deep Learning: A Survey
University of Oxford（牛津大学）
已经开发了许多深度学习架构来适应跨不同域的时间序列数据集的多样性。在这篇文章中，我们调查了在一步前进和多水平时间序列预测中使用的常见编码器和解码器设计-描述了时间信息如何被纳入每个模型的预测。接下来，我们将重点介绍混合深度学习模型的最新发展，该模型将经过充分研究的统计模型与神经网络组件相结合，以改进任一类别的纯方法。最后，我们概述了深度学习也可以通过时间序列数据促进决策支持的一些方法。
2020-09-27 cs.LG stat.ML
Neural Network Quantization for Efficient Inference: A Survey
University of California, San Diego（加州大学圣地亚哥分校）
随着神经网络变得越来越强大，人们越来越希望将其部署在现实世界中;然而，神经网络的能力和准确性在很大程度上取决于其深度和复杂性，这使得它们难以部署，特别是在资源受限的设备中。最近出现了神经网络量化，以满足通过降低网络的精度来减小神经网络的尺寸和复杂性的需求。有了更小更简单的网络，就有可能在目标硬件的约束下运行神经网络。本文综述了近十年来发展起来的许多神经网络量化技术。在对神经网络量化技术进行综述和比较的基础上，提出了该领域未来的研究方向。
2023-01-18 cs.LG
Hyperbolic Deep Neural Networks: A Survey
University of Oulu（奥卢大学）
近年来，双曲空间中的深度表示学习因其对具有层次结构的知识图谱或同义词层次等数据的建模能力而受到越来越多的关注。在本文中，我们将该模型称为双曲深度神经网络。这样的双曲神经结构可能导致非常紧凑的模型，比欧几里得空间中的模型具有更多的物理可解释性。为了促进未来的研究，本文对双曲深度神经网络构建中的神经组件以及双曲空间的领先深度方法的推广进行了一致和全面的文献综述。它还介绍了围绕几个公开数据集上的各种机器学习任务的当前应用，以及有见地的观察和识别开放问题和有前途的未来方向。
2021-02-17 cs.CV cs.LG
A Comprehensive Survey on Graph Neural Networks
University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
近年来，深度学习彻底改变了许多机器学习任务，从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常在欧几里得空间中表示。然而，有越来越多的应用程序，其中数据是从非欧几里德域生成的，并表示为对象之间具有复杂关系和相互依赖性的图形。图数据的复杂性给现有的机器学习算法带来了巨大的挑战。最近，出现了许多关于扩展图数据的深度学习方法的研究。在本调查中，我们提供了数据采掘和机器学习领域的图神经网络（GNN）的全面概述。我们提出了一种新的分类法，将最先进的图神经网络分为四类，即递归图神经网络，卷积图神经网络，图自动编码器，时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用，并总结了图神经网络的开源代码，基准数据集和模型评估。最后，我们提出了在这个快速发展的领域的潜在研究方向。
2019-12-04 cs.LG stat.ML
Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
深度神经网络通过利用大量的训练数据，在许多不同的问题设置中获得最先进的结果。然而，收集、存储和--在监督学习的情况下--标记数据是昂贵和耗时的。此外，评估网络的泛化能力或预测在输入变换下推断的输出如何变化是复杂的，因为网络通常被视为黑盒。这两个问题都可以通过将先验知识结合到神经网络中来缓解。受卷积神经网络在计算机视觉任务中的成功启发，一种有前途的方法是结合关于问题的对称几何变换的知识来解决，以可预测的方式影响输出。这有望提高数据效率和更可解释的网络输出。在这篇综述中，我们试图对将几何先验知识引入神经网络的不同方法进行简要概述。此外，我们将这些方法与自动驾驶的3D目标检测相连接，我们希望在应用这些方法时获得有希望的结果。
2023-03-03 cs.CV cs.LG
Applications of deep learning in traffic congestion detection, prediction and alleviation: A survey
ETH Zurich（苏黎世联邦理工学院）；Future Resilient Systems（未来韧性系统）；Singapore-ETH Centre（新加坡-ETH中心）
检测、预测和缓解交通拥堵的目的是提高交通网络的服务水平。随着越来越多地访问更高分辨率的更大数据集，深度学习对此类任务的相关性正在增加。近年来的一些综合调查论文总结了深度学习在交通领域的应用。然而，交通网络的系统动态在非拥塞状态和拥塞状态之间变化很大，因此需要清楚地了解拥塞预测所面临的挑战。在本调查中，我们介绍了深度学习在与拥塞检测、预测和缓解相关的任务中的应用现状。重复和非重复拥塞将分别讨论。我们的调查使我们发现了当前研究状态中的固有挑战和差距。最后，我们提出了一些建议，为未来的研究方向，以应对所确定的挑战。
2021-11-02 cs.LG stat.ML
Deep Gaussian Processes: A Survey
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
高斯过程是贝叶斯学习中的主要方法之一。虽然这种方法已经成功地应用于许多问题，但它有一些基本的局限性。文献中的多种方法已经解决了这些局限性。然而，迄今为止还没有对这些专题进行全面调查。大多数现有的调查集中在高斯过程及其衍生物的一个特定的变种。这项调查详细介绍了使用高斯过程的核心动机，它们的数学公式，局限性以及多年来为解决上述局限性而蓬勃发展的研究主题。此外，一个特殊的研究领域是深度高斯过程（DGPs），它在过去十年中有了很大的改进。在他们的调查中概述了推进这一研究领域前沿的重要出版物。最后，对有待解决的问题和今后的研究方向进行了简要的讨论。
2021-06-21 cs.LG stat.ML
A Survey of Techniques All Classifiers Can Learn from Deep Networks: Models, Optimizations, and Regularization
Department of Computer Science（计算机科学系）；Pullman, WA 99163（普尔曼，华盛顿州 99163（注：此为地址，非机构））
深度神经网络为机器学习社区引入了新颖而有用的工具。其他类型的分类器也可以潜在地利用这些工具来提高它们的性能和通用性。本文回顾了在深度神经网络之外使用的深度学习分类器技术的当前发展水平。非网络分类器可以采用在深度神经网络架构中发现的许多组件。在本文中，我们回顾了构成深度网络技术核心的特征学习、优化和正则化方法。然后，我们调查非神经网络学习算法，使创新地利用这些方法来改善分类。由于仍然存在许多机遇和挑战，我们讨论了可以追求的方向，以扩展各种分类算法的深度学习领域。
2019-09-27 cs.LG stat.ML
Deep Learning for 3D Point Cloud Understanding: A Survey
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Oregon（俄勒冈大学）
随着自动驾驶和机器人等实际应用的发展，人们越来越关注3D点云理解。虽然深度学习在基于图像的任务上取得了显著的成功，但深度神经网络在处理大规模、非结构化和有噪声的3D点时面临着许多独特的挑战。为了展示用于3D点云理解的深度学习的最新进展，本文从几个不同的方向（分类、分割、检测、跟踪、流估计、配准、增强和完成）总结了该领域最近的显著研究贡献，以及常用的数据集、度量和最先进的性能。有关此调查的更多信息，请访问：https://github.com/SHI-Labs/3D-Point-Cloud-Learning。
2021-05-23 cs.CV cs.LG
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London（伦敦玛丽女王大学）；American University of Beirut（贝鲁特美国大学）
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间，并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而，这种性能是基于静态图结构的假设，当数据随时间变化时，这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近，提出了各种时空图神经网络算法，并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题，包括算法，应用和开放挑战。
2023-02-11 cs.LG
Deep Echo State Network (DeepESN): A Brief Survey
Department of Computer Science, University of Pisa（比萨大学计算机科学系）
深度递归神经网络（RNN）的研究，特别是深度储备池计算（RC）的研究，在神经网络界正获得越来越多的研究关注。最近推出的深度回声状态网络（DeepESN）模型为设计用于时态数据的深度神经网络开辟了一条非常有效的方法。与此同时，对DeepESN的研究揭示了由递归层的分层组成所开发的状态动态的内在属性，即RNN架构设计中的深度偏差。本文总结了DeepESN的开发、分析和应用方面的进展。
2020-09-25 cs.AI cs.LG stat.ML
From Neural Activations to Concepts: A Survey on Explaining Concepts in Neural Networks
University of Hamburg（汉堡大学）
本文综述了神经网络中概念解释的近期方法，探讨了概念在学习与推理之间的桥梁作用，并指出其对实现基于可解释概念的神经符号人工智能具有重要意义。
2024-05-03 cs.AI cs.CL cs.CV
Neural Tangent Kernel: A Survey
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Huawei Technologies（华为技术有限公司）
一项开创性的工作[Jacot等人，2018]证明了在特定参数化下训练神经网络等同于执行特定的内核方法，因为宽度趋于无穷大。这种等价性为将核方法的丰富文献的结果应用于更难处理的神经网络开辟了一个有希望的方向。本调查涵盖了核心收敛的关键成果，宽度趋于无穷大，有限宽度的校正，应用程序，并讨论了相应的方法的局限性。
2022-08-29 cs.LG
Deep Learning for Sentiment Analysis : A Survey
LinkedIn Corporation（领英公司）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
深度学习已经成为一种强大的机器学习技术，它学习数据的多层表示或特征，并产生最先进的预测结果。随着深度学习在许多其他应用领域的成功，深度学习近年来也被广泛用于情感分析。本文首先概述了深度学习，然后对其当前在情感分析中的应用进行了全面的调查。
2018-01-30 cs.CL cs.IR cs.LG
A Survey on Methods and Theories of Quantized Neural Networks
University of California, San Diego（加州大学圣地亚哥分校）
深度神经网络是许多现实世界任务的最先进方法，例如计算机视觉，自然语言处理和语音识别。尽管很受欢迎，但深度神经网络也因在训练和推理过程中消耗大量内存和耗尽设备电池寿命而受到批评。这使得很难在具有严格资源约束的移动或嵌入式设备上部署这些模型。量化被认为是满足深度神经网络模型所需的极端内存要求的最有效方法之一。量化表示不是采用32位浮点格式来表示权重，而是使用更紧凑的格式（如整数甚至二进制数）来存储权重。尽管预测性能可能下降，量化提供了一个潜在的解决方案，大大减少了模型的大小和能量消耗。在这篇综述中，我们对量化神经网络的不同方面进行了全面的回顾。最后讨论了量化神经网络目前面临的挑战和发展趋势。
2018-12-16 cs.LG cs.NE stat.ML
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Neural relation extraction: a survey
Huawei Turkey Research and Development Center（华为土耳其研发中心）；Ford Otosan（福特奥托桑）；Bogazici University（海峡大学）；Yildiz Technical University（伊尔迪兹技术大学）
神经关系抽取使用深度学习方法从非结构化文本中发现实体之间的语义关系。本文对基于神经网络的关系抽取方法进行了综述。我们讨论了现有研究的优势和不足之处，并探讨了这一领域的其他研究方向和改进思路。
2020-06-23 cs.CL cs.LG
Neural Architecture Search: A Survey
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
过去几年，深度学习在图像识别、语音识别和机器翻译等各种任务上取得了显著进展。这一进展的一个关键方面是新颖的神经结构。目前采用的架构大多是由人类专家手动开发的，这是一个耗时且容易出错的过程。正因为如此，人们对自动神经结构搜索方法越来越感兴趣。我们提供了一个概述，现有的工作在这一领域的研究和分类，根据三个方面：搜索空间，搜索策略，和性能评估策略。
2019-04-26 cs.LG cs.NE stat.ML
Image Captioning based on Deep Learning Methods: A Survey
University of Chinese Academy of Sciences（中国科学院大学）
图像描述是人工智能领域的一项具有挑战性的研究课题，在高效图像检索、智能导盲、人机交互等方面有着广泛的应用前景。本文综述了基于深度学习方法的图像描述的研究进展，包括编码器-解码器结构、编码器改进方法、解码器改进方法、和其他改进。最后，我们讨论了未来的研究方向。
2019-05-20 cs.CL cs.CV cs.LG
Foundations and modelling of dynamic networks using Dynamic Graph Neural Networks: A survey
University of Technology Sydney（悉尼科技大学）
动态网络被广泛应用于各个领域，包括社会网络分析、推荐系统和流行病学。将复杂网络表示为随时间变化的结构，使网络模型不仅可以利用结构模式，还可以利用时间模式。然而，动态网络文学来源于不同的领域，使用不一致的术语，这是具有挑战性的导航。与此同时，图神经网络（GNN）近年来因其在一系列网络科学任务（如链接预测和节点分类）上表现良好的能力而受到广泛关注。尽管图神经网络的流行和动态网络模型的证明的好处，有很少关注动态网络的图神经网络。为了解决这一事实所带来的挑战，这项研究跨越不同的领域，以及调查动态图神经网络，这项工作分为两个主要部分。首先，为了解决动态网络术语的模糊性，我们建立了一个动态网络的基础，具有一致的，详细的术语和符号。其次，我们提出了一个全面的调查动态图神经网络模型使用所提出的术语
2021-06-13 cs.LG cs.SI stat.ML
A State-of-the-art Survey of Artificial Neural Networks for Whole-slide Image Analysis:from Popular Convolutional Neural Networks to Potential Visual Transformers
Northeastern University（东北大学）；Chengdu University of Information Technology（成都信息工程大学）；China Medical University（中国医科大学）；University of Luebeck（吕贝克大学）
为了提高病理学家工作的客观性和准确性，人工神经网络（ANN）方法已普遍需要的分割，分类，和检测的组织病理WSI。本文综述了基于人工神经网络的水稳性分析方法。本文首先介绍了WSI方法和ANN方法的发展现状。其次，对常用的人工神经网络方法进行了总结。接下来，我们讨论公开可用的WSI数据集和评估指标。这些用于WSI处理的ANN架构分为经典神经网络和深度神经网络（DNN），然后进行分析。最后，对该分析方法在该领域的应用前景进行了探讨。可视化Transformers是重要的潜在方法。
2022-02-26 cs.CV cs.LG eess.IV
On Interpretability of Artificial Neural Networks: A Survey
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
以人工深度神经网络（DNN）为代表的深度学习在处理文本、图像、视频、图形等重要领域取得了巨大成功，但DNN的黑箱性质已成为其在医疗诊断和治疗等关键任务应用中被广泛接受的主要障碍之一。由于深度学习的巨大潜力，解释神经网络最近吸引了许多研究关注。在本文中，我们全面的分类的基础上，我们系统地回顾了最近的研究在理解神经网络的机制，描述了可解释性的应用，特别是在医学中，并讨论了未来的可解释性研究的方向，如与模糊逻辑和脑科学。
2021-09-27 cs.AI cs.LG stat.ML
Approximation Power of Deep Neural Networks: an explanatory mathematical survey
Sandia National Laboratories（桑迪亚国家实验室）；University of New Mexico（新墨西哥大学）
本综述系统解释深度神经网络（前馈与残差）的逼近性质，分析其优于传统方法的条件，涵盖优化训练、稠密性及误差-复杂度分析，并引入新理论结果。
2024-12-16 cs.LG cs.NA math.NA
No Peek: A Survey of private distributed deep learning
Massachusetts Institute of Technology（麻省理工学院）
我们调查分布式深度学习模型，以进行训练或推理，而无需访问来自客户端的原始数据。这些方法旨在保护数据中的机密模式，同时仍然允许服务器训练模型。比较了联邦学习、分裂学习和大批量随机梯度下降的分布式深度学习方法，以及神经网络背景下的差分隐私、同态加密、不经意传输和乱码电路的隐私和安全方法。我们研究了它们在计算资源、数据泄漏和通信效率方面的优势、局限性和权衡，并分享了我们预期的未来趋势。
2018-12-08 cs.DC cs.LG stat.ML
A Survey of Explainable AI in Deep Visual Modeling: Methods and Metrics
The University of Western Australia（西澳大利亚大学）
深度视觉模型在高风险领域有着广泛的应用。因此，它们的黑盒性质目前吸引了研究界的极大兴趣。我们提出了可解释人工智能的第一个调查，重点是解释深度视觉模型的方法和指标。覆盖沿着国家的最先进的里程碑式的贡献，我们不仅提供了现有技术的分类组织，而且还挖掘了一系列的评估指标，并整理它们作为模型解释的不同属性的措施。随着对当前趋势的深入讨论，我们还讨论了这一研究方向的挑战和未来的途径。
2023-01-31 cs.AI cs.CV cs.LG
A Survey on Dynamic Neural Networks for Natural Language Processing
University of California, San Diego（加州大学圣地亚哥分校）
有效地缩放大型Transformer模型是自然语言处理最新进展的主要驱动力。动态神经网络作为一个新兴的研究方向，能够通过基于输入动态地调整其计算路径来扩展神经网络，其计算量和时间都呈次线性增长。动态神经网络可能是预训练语言模型参数数量不断增长的一个有前途的解决方案，它允许使用数万亿参数进行模型预训练，并在移动设备上进行更快的推理。本文综述了自然语言处理中三种类型的动态神经网络的研究进展：略读、混合专家模型和提前退出。我们还强调了当前动态神经网络的挑战和未来的研究方向。
2023-02-24 cs.AI cs.CL cs.LG
A Survey on Neural Network Language Models
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）
语言模型作为自然语言处理（NLP）系统的核心组成部分，能够提供词的表示和词序列的概率指示。神经网络语言模型克服了维数灾难，提高了传统语言模型的性能。本文对NNLM进行了综述。首先介绍了经典NNLM的结构，然后介绍和分析了NNLM的一些主要改进。我们总结和比较语料库和工具包的NNLM。最后，对NNLM的研究方向进行了讨论。
2019-06-13 cs.CL cs.LG
Survey of Dropout Methods for Deep Neural Networks
University of Toronto（多伦多大学）
丢弃方法是一种用于神经网络训练或推理的随机技术，已经产生了重大的研究兴趣，并广泛应用于实践。它们已成功地应用于神经网络正则化、模型压缩以及神经网络输出不确定性的度量。虽然最初是针对密集神经网络层制定的，但最近的进展使得丢弃方法也适用于卷积和递归神经网络层。本文总结了辍学方法的历史，他们的各种应用，以及当前的研究兴趣。重要的建议方法进行了详细说明。
2019-10-25 cs.AI cs.LG cs.NE
A Survey of Neural Trees
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Zhejiang Lab（之江实验室）
神经网络（NN）和决策树（DT）都是机器学习的流行模型，但具有相互排斥的优点和局限性。为了实现这两个世界的最佳效果，提出了各种方法来显式或隐式地集成NN和DT。在这项调查中，这些方法被组织在一个学校，我们称之为神经树（NT）。本调查的目的是提出一个全面的审查NT，并试图确定他们如何提高模型的可解释性。我们首先提出了一个彻底的分类NTs，表示逐步整合和共同进化的NN和DT。之后，我们分析NT的可解释性和性能，并提出可能的解决方案，其余的挑战。最后，本次调查的结论与其他考虑因素，如条件计算和有前途的方向对这一领域的讨论。本调查中审查的论文列表及其相应的代码可在以下网站获得：https://github.com/zju-vipa/awesome-neural-trees
2022-09-07 cs.AI cs.LG
Verification for Machine Learning, Autonomy, and Neural Networks Survey
本调查概述了自主系统的验证技术，重点是安全关键的自主网络物理系统（CPS）及其子组件。CPS中的自主性是通过人工智能（AI）和机器学习（ML）的最新进展来实现的，这些进步通过诸如深度神经网络（DNN）之类的方法来实现，这些方法嵌入在所谓的学习使能组件（LEC）中，完成从分类到控制的任务。最近，形式化方法和形式化验证社区已经开发出方法来表征这些LEC中的行为，最终目标是形式化验证LEC的规范，本文对这些方法进行了综述。
2018-10-03 cs.AI cs.LG
Explainability in Graph Neural Networks: An Experimental Survey
University of New South Wales（新南威尔士大学）
图神经网络（GNNs）已经在各种应用领域中被广泛地开发用于图表示学习。然而，与所有其他神经网络模型类似，GNN也存在黑箱问题，因为人们无法理解其背后的机制。为了解决这个问题，已经提出了几种GNN可解释性方法来解释GNN做出的决策。在这次调查中，我们概述了最先进的GNN可解释性方法以及如何评估它们。此外，我们提出了一个新的评估指标，并进行了彻底的实验，比较GNN的可解释性方法在现实世界的数据集。我们还提出了GNN可解释性的未来方向。
2022-03-17 cs.AI cs.LG
Deep Clustering: A Comprehensive Survey
University of Electronic Science and Technology of China（电子科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Lehigh University（理海大学）
聚类分析在机器学习和数据采掘中起着不可或缺的作用。学习一个好的数据表示是聚类算法的关键。最近，可以使用深度神经网络学习聚类友好表示的深度聚类已经广泛应用于各种聚类任务中。现有的深度聚类研究主要集中在单视图领域和网络架构上，忽略了聚类的复杂应用场景。为了解决这个问题，在本文中，我们提供了一个全面的调查数据源的视图中的深度聚类。对于不同的数据源和初始条件，我们系统地区分聚类方法的方法，先验知识和架构。具体地，根据四个类别介绍了深度聚类方法，即，传统的单视图深度聚类、半监督深度聚类、深度多视图聚类和深度转移聚类。最后，我们讨论了开放的挑战和潜在的未来机会，在不同领域的深度集群。
2022-10-09 cs.LG
Analysis Methods in Neural Language Processing: A Survey
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Harvard School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）
近年来，自然语言处理领域取得了令人瞩目的进展，神经网络模型取代了许多传统系统。已经提出了大量的新模型，其中许多被认为是不透明的，相比之下，他们的功能丰富的同行。这促使研究人员以新颖且更细粒度的方式分析、解释和评估神经网络。在这篇综述论文中，我们回顾了神经语言处理中的分析方法，根据突出的研究趋势对其进行分类，突出现有的局限性，并指出未来工作的潜在方向。
2019-01-14 cs.CL cs.LG cs.NE
Topological Understanding of Neural Networks, a survey
Texas A&M University（德州农工大学）
我们来看看神经网络的内部结构，它通常被视为一个黑匣子。最简单和最容易理解的事情是看一个二进制分类，并试图理解神经网络采取的方法。我们回顾了不同的激活函数的意义，与之相关的网络结构类型，以及一些经验数据。我们发现了一些有趣的观察结果，并有可能在这些想法的基础上验证真实数据集的过程。我们提出了一些可能的实验，期待在三个不同的方向。
2023-01-23 cs.LG math.AT
Dynamic Neural Network Architectural and Topological Adaptation and Related Methods -- A Survey
University of Vienna（维也纳大学）
由于架构复杂性和数据集大小的稳步增加，深度神经网络（DNN）中的训练和推理已经导致用于减少DNN训练和推理的时间和空间要求的策略的发展，这在训练发生在资源受限的计算环境中或推理是时间关键应用的一部分的场景中特别重要。在本次调查中，我们的目标是提供一个总体概述和分类的国家的最先进的（SOTA）的技术，以减少DNN的训练和推理时间和空间复杂度，特别是侧重于架构的适应。
2021-07-28 cs.AI cs.LG
A Survey on Neural-symbolic Learning Systems
Jilin University（吉林大学）；Queen’s University Belfast（贝尔法斯特女王大学）；Griffith University（格里菲斯大学）
本文综述了神经符号学习系统的研究进展，指出结合神经系统的感知能力与符号系统的认知能力可弥补各自缺陷，并从挑战、方法、应用和未来方向四个视角为该新兴领域提供了全面概述。
2023-06-25 cs.LG
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）
使机器能够阅读和理解自然语言文档，以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来，深度学习的普及和大规模数据集的建立，都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器，并介绍了一些经典的模型，分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
A Survey on Deep Learning Toolkits and Libraries for Intelligent User Interfaces
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文概述了著名的深度学习工具包，特别是报告了最近的出版物，这些出版物为实现智能用户界面（IUI）中常见的任务贡献了开源软件。我们为计划在IUI研究和开发项目中使用深度学习技术的研究人员和软件工程师提供科学参考。
2018-03-14 cs.HC cs.LG
A Survey on Low-Resource Neural Machine Translation
Microsoft Research Asia（微软亚洲研究院）
神经方法已经在机器翻译上实现了最先进的准确性，但是遭受收集大规模并行数据的高成本。因此，已经对具有非常有限的并行数据的神经机器翻译（NMT）进行了大量研究，即，低资源配置。本文综述了低资源的NMT，并根据其使用的辅助数据将相关工作分为三类：（1）利用源语言和/或目标语言的单语数据，（2）利用辅助语言的数据，（3）利用多模态数据。我们希望我们的调查能够帮助研究人员更好地了解该领域并激励他们设计更好的算法，并帮助行业从业者为他们的应用选择合适的算法。
2021-07-09 cs.CL cs.LG
Large-Scale Deep Learning Optimizations: A Comprehensive Survey
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
深度学习在广泛的人工智能应用中取得了可喜的成果。更大的数据集和模型始终会产生更好的性能。然而，我们通常会在更多的计算和通信上花费更长的训练时间。在本次调查中，我们的目标是提供一个关于大规模深度学习在模型准确性和模型效率方面的优化的清晰草图。我们研究了最常用于优化的算法，阐述了大批量训练中出现的泛化差距这一有争议的话题，并回顾了SOTA在解决通信开销和减少内存占用方面的策略。
2021-11-02 cs.LG
Graph Neural Network for Traffic Forecasting: A Survey
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）
交通预测是智能交通系统成功的关键。深度学习模型，包括卷积神经网络和递归神经网络，已被广泛应用于交通预测问题中，以对空间和时间依赖性进行建模。近年来，为了对交通系统中的图结构以及上下文信息进行建模，已经引入了图神经网络，并且在一系列交通预测问题中取得了最先进的性能。在本调查中，我们回顾了使用不同图神经网络（例如图卷积和图注意力网络）在各种交通预测问题（例如道路交通流量和速度预测、城市轨道交通系统中的客流预测以及乘车平台中的需求预测）中快速增长的研究主体。我们还为每个问题提供了一个全面的开放数据和源资源列表，并确定了未来的研究方向。据我们所知，本文是第一个全面的调查，探讨应用图神经网络的交通预测问题。我们还创建了一个公共GitHub存储库，其中将更新最新的论文，开放数据和源资源。
2022-02-22 cs.AI cs.LG
Deep Reinforcement Learning for Intelligent Transportation Systems: A Survey
最新的技术改进提高了运输质量。新的数据驱动方法为所有基于控制的系统带来了新的研究方向，例如，在交通、机器人、物联网和电力系统中。将数据驱动的应用程序与交通系统相结合在最近的交通应用中起着关键作用。在本文中，最新的深度强化学习（RL）为基础的交通控制应用进行了调查。具体而言，交通信号控制（TSC）的应用程序的基础上（深）RL，这已被广泛研究的文献中，详细讨论。不同的问题配方，RL参数，和仿真环境的TSC进行了全面讨论。在文献中，也有一些使用深度RL模型研究的自动驾驶应用。我们的调查广泛总结了现有的作品在这一领域进行分类，它们与应用类型，控制模型和研究算法。最后，我们讨论了基于深度RL的交通应用的挑战和开放性问题。
2020-05-02 cs.LG cs.MA cs.SY
Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better
Google Research（谷歌研究院）
本文综述高效深度学习的五大核心领域，涵盖建模、基础设施与硬件，并提供实验指南和代码，帮助从业者降低模型资源占用、提升训练与部署效率。
2021-06-21 cs.LG
Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
UFRGS（里约热内卢联邦大学）；City, University of London（伦敦城市大学）；University of Siena（锡耶纳大学）；Université Côte d’Azur（蔚蓝海岸大学）；Rice University（莱斯大学）
神经符号计算现在已经成为学术和工业研究实验室感兴趣的主题。图神经网络在关系和符号领域有着广泛的应用，在组合优化、约束满足、关系推理等科学领域有着广泛的应用。一般来说，需要改进人工智能系统的可解释性，可解释性和信任度，这需要有原则的方法，正如神经符号计算所建议的那样。在本文中，我们回顾了使用GNN作为神经符号计算模型的最新技术。这包括GNN在几个领域的应用，以及它与神经符号计算当前发展的关系。
2021-06-12 cs.AI cs.CL cs.LG
A Survey on Graph Neural Networks for Knowledge Graph Completion
Indian Institute of Technology Delhi（印度理工学院德里分校）
知识图谱越来越多地用于各种下游任务，如问答和信息检索。然而，知识图谱往往是不完整的，从而导致性能不佳。因此，人们对知识库完成的任务很感兴趣。最近，图神经网络已被用于捕获固有地存储在这些知识图谱中的结构信息，并已被证明可以在各种数据集上实现SOTA性能。在这项调查中，我们了解所提出的方法的各种优点和缺点，并试图找到新的令人兴奋的研究问题，在这一领域，需要进一步调查。
2020-07-24 cs.AI cs.CL cs.LG
Similarity of Neural Network Models: A Survey of Functional and Representational Measures
University of Passau（帕绍大学）；University of Mannheim（曼海姆大学）；RWTH Aachen University（亚琛工业大学）；GESIS - Leibniz Institute for the Social Sciences（GESIS莱布尼茨社会科学研究所）；Complexity Science Hub Vienna（维也纳复杂性科学中心）
该综述梳理了神经网络相似性度量的表征与功能两大互补视角，介绍现有方法、总结其性质与关联并指出开放问题，为相关系统研究奠定基础。
2025-04-09 cs.LG
A Survey of Deep Learning Techniques for Dynamic Branch Prediction
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
分支预测是流水线处理器上加速分支指令执行和降低分支开销的一种体系结构特性。深度学习（DL）在后摩尔定律时代的最新进展正在加速自动化芯片设计、低功耗计算机体系结构等领域的发展。传统的计算机体系结构设计和算法可以受益于基于深度学习算法的动态预测器，该算法通过在大量数据上优化其参数来从经验中学习。在这篇综述论文中，我们重点介绍了传统的分支预测算法，分析了其局限性，并对如何应用深度学习技术来创建能够预测条件分支指令的动态分支预测器进行了文献调查。该领域的先前调查集中在基于神经网络感知器的动态分支预测技术上。我们计划根据深度学习的最新研究和基于分支预测器的高级机器学习（ML）来改进调查。
2021-12-30 cs.AI cs.AR cs.LG
