Survey of Image Based Graph Neural Networks
在这篇综述论文中，我们分析了基于图像的图神经网络，并提出了一个三步分类方法。我们首先使用Quickshift算法将图像转换为超像素，以便减少30%的输入数据。超像素随后用于生成区域邻接图。最后，将图通过最先进的图卷积神经网络以获得分类分数。我们还分析了图神经网络中的空间卷积滤波技术和谱卷积滤波技术。基于光谱的模型比基于空间的模型和经典的CNN性能更好，计算成本更低。
2021-06-11 cs.AI cs.CV cs.LG
Graph Neural Network for Traffic Forecasting: A Survey
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）
交通预测是智能交通系统成功的关键。深度学习模型，包括卷积神经网络和递归神经网络，已被广泛应用于交通预测问题中，以对空间和时间依赖性进行建模。近年来，为了对交通系统中的图结构以及上下文信息进行建模，已经引入了图神经网络，并且在一系列交通预测问题中取得了最先进的性能。在本调查中，我们回顾了使用不同图神经网络（例如图卷积和图注意力网络）在各种交通预测问题（例如道路交通流量和速度预测、城市轨道交通系统中的客流预测以及乘车平台中的需求预测）中快速增长的研究主体。我们还为每个问题提供了一个全面的开放数据和源资源列表，并确定了未来的研究方向。据我们所知，本文是第一个全面的调查，探讨应用图神经网络的交通预测问题。我们还创建了一个公共GitHub存储库，其中将更新最新的论文，开放数据和源资源。
2022-02-22 cs.AI cs.LG
A Survey of Explainable Graph Neural Networks: Taxonomy and Evaluation Metrics
University of Technology Sydney（悉尼科技大学）
本文全面综述了可解释图神经网络的可解释性技术，基于所用方法对其进行分类，提供了常见性能评估指标，并指出了未来的研究方向。
2023-05-23 cs.AI cs.LG
A Comprehensive Survey on Graph Neural Networks
University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
近年来，深度学习彻底改变了许多机器学习任务，从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常在欧几里得空间中表示。然而，有越来越多的应用程序，其中数据是从非欧几里德域生成的，并表示为对象之间具有复杂关系和相互依赖性的图形。图数据的复杂性给现有的机器学习算法带来了巨大的挑战。最近，出现了许多关于扩展图数据的深度学习方法的研究。在本调查中，我们提供了数据采掘和机器学习领域的图神经网络（GNN）的全面概述。我们提出了一种新的分类法，将最先进的图神经网络分为四类，即递归图神经网络，卷积图神经网络，图自动编码器，时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用，并总结了图神经网络的开源代码，基准数据集和模型评估。最后，我们提出了在这个快速发展的领域的潜在研究方向。
2019-12-04 cs.LG stat.ML
A Survey on Graph Neural Networks for Knowledge Graph Completion
Indian Institute of Technology Delhi（印度理工学院德里分校）
知识图谱越来越多地用于各种下游任务，如问答和信息检索。然而，知识图谱往往是不完整的，从而导致性能不佳。因此，人们对知识库完成的任务很感兴趣。最近，图神经网络已被用于捕获固有地存储在这些知识图谱中的结构信息，并已被证明可以在各种数据集上实现SOTA性能。在这项调查中，我们了解所提出的方法的各种优点和缺点，并试图找到新的令人兴奋的研究问题，在这一领域，需要进一步调查。
2020-07-24 cs.AI cs.CL cs.LG
Learning Representations of Graph Data -- A Survey
University College London（伦敦大学学院）
深度神经网络在对象识别、图像分类和自然语言处理领域取得了巨大成功。然而，设计最佳的神经网络架构，可以学习和输出任意图形是一个正在进行的研究问题。本调查的目的是总结和讨论学习图数据表示方法的最新进展。我们从识别常用的图形数据类型开始，并回顾图论的基础知识。接着讨论了图核方法和神经网络之间的关系。接下来，我们确定了用于学习图数据表示的主要方法，即：核方法，卷积方法，图神经网络方法，图嵌入方法和概率方法。各种方法下的每一种方法进行了讨论，并在调查结束时简要讨论了未来的学习表示的图形数据。
2019-07-01 cs.LG stat.ML
Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
UFRGS（里约热内卢联邦大学）；City, University of London（伦敦城市大学）；University of Siena（锡耶纳大学）；Université Côte d’Azur（蔚蓝海岸大学）；Rice University（莱斯大学）
神经符号计算现在已经成为学术和工业研究实验室感兴趣的主题。图神经网络在关系和符号领域有着广泛的应用，在组合优化、约束满足、关系推理等科学领域有着广泛的应用。一般来说，需要改进人工智能系统的可解释性，可解释性和信任度，这需要有原则的方法，正如神经符号计算所建议的那样。在本文中，我们回顾了使用GNN作为神经符号计算模型的最新技术。这包括GNN在几个领域的应用，以及它与神经符号计算当前发展的关系。
2021-06-12 cs.AI cs.CL cs.LG
Foundations and modelling of dynamic networks using Dynamic Graph Neural Networks: A survey
University of Technology Sydney（悉尼科技大学）
动态网络被广泛应用于各个领域，包括社会网络分析、推荐系统和流行病学。将复杂网络表示为随时间变化的结构，使网络模型不仅可以利用结构模式，还可以利用时间模式。然而，动态网络文学来源于不同的领域，使用不一致的术语，这是具有挑战性的导航。与此同时，图神经网络（GNN）近年来因其在一系列网络科学任务（如链接预测和节点分类）上表现良好的能力而受到广泛关注。尽管图神经网络的流行和动态网络模型的证明的好处，有很少关注动态网络的图神经网络。为了解决这一事实所带来的挑战，这项研究跨越不同的领域，以及调查动态图神经网络，这项工作分为两个主要部分。首先，为了解决动态网络术语的模糊性，我们建立了一个动态网络的基础，具有一致的，详细的术语和符号。其次，我们提出了一个全面的调查动态图神经网络模型使用所提出的术语
2021-06-13 cs.LG cs.SI stat.ML
Survey on Graph Neural Network Acceleration: An Algorithmic Perspective
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Monash University（莫纳什大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
图神经网络（GNNs）是近年来的研究热点，并在各种应用中得到广泛应用。然而，随着更庞大的数据和更深入的模型的使用，毫不奇怪，迫切需要加速GNN以提高执行效率。在本文中，我们从算法的角度对GNNs的加速方法进行了全面的调查。我们首先提出了一个新的分类法，现有的加速方法分为五类。在分类的基础上，系统地讨论了这些方法，并强调了它们之间的相互关系。接下来，我们从这些方法的效率和特点方面进行了比较。最后，我们对未来的研究提出了一些有希望的前景。
2022-04-24 cs.AI cs.LG
The Expressive Power of Graph Neural Networks: A Survey
College of Systems Engineering, National University of Defense Technology（国防科技大学系统工程学院）
本文首次综述不同定义下增强图神经网络表达能力的模型，并按图特征、图拓扑和 GNN 架构增强三类系统梳理相关工作。
2025-01-10 cs.LG cs.SI
Neural Network Quantization for Efficient Inference: A Survey
University of California, San Diego（加州大学圣地亚哥分校）
随着神经网络变得越来越强大，人们越来越希望将其部署在现实世界中;然而，神经网络的能力和准确性在很大程度上取决于其深度和复杂性，这使得它们难以部署，特别是在资源受限的设备中。最近出现了神经网络量化，以满足通过降低网络的精度来减小神经网络的尺寸和复杂性的需求。有了更小更简单的网络，就有可能在目标硬件的约束下运行神经网络。本文综述了近十年来发展起来的许多神经网络量化技术。在对神经网络量化技术进行综述和比较的基础上，提出了该领域未来的研究方向。
2023-01-18 cs.LG
Neural Tangent Kernel: A Survey
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Huawei Technologies（华为技术有限公司）
一项开创性的工作[Jacot等人，2018]证明了在特定参数化下训练神经网络等同于执行特定的内核方法，因为宽度趋于无穷大。这种等价性为将核方法的丰富文献的结果应用于更难处理的神经网络开辟了一个有希望的方向。本调查涵盖了核心收敛的关键成果，宽度趋于无穷大，有限宽度的校正，应用程序，并讨论了相应的方法的局限性。
2022-08-29 cs.LG
New Designed Loss Functions to Solve Ordinary Differential Equations with Artificial Neural Network
Imperial College London（帝国理工学院）
研究了用人工神经网络（ANN）求解微分方程（DE）的方法，并构造了既满足微分方程又满足DE的初边值条件的损失函数。第二节将损失函数推广到$n^\text{th}$阶常微分方程。其他的构造方法在第3节中进行了研究，并应用于三个不同的模型，以评估其有效性。
2022-12-29 cs.LG
A Survey on Neural-symbolic Learning Systems
Jilin University（吉林大学）；Queen’s University Belfast（贝尔法斯特女王大学）；Griffith University（格里菲斯大学）
本文综述了神经符号学习系统的研究进展，指出结合神经系统的感知能力与符号系统的认知能力可弥补各自缺陷，并从挑战、方法、应用和未来方向四个视角为该新兴领域提供了全面概述。
2023-06-25 cs.LG
Similarity of Neural Network Models: A Survey of Functional and Representational Measures
University of Passau（帕绍大学）；University of Mannheim（曼海姆大学）；RWTH Aachen University（亚琛工业大学）；GESIS - Leibniz Institute for the Social Sciences（GESIS莱布尼茨社会科学研究所）；Complexity Science Hub Vienna（维也纳复杂性科学中心）
该综述梳理了神经网络相似性度量的表征与功能两大互补视角，介绍现有方法、总结其性质与关联并指出开放问题，为相关系统研究奠定基础。
2025-04-09 cs.LG
Toward Large-scale Spiking Neural Networks: A Comprehensive Survey and Future Directions
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文综述了深度脉冲神经网络的学习方法与网络架构，重点比较新兴Spiking Transformers，并探讨构建高能效大规模SNNs的未来方向。
2024-08-19 cs.LG
Neural relation extraction: a survey
Huawei Turkey Research and Development Center（华为土耳其研发中心）；Ford Otosan（福特奥托桑）；Bogazici University（海峡大学）；Yildiz Technical University（伊尔迪兹技术大学）
神经关系抽取使用深度学习方法从非结构化文本中发现实体之间的语义关系。本文对基于神经网络的关系抽取方法进行了综述。我们讨论了现有研究的优势和不足之处，并探讨了这一领域的其他研究方向和改进思路。
2020-06-23 cs.CL cs.LG
Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey
LG Electronics（LG电子）
随着卷积神经网络（CNN）模型大小不断增加的总体趋势，模型压缩和加速技术对于在边缘设备上部署这些模型变得至关重要。在本文中，我们提供了一个全面的调查修剪，一个主要的压缩策略，从CNN模型中删除非关键或冗余的神经元。该调查涵盖了修剪的总体动机，不同的策略和标准，它们的优点和缺点，以及主要修剪技术的汇编。最后，我们讨论了修剪的替代方案以及模型压缩社区目前面临的挑战。
2020-05-08 cs.LG stat.ML
A Survey on Neural Network Language Models
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）
语言模型作为自然语言处理（NLP）系统的核心组成部分，能够提供词的表示和词序列的概率指示。神经网络语言模型克服了维数灾难，提高了传统语言模型的性能。本文对NNLM进行了综述。首先介绍了经典NNLM的结构，然后介绍和分析了NNLM的一些主要改进。我们总结和比较语料库和工具包的NNLM。最后，对NNLM的研究方向进行了讨论。
2019-06-13 cs.CL cs.LG
A Survey of Neural Trees
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Zhejiang Lab（之江实验室）
神经网络（NN）和决策树（DT）都是机器学习的流行模型，但具有相互排斥的优点和局限性。为了实现这两个世界的最佳效果，提出了各种方法来显式或隐式地集成NN和DT。在这项调查中，这些方法被组织在一个学校，我们称之为神经树（NT）。本调查的目的是提出一个全面的审查NT，并试图确定他们如何提高模型的可解释性。我们首先提出了一个彻底的分类NTs，表示逐步整合和共同进化的NN和DT。之后，我们分析NT的可解释性和性能，并提出可能的解决方案，其余的挑战。最后，本次调查的结论与其他考虑因素，如条件计算和有前途的方向对这一领域的讨论。本调查中审查的论文列表及其相应的代码可在以下网站获得：https://github.com/zju-vipa/awesome-neural-trees
2022-09-07 cs.AI cs.LG
Verification for Machine Learning, Autonomy, and Neural Networks Survey
本调查概述了自主系统的验证技术，重点是安全关键的自主网络物理系统（CPS）及其子组件。CPS中的自主性是通过人工智能（AI）和机器学习（ML）的最新进展来实现的，这些进步通过诸如深度神经网络（DNN）之类的方法来实现，这些方法嵌入在所谓的学习使能组件（LEC）中，完成从分类到控制的任务。最近，形式化方法和形式化验证社区已经开发出方法来表征这些LEC中的行为，最终目标是形式化验证LEC的规范，本文对这些方法进行了综述。
2018-10-03 cs.AI cs.LG
A Survey of Supernet Optimization and its Applications: Spatial and Temporal Optimization for Neural Architecture Search
KAIST AI（韩国科学技术院人工智能学院）
本调查的重点是分类和评估神经架构搜索（NAS）领域的超网优化方法。超网优化涉及训练单个过参数化网络，该网络包含所有可能的网络架构的搜索空间。该调查分析了超网优化方法的基础上，他们的空间和时间优化的方法。空间优化涉及优化超网及其子系统的架构和参数，而时间优化涉及提高从超网选择架构的效率。这些方法在各种任务和设置，包括可转移性，领域泛化，和Transformer模型的优点，局限性和潜在的应用进行了讨论。
2023-02-07 cs.CV cs.LG
An Empirical Survey of Data Augmentation for Time Series Classification with Neural Networks
Kyushu University（九州大学）
近年来，深度人工神经网络在模式识别方面取得了许多成功。这一成功的部分原因可以归因于对大数据的依赖，以提高泛化能力。然而，在时间序列识别领域，许多数据集往往非常小。解决该问题的一种方法是通过使用数据增强。在本文中，我们调查的数据增强技术的时间序列和它们的应用与神经网络的时间序列分类。我们提出了一个分类法，并概述了四个家庭的时间序列数据增强，包括基于变换的方法，模式混合，生成模型和分解方法。此外，我们经验性地评估了12种时间序列数据增强方法在128个时间序列分类数据集上使用6种不同类型的神经网络。通过研究结果，我们能够分析每种数据增强方法的特点、优缺点和建议。本调查的目的是帮助在选择时间序列数据增强的神经网络的应用。
2021-07-02 cs.LG stat.ML
Topological Understanding of Neural Networks, a survey
Texas A&M University（德州农工大学）
我们来看看神经网络的内部结构，它通常被视为一个黑匣子。最简单和最容易理解的事情是看一个二进制分类，并试图理解神经网络采取的方法。我们回顾了不同的激活函数的意义，与之相关的网络结构类型，以及一些经验数据。我们发现了一些有趣的观察结果，并有可能在这些想法的基础上验证真实数据集的过程。我们提出了一些可能的实验，期待在三个不同的方向。
2023-01-23 cs.LG math.AT
Dynamic Neural Network Architectural and Topological Adaptation and Related Methods -- A Survey
University of Vienna（维也纳大学）
由于架构复杂性和数据集大小的稳步增加，深度神经网络（DNN）中的训练和推理已经导致用于减少DNN训练和推理的时间和空间要求的策略的发展，这在训练发生在资源受限的计算环境中或推理是时间关键应用的一部分的场景中特别重要。在本次调查中，我们的目标是提供一个总体概述和分类的国家的最先进的（SOTA）的技术，以减少DNN的训练和推理时间和空间复杂度，特别是侧重于架构的适应。
2021-07-28 cs.AI cs.LG
A Survey on Dynamic Neural Networks for Natural Language Processing
University of California, San Diego（加州大学圣地亚哥分校）
有效地缩放大型Transformer模型是自然语言处理最新进展的主要驱动力。动态神经网络作为一个新兴的研究方向，能够通过基于输入动态地调整其计算路径来扩展神经网络，其计算量和时间都呈次线性增长。动态神经网络可能是预训练语言模型参数数量不断增长的一个有前途的解决方案，它允许使用数万亿参数进行模型预训练，并在移动设备上进行更快的推理。本文综述了自然语言处理中三种类型的动态神经网络的研究进展：略读、混合专家模型和提前退出。我们还强调了当前动态神经网络的挑战和未来的研究方向。
2023-02-24 cs.AI cs.CL cs.LG
Object Recognition Using Deep Neural Networks: A Survey
IIT Kanpur（印度理工学院坎普尔分校）；Pace University（佩斯大学）
使用深度神经网络识别物体是一个活跃的研究领域，在过去几年中取得了许多突破。本文试图说明这一领域的进展。本文简要介绍了神经网络的研究历史，并介绍了该领域的一些最新进展。最近开发的神经网络算法的性能在基准数据集已制成表格。最后给出了该领域的一些应用。
2014-12-10 cs.CV cs.LG cs.NE
Survey of Dropout Methods for Deep Neural Networks
University of Toronto（多伦多大学）
丢弃方法是一种用于神经网络训练或推理的随机技术，已经产生了重大的研究兴趣，并广泛应用于实践。它们已成功地应用于神经网络正则化、模型压缩以及神经网络输出不确定性的度量。虽然最初是针对密集神经网络层制定的，但最近的进展使得丢弃方法也适用于卷积和递归神经网络层。本文总结了辍学方法的历史，他们的各种应用，以及当前的研究兴趣。重要的建议方法进行了详细说明。
2019-10-25 cs.AI cs.LG cs.NE
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）
使机器能够阅读和理解自然语言文档，以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来，深度学习的普及和大规模数据集的建立，都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器，并介绍了一些经典的模型，分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
A Survey on Low-Resource Neural Machine Translation
Microsoft Research Asia（微软亚洲研究院）
神经方法已经在机器翻译上实现了最先进的准确性，但是遭受收集大规模并行数据的高成本。因此，已经对具有非常有限的并行数据的神经机器翻译（NMT）进行了大量研究，即，低资源配置。本文综述了低资源的NMT，并根据其使用的辅助数据将相关工作分为三类：（1）利用源语言和/或目标语言的单语数据，（2）利用辅助语言的数据，（3）利用多模态数据。我们希望我们的调查能够帮助研究人员更好地了解该领域并激励他们设计更好的算法，并帮助行业从业者为他们的应用选择合适的算法。
2021-07-09 cs.CL cs.LG
Hyperbolic Deep Neural Networks: A Survey
University of Oulu（奥卢大学）
近年来，双曲空间中的深度表示学习因其对具有层次结构的知识图谱或同义词层次等数据的建模能力而受到越来越多的关注。在本文中，我们将该模型称为双曲深度神经网络。这样的双曲神经结构可能导致非常紧凑的模型，比欧几里得空间中的模型具有更多的物理可解释性。为了促进未来的研究，本文对双曲深度神经网络构建中的神经组件以及双曲空间的领先深度方法的推广进行了一致和全面的文献综述。它还介绍了围绕几个公开数据集上的各种机器学习任务的当前应用，以及有见地的观察和识别开放问题和有前途的未来方向。
2021-02-17 cs.CV cs.LG
A survey on recently proposed activation functions for Deep Learning
人工神经网络（ANN），通常被称为神经网络，是一类机器学习算法，并且已经取得了广泛的成功，其灵感来自于人类大脑的生物结构。神经网络具有从数据中学习复杂函数近似的能力，因此具有固有的强大功能。这种泛化能力已经能够影响涉及图像识别、语音识别、自然语言处理等的多学科领域。激活函数是神经网络的重要组成部分。它们定义了给定一组输入的网络中一个节点的输出。本综述讨论了神经网络中激活函数的主要概念，包括：深度神经网络简介，什么是激活函数及其如何在神经网络中使用的总结，它们最常见的属性，不同类型的激活函数，激活函数面临的一些挑战，限制和替代解决方案，最后的评论。
2022-04-07 cs.AI cs.LG
Analysis Methods in Neural Language Processing: A Survey
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Harvard School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）
近年来，自然语言处理领域取得了令人瞩目的进展，神经网络模型取代了许多传统系统。已经提出了大量的新模型，其中许多被认为是不透明的，相比之下，他们的功能丰富的同行。这促使研究人员以新颖且更细粒度的方式分析、解释和评估神经网络。在这篇综述论文中，我们回顾了神经语言处理中的分析方法，根据突出的研究趋势对其进行分类，突出现有的局限性，并指出未来工作的潜在方向。
2019-01-14 cs.CL cs.LG cs.NE
A Survey on Deep Neural Networks in Collaborative Filtering Recommendation Systems
Center for Artificial Intelligence and Technology（人工智能与技术中心）；Faculty of Information Science and Technology（信息科学与技术学院）；The National University of Malaysia（马来西亚国立大学）
本文综述DNN在协同过滤推荐中的应用，梳理基础原理、模型类别、评估协议、辅助信息及未来挑战。
2024-12-02 cs.AI cs.LG
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology（天津科技大学）
本文综述了基于强化学习的神经架构搜索方法，梳理其整体发展、改进与变体，重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
Relational Composition in Neural Networks: A Survey and Call to Action
Harvard University（哈佛大学）；Google（谷歌公司）
本文综述神经网络中的关系组合机制，分析其对可解释特征搜索的影响，并提出实证研究方向以理解结构化数据表示。
2024-07-19 cs.AI cs.LG
Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
深度神经网络通过利用大量的训练数据，在许多不同的问题设置中获得最先进的结果。然而，收集、存储和--在监督学习的情况下--标记数据是昂贵和耗时的。此外，评估网络的泛化能力或预测在输入变换下推断的输出如何变化是复杂的，因为网络通常被视为黑盒。这两个问题都可以通过将先验知识结合到神经网络中来缓解。受卷积神经网络在计算机视觉任务中的成功启发，一种有前途的方法是结合关于问题的对称几何变换的知识来解决，以可预测的方式影响输出。这有望提高数据效率和更可解释的网络输出。在这篇综述中，我们试图对将几何先验知识引入神经网络的不同方法进行简要概述。此外，我们将这些方法与自动驾驶的3D目标检测相连接，我们希望在应用这些方法时获得有希望的结果。
2023-03-03 cs.CV cs.LG
Demystifying Deep Neural Networks Through Interpretation: A Survey
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
现代深度学习算法倾向于优化客观度量，例如最小化训练数据集上的交叉熵损失，以便能够学习。问题是，单一的度量是对现实世界任务的不完整描述。单一的度量无法解释算法为什么会学习。当一个错误发生时，缺乏可解释性会导致理解和修复错误的困难。最近，有工作做，以解决可解释性的问题，以提供对神经网络的行为和思维过程的见解。这些工作对于识别潜在的偏差和确保算法的公平性以及预期的性能是很重要的。
2021-01-05 cs.AI cs.LG
Survey on Large Scale Neural Network Training
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Inria（法国国家信息与自动化研究所）；University of Lille（里尔大学）；University of Bordeaux（波尔多大学）；Sber AI（俄罗斯联邦储蓄银行人工智能研究院）
现代深度神经网络（DNN）需要大量的内存来存储训练过程中的权重、激活和其他中间张量。因此，许多模型不适合一个GPU设备，或者只能使用较小的每GPU批量大小进行训练。本调查提供了一个系统的概述，使更有效的DNN培训的方法。我们分析技术，节省内存，并充分利用计算和通信资源的架构与一个或几个GPU。我们总结了策略的主要类别，并在类别内和类别之间比较策略。随着文献中提出的方法，我们讨论了可用的实现。
2022-02-21 cs.AI cs.LG
Neural Network Libraries: A Deep Learning Framework Designed from Engineers' Perspectives
Sony Group Corporation（索尼集团公司）
虽然存在过多的深度学习工具和框架，但该领域快速增长的复杂性带来了新的需求和挑战，例如更灵活的网络设计，分布式设置的快速计算以及不同工具之间的兼容性。在本文中，我们介绍了神经网络库（nnabla.org），这是一个从工程师角度设计的深度学习框架，强调可用性和兼容性是其核心设计原则。我们详细阐述了我们的每一个设计原则和它的优点，并通过实验验证我们的尝试。
2021-06-21 cs.CV cs.LG
Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks
Czech Technical University in Prague（布拉格捷克理工大学）
本文针对神经网络激活函数缺乏综合综述的问题，对过去三十年提出的400种激活函数进行了最大规模的系统化梳理与溯源，以避免重复研究并更新对该函数家族的理解。
2024-02-14 cs.LG cs.NE
From Neural Activations to Concepts: A Survey on Explaining Concepts in Neural Networks
University of Hamburg（汉堡大学）
本文综述了神经网络中概念解释的近期方法，探讨了概念在学习与推理之间的桥梁作用，并指出其对实现基于可解释概念的神经符号人工智能具有重要意义。
2024-05-03 cs.AI cs.CL cs.CV
Deep Model Merging: The Sister of Neural Network Interpretability -- A Survey
University of Chicago（芝加哥大学）；Colorado School of Mines（科罗拉多矿业学院）；Argonne National Laboratory（阿贡国家实验室）
该综述从损失景观几何视角梳理模型融合研究，提炼出损失景观的四大几何特征，指出模型融合对表征结构的洞见可服务于可解释性与鲁棒性，并提出交叉研究新方向。
2025-03-21 cs.AI cs.LG
Bayesian Learning for Neural Networks: an algorithmic survey
Aarhus University（奥胡斯大学）
在过去的十年里，人们对贝叶斯学习的兴趣越来越大。然而，除了将理论转化为实际实现的复杂性之外，该主题的技术性和其中涉及的众多成分限制了贝叶斯学习范式的使用，阻止了其在不同领域和应用中的广泛采用。这个独立的调查吸引并向读者介绍了神经网络的贝叶斯学习的原理和算法。它从一个可访问的，实用的算法的角度介绍了这个主题。在对贝叶斯神经网络进行一般性介绍后，我们讨论并提出了贝叶斯推断的标准和最新方法，重点是依赖于变分推断和使用自然梯度的解决方案。我们还讨论了使用流形优化作为贝叶斯学习的最先进方法。我们研究的所有讨论的方法的特性，并提供伪代码的实现，注意实际的方面，如计算的梯度。
2023-01-31 cs.LG stat.ML
A Multiple Classifier Approach for Concatenate-Designed Neural Networks
Macao Polytechnic Institute（澳门理工学院）
本文介绍了一种多分类器方法来提高级联设计的神经网络（如ResNet和DenseNet）的性能，目的是减轻最终分类器的压力。我们给出了分类器的设计，它收集网络集合之间产生的特征，并给出了分类器的组成层和激活函数，以计算每个分类器的分类得分。我们使用L2归一化方法来获得分类器得分，而不是Softmax归一化。我们还确定的条件，可以提高收敛。实验结果表明，所提出的分类器能够显著提高分类器的准确率，并且该方法不仅具有比原始模型更好的性能，而且具有更快的收敛速度。此外，我们的分类器是通用的，可以应用于所有分类相关的级联设计的网络模型。
2021-01-14 cs.LG cs.NE
A Survey of Complex-Valued Neural Networks
Prairie View A&M University（普雷里维尤农工大学）；Texas A&M University System（得克萨斯农工大学系统）
基于人工神经网络（ANN）的机器学习模型，特别是深度学习模型，已经广泛应用于计算机视觉、信号处理、无线通信和许多其他领域，其中复数自然地或通过设计出现。然而，目前大多数ANN和机器学习框架的实现都使用实数而不是复数。人们越来越感兴趣的是使用复数构建ANN，并探索所谓的复值神经网络（CVNN）相对于实值神经网络的潜在优势。在本文中，我们讨论了最近的发展，通过执行一个调查的工作，在文献中的CVNNs。具体而言，各种CVNN的激活函数，学习和优化，输入和输出表示，以及它们在任务中的应用，如信号处理和计算机视觉方面的详细审查提供，随后讨论了一些相关的挑战和未来的研究方向。
2021-01-28 cs.LG stat.ML
A Survey of Safety and Trustworthiness of Deep Neural Networks: Verification, Testing, Adversarial Attack and Defence, and Interpretability
University of Liverpool（利物浦大学）；University of Oxford（牛津大学）；Lancaster University（兰卡斯特大学）；Defence Science and Technology Laboratory (Dstl)（国防科学技术实验室）；Queen’s University Belfast（贝尔法斯特女王大学）
在过去的几年里，深度神经网络（DNN）在几个长期任务上实现了人类水平的性能方面取得了重大进展。随着DNN在各种应用程序中的广泛部署，公众对其安全性和可信度的担忧已经提出，特别是在广泛报道涉及自动驾驶汽车的致命事故之后。解决这些问题的研究特别活跃，过去几年发表了大量论文。这篇调查论文对当前使DNN安全可信的研究工作进行了回顾，重点关注四个方面：验证，测试，对抗攻击和防御以及可解释性。我们总共调查了202篇论文，其中大部分是在2017年之后发表的。
2020-05-31 cs.AI cs.LG
Combining Neural Architecture Search and Automatic Code Optimization: A Survey
IBM Research Europe（IBM欧洲研究院）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Université Polytechnique Hauts-de-France（上法兰西理工大学）
本文综述了将硬件感知神经架构搜索（HW-NAS）与自动代码优化（ACO）相结合的研究，提出二者独立执行存在次优性，并系统梳理了硬件感知神经架构与编译器优化协同搜索（NACOS）这一联合优化框架的原理与相关工作。
2024-08-07 cs.LG cs.PL
Adaptive Physics-informed Neural Networks: A Survey
Institute for Artificial Intelligence, University of Stuttgart（斯图加特大学人工智能研究所）；Robert Bosch GmbH（罗伯特·博世有限公司）；IMPRS-IS（国际研究生学院智能系统（IMPRS-IS））；NEC Labs Europe（NEC欧洲实验室）；SimTech（仿真技术研究所（SimTech））
本综述针对物理信息神经网络（PINNs）收敛性差、PDE参数变化需重优化的局限，梳理了基于迁移学习与元学习的改进方法，明确了未来研究方向以推动其广泛应用。
2025-03-23 cs.AI cs.LG
Bayesian Neural Networks: An Introduction and Survey
Queensland University of Technology（昆士兰理工大学）
本文介绍贝叶斯神经网络及其实现方法，比较不同近似推断方法，探讨未来研究改进方向。
2026-04-18 cs.LG stat.ML
Topological Data Analysis for Neural Network Analysis: A Comprehensive Survey
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
本综述全面探讨了拓扑数据分析（TDA）在神经网络分析中的应用，利用持久同调和Mapper等工具，从四大领域系统梳理了如何通过拓扑信息分析网络的架构、决策边界、内部表示及训练动力学，并总结了其在泛化能力、对抗检测和模型选择等方面的实际意义与未来挑战。
2024-01-03 cs.LG math.AT
Ensemble Convolutional Neural Networks for Mode Inference in Smartphone Travel Survey
Concordia University（康考迪亚大学）；Ryerson University（瑞尔森大学）
我们开发了集成卷积神经网络（CNN）来对收集的出行数据的交通模式进行分类，这些数据是加拿大蒙特利尔大规模智能手机出行调查的一部分。我们提出的集成库由一系列具有不同超参数值和CNN架构的CNN模型组成。在我们的最终模型中，我们使用“平均投票”、“多数投票”和“最优权重”方法组合了CNN模型的输出。此外，我们利用集成库部署一个随机森林模型作为元学习者。以随机森林为元学习器的集成方法的准确率为91.8%，超过了其他三种集成组合方法，以及文献中报道的其他可比模型。“多数投票”和“最优权重”组合方法的预测准确率约为89%，而“平均投票”的准确率仅为85%。
2019-04-18 cs.LG stat.ML
A Survey on Methods and Theories of Quantized Neural Networks
University of California, San Diego（加州大学圣地亚哥分校）
深度神经网络是许多现实世界任务的最先进方法，例如计算机视觉，自然语言处理和语音识别。尽管很受欢迎，但深度神经网络也因在训练和推理过程中消耗大量内存和耗尽设备电池寿命而受到批评。这使得很难在具有严格资源约束的移动或嵌入式设备上部署这些模型。量化被认为是满足深度神经网络模型所需的极端内存要求的最有效方法之一。量化表示不是采用32位浮点格式来表示权重，而是使用更紧凑的格式（如整数甚至二进制数）来存储权重。尽管预测性能可能下降，量化提供了一个潜在的解决方案，大大减少了模型的大小和能量消耗。在这篇综述中，我们对量化神经网络的不同方面进行了全面的回顾。最后讨论了量化神经网络目前面临的挑战和发展趋势。
2018-12-16 cs.LG cs.NE stat.ML
Neural Attention Models in Deep Learning: Survey and Taxonomy
University of Campinas（坎皮纳斯大学）
注意力是一种唤醒状态，能够通过选择性地专注于一条信息而忽略其他可感知的信息来处理人类有限的处理瓶颈。几十年来，注意力的概念和功能已经在哲学、心理学、神经科学和计算机领域得到了研究。目前，这一特性已经在深度神经网络中得到了广泛的探索。许多不同的神经注意力模型现在已经可用，并且在过去六年中一直是一个非常活跃的研究领域。从注意力的理论观点出发，本调查对主要的神经注意力模型进行了批判性分析。在这里，我们提出了一个与深度学习之前的理论方面相印证的分类法。我们的分类法提供了一个组织结构，提出新的问题，并构建现有的注意力机制的理解。特别是，来自心理学和神经科学经典研究的17个标准，制定了定性比较和批判性分析的51个主要模型上发现的一组650多篇论文进行了分析。此外，我们还强调了一些尚未探索的理论问题，包括关于生物相容性的讨论，突出当前的研究趋势，并为未来提供见解。
2021-12-11 cs.AI cs.LG
