Meta-learning in healthcare: A survey
Emory University（埃默里大学）；University of Tehran（德黑兰大学）；University of New England（新英格兰大学）；Emory University School of Medicine（埃默里大学医学院）
该综述聚焦医疗领域元学习应用，梳理其理论基础与核心方法，按多/单任务、多/少样本分类调研相关研究，分析现有挑战与潜在方案并给出未来展望，为医疗场景下的元学习应用提供参考。
2024-06-08 cs.AI cs.LG
Meta Learning for Natural Language Processing: A Survey
National Taiwan University（国立台湾大学）；Amazon AI（亚马逊人工智能）；University of Stuttgart（斯图加特大学）
深度学习已经成为自然语言处理领域的主流技术。然而，这些技术需要许多标记的数据，并且跨领域的通用性较低。元学习是机器学习中一个新兴的研究领域，旨在研究如何更好地学习学习算法。这些方法旨在从各个方面改进算法，包括数据效率和泛化能力。方法的有效性在许多NLP任务中得到了证实，但在NLP中还没有对这些方法进行系统的调查，这阻碍了更多的研究者加入这一领域。我们这篇调查论文的目标是为研究人员提供NLP中相关元学习作品的指针，并吸引NLP社区更多的关注，以推动未来的创新。本文首先介绍了元学习的一般概念和常用的元学习方法。然后，我们总结了任务的建设，设置和应用元学习的各种NLP问题，并回顾了元学习在NLP社区的发展。
2022-07-02 cs.AI cs.CL cs.LG
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science（数据智能科学研究所）；Osaka University（大阪大学）
神经机器翻译（NMT）是一种基于深度学习的机器翻译方法，在大规模并行语料库可用的情况下，其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的，特定领域的语料库通常是稀缺的或根本不存在，因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法，对于特定领域的翻译非常重要。在本文中，我们给出了一个全面的调查，最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
A Survey on The Expressive Power of Graph Neural Networks
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
图神经网络（GNNs）是解决各种图学习问题的有效机器学习模型。尽管他们的经验成功，GNN的理论局限性已被揭示最近。因此，已经提出了许多GNN模型来克服这些限制。在本调查中，我们全面概述了GNN的表达能力以及GNN的可证明的强大变体。
2020-10-16 cs.LG stat.ML
Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey
LG Electronics（LG电子）
随着卷积神经网络（CNN）模型大小不断增加的总体趋势，模型压缩和加速技术对于在边缘设备上部署这些模型变得至关重要。在本文中，我们提供了一个全面的调查修剪，一个主要的压缩策略，从CNN模型中删除非关键或冗余的神经元。该调查涵盖了修剪的总体动机，不同的策略和标准，它们的优点和缺点，以及主要修剪技术的汇编。最后，我们讨论了修剪的替代方案以及模型压缩社区目前面临的挑战。
2020-05-08 cs.LG stat.ML
An Empirical Survey of Data Augmentation for Time Series Classification with Neural Networks
Kyushu University（九州大学）
近年来，深度人工神经网络在模式识别方面取得了许多成功。这一成功的部分原因可以归因于对大数据的依赖，以提高泛化能力。然而，在时间序列识别领域，许多数据集往往非常小。解决该问题的一种方法是通过使用数据增强。在本文中，我们调查的数据增强技术的时间序列和它们的应用与神经网络的时间序列分类。我们提出了一个分类法，并概述了四个家庭的时间序列数据增强，包括基于变换的方法，模式混合，生成模型和分解方法。此外，我们经验性地评估了12种时间序列数据增强方法在128个时间序列分类数据集上使用6种不同类型的神经网络。通过研究结果，我们能够分析每种数据增强方法的特点、优缺点和建议。本调查的目的是帮助在选择时间序列数据增强的神经网络的应用。
2021-07-02 cs.LG stat.ML
A Comprehensive Survey on Graph Neural Networks
University of Technology Sydney（悉尼科技大学）；Monash University（莫纳什大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
近年来，深度学习彻底改变了许多机器学习任务，从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常在欧几里得空间中表示。然而，有越来越多的应用程序，其中数据是从非欧几里德域生成的，并表示为对象之间具有复杂关系和相互依赖性的图形。图数据的复杂性给现有的机器学习算法带来了巨大的挑战。最近，出现了许多关于扩展图数据的深度学习方法的研究。在本调查中，我们提供了数据采掘和机器学习领域的图神经网络（GNN）的全面概述。我们提出了一种新的分类法，将最先进的图神经网络分为四类，即递归图神经网络，卷积图神经网络，图自动编码器，时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用，并总结了图神经网络的开源代码，基准数据集和模型评估。最后，我们提出了在这个快速发展的领域的潜在研究方向。
2019-12-04 cs.LG stat.ML
Neural Network Quantization for Efficient Inference: A Survey
University of California, San Diego（加州大学圣地亚哥分校）
随着神经网络变得越来越强大，人们越来越希望将其部署在现实世界中;然而，神经网络的能力和准确性在很大程度上取决于其深度和复杂性，这使得它们难以部署，特别是在资源受限的设备中。最近出现了神经网络量化，以满足通过降低网络的精度来减小神经网络的尺寸和复杂性的需求。有了更小更简单的网络，就有可能在目标硬件的约束下运行神经网络。本文综述了近十年来发展起来的许多神经网络量化技术。在对神经网络量化技术进行综述和比较的基础上，提出了该领域未来的研究方向。
2023-01-18 cs.LG
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London（伦敦玛丽女王大学）；American University of Beirut（贝鲁特美国大学）
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间，并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而，这种性能是基于静态图结构的假设，当数据随时间变化时，这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近，提出了各种时空图神经网络算法，并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题，包括算法，应用和开放挑战。
2023-02-11 cs.LG
Neural Tangent Kernel: A Survey
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Huawei Technologies（华为技术有限公司）
一项开创性的工作[Jacot等人，2018]证明了在特定参数化下训练神经网络等同于执行特定的内核方法，因为宽度趋于无穷大。这种等价性为将核方法的丰富文献的结果应用于更难处理的神经网络开辟了一个有希望的方向。本调查涵盖了核心收敛的关键成果，宽度趋于无穷大，有限宽度的校正，应用程序，并讨论了相应的方法的局限性。
2022-08-29 cs.LG
A Survey on Methods and Theories of Quantized Neural Networks
University of California, San Diego（加州大学圣地亚哥分校）
深度神经网络是许多现实世界任务的最先进方法，例如计算机视觉，自然语言处理和语音识别。尽管很受欢迎，但深度神经网络也因在训练和推理过程中消耗大量内存和耗尽设备电池寿命而受到批评。这使得很难在具有严格资源约束的移动或嵌入式设备上部署这些模型。量化被认为是满足深度神经网络模型所需的极端内存要求的最有效方法之一。量化表示不是采用32位浮点格式来表示权重，而是使用更紧凑的格式（如整数甚至二进制数）来存储权重。尽管预测性能可能下降，量化提供了一个潜在的解决方案，大大减少了模型的大小和能量消耗。在这篇综述中，我们对量化神经网络的不同方面进行了全面的回顾。最后讨论了量化神经网络目前面临的挑战和发展趋势。
2018-12-16 cs.LG cs.NE stat.ML
Neural Architecture Search: A Survey
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
过去几年，深度学习在图像识别、语音识别和机器翻译等各种任务上取得了显著进展。这一进展的一个关键方面是新颖的神经结构。目前采用的架构大多是由人类专家手动开发的，这是一个耗时且容易出错的过程。正因为如此，人们对自动神经结构搜索方法越来越感兴趣。我们提供了一个概述，现有的工作在这一领域的研究和分类，根据三个方面：搜索空间，搜索策略，和性能评估策略。
2019-04-26 cs.LG cs.NE stat.ML
Foundations and modelling of dynamic networks using Dynamic Graph Neural Networks: A survey
University of Technology Sydney（悉尼科技大学）
动态网络被广泛应用于各个领域，包括社会网络分析、推荐系统和流行病学。将复杂网络表示为随时间变化的结构，使网络模型不仅可以利用结构模式，还可以利用时间模式。然而，动态网络文学来源于不同的领域，使用不一致的术语，这是具有挑战性的导航。与此同时，图神经网络（GNN）近年来因其在一系列网络科学任务（如链接预测和节点分类）上表现良好的能力而受到广泛关注。尽管图神经网络的流行和动态网络模型的证明的好处，有很少关注动态网络的图神经网络。为了解决这一事实所带来的挑战，这项研究跨越不同的领域，以及调查动态图神经网络，这项工作分为两个主要部分。首先，为了解决动态网络术语的模糊性，我们建立了一个动态网络的基础，具有一致的，详细的术语和符号。其次，我们提出了一个全面的调查动态图神经网络模型使用所提出的术语
2021-06-13 cs.LG cs.SI stat.ML
On Interpretability of Artificial Neural Networks: A Survey
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
以人工深度神经网络（DNN）为代表的深度学习在处理文本、图像、视频、图形等重要领域取得了巨大成功，但DNN的黑箱性质已成为其在医疗诊断和治疗等关键任务应用中被广泛接受的主要障碍之一。由于深度学习的巨大潜力，解释神经网络最近吸引了许多研究关注。在本文中，我们全面的分类的基础上，我们系统地回顾了最近的研究在理解神经网络的机制，描述了可解释性的应用，特别是在医学中，并讨论了未来的可解释性研究的方向，如与模糊逻辑和脑科学。
2021-09-27 cs.AI cs.LG stat.ML
Neural relation extraction: a survey
Huawei Turkey Research and Development Center（华为土耳其研发中心）；Ford Otosan（福特奥托桑）；Bogazici University（海峡大学）；Yildiz Technical University（伊尔迪兹技术大学）
神经关系抽取使用深度学习方法从非结构化文本中发现实体之间的语义关系。本文对基于神经网络的关系抽取方法进行了综述。我们讨论了现有研究的优势和不足之处，并探讨了这一领域的其他研究方向和改进思路。
2020-06-23 cs.CL cs.LG
Approximation Power of Deep Neural Networks: an explanatory mathematical survey
Sandia National Laboratories（桑迪亚国家实验室）；University of New Mexico（新墨西哥大学）
本综述系统解释深度神经网络（前馈与残差）的逼近性质，分析其优于传统方法的条件，涵盖优化训练、稠密性及误差-复杂度分析，并引入新理论结果。
2024-12-16 cs.LG cs.NA math.NA
Survey of Image Based Graph Neural Networks
在这篇综述论文中，我们分析了基于图像的图神经网络，并提出了一个三步分类方法。我们首先使用Quickshift算法将图像转换为超像素，以便减少30%的输入数据。超像素随后用于生成区域邻接图。最后，将图通过最先进的图卷积神经网络以获得分类分数。我们还分析了图神经网络中的空间卷积滤波技术和谱卷积滤波技术。基于光谱的模型比基于空间的模型和经典的CNN性能更好，计算成本更低。
2021-06-11 cs.AI cs.CV cs.LG
A Survey on Neural Network Language Models
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）
语言模型作为自然语言处理（NLP）系统的核心组成部分，能够提供词的表示和词序列的概率指示。神经网络语言模型克服了维数灾难，提高了传统语言模型的性能。本文对NNLM进行了综述。首先介绍了经典NNLM的结构，然后介绍和分析了NNLM的一些主要改进。我们总结和比较语料库和工具包的NNLM。最后，对NNLM的研究方向进行了讨论。
2019-06-13 cs.CL cs.LG
A Survey on Neural-symbolic Learning Systems
Jilin University（吉林大学）；Queen’s University Belfast（贝尔法斯特女王大学）；Griffith University（格里菲斯大学）
本文综述了神经符号学习系统的研究进展，指出结合神经系统的感知能力与符号系统的认知能力可弥补各自缺陷，并从挑战、方法、应用和未来方向四个视角为该新兴领域提供了全面概述。
2023-06-25 cs.LG
A Survey of Neural Trees
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Zhejiang Lab（之江实验室）
神经网络（NN）和决策树（DT）都是机器学习的流行模型，但具有相互排斥的优点和局限性。为了实现这两个世界的最佳效果，提出了各种方法来显式或隐式地集成NN和DT。在这项调查中，这些方法被组织在一个学校，我们称之为神经树（NT）。本调查的目的是提出一个全面的审查NT，并试图确定他们如何提高模型的可解释性。我们首先提出了一个彻底的分类NTs，表示逐步整合和共同进化的NN和DT。之后，我们分析NT的可解释性和性能，并提出可能的解决方案，其余的挑战。最后，本次调查的结论与其他考虑因素，如条件计算和有前途的方向对这一领域的讨论。本调查中审查的论文列表及其相应的代码可在以下网站获得：https://github.com/zju-vipa/awesome-neural-trees
2022-09-07 cs.AI cs.LG
A Survey on Dynamic Neural Networks for Natural Language Processing
University of California, San Diego（加州大学圣地亚哥分校）
有效地缩放大型Transformer模型是自然语言处理最新进展的主要驱动力。动态神经网络作为一个新兴的研究方向，能够通过基于输入动态地调整其计算路径来扩展神经网络，其计算量和时间都呈次线性增长。动态神经网络可能是预训练语言模型参数数量不断增长的一个有前途的解决方案，它允许使用数万亿参数进行模型预训练，并在移动设备上进行更快的推理。本文综述了自然语言处理中三种类型的动态神经网络的研究进展：略读、混合专家模型和提前退出。我们还强调了当前动态神经网络的挑战和未来的研究方向。
2023-02-24 cs.AI cs.CL cs.LG
Verification for Machine Learning, Autonomy, and Neural Networks Survey
本调查概述了自主系统的验证技术，重点是安全关键的自主网络物理系统（CPS）及其子组件。CPS中的自主性是通过人工智能（AI）和机器学习（ML）的最新进展来实现的，这些进步通过诸如深度神经网络（DNN）之类的方法来实现，这些方法嵌入在所谓的学习使能组件（LEC）中，完成从分类到控制的任务。最近，形式化方法和形式化验证社区已经开发出方法来表征这些LEC中的行为，最终目标是形式化验证LEC的规范，本文对这些方法进行了综述。
2018-10-03 cs.AI cs.LG
Explainability in Graph Neural Networks: An Experimental Survey
University of New South Wales（新南威尔士大学）
图神经网络（GNNs）已经在各种应用领域中被广泛地开发用于图表示学习。然而，与所有其他神经网络模型类似，GNN也存在黑箱问题，因为人们无法理解其背后的机制。为了解决这个问题，已经提出了几种GNN可解释性方法来解释GNN做出的决策。在这次调查中，我们概述了最先进的GNN可解释性方法以及如何评估它们。此外，我们提出了一个新的评估指标，并进行了彻底的实验，比较GNN的可解释性方法在现实世界的数据集。我们还提出了GNN可解释性的未来方向。
2022-03-17 cs.AI cs.LG
Object Recognition Using Deep Neural Networks: A Survey
IIT Kanpur（印度理工学院坎普尔分校）；Pace University（佩斯大学）
使用深度神经网络识别物体是一个活跃的研究领域，在过去几年中取得了许多突破。本文试图说明这一领域的进展。本文简要介绍了神经网络的研究历史，并介绍了该领域的一些最新进展。最近开发的神经网络算法的性能在基准数据集已制成表格。最后给出了该领域的一些应用。
2014-12-10 cs.CV cs.LG cs.NE
Survey of Dropout Methods for Deep Neural Networks
University of Toronto（多伦多大学）
丢弃方法是一种用于神经网络训练或推理的随机技术，已经产生了重大的研究兴趣，并广泛应用于实践。它们已成功地应用于神经网络正则化、模型压缩以及神经网络输出不确定性的度量。虽然最初是针对密集神经网络层制定的，但最近的进展使得丢弃方法也适用于卷积和递归神经网络层。本文总结了辍学方法的历史，他们的各种应用，以及当前的研究兴趣。重要的建议方法进行了详细说明。
2019-10-25 cs.AI cs.LG cs.NE
A Survey of Supernet Optimization and its Applications: Spatial and Temporal Optimization for Neural Architecture Search
KAIST AI（韩国科学技术院人工智能学院）
本调查的重点是分类和评估神经架构搜索（NAS）领域的超网优化方法。超网优化涉及训练单个过参数化网络，该网络包含所有可能的网络架构的搜索空间。该调查分析了超网优化方法的基础上，他们的空间和时间优化的方法。空间优化涉及优化超网及其子系统的架构和参数，而时间优化涉及提高从超网选择架构的效率。这些方法在各种任务和设置，包括可转移性，领域泛化，和Transformer模型的优点，局限性和潜在的应用进行了讨论。
2023-02-07 cs.CV cs.LG
Explainable AI (XAI): A Systematic Meta-Survey of Current Challenges and Future Opportunities
Center for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德大学）
在过去的十年中，人工智能（AI）取得了重大进展，这导致算法被用于解决各种问题。然而，这一成功是通过增加模型复杂性和采用缺乏透明度的黑箱AI模型来实现的。为了满足这一需求，人们提出了可解释人工智能（XAI），以使人工智能更加透明，从而推动人工智能在关键领域的采用。虽然在文献中有几篇关于XAI主题的综述，确定了XAI的挑战和潜在的研究方向，但这些挑战和研究方向是分散的。因此，这项研究提出了一个系统的元调查的挑战和未来的研究方向在XAI组织在两个主题：（1）一般的挑战和研究方向在XAI和（2）的挑战和研究方向在XAI的基础上机器学习生命周期的阶段：设计，开发和部署。我们相信，我们的元调查有助于XAI文献，为XAI领域的未来探索提供指导。
2021-11-11 cs.AI cs.LG
Automated Design of Metaheuristic Algorithms: A Survey
Southern University of Science and Technology（南方科技大学）；Harbin Institute of Technology（哈尔滨工业大学）；Shaanxi Normal University（陕西师范大学）
本文综述了元启发式算法自动化设计的共同基础与代表性技术，涵盖设计空间、设计策略、性能评估策略和目标问题，旨在展示其超越人工设计的潜力。
2024-02-21 cs.LG cs.NE
Topological Understanding of Neural Networks, a survey
Texas A&M University（德州农工大学）
我们来看看神经网络的内部结构，它通常被视为一个黑匣子。最简单和最容易理解的事情是看一个二进制分类，并试图理解神经网络采取的方法。我们回顾了不同的激活函数的意义，与之相关的网络结构类型，以及一些经验数据。我们发现了一些有趣的观察结果，并有可能在这些想法的基础上验证真实数据集的过程。我们提出了一些可能的实验，期待在三个不同的方向。
2023-01-23 cs.LG math.AT
Dynamic Neural Network Architectural and Topological Adaptation and Related Methods -- A Survey
University of Vienna（维也纳大学）
由于架构复杂性和数据集大小的稳步增加，深度神经网络（DNN）中的训练和推理已经导致用于减少DNN训练和推理的时间和空间要求的策略的发展，这在训练发生在资源受限的计算环境中或推理是时间关键应用的一部分的场景中特别重要。在本次调查中，我们的目标是提供一个总体概述和分类的国家的最先进的（SOTA）的技术，以减少DNN的训练和推理时间和空间复杂度，特别是侧重于架构的适应。
2021-07-28 cs.AI cs.LG
Analysis Methods in Neural Language Processing: A Survey
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Harvard School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）
近年来，自然语言处理领域取得了令人瞩目的进展，神经网络模型取代了许多传统系统。已经提出了大量的新模型，其中许多被认为是不透明的，相比之下，他们的功能丰富的同行。这促使研究人员以新颖且更细粒度的方式分析、解释和评估神经网络。在这篇综述论文中，我们回顾了神经语言处理中的分析方法，根据突出的研究趋势对其进行分类，突出现有的局限性，并指出未来工作的潜在方向。
2019-01-14 cs.CL cs.LG cs.NE
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）
使机器能够阅读和理解自然语言文档，以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来，深度学习的普及和大规模数据集的建立，都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器，并介绍了一些经典的模型，分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
A Survey on Low-Resource Neural Machine Translation
Microsoft Research Asia（微软亚洲研究院）
神经方法已经在机器翻译上实现了最先进的准确性，但是遭受收集大规模并行数据的高成本。因此，已经对具有非常有限的并行数据的神经机器翻译（NMT）进行了大量研究，即，低资源配置。本文综述了低资源的NMT，并根据其使用的辅助数据将相关工作分为三类：（1）利用源语言和/或目标语言的单语数据，（2）利用辅助语言的数据，（3）利用多模态数据。我们希望我们的调查能够帮助研究人员更好地了解该领域并激励他们设计更好的算法，并帮助行业从业者为他们的应用选择合适的算法。
2021-07-09 cs.CL cs.LG
From Neural Activations to Concepts: A Survey on Explaining Concepts in Neural Networks
University of Hamburg（汉堡大学）
本文综述了神经网络中概念解释的近期方法，探讨了概念在学习与推理之间的桥梁作用，并指出其对实现基于可解释概念的神经符号人工智能具有重要意义。
2024-05-03 cs.AI cs.CL cs.CV
Graph Neural Network for Traffic Forecasting: A Survey
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）
交通预测是智能交通系统成功的关键。深度学习模型，包括卷积神经网络和递归神经网络，已被广泛应用于交通预测问题中，以对空间和时间依赖性进行建模。近年来，为了对交通系统中的图结构以及上下文信息进行建模，已经引入了图神经网络，并且在一系列交通预测问题中取得了最先进的性能。在本调查中，我们回顾了使用不同图神经网络（例如图卷积和图注意力网络）在各种交通预测问题（例如道路交通流量和速度预测、城市轨道交通系统中的客流预测以及乘车平台中的需求预测）中快速增长的研究主体。我们还为每个问题提供了一个全面的开放数据和源资源列表，并确定了未来的研究方向。据我们所知，本文是第一个全面的调查，探讨应用图神经网络的交通预测问题。我们还创建了一个公共GitHub存储库，其中将更新最新的论文，开放数据和源资源。
2022-02-22 cs.AI cs.LG
Hyperbolic Deep Neural Networks: A Survey
University of Oulu（奥卢大学）
近年来，双曲空间中的深度表示学习因其对具有层次结构的知识图谱或同义词层次等数据的建模能力而受到越来越多的关注。在本文中，我们将该模型称为双曲深度神经网络。这样的双曲神经结构可能导致非常紧凑的模型，比欧几里得空间中的模型具有更多的物理可解释性。为了促进未来的研究，本文对双曲深度神经网络构建中的神经组件以及双曲空间的领先深度方法的推广进行了一致和全面的文献综述。它还介绍了围绕几个公开数据集上的各种机器学习任务的当前应用，以及有见地的观察和识别开放问题和有前途的未来方向。
2021-02-17 cs.CV cs.LG
A survey on recently proposed activation functions for Deep Learning
人工神经网络（ANN），通常被称为神经网络，是一类机器学习算法，并且已经取得了广泛的成功，其灵感来自于人类大脑的生物结构。神经网络具有从数据中学习复杂函数近似的能力，因此具有固有的强大功能。这种泛化能力已经能够影响涉及图像识别、语音识别、自然语言处理等的多学科领域。激活函数是神经网络的重要组成部分。它们定义了给定一组输入的网络中一个节点的输出。本综述讨论了神经网络中激活函数的主要概念，包括：深度神经网络简介，什么是激活函数及其如何在神经网络中使用的总结，它们最常见的属性，不同类型的激活函数，激活函数面临的一些挑战，限制和替代解决方案，最后的评论。
2022-04-07 cs.AI cs.LG
A Survey on Deep Neural Networks in Collaborative Filtering Recommendation Systems
Center for Artificial Intelligence and Technology（人工智能与技术中心）；Faculty of Information Science and Technology（信息科学与技术学院）；The National University of Malaysia（马来西亚国立大学）
本文综述DNN在协同过滤推荐中的应用，梳理基础原理、模型类别、评估协议、辅助信息及未来挑战。
2024-12-02 cs.AI cs.LG
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology（天津科技大学）
本文综述了基于强化学习的神经架构搜索方法，梳理其整体发展、改进与变体，重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
Toward Automated Algorithm Design: A Survey and Practical Guide to Meta-Black-Box-Optimization
School of Computer Science and Engineering, South China University of Technology（计算机科学与工程学院，华南理工大学）；Nankai University（南开大学）；Hanyang University（翰阳大学）；Hong Kong Polytechnic University（香港理工大学）
本综述全面回顾了MetaBBO在自动化算法设计中的最新进展，系统分类了算法设计任务与学习方法，评估了代表性方法的性能，并提炼出增强泛化与学习效果的核心设计及未来方向。
2025-04-30 cs.LG cs.NE
A Survey on Graph Neural Networks for Knowledge Graph Completion
Indian Institute of Technology Delhi（印度理工学院德里分校）
知识图谱越来越多地用于各种下游任务，如问答和信息检索。然而，知识图谱往往是不完整的，从而导致性能不佳。因此，人们对知识库完成的任务很感兴趣。最近，图神经网络已被用于捕获固有地存储在这些知识图谱中的结构信息，并已被证明可以在各种数据集上实现SOTA性能。在这项调查中，我们了解所提出的方法的各种优点和缺点，并试图找到新的令人兴奋的研究问题，在这一领域，需要进一步调查。
2020-07-24 cs.AI cs.CL cs.LG
Artificial Intelligence for the Metaverse: A Survey
Kumoh National Institute of Technology（金乌国立理工大学）；Pusan National University（釜山国立大学）；Deakin University（迪肯大学）；University of Houston（休斯顿大学）
随着互联网从20世纪90年代到现在的大规模增长，各种创新技术已经被创造出来，为用户带来令人惊叹的体验，在网络空间中进行更多的虚拟互动。从社交网络到虚拟游戏世界，许多拥有数千种服务和应用的虚拟环境都是通过沉浸式体验和数字化转型开发的，但大多数都是不连贯的，而不是集成到一个平台中。在这种背景下，由Meta和universe组合而成的术语metaverse被引入，作为由许多新兴技术推动的共享虚拟世界，例如第五代网络和超越，虚拟现实和人工智能（AI）。在这些技术中，人工智能已经显示出处理大数据以增强沉浸式体验并使虚拟代理具有类似人类的智能的重要性。在这次调查中，我们做出了有益的努力，探索人工智能在虚拟实境的基础和发展中的作用。我们首先介绍了人工智能的初步概念，包括机器学习算法和深度学习架构，以及它在虚拟实境中的作用。然后，我们传达了一个全面的调查，基于人工智能的方法，涉及六个技术方面，有潜力的虚拟实境：自然语言处理，机器视觉，区块链，网络，数字孪生，神经接口，并成为潜在的虚拟实境。随后，研究了在虚拟世界中部署的几个AI辅助应用，如医疗保健、制造业、智能城市和游戏。最后，我们总结了本次调查的主要贡献，并为虚拟实境人工智能的未来研究方向。
2022-02-15 cs.AI cs.CY cs.LG
A Survey of Explainable Graph Neural Networks: Taxonomy and Evaluation Metrics
University of Technology Sydney（悉尼科技大学）
本文全面综述了可解释图神经网络的可解释性技术，基于所用方法对其进行分类，提供了常见性能评估指标，并指出了未来的研究方向。
2023-05-23 cs.AI cs.LG
Relational Composition in Neural Networks: A Survey and Call to Action
Harvard University（哈佛大学）；Google（谷歌公司）
本文综述神经网络中的关系组合机制，分析其对可解释特征搜索的影响，并提出实证研究方向以理解结构化数据表示。
2024-07-19 cs.AI cs.LG
Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
UFRGS（里约热内卢联邦大学）；City, University of London（伦敦城市大学）；University of Siena（锡耶纳大学）；Université Côte d’Azur（蔚蓝海岸大学）；Rice University（莱斯大学）
神经符号计算现在已经成为学术和工业研究实验室感兴趣的主题。图神经网络在关系和符号领域有着广泛的应用，在组合优化、约束满足、关系推理等科学领域有着广泛的应用。一般来说，需要改进人工智能系统的可解释性，可解释性和信任度，这需要有原则的方法，正如神经符号计算所建议的那样。在本文中，我们回顾了使用GNN作为神经符号计算模型的最新技术。这包括GNN在几个领域的应用，以及它与神经符号计算当前发展的关系。
2021-06-12 cs.AI cs.CL cs.LG
Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Lübeck（吕贝克大学）
深度神经网络通过利用大量的训练数据，在许多不同的问题设置中获得最先进的结果。然而，收集、存储和--在监督学习的情况下--标记数据是昂贵和耗时的。此外，评估网络的泛化能力或预测在输入变换下推断的输出如何变化是复杂的，因为网络通常被视为黑盒。这两个问题都可以通过将先验知识结合到神经网络中来缓解。受卷积神经网络在计算机视觉任务中的成功启发，一种有前途的方法是结合关于问题的对称几何变换的知识来解决，以可预测的方式影响输出。这有望提高数据效率和更可解释的网络输出。在这篇综述中，我们试图对将几何先验知识引入神经网络的不同方法进行简要概述。此外，我们将这些方法与自动驾驶的3D目标检测相连接，我们希望在应用这些方法时获得有希望的结果。
2023-03-03 cs.CV cs.LG
A Survey on Word Meta-Embedding Learning
University of Liverpool（利物浦大学）；Amazon（亚马逊）
元嵌入（ME）学习是一种新兴的方法，其试图在给定现有（源）词嵌入作为唯一输入的情况下学习更准确的词嵌入。由于ME学习能够以紧凑的方式整合来自多个源嵌入的语义，并且具有卓越的性能，因此ME学习在NLP从业者中很受欢迎。据我们所知，目前还没有关于ME学习的系统调查，本文试图填补这一需求。我们根据多个因素对ME学习方法进行分类，例如它们是否（a）在静态或上下文嵌入上操作，（b）以无监督的方式训练或（c）针对特定任务/域进行微调。此外，我们还讨论了现有ME学习方法的局限性，并强调了未来潜在的研究方向。
2022-04-25 cs.AI cs.CL cs.LG
Approximation Rates for Metaplectic Neural Networks
Johann Radon Institute of Computational and Applied Mathematics (RICAM)（约翰·拉东计算与应用数学研究所（RICAM））；Austrian Academy of Sciences（奥地利科学院）；University of Twente（特温特大学）；Università degli Studi di Torino（都灵大学）
该研究扩展巴伦空间概念并引入神经元坡涅特字典，证明其逼近界，构建对应深度网络架构，在含时薛定谔方程解的逼近任务中性能优于经典物理信息神经网络。
2026-08-11 cs.LG math.FA
Survey on Deep Neural Networks in Speech and Vision Systems
Old Dominion University（奥多明尼昂大学）；Tennessee State University（田纳西州立大学）
本综述综述了视觉和语音应用中最先进的深度神经网络架构、算法和系统。深度人工神经网络算法和架构的最新进展刺激了智能视觉和语音系统的快速创新和发展。随着大量传感器数据的可用性和用于处理和训练深度神经网络的云计算，以及移动和嵌入式技术的日益复杂性，下一代智能系统有望彻底改变个人和商业计算。本调查首先提供了一些迄今为止最成功的智能视觉和语音系统深度学习模型的背景和演变。概述了大规模的工业研究和开发工作，以强调智能视觉和语音系统的未来趋势和前景。强大而高效的智能系统需要在资源受限的硬件平台（如移动设备、机器人和汽车）中实现低延迟和高保真度。因此，本调查还总结了在硬件受限的平台上运行深度神经网络的关键挑战和最近的成功，即在有限的内存，电池寿命和处理能力内。最后，视觉和语音跨学科的新兴应用，如情感计算，智能交通和精准医疗进行了讨论。据我们所知，本文提供了一个最全面的调查在智能视觉和语音应用的最新发展，从软件和硬件系统的角度。许多使用深度神经网络的新兴技术显示出巨大的前景，将彻底改变未来视觉和语音系统的研究和开发。
2019-12-01 cs.CV cs.LG cs.NE
Neural Networks for Entity Matching: A Survey
Cognite（Cognite公司）；NTNU（挪威科技大学）
实体匹配是识别哪些记录引用相同的真实世界实体的问题。它已经被积极研究了几十年，并开发了各种不同的方法。即使在今天，它仍然是一个具有挑战性的问题，仍然有很大的改进余地。近年来，我们看到了基于深度学习技术的自然语言处理新方法的出现。在这篇综述中，我们介绍了神经网络是如何用于实体匹配的。具体来说，我们确定哪些步骤的实体匹配过程中现有的工作有针对性地使用神经网络，并提供了在每个步骤中使用的不同技术的概述。我们还讨论了与传统方法相比，深度学习在实体匹配中的贡献，并提出了用于实体匹配的深度神经网络的分类。
2021-05-31 cs.CL cs.DB cs.LG
A Survey on Neural Speech Synthesis
Microsoft Research Asia（微软亚洲研究院）
文本转语音（TTS）或语音合成，其目的是在给定文本的情况下合成可理解且自然的语音，是语音、语言和机器学习社区中的热门研究课题，并且在工业中具有广泛的应用。近年来，随着深度学习和人工智能的发展，基于神经网络的文语转换技术大大提高了合成语音的质量。在本文中，我们进行了全面的调查，神经TTS，旨在提供一个很好的理解，目前的研究和未来的趋势。我们重点介绍了神经TTS中的关键组件，包括文本分析，声学模型和声码器，以及几个高级主题，包括快速TTS，低资源TTS，鲁棒TTS，表达TTS和自适应TTS等。我们进一步总结了与TTS相关的资源（例如，数据集，开源实现），并讨论未来的研究方向。这项调查可以为学术研究人员和从事TTS工作的行业从业人员提供服务。
2021-07-23 cs.CL cs.LG cs.MM
Efficient Automation of Neural Network Design: A Survey on Differentiable Neural Architecture Search
IBISC（IBISC实验室）；Univ Evry（埃夫里大学）；Université Paris-Saclay（巴黎萨克雷大学）；Massachusetts Institute of Technology（麻省理工学院）
本文是聚焦可微神经网络架构搜索（DNAS）的综述，梳理该领域最新进展，提出基于挑战的新分类法，分析其成果与对NAS领域的影响，并给出未来研究方向。
2023-05-01 cs.AI cs.CV cs.LG
A Survey on Knowledge integration techniques with Artificial Neural Networks for seq-2-seq/time series models
近年来，随着大规模计算能力的出现和大量数据的可用性，深度神经网络已经能够在多个领域探索未知领域。但有时，由于数据不足，数据质量差，数据可能没有广泛覆盖该领域等原因，它们表现不佳。基于知识的系统利用专家知识做出决策并适当采取行动。这种系统在决策过程中保持可解释性。本文的重点是探索技术，将专家知识集成到深度神经网络的序列到序列和时间序列模型，以提高其性能和可解释性。
2020-08-13 cs.AI cs.CL cs.LG
Topic Modelling Meets Deep Neural Networks: A Survey
Monash University（莫纳什大学）
主题建模是近二十年来文本分析的一种成功技术。当主题建模遇到深层神经网络时，出现了一个新的且越来越受欢迎的研究领域，神经主题模型，开发了一百多个模型，并在神经语言理解中有广泛的应用，例如文本生成，摘要和语言模型。有必要总结研究进展，并讨论开放的问题和未来的方向。在本文中，我们为人工智能社区中感兴趣的研究人员提供了一个集中而全面的神经主题模型概述，以促进他们在这个快速发展的研究领域中导航和创新。据我们所知，我们是第一次审查集中在这个特定的主题。
2021-02-28 cs.CL cs.IR cs.LG
