Not All Attention Is Equal: A Quantitative Survey of the EEI Trade-off
本综述围绕注意力机制的效率-表达性-可解释性权衡，定量对比21种方法，梳理其多领域发展脉络，分析研究缺口并指明未来方向，支持粗粒度层级对比。
2026-08-18 cs.AI cs.LG
Visual Attention Methods in Deep Learning: An In-Depth Survey
University of South Australia（南澳大学）；Fayoum University（法尤姆大学）；King Fahad University of Petroleum and Minerals（法赫德国王石油与矿业大学）；SDAIA-KFUPM Joint Research Center for Artificial Intelligence（SDAIA-KFUPM人工智能联合研究中心）；University of Canberra（堪培拉大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Linkoping University（林雪平大学）；University of Western Australia（西澳大利亚大学）
本文对深度学习中的50种视觉注意力技术进行了深入综述，按突出特征分类并分析其原理、优缺点、公式与应用，同时讨论挑战并展望未来研究方向。
2024-05-05 cs.AI cs.CV cs.LG
Attention Deep Model with Multi-Scale Deep Supervision for Person Re-Identification
Tongji University（同济大学）；Xiamen University（厦门大学）
针对行人重识别中注意力机制易丢失特征、多尺度模型推理效率低的问题，提出仅训练阶段使用的反向注意力模块和带深度监督的多尺度层，在多个数据集上性能显著优于现有最优方法。
2020-10-22 cs.CV cs.LG
A survey on attention mechanisms for medical applications: are we moving towards better algorithms?
INESC TEC（葡萄牙系统与计算机工程研究所）；University of Porto（波尔图大学）
注意力机制在计算机视觉和自然语言处理的深度学习算法中的日益普及使得这些模型对其他研究领域具有吸引力。在医疗保健中，强烈需要可以改善临床医生和患者的日常工作的工具。自然，基于注意力的算法在医疗应用中的使用进展顺利。然而，由于医疗保健是一个依赖于高风险决策的领域，科学界必须考虑这些高性能算法是否适合医疗应用的需求。有了这个座右铭，本文广泛地回顾了注意力机制在机器学习（包括Transformers）中的几个医疗应用。这项工作区别于它的前辈，提出了一个批判性的分析索赔和潜在的注意力机制在文献中提出的医学图像分类的实验案例研究与三个不同的用例。这些实验的重点是将注意力机制整合到已建立的深度学习架构中，分析其预测能力，以及对事后解释方法生成的显着图进行视觉评估。本文的结论与索赔和潜在的文献中提出的关于注意力机制的批判性分析，并提出了未来的研究线在医疗应用中，可能会受益于这些框架。
2022-04-26 cs.AI cs.CV cs.LG
Axial-DeepLab: Stand-Alone Axial-Attention for Panoptic Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
卷积利用局部性来提高效率，代价是丢失长范围上下文。自注意力已经被用来增强具有非局部相互作用的CNN。最近的工作证明，通过将注意力限制在局部区域，可以堆叠自我注意层以获得完全注意力网络。在本文中，我们试图通过将2D自注意分解为两个1D自注意来消除这个约束。这降低了计算复杂度，并允许在更大或甚至全局区域内执行注意力。在同伴中，我们还提出了一个位置敏感的自我注意设计。将两者结合起来就产生了我们的位置敏感轴向注意层，这是一种新的构建块，可以堆叠形成用于图像分类和密集预测的轴向注意模型。我们证明了我们的模型在四个大规模数据集上的有效性。特别是，我们的模型优于ImageNet上所有现有的独立自我注意力模型。我们的Axial-DeepLab在COCO测试开发上比自下而上的最先进技术提高了2.8% PQ。我们的小变体实现了先前的最先进技术，其参数效率为3.8倍，计算效率为27倍。Axial-DeepLab还在Mapillary Vistas和Cityscapes上实现了最先进的结果。
2020-08-06 cs.CV cs.LG
Attention mechanisms for physiological signal deep learning: which attention should we take?
Seoul National University Hospital（首尔国立大学医院）；Seoul National University College of Medicine（首尔国立大学医学院）
注意力机制被广泛用于显著提高各个领域的深度学习模型性能。然而，他们在提高生理信号深度学习模型性能方面的能力还不成熟。在这项研究中，我们实验分析了四种注意机制（例如，挤压和激励、非局部、卷积块注意模块和多头自注意）和三个卷积神经网络（CNN）架构（例如，VGG、ResNet和Inception），用于两个代表性的生理信号预测任务：预测低血压的分类和预测心输出量（CO）的回归。我们评估了生理信号深度学习模型的性能和收敛性的多种组合。因此，具有空间注意机制的CNN模型在分类问题中表现出最好的性能，而通道注意机制在回归问题中实现了最低的误差。此外，在这两个问题中，具有注意机制的CNN模型的性能和收敛性优于独立的自注意模型。因此，我们验证了卷积操作和注意力机制是互补的，并且提供了更快的收敛时间，尽管独立的自注意力模型需要更少的参数。
2022-07-04 cs.AI cs.LG eess.SP
An Empirical Study of Spatial Attention Mechanisms in Deep Networks
University of Science and Technology of China（中国科学技术大学）；Beijing Institute of Technology（北京理工大学）；Microsoft Research Asia（微软亚洲研究院）
注意力机制已经成为深度神经网络中的一个流行组件，但很少有人研究不同的影响因素和从这些因素计算注意力的方法如何影响性能。为了更好地理解注意力机制，我们提出了一个实证研究，消融各种空间注意力元素内的广义注意力公式，包括占主导地位的Transformer注意力以及流行的变形卷积和动态卷积模块。该研究在各种应用中进行，产生了关于深度网络中空间注意力的重要发现，其中一些与传统理解背道而驰。例如，我们发现Transformer注意中的查询和关键内容比较对于自我注意是可以忽略的，但是对于编码器-解码器注意是至关重要的。可变形卷积与仅关键内容显著性的适当组合在自注意中实现了最佳的准确性-效率权衡。我们的研究结果表明，在注意力机制的设计上还有很大的改进空间。
2019-04-11 cs.CL cs.CV cs.LG
AttentionXML: Label Tree-based Attention-Aware Deep Model for High-Performance Extreme Multi-Label Text Classification
Fudan University（复旦大学）；Kyoto University（京都大学）；Aalto University（阿尔托大学）
极端多标签文本分类（XMTC）是大数据时代的一个重要问题，用于从超大规模的标签集中使用最相关的多个标签标记给定的文本。XMTC可以在许多应用中找到，例如项目分类、网页标记和新闻注释。传统的方法大多使用词袋（BOW）作为输入，忽略了词的上下文以及深层语义信息。最近通过深度学习克服BOW问题的尝试仍然存在以下问题：1）未能捕获每个标签的重要潜台词; 2）缺乏针对大量标签的可扩展性。我们为XMTC提出了一种新的基于标签树的深度学习模型，称为AttentionXML，具有两个独特的功能：1）以原始文本为输入的多标签注意力机制，可以捕获文本中与每个标签最相关的部分; 2）浅而宽的概率标签树（PLT），可以处理数百万个标签，特别是“尾部标签”。我们在六个基准数据集上实证比较了AttentionXML与八种最先进方法的性能，包括Amazon-3 M约300万个标签。在所有实验设置下，AttentionXML的性能优于所有竞争方法。实验结果还表明，AttentionXML在基于标签树的方法中对尾部标签的性能最好。代码和数据集可在http://github.com/yourh/AttentionXML上获得。
2019-11-04 cs.CL cs.LG
Deep Echo State Network (DeepESN): A Brief Survey
Department of Computer Science, University of Pisa（比萨大学计算机科学系）
深度递归神经网络（RNN）的研究，特别是深度储备池计算（RC）的研究，在神经网络界正获得越来越多的研究关注。最近推出的深度回声状态网络（DeepESN）模型为设计用于时态数据的深度神经网络开辟了一条非常有效的方法。与此同时，对DeepESN的研究揭示了由递归层的分层组成所开发的状态动态的内在属性，即RNN架构设计中的深度偏差。本文总结了DeepESN的开发、分析和应用方面的进展。
2020-09-25 cs.AI cs.LG stat.ML
Deep Features Analysis with Attention Networks
Alibaba Group（阿里巴巴集团）
深度神经网络模型最近引起了广泛的关注，因为它在许多计算机视觉任务中一直产生令人印象深刻的结果，例如图像分类，目标检测等。本文提出了一种新的解释具有注意力机制的神经网络模型的方法。受热图可视化的启发，我们分析了分类精度与基于注意力的热图之间的关系。还包括一种改进的基于注意力的方法，并说明一个更好的分类器可以解释基于注意力的热图。
2019-01-20 cs.CV cs.LG stat.ML
Full Attention Bidirectional Deep Learning Structure for Single Channel Speech Enhancement
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；University of Kentucky（肯塔基大学）
语音增强作为语音识别和语音合成等重要技术的基础，是音频信号处理的一个关键领域。本文提出了一种新的语音增强深度学习结构。该模型引入了一个“充分”的注意力机制的双向序列到序列的方法，利用潜在的信息后，每个焦点帧。这是先前基于注意力的RNN方法的扩展。与OM-LSA，CNN-LSTM，T-GSA和单向基于注意力的LSTM基线相比，所提出的基于双向注意力的架构在语音质量（PESQ）方面实现了更好的性能。
2021-08-27 cs.LG cs.SD eess.AS
Design Automation for Fast, Lightweight, and Effective Deep Learning Models: A Survey
Aalborg University（奥尔堡大学）；University of New South Wales（新南威尔士大学）
深度学习技术已经在广泛的任务中表现出显著的有效性，并且深度学习具有推进多种应用的潜力，包括在边缘计算中，其中在边缘设备上部署深度模型以实现即时数据处理和响应。一个关键的挑战是，虽然深度模型的应用通常会产生大量的内存和计算成本，但边缘设备通常只提供非常有限的存储和计算能力，这些能力在设备之间可能会有很大的差异。这些特征使得很难构建深度学习解决方案，在满足其限制的同时释放边缘设备的潜力。解决这一挑战的一个有前途的方法是自动设计有效的深度学习模型，这些模型是轻量级的，只需要很少的存储，并且只产生很低的计算开销。本调查全面涵盖了针对边缘计算的深度学习模型的设计自动化技术研究。它概述和比较了常用的关键指标，这些指标通常用于量化模型在有效性，亮度和计算成本方面的熟练程度。然后，调查继续涵盖三个类别的最先进的深度模型设计自动化技术：自动神经架构搜索，自动模型压缩，联合自动设计和压缩。最后，调查涵盖了开放的问题和未来的研究方向。
2022-08-22 cs.AI cs.LG cs.SE
Attention Sink in Transformers: A Survey on Utilization, Interpretation, and Mitigation
Tsinghua University（清华大学）；Meituan LongCat Team（美团LongCat团队）；The University of Hong Kong（香港大学）；University of Michigan（密歇根大学）；Xiamen University（厦门大学）；The Ohio State University（俄亥俄州立大学）；Columbia University（哥伦比亚大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Hong Kong Polytechnic University（香港理工大学）
本文首次系统综述Transformer中的注意力汇聚现象，从基础利用、机制解释和策略缓解三个维度梳理研究现状，为未来研究提供指导。
2026-06-05 cs.LG
Deep Clustering: A Comprehensive Survey
University of Electronic Science and Technology of China（电子科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Lehigh University（理海大学）
聚类分析在机器学习和数据采掘中起着不可或缺的作用。学习一个好的数据表示是聚类算法的关键。最近，可以使用深度神经网络学习聚类友好表示的深度聚类已经广泛应用于各种聚类任务中。现有的深度聚类研究主要集中在单视图领域和网络架构上，忽略了聚类的复杂应用场景。为了解决这个问题，在本文中，我们提供了一个全面的调查数据源的视图中的深度聚类。对于不同的数据源和初始条件，我们系统地区分聚类方法的方法，先验知识和架构。具体地，根据四个类别介绍了深度聚类方法，即，传统的单视图深度聚类、半监督深度聚类、深度多视图聚类和深度转移聚类。最后，我们讨论了开放的挑战和潜在的未来机会，在不同领域的深度集群。
2022-10-09 cs.LG
Neural Attention Models in Deep Learning: Survey and Taxonomy
University of Campinas（坎皮纳斯大学）
注意力是一种唤醒状态，能够通过选择性地专注于一条信息而忽略其他可感知的信息来处理人类有限的处理瓶颈。几十年来，注意力的概念和功能已经在哲学、心理学、神经科学和计算机领域得到了研究。目前，这一特性已经在深度神经网络中得到了广泛的探索。许多不同的神经注意力模型现在已经可用，并且在过去六年中一直是一个非常活跃的研究领域。从注意力的理论观点出发，本调查对主要的神经注意力模型进行了批判性分析。在这里，我们提出了一个与深度学习之前的理论方面相印证的分类法。我们的分类法提供了一个组织结构，提出新的问题，并构建现有的注意力机制的理解。特别是，来自心理学和神经科学经典研究的17个标准，制定了定性比较和批判性分析的51个主要模型上发现的一组650多篇论文进行了分析。此外，我们还强调了一些尚未探索的理论问题，包括关于生物相容性的讨论，突出当前的研究趋势，并为未来提供见解。
2021-12-11 cs.AI cs.LG
Large-Scale Deep Learning Optimizations: A Comprehensive Survey
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
深度学习在广泛的人工智能应用中取得了可喜的成果。更大的数据集和模型始终会产生更好的性能。然而，我们通常会在更多的计算和通信上花费更长的训练时间。在本次调查中，我们的目标是提供一个关于大规模深度学习在模型准确性和模型效率方面的优化的清晰草图。我们研究了最常用于优化的算法，阐述了大批量训练中出现的泛化差距这一有争议的话题，并回顾了SOTA在解决通信开销和减少内存占用方面的策略。
2021-11-02 cs.LG
Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better
Google Research（谷歌研究院）
本文综述高效深度学习的五大核心领域，涵盖建模、基础设施与硬件，并提供实验指南和代码，帮助从业者降低模型资源占用、提升训练与部署效率。
2021-06-21 cs.LG
Transferability in Deep Learning: A Survey
Tsinghua University（清华大学）
深度学习算法的成功通常取决于大规模数据，而人类似乎具有内在的知识转移能力，通过在遇到和解决未知任务时识别和应用先前学习经验中的相关知识。这种获取和重用知识的能力被称为深度学习中的可转移性。它已经形成了使深度学习像人类学习一样具有数据效率的长期追求，并且一直在激励更强大的深度学习算法的富有成效的设计。我们提出这项调查，以连接深度学习中不同的孤立领域与它们与可移植性的关系，并提供一个统一和完整的视图来调查整个深度学习生命周期的可移植性。该调查详细阐述了基本目标和挑战，以及核心原则和方法，涵盖了深度架构，预培训，任务适应和领域自适应的最新基石。这突出了关于学习可转移知识的适当目标以及使知识适应新的任务和领域、避免灾难性遗忘和负转移的问题。最后，我们实现了一个基准测试和一个开源库，使深度学习方法在可移植性方面得到公平的评估。
2022-01-15 cs.LG
Attention in Diffusion Model: A Survey
School of Artificial Intelligence, Nanjing University of Information Science and Technology（南京信息工程大学人工智能学院）；Tsinghua University（清华大学）；Institute of Cyberspace Security and College of Information Engineering, Zhejiang University of Technology（浙江工业大学网络空间安全研究院与信息工程学院）；University of Edinburgh（爱丁堡大学）；Beijing Institute of Technology（北京理工大学）；College of Computer Science and Engineering, Dalian Minzu University（大连民族大学计算机科学与工程学院）；Durham University（杜伦大学）；Northumbria University（诺森比亚大学）
本文系统综述扩散模型中的注意力机制，提出统一分类法梳理其结构作用与设计模式，并总结应用效果、现有局限及未来研究方向。
2025-04-01 cs.AI cs.CV cs.LG
A Survey of Classical And Quantum Sequence Models
Iowa State University（爱荷华州立大学）；IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；IIIT Hyderabad（印度信息技术研究所海得拉巴分校）；IBM Research（IBM研究院）
本文综述经典与量子序列模型，重新实现代表性方法并构建量子混合Transformer，引入位置编码提升文本和图像分类的准确率与收敛速度，同时比较经典与量子自注意力模型的性能差异。
2023-12-15 cs.LG quant-ph
Attention-based graph neural networks: a survey
School of Computer Science and Technology, China University of Mining and Technology（中国矿业大学计算机科学与技术学院）；Mine Digitization Engineering Research Center, Ministry of Education of the People’s Republic of China（教育部矿山数字化工程研究中心）
本文综述了基于注意力机制的图神经网络的最新进展，提出两级分类法，分析了发展历史和架构，并总结了各种模型的优缺点及未来方向。
2026-05-09 cs.AI cs.LG cs.SI
Towards Deep Attention in Graph Neural Networks: Problems and Remedies
KAIST（韩国科学技术院）；Carnegie Mellon University（卡内基梅隆大学）
本文针对深度图注意力中的特征过平滑与累积注意力平滑问题，提出AERO-GNN架构，并在最多64层及12个节点分类基准中的9个上验证其性能优势。
2023-06-04 cs.AI cs.LG
A Survey on Deep Learning Toolkits and Libraries for Intelligent User Interfaces
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文概述了著名的深度学习工具包，特别是报告了最近的出版物，这些出版物为实现智能用户界面（IUI）中常见的任务贡献了开源软件。我们为计划在IUI研究和开发项目中使用深度学习技术的研究人员和软件工程师提供科学参考。
2018-03-14 cs.HC cs.LG
Learning to Pay Attention: Unsupervised Modeling of Attentive and Inattentive Respondents in Survey Data
Stern School of Business, New York University（纽约大学斯特恩商学院）
本文提出了一种无监督框架，通过几何重建和概率依赖建模检测调查数据中的不集中受访者，揭示心理测量与机器学习的对齐关系。
2026-03-02 cs.AI cs.HC cs.LG
Time Series Forecasting With Deep Learning: A Survey
University of Oxford（牛津大学）
已经开发了许多深度学习架构来适应跨不同域的时间序列数据集的多样性。在这篇文章中，我们调查了在一步前进和多水平时间序列预测中使用的常见编码器和解码器设计-描述了时间信息如何被纳入每个模型的预测。接下来，我们将重点介绍混合深度学习模型的最新发展，该模型将经过充分研究的统计模型与神经网络组件相结合，以改进任一类别的纯方法。最后，我们概述了深度学习也可以通过时间序列数据促进决策支持的一些方法。
2020-09-27 cs.LG stat.ML
Knowledge-augmented Deep Learning and Its Applications: A Survey
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research AI（IBM人工智能研究院）
深度学习模型虽然在过去几年中在许多不同的领域取得了巨大的成功，但通常是数据饥渴型的，在看不见的样本上表现不佳，并且缺乏可解释性。目标领域中通常存在各种先验知识，它们的使用可以缓解深度学习的不足。为了更好地模仿人类大脑的行为，已经提出了不同的高级方法来识别领域知识并将其集成到深度模型中，以实现数据高效、可推广和可解释的深度学习，我们将其称为知识增强的深度学习（KADL）。在本文中，我们定义了KADL的概念，并介绍了它的三个主要任务，即，知识识别、知识表示和知识集成。不同于现有的调查是集中在一个特定类型的知识，我们提供了一个广泛而完整的领域知识及其表示的分类。基于我们的分类法，我们提供了一个系统的审查现有的技术，不同的现有作品，调查集成方法不可知论的知识分类。本调查涵盖了现有的工作，并提供了在知识增强深度学习的一般领域的研究鸟瞰图。对大量论文的深入和批判性的评论不仅有助于了解当前的进展，而且还有助于确定知识增强深度学习研究的未来方向。
2022-11-30 cs.AI cs.LG
Peer Disambiguation in Self-Reported Surveys using Graph Attention Networks
University of Southern California（南加州大学）；Ming Hsieh Department of Electrical and Computer Engineering（明赫氏电气与计算机工程学院）；Department of Computer Science（计算机科学系）；Suzanne Dworak-Peck School of Social Work（苏珊娜·德沃拉克-佩克社会工作学院）
本研究提出用图注意力网络解决自我报告调查中的同伴链接歧义，提升网络准确性并改善自杀风险预测，展示了GNN在现实网络数据分析中的潜力。
2025-03-25 cs.LG cs.SI
Applications of deep learning in traffic congestion detection, prediction and alleviation: A survey
ETH Zurich（苏黎世联邦理工学院）；Future Resilient Systems（未来韧性系统）；Singapore-ETH Centre（新加坡-ETH中心）
检测、预测和缓解交通拥堵的目的是提高交通网络的服务水平。随着越来越多地访问更高分辨率的更大数据集，深度学习对此类任务的相关性正在增加。近年来的一些综合调查论文总结了深度学习在交通领域的应用。然而，交通网络的系统动态在非拥塞状态和拥塞状态之间变化很大，因此需要清楚地了解拥塞预测所面临的挑战。在本调查中，我们介绍了深度学习在与拥塞检测、预测和缓解相关的任务中的应用现状。重复和非重复拥塞将分别讨论。我们的调查使我们发现了当前研究状态中的固有挑战和差距。最后，我们提出了一些建议，为未来的研究方向，以应对所确定的挑战。
2021-11-02 cs.LG stat.ML
Deep Gaussian Processes: A Survey
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
高斯过程是贝叶斯学习中的主要方法之一。虽然这种方法已经成功地应用于许多问题，但它有一些基本的局限性。文献中的多种方法已经解决了这些局限性。然而，迄今为止还没有对这些专题进行全面调查。大多数现有的调查集中在高斯过程及其衍生物的一个特定的变种。这项调查详细介绍了使用高斯过程的核心动机，它们的数学公式，局限性以及多年来为解决上述局限性而蓬勃发展的研究主题。此外，一个特殊的研究领域是深度高斯过程（DGPs），它在过去十年中有了很大的改进。在他们的调查中概述了推进这一研究领域前沿的重要出版物。最后，对有待解决的问题和今后的研究方向进行了简要的讨论。
2021-06-21 cs.LG stat.ML
A Survey of Techniques All Classifiers Can Learn from Deep Networks: Models, Optimizations, and Regularization
Department of Computer Science（计算机科学系）；Pullman, WA 99163（普尔曼，华盛顿州 99163（注：此为地址，非机构））
深度神经网络为机器学习社区引入了新颖而有用的工具。其他类型的分类器也可以潜在地利用这些工具来提高它们的性能和通用性。本文回顾了在深度神经网络之外使用的深度学习分类器技术的当前发展水平。非网络分类器可以采用在深度神经网络架构中发现的许多组件。在本文中，我们回顾了构成深度网络技术核心的特征学习、优化和正则化方法。然后，我们调查非神经网络学习算法，使创新地利用这些方法来改善分类。由于仍然存在许多机遇和挑战，我们讨论了可以追求的方向，以扩展各种分类算法的深度学习领域。
2019-09-27 cs.LG stat.ML
Model Complexity of Deep Learning: A Survey
Simon Fraser University（西蒙弗雷泽大学）；McMaster University（麦克马斯特大学）；Microsoft Research（微软研究院）
模型复杂度是深度学习中的一个基本问题。本文对深度学习中模型复杂性的最新研究进行了系统的综述。深度学习的模型复杂度可以分为表达能力和有效模型复杂度。本文从模型框架、模型规模、优化过程和数据复杂度四个方面对这两类问题的现有研究进行了综述。我们还讨论了深度学习模型复杂性的应用，包括理解模型泛化、模型优化以及模型选择和设计。最后，我们提出了几个有趣的未来方向。
2021-08-03 cs.AI cs.LG
Deep Learning for 3D Point Cloud Understanding: A Survey
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Oregon（俄勒冈大学）
随着自动驾驶和机器人等实际应用的发展，人们越来越关注3D点云理解。虽然深度学习在基于图像的任务上取得了显著的成功，但深度神经网络在处理大规模、非结构化和有噪声的3D点时面临着许多独特的挑战。为了展示用于3D点云理解的深度学习的最新进展，本文从几个不同的方向（分类、分割、检测、跟踪、流估计、配准、增强和完成）总结了该领域最近的显著研究贡献，以及常用的数据集、度量和最先进的性能。有关此调查的更多信息，请访问：https://github.com/SHI-Labs/3D-Point-Cloud-Learning。
2021-05-23 cs.CV cs.LG
Benchmarking Contemporary Deep Learning Hardware and Frameworks:A Survey of Qualitative Metrics
Southeast Missouri State University（东南密苏里州立大学）；University of Arkansas at Little Rock（阿肯色大学小石城分校）
本文概述了基准测试原则、机器学习设备（包括GPU、FPGA和ASIC）以及深度学习软件框架。它还从框架的6度量方法和硬件平台的11度量方法的角度审查了这些技术的基准测试。由于MLPerf是一个与工业界和学术界合作的基准测试组织，并提供评估深度学习硬件设备上的训练和推理的深度学习基准测试，因此调查还提到了MLPerf基准测试结果、基准测试指标、数据集、深度学习框架和算法。我们总结了七个基准测试原则，主流AI设备的差异化特征，以及深度学习硬件和框架的定性比较。
2019-11-23 cs.DC cs.LG cs.PF
AttendNets: Tiny Deep Image Recognition Neural Networks for the Edge via Visual Attention Condensers
University of Waterloo（滑铁卢大学）；DarwinAI Corp.（达尔文人工智能公司）
虽然深度学习的重大进步已经在大量复杂的视觉感知任务中实现了最先进的性能，但考虑到深度神经网络的复杂性，为涉及设备上低功耗图像识别的TinyML应用广泛部署深度神经网络仍然是一个巨大的挑战。在这项研究中，我们介绍了AttendNets，这是一种低精度、高度紧凑的深度神经网络，专为设备上的图像识别而设计。更具体地说，AttendNets拥有基于视觉注意力冷凝器的深度自我注意力架构，该架构扩展了最近推出的独立注意力冷凝器，以提高空间通道选择性注意力。此外，AttendNets具有独特的机器设计的宏架构和微架构设计，通过机器驱动的设计探索策略实现。针对设备上图像识别任务的ImageNet $_{50}$基准数据集的实验结果表明，与研究文献中的几个深度神经网络相比，AttendNets的架构和计算复杂性度显着降低，这些深度神经网络旨在提高效率，同时实现最高的准确度（最小的AttendNet实现了高出$\sim$ 7.2%的准确度，同时需要少$\times$ 3倍的乘加运算，$\sim$ 4.17 $\times$参数更少，$\sim$ 16.7 $\times$重量内存要求比MobileNet-V1更低）。基于这些令人鼓舞的结果，AttendNets说明了视觉注意力冷凝器作为构建模块的有效性，可以为TinyML应用程序实现各种设备上的视觉感知任务。
2020-09-30 cs.CV cs.LG
A Survey on Recent Advances in Named Entity Recognition from Deep Learning models
University of Arizona（亚利桑那大学）
命名实体识别（NER）是用于问答、信息检索、关系抽取等的NLP系统中的关键组件。NER系统已经被广泛研究和开发了几十年，但是使用深度神经网络（NN）的精确系统仅在最近几年才被引入。我们对NER的深度神经网络架构进行了全面的调查，并将其与以前基于特征工程和其他监督或半监督学习算法的NER方法进行了对比。我们的研究结果突出了神经网络所取得的进步，并显示了如何将一些从过去的工作中学到的经验教训，基于特征的NER系统可以产生进一步的改进。
2019-10-25 cs.CL cs.LG
An Introductory Survey to Autoencoder-based Deep Clustering -- Sandboxes for Combining Clustering with Deep Learning
Aalto University, University of Helsinki（阿alto大学，赫尔辛基大学）；Faculty of Computer Science, University of Vienna（计算机科学学院，维也纳大学）
本综述介绍基于自编码器的深度聚类基础算法，利用其无监督低维表示能力缓解维度灾难，并作为现代聚类方法的核心构建模块。
2025-05-26 cs.AI cs.LG
A survey of multimodal deep generative models
The University of Tokyo（东京大学）
多模态学习是一个用于构建模型的框架，该模型基于不同类型的模态进行预测。多模态学习中的重要挑战是从任意模态中推断共享表示并通过这些表示生成跨模态;然而，实现这一目标需要考虑多模态数据的异构性。近年来，深度生成模型，即，其中分布由深度神经网络参数化的生成模型已经吸引了很多关注，特别是变分自编码器，其适合于完成上述挑战，因为它们可以考虑异质性并推断数据的良好表示。因此，近年来已经提出了各种基于变分自编码器的多模态生成模型，称为多模态深度生成模型。在本文中，我们对多模态深度生成模型的研究进行了分类调查。
2022-07-05 cs.LG stat.ML
Deep Learning for Sentiment Analysis : A Survey
LinkedIn Corporation（领英公司）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
深度学习已经成为一种强大的机器学习技术，它学习数据的多层表示或特征，并产生最先进的预测结果。随着深度学习在许多其他应用领域的成功，深度学习近年来也被广泛用于情感分析。本文首先概述了深度学习，然后对其当前在情感分析中的应用进行了全面的调查。
2018-01-30 cs.CL cs.IR cs.LG
A Survey of Deep Learning Techniques for Dynamic Branch Prediction
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
分支预测是流水线处理器上加速分支指令执行和降低分支开销的一种体系结构特性。深度学习（DL）在后摩尔定律时代的最新进展正在加速自动化芯片设计、低功耗计算机体系结构等领域的发展。传统的计算机体系结构设计和算法可以受益于基于深度学习算法的动态预测器，该算法通过在大量数据上优化其参数来从经验中学习。在这篇综述论文中，我们重点介绍了传统的分支预测算法，分析了其局限性，并对如何应用深度学习技术来创建能够预测条件分支指令的动态分支预测器进行了文献调查。该领域的先前调查集中在基于神经网络感知器的动态分支预测技术上。我们计划根据深度学习的最新研究和基于分支预测器的高级机器学习（ML）来改进调查。
2021-12-30 cs.AI cs.AR cs.LG
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Image Captioning based on Deep Learning Methods: A Survey
University of Chinese Academy of Sciences（中国科学院大学）
图像描述是人工智能领域的一项具有挑战性的研究课题，在高效图像检索、智能导盲、人机交互等方面有着广泛的应用前景。本文综述了基于深度学习方法的图像描述的研究进展，包括编码器-解码器结构、编码器改进方法、解码器改进方法、和其他改进。最后，我们讨论了未来的研究方向。
2019-05-20 cs.CL cs.CV cs.LG
An initial attempt of combining visual selective attention with deep reinforcement learning
Tsinghua University（清华大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
视觉注意是知觉系统中特征选择机制的一种手段。受Broadbent的选择性注意的漏过滤器模型的启发，我们评估了这种机制如何实现并影响深度强化学习的学习过程。我们可视化并分析了一个玩具问题Catch的DQN特征图，并提出了一种将视觉选择性注意与深度强化学习相结合的方法。我们在Atari游戏上进行了基于光流的注意力和A2C的实验。实验结果表明，视觉选择性注意可以导致测试游戏的样本效率方面的改善。注意和批量归一化之间的一个有趣的关系也被发现。
2020-06-18 cs.AI cs.CV cs.LG
No Peek: A Survey of private distributed deep learning
Massachusetts Institute of Technology（麻省理工学院）
我们调查分布式深度学习模型，以进行训练或推理，而无需访问来自客户端的原始数据。这些方法旨在保护数据中的机密模式，同时仍然允许服务器训练模型。比较了联邦学习、分裂学习和大批量随机梯度下降的分布式深度学习方法，以及神经网络背景下的差分隐私、同态加密、不经意传输和乱码电路的隐私和安全方法。我们研究了它们在计算资源、数据泄漏和通信效率方面的优势、局限性和权衡，并分享了我们预期的未来趋势。
2018-12-08 cs.DC cs.LG stat.ML
A Comprehensive Survey of Deep Learning for Image Captioning
Murdoch University（莫道克大学）
生成图像的描述被称为图像描述。图像描述需要识别图像中的重要对象及其属性和关系。它还需要生成语法和语义正确的句子。基于深度学习的技术能够处理图像描述的复杂性和挑战。在这篇调查论文中，我们旨在对现有的基于深度学习的图像描述技术进行全面回顾。我们讨论了技术的基础，分析其性能，优势和局限性。我们还讨论了基于深度学习的自动图像描述中常用的数据集和评估指标。
2018-10-14 cs.CV cs.LG stat.ML
A Survey of Explainable AI in Deep Visual Modeling: Methods and Metrics
The University of Western Australia（西澳大利亚大学）
深度视觉模型在高风险领域有着广泛的应用。因此，它们的黑盒性质目前吸引了研究界的极大兴趣。我们提出了可解释人工智能的第一个调查，重点是解释深度视觉模型的方法和指标。覆盖沿着国家的最先进的里程碑式的贡献，我们不仅提供了现有技术的分类组织，而且还挖掘了一系列的评估指标，并整理它们作为模型解释的不同属性的措施。随着对当前趋势的深入讨论，我们还讨论了这一研究方向的挑战和未来的途径。
2023-01-31 cs.AI cs.CV cs.LG
Deep Graph Generators: A Survey
Sharif University of Technology（谢里夫理工大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
过去几年，深度生成模型在图像、语音和自然语言处理等领域取得了巨大成功。由于基于图的深度学习的进步，特别是图表示学习，深度图生成方法最近出现了新的应用，从发现新的分子结构到建模社交网络。本文对基于深度学习的图形生成方法进行了全面的调查，并将其分为五大类，即自回归，基于自编码器，基于RL，对抗和基于流的图形生成器，为读者提供了每类方法的详细描述。我们还提供了公开的源代码，常用的数据集和最广泛使用的评估指标。最后，我们强调了现有的挑战，并讨论了未来的研究方向。
2020-12-31 cs.AI cs.LG cs.SI
The Creation and Detection of Deepfakes: A Survey
Georgia Institute of Technology（佐治亚理工学院）；Ben-Gurion University（本-古里安大学）
生成式深度学习算法已经发展到很难区分真假的地步。2018年，人们发现这项技术很容易被用于不道德和恶意的应用程序，例如传播错误信息，冒充政治领导人和诽谤无辜的个人。从那时起，这些“deepfake”已经取得了显着进展。在本文中，我们将探讨deepfake的创建和检测，并深入了解这些架构的工作原理。本调查的目的是让读者更深入地了解（1）如何创建和检测Deepfake，（2）该领域的当前趋势和进展，（3）当前防御解决方案的缺点，以及（4）需要进一步研究和关注的领域。
2020-09-13 cs.CV cs.LG eess.IV
Attentional Bottleneck: Towards an Interpretable Deep Driving Network
Waymo Research（Waymo研究院）
深度神经网络是自动驾驶汽车行为预测和运动生成的关键组成部分。它们的主要缺点之一是缺乏透明度：它们应该为触发某些行为的原因提供易于解释的理由。我们提出了一个架构称为注意力瓶颈的目标是提高透明度。我们的关键思想是将视觉注意力（识别模型正在使用输入的哪些方面）与信息瓶颈（使模型能够只使用输入的重要方面）相结合。这不仅提供了稀疏和可解释的注意力地图（例如，只关注场景中的特定车辆），而且它在不影响模型准确性的情况下增加了这种透明度。事实上，我们发现在将注意力瓶颈应用于ChauffeurNet模型时，准确性略有提高，而我们发现传统视觉注意力模型的准确性有所下降。
2020-05-08 cs.CV cs.LG cs.RO
Deep learning in agriculture: A survey
Institute for Food and Agricultural Research and Technology (IRTA)（食品与农业研究技术研究所（IRTA））
深度学习是一种用于图像处理和数据分析的现代技术，具有良好的效果和巨大的潜力。随着深度学习在各个领域的成功应用，它最近也进入了农业领域。在本文中，我们对40项采用深度学习技术的研究工作进行了调查，这些研究工作应用于各种农业和食品生产挑战。我们研究了所研究的特定农业问题，所采用的具体模型和框架，所使用的数据的来源，性质和预处理，以及根据所研究的每项工作所使用的指标所实现的整体性能。此外，我们研究了深度学习与其他现有流行技术在分类或回归性能方面的差异。我们的研究结果表明，深度学习提供了高准确性，优于现有的常用图像处理技术。
2018-07-31 cs.CV cs.LG stat.ML
Object Recognition Using Deep Neural Networks: A Survey
IIT Kanpur（印度理工学院坎普尔分校）；Pace University（佩斯大学）
使用深度神经网络识别物体是一个活跃的研究领域，在过去几年中取得了许多突破。本文试图说明这一领域的进展。本文简要介绍了神经网络的研究历史，并介绍了该领域的一些最新进展。最近开发的神经网络算法的性能在基准数据集已制成表格。最后给出了该领域的一些应用。
2014-12-10 cs.CV cs.LG cs.NE
A Survey on Deep Learning for Human Mobility
Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会（FBK））；Free University of Bolzano（博尔扎诺自由大学）；Amazon Alexa（亚马逊Alexa）；Institute of Information Science and Technologies, National Research Council (ISTI-CNR)（国家研究委员会信息科学与技术研究所（ISTI-CNR））
对人类流动性的研究至关重要，因为它对我们社会的几个方面产生了影响，例如疾病传播，城市规划，福祉，污染等等。数字移动数据的激增，如电话记录、GPS跟踪和社交媒体帖子，加上人工智能的预测能力，引发了深度学习在人类移动中的应用。现有的调查集中在单一任务、数据源、机械或传统的机器学习方法上，而缺乏对深度学习解决方案的全面描述。本调查提供了移动任务的分类，讨论了与每个任务相关的挑战以及深度学习如何克服传统模型的局限性，描述了与上述移动任务最相关的解决方案以及未来的相关挑战。我们的调查是领先的深度学习解决方案的指南，用于下一个位置预测，人群流量预测，轨迹生成和流量生成。与此同时，它帮助深度学习科学家和实践者理解人类流动性研究的基本概念和开放性挑战。
2021-06-27 cs.AI cs.LG cs.SI
A survey of deep learning optimizers -- first and second order methods
Indian Institute of Science（印度科学学院）
本文综述深度学习中 14 种常用一阶和二阶优化方法，并结合优化理论分析高维损失最小化面临的鞍点、局部极小值、Hessian 病态及算力限制等问题。
2023-09-27 cs.CV cs.LG math.OC
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域，并代表着构建对视觉世界有更高理解的自主系统的一步。目前，深度学习使强化学习能够扩展到以前难以解决的问题，例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术，允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中，我们首先介绍强化学习的一般领域，然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法，包括深度$Q$网络，信任区域策略优化和异步优势演员-评论家。同时，我们强调了深度神经网络的独特优势，重点是通过强化学习进行视觉理解。最后，我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
Res3ATN -- Deep 3D Residual Attention Network for Hand Gesture Recognition in Videos
ETH Zurich（苏黎世联邦理工学院）
视频中的手势识别是一项艰巨的任务。在本文中，我们使用一个3D的剩余注意力网络，这是训练端到端的手势识别。基于堆叠的多个注意力块，我们构建了一个3D网络，该网络在每个注意力块处生成不同的特征。我们的基于3D注意力的残差网络（Res 3ATN）可以构建并扩展到非常深的层。使用该网络，基于三个公开可用的数据集对其他3D网络进行了广泛的分析。将Res 3 ATN网络性能与C3 D、ResNet-10和ResNext-101网络进行比较。我们还研究和评估了我们的基线网络与不同数量的注意力块。比较表明，具有3个注意力块的3D剩余注意力网络在注意力学习方面是鲁棒的，并且能够以更好的准确性对手势进行分类，从而优于现有的网络。
2020-01-04 cs.CV cs.LG eess.IV
