Exploring the Relationship: Transformative Adaptive Activation Functions in Comparison to Other Activation Functions
Czech Technical University in Prague（布拉格捷克理工大学）
本研究将变革性自适应激活函数（TAAF）与其他激活函数进行比较，发现其泛化超过50种现有函数并借鉴70余种函数概念，证明TAAF是神经网络中极具适应性和前景的构建块。
2024-02-14 cs.LG cs.NE
Comprehensive Survey of Complex-Valued Neural Networks: Insights into Backpropagation and Activation Functions
Damanhour University（达曼胡尔大学）
本文全面综述了复值神经网络（CVNNs）在反向传播算法和激活函数方面的最新进展，探讨了三种复数反向传播算法，分析了完全复数和分裂激活函数的设计挑战，并引入了一组新的复值激活函数以推动该领域的持续研究。
2024-07-27 cs.LG
Generalized Regularized Evidential Deep Learning Models: Theory and Comprehensive Evaluation
Rochester Institute of Technology（罗切斯特理工学院）；AI Lab, InterDigital（InterDigital人工智能实验室）
本文提出了一种广义正则化证据深度学习模型，通过理论分析和实验验证，解决了证据更新中的学习冻结问题，提升了模型在多种分类任务中的表现。
2025-12-27 cs.AI cs.LG
ActNAS : Generating Efficient YOLO Models using Activation NAS
Deeplite, Inc.（迪利普特公司）
本文提出 ActNAS 方法，利用神经架构搜索为 YOLO 模型设计优化的混合激活函数，在保持精度的同时显著降低了边缘设备的延迟和内存消耗。
2024-11-15 cs.LG cs.NE
A Sampling Theory Perspective on Activations for Implicit Neural Representations
University of Adelaide（阿德莱德大学）；Amazon（亚马逊公司）
本文从采样理论视角分析隐式神经表示的激活函数，发现sinc激活函数在信号编码上理论最优，并建立动力系统与INRs的关联。
2024-02-08 cs.LG
Semi-Periodic Activation for Time Series Classification
Universidade de São Paulo（圣保罗大学）
针对时间序列任务中激活函数研究不足的问题，分析了该场景下激活函数的核心特性，提出新型半周期激活函数LeakySineLU，在112个时间序列分类基准数据集的对比实验中取得最优平均排名。
2024-12-13 cs.AI cs.LG
Sparsing Law: Towards Large Language Models with Greater Activation Sparsity
Dept. of Comp. Sci. \& Tech., Institute for AI, Tsinghua University, Beijing, China；Huawei Noah’s Ark Lab, China
本文研究了仅解码器Transformer架构LLMs中激活稀疏性的定量缩放特性，提出PPL-$p\\%$稀疏性指标，发现ReLU比SiLU更高效、更深架构有潜在优势且激活模式对参数规模不敏感，为提升LLMs的效率和可解释性提供了经验定律。
2025-06-30 cs.CL cs.LG stat.ML
First Activations Matter: Training-Free Methods for Dynamic Activation in Large Language Models
Meituan（美团）
本文提出无训练的TDA方法，利用序列信息挖掘模型稀疏性，在保持性能的同时将生成速度提升18-25%，并理论分析了LLM稀疏性的两大关键特征。
2024-08-21 cs.CL cs.LG
Adaptive Activation Network and Functional Regularization for Efficient and Flexible Deep Multi-Task Learning
Stony Brook University（石溪大学）；Tencent AI Lab（腾讯人工智能实验室）
多任务学习是一种通过同时训练相关任务来提高任务学习泛化性能的学习范式。然而，寻找一种灵活、准确的、能够在多个任务之间共享的体系结构仍然是一个具有挑战性的问题。在本文中，我们提出了一种新的深度学习模型，称为任务自适应激活网络（TAAN），可以自动学习MTL的最佳网络架构。TAAN的主要原理是在网络其他参数完全共享的情况下，从数据中导出针对不同任务的灵活激活函数。我们进一步提出了两个功能的正则化方法，提高MTL性能的TAAN。综合实验证明了TAAN和正则化方法的性能改善。
2019-11-19 cs.LG stat.ML
Empirical analysis of non-linear activation functions for Deep Neural Networks in classification tasks
University of Edinburgh（爱丁堡大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提供了在神经网络架构中的几个非线性激活函数的概述，这些函数在许多机器学习应用中已经被证明是成功的。我们进行了实证分析的有效性使用这些功能的MNIST分类任务，目的是澄清哪些功能产生最好的结果。基于这第一组结果，我们研究了构建具有越来越多隐藏层的更深架构的影响。我们还调查的影响，在同一个任务，不同的初始化方案的权重，我们的神经网络。使用这些实验集作为基础，我们得出结论，提供了一个最佳的神经网络架构，产生令人印象深刻的结果，在MNIST分类任务的准确性。
2017-10-30 cs.LG stat.ML
On the Impact of the Activation Function on Deep Neural Networks Training
University of Oxford（牛津大学）
深度神经网络的权值初始化和激活函数对训练过程的性能有着至关重要的影响。不适当的选择可能导致前向传播期间输入信息的丢失以及反向传播期间梯度的指数消失/爆炸。了解未经训练的随机网络的理论特性是识别哪些深度网络可以成功训练的关键，正如Samuel等人（2017）最近所证明的那样，对于深度前馈神经网络，只有特定选择的超参数称为“混沌边缘”才能产生良好的性能。虽然Samuel等人（2017）的工作讨论了可训练性问题，但我们在这里关注的是训练加速和整体表现。我们对混沌边缘进行了全面的理论分析，并表明我们确实可以调整初始化参数和激活函数，以加速训练并提高性能。
2019-05-26 cs.AI cs.LG stat.ML
Deep Neural Networks with General Activations: Super-Convergence in Sobolev Norms
本文研究了深度全连接神经网络在Sobolev空间W^{n,∞}中的逼近结果，证明其在W^{m,p}范数下的误差率优于传统数值方法，揭示了深度网络在求解偏微分方程时的超收敛特性。
2026-03-23 cs.LG cs.NA math.NA
Adaptive Parametric Activation: Unifying and Generalising Activation Functions Across Tasks
Huawei Noah’s Ark Lab（华为诺亚实验室）；Department of Computing, Imperial College London（帝国理工学院计算机系）；Department of Computer Science, University of Liverpool（利物浦大学计算机科学系）；Department of Engineering, King’s College London（伦敦国王学院工程系）
针对激活函数难以适配不同任务尤其是不平衡分类任务的问题，提出自适应参数化激活APA，统一多数常用激活函数，在多类任务的多个基准上实现性能提升。
2025-11-14 cs.CV cs.LG
Towards Efficient Large Vision-Language Models: A Comprehensive Survey on Inference Strategies
George Mason University（乔治梅森大学）
本文综述了提升大型视觉语言模型推理效率的最新方法，从视觉token压缩、内存管理、架构设计和解码策略四个维度进行分类，并指出当前方法的局限性及未来研究方向。
2026-04-11 cs.CL cs.CV cs.LG
Small nonlinearities in activation functions create bad local minima in neural networks
Massachusetts Institute of Technology（麻省理工学院）
研究了神经网络的损失面。我们证明，即使是一个隐藏层的网络与“最轻微的”非线性，经验风险有虚假的局部极小值在大多数情况下。因此，我们的研究结果表明，一般来说，“没有虚假的局部极小值”是一个属性，仅限于深度线性网络，从线性网络获得的见解可能不稳健。具体来说，对于ReLU（类）网络，我们建设性地证明了几乎所有实际数据集都存在无穷多个局部极小值。我们还为更一般的激活（sigmoid，tanh，arctan，ReLU等）提供了一个反例，存在一个坏的局部最小值。我们的研究结果使限制性最小的假设相对于现有的结果在神经网络的假局部最优。我们通过对深度线性网络的全局最优性进行全面的描述来完成我们的讨论，这统一了关于这个主题的其他结果。
2019-05-28 cs.LG math.OC stat.ML
Neural Activation Patterns Across Language Model Architectures: A Comprehensive Analysis of Cognitive Task Performance
Research Division, BrightMind AI（BrightMind AI 研究部）；Texas Tech University（德克萨斯理工大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文分析了六种大型语言模型架构在十二种认知任务上的神经激活模式，揭示了编码器和解码器架构在处理不同任务时的差异，发现数学推理产生最高注意力熵，解码器模型在稀疏性上更高。
2026-05-14 cs.CL cs.LG
From Neural Activations to Concepts: A Survey on Explaining Concepts in Neural Networks
University of Hamburg（汉堡大学）
本文综述了神经网络中概念解释的近期方法，探讨了概念在学习与推理之间的桥梁作用，并指出其对实现基于可解释概念的神经符号人工智能具有重要意义。
2024-05-03 cs.AI cs.CL cs.CV
Activation Steering Induces Emergent Misalignment: Steering Vector Construction and Comprehensive Evaluation
Nanyang Technological University（南洋理工大学）；Sun Yat-sen University（中山大学）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）
研究激活引导是否引发突现失调，通过扩展评估范围，发现激活引导可导致广泛失调，且比微调产生更连贯的有害响应，并分析了关键因素。
2026-10-15 cs.AI cs.LG
Gradient-Adjusted Neuron Activation Profiles for Comprehensive Introspection of Convolutional Speech Recognition Models
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
基于深度学习的自动语音识别（ASR）模型非常成功，但很难解释。为了更好地理解人工神经网络（ANN）如何完成它们的任务，已经提出了内省方法。将这样的技术从计算机视觉应用到语音识别并不简单，因为语音数据比图像数据更复杂且更难解释。在这项工作中，我们引入了顺应性调整的神经元激活轮廓（GradNAP）作为解释深度神经网络中的特征和表示的手段。GradNAP是ANN对特定输入组的特征响应，其中包含用于预测的神经元的相关性。我们展示了如何利用GradNAP来深入了解数据如何在ANN中处理。这包括不同的可视化功能和GradNAP聚类的方式，以比较给定网络的任何层中不同输入组的嵌入。我们使用全卷积ASR模型演示了我们提出的技术。
2020-02-19 cs.LG cs.SD eess.AS
ZeroQuant-V2: Exploring Post-training Quantization in LLMs from Comprehensive Study to Low Rank Compensation
Microsoft（微软）
本文系统研究了LLM训练后量化中不同方案、模型家族和比特精度的影响，发现现有方法在INT4权重量化下均无法保持原始模型质量，并提出低秩补偿方法LoRC以极小模型尺寸代价改善质量恢复。
2023-05-26 cs.AI cs.CL cs.LG
A Survey of Deep Learning: From Activations to Transformers
University of Liechtenstein（列支敦士登大学）；University of Lausanne（洛桑大学）
本文综述了深度学习近十年的重要进展，涵盖架构、层、目标函数及优化技术等关键变体，并讨论了GPT-4等闭源模型，旨在帮助研究者建立跨领域联系。
2024-02-10 cs.AI cs.LG
Latency and Throughput Optimization in Modern Networks: A Comprehensive Survey
New Mexico Institute of mining and Technology（新墨西哥矿业技术学院）；Illinois State University（伊利诺伊州立大学）
现代应用程序对通信延迟和吞吐量高度敏感。本文综述了减少延迟和增加吞吐量的主要尝试。这些方法在不同的网络和环境中进行了调查，如有线网络，无线网络，应用层传输控制，远程直接存储器访问，和基于机器学习的传输控制。
2020-09-01 cs.LG cs.NI cs.PF
Class-wise Activation Unravelling the Engima of Deep Double Descent
UCL（伦敦大学学院）
本研究提出类激活矩阵与函数有效复杂度估计方法，揭示过参数化模型隐藏激活的类别模式特征，分析双下降与良性过参数化现象，为相关研究提供新见解并开源代码。
2024-05-13 cs.LG
Large-Scale Deep Learning Optimizations: A Comprehensive Survey
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
深度学习在广泛的人工智能应用中取得了可喜的成果。更大的数据集和模型始终会产生更好的性能。然而，我们通常会在更多的计算和通信上花费更长的训练时间。在本次调查中，我们的目标是提供一个关于大规模深度学习在模型准确性和模型效率方面的优化的清晰草图。我们研究了最常用于优化的算法，阐述了大批量训练中出现的泛化差距这一有争议的话题，并回顾了SOTA在解决通信开销和减少内存占用方面的策略。
2021-11-02 cs.LG
A Family of Adaptive Activation Functions for Mitigating Failure Modes in Physics-Informed Neural Networks
Department of Mathematics, IIT Madras（印度理工学院马德拉斯分校数学系）
本文提出了一种自适应小波激活函数家族，通过结合可训练小波函数与可训练或固定双曲正切和软plus函数，提升PINN的训练稳定性与表达能力，并在四个典型偏微分方程类中系统评估。
2026-03-18 cs.LG
Deep Clustering: A Comprehensive Survey
University of Electronic Science and Technology of China（电子科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Lehigh University（理海大学）
聚类分析在机器学习和数据采掘中起着不可或缺的作用。学习一个好的数据表示是聚类算法的关键。最近，可以使用深度神经网络学习聚类友好表示的深度聚类已经广泛应用于各种聚类任务中。现有的深度聚类研究主要集中在单视图领域和网络架构上，忽略了聚类的复杂应用场景。为了解决这个问题，在本文中，我们提供了一个全面的调查数据源的视图中的深度聚类。对于不同的数据源和初始条件，我们系统地区分聚类方法的方法，先验知识和架构。具体地，根据四个类别介绍了深度聚类方法，即，传统的单视图深度聚类、半监督深度聚类、深度多视图聚类和深度转移聚类。最后，我们讨论了开放的挑战和潜在的未来机会，在不同领域的深度集群。
2022-10-09 cs.LG
Bias Mitigation for Machine Learning Classifiers: A Comprehensive Survey
Simula Research Laboratory（西穆拉研究实验室）；University College London（伦敦大学学院）；King’s College London（伦敦国王学院）
本文全面综述了机器学习分类器的偏差缓解方法，收集341篇文献，按干预过程分类，并分析评估实践，以支持从业者做出明智选择。
2023-10-11 cs.LG
A Comprehensive Survey on Aspect Based Sentiment Analysis
Vellore Institute Of Technology（韦洛尔理工大学）；School of Computer Science and Engineering- SCOPE（计算机科学与工程学院-SCOPE）
基于方面的情感分析（Aspect Based Sentiment Analysis，ABSA）是自然语言处理的一个分支，它主要是将数据分成方面，并最终提取情感信息。已知ABSA比一般的情感分析提供更多关于上下文的信息。在这项研究中，我们的目的是探索各种方法，同时执行ABSA，并提供一个比较研究。这份调查报告深入讨论了各种解决方案，并对它们进行了比较。并方便地分为几个部分，以获得对该过程的整体看法。
2020-06-08 cs.CL cs.LG
Privacy-Preserving Generative Models: A Comprehensive Survey
De Montfort University（德蒙福特大学）；University of Basel（巴塞尔大学）
本文通过分析100篇文献，系统综述了隐私保护生成模型，提出GANs和VAEs的隐私与效用指标新分类体系，并指出当前挑战与未来研究方向。
2025-02-05 cs.CR cs.LG
Machine Learning Innovations in CPR: A Comprehensive Survey on Enhanced Resuscitation Techniques
Concordia University（康考迪亚大学）；Aqaba University of Technology（亚喀巴科技大学）；Khalifa University（哈利法大学）；University of Alberta（阿尔伯塔大学）；Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）；Istinye University（伊斯蒂涅大学）；University of Waterloo（滑铁卢大学）
本文综述了机器学习与人工智能在心肺复苏中的应用，涵盖从传统方法到ML驱动方法的演变，并分析预测建模、AI设备及实时数据对复苏效果的提升，以及当前挑战与未来方向。
2024-11-03 cs.AI cs.LG
A Comprehensive Survey on Spectral Clustering with Graph Structure Learning
Queensland University of Technology (QUT)（昆士兰科技大学）；Graduate University of Advanced Technology（高等技术研究生院）；Ardakan University（阿尔达坎大学）；RMIT University（皇家墨尔本理工大学）
本综述系统梳理谱聚类方法，聚焦图结构学习（GSL）在构建相似图中的作用，涵盖多种图构建技术、单/多视图框架及信息融合，并指出挑战与未来方向，以提升大规模高维数据聚类性能。
2025-01-24 cs.LG
Graph ODEs and Beyond: A Comprehensive Survey on Integrating Differential Equations with Graph Neural Networks
Emory University（埃默里大学）；Amazon（亚马逊）
本综述全面回顾了图神经网络与微分方程交叉领域的研究，分类总结了现有方法的基本原理及其在分子建模、交通预测等领域的应用，并指出了未来的研究挑战与方向。
2025-06-26 cs.LG
From Activation to Initialization: Scaling Insights for Optimizing Neural Fields
Australian Institute of Machine Learning, University of Adelaide, Australia（澳大利亚机器学习研究所，阿德莱德大学，澳大利亚）；Amazon, Australia（亚马逊，澳大利亚）
本文探讨神经场中初始化与激活的相互作用，揭示网络初始化、架构选择与优化过程之间的深层联系，为设计高效神经场提供理论基础。
2026-03-13 cs.CV cs.LG
Multimodal Machine Learning for Real Estate Appraisal: A Comprehensive Survey
University of Technology Sydney（悉尼科技大学）
本综述系统梳理多模态机器学习在房地产评估中的应用，提出性能和融合两个研究问题，首次分类定义模态，并展望未来方向。
2025-03-28 cs.LG
Multimodality in Meta-Learning: A Comprehensive Survey
Lenovo Machine Intelligence Center（联想机器智能中心）；Delft University of Technology（代尔夫特理工大学）；The Chinese University of Hong Kong（香港中文大学）
元学习作为一种比传统机器学习方法更有效的训练框架已经得到了广泛的普及。然而，其在复杂任务分布，如多模态任务，泛化能力还没有得到深入研究。近年来，基于多模态的元学习研究不断涌现。本调查提供了一个全面的概述，基于多模态的元学习景观的方法和应用。我们首先形式化了多模态元学习的定义，以及在这个不断发展的领域中的研究挑战，例如如何在多模态场景中丰富少样本学习（FSL）或零样本学习（ZML）的输入，以及如何将模型推广到新的任务。然后，我们提出了一个新的分类系统讨论典型的元学习算法在多模态任务。我们调查了相关论文的贡献，并根据我们的分类法进行了总结。最后，我们提出了这个有前途的领域的潜在研究方向。
2022-05-07 cs.LG
Trust your neighbors: A comprehensive survey of neighborhood-based methods for recommender systems
Amazon（亚马逊）；The Ohio State University（俄亥俄州立大学）；École de Technologie Supérieure（高等技术学院）；University of Minnesota（明尼苏达大学）
基于最近邻的协作推荐方法由于其简单性、效率以及产生准确和个性化推荐的能力而在今天仍然非常流行。本章提供了一个全面的调查，基于邻域的方法的项目推荐问题。它提出了这样的方法的主要特点和好处，描述了关键的设计选择实现一个基于邻居的推荐系统，并给出了实际的信息，如何使这些选择。本章涵盖了广泛的方法，包括k-最近邻等传统算法以及基于矩阵分解、稀疏编码和随机游走的高级方法。
2021-09-09 cs.IR cs.LG
ReAct: Out-of-distribution Detection With Rectified Activations
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Facebook AI Research（Facebook人工智能研究院）
由于其在增强神经网络安全部署方面的实际重要性，分发外（OOD）检测近来受到了广泛关注。主要挑战之一是模型通常对OOD数据产生高度自信的预测，这破坏了OOD检测中的驱动原则，即模型应该只对分布样本有信心。在这项工作中，我们提出了ReAct-一种简单有效的技术，用于减少OOD数据上的模型过度自信。我们的方法的动机是新的分析内部激活的神经网络，它显示了高度独特的签名模式的OOD分布。我们的方法可以有效地推广到不同的网络架构和不同的OOD检测分数。我们经验证明，ReAct在一套全面的基准数据集上实现了具有竞争力的检测性能，并对我们的方法的有效性进行了理论解释。在ImageNet基准测试中，与之前的最佳方法相比，ReAct将假阳性率（FPR 95）降低了25.05%。
2021-11-24 cs.LG
A Comprehensive Survey of Deep Learning for Image Captioning
Murdoch University（莫道克大学）
生成图像的描述被称为图像描述。图像描述需要识别图像中的重要对象及其属性和关系。它还需要生成语法和语义正确的句子。基于深度学习的技术能够处理图像描述的复杂性和挑战。在这篇调查论文中，我们旨在对现有的基于深度学习的图像描述技术进行全面回顾。我们讨论了技术的基础，分析其性能，优势和局限性。我们还讨论了基于深度学习的自动图像描述中常用的数据集和评估指标。
2018-10-14 cs.CV cs.LG stat.ML
Feasibility of nowcasting SDG indicators: a comprehensive survey
UNCTAD（联合国贸易和发展会议）
《2030年议程》和伴随的可持续发展目标（SDG）对于指导国家和全球政策至关重要。然而，许多用于衡量这些目标进展的可持续发展目标指标都存在长期的出版滞后。即时预报有可能解决这一问题，并对这些指标作出更及时的估计。本文通过以下方式为实现这一潜力提供了资源：1）对所有可持续发展目标指标进行全面的即时预测可行性调查，以评估其即时预测的潜力; 2）对指标9.4.1进行案例研究，以说明并阐明进行即时预测的过程。SDG指标共有231项，但由于只考察一级指标，而且许多指标有多个子指标，最终调查了362项指标和子指标。在这362个候选人中，有150个被认为极有可能适合进行即时预报，87个被认为是可能的，125个被认为不适合。
2022-03-23 cs.CY cs.LG
Machine Learning for Network Slicing Resource Management: A Comprehensive Survey
University of Kaiserslautern（凯泽斯劳滕大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
新兴的多租户网络切片技术被认为是5G蜂窝网络的基本特征。它提供网络切片作为一种新型的公共云服务，从而增加了服务的灵活性，提高了网络资源的效率。同时，也对网络资源管理提出了新的挑战。近年来已经提出了许多各种方法，其中广泛地部署了机器学习和人工智能技术。在这篇文章中，我们提供了一个调查现有的网络切片资源管理的方法，突出了机器学习在其中所扮演的角色。
2020-01-22 cs.LG cs.NI
A Comprehensive Survey of Incentive Mechanism for Federated Learning
Northeastern University（东北大学）；HKUST（香港科技大学）；Hong Kong Baptist University（香港浸会大学）
联邦学习利用参与者提供的各种资源来协作训练全局模型，这可能解决机器学习的数据隐私问题。在这种有希望的范例中，如果在学习过程中没有足够的训练数据和其他资源，性能将恶化。因此，激励更多的参与者通过为联邦学习支付一些费用来贡献他们宝贵的资源是至关重要的。在本文中，我们提出了一个全面的调查联邦成员学习的激励计划。具体来说，我们确定了联邦学习中的激励问题，然后为各种方案提供了一个分类。随后，从主要技术角度对现有的激励机制进行了总结，如Stackelberg博弈、拍卖、契约理论、Shapley值、强化学习、区块链等。通过对已有研究成果的回顾和比较，提出了今后的研究方向.
2021-06-27 cs.GT cs.LG
The Deep Learning Compiler: A Comprehensive Survey
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）
在不同的深度学习硬件上部署各种深度学习（DL）模型的难度推动了社区中DL编译器的研究和开发。工业界和学术界已经提出了几种DL编译器，如Tensorflow XLA和TVM。类似地，DL编译器将不同DL框架中描述的DL模型作为输入，然后生成针对不同DL硬件的优化代码作为输出。然而，现有的研究还没有全面分析DL编译器独特的设计结构。在本文中，我们进行了全面的调查，现有的DL编译器的详细解剖常用的设计，重点是面向DL的多级IR，前端/后端优化。具体来说，我们提供了一个全面的比较现有的DL编译器从各个方面。此外，我们提出了详细的分析多电平IR的设计，并说明了常用的优化技术。最后，指出了DL编译器未来的研究方向.本文是第一篇针对深度学习编译器设计体系结构的综述性文章，希望能为深度学习编译器的进一步研究铺平道路。
2020-08-28 cs.DC cs.LG cs.PF
Adversarial Examples on Object Recognition: A Comprehensive Survey
Radboud University（拉德堡德大学）；Leiden University（莱顿大学）
深度神经网络处于机器学习研究的前沿。然而，尽管它们在复杂任务上取得了令人印象深刻的性能，但它们可能非常敏感：输入的微小扰动可能足以引起不正确的行为。这种扰动称为对抗性示例，旨在测试网络对分布漂移的敏感性。由于它们的规模小得惊人，大量的文献都在讨论它们的存在以及如何缓解这一现象。在这篇文章中，我们讨论了对抗性示例对神经网络的安全性、安全性和鲁棒性的影响。我们首先介绍它们存在背后的假设，用于构建或保护它们的方法，以及在不同机器学习模型之间传输对抗性示例的能力。总而言之，我们的目标是提供一个全面的和独立的调查这一不断增长的研究领域。
2020-09-03 cs.CV cs.LG
Exploration of Activation Fault Reliability in Quantized Systolic Array-Based DNN Accelerators
Tallinn University of Technology（塔林理工大学）；University of Alberta（阿尔伯塔大学）；Shahid Bahonar University of Kerman（克尔曼沙希德·巴霍纳尔大学）；York University（约克大学）；Mälardalen University（梅拉达伦大学）
本文提出一种全自动框架，系统评估量化对DNN加速器模型精度、激活故障可靠性和硬件效率的三方面影响，并集成轻量级保护技术以保障脉动阵列FPGA实现的可靠部署。
2024-01-17 cs.AR cs.LG
A Comprehensive Survey on Multi-hop Machine Reading Comprehension Datasets and Metrics
University of Isfahan（伊斯法罕大学）
多跳机器阅读理解是一个具有挑战性的任务，其目标是基于不同段落中不相交的信息片段来回答问题。评估指标和数据集是多跳MRC的重要组成部分，因为没有它们就不可能训练和评估模型，而且，数据集提出的挑战往往是改进现有模型的重要动机。由于人们对这一领域的关注日益增加，因此有必要对它们进行详细的审查。本研究旨在对多跳MRC评估指标和数据集的最新进展进行全面调查。在这方面，首先，多跳MRC问题的定义将被提出，然后基于他们的多跳方面的评估指标将被调查。此外，还详细审查了2017年至2022年的15个多跳数据集，并在最后准备了全面的分析。最后，讨论了这一领域的开放问题。
2022-12-08 cs.CL cs.LG
A Comprehensive Survey and Taxonomy on Single Image Dehazing Based on Deep Learning
Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）；Ocean University of China（中国海洋大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Anhui University（安徽大学）；The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
随着卷积神经网络的发展，已经提出了数百种基于深度学习的去雾方法。在本文中，我们提供了一个全面的调查监督，半监督和无监督的单图像去雾。我们首先讨论物理模型，数据集，网络模块，损失函数，和评估指标，是常用的。然后，对各种去雾算法的主要贡献进行了分类和总结。此外，定量和定性实验的各种基线方法进行。最后指出了有待解决的问题和挑战，对今后的研究具有启发意义。在\url{https://github.com/Xiaofeng-life/AwesomeDehazing}上可以找到一系列有用的除雾材料。
2022-12-20 cs.CV cs.LG
Latest Advancements Towards Catastrophic Forgetting under Data Scarcity: A Comprehensive Survey on Few-Shot Class Incremental Learning
University of South Australia（南澳大学）；University of Ljubljana（卢布尔雅那大学）
本文综述少样本类别增量学习（FSCIL）的最新进展，涵盖其目标、原型修正、预训练模型及语言引导新范式、性能分析与实际应用，提出挑战、解决方案与未来方向，助力应对数据稀缺下的持续学习问题。
2025-02-12 cs.AI cs.CV cs.LG
Comprehensive Literature Survey on Deep Learning used in Image Memorability Prediction and Modification
Indira Gandhi Delhi Technical University for Women（英迪拉·甘地德里女子技术大学）
作为人类，我们可以非常详细地记住某些视觉效果，有时甚至在看过一次之后。更有趣的是，人类倾向于记住和忘记相同的东西，这表明图像可能有一些一般的内部特征来编码和丢弃类似类型的信息。研究表明，有些图片往往比其他图片更容易记住。图像被不同的观看者记住的能力是其内在属性之一。在可视化和摄影中，创造令人难忘的图像是一项艰巨的任务。因此，为了解决这个问题，各种技术预测视觉记忆和操纵图像的记忆。我们提出了一个全面的文献调查，以评估用于预测和修改记忆力的深度学习技术。特别是，我们分析了使用卷积神经网络，递归神经网络和生成对抗网络的图像记忆预测和修改。
2023-01-18 cs.CV cs.LG
A Comprehensive Survey on Transfer Learning
University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc.（百度公司）；Rutgers, the State University of New Jersey（罗格斯新泽西州立大学）
迁移学习旨在通过迁移不同但相关的源域中的知识来提高目标学习者在目标域中的表现。通过这种方式，可以减少构建目标学习器对大量目标领域数据的依赖。迁移学习由于其广泛的应用前景，已成为机器学习中一个热门和有前途的研究领域。虽然已经有一些关于迁移学习的有价值和令人印象深刻的调查，但这些调查以相对孤立的方式介绍方法，缺乏迁移学习的最新进展。由于迁移学习领域的迅速扩大，全面回顾相关研究既有必要，也具有挑战性。本研究试图对现有的迁移学习研究进行梳理和整合，并对迁移学习的机制和策略进行全面的总结和阐释，以帮助读者更好地了解当前的研究现状和研究思路。与以往的调查不同，本文从数据和模型的角度，对四十多种有代表性的迁移学习方法，特别是同质性迁移学习方法进行了综述。并简要介绍了迁移学习的应用。为了展示不同的迁移学习模型的性能，使用了二十多个具有代表性的迁移学习模型进行实验。模型在三个不同的数据集上执行，即，亚马逊评论，路透社-21578和Office-31。实验结果表明，在实际应用中，针对不同的应用选择合适的迁移学习模型是非常重要的。
2020-06-23 cs.LG stat.ML
A Comprehensive Survey of Reinforcement Learning: From Algorithms to Practical Challenges
Wilfrid Laurier University（劳里埃大学）
本文全面综述强化学习算法，从基础表格方法到深度强化学习技术，按可扩展性和样本效率等标准分类评估，并提供算法选择与实现的实用见解。
2025-02-01 cs.AI cs.LG
A Unified Framework for Generative Data Augmentation: A Comprehensive Survey
本论文全面综述了生成式数据增强（GDA）领域，提出了统一框架以系统分析模型选择、数据选择等关键方面，揭示了缺乏通用基准等研究空白，并指出了未来的重要研究方向。
2024-04-21 cs.AI cs.LG
Preference Alignment on Diffusion Model: A Comprehensive Survey for Image Generation and Editing
University of Liverpool（利物浦大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Edinburgh（爱丁堡大学）；University of Bristol（布里斯托大学）；University of Exeter（埃克塞特大学）
本文针对扩散模型与偏好对齐交叉领域缺乏系统综述的问题，全面调研了相关优化技术（如RLHF、DPO）及其在图像生成与编辑中的应用，是该主题首篇综述，为未来创新提供见解。
2025-02-10 cs.CV cs.LG
Topology-aware Federated Learning in Edge Computing: A Comprehensive Survey
University of Calgary（卡尔加里大学）；Michigan State University（密歇根州立大学）
本文系统综述了边缘计算中拓扑感知的联邦学习方法，分析了星形拓扑的局限及其他边缘网络拓扑的优劣，并总结了该领域面临的挑战与未来研究方向。
2024-06-17 cs.DC cs.LG
Knowledge Integration Strategies in Autonomous Vehicle Prediction and Planning: A Comprehensive Survey
Freie Universität Berlin（柏林自由大学）；Continental Automotive Technologies GmbH（大陆汽车技术有限公司）；Fraunhofer FOKUS Berlin（弗劳恩霍夫研究所柏林）
本综述系统梳理自动驾驶轨迹预测与规划中的知识集成方法，分类分析符号到神经符号架构，并指出可解释AI、形式化验证及混合方法等未来趋势。
2025-05-22 cs.AI cs.LG
