Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions
Brown University（布朗大学）；Harvard University（哈佛大学）
我们提出了一种新型的神经网络，克罗内克神经网络（KNN），形成了一个通用的框架，神经网络的自适应激活函数。KNN使用Kronecker乘积，它提供了一种有效的方法来构建一个非常广泛的网络，同时保持参数的数量很低。我们的理论分析表明，在适当的条件下，KNN诱导的损失比前馈网络的衰减更快。这也通过一组计算实例进行了经验验证。此外，在一定的技术假设下，我们建立了KNN的梯度下降的全局收敛性。作为一个特定的情况下，我们提出了Rowdy激活函数，旨在摆脱任何饱和区域注入正弦波动，其中包括可训练的参数。所提出的Rowdy激活函数可以用于任何神经网络结构，如前馈神经网络、递归神经网络、卷积神经网络等。通过各种计算实验，包括使用前馈神经网络的函数逼近，使用物理信息神经网络的偏微分方程的解推理，以及使用卷积和全连接神经网络的标准深度学习基准问题。
2021-10-19 cs.LG
Smooth function approximation by deep neural networks with general activation functions
Seoul National University（首尔大学）
人们对深度神经网络的表达能力越来越感兴趣。然而，关于这个主题的大多数现有工作只关注特定的激活函数，如ReLU或sigmoid。在本文中，我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度，宽度和稀疏性的深度神经网络，以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析，我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
Padé Activation Units: End-to-end Learning of Flexible Activation Functions in Deep Networks
TU Darmstadt（达姆施塔特工业大学）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）
深度网络学习的性能在很大程度上取决于与每个神经元相关联的非线性激活函数的选择。然而，决定最佳激活并不简单，选择取决于架构，超参数，甚至数据集。通常，这些激活在训练之前用手固定。在这里，我们演示了如何通过使用灵活的参数有理函数来消除对第一次拾取固定激活函数的依赖。由此产生的Padé激活单元（PAU）既可以近似常见的激活函数，也可以学习新的，同时提供紧凑的表示。我们的经验证据表明，使用PAU的端到端学习深度网络可以提高预测性能。此外，PAU为具有可证明鲁棒性的近似铺平了道路。https://github.com/ml-research/pau
2020-02-04 cs.LG cs.NE
ReCA: A Parametric ReLU Composite Activation Function
Lebanese American University（黎巴嫩美国大学）
针对深度神经网络最优激活函数尚未确定的问题，本文提出基于 ReLU 的新型参数化复合激活函数 ReCA，并在多种复杂架构和先进数据集上验证其优于所有基线。
2025-07-26 cs.LG
Activation Ensembles for Deep Neural Networks
Northwestern University（西北大学）
过去已经提出了许多激活函数，但是选择一个合适的激活函数需要反复试验。我们提出了一种新的方法来设计激活函数内的神经网络在每一层。我们称这种技术为“激活集成”，因为它允许在每一层使用多个激活函数。这是通过在网络的每个激活层引入附加变量$α$来实现的，以允许多个激活函数在每个神经元处激活。通过设计，在神经元处具有较大$α$值的激活等效于具有最大幅度。因此，那些更高幅度的激活被网络“选择”。我们使用前馈和卷积神经网络阵列在各种数据集上实现激活集成。通过使用激活集成，我们实现了优于传统技术的结果。此外，由于这种方法的灵活性，我们更深入地探索激活函数及其捕获的功能。
2017-02-24 cs.LG stat.ML
Convergence of Deep Neural Networks with General Activation Functions and Pooling
深度神经网络作为一种表示高维复杂函数的强大系统，在深度学习中发挥着关键作用。深度神经网络的收敛是为深度学习建立数学基础的基本问题。我们在最近的两项研究中研究了深度ReLU网络和深度卷积神经网络的收敛性（arXiv：2107.12530，2109.13542）。其中仅研究了整流线性单元（ReLU）激活，而没有考虑重要的池化策略。在目前的工作中，我们研究了深度神经网络的收敛性，因为深度趋于无穷大，另外两个重要的激活函数：泄漏ReLU和sigmoid函数。还将研究合并。因此，我们证明了arXiv：2107.12530，2109.13542中建立的充分条件对于泄漏ReLU网络仍然是充分的。对于收缩激活函数，如sigmoid函数，我们建立了一个较弱的深度神经网络一致收敛的充分条件。
2022-10-01 cs.LG math.FA
Towards an understanding of CNNs: analysing the recovery of activation pathways via Deep Convolutional Sparse Coding
University of Oxford（牛津大学）；The Alan Turing Institute（阿兰·图灵研究所）
深度卷积稀疏编码（D-CSC）是一种让人想起深度卷积神经网络（DCNN）的框架，但通过省略字典的学习，可以更透明地分析激活函数的作用及其通过层恢复激活路径的能力。Papyan、Romano和Elad对这种架构进行了分析，展示了与DCNN的关系，并证明了保证D-CSC恢复特定激活路径的条件。他们工作的一项技术创新突出表明，人们可以通过张量稀疏性的新变体（称为条带稀疏性）来查看DCNN的ReLU非线性激活函数的功效。利用这一点，他们证明了具有与数据的环境维度成比例的激活密度的表示是可恢复的。我们将其统一的保证扩展到修改后的模型，并证明了具有高概率的真实激活通常可以恢复为每层更大的激活密度。我们的扩展如下，将以前的工作一步阈值Schnass和Vandergheynst。
2021-06-01 cs.LG stat.ML
Adaptive Blending Units: Trainable Activation Functions for Deep Neural Networks
Institute for Cognitive Science（认知科学研究所）；Osnabrück University（奥斯纳布吕克大学）
当前深度前馈神经网络中最广泛使用的激活函数是整流线性单元（ReLU），并且许多替代方案也已成功应用。然而，没有一种替代方案能够始终优于其他方案，并且没有统一的理论将任务和网络的属性与激活函数的属性联系起来，以实现最有效的训练。一个可能的解决方案是让网络学习它的首选激活函数。在这项工作中，我们引入自适应混合单元（ABU），一组激活函数的可训练线性组合。由于ABU学习形状，以及激活函数的整体缩放，我们还分析了自适应缩放在常见激活函数中的效果。我们的实验证明了自适应缩放和ABU的优势，共同的激活函数在一组系统不同的网络规范。我们进一步表明，自适应缩放的工作原理，减轻协变量偏移，在训练过程中，和ABU的性能观察到的优势同样在很大程度上依赖于激活函数的能力，以适应在训练过程中。
2018-06-26 cs.LG stat.ML
A survey on recently proposed activation functions for Deep Learning
人工神经网络（ANN），通常被称为神经网络，是一类机器学习算法，并且已经取得了广泛的成功，其灵感来自于人类大脑的生物结构。神经网络具有从数据中学习复杂函数近似的能力，因此具有固有的强大功能。这种泛化能力已经能够影响涉及图像识别、语音识别、自然语言处理等的多学科领域。激活函数是神经网络的重要组成部分。它们定义了给定一组输入的网络中一个节点的输出。本综述讨论了神经网络中激活函数的主要概念，包括：深度神经网络简介，什么是激活函数及其如何在神经网络中使用的总结，它们最常见的属性，不同类型的激活函数，激活函数面临的一些挑战，限制和替代解决方案，最后的评论。
2022-04-07 cs.AI cs.LG
Comparison of non-linear activation functions for deep neural networks on MNIST classification task
University of Edinburgh（爱丁堡大学）
激活函数在神经网络中起着关键的作用，因此了解它们的优点和缺点以获得更好的性能成为基础。本文将首先介绍非线性激活函数的常见类型，这是众所周知的sigmoid函数的替代品，然后评估它们的特性。此外，将分析更深的神经网络，因为与较浅的网络相比，它们对最终性能有积极影响。它们还严格依赖于权重初始化，因此将分析从高斯和均匀分布中提取权重的效果，特别注意到节点的传入和传出连接的数量如何影响整个网络。
2018-04-08 cs.LG stat.ML
Deep Global-Connected Net With The Generalized Multi-Piecewise ReLU Activation in Deep Learning
University of Waterloo（滑铁卢大学）
近年来的研究表明，在计算机视觉领域，利用卷积神经网络的隐层神经元，结合精心设计的激活函数，可以获得更好的分类结果。本文首先介绍了一种新的深度学习架构，旨在减轻梯度消失问题，其中前隐层神经元可以直接与最后一个隐层连接，并馈送到最后一层进行分类。然后，我们设计了一个广义线性整流函数作为激活函数，可以通过训练的参数来逼近任意复杂的函数。我们将证明，我们的设计可以在一些对象识别和视频动作基准任务中实现类似的性能，在参数数量少得多和网络基础设施浅的情况下，这不仅在计算负担和内存使用方面有前途，而且也适用于低计算，低内存的移动场景。
2018-06-19 cs.CV cs.LG
Parametric Leaky Tanh: A New Hybrid Activation Function for Deep Learning
London South Bank University（伦敦南岸大学）；IST College（IST学院）
提出PLTanh混合激活函数，结合Tanh与LReLU优势，解决死亡ReLU问题，在五个数据集上优于ReLU、LReLU和ALReLU。
2023-08-11 cs.LG cs.NE
SMU: smooth activation function for deep networks using smoothing maximum technique
深度学习研究人员对提出两种新的激活函数有浓厚的兴趣，它们可以提高网络性能。激活函数的良好选择可以在改善网络性能方面具有显著的效果。手工激活是神经网络模型中最常见的选择。ReLU是深度学习社区中最常见的选择，因为它的简单性，尽管ReLU有一些严重的缺点。在本文中，我们提出了一种新的激活函数，它基于对Leaky ReLU等已知激活函数的近似，我们称之为Smooth Maximum Unit（SMU）。用SMU代替ReLU，我们使用ShuffleNet V2模型在CIFAR100数据集上获得了6.22%的改进。
2022-04-11 cs.AI cs.CV cs.LG
Activation Functions: Comparison of trends in Practice and Research for Deep Learning
University of Strathclyde（思克莱德大学）
深度神经网络已经成功地用于各种新兴领域，以解决现实世界的复杂问题，迄今为止开发了更多的深度学习（DL）架构。为了实现这些最先进的性能，DL架构使用激活函数（AF）来执行任何给定DL架构的隐藏层和输出层之间的各种计算。本文对深度学习应用中使用的现有AF进行了调查，并重点介绍了深度学习应用中使用激活函数的最新趋势。本文的新颖之处在于，它汇编了DL中使用的大多数AF，并根据最先进的研究结果概述了这些功能在实际深度学习部署中的应用和使用的当前趋势。此编译将有助于在为任何给定的应用程序选择最合适和适当的激活函数时做出有效的决策，以备部署。本文是及时的，因为大多数关于AF的研究论文都强调了类似的工作和结果，而本文将是第一篇，根据文献中的研究结果，汇编AF应用在实践中的趋势，迄今为止在深度学习研究中发现。
2018-11-08 cs.CV cs.LG
Orthogonal-Padé Activation Functions: Trainable Activation functions for smooth and faster convergence in deep networks
我们提出了正交Padé激活函数，这是一种可训练的激活函数，表明它们具有更快的学习能力，并提高了标准深度学习数据集和模型的准确性。基于我们的实验，我们已经找到了两个最好的候选人，我们称之为安全的Hermite-Pade（HP）激活函数，即HP-1和HP-2的六个正交Pade激活。与ReLU相比，HP-1和HP-2在PreActResNet-34中的top-1准确度分别增加了5.06%和4.63%，在CIFAR 100数据集上的MobileNet V2模型中分别增加了3.02%和2.75%，而在CIFAR 10数据集上，PreActResNet-34中的top-1准确度分别增加了2.02%和1.78%，LeNet分别增长2.24%和2.06%，Efficientnet B 0分别增长2.15%和2.03%。
2021-06-17 cs.AI cs.CV cs.LG
On the Selection of Initialization and Activation Function for Deep Neural Networks
University of Oxford（牛津大学）
深度神经网络的权值初始化和激活函数对训练过程的性能有着至关重要的影响。不适当的选择可能导致前向传播期间输入信息的丢失以及反向传播期间梯度的指数消失/爆炸。理解未经训练的随机网络的理论特性是识别哪些深度网络可以成功训练的关键，Schoenholz等人（2017）最近证明了这一点，他们表明，对于深度前馈神经网络，只有特定选择的超参数（称为“混沌边缘”）才能获得良好的性能。我们通过提供定量结果来完成这一分析，结果表明，对于一类类似ReLU的激活函数，信息在混沌边缘的初始化确实传播得更深。通过进一步扩展这种分析，我们确定了一类激活函数，提高了信息传播的ReLU类功能。该类包括Hendrycks & Gimpel（2016）、Elfwing等人（2017）和Ramachandran等人（2017）中使用的Swish激活$ϕ_{swish}(x) = x \cdot \text{sigmoid}(x)$。这为在这些贡献中观察到的$ϕ_{swish}$的优良经验性能提供了理论基础。我们补充了以前的结果，说明了在这种情况下，使用随机初始化的混沌边缘的好处。
2018-10-07 cs.LG stat.ML
Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant
École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
本研究提出一种学习深度神经网络可训练激活函数的变分框架，在控制Lipschitz常数上界的同时提升网络容量，通过证明线性样条解的存在性将问题简化为带l1惩罚的有限维优化，实验验证其优于ReLU类激活函数。
2020-08-07 cs.LG stat.ML
Reducing Information Bottleneck for Weakly Supervised Semantic Segmentation
Seoul National University（首尔大学）
弱监督的语义分割从类标签产生像素级定位;然而，在这样的标签上训练的分类器可能集中在目标对象的小的区分区域上。我们使用信息瓶颈原理来解释这种现象：由sigmoid或softmax激活函数激活的深度神经网络的最后一层会导致信息瓶颈，因此，只有一部分任务相关信息被传递到输出。我们首先通过一个模拟的玩具实验来支持这一论点，然后提出了一种通过删除最后一个激活函数来减少信息瓶颈的方法。此外，我们引入了一种新的池化方法，进一步鼓励信息从非歧视性区域的分类传输。我们的实验评估表明，这种简单的修改显着提高了PASCAL VOC 2012和MS COCO 2014数据集上的定位图的质量，为弱监督语义分割展示了新的最先进的性能。该代码可从以下网址获得：https://github.com/jbeomlee93/RIB。
2021-10-13 cs.CV cs.LG
Sisyphus: A Cautionary Tale of Using Low-Degree Polynomial Activations in Privacy-Preserving Deep Learning
New York University（纽约大学）
客户端-服务器机器学习中的隐私问题已经引起了私有推理（PI），其中神经推理直接发生在加密输入上。PI保护客户的个人数据和服务器的知识产权。PI中的一个常见做法是使用乱码电路私下计算非线性函数，即ReLU。然而，乱码电路遭受高存储、带宽和延迟成本。为了缓解这些问题，已经采用PI友好的多项式激活函数来取代ReLU。在这项工作中，我们要求：用低次多项式激活函数替代所有ReLU来构建深度隐私友好的神经网络是否可行？我们通过分析用多项式替代ReLU的挑战来探索这个问题，从简单的丢弃和替换解决方案开始，到新颖的，更复杂的替换和重新训练策略。我们检查每种方法的局限性，并提供评论使用多项式激活函数PI。我们发现所有评估的解决方案都存在逃逸激活问题：前向激活值不可避免地开始以指数速率从多项式的稳定区域扩展，这导致爆炸值（NaN）或差的近似。
2021-11-02 cs.CR cs.LG
ARiA: Utilizing Richard's Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets
Michigan Technological University（密歇根理工大学）；Symbiosis Centre for Medical Image Analysis（共生医学图像分析中心）；Symbiosis Institute of Technology（共生技术学院）
这项工作引入了一种新的激活单元，可以有效地用于深度神经网络（DNN），并且比传统的整流线性单元（ReLU）表现得更好。开发的函数是专门的理查德曲线的两个参数版本，我们称之为自适应理查德曲线加权激活（ARiA）。该函数是非单调的，类似于新引入的Swish，但是允许通过改变超参数来精确控制其非单调凸性。我们首先展示了两个参数ARiA的数学意义，然后将其应用于MNIST、CIFAR-10和CIFAR-100等基准问题，并将其与ReLU和Swish单元进行了性能比较。我们的研究结果表明，ARiA在所有这些数据集上都具有显著的优越性能，使其成为DNN中ReLU和其他激活的潜在替代品。
2018-05-22 cs.LG cs.NE
Deep Network Approximation: Beyond ReLU to Diverse Activation Functions
本文研究了深度神经网络对多种激活函数的表达能力，证明了ReLU网络可通过特定激活函数网络近似，且在特定子集下可进一步减小规模参数。
2026-06-24 cs.LG stat.ML
ErfReLU: Adaptive Activation Function for Deep Neural Network
National Institute of Technology Raipur（赖布尔国家理工学院）
本文提出基于 erf 与 ReLU 的新型自适应激活函数 ErfReLU，并在多种网络和基准数据集上与 9 种可训练激活函数进行性能比较。
2023-06-02 cs.LG cs.NE
Adaptive Activation Network and Functional Regularization for Efficient and Flexible Deep Multi-Task Learning
Stony Brook University（石溪大学）；Tencent AI Lab（腾讯人工智能实验室）
多任务学习是一种通过同时训练相关任务来提高任务学习泛化性能的学习范式。然而，寻找一种灵活、准确的、能够在多个任务之间共享的体系结构仍然是一个具有挑战性的问题。在本文中，我们提出了一种新的深度学习模型，称为任务自适应激活网络（TAAN），可以自动学习MTL的最佳网络架构。TAAN的主要原理是在网络其他参数完全共享的情况下，从数据中导出针对不同任务的灵活激活函数。我们进一步提出了两个功能的正则化方法，提高MTL性能的TAAN。综合实验证明了TAAN和正则化方法的性能改善。
2019-11-19 cs.LG stat.ML
Learning Activation Functions to Improve Deep Neural Networks
University of California - Irvine（加州大学尔湾分校）；Adobe Research（奥多比研究院）
人工神经网络通常在每个神经元处具有固定的非线性激活函数。我们设计了一种新形式的分段线性激活函数，它使用梯度下降为每个神经元独立学习。通过这种自适应激活函数，我们能够改进由静态整流线性单元组成的深度神经网络架构，在CIFAR-10（7.51%）、CIFAR-100（30.83%）以及涉及希格斯玻色子衰变模式的高能物理学基准上实现最先进的性能。
2015-04-21 cs.CV cs.LG cs.NE
APALU: A Trainable, Adaptive Activation Function for Deep Learning Networks
Stanford University（斯坦福大学）；Kyungpook National University（庆北国立大学）
本文提出一种可训练的自适应分段近似激活线性单元（APALU），通过动态适应复杂数据表示提升深度学习性能，在图像分类、异常检测、手语识别及回归等多任务上显著超越传统激活函数。
2025-11-02 cs.LG cs.NE
Effects of the Nonlinearity in Activation Functions on the Performance of Deep Learning Models
Texas Southern University（德克萨斯南方大学）；Prairie View A & M University（Prairie View A & M 大学）
深度学习模型中使用的激活函数的非线性对于预测模型的成功至关重要。有几种常用的简单非线性函数，包括整流线性单元（ReLU）和泄漏ReLU（L-ReLU）。在实际应用中，这些功能显著提高了模型的精度。然而，在为什么某些模型比其他模型表现更好方面，对这些非线性激活函数的功能的了解有限。在这里，我们研究了在不同的模型架构和数据域中使用ReLU或L-ReLU作为激活函数时的模型性能。有趣的是，我们发现当模型中可训练参数的数量相对较少时，L-ReLU的应用最有效。此外，我们发现图像分类模型似乎在完全连接的层中使用L-ReLU表现良好，特别是当预训练的模型（如VGG-16）用于迁移学习时。
2020-10-14 cs.AI cs.LG
Is it Time to Swish? Comparing Deep Learning Activation Functions Across NLP tasks
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（普适知识处理实验室（UKP-TUDA））；Department of Computer Science（计算机科学系）；Technische Universität Darmstadt（达姆施塔特工业大学）
激活函数在神经网络中起着至关重要的作用，因为它们是归因于深度学习成功故事的非线性。目前最流行的激活函数之一是ReLU，但最近已经提出或“发现”了几个竞争对手，包括LReLU函数和swish。虽然大多数作品在少数任务（通常来自图像分类）上比较新提出的激活函数，并与少数竞争对手（通常是ReLU）进行比较，但我们在8个不同的NLP任务中对21个激活函数进行了首次大规模比较。我们发现，一个很大程度上未知的激活函数执行最稳定的所有任务，所谓的惩罚双曲正切函数。我们还表明，它可以成功地取代LSTM单元中的sigmoid和tanh门，在具有挑战性的NLP任务中，比标准选择提高了2个百分点。
2019-01-09 cs.CL cs.LG cs.NE
Convergence of Deep ReLU Networks
Old Dominion University（老道明大学）；Sun Yat-sen University（中山大学）
我们探索了深度神经网络与流行的ReLU激活函数的收敛性，因为网络的深度趋于无穷大。为此，我们引入了ReLU网络的激活域和激活矩阵的概念。通过将ReLU激活函数的应用替换为激活域上的激活矩阵的乘法，我们获得了ReLU网络的显式表达式。然后，我们将ReLU网络的收敛性确定为一类矩阵的无穷乘积的收敛性。研究了这些矩阵的无穷乘积收敛的充要条件。因此，我们建立了ReLU网络收敛的必要条件，即当ReLU网络的深度增加到无穷大时，权重矩阵序列收敛到单位矩阵，偏置向量序列收敛到零。此外，我们获得了深层ReLU网络逐点收敛的隐层权重矩阵和偏置向量的充分条件。这些结果为图像分类中著名的深度残差网络的设计策略提供了数学见解。
2023-01-10 cs.LG math.FA
APTx: better activation function than MISH, SWISH, and ReLU's variants used in deep learning
Meerut Institute of Engineering and Technology（密拉特工程技术学院）
本文提出APTx激活函数，其性能与MISH相当，但计算量更少，可加速训练并降低硬件需求。
2025-09-26 cs.AI cs.CV cs.LG
Deep Learning-Based Survival Analysis with Copula-Based Activation Functions for Multivariate Response Prediction
Statistics Discipline, Division of Science and Mathematics, University of Minnesota-Morris（明尼苏达州立大学莫里斯分校统计学系）；EGADE Business School, Tecnológico de Monterrey（墨西哥蒙特雷技术学院EGADE商学院）；Department of Statistics and Data Science, Pukyong National University（浦项国立大学统计学与数据科学系）；Department of Management Information Systems, Dong-A University（东阿大学管理信息系）
本文提出将Copula激活函数与CNN-LSTM结合，用于处理高度相关且右删失的多变量生存数据，并通过模拟和乳腺癌数据验证其预测精度。
2025-07-19 cs.LG stat.ML
An Integer Programming Approach to Deep Neural Networks with Binary Activation Functions
RWTH Aachen University（亚琛工业大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；Stellenbosch University（斯泰伦博斯大学）
我们研究了具有二元激活函数（BDNN）的深度神经网络，即激活函数只有两个状态。我们表明，BDNN可以重新制定为一个混合整数线性规划，可以解决经典的整数规划求解器的全局最优性。此外，一个启发式求解算法，我们研究了数据不确定性下的模型，采用两阶段的鲁棒优化方法。我们在随机和真实数据集上实现了我们的方法，并表明BDNN的启发式版本在乳腺癌威斯康星数据集上的表现优于经典的深度神经网络，而在随机数据上的表现更差。
2020-08-07 cs.LG cs.NE math.OC
Efficient Search for Customized Activation Functions with Gradient Descent
University of Freiburg（弗赖堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
本研究提出基于梯度下降的细粒度搜索单元，通过组合基础数学运算高效搜索定制化激活函数，提升多类模型性能且迁移性强，效率远超此前方法，可便捷应用于各类深度学习流水线。
2024-08-13 cs.AI cs.LG
Flatten-T Swish: a thresholded ReLU-Swish-like activation function for deep learning
Universiti Tun Hussein Onn Malaysia（马来西亚敦胡先翁大学）；Institute of Engineering and Management（工程与管理学院）
激活函数对于深度学习方法学习和执行复杂任务（如图像分类）至关重要。自2012年以来，修正线性单元（ReLU）已被广泛使用，并成为深度学习社区的默认激活函数。尽管ReLU很受欢迎，但是ReLU的硬零属性严重阻碍了负值在网络中的传播。因此，深度神经网络没有从负面表示中受益。在这项工作中，一个激活函数称为平坦T Swish（FTS），利用负值的好处提出。为了验证其性能，本研究使用ReLU和几个最近的激活函数评估FTS。每个激活函数使用MNIST数据集在五个不同的深度全连接神经网络（DFNN）上进行训练，深度从五层到八层不等。为了公平评估，所有DFNN都使用相同的配置设置。实验结果表明，阈值T=-0.20的FTS具有最好的综合性能。与ReLU相比，FTS（T=-0.20）在较宽的5层、较细的5层、6层、7层和8层DFNN上分别将MNIST分类精度提高了0.13%、0.70%、0.67%、1.07%和1.15%。除此之外，该研究还注意到FTS的收敛速度是ReLU的两倍。虽然也评价了其他现有激活函数，但本研究选择ReLU作为基线激活函数。
2018-12-15 cs.LG cs.NE stat.ML
On the Importance of Normalisation Layers in Deep Learning with Piecewise Linear Activation Units
ARC Centre of Excellence for Robotic Vision（ARC机器人视觉卓越中心）；University of Adelaide（阿德莱德大学）
具有分段线性激活的深度前馈神经网络目前正在几个公共数据集中产生最先进的结果。深度学习模型和分段线性激活函数的组合允许使用大量专门用于相似输入示例分类的子网络来估计指数复杂函数。在训练过程中，这些子网络避免了隐式正则化方案的过拟合，因为它们必须与其他子网络共享参数。使用这个框架，我们做了一个实证观察，可以提高这些模型的性能。我们注意到，这些模型假设一个平衡的初始分布的数据点相对于域的分段线性激活函数。如果违反该假设，则分段线性激活单元可以退化为纯线性激活单元，这可能导致其学习复杂函数的能力显著降低。此外，随着模型层数的增加，这种不平衡的初始分布使模型病态。因此，我们建议将批量归一化单元引入具有分段线性激活的深度前馈神经网络中，这将推动这些激活单元的更平衡使用，其中激活函数的每个区域都使用相对较大比例的训练样本进行训练。此外，这种批量标准化促进了非常深度学习模型的预处理。我们表明，通过在网络模型中向网络引入maxout和批量归一化单元，可以产生比CIFAR-10，CIFAR-100，MNIST和SVHN数据集的当前最先进水平更好或相当的分类结果。
2015-11-01 cs.CV cs.LG cs.NE
Empirical analysis of non-linear activation functions for Deep Neural Networks in classification tasks
University of Edinburgh（爱丁堡大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提供了在神经网络架构中的几个非线性激活函数的概述，这些函数在许多机器学习应用中已经被证明是成功的。我们进行了实证分析的有效性使用这些功能的MNIST分类任务，目的是澄清哪些功能产生最好的结果。基于这第一组结果，我们研究了构建具有越来越多隐藏层的更深架构的影响。我们还调查的影响，在同一个任务，不同的初始化方案的权重，我们的神经网络。使用这些实验集作为基础，我们得出结论，提供了一个最佳的神经网络架构，产生令人印象深刻的结果，在MNIST分类任务的准确性。
2017-10-30 cs.LG stat.ML
Review and Comparison of Commonly Used Activation Functions for Deep Neural Networks
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
神经网络的主要决策单元是激活函数。此外，它们评估网络神经节点的输出，因此，它们对整个网络的性能至关重要。因此，在神经网络计算中，选择最合适的激活函数是至关重要的。Acharya等人（2018）认为，多年来已经制定了许多配方，尽管其中一些配方现在被认为是不受欢迎的，因为它们在某些条件下无法正常运行。这些功能有各种各样的特征，这些特征被认为是成功学习的关键。它们的单调性，个别导数和有限的范围是其中的一些特征（Bach 2017）。本文将评估常用的加法函数，如swish，ReLU，Sigmoid等。这将是其次是他们的属性，自己的缺点和优点，并特别公式应用建议。
2020-10-15 cs.LG cs.NE
Toward Improving fNIRS Classification: A Study on Activation Functions in Deep Neural Architectures
Department of Electrical, Computer, & Biomedical Engineering, University of Rhode Island（罗德岛大学电气、计算机与生物医学工程系）；St. Jude Children’s Research Hospital（圣 Jude儿童研究医院）；Miner School of Computer and Information Sciences at University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校矿学院）
本研究系统评估了多种激活函数在 fNIRS 分类任务中的表现，发现对称激活函数（如 Tanh 和 Abs(x)）在特定架构中优于 ReLU，强调了激活函数选择与信号特征匹配的重要性。
2025-07-15 cs.AI cs.LG
Interpolation with deep neural networks with non-polynomial activations: necessary and sufficient numbers of neurons
University of British Columbia（不列颠哥伦比亚大学）
该研究证明只要激活函数在某点实解析且非多项式，前馈神经网络插值n个通用输入输出对仅需Θ(√(nd'))个神经元，突破了此前仅适用于特定激活函数的限制，表明可依问题自由选激活函数且不损失插值能力。
2024-09-16 cs.LG math.OC
GELU Activation Function in Deep Learning: A Comprehensive Mathematical Analysis and Performance
Chung-Ang University（中央大学）
本研究对GELU激活函数进行了严格的数学性质分析，并通过在CIFAR等数据集上的残差卷积网络实验，证明其性能优于ReLU等传统函数，为深度学习实践者选择激活函数提供了有价值的见解。
2023-08-01 cs.AI cs.CV cs.LG
MorphoActivation: Generalizing ReLU activation function by mathematical morphology
MINES Paris（巴黎矿业学院）；PSL University（巴黎文理研究大学）；Centre for mathematical morphology (CMM)（数学形态学中心（CMM））
利用数学形态学的代数基础，分析了深度卷积神经网络（DCNN）的非线性激活函数和空间最大池化问题。此外，一般家庭的激活函数提出了考虑最大池和非线性算子的形态表示的上下文中。实验部分验证了我们的方法在经典的DCNN监督学习基准测试上的良好性。
2022-07-13 cs.DM cs.LG eess.IV
Evolutionary Optimization of Deep Learning Activation Functions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cognizant Technology Solutions（高知特技术解决方案公司）
激活函数的选择对神经网络的性能有很大的影响。虽然已经有一些尝试手动设计新颖的激活函数，但整流线性单元（ReLU）仍然是实践中最常用的。本文表明，进化算法可以发现新的激活函数，优于ReLU。候选激活函数的树为基础的搜索空间的定义和探索变异，交叉和穷举搜索。在CIFAR-10和CIFAR-100图像数据集上训练宽残差网络的实验表明，该方法是有效的。用进化的激活函数取代ReLU，可以显著提高网络准确性。当进化被允许定制激活函数到一个特定的任务时，达到最佳性能;然而，这些新的激活函数被证明是通用的，实现跨任务的高性能。因此，激活函数的进化优化是神经网络中元学习的一个有前途的新维度。
2020-04-11 cs.CV cs.LG cs.NE
ProbAct: A Probabilistic Activation Function for Deep Neural Networks
University of Kaiserslautern（凯泽斯劳滕大学）；Kyushu University（九州大学）；University of Rochester（罗切斯特大学）；DFKI（德国人工智能研究中心）
激活函数在人工神经网络的训练中起着重要的作用。目前使用的大多数激活函数本质上是确定性的，具有固定的输入-输出关系。在这项工作中，我们提出了一种新的概率激活函数，称为ProbAct。ProbAct被分解为均值和方差，输出值从形成的分布中采样，使ProbAct成为随机激活函数。均值和方差的值可以使用已知函数固定或针对每个元素进行训练。在可训练ProbAct中，激活分布的均值和方差在反向传播框架内与其他参数一起训练。我们表明，通过ProbAct诱导的随机扰动作为一个可行的推广技术的功能增强。在我们的实验中，我们比较了ProbAct与众所周知的激活函数在不同模态的分类任务：图像（CIFAR-10，CIFAR-100和STL-10）和文本（大电影评论）。我们表明，与ReLU或其他传统的激活函数相比，ProbAct在原始数据集上以及当数据集减少到原始大小的50%和25%时，将分类精度提高了+2-3%。最后，我们表明，ProbAct学习的合奏模型本身，可用于估计与预测相关的不确定性，并提供鲁棒性噪声输入。
2020-06-16 cs.LG cs.NE
FitAct: Error Resilient Deep Neural Networks via Fine-Grained Post-Trainable Activation Functions
Simon Fraser University（西蒙弗雷泽大学）
深度神经网络（DNN）越来越多地被部署在个人医疗设备和自动驾驶汽车等安全关键系统中。在这种基于DNN的系统中，错误恢复是重中之重，因为DNN推理中的错误可能导致错误预测和安全隐患。对于资源受限边缘设备上的延迟关键DNN推理，应用传统的基于冗余的容错技术是不平凡的。在本文中，我们提出了FitAct，这是一种低成本的方法，通过部署细粒度的后可训练激活函数来增强DNN的错误恢复能力。其主要思想是通过神经元有界激活函数精确地约束每个神经元的激活值，从而防止故障在网络中传播。为了避免复杂的DNN模型重新训练，我们建议将准确性训练和弹性训练解耦，并开发一个轻量级的后训练阶段来学习这些具有精确边界值的激活函数。在广泛使用的DNN模型（如AlexNet，VGG 16和ResNet 50）上的实验结果表明，FitAct在增强DNN错误恢复能力方面优于Clip-Act和Ranger等最先进的研究，同时增加了可管理的运行时间和内存空间开销。
2021-12-27 cs.AI cs.LG
Reproducing Activation Function for Deep Learning
Purdue University（普渡大学）；Michigan State University（密歇根州立大学）；Texas Tech University（德克萨斯理工大学）
我们提出了再生激活函数（RAF），以提高从计算机视觉到科学计算的各种应用的深度学习准确性。其思想是使用几个基本函数及其可学习的线性组合来为每个神经元构建神经元数据驱动的激活函数。有了RAF，神经网络（NN）可以重现传统的近似工具，因此，近似目标函数的参数比传统NN少。在NN训练中，RAF可以生成具有比传统激活函数更好的条件数的神经切线核（NTK），从而减少深度学习的谱偏差。如广泛的数值测试所示，所提出的RAF可以促进深度学习优化的收敛，以获得比用于音频/图像/视频重建、PDE和特征值问题的现有深度学习求解器更高精度的解。与基线相比，RAFs的音频/视频重建、偏微分方程和特征值问题的误差分别降低了14%、73%和99%以上，而图像重建的性能提高了58%。
2021-02-21 cs.CV cs.LG cs.NA
On the Impact of the Activation Function on Deep Neural Networks Training
University of Oxford（牛津大学）
深度神经网络的权值初始化和激活函数对训练过程的性能有着至关重要的影响。不适当的选择可能导致前向传播期间输入信息的丢失以及反向传播期间梯度的指数消失/爆炸。了解未经训练的随机网络的理论特性是识别哪些深度网络可以成功训练的关键，正如Samuel等人（2017）最近所证明的那样，对于深度前馈神经网络，只有特定选择的超参数称为“混沌边缘”才能产生良好的性能。虽然Samuel等人（2017）的工作讨论了可训练性问题，但我们在这里关注的是训练加速和整体表现。我们对混沌边缘进行了全面的理论分析，并表明我们确实可以调整初始化参数和激活函数，以加速训练并提高性能。
2019-05-26 cs.AI cs.LG stat.ML
Deeper Learning with CoLU Activation
In neural networks , non-linearity is introduced by activation functions . One commonly used activation function is Rectified Linear Unit (ReLU). ReLU has been a popular choice as an activation but has flaws. State-of-the-art functions like Swish and Mish are now gaining attention as a better choice as they combat many flaws presented by other activation functions . CoLU is an activation function similar to Swish and Mish in properties. It is defined as f(x)=x/(1-xe^-(x+e^x)). It is smooth, continuously differentiable, unbounded above, bounded below, non-saturating, and non-monotonic. Based on…
2021-12-18 cs.CV cs.LG cs.NE
Deep Neural Networks with General Activations: Super-Convergence in Sobolev Norms
本文研究了深度全连接神经网络在Sobolev空间W^{n,∞}中的逼近结果，证明其在W^{m,p}范数下的误差率优于传统数值方法，揭示了深度网络在求解偏微分方程时的超收敛特性。
2026-03-23 cs.LG cs.NA math.NA
Deep Asymmetric Networks with a Set of Node-wise Variant Activation Functions
Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究所（ETRI））；Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院（UNIST））
这项工作提出了一套节点的变种激活函数的深度非对称网络。节点的灵敏度受激活函数选择的影响，使得具有较小索引的节点变得越来越敏感。因此，由节点学习的特征按照节点索引的重要性排序。非对称网络不仅学习输入特征，还学习这些特征的重要性。可以修剪非对称网络中较不重要的节点以降低网络的复杂性，并且可以重新训练修剪后的网络而不会导致性能损失。我们使用浅和深不对称网络以及从著名网络转移的深不对称网络来验证特征排序属性。
2019-05-17 cs.CV cs.LG cs.NE
On the effect of the activation function on the distribution of hidden nodes in a deep network
Google Brain（谷歌大脑（Google Brain））
我们分析了一个完全连接的深度网络的不同层中隐变量向量长度的联合概率分布，当权重和偏置根据高斯分布随机选择时，输入在$\{ -1, 1\}^N$中。我们表明，如果激活函数$ϕ$满足一组最小的假设，满足所有的激活函数，我们知道，在实践中使用的，然后，作为网络的宽度变大，“长度过程”收敛概率的长度映射，确定为一个简单的函数的方差的随机权重和偏见，和激活函数$ϕ$。我们还表明，这种收敛可能会失败的$ϕ$，违反我们的假设。
2019-01-07 cs.AI cs.LG cs.NE
DeepLABNet: End-to-end Learning of Deep Radial Basis Networks with Fully Learnable Basis Functions
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（达尔文人工智能公司）
从完全连接的神经网络到卷积神经网络，神经网络内的学习参数主要被归为线性参数（例如，卷积滤波器）。非线性函数（例如，激活函数）在整个训练过程中基本上保持无参数、静态，并且在设计中看到有限的变化，近年来很少有例外。径向基函数（RBF）网络虽然被深度学习社区忽视，但它提供了一种有趣的机制，除了学习网络中的线性参数外，还可以学习更复杂的非线性激活函数。然而，随着时间的推移，对RBF网络的兴趣已经减弱，这是由于难以以易处理和稳定的方式将RBF集成到更复杂的深度神经网络架构中。在这项工作中，我们提出了一种新的方法，可以自动和易于处理的方式对具有完全可学习的激活基函数的深度RBF网络进行端到端学习。我们证明了我们在深度神经网络中使用可学习激活基函数的方法，我们将其称为DeepLABNet，是复杂网络架构中自动激活函数学习的有效工具。
2019-11-21 cs.CV cs.LG cs.NE
Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions
Quantiphi Inc（昆泰菲公司）；Aptiv Advance Research Center（安波福先进研究中心）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出在隐藏层使用复杂的分段线性（PWL）激活函数，并在 PyTorch 中对浅层和深层 CNN 及多层感知机进行实验，证明其性能显著优于常用的 ReLU 激活函数。
2024-02-18 cs.CE cs.LG cs.NE
Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文通过构造性证明研究了ReLU$^k$深度网络精确表示高次多项式的能力，建立了参数规模上界，并证明了其在Sobolev空间、解析函数及多种变差空间中的逼近性质与适应性。
2024-01-11 cs.LG cs.NA cs.NE
Activation Functions in Artificial Neural Networks: A Systematic Overview
Ruhr-University Bochum（波鸿鲁尔大学）
激活函数塑造人工神经元的输出，因此，一般来说是神经网络的组成部分，特别是深度学习。一些激活函数，如logistic和relu，已经使用了几十年。但随着深度学习成为主流研究课题，新的激活函数如雨后春笋般涌现，导致理论和实践上的混乱。本文提供了流行的激活函数及其属性的分析性但最新的概述，这使得它成为任何研究或应用神经网络的人的及时资源。
2021-01-25 cs.AI cs.LG cs.NE
A Methodology for Automatic Selection of Activation Functions to Design Hybrid Deep Neural Networks
Vienna University of Technology（维也纳工业大学）；Politecnico di Torino（都灵理工大学）
激活函数影响DNN的行为和性能。非线性激活函数，如整流线性单位（ReLU），指数线性单位（ELU）和缩放指数线性单位（SELU），优于线性对应物。然而，选择适当的激活函数是一个具有挑战性的问题，因为它影响给定DNN的准确性和复杂性。在本文中，我们提出了一种新的方法来自动选择最好的激活函数为每一层的给定DNN，这样的整体DNN的准确性，相比只考虑一种类型的激活函数为整个DNN，提高。然而，在探索激活函数的所有不同配置方面的相关科学挑战将是时间和资源消耗。为此，我们的方法在学习过程中识别评估点，以评估训练中间步骤的准确性，并通过检查学习曲线的准确性梯度来执行提前终止。这有助于显著减少训练期间的探索时间。此外，我们的方法为每一层选择了优化准确性的丢失率。实验表明，我们能够在MNIST，CIFAR-10和CIFAR-100基准测试中实现平均7%至15%的相对错误减少，而GPU的性能和功耗损失有限。
2018-10-27 cs.LG cs.NE stat.ML
