Overcoming Overfitting and Large Weight Update Problem in Linear Rectifiers: Thresholded Exponential Rectified Linear Units
IIT Kharagpur（印度理工学院克勒格布尔分校）
在过去的几年中，线性整流单元激活函数在神经网络中显示出其重要性，超过了sigmoid激活函数的性能。ELU（Nair & Hinton，2010）、ELU（Clevert等人，2015）、PRELU（He等人，2015）、LIGHTU（Maas等人，2013），Sjuu（Jin等人，2016），所有这些线性整流激活函数在某些方面都比其他函数有自己的意义。大多数时候，这些激活函数由于非零输出均值而遭受偏置移位问题，以及由于单位梯度而导致深度复杂网络中的高权重更新问题，这分别导致较慢的训练和模型预测的高方差。在本文中，我们提出了“非线性指数整流线性单元”（TERELU）激活函数，它可以更好地缓解过拟合：大权重更新问题。与其他线性整流器相比，该方法在减轻过拟合问题的同时，还提供了良好的非线性度。我们将使用神经网络在各种数据集上显示更好的性能，考虑TERELU激活方法与其他激活方法相比。
2020-06-04 cs.CV cs.LG cs.NE
CombU: A Combined Unit Activation for Fitting Mathematical Expressions with Neural Networks
Betterdata AI；NUS AIDF
本文提出组合单元激活函数CombU，通过在不同网络层和维度使用不同激活函数，理论上能准确拟合数学表达式，并在四个数据集上超越多数SOTA算法。
2024-09-25 cs.LG
SPLASH: Learnable Activation Functions for Improving Accuracy and Adversarial Robustness
University of California, Irvine（加州大学欧文分校）
我们引入了SPLASH单元，这是一类可学习的激活函数，可以同时提高深度神经网络的准确性，同时提高其对对抗攻击的鲁棒性。SPLASH单元既有简单的参数化，又保持了近似广泛的非线性函数的能力。SPLASH单位为：1）连续的; 2）接地（f（0）= 0）; 3）使用对称铰链;以及4）铰链的位置直接从数据导出（即，不需要学习）。与其他九个学习和固定的激活函数（包括ReLU及其变体）相比，SPLASH单元在三个数据集（MNIST，CIFAR-10和CIFAR-100）和四个架构（LeNet 5，All-CNN，ResNet-20和Network-in-Network）上表现出卓越的性能。此外，我们还证明了SPLASH单元显著提高了深度神经网络对对抗攻击的鲁棒性。我们对黑盒和开盒对抗攻击的实验表明，常用的架构，即LeNet 5，All-CNN，ResNet-20和Network-in-Network，通过简单地使用SPLASH单元而不是ReLU，可以对对抗攻击的鲁棒性提高31%。
2020-06-16 cs.LG cs.NE stat.ML
Activation Functions for "A Feedforward Unitary Equivariant Neural Network"
University of Oxford（牛津大学）
本文将前馈酉等变神经网络中的三种激活函数推广为单一函数形式，在保持酉等变性的同时提升了网络架构设计的灵活性。
2024-11-17 cs.LG cs.NE
AReLU: Attention-based Rectified Linear Unit
National University of Defense Technology（国防科技大学）
逐元素激活函数通过影响表达能力和学习动力在深度神经网络中起着关键作用。基于学习的激活函数最近获得了越来越多的关注和成功。我们提出了一个新的视角，通过制定他们与元素明智的注意力机制可学习的激活函数。在每个网络层中，我们设计了一个注意力模块，该模块学习预激活特征图的基于元素、基于符号的注意力图。注意力地图基于元素的符号来缩放元素。将注意力模块与整流线性单元（ReLU）相结合，可以放大正元素，抑制负元素，两者都具有学习的数据自适应参数。我们硬币产生的激活函数基于注意力的整流线性单元（AReLU）。注意力模块本质上是学习输入的激活部分的元素残差，因为ReLU可以被视为一种身份转换。这使得网络训练更能抵抗梯度消失。学习的注意激活导致特征图的相关区域的集中激活。通过广泛的评估，我们表明，AReLU显着提高了大多数主流网络架构的性能，每层仅引入两个额外的可学习参数。值得注意的是，AReLU有助于在小学习率下进行快速网络训练，这使得它特别适合迁移学习和元学习的情况。我们的源代码已经发布（请参阅https：//github.com/densechen/AReLU）。
2020-10-02 cs.LG cs.NE stat.ML
On the Importance of Normalisation Layers in Deep Learning with Piecewise Linear Activation Units
ARC Centre of Excellence for Robotic Vision（ARC机器人视觉卓越中心）；University of Adelaide（阿德莱德大学）
具有分段线性激活的深度前馈神经网络目前正在几个公共数据集中产生最先进的结果。深度学习模型和分段线性激活函数的组合允许使用大量专门用于相似输入示例分类的子网络来估计指数复杂函数。在训练过程中，这些子网络避免了隐式正则化方案的过拟合，因为它们必须与其他子网络共享参数。使用这个框架，我们做了一个实证观察，可以提高这些模型的性能。我们注意到，这些模型假设一个平衡的初始分布的数据点相对于域的分段线性激活函数。如果违反该假设，则分段线性激活单元可以退化为纯线性激活单元，这可能导致其学习复杂函数的能力显著降低。此外，随着模型层数的增加，这种不平衡的初始分布使模型病态。因此，我们建议将批量归一化单元引入具有分段线性激活的深度前馈神经网络中，这将推动这些激活单元的更平衡使用，其中激活函数的每个区域都使用相对较大比例的训练样本进行训练。此外，这种批量标准化促进了非常深度学习模型的预处理。我们表明，通过在网络模型中向网络引入maxout和批量归一化单元，可以产生比CIFAR-10，CIFAR-100，MNIST和SVHN数据集的当前最先进水平更好或相当的分类结果。
2015-11-01 cs.CV cs.LG cs.NE
Auto-Rotating Perceptrons
Pontificia Universidad Católica del Perú（秘鲁天主教大学）
本文提出了一种改进的感知器单元的设计，以减轻消失梯度的问题。当训练具有有界激活函数的深层多层感知器网络时，就会出现这种麻烦。新的神经元设计，命名为自动旋转感知器（ARP），有一个机制，以确保节点总是在激活函数的动态区域中操作，通过避免饱和的感知器。所提出的方法不改变在每个神经元处学习的推理结构。我们测试了在一些使用sigmoid激活函数的网络架构中使用ARP单元的效果。结果支持我们的假设，即具有ARP单元的神经网络可以获得比具有经典感知器的等效模型更好的学习性能。
2019-10-08 cs.LG stat.ML
Integral representations of shallow neural network with Rectified Power Unit activation function
Johann Radon Institute（约翰·拉东研究所）；University of Vienna（维也纳大学）
在这项工作中，我们推导出一个公式的积分表示的浅层神经网络的整流功率单元激活函数。主要地，我们的第一个结果涉及RePU浅网络的表示能力的单变量情况。本文的多维结果刻画了可以用有界范数和可能无界宽度表示的函数集。
2021-12-20 cs.LG cs.NE math.FA
Learning Compact Neural Networks Using Ordinary Differential Equations as Activation Functions
Amazon Inc.（亚马逊公司）；University of Oregon（俄勒冈大学）；Microsoft Inc.（微软公司）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
大多数深度神经网络使用简单的固定激活函数，如S形或整流线性单元，而不管域或网络结构如何。我们引入微分方程单元（DEU），现代神经网络的改进，使每个神经元学习一个特定的非线性激活函数从一个家庭的解决方案，一个常微分方程。具体地，每个神经元可以在训练期间基于网络的其他部分的行为来改变其功能形式。我们表明，使用神经元与DEU激活函数的结果在一个更紧凑的网络能够实现可比的，如果不是优越的，性能相比，更大的网络。
2019-05-19 cs.LG cs.NE stat.ML
A Methodology for Automatic Selection of Activation Functions to Design Hybrid Deep Neural Networks
Vienna University of Technology（维也纳工业大学）；Politecnico di Torino（都灵理工大学）
激活函数影响DNN的行为和性能。非线性激活函数，如整流线性单位（ReLU），指数线性单位（ELU）和缩放指数线性单位（SELU），优于线性对应物。然而，选择适当的激活函数是一个具有挑战性的问题，因为它影响给定DNN的准确性和复杂性。在本文中，我们提出了一种新的方法来自动选择最好的激活函数为每一层的给定DNN，这样的整体DNN的准确性，相比只考虑一种类型的激活函数为整个DNN，提高。然而，在探索激活函数的所有不同配置方面的相关科学挑战将是时间和资源消耗。为此，我们的方法在学习过程中识别评估点，以评估训练中间步骤的准确性，并通过检查学习曲线的准确性梯度来执行提前终止。这有助于显著减少训练期间的探索时间。此外，我们的方法为每一层选择了优化准确性的丢失率。实验表明，我们能够在MNIST，CIFAR-10和CIFAR-100基准测试中实现平均7%至15%的相对错误减少，而GPU的性能和功耗损失有限。
2018-10-27 cs.LG cs.NE stat.ML
A New Training Method for Feedforward Neural Networks Based on Geometric Contraction Property of Activation Functions
提出了一种新的具有几何收缩特性的激活函数的前向神经网络的训练方法。该方法包括构造一个新的功能，是较低的非线性与经典的功能相比，通过消除非线性的激活函数从输出层。我们通过一系列的实验来验证这种新方法，实验结果表明这种方法具有更快的学习速度和更好的分类错误率。
2018-08-11 cs.LG cs.NE
Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks
Vellore Institute of Technology（韦洛尔理工学院）；Red Hat Inc.（红帽公司）
本文提出新型振荡激活函数增长余弦单元（GCU，$C(z)=z\boldsymbol{\text{cos}}z$），证明其可改善梯度流动、减小网络规模，在多种架构和基准测试中性能优于现有激活函数。
2023-01-12 cs.CV cs.LG cs.NE
Stochastic Neural Networks with Monotonic Activation Functions
Carnegie Mellon University（卡内基梅隆大学）；University of Alberta（阿尔伯塔大学）
我们提出了一个拉普拉斯近似，创建一个随机单位从任何光滑的单调激活函数，仅使用高斯噪声。本文研究了这种随机逼近在训练一族与Bregman发散密切相关的受限玻尔兹曼机（RBM）中的应用。这个家族，我们称之为指数家族RBM（Exp-RBM），是指数家族Harmoniums的一个子集，通过选择每个神经元的平滑单调非线性来表达家族成员。使用对比发散和高斯近似，我们表明Exp-RBM可以使用新的随机单元学习有用的表示。
2016-07-22 cs.LG cs.NE stat.ML
Static Activation Function Normalization
Data Science Institute（数据科学研究所）；Imperial College London（帝国理工学院）
最近在深度神经网络实践和随机矩阵理论的交叉点上的开创性工作将这些网络的收敛速度和鲁棒性与随机权重初始化和使用的非线性激活函数的组合联系起来。在这些原则的基础上，我们介绍了一个过程，将现有的激活函数转换成另一个具有更好的性能。我们将这种变换称为\emph{static activation normalization}。更具体地说，我们专注于应用于ReLU单元的这种规范化，并根据经验表明它显着提高了收敛鲁棒性，最大训练深度和随时性能。我们通过检查用这些激活训练的网络的经验特征值分布来验证这些说法。我们的静态激活规范化提供了第一步，使类似的精神，如批量归一化计划的好处，但没有计算成本。
2019-05-03 cs.LG stat.ML
Empirical Loss Landscape Analysis of Neural Network Activation Functions
University of Pretoria（比勒陀利亚大学）；University of Stellenbosch（斯泰伦博斯大学）；Gulf University for Science and Technology（海湾科技大学）；Griffith University（格里菲斯大学）
本研究实证分析了双曲正切、修正线性单元和指数线性单元三种激活函数对神经网络损失景观特性的影响，发现修正线性单元产生最具凸性的损失景观，而指数线性单元产生最不平坦的损失景观且泛化性能更优，同时揭示了窄谷与饱和神经元及隐式正则化网络配置的关联。
2023-06-28 cs.AI cs.LG cs.NE
Activation function optimization method: Learnable series linear units (LSLUs)
Southwest University（西南大学）；Yibin Academy of Southwest University（西南大学宜宾研究院）；Sichuan Academy of Agricultural Sciences（四川省农业科学院）
本研究结合清华与华为诺亚实验室的思路，提出基于级数的可学习激活函数LSLU，通过可学习参数适配训练阶段提升非线性，在多数据集上验证其能提升模型泛化能力、加快训练，在VanillaNet的CIFAR100任务上精度提升3.17%。
2024-08-28 cs.CV cs.LG
Dual Rectified Linear Units (DReLUs): A Replacement for Tanh Activation Functions in Quasi-Recurrent Neural Networks
IDLab, ELIS, Ghent University – imec（根特大学-imec的IDLab和ELIS（根特大学全球校区生物技术数据科学中心））；Center for Biotech Data Science, Ghent University Global Campus（根特大学全球校区生物技术数据科学中心）
在本文中，我们介绍了一种新型的整流线性单元（ReLU），称为对偶整流线性单元（DReLU）。DReLU带有无界的正图像和负图像，可以用作准递归神经网络（QRNN）的递归步骤中tanh激活函数的直接替代（Bradbury et al.（2017））。类似于ReLU，DReLU不太容易出现消失梯度问题，它们是噪声鲁棒的，并且它们诱导稀疏激活。我们独立重现了Bradbury等人的QRNN实验。（2017）并将我们基于DReLU的QRNN与原始的基于tanh的QRNN和长短期记忆网络（LSTM）在情感分类和单词级语言建模方面进行了比较。此外，我们对字符级语言建模进行了评估，表明我们能够使用DReLU堆叠多达8个QRNN层，从而可以在基于LSTM的浅层架构上改进当前最先进的字符级语言建模。
2017-10-31 cs.CL cs.LG cs.NE
Approximation of Nonlinear Functionals Using Deep ReLU Networks
Beihang University（北京航空航天大学）；City University of Hong Kong（香港城市大学）；University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）
针对定义在 $L^p$ 空间的非线性连续泛函逼近问题，本文通过构造连续分段线性插值，研究了基于 ReLU 激活函数的泛函深度神经网络的逼近能力，并在温和条件下建立了逼近速率。
2023-04-10 cs.LG stat.ML
Gaussian Error Linear Units (GELUs)
University of California, Berkeley（加州大学伯克利分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文提出GELU激活函数，利用标准高斯累积分布函数按输入值加权，并在视觉、NLP和语音任务上实证优于ReLU与ELU。
2023-06-06 cs.LG
Natural-Logarithm-Rectified Activation Function in Convolutional Neural Networks
National Digital Switching System Engineering and Technological R&D Center（国家数字交换系统工程技术研究中心）
激活函数在深度神经网络中提供卓越性能方面发挥着关键作用，而整流线性单元（ReLU）是使用最广泛的激活函数之一。已经提出了各种新的激活函数和对ReLU的改进，但每种都有性能缺陷。在本文中，我们提出了一种改进的激活函数，我们称之为自然对数校正线性单元（NLReLU）。这个激活函数使用参数化自然对数变换来改进ReLU，并简单地定义为。NLReLU不仅保留了ReLU的稀疏激活特性，而且在一定程度上解决了“垂死ReLU”和梯度消失问题。它还减少了偏置移位效应和神经元数据分布在网络层之间的异方差，以加快学习过程。该方法在两个基本数据集的10个不同深度的卷积神经网络上进行了验证。实验表明，使用NLReLU的卷积神经网络比使用ReLU的卷积神经网络具有更高的准确性，并且NLReLU与其他众所周知的激活函数相当。与ReLU相比，NLReLU分别在MNIST和CIFAR-10数据集的浅卷积神经网络中使用时，平均分类准确率高出0.16%和2.04%。使用NLReLU的深度卷积神经网络的平均准确率比使用CIFAR-10数据集的平均准确率高1.35%。
2019-08-25 cs.CV cs.LG stat.ML
ARiA: Utilizing Richard's Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets
Michigan Technological University（密歇根理工大学）；Symbiosis Centre for Medical Image Analysis（共生医学图像分析中心）；Symbiosis Institute of Technology（共生技术学院）
这项工作引入了一种新的激活单元，可以有效地用于深度神经网络（DNN），并且比传统的整流线性单元（ReLU）表现得更好。开发的函数是专门的理查德曲线的两个参数版本，我们称之为自适应理查德曲线加权激活（ARiA）。该函数是非单调的，类似于新引入的Swish，但是允许通过改变超参数来精确控制其非单调凸性。我们首先展示了两个参数ARiA的数学意义，然后将其应用于MNIST、CIFAR-10和CIFAR-100等基准问题，并将其与ReLU和Swish单元进行了性能比较。我们的研究结果表明，ARiA在所有这些数据集上都具有显著的优越性能，使其成为DNN中ReLU和其他激活的潜在替代品。
2018-05-22 cs.LG cs.NE
Stable and Robust Deep Learning By Hyperbolic Tangent Exponential Linear Unit (TeLU)
University of South Florida（南佛罗里达大学）
本文提出TeLU激活函数，通过调整输出均值解决梯度消失/爆炸问题，在多种架构和数据集上表现优于ReLU等，成为潜在新标准。
2024-02-05 cs.LG cs.NE
Self-Normalizing Neural Networks
LIT AI Lab（LIT人工智能实验室）；Institute of Bioinformatics（生物信息学研究所）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
深度学习通过卷积神经网络（CNN）彻底改变了视觉，通过递归神经网络（RNN）彻底改变了自然语言处理。然而，使用标准前馈神经网络（FNN）进行深度学习的成功案例很少。表现良好的FNN通常是浅的，因此不能利用许多层次的抽象表示。我们引入自规范化神经网络（SNN），使高层次的抽象表示。虽然批量归一化需要显式归一化，但SNN的神经元激活自动收敛于零均值和单位方差。SNN的激活函数是“标度指数线性单元”（SELU），其诱导自归一化性质。使用巴拿赫不动点定理，我们证明，激活接近零均值和单位方差，通过许多网络层传播将收敛到零均值和单位方差-即使在存在噪声和扰动。SNN的这种收敛特性允许（1）训练多层深度网络，（2）采用强正则化，以及（3）使学习具有高度鲁棒性。此外，对于激活不接近单位方差，我们证明了方差的上下界，因此，消失和爆炸梯度是不可能的。我们比较了SNN（a）UCI机器学习库中的121个任务，（b）药物发现基准，（c）天文学任务与标准FNN和其他机器学习方法（如随机森林和支持向量机）。SNN在121个UCI任务中的表现明显优于所有竞争FNN方法，在Tox 21数据集上的表现优于所有竞争方法，并在天文数据集上创下新纪录。获胜的SNN架构通常非常深入。实现可在以下网址获得：github.com/bioinf-jku/SNNs。
2017-09-07 cs.LG stat.ML
Searching for Activation Functions
Google Brain（谷歌大脑）
深度网络中激活函数的选择对训练动态和任务性能有显著影响。目前，最成功和广泛使用的激活函数是整流线性单元（ReLU）。尽管已经提出了各种手工设计的ReLU替代方案，但由于收益不一致，没有一个能够成功取代它。在这项工作中，我们建议利用自动搜索技术来发现新的激活函数。使用穷举和基于强化学习的搜索的组合，我们发现了多个新的激活函数。我们验证的搜索的有效性进行实证评估与最好的发现激活函数。我们的实验表明，最好的激活函数$f(x) = x \cdot \text{sigmoid}(βx)$，我们将其命名为Swish，在许多具有挑战性的数据集上，在更深层次的模型上往往比ReLU更好地工作。例如，简单地将ReLU替换为Swish单元，可以将Mobile NASNet-A和Inception-ResNet-v2的前1分类准确率分别提高0.9%和0.6%。Swish的简单性及其与ReLU的相似性使从业者可以轻松地在任何神经网络中用Swish单元替换ReLU。
2017-10-27 cs.CV cs.LG cs.NE
xUnit: Learning a Spatial Activation Function for Efficient Image Restoration
Technion–Israel Institute of Technology（以色列理工学院）
近年来，深度神经网络（DNN）在许多低级视觉任务中取得了前所未有的性能。然而，最先进的结果通常是通过非常深的网络实现的，这些网络可以达到具有数千万个参数的数十层。为了使DNN能够在资源有限的平台上实现，有必要削弱性能和效率之间的权衡。在本文中，我们提出了一个新的激活单元，这是特别适合于图像复原的问题。与广泛使用的每像素激活单元（如ReLU和sigmoids）相比，我们的单元实现了一个具有空间连接的可学习非线性函数。这使得网络能够捕获更复杂的特征，因此需要更少的层数才能达到相同的性能。我们说明了我们的单位通过实验与国家的最先进的网络去噪，去雨，和超分辨率，这已经被认为是非常小的有效性。通过我们的方法，我们能够将这些模型进一步减少近50%，而不会导致性能下降。
2018-03-25 cs.CV cs.LG
Function approximation with zonal function networks with activation functions analogous to the rectified linear unit functions
Institute of Mathematical Sciences, Claremont Graduate University（数学科学研究所，克莱蒙特研究生大学）
本文研究了在q维球面上的区域函数网络的近似性质，探讨了非正定激活函数的逼近特性，并建立了相应的光滑性类别和逼近性质。
2018-07-08 cs.LG cs.NA math.NA
E-swish: Adjusting Activations to Different Network Depths
激活函数对神经网络在针对所需问题训练和测试模型方面具有众所周知的影响。目前，最常用的激活函数是整流线性单元（ReLU）。本文介绍了一种新的和新颖的激活函数，与新的激活$Swish = x * sigmoid(x)$（Ramachandran等人，2017），我们称之为新的激活$E-swish = βx * sigmoid(x)$。我们发现E-swish的性能优于许多其他知名的激活，包括ReLU和Swish。例如，与ReLU相比，使用E-swish在WRN 10-2的Cifar 10和Cifar 100上分别提供了1.5%和4.6%的准确性改进，与Swish相比分别提供了0.35%和0.6%的准确性改进。复制我们所有实验的代码可以在https://github.com/EricAlcaide/E-swish上找到
2018-01-22 cs.CV cs.LG stat.ML
Learning Neural Activations
University of Warwick（华威大学）；Pakistan Institute of Engineering and Applied Sciences (PIEAS)（巴基斯坦工程与应用科学研究院）
人工神经元被建模为加权求和，随后是确定其输出的激活函数。在文献中已经探索了各种各样的激活函数，例如整流线性单元（ReLU）、泄漏ReLU、Swish、MISH等。在这篇简短的论文中，我们探讨了当人工神经网络中每个神经元的激活函数仅从数据中学习时会发生什么。这是通过将每个神经元的激活函数建模为小神经网络来实现的，该小神经网络的权重由原始网络中的所有神经元共享。我们在结论部分列出了我们的主要发现。我们的分析代码可以在https://github.com/amina01/Learning-Neural-Activations上找到。
2019-12-27 cs.LG cs.NE stat.ML
Deep learning improved by biological activation functions
UCL（伦敦大学学院）
“生物启发”的激活函数，如logistic sigmoid，在机器学习的历史发展中起到了重要作用。然而，在深度学习领域，它们在很大程度上被修正线性单元（ReLU）或类似函数（如其指数线性单元（ELU）变体）所取代，以减轻与误差反向传播相关的梯度消失的影响。然而，logistic S型曲线并不代表生理条件下神经元细胞的真实输入-输出关系。在这里，生物节根单位（BRU）的激活函数的介绍，表现出输入输出的非线性，基本上更生物合理的，因为他们的功能形式是基于已知的生物物理特性的神经元细胞。为了评估BRU激活的学习性能，除了传递函数不同（ReLU、ELU和BRU）之外，深度网络都是用相同的架构构建的。多层感知器，堆叠自动编码器和卷积网络用于测试基于MNIST和CIFAR-10/100数据集的监督和无监督学习。使用损失和错误测量量化的学习性能的比较表明，生物节点网络的训练速度比ReLU和ELU更快，即使在没有正式正规化的情况下，也能产生最好的广义模型。因此，这些结果表明，重新审视生物神经元及其电路的详细特性可能会在未来的深度学习领域中证明是非常宝贵的。
2018-05-18 cs.LG cs.NE stat.ML
Expanded Gating Ranges Improve Activation Functions
EPFL（洛桑联邦理工学院）
本文提出通过引入可训练参数扩展门控函数范围，改进了如xATLU、xGELU和xSiLU等自门控激活函数，在transformer架构及一阶GLU中表现优异。
2024-05-25 cs.LG cs.NE
Amplifying Sine Unit: An Oscillatory Activation Function for Deep Neural Networks to Recover Nonlinear Oscillations Efficiently
School of Mathematical Sciences, Jiangsu University（江苏大学数学科学学院）
本文针对微机电系统中的非线性振荡问题，提出一种新型振荡激活函数放大正弦单元（ASU），并基于深度神经网络验证其相比GCU等激活函数能更高效、稳健地恢复非线性周期行为。
2023-04-18 cs.LG cs.NE math.DS
Deep Learning for Sleep Stages Classification: Modified Rectified Linear Unit Activation Function and Modified Orthogonal Weight Initialisation
Charles Sturt University（查尔斯特大学）；Asia Pacific International College（亚太国际学院）；Worcester State University（伍斯特州立大学）；University of Kurdistan Hewler（库尔德斯坦埃尔比勒大学）
背景和目的：睡眠的每个阶段都会影响人体健康，任何阶段睡眠不足都可能导致睡眠障碍，如睡眠异常、呼吸暂停、失眠等。然而，由于分类的高复杂度和低准确度，该分类器尚未成功地实施到睡眠阶段分类系统中。本研究的目的是提高卷积神经网络分类器的分类精度，减少学习时间。方法学：所提出的系统使用修改的正交卷积神经网络和修改的亚当优化技术，以提高睡眠阶段分类的准确性，并减少由于S形激活函数而发生的梯度饱和问题。该系统使用Leaky Rectified Linear Unit（ReLU）代替sigmoid激活函数作为激活函数。结果如下：该系统被称为增强型睡眠阶段分类系统（ESSC），使用六个不同的数据库来训练和测试不同睡眠阶段的模型。这些数据库是都柏林大学数据库（UCD），贝斯以色列女执事医疗中心麻省理工学院数据库（MIT-BIH），睡眠欧洲数据格式（EDF），睡眠EDF扩展，蒙特利尔睡眠研究档案（MASS）和睡眠心脏健康研究（SHHS）。我们的结果表明，梯度饱和问题不再存在。修改后的亚当优化器有助于减少噪声，这反过来又导致更快的收敛时间。结论：与最先进的解决方案相比，ESSC的收敛速度加快，分类精度更高。
2022-02-18 cs.LG eess.SP
ReCA: A Parametric ReLU Composite Activation Function
Lebanese American University（黎巴嫩美国大学）
针对深度神经网络最优激活函数尚未确定的问题，本文提出基于 ReLU 的新型参数化复合激活函数 ReCA，并在多种复杂架构和先进数据集上验证其优于所有基线。
2025-07-26 cs.LG
Optimal Activation Functions for the Random Features Regression Model
Rice University（莱斯大学）；Boston College（波士顿学院）
随机特征回归模型（RFR）的渐近均方检验误差和灵敏度是近年来研究的热点。我们建立在这项工作的基础上，并确定在封闭形式的激活函数（AF）的家庭，最大限度地减少组合的测试误差和灵敏度的RFR下的不同概念的功能简约。我们发现的情况下，最佳的AF是线性的，饱和的线性函数，或表达的Hermite多项式。最后，我们展示了使用最佳AF如何影响RFR模型的既定属性，例如其双下降曲线，以及其最佳正则化参数对观测噪声水平的依赖性。
2023-03-24 cs.AI cs.LG stat.ML
Learning Activation Functions to Improve Deep Neural Networks
University of California - Irvine（加州大学尔湾分校）；Adobe Research（奥多比研究院）
人工神经网络通常在每个神经元处具有固定的非线性激活函数。我们设计了一种新形式的分段线性激活函数，它使用梯度下降为每个神经元独立学习。通过这种自适应激活函数，我们能够改进由静态整流线性单元组成的深度神经网络架构，在CIFAR-10（7.51%）、CIFAR-100（30.83%）以及涉及希格斯玻色子衰变模式的高能物理学基准上实现最先进的性能。
2015-04-21 cs.CV cs.LG cs.NE
Unification of popular artificial neural network activation functions
Virginia Tech（弗吉尼亚理工大学）；Molecular Sciences Software Institute（分子科学软件研究所）
本研究利用分数阶微积分的Mittag-Leffler函数提出神经网络激活函数的统一门控表示，可插值多种激活函数、缓解梯度问题且适配反向传播，实验验证其是传统框架单独实现激活函数的有前景低成本替代方案。
2024-10-07 cs.AI cs.LG cs.NE
Gompertz Linear Units: Leveraging Asymmetry for Enhanced Learning Dynamics
University of Freiburg（弗莱堡大学）；Prior Labs
该研究提出新型自门控激活函数Gompertz线性单元（GoLU），利用Gompertz函数的右偏非对称性更有效地降低潜在空间方差，在多类视觉与NLP任务上性能优于现有前沿激活函数。
2025-05-21 cs.AI cs.CV cs.LG
From Taylor Series to Fourier Synthesis: The Periodic Linear Unit
National Taiwan University（台湾大学）
针对现代神经网络依赖单调激活函数导致模型参数庞大的问题，本文提出周期线性单元（PLU）及排斥重参数化技术，仅需两个PLU神经元的极小MLP即可解决螺旋分类任务，实现参数效率指数级提升。
2025-08-26 cs.LG cs.NA cs.NE
Towards Non-saturating Recurrent Units for Modelling Long-term Dependencies
Mila, Université de Montréal（米拉-蒙特利尔大学）；Google Brain（谷歌大脑）；Microsoft Research（微软研究院）
对长期依赖性进行建模是递归神经网络的一个挑战。这主要是由于随着序列长度的增加，梯度在训练期间消失。转换操作符可以衰减重复项，激活函数可以衰减或丢弃重复项。像LSTM这样的规范架构通过内存机制跳过信息来缓解这个问题。我们提出了一种新的递归架构（非饱和递归单元; NRU），它依赖于一个内存机制，但放弃了饱和激活函数和饱和门，以进一步减轻消失梯度。在一系列合成和现实世界的任务中，我们证明了所提出的模型是唯一一个在所有任务中具有和不具有长期依赖关系的前两个模型中执行的模型，与一系列其他架构相比。
2019-01-22 cs.LG cs.NE stat.ML
IGLU: The Integrated Gaussian Linear Unit Activation Function
Bowdoin College（布罗德学院）
提出IGLU激活函数，基于半正态混合分布推导出闭式表达，其门控为柯西CDF，通过单一锐度参数在恒等与ReLU行为间插值，重尾特性保证非零梯度，并给出仅含ReLU操作的有理近似，在视觉和语言任务上达到或超越ReLU/GELU性能。
2026-06-16 cs.CV cs.LG
Neural Networks with A La Carte Selection of Activation Functions
Ben-Gurion University（本-古里安大学）
激活函数（AF）是神经网络成功（或失败）的关键，近年来受到越来越多的关注，研究人员试图设计新的AF来改善网络性能的某些方面。在本文中，我们采取了另一个方向，其中我们将一系列已知的AF结合到成功的架构中，提出了三种有益的方法：1）随机生成AF架构，2）使用Optuna，一种自动超参数优化软件框架，具有树结构Parzen估计（TPE）采样器，以及3）使用Optuna与协方差矩阵自适应演化策略（CMA-ES）采样器。我们发现，与由ReLU隐藏单元和softmax输出单元组成的标准网络相比，所有方法通常都会对25个分类问题产生更好的结果。使用TPE采样器的Optuna成为最佳AF架构生产方法。
2022-06-24 cs.LG cs.NE
Evolutionary Optimization of Deep Learning Activation Functions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cognizant Technology Solutions（高知特技术解决方案公司）
激活函数的选择对神经网络的性能有很大的影响。虽然已经有一些尝试手动设计新颖的激活函数，但整流线性单元（ReLU）仍然是实践中最常用的。本文表明，进化算法可以发现新的激活函数，优于ReLU。候选激活函数的树为基础的搜索空间的定义和探索变异，交叉和穷举搜索。在CIFAR-10和CIFAR-100图像数据集上训练宽残差网络的实验表明，该方法是有效的。用进化的激活函数取代ReLU，可以显著提高网络准确性。当进化被允许定制激活函数到一个特定的任务时，达到最佳性能;然而，这些新的激活函数被证明是通用的，实现跨任务的高性能。因此，激活函数的进化优化是神经网络中元学习的一个有前途的新维度。
2020-04-11 cs.CV cs.LG cs.NE
Training Neural Networks by Using Power Linear Units (PoLUs)
School of Computing, Informatics, and Decision Systems Engineering（计算、信息与决策系统工程学院）；Arizona State University（亚利桑那州立大学）
在本文中，我们介绍了“幂线性单元”（PoLU），它增加了神经网络的非线性能力，从而有助于提高其性能。PoLU采用了先前提出的激活函数的几个优点。首先，正输入的PoLU的输出被设计为恒等的，以避免梯度消失问题。其次，PoLU对于负输入具有非零输出，使得单元的输出均值接近于零，从而减少偏置移位效应。第三，PoLU的负部分存在饱和，这使得它对负输入更具噪声鲁棒性。此外，我们证明了PoLU能够通过使用幂函数将每层输入的更多部分映射到相同的空间，从而增加了神经网络的响应区域的数量。我们使用图像分类比较我们提出的激活函数与其他人。在实验中，MNIST，CIFAR-10，CIFAR-100，街景门牌号（SVHN）和ImageNet被用作基准数据集。我们实现的神经网络包括广泛使用的ELU网络，ResNet-50和VGG 16，以及一些浅层网络。实验结果表明，我们提出的激活函数优于其他国家的最先进的模型与大多数网络。
2018-02-01 cs.LG
VeLU: Variance-enhanced Learning Unit for Deep Neural Networks
University of Bonn（波恩大学）；University of Padova（帕多瓦大学）；Technical University of Munich（慕尼黑技术大学）
VeLU通过引入方差意识和分布对齐的非线性，提升深度神经网络的训练稳定性与性能。
2025-12-02 cs.AI cs.CV cs.LG
Activation Functions, Statistics and Learning of Higher-Order Interactions in Restricted Boltzmann Machines
Kavli Institute for Systems Neuroscience, Norwegian University of Science and Technology（Kavli系统神经科学研究所，挪威科学技术大学）；Department of Mathematics, King’s College London（伦敦国王学院数学系）
本文研究了受限玻尔兹曼机中激活函数对高阶相互作用统计学和学习的影响，分析了四种常见激活函数在不同参数范围内的表示和学习能力。
2026-06-24 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Deep Unitary Convolutional Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
深度神经网络可能会遇到爆炸和消失的激活问题，其中网络无法正确训练，因为神经信号在层间放大或衰减并变得饱和。虽然其他标准化方法旨在解决所述问题，但在需要神经激活的运行平均值的应用中，它们中的大多数都具有推理速度损失。在这里，我们将基于李代数的酉框架扩展到任何维度的神经网络，克服了现有技术中将突触权重限制为方阵的主要约束。我们提出的酉卷积神经网络提供了高达32%的推理速度和高达50%的永久硬盘空间减少，同时保持竞争力的预测精度。
2021-08-20 cs.AI cs.LG
GELU Activation Function in Deep Learning: A Comprehensive Mathematical Analysis and Performance
Chung-Ang University（中央大学）
本研究对GELU激活函数进行了严格的数学性质分析，并通过在CIFAR等数据集上的残差卷积网络实验，证明其性能优于ReLU等传统函数，为深度学习实践者选择激活函数提供了有价值的见解。
2023-08-01 cs.AI cs.CV cs.LG
Suppressing the Unusual: towards Robust CNNs using Symmetric Activation Functions
Beihang University（北京航空航天大学）；University College London（伦敦大学学院）
许多深度卷积神经网络（CNN）对通过对干净样本进行不可感知的扰动而获得的对抗样本进行了错误的预测。我们假设这是由于未能抑制网络层内的异常信号造成的。作为补救措施，我们建议在非线性信号换能器单元中使用对称激活函数（SAF）。这些单元抑制异常幅度的信号。我们证明了SAF网络可以在简化的情况下执行任意精度的分类任务。在实践中，我们不是单独使用SAF，而是将它们添加到CNN中以提高其鲁棒性。修改后的CNN可以很容易地使用流行的策略进行训练，训练负荷适中。我们在MNIST和CIFAR-10上的实验表明，修改后的CNN在干净样本上的表现与普通CNN相似，并且对对抗性和无意义样本的鲁棒性明显更强。
2016-03-16 cs.AI cs.CV cs.LG
Nonlinearity Enhanced Adaptive Activation Functions
University of Waterloo（滑铁卢大学）
该研究提出一种为激活函数引入参数化可学习非线性的通用方法，基于 ReLU 等常用函数进行改进，并在 MNIST 与 CNN 基准上验证其可在低额外计算成本下提升准确率。
2025-05-12 cs.CV cs.LG cs.NE
Deriving Activation Functions Using Integration
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
提出基于积分推导激活函数的新方法，设计了可训练分段激活函数xIELU，结合ReLU$^2$和xSiLU的特性处理正负输入，在Llama模型实验中以相同计算和参数成本实现了比ReLU$^2$和SwiGLU更低的困惑度。
2025-01-31 cs.LG cs.NE
Improving neural networks with bunches of neurons modeled by Kumaraswamy units: Preliminary study
Wrocław University of Technology（弗罗茨瓦夫理工大学）
深度神经网络最近在许多机器学习问题中取得了最先进的成果，例如，语音识别或对象识别。最近，在整流线性单元（ReLU）上的工作提供了与通常使用的S形激活函数相比神经网络性能提高的经验和理论证据。在本文中，我们研究了一种新的方式来改善神经网络，通过引入一堆副本的相同的神经元模型的广义Kumaraswamy分布。因此，我们提出了一种新的非线性激活函数，我们称之为Kumaraswamy单元，它与ReLU密切相关。在MNIST图像语料库的实验研究中，我们评估了应用于单层（浅层）神经网络的Kumaraswamy单元，并报告了与sigmoid单元，ReLU和Noisy ReLU相比，测试分类错误和测试交叉熵的显着下降。
2015-05-11 cs.LG cs.NE
Structured Progressive Knowledge Activation for LLM-Driven Neural Architecture Search
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University.（人机混合增强智能国家重点实验室，人工智能与机器人研究院，西安交通大学）；MiLM Plus, Xiaomi Inc.（小米MiLM Plus）；North China University of Technology, Beijing.（华北电力大学（北京））；Zhongguancun Academy, Beijing, China（中关村学院，北京，中国）
本文提出SPARK方法，通过显式选择功能因素并条件化编辑，减少功能耦合影响，提升神经架构搜索的样本效率和OOD准确性。
2026-07-01 cs.AI cs.LG
Improving Deep Learning by Inverse Square Root Linear Units (ISRLUs)
AI Perf Engineering（AI性能工程）
我们引入了“逆平方根线性单元”（ISRLU）来加速深度神经网络的学习。ISRLU比ELU有更好的性能，但有许多相同的好处。ISRLU和ELU具有相似的曲线和特征。两者都具有负值，允许它们将平均单位激活推向更接近零，并使正常梯度更接近单位自然梯度，确保噪声鲁棒的去激活状态，降低过度拟合风险。ISRLU在传统CPU上的显着性能优势也可以在CNN/RNN的HW/SW协同设计上实现更高效的HW实现。在TensorFlow的实验中，ISRLU比CNN上的ReLU更快地学习和更好地泛化。这项工作还提出了一种计算效率高的变体，称为“平方根倒数单位”（ISRU），可用于RNN。许多RNN使用长短期记忆（LSTM）和门控递归单元（GRU），它们是用tanh和sigmoid激活函数实现的。ISRU的计算复杂度较低，但仍具有与tanh和sigmoid相似的曲线。
2017-11-09 cs.LG
Saturating Auto-Encoders
Courant Institute of Mathematical Science（库朗数学科学研究所）；New York University（纽约大学）
我们介绍了一个简单的新的自动编码器，其隐藏单元激活函数包含至少一个零梯度（饱和）区域的正则化。该正则化子明确地鼓励在对应的激活函数的饱和区域中的激活。我们称之为饱和自动编码器（SATAE）。我们表明，饱和正则化显式限制了SATAE的能力，重建输入附近的数据流形。此外，我们表明，各种各样的功能可以学习时，使用不同的激活函数。最后，与压缩和稀疏自动编码器建立连接。
2013-03-20 cs.LG
