Swim: A General-Purpose, High-Performing, and Efficient Activation Function for Locomotion Control Tasks
Columbia University（哥伦比亚大学）
激活函数在深度学习算法的性能中起着重要作用。特别是，Swish激活函数在更深层次的模型上，包括深度强化学习模型，在具有挑战性的任务中，往往优于ReLU。尽管取得了这一进展，但ReLU仍是首选函数，部分原因是它比Swish更高效。此外，与计算机视觉和自然语言处理领域相比，深度强化学习和机器人领域不太倾向于采用新的激活函数，如Swish，而是继续使用更传统的函数，如ReLU。为了解决这些问题，我们提出了Swim，一个通用的，高效的，高性能的替代Swish，然后提供了一个分析其属性，以及解释其相对于Swish的高性能，在奖励成就和效率方面。我们专注于测试游泳MuJoCo的运动连续控制任务，因为他们表现出更复杂的动态，因此将受益于高性能和高效的激活函数。我们还使用TD3算法结合游泳和解释这种选择的上下文中的机器人运动域。然后，我们得出结论，游泳是一个国家的最先进的激活函数连续控制运动任务，并建议使用它与TD 3作为一个工作框架。
2023-03-05 cs.LG cs.NE cs.RO
Parametric Flatten-T Swish: An Adaptive Non-linear Activation Function For Deep Learning
Universiti Tun Hussein Onn Malaysia（马来西亚敦胡先翁大学）
激活函数是深度学习中的一个关键组件，它在输入和输出之间执行非线性映射。修正线性单元（ReLU）是深度学习社区中最受欢迎的激活函数。然而，ReLU包含几个缺点，这些缺点可能导致深度神经网络的训练效率低下，这些缺点是：1）ReLU的负消除属性倾向于将负输入视为学习的不重要信息，导致性能下降; 2）ReLU的固有预定义性质不太可能提高网络的额外灵活性，表达性和鲁棒性; 3）ReLU的平均激活是高度正的，导致网络层中的偏置移位效应; 4）ReLU的多线性结构限制了网络的非线性逼近能力。为了解决这些缺点，本文引入了参数化Flatten-T Swish（PFTS）作为ReLU的替代方案。以ReLU作为基线方法，实验表明PFTS在DNN-3A、DNN-3B、DNN-4、DNN- 5A、DNN-5 B、DNN-5C、DNN-6和DNN-7上分别将SVHN数据集的分类准确率提高了0.31%、0.98%、2.16%、17.72%、1.35%、0.97%、39.99%和71.83%。此外，PFTS也取得了最高的平均排名的比较方法。所提出的PFTS在训练过程中表现出更高的非线性逼近能力，从而提高了网络的预测性能。
2022-02-26 cs.LG cs.NE
Searching for Activation Functions
Google Brain（谷歌大脑）
深度网络中激活函数的选择对训练动态和任务性能有显著影响。目前，最成功和广泛使用的激活函数是整流线性单元（ReLU）。尽管已经提出了各种手工设计的ReLU替代方案，但由于收益不一致，没有一个能够成功取代它。在这项工作中，我们建议利用自动搜索技术来发现新的激活函数。使用穷举和基于强化学习的搜索的组合，我们发现了多个新的激活函数。我们验证的搜索的有效性进行实证评估与最好的发现激活函数。我们的实验表明，最好的激活函数$f(x) = x \cdot \text{sigmoid}(βx)$，我们将其命名为Swish，在许多具有挑战性的数据集上，在更深层次的模型上往往比ReLU更好地工作。例如，简单地将ReLU替换为Swish单元，可以将Mobile NASNet-A和Inception-ResNet-v2的前1分类准确率分别提高0.9%和0.6%。Swish的简单性及其与ReLU的相似性使从业者可以轻松地在任何神经网络中用Swish单元替换ReLU。
2017-10-27 cs.CV cs.LG cs.NE
SERF: Towards better training of deep neural networks using log-Softplus ERror activation Function
University of Toronto（多伦多大学）；Stony Brook University（纽约州立大学石溪分校）
激活函数在确定训练动力学和神经网络性能方面起着关键作用。广泛采用的激活函数ReLU尽管简单有效，但缺点很少，包括垂死的ReLU问题。为了解决这些问题，我们提出了一种新的激活函数称为农奴这是自正则化和非单调的性质。和Mish一样，Serf也属于Swish函数家族。基于对具有不同最先进架构的计算机视觉（图像分类和目标检测）和自然语言处理（机器翻译，情感分类和多模态蕴涵）任务的几个实验，观察到Serf大大优于ReLU（基线）和其他激活函数，包括Swish和Mish，在更深的架构上具有明显更大的优势。消融研究进一步表明，基于Serf的架构在不同的场景中表现得比Swish和Mish更好，验证了Serf在不同深度、复杂性、优化器、学习速率、批量大小、初始化器和辍学率的有效性和兼容性。最后，我们研究了Swish和Serf之间的数学关系，从而显示了Serf的一阶导数中固有的预处理函数的影响，它提供了正则化效果，使梯度更平滑，优化更快。
2021-08-25 cs.AI cs.CV cs.LG
Deeper Learning with CoLU Activation
In neural networks , non-linearity is introduced by activation functions . One commonly used activation function is Rectified Linear Unit (ReLU). ReLU has been a popular choice as an activation but has flaws. State-of-the-art functions like Swish and Mish are now gaining attention as a better choice as they combat many flaws presented by other activation functions . CoLU is an activation function similar to Swish and Mish in properties. It is defined as f(x)=x/(1-xe^-(x+e^x)). It is smooth, continuously differentiable, unbounded above, bounded below, non-saturating, and non-monotonic. Based on…
2021-12-18 cs.CV cs.LG cs.NE
ARiA: Utilizing Richard's Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets
Michigan Technological University（密歇根理工大学）；Symbiosis Centre for Medical Image Analysis（共生医学图像分析中心）；Symbiosis Institute of Technology（共生技术学院）
这项工作引入了一种新的激活单元，可以有效地用于深度神经网络（DNN），并且比传统的整流线性单元（ReLU）表现得更好。开发的函数是专门的理查德曲线的两个参数版本，我们称之为自适应理查德曲线加权激活（ARiA）。该函数是非单调的，类似于新引入的Swish，但是允许通过改变超参数来精确控制其非单调凸性。我们首先展示了两个参数ARiA的数学意义，然后将其应用于MNIST、CIFAR-10和CIFAR-100等基准问题，并将其与ReLU和Swish单元进行了性能比较。我们的研究结果表明，ARiA在所有这些数据集上都具有显著的优越性能，使其成为DNN中ReLU和其他激活的潜在替代品。
2018-05-22 cs.LG cs.NE
SG-Blend: Learning an Interpolation Between Improved Swish and GELU for Robust Neural Representations
Intel Corporation（英特尔公司）
提出SG-Blend逐层自适应激活函数，通过SSwish与GELU的插值，以每FFN块仅三个标量的成本提升稳健性，在IMDB和WikiText103上取得最优性能并降低方差。
2026-09-11 cs.AI cs.LG
On the Selection of Initialization and Activation Function for Deep Neural Networks
University of Oxford（牛津大学）
深度神经网络的权值初始化和激活函数对训练过程的性能有着至关重要的影响。不适当的选择可能导致前向传播期间输入信息的丢失以及反向传播期间梯度的指数消失/爆炸。理解未经训练的随机网络的理论特性是识别哪些深度网络可以成功训练的关键，Schoenholz等人（2017）最近证明了这一点，他们表明，对于深度前馈神经网络，只有特定选择的超参数（称为“混沌边缘”）才能获得良好的性能。我们通过提供定量结果来完成这一分析，结果表明，对于一类类似ReLU的激活函数，信息在混沌边缘的初始化确实传播得更深。通过进一步扩展这种分析，我们确定了一类激活函数，提高了信息传播的ReLU类功能。该类包括Hendrycks & Gimpel（2016）、Elfwing等人（2017）和Ramachandran等人（2017）中使用的Swish激活$ϕ_{swish}(x) = x \cdot \text{sigmoid}(x)$。这为在这些贡献中观察到的$ϕ_{swish}$的优良经验性能提供了理论基础。我们补充了以前的结果，说明了在这种情况下，使用随机初始化的混沌边缘的好处。
2018-10-07 cs.LG stat.ML
Zorro: A Flexible and Differentiable Parametric Family of Activation Functions That Extends ReLU and GELU
Universidad Tecnológica Nacional（阿根廷国立技术大学）；Facultad Regional Tucumán（图库曼地区学院）
本文提出Zorro激活函数族，通过融合ReLU与Sigmoid实现连续可微且灵活可调，替代ReLU以避免梯度爆炸和神经元死亡，并在多种架构上验证其有效性。
2024-09-28 cs.LG cs.NE
Mean Field Theory of Activation Functions in Deep Neural Networks
Microsoft（微软）；Singapore University of Technology and Design（新加坡科技设计大学）；Chulalongkorn University（朱拉隆功大学）；European Center for Theoretical Studies in Nuclear Physics and Related Areas（欧洲核物理及相关领域理论研究中心）；Trento Institute for Fundamental Physics and Applications（特伦托基础物理与应用研究所）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一个统计力学（SM）模型的深度神经网络，连接基于能量和前馈网络（FFN）的方法。我们推断FFN可以理解为执行三个基本步骤：编码，表示验证和传播。从该模型的平均场解出发，我们得到了一组自然激活函数，如Sigmoid，$\tanh$和ReLu，以及最新的Swish;这代表了通过网络传播的预期信息，并且在零噪声的限制下趋于ReLu。我们研究了相关分类任务上的Hessian的频谱，这表明Swish允许在更广泛的网络架构上实现更一致的性能。
2019-06-06 cs.LG cs.NE stat.ML
Hard ASH: Sparsity and the right optimizer make a continual learner
针对类增量学习中的灾难性遗忘问题，本文证明采用稀疏激活函数ASH及其新变体Hard ASH与自适应学习率优化器的MLP，在Split-MNIST任务上能有效保持学习并媲美既有正则化技术。
2024-04-26 cs.CV cs.LG
Neural Network Structure Design based on N-Gauss Activation Function
Beijing Institute of Technology（北京理工大学）
最近的工作表明，卷积神经网络的激活函数满足Lipschitz条件，那么可以根据数据集的规模构造相应的卷积神经网络结构，对数据集进行更深入、更准确、更有效的训练。在本文中，我们接受了实验结果，并介绍了核心块N-Gauss，N-Gauss和Swish（Conv 1，Conv 2，FC 1）神经网络结构设计训练MNIST，CIFAR 10和CIFAR 100分别。实验表明，N-Gauss充分发挥了激活函数非线性建模的主要作用，使深度卷积神经网络具有层次化的非线性映射学习能力。同时，N-Gauss在简单一维通道小数据集上的训练能力与ReLU和Swish的性能相当。
2021-06-01 cs.AI cs.CV cs.LG
Tangma: A Tanh-Guided Activation Function with Learnable Parameters
Virginia Tech（弗吉尼亚理工大学）
提出新激活函数Tangma，结合双曲正切与可学习参数$α$和$γ$，在MNIST和CIFAR-10上优于ReLU等基线，实现更高准确率与训练效率。
2025-07-02 cs.CV cs.LG cs.NE
Stochastic Adaptive Activation Function
Daegu Gyeongbuk Institute of Science and Technology（大邱庆北科学技术院）；DGIST（大邱庆北科学技术院）；SAMSUNG SDI（三星SDI）
本文提出一种名为自适应Swish（ASH）的随机自适应激活函数，它根据单元位置和输入上下文动态调整阈值，是Swish的广义形式，并在分类、检测、分割和图像生成等任务中提升了准确率和收敛速度。
2022-10-21 cs.AI cs.LG cs.NE
Deep Network Approximation: Beyond ReLU to Diverse Activation Functions
本文研究了深度神经网络对多种激活函数的表达能力，证明了ReLU网络可通过特定激活函数网络近似，且在特定子集下可进一步减小规模参数。
2026-06-24 cs.LG stat.ML
LSQ+: Improving low-bit quantization through learnable offsets and better initialization
Qualcomm AI Research, Qualcomm Technologies, Inc.（高通AI研究，高通技术公司）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通AI研究，高通技术荷兰有限公司）；Seoul National University（首尔大学）
与ReLU不同，在流行的高效架构中经常使用的较新的激活函数（如Swish，H-swish，Mish）也可能导致负激活值，并具有倾斜的正负范围。典型的可学习量化方案[PACT，LSQ]假设无符号量化用于激活，并将所有负激活都设为零，这导致性能的显著损失。单纯地使用带符号量化来适应这些负值需要额外的符号位，这对于低位（2位、3位、4位）量化来说是昂贵的。为了解决这个问题，我们提出了LSQ+，这是LSQ的一个自然扩展，其中我们引入了一个具有可训练尺度和偏移参数的通用非对称量化方案，可以学习适应负激活。基于自适应的可学习量化方案通常也遭受最终训练性能的高不稳定性或方差，因此需要大量的超参数调整以达到令人满意的性能。LSQ+通过对量化参数使用基于MSE的初始化方案来解决这个问题。我们表明，这种初始化导致在多个训练运行的最终性能显着较低的方差。总体而言，LSQ+显示了EfficientNet和MixNet的最新结果，并且在Swish激活的神经网络的低位量化方面也明显优于LSQ（例如：ImageNet数据集上EfficientNet-B 0的W 4A 4量化增益高达1.8%，W2 A2量化增益高达5.6%）。据我们所知，我们的工作是第一次将这种架构扩展到极低的位宽。
2020-04-20 cs.CV cs.LG stat.ML
ANAct: Adaptive Normalization for Activation Functions
School of Computer and Communication（计算机与通信学院）；Lanzhou University of Technology（兰州理工大学）
本文提出ANAct，通过动态归一化激活函数以稳定梯度方差，提升CNN和残差网络性能，如归一化Swish在Tiny ImageNet上准确率提升1.4%。
2024-02-05 cs.AI cs.LG
Learning Neural Activations
University of Warwick（华威大学）；Pakistan Institute of Engineering and Applied Sciences (PIEAS)（巴基斯坦工程与应用科学研究院）
人工神经元被建模为加权求和，随后是确定其输出的激活函数。在文献中已经探索了各种各样的激活函数，例如整流线性单元（ReLU）、泄漏ReLU、Swish、MISH等。在这篇简短的论文中，我们探讨了当人工神经网络中每个神经元的激活函数仅从数据中学习时会发生什么。这是通过将每个神经元的激活函数建模为小神经网络来实现的，该小神经网络的权重由原始网络中的所有神经元共享。我们在结论部分列出了我们的主要发现。我们的分析代码可以在https://github.com/amina01/Learning-Neural-Activations上找到。
2019-12-27 cs.LG cs.NE stat.ML
Activation Functions for Generalized Learning Vector Quantization - A Performance Comparison
适当选择激活函数（如ReLU、sigmoid或swish）对（深度）多层感知器（MLP）进行分类和回归学习的性能起着重要作用。基于原型的分类学习方法，如（广义）学习矢量量化（GLVQ）是强大的替代方案。这些模型也处理激活函数，但在这里它们被应用于所谓的分类器函数。在本文中，我们调查成功的候选人的激活函数已知的MLP应用在GLVQ和他们的影响的性能。
2019-01-17 cs.LG stat.ML
Review and Comparison of Commonly Used Activation Functions for Deep Neural Networks
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
神经网络的主要决策单元是激活函数。此外，它们评估网络神经节点的输出，因此，它们对整个网络的性能至关重要。因此，在神经网络计算中，选择最合适的激活函数是至关重要的。Acharya等人（2018）认为，多年来已经制定了许多配方，尽管其中一些配方现在被认为是不受欢迎的，因为它们在某些条件下无法正常运行。这些功能有各种各样的特征，这些特征被认为是成功学习的关键。它们的单调性，个别导数和有限的范围是其中的一些特征（Bach 2017）。本文将评估常用的加法函数，如swish，ReLU，Sigmoid等。这将是其次是他们的属性，自己的缺点和优点，并特别公式应用建议。
2020-10-15 cs.LG cs.NE
ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models
Tsinghua University（清华大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tencent Machine Learning Platform（腾讯机器学习平台）
针对 LLM 缺乏固有激活稀疏性且高稀疏与性能难以兼顾的问题，本文提出 ProSparse，通过 ReLU 替换和多阶段正弦渐进正则化，在多个 LLaMA2 与 MiniCPM 模型上实现最高 89.32% 稀疏率及 4.52 倍推理加速。
2025-01-07 cs.AI cs.CL cs.LG
Highly Accurate CNN Inference Using Approximate Activation Functions over Homomorphic Encryption
Waseda University（早稻田大学）
在大数据时代，基于云的机器学习即服务（MLaaS）引起了相当大的关注。然而，当处理敏感数据时，如财务和医疗数据，就会出现隐私问题，因为云服务器可以访问客户端的原始数据。在云中处理敏感数据的一种常见方法是使用同态加密，它允许在不解密的情况下对加密数据进行计算。以往的研究通常采用低次多项式映射函数，如平方函数，进行数据分类。然而，这种技术导致低分类精度。在这项研究中，我们试图提高分类精度的卷积神经网络（CNN）的推理处理，同时使用同态加密。我们采用了一个激活函数，近似谷歌的Swish激活函数，同时使用四阶多项式。我们还采用批量归一化来归一化Swish函数的输入，以拟合输入范围，从而使误差最小化。我们使用微软的Cheon-Kim-Kim-Song（CKKS）方案的简单加密算术库在同态加密上实现了CNN推理标记。实验评估证实，MNIST和CIFAR-10的分类准确率分别为99.22%和80.48%，比以前的方法分别提高了0.04%和4.11%。
2020-12-02 cs.CR cs.LG stat.ML
A More Accurate Approximation of Activation Function with Few Spikes Neurons
Seoul National University of Science and Technology（首尔科学技术大学）；Korea Institute of Science and Technology（韩国科学技术研究院）
本文提出基于趋势的参数初始化方法TBPI，利用时间依赖性改善少脉冲神经元训练，从而更精确地逼近Swish等复杂非线性激活函数。
2024-08-19 cs.LG cs.NE
VeLU: Variance-enhanced Learning Unit for Deep Neural Networks
University of Bonn（波恩大学）；University of Padova（帕多瓦大学）；Technical University of Munich（慕尼黑技术大学）
VeLU通过引入方差意识和分布对齐的非线性，提升深度神经网络的训练稳定性与性能。
2025-12-02 cs.AI cs.CV cs.LG
Activation Function Optimization Scheme for Image Classification
Mississippi State University（密西西比州立大学）
本研究提出面向图像分类的进化式激活函数优化方法，得到EELU系列激活函数，经多架构多数据集验证，92.8%的案例中性能优于现有标准激活函数，最优形式为$-x\cdot erf(e^{-x})$。
2024-09-07 cs.AI cs.CV cs.LG
ErfAct and Pserf: Non-monotonic Smooth Trainable Activation Functions
IIIT Delhi（德里英德拉普拉斯塔信息技术学院）；Shaheed Bhagat Singh College, University of Delhi（德里大学沙希德·巴格特·辛格学院）；University of Delhi（德里大学）
激活函数是在网络中引入非线性的神经网络的关键组成部分。神经网络的最新性能还取决于激活函数的完美选择。我们提出了两个新的非单调光滑可训练的激活函数，称为ErfAct和Pserf。实验表明，与广泛使用的ReLU，Swish和Mish等激活相比，所提出的功能显着提高了网络性能。通过ErfAct和Pserf替换ReLU，我们在Shufflenet V2上的top-1准确率分别提高了5.68%和5.42% CIFAR 100数据集中的（2.0倍）网络，Shufflenet V2上的前1准确度提高了2.11%和1.96%在CIFAR 10数据集上的平均精度（mAP）提高了1.0%，在Pascal VOC数据集上的SSD 300模型上的平均精度（mAP）提高了1.0%。
2022-03-24 cs.AI cs.CV cs.LG
Gompertz Linear Units: Leveraging Asymmetry for Enhanced Learning Dynamics
University of Freiburg（弗莱堡大学）；Prior Labs
该研究提出新型自门控激活函数Gompertz线性单元（GoLU），利用Gompertz函数的右偏非对称性更有效地降低潜在空间方差，在多类视觉与NLP任务上性能优于现有前沿激活函数。
2025-05-21 cs.AI cs.CV cs.LG
Learning a Single Neuron for Non-monotonic Activation Functions
Peking University（北京大学）
我们研究了梯度下降（GD）学习单个神经元$\mathbf{x}\mapsto σ(\mathbf{w}^T\mathbf{x})$的问题。现有的所有正结果都局限于$σ$是单调的情形。然而，最近观察到非单调激活函数在许多应用中优于传统的单调激活函数。为了填补这一空白，我们建立了可学习性，而不假设单调性。具体地说，当输入分布是标准高斯分布时，我们证明了$σ$上的温和条件（例如，$σ$具有支配线性部分）足以保证多项式时间和多项式样本中的可学习性。此外，通过对激活函数的更强假设，输入分布的条件可以放宽到边缘分布的非退化。我们注意到，我们的条件$σ$满足实际的非单调激活函数，如SiLU/Swish和GELU。我们还讨论了我们的积极结果是如何与现有的两层神经网络训练的负面结果。
2022-02-16 cs.LG cs.NE math.OC
Rethinking Activation Functions: Reducing Bias Can Improve Learning
Peking University（北京大学）；Tsinghua University（清华大学）；MetaCircle
该研究指出ReLU等常用激活函数存在激活偏差，其虽加速初始学习但会导致过冲等问题，减少激活偏差虽减慢初始学习却能降低最终损失，大模型实验也验证此规律，为激活函数设计提供新方向。
2026-10-14 cs.AI cs.LG
Evolving Multi-Channel Confidence-Aware Activation Functions for Missing Data with Channel Propagation
University of Oklahoma（俄克拉荷马大学）
本文提出3C-EA和ChannelProp，通过遗传编程进化多通道激活函数，结合缺失指示器和置信度分数提升模型在缺失数据下的分类性能。
2026-04-28 cs.LG cs.NE
Mish: A Self Regularized Non-Monotonic Activation Function
KIIT（基伊特大学）
我们提出了一种新的自正则非单调激活函数$\textit{Mish}$，它可以在数学上定义为：$f(x)=x\tanh(softplus(x))$。由于激活函数在神经网络的性能和训练动态中起着至关重要的作用，我们在几个著名的基准测试中对架构和激活函数的最佳组合进行了实验验证。我们还观察到，数据增强技术在多种架构上对ImageNet-1 k和MS-COCO等基准测试具有良好的影响。例如，Mish在MS-COCO目标检测中的平均精度（$AP_{50}^{val}$）上优于具有CSP-DarkNet-53主干的YOLOv 4上的Leaky ReLU 2.1 $\%$，在ImageNet-1 k上的ResNet-50上的ReLU在Top-1精度上优于$\approx$ 1 $\%$，同时保持所有其他网络参数和超参数不变。此外，我们探索了Mish与Swish函数族的数学公式，并提出了一种直观的理解，即一阶导数行为如何作为正则化器帮助优化深度神经网络。代码可在https://github.com/digantamisra98/Mish上公开获取。
2020-08-13 cs.CV cs.LG cs.NE
Activation Functions in Deep Learning: A Comprehensive Survey and Benchmark
Indian Institute of Information Technology, Allahabad（印度理工学院信息技术学院（阿拉哈巴德））；Techno India University（泰克诺印度大学）；Indian Statistical Institute（印度统计研究所）
近年来，神经网络在解决众多问题方面取得了巨大的发展。已经引入了各种类型的神经网络来处理不同类型的问题。然而，任何神经网络的主要目标都是使用分层结构将非线性可分离的输入数据转换为更线性可分离的抽象特征。这些层是线性和非线性函数的组合。最流行和最常见的非线性层是激活函数（AF），例如Logistic Sigmoid、Tanh、ReLU、ELU、Swish和Mish。本文对用于深度学习的神经网络中的AF进行了全面的概述和调查。涵盖了不同类别的AF，如基于Logistic Sigmoid和Tanh，基于ReLU，基于ELU和基于学习。指出了自适应滤波器的输出范围、单调性和平滑性等特性。还进行了性能比较之间的18个国家的最先进的AF与不同的网络对不同类型的数据。提出了AF的见解，以利于研究人员做进一步的研究和从业人员在不同的选择中进行选择。用于实验比较的代码发布于：\url{https://github.com/shivram1987/ActivationFunctions}。
2022-06-28 cs.LG cs.NE
PowLU: An Activation Function for Stable Pre-Training of LLMs
Ant Group（蚂蚁集团）
提出PowLU激活函数，通过有理幂函数实现自适应非线性，解决SwiGLU在低精度LLM训练中的数值不稳定问题，在大规模训练中取得与SwiGLU和SwiGLU-Clip相当的性能并提升可扩展性。
2026-05-25 cs.CL cs.LG
Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks
Vellore Institute of Technology（韦洛尔理工学院）；Red Hat Inc.（红帽公司）
本文提出新型振荡激活函数增长余弦单元（GCU，$C(z)=z\boldsymbol{\text{cos}}z$），证明其可改善梯度流动、减小网络规模，在多种架构和基准测试中性能优于现有激活函数。
2023-01-12 cs.CV cs.LG cs.NE
On the failure of ReLU activation for physics-informed machine learning
Smead Aerospace Engineering Sciences University of Colorado（斯梅德航空航天工程科学大学）
本研究揭示ReLU在物理信息机器学习中的失效原因，指出自动微分对不连续场的导数处理不当导致性能下降。
2025-12-15 cs.LG
Tile-Level Activation Overlap for Efficient LLM Inference
Microsoft Research（微软研究院）
研究针对现代大语言模型中SwiGLU中间张量物化成本高的问题，提出基于CUTLASS的SM90内核，通过瓦片级融合SwiGLU与GeMM，提升推理速度，验证手工设计的必要性且数值表现优。
2026-07-07 cs.DC cs.LG cs.PL
A Channel Attention-Driven Hybrid CNN Framework for Paddy Leaf Disease Detection
Vellore Institute of Technology（韦洛尔理工学院）；Anna University（安娜大学）
针对水稻叶片早期病害识别难题，提出一种结合通道注意力机制与Swish ReLU的混合深度学习分类器，通过扩展Squeeze-and-Excitation架构实现高精度检测，F1分数达99.76%，准确率99.74%。
2024-07-16 cs.AI cs.CV cs.LG
Polynomial Composition Activations: Unleashing the Dynamics of Large Language Models
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Seed-Foundation-Model, ByteDance（字节跳动种子大模型部）；Capital University of Economics and Business（首都经济贸易大学）
该研究提出新型多项式组合激活函数PolyCom，经理论证明其网络有最优逼近速率，替换大语言模型传统激活后可捕捉数据高阶交互，显著提升准确率与收敛速度。
2025-03-20 cs.AI cs.CL cs.LG
RCR-AF: Enhancing Model Generalization via Rademacher Complexity Reduction Activation Function
Tsinghua University（清华大学）；Computer Science, Tsinghua University（计算机科学，清华大学）
针对深度神经网络易受对抗攻击的问题，提出结合GELU与ReLU优势、带超参数调控裁剪机制的RCR-AF激活函数，经理论与实验验证其可提升模型泛化性与鲁棒性。
2025-07-30 cs.AI cs.CV cs.LG
Characterizing signal propagation to close the performance gap in unnormalized ResNets
Deepmind（深度思维）；Google（谷歌）
批量归一化是几乎所有最先进图像分类器中的关键组件，但它也带来了实际挑战：它打破了批次内训练样本之间的独立性，可能会产生计算和内存开销，并且经常导致意外错误。基于最近对初始化时深度ResNet的理论分析，我们提出了一组简单的分析工具来表征前向传递上的信号传播，并利用这些工具来设计没有激活归一化层的高性能ResNet。我们成功的关键是最近提出的重量标准化的改编版本。我们的分析工具展示了这种技术如何通过确保每个通道的激活手段不随深度而增长，来保留具有ReLU或Swish激活函数的网络中的信号。在一系列FLOP预算中，我们的网络获得了与ImageNet上最先进的EfficientNets竞争的性能。
2021-01-27 cs.CV cs.LG stat.ML
K-TanH: Efficient TanH For Deep Learning
Intel Labs（英特尔研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了K-TanH，这是一种新颖的，高度准确的，硬件有效的近似用于深度学习的流行激活函数TanH。K-TanH由参数化的低精度整数运算组成，例如移位和加/减（不需要浮点运算），其中参数存储在非常小的查找表中，可以放入CPU寄存器中。K-TanH可以处理各种数字格式，例如Float 32和BFloat 16。对其他激活函数的高质量近似，例如，Sigmoid、Swish和GELU可以从K-TanH导出。我们的AVX 512 K-TanH实现证明了$>5\times$比英特尔SVML更快的速度，并且在效率上始终优于使用浮点运算的其他近似值。最后，我们在WMT 16数据集上训练语言翻译模型GNMT，并通过BFloat 16输入上的K-TanH获得近似TanH，从而获得了最先进的Bleu得分和收敛结果。
2020-06-07 cs.LG cs.NE stat.ML
Non-linear Neurons with Human-like Apical Dendrite Activations
University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；University of Trento（特伦托大学）
本文提出顶端树突激活（ADA）及锥体神经元模型PyNADA，使单神经元能学习非线性决策边界，并在多个基准数据集上超越ReLU等激活函数。
2023-08-10 cs.CV cs.LG cs.NE
LinSyn: Synthesizing Tight Linear Bounds for Arbitrary Neural Network Activation Functions
University of Southern California（南加利福尼亚大学）
验证神经网络鲁棒性的最可扩展方法取决于计算网络激活函数的合理线性上下界。目前的方法是有限的，因为线性边界必须由专家手工制作，并且可能是次优的，特别是当网络的架构使用例如LSTM中的乘法和最近流行的Swish激活来组成操作时。对专家的依赖阻止了鲁棒性认证应用于激活函数的最新发展，此外，缺乏紧密性保证可能会给人一种关于特定模型的不安全感。据我们所知，我们是第一个考虑自动计算任意n维激活函数的紧线性界的问题。我们提出了LinSyn，第一种方法，实现了任何任意激活函数的严格界限，同时只利用激活函数本身的数学定义。我们的方法利用一个有效的启发式方法来合成的界限是紧密的，通常声音，然后验证的合理性（并调整边界，如果必要的话）使用高度优化的分支和边界SMT求解器，dReal。尽管我们的方法依赖于SMT求解器，但我们表明，在实践中运行时间是合理的，并且与最先进的方法相比，我们的方法通常可以实现2- 5倍的最终输出边界和超过四倍的认证鲁棒性。
2022-01-31 cs.LG cs.LO cs.NA
Adaptively Customizing Activation Functions for Various Layers
College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）；Key Laboratory of Visual Media Intelligent Processing Technology of Zhejiang Province（浙江省可视媒体智能处理技术重点实验室）；School of Computer Science and Engineering, Tianjin University of Technology（天津理工大学计算机科学与工程学院）
为了增强神经网络的非线性并提高其在输入和响应变量之间的映射能力，激活函数在对数据中更复杂的关系和模式进行建模时起着至关重要的作用。在这项工作中，提出了一种新的方法来自适应地定制激活函数，只需添加很少的参数到传统的激活函数，如Sigmoid，Tanh和ReLU。为了验证所提方法的有效性，对加速收敛和提高性能进行了理论和实验分析，并基于不同的网络模型（如AlexNet、VGGNet、GoogLeNet、ResNet和DenseNet）和不同的数据集（如CIFAR10、CIFAR100、miniImageNet、PASCAL VOC和COCO）进行了一系列实验。为了进一步验证该算法在各种优化策略和使用场景下的有效性和适用性，本文还对SGD、Momentum、AdaGrad、AdaDelta和ADAM等不同优化策略和分类、检测等不同识别任务进行了对比实验。结果表明，该方法非常简单，但在收敛速度，精度和泛化方面具有显着的性能，并且在几乎所有的实验中，它都可以超过其他流行的方法，如ReLU和自适应函数，如Swish。该代码可在https://github.com/HuHaigen/Adaptively-Customizing-Activation-Functions上公开获得。该软件包包括建议的三个自适应激活函数的再现性的目的。
2021-12-17 cs.CV cs.LG
Integral Signatures of Activation Functions: A 9-Dimensional Taxonomy and Stability Theory for Deep Learning
Bellini College of AI, Cybersecurity and Computing（人工智能、网络安全与计算学院）；University of South Florida（佛罗里达州立大学）；College of Computing and Informatics（计算与信息学院）；Drexel University（德雷塞尔大学）；Departments of Physics（物理系）
提出基于九维积分签名的激活函数分类框架，建立稳定性理论，区分八种常见激活函数，提供可证明的设计指导。
2025-10-09 cs.AI cs.LG
Expressive Power of Floating-Point Neural Networks with Arbitrary Reduction Orders and Inexact Activation Implementations
Department of Mathematics and Statistics, Sejong University（数学与统计学系，世宗大学）；Department of Mathematical Sciences, GIST（数学科学系，韩国科学技术院）；Department of Computer Science, POSTECH（计算机科学系，POSTECH）；Department of Artificial Intelligence, Korea University（人工智能系，韩国大学）
本文研究在广义浮点执行语义下（包括任意归约顺序和具有有界ulp误差的不精确激活实现），浮点神经网络能否精确表示浮点域上的任意函数，并引入通用可区分性框架，证明第一层区分每对不同输入的能力是通用可表示性的必要条件，同时在温和条件下证明适当形式的可区分性也是充分条件，从而为Sigmoid、tanh、ReLU等实际激活函数建立了通用可表示性结果。
2026-05-27 cs.LG
Effect of Activation Functions on the Training of Overparametrized Neural Nets
Microsoft Research India（微软印度研究院）；Cornell University（康奈尔大学）
众所周知，使用基于梯度的方法训练的过参数化神经网络通过适当的超参数设置可以快速实现小的训练误差。最近的论文在合理的假设下从理论上证明了这一说法。这些结果或者假设激活函数是ReLU，或者它们关键地取决于某个Gram矩阵的最小特征值，这取决于数据、随机初始化和激活函数。在后一种情况下，现有的作品只证明了这个最小特征值是非零的，并没有提供定量的界限。在经验方面，当代的研究已经提出了一些替代的激活函数，它们至少在某些设置中往往比ReLU表现得更好，但没有出现明确的理解。这种状况强调了从理论上理解激活函数对训练的影响的重要性。在本文中，我们提供的理论结果的影响，激活函数的高度过参数化的2层神经网络的训练。控制激活性能的一个关键属性是它是否平滑。对于ReLU、SELU和ELU等非平滑激活，在对数据的最小假设下，相关Gram矩阵的所有特征值都很大。对于tanh，swish和多项式等平滑激活，情况更加复杂。如果数据所跨越的子空间具有小维度，则Gram矩阵的最小特征值可能很小，导致训练缓慢。但是如果维数很大，并且数据满足另一个温和的条件，那么特征值就很大。如果我们允许深度网络，那么小的数据维度不是限制，只要深度足够。我们讨论了一些扩展和应用这些结果。
2020-04-10 cs.LG stat.ML
How Does Fourier Analysis Network Work? A Mechanism Analysis and a New Dual-Activation Layer Proposal
本文分析了傅里叶分析网络(FAN)中正弦激活对性能的积极贡献及余弦激活的负面影响，提出双激活层(DAL)以提升训练动态和收敛速度，实验显示其在噪声信号分类、MNIST数字识别和ECG生物识别任务中表现更优。
2026-03-12 cs.LG
Effectiveness of Scaled Exponentially-Regularized Linear Units (SERLUs)
University of Technology Sydney（悉尼科技大学）；Qamcom Research and Technology AB（Qamcom研究与技术公司）
最近，已经提出了自归一化神经网络（SNN），其意图是避免批量或权重归一化。SNN中的关键步骤是适当地缩放指数线性单元（称为SELU），以内在地结合基于中心极限理论的归一化。SELU是一个单调递增的函数，其中对于大的负输入，它具有近似恒定的负输出。在这项工作中，我们提出了一个新的激活函数，打破单调性的SELU，同时仍然保持自规范化的属性。新函数继承自SELU，通过用缩放指数函数正则化线性函数，在负输入区域中引入凸形函数，其被称为缩放指数正则化线性单元（SERLU）。凹凸形状函数对大的负输入具有近似零响应，同时能够在统计上将SERLU的输出推向零均值。为了有效地对抗过拟合，我们为SERLU开发了一个所谓的移位丢弃，其中包括标准丢弃作为特殊情况。在MNIST、CIFAR10和CIFAR100上的实验结果表明，与ELU、SELU、Swish、Leakly ReLU和ReLU等其他5个激活函数相比，基于SERLU的神经网络提供了一致的有希望的结果。
2018-07-27 cs.AI cs.LG stat.ML
A Modified Batch Intrinsic Plasticity Method for Pre-training the Random Coefficients of Extreme Learning Machines
Purdue University（普渡大学）
在极端学习机（ELM）中，隐层系数是随机设置和固定的，而神经网络的输出层系数是通过最小二乘法计算的。ELM中随机分配的系数是影响其性能和精度显着。在本文中，我们提出了一种改进的批内禀塑性（modBIP）方法预训练的随机系数的ELM神经网络。该方法与批处理本征塑性（BIP）方法基于相同的原理，即通过增强神经网络中每个节点的信息传输来设计。它在两个突出方面不同于BIP。首先，modBIP在其算法中不涉及激活函数，并且它可以与神经网络中的任何激活函数一起应用。相反，BIP在其构造中使用激活函数的逆，并且要求激活函数是可逆的（或单调的）。modBIP方法可以与经常使用的非单调激活函数（例如高斯，swish，高斯误差线性单元和径向基类型函数）一起工作，BIP可以与这些函数一起分解。其次，modBIP以最小尺寸在随机间隔上生成目标样本，这导致与ELM结合时的高精度计算结果。在数值模拟中，组合ELM/modBIP方法的精度明显高于ELM/BIP方法。用浅层和深层神经网络对偏微分方程的函数逼近和边值/初值问题进行了充分的数值实验。他们表明，组合ELM/modBIP方法产生高度准确的模拟结果，其准确性是不敏感的随机系数初始化的神经网络。这与没有预先训练随机系数的ELM结果形成鲜明对比。
2021-03-14 cs.LG cs.NA math.NA
ShineOn: Illuminating Design Choices for Practical Video-based Virtual Clothing Try-on
San Jose State University（圣何塞州立大学）；Carnegie Mellon University（卡内基梅隆大学）；Nanyang Technological University（南洋理工大学）
虚拟试穿作为一个神经渲染基准任务，以评估复杂的对象传输和场景合成已经引起了人们的兴趣。最近在虚拟服装试穿方面的工作提供了大量可能的架构和数据表示选择。然而，它们在量化每个选择的孤立视觉效果方面几乎没有清晰度，也没有指定实验再现的关键超参数细节。我们的工作，ShineOn，从自下而上的方法来处理试穿任务，旨在揭示每个实验的视觉和定量效果。我们建立了一系列的科学实验来隔离虚拟服装试穿视频合成中的有效设计选择。具体来说，我们研究了不同的姿势注释，自我注意层放置和激活函数对视频虚拟试穿的定量和定性性能的影响。我们发现，DensePose注释不仅增强了面部细节，而且减少了内存使用和训练时间。接下来，我们发现注意力层可以改善面部和颈部的质量。最后，我们证明了GELU和ReLU激活函数在我们的实验中是最有效的，尽管新的激活函数如Swish和Sine很有吸引力。我们将发布一个组织良好的代码库，超参数和模型检查点，以支持我们的结果的可重复性。我们希望我们广泛的实验和代码，大大告知未来的设计选择在视频虚拟试穿。我们的代码可以访问https://github.com/andrewjong/ShineOn-Virtual-Tryon。
2021-01-13 cs.CV cs.LG
Robust Deep Network Learning of Nonlinear Regression Tasks by Parametric Leaky Exponential Linear Units (LELUs) and a Diffusion Metric
Independent Researcher（独立研究者）
本研究针对非线性回归任务，提出参数化平滑泄漏指数线性单元（LELU）激活函数以解决现有激活函数的梯度消失或不连续问题，同时提出扩散损失度量用于评估模型过拟合情况，提升了深度网络的回归性能与鲁棒性。
2025-09-28 cs.LG
From Hard to Soft: Understanding Deep Network Nonlinearities via Vector Quantization and Statistical Inference
Rice University（莱斯大学）
非线性对于深度（神经）网络（DN）的性能至关重要。到目前为止，对可用非线性的理解进展甚微，但最近在理解分段仿射和凸非线性（如ReLU和绝对值激活函数和最大池化）所扮演的角色方面取得了进展。特别地，从这些操作构造的DN层可以被解释为{ \em最大仿射样条算子}（MASO），其具有到矢量量化（VQ）和$K$均值的优雅链接。虽然这是一个很好的理论进展，但整个MASO方法都是基于非线性分段仿射和凸的要求，这排除了重要的激活函数，如sigmoid，双曲正切和softmax。{ \em本文通过将确定性MASO与概率高斯混合模型（GARCH）联系起来，将MASO框架扩展到这些和无限大类新的非线性。}我们表明，在GMM下，分段仿射，凸非线性，如ReLU，绝对值和最大池可以解释为某些自然“硬”VQ推理问题的解决方案，而sigmoid，双曲正切和softmax可以解释为相应的“软”VQ推理问题的解决方案。我们通过混合硬和软VQ优化来进一步扩展框架，以创建在硬、软和线性VQ推理之间插值的$β$ -VQ推理。$β$ DN非线性的一个主要示例是{ \em swish}非线性，其在一系列计算机视觉任务中提供最先进的性能，但是通过实验特别开发。最后，我们用实验验证了我们理论的一个重要论断，即DN性能可以通过在其线性滤波器中执行正交性来显着提高。
2018-10-22 cs.LG stat.ML
Exploiting Activation Sparsity with Dense to Dynamic-k Mixture-of-Experts Conversion
IDEAS NCBR；Warsaw University of Technology（华沙理工大学）；Jagiellonian University（雅盖隆大学）；Sapienza University of Rome（罗马第一大学）
本文提出D2DMoE方法，通过正则化基础模型的激活稀疏性并引入按token动态调整专家数量的dynamic-$k$选择规则，将密集网络转换为MoE层，在NLP和视觉任务中实现最高60%推理成本降低且保持性能。
2024-11-12 cs.LG
