E-swish: Adjusting Activations to Different Network Depths
激活函数对神经网络在针对所需问题训练和测试模型方面具有众所周知的影响。目前，最常用的激活函数是整流线性单元（ReLU）。本文介绍了一种新的和新颖的激活函数，与新的激活$Swish = x * sigmoid(x)$（Ramachandran等人，2017），我们称之为新的激活$E-swish = βx * sigmoid(x)$。我们发现E-swish的性能优于许多其他知名的激活，包括ReLU和Swish。例如，与ReLU相比，使用E-swish在WRN 10-2的Cifar 10和Cifar 100上分别提供了1.5%和4.6%的准确性改进，与Swish相比分别提供了0.35%和0.6%的准确性改进。复制我们所有实验的代码可以在https://github.com/EricAlcaide/E-swish上找到
2018-01-22 cs.CV cs.LG stat.ML
Balanced Activation for Long-tailed Visual Recognition
Innova（英诺瓦）
深度分类器在视觉识别中取得了巨大的成功。然而，现实世界的数据本质上是长尾的，导致训练和测试分布之间的不匹配。在本报告中，我们介绍了平衡激活（平衡Softmax和平衡Sigmoid），这是Sigmoid和Softmax激活函数的一个优雅的无偏和简单的扩展，以适应目标检测中训练和测试之间的标签分布偏移。我们推导出多类Softmax回归的泛化界，并证明我们的损失最小化了界。在我们的实验中，我们证明了平衡激活通常在LVIS-1.0上提供约3%的mAP增益，并且在不引入任何额外参数的情况下优于当前最先进的方法。
2020-08-24 cs.LG stat.ML
Revise Saturated Activation Functions
University of Alberta（阿尔伯塔大学）；Carnegie Mellon University（卡内基梅隆大学）
本文修正了两个常用的饱和函数，logistic sigmoid和双曲正切（tanh）。我们指出，除了众所周知的非零中心属性之外，激活函数在原点附近的斜率是另一个可能的原因，使得使用逻辑函数训练深度网络难以训练。我们证明了，适当的重新缩放，logistic sigmoid实现与双曲正切相当的结果。然后，根据同样的论点，我们通过惩罚tahn的否定部分来改进tahn。我们证明了“惩罚tanh”是相当的，甚至优于最先进的非饱和函数，包括深度卷积神经网络上的ReLU和Leaky ReLU。我们的结果反驳了前人的结论，即饱和性质导致收敛缓慢。这表明有必要进一步研究以更好地理解深层架构中的激活函数。
2016-05-02 cs.LG
Nish: A Novel Negative Stimulated Hybrid Activation Function
Eskisehir Osmangazi University（埃斯基谢希尔奥斯曼加齐大学）
激活函数对神经网络的效率和鲁棒性具有显著影响。作为替代方案，我们发展了一种尖端的非单调激活函数，负刺激混合激活函数（Nish）。它充当正区域的整流线性单元（ReLU）函数和负区域的正弦S形函数。换句话说，它包含了一个sigmoid和一个sine函数，并在经典的ReLU上获得了新的动力学。我们分析了Nish在几个最流行的基准测试中对基本网络和最常见的激活函数的不同组合的一致性。从实验结果中，我们报告说，Nish实现的准确率略好于Mish分类。
2022-12-18 cs.AI cs.CV cs.LG
Complexity of Neural Network Training and ETR: Extensions with Effectively Continuous Functions
University of Helsinki（赫尔辛基大学）；University of Sheffield（谢菲尔德大学）
本文研究了不同激活函数下神经网络训练问题的复杂度，证明其与扩展的实数存在理论多项式时间双可归约，发现sigmoid对应指数函数且可解性未知，而正弦激活函数下训练问题不可判定。
2023-05-19 cs.AI cs.CC cs.LG
Parametric Rectified Power Sigmoid Units: Learning Nonlinear Neural Transfer Analytical Forms
Université Savoie Mont Blanc（萨瓦大学）；TLECOM Bretagne（布列塔尼电信学院）
本文提出了一种双重范式的表示泛函，其中学习共同关注线性卷积权重和非线性激活函数的参数形式。提出的非线性形式执行的功能表示相关联的一类新的参数神经传递函数称为整流功率S形单元。这个类的构造是为了结合sigmoid和整流线性单位函数的优点，同时拒绝这些函数的缺点。此外，这个新的神经类的分析形式涉及规模，移位和形状参数，以获得广泛的激活形状，包括标准的整流线性单元作为极限情况。这个神经传递类的参数被认为是可学习的，以便发现可以有助于解决机器学习问题的复杂形状。通过卷积和整流幂sigmoid可学习参数的联合学习所实现的性能在浅层和深度学习框架中都表现出色。这门课为机器学习开辟了新的前景，因为可学习的参数不仅与线性变换有关，而且与合适的非线性算子有关。
2021-02-05 cs.IR cs.LG eess.SP
Effect of the output activation function on the probabilities and errors in medical image segmentation
Leipzig University（莱比锡大学）；Leipzig University Medical Centre（莱比锡大学医学中心）
sigmoid激活是神经网络二进制分类和分割中的标准输出激活函数。尽管如此，存在各种其他潜在的输出激活函数，其可以导致医学图像分割中的改进结果。在这项工作中，我们考虑不同的输出激活和损失函数的渐近行为如何影响预测概率和相应的分割误差。对于交叉熵，我们表明，激活函数的变化速度更快与更好的预测相关，而变化速度较慢可以提高概率的校准。对于骰子损失，我们发现反正切激活函数优于sigmoid函数。此外，我们提供了一个测试空间，在医学图像分割领域的任意输出激活功能。我们在四个不同的医学图像分割任务上测试了七个激活函数和三个损失函数，以提供最适合此应用场景的函数分类。
2021-09-02 cs.CV cs.LG eess.IV
Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks
我们考虑了浅层神经网络关于变分范数的逼近率。对于S形和ReLU激活函数，已经建立了这些速率的上限，但是这些速率是否尖锐仍然是一个重要的开放问题。在这篇文章中，我们提供了一个解决这个问题的方法，证明了尖锐的下界的近似率浅神经网络，这是通过下界的$L^2$度量熵的凸包的神经网络基函数。此外，我们的方法还给出了这个凸包的$n$宽度的尖锐下界，这表明，对应于浅神经网络的变化空间不能有效地近似线性方法。这些下限适用于具有有界变差的S形激活函数和作为ReLU的幂的激活函数。我们的结果还量化了Barron谱范数比变分范数强多少，并结合以前的结果，在ReLU激活函数的情况下，给出了$L^\infty$度量熵的对数因子的渐近性。
2021-09-08 cs.LG math.ST stat.ML
Effect of shapes of activation functions on predictability in the echo state network
University of Tsukuba（筑波大学）；Hokkaido University（北海道大学）
研究了Echo状态网络在几种激活函数下的时间序列预测精度。结果发现，与传统的S形函数相比，具有适当非线性的某些类型的激活函数表现出高性能。
2019-05-22 cs.LG cs.NE
Convergence of Deep Neural Networks with General Activation Functions and Pooling
深度神经网络作为一种表示高维复杂函数的强大系统，在深度学习中发挥着关键作用。深度神经网络的收敛是为深度学习建立数学基础的基本问题。我们在最近的两项研究中研究了深度ReLU网络和深度卷积神经网络的收敛性（arXiv：2107.12530，2109.13542）。其中仅研究了整流线性单元（ReLU）激活，而没有考虑重要的池化策略。在目前的工作中，我们研究了深度神经网络的收敛性，因为深度趋于无穷大，另外两个重要的激活函数：泄漏ReLU和sigmoid函数。还将研究合并。因此，我们证明了arXiv：2107.12530，2109.13542中建立的充分条件对于泄漏ReLU网络仍然是充分的。对于收缩激活函数，如sigmoid函数，我们建立了一个较弱的深度神经网络一致收敛的充分条件。
2022-10-01 cs.LG math.FA
Contrast-Enhanced Gating in GRUs for Robust Low-Data Sequence Learning
Stanford University（斯坦福大学）；LSU Health Sciences Center New Orleans（路易斯安那州立大学健康科学中心新奥尔良分校）
本文提出SST激活函数提升GRU门控性能，尤其在低数据场景下表现更优，增强信息过滤能力，提升训练稳定性。
2026-04-27 cs.AI cs.LG
Hybrid activation functions for deep neural networks: S3 and S4 -- a novel approach to gradient flow optimization
Interregional Academy of Personnel Management（区域间人事管理学院）；Luxena Ltd.（Luxena有限公司）
针对传统激活函数的神经元死亡与梯度消失问题，提出两种混合激活函数S3及改进版S4，通过混合设计和平滑过渡机制优化梯度流，在多类任务上性能优于9种基线函数，适配性更强。
2025-07-29 cs.AI cs.LG cs.NE
An Investigation on Deep Learning with Beta Stabilizer
Shanghai Jiao Tong University（上海交通大学）
人工神经网络（ANN）已经被用于许多应用中，例如手写识别和语音识别。众所周知，学习率是人工神经网络训练过程中的一个重要参数。结果表明，学习率的初始值会影响最终的结果，在实际应用中，该值通常是手动设置的。为了降低初始学习率的敏感性，引入了一个新的参数β稳定器。但这种方法仅针对具有sigmoid激活函数的深度神经网络（DNN）提出。本文将beta稳定器扩展到长短期记忆（LSTM）模型，研究beta稳定器参数对不同模型的影响，包括LSTM模型和具有relu激活函数的DNN模型。结果表明，Beta稳定器参数可以降低学习率的敏感性，但在具有relu激活函数的DNN和LSTM上的性能几乎相同。然而，研究表明，β稳定剂对具有relu激活函数和LSTM的DNN的影响小于对具有sigmoid激活函数的DNN的影响。
2020-07-31 cs.LG
Rethinking Multinomial Logistic Mixture of Experts with Sigmoid Gating Function
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Purdue University（普渡大学）；Hanoi University of Science and Technology（河内科学技术大学）
本文重新思考了带有Sigmoid门函数的多项逻辑混合专家模型，通过分析和改进门控函数，提高了模型的样本效率和收敛性。
2026-02-01 cs.LG stat.ML
Activation Functions for Generalized Learning Vector Quantization - A Performance Comparison
适当选择激活函数（如ReLU、sigmoid或swish）对（深度）多层感知器（MLP）进行分类和回归学习的性能起着重要作用。基于原型的分类学习方法，如（广义）学习矢量量化（GLVQ）是强大的替代方案。这些模型也处理激活函数，但在这里它们被应用于所谓的分类器函数。在本文中，我们调查成功的候选人的激活函数已知的MLP应用在GLVQ和他们的影响的性能。
2019-01-17 cs.LG stat.ML
Efficient Neural Network Robustness Certification with General Activation Functions
University of California, Los Angeles（加州大学洛杉矶分校）；IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）
寻找对抗样本的最小失真，从而证明神经网络分类器对给定数据点的鲁棒性是一个具有挑战性的问题。尽管如此，最近已经证明可以给出一个非平凡的最小对抗失真的认证下限，并且最近通过利用ReLU激活的分段线性性质在这方面取得了一些进展。然而，一般激活函数的通用鲁棒性认证仍然在很大程度上未被探索。为了解决这个问题，在本文中，我们介绍了皇冠，一个通用的框架，以证明神经网络的鲁棒性与一般激活函数给定的输入数据点。我们算法的新颖性包括用线性和二次函数绑定给定的激活函数，因此允许它处理一般的激活函数，包括但不限于四个流行的选择：ReLU，tanh，sigmoid和arctan。此外，我们方便搜索一个更严格的认证下限，自适应地选择适当的代理每个神经元激活。实验结果表明，与当前最先进的算法Fast-Lin相比，ReLU网络上的CROWN可以显着提高认证下限，同时具有相当的计算效率。此外，CROWN还证明了它的有效性和灵活性的网络与一般的激活函数，包括双曲正切，sigmoid和arctan。
2018-11-02 cs.CR cs.LG stat.ML
Automated Design of Linear Bounding Functions for Sigmoidal Nonlinearities in Neural Networks
University of Oxford（牛津大学）；Leiden University（莱顿大学）；RWTH Aachen University（亚琛工业大学）
针对 Sigmoid、Tanh 等一般激活函数的凸松弛验证，本文提出用算法配置定制简单参数搜索以优化线性上下界，并在多个基准上将平均全局下界提升 25%。
2024-06-14 cs.AI cs.LG cs.LO
A Survey on Activation Functions and their relation with Xavier and He Normal Initialization
Delft University of Technology（代尔夫特理工大学）
在人工神经网络中，激活函数和权值初始化方法对神经网络的训练和性能起着重要的作用。出现的问题是函数的哪些属性对于成为性能良好的激活函数是重要/必要的。最常用的权值初始化方法-- Xavier法和He法与激活函数有着根本的联系。本综述讨论了激活函数的重要/必要性质和最广泛使用的激活函数（sigmoid，tanh，ReLU，LReLU和PReLU）。本文还探讨了这些激活函数与两种权值初始化方法-- Xavier法和He法初始化之间的关系。
2020-03-18 cs.LG cs.NE
Recurrent Neural Networks with Flexible Gates using Kernel Activation Functions
Sapienza University of Rome（罗马第一大学）；University of Cantabria（坎塔布里亚大学）
门控循环神经网络在序列数据分析中取得了显著的效果。在这些网络中，门被用来控制信息流，甚至可以对数据中非常长期的依赖关系进行建模。在本文中，我们调查是否可以改善原来的门方程（线性投影，然后是一个元素明智的sigmoid）。特别是，我们设计了一个更灵活的架构，具有少量的自适应参数，这是能够模拟更广泛的门控功能比经典的。为此，我们取代标准门中的S形函数与非参数制定扩展最近提出的内核激活函数（KAF），增加了一个剩余的跳跃连接。对MNIST数据集的顺序变体进行的一组实验表明，采用这种新型门可以提高精度，而计算能力方面的成本可以忽略不计，并且训练迭代次数大大加快。
2018-07-11 cs.LG cs.NE stat.ML
Activation Functions in Deep Learning: A Comprehensive Survey and Benchmark
Indian Institute of Information Technology, Allahabad（印度理工学院信息技术学院（阿拉哈巴德））；Techno India University（泰克诺印度大学）；Indian Statistical Institute（印度统计研究所）
近年来，神经网络在解决众多问题方面取得了巨大的发展。已经引入了各种类型的神经网络来处理不同类型的问题。然而，任何神经网络的主要目标都是使用分层结构将非线性可分离的输入数据转换为更线性可分离的抽象特征。这些层是线性和非线性函数的组合。最流行和最常见的非线性层是激活函数（AF），例如Logistic Sigmoid、Tanh、ReLU、ELU、Swish和Mish。本文对用于深度学习的神经网络中的AF进行了全面的概述和调查。涵盖了不同类别的AF，如基于Logistic Sigmoid和Tanh，基于ReLU，基于ELU和基于学习。指出了自适应滤波器的输出范围、单调性和平滑性等特性。还进行了性能比较之间的18个国家的最先进的AF与不同的网络对不同类型的数据。提出了AF的见解，以利于研究人员做进一步的研究和从业人员在不同的选择中进行选择。用于实验比较的代码发布于：\url{https://github.com/shivram1987/ActivationFunctions}。
2022-06-28 cs.LG cs.NE
Approximating Activation Functions
University of Cambridge（剑桥大学）
ReLU被广泛认为是神经网络中激活函数的默认选择。然而，存在需要更复杂的功能的情况。特别是，递归神经网络（如LSTM）广泛使用双曲正切函数和sigmoid函数。这些函数的计算成本很高。我们使用函数近似技术来开发这些函数的替代品，并在三种流行的网络配置上对其进行经验评估。我们找到了安全的近似值，可以在CPU上的训练时间上提高10%到37%。这些近似适用于我们考虑的所有情况，我们相信是使用这些激活函数的所有网络的适当替代。我们还开发了范围近似，仅适用于在某些情况下，由于其输入域的限制。我们的范围近似在网络训练时间上提高了20%到53%的性能。我们的函数也匹配或大大超过Theano和Word 2 Vec实现中使用的ad-hoc近似。
2020-01-17 cs.LG cs.PF stat.ML
Approximation Rates for Neural Networks with General Activation Functions
Pennsylvania State University（宾夕法尼亚州立大学）
本文证明了关于具有一般激活函数的神经网络的逼近速度的一些新结果。我们的第一个结果是关于一个两层神经网络的多项式衰减非sigmoidal激活函数的近似率。我们扩展了以前获得的维数无关的逼近率这一类新的激活函数。我们的第二个结果给出了一个较弱的，但仍然尺寸独立，近似率为一个较大的类的激活函数，删除多项式衰减假设。这个结果适用于任何有界的，可积的激活函数。最后，我们证明了一个分层抽样的方法可以用来提高多项式衰减激活函数的近似率在温和的附加假设。
2021-01-03 cs.LG math.CA
Theory, Analysis, and Best Practices for Sigmoid Self-Attention
Apple（苹果公司）
本文通过理论证明和实验分析，确立了 sigmoid 注意力作为 Transformer 中 softmax 直接替代品的最佳实践，并提出了硬件加速实现 FLASHSIGMOID，在多种任务上达到与 softmax 相当的性能。
2025-01-22 cs.LG
Memory capacity of neural networks with threshold and ReLU activations
University of California, Irvine（加州大学欧文分校）
压倒性的理论和经验证据表明，轻度过度参数化的神经网络--连接数多于训练数据大小的网络--通常能够以$100\%$的准确度记住训练数据。这在具有sigmoid激活函数的网络中得到了严格的证明，最近，ReLU激活也得到了严格的证明。解决1988年Baum的一个公开问题，我们证明了这种现象适用于一般的多层感知器，即具有阈值激活函数的神经网络，或者具有阈值和ReLU激活的任何混合。我们的建设是概率和利用稀疏性。
2020-06-02 cs.IT cs.LG cs.NE
Implementation of an Asymmetric Adjusted Activation Function for Class Imbalance Credit Scoring
China Development Bank（国家开发银行）；Central University of Finance and Economics（中央财经大学）；University of Cambridge（剑桥大学）；Peking University（北京大学）
本文提出一种基于不平衡比率调整的ASIG激活函数，嵌入Sigmoid以自动调整敏感边界，防止少数类被低估，在信用评分任务中优于传统分类器，且在高不平衡比率下保持鲁棒性。
2025-01-21 cs.AI cs.LG q-fin.RM
Generic Coreset for Scalable Learning of Monotonic Kernels: Logistic Regression, Sigmoid and more
University of Haifa（海法大学）
Coreset（或core-set）是输入集$P$相对于给定\emph{monotonic}函数$f:\mathbb{R}\to\mathbb{R}$的小加权\emph{subset} $Q$，\emph{provably}将其拟合损失$\sum_{p\in P}f(p\cdot x)$近似为给定$x\in\mathbb{R}^d$的\emph{any}。使用$Q$，通过在$Q$上运行\emph{existing}优化算法，我们可以获得使该损失最小化的$x^*$的近似值。在这项工作中，我们提供：（i）证明了对于一般单调损失函数，存在没有小于$n=|P|$的余集的集合的下界。(ii)一个证明，在一个自然的假设下，例如逻辑回归和S形激活函数，一个小coreset存在于\emph{any}输入$P$。(iii)一个通用的coreset建设算法，计算这样一个小coreset $Q$在$O(nd+n\log n)$的时间，和（iv）实验结果表明，我们的coresets是有效的，在实践中比理论预测小得多。
2021-12-23 cs.DS cs.LG
Provably Tightest Linear Approximation for Robustness Verification of Sigmoid-like Neural Networks
East China Normal University（华东师范大学）；ETH Zürich（苏黎世联邦理工学院）；Shanghai Institute of Intelligent Science and Technology（上海智能科学与技术研究院）
深度神经网络的鲁棒性对于现代AI系统至关重要，应该进行形式化验证。类S形神经网络已被广泛应用。由于其非线性，Sigmoid类激活函数通常被过度近似以进行有效验证，这不可避免地引入不精确性。为了获得更精确的核查结果，已作出了相当大的努力，以找到所谓的更严格的近似值。然而，现有的紧密性定义是启发式的，缺乏理论基础。我们对现有的神经元紧密性特征进行了彻底的实证分析，并发现它们仅在特定的神经网络上更优越。然后，我们介绍了网络明智的紧密性作为一个统一的紧密性定义的概念，并表明计算网络明智的紧密性是一个复杂的非凸优化问题。我们通过两个有效的，可证明最紧密的近似从不同的角度绕过复杂性。结果表明，我们的方法在最先进的技术水平上取得了令人鼓舞的性能成就：（i）对认证的鲁棒性下限实现了高达251.28%的改进;（ii）在卷积网络上显示出更精确的验证结果。
2022-08-21 cs.CR cs.LG
Approximation capabilities of neural networks on unbounded domains
PAG Investment Solutions（PAG投资解决方案公司）；Hunan University（湖南大学）；Xiaoxiang Research Institute of Big Data（潇湘大数据研究院）
在本文中，我们证明了具有单调sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络可以任意好地逼近定义在R*[0，1]^n上的任何L^p（p>=2）可积函数。我们还证明了具有sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络不表示定义在欧几里得平面上的非零可积函数。再加上最近的一个结果，即深度ReLU网络可以任意地逼近欧几里得空间上的任何可积函数，我们为ReLU网络中多个隐藏层的优势提供了一个新的视角。最后，我们证明深度为3的ReLU网络是L^p（R^n）中的通用近似器。
2021-10-09 cs.LG stat.ML
Smooth function approximation by deep neural networks with general activation functions
Seoul National University（首尔大学）
人们对深度神经网络的表达能力越来越感兴趣。然而，关于这个主题的大多数现有工作只关注特定的激活函数，如ReLU或sigmoid。在本文中，我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度，宽度和稀疏性的深度神经网络，以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析，我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
Comparison of non-linear activation functions for deep neural networks on MNIST classification task
University of Edinburgh（爱丁堡大学）
激活函数在神经网络中起着关键的作用，因此了解它们的优点和缺点以获得更好的性能成为基础。本文将首先介绍非线性激活函数的常见类型，这是众所周知的sigmoid函数的替代品，然后评估它们的特性。此外，将分析更深的神经网络，因为与较浅的网络相比，它们对最终性能有积极影响。它们还严格依赖于权重初始化，因此将分析从高斯和均匀分布中提取权重的效果，特别注意到节点的传入和传出连接的数量如何影响整个网络。
2018-04-08 cs.LG stat.ML
Improving neural networks with bunches of neurons modeled by Kumaraswamy units: Preliminary study
Wrocław University of Technology（弗罗茨瓦夫理工大学）
深度神经网络最近在许多机器学习问题中取得了最先进的成果，例如，语音识别或对象识别。最近，在整流线性单元（ReLU）上的工作提供了与通常使用的S形激活函数相比神经网络性能提高的经验和理论证据。在本文中，我们研究了一种新的方式来改善神经网络，通过引入一堆副本的相同的神经元模型的广义Kumaraswamy分布。因此，我们提出了一种新的非线性激活函数，我们称之为Kumaraswamy单元，它与ReLU密切相关。在MNIST图像语料库的实验研究中，我们评估了应用于单层（浅层）神经网络的Kumaraswamy单元，并报告了与sigmoid单元，ReLU和Noisy ReLU相比，测试分类错误和测试交叉熵的显着下降。
2015-05-11 cs.LG cs.NE
Differential Equation Units: Learning Functional Forms of Activation Functions from Data
Amazon Web Services（亚马逊云科技）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Inc.（微软公司）
大多数深度神经网络使用简单的固定激活函数，如S形或整流线性单元，而不管域或网络结构如何。我们引入微分方程单元（DEU），现代神经网络的改进，使每个神经元学习一个特定的非线性激活函数从一个家庭的解决方案，一个常微分方程。具体地，每个神经元可以在训练期间基于网络的其他部分的行为来改变其功能形式。我们表明，使用神经元与DEU激活函数的结果在一个更紧凑的网络能够实现可比的，如果不是优越的，性能相比，更大的网络。
2019-09-06 cs.LG stat.ML
Learning Compact Neural Networks Using Ordinary Differential Equations as Activation Functions
Amazon Inc.（亚马逊公司）；University of Oregon（俄勒冈大学）；Microsoft Inc.（微软公司）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
大多数深度神经网络使用简单的固定激活函数，如S形或整流线性单元，而不管域或网络结构如何。我们引入微分方程单元（DEU），现代神经网络的改进，使每个神经元学习一个特定的非线性激活函数从一个家庭的解决方案，一个常微分方程。具体地，每个神经元可以在训练期间基于网络的其他部分的行为来改变其功能形式。我们表明，使用神经元与DEU激活函数的结果在一个更紧凑的网络能够实现可比的，如果不是优越的，性能相比，更大的网络。
2019-05-19 cs.LG cs.NE stat.ML
Fractional Concepts in Neural Networks: Enhancing Activation Functions
Institute for Research and Applications of Fuzzy Modeling（模糊建模研究与应用研究所）；University of Ostrava（俄斯特拉发大学）
本文提出在激活函数中引入可调的分数阶导数（FDO），并在多数据集和架构上验证其在准确率、开销与内存等方面的表现，发现分数阶 Sigmoid 等函数在部分场景中更具优势。
2025-01-10 cs.CV cs.LG
Deep learning improved by biological activation functions
UCL（伦敦大学学院）
“生物启发”的激活函数，如logistic sigmoid，在机器学习的历史发展中起到了重要作用。然而，在深度学习领域，它们在很大程度上被修正线性单元（ReLU）或类似函数（如其指数线性单元（ELU）变体）所取代，以减轻与误差反向传播相关的梯度消失的影响。然而，logistic S型曲线并不代表生理条件下神经元细胞的真实输入-输出关系。在这里，生物节根单位（BRU）的激活函数的介绍，表现出输入输出的非线性，基本上更生物合理的，因为他们的功能形式是基于已知的生物物理特性的神经元细胞。为了评估BRU激活的学习性能，除了传递函数不同（ReLU、ELU和BRU）之外，深度网络都是用相同的架构构建的。多层感知器，堆叠自动编码器和卷积网络用于测试基于MNIST和CIFAR-10/100数据集的监督和无监督学习。使用损失和错误测量量化的学习性能的比较表明，生物节点网络的训练速度比ReLU和ELU更快，即使在没有正式正规化的情况下，也能产生最好的广义模型。因此，这些结果表明，重新审视生物神经元及其电路的详细特性可能会在未来的深度学习领域中证明是非常宝贵的。
2018-05-18 cs.LG cs.NE stat.ML
Sigmoid Gating is More Sample Efficient than Softmax Gating in Mixture of Experts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对Softmax门控易致专家竞争和表征坍缩的问题，本文从理论上证明Sigmoid门控在混合专家的专家估计任务中样本效率更高，推导了过设定回归框架下的收敛速度，验证其用更少样本可达相同估计误差。
2024-11-02 cs.LG stat.ML
Introducing the DOME Activation Functions
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
在本文中，我们引入了一个新的非线性激活函数，自发地诱导类紧性和正则化的嵌入空间中的神经网络。这个函数被称为DOME，意思是镜像指数项的差异。该函数的基本形式可以代替sigmoid或双曲正切函数作为二进制分类问题的输出激活函数。该函数还可以扩展到多类分类的情况，并用作标准softmax函数的替代。它还可以进一步推广为采用适合于网络中间层的更灵活的形状。我们经验证明的功能的属性。我们还表明，使用该函数的模型表现出额外的鲁棒性对对抗攻击。
2021-12-07 cs.AI cs.LG
Deep Learning for Sleep Stages Classification: Modified Rectified Linear Unit Activation Function and Modified Orthogonal Weight Initialisation
Charles Sturt University（查尔斯特大学）；Asia Pacific International College（亚太国际学院）；Worcester State University（伍斯特州立大学）；University of Kurdistan Hewler（库尔德斯坦埃尔比勒大学）
背景和目的：睡眠的每个阶段都会影响人体健康，任何阶段睡眠不足都可能导致睡眠障碍，如睡眠异常、呼吸暂停、失眠等。然而，由于分类的高复杂度和低准确度，该分类器尚未成功地实施到睡眠阶段分类系统中。本研究的目的是提高卷积神经网络分类器的分类精度，减少学习时间。方法学：所提出的系统使用修改的正交卷积神经网络和修改的亚当优化技术，以提高睡眠阶段分类的准确性，并减少由于S形激活函数而发生的梯度饱和问题。该系统使用Leaky Rectified Linear Unit（ReLU）代替sigmoid激活函数作为激活函数。结果如下：该系统被称为增强型睡眠阶段分类系统（ESSC），使用六个不同的数据库来训练和测试不同睡眠阶段的模型。这些数据库是都柏林大学数据库（UCD），贝斯以色列女执事医疗中心麻省理工学院数据库（MIT-BIH），睡眠欧洲数据格式（EDF），睡眠EDF扩展，蒙特利尔睡眠研究档案（MASS）和睡眠心脏健康研究（SHHS）。我们的结果表明，梯度饱和问题不再存在。修改后的亚当优化器有助于减少噪声，这反过来又导致更快的收敛时间。结论：与最先进的解决方案相比，ESSC的收敛速度加快，分类精度更高。
2022-02-18 cs.LG eess.SP
Developing Training Procedures for Piecewise-linear Spline Activation Functions in Neural Networks
Middlebury College（Middlebury学院）
本文提出并比较9种训练方法，研究参数化线性B样条激活函数在神经网络中的双重优化动态，实验显示相比ReLU模型，FNN误差率最多降低94%，CNN最多降低51%，但代价是训练复杂度和模型延迟增加。
2025-09-17 cs.AI cs.LG
Activation Adaptation in Neural Networks
Polytechnique Montreal（蒙特利尔综合理工大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
许多神经网络架构依赖于每个隐藏层的激活函数的选择。给定激活函数，神经网络在偏置和权重参数上被训练。偏置抓住了激活的中心，权重抓住了尺度。在这里，我们建议训练网络的形状参数。这个视图允许每个神经元调整自己的激活函数，并使神经元曲率适应更好的预测。这种修改仅为每个神经元的反向传播增加了一个进一步的方程。将激活函数重新形式化为CDF，广泛地推广了激活函数类。我们的目的是推广一类广泛的激活函数来研究：i）偏斜和ii）光滑的激活函数。本文引入自适应Gumbel激活函数作为Gumbel和sigmoid之间的桥梁。类似的方法被用来发明一个平滑版本的ReLU。我们与常见的激活函数的比较表明，不同的数据表示，特别是在早期的神经网络层。这种适应还提供了预测改进。
2019-09-28 cs.LG stat.ML
Rethinking Activation Functions: Reducing Bias Can Improve Learning
Peking University（北京大学）；Tsinghua University（清华大学）；MetaCircle
该研究指出ReLU等常用激活函数存在激活偏差，其虽加速初始学习但会导致过冲等问题，减少激活偏差虽减慢初始学习却能降低最终损失，大模型实验也验证此规律，为激活函数设计提供新方向。
2026-10-14 cs.AI cs.LG
Activation Saturation and Floquet Spectrum Collapse in Neural ODEs
School of Pedagogical & Technological Education (ASPETE)（教育与技术教育学院（ASPETE））；Department of Mathematics, Chair of Dynamics, Control, Machine Learning and Numerics, Friedrich-Alexander-Universität Erlangen–Nürnberg (FAU)（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学（FAU）数学系动力学、控制、机器学习与数值计算教席）
研究证明激活饱和对自主神经ODEs存在结构性动态限制，导致傅奎克谱坍缩，限制了收缩和混沌敏感性。
2026-04-01 cs.LG math.DS
The unbearable lightness of Restricted Boltzmann Machines: Theoretical Insights and Biological Applications
Kavli Institute for Systems Neuroscience（卡弗里系统神经科学研究所）；NTNU（挪威科技大学）；Imperial College London（伦敦帝国学院）
本文综述RBM激活函数的理论优劣及其在神经、蛋白质与免疫数据分析中的应用，并指出开放问题对神经网络研究的意义。
2025-01-08 cond-mat.dis-nn cs.LG physics.data-an
MAED: Mathematical Activation Error Detection for Mitigating Physical Fault Attacks in DNN Inference
IEEE
本文提出MAED算法级错误检测框架，通过数学身份实时验证非线性激活函数计算的正确性，有效缓解恶意故障注入攻击和自然故障。在FPGA和微控制器上验证，误差检测率接近100%，微控制器开销低于1%，FPGA开销约20%的延迟增加。
2026-03-18 cs.CR cs.LG
Data-Driven Randomized Learning of Feedforward Neural Networks
Częstochowa University of Technology（琴希托霍瓦工业大学）
神经网络学习的随机化方法存在随机参数生成的问题，因为它们难以最优地设置以获得良好的投影空间。标准方法从一个固定的间隔中提取参数，该间隔与数据范围和激活函数类型无关。在强非线性函数的近似中，这并不导致好的结果。在这项工作中，提出了一种方法，调整随机参数，代表的斜率和位置的S形，目标函数的功能。该方法随机选择输入空间区域，在这些区域中放置S形，然后根据目标函数的局部波动调整S形斜率。这带来了非常好的结果，在复杂的目标函数的近似相比，标准的固定区间方法和其他方法最近提出的文献。
2019-08-11 cs.LG cs.NE stat.ML
MRAM-based Analog Sigmoid Function for In-memory Computing
University of South Carolina（南卡罗来纳大学）
我们提出了一个模拟实现的超越激活函数利用两个自旋轨道力矩磁阻随机存取存储器（SOT-MRAM）设备和CMOS反相器。与最先进的模拟和数字实现相比，所提出的模拟神经元电路消耗的功率少1.8- 27倍，占用的面积小2.5- 4931倍。此外，开发的神经元可以容易地与忆阻交叉开关集成，而不需要任何中间信号转换单元。架构级分析表明，与具有模拟忆阻交叉开关和数字神经元的混合信号实现相比，使用我们的SOT-MRAM神经元以及基于SOT-MRAM的交叉开关的全模拟存内计算（IMC）电路可以分别实现超过1.1倍、12倍和13.3倍的功耗、延迟和能量降低。最后，通过跨层分析，我们提供了一个指导，如何改变我们的神经元中的设备级参数可以影响多层感知器（MLP）的准确性MNIST分类。
2022-04-21 cs.ET cs.LG
Review and Comparison of Commonly Used Activation Functions for Deep Neural Networks
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
神经网络的主要决策单元是激活函数。此外，它们评估网络神经节点的输出，因此，它们对整个网络的性能至关重要。因此，在神经网络计算中，选择最合适的激活函数是至关重要的。Acharya等人（2018）认为，多年来已经制定了许多配方，尽管其中一些配方现在被认为是不受欢迎的，因为它们在某些条件下无法正常运行。这些功能有各种各样的特征，这些特征被认为是成功学习的关键。它们的单调性，个别导数和有限的范围是其中的一些特征（Bach 2017）。本文将评估常用的加法函数，如swish，ReLU，Sigmoid等。这将是其次是他们的属性，自己的缺点和优点，并特别公式应用建议。
2020-10-15 cs.LG cs.NE
Compact: Approximating Complex Activation Functions for Secure Computation
University of Wisconsin—Madison（威斯康星大学麦迪逊分校）；Visa Research（Visa研究院）；Netflix（网飞公司）
针对安全多方计算中复杂激活函数效率低的问题，提出Compact方法，通过分段多项式近似，在保持模型精度下实现2-5倍计算加速。
2024-03-17 cs.CR cs.LG
Is it Time to Swish? Comparing Deep Learning Activation Functions Across NLP tasks
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（普适知识处理实验室（UKP-TUDA））；Department of Computer Science（计算机科学系）；Technische Universität Darmstadt（达姆施塔特工业大学）
激活函数在神经网络中起着至关重要的作用，因为它们是归因于深度学习成功故事的非线性。目前最流行的激活函数之一是ReLU，但最近已经提出或“发现”了几个竞争对手，包括LReLU函数和swish。虽然大多数作品在少数任务（通常来自图像分类）上比较新提出的激活函数，并与少数竞争对手（通常是ReLU）进行比较，但我们在8个不同的NLP任务中对21个激活函数进行了首次大规模比较。我们发现，一个很大程度上未知的激活函数执行最稳定的所有任务，所谓的惩罚双曲正切函数。我们还表明，它可以成功地取代LSTM单元中的sigmoid和tanh门，在具有挑战性的NLP任务中，比标准选择提高了2个百分点。
2019-01-09 cs.CL cs.LG cs.NE
Improving Deep Learning by Inverse Square Root Linear Units (ISRLUs)
AI Perf Engineering（AI性能工程）
我们引入了“逆平方根线性单元”（ISRLU）来加速深度神经网络的学习。ISRLU比ELU有更好的性能，但有许多相同的好处。ISRLU和ELU具有相似的曲线和特征。两者都具有负值，允许它们将平均单位激活推向更接近零，并使正常梯度更接近单位自然梯度，确保噪声鲁棒的去激活状态，降低过度拟合风险。ISRLU在传统CPU上的显着性能优势也可以在CNN/RNN的HW/SW协同设计上实现更高效的HW实现。在TensorFlow的实验中，ISRLU比CNN上的ReLU更快地学习和更好地泛化。这项工作还提出了一种计算效率高的变体，称为“平方根倒数单位”（ISRU），可用于RNN。许多RNN使用长短期记忆（LSTM）和门控递归单元（GRU），它们是用tanh和sigmoid激活函数实现的。ISRU的计算复杂度较低，但仍具有与tanh和sigmoid相似的曲线。
2017-11-09 cs.LG
Understanding Two-Layer Neural Networks with Smooth Activation Functions
Shuitu Institute of Applied Mathematics（Suitu 应用数学研究所）
研究具有平滑激活函数的两层神经网络训练解，提出泰勒级数展开构建等四个原则，证明任意输入维度通用逼近，揭示解空间奥秘，丰富逼近理论。
2026-07-09 cs.AI cs.LG cs.NA
Lon-ea at SemEval-2023 Task 11: A Comparison of Activation Functions for Soft and Hard Label Prediction
Queen Mary University of London（伦敦玛丽女王大学）；Luleå University of Technology（吕勒奥理工大学）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）
本文研究了在带分歧学习任务中，深度神经网络输出层不同激活函数对软标签和硬标签预测的影响，通过结合基于BERT的模型并引入新的正弦激活函数进行实验对比。
2024-01-03 cs.CL cs.LG
Modular Simulation Framework for Process Variation Analysis of MRAM-based Deep Belief Networks
University of Central Florida（中佛罗里达大学）
基于磁性随机存取存储器（MRAM）的p位类脑计算设备作为在受限玻尔兹曼机（RBM）中压缩和有效实现机器学习操作的手段正获得越来越多的关注。当嵌入RBM电阻交叉阵列中时，基于p位的神经元实现可调谐S形激活函数。由于激活的随机性取决于MRAM器件的能量势垒，因此必须评估工艺变化对S形函数的电压依赖行为的影响。其他有影响力的性能因素来自于对功耗的不同能量障碍，需要仿真环境来促进设备和网络参数的多目标优化。在此，开发了可移植的Python脚本，以分析设备尺寸变化下的输出变化对机器学习应用的准确性的影响。使用MNIST数据集对RBM电路进行的评估揭示了在所产生的能量与精度权衡方面对器件制造的处理变化的影响和限制，并且所产生的模拟框架可通过Creative Commons许可证获得。
2020-02-03 cs.ET cs.LG stat.ML
Activation Bottleneck: Sigmoidal Neural Networks Cannot Forecast a Straight Line
Know-Center GmbH（Know-Center 有限公司）；Graz University of Technology（格拉茨工业大学）
本文揭示具有有界隐藏层的神经网络存在激活瓶颈，导致LSTM和GRU等架构无法预测直线等无界序列，并提出了缓解该问题的架构修改方案。
2024-06-04 cs.LG
