A spectral-based analysis of the separation between two-layer neural networks and linear methods
Peking University（北京大学）；Princeton University（普林斯顿大学）
我们提出了一种基于谱的方法来分析如何两层神经网络分离线性方法在逼近高维函数。我们表明，量化这种分离可以减少到估计两层神经网络的Kolmogorov宽度，后者可以进一步通过使用相关的内核的频谱。与以前的工作不同，我们的方法允许获得上界，下界，并确定明确的硬函数在一个统一的方式。我们提供了一个系统的研究如何激活功能的选择影响的分离，特别是对输入尺寸的依赖。具体来说，对于非光滑的激活函数，我们将已知的结果扩展到更多的激活函数与更尖锐的界限。作为具体的例子，我们证明了任何单个神经元可以实例化神经网络和随机特征模型之间的分离。对于光滑的激活函数，一个令人惊讶的发现是，除非内层权重的范数相对于输入维度是多项式大，否则分离是可以忽略的。相反，非光滑激活函数的分离与内层权的范数无关。
2022-02-23 cs.LG stat.ML
Universal approximation results for neural networks with non-polynomial activation function over non-compact domains
Nanyang Technological University, Division of Mathematical Sciences（南洋理工大学数学科学学院）
本文将单隐层前馈神经网络的通用逼近性质从紧域扩展到非紧域，在非多项式激活函数条件下证明了其在 $L^p$-空间、加权 $C^k$-空间和加权 Sobolev 空间中的逼近能力，并给出了与维数无关的收敛速率。
2025-07-07 cs.LG cs.NE math.CA
Learning Activation Functions: A new paradigm for understanding Neural Networks
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Indian Institute of Technology Delhi（印度理工学院德里分校）
在激活函数领域的研究范围仍然有限，并集中在提高神经网络（NN）的优化或泛化质量的容易性。然而，为了更深入地理解深度学习，更仔细地研究NN的非线性成分变得很重要。在本文中，我们的目标是提供一个通用形式的激活函数，随着适当的数学基础，以便在未来的神经网络的工作的见解。我们提出了“自学习激活函数“（SLAF），它是在训练过程中学习，并能够近似大多数现有的激活函数。SLAF被给出为预定义的基本元素的加权和，其可以用于最佳激活函数的良好近似。这些基本元素的系数允许在连续函数的整个空间中进行搜索（由所有常规激活组成）。我们提出了各种训练例程，可用于实现性能与SLAF配备神经网络（SLNN）。我们证明了SLNN可以近似任何具有Lipschitz连续激活的神经网络，任何任意误差都可以突出它们的能力和与标准NN的可能等价性。此外，SLNN可以完全表示为有限次多项式的集合，直到最后一层，避免了几个超参数，如宽度和深度。由于SLNN的优化仍然是一个挑战，我们证明了使用SLAF和标准激活（如ReLU）可以提供性能改进，而参数数量只增加了一小部分。
2020-12-09 cs.CV cs.LG stat.ML
On decision regions of narrow deep neural networks
Trier University of Applied Sciences（特里尔应用技术大学）；IEE S.A.（IEE股份有限公司）；University of Kaiserslautern（凯泽斯劳滕大学）
我们证明了对于宽度小于或等于输入维数的神经网络函数，决策区域的所有连通分量都是无界的。该结果适用于连续和严格单调的激活函数以及ReLU激活函数。这补充了[Hanin 2017 Approximating]关于近似能力的最新结果以及[Nguyen 2018 Neural]对于这种窄神经网络的决策区域的连通性。我们的结果说明了通过数值实验。
2021-03-03 cs.AI cs.LG cs.NE
Adaptive n-ary Activation Functions for Probabilistic Boolean Logic
Sandia National Laboratories（桑迪亚国家实验室）
平衡模型的复杂性和观测数据中包含的信息是学习的核心挑战。为了使复杂性有效的模型存在，并在高维空间中可扩展，我们需要一个计算框架，将复杂性的可靠概念与简单的参数表示联系起来。此外，该框架必须允许通过基于梯度的优化逐渐去除过度的复杂性。我们的n元或n参数激活函数通过使用概率的logit表示来近似置信函数（概率布尔逻辑）来填补这一空白。正如布尔逻辑从一组前件命题之间的关系中确定后件断言的真实性一样，概率公式在前件、真值表和后件都保持不确定性时推广预测。我们的激活函数展示了学习任意逻辑的能力，例如二进制异或q）和三进制条件析取（c？p：q），在单层中使用匹配或更大数量的激活函数。此外，我们表示信念表使用的基础，直接关联的非零参数的数量的有效arity的信念函数，从而捕捉逻辑复杂性和有效的参数表示之间的具体关系。这打开了优化方法，通过引入参数稀疏性来降低逻辑复杂度。
2022-03-16 cs.AI cs.LG
Nonclosedness of Sets of Neural Networks in Sobolev Spaces
University of California San Diego（加州大学圣地亚哥分校）；Colorado State University（科罗拉多州立大学）
我们研究了Sobolev空间中固定结构的已实现神经网络的闭性。对于一个精确的$m$ -倍可微激活函数$ρ$，我们构造了一个神经网络序列$(Φ_n)_{n \in \mathbb{N}}$，其实现按顺序- $(m-1)$ Sobolev范数收敛到一个不能被神经网络精确实现的函数.因此，实现的神经网络的集合不是按顺序闭合的- $(m-1)$ Sobolev空间$W^{m-1,p}$对于$p \in [1,\infty]$。我们进一步表明，这些集是不封闭的$W^{m,p}$在略强的条件下，对$m$ -th衍生物的$ρ$。对于一个真正的解析激活函数，我们证明了实现的神经网络集是不封闭的$W^{k,p}$的任何$k \in \mathbb{N}$。非封闭性允许近似的非网络目标函数与无界参数增长。我们部分特征的参数增长率为大多数激活函数的实现神经网络的特定序列可以近似激活函数的导数与权重增加成反比的$L^p$近似误差。最后，我们提出的实验结果表明，网络能够密切接近非网络的目标函数，通过训练增加参数。
2021-01-27 cs.LG stat.ML
Deep Learning without Global Optimization by Random Fourier Neural Networks
Sandia National Laboratories（桑迪亚国家实验室）；The University of New Mexico（新墨西哥大学）
提出一种基于随机复指数激活函数的深度神经网络训练算法，利用马尔可夫链蒙特卡洛采样迭代训练网络层，避免全局和梯度优化，实现高效多尺度高频特征学习且无吉布斯现象。
2025-03-05 cs.LG cs.NA math.NA
Smooth function approximation by deep neural networks with general activation functions
Seoul National University（首尔大学）
人们对深度神经网络的表达能力越来越感兴趣。然而，关于这个主题的大多数现有工作只关注特定的激活函数，如ReLU或sigmoid。在本文中，我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度，宽度和稀疏性的深度神经网络，以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析，我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
Activation Adaptation in Neural Networks
Polytechnique Montreal（蒙特利尔综合理工大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
许多神经网络架构依赖于每个隐藏层的激活函数的选择。给定激活函数，神经网络在偏置和权重参数上被训练。偏置抓住了激活的中心，权重抓住了尺度。在这里，我们建议训练网络的形状参数。这个视图允许每个神经元调整自己的激活函数，并使神经元曲率适应更好的预测。这种修改仅为每个神经元的反向传播增加了一个进一步的方程。将激活函数重新形式化为CDF，广泛地推广了激活函数类。我们的目的是推广一类广泛的激活函数来研究：i）偏斜和ii）光滑的激活函数。本文引入自适应Gumbel激活函数作为Gumbel和sigmoid之间的桥梁。类似的方法被用来发明一个平滑版本的ReLU。我们与常见的激活函数的比较表明，不同的数据表示，特别是在早期的神经网络层。这种适应还提供了预测改进。
2019-09-28 cs.LG stat.ML
On the universal approximation property of radial basis function neural networks
University of Edinburgh（爱丁堡大学）；French-Azerbaijani University（法阿大学）
本文提出将平滑因子替换为平移的新型RBF神经网络，并在特定条件下证明了其能够任意精度逼近d维欧几里得空间紧子集上的连续多元函数。
2023-04-08 cs.LG stat.ML
TeLU Activation Function for Fast and Stable Deep Learning
University of South Florida（南佛罗里达大学）
本文提出激活函数TeLU(x)=xtanh(exp(x))，结合ReLU的简洁有效与平滑解析性质，在ImageNet、Text8和Penn TreeBank等基准上验证其能提升深度学习训练的稳定性、收敛速度与泛化能力。
2025-01-02 cs.LG
Activation Ensembles for Deep Neural Networks
Northwestern University（西北大学）
过去已经提出了许多激活函数，但是选择一个合适的激活函数需要反复试验。我们提出了一种新的方法来设计激活函数内的神经网络在每一层。我们称这种技术为“激活集成”，因为它允许在每一层使用多个激活函数。这是通过在网络的每个激活层引入附加变量$α$来实现的，以允许多个激活函数在每个神经元处激活。通过设计，在神经元处具有较大$α$值的激活等效于具有最大幅度。因此，那些更高幅度的激活被网络“选择”。我们使用前馈和卷积神经网络阵列在各种数据集上实现激活集成。通过使用激活集成，我们实现了优于传统技术的结果。此外，由于这种方法的灵活性，我们更深入地探索激活函数及其捕获的功能。
2017-02-24 cs.LG stat.ML
Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文通过构造性证明研究了ReLU$^k$深度网络精确表示高次多项式的能力，建立了参数规模上界，并证明了其在Sobolev空间、解析函数及多种变差空间中的逼近性质与适应性。
2024-01-11 cs.LG cs.NA cs.NE
Adaptive Blending Units: Trainable Activation Functions for Deep Neural Networks
Institute for Cognitive Science（认知科学研究所）；Osnabrück University（奥斯纳布吕克大学）
当前深度前馈神经网络中最广泛使用的激活函数是整流线性单元（ReLU），并且许多替代方案也已成功应用。然而，没有一种替代方案能够始终优于其他方案，并且没有统一的理论将任务和网络的属性与激活函数的属性联系起来，以实现最有效的训练。一个可能的解决方案是让网络学习它的首选激活函数。在这项工作中，我们引入自适应混合单元（ABU），一组激活函数的可训练线性组合。由于ABU学习形状，以及激活函数的整体缩放，我们还分析了自适应缩放在常见激活函数中的效果。我们的实验证明了自适应缩放和ABU的优势，共同的激活函数在一组系统不同的网络规范。我们进一步表明，自适应缩放的工作原理，减轻协变量偏移，在训练过程中，和ABU的性能观察到的优势同样在很大程度上依赖于激活函数的能力，以适应在训练过程中。
2018-06-26 cs.LG stat.ML
Activation Functions for Generalized Learning Vector Quantization - A Performance Comparison
适当选择激活函数（如ReLU、sigmoid或swish）对（深度）多层感知器（MLP）进行分类和回归学习的性能起着重要作用。基于原型的分类学习方法，如（广义）学习矢量量化（GLVQ）是强大的替代方案。这些模型也处理激活函数，但在这里它们被应用于所谓的分类器函数。在本文中，我们调查成功的候选人的激活函数已知的MLP应用在GLVQ和他们的影响的性能。
2019-01-17 cs.LG stat.ML
Activation Functions: Dive into an optimal activation function
Indian Institute Of Technology–Roorkee（印度理工学院鲁尔基分校）
激活函数是神经网络的重要组成部分。选择适当的激活函数会影响这些方法的准确性。在这项研究中，我们通过将其定义为现有激活函数的加权和，然后在训练网络时进一步优化这些权重，从而找到最佳激活函数。该研究使用三个激活函数，ReLU，tanh和sin，在三个流行的图像数据集，MNIST，FashionMNIST和KMNIST。我们观察到ReLU激活函数很容易忽略其他激活函数。此外，我们看到初始层更喜欢使用ReLU或LeakyReLU类型的激活函数，但更深层倾向于使用更收敛的激活函数。
2022-02-24 cs.LG
Shifting Mean Activation Towards Zero with Bipolar Activation Functions
我们提出了一个简单的扩展ReLU家族的激活函数，使他们能够移动的平均激活跨层向零。结合适当的权重初始化，这就减少了对归一化层的需求。我们探索了多达144层的深度香草递归神经网络（RNN）的训练，并表明双极激活函数有助于在这种情况下学习。在Penn Treebank和Text 8语言建模任务中，我们获得了有竞争力的结果，改进了非门控网络的最佳报告结果。在没有批量标准化的卷积神经网络的实验中，我们发现双极激活会更快地降低训练误差，并导致CIFAR-10分类任务的测试误差更低。
2018-03-15 cs.LG cs.NE stat.ML
Multilevel Picard approximations and deep neural networks with ReLU, leaky ReLU, and softplus activation overcome the curse of dimensionality when approximating semilinear parabolic partial differential equations in $L^p$-sense
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore（数学科学系，物理与数学科学学院，南洋理工大学，新加坡）；Faculty of Mathematics, Bielefeld University, Germany（数学学院，比勒菲尔德大学，德国）
研究证明，多级皮卡尔近似与具有ReLU、leaky ReLU和softplus激活函数的深度神经网络能以L^p意义近似半线性Kolmogorov PDE解，且计算复杂度和参数数量随维度和精度要求呈多项式增长。
2026-03-23 cs.LG cs.NA math.NA
Power Consumption Variation over Activation Functions
IT University of Copenhagen（哥本哈根信息技术大学）
机器学习模型在进行预测时消耗的功率可能会受到模型架构的影响。本文提出了各种估计的功耗范围不同的激活函数，在神经网络模型架构设计的核心因素。激活函数之间存在硬件性能的实质性差异。这种差异说明了如何降低机器学习模型中的功耗。
2020-06-12 cs.LG cs.NE stat.ML
A survey on modern trainable activation functions
Università di Napoli Federico II（那不勒斯费德里科二世大学）
在神经网络文献中，人们对识别和定义能够提高神经网络性能的激活函数有着浓厚的兴趣。近年来，科学界对研究可以在学习过程中训练的激活函数有了新的兴趣，这些激活函数通常被称为“可训练的”、“可学习的”或“可适应的”激活函数。它们似乎会带来更好的网络性能。在文献中已经提出了各种各样的和异构的可训练激活函数模型。在本文中，我们提出了这些模型的调查。从文献中使用的术语“激活函数“的讨论开始，我们提出了一个可训练的激活函数的分类，突出最近和过去的模型的共同和独特的属性，并讨论这种类型的方法的主要优点和局限性。我们发现，许多建议的方法相当于增加神经元层，使用固定的（不可训练的）激活函数和一些简单的本地规则，约束相应的权重层。
2021-02-25 cs.LG cs.NE stat.ML
SBAF: A New Activation Function for Artificial Neural Net based Habitability Classification
PES University South Campus（PES大学南校区）；Indian Statistical Institute（印度统计研究所）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
我们探讨了在人工神经网络（ANN）中使用一种新的激活函数将系外行星分为不同类别的有效性。我们称之为Saha-Bora激活函数（SBAF），因为其动机来自于长期以来对使用高级微积分来建模系外行星可居住性评分的理解。该函数被证明具有很好的分析性质，似乎不受本地振荡问题。该手稿提出的分析性质的激活函数和架构上实现的功能。关键词：天文信息学，机器学习，系外行星，人工神经网络，激活函数。
2018-06-06 astro-ph.IM cs.LG stat.ML
Universal approximation with complex-valued deep narrow neural networks
Mathematical Institute for Machine Learning and Data Science (MIDS), Catholic University of Eichstätt–Ingolstadt (KU)（艾希施泰特-英戈尔施塔特天主教大学 机器学习与数据科学数学研究所）
该研究探究了有界宽度任意深度复值神经网络的通用性，证明其激活函数需满足非全纯、非反全纯、非$\boldsymbol{\rm R}$-仿射条件，并给出了不同情况下的宽度需求及光滑非多调激活函数的定量逼近界。
2024-11-26 cs.LG math.FA stat.ML
Physics-informed radial basis network (PIRBN): A local approximating neural network for solving nonlinear PDEs
Queensland University of Technology（昆士兰科技大学）；University of Cincinnati（辛辛那提大学）；Greenslopes Private Hospital（格林洛普斯私立医院）；Tsinghua University（清华大学）
该研究提出单层径向基结构的 PIRBN，利用 NTK 分析其训练动态并证明可收敛至高斯过程，在高频和病态 PDE 上优于 PINN。
2023-04-20 cs.LG
Evolutionary Optimization of Deep Learning Activation Functions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cognizant Technology Solutions（高知特技术解决方案公司）
激活函数的选择对神经网络的性能有很大的影响。虽然已经有一些尝试手动设计新颖的激活函数，但整流线性单元（ReLU）仍然是实践中最常用的。本文表明，进化算法可以发现新的激活函数，优于ReLU。候选激活函数的树为基础的搜索空间的定义和探索变异，交叉和穷举搜索。在CIFAR-10和CIFAR-100图像数据集上训练宽残差网络的实验表明，该方法是有效的。用进化的激活函数取代ReLU，可以显著提高网络准确性。当进化被允许定制激活函数到一个特定的任务时，达到最佳性能;然而，这些新的激活函数被证明是通用的，实现跨任务的高性能。因此，激活函数的进化优化是神经网络中元学习的一个有前途的新维度。
2020-04-11 cs.CV cs.LG cs.NE
Activation Functions in Artificial Neural Networks: A Systematic Overview
Ruhr-University Bochum（波鸿鲁尔大学）
激活函数塑造人工神经元的输出，因此，一般来说是神经网络的组成部分，特别是深度学习。一些激活函数，如logistic和relu，已经使用了几十年。但随着深度学习成为主流研究课题，新的激活函数如雨后春笋般涌现，导致理论和实践上的混乱。本文提供了流行的激活函数及其属性的分析性但最新的概述，这使得它成为任何研究或应用神经网络的人的及时资源。
2021-01-25 cs.AI cs.LG cs.NE
The Quest for the Golden Activation Function
Graz University of Technology（格拉茨工业大学）
深度神经网络已被证明有利于各种任务，特别是允许端到端学习并减少手动设计决策的要求。然而，仍然有许多参数必须提前选择，也提高了优化它们的需要。一个重要但经常被忽略的系统参数是选择适当的激活函数。因此，在本文中，我们的目标是证明一般的激活函数的重要性，并表明，对于不同的任务，不同的激活函数可能是有意义的。为了避免人工设计或选择激活函数，我们建立在遗传算法的思想，学习最好的激活函数为给定的任务。此外，我们引入了两个新的激活函数，ELiSH和HardELiSH，这可以很容易地纳入我们的框架。通过这种方式，我们证明了三个不同的图像分类基准，不同的激活函数的学习，也显示出改进的结果相比，通常使用的基线。
2018-08-02 cs.CV cs.LG cs.NE
Deep neural networks with ReLU, leaky ReLU, and softplus activation provably overcome the curse of dimensionality for Kolmogorov partial differential equations with Lipschitz nonlinearities in the $L^p$-sense
Department of Mathematics & Informatics, University of Wuppertal（乌尔姆大学数学与信息学系）；School of Data Science and Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳）数据科学学院及深圳大数据研究院）；Applied Mathematics: Institute for Analysis and Numerics, University of Münster（穆恩斯特大学应用数学系及分析与数值分析研究所）；Department of Mathematical Sciences, University of Arkansas（阿肯色大学数学科学系）；Center for Astrophysics, Space Physics, and Engineering Research, Baylor University（贝勒大学天体物理学、空间物理学与工程研究中心）
本文证明了使用ReLU、leaky ReLU和softplus激活函数的深度神经网络在L^p意义下能克服高维Kolmogorov偏微分方程的维度诅咒，扩展了此前在L^2意义下的结果。
2026-04-28 cs.LG cs.NA math.NA
How important are activation functions in regression and classification? A survey, performance comparison, and future directions
Brown University（布朗大学）
Inspired by biological neurons, the activation functions play an essential part in the learning process of any artificial neural network commonly used in many real-world problems. Various activation functions have been proposed in the literature for classification as well as regression tasks. In this work, we survey the activation functions that have been employed in the past as well as the current state-of-the-art. In particular, we present various developments in activation functions over the years and the advantages as well as disadvantages or limitations of these activation functions . We …
2022-12-28 cs.LG
Approximating DTW with a convolutional neural network on EEG data
Saagie（萨吉公司）；LITIS（LITIS实验室）；Rouen（鲁昂大学）；Paris（巴黎大学）
动态时间包络（DTW）是一种广泛使用的算法，用于测量两个时间序列之间的相似性。它在各种各样的应用中特别有价值，例如聚类，异常检测，分类或视频分割，其中时间序列具有不同的时间尺度，不规则采样或移位。然而，由于其不可微性和二次时间复杂性，它不容易被认为是端到端学习框架中的损失函数。虽然社区已经引入了DTW的可微变体，但它们仍然存在一些缺点：计算距离仍然很昂贵，并且这种相似性往往会模糊时间序列中的一些差异。在本文中，我们提出了一个快速和可微的近似DTW通过比较两种架构：第一个学习嵌入的欧几里得距离模仿DTW，第二个直接预测DTW输出使用回归。前者通过训练一个连体神经网络来回归两个时间序列之间的DTW值。根据激活函数的性质，这种近似自然支持微分，并且计算效率很高。我们表明，在EEG数据集的时间序列检索上下文中，我们的方法至少达到了与其他DTW主要近似相同的精度水平，具有更高的计算效率。我们还表明，它可以用来学习在一个端到端的设置长时间序列，提出生成模型的EEG。
2023-01-30 cs.AI cs.LG
Exploring the Relationship: Transformative Adaptive Activation Functions in Comparison to Other Activation Functions
Czech Technical University in Prague（布拉格捷克理工大学）
本研究将变革性自适应激活函数（TAAF）与其他激活函数进行比较，发现其泛化超过50种现有函数并借鉴70余种函数概念，证明TAAF是神经网络中极具适应性和前景的构建块。
2024-02-14 cs.LG cs.NE
Multi-scale Deep Neural Networks for Solving High Dimensional PDEs
Southern Methodist University（南卫理公会大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出了频域径向尺度化的思想，并利用紧支集的激活函数构造多尺度动态神经网络（MscaleDNN），使其具有多尺度逼近高频高维函数的能力，加快了高维偏微分方程的求解速度.使用带有Ritz能量或最小二乘PDE残差的损失函数进行高维函数拟合和高维PDE求解的数值结果验证了所提出的MscaleDNN的多尺度分辨率和高频捕获能力的提高。
2019-10-25 cs.LG cs.NA math.NA
Automated Reachability Analysis of Neural Network-Controlled Systems via Adaptive Polytopes
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种利用自适应模板多面体过近似神经网络动态系统可达集的新方法，通过线性层奇异值分解和激活函数形状调整多面体几何形状，并采用分支定界方法计算精确过近似，提升了可达性分析的准确性。
2023-05-15 cs.LG cs.SY eess.SY
Padé Activation Units: End-to-end Learning of Flexible Activation Functions in Deep Networks
TU Darmstadt（达姆施塔特工业大学）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）
深度网络学习的性能在很大程度上取决于与每个神经元相关联的非线性激活函数的选择。然而，决定最佳激活并不简单，选择取决于架构，超参数，甚至数据集。通常，这些激活在训练之前用手固定。在这里，我们演示了如何通过使用灵活的参数有理函数来消除对第一次拾取固定激活函数的依赖。由此产生的Padé激活单元（PAU）既可以近似常见的激活函数，也可以学习新的，同时提供紧凑的表示。我们的经验证据表明，使用PAU的端到端学习深度网络可以提高预测性能。此外，PAU为具有可证明鲁棒性的近似铺平了道路。https://github.com/ml-research/pau
2020-02-04 cs.LG cs.NE
A Survey on Activation Functions and their relation with Xavier and He Normal Initialization
Delft University of Technology（代尔夫特理工大学）
在人工神经网络中，激活函数和权值初始化方法对神经网络的训练和性能起着重要的作用。出现的问题是函数的哪些属性对于成为性能良好的激活函数是重要/必要的。最常用的权值初始化方法-- Xavier法和He法与激活函数有着根本的联系。本综述讨论了激活函数的重要/必要性质和最广泛使用的激活函数（sigmoid，tanh，ReLU，LReLU和PReLU）。本文还探讨了这些激活函数与两种权值初始化方法-- Xavier法和He法初始化之间的关系。
2020-03-18 cs.LG cs.NE
Trainable Activation Function in Image Classification
Beijing Institue of Technology（北京理工大学）
在目前的神经网络研究中，激活函数是由人工指定的，并且不能在训练过程中自动改变。本文主要研究如何使深度神经网络的激活函数具有可训练性。利用不同激活函数的级数和线性组合，使激活函数连续变化。此外，我们还在Cifar-10数据集上测试了具有傅立叶级数模拟激活的CNN（Fourier-CNN）和具有线性组合激活函数的CNN（LC-CNN）的性能。结果表明，我们的可训练激活函数比最常用的ReLU激活函数表现出更好的性能。最后，我们用自动编码器改进了Fourier-CNN的性能，并测试了PSO算法在优化网络参数方面的性能
2020-06-05 cs.CV cs.LG cs.NE
Approximation Rates for Neural Networks with General Activation Functions
Pennsylvania State University（宾夕法尼亚州立大学）
本文证明了关于具有一般激活函数的神经网络的逼近速度的一些新结果。我们的第一个结果是关于一个两层神经网络的多项式衰减非sigmoidal激活函数的近似率。我们扩展了以前获得的维数无关的逼近率这一类新的激活函数。我们的第二个结果给出了一个较弱的，但仍然尺寸独立，近似率为一个较大的类的激活函数，删除多项式衰减假设。这个结果适用于任何有界的，可积的激活函数。最后，我们证明了一个分层抽样的方法可以用来提高多项式衰减激活函数的近似率在温和的附加假设。
2021-01-03 cs.LG math.CA
Evaluating CNN with Oscillatory Activation Function
Aligarh Muslim University（阿里格尔穆斯林大学）
CNN能够从图像中学习高维复杂特征的原因是激活函数引入的非线性。由于激活函数的选择是神经网络建模的关键步骤，因此已经发现了几种先进的激活函数来改进神经网络的训练过程。最近的研究已经提出使用振荡激活函数来解决受人类大脑皮层启发的分类问题。本文使用振荡激活函数（GCU）和其他一些常用的激活函数（如ReLu、PReLu和Mish），在MNIST和CIFAR10数据集上探索了其中一种CNN架构ALexNet的性能。
2022-11-13 cs.CV cs.LG cs.NE
Continuous approximation by convolutional neural networks with a sigmoidal function
Nanchang University（南昌大学）
在本文中，我们提出了一类卷积神经网络（CNN）称为非重叠CNN的逼近能力的研究。我们证明了这样的网络与sigmoidal激活函数是能够逼近任意连续函数定义在紧凑的输入集与任何所需的精度。这一结果推广了现有的结果，只有多层前馈网络是一类逼近器。评估阐明了我们结果的准确性和效率，并表明所提出的非重叠CNN对噪声不太敏感。
2022-09-27 cs.LG cs.NA math.NA
Learn-able parameter guided Activation Functions
HCL Technologies（HCL技术公司）；Delhi Technological University（德里技术大学）
在本文中，我们探讨的概念，增加可学习的斜率和均值漂移参数的激活函数，以改善总的响应区域。激活函数的特性高度依赖于参数的值。使参数可学习，使激活函数更加动态，并且能够根据其相邻层的要求进行适应。引入的斜率参数与激活函数中的其他参数无关。该概念被应用于ReLU以开发Dual Line和DualParameter ReLU激活函数。MNIST和CIFAR10的评估表明，建议的激活函数双线达到前5位的平均精度在43个激活函数测试与LENET 4，LENET 5，和WideResNet架构。这是第一次在MNIST和CIFAR10数据集上同时分析40多个激活函数。对正斜率参数β分布的研究表明，激活函数根据相邻层的要求进行自适应。研究表明，所提出的激活函数提高了模型的性能
2019-12-23 cs.CV cs.LG cs.NE
Effect of shapes of activation functions on predictability in the echo state network
University of Tsukuba（筑波大学）；Hokkaido University（北海道大学）
研究了Echo状态网络在几种激活函数下的时间序列预测精度。结果发现，与传统的S形函数相比，具有适当非线性的某些类型的激活函数表现出高性能。
2019-05-22 cs.LG cs.NE
Expanded Gating Ranges Improve Activation Functions
EPFL（洛桑联邦理工学院）
本文提出通过引入可训练参数扩展门控函数范围，改进了如xATLU、xGELU和xSiLU等自门控激活函数，在transformer架构及一阶GLU中表现优异。
2024-05-25 cs.LG cs.NE
Improving Quaternion Neural Networks with Quaternionic Activation Functions
South Westphalia University of Applied Sciences（南威斯特法伦应用科学大学）
针对四元数神经网络现有拆分激活函数未利用四元数特性的问题，提出基于模长或相位修改的新型四元数激活函数，可改善梯度流动，在图像分类任务上性能优于拆分ReLU和拆分Tanh。
2024-06-24 cs.CV cs.LG cs.NE
Effect of the output activation function on the probabilities and errors in medical image segmentation
Leipzig University（莱比锡大学）；Leipzig University Medical Centre（莱比锡大学医学中心）
sigmoid激活是神经网络二进制分类和分割中的标准输出激活函数。尽管如此，存在各种其他潜在的输出激活函数，其可以导致医学图像分割中的改进结果。在这项工作中，我们考虑不同的输出激活和损失函数的渐近行为如何影响预测概率和相应的分割误差。对于交叉熵，我们表明，激活函数的变化速度更快与更好的预测相关，而变化速度较慢可以提高概率的校准。对于骰子损失，我们发现反正切激活函数优于sigmoid函数。此外，我们提供了一个测试空间，在医学图像分割领域的任意输出激活功能。我们在四个不同的医学图像分割任务上测试了七个激活函数和三个损失函数，以提供最适合此应用场景的函数分类。
2021-09-02 cs.CV cs.LG eess.IV
Orthogonal-Padé Activation Functions: Trainable Activation functions for smooth and faster convergence in deep networks
我们提出了正交Padé激活函数，这是一种可训练的激活函数，表明它们具有更快的学习能力，并提高了标准深度学习数据集和模型的准确性。基于我们的实验，我们已经找到了两个最好的候选人，我们称之为安全的Hermite-Pade（HP）激活函数，即HP-1和HP-2的六个正交Pade激活。与ReLU相比，HP-1和HP-2在PreActResNet-34中的top-1准确度分别增加了5.06%和4.63%，在CIFAR 100数据集上的MobileNet V2模型中分别增加了3.02%和2.75%，而在CIFAR 10数据集上，PreActResNet-34中的top-1准确度分别增加了2.02%和1.78%，LeNet分别增长2.24%和2.06%，Efficientnet B 0分别增长2.15%和2.03%。
2021-06-17 cs.AI cs.CV cs.LG
SmartMixed: A Two-Phase Training Strategy for Adaptive Activation Function Learning in Neural Networks
Independent Researcher（独立研究者）；Toronto, Canada（加拿大多伦多）；Toronto Ontario Canada（加拿大多伦多）
提出SmartMixed两阶段训练策略，通过可微硬混合机制让神经元自适应选择激活函数，第二阶段固定选择以保持推理效率，在MNIST上验证了不同层神经元的激活函数偏好。
2026-07-08 cs.AI cs.LG
A Significantly Better Class of Activation Functions Than ReLU Like Activation Functions
Vellore Institute of Technology（韦洛尔理工大学）
提出 Cone 与 Parabolic-Cone 激活函数，以有限超条带替代半空间划分特征空间，在 CIFAR-10 和 Imagenette 上用更少神经元获得更高准确率并加速训练。
2024-05-07 cs.AI cs.CV cs.LG
STL: A Signed and Truncated Logarithm Activation Function for Neural Networks
Shenzhen University（深圳大学）
本文提出了一种新颖的带符号截断对数激活函数STL，其具备奇函数、单调、可微、无界值域和连续非零梯度等优良数学性质，在多种神经网络中的表现优于现有知名激活函数，达到最先进水平。
2023-07-31 cs.AI cs.CE cs.CL
SMU: smooth activation function for deep networks using smoothing maximum technique
深度学习研究人员对提出两种新的激活函数有浓厚的兴趣，它们可以提高网络性能。激活函数的良好选择可以在改善网络性能方面具有显著的效果。手工激活是神经网络模型中最常见的选择。ReLU是深度学习社区中最常见的选择，因为它的简单性，尽管ReLU有一些严重的缺点。在本文中，我们提出了一种新的激活函数，它基于对Leaky ReLU等已知激活函数的近似，我们称之为Smooth Maximum Unit（SMU）。用SMU代替ReLU，我们使用ShuffleNet V2模型在CIFAR100数据集上获得了6.22%的改进。
2022-04-11 cs.AI cs.CV cs.LG
Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks
Vellore Institute of Technology（韦洛尔理工学院）；Red Hat Inc.（红帽公司）
本文提出新型振荡激活函数增长余弦单元（GCU，$C(z)=z\boldsymbol{\text{cos}}z$），证明其可改善梯度流动、减小网络规模，在多种架构和基准测试中性能优于现有激活函数。
2023-01-12 cs.CV cs.LG cs.NE
SAU: Smooth activation function using convolution with approximate identities
众所周知的激活函数，如ReLU或Leaky ReLU，在原点是不可微的。多年来，人们使用各种平滑技术提出了许多ReLU的平滑近似。我们提出了新的光滑近似的不可微的激活函数通过卷积它与近似的身份。特别是，我们提出了Leaky ReLU的平滑近似，并表明它们在各种数据集和模型中优于几个众所周知的激活函数。我们称这个函数为平滑激活单元（SAU）。用SAU代替ReLU，我们在CIFAR100数据集上使用ShuffleNet V2（2.0x）模型获得了5.12%的改进。
2021-09-27 cs.AI cs.CV cs.LG
Nish: A Novel Negative Stimulated Hybrid Activation Function
Eskisehir Osmangazi University（埃斯基谢希尔奥斯曼加齐大学）
激活函数对神经网络的效率和鲁棒性具有显著影响。作为替代方案，我们发展了一种尖端的非单调激活函数，负刺激混合激活函数（Nish）。它充当正区域的整流线性单元（ReLU）函数和负区域的正弦S形函数。换句话说，它包含了一个sigmoid和一个sine函数，并在经典的ReLU上获得了新的动力学。我们分析了Nish在几个最流行的基准测试中对基本网络和最常见的激活函数的不同组合的一致性。从实验结果中，我们报告说，Nish实现的准确率略好于Mish分类。
2022-12-18 cs.AI cs.CV cs.LG
Approximating Human Judgment of Generated Image Quality
Stanford University（斯坦福大学）
近年来，生成模型取得了巨大的进步，特别是在生成高质量图像的能力方面。然而，这种质量很难进行严格的评估，评估主要是启发式方法，这些方法与人类的判断没有很好的相关性，例如Inception Score和Fréchet Inception Distance。真实的人类标签也被用于评估，但为每个图像收集是低效和昂贵的。在这里，我们提出了一种新的方法来自动评估图像的基础上，其质量由人类感知。通过不仅从Inception网络激活生成图像嵌入并将其与真实图像的激活进行比较，其他方法执行变体，而且还回归激活统计数据以匹配黄金标准人类标签，我们在预测人类图像真实性得分方面表现出66%的准确性，匹配人类评分员之间的一致率。我们的方法还概括了生成模型，这表明捕获图像质量的模型不可知测量的潜力。我们开源了我们的人类标签数据集，以促进这一领域的研究和技术。
2019-11-30 cs.CV cs.LG stat.ML
Approximating Optimal Policies in Heterogeneous Asynchronous Multi-player Bandits
Ecole Polytechnique（巴黎综合理工学院）；INRIA（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；CREST（CREST（法国国家统计与经济研究所研究中心））；ENSAE（法国国立统计与经济管理学校）
针对异构异步多玩家老虎机最优分配计算的未解决问题，证明其NP难性，提出贪心算法并给出1/e及1/√e的近似保证，为相关在线算法设计提供实用基准。
2026-10-14 cs.LG
Backprop with Approximate Activations for Memory-efficient Network Training
Washington University in St. Louis（圣路易斯华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
训练卷积神经网络模型是内存密集型的，因为反向传播需要存储所有中间层的激活。这在寻求在生产中部署非常深入的架构时提出了一个实际问题，特别是当模型需要在更新的数据集上频繁重新训练时。在本文中，我们提出了一种新的反向传播实现，通过使用计算成本可以忽略不计且对训练性能影响最小的近似值，可以显着减少内存使用。该算法重用公共缓冲区来临时存储完全激活并精确计算前向传递。它还存储激活的近似每层副本，显著节省内存，用于向后传递。与简单地近似标准反向传播中的激活相比，我们的方法限制了跨层误差的积累。这允许使用精度低得多的近似值，而不会影响训练精度。在CIFAR-10、CIFAR-100和ImageNet上的实验表明，我们的方法产生的性能接近精确训练，同时以低至4位的精度存储激活。
2019-10-28 cs.LG stat.ML
