EIS -- a family of activation functions combining Exponential, ISRU, and Softplus
IIIT Delhi（德里英迪拉·甘地信息技术学院）；Shaheed Bhagat Singh College（沙希德·巴格特·辛格学院）；University of Delhi（德里大学）
Activation functions play a pivotal role in the function learning using neural networks . The non-linearity in the learned function is achieved by repeated use of the activation function . Over the years, numerous activation functions have been proposed to improve accuracy in several tasks. Basic functions like ReLU, Sigmoid, Tanh, or Softplus have been favorite among the deep learning community because of their simplicity. In recent years, several novel activation functions arising from these basic functions have been proposed, which have improved accuracy in some challenging datasets. We pro…
2020-10-12 cs.CV cs.LG cs.NE
Evolution of Novel Activation Functions in Neural Network Training with Applications to Classification of Exoplanets
PES University（PES大学）；National Institute of Advanced Studies（国家高等研究院）；Indian Statistical Institute Bangalore（印度统计研究所班加罗尔分所）；North Carolina State University（北卡罗来纳州立大学）
我们提出了新的激活函数的分析探索的结果，整合的几个想法，导致实施和随后使用的可居住性分类的系外行星。神经网络虽然是监督方法中的强大引擎，但通常需要昂贵的调优工作来优化性能。可居住性类别很难区分，特别是当用作分离的硬标记的属性从数据集中删除时。该解决方案是接近从调查的点建议的激活函数的分析性质。利用常微分方程和不动点理论来证明与传统激活函数相比“缺乏调整努力”以实现最佳性能。此外，建议的激活函数和更流行的激活函数之间的关系是通过广泛的分析和经验证据建立的。最后，激活函数已被实现在普通香草前馈神经网络分类系外行星。
2019-06-01 astro-ph.IM cs.LG physics.data-an
Stable and Robust Deep Learning By Hyperbolic Tangent Exponential Linear Unit (TeLU)
University of South Florida（南佛罗里达大学）
本文提出TeLU激活函数，通过调整输出均值解决梯度消失/爆炸问题，在多种架构和数据集上表现优于ReLU等，成为潜在新标准。
2024-02-05 cs.LG cs.NE
Empirical Loss Landscape Analysis of Neural Network Activation Functions
University of Pretoria（比勒陀利亚大学）；University of Stellenbosch（斯泰伦博斯大学）；Gulf University for Science and Technology（海湾科技大学）；Griffith University（格里菲斯大学）
本研究实证分析了双曲正切、修正线性单元和指数线性单元三种激活函数对神经网络损失景观特性的影响，发现修正线性单元产生最具凸性的损失景观，而指数线性单元产生最不平坦的损失景观且泛化性能更优，同时揭示了窄谷与饱和神经元及隐式正则化网络配置的关联。
2023-06-28 cs.AI cs.LG cs.NE
Effectiveness of Scaled Exponentially-Regularized Linear Units (SERLUs)
University of Technology Sydney（悉尼科技大学）；Qamcom Research and Technology AB（Qamcom研究与技术公司）
最近，已经提出了自归一化神经网络（SNN），其意图是避免批量或权重归一化。SNN中的关键步骤是适当地缩放指数线性单元（称为SELU），以内在地结合基于中心极限理论的归一化。SELU是一个单调递增的函数，其中对于大的负输入，它具有近似恒定的负输出。在这项工作中，我们提出了一个新的激活函数，打破单调性的SELU，同时仍然保持自规范化的属性。新函数继承自SELU，通过用缩放指数函数正则化线性函数，在负输入区域中引入凸形函数，其被称为缩放指数正则化线性单元（SERLU）。凹凸形状函数对大的负输入具有近似零响应，同时能够在统计上将SERLU的输出推向零均值。为了有效地对抗过拟合，我们为SERLU开发了一个所谓的移位丢弃，其中包括标准丢弃作为特殊情况。在MNIST、CIFAR10和CIFAR100上的实验结果表明，与ELU、SELU、Swish、Leakly ReLU和ReLU等其他5个激活函数相比，基于SERLU的神经网络提供了一致的有希望的结果。
2018-07-27 cs.AI cs.LG stat.ML
An Analysis of State-of-the-art Activation Functions For Supervised Deep Neural Network
Ho Chi Minh City University of Technology, Vietnam National University - Ho Chi Minh（胡志明市理工大学，越南国立大学胡志明市分校）；University of Technology and Education HCMC（胡志明市技术教育大学）；Da Nang University of Science and Technology（岘港科技大学）；Austrian Institute of Technology（奥地利理工学院）
本文提供了关于深度神经网络的监督分类的最新激活函数的分析。这些激活函数包括整流线性单元（ReLU）、指数线性单元（ELU）、缩放指数线性单元（SELU）、高斯误差线性单元（GELU）和逆平方根线性单元（ISRLU）。为了评估，在集成这些激活函数的两个深度学习网络架构上进行实验。第一个模型，基于多层感知器（MLP），评估与MNIST数据集执行这些激活函数。同时，第二个模型，可能是基于VGGish的架构，应用于DCASE 2018挑战中的声学场景分类（ASC）任务1A，从而评估这些激活函数是否在不同的数据集以及不同的网络架构中工作良好。
2021-04-05 cs.LG
A Methodology for Automatic Selection of Activation Functions to Design Hybrid Deep Neural Networks
Vienna University of Technology（维也纳工业大学）；Politecnico di Torino（都灵理工大学）
激活函数影响DNN的行为和性能。非线性激活函数，如整流线性单位（ReLU），指数线性单位（ELU）和缩放指数线性单位（SELU），优于线性对应物。然而，选择适当的激活函数是一个具有挑战性的问题，因为它影响给定DNN的准确性和复杂性。在本文中，我们提出了一种新的方法来自动选择最好的激活函数为每一层的给定DNN，这样的整体DNN的准确性，相比只考虑一种类型的激活函数为整个DNN，提高。然而，在探索激活函数的所有不同配置方面的相关科学挑战将是时间和资源消耗。为此，我们的方法在学习过程中识别评估点，以评估训练中间步骤的准确性，并通过检查学习曲线的准确性梯度来执行提前终止。这有助于显著减少训练期间的探索时间。此外，我们的方法为每一层选择了优化准确性的丢失率。实验表明，我们能够在MNIST，CIFAR-10和CIFAR-100基准测试中实现平均7%至15%的相对错误减少，而GPU的性能和功耗损失有限。
2018-10-27 cs.LG cs.NE stat.ML
On the Impact of the Activation Function on Deep Neural Networks Training
University of Oxford（牛津大学）
深度神经网络的权值初始化和激活函数对训练过程的性能有着至关重要的影响。不适当的选择可能导致前向传播期间输入信息的丢失以及反向传播期间梯度的指数消失/爆炸。了解未经训练的随机网络的理论特性是识别哪些深度网络可以成功训练的关键，正如Samuel等人（2017）最近所证明的那样，对于深度前馈神经网络，只有特定选择的超参数称为“混沌边缘”才能产生良好的性能。虽然Samuel等人（2017）的工作讨论了可训练性问题，但我们在这里关注的是训练加速和整体表现。我们对混沌边缘进行了全面的理论分析，并表明我们确实可以调整初始化参数和激活函数，以加速训练并提高性能。
2019-05-26 cs.AI cs.LG stat.ML
On the impact of activation and normalization in obtaining isometric embeddings at initialization
ETH Zurich（苏黎世联邦理工学院）；MIT（麻省理工学院）；INRIA-ENS-PSL Paris（法国国家信息与自动化研究所-巴黎高等师范学院-巴黎文理研究大学（巴黎））
本文研究深度神经网络初始化时倒数第二层 Gram 矩阵的退化问题，证明层归一化结合非线性激活能以指数速率将该矩阵偏置向单位矩阵，并利用 Hermite 展开式量化了该速率。
2023-11-17 cs.AI cs.LG stat.ML
Introducing the DOME Activation Functions
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
在本文中，我们引入了一个新的非线性激活函数，自发地诱导类紧性和正则化的嵌入空间中的神经网络。这个函数被称为DOME，意思是镜像指数项的差异。该函数的基本形式可以代替sigmoid或双曲正切函数作为二进制分类问题的输出激活函数。该函数还可以扩展到多类分类的情况，并用作标准softmax函数的替代。它还可以进一步推广为采用适合于网络中间层的更灵活的形状。我们经验证明的功能的属性。我们还表明，使用该函数的模型表现出额外的鲁棒性对对抗攻击。
2021-12-07 cs.AI cs.LG
Complexity of Neural Network Training and ETR: Extensions with Effectively Continuous Functions
University of Helsinki（赫尔辛基大学）；University of Sheffield（谢菲尔德大学）
本文研究了不同激活函数下神经网络训练问题的复杂度，证明其与扩展的实数存在理论多项式时间双可归约，发现sigmoid对应指数函数且可解性未知，而正弦激活函数下训练问题不可判定。
2023-05-19 cs.AI cs.CC cs.LG
An Over-parameterized Exponential Regression
The University of Washington（华盛顿大学）；Adobe Research（奥多比研究院）
在过去的几年里，有大量的研究集中在研究ReLU激活函数上，目的是通过过度参数化来实现神经网络收敛。然而，大型语言模型（LLM）领域的最新发展引发了人们对指数激活函数的兴趣，特别是在注意力机制中。在数学上，我们使用指数激活函数定义神经函数$F: \mathbb{R}^{d \times m} \times \mathbb{R}^d \rightarrow \mathbb{R}$。给定一组带有标签$\{(x_1, y_1), (x_2, y_2), \dots, (x_n, y_n)\} \subset \mathbb{R}^d \times \mathbb{R}$的数据点，其中$n$表示数据的数量。这里，$F(W(t),x)$可以表示为$F(W(t),x) := \sum_{r=1}^m a_r \exp(\langle w_r, x \rangle)$，其中$m$表示神经元的数量，$w_r(t)$是时间$t$处的权重。在文献中，$a_r$是固定的权重，并且在训练过程中从未改变。我们用随机高斯分布初始化权重$W(0) \in \mathbb{R}^{d \times m}$，使得$w_r(0) \sim \mathcal{N}(0, I_d)$和从每个$r \in [m]$的随机符号分布初始化$a_r$。使用梯度下降算法，我们可以找到一个权重$W(T)$，使得$\| F(W(T), …
2023-03-29 cs.LG stat.ML
Analytical aspects of non-differentiable neural networks
Università di Trento（特伦托大学）；ETH Zürich（苏黎世联邦理工学院）
计算深度学习的研究已经通过简化激活函数或量化激活和权重，将相当大的努力引向深度神经网络的面向硬件的优化。由此产生的网络的不可微性（甚至不连续性）带来了一些具有挑战性的问题，特别是与学习过程有关的问题。在本文中，我们解决了几个问题，量化的神经网络和逼近技术的不可微网络的表达能力。首先，我们肯定地回答QNN是否具有与DNN相同的表现力的问题，在$L^{\infty}$规范中近似Lipschitz函数。然后，考虑到一个连续但不一定是可微的网络，我们描述了一种逐层随机正则化技术来产生可微近似，我们展示了这种正则化方法如何提供优雅的定量估计。最后，我们考虑网络定义的Heaviside型激活函数，并证明了他们的一个逐点逼近结果，通过光滑网络适当的假设下，正则化的激活。
2020-11-03 cs.LG math.OC
Deep Neural Networks with ReLU-Sine-Exponential Activations Break Curse of Dimensionality in Approximation on Hölder Class
Wuhan University（武汉大学）
在本文中，我们构建神经网络与ReLU，正弦和$2^x$作为激活函数。对于定义在$[0,1]^d$上的具有连续模$ω_f(\cdot)$的一般连续$f$，我们构造了具有逼近率$\mathcal{O}(ω_f(\sqrt{d})\cdot2^{-M}+ω_{f}\left(\frac{\sqrt{d}}{N}\right))$的ReLU-sine- $2^x$网络，其中$M,N\in \mathbb{N}^{+}$表示与网络宽度相关的超参数.因此，我们可以构建ReLU-正弦- $2^x$网络，其深度$5$和宽度$\max\left\{\left\lceil2d^{3/2}\left(\frac{3μ}ε\right)^{1/α}\right\rceil,2\left\lceil\log_2\frac{3μd^{α/2}}{2ε}\right\rceil+2\right\}$在$L^p$范数$p\in[1,\infty)$中测量的给定公差$ε>0$内近似于$f\in \mathcal{H}_μ^α([0,1]^d)$，其中$\mathcal{H}_μ^α([0,1]^d)$表示定义在$[0,1]^d$上的具有阶$α\in (0,1]$和常数$μ> 0$的Hölder连续函数类。因此，ReLU-sine- $2^x$网络克服了$\mathcal{H}_μ^α([0,1]^d)$上的维数灾难…
2022-08-13 cs.LG cs.NA cs.NE
An All-MLP Sequence Modeling Architecture That Excels at Copying
Arizona State University（亚利桑那州立大学）；Colorado State University（科罗拉多州立大学）
该研究提出全MLP架构CausalRN，通过指数激活（实现线性复杂度）与预激活归一化（类KV缓存内存池）两项创新，在复制任务上达到Transformer水平，为理解强上下文检索的本质提供了新视角。
2024-06-23 cs.LG
Deriving Activation Functions Using Integration
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
提出基于积分推导激活函数的新方法，设计了可训练分段激活函数xIELU，结合ReLU$^2$和xSiLU的特性处理正负输入，在Llama模型实验中以相同计算和参数成本实现了比ReLU$^2$和SwiGLU更低的困惑度。
2025-01-31 cs.LG cs.NE
Hyperplane Arrangements and Fixed Points in Iterated PWL Neural Networks
Trier University of Applied Sciences（特里尔应用科学大学）
该研究利用超平面排列框架分析迭代PWL神经网络的（稳定）不动点，给出了任意多线性段PWL激活的多层网络不动点数量的指数上界并证明其最优性，还推导了hard tanh激活的单隐藏层网络稳定不动点的更紧上界。
2024-07-14 cs.AI cs.LG stat.ML
Activation Functions, Statistics and Learning of Higher-Order Interactions in Restricted Boltzmann Machines
Kavli Institute for Systems Neuroscience, Norwegian University of Science and Technology（Kavli系统神经科学研究所，挪威科学技术大学）；Department of Mathematics, King’s College London（伦敦国王学院数学系）
本文研究了受限玻尔兹曼机中激活函数对高阶相互作用统计学和学习的影响，分析了四种常见激活函数在不同参数范围内的表示和学习能力。
2026-06-24 cond-mat.dis-nn cond-mat.stat-mech cs.LG
On the Selection of Initialization and Activation Function for Deep Neural Networks
University of Oxford（牛津大学）
深度神经网络的权值初始化和激活函数对训练过程的性能有着至关重要的影响。不适当的选择可能导致前向传播期间输入信息的丢失以及反向传播期间梯度的指数消失/爆炸。理解未经训练的随机网络的理论特性是识别哪些深度网络可以成功训练的关键，Schoenholz等人（2017）最近证明了这一点，他们表明，对于深度前馈神经网络，只有特定选择的超参数（称为“混沌边缘”）才能获得良好的性能。我们通过提供定量结果来完成这一分析，结果表明，对于一类类似ReLU的激活函数，信息在混沌边缘的初始化确实传播得更深。通过进一步扩展这种分析，我们确定了一类激活函数，提高了信息传播的ReLU类功能。该类包括Hendrycks & Gimpel（2016）、Elfwing等人（2017）和Ramachandran等人（2017）中使用的Swish激活$ϕ_{swish}(x) = x \cdot \text{sigmoid}(x)$。这为在这些贡献中观察到的$ϕ_{swish}$的优良经验性能提供了理论基础。我们补充了以前的结果，说明了在这种情况下，使用随机初始化的混沌边缘的好处。
2018-10-07 cs.LG stat.ML
Rational neural networks
University of Oxford（牛津大学）；Cornell University（康奈尔大学）
我们考虑具有有理激活函数的神经网络。深度学习架构中非线性激活函数的选择至关重要，并严重影响神经网络的性能。我们根据网络复杂度建立了最佳界限，并证明了有理神经网络比深度呈指数级较小的ReLU网络更有效地逼近光滑函数。有理激活函数的灵活性和平滑性使它们成为ReLU的有吸引力的替代品，正如我们通过数值实验所证明的那样。
2020-09-30 cs.LG cs.NA cs.NE
Image space formalism of convolutional neural networks for k-space interpolation
University of Würzburg（维尔茨堡大学）；University Hospital Erlangen（埃尔朗根大学医院）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；University Hospital Würzburg（维尔茨堡大学医院）
本文提出 RAKI 的图像空间形式化方法，通过激活掩码与雅可比矩阵解析分析 k 空间非线性激活对噪声传播和重建伪影的影响，实现 g 因子图的解析量化与噪声鲁棒性调控。
2025-05-09 cs.AI cs.CV cs.LG
Deep Learning without Global Optimization by Random Fourier Neural Networks
Sandia National Laboratories（桑迪亚国家实验室）；The University of New Mexico（新墨西哥大学）
提出一种基于随机复指数激活函数的深度神经网络训练算法，利用马尔可夫链蒙特卡洛采样迭代训练网络层，避免全局和梯度优化，实现高效多尺度高频特征学习且无吉布斯现象。
2025-03-05 cs.LG cs.NA math.NA
Adaptive Activation Functions for Predictive Modeling with Sparse Experimental Data
University of Colorado Denver（科罗拉多大学丹佛分校）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本文研究稀疏实验数据下的自适应激活函数，通过隐藏层共享与独立可训练参数对比，证明独立参数的ELU和Softplus可提升小样本预测准确率与置信度。
2024-02-08 cs.LG cs.NE stat.ML
Approximation Rates of Shallow Neural Networks: Barron Spaces, Activation Functions and Optimality Analysis
School of Mathematical Sciences, Shenzhen University, Shenzhen 518060, China（深圳大学数学科学学院）
本文分析采用指数幂型及 ReLU$^{k}$ 激活函数的浅层神经网络，在 Barron 与 Sobolev 空间中建立多范数最优逼近速率，揭示系数、光滑性约束及维数灾难的影响。
2025-10-21 cs.LG
Criticality versus uniformity in deep neural networks
Universiteit Leiden（莱顿大学）
本文研究深度前馈网络中tanh激活函数沿混沌边缘的饱和效应，通过确定激活后分布最大熵的均匀性线，揭示混沌边缘初始化是最优可训练性的必要但非充分条件。
2023-04-10 cs.LG stat.ML
Exponential Separations in Symmetric Neural Networks
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
在这项工作中，我们证明了一种新的对称神经网络架构之间的分离。具体来说，我们认为关系网络~ \parencite{santoro2017simple}架构是DeepSets~ \parencite{zaheer2017deep}架构的自然推广，并研究它们的代表性差距。在解析激活函数的限制下，构造了一个作用于大小为$N$且元素维数为$D$的对称函数，前者可以有效地逼近，但后者可证明需要$N$和$D$的宽度指数.
2022-12-12 cs.LG
Mathematical analysis of one-layer neural network with fixed biases, a new activation function and other observations
ASAI, Universidad Politécnica de Madrid. ETSI Navales（马德里理工大学应用智能系统与分析系，海军工程学院）；Department of Mathematics, Faculty of Sciences, Gakushuin University（学习院大学理学院数学系）
本文分析了具有固定偏置和ReLU激活函数的单隐层神经网络，研究了连续和离散模型的收敛性，并提出了一种新的激活函数FReX。
2026-04-09 cs.LG math.OC
Neural Network Approximation: Three Hidden Layers Are Enough
National University of Singapore（新加坡国立大学）；Purdue University（普渡大学）
A three-hidden-layer neural network with super approximation power is introduced. This network is built with the floor function ( $\lfloor x\rfloor$ ), the exponential function ( $2^x$ ), the step function ( $1_{x\geq 0}$ ), or their compositions as the activation function in each neuron and hence we call such networks as Floor-Exponential-Step (FLES) networks. For any width hyper-parameter $N\in\mathbb{N}^+$ , it is shown that FLES networks with width $\max\{d,N\}$ and three hidden layers can uniformly approximate a Hölder continuous function $f$ on $[0,1]^d$ with an exponential approximation…
2021-04-19 cs.LG cs.NE stat.ML
Be Careful What You Backpropagate: A Case For Linear Output Activations & Gradient Boosting
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们表明，饱和的输出激活函数，如softmax，阻碍了一些标准的分类任务的学习。此外，我们目前的结果表明，softmax的效用并不像一些人猜测的那样来自于归一化。事实上，正常化使事情变得更糟。相反，优点在于误差梯度的取幂。这种指数梯度提升被证明可以加速收敛并提高泛化能力。为此，我们在不同的分类任务上展示了更快的收敛速度和更好的性能：使用CIFAR-10和ImageNet进行图像分类，以及使用PASCAL VOC 2012进行语义分割。在后一种情况下，使用最先进的神经网络架构，使用我们的方法（大约少两天的训练）的模型收敛速度比使用标准softmax激活快33%，并且启动性能略好。
2017-07-13 cs.CV cs.LG
Uncertainty propagation through trained multi-layer perceptrons: Exact analytical results
National Physical Laboratory（国家物理实验室）
本文通过训练的单隐藏层MLP与ReLU激活函数，推导出输入为多元高斯分布时输出均值和方差的精确解析表达式，无需级数展开。
2026-01-23 cs.AI cs.LG cs.NE
Sisyphus: A Cautionary Tale of Using Low-Degree Polynomial Activations in Privacy-Preserving Deep Learning
New York University（纽约大学）
客户端-服务器机器学习中的隐私问题已经引起了私有推理（PI），其中神经推理直接发生在加密输入上。PI保护客户的个人数据和服务器的知识产权。PI中的一个常见做法是使用乱码电路私下计算非线性函数，即ReLU。然而，乱码电路遭受高存储、带宽和延迟成本。为了缓解这些问题，已经采用PI友好的多项式激活函数来取代ReLU。在这项工作中，我们要求：用低次多项式激活函数替代所有ReLU来构建深度隐私友好的神经网络是否可行？我们通过分析用多项式替代ReLU的挑战来探索这个问题，从简单的丢弃和替换解决方案开始，到新颖的，更复杂的替换和重新训练策略。我们检查每种方法的局限性，并提供评论使用多项式激活函数PI。我们发现所有评估的解决方案都存在逃逸激活问题：前向激活值不可避免地开始以指数速率从多项式的稳定区域扩展，这导致爆炸值（NaN）或差的近似。
2021-11-02 cs.CR cs.LG
Rational Neural Networks have Expressivity Advantages
Center for Applied Mathematics, Cornell University, United States（应用数学中心，康奈尔大学，美国）；Department of Mathematics, Cornell University, United States（数学系，康奈尔大学，美国）
本文证明可训练低次有理激活函数网络在表达性和参数效率上优于常见固定激活函数，理论上有指数级参数节省，实验验证其与标准架构兼容。
2026-06-25 cs.AI cs.LG cs.NA
Activation Function Optimization Scheme for Image Classification
Mississippi State University（密西西比州立大学）
本研究提出面向图像分类的进化式激活函数优化方法，得到EELU系列激活函数，经多架构多数据集验证，92.8%的案例中性能优于现有标准激活函数，最优形式为$-x\cdot erf(e^{-x})$。
2024-09-07 cs.AI cs.CV cs.LG
Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks
Department of Physics and Center for Theoretical Physics, National Taiwan University（物理系与理论物理中心，国立台湾大学）；Center for Quantum Science and Engineering, National Taiwan University（量子科学与工程中心，国立台湾大学）；Physics Division, National Center for Theoretical Sciences, National Taiwan University（理论科学国家中心物理组，国立台湾大学）；Department of Computer Science, University of North Carolina at Chapel Hill（计算机科学系，北卡罗来纳大学教堂山分校）
研究通过引入量子变分激活函数（QVAF）统一量子机器学习与柯尔莫哥洛夫-阿诺德网络。核心方法是用参数化量子电路作激活函数，如DARUAN。主要贡献是提升网络参数效率、表现力等，QKAN可替代多层感知器，且在经典量子模拟器上高效可模拟。
2026-07-07 cs.LG quant-ph
A parametric activation function based on Wendland RBF
Department of Mathematics, Behbahan Khatam Alanbia University of Technology（数学系，贝赫班·卡塔姆·阿尔尼亚比技术大学）
本文提出一种基于 Wendland RBF 的参数化激活函数，结合线性和指数项改善梯度传播与训练稳定性，在多项任务中表现优异，将经典 RBF 理论引入深度学习以缓解过拟合并提升泛化能力。
2025-06-28 cs.LG cs.NE
Fractal and Regular Geometry of Deep Neural Networks
研究深度神经网络在不同激活函数下的几何特性，揭示其边界体积的分形行为及深度对结果的影响。
2026-01-28 cs.LG math.PR stat.ML
Efficient Verification of Neural Control Barrier Functions with Smooth Nonlinear Activations
School of Mechatronic Engineering and Automation, Shanghai University, Shanghai, China（机械电子工程与自动化学院，上海大学，上海，中国）；Beijing Institute of Control Engineering, Beijing, China（北京控制工程研究所，北京，中国）
本文提出LightCROWN方法，利用激活函数的分析特性计算更紧的雅可比界，提升神经控制屏障函数的验证效率和可扩展性。
2026-05-08 cs.LG
TanhExp: A Smooth Activation Function with High Convergence Speed for Lightweight Neural Networks
Harbin Institute of Technology（哈尔滨工业大学）；City University of Hong Kong（香港城市大学）
用于实时计算机视觉任务的轻量级或移动神经网络比普通网络包含更少的参数，这导致性能受限。在这项工作中，我们提出了一种新的激活函数命名为Tanh指数激活函数（TanhExp），可以显着提高这些网络的性能图像分类任务。TanhExp的定义是f（x）= xtanh（e^x）。我们证明了TanhExp在各种数据集和网络模型上的简单性，效率和鲁棒性，TanhExp在收敛速度和准确性方面都优于同行。它的行为也保持稳定，即使添加噪声和数据集改变。我们表明，在不增加网络规模的情况下，TanhExp可以增强轻量级神经网络的能力，只需几个训练阶段，无需添加额外的参数。
2020-09-09 cs.CV cs.LG cs.NE
Neural Network Verification as Piecewise Linear Optimization: Formulations for the Composition of Staircase Functions
Rice University（莱斯大学）；Google Research（谷歌研究院）
我们提出了一种技术，神经网络验证使用混合整数规划（MIP）配方。我们使用分段线性激活函数为网络中的每个神经元导出一个\emph{strong formulation}。此外，在一般情况下，这些公式可能需要指数数量的不等式，我们还推导出一个分离过程，在输入维的超线性时间运行。我们首先介绍并开发了我们在\emph{staircase}函数类上的技术，该技术概括了ReLU、二进制化和量化的激活函数。然后，我们使用楼梯激活函数的结果，得到一般分段线性激活函数的分离方法。从经验上讲，使用我们的强大的配方和分离技术，我们可以减少计算时间在精确的验证设置的基础上MIP和提高假阴性率依赖于松弛的MIP配方的不精确的验证。
2022-11-27 cs.LG math.OC
A Simple Quantum Neural Net with a Periodic Activation Function
Istanbul Medeniyet University（伊斯坦布尔梅德尼耶特大学）
在本文中，我们提出了一个简单的神经网络，只需要$O(nlog_2k)$数量的量子位和$O(nk)$量子门：这里，$n$是输入参数的数量，$k$是在所提出的神经网络中应用于这些参数的权重的数量。我们用量子线路来描述网络，然后画出它的等价的经典神经网络，其中包含隐藏层中的$O(k^n)$节点。然后，我们证明了网络使用输入和权重的线性组合的余弦值的周期性激活函数。通过梯度下降描述反向传播，然后使用虹膜和乳腺癌数据集进行模拟。数值结果表明，该网络可以用于机器学习问题，它可以提供指数加速比相同的结构的经典神经网络。
2018-07-17 cs.LG cs.NE quant-ph
On the Importance of Normalisation Layers in Deep Learning with Piecewise Linear Activation Units
ARC Centre of Excellence for Robotic Vision（ARC机器人视觉卓越中心）；University of Adelaide（阿德莱德大学）
具有分段线性激活的深度前馈神经网络目前正在几个公共数据集中产生最先进的结果。深度学习模型和分段线性激活函数的组合允许使用大量专门用于相似输入示例分类的子网络来估计指数复杂函数。在训练过程中，这些子网络避免了隐式正则化方案的过拟合，因为它们必须与其他子网络共享参数。使用这个框架，我们做了一个实证观察，可以提高这些模型的性能。我们注意到，这些模型假设一个平衡的初始分布的数据点相对于域的分段线性激活函数。如果违反该假设，则分段线性激活单元可以退化为纯线性激活单元，这可能导致其学习复杂函数的能力显著降低。此外，随着模型层数的增加，这种不平衡的初始分布使模型病态。因此，我们建议将批量归一化单元引入具有分段线性激活的深度前馈神经网络中，这将推动这些激活单元的更平衡使用，其中激活函数的每个区域都使用相对较大比例的训练样本进行训练。此外，这种批量标准化促进了非常深度学习模型的预处理。我们表明，通过在网络模型中向网络引入maxout和批量归一化单元，可以产生比CIFAR-10，CIFAR-100，MNIST和SVHN数据集的当前最先进水平更好或相当的分类结果。
2015-11-01 cs.CV cs.LG cs.NE
TeLU Activation Function for Fast and Stable Deep Learning
University of South Florida（南佛罗里达大学）
本文提出激活函数TeLU(x)=xtanh(exp(x))，结合ReLU的简洁有效与平滑解析性质，在ImageNet、Text8和Penn TreeBank等基准上验证其能提升深度学习训练的稳定性、收敛速度与泛化能力。
2025-01-02 cs.LG
Parametric Rectified Power Sigmoid Units: Learning Nonlinear Neural Transfer Analytical Forms
Université Savoie Mont Blanc（萨瓦大学）；TLECOM Bretagne（布列塔尼电信学院）
本文提出了一种双重范式的表示泛函，其中学习共同关注线性卷积权重和非线性激活函数的参数形式。提出的非线性形式执行的功能表示相关联的一类新的参数神经传递函数称为整流功率S形单元。这个类的构造是为了结合sigmoid和整流线性单位函数的优点，同时拒绝这些函数的缺点。此外，这个新的神经类的分析形式涉及规模，移位和形状参数，以获得广泛的激活形状，包括标准的整流线性单元作为极限情况。这个神经传递类的参数被认为是可学习的，以便发现可以有助于解决机器学习问题的复杂形状。通过卷积和整流幂sigmoid可学习参数的联合学习所实现的性能在浅层和深度学习框架中都表现出色。这门课为机器学习开辟了新的前景，因为可学习的参数不仅与线性变换有关，而且与合适的非线性算子有关。
2021-02-05 cs.IR cs.LG eess.SP
Shapley Interpretation and Activation in Neural Networks
Barclays（巴克莱银行）
我们提出了一种新的Shapley值方法来帮助解决神经网络的可解释性和“消失梯度”问题。我们的方法是基于对具有ReLU激活的神经元的Shapley值的精确解析近似。这种分析近似允许跨神经网络层的相关性的线性传播，从而导致对神经网络的决策过程的简单、快速和明智的解释。然后，我们导出了一个全局连续且非零的Shapley梯度，它可以用ReLU激活来代替训练神经网络层的传统梯度，并带来更好的训练性能。我们进一步推导了Shapley激活（SA）函数，它是ReLU的近似，但具有Shapley梯度。SA易于在现有的机器学习框架中实现。数值测试表明，SA在训练收敛性，准确性和稳定性方面始终优于ReLU。
2019-09-17 cs.LG cs.NE stat.ML
Subset Scanning Over Neural Network Activations
IBM Research（IBM研究院）；Carlson School of Management, University of Minnesota（明尼苏达大学卡尔森管理学院）
这项工作将神经网络视为数据生成系统，并将异常模式检测技术应用于该数据，以检测网络何时处理异常输入。检测异常是包括检测对抗性噪声在内的多个机器学习问题的关键组成部分。更广泛地说，这项工作是朝着赋予神经网络识别分布外样本的能力迈出的一步。这是首次将“子集扫描”方法从异常模式检测领域引入到神经网络异常输入检测任务中。子集扫描将检测问题视为搜索节点激活的最异常子集（即，根据非参数扫描统计的最高得分子集）。这些评分函数的数学特性允许搜索在对数线性而不是指数时间内完成，同时仍然保证网络中最异常的节点子集被识别为给定的输入。提供了一个简单的卷积神经网络上的CIFAR-10图像检测和表征对抗性噪声的定量结果。我们观察到一个“干涉”图案，在浅层的异常激活抑制激活结构的原始图像在较深的层。
2018-10-19 cs.AI cs.LG stat.ML
Training a Two Layer ReLU Network Analytically
Florida State University（佛罗里达州立大学）
本文提出一种交替解析求解临界点的算法来训练两层类 ReLU 网络，实验证明其在多数数据集上比 SGD 和 Adam 获得更小的训练损失且速度更快。
2023-04-06 cs.LG stat.ML
Fast generalization error bound of deep learning without scale invariance of activation functions
Graduate School of Engineering Science, Osaka University（大阪大学工学研究科）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）
在深度学习的理论分析中，发现深度学习的哪些特征会导致良好的性能是一项重要的任务。在本文中，使用Suzuki（2018）开发的分析泛化误差的框架，我们导出了具有更一般激活函数的深度神经网络的快速学习率。在Suzuki（2018）中，假设激活函数的尺度不变性，推导出了深度学习的严格泛化误差界。他们提到，激活函数的尺度不变性对于推导严格的误差界是必不可少的。而整流线性单元（ReLU; Nair和Hinton，2010）满足尺度不变性，其他著名的激活函数包括S形和双曲正切函数，以及指数线性单元（ELU; Clevert等人，2016年，不满足这个条件。现有的分析表明，当具有尺度不变激活的深度学习可以达到比$O(1/\sqrt{n})$更快的速率时，具有非尺度不变激活的深度学习可能具有更慢的$O(1/\sqrt{n})$收敛速率。在本文中，在没有激活函数的尺度不变性的情况下，我们推导出了与Suzuki（2018）基本相同的紧泛化误差界。从这个结果中，至少在Suzuki（2018）的框架中，可以看出激活函数的尺度不变性对于获得快速收敛速度并不重要。同时，也表明Suzuki（2018）提出的理论框架可以广泛应用于分析具有一般激活函数的深度学习。
2019-07-25 cs.LG stat.ML
Deep ReLU Networks Have Surprisingly Few Activation Patterns
Facebook AI Research（Facebook人工智能研究院）；Texas A&M University（得克萨斯农工大学）；University of Pennsylvania（宾夕法尼亚大学）
深度网络的成功部分归功于它们的表达能力：每个参数，深度网络可以近似比浅层网络更丰富的函数类。在ReLU网络中，激活模式的数量是表达能力的一个衡量标准;最大模式数量随着深度呈指数增长。然而，最近的研究表明，深度网络的实际表达能力--它们可以学习而不是表达的功能--往往远远没有达到理论上的最大值。在本文中，我们证明了ReLU网络在初始化时激活模式的平均数量受提升到输入维度的神经元总数的限制。我们的经验表明，这个界限，这是独立的深度，是紧在初始化和训练过程中，即使在记忆任务，应该最大限度地提高激活模式的数量。我们的工作表明，实现深度网络的完全表达能力在实践中可能是不可能的，至少用目前的方法是这样。
2019-10-20 cs.LG math.ST stat.ML
Tempered Sigmoid Activations for Deep Learning with Differential Privacy
Google Brain（谷歌大脑）；Apple（苹果公司）
由于学习有时涉及敏感数据，因此机器学习算法已被扩展为为训练数据提供隐私。在实践中，这主要是事后的想法，通过使用不同的优化器重新运行训练来获得隐私保护模型，但使用在非隐私保护设置中已经表现良好的模型架构。这种方法导致了不太理想的隐私/效用权衡，正如我们在这里所展示的。相反，我们建议从头开始明确选择模型架构进行隐私保护训练。为了在差分隐私的黄金标准下提供保证，必须尽可能严格地限制单个训练点如何影响模型更新。在本文中，我们首次观察到激活函数的选择对于限制隐私保护深度学习的敏感性至关重要。我们通过分析和实验证明了一个一般的有界激活函数家族，即回火S形函数，如何始终优于ReLU等无界激活函数。使用这种范式，我们在MNIST、FashionMNIST和CIFAR 10上实现了新的最先进的准确性，而无需对学习过程基础或差分隐私分析进行任何修改。
2020-07-28 cs.CR cs.LG stat.ML
Properties of the geometry of solutions and capacity of multi-layer neural networks with Rectified Linear Units activations
Bocconi University（博科尼大学）
本文研究ReLU两层神经网络的容量与解空间几何结构，发现其容量在隐藏层神经元增多时保持有限，并揭示解空间中存在稀有但高密度且对权重和输入扰动鲁棒的解区域。
2024-05-03 cond-mat.dis-nn cs.LG stat.ML
