Activation Ensembles for Deep Neural Networks
Northwestern University（西北大学）
过去已经提出了许多激活函数，但是选择一个合适的激活函数需要反复试验。我们提出了一种新的方法来设计激活函数内的神经网络在每一层。我们称这种技术为“激活集成”，因为它允许在每一层使用多个激活函数。这是通过在网络的每个激活层引入附加变量$α$来实现的，以允许多个激活函数在每个神经元处激活。通过设计，在神经元处具有较大$α$值的激活等效于具有最大幅度。因此，那些更高幅度的激活被网络“选择”。我们使用前馈和卷积神经网络阵列在各种数据集上实现激活集成。通过使用激活集成，我们实现了优于传统技术的结果。此外，由于这种方法的灵活性，我们更深入地探索激活函数及其捕获的功能。
2017-02-24 cs.LG stat.ML
Fast Neural Kernel Embeddings for General Activations
Yale University（耶鲁大学）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）
无限宽度限制通过在神经网络和核方法之间建立联系，为深度学习的泛化和优化方面提供了启示。尽管它们很重要，但由于它们的（超）二次运行时间和内存复杂性，这些内核方法的实用性在大规模学习设置中受到限制。此外，大多数关于神经内核的先前工作都集中在ReLU激活上，这主要是由于其受欢迎程度，但也是由于难以计算用于一般激活的此类内核。在这项工作中，我们通过提供与一般激活一起工作的方法来克服这些困难。首先，我们编译和扩展的激活函数的列表，承认确切的双重激活表达式计算神经内核。当精确的计算是未知的，我们提出的方法来有效地近似它们。我们提出了一种快速草图绘制方法，该方法可以近似任何多层神经网络高斯过程（NNGP）内核和神经切线核（NTK）矩阵，用于广泛的激活函数，超出了通常分析的ReLU激活。这是通过展示如何使用任何期望的激活函数的截断Hermite展开来近似神经内核来完成的。虽然大多数以前的作品需要的数据点上的单位球，我们的方法不受这样的限制，并适用于任何数据集的点在$\mathbb{R}^d$。此外，我们提供了一个子空间嵌入NNGP和NTK矩阵与近输入稀疏运行时间和近最佳的目标尺寸，适用于任何\emph{homogeneous}双激活函数与快速收敛的泰勒展开。经验上，相对于精确卷积NTK（CNTK）计算，我们的方法在CIFAR-10数据集上实现了5层Myrtle网络的近似CNTK的$106\time…
2022-09-09 cs.AI cs.LG stat.ML
Approximation Rates for Neural Networks with General Activation Functions
Pennsylvania State University（宾夕法尼亚州立大学）
本文证明了关于具有一般激活函数的神经网络的逼近速度的一些新结果。我们的第一个结果是关于一个两层神经网络的多项式衰减非sigmoidal激活函数的近似率。我们扩展了以前获得的维数无关的逼近率这一类新的激活函数。我们的第二个结果给出了一个较弱的，但仍然尺寸独立，近似率为一个较大的类的激活函数，删除多项式衰减假设。这个结果适用于任何有界的，可积的激活函数。最后，我们证明了一个分层抽样的方法可以用来提高多项式衰减激活函数的近似率在温和的附加假设。
2021-01-03 cs.LG math.CA
Activation Adaptation in Neural Networks
Polytechnique Montreal（蒙特利尔综合理工大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
许多神经网络架构依赖于每个隐藏层的激活函数的选择。给定激活函数，神经网络在偏置和权重参数上被训练。偏置抓住了激活的中心，权重抓住了尺度。在这里，我们建议训练网络的形状参数。这个视图允许每个神经元调整自己的激活函数，并使神经元曲率适应更好的预测。这种修改仅为每个神经元的反向传播增加了一个进一步的方程。将激活函数重新形式化为CDF，广泛地推广了激活函数类。我们的目的是推广一类广泛的激活函数来研究：i）偏斜和ii）光滑的激活函数。本文引入自适应Gumbel激活函数作为Gumbel和sigmoid之间的桥梁。类似的方法被用来发明一个平滑版本的ReLU。我们与常见的激活函数的比较表明，不同的数据表示，特别是在早期的神经网络层。这种适应还提供了预测改进。
2019-09-28 cs.LG stat.ML
Empirical Loss Landscape Analysis of Neural Network Activation Functions
University of Pretoria（比勒陀利亚大学）；University of Stellenbosch（斯泰伦博斯大学）；Gulf University for Science and Technology（海湾科技大学）；Griffith University（格里菲斯大学）
本研究实证分析了双曲正切、修正线性单元和指数线性单元三种激活函数对神经网络损失景观特性的影响，发现修正线性单元产生最具凸性的损失景观，而指数线性单元产生最不平坦的损失景观且泛化性能更优，同时揭示了窄谷与饱和神经元及隐式正则化网络配置的关联。
2023-06-28 cs.AI cs.LG cs.NE
Learning Neural Activations
University of Warwick（华威大学）；Pakistan Institute of Engineering and Applied Sciences (PIEAS)（巴基斯坦工程与应用科学研究院）
人工神经元被建模为加权求和，随后是确定其输出的激活函数。在文献中已经探索了各种各样的激活函数，例如整流线性单元（ReLU）、泄漏ReLU、Swish、MISH等。在这篇简短的论文中，我们探讨了当人工神经网络中每个神经元的激活函数仅从数据中学习时会发生什么。这是通过将每个神经元的激活函数建模为小神经网络来实现的，该小神经网络的权重由原始网络中的所有神经元共享。我们在结论部分列出了我们的主要发现。我们的分析代码可以在https://github.com/amina01/Learning-Neural-Activations上找到。
2019-12-27 cs.LG cs.NE stat.ML
Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions
Brown University（布朗大学）；Harvard University（哈佛大学）
我们提出了一种新型的神经网络，克罗内克神经网络（KNN），形成了一个通用的框架，神经网络的自适应激活函数。KNN使用Kronecker乘积，它提供了一种有效的方法来构建一个非常广泛的网络，同时保持参数的数量很低。我们的理论分析表明，在适当的条件下，KNN诱导的损失比前馈网络的衰减更快。这也通过一组计算实例进行了经验验证。此外，在一定的技术假设下，我们建立了KNN的梯度下降的全局收敛性。作为一个特定的情况下，我们提出了Rowdy激活函数，旨在摆脱任何饱和区域注入正弦波动，其中包括可训练的参数。所提出的Rowdy激活函数可以用于任何神经网络结构，如前馈神经网络、递归神经网络、卷积神经网络等。通过各种计算实验，包括使用前馈神经网络的函数逼近，使用物理信息神经网络的偏微分方程的解推理，以及使用卷积和全连接神经网络的标准深度学习基准问题。
2021-10-19 cs.LG
Neural Network Structure Design based on N-Gauss Activation Function
Beijing Institute of Technology（北京理工大学）
最近的工作表明，卷积神经网络的激活函数满足Lipschitz条件，那么可以根据数据集的规模构造相应的卷积神经网络结构，对数据集进行更深入、更准确、更有效的训练。在本文中，我们接受了实验结果，并介绍了核心块N-Gauss，N-Gauss和Swish（Conv 1，Conv 2，FC 1）神经网络结构设计训练MNIST，CIFAR 10和CIFAR 100分别。实验表明，N-Gauss充分发挥了激活函数非线性建模的主要作用，使深度卷积神经网络具有层次化的非线性映射学习能力。同时，N-Gauss在简单一维通道小数据集上的训练能力与ReLU和Swish的性能相当。
2021-06-01 cs.AI cs.CV cs.LG
Neural networks with trainable matrix activation functions
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Missouri-Kansas City（密苏里大学堪萨斯分校）；Zhejiang University（浙江大学）
针对传统激活函数固定的问题，本文提出由 ReLU 推广、参数可与权重和偏置共同训练的矩阵值激活函数，并通过数值实验验证其简洁高效与稳健性。
2024-10-28 cs.LG
Semiring Activation in Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）
本文提出基于半环的可训练非线性算子以替代神经网络中的传统激活函数，并在全连接网络和ConvNeXt上验证其可行性，同时分析了替换带来的挑战与权衡。
2025-03-10 cs.LG
Fractional Optimizers Meet Fractal Activation Functions: An Empirical Study of Multi-Scale Optimization in Neural Network
SBA Research gGmbH（SBA研究有限责任公司）；University of Vienna（维也纳大学）
该研究在统一实验框架下实证探究分数阶优化器与分形激活函数的配对效果，发现正则化式分数缩放与选定分形激活函数适配性较好，自适应记忆优于普通记忆替换，可控分数阶记忆具研究潜力。
2026-08-18 cs.AI cs.LG
Neural networks with superexpressive activations and integer weights
给出了激活函数$σ$的一个例子，使得具有激活$\{σ, \lfloor\cdot\rfloor\}$、整数权重和取决于$d$的固定架构的网络近似于$[0,1]^d$上的连续函数。推导出$\varepsilon$ -Hölder连续函数逼近所需的整数权重范围，从而导致给定$n$样本的未知$β$ -Hölder连续函数的神经网络回归估计具有$n^{\frac{-2β}{2β+d}}\log_2n$阶收敛速度。
2021-05-29 cs.LG stat.ML
Extending Neural Network Verification to a Larger Family of Piece-wise Linear Activation Functions
RWTH Aachen University（亚琛工业大学）
本文扩展现有神经网络验证技术以支持更广泛的分段线性激活函数，并将原本仅适用于有界输入集的精确与过近似算法扩展至无界输入集，通过案例研究验证了其有效性。
2023-11-16 cs.AI cs.LG cs.LO
Unification of popular artificial neural network activation functions
Virginia Tech（弗吉尼亚理工大学）；Molecular Sciences Software Institute（分子科学软件研究所）
本研究利用分数阶微积分的Mittag-Leffler函数提出神经网络激活函数的统一门控表示，可插值多种激活函数、缓解梯度问题且适配反向传播，实验验证其是传统框架单独实现激活函数的有前景低成本替代方案。
2024-10-07 cs.AI cs.LG cs.NE
Formalizing Piecewise Affine Activation Functions of Neural Networks in Coq
Technische Universität Berlin（柏林工业大学）
神经网络的验证依赖于激活函数是分段仿射的（pwa）--使得定理证明者能够对验证问题进行编码。在本文中，我们提出了第一个形式化的pwa激活函数的交互式定理证明器，用于验证神经网络内Coq库Coquelicot真正的分析。作为概念验证，我们构建了流行的pwa激活函数ReLU。我们将我们的形式化到一个Coq模型的神经网络，并设计了一个验证的转换从一个神经网络N到一个PWA功能表示N组成PWA功能，我们构造的每一层。这种表示使编码证明自动化，例如Coq的战术lra -线性实数算术的决策过程。此外，我们的形式化铺平了道路，集成Coq的框架中的神经网络验证作为后备证明时，自动证明失败。
2023-01-30 cs.LG
Accelerating Convolutional Neural Networks via Activation Map Compression
Samsung Semiconductor, Inc.（三星半导体公司）
深度学习革命为我们带来了广泛的神经网络架构，这些架构在各种计算机视觉任务中实现了最先进的性能，包括分类、检测和分割。与此同时，我们也一直在观察计算和内存需求的前所未有的需求，使神经网络在低功耗设备中的有效使用几乎无法实现。为此，我们提出了一个三阶段的压缩和加速管道，稀疏化，量化和熵编码的卷积神经网络的激活地图。稀疏化增加了激活图的表示能力，从而加快了推理速度和更高的模型准确性。Inception-V3和MobileNet-V1可以加速多达$1.6\times$，分别在ImageNet和CIFAR-10数据集上提高$0.38\%$和$0.54\%$的准确性。量化和熵编码较稀疏的激活图导致比基线更高的压缩，降低了网络执行的内存成本。量化为$16$位的Inception-V3和MobileNet-V1激活映射被压缩了$6\times$，分别增加了$0.36\%$和$0.55\%$的准确度。
2019-03-27 cs.AI cs.CV cs.LG
Memory capacity of neural networks with threshold and ReLU activations
University of California, Irvine（加州大学欧文分校）
压倒性的理论和经验证据表明，轻度过度参数化的神经网络--连接数多于训练数据大小的网络--通常能够以$100\%$的准确度记住训练数据。这在具有sigmoid激活函数的网络中得到了严格的证明，最近，ReLU激活也得到了严格的证明。解决1988年Baum的一个公开问题，我们证明了这种现象适用于一般的多层感知器，即具有阈值激活函数的神经网络，或者具有阈值和ReLU激活的任何混合。我们的建设是概率和利用稀疏性。
2020-06-02 cs.IT cs.LG cs.NE
Advantages of biologically-inspired adaptive neural activation in RNNs during learning
Mila - Quebec Artificial Intelligence Institute（米拉——魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
单神经元响应的动态适应在生物神经网络的神经编码中起着重要作用。然而，大多数用于人工网络的神经激活函数是固定的，并且大多数被认为是无关紧要的架构选择。在本文中，我们研究了非线性激活函数适应在大的时间尺度的学习，并概述其影响的顺序处理循环神经网络。我们引入了一种新的非线性激活函数的参数族，其灵感来自于生物神经元的输入频率响应曲线，该函数允许在诸如ReLU和sigmoid等众所周知的激活函数之间进行插值。使用简单的数值实验和工具，从动力系统和信息论，我们研究的神经激活功能的学习动力学的作用。我们发现，激活适应提供了独特的任务特定的解决方案，在某些情况下，提高学习速度和性能。重要的是，我们发现，从我们的参数家庭出现的最佳激活功能是相当不同的文献中使用的典型功能，这表明利用这些通常的配置之间的差距可以帮助学习。最后，我们概述了神经激活适应可能有助于减轻给定任务中输入统计数据变化的情况，提出了迁移学习优化机制。
2020-06-22 cs.LG cs.NE q-bio.NC
Activations Through Extensions: A Framework To Boost Performance Of Neural Networks
IBM Research（IBM研究院）；IBM T.J. Watson Research Center（IBM T.J.沃森研究中心）
本研究提出一个统一激活函数相关研究的框架，可通过激活函数操作生成神经网络的特殊泛化扩展，理论和实验均证明该扩展能以可忽略的复杂度成本提升标准测试函数及真实时间序列任务上的神经网络性能。
2024-08-16 cs.AI cs.LG cs.NA
A New Training Method for Feedforward Neural Networks Based on Geometric Contraction Property of Activation Functions
提出了一种新的具有几何收缩特性的激活函数的前向神经网络的训练方法。该方法包括构造一个新的功能，是较低的非线性与经典的功能相比，通过消除非线性的激活函数从输出层。我们通过一系列的实验来验证这种新方法，实验结果表明这种方法具有更快的学习速度和更好的分类错误率。
2018-08-11 cs.LG cs.NE
Uninorm-like parametric activation functions for human-understandable neural models
Aalen University（阿伦大学）；Óbuda University（奥布达大学）；SupplyPike（SupplyPike公司）；University of Texas at El Paso（得克萨斯大学埃尔帕索分校）；University of Stuttgart（斯图加特大学）
我们提出了一个深度学习模型，用于寻找输入特征之间的人类可理解的联系。我们的方法使用了参数化，可微激活函数，幂零模糊逻辑和多准则决策（MCDM）的理论背景的基础上。可学习参数具有指示输入特征之间的补偿水平的语义含义。神经网络使用梯度下降来确定参数，以找到输入特征之间的人类可理解的关系。我们证明了该模型的实用性和有效性，成功地将其应用于分类问题的UCI机器学习知识库。
2022-05-13 cs.AI cs.LG
Causal Learning and Explanation of Deep Neural Networks via Autoencoded Activations
Charles River Analytics（查尔斯河分析公司）
深度神经网络复杂且不透明。当它们进入各种重要和安全关键领域的应用时，用户寻求解释其输出预测的方法。我们开发了一种通过在CNN中包含的突出概念上构建因果模型来解释深度神经网络的方法。我们开发了通过使用经过训练的自动编码器来提取目标网络中的突出概念的方法，以提取人类可理解的网络激活表示。然后，我们建立了一个基本的因果关系模型，使用这些提取的概念作为变量，以解释图像分类。最后，我们使用这个因果模型来识别和可视化对最终分类有显著因果影响的特征。
2018-02-02 cs.AI cs.LG stat.ML
Large Deviations of Gaussian Neural Networks with ReLU activation
Quirin Vogel 1,2
本文研究了具有ReLU激活函数的高斯神经网络的大偏差原理，推导了速率函数并给出了幂级数展开。
2026-02-09 cs.LG math.PR stat.ML
Bayesian optimization for sparse neural networks with trainable activation functions
University of Sfax（斯法克斯大学）；Toulouse INP（图卢兹国立理工学院）；University of Toulouse（图卢兹大学）
针对可训练激活函数的参数估计与稀疏神经网络优化问题，提出全贝叶斯模型和基于 MCMC 的全局收敛采样方案，并在多数据集与 CNN 上验证其准确率提升。
2023-04-19 cs.AI cs.LG stat.ME
On the Activation Function Dependence of the Spectral Bias of Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）；University of Southern California（南加州大学）
神经网络是通用函数逼近器，尽管被显著地过度参数化，但已知其泛化良好。我们从神经网络的谱偏置的角度来研究这种现象。我们的贡献是双重的。首先，我们通过利用与有限元法理论的联系，为ReLU神经网络的谱偏差提供了理论解释。其次，基于这一理论，我们预测，切换的激活函数的分段线性B-样条，即帽子功能，将消除这种光谱偏差，我们在各种设置经验验证。我们的实证研究还表明，使用随机梯度下降和ADAM，具有Hat激活函数的神经网络的训练速度明显更快。结合之前的工作，显示帽子激活函数也提高了图像分类任务的泛化精度，这表明使用帽子激活在某些问题上提供了比ReLU显著的优势。
2022-09-06 cs.LG
CombU: A Combined Unit Activation for Fitting Mathematical Expressions with Neural Networks
Betterdata AI；NUS AIDF
本文提出组合单元激活函数CombU，通过在不同网络层和维度使用不同激活函数，理论上能准确拟合数学表达式，并在四个数据集上超越多数SOTA算法。
2024-09-25 cs.LG
Global Convergence in Neural ODEs: Impact of Activation Functions
DePaul University（德保罗大学）；Iowa State University（爱荷华州立大学）
本文研究激活函数的光滑性与非线性对神经常微分方程训练动态的影响，并据此在过参数化条件下证明了梯度下降的全局收敛性。
2025-09-26 cs.AI cs.LG stat.ML
Fractional Concepts in Neural Networks: Enhancing Activation Functions
Institute for Research and Applications of Fuzzy Modeling（模糊建模研究与应用研究所）；University of Ostrava（俄斯特拉发大学）
本文提出在激活函数中引入可调的分数阶导数（FDO），并在多数据集和架构上验证其在准确率、开销与内存等方面的表现，发现分数阶 Sigmoid 等函数在部分场景中更具优势。
2025-01-10 cs.CV cs.LG
Learning Activation Functions to Improve Deep Neural Networks
University of California - Irvine（加州大学尔湾分校）；Adobe Research（奥多比研究院）
人工神经网络通常在每个神经元处具有固定的非线性激活函数。我们设计了一种新形式的分段线性激活函数，它使用梯度下降为每个神经元独立学习。通过这种自适应激活函数，我们能够改进由静态整流线性单元组成的深度神经网络架构，在CIFAR-10（7.51%）、CIFAR-100（30.83%）以及涉及希格斯玻色子衰变模式的高能物理学基准上实现最先进的性能。
2015-04-21 cs.CV cs.LG cs.NE
Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
神经网络模型的二值化被认为是在资源受限的环境（例如移动设备）上部署深度神经网络模型的有前景的方法之一。然而，二进制神经网络（BNN）往往遭受严重的准确性下降相比，全精度对应模型。提出了几种技术来提高BNN的精度。方法之一是平衡二进制激活的分布，使得二进制激活中的信息量变得最大。基于广泛的分析，与以前的工作形成鲜明对比，我们认为，不平衡的激活分布实际上可以提高BNN的准确性。我们还表明，调整阈值的二进制激活函数的结果在不平衡的分布的二进制激活，这增加了BNN模型的准确性。实验结果表明，以前的BNN模型（如XNOR网络和双实数网络）的准确性可以提高简单地移动阈值的二进制激活函数，而不需要任何其他修改。
2021-03-30 cs.CV cs.LG
Variational Neural Networks: Every Layer and Neuron Can Be Unique
激活函数的选择对神经网络的性能有很大的影响。激活函数的选择缺乏指导原则是可悲的。为了解决这个问题，我们引入了变分神经网络，其中的激活函数被表示为一个线性组合的可能的候选函数，并通过最小化损失函数使用梯度下降方法获得最佳的激活。损失函数关于这些展开系数的梯度公式是实现梯度下降算法的核心，在这里我们导出这些梯度公式。
2018-10-14 cs.AI cs.LG stat.ML
Designed Dithering Sign Activation for Binary Neural Networks
Universidad Industrial de Santander（桑坦德工业大学）
针对 Sign 激活单阈值二值化造成细节丢失的问题，本文提出利用空间周期性阈值核、对相邻像素联合偏移的 DeSign 抖动激活，在不增加计算成本的前提下提升分类性能。
2024-05-09 cs.CV cs.LG
Activation Functions for "A Feedforward Unitary Equivariant Neural Network"
University of Oxford（牛津大学）
本文将前馈酉等变神经网络中的三种激活函数推广为单一函数形式，在保持酉等变性的同时提升了网络架构设计的灵活性。
2024-11-17 cs.LG cs.NE
Breaking the Conventional Forward-Backward Tie in Neural Networks: Activation Functions
University of Salerno（萨勒诺大学）；Campus UniSA（UniSA校区）；Kebula srl（Kebula公司）；University of Sannio（萨恩尼奥大学）
本文通过数学分析和在MLP、CNN、BNN上的实验，证明放宽前向-后向对称性、用简单或随机梯度替代传统梯度不影响学习，甚至能提升稳定性，使平坦或不可微激活函数（如阶跃函数）可有效训练。
2025-09-08 cs.AI cs.LG cs.NE
Qualitative neural network approximation over R and C: Elementary proofs for analytic and polynomial activation
Texas A&M University（德克萨斯农工大学）
本文用初等方法证明了具有解析激活函数的深、浅神经网络类的逼近定理。我们证明了真实和复杂的网络与非多项式激活的封闭的神经网络的类与多项式空间的封闭。闭包可以进一步由Stone-Weierstrass定理（在实情况下）和Mergelyan定理（在复情况下）表征。在实际情况下，我们进一步证明了高维谐波激活和正交投影线性映射网络的近似结果。我们进一步证明了具有多项式激活函数的大深度全连通网络和剩余网络在一定的宽度要求下可以逼近任何多项式。所有证明都是完全初级的。
2022-03-25 cs.LG math.FA stat.ML
Globally Optimal Training of Neural Networks with Threshold Activation Functions
Stanford University（斯坦福大学）
阈值激活函数在神经网络中是高度优选的，这是由于它们在硬件实现中的效率。此外，它们的操作模式更易于解释，类似于生物神经元。然而，传统的基于梯度的算法，如梯度下降，不能用于训练具有阈值激活的神经网络的参数，因为激活函数除了在单个不可微点处之外具有零梯度。为此，我们研究了具有阈值激活的深度神经网络的权重衰减正则化训练问题。我们首先证明，正则化的深阈值网络训练问题可以等价地表示为标准的凸优化问题，它与LASSO方法并行，前提是最后一个隐藏层宽度超过一定的阈值。我们还推导出一个简化的凸优化公式时，数据集可以在网络的某一层被粉碎。我们证实了我们的理论结果与各种数值实验。
2023-03-06 cs.LG stat.ML
Subset Scanning Over Neural Network Activations
IBM Research（IBM研究院）；Carlson School of Management, University of Minnesota（明尼苏达大学卡尔森管理学院）
这项工作将神经网络视为数据生成系统，并将异常模式检测技术应用于该数据，以检测网络何时处理异常输入。检测异常是包括检测对抗性噪声在内的多个机器学习问题的关键组成部分。更广泛地说，这项工作是朝着赋予神经网络识别分布外样本的能力迈出的一步。这是首次将“子集扫描”方法从异常模式检测领域引入到神经网络异常输入检测任务中。子集扫描将检测问题视为搜索节点激活的最异常子集（即，根据非参数扫描统计的最高得分子集）。这些评分函数的数学特性允许搜索在对数线性而不是指数时间内完成，同时仍然保证网络中最异常的节点子集被识别为给定的输入。提供了一个简单的卷积神经网络上的CIFAR-10图像检测和表征对抗性噪声的定量结果。我们观察到一个“干涉”图案，在浅层的异常激活抑制激活结构的原始图像在较深的层。
2018-10-19 cs.AI cs.LG stat.ML
Convergence of Deep Neural Networks with General Activation Functions and Pooling
深度神经网络作为一种表示高维复杂函数的强大系统，在深度学习中发挥着关键作用。深度神经网络的收敛是为深度学习建立数学基础的基本问题。我们在最近的两项研究中研究了深度ReLU网络和深度卷积神经网络的收敛性（arXiv：2107.12530，2109.13542）。其中仅研究了整流线性单元（ReLU）激活，而没有考虑重要的池化策略。在目前的工作中，我们研究了深度神经网络的收敛性，因为深度趋于无穷大，另外两个重要的激活函数：泄漏ReLU和sigmoid函数。还将研究合并。因此，我们证明了arXiv：2107.12530，2109.13542中建立的充分条件对于泄漏ReLU网络仍然是充分的。对于收缩激活函数，如sigmoid函数，我们建立了一个较弱的深度神经网络一致收敛的充分条件。
2022-10-01 cs.LG math.FA
Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths
Old Dominion University（奥尔多明尼恩大学）；Sun Yat-sen University（中山大学）
本文研究可变宽度深度神经网络在层数趋于无穷时的一致收敛性，给出权重、偏置与 Lipschitz 常数的充分条件，并推广至固定、有界、无界宽度及卷积神经网络。
2023-06-02 cs.LG
Neural network integral representations with the ReLU activation function
Oak Ridge National Laboratory（橡树岭国家实验室）；University of Tennessee at Knoxville（田纳西大学诺克斯维尔分校）
在这项工作中，我们推导出一个公式，用于使用ReLU激活函数的浅层神经网络的积分表示。我们假设外权允许球面上关于Lebesgue测度的有限$L_1$ -范数.对于单变量目标函数，我们进一步提供了所有可能表示的封闭形式公式。此外，在这种情况下，我们的公式允许一个显式解决最小$L_1$规范神经网络表示为一个给定的功能。
2020-06-11 cs.LG stat.ML
Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks
Czech Technical University in Prague（布拉格捷克理工大学）
本文针对神经网络激活函数缺乏综合综述的问题，对过去三十年提出的400种激活函数进行了最大规模的系统化梳理与溯源，以避免重复研究并更新对该函数家族的理解。
2024-02-14 cs.LG cs.NE
Complexity Measures for Neural Networks with General Activation Functions Using Path-based Norms
Peking University（北京大学）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
提出了一种简单的方法来获得复杂性控制的神经网络与一般激活函数。该方法的动机是用一维ReLU网络近似一般的激活函数，这将问题简化为ReLU网络的复杂性控制。具体来说，我们考虑两层网络和深度残差网络，其中基于路径的范数被导出以控制复杂性。我们还提供了初步的分析，这些规范和先验估计相应的正则化估计引起的函数空间。
2020-09-14 cs.LG stat.ML
SBAF: A New Activation Function for Artificial Neural Net based Habitability Classification
PES University South Campus（PES大学南校区）；Indian Statistical Institute（印度统计研究所）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
我们探讨了在人工神经网络（ANN）中使用一种新的激活函数将系外行星分为不同类别的有效性。我们称之为Saha-Bora激活函数（SBAF），因为其动机来自于长期以来对使用高级微积分来建模系外行星可居住性评分的理解。该函数被证明具有很好的分析性质，似乎不受本地振荡问题。该手稿提出的分析性质的激活函数和架构上实现的功能。关键词：天文信息学，机器学习，系外行星，人工神经网络，激活函数。
2018-06-06 astro-ph.IM cs.LG stat.ML
A Sampling Theory Perspective on Activations for Implicit Neural Representations
University of Adelaide（阿德莱德大学）；Amazon（亚马逊公司）
本文从采样理论视角分析隐式神经表示的激活函数，发现sinc激活函数在信号编码上理论最优，并建立动力系统与INRs的关联。
2024-02-08 cs.LG
Natural-Logarithm-Rectified Activation Function in Convolutional Neural Networks
National Digital Switching System Engineering and Technological R&D Center（国家数字交换系统工程技术研究中心）
激活函数在深度神经网络中提供卓越性能方面发挥着关键作用，而整流线性单元（ReLU）是使用最广泛的激活函数之一。已经提出了各种新的激活函数和对ReLU的改进，但每种都有性能缺陷。在本文中，我们提出了一种改进的激活函数，我们称之为自然对数校正线性单元（NLReLU）。这个激活函数使用参数化自然对数变换来改进ReLU，并简单地定义为。NLReLU不仅保留了ReLU的稀疏激活特性，而且在一定程度上解决了“垂死ReLU”和梯度消失问题。它还减少了偏置移位效应和神经元数据分布在网络层之间的异方差，以加快学习过程。该方法在两个基本数据集的10个不同深度的卷积神经网络上进行了验证。实验表明，使用NLReLU的卷积神经网络比使用ReLU的卷积神经网络具有更高的准确性，并且NLReLU与其他众所周知的激活函数相当。与ReLU相比，NLReLU分别在MNIST和CIFAR-10数据集的浅卷积神经网络中使用时，平均分类准确率高出0.16%和2.04%。使用NLReLU的深度卷积神经网络的平均准确率比使用CIFAR-10数据集的平均准确率高1.35%。
2019-08-25 cs.CV cs.LG stat.ML
Data-aware customization of activation functions reduces neural network error
University of Idaho（爱达荷大学）；Institute for Modeling Collaboration and Innovation, University of Idaho（爱达荷大学建模协作与创新研究所）
Activation functions play critical roles in neural networks , yet current off-the-shelf neural networks pay little attention to the specific choice of activation functions used. Here we show that data-aware customization of activation functions can result in striking reductions in neural network error. We first give a simple linear algebraic explanation of the role of activation functions in neural networks ; then, through connection with the Diaconis-Shahshahani Approximation Theorem, we propose a set of criteria for good activation functions . As a case study, we consider regression tasks wi…
2023-01-16 cs.LG cs.NE stat.ML
Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations
ETH Zürich（苏黎世联邦理工学院）
该研究提出核序列演化的理论框架，证明非线性激活的深度神经网络中核序列全局收敛到唯一不动点，拓展至残差与归一化层网络也成立，为理解深度网络隐式偏差及架构对表征演化的影响提供新见解。
2024-10-29 cs.AI cs.LG stat.ML
Learning Compact Neural Networks Using Ordinary Differential Equations as Activation Functions
Amazon Inc.（亚马逊公司）；University of Oregon（俄勒冈大学）；Microsoft Inc.（微软公司）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
大多数深度神经网络使用简单的固定激活函数，如S形或整流线性单元，而不管域或网络结构如何。我们引入微分方程单元（DEU），现代神经网络的改进，使每个神经元学习一个特定的非线性激活函数从一个家庭的解决方案，一个常微分方程。具体地，每个神经元可以在训练期间基于网络的其他部分的行为来改变其功能形式。我们表明，使用神经元与DEU激活函数的结果在一个更紧凑的网络能够实现可比的，如果不是优越的，性能相比，更大的网络。
2019-05-19 cs.LG cs.NE stat.ML
Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks
INRIA University of Stuttgart（INRIA 斯图加特大学）
本文研究了非ReLU激活函数对神经内核和随机宽网络的影响，推导了这些内核的RKHS特性，并分析了不同激活函数在不同网络深度下的表现。
2026-04-27 cs.LG stat.ML
Activation Functions: Do They Represent A Trade-Off Between Modular Nature of Neural Networks And Task Performance
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
目前的研究表明，设计神经网络结构的关键因素包括为每个卷积层选择滤波器的数量、为每个全连接层选择隐层神经元的数量、丢弃和修剪。在大多数情况下，默认的激活函数是ReLU，因为它在经验上显示出更快的训练收敛。我们探讨了如果想要在神经网络中获得更好的模块化结构，ReLU是否是最佳选择。
2020-09-16 cs.LG stat.ML
On the Impact of the Activation Function on Deep Neural Networks Training
University of Oxford（牛津大学）
深度神经网络的权值初始化和激活函数对训练过程的性能有着至关重要的影响。不适当的选择可能导致前向传播期间输入信息的丢失以及反向传播期间梯度的指数消失/爆炸。了解未经训练的随机网络的理论特性是识别哪些深度网络可以成功训练的关键，正如Samuel等人（2017）最近所证明的那样，对于深度前馈神经网络，只有特定选择的超参数称为“混沌边缘”才能产生良好的性能。虽然Samuel等人（2017）的工作讨论了可训练性问题，但我们在这里关注的是训练加速和整体表现。我们对混沌边缘进行了全面的理论分析，并表明我们确实可以调整初始化参数和激活函数，以加速训练并提高性能。
2019-05-26 cs.AI cs.LG stat.ML
Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions
Częstochowa University of Technology（琴希托霍瓦工业大学）
本文的工作有助于发展一种新的数据驱动的前馈神经网络（FNNs）学习方法（D-DM）。这种方法是最近提出的一种通过调整网络参数以适应目标函数波动来改善FNN随机学习的方法。该方法对隐藏节点采用逻辑S形激活函数。在这项研究中，我们介绍了其他激活函数，如双极sigmoid，正弦函数，饱和线性函数，reLU和softplus。我们推导出它们的参数公式，即权重和偏差。在仿真研究中，我们评估了不同激活函数的FNN数据驱动学习的性能。结果表明，S形激活函数在逼近复杂的、波动的目标函数时表现得更好。
2021-07-06 cs.LG cs.NE
Comparison of non-linear activation functions for deep neural networks on MNIST classification task
University of Edinburgh（爱丁堡大学）
激活函数在神经网络中起着关键的作用，因此了解它们的优点和缺点以获得更好的性能成为基础。本文将首先介绍非线性激活函数的常见类型，这是众所周知的sigmoid函数的替代品，然后评估它们的特性。此外，将分析更深的神经网络，因为与较浅的网络相比，它们对最终性能有积极影响。它们还严格依赖于权重初始化，因此将分析从高斯和均匀分布中提取权重的效果，特别注意到节点的传入和传出连接的数量如何影响整个网络。
2018-04-08 cs.LG stat.ML
An Analysis of State-of-the-art Activation Functions For Supervised Deep Neural Network
Ho Chi Minh City University of Technology, Vietnam National University - Ho Chi Minh（胡志明市理工大学，越南国立大学胡志明市分校）；University of Technology and Education HCMC（胡志明市技术教育大学）；Da Nang University of Science and Technology（岘港科技大学）；Austrian Institute of Technology（奥地利理工学院）
本文提供了关于深度神经网络的监督分类的最新激活函数的分析。这些激活函数包括整流线性单元（ReLU）、指数线性单元（ELU）、缩放指数线性单元（SELU）、高斯误差线性单元（GELU）和逆平方根线性单元（ISRLU）。为了评估，在集成这些激活函数的两个深度学习网络架构上进行实验。第一个模型，基于多层感知器（MLP），评估与MNIST数据集执行这些激活函数。同时，第二个模型，可能是基于VGGish的架构，应用于DCASE 2018挑战中的声学场景分类（ASC）任务1A，从而评估这些激活函数是否在不同的数据集以及不同的网络架构中工作良好。
2021-04-05 cs.LG
