Empirical Loss Landscape Analysis of Neural Network Activation Functions
University of Pretoria（比勒陀利亚大学）；University of Stellenbosch（斯泰伦博斯大学）；Gulf University for Science and Technology（海湾科技大学）；Griffith University（格里菲斯大学）
本研究实证分析了双曲正切、修正线性单元和指数线性单元三种激活函数对神经网络损失景观特性的影响，发现修正线性单元产生最具凸性的损失景观，而指数线性单元产生最不平坦的损失景观且泛化性能更优，同时揭示了窄谷与饱和神经元及隐式正则化网络配置的关联。
2023-06-28 cs.AI cs.LG cs.NE
Improving Robustness of Convolutional Neural Networks Using Element-Wise Activation Scaling
最近的工作表明，重新校准对抗性示例的中间激活可以提高CNN模型的对抗性鲁棒性。艺术的状态[Baiet等人，2021]和[Yanet al.，2021]在通道级探索了该特征，即通道的激活通过因子均匀地缩放。在本文中，我们研究的中间激活操纵在一个更细粒度的水平。我们没有统一缩放激活，而是单独调整激活中的每个元素，因此提出了元素激活缩放，称为EWAS，以提高CNN的对抗鲁棒性。在ResNet-18和WideResNet上使用CIFAR 10和SVHN的实验结果表明，EWAS显著提高了鲁棒性精度。特别是对于CIFAR 10上的ResNet 18，EWAS将对抗C&W攻击的准确率提高了37.65%至82.35%。EWAS在提高健壮性方面很简单，但非常有效。这些代码可以在https://anonymous.4open.science/r/EWAS-DD64上匿名获得。
2022-02-24 cs.AI cs.CV
PACT: Parameterized Clipping Activation for Quantized Neural Networks
IBM Research AI（IBM人工智能研究院）；Google（谷歌）
深度学习算法以显著的计算成本为代价来实现高分类精度。为了解决这一成本，已经提出了许多量化方案，但这些技术中的大多数都集中在量化权重上，与激活相比，权重的大小相对较小。本文提出了一种新的量化方案，用于训练过程中的激活-使神经网络能够在超低精度的权重和激活下工作良好，而不会导致任何显著的精度下降。这种技术，参数化限幅激活（PACT），使用激活限幅参数$α$，其在训练期间被优化以找到正确的量化尺度。PACT允许将激活量化到任意位精度，同时相对于已发布的最新量化方案实现更好的精度。我们首次证明，权重和激活都可以量化到4位精度，同时在一系列流行的模型和数据集上仍能达到与全精度网络相当的精度。我们还表明，利用硬件中这些精度降低的计算单元可以实现推理性能的超线性改善，这是由于加速器计算引擎的面积显著减少，以及在片上存储器中保留量化模型和激活数据的能力。
2018-07-17 cs.AI cs.CV
Neural Network Structure Design based on N-Gauss Activation Function
Beijing Institute of Technology（北京理工大学）
最近的工作表明，卷积神经网络的激活函数满足Lipschitz条件，那么可以根据数据集的规模构造相应的卷积神经网络结构，对数据集进行更深入、更准确、更有效的训练。在本文中，我们接受了实验结果，并介绍了核心块N-Gauss，N-Gauss和Swish（Conv 1，Conv 2，FC 1）神经网络结构设计训练MNIST，CIFAR 10和CIFAR 100分别。实验表明，N-Gauss充分发挥了激活函数非线性建模的主要作用，使深度卷积神经网络具有层次化的非线性映射学习能力。同时，N-Gauss在简单一维通道小数据集上的训练能力与ReLU和Swish的性能相当。
2021-06-01 cs.AI cs.CV cs.LG
Activations Through Extensions: A Framework To Boost Performance Of Neural Networks
IBM Research（IBM研究院）；IBM T.J. Watson Research Center（IBM T.J.沃森研究中心）
本研究提出一个统一激活函数相关研究的框架，可通过激活函数操作生成神经网络的特殊泛化扩展，理论和实验均证明该扩展能以可忽略的复杂度成本提升标准测试函数及真实时间序列任务上的神经网络性能。
2024-08-16 cs.AI cs.LG cs.NA
Unification of popular artificial neural network activation functions
Virginia Tech（弗吉尼亚理工大学）；Molecular Sciences Software Institute（分子科学软件研究所）
本研究利用分数阶微积分的Mittag-Leffler函数提出神经网络激活函数的统一门控表示，可插值多种激活函数、缓解梯度问题且适配反向传播，实验验证其是传统框架单独实现激活函数的有前景低成本替代方案。
2024-10-07 cs.AI cs.LG cs.NE
Extending Neural Network Verification to a Larger Family of Piece-wise Linear Activation Functions
RWTH Aachen University（亚琛工业大学）
本文扩展现有神经网络验证技术以支持更广泛的分段线性激活函数，并将原本仅适用于有界输入集的精确与过近似算法扩展至无界输入集，通过案例研究验证了其有效性。
2023-11-16 cs.AI cs.LG cs.LO
Fractional Optimizers Meet Fractal Activation Functions: An Empirical Study of Multi-Scale Optimization in Neural Network
SBA Research gGmbH（SBA研究有限责任公司）；University of Vienna（维也纳大学）
该研究在统一实验框架下实证探究分数阶优化器与分形激活函数的配对效果，发现正则化式分数缩放与选定分形激活函数适配性较好，自适应记忆优于普通记忆替换，可控分数阶记忆具研究潜力。
2026-08-18 cs.AI cs.LG
Accelerating Convolutional Neural Networks via Activation Map Compression
Samsung Semiconductor, Inc.（三星半导体公司）
深度学习革命为我们带来了广泛的神经网络架构，这些架构在各种计算机视觉任务中实现了最先进的性能，包括分类、检测和分割。与此同时，我们也一直在观察计算和内存需求的前所未有的需求，使神经网络在低功耗设备中的有效使用几乎无法实现。为此，我们提出了一个三阶段的压缩和加速管道，稀疏化，量化和熵编码的卷积神经网络的激活地图。稀疏化增加了激活图的表示能力，从而加快了推理速度和更高的模型准确性。Inception-V3和MobileNet-V1可以加速多达$1.6\times$，分别在ImageNet和CIFAR-10数据集上提高$0.38\%$和$0.54\%$的准确性。量化和熵编码较稀疏的激活图导致比基线更高的压缩，降低了网络执行的内存成本。量化为$16$位的Inception-V3和MobileNet-V1激活映射被压缩了$6\times$，分别增加了$0.36\%$和$0.55\%$的准确度。
2019-03-27 cs.AI cs.CV cs.LG
Causal Learning and Explanation of Deep Neural Networks via Autoencoded Activations
Charles River Analytics（查尔斯河分析公司）
深度神经网络复杂且不透明。当它们进入各种重要和安全关键领域的应用时，用户寻求解释其输出预测的方法。我们开发了一种通过在CNN中包含的突出概念上构建因果模型来解释深度神经网络的方法。我们开发了通过使用经过训练的自动编码器来提取目标网络中的突出概念的方法，以提取人类可理解的网络激活表示。然后，我们建立了一个基本的因果关系模型，使用这些提取的概念作为变量，以解释图像分类。最后，我们使用这个因果模型来识别和可视化对最终分类有显著因果影响的特征。
2018-02-02 cs.AI cs.LG stat.ML
Bayesian optimization for sparse neural networks with trainable activation functions
University of Sfax（斯法克斯大学）；Toulouse INP（图卢兹国立理工学院）；University of Toulouse（图卢兹大学）
针对可训练激活函数的参数估计与稀疏神经网络优化问题，提出全贝叶斯模型和基于 MCMC 的全局收敛采样方案，并在多数据集与 CNN 上验证其准确率提升。
2023-04-19 cs.AI cs.LG stat.ME
A Use of Even Activation Functions in Neural Networks
University of Idaho（爱达荷大学）
尽管人们对将深度学习技术应用于科学发现有着广泛的兴趣，但由于可能的函数的广阔前景和深度神经网络的“黑匣子”性质，学习准确描述科学数据的可解释公式非常具有挑战性。成功的关键是有效地将关于数据底层结构的现有知识或假设整合到深度学习模型的架构中，以指导机器学习。目前，这种集成通常通过定制损失函数来完成。在这里，我们提出了一种替代方法来整合现有的知识或假设的数据结构，通过构建自定义的激活函数，反映这种结构。具体来说，我们研究了一种常见的情况下，从数据中学习的多元目标函数$f$是部分可交换的，\emph{i.e.} $f(u,v,w)=f(v,u,w)$为$u,v\in \mathbb{R}^d$。例如，对于在左右翻转下不变的图像的分类，满足这些条件。通过理论证明和实验验证，我们表明，使用一个甚至激活函数在一个完全连接的层提高神经网络的性能。在我们的实验9维回归问题中，用指定的“海鸥”激活函数$\log(1+x^2)$替换其中一个非对称激活函数会导致网络性能的大幅改善。令人惊讶的是，即使是激活函数也很少在神经网络中使用。我们的研究结果表明，定制的激活函数在神经网络中有很大的潜力。
2020-11-23 cs.AI cs.LG math.ST
Variational Neural Networks: Every Layer and Neuron Can Be Unique
激活函数的选择对神经网络的性能有很大的影响。激活函数的选择缺乏指导原则是可悲的。为了解决这个问题，我们引入了变分神经网络，其中的激活函数被表示为一个线性组合的可能的候选函数，并通过最小化损失函数使用梯度下降方法获得最佳的激活。损失函数关于这些展开系数的梯度公式是实现梯度下降算法的核心，在这里我们导出这些梯度公式。
2018-10-14 cs.AI cs.LG stat.ML
Breaking the Conventional Forward-Backward Tie in Neural Networks: Activation Functions
University of Salerno（萨勒诺大学）；Campus UniSA（UniSA校区）；Kebula srl（Kebula公司）；University of Sannio（萨恩尼奥大学）
本文通过数学分析和在MLP、CNN、BNN上的实验，证明放宽前向-后向对称性、用简单或随机梯度替代传统梯度不影响学习，甚至能提升稳定性，使平坦或不可微激活函数（如阶跃函数）可有效训练。
2025-09-08 cs.AI cs.LG cs.NE
Subset Scanning Over Neural Network Activations
IBM Research（IBM研究院）；Carlson School of Management, University of Minnesota（明尼苏达大学卡尔森管理学院）
这项工作将神经网络视为数据生成系统，并将异常模式检测技术应用于该数据，以检测网络何时处理异常输入。检测异常是包括检测对抗性噪声在内的多个机器学习问题的关键组成部分。更广泛地说，这项工作是朝着赋予神经网络识别分布外样本的能力迈出的一步。这是首次将“子集扫描”方法从异常模式检测领域引入到神经网络异常输入检测任务中。子集扫描将检测问题视为搜索节点激活的最异常子集（即，根据非参数扫描统计的最高得分子集）。这些评分函数的数学特性允许搜索在对数线性而不是指数时间内完成，同时仍然保证网络中最异常的节点子集被识别为给定的输入。提供了一个简单的卷积神经网络上的CIFAR-10图像检测和表征对抗性噪声的定量结果。我们观察到一个“干涉”图案，在浅层的异常激活抑制激活结构的原始图像在较深的层。
2018-10-19 cs.AI cs.LG stat.ML
SoftReMish: A Novel Activation Function for Enhanced Convolutional Neural Networks for Visual Recognition Performance
Yildiz Technical University（伊尔迪兹技术大学）
本研究提出新型激活函数SoftReMish，在MNIST数据集上的标准CNN中，以最小训练损失3.14e-8和99.41%验证准确率超越ReLU、Tanh和Mish，展现出更优收敛与泛化能力。
2025-07-08 cs.AI cs.CV cs.NE
Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations
ETH Zürich（苏黎世联邦理工学院）
该研究提出核序列演化的理论框架，证明非线性激活的深度神经网络中核序列全局收敛到唯一不动点，拓展至残差与归一化层网络也成立，为理解深度网络隐式偏差及架构对表征演化的影响提供新见解。
2024-10-29 cs.AI cs.LG stat.ML
On the Impact of the Activation Function on Deep Neural Networks Training
University of Oxford（牛津大学）
深度神经网络的权值初始化和激活函数对训练过程的性能有着至关重要的影响。不适当的选择可能导致前向传播期间输入信息的丢失以及反向传播期间梯度的指数消失/爆炸。了解未经训练的随机网络的理论特性是识别哪些深度网络可以成功训练的关键，正如Samuel等人（2017）最近所证明的那样，对于深度前馈神经网络，只有特定选择的超参数称为“混沌边缘”才能产生良好的性能。虽然Samuel等人（2017）的工作讨论了可训练性问题，但我们在这里关注的是训练加速和整体表现。我们对混沌边缘进行了全面的理论分析，并表明我们确实可以调整初始化参数和激活函数，以加速训练并提高性能。
2019-05-26 cs.AI cs.LG stat.ML
Comparing heterogeneous entities using artificial neural networks of trainable weighted structural components and machine-learned activation functions
Vody LLC（Vody有限责任公司）
为了比较不同类型的实体和结构组件，使用人工神经网络范例来交叉比较异构文档之间的结构组件。将可训练的加权结构分量输入到神经元的机器学习激活函数中。该模型用于匹配新闻文章和视频，其中输入和激活函数分别由词向量和加权结构分量之间的余弦相似性度量组成。该模型以不同的权重进行了测试，将视频与新闻文章匹配的准确率高达59.2%。开发了一个用于为新闻文章推荐相关视频的移动应用程序用户界面，以展示消费者价值，包括其对交叉销售不相关类别产品的潜在有用性。
2018-01-09 cs.AI cs.IR cs.LG
