Efficient Neural Network Robustness Certification with General Activation Functions
University of California, Los Angeles（加州大学洛杉矶分校）；IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）
寻找对抗样本的最小失真，从而证明神经网络分类器对给定数据点的鲁棒性是一个具有挑战性的问题。尽管如此，最近已经证明可以给出一个非平凡的最小对抗失真的认证下限，并且最近通过利用ReLU激活的分段线性性质在这方面取得了一些进展。然而，一般激活函数的通用鲁棒性认证仍然在很大程度上未被探索。为了解决这个问题，在本文中，我们介绍了皇冠，一个通用的框架，以证明神经网络的鲁棒性与一般激活函数给定的输入数据点。我们算法的新颖性包括用线性和二次函数绑定给定的激活函数，因此允许它处理一般的激活函数，包括但不限于四个流行的选择：ReLU，tanh，sigmoid和arctan。此外，我们方便搜索一个更严格的认证下限，自适应地选择适当的代理每个神经元激活。实验结果表明，与当前最先进的算法Fast-Lin相比，ReLU网络上的CROWN可以显着提高认证下限，同时具有相当的计算效率。此外，CROWN还证明了它的有效性和灵活性的网络与一般的激活函数，包括双曲正切，sigmoid和arctan。
2018-11-02 cs.CR cs.LG stat.ML
Activation Functions for Generalized Learning Vector Quantization - A Performance Comparison
适当选择激活函数（如ReLU、sigmoid或swish）对（深度）多层感知器（MLP）进行分类和回归学习的性能起着重要作用。基于原型的分类学习方法，如（广义）学习矢量量化（GLVQ）是强大的替代方案。这些模型也处理激活函数，但在这里它们被应用于所谓的分类器函数。在本文中，我们调查成功的候选人的激活函数已知的MLP应用在GLVQ和他们的影响的性能。
2019-01-17 cs.LG stat.ML
Training Feedforward Neural Networks with Standard Logistic Activations is Feasible
由于这些S形函数的内在性质，用标准的逻辑激活训练前馈神经网络被认为是困难的。这项工作的目的是表明，这些网络可以训练，以实现与基于双曲正切激活的网络相当的泛化性能。该解决方案包括在参数初始化中应用一组条件，这些条件是从信息论的角度研究单个神经元的特性得出的。通过大量的实验分析验证了所提出的初始化。
2017-10-03 cs.LG cs.NE stat.ML
Recurrent Neural Networks with Flexible Gates using Kernel Activation Functions
Sapienza University of Rome（罗马第一大学）；University of Cantabria（坎塔布里亚大学）
门控循环神经网络在序列数据分析中取得了显著的效果。在这些网络中，门被用来控制信息流，甚至可以对数据中非常长期的依赖关系进行建模。在本文中，我们调查是否可以改善原来的门方程（线性投影，然后是一个元素明智的sigmoid）。特别是，我们设计了一个更灵活的架构，具有少量的自适应参数，这是能够模拟更广泛的门控功能比经典的。为此，我们取代标准门中的S形函数与非参数制定扩展最近提出的内核激活函数（KAF），增加了一个剩余的跳跃连接。对MNIST数据集的顺序变体进行的一组实验表明，采用这种新型门可以提高精度，而计算能力方面的成本可以忽略不计，并且训练迭代次数大大加快。
2018-07-11 cs.LG cs.NE stat.ML
Approximation capabilities of neural networks on unbounded domains
PAG Investment Solutions（PAG投资解决方案公司）；Hunan University（湖南大学）；Xiaoxiang Research Institute of Big Data（潇湘大数据研究院）
在本文中，我们证明了具有单调sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络可以任意好地逼近定义在R*[0，1]^n上的任何L^p（p>=2）可积函数。我们还证明了具有sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络不表示定义在欧几里得平面上的非零可积函数。再加上最近的一个结果，即深度ReLU网络可以任意地逼近欧几里得空间上的任何可积函数，我们为ReLU网络中多个隐藏层的优势提供了一个新的视角。最后，我们证明深度为3的ReLU网络是L^p（R^n）中的通用近似器。
2021-10-09 cs.LG stat.ML
Smooth function approximation by deep neural networks with general activation functions
Seoul National University（首尔大学）
人们对深度神经网络的表达能力越来越感兴趣。然而，关于这个主题的大多数现有工作只关注特定的激活函数，如ReLU或sigmoid。在本文中，我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度，宽度和稀疏性的深度神经网络，以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析，我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
GLU Variants Improve Transformer
Google（谷歌）
门控线性单位（arXiv：1612.08083）由两个线性投影的分量乘积组成，其中一个投影首先通过sigmoid函数。GLU的变化是可能的，使用不同的非线性（甚至线性）函数代替sigmoid。我们在Transformer（arXiv：1706.03762）序列到序列模型的前馈子层中测试了这些变体，发现其中一些变体比通常使用的ReLU或GELU激活产生了质量改进。
2020-02-12 cs.LG cs.NE stat.ML
Comparison of non-linear activation functions for deep neural networks on MNIST classification task
University of Edinburgh（爱丁堡大学）
激活函数在神经网络中起着关键的作用，因此了解它们的优点和缺点以获得更好的性能成为基础。本文将首先介绍非线性激活函数的常见类型，这是众所周知的sigmoid函数的替代品，然后评估它们的特性。此外，将分析更深的神经网络，因为与较浅的网络相比，它们对最终性能有积极影响。它们还严格依赖于权重初始化，因此将分析从高斯和均匀分布中提取权重的效果，特别注意到节点的传入和传出连接的数量如何影响整个网络。
2018-04-08 cs.LG stat.ML
Differential Equation Units: Learning Functional Forms of Activation Functions from Data
Amazon Web Services（亚马逊云科技）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Inc.（微软公司）
大多数深度神经网络使用简单的固定激活函数，如S形或整流线性单元，而不管域或网络结构如何。我们引入微分方程单元（DEU），现代神经网络的改进，使每个神经元学习一个特定的非线性激活函数从一个家庭的解决方案，一个常微分方程。具体地，每个神经元可以在训练期间基于网络的其他部分的行为来改变其功能形式。我们表明，使用神经元与DEU激活函数的结果在一个更紧凑的网络能够实现可比的，如果不是优越的，性能相比，更大的网络。
2019-09-06 cs.LG stat.ML
Sigmoid Gating is More Sample Efficient than Softmax Gating in Mixture of Experts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对Softmax门控易致专家竞争和表征坍缩的问题，本文从理论上证明Sigmoid门控在混合专家的专家估计任务中样本效率更高，推导了过设定回归框架下的收敛速度，验证其用更少样本可达相同估计误差。
2024-11-02 cs.LG stat.ML
Memory capacity of neural networks with threshold and ReLU activations
University of California, Irvine（加州大学欧文分校）
压倒性的理论和经验证据表明，轻度过度参数化的神经网络--连接数多于训练数据大小的网络--通常能够以$100\%$的准确度记住训练数据。这在具有sigmoid激活函数的网络中得到了严格的证明，最近，ReLU激活也得到了严格的证明。解决1988年Baum的一个公开问题，我们证明了这种现象适用于一般的多层感知器，即具有阈值激活函数的神经网络，或者具有阈值和ReLU激活的任何混合。我们的建设是概率和利用稀疏性。
2020-06-02 cs.IT cs.LG cs.NE
Activation Adaptation in Neural Networks
Polytechnique Montreal（蒙特利尔综合理工大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
许多神经网络架构依赖于每个隐藏层的激活函数的选择。给定激活函数，神经网络在偏置和权重参数上被训练。偏置抓住了激活的中心，权重抓住了尺度。在这里，我们建议训练网络的形状参数。这个视图允许每个神经元调整自己的激活函数，并使神经元曲率适应更好的预测。这种修改仅为每个神经元的反向传播增加了一个进一步的方程。将激活函数重新形式化为CDF，广泛地推广了激活函数类。我们的目的是推广一类广泛的激活函数来研究：i）偏斜和ii）光滑的激活函数。本文引入自适应Gumbel激活函数作为Gumbel和sigmoid之间的桥梁。类似的方法被用来发明一个平滑版本的ReLU。我们与常见的激活函数的比较表明，不同的数据表示，特别是在早期的神经网络层。这种适应还提供了预测改进。
2019-09-28 cs.LG stat.ML
Learning Compact Neural Networks Using Ordinary Differential Equations as Activation Functions
Amazon Inc.（亚马逊公司）；University of Oregon（俄勒冈大学）；Microsoft Inc.（微软公司）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
大多数深度神经网络使用简单的固定激活函数，如S形或整流线性单元，而不管域或网络结构如何。我们引入微分方程单元（DEU），现代神经网络的改进，使每个神经元学习一个特定的非线性激活函数从一个家庭的解决方案，一个常微分方程。具体地，每个神经元可以在训练期间基于网络的其他部分的行为来改变其功能形式。我们表明，使用神经元与DEU激活函数的结果在一个更紧凑的网络能够实现可比的，如果不是优越的，性能相比，更大的网络。
2019-05-19 cs.LG cs.NE stat.ML
Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks
我们考虑了浅层神经网络关于变分范数的逼近率。对于S形和ReLU激活函数，已经建立了这些速率的上限，但是这些速率是否尖锐仍然是一个重要的开放问题。在这篇文章中，我们提供了一个解决这个问题的方法，证明了尖锐的下界的近似率浅神经网络，这是通过下界的$L^2$度量熵的凸包的神经网络基函数。此外，我们的方法还给出了这个凸包的$n$宽度的尖锐下界，这表明，对应于浅神经网络的变化空间不能有效地近似线性方法。这些下限适用于具有有界变差的S形激活函数和作为ReLU的幂的激活函数。我们的结果还量化了Barron谱范数比变分范数强多少，并结合以前的结果，在ReLU激活函数的情况下，给出了$L^\infty$度量熵的对数因子的渐近性。
2021-09-08 cs.LG math.ST stat.ML
Deep learning improved by biological activation functions
UCL（伦敦大学学院）
“生物启发”的激活函数，如logistic sigmoid，在机器学习的历史发展中起到了重要作用。然而，在深度学习领域，它们在很大程度上被修正线性单元（ReLU）或类似函数（如其指数线性单元（ELU）变体）所取代，以减轻与误差反向传播相关的梯度消失的影响。然而，logistic S型曲线并不代表生理条件下神经元细胞的真实输入-输出关系。在这里，生物节根单位（BRU）的激活函数的介绍，表现出输入输出的非线性，基本上更生物合理的，因为他们的功能形式是基于已知的生物物理特性的神经元细胞。为了评估BRU激活的学习性能，除了传递函数不同（ReLU、ELU和BRU）之外，深度网络都是用相同的架构构建的。多层感知器，堆叠自动编码器和卷积网络用于测试基于MNIST和CIFAR-10/100数据集的监督和无监督学习。使用损失和错误测量量化的学习性能的比较表明，生物节点网络的训练速度比ReLU和ELU更快，即使在没有正式正规化的情况下，也能产生最好的广义模型。因此，这些结果表明，重新审视生物神经元及其电路的详细特性可能会在未来的深度学习领域中证明是非常宝贵的。
2018-05-18 cs.LG cs.NE stat.ML
Data-Driven Randomized Learning of Feedforward Neural Networks
Częstochowa University of Technology（琴希托霍瓦工业大学）
神经网络学习的随机化方法存在随机参数生成的问题，因为它们难以最优地设置以获得良好的投影空间。标准方法从一个固定的间隔中提取参数，该间隔与数据范围和激活函数类型无关。在强非线性函数的近似中，这并不导致好的结果。在这项工作中，提出了一种方法，调整随机参数，代表的斜率和位置的S形，目标函数的功能。该方法随机选择输入空间区域，在这些区域中放置S形，然后根据目标函数的局部波动调整S形斜率。这带来了非常好的结果，在复杂的目标函数的近似相比，标准的固定区间方法和其他方法最近提出的文献。
2019-08-11 cs.LG cs.NE stat.ML
Auto-Rotating Perceptrons
Pontificia Universidad Católica del Perú（秘鲁天主教大学）
本文提出了一种改进的感知器单元的设计，以减轻消失梯度的问题。当训练具有有界激活函数的深层多层感知器网络时，就会出现这种麻烦。新的神经元设计，命名为自动旋转感知器（ARP），有一个机制，以确保节点总是在激活函数的动态区域中操作，通过避免饱和的感知器。所提出的方法不改变在每个神经元处学习的推理结构。我们测试了在一些使用sigmoid激活函数的网络架构中使用ARP单元的效果。结果支持我们的假设，即具有ARP单元的神经网络可以获得比具有经典感知器的等效模型更好的学习性能。
2019-10-08 cs.LG stat.ML
Neural Networks Fail to Learn Periodic Functions and How to Fix It
The University of Tokyo（东京大学）；RIKEN CEMS（理化学研究所新兴物质科学中心）
以前的文献提供了有限的线索，如何学习周期函数使用现代神经网络。我们从研究神经网络的外推性质开始;我们通过实验证明并证明了标准激活函数，如ReLU，tanh，sigmoid及其变体，都无法学习外推简单的周期函数。我们假设，这是由于他们缺乏一个“周期性”的归纳偏见。作为这个问题的解决方案，我们提出了一种新的激活，即$x + \sin^2(x)$，它实现了所需的周期性感应偏置来学习周期函数，同时保持了基于ReLU的激活的有利优化特性。实验上，我们将所提出的方法应用于温度和金融数据预测。
2020-10-25 cs.LG stat.ML
Approximating Activation Functions
University of Cambridge（剑桥大学）
ReLU被广泛认为是神经网络中激活函数的默认选择。然而，存在需要更复杂的功能的情况。特别是，递归神经网络（如LSTM）广泛使用双曲正切函数和sigmoid函数。这些函数的计算成本很高。我们使用函数近似技术来开发这些函数的替代品，并在三种流行的网络配置上对其进行经验评估。我们找到了安全的近似值，可以在CPU上的训练时间上提高10%到37%。这些近似适用于我们考虑的所有情况，我们相信是使用这些激活函数的所有网络的适当替代。我们还开发了范围近似，仅适用于在某些情况下，由于其输入域的限制。我们的范围近似在网络训练时间上提高了20%到53%的性能。我们的函数也匹配或大大超过Theano和Word 2 Vec实现中使用的ad-hoc近似。
2020-01-17 cs.LG cs.PF stat.ML
Deep Network Approximation: Beyond ReLU to Diverse Activation Functions
本文研究了深度神经网络对多种激活函数的表达能力，证明了ReLU网络可通过特定激活函数网络近似，且在特定子集下可进一步减小规模参数。
2026-06-24 cs.LG stat.ML
Linearly Constrained Weights: Reducing Activation Shift for Faster Training of Neural Networks
Toyota Central R&D Labs., Inc.（丰田中央研发实验室）
本文揭示了神经网络中预激活值非零均值的激活偏移现象，提出线性约束权重（LCW）方法减少该偏移，有效解决梯度消失问题并提升网络泛化性能。
2024-03-08 cs.LG cs.NE stat.ML
Nonlinear Inductive Matrix Completion based on One-layer Neural Networks
UT-Austin（得克萨斯大学奥斯汀分校）；Harvard University（哈佛大学）；Microsoft Research, India（微软印度研究院）；Amazon/A9（亚马逊A9）
推荐系统的目标是通过利用现有的评分集以及某些用户/项目特征来预测用户对给定项目的兴趣。对这个问题建模的标准方法是归纳矩阵完成，其中预测的评级被建模为用户和投影到潜在空间上的项目特征的内积。为了从少量的观察到的评级有效地学习参数，潜在空间被约束为低维，这意味着参数矩阵被约束为低秩。然而，这种评级的双线性建模在实践中可能是限制性的，并且非线性预测函数可以导致显著的改进。在预测函数中引入非线性的自然方法是在投影的用户/项目特征之上应用非线性激活函数。非线性的施加进一步使已经具有挑战性的问题复杂化，该问题具有两个非凸性来源：a）参数矩阵的低秩结构，以及b）非线性激活函数。我们表明，仍然可以解决的非线性归纳矩阵完成问题，使用梯度下降型方法，只要解决方案是初始化好。也就是说，接近最优，优化函数是强凸的，因此允许标准优化技术，至少对于某些激活函数，如Sigmoid和tanh。我们还强调了激活函数的重要性，并展示了ReLU如何表现出与sigmoid函数显著不同的行为。最后，我们将我们提出的技术应用于推荐系统和半监督聚类，并表明我们的方法可以比标准的线性归纳矩阵完成方法带来更好的性能。
2018-05-26 cs.LG stat.ML
Sinusoidal Approximation Theorem for Kolmogorov-Arnold Networks
Department of Physics and Astronomy, University of Alabama（物理与天文学系，阿拉巴马大学）
本研究提出一种以可学习频率加权正弦函数替代Kolmogorov-Arnold表示中内外函数的新型KAN变体，固定相位为线性间隔常数值并证明其理论有效性，实验显示其性能优于固定频率傅里叶变换、与MLPs相当。
2025-08-01 cs.LG cs.NA math.NA
Small nonlinearities in activation functions create bad local minima in neural networks
Massachusetts Institute of Technology（麻省理工学院）
研究了神经网络的损失面。我们证明，即使是一个隐藏层的网络与“最轻微的”非线性，经验风险有虚假的局部极小值在大多数情况下。因此，我们的研究结果表明，一般来说，“没有虚假的局部极小值”是一个属性，仅限于深度线性网络，从线性网络获得的见解可能不稳健。具体来说，对于ReLU（类）网络，我们建设性地证明了几乎所有实际数据集都存在无穷多个局部极小值。我们还为更一般的激活（sigmoid，tanh，arctan，ReLU等）提供了一个反例，存在一个坏的局部最小值。我们的研究结果使限制性最小的假设相对于现有的结果在神经网络的假局部最优。我们通过对深度线性网络的全局最优性进行全面的描述来完成我们的讨论，这统一了关于这个主题的其他结果。
2019-05-28 cs.LG math.OC stat.ML
Mean Field Theory of Activation Functions in Deep Neural Networks
Microsoft（微软）；Singapore University of Technology and Design（新加坡科技设计大学）；Chulalongkorn University（朱拉隆功大学）；European Center for Theoretical Studies in Nuclear Physics and Related Areas（欧洲核物理及相关领域理论研究中心）；Trento Institute for Fundamental Physics and Applications（特伦托基础物理与应用研究所）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一个统计力学（SM）模型的深度神经网络，连接基于能量和前馈网络（FFN）的方法。我们推断FFN可以理解为执行三个基本步骤：编码，表示验证和传播。从该模型的平均场解出发，我们得到了一组自然激活函数，如Sigmoid，$\tanh$和ReLu，以及最新的Swish;这代表了通过网络传播的预期信息，并且在零噪声的限制下趋于ReLu。我们研究了相关分类任务上的Hessian的频谱，这表明Swish允许在更广泛的网络架构上实现更一致的性能。
2019-06-06 cs.LG cs.NE stat.ML
On the Selection of Initialization and Activation Function for Deep Neural Networks
University of Oxford（牛津大学）
深度神经网络的权值初始化和激活函数对训练过程的性能有着至关重要的影响。不适当的选择可能导致前向传播期间输入信息的丢失以及反向传播期间梯度的指数消失/爆炸。理解未经训练的随机网络的理论特性是识别哪些深度网络可以成功训练的关键，Schoenholz等人（2017）最近证明了这一点，他们表明，对于深度前馈神经网络，只有特定选择的超参数（称为“混沌边缘”）才能获得良好的性能。我们通过提供定量结果来完成这一分析，结果表明，对于一类类似ReLU的激活函数，信息在混沌边缘的初始化确实传播得更深。通过进一步扩展这种分析，我们确定了一类激活函数，提高了信息传播的ReLU类功能。该类包括Hendrycks & Gimpel（2016）、Elfwing等人（2017）和Ramachandran等人（2017）中使用的Swish激活$ϕ_{swish}(x) = x \cdot \text{sigmoid}(x)$。这为在这些贡献中观察到的$ϕ_{swish}$的优良经验性能提供了理论基础。我们补充了以前的结果，说明了在这种情况下，使用随机初始化的混沌边缘的好处。
2018-10-07 cs.LG stat.ML
Overcoming Overfitting and Large Weight Update Problem in Linear Rectifiers: Thresholded Exponential Rectified Linear Units
IIT Kharagpur（印度理工学院克勒格布尔分校）
在过去的几年中，线性整流单元激活函数在神经网络中显示出其重要性，超过了sigmoid激活函数的性能。ELU（Nair & Hinton，2010）、ELU（Clevert等人，2015）、PRELU（He等人，2015）、LIGHTU（Maas等人，2013），Sjuu（Jin等人，2016），所有这些线性整流激活函数在某些方面都比其他函数有自己的意义。大多数时候，这些激活函数由于非零输出均值而遭受偏置移位问题，以及由于单位梯度而导致深度复杂网络中的高权重更新问题，这分别导致较慢的训练和模型预测的高方差。在本文中，我们提出了“非线性指数整流线性单元”（TERELU）激活函数，它可以更好地缓解过拟合：大权重更新问题。与其他线性整流器相比，该方法在减轻过拟合问题的同时，还提供了良好的非线性度。我们将使用神经网络在各种数据集上显示更好的性能，考虑TERELU激活方法与其他激活方法相比。
2020-06-04 cs.CV cs.LG cs.NE
A Composite Activation Function for Learning Stable Binary Representations
Department of Statistics（统计学系）；Seoul National University（首尔国立大学）；Department of Applied Mathematics（应用数学系）；University of Twente（埃因霍温理工大学）
本文提出HTAF复合激活函数，通过平滑近似Heaviside函数实现稳定训练，适用于Spiking神经网络等模型，并引入ICBMs模型实现可解释的图像处理。
2026-10-22 cs.LG stat.ML
Fast generalization error bound of deep learning without scale invariance of activation functions
Graduate School of Engineering Science, Osaka University（大阪大学工学研究科）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）
在深度学习的理论分析中，发现深度学习的哪些特征会导致良好的性能是一项重要的任务。在本文中，使用Suzuki（2018）开发的分析泛化误差的框架，我们导出了具有更一般激活函数的深度神经网络的快速学习率。在Suzuki（2018）中，假设激活函数的尺度不变性，推导出了深度学习的严格泛化误差界。他们提到，激活函数的尺度不变性对于推导严格的误差界是必不可少的。而整流线性单元（ReLU; Nair和Hinton，2010）满足尺度不变性，其他著名的激活函数包括S形和双曲正切函数，以及指数线性单元（ELU; Clevert等人，2016年，不满足这个条件。现有的分析表明，当具有尺度不变激活的深度学习可以达到比$O(1/\sqrt{n})$更快的速率时，具有非尺度不变激活的深度学习可能具有更慢的$O(1/\sqrt{n})$收敛速率。在本文中，在没有激活函数的尺度不变性的情况下，我们推导出了与Suzuki（2018）基本相同的紧泛化误差界。从这个结果中，至少在Suzuki（2018）的框架中，可以看出激活函数的尺度不变性对于获得快速收敛速度并不重要。同时，也表明Suzuki（2018）提出的理论框架可以广泛应用于分析具有一般激活函数的深度学习。
2019-07-25 cs.LG stat.ML
Advantages of biologically-inspired adaptive neural activation in RNNs during learning
Mila - Quebec Artificial Intelligence Institute（米拉——魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
单神经元响应的动态适应在生物神经网络的神经编码中起着重要作用。然而，大多数用于人工网络的神经激活函数是固定的，并且大多数被认为是无关紧要的架构选择。在本文中，我们研究了非线性激活函数适应在大的时间尺度的学习，并概述其影响的顺序处理循环神经网络。我们引入了一种新的非线性激活函数的参数族，其灵感来自于生物神经元的输入频率响应曲线，该函数允许在诸如ReLU和sigmoid等众所周知的激活函数之间进行插值。使用简单的数值实验和工具，从动力系统和信息论，我们研究的神经激活功能的学习动力学的作用。我们发现，激活适应提供了独特的任务特定的解决方案，在某些情况下，提高学习速度和性能。重要的是，我们发现，从我们的参数家庭出现的最佳激活功能是相当不同的文献中使用的典型功能，这表明利用这些通常的配置之间的差距可以帮助学习。最后，我们概述了神经激活适应可能有助于减轻给定任务中输入统计数据变化的情况，提出了迁移学习优化机制。
2020-06-22 cs.LG cs.NE q-bio.NC
On Expressive Power of Quantized Neural Networks under Fixed-Point Arithmetic
本研究探讨了在定点算术下量化神经网络的表达能力，提出了必要和充分条件，并证明了多种常见激活函数满足这些条件，使网络能表示所有定点函数。
2026-01-20 cs.LG stat.ML
The SWAG Algorithm; a Mathematical Approach that Outperforms Traditional Deep Learning. Theory and Implementation
University of Georgia（佐治亚大学）；Yasouj University（亚苏季大学）
人工神经网络（ANN）的性能受权重初始化、激活函数的性质及其结构的影响。传统上有很多激活函数用于训练神经网络，例如sigmoid、tanh和Rectified Linear Unit（ReLU）。一种普遍的做法是在给定层的所有神经元中使用相同类型的激活函数。在这篇手稿中，我们提出了一种类型的神经网络，其中每一层的激活函数形成一个多项式的基础上，我们命名这种方法SWAG后，作者的姓氏的首字母。我们在三个复杂的高度非线性函数以及MNIST手写数据集上测试了SWAG。SWAG优于完全连接的神经网络中的最先进性能，并且收敛速度更快。鉴于SWAG的计算复杂度低，并且它能够解决当前架构无法解决的问题，它有可能改变我们处理深度学习的方式。
2018-11-28 cs.LG stat.ML
Sub-Optimal Local Minima Exist for Neural Networks with Almost All Non-Linear Activations
The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
过度参数化是否消除了神经网络的次优局部极小值？文献[59]中关于1-隐层宽神经网络的经典结果给出了肯定的回答。最近的一些工作已经扩展到多层神经网络的设置，但他们都没有证明每一个局部极小是全局的。为什么这个结果从未扩展到深层网络？本文证明了这一任务是不可能的，因为文献[59]中关于1-隐层网络的原始结果不成立。更具体地说，我们证明了对于任何具有通用输入数据和非线性激活函数的多层网络，无论网络有多宽（只要最后一个隐藏层至少有两个神经元），都可以存在次优局部极小值。虽然[59]的结果假设了S形激活，但我们的反例涵盖了大量激活函数（在连续函数集中密集），表明限制不是由于特定的激活。我们的结果表明，“没有坏的局部最小值”可能无法解释过度参数化训练神经网络的好处。
2020-11-14 cs.LG math.OC stat.ML
Deep Learning using Rectified Linear Units (ReLU)
DLSU（达沃市立大学）
本文纠正了ReLU的起源归因，通过比较ReLU、Tanh和Sigmoid在图像分类、文本分类和图像重建任务中的表现，证明了非饱和激活函数在深度学习中的重要性。
2026-04-14 cs.CV cs.LG cs.NE
Sigsoftmax: Reanalysis of the Softmax Bottleneck
NTT Software Innovation Center（日本电信电话软件创新中心）；Keio Univ.（庆应义塾大学）；NTT Secure Platform Laboratories（日本电信电话安全平台实验室）
Softmax是一种输出激活函数，用于在许多深度学习应用中对分类概率分布进行建模。然而，最近的一项研究表明，softmax可能是语言建模中神经网络表示能力的瓶颈（softmax瓶颈）。在本文中，我们提出了一个输出激活函数，用于在没有额外参数的情况下打破softmax瓶颈。我们从log-softmax的输出集的角度重新分析了softmax瓶颈，并确定了softmax瓶颈的原因。在此分析的基础上，我们提出了sigsoftmax，它是由指数函数和sigmoid函数的乘法。Sigsoftmax可以打破softmax的瓶颈。语言建模实验表明，sigsoftmax和mixed of sigsoftmax分别优于softmax和mixed of softmax。
2018-05-28 cs.LG stat.ML
VC dimension of Graph Neural Networks with Pfaffian activation functions
University of Siena（锡耶纳大学）
本文利用 Pfaffian 函数理论，将图神经网络 VC 维的泛化界分析从分段多项式激活函数扩展到 sigmoid 和双曲正切等常用激活函数，并给出与架构参数及 1-WL 颜色数相关的界。
2024-04-02 cs.LG stat.ML
Neural network with optimal neuron activation functions based on additive Gaussian process regression
School of Materials and Chemical Technology, Tokyo Institute of Technology（东京工业大学材料与化学技术学院）
本文提出用加性 GPR 为每个神经元构造最优且独立的激活函数，并避免非线性参数拟合，在分子势能面任务中于高精度区间优于传统 NN。
2023-01-19 cs.LG cs.NE stat.ML
Abstract Neural Networks
University of California, Davis（加州大学戴维斯分校）
深度神经网络（DNN）正迅速应用于无人机和飞机控制等安全关键领域，激发了验证其行为安全性的技术。不幸的是，DNN验证是NP难的，当前的算法随着DNN中节点的数量呈指数级增长。本文介绍了抽象神经网络（ANN）的概念，它可以用来在使用较少节点的情况下完全过度逼近DNN。ANN类似于DNN，除了权重矩阵被给定抽象域中的值所取代。我们提出了一个由抽象域和DNN中使用的激活函数参数化的框架，可以用来构建相应的ANN。我们提出了DNN激活函数的必要和充分条件，以使所构建的ANN完全过逼近给定的DNN。先前关于DNN抽象的工作仅限于区间域和ReLU激活函数。我们的框架可以用其他抽象域（如八边形和多面体）以及其他激活函数（如Leaky ReLU、Sigmoid和Hyperbolic Tangent）来实例化。
2020-09-11 cs.LG cs.PL stat.ML
Learning Neural Networks with Two Nonlinear Layers in Polynomial Time
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们给出了一个学习神经网络的多项式时间算法，其中一层S形函数馈送到任何Lipschitz，单调激活函数（例如，S形或ReLU）。我们没有对网络的结构做任何假设，并且该算法成功地在$n$维的单位球上进行{ \em any}分布（隐藏的权重向量也具有单位范数）。这是学习具有两个非线性层的神经网络的第一个无约束、可证明有效的算法。我们的算法- { \em Alphatron}-是一个简单的，迭代更新规则，结合保序回归与核方法。它输出一个假设，产生有效的甲骨文访问可解释的功能。它还提出了一种新的方法，布尔学习问题，通过实值条件均值函数，回避传统的硬度结果从计算学习理论。沿着这些路线，我们继承和改进了许多长期的PAC学习布尔函数的结果，以更一般的，实值设置的{ \em概率概念}，一个模型，（不像PAC学习）需要非i.i.d.噪声容忍度
2018-04-20 cs.DS cs.LG stat.ML
Sharp Bounds on the Approximation Rates, Metric Entropy, and $n$-widths of Shallow Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）
本文通过引入光滑参数化字典和脊函数类下界方法，建立了浅层神经网络变分空间在逼近率、度量熵和n-宽度上的精确上下界，涵盖ReLU^k及有界变差sigmoidal等激活函数。
2024-02-22 cs.IT cs.LG math.IT
