Fixed width treelike neural networks capacity analysis -- generic activations
本文利用随机对偶理论及其部分提升版本，分析树状委员会机器在通用激活函数下的容量，发现容量随隐藏层宽度增大而收敛至常数，且两个隐藏层神经元时容量最大。
2024-02-08 cond-mat.dis-nn cs.IT cs.LG
Smooth function approximation by deep neural networks with general activation functions
Seoul National University（首尔大学）
人们对深度神经网络的表达能力越来越感兴趣。然而，关于这个主题的大多数现有工作只关注特定的激活函数，如ReLU或sigmoid。在本文中，我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度，宽度和稀疏性的深度神经网络，以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析，我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
Restricted Strong Convexity of Deep Learning Models with Smooth Activations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, San Diego（加州大学圣地亚哥分校）
我们考虑具有平滑激活函数的深度学习模型的优化问题。虽然从“近初始化”的角度来看，这个问题存在有影响力的结果，我们揭示了相当多的新的光的问题。特别是，我们这样的模型与$L$层，$m$宽度，和$σ_0^2$初始化方差的两个关键技术的贡献。首先，对于合适的$σ_0^2$，我们建立了一个$O(\frac{\text{poly}(L)}{\sqrt{m}})$上界的谱范数的海森模型，大大锐化以前的结果。其次，我们引入了一个新的分析的基础上限制强凸性（RSC），只要预测的平均梯度的平方模是$Ω(\frac{\text{poly}(L)}{\sqrt{m}})$的平方损失的最优化。我们还提出了更一般的损失的结果。基于RSC的分析不需要“接近初始化”的视角，并且保证了梯度下降（GD）的几何收敛。据我们所知，我们是基于RSC为深度学习模型建立GD几何收敛的第一个结果，从而成为不依赖于广泛使用的神经切线核（NTK）的收敛的另一个充分条件。我们分享初步的实验结果支持我们的理论进步。
2022-09-29 cs.LG math.OC
When does gradient descent with logistic loss interpolate using deep networks with smoothed ReLU activations?
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
我们建立了应用于固定宽度深度网络的梯度下降将逻辑损失驱动为零的条件，并证明了收敛速度的界限。我们的分析适用于ReLU的平滑近似，例如在以前的应用工作中提出的Swish和Huberized ReLU。我们提供了两个收敛的充分条件。第一个是初始化时损失的一个界限。第二个是先前分析中使用的数据分离条件。
2021-07-01 cs.AI cs.LG math.OC
Real World Large Scale Recommendation Systems Reproducibility and Smooth Activations
Google（谷歌公司）
现实世界的推荐系统影响着不断增长的领域。有了深度网络，现在驱动这样的系统，推荐与用户的兴趣和任务更加相关。然而，即使由相同系统为相同用户、推荐序列、请求或查询产生，它们也可能不总是可再现的。这个问题在学术出版物中几乎没有受到关注，但事实上，在实际生产系统中非常现实和关键。我们考虑真实的大规模深层模型的再现性，其预测决定了这样的建议。我们证明了在深度模型中使用的著名的校正线性单元（ReLU）激活可能是不可再现性的主要贡献者。我们建议使用平滑激活来提高推荐的可重复性。我们描述了一个新的平滑激活家族; Smooth ReLU（SmeLU），旨在通过数学简单性提高再现性，并具有潜在的更便宜的实现。SmeLU是一个更广泛的平滑激活家族的成员。虽然其他提高真实系统再现性的技术通常以精度为代价，但平滑激活不仅可以提高再现性，甚至可以提高精度。我们报告了来自真实系统的指标，在这些系统中，我们能够生产SmeLU，具有显著的再现性增益和更好的准确性-再现性权衡。这些包括点击率（CTR）预测系统，内容和应用程序推荐系统。
2022-02-14 cs.IR cs.LG
AQPIM: Breaking the PIM Capacity Wall for LLMs with In-Memory Activation Quantization
Institute of Science Tokyo（东京科学研究院）
本文提出AQPIM，一种基于内存激活量化的PIM框架，通过聚类向量量化提升带宽和计算效率，显著减少内存占用和计算开销。
2026-04-20 cs.AI cs.AR cs.LG
Exact capacity of the \emph{wide} hidden layer treelike neural networks with generic activations
本文利用完全提升随机对偶理论，刻画了宽隐层树状委员会机器网络在通用激活函数下的闭式容量，并验证了其与复制理论结果的一致性。
2024-02-08 cond-mat.dis-nn cs.IT cs.LG
Smoothness Adaptivity in Constant-Depth Neural Networks: Optimal Rates via Smooth Activations
Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）；AI for Science Institute, Beijing（北京人工智能科学研究院）
本研究证明，使用平滑激活函数的常深神经网络能够通过增加宽度实现最优的平滑适应性，而非平滑激活函数如ReLU则受限于深度增长。
2026-02-28 cs.LG cs.NA math.NA
Smooth activations and reproducibility in deep networks
Google（谷歌）
深度网络正逐渐渗透到我们生活中的几乎每一个领域，因为它们取得了惊人的成功。然而，随着性能精度的大幅提高，\emph{irreproducibility}的价格也随之而来。在完全相同的训练数据集上训练的两个相同的模型可能会在单个示例的预测中表现出很大的差异，即使平均精度相似，特别是在高度分布式并行系统上训练时。受欢迎的整流线性单元（ReLU）激活一直是深度网络最近成功的关键。然而，我们证明了ReLU也是深度网络中不可再现性的催化剂。我们表明，不仅可以比ReLU更平滑地激活提供更好的准确性，而且还可以提供更好的准确性-再现性权衡。我们提出了一个新的激活家族;平滑ReLU（\emph{SmeLU}），旨在提供更好的权衡，同时保持数学表达式简单，因此实现成本低廉。SmeLU是单调的，模仿ReLU，同时提供连续梯度，产生更好的再现性。我们推广SmeLU给更多的灵活性，然后证明SmeLU和它的广义形式是一个更一般的方法的RECtified平滑连续单元（RESCU）激活的特殊情况。实证结果表明，优越的准确性-再现性权衡与平滑激活，特别是SmeLU。
2020-12-01 cs.LG cs.NE stat.ML
ADaPTION: Toolbox and Benchmark for Training Convolutional Neural Networks with Reduced Numerical Precision Weights and Activation
深度神经网络（DNN）和卷积神经网络（CNN）对于机器学习中的许多实际任务都很有用。深度网络内的突触权重以及神经元激活函数通常以高精度格式（例如，32位浮点）存储。然而，由于存储容量是有限的，并且每次存储器访问都消耗功率，因此存储容量和存储器访问是这些网络中的两个关键因素。在这里，我们提出了一种方法，并提出了ADaPTION工具箱来扩展流行的深度学习库Caffe，以支持使用固定点表示法降低权重和激活的数值精度的深度CNN的训练。ADaPTION包括用于测量权重和激活的动态范围的工具。使用ADaPTION工具，我们将几个CNN（包括VGG 16）量化为16位权重和激活，Top-1准确度仅下降0.8%。量化，特别是激活，导致增加高达50%的稀疏性，特别是在早期和中间层，我们利用它来跳过与零的乘法，从而执行更快和计算更便宜的推理。
2017-11-13 cs.LG
A Non-monotonic Smooth Activation Function
提出非单调平滑激活函数Sqish，在分类、检测、分割及对抗鲁棒性上优于ReLU，CIFAR100上分别提升8.21%和5.87%。
2023-10-16 cs.AI cs.LG
Orthogonal-Padé Activation Functions: Trainable Activation functions for smooth and faster convergence in deep networks
我们提出了正交Padé激活函数，这是一种可训练的激活函数，表明它们具有更快的学习能力，并提高了标准深度学习数据集和模型的准确性。基于我们的实验，我们已经找到了两个最好的候选人，我们称之为安全的Hermite-Pade（HP）激活函数，即HP-1和HP-2的六个正交Pade激活。与ReLU相比，HP-1和HP-2在PreActResNet-34中的top-1准确度分别增加了5.06%和4.63%，在CIFAR 100数据集上的MobileNet V2模型中分别增加了3.02%和2.75%，而在CIFAR 10数据集上，PreActResNet-34中的top-1准确度分别增加了2.02%和1.78%，LeNet分别增长2.24%和2.06%，Efficientnet B 0分别增长2.15%和2.03%。
2021-06-17 cs.AI cs.CV cs.LG
Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization
Westfälische Wilhelms-Universität Münster（明斯特大学）
过度拟合是在相对较小的数据集上训练深度神经网络时最常见的问题之一。在这里，我们证明了神经网络激活稀疏性是过拟合的可靠指标，我们利用它来提出新的有针对性的稀疏性可视化和正则化策略。基于这些策略，我们能够以有针对性的逐层方式理解和抵消由激活稀疏性和滤波器相关性引起的过拟合。我们的研究结果表明，有针对性的稀疏正则化可以有效地用于正则化众所周知的数据集和架构，显着提高图像分类性能，同时优于dropout和批量归一化。最终，我们的研究揭示了对激活稀疏性和网络容量这两个矛盾概念的新见解，证明了有针对性的稀疏性正则化能够实现显著和有区别的特征学习，同时利用深度模型的全部容量，即使在过度训练的情况下也不会出现过度拟合。
2020-02-21 cs.CV cs.LG stat.ML
Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks
INRIA University of Stuttgart（INRIA 斯图加特大学）
本文研究了非ReLU激活函数对神经内核和随机宽网络的影响，推导了这些内核的RKHS特性，并分析了不同激活函数在不同网络深度下的表现。
2026-04-27 cs.LG stat.ML
DynaMoE: Dynamic Token-Level Expert Activation with Layer-Wise Adaptive Capacity for Mixture-of-Experts Neural Networks
Machine Learning Research Stuttgart, Germany（斯图加特德国机器学习研究）
DynaMoE通过动态令牌级专家激活和层间自适应容量分配，提升混合专家神经网络的参数效率和计算适应性。
2026-03-02 cs.AI cs.LG
ErfAct and Pserf: Non-monotonic Smooth Trainable Activation Functions
IIIT Delhi（德里英德拉普拉斯塔信息技术学院）；Shaheed Bhagat Singh College, University of Delhi（德里大学沙希德·巴格特·辛格学院）；University of Delhi（德里大学）
激活函数是在网络中引入非线性的神经网络的关键组成部分。神经网络的最新性能还取决于激活函数的完美选择。我们提出了两个新的非单调光滑可训练的激活函数，称为ErfAct和Pserf。实验表明，与广泛使用的ReLU，Swish和Mish等激活相比，所提出的功能显着提高了网络性能。通过ErfAct和Pserf替换ReLU，我们在Shufflenet V2上的top-1准确率分别提高了5.68%和5.42% CIFAR 100数据集中的（2.0倍）网络，Shufflenet V2上的前1准确度提高了2.11%和1.96%在CIFAR 10数据集上的平均精度（mAP）提高了1.0%，在Pascal VOC数据集上的SSD 300模型上的平均精度（mAP）提高了1.0%。
2022-03-24 cs.AI cs.CV cs.LG
Understanding Two-Layer Neural Networks with Smooth Activation Functions
Shuitu Institute of Applied Mathematics（Suitu 应用数学研究所）
研究具有平滑激活函数的两层神经网络训练解，提出泰勒级数展开构建等四个原则，证明任意输入维度通用逼近，揭示解空间奥秘，丰富逼近理论。
2026-07-09 cs.AI cs.LG cs.NA
Efficient Verification of Neural Control Barrier Functions with Smooth Nonlinear Activations
School of Mechatronic Engineering and Automation, Shanghai University, Shanghai, China（机械电子工程与自动化学院，上海大学，上海，中国）；Beijing Institute of Control Engineering, Beijing, China（北京控制工程研究所，北京，中国）
本文提出LightCROWN方法，利用激活函数的分析特性计算更紧的雅可比界，提升神经控制屏障函数的验证效率和可扩展性。
2026-05-08 cs.LG
The Impact of Activation Sparsity on Overfitting in Convolutional Neural Networks
University of Muenster（明斯特大学）
过拟合是训练卷积神经网络时的基本挑战之一，通常通过发散的训练和测试损失来识别。然而，激活流如何诱导过拟合的潜在动力学却知之甚少。在这项研究中，我们引入了一个基于困惑的稀疏定义，推导和可视化逐层激活措施。这些新的可解释的AI策略揭示了激活稀疏性和过拟合之间令人惊讶的关系，即在测试损失开始上升之前不久，特征提取层中稀疏性的增加。这种趋势在整个网络架构和reguralisation策略中得到保留，因此我们的措施可以用作过拟合的可靠指标，同时将网络的泛化能力与其基于损失的定义解耦。此外，我们的可微稀疏性公式可用于明确惩罚训练过程中稀疏性的出现，以便实时研究稀疏性降低对过拟合的影响。应用这种惩罚和分析激活稀疏性为众所周知的正则和常见的网络架构支持的假设，减少激活稀疏性可以有效地提高泛化和分类性能。与最近关于这一主题的其他工作一致，我们的方法揭示了对激活稀疏性和网络容量的矛盾概念的新见解，通过证明密集激活可以实现区分性特征学习，同时有效地利用深度模型的能力，而不会受到过度拟合的影响，即使在过度训练时也是如此。
2021-04-13 cs.LG
Properties of the geometry of solutions and capacity of multi-layer neural networks with Rectified Linear Units activations
Bocconi University（博科尼大学）
本文研究ReLU两层神经网络的容量与解空间几何结构，发现其容量在隐藏层神经元增多时保持有限，并揭示解空间中存在稀有但高密度且对权重和输入扰动鲁棒的解区域。
2024-05-03 cond-mat.dis-nn cs.LG stat.ML
Adaptive Smooth Activation for Improved Disease Diagnosis and Organ Segmentation from Radiology Scans
Northwestern University（西北大学）
本研究提出自适应平滑激活单元ASAU以优化梯度传播，在医学影像诊断与分割任务上较现有激活函数取得明显精度提升，为相关医学图像分析任务提供了新基准。
2023-11-29 cs.CV cs.LG cs.NE
Approximating smooth functions by deep neural networks with sigmoid activation function
Technische Universität Darmstadt（达姆施塔特工业大学）
我们研究了具有sigmoid激活函数的深度神经网络（DNN）的能力。最近，研究表明，DNN近似于紧致集上的任何$d$维光滑函数，其阶数为$W^{-p/d}$，其中$W$是网络中非零权重的数量，$p$是函数的光滑度。不幸的是，这些比率仅适用于一类特殊的稀疏连接DNN。我们问自己，对于更简单和更一般的类，我们是否可以显示相同的近似率，即，DNN仅由其宽度和深度定义。在这篇文章中，我们证明了具有固定深度和$M^d$阶宽度的DNN实现了$M^{-2p}$的近似率。作为结论，我们定量地描述了DNN的逼近能力在网络中的总权重$W_0$方面，并显示了$W_0^{-p/d}$的逼近率。这个更一般的结果最终帮助我们理解哪种网络拓扑保证了特定的目标精度。
2020-10-08 cs.LG math.ST stat.TH
Activation Adaptation in Neural Networks
Polytechnique Montreal（蒙特利尔综合理工大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
许多神经网络架构依赖于每个隐藏层的激活函数的选择。给定激活函数，神经网络在偏置和权重参数上被训练。偏置抓住了激活的中心，权重抓住了尺度。在这里，我们建议训练网络的形状参数。这个视图允许每个神经元调整自己的激活函数，并使神经元曲率适应更好的预测。这种修改仅为每个神经元的反向传播增加了一个进一步的方程。将激活函数重新形式化为CDF，广泛地推广了激活函数类。我们的目的是推广一类广泛的激活函数来研究：i）偏斜和ii）光滑的激活函数。本文引入自适应Gumbel激活函数作为Gumbel和sigmoid之间的桥梁。类似的方法被用来发明一个平滑版本的ReLU。我们与常见的激活函数的比较表明，不同的数据表示，特别是在早期的神经网络层。这种适应还提供了预测改进。
2019-09-28 cs.LG stat.ML
Emergent Low-Rank Training Dynamics in MLPs with Smooth Activations
University of Michigan（密歇根大学）；EECS Department, University of Michigan, Ann Arbor, MI, USA（密歇根大学电子工程与计算机科学系）
本文研究了多层感知机中平滑激活函数下的低秩训练动态，揭示了权重动态在低维子空间中的集中现象，并展示了低秩参数化在分类任务中的有效性。
2026-02-05 cs.AI cs.LG
Approximation Rates of Shallow Neural Networks: Barron Spaces, Activation Functions and Optimality Analysis
School of Mathematical Sciences, Shenzhen University, Shenzhen 518060, China（深圳大学数学科学学院）
本文分析采用指数幂型及 ReLU$^{k}$ 激活函数的浅层神经网络，在 Barron 与 Sobolev 空间中建立多范数最优逼近速率，揭示系数、光滑性约束及维数灾难的影响。
2025-10-21 cs.LG
Proteus: Incremental Memory Activation for Long-Context Sequence Modeling
Mila（米拉计算科学研究所）；Google（谷歌公司）
Proteus 是一种增量式内存激活机制，可嵌入多种神经内存架构，应用于 SWLA 等模型后，能在长上下文相关任务上实现性能提升，证明调度有效容量对序列建模的适用性。
2026-08-18 cs.AI cs.CL cs.LG
TanhExp: A Smooth Activation Function with High Convergence Speed for Lightweight Neural Networks
Harbin Institute of Technology（哈尔滨工业大学）；City University of Hong Kong（香港城市大学）
用于实时计算机视觉任务的轻量级或移动神经网络比普通网络包含更少的参数，这导致性能受限。在这项工作中，我们提出了一种新的激活函数命名为Tanh指数激活函数（TanhExp），可以显着提高这些网络的性能图像分类任务。TanhExp的定义是f（x）= xtanh（e^x）。我们证明了TanhExp在各种数据集和网络模型上的简单性，效率和鲁棒性，TanhExp在收敛速度和准确性方面都优于同行。它的行为也保持稳定，即使添加噪声和数据集改变。我们表明，在不增加网络规模的情况下，TanhExp可以增强轻量级神经网络的能力，只需几个训练阶段，无需添加额外的参数。
2020-09-09 cs.CV cs.LG cs.NE
Local SGD Optimizes Overparameterized Neural Networks in Polynomial Time
The Pennsylvania State University（宾夕法尼亚州立大学）；Wyze Labs Inc.（Wyze实验室公司）
在本文中，我们证明了局部（S）GD（或FedAvg）可以优化深度神经网络与整流线性单元（ReLU）激活函数在多项式时间。尽管Local SGD在通信高效分布式优化中优化一般光滑函数的收敛理论已经建立，但其在非光滑ReLU网络上的收敛仍然没有得到充分的理论理解。在光滑函数上的许多局部SGD分析中使用的关键性质是梯度Lipschitz性，使得局部模型上的梯度不会远离平均模型上的梯度。然而，这种体面的属性在具有非平滑ReLU激活函数的网络中不成立。我们表明，即使ReLU网络不承认梯度Lipschitzness属性，在Local SGD的动态下，局部模型和平均模型的梯度之间的差异也不会改变太多。我们通过大量的实验验证了我们的理论结果。这项工作首次展示了Local SGD在非光滑函数上的收敛性，并将为深度神经网络联邦训练的优化理论提供启发。
2022-02-22 cs.LG math.OC
Provable wavelet-based neural approximation
Department of Mathematics, Yonsei University（延世大学数学系）；Johann Radon Institute for Computational and Applied Mathematics (RICAM)（约翰·拉恩研究所）；Department of Mathematical Sciences, Korea Advanced Institute of Science and Technology（韩国科学技术院数学科学系）
本文提出基于小波框架的理论，为广泛激活函数（含振荡与非光滑）的神经网络给出可证明的万能逼近条件及误差界，提升架构设计灵活性。
2025-04-23 cs.LG math.CA stat.ML
Improving the Expressive Power of Deep Neural Networks through Integral Activation Transform
Oak Ridge National Laboratory（橡树岭国家实验室）；Florida State University（佛罗里达州立大学）
本研究提出积分激活变换（IAT）作为传统DNN的激活层，通过连续宽度推广网络，其中IAT-ReLU变体因平滑性和连续激活模式提升了可训练性，实验证明其优于常规ReLU。
2023-12-19 cs.LG
Self-Reorganizing and Rejuvenating CNNs for Increasing Model Capacity Utilization
Samsung Advanced Institute of Technology (SAIT)（三星先进技术研究院（SAIT））
在本文中，我们提出了自组织和再生卷积神经网络;生物启发的方法，提高神经网络的计算资源利用率。所提出的方法利用卷积层的通道激活来重新组织该层参数。对重组后的参数进行聚类，避免参数冗余。因此，具有类似激活的冗余神经元被合并，从而为剩余参数的恢复留下空间。再生的参数学习不同的特征，以补充由重组的存活参数学习的那些特征。结果，网络容量利用率增加，改善了基线网络性能，而不对网络结构进行任何改变。所提出的方法可以在训练阶段应用于各种网络架构，或者应用于预训练模型以提高其性能。实验结果表明，该方法是模型无关的，可以应用于任何骨干网架构，提高其性能，由于提高了网络容量的利用率。
2021-02-13 cs.CV cs.LG cs.NE
SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models
Massachusetts Institute of Technology（麻省理工学院）；NVIDIA（英伟达公司）
SmoothQuant 提出一种无需训练的训练后量化方法，通过数学等价变换将激活离群值难度迁移到权重，实现大语言模型 W8A8 INT8 量化，在保持精度的同时获得最高 1.56 倍加速和 2 倍内存降低。
2024-03-29 cs.AI cs.CL cs.LG
Parameterizing Activation Functions for Adversarial Robustness
Princeton University（普林斯顿大学）
众所周知，深度神经网络易受逆向扰动输入的影响。一种常用的防御方法是对抗训练，其性能受模型容量的影响。虽然以前的工作已经研究了不同的模型宽度和深度的鲁棒性的影响，增加容量的影响，通过使用可学习的参数激活函数（PAF）还没有研究。我们研究了如何使用可学习的PAF与对抗训练相结合来提高鲁棒性。我们首先提出这样一个问题：我们应该如何将参数合并到激活函数中以提高鲁棒性？为了解决这个问题，我们通过PAF分析了激活形状对鲁棒性的直接影响，并观察到在负输入上具有正输出和高有限曲率的激活形状可以增加鲁棒性。我们结合这些属性创建一个新的PAF，我们称之为参数移位S型线性单元（PSSiLU）。然后，我们将PAF（包括PReLU，PSoftplus和PSSiLU）与对抗训练相结合，并分析鲁棒性能。我们发现，PAF优化对激活形状的属性，发现直接影响鲁棒性。此外，我们发现，虽然只在网络中引入了1-2个可学习的参数，但平滑PAF可以显着提高ReLU的鲁棒性。例如，当在CIFAR-10上使用额外的合成数据进行训练时，PSSiLU在$\ell_{\infty}$威胁模型中的鲁棒准确性比ResNet-18上的ReLU提高了4.54%，比WRN-28-10上的ReLU提高了2.69%，同时仅向网络架构中添加了2个额外的参数。PSSiLU WRN-28-10模型实现了61.96%的自动攻击准确率，比RobustBench…
2021-10-11 cs.CV cs.LG
Fractal and Chaotic Activation Functions in Echo State Networks: Preprocessing Topology Governs the Echo State Property
National University School of Technology and Engineering（国立大学技术与工程学院）；Jaxorik AI Research Group（Jaxorik人工智能研究组）
本研究探索了非光滑激活函数在回声状态网络中的应用，发现分形函数在稳定性与收敛速度上优于传统平滑激活函数。
2026-09-07 cs.LG
On the Power of Over-parametrization in Neural Networks with Quadratic Activation
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）
我们提供了新的理论见解，为什么过参数化是有效的学习神经网络。对于具有二次激活和$n$训练数据点的$k$隐节点浅层网络，我们表明只要$ k \ge \sqrt{2n}$，过参数化使局部搜索算法能够找到一般光滑和凸损失函数的\emph{globally}最优解。此外，尽管参数的数量可能会超过样本大小，使用Rademacher复杂性理论，我们显示了权重衰减，如果数据是从规则分布（如高斯分布）中采样的，则该解决方案也可以很好地推广。为了证明当$k\ge \sqrt{2n}$时，损失函数具有良好的景观性质，我们采用了平滑分析的思想，这在研究神经网络的损失面方面可能有其他应用。
2018-06-14 cs.AI cs.LG math.OC
Stochastic Neural Networks with Monotonic Activation Functions
Carnegie Mellon University（卡内基梅隆大学）；University of Alberta（阿尔伯塔大学）
我们提出了一个拉普拉斯近似，创建一个随机单位从任何光滑的单调激活函数，仅使用高斯噪声。本文研究了这种随机逼近在训练一族与Bregman发散密切相关的受限玻尔兹曼机（RBM）中的应用。这个家族，我们称之为指数家族RBM（Exp-RBM），是指数家族Harmoniums的一个子集，通过选择每个神经元的平滑单调非线性来表达家族成员。使用对比发散和高斯近似，我们表明Exp-RBM可以使用新的随机单元学习有用的表示。
2016-07-22 cs.LG cs.NE stat.ML
Median activation functions for graph neural networks
University of Pennsylvania（宾夕法尼亚大学）；King Juan Carlos University（胡安·卡洛斯国王大学）
图神经网络（GNN）已被证明在涉及图的许多问题中复制了卷积神经网络（CNN）的优越性能。通过用线性移位不变图滤波器（LSI-GF）代替常规卷积，GNN考虑了图的（不规则）结构，并提供了有意义的网络数据表示。然而，LSI-GF不能编码局部非线性图形信号行为，并且规则激活函数也是如此，其是非线性的但逐点的。为了解决这个问题，我们提出了中值激活函数与支持图邻域，而不是个别节点。GNN架构与可训练的多分辨率版本的激活函数，然后在合成和真实的数据集上进行测试，在那里我们表明，中位数激活函数可以提高GNN的能力，边际增加复杂性。
2019-02-11 cs.LG stat.ML
State-space Models with Layer-wise Nonlinearity are Universal Approximators with Exponential Decaying Memory
National University of Singapore（新加坡国立大学）
本文证明堆叠带逐层非线性激活的状态空间模型可通用逼近任意连续序列映射，同时指出其仍存在指数衰减记忆问题，并通过数值实验验证。
2023-11-01 cs.AI cs.LG math.DS
Effect of Activation Functions on the Training of Overparametrized Neural Nets
Microsoft Research India（微软印度研究院）；Cornell University（康奈尔大学）
众所周知，使用基于梯度的方法训练的过参数化神经网络通过适当的超参数设置可以快速实现小的训练误差。最近的论文在合理的假设下从理论上证明了这一说法。这些结果或者假设激活函数是ReLU，或者它们关键地取决于某个Gram矩阵的最小特征值，这取决于数据、随机初始化和激活函数。在后一种情况下，现有的作品只证明了这个最小特征值是非零的，并没有提供定量的界限。在经验方面，当代的研究已经提出了一些替代的激活函数，它们至少在某些设置中往往比ReLU表现得更好，但没有出现明确的理解。这种状况强调了从理论上理解激活函数对训练的影响的重要性。在本文中，我们提供的理论结果的影响，激活函数的高度过参数化的2层神经网络的训练。控制激活性能的一个关键属性是它是否平滑。对于ReLU、SELU和ELU等非平滑激活，在对数据的最小假设下，相关Gram矩阵的所有特征值都很大。对于tanh，swish和多项式等平滑激活，情况更加复杂。如果数据所跨越的子空间具有小维度，则Gram矩阵的最小特征值可能很小，导致训练缓慢。但是如果维数很大，并且数据满足另一个温和的条件，那么特征值就很大。如果我们允许深度网络，那么小的数据维度不是限制，只要深度足够。我们讨论了一些扩展和应用这些结果。
2020-04-10 cs.LG stat.ML
Mitigating the Curse of Dimensionality in Uniform Convergence of Deep Neural Networks via Smooth Activations
Department of Statistics, The Pennsylvania State University（宾夕法尼亚州立大学统计学系）
本文通过分析平滑激活深度神经网络，建立了统一收敛的理论框架，证明其能够通过自适应利用目标函数的低维层次组合结构来缓解维度灾难。
2026-06-04 cs.LG math.ST stat.ME
Rational neural networks
University of Oxford（牛津大学）；Cornell University（康奈尔大学）
我们考虑具有有理激活函数的神经网络。深度学习架构中非线性激活函数的选择至关重要，并严重影响神经网络的性能。我们根据网络复杂度建立了最佳界限，并证明了有理神经网络比深度呈指数级较小的ReLU网络更有效地逼近光滑函数。有理激活函数的灵活性和平滑性使它们成为ReLU的有吸引力的替代品，正如我们通过数值实验所证明的那样。
2020-09-30 cs.LG cs.NA cs.NE
Reducing Activation Recomputation in Large Transformer Models
NVIDIA（英伟达）
训练大型Transformer模型是现代AI最重要的计算挑战之一。在本文中，我们展示了如何通过减少激活重新计算来显著加速大型Transformer模型的训练。激活重新计算通常用于解决记忆容量限制。而不是存储反向传播的激活，它们传统上被重新计算，这节省了内存，但增加了冗余计算。在这项工作中，我们表明这种冗余计算是不必要的，因为我们可以充分减少内存消耗没有它。我们提出了两个新的，但非常简单的技术：序列并行和选择性激活重新计算。结合张量并行，这些技术几乎消除了重新计算激活的需要。我们评估我们的方法语言模型高达一万亿参数的规模，并表明，我们的方法减少激活内存的5倍，同时减少执行时间开销从激活重新计算超过90%。例如，当在2240个NVIDIA A100 GPU上训练530 B参数GPT-3样式模型时，我们实现了54.2%的模型触发器利用率，比使用重新计算实现的42.1%快29%。我们的实现将在Megatron-LM和NeMo-Megatron中提供。
2022-05-10 cs.CL cs.LG
PhaseQuant: Mitigating Activation Quantization Collapse via Residual-Stream Dynamics
City University of Hong Kong（香港城市大学）；Zhejiang University of Technology（浙江工业大学）
提出DynamicPTQ，通过分析残差流中激活的相位式动态变化，识别量化敏感层并分配8位精度，在W4A4KV4量化下提升LLaMA-2/3的困惑度和零样本QA性能，吞吐量提升1.05-1.07倍。
2026-10-14 cs.LG
Trainable Adaptive Activation Function Structure (TAAFS) Enhances Neural Network Force Field Performance with Only Dozens of Additional Parameters
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所 处理器国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
提出可训练自适应激活函数结构（TAAFS），通过为非线性激活选择不同数学公式，仅增加数十个参数即可显著提升神经网络力场精度，并经多种模型和DeepMD分子动力学模拟验证有效。
2024-12-19 cs.LG
Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant
École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
本研究提出一种学习深度神经网络可训练激活函数的变分框架，在控制Lipschitz常数上界的同时提升网络容量，通过证明线性样条解的存在性将问题简化为带l1惩罚的有限维优化，实验验证其优于ReLU类激活函数。
2020-08-07 cs.LG stat.ML
Invariance-Preserving Localized Activation Functions for Graph Neural Networks
Univ. of Pennsylvania（宾夕法尼亚大学）；King Juan Carlos Univ.（胡安·卡洛斯国王大学）
图形信号是具有可以由图形描述的不规则结构的信号。图神经网络（GNN）是为这些图信号量身定制的信息处理架构，由堆叠层组成，这些堆叠层组成具有非线性激活函数的图卷积滤波器。图卷积赋予GNN对图节点标签的排列的不变性。在本文中，我们考虑的可训练的非线性激活函数的设计，考虑到图的结构。这是通过使用图中值滤波器和图最大值滤波器来实现的，它们模仿线性图卷积，并保持了GNN的排列不变性。我们还讨论了修改反向传播算法所需的训练本地激活功能。本地化的激活函数架构的优势，证明了在四个数值实验：合成图上的源本地化，19世纪的小说，电影推荐系统和科学文章分类的作者归属。在所有情况下，本地化的激活功能，以提高模型的能力。
2019-11-05 cs.LG cs.NE eess.SP
Global Convergence in Neural ODEs: Impact of Activation Functions
DePaul University（德保罗大学）；Iowa State University（爱荷华州立大学）
本文研究激活函数的光滑性与非线性对神经常微分方程训练动态的影响，并据此在过参数化条件下证明了梯度下降的全局收敛性。
2025-09-26 cs.AI cs.LG stat.ML
Hybrid activation functions for deep neural networks: S3 and S4 -- a novel approach to gradient flow optimization
Interregional Academy of Personnel Management（区域间人事管理学院）；Luxena Ltd.（Luxena有限公司）
针对传统激活函数的神经元死亡与梯度消失问题，提出两种混合激活函数S3及改进版S4，通过混合设计和平滑过渡机制优化梯度流，在多类任务上性能优于9种基线函数，适配性更强。
2025-07-29 cs.AI cs.LG cs.NE
Activation Function Design Sustains Plasticity in Continual Learning
Department of Computer Science（计算机科学系）
本文探讨了激活函数在持续学习中的作用，提出两种新的非线性函数以缓解可塑性损失，通过监督学习和强化学习实验验证了其有效性。
2026-04-30 cs.AI cs.CV cs.LG
TeLU Activation Function for Fast and Stable Deep Learning
University of South Florida（南佛罗里达大学）
本文提出激活函数TeLU(x)=xtanh(exp(x))，结合ReLU的简洁有效与平滑解析性质，在ImageNet、Text8和Penn TreeBank等基准上验证其能提升深度学习训练的稳定性、收敛速度与泛化能力。
2025-01-02 cs.LG
BinaryDuo: Reducing Gradient Mismatch in Binary Activation Network by Coupling Binary Activations
POSTECH（浦项科技大学）
二进制神经网络（BNN）由于其计算成本降低和内存节省而引起了人们的兴趣。然而，BNN遭受性能下降，主要是由于二值化激活引起的梯度失配。先前的工作试图通过减少在前向传递中使用的激活函数与在后向传递中使用的其可微近似之间的差异来解决梯度失配问题，这是一种间接测量。在这项工作中，我们使用平滑损失函数的梯度来更好地估计量化神经网络中的梯度失配。使用梯度失配估计器的分析表明，使用更高的激活精度比修改激活函数的可微近似更有效。基于观察，我们提出了一种新的二元激活网络训练方案，称为BinaryDuo，其中两个二元激活在训练过程中耦合到一个三元激活中。实验结果表明，BinaryDuo在各种基准测试中的性能优于最先进的BNN，具有相同的参数和计算成本。
2020-02-16 cs.LG stat.ML
AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks
EPFL（洛桑联邦理工学院）
神经网络的大容量使它们能够学习复杂的函数。然而，为了避免过拟合，网络需要大量的训练数据，这可能是昂贵和耗时的收集。一个常见的实用方法来衰减过拟合是使用网络正则化技术。我们提出了一种新的正则化方法，在训练过程中逐步惩罚激活的幅度。由给定层中的所有神经元产生的组合激活信号形成该特征空间中的输入图像的表示。我们建议在分类层之前的最后一个特征层中正则化此表示。我们的方法的推广效果进行了分析与标签随机化测试和累积消融。在标准基准数据集上的实验结果表明，与常用的正则化器相比，我们的方法具有优势。
2020-03-07 cs.CV cs.LG stat.ML
Capacity allocation through neural network layers
Spotify（声田）
容量分析最近被引入作为一种分析线性模型如何在输入空间中分配其建模容量的方法。本文将容量分配的概念推广到具有非线性层的神经网络。我们表明，在一定的假设下，这个问题相当于线性容量分配，在一些扩展的输入空间，在非线性因素。我们引入了层解耦的概念，它量化了非线性激活使其输出失真的程度，并表明它在通过层的容量分配中起着核心作用。在高度非线性的极限，解耦是总的，我们表明，在整个层的容量的传播遵循一个简单的马尔可夫规则，这变成了一个扩散偏微分方程的深度网络与剩余层的限制。这使我们能够恢复一些关于深度神经网络的已知结果，例如有效感受野的大小，或者为什么ResNets避免了破碎问题。
2019-02-27 cs.LG stat.ML
Numerical Approximation Capacity of Neural Networks with Bounded Parameters: Do Limits Exist, and How Can They Be Measured?
Institute of Applied Physics and Computational Mathematics（应用物理与计算数学研究所）
该研究探讨了参数有界时神经网络的数值逼近极限，证明了有界参数空间下DNNs仅能由有限维向量空间逼近，并引入ε外测度和NSdim量化该极限，为网络宽度、深度及正则化等提供新见解。
2024-09-25 cs.LG
