Activation Functions: Do They Represent A Trade-Off Between Modular Nature of Neural Networks And Task Performance
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
目前的研究表明，设计神经网络结构的关键因素包括为每个卷积层选择滤波器的数量、为每个全连接层选择隐层神经元的数量、丢弃和修剪。在大多数情况下，默认的激活函数是ReLU，因为它在经验上显示出更快的训练收敛。我们探讨了如果想要在神经网络中获得更好的模块化结构，ReLU是否是最佳选择。
2020-09-16 cs.LG stat.ML
Orthogonal Activation with Implicit Group-Aware Bias Learning for Class Imbalance
School of Computing（计算学院）；Australian National University（澳大利亚国立大学）
本文提出OGAB激活函数，通过正交性和组感知偏置学习缓解深度学习中的类别不平衡问题，无需显式标签信息，提升特征区分性与类别分离性。
2025-12-23 cs.LG
Shifting Mean Activation Towards Zero with Bipolar Activation Functions
我们提出了一个简单的扩展ReLU家族的激活函数，使他们能够移动的平均激活跨层向零。结合适当的权重初始化，这就减少了对归一化层的需求。我们探索了多达144层的深度香草递归神经网络（RNN）的训练，并表明双极激活函数有助于在这种情况下学习。在Penn Treebank和Text 8语言建模任务中，我们获得了有竞争力的结果，改进了非门控网络的最佳报告结果。在没有批量标准化的卷积神经网络的实验中，我们发现双极激活会更快地降低训练误差，并导致CIFAR-10分类任务的测试误差更低。
2018-03-15 cs.LG cs.NE stat.ML
Spectral Convolution Networks
Trinity College, Dublin（都柏林三一学院）
先前的研究表明，与传统的卷积网络实现相比，频域中的卷积计算提供了显着的加速。然而，这种性能的提高是以重复计算变换及其逆为代价的，以便应用其他网络操作，如激活，池化和丢弃。我们显示，数学上，卷积和激活都可以在频域中使用傅立叶变换或拉普拉斯变换来实现。的主要贡献是频谱激活下的傅立叶变换和一个有效的算法计算卷积和激活下的拉普拉斯变换的进一步描述。通过在频域中计算卷积和激活函数，我们可以减少所需的变换次数，并降低整体复杂度。我们对频谱激活函数的描述，连同其他网络函数的现有频谱类似物，然后可以用于构成卷积网络的全频谱实现。
2016-11-16 cs.LG stat.ML
Breaking the Activation Function Bottleneck through Adaptive Parameterization
University of Manchester（曼彻斯特大学）；The Alan Turing Institute（艾伦·图灵研究所）
标准的神经网络架构是非线性的，仅仅依靠一个简单的逐元素激活函数，使它们既脆弱又过大。在本文中，我们考虑的方法，使前馈层更灵活，同时保持其基本结构。我们开发了简单的下拉式替代，学习适应他们的参数化条件的输入，从而显着提高统计效率。我们提出了一个自适应LSTM，它可以提高Penn Treebank和WikiText-2单词建模任务的最新水平，同时使用更少的参数，并在不到一半的迭代次数内收敛。
2018-11-22 cs.LG cs.NE stat.ML
A Mean Field Theory of Quantized Deep Networks: The Quantization-Depth Trade-Off
Technion（以色列理工学院）；Columbia University（哥伦比亚大学）
降低神经网络训练中权重和激活函数的精度，同时对性能的影响最小，对于在资源受限的环境中部署这些模型至关重要。我们应用平均场技术与量化的激活网络，以评估在初始化时的量化降低信号传播的程度。我们推导出初始化方案，最大限度地提高在这样的网络中的信号传播，并建议为什么这是有帮助的推广。在这些结果的基础上，我们得到了$L_{\max}$的封闭形式隐式方程，最大可训练深度（因此模型容量），给定$N$，激活函数中的量化水平的数量。数值求解该方程，我们渐近地得到：$L_{\max}\propto N^{1.82}$。
2019-10-31 cs.LG stat.ML
A Composite Activation Function for Learning Stable Binary Representations
Department of Statistics（统计学系）；Seoul National University（首尔国立大学）；Department of Applied Mathematics（应用数学系）；University of Twente（埃因霍温理工大学）
本文提出HTAF复合激活函数，通过平滑近似Heaviside函数实现稳定训练，适用于Spiking神经网络等模型，并引入ICBMs模型实现可解释的图像处理。
2026-10-22 cs.LG stat.ML
An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks
灾难性遗忘是许多机器学习模型和算法面临的问题。当在一个任务上训练，然后在第二个任务上训练时，许多机器学习模型“忘记”如何执行第一个任务。这被广泛认为是神经网络的一个严重问题。在这里，我们调查的灾难性遗忘问题发生的现代神经网络的程度，比较建立和最近的基于梯度的训练算法和激活函数。我们还研究了第一个任务和第二个任务之间的关系对灾难性遗忘的影响。我们发现使用dropout算法进行训练总是最好的--dropout算法在适应新任务、记住旧任务方面始终是最好的，并且在这两个极端之间具有最好的折衷曲线。我们发现，不同的任务和任务之间的关系导致非常不同的排名激活功能的性能。这表明激活函数的选择应始终进行交叉验证。
2015-03-04 cs.LG cs.NE stat.ML
Implicit Bias of Mirror Flow in Homogeneous Neural Networks: Sparse and Dense Feature Learning
CISPA Helmholtz Center（CISPA海德堡中心）；UCLA（加州大学洛杉矶分校）；MPI MiS（马克斯·普朗克研究所（MiS））
研究隐式偏置如何影响同质神经网络中的稀疏和密集特征学习，通过推导新的平衡方程和实验验证，揭示了镜像流在优化动态和分类器几何结构中的作用。
2026-05-19 cs.LG
A Methodology for Automatic Selection of Activation Functions to Design Hybrid Deep Neural Networks
Vienna University of Technology（维也纳工业大学）；Politecnico di Torino（都灵理工大学）
激活函数影响DNN的行为和性能。非线性激活函数，如整流线性单位（ReLU），指数线性单位（ELU）和缩放指数线性单位（SELU），优于线性对应物。然而，选择适当的激活函数是一个具有挑战性的问题，因为它影响给定DNN的准确性和复杂性。在本文中，我们提出了一种新的方法来自动选择最好的激活函数为每一层的给定DNN，这样的整体DNN的准确性，相比只考虑一种类型的激活函数为整个DNN，提高。然而，在探索激活函数的所有不同配置方面的相关科学挑战将是时间和资源消耗。为此，我们的方法在学习过程中识别评估点，以评估训练中间步骤的准确性，并通过检查学习曲线的准确性梯度来执行提前终止。这有助于显著减少训练期间的探索时间。此外，我们的方法为每一层选择了优化准确性的丢失率。实验表明，我们能够在MNIST，CIFAR-10和CIFAR-100基准测试中实现平均7%至15%的相对错误减少，而GPU的性能和功耗损失有限。
2018-10-27 cs.LG cs.NE stat.ML
Learning Activation Functions for Sparse Neural Networks
Mälardalen University（梅拉达伦大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；Tarbiat Modares University（塔比亚特·莫达雷斯大学）
本文针对高剪枝率下稀疏神经网络的准确率下降问题，提出SAFS方法，联合学习稀疏网络激活函数并进行独立超参数优化，在多个模型和数据集上取得显著准确率提升。
2023-06-05 cs.LG cs.NE
ADaPTION: Toolbox and Benchmark for Training Convolutional Neural Networks with Reduced Numerical Precision Weights and Activation
深度神经网络（DNN）和卷积神经网络（CNN）对于机器学习中的许多实际任务都很有用。深度网络内的突触权重以及神经元激活函数通常以高精度格式（例如，32位浮点）存储。然而，由于存储容量是有限的，并且每次存储器访问都消耗功率，因此存储容量和存储器访问是这些网络中的两个关键因素。在这里，我们提出了一种方法，并提出了ADaPTION工具箱来扩展流行的深度学习库Caffe，以支持使用固定点表示法降低权重和激活的数值精度的深度CNN的训练。ADaPTION包括用于测量权重和激活的动态范围的工具。使用ADaPTION工具，我们将几个CNN（包括VGG 16）量化为16位权重和激活，Top-1准确度仅下降0.8%。量化，特别是激活，导致增加高达50%的稀疏性，特别是在早期和中间层，我们利用它来跳过与零的乘法，从而执行更快和计算更便宜的推理。
2017-11-13 cs.LG
Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
具有正弦激活的神经网络已经被提出作为具有传统激活函数的网络的替代。尽管他们的承诺，特别是学习隐式模型，他们的训练行为尚未完全理解，导致一些经验的设计选择，没有很好的理由。在这项工作中，我们首先提出了一个简化版本的正弦神经网络，这使得更容易的实际实施和更简单的理论分析。然后，我们从神经切线核的角度分析了这些网络的行为，并证明了它们的内核近似于具有可调带宽的低通滤波器。最后，我们利用这些见解来通知正弦网络初始化，优化它们在一系列任务中的每一项任务的性能，包括学习隐式模型和求解微分方程。
2022-11-26 cs.LG
Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations
ETH Zürich（苏黎世联邦理工学院）
该研究提出核序列演化的理论框架，证明非线性激活的深度神经网络中核序列全局收敛到唯一不动点，拓展至残差与归一化层网络也成立，为理解深度网络隐式偏差及架构对表征演化的影响提供新见解。
2024-10-29 cs.AI cs.LG stat.ML
ReLUs Are Sufficient for Learning Implicit Neural Representations
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出在仅含ReLU神经元的深度神经网络中引入受二阶B样条小波启发的简单约束以修正频谱偏差，证明ReLU足以学习最先进的隐式神经表示，并提供基于理论的正则性量化方法来选择超参数。
2024-08-01 cs.AI cs.CV cs.LG
The Implicit and Explicit Regularization Effects of Dropout
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
Dropout是一种广泛使用的正则化技术，通常需要获得许多架构的最新技术。这项工作表明，dropout引入了两个不同但纠缠的正则化效应：一个是显式效应（也在以前的工作中研究过），因为dropout修改了预期的训练目标，而可能令人惊讶的是，dropout训练更新中的随机性带来了额外的隐式效应。这种隐式正则化效应类似于小批量随机梯度下降中的随机性效应。我们通过对照实验来解开这两种效应。然后，我们推导出分析简化，其特征在于每个效果的衍生物的模型和损失，深度神经网络。我们证明了这些简化的解析正则化器准确地捕捉了dropout的重要方面，表明它们在实践中忠实地取代了dropout。
2020-10-15 cs.LG stat.ML
AESPA: Accuracy Preserving Low-degree Polynomial Activation for Fast Private Inference
Seoul National University（首尔国立大学）
混合私有推理（PI）协议是一种重要的PI技术，它综合利用了多方计算（MPC）和同态加密。然而，即使是最先进的PI协议也会受到非线性层，特别是激活函数的影响。虽然标准的非线性激活函数可以产生更高的模型精度，它必须通过一个昂贵的混淆电路MPC原语处理。多项式激活可以通过Beaver的乘法三倍MPC原语来处理，但到目前为止已经导致严重的准确性下降。在本文中，我们提出了一个保持精度的低次多项式激活函数（AESPA），它利用了ReLU的Hermite扩展和基规范化。我们将AESPA应用于流行的ML模型，如VGGNet，ResNet和预激活ResNet，以显示与具有ReLU激活的标准模型相当的推理准确性，实现了优于先前低次多项式研究的准确性。当应用于最先进的Delphi PI协议上的全USB基线时，AESPA显示出高达42.1倍和28.3倍的在线延迟和通信成本降低。
2022-02-18 cs.CR cs.LG
The Spectral Bias of Shallow Neural Network Learning is Shaped by the Choice of Non-linearity
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
本文通过消除权重缩放对称性的重参数化，揭示浅层网络的隐式谱偏置如何由激活函数决定，并证明自适应机制中的超平面聚类与神经元对齐。
2025-03-13 cs.AI cs.LG
Empirical Loss Landscape Analysis of Neural Network Activation Functions
University of Pretoria（比勒陀利亚大学）；University of Stellenbosch（斯泰伦博斯大学）；Gulf University for Science and Technology（海湾科技大学）；Griffith University（格里菲斯大学）
本研究实证分析了双曲正切、修正线性单元和指数线性单元三种激活函数对神经网络损失景观特性的影响，发现修正线性单元产生最具凸性的损失景观，而指数线性单元产生最不平坦的损失景观且泛化性能更优，同时揭示了窄谷与饱和神经元及隐式正则化网络配置的关联。
2023-06-28 cs.AI cs.LG cs.NE
Sisyphus: A Cautionary Tale of Using Low-Degree Polynomial Activations in Privacy-Preserving Deep Learning
New York University（纽约大学）
客户端-服务器机器学习中的隐私问题已经引起了私有推理（PI），其中神经推理直接发生在加密输入上。PI保护客户的个人数据和服务器的知识产权。PI中的一个常见做法是使用乱码电路私下计算非线性函数，即ReLU。然而，乱码电路遭受高存储、带宽和延迟成本。为了缓解这些问题，已经采用PI友好的多项式激活函数来取代ReLU。在这项工作中，我们要求：用低次多项式激活函数替代所有ReLU来构建深度隐私友好的神经网络是否可行？我们通过分析用多项式替代ReLU的挑战来探索这个问题，从简单的丢弃和替换解决方案开始，到新颖的，更复杂的替换和重新训练策略。我们检查每种方法的局限性，并提供评论使用多项式激活函数PI。我们发现所有评估的解决方案都存在逃逸激活问题：前向激活值不可避免地开始以指数速率从多项式的稳定区域扩展，这导致爆炸值（NaN）或差的近似。
2021-11-02 cs.CR cs.LG
Meaningless Tokens, Meaningful Gains: How Activation Shifts Enhance LLM Reasoning
Rutgers University（罗格斯大学）；UCLA（加州大学洛杉矶分校）；Meta AI；Wake Forest University（威克森林大学）
本研究揭示插入无意义token提升LLM推理的机制是MLP层激活重分布，据此提出轻量推理时技术ARM，通过自适应偏移近零激活复现增益，在多基准多架构上验证有效且实现简单。
2025-10-01 cs.LG
Few-Bit Backward: Quantized Gradients of Activation Functions for Memory Footprint Reduction
Skoltech（斯科尔科沃科学技术研究院）；Sber AI（俄罗斯联邦储蓄银行人工智能研究院）；Lomonosov MSU（罗蒙诺索夫莫斯科国立大学）；AIRI（人工智能研究院）
内存占用是大型神经网络训练的主要限制因素之一。在反向传播中，需要将每个操作的输入存储在计算图中。每一个现代神经网络模型在其架构中都有相当多的逐点非线性，这样的操作会导致额外的内存成本，正如我们所展示的，可以通过量化梯度来显着减少。我们提出了一个系统的方法来计算最佳量化的逐点非线性函数的保留梯度，每个元素只有几个比特。我们表明，这样的近似可以通过计算最佳的分段常数近似的激活函数的衍生物，这可以通过动态规划。插入式替换适用于所有流行的非线性，可用于任何现有的管道。我们确认的内存减少和相同的收敛在几个开放的基准测试。
2022-02-02 cs.AI cs.LG
Learnable Spectral Activations
Technion – Israel Institute of Technology（以色列理工学院）；NVIDIA（英伟达）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术学院）
本文提出可学习的频谱激活函数（LSA），用残差截断傅里叶级数替代固定非线性，通过独立梯度解耦特征选择与频谱整形，在音频、图像、神经辐射场等任务中提升重建质量。
2026-10-19 cs.CV cs.LG
Activation Function Design Sustains Plasticity in Continual Learning
Department of Computer Science（计算机科学系）
本文探讨了激活函数在持续学习中的作用，提出两种新的非线性函数以缓解可塑性损失，通过监督学习和强化学习实验验证了其有效性。
2026-04-30 cs.AI cs.CV cs.LG
SERF: Towards better training of deep neural networks using log-Softplus ERror activation Function
University of Toronto（多伦多大学）；Stony Brook University（纽约州立大学石溪分校）
激活函数在确定训练动力学和神经网络性能方面起着关键作用。广泛采用的激活函数ReLU尽管简单有效，但缺点很少，包括垂死的ReLU问题。为了解决这些问题，我们提出了一种新的激活函数称为农奴这是自正则化和非单调的性质。和Mish一样，Serf也属于Swish函数家族。基于对具有不同最先进架构的计算机视觉（图像分类和目标检测）和自然语言处理（机器翻译，情感分类和多模态蕴涵）任务的几个实验，观察到Serf大大优于ReLU（基线）和其他激活函数，包括Swish和Mish，在更深的架构上具有明显更大的优势。消融研究进一步表明，基于Serf的架构在不同的场景中表现得比Swish和Mish更好，验证了Serf在不同深度、复杂性、优化器、学习速率、批量大小、初始化器和辍学率的有效性和兼容性。最后，我们研究了Swish和Serf之间的数学关系，从而显示了Serf的一阶导数中固有的预处理函数的影响，它提供了正则化效果，使梯度更平滑，优化更快。
2021-08-25 cs.AI cs.CV cs.LG
Dual Rectified Linear Units (DReLUs): A Replacement for Tanh Activation Functions in Quasi-Recurrent Neural Networks
IDLab, ELIS, Ghent University – imec（根特大学-imec的IDLab和ELIS（根特大学全球校区生物技术数据科学中心））；Center for Biotech Data Science, Ghent University Global Campus（根特大学全球校区生物技术数据科学中心）
在本文中，我们介绍了一种新型的整流线性单元（ReLU），称为对偶整流线性单元（DReLU）。DReLU带有无界的正图像和负图像，可以用作准递归神经网络（QRNN）的递归步骤中tanh激活函数的直接替代（Bradbury et al.（2017））。类似于ReLU，DReLU不太容易出现消失梯度问题，它们是噪声鲁棒的，并且它们诱导稀疏激活。我们独立重现了Bradbury等人的QRNN实验。（2017）并将我们基于DReLU的QRNN与原始的基于tanh的QRNN和长短期记忆网络（LSTM）在情感分类和单词级语言建模方面进行了比较。此外，我们对字符级语言建模进行了评估，表明我们能够使用DReLU堆叠多达8个QRNN层，从而可以在基于LSTM的浅层架构上改进当前最先进的字符级语言建模。
2017-10-31 cs.CL cs.LG cs.NE
Optimizing 3D Geometry Reconstruction from Implicit Neural Representations
New Jersey Institute of Technology（新泽西理工学院）
针对隐式神经表示难以保留高频细节且计算成本高的问题，提出整合周期性激活函数、位置编码和法线的新方法，以降低开销并增强3D形状精细细节与锐利特征的捕捉能力。
2024-10-16 cs.CV cs.GR cs.LG
Learnable Bernoulli Dropout for Bayesian Deep Learning
Texas A&M University（得克萨斯农工大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在这项工作中，我们提出了可学习的伯努利辍学（LBD），一个新的模型不可知的辍学计划，认为辍学率的参数联合优化与其他模型参数。通过对Bernoulli dropout进行概率建模，我们的方法可以在深度模型中实现更鲁棒的预测和不确定性量化。特别地，当与变分自动编码器（VAE）相结合时，LBD使灵活的半隐式后验表示成为可能，从而产生新的半隐式VAE~（SIVAE）模型。我们使用Augment-REINFORCE-Merge（ARM），一种无偏和低方差梯度估计器，解决了关于辍学参数的训练优化问题。我们的一系列任务的实验表明，我们的方法相比，其他常用的辍学计划的优越性能。总体而言，LBD导致图像分类和语义分割中的准确性和不确定性估计的提高。此外，使用SIVAE，我们可以在几个公共数据集上实现最先进的协同过滤性能。
2020-02-12 cs.LG stat.ML
Implicit regularization of dropout
Shanghai Jiao Tong University（上海交通大学）
本研究推导并验证了dropout的隐式正则化理论，发现其能使隐藏神经元权重凝聚并找到更平坦的极小值，从而提升泛化能力，为全面理解dropout奠定基础。
2023-04-10 cs.LG
How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
Georgia Institute of Technology（佐治亚理工学院）
本文通过原始-对偶分析，研究了高维随机数据下浅层ReLU模型平方损失梯度下降的隐式偏差，证明其以高概率近似最小ℓ2范数解，差距为Θ(√(n/||λ||₁))。
2026-06-18 cs.LG math.OC stat.ML
LASER: Low-Rank Activation SVD for Efficient Recursion
Harvard University（哈佛大学）
本文研究了递归架构中激活流形的几何结构，提出LASER框架通过动态压缩实现激活记忆节省，同时保持模型精度。
2026-04-19 cs.LG stat.ML
Locally adaptive activation functions with slope recovery term for deep and physics-informed neural networks
Brown University（布朗大学）；Massachusetts Institute of Technology（麻省理工学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
我们提出了两种局部自适应激活函数的方法，即逐层和逐神经元局部自适应激活函数，它们可以提高深度和物理信息的神经网络的性能。激活函数的局部自适应是通过在每一层（逐层）和每个神经元（逐神经元）分别引入一个可伸缩参数，然后使用随机梯度下降算法的变体对其进行优化来实现的。为了进一步提高训练速度，在损失函数中加入了基于激活斜率的斜率恢复项，进一步加快了收敛速度，从而降低了训练成本。在理论方面，我们证明了在所提出的方法中，梯度下降算法不会被吸引到次优临界点或局部极小值的实际条件下的初始化和学习率，所提出的方法的梯度动态是无法实现的任何（自适应）学习率的基础方法。我们进一步表明，自适应激活方法加快收敛隐式乘条件矩阵的基础方法的梯度，而没有任何明确的计算条件矩阵和矩阵向量积。不同的自适应激活函数诱导不同的隐式条件矩阵。此外，所提出的方法与斜率恢复，以加快训练过程。
2020-06-17 cs.LG stat.ML
HOSC: A Periodic Activation with Saturation Control for High-Fidelity Implicit Neural Representations
Warsaw University of Technology（华沙技术大学）；New Jersey Institute of Technology（新泽西理工学院）
HOSC是一种具有饱和控制的周期性激活函数，用于提升隐式神经表示的高保真度，通过调节梯度大小和多尺度行为实现更稳定的训练效果。
2026-01-10 cs.CV cs.GR cs.LG
Tracing the Path to Grokking: Embeddings, Dropout, and Network Activation
University of Waterloo（滑铁卢大学）
本文提出dropout方差、鲁棒性、嵌入相似度与稀疏性等实用指标，通过Dropout鲁棒性曲线等方法预测神经网络的延迟泛化（顿悟）行为，并揭示了其起源与机制。
2025-07-15 cs.AI cs.LG
Estimating Implicit Regularization in Deep Learning
University of Pennsylvania（宾夕法尼亚大学）
本文提出通过梯度匹配方法估计深度学习中的隐式正则化，验证了其在处理复杂网络时的有效性，并展示了在Dropout等方法中的应用。
2026-11-05 cs.LG stat.ML
How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer
ETH Z\"urich, D-Math, R\"amistrasse 101, CH-8092 Z\"urich, Switzerland
随机化神经网络（randomized NN），其中只有终端层的权重被优化，构成了一个强大的模型类，以减少训练神经网络模型的计算时间。与此同时，这些模型在各种回归和分类任务中的泛化能力令人惊讶。在本文中，我们给出了一个精确的宏观表征（即，函数空间中的特征）的随机化，浅NN与ReLU激活（RSN）的泛化行为。我们表明，RSN对应于一个广义加性模型（GAM）型回归，其中考虑了无限多个方向：无限广义加性模型（IGAM）。IGAM被形式化为一个特定的正则化泛函和一个相当普遍的损失的函数空间中的优化问题的解决方案。这项工作是对先前工作的多变量NN的扩展，我们展示了在某些条件下，如果输入是一维的，那么具有ReLU激活的RSN的行为就像样条回归一样。
2023-03-20 cs.LG stat.ML
When Does Removing LayerNorm Help? Activation Bounding as a Regime-Dependent Implicit Regularizer
Independent Researcher（独立研究者）
本文研究了移除层归一化对模型性能的影响，发现激活边界作为隐式正则化器在不同规模下表现不同，通过实验验证了动态tanh方法在不同参数和token规模下的效果差异。
2026-04-25 cs.CL cs.LG
From Storage to Access: Verifiable Activation of Parametric Knowledge in LLMs via Explicit Priming and Implicit Reasoning
ByteDance（字节跳动）；Huazhong University of Science and Technology（华中科技大学）
本研究提出VAKE框架，通过两阶段强化学习将LLM的显式知识提取能力迁移至隐式推理，可激活参数化知识，在多基准上优于基线且具备跨数据集迁移性。
2026-08-20 cs.AI cs.CL cs.LG
Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations
National Taiwan University（国立台湾大学）
卷积神经网络（CNN）在广泛的领域中取得了卓越的性能。然而，激活的密集存储器访问引入了相当大的能量消耗，阻碍了CNN在资源受限的边缘设备上的部署。激活压缩中的现有工作提出变换特征图以获得更高的可压缩性，从而实现降维。然而，在激进的降维的情况下，这些方法导致严重的精度下降。为了提高分类精度和压缩比之间的权衡，我们提出了一个压缩感知投影系统，它采用了可学习的投影来补偿重建损失。此外，贪婪的选择度量被引入到优化逐层压缩比分配，同时考虑精度和#比特减少。测试结果表明，在MobileNetV 2/ResNet 18/VGG 16上，本文提出的方法有效地减少了2.91倍~ 5.97倍的内存访问，而精度下降可以忽略不计。
2021-10-17 cs.CV cs.LG eess.SP
Spectral Gating via Damped Oscillations for Adaptive Implicit Neural Representations
University of Bologna（博洛尼亚大学）；Ca’ Foscari University of Venice（威尼斯大学）
提出将神经元激活建模为受迫阻尼谐振子的稳态响应，通过联合优化振荡器参数和网络权重，实现自适应谱门控，无需显式正则化即可从粗到细学习。
2026-09-04 cs.CV cs.LG
Zoneout: Regularizing RNNs by Randomly Preserving Hidden Activations
MILA, Université de Montréal（蒙特利尔大学 MILA）；École Polytechnique de Montréal（蒙特利尔理工学院）
我们提出了zoneout，一种正则化RNN的新方法。在每一个时间步，zoneout随机数强制一些隐藏的单位保持它们以前的值。与dropout一样，zoneout使用随机噪声来训练伪集成，从而提高泛化能力。但是通过保留而不是丢弃隐藏单元，梯度信息和状态信息更容易在时间上传播，就像在前馈随机深度网络中一样。我们对各种RNN正则化器进行了实证调查，发现zoneout在任务中提供了显着的性能改进。我们在Penn Treebank和Text8数据集上使用相对简单的模型在字符和单词级别的语言建模中取得了有竞争力的结果，并结合经常性的批量归一化在排列顺序MNIST上产生了最先进的结果。
2017-09-22 cs.CL cs.LG cs.NE
Beyond Heuristics: Globally Optimal Configuration of Implicit Neural Representations
Department of Computer Science, Florida State University（佛罗里达州立大学计算机科学系）
针对隐式神经表示配置依赖启发式与人工调参的问题，提出 OptiINR 框架，利用贝叶斯优化联合搜索激活函数族与初始化参数，获得全局最优配置并提升跨应用性能。
2025-09-27 cs.LG
Data Diversity as Implicit Regularization: How Does Diversity Shape the Weight Space of Deep Neural Networks?
School of Computing and Augmented Intelligence（计算与增强智能学院）；School of Mathematical and Natural Sciences（数学与自然科学学院）；Arizona State University（亚利桑那州立大学）
本文利用随机矩阵理论分析数据多样性对深度神经网络权重谱分布的影响，发现其作用类似隐式正则化且更接近dropout，并提出度量指标以比较传统数据增强与合成数据引入的多样性收益。
2025-08-15 cs.AI cs.LG
Zebra: Memory Bandwidth Reduction for CNN Accelerators With Zero Block Regularization of Activation Maps
National Chiao Tung University（国立交通大学）
本地缓冲区和外部DRAM之间的大量内存带宽已经成为CNN硬件加速器的加速瓶颈，特别是对于激活图。为了减少内存带宽，我们提出了学习修剪不重要的块动态零块正则化的激活映射（斑马）。该策略计算量小，易于与其他剪枝方法集成，提高了性能。实验结果表明，该方法结合网络瘦身技术，在精度下降1%，精度提高2%的情况下，可以将Tiny-Imagenet上Resnet-18的内存带宽减少70%.
2022-05-02 cs.AR cs.CV cs.LG
Algorithmic Regularization in Over-parameterized Matrix Sensing and Neural Networks with Quadratic Activations
Princeton University（普林斯顿大学）；Facebook AI Research（脸书人工智能研究院）；Stanford University（斯坦福大学）
我们表明，梯度下降算法提供了一个隐式的正则化效果在学习过参数化矩阵分解模型和一个隐藏层神经网络与二次激活。具体地说，我们表明，给定$\tilde{O}(dr^{2})$随机线性测量秩$r$半正定矩阵$X^{\star}$，我们可以恢复$X^{\star}$参数化它的$UU^\top$与$U\in \mathbb R^{d\times d}$和最小化平方损失，即使$r \ll d$。我们证明，从一个小的初始化，梯度下降恢复$X^{\star}$在$\tilde{O}(\sqrt{r})$迭代近似。结果解决了Gunasekar等人的猜想。'17在限制等距属性下。该技术可以应用于分析神经网络与一个隐藏层的二次激活的一些技术修改。
2019-02-14 cs.DS cs.LG math.OC
Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks
University of Oxford（牛津大学）；Instadeep Ltd（Instadeep有限公司）；University of Southern California（南加州大学）
我们证明了梯度下降的线性收敛到一个全局最优的深度残差网络的训练与恒定的层宽度和光滑的激活函数。我们表明，如果训练的权重，作为一个函数的层索引，承认一个缩放限制的深度增加，那么限制有有限的$p-$变化与$p=2$。证明是基于非渐近估计的损失函数和范数的网络权重沿梯度下降path.We说明了我们的理论结果的相关性，实际设置使用详细的数值实验监督学习问题。
2023-01-25 cs.LG math.OC
Unveiling the Potential of Superexpressive Networks in Implicit Neural Representations
Arizona State University（亚利桑那州立大学）；TelePIX；LG CNS；KAIST（韩国科学技术院）
本研究探讨超表达能力网络在隐式神经表示中的潜力，通过基准任务验证其结构优势，可超越使用专门激活函数的现有方法。
2025-03-27 cs.LG
Uncertainty modeling for fine-tuned implicit functions
ETH AI Center（ETH AI中心）；ETH Zürich（苏黎世联邦理工学院）；Genentech（基因泰克公司）；Balgrist University Hospital（巴尔格里斯特大学医院）；USZ（苏黎世大学医院）；EPFL（洛桑联邦理工学院）
针对隐式函数重建因输入稀疏、分布偏移导致的结果可靠性问题，提出新型不确定性估计方法Dropsembles，经实验验证其能以远低于深度集成的计算成本达到相当的准确率与校准水平。
2025-03-21 cs.AI cs.CV cs.LG
ThinkingGuard: Decoding Implicit Hazards via Step-by-Step Risk Attribution in Multimodal Large Language Models
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；State Key Laboratory of AI Safety（人工智能安全国家重点实验室）
本文提出ThinkingGuard，一种通过逐步风险归因和结构化推理训练来检测多模态大语言模型中隐含危害的防护模型，并构建了首个风险组合性数据集TriggerBench。
2026-09-30 cs.AI cs.CV cs.LG
Intraclass clustering: an implicit learning ability that regularizes DNNs
ICTEAM, Université catholique de Louvain（天主教鲁汶大学 ICTEAM 学院）；FNRS（比利时国家科学研究基金会）
一些研究表明，深度神经网络泛化性能背后的正则化机制仍然知之甚少。在本文中，我们假设深度神经网络通过其在类的样本中提取有意义的聚类的能力而被正则化。这是一种隐性的正规化形式，因为没有针对这种行为的明确培训机制或监督。为了支持我们的假设，我们根据训练数据的神经元级和层级表示设计了四种不同的类内聚类度量。然后，我们表明，这些措施构成了准确的预测泛化性能的变化，一个大的超参数集（学习率，批量大小，优化器，权重衰减，辍学率，数据增强，网络深度和宽度）。
2021-03-11 cs.AI cs.CV cs.LG
