Shifting Mean Activation Towards Zero with Bipolar Activation Functions
我们提出了一个简单的扩展ReLU家族的激活函数，使他们能够移动的平均激活跨层向零。结合适当的权重初始化，这就减少了对归一化层的需求。我们探索了多达144层的深度香草递归神经网络（RNN）的训练，并表明双极激活函数有助于在这种情况下学习。在Penn Treebank和Text 8语言建模任务中，我们获得了有竞争力的结果，改进了非门控网络的最佳报告结果。在没有批量标准化的卷积神经网络的实验中，我们发现双极激活会更快地降低训练误差，并导致CIFAR-10分类任务的测试误差更低。
2018-03-15 cs.LG cs.NE stat.ML
RepAct: The Re-parameterizable Adaptive Activation Function
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息工程学院）
本文提出可重参数化自适应激活函数 RepAct，通过多分支可学习权重提升轻量级网络性能，在 MobileNetV3-Small 上较传统激活函数提升最高 7.92% 准确率且计算复杂度与 HardSwish 相当。
2024-06-28 cs.AI cs.CV cs.LG
PEA: Improving the Performance of ReLU Networks for Free by Using Progressive Ensemble Activations
Continental AI Development Center（大陆集团人工智能开发中心）
近年来，人们提出了新的激活函数来提高神经网络的性能，与ReLU相比，它们表现出更好的性能。然而，在某些环境中，复杂激活的可用性是有限的，通常只支持ReLU。在本文中，我们提出了一些方法，可以通过在模型训练期间使用这些有效的新激活来提高ReLU网络的性能。更具体地说，我们提出了由ReLU和这些新激活之一组成的集成激活。此外，集合的系数既不是固定的，也不是学习的，而是在训练过程中逐步更新的，在训练结束时，只有ReLU激活在网络中保持活跃，其他激活可以被删除。这意味着在推理时间内，网络只包含ReLU激活。我们使用各种紧凑的网络架构和各种新颖的激活函数对ImageNet分类任务进行了广泛的评估。结果表明，0.2-0.8%的前1精度增益，这证实了所提出的方法的适用性。此外，我们还展示了所提出的语义分割方法，并在Cityscapes数据集上将紧凑分割网络的性能提高了0.34% mIOU。
2022-07-28 cs.CV cs.LG
LAB: Learnable Activation Binarizer for Binary Neural Networks
TU Delft（代尔夫特理工大学）；Shell Global Solutions International B.V.（壳牌全球解决方案国际有限公司）
二进制神经网络（BNN）因将耗电量大的深度学习引入边缘设备而受到极大关注。这个领域的传统智慧是使用sign（）来二进制化特征图。我们论证并说明了sign（）是一个唯一性瓶颈，限制了整个网络的信息传播。为了缓解这个问题，我们建议取消sign（），用一个可学习的激活二进制化器（LAB）代替它，允许网络每层学习一个细粒度的二进制化内核-而不是全局阈值。LAB是一种新型通用模块，可以无缝集成到现有架构中。为了证实这一点，我们将其插入到四个开创性的BNN中，并以可容忍的延迟和复杂性增加为代价，显示出相当大的性能提升。最后，我们围绕LAB构建了一个端到端的BNN（称为LAB-BNN），并证明它在ImageNet上实现了与最先进水平相当的竞争性能。
2022-10-25 cs.AI cs.CV cs.LG
On the existence of optimal shallow feedforward networks with ReLU activation
本文证明ReLU浅层前馈网络逼近连续函数时存在全局最优解，并通过构造搜索空间闭包及比较扩展函数性能，说明最优响应仍由ReLU网络实现。
2023-03-06 cs.LG cs.NA math.NA
Stable and Robust Deep Learning By Hyperbolic Tangent Exponential Linear Unit (TeLU)
University of South Florida（南佛罗里达大学）
本文提出TeLU激活函数，通过调整输出均值解决梯度消失/爆炸问题，在多种架构和数据集上表现优于ReLU等，成为潜在新标准。
2024-02-05 cs.LG cs.NE
CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation
University of California at Santa Barbara（加州大学圣巴巴拉分校）；University at Albany, SUNY（阿尔巴尼大学，SUNY）；Argonne National Laboratory（阿贡国家实验室）
针对大语言模型预训练计算资源消耗高的问题，提出利用低秩激活特性的CoLA及内存优化版CoLA-M，用自编码器替换全尺寸层，在保持全秩性能的同时大幅提升训练与推理效率、降低成本。
2025-10-01 cs.AI cs.LG
On Polynomial Approximation of Activation Function
在这项工作中，我们提出了一个有趣的方法，其目的是近似激活函数在某些域的多项式的预设低次。该方法的主要思想可以看作是普通最小二乘法的扩展，并将激活函数的梯度包含在成本函数中以最小化。
2022-01-29 cs.CR cs.LG
AReLU: Attention-based Rectified Linear Unit
National University of Defense Technology（国防科技大学）
逐元素激活函数通过影响表达能力和学习动力在深度神经网络中起着关键作用。基于学习的激活函数最近获得了越来越多的关注和成功。我们提出了一个新的视角，通过制定他们与元素明智的注意力机制可学习的激活函数。在每个网络层中，我们设计了一个注意力模块，该模块学习预激活特征图的基于元素、基于符号的注意力图。注意力地图基于元素的符号来缩放元素。将注意力模块与整流线性单元（ReLU）相结合，可以放大正元素，抑制负元素，两者都具有学习的数据自适应参数。我们硬币产生的激活函数基于注意力的整流线性单元（AReLU）。注意力模块本质上是学习输入的激活部分的元素残差，因为ReLU可以被视为一种身份转换。这使得网络训练更能抵抗梯度消失。学习的注意激活导致特征图的相关区域的集中激活。通过广泛的评估，我们表明，AReLU显着提高了大多数主流网络架构的性能，每层仅引入两个额外的可学习参数。值得注意的是，AReLU有助于在小学习率下进行快速网络训练，这使得它特别适合迁移学习和元学习的情况。我们的源代码已经发布（请参阅https：//github.com/densechen/AReLU）。
2020-10-02 cs.LG cs.NE stat.ML
Mesa: A Memory-saving Training Framework for Transformers
Monash University（莫纳什大学）
人们对设计高性能Transformers的兴趣激增。虽然Transformers已经提供了显着的性能改进，但由于在反向传播期间存储梯度计算所需的所有中间激活，训练此类网络是非常内存密集的，特别是对于长序列。为此，我们提出了Mesa，一个节省内存的Transformers训练框架。具体来说，Mesa在前向传递过程中使用精确的激活，同时存储低精度版本的激活，以减少训练过程中的内存消耗。然后在反向传播期间对低精度激活进行去量化以计算梯度。此外，为了解决多头自注意层中激活分布的异质性问题，提出了一种头级激活量化策略，该策略根据每个头的统计信息对激活进行量化，以最小化近似误差。为了进一步提高训练效率，我们通过运行估计来学习量化参数。更重要的是，通过将节省的内存重新投资于采用更大的批处理大小或按比例放大模型大小，我们可以在有限的计算资源下进一步提高性能。在ImageNet、CIFAR-100和ADE 20 K上进行的大量实验表明，Mesa可以在训练期间实现灵活的内存节省（高达50%），同时实现相当甚至更好的性能。代码可在https://github.com/ziplab/Mesa上获得。
2022-08-29 cs.CV cs.LG
Balanced Activation for Long-tailed Visual Recognition
Innova（英诺瓦）
深度分类器在视觉识别中取得了巨大的成功。然而，现实世界的数据本质上是长尾的，导致训练和测试分布之间的不匹配。在本报告中，我们介绍了平衡激活（平衡Softmax和平衡Sigmoid），这是Sigmoid和Softmax激活函数的一个优雅的无偏和简单的扩展，以适应目标检测中训练和测试之间的标签分布偏移。我们推导出多类Softmax回归的泛化界，并证明我们的损失最小化了界。在我们的实验中，我们证明了平衡激活通常在LVIS-1.0上提供约3%的mAP增益，并且在不引入任何额外参数的情况下优于当前最先进的方法。
2020-08-24 cs.LG stat.ML
ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models
Tsinghua University（清华大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tencent Machine Learning Platform（腾讯机器学习平台）
针对 LLM 缺乏固有激活稀疏性且高稀疏与性能难以兼顾的问题，本文提出 ProSparse，通过 ReLU 替换和多阶段正弦渐进正则化，在多个 LLaMA2 与 MiniCPM 模型上实现最高 89.32% 稀疏率及 4.52 倍推理加速。
2025-01-07 cs.AI cs.CL cs.LG
Cooperative Initialization based Deep Neural Network Training
IIT Kanpur（印度理工学院坎普尔分校）
研究人员提出了各种激活函数。这些激活函数帮助深度网络学习非线性行为，对训练动态和任务性能产生重大影响。这些激活的性能还取决于权重参数的初始状态，即，不同的初始状态导致网络性能的差异。在本文中，我们提出了一种使用ReLU激活函数训练深度网络的合作初始化方法，以提高网络性能。我们的方法使用多个激活函数在最初的几个时期的更新的所有权重参数集，同时训练网络。这些激活函数相互协作，克服了它们在权值参数更新方面的缺点，从而有效地学习了更好的“特征表示”，并在以后提高了网络性能。基于协同初始化的训练也有助于减少过拟合问题，并且在提高性能的同时不会增加最终模型中的参数数量和推断（测试）时间。实验表明，我们的方法优于各种基线，同时，在各种任务，如分类和检测表现良好。在CIFAR-100数据集上，使用我们的方法训练的模型的Top-1分类准确率对于VGG-16提高了2.8%，对于ResNet-56提高了2.1%。
2020-01-05 cs.CV cs.LG
N-ReLU: Zero-Mean Stochastic Extension of ReLU
Department of Computer Science Rensselaer Polytechnic Institute（计算机科学系伦塞拉尔理工大学）；Department of Biomedical Engineering Rensselaer Polytechnic Institute（生物医学工程系伦塞拉尔理工大学）
针对ReLU的死亡神经元问题，提出零均值随机扩展N-ReLU，用高斯噪声替换负激活值且保持输出期望不变，在MNIST数据集的MLP和CNN架构上实验显示其精度相当或略优，收敛稳定且无死亡神经元，增强优化鲁棒性。
2025-11-10 cs.AI cs.LG
Deriving Activation Functions Using Integration
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
提出基于积分推导激活函数的新方法，设计了可训练分段激活函数xIELU，结合ReLU$^2$和xSiLU的特性处理正负输入，在Llama模型实验中以相同计算和参数成本实现了比ReLU$^2$和SwiGLU更低的困惑度。
2025-01-31 cs.LG cs.NE
Towards an understanding of CNNs: analysing the recovery of activation pathways via Deep Convolutional Sparse Coding
University of Oxford（牛津大学）；The Alan Turing Institute（阿兰·图灵研究所）
深度卷积稀疏编码（D-CSC）是一种让人想起深度卷积神经网络（DCNN）的框架，但通过省略字典的学习，可以更透明地分析激活函数的作用及其通过层恢复激活路径的能力。Papyan、Romano和Elad对这种架构进行了分析，展示了与DCNN的关系，并证明了保证D-CSC恢复特定激活路径的条件。他们工作的一项技术创新突出表明，人们可以通过张量稀疏性的新变体（称为条带稀疏性）来查看DCNN的ReLU非线性激活函数的功效。利用这一点，他们证明了具有与数据的环境维度成比例的激活密度的表示是可恢复的。我们将其统一的保证扩展到修改后的模型，并证明了具有高概率的真实激活通常可以恢复为每层更大的激活密度。我们的扩展如下，将以前的工作一步阈值Schnass和Vandergheynst。
2021-06-01 cs.LG stat.ML
Activation function optimization method: Learnable series linear units (LSLUs)
Southwest University（西南大学）；Yibin Academy of Southwest University（西南大学宜宾研究院）；Sichuan Academy of Agricultural Sciences（四川省农业科学院）
本研究结合清华与华为诺亚实验室的思路，提出基于级数的可学习激活函数LSLU，通过可学习参数适配训练阶段提升非线性，在多数据集上验证其能提升模型泛化能力、加快训练，在VanillaNet的CIFAR100任务上精度提升3.17%。
2024-08-28 cs.CV cs.LG
Shifting-based Optimizable Linear Relaxations for General Activation Functions
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用科学大学）
提出SLiR方法，通过斜率参数化和平移过程生成任意激活函数的线性松弛，在保持正确性的同时实现高效优化，验证属性数量比现有方法多7.8倍。
2026-06-19 cs.LG cs.LO
Deep Network Approximation: Beyond ReLU to Diverse Activation Functions
本文研究了深度神经网络对多种激活函数的表达能力，证明了ReLU网络可通过特定激活函数网络近似，且在特定子集下可进一步减小规模参数。
2026-06-24 cs.LG stat.ML
Prototype Training with Dual Pseudo-Inverse and Optimized Hidden Activations
Department of Energy and Systems Engineering, University of Pisa（能源与系统工程系，比萨大学）
提出快速训练范式Proto-PINV+H，通过闭式双伪逆计算权重并以Adam优化原型与隐藏激活，在MNIST等数据集上实现高精度与高效率的优异权衡。
2025-08-13 cs.AI cs.LG
Universal Approximation with Deep Narrow Networks
University of Oxford（牛津大学）
经典的通用逼近定理适用于任意宽度和有界深度的神经网络。在这里，我们考虑自然的“双”的情况下，网络的宽度和任意深度。确切地说，令$n$为输入神经元的数目，$m$为输出神经元的数目，令$ρ$为任何非仿射连续函数，在某点具有连续非零导数。然后，我们证明了任意深度，宽度$n + m + 2$和激活函数$ρ$的神经网络类在$C(K; \mathbb{R}^m)$中是稠密的，对于$K \subseteq \mathbb{R}^n$，具有$K$紧。这涵盖了在实践中可能使用的每一个激活函数，并且还包括多项式激活函数，这与该定理的经典版本不同，并且提供了深窄网络和浅宽网络之间的质的差异。然后，我们考虑这个结果的几个扩展。特别是我们考虑无处可微的激活函数，密度在非紧域的$L^p$ -范数，以及如何宽度可能会减少到只是$n + m + 1$的“最”激活函数。
2020-06-08 cs.LG math.CA stat.ML
Multikernel activation functions: formulation and a case study
Sapienza University of Rome（罗马第一大学）；Roma Tre University（罗马第三大学）
激活函数的设计是神经网络领域中一个不断发展的研究领域。特别地，代替使用固定逐点函数（例如，整流线性单元），几个作者已经提出了以非参数方式直接从数据学习这些函数的方法。在本文中，我们专注于内核激活函数（KAF），最近提出的框架，其中每个函数被建模为一个一维的内核模型，其权重是通过标准的反向传播为基础的优化适应。KAF的一个缺点是需要选择单个核函数及其最终的超参数。为了部分克服这个问题，我们激励KAF模型的扩展，其中多个内核在每个神经元处线性组合，这是受到多内核学习文献的启发。我们提供了一个应用程序的结果多KAF上的一个现实的用例，特别是手写拉丁OCR，在一个大型数据集收集的背景下的“在Codice比率”项目。结果表明，多KAF可以提高先前为该任务开发的卷积网络的准确性，收敛速度更快，即使总体参数数量更少。
2019-01-29 cs.LG stat.ML
Effect of Activation Functions on the Training of Overparametrized Neural Nets
Microsoft Research India（微软印度研究院）；Cornell University（康奈尔大学）
众所周知，使用基于梯度的方法训练的过参数化神经网络通过适当的超参数设置可以快速实现小的训练误差。最近的论文在合理的假设下从理论上证明了这一说法。这些结果或者假设激活函数是ReLU，或者它们关键地取决于某个Gram矩阵的最小特征值，这取决于数据、随机初始化和激活函数。在后一种情况下，现有的作品只证明了这个最小特征值是非零的，并没有提供定量的界限。在经验方面，当代的研究已经提出了一些替代的激活函数，它们至少在某些设置中往往比ReLU表现得更好，但没有出现明确的理解。这种状况强调了从理论上理解激活函数对训练的影响的重要性。在本文中，我们提供的理论结果的影响，激活函数的高度过参数化的2层神经网络的训练。控制激活性能的一个关键属性是它是否平滑。对于ReLU、SELU和ELU等非平滑激活，在对数据的最小假设下，相关Gram矩阵的所有特征值都很大。对于tanh，swish和多项式等平滑激活，情况更加复杂。如果数据所跨越的子空间具有小维度，则Gram矩阵的最小特征值可能很小，导致训练缓慢。但是如果维数很大，并且数据满足另一个温和的条件，那么特征值就很大。如果我们允许深度网络，那么小的数据维度不是限制，只要深度足够。我们讨论了一些扩展和应用这些结果。
2020-04-10 cs.LG stat.ML
DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware Efficiency of Compact Neural Networks
Rice University（莱斯大学）；Meta Inc（元公司）
本文提出DepthShrinker框架，通过训练后移除激活函数并将不规则紧凑算子收缩为密集算子，在保持精度的同时显著提升紧凑DNN的真实硬件效率与吞吐量。
2025-01-04 cs.CV cs.LG
Lifted Neural Networks
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊甸伯勒大学）
我们描述了一种新的多层前向神经网络模型族，其中激活函数通过训练问题中的惩罚进行编码。我们的方法是基于代表一个非递减的激活函数作为一个适当的凸优化问题的argmin。新框架允许应用诸如块坐标下降方法的算法，其中每个步骤由简单（无隐藏层）的监督学习问题组成，该问题在数据点和/或层之间是可并行的。实验结果表明，所提出的模型为标准神经网络的权值提供了很好的初始猜测。此外，该模型提供了有趣的扩展途径，如对噪声输入的鲁棒性和优化参数的激活函数。
2018-06-21 cs.LG stat.ML
Improved deterministic l2 robustness on CIFAR-10 and CIFAR-100
University of Maryland, College Park（马里兰大学帕克分校）
在$l_{2}$范数下用严格的Lipschitz约束训练卷积神经网络（CNN）对于可证明的对抗鲁棒性、可解释的梯度和稳定的训练是有用的。虽然$1$-Lipschitz CNN可以通过在每层上强制执行$1$-Lipschitz约束来设计，但训练这样的网络需要每层具有正交雅可比矩阵（对于所有输入），以防止梯度在反向传播期间消失。具有此属性的层称为梯度范数保持（GNP）。在这项工作中，我们引入了一个程序来证明$1$ -Lipschitz CNN的鲁棒性，通过放松网络的最后一个线性层的正交化，显着提高了CIFAR-100上标准和可证明的鲁棒精度的最新水平（分别为$4.80\%$和$4.71\%$的增益）。我们通过引入（i）一个新的梯度范数保持激活函数称为Householder激活函数（包括每个$\mathrm{GroupSort}$激活）和（ii）证书正则化来进一步提高其鲁棒性。在CIFAR-10上，我们在可证明的鲁棒精度（$5.81\%$）方面取得了显着的改进，而标准精度（$-0.29\%$）只有轻微的下降。复制论文中所有实验的代码可在\url{https://github.com/singlasahil14/SOC}上获得。
2022-03-28 cs.LG
Adaptive Rational Activations to Boost Deep Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）；German Center for Artificial Intelligence（德国人工智能研究中心）；Hessian Center for Artifical Intelligence（黑森人工智能中心）；Centre for Cognitive Science（认知科学中心）
受生物学启发，本文提出循环有理激活函数替代静态激活，在Atari游戏中显著提升DQN性能，使其媲美DDQN和Rainbow。
2024-03-16 cs.LG
Turbo Sparse: Achieving LLM SOTA Performance with Minimal Activated Parameters
Institute of Parallel and Distributed Systems (IPADS), Shanghai Jiao Tong University（上海交通大学并行与分布式系统研究所（IPADS））；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出 dReLU 激活函数、高质量数据混合策略及 MoE FFN 稀疏模式利用方法，使 Mistral 与 Mixtral 仅激活少量参数即提升性能，并获得 2–5 倍解码加速。
2024-06-11 cs.CL cs.LG
Benchmarking Deception Probes via Black-to-White Performance Boosts
UCLA（加州大学洛杉矶分校）；Pivotal（Pivotal公司）；Apollo Research（Apollo研究所）
本文评估了欺骗探测器在白盒监控与黑盒监控之间的性能差异，发现现有探测器在黑盒到白盒的性能提升较为有限但具有积极效果。
2026-01-17 cs.AI cs.LG
Dynamic Stripes: Exploiting the Dynamic Precision Requirements of Activation Values in Neural Networks
University of Toronto（多伦多大学）
Stripes是一种深度神经网络（DNN）加速器，它使用位串行计算来提供与激活值的定点精度成比例的性能。固定点精度是使用剖析先验地确定的，并且以每层粒度选择。本文介绍了动态条纹，条纹的扩展，在运行时检测精度变化，并在更细的粒度。这一额外的精度降低水平使性能比Stripes提高了41%。
2017-06-01 cs.LG cs.NE
Activation Map Adaptation for Effective Knowledge Distillation
由于在嵌入式和移动设备上部署神经网络的需求，模型压缩成为最近的趋势。因此，准确性和效率都至关重要。为了寻求两者之间的平衡，本文提出了一种用于一般视觉表示学习的知识提取策略。它利用我们精心设计的激活图自适应模块来替换教师网络的一些模块，在训练过程中自适应地探索最合适的监督特征。利用教师隐层输出提示学生网络进行训练，传递有效的语义信息。实验结果表明，该方法可以使学生网络的准确率提高0.6%，损失减少6.5%，并显著提高了其训练速度。
2022-04-14 cs.CV cs.LG
Path Channels and Plan Extension Kernels: a Mechanistic Description of Planning in a Sokoban RNN
FAR.AI Berkeley（FAR.AI伯克利）
通过逆向工程分析无模型强化学习训练的卷积循环神经网络，发现其通过路径通道存储未来动作计划，并利用卷积核实现双向传播与回溯规划。
2026-05-26 cs.AI cs.LG
Cnvlutin2: Ineffectual-Activation-and-Weight-Free Deep Neural Network Computing
University of Toronto（多伦多大学）
我们讨论了对先前提出的用于深度学习网络的卷积层和全连接层的Cnvlutin（CNV）加速器的几个修改和扩展。我们首先描述被认为无效的激活的不同编码。编码具有不同的存储器开销和能量特性。我们建议在从内存中访问激活时使用一定程度的间接性，以通过仅存储有效的激活来减少其内存占用。我们还提出了一个修改后的组织，检测被认为是无效的，而从内存中获取它们的激活。这与原始设计不同，原始设计在前一层的输出处检测它们。最后，我们提出了一个扩展的CNV，也可以跳过无效的权重。
2017-04-29 cs.LG
Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations
Vanderbilt University（范德堡大学）；University of California, Davis（加州大学戴维斯分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
从非平稳输入数据流中持续/终身学习是智能的基石。尽管深度神经网络在各种各样的应用中表现出色，但在学习新信息时，它很容易忘记以前学习过的信息。这种现象被称为"灾难性遗忘"，深深植根于稳定性-可塑性困境。克服深度神经网络中的灾难性遗忘已成为近年来活跃的研究领域。特别地，基于梯度投影的方法最近在克服灾难性遗忘方面显示出优异的性能。本文提出了两种基于稀疏性和异质性辍学的生物启发机制，显着提高了连续学习者在长序列任务中的表现。我们提出的方法建立在梯度投影记忆（GPM）框架。我们在神经网络的每一层中利用k-winner激活来为每个任务执行逐层稀疏激活，以及任务间的异构dropout，鼓励网络在不同任务之间使用非重叠的激活模式。此外，我们还介绍了两个新的分布式转移下的持续学习基准，即Continual Swiss Roll和ImageNet SuperDog-40。最后，我们提供了一个深入的分析，我们提出的方法，并证明了各种基准持续学习问题的显着性能提升。
2022-07-08 cs.AI cs.CV cs.LG
YASENN: Explaining Neural Networks via Partitioning Activation Sequences
Sberbank AI Lab（俄罗斯联邦储蓄银行人工智能实验室）；Samsung AI Center in Moscow（三星莫斯科人工智能中心）；Stern School of Business, NYU（纽约大学斯特恩商学院）
我们介绍了一种新的方法，前馈神经网络解释的基础上划分的空间的神经元激活序列。根据这种方法，我们提出了一种特定于模型的解释方法，称为YASENN。我们的方法继承了模型不可知蒸馏的许多优点，例如能够专注于特定的输入区域，并根据与神经网络观察到的特征不同的特征来表达解释。此外，蒸馏误差的检查使该方法适用于低容忍度的解释错误的问题。从技术上讲，YASENN用分层梯度提升决策树的集合来提取网络，并用叶索引来编码神经元激活的序列。有限数量的唯一代码导致输入空间的划分。每个分区可以以各种方式来描述，包括检查被训练为在那些分区的对象之间进行区分的可解释模型（例如，逻辑回归或决策树）。我们的实验提供了一个直观的方法背后，并展示了揭示文物神经网络决策。
2018-11-07 cs.LG stat.ML
Spiking CenterNet: A Distillation-boosted Spiking Neural Network for Object Detection
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Fraunhofer IKS（弗劳恩霍夫认知系统研究所）；University of Bonn（波恩大学）
本文提出Spiking CenterNet，将脉冲神经网络CenterNet适配与M2U-Net解码器结合，用于事件数据目标检测，在GEN1数据集上以不到一半能耗显著超越已有方法，并首次在脉冲目标检测中引入知识蒸馏进一步提升性能。
2024-06-06 cs.CV cs.LG cs.NE
Long Short-Term Memory (LSTM) networks with jet constituents for boosted top tagging at the LHC
The University of British Columbia（不列颠哥伦比亚大学）；McGill University（麦吉尔大学）；Stanford University（斯坦福大学）
基于工程特征的多元技术在大型强子对撞机（LHC）强子顶衰变产生的喷流的识别中得到了广泛的应用。深度学习在这一领域的最新发展包括将量热计激活作为图像处理，或将射流成分动量列表提供给完全连接的网络。后一种方法非常适合使用递归神经网络。在这项工作中，探索了结合长短期记忆（LSTM）网络的架构的适用性。研究了几种网络结构、射流成分排序方法和输入预处理方法。性能最好的LSTM网络实现了100的背景抑制，信号效率为50%。这比在类似类型的输入上训练的完全连接的深度神经网络（DNN）提高了两倍以上。
2017-11-24 cs.LG hep-ex hep-ph
Loom: Exploiting Weight and Activation Precisions to Accelerate Convolutional Neural Networks
University of Toronto（多伦多大学）
介绍了一种用于卷积神经网络（CNN）的硬件推理加速器Loom（LM）。在LM中，可以节省的每一位数据精度都转化为成比例的性能增益。具体来说，对于卷积层，LM的执行时间与权重和激活的精度成反比。对于全连接层，LM的性能与权重的精度成反比。LM的目标是面积和带宽受限的片上系统设计，例如那些在移动设备上无法负担存储片上每层所需的多兆字节缓冲区的设计。因此，在给定数据带宽预算的情况下，LM相对于等效的位并行加速器提高了能量效率和性能。对于权重和激活，LM可以利用轮廓导出的每层精度。然而，在运行时，LM进一步以比层粒度小得多的粒度调整激活精度。此外，它可以自然地以比层更小的粒度利用权重精度可变性。平均而言，在几个图像分类CNN中，对于每个周期可以执行相当于128个16 b x 16 b乘法累加操作的配置，LM的性能比最先进的位并行加速器[1]高出4.38倍，而精度没有任何损失，同时能效高出3.54倍。LM可以在执行性能和能源效率的额外改进上权衡准确性，并且与仅针对激活精度的加速器相比是有利的。我们还研究了2位和4位LM变体，发现每周期2位变体是最节能的。
2018-05-16 cs.AR cs.DC cs.LG
Improved Activation Clipping for Universal Backdoor Mitigation and Test-Time Detection
Anomalee Inc.（Anomalee公司）；Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种改进的激活裁剪方法，通过显式限制分类间隔来缓解后门攻击，在CIFAR-10及多种攻击场景下表现优越，并扩展用于测试时检测与纠正。
2023-08-08 cs.CR cs.LG
End-to-End Convolutional Activation Anomaly Analysis for Anomaly Detection
Samsung R&D Institute Poland（波兰三星研发研究院）
本文提出端到端卷积激活异常分析方法E2E-CA$^3$，通过卷积自编码器与CNN报警网络结合分类损失和重构误差，在图像和表格数据上实现高效异常检测。
2024-11-21 cs.LG
Training for temporal sparsity in deep neural networks, application in video processing
IMEC（比利时微电子研究中心）
激活稀疏性提高了稀疏感知神经网络加速器的计算效率和资源利用率。由于DNN中的主要操作是具有权重的激活的乘法累加（MAC）以计算内积，因此跳过两个操作数中的（至少）一个为零的操作可以使推理在延迟和功率方面更有效。激活的空间稀疏性是DNN文献中的一个热门话题，并且已经建立了几种方法来偏置DNN。另一方面，时间稀疏性是生物启发的脉冲神经网络（SNN）的固有特征，神经形态处理利用该特征来提高硬件效率。引入和利用时空稀疏性是DNN文献中较少探索的主题，但与DNN的趋势完美共振，从静态信号处理转向更多的流信号处理。为了实现这一目标，在本文中，我们引入了一个新的DNN层（称为Delta激活层），其唯一目的是在训练期间促进激活的时间稀疏性。增量激活层将时间稀疏性转换为空间激活稀疏性，以便在硬件中执行稀疏张量乘法时加以利用。通过在训练过程中采用增量推理和“通常”的空间稀疏化算法，所得到的模型不仅学习利用空间激活稀疏性，而且学习利用时间激活稀疏性（对于给定的输入数据分布）。可以在普通训练或细化阶段使用Delta激活层。我们实现了Delta激活层作为标准Tensoflow-Keras库的扩展，并将其应用于在人类动作识别（UCF 101）数据集上训练深度神经网络。我们报告了激活稀疏性的近3倍改进，在较长时间的训练后模型准确性的可恢复损失。
2021-07-15 cs.CV cs.LG eess.IV
Relaxed activation analysis of dataflow networks - A clock calculus for machine learning and real-time scheduling
CHIPS JU Shift2SDV project（CHIPS JU Shift2SDV 项目）
研究针对现有Lustre时钟演算不适用于机器学习训练算法控制模式表示的问题，提出保守扩展，解决表达式繁琐和编译效率低的问题，以利于在反应式应用中嵌入机器学习模型。
2026-07-30 cs.LG cs.PL
FINN-L: Library Extensions and Design Trade-off Analysis for Variable Precision LSTM Networks on FPGAs
University of Kaiserslautern（凯泽斯劳滕大学）；Xilinx Research Labs（赛灵思研究院）
众所周知，许多类型的人工神经网络，包括递归网络，即使在低精度权重和激活的情况下也可以实现高分类精度。精度的降低通常在硬件成本、存储器要求、能量和可实现的吞吐量方面产生更有效的硬件实现。在本文中，我们提出了第一个系统的探索，这个设计空间作为双向长短期记忆（BiLSTM）神经网络的精度的函数。具体而言，我们使用完全硬件感知的训练流程对精度与准确度进行了深入研究，其中在训练过程中，考虑了网络的所有方面的量化，包括权重，输入，输出和存储单元激活。此外，硬件资源成本，功耗和吞吐量的可扩展性作为基于FPGA的BiLSTM实现的精度的函数，以及并行化硬件的多种方法进行了探讨。我们为FPGA上LSTM层的可参数化硬件架构提供了FINN的第一个开源HLS库扩展，它提供了完全的精度灵活性，并允许参数化性能扩展，在架构内提供不同级别的并行性。基于此库，我们提出了一个基于FPGA的BiLSTM神经网络加速器，该加速器专为光学字符识别设计，以及在给定设计空间内Zynq UltraScale+ XCZU7EV MPSoC的许多其他实验证明。
2018-07-11 cs.AR cs.CV cs.LG
Deep Gradient Boosting -- Layer-wise Input Normalization of Neural Networks
随机梯度下降（SGD）由于其许多理想的属性，一直是用于训练深度神经网络的主要优化方法。SGD的一个更显著和最不被理解的特性是，即使神经网络有数百万个参数，它也能相对较好地概括看不见的数据。我们假设，在某些情况下，它是可取的放松其固有的泛化性能，并引入一个扩展的SGD称为深梯度提升（DGB）。DGB的关键思想是使用链式规则推断的反向传播梯度可以被视为梯度提升问题的伪残差目标。因此，在神经网络的每一层，通过使用线性基学习器解决相应的提升问题来计算权重更新。由此产生的权重更新公式也可以被视为在前向传递期间到达每一层的数据的归一化过程。当作为一个单独的输入规范化层（INN）实现时，新的架构与没有规范化层的相同架构相比，在图像识别任务上表现出更好的性能。与批量归一化（BN）相反，INN没有可学习的参数，但它在CIFAR 10和ImageNet分类任务上的性能与之匹配。
2020-07-02 cs.LG stat.ML
Improving Neural Language Models with a Continuous Cache
Facebook AI Research（Facebook人工智能研究院）
我们提出了一个扩展神经网络语言模型，以适应他们的预测最近的历史。我们的模型是记忆增强网络的简化版本，它将过去的隐藏激活存储为记忆，并通过与当前隐藏激活的点积来访问它们。这种机制非常有效，可以扩展到非常大的内存大小。我们还绘制了神经网络中外部存储器的使用和基于计数的语言模型的缓存模型之间的联系。我们在几个语言模型数据集上证明，我们的方法比最近的记忆增强网络表现得更好。
2016-12-13 cs.CL cs.LG
