Empirical Evaluation of Rectified Activations in Convolutional Network
University of Alberta（阿尔伯塔大学）；Hong Kong University of Science and Technology（香港科技大学）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了卷积神经网络中不同类型的校正激活函数的性能：标准校正线性单元（ReLU）、漏校正线性单元（Leaky ReLU）、参数校正线性单元（PReLU）和一种新的随机漏校正线性单元（RReLU）。我们评估这些激活函数的标准图像分类任务。我们的实验表明，在整流激活单元中为负部分引入非零斜率可以始终如一地改善结果。因此，我们的研究结果对普遍认为稀疏性是ReLU良好性能的关键是负面的。此外，在小规模数据集上，使用确定性负斜率或学习它都容易出现过拟合。它们不像使用随机对应物那样有效。通过使用RReLU，我们在CIFAR-100测试集上获得了75.68%的准确率，无需多次测试或集成。
2015-11-27 cs.CV cs.LG stat.ML
Binarized Convolutional Neural Networks for Efficient Inference on GPUs
Tampere University of Technology（坦佩雷理工大学）
卷积神经网络最近在各种图像分类任务中取得了重大突破。然而，它们在计算上是昂贵的，这使得它们在嵌入式和低功耗设备上的可行实现变得困难。在本文中，卷积神经网络二值化实现基于GPU的平台上的实时推理资源受限的设备。在二进制化网络中，层之间的所有权重和中间计算都被量化为+1和-1，允许乘法和加法被32位字之间的逐位操作取代。这种表示完全消除了对浮点乘法和加法的需要，与浮点实现的全精度网络相比，减少了计算负载和内存占用，使其非常适合资源受限的环境。我们比较我们的实现与一个桌面和两个嵌入式GPU平台上的等效浮点实现的性能。我们的实现达到了最高速度7. 4倍，与参考实现相比，准确度仅损失4.4%。
2018-08-01 cs.LG stat.ML
Accelerating Convolutional Neural Networks via Activation Map Compression
Samsung Semiconductor, Inc.（三星半导体公司）
深度学习革命为我们带来了广泛的神经网络架构，这些架构在各种计算机视觉任务中实现了最先进的性能，包括分类、检测和分割。与此同时，我们也一直在观察计算和内存需求的前所未有的需求，使神经网络在低功耗设备中的有效使用几乎无法实现。为此，我们提出了一个三阶段的压缩和加速管道，稀疏化，量化和熵编码的卷积神经网络的激活地图。稀疏化增加了激活图的表示能力，从而加快了推理速度和更高的模型准确性。Inception-V3和MobileNet-V1可以加速多达$1.6\times$，分别在ImageNet和CIFAR-10数据集上提高$0.38\%$和$0.54\%$的准确性。量化和熵编码较稀疏的激活图导致比基线更高的压缩，降低了网络执行的内存成本。量化为$16$位的Inception-V3和MobileNet-V1激活映射被压缩了$6\times$，分别增加了$0.36\%$和$0.55\%$的准确度。
2019-03-27 cs.AI cs.CV cs.LG
Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations
National Taiwan University（国立台湾大学）
卷积神经网络（CNN）在广泛的领域中取得了卓越的性能。然而，激活的密集存储器访问引入了相当大的能量消耗，阻碍了CNN在资源受限的边缘设备上的部署。激活压缩中的现有工作提出变换特征图以获得更高的可压缩性，从而实现降维。然而，在激进的降维的情况下，这些方法导致严重的精度下降。为了提高分类精度和压缩比之间的权衡，我们提出了一个压缩感知投影系统，它采用了可学习的投影来补偿重建损失。此外，贪婪的选择度量被引入到优化逐层压缩比分配，同时考虑精度和#比特减少。测试结果表明，在MobileNetV 2/ResNet 18/VGG 16上，本文提出的方法有效地减少了2.91倍~ 5.97倍的内存访问，而精度下降可以忽略不计。
2021-10-17 cs.CV cs.LG eess.SP
Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks
Vellore Institute of Technology（韦洛尔理工学院）；Red Hat Inc.（红帽公司）
本文提出新型振荡激活函数增长余弦单元（GCU，$C(z)=z\boldsymbol{\text{cos}}z$），证明其可改善梯度流动、减小网络规模，在多种架构和基准测试中性能优于现有激活函数。
2023-01-12 cs.CV cs.LG cs.NE
Quantizing Convolutional Neural Networks for Low-Power High-Throughput Inference Engines
Xilinx Inc（赛灵思公司（Xilinx Inc））
深度学习作为一种推理手段，由于其多功能性和接近或超过人类水平准确性的能力，它已经激增。这些计算模型似乎对计算资源有着无法满足的胃口，不仅在训练时如此，而且在从数据中心一直到嵌入式设备的大规模部署时也是如此。因此，在给定有限的硬件和能量资源的情况下，越来越多地考虑使计算效率最大化，并且因此，以降低的精度进行推理已经成为用于浮点运算的IEEE 754标准的可行替代方案。我们提出了一个量化方案，允许使用算术进行推理，这是从根本上更有效的，甚至半精度浮点相比。我们的量化过程是重要的，因为我们通过使用单个推理批而不是（重新）训练来校准其参考浮点模型来确定我们的量化方案参数，并实现与参考模型相当的端到端后量化精度。
2018-05-21 cs.AI cs.CV cs.LG
Deep Aggregation of Regional Convolutional Activations for Content Based Image Retrieval
HTW Berlin（柏林应用科学大学（HTW柏林））
基于深度学习的图像检索的关键挑战之一仍然是将卷积激活聚合成一个高度代表性的特征向量。理想情况下，这个描述符应该编码语义，空间和低级别的信息。尽管现成的预训练神经网络已经可以结合聚合方法产生良好的表示，但对图像检索任务进行适当的微调已显示出显着提高检索性能。在本文中，我们提出了一个简单而有效的监督聚合方法建立在现有的区域池的方法。除了给定区域的最大激活之外，我们还计算提取的特征图的区域平均激活。随后，学习每个池化特征向量的权重以执行对单个特征向量的加权聚合。此外，我们将新提出的NRA损失函数应用于深度度量学习，以微调骨干神经网络并学习聚合权重。我们的方法在INRIA假日数据集上取得了最先进的结果，在牛津建筑和巴黎数据集上取得了有竞争力的结果，同时显著减少了训练时间。
2019-09-24 cs.CV cs.IR cs.LG
Neural gradients are near-lognormal: improved quantized and sparse training
Habana Labs – An Intel company（哈巴纳实验室——英特尔旗下公司）；Department of Electrical Engineering - Technion（以色列理工学院电气工程系）
虽然训练可以通过减少在整个模型中传播神经梯度所需的时间来加速，但大多数以前的工作都集中在权重和激活的量化/修剪上。这些方法通常不适用于具有非常不同的统计特性的神经梯度。区别于权重和激活，我们发现神经梯度的分布近似对数正态分布。考虑到这一点，我们提出了两个封闭形式的分析方法，以减少神经梯度的计算和记忆负担。第一种方法优化了梯度的浮点格式和比例。第二种方法准确地设置稀疏阈值梯度修剪。每种方法都在ImageNet上实现了最先进的结果。据我们所知，这篇论文是第一篇（1）将梯度转换为6位浮点格式，或者（2）实现高达85%的梯度稀疏性-在每种情况下都不会降低精度。参考实现随附在本文中。
2020-10-12 cs.CV cs.LG
Training with Mixed-Precision Floating-Point Assignments
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
提出一种为卷积神经网络生成混合精度浮点分配的技术，在保持训练精度的同时实现超过2倍的内存减少，并避免训练发散，优于先前方法。
2023-06-23 cs.LG
ADaPTION: Toolbox and Benchmark for Training Convolutional Neural Networks with Reduced Numerical Precision Weights and Activation
深度神经网络（DNN）和卷积神经网络（CNN）对于机器学习中的许多实际任务都很有用。深度网络内的突触权重以及神经元激活函数通常以高精度格式（例如，32位浮点）存储。然而，由于存储容量是有限的，并且每次存储器访问都消耗功率，因此存储容量和存储器访问是这些网络中的两个关键因素。在这里，我们提出了一种方法，并提出了ADaPTION工具箱来扩展流行的深度学习库Caffe，以支持使用固定点表示法降低权重和激活的数值精度的深度CNN的训练。ADaPTION包括用于测量权重和激活的动态范围的工具。使用ADaPTION工具，我们将几个CNN（包括VGG 16）量化为16位权重和激活，Top-1准确度仅下降0.8%。量化，特别是激活，导致增加高达50%的稀疏性，特别是在早期和中间层，我们利用它来跳过与零的乘法，从而执行更快和计算更便宜的推理。
2017-11-13 cs.LG
End-to-End Convolutional Activation Anomaly Analysis for Anomaly Detection
Samsung R&D Institute Poland（波兰三星研发研究院）
本文提出端到端卷积激活异常分析方法E2E-CA$^3$，通过卷积自编码器与CNN报警网络结合分类损失和重构误差，在图像和表格数据上实现高效异常检测。
2024-11-21 cs.LG
Towards an understanding of CNNs: analysing the recovery of activation pathways via Deep Convolutional Sparse Coding
University of Oxford（牛津大学）；The Alan Turing Institute（阿兰·图灵研究所）
深度卷积稀疏编码（D-CSC）是一种让人想起深度卷积神经网络（DCNN）的框架，但通过省略字典的学习，可以更透明地分析激活函数的作用及其通过层恢复激活路径的能力。Papyan、Romano和Elad对这种架构进行了分析，展示了与DCNN的关系，并证明了保证D-CSC恢复特定激活路径的条件。他们工作的一项技术创新突出表明，人们可以通过张量稀疏性的新变体（称为条带稀疏性）来查看DCNN的ReLU非线性激活函数的功效。利用这一点，他们证明了具有与数据的环境维度成比例的激活密度的表示是可恢复的。我们将其统一的保证扩展到修改后的模型，并证明了具有高概率的真实激活通常可以恢复为每层更大的激活密度。我们的扩展如下，将以前的工作一步阈值Schnass和Vandergheynst。
2021-06-01 cs.LG stat.ML
Neural Network Structure Design based on N-Gauss Activation Function
Beijing Institute of Technology（北京理工大学）
最近的工作表明，卷积神经网络的激活函数满足Lipschitz条件，那么可以根据数据集的规模构造相应的卷积神经网络结构，对数据集进行更深入、更准确、更有效的训练。在本文中，我们接受了实验结果，并介绍了核心块N-Gauss，N-Gauss和Swish（Conv 1，Conv 2，FC 1）神经网络结构设计训练MNIST，CIFAR 10和CIFAR 100分别。实验表明，N-Gauss充分发挥了激活函数非线性建模的主要作用，使深度卷积神经网络具有层次化的非线性映射学习能力。同时，N-Gauss在简单一维通道小数据集上的训练能力与ReLU和Swish的性能相当。
2021-06-01 cs.AI cs.CV cs.LG
The Impact of Activation Sparsity on Overfitting in Convolutional Neural Networks
University of Muenster（明斯特大学）
过拟合是训练卷积神经网络时的基本挑战之一，通常通过发散的训练和测试损失来识别。然而，激活流如何诱导过拟合的潜在动力学却知之甚少。在这项研究中，我们引入了一个基于困惑的稀疏定义，推导和可视化逐层激活措施。这些新的可解释的AI策略揭示了激活稀疏性和过拟合之间令人惊讶的关系，即在测试损失开始上升之前不久，特征提取层中稀疏性的增加。这种趋势在整个网络架构和reguralisation策略中得到保留，因此我们的措施可以用作过拟合的可靠指标，同时将网络的泛化能力与其基于损失的定义解耦。此外，我们的可微稀疏性公式可用于明确惩罚训练过程中稀疏性的出现，以便实时研究稀疏性降低对过拟合的影响。应用这种惩罚和分析激活稀疏性为众所周知的正则和常见的网络架构支持的假设，减少激活稀疏性可以有效地提高泛化和分类性能。与最近关于这一主题的其他工作一致，我们的方法揭示了对激活稀疏性和网络容量的矛盾概念的新见解，通过证明密集激活可以实现区分性特征学习，同时有效地利用深度模型的能力，而不会受到过度拟合的影响，即使在过度训练时也是如此。
2021-04-13 cs.LG
PocketNN: Integer-only Training and Inference of Neural Networks via Direct Feedback Alignment and Pocket Activations in Pure C++
The Hong Kong University of Science and Technology（香港科技大学）
标准的深度学习算法使用浮点实数实现。这对在可能没有专用浮点单元（FPU）的低端设备上实现它们构成了障碍。因此，tinyML的研究人员已经考虑了机器学习算法，可以在低端设备上仅使用整数运算来训练和运行深度神经网络（DNN）。在本文中，我们提出了PocketNN，这是一个纯C++中的轻量级和自包含的概念验证框架，用于仅使用整数进行DNN的训练和推理。与其他方法不同，PocketNN直接对整数进行操作，而不需要任何显式量化算法或定制的定点格式。这是通过口袋激活实现的，口袋激活是为仅整数DNN设计的一系列激活函数，以及一种称为直接反馈对齐（DFA）的新兴DNN训练算法。与标准的反向传播（BP）不同，DFA独立地训练每一层，从而避免了整数溢出，这是使用BP进行整数运算时的一个关键问题。我们使用PocketNN在两个著名的数据集MNIST和Fashion-MNIST上训练一些DNN。我们的实验表明，用我们的PocketNN训练的DNN在MNIST和Fashion-MNIST数据集上分别达到了96.98%和87.7%的准确率。精度非常接近使用BP和浮点实数运算训练的等效DNN，因此精度下降分别仅为1.02%p和2.09%p。最后，我们的PocketNN对于低端设备具有很高的兼容性和可移植性，因为它是开源的，用纯C++实现，没有任何依赖。
2022-05-04 cs.AI cs.LG
Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation
Courant Institute, New York University（纽约大学库朗研究所）；Facebook AI Research（Facebook人工智能研究部门）
提出利用卷积滤波器线性结构加速大型卷积网络测试评估，实现CPU和GPU上卷积层2倍加速，精度损失在1%以内。
2014-06-09 cs.CV cs.LG
Convolutional Neural Network Compression through Generalized Kronecker Product Decomposition
University of Waterloo（滑铁卢大学）
现代卷积神经网络（CNN）架构尽管在解决各种问题方面具有优势，但通常太大而不能部署在资源受限的边缘设备上。在本文中，我们减少了CNN中卷积层所需的内存使用和浮点运算。我们通过将Kronecker乘积分解推广到多维张量来压缩这些层，从而得到广义Kronecker乘积分解（GKPD）。我们的方法产生了一个即插即用的模块，可以用作任何卷积层的替代品。使用ResNet、MobileNetv 2和SeNet架构在CIFAR-10和ImageNet数据集上进行图像分类的实验结果证实了我们提出的方法的有效性。我们发现GKPD优于最先进的分解方法，包括Tensor-Train和Tensor-Ring以及其他相关的压缩方法，如修剪和知识蒸馏。
2022-01-14 cs.CV cs.LG
Fast Dynamic Convolutional Neural Networks for Visual Tracking
Xi’an Jiaotong University（西安交通大学）；Beijing Advanced Innovation Center for Intelligent Robots and Systems（北京智能机器人与系统高精尖创新中心）
现有的基于CNN（卷积神经网络）的跟踪方法虽然具有很好的跟踪精度，但由于速度太慢，难以实时应用。提出了一种结合CNN的MDNet（Multi-Domain Network）和RoIAlign的快速动态视觉跟踪算法。MDNet的主要问题还在于时间效率。考虑到MDNet的计算复杂性主要是由跟踪过程中大量的卷积运算和网络微调引起的，增加了一个可以在整个图像上进行卷积的RoIPool层来加速卷积，而不是每个RoI，并使用一种新的微调全连接层的策略来加速更新。采用RoIPool后，计算速度提高了，但跟踪精度下降了。RoIPool可能会丢失一些定位精度，因为它无法处理由浮点数表示的位置。因此，RoIAlign，而不是RoIPool，它可以通过双线性插值来处理浮点数的位置，已经被添加到网络中。实验结果表明，该算法在不增加计算量的情况下，提高了目标定位精度。这些策略可以加快处理速度，使其比MDNet快7倍，对精度的影响非常小，并且可以以大约7 fps的速度运行。该算法在OTB 100和VOT 2016两个基准上进行了测试，获得了较高的精度和速度。并通过实验讨论了网络结构和训练数据的影响。
2018-07-25 cs.CV cs.LG
No Multiplication? No Floating Point? No Problem! Training Networks for Efficient Inference
Google Research（谷歌研究院）
为了在高度资源受限的设备（助听器、耳塞、可穿戴设备）上成功部署深度神经网络，我们必须简化运算类型和推理过程中使用的内存/电源资源。完全避免推理时浮点运算是为这些高度受限的环境设计网络的最简单方法之一。通过对网络内的非线性和网络权重进行离散化，我们可以转向简单、紧凑的网络，无需浮点运算，无需乘法，并避免所有非线性函数计算。我们的方法使我们能够探索可能的网络的频谱，从完全连续的版本到具有双层权重和激活的网络。我们的研究结果表明，离散化可以在不损失性能的情况下完成，并且我们可以训练一个网络，该网络将在没有浮点数，没有乘法，并且在回归任务（自动编码）和多类分类任务（ImageNet）上使用更少的RAM成功运行。部署我们的离散化网络所需的内存不到使用浮点运算的等效架构的三分之一。
2018-09-28 cs.LG stat.ML
FAST: DNN Training Under Variable Precision Block Floating Point with Stochastic Rounding
Harvard University（哈佛大学）；Franklin and Marshall College（富兰克林与马歇尔学院）
块浮点（BFP）可以通过经由跨一组值的共享指数提供宽动态范围来有效地支持深度神经网络（DNN）训练的量化。在本文中，我们提出了一种用于DNN的快速第一，准确第二训练（FAST）系统，其中权重，激活和梯度以BFP表示。FAST支持使用可变精度BFP输入操作数的矩阵乘法，从而在整个训练过程中实现DNN精度的增量增加。通过提高训练迭代和DNN层的BFP精度，FAST可以大大缩短训练时间，同时减少整体硬件资源使用。我们的FAST乘法器-累加器（fMAC）支持多个BFP精度下的点积计算。我们在具有不同数据集的多个DNN上验证了我们的FAST系统，在基于\textbf{mixed-precision or block}浮点数系统的先前工作中，在单芯片平台上的训练中展示了2-6个$\times$加速，同时在验证准确性方面实现了类似的性能。
2021-10-28 cs.AR cs.LG
Learning Discrete Weights and Activations Using the Local Reparameterization Trick
Bar-Ilan University（巴伊兰大学）
本文扩展局部重参数化技巧，在离散权重基础上进一步支持离散激活训练，利用概率建模与中心极限定理近似预激活，降低推理计算和内存开销，并在二值激活网络上取得最先进结果。
2023-07-04 cs.AI cs.CV cs.LG
A Generalized Zero-Shot Quantization of Deep Convolutional Neural Networks via Learned Weights Statistics
Samsung R&D Institute India- Bangalore（三星印度班加罗尔研发中心）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；TensorTour Inc.（TensorTour公司）
将深度卷积神经网络的浮点权重和激活量化为定点表示可以减少内存占用和推理时间。最近，人们正在努力实现不需要给定任务的原始未标记训练样本的zero-shot量化。这些最好的出版作品严重依赖于学习的批量归一化（BN）参数来推断量化的激活范围。特别是，这些方法建立在经验估计框架或数据蒸馏方法的基础上，用于计算激活的范围。然而，当呈现不容纳BN层的网络时，这种方案的性能严重降低。在这种思路下，我们提出了一个广义zero-shot量化（GSQQ）框架，既不需要原始数据，也不依赖于BN层统计。我们利用数据蒸馏方法，仅利用模型的预训练权重来估计用于激活范围校准的丰富数据。据我们所知，这是第一个利用预训练权重的分布来辅助zero-shot量化过程的工作。所提出的方案明显优于现有的zero-shot作品，例如，MobileNetV2和其他几个无BN层的模型的分类准确性提高了约33%，适用于各种任务。我们还在多个开源量化框架中证明了所提出的工作的有效性。重要的是，我们的工作是对未来非规范化深度神经网络的训练后zero-shot量化的第一次尝试。
2021-12-11 cs.CV cs.LG
Training Bit Fully Convolutional Network for Fast Semantic Segmentation
Megvii Inc.（旷视科技有限公司）
全卷积神经网络为输入图像提供精确的逐像素预测，并具有语义分割等应用。然而，一个典型的FCN通常需要大量的浮点计算和大的运行时内存，这有效地限制了它的可用性。我们提出了一种训练比特全卷积网络（BFCN）的方法，BFCN是一种具有低位宽权重和激活的全卷积神经网络。由于BFCN的大部分计算密集型卷积都是在低位宽的数字之间完成的，因此可以通过有效的位卷积实现来加速BFCN。在CPU上，两个位向量之间的点积运算可以简化为按位运算和popcount，这可以提供比32位乘法和加法高得多的吞吐量。为了验证BFCN的有效性，我们在PASCAL VOC 2012语义分割任务和Cityscapes上进行了实验。我们的BFCN具有1位权重和2位激活，在CPU上运行速度快7.8倍，或在FPGA上需要不到1%的资源，可以实现与32位对应物相当的性能。
2016-12-01 cs.CV cs.LG
Towards a Safety Case for Hardware Fault Tolerance in Convolutional Neural Networks Using Activation Range Supervision
Intel（英特尔）；University of British Columbia（不列颠哥伦比亚大学）
卷积神经网络（CNN）已成为众多安全关键型计算机视觉应用的一部分，包括人机交互和自动驾驶。现实世界的实现将需要保证其鲁棒性，以防止硬件软错误破坏底层平台内存。基于先前观察到的激活裁剪技术的有效性，我们通过证明范围监督代表了一个高度可靠的故障检测器和缓解器，采用八指数浮点数据表示，为分类器CNN构建了一个原型安全案例。我们进一步探索新的，非均匀的范围限制方法，有效地抑制沉默的数据损坏和不可纠正的错误的概率。作为一个安全相关的端到端用例，我们展示了我们的方法在车辆分类场景中的优势，使用ResNet-50和交通摄像机数据集MIOVision。在这项工作中提供的定量证据可以用来激发进一步的和可能更复杂的CNN安全参数。
2021-08-16 cs.LG
FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search
Cornell University（康奈尔大学）；Google（谷歌公司）
本文提出FLIQS，首个无需重新训练的混合精度量化搜索方法，可同时搜索整数与低精度浮点量化方案，并在多个模型上以相似成本显著提升ImageNet精度。
2024-05-01 cs.CV cs.LG
Improving Graph Convolutional Networks with Non-Parametric Activation Functions
Dept. Information Eng., Electronics and Telecomm., Sapienza University of Rome（罗马一大信息工程、电子与电信系）；Dept. Communications Eng., University of Cantabria（坎塔布里亚大学通信工程系）
图神经网络（GNN）是一类神经网络，其允许对与图结构相关联的数据有效地执行推理，例如，引文网络或知识图谱。虽然已经提出了GNN的几种变体，但它们只考虑其层中的简单非线性激活函数，例如整流器或挤压函数。在本文中，我们研究了图卷积网络（GCN）与更复杂的激活函数相结合时的使用，能够从训练数据中适应。更具体地说，我们扩展了最近提出的核激活函数，一个非参数模型，可以很容易地实现，可以与标准的$\ell_p$规范技术进行正则化，并在其整个域是光滑的。我们的实验评估表明，所提出的架构可以显着提高其基线，而类似的改进不能通过简单地增加原来的GCN的深度或大小。
2018-02-26 cs.LG cs.NE stat.ML
ZeroQuant-FP: A Leap Forward in LLMs Post-Training W4A8 Quantization Using Floating-Point Formats
Microsoft（微软）
本研究针对大语言模型量化的效率与质量平衡难题，提出基于FP8/FP4的ZeroQuant-FP量化方法，结合缩放约束与LoRC策略，实现了W4A8量化下的优异性能，助力资源受限场景高效部署。
2023-07-20 cs.AI cs.CL cs.LG
Floating-Point Networks with Automatic Differentiation Can Represent Almost All Floating-Point Functions and Their Gradients
Department of Artificial Intelligence, Korea University（人工智能系，韩国大学）；Department of Mathematics and Statistics, Sejong University（数学与统计学系，世宗大学）；Department of Mathematical Sciences, Gwangju Institute of Science and Technology（数学科学系，光州科学技术院）
本文证明，在浮点算术下，使用自动微分的浮点神经网络可以表示任意浮点函数及其梯度，适用于ReLU、ELU等常见激活函数。
2026-06-16 cs.LG
Socioeconomic correlations of urban patterns inferred from aerial images: interpreting activation maps of Convolutional Neural Networks
Univ Lyon（里昂大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）；Université Claude Bernard Lyon 1（里昂第一大学克洛德·贝尔纳大学）；Central European University（中欧大学）
城市化是现代社会面临的一个巨大挑战，在扩大社会经济不平等的同时，也有望提供更好的经济机会。准确跟踪这一过程如何展开对传统的数据收集方法来说是一个挑战，而遥感信息提供了一种替代方法，可以更全面地了解这些社会变化。通过向神经网络提供卫星图像，可以恢复与该地区相关的社会经济信息，但是这些模型缺乏解释样本中包含的视觉特征如何触发给定的预测。在这里，我们通过从航拍图像预测法国各地的社会经济地位，并根据城市拓扑结构解释类激活映射来缩小这一差距。我们发现，该模型忽略了城市阶层和社会经济地位之间存在的空间相关性，以获得其预测。这些结果为建立可解释的模型铺平了道路，这可能有助于更好地跟踪和理解城市化及其后果。
2020-04-10 cs.CV cs.CY cs.LG
Accurate and Compact Convolutional Neural Networks with Trained Binarization
City University of Hong Kong（香港城市大学）
虽然卷积神经网络（CNN）现在广泛应用于各种计算机视觉应用中，但其对参数存储和计算的巨大资源需求使得在移动和嵌入式设备上的部署变得困难。最近，二进制卷积神经网络被探索以通过仅用1个单个比特量化权重和激活来帮助缓解这个问题。然而，与全精度模型相比，可能存在明显的精度下降。在本文中，我们提出了一种改进的训练方法，以提高精度。引入了权重和激活的可训练缩放因子以增加值范围。这些缩放因子将通过反向传播与其他参数联合训练。此外，还提出了一种特殊的训练算法，包括对不连续二值化函数导数的紧逼近和对权值比例因子的$L_2$正则化。通过这些改进，二进制CNN在CIFAR-10上使用VGG-Small网络实现了92.3%的准确率。在ImageNet上，我们的方法在AlexNet上获得了46.1%的top-1准确率，在Resnet-18上获得了54.2%的准确率，超过了以前的作品。
2019-09-25 cs.CV cs.LG
Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions
Quantiphi Inc（昆泰菲公司）；Aptiv Advance Research Center（安波福先进研究中心）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出在隐藏层使用复杂的分段线性（PWL）激活函数，并在 PyTorch 中对浅层和深层 CNN 及多层感知机进行实验，证明其性能显著优于常用的 ReLU 激活函数。
2024-02-18 cs.CE cs.LG cs.NE
Towards Accurate Binary Convolutional Neural Network
DJI Innovations Inc（大疆创新公司）
我们介绍了一种新的方案来训练二进制卷积神经网络（CNN）-CNN的权重和激活约束为{-1，+1}在运行时。众所周知，使用二进制权重和激活大大减少了存储器大小和访问，并且可以用更有效的逐位操作代替算术操作，从而导致更快的测试时间推断和更低的功耗。然而，以前对CNN进行二值化的工作通常会导致严重的预测精度下降。在本文中，我们通过两个主要的创新来解决这个问题：（1）用多个二进制权重基的线性组合来近似全精度权重;（2）采用多个二进制激活来减轻信息丢失。由此产生的二进制CNN（表示为ABC-Net）的实现显示出与其全精度对应物更接近的性能，甚至在ImageNet和森林跟踪数据集上达到了相当的预测精度，给出了足够的二进制权重基础和激活。
2017-11-30 cs.LG stat.ML
Parsimonious Inference on Convolutional Neural Networks: Learning and applying on-line kernel activation rules
Irida Labs S.A（Irida Labs 股份有限公司）
本文提出了一种新的，激进的CNN设计方法，考虑减少总的计算负荷在推理过程中。这是通过对CNN架构和训练过程进行新的整体干预来实现的，该训练过程通过学习利用或去除CNN架构的冗余容量来针对简约推理。这是通过引入一种新的结构元素来实现的，该结构元素可以作为附加元件插入到任何当代CNN架构中，同时保持甚至提高其识别精度。我们的方法制定了一种系统的和数据驱动的方法，用于开发CNN，这些CNN经过训练，最终在推理过程中实时改变大小和形式，目标是尽可能小的计算足迹。结果提供了一些现代化的，高端的移动计算平台上的最佳实施，表明一个显着的速度提高到x3倍。
2017-01-31 cs.AI cs.CV cs.LG
Loom: Exploiting Weight and Activation Precisions to Accelerate Convolutional Neural Networks
University of Toronto（多伦多大学）
介绍了一种用于卷积神经网络（CNN）的硬件推理加速器Loom（LM）。在LM中，可以节省的每一位数据精度都转化为成比例的性能增益。具体来说，对于卷积层，LM的执行时间与权重和激活的精度成反比。对于全连接层，LM的性能与权重的精度成反比。LM的目标是面积和带宽受限的片上系统设计，例如那些在移动设备上无法负担存储片上每层所需的多兆字节缓冲区的设计。因此，在给定数据带宽预算的情况下，LM相对于等效的位并行加速器提高了能量效率和性能。对于权重和激活，LM可以利用轮廓导出的每层精度。然而，在运行时，LM进一步以比层粒度小得多的粒度调整激活精度。此外，它可以自然地以比层更小的粒度利用权重精度可变性。平均而言，在几个图像分类CNN中，对于每个周期可以执行相当于128个16 b x 16 b乘法累加操作的配置，LM的性能比最先进的位并行加速器[1]高出4.38倍，而精度没有任何损失，同时能效高出3.54倍。LM可以在执行性能和能源效率的额外改进上权衡准确性，并且与仅针对激活精度的加速器相比是有利的。我们还研究了2位和4位LM变体，发现每周期2位变体是最节能的。
2018-05-16 cs.AR cs.DC cs.LG
Gradient-Adjusted Neuron Activation Profiles for Comprehensive Introspection of Convolutional Speech Recognition Models
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
基于深度学习的自动语音识别（ASR）模型非常成功，但很难解释。为了更好地理解人工神经网络（ANN）如何完成它们的任务，已经提出了内省方法。将这样的技术从计算机视觉应用到语音识别并不简单，因为语音数据比图像数据更复杂且更难解释。在这项工作中，我们引入了顺应性调整的神经元激活轮廓（GradNAP）作为解释深度神经网络中的特征和表示的手段。GradNAP是ANN对特定输入组的特征响应，其中包含用于预测的神经元的相关性。我们展示了如何利用GradNAP来深入了解数据如何在ANN中处理。这包括不同的可视化功能和GradNAP聚类的方式，以比较给定网络的任何层中不同输入组的嵌入。我们使用全卷积ASR模型演示了我们提出的技术。
2020-02-19 cs.LG cs.SD eess.AS
Training and inference of large language models using 8-bit floating point
Graphcore（Graphcore公司）
针对 FP8 动态范围有限导致的缩放选择难题，本文提出动态更新权重、梯度和激活值逐张量尺度的方法，并在 111M 至 70B 的 GPT 与 Llama 2 模型上验证 FP8 训练和推理。
2023-09-29 cs.AR cs.CL cs.ET
Pixel Embedding: Fully Quantized Convolutional Neural Network with Differentiable Lookup Table
LeapMind Inc.（LeapMind公司）；Woven by Toyota, Inc.（丰田旗下Woven公司）；Mirai Hoshu K.K.（Mirai Hoshu株式会社）
提出像素嵌入方法，通过可微查找表将输入像素替换为低比特向量，实现完全量化神经网络，在ImageNet和CIFAR-100上显著降低量化误差并加速推理。
2024-07-23 cs.AI cs.CV cs.LG
Improving Memory Utilization in Convolutional Neural Network Accelerators
CSEM SA（瑞士电子与微技术中心）；Swiss Federal Institute of Technology, ETH Zurich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）
虽然通过引入更大更深的网络架构，卷积神经网络的准确性得到了巨大的提高，但存储其参数和激活的内存占用也有所增加。这一趋势尤其挑战了功率和资源有限的加速器设计，这些设计通常限于将所有网络数据存储在片上存储器中，以避免连接高能耗的外部存储器。因此，最大化适合给定加速器的网络大小需要最大化其内存利用率。虽然传统上使用的乒乓缓冲技术是后续激活层映射到分离的内存区域，我们提出了一种映射方法，允许这些区域重叠，从而更有效地利用内存。这项工作提出了计算最大激活内存重叠的数学模型，从而计算在内存有限的加速器上执行卷积神经网络逐层处理所需的片上内存的下限。我们对各种真实世界对象检测器网络的实验表明，与传统的乒乓缓冲相比，所提出的映射技术可以将激活内存减少高达32.9%，将整个网络的总内存减少高达23.9%。对于更高分辨率的去噪网络，我们实现了48.8%的激活内存节省。此外，我们在基于FPGA的摄像头上实现了一个人脸检测器网络，以在一个完整的端到端系统上验证这些内存节省。
2021-04-06 cs.CV cs.LG cs.NE
Mixed Precision Training With 8-bit Floating Point
Intel Labs（英特尔研究院）
深度神经网络的降低精度计算是解决模型大小指数增长导致的计算差距扩大的关键领域之一。近年来，深度学习训练已基本迁移到16位精度，在性能和能效方面取得了显着进步。然而，由于反向传播的更高精度和动态范围要求，以8位精度训练DNN的尝试遇到了重大挑战。在本文中，我们提出了一种使用8位浮点表示权值、激活、错误和梯度来训练深度神经网络的方法。除了降低计算精度外，我们还将权重主副本的精度要求从32位降低到16位。我们在多个数据集（imagenet-1K，WMT 16）和更广泛的工作负载（Resnet-18/34/50，GNMT，Transformer）上展示了最先进的准确性。我们提出了一种增强的损失缩放方法，以增加减少低于正常范围的8位浮点改善错误传播。我们还研究了量化噪声对泛化的影响，并提出了一种随机舍入技术来解决梯度噪声。作为应用所有这些技术的结果，我们报告的验证精度略高于全精度基线。
2019-05-29 cs.LG stat.ML
Deeper Learning with CoLU Activation
In neural networks , non-linearity is introduced by activation functions . One commonly used activation function is Rectified Linear Unit (ReLU). ReLU has been a popular choice as an activation but has flaws. State-of-the-art functions like Swish and Mish are now gaining attention as a better choice as they combat many flaws presented by other activation functions . CoLU is an activation function similar to Swish and Mish in properties. It is defined as f(x)=x/(1-xe^-(x+e^x)). It is smooth, continuously differentiable, unbounded above, bounded below, non-saturating, and non-monotonic. Based on…
2021-12-18 cs.CV cs.LG cs.NE
Visual Explanations From Deep 3D Convolutional Neural Networks for Alzheimer's Disease Classification
University of Florida（佛罗里达大学）
我们开发了三种有效的方法，用于从3D卷积神经网络（3D-CNN）中生成用于阿尔茨海默病分类的视觉解释。一种方法对分层3D图像分割进行敏感性分析，另两种方法在空间图上可视化网络激活。视觉检查和定量定位基准表明，所有方法都可以识别阿尔茨海默病诊断的重要大脑部位。对比分析表明，基于敏感性分析的方法难以处理松散分布的大脑皮层，基于激活可视化的方法受到卷积层分辨率的限制。这些方法的互补性从不同角度提高了对3D-CNN在阿尔茨海默病分类中的理解。
2018-07-06 cs.AI cs.CV cs.LG
VS-CAM: Vertex Semantic Class Activation Mapping to Interpret Vision Graph Neural Network
Xidian University（西安电子科技大学）；University of Montenegro（黑山大学）
图卷积神经网络（GCN）在各种计算机视觉任务中得到了越来越多的关注并取得了良好的性能，但对GCN的内在机理缺乏清晰的解释。对于标准卷积神经网络（CNN），类激活映射（CAM）方法通常用于通过生成热图来可视化CNN的决策与图像区域之间的连接。然而，当这些CAM直接应用于GCN时，这样的热图通常表现出语义混乱。在本文中，我们提出了一种新的可视化方法，特别适用于GCN，顶点语义类激活映射（VS-CAM）。VS-CAM包括两个独立的流水线，分别产生一组语义探测图和一个语义基础图。语义探测图用于从语义基础图中检测语义信息，以聚合语义感知热图。定性结果表明，VS-CAM可以获得热图，其中突出显示的区域比基于CNN的CAM更精确地匹配对象。定量评价进一步证明了VS-CAM的优越性。
2022-09-15 cs.AI cs.CV cs.LG
Nonlinearity Enhanced Adaptive Activation Functions
University of Waterloo（滑铁卢大学）
该研究提出一种为激活函数引入参数化可学习非线性的通用方法，基于 ReLU 等常用函数进行改进，并在 MNIST 与 CNN 基准上验证其可在低额外计算成本下提升准确率。
2025-05-12 cs.CV cs.LG cs.NE
A Deep Learning Strategy for Vehicular Floating Content Management
University of Applied Sciences Western Switzerland (HES-SO)（瑞士西部应用科学大学（HES-SO））；IMDEA Networks Institute（IMDEA网络研究所）；Politecnico di Torino（都灵理工大学）
浮动内容（FC）是用于通过D2D连接性以最小化资源使用同时实现某个指定性能目标的方式本地分发情境化信息的通信范例。现有的FC尺寸确定方法基于不切实际的系统假设，这使得它们在实际设置中应用时非常不准确且过于保守。在本文中，我们提出了第一步发展的认知方法，有效的动态管理FC。我们提出了一种用于FC维度化的深度学习策略，该策略利用卷积神经网络（CNN）以QoS感知的方式随着时间的推移有效地调节FC所使用的资源。数值计算结果表明，该方法的最大拒绝率为3%，与基准策略相比，资源节省了37.5
2018-10-24 cs.LG cs.NI stat.ML
SAPSAM - Sparsely Annotated Pathological Sign Activation Maps - A novel approach to train Convolutional Neural Networks on lung CT scans using binary labels only
NIHR Imperial Biomedical Research Centre（英国国家健康研究所帝国生物医学研究中心）；Imperial College London（帝国理工学院）；NHLI（英国国家心肺研究所）；Columbia University（哥伦比亚大学）；Royal Brompton and Harefield NHS Foundation Trust（皇家布朗普顿与哈菲尔德国民保健服务基金会信托）
慢性肺曲霉菌病（CPA）是由曲霉菌感染引起的一种复杂的肺部疾病。在疑似和确诊疾病的患者中经常需要计算机断层扫描（CT）图像，但CT上的放射学体征难以量化，使得准确的随访具有挑战性。我们提出了一种新的方法来训练卷积神经网络只使用区域标签的病理迹象的存在，不仅检测CPA，但也在空间上定位病理迹象。我们使用Hounsfield单位（HU）值的不同范围内的平均强度投影，将输入的3D CT扫描转换为2D RGB样图像。CNN架构针对分层任务进行训练，从而产生病理模式的精确激活图。对352例受试者的队列研究结果表明，分类准确度、定位精度和2年生存率的预测能力较高。这种工具为药物治疗下的CPA患者分层和CPA病理体征的定量随访开辟了道路。
2019-02-06 cs.LG eess.IV stat.ML
Learnable Graph Convolutional Network and Feature Fusion for Multi-view Learning
Fuzhou University（福州大学）；University of Vienna（维也纳大学）
在实际应用中，从不同角度描述目标的多视图数据有助于提高学习算法的精度。然而，给定多视图数据，通过图卷积网络同时学习判别节点关系和图信息的工作是有限的，近年来引起了相当多的研究人员的注意。现有的方法大多只考虑邻接矩阵的加权和，而将特征和图融合的联合神经网络还没有被研究。为了解决这些问题，本文提出了一种联合深度学习框架，称为可学习的图卷积网络和特征融合（LGCN-FF），包括两个阶段：特征融合网络和可学习的图卷积网络。前者旨在从异构视图中学习底层特征表示，而后者通过可学习的权重和被称为微分收缩激活（DSA）函数的参数激活函数探索更具鉴别力的图融合。在多视图半监督分类中，所提出的LGCN-FF被验证为优于各种最先进的方法。
2022-11-16 cs.AI cs.CV cs.LG
A Deep Convolutional Neural Network for the Detection of Polyps in Colonoscopy Images
Kumoh National Institute of Technology（国立金乌工科大学）
结肠息肉的计算机检测仍然是一个未解决的问题，因为在结肠镜检查过程中，多种息肉样模仿物的外观、质地、颜色、大小和存在的广泛变化。在本文中，我们提出了一种基于深度卷积神经网络的模型，用于结肠镜图像中息肉的计算机检测。所提出的模型包括16个卷积层，其中有2个完全连接的层，以及一个Softmax层，我们在同一隐藏层中使用不同的卷积核实现了一种独特的方法，用于更深的特征提取。我们应用了两种不同的激活函数，MISH和整流线性单位激活函数更深的信息传播和自正则光滑的非单调性。此外，我们使用了一个广义的交集，从而克服了诸如尺度不变性、旋转和形状等问题。数据增强技术，如光度和几何失真，适用于克服息肉检测中面临的障碍。提供了详细的基准测试结果，显示出更好的性能方面的精度，灵敏度，F1分数，F2分数，和骰子系数，从而证明了所提出的模型的有效性。
2020-08-15 cs.CV cs.LG eess.IV
Convolutional and Residual Networks Provably Contain Lottery Tickets
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
彩票假说继续对小规模深度神经网络的探索产生深远的实际影响，这些网络可以以具有竞争力的性能解决现代深度学习任务。这些彩票是通过修剪大型随机初始化的神经网络来识别的，这些神经网络的架构与其应用一样多样化。然而，证明它们存在的理论见解主要集中在具有ReLU激活函数的深度全连接前馈网络上。我们证明，也可以配备几乎任意的激活函数的卷积和残留层组成的现代架构可以包含彩票具有很高的概率。
2022-05-04 cs.AI cs.LG
Impact of Tuning Parameters in Deep Convolutional Neural Network Using a Crack Image Dataset
Korea Advanced Institute of Science & Technology, KAIST（韩国科学技术院）；Uttara University（乌塔拉大学）；Woosong University（又松大学）
本文通过裂纹图像数据集实验研究了池化、激活函数和优化器等调参参数对DCNN分类性能的影响，发现最大池化配合adam优化器和tanh激活函数可获得更优性能。
2025-05-30 cs.AI cs.CV cs.LG
DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients
Megvii Inc.（旷视科技有限公司）
我们提出了DoReFa-Net，这是一种使用低位宽参数梯度来训练具有低位宽权重和激活的卷积神经网络的方法。特别地，在反向传递期间，参数梯度在被传播到卷积层之前被随机量化为低位宽数。由于前向/后向过程中的卷积现在可以分别对低位宽权重和激活/梯度进行操作，DoReFa-Net可以使用位卷积内核来加速训练和推理。此外，由于位卷积可以在CPU，FPGA，ASIC和GPU上有效地实现，DoReFa-Net为在这些硬件上加速低位宽神经网络的训练开辟了道路。我们在SVHN和ImageNet数据集上的实验证明，DoReFa-Net可以达到与32位同行相当的预测精度。例如，从AlexNet派生的DoReFa-Net具有1位权重，2位激活，可以使用6位梯度从头开始训练，以在ImageNet验证集上获得46.1\%的top-1准确度。DoReFa-Net AlexNet模型公开发布。
2018-02-02 cs.LG cs.NE
Sparse Weight Activation Training
神经网络训练是计算和存储密集型的。稀疏训练可以减轻旨在加速稀疏计算的新兴硬件平台的负担，但它可能会影响网络收敛。在这项工作中，我们提出了一种新的CNN训练算法稀疏权重激活训练（SWAT）。SWAT比传统训练更节省计算和记忆。SWAT基于以下经验见解修改反向传播：训练期间的收敛往往对消除（i）前向传递期间的小幅度权重和（ii）后向传递期间的小幅度权重和激活具有鲁棒性。我们使用CIFAR-10，CIFAR-100和ImageNet数据集在最近的CNN架构（如ResNet，VGG，DenseNet和WideResNet）上评估SWAT。对于ImageNet上的ResNet-50，SWAT将训练过程中的总浮点运算（FLOPS）减少了80%，从而在代表新兴平台的模拟稀疏学习加速器上运行时，获得了3.3 $\times$的训练加速，而验证准确性仅降低了1.63%。此外，SWAT在向后传递期间将激活的内存占用减少了23%到50%，将权重减少了50%到90%。
2020-10-31 cs.LG stat.ML
Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths
Old Dominion University（奥尔多明尼恩大学）；Sun Yat-sen University（中山大学）
本文研究可变宽度深度神经网络在层数趋于无穷时的一致收敛性，给出权重、偏置与 Lipschitz 常数的充分条件，并推广至固定、有界、无界宽度及卷积神经网络。
2023-06-02 cs.LG
Parametric Exponential Linear Unit for Deep Convolutional Neural Networks
Laval University（拉瓦尔大学）
目标识别是提高视觉系统对复杂场景理解能力的一项重要任务。最近，指数线性单元（ELU）已被提出作为管理卷积神经网络（CNN）中偏置偏移的关键组件，但定义了一个必须手动设置的参数。在本文中，我们提出学习ELU的参数化，以便在CNN的每一层学习适当的激活形状。我们使用NiN，Overfeat，All-CNN和ResNet网络在MNIST，CIFAR-10/100和ImageNet数据集上的结果表明，我们提出的参数ELU（PELU）比非参数ELU具有更好的性能。我们观察到使用NiN网络的ImageNet的相对误差提高了7.28%，参数仅增加了0.0003%。我们使用PELU对Vgg采用的非线性行为进行了可视化检查，结果表明，该网络通过在不同层学习不同的激活来利用增加的灵活性。
2018-01-10 cs.CV cs.LG cs.NE
K-TanH: Efficient TanH For Deep Learning
Intel Labs（英特尔研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了K-TanH，这是一种新颖的，高度准确的，硬件有效的近似用于深度学习的流行激活函数TanH。K-TanH由参数化的低精度整数运算组成，例如移位和加/减（不需要浮点运算），其中参数存储在非常小的查找表中，可以放入CPU寄存器中。K-TanH可以处理各种数字格式，例如Float 32和BFloat 16。对其他激活函数的高质量近似，例如，Sigmoid、Swish和GELU可以从K-TanH导出。我们的AVX 512 K-TanH实现证明了$>5\times$比英特尔SVML更快的速度，并且在效率上始终优于使用浮点运算的其他近似值。最后，我们在WMT 16数据集上训练语言翻译模型GNMT，并通过BFloat 16输入上的K-TanH获得近似TanH，从而获得了最先进的Bleu得分和收敛结果。
2020-06-07 cs.LG cs.NE stat.ML
