Learning Enhancement of CNNs via Separation Index Maximizing at the First Convolutional Layer
University of Tehran(德黑兰大学)
本文提出了一种基于分离指数(SI)概念的卷积神经网络(CNN)增强学习算法。首先,解释了SI作为一种监督复杂性度量,它在分类问题的CNN更好学习中的用途。然后,提出了一种学习策略,通过该策略,通过最大化SI来优化CNN的第一层,并且通过反向传播算法来训练进一步的层以学习进一步的层。为了最大化第一层的SI,利用准最小二乘误差技术优化了排序损失的一个变量。将这种学习策略应用于一些已知的CNN和数据集,几乎在所有情况下都证明了其增强效果。
2022-01-13 cs.CV cs.LG
PROM: Prioritize Reduction of Multiplications Over Lower Bit-Widths for Efficient CNNs
Robert Bosch GmbH(博世公司)
PROM通过选择性量化深度可分离CNN的逐点卷积为三值权重、其余为8位,将乘法转为int8加法,在ImageNet上实现23.9倍能耗降低和2.7倍存储缩减,保持精度。
2025-08-06 cs.CV cs.LG
Two-Bit Networks for Deep Learning on Resource-Constrained Embedded Devices
随着物联网和智能边缘设备的快速发展,越来越需要在内存和计算能力有限的资源受限的移动嵌入式设备上实现机器学习算法,包括深度学习。典型的大型卷积神经网络(CNN)需要大量的存储器和计算能力,并且不能有效地部署在嵌入式设备上。我们提出了用于CNN的模型压缩的两位网络(TBN),其边缘权重被约束为(-2,-1,1,2),可以用两位编码。我们的方法可以减少内存的使用,并显着提高计算效率,同时实现良好的性能分类精度方面,从而代表了一个合理的权衡模型大小和性能。
2017-01-04 cs.CV cs.LG
RedBit: An End-to-End Flexible Framework for Evaluating the Accuracy of Quantized CNNs
University of Coimbra(科英布拉大学);Instituto de Telecomunicações(电信研究所);ETH Zürich(苏黎世联邦理工学院)
近年来,卷积神经网络(CNN)已成为用于图像处理、分类和分割任务的标准类深度神经网络。然而,CNN在准确性上的巨大进步是由于增加了网络拓扑的复杂性,这在CNN的训练和推理中带来了相当大的性能和能量损失。最近的许多工作已经验证了参数量化的有效性,包括减少网络参数的位宽,以实现相当大的性能和能源效率的增益,而不会显着损害精度。然而,很难比较不同量化方法的相对有效性。为了解决这个问题,我们引入了RedBit,这是一个开源框架,它提供了一个透明的,可扩展的和易于使用的界面,以评估不同算法和参数配置对网络精度的有效性。我们使用RedBit对应用于MNIST,CIFAR-10和ImageNet数据集的五种最先进的量化方法进行了全面的调查。我们评估了总共2300个单独的位宽组合,独立地调整网络权重和输入激活参数的宽度,从32位降到1位(例如,8/8、2/2、1/32、1/1,用于权重/激活)。本文中的所有结果都是在一个最先进的GPU池中使用20000小时以上的计算时间生成的。对于1位量化,MNIST、CIFAR-10和ImageNet数据集的准确度损失分别在[0.26%,0.79%]、[9.74%,32.96%]和[10.86%,47.36%] top-1之间。我们积极鼓励读者下载源代码并使用RedBit进行实验,并将他们自己观察到的结果提交到我们的公共存储库,可在https://github.…
2023-01-15 cs.CV cs.LG
GHN-QAT: Training Graph Hypernetworks to Predict Quantization-Robust Parameters of Unseen Limited Precision Neural Networks
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(DarwinAI公司)
本文研究GHN预测低精度CNN参数时的量化鲁棒性,提出在GHN训练中引入量化感知训练等策略,显著提升4位表现并使2位准确率高于随机水平。
2023-09-24 cs.AI cs.CV cs.LG
Efficient Tuning Before Low-Bit Post-Training Quantization for Stochastic Gradient Descent-optimized Models
School of Information Science and Technology, Beijing University of Technology(北京工业大学信息科学与技术学院)
研究针对低位后训练量化性能易降问题,提出ETBQ方法,在随机梯度下降优化模型的PTQ前进行预处理调优,通过从量化误差分布采样扰动优化全精度模型,实验证明该方法能提升不同任务的低位PTQ性能。
2026-07-21 cs.CV
Optimized CNNs for Rapid 3D Point Cloud Object Recognition
Northeastern University(东北大学);University of Pennsylvania(宾夕法尼亚大学);Oregon State University(俄勒冈州立大学);Carnegie Mellon University(卡内基梅隆大学);George Washington University(乔治华盛顿大学);Georgia Institute of Technology(佐治亚理工学院);McGill University(麦吉尔大学)
本研究提出结合稀疏卷积层与$\u212c_1$正则化的优化CNN方法,通过特征中心投票机制利用3D点云稀疏性,在MVTec 3D-AD基准上,三层Vote3Deep模型精度超现有技术且速度具竞争力,有效提升实时3D目标识别效率。
2024-12-03 cs.CV cs.LG
Bi-Real Net: Binarizing Deep Network Towards Real-Network Performance
Hong Kong University of Science and Technology(香港科技大学);Tencent AI lab(腾讯人工智能实验室);Huazhong University of Science and Technology(华中科技大学)
在本文中,我们研究了1位卷积神经网络(CNN),其中的权重和激活都是二进制的。虽然高效,但缺乏表示能力和训练难度阻碍了1位CNN的性能以及实值网络。我们提出了一种新的训练算法来解决这两个挑战。为了增强表示能力,我们通过无参数的快捷方式传播每个1位卷积生成的实值激活。为了解决训练困难,我们提出了一种训练算法,该算法使用对符号函数导数的更紧密近似,用于权重更新的幅度感知梯度,更好的初始化方法以及用于训练深度网络的两步方案。在ImageNet上的实验表明,使用所提出的训练算法的18层Bi-Real网络实现了56.4%的top-1分类准确率,比最先进的技术(例如,XNOR-Net),具有更大的内存节省和更低的计算成本。Bi-Real net也是第一个将1位CNN扩展到152层超深网络的网络,并在ImageNet上实现了64.5%的top-1准确率。一个50层的双实数网络在深度估计任务上显示出与实值网络相当的性能,精度差距仅为0.3%。
2019-09-04 cs.CV
From Hashing to CNNs: Training BinaryWeight Networks via Hashing
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
近年来,深度卷积神经网络(CNN)在各种计算机视觉任务上表现出了吸引人的性能。这促使人们将CNN部署到现实世界的应用中。然而,大多数最先进的CNN需要大量的内存和计算资源,这阻碍了在移动设备上的部署。近年来的研究表明,低位权值表示可以减少大量的存储和内存需求,并且可以实现高效的网络推理。为了实现这一目标,我们提出了一种新的方法命名为BWNH通过哈希训练二进制权重网络。在本文中,我们首先揭示了内积保持哈希和二进制权重网络之间的紧密联系,并表明训练二进制权重网络本质上可以被视为哈希问题。基于这一观点,我们提出了一种交替优化方法来学习哈希码,而不是直接学习二进制权重。在CIFAR10、CIFAR100和ImageNet上的大量实验表明,我们提出的BWNH大大优于当前最先进的算法。
2018-02-08 cs.CV
Fixed-point Quantization of Convolutional Neural Networks for Quantized Inference on Embedded Platforms
Eindhoven University of Technology(埃因霍温理工大学);Philips Innovation Services(飞利浦创新服务)
卷积神经网络(CNN)已被证明是用于图像分类任务的强大的最先进的方法。然而,一个缺点是CNN的高计算复杂性和高存储器消耗,这使得它们在嵌入式平台上执行是不可行的,嵌入式平台被限制在支持CNN所需的物理资源上。量化经常被用来有效地优化CNN的内存和计算复杂性,代价是损失预测精度。因此,我们提出了一种方法来优化预训练的CNN的每一层的权重、偏差和激活,同时控制推理准确性的损失以实现量化推理。我们将32位浮点精度参数转换为低位宽定点表示,从而为给定CNN的每一层的参数找到最佳位宽和分数偏移。我们对CNN后训练的参数进行训练而不重新训练它。我们的方法被设计为考虑其他参数如何量化来对CNN的参数进行训练,因为忽略由于其他量化参数引起的量化误差会导致低精度CNN,其精度损失高达50%,这远远超出了可接受的范围。因此,我们的最终方法给出了一个低精度的CNN,准确性损失小于1%。与商业工具使用的将所有参数转换为8位的方法相比,我们的方法提供了量化的CNN,对于在我们测试的四个数据集上训练的两个CNN,平均降低了53%的内存消耗和77.5%的乘法执行成本。我们发现,参数的逐层量化在这个过程中有很大的帮助。
2021-02-03 cs.CV cs.LG
NASB: Neural Architecture Search for Binary Convolutional Neural Networks
Delft University of Technology(代尔夫特理工大学);IBM Research(IBM研究院)
二进制卷积神经网络(CNN)显著减少了CNN所需的算术运算数量和内存存储大小,这使得它们在移动和嵌入式系统上的部署更加可行。然而,由于两个原因,二值化后的CNN架构需要重新设计和显著改进:1.在前向传播中二值化的大累积误差,以及2.反向传播中二值化的严重梯度失配问题。尽管在设计单个和多个二进制CNN的架构方面已经投入了大量的努力,但仍然很难找到二进制CNN的最佳架构。在本文中,我们提出了一种名为NASB的策略,该策略采用神经结构搜索(NAS)来找到CNN二进制化的最佳结构。由于这种自动化策略的灵活性,所获得的架构不仅适用于二值化,而且开销低,在手动优化的二进制CNN的准确性和计算复杂性之间实现了更好的权衡。NASB策略的实现在ImageNet数据集上进行了评估,并证明与现有的量化CNN相比是一种更好的解决方案。在开销增加不明显的情况下,NASB的性能分别比现有的单个和多个二进制CNN高出4.0%和1.0%的Top-1精度,使它们更接近全精度CNN的精度。代码和预训练模型将公开提供。
2020-08-08 cs.CV
Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weights
Intel Labs China(英特尔中国研究院)
本文提出了增量网络量化(INQ),一种新的方法,旨在有效地将任何预训练的全精度卷积神经网络(CNN)模型转换为低精度版本,其权重被限制为2或0的幂。与现有的方法在明显的准确性损失中挣扎不同,我们的INQ有可能解决这个问题,因为受益于两个创新。一方面,我们引入了三个相互依赖的操作,即权重划分,分组量化和重新训练。采用一种经过充分验证的措施将预训练的CNN模型的每一层中的权重划分为两个不相交的组。第一组中的权重负责形成低精度基,因此它们通过可变长度编码方法进行量化。另一组中的权重负责补偿量化的准确性损失,因此它们是要重新训练的权重。另一方面,这三个操作以迭代的方式在最新的重新训练的组上重复,直到所有的权重被转换为低精度的权重,充当增量网络量化和精度增强过程。使用几乎所有已知的深度CNN架构(包括AlexNet,VGG-16,GoogleNet和ResNets)对ImageNet分类任务进行了大量实验,证明了所提出方法的有效性。具体而言,在5位量化时,我们的模型比32位浮点参考的精度有所提高。以ResNet-18为例,我们进一步证明了我们的4位、3位和2位三进制权重的量化模型与其32位浮点基线相比,精度有所提高或非常相似。此外,令人印象深刻的结果与网络修剪和INQ的组合也报告。该代码可在https://github.com/Zhouaojun/Incremental-Network-Qu…
2017-08-25 cs.AI cs.CV cs.NE
Highly Efficient 8-bit Low Precision Inference of Convolutional Neural Networks with IntelCaffe
Intel Corporation(英特尔公司)
深度神经网络的高吞吐量和低延迟推理对于部署深度学习应用至关重要。本文介绍了英特尔Caffe的高效推理技术,这是第一个英特尔优化的深度学习框架,支持英特尔至强可扩展处理器上的高效8位低精度推理和卷积神经网络的模型优化技术。8位优化模型是从FP 32模型自动生成的,无需微调或重新训练。我们表明,ResNet-50,Inception-v3和SSD的推理吞吐量和延迟分别比IntelCaffe FP 32基线提高了1.38X-2.9X和1.35X-3X,准确性损失可以忽略不计,而BVLC Caffe则提高了56 X-75 X和26 X-37 X。所有这些技术都已在IntelCaffe GitHub 1上开源,并提供工件以在Amazon AWS Cloud上重现结果。
2018-05-04 cs.CV
Bottom-Up and Top-Down Reasoning with Hierarchical Rectified Gaussians
UC Irvine(加州大学欧文分校);Carnegie Mellon University(卡内基梅隆大学)
卷积神经网络(CNN)在最近的历史中表现出了卓越的性能。这种方法往往以单向自自底向上的【形】的前馈方式工作。然而,实践经验和生物学证据告诉我们,反馈起着至关重要的作用,特别是对于详细的空间理解任务。这项工作探索了双向架构,也与自上而下的反馈:神经单元的影响,低和高层次的单位。我们通过将单位视为二次能量函数中的校正潜变量来做到这一点,这可以被视为分层校正高斯模型(RGs)。我们表明,RG可以优化与二次规划(QP),这反过来又可以优化与递归神经网络(与整流线性单元)。这允许使用GPU优化的梯度下降来训练RG。从理论的角度来看,RG有助于建立CNN和分层概率模型之间的联系。从实践的角度来看,RG非常适合于详细的空间任务,可以从自上而下的推理中受益。我们说明了他们的关键点定位下闭塞,当地自自底向上的【形】的证据可能会产生误导的挑战性任务。我们在具有挑战性的基准测试中展示了最先进的结果。
2016-05-04 cs.CV
BiTr-Unet: a CNN-Transformer Combined Network for MRI Brain Tumor Segmentation
New York University(纽约大学)
卷积神经网络(CNN)在自动分割3D医学图像上的器官或病变方面取得了显着的成功。最近,Vision Transformer网络在2D图像分类任务中表现出卓越的性能。与神经网络相比,Transformer网络由于其自注意算法在提取长距离特征方面具有很大的优势。因此,我们提出了一个CNN-Transformer组合模型,称为BiTr-Unet,对多模态MRI扫描的脑肿瘤分割进行了特定的修改。我们的BiTr-Unet在BraTS 2021验证数据集上实现了良好的性能,对于整个肿瘤、肿瘤核心和增强肿瘤,中值Dice评分分别为0.9335、0.9304和0.8899,中值Hausdorff距离分别为2.8284、2.2361和1.4142。在BraTS 2021测试数据集上,Dice评分的相应结果分别为0.9257、0.9350和0.8874,Hausdorff距离的相应结果分别为3、2.2361和1.4142。该代码可在https://github.com/JustaTinyDot/BiTr-Unet上公开获取。
2021-12-30 cs.AI cs.CV cs.LG
Optimized Detection and Classification on GTRSB: Advancing Traffic Sign Recognition with Convolutional Neural Networks
Boston University(波士顿大学);The University of Utah(犹他大学);Dr. Vishwanath Karad MIT World Peace University(Dr. Vishwanath Karad 麻省理工世界和平大学)
针对交通标志识别中传统方法精度与速度不足的问题,本文提出基于卷积神经网络的创新方法,实现近96%准确率,助力道路安全与自动驾驶发展。
2024-03-13 cs.CV
CTMQ: Cyclic Training of Convolutional Neural Networks with Multiple Quantization Steps
Dankook University(檀国大学);Complutense University of Madrid(马德里康普顿斯大学)
本文提出了一种具有多个循环训练的训练方法,以实现低比特量化卷积神经网络(CNN)的增强性能。量化是一种用于获得轻量级CNN的流行方法,其中使用预训练模型的初始化被广泛用于克服低分辨率量化中的性能下降。然而,实际值和它们的低比特量化值之间的大量化误差导致难以实现复杂网络和大数据集的可接受的性能。所提出的训练方法在多个量化步骤中将预训练模型的知识柔和地传递到低比特量化模型。在每个量化步骤中,模型的训练权重用于初始化下一个模型的权重,其中量化比特深度减少1。通过量化位深的微小变化,可以弥合性能差距,从而提供更好的权重初始化。在循环训练中,在训练低比特量化模型之后,其训练的权重用于其待训练的精确模型的初始化。通过以迭代方式使用精确模型的更好的训练能力,所提出的方法可以在每个周期中为低比特量化模型产生增强的训练权重。值得注意的是,该训练方法可以将ImageNet数据集上二值化ResNet-18的Top-1和Top-5精度分别提高5.80%和6.85%。
2022-06-26 cs.AI cs.CV
Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation
Delft University of Technology(代尔夫特理工大学)
二进制卷积神经网络(CNN)可以显著减少算术运算的数量和内存存储的大小,这使得CNN在移动或嵌入式系统上的部署更有前景。然而,单个和多个二进制CNN的准确性下降对于现代架构和ImageNet等大规模数据集来说是不可接受的。在本文中,我们提出了一种用于多个二进制CNN的分段近似(PA)方案,该方案通过有效地近似全精度权重和激活来减少准确性损失,并保持按位操作的并行性以保证效率。与以前的方法不同,所提出的PA方案分段全精度的权重和激活,并近似每一块的缩放系数。我们在ResNet上的实现在ImageNet上具有不同的深度,与完全精度相比,可以将Top-1和Top-5分类精度差距缩小到约1.0%。得益于下采样层的二进制化,我们提出的PA-ResNet 50比具有4个权重和5个激活基的单个二进制CNN需要更少的内存使用和两倍的Flops。PA方案还可以推广到其他架构,如DenseNet和MobileNet,具有与ResNet类似的近似能力,这对于使用二进制卷积的其他任务很有希望。代码和预训练模型将公开提供。
2020-08-29 cs.CV
Tied Block Convolution: Leaner and Better CNNs with Shared Thinner Filters
University of California, Berkeley(加州大学伯克利分校);International Computer Science Institute(国际计算机科学研究所)
卷积是卷积神经网络(CNN)的主要构建块。我们观察到,优化的CNN通常具有高度相关的过滤器,因为通道的数量随着深度的增加而增加,从而降低了特征表示的表达能力。我们提出了捆绑块卷积(TBC),它在相等的通道块上共享相同的较薄的滤波器,并使用单个滤波器产生多个响应。TBC的概念还可以扩展到组卷积和全连接层,并可以应用于各种骨干网络和注意力模块。我们在分类、检测、实例分割和注意力方面的大量实验证明了TBC在标准卷积和组卷积上的显著全面增益。所提出的TiedSE注意力模块甚至可以使用比SE模块少64倍的参数来实现相当的性能。特别是,标准CNN在存在遮挡的情况下通常无法准确地聚合信息,并导致多个冗余的部分对象提案。通过跨通道共享过滤器,TBC减少了相关性,并可以有效地处理高度重叠的实例。当遮挡率为80%时,TBC将MS-COCO上的目标检测的平均精度提高了6%。我们的代码将被释放。
2020-09-25 cs.CV
DSXplore: Optimizing Convolutional Neural Networks via Sliding-Channel Convolutions
University of California, Santa Barbara(加州大学圣巴巴拉分校)
作为卷积神经网络(CNN)的重要进展,深度可分离卷积(DSC)技术在保持模型精度的同时,减少了CNN的计算量和参数大小,成为最流行的技术之一。它还带来了深远的影响,以提高计算和内存密集型CNN的适用性,以广泛的应用,如移动设备,这是通常缺乏计算能力和内存。然而,以前的DSC研究主要集中在合成有限的现有DSC设计,因此,错过了探索更多潜在设计的机会,可以实现更好的精度和更高的计算/参数减少。此外,现成的卷积实现提供有限的计算方案,因此,缺乏对具有不同卷积模式的DSC的支持。为此,我们介绍了DSXplore,这是第一个用于在CNN上探索DSC的优化设计。具体而言,在算法层面,DSXplore采用了一种新的因子分解内核-滑动通道卷积(SCC),其特征在于输入通道重叠,以平衡精度性能和计算和内存成本的降低。SCC还通过引入可调节的内核参数为设计探索提供了巨大的空间。此外,在实现层面上,我们进行了优化的GPU实现定制SCC利用几个关键技术,如输入为中心的向后设计和通道循环优化。在主流CNN的不同数据集上进行的密集实验表明,DSXplore在平衡准确性和计算/参数减少方面优于标准卷积和现有DSC。
2021-01-04 cs.CV cs.LG
HENet:A Highly Efficient Convolutional Neural Networks Optimized for Accuracy, Speed and Storage
Shanghai University(上海大学)
为了提高卷积神经网络(CNN)的实时性能,越来越多的研究者开始关注如何提高CNN的效率。本文在分析了几种CNN结构,如ResNet、DenseNet、ShuffleNet等的基础上,结合它们的优点,提出了一种高效的CNN模型--高效网络(Highly Efficient Networks,HENet)。新的架构使用了一种不寻常的方式来结合组卷积和通道洗牌,这在ShuffleNet中提到。受ResNet和DenseNet的启发,我们还提出了一种新的方法来使用每个块的元素加法和串联连接。为了更好地利用特征图,从HENet中删除了池化操作。实验结果表明,在CIFAR-10/100和SVHN等开源数据集上,该模型的效率比ShuffleNet提高了1倍以上。
2018-03-15 cs.CV
Multi-Precision Policy Enforced Training (MuPPET): A precision-switching strategy for quantised fixed-point training of CNNs
Imperial College London(帝国理工学院);Samsung AI Center(三星人工智能中心)
大规模卷积神经网络(CNN)的训练时间非常长,从几小时到几周不等,限制了深度学习从业者的生产力和实验。随着网络规模和复杂性的增长,可以通过低精度的数据表示和计算来减少训练时间。然而,在这样做时,由于梯度消失的问题,最终的精度受到影响。现有的最先进的方法通过混合精度方法来解决这个问题,该方法利用两个不同的精度级别,FP 32(32位浮点)和FP 16/FP 8(16-/8位浮点),利用最近GPU架构对FP 16运算的硬件支持来获得性能增益。这项工作通过采用多级优化方法来推动量化训练的边界,该方法利用了包括低精度定点表示在内的多种精度。新的训练策略,MuPPET,结合使用多个数字表示制度连同精度切换机制,决定在运行时间之间的转换点精度制度。总体而言,所提出的策略量身定制的训练过程中的目标硬件架构的硬件级能力,并产生的训练时间和能源效率的改进相比,国家的最先进的方法。将MuPPET应用于AlexNet、ResNet 18和GoogLeNet在ImageNet(ILSVRC 12)上的训练,并以NVIDIA Turing GPU为目标,MuPPET实现了与标准全精度训练相同的精度,训练时间加速高达1.84 $\times$,整个网络的平均加速为1.58 $\times$。
2020-06-16 cs.CV cs.LG
BRIEF: Backward Reduction of CNNs with Information Flow Analysis
HTC Research & Healthcare(HTC研究与医疗部)
本文提出了BRIEF,一种向后约简算法,从信息流的角度探索紧凑的CNN模型设计。该算法通过考虑网络的动态行为,可以去除网络的大量非零权重参数(冗余神经通道),这是传统的模型压缩技术无法实现的。在我们提出的算法的帮助下,我们在ResNet-34上实现了ImageNet规模的显著模型缩减(32.3%缩减),比之前的结果(10.8%)好3倍。即使对于高度优化的模型,如SqueezeNet和MobileNet,我们也可以分别实现额外的10.81%和37.56%的减少,而性能下降可以忽略不计。
2018-11-01 cs.CV cs.LG stat.ML
YodaNN: An Architecture for Ultra-Low Power Binary-Weight CNN Acceleration
ETH Zürich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
卷积神经网络(CNN)在过去几年中彻底改变了计算机视觉世界,使图像分类超越了人类的准确性。当今CNN的计算工作需要耗电的并行处理器或GP-GPU。用于片上系统集成的CNN加速器的最新发展显著降低了能耗。不幸的是,即使是这些高度优化的设备也超出了移动和深度嵌入式应用所施加的功率范围,并面临CNN权重I/O和存储所造成的严格限制。这阻止了CNN在未来的超低功耗物联网端节点中用于近传感器分析。最近的算法和理论进步使得即使在训练期间将CNN限制为二进制(+1/-1)权重时,也能够实现具有竞争力的分类准确性。这些新发现通过消除对昂贵乘法的需求以及减少I/O带宽和存储,为算术核心带来了重大优化机会。在这项工作中,我们提出了一种针对二进制权重CNN优化的加速器,该加速器在1.2 V下实现1510 GOp/s,核心面积仅为1.33 MGE(百万门等效)或0.19 mm $^2$,采用UMC 65 nm技术,0.6 V时功耗为895 μW。我们的加速器性能显著优于最先进的在能量和面积效率方面,分别达到61.2 TOp/s/W@0.6 V和1135 GOp/s/MGE@1.2 V。
2017-02-24 cs.AR cs.CV cs.NE
Deep Image Compression via End-to-End Learning
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院)
提出了一种基于深度卷积神经网络(CNN)的有损图像压缩方法,在相同的比特率下,通过多尺度结构相似性(MS-SSIM)测量,该方法的性能优于现有的BPG、WebP、JPEG 2000和JPEG。目前,大多数基于CNN的方法使用像素域中的重建和地面实况之间的L2损失来训练网络,这导致过度平滑结果和视觉质量降级,特别是在非常低的比特率下。因此,我们通过感知损失和对抗损失的组合来提高主观质量。为了实现更好的率失真优化(RDO),我们还引入了一个简单到困难的迁移学习时,添加量化误差和速率约束。最后,我们评估了我们的方法在公共柯达和测试数据集P/M由苏黎世联邦理工学院的计算机视觉实验室发布,导致平均7.81%和19.1%的BD率降低BPG,分别。
2018-06-05 cs.CV eess.IV
AddNet: Deep Neural Networks Using FPGA-Optimized Multipliers
在现场可编程门阵列(FPGA)上加速深度学习应用的低精度算术运算已经得到了广泛的研究,因为它们具有节省硅面积或提高吞吐量的潜力。然而,这些好处是以降低准确性为代价的。在这篇文章中,我们证明了可重构常数系数乘法器(RCCM)提供了一个更好的替代方案,以节省硅面积比利用低精度算法。RCCM仅使用加法器、减法器、移位器和多路复用器(MUX)将输入值乘以有限的系数选择,这意味着它们可以针对FPGA进行大量优化。我们提出了一个家庭的RCCM定制的FPGA逻辑元件,以确保其有效利用。为了最大限度地减少量化带来的信息损失,我们开发了新的训练技术,将RCCM的可能系数表示映射到神经网络权重参数分布。这使得能够在硬件中使用RCCM,同时保持高精度。我们使用AlexNet、ResNet-18和ResNet-50网络展示了这些技术的好处。与传统的8位量化网络相比,所产生的实现实现了高达50%的资源节省,转化为显着的加速和功耗节省。我们的RCCM具有最低的资源需求,超过6位定点精度,而所有其他实现的RCCM实现至少达到类似的精度,8位均匀量化的设计,同时实现显着的资源节约。
2019-11-19 cs.AR cs.CV eess.SP
End-to-end Optimized Video Compression with MV-Residual Prediction
Tucodec Inc(Tucodec公司)
在本文中,我们提出了一个端到端的可训练框架的P帧压缩。设计了一种运动矢量和残差预测联合网络MV-Residual,以连续两帧为输入,提取运动表示和残差信息的组合特征。潜在表示的先验概率由超先验自动编码器建模,并与MV残差网络联合训练。特别地,空间位移卷积被应用于视频帧预测,其中每个像素的运动核被学习以通过在源图像中的位移位置处应用核来生成预测像素。最后,新的速率分配和后处理策略被用来产生最终的压缩比特,考虑到比特约束的挑战。在验证集上的实验结果表明,该优化框架可以产生最高的MS-SSIM的P帧压缩竞争。
2020-05-26 cs.CV eess.IV
Fast Exploration of Weight Sharing Opportunities for CNN Compression
Ecole Centrale de Lyon(里昂中央理工学院);Institut des Nanotechnologies de Lyon and CNRS(里昂纳米技术研究所及法国国家科学研究中心)
卷积神经网络(CNN)中涉及的计算工作量通常是低功耗嵌入式设备无法承受的。有大量的近似技术来解决这个问题。这些方法具有需要使用设计空间探索(DSE)针对每个CNN进行优化的超参数。这项工作的目标是证明DSE相位时间可以很容易地爆炸的最先进的CNN。因此,我们建议使用一个优化的探索过程,大大减少探索时间,而不牺牲输出的质量。
2021-02-02 cs.AI cs.CV cs.LG
DeepliteRT: Computer Vision at the Edge
Deeplite Inc.(迪利普特公司)
本文提出DeepliteRT端到端方案,通过超低位量化与优化ARM卷积算子,在分类和检测模型上实现最高4.34倍算子加速及2.33倍端到端加速。
2023-09-19 cs.CV cs.LG
Espresso: Efficient Forward Propagation for BCNNs
University of Victoria(维多利亚大学)
有许多应用场景需要优化深度神经网络(DNN)预测阶段的计算性能和内存占用。二进制神经网络(BDNNs)已被证明是实现这一目标的有效方法。在本文中,我们展示了如何使用二进制表示来实现卷积神经网络(CNN)。Espresso是一个用C/CUDA编写的紧凑但功能强大的库,具有CNN正向传播所需的所有功能,在一个小于400 KB的二进制文件中,没有任何外部依赖。虽然它主要是为了利用大规模的GPU并行性而设计的,但Espresso也为CNN提供了等效的CPU实现。Espresso为BCNN提供了特殊的卷积层和密集层,利用位打包和逐位计算来实现高效执行。这些技术提供了矩阵乘法例程的加速,并且同时减少了存储参数和激活时的内存使用。我们的实验表明,Espresso是显着快于现有的实现优化的二进制神经网络($\approx$ 2个数量级)。Espresso是在Apache 2.0许可下发布的,可在http://github.com/fpeder/espresso上获得。
2018-03-07 cs.CV cs.DC cs.LG
A Camera That CNNs: Towards Embedded Neural Networks on Pixel Processor Arrays
University of Bristol(布里斯托大学);University of Manchester(曼彻斯特大学)
我们提出了一个卷积神经网络实现像素处理器阵列(PPA)传感器。PPA硬件由细粒度的通用处理元件阵列组成,每个处理元件都能够进行光捕获、数据存储、程序执行以及与邻近元件的通信。这允许在光捕获点直接存储和操作图像,而不必将图像传输到外部处理硬件。我们的CNN方法将该阵列划分为4x4的处理元素块,基本上是权衡图像分辨率以增加每个4x4“像素”的本地存储器容量。我们实现并行操作的图像添加,减法和移位图像在这个4 × 4块格式。使用这些组件,我们制定了如何对这些图像执行三进制权重卷积,压缩存储这种卷积的结果,执行最大池化,并将得到的子采样数据传输到附加的微控制器。我们训练三元权重滤波CNN的数字识别和一个简单的跟踪任务,并证明这些网络的推理SCAMP5 PPA系统。这项工作是直接将神经网络处理能力嵌入到传感器焦平面上的第一步。
2019-09-13 cs.CV cs.ET
Application of 2-D Convolutional Neural Networks for Damage Detection in Steel Frame Structures
Kharazmi University(哈拉兹米大学);University of Southern Queensland(南昆士兰大学)
在本文中,我们提出了一个应用程序的2-D卷积神经网络(2-D CNN)设计执行特征提取和分类阶段作为一个单一的有机体,以解决突出的问题。该方法使用亮CNN网络而不是深CNN网络,并将原始加速度信号作为输入。使用轻量级CNN,其中每个CNN都针对特定元素进行了优化,提高了准确性,使网络执行速度更快。此外,提出了一个新的框架,以减少在训练阶段所需的数据。我们验证了我们的方法,卡塔尔大学看台模拟器(QUGS)的基准数据提供的结构动力学团队。结果表明,与其他方法相比,该方法的准确性有所提高,并且运行时间足以满足实时应用的要求。
2021-10-29 cs.CV cs.LG
BCNN: A Binary CNN with All Matrix Ops Quantized to 1 Bit Precision
Texas Instruments Inc(德州仪器公司);Georgia Institute of Technology(佐治亚理工学院)
本文描述了一种CNN,其中所有低于矩阵乘法的CNN风格的2D卷积运算都是完全二进制的。该网络是从一个共同的积木结构,是一致的建设性证明大纲表明,二进制神经网络是通用函数逼近。2012年ImageNet验证集上的前1名准确率为71.24%,采用2步训练过程,并提供了针对二进制操作数优化的实现策略。
2021-03-05 cs.CV cs.LG
NITRO-D: Native Integer-only Training of Deep Convolutional Neural Networks
Department of Electronics, Information and Bioengineering(电子、信息与生物工程系)
NITRO-D提出了一种整数-only训练框架,用于训练深度卷积神经网络,显著提升了模型性能并降低了资源消耗
2025-12-03 cs.AI cs.CV cs.LG
Spherical CNNs on Unstructured Grids
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);Lawrence Berkeley Nat’l Lab(劳伦斯伯克利国家实验室);Technical University of Munich(慕尼黑工业大学)
我们提出了一个有效的卷积核卷积神经网络(CNN)的非结构化网格使用参数化的微分算子,同时专注于球形信号,如全景图像或行星信号。为此,我们用可学习参数加权的微分算子的线性组合取代传统的卷积核。微分算子可以有效地估计非结构化网格使用一个环的邻居,和学习参数可以通过标准的反向传播进行优化。因此,我们获得了非常高效的神经网络,在性能方面与最先进的网络架构相匹配或优于最先进的网络架构,但网络参数的数量明显减少。我们评估我们的算法在各种计算机视觉和气候科学的任务,包括形状分类,气候模式分割,全方位图像语义分割广泛的一系列实验。总的来说,我们提出了(1)一种新的CNN方法在非结构化网格上使用参数化的微分算子的球形信号,(2)我们表明,我们独特的内核参数化允许我们的模型实现相同或更高的精度与显着更少的网络参数。
2019-01-07 cs.AI cs.CV cs.LG
Outlier-Aware Training for Low-Bit Quantization of Structural Re-Parameterized Networks
针对结构重参数化网络合并过程引入权重异常值导致量化困难的问题,提出算子级训练改进方法OABN与基于聚类的非均匀量化框架ClusterQAT,二者结合大幅提升了RepVGG在低位宽下的量化性能。
2024-02-11 cs.CV cs.LG cs.NE
Sensory Optimization: Neural Networks as a Model for Understanding and Creating Art
University of Oxford(牛津大学)
艺术家创造的物理艺术品(如雕塑或绘画)描绘的人,物体和事件。这些广告通常是程式化的,而不是照片般的逼真。人类是如何理解并创造出程式化的表现的呢?这种能力取决于一般的认知能力还是艺术的进化适应?学习和文化扮演着什么样的角色?机器学习可以为这些问题提供帮助。训练卷积神经网络(CNN)来识别物体是可能的,而不需要对它们进行任何视觉艺术的训练。如果这样的CNN可以推广到视觉艺术(通过创建和理解风格化的表示),那么CNN就为人类如何在没有先天适应或文化学习的情况下理解艺术提供了一个模型。我认为,深梦和风格转移表明,CNN可以创造一种基本的视觉艺术形式,人类也可以通过类似的过程创造艺术。这表明艺术家通过优化对人类物体识别系统的影响来创作艺术。物理伪影被优化以唤起该系统的真实世界对象(例如唤起人或风景)并用作该系统的超刺激。
2019-11-16 cs.AI cs.CV cs.LG