An Area and Energy Efficient Design of Domain-Wall Memory-Based Deep Convolutional Neural Networks using Stochastic Computing
随着可穿戴设备和物联网(IoT)的发展趋势,开发用于嵌入式应用的基于硬件的深度卷积神经网络(DCNN)变得很有吸引力,这需要低功耗/能耗和小硬件占用空间。最近的工作表明,随机计算(SC)技术可以从根本上简化算术单元的硬件实现,并有可能满足嵌入式设备中严格的功耗要求。然而,在这些工作中,存储器的设计优化被忽略的重量存储,这将不可避免地导致大的硬件成本。此外,如果传统的易失性SRAM或DRAM单元被用于权重存储,则每当DCNN平台被重新启动时,权重需要被重新初始化。为了克服这些限制,在这项工作中,我们采用了一种新兴的非易失性域壁存储器(DWM),它可以实现超高密度,以取代SRAM的重量存储在SC为基础的DCNN。我们提出了DW-CNN,这是第一个基于DWM的权重存储方法的综合设计优化框架。我们得出最佳的内存类型,精度和组织,以及是否存储二进制或随机数。我们提出了有效的资源共享方案,用于在基于SC的DCNN的卷积层和全连接层中进行基于DWM的权重存储,以在面积、功率(能量)消耗和应用级精度之间实现理想的平衡。
2018-02-03 cs.NE
Ristretto: Hardware-Oriented Approximation of Convolutional Neural Networks
Bern University of Applied Sciences(伯尔尼应用科学大学);University of California Davis(加州大学戴维斯分校)
卷积神经网络(CNN)近年来取得了重大突破。他们在计算机视觉方面的表现已经达到甚至超过了人类的能力。深度神经网络可以捕获复杂的非线性特征;然而,这种能力是以高计算和内存需求为代价的。最先进的网络需要数十亿次算术运算和数百万个参数。为了使智能手机、谷歌眼镜和监控摄像头等嵌入式设备具备深度学习的惊人功能,可以使用专用硬件加速器来减少执行时间和功耗。在无法保证快速连接到云或隐私很重要的应用程序中,计算需要在本地完成。最近提出了许多用于深度神经网络的硬件加速器。加速器设计的第一个重要步骤是深度网络的面向硬件的近似,这可以实现节能推理。我们提出了Ristretto,一个快速和自动化的框架CNN近似。Ristretto模拟自定义硬件加速器的硬件算法。该框架减少了网络参数的位宽和资源密集型层的输出,从而显著减少了乘法单元的芯片面积。或者,Ristretto可以完全消除对乘法器的需求,从而产生仅加法器的算术。该工具微调修剪网络,以实现高分类精度。由于深度神经网络的训练可能非常耗时,Ristretto使用在GPU上运行的高度优化的例程。这可以快速压缩任何给定的网络。给定1%的最大容差,Ristretto可以成功地将CaffeNet和SqueezeNet压缩到8位。Ristretto的代码可用。
2016-05-20 cs.CV cs.LG cs.NE
Fully-parallel Convolutional Neural Network Hardware
由于物联网(IoT)的日益普及,一个新的跨学科知识领域,边缘人工智能或边缘智能,开始受到机器学习社区的极大兴趣。不幸的是,将AI特征并入边缘计算设备呈现了典型机器学习技术(例如卷积神经网络(CNN))的功耗和面积不足的缺点。在这项工作中,我们提出了一个新的功率和面积有效的架构,实现人工神经网络(ANN)的硬件,在随机计算(SC)系统的相关现象的基础上开发。该架构可以解决SC为CNN应用带来的困难实现挑战,例如二进制到随机转换中使用的高资源,信号之间不期望的相关性产生的不准确性,以及随机最大函数实现。与传统的二进制逻辑实现相比,实验结果表明,在速度性能和能量效率方面,对于FPGA实现,分别提高了19.6倍和6.3倍。我们还实现了所提出的SC-CNN架构的完整VLSI实现,证明我们的优化在可比技术节点中实现了比以前的SC-DNN架构VLSI实现减少18倍的面积。这是第一次,一个完全并行的CNN LENET-5嵌入和测试在一个单一的FPGA,显示使用随机计算的嵌入式应用程序的好处,与传统的二进制逻辑实现。
2020-06-22 cs.NE
A Self-Driving Robot Using Deep Convolutional Neural Networks on Neuromorphic Hardware
University of California, Irvine(加州大学欧文分校);Northrop Grumman(诺斯洛普·格鲁曼公司);University of Maryland(马里兰大学);BrainChip LLC(BrainChip有限责任公司)
类脑计算是降低移动嵌入式系统体积、重量和功耗的一种很有前途的解决方案。在本文中,我们介绍了这样一个系统的实现,通过创建IBM TrueNorth NS1e和自主的基于Android的机器人平台之间的第一个闭环电池供电的通信系统。使用这个系统,我们构建了一个数据集的路径跟随行为,手动驱动基于Android的机器人沿着陡峭的山路和记录视频帧从安装在机器人上的摄像头以及相应的电机命令。我们使用该数据集来训练在TrueNorth NS 1e上实现的深度卷积神经网络。安装在机器人上并由机器人电池供电的NS1e导致了一个自动驾驶机器人,它可以成功地实时的穿越陡峭的山路。据我们所知,这是TrueNorth NS1e神经形态芯片首次在闭环控制下嵌入移动平台。
2016-11-04 cs.NE cs.RO
Improving Noise Tolerance of Mixed-Signal Neural Networks
用于深度学习的混合信号硬件加速器的能效比数字硬件加速器高出几个数量级。在超低功耗状态下,模拟计算固有的有限信号精度成为一个挑战。我们进行了一个案例研究的6层卷积神经网络上运行的混合信号加速器,并评估其对硬件特定噪声的敏感性。我们应用各种方法来提高网络的噪声鲁棒性,并展示了一种有效的方法来优化有用的信号范围,通过自适应信号限幅。由此产生的模型足够强大,仅用1.4 mW的功率预算就可以在CIFAR-10数据集上实现80.2%的分类准确率,而6 mW的预算使我们能够实现87.1%的准确率,这在软件基线的1%以内。相比之下,相同模型的未优化版本在1.4 mW和6 mW时分别仅达到67.7%和78.6%的准确度。
2019-04-02 cs.ET cs.NE
Low-memory convolutional neural networks through incremental depth-first processing
我们介绍了一种增量处理方案的卷积神经网络(CNN)的推理,针对嵌入式应用程序有限的内存预算。而不是一个接一个地处理层,单个输入像素通过网络的所有部分传播,它们可以在给定的结构约束下影响。这种深度优先更新方案在内存占用上有严格的限制:在1D输入的情况下,所需的内存是恒定的,在2D输入的情况下,所需的内存与输入维度的平方根成比例。
2019-05-20 cs.NE
TrIM, Triangular Input Movement Systolic Array for Convolutional Neural Networks: Architecture and Hardware Implementation
The University of Edinburgh(爱丁堡大学);School of Engineering(工程学院);Centre for Electronics Frontiers(电子前沿中心);Institute for Integrated Micro and Nano Systems(集成微纳系统研究所)
本研究提出基于三角输入移动数据流的TrIM脉动阵列CNN硬件架构,FPGA实现后在访存次数、能效上显著优于现有方案。
2025-01-14 cs.AI cs.AR cs.NE
Convolutional Neural Network Quantization using Generalized Gamma Distribution
Samsung Electronics(三星电子)
随着使用卷积神经网络(CNN)模型的边缘应用的增长,有必要引入专用硬件加速器,其中网络参数和特征图数据以有限的精度表示。在本文中,我们提出了一种新的量化算法的硬件加速器的能源效率的部署。对于权重和偏置,确定小数部分的最佳比特长度,使得量化误差在它们的分布上最小化。对于特征映射数据,利用广义伽马分布(GGD)对样本分布进行近似,并通过GGD的渐近封闭形式求解得到最优量化步长。所提出的量化算法具有比先前针对CNN提出的其他量化方案更高的信号量化噪声比(SQNR),并且甚至可以通过调整量化参数来进一步改进,从而在功耗和内存带宽方面有效地实现CNN的硬件加速器。
2018-10-31 cs.AI cs.LG cs.NE
Boda-RTC: Productive Generation of Portable, Efficient Code for Convolutional Neural Networks on Mobile Computing Platforms
神经网络(NN)的流行跨越学术界、工业界和流行文化。特别地,卷积神经网络(CNN)已经被应用于许多基于图像的机器学习任务,并且已经产生了强有力的结果。用于大型和/或深度CNN模型的有效训练和部署的硬件/软件系统的可用性已经并且继续是该领域的重要考虑因素。早期的NN计算系统集中于利用现有的密集线性代数技术和库。当前的方法使用低级机器特定编程和/或闭源的、专门构建的供应商库。在这项工作中,我们提出了一个开源系统,与现有的方法相比,实现竞争力的计算速度,同时实现更高的可移植性。我们通过使用代码生成方法针对供应商中立的OpenCL平台来实现这一点。我们认为,我们的方法允许:(1)为现有的硬件目标快速开发新的计算内核,以及(2)为新的硬件目标快速调整现有的计算内核。本文介绍了针对高通Snapdragon 820移动计算平台进行CNN部署的案例研究结果。
2016-09-13 cs.DC cs.MS cs.NE
Beyond Speedups: Hardware-Aware Evaluation of Evolutionary Algorithms on GPUs
Southern University of Science and Technology(南方科技大学);Pengcheng Laboratory(鹏城实验室);The Hong Kong Polytechnic University(香港理工大学);The Hong Kong Polytechnic University Shenzhen Research Institute(香港理工大学深圳研究院);The Hong Kong Polytechnic University-Daya Bay Technology and Innovation Research Institute(香港理工大学-大亚湾技术与创新研究院)
通过硬件感知评估,研究GPU上16种进化算法在30个基准问题上的扩展行为,发现加速效果因算法机制而异,时间预算评估和种群规模缩放对优化性能至关重要。
2026-06-12 cs.NE
Efficient Convolutional Auto-Encoding via Random Convexification and Frequency-Domain Minimization
Vrije Universiteit Brussel (VUB)(布鲁塞尔自由大学);Northwestern Polytechnical University (NPU)(西北工业大学);Interuniversity Microelectronics Centre (IMEC)(校际微电子中心)
深度卷积神经网络(CNN)等深度学习架构的无处不在是由不断增加的标记数据集和专用硬件的协同组合推动的。尽管取得了无可争议的成功,但在接近新应用时,对大量标记数据和专用硬件的依赖可能是一个限制因素。为了帮助缓解这些限制,我们提出了一种有效的学习策略,用于在可接受的时间内在传统硬件上对深度CNN进行分层无监督训练。我们提出的策略包括随机凸化重构压缩自动编码(RCAE)学习目标,并通过坐标下降(CD)在频域中解决由此产生的大规模凸最小化问题。我们提出的学习策略的主要优点是:(1)单个可调优化参数;(2)快速且有保证的收敛;(3)完全并行化的可能性。数值实验表明,我们提出的学习策略规模(在最坏的情况下)与图像大小,过滤器的数量和过滤器的大小呈线性关系。
2016-11-28 cs.LG cs.NE stat.ML
SpikingJET: Enhancing Fault Injection for Fully and Convolutional Spiking Neural Networks
Politecnico di Torino(都灵理工大学)
本文提出专用于全连接和卷积脉冲神经网络的故障注入器SpikingJET,通过向突触权重、神经元参数、内部状态和激活函数注入故障,系统评估SNNs对硬件故障的脆弱性与恢复能力,为提升神经网络驱动系统的可靠性提供支持。
2024-03-30 cs.AI cs.NE
Low Complexity Multiply Accumulate Unit for Weight-Sharing Convolutional Neural Networks
卷积神经网络(CNN)是用于处理图像、语音和视频数据的最成功的深度机器学习技术之一。CNN需要大量的处理能力和内存,这可能超过低功耗移动和嵌入式系统的资源。已经为CNN提出了几种硬件加速器的设计,CNN通常包含大量的乘法累加(MAC)单元。减少CNN加速器中的数据大小和存储器流量的一种方法是“权重共享”,其中将训练的CNN中的全范围值放入bin中,并且存储bin索引而不是原始权重值。在本文中,我们提出了一种新的MAC电路,利用权重共享CNN中的分箱。我们不是直接计算MAC,而是计算每个权重的频率并将其放入一个bin中。然后,我们在随后的乘法阶段计算累加值。这允许MAC电路中的硬件乘法器被加法器和选择逻辑所取代。实验表明,对于相同的时钟速度,我们的方法的结果在更少的门,更小的逻辑,并降低功耗。
2017-01-19 cs.NE
Efficient Hardware Acceleration of Sparsely Active Convolutional Spiking Neural Networks
针对卷积脉冲神经网络的高激活稀疏性导致传统PE阵列利用率低的问题,提出一种基于少量高利用率PE、运行时特征图压缩队列和内存交错机制的FPGA硬件加速架构,实现了显著加速、更低资源占用与能耗。
2022-03-23 cs.AR cs.NE
Leveraging Structured Pruning of Convolutional Neural Networks
结构化修剪是一种降低卷积神经网络成本的流行方法,在许多计算机视觉任务中,卷积神经网络是最先进的。然而,根据架构,修剪引入了维度差异,这阻止了修剪网络的实际减少。为了解决这个问题,我们提出了一种方法,它能够采用任何结构化的修剪掩码,并生成一个不会遇到任何这些问题的网络,并且可以有效地利用。我们提供了一个准确的描述我们的解决方案,并显示结果的收益,在嵌入式硬件上的能量消耗和推理时间,修剪卷积神经网络。
2022-06-13 cs.NE
Structured Pruning of Neural Networks with Budget-Aware Regularization
修剪方法已被证明可以有效地减少深度神经网络的大小,同时保持准确性几乎不变。其中最有效的方法是修剪网络,同时使用稀疏先验损失和可学习的dropout参数进行训练。然而,这些方法的缺点是,修剪网络的大小和推理速度都不能直接控制;但这是在低功耗硬件上部署CNN的关键特征。为了克服这个问题,我们为深度CNN引入了一个预算正则化修剪框架。我们的方法自然适合传统的神经网络训练,因为它包括一个可学习的掩蔽层,一个新的知识感知目标函数,并使用知识蒸馏。我们还提供了关于如何修剪剩余网络以及如何产生新架构的见解。实验结果表明,使用我们的方法修剪的CNN比最先进的方法更准确,计算量更少。此外,我们的方法在严重修剪的情况下更有效地防止准确性崩溃;这使我们能够在没有显著准确性下降的情况下获得高达16倍的修剪因子。
2019-12-19 cs.NE
A Power-Efficient Binary-Weight Spiking Neural Network Architecture for Real-Time Object Classification
National Tsing Hua University(国立清华大学);National Cheng Kung University(国立成功大学);Industrial Technology Research Institute(工业技术研究院)
神经网络硬件被认为是未来边缘设备的重要组成部分。在本文中,我们提出了一种二进制权重尖峰神经网络(BW-SNN)硬件架构,用于边缘平台上的低功耗实时对象分类。这种设计在片上存储了完整的神经网络,因此不需要片外带宽。所提出的脉动阵列最大限度地提高了典型卷积层的数据重用。在90 nm CMOS上实现了一个5层卷积BW-SNN硬件。与最先进的设计相比,每分类的面积成本和能量分别减少了7个$\times$和23个$\times$,同时在MNIST基准上也实现了更高的准确性。这也是一个开创性的SNN硬件架构,支持先进的CNN架构。
2020-03-12 cs.AR cs.CV cs.NE
Spatially-sparse convolutional neural networks
University of Warwick(华威大学)
卷积神经网络(CNN)在手写识别和图像分类等问题上表现良好。然而,网络的性能通常受到预算和时间约束的限制,特别是在尝试训练深度网络时。受在线手写识别问题的启发,我们开发了一个用于处理空间稀疏输入的CNN;用一个像素宽的笔在高分辨率网格上绘制的字符看起来像一个稀疏矩阵。利用稀疏性,我们可以更有效地训练和测试大型深度CNN。在CASIA-OLHWDB 1.1数据集上,我们得到了3.82%的测试误差。虽然图片不是稀疏的,但可以通过添加填充来认为它们是稀疏的。使用稀疏性应用深度卷积网络可以大幅降低CIFAR小图片数据集的测试误差:CIFAR-10为6.28%,CIFAR-100为24.30%。
2014-09-22 cs.CV cs.NE
Exploiting Cyclic Symmetry in Convolutional Neural Networks
Google DeepMind(谷歌DeepMind)
许多类别的图像表现出旋转对称性。有时使用数据增强来训练卷积神经网络以利用这一点,但它们仍然需要从数据中学习旋转等方差特性。将这些属性编码到网络架构中,就像我们已经习惯于使用卷积层进行平移等方差一样,可以通过减轻模型的学习来更有效地使用参数预算。我们引入了四种操作,它们可以作为层插入到神经网络模型中,并且可以组合起来使这些模型与旋转部分等变。它们还支持在不同方向上共享参数。我们评估了这些架构修改对三个数据集的影响,这些数据集表现出旋转对称性,并在较小的模型中表现出更好的性能。
2016-05-26 cs.CV cs.LG cs.NE
EffNet: An Efficient Structure for Convolutional Neural Networks
Aptiv;University of Wuppertal(伍珀塔尔大学)
随着卷积神经网络在客户产品中的应用不断增加,出现了在嵌入式移动硬件上高效运行模型的需求。因此,苗条的模型已经成为一个热门的研究课题,从二进制网络到修改的卷积层的各种方法。我们为后者做出了贡献,并提出了一种新的卷积块,它大大降低了计算负担,同时超越了当前最先进的技术水平。我们的模型被称为EffNet,它是针对一开始就很苗条的模型进行优化的,并且是为了解决现有模型中的问题而创建的,如MobileNet和ShuffleNet。
2018-06-05 cs.CV cs.NE
Transfer Learning for Speech Recognition on a Budget
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
自动语音识别(ASR)系统的端到端训练需要大量数据和计算资源。我们探索基于模型自适应的迁移学习,作为在受限的GPU内存、吞吐量和训练数据下训练ASR模型的方法。我们进行了几个系统的实验,适应Wav2Letter卷积神经网络最初训练英语ASR的德语。我们表明,这种技术可以更快地训练消费级资源,同时需要更少的训练数据,以达到相同的准确性,从而降低其他语言的培训ASR模型的成本。模型内省表明,对网络权重的小调整足以获得良好的性能,特别是对于内层。
2017-06-01 cs.CL cs.LG cs.NE
Recognition of convolutional neural network based on CUDA Technology
针对具有高浮点运算性能的流处理器图形处理器(GPU)是否适用于神经网络的问题,提出了卷积神经网络(CNN)的并行识别算法,该算法采用统一计算设备架构(CUDA)技术,定义了并行数据结构,描述了计算任务在CUDA上的映射机制。比较了在GTX200硬件架构的GPU上实现的并行识别算法和在CPU上实现的串行识别算法。速度提高近60倍。结果表明,基于GPU的流处理器架构比CPU更适用于与神经网络相关的一些应用。
2018-08-27 cs.DC cs.NE