Quantized Guided Pruning for Efficient Hardware Implementations of Convolutional Neural Networks
Université de Montréal（蒙特利尔大学）；MILA；IMT Atlantique（IMT大西洋高等矿业学院）；Lab-STICC（STICC实验室）；ISCAS 2019（ISCAS 2019（会议名称，不提取））
卷积神经网络（CNN）在许多计算机视觉任务（例如对象分类和检测）中是最先进的。然而，它们包含的大量参数导致高的计算复杂性，并且强烈限制了它们在诸如嵌入式设备之类的受限设备中的可用性。在本文中，我们提出了一种新的修剪技术和量化方案的组合，有效地降低了CNN卷积层的复杂性和内存使用，并通过低成本的多路复用器取代复杂的卷积操作。我们在CIFAR10，CIFAR100和SVHN上进行了实验，结果表明，所提出的方法几乎达到了最先进的精度，同时大大减少了计算和内存占用。我们还提出了一个有效的硬件架构，以加速CNN的操作。所提出的硬件架构是一个流水线，并容纳在同一时间工作，以加快推理过程的多个层。
2018-12-29 cs.CV cs.LG cs.NE
Recurrent Neural Networks Hardware Implementation on FPGA
循环神经网络（RNN）具有保持记忆和学习数据序列的能力。由于RNN的递归性质，有时很难在传统硬件上并行化其所有计算。CPU目前不提供大的并行性，而GPU由于RNN模型的顺序组件而提供有限的并行性。在本文中，我们提出了一个硬件实现的长短期记忆（LSTM）递归网络的可编程逻辑Zynq 7020 FPGA从Xilinx。我们在硬件中实现了一个带有$2$层和$128$隐藏单元的RNN，并使用字符级语言模型对其进行了测试。该实现比Zynq 7020 FPGA上嵌入的ARM CPU快$21\times$以上。这项工作可能会发展为未来移动设备的RNN协处理器。
2016-03-04 cs.NE
Towards Budget-Driven Hardware Optimization for Deep Convolutional Neural Networks using Stochastic Computing
近年来，深度卷积神经网络（DCNN）在许多机器学习应用中取得了巨大的成功。然而，深层结构带来了计算复杂度的显著增加。大规模深度学习系统主要在高性能服务器集群中运行，因此限制了应用程序扩展到个人或移动设备。以前在DCNN的GPU和/或FPGA加速方面的工作显示出越来越高的加速比，但忽略了其他限制，如面积，功率和能量。随机计算（SC）作为一种独特的数据表示和处理技术，有可能实现大规模深度学习系统的完全并行和可扩展的硬件实现设计。提出了一种以预算需求为驱动、兼顾总体精度性能的自动设计分配算法。这种系统化的方法使得能够自动设计DCNN，其中所有设计参数被联合优化。实验结果表明，该算法可以实现所有设计参数的联合优化给定的综合预算的DCNN。
2018-05-10 cs.ET cs.NE
Tartan: Accelerating Fully-Connected and Convolutional Layers in Deep Learning Networks by Exploiting Numerical Precision Variability
Tartan（TRT）是一种用于深度神经网络（DNN）推理的硬件加速器，并在卷积神经网络上进行了评估。TRT利用DNN的可变每层精度要求来提供执行时间，该执行时间与卷积层和全连接层的每层使用的精度p成比例。现有技术已经展示了仅对于卷积层具有相同执行性能的加速器。在图像分类CNN上的实验表明，在研究的所有网络中，TRT的平均性能比最先进的位并行加速器高出1：90倍，而准确性没有任何损失，同时能效高出1：17倍。TRT不需要网络重新训练，同时它可以在执行性能和能源效率的进一步改进中权衡精度。例如，如果1%的相对精度损失是可接受的，则TRT比传统的位并行加速器平均快2：04倍，能效高1：25倍。Tartan配置一次处理2位，比1位配置需要更少的面积，将效率提高到位并行基线的1：24倍，同时卷积层的速度提高了73%，全连接层的速度提高了60%。
2017-07-27 cs.NE
Exploring Hidden Dimensions in Parallelizing Convolutional Neural Networks
Stanford University（斯坦福大学）；Microsoft（微软）
在过去的几年里，训练深度卷积神经网络的计算需求不断增长。当前的方法通过应用单个并行化策略（例如，数据或模型并行）到网络中的所有层。虽然很容易推理，但这些方法在大规模分布式训练中会导致次优的运行时性能，因为网络中的不同层可能更喜欢不同的并行化策略。在本文中，我们提出了逐层并行，允许网络中的每一层使用单独的并行化策略。我们通过解决图搜索问题来共同优化每一层的并行化方式。我们的评估表明，逐层并行通过增加训练吞吐量，降低通信成本，实现更好的可扩展性到多个GPU，同时保持原始网络的准确性，优于最先进的方法。
2018-06-09 cs.DC cs.LG cs.NE
A Self-Driving Robot Using Deep Convolutional Neural Networks on Neuromorphic Hardware
University of California, Irvine（加州大学欧文分校）；Northrop Grumman（诺斯洛普·格鲁曼公司）；University of Maryland（马里兰大学）；BrainChip LLC（BrainChip有限责任公司）
类脑计算是降低移动嵌入式系统体积、重量和功耗的一种很有前途的解决方案。在本文中，我们介绍了这样一个系统的实现，通过创建IBM TrueNorth NS1e和自主的基于Android的机器人平台之间的第一个闭环电池供电的通信系统。使用这个系统，我们构建了一个数据集的路径跟随行为，手动驱动基于Android的机器人沿着陡峭的山路和记录视频帧从安装在机器人上的摄像头以及相应的电机命令。我们使用该数据集来训练在TrueNorth NS 1e上实现的深度卷积神经网络。安装在机器人上并由机器人电池供电的NS1e导致了一个自动驾驶机器人，它可以成功地实时的穿越陡峭的山路。据我们所知，这是TrueNorth NS1e神经形态芯片首次在闭环控制下嵌入移动平台。
2016-11-04 cs.NE cs.RO
Exploiting Tournament Selection for Efficient Parallel Genetic Programming
遗传编程（GP）是一种计算密集型的技术，其本质上是并行的。因此，许多人尝试利用GPU等高度并行的硬件来改善其运行时间。然而，提高GP速度的第二种方法是通过诸如子树缓存之类的效率技术。然而，实现并行性能和效率是一项艰巨的任务。本文将展示一个效率节省GP兼容利用并行CPU硬件，利用比赛选择。显着的效率节省证明，同时保留了高性能并行执行GP的能力。事实上，GP的速度提高了74%，分类类型问题的峰值速率为960亿GPop/s。
2018-09-19 cs.NE
XNORBIN: A 95 TOp/s/W Hardware Accelerator for Binary Convolutional Neural Networks
ETH Zurich（苏黎世联邦理工学院）
部署最先进的CNN需要耗电的处理器和片外存储器。这排除了在低功耗嵌入式系统中实现CNN。最近的研究表明，CNN维持极端量化，将其权重和中间特征映射二值化，从而节省8-32 \x内存，并将能量密集型产品总和压缩为XNOR和popcount操作。我们提出了XNORBIN，一个二进制CNN的加速器，计算与内存紧密耦合，以实现积极的数据重用。XNORBIN采用UMC 65 nm技术实现，在0.8 V时的能效为95 TOp/s/W，面积效率为2.0 TOp/s/MGE。
2018-03-05 cs.AI cs.AR cs.CV
Low Complexity Multiply Accumulate Unit for Weight-Sharing Convolutional Neural Networks
卷积神经网络（CNN）是用于处理图像、语音和视频数据的最成功的深度机器学习技术之一。CNN需要大量的处理能力和内存，这可能超过低功耗移动和嵌入式系统的资源。已经为CNN提出了几种硬件加速器的设计，CNN通常包含大量的乘法累加（MAC）单元。减少CNN加速器中的数据大小和存储器流量的一种方法是“权重共享”，其中将训练的CNN中的全范围值放入bin中，并且存储bin索引而不是原始权重值。在本文中，我们提出了一种新的MAC电路，利用权重共享CNN中的分箱。我们不是直接计算MAC，而是计算每个权重的频率并将其放入一个bin中。然后，我们在随后的乘法阶段计算累加值。这允许MAC电路中的硬件乘法器被加法器和选择逻辑所取代。实验表明，对于相同的时钟速度，我们的方法的结果在更少的门，更小的逻辑，并降低功耗。
2017-01-19 cs.NE
Ristretto: Hardware-Oriented Approximation of Convolutional Neural Networks
Bern University of Applied Sciences（伯尔尼应用科学大学）；University of California Davis（加州大学戴维斯分校）
卷积神经网络（CNN）近年来取得了重大突破。他们在计算机视觉方面的表现已经达到甚至超过了人类的能力。深度神经网络可以捕获复杂的非线性特征;然而，这种能力是以高计算和内存需求为代价的。最先进的网络需要数十亿次算术运算和数百万个参数。为了使智能手机、谷歌眼镜和监控摄像头等嵌入式设备具备深度学习的惊人功能，可以使用专用硬件加速器来减少执行时间和功耗。在无法保证快速连接到云或隐私很重要的应用程序中，计算需要在本地完成。最近提出了许多用于深度神经网络的硬件加速器。加速器设计的第一个重要步骤是深度网络的面向硬件的近似，这可以实现节能推理。我们提出了Ristretto，一个快速和自动化的框架CNN近似。Ristretto模拟自定义硬件加速器的硬件算法。该框架减少了网络参数的位宽和资源密集型层的输出，从而显著减少了乘法单元的芯片面积。或者，Ristretto可以完全消除对乘法器的需求，从而产生仅加法器的算术。该工具微调修剪网络，以实现高分类精度。由于深度神经网络的训练可能非常耗时，Ristretto使用在GPU上运行的高度优化的例程。这可以快速压缩任何给定的网络。给定1%的最大容差，Ristretto可以成功地将CaffeNet和SqueezeNet压缩到8位。Ristretto的代码可用。
2016-05-20 cs.CV cs.LG cs.NE
Wireless Sensor Networks as Parallel and Distributed Hardware Platform for Artificial Neural Networks
本研究提出将无线传感器网络作为人工神经网络的大规模并行全分布式硬件平台，以实现超大规模问题的实时计算，有望突破现有计算局限并革新计算模式。
2025-10-30 cs.AR cs.DC cs.NE
TrIM, Triangular Input Movement Systolic Array for Convolutional Neural Networks: Architecture and Hardware Implementation
The University of Edinburgh（爱丁堡大学）；School of Engineering（工程学院）；Centre for Electronics Frontiers（电子前沿中心）；Institute for Integrated Micro and Nano Systems（集成微纳系统研究所）
本研究提出基于三角输入移动数据流的TrIM脉动阵列CNN硬件架构，FPGA实现后在访存次数、能效上显著优于现有方案。
2025-01-14 cs.AI cs.AR cs.NE
Convolutional Neural Network Quantization using Generalized Gamma Distribution
Samsung Electronics（三星电子）
随着使用卷积神经网络（CNN）模型的边缘应用的增长，有必要引入专用硬件加速器，其中网络参数和特征图数据以有限的精度表示。在本文中，我们提出了一种新的量化算法的硬件加速器的能源效率的部署。对于权重和偏置，确定小数部分的最佳比特长度，使得量化误差在它们的分布上最小化。对于特征映射数据，利用广义伽马分布（GGD）对样本分布进行近似，并通过GGD的渐近封闭形式求解得到最优量化步长。所提出的量化算法具有比先前针对CNN提出的其他量化方案更高的信号量化噪声比（SQNR），并且甚至可以通过调整量化参数来进一步改进，从而在功耗和内存带宽方面有效地实现CNN的硬件加速器。
2018-10-31 cs.AI cs.LG cs.NE
Recognition of convolutional neural network based on CUDA Technology
针对具有高浮点运算性能的流处理器图形处理器（GPU）是否适用于神经网络的问题，提出了卷积神经网络（CNN）的并行识别算法，该算法采用统一计算设备架构（CUDA）技术，定义了并行数据结构，描述了计算任务在CUDA上的映射机制。比较了在GTX200硬件架构的GPU上实现的并行识别算法和在CPU上实现的串行识别算法。速度提高近60倍。结果表明，基于GPU的流处理器架构比CPU更适用于与神经网络相关的一些应用。
2018-08-27 cs.DC cs.NE
Brief Announcement: On the Limits of Parallelizing Convolutional Neural Networks on GPUs
GPU目前是训练神经网络的首选平台。然而，即使在GPU上训练深度神经网络（DNN）也是一个耗时的过程，因为必须学习大量的参数。因此，加速DNN训练在过去几年中一直是一个重要的研究领域。虽然早期的网络（如AlexNet）在层和操作之间具有线性依赖性，但最先进的网络（如ResNet，PathNet和GoogleNet）具有非线性结构，表现出更高水平的操作间并行性。然而，流行的深度学习（DL）框架（如TensorFlow和PyTorch）在GPU上串行启动大多数神经网络操作，特别是卷积，并且不利用这种操作间并行性。在这个简短的声明中，我们提出了在最先进的非线性网络中利用这种丰富的并行性来减少训练时间的需求和潜在好处。我们确定了在DL框架的GPU后端（如cuDNN）上启用并发层执行的挑战和限制，并提出了潜在的解决方案。
2020-05-28 cs.DC cs.NE
SpikingJET: Enhancing Fault Injection for Fully and Convolutional Spiking Neural Networks
Politecnico di Torino（都灵理工大学）
本文提出专用于全连接和卷积脉冲神经网络的故障注入器SpikingJET，通过向突触权重、神经元参数、内部状态和激活函数注入故障，系统评估SNNs对硬件故障的脆弱性与恢复能力，为提升神经网络驱动系统的可靠性提供支持。
2024-03-30 cs.AI cs.NE
Boda-RTC: Productive Generation of Portable, Efficient Code for Convolutional Neural Networks on Mobile Computing Platforms
神经网络（NN）的流行跨越学术界、工业界和流行文化。特别地，卷积神经网络（CNN）已经被应用于许多基于图像的机器学习任务，并且已经产生了强有力的结果。用于大型和/或深度CNN模型的有效训练和部署的硬件/软件系统的可用性已经并且继续是该领域的重要考虑因素。早期的NN计算系统集中于利用现有的密集线性代数技术和库。当前的方法使用低级机器特定编程和/或闭源的、专门构建的供应商库。在这项工作中，我们提出了一个开源系统，与现有的方法相比，实现竞争力的计算速度，同时实现更高的可移植性。我们通过使用代码生成方法针对供应商中立的OpenCL平台来实现这一点。我们认为，我们的方法允许：（1）为现有的硬件目标快速开发新的计算内核，以及（2）为新的硬件目标快速调整现有的计算内核。本文介绍了针对高通Snapdragon 820移动计算平台进行CNN部署的案例研究结果。
2016-09-13 cs.DC cs.MS cs.NE
Efficient Convolutional Auto-Encoding via Random Convexification and Frequency-Domain Minimization
Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学）；Northwestern Polytechnical University (NPU)（西北工业大学）；Interuniversity Microelectronics Centre (IMEC)（校际微电子中心）
深度卷积神经网络（CNN）等深度学习架构的无处不在是由不断增加的标记数据集和专用硬件的协同组合推动的。尽管取得了无可争议的成功，但在接近新应用时，对大量标记数据和专用硬件的依赖可能是一个限制因素。为了帮助缓解这些限制，我们提出了一种有效的学习策略，用于在可接受的时间内在传统硬件上对深度CNN进行分层无监督训练。我们提出的策略包括随机凸化重构压缩自动编码（RCAE）学习目标，并通过坐标下降（CD）在频域中解决由此产生的大规模凸最小化问题。我们提出的学习策略的主要优点是：（1）单个可调优化参数;（2）快速且有保证的收敛;（3）完全并行化的可能性。数值实验表明，我们提出的学习策略规模（在最坏的情况下）与图像大小，过滤器的数量和过滤器的大小呈线性关系。
2016-11-28 cs.LG cs.NE stat.ML
Accelerating supply chains with Ant Colony Optimization across range of hardware solutions
Brunel University London（布鲁内尔伦敦大学）
蚁群算法已被应用于各种优化问题，但大多数以前的工作集中在旅行商问题（TSP）的规模和并行性。虽然，有用的基准和新的想法比较，算法动态并不总是转移到复杂的现实生活中的问题，在解决方案的建设过程中需要额外的元数据。本文着眼于现实生活中的外向供应链问题，使用蚁群优化（ACO）和它的缩放动态两个并行ACO架构-独立蚁群（IAC）和并行蚂蚁（PA）。结果表明，PA能够达到更高的解决方案的质量在更少的迭代次数的并行实例的数量增加。此外，还在三种不同的硬件解决方案（16核CPU、68核Xeon Phi和多达4个Geforce GPU）上测量了速度性能。最先进的ACO矢量化技术，如SS-轮盘赌是使用C++和CUDA实现的。虽然对于TSP来说非常出色，但得出的结论是，对于给定的供应链问题，由于所需的元数据访问占用空间，GPU并不适合。此外，与其顺序对应物相比，矢量化CPU AVX 2实现在CPU上实现了25.4倍的加速，而Xeon Phi及其AVX 512指令集在具有矢量化的PA（PAwV）上达到了148倍。因此，PAwV能够扩展到至少1024个并行实例，解决供应链网络问题。
2020-01-22 cs.DC cs.NE
VW-SDK: Efficient Convolutional Weight Mapping Using Variable Windows for Processing-In-Memory Architectures
Sungkyunkwan University（成均馆大学）
由于其高能效，内存处理（PIM）阵列越来越多地用于卷积神经网络（CNN）推理。在基于PIM的CNN推理中，计算延迟和能量取决于CNN权重如何映射到PIM阵列。最近的一项研究提出了移位和重复内核（SDK）映射，该映射以并行窗口为单位重用输入特征映射，该窗口与重复内核卷积以并行获得多个输出元素。然而，现有的基于SDK的映射算法并不总是导致最小的计算周期，因为它只映射一个方形的并行窗口与整个通道。在本文中，我们介绍了一种新的映射算法，称为可变窗口SDK（VW-SDK），它自适应地确定并行窗口的形状，导致最小的计算周期为一个给定的卷积层和PIM阵列。通过允许带有部分通道的矩形窗口，VW-SDK可以更有效地利用PIM阵列，从而进一步减少计算周期的数量。使用512 x512 PIM阵列和Resnet-18进行的仿真表明，与现有的基于SDK的算法相比，VW-SDK将推理速度提高了1.69倍。
2021-12-21 cs.LG cs.NE
Efficient Hardware Acceleration of Sparsely Active Convolutional Spiking Neural Networks
针对卷积脉冲神经网络的高激活稀疏性导致传统PE阵列利用率低的问题，提出一种基于少量高利用率PE、运行时特征图压缩队列和内存交错机制的FPGA硬件加速架构，实现了显著加速、更低资源占用与能耗。
2022-03-23 cs.AR cs.NE
Hardware Architecture for Large Parallel Array of Random Feature Extractors applied to Image Recognition
我们展示了一个低功耗和紧凑的硬件实现随机特征提取器（RFE）的核心。对于像图像识别这样需要大量功能的复杂任务，我们展示了权重重用技术如何允许虚拟地扩展RFE核心中可用的随机功能。此外，我们展示了如何避免计算成本浪费传播“不知名”或冗余的随机功能。为了验证概念，我们通过使用RFE核心作为极限学习机（ELM）的第一阶段（一个两层神经网络）来验证我们的方法，并且能够在MNIST手写数字数据库上实现$>97\%$的准确性。ELM的RFE的第一阶段是在模拟ASIC上完成的，该模拟ASIC占用$0.35μ$ m CMOS中的$5$ mm $\times5$ mm面积，并消耗$5.95$ $μ$ J/classify，同时使用$\approx 5000$有效的隐藏神经元。仅由加法器组成的ELM第二级可以实现为估计功耗为$20.9$ nJ/classify的数字电路。这款低功耗混合信号ASIC的总能耗仅为$5.97$ $μ$ J/classify，可用作带摄像头的便携式电子产品中的协处理器。
2015-12-24 cs.ET cs.NE
Implementation of Training Convolutional Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）
深度学习是机器学习的一个闪亮分支，它基于对表示的学习水平。卷积神经网络（CNN）是一种深度神经网络。可以同时学习。本文详细分析了CNN算法的前向过程和反向传播过程。然后应用特殊的卷积神经网络，用java实现了典型的人脸识别问题。然后，在第四节中提出了一种并行策略。另外，通过测量前后向计算的实际时间，从理论上分析了最大加速比和并行效率。
2015-06-04 cs.CV cs.LG cs.NE
A Power-Efficient Binary-Weight Spiking Neural Network Architecture for Real-Time Object Classification
National Tsing Hua University（国立清华大学）；National Cheng Kung University（国立成功大学）；Industrial Technology Research Institute（工业技术研究院）
神经网络硬件被认为是未来边缘设备的重要组成部分。在本文中，我们提出了一种二进制权重尖峰神经网络（BW-SNN）硬件架构，用于边缘平台上的低功耗实时对象分类。这种设计在片上存储了完整的神经网络，因此不需要片外带宽。所提出的脉动阵列最大限度地提高了典型卷积层的数据重用。在90 nm CMOS上实现了一个5层卷积BW-SNN硬件。与最先进的设计相比，每分类的面积成本和能量分别减少了7个$\times$和23个$\times$，同时在MNIST基准上也实现了更高的准确性。这也是一个开创性的SNN硬件架构，支持先进的CNN架构。
2020-03-12 cs.AR cs.CV cs.NE
