Systolic Sparse Tensor Slices: FPGA Building Blocks for Sparse and Dense AI Acceleration
针对FPGA片内计算模块主要面向稠密计算而忽视DNN稀疏性的问题,本文提出支持多种结构化稀疏度的脉动稀疏张量切片SST,在GEMM及稀疏ViT和CNN上实现显著加速并大幅降低面积。
2025-02-06 cs.AR
Sense: Model Hardware Co-design for Accelerating Sparse CNN on Systolic Array
稀疏性是卷积神经网络(CNN)的固有属性,值得CNN加速器利用,但额外的处理伴随着硬件开销,导致许多架构只能获得很少的利润。同时,脉动阵列以其高时空局部性和低硬件开销在CNN加速方面越来越具有竞争力。然而,稀疏性的不规则性会导致刚性收缩压下的工作负载不平衡,从而导致性能下降。因此,本文提出了一种基于系统阵列的架构(称为Sense),通过模型-硬件协同设计进行稀疏CNN加速,实现了大幅性能提升。为了平衡处理单元阵列(PE)的输入特征映射(IFM)和权重负载,采用通道聚类方法收集近似稀疏度的IFM进行阵列计算,并共同设计了一种负载平衡权重修剪方法,使每个内核的稀疏度保持在一定值,同时精度损失很小,提高了PE利用率和整体性能。此外,采用自适应数据流配置,根据IFM的存储比例和权重确定计算策略,与Swallow相比,降低了1.17 - 1.8倍的DRAM访问,进一步降低了系统能耗。整个设计在200 MHz的ZynqZCU 102上实现,并在AlexNet,VGG-16,ResNet-50和GoogleNet上分别以471-,34-,53-和191-image/s的速度执行。与基于稀疏收缩阵列的加速器Swallow、FESA和SPOTS相比,Sense在这些CNN上分别实现了1x-2.25x、1.95x-2.5x和1.17x-2.37x的性能提升,且开销合理。
2022-09-23 cs.AR
WinoCNN: Kernel Sharing Winograd Systolic Array for Efficient Convolutional Neural Network Acceleration on FPGAs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Advanced Digital Sciences Center(先进数字科学中心);Georgia Institute of Technology(佐治亚理工学院)
Winograd算法和脉动阵列架构的结合证明了在FPGA平台上加速卷积神经网络(CNN)时提高DSP效率的能力。然而,在基于FPGA的Winograd处理元件中处理任意卷积内核大小和支持有效的数据访问仍然没有得到充分的探索。在这项工作中,我们首次提出了一种优化的Winograd处理元素(WinoPE),它可以自然地支持多种卷积内核大小,同时具有相同的计算资源,并保持高的运行时DSP效率。使用建议的WinoPE,我们构建了一个高效的脉动阵列加速器,称为WinoCNN。我们还提出了一个专用的内存子系统,以优化数据访问。基于加速器架构,我们建立准确的资源和性能建模,以探索不同资源约束下的最佳加速器配置。我们在多个FPGA上实现了我们提出的加速器,在吞吐量和DSP效率方面都优于最先进的设计。采用Xilinx ZCU 102 FPGA,实现了高达1.33 GOPS/DSP的DSP效率和高达3.1 TOPS的吞吐量。这两个方案分别比以前报道的最佳方案好29.1%和20.0%。
2021-07-09 cs.AI cs.AR
Sparse Systolic Tensor Array for Efficient CNN Hardware Acceleration
Arm ML Research Lab(安谋机器学习研究实验室)
移动设备上的卷积神经网络(CNN)推理需要低精度(INT 8)通用矩阵乘法(GEMM)的高效硬件加速。利用数据稀疏性是进一步加速用于CNN推理的GEMM的常见方法,并且特别地,结构稀疏性具有可预测的负载均衡和非常低的索引开销的优点。在本文中,我们解决了一个关键的架构挑战与结构稀疏性:如何提供支持的范围内的稀疏性水平,同时保持高利用率的硬件。我们描述了一个时间展开制定的可变密度约束块(VDBB)稀疏,允许每个块的非零元素的可配置数量,在不断利用。然后,我们描述了一个脉动阵列微架构,实现了这一计划,有两个数据重用优化。首先,我们通过增加每个PE的MAC数量来增加操作数和部分乘积的重用。其次,我们引入了一种新的方法,将IM 2COL变换移动到硬件中,这使我们能够在操作数被数据路径消耗之前实现3倍的数据带宽扩展,从而降低SRAM功耗。权重稀疏、激活稀疏和数据重用的优化都是相互关联的,因此最优组合并不明显。因此,我们进行设计空间评估,以找到帕累托最优的设计特性。最终的设计在16 nm下实现了16.8 TOPS/W,具有适度的50%模型稀疏度,并且在87.5%下模型稀疏度高达55.7TOPS/W。以及成功地证明了可变DBB技术,这一结果显着优于先前报道的稀疏CNN加速器。
2020-10-12 cs.AR cs.LG
TrIM, Triangular Input Movement Systolic Array for Convolutional Neural Networks: Architecture and Hardware Implementation
The University of Edinburgh(爱丁堡大学);School of Engineering(工程学院);Centre for Electronics Frontiers(电子前沿中心);Institute for Integrated Micro and Nano Systems(集成微纳系统研究所)
本研究提出基于三角输入移动数据流的TrIM脉动阵列CNN硬件架构,FPGA实现后在访存次数、能效上显著优于现有方案。
2025-01-14 cs.AI cs.AR cs.NE
Systolic Array Acceleration of Diagonal-Optimized Sparse-Sparse Matrix Multiplication for Efficient Quantum Simulation
North Carolina State University(北卡罗来纳州立大学)
针对经典哈密顿量模拟中现有稀疏矩阵乘法加速器不适配对角结构化稀疏模式的问题,提出首个对角优化的量子模拟脉动阵列加速器,实现显著性能提升与能耗降低。
2025-10-29 cs.AR
Chain-NN: An Energy-Efficient 1D Chain Architecture for Accelerating Deep Convolutional Neural Networks
Graduate School of Information, Production and Systems, Waseda University(早稻田大学信息生产系统研究生院)
深度卷积神经网络(CNN)在许多计算机视觉任务中表现出了良好的性能。然而,CNN的高计算复杂性涉及在计算处理器核和占据主要功耗的存储层次结构之间的大量数据移动。本文介绍了Chain-NN,一种用于加速深度CNN的新型节能1D链架构。Chain-NN由专用的双通道进程引擎(PE)组成。在Chain-NN中,卷积由一组相邻PE组成的1D收缩基元完成。这些脉动基元,连同所提出的列式扫描输入模式,可以完全重用输入操作数,以减少内存带宽的要求,以节省能源。此外,1D链架构允许根据特定的CNN参数以更少的设计复杂度容易地重新配置脉动基元。Chain-NN的综合和布局是在台积电28 nm工艺下完成的。它的成本为3751 k逻辑门和352 KB片上存储器。结果表明,576-PE Chain-NN可以扩展到700 MHz。这实现了806.4GOPS的峰值吞吐量和567.5mW,并能够以326.2fps的帧速率加速AlexNet中的五个卷积层。1421.0GOPS/W的功率效率至少是最先进产品的2.5至4.1倍。
2017-03-04 cs.AR cs.LG
FlexiSAGA: A Flexible Systolic Array GEMM Accelerator for Sparse and Dense Processing
Embedded Systems, University of Tübingen(图宾根大学嵌入式系统)
本文提出 FlexiSAGA 加速器,通过七种稀疏/稠密数据流与定制 DNN 剪枝方法实现 GEMM 高效处理,稀疏推理加速比达 1.41 至 4.28。
2025-06-02 cs.AI cs.AR cs.LG
ArrayFlex: A Systolic Array Architecture with Configurable Transparent Pipelining
Democritus University of Thrace(色雷斯德谟克利特大学);University of Cyprus(塞浦路斯大学);National Technical University of Athens(雅典国立技术大学)
本文提出可配置透明流水线的脉动阵列ArrayFlex,可按CNN层在正常与浅流水线模式间切换,平均降低11%推理延迟、13%-23%功耗,并实现1.4至1.8倍能量延迟积效率。
2023-06-06 cs.AR cs.LG
BP-Im2col: Implicit Im2col Supporting AI Backpropagation on Systolic Arrays
最先进的基于脉动阵列的加速器采用传统的im 2col算法来加速卷积层的推理。然而,传统的im 2col不能有效地支持AI反向传播。卷积层中的反向传播涉及执行转置卷积和扩张卷积,这通常会在特征映射或内核中引入大量的零空间。零空间数据重组干扰训练的连续性,并在片外和片上存储、访问和性能方面产生额外的和不可忽略的开销。由于反向传播的对策很少提出,我们提出了BP-im 2col,一种新的im 2col算法人工智能反向传播,并实现在RTL的TPU类加速器。在TPU类加速器上的实验表明,与采用传统im 2col的基准加速器相比,BP-im 2col平均减少了34.9%的反向传播运行时间,并将片外存储器和片上缓冲区的带宽分别减少了至少22.7%和70.6%。它进一步减少了反向传播过程中的额外存储开销至少74.78%。
2022-09-20 cs.AR
SparseZipper: Enhancing Matrix Extensions to Accelerate SpGEMM on CPUs
本文提出 SparseZipper,通过最小化修改面向稠密 GEMM 的矩阵扩展与脉动阵列,使其支持非结构化高度稀疏矩阵的 SpGEMM,并以低面积开销获得显著加速。
2025-02-17 cs.AR
TrIM, Triangular Input Movement Systolic Array for Convolutional Neural Networks: Dataflow and Analytical Modelling
Centre for Electronics Frontiers(电子前沿中心);Institute for Integrated Micro and Nano Systems(集成微纳系统研究所);School of Engineering(工程学院);The University of Edinburgh(爱丁堡大学)
针对卷积神经网络中脉动阵列存在的数据冗余与内存开销问题,提出基于三角输入移动的新型数据流TrIM,在减少内存访问、提升吞吐量与降低寄存器需求上表现更优。
2025-07-31 cs.AI cs.AR
S2TA: Exploiting Structured Sparsity for Energy-Efficient Mobile CNN Acceleration
University of Rochester(罗切斯特大学);Arm ML Research Lab(Arm机器学习研究实验室)
利用稀疏性是在移动设备上加速量化卷积神经网络(CNN)推理的关键技术。现有的稀疏CNN加速器在很大程度上利用了非结构化的稀疏性,并实现了显著的加速。然而,由于无边界的、在很大程度上不可预测的稀疏模式,利用非结构化稀疏性需要复杂的硬件设计,具有显著的能量和面积开销,这对于能量和面积效率至关重要的移动/物联网推理场景尤其不利。我们建议利用结构化稀疏性,更具体地说,密度约束块(DBB)稀疏的权重和激活。DBB块张量限制了每个块的最大非零数量。因此,DBB暴露了静态可预测的稀疏模式,使精益稀疏利用硬件。我们提出了新的硬件原语实现DBB稀疏(静态)权重和(动态)激活,分别具有非常低的开销。在原语的基础上,我们描述了S2 TA,一个基于脉动阵列的CNN加速器,它利用了传统脉动阵列上不可用的联合权重和激活DBB稀疏性以及数据重用的新维度。在五个流行的CNN基准测试中,与具有零值时钟门控的脉动阵列的强基线相比,16 nm的S2 TA实现了超过2倍的加速和能量降低。与最近的两个非收缩稀疏加速器Eyeriss v2(65 nm)和Sparten(45 nm)相比,65 nm的S2 TA每次推理分别使用约2.2倍和3.1倍的能量。
2022-01-06 cs.AR cs.LG
VersaGNN: a Versatile accelerator for Graph neural networks
University of California Los Angeles(加州大学洛杉矶分校)
\textit{Graph Neural Network}(GNN)是一种很有前途的分析图结构数据的方法,它通过节点级消息传递巧妙地捕获它们的依赖信息。它在节点分类、图匹配、聚类和图生成等许多任务中都取得了最先进的性能。由于GNN在非欧几里德数据上操作,它们不规则的数据访问模式会在传统架构(如GPU和CPU)上造成相当大的计算成本和开销。我们的分析表明,GNN采用混合计算模型。\textit{Aggregation}(或\textit{Message Passing})阶段执行向量加法,其中以不规则步幅获取向量。\textit{Transformation}(或\textit{Node Embedding})阶段可以是密集矩阵乘法或稀疏-密集矩阵乘法。在这项工作中,我们提出了\textit{VersaGNN},一个超高效的,基于systolic-array的通用硬件加速器,统一了密集和稀疏矩阵乘法。通过将这种单一优化的脉动阵列应用于聚合和转换阶段,我们显着降低了芯片尺寸和能耗。然后,我们将计算引擎划分为分块脉动阵列,以支持\textit{Strassen}的密集矩阵乘法算法,从而大大减少乘法的数量,并实现GNN的高吞吐量计算。为了平衡稀疏-密集矩阵乘法的工作量,我们还引入了一种贪婪算法,将压缩格式的稀疏子矩阵合并为压缩子矩阵,以减少计算周期。与当前最先进的GNN软件框架相比,\te…
2021-05-04 cs.AI cs.AR cs.LG
The Case for Asymmetric Systolic Array Floorplanning
本文论证了脉动阵列(SAs)的物理布局应采用非对称设计以最小化连线长度并提升能效,实验表明该设计在执行CNN层时互连功耗降低9.1%,整体功耗降低2.1%。
2023-09-13 cs.AR
Hyperdrive: A Multi-Chip Systolically Scalable Binary-Weight CNN Inference Engine
ETH Zurich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
深度神经网络在计算机视觉和机器学习方面取得了令人印象深刻的成果。不幸的是,最先进的网络是非常计算和内存密集型的,这使得它们不适合物联网终端节点等兆瓦设备。这些网络的积极量化大大减少了计算和内存占用。二进制权重神经网络(BWN)遵循这一趋势,将权重量化推向极限。到目前为止,针对BWN的硬件加速器一直专注于核心效率,而忽略了I/O带宽和系统级效率,这对于在超低功耗设备中部署加速器至关重要。我们介绍Hyperdrive:BWN加速器利用新颖的二进制权重流方法显著降低I/O带宽,该方法可用于任意大小的卷积神经网络架构和输入分辨率,方法是通过将Hyperdrive芯片系统地布置在2D网格中,同时并行处理整个特征图,从而利用芯片级和系统级计算单元的自然可扩展性。Hyperdrive实现了4.3 TOp/s/W的系统级效率(即,包括I/O)--比最先进的BWN加速器高3.1倍,即使其核心使用资源密集型FP 16算法来提高鲁棒性。
2019-03-14 cs.AR cs.CV cs.DC
BenDi: An Energy-Efficient Quasi-Stochastic Systolic Architecture for Edge Bioelectronics
提出BenDi架构,通过低电压、准随机乘法、脉动数据流和硬件感知量化,在边缘设备上高效运行CNN,相比二进制权重固定脉动架构,面积效率提升3.35倍,能效提升5倍,精度损失仅1%-3.3%。
2026-06-11 cs.AR
MPNA: A Massively-Parallel Neural Array Accelerator with Dataflow Optimization for Convolutional Neural Networks
Vienna University of Technology (TU Wien)(维也纳工业大学(TU Wien));Information Technology University (ITU)(信息技术大学(ITU))
用于卷积神经网络(CNN)的最先进的加速器通常只专注于加速卷积层,但不会优先考虑完全连接的层。因此,它们缺乏硬件架构的协同优化和用于完整CNN设计的不同流程,这可以提供更高的性能/能量效率潜力。为此,我们提出了一种新型的大规模并行神经阵列(MPNA)加速器,它集成了两个异构的脉动阵列和各自的高度优化的卷积模式,以共同加速卷积(CONV)和全连接(FC)层。除了充分利用可用的片外内存带宽之外,这些优化的FIFO还实现了所有数据类型(即,重量,输入和输出激活),从而使我们的MPNA实现高节能。我们使用28 nm技术的ASIC设计流程合成了我们的MPNA架构,并使用多个真实世界的复杂CNN进行了功能和时序验证。MPNA在280 MHz时达到149.7GOPS/W,功耗为239 mW。实验结果表明,我们的MPNA架构提供了1.7倍的整体性能提高相比,国家的最先进的加速器,和51%的节能相比,基线架构。
2018-10-30 cs.AR cs.DC cs.LG
Algorithmic Strategies for Sustainable Reuse of Neural Network Accelerators with Permanent Faults
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Ohio University(俄亥俄大学);The George Washington University(乔治华盛顿大学)
本文提出新颖的算法策略,通过整合而非绕过故障组件行为,利用可逆缩放、移位和微调等技术缓解脉动阵列神经网络加速器中的永久性故障,无需硬件修改即可恢复接近无故障时的准确率。
2024-12-17 cs.AR cs.LG
Sparse Matrix to Matrix Multiplication: A Representation and Architecture for Acceleration (long version)
稀疏矩阵乘法加速器是新兴系统中的重要组成部分。在本文中,我们研究了加速稀疏矩阵乘法(SpMM)的主要挑战。对于数据没有按照期望的顺序(行/列顺序)存储的情况,我们提出了一种紧凑的高性能稀疏格式,它允许以低内存访问开销对数据集进行随机访问。我们表明,使用这种格式的结果在一个14-49倍的SpMM加速。接下来,我们提出了一个高性能的脉动体系结构的SpMM,它使用一个网格的比较器来定位有用的(非零)计算。该设计通过在网格的行/列之间共享输入数据来最大化数据重用。我们还表明,与类似的内存访问的假设,所提出的架构的结果在9-30倍的加速比与最先进的。
2019-06-02 cs.AR
GROW: A Row-Stationary Sparse-Dense GEMM Accelerator for Memory-Efficient Graph Convolutional Neural Networks
KAIST(韩国科学技术院);POSTECH(浦项科技大学)
图卷积神经网络(GCN)已经成为输入数据是相关的各种应用领域中的关键技术。GCN的一个独特属性是它的两个主要执行阶段(聚合和组合)表现出截然不同的数据流。因此,先前的GCN加速器通过将聚合和组合阶段铸造为一系列稀疏-密集矩阵乘法来解决这个研究空间。然而,以前的工作经常受到低效数据移动的影响,留下了大量的性能。我们提出了GROW,GCN加速器的基础上Gustavson的算法架构的行积的稀疏密集GEMM加速器。GROW共同设计的软件/硬件在GCN的局部性和并行性方面取得了平衡,与最先进的GCN加速器相比,实现了显著的能效改进。
2022-12-01 cs.AI cs.AR cs.LG
H-GCN: A Graph Convolutional Network Accelerator on Versal ACAP Architecture
Washington State University(华盛顿州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);Boston University(波士顿大学);University of Rochester(罗切斯特大学);Indiana University(印第安纳大学)
图神经网络(GNN)由于其将机器学习(ML)方法扩展到广泛定义为具有非结构化数据(特别是图)的应用的独特能力而引起了极大的关注。与其他机器学习(ML)模式相比,由于图类型学的不规则性和异构性,图神经网络(GNNs)的加速更具挑战性。然而,现有的工作主要集中在处理图的不规则性,并没有研究其异质性。为此,我们提出了H-GCN,这是一种基于PL(可编程逻辑)和AIE(AI引擎)的混合加速器,它利用Xilinx Versal自适应计算加速平台(ACAPs)的新兴异构性来实现高性能GNN推理。特别地,H-GCN基于其固有的异质性将每个图划分为三个子图,并分别使用PL和AIE处理它们。为了进一步提高性能,我们探索了AIE的稀疏支持,并开发了一种有效的密度感知方法来自动将稀疏矩阵-矩阵乘法(SpMM)的瓦片映射到收缩张量阵列上。与现有的GCN加速器相比,H-GCN加速器的平均加速比为1.1~ 2.3倍。
2022-06-28 cs.AR cs.LG
VWA: Hardware Efficient Vectorwise Accelerator for Convolutional Neural Network
卷积神经网络(CNN)的硬件加速器实现了人工智能技术的实时应用。然而,大多数现有的设计遭受低硬件利用率或高面积成本,由于复杂的布线。本文提出了一种硬件高效的矢量CNN加速器,该加速器采用3 $\times$ 3滤波器优化的脉动阵列,使用1-D广播时钟产生部分和。这使得不同类型的内核可以轻松地重新配置交错输入或逐元素输入的卷积。这种简单且规则的数据流导致低面积成本,同时获得高硬件利用率。在VGG-16、ResNet-34、GoogLeNet和Mobilenet上,硬件利用率分别达到99%、97%、93.7%和94%。采用台积电40 nm工艺的硬件实现采用266.9K“与非”门数和191 KB SRAM,支持168 GOPS吞吐量,在500 MHz工作频率下运行时功耗仅为154.98 mW,具有优于其他设计的面积和功耗效率。
2022-05-02 cs.AR
SCNN: An Accelerator for Compressed-sparse Convolutional Neural Networks
NVIDIA(英伟达);Massachusetts Institute of Technology(麻省理工学院);UC-Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
卷积神经网络(CNN)已经成为机器学习的基础技术。高性能和极高的能效对于CNN在各种情况下的部署至关重要,特别是自动驾驶汽车、相机和电子个人助理等移动平台。本文介绍了稀疏CNN(SCNN)加速器架构,该架构通过利用训练期间网络修剪产生的零值权重和推理期间应用的常见ReLU算子产生的零值激活来提高性能和能效。具体来说,SCNN采用了一种新的卷积算法,可以在压缩编码中保持稀疏权重和激活,从而消除了不必要的数据传输并降低了存储要求。此外,SCNN低功耗有助于将这些权重和激活有效地传递到乘法器阵列,在那里它们被广泛地重用。此外,乘法积的累加是在一个新的累加器阵列中进行的。我们的研究结果表明,在当代神经网络上,SCNN可以将性能和能量分别提高2.7倍和2.3倍,而不是传统的密集CNN加速器。
2017-05-23 cs.AR cs.LG cs.NE
Fast Inner-Product Algorithms and Architectures for Deep Neural Network Accelerators
McMaster University(麦克马斯特大学)
提出 FFIP 算法与架构,改进 FIP 并首次在 ML 加速器中实现,通过 ML 特定优化使脉动阵列加速器在相同吞吐量下减半 MAC 单元或翻倍阵列尺寸,提升计算效率。
2023-11-20 cs.AI cs.AR cs.LG
SparseTrain: Exploiting Dataflow Sparsity for Efficient Convolutional Neural Networks Training
School of Microelectronics, BDBC, Beihang University(北京航空航天大学微电子学院,大数据科学与脑机智能高精尖创新中心);School of Computer Science and Engineering, BDBC, Beihang University(北京航空航天大学计算机科学与工程学院,大数据科学与脑机智能高精尖创新中心);Department of Electrical and Computer Engineering, Duke University(杜克大学电气与计算机工程系)
训练卷积神经网络(CNN)通常需要大量的计算资源。在本文中,\textit{SparseTrain}提出了加速CNN训练充分利用稀疏性。主要涉及三个层次的创新:激活梯度剪枝算法、稀疏训练算法和加速器架构。通过在每一层上应用随机修剪算法,可以在不降低训练精度和收敛速度的情况下显着增加反向传播梯度的稀疏性。此外,为了同时利用\textit{natural sparsity}(由ReLU或Pooling层产生)和\textit{artificial sparsity}(由剪枝算法产生),提出了一种稀疏感知的架构用于训练加速。该架构通过采用一维卷积来支持CNN的前向和反向传播。我们已经建立了一个简单的编译器来映射CNN拓扑到\textit{SparseTrain},和一个周期精确的架构模拟器来评估性能和效率的基础上综合设计与$14nm$ FinFET技术。AlexNet/ResNet上的评测结果表明,与原始训练过程相比,\textit{SparseTrain}平均可以实现约$2.7 \times$的加速比和$2.2 \times$的能效提升。
2020-07-21 cs.AR cs.CV
Phantom: A High-Performance Computational Core for Sparse Convolutional Neural Networks
Kansas State University(堪萨斯州立大学)
稀疏卷积神经网络(CNN)在过去几年中获得了巨大的吸引力,因为与密集的CNN相比,如果适当地利用,稀疏CNN可以大大减少模型大小和计算量。稀疏CNN通常会引入层形状和大小的变化,这可能会阻止密集加速器在稀疏CNN模型上表现良好。最近提出的稀疏加速器,如SCNN,Eyeriss v2和Sparten,积极利用双侧或完全稀疏性,即权重和激活的稀疏性,以提高性能。然而,这些加速器要么具有低效的微架构,这限制了它们的性能,不支持非单位步长卷积和全连接(FC)层,要么严重遭受系统负载不平衡。为了解决这些问题并支持稀疏和密集模型,我们提出了Phantom,一个多线程,动态和灵活的神经计算核心。Phantom使用稀疏二进制掩码表示来主动地前瞻稀疏计算,并动态地调度其计算线程以最大化线程利用率和吞吐量。我们还生成了一个Phantom神经计算核心的二维(2D)网格架构,我们将其称为Phantom-2D加速器,并提出了一种支持CNN所有层的新型卷积层,包括单位和非单位步长卷积以及FC层。此外,Phantom-2D采用两级负载均衡策略,最大限度地减少计算空闲,从而进一步提高硬件利用率。为了显示对不同类型层的支持,我们评估了VGG 16和MobileNet上Phantom架构的性能。我们的模拟表明,Phantom-2D加速器分别在密集架构SCNN、Sparten和Eyeriss v2上获得了12倍、4.1…
2021-11-09 cs.AI cs.AR
A Power-Efficient Binary-Weight Spiking Neural Network Architecture for Real-Time Object Classification
National Tsing Hua University(国立清华大学);National Cheng Kung University(国立成功大学);Industrial Technology Research Institute(工业技术研究院)
神经网络硬件被认为是未来边缘设备的重要组成部分。在本文中,我们提出了一种二进制权重尖峰神经网络(BW-SNN)硬件架构,用于边缘平台上的低功耗实时对象分类。这种设计在片上存储了完整的神经网络,因此不需要片外带宽。所提出的脉动阵列最大限度地提高了典型卷积层的数据重用。在90 nm CMOS上实现了一个5层卷积BW-SNN硬件。与最先进的设计相比,每分类的面积成本和能量分别减少了7个$\times$和23个$\times$,同时在MNIST基准上也实现了更高的准确性。这也是一个开创性的SNN硬件架构,支持先进的CNN架构。
2020-03-12 cs.AR cs.CV cs.NE
AccSS3D: Accelerator for Spatially Sparse 3D DNNs
真实世界场景的语义理解和完成是3D视觉感知的基础,广泛应用于机器人、医学成像、自动驾驶和导航等高级应用。由于维数灾难,3D场景理解的计算和存储器需求随着体素分辨率以立方复杂度增长,对实现实时节能部署构成巨大障碍。由于自由空间而存在于3D世界中的固有空间稀疏性与已被广泛研究的通道稀疏性根本不同。我们提出了空间稀疏3D DNN加速器(AccSS 3D),这是第一个通过利用充足的空间稀疏性来加速3D场景理解的端到端解决方案。AccSS 3D是一个专门用于空间稀疏3D场景理解的算法并行架构协同设计系统,包括新颖的空间位置感知元数据结构、近零延迟和空间稀疏感知并行优化器、表面方向感知点云重新排序算法和协同设计的空间稀疏硬件加速器,该加速器通过脉动和多播互连利用数据重用。SSpNNA加速器核心与64 KB L1内存一起需要0.92 mm 2的面积,采用16 nm工艺,1 GHz。总体而言,AccSS 3D与Intel-i7- 8700 K 4核CPU相比,3D稀疏卷积实现了16.8倍的加速和2232倍的能效提升,这意味着端到端3D语义分割加速提高了11.8倍,能效提升了24.8倍(iso技术节点)
2020-11-25 cs.AR
Barrier-Free Large-Scale Sparse Tensor Accelerator (BARISTA) For Convolutional Neural Networks
卷积神经网络(CNN)正在成为视觉识别的强大工具。最近的稀疏CNN架构提案利用特征图和过滤器中的零来提高性能和能量,而不会损失准确性。在特征图和滤波器两者中利用双侧稀疏性的稀疏架构仅在小尺度上被研究(例如,1 K乘-累加(MAC)单元)。然而,为了充分实现它们的优点,稀疏架构必须被放大到密集架构的水平(例如,TPU中的32 K MAC)。这样的缩放是具有挑战性的,因为通过广播实现重用会导致隐含的屏障成本,从而引发负载不平衡、缓冲和片上带宽需求等相互关联的问题。Sparten是一种以前的方案,它解决了负载均衡的一个方面,但没有解决其他方面,也没有解决缓冲和带宽的其他问题。为此,我们提出了无障碍大型稀疏张量加速器(BARISTA)。BARISTA(1)是第一个用于按比例放大稀疏CNN加速器的架构;(2)通过伸缩请求组合输入映射请求和分割滤波器请求来减少片上带宽需求;(3)通过基本缓冲区共享来减少缓冲,并通过对输出缓冲区着色来避免连续输入映射之间的随后障碍;(4)通过动态循环工作分配来负载平衡滤波器内工作;以及(5)采用分层缓冲,通过计算中的几个宽的共享缓冲区实现高缓存带宽,并通过较窄的私有缓冲区实现低缓冲。我们的模拟表明,平均而言,咖啡师的性能分别比密集,单侧,天真缩放的双侧和等面积双侧架构好5.4倍,2.2倍,1.7倍,2.5倍。使用45纳米技术,ASIC合成我们的RTL设计的四个集…
2021-05-08 cs.AR
ARMAN: A Reconfigurable Monolithic 3D Accelerator Architecture for Convolutional Neural Networks
针对不同CNN模型对加速器架构需求各异的问题,提出基于M3D技术的可重构脉动阵列加速器ARMAN,通过灵活配置实现功耗、能量和性能的优化,在多个基准上实现最高2倍、2.24倍、1.48倍和2倍的改进。
2024-02-06 cs.AR cs.ET