Reusing Softmax Hardware Unit for GELU Computation in Transformers
Democritus University of Thrace(德谟克利特色雷斯大学)
本研究将 Transformers 中的 GELU 计算映射到 softmax 算子上以复用硬件单元,在不降低 NLP 应用准确率的情况下,平均减少 6.1% 硬件面积和 11.9% 功耗。
2024-02-16 cs.AR cs.LG
Custom Algorithm-based Fault Tolerance for Attention Layers in Transformers
Integrated Circuits Lab, Electrical;Computer Engineering, Democritus University of Thrace, Xanthi, Greece
本文提出Flash-ABFT方法,通过单次校验覆盖注意力层中查询、键、值三矩阵乘积及softmax运算的在线校验和,在仅5.3%硬件面积和不到1.9%能耗开销下实现高效故障检测。
2025-07-22 cs.AR cs.LG
SPOTS: An Accelerator for Sparse Convolutional Networks Leveraging Systolic General Matrix-Matrix Multiplication
提出了一种新的稀疏卷积神经网络(CNN)硬件加速器,通过构建一个硬件单元来执行输入特征映射的图像到列(IM 2COL)变换,并结合一个基于脉动阵列的通用矩阵-矩阵乘法(GEMM)单元。我们的设计仔细重叠的IM 2COL转换与GEMM计算,以最大限度地提高并行性。我们提出了一种新颖的设计IM 2COL单元,它使用一组分布式本地存储器连接的环形网络,提高了能源效率和延迟的输入特征映射流只有一次。我们为GEMM单元提出了一个高大的脉动阵列,同时还提供了将其组织为多个小型GEMM单元的能力,这使我们的设计能够处理各种CNN及其参数。此外,我们的设计通过有效地将稀疏数据映射到硬件单元,利用输入特征映射和权重的稀疏性来提高性能。我们的原型SPOTS比Eyeriss平均快1.74倍。与CPU和GPU实现相比,它的能效分别提高了78倍和12倍。
2021-11-24 cs.AR
SCALE-Sim EVA: Design Principles for an Extensible, Visualizable, and Adaptable Accelerator Simulation Framework
Georgia Institute of Technology(佐治亚理工学院)
SCALE-Sim EVA是一款面向IR感知加速器建模的可扩展、可可视化、可适配的模拟框架,通过张量命令与命令分解机制计算周期时序,可生成轨迹用于分析执行相关指标,解决了固定加速器模拟器难以扩展的问题。
2026-08-14 cs.AR
A Fully Hardware Implemented Accelerator Design in ReRAM Analog Computing without ADCs
1 SKLP, \ Institute \ of \ Computing \ Technology, \ Chinese \ Academy \ of \ Sciences, \ Beijing, \ China
本文提出一种无需ADC和DAC的ReRAM模拟计算加速器RACA,利用ReRAM噪声实现随机二值化神经元及Sigmoid和SoftMax激活函数,在保持推理精度的同时提升能效和面积效率。
2024-12-27 cs.AI cs.AR
ApproxPilot: A GNN-based Accelerator Approximation Framework
针对近似加速器设计空间大、传统优化方法成本高或精度扩展性不足的问题,提出嵌入关键路径特征的GNN预测模型,构建端到端框架ApproxPilot,在同等精度约束下实现了更优的性能与硬件开销表现。
2024-07-16 cs.AR
PENDA: An Efficient Processing Element via Norm-of-Difference for Deep Learning Accelerators
Institute of Electronics, National Yang Ming Chiao Tung University(国立阳明交通大学电子研究所)
本文提出PENDA处理单元,利用余弦定理将乘法转为平方差运算,在保持精确性的同时,使深度学习加速器PE阵列的面积、能耗和时钟周期分别减少11%~36%、5%~48%和11%~19%。
2026-09-09 cs.AR
MeshKV: A Network-on-Chip KV Cache Fabric for Scalable Transformer Decoding Accelerators
University of California, Los Angeles(加州大学洛杉矶分校);Columbia University(哥伦比亚大学)
MeshKV提出一种基于轻量级NoC的KV缓存结构,通过条带化、多播和流水线重叠技术,在FPGA上实现最高58%的互连流量削减和2.1倍带宽利用率提升。
2026-09-18 cs.AI cs.AR
Low Complexity Multiply-Accumulate Units for Convolutional Neural Networks with Weight-Sharing
卷积神经网络(CNN)是用于图像、语音和视频处理的最成功的机器学习技术之一。CNN需要大量的处理能力和内存带宽。已经提出了用于CNN的硬件加速器,CNN通常包含大量的乘法累加(MAC)单元,其乘法器在集成电路(IC)门计数和功耗方面很大。已经提出了“权重共享”加速器,其中训练的CNN中的全部权重值被压缩并放入bin中,并且bin索引用于访问权重共享值。我们通过在权重共享的CNN中实现并行累积共享MAC(PASM)来降低CNN的功率和面积。PASM重新构建了MAC,以计算每个权重的频率并将其放置在一个bin中。在随后的乘法阶段中计算累加值,从而显著减少了CNN的门计数和功耗。在本文中,我们实现了PASM的重量共享的CNN卷积硬件加速器,并分析其有效性。实验表明,对于时钟速度为1GHz的45纳米ASIC工艺上实现的,我们的方法的结果在更少的门,更小的逻辑,并降低了功耗,只有轻微的延迟增加。我们还表明,与PASM CNN加速器相同的权重共享可以在资源受限的FPGA中实现,其中FPGA具有有限数量的数字信号处理器(DSP)单元来加速MAC操作。
2018-05-01 cs.AR
AccelSync: Verifying Synchronization Coverage in Accelerator Pipeline Programs
Beihang University(北京航空航天大学)
本文提出AccelSync工具,通过形式化加速器流水程序为受限并发语言,定义参数化硬件事件语义,验证同步覆盖率,发现3个之前未知的同步隐患,并在LLM生成的120个内核中检测到19.2%的缺陷率。
2026-05-08 cs.AR
NATSA: A Near-Data Processing Accelerator for Time Series Analysis
时间序列分析是提取和预测流行病学、基因组学、神经科学、环境科学、经济学等领域事件的关键技术。矩阵轮廓,最先进的算法来执行时间序列分析,计算最相似的子序列中的一个给定的查询子序列的时间序列切片。矩阵轮廓具有较低的算术强度,但它通常操作大量的时间序列数据。在当前的计算系统中,这些数据需要在片外存储器单元和片上计算单元之间移动以执行矩阵配置。这导致了一个主要的性能瓶颈,因为数据移动在执行时间和能量方面都是极其昂贵的。在这项工作中,我们提出了NATSA,第一个近数据处理加速器的时间序列分析。其关键思想是利用现代3D堆叠高带宽存储器(HBM),在存储器附近实现高效快速的专用矩阵轮廓计算,时间序列数据驻留在存储器中。NATSA提供了三个关键优势:1)通过构建接近HBM的专用节能浮点算术处理单元,快速计算各种应用的矩阵轮廓,2)通过减少计算单元和存储器单元之间缓慢且耗能的总线上的数据移动需求,提高能效和执行时间,以及3)通过利用HBM提供的低延迟、高带宽和高能效的内存访问来大规模分析时间序列数据。我们的实验评估表明,NATSA将性能提高了14.2倍(平均9.9倍),并将能耗降低了27.2倍(平均19.4倍),超过了最先进的多核实现。NATSA还将性能提高了6.3倍,并将能耗降低了10.2倍,超过了具有64个有序内核的通用NDP平台。
2020-10-06 cs.AR
NOVA: NoC-based Vector Unit for Mapping Attention Layers on a CNN Accelerator
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对注意力层非线性操作密集、难以在边缘端神经加速器上高效映射的问题,本文提出可叠加于现有加速器、在 NoC 内执行非线性操作的 NOVA 向量单元,能效最高达现有硬件近似器的 37.8 倍。
2024-05-07 cs.AI cs.AR cs.LG
High Area/Energy Efficiency RRAM CNN Accelerator with Kernel-Reordering Weight Mapping Scheme Based on Pattern Pruning
电阻式随机存取存储器(RRAM)是一种新兴的用于存储器内处理(PIM)架构的设备,用于加速卷积神经网络(CNN)。然而,由于RRAM阵列中的高度耦合的交叉结构,在基于RRAM的CNN加速器中难以利用网络的稀疏性。为了优化稀疏网络在RRAM阵列中的权值映射,实现更高的面积和能量效率,提出了一种新的权值映射方案,并基于模式修剪和运算单元(Operation Unit,简称RRAM)机制提出了相应的RRAM CNN加速器架构。实验结果表明,与传统的权值映射方法相比,该方法可以获得4.16 - 5.20倍的crossbar面积效率、1.98 - 2.15倍的能量效率和1.15 - 1.35倍的性能加速。
2020-10-13 cs.AR
High Utilization Energy-Aware Real-Time Inference Deep Convolutional Neural Network Accelerator
针对边缘设备DCNN推理计算与数据访问量大、延迟高的问题,提出一种高利用率能量感知加速器,通过计算单元优化、片上数据复用、即时池化等设计,大幅降低数据访问量,提升推理速度与能效,支持主流图像分类模型实时推理。
2025-09-06 cs.AR
'1'-bit Count-based Sorting Unit to Reduce Link Power in DNN Accelerators
Department of Electronics and Embedded Systems(电子与嵌入系统系)
本文提出了一种基于近似计算的无比较排序单元,通过减少硬件面积和链路功率来优化CNN加速器中的数据排序。
2026-01-20 cs.AI cs.AR cs.LG
GRAU: A Generic Runtime-Reconfigurable Activation-Requantization Unit for Quantized Neural Network Accelerators
Ruhr University Bochum, Germany(博德姆鲁尔大学);Dresden University of Technology, Germany(德累斯顿技术大学);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI Dresden/Leipzig), Germany(可扩展数据与人工智能中心(ScaDS.AI 德累斯顿/莱比锡))
提出基于分段线性拟合的可重构激活硬件GRAU,用2的幂近似斜率,仅需比较器和1位移位器,支持混合精度量化和SiLU等非线性函数,相比多阈值激活器减少90%以上LUT消耗,在6-8段时达到最佳权衡。
2026-10-20 cs.AI cs.AR
Convolutions Predictable Offloading to an Accelerator: Formalization and Optimization
Université de Toulouse – IRIT(图卢兹大学 - IRIT);ONERA(法国航空与航天研究院);CS Group(CS集团)
研究通过形式化卷积卸载步骤,优化加速器执行效率,提升实时性要求下的卷积神经网络计算性能。
2026-03-23 cs.AR
SeDA: Secure and Efficient DNN Accelerators with Hardware/Software Synergy
针对DNN加速器安全方案硬件资源需求大、内存访问开销高的问题,提出软硬件协同的SeDA,通过带宽感知加密、最优块粒度分块及多级完整性验证,在服务器和边缘NPUs上降低超12%性能开销并保障可扩展性。
2025-08-26 cs.AR
A Low-Power Accelerator for Deep Neural Networks with Enlarged Near-Zero Sparsity
在物联网中具有严格功率预算的设备中运行深度学习仍然是一个挑战。本文提出了一种用于嵌入式设备中处理深度神经网络的低功耗加速器。通过避免近零值数据的乘法来实现功率降低。提出了近零近似和一个专用的近零近似单元(NZAU)来预测和跳过一定阈值下的近零乘法。与跳过零值计算相比,我们的设计在LeNet-5和Alexnet中分别实现了1.92倍和1.51倍的总乘法进一步减少,而精度损失可以忽略不计。在所提出的加速器中,256个乘法器被分组为16个独立的处理通道(PL),以同时支持多达16个神经元激活。在每个PL中的数据预处理和缓冲的帮助下,即使数据过多地流入,乘法器也可以在大部分时间内进行时钟门控。该加速器采用UMC 65 nm工艺设计和仿真,工作频率为500 MHz,在处理Alexnet的全连接层FC 8时,速度比移动GPU Tegra K1快$>$ 4倍,而能耗则低717倍。
2017-05-22 cs.AR
PiC-BNN: A 128-kbit 65 nm Processing-in-CAM-Based End-to-End Binary Neural Network Accelerator
4 \,Department of Computer Engineering, Modeling, Electronics;Systems Engineering (DIMES), University of Calabria, Rende, Italy
PiC-BNN是一种基于处理-in-CAM的端到端二进制神经网络加速器,通过汉明距离容忍性实现高效准确分类,达到95.2%的MNIST识别精度和703M推理/s/W的能效。
2026-01-08 cs.AR cs.LG
DNNExplorer: A Framework for Modeling and Exploring a Novel Paradigm of FPGA-based DNN Accelerator
现有的基于FPGA的DNN加速器通常分为两种设计范式。它们要么采用通用的可重用架构来支持不同的DNN网络,但由于牺牲了设计的特殊性而留下了一些性能和效率。或者他们应用逐层定制的架构来优化特定于层的计算和资源需求,但放松了适应各种DNN网络的可扩展性。为了克服这些缺点,本文提出了一种新的基于FPGA的DNN加速器设计范式及其自动化工具,称为DNNExplorer,以便在所提出的范式下快速探索各种加速器设计,并为现有和新兴的DNN网络提供优化的加速器架构。三个关键技术对于DNNExplorer的改进性能,更好的特异性和可扩展性至关重要,包括(1)具有高维设计空间支持和细粒度可调整性的独特加速器设计范例,(2)动态设计空间,以适应DNN工作负载和目标FPGA的不同组合,以及(3)设计空间探索(DSE)引擎,用于通过同时考虑FPGA的计算和存储器资源以及DNN网络的层来生成遵循所提出的范例的优化的加速器架构。智能特性和整体复杂性。实验结果表明,对于相同的FPGA,DNNExplorer生成的加速器可以提供高达4.2倍的性能(GOP/s),而DNNBuilder为具有38个CONV层的VGG类DNN生成的最先进的逐层流水线解决方案。与具有通用可重用计算单元的加速器相比,DNNExplorer的DSP效率分别比学术界最近发布的加速器设计(HybridDNN)和商业DNN加速器IP(Xilinx…
2021-03-23 cs.AR
An Energy-Efficient Near-Data Processing Accelerator for DNNs that Optimizes Data Accesses
本文提出近数据处理加速器 QeiHaN,利用 3D 堆叠内存权重存储和对数量化激活的隐式内存内位移,减少 DNN 推理的内存访问,实现 4.3 倍加速和 3.5 倍节能。
2023-10-27 cs.AR
PULSE: Parametric Hardware Units for Low-power Sparsity-Aware Convolution Engine
本文提出PULSE,一种参数化硬件生成器,根据层间稀疏性定制SNN加速器,通过优先级编码压缩和高效激活转移,在FPGA上实现3.14倍于传统加速器的效率提升。
2024-02-09 cs.AR
Exploration of Unary Arithmetic-Based Matrix Multiply Units for Low Precision DL Accelerators
Department of Electrical and Computer Engineering, University of Central Florida(电气与计算机工程系,中央佛罗里达大学)
本文探讨了单元GEMM在低精度深度学习加速器中的应用,通过对比三种最新设计评估其性能与优化点。
2026-01-31 cs.AI cs.AR
A Reconfigurable Streaming Deep Convolutional Neural Network Accelerator for Internet of Things
卷积神经网络(CNN)在图像检测中提供了显著的准确性。为了在物联网(IoT)设备中使用CNN实现图像检测,提出了一种流硬件加速器。所提出的加速器通过避免不必要的数据移动来优化能源效率。通过独特的滤波器分解技术,加速器可以支持任意卷积窗口大小。此外,通过使用单独的池化单元,可以与卷积并行计算最大池化函数,从而实现吞吐量的提高。原型加速器采用TSMC 65 nm技术实现,核心尺寸为5 mm 2。该加速器可以支持主要的CNN,并在350 mW时实现152 GOPS的峰值吞吐量和434 GOPS/W的能效,使其成为智能物联网设备的有前途的硬件加速器。
2017-07-08 cs.AR cs.CV
PIP-NTT: Towards a Scalable Memory-Parallelized Accelerator for Iterative NTT in PQC
Queen’s University, Belfast(贝尔法斯特女王大学);Manchester Metropolitan University(曼彻斯特城市大学);Umm Al-Qura University(乌姆古拉大学)
研究基于格的后量子密码术中迭代NTT的高效实现,提出用四个较小内存的内存并行化策略及无乘法重缩放架构,经设计空间探索优化蝶形单元,构建PIP-NTT加速器,实验表明其在FPGA平台上效率显著提升,且可扩展、适用多种PQC方案。
2026-07-22 cs.AR cs.CR
RNNAccel: A Fusion Recurrent Neural Network Accelerator for Edge Intelligence
许多边缘设备采用递归神经网络(RNN)来增强其产品智能。然而,不断增加的计算复杂性对性能、能源效率和产品开发时间提出了挑战。在本文中,我们提出了一个RNN深度学习加速器,称为RNNAccel,它支持长短期记忆(LSTM)网络,门控递归单元(GRU)网络和全连接层(FC)/多感知器层(MLP)网络。该RNN加速器解决了(1)由RNN数据依赖性引起的计算单元利用率瓶颈,(2)特定应用的不灵活设计,(3)由内存访问主导的能耗,(4)由于系数压缩导致的准确性损失,以及(5)处理器加速器集成导致的不可预测性能。我们提出的RNN加速器由一个可配置的32-MAC阵列和一个系数解压缩引擎组成。MAC阵列可以扩展以满足吞吐量要求和功率预算。其先进的离线压缩和简单的硬件友好的在线解压缩,称为NeuCompression,减少内存占用高达16倍,并降低内存访问功率。此外,为了方便SOC集成,我们开发了一个工具集位精确的仿真和集成结果验证。使用关键字定位应用程序进行评估,32-MAC RNN加速器实现了90%的MAC利用率,40 nm工艺下的1.27 TOP/W,8倍压缩比和90%的推理准确率。
2020-10-26 cs.AR cs.NE
Hardware-Efficient Template-Based Deep CNNs Accelerator Design
卷积神经网络(CNN)在边缘设备上的加速最近在图像分类和目标检测应用中取得了卓越的性能。本文提出了一种高效且可扩展的基于CNN的SoC-FPGA加速器设计,该设计采用预先训练的权重,采用16位定点量化和目标硬件规格来生成优化的模板,能够实现更高的性能与资源利用率的权衡。该模板分析了计算工作量、数据依赖性和外部内存带宽,并利用循环平铺变换和低层建模将卷积层和全连接层转换为输入和输出特征图之间的向量乘法,从而实现了片上单个计算单元。此外,该加速器在AlexNet、VGG 16和LeNet网络中进行了测试,并在200 MHz下运行,峰值性能为230 GOP/s,具体取决于ZYNQ板以及模拟和合成期间不同计算单元配置的状态空间探索。最后,我们提出的方法是对以前的开发Ultra 96更高的性能测量基准。
2022-07-21 cs.AR eess.IV
Modeling Deep Learning Accelerator Enabled GPUs
深度学习的有效性导致其在越来越多的应用中的使用。NVIDIA的Volta图形处理器单元(GPU)架构引入了一个专门的功能单元“张量核心”,有助于满足深度学习对更高性能日益增长的需求。在本文中,我们研究了NVIDIA的Volta和Turing架构中的张量核的设计。我们进一步提出了一个架构模型的张量核心伏。在GPU模拟器GPGPU-Sim上实现时,我们的张量核模型在运行支持张量核的GEMM工作负载时,与NVIDIA Titan~V GPU在每个周期的平均指令方面实现了99.6\%的相关性。我们还描述了为使GPGPU-Sim能够运行CUTLASS而添加的支持,CUTLASS是一个开源CUDA C++模板库,提供利用张量核心的可定制GEMM模板。
2019-02-21 cs.AR cs.MS
A Low-Power Streaming Speech Enhancement Accelerator For Edge Devices
Institute of Electronics, National Yang Ming Chiao Tung University(国立阳明交通大学电子研究所)
本文提出一种低功耗流式语音增强加速器,通过领域感知与流式感知剪枝将模型缩小93.9%,结合无Softmax注意力与一维处理阵列,在TSMC 40nm工艺下实现仅8.08mW功耗的实时推理。
2025-03-27 cs.AI cs.AR cs.MM
OPAL: Outlier-Preserved Microscaling Quantization Accelerator for Generative Large Language Models
DGIST(大邱庆北科学技术院);Korea University(高丽大学)
本文提出软硬件协同设计的LLM加速器OPAL,通过保留异常值的微缩放激活量化、混合精度及优化硬件架构,在精度几乎无损下显著提升能效并减少面积。
2024-09-24 cs.AR cs.CL cs.LG
P3-LLM: An Integrated NPU-PIM Accelerator for Edge LLM Inference Using Hybrid Numerical Formats
Department of Electrical and Computer Engineering, Cornell University(康奈尔大学电气与计算机工程系);EAST-MICAS, KU Leuven(KU莱顿大学EAST-MICAS);Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系)
本文提出P3-LLM,通过混合精度量化和PIM架构设计,提升边缘LLM推理效率,实现4.9倍以上的加速效果。
2026-05-03 cs.AR cs.LG
Low Latency CMOS Hardware Acceleration for Fully Connected Layers in Deep Neural Networks
提出了一种新型的低延迟CMOS硬件加速器,用于深度神经网络(DNN)中的全连接(FC)层。FC加速器FC-ACCL基于128个用于矩阵向量乘法的8x8或16x16处理元件(PE),以及128个乘法累加(MAC)单元,其与128个用于存储预训练权重的高带宽存储器(HBM)单元集成。本文介绍了CMOS ASIC实现的微架构细节,并将模拟性能与AlexNet和VGG 16的DNN最新硬件加速器进行了比较。当比较4096 - 1000 FC8层的模拟处理延迟时,我们的FC-ACCL能够实现48.4 GOPS(100 MHz时钟),这比最近的FC8层加速器在150 MHz时钟下的28.8 GOPS有所改善。我们通过充分利用HBM单元在1个周期内存储和读出列特定的FClayer权重,并采用新的列-行-列调度,并实现最大并行数据路径,以使用相应的MAC和PE单元处理这些权重,实现了这一显著的改进。当放大到128个16x16 PE时,对于16x16的权重块,与使用压缩的替代EIE解决方案相比,该设计可以将大型FC6层的延迟在AlexNet中减少60%,在VGG16中减少3%。
2020-11-25 cs.AR cs.NE eess.SP
Performance Implications of Multi-Chiplet Neural Processing Units on Autonomous Driving Perception
University of California, Irvine(加州大学欧文分校)
本文以Tesla Autopilot感知流水线为案例,分析芯粒NPU上各感知模型的性能特征,提出一种新颖的多芯片调度策略,在MAESTRO模拟器上实现吞吐量提升82%、处理引擎利用率提升2.8倍。
2024-11-24 cs.AI cs.AR cs.DC
NEON: Enabling Efficient Support for Nonlinear Operations in Resistive RAM-based Neural Network Accelerators
ETH Zürich(苏黎世联邦理工学院);Galicia Supercomputing Center (CESGA)(加利西亚超级计算中心(CESGA))
电阻式随机存取存储器(RRAM)非常适合加速神经网络(NN)工作负载,因为基于RRAM的内存处理(PIM)架构本身支持高度并行的乘法累加(MAC)运算,这些运算构成了大多数NN工作负载的主干。不幸的是,NN工作负载(如Transformers)需要支持非MAC操作(例如,softmax),RRAM无法提供。因此,现有技术的工作要么集成额外的数字逻辑电路以支持非MAC操作,要么将非MAC操作卸载到CPU/GPU,从而由于数据移动而导致显著的性能和能效开销。在这项工作中,我们提出了NEON,一种新的编译器优化,使端到端执行的NN工作负载在RRAM。NEON的核心思想是将每个非MAC操作转换为轻量级但高度准确的神经网络。利用神经网络来近似非MAC操作提供了两个优点:1)我们可以利用RRAM的密钥强度,即,高度并行的MAC操作,灵活高效地执行内存中的非MAC操作。2)我们可以通过消除额外的数字逻辑电路来简化RRAM的微架构,同时减少数据移动开销。与理想化的基于数字逻辑的RRAM相比,内存中非MAC操作的加速使NEON能够实现2.28倍的加速比。我们分析了与转型相关的权衡,并在不同的基板上展示了NEON的可行用例。
2022-11-10 cs.AI cs.AR cs.ET
CAMTA: A Reconfigurable Multi-Region Activation Unit for Nonlinear Function Approximation
School of Electronics Engineering, Costa Rica Institute of Technology(电子工程学院,哥斯达黎加理工学院)
本研究提出CAMTA可重构多区域激活单元,用于FPGA和ASIC加速器的非线性函数近似,经实验验证其误差低、资源占用合理,可复用多个非线性函数。
2026-08-05 cs.AR eess.SP
Phantom: A High-Performance Computational Core for Sparse Convolutional Neural Networks
Kansas State University(堪萨斯州立大学)
稀疏卷积神经网络(CNN)在过去几年中获得了巨大的吸引力,因为与密集的CNN相比,如果适当地利用,稀疏CNN可以大大减少模型大小和计算量。稀疏CNN通常会引入层形状和大小的变化,这可能会阻止密集加速器在稀疏CNN模型上表现良好。最近提出的稀疏加速器,如SCNN,Eyeriss v2和Sparten,积极利用双侧或完全稀疏性,即权重和激活的稀疏性,以提高性能。然而,这些加速器要么具有低效的微架构,这限制了它们的性能,不支持非单位步长卷积和全连接(FC)层,要么严重遭受系统负载不平衡。为了解决这些问题并支持稀疏和密集模型,我们提出了Phantom,一个多线程,动态和灵活的神经计算核心。Phantom使用稀疏二进制掩码表示来主动地前瞻稀疏计算,并动态地调度其计算线程以最大化线程利用率和吞吐量。我们还生成了一个Phantom神经计算核心的二维(2D)网格架构,我们将其称为Phantom-2D加速器,并提出了一种支持CNN所有层的新型卷积层,包括单位和非单位步长卷积以及FC层。此外,Phantom-2D采用两级负载均衡策略,最大限度地减少计算空闲,从而进一步提高硬件利用率。为了显示对不同类型层的支持,我们评估了VGG 16和MobileNet上Phantom架构的性能。我们的模拟表明,Phantom-2D加速器分别在密集架构SCNN、Sparten和Eyeriss v2上获得了12倍、4.1…
2021-11-09 cs.AI cs.AR
A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms
Politecnico di Milano(米兰理工大学);Università di Bologna(博洛尼亚大学);Università degli Studi di Ferrara(费拉拉大学);Università degli Studi di Catania(卡塔尼亚大学);Università degli Studi di Napoli Federico II(那不勒斯费德里科二世大学);Politecnico di Torino(都灵理工大学);Università di Roma “Tor Vergata”(罗马二大(托尔韦尔加塔大学));Università degli Studi di Torino(都灵大学)
本文综述了面向异构HPC平台的深度学习硬件加速器,系统梳理GPU、TPU、FPGA、ASIC、RISC-V、存内计算、神经形态、量子与光子等加速技术,并分类总结近年代表性架构,为该领域提供全面参考。
2025-04-07 cs.AR cs.ET cs.LG
Hardware Approximate Techniques for Deep Neural Network Accelerators: A Survey
National Technical University of Athens(雅典国立技术大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
深度神经网络(DNN)非常受欢迎,因为它们在机器学习(ML)中的各种认知任务中表现出色。DNN的最新进展在许多任务中带来了超越人类的准确性,但代价是高计算复杂性。为了实现DNN推理的有效执行,越来越多的研究工作,因此,利用DNN固有的错误恢复能力,并采用近似计算(AC)原理来解决DNN加速器的高能量需求。本文对DNN加速器的硬件近似技术进行了全面的调查和分析。首先,我们分析了最先进的,并通过识别近似家庭,我们集群的近似类型方面的各自的作品。接下来,我们分析所执行评估的复杂性(相对于数据集和DNN大小),以评估近似DNN加速器的效率,潜力和局限性。此外,提供了广泛的讨论,关于更适合于设计DNN加速器的近似单元的误差度量以及针对DNN推理定制的准确度恢复方法。最后,我们介绍了DNN加速器的近似计算如何超越能源效率并解决可靠性和安全问题。
2022-03-16 cs.AR cs.LG
2-in-1 Accelerator: Enabling Random Precision Switch for Winning Both Adversarial Robustness and Efficiency
Rice University(莱斯大学)
本文提出算法与硬件协同设计的 2-in-1 Accelerator,通过 RPS 随机量化防御和精度可扩展架构,在多种攻击下同时提升 DNN 加速器鲁棒性与效率。
2025-01-04 cs.AR cs.CR cs.LG
An Energy-Efficient Accelerator Architecture with Serial Accumulation Dataflow for Deep CNNs
近年来,卷积神经网络(CNN)在许多视觉任务中表现出出色的准确性。然而,当在便携式设备和嵌入式系统上部署CNN时,大量的参数和计算导致处理时间长和电池寿命低。设计CNN硬件加速器的一个重要因素是有效地将卷积计算映射到硬件资源上。此外,为了节省电池寿命并降低能耗,减少DRAM访问的次数至关重要,因为与硬件中的其他操作相比,DRAM消耗的能量要多几个数量级。在本文中,我们提出了一种节能的架构,最大限度地利用其计算单元的卷积运算,同时需要低数量的DRAM访问。实现结果表明,所提出的架构执行一个图像识别任务,使用VGGNet模型的延迟为393 ms,只有251.5 MB的DRAM访问。
2020-02-15 cs.AR eess.SP
Rethinking Floating Point Overheads for Mixed Precision DNN Accelerators
Samsung Semiconductor, Inc.(三星半导体公司)
在本文中,我们提出了一种混合精度卷积单元架构,支持不同的整数和浮点(FP)精度。该结构基于低比特内积单元,并通过时间分解实现了更高的精度。我们说明了如何整合FP计算整数为基础的架构和评估FP算法支持所产生的开销。我们认为,FP内积的对齐和加法开销可能很大,因为最大指数差可能高达58位,这会导致大型对齐逻辑。为了解决这个问题,我们说明经验,不超过26位的产品位是必需的,最多8位的对齐是足够的,在大多数推理情况下。我们提出了新的优化基于上述意见,以减少FP算法的硬件开销。我们的实证结果,基于仿真和硬件实现,FP 16开销显着减少。在典型的混合精度实现中,所提出的架构实现了高达25%的面积改善在TFLOPS/mm 2和高达46%的TOPS/mm 2与功率效率的提高高达40%在TFLOPS/W和高达63%在TOPS/W。
2021-01-27 cs.AR cs.LG
FlexNN: A Dataflow-aware Flexible Deep Learning Accelerator for Energy-Efficient Edge Devices
本文提出FlexNN,一种面向边缘设备的灵活深度学习加速器,通过软件可配置描述符支持任意数据流以优化逐层数据移动和能耗,并结合细粒度稀疏性加速逻辑跳过冗余计算,显著提升了性能与能效。
2024-04-11 cs.AR cs.NE
MATCHA: Efficient Deployment of Deep Neural Networks on Multi-Accelerator Heterogeneous Edge SoCs
University of Catania(卡塔尼亚大学);Politecnico di Torino(都灵理工大学);ETH Zurich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
MATCHA是一个统一的DNN部署框架,通过约束编程优化内存分配和调度,提升异构加速器的并发性和利用率,在MLPerf Tiny基准测试中提升了35%的加速器利用率和减少了推理延迟。
2026-04-10 cs.AR cs.DC cs.LG
FastMamba: A High-Speed and Efficient Mamba Accelerator on FPGA with Accurate Quantization
School of Electronic Science and Engineering(电子科学与工程学院);School of Integrated Circuits(集成电路学院)
本文提出FPGA加速器FastMamba,通过Hadamard变换、二次幂量化与非线性近似,配合并行流水硬件设计,显著提升Mamba2边缘部署的速度与能效。
2025-07-28 cs.AI cs.AR
Evaluating Emerging AI/ML Accelerators: IPU, RDU, and NVIDIA/AMD GPUs
University of Connecticut(康涅狄格大学);University of Rochester(罗切斯特大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本研究初步评估并比较了Graphcore IPU、Sambanova RDU及NVIDIA/AMD GPU等新兴AI/ML加速器,通过基准测试揭示数据流架构优势,为下一代硬件设计提供参考。
2024-03-19 cs.AR cs.DC cs.LG
Analyzing and Mitigating the Impact of Permanent Faults on a Systolic Array Based Neural Network Accelerator
New York University(纽约大学)
由于其日益普及和计算成本,深度神经网络(DNN)正成为硬件加速的目标。谷歌张量处理单元(TPU)采用的DNN加速的流行架构在其核心使用了基于脉动阵列的矩阵乘法单元。本文论述了高缺陷率技术的容错,脉动阵列为基础的DNN加速器的设计。为此,我们的经验表明,即使在极低的故障率(低至$0.006\%$)的基线TPU的分类精度显着下降。然后,我们提出了两种新的策略,故障感知修剪(FAP)和故障感知修剪+再训练(FAP+T),使TPU的故障率高达$50\%$,可以忽略不计的分类精度下降(低至$0.1\%$),没有运行时的性能开销。FAP+T确实在部署之前对每个TPU芯片引入了一次性的再训练惩罚,但我们提出了将这种一次性惩罚减少到12分钟以下的优化。然后,在TPU的整个操作寿命期间摊销惩罚。
2018-02-17 cs.AR cs.CV cs.LG
SupraSNN: Exploiting Synapse-Level Parallelism in Spiking Neural Network Accelerators through Co-Optimized Mapping and Scheduling
University of Tehran(德黑兰大学)
受超标量架构启发,提出硬件-软件协同设计框架SupraSNN,通过物理解耦突触和神经元计算实现突触级并行,结合分区与启发式调度优化映射,在FPGA上实现低延迟和高能效。
2026-06-12 cs.AR cs.DC cs.NE
TiM-DNN: Ternary in-Memory accelerator for Deep Neural Networks
Purdue University(普渡大学)
使用较低的精度已经成为优化复杂深度神经网络(DNN)的计算和存储需求的流行技术。在追求更低精度的过程中,最近的研究表明,三元DNN(通过带符号的三元值表示权重和激活)代表了一个有希望的最佳点,在复杂任务中实现了接近全精度网络的精度。我们提出了TiM-DNN,一种专门设计用于执行三进制DNN的可编程内存加速器。TiM-DNN支持各种三进制表示,包括未加权{-1,0,1}、对称加权{-a,0,a}和非对称加权{-a,0,b}三进制系统。TiM-DNN的构建块是TiM瓦片-专用存储器阵列,可以通过一次访问执行大规模并行有符号三进制向量矩阵乘法。TiM瓦片又由三进制处理单元(TPC)组成,TPC是用作三进制存储单元和有符号三进制乘法单元的位单元。我们评估了TiM-DNN在32 nm技术中的实现,使用SPICE模拟和RTL合成校准的架构模拟器。我们在一套最先进的DNN基准测试中评估TiM-DNN,包括深度卷积和递归神经网络。TiM-DNN的32瓦片实例实现了114 TOP/s的峰值性能,消耗0.9W功率,占用1.96mm2芯片面积,与NVIDIA Tesla V100 GPU相比,TOPS/W和TOPS/mm 2分别提高了300倍和388倍。与专用DNN加速器相比,TiM-DNN在TOPS/W和TOPS/mm 2方面分别实现了55 - 240倍和160 - 291倍的改进。最后,当与用于三进…
2020-05-05 cs.AR cs.CV cs.ET
BaseRT: Advancing Best-in-Class LLM Inference with Apple M5 Neural Accelerators
Base Compute
研究利用苹果M5神经加速器提升大语言模型推理性能,通过BaseRT无框架设计及添加特定内核,将计算密集型矩阵乘法经M5处理,大幅提升推理吞吐量及解码优势,确立了设备上大语言模型推理新性能上限。
2026-07-23 cs.AI cs.AR cs.CL