Multi-DNN Accelerators for Next-Generation AI Systems
Samsung AI(三星人工智能中心);Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
随着人工智能驱动的应用程序在多个领域的广泛使用,计算需求也在增加。人工智能技术的主要驱动力是深度神经网络(DNN)。当专注于基于云的系统时,这些系统为来自不同用户的多个AI查询提供服务,每个用户都有自己的DNN模型,或者专注于移动机器人和智能手机,这些机器人和智能手机采用各种模型的管道或并行DNN来并行处理多模态数据,下一代AI系统将以多DNN工作负载为核心。AI服务的大规模部署以及跨移动和嵌入式系统的集成需要在计算机体系结构前端实现额外的突破,处理器在满足服务质量要求的同时,能够随着DNN数量的增加保持高性能,从而引发了多DNN加速器设计的话题。
2022-05-19 cs.AI cs.AR cs.LG
A Fresh Perspective on DNN Accelerators by Performing Holistic Analysis Across Paradigms
采用冯·诺依曼架构的传统计算机无法满足深度神经网络(DNN)工作负载的延迟和可扩展性挑战。已经提出了基于传统计算硬件加速器(CHA)、近数据处理(NDP)和存储器中处理(PIM)范例的各种DNN加速器来应对这些挑战。我们在这项工作中的目标是对DNN加速器范例中最先进的加速器进行严格的比较,我们使用了MLPerf推理基准的MobileNet,ResNet,BERT和DLRM的独特层进行分析。详细的模型是基于硬件实现的最先进的设计。我们观察到,对于内存密集型的全连接层(FCL)DNN,基于NDP的加速器比最先进的CHA快10.6倍,比基于PIM的加速器快39.9倍。对于计算密集型图像分类和目标检测DNN,最先进的CHA比NDP快约10倍,比基于PIM的加速器快约2000倍。基于PIM的加速器适用于能量受限的DNN应用(与传统ASIC系统相比,CNN和FCL应用的能量分别低约2.7倍和约21倍)。此外,我们确定架构的变化(如增加内存带宽,缓冲区重组),可以增加吞吐量(线性增加)和降低能量(线性减少)ML应用程序与CHA,NDP和PIM的加速器的相关组件的详细敏感性分析。
2022-08-10 cs.AR
DeepAxe: A Framework for Exploration of Approximation and Reliability Trade-offs in DNN Accelerators
Tallinn University of Technology(塔林理工大学);Mälardalen University(梅拉达伦大学)
虽然深度神经网络(DNN)在广泛的安全关键应用中的作用正在扩大,但新兴的DNN在计算能力方面经历了大规模的增长。这就需要提高DNN加速器的可靠性,同时减少硬件平台的计算负担,即减少能耗和执行时间,并提高DNN加速器的效率。因此,硬件性能(即面积,功率和延迟)与DNN加速器实现的可靠性之间的权衡变得至关重要,需要工具进行分析。在本文中,我们提出了一个框架DeepAxe的设计空间探索基于FPGA的实现DNN考虑应用功能近似的准确性,可靠性和硬件性能的三边影响。该框架使可靠性关键DNN的选择性近似,提供了一组帕累托最优的DNN实现设计空间点的目标资源利用率的要求。设计流程从Keras中的预训练网络开始,使用创新的高级综合环境DeepHLS,并产生一组帕累托最优设计空间点作为设计师的指导。该框架在自定义和最先进的DNN和数据集的案例研究中得到了演示。
2023-03-14 cs.AI cs.AR cs.LG
BARVINN: Arbitrary Precision DNN Accelerator Controlled by a RISC-V CPU
我们提出了一个DNN加速器,允许在任意精度的推理与专用的处理元件,可配置在位级别。我们的DNN加速器有8个处理元件,由RISC-V控制器控制,在使用最新的Alveo U250 FPGA平台实现时,具有8.2 TMAC的计算能力。我们开发了一个代码生成器工具,该工具以ONNX格式摄取CNN模型,并为RISC-V控制器生成可执行命令流。当选择不同的量化级别时,我们通过运行不同的DNN内核和模型来展示我们的加速器的可扩展吞吐量。与其他低精度加速器相比,我们的加速器提供了运行时间可编程性,无需硬件重新配置,并且可以加速具有多个量化级别的DNN,而无论目标FPGA大小如何。BARVINN是一个开源项目,可以在https://github.com/hossein1387/BARVINN上找到。
2022-12-31 cs.AR
A Formalism of DNN Accelerator Flexibility
用于机器学习(ML)的特定于领域的硬件加速器的高效率来自于专业化,同时具有较低的可配置性/灵活性。人们越来越有兴趣开发灵活的ML加速器,使其能够适应深度神经网络(DNN)的快速发展。然而,加速器灵活性的概念一直以非正式的方式使用,限制了计算机架构师在数万亿个选择中进行系统的苹果到苹果的设计空间探索(DSE)。在这项工作中,我们正式定义加速器的灵活性,并显示它可以集成DSE。具体来说,我们在四个轴上捕获DNN加速器的灵活性:平铺,排序,并行化和阵列形状。我们将现有的加速器分为16类的基础上,他们的轴的灵活性支持,并定义了一个精确的量化程度的灵活性的加速器在每个轴。我们利用这些开发一个新的灵活性感知DSE框架。我们演示了如何使用它来进行首次评估,包括隔离研究,以确定灵活性轴的个人影响。我们证明,在2014年设计的假设DNN加速器中添加灵活性功能可以提高未来的运行时间(即,现在的DNN是11.8倍几何平均。
2022-06-07 cs.AR
Dynamic Resource Partitioning for Multi-Tenant Systolic Array Based DNN Accelerator
深度神经网络(DNN)已成为云服务器和边缘设备中的重要应用。与此同时,这些平台上越来越多的DNN增加了在同一设备上执行多个DNN的需求。本文提出了一种动态分区算法,在基于系统数组的加速器上执行多个DNN的并发处理。跨多个DNN共享加速器的存储和处理资源可以提高资源利用率,并减少计算时间和能耗。为此,我们提出了一个分区的重量固定的处理元素的逻辑中的一个小的修改的卷积。我们评估的能量消耗和计算时间与重和轻的工作负载。模拟结果显示,与单租户相比,在重负载和轻负载下,能耗分别提高了35%和62%,计算时间分别提高了56%和44%。
2023-02-21 cs.AR
Late Breaking Results: Leveraging Approximate Computing for Carbon-Aware DNN Accelerators
本文针对DNN加速器隐含碳足迹的环境挑战,提出利用近似计算(门级剪枝和精度缩放)结合遗传算法优化设计,以最小化碳延迟积,在满足性能和精度要求的同时有效降低了隐含碳排放。
2025-02-01 cs.AR
MARS: Exploiting Multi-Level Parallelism for DNN Workloads on Adaptive Multi-Accelerator Systems
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);Sun Yat-sen University(中山大学);Fudan University(复旦大学)
针对多加速器系统中深度神经网络的加速器组合选择与映射策略优化问题,提出新型映射框架MARS,通过感知计算的加速器选择与感知通信的分片策略最大化并行性,有效降低了典型工作负载与异构模型的推理延迟。
2023-07-23 cs.AI cs.AR cs.DC
Hardware Approximate Techniques for Deep Neural Network Accelerators: A Survey
National Technical University of Athens(雅典国立技术大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
深度神经网络(DNN)非常受欢迎,因为它们在机器学习(ML)中的各种认知任务中表现出色。DNN的最新进展在许多任务中带来了超越人类的准确性,但代价是高计算复杂性。为了实现DNN推理的有效执行,越来越多的研究工作,因此,利用DNN固有的错误恢复能力,并采用近似计算(AC)原理来解决DNN加速器的高能量需求。本文对DNN加速器的硬件近似技术进行了全面的调查和分析。首先,我们分析了最先进的,并通过识别近似家庭,我们集群的近似类型方面的各自的作品。接下来,我们分析所执行评估的复杂性(相对于数据集和DNN大小),以评估近似DNN加速器的效率,潜力和局限性。此外,提供了广泛的讨论,关于更适合于设计DNN加速器的近似单元的误差度量以及针对DNN推理定制的准确度恢复方法。最后,我们介绍了DNN加速器的近似计算如何超越能源效率并解决可靠性和安全问题。
2022-03-16 cs.AR cs.LG
J3DAI: A tiny DNN-Based Edge AI Accelerator for 3D-Stacked CMOS Image Sensor
Univ. Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);List(List实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);STMicroelectronics(意法半导体)
J3DAI是一种基于小型DNN的边缘AI加速器,专为三层堆叠CMOS图像传感器设计,通过高效执行图像分类和分割任务,提升边缘AI的实时性和能效。
2026-02-20 cs.AI cs.AR
FlexBlock: A Flexible DNN Training Accelerator with Multi-Mode Block Floating Point Support
DGIST(大邱庆北科学技术院);KAIST(韩国科学技术院)
训练深度神经网络(DNN)是一项计算成本高昂的工作,即使使用高性能GPU也可能需要数周或数月的时间。作为对这一挑战的补救措施,社区已经开始探索在训练过程中使用更有效的数据表示,例如,块浮点(BFP)。然而,基于BFP的DNN加速器的先前工作依赖于特定的BFP表示,使得它们的通用性较差。本文建立在算法观察的基础上,我们可以通过利用多个BFP精度来加速训练,而不会影响最终达到的准确性。在这个算法机会的支持下,我们开发了一个灵活的DNN训练加速器,称为FlexBlock,它支持三种不同的BFP精度模式,激活,权重和梯度张量可能不同。虽然一些先前的工作提出了DNN加速器的多精度支持,但它们不仅关注推理,而且在考虑训练时,它们的核心利用率在固定精度和特定层类型下是次优的。相反,FlexBlock的设计方式是,通过将数据以分层方式映射到其计算单元,可以实现i)各种层类型和ii)三种BFP精度的高核心利用率。我们使用CIFAR,ImageNet和WMT14数据集上的知名DNN评估FlexBlock架构的有效性。因此,与其他训练加速器相比,FlexBlock的训练速度显著提高了1.5~5.3倍,能源效率平均提高了2.4~7.0倍,与全精度训练相比,精度损失较小。
2022-03-13 cs.AI cs.AR cs.LG
Exploring Fault-Energy Trade-offs in Approximate DNN Hardware Accelerators
University of Missouri(密苏里大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
基于系统阵列的深度神经网络(DNN)加速器最近因其低计算成本而获得了重视。然而,它们的高能耗对其在能量受限设备中的部署构成了瓶颈。为了解决这个问题,近似计算可以采用一些可容忍的精度损失的代价。然而,这种小的精度变化可能会增加DNN对不期望的细微干扰(例如永久性故障)的敏感性。永久性故障对精确DNN的影响已经在文献中进行了彻底的研究。相反,近似DNN加速器(AxDNN)中永久性故障的影响尚未得到充分研究。这种故障的影响可能随着AxDNN层中的故障位位置、激活函数和近似误差而变化。这种动态性对探索AxDNN的能量效率和故障恢复能力之间的权衡提出了相当大的挑战。为此,我们使用最先进的Evoaprox8b符号乘法器对不同AxDNN进行了广泛的逐层和逐位故障恢复和能量分析。特别是,我们改变固定在0,固定在1故障位的位置,和激活函数,以研究其影响使用最广泛使用的MNIST和时尚MNIST数据集。我们的定量分析表明,与精确的DNN加速器相比,永久性故障加剧了AxDNN的准确性损失。例如,AxDNN中的永久性故障可能导致高达66%的准确性损失,而在精确的DNN加速器中,相同的故障位可能仅导致9%的准确性损失。我们的研究结果表明,AxDNN中的故障恢复与能量效率正交。
2021-01-08 cs.AI cs.AR cs.LG
TiM-DNN: Ternary in-Memory accelerator for Deep Neural Networks
Purdue University(普渡大学)
使用较低的精度已经成为优化复杂深度神经网络(DNN)的计算和存储需求的流行技术。在追求更低精度的过程中,最近的研究表明,三元DNN(通过带符号的三元值表示权重和激活)代表了一个有希望的最佳点,在复杂任务中实现了接近全精度网络的精度。我们提出了TiM-DNN,一种专门设计用于执行三进制DNN的可编程内存加速器。TiM-DNN支持各种三进制表示,包括未加权{-1,0,1}、对称加权{-a,0,a}和非对称加权{-a,0,b}三进制系统。TiM-DNN的构建块是TiM瓦片-专用存储器阵列,可以通过一次访问执行大规模并行有符号三进制向量矩阵乘法。TiM瓦片又由三进制处理单元(TPC)组成,TPC是用作三进制存储单元和有符号三进制乘法单元的位单元。我们评估了TiM-DNN在32 nm技术中的实现,使用SPICE模拟和RTL合成校准的架构模拟器。我们在一套最先进的DNN基准测试中评估TiM-DNN,包括深度卷积和递归神经网络。TiM-DNN的32瓦片实例实现了114 TOP/s的峰值性能,消耗0.9W功率,占用1.96mm2芯片面积,与NVIDIA Tesla V100 GPU相比,TOPS/W和TOPS/mm 2分别提高了300倍和388倍。与专用DNN加速器相比,TiM-DNN在TOPS/W和TOPS/mm 2方面分别实现了55 - 240倍和160 - 291倍的改进。最后,当与用于三进…
2020-05-05 cs.AR cs.CV cs.ET
Being-ahead: Benchmarking and Exploring Accelerators for Hardware-Efficient AI Deployment
已经开发了定制的硬件加速器,以提高DNN推理和训练的性能和效率。然而,现有的硬件加速器可能并不总是适合于处理各种DNN模型,因为它们的架构范例和配置权衡是高度特定于应用的。重要的是在最早阶段对加速器候选者进行基准测试,以收集全面的性能指标并定位潜在的瓶颈。在基准测试之后还出现了进一步的需求,这需要适当的解决方案来解决瓶颈并改进针对目标工作负载的当前设计。为了实现这些目标,在本文中,我们利用名为DNNExplorer的自动化工具来对定制的DNN硬件加速器进行基准测试,并探索具有更高性能和效率的新型加速器设计。主要功能包括(1)直接支持用于DNN工作负载分析的流行机器学习框架和用于快速加速器基准测试的准确分析模型;(2)具有高维设计空间支持和细粒度可调整性的新型加速器设计范例,以克服现有的设计缺陷;以及(3)设计空间探索(DSE)引擎,通过考虑目标AI工作负载和可用硬件资源来生成优化的加速器。结果表明,采用所提出的新范式的加速器可以提供高达4.2倍的吞吐量(GOP/s),比DNNBuilder中最先进的流水线设计高出4.2倍,并且在给定相同的DNN模型和资源预算的情况下,比最近发布的HybridDNN中的通用设计高出2.0倍的效率。借助DNNExplorer的基准测试和探索功能,我们可以在构建和优化定制AI加速器方面处于领先地位,并实现更高效的AI应用程序。
2021-04-06 cs.AR
Control Variate Approximation for DNN Accelerators
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Southern Illinois University(南伊利诺伊大学);University of Stuttgart(斯图加特大学)
在这项工作中,我们介绍了一种控制变量近似技术的低误差近似深度神经网络(DNN)加速器。控制变量技术用于蒙特卡罗方法中以实现方差减小。我们的方法显著降低了DNN推理中近似乘法引起的误差,与最先进的方法相比,不需要时间穷举的再训练。利用我们的控制变量方法,我们使用高度近似的乘法器来生成功率优化的DNN加速器。我们对Cifar-10和Cifar-100数据集的六个DNN的实验评估表明,与精确设计相比,我们的控制变量近似实现了相同的性能和24%的功耗降低,而精度损失仅为0.16%。
2021-02-18 cs.AR cs.LG
REDACTOR: eFPGA Redaction for DNN Accelerator Security
本文提出 REDACTOR,探索利用 eFPGA 涂改技术保护 DNN 加速器硬件知识产权,研究关键模块选择并评估开销,证明安全收益合理。
2025-01-30 cs.AR cs.CR
Multi-Objective Hardware-Mapping Co-Optimisation for Multi-DNN Workloads on Chiplet-based Accelerators
本文提出MOHaM框架,针对基于chiplet的加速器,通过定制遗传算子的多目标进化算法协同优化多DNN工作负载的硬件设计与映射,在延迟和能耗上实现帕累托最优,最高分别降低96%和96.12%。
2024-08-23 cs.AR
SALSA: Simulated Annealing based Loop-Ordering Scheduler for DNN Accelerators
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
本文提出SALSA双引擎调度器,结合穷举搜索与模拟退火,为DNN加速器生成均匀与非均匀映射的最优循环排序调度,在5种DNN上相比LOMA和Timeloop平均降低能耗11.9%和7.6%,搜索速度提升1.7倍和24倍。
2024-06-14 cs.AI cs.AR
Panacea: Novel DNN Accelerator using Accuracy-Preserving Asymmetric Quantization and Energy-Saving Bit-Slice Sparsity
Pohang University of Science and Technology (POSTECH)(浦项科技大学);University of Michigan(密歇根大学)
针对传统对称量化精度损失、现有非对称量化位片难以压缩导致的DNN推理效率问题,提出AQS-GEMM与两种协同优化方法,设计Panacea加速器,兼顾高精度与硬件效率,性能优于现有方案。
2024-12-13 cs.AI cs.AR
HybridDNN: A Framework for High-Performance Hybrid DNN Accelerator Design and Implementation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Fudan University(复旦大学)
为了加速深度神经网络(DNN)加速器设计并实现有效的实现,我们提出了HybridDNN,这是一个用于构建高性能混合DNN加速器并提供基于FPGA的硬件实现的框架。新颖的技术包括一个高度灵活和可扩展的架构与混合空间/Winograd卷积(CONV)处理引擎(PE),一个全面的设计空间探索工具,以及一个完整的设计流程,以充分支持加速器的设计和实施。实验结果表明,HybridDNN生成的加速器可以在高端FPGA(VU 9 P)和嵌入式FPGA(PYNQ-Z1)上分别提供3375.7和83.3 GOPS,与最先进的加速器设计相比,性能提高了1.8倍。这表明HybridDNN具有灵活性和可扩展性,可以针对具有截然不同的资源约束的云和嵌入式硬件平台。
2020-04-08 cs.AR cs.CV
Architecture, Dataflow and Physical Design Implications of 3D-ICs for DNN-Accelerators
深度神经网络(DNN)对更高计算能力的持续需求推动了并行计算架构的发展。3D集成(芯片垂直集成和连接)可以进一步提高性能,因为它引入了另一个空间并行级别。因此,我们分析了这种3D-DNN-加速器的功耗、性能、面积、功耗和温度。单片和基于TSV的堆叠式3D-IC与2D-IC进行比较。我们确定了高效3D-IC的工作负载属性和架构参数,并实现了3D与2D相比高达9.14倍的加速比。我们讨论面积性能权衡。我们证明了3D-IC的适用性,因为3D-IC的功耗与2D-IC相似,并且没有热限制。
2021-02-18 cs.AR
LOCAL: Low-Complex Mapping Algorithm for Spatial DNN Accelerators
深度神经网络是解决基于学习数据集的问题的应用程序的有前途的解决方案。DNN加速器解决了处理瓶颈,作为特定于域的处理器。与其他硬件解决方案一样,加速器和其他软件组件(尤其是编译器)之间必须具有精确的兼容性。本文提出了一种低复杂度的映射算法,它有利于在编译器级执行映射操作,在一个通过低的计算时间和能量消耗。我们首先介绍了一个正式的定义的设计空间,以定义问题的范围,然后我们描述的概念,设计算法。模拟结果显示,与之前提出的数据流机制相比,执行时间提高了2倍至38倍,能耗更低。
2022-11-07 cs.AR
Dataflow-Architecture Co-Design for 2.5D DNN Accelerators using Wireless Network-on-Package
深度神经网络(DNN)模型的规模和复杂性不断增长,需要更高的计算能力来实现实时推理。为了有效地满足这种计算需求,正在开发硬件加速器并跨规模部署。这自然需要一个有效的横向扩展机制,以根据应用程序的要求增加计算密度。通过插入器的2.5D集成已经成为一种很有前途的解决方案,但正如我们在这项工作中所展示的那样,有限的插入器带宽和封装网络(NoP)中的多跳可能会削弱该方法的优势。为了应对这一挑战,我们提出了WIENNA,一个基于无线NoP的2.5D DNN加速器。在WIENNA中,无线NoP将DNN加速器小芯片阵列连接到全局缓冲器小芯片,提供高带宽多播能力。在这里,我们还确定了最有效地利用无线NoP的高带宽多播能力的每一层上的Escherlow风格。与基于插入器的NoP设计相比,WIENNA具有适度的面积和功耗开销,实现了2.2倍-5.1倍的吞吐量和38.2%的能耗降低。
2020-11-30 cs.AR
QAPPA: Quantization-Aware Power, Performance, and Area Modeling of DNN Accelerators
Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
随着机器学习和系统社区努力通过自定义DNN加速器和模型压缩技术实现更高的能效,需要一种设计空间探索框架,该框架将量化感知处理元素并入加速器设计空间,同时具有准确和快速的功率、性能和面积模型。在这项工作中,我们提出了QAPPA,一个高度参数化的量化感知的DNN加速器的功率,性能和区域建模框架。我们的框架可以促进DNN加速器的设计空间探索的未来研究,用于各种设计选择,如位精度,处理元件类型,处理元件的暂存器大小,全局缓冲区大小,设备带宽,设计中的总处理元件数量和DNN工作负载。我们的研究结果表明,不同的位精度和处理元件类型导致显着差异的性能,单位面积和能量。具体来说,与基于INT 16的实现相比,我们提出的轻量级处理元件在每面积和能源方面的性能提高了4.9倍。
2022-05-17 cs.AR cs.LG
A New MRAM-based Process In-Memory Accelerator for Efficient Neural Network Training with Floating Point Precision
Rice University(莱斯大学)
现代深度神经网络(DNN)的卓越性能往往伴随着高昂的训练成本,这限制了DNN创新的快速发展,并引发了各种环境问题。为了减少训练的主要数据移动成本,内存中进程(PIM)已经成为一种很有前途的解决方案,因为它消除了访问DNN权重的需求。然而,现有技术的PIM DNN训练加速器采用具有有限精度的模拟/混合信号计算或者基于支持有限逻辑功能的存储器技术的数字计算,因此需要复杂的过程来实现浮点计算。在本文中,我们提出了一个自旋轨道力矩磁随机存取存储器(SOT-MRAM)的数字PIM加速器,支持浮点精度。具体而言,这款新的加速器具有创新的(1)SOT-MRAM单元,(2)全加法设计,以及(3)浮点计算。实验结果表明,所提出的SOT-MRAM PIM的DNN训练加速器可以实现3.3 $\times$,1.8 $\times$,和2.5 $\times$方面的能量,延迟和面积的改善,分别与最先进的PIM为基础的DNN训练加速器。
2020-05-12 cs.AR cs.DC cs.ET
Medusa: A Scalable Interconnect for Many-Port DNN Accelerators and Wide DRAM Controller Interfaces
Stony Brook University(石溪大学)
为了应对深度神经网络(DNN)日益增长的需求和计算强度,工业界和学术界已经转向加速器技术。特别是,FPGA已经被证明可以在性能和能效之间提供良好的平衡,以加速DNN。虽然重要的研究集中在如何构建高效的层处理器,DNN加速器的计算构建块,但相对较少关注位于层处理器和FPGA的DRAM控制器之间的片上互连。我们观察到DNN加速器接口(往往包括许多窄端口)和FPGA DRAM控制器接口(往往是宽总线)之间的差异。这种不匹配导致传统互连消耗大量FPGA资源。为了解决这个问题,我们设计了Medusa:一种优化的FPGA存储器互连,它在互连结构中转置数据,根据DNN层处理器的需求定制互连。与传统的FPGA互连相比,我们的设计可以将LUT和FF的使用减少4.7倍和6.0倍,并将频率提高1.8倍。
2018-07-11 cs.AR cs.LG cs.NE
ARAS: An Adaptive Low-Cost ReRAM-Based Accelerator for DNNs
ARAS提出一种自适应低成本ReRAM加速器,通过智能调度、计算与权重写入重叠以及权重重编码增强层间相似性来减少写入能量,在常用DNN上相比基线PUM加速器实现最高2.2倍加速和45%节能。
2024-10-23 cs.AR
Positive/Negative Approximate Multipliers for DNN Accelerators
Southern Illinois University(南伊利诺伊大学);University of Stuttgart(斯图加特大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
最近的深度神经网络(DNN)在许多人工智能任务上都达到了超人的准确度。一些应用越来越依赖DNN来提供复杂的服务,DNN加速器正在成为现代片上系统的组成部分。DNN每个推理执行数百万次算术运算,DNN加速器集成了数千个乘法累加单元,导致能源需求增加。近似计算的原则,采用显着降低DNN加速器的能量消耗,在一些精度损失的代价。然而,最近的研究表明,复杂的DNN对近似越来越敏感。因此,当以严格的精度约束为目标时,所获得的能量节省通常是有限的。在这项工作中,我们提出了一个动态配置的近似乘法器,支持三种操作模式,即,精确、正误差和负误差。此外,我们提出了一种面向滤波器的近似方法,将权重映射到近似乘子的适当模式。我们的映射算法平衡了由于近似乘法产生的正负误差,旨在最大限度地减少能量,同时最小化总体卷积误差。我们在多个DNN和数据集上对我们的方法进行了评估,其中我们的方法在4个不同数据集上的7个NN上平均获得了18.33%的能量增益,最大精度下降仅为1%。
2021-07-20 cs.AR cs.LG
AdaPT: Fast Emulation of Approximate DNN Accelerators in PyTorch
National Technical University of Athens(雅典国立技术大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
当前最先进的技术采用近似乘法器来解决DNN加速器的高度增加的功率需求。然而,由于DNN框架中缺乏对近似算法的足够支持,评估近似DNN的准确性是很麻烦的。我们通过提出AdaPT来解决这种效率低下的问题,AdaPT是一个快速仿真框架,它扩展了PyTorch以支持近似推理和近似感知再训练。AdaPT可以无缝部署,并与大多数DNN兼容。我们评估了几个DNN模型和应用领域的框架,包括CNN,LSTM和GANs,用于一些具有不同位宽值的近似乘法器。结果显示,近似重新训练的错误恢复显著,并且相对于基线近似实现,推理时间减少了53.9倍。
2022-10-11 cs.AR cs.LG
TSB: Tiny Shared Block for Efficient DNN Deployment on NVCIM Accelerators
University of Notre Dame(圣母大学);North Carolina State University(北卡罗来纳州立大学)
本文提出 TSB 方法,通过在 DNN 架构中集成小型共享 1x1 卷积块来稳定特征处理,有效缓解 NVCIM 加速器的器件变化影响,显著提升推理精度并降低训练与映射开销。
2024-08-21 cs.AI cs.AR
SECDA: Efficient Hardware/Software Co-Design of FPGA-based DNN Accelerators for Edge Inference
University of Glasgow(格拉斯哥大学);Northeastern University(东北大学)
边缘计算设备固有地面临严格的资源约束,这在部署具有高内存和计算需求的深度神经网络(DNN)时尤为明显。FPGA通常用于边缘设备。由于这些可重构电路可以实现比通用处理器更高的吞吐量和更低的功耗,因此它们特别适合DNN加速。然而,为边缘设备设计基于FPGA的DNN加速器的现有解决方案具有很高的开发开销,因为重复的FPGA合成通道、在模拟设计的硬件描述语言(HDL)中的重新实现以及加速器系统集成的成本。在本文中,我们提出了SECDA,这是一种新的硬件/软件协同设计方法,可以减少使用FPGA的边缘设备上优化DNN推理加速器的设计时间。SECDA将经济高效的SystemC仿真与硬件执行相结合,通过缩短设计评估时间来简化设计空间探索和开发过程。作为一个案例研究,我们使用SECDA在PYNQ-Z1板上有效地开发了两种不同的DNN加速器设计,PYNQ-Z1板是一个包含边缘FPGA的平台。我们快速迭代地探索系统的硬件/软件堆栈,同时识别和缓解性能瓶颈。我们评估了两个加速器设计与四个常见的DNN模型,实现了平均性能加速高达3.5 $\times$的模型与2.9 $\times$减少能源消耗超过CPU的推理。我们的代码可在https://github.com/gicLAB/SECDA上获得
2021-10-01 cs.AR cs.DC cs.LG
LRMP: Layer Replication with Mixed Precision for Spatial In-memory DNN Accelerators
针对基于 NVM 的空间型存内 DNN 加速器中层处理时间不均与面积受限问题,LRMP 结合强化学习和整数线性规划联合搜索层复制与混合精度量化方案,在等精度下显著降低延迟并提升吞吐量。
2023-12-05 cs.AR
Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Tübingen(图宾根大学)
深度神经网络(DNN)加速器近年来受到了相当大的关注,因为与主流硬件相比,它具有节能的潜力。DNN加速器的低电压操作允许进一步降低能量消耗,然而,在存储量化权重的存储器中引起比特级故障。此外,DNN加速器容易受到电压控制器或单个比特的对抗攻击。在本文中,我们证明了鲁棒定点量化,权重裁剪以及随机比特错误训练(RandBET)或对抗性比特错误训练(AdvBET)的组合显着提高了量化DNN权重中对随机或对抗性比特错误的鲁棒性。这不仅为低电压操作和低精度量化带来了高节能,而且还提高了DNN加速器的安全性。与相关工作相比,我们的方法概括了整个工作电压和加速器,不需要硬件的变化。此外,我们提出了一种新的对抗性比特错误攻击,并能够获得针对有针对性和无针对性的比特级攻击的鲁棒性。在不损失超过0.8%/2%的测试精度的情况下,我们可以在CIFAR 10上减少20%/30%的8/4位量化能耗。允许多达320个对抗性比特错误,我们将测试错误从90%以上(机会水平)降低到26.22%。
2022-06-07 cs.AR cs.CR cs.CV
Bifrost: End-to-End Evaluation and Optimization of Reconfigurable DNN Accelerators
University of Glasgow(格拉斯哥大学)
深度神经网络(DNN)的可重构加速器有望改善推理延迟等性能。STONNE是第一个可重构DNN推理加速器的周期精确模拟器,允许探索加速器设计和配置空间。然而,在STONNE中准备用于评估的模型和探索配置空间是一个手动的开发时间消耗过程,这是研究的障碍。本文介绍了Bifrost,这是一个用于评估和优化可重构DNN推理加速器的端到端框架。Bifrost作为STONNE的前端运行,并利用TVM深度学习编译器堆栈来解析模型并自动卸载加速计算。我们讨论了Bifrost的优势,石头和其他工具,并评估使用Bifrost的MAERI和SIGMA架构。此外,Bifrost还引入了一个利用AutoTVM的模块,可以有效地探索加速器设计和低映射空间,以优化性能。通过调整MAERI架构并为AlexNet生成高效的低层映射,获得卷积层的平均加速比$50\times$和全连接层的平均加速比$11\times$来证明这一点。我们的代码可在www.github.com/gicLAB/bifrost上获得。
2022-04-26 cs.AR cs.DC cs.LG
PIMCOMP: An End-to-End DNN Compiler for Processing-In-Memory Accelerators
本文提出端到端DNN编译器PIMCOMP,通过抽象可配置模板与多级优化框架,解决PIM加速器部署中的资源利用与数据流调度问题,显著提升多架构下的吞吐量、延迟与能效。
2024-11-14 cs.AR
Bit Error Robustness for Energy-Efficient DNN Accelerators
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);IBM T. J. Watson Research Center(IBM T. J. Watson 研究中心);University of Tübingen(蒂宾根大学)
深度神经网络(DNN)加速器在过去几年中受到了相当大的关注,因为与主流硬件相比节省了能源。DNN加速器的低电压操作允许进一步显著降低能量消耗,然而,在存储量化的DNN权重的存储器中引起比特级故障。在本文中,我们证明了鲁棒定点量化,权重裁剪和随机比特错误训练(RandBET)的组合显着提高了(量化)DNN权重中对随机比特错误的鲁棒性。这导致了低电压操作以及低精度量化的高能量节省。我们的方法概括了整个工作电压和加速器,从剖析SRAM阵列的位错误证明。我们还讨论了为什么单独的权重裁剪已经是一种非常有效的方法来实现对比特错误的鲁棒性。此外,我们还特别讨论了准确性、鲁棒性和精度方面的权衡:与正常训练的8位DNN相比,在准确性不损失1%的情况下,我们可以将CIFAR-10的能耗降低20%。更高的节能,例如,30%,即使对于4位DNN,也可能以2.5%的精度为代价。
2021-04-09 cs.AR cs.CR cs.CV
Terastal: Layer-Variant-based Scheduling for Real-Time Multi-DNN Workloads on Heterogeneous Accelerators
nd IEEE International Conference on Embedded and Real-Time Computing Systems and Applications(第32届IEEE嵌入式与实时计算系统与应用国际会议)
针对异构DNN加速器上多DNN执行中因层延迟差异导致的调度灵活性不足和截止时间错过率增加问题,提出层变体概念和Terastal框架,通过离线虚拟预算分配和层变体设计结合在线调度,优化加速器映射和变体选择,实验表明截止时间错过率降低30%以上且精度损失仅2.24%。
2026-06-05 cs.AR cs.DC cs.LG
FATE: Fast and Accurate Timing Error Prediction Framework for Low Power DNN Accelerator Design
New York University(纽约大学)
深度神经网络(DNN)越来越多地在特定于应用的硬件上加速,例如专为深度学习设计的Google TPU。时序推测是进一步提高DNN加速器能效的一种有前途的方法。时序推测的架构探索需要详细的门级时序仿真,这对于执行数百万次乘法和累加(MAC)运算的大型DNN来说可能很耗时。在本文中,我们提出了FATE,这是一种新的方法,可以快速准确地模拟DNN加速器(如Google TPU)的时序。FATE提出了两个新颖的想法:(i)DelayNet,用于MAC单元的基于DNN的定时模型;以及(ii)统计采样方法,其减少了执行定时仿真的MAC操作的数量。我们表明,FATE的结果在8倍-58倍之间的时间模拟加速,同时引入小于2%的误差,在分类精度估计。我们通过与使用2的补码(2C)算法的传统DNN加速器进行比较来演示FATE的使用,并使用带符号幅度表示(SMR)的替代实现。我们表明,SMR的实现提供了18%以上的节能相同的分类精度比2C,结果可能是独立的利益。
2018-07-02 cs.AR cs.LG cs.NE
Gemini: Mapping and Architecture Co-exploration for Large-scale DNN Chiplet Accelerators
针对后摩尔时代大规模DNN小芯片加速器面临的架构与映射挑战,本文提出协同探索方法,以最大化小芯片技术优势并最小化其封装与接口成本。
2023-12-27 cs.AR
'1'-bit Count-based Sorting Unit to Reduce Link Power in DNN Accelerators
Department of Electronics and Embedded Systems(电子与嵌入系统系)
本文提出了一种基于近似计算的无比较排序单元,通过减少硬件面积和链路功率来优化CNN加速器中的数据排序。
2026-01-20 cs.AI cs.AR cs.LG
2-in-1 Accelerator: Enabling Random Precision Switch for Winning Both Adversarial Robustness and Efficiency
Rice University(莱斯大学)
本文提出算法与硬件协同设计的 2-in-1 Accelerator,通过 RPS 随机量化防御和精度可扩展架构,在多种攻击下同时提升 DNN 加速器鲁棒性与效率。
2025-01-04 cs.AR cs.CR cs.LG
A Configurable and Efficient Memory Hierarchy for Neural Network Hardware Accelerator
University of Tübingen(蒂宾根大学)
本文提出一种专为DNN逐层自适应访问模式定制的可配置多级存储层次结构框架,在保持高性能的同时大幅降低存储容量需求,实验表明该框架可使芯片面积减少62.2%且性能损失仅为2.4%。
2024-04-24 cs.AI cs.AR
Dynamic Co-Optimization Compiler: Leveraging Multi-Agent Reinforcement Learning for Enhanced DNN Accelerator Performance
University of Southern California(南加州大学)
该研究提出新型动态协同优化编译器DCOC,通过含三个专用演员-评论家智能体的自适应MARL框架实现软硬件协同优化,缩减搜索空间,在多种DNN模型上吞吐量最高提升37.95%、优化时间最多缩短42.2%,优于现有前沿框架。
2025-02-21 cs.AI cs.AR cs.LG
NicePIM: Design Space Exploration for Processing-In-Memory DNN Accelerators with 3D-Stacked-DRAM
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
针对DRAM-PIM加速器,提出NicePIM设计空间探索框架,通过PIM-Tuner、PIM-Mapper和Data-Scheduler优化硬件配置与DNN映射,平均降低延迟37%和能耗28%。
2023-05-30 cs.AR cs.LG
Flexagon: A Multi-Dataflow Sparse-Sparse Matrix Multiplication Accelerator for Efficient DNN Processing
稀疏性是现代DNN模型中的一个增长趋势。现有的稀疏-稀疏矩阵乘法(SpMSpM)加速器被定制为特定的SpMSpM算法(即,内产品,外产品或古斯塔夫森),这决定了他们的整体效率。我们表明,这种静态的决定固有的结果在一个次优的动态解决方案。这是因为不同的SpMSpM内核显示不同的特征(即,维度、稀疏模式、稀疏度),这使得每个子图更好地适合不同的数据集。在这项工作中,我们提出Flexagon,第一个SpMSpM可重构的加速器,能够通过使用最适合每种情况下的特定的低功耗执行SpMSpM计算。Flexagon加速器基于一种新型的合并-还原网络(MRN),该网络将还原和合并的概念统一在同一衬底上,从而提高了效率。此外,Flexagon还包括一个3层存储层次结构,专门针对输入和输出压缩矩阵的不同访问特性。使用来自各种应用领域的当代DNN模型的详细周期级模拟,我们表明Flexagon相对于最先进的SIGMA类,Sparch类和Gamma类加速器实现了4.59倍,1.71倍和1.35倍的平均性能优势(平均性能/面积效率分别为265%,67%和18%)。
2023-01-25 cs.AR
An Energy-Efficient Near-Data Processing Accelerator for DNNs that Optimizes Data Accesses
本文提出近数据处理加速器 QeiHaN,利用 3D 堆叠内存权重存储和对数量化激活的隐式内存内位移,减少 DNN 推理的内存访问,实现 4.3 倍加速和 3.5 倍节能。
2023-10-27 cs.AR
SLOTH: Lightweight Detection and Localization of On-Chip Fail-Slow Failures for DNN Accelerators
Peking University(北京大学);Tsinghua University(清华大学)
SLOTH通过轻量级硬件感知框架实现多核加速器中高效准确的慢故障检测,减少存储开销并提高检测精度。
2026-07-30 cs.AR
Combined Scheduling, Memory Allocation and Tensor Replacement for Minimizing Off-Chip Data Accesses of DNN Accelerators
Princeton University(普林斯顿大学)
本文提出COSMA框架,通过联合优化算子调度、内存分配和张量替换,以ILP求解最小化DNN加速器片外数据访问,并设计分治启发式扩展至神经架构搜索生成的复杂DNN,平均减少84%-85%的数据访问。
2023-11-30 cs.AR cs.LG
Lookup Table-based Multiplication-free All-digital DNN Accelerator Featuring Self-Synchronous Pipeline Accumulation
提出一种基于MADDNESS的全数字DNN加速器,采用自同步流水线累加,实现紧凑、节能且PVT不敏感的计算,能效和面积效率分别提升2.5倍和5倍。
2025-06-20 cs.AR
Bit Transition Reduction by Data Transmission Ordering in NoC-based DNN Accelerator
KTH Royal Institute of Technology(瑞典皇家理工学院);The Hong Kong University of Science Technology (Guangzhou)(香港科技大学(广州))
本文提出了一种基于'1'位计数的排序方法,通过优化数据传输顺序在NoC-based DNN加速器中减少比特切换,提升链路功率效率。
2025-08-30 cs.AR
HYDRA: Hybrid Data Multiplexing and Run-time Layer Configurable DNN Accelerator
Centre for Advanced Electronics, IIT Indore(印度理工学院印多尔分校先进电子中心);Center for Development of Advanced Computing, Bengaluru(班加罗尔高级计算发展中心);NSDCS Research Group, Department of Electrical Engineering, IIT Indore(印度理工学院印多尔分校电气工程系NSDCS研究组)
本文提出HYDRA加速器,通过层多路复用和运行时配置减少边缘设备的功耗和资源消耗,提升DNN计算效率。
2024-09-08 cs.AI cs.AR cs.CV
RAPIDNN: In-Memory Deep Neural Network Acceleration Framework
UC San Diego(加州大学圣迭戈分校)
深度神经网络(DNN)已经证明了对于各种应用的有效性,例如图像处理、视频分割和语音识别。在当前系统上运行最先进的DNN主要依赖于通用处理器、ASIC设计或FPGA加速器,由于有限的片上存储器和数据传输带宽,所有这些都受到数据移动的影响。在这项工作中,我们提出了一个新的框架,称为RAPIDNN,它处理内存中的所有DNN操作,以最大限度地减少数据移动的成本。为了实现内存处理,RAPIDNN重新解释DNN模型并将其映射到专用加速器中,该加速器使用非易失性存储器块设计,该非易失性存储器块对四个基本DNN操作进行建模,即,乘法、加法、激活函数和池化。该框架提取DNN模型的代表性操作数,例如,权重和输入值,使用聚类方法优化模型以进行内存处理。然后,它将提取的操作数及其预先计算的结果映射到加速器内存块中。在运行时,加速器基于高效的内存搜索能力来识别计算结果,这也提供了近似的可调性,以进一步提高计算效率。我们的评估表明,与最先进的DNN加速器ISAAC和PipeLayer相比,RAPIDNN实现了68.4倍、49.5倍的能效提升和48.1倍、10.9倍的加速,同时确保质量损失小于0.3%。
2019-04-11 cs.AI cs.AR cs.NE
QADAM: Quantization-Aware DNN Accelerator Modeling for Pareto-Optimality
Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
随着机器学习和系统社区努力通过定制深度神经网络(DNN)加速器、不同的位精度或量化级别来实现更高的能效,需要将量化感知处理元件(PE)并入加速器设计空间同时具有准确且快速的功率、性能和面积模型的设计空间探索框架。在这项工作中,我们提出了QADAM,一个高度参数化的量化感知的DNN加速器的功率,性能和区域建模框架。我们的框架可以促进未来的研究设计空间探索和Pareto效率的DNN加速器的各种设计选择,如位精度,PE类型,暂存器大小的PE,全局缓冲区大小,总PE的数量,和DNN配置。我们的研究结果表明,不同的位精度和PE类型导致显着差异的性能,单位面积和能量。具体来说,我们的框架确定了广泛的设计点,其中单位面积性能和能量分别变化超过5倍和35倍。我们还表明,所提出的轻量级处理元素(LightPE)始终实现帕累托最优的结果,在准确性和硬件效率。通过所提出的框架,我们表明,与最好的基于INT 16的设计相比,LightPE实现了同等精度的结果,并且每面积性能和能源改进高达5.7倍。
2022-05-20 cs.AR cs.LG
SeDA: Secure and Efficient DNN Accelerators with Hardware/Software Synergy
针对DNN加速器安全方案硬件资源需求大、内存访问开销高的问题,提出软硬件协同的SeDA,通过带宽感知加密、最优块粒度分块及多级完整性验证,在服务器和边缘NPUs上降低超12%性能开销并保障可扩展性。
2025-08-26 cs.AR