Being-ahead: Benchmarking and Exploring Accelerators for Hardware-Efficient AI Deployment
已经开发了定制的硬件加速器,以提高DNN推理和训练的性能和效率。然而,现有的硬件加速器可能并不总是适合于处理各种DNN模型,因为它们的架构范例和配置权衡是高度特定于应用的。重要的是在最早阶段对加速器候选者进行基准测试,以收集全面的性能指标并定位潜在的瓶颈。在基准测试之后还出现了进一步的需求,这需要适当的解决方案来解决瓶颈并改进针对目标工作负载的当前设计。为了实现这些目标,在本文中,我们利用名为DNNExplorer的自动化工具来对定制的DNN硬件加速器进行基准测试,并探索具有更高性能和效率的新型加速器设计。主要功能包括(1)直接支持用于DNN工作负载分析的流行机器学习框架和用于快速加速器基准测试的准确分析模型;(2)具有高维设计空间支持和细粒度可调整性的新型加速器设计范例,以克服现有的设计缺陷;以及(3)设计空间探索(DSE)引擎,通过考虑目标AI工作负载和可用硬件资源来生成优化的加速器。结果表明,采用所提出的新范式的加速器可以提供高达4.2倍的吞吐量(GOP/s),比DNNBuilder中最先进的流水线设计高出4.2倍,并且在给定相同的DNN模型和资源预算的情况下,比最近发布的HybridDNN中的通用设计高出2.0倍的效率。借助DNNExplorer的基准测试和探索功能,我们可以在构建和优化定制AI加速器方面处于领先地位,并实现更高效的AI应用程序。
2021-04-06 cs.AR
Multi-Objective Hardware-Mapping Co-Optimisation for Multi-DNN Workloads on Chiplet-based Accelerators
本文提出MOHaM框架,针对基于chiplet的加速器,通过定制遗传算子的多目标进化算法协同优化多DNN工作负载的硬件设计与映射,在延迟和能耗上实现帕累托最优,最高分别降低96%和96.12%。
2024-08-23 cs.AR
Architecture, Dataflow and Physical Design Implications of 3D-ICs for DNN-Accelerators
深度神经网络(DNN)对更高计算能力的持续需求推动了并行计算架构的发展。3D集成(芯片垂直集成和连接)可以进一步提高性能,因为它引入了另一个空间并行级别。因此,我们分析了这种3D-DNN-加速器的功耗、性能、面积、功耗和温度。单片和基于TSV的堆叠式3D-IC与2D-IC进行比较。我们确定了高效3D-IC的工作负载属性和架构参数,并实现了3D与2D相比高达9.14倍的加速比。我们讨论面积性能权衡。我们证明了3D-IC的适用性,因为3D-IC的功耗与2D-IC相似,并且没有热限制。
2021-02-18 cs.AR
LOCAL: Low-Complex Mapping Algorithm for Spatial DNN Accelerators
深度神经网络是解决基于学习数据集的问题的应用程序的有前途的解决方案。DNN加速器解决了处理瓶颈,作为特定于域的处理器。与其他硬件解决方案一样,加速器和其他软件组件(尤其是编译器)之间必须具有精确的兼容性。本文提出了一种低复杂度的映射算法,它有利于在编译器级执行映射操作,在一个通过低的计算时间和能量消耗。我们首先介绍了一个正式的定义的设计空间,以定义问题的范围,然后我们描述的概念,设计算法。模拟结果显示,与之前提出的数据流机制相比,执行时间提高了2倍至38倍,能耗更低。
2022-11-07 cs.AR
Dataflow-Architecture Co-Design for 2.5D DNN Accelerators using Wireless Network-on-Package
深度神经网络(DNN)模型的规模和复杂性不断增长,需要更高的计算能力来实现实时推理。为了有效地满足这种计算需求,正在开发硬件加速器并跨规模部署。这自然需要一个有效的横向扩展机制,以根据应用程序的要求增加计算密度。通过插入器的2.5D集成已经成为一种很有前途的解决方案,但正如我们在这项工作中所展示的那样,有限的插入器带宽和封装网络(NoP)中的多跳可能会削弱该方法的优势。为了应对这一挑战,我们提出了WIENNA,一个基于无线NoP的2.5D DNN加速器。在WIENNA中,无线NoP将DNN加速器小芯片阵列连接到全局缓冲器小芯片,提供高带宽多播能力。在这里,我们还确定了最有效地利用无线NoP的高带宽多播能力的每一层上的Escherlow风格。与基于插入器的NoP设计相比,WIENNA具有适度的面积和功耗开销,实现了2.2倍-5.1倍的吞吐量和38.2%的能耗降低。
2020-11-30 cs.AR
ARAS: An Adaptive Low-Cost ReRAM-Based Accelerator for DNNs
ARAS提出一种自适应低成本ReRAM加速器,通过智能调度、计算与权重写入重叠以及权重重编码增强层间相似性来减少写入能量,在常用DNN上相比基线PUM加速器实现最高2.2倍加速和45%节能。
2024-10-23 cs.AR
LRMP: Layer Replication with Mixed Precision for Spatial In-memory DNN Accelerators
针对基于 NVM 的空间型存内 DNN 加速器中层处理时间不均与面积受限问题,LRMP 结合强化学习和整数线性规划联合搜索层复制与混合精度量化方案,在等精度下显著降低延迟并提升吞吐量。
2023-12-05 cs.AR
PIMCOMP: An End-to-End DNN Compiler for Processing-In-Memory Accelerators
本文提出端到端DNN编译器PIMCOMP,通过抽象可配置模板与多级优化框架,解决PIM加速器部署中的资源利用与数据流调度问题,显著提升多架构下的吞吐量、延迟与能效。
2024-11-14 cs.AR
Gemini: Mapping and Architecture Co-exploration for Large-scale DNN Chiplet Accelerators
针对后摩尔时代大规模DNN小芯片加速器面临的架构与映射挑战,本文提出协同探索方法,以最大化小芯片技术优势并最小化其封装与接口成本。
2023-12-27 cs.AR
Flexagon: A Multi-Dataflow Sparse-Sparse Matrix Multiplication Accelerator for Efficient DNN Processing
稀疏性是现代DNN模型中的一个增长趋势。现有的稀疏-稀疏矩阵乘法(SpMSpM)加速器被定制为特定的SpMSpM算法(即,内产品,外产品或古斯塔夫森),这决定了他们的整体效率。我们表明,这种静态的决定固有的结果在一个次优的动态解决方案。这是因为不同的SpMSpM内核显示不同的特征(即,维度、稀疏模式、稀疏度),这使得每个子图更好地适合不同的数据集。在这项工作中,我们提出Flexagon,第一个SpMSpM可重构的加速器,能够通过使用最适合每种情况下的特定的低功耗执行SpMSpM计算。Flexagon加速器基于一种新型的合并-还原网络(MRN),该网络将还原和合并的概念统一在同一衬底上,从而提高了效率。此外,Flexagon还包括一个3层存储层次结构,专门针对输入和输出压缩矩阵的不同访问特性。使用来自各种应用领域的当代DNN模型的详细周期级模拟,我们表明Flexagon相对于最先进的SIGMA类,Sparch类和Gamma类加速器实现了4.59倍,1.71倍和1.35倍的平均性能优势(平均性能/面积效率分别为265%,67%和18%)。
2023-01-25 cs.AR
An Energy-Efficient Near-Data Processing Accelerator for DNNs that Optimizes Data Accesses
本文提出近数据处理加速器 QeiHaN,利用 3D 堆叠内存权重存储和对数量化激活的隐式内存内位移,减少 DNN 推理的内存访问,实现 4.3 倍加速和 3.5 倍节能。
2023-10-27 cs.AR
SLOTH: Lightweight Detection and Localization of On-Chip Fail-Slow Failures for DNN Accelerators
Peking University(北京大学);Tsinghua University(清华大学)
SLOTH通过轻量级硬件感知框架实现多核加速器中高效准确的慢故障检测,减少存储开销并提高检测精度。
2026-07-30 cs.AR
Lookup Table-based Multiplication-free All-digital DNN Accelerator Featuring Self-Synchronous Pipeline Accumulation
提出一种基于MADDNESS的全数字DNN加速器,采用自同步流水线累加,实现紧凑、节能且PVT不敏感的计算,能效和面积效率分别提升2.5倍和5倍。
2025-06-20 cs.AR
Bit Transition Reduction by Data Transmission Ordering in NoC-based DNN Accelerator
KTH Royal Institute of Technology(瑞典皇家理工学院);The Hong Kong University of Science Technology (Guangzhou)(香港科技大学(广州))
本文提出了一种基于'1'位计数的排序方法,通过优化数据传输顺序在NoC-based DNN加速器中减少比特切换,提升链路功率效率。
2025-08-30 cs.AR
SeDA: Secure and Efficient DNN Accelerators with Hardware/Software Synergy
针对DNN加速器安全方案硬件资源需求大、内存访问开销高的问题,提出软硬件协同的SeDA,通过带宽感知加密、最优块粒度分块及多级完整性验证,在服务器和边缘NPUs上降低超12%性能开销并保障可扩展性。
2025-08-26 cs.AR
Understanding the Impact of On-chip Communication on DNN Accelerator Performance
近年来,深度神经网络以前所未有的速度蓬勃发展。它们在计算机视觉、自然语言处理、医学或经济学等领域都取得了出色的准确性。具体而言,卷积神经网络(CNN)特别适合于对象识别或识别任务。然而,这带来了很高的计算成本,促使使用专门的GPU架构甚至ASIC来实现高速度和能源效率。ASIC加速器简化了适用于CNN计算的某些流程的执行,这些流程意味着大量数据的不断移动,从而将片上通信转变为加速器内的关键功能。本文研究了边缘设备的CNN推理加速器内的通信流,旨在证明当前和未来在互连其处理元件的片上网络设计中的决策是合理的。利用这种分析,然后,我们定性地讨论了在这种情况下,引入无线片上网络的新范式的潜在影响。
2019-12-03 cs.AR
PATRONoC: Parallel AXI Transport Reducing Overhead for Networks-on-Chip targeting Multi-Accelerator DNN Platforms at the Edge
本文提出PATRONoC,一种开源的完全AXI兼容的NoC架构,通过并行AXI传输减少协议转换开销,满足多核DNN平台需求,在1 GHz下面积效率提高34%,吞吐量提升2-8倍,聚合吞吐量达350 GiB/s。
2023-07-31 cs.AR
FADiff: Fusion-Aware Differentiable Optimization for DNN Scheduling on Tensor Accelerators
Beijing University of Posts and Telecommunications(北京邮电大学);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
FADiff通过融合感知的可微优化框架,实现了对DNN调度的高效优化,提升张量加速器上的推理性能。
2026-10-27 cs.AR
Heterogeneous Multi-core Array-based DNN Accelerator
在本文中,我们研究了基于阵列的DNN加速器的架构参数对各种网络拓扑中加速器的能耗和性能的影响。为此,我们开发了一种工具,它模拟神经网络在基于阵列的加速器上的执行,并具有测试不同配置的能力,以估计能耗和处理延迟。基于我们对基准网络在不同架构参数下的行为的分析,我们为高效而高性能的加速器设计提供了一些建议。接下来,我们提出了一种异构多核芯片方案,用于深度神经网络执行。一个选择性的小搜索空间的评估表明,执行神经网络在其接近最佳的核心配置可以节省高达36%的能源消耗和67%的能源延迟产品分别。此外,我们提出了一种算法,将网络层的处理分布在多个相同类型的核心,以加快计算通过模型并行。在不同网络和不同核数的情况下进行的评估验证了该算法在加速处理到接近最优值方面的有效性。
2022-06-25 cs.AR
ThermoDSE: A Thermal-Aware and Comprehensive Design Space Exploration for Chiplet-Based DNN Accelerators
Hong Kong University of Science and Technology(香港科技大学);Northeastern University(东北大学)
针对基于小芯片的DNN加速器在面积和热约束方面的问题,提出ThermoDSE框架,集成细粒度建模技术,在严格约束下联合考虑多方面因素,实验显示其在能量-延迟-逆良率上有显著提升且运行时加速明显。
2026-07-09 cs.AR
Hardware Approximate Techniques for Deep Neural Network Accelerators: A Survey
National Technical University of Athens(雅典国立技术大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
深度神经网络(DNN)非常受欢迎,因为它们在机器学习(ML)中的各种认知任务中表现出色。DNN的最新进展在许多任务中带来了超越人类的准确性,但代价是高计算复杂性。为了实现DNN推理的有效执行,越来越多的研究工作,因此,利用DNN固有的错误恢复能力,并采用近似计算(AC)原理来解决DNN加速器的高能量需求。本文对DNN加速器的硬件近似技术进行了全面的调查和分析。首先,我们分析了最先进的,并通过识别近似家庭,我们集群的近似类型方面的各自的作品。接下来,我们分析所执行评估的复杂性(相对于数据集和DNN大小),以评估近似DNN加速器的效率,潜力和局限性。此外,提供了广泛的讨论,关于更适合于设计DNN加速器的近似单元的误差度量以及针对DNN推理定制的准确度恢复方法。最后,我们介绍了DNN加速器的近似计算如何超越能源效率并解决可靠性和安全问题。
2022-03-16 cs.AR cs.LG
Temperature-Aware Monolithic 3D DNN Accelerators for Biomedical Applications
在本文中,我们专注于用于生物医学应用的温度感知Monolithic 3D(Mono3D)深度神经网络(DNN)推理加速器。我们开发了一个优化器,调整用户定义的性能和热约束下的加速器的纵横比和足迹,并产生接近最佳的配置。使用建议的Mono3D优化器,我们证明了高达61%的提高能源效率的生物医学应用超过性能优化的加速器。
2022-03-29 cs.AR cs.ET
O-HAS: Optical Hardware Accelerator Search for Boosting Both Acceleration Performance and Development Speed
Rice University(莱斯大学)
深度神经网络(DNN)最近的突破和令人望而却步的复杂性激发了人们对特定领域DNN加速器的广泛兴趣,其中光学DNN加速器特别有前途,这要归功于其实现卓越性能每瓦的前所未有的潜力。然而,光学DNN加速器的发展比电DNN加速器慢得多。一个关键的挑战是,虽然已经开发了许多技术来促进电DNN加速器的开发,但支持或加速光学DNN加速器设计的技术仍然很少探索,限制了光学DNN加速器的可实现性能和创新发展。为此,我们开发了首个名为O-HAS的框架,该框架首次展示了自动化光学硬件加速器搜索,以提高光学DNN加速器的加速效率和开发速度。具体地,我们的O-HAS由两个集成的使能器组成:(1)O-成本预测器,其可以基于DNN模型参数和光学加速器设计准确而有效地预测光学加速器的能量和延迟;以及(2)O-搜索引擎,其可以自动探索光学DNN加速器的大设计空间并识别最佳加速器(即,微体系结构和算法到加速器的映射方法),以便最大化目标加速效率。广泛的实验和烧蚀研究一致验证了我们的O-成本预测器和O-搜索引擎的有效性以及O-HAS产生的光学加速器的出色效率。
2021-08-17 cs.AR cs.ET cs.LG
SimulatorCoder: DNN Accelerator Simulator Code Generation and Optimization via Large Language Models
College of Computer Science and Technology, National University of Defense Technology(计算机科学与技术学院,国防科技大学)
SimulatorCoder利用大语言模型生成并优化DNN加速器模拟器代码,通过结构化提示和反馈机制提升代码准确性和模拟性能。
2026-02-19 cs.AR
METRO: A Software-Hardware Co-Design of Interconnections for Spatial DNN Accelerators
针对分片式空间DNN加速器中传统片上网络的低效问题,提出软硬件协同设计METRO,通过解耦流量调度与硬件结构并转移至软件层,结合软件调度框架与硬件设施,实现平均56.3%的通信加速及最高73.6%的处理时间减少。
2025-02-18 cs.AR
Hamun: An Approximate Computation Method to Prolong the Lifespan of ReRAM-Based Accelerators
Hamun通过故障单元检测退役、分层磨损均衡和批处理执行等近似计算优化,将基于ReRAM的DNN推理加速器寿命平均延长13.2倍。
2025-02-04 cs.AR
A 16 nm 1.60TOPS/W High Utilization DNN Accelerator with 3D Spatial Data Reuse and Efficient Shared Memory Access
KU Leuven(荷语鲁汶大学)
Voltra芯片采用3D空间数据重用和高效共享内存访问技术,实现16纳米工艺下1.60TOPS/W的高能效DNN加速器,适用于多种AI工作负载。
2026-02-11 cs.AR
Control Variate Approximation for DNN Accelerators
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Southern Illinois University(南伊利诺伊大学);University of Stuttgart(斯图加特大学)
在这项工作中,我们介绍了一种控制变量近似技术的低误差近似深度神经网络(DNN)加速器。控制变量技术用于蒙特卡罗方法中以实现方差减小。我们的方法显著降低了DNN推理中近似乘法引起的误差,与最先进的方法相比,不需要时间穷举的再训练。利用我们的控制变量方法,我们使用高度近似的乘法器来生成功率优化的DNN加速器。我们对Cifar-10和Cifar-100数据集的六个DNN的实验评估表明,与精确设计相比,我们的控制变量近似实现了相同的性能和24%的功耗降低,而精度损失仅为0.16%。
2021-02-18 cs.AR cs.LG
Voyager: An End-to-End Framework for Design-Space Exploration and Generation of DNN Accelerators
Stanford University(斯坦福大学)
本文提出基于HLS的端到端框架Voyager,通过高度可配置的DNN加速器设计空间探索与生成,支持多种数据类型和量化方案,实现高利用率和优于先前生成器的性能。
2025-09-18 cs.AR
AdAM: Adaptive Fault-Tolerant Approximate Multiplier for Edge DNN Accelerators
University of Zanjan(赞詹大学);Mälardalen University(梅拉达伦大学);Tallinn University of Technology(塔林理工大学)
本研究提出了一款名为AdAM的新型自适应容错近似乘法器架构,专门适配基于ASIC的边缘DNN加速器。
2024-03-05 cs.AI cs.AR cs.LG
REDACTOR: eFPGA Redaction for DNN Accelerator Security
本文提出 REDACTOR,探索利用 eFPGA 涂改技术保护 DNN 加速器硬件知识产权,研究关键模块选择并评估开销,证明安全收益合理。
2025-01-30 cs.AR cs.CR
MAGMA: An Optimization Framework for Mapping Multiple DNNs on Multiple Accelerator Cores
Georgia Institute of Technology(佐治亚理工学院)
随着深度学习继续推动边缘和云数据中心中的各种应用,构建具有多个子加速器核心/小芯片的大型加速器的趋势越来越明显。这项工作着眼于在这样的加速器上支持多租户的问题。特别是,我们专注于从几个DNN同时在加速器上映射作业的问题。鉴于极大的搜索空间,我们制定的搜索作为一个优化问题,并开发了一个优化框架,称为M3 E。此外,我们还开发了一种名为MAGMA的专用优化算法,该算法具有自定义运算符,可以实现结构化的样本高效探索。我们在不同的加速器设置(大/小加速器)和不同的子加速器配置(同质/异质)上定量地比较了MAGMA与几种最先进的方法,黑盒优化和强化学习方法,并观察到MAGMA可以始终如一地找到更好的映射。
2022-01-26 cs.AI cs.AR
Facial Expression Recognition System Using DNN Accelerator with Multi-threading on FPGA
National Institute of Technology, Oita College(大分国立高等专门学校)
本文在SoC FPGA上利用通用DPU加速器结合多线程技术实现独立的面部表情识别系统,通过在同一DPU上运行DenseBox和CNN推理,在保持较小电路规模下实现25 FPS吞吐量且每功耗吞吐量提升2.4倍。
2025-11-04 cs.AR
Analysis of Single Event Induced Bit Faults in a Deep Neural Network Accelerator Pipeline
Magics Technologies
本文研究了深度神经网络加速器流水线中单事件诱导位故障的影响,并提出了一种高效的故障缓解策略以提高系统可靠性。
2025-11-06 cs.AR
AutoWS: Automate Weights Streaming in Layer-wise Pipelined DNN Accelerators
本文提出 AutoWS 自动化存储管理方法,利用逐层流水线的静态调度协同片上与片外内存优化权重存储,支持大规模 DNN 在资源受限设备上部署。
2023-11-08 cs.AR
HybridDNN: A Framework for High-Performance Hybrid DNN Accelerator Design and Implementation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Fudan University(复旦大学)
为了加速深度神经网络(DNN)加速器设计并实现有效的实现,我们提出了HybridDNN,这是一个用于构建高性能混合DNN加速器并提供基于FPGA的硬件实现的框架。新颖的技术包括一个高度灵活和可扩展的架构与混合空间/Winograd卷积(CONV)处理引擎(PE),一个全面的设计空间探索工具,以及一个完整的设计流程,以充分支持加速器的设计和实施。实验结果表明,HybridDNN生成的加速器可以在高端FPGA(VU 9 P)和嵌入式FPGA(PYNQ-Z1)上分别提供3375.7和83.3 GOPS,与最先进的加速器设计相比,性能提高了1.8倍。这表明HybridDNN具有灵活性和可扩展性,可以针对具有截然不同的资源约束的云和嵌入式硬件平台。
2020-04-08 cs.AR cs.CV
RAELLA: Reforming the Arithmetic for Efficient, Low-Resolution, and Low-Loss Analog PIM: No Retraining Required!
RAELLA架构通过权重编码、自适应切片和输入动态切片降低模拟值分辨率,从而在无需重新训练DNN的情况下使用低分辨率ADC,实现高效低损耗模拟PIM推理。
2023-04-17 cs.AR
Reduced Softmax Unit for Deep Neural Network Accelerators
Softmax激活层是处理多类预测问题时非常流行的深度神经网络(DNN)组件。然而,在DNN加速器实现中,由于需要计算其每个输入的指数,它会产生额外的复杂性。在这个简短的,我们提出了一个简化版本的激活单元的加速器,其中只有一个比较器单元产生的分类结果,通过选择最大的输入。由于激活函数的性质,我们证明了这个结果总是与Softmax层产生的分类相同。
2021-12-28 cs.AR
QAPPA: Quantization-Aware Power, Performance, and Area Modeling of DNN Accelerators
Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
随着机器学习和系统社区努力通过自定义DNN加速器和模型压缩技术实现更高的能效,需要一种设计空间探索框架,该框架将量化感知处理元素并入加速器设计空间,同时具有准确和快速的功率、性能和面积模型。在这项工作中,我们提出了QAPPA,一个高度参数化的量化感知的DNN加速器的功率,性能和区域建模框架。我们的框架可以促进DNN加速器的设计空间探索的未来研究,用于各种设计选择,如位精度,处理元件类型,处理元件的暂存器大小,全局缓冲区大小,设备带宽,设计中的总处理元件数量和DNN工作负载。我们的研究结果表明,不同的位精度和处理元件类型导致显着差异的性能,单位面积和能量。具体来说,与基于INT 16的实现相比,我们提出的轻量级处理元件在每面积和能源方面的性能提高了4.9倍。
2022-05-17 cs.AR cs.LG
SAFFIRA: a Framework for Assessing the Reliability of Systolic-Array-Based DNN Accelerators
Tallinn University of Technology(塔林理工大学);Mälardalen University(梅拉达伦大学);Ecole Centrale de Lyon(里昂中央理工学院)
针对基于脉动阵列的DNN加速器现有故障注入可靠性评估方法耗时的问题,本文提出名为SAFFIRA的新型分层软件基硬件感知故障注入策略框架,以提升评估效率。
2024-03-05 cs.AI cs.AR cs.LG
Positive/Negative Approximate Multipliers for DNN Accelerators
Southern Illinois University(南伊利诺伊大学);University of Stuttgart(斯图加特大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
最近的深度神经网络(DNN)在许多人工智能任务上都达到了超人的准确度。一些应用越来越依赖DNN来提供复杂的服务,DNN加速器正在成为现代片上系统的组成部分。DNN每个推理执行数百万次算术运算,DNN加速器集成了数千个乘法累加单元,导致能源需求增加。近似计算的原则,采用显着降低DNN加速器的能量消耗,在一些精度损失的代价。然而,最近的研究表明,复杂的DNN对近似越来越敏感。因此,当以严格的精度约束为目标时,所获得的能量节省通常是有限的。在这项工作中,我们提出了一个动态配置的近似乘法器,支持三种操作模式,即,精确、正误差和负误差。此外,我们提出了一种面向滤波器的近似方法,将权重映射到近似乘子的适当模式。我们的映射算法平衡了由于近似乘法产生的正负误差,旨在最大限度地减少能量,同时最小化总体卷积误差。我们在多个DNN和数据集上对我们的方法进行了评估,其中我们的方法在4个不同数据集上的7个NN上平均获得了18.33%的能量增益,最大精度下降仅为1%。
2021-07-20 cs.AR cs.LG
An Algorithm-Hardware Co-design Framework to Overcome Imperfections of Mixed-signal DNN Accelerators
近年来,基于存储器中处理(PIM)的混合信号设计已被提出作为具有超高吞吐量的能量和面积有效的解决方案,以加速DNN计算。然而,PIM设计对诸如噪声、重量和电导变化之类的缺陷敏感,这些缺陷实质上降低了DNN精度。为了解决这个问题,我们提出了一种新的算法硬件协同设计框架,以下简称为HybridAC,同时避免由于不完善的精度下降,提高面积利用率,并减少数据移动和能量耗散。我们得到一个数据移动感知的权重选择方法,不需要重新训练,以保持其原有的性能。它计算一小部分的结果与少量的变化敏感的权重使用一个强大的数字加速器,而主要的计算是在模拟PIM单元。这是第一个工作,不仅提供了一个变化鲁棒的架构,但也大大提高了现有设计的面积,功率和能源。HybridAC适合通过降低ADC精度、外围电路和混合量化来利用前述权重选择方法,以优化设计。我们的综合实验表明,即使存在高达50%的变化,HybridAC也可以将不同DNN在不同数据集上的准确性下降从60 - 90%(无保护)降低到1 - 2%。除了提供更健壮的计算,与ISAAC(SRE)相比,HybridAC将执行时间、能量、面积、功率、面积效率和功率效率分别提高了26%(14%)、52%(40%)、28%(28%)、57%(45%)、43%(5倍)和81%(3.9倍
2022-08-29 cs.AR
AdaPT: Fast Emulation of Approximate DNN Accelerators in PyTorch
National Technical University of Athens(雅典国立技术大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
当前最先进的技术采用近似乘法器来解决DNN加速器的高度增加的功率需求。然而,由于DNN框架中缺乏对近似算法的足够支持,评估近似DNN的准确性是很麻烦的。我们通过提出AdaPT来解决这种效率低下的问题,AdaPT是一个快速仿真框架,它扩展了PyTorch以支持近似推理和近似感知再训练。AdaPT可以无缝部署,并与大多数DNN兼容。我们评估了几个DNN模型和应用领域的框架,包括CNN,LSTM和GANs,用于一些具有不同位宽值的近似乘法器。结果显示,近似重新训练的错误恢复显著,并且相对于基线近似实现,推理时间减少了53.9倍。
2022-10-11 cs.AR cs.LG
Be CIM or Be Memory: A Dual-mode-aware DNN Compiler for CIM Accelerators
针对现有CIM编译方法忽视存内计算架构计算/内存模式动态切换能力的问题,提出CMSwitch编译器,通过引入硬件抽象属性、动态规划与混合整数规划优化模式切换与资源分配,实现1.31×平均加速,提升DNN应用性能。
2025-02-24 cs.AR
AccelCIM: Systematic Dataflow Exploration for SRAM Compute-in-Memory Accelerator
School of Integrated Circuits, Peking University(北京大学集成电路学院);School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院);School of Integrated Circuits, Southeast University(东南大学集成电路学院);School of Integrated Circuits, Anhui Polytechnic University(安徽工业大学集成电路学院)
本文提出AccelCIM框架,系统探索SRAM存内加速器的数据流,解决传统方法的两大局限:系统化设计空间和严格评估方法,通过模拟与布局分析提升DNN加速器性能。
2026-04-20 cs.AR
PIMCOMP: A Universal Compilation Framework for Crossbar-based PIM DNN Accelerators
本文提出通用编译框架PIMCOMP,通过节点划分、权重复制、核心映射和数据流调度四个阶段,并设计两种流水线模式,显著提升基于交叉开关的PIM DNN加速器的吞吐量与延迟性能。
2023-07-04 cs.AR cs.ET
Medusa: A Scalable Interconnect for Many-Port DNN Accelerators and Wide DRAM Controller Interfaces
Stony Brook University(石溪大学)
为了应对深度神经网络(DNN)日益增长的需求和计算强度,工业界和学术界已经转向加速器技术。特别是,FPGA已经被证明可以在性能和能效之间提供良好的平衡,以加速DNN。虽然重要的研究集中在如何构建高效的层处理器,DNN加速器的计算构建块,但相对较少关注位于层处理器和FPGA的DRAM控制器之间的片上互连。我们观察到DNN加速器接口(往往包括许多窄端口)和FPGA DRAM控制器接口(往往是宽总线)之间的差异。这种不匹配导致传统互连消耗大量FPGA资源。为了解决这个问题,我们设计了Medusa:一种优化的FPGA存储器互连,它在互连结构中转置数据,根据DNN层处理器的需求定制互连。与传统的FPGA互连相比,我们的设计可以将LUT和FF的使用减少4.7倍和6.0倍,并将频率提高1.8倍。
2018-07-11 cs.AR cs.LG cs.NE
Block-Wise Mixed-Precision Quantization: Enabling High Efficiency for Practical ReRAM-based DNN Accelerators
针对ReRAM存内计算并行度受限问题,本文提出算法-架构协同框架BWQ,通过块级混合精度量化和精度感知权重映射,实现平均6.08倍加速和17.47倍节能。
2023-10-27 cs.AR
HADES: Hardware/Algorithm Co-design in DNN accelerators using Energy-efficient Approximate Alphabet Set Multipliers
提出基于字母集乘法器原理的低复杂度近似乘加单元的电路-算法协同设计HADES,通过无乘法器实现、字母感知训练及内存/近内存计算,在保持准确率的同时大幅降低DNN的能耗与数据移动成本。
2023-10-23 cs.AR
NicePIM: Design Space Exploration for Processing-In-Memory DNN Accelerators with 3D-Stacked-DRAM
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
针对DRAM-PIM加速器,提出NicePIM设计空间探索框架,通过PIM-Tuner、PIM-Mapper和Data-Scheduler优化硬件配置与DNN映射,平均降低延迟37%和能耗28%。
2023-05-30 cs.AR cs.LG
Multi-DNN Accelerators for Next-Generation AI Systems
Samsung AI(三星人工智能中心);Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
随着人工智能驱动的应用程序在多个领域的广泛使用,计算需求也在增加。人工智能技术的主要驱动力是深度神经网络(DNN)。当专注于基于云的系统时,这些系统为来自不同用户的多个AI查询提供服务,每个用户都有自己的DNN模型,或者专注于移动机器人和智能手机,这些机器人和智能手机采用各种模型的管道或并行DNN来并行处理多模态数据,下一代AI系统将以多DNN工作负载为核心。AI服务的大规模部署以及跨移动和嵌入式系统的集成需要在计算机体系结构前端实现额外的突破,处理器在满足服务质量要求的同时,能够随着DNN数量的增加保持高性能,从而引发了多DNN加速器设计的话题。
2022-05-19 cs.AI cs.AR cs.LG
Combined Scheduling, Memory Allocation and Tensor Replacement for Minimizing Off-Chip Data Accesses of DNN Accelerators
Princeton University(普林斯顿大学)
本文提出COSMA框架,通过联合优化算子调度、内存分配和张量替换,以ILP求解最小化DNN加速器片外数据访问,并设计分治启发式扩展至神经架构搜索生成的复杂DNN,平均减少84%-85%的数据访问。
2023-11-30 cs.AR cs.LG
DeepAxe: A Framework for Exploration of Approximation and Reliability Trade-offs in DNN Accelerators
Tallinn University of Technology(塔林理工大学);Mälardalen University(梅拉达伦大学)
虽然深度神经网络(DNN)在广泛的安全关键应用中的作用正在扩大,但新兴的DNN在计算能力方面经历了大规模的增长。这就需要提高DNN加速器的可靠性,同时减少硬件平台的计算负担,即减少能耗和执行时间,并提高DNN加速器的效率。因此,硬件性能(即面积,功率和延迟)与DNN加速器实现的可靠性之间的权衡变得至关重要,需要工具进行分析。在本文中,我们提出了一个框架DeepAxe的设计空间探索基于FPGA的实现DNN考虑应用功能近似的准确性,可靠性和硬件性能的三边影响。该框架使可靠性关键DNN的选择性近似,提供了一组帕累托最优的DNN实现设计空间点的目标资源利用率的要求。设计流程从Keras中的预训练网络开始,使用创新的高级综合环境DeepHLS,并产生一组帕累托最优设计空间点作为设计师的指导。该框架在自定义和最先进的DNN和数据集的案例研究中得到了演示。
2023-03-14 cs.AI cs.AR cs.LG
SECDA: Efficient Hardware/Software Co-Design of FPGA-based DNN Accelerators for Edge Inference
University of Glasgow(格拉斯哥大学);Northeastern University(东北大学)
边缘计算设备固有地面临严格的资源约束,这在部署具有高内存和计算需求的深度神经网络(DNN)时尤为明显。FPGA通常用于边缘设备。由于这些可重构电路可以实现比通用处理器更高的吞吐量和更低的功耗,因此它们特别适合DNN加速。然而,为边缘设备设计基于FPGA的DNN加速器的现有解决方案具有很高的开发开销,因为重复的FPGA合成通道、在模拟设计的硬件描述语言(HDL)中的重新实现以及加速器系统集成的成本。在本文中,我们提出了SECDA,这是一种新的硬件/软件协同设计方法,可以减少使用FPGA的边缘设备上优化DNN推理加速器的设计时间。SECDA将经济高效的SystemC仿真与硬件执行相结合,通过缩短设计评估时间来简化设计空间探索和开发过程。作为一个案例研究,我们使用SECDA在PYNQ-Z1板上有效地开发了两种不同的DNN加速器设计,PYNQ-Z1板是一个包含边缘FPGA的平台。我们快速迭代地探索系统的硬件/软件堆栈,同时识别和缓解性能瓶颈。我们评估了两个加速器设计与四个常见的DNN模型,实现了平均性能加速高达3.5 $\times$的模型与2.9 $\times$减少能源消耗超过CPU的推理。我们的代码可在https://github.com/gicLAB/SECDA上获得
2021-10-01 cs.AR cs.DC cs.LG