Design in Tiles: Automating GEMM Deployment on Tile-Based Many-PE Accelerators
ETH Zürich(苏黎世联邦理工学院)
本文提出DiT框架,通过自动化连接部署工具链和可配置执行模型,实现对基于瓷砖的多PE加速器上GEMM的高效部署,达到比NVIDIA GH200更高的PE利用率和加速性能。
2026-07-29 cs.AR cs.DC
Being-ahead: Benchmarking and Exploring Accelerators for Hardware-Efficient AI Deployment
已经开发了定制的硬件加速器,以提高DNN推理和训练的性能和效率。然而,现有的硬件加速器可能并不总是适合于处理各种DNN模型,因为它们的架构范例和配置权衡是高度特定于应用的。重要的是在最早阶段对加速器候选者进行基准测试,以收集全面的性能指标并定位潜在的瓶颈。在基准测试之后还出现了进一步的需求,这需要适当的解决方案来解决瓶颈并改进针对目标工作负载的当前设计。为了实现这些目标,在本文中,我们利用名为DNNExplorer的自动化工具来对定制的DNN硬件加速器进行基准测试,并探索具有更高性能和效率的新型加速器设计。主要功能包括(1)直接支持用于DNN工作负载分析的流行机器学习框架和用于快速加速器基准测试的准确分析模型;(2)具有高维设计空间支持和细粒度可调整性的新型加速器设计范例,以克服现有的设计缺陷;以及(3)设计空间探索(DSE)引擎,通过考虑目标AI工作负载和可用硬件资源来生成优化的加速器。结果表明,采用所提出的新范式的加速器可以提供高达4.2倍的吞吐量(GOP/s),比DNNBuilder中最先进的流水线设计高出4.2倍,并且在给定相同的DNN模型和资源预算的情况下,比最近发布的HybridDNN中的通用设计高出2.0倍的效率。借助DNNExplorer的基准测试和探索功能,我们可以在构建和优化定制AI加速器方面处于领先地位,并实现更高效的AI应用程序。
2021-04-06 cs.AR
High Area/Energy Efficiency RRAM CNN Accelerator with Kernel-Reordering Weight Mapping Scheme Based on Pattern Pruning
电阻式随机存取存储器(RRAM)是一种新兴的用于存储器内处理(PIM)架构的设备,用于加速卷积神经网络(CNN)。然而,由于RRAM阵列中的高度耦合的交叉结构,在基于RRAM的CNN加速器中难以利用网络的稀疏性。为了优化稀疏网络在RRAM阵列中的权值映射,实现更高的面积和能量效率,提出了一种新的权值映射方案,并基于模式修剪和运算单元(Operation Unit,简称RRAM)机制提出了相应的RRAM CNN加速器架构。实验结果表明,与传统的权值映射方法相比,该方法可以获得4.16 - 5.20倍的crossbar面积效率、1.98 - 2.15倍的能量效率和1.15 - 1.35倍的性能加速。
2020-10-13 cs.AR
HURRY: Highly Utilized, Reconfigurable ReRAM-based In-situ Accelerator with Multifunctionality
针对传统ReRAM加速器时空利用率不足的问题,提出可重构多功能原位加速器HURRY,通过块激活方案与集成多种功能块提升时空利用率,实现最高3.35倍加速及显著的能效与面积效率提升。
2024-09-25 cs.AR
First-Generation Inference Accelerator Deployment at Facebook
在本文中,我们深入研究了Facebook的推理加速器部署。我们的许多ML工作负载都具有独特的特征,例如稀疏的内存访问,大型模型大小,以及高计算,内存和网络带宽要求。我们根据这些要求共同设计了一个高性能、高能效的推理加速器平台。我们描述了我们在Facebook开发和部署的推理加速器平台生态系统:通过开放计算平台(OCP)的硬件,以及通过Pytorch/Caffe 2/Glow的软件框架和工具。从一开始,这个生态系统的一个特点就是它的开放性,可以支持来自不同供应商的各种AI加速器。该平台具有六个低功耗加速卡和一个单插槽主机CPU,使我们能够为无法在CPU上轻松或高效运行的高复杂性模型提供服务。我们描述了平台和加速器级别的各种性能优化,使该平台能够在Facebook上提供生产流量。我们还分享了部署挑战、性能优化过程中的经验教训,并为未来的推理硬件协同设计提供指导。
2021-08-04 cs.AR
PIMCOMP: An End-to-End DNN Compiler for Processing-In-Memory Accelerators
本文提出端到端DNN编译器PIMCOMP,通过抽象可配置模板与多级优化框架,解决PIM加速器部署中的资源利用与数据流调度问题,显著提升多架构下的吞吐量、延迟与能效。
2024-11-14 cs.AR
Online Soft Error Tolerance in ReRAM Crossbars for Deep Learning Accelerators
针对ReRAM交叉阵列因非理想因素导致PIM加速器精度下降问题,提出基于测试输入向量和ECCs的在线软错误检测校正方法,在MNIST和CIFAR-10数据集上实现近无故障精度且开销更低。
2024-12-04 cs.AR cs.ET
Hardware-Algorithm Co-Optimization of Early-Exit Neural Networks for Multi-Core Edge Accelerators
TICLab, International University of Rabat(国际拉巴特大学 TICLab);MICAS, KU Leuven(鲁汶大学 MICAS)
本文提出一种硬件-算法协同设计框架,用于优化早期退出神经网络在多核边缘加速器上的部署,通过分析量化、退出配置和多核加速器映射的交互,提升能效和降低延迟。
2026-10-02 cs.AR cs.CC cs.CV
TSB: Tiny Shared Block for Efficient DNN Deployment on NVCIM Accelerators
University of Notre Dame(圣母大学);North Carolina State University(北卡罗来纳州立大学)
本文提出 TSB 方法,通过在 DNN 架构中集成小型共享 1x1 卷积块来稳定特征处理,有效缓解 NVCIM 加速器的器件变化影响,显著提升推理精度并降低训练与映射开销。
2024-08-21 cs.AI cs.AR
BioSEAL: In-Memory Biological Sequence Alignment Accelerator for Large-Scale Genomic Data
基因组序列包含数亿个DNA碱基对。找到两个基因组之间的相似程度需要执行计算密集型动态规划算法,例如Smith-Waterman算法。传统的冯·诺依曼架构具有有限的并行性,并且不能为大规模基因组数据提供有效的解决方案。通常使用近似的探试法(例如BLAST)。然而,它们是次优的并且仍然是计算密集型的。在这项工作中,我们提出了BioSEAL,生物序列对齐加速器。BioSEAL是一种大规模并行非冯·诺依曼内存处理架构,用于大规模DNA和蛋白质序列比对。BioSEAL基于电阻式内容寻址存储器,能够进行节能和高性能的关联处理。我们提出了一种在BioSEAL上进行整个数据库序列比对的关联处理算法,并将其性能和功耗与最先进的解决方案进行了比较。我们表明,与现有的基因组序列比对和蛋白质序列数据库搜索解决方案相比,BioSEAL可以实现高达57倍的加速和156倍的能效。
2019-01-17 cs.AR cs.ET
SONIC: A Sparse Neural Network Inference Accelerator with Silicon Photonics for Energy-Efficient Deep Learning
Colorado State University(科罗拉多州立大学)
稀疏神经网络可以极大地促进神经网络在资源受限平台上的部署,因为它们提供紧凑的模型大小,同时保持推理准确性。由于参数矩阵的稀疏性,稀疏神经网络原则上可以在加速器架构中被利用,以改善能量效率和延迟。然而,为了在实践中实现这些改进,需要探索稀疏感知的软硬件协同设计。在本文中,我们提出了一种新的硅光子学为基础的稀疏神经网络推理加速器称为SONIC。我们的实验分析表明,与最先进的稀疏电子神经网络加速器相比,SONIC可以实现高达5.8倍的每瓦性能和8.4倍的每比特能量;与最知名的光子神经网络加速器相比,可以实现高达13.8倍的每瓦性能和27.6倍的每比特能量。
2021-09-09 cs.AR cs.LG cs.NE
ChatNeuroSim: An LLM Agent Framework for Automated Compute-in-Memory Accelerator Deployment and Optimization
Georgia Institute of Technology(佐治亚理工学院)
ChatNeuroSim是一种基于LLM的代理框架,用于自动部署和优化计算在内存加速器,通过设计空间修剪技术提升优化效率。
2026-03-04 cs.AR cs.MA cs.PF
Pointer: An Energy-Efficient ReRAM-based Point Cloud Recognition Accelerator with Inter-layer and Intra-layer Optimizations
本文提出基于ReRAM的点云识别加速器Pointer,通过层间协调与拓扑感知层内重排序减少DRAM访问并加速MLP,实现40-393倍加速和22-163倍能效提升且无精度损失。
2024-10-23 cs.AR
Spiking Transformer Hardware Accelerators in 3D Integration
本文提出了首个3D spiking transformer硬件架构与设计方法,通过架构与物理设计协同优化及3D集成技术,显著提升了能耗和延迟性能。
2024-11-11 cs.AR cs.NE
Torch2Chip: An End-to-end Customizable Deep Neural Network Compression and Deployment Toolkit for Prototype Hardware Accelerator Design
Cornell University(康奈尔大学)
针对现有深度学习框架量化定制性不足、整数参数提取困难及工具包自由度受限等问题,本文提出开源可定制的Torch2Chip工具包,支持用户自定义压缩并自动完成模型融合与参数提取,直接生成面向CNN和ViT原型芯片验证的可部署格式。
2024-05-06 cs.AR cs.LG
When Pipelined In-Memory Accelerators Meet Spiking Direct Feedback Alignment: A Co-Design for Neuromorphic Edge Computing
本文提出软硬件协同设计PipeSDFA,将脉冲直接反馈对齐算法与基于RRAM的存内计算架构结合,通过三级流水线并行化训练,在精度损失小于2%的情况下显著降低SNN训练时间和能耗。
2025-07-21 cs.AR
Sparsity-Aware Streaming SNN Accelerator with Output-Channel Dataflow for Automatic Modulation Classification
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出了一种稀疏感知流SNN加速器,通过结合稀疏性优势与高吞吐量,实现高效自动调制分类任务。
2026-01-06 cs.AR
AutoWS: Automate Weights Streaming in Layer-wise Pipelined DNN Accelerators
本文提出 AutoWS 自动化存储管理方法,利用逐层流水线的静态调度协同片上与片外内存优化权重存储,支持大规模 DNN 在资源受限设备上部署。
2023-11-08 cs.AR
FARe: Fault-Aware GNN Training on ReRAM-based PIM Accelerators
Washington State University(华盛顿州立大学);University of Houston(休斯顿大学)
本文提出故障感知框架FARe,针对ReRAM存内计算加速器上的硬件故障问题,在约1%时序开销下将GNN测试精度恢复47.6%,优于现有容错方案。
2024-01-19 cs.AR cs.LG
LiteCON: An All-Photonic Neuromorphic Accelerator for Energy-efficient Deep Learning (Preprint)
University of California, San Diego(加州大学圣地亚哥分校)
深度学习在当今的数据密集型时代非常普遍。特别地,卷积神经网络(CNN)正被广泛用于各种领域以获得优异的精度。然而,在传统的CPU和GPU上计算深度CNN会带来一些性能和能源陷阱。基于ASIC、FPGA和连续存储器器件的几种新方法最近已经被证明具有很好的效果。它们中的大多数只针对深度学习的推理(测试)阶段。设计一个既能训练又能推理的成熟的深度学习加速器的尝试非常有限。这是由于训练阶段的高度计算和内存密集型。在本文中,我们提出了LiteCON,一种新型的模拟光子学CNN加速器。LiteCON使用基于硅微磁盘的卷积、基于忆阻器的存储器和密集波分复用技术来实现节能和超快的深度学习。我们使用商业CAD框架(IPKISS)在包括LeNet和VGG-Net在内的深度学习基准模型上评估LiteCON。与最先进的技术相比,LiteCON将CNN的吞吐量、能效和计算效率分别提高了32倍、37倍和5倍,而精度下降微不足道。
2022-06-28 cs.AR cs.ET cs.LG
Low- and Mixed-Precision Inference Accelerators
随着边缘计算的日益普及,对电池受限的物联网设备有效执行神经网络推理的需求大大增加。虽然算法的发展使神经网络能够解决越来越复杂的任务,但由于严格的能量、延迟和内存要求,这些网络在边缘设备上的部署可能存在问题。减轻这些要求的一种方法是通过大量量化神经网络,即降低操作数的精度。通过将量化发挥到极致,例如通过使用二进制值,出现了提高能量效率的新机会。已经创建了几个利用低精度推理机会的硬件加速器,所有这些硬件加速器都旨在在边缘实现神经网络推理。在这一章中,设计选择和它们的影响的灵活性和能源效率的几个加速器支持极端量化的网络进行审查。
2022-06-24 cs.AR
A Bit Level Weight Reordering Strategy Based on Column Similarity to Explore Weight Sparsity in RRAM-based NN Accelerator
College of Electronic Science and Technology, National University of Defense Technology(国防科技大学电子科学学院)
针对存内计算与权重稀疏性难以在RRAM神经网络加速器中兼容的问题,提出基于列相似性的比特级权重重排序策略,实现稀疏权重紧凑映射,可显著提升性能并降低能耗。
2025-11-18 cs.AR
Mixed-TD: Efficient Neural Network Accelerator with Layer-Specific Tensor Decomposition
Imperial College London(帝国理工学院)
本文提出Mixed-TD框架,通过混合层特定SVD与CPD张量分解,将CNN高效映射至FPGA,实现每DSP吞吐量提升1.73至10.29倍。
2023-06-22 cs.AR cs.LG
Toward Attention-based TinyML: A Heterogeneous Accelerated Architecture and Automated Deployment Flow
针对 tinyML 难以支持 Transformer 的问题,本文提出 RISC-V 八核集群与量化 Attention 硬连线加速器耦合的异构架构及自动化部署流程,实现端到端 8 位推理并取得领先能效与吞吐量。
2025-01-05 cs.AR cs.LG
Optimizing ML Workload Partitioning between CPUs and CIM Accelerators for Heterogeneous Computing
Federal Ministry of Research, Technology and Space, Germany(德国联邦研究、科技与航天部)
针对现有CIM相关ML工作负载划分方法未充分考虑RRAM约束等缺陷,提出基于ILP的异构CPU-CIM划分框架,最小化端到端推理延迟,较纯CPU执行最高提速30.9倍。
2026-07-07 cs.AI cs.AR cs.DC
COBRA: Algorithm-Architecture Co-optimized Binary Transformer Accelerator for Edge Inference
Department of Electrical Engineering and Computer Science University of California, Irvine, USA(电气工程与计算机科学系 加州大学伊维特分校)
COBRA通过算法-架构协同优化,采用1比特二值乘法单元和注意力模块硬件优化,在边缘FPGA上实现高吞吐和高能效,大幅优于GPU和现有二值加速器。
2025-04-24 cs.AR cs.LG
BETA: Binarized Energy-Efficient Transformer Accelerator at the Edge
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);School of Integrated Circuits, Sun Yat-sen University(中山大学集成电路学院)
针对二值化Transformer在边缘部署时量化矩阵乘法效率低、多精度激活能耗高的问题,提出计算流抽象方法与可配置QMM引擎的BETA加速器,在ZCU102 FPGA上能效达174 GOPS/W,优于现有方案。
2024-01-23 cs.AI cs.AR
Beyond MACs: Deployment-Constrained Design Space Exploration for Tensorized Neural Networks
Department of Electrical;Computer Engineering, 1mm University of California, Santa Barbara, 1mm USA
本文提出了一种联合探索框架,通过统一设计空间优化张量神经网络的收缩路径、硬件架构和数据流映射,以提升边缘平台上的部署效率。
2026-11-03 cs.AI cs.AR
AccelForge: Comprehensive Modeling and Co-Design Framework for AI Accelerators
MIT(麻省理工学院);NVIDIA(英伟达)
AccelForge是一个统一的AI加速器建模与协同设计框架,通过可组合模型、快速映射器和高性能Python实现,显著提升评估速度与易用性。
2026-09-11 cs.AR
A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms
Politecnico di Milano(米兰理工大学);Università di Bologna(博洛尼亚大学);Università degli Studi di Ferrara(费拉拉大学);Università degli Studi di Catania(卡塔尼亚大学);Università degli Studi di Napoli Federico II(那不勒斯费德里科二世大学);Politecnico di Torino(都灵理工大学);Università di Roma “Tor Vergata”(罗马二大(托尔韦尔加塔大学));Università degli Studi di Torino(都灵大学)
本文综述了面向异构HPC平台的深度学习硬件加速器,系统梳理GPU、TPU、FPGA、ASIC、RISC-V、存内计算、神经形态、量子与光子等加速技术,并分类总结近年代表性架构,为该领域提供全面参考。
2025-04-07 cs.AR cs.ET cs.LG
SCNN: An Accelerator for Compressed-sparse Convolutional Neural Networks
NVIDIA(英伟达);Massachusetts Institute of Technology(麻省理工学院);UC-Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
卷积神经网络(CNN)已经成为机器学习的基础技术。高性能和极高的能效对于CNN在各种情况下的部署至关重要,特别是自动驾驶汽车、相机和电子个人助理等移动平台。本文介绍了稀疏CNN(SCNN)加速器架构,该架构通过利用训练期间网络修剪产生的零值权重和推理期间应用的常见ReLU算子产生的零值激活来提高性能和能效。具体来说,SCNN采用了一种新的卷积算法,可以在压缩编码中保持稀疏权重和激活,从而消除了不必要的数据传输并降低了存储要求。此外,SCNN低功耗有助于将这些权重和激活有效地传递到乘法器阵列,在那里它们被广泛地重用。此外,乘法积的累加是在一个新的累加器阵列中进行的。我们的研究结果表明,在当代神经网络上,SCNN可以将性能和能量分别提高2.7倍和2.3倍,而不是传统的密集CNN加速器。
2017-05-23 cs.AR cs.LG cs.NE
LlamaF: An Efficient Llama2 Architecture Accelerator on Embedded FPGAs
本文提出嵌入式 FPGA 加速器 LlamaF,通过训练后量化、带宽优化、异步计算和全流水线矩阵-向量乘法,使 TinyLlama 1.1B 在 ZCU102 上较纯 PS 实现显著提速并提升能效。
2024-09-12 cs.AR
HaShiFlex: A High-Throughput Hardened Shifter DNN Accelerator with Fine-Tuning Flexibility
Brown University(布朗大学);NVIDIA(NVIDIA公司)
HaShiFlex通过硬件嵌入大部分网络层,利用二的幂量化和可重新编程最终层,实现高吞吐量和节能的DNN加速器,适用于模型参数稳定的边缘计算和数据中心场景。
2025-12-14 cs.AR cs.LG
A Full-Stack Search Technique for Domain Optimized Deep Learning Accelerators
Google Brain(谷歌大脑);Google(谷歌);Stanford University(斯坦福大学)
快速变化的深度学习环境为构建针对特定企业级工作负载优化的推理加速器提供了独特的机会。我们提出了全栈加速器搜索技术(FAST),这是一个硬件加速器搜索框架,它定义了一个广泛的优化环境,涵盖硬件-软件堆栈中的关键设计决策,包括硬件数据路径,软件调度和编译器通道,如操作融合和张量填充。在本文中,我们分析了最先进的视觉和自然语言处理(NLP)模型中的瓶颈,包括EfficientNet和BERT,并使用FAST设计能够解决这些瓶颈的加速器。与TPU-v3相比,针对单一工作负载优化的FAST生成的加速器在所有基准测试中将Perf/TDP平均提高了3.7倍。与TPU-v3相比,FAST生成的加速器针对服务一系列工作负载进行了优化,平均将Perf/TDP提高了2.4倍。我们的投资回报分析表明,FAST生成的加速器可能适用于中等规模的数据中心部署。
2022-02-01 cs.AR cs.LG cs.PF
Opto-ViT: Architecting a Near-Sensor Region of Interest-Aware Vision Transformer Accelerator with Silicon Photonics
提出首个基于硅光子的近传感器区域感知ViT加速器Opto-ViT,采用混合电子-光子架构处理矩阵乘法,并引入轻量级MGNet剪枝无关补丁,实现高达84%的能耗节省且精度损失极小。
2025-07-16 cs.AR
NX-CGRA: A Programmable Hardware Accelerator for Core Transformer Algorithms on Edge Devices
NX-CGRA是一种面向边缘设备的可编程硬件加速器,通过粗粒度可重构阵列架构支持多种核心变压器算法,实现高效能与能效的平衡。
2025-11-21 cs.AR
An Empirical Fault Vulnerability Exploration of ReRAM-based Process-in-Memory CNN Accelerators
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学))
本文开发故障注入框架,探索基于ReRAM的存内计算CNN加速器在推理阶段的故障脆弱性,发现脆弱性受层类型、深度、参数位置及故障类型影响,且SaL比SaH更降低分类精度。
2026-10-07 cs.AI cs.AR
Algorithm-hardware co-design for Energy-Efficient A/D conversion in ReRAM-based accelerators
针对基于ReRAM的加速器中ADC功耗占比过高的问题,提出算法-硬件协同设计方法,通过识别冗余采样位、区间差异化量化及轻量SAR-ADC架构,实现1.6~2.3倍ADC功耗降低且保留算法灵活性。
2024-03-08 cs.AR
MPAI: A Co-Processing Architecture with MPSoC & AI Accelerators for Vision Applications in Space
针对航天器上AI/ML部署需求,本文提出名为MPAI的高度异构协处理架构,结合UltraScale+ MPSoC及MyriadX VPU等加速器,利用硬件多样性处理不同规模网络并实现速度、精度与能效的权衡。
2024-09-18 cs.AR cs.ET
Block-Wise Mixed-Precision Quantization: Enabling High Efficiency for Practical ReRAM-based DNN Accelerators
针对ReRAM存内计算并行度受限问题,本文提出算法-架构协同框架BWQ,通过块级混合精度量化和精度感知权重映射,实现平均6.08倍加速和17.47倍节能。
2023-10-27 cs.AR
Adaptive Precision CNN Accelerator Using Radix-X Parallel Connected Memristor Crossbars
神经处理器的开发正在减少我们对远程服务器访问的依赖,以在日益边缘驱动的世界中处理深度学习操作。通过采用存储器内处理、并行化技术和算法-硬件协同设计,已知忆阻器交叉杆阵列有效地计算大规模矩阵-向量乘法。然而,负权重的最新实现需要重复的列线,并且使用单位忆阻器的高精度权重进一步分布计算。这些限制极大地增加了芯片面积和电阻损耗,从而导致功耗增加和精度降低。在本文中,我们开发了一种自适应精度的方法,通过改变在每个交叉点的忆阻器的数量。我们还提出了一个权重映射算法,我们的交叉开关阵列上的实施设计。这种新颖的算法硬件解决方案被描述为radix-X卷积神经网络交叉阵列,并演示了如何使用单个列线有效地表示负权重,而不是将额外的列数增加一倍。使用模拟和实验结果,我们验证了我们的基数-5 CNN阵列在CIFAR-10数据集上实现了90.5%的验证准确度,比二进制神经网络提高了4.5%,同时通过消除重复列来表示有符号权重的需要,比传统阵列减少了46%的交叉杆面积。
2019-06-22 cs.AR eess.IV eess.SP
An Energy-Efficient Artefact Detection Accelerator on FPGAs for Hyper-Spectral Satellite Imagery
本文提出一种基于无监督卷积自编码器的高光谱图像伪影检测FPGA加速器,通过8位量化在AMD Zynq上实现每谱带4ms处理速度与21.52mJ低能耗,性能与能效显著优于现有平台,适用于立方星部署。
2024-07-24 cs.AR
Edge Physical AI Deployment of Vision Transformers on Heterogeneous Edge GPU Targeting Autonomous Vehicles
Jetson-aware embedded deep learning inference(Jetson-aware嵌入式深度学习推理)
研究针对自动驾驶车辆在异构边缘GPU上部署视觉Transformer的问题,提出硬件感知的H-FraDS方法,通过固定调度比率路由帧,适配组件,结合OFA,实现高效推理,提升了帧率、吞吐量并满足实时操作要求。
2026-07-14 cs.AI cs.AR
PRUNIX: Non-Ideality Aware Convolutional Neural Network Pruning for Memristive Accelerators
University of Toronto(多伦多大学);York University(约克大学)
在这项工作中,PRUNIX,一个框架,用于训练和修剪卷积神经网络提出了部署在忆阻器交叉杆为基础的加速器。PRUNIX考虑了忆阻器交叉杆的许多非理想效应,包括权重量化、状态漂移、老化和故障固定。PRUNIX利用一种新的组锯齿正则化,旨在提高非理想性容限以及稀疏性,以及一种新的自适应修剪算法(APA),旨在通过考虑CNN的不同层对修剪的敏感性来最大限度地减少准确性损失。我们将我们的正则化和修剪方法与多个CNN架构上的其他标准进行了比较,并观察到当量化和其他非理想效应被占时,测试精度提高了13%,总体稀疏度为85%,这与其他方法相似
2022-02-03 cs.AR cs.LG
An FPGA-Based Accelerator Enabling Efficient Support for CNNs with Arbitrary Kernel Sizes
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);School of Integrated Circuits, Sun Yat-sen University(中山大学集成电路学院)
本文提出一种基于FPGA的CNN推理加速器,通过Z-flow数据流、核分割及垂直/水平融合方法高效支持任意卷积核大小,并在Intel Arria 10 FPGA上实现最高3.91倍DSP效率提升,首次在硬件上部署RepLKNet-31和PyConvResNet-50。
2024-02-22 cs.AR cs.LG
Neural-PIM: Efficient Processing-In-Memory with Neural Approximation of Peripherals
Washington University in St. Louis(圣路易斯华盛顿大学);Shanghai Jiao Tong University(上海交通大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
内存处理(PIM)架构在加速众多深度学习任务方面表现出巨大的潜力。特别地,电阻式随机存取存储器(RRAM)设备提供了一种有前途的硬件基板,以构建PIM加速器,因为它们能够实现高效的原位矢量矩阵乘法(VMM)。然而,现有的PIM加速器遭受频繁和能量密集型模数(A/D)转换,严重限制了它们的性能。本文提出了一种新的PIM架构,通过使用模拟累积和神经近似外围电路最大限度地减少所需的A/D转换,有效地加速深度学习任务。我们首先描述了现有的PIM加速器所采用的不同的PLL,在此基础上,提出了一种新的PLL,通过在最终量化之前将移位和加法(S+A)操作扩展到模拟域来显著减少VMM所需的A/D转换。然后,我们利用神经近似方法设计模拟累加电路(S+A)和量化电路(ADC)与RRAM交叉阵列在一个高效的方式。最后,我们应用它们构建了一个基于RAM的PIM加速器(即,\textbf{Neural-PIM})对所提出的模拟电路进行仿真,并对其系统级性能进行评估。对不同基准的评估表明,与最先进的基于RRAM的PIM加速器相比,Neural-PIM可以将能效提高5.36倍(1.73倍),并将吞吐量提高3.43倍(1.59倍),而不会损失准确性,即,ISAAC(CASCADE).
2022-01-30 cs.AR cs.ET cs.LG
FAT-PIM: Low-Cost Error Detection for Processing-In-Memory
内存处理(PIM)加速器是一种很有前途的架构,可以在各种应用中提供大规模并行和高效率。这种架构可以即时提供对大量数据的超快操作,从而在数据密集型工作负载中实现实时性能。例如,基于电阻式存储器(ReRAM)的PIM架构因其固有的点积计算能力而广为人知。虽然这种架构的性能至关重要,但可靠性和准确性也很重要,特别是在关键任务实时系统中。不幸的是,PIM体系结构在保证无错误操作方面具有基本限制。结果,当前方法必须付出高的实现成本或性能损失来实现PIM加速器中的可靠执行。在本文中,我们对基于ReRAM的PIM架构的可靠性限制进行了基本观察。因此,我们提出了一种新的解决方案-容错PIM或FAT-PIM,可以提高这种系统的可靠性显着在低成本。我们的评估表明,我们可以提高容错显着只有4.9%的性能成本和3.9%的存储开销。
2022-07-25 cs.AR
A Machine Learning Accelerator In-Memory for Energy Harvesting
将机器学习能力带到低功率设备的需求日益增加。通过将机器学习的计算能力与低功耗设备的部署能力相结合,许多新的应用成为可能。在某些应用中,这种设备甚至没有电池,必须完全依赖能量收集技术。这给硬件带来了极大的限制,硬件必须节能,并且能够承受停电造成的中断。在这里,作为一个代表性的例子,我们提出了一个内存支持向量机学习加速器利用非易失性自旋电子存储器。内存中处理和非易失性的结合提供了一个关键优势,即在每次操作之后都有效地保存进度。这使得即时关闭和重新启动的能力,以最小的开销。此外,操作是高能效的,从而导致低功耗。
2019-08-29 cs.AR cs.DC cs.ET
BiKA: Kolmogorov-Arnold-Network-inspired Ultra Lightweight Neural Network Hardware Accelerator
Ruhr University Bochum, Germany(博德姆鲁尔大学);Dresden University of Technology, Germany(德累斯顿技术大学);Center for Scalable Data Analytics(可扩展数据与人工智能中心)
BiKA是一种受Kolmogorov-Arnold网络启发的轻量级神经网络硬件加速器,通过二值化阈值替代非线性函数,显著降低硬件资源消耗并保持高精度。
2026-02-26 cs.AI cs.AR
Extended Bit-Plane Compression for Convolutional Neural Network Accelerators
Integrated Systems Laboratory, ETH Zurich(苏黎世联邦理工学院集成系统实验室)
在卷积神经网络在图像分类、目标检测、语音识别等方面取得巨大成功之后,现在,对于以低成本将这些计算密集型ML模型部署在严格功率约束的嵌入式和移动系统上以及对于推动数据中心中的吞吐量的需求不断增长。这引发了对专用硬件加速器的研究浪潮。它们的性能通常受到I/O带宽的限制,并且能量消耗主要由到片外存储器的I/O传输决定。我们介绍和评估一种新的,硬件友好的压缩方案的特征图内存在的卷积神经网络。我们表明,ResNet-34的平均压缩比相对于未压缩数据为4.4倍,比现有方法的增益为60%,压缩块需要<300位的顺序单元和最少的组合逻辑。
2018-10-01 cs.AI cs.AR cs.CV
FlexSpIM: An Event-Based Digital Compute-In-Memory Accelerator with Flexible Operand Resolution and Layer-Wise Hybrid Stationarity
Delft University of Technology(代尔夫特理工大学);KU Leuven(荷语鲁汶大学)
FlexSpIM是一种数字存内计算加速器,通过支持任意操作数分辨率和层间混合驻留数据流,在IBM DVS手势数据集上实现95.8%准确率,并降低45%能耗和52%延迟。
2026-09-09 cs.AR
Efficient Edge AI: Deploying Convolutional Neural Networks on FPGA with the Gemmini Accelerator
FZI Research Center for Information Technology(FZI信息技术研究中心);University of Tübingen(蒂宾根大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对边缘AI部署的能耗隐私需求与非现成设备部署难题,提出经修改的Gemmini加速器结合开源软件的FPGA端到端CNN部署工作流,在Xilinx ZCU102上部署YOLOv7达36.5 GOP/s/W能效,优于同类方案,并验证了交通监控场景集成可行性。
2024-08-14 cs.AI cs.AR cs.DC
Optimizing Layer-Fused Scheduling of Transformer Networks on Multi-accelerator Platforms
本文扩展 DSE 框架 Stream 以支持多类加速器上的 Transformer 调度与层融合探索,发现按注意力头输入大小调整执行调度可显著降低活动特征数据内存需求。
2024-06-14 cs.AR
Architecture Support for FPGA Multi-tenancy in the Cloud
云部署现在越来越多地将FPGA加速器作为虚拟实例的一部分。虽然FPGA本质上仍然是单租户的,但对硬件加速的需求不断增长将不可避免地导致对支持FPGA多租户的方法和架构的需求。在本文中,我们提出了一个架构,支持空间共享的FPGA设备之间的多个租户在云中。该架构实现了一个片上网络(NoC)设计的快速数据移动和低硬件占用。在Xilinx Virtex Ultrascale+上对所提出的架构进行原型设计,证明了片上数据移动的最大频率接近规格,虚拟实例访问硬件加速器的吞吐量也很高。与单租户部署相比,我们展示了类似的性能,同时提高了FPGA利用率(我们的案例研究实现了6倍的FPGA利用率),这是虚拟化的主要目标之一。总体而言,我们的NoC互连实现了比最先进技术高出约2倍的最大频率和25.6 Gbps的带宽。
2020-06-14 cs.AR