A Fresh Perspective on DNN Accelerators by Performing Holistic Analysis Across Paradigms
采用冯·诺依曼架构的传统计算机无法满足深度神经网络(DNN)工作负载的延迟和可扩展性挑战。已经提出了基于传统计算硬件加速器(CHA)、近数据处理(NDP)和存储器中处理(PIM)范例的各种DNN加速器来应对这些挑战。我们在这项工作中的目标是对DNN加速器范例中最先进的加速器进行严格的比较,我们使用了MLPerf推理基准的MobileNet,ResNet,BERT和DLRM的独特层进行分析。详细的模型是基于硬件实现的最先进的设计。我们观察到,对于内存密集型的全连接层(FCL)DNN,基于NDP的加速器比最先进的CHA快10.6倍,比基于PIM的加速器快39.9倍。对于计算密集型图像分类和目标检测DNN,最先进的CHA比NDP快约10倍,比基于PIM的加速器快约2000倍。基于PIM的加速器适用于能量受限的DNN应用(与传统ASIC系统相比,CNN和FCL应用的能量分别低约2.7倍和约21倍)。此外,我们确定架构的变化(如增加内存带宽,缓冲区重组),可以增加吞吐量(线性增加)和降低能量(线性减少)ML应用程序与CHA,NDP和PIM的加速器的相关组件的详细敏感性分析。
2022-08-10 cs.AR
Enabling Privacy-Preserving, Compute- and Data-Intensive Computing using Heterogeneous Trusted Execution Environment
在大数据时代,迫切需要能够支持计算和数据密集型(CDI)计算的隐私保护技术。然而,现有的TEE都不能真正支持CDI计算任务,因为CDI需要像GPU和TPU这样的高吞吐量加速器,但是TEE不提供对这些加速器的安全保护。本文介绍了HETEE(异构TEE),第一个设计的TEE能够强有力地保护异构计算与不安全的加速器。HETEE的独特结构可以与当今的服务器配合使用,并且不需要对现有的商业CPU或加速器进行任何更改。我们设计的核心思想是将安全控制器作为一个独立的计算系统运行,通过PCIe交换机动态调整安全和不安全世界之间的边界,在不需要安全计算时将加速器的控制权移交给主机操作系统,并在需要时将其转移回来。控制器是系统中唯一的信任单元,它运行自定义操作系统和加速器运行时,以及加密,身份验证和远程证明组件。主机服务器和其他计算系统通过存储器中的任务队列与控制器通信,该存储器中的任务队列以加密和签名的代码和数据的形式容纳卸载到HETEE的计算任务。此外,HETEE还为主机CPU提供了通用且高效的编程模型。我们已经在硬件原型系统上实现了HETEE设计,并使用大规模神经网络推理和训练任务对其进行了评估。我们的评估表明,HETEE可以很容易地支持这样的安全计算任务,平均只会产生12.34%的吞吐量开销的推理和9.87%的训练开销。
2019-04-10 cs.AR cs.CR
A Tensor-Train Decomposition based Compression of LLMs on Group Vector Systolic Accelerator
本文针对LLMs资源消耗大的问题,提出张量列分解(TTD)压缩线性层,并在FPGA上基于分组向量脉动阵列(GVSA)架构实现,显著降低了模型首令牌延迟。
2025-01-31 cs.AR
BioSEAL: In-Memory Biological Sequence Alignment Accelerator for Large-Scale Genomic Data
基因组序列包含数亿个DNA碱基对。找到两个基因组之间的相似程度需要执行计算密集型动态规划算法,例如Smith-Waterman算法。传统的冯·诺依曼架构具有有限的并行性,并且不能为大规模基因组数据提供有效的解决方案。通常使用近似的探试法(例如BLAST)。然而,它们是次优的并且仍然是计算密集型的。在这项工作中,我们提出了BioSEAL,生物序列对齐加速器。BioSEAL是一种大规模并行非冯·诺依曼内存处理架构,用于大规模DNA和蛋白质序列比对。BioSEAL基于电阻式内容寻址存储器,能够进行节能和高性能的关联处理。我们提出了一种在BioSEAL上进行整个数据库序列比对的关联处理算法,并将其性能和功耗与最先进的解决方案进行了比较。我们表明,与现有的基因组序列比对和蛋白质序列数据库搜索解决方案相比,BioSEAL可以实现高达57倍的加速和156倍的能效。
2019-01-17 cs.AR cs.ET
Mining CryptoNight-Haven on the Varium C1100 Blockchain Accelerator Card
加密货币挖掘是一个能源密集型的过程,是硬件加速的主要候选者。这项正在进行的工作提出了第一个协处理器设计的ASIC抗CryptoNight-Haven工作证明(PoW)算法。我们将硬件加速器构建为Xilinx运行时间(XRT)RTL内核,目标是Xilinx Varium C1100区块链加速卡。该设计采用深度流水线计算和高带宽存储器(HBM)的底层暂存数据。我们的目标是将我们的加速器与现有的CPU和GPU矿工进行比较,以显示其哈希计算的吞吐量和能效
2022-12-09 cs.AR cs.CR
NTX: An Energy-efficient Streaming Accelerator for Floating-point Generalized Reduction Workloads in 22nm FD-SOI
用于深度学习等多重累积(MAC)密集型工作负载的专用协处理器在从GPU到移动SoC的SoC平台中越来越普遍。在本文中,我们重新审视NTX(一种为大规模训练深度神经网络而开发的高效加速器),将其作为广义MAC和简化流引擎。该架构由一组32位浮点流协处理器组成,这些协处理器松散耦合到负责编排数据移动和计算的RISC-V核心。最近在22 nm FD-SOI技术中的硅实现的布局后结果显示,该加速器在1.25 GHz和168 mW下能够提供高达20 Gflop/s的性能。基于这些结果,我们表明,缩小到14 nm的NTX版本可以在10.4倍的硅面积上实现比当代GPU高3倍的能效,以及1.4 Tflop/s的计算性能,用于训练具有全浮点精度的大型最先进网络。对MAC密集型内核的扩展评估表明,NTX在机器学习之外的一般减少工作负载中可以始终实现高达87%的峰值性能。其模块化架构支持从高性能GPU级到低功耗嵌入式场景的不同规模部署。
2018-12-01 cs.AR cs.DC
FPGA Based Accelerator for Neural Networks Computation with Flexible Pipelining
FPGA由于其高功率效率和可配置性而适合于定点神经网络计算。然而,它的设计必须经过深入的改进,以利用有限的硬件资源实现高性能。我们提出了一个基于FPGA的神经网络加速器及其优化框架,它可以实现各种CNN模型和FPGA资源的最佳效率。针对高吞吐量,我们采用分层流水线架构,以提高DSP的利用率。为了获得最佳性能,还提出了一种灵活的算法来分配均衡的硬件资源到每一层,激活缓冲区的设计支持。通过在ZC706上均衡实现四个CNN模型,DSP的利用率和效率超过90%。对于ZC 706上的VGG 16,所提出的加速器实现的性能分别是参考的非流水线架构[1]、流水线架构[2]和[3]的2.58倍、1.53倍和1.35倍。
2021-12-28 cs.AR
LiteCON: An All-Photonic Neuromorphic Accelerator for Energy-efficient Deep Learning (Preprint)
University of California, San Diego(加州大学圣地亚哥分校)
深度学习在当今的数据密集型时代非常普遍。特别地,卷积神经网络(CNN)正被广泛用于各种领域以获得优异的精度。然而,在传统的CPU和GPU上计算深度CNN会带来一些性能和能源陷阱。基于ASIC、FPGA和连续存储器器件的几种新方法最近已经被证明具有很好的效果。它们中的大多数只针对深度学习的推理(测试)阶段。设计一个既能训练又能推理的成熟的深度学习加速器的尝试非常有限。这是由于训练阶段的高度计算和内存密集型。在本文中,我们提出了LiteCON,一种新型的模拟光子学CNN加速器。LiteCON使用基于硅微磁盘的卷积、基于忆阻器的存储器和密集波分复用技术来实现节能和超快的深度学习。我们使用商业CAD框架(IPKISS)在包括LeNet和VGG-Net在内的深度学习基准模型上评估LiteCON。与最先进的技术相比,LiteCON将CNN的吞吐量、能效和计算效率分别提高了32倍、37倍和5倍,而精度下降微不足道。
2022-06-28 cs.AR cs.ET cs.LG
AccelForge: Comprehensive Modeling and Co-Design Framework for AI Accelerators
MIT(麻省理工学院);NVIDIA(英伟达)
AccelForge是一个统一的AI加速器建模与协同设计框架,通过可组合模型、快速映射器和高性能Python实现,显著提升评估速度与易用性。
2026-09-11 cs.AR
Heterogeneous Data-Centric Architectures for Modern Data-Intensive Applications: Case Studies in Machine Learning and Databases
ETH Zürich(苏黎世联邦理工学院);Google(谷歌);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
当今的计算系统需要在计算资源之间来回移动数据(例如,CPU、GPU、加速器)和片外主存储器,以便可以对数据进行计算。不幸的是,这种数据移动是系统性能和能耗的主要瓶颈。在现代和新兴的应用程序中,一个有前途的执行范例是内存中处理(PIM),其中通过将计算能力放置在内存附近来降低数据移动到主内存/从主内存移动的成本。简单地采用PIM来加速数据密集型工作负载可能会导致次优性能,因为PIM基板施加了许多设计约束。因此,许多最近的作品共同设计专门的PIM加速器和算法,以提高性能并降低(i)来自各种应用领域的应用程序的能耗;以及(ii)各种计算环境,包括云系统,移动系统和边缘设备。我们展示了共同设计算法和硬件的好处,这种方式有效地利用了PIM范式用于两个现代数据密集型应用:(1)边缘设备的机器学习推理模型和(2)云系统的混合事务/分析处理数据库。我们在系统设计中遵循两步走的方法。在第一步中,我们广泛分析每个应用程序的计算和内存访问模式,以深入了解其硬件/软件要求以及以处理器为中心的系统中的性能和能源瓶颈的主要来源。在第二步中,我们利用第一步的见解来共同设计算法和硬件加速器,为每个应用程序实现高性能和高能效的以数据为中心的架构。
2022-05-29 cs.AI cs.AR cs.DB
Reconfigurable Hardware Accelerators: Opportunities, Trends, and Challenges
随着近年来机器学习、语音识别、人工智能、DNA测序等大数据应用的兴起,计算机体系结构研究界正面临着各种数据爆炸的爆发规模。为实现数据密集型计算的高效性,面向最新应用的异构加速器研究已成为计算机体系结构领域的热点问题。目前,异构加速器的实现主要依赖于专用集成电路(ASIC)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等异构计算单元。在上述典型的异构架构中,基于FPGA的可重构加速器具有以下两个优点:第一,FPGA架构包含大量的可重构电路,满足特定应用运行时的高性能和低功耗要求。其次,采用FPGA的可重构结构快速实现原型系统,具有良好的可定制性和可重构性。目前,在计算机体系结构的顶级会议上,涌现出一批基于FPGA或其他可重构体系结构的加速工作。为了更好地回顾近年来可重构计算加速器的相关工作,本综述保留了可重构加速器架构和算法应用的最新高水平研究成果作为基础。本文对可重构加速器的研究热点和关注领域进行了比较,并对可重构加速器的优势、劣势和挑战进行了分析和说明。最后对加速器体系结构的未来发展趋势进行了展望,希望能为计算机体系结构研究者提供参考。
2017-12-13 cs.AR
XNORBIN: A 95 TOp/s/W Hardware Accelerator for Binary Convolutional Neural Networks
ETH Zurich(苏黎世联邦理工学院)
部署最先进的CNN需要耗电的处理器和片外存储器。这排除了在低功耗嵌入式系统中实现CNN。最近的研究表明,CNN维持极端量化,将其权重和中间特征映射二值化,从而节省8-32 \x内存,并将能量密集型产品总和压缩为XNOR和popcount操作。我们提出了XNORBIN,一个二进制CNN的加速器,计算与内存紧密耦合,以实现积极的数据重用。XNORBIN采用UMC 65 nm技术实现,在0.8 V时的能效为95 TOp/s/W,面积效率为2.0 TOp/s/MGE。
2018-03-05 cs.AI cs.AR cs.CV
Hyperdrive: A Multi-Chip Systolically Scalable Binary-Weight CNN Inference Engine
ETH Zurich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
深度神经网络在计算机视觉和机器学习方面取得了令人印象深刻的成果。不幸的是,最先进的网络是非常计算和内存密集型的,这使得它们不适合物联网终端节点等兆瓦设备。这些网络的积极量化大大减少了计算和内存占用。二进制权重神经网络(BWN)遵循这一趋势,将权重量化推向极限。到目前为止,针对BWN的硬件加速器一直专注于核心效率,而忽略了I/O带宽和系统级效率,这对于在超低功耗设备中部署加速器至关重要。我们介绍Hyperdrive:BWN加速器利用新颖的二进制权重流方法显著降低I/O带宽,该方法可用于任意大小的卷积神经网络架构和输入分辨率,方法是通过将Hyperdrive芯片系统地布置在2D网格中,同时并行处理整个特征图,从而利用芯片级和系统级计算单元的自然可扩展性。Hyperdrive实现了4.3 TOp/s/W的系统级效率(即,包括I/O)--比最先进的BWN加速器高3.1倍,即使其核心使用资源密集型FP 16算法来提高鲁棒性。
2019-03-14 cs.AR cs.CV cs.DC
LLM-Driven Design Space Exploration of FPGA-based Accelerators
School of Computing Science, University of Glasgow(格拉斯哥大学计算机科学学院)
本文提出SECDA-DSE框架,利用大语言模型自动化FPGA加速器的设计空间探索,通过结构化探索器和LLM栈实现高效配置生成与优化。
2026-05-07 cs.AI cs.AR cs.PF
On the Resilience of RTL NN Accelerators: Fault Characterization and Mitigation
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院);Barcelona Supercomputing Center(巴塞罗那超级计算中心);Tyrell Inc.(泰瑞尔公司)
机器学习(ML)正在与大量生成的非结构化数据保持一致,这反过来又需要大量的计算资源。由于神经网络(NN)固有的计算和功耗密集型结构,硬件加速器成为一种有前途的解决方案。然而,随着技术节点扩展到10 nm以下,硬件加速器变得更容易出现故障,这反过来会影响NN的准确性。在本文中,我们研究了寄存器传输级(RTL)模型的NN加速器的弹性方面,特别是,故障表征和缓解。通过以下的高层次综合(HLS)的方法,首先,我们的RTL神经网络的各个组件的脆弱性的特征。我们观察到故障的严重性取决于i)应用级规范,即,NN数据(输入、权重或中间)、NN层和NN激活函数,以及ii)架构级规范,即,数据表示模型和底层加速器的并行度。其次,由表征结果的动机,我们提出了一种低开销的故障缓解技术,可以有效地纠正位翻转,比最先进的方法好47.3%。
2018-06-14 cs.AR cs.LG stat.ML
Accelerating Diffusion Models for Generative AI Applications with Silicon Photonics
Colorado State University(科罗拉多州立大学)
本文提出一种基于硅光子学的扩散模型加速器,显著提升能效和吞吐量,用于生成式人工智能应用。
2026-03-08 cs.AR cs.LG
OpenGeMM: A High-Utilization GeMM Accelerator Generator with Lightweight RISC-V Control and Tight Memory Coupling
KU Leuven(鲁汶大学);INESC-ID;Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学)
深度神经网络(DNN)由于其计算和数据密集型的性质,在部署在资源受限的极端边缘设备上时面临重大挑战。虽然为特定应用场景量身定制的独立加速器存在控制不灵活和可编程性有限的问题,但与RISC-V CPU相结合的通用硬件加速平台可以实现高可重用性和灵活性,但通常以系统级效率和低利用率为代价。为了填补这一空白,我们提出了OpenGeMM,一个开源的加速平台,共同展示了高效率和利用率,以及易于配置和可编程性。OpenGeMM包含一个参数化的Chisel编码GeMM加速器,一个轻量级的RISC-V处理器和一个紧密耦合的多组暂存器。GeMM内核利用率和系统效率通过三种机制来提高:配置预加载、带输出缓冲的输入预取和可编程跨存储器访问。实验结果表明,OpenGeMM可以在不同的CNN和Transformer工作负载中始终实现81.89%到99.34%的硬件利用率。与SotA开源Gemmini加速器相比,OpenGeMM在各种GeMM工作负载上的归一化吞吐量上实现了3.58倍至16.40倍的加速,同时实现了4.68 TOPS/W的系统效率。
2024-11-21 cs.AI cs.AR
ARMAN: A Reconfigurable Monolithic 3D Accelerator Architecture for Convolutional Neural Networks
针对不同CNN模型对加速器架构需求各异的问题,提出基于M3D技术的可重构脉动阵列加速器ARMAN,通过灵活配置实现功耗、能量和性能的优化,在多个基准上实现最高2倍、2.24倍、1.48倍和2倍的改进。
2024-02-06 cs.AR cs.ET
An FPGA-Based Reconfigurable Accelerator for Convolution-Transformer Hybrid EfficientViT
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);School of Integrated Circuits, Sun Yat-sen University(中山大学集成电路学院)
本文针对EfficientViT混合架构提出FPGA可重构加速器,通过可重构计算架构和时分复用流水线数据流实现层内与层间融合,在ZCU102上取得780.2 GOPS吞吐量和105.1 GOPS/W能效,显著超越现有工作。
2024-03-29 cs.AR cs.LG
ELSA: A Throughput-Optimized Design of an LSTM Accelerator for Energy-Constrained Devices
Arizona State University(亚利桑那州立大学)
人工智能技术发展和扩散的下一个重要步骤将是嵌入式和移动系统中神经网络(NN)模型的集成。这就要求在硅中设计紧凑、节能的NN模型。在本文中,我们提出了一个可扩展的ASIC设计的LSTM加速器命名为ELSA,这是适合于能源受限的设备。它包括几个建筑创新,以实现小面积和高能效。为了减少整体设计的面积和功耗,ELSA的计算密集型单元采用近似乘法,仍然实现高性能和准确性。通过弹性流水线阶段的有效同步以最大化利用率来进一步提高性能。本文还包括ELSA的性能模型,作为隐藏节点和时间步长的函数,允许其用于评估任何LSTM应用程序。ELSA在RTL中实现,并在65 nm技术中合成、放置和布线。它的功能被证明是语言建模-LSTM的一个常见应用。将ELSA与具有标准功能单元的LSTM加速器的基线实现进行比较,而没有ELSA的任何架构创新。该文件表明,ELSA可以实现显着的改进,在功率,面积和能源效率相比,基线设计和文献中报道的几个ASIC实现,使其适合于在嵌入式系统和实时应用。
2019-10-19 cs.AR cs.LG
Hybrid Systolic Array Accelerator with Optimized Dataflow for Edge Large Language Model Inference
School of Electrical and Computer Engineering, Cornell University(电气与计算机工程学院,康奈尔大学)
本文提出一种基于混合脉动阵列(HSA)架构的边缘LLM推理加速器,通过MXINT4量化与优化数据流降低外部内存访问并实现100%硬件利用率,集成RMSNorm和RoPE单元支持端到端推理,在1.3B LLM上实现显著性能提升。
2025-07-11 cs.AI cs.AR
Analysis of a Memcapacitor-Based for Neural Network Accelerator Framework
School of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology(光州科学技术院电气工程与计算机科学学院)
本文提出一种基于CMOS忆容器交叉开关阵列的神经网络加速器框架,在数字识别和CIFAR识别上分别达到98.4%和94.4%的训练准确率,验证了忆容器在神经形态计算中的潜力。
2025-01-21 cs.AI cs.AR cs.NE
ADEPT: Architecture-Driven Energy-Efficient CNN Fine-Tuning on PIM Accelerators
研究针对PIM架构上CNN微调计算和内存密集问题,提出硬件感知框架ADEPT。该框架考虑训练开销和层敏感度,引入新度量量化权衡,产生依赖平台的微调配置,能减少可训练参数和片外数据访问,微调时预测准确性损失最小。
2026-07-21 cs.AR cs.ET
Design and Implementation of an FPGA-Based Hardware Accelerator for Transformer
University of California, Irvine(加州大学 Irvine 分校)
针对Transformer大语言模型中MHA模块Q、K、V线性投影的性能瓶颈,本研究在Xilinx KV260 FPGA上设计了优化的分块矩阵乘法加速器,通过片上存储、两级分块和类脉动计算引擎实现了显著的性能与能效提升,为边缘深度学习推理提供了新方案。
2025-05-20 cs.AR cs.CL cs.LG
iELAS: An ELAS-Based Energy-Efficient Accelerator for Real-Time Stereo Matching on FPGA Platform
Beijing Institute of Technology(北京理工大学);PerceptIn Inc(PerceptIn公司)
立体匹配是机器人导航和自主车辆的一项重要任务,它提供了对周围环境的深度估计。在所有的立体匹配算法中,高效大规模立体(ELAS)提供了效率和准确性之间的最佳权衡之一。然而,由于固有的迭代过程和不可预测的内存访问模式,ELAS只能在高端CPU上以1.5-3 fps的速度运行,并且难以在低功耗平台上实现实时的【形】性能。本文提出了一种基于FPGA的实时的【形】ELAS立体匹配的节能架构。此外,原来的计算密集和不规则的三角剖分模块进行了改革,在规则的方式与点插值,这是更硬件友好。进一步利用包括存储管理、并行性和流水线的优化来减少存储器占用并提高吞吐量。与Intel i7 CPU和最先进的CPU+FPGA实现相比,我们的FPGA实现分别实现了高达38.4倍和3.32倍的帧速率提升,以及高达27.1倍和1.13倍的能效提升。
2021-04-11 cs.AR cs.CV cs.RO