O-HAS: Optical Hardware Accelerator Search for Boosting Both Acceleration Performance and Development Speed
Rice University(莱斯大学)
深度神经网络(DNN)最近的突破和令人望而却步的复杂性激发了人们对特定领域DNN加速器的广泛兴趣,其中光学DNN加速器特别有前途,这要归功于其实现卓越性能每瓦的前所未有的潜力。然而,光学DNN加速器的发展比电DNN加速器慢得多。一个关键的挑战是,虽然已经开发了许多技术来促进电DNN加速器的开发,但支持或加速光学DNN加速器设计的技术仍然很少探索,限制了光学DNN加速器的可实现性能和创新发展。为此,我们开发了首个名为O-HAS的框架,该框架首次展示了自动化光学硬件加速器搜索,以提高光学DNN加速器的加速效率和开发速度。具体地,我们的O-HAS由两个集成的使能器组成:(1)O-成本预测器,其可以基于DNN模型参数和光学加速器设计准确而有效地预测光学加速器的能量和延迟;以及(2)O-搜索引擎,其可以自动探索光学DNN加速器的大设计空间并识别最佳加速器(即,微体系结构和算法到加速器的映射方法),以便最大化目标加速效率。广泛的实验和烧蚀研究一致验证了我们的O-成本预测器和O-搜索引擎的有效性以及O-HAS产生的光学加速器的出色效率。
2021-08-17 cs.AR cs.ET cs.LG
Skydiver: A Spiking Neural Network Accelerator Exploiting Spatio-Temporal Workload Balance
University of Shanghai for Science and Technology(上海理工大学);Institute of Photonic Chips(光子芯片研究院);University of Zürich(苏黎世大学);ETH Zürich(苏黎世联邦理工学院);Institute of Neuroinformatics(神经信息学研究所)
针对SNN硬件推理中时空稀疏性造成的工作负载不均衡问题,提出FPGA加速器Skydiver,通过APRC按通道预测负载并以CBWS调度,使均衡率超过90%,在分割与分类任务中提升吞吐并实现低能耗高精度。
2022-03-14 cs.AR cs.CV cs.LG
The Pitfall of Evaluating Performance on Emerging AI Accelerators
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
近年来,特定领域的硬件在深度学习(DL)中带来了显著的性能提升。在评估这些AI加速器时,工业界和学术界都只关注吞吐量,这些加速器通常是部署在数据中心的定制ASIC,以加速DL工作负载的推理阶段。追求更高的硬件吞吐量,如OPS(每秒操作)使用各种优化似乎是他们的主要设计目标。然而,他们忽略了准确性在DL性质中的重要性。受此启发,本文认为单一的吞吐量指标无法全面反映人工智能加速器的真实性能。为了揭示这一缺陷,我们评估了典型AI加速器上的几种常用优化,并量化了它们在代表性DL推理工作负载下对准确性和吞吐量的影响。基于我们的实验结果,我们发现一些优化在某些工作负载下会导致严重的准确性损失,尽管它可以提高吞吐量。此外,我们的研究结果表明,端到端的评估在DL的重要性。
2019-11-08 cs.LG cs.PF
Rethinking Co-design of Neural Architectures and Hardware Accelerators
Google(谷歌)
神经架构和硬件加速器一直是深度学习进步的两大驱动力。以前的工作通常试图优化给定固定模型架构的硬件或给定固定硬件的模型架构。在之前的工作中探索的主要硬件架构是FPGA。在我们的工作中,我们的目标是在行业标准的边缘加速器上优化硬件和软件配置。我们系统地研究了共同设计神经架构和硬件加速器的重要性和策略。我们提出三点意见:1)软件搜索空间必须被定制以充分利用目标硬件架构,2)对模型架构和硬件架构的搜索应该联合进行以实现两全其美,以及3)不同的用例导致非常不同的搜索结果。我们的实验表明,联合搜索方法在ImageNet top-1准确率上始终优于之前的平台感知神经架构搜索,手动构建的模型和最先进的EfficientNet。我们的方法可以在相同的精度约束下将边缘加速器的能耗降低高达2倍,同时适应模型架构和硬件加速器配置。
2021-02-17 cs.AR cs.LG
SMAUG: End-to-End Full-Stack Simulation Infrastructure for Deep Learning Workloads
Harvard University(哈佛大学)
近年来,深度神经网络的硬件加速取得了巨大的进步。然而,大多数研究都集中在优化加速器微架构,以提高每层的性能和能效。我们发现,对于整个单批推理延迟,加速器可能只占25- 40%,其余部分用于数据移动和深度学习软件框架。到目前为止,在早期设计阶段(在RTL可用之前)研究端到端DNN性能非常困难,因为没有现有的DNN框架支持端到端仿真和轻松的自定义硬件加速器集成。为了解决研究基础设施中的这一差距,我们提出了SMAUG,这是第一个专门为模拟端到端深度学习应用而构建的DNN框架。SMAUG为研究人员提供了广泛的功能来评估DNN工作负载,从不同的网络拓扑到轻松的加速器建模和SoC集成。为了展示SMAUG的强大功能和价值,我们展示了案例研究,展示了我们如何在不改变加速器微架构的任何部分的情况下,优化整体性能和能效,使加速比达到基线系统的1.8- 5倍,并展示了SMAUG如何为相机供电的深度学习管道调整SoC。
2019-12-11 cs.DC cs.LG
Hardware Trojan Threats to Multi-Chiplet Photonic Neural Network Accelerators
Colorado State University(科罗拉多州立大学)
本文研究多芯粒光子神经网络加速器面临的硬件木马威胁,从机密性、完整性和可用性三个维度分析其安全风险。
2026-09-09 cs.AI cs.AR cs.LG
Taming the Tail: NoI Topology Synthesis for Mixed DL Workloads on Chiplet-Based Accelerators
Indraprastha Institute of Information Technology Delhi(印度普拉斯塔信息技术学院德里);Washington State University(华盛顿州立大学);Microsoft Research(微软研究院)
针对异构芯粒加速器中内存突发传输导致NoI尾部延迟超标问题,提出干扰得分量化争用影响,构建多目标优化的PARL拓扑生成器,可在保持竞争力的平均吞吐量的同时将最坏情况减速降至1.2倍,满足SLA要求。
2025-10-28 cs.AI cs.AR cs.LG
A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms
Politecnico di Milano(米兰理工大学);Università di Bologna(博洛尼亚大学);Università degli Studi di Ferrara(费拉拉大学);Università degli Studi di Catania(卡塔尼亚大学);Università degli Studi di Napoli Federico II(那不勒斯费德里科二世大学);Politecnico di Torino(都灵理工大学);Università di Roma “Tor Vergata”(罗马二大(托尔韦尔加塔大学));Università degli Studi di Torino(都灵大学)
本文综述了面向异构HPC平台的深度学习硬件加速器,系统梳理GPU、TPU、FPGA、ASIC、RISC-V、存内计算、神经形态、量子与光子等加速技术,并分类总结近年代表性架构,为该领域提供全面参考。
2025-04-07 cs.AR cs.ET cs.LG
EH-DNAS: End-to-End Hardware-aware Differentiable Neural Architecture Search
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
在硬件感知的可区分神经架构搜索(DNAS)中,计算硬件度量的梯度以执行架构搜索是具有挑战性的。现有的作品依赖于线性近似与有限的支持定制的硬件加速器。在这项工作中,我们提出了端到端硬件感知DNAS(EH-DNAS),端到端硬件基准测试的无缝集成,以及完全自动化的DNAS,以在各种平台上提供硬件高效的深度神经网络,包括边缘GPU,边缘TPU,移动CPU和定制加速器。给定一个期望的硬件平台,我们建议学习一个可微模型预测端到端的硬件性能的神经网络架构的DNAS。我们还推出了E2 E-Perf,这是一款用于定制加速器的端到端硬件基准测试工具。在CIFAR 10和ImageNet上的实验表明,EH-DNAS在保持分类精度的前提下,在自定义加速器上平均提高了$1.4\times$,在现有硬件处理器上平均提高了$1.6\times$。
2021-11-24 cs.LG
DNN-Chip Predictor: An Analytical Performance Predictor for DNN Accelerators with Various Dataflows and Hardware Architectures
Rice University(莱斯大学)
最近在深度神经网络(DNN)方面的突破刺激了对DNN加速器的巨大需求。然而,设计DNN加速器并不简单,因为它通常需要数月/数年的时间,并且需要跨学科的知识。为了实现快速有效的DNN加速器开发,我们提出了DNN-Chip Predictor,这是一种分析性能预测器,可以在实际实施之前准确预测DNN加速器的能量,吞吐量和延迟。我们的预测器有两个亮点:(1)其DNN ASIC/FPGA加速器的分析性能公式有助于快速设计空间探索和优化;(2)它支持具有不同算法到硬件映射方法的DNN加速器(即,图1)和硬件架构。基于2种DNN模型和3种不同ASIC/FPGA实现的实验结果表明,当使用不同的DNN模型、硬件架构和硬件时,我们的DNN-Chip Predictor的预测性能与FPGA/ASIC实现的芯片测量结果相差不超过17.66%。我们将在接受后发布代码。
2021-04-16 cs.DC cs.LG eess.SP
HASS: Hardware-Aware Sparsity Search for Dataflow DNN Accelerator
Imperial College London(伦敦帝国学院);University of Cambridge(剑桥大学)
本文提出硬件感知稀疏性搜索(HASS),通过软硬件协同优化为数据流加速器利用非结构化权重和激活稀疏性,相比现有设计实现1.3至4.2倍效率提升。
2024-06-05 cs.AR cs.LG
AI Accelerators for Large Language Model Inference: Architecture Analysis and Scaling Strategies
本文跨GPU、混合封装和晶圆级引擎比较商用AI加速器的LLM推理架构,量化性能差异与并行扩展策略,为硬件选型和下一代设计提供依据。
2025-05-13 cs.AR cs.LG
ViBE: Co-Optimizing Workload Skew and Hardware Variability for MoE Serving
Georgia Institute of Technology(佐治亚理工学院);Advanced Micro Devices, Inc.(先进微器件公司)
提出ViBE框架,通过感知硬件的专家放置方法,结合GPU性能建模与专家激活分析,最小化分布式MoE推理中的执行时间不平衡,显著提升SLO达标率并降低P90 TTFT。
2026-05-30 cs.DC cs.LG
Orchestrating Multimodal DNN Workloads in Wireless Neural Processing
Department of Electronic and Electrical Engineering, University College London(电子与电气工程系,伦敦大学学院);Department of Electronic Engineering, Kyung Hee University(电子工程系,庆熙大学);School of Electrical and Electronic Engineering, the University of Sheffield(电气与电子工程学院,谢菲尔德大学);Department of Electronics and Information Convergence Engineering, Kyung Hee University(电子与信息融合工程系,庆熙大学)
本文提出O-WiN框架和PACS算法,通过通信-计算流水线优化无线神经处理中多模态DNN工作负载,提升执行效率。
2026-03-02 cs.LG eess.SP
DANCE: Differentiable Accelerator/Network Co-Exploration
Yonsei University(延世大学);Seoul National University(首尔国立大学)
为了应对DNN执行的不断增长的计算需求,最近的神经架构搜索(NAS)算法考虑了硬件成本指标,例如GPU延迟。为了进一步追求快速,高效的执行,DNN专用硬件加速器正在被设计用于多种用途,这远远超过了GPU的效率。然而,这些硬件相关的指标已被证明表现出与网络架构的非线性关系。因此,是针对加速器优化网络,还是针对网络优化加速器,就成了一个鸡和蛋的问题。在这种情况下,这项工作提出了DANCE,一个不同的方法对硬件加速器和网络架构设计的共同探索。DANCE的核心是一个可区分的评估器网络。通过利用神经网络对硬件评估软件进行建模,加速器架构与硬件度量之间的关系变得可区分,从而允许利用反向传播来执行搜索。与幼稚的现有方法相比,我们的方法在更短的时间内执行共同探索,同时实现更高的准确性和硬件成本指标。
2021-02-16 cs.AI cs.AR cs.LG
Scale-out Systolic Arrays
EPFL(洛桑联邦理工学院);CodeDepot;SungKyunKwan University(成均馆大学)
多pod脉动阵列正在成为DNN推理加速器的首选架构。尽管它们具有潜力,但设计多舱收缩阵列以最大化有效吞吐量/瓦特(即,在考虑阵列利用率时调整的吞吐量/瓦特)带来了一系列独特的挑战。在这项工作中,我们研究了三个关键支柱,在多荚脉动阵列设计,即阵列粒度,互连和平铺。我们确定了跨工作负载的最佳阵列粒度,并表明最先进的商业加速器对单租户工作负载使用了次优的阵列大小。然后,我们评估互连的带宽/延迟权衡,并表明蝴蝶网络提供了一个可扩展的拓扑结构的加速器与大量的豆荚。最后,我们介绍了一种新的数据分片方案,自定义分区大小,以最大限度地利用最佳大小的豆荚。我们提出了横向扩展的Sysplant阵列,这是一个基于这三个支柱的单租户和多租户的多pod推理加速器。我们表明,SOSA在最先进的DNN推理工作负载的有效吞吐量方面表现出高达600 TeraOps/s的扩展,并且比最先进的多pod加速器性能高出1.5倍。
2022-03-22 cs.AR cs.LG
Photonic Reconfigurable Accelerators for Efficient Inference of CNNs with Mixed-Sized Tensors
基于光子微谐振器(MRR)的硬件加速器已被证明可以为处理深度卷积神经网络(CNN)提供破坏性的加速和能效改进。然而,以前的基于MRR的CNN加速器无法为具有混合大小张量的CNN提供有效的适应性。这样的CNN的一个示例是深度可分离的CNN。在这种不灵活的加速器上使用混合大小的张量执行CNN的推理通常会导致硬件利用率低,这会降低加速器可实现的性能和能效。在本文中,我们提出了一种新的方式,在基于MRR的CNN加速器中引入可重构性,以实现加速器硬件组件和使用硬件组件处理的CNN张量之间的大小兼容性的动态最大化。基于加速器中所用硬件组件的布局和相对位置,我们将来自先前工作的最先进的基于MRR的CNN加速器分为两类。然后,我们使用我们的方法在这两个类的加速器中引入可重构性,从而提高它们的并行性,有效映射不同大小,速度和整体能源效率的张量的灵活性。我们评估我们的可重构加速器对三个以前的作品面积比例的前景(所有加速器的硬件面积相等)。我们对四种现代CNN的推理进行的评估表明,与先前工作中基于MRR的加速器相比,我们设计的可重构CNN加速器在每秒帧数(FPS)和FPS/W方面的改进高达1.8倍。
2022-07-12 cs.AI cs.AR cs.CV
Best of Both Worlds: AutoML Codesign of a CNN and its Hardware Accelerator
Samsung AI Center, Cambridge, UK(三星人工智能中心(剑桥));University of Oxford, UK(牛津大学)
神经架构搜索(NAS)在准确性方面优于人类设计的卷积神经网络(CNN),并且当存在硬件信息时,延迟也是如此。然而,NAS设计的CNN通常具有复杂的拓扑结构,因此,可能难以为这样的CNN设计定制硬件(HW)加速器。我们使用NAS通过包括来自CNN模型和HW加速器的参数来自动化HW-CNN协同设计,并且我们联合搜索提高准确性和效率的最佳模型加速器对。我们称之为Codesign-NAS。在本文中,我们专注于定义Codesign-NAS多目标优化问题,证明其有效性,并探索不同的方式导航的协同设计搜索空间。对于CIFAR-10图像分类,我们列举了近40亿个模型加速器对,并在这个大搜索空间内找到了帕累托边界。这使我们能够评估三种不同的基于重复学习的搜索策略。最后,与ResNet在我们的硬件设计空间中最优化的硬件加速器相比,我们将CIFAR-100的分类精度提高了1.3%,同时在运行Codesign-NAS的1000 GPU小时内将性能/面积提高了41%。
2020-03-06 cs.LG eess.SP
Data-Driven Offline Optimization For Architecting Hardware Accelerators
Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
工业已经逐渐转向应用特定的硬件加速器,以获得更高的效率。虽然这种范式转变已经开始显示出有希望的结果,但设计人员需要花费相当大的手动工作并执行大量耗时的模拟,以找到可以在遵守设计约束的情况下加速多个目标应用的加速器。此外,这种“模拟驱动”的方法必须在每次目标应用程序集或设计约束发生变化时从头开始重新运行。另一种范例是使用“数据驱动”的离线方法,该方法利用记录的仿真数据来构建硬件加速器,而不需要任何形式的仿真。这样的方法不仅减少了对消耗运行时间的仿真的需要,而且还使得数据能够重用,并且即使在目标应用的集合改变时也适用。在本文中,我们开发了这样一种数据驱动的离线优化方法,用于设计硬件加速器,称为PRIME,享有所有这些属性。我们的方法学习一个保守的,稳健的估计所需的成本函数,利用不可行的点,并优化设计对这个估计没有任何额外的模拟器在优化过程中查询。PRIME architects加速器-针对单个和多个应用程序量身定制-将最先进的模拟驱动方法的性能提高了约1.54倍和1.20倍,同时将所需的总模拟时间分别减少了93%和99%。此外,PRIME还在zero-shot设置中为看不见的应用程序构建了有效的加速器,其性能比基于模拟的方法高出1.26倍。
2022-02-03 cs.AR cs.LG
BSRA: Block-based Super Resolution Accelerator with Hardware Efficient Pixel Attention
National Yang Ming Chiao Tung University(国立阳明交通大学)
越来越多的基于卷积神经网络(CNN)的超分辨率模型被提出来以获得更好的重建效果,但其庞大的模型尺寸和复杂的结构限制了其实时硬件实现。当前的硬件设计局限于普通网络,并且具有较低的质量和高内存带宽要求。本文提出了一种具有硬件高效像素注意力的超分辨率硬件加速器,该加速器仅需要25.9K参数,结构简单,但重建图像比广泛使用的FSRCNN好0.38dB。加速器采用全模型块卷积进行全模型层融合,以减少仅对模型输入和输出的外部存储器访问。此外,CNN和像素注意力得到了具有分布式权重的PE阵列的良好支持。最终实现可以支持30帧/秒的全高清图像重建与台积电40纳米CMOS工艺。
2022-05-02 cs.AR cs.CV cs.LG
Compiler-Driven Simulation of Reconfigurable Hardware Accelerators
Cornell University(康奈尔大学);Xilinx Inc.(赛灵思公司(西灵克斯公司))
随着定制的加速器设计越来越受欢迎,以跟上高性能计算的需求,它提出了挑战,现代模拟器设计,以适应这样一个大的各种各样的加速器。现有的模拟器倾向于两个极端:低级和通用的方法,如RTL模拟,可以模拟任何硬件,但需要大量的工作和较长的执行时间;和更高级别的应用程序特定的模型,可以更快,更容易使用,但需要一次性的工程工作。本文提出了一种编译器驱动的仿真工作流程,可以对可配置的硬件加速器进行建模。其核心思想是通过开发一种能够灵活地表示各种硬件结构的中间语言,将结构表示与仿真分离。我们设计的事件队列(EQueue)方言MLIR,方言,可以模拟任意硬件加速器与显式的数据移动和分布式基于事件的控制,我们还实现了一个通用的模拟引擎模型EQueue程序与混合MLIR方言代表不同的抽象层次。我们展示了两个案例研究的Eccile实现的加速器:在现代FPGA的卷积和SIMD处理器的脉动阵列。在前者中,我们表明EQueue模拟是一个国家的最先进的模拟器一样准确,同时提供更高的可扩展性和更低的迭代成本,通过编译器通过。在后者中,我们证明我们的仿真流程可以指导设计人员有效地改善他们的设计使用可视化的仿真输出。
2022-02-01 cs.AR cs.LG cs.PL
Impact of Inference Accelerators on hardware selection
GE Healthcare(GE医疗)
随着人工智能辅助医疗保健的机会稳步增长,由于行业的具体特点,模型部署面临挑战。生产设备的配置选择可能会影响模型性能,同时影响运营成本。此外,在医疗保健中,某些情况可能需要快速但不是实时的推断。我们研究了不同的配置,并进行了成本性能分析,以确定优化的硬件部署的模型受到医疗领域的限制。我们观察到,一个天真的性能比较可能不会导致最佳的配置选择。事实上,考虑到现实的域约束,CPU执行可能比GPU加速器更可取。因此,预先定义模型部署的精确期望至关重要。
2019-10-07 cs.DC cs.LG
Silicon Photonic 2.5D Interposer Networks for Overcoming Communication Bottlenecks in Scale-out Machine Learning Hardware Accelerators
Colorado State University(科罗拉多州立大学)
针对单片ML加速器无法满足能效与吞吐量需求、2.5D电子加速器受金属互连限制的问题,本文提出在2.5D平台中利用光通信与光计算,构建高能效高吞吐量的2.5D ML加速器架构。
2024-03-07 cs.AR cs.LG eess.SP
SECDA: Efficient Hardware/Software Co-Design of FPGA-based DNN Accelerators for Edge Inference
University of Glasgow(格拉斯哥大学);Northeastern University(东北大学)
边缘计算设备固有地面临严格的资源约束,这在部署具有高内存和计算需求的深度神经网络(DNN)时尤为明显。FPGA通常用于边缘设备。由于这些可重构电路可以实现比通用处理器更高的吞吐量和更低的功耗,因此它们特别适合DNN加速。然而,为边缘设备设计基于FPGA的DNN加速器的现有解决方案具有很高的开发开销,因为重复的FPGA合成通道、在模拟设计的硬件描述语言(HDL)中的重新实现以及加速器系统集成的成本。在本文中,我们提出了SECDA,这是一种新的硬件/软件协同设计方法,可以减少使用FPGA的边缘设备上优化DNN推理加速器的设计时间。SECDA将经济高效的SystemC仿真与硬件执行相结合,通过缩短设计评估时间来简化设计空间探索和开发过程。作为一个案例研究,我们使用SECDA在PYNQ-Z1板上有效地开发了两种不同的DNN加速器设计,PYNQ-Z1板是一个包含边缘FPGA的平台。我们快速迭代地探索系统的硬件/软件堆栈,同时识别和缓解性能瓶颈。我们评估了两个加速器设计与四个常见的DNN模型,实现了平均性能加速高达3.5 $\times$的模型与2.9 $\times$减少能源消耗超过CPU的推理。我们的代码可在https://github.com/gicLAB/SECDA上获得
2021-10-01 cs.AR cs.DC cs.LG
A Survey on Hardware Accelerators for Large Language Models
University of West Attica(西阿提卡大学)
本文综述GPU、FPGA及定制架构等LLM硬件加速器,从架构、性能与能效方面分析,为优化实际部署提供参考。
2024-01-18 cs.AR cs.CL cs.LG
TFApprox: Towards a Fast Emulation of DNN Approximate Hardware Accelerators on GPU
Brno University of Technology(布尔诺理工大学)
深度神经网络(DNN)硬件加速器的能量效率可以通过引入近似运算电路来提高。为了量化使用这些电路引入的误差并避免昂贵的硬件原型,DNN加速器的软件仿真器通常在CPU或GPU上执行。然而,这种仿真通常比在CPU或GPU上运行并使用标准浮点算术指令和常见DNN库操作的软件DNN实现慢两个或三个数量级。原因是在普通CPU和GPU上没有硬件支持近似算术运算,并且必须昂贵地仿真这些运算。为了解决这个问题,我们提出了一种有效的模拟方法,用于在GPU上模拟的给定DNN加速器中使用的近似电路。所有相关的近似电路都被实现为查找表,并通过支持CUDA的GPU的纹理存储器机制进行访问。我们利用的事实,纹理存储器进行了优化,不规则的只读访问,在某些GPU架构,甚至实现为一个专用的缓存。这种技术使我们能够将仿真DNN加速器的推理时间减少约200倍,相对于复杂DNN(如ResNet)上的优化CPU版本。所提出的方法扩展了TensorFlow库,可在https://github.com/ehw-fit/tf-approximate上在线获得。
2020-02-21 cs.DC cs.LG
Learning on Hardware: A Tutorial on Neural Network Accelerators and Co-Processors
TU Wien(维也纳工业大学)
深度神经网络(DNN)的优势在于它们可以考虑大量参数,这使它们能够解决复杂的任务。在计算机视觉和语音识别中,它们的准确率比普通算法更高,在某些任务中,它们甚至比人类专家的准确率更高。随着近年来DNN的发展,许多其他应用领域,如疾病诊断和自动驾驶,都在利用它们。DNN的趋势很明显:网络规模呈指数级增长,这导致计算工作量和所需内存大小呈指数级增长。出于这个原因,优化的硬件加速器用于提高神经元网络的推理性能。然而,存在各种神经网络硬件加速器平台,诸如图形处理单元(GPU)、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。这些平台中的每一个都提供了某些优点和缺点。此外,存在用于减少DNN的计算工作量的各种方法,这些方法不同地适用于每个硬件加速器。本文综述了现有的神经网络硬件加速器和加速方法。它们的优点和缺点,并给出了合适的应用程序的建议。特别是,我们专注于加速用于图像识别任务的卷积神经网络(CNN)的推理。假设存在许多不同的硬件架构。基于FPGA的实现非常适合展示DNN优化方法对准确性和吞吐量的影响。出于这个原因,这项工作的重点更多地是基于FPGA的实现。
2021-04-19 cs.AR cs.LG cs.NE
RHNAS: Realizable Hardware and Neural Architecture Search
Intel Labs(英特尔实验室)
快速发展的人工智能领域需要自动化方法来协同设计神经网络架构和神经加速器,以最大限度地提高系统效率并解决生产力挑战。为了实现这一巨大空间的联合优化,人们对可微NN-HW协同设计的兴趣越来越大。完全可区分的协同设计降低了发现优化的NN-HW配置的资源需求,但不能适应一般的硬件加速器搜索空间。这是由于在许多硬件加速器的搜索空间中存在不可综合(无效)的设计。为了实现可配置硬件加速器与任意神经网络搜索空间的有效和可实现的协同设计,我们引入RHNAS。RHNAS是一种将用于硬件优化的强化学习与可微神经结构搜索相结合的方法。RHNAS发现了可实现的NN-HW设计,与默认硬件加速器设计相比,ImageNet上的延迟降低了1.84倍,能量延迟积(EDP)降低了1.86倍,CIFAR-10上的延迟降低了2.81倍,EDP降低了3.30倍。
2021-06-17 cs.AR cs.LG cs.NE
Compiling Deep Learning Models for Custom Hardware Accelerators
Purdue University(普渡大学)
卷积神经网络(CNN)是大多数最先进的深度学习算法的核心,专门用于目标检测和分类。CNN在计算上既复杂又并行。这两个属性为嵌入式系统的潜在软件和硬件优化留下了空间。给定具有面向CNN的自定义指令集的可编程硬件加速器,编译器的任务是利用硬件的全部潜力,同时遵守硬件约束并保持通用性以运行具有不同工作负载属性的不同CNN模型。Snowflake是一个在可编程逻辑器件上实现的高效、可扩展的硬件加速器。它实现了一个自定义指令集的控制流水线。本文的目的是介绍Snowflake的编译器,它可以从Torch 7模型描述文件生成机器级指令。在这项工作中探索的主要软件设计要点是:模型结构解析,CNN工作负载分解,循环重排内存带宽优化和内存访问平衡。编译器生成的指令所实现的性能与卷积层的手动优化代码相匹配。生成的指令还可以有效地在Snowflake上执行AlexNet和ResNet 18推理。具有$256$处理单元的Snowflake在Xilinx的Zynq XC 7Z 045 FPGA上合成。在$250$ MHz下,AlexNet实现了$93.6$ frames/s和$1.2$ GB/s的片外存储器带宽,ResNet 18实现了$21.4$ frames/s和$2.2$ GB/s。片内总功耗为$5$ W。
2017-12-10 cs.DC cs.LG
Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and Algorithm Co-design
Imperial College London(帝国理工学院);Samsung AI Center(三星人工智能中心);University of Cambridge(剑桥大学);Cornell University(康奈尔大学)
基于注意力的神经网络在许多人工智能任务中已经变得普遍。尽管它们具有出色的算法性能,但使用注意力机制和前馈网络(FFN)需要过多的计算和存储器资源,这通常会损害它们的硬件性能。虽然已经引入了各种稀疏变体,但大多数方法仅关注于减轻算法级别上的注意力的二次缩放,而没有明确考虑将其方法映射到实际硬件设计上的效率。此外,大多数努力只集中在注意力机制或FFN,但没有联合优化这两个部分,导致大多数当前的设计缺乏可扩展性时,处理不同的输入长度。本文从硬件的角度系统地考虑了不同变体中的稀疏模式。在算法层面上,我们提出了FABNet,一个硬件友好的变体,采用统一的蝴蝶稀疏模式来近似注意力机制和FFN。在硬件层面上,提出了一种新的自适应蝶形加速器,可以在运行时通过专用的硬件控制配置,以加速不同的蝶形层使用一个统一的硬件引擎。在Long-Range-Arena数据集上,FABNet实现了与普通Transformer相同的精度,同时将计算量减少了10到66倍,参数数量减少了2到22倍。通过联合优化算法和硬件,我们基于FPGA的蝶形加速器实现了14.2到23.2倍的加速比,超过了标准化为相同计算预算的最先进的加速器。与Raspberry Pi 4和Jetson Nano上优化的CPU和GPU设计相比,在相同的功耗预算下,我们的系统速度分别提高了273.8和15.1倍。
2022-09-20 cs.AR cs.LG
Hardware Approximate Techniques for Deep Neural Network Accelerators: A Survey
National Technical University of Athens(雅典国立技术大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
深度神经网络(DNN)非常受欢迎,因为它们在机器学习(ML)中的各种认知任务中表现出色。DNN的最新进展在许多任务中带来了超越人类的准确性,但代价是高计算复杂性。为了实现DNN推理的有效执行,越来越多的研究工作,因此,利用DNN固有的错误恢复能力,并采用近似计算(AC)原理来解决DNN加速器的高能量需求。本文对DNN加速器的硬件近似技术进行了全面的调查和分析。首先,我们分析了最先进的,并通过识别近似家庭,我们集群的近似类型方面的各自的作品。接下来,我们分析所执行评估的复杂性(相对于数据集和DNN大小),以评估近似DNN加速器的效率,潜力和局限性。此外,提供了广泛的讨论,关于更适合于设计DNN加速器的近似单元的误差度量以及针对DNN推理定制的准确度恢复方法。最后,我们介绍了DNN加速器的近似计算如何超越能源效率并解决可靠性和安全问题。
2022-03-16 cs.AR cs.LG
Accelerator-aware Neural Network Design using AutoML
Google Inc.(谷歌公司)
虽然神经网络硬件加速器提供了大量的原始计算吞吐量,但部署在其上的模型必须针对底层硬件架构进行协同设计,以获得最佳的系统性能。我们提出了一类使用硬件感知神经架构搜索设计的计算机视觉模型,并定制为在Edge TPU上运行,Edge TPU是Google的低功耗边缘设备神经网络硬件加速器。对于Coral设备中的Edge TPU,这些模型可以实现实时图像分类性能,同时实现通常只有在数据中心运行的大型计算繁重模型才能看到的准确性。在Pixel 4的Edge TPU上,这些模型比现有的SoTA移动模型提高了准确性-延迟权衡。
2020-03-05 cs.LG eess.SP stat.ML
Boosting Throughput and Efficiency of Hardware Spiking Neural Accelerators using Time Compression Supporting Multiple Spike Codes
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Texas A&M University(得克萨斯农工大学)
脉冲神经网络(SNN)是第三代神经网络,可以探索速率和时间编码,以实现能量高效的事件驱动计算。然而,现有SNN设计的决策精度取决于在长时间内处理大量尖峰。然而,SNN硬件加速器的切换功率与所处理的尖峰的数量成比例,而尖峰序列的长度限制了吞吐量和静态功率效率。本文提出了第一个研究开发时间压缩显着提高吞吐量和减少数字硬件SNN加速器的能量消耗,同时适用于多个尖峰码。所提出的压缩架构包括低成本的输入尖峰压缩单元,新颖的输入和输出加权尖峰神经元,和可重构的时间常数缩放,以支持大而灵活的时间压缩比。我们的压缩架构可以透明地应用于任何给定的预先设计的SNN采用速率或时间代码,同时引起神经模型,学习算法和硬件设计的最小修改。使用尖峰语音和图像识别数据集,我们证明了支持高达16倍的大时间压缩比的可行性,在吞吐量,能耗,硬件面积,运行时间,能量和分类精度之间的权衡,分别基于Xilinx Zynq-7000 FPGA上的不同尖峰代码,提供高达15.93倍,13.88倍和86.21倍的改进。这些结果是实现的,而招致很少的额外硬件开销。
2019-09-10 cs.LG cs.NE
DEAP: Design Space Exploration for DNN Accelerator Parallelism
University of California, Berkeley(加州大学伯克利分校)
本文提出DEAP仿真工作流,结合模型并行与多加速器仿真框架,通过设计空间探索为特定LLM推理负载定制硬件,并报告功耗、周期和延迟指标。
2023-12-24 cs.AR cs.DC cs.LG
Realtime Facial Expression Recognition: Neuromorphic Hardware vs. Edge AI Accelerators
University of South Carolina(南卡罗来纳大学)
本文针对实时面部表情识别,对比神经形态硬件(Intel Loihi)与四种边缘AI加速器,发现Loihi在保持同等精度和实时性下,功耗降低两个数量级、能耗节省一个数量级。
2024-01-30 cs.CV cs.LG cs.NE
LLM-Aided Compilation for Tensor Accelerators
University of California, Berkeley(加州大学伯克利分校)
本文研究利用LLM构建可随应用与硬件变化快速更新的张量加速器编译器,展示GPT-4对Gemmini的高通过率翻译能力,并提出分解翻译步骤及两阶段硬件优化代码生成工作流。
2024-08-06 cs.AR cs.LG cs.PL
Learned Hardware/Software Co-Design of Neural Accelerators
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Research(谷歌研究院)
深度学习的使用以指数速度增长,从而产生了许多用于深度学习的专用硬件和软件系统。由于深度学习软件栈和硬件加速器的设计空间是多样和巨大的,因此先前的工作将软件优化与硬件架构分开考虑,从而有效地减少了搜索空间。不幸的是,这种分叉的方法意味着许多有利可图的设计点从未被探索过。相反,本文铸造的问题,硬件/软件协同设计,自动识别在联合设计空间中的理想点的目标。我们的解决方案的关键是一个新的约束贝叶斯优化框架,避免无效的解决方案,利用高度约束的功能,这是半连续/半离散的设计空间。我们通过将其应用于各种神经模型来评估我们的优化框架,与手动调整的最先进系统相比,将能量延迟产品提高了18%(ResNet)和40%(DQN),并在其他神经网络架构(如MLP和Transformers)上展示了强大的结果。
2020-10-05 cs.AI cs.AR cs.LG
Polystore++: Accelerated Polystore System for Heterogeneous Workloads
Stanford University(斯坦福大学);Tata Consultancy Services(塔塔咨询服务公司)
现代实时业务分析由异构工作负载(例如,数据库查询、图形处理和机器学习)组成。这些分析应用程序需要能够捕获组成工作负载的所有方面(包括它们所使用的数据模型以及跨处理引擎的数据移动)的编程环境。Polystore系统适合此类应用;然而,这些系统目前在CPU上执行,摩尔定律的减速意味着它们无法满足现代工作负载的性能和效率要求。我们设想Polystore++,一种使用硬件加速器(例如FPGA,CGRA和GPU)加速现有polystore系统的架构。Polystore++系统可以通过识别和卸载polystore系统的组件来实现低功耗的高性能,这些组件可以使用专用硬件进行加速。构建Polystore++系统具有挑战性,并引入了新的研究问题,这些问题是由硬件加速器的使用引起的(例如,优化和映射跨异构计算单元的查询计划,以及利用硬件流水线和并行性来提高性能)。在本文中,我们详细讨论了这些挑战,并列出了解决这些问题的可能方法。
2019-05-24 cs.AR cs.DB cs.DC
Hardware Accelerator for Adversarial Attacks on Deep Learning Neural Networks
Louisiana State University(路易斯安那州立大学);Alibaba Group(阿里巴巴集团)
最近的研究发现,深度学习神经网络(DNN)容易受到人类视觉系统无法感知的细微扰动的影响,但可以欺骗DNN模型并导致错误的输出。提出了一类对抗性攻击网络算法,用于在不同情况下产生鲁棒的物理扰动。这些算法是通过提供训练未来防御网络的途径来推进安全深度学习的第一次努力,然而,它们固有的复杂性阻止了它们的更广泛使用。在本文中,我们提出了第一个基于忆阻器交叉阵列的对抗性攻击硬件加速器。我们的设计显著提高了视觉对抗扰动系统的吞吐量,这可以进一步提高未来深度学习系统的鲁棒性和安全性。基于该算法的唯一性,提出了对抗性攻击加速器($A^3$)的四种实现方案,以提高吞吐量、能量效率和计算效率。
2020-08-03 cs.AR cs.LG eess.SP
Hardware Implementation of Deep Network Accelerators Towards Healthcare and Biomedical Applications
James Cook University(詹姆斯库克大学);The University of Michigan(密歇根大学);ETH Zurich(苏黎世联邦理工学院);Universidad de Sevilla(塞维利亚大学)
专用深度学习(DL)加速器和神经形态处理器的出现为将深度和脉冲神经网络(SNN)算法应用于边缘的医疗保健和生物医学应用带来了新的机会。这可以促进医疗物联网(IoT)系统和护理点(IoT)设备的发展。在本文中,我们提供了一个教程,描述了各种技术,包括新兴的忆阻器件,现场可编程门阵列(FPGA),互补金属氧化物半导体(CMOS)可以用来开发高效的DL加速器,以解决各种各样的诊断,模式识别,和信号处理问题的医疗保健。此外,我们探讨如何尖峰神经形态处理器可以补充他们的DL同行处理生物医学信号。该教程是增加了大量的文献案例研究神经网络和神经形态硬件应用于医疗保健领域。我们通过执行将肌电图(EMG)信号与计算机视觉相结合的传感器融合信号处理任务,对各种硬件平台进行基准测试。在推理延迟和能量方面,对专用神经形态处理器和嵌入式AI加速器进行了比较。最后,我们提供了我们对该领域的分析,并分享了各种加速器和神经形态处理器引入医疗保健和生物医学领域的优势,劣势,挑战和机遇的观点。
2021-04-28 cs.AR cs.LG eess.SP