Machine Learning Accelerators in 2.5D Chiplet Platforms with Silicon Photonics
Colorado State University(科罗拉多州立大学)
特定领域的机器学习(ML)加速器,如谷歌的TPU和苹果的神经引擎,现在主导着CPU和GPU的节能ML处理。然而,由于单片处理芯片的有限计算密度和对缓慢金属互连的依赖,电子加速器的发展正面临根本性的限制。在本文中,我们提出了如何将光学计算和通信集成到2.5D小芯片平台中的愿景,以推动一类全新的可持续且可扩展的机器学习硬件加速器。我们描述了光学器件、电路和架构的跨层设计和制造以及硬件/软件协同设计如何帮助设计高效的基于光子学的2.5D小芯片平台,以加速新兴的机器学习工作负载。
2023-01-28 cs.AI cs.AR cs.LG
Open-source FPGA-ML codesign for the MLPerf Tiny Benchmark
Heidelberg University(海德堡大学);Columbia University(哥伦比亚大学);University of California San Diego(加州大学圣地亚哥分校);European Organization for Nuclear Research (CERN)(欧洲核子研究组织(CERN));Fermi National Accelerator Laboratory(费米国家加速器实验室);University of Washington(华盛顿大学);Harvard University(哈佛大学);AMD Adaptive and Embedded Computing Group (AECG) Labs(AMD自适应与嵌入式计算集团(AECG)实验室)
我们提出了我们的开发经验和最近的结果MLPerf微小的推理基准现场可编程门阵列(FPGA)平台。我们使用开源的hls 4 ml和FINN工作流程,旨在使FPGA上优化的神经网络的AI硬件协同设计民主化。我们提出的设计和实现过程中的关键字定位,异常检测,和图像分类基准任务。由此产生的硬件实现是为速度和效率量身定制的量化的、可配置的、空间可重构的架构,并引入了作为这项工作的一部分而开发的新的通用优化和通用工作流程。完整的工作流程,从量化意识的训练,FPGA实现。这些解决方案部署在片上系统(Pynq-Z2)和纯FPGA(Arty A7- 100 T)平台上。所得到的提交实现了每个推断低至20 $μ$ s的延迟和低至30 $μ$ J的能量消耗。我们展示了异构硬件平台上的新兴ML基准如何促进协作以及新技术和更易访问工具的开发。
2022-06-23 cs.AR cs.LG
A Semi-Decoupled Approach to Fast and Optimal Hardware-Software Co-Design of Neural Accelerators
UC Riverside(加州大学河滨分校);Notre Dame(圣母大学)
鉴于神经架构和加速器的完全解耦设计的性能限制,硬件-软件协同设计已经出现,以充分获得灵活设计空间的好处并优化神经网络性能。尽管如此,这种协同设计也将总搜索空间扩大到几乎无限大,并提出了实质性的挑战。虽然先前的研究一直专注于提高搜索效率(例如,通过强化学习),它们通常依赖于在整个架构加速器设计空间上的共同搜索。在本文中,我们提出了一个\emph{semi}解耦的方法,以减少数量级的总设计空间的大小,但不失去最优性。我们首先执行神经架构搜索,以获得一个加速器候选人的最佳架构的一个小集合。重要的是,这也是其他加速器设计的(接近)最佳架构的集合,基于神经架构在不同加速器设计上的推理延迟和能耗方面的排名顺序高度相似的属性。然后,而不是考虑所有可能的架构,我们优化的加速器设计只结合这一小部分架构,从而显着降低总搜索成本。我们验证我们的方法进行实验,对不同的架构空间的加速器设计与不同的带宽。我们的研究结果强调,我们可以获得最佳的设计,只有导航减少搜索空间。这个工作的源代码是在\url{https://github.com/Ren-Research/CoDesign}。
2022-03-25 cs.AI cs.AR
The Quest for Reliable AI Accelerators: Cross-Layer Evaluation and Design Optimization
Institute of Electronic Design Automation, Peking University(北京大学电子设计自动化研究所);Beijing Advanced Innovation Center for Integrated Circuits(北京集成电路先进创新中心)
本文提出可靠性意识的AI加速器设计方法,通过跨层分析与优化提升AI加速的可靠性与效率。
2026-01-20 cs.AR
READ: Reliability-Enhanced Accelerator Dataflow Optimization using Critical Input Pattern Reduction
本文提出READ,一种通过优化计算顺序减少关键输入模式以降低时序错误率的加速器数据流优化技术,平均降低7.8倍TER,且无精度损失。
2023-08-30 cs.AR
SnipSnap: A Joint Compression Format and Dataflow Co-Optimization Framework for Efficient Sparse LLM Accelerator Design
Nanjing University(南京大学);Hong Kong University of Science and Technology(香港科技大学);Shanghai Qi Zhi Institute(上海人工智能实验室);Sun Yat-sen University(中山大学)
SnipSnap通过联合优化压缩格式和数据流,显著提升稀疏LLM加速器的效率,实现内存能耗降低和速度提升。
2025-09-27 cs.AR
Efficient Hardware Accelerator Based on Medium Granularity Dataflow for SpTRSV
本文针对SpTRSV中粗、细粒度数据流难以兼顾局部性与并行性的问题,通过软硬件协同设计中等粒度数据流,并结合部分和缓存与边计算重排序,显著提升性能和能效。
2025-03-18 cs.AR cs.DC cs.NA
GaborFlow: Hardware-Software Co-Optimization of Gabor Filter Accelerator Design
International Institute of Information Technology Bangalore(印度班加罗尔信息科技大学)
GaborFlow是一种软硬件协同优化框架,通过结合可训练Gabor系数、贝叶斯超参数调优与精度优化乘法器,实现了准确率98.6%、功耗降28.08%、面积减48.83%的脑肿瘤检测加速器,兼具高准确率与能效。
2026-10-14 cs.AR
A Novel FPGA-based CNN Hardware Accelerator: Optimization for Convolutional Layers using Karatsuba Ofman Multiplier
本文提出一种基于FPGA的CNN硬件加速器,利用Karatsuba Ofman乘法器优化AlexNet、VGG16和VGG19的卷积层,以更少硬件资源实现高速乘法。
2024-12-29 cs.AR
Convolutions Predictable Offloading to an Accelerator: Formalization and Optimization
Université de Toulouse – IRIT(图卢兹大学 - IRIT);ONERA(法国航空与航天研究院);CS Group(CS集团)
研究通过形式化卷积卸载步骤,优化加速器执行效率,提升实时性要求下的卷积神经网络计算性能。
2026-03-23 cs.AR
FADiff: Fusion-Aware Differentiable Optimization for DNN Scheduling on Tensor Accelerators
Beijing University of Posts and Telecommunications(北京邮电大学);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
FADiff通过融合感知的可微优化框架,实现了对DNN调度的高效优化,提升张量加速器上的推理性能。
2026-10-27 cs.AR
ACCESS-AV: Adaptive Communication-Computation Codesign for Sustainable Autonomous Vehicle Localization in Smart Factories
University of California, Irvine(加州大学尔湾分校);Indian Institute of Technology, Kharagpur(印度理工学院哈里科特分校);Independent Researcher(独立研究者);University of Louisville(路易斯维尔大学)
ACCESS-AV通过自适应通信-计算策略,在智能工厂中实现自主配送车辆的高效节能定位,显著降低能耗和成本。
2025-07-27 cs.AR cs.NI cs.RO
MIREDO: MIP-Driven Resource-Efficient Dataflow Optimization for Computing-in-Memory Accelerator
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Integrated Circuit Science and Engineering, Beihang University(北京航空航天大学集成电路科学与工程学院);Qingdao Research Institute, Beihang University(北京航空航天大学青岛研究院)
针对存算一体加速器数据流优化设计空间大、现有方法效率不足的问题,提出MIREDO框架,将优化建模为混合整数规划问题,结合分层硬件抽象与解析延迟模型探索最优配置,实现最高3.2倍性能提升。
2025-10-30 cs.AR
Pointer: An Energy-Efficient ReRAM-based Point Cloud Recognition Accelerator with Inter-layer and Intra-layer Optimizations
本文提出基于ReRAM的点云识别加速器Pointer,通过层间协调与拓扑感知层内重排序减少DRAM访问并加速MLP,实现40-393倍加速和22-163倍能效提升且无精度损失。
2024-10-23 cs.AR
MAGMA: An Optimization Framework for Mapping Multiple DNNs on Multiple Accelerator Cores
Georgia Institute of Technology(佐治亚理工学院)
随着深度学习继续推动边缘和云数据中心中的各种应用,构建具有多个子加速器核心/小芯片的大型加速器的趋势越来越明显。这项工作着眼于在这样的加速器上支持多租户的问题。特别是,我们专注于从几个DNN同时在加速器上映射作业的问题。鉴于极大的搜索空间,我们制定的搜索作为一个优化问题,并开发了一个优化框架,称为M3 E。此外,我们还开发了一种名为MAGMA的专用优化算法,该算法具有自定义运算符,可以实现结构化的样本高效探索。我们在不同的加速器设置(大/小加速器)和不同的子加速器配置(同质/异质)上定量地比较了MAGMA与几种最先进的方法,黑盒优化和强化学习方法,并观察到MAGMA可以始终如一地找到更好的映射。
2022-01-26 cs.AI cs.AR
Holistic Optimization Framework for FPGA Accelerators
University of California, Los Angeles(加州大学洛杉矶分校);Colorado State University(科罗拉多州立大学)
本文提出Prometheus整体优化框架,通过统一设计空间整合任务融合、分块、循环置换等关键优化,并利用非线性规划在资源约束下自动生成比特流,从而在多个基准上超越现有FPGA优化框架,实现高QoR并减少手动调优。
2025-09-23 cs.AR
FlatAttention: Dataflow and Fabric Collectives Co-Optimization for Efficient Multi-Head Attention on Tile-Based Many-PE Accelerators
针对瓦片式多PE加速器上的多头注意力,提出FlatAttention数据流,通过片上网络集合通信原语减少HBM访问,实现高达89.3%利用率、4.1倍性能提升和16倍HBM流量削减,并在32x32瓦片网格配置下超越H100 GPU上的FlashAttention-3。
2025-05-24 cs.AR
SimulatorCoder: DNN Accelerator Simulator Code Generation and Optimization via Large Language Models
College of Computer Science and Technology, National University of Defense Technology(计算机科学与技术学院,国防科技大学)
SimulatorCoder利用大语言模型生成并优化DNN加速器模拟器代码,通过结构化提示和反馈机制提升代码准确性和模拟性能。
2026-02-19 cs.AR
DiffuSE: Cross-Layer Design Space Exploration of DNN Accelerator via Diffusion-Driven Optimization
DiffuSE利用条件扩散模型捕捉QoR到参数组合的逆向映射,实现DNN加速器跨层设计空间的高效探索,在7nm工艺下优于现有方法。
2025-03-31 cs.AR
Optimization of a Line Detection Algorithm for Autonomous Vehicles on a RISC-V with Accelerator
针对自动驾驶车辆直线检测的实时性等需求,本文在含通用RISC-V核心与领域专用加速器的异构平台上优化检测算法,实现3.7倍加速,满足自动驾驶的相关要求。
2024-02-01 cs.AR
ApproxPilot: A GNN-based Accelerator Approximation Framework
针对近似加速器设计空间大、传统优化方法成本高或精度扩展性不足的问题,提出嵌入关键路径特征的GNN预测模型,构建端到端框架ApproxPilot,在同等精度约束下实现了更优的性能与硬件开销表现。
2024-07-16 cs.AR
System and Design Technology Co-optimization of SOT-MRAM for High-Performance AI Accelerator Memory System
针对AI加速器内存受限问题,提出基于DTCO定制SOT-MRAM的高容量高带宽片上存储系统,在CV和NLP训练基准上分别实现8倍能效和9倍/4.5倍延迟改善,面积仅为SRAM的一半。
2023-11-14 cs.AR
Analysis and Optimization of I/O Cache Coherency Strategies for SoC-FPGA Device
与传统的基于PCIe的FPGA加速器不同,异构SoC-FPGA器件在CPU上运行的软件和硬件加速器之间提供了更紧密的集成。现代异构SoC-FPGA平台支持CPU和FPGA之间的多个I/O缓存一致性选项,但这些选项可能会对实现的带宽产生意外影响,具体取决于应用和数据访问模式。为了在CPU和加速器之间提供最有效的通信,了解数据事务行为并选择正确的I/O缓存一致性方法至关重要。在本文中,我们使用Xilinx Zynq UltraScale+作为SoC平台,展示了某些I/O缓存一致性方法在不同情况下的性能优劣,并最终影响整体加速器性能。基于我们的分析,我们进一步探讨了可能的软件和硬件修改,以提高不同的I/O缓存一致性选项的I/O性能。经过我们的改进,SoC设计的整体性能平均可以提高20%。
2019-08-04 cs.AR
SoMa: Identifying, Exploring, and Understanding the DRAM Communication Scheduling Space for DNN Accelerators
SoMa提出了一种以张量为中心的表示法和端到端调度框架,用于识别、探索和理解DNN加速器的DRAM通信调度空间,相比SOTA框架平均提升2.11倍性能并降低37.3%能耗。
2025-01-22 cs.AR
Hardware-Aware Neural Network Compilation with Learned Optimization: A RISC-V Accelerator Approach
XgenSilicon Inc.(Xgen硅有限公司)
XgenSilicon ML编译器通过学习优化和硬件感知技术,实现高效神经网络编译,生成高性能低功耗的RISC-V加速器
2025-11-10 cs.AR
FlatAttention: Dataflow and Fabric Collectives Co-Optimization for Large Attention-Based Model Inference on Tile-Based Accelerators
ETH Zurich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学);Huawei Technologies Switzerland AG(华为瑞士有限公司)
本文提出FlatAttention,通过利用芯片级网络织物中的集体原语减少高带宽内存访问,提升利用率达92.3%,在Tile-based加速器上实现4.1倍速度提升和16倍降低HBM流量。
2026-04-02 cs.AR
A Construction Kit for Efficient Low Power Neural Network Accelerator Designs
Swiss Federal Institute of Technology, ETH Zurich(苏黎世联邦理工学院);CSEM SA(瑞士电子与微技术中心);University of Bologna(博洛尼亚大学)
在边缘实现嵌入式神经网络处理需要高效的硬件加速,将高计算性能与低功耗结合起来。在网络架构及其算法特征快速发展的驱动下,加速器设计不断更新和改进。为了评估和比较硬件设计选择,设计人员可以参考文献中的无数加速器实现。调查提供了这些工作的概述,但往往局限于系统级和基准特定的性能指标,使得很难定量比较每个使用的优化技术的个别效果。这使得新加速器设计的优化评估变得复杂,减缓了研究进展。这项工作提供了一个调查的神经网络加速器优化方法,已在最近的作品中使用,并报告其各自的边缘处理性能的影响。它将优化列表及其量化效果作为构建工具包,允许单独评估每个构建块的设计选择。报告的优化范围从高达10'000倍的内存节省到33倍的能源减少,为芯片设计人员提供了一个设计选择的概述,以实现高效的低功耗神经网络加速器。
2021-06-24 cs.AR cs.LG
A Sparsity-Aware Autonomous Path Planning Accelerator with HW/SW Co-Design and Multi-Level Dataflow Optimization
本文提出一种基于FPGA的稀疏感知路径规划加速框架,通过软硬件协同设计、定制稀疏矩阵运算单元和多级数据流优化,在ZCU102平台上实现了优于CPU、GPU及现有FPGA方案的延迟、能效和吞吐量。
2025-07-22 cs.AR
RISC-NN: Use RISC, NOT CISC as Neural Network Hardware Infrastructure
神经网络(NN)已被证明是分析大数据的强大工具。然而,传统的CPU无法实现NN应用所需的性能和/或能效。因此,已经使用或设计了许多NN加速器来满足这些目标。这些加速器都分为三类:GPGPU,ASIC NN加速器和CISC NN加速器。虽然CISC NN加速器可以实现比GPGPU小得多的内存占用,从而提高能源效率,但由于其CISC架构继承的可编程性差,它们仍然无法提供与ASIC NN加速器相同的数据重用优化水平。我们认为,对于NN加速器,RISC是比CISC更好的设计选择,通用处理器也是如此。我们提出了RISC-NN,一种新的众核RISC为基础的神经网络加速器,实现了高表现力和高并行性,具有较强的可编程性和低的控制硬件成本。我们表明,RISC-NN可以实现最先进的CISC NN加速器的所有必要指令;同时,RISC-NN设法实现高级优化,例如多级数据重用和支持以前只存在于ASIC NN加速器中的稀疏NN应用。实验结果表明,RISC-NN在各种NN应用中的平均性能效率是最先进的Nvidia TITAN Xp GPGPU的11.88倍。RISC-NN在CNN、MLP和LSTM应用中的平均性能效率分别是基于CISC的TPU的1.29倍、8.37倍和21.71倍。最后,RISC-NN可以实现额外的26.05%的性能提高和33.13%的能源减少后,应用修剪稀疏NN应用程序。
2021-03-23 cs.AR
Data-Driven Offline Optimization For Architecting Hardware Accelerators
Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
工业已经逐渐转向应用特定的硬件加速器,以获得更高的效率。虽然这种范式转变已经开始显示出有希望的结果,但设计人员需要花费相当大的手动工作并执行大量耗时的模拟,以找到可以在遵守设计约束的情况下加速多个目标应用的加速器。此外,这种“模拟驱动”的方法必须在每次目标应用程序集或设计约束发生变化时从头开始重新运行。另一种范例是使用“数据驱动”的离线方法,该方法利用记录的仿真数据来构建硬件加速器,而不需要任何形式的仿真。这样的方法不仅减少了对消耗运行时间的仿真的需要,而且还使得数据能够重用,并且即使在目标应用的集合改变时也适用。在本文中,我们开发了这样一种数据驱动的离线优化方法,用于设计硬件加速器,称为PRIME,享有所有这些属性。我们的方法学习一个保守的,稳健的估计所需的成本函数,利用不可行的点,并优化设计对这个估计没有任何额外的模拟器在优化过程中查询。PRIME architects加速器-针对单个和多个应用程序量身定制-将最先进的模拟驱动方法的性能提高了约1.54倍和1.20倍,同时将所需的总模拟时间分别减少了93%和99%。此外,PRIME还在zero-shot设置中为看不见的应用程序构建了有效的加速器,其性能比基于模拟的方法高出1.26倍。
2022-02-03 cs.AR cs.LG
Be CIM or Be Memory: A Dual-mode-aware DNN Compiler for CIM Accelerators
针对现有CIM编译方法忽视存内计算架构计算/内存模式动态切换能力的问题,提出CMSwitch编译器,通过引入硬件抽象属性、动态规划与混合整数规划优化模式切换与资源分配,实现1.31×平均加速,提升DNN应用性能。
2025-02-24 cs.AR
An ASIC Emulated Oscillator Ising/Potts Machine Solving Combinatorial Optimization Problems
Drexel University(德雷塞尔大学)
本文提出一种定制ASIC架构,通过简化固定点Kuramoto模型方程模拟OIM/OPM动态,实现高效的组合优化问题求解,展示算法协同设计ASIC的可行性。
2026-04-15 cs.AR cs.ET
Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations
Shanghai Jiao Tong University(上海交通大学);Shanghai Jiao Tong University, Shanghai Qi Zhi Institute(上海交通大学、上海颀智研究所);Huawei Technologies(华为技术有限公司);ICT, Chinese Academy of Sciences(信息科技研究所、中国科学院)
针对视频扩散变压器计算成本高的问题,提出Kaleido算法-硬件协同设计,利用潜在空间通道级时空相关性加速操作,有轻量级重用算法,设计了加速器,实验表明其相比现有加速器有显著加速和节能效果。
2026-07-16 cs.AI cs.AR
SILVIA: Automated Superword-Level Parallelism Exploitation via HLS-Specific LLVM Passes for Compute-Intensive FPGA Accelerators
本文提出开源LLVM Pass SILVIA,自动识别HLS设计中的超字级并行并将多个运算打包进单个DSP,在AMD Vitis HLS流程中无需改源码即可平均降低50%-70%的DSP占用。
2024-11-18 cs.AR
CoSA: Scheduling by Constrained Optimization for Spatial Accelerators
UC Berkeley(加州大学伯克利分校);Facebook(脸书)
深度神经网络(DNN)的最新进展已经导致了专用DNN加速器的积极发展,其中许多加速器具有大量空间布局的处理元件,以及多级存储层次结构和灵活的互连。虽然DNN加速器可以利用数据重用并实现高峰值吞吐量,但它们也向程序员暴露了大量的运行时参数,这些程序员需要显式地管理如何在空间和时间上调度计算。事实上,不同的调度选择可能导致性能和效率的广泛变化,从而激发了对快速高效的搜索策略的需求,以导航广阔的调度空间。为了应对这一挑战,我们提出了CoSA,这是一种基于约束优化的方法,用于调度DNN加速器。相对于现有的方法,要么依赖于设计师的设计或迭代法导航的搜索空间,CoSA表示调度决策作为一个约束优化问题,可以确定性地解决使用数学优化技术。具体而言,CoSA利用DNN操作符和硬件中的可扩展性,将DNN调度空间公式化为具有算法和架构约束的混合整数规划(MIP)问题,可以解决该问题以一次性自动生成高效调度。我们证明,在广泛的DNN网络中,CoSA生成的调度显着优于最先进的方法,几何平均值高达2.5倍,同时将求解时间缩短了90倍。
2021-05-05 cs.AR cs.LG
Dark Memory and Accelerator-Rich System Optimization in the Dark Silicon Era
在暗硅时代提高性能的关键挑战是如何在晶体管不能同时使用的情况下利用它们。在现代SOC中,这些晶体管通常用于创建专用加速器,可将某些应用的能效提高10- 1000倍。虽然这看起来像是我们需要的灵丹妙药,但对于大多数CPU应用程序来说,更多的能量消耗在内存系统中而不是处理器中:只有当DRAM和存储层次结构大多处于空闲状态时,才有可能实现这些效率的大幅提升。我们将这种理想状态称为暗内存,它只发生在具有极端局部性形式的应用程序中。为了展示我们的研究结果,我们在计算单元、加速器和片上存储器/互连的能量/op和mm $^2$ /(ops/s)度量空间中引入帕累托曲线。这些帕累托曲线使我们能够解决功率,性能,面积约束优化问题,以确定应该使用哪些加速器,以及如何设置其设计参数来优化系统。该分析表明,存储器访问创建一个地板可实现的能量每操作。因此,高性能需要暗存储器,这反过来又需要协同设计的算法的并行性和局部性,与硬件。
2016-04-27 cs.AR cs.PF
AutoAccel: Automated Accelerator Generation and Optimization with Composable, Parallel and Pipeline Architecture
CPU-FPGA异构架构正吸引着越来越多的关注,试图提高当今计算机的计算能力和能源效率。这些架构为程序员提供了重新编程FPGA的能力,以灵活地加速许多工作负载。然而,这种优势往往被FPGA的可编程性差所掩盖,FPGA的编程通常是RTL设计实践。虽然高级综合(HLS)的最新进展显着提高了FPGA的可编程性,它仍然让程序员面临的挑战,确定最佳的设计配置在一个巨大的设计空间。本文旨在应对这一挑战,并为从软件程序到高质量FPGA加速器铺平道路。具体来说,我们首先提出了组合,并行和流水线(CPP)的微架构作为加速器设计的模板。这样一个定义良好的模板是能够支持高效的加速器设计的广泛类的计算内核,更重要的是,大大减少了设计空间。此外,我们引入了一个分析模型,以捕捉性能和资源之间的权衡不同的设计配置的CPP微架构,这奠定了基础,快速设计空间探索。在CPP微架构及其分析模型的基础上,我们开发了AutoAccel框架,使整个加速器生成自动化。AutoAccel接受软件程序作为输入,并根据基于分析模型的设计空间探索的结果执行一系列代码转换,以构建所需的CPP微体系结构。我们的实验表明,对于广泛的一类计算内核,Autocom生成的加速器的平均性能超过其相应的软件实现72倍。
2018-07-30 cs.AR cs.DC
Architectural Design and Performance Analysis of FPGA based AI Accelerators: A Comprehensive Review
Indian Institute of Engineering Science and Technology(印度工程科学与技术学院)
本文综述了基于FPGA的AI加速器的架构设计与性能分析,探讨了硬件层面的优化技术及最新加速器的挑战与未来发展方向。
2026-02-25 cs.AI cs.AR
GNNBuilder: An Automated Framework for Generic Graph Neural Network Accelerator Generation, Simulation, and Optimization
School of Electrical and Computer Engineering, Georgia Institute of Technology(电气与计算机工程学院,佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究机构)
本文提出GNNBuilder,首个自动化、通用、端到端的GNN加速器生成框架,支持任意GNN模型、PyTorch接口、一键式设计,性能模型误差小,加速比CPU 6.33倍、GPU 6.87倍。
2023-08-08 cs.AI cs.AR cs.LG
Bifrost: End-to-End Evaluation and Optimization of Reconfigurable DNN Accelerators
University of Glasgow(格拉斯哥大学)
深度神经网络(DNN)的可重构加速器有望改善推理延迟等性能。STONNE是第一个可重构DNN推理加速器的周期精确模拟器,允许探索加速器设计和配置空间。然而,在STONNE中准备用于评估的模型和探索配置空间是一个手动的开发时间消耗过程,这是研究的障碍。本文介绍了Bifrost,这是一个用于评估和优化可重构DNN推理加速器的端到端框架。Bifrost作为STONNE的前端运行,并利用TVM深度学习编译器堆栈来解析模型并自动卸载加速计算。我们讨论了Bifrost的优势,石头和其他工具,并评估使用Bifrost的MAERI和SIGMA架构。此外,Bifrost还引入了一个利用AutoTVM的模块,可以有效地探索加速器设计和低映射空间,以优化性能。通过调整MAERI架构并为AlexNet生成高效的低层映射,获得卷积层的平均加速比$50\times$和全连接层的平均加速比$11\times$来证明这一点。我们的代码可在www.github.com/gicLAB/bifrost上获得。
2022-04-26 cs.AR cs.DC cs.LG
SpikeX: Exploring Accelerator Architecture and Network-Hardware Co-Optimization for Sparse Spiking Neural Networks
Department of Electrical and Computer Engineering, University of California at Santa Barbara(电气与计算机工程系,加州大学圣芭芭拉分校)
针对稀疏脉冲神经网络硬件加速效率不足的问题,提出SpikeX脉动阵列加速器架构及网络-硬件协同优化方法,在保证精度的同时大幅降低能量延迟积。
2025-05-18 cs.AI cs.AR cs.NE
Towards Efficient IMC Accelerator Design Through Joint Hardware-Workload Co-optimization
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Rain Neuromorphics(Rain Neuromorphics公司)
针对通用内存计算硬件设计空间探索难题,提出硬件-工作负载联合优化框架,识别最优芯片架构参数,相比单负载优化显著提升能效-延迟-面积得分,并量化了通用设计的性能权衡。
2025-02-01 cs.AI cs.AR
A Compilation Flow for the Generation of CNN Inference Accelerators on FPGAs
University of Toronto(多伦多大学)
我们提出了在FPGA上生成CNN推理加速器的编译流程。该流程使用TVM编译器将冻结模型转换为OpenCL内核,并使用英特尔OpenCL SDK编译为FPGA比特流。我们通过对TVM生成的基础OpenCL内核进行优化来提高生成的硬件的质量。这些优化提高了并行性,减少了内存访问延迟,提高了并发性并节省了片上资源。我们在TVM中自动执行这些优化,并通过在Intel Stratix~ 10 SX上为LeNet-5、MobileNetV 1和ResNet-34生成加速器进行评估。我们表明,优化提高了性能的生成的加速器高达846倍以上的基础加速器。优化后的加速器在CPU上的性能比TensorFlow高出4.57倍,比单线程TVM高出3.83倍,比56线程TVM仅高出0.34倍。我们优化的内核也优于通过类似方法(也使用高级合成)生成的内核,同时提供更多的功能和灵活性。然而,它的性能不如使用手动优化设计的方法。因此,我们认为我们的方法在预生产环境中非常有用,可以从提高的性能和快速原型设计中受益,实现FPGA的优势,而无需硬件设计专业知识。
2022-03-08 cs.AR cs.DC cs.LG
MPNA: A Massively-Parallel Neural Array Accelerator with Dataflow Optimization for Convolutional Neural Networks
Vienna University of Technology (TU Wien)(维也纳工业大学(TU Wien));Information Technology University (ITU)(信息技术大学(ITU))
用于卷积神经网络(CNN)的最先进的加速器通常只专注于加速卷积层,但不会优先考虑完全连接的层。因此,它们缺乏硬件架构的协同优化和用于完整CNN设计的不同流程,这可以提供更高的性能/能量效率潜力。为此,我们提出了一种新型的大规模并行神经阵列(MPNA)加速器,它集成了两个异构的脉动阵列和各自的高度优化的卷积模式,以共同加速卷积(CONV)和全连接(FC)层。除了充分利用可用的片外内存带宽之外,这些优化的FIFO还实现了所有数据类型(即,重量,输入和输出激活),从而使我们的MPNA实现高节能。我们使用28 nm技术的ASIC设计流程合成了我们的MPNA架构,并使用多个真实世界的复杂CNN进行了功能和时序验证。MPNA在280 MHz时达到149.7GOPS/W,功耗为239 mW。实验结果表明,我们的MPNA架构提供了1.7倍的整体性能提高相比,国家的最先进的加速器,和51%的节能相比,基线架构。
2018-10-30 cs.AR cs.DC cs.LG
HIR: An MLIR-based Intermediate Representation for Hardware Accelerator Description
边缘设备上机器学习、图像和音频处理的出现推动了对高能效定制硬件加速器的研究。虽然FPGA是节能自定义加速器的理想目标,但硬件设计的难度以及缺乏与供应商无关的标准化硬件编译基础设施阻碍了它们的采用。本文介绍了HIR,一个基于MLIR的中间表示(IR)来描述硬件加速器的设计。HIR将诸如循环和多维张量的高级语言特征与程序员定义的显式调度相结合,以提供适合于DSL编译器流水线的高级IR,而不损害对加速器的微架构的控制。HIR的显式调度允许它表达细粒度、无同步的并行性和优化,如重定时和流水线。作为MLIR的一种方言,它借鉴了从LLVM等社区学到的最佳IR实践。在提供丰富的优化机会和高级抽象的同时,HIR还支持与软件编译器基础设施共享优化、实用程序和传递。我们的实现表明,在一系列内核上,HIR代码生成器的代码生成时间平均比Xilinx Vivado HLS低1112倍,而不会影响生成硬件的质量。我们相信,这些都是重要的一步,在设计IR的硬件合成和装备领域特定的语言与生产力和执行编译路径自定义硬件加速。
2021-02-27 cs.AR cs.PL
Apollo: Transferable Architecture Exploration
Google Research(谷歌研究院)
摩尔定律的即将终结和深度学习的日益普及推动了针对特定神经架构进行优化的定制加速器的设计。这种加速器的架构探索形成了一个具有挑战性的约束优化问题,在一个复杂的,高维的,结构化的输入空间与昂贵的评估目标函数。用于加速器设计的现有方法是样本效率低的,并且不能在具有不同设计约束(诸如面积和/或延迟预算或神经架构配置)的相关优化任务之间传递知识。在这项工作中,我们提出了一个可转移的架构探索框架,称为阿波罗,利用黑盒功能优化的最新进展,为样本高效的加速器设计。我们使用这个框架来优化具有替代设计约束的不同神经架构的加速器配置。我们表明,我们的框架发现高回报设计配置(高达24.6%的加速比)更采样效率比基线黑盒优化方法。我们进一步表明,通过在具有不同设计约束的目标架构之间转移知识,Apollo能够更快地找到最佳配置,并且通常具有更好的目标值(最高可提高25%)。这一令人鼓舞的结果描绘了一条有希望的前进道路,以促进产生更高质量的加速器。
2021-02-02 cs.AR cs.LG
An Open-Source ML-Based Full-Stack Optimization Framework for Machine Learning Accelerators
University of California, San Diego(加州大学圣地亚哥分校);University of Minnesota(明尼苏达大学)
该研究提出一种物理设计驱动的基于学习的预测框架,结合前后端分析实现ML加速器PPA与系统指标的精准估算,还包含全自动DSE技术,在两类工艺下的两个加速器平台实验中预测误差平均不超7%。
2023-08-23 cs.AR cs.LG
Hardware-Algorithm Co-Optimization of Early-Exit Neural Networks for Multi-Core Edge Accelerators
TICLab, International University of Rabat(国际拉巴特大学 TICLab);MICAS, KU Leuven(鲁汶大学 MICAS)
本文提出一种硬件-算法协同设计框架,用于优化早期退出神经网络在多核边缘加速器上的部署,通过分析量化、退出配置和多核加速器映射的交互,提升能效和降低延迟。
2026-10-02 cs.AR cs.CC cs.CV
Enabling Automated FPGA Accelerator Optimization Using Graph Neural Networks
University of California - Los Angeles(加利福尼亚大学洛杉矶分校)
高级综合(HLS)使计算机架构师从用非常低级语言开发他们的设计中解放出来,并且不需要精确地指定数据应该如何在寄存器级传输。在HLS的帮助下,硬件设计人员只需描述设计的高级行为流程。尽管如此,开发一个高性能的架构仍然需要几周的时间,主要是因为在更高的级别上有许多设计选择,需要更多的时间来探索。从HLS工具获得关于每个设计候选者的质量的反馈也需要几分钟到几个小时。在本文中,我们提出了解决这个问题的建模HLS工具与图神经网络(GNN),被训练用于广泛的应用。实验结果表明,通过采用基于GNN的模型,我们能够在毫秒内以高精度估计设计质量,这可以帮助我们非常快速地搜索解决方案空间。
2021-11-22 cs.AR cs.LG
Dynamic Co-Optimization Compiler: Leveraging Multi-Agent Reinforcement Learning for Enhanced DNN Accelerator Performance
University of Southern California(南加州大学)
该研究提出新型动态协同优化编译器DCOC,通过含三个专用演员-评论家智能体的自适应MARL框架实现软硬件协同优化,缩减搜索空间,在多种DNN模型上吞吐量最高提升37.95%、优化时间最多缩短42.2%,优于现有前沿框架。
2025-02-21 cs.AI cs.AR cs.LG
FireFly: A High-Throughput Hardware Accelerator for Spiking Neural Networks with Efficient DSP and Memory Optimization
针对 FPGA 上 SNN 的算术与内存效率瓶颈,本文提出 FireFly 加速器,利用 DSP48E2 优化多路复用—累加运算并设计高效内存系统,在资源受限边缘器件上实现高计算密度。
2023-06-06 cs.AR cs.NE
AutoDSE: Enabling Software Programmers to Design Efficient FPGA Accelerators
采用FPGA作为数据中心的加速器正在成为定制计算的主流,但FPGA难以编程的事实给软件程序员带来了陡峭的学习曲线。即使在高级综合(HLS)的帮助下,加速器设计人员仍然必须手动执行代码重构和繁琐的参数调整,以实现最佳性能。虽然许多学习模型已经被现有的工作利用来自动化高效加速器的设计,但现代HLS工具的不可预测性成为他们保持高准确性的主要障碍。为了解决这个问题,我们提出了一个自动化的DSE框架AutoDSE-利用一个检查引导的坐标优化系统地找到一个更好的设计点。AutoDSE在每个步骤中检测设计的瓶颈,并专注于高影响参数来克服它。实验结果表明,AutoDSE能够识别设计点,在Machsuite和Rodinia基准测试中,在几何平均值上,在一个CPU核心上实现19.9倍的加速比。与Xilinx Vitis库中手动优化的HLS视觉内核相比,AutoDSE可以将其优化杂注减少26.38倍,同时实现类似的性能。由于每个设计平均不到一个优化pragma,我们正在通过使软件程序员能够设计高效的FPGA加速器来实现可定制计算的民主化。
2021-08-31 cs.AR cs.PL
DOSA: Differentiable Model-Based One-Loop Search for DNN Accelerators
University of California, Berkeley(加州大学伯克利分校);NVIDIA(NVIDIA公司);Intel Labs(英特尔实验室)
针对硬件参数与映射同时优化面临的组合爆炸难题,提出DOSA框架,利用可微性能模型与梯度下降技术同时探索硬件设计与映射空间,在提升DNN加速器能效方面显著优于现有方法。
2025-09-12 cs.AR cs.LG
An Optimizing Framework on MLIR for Efficient FPGA-based Accelerator Generation
本文提出构建于MLIR的FPGA加速器优化框架POM,通过引入三层IR、集成多面体模型进行循环变换,并提供DSL与自动DSE引擎,相比现有技术实现了显著的性能加速。
2024-01-10 cs.AR cs.PL