Compiler and Hardware Co-Design for Accelerator Architectures
Technical University of Denmark（丹麦技术大学）
针对异构加速器全栈集成难的问题，提出EAAC编译器与硬件协同设计架构，基于MLIR支持快速原型，原型GEMM加速器较RISC-V基线实现28倍加速，并指出信号量分配优化方向。
2026-09-25 cs.AR
Sustainable Hardware Specialization
本文探讨通过可重构逻辑实现可持续硬件专用化，提出分析模型评估用CGRA替代专用加速器的可持续性，发现可显著降低环境足迹。
2024-11-14 cs.AR
A Novel FPGA-based CNN Hardware Accelerator: Optimization for Convolutional Layers using Karatsuba Ofman Multiplier
本文提出一种基于FPGA的CNN硬件加速器，利用Karatsuba Ofman乘法器优化AlexNet、VGG16和VGG19的卷积层，以更少硬件资源实现高速乘法。
2024-12-29 cs.AR
Towards the Certification of Hybrid Architectures: Analysing Interference on Hardware Accelerators through PML
本文面向含多核与加速器的混合硬件平台，梳理适航认证标准，并初步映射 AMC20-152A 与 AMC20-193 的认证目标。
2024-06-18 cs.AR
SeDA: Secure and Efficient DNN Accelerators with Hardware/Software Synergy
针对DNN加速器安全方案硬件资源需求大、内存访问开销高的问题，提出软硬件协同的SeDA，通过带宽感知加密、最优块粒度分块及多级完整性验证，在服务器和边缘NPUs上降低超12%性能开销并保障可扩展性。
2025-08-26 cs.AR
NX-CGRA: A Programmable Hardware Accelerator for Core Transformer Algorithms on Edge Devices
NX-CGRA是一种面向边缘设备的可编程硬件加速器，通过粗粒度可重构阵列架构支持多种核心变压器算法，实现高效能与能效的平衡。
2025-11-21 cs.AR
An Efficient Sparse Hardware Accelerator for Spike-Driven Transformer
针对大模型硬件实现功耗高的问题，本文提出面向脉冲驱动Transformer的高效稀疏硬件加速器，通过新型位置编码与双脉冲自注意力模块充分利用稀疏性，实现吞吐量与能效的显著提升。
2025-01-14 cs.AR
GaborFlow: Hardware-Software Co-Optimization of Gabor Filter Accelerator Design
International Institute of Information Technology Bangalore（印度班加罗尔信息科技大学）
GaborFlow是一种软硬件协同优化框架，通过结合可训练Gabor系数、贝叶斯超参数调优与精度优化乘法器，实现了准确率98.6%、功耗降28.08%、面积减48.83%的脑肿瘤检测加速器，兼具高准确率与能效。
2026-10-14 cs.AR
SA-DS: A Dataset for Large Language Model-Driven AI Accelerator Design Generation
本文提出SA-DS数据集，基于Gemmini模板的脉动阵列设计集合，旨在促进大型语言模型在DNN硬件加速器设计生成中的应用，支持设计重用与定制，开源以推动研究。
2024-07-17 cs.AR
CRYPTONITE: Scalable Accelerator Design for Cryptographic Primitives and Algorithms
针对密码原语直线C代码直接综合导致的硬件资源占用高、性能差的问题，提出Cryptonite工具，通过验证重写识别硬件结构、探索延迟优化实现，可从C代码自动生成高效可扩展的密码硬件加速器，资源占用最高降88.88%、延迟提升54.31%。
2025-05-20 cs.AR
Multi-Objective Hardware-Mapping Co-Optimisation for Multi-DNN Workloads on Chiplet-based Accelerators
本文提出MOHaM框架，针对基于chiplet的加速器，通过定制遗传算子的多目标进化算法协同优化多DNN工作负载的硬件设计与映射，在延迟和能耗上实现帕累托最优，最高分别降低96%和96.12%。
2024-08-23 cs.AR
Hardware Efficient Accelerator for Spiking Transformer With Reconfigurable Parallel Time Step Computing
本文提出首个低功耗脉冲Transformer硬件加速器，通过IAND修改和全并行tick批处理及时间步可重构架构，实现多时间步并行处理，在28nm工艺下达到3.456 TSOPS和38.334 TSOPS/W能效。
2025-03-25 cs.AR
FireBridge: Cycle-Accurate Hardware + Firmware Co-Verification for Modern Accelerators
UC San Diego（加州大学圣地亚哥分校）
本文提出FireBridge框架，通过将固件与RTL/HLS硬件联合验证，实现加速器系统集成的高效调试，提升调试迭代速度达50倍。
2026-04-11 cs.AR
METRO: A Software-Hardware Co-Design of Interconnections for Spatial DNN Accelerators
针对分片式空间DNN加速器中传统片上网络的低效问题，提出软硬件协同设计METRO，通过解耦流量调度与硬件结构并转移至软件层，结合软件调度框架与硬件设施，实现平均56.3%的通信加速及最高73.6%的处理时间减少。
2025-02-18 cs.AR
Rethinking Co-design of Neural Architectures and Hardware Accelerators
Google（谷歌）
神经架构和硬件加速器一直是深度学习进步的两大驱动力。以前的工作通常试图优化给定固定模型架构的硬件或给定固定硬件的模型架构。在之前的工作中探索的主要硬件架构是FPGA。在我们的工作中，我们的目标是在行业标准的边缘加速器上优化硬件和软件配置。我们系统地研究了共同设计神经架构和硬件加速器的重要性和策略。我们提出三点意见：1）软件搜索空间必须被定制以充分利用目标硬件架构，2）对模型架构和硬件架构的搜索应该联合进行以实现两全其美，以及3）不同的用例导致非常不同的搜索结果。我们的实验表明，联合搜索方法在ImageNet top-1准确率上始终优于之前的平台感知神经架构搜索，手动构建的模型和最先进的EfficientNet。我们的方法可以在相同的精度约束下将边缘加速器的能耗降低高达2倍，同时适应模型架构和硬件加速器配置。
2021-02-17 cs.AR cs.LG
Implementation and Analysis of Thermometer Encoding in DWN FPGA Accelerators
Fulda University of Applied Sciences（富尔达应用科学大学）
本文提出了一种包含显式温度编码的DWN硬件生成器，通过实验表明温度编码显著增加LUT使用量，凸显了在DWN加速器中进行编码意识设计的重要性。
2025-12-17 cs.AR
HyDRA: Deadline and Reuse-Aware Cacheability for Hardware Accelerators
Amar Nath and Shashi Khosla School of Information Technology, Indian Institute of Technology Delhi（印度德里理工学院阿马尔·纳特和沙希·科斯拉信息技术学院）；Department of Computer Science and Engineering, Indian Institute of Technology Delhi（印度德里理工学院计算机科学与工程系）
本文提出了一种基于 clustering 的方法 LERN，用于学习和预测硬件加速器在共享缓存中的 reuse 行为，并提出了一种 deadline 和 reuse 意识的 cache 管理策略 HyDRA，以在性能效率和 deadline 满足之间找到新的平衡。
2026-05-12 cs.AR
VSCNN: Convolution Neural Network Accelerator With Vector Sparsity
卷积神经网络（CNN）硬件加速器实现了人工智能技术的实时的应用。然而，大多数加速器仅支持密集的CNN计算，或者遭受复杂的控制以支持细粒度的稀疏网络。为了解决上述问题，本文提出了一种高效的CNN加速器，该加速器具有一维矢量广播输入，以相同的硬件和低开销支持密集网络以及矢量稀疏网络。所提出的设计在密集的CNN计算上实现了1.93倍的加速比。
2022-05-02 cs.AR
Memory-Guided Unified Hardware Accelerator for Mixed-Precision Scientific Computing
Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）
提出基于内存引导的混合精度科学计算统一硬件加速器，解决有限元、脉冲神经网络和稀疏计算的精度、吞吐量和能耗问题。
2026-01-08 cs.AR
Rosebud: Making FPGA-Accelerated Middlebox Development More Pleasant
我们介绍了一种设计FPGA加速中间盒的方法，通过解耦硬件加速器实现和软件应用程序编程的任务，简化了开发，调试和性能调整。Rosebud是一个框架，通过标准化的硬件/软件接口将硬件加速器链接到高性能数据包处理管道。这种关注点的分离使硬件开发人员能够专注于优化自定义加速器，同时使软件程序员能够以类似于软件库的方式重用、配置和调试加速器。我们通过在不到一个月的时间内构建一个基于大型黑名单的防火墙和移植Pigernet IDS模式匹配加速器来展示Rosebud框架的好处。我们的实验表明，Rosebud提供了高性能，服务约200 Gbps的流量，同时只增加了0.7-7微秒的延迟。
2023-03-17 cs.AR
Resilient and Secure Programmable System-on-Chip Accelerator Offload
提出首个安全且具弹性的可编程硬件平台Samsara，通过轻量级硬件拜占庭容错协议H-Quorum和硬件更新机制，在保障工作流安全的同时将计算与更新延迟开销降至接近非复制系统水平。
2024-06-26 cs.AR
ONNX-to-Hardware Design Flow for the Generation of Adaptive Neural-Network Accelerators on FPGAs
本文研究将Ratto等人提出的自适应工具链与近似计算相结合，构建ONNX到硬件的设计流程，以在边缘FPGA上实现轻量级可自适应神经网络推理，并回顾了采用类似流式架构的现有框架。
2023-09-23 cs.AR
Reconfigurable Hardware Accelerators: Opportunities, Trends, and Challenges
随着近年来机器学习、语音识别、人工智能、DNA测序等大数据应用的兴起，计算机体系结构研究界正面临着各种数据爆炸的爆发规模。为实现数据密集型计算的高效性，面向最新应用的异构加速器研究已成为计算机体系结构领域的热点问题。目前，异构加速器的实现主要依赖于专用集成电路（ASIC）、图形处理单元（GPU）、现场可编程门阵列（FPGA）等异构计算单元。在上述典型的异构架构中，基于FPGA的可重构加速器具有以下两个优点：第一，FPGA架构包含大量的可重构电路，满足特定应用运行时的高性能和低功耗要求。其次，采用FPGA的可重构结构快速实现原型系统，具有良好的可定制性和可重构性。目前，在计算机体系结构的顶级会议上，涌现出一批基于FPGA或其他可重构体系结构的加速工作。为了更好地回顾近年来可重构计算加速器的相关工作，本综述保留了可重构加速器架构和算法应用的最新高水平研究成果作为基础。本文对可重构加速器的研究热点和关注领域进行了比较，并对可重构加速器的优势、劣势和挑战进行了分析和说明。最后对加速器体系结构的未来发展趋势进行了展望，希望能为计算机体系结构研究者提供参考。
2017-12-13 cs.AR
SCALE-Sim EVA: Design Principles for an Extensible, Visualizable, and Adaptable Accelerator Simulation Framework
Georgia Institute of Technology（佐治亚理工学院）
SCALE-Sim EVA是一款面向IR感知加速器建模的可扩展、可可视化、可适配的模拟框架，通过张量命令与命令分解机制计算周期时序，可生成轨迹用于分析执行相关指标，解决了固定加速器模拟器难以扩展的问题。
2026-08-14 cs.AR
CAMASim: A Comprehensive Simulation Framework for Content-Addressable Memory based Accelerators
针对基于内容可寻址存储器（CAM）的加速器设计复杂度高、跨层面优化难的问题，本文提出首个综合仿真框架CAMASim，支持设计空间探索、功能精度仿真与硬件性能预测，助力各类搜索密集型应用的CAM加速器研发。
2024-03-07 cs.AR
RISC-NN: Use RISC, NOT CISC as Neural Network Hardware Infrastructure
神经网络（NN）已被证明是分析大数据的强大工具。然而，传统的CPU无法实现NN应用所需的性能和/或能效。因此，已经使用或设计了许多NN加速器来满足这些目标。这些加速器都分为三类：GPGPU，ASIC NN加速器和CISC NN加速器。虽然CISC NN加速器可以实现比GPGPU小得多的内存占用，从而提高能源效率，但由于其CISC架构继承的可编程性差，它们仍然无法提供与ASIC NN加速器相同的数据重用优化水平。我们认为，对于NN加速器，RISC是比CISC更好的设计选择，通用处理器也是如此。我们提出了RISC-NN，一种新的众核RISC为基础的神经网络加速器，实现了高表现力和高并行性，具有较强的可编程性和低的控制硬件成本。我们表明，RISC-NN可以实现最先进的CISC NN加速器的所有必要指令;同时，RISC-NN设法实现高级优化，例如多级数据重用和支持以前只存在于ASIC NN加速器中的稀疏NN应用。实验结果表明，RISC-NN在各种NN应用中的平均性能效率是最先进的Nvidia TITAN Xp GPGPU的11.88倍。RISC-NN在CNN、MLP和LSTM应用中的平均性能效率分别是基于CISC的TPU的1.29倍、8.37倍和21.71倍。最后，RISC-NN可以实现额外的26.05%的性能提高和33.13%的能源减少后，应用修剪稀疏NN应用程序。
2021-03-23 cs.AR
An FPGA-Based Hardware Accelerator for Energy-Efficient Bitmap Index Creation
位图索引被认为是在线分析处理系统的一个很有前途的候选者，因为它不仅有效地支持并行处理，而且还支持复杂的多维查询。但是，位图索引创建是一项耗时的任务。本研究充分利用现场可编程门阵列（FPGA）的大规模并行计算能力，首次提出了两种位图索引生成硬件加速器BIC 64 K8和BIC 32 K16。每个加速器包含两个主要组件，即增强的内容可寻址存储器和查询逻辑阵列模块，允许BIC 64 K8和BIC 32 K16在每个时钟周期并行索引65，536个8位字和32，768个16位字。在Intel Arria V 5ASTFD 5 FPGA上的实验结果表明，在100 MHz时，BIC 64 K8和BIC 32 K16的索引吞吐率分别达到1.43 GB/s和1.46 GB/s。吞吐量也被证明是稳定的，无论数据集的大小。更重要的是，与基于中央处理单元和图形处理单元的设计相比，BIC 32 K16的能耗分别仅为6.76%和3.28%。
2018-04-20 cs.AR
Instruction-Level Abstraction (ILA): A Uniform Specification for System-on-Chip (SoC) Verification
现代片上系统（SoC）设计越来越异构，除了可编程处理器外，还包含专用的半可编程加速器。与加速器之前的时代相比，ISA在验证中发挥了重要作用，实现了软件和硬件之间的清晰分离，这些“加速器丰富”的SoC的验证提出了新的挑战。从硬件设计者的角度来看，缺乏一个共同的框架，加速器行为的正式功能规范。从软件开发人员的角度来看，不存在用于推理与加速器交互的程序的软件/硬件交互的统一框架。本文通过为加速器功能行为提供正式规范和高级抽象来解决这些挑战。它形式化的指令级抽象（ILA），在我们以前的工作中非正式开发的概念，并显示其在建模和验证的加速器的应用。这种形式化的ILA将熟悉的指令概念扩展到加速器，并为加速器和可编程处理器的软件可见行为建模提供了统一的、模块化的和分层的抽象。我们通过加速器（用于图像处理、机器学习和密码学）和通用处理器（RISC-V）的几个案例研究来证明ILA的适用性。我们展示了ILA模型如何促进两个ILA之间的等价性检查，以及ILA与其硬件有限状态机（FSM）实现之间的等价性检查。此外，这种等效性检查支持使用ILA兼容性的概念的加速器升级，类似于使用ISA兼容性的处理器升级。
2018-06-14 cs.AR
Code Transpilation for Hardware Accelerators
本文提出将代码翻译框架 Metalift 与 DNN 加速器生成器 Gemmini 集成，以简化遗留代码在硬件加速器上的重写与优化流程，降低新增指令的开发成本。
2023-08-11 cs.AR cs.PL
F-CAD: A Framework to Explore Hardware Accelerators for Codec Avatar Decoding
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Facebook Reality Labs Research（Facebook现实实验室研究部）
创建具有真实感渲染的虚拟化身是提供高度沉浸式虚拟现实（VR）体验的最重要和最具挑战性的任务之一。它不仅需要复杂的基于深度神经网络（DNN）的编解码器化身解码器来确保高视觉质量和精确的运动表达，还需要高效的硬件加速器来确保使用轻量级边缘设备（如无限制的VR头显）进行流畅的实时渲染。然而，现有的硬件加速器无法提供足够的性能和效率，目标是由多分支DNN组成并需要苛刻的计算和存储器资源的解码器。为了解决这些问题，我们提出了一个自动化框架，称为F-CAD（Facebook编解码器头像加速器设计），探索和提供优化的硬件加速器编解码器头像解码。新技术包括：1）新的加速器架构，以有效地处理多分支DNN; 2）多分支动态设计空间，以实现细粒度的架构配置;以及3）有效的架构搜索，用于基于特定于应用的需求和硬件资源约束来挑选优化的硬件设计。据我们所知，F-CAD是第一个支持编解码器化身解码器硬件加速整个设计流程的自动化工具，允许在流行的机器学习框架中对解码器设计进行联合优化，以及相应的定制加速器设计，并进行周期精确评估。结果表明，F-CAD生成的加速器在运行最新的编解码器化身解码器时，可以提供高达122.1帧每秒（FPS）和91.6%的硬件效率。与最先进的设计相比，F-CAD通过针对相同的硬件设备，实现了比DNNBuilder和HybridDNN高4.0倍和2.8倍的吞吐量，高62.5%和21.2%的效…
2021-03-08 cs.AR cs.CV
Hardware Trojan Threats to Multi-Chiplet Photonic Neural Network Accelerators
Colorado State University（科罗拉多州立大学）
本文研究多芯粒光子神经网络加速器面临的硬件木马威胁，从机密性、完整性和可用性三个维度分析其安全风险。
2026-09-09 cs.AI cs.AR cs.LG
HIR: An MLIR-based Intermediate Representation for Hardware Accelerator Description
边缘设备上机器学习、图像和音频处理的出现推动了对高能效定制硬件加速器的研究。虽然FPGA是节能自定义加速器的理想目标，但硬件设计的难度以及缺乏与供应商无关的标准化硬件编译基础设施阻碍了它们的采用。本文介绍了HIR，一个基于MLIR的中间表示（IR）来描述硬件加速器的设计。HIR将诸如循环和多维张量的高级语言特征与程序员定义的显式调度相结合，以提供适合于DSL编译器流水线的高级IR，而不损害对加速器的微架构的控制。HIR的显式调度允许它表达细粒度、无同步的并行性和优化，如重定时和流水线。作为MLIR的一种方言，它借鉴了从LLVM等社区学到的最佳IR实践。在提供丰富的优化机会和高级抽象的同时，HIR还支持与软件编译器基础设施共享优化、实用程序和传递。我们的实现表明，在一系列内核上，HIR代码生成器的代码生成时间平均比Xilinx Vivado HLS低1112倍，而不会影响生成硬件的质量。我们相信，这些都是重要的一步，在设计IR的硬件合成和装备领域特定的语言与生产力和执行编译路径自定义硬件加速。
2021-02-27 cs.AR cs.PL
The Multi-Dataflow Composer Tool: an open-source tool suite for Optimized Coarse-Grain Reconfigurable Hardware Accelerators and Platform Design
现代嵌入式和网络物理系统每天都需要更高的性能、能效和灵活性，以执行多个配置文件和功能，满足不断增长的自适应需求并保持执行效率。这些要求促使设计师采用异构和可重新配置的基板，而这些基板的开发和管理并不那么简单。尽管在许多领域中需要加速和灵活性，但硬件部署和操作的障碍仍然存在，因为需要特定的高级专业知识和技能。相关的挑战有效地解决了利用自动化战略，在某些情况下，如在拟议的工作，利用基于模型的方法。本文重点介绍了多数据流合成器（MDC）工具，旨在解决与粗粒度可重构硬件加速器的设计，优化和操作及其在现代异构衬底中的易于采用相关的问题。详细介绍了MDC的最新功能和改进，并对迄今为止尚未开发的机器人应用领域进行了评估。在Xilinx FPGA板上实现了一个用于机械臂的多轮廓轨迹生成器，以显示在哪些情况下可以应用粗粒度重新配置，哪些可以是MDC允许用户使用的参数和权衡。
2021-03-05 cs.AR
HASS: Hardware-Aware Sparsity Search for Dataflow DNN Accelerator
Imperial College London（伦敦帝国学院）；University of Cambridge（剑桥大学）
本文提出硬件感知稀疏性搜索（HASS），通过软硬件协同优化为数据流加速器利用非结构化权重和激活稀疏性，相比现有设计实现1.3至4.2倍效率提升。
2024-06-05 cs.AR cs.LG
Hardware Accelerators for Artificial Intelligence
本章深入探讨AI专用硬件加速器的必要性、类型（GPU、FPGA、ASIC）、设计挑战及未来趋势，为读者提供AI硬件发展的全面概览。
2024-12-18 cs.AR cs.ET
HTS: A Hardware Task Scheduler for Heterogeneous Systems
随着摩尔缩放时代的结束，应用特定的硬件加速器出现作为一个有吸引力的方式来提高我们的计算系统的性能和功率效率。具有大量硬件加速器以及多个通用CPU的大规模异构系统是一个有前途的方向，但在加速器上的任务的运行时调度和加速器的设计粒度方面提出了一些挑战。本文通过开发一个示例异构系统来解决这些挑战，该系统使多个应用程序能够共享可用的加速器。我们建议在较低的抽象设计加速器，使应用程序被分解成可以映射到几个加速器的任务。我们观察到，几个现实生活中的工作负载可以被分解为在许多工作负载之间共享的常见原语。最后，我们提出并设计了一个硬件任务调度器的启发，在乱序超标量处理器的硬件加速器，以有效地利用系统中的加速器，调度任务的乱序，甚至投机。我们评估所提出的系统在现实生活中和综合基准的基础上数字信号处理~（DSP）的应用。与在具有顺序调度的系统上执行基准测试相比，所提出的调度器在性能上实现了高达12倍的改进。
2019-06-29 cs.AR cs.OS
PQC-HA: A Framework for Prototyping and In-Hardware Evaluation of Post-Quantum Cryptography Hardware Accelerators
本文提出PQC-HA框架，利用TaPaSCo和HLS从ANSI C参考实现构建Kyber与Dilithium的硬件加速器，并在真实FPGA硬件上验证功能、评估通信开销，证明其可行性。
2023-08-12 cs.AR cs.CR
Resistive Neural Hardware Accelerators
深度神经网络（DNN）作为机器学习（ML）技术的一个子集，需要学习真实世界的数据，并实时做出决策。然而，它们的广泛采用受到许多软件和硬件限制的阻碍。用于加速DNN的现有通用硬件平台正面临着与不断增长的数据量相关的新挑战，并呈指数级增加计算的复杂性。新兴的非易失性存储器（NVM）设备和存储器中处理（PIM）范例正在创建具有增加的计算和存储能力的新一代硬件架构。特别地，向基于ReRAM的存内计算的转变在实现面积和功率高效推理以及训练大规模神经网络架构方面具有巨大的潜力。这些都可以加速物联网AI技术进入我们日常生活的进程。在这次调查中，我们回顾了最先进的基于ReRAM的DNN众核加速器，并展示了它们与CMOS同行相比的优越性。该综述涵盖了DNN加速器的硬件和软件实现的不同方面，它们目前的局限性和未来的前景。特别是，加速器的比较表明，需要引入新的性能指标和基准测试标准。此外，关于加速器的有效设计的主要问题包括软件和硬件协同设计的仿真工具缺乏准确性。
2021-09-08 cs.AR cs.NE
Hardware-conscious Software Training for Deep Neural Network Inference Accelerator Chips to Recover Accuracy Degradation due to Hardware Variabilities
Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息·生产系统研究科）
针对芯片制造导致硬件变异影响DNN推理精度的问题，提出硬件感知软件训练（HCST）方法，以恢复精度并实现高推理精度。
2026-09-07 cs.AR cs.ET
Using the Abstract Computer Architecture Description Language to Model AI Hardware Accelerators
Eberhard Karls Universität Tübingen（埃伯哈德·卡尔斯大学图宾根）
针对AI硬件加速器选型与对比难度大的问题，本文提出使用抽象计算机体系结构描述语言ACADL对AI硬件加速器建模，实现DNN映射与时序仿真以获取性能结果。
2024-01-30 cs.AI cs.AR
Hardware Accelerator for Multi-Head Attention and Position-Wise Feed-Forward in the Transformer
为深度神经网络（DNN）设计硬件加速器一直是人们非常期望的。尽管如此，大多数现有的加速器都是为卷积神经网络（CNN）或递归神经网络（RNN）构建的。最近，Transformer模型正在自然语言处理（NLP）领域取代RNN。然而，由于涉及密集的矩阵计算和复杂的数据流，Transformer模型的硬件设计还没有报道。在本文中，我们提出了两个关键组件的第一个硬件加速器，即，多头注意（MHA）ResBlock和位置前馈网络（FFN）ResBlock，它们是Transformer中最复杂的两个层。首先，提出了一种有效的方法来划分Transformer中的大型矩阵，允许两个ResBlock共享大部分硬件资源。其次，设计了计算流程，保证了脉动阵列的高硬件利用率，脉动阵列是我们设计中最大的模块。第三，对复杂的非线性函数进行了高度优化，进一步降低了硬件复杂度，也降低了整个系统的延迟。我们的设计是使用硬件描述语言（HDL）编码，并在Xilinx FPGA上进行评估。与相同设置下的GPU实现相比，所提出的设计在MHA ResBlock中的速度提高了14.6倍，在FFN ResBlock中的速度提高了3.4倍。因此，本文的工作为构建高效的多Transformer网络硬件加速器奠定了良好的基础。
2020-09-18 cs.AR eess.SP
BiKA: Kolmogorov-Arnold-Network-inspired Ultra Lightweight Neural Network Hardware Accelerator
Ruhr University Bochum, Germany（博德姆鲁尔大学）；Dresden University of Technology, Germany（德累斯顿技术大学）；Center for Scalable Data Analytics（可扩展数据与人工智能中心）
BiKA是一种受Kolmogorov-Arnold网络启发的轻量级神经网络硬件加速器，通过二值化阈值替代非线性函数，显著降低硬件资源消耗并保持高精度。
2026-02-26 cs.AI cs.AR
Data-Driven Offline Optimization For Architecting Hardware Accelerators
Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
工业已经逐渐转向应用特定的硬件加速器，以获得更高的效率。虽然这种范式转变已经开始显示出有希望的结果，但设计人员需要花费相当大的手动工作并执行大量耗时的模拟，以找到可以在遵守设计约束的情况下加速多个目标应用的加速器。此外，这种“模拟驱动”的方法必须在每次目标应用程序集或设计约束发生变化时从头开始重新运行。另一种范例是使用“数据驱动”的离线方法，该方法利用记录的仿真数据来构建硬件加速器，而不需要任何形式的仿真。这样的方法不仅减少了对消耗运行时间的仿真的需要，而且还使得数据能够重用，并且即使在目标应用的集合改变时也适用。在本文中，我们开发了这样一种数据驱动的离线优化方法，用于设计硬件加速器，称为PRIME，享有所有这些属性。我们的方法学习一个保守的，稳健的估计所需的成本函数，利用不可行的点，并优化设计对这个估计没有任何额外的模拟器在优化过程中查询。PRIME architects加速器-针对单个和多个应用程序量身定制-将最先进的模拟驱动方法的性能提高了约1.54倍和1.20倍，同时将所需的总模拟时间分别减少了93%和99%。此外，PRIME还在zero-shot设置中为看不见的应用程序构建了有效的加速器，其性能比基于模拟的方法高出1.26倍。
2022-02-03 cs.AR cs.LG
Salca: A Sparsity-Aware Hardware Accelerator for Efficient Long-Context Attention Decoding
Fudan University（复旦大学）
本文提出Salca，通过软硬件协同设计，解决长上下文注意力解码中的计算与内存瓶颈，实现3.82倍速度提升和74.19倍能效提升。
2026-04-27 cs.AI cs.AR
TRIM: A Design Space Exploration Model for Deep Neural Networks Inference and Training Accelerators
在边缘/物联网环境和高性能计算系统中，对用于训练深度神经网络的专用硬件的需求越来越大。由于处理架构、深度神经网络配置和低功耗选项的广泛范围，这种硬件的设计空间非常大。这使得开发深度神经网络处理器非常复杂，特别是对于训练。我们提出TRIM，这是一种基础设施，可以帮助硬件架构师探索深度神经网络加速器的设计空间，以便在早期设计阶段进行推理和训练。该模型在整个网络级别进行评估，同时考虑层间和层内活动。给定应用程序、基本硬件规格和设计目标，TRIM可以快速探索不同的硬件设计选项，选择最佳硬件流程并指导新的硬件架构设计。我们通过基于FPGA的深度神经网络加速器和基于ASIC的架构的实现验证了TRIM。我们还展示了如何使用TRIM探索设计空间，通过几个案例研究。TRIM是一个强大的工具，可以帮助架构师评估不同的硬件选择，以开发有效的推理和培训架构设计。
2022-05-01 cs.AR cs.DC
Lupulus: A Flexible Hardware Accelerator for Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）
神经网络对于广泛的应用来说已经变得不可或缺，但它们具有高计算和存储要求，需要从网络的算法描述到硬件实现进行优化。此外，机器学习的高创新率使得硬件实现提供高水平的可编程性以支持神经网络的当前和未来需求变得非常重要。在这项工作中，我们提出了一个灵活的硬件加速神经网络，称为Lupulus，支持各种方法调度和映射到加速器的操作。Lupulus是在28 nm FD-SOI技术中实现的，并展示了380 GOPS/GHz的峰值性能，AlexNet和VGG-16卷积层的延迟分别为21.4ms和183.6ms。
2020-05-03 cs.AR cs.CV eess.SP
Hardware-Software Co-Design of BIKE with HLS-Generated Accelerators
为了减轻量子计算机的安全威胁，NIST正在进行一项标准化后量子密码系统的过程，旨在评估其安全性并加快其在生产场景中的采用。已经为每个候选者提出了几种硬件和软件实现，而只有少数目标是具有CPU和FPGA的异构平台。本文提出了一种适用于嵌入式平台的BIKE硬件/软件协同设计方案，该方案同时采用了CPU和小型FPGA，并采用了高级综合（HLS）来及时提供硬件加速器。与针对性能优化的HLS加速器的最先进的解决方案相比，所提出的解决方案针对在嵌入式系统的异构平台中实现的小型FPGA。与BIKE的纯软件执行相比，在整个Xilinx Zynq-7000系列的片上系统上收集的实验结果突出了Z-7010上的1.37倍到Z-7020上的2.78倍的性能加速。
2023-01-06 cs.AR cs.CR
TMA: Tera-MACs/W Neural Hardware Inference Accelerator with a Multiplier-less Massive Parallel Processor
深度神经网络的计算密集型推理任务已经迫使新的加速器架构的革命，以减少功耗以及延迟。硬件推理加速器的关键指标是每瓦乘法累加运算（MAC/W）的数量，其中，最先进的MAC/W保持数百千兆MAC/W。我们提出了一个Tera-MACS/W神经硬件推理加速器（TMA），具有8位激活和小于1字节的可扩展整数权重。该架构的主要特征是用于矩阵向量运算的可配置神经处理元件。所提出的神经处理元件具有无乘法器的大规模并行处理器，无需任何乘法即可工作，这使得它对于节能高性能神经网络应用具有吸引力。我们使用在ImageNet上训练的Alexnet对系统延迟、功耗和性能进行基准测试。最后，我们比较了我们的加速器的吞吐量和功耗，以前的作品。所提出的加速器在能量和面积方面优于现有技术，实现2.3 TMACS/W@1.0 V，65 nm CMOS技术。
2019-09-08 cs.AR cs.DC eess.SP
T-REX: A 68-567 μs/token, 0.41-3.95 μJ/token Transformer Accelerator with Reduced External Memory Access and Enhanced Hardware Utilization in 16nm FinFET
Columbia University（哥伦比亚大学）；Intel（英特尔公司）
本文提出T-REX Transformer加速器，通过训练与训练后压缩方案、动态批处理控制流机制及双向可访问寄存器文件缓冲架构，有效减少外部内存访问并提升硬件利用率。
2025-03-01 cs.AI cs.AR
Application-Level Validation of Accelerator Designs Using a Formal Software/Hardware Interface
针对早期加速器设计端到端测试成本过高的问题，提出名为3LA的自动化方法，基于ILA形式化软硬件接口实现编译器与模拟器自动生成，仅需少量工程投入即可完成验证，还曾发现并助力修复已发表加速器的未知缺陷。
2023-08-22 cs.AR cs.PL
Digital Neuron: A Hardware Inference Accelerator for Convolutional Deep Neural Networks
我们提出了一个数字神经元，这是一个硬件推理加速器，用于嵌入式系统的卷积深度神经网络，具有整数输入和整数权重。该算法的主要思想是通过桶形移位器和并行加法器对输入特征向量和权值向量进行点积运算，从而减小电路面积和功耗。减少的面积允许更多的计算引擎被安装在推理加速器上，从而导致与现有的HW加速器相比的高吞吐量。我们验证了与32位浮点计算相比，整数与3个部分子整数的乘法不会导致推理精度的显著损失。所提出的数字神经元可以在一个时钟内执行800次MAC操作，用于卷积和全连接计算。本文提出了一种方案，重用的输入，重量，和输出的所有层，以减少DRAM访问。此外，本文提出了一种可配置的架构，可以提供卷积神经网络的自适应特性的推理。以瓦特为单位的数字神经元的吞吐量达到754.7 GMACs/W。
2019-02-07 cs.AR eess.SP
Stochastic Rounding: Algorithms and Hardware Accelerator
提出了用于执行随机舍入（SR）的算法和硬件加速器。主要目标是增强基于ARM M4F的多核处理器SpiNNaker2，使其具有比ARM处理器本身更灵活的舍入功能。在硬件中添加这样的加速器的动机是基于我们先前的结果，该结果显示与标准舍入到最近或位截断舍入模式相比，使用SR的定点运算中的ODE解算器的数值精度有所提高。此外，由于需要伪随机数发生器（PRNG）、多个掩码和移位指令以及加法运算，纯粹在软件中执行SR可能是昂贵的。此外，还包括四舍五入值的饱和，因为四舍五入之后通常是饱和，这在定点运算中尤其重要，因为可表示值的动态范围很窄。加速器的主要用途是舍入定点乘法器输出，ARM处理器以比参数更宽的定点格式返回未舍入的输出。
2020-06-29 cs.AR cs.NA math.NA
DANCE: Differentiable Accelerator/Network Co-Exploration
Yonsei University（延世大学）；Seoul National University（首尔国立大学）
为了应对DNN执行的不断增长的计算需求，最近的神经架构搜索（NAS）算法考虑了硬件成本指标，例如GPU延迟。为了进一步追求快速，高效的执行，DNN专用硬件加速器正在被设计用于多种用途，这远远超过了GPU的效率。然而，这些硬件相关的指标已被证明表现出与网络架构的非线性关系。因此，是针对加速器优化网络，还是针对网络优化加速器，就成了一个鸡和蛋的问题。在这种情况下，这项工作提出了DANCE，一个不同的方法对硬件加速器和网络架构设计的共同探索。DANCE的核心是一个可区分的评估器网络。通过利用神经网络对硬件评估软件进行建模，加速器架构与硬件度量之间的关系变得可区分，从而允许利用反向传播来执行搜索。与幼稚的现有方法相比，我们的方法在更短的时间内执行共同探索，同时实现更高的准确性和硬件成本指标。
2021-02-16 cs.AI cs.AR cs.LG
GRAU: A Generic Runtime-Reconfigurable Activation-Requantization Unit for Quantized Neural Network Accelerators
Ruhr University Bochum, Germany（博德姆鲁尔大学）；Dresden University of Technology, Germany（德累斯顿技术大学）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI Dresden/Leipzig), Germany（可扩展数据与人工智能中心（ScaDS.AI 德累斯顿/莱比锡））
提出基于分段线性拟合的可重构激活硬件GRAU，用2的幂近似斜率，仅需比较器和1位移位器，支持混合精度量化和SiLU等非线性函数，相比多阈值激活器减少90%以上LUT消耗，在6-8段时达到最佳权衡。
2026-10-20 cs.AI cs.AR
