Architecture, Dataflow and Physical Design Implications of 3D-ICs for DNN-Accelerators
深度神经网络（DNN）对更高计算能力的持续需求推动了并行计算架构的发展。3D集成（芯片垂直集成和连接）可以进一步提高性能，因为它引入了另一个空间并行级别。因此，我们分析了这种3D-DNN-加速器的功耗、性能、面积、功耗和温度。单片和基于TSV的堆叠式3D-IC与2D-IC进行比较。我们确定了高效3D-IC的工作负载属性和架构参数，并实现了3D与2D相比高达9.14倍的加速比。我们讨论面积性能权衡。我们证明了3D-IC的适用性，因为3D-IC的功耗与2D-IC相似，并且没有热限制。
2021-02-18 cs.AR
Gemini: Mapping and Architecture Co-exploration for Large-scale DNN Chiplet Accelerators
针对后摩尔时代大规模DNN小芯片加速器面临的架构与映射挑战，本文提出协同探索方法，以最大化小芯片技术优势并最小化其封装与接口成本。
2023-12-27 cs.AR
Architecture, Simulation and Software Stack to Support Post-CMOS Accelerators: The ARCHYTAS Project
ARCHYTAS 项目提出面向光电、存内计算和神经形态等后 CMOS 加速器的系统架构、软件栈与仿真工具，以支撑 AI 国防应用的低功耗高效扩展。
2025-10-18 cs.AR
Compiler and Hardware Co-Design for Accelerator Architectures
Technical University of Denmark（丹麦技术大学）
针对异构加速器全栈集成难的问题，提出EAAC编译器与硬件协同设计架构，基于MLIR支持快速原型，原型GEMM加速器较RISC-V基线实现28倍加速，并指出信号量分配优化方向。
2026-09-25 cs.AR
NAAS: Neural Accelerator Architecture Search
MIT（麻省理工学院）；SJTU（上海交通大学）
神经加速器架构的数据驱动的自动设计空间探索对于专业化和生产力是理想的。以前的框架侧重于确定数值架构超参数的大小，而忽略了搜索PE连接和编译器映射。为了解决这一挑战，我们提出了神经加速器架构搜索（NAAS），它在一个优化循环中全面搜索神经网络架构，加速器架构和编译器映射。NAAS组成了高度匹配的架构以及高效的映射。作为一种数据驱动的方法，NAAS与人类设计Eyeriss相比，在相同的计算资源下，在ImageNet上的EDP减少了4.4倍，准确率提高了2.7%，并且提供了1.4到3.5倍的EDP减少，而不是仅仅调整架构超参数。
2021-05-27 cs.AR cs.LG
PIMSYN: Synthesizing Processing-in-memory CNN Accelerators
本文提出自动综合框架 PIMSYN，将 CNN 应用转换为 PIM 加速器执行工作流与硬件结构，并通过架构探索优化设计，显著提升能效。
2024-02-28 cs.AR
CHARM: Composing Heterogeneous Accelerators for Matrix Multiply on Versal ACAP Architecture
密集矩阵乘法（MM）是深度学习应用中使用最多的内核之一。为了应对这些应用的高计算需求，具有FPGA和专用ASIC加速器的异构架构已成为有前途的平台。例如，AMD/Xilinx Versal ACAP架构将通用CPU内核和可编程逻辑与针对AI/ML优化的AI Engine处理器相结合。凭借400个AIE，它为32位浮点数据提供了高达6.4 TFLOP的性能。然而，机器学习模型通常包含大型和小型MM操作。虽然大型MM操作可以跨多个核高效并行化，但小型MM操作通常不能。我们观察到，在Versal ACAP中的大型单片MM加速器上执行来自BERT自然语言处理模型的一些小MM层，实现了不到理论峰值性能的5%。因此，一个关键的问题出现了：我们如何设计加速器，以充分利用有限的通信带宽下的丰富的计算资源的应用程序与不同大小的多个MM层？我们确定了最大的系统吞吐量的瓶颈造成的不匹配的大规模计算资源的一个单片加速器和各种MM层的小尺寸的应用程序。为了解决这个问题，我们提出了CHARM框架组成多个不同的MM加速器架构，同时对不同的层在一个应用程序。我们在AMD Versal ACAP VCK 190评估板上为四种不同的应用程序部署了CHARM框架，包括BERT、ViT、NCF和MLP。实验结果表明，我们在BERT、ViT、NCF和MLP上分别获得了1.46 TFLOPs、1.61 TFLOPs、1.74…
2023-01-06 cs.AR
Rethinking Co-design of Neural Architectures and Hardware Accelerators
Google（谷歌）
神经架构和硬件加速器一直是深度学习进步的两大驱动力。以前的工作通常试图优化给定固定模型架构的硬件或给定固定硬件的模型架构。在之前的工作中探索的主要硬件架构是FPGA。在我们的工作中，我们的目标是在行业标准的边缘加速器上优化硬件和软件配置。我们系统地研究了共同设计神经架构和硬件加速器的重要性和策略。我们提出三点意见：1）软件搜索空间必须被定制以充分利用目标硬件架构，2）对模型架构和硬件架构的搜索应该联合进行以实现两全其美，以及3）不同的用例导致非常不同的搜索结果。我们的实验表明，联合搜索方法在ImageNet top-1准确率上始终优于之前的平台感知神经架构搜索，手动构建的模型和最先进的EfficientNet。我们的方法可以在相同的精度约束下将边缘加速器的能耗降低高达2倍，同时适应模型架构和硬件加速器配置。
2021-02-17 cs.AR cs.LG
ARAPrototyper: Enabling Rapid Prototyping and Evaluation for Accelerator-Rich Architectures
与传统的通用处理器相比，加速器丰富架构（ARA）可以提供数量级的性能和能量增益，并正在成为暗硅时代最有前途的解决方案之一。然而，与通用核、加速器、定制的片上互连和存储器系统之间的复杂交互相关的许多设计问题仍然不清楚并且难以评估。在本文中，我们设计和实现的ARAPrototyper，使快速的设计空间探索真正的硅ARA和减少繁琐的原型工作远远下降到可管理的努力。首先，ARAPrototyper提供了一个可重用的基线原型，具有高度可定制的内存系统，包括加速器和缓冲器之间的互连，缓冲器和末级缓存（LLC）或DRAM之间的互连，LLC或DRAM的一致性选择，以及地址转换支持。其次，ARAPrototyper提供了一个干净的界面，可以快速集成用户自己用高级合成（HLS）代码编写的加速器。整个设计流程高度自动化，以在FPGA片上系统（SoC）上生成ARA原型。第三，为了快速开发在ARA原型上无缝运行的应用程序，ARAPrototyper提供了一个系统软件栈，将加速器抽象为软件库，并为软件开发人员提供API。我们的实验结果表明，ARAPrototyper能够以可管理的原型工作为ARA进行广泛的设计空间探索，其评估时间比全系统模拟快4，000倍至10，000倍。我们相信ARAPrototyper可以成为ARA设计和评估的一个有吸引力的选择。
2016-10-31 cs.AR
Dataflow-Architecture Co-Design for 2.5D DNN Accelerators using Wireless Network-on-Package
深度神经网络（DNN）模型的规模和复杂性不断增长，需要更高的计算能力来实现实时推理。为了有效地满足这种计算需求，正在开发硬件加速器并跨规模部署。这自然需要一个有效的横向扩展机制，以根据应用程序的要求增加计算密度。通过插入器的2.5D集成已经成为一种很有前途的解决方案，但正如我们在这项工作中所展示的那样，有限的插入器带宽和封装网络（NoP）中的多跳可能会削弱该方法的优势。为了应对这一挑战，我们提出了WIENNA，一个基于无线NoP的2.5D DNN加速器。在WIENNA中，无线NoP将DNN加速器小芯片阵列连接到全局缓冲器小芯片，提供高带宽多播能力。在这里，我们还确定了最有效地利用无线NoP的高带宽多播能力的每一层上的Escherlow风格。与基于插入器的NoP设计相比，WIENNA具有适度的面积和功耗开销，实现了2.2倍-5.1倍的吞吐量和38.2%的能耗降低。
2020-11-30 cs.AR
CARLA: A Convolution Accelerator with a Reconfigurable and Low-Energy Architecture
卷积神经网络（CNN）已被证明是非常准确的图像识别，甚至超过人类的识别能力。当部署在电池供电的移动设备上时，需要高效的计算机体系结构来实现昂贵的卷积运算的快速且节能的计算。尽管最近在CNN的硬件加速器设计方面取得了进展，但两个主要问题尚未得到有效解决，特别是当卷积层具有高度多样化的结构时：（1）最大限度地减少耗能的片外DRAM数据移动;（2）最大限度地提高处理资源的利用率以执行卷积。因此，这项工作提出了一种节能的架构，配备了几个优化的卷积神经网络，以支持现代CNN的结构多样性。通过实现VGGNet-16和ResNet-50的卷积层来评估所提出的方法。结果表明，该架构对于大多数3x 3和1x 1卷积层实现了98%的处理元素（PE）利用率，同时在执行VGGNet-16和ResNet-50卷积层时将延迟分别限制为396.9 ms和92.7 ms。此外，所提出的架构受益于ResNet-50中的结构化稀疏性，当一半的通道被修剪时，将延迟降低到42.5 ms。
2020-10-01 cs.AR
Cohmeleon: Learning-Based Orchestration of Accelerator Coherence in Heterogeneous SoCs
在异构SoC架构中集成松耦合加速器的最关键方面之一是协调它们与存储层次结构的交互，特别是在导航各种高速缓存一致性选项方面：从绕过高速缓存层次结构直接访问片外存储器的加速器到拥有自己的专用高速缓存的加速器。通过在基于FPGA的多加速器多核SoC原型上运行实际大小的应用程序，我们证明了给定加速器的最佳缓存一致性模式在运行时会有所不同，这取决于加速器的特性、工作负载大小和整体SoC状态。Cohesion应用强化学习，在运行时动态地为每个加速器选择最佳的一致性模式，而不是在设计时静态地选择。它通过持续观察系统并测量其性能，自适应地做出这些选择。Cohesion与加速器无关，与架构无关，并且需要最少的硬件支持。Cohesion对应用程序员也是透明的，软件开销可以忽略不计。基于FPGA的实验表明，我们的运行时的方法提供了，平均而言，38%的加速比，减少了66%的片外存储器访问相比，国家的最先进的设计时的方法。此外，它可以匹配为目标体系结构手动调优的运行时解决方案。
2021-09-14 cs.AR
Energy Efficient LSTM Accelerators for Embedded FPGAs through Parameterised Architecture Design
University of Duisburg-Essen（杜伊斯堡-埃森大学）
本文提出一种面向嵌入式FPGA的参数化LSTM加速器设计，通过优化资源受限环境下的执行速度和能耗，支持通过DSP使用和激活函数实现等参数适应不同场景。
2026-04-21 cs.AR
DNNExplorer: A Framework for Modeling and Exploring a Novel Paradigm of FPGA-based DNN Accelerator
现有的基于FPGA的DNN加速器通常分为两种设计范式。它们要么采用通用的可重用架构来支持不同的DNN网络，但由于牺牲了设计的特殊性而留下了一些性能和效率。或者他们应用逐层定制的架构来优化特定于层的计算和资源需求，但放松了适应各种DNN网络的可扩展性。为了克服这些缺点，本文提出了一种新的基于FPGA的DNN加速器设计范式及其自动化工具，称为DNNExplorer，以便在所提出的范式下快速探索各种加速器设计，并为现有和新兴的DNN网络提供优化的加速器架构。三个关键技术对于DNNExplorer的改进性能，更好的特异性和可扩展性至关重要，包括（1）具有高维设计空间支持和细粒度可调整性的独特加速器设计范例，（2）动态设计空间，以适应DNN工作负载和目标FPGA的不同组合，以及（3）设计空间探索（DSE）引擎，用于通过同时考虑FPGA的计算和存储器资源以及DNN网络的层来生成遵循所提出的范例的优化的加速器架构。智能特性和整体复杂性。实验结果表明，对于相同的FPGA，DNNExplorer生成的加速器可以提供高达4.2倍的性能（GOP/s），而DNNBuilder为具有38个CONV层的VGG类DNN生成的最先进的逐层流水线解决方案。与具有通用可重用计算单元的加速器相比，DNNExplorer的DSP效率分别比学术界最近发布的加速器设计（HybridDNN）和商业DNN加速器IP（Xilinx…
2021-03-23 cs.AR
AxLLM: accelerator architecture for large language models with computation reuse capability
AxLLM提出一种利用量化增强参数局部性实现计算重用的硬件加速器架构，通过缓存重用重复权重乘法结果减少冗余计算，支持基础与LoRA模型，实现90%计算削减、28%能耗降低及1.7倍加速。
2025-09-26 cs.AR
LlamaF: An Efficient Llama2 Architecture Accelerator on Embedded FPGAs
本文提出嵌入式 FPGA 加速器 LlamaF，通过训练后量化、带宽优化、异步计算和全流水线矩阵-向量乘法，使 TinyLlama 1.1B 在 ZCU102 上较纯 PS 实现显著提速并提升能效。
2024-09-12 cs.AR
Towards the Certification of Hybrid Architectures: Analysing Interference on Hardware Accelerators through PML
本文面向含多核与加速器的混合硬件平台，梳理适航认证标准，并初步映射 AMC20-152A 与 AMC20-193 的认证目标。
2024-06-18 cs.AR
FPGA Based Accelerator for Neural Networks Computation with Flexible Pipelining
FPGA由于其高功率效率和可配置性而适合于定点神经网络计算。然而，它的设计必须经过深入的改进，以利用有限的硬件资源实现高性能。我们提出了一个基于FPGA的神经网络加速器及其优化框架，它可以实现各种CNN模型和FPGA资源的最佳效率。针对高吞吐量，我们采用分层流水线架构，以提高DSP的利用率。为了获得最佳性能，还提出了一种灵活的算法来分配均衡的硬件资源到每一层，激活缓冲区的设计支持。通过在ZC706上均衡实现四个CNN模型，DSP的利用率和效率超过90%。对于ZC 706上的VGG 16，所提出的加速器实现的性能分别是参考的非流水线架构[1]、流水线架构[2]和[3]的2.58倍、1.53倍和1.35倍。
2021-12-28 cs.AR
SPRING: A Sparsity-Aware Reduced-Precision Monolithic 3D CNN Accelerator Architecture for Training and Inference
CNN在广泛的应用中优于传统的机器学习算法。然而，它们的计算复杂性使得有必要设计高效的硬件加速器。大多数CNN加速器都专注于探索利用计算并行性的Challowlow风格。然而，稀疏性带来的潜在性能加速尚未得到充分解决。如果在网络评估中利用稀疏性，CNN的计算和内存占用可以显着减少。为了利用稀疏性，一些加速器设计在CNN加速器上探索稀疏性编码和评估。然而，稀疏编码仅在激活或权重上执行，并且仅在推理中执行。已经表明，激活和权重在训练期间也具有高稀疏性水平。因此，稀疏感知计算也应该在训练中考虑。为了进一步提高性能和能效，一些加速器以有限的精度评估CNN。然而，这仅限于推理，因为如果在训练中使用，降低的精度会牺牲网络准确性。此外，CNN评估通常是内存密集型的，特别是在训练中。在本文中，我们提出了SPRING，一个SParsity-aware降低精度的单片3D CNN加速器，用于训练和推理。SPRING支持CNN训练和推理。它使用二进制掩码方案对激活和权重中的稀疏性进行编码。它使用随机舍入算法来训练CNN，降低精度而不损失精度。为了缓解CNN评估中的内存瓶颈，特别是在训练中，SPRING使用高效的单片3D NVM接口来增加内存带宽。与GTX 1080 Ti相比，SPRING在CNN训练方面的性能、功耗降低和能效分别提高了15.6倍、4.2倍和66.0倍，在推理方面分别提高了15.5倍、4.5…
2020-02-03 cs.AR
A Semi-Decoupled Approach to Fast and Optimal Hardware-Software Co-Design of Neural Accelerators
UC Riverside（加州大学河滨分校）；Notre Dame（圣母大学）
鉴于神经架构和加速器的完全解耦设计的性能限制，硬件-软件协同设计已经出现，以充分获得灵活设计空间的好处并优化神经网络性能。尽管如此，这种协同设计也将总搜索空间扩大到几乎无限大，并提出了实质性的挑战。虽然先前的研究一直专注于提高搜索效率（例如，通过强化学习），它们通常依赖于在整个架构加速器设计空间上的共同搜索。在本文中，我们提出了一个\emph{semi}解耦的方法，以减少数量级的总设计空间的大小，但不失去最优性。我们首先执行神经架构搜索，以获得一个加速器候选人的最佳架构的一个小集合。重要的是，这也是其他加速器设计的（接近）最佳架构的集合，基于神经架构在不同加速器设计上的推理延迟和能耗方面的排名顺序高度相似的属性。然后，而不是考虑所有可能的架构，我们优化的加速器设计只结合这一小部分架构，从而显着降低总搜索成本。我们验证我们的方法进行实验，对不同的架构空间的加速器设计与不同的带宽。我们的研究结果强调，我们可以获得最佳的设计，只有导航减少搜索空间。这个工作的源代码是在\url{https://github.com/Ren-Research/CoDesign}。
2022-03-25 cs.AI cs.AR
MENAGE: Mixed-Signal Event-Driven Neuromorphic Accelerator for Edge Applications
本文提出面向边缘应用的混合信号神经形态加速器MENAGE，通过引入虚拟神经元、基于内存的事件控制和ILP映射方法，在CIFAR10-DVS上实现了12.1 TOPS/W的高能效。
2024-10-10 cs.AR
Scalable Light-Weight Integration of FPGA Based Accelerators with Chip Multi-Processors
现代多核系统正在从同构系统迁移到基于加速器计算的异构系统，以克服性能和功率墙的障碍。在这种趋势下，基于FPGA的加速器由于其出色的灵活性和低设计成本而变得越来越有吸引力。在本文中，我们提出了基于FPGA的多加速器和芯片多处理器（CMP）通过片上网络（NoC）连接之间的高效接口的架构支持。分布式分组接收器和分层分组转发器被设计成在重任务负载下保持可扩展性并减少关键路线延迟。还提出了一种专用的加速器链接机制，以促进加速器之间的FPGA内数据重用，从而规避FPGA和处理器之间的禁止通信开销。为了评估所提出的架构，一个完整的系统仿真与可编程性的支持使用FPGA原型。实验结果表明，该体系结构具有高性能、轻量级和可扩展性等特点。
2020-09-03 cs.AR
PASS: Exploiting Post-Activation Sparsity in Streaming Architectures for CNN Acceleration
针对流式 CNN 加速器难以利用激活后稀疏性的问题，本文提出 PASS 方法，在现代 CNN 基准上较先进指令型稀疏加速器取得 1.41–1.93 倍 GOP/s/DSP 效率提升。
2023-07-15 cs.AR
TCIM: Triangle Counting Acceleration With Processing-In-MRAM Architecture
三角形计数（Triangle Counting，TC）是图形分析中的一个基本问题，在GPU和FPGA等传统计算平台上有着广泛的应用。然而，这些方法遭受带宽瓶颈，因为TC计算涉及大量的数据传输。在本文中，我们建议克服这一挑战，设计一个TC加速器利用新兴的处理MRAM（PIM）架构。我们的方法背后的真正创新是一种新颖的方法来执行TC与逐位逻辑运算（如\texttt{AND}），而不是传统的方法，如矩阵计算。这使得高效的存储器中实现TC计算，我们在本文中证明与计算自旋转移矩磁性RAM（STT-MRAM）阵列。此外，我们开发了定制的图切片和映射技术，以加快计算速度，降低能耗。我们使用设备到架构的协同仿真框架来验证我们提出的TC加速器。实验结果表明，该数据映射策略可以减少计算量$99.99\%$和内存操作\texttt{WRITE}的$72\%$。与现有的GPU或FPGA加速器相比，我们的内存加速器分别实现了$9\times$和$23.4\times$的加速，以及比FPGA加速器更高的$20.6\times$能效。
2020-07-21 cs.AR
Evaluating Spatial Accelerator Architectures with Tiled Matrix-Matrix Multiplication
Korea Aerospace University（韩国航空大学）；Georgia Institute of Technology（佐治亚理工学院）；Sandia National Laboratories（桑迪亚国家实验室）
人们对用于机器学习应用的自定义空间加速器越来越感兴趣。这些加速器采用处理元件（PE）的空间阵列，通过自定义缓冲区层次结构和片上网络进行交互。这些加速器的效率来自于采用优化的低成本（即，跨PE的数据的空间/时间分区和细粒度调度）策略来优化数据重用。这项工作的重点是评估这些加速器架构使用平铺一般矩阵矩阵乘法（GEMM）内核。要做到这一点，我们开发了一个框架，找到优化的映射（低和瓦片大小）的平铺GEMM为给定的空间加速器和工作负载的组合，利用分析成本模型的运行时间和能源。我们对五个空间加速器的评估表明，我们的框架系统生成的分片GEMM映射在各种GEMM工作负载和加速器上实现了高性能。
2021-06-19 cs.AI cs.AR cs.DC
MPAI: A Co-Processing Architecture with MPSoC & AI Accelerators for Vision Applications in Space
针对航天器上AI/ML部署需求，本文提出名为MPAI的高度异构协处理架构，结合UltraScale+ MPSoC及MyriadX VPU等加速器，利用硬件多样性处理不同规模网络并实现速度、精度与能效的权衡。
2024-09-18 cs.AR cs.ET
FlexiBit: Fully Flexible Precision Bit-parallel Accelerator Architecture for Arbitrary Mixed Precision AI
本文提出FlexiBit加速器架构，通过位并行处理任意精度与格式的FP/INT运算，解决现有硬件仅支持2的幂次精度及格式固定导致的灵活性不足问题，在FP6 GPT-3上相比Tensor Core类架构和BitFusion分别实现1.66倍和1.62倍每面积性能提升。
2025-06-04 cs.AR
CAMASim: A Comprehensive Simulation Framework for Content-Addressable Memory based Accelerators
针对基于内容可寻址存储器（CAM）的加速器设计复杂度高、跨层面优化难的问题，本文提出首个综合仿真框架CAMASim，支持设计空间探索、功能精度仿真与硬件性能预测，助力各类搜索密集型应用的CAM加速器研发。
2024-03-07 cs.AR
ARMAN: A Reconfigurable Monolithic 3D Accelerator Architecture for Convolutional Neural Networks
针对不同CNN模型对加速器架构需求各异的问题，提出基于M3D技术的可重构脉动阵列加速器ARMAN，通过灵活配置实现功耗、能量和性能的优化，在多个基准上实现最高2倍、2.24倍、1.48倍和2倍的改进。
2024-02-06 cs.AR cs.ET
BrainTTA: A 35 fJ/op Compiler Programmable Mixed-Precision Transport-Triggered NN SoC
最近，用于操作数宽度低至1位的极端量化深度神经网络（DNN）推理的加速器由于其能够大大降低每次推理的能量成本而受到欢迎。本文提出了一种支持混合精度的柔性SoC。与当前固定数据路径加速器的趋势相反，该架构使用基于传输触发架构（TTA）的灵活数据路径。该架构完全可以使用C编程。该加速器的峰值能效为35/67/405 fJ/op（二进制、三进制和8位精度），吞吐量为614/307/77 GOPS，这对于可编程架构来说是前所未有的。
2022-11-21 cs.AR
Using the Abstract Computer Architecture Description Language to Model AI Hardware Accelerators
Eberhard Karls Universität Tübingen（埃伯哈德·卡尔斯大学图宾根）
针对AI硬件加速器选型与对比难度大的问题，本文提出使用抽象计算机体系结构描述语言ACADL对AI硬件加速器建模，实现DNN映射与时序仿真以获取性能结果。
2024-01-30 cs.AI cs.AR
A Soft Processor Overlay with Tightly-coupled FPGA Accelerator
FPGA覆盖层通常被实现为粗粒度的可重构架构，其目标是通过平衡底层结构的灵活性和易于配置来提高设计人员的生产力。为了真正促进全面的应用加速，通常还需要包括一个高效的处理器，该处理器与加速器集成和协作，同时保持在同一覆盖框架内实现的好处。本文提出了一种开源的软处理器，旨在与FPGA加速器紧密耦合，作为覆盖框架的一部分。基于RISC-V的开放性和可移植性，采用4级流水线结构设计软处理器，以平衡在FPGA上实现时的资源消耗和性能。该处理器是通用实现的，以促进设计的可移植性和跨不同的FPGA平台的兼容性。实验结果表明，集成软件-硬件应用程序使用所提出的紧耦合架构实现可比的性能，只有硬件加速器，而所提出的架构提供了额外的运行时的灵活性。该处理器已综合到来自不同供应商的低端和高性能FPGA系列，实现了268.67MHz的最高频率和与现有RISC-V设计相当的资源消耗。
2016-06-21 cs.AR
AI Accelerators for Large Language Model Inference: Architecture Analysis and Scaling Strategies
本文跨GPU、混合封装和晶圆级引擎比较商用AI加速器的LLM推理架构，量化性能差异与并行扩展策略，为硬件选型和下一代设计提供依据。
2025-05-13 cs.AR cs.LG
High Area/Energy Efficiency RRAM CNN Accelerator with Kernel-Reordering Weight Mapping Scheme Based on Pattern Pruning
电阻式随机存取存储器（RRAM）是一种新兴的用于存储器内处理（PIM）架构的设备，用于加速卷积神经网络（CNN）。然而，由于RRAM阵列中的高度耦合的交叉结构，在基于RRAM的CNN加速器中难以利用网络的稀疏性。为了优化稀疏网络在RRAM阵列中的权值映射，实现更高的面积和能量效率，提出了一种新的权值映射方案，并基于模式修剪和运算单元（Operation Unit，简称RRAM）机制提出了相应的RRAM CNN加速器架构。实验结果表明，与传统的权值映射方法相比，该方法可以获得4.16 - 5.20倍的crossbar面积效率、1.98 - 2.15倍的能量效率和1.15 - 1.35倍的性能加速。
2020-10-13 cs.AR
A Variable Vector Length SIMD Architecture for HW/SW Co-designed Processors
硬件/软件（HW/SW）协同设计的处理器通过保持其硬件简单性，为现代微处理器的功耗和复杂性问题提供了一个有前途的解决方案。此外，他们采用了几个运行时优化，以提高性能。最有效的优化之一，向量化，已被现代微处理器利用，通过SIMD加速器开发数据级并行性。由于其硬件简单性，这些加速器在宽度方面已经从英特尔MMX中的64位矢量发展到英特尔至强融核和AVX-512中的512位宽矢量单元。虽然SIMD加速器在硬件设计方面很简单，但为它们生成代码生成一直是一个挑战。此外，随着每个新的世代增加向量长度增加了这种复杂性。本文从代码生成的角度探讨了SIMD加速器的可扩展性。我们发现，SIMD加速器在更高的向量长度下仍然没有得到充分利用，这主要是由于：a）减少了向量化的动态指令流覆盖，b）增加了排列。这两个因素都可以归因于SIMD架构的刚性。我们提出了一种新的SIMD架构，具有支持更高的向量长度所需的灵活性。此外，我们提出了可变长度矢量化和选择性写入的硬件/软件协同设计的环境中透明的目标所提出的架构的灵活性。我们评估我们的建议，使用一组SPECFP 2006和Physicsbench应用程序。我们的实验结果表明，平均动态指令减少31%和40%，平均速度分别为13%和10%的SPECFP 2006和Physicsbench，为512位向量长度，在标量基线代码。
2021-02-26 cs.AR
Revealing CNN Architectures via Side-Channel Analysis in Dataflow-based Inference Accelerators
University of Florida（佛罗里达大学）
本文提出一种针对数据流CNN推理加速器的内存侧信道攻击，利用数据复用和架构提示恢复CNN模型结构，并成功还原Lenet、Alexnet、VGGnet16和YOLOv2等模型。
2025-05-06 cs.AR cs.CR cs.LG
How to keep pushing ML accelerator performance? Know your rooflines!
本文综述ML加速器性能提升趋势，提出增强版屋顶线模型作为统一分析框架，以指导计算与存储架构协同优化，并展望开放研究机会。
2025-05-23 cs.AR
Sparse Matrix Multiplication on CAM Based Accelerator
稀疏矩阵乘法是线性代数计算的重要组成部分。本文提出了一种基于内容寻址存储器（CAM）和电阻式内容寻址存储器（ReCAM）的结构，通过CSR格式的稀疏向量和矩阵乘法来加速稀疏矩阵。使用功能模拟，我们表明，建议的ReCAM为基础的加速器表现出两个数量级更高的功率效率相比，现有的稀疏矩阵向量乘法实现。
2017-05-28 cs.AR
GuardNN: Secure Accelerator Architecture for Privacy-Preserving Deep Learning
Cornell University（康奈尔大学）；Meta AI
本文提出了GuardNN，这是一种安全的DNN加速器，即使在不可信的环境中也能为用户数据和模型参数提供基于硬件的保护。GuardNN表明，可以为特定应用程序定制架构和保护，以提供强大的机密性和完整性保证，而开销可以忽略不计。GuardNN指令集的设计将TCB简化为加速器，并且即使在来自主机的指令不可信时也允许机密性保护。GuardNN通过为DNN加速器的已知存储器访问模式定制片外存储器保护，最大限度地减少了存储器加密和完整性验证的开销。GuardNN在FPGA上原型化，证明了有效的机密性保护，推理的性能开销约为3%。
2022-05-25 cs.AR cs.CR cs.LG
Barrier-Free Large-Scale Sparse Tensor Accelerator (BARISTA) For Convolutional Neural Networks
卷积神经网络（CNN）正在成为视觉识别的强大工具。最近的稀疏CNN架构提案利用特征图和过滤器中的零来提高性能和能量，而不会损失准确性。在特征图和滤波器两者中利用双侧稀疏性的稀疏架构仅在小尺度上被研究（例如，1 K乘-累加（MAC）单元）。然而，为了充分实现它们的优点，稀疏架构必须被放大到密集架构的水平（例如，TPU中的32 K MAC）。这样的缩放是具有挑战性的，因为通过广播实现重用会导致隐含的屏障成本，从而引发负载不平衡、缓冲和片上带宽需求等相互关联的问题。Sparten是一种以前的方案，它解决了负载均衡的一个方面，但没有解决其他方面，也没有解决缓冲和带宽的其他问题。为此，我们提出了无障碍大型稀疏张量加速器（BARISTA）。BARISTA（1）是第一个用于按比例放大稀疏CNN加速器的架构;（2）通过伸缩请求组合输入映射请求和分割滤波器请求来减少片上带宽需求;（3）通过基本缓冲区共享来减少缓冲，并通过对输出缓冲区着色来避免连续输入映射之间的随后障碍;（4）通过动态循环工作分配来负载平衡滤波器内工作;以及（5）采用分层缓冲，通过计算中的几个宽的共享缓冲区实现高缓存带宽，并通过较窄的私有缓冲区实现低缓冲。我们的模拟表明，平均而言，咖啡师的性能分别比密集，单侧，天真缩放的双侧和等面积双侧架构好5.4倍，2.2倍，1.7倍，2.5倍。使用45纳米技术，ASIC合成我们的RTL设计的四个集…
2021-05-08 cs.AR
A High-Throughput FPGA Accelerator for Lightweight CNNs With Balanced Dataflow
针对现有轻量级CNN FPGA加速器内存开销高、计算效率低的问题，提出多CE平衡数据流加速器，通过混合CE流式架构、平衡数据流及资源感知分配方法，在Xilinx ZC706平台实现了领先的性能与MAC效率。
2024-12-16 cs.AR
Balancing Generality and Specialization: A Survey on AI Datacenter Hardware Architecture
University of Michigan（密歇根大学）
该综述将AI加速器分为四类，分析其计算、内存及互连演进，并探讨通用性与专用性权衡在数据中心规模的设计挑战。
2026-09-24 cs.AR
Apollo: Transferable Architecture Exploration
Google Research（谷歌研究院）
摩尔定律的即将终结和深度学习的日益普及推动了针对特定神经架构进行优化的定制加速器的设计。这种加速器的架构探索形成了一个具有挑战性的约束优化问题，在一个复杂的，高维的，结构化的输入空间与昂贵的评估目标函数。用于加速器设计的现有方法是样本效率低的，并且不能在具有不同设计约束（诸如面积和/或延迟预算或神经架构配置）的相关优化任务之间传递知识。在这项工作中，我们提出了一个可转移的架构探索框架，称为阿波罗，利用黑盒功能优化的最新进展，为样本高效的加速器设计。我们使用这个框架来优化具有替代设计约束的不同神经架构的加速器配置。我们表明，我们的框架发现高回报设计配置（高达24.6%的加速比）更采样效率比基线黑盒优化方法。我们进一步表明，通过在具有不同设计约束的目标架构之间转移知识，Apollo能够更快地找到最佳配置，并且通常具有更好的目标值（最高可提高25%）。这一令人鼓舞的结果描绘了一条有希望的前进道路，以促进产生更高质量的加速器。
2021-02-02 cs.AR cs.LG
CODEBench: A Neural Architecture and Hardware Accelerator Co-Design Framework
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
最近，机器学习（ML）模型和加速器架构的自动化协同设计引起了业界和学术界的极大关注。然而，大多数协同设计框架要么探索有限的搜索空间，要么采用次优的探索技术，同时进行ML模型和加速器的设计决策调查。此外，训练ML模型和模拟加速器性能在计算上是昂贵的。为了解决这些限制，这项工作提出了一种新的神经架构和硬件加速器协同设计框架，称为CODEBench。它由两个新的基准测试子框架CNNBench和CCNBench组成，它们探索了卷积神经网络（CNN）和CNN加速器的扩展设计空间。CNNBench利用先进的搜索技术BOSHNAS，通过采用二阶梯度来有效地训练神经异方差代理模型，以收敛到最佳的CNN架构。ESTBENCH在广阔的设计空间中为各种加速器架构执行周期精确模拟。通过提出的称为BOSHCODE的协同设计方法，我们最好的CNN加速器对在CIFAR-10数据集上的准确率比最先进的对高出1.4%，同时延迟降低59.1%，能耗降低60.8%。在ImageNet数据集上，它实现了Top1精度提高3.7%，延迟降低43.8%，能耗降低11.2%。CODEBench优于最先进的框架，即，Auto-NBA，通过实现1.5%的高精度和34.7倍的高吞吐量，同时使CIFAR-10的能量延迟积（EDP）降低11.0倍，芯片面积降低4.0倍。
2022-12-07 cs.AR cs.LG eess.IV
An Energy-Efficient Accelerator Architecture with Serial Accumulation Dataflow for Deep CNNs
近年来，卷积神经网络（CNN）在许多视觉任务中表现出出色的准确性。然而，当在便携式设备和嵌入式系统上部署CNN时，大量的参数和计算导致处理时间长和电池寿命低。设计CNN硬件加速器的一个重要因素是有效地将卷积计算映射到硬件资源上。此外，为了节省电池寿命并降低能耗，减少DRAM访问的次数至关重要，因为与硬件中的其他操作相比，DRAM消耗的能量要多几个数量级。在本文中，我们提出了一种节能的架构，最大限度地利用其计算单元的卷积运算，同时需要低数量的DRAM访问。实现结果表明，所提出的架构执行一个图像识别任务，使用VGGNet模型的延迟为393 ms，只有251.5 MB的DRAM访问。
2020-02-15 cs.AR eess.SP
SMART: A Heterogeneous Scratchpad Memory Architecture for Superconductor SFQ-based Systolic CNN Accelerators
超快\低功耗超导单通量量子（SFQ）的CNN收缩加速器的建立，以提高CNN的推理吞吐量。然而，由于缺乏随机存取能力，基于移位寄存器（SHIFT）的暂存存储器（SPM）阵列防止SFQ CNN加速器超过其峰值吞吐量的40%。本文首先记录了我们对各种低温存储器技术的研究，包括涡旋转换存储器（VTM），约瑟夫森CMOS SRAM，MRAM和超导纳米线存储器，在此期间，我们发现上述技术都没有使SFQ CNN加速器同时实现高吞吐量，小面积和低功耗。其次，我们提出了一个异构SPM架构，SMART，由一个随机存取阵列和一个随机存取阵列，以提高SFQ CNN收缩加速器的推理吞吐量。第三，我们提出了一个快速，低功耗和密集的流水线随机存取CMOS-SFQ阵列，通过建立SFQ无源传输线为基础的H树连接CMOS子银行。最后，我们创建了一个基于ILP的编译器来在SMART上部署CNN模型。实验结果表明，在芯片面积开销相同的情况下，与最新的基于SHIFT的SFQ CNN加速器相比，SMART在推理单张图像（一批图像）时，推理吞吐量提高了$3.9\times$（$2.2\times$），推理能量降低了$86\%$（$71\%$）。
2021-09-03 cs.AR cs.ET
PolyCIM: Improving Data Reuse in Digital CIM Accelerators with Polyhedral-Based Compilation
Beihang University（北京航空航天大学）
针对数字CIM加速器中DNN映射导致的阵列利用不足问题，提出基于多面体的编译框架PolyCIM，通过仿射变换暴露非轴向数据复用超平面，实现最高4倍宏利用率和3.2倍加速。
2026-09-29 cs.AR
PIMSIM-NN: An ISA-based Simulation Framework for Processing-in-Memory Accelerators
针对存内计算加速器性能评估需求，本文提出 PIMSIM-NN，通过专用 ISA、编译器与周期精确仿真器解耦软硬件，并以事件驱动方式支持硬件并行性。
2024-02-28 cs.AR
AutoAccel: Automated Accelerator Generation and Optimization with Composable, Parallel and Pipeline Architecture
CPU-FPGA异构架构正吸引着越来越多的关注，试图提高当今计算机的计算能力和能源效率。这些架构为程序员提供了重新编程FPGA的能力，以灵活地加速许多工作负载。然而，这种优势往往被FPGA的可编程性差所掩盖，FPGA的编程通常是RTL设计实践。虽然高级综合（HLS）的最新进展显着提高了FPGA的可编程性，它仍然让程序员面临的挑战，确定最佳的设计配置在一个巨大的设计空间。本文旨在应对这一挑战，并为从软件程序到高质量FPGA加速器铺平道路。具体来说，我们首先提出了组合，并行和流水线（CPP）的微架构作为加速器设计的模板。这样一个定义良好的模板是能够支持高效的加速器设计的广泛类的计算内核，更重要的是，大大减少了设计空间。此外，我们引入了一个分析模型，以捕捉性能和资源之间的权衡不同的设计配置的CPP微架构，这奠定了基础，快速设计空间探索。在CPP微架构及其分析模型的基础上，我们开发了AutoAccel框架，使整个加速器生成自动化。AutoAccel接受软件程序作为输入，并根据基于分析模型的设计空间探索的结果执行一系列代码转换，以构建所需的CPP微体系结构。我们的实验表明，对于广泛的一类计算内核，Autocom生成的加速器的平均性能超过其相应的软件实现72倍。
2018-07-30 cs.AR cs.DC
Accelerator-driven Data Arrangement to Minimize Transformers Run-time on Multi-core Architectures
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对Transformer模型推理的内存带宽瓶颈，提出由加速器内核大小驱动的数据排布策略，减少片外访问，在多核系统上实现高达2.8倍加速。
2023-12-20 cs.AI cs.AR
A configurable accelerator for manycores: the Explicitly Many-Processor Approach
提出了一种设计处理器加速器的新方法。提出了一种新的计算模型和一种具有动态（最终用户可编程）结构的专用加速器。新模型考虑了一个处理器，其中新引入的管理层协调核心的工作。核心有能力（基于编译器提供的并行化信息，并使用管理程序的帮助）将它们收到的部分作业外包给一些相邻的核心。所引入的改变本质上并且有利地修改了计算系统的架构和操作。计算吞吐量急剧增加，技术实现的效率（每个逻辑门的计算性能）增加，使用操作系统服务的非有效载荷活动减少，实时行为有利地改变，并且将加速器连接到处理器大大简化。这里仅讨论处理器的架构和操作的一些细节，其余部分在其他地方描述。
2016-07-06 cs.AR cs.DC
Silicon Photonic 2.5D Interposer Networks for Overcoming Communication Bottlenecks in Scale-out Machine Learning Hardware Accelerators
Colorado State University（科罗拉多州立大学）
针对单片ML加速器无法满足能效与吞吐量需求、2.5D电子加速器受金属互连限制的问题，本文提出在2.5D平台中利用光通信与光计算，构建高能效高吞吐量的2.5D ML加速器架构。
2024-03-07 cs.AR cs.LG eess.SP
Uncertainty Modeling of Emerging Device-based Computing-in-Memory Neural Accelerators with Application to Neural Architecture Search
University of Notre Dame（圣母大学）；National Tsing Hua University（国立清华大学）
新兴的基于设备的内存计算（CiM）已被证明是高能效深度神经网络（DNN）计算的一个有前途的候选者。然而，大多数新兴设备都存在不确定性问题，导致存储的实际数据与其设计的权重值之间存在差异。这导致从训练模型到实际部署平台的准确性下降。在这项工作中，我们对DNN模型中这种不确定性引起的变化的影响进行了全面的分析。为了减少设备不确定性的影响，我们提出了UAE，这是一种不确定性感知的神经架构搜索方案，用于识别对设备不确定性既准确又鲁棒的DNN模型。
2021-07-06 cs.AR cs.LG
Dataflow Accelerator Architecture for Autonomous Machine Computing
PerceptIn Inc.（PerceptIn公司）；University of Rochester（罗切斯特大学）；U.C. Irvine（加州大学欧文分校）；University of Delaware（特拉华大学）
商业自主机器是一个蓬勃发展的领域，它很可能是继个人计算机（PC）、云计算和移动计算之后的下一个无处不在的计算平台。然而，缺少适合自主机器的计算基底，许多公司被迫开发既无原则性也无可扩展性的临时计算解决方案。通过分析自主机器计算的需求，提出了符合自主机器软件特点的数据流加速器体系结构（DAA），该体系结构是经典的并行计算原理的现代实例化。
2022-06-23 cs.AI cs.AR cs.RO
