A Scalable FPGA Architecture With Adaptive Memory Utilization for GEMM-Based Operations
本文提出一种基于FPGA的可扩展动态配置加速器，利用脉动阵列、高带宽内存和UltraRAM，通过多PU实例化与启发式权重调度提升吞吐效率，并可扩展模拟AIMC设备，适用于多种DNN模型。
2025-10-09 cs.AR
GnetDet: Object Detection Optimized on a 224mW CNN Accelerator Chip at the Speed of 106FPS
Gyrfalcon Technology Inc.（天鹰科技公司）
目标检测广泛应用于嵌入式设备。随着CNN（卷积神经网络）加速器芯片的广泛使用，期望目标检测应用以低功耗和高推理速度运行。此外，对于作为与主机CPU的协处理器工作的CNN加速器芯片，期望CPU负载尽可能低。在本文中，我们通过最小化CPU负载来优化CNN加速器芯片上的目标检测模型。生成的模型称为GnetDet。实验结果表明，GnetDet模型在224mW芯片上运行时，速度达到106FPS，具有良好的精度。
2021-02-19 cs.AR cs.CV
Gemini: Mapping and Architecture Co-exploration for Large-scale DNN Chiplet Accelerators
针对后摩尔时代大规模DNN小芯片加速器面临的架构与映射挑战，本文提出协同探索方法，以最大化小芯片技术优势并最小化其封装与接口成本。
2023-12-27 cs.AR
Scalable Light-Weight Integration of FPGA Based Accelerators with Chip Multi-Processors
现代多核系统正在从同构系统迁移到基于加速器计算的异构系统，以克服性能和功率墙的障碍。在这种趋势下，基于FPGA的加速器由于其出色的灵活性和低设计成本而变得越来越有吸引力。在本文中，我们提出了基于FPGA的多加速器和芯片多处理器（CMP）通过片上网络（NoC）连接之间的高效接口的架构支持。分布式分组接收器和分层分组转发器被设计成在重任务负载下保持可扩展性并减少关键路线延迟。还提出了一种专用的加速器链接机制，以促进加速器之间的FPGA内数据重用，从而规避FPGA和处理器之间的禁止通信开销。为了评估所提出的架构，一个完整的系统仿真与可编程性的支持使用FPGA原型。实验结果表明，该体系结构具有高性能、轻量级和可扩展性等特点。
2020-09-03 cs.AR
Understanding the Impact of On-chip Communication on DNN Accelerator Performance
近年来，深度神经网络以前所未有的速度蓬勃发展。它们在计算机视觉、自然语言处理、医学或经济学等领域都取得了出色的准确性。具体而言，卷积神经网络（CNN）特别适合于对象识别或识别任务。然而，这带来了很高的计算成本，促使使用专门的GPU架构甚至ASIC来实现高速度和能源效率。ASIC加速器简化了适用于CNN计算的某些流程的执行，这些流程意味着大量数据的不断移动，从而将片上通信转变为加速器内的关键功能。本文研究了边缘设备的CNN推理加速器内的通信流，旨在证明当前和未来在互连其处理元件的片上网络设计中的决策是合理的。利用这种分析，然后，我们定性地讨论了在这种情况下，引入无线片上网络的新范式的潜在影响。
2019-12-03 cs.AR
Fengshui: Demystifying Chiplet Ecosystem and Bespoke Neural Network Accelerator Codesign
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
Fengshui框架通过算子级分解和Chiplet池与BASIC加速器协同设计，仅用8个Chiplet实现高达97.8%的EDPC降低，性能接近无约束异构设计。
2026-09-11 cs.AR
A Precision-Optimized Fixed-Point Near-Memory Digital Processing Unit for Analog In-Memory Computing
IBM Research Europe（IBM欧洲研究院）；IIS-ETH Zürich（苏黎世联邦理工学院信息与通信工程研究所）
针对现有模拟存内计算系统采用FP16运算存在的并行性不足、延迟高问题，提出基于定点运算的近存数字处理单元NMPU，在14nm工艺下实现，相较FP16方案大幅提升速度、缩减面积，精度损失极小。
2024-02-12 cs.AR cs.ET cs.LG
Communication Characterization of AI Workloads for Large-scale Multi-chiplet Accelerators
针对下一代AI工作负载的数据密集型特征带来的可扩展性挑战，本文分析多小芯片加速器架构上AI工作负载的通信特征，发现多播流量易成性能瓶颈，建议设计小芯片级灵活互连方案以提升加速器性能与可扩展性。
2025-02-11 cs.AR
CapStore: Energy-Efficient Design and Management of the On-Chip Memory for CapsuleNet Inference Accelerators
Vienna University of Technology（维也纳工业大学）；Sharif University of Technology（谢里夫理工大学）
深度神经网络（DNN）已被确立为用于高级机器学习应用的最先进算法。最近，与DNN相比，CapsuleNets由于其多维胶囊而提高了泛化能力。然而，它们对计算和内存的要求很高，这使得节能推理成为一项具有挑战性的任务。在本文中，我们进行了广泛的分析，以证明他们的主要限制，由于激烈的内存访问和大的片上存储器的要求。为了实现高效的CaspuleNet推理加速器，我们提出了一个专门的片上存储层次结构，最大限度地减少片外存储器访问，同时有效地将数据馈送到加速器。我们分析了每个内存组件的架构的片上存储器的要求。通过利用这种分析，我们提出了一种方法来探索不同的片上存储器设计和电源门控技术，以进一步降低能耗，这取决于在不同的操作的CapsuleNet的利用率。与最先进的存储器设计相比，我们的存储器设计可以显著降低片上存储器的能耗，最高可达86%。由于存储器元件的功耗是CapsuleNet加速器功耗击穿的主要原因，正如我们在分析中所展示的那样，所提出的存储器设计可以有效地降低整个CapsuleNet加速器架构的总体能耗。
2019-04-12 cs.AR cs.LG
Towards Generalized On-Chip Communication for Programmable Accelerators in Heterogeneous Architectures
本文通过点对点通信、多播 NoC、一致性同步、细粒度接口及 ISA 扩展等增强，为异构 SoC 中的可编程加速器实现灵活高效的片上通信，并在 FPGA 原型上完成验证。
2024-07-04 cs.AR
Silicon Photonic Microring Based Chip-Scale Accelerator for Delayed Feedback Reservoir Computing
University of Kentucky（肯塔基大学）
为了执行时间和顺序的机器学习任务，由于RNN的训练复杂性，传统的递归神经网络（RNN）的使用已经减少。为此，用于延迟反馈储备池计算（DFRC）的加速器由于其简单的硬件实现而代替RNN引起了人们的注意。DFRC加速器的典型实现由延迟环路和单个非线性神经元组成，它们一起充当用于计算的多个虚拟节点。在先前的工作中，光子DFRC加速器已经显示出与其电子对应物相比在快速计算方面的无可争议的优势。在本文中，我们提出了一个更节能的芯片级DFRC加速器，采用硅光子微（MR）为基础的非线性神经元与片上光子波导为基础的延迟反馈回路。我们的评估表明，与之前工作中的一个著名的光子DFRC加速器相比，我们提出的基于MR的DFRC加速器分别实现了NARMA10和Santa Fe时间序列预测任务的归一化均方根误差（NRMSE）降低35%和98.7%。此外，我们的基于MR的DFRC加速器实现了58.8%的低符号出错率（SER）的非线性信道均衡任务。此外，我们的基于MR的DFRC加速器与之前的电子和光子DFRC加速器相比，训练时间分别快了98%和93%。
2021-01-03 cs.AR cs.ET cs.LG
Exploring the Potential of Wireless-enabled Multi-Chip AI Accelerators
Universitat Politècnica de Catalunya（巴塞罗那理工大学）
本文探讨了无线技术作为多小芯片AI加速器中有线互连补充的潜力，通过最先进框架评估显示无线互连可带来平均10%、最高20%的加速，并强调了负载均衡的重要性。
2025-04-28 cs.AI cs.AR
CiFHER: A Chiplet-Based FHE Accelerator with a Resizable Structure
本文提出基于芯粒的可重构FHE加速器CiFHER，通过灵活核心架构和通用数据映射方法，以多芯片模块设计实现与单片ASIC相当的性能，同时显著降低功耗和制造成本。
2024-04-01 cs.AR cs.CR
ImaGen: A General Framework for Generating Memory- and Power-Efficient Image Processing Accelerators
本文提出ImaGen编译器框架，通过约束优化在保持最大吞吐量下最小化片上内存，自动生成内存和功耗高效的图像处理加速器，实现两位数性能提升。
2023-04-06 cs.AR
MGX: Near-Zero Overhead Memory Protection for Data-Intensive Accelerators
Cornell University（康奈尔大学）；Meta AI
本文介绍了一种用于硬件加速器的近零开销存储器保护方案MGX。MGX通过利用加速器执行的特定于应用程序的属性，最大限度地减少了片外存储器加密和完整性验证的性能开销。具体地，加速器倾向于显式地管理片上和片外存储器之间的数据移动。因此，加速器的一般存储器访问模式可以在很大程度上针对给定应用确定。利用这些特性，MGX使用片上加速器状态生成用于内存加密和完整性验证的版本号，而不是将它们存储在片外内存中;它还自定义内存保护的粒度，以匹配加速器使用的粒度。为了证明MGX的有效性，我们对DNN和图形算法的MGX进行了深入研究。实验结果表明，平均而言，MGX将DNN和图形处理加速器的内存保护性能开销分别从28%和33%降低到4%和5%。
2022-05-25 cs.AR cs.CR cs.LG
Instruction-Level Abstraction (ILA): A Uniform Specification for System-on-Chip (SoC) Verification
现代片上系统（SoC）设计越来越异构，除了可编程处理器外，还包含专用的半可编程加速器。与加速器之前的时代相比，ISA在验证中发挥了重要作用，实现了软件和硬件之间的清晰分离，这些“加速器丰富”的SoC的验证提出了新的挑战。从硬件设计者的角度来看，缺乏一个共同的框架，加速器行为的正式功能规范。从软件开发人员的角度来看，不存在用于推理与加速器交互的程序的软件/硬件交互的统一框架。本文通过为加速器功能行为提供正式规范和高级抽象来解决这些挑战。它形式化的指令级抽象（ILA），在我们以前的工作中非正式开发的概念，并显示其在建模和验证的加速器的应用。这种形式化的ILA将熟悉的指令概念扩展到加速器，并为加速器和可编程处理器的软件可见行为建模提供了统一的、模块化的和分层的抽象。我们通过加速器（用于图像处理、机器学习和密码学）和通用处理器（RISC-V）的几个案例研究来证明ILA的适用性。我们展示了ILA模型如何促进两个ILA之间的等价性检查，以及ILA与其硬件有限状态机（FSM）实现之间的等价性检查。此外，这种等效性检查支持使用ILA兼容性的概念的加速器升级，类似于使用ISA兼容性的处理器升级。
2018-06-14 cs.AR
SLOTH: Lightweight Detection and Localization of On-Chip Fail-Slow Failures for DNN Accelerators
Peking University（北京大学）；Tsinghua University（清华大学）
SLOTH通过轻量级硬件感知框架实现多核加速器中高效准确的慢故障检测，减少存储开销并提高检测精度。
2026-07-30 cs.AR
Hardware-conscious Software Training for Deep Neural Network Inference Accelerator Chips to Recover Accuracy Degradation due to Hardware Variabilities
Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息·生产系统研究科）
针对芯片制造导致硬件变异影响DNN推理精度的问题，提出硬件感知软件训练（HCST）方法，以恢复精度并实现高推理精度。
2026-09-07 cs.AR cs.ET
A High-Throughput FPGA Accelerator for Lightweight CNNs With Balanced Dataflow
针对现有轻量级CNN FPGA加速器内存开销高、计算效率低的问题，提出多CE平衡数据流加速器，通过混合CE流式架构、平衡数据流及资源感知分配方法，在Xilinx ZC706平台实现了领先的性能与MAC效率。
2024-12-16 cs.AR
The BaseJump Manycore Accelerator Network
BaseJump众核加速器网络是一个开源的基于网格的片上网络，它是利用Bespoke Silicon Group在设计众核架构方面20多年的经验而设计的。它已被用于16纳米511核RISC-V兼容性芯片Davidson等人（2018），形成了1 GHz 496核RISC-V众核和10核始终在线低电压复合体的基础。它也被用于180纳米BSG Ten芯片，该芯片具有十个核心和一个通过片外链路延伸到FPGA的网格。为了方便开源社区使用BaseJump Manycore网络，我们解释了网状网络的思想，协议，接口和潜在用途。我们还展示了一个源代码示例，演示了如何将用户设计集成到网状网络中。
2018-08-15 cs.AR
Generalized Ping-Pong: Off-Chip Memory Bandwidth Centric Pipelining Strategy for Processing-In-Memory Accelerators
针对大型DNN模型下存内计算片外带宽利用率低的问题，提出广义乒乓流水线策略，通过均匀分配活动时间并充分利用片外带宽，在SRAM PIM架构上实现最高7.71倍加速并开源设计。
2024-11-20 cs.AR
Compass: Co-Exploration of Mapping and Hardware for Heterogeneous Multi-Chiplet Accelerators Targeting LLM Inference Service Workloads
University of Science and Technology of China（中国科学技术大学）
针对LLM推理服务的动态请求类型和可变序列长度，提出Compass框架，通过基于计算执行图的映射编码方案和协同优化引擎，在异构多芯粒加速器上实现延迟降低63.92%、能耗降低40.32%。
2026-06-16 cs.AR
Inter-Layer Scheduling Space Exploration for Multi-model Inference on Heterogeneous Chiplets
University of California, Irvine（加州大学欧文分校）
针对多模型工作负载的高计算需求，提出基于异构芯粒MCM的加速器及先进调度框架，实验验证其在4芯粒系统上可显著提升吞吐量与能效。
2023-12-14 cs.AI cs.AR cs.DC
PATRONoC: Parallel AXI Transport Reducing Overhead for Networks-on-Chip targeting Multi-Accelerator DNN Platforms at the Edge
本文提出PATRONoC，一种开源的完全AXI兼容的NoC架构，通过并行AXI传输减少协议转换开销，满足多核DNN平台需求，在1 GHz下面积效率提高34%，吞吐量提升2-8倍，聚合吞吐量达350 GiB/s。
2023-07-31 cs.AR
Resilient and Secure Programmable System-on-Chip Accelerator Offload
提出首个安全且具弹性的可编程硬件平台Samsara，通过轻量级硬件拜占庭容错协议H-Quorum和硬件更新机制，在保障工作流安全的同时将计算与更新延迟开销降至接近非复制系统水平。
2024-06-26 cs.AR
Memory-Efficient CNN Accelerator Based on Interlayer Feature Map Compression
Nanjing University（南京大学）
现有的深度卷积神经网络（CNN）在网络推理过程中会产生大量的层间特征数据。为了保证嵌入式系统的实时处理，需要大容量的片上存储器来缓冲层间特征图。在本文中，我们提出了一个有效的硬件加速器与层间特征压缩技术，以显着减少所需的片上存储器的大小和片外存储器访问带宽。加速器通过使用硬件实现的8x8离散余弦变换（DCT）将存储的数据变换到频域来压缩层间特征图。在DCT之后通过量化去除高频分量。利用稀疏矩阵压缩来进一步压缩层间特征图。片上内存分配方案的设计，以支持动态配置的特征地图缓冲区大小和暂存器大小，根据不同的网络层的要求。硬件加速器将压缩、解压缩和CNN加速结合到一个计算流中，实现最小的压缩和处理延迟。在FPGA平台上实现了一个原型加速器，并在台积电28纳米COMS技术合成。它通过增加少量硬件面积开销，实现了403 GOPS的峰值吞吐量和1.4x~3.3x的层间特征图缩减，使其成为智能物联网设备的有前途的硬件加速器。
2021-10-12 cs.AI cs.AR
Oobleck: Low-Compromise Design for Fault Tolerant Accelerators
提出容错加速器架构Oobleck与Viscosity语言，利用模块化加速实现低面积开销的容错，在单一故障下保持1.7x-5.16x加速并降低数据中心成本。
2025-06-27 cs.AR
AoCStream: All-on-Chip CNN Accelerator With Stream-Based Line-Buffer Architecture
卷积神经网络（CNN）加速器由于其效率而被广泛使用，但是它们需要大量的存储器，导致使用缓慢且功耗高的外部存储器。本文利用两种方案，以减少所需的内存量，并最终实现一个CNN的合理性能，只有一个实际的设备，如低端FPGA的片上存储器。为了减少中间数据的存储量，提出了一种基于流的行缓冲器结构和用于该结构的缓冲器流，而不是传统的基于帧的结构，其中中间数据存储量与输入图像大小的平方成比例。该架构由层专用块组成，以流水线方式与输入和输出流一起操作。每个卷积层块具有仅存储几行输入数据的行缓冲器。行缓冲器的大小与输入图像的宽度成比例，因此该架构比传统的基于帧的架构需要更少的中间数据存储，特别是在现代目标检测CNN中越来越大的输入大小的趋势中。除了减少的中间数据存储之外，通过加速器感知修剪来减少权重存储。实验结果表明，一个完整的目标检测CNN可以实现，即使在低端的FPGA没有外部存储器。与以前的加速器具有类似的目标检测精度相比，所提出的加速器达到更高的吞吐量，即使用更少的FPGA资源的LUT，寄存器，DSP，显示出更高的效率。经训练的模型和实现的位文件可在https://github.com/HyeongjuKang/accelerator-aware-pruning和https://github.com/HyeongjuKang/aocstream上获得。
2022-12-22 cs.AR
Scope: A Scalable Merged Pipeline Framework for Multi-Chip-Module NN Accelerators
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Capital Normal University（首都师范大学）
Scope提出了一种合并流水线框架，通过整合多层维度优化多芯片模块NN加速器的吞吐量和可扩展性，实验显示其在ResNet-152推理中实现了1.73倍的吞吐量提升。
2026-02-16 cs.AR
A scalable and efficient convolutional neural network accelerator using HLS for a System on Chip design
Aarhus University（奥胡斯大学）
提出了一种用于片上系统设计的可配置卷积神经网络加速器（CNNA）。目标是在嵌入式SoC平台上加速不同深度学习网络的推理。提出的CNNA具有可扩展的架构，它使用高级综合（HLS）和SystemC的硬件加速器。它能够加速从Python导出的任何卷积神经网络（CNN），并支持卷积、最大池化和全连接层的组合。本文提出了一种定点量化权值的训练方法。CNNA是基于模板的，使其能够针对Xilinx Zynq平台的不同目标进行扩展。这种方法支持设计空间探索，这使得在C和RTL仿真期间探索CNNA的几种配置成为可能，使其适合所需的平台和模型。使用CNN VGG 16在Xilinx Ultra 96板上使用PYNQ测试该解决方案。与类似的浮点模型相比，使用自动缩放的定点Q2.14格式进行训练的结果具有较高的准确性。它能够在2.0秒内执行推理，而平均功耗为2.63 W，相当于6.0 GOPS/W的功率效率。
2020-10-07 cs.AR cs.CV
LoopTree: Exploring the Fused-layer Dataflow Accelerator Design Space
本文提出更广泛的融合层数据流加速器设计空间、系统分类法和LoopTree评估模型，通过探索分块、数据保留与重计算组合，实现更高效设计，如缓冲区容量最多减少10倍。
2024-10-14 cs.AR
HFRWKV: A High-Performance Fully On-Chip Hardware Accelerator for RWKV
Sun Yat-sen University（中山大学）
HFRWKV是一种基于FPGA的全芯片硬件加速器，通过混合精度量化和优化架构提升RWKV的吞吐量和能效
2026-01-05 cs.AR
Relational Hoare Logic for High-Level Synthesis of Hardware Accelerators
The University of Tokyo（东京大学）
本文提出基于关系霍尔逻辑的正式翻译框架，用于自动优化硬件加速器的高层综合，通过插入缓冲区和流处理提升性能。
2026-01-23 cs.AR cs.PL
ShortcutFusion: From Tensorflow to FPGA-based accelerator with reuse-aware memory allocation for shortcut data
残差块是最近最先进的CNN（如EfficientNet或EfficientDet）中非常常见的组件。在ResNet 152中，XML数据占特征地图访问的近40%[8]。以前的DNN编译器、加速器大多忽略了快捷方式的数据优化。本文介绍了ShortcutFusion，基于FPGA的加速器的优化工具，具有重用意识的静态内存分配的快捷数据，最大限度地提高片上数据重用给定的资源约束。从TensorFlow DNN模型中，所提出的设计为一组节点生成指令集，这些节点为每个残留块使用优化的数据重用。在Xilinx KCU 1500 FPGA卡上实现的加速器设计比NVIDIA RTX 2080 Ti快2.8倍，能效高9.9倍，输入尺寸为256 x256。.与基线的结果相比，在基线中，权重、输入和输出每层都从片外存储器访问一次，ShortcutFusion将RetinaNet、Yolov 3、ResNet 152和EfficientNet的DRAM访问减少了47.8-84.8%。考虑到与ShortcutMining [8]类似的缓冲区大小，它也在硬件中挖掘快捷方式数据，所提出的工作将特征映射的片外访问减少了5.27倍，同时从片外存储器访问权重仅一次。
2022-02-13 cs.AR cs.DC
Shenjing: A low power reconfigurable neuromorphic accelerator with partial-sum and spike networks-on-chip
下一波设备上的人工智能可能需要节能的深度神经网络。脑激励脉冲神经网络（SNN）已被确定为一个有前途的候选人。不需要乘法器就能显著降低能耗。对于设备上的应用，除了计算之外，通信也会产生大量的能量和时间。在本文中，我们提出了Shenjing，一个可配置的SNN架构，完全暴露所有片上通信的软件，使软件映射的SNN模型具有高精度，低功耗。与TrueNorth等先前的SNN架构不同，Shenjing不需要对映射进行任何模型修改和重新训练。我们表明，传统的人工神经网络（ANN），如多层感知器，卷积神经网络，以及最新的残留神经网络可以成功地映射到深井，实现与SNN的能源效率的ANN。对于使用多层感知器的MNIST推理问题，我们能够实现96%的准确度，同时使用10个Shenjing核心仅消耗1.26mW。
2019-11-25 cs.AR cs.ET cs.NE
Performance Implications of Multi-Chiplet Neural Processing Units on Autonomous Driving Perception
University of California, Irvine（加州大学欧文分校）
本文以Tesla Autopilot感知流水线为案例，分析芯粒NPU上各感知模型的性能特征，提出一种新颖的多芯片调度策略，在MAESTRO模拟器上实现吞吐量提升82%、处理引擎利用率提升2.8倍。
2024-11-24 cs.AI cs.AR cs.DC
Communication Lower Bound in Convolution Accelerators
在当前的卷积神经网络（CNN）加速器中，通信（即，存储器访问）支配能量消耗。这项工作提供了全面的分析和方法，以尽量减少CNN加速器的通信。对于片外通信，我们推导出任何卷积层的理论下限，并提出了一个达到下限的卷积层。这个基本问题从未被先前的研究解决。基于精心设计的工作负载和存储映射方案，最大限度地减少了片上通信。此外，我们还设计了一个通信最佳的CNN加速器架构。基于65 nm工艺的评估表明，所提出的架构几乎达到了理论上的最小通信在一个三级存储层次结构，它是计算占主导地位。我们的加速器的能量效率与理论最佳值之间的差距仅为37- 87%。
2020-01-17 cs.AR cs.DC
MeshKV: A Network-on-Chip KV Cache Fabric for Scalable Transformer Decoding Accelerators
University of California, Los Angeles（加州大学洛杉矶分校）；Columbia University（哥伦比亚大学）
MeshKV提出一种基于轻量级NoC的KV缓存结构，通过条带化、多播和流水线重叠技术，在FPGA上实现最高58%的互连流量削减和2.1倍带宽利用率提升。
2026-09-18 cs.AI cs.AR
Silicon Photonic 2.5D Interposer Networks for Overcoming Communication Bottlenecks in Scale-out Machine Learning Hardware Accelerators
Colorado State University（科罗拉多州立大学）
针对单片ML加速器无法满足能效与吞吐量需求、2.5D电子加速器受金属互连限制的问题，本文提出在2.5D平台中利用光通信与光计算，构建高能效高吞吐量的2.5D ML加速器架构。
2024-03-07 cs.AR cs.LG eess.SP
Taming the Tail: NoI Topology Synthesis for Mixed DL Workloads on Chiplet-Based Accelerators
Indraprastha Institute of Information Technology Delhi（印度普拉斯塔信息技术学院德里）；Washington State University（华盛顿州立大学）；Microsoft Research（微软研究院）
针对异构芯粒加速器中内存突发传输导致NoI尾部延迟超标问题，提出干扰得分量化争用影响，构建多目标优化的PARL拓扑生成器，可在保持竞争力的平均吞吐量的同时将最坏情况减速降至1.2倍，满足SLA要求。
2025-10-28 cs.AI cs.AR cs.LG
ARK: Fully Homomorphic Encryption Accelerator with Runtime Data Generation and Inter-Operation Key Reuse
同态加密（Homomorphic Encryption，HE）是后量子密码学中最有前途的方案之一，它能够在服务器上实现隐私保护计算。然而，当我们对HE加密数据执行操作时，噪声会积累，从而限制了可能的操作数量。完全HE（FHE）通过引入刷新数据的自举操作来消除这种限制;然而，FHE方案是高度内存受限的。特别是自举需要从片外存储器加载GB的评估密钥和明文，这使得FHE加速从根本上受到片外内存带宽的限制。在本文中，我们提出了ARK，一个加速器FHE的数据生成和互操作密钥重用。ARK通过新颖的算法架构协同设计实现实际的FHE工作负载，以加速自举。我们首先通过运行时数据生成和操作间密钥重用消除片外内存带宽瓶颈。这种方法使ARK能够充分利用片上存储器，大大减少了工作集的大小。在这样的算法增强之上，我们构建了ARK微架构，通过基于数据访问模式的高效交替数据分布策略和定制功能单元的精简的并行组织（包括基础转换，数论变换和自同构单元），最大限度地减少了片上数据移动。总的来说，我们的协同设计有效地处理了FHE的繁重计算和数据移动开销，大大降低了HE操作的成本，包括自举。
2022-10-30 cs.AR cs.CR
eFAT: Improving the Effectiveness of Fault-Aware Training for Mitigating Permanent Faults in DNN Hardware Accelerators
New York University Abu Dhabi（纽约大学阿布扎比分校）
本文提出 eFAT 框架，通过韧性驱动的重训练量选择及多芯片故障图分组融合，在保证精度约束下显著降低多颗永久性故障 DNN 加速器芯片的 FAT 重训练成本。
2023-04-20 cs.AR cs.LG
FedChip: Federated LLM for Artificial Intelligence Accelerator Chip Design
New Jersey Institute of Technology（新泽西理工学院）；University of South Carolina（南卡罗来纳大学）
FedChip提出联邦微调方法，使多方在保护数据隐私的前提下协作训练用于AI芯片设计生成的共享大语言模型，并配套APTPU-Gen数据集和Chip@k评估指标，实验显示设计质量提升超77%。
2025-07-23 cs.AR cs.LG
A 14uJ/Decision Keyword Spotting Accelerator with In-SRAM-Computing and On Chip Learning for Customization
针对关键词识别的低功耗与用户定制需求，本文提出一款采用SRAM内存计算和片上学习的加速器，通过偏置补偿、误差缩放等技术解决IMC非理想与低精度训练问题，实现14μJ/决策的高能效与96.71%的定制后精度。
2022-05-10 cs.AR cs.LG eess.AS
Opto-ViT-v2: Noise-Resilient On-Chip Fine-Tuning for Photonic Near-Sensor Vision Transformer Accelerators
Case Western Reserve University（凯斯西储大学）；New Jersey Institute of Technology（新泽西理工学院）；Colorado State University（科罗拉多州立大学）
研究针对硅光子加速器支持片上微调的挑战，提出Opto-ViT-v2框架。采用张量低秩分解和梯度累积稀疏分类器，开发噪声模型。实验表明其在光子噪声下能恢复精度，实现高功率效率，达成片上域适应。
2026-07-23 cs.AI cs.AR
ROMANet: Fine-Grained Reuse-Driven Off-Chip Memory Access Management and Data Organization for Deep Neural Network Accelerators
Technische Universität Wien（维也纳工业大学）；Institute of Computer Engineering（计算机工程研究所）
实现高能效对于深度学习的嵌入式实现至关重要。多项研究表明，基于DRAM的片外存储器访问是深度神经网络（DNN）加速器中最耗能的操作之一，从而限制了设计在最大潜力下实现效率增益。DRAM访问能量根据所需的访问次数以及每次访问消耗的能量而变化。因此，寻找最小DRAM存取能量的解决方案是一个重要的优化问题。为此，我们提出了ROMANet的方法，旨在减少内存访问的次数，通过搜索适当的数据分区和调度网络的每一层使用的设计空间探索，基于知识的可用的片上存储器和数据重用因素。此外，ROMANet还旨在通过利用DRAM多存储体突发特征来提高每次访问的能量来减少DRAM行缓冲器冲突和未命中的数量。除了提供能源的好处，我们提出的DRAM数据映射还导致增加有效的DRAM吞吐量，这是有用的延迟约束的情况。我们的实验结果表明，ROMANet节省了12%的AlexNet，36%的VGG-16，和46%的MobileNet的DRAM访问能量，同时也提高了10%的DRAM吞吐量相比，国家的最先进的。
2020-08-02 cs.AR cs.DC cs.LG
Hyperdrive: A Multi-Chip Systolically Scalable Binary-Weight CNN Inference Engine
ETH Zurich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）
深度神经网络在计算机视觉和机器学习方面取得了令人印象深刻的成果。不幸的是，最先进的网络是非常计算和内存密集型的，这使得它们不适合物联网终端节点等兆瓦设备。这些网络的积极量化大大减少了计算和内存占用。二进制权重神经网络（BWN）遵循这一趋势，将权重量化推向极限。到目前为止，针对BWN的硬件加速器一直专注于核心效率，而忽略了I/O带宽和系统级效率，这对于在超低功耗设备中部署加速器至关重要。我们介绍Hyperdrive：BWN加速器利用新颖的二进制权重流方法显著降低I/O带宽，该方法可用于任意大小的卷积神经网络架构和输入分辨率，方法是通过将Hyperdrive芯片系统地布置在2D网格中，同时并行处理整个特征图，从而利用芯片级和系统级计算单元的自然可扩展性。Hyperdrive实现了4.3 TOp/s/W的系统级效率（即，包括I/O）--比最先进的BWN加速器高3.1倍，即使其核心使用资源密集型FP 16算法来提高鲁棒性。
2019-03-14 cs.AR cs.CV cs.DC
A Prototype-Based Framework to Design Scalable Heterogeneous SoCs with Fine-Grained DFS
本文提出基于原型的Vespa框架，通过在片上网络节点内复制加速器、划分独立动态频率缩放频率岛并配备运行时监控，实现大规模异构SoC的快速设计空间探索与运行时优化。
2025-01-06 cs.AR
FEATHER: A Reconfigurable Accelerator with Data Reordering Support for Low-Cost On-Chip Dataflow Switching
Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）
FEATHER通过Nest空间数组和BIRRD多阶段缩减网络实现灵活的数据重排，支持无缝切换最优数据流，提升推理延迟和能效。
2024-05-21 cs.AR
Combined Scheduling, Memory Allocation and Tensor Replacement for Minimizing Off-Chip Data Accesses of DNN Accelerators
Princeton University（普林斯顿大学）
本文提出COSMA框架，通过联合优化算子调度、内存分配和张量替换，以ILP求解最小化DNN加速器片外数据访问，并设计分治启发式扩展至神经架构搜索生成的复杂DNN，平均减少84%-85%的数据访问。
2023-11-30 cs.AR cs.LG
ESP4ML: Platform-Based Design of Systems-on-Chip for Embedded Machine Learning
我们提出了ESP 4 ML，这是一个开源的系统级设计流程，用于为需要机器学习和信号处理算法的硬件加速的嵌入式应用构建和编程SoC架构。我们通过将两个已建立的开源项目（ESP和HLS 4 ML）合并到一个新的全自动设计流程中来实现ESP 4 ML。针对HLS 4 ML生成的加速器的SoC集成，设计了一套新的可通过高级综合进行综合的参数化接口电路。针对加速器的配置和管理，我们在Linux平台上开发了一个嵌入式软件运行时系统。有了这个硬件/软件层，我们解决了在片上网络上动态塑造数据流量的挑战，以激活和支持当前在SoC上运行的应用程序工作负载所需的加速器的可重新配置管道。我们展示了基于FPGA的完整SoC实例实现的垂直集成贡献，这些实例引导Linux并执行计算机-视觉应用程序，处理从谷歌街景数据库拍摄的图像。
2020-06-18 cs.AR
An Irredundant and Compressed Data Layout to Optimize Bandwidth Utilization of FPGA Accelerators
针对 FPGA 加速器处理多维数据集时的内存带宽瓶颈，本文提出基于编译器的连续数据布局，并结合数据打包与运行时压缩，将 I/O 周期最多降低 7 倍。
2024-01-22 cs.AR
AccelCIM: Systematic Dataflow Exploration for SRAM Compute-in-Memory Accelerator
School of Integrated Circuits, Peking University（北京大学集成电路学院）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）；School of Integrated Circuits, Southeast University（东南大学集成电路学院）；School of Integrated Circuits, Anhui Polytechnic University（安徽工业大学集成电路学院）
本文提出AccelCIM框架，系统探索SRAM存内加速器的数据流，解决传统方法的两大局限：系统化设计空间和严格评估方法，通过模拟与布局分析提升DNN加速器性能。
2026-04-20 cs.AR
PulseDL-II: A System-on-Chip Neural Network Accelerator for Timing and Energy Extraction of Nuclear Detector Signals
Tsinghua University（清华大学）；Central China Normal University（华中师范大学）
配备高速数字化仪的前端电子设备正在被用于未来的核探测器。最近的文献表明，深度学习模型，特别是一维卷积神经网络，在处理来自核探测器的数字信号时很有前途。仿真和实验表明，令人满意的精度和额外的好处，神经网络在这方面。然而，具体的硬件加速这种模式的在线操作仍然需要研究。在这项工作中，我们介绍PulseDL-Ⅱ，片上系统（SoC），专门设计的事件功能（时间，能量等）的应用。通过深度学习提取脉冲。基于以前的版本，PulseDL-II将RISC CPU纳入系统结构，以实现更好的功能灵活性和完整性。SoC中的神经网络加速器采用三级（运算单元、处理单元、神经网络）分层结构，便于数字设计的参数优化。此外，我们设计了一种与深度学习框架兼容的量化方案（例如，TensorFlow）。我们验证了正确的操作PulseDL-II的现场可编程门阵列（FPGA）单独和实验设置，包括一个直接数字合成（DDS）和模数转换器（ADC）。该系统在信噪比为47.4 dB时，时间分辨率为60 ps，能量分辨率为0.40%。
2023-02-09 cs.AR cs.LG physics.ins-det
