Transaction-level Model Simulator for Communication-Limited Accelerators
加速器算法-架构协同设计的关键是在设计初期快速探索设计空间。在这项工作中，预RTL周期准确的加速器模拟器的SystemC事务级建模（TLM），AccTLMSim，提出了卷积神经网络（CNN）加速器。加速器模拟器跟踪加速器和DRAM之间的每个总线事务，考虑到通信带宽。仿真结果与Xilinx Zynq上的实现结果进行了对比验证。使用建议的模拟器，它表明，通信带宽严重影响DRAM延迟和总线协议开销。此外，环路平铺优化，以最大限度地提高性能的约束下的片内SRAM的大小。此外，提出了一种新的性能估计模型，以加快设计空间的探索。由于提出的模拟器和性能评估模型，可以在几十分钟内探索数百万个架构选项的设计空间。
2020-07-29 cs.AR
Medusa: A Scalable Interconnect for Many-Port DNN Accelerators and Wide DRAM Controller Interfaces
Stony Brook University（石溪大学）
为了应对深度神经网络（DNN）日益增长的需求和计算强度，工业界和学术界已经转向加速器技术。特别是，FPGA已经被证明可以在性能和能效之间提供良好的平衡，以加速DNN。虽然重要的研究集中在如何构建高效的层处理器，DNN加速器的计算构建块，但相对较少关注位于层处理器和FPGA的DRAM控制器之间的片上互连。我们观察到DNN加速器接口（往往包括许多窄端口）和FPGA DRAM控制器接口（往往是宽总线）之间的差异。这种不匹配导致传统互连消耗大量FPGA资源。为了解决这个问题，我们设计了Medusa：一种优化的FPGA存储器互连，它在互连结构中转置数据，根据DNN层处理器的需求定制互连。与传统的FPGA互连相比，我们的设计可以将LUT和FF的使用减少4.7倍和6.0倍，并将频率提高1.8倍。
2018-07-11 cs.AR cs.LG cs.NE
MAC-DO: An Efficient Output-Stationary GEMM Accelerator for CNNs Using DRAM Technology
针对DRAM原位加速器利用率低和MAC操作周期长的问题，提出MAC-DO，利用双1T1C单元和电荷引导模拟计算实现单周期多位MAC，提升吞吐量和能效。
2024-02-07 cs.AR cs.DC cs.NE
EXMA: A Genomics Accelerator for Exact-Matching
基因组学是精准医学、全球粮食安全和病毒监测的基础。精确匹配是基因组学中几乎每一个步骤（如比对、组装、注释和压缩）中广泛使用的最基本操作之一。现代基因组学采用Ferragina-Manzini索引（FM-Index），通过额外的数据结构来增强空间有效的Burrows-Wheeler变换（BWT），以允许超快的精确匹配操作。然而，FM-Index是臭名昭著的，其穷人的空间局部性和随机内存访问模式。之前的工作创建了基于GPU、FPGA、ASIC甚至内存处理器（PIM）的加速器，以提高FM-Index搜索吞吐量。尽管它们实现了最先进的FM索引搜索吞吐量，但与所有现有的常规加速器相同，FM索引PIM在每个DRAM行激活之后仅处理一个DNA符号，从而遭受较差的内存带宽利用率。在本文中，我们提出了一个硬件加速器，EXMA，以提高FM索引搜索吞吐量。我们首先创建一个新的EXMA表与多任务学习（MTL）为基础的索引处理多个DNA符号与每个DRAM行激活。然后我们构建一个加速器来搜索EXMA表。我们提出2阶段调度，以增加我们的加速器的缓存命中率。我们引入动态页面策略来提高DRAM主存储器的行缓冲区命中率。我们还提出了CHAIN压缩，以减少数据结构的EXMA表的大小。与最先进的FM-Index PIM相比，EXMA将搜索吞吐量提高了$4.9\times$，并将每瓦搜索吞吐量提高了$4.8\times$。
2021-01-13 cs.AR
NicePIM: Design Space Exploration for Processing-In-Memory DNN Accelerators with 3D-Stacked-DRAM
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
针对DRAM-PIM加速器，提出NicePIM设计空间探索框架，通过PIM-Tuner、PIM-Mapper和Data-Scheduler优化硬件配置与DNN映射，平均降低延迟37%和能耗28%。
2023-05-30 cs.AR cs.LG
Cheshire: A Lightweight, Linux-Capable RISC-V Host Platform for Domain-Specific Accelerator Plug-In
本文提出Cheshire，一个轻量级、模块化、支持Linux的64位RISC-V主机平台，通过低引脚数DRAM接口、可配置缓存和DMA引擎实现领域专用加速器的无缝即插即用，并在65nm硅演示器Neo上验证了高能效与开源可综合性。
2023-07-06 cs.AR
ODMA: On-Demand Memory Allocation Strategy for LLM Serving on LPDDR-Class Accelerators
University of Chinese Academy of Sciences（中国科学院大学）；Beijing Information Science and Technology University（北京信息科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
ODMA针对LPDDR类加速器的随机访问带宽限制，提出按需内存分配策略，通过动态调整内存桶边界和安全池提升KV缓存利用率和吞吐量。
2026-04-21 cs.AI cs.AR
ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks
ARTEMIS是一种混合模拟-随机存内DRAM加速器，通过最小化DRAM改动并利用新型电容器支持随机计算和模拟累加，在加速Transformer时相比GPU、TPU等实现至少3.0倍速度提升和1.9倍能效改善。
2024-07-17 cs.AR cs.LG
GenDRAM:Hardware-Software Co-Design of General Platform in DRAM
University of California San Diego（加州大学圣地亚哥分校）；Swiss Federal Institute of Technology in Lausanne (EPFL)（洛桑联邦理工学院）
GenDRAM通过在DRAM中实现硬件软件协同设计，突破传统架构的数据移动瓶颈，实现动态规划算法和基因组流水线的高性能计算。
2026-02-27 cs.AR
Pointer: An Energy-Efficient ReRAM-based Point Cloud Recognition Accelerator with Inter-layer and Intra-layer Optimizations
本文提出基于ReRAM的点云识别加速器Pointer，通过层间协调与拓扑感知层内重排序减少DRAM访问并加速MLP，实现40-393倍加速和22-163倍能效提升且无精度损失。
2024-10-23 cs.AR
Systematic Exploration of Multi-core Architectures for Efficient LLM Serving using WaferAI-SIM
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（上海交通大学平行与分布式系统研究所）；Department of Precision Instrument, Tsinghua University（清华大学精密仪器系）
针对多核NPU上LLM推理性能不佳的问题，提出多级仿真框架并系统优化张量并行、核心放置、内存管理及PD分离/融合策略，实现1.32x-6.03x加速。
2026-09-29 cs.AR cs.LG
Bridging LLM Serving and CXL-SSDs with Chunk-Aware KV Cache Management
Sogang University（西江大学）；Samsung Electronics Co.（三星电子公司）；ETRI（韩国电子通信研究院）
提出LM-CXD，一种针对LLM前缀缓存优化的CXL-SSD，通过块感知KV缓存管理、窗口预取和逐层流水线，显著降低TTFT，接近本地DRAM性能。
2026-09-24 cs.AI cs.AR cs.ET
An Energy-Efficient Accelerator Architecture with Serial Accumulation Dataflow for Deep CNNs
近年来，卷积神经网络（CNN）在许多视觉任务中表现出出色的准确性。然而，当在便携式设备和嵌入式系统上部署CNN时，大量的参数和计算导致处理时间长和电池寿命低。设计CNN硬件加速器的一个重要因素是有效地将卷积计算映射到硬件资源上。此外，为了节省电池寿命并降低能耗，减少DRAM访问的次数至关重要，因为与硬件中的其他操作相比，DRAM消耗的能量要多几个数量级。在本文中，我们提出了一种节能的架构，最大限度地利用其计算单元的卷积运算，同时需要低数量的DRAM访问。实现结果表明，所提出的架构执行一个图像识别任务，使用VGGNet模型的延迟为393 ms，只有251.5 MB的DRAM访问。
2020-02-15 cs.AR eess.SP
Stratum: System-Hardware Co-Design with Tiered Monolithic 3D-Stackable DRAM for Efficient MoE Serving
University of California, San Diego（加州大学圣地亚哥分校）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Illinois Institute of Technology（伊利诺伊理工学院）
Stratum通过系统-硬件协同设计，结合Mono3D DRAM、近内存处理与GPU加速，并利用主题预测的专家使用引导数据分层，实现MoE服务中高达8.29倍解码吞吐量和7.66倍能效提升。
2025-10-06 cs.AR cs.ET cs.LG
A Shape-Adaptive Architecture with Disaggregated Quantization for Efficient LLM Serving
Duke University（杜克大学）
提出DynaCore架构，通过重塑MEU和解聚量化协同设计，显著提升LLM服务效率，TTFT提升3.50倍，TPOT提升36.55倍。
2026-10-07 cs.AR
ROMANet: Fine-Grained Reuse-Driven Off-Chip Memory Access Management and Data Organization for Deep Neural Network Accelerators
Technische Universität Wien（维也纳工业大学）；Institute of Computer Engineering（计算机工程研究所）
实现高能效对于深度学习的嵌入式实现至关重要。多项研究表明，基于DRAM的片外存储器访问是深度神经网络（DNN）加速器中最耗能的操作之一，从而限制了设计在最大潜力下实现效率增益。DRAM访问能量根据所需的访问次数以及每次访问消耗的能量而变化。因此，寻找最小DRAM存取能量的解决方案是一个重要的优化问题。为此，我们提出了ROMANet的方法，旨在减少内存访问的次数，通过搜索适当的数据分区和调度网络的每一层使用的设计空间探索，基于知识的可用的片上存储器和数据重用因素。此外，ROMANet还旨在通过利用DRAM多存储体突发特征来提高每次访问的能量来减少DRAM行缓冲器冲突和未命中的数量。除了提供能源的好处，我们提出的DRAM数据映射还导致增加有效的DRAM吞吐量，这是有用的延迟约束的情况。我们的实验结果表明，ROMANet节省了12%的AlexNet，36%的VGG-16，和46%的MobileNet的DRAM访问能量，同时也提高了10%的DRAM吞吐量相比，国家的最先进的。
2020-08-02 cs.AR cs.DC cs.LG
ARAPrototyper: Enabling Rapid Prototyping and Evaluation for Accelerator-Rich Architectures
与传统的通用处理器相比，加速器丰富架构（ARA）可以提供数量级的性能和能量增益，并正在成为暗硅时代最有前途的解决方案之一。然而，与通用核、加速器、定制的片上互连和存储器系统之间的复杂交互相关的许多设计问题仍然不清楚并且难以评估。在本文中，我们设计和实现的ARAPrototyper，使快速的设计空间探索真正的硅ARA和减少繁琐的原型工作远远下降到可管理的努力。首先，ARAPrototyper提供了一个可重用的基线原型，具有高度可定制的内存系统，包括加速器和缓冲器之间的互连，缓冲器和末级缓存（LLC）或DRAM之间的互连，LLC或DRAM的一致性选择，以及地址转换支持。其次，ARAPrototyper提供了一个干净的界面，可以快速集成用户自己用高级合成（HLS）代码编写的加速器。整个设计流程高度自动化，以在FPGA片上系统（SoC）上生成ARA原型。第三，为了快速开发在ARA原型上无缝运行的应用程序，ARAPrototyper提供了一个系统软件栈，将加速器抽象为软件库，并为软件开发人员提供API。我们的实验结果表明，ARAPrototyper能够以可管理的原型工作为ARA进行广泛的设计空间探索，其评估时间比全系统模拟快4，000倍至10，000倍。我们相信ARAPrototyper可以成为ARA设计和评估的一个有吸引力的选择。
2016-10-31 cs.AR
DX100: A Programmable Data Access Accelerator for Indirection
针对间接内存访问的带宽瓶颈，提出可编程数据访问加速器DX100，通过重排和合并请求提升DRAM带宽利用率，并借助MLIR编译器自动转换代码，性能显著优于多核基线和现有预取器。
2025-06-02 cs.AR
Rosebud: Making FPGA-Accelerated Middlebox Development More Pleasant
我们介绍了一种设计FPGA加速中间盒的方法，通过解耦硬件加速器实现和软件应用程序编程的任务，简化了开发，调试和性能调整。Rosebud是一个框架，通过标准化的硬件/软件接口将硬件加速器链接到高性能数据包处理管道。这种关注点的分离使硬件开发人员能够专注于优化自定义加速器，同时使软件程序员能够以类似于软件库的方式重用、配置和调试加速器。我们通过在不到一个月的时间内构建一个基于大型黑名单的防火墙和移植Pigernet IDS模式匹配加速器来展示Rosebud框架的好处。我们的实验表明，Rosebud提供了高性能，服务约200 Gbps的流量，同时只增加了0.7-7微秒的延迟。
2023-03-17 cs.AR
Architecture-Level Modeling of Photonic Deep Neural Network Accelerators
针对光子DNN加速器全系统能耗评估缺乏工具的问题，提出利用CiM建模工具实现光子系统架构级建模的方法，开发开源模型验证了跨域转换与DRAM的高能耗占比，并通过优化将能效提升最高3倍。
2024-05-14 cs.AR cs.ET
PIM-GPT: A Hybrid Process-in-Memory Accelerator for Autoregressive Transformers
针对GPT类自回归Transformer推理的内存受限瓶颈，提出基于DRAM存内计算与ASIC协同的PIM-GPT加速器，通过软硬件协同优化实现了远超CPU、GPU的推理速度与能效。
2024-04-14 cs.AR
PENDRAM: Enabling High-Performance and Energy-Efficient Processing of Deep Neural Networks through a Generalized DRAM Data Mapping Policy
New York University（纽约大学）
PENDRAM提出一种广义DRAM数据映射策略及设计空间探索方法，通过优化CNN加速器的DRAM访问延迟与能耗，实现高性能高能效的嵌入式AI推理加速。
2024-08-05 cs.AI cs.AR cs.LG
DRAMA: Commodity DRAM based Content Addressable Memory
DRAMA利用商品DRAM实现CAM、TCAM及近似搜索功能，通过位串行比较和非标准时序实现AND/OR操作，在细菌DNA分类中性能提升3.6倍、功耗降低19.6倍。
2023-12-24 cs.AR
DeepStack: Facilitating Co-Design Exploration of 3D DRAM-Stacked Accelerators for Distributed LLM Inference
Imperial College London（帝国理工学院）；Peking University（北京大学）；Tile-AI
DeepStack通过高效模型和工具实现分布式3D堆叠AI系统的早期设计空间探索，利用双阶段网络抽象和计算通信重叠技术，提升性能模拟效率，并揭示批量大小对架构设计的根本影响。
2026-09-14 cs.AR cs.DC
Understanding Bottlenecks for Efficiently Serving LLM Inference With KV Offloading
本文通过分析KV缓存卸载的瓶颈，提出优化硬件互连、模型架构和调度算法以提升大语言模型推理效率的方法。
2025-12-16 cs.AR cs.DC
Sangam: Chiplet-Based DRAM-PIM Accelerator with CXL Integration for LLM Inferencing
针对大语言模型推理因KV缓存增大而内存受限的问题，提出基于小芯片的DRAM-PIM加速器Sangam，通过CXL集成解耦逻辑与内存，提升带宽并支持先进处理组件，显著降低延迟、提高吞吐量且节省能耗。
2025-11-15 cs.AI cs.AR
NELSSA: A GPU-PNM Heterogeneous System for Mixed-Length LLM Serving via Length-based Request Placement
SK hynix（SK海力士）；KAIST（韩国科学技术院）
NELSSA是集成GPU与PNM加速器的LLM服务系统，通过基于长度的请求放置处理混合长度工作负载，解码吞吐量最高提升5.5倍，P99延迟最高降低15倍，为LLM基础设施提供新范式。
2026-07-30 cs.AR
RCW-CIM: A Digital CIM-based LLM Accelerator with Read-Compute/Write
National Yang Ming Chiao Tung University（国立阳明交通大学）；Industrial Technology Research Institute（工业技术研究院）
本文提出RCW-CIM架构，通过减少权重更新延迟和非线性操作融合，实现LLM加速，使Llama2-7B模型解码延迟降低21.59%，并提升能效。
2026-04-30 cs.AR
A Full-Stack Search Technique for Domain Optimized Deep Learning Accelerators
Google Brain（谷歌大脑）；Google（谷歌）；Stanford University（斯坦福大学）
快速变化的深度学习环境为构建针对特定企业级工作负载优化的推理加速器提供了独特的机会。我们提出了全栈加速器搜索技术（FAST），这是一个硬件加速器搜索框架，它定义了一个广泛的优化环境，涵盖硬件-软件堆栈中的关键设计决策，包括硬件数据路径，软件调度和编译器通道，如操作融合和张量填充。在本文中，我们分析了最先进的视觉和自然语言处理（NLP）模型中的瓶颈，包括EfficientNet和BERT，并使用FAST设计能够解决这些瓶颈的加速器。与TPU-v3相比，针对单一工作负载优化的FAST生成的加速器在所有基准测试中将Perf/TDP平均提高了3.7倍。与TPU-v3相比，FAST生成的加速器针对服务一系列工作负载进行了优化，平均将Perf/TDP提高了2.4倍。我们的投资回报分析表明，FAST生成的加速器可能适用于中等规模的数据中心部署。
2022-02-01 cs.AR cs.LG cs.PF
Die-Stacked DRAM: Memory, Cache, or MemCache?
堆叠式动态随机存取存储器（DRAM）是满足多核处理器日益增长的内存带宽需求的一种有前途的解决方案。制造技术已经使得能够在有源管芯上堆叠数千兆字节的DRAM模块，从而提供与常规的基于DIMM的DDR存储器相比高数量级的带宽。然而，由于其有限的容量，管芯堆叠DRAM无法容纳现代大数据应用的整个数据集。因此，先前的提议将其用作相当大的存储器侧缓存或作为软件可见的主存储器的一部分。缓存设计可以适应应用程序的动态变化，但遭受标签存储/延迟/带宽开销。另一方面，存储器设计消除了对标记的需要，并且因此提供了对数据的有效访问，但是由于其静态性质而不能捕获应用的动态行为。在这项工作中，我们提出了一种情况下使用的管芯堆叠DRAM部分作为主存储器，部分作为缓存。我们观察到，在现代大数据应用程序中，存在许多具有大量访问的热页面。基于这一观察，我们建议使用一部分管芯堆叠DRAM作为主存储器来托管热页，从而能够在没有标签检查开销的情况下为来自高带宽DRAM的大量访问提供服务，并将DRAM的其余部分作为高速缓存来管理，用于捕获应用程序的动态行为。在该提议中，软件过程预处理应用程序并确定热页，然后要求OS将它们映射到裸片堆叠DRAM的存储器部分。裸片堆叠式DRAM的高速缓存部分由硬件管理，高速缓存芯片外存储器中分配的数据。
2018-09-24 cs.AR
Fengshui: Demystifying Chiplet Ecosystem and Bespoke Neural Network Accelerator Codesign
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
Fengshui框架通过算子级分解和Chiplet池与BASIC加速器协同设计，仅用8个Chiplet实现高达97.8%的EDPC降低，性能接近无约束异构设计。
2026-09-11 cs.AR
PRESERVE: Prefetching Model Weights and KV-Cache in Distributed LLM Serving
Huawei Zurich Research Center Switzerland（华为苏黎世研究中心）
PRESERVE通过在通信期间预取模型权重和KV缓存到片上缓存，在商用AI加速器上实现高达1.6倍端到端加速，并优化硬件配置额外提升1.25倍性能成本比。
2025-05-26 cs.AI cs.AR cs.DC
SEALing Neural Network Models in Secure Deep Learning Accelerators
深度学习（DL）加速器越来越多地部署在边缘设备上，以支持快速的本地推理。然而，它们遭受新的安全问题，即，容易受到基于物理访问的攻击。攻击者可以通过物理地窥探连接加速器芯片与DRAM存储器的GDDR存储器总线来容易地获得整个神经网络（NN）模型。因此，存储器加密对于边缘设备上的DL加速器变得重要，以提高NN模型的安全性。然而，我们观察到，传统的内存加密解决方案，已有效地用于CPU系统直接用于DL加速器时，会导致显着的性能下降。主要原因是GDDR内存总线和加密引擎之间存在较大的带宽差距。为了解决这个问题，我们的论文提出了SEAL，一个安全高效的深度学习加速器方案。SEAL从两个方面增强了加密DL加速器的性能，提高了数据访问带宽和内存加密的效率。具体来说，为了提高数据访问带宽，SEAL利用了一种关键感知智能加密方案，该方案可以识别对NN模型安全性没有影响的部分数据，并允许它们绕过加密引擎，从而减少了要加密的数据量。为了提高内存加密的效率，SEAL利用了一种托管模式加密方案，通过将数据及其计数器放在同一位置来消除来自用于加密的计数器的内存访问。实验结果表明，与传统的内存加密方案相比，SEAL的IPC性能提高了1.4 ~ 1.6倍，推理延迟降低了39% ~ 60%。与没有内存加密的基准加速器相比，SEAL仅牺牲了5% ~ 7%的IPC，安全性得到了显著提高。
2020-08-09 cs.AR
Tessera: Secure, Near-Line-Rate Weight Streaming for UMA Edge Accelerators
Indian Institute of Technology (IIT) Ropar（印度理工学院（IIT）罗帕尔）
Tessera通过在UMA边缘加速器上实现缓存行粒度的权重解密，解决了传统防御方法在受限环境下的不足，实现了接近理论内存带宽上限的性能，同时有效抵御多种攻击。
2026-04-25 cs.AR cs.CR cs.LG
SCALE-Sim v3: A modular cycle-accurate systolic accelerator simulator for end-to-end system analysis
SCALE-Sim v3通过多核模拟、稀疏矩阵乘法支持、DRAM详细分析、数据布局建模和能耗估算五项增强，实现了对现代AI加速器的端到端系统分析，揭示了延迟与能效之间的权衡。
2025-05-09 cs.AR cs.PF
Oaken: Fast and Efficient LLM Serving with Online-Offline Hybrid KV Cache Quantization
KAIST（韩国科学技术院）；HyperAccel（HyperAccel公司）
本文提出 Oaken，通过离线设定异常值阈值、在线确定量化 scale 的混合 KV cache 量化算法及定制硬件协同设计，在 batch size 256 下较 A100 最高提升 1.58 倍吞吐，平均精度损失仅 0.54%。
2025-05-14 cs.AR cs.LG
A Real Time Super Resolution Accelerator with Tilted Layer Fusion
National Yang Ming Chiao Tung University（阳明交通大学）
基于深度学习的超分辨率可以获得高质量的结果，但其繁重的计算工作量、大缓冲区和高外部内存带宽限制了其在移动设备中的使用。针对上述问题，提出了一种采用倾斜层融合方法的实时硬件加速器，该加速器将外部DRAM带宽降低了92%，片上存储器容量仅为102 KB。采用40 nm CMOS工艺实现的设计在600 MHz下运行时达到1920x1080@60fps的吞吐量和544.3K门数;它具有比以前的设计更高的吞吐量和更低的面积成本。
2022-05-09 cs.AR cs.LG eess.IV
Managing Hybrid Main Memories with a Page-Utility Driven Performance Model
已经提出了由动态随机存取存储器（DRAM）和非易失性存储器（NVM）组成的混合存储器系统，以利用NVM的容量优势和DRAM的延迟和动态能量优势。这种系统的一个重要问题是如何在DRAM和NVM之间放置数据以提高系统性能。在本文中，我们设计的第一种机制，称为UBM（基于页实用程序的混合存储管理），系统地估计系统的性能优势，将页面放置在DRAM与NVM，并使用此估计来指导数据的位置。UBM的估计方法由两个主要部分组成。首先，它估计如果被访问的页面被放置在DRAM中，应用程序的停顿时间可以减少多少。为此，UBM综合考虑访问频率、行缓冲区位置和内存级并行性（MLP）来估计应用程序的停滞时间减少。其次，UBM估计每个应用程序的停滞时间减少对整体系统性能的贡献。基于这种估计方法，UBM可以确定并放置DRAM中最关键的数据，以直接优化系统性能。实验结果表明，对于SPEC CPU 2006和Yahoo Cloud Serving Benchmark（YCSB）套件中的大量数据密集型工作负载，与三种最先进的机制中的最佳机制相比，UBM平均将系统性能提高了14%（最高可达39%）。
2015-07-13 cs.AR
Zebra: Memory Bandwidth Reduction for CNN Accelerators With Zero Block Regularization of Activation Maps
National Chiao Tung University（国立交通大学）
本地缓冲区和外部DRAM之间的大量内存带宽已经成为CNN硬件加速器的加速瓶颈，特别是对于激活图。为了减少内存带宽，我们提出了学习修剪不重要的块动态零块正则化的激活映射（斑马）。该策略计算量小，易于与其他剪枝方法集成，提高了性能。实验结果表明，该方法结合网络瘦身技术，在精度下降1%，精度提高2%的情况下，可以将Tiny-Imagenet上Resnet-18的内存带宽减少70%.
2022-05-02 cs.AR cs.CV cs.LG
SLIM: A Heterogeneous Accelerator for Edge Inference of Sparse Large Language Model via Adaptive Thresholding
提出SLIM算法-硬件协同设计，通过自适应阈值化算法利用LLM稀疏性并结合NSP与PIM异构架构，大幅减少数据移动与能耗，在边缘设备上实现了显著的吞吐量和能效提升。
2025-07-12 cs.AR cs.DC
Taming the Tail: NoI Topology Synthesis for Mixed DL Workloads on Chiplet-Based Accelerators
Indraprastha Institute of Information Technology Delhi（印度普拉斯塔信息技术学院德里）；Washington State University（华盛顿州立大学）；Microsoft Research（微软研究院）
针对异构芯粒加速器中内存突发传输导致NoI尾部延迟超标问题，提出干扰得分量化争用影响，构建多目标优化的PARL拓扑生成器，可在保持竞争力的平均吞吐量的同时将最坏情况减速降至1.2倍，满足SLA要求。
2025-10-28 cs.AI cs.AR cs.LG
Digital Neuron: A Hardware Inference Accelerator for Convolutional Deep Neural Networks
我们提出了一个数字神经元，这是一个硬件推理加速器，用于嵌入式系统的卷积深度神经网络，具有整数输入和整数权重。该算法的主要思想是通过桶形移位器和并行加法器对输入特征向量和权值向量进行点积运算，从而减小电路面积和功耗。减少的面积允许更多的计算引擎被安装在推理加速器上，从而导致与现有的HW加速器相比的高吞吐量。我们验证了与32位浮点计算相比，整数与3个部分子整数的乘法不会导致推理精度的显著损失。所提出的数字神经元可以在一个时钟内执行800次MAC操作，用于卷积和全连接计算。本文提出了一种方案，重用的输入，重量，和输出的所有层，以减少DRAM访问。此外，本文提出了一种可配置的架构，可以提供卷积神经网络的自适应特性的推理。以瓦特为单位的数字神经元的吞吐量达到754.7 GMACs/W。
2019-02-07 cs.AR eess.SP
CIMR-V: An End-to-End SRAM-based CIM Accelerator with RISC-V for AI Edge Device
本文提出CIMR-V，一种集成RISC-V的端到端SRAM基CIM加速器，通过层融合、流水线和权重融合降低延迟，实现高能效AI边缘推理。
2025-03-28 cs.AR
Heterogeneous LLM Serving with General-Purpose Processing-Near-Memory for Retrieval-Based Sparse Attention
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
本文针对前沿LLM的基于检索的稀疏注意力需求，提出异构解码服务系统KARAT，结合PNM与OFMS、CMR优化，大幅提升吞吐量与每TDP性能。
2026-08-05 cs.AR
Characterizing High Bandwidth Flash for LLM Serving
University of California, Berkeley（加州大学伯克利分校）；FuriosaAI；ICSI（国际计算机科学研究所）；LBNL（劳伦斯伯克利国家实验室）
本研究针对LLM服务中的内存瓶颈，提出HBM-HBF-主机分层存储与缓冲缓存感知调度，通过轨迹驱动模拟证明HBF增强系统可显著降低完成时间并延长写入寿命。
2026-10-06 cs.AR cs.DC cs.LG
MeshKV: A Network-on-Chip KV Cache Fabric for Scalable Transformer Decoding Accelerators
University of California, Los Angeles（加州大学洛杉矶分校）；Columbia University（哥伦比亚大学）
MeshKV提出一种基于轻量级NoC的KV缓存结构，通过条带化、多播和流水线重叠技术，在FPGA上实现最高58%的互连流量削减和2.1倍带宽利用率提升。
2026-09-18 cs.AI cs.AR
Chameleon: a Heterogeneous and Disaggregated Accelerator System for Retrieval-Augmented Language Models
ETH Zurich（苏黎世联邦理工学院）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）
针对检索增强语言模型，提出异构解聚加速器系统Chameleon，集成LLM与向量搜索加速器，实现延迟降低2.16倍、吞吐量提升3.18倍。
2025-03-24 cs.AI cs.AR cs.CL
P3-LLM: An Integrated NPU-PIM Accelerator for Edge LLM Inference Using Hybrid Numerical Formats
Department of Electrical and Computer Engineering, Cornell University（康奈尔大学电气与计算机工程系）；EAST-MICAS, KU Leuven（KU莱顿大学EAST-MICAS）；Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
本文提出P3-LLM，通过混合精度量化和PIM架构设计，提升边缘LLM推理效率，实现4.9倍以上的加速效果。
2026-05-03 cs.AR cs.LG
Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving
Moonshot AI；Tsinghua University（清华大学）
本研究提出了面向LLM服务的以KVCache为中心的分解架构Mooncake，通过分离预填充与解码集群、利用闲置资源构建分布式缓存及预测式早期拒绝策略，在长上下文场景下大幅提升吞吐量，支撑Kimi服务处理更多请求。
2026-10-09 cs.AI cs.AR cs.DC
PIM-DRAM: Accelerating Machine Learning Workloads using Processing in Commodity DRAM
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
深度神经网络（DNN）已经改变了机器学习的领域，并且被广泛部署在涉及图像、视频、语音和自然语言处理的许多应用中。DNN日益增长的计算需求已经通过图形处理单元（GPU）和专用加速器得到了广泛的解决。然而，随着模型大小的增长，这些冯·诺依曼架构需要非常高的内存带宽来保持处理元件被利用，因为大部分数据驻留在主内存中。内存中的处理已被提出作为ML工作负载的内存墙瓶颈的一个有前途的解决方案。在这项工作中，我们提出了一种新的基于DRAM的内存处理（PIM）乘法原语，结合内部存储库累积，以加速ML工作负载中的矩阵向量运算。所提出的乘法原语增加了< 1%的面积开销，并且不需要DRAM外围设备的任何改变。因此，所提出的乘法可以很容易地在商品DRAM芯片中采用。随后，我们设计了一个基于DRAM的PIM架构，数据映射方案和在DRAM中执行DNN的流程。在AlexNet、VGG 16和ResNet 18等网络上进行的系统评估表明，所提出的架构、映射和数据流可以在NVIDIA Titan Xp GPU上提供高达19.5倍的加速，这凸显了克服未来几代DNN硬件内存瓶颈的必要性。
2021-08-16 cs.AI cs.AR cs.LG
GPT4AIGChip: Towards Next-Generation AI Accelerator Design Automation via Large Language Models
School of Computer Science, Georgia Institute of Technology（佐治亚理工学院计算机学院）
本文提出GPT4AIGChip框架，通过自然语言提示、演示增强与上下文学习，让LLM自动生成高质量AI加速器设计。
2025-01-04 cs.AR cs.LG
ShortcutFusion: From Tensorflow to FPGA-based accelerator with reuse-aware memory allocation for shortcut data
残差块是最近最先进的CNN（如EfficientNet或EfficientDet）中非常常见的组件。在ResNet 152中，XML数据占特征地图访问的近40%[8]。以前的DNN编译器、加速器大多忽略了快捷方式的数据优化。本文介绍了ShortcutFusion，基于FPGA的加速器的优化工具，具有重用意识的静态内存分配的快捷数据，最大限度地提高片上数据重用给定的资源约束。从TensorFlow DNN模型中，所提出的设计为一组节点生成指令集，这些节点为每个残留块使用优化的数据重用。在Xilinx KCU 1500 FPGA卡上实现的加速器设计比NVIDIA RTX 2080 Ti快2.8倍，能效高9.9倍，输入尺寸为256 x256。.与基线的结果相比，在基线中，权重、输入和输出每层都从片外存储器访问一次，ShortcutFusion将RetinaNet、Yolov 3、ResNet 152和EfficientNet的DRAM访问减少了47.8-84.8%。考虑到与ShortcutMining [8]类似的缓冲区大小，它也在硬件中挖掘快捷方式数据，所提出的工作将特征映射的片外访问减少了5.27倍，同时从片外存储器访问权重仅一次。
2022-02-13 cs.AR cs.DC
Dark Memory and Accelerator-Rich System Optimization in the Dark Silicon Era
在暗硅时代提高性能的关键挑战是如何在晶体管不能同时使用的情况下利用它们。在现代SOC中，这些晶体管通常用于创建专用加速器，可将某些应用的能效提高10- 1000倍。虽然这看起来像是我们需要的灵丹妙药，但对于大多数CPU应用程序来说，更多的能量消耗在内存系统中而不是处理器中：只有当DRAM和存储层次结构大多处于空闲状态时，才有可能实现这些效率的大幅提升。我们将这种理想状态称为暗内存，它只发生在具有极端局部性形式的应用程序中。为了展示我们的研究结果，我们在计算单元、加速器和片上存储器/互连的能量/op和mm $^2$ /（ops/s）度量空间中引入帕累托曲线。这些帕累托曲线使我们能够解决功率，性能，面积约束优化问题，以确定应该使用哪些加速器，以及如何设置其设计参数来优化系统。该分析表明，存储器访问创建一个地板可实现的能量每操作。因此，高性能需要暗存储器，这反过来又需要协同设计的算法的并行性和局部性，与硬件。
2016-04-27 cs.AR cs.PF
HALO: Memory-Centric Heterogeneous Accelerator with 2.5D Integration for Low-Batch LLM Inference
Elmore Family School of Electrical and Computer Engineering, Purdue University（埃洛姆家族电气与计算机工程学院，普渡大学）
针对低批量长上下文LLM推理中预填充与解码阶段需求差异大、现有方案研究不足的问题，提出融合HBM基CiD与片上模拟CiM的2.5D集成异构内存中心加速器HALO及阶段感知映射策略，在两款模型上实现最高18倍与2.5倍的加速比。
2025-10-03 cs.AI cs.AR
