Refresh Triggered Computation: Improving the Energy Efficiency of Convolutional Neural Network Accelerators
为了在能量受限的嵌入式系统中采用卷积神经网络（CNN），CNN实现的高能量效率是至关重要的。最近的许多研究提出了具有自定义计算单元的CNN加速器架构，该架构试图通过最小化来自基于DRAM的主存储器的数据传输来提高CNN的能效和性能。然而，在这些架构中，平均而言，DRAM仍然占系统总能耗的一半。DRAM的高能耗的一个关键因素是刷新开销，据估计，刷新开销消耗DRAM总能量的40%。在本文中，我们提出了一种新的机制，刷新触发计算（RTC），利用CNN应用程序的内存访问模式，以减少刷新操作的数量。我们提出了三种RTC设计（最小RTC，中期RTC，和全RTC），其中每一个都需要一个不同级别的侵略性定制的DRAM子系统。我们所有的设计都有很小的开销。即使是最激进的RTC设计（即，全RTC）在16 Gb DRAM芯片中仅施加0.18%的面积开销，并且对于更密集的芯片可以具有更少的开销。我们对六个知名CNN的实验评估表明，RTC分别将最不积极和最积极的RTC实现的平均DRAM能耗降低了24.4%和61.3%。除了CNN之外，我们还在其他领域的三个工作负载上评估了我们的RTC机制。我们表明，RTC节省31.9%和16.9%的DRAM能源的人脸识别和贝叶斯置信传播神经网络（BCPNN），分别。我们相信RTC可以应用于其他应用程序，其内存访问模式在足够长的时间内保持可预测性。
2020-10-07 cs.AR
ATRIA: A Bit-Parallel Stochastic Arithmetic Based Accelerator for In-DRAM CNN Processing
University of Kentucky（肯塔基大学）
随着卷积神经网络（CNN）在与机器学习和人工智能（AI）相关的现实世界应用中的快速增长，最近已经提出了用于CNN推理和训练的几种硬件加速器设计。在本文中，我们提出了ATRIA，一种新的基于比特位的随机算法的In-DRAM加速器，用于CNN的节能和高速推理。ATRIA在DRAM单元阵列中采用轻量级修改来实现基于位并行随机算术的DRAM内部乘法累加（MAC）操作的加速。ATRIA通过仅在五个连续的存储器操作周期中执行16个MAC操作，显著改善了处理CNN推断的延迟、吞吐量和效率。我们在ATRIA上映射了四个基准CNN的推理任务，以将其性能与之前工作中的五个最先进的DRAM内CNN加速器进行比较。我们的分析结果表明，ATRIA在CNN推理准确性方面仅下降了3.5%，并且与先前工作中性能最好的DRAM内加速器相比，每秒帧数（FPS）和效率（FPS/W/mm 2）仍然提高了3.2倍。
2021-05-26 cs.AI cs.AR cs.LG
Transaction-level Model Simulator for Communication-Limited Accelerators
加速器算法-架构协同设计的关键是在设计初期快速探索设计空间。在这项工作中，预RTL周期准确的加速器模拟器的SystemC事务级建模（TLM），AccTLMSim，提出了卷积神经网络（CNN）加速器。加速器模拟器跟踪加速器和DRAM之间的每个总线事务，考虑到通信带宽。仿真结果与Xilinx Zynq上的实现结果进行了对比验证。使用建议的模拟器，它表明，通信带宽严重影响DRAM延迟和总线协议开销。此外，环路平铺优化，以最大限度地提高性能的约束下的片内SRAM的大小。此外，提出了一种新的性能估计模型，以加快设计空间的探索。由于提出的模拟器和性能评估模型，可以在几十分钟内探索数百万个架构选项的设计空间。
2020-07-29 cs.AR
Simultaneous Multi Layer Access: A High Bandwidth and Low Cost 3D-Stacked Memory Interface
有限的内存带宽是现代系统中的关键瓶颈。3D堆叠DRAM通过利用更宽的硅通孔（TSV）通道来实现更高的带宽，但由于DRAM的内部带宽有限，今天的系统无法完全利用它们。DRAM同时从单元阵列读取整行到行缓冲器，但只能通过被称为全局位线的有限且昂贵的一组导线将数据的一部分从行缓冲器传送到外围IO电路。在存在较宽的存储器通道的情况下，主要瓶颈变成通过这些全局位线的有限的数据传输容量。我们在这项工作中的目标是在3D堆叠DRAM中实现更高的带宽，而不会增加增加更多全局位线的成本。相反，我们通过同时访问层来利用已经存在于多个DRAM层中的其他空闲资源，例如全局位线。我们的架构，同时多层访问（SMLA），通过聚合多个层的内部带宽和以更高的IO频率传输可用数据来提供更高的带宽。为了实现SMLA，通过相同的IO TSV从多个层同时传输数据需要层之间的协调以避免通道冲突。我们首先研究协调静态分区，我们称之为专用IO，分配组TSV的每一层。然后，我们提供了一个简单但复杂的机制，称为级联IO，它可以通过对IO进行时间复用来同时访问每一层。通过在与层数成比例的频率下工作，SMLA提供了更高的带宽（对于四层堆叠的DRAM为4X）。我们的评估表明，SMLA提供了显着的性能改善和能源减少（55%/18%，平均为多编程的工作负载，分别）在一个基线的3D堆叠DRAM具有非常低的面积开销。
2015-06-10 cs.AR
A Full-Stack Search Technique for Domain Optimized Deep Learning Accelerators
Google Brain（谷歌大脑）；Google（谷歌）；Stanford University（斯坦福大学）
快速变化的深度学习环境为构建针对特定企业级工作负载优化的推理加速器提供了独特的机会。我们提出了全栈加速器搜索技术（FAST），这是一个硬件加速器搜索框架，它定义了一个广泛的优化环境，涵盖硬件-软件堆栈中的关键设计决策，包括硬件数据路径，软件调度和编译器通道，如操作融合和张量填充。在本文中，我们分析了最先进的视觉和自然语言处理（NLP）模型中的瓶颈，包括EfficientNet和BERT，并使用FAST设计能够解决这些瓶颈的加速器。与TPU-v3相比，针对单一工作负载优化的FAST生成的加速器在所有基准测试中将Perf/TDP平均提高了3.7倍。与TPU-v3相比，FAST生成的加速器针对服务一系列工作负载进行了优化，平均将Perf/TDP提高了2.4倍。我们的投资回报分析表明，FAST生成的加速器可能适用于中等规模的数据中心部署。
2022-02-01 cs.AR cs.LG cs.PF
DreamRAM: A Fine-Grained Configurable Design Space Modeling Tool for Custom 3D Die-Stacked DRAM
DreamRAM是一种用于定制3D堆叠DRAM的细粒度可配置设计空间建模工具，通过分析和优化设计参数实现更高的带宽、容量和更低的功耗。
2025-12-13 cs.AR
Medusa: A Scalable Interconnect for Many-Port DNN Accelerators and Wide DRAM Controller Interfaces
Stony Brook University（石溪大学）
为了应对深度神经网络（DNN）日益增长的需求和计算强度，工业界和学术界已经转向加速器技术。特别是，FPGA已经被证明可以在性能和能效之间提供良好的平衡，以加速DNN。虽然重要的研究集中在如何构建高效的层处理器，DNN加速器的计算构建块，但相对较少关注位于层处理器和FPGA的DRAM控制器之间的片上互连。我们观察到DNN加速器接口（往往包括许多窄端口）和FPGA DRAM控制器接口（往往是宽总线）之间的差异。这种不匹配导致传统互连消耗大量FPGA资源。为了解决这个问题，我们设计了Medusa：一种优化的FPGA存储器互连，它在互连结构中转置数据，根据DNN层处理器的需求定制互连。与传统的FPGA互连相比，我们的设计可以将LUT和FF的使用减少4.7倍和6.0倍，并将频率提高1.8倍。
2018-07-11 cs.AR cs.LG cs.NE
MAC-DO: An Efficient Output-Stationary GEMM Accelerator for CNNs Using DRAM Technology
针对DRAM原位加速器利用率低和MAC操作周期长的问题，提出MAC-DO，利用双1T1C单元和电荷引导模拟计算实现单周期多位MAC，提升吞吐量和能效。
2024-02-07 cs.AR cs.DC cs.NE
EXMA: A Genomics Accelerator for Exact-Matching
基因组学是精准医学、全球粮食安全和病毒监测的基础。精确匹配是基因组学中几乎每一个步骤（如比对、组装、注释和压缩）中广泛使用的最基本操作之一。现代基因组学采用Ferragina-Manzini索引（FM-Index），通过额外的数据结构来增强空间有效的Burrows-Wheeler变换（BWT），以允许超快的精确匹配操作。然而，FM-Index是臭名昭著的，其穷人的空间局部性和随机内存访问模式。之前的工作创建了基于GPU、FPGA、ASIC甚至内存处理器（PIM）的加速器，以提高FM-Index搜索吞吐量。尽管它们实现了最先进的FM索引搜索吞吐量，但与所有现有的常规加速器相同，FM索引PIM在每个DRAM行激活之后仅处理一个DNA符号，从而遭受较差的内存带宽利用率。在本文中，我们提出了一个硬件加速器，EXMA，以提高FM索引搜索吞吐量。我们首先创建一个新的EXMA表与多任务学习（MTL）为基础的索引处理多个DNA符号与每个DRAM行激活。然后我们构建一个加速器来搜索EXMA表。我们提出2阶段调度，以增加我们的加速器的缓存命中率。我们引入动态页面策略来提高DRAM主存储器的行缓冲区命中率。我们还提出了CHAIN压缩，以减少数据结构的EXMA表的大小。与最先进的FM-Index PIM相比，EXMA将搜索吞吐量提高了$4.9\times$，并将每瓦搜索吞吐量提高了$4.8\times$。
2021-01-13 cs.AR
NicePIM: Design Space Exploration for Processing-In-Memory DNN Accelerators with 3D-Stacked-DRAM
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
针对DRAM-PIM加速器，提出NicePIM设计空间探索框架，通过PIM-Tuner、PIM-Mapper和Data-Scheduler优化硬件配置与DNN映射，平均降低延迟37%和能耗28%。
2023-05-30 cs.AR cs.LG
Cheshire: A Lightweight, Linux-Capable RISC-V Host Platform for Domain-Specific Accelerator Plug-In
本文提出Cheshire，一个轻量级、模块化、支持Linux的64位RISC-V主机平台，通过低引脚数DRAM接口、可配置缓存和DMA引擎实现领域专用加速器的无缝即插即用，并在65nm硅演示器Neo上验证了高能效与开源可综合性。
2023-07-06 cs.AR
ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks
ARTEMIS是一种混合模拟-随机存内DRAM加速器，通过最小化DRAM改动并利用新型电容器支持随机计算和模拟累加，在加速Transformer时相比GPU、TPU等实现至少3.0倍速度提升和1.9倍能效改善。
2024-07-17 cs.AR cs.LG
GenDRAM:Hardware-Software Co-Design of General Platform in DRAM
University of California San Diego（加州大学圣地亚哥分校）；Swiss Federal Institute of Technology in Lausanne (EPFL)（洛桑联邦理工学院）
GenDRAM通过在DRAM中实现硬件软件协同设计，突破传统架构的数据移动瓶颈，实现动态规划算法和基因组流水线的高性能计算。
2026-02-27 cs.AR
Pointer: An Energy-Efficient ReRAM-based Point Cloud Recognition Accelerator with Inter-layer and Intra-layer Optimizations
本文提出基于ReRAM的点云识别加速器Pointer，通过层间协调与拓扑感知层内重排序减少DRAM访问并加速MLP，实现40-393倍加速和22-163倍能效提升且无精度损失。
2024-10-23 cs.AR
An Energy-Efficient Accelerator Architecture with Serial Accumulation Dataflow for Deep CNNs
近年来，卷积神经网络（CNN）在许多视觉任务中表现出出色的准确性。然而，当在便携式设备和嵌入式系统上部署CNN时，大量的参数和计算导致处理时间长和电池寿命低。设计CNN硬件加速器的一个重要因素是有效地将卷积计算映射到硬件资源上。此外，为了节省电池寿命并降低能耗，减少DRAM访问的次数至关重要，因为与硬件中的其他操作相比，DRAM消耗的能量要多几个数量级。在本文中，我们提出了一种节能的架构，最大限度地利用其计算单元的卷积运算，同时需要低数量的DRAM访问。实现结果表明，所提出的架构执行一个图像识别任务，使用VGGNet模型的延迟为393 ms，只有251.5 MB的DRAM访问。
2020-02-15 cs.AR eess.SP
Hardware-Software Co-design for 3D-DRAM-based LLM Serving Accelerator
Peking University（北京大学）；Xi’an UniIC Semiconductors（西安联芯集成电路）；Houmo AI（厚墨智能）；HKUST（香港科技大学）
Helios通过软硬件协同设计，优化LLM服务加速器的动态KV缓存管理和分布式内存抽象，实现3.25倍加速和3.36倍能效提升。
2026-03-05 cs.AR
TLB and Pagewalk Performance in Multicore Architectures with Large Die-Stacked DRAM Cache
在这项工作中，我们研究的开销的虚拟到物理地址转换的处理器架构，如x86-64，实现分页的虚拟内存使用的基数树，在硬件中行走。翻译后备缓冲区对系统性能至关重要，特别是当应用程序需要更大的内存占用和采用虚拟化时;然而，TLB未命中的成本可能导致多次内存访问以检索翻译。已经引入了对超页的体系结构支持以增加TLB命中，但是受到操作系统查找连续内存的能力的限制。许多先前的研究已经提出了TLB设计，以降低未命中率和减少页面遍历开销，但是，这些研究已经建模的行为分析。此外，为了避免大内存工作负载和虚拟化的分页开销，直接段使用段寄存器映射进程线性虚拟地址空间的一部分，尽管需要一些应用程序和操作系统修改。最近发展的裸片堆叠DRAM技术承诺了高带宽和大的最后一级高速缓存，在100字节的数量级，更接近处理器。对于这样大的缓存，可以在不引起TLB故障的情况下访问的数据量-TLB的范围是不够的。TLB位于数据访问的关键路线上，并且引起昂贵的页面遍历可能会阻碍系统性能，特别是当正在访问的数据是LLC中的缓存命中时。因此，我们有兴趣探索新的地址转换机制，相称的堆叠DRAM的大小和延迟。通过使用基于QEMU的MARSSx 86全系统模拟器精确模拟多个多级地址转换结构，我们使用多编程和多线程工作负载结合大型LLC对TLB进行了详细研究。
2020-02-03 cs.AR
ROMANet: Fine-Grained Reuse-Driven Off-Chip Memory Access Management and Data Organization for Deep Neural Network Accelerators
Technische Universität Wien（维也纳工业大学）；Institute of Computer Engineering（计算机工程研究所）
实现高能效对于深度学习的嵌入式实现至关重要。多项研究表明，基于DRAM的片外存储器访问是深度神经网络（DNN）加速器中最耗能的操作之一，从而限制了设计在最大潜力下实现效率增益。DRAM访问能量根据所需的访问次数以及每次访问消耗的能量而变化。因此，寻找最小DRAM存取能量的解决方案是一个重要的优化问题。为此，我们提出了ROMANet的方法，旨在减少内存访问的次数，通过搜索适当的数据分区和调度网络的每一层使用的设计空间探索，基于知识的可用的片上存储器和数据重用因素。此外，ROMANet还旨在通过利用DRAM多存储体突发特征来提高每次访问的能量来减少DRAM行缓冲器冲突和未命中的数量。除了提供能源的好处，我们提出的DRAM数据映射还导致增加有效的DRAM吞吐量，这是有用的延迟约束的情况。我们的实验结果表明，ROMANet节省了12%的AlexNet，36%的VGG-16，和46%的MobileNet的DRAM访问能量，同时也提高了10%的DRAM吞吐量相比，国家的最先进的。
2020-08-02 cs.AR cs.DC cs.LG
Quantum Accelerator Stack: A Research Roadmap
本文介绍了量子计算机架构的定义和实现，以创建一个新的计算设备-量子计算机作为加速器在本文中，我们明确提出了量子加速器的想法，它包含了整个堆栈的层的加速器。这样的堆栈从描述加速器的目标应用的最高级别开始。重要的是要认识到，量子位被定义为完美的量子位，这意味着它们不会退相干，并执行良好的量子门操作。下一层抽象量子逻辑，概述要在量子加速器上执行的算法。在我们的例子中，逻辑是用小组开发的通用量子经典混合计算语言OpenQL表达的。我们还必须开始考虑如何验证、验证和测试量子软件，以便编译器生成正确版本的量子线路。OpenQL编译器将程序翻译成一种通用的汇编语言，称为cQASM。我们需要开发一个量子操作系统来管理微架构的所有硬件。微架构下面的层负责拓扑上的量子位的映射和路由，使得可以遵守最近邻约束。在未来的任何时候，当我们能够生成多个好的量子位时，编译器可以转换cQASM以生成eQASM，该eQASM可以在包含平台特定参数的特定实验设备上执行。通过这种方式，我们能够清楚地区分更好的量子比特的实验研究，以及需要在量子设备上开发和执行的工业和社会应用。
2021-05-17 cs.AR quant-ph
ARAPrototyper: Enabling Rapid Prototyping and Evaluation for Accelerator-Rich Architectures
与传统的通用处理器相比，加速器丰富架构（ARA）可以提供数量级的性能和能量增益，并正在成为暗硅时代最有前途的解决方案之一。然而，与通用核、加速器、定制的片上互连和存储器系统之间的复杂交互相关的许多设计问题仍然不清楚并且难以评估。在本文中，我们设计和实现的ARAPrototyper，使快速的设计空间探索真正的硅ARA和减少繁琐的原型工作远远下降到可管理的努力。首先，ARAPrototyper提供了一个可重用的基线原型，具有高度可定制的内存系统，包括加速器和缓冲器之间的互连，缓冲器和末级缓存（LLC）或DRAM之间的互连，LLC或DRAM的一致性选择，以及地址转换支持。其次，ARAPrototyper提供了一个干净的界面，可以快速集成用户自己用高级合成（HLS）代码编写的加速器。整个设计流程高度自动化，以在FPGA片上系统（SoC）上生成ARA原型。第三，为了快速开发在ARA原型上无缝运行的应用程序，ARAPrototyper提供了一个系统软件栈，将加速器抽象为软件库，并为软件开发人员提供API。我们的实验结果表明，ARAPrototyper能够以可管理的原型工作为ARA进行广泛的设计空间探索，其评估时间比全系统模拟快4，000倍至10，000倍。我们相信ARAPrototyper可以成为ARA设计和评估的一个有吸引力的选择。
2016-10-31 cs.AR
NOM: Network-On-Memory for Inter-Bank Data Transfer in Highly-Banked Memories
数据复制是许多程序和操作系统服务中广泛使用的存储器操作。在传统的计算机中，数据复制通常由两个单独的读写事务来执行，这两个事务在DRAM芯片和处理器芯片之间来回传递数据。一些现有机制提出通过使用DRAM芯片中的共享内部总线来直接复制DRAM芯片内的数据来避免这种不必要的数据移动（例如，两个DRAM存储体之间）。虽然这些方法与传统技术相比表现出优越的性能，但是跨不同DRAM库的数据复制仍然比在同一DRAM库内的数据复制慢得多。因此，这些技术对于新兴的3D堆叠存储器（例如，HMC和HBM），其包含跨多个存储器控制器的数百个DRAM组。在本文中，我们提出了内存网络（NoM），一个轻量级的银行间数据通信计划，使直接数据复制跨两个存储体的三维堆叠存储器。NoM采用基于TDM的电路交换设计，其中电路设置由存储器控制器完成。与最先进的方法相比，NoM实现了多个DRAM存储体之间的快速数据复制和并发数据传输操作。我们的评估表明，与基线传统3D堆叠DRAM架构和最先进的技术相比，NoM将数据密集型工作负载的性能平均提高了3.8倍和75%。
2020-04-21 cs.AR
DX100: A Programmable Data Access Accelerator for Indirection
针对间接内存访问的带宽瓶颈，提出可编程数据访问加速器DX100，通过重排和合并请求提升DRAM带宽利用率，并借助MLIR编译器自动转换代码，性能显著优于多核基线和现有预取器。
2025-06-02 cs.AR
Architecture-Level Modeling of Photonic Deep Neural Network Accelerators
针对光子DNN加速器全系统能耗评估缺乏工具的问题，提出利用CiM建模工具实现光子系统架构级建模的方法，开发开源模型验证了跨域转换与DRAM的高能耗占比，并通过优化将能效提升最高3倍。
2024-05-14 cs.AR cs.ET
PIM-GPT: A Hybrid Process-in-Memory Accelerator for Autoregressive Transformers
针对GPT类自回归Transformer推理的内存受限瓶颈，提出基于DRAM存内计算与ASIC协同的PIM-GPT加速器，通过软硬件协同优化实现了远超CPU、GPU的推理速度与能效。
2024-04-14 cs.AR
PENDRAM: Enabling High-Performance and Energy-Efficient Processing of Deep Neural Networks through a Generalized DRAM Data Mapping Policy
New York University（纽约大学）
PENDRAM提出一种广义DRAM数据映射策略及设计空间探索方法，通过优化CNN加速器的DRAM访问延迟与能耗，实现高性能高能效的嵌入式AI推理加速。
2024-08-05 cs.AI cs.AR cs.LG
always_comm: An FPGA-based Hardware Accelerator for Audio/Video Compression and Transmission
提出一种基于 Nexys4 DDR FPGA 的全硬件可扩展视频会议栈，使用 M-JPEG 和 UDP 实现 30 FPS 音视频实时传输与播放，并通过仿真和综合评估了延迟与吞吐量。
2025-09-15 cs.AR
Gemmini: Enabling Systematic Deep-Learning Architecture Evaluation via Full-Stack Integration
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
DNN加速器通常是孤立地开发和评估的，而不考虑现实环境中的跨栈、系统级影响。这使得很难理解片上系统（SoC）资源争用、OS开销和编程堆栈效率低下对整体性能/能效的影响。为了应对这一挑战，我们推出了Gemmini，这是一款开源 *、全栈DNN加速器生成器。Gemmini通过灵活的架构模板、灵活的编程堆栈和带有可捕获系统级效果的共享资源的完整SoC，为高效ASIC加速器提供了广阔的设计空间。Gemmini生成的加速器也已经制造出来，在各种DNN基准测试中，它比高性能CPU提供了高达三个数量级的加速。* https://github.com/ucb-bar/gemmini
2021-07-09 cs.AR cs.DC cs.LG
DRAMA: Commodity DRAM based Content Addressable Memory
DRAMA利用商品DRAM实现CAM、TCAM及近似搜索功能，通过位串行比较和非标准时序实现AND/OR操作，在细菌DNA分类中性能提升3.6倍、功耗降低19.6倍。
2023-12-24 cs.AR
An Open-Source ML-Based Full-Stack Optimization Framework for Machine Learning Accelerators
University of California, San Diego（加州大学圣地亚哥分校）；University of Minnesota（明尼苏达大学）
该研究提出一种物理设计驱动的基于学习的预测框架，结合前后端分析实现ML加速器PPA与系统指标的精准估算，还包含全自动DSE技术，在两类工艺下的两个加速器平台实验中预测误差平均不超7%。
2023-08-23 cs.AR cs.LG
DeepStack: Facilitating Co-Design Exploration of 3D DRAM-Stacked Accelerators for Distributed LLM Inference
Imperial College London（帝国理工学院）；Peking University（北京大学）；Tile-AI
DeepStack通过高效模型和工具实现分布式3D堆叠AI系统的早期设计空间探索，利用双阶段网络抽象和计算通信重叠技术，提升性能模拟效率，并揭示批量大小对架构设计的根本影响。
2026-09-14 cs.AR cs.DC
Choreographer: A Full-System Framework for Fine-Grained Tasks in Cache Hierarchies
本文提出Choreographer仿真框架，通过集成详细的gem5硬件栈和Linux软件栈，实现对缓存层次结构中细粒度加速器的整体系统级评估，并在预取器和快速排序加速器案例中验证了其性能优化能力。
2025-10-30 cs.AR
An Experimental Analysis of RowHammer in HBM2 DRAM Chips
本文通过实验刻画了真实HBM2 DRAM芯片的RowHammer脆弱性，发现不同3D堆叠通道、行位置和未公开刷新触发防御对RH特性有显著影响，为未来攻击与防御提供依据。
2023-05-29 cs.AR cs.CR
Stratum: System-Hardware Co-Design with Tiered Monolithic 3D-Stackable DRAM for Efficient MoE Serving
University of California, San Diego（加州大学圣地亚哥分校）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Illinois Institute of Technology（伊利诺伊理工学院）
Stratum通过系统-硬件协同设计，结合Mono3D DRAM、近内存处理与GPU加速，并利用主题预测的专家使用引导数据分层，实现MoE服务中高达8.29倍解码吞吐量和7.66倍能效提升。
2025-10-06 cs.AR cs.ET cs.LG
HEROv2: Full-Stack Open-Source Research Platform for Heterogeneous Computing
异构计算机将通用主机处理器与特定于域的加速器集成在一起，以将多功能性与效率和高性能相结合。然而，要实现异构计算机的全部潜力，必须克服许多硬件和软件设计挑战。虽然架构和系统模拟器可以用来分析异构计算机，但它们面临着模拟速度和性能建模精度之间不可避免的妥协。在这项工作中，我们提出了HEROv 2，这是一个基于FPGA的研究平台，可以准确快速地探索由基于32位RISC-V内核集群的加速器和应用级64位ARMv 8或RV 64主机处理器组成的异构计算机。HEROv 2允许在64位主机和32位加速器之间无缝共享数据，并具有完全开源的片上网络，统一的异构编程接口以及基于LLVM的混合数据模型，混合ISA异构编译器。我们在四个案例研究中评估了HEROv 2，从工具链和系统架构的应用程序级别到加速器微架构。我们展示了HEROv 2如何实现异构计算全栈的有效研究和开发。例如，编译器可以平铺循环并推断往返于加速器的数据传输，这导致与原始程序相比加速高达4.4倍，并且在大多数情况下仅比手写实现慢15%，这需要2.6倍的代码。
2022-01-11 cs.AR cs.DC cs.PF
Architecture, Dataflow and Physical Design Implications of 3D-ICs for DNN-Accelerators
深度神经网络（DNN）对更高计算能力的持续需求推动了并行计算架构的发展。3D集成（芯片垂直集成和连接）可以进一步提高性能，因为它引入了另一个空间并行级别。因此，我们分析了这种3D-DNN-加速器的功耗、性能、面积、功耗和温度。单片和基于TSV的堆叠式3D-IC与2D-IC进行比较。我们确定了高效3D-IC的工作负载属性和架构参数，并实现了3D与2D相比高达9.14倍的加速比。我们讨论面积性能权衡。我们证明了3D-IC的适用性，因为3D-IC的功耗与2D-IC相似，并且没有热限制。
2021-02-18 cs.AR
Sangam: Chiplet-Based DRAM-PIM Accelerator with CXL Integration for LLM Inferencing
针对大语言模型推理因KV缓存增大而内存受限的问题，提出基于小芯片的DRAM-PIM加速器Sangam，通过CXL集成解耦逻辑与内存，提升带宽并支持先进处理组件，显著降低延迟、提高吞吐量且节省能耗。
2025-11-15 cs.AI cs.AR
Enabling the Adoption of Processing-in-Memory: Challenges, Mechanisms, Future Research Directions
多年来，DRAM技术的扩展性差，导致基于DRAM的主存越来越成为一个更大的系统瓶颈。瓶颈的一个主要原因是存储在DRAM中的数据必须在任何计算发生之前通过引脚有限的内存通道移动到CPU。这需要很高的延迟和能量开销，并且数据通常不能从CPU中的缓存中受益，从而难以分摊开销。现代3D堆叠DRAM架构包括逻辑层，其中计算逻辑可以集成在同一芯片内的DRAM单元阵列的多层之下。架构师可以利用逻辑层来执行内存处理（PIM）或近数据处理。在PIM架构中，DRAM内的逻辑层可以访问3D堆叠DRAM内可用的高内部带宽（其远大于DRAM和CPU之间可用的带宽）。因此，PIM架构可以有效地释放宝贵的存储器通道带宽，同时降低系统能耗。当我们将计算逻辑添加到DRAM时，会出现许多重要的问题。特别地，该逻辑不具有对现代应用执行所必需的公共CPU结构的低延迟访问，诸如虚拟内存和缓存一致性机制。为了便于PIM的广泛采用，我们希望保持传统的虚拟内存抽象和共享内存编程模型。这需要高效的机制，可以为DRAM中的逻辑提供对CPU结构的访问，而不必频繁地与CPU通信。为此，我们提出并评估两个通用的解决方案，最大限度地减少不必要的片外通信PIM架构。我们发现，这两种机制提高了许多重要的内存密集型应用程序的性能和能耗。
2018-02-01 cs.AR
Bandwidth-Effective DRAM Cache for GPUs with Storage-Class Memory
针对GPU内存容量限制，提出利用SCM和DRAM缓存，通过SCM感知旁路策略、可配置标签缓存和AMIL组织等优化，实现最高12.5倍性能提升和89.3%能耗降低。
2024-03-14 cs.AR
CIM-MLC: A Multi-level Compilation Stack for Computing-In-Memory Accelerators
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Capital Normal University（首都师范大学）；State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所处理器国家重点实验室）
本文提出 CIM-MLC 多级编译框架，通过通用硬件抽象支持多样化 CIM 加速器，并跨架构层次联合优化映射、调度与指令生成。
2024-05-08 cs.AR cs.CL
ECI: a Customizable Cache Coherency Stack for Hybrid FPGA-CPU Architectures
与其他加速器不同，FPGA能够支持缓存一致性，从而将其转变为比外围加速器更强大的架构选项。然而，大多数现有的FPGA部署要么是非高速缓存一致性的，要么只支持非对称设计，其中高速缓存一致性由CPU控制。利用最近发布的两个插槽的CPU-FPGA架构，在本文中，我们描述了ECI，能够支持对称和非对称协议的FPGA上的高速缓存一致性的灵活实现。ECI是开放和可定制的，使应用程序有机会与高速缓存一致性协议完全交互，从而开辟了许多有趣的系统设计和研究机会，这些机会在现有的设计中是不可用的。通过广泛的微基准测试，我们表明，ECI具有很强的竞争力的性能，并详细讨论了一个用例，说明了在FPGA上有一个开放的高速缓存一致性堆栈的好处。
2022-08-15 cs.AR cs.DC
RCW-CIM: A Digital CIM-based LLM Accelerator with Read-Compute/Write
National Yang Ming Chiao Tung University（国立阳明交通大学）；Industrial Technology Research Institute（工业技术研究院）
本文提出RCW-CIM架构，通过减少权重更新延迟和非线性操作融合，实现LLM加速，使Llama2-7B模型解码延迟降低21.59%，并提升能效。
2026-04-30 cs.AR
An Energy-Efficient Near-Data Processing Accelerator for DNNs that Optimizes Data Accesses
本文提出近数据处理加速器 QeiHaN，利用 3D 堆叠内存权重存储和对数量化激活的隐式内存内位移，减少 DNN 推理的内存访问，实现 4.3 倍加速和 3.5 倍节能。
2023-10-27 cs.AR
Monarch: A Durable Polymorphic Memory For Data Intensive Applications
3D裸片堆叠经常被提出来构建大规模的基于DRAM的高速缓存。不幸的是，DRAM的功耗和性能开销限制了高带宽存储器的效率。此外，DRAM正面临着严重的可扩展性挑战，这使得替代技术更具吸引力。本文探讨君主，电阻3D堆叠存储器的基础上，一种新的可重构交叉点阵列称为XAM。XAM阵列能够在随机存取和内容寻址模式之间切换，这使得Monarch能够（i）更好地利用封装内带宽，（ii）满足各种应用的随机存取存储器和关联搜索要求。此外，Monarch控制器确保电阻堆的目标寿命。我们对一组并行内存密集型应用程序的模拟结果表明，Monarch的性能平均比理想的DRAM缓存高1.21倍。对于内存中的哈希表和字符串匹配工作负载，Monarch将性能提高到传统高带宽内存的12倍。
2021-08-19 cs.AR cs.SY eess.SY
SEALing Neural Network Models in Secure Deep Learning Accelerators
深度学习（DL）加速器越来越多地部署在边缘设备上，以支持快速的本地推理。然而，它们遭受新的安全问题，即，容易受到基于物理访问的攻击。攻击者可以通过物理地窥探连接加速器芯片与DRAM存储器的GDDR存储器总线来容易地获得整个神经网络（NN）模型。因此，存储器加密对于边缘设备上的DL加速器变得重要，以提高NN模型的安全性。然而，我们观察到，传统的内存加密解决方案，已有效地用于CPU系统直接用于DL加速器时，会导致显着的性能下降。主要原因是GDDR内存总线和加密引擎之间存在较大的带宽差距。为了解决这个问题，我们的论文提出了SEAL，一个安全高效的深度学习加速器方案。SEAL从两个方面增强了加密DL加速器的性能，提高了数据访问带宽和内存加密的效率。具体来说，为了提高数据访问带宽，SEAL利用了一种关键感知智能加密方案，该方案可以识别对NN模型安全性没有影响的部分数据，并允许它们绕过加密引擎，从而减少了要加密的数据量。为了提高内存加密的效率，SEAL利用了一种托管模式加密方案，通过将数据及其计数器放在同一位置来消除来自用于加密的计数器的内存访问。实验结果表明，与传统的内存加密方案相比，SEAL的IPC性能提高了1.4 ~ 1.6倍，推理延迟降低了39% ~ 60%。与没有内存加密的基准加速器相比，SEAL仅牺牲了5% ~ 7%的IPC，安全性得到了显著提高。
2020-08-09 cs.AR
Design Guidelines for High-Performance SCM Hierarchies
随着新兴的存储级存储器（SCM）接近商业化，有证据表明，它将提供备受期待的高密度和访问时间只有几个因素的DRAM。然而，内存驻留服务的延迟敏感特性使得SCM在服务器中的无缝集成成问题。在本文中，我们问的问题，如何最好地引入SCM的服务器，以提高整体性能/成本比现有的DRAM的唯一架构。我们首先表明，即使是最乐观的延迟预测SCM，较高的内存访问延迟的结果在禁止性能下降。然而，我们发现，部署一个中等大小的高带宽的3D堆叠DRAM高速缓存的性能，主要是一个SCM的内存系统的竞争力。存储器驻留服务所展现的高度空间局部性不仅简化了DRAM高速缓存的基于页面的设计，而且还使得能够摊销增加的SCM访问延迟并减轻SCM的读/写延迟差异。我们确定了一组存储层次结构的设计参数，在存储系统的性能和成本中起着关键作用，结合SCM技术和3D堆叠DRAM高速缓存。然后，我们介绍了一种方法，以推动这些设计参数下的目标性能/成本目标的配置。最后，我们使用我们的方法来得出具体的结果，为特定的SCM技术。与PCM作为一个案例研究，我们表明，一个两个比特/单元技术的性能/成本的甜蜜点，降低了40%的存储器子系统的成本，同时保持性能在3%的最佳性能的DRAM仅系统，而单级和三级细胞组织是不切实际的使用作为存储器的替代品。
2019-03-07 cs.AR
Tessera: Secure, Near-Line-Rate Weight Streaming for UMA Edge Accelerators
Indian Institute of Technology (IIT) Ropar（印度理工学院（IIT）罗帕尔）
Tessera通过在UMA边缘加速器上实现缓存行粒度的权重解密，解决了传统防御方法在受限环境下的不足，实现了接近理论内存带宽上限的性能，同时有效抵御多种攻击。
2026-04-25 cs.AR cs.CR cs.LG
Exploring the Efficiency of 3D-Stacked AI Chip Architecture for LLM Inference with VOXEL
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出Voxel框架，用于探索3D堆叠AI芯片在LLM推理中的效率，分析计算范式、映射策略及硬件架构的影响，揭示效率取决于多因素协同及映射设计。
2026-09-15 cs.AR cs.DC
SpecPCM: A Low-power PCM-based In-Memory Computing Accelerator for Full-stack Mass Spectrometry Analysis
University of California San Diego（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）
针对质谱分析中数据处理效率低的问题，提出基于相变存储器（PCM）的内存计算加速器SpecPCM，通过模拟处理、低电压摆幅、超晶格材料PCM器件及超维计算算法，实现质谱聚类和数据库搜索任务高达82倍和143倍的加速及四个数量级的能效提升。
2026-06-02 cs.AR cs.ET eess.SP
SCALE-Sim v3: A modular cycle-accurate systolic accelerator simulator for end-to-end system analysis
SCALE-Sim v3通过多核模拟、稀疏矩阵乘法支持、DRAM详细分析、数据布局建模和能耗估算五项增强，实现了对现代AI加速器的端到端系统分析，揭示了延迟与能效之间的权衡。
2025-05-09 cs.AR cs.PF
CFU Playground: Full-Stack Open-Source Framework for Tiny Machine Learning (tinyML) Acceleration on FPGAs
Harvard University（哈佛大学）；Google（谷歌）；Purdue University（普渡大学）；Stanford University（斯坦福大学）
本文提出全栈开源框架CFU Playground，支持FPGA上嵌入式机器学习加速器的快速软硬件协同设计与评估，结合自动化黑盒优化探索设计空间，实现了55至75倍的显著加速。
2023-04-05 cs.AR cs.DC cs.LG
A Real Time Super Resolution Accelerator with Tilted Layer Fusion
National Yang Ming Chiao Tung University（阳明交通大学）
基于深度学习的超分辨率可以获得高质量的结果，但其繁重的计算工作量、大缓冲区和高外部内存带宽限制了其在移动设备中的使用。针对上述问题，提出了一种采用倾斜层融合方法的实时硬件加速器，该加速器将外部DRAM带宽降低了92%，片上存储器容量仅为102 KB。采用40 nm CMOS工艺实现的设计在600 MHz下运行时达到1920x1080@60fps的吞吐量和544.3K门数;它具有比以前的设计更高的吞吐量和更低的面积成本。
2022-05-09 cs.AR cs.LG eess.IV
Compiler and Hardware Co-Design for Accelerator Architectures
Technical University of Denmark（丹麦技术大学）
针对异构加速器全栈集成难的问题，提出EAAC编译器与硬件协同设计架构，基于MLIR支持快速原型，原型GEMM加速器较RISC-V基线实现28倍加速，并指出信号量分配优化方向。
2026-09-25 cs.AR
PIM-FW: Hardware-Software Co-Design of All-pairs Shortest Paths in DRAM
University of California, San Diego（加州大学圣迭戈分校）；Illinois Institute of Technology（伊利诺伊理工学院）
PIM-FW通过硬件-软件协同设计，在DRAM中高效计算所有对最短路径，实现18.7倍速度提升和3200倍能耗降低。
2025-12-20 cs.AR
Zebra: Memory Bandwidth Reduction for CNN Accelerators With Zero Block Regularization of Activation Maps
National Chiao Tung University（国立交通大学）
本地缓冲区和外部DRAM之间的大量内存带宽已经成为CNN硬件加速器的加速瓶颈，特别是对于激活图。为了减少内存带宽，我们提出了学习修剪不重要的块动态零块正则化的激活映射（斑马）。该策略计算量小，易于与其他剪枝方法集成，提高了性能。实验结果表明，该方法结合网络瘦身技术，在精度下降1%，精度提高2%的情况下，可以将Tiny-Imagenet上Resnet-18的内存带宽减少70%.
2022-05-02 cs.AR cs.CV cs.LG
