SEALing Neural Network Models in Secure Deep Learning Accelerators
深度学习（DL）加速器越来越多地部署在边缘设备上，以支持快速的本地推理。然而，它们遭受新的安全问题，即，容易受到基于物理访问的攻击。攻击者可以通过物理地窥探连接加速器芯片与DRAM存储器的GDDR存储器总线来容易地获得整个神经网络（NN）模型。因此，存储器加密对于边缘设备上的DL加速器变得重要，以提高NN模型的安全性。然而，我们观察到，传统的内存加密解决方案，已有效地用于CPU系统直接用于DL加速器时，会导致显着的性能下降。主要原因是GDDR内存总线和加密引擎之间存在较大的带宽差距。为了解决这个问题，我们的论文提出了SEAL，一个安全高效的深度学习加速器方案。SEAL从两个方面增强了加密DL加速器的性能，提高了数据访问带宽和内存加密的效率。具体来说，为了提高数据访问带宽，SEAL利用了一种关键感知智能加密方案，该方案可以识别对NN模型安全性没有影响的部分数据，并允许它们绕过加密引擎，从而减少了要加密的数据量。为了提高内存加密的效率，SEAL利用了一种托管模式加密方案，通过将数据及其计数器放在同一位置来消除来自用于加密的计数器的内存访问。实验结果表明，与传统的内存加密方案相比，SEAL的IPC性能提高了1.4 ~ 1.6倍，推理延迟降低了39% ~ 60%。与没有内存加密的基准加速器相比，SEAL仅牺牲了5% ~ 7%的IPC，安全性得到了显著提高。
2020-08-09 cs.AR
Modeling Analog-Digital-Converter Energy and Area for Compute-In-Memory Accelerator Design
本研究针对模拟存算一体加速器中ADC能耗与面积占比高、架构决策影响大的问题，提出一种仅基于架构属性、抽象电路细节的开源架构级模型，可快速估算ADC能耗与面积，支撑存算一体加速器的设计空间探索。
2024-05-14 cs.AR
Compiling Halide Programs to Push-Memory Accelerators
图像处理和机器学习应用程序从硬件加速中受益匪浅，但现有的编译器要么针对FPGA（牺牲灵活硬件的功率和性能），要么针对ASIC（随着应用程序的变化而迅速过时）。可编程领域特定加速器已经成为这两个极端之间有前途的中间地带，但这种架构传统上是困难的编译器目标。主要障碍是这些加速器通常使用与CPU和GPU不同的内存抽象：将数据流从一个计算内核发送到其他内核的内存，可能重新排序。为了解决由推存储器引起的编译挑战，我们建议修改编译器中间和后端的内存表示，将存储与地址生成和控制逻辑结合在一个单一的结构中-一个统一的缓冲区。我们表明，这种编译器的抽象可以有效地实现在一个可编程的加速器，并设计一个内存映射算法，结合多面体分析和软件矢量化技术，以我们的加速器。我们的评估表明，编译器支持可编程性，同时保持高性能。它可以将各种图像处理和机器学习应用程序编译到我们的加速器上，与FPGA相比，运行时间提高了4.7倍，能效提高了4.3倍。
2021-05-26 cs.AR
On the Reliability of Computing-in-Memory Accelerators for Deep Neural Networks
具有新兴非易失性存储器（nvCiM）的内存计算被证明是以高能量效率加速深度神经网络（DNN）的有希望的候选者。然而，大多数非易失性存储器（NVM）设备都存在可靠性问题，导致nvCiM计算中涉及的实际数据与数据中心中训练的权重值之间存在差异。因此，实际部署在nvCiM平台上的模型实现的准确度低于在传统硬件上训练的模型（例如，GPU）。在本章中，我们首先简要介绍了nvCiM DNN加速器的机遇和挑战，然后展示了不同类型NVM设备的特性。然后，我们介绍了nvCiM DNN加速器的一般架构。之后，我们将讨论不可靠性的来源以及如何有效地对其影响进行建模。最后，我们介绍了代表性的作品，减轻设备变化的影响。
2022-05-25 cs.AR
Combining Emulation and Simulation to Evaluate a Near Memory Key/Value Lookup Accelerator
处理大量的键/值查找是现代服务器数据库和其他“大数据”应用程序的一个组成部分。先前的工作已经表明，基于哈希表的键/值查找可以从使用放置在存储器附近的专用硬件查找加速器中显著受益。然而，以前在内存逻辑仿真器（LiME）上对这种设计的评估受到其仿真硬件的能力的限制，该硬件仅支持单个CPU核心和单个近内存查找引擎。我们扩展仿真结果，将模拟评估这种设计在其他情况下。通过将HMC模拟模型，我们设计的优化，更好地减轻HMC关闭页面政策的影响，更好地利用HMC的并行性，提高预测性能的一个数量级。此外，我们使用模拟来评估多个近内存查找加速器的缩放性能。我们的工作采用了开源仿真器LiME，开源仿真基础设施SST和开源HMC-Sim仿真器。
2021-05-13 cs.AR
System and Design Technology Co-optimization of SOT-MRAM for High-Performance AI Accelerator Memory System
针对AI加速器内存受限问题，提出基于DTCO定制SOT-MRAM的高容量高带宽片上存储系统，在CV和NLP训练基准上分别实现8倍能效和9倍/4.5倍延迟改善，面积仅为SRAM的一半。
2023-11-14 cs.AR
AccelCIM: Systematic Dataflow Exploration for SRAM Compute-in-Memory Accelerator
School of Integrated Circuits, Peking University（北京大学集成电路学院）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）；School of Integrated Circuits, Southeast University（东南大学集成电路学院）；School of Integrated Circuits, Anhui Polytechnic University（安徽工业大学集成电路学院）
本文提出AccelCIM框架，系统探索SRAM存内加速器的数据流，解决传统方法的两大局限：系统化设计空间和严格评估方法，通过模拟与布局分析提升DNN加速器性能。
2026-04-20 cs.AR
Memory-Efficient Dataflow Inference for Deep CNNs on FPGA
FPGA上的自定义低功耗卷积神经网络（CNN）推理加速器针对特定的CNN拓扑进行定制，并将参数存储在片内存储器（OCM）中，从而实现高能效和低推理延迟。然而，在这些加速器中，参数存储器的形状由吞吐量约束决定，并且不能很好地映射到底层OCM，这成为实现瓶颈。在这项工作中，我们提出了一种加速器的设计方法-频率补偿内存打包（FCMP）-它提高了OCM的利用效率，以最小的吞吐量减少和FPGA OCM的物理结构没有修改的低成本加速器。为了验证我们的方法，我们将其应用于中型CIFAR-10推理加速器的几种实现，并证明OCM利用率可降低高达30%，而不会损失推理吞吐量，从而使我们能够将加速器从Xilinx Zynq 7020移植到7012 S，从而降低应用成本。我们还实现了一个自定义的低功耗FPGA推理加速器的量化ResNet-50 CNN，利用片上权重，有史以来最大的拓扑结构实现了这种加速器架构。我们证明，通过将FCMP应用于ResNet加速器，OCM瓶颈得到缓解，这使得加速器能够从Alveo U250移植到更小的Alveo U280板，与其他技术相比，吞吐量损失更小。通过在吞吐量和OCM要求之间提供更细粒度的权衡，FCMP提高了FPGA上自定义低功耗CNN推理设计的灵活性。
2020-11-14 cs.AR
PIMSYN: Synthesizing Processing-in-memory CNN Accelerators
本文提出自动综合框架 PIMSYN，将 CNN 应用转换为 PIM 加速器执行工作流与硬件结构，并通过架构探索优化设计，显著提升能效。
2024-02-28 cs.AR
PPAC: A Versatile In-Memory Accelerator for Matrix-Vector-Product-Like Operations
内存中处理（PIM）将计算移动到内存中，与传统的基于冯诺依曼的架构相比，其目标是提高吞吐量和能效。大多数现有的PIM架构要么是通用的，但只支持原子操作，或专门用于加速单个任务。我们提出了关联内容可寻址存储器（PPAC）中的并行处理器，这是一种新型的内存加速器，支持一系列类似于矩阵向量积（MVP）的操作，可用于传统和新兴应用。例如，PPAC能够加速低精度神经网络、精确/近似散列查找、加密和前向纠错。PPAC的全数字特性使其能够使用基于标准单元的CMOS实现，这有助于自动化设计和技术节点之间的可移植性。为了证明PPAC的有效性，我们提供了不同阵列尺寸的28 nm CMOS布局后实施结果。与最近的数字和混合信号PIM加速器的比较表明，PPAC在吞吐量和能效方面具有竞争力，同时加速了广泛的应用并简化了开发。
2019-07-19 cs.AR
AoCStream: All-on-Chip CNN Accelerator With Stream-Based Line-Buffer Architecture
卷积神经网络（CNN）加速器由于其效率而被广泛使用，但是它们需要大量的存储器，导致使用缓慢且功耗高的外部存储器。本文利用两种方案，以减少所需的内存量，并最终实现一个CNN的合理性能，只有一个实际的设备，如低端FPGA的片上存储器。为了减少中间数据的存储量，提出了一种基于流的行缓冲器结构和用于该结构的缓冲器流，而不是传统的基于帧的结构，其中中间数据存储量与输入图像大小的平方成比例。该架构由层专用块组成，以流水线方式与输入和输出流一起操作。每个卷积层块具有仅存储几行输入数据的行缓冲器。行缓冲器的大小与输入图像的宽度成比例，因此该架构比传统的基于帧的架构需要更少的中间数据存储，特别是在现代目标检测CNN中越来越大的输入大小的趋势中。除了减少的中间数据存储之外，通过加速器感知修剪来减少权重存储。实验结果表明，一个完整的目标检测CNN可以实现，即使在低端的FPGA没有外部存储器。与以前的加速器具有类似的目标检测精度相比，所提出的加速器达到更高的吞吐量，即使用更少的FPGA资源的LUT，寄存器，DSP，显示出更高的效率。经训练的模型和实现的位文件可在https://github.com/HyeongjuKang/accelerator-aware-pruning和https://github.com/HyeongjuKang/aocstream上获得。
2022-12-22 cs.AR
HPIM: Heterogeneous Processing-In-Memory-based Accelerator for Large Language Models Inference
Beihang University（北京航空航天大学）；Shandong Laboratory of ASIC and Intelligent Instruments in Qingdao, Beihang University（青岛山东大学实验室（ASIC与智能仪器））
针对大语言模型推理挑战，提出HPIM，用软硬件协同设计，将工作负载依特性分至SRAM-PIM和HBM-PIM子系统，引入耦合管道策略，显著优于现有加速器。
2026-07-07 cs.AR
NERO: A Near High-Bandwidth Memory Stencil Accelerator for Weather Prediction Modeling
持续的气候变化需要快速准确的天气和气候建模。然而，在解决大规模天气预测模拟时，最先进的CPU和GPU实现受到性能有限和高能耗的影响。这些实现主要是由复杂的不规则的内存访问模式和低算术强度，对加速提出了根本性的挑战。为了克服这些挑战，我们提出并评估了使用近内存加速使用高带宽内存（HBM）的可重构结构。我们专注于复合stenosis是天气预报模型中的基本内核。通过使用高层次的综合技术，我们开发NERO，FPGA+ HBM为基础的加速器连接通过IBM的CAPI 2（相干加速器处理器接口）到IBM的POWER 9主机系统。我们的实验结果表明，NERO在运行两种不同的复合模板内核时，性能分别是16核POWER 9系统的4.2倍和8.3倍。对于相同的两个内核，NERO在POWER 9系统上的能耗分别降低了22倍和29倍，能效分别为1.5 GFLOPS/W和17.3 GFLOPS/W。我们的结论是，采用近记忆加速解决方案的天气预测建模是有前途的手段，以实现高性能和高能源效率。
2020-09-17 cs.AR
Memory-Guided Unified Hardware Accelerator for Mixed-Precision Scientific Computing
Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）
提出基于内存引导的混合精度科学计算统一硬件加速器，解决有限元、脉冲神经网络和稀疏计算的精度、吞吐量和能耗问题。
2026-01-08 cs.AR
An Energy-Efficient Near-Data Processing Accelerator for DNNs that Optimizes Data Accesses
本文提出近数据处理加速器 QeiHaN，利用 3D 堆叠内存权重存储和对数量化激活的隐式内存内位移，减少 DNN 推理的内存访问，实现 4.3 倍加速和 3.5 倍节能。
2023-10-27 cs.AR
PIMSIM-NN: An ISA-based Simulation Framework for Processing-in-Memory Accelerators
针对存内计算加速器性能评估需求，本文提出 PIMSIM-NN，通过专用 ISA、编译器与周期精确仿真器解耦软硬件，并以事件驱动方式支持硬件并行性。
2024-02-28 cs.AR
Special Session: Sustainable Deployment of Deep Neural Networks on Non-Volatile Compute-in-Memory Accelerators
针对非易失性存内计算加速器因器件变异导致DNN推理性能下降的问题，本文提出基于负反馈理论的负优化训练机制及定向变分前向训练方法，实现鲁棒部署并减少对高成本写验证操作的依赖。
2025-08-17 cs.AR
Demystifying Memory Access Patterns of FPGA-Based Graph Processing Accelerators
可重编程硬件的最新进展（例如，FPGA）和存储器技术（例如，DDR4，HBM）承诺解决图形处理固有的性能问题，如传统硬件上的不规则存储器访问模式（例如，CPU）。虽然近年来提出了几个这样的图形加速器，但由于很少有开源实现和过多的实现工作，仍然很难评估它们的性能并在常见的图形工作负载和加速器平台上进行比较。在这项工作中，我们建立了一个图形处理加速器的模拟环境，使几个现有的加速器方法可比。这使我们能够研究相关的性能维度，例如分区方案和内存技术等。该评估深入了解了当前图形处理加速器在这些方面的优势和劣势，并进行了新颖的深入比较。
2021-03-31 cs.AR cs.DB
Sparse Matrix Multiplication on CAM Based Accelerator
稀疏矩阵乘法是线性代数计算的重要组成部分。本文提出了一种基于内容寻址存储器（CAM）和电阻式内容寻址存储器（ReCAM）的结构，通过CSR格式的稀疏向量和矩阵乘法来加速稀疏矩阵。使用功能模拟，我们表明，建议的ReCAM为基础的加速器表现出两个数量级更高的功率效率相比，现有的稀疏矩阵向量乘法实现。
2017-05-28 cs.AR
Exploring Memory Access Patterns for Graph Processing Accelerators
商业和技术的最新趋势（例如，机器学习、社会网络分析）受益于在数据库和数据科学平台中存储和处理越来越多的图形结构数据。作为具有可定制的存储层次结构的图形处理的加速器的FPGA承诺解决由传统硬件上固有的不规则存储器访问模式（例如，CPU）。然而，开发这样的硬件加速器仍然是耗时且困难的，并且基准测试是非标准化的，这阻碍了对存储器访问模式变化的影响的理解和图形处理加速器的系统工程。在这项工作中，我们提出了一个模拟环境的基础上模拟他们的内存访问模式的图形处理加速器的分析。此外，我们评估了我们的方法在两个国家的最先进的FPGA图形处理加速器，并显示再现性，可比性，以及缩短开发过程的例子。在FPGA等加速器硬件上不实现周期精确的内部数据流可显著缩短实现时间，提高基准参数透明度，并允许比较图形处理方法。
2021-02-07 cs.AR cs.DB
ScalaBFS: A Scalable BFS Accelerator on HBM-Enhanced FPGAs
高带宽存储器（HBM）通过向处理单元公开多个存储器通道来提供大规模聚合的内存带宽。为了实现高性能，构建在配置有HBM的FPGA之上的加速器（即，FPGA-HBM平台）需要根据可用的内存通道扩展其性能。在本文中，我们提出了一个加速器的BFS（宽度优先搜索）算法，命名为ScalaBFS，建立多个处理元素，充分利用HBM的高带宽，以提高效率。在Xilinx Alveo U280 FPGA卡上实现了ScalaBFS的原型系统，并在真实世界和合成无标度图中进行了BFS。实验结果表明，ScalaBFS的性能几乎与U280的HBM2子系统的可用内存伪通道（PC）成线性关系。通过充分利用U280上的32台PC和构建64个处理单元（PE），ScalaBFS实现了高达19.7 GTEPS（每秒千兆遍历边数）的性能。当在稀疏的现实图形中进行BFS时，ScalaBFS实现了与在最先进的Nvidia V100 GPU上运行的Gunrock等效的GTEPS，该GPU具有64 PC HBM 2（是U280的两倍内存带宽）。
2021-10-12 cs.AR
A 16 nm 1.60TOPS/W High Utilization DNN Accelerator with 3D Spatial Data Reuse and Efficient Shared Memory Access
KU Leuven（荷语鲁汶大学）
Voltra芯片采用3D空间数据重用和高效共享内存访问技术，实现16纳米工艺下1.60TOPS/W的高能效DNN加速器，适用于多种AI工作负载。
2026-02-11 cs.AR
An Irredundant and Compressed Data Layout to Optimize Bandwidth Utilization of FPGA Accelerators
针对 FPGA 加速器处理多维数据集时的内存带宽瓶颈，本文提出基于编译器的连续数据布局，并结合数据打包与运行时压缩，将 I/O 周期最多降低 7 倍。
2024-01-22 cs.AR
A High-Throughput FPGA Accelerator for Lightweight CNNs With Balanced Dataflow
针对现有轻量级CNN FPGA加速器内存开销高、计算效率低的问题，提出多CE平衡数据流加速器，通过混合CE流式架构、平衡数据流及资源感知分配方法，在Xilinx ZC706平台实现了领先的性能与MAC效率。
2024-12-16 cs.AR
DX100: A Programmable Data Access Accelerator for Indirection
针对间接内存访问的带宽瓶颈，提出可编程数据访问加速器DX100，通过重排和合并请求提升DRAM带宽利用率，并借助MLIR编译器自动转换代码，性能显著优于多核基线和现有预取器。
2025-06-02 cs.AR
Exploring the Feasibility of Using 3D XPoint as an In-Memory Computing Accelerator
本文介绍了如何将3D XPoint存储器阵列用作存内计算加速器。我们首先表明，阈值矩阵向量乘法（TMVM），在许多应用程序，包括机器学习的基本计算内核，可以在一个3D XPoint阵列中实现，而不需要数据离开阵列进行处理。利用TMVM的实现，我们讨论了一个二进制神经推理机的实现。我们讨论了核心概念的应用，以解决系统可扩展性等问题，其中我们连接多个3D XPoint阵列，以及电源完整性，其中我们分析了金属线对噪声裕度的寄生效应。为了确保在此实现过程中的3D XPoint阵列内的电源完整性，我们仔细分析了金属线对实现精度的寄生效应。我们量化了寄生效应对限制3D XPoint阵列的大小和配置的影响，并估计了3D XPoint子阵列的最大可接受大小。
2021-06-15 cs.AR
RAPIDx: High-performance ReRAM Processing in-Memory Accelerator for Sequence Alignment
基因组序列比对是许多生物学应用的核心。测序技术的进步产生了大量的数据，使得序列比对成为生物信息学分析的关键瓶颈。现有的用于对准的硬件加速器受到有限的片上存储器、昂贵的数据移动和不佳优化的对准算法的影响。他们无法同时处理测序机产生的大量数据。在本文中，我们提出了一个基于ReRAM的加速器，RAPIDx，使用内存处理（PIM）进行序列比对。RAPIDx通过软硬件协同设计实现了卓越的效率和性能。首先，我们提出了一种适用于PIM架构的自适应带状并行对齐算法。与原始的基于动态规划的对准相比，所提出的算法显著地降低了所需的复杂度、数据位宽度和存储器占用，而代价是可以忽略不计的精度降低。然后，我们提出了有效的PIM架构，实现所提出的算法。RAPIDx中的数据流实现了四级并行，我们在ReRAM中设计了一个原位对齐计算流程，与我们之前的PIM设计RAPID相比，提供了$5.5$ - $9.7\times$效率和吞吐量的改进。所提出的RAPIDx是可重新配置的，作为一个协处理器集成到现有的基因组分析管道，以提高序列比对或编辑距离计算。在短读段比对方面，RAPIDx提供的$131.1\times$和$46.8\times$吞吐量分别优于最先进的CPU和GPU库。与用于长读比对的ASIC加速器相比，RAPIDx的性能要高出$1.8$ - $2.9\times$。
2023-01-25 cs.AR
Generalized Ping-Pong: Off-Chip Memory Bandwidth Centric Pipelining Strategy for Processing-In-Memory Accelerators
针对大型DNN模型下存内计算片外带宽利用率低的问题，提出广义乒乓流水线策略，通过均匀分配活动时间并充分利用片外带宽，在SRAM PIM架构上实现最高7.71倍加速并开源设计。
2024-11-20 cs.AR
IANUS: Integrated Accelerator based on NPU-PIM Unified Memory System
本文提出IANUS集成加速器，通过NPU与PIM统一内存系统及PIM访问调度机制，在GPT-2上相比A100 GPU和最先进加速器分别实现6.2倍和3.2倍性能提升。
2024-10-19 cs.AR
PRIMAL: Processing-In-Memory Based Low-Rank Adaptation for LLM Inference Accelerator
National University of Singapore（新加坡国立大学）
PRIMAL通过内存计算和低秩适应技术，实现LLM推理加速，相比NVIDIA H100在吞吐量和能效上有显著提升。
2026-01-20 cs.AR
Design Space Exploration of Algorithmic Multi-Port Memories in High-Performance Application-Specific Accelerators
内存加载/存储指令在特定域加速器的执行时间和能量消耗中占有重要地位。为了设计高度并行的系统，从工作负载中提取每个粒度的可用并行性。在这些高性能设计中，在每个粒度上最大限度地使用并行性需要利用多端口存储器。目前，真正的多端口设计不太受欢迎，因为对于超过2端口的多端口存储器没有固有的EDA支持，利用更多端口需要电路级实现，因此需要很长的设计时间。在这项工作中，我们提出了一个框架，设计空间探索的ASIC中的多端口存储器（AMM）。我们研究了文献中不同的AMM设计，讨论了如何将它们结合到Pre-RTL Aladdin框架中，具有不同的存储深度，端口配置和银行结构。从我们对MachSuite（加速器基准套件）中选定的应用程序的分析中，我们了解并量化了AMM（作为真正的多端口存储器）在内存访问模式中具有低空间局部性的应用程序中的高性能的潜在用途。
2022-09-03 cs.AR
MCBP: A Memory-Compute Efficient LLM Inference Accelerator Leveraging Bit-Slice-enabled Sparsity and Repetitiveness
本文提出MCBP，一种比特粒度计算与内存高效的算法-硬件协同设计，利用比特切片使能的重复性和稀疏性加速LLM推理，通过三项创新技术缓解GEMM、权重和KV cache访问瓶颈，在26个基准上实现9.43倍加速，能效显著优于现有GPU和SOTA加速器。
2025-09-12 cs.AR
An Efficient Accelerator for Deep Learning-based Point Cloud Registration on FPGAs
Keio University（庆应义塾大学）
点云配准是许多机器人应用的基础，例如里程计和同时定位与地图构建（SLAM），它们对于自主移动机器人越来越重要。这些机器人的计算资源和功率预算是有限的，从而促进了在低成本FPGA上开发资源高效的配准方法。在本文中，我们提出了一种基于FPGA的3D点云配准的新方法，该方法基于最近的基于深度学习的方法PointNetLK。设计了一种用于PointNet特征提取的高效FPGA加速器，并在低成本和中档FPGA（Avnet Ultra96v2和Xilinx ZCU 104）上实现。我们的加速器设计的注册速度，准确性，资源使用和功耗方面进行评估。实验结果表明，PointNetLK与我们的加速器实现高达21.34倍和69.60倍的注册速度比CPU同行和ICP，分别，而仅消耗722 mW，并保持相同的精度水平。
2022-03-11 cs.AR cs.RO
MGX: Near-Zero Overhead Memory Protection for Data-Intensive Accelerators
Cornell University（康奈尔大学）；Meta AI
本文介绍了一种用于硬件加速器的近零开销存储器保护方案MGX。MGX通过利用加速器执行的特定于应用程序的属性，最大限度地减少了片外存储器加密和完整性验证的性能开销。具体地，加速器倾向于显式地管理片上和片外存储器之间的数据移动。因此，加速器的一般存储器访问模式可以在很大程度上针对给定应用确定。利用这些特性，MGX使用片上加速器状态生成用于内存加密和完整性验证的版本号，而不是将它们存储在片外内存中;它还自定义内存保护的粒度，以匹配加速器使用的粒度。为了证明MGX的有效性，我们对DNN和图形算法的MGX进行了深入研究。实验结果表明，平均而言，MGX将DNN和图形处理加速器的内存保护性能开销分别从28%和33%降低到4%和5%。
2022-05-25 cs.AR cs.CR cs.LG
Cohmeleon: Learning-Based Orchestration of Accelerator Coherence in Heterogeneous SoCs
在异构SoC架构中集成松耦合加速器的最关键方面之一是协调它们与存储层次结构的交互，特别是在导航各种高速缓存一致性选项方面：从绕过高速缓存层次结构直接访问片外存储器的加速器到拥有自己的专用高速缓存的加速器。通过在基于FPGA的多加速器多核SoC原型上运行实际大小的应用程序，我们证明了给定加速器的最佳缓存一致性模式在运行时会有所不同，这取决于加速器的特性、工作负载大小和整体SoC状态。Cohesion应用强化学习，在运行时动态地为每个加速器选择最佳的一致性模式，而不是在设计时静态地选择。它通过持续观察系统并测量其性能，自适应地做出这些选择。Cohesion与加速器无关，与架构无关，并且需要最少的硬件支持。Cohesion对应用程序员也是透明的，软件开销可以忽略不计。基于FPGA的实验表明，我们的运行时的方法提供了，平均而言，38%的加速比，减少了66%的片外存储器访问相比，国家的最先进的设计时的方法。此外，它可以匹配为目标体系结构手动调优的运行时解决方案。
2021-09-14 cs.AR
LRMP: Layer Replication with Mixed Precision for Spatial In-memory DNN Accelerators
针对基于 NVM 的空间型存内 DNN 加速器中层处理时间不均与面积受限问题，LRMP 结合强化学习和整数线性规划联合搜索层复制与混合精度量化方案，在等精度下显著降低延迟并提升吞吐量。
2023-12-05 cs.AR
CapStore: Energy-Efficient Design and Management of the On-Chip Memory for CapsuleNet Inference Accelerators
Vienna University of Technology（维也纳工业大学）；Sharif University of Technology（谢里夫理工大学）
深度神经网络（DNN）已被确立为用于高级机器学习应用的最先进算法。最近，与DNN相比，CapsuleNets由于其多维胶囊而提高了泛化能力。然而，它们对计算和内存的要求很高，这使得节能推理成为一项具有挑战性的任务。在本文中，我们进行了广泛的分析，以证明他们的主要限制，由于激烈的内存访问和大的片上存储器的要求。为了实现高效的CaspuleNet推理加速器，我们提出了一个专门的片上存储层次结构，最大限度地减少片外存储器访问，同时有效地将数据馈送到加速器。我们分析了每个内存组件的架构的片上存储器的要求。通过利用这种分析，我们提出了一种方法来探索不同的片上存储器设计和电源门控技术，以进一步降低能耗，这取决于在不同的操作的CapsuleNet的利用率。与最先进的存储器设计相比，我们的存储器设计可以显著降低片上存储器的能耗，最高可达86%。由于存储器元件的功耗是CapsuleNet加速器功耗击穿的主要原因，正如我们在分析中所展示的那样，所提出的存储器设计可以有效地降低整个CapsuleNet加速器架构的总体能耗。
2019-04-12 cs.AR cs.LG
A complete discussion on fully reconfigurable, digital, scalable, graph and sparsity-aware near-memory accelerator for graph neural networks
The University of Texas At Austin（德克萨斯大学奥斯汀分校）
提出一种无DAC/ADC的可扩展近内存计算架构NEM-GNN，通过早期计算终止、预计算和图与稀疏感知的聚合机制，显著提升图神经网络的性能、能效和计算密度。
2026-06-20 cs.AR
Voxel-CIM: An Efficient Compute-in-Memory Accelerator for Voxel-based Point Cloud Neural Networks
Voxel-CIM提出基于存内计算的体素点云神经网络加速器，通过深度编码输出优先搜索和稀疏卷积权重映射策略，显著降低片外访问并提升能效与速度。
2024-09-27 cs.AR
Be CIM or Be Memory: A Dual-mode-aware DNN Compiler for CIM Accelerators
针对现有CIM编译方法忽视存内计算架构计算/内存模式动态切换能力的问题，提出CMSwitch编译器，通过引入硬件抽象属性、动态规划与混合整数规划优化模式切换与资源分配，实现1.31×平均加速，提升DNN应用性能。
2025-02-24 cs.AR
DataMaestro: A Versatile and Efficient Data Streaming Engine Bringing Decoupled Memory Access To Dataflow Accelerators
本文提出 DataMaestro 数据流引擎，通过解耦访问/执行架构、可编程访问模式、细粒度预取和即时数据操作解决 DNN 推理的数据移动瓶颈，使 GeMM 核心利用率接近 100%，并显著优于现有方案。
2025-09-19 cs.AR
Arcus: SLO Management for Accelerators in the Cloud with Traffic Shaping
Arcus针对云中加速器通信争用导致SLO违规的问题，提出以主动流量整形为核心的SLO管理方法，通过SLO感知协议和卸载接口实现精确可扩展的流量控制，显著降低尾延迟并稳定吞吐量。
2024-10-23 cs.AR cs.OS
A Fresh Perspective on DNN Accelerators by Performing Holistic Analysis Across Paradigms
采用冯·诺依曼架构的传统计算机无法满足深度神经网络（DNN）工作负载的延迟和可扩展性挑战。已经提出了基于传统计算硬件加速器（CHA）、近数据处理（NDP）和存储器中处理（PIM）范例的各种DNN加速器来应对这些挑战。我们在这项工作中的目标是对DNN加速器范例中最先进的加速器进行严格的比较，我们使用了MLPerf推理基准的MobileNet，ResNet，BERT和DLRM的独特层进行分析。详细的模型是基于硬件实现的最先进的设计。我们观察到，对于内存密集型的全连接层（FCL）DNN，基于NDP的加速器比最先进的CHA快10.6倍，比基于PIM的加速器快39.9倍。对于计算密集型图像分类和目标检测DNN，最先进的CHA比NDP快约10倍，比基于PIM的加速器快约2000倍。基于PIM的加速器适用于能量受限的DNN应用（与传统ASIC系统相比，CNN和FCL应用的能量分别低约2.7倍和约21倍）。此外，我们确定架构的变化（如增加内存带宽，缓冲区重组），可以增加吞吐量（线性增加）和降低能量（线性减少）ML应用程序与CHA，NDP和PIM的加速器的相关组件的详细敏感性分析。
2022-08-10 cs.AR
PIMCOMP: An End-to-End DNN Compiler for Processing-In-Memory Accelerators
本文提出端到端DNN编译器PIMCOMP，通过抽象可配置模板与多级优化框架，解决PIM加速器部署中的资源利用与数据流调度问题，显著提升多架构下的吞吐量、延迟与能效。
2024-11-14 cs.AR
SPARTA: A Divide and Conquer Approach to Address Translation for Accelerators
虚拟内存（VM）对于硬件加速器的可用性和可编程性至关重要。不幸的是，高效地实现加速器VM是具有挑战性的，因为面积和功率限制使得难以采用通用CPU中使用的大型多级TLB。最近的研究建议提倡对虚拟地址到物理地址映射的许多限制，以便减小TLB大小或增加其范围。然而，这样的限制是没有吸引力的，因为它们放弃了传统VM的许多原始优点，例如请求分页和写时复制。我们提出了SPARTA，一个分而治之的方法来解决地址翻译。SPARTA将地址转换分为加速器端和内存端。加速器端转换硬件由一个仅覆盖加速器缓存层次结构（如果有的话）的小型TLB组成，而主内存访问的转换由共享内存端TLB执行。在存储器侧执行存储器访问的转换允许SPARTA将数据获取与转换重叠，并避免复制加速器之间共享的数据的TLB条目。为了进一步提高内存端翻译的性能和效率，SPARTA对内存空间进行逻辑分区，将翻译委托给小型高效的每分区翻译硬件。我们对索引遍历加速器的评估表明，SPARTA几乎消除了翻译开销，平均减少了30倍以上（高达47倍），性能提高了57%。与此同时，SPARTA只需要最少的加速器端转换硬件，减少了系统中TLB条目的总数，随着内存大小适度扩展，并保留了所有关键的VM功能。
2020-01-20 cs.AR cs.OS
Mamba-X: An End-to-End Vision Mamba Accelerator for Edge Computing Devices
针对Vision Mamba在边缘设备部署中顺序扫描导致的低效问题，提出Mamba-X加速器，采用脉动扫描阵列和混合量化技术，提升并行性并降低内存占用。
2025-08-05 cs.AR
CHIMERA: A Flexible and Scalable 3.1 TOPS/W AI-MCU with Transformer Accelerator and 563 Gb/s Shared-L2 Memory Subsystem with QoS Guarantees
ETH Zürich（苏黎世联邦理工学院）；Università di Bologna（博洛尼亚大学）；Chips-IT（芯片系统技术研究所）
本文提出Chimera，一种灵活可扩展的微控制器单元（MCU），通过集成Transformer加速器和共享L2内存子系统，在超低功耗边缘实现实时推理，峰值能效和面积效率分别达3.1 TOPS/W和281 GOPS/mm²。
2026-06-01 cs.AR
FlexSpIM: An Event-Based Digital Compute-In-Memory Accelerator with Flexible Operand Resolution and Layer-Wise Hybrid Stationarity
Delft University of Technology（代尔夫特理工大学）；KU Leuven（荷语鲁汶大学）
FlexSpIM是一种数字存内计算加速器，通过支持任意操作数分辨率和层间混合驻留数据流，在IBM DVS手势数据集上实现95.8%准确率，并降低45%能耗和52%延迟。
2026-09-09 cs.AR
SPRING: A Sparsity-Aware Reduced-Precision Monolithic 3D CNN Accelerator Architecture for Training and Inference
CNN在广泛的应用中优于传统的机器学习算法。然而，它们的计算复杂性使得有必要设计高效的硬件加速器。大多数CNN加速器都专注于探索利用计算并行性的Challowlow风格。然而，稀疏性带来的潜在性能加速尚未得到充分解决。如果在网络评估中利用稀疏性，CNN的计算和内存占用可以显着减少。为了利用稀疏性，一些加速器设计在CNN加速器上探索稀疏性编码和评估。然而，稀疏编码仅在激活或权重上执行，并且仅在推理中执行。已经表明，激活和权重在训练期间也具有高稀疏性水平。因此，稀疏感知计算也应该在训练中考虑。为了进一步提高性能和能效，一些加速器以有限的精度评估CNN。然而，这仅限于推理，因为如果在训练中使用，降低的精度会牺牲网络准确性。此外，CNN评估通常是内存密集型的，特别是在训练中。在本文中，我们提出了SPRING，一个SParsity-aware降低精度的单片3D CNN加速器，用于训练和推理。SPRING支持CNN训练和推理。它使用二进制掩码方案对激活和权重中的稀疏性进行编码。它使用随机舍入算法来训练CNN，降低精度而不损失精度。为了缓解CNN评估中的内存瓶颈，特别是在训练中，SPRING使用高效的单片3D NVM接口来增加内存带宽。与GTX 1080 Ti相比，SPRING在CNN训练方面的性能、功耗降低和能效分别提高了15.6倍、4.2倍和66.0倍，在推理方面分别提高了15.5倍、4.5…
2020-02-03 cs.AR
Memory-Efficient CNN Accelerator Based on Interlayer Feature Map Compression
Nanjing University（南京大学）
现有的深度卷积神经网络（CNN）在网络推理过程中会产生大量的层间特征数据。为了保证嵌入式系统的实时处理，需要大容量的片上存储器来缓冲层间特征图。在本文中，我们提出了一个有效的硬件加速器与层间特征压缩技术，以显着减少所需的片上存储器的大小和片外存储器访问带宽。加速器通过使用硬件实现的8x8离散余弦变换（DCT）将存储的数据变换到频域来压缩层间特征图。在DCT之后通过量化去除高频分量。利用稀疏矩阵压缩来进一步压缩层间特征图。片上内存分配方案的设计，以支持动态配置的特征地图缓冲区大小和暂存器大小，根据不同的网络层的要求。硬件加速器将压缩、解压缩和CNN加速结合到一个计算流中，实现最小的压缩和处理延迟。在FPGA平台上实现了一个原型加速器，并在台积电28纳米COMS技术合成。它通过增加少量硬件面积开销，实现了403 GOPS的峰值吞吐量和1.4x~3.3x的层间特征图缩减，使其成为智能物联网设备的有前途的硬件加速器。
2021-10-12 cs.AI cs.AR
EXMA: A Genomics Accelerator for Exact-Matching
基因组学是精准医学、全球粮食安全和病毒监测的基础。精确匹配是基因组学中几乎每一个步骤（如比对、组装、注释和压缩）中广泛使用的最基本操作之一。现代基因组学采用Ferragina-Manzini索引（FM-Index），通过额外的数据结构来增强空间有效的Burrows-Wheeler变换（BWT），以允许超快的精确匹配操作。然而，FM-Index是臭名昭著的，其穷人的空间局部性和随机内存访问模式。之前的工作创建了基于GPU、FPGA、ASIC甚至内存处理器（PIM）的加速器，以提高FM-Index搜索吞吐量。尽管它们实现了最先进的FM索引搜索吞吐量，但与所有现有的常规加速器相同，FM索引PIM在每个DRAM行激活之后仅处理一个DNA符号，从而遭受较差的内存带宽利用率。在本文中，我们提出了一个硬件加速器，EXMA，以提高FM索引搜索吞吐量。我们首先创建一个新的EXMA表与多任务学习（MTL）为基础的索引处理多个DNA符号与每个DRAM行激活。然后我们构建一个加速器来搜索EXMA表。我们提出2阶段调度，以增加我们的加速器的缓存命中率。我们引入动态页面策略来提高DRAM主存储器的行缓冲区命中率。我们还提出了CHAIN压缩，以减少数据结构的EXMA表的大小。与最先进的FM-Index PIM相比，EXMA将搜索吞吐量提高了$4.9\times$，并将每瓦搜索吞吐量提高了$4.8\times$。
2021-01-13 cs.AR
StreamTensor: Make Tensors Stream in Dataflow Accelerators for LLMs
StreamTensor提出一种编译器框架，通过迭代张量类型系统和三层设计空间优化，在FPGA上实现LLM数据流加速，显著降低延迟并提升能效。
2025-09-23 cs.AR
SQUASH: Simple QoS-Aware High-Performance Memory Scheduler for Heterogeneous Systems with Hardware Accelerators
现代SoC集成了多个CPU内核和硬件加速器（HWA），它们共享同一个主内存系统，导致来自不同代理的内存请求之间的干扰。这种干扰的结果，如果没有得到很好的控制，就会错过HWA的最后期限和CPU性能低下。为CPU-GPU系统设计的现有技术的机制通过在GPU必须完成帧的时间附近优先化GPU来努力满足GPU的目标帧速率。我们观察到两个主要问题时，这种方法是适应异构CPU-HWA系统。首先，HWA错过了最后期限，因为它们的优先级只接近最后期限。其次，这种方法没有考虑在CPU和HWA上运行的不同应用程序的不同存储器访问特性，导致延迟敏感的CPU应用程序的低性能和包括GPU在内的一些HWA的最后期限错过。在本文中，我们提出了一个简单的服务质量服务质量意识的内存异构系统（SQUASH），克服了这些问题，使用三个关键的想法，满足HWA的最后期限，同时提供高的CPU性能的目标。首先，当HWA在截止日期期间的任何时间都没有按计划满足其截止日期时，SQUASH优先考虑HWA。其次，SQUASH根据内存密集型应用程序的性能对内存延迟不敏感的观察结果，将HWA优先于内存密集型CPU应用程序。第三，SQUASH以不同的方式对待短期限的HWA，因为它们更有可能错过其期限，并基于最坏情况的内存访问时间估计来调度其请求。对各种不同工作负载和系统的广泛评估表明，SQUASH实现了比以前最好的调度器更好的CPU性能，同时…
2015-05-27 cs.AR
A Configurable and Efficient Memory Hierarchy for Neural Network Hardware Accelerator
University of Tübingen（蒂宾根大学）
本文提出一种专为DNN逐层自适应访问模式定制的可配置多级存储层次结构框架，在保持高性能的同时大幅降低存储容量需求，实验表明该框架可使芯片面积减少62.2%且性能损失仅为2.4%。
2024-04-24 cs.AI cs.AR
