Accelerating Multi-Scale Deformable Attention Using Near-Memory-Processing Architecture
University of Central Florida（中佛罗里达大学）；Huazhong University of Sci. & Tech.（华中科技大学）；National University of Singapore（新加坡国立大学）
本文提出DANMP，通过非均匀NMP集成和聚类打包方法，优化MSDAttn的内存访问，实现97.43倍加速和208.47倍能效提升。
2026-03-01 cs.AR
Accelerating Time Series Analysis via Processing using Non-Volatile Memories
针对传统平台上sDTW算法因数据移动开销大导致的性能与能效瓶颈，提出首个基于MRAM的存内计算TSA加速器MATSA，大幅提升了性能与能效。
2024-07-12 cs.AR
HAAN: A Holistic Approach for Accelerating Normalization Operations in Large Language Models
针对大语言模型中LayerNorm等归一化操作导致延迟和能耗升高的问题，本文基于算法与硬件协同设计提出HAAN整体加速方法，实验证明其硬件性能显著优于现有最先进方案。
2025-02-17 cs.AR
RecNMP: Accelerating Personalized Recommendation with Near-Memory Processing
个性化推荐系统利用深度学习模型，并占数据中心AI周期的大部分。它们的性能主要是由内存限制的稀疏嵌入操作与独特的不规则的内存访问模式，构成了一个根本的挑战，以加速。本文提出了一种轻量级的，商品DRAM兼容，近内存处理解决方案，以加速个性化推荐推理。生产级推荐模型的深入表征表明，具有高模型，操作员和数据级并行性的嵌入操作导致内存带宽饱和，限制了推荐推理性能。我们提出RecNMP，它提供了一个可扩展的解决方案，以提高系统吞吐量，支持广泛的稀疏嵌入模型。RecNMP是专门为在单个服务器上有大量操作员的生产环境量身定制的。研究了几种硬件/软件协同优化技术，如内存端缓存，表感知数据包调度和热条目分析，在高度优化的基线上实现了高达9.8倍的内存延迟加速。总体而言，RecNMP提供了4.2倍的吞吐量提升和45.8%的内存节能。
2019-12-30 cs.AR cs.DC
An ultra-low-power CGRA for accelerating Transformers at the edge
CEA（法国原子能和替代能源委员会）
本文提出一种超低功耗CGRA架构，通过4×4处理单元阵列、4×2存储操作块和无交换机网状环面互连加速Transformer中的GEMM运算，以降低功耗与内存带宽需求，支持边缘端高效部署。
2025-07-17 cs.AI cs.AR
MatPIM: Accelerating Matrix Operations with Memristive Stateful Logic
新兴的忆阻存储器处理单元（mMPU）通过忆阻器件克服了存储器墙，该忆阻器件将存储和逻辑结合起来用于真实存储器中处理（PIM）系统。mMPU的核心是有状态逻辑，它通过忆阻分区来加速，以实现交叉开关阵列内具有大规模固有并行性的逻辑。本文极大地加速了mMPU中的矩阵向量乘法和卷积的基本操作，无论是全精度还是二进制元素。这些算法为大规模的mMPU应用，如神经网络，图像处理，数值方法建立了一个有效的基础。我们克服了固有的不对称性限制，在以前的内存中的全精度矩阵向量乘法解决方案，利用分块矩阵乘法和减少技术。我们提出了第一个快速内存中的二进制矩阵向量乘法算法，利用忆阻分区与基于树的popcount减少（比以前的工作快39倍）。对于卷积，我们提出了一种新的内存输入并行概念，我们利用它来实现全精度算法，克服了卷积中的不对称限制，同时还改善了延迟（比以前的工作快2倍），以及第一个快速二进制算法（比以前的工作快12倍）。
2022-06-30 cs.AR
NDSEARCH: Accelerating Graph-Traversal-Based Approximate Nearest Neighbor Search through Near Data Processing
提出软硬件协同设计的近数据处理方案NDSEARCH，通过存内计算架构SEARSSD和定制处理模型加速基于图遍历的ANNS，显著提升吞吐量与能效。
2024-05-28 cs.AR
Accelerating Triangle Counting with Real Processing-in-Memory Systems
ETH Zürich（苏黎世联邦理工学院）；NVIDIA Research（英伟达研究院）；University of Padova（帕多瓦大学）
本文提出一种利用UPMEM架构的三角形计数算法，通过顶点着色技术减少PIM核心间的通信开销，并采用Reservoir采样和Misra-Gries摘要加速高阶节点和图边的处理，从而在动态图中超越传统CPU实现。
2026-03-20 cs.AR cs.DC
CPSAA: Accelerating Sparse Attention using Crossbar-based Processing-In-Memory Architecture
针对现有稀疏注意力方案片外随机内存访问量大的问题，提出基于交叉阵列存内计算的CPSAA加速器，通过新型计算模式、剪枝架构和交叉阵列方法实现性能与能效的大幅提升。
2023-10-07 cs.AR cs.SY eess.SY
ADS-IMC: Accelerating Data Sorting with In-Memory Computation
Indian Institute of Technology Indore（印度印多尔理工学院）；Intel Technology India Pvt. Ltd.（英特尔科技印度有限公司）
本文提出在内存fabric中直接执行排序操作的新型架构，通过减少内存与处理单元间的数据传输，降低延迟和能耗，首次利用6T SRAM实现内存排序，相比基于memristor的IMC排序延迟降低3.4倍。
2026-05-15 cs.AR
GraphR: Accelerating Graph Processing Using ReRAM
本文介绍了第一个基于ReRAM的图形处理加速器GRAPHR。GRAPVR遵循近数据处理的原则，探索以低硬件和能源成本执行大规模并行模拟操作的机会。模拟计算适合于图形处理，因为：1）算法是迭代的，并且可以固有地容忍不精确性; 2）概率计算（例如，PageRank和协同过滤）和涉及整数的典型图形算法（例如，BFS/SSSP）对错误具有弹性。GRAPHR的关键见解是，如果图算法的顶点程序可以用稀疏矩阵向量乘法（SpMV）表示，则可以通过ReRAM crossbar有效地执行。我们表明，这一假设通常是真实的一个大的图算法。GRAPHR是一种新型的加速器架构，由两个组件组成：内存ReRAM和图形引擎（GE）。核心图计算在GE（ReRAM crossbar）中以稀疏矩阵格式执行。基于向量/矩阵的图计算并不新鲜，但ReRAM提供了一个独特的机会，以前所未有的能效和低硬件成本实现大规模并行。对于由GE处理的小的子图，执行并行操作的收益掩盖了由于稀疏性而造成的浪费。实验结果表明，GRAPHR实现了16.01倍（高达132.67倍）的加速比和33.82倍的几何平均节能相比，CPU基线系统。与GPU相比，GRAPHR实现了1.69倍至2.19倍的加速比，能耗降低了4.77倍至8.91倍。与基于PIM的架构相比，GRAPHR的加速比为1.16倍至4.12倍，能效为3.67倍至10.96倍。
2017-12-08 cs.AR cs.DC
GNNear: Accelerating Full-Batch Training of Graph Neural Networks with Near-Memory Processing
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；Beijing Advanced Innovation Center for Integrated Circuits（北京集成电路高精尖创新中心）
最近，图神经网络（GNN）已经成为分析非欧几里德图数据的最先进的算法。然而，实现有效的GNN训练是具有挑战性的，特别是在大型图上。原因有很多：1）GNN训练会占用大量内存。在大型图上进行全批训练甚至需要数百到数千GB的内存。2)GNN训练涉及内存密集型和计算密集型操作，挑战当前的CPU/GPU平台。3)图形的不规则性会导致严重的资源利用不足和负载不平衡问题。本文提出了一个GNNear加速器来应对这些挑战。GNNear采用基于DIMM的存储系统，提供足够的存储容量。为了匹配GNN训练的异构性，我们将内存密集型Reduce操作卸载到DIMM内的Near-Memory-Engines（NME），充分利用高聚合本地带宽。我们采用了一个集中加速引擎（CAE）来处理计算密集型的更新操作。我们进一步提出了几种优化策略来处理输入图的不规则性，提高GNNear的性能。通过对16个GNN训练任务的综合评估，GNNear与Xeon E5-2698-v4 CPU和NVIDIA V100 GPU相比，实现了30.8 $\times$ /2.5 $\times$几何平均加速比和79.6 $\times$ /7.3 $\times$（几何平均）能效提升。
2022-08-16 cs.AR cs.LG
Casper: Accelerating Stencil Computation using Near-cache Processing
Casper是一种近缓存加速器，通过将专用模板计算单元连接到CPU最后一级缓存，避免数据移动并利用并行性，平均性能提升1.65倍，能耗降低35%，性能面积比优于GPU37倍。
2023-09-05 cs.AR
Accelerating Neural Network Inference with Processing-in-DRAM: From the Edge to the Cloud
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）
神经网络（NN）的重要性和复杂性都在增长。神经网络的性能（和能量效率）可以受到计算或存储器资源的限制。内存处理（PIM）范式，其中计算被放置在内存阵列附近或内部，是一个可行的解决方案，以加速内存限制的神经网络。然而，PIM架构在形式上不同，其中不同的PIM方法导致不同的权衡。我们的目标是分析，讨论和对比基于DRAM的PIM架构的NN性能和能源效率。为此，我们分析了三种最先进的PIM架构：（1）UPMEM，它将处理器和DRAM阵列集成到单个2D芯片中;（2）Mensa，一种为边缘设备量身定制的基于3D堆栈的PIM架构;（3）SIMDRAM，它使用DRAM的模拟原理来执行位串行操作。我们的分析表明，PIM极大地有利于内存受限的NN：（1）当GPU需要内存超额订阅时，UPMEM提供了高端GPU的23倍性能一般矩阵向量乘法内核;（2）对于24个Google边缘NN模型，Mensa将能源效率和吞吐量提高了3.0倍和3.1倍于Google Edge TPU;（3）对于三个二进制神经网络，SIMDRAM的性能比CPU/GPU高16.7倍/1.4倍。我们的结论是，理想的PIM架构NN模型取决于模型的独特属性，由于固有的架构设计的选择。
2023-03-27 cs.AR cs.DC cs.LG
Accelerating Bandwidth-Bound Deep Learning Inference with Main-Memory Accelerators
DL推理查询在各种互联网服务中起着重要作用，并且数据中心周期的很大一部分花费在处理DL推理查询上。具体而言，全连接MLP层的矩阵-矩阵乘法（GEMM）操作主导了许多推理任务。我们发现，数据中心DL推理任务的GEMM操作是内存带宽限制的，与常见的假设相反：（1）严格的查询延迟约束迫使小批量操作，这限制了重用并增加了带宽需求;以及（2）大型和共位模型需要从主内存中读取大型权重矩阵，同样需要高带宽而不提供重用机会。我们展示了在主CPU内存中处理加速这些小批量GEMM的巨大潜力。我们开发了一种新的GEMM执行流程和相应的内存端地址生成逻辑，利用GEMM的局部性，使长期运行的PIM内核，尽管复杂的地址映射功能，否则会破坏本地的CPU。我们在通道、设备和设备内PIM级别对StepStone变体进行的评估，以及平衡并行性优势和数据分发开销的优化，证明了$12\times$比CPU更好的最小延迟，以及$2.8\times$在严格的查询延迟约束下更大的吞吐量。最近的推荐和语言模型的端到端性能分析表明，StepStone PIM优于快速CPU（高达$16\times$）和先前的主存加速方法（与最佳先前方法相比，高达$2.4\times$）。
2020-11-30 cs.AR
The Role of Advanced Computer Architectures in Accelerating Artificial Intelligence Workloads
Lahore Leads University（拉合尔利兹大学）
本文综述AI与计算机架构的协同进化，分析GPU、ASIC、FPGA等主流架构的设计与性能，探讨核心优化原则及新兴技术，指出软硬件协同设计对AI未来发展的必要性。
2025-11-13 cs.AI cs.AR cs.LG
Callipepla: Stream Centric Instruction Set and Mixed Precision for Accelerating Conjugate Gradient Solver
FPGA处理能力的持续增长加上高带宽存储器（HBM），使得像Xilinx U280这样的系统成为线性求解器的可靠平台，这些线性求解器通常主导着科学和工程应用的运行时间。在本文中，我们提出了Callipepla，一个加速器的预处理共轭梯度线性求解器（CG）。CG的FPGA加速面临三个挑战：（1）如何支持任意问题并动态终止加速处理，（2）如何协调处理模块之间的长向量数据流，以及（3）如何节省片外内存带宽并保持双倍（FP 64）精度准确度。为了解决这三个挑战，我们提出了（1）用于高效流处理和控制的以流为中心的指令集，（2）向量流重用（VSR）和分散式向量流调度，以协调模块之间的向量数据流，并通过双存储器通道设计进一步减少片外存储器访问，以及（3）混合精度方案，以节省带宽而仍然实现有效的双精度的质量解决方案。据我们所知，这是第一个工作，介绍了VSR的概念，片上模块之间的数据重用，以减少不必要的片外访问的FPGA加速器。我们在Xilinx U280 HBM FPGA上实现了加速器原型。我们的评估表明，与Xilinx HPC产品XcgSolver相比，Callipepla实现了3.94倍的加速比，3.36倍的吞吐量和2.94倍的能效。与内存带宽是Callipepla 4倍的NVIDIA A100 GPU相比，我们仍然实现了77%的吞吐量，能源效率提高了3.34倍。该代码可在https://gi…
2022-12-29 cs.AR cs.DC
Ironman: Accelerating Oblivious Transfer Extension for Privacy-Preserving AI with Near-Memory Processing
本文提出 Ironman OT 加速器，通过定制 SPCOT 计算引擎与带缓存、索引排序的 NMP 架构，显著提升 PPML 中 OT 吞吐量并降低 CNN、Transformer 端到端延迟。
2025-10-04 cs.AR
Arcalís: Accelerating Remote Procedure Calls Using a Líghtweight Near-Cache Solution
University of Maryland (UMD)（马里兰大学）；Advanced Micro Devices, Inc. (AMD)（超威半导体有限公司）
Arcalis通过轻量级近缓存硬件引擎加速RPC，实现端到端加速和高吞吐量，降低微架构开销。
2026-10-16 cs.AR cs.NI
Flex-SFU: Accelerating DNN Activation Functions by Non-Uniform Piecewise Approximation
提出Flex-SFU轻量级硬件加速器，采用非均匀分段插值支持浮点，平均改善均方误差22.3倍，提升AI加速器端到端性能35.7%，面积功耗开销极小。
2023-05-08 cs.AR
CIPHERMATCH: Accelerating Homomorphic Encryption-Based String Matching via Memory-Efficient Data Packing and In-Flash Processing
本文提出 CIPHERMATCH，通过内存高效数据打包、去除乘法和旋转等同态操作以及闪存内处理架构，协同加速基于同态加密的安全精确字符串匹配，在 DNA 匹配和加密数据库搜索中实现最高 136.9 倍性能提升和 256.4 倍能耗降低。
2025-03-12 cs.AR cs.CR cs.DC
FuseFPS: Accelerating Farthest Point Sampling with Fusing KD-tree Construction for Point Clouds
提出FuseFPS架构与算法协同设计，通过融合KD树构建与点采样阶段并设计高效加速器，显著减少内存访问，在速度和能效上大幅超越现有QuickFPS加速器。
2023-09-10 cs.AR
D-com: Accelerating Iterative Processing to Enable Low-rank Decomposition of Activations
University of California, Irvine（加州大学尔湾分校）；NVIDIA（NVIDIA公司）
针对大语言模型激活值低秩分解延迟高的问题，提出D-com加速器，采用Lanczos算法、计算复制和输出形状保持方案，实现22%端到端延迟降低，仅以微小质量损失为代价。
2025-10-15 cs.AR cs.LG cs.PF
From Quarter to All: Accelerating Speculative LLM Decoding via Floating-Point Exponent Remapping and Parameter Sharing
针对大语言模型推理延迟高的问题，提出算法硬件协同设计的SPEQ投机解码方法，复用全精度模型权重比特构建量化草稿模型，搭配可重构阵列高效执行，在15个模型任务上较多种基线实现最高2.07倍无损加速。
2025-10-21 cs.AR
Memory Is All You Need: An Overview of Compute-in-Memory Architectures for Accelerating Large Language Model Inference
Technical University of Munich（慕尼黑工业大学）；The University of Tokyo（东京大学）；Stanford University（斯坦福大学）
本文综述面向大语言模型推理加速的存内计算架构，分析 transformer 算子、硬件方案及内存墙等挑战。
2024-06-12 cs.AR cs.LG
DPU or GPU for Accelerating Neural Networks Inference -- Why not both? Split CNN Inference
The University of Manchester（曼彻斯特大学）
本文提出了一种将 CNN 推断任务分割到 DPU 和 GPU 上的方法，以降低延迟。通过在 DPU 处理初始层，GPU 处理剩余层，结合 GNN 分割索引预测方法，实现了比单一 DPU 或 GPU 更高的效率提升。
2026-06-03 cs.AR cs.CV
Sense: Model Hardware Co-design for Accelerating Sparse CNN on Systolic Array
稀疏性是卷积神经网络（CNN）的固有属性，值得CNN加速器利用，但额外的处理伴随着硬件开销，导致许多架构只能获得很少的利润。同时，脉动阵列以其高时空局部性和低硬件开销在CNN加速方面越来越具有竞争力。然而，稀疏性的不规则性会导致刚性收缩压下的工作负载不平衡，从而导致性能下降。因此，本文提出了一种基于系统阵列的架构（称为Sense），通过模型-硬件协同设计进行稀疏CNN加速，实现了大幅性能提升。为了平衡处理单元阵列（PE）的输入特征映射（IFM）和权重负载，采用通道聚类方法收集近似稀疏度的IFM进行阵列计算，并共同设计了一种负载平衡权重修剪方法，使每个内核的稀疏度保持在一定值，同时精度损失很小，提高了PE利用率和整体性能。此外，采用自适应数据流配置，根据IFM的存储比例和权重确定计算策略，与Swallow相比，降低了1.17 - 1.8倍的DRAM访问，进一步降低了系统能耗。整个设计在200 MHz的ZynqZCU 102上实现，并在AlexNet，VGG-16，ResNet-50和GoogleNet上分别以471-，34-，53-和191-image/s的速度执行。与基于稀疏收缩阵列的加速器Swallow、FESA和SPOTS相比，Sense在这些CNN上分别实现了1x-2.25x、1.95x-2.5x和1.17x-2.37x的性能提升，且开销合理。
2022-09-23 cs.AR
Membrane: Accelerating Database Analytics with Bank-Level DRAM-PIM Filtering
本文提出协同利用 CPU 与 DRAM 存储体级 PIM 的查询处理框架，将 JOIN 简化为过滤任务，在 TPCH 和 SSB 上实现最高 6.5 倍加速，并分析了选择性、内存开销与软件优化。
2025-04-08 cs.AR
Accelerating AI and Computer Vision for Satellite Pose Estimation on the Intel Myriad X Embedded SoC
National Technical University of Athens（雅典国立技术大学）；University of West Attica（西阿提卡大学）
本文在英特尔Myriad X VPU上实现混合AI/CV系统，利用ResNet-50和经典CV流水线，通过并行化优化，在2W功耗下实现5 FPS的卫星姿态估计。
2024-09-19 cs.AR cs.CV
