NTT-PIM: Row-Centric Architecture and Mapping for Efficient Number-Theoretic Transform on PIM
本文提出NTT-PIM，一种基于DRAM存内计算的行中心架构与映射方法，通过就地更新和多缓冲区流水线优化，在不修改单元阵列和严格面积预算下，实现比先前最佳PIM加速器快1.7至17倍的数论变换加速。
2023-10-15 cs.AR
Accelerating Triangle Counting with Real Processing-in-Memory Systems
ETH Zürich（苏黎世联邦理工学院）；NVIDIA Research（英伟达研究院）；University of Padova（帕多瓦大学）
本文提出一种利用UPMEM架构的三角形计数算法，通过顶点着色技术减少PIM核心间的通信开销，并采用Reservoir采样和Misra-Gries摘要加速高阶节点和图边的处理，从而在动态图中超越传统CPU实现。
2026-03-20 cs.AR cs.DC
IANUS: Integrated Accelerator based on NPU-PIM Unified Memory System
本文提出IANUS集成加速器，通过NPU与PIM统一内存系统及PIM访问调度机制，在GPT-2上相比A100 GPU和最先进加速器分别实现6.2倍和3.2倍性能提升。
2024-10-19 cs.AR
PIMSIM-NN: An ISA-based Simulation Framework for Processing-in-Memory Accelerators
针对存内计算加速器性能评估需求，本文提出 PIMSIM-NN，通过专用 ISA、编译器与周期精确仿真器解耦软硬件，并以事件驱动方式支持硬件并行性。
2024-02-28 cs.AR
Accelerating Bandwidth-Bound Deep Learning Inference with Main-Memory Accelerators
DL推理查询在各种互联网服务中起着重要作用，并且数据中心周期的很大一部分花费在处理DL推理查询上。具体而言，全连接MLP层的矩阵-矩阵乘法（GEMM）操作主导了许多推理任务。我们发现，数据中心DL推理任务的GEMM操作是内存带宽限制的，与常见的假设相反：（1）严格的查询延迟约束迫使小批量操作，这限制了重用并增加了带宽需求;以及（2）大型和共位模型需要从主内存中读取大型权重矩阵，同样需要高带宽而不提供重用机会。我们展示了在主CPU内存中处理加速这些小批量GEMM的巨大潜力。我们开发了一种新的GEMM执行流程和相应的内存端地址生成逻辑，利用GEMM的局部性，使长期运行的PIM内核，尽管复杂的地址映射功能，否则会破坏本地的CPU。我们在通道、设备和设备内PIM级别对StepStone变体进行的评估，以及平衡并行性优势和数据分发开销的优化，证明了$12\times$比CPU更好的最小延迟，以及$2.8\times$在严格的查询延迟约束下更大的吞吐量。最近的推荐和语言模型的端到端性能分析表明，StepStone PIM优于快速CPU（高达$16\times$）和先前的主存加速方法（与最佳先前方法相比，高达$2.4\times$）。
2020-11-30 cs.AR
PIMfused: Near-Bank DRAM-PIM with Fused-layer Dataflow for CNN Data Transfer Optimization
针对近存储体DRAM-PIM加速CNN时跨存储体数据传输受限问题，提出软硬件协同设计PIMfused，通过融合层数据流打破层间依赖，优化数据传输，在4存储体PIMcore下相比基线实现内存周期、能耗和面积的显著优化。
2025-11-11 cs.AR
Helix: Algorithm/Architecture Co-design for Accelerating Nanopore Genome Base-calling
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Indiana University - Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯联合分校）
纳米孔基因组测序是实现个性化医疗、全球食品安全和病毒监测的关键。最先进的碱基识别器采用深度神经网络（DNN）将纳米孔测序仪产生的电信号转换为数字DNA符号。基于DNN的碱基调用程序消耗纳米孔测序流水线的总执行时间的$44.5\%$。然而，很难量化一个基本调用者并构建一个节能的内存处理（PIM）来运行量化的基本调用者。在本文中，我们提出了一种新的算法/架构共同设计的PIM，HPLOY，功率有效，准确地加速纳米孔碱基调用。从算法的角度来看，我们提出了系统误差感知训练，以尽量减少量化的碱基调用程序中的系统误差的数量。从架构的角度来看，我们提出了一个低功耗的SOT-MRAM为基础的ADC阵列处理模数转换操作，并提高现有DNN PIM的电源效率。此外，我们修改了传统的基于NVM的点积引擎，以加速CTC解码操作，并创建SOT-MRAM二进制比较器阵列来处理读表决。与最先进的PIM相比，Hacking将碱基调用吞吐量提高了$6\times$，将每瓦特吞吐量提高了$11.9\times$，将每$mm^2$吞吐量提高了$7.5\times$，而不会降低碱基调用准确性。
2020-08-04 cs.AR cs.ET cs.LG
Accelerating Irregular Applications via Efficient Synchronization and Data Access Techniques
不规则应用程序构成了许多领域日益重要的工作负载领域，包括生物信息学、化学、物理学、社会科学和机器学习。因此，在执行新兴的非常规应用程序时实现高性能和高能效至关重要。本文研究了现代计算系统中不规则应用程序效率低下的根本原因，并从根本上解决了这些问题，提出了低开销的并行线程之间的同步技术，配合精心设计的数据访问策略。我们对加速不同环境中的非常规应用程序做出了四个主要贡献，包括CPU和近数据处理（NDP）（或内存处理（PIM））系统。首先，我们设计了ColorTM，一种新的并行图着色算法的CPU系统，权衡使用同步与较低的数据访问成本。其次，我们提出了SmartPQ，一个自适应的优先级队列，在所有各种竞争的情况下，在非均匀内存访问CPU系统实现高性能。第三，我们介绍了同步，第一个实用的硬件同步机制为NDP系统量身定制。第四，我们设计了SparseP，这是第一个在真实PIM系统上进行高性能稀疏矩阵向量乘法的库。我们证明了在CPU和NDP/PIM架构中执行不规则应用程序可以通过共同设计轻量级同步方法以及精心制作的数据访问策略来显着加速。本论文的桥梁之间的差距，以处理器为中心的CPU系统和以内存为中心的PIM系统在非常规应用程序的关键重要领域。我们希望这篇论文能启发未来的工作，在共同设计软件算法与尖端的计算平台，以显着加速新兴的不规则应用程序。
2022-11-14 cs.AR cs.DC cs.DS
Taking Cryptography Out of the Data Path via Near-Memory Processing in DRAM
University of Trento（特伦托大学）；ETH Zurich（苏黎世联邦理工学院）
本文研究了通过近内存处理在DRAM中加速密码算法的潜力与限制，采用UPMEM架构评估算法可扩展性，发现多rank分布显著提升性能，实现实时PIM加速密码算法。
2026-05-19 cs.AR cs.CR cs.DC
Sustainable AI Processing at the Edge
University of Pittsburgh（匹兹堡大学）
本文评估边缘 CNN 推理与在线训练加速器的可持续性，比较 PIM、移动 GPU、FPGA 与新型 Racetrack memory PIM 的内含能量和活动率权衡。
2022-07-04 cs.AI cs.AR
Collaborative Acceleration for FFT on Commercial Processing-In-Memory Architectures
本文针对商用存内计算架构加速FFT效果不佳的问题，提出PIM与GPU协同加速方案及软硬件优化，使性能和數據移动分别提升最高1.38倍和2.76倍。
2023-08-08 cs.AR cs.DC
PIM-GPT: A Hybrid Process-in-Memory Accelerator for Autoregressive Transformers
针对GPT类自回归Transformer推理的内存受限瓶颈，提出基于DRAM存内计算与ASIC协同的PIM-GPT加速器，通过软硬件协同优化实现了远超CPU、GPU的推理速度与能效。
2024-04-14 cs.AR
PATTON: Enabling Commodity PIM for Production LLM Serving
KAIST（韩国科学技术院）
PATTON通过分层颗粒分配和提交区机制，在不修改PIM处理单元的前提下，实现商用PIM上生产级LLM服务的高效KV缓存管理，平均加速1.95倍并提升能效4.83倍。
2026-09-11 cs.AR
Generalized Ping-Pong: Off-Chip Memory Bandwidth Centric Pipelining Strategy for Processing-In-Memory Accelerators
针对大型DNN模型下存内计算片外带宽利用率低的问题，提出广义乒乓流水线策略，通过均匀分配活动时间并充分利用片外带宽，在SRAM PIM架构上实现最高7.71倍加速并开源设计。
2024-11-20 cs.AR
PyPIM: Integrating Digital Processing-in-Memory from Microarchitectural Design to Python Tensors
本文提出 PyPIM，通过微架构与 ISA 设计、Python 开发库和 PIM 驱动程序，实现数字忆阻器存内计算从 Python 张量运算到微操作的端到端集成，显著简化 PIM 应用开发。
2024-09-28 cs.AR
Neural-PIM: Efficient Processing-In-Memory with Neural Approximation of Peripherals
Washington University in St. Louis（圣路易斯华盛顿大学）；Shanghai Jiao Tong University（上海交通大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
内存处理（PIM）架构在加速众多深度学习任务方面表现出巨大的潜力。特别地，电阻式随机存取存储器（RRAM）设备提供了一种有前途的硬件基板，以构建PIM加速器，因为它们能够实现高效的原位矢量矩阵乘法（VMM）。然而，现有的PIM加速器遭受频繁和能量密集型模数（A/D）转换，严重限制了它们的性能。本文提出了一种新的PIM架构，通过使用模拟累积和神经近似外围电路最大限度地减少所需的A/D转换，有效地加速深度学习任务。我们首先描述了现有的PIM加速器所采用的不同的PLL，在此基础上，提出了一种新的PLL，通过在最终量化之前将移位和加法（S+A）操作扩展到模拟域来显著减少VMM所需的A/D转换。然后，我们利用神经近似方法设计模拟累加电路（S+A）和量化电路（ADC）与RRAM交叉阵列在一个高效的方式。最后，我们应用它们构建了一个基于RAM的PIM加速器（即，\textbf{Neural-PIM}）对所提出的模拟电路进行仿真，并对其系统级性能进行评估。对不同基准的评估表明，与最先进的基于RRAM的PIM加速器相比，Neural-PIM可以将能效提高5.36倍（1.73倍），并将吞吐量提高3.43倍（1.59倍），而不会损失准确性，即，ISAAC（CASCADE）.
2022-01-30 cs.AR cs.ET cs.LG
CPSAA: Accelerating Sparse Attention using Crossbar-based Processing-In-Memory Architecture
针对现有稀疏注意力方案片外随机内存访问量大的问题，提出基于交叉阵列存内计算的CPSAA加速器，通过新型计算模式、剪枝架构和交叉阵列方法实现性能与能效的大幅提升。
2023-10-07 cs.AR cs.SY eess.SY
RED: Energy Optimization Framework for eDRAM-based PIM with Reconfigurable Voltage Swing and Retention-aware Scheduling
本研究针对eDRAM基PIM内存设计被忽视的问题，提出RED框架，通过可重构电压摆幅和保留感知调度优化内存访问能耗，较SRAM基PIM能效提升3.05倍，eDRAM宏能耗降低74.88%。
2025-02-13 cs.AR
HPIM: Heterogeneous Processing-In-Memory-based Accelerator for Large Language Models Inference
Beihang University（北京航空航天大学）；Shandong Laboratory of ASIC and Intelligent Instruments in Qingdao, Beihang University（青岛山东大学实验室（ASIC与智能仪器））
针对大语言模型推理挑战，提出HPIM，用软硬件协同设计，将工作负载依特性分至SRAM-PIM和HBM-PIM子系统，引入耦合管道策略，显著优于现有加速器。
2026-07-07 cs.AR
ADEPT: Architecture-Driven Energy-Efficient CNN Fine-Tuning on PIM Accelerators
研究针对PIM架构上CNN微调计算和内存密集问题，提出硬件感知框架ADEPT。该框架考虑训练开销和层敏感度，引入新度量量化权衡，产生依赖平台的微调配置，能减少可训练参数和片外数据访问，微调时预测准确性损失最小。
2026-07-21 cs.AR cs.ET
Understanding Bulk-Bitwise Processing In-Memory Through Database Analytics
本文构建基于忆阻状态逻辑的PIMDB系统，以关系数据库分析为负载评估批量位PIM，证明其可显著减少内存读取、提升查询性能并降低能耗。
2023-09-26 cs.AR cs.ET
ThRIve: Thermally Robust CNN Inference via Low-Rank Adaptation in Heterogeneous PIM Architectures
Washington State University（华盛顿州立大学）
研究针对基于非易失性内存的PIM架构存在热噪声影响推理准确性的问题，提出ThRIve方法，利用低秩自适应实现热鲁棒推理，在异构PIM架构上实验，准确率与SRAM相当，且降低了能量延迟积。
2026-07-21 cs.AR cs.ET cs.LG
PPAC: A Versatile In-Memory Accelerator for Matrix-Vector-Product-Like Operations
内存中处理（PIM）将计算移动到内存中，与传统的基于冯诺依曼的架构相比，其目标是提高吞吐量和能效。大多数现有的PIM架构要么是通用的，但只支持原子操作，或专门用于加速单个任务。我们提出了关联内容可寻址存储器（PPAC）中的并行处理器，这是一种新型的内存加速器，支持一系列类似于矩阵向量积（MVP）的操作，可用于传统和新兴应用。例如，PPAC能够加速低精度神经网络、精确/近似散列查找、加密和前向纠错。PPAC的全数字特性使其能够使用基于标准单元的CMOS实现，这有助于自动化设计和技术节点之间的可移植性。为了证明PPAC的有效性，我们提供了不同阵列尺寸的28 nm CMOS布局后实施结果。与最近的数字和混合信号PIM加速器的比较表明，PPAC在吞吐量和能效方面具有竞争力，同时加速了广泛的应用并简化了开发。
2019-07-19 cs.AR
Evaluating the Potential of In-Memory Processing to Accelerate Homomorphic Encryption
针对同态加密（HE）内存开销高的问题，评估UPMEM的存内计算（PIM）架构加速HE的潜力，先加速其基础多项式运算，再集成到OpenFHE、HElib库做案例分析，给出实践发现与技术采纳参考。
2024-12-12 cs.AR cs.CR cs.DC
MatPIM: Accelerating Matrix Operations with Memristive Stateful Logic
新兴的忆阻存储器处理单元（mMPU）通过忆阻器件克服了存储器墙，该忆阻器件将存储和逻辑结合起来用于真实存储器中处理（PIM）系统。mMPU的核心是有状态逻辑，它通过忆阻分区来加速，以实现交叉开关阵列内具有大规模固有并行性的逻辑。本文极大地加速了mMPU中的矩阵向量乘法和卷积的基本操作，无论是全精度还是二进制元素。这些算法为大规模的mMPU应用，如神经网络，图像处理，数值方法建立了一个有效的基础。我们克服了固有的不对称性限制，在以前的内存中的全精度矩阵向量乘法解决方案，利用分块矩阵乘法和减少技术。我们提出了第一个快速内存中的二进制矩阵向量乘法算法，利用忆阻分区与基于树的popcount减少（比以前的工作快39倍）。对于卷积，我们提出了一种新的内存输入并行概念，我们利用它来实现全精度算法，克服了卷积中的不对称限制，同时还改善了延迟（比以前的工作快2倍），以及第一个快速二进制算法（比以前的工作快12倍）。
2022-06-30 cs.AR
Accelerating Bulk Bit-Wise X(N)OR Operation in Processing-in-DRAM Platform
随着冯诺依曼计算架构努力解决当今计算和内存密集型大数据分析任务，内存处理（PIM）平台正在获得越来越多的关注。通过这种方式，DRAM架构中的处理通过显著降低数据传输能量和延迟而取得了显著的成功。然而，当处理寻求批量逐位X（N）OR或加法运算的更复杂的应用时，尽管利用了最大的内部DRAM带宽和存储器内并行性，这种系统的性能还是会不可避免地降低。在本文中，我们开发DRIM平台，利用DRAM作为计算存储器，并将其转换为一个基本的处理单元。DRIM使用DRAM子阵列的模拟操作，并基于一种新的双行激活机制，对诸如读出放大器的外围电路进行适度的改变，将其提升以实现存储在同一位线中的操作数之间的逐位X（N）OR操作。模拟结果表明，DRIM在执行批量逐位X（N）OR运算时，平均吞吐量分别比CPU和GPU高出71倍和8.4倍。此外，DRIM优于最近的DRAM处理平台，性能提高了3.7倍。
2019-04-11 cs.AR
Enabling Highly Efficient Capsule Networks Processing Through A PIM-Based Architecture Design
University of Houston（休斯顿大学）；University of Sydney（悉尼大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；Capital Normal University（首都师范大学）
近年来，CNN在图像处理任务中取得了巨大的成功，例如，图像识别和目标检测。遗憾的是，传统的CNN的分类被发现是容易被误导的日益复杂的图像特征，由于池操作的使用，因此无法保持准确的位置和姿态信息的对象。为了解决这一挑战，一种新的神经网络结构，称为胶囊网络，它通过胶囊引入等方差，以显着提高图像分割和目标检测的学习能力。由于需要执行大量矩阵运算，CapsNet通常在现代GPU平台上加速，这些GPU平台为常见的深度学习任务提供高度优化的软件库。然而，基于我们在现代GPU上的性能表征，CapsNets由于其路由过程的特殊程序和执行特征而表现出低效率，包括大量不可共享的中间变量和密集的同步，这些都很难在软件层面进行优化。为了解决这些挑战，我们提出了一个混合计算架构设计命名为\textit{PIM-CapsNet}。它保留了GPU的片上计算能力，用于加速CapsNet中的CNN类型的层，同时采用片外内存加速解决方案进行流水线处理，通过利用当今3D堆栈内存的内存处理能力，有效解决路由过程的低效率问题。利用路由过程固有的并行化特性，我们的设计通过最小化数据移动和最大化内存中的并行处理来实现CapsNet推理效率的分层改进。
2019-11-07 cs.AR cs.DC cs.LG
The Role of Advanced Computer Architectures in Accelerating Artificial Intelligence Workloads
Lahore Leads University（拉合尔利兹大学）
本文综述AI与计算机架构的协同进化，分析GPU、ASIC、FPGA等主流架构的设计与性能，探讨核心优化原则及新兴技术，指出软硬件协同设计对AI未来发展的必要性。
2025-11-13 cs.AI cs.AR cs.LG
ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks
ARTEMIS是一种混合模拟-随机存内DRAM加速器，通过最小化DRAM改动并利用新型电容器支持随机计算和模拟累加，在加速Transformer时相比GPU、TPU等实现至少3.0倍速度提升和1.9倍能效改善。
2024-07-17 cs.AR cs.LG
Comprehensive Benchmarking of Binary Neural Networks on NVM Crossbar Architectures
本文在NeuroSim模拟器上对部署于NVM交叉开关存内计算架构的ImageNet二值神经网络进行综合基准评测，分析输入精度和ADC分辨率对精度与硬件性能的影响，并识别影响面积、延迟和能耗的架构瓶颈。
2023-08-11 cs.AR cs.ET
GraphR: Accelerating Graph Processing Using ReRAM
本文介绍了第一个基于ReRAM的图形处理加速器GRAPHR。GRAPVR遵循近数据处理的原则，探索以低硬件和能源成本执行大规模并行模拟操作的机会。模拟计算适合于图形处理，因为：1）算法是迭代的，并且可以固有地容忍不精确性; 2）概率计算（例如，PageRank和协同过滤）和涉及整数的典型图形算法（例如，BFS/SSSP）对错误具有弹性。GRAPHR的关键见解是，如果图算法的顶点程序可以用稀疏矩阵向量乘法（SpMV）表示，则可以通过ReRAM crossbar有效地执行。我们表明，这一假设通常是真实的一个大的图算法。GRAPHR是一种新型的加速器架构，由两个组件组成：内存ReRAM和图形引擎（GE）。核心图计算在GE（ReRAM crossbar）中以稀疏矩阵格式执行。基于向量/矩阵的图计算并不新鲜，但ReRAM提供了一个独特的机会，以前所未有的能效和低硬件成本实现大规模并行。对于由GE处理的小的子图，执行并行操作的收益掩盖了由于稀疏性而造成的浪费。实验结果表明，GRAPHR实现了16.01倍（高达132.67倍）的加速比和33.82倍的几何平均节能相比，CPU基线系统。与GPU相比，GRAPHR实现了1.69倍至2.19倍的加速比，能耗降低了4.77倍至8.91倍。与基于PIM的架构相比，GRAPHR的加速比为1.16倍至4.12倍，能效为3.67倍至10.96倍。
2017-12-08 cs.AR cs.DC
