LOCALUT: Harnessing Capacity-Computation Tradeoffs for LUT-Based Inference in DRAM-PIM
Seoul National University(首尔大学);Yonsei University(延世大学)
本文提出LOCALUT,通过将多个MAC操作打包到单个LUT查找中,利用容量-计算权衡提升DRAM-PIM中低比特量化DNN推理效率,实现1.82倍的几何平均加速。
2026-04-06 cs.AR
PIM-FW: Hardware-Software Co-Design of All-pairs Shortest Paths in DRAM
University of California, San Diego(加州大学圣迭戈分校);Illinois Institute of Technology(伊利诺伊理工学院)
PIM-FW通过硬件-软件协同设计,在DRAM中高效计算所有对最短路径,实现18.7倍速度提升和3200倍能耗降低。
2025-12-20 cs.AR
Enabling the Adoption of Processing-in-Memory: Challenges, Mechanisms, Future Research Directions
多年来,DRAM技术的扩展性差,导致基于DRAM的主存越来越成为一个更大的系统瓶颈。瓶颈的一个主要原因是存储在DRAM中的数据必须在任何计算发生之前通过引脚有限的内存通道移动到CPU。这需要很高的延迟和能量开销,并且数据通常不能从CPU中的缓存中受益,从而难以分摊开销。现代3D堆叠DRAM架构包括逻辑层,其中计算逻辑可以集成在同一芯片内的DRAM单元阵列的多层之下。架构师可以利用逻辑层来执行内存处理(PIM)或近数据处理。在PIM架构中,DRAM内的逻辑层可以访问3D堆叠DRAM内可用的高内部带宽(其远大于DRAM和CPU之间可用的带宽)。因此,PIM架构可以有效地释放宝贵的存储器通道带宽,同时降低系统能耗。当我们将计算逻辑添加到DRAM时,会出现许多重要的问题。特别地,该逻辑不具有对现代应用执行所必需的公共CPU结构的低延迟访问,诸如虚拟内存和缓存一致性机制。为了便于PIM的广泛采用,我们希望保持传统的虚拟内存抽象和共享内存编程模型。这需要高效的机制,可以为DRAM中的逻辑提供对CPU结构的访问,而不必频繁地与CPU通信。为此,我们提出并评估两个通用的解决方案,最大限度地减少不必要的片外通信PIM架构。我们发现,这两种机制提高了许多重要的内存密集型应用程序的性能和能耗。
2018-02-01 cs.AR
NicePIM: Design Space Exploration for Processing-In-Memory DNN Accelerators with 3D-Stacked-DRAM
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
针对DRAM-PIM加速器,提出NicePIM设计空间探索框架,通过PIM-Tuner、PIM-Mapper和Data-Scheduler优化硬件配置与DNN映射,平均降低延迟37%和能耗28%。
2023-05-30 cs.AR cs.LG
PIM-GPT: A Hybrid Process-in-Memory Accelerator for Autoregressive Transformers
针对GPT类自回归Transformer推理的内存受限瓶颈,提出基于DRAM存内计算与ASIC协同的PIM-GPT加速器,通过软硬件协同优化实现了远超CPU、GPU的推理速度与能效。
2024-04-14 cs.AR
CompAir: Synergizing Complementary PIMs and In-Transit NoC Computation for Efficient LLM Acceleration
Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科技大学);University of Macau(澳门大学)
针对LLM推理的存储墙与现有PIM架构的局限性,提出混合DRAM-PIM与SRAM-PIM的CompAir架构及支持在途计算的CompAir-NoC,在吞吐量相当下实现3.52倍能耗降低。
2025-09-17 cs.AR
PiDRAM: An FPGA-based Framework for End-to-end Evaluation of Processing-in-DRAM Techniques
基于DRAM的主存储器在几乎所有的计算系统中作为主要部件使用。克服主存瓶颈的一种方法是将计算移动到内存附近,这种范式称为内存处理(PiM)。最近的PiM技术提供了一种有前途的方式来提高现有和未来系统的性能和能源效率,而无需额外的DRAM硬件成本。我们开发了DRAM处理(PiDRAM)框架,这是第一个灵活的端到端开源框架,可以使用真正的DRAM芯片进行系统集成研究和真正的PiM技术评估。我们在基于FPGA的平台(Xilinx ZC 706)上演示了PiDRAM的原型,该平台实现了开源RISC-V系统(Rocket Chip)。为了展示PiDRAM的灵活性和易用性,我们实现了两种PiM技术:(1)RowClone,一种DRAM内的复制和初始化机制(使用ComputeDRAM提出的命令序列),以及(2)D-RaNGe,一种基于DRAM激活延迟故障的DRAM内真随机数生成器。我们对RowClone的端到端评估显示,复制的速度提高了14.6倍,CPU复制的初始化操作提高了12.6倍(即,常规的MEMCPY)和初始化(即,常规的Calloc)操作。我们的D-RaNGe实现提供了高吞吐量的真随机数,达到8.30 Mb/s的吞吐量。在PiDRAM提供的Verilog和C++基础上,实现所需的硬件和软件组件,实现RowClone端到端需要198(565)行Verilog(C++)代码,实现D-RaN…
2022-06-01 cs.AR
PIM-DRAM: Accelerating Machine Learning Workloads using Processing in Commodity DRAM
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
深度神经网络(DNN)已经改变了机器学习的领域,并且被广泛部署在涉及图像、视频、语音和自然语言处理的许多应用中。DNN日益增长的计算需求已经通过图形处理单元(GPU)和专用加速器得到了广泛的解决。然而,随着模型大小的增长,这些冯·诺依曼架构需要非常高的内存带宽来保持处理元件被利用,因为大部分数据驻留在主内存中。内存中的处理已被提出作为ML工作负载的内存墙瓶颈的一个有前途的解决方案。在这项工作中,我们提出了一种新的基于DRAM的内存处理(PIM)乘法原语,结合内部存储库累积,以加速ML工作负载中的矩阵向量运算。所提出的乘法原语增加了< 1%的面积开销,并且不需要DRAM外围设备的任何改变。因此,所提出的乘法可以很容易地在商品DRAM芯片中采用。随后,我们设计了一个基于DRAM的PIM架构,数据映射方案和在DRAM中执行DNN的流程。在AlexNet、VGG 16和ResNet 18等网络上进行的系统评估表明,所提出的架构、映射和数据流可以在NVIDIA Titan Xp GPU上提供高达19.5倍的加速,这凸显了克服未来几代DNN硬件内存瓶颈的必要性。
2021-08-16 cs.AI cs.AR cs.LG
RACAM: Enhancing DRAM with Reuse-Aware Computation and Automated Mapping for ML Inference
University of Texas at Austin(德克萨斯大学奥斯汀分校);Arizona State University(亚利桑那州立大学);Fairleigh Dickinson University(费尔莱迪金逊大学)
RACAM通过重用感知计算和自动映射提升DRAM性能,实现LLM推理的高加速和高能效。
2025-12-10 cs.AR
Generalized Ping-Pong: Off-Chip Memory Bandwidth Centric Pipelining Strategy for Processing-In-Memory Accelerators
针对大型DNN模型下存内计算片外带宽利用率低的问题,提出广义乒乓流水线策略,通过均匀分配活动时间并充分利用片外带宽,在SRAM PIM架构上实现最高7.71倍加速并开源设计。
2024-11-20 cs.AR
Dissecting and Re-architecting 3D NAND Flash PIM Arrays for Efficient Single-Batch Token Generation in LLMs
Korea University(韩国大学);Seoul National University of Science and Technology(首尔科学技术大学)
针对LLM单批次token生成的内存与计算需求挑战,提出将其卸载到3D NAND闪存PIM设备,重构带H树网络的PIM阵列并开发操作分块映射方法,实现2.4倍于4块RTX4090的加速,与4块A100性能相当且无额外面积开销。
2025-11-17 cs.AR
NTT-PIM: Row-Centric Architecture and Mapping for Efficient Number-Theoretic Transform on PIM
本文提出NTT-PIM,一种基于DRAM存内计算的行中心架构与映射方法,通过就地更新和多缓冲区流水线优化,在不修改单元阵列和严格面积预算下,实现比先前最佳PIM加速器快1.7至17倍的数论变换加速。
2023-10-15 cs.AR
Accelerating Neural Network Inference with Processing-in-DRAM: From the Edge to the Cloud
ETH Zürich(苏黎世联邦理工学院);Google(谷歌)
神经网络(NN)的重要性和复杂性都在增长。神经网络的性能(和能量效率)可以受到计算或存储器资源的限制。内存处理(PIM)范式,其中计算被放置在内存阵列附近或内部,是一个可行的解决方案,以加速内存限制的神经网络。然而,PIM架构在形式上不同,其中不同的PIM方法导致不同的权衡。我们的目标是分析,讨论和对比基于DRAM的PIM架构的NN性能和能源效率。为此,我们分析了三种最先进的PIM架构:(1)UPMEM,它将处理器和DRAM阵列集成到单个2D芯片中;(2)Mensa,一种为边缘设备量身定制的基于3D堆栈的PIM架构;(3)SIMDRAM,它使用DRAM的模拟原理来执行位串行操作。我们的分析表明,PIM极大地有利于内存受限的NN:(1)当GPU需要内存超额订阅时,UPMEM提供了高端GPU的23倍性能一般矩阵向量乘法内核;(2)对于24个Google边缘NN模型,Mensa将能源效率和吞吐量提高了3.0倍和3.1倍于Google Edge TPU;(3)对于三个二进制神经网络,SIMDRAM的性能比CPU/GPU高16.7倍/1.4倍。我们的结论是,理想的PIM架构NN模型取决于模型的独特属性,由于固有的架构设计的选择。
2023-03-27 cs.AR cs.DC cs.LG
NeuPIMs: NPU-PIM Heterogeneous Acceleration for Batched LLM Inferencing
针对批量LLM推理中GEMM与GEMV运算适配不同硬件的特性,提出融合NPU与PIM的NeuPIMs异构加速系统,通过双行缓冲区与子批次交错技术实现并发,吞吐量较现有方案最高提升3倍。
2024-03-29 cs.AR
Sangam: Chiplet-Based DRAM-PIM Accelerator with CXL Integration for LLM Inferencing
针对大语言模型推理因KV缓存增大而内存受限的问题,提出基于小芯片的DRAM-PIM加速器Sangam,通过CXL集成解耦逻辑与内存,提升带宽并支持先进处理组件,显著降低延迟、提高吞吐量且节省能耗。
2025-11-15 cs.AI cs.AR
On Design Principles for Efficient Heterogeneous DRAM-PIM-GPU Systems
IBM Research(IBM 研究院)
该研究针对异构DRAM-PIM-GPU系统,通过系统评估OPT、Mamba2系列模型,揭示了三项设计原则,为内存加速LLM系统架构设计提供了指导。
2026-08-06 cs.AR cs.ET
Taking Cryptography Out of the Data Path via Near-Memory Processing in DRAM
University of Trento(特伦托大学);ETH Zurich(苏黎世联邦理工学院)
本文研究了通过近内存处理在DRAM中加速密码算法的潜力与限制,采用UPMEM架构评估算法可扩展性,发现多rank分布显著提升性能,实现实时PIM加速密码算法。
2026-05-19 cs.AR cs.CR cs.DC
Compiling Semi-Ring Dynamic Programming to Tier-Aware 3D-DRAM Processing-in-Memory
University of California San Diego(加州大学圣地亚哥分校)
针对3D-DRAM存内计算,提出GenMLIR编译器,将半环动态规划自动映射为层级感知的PIM代码,相比无编译支持和标准仿射编译器分别快达5.8/16.7倍和1.2-1.4倍,且代码量大幅减少。
2026-10-08 cs.AR
GenDRAM:Hardware-Software Co-Design of General Platform in DRAM
University of California San Diego(加州大学圣地亚哥分校);Swiss Federal Institute of Technology in Lausanne (EPFL)(洛桑联邦理工学院)
GenDRAM通过在DRAM中实现硬件软件协同设计,突破传统架构的数据移动瓶颈,实现动态规划算法和基因组流水线的高性能计算。
2026-02-27 cs.AR
Shifting in-DRAM
Syracuse University(雪城大学)
本文提出了一种新的DRAM子阵列设计,通过迁移单元实现开放位线架构中的位移,无需额外复杂电路,提高效率。
2026-02-27 cs.AR
ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks
ARTEMIS是一种混合模拟-随机存内DRAM加速器,通过最小化DRAM改动并利用新型电容器支持随机计算和模拟累加,在加速Transformer时相比GPU、TPU等实现至少3.0倍速度提升和1.9倍能效改善。
2024-07-17 cs.AR cs.LG
AMEND: Audited Margins Enable Nonblocking Drops in GPU-PIM LLM Decoding
University of California, Davis(加州大学戴维斯分校)
AMEND通过预测块稀疏注意力中的丢弃决策并利用PIM并发评分,消除了GPU-PIM解码中的串行依赖,实现了非阻塞丢弃,在保持任务质量的同时显著加速解码并降低能耗。
2026-09-10 cs.AR
HH-PIM: Dynamic Optimization of Power and Performance with Heterogeneous-Hybrid PIM for Edge AI Devices
School of Intelligent Semiconductor Engineering, Chung-Ang University(智能半导体工程学院, Chung-Ang 大学)
HH-PIM通过异构混合架构和动态数据分配算法,实现边缘AI设备中能效与性能的动态优化。
2025-04-02 cs.AI cs.AR
PIMID: A Full-System Simulator with Intricacy and Diversity for Processing-in-Memory
RIKEN Center for Computational Science(理化学研究所计算科学中心);Keio University(庆应义塾大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Oak Ridge National Laboratory(橡树岭国家实验室)
研究内存处理设计空间,提出全系统模拟器PIMID,支持共享内存和消息传递模型,能在多种内存技术上运行,可放置处理元素、扫描相关参数并定价内存网络,通过协同模拟给出时间和能量分解,揭示多种内存处理特性及PIMID插件接口优势。
2026-09-10 cs.AR
PIMSAB: A Processing-In-Memory System with Spatially-Aware Communication and Bit-Serial-Aware Computation
提出PIMSAB架构,通过空间感知通信网络和位串行感知计算优化存内处理,在深度学习任务中性能超越GPU 3倍,能耗降低4.2倍,并显著优于现有SRAM和DRAM PIM方案。
2023-11-19 cs.AR
LP-Spec: Leveraging LPDDR PIM for Efficient LLM Mobile Speculative Inference with Architecture-Dataflow Co-Optimization
提出 LP-Spec 协同优化 LPDDR5 PIM 架构与数据流,通过草稿 token 剪枝、动态调度和近数据管理,显著提升移动端 LLM 投机推理的性能、能效与 EDP。
2025-08-30 cs.AR
Allspark: Workload Orchestration for Visual Transformers on Processing In-Memory Systems
Allspark提出面向PIM系统的视觉Transformer工作负载编排方案,通过细粒度划分、ILP调度和两阶段放置,实现1.2-24倍推理加速及20-55倍能耗节省。
2024-09-19 cs.AR
HashMem: PIM-based Hashmap Accelerator
针对哈希表因数据集增大导致片外内存访问昂贵的问题,提出基于PIM的HashMem架构,利用子阵列并发访问与DRAM带宽加速桶遍历,相比标准实现最高取得49.1倍加速。
2023-06-30 cs.AR cs.DS
Accelerating Bulk Bit-Wise X(N)OR Operation in Processing-in-DRAM Platform
随着冯诺依曼计算架构努力解决当今计算和内存密集型大数据分析任务,内存处理(PIM)平台正在获得越来越多的关注。通过这种方式,DRAM架构中的处理通过显著降低数据传输能量和延迟而取得了显著的成功。然而,当处理寻求批量逐位X(N)OR或加法运算的更复杂的应用时,尽管利用了最大的内部DRAM带宽和存储器内并行性,这种系统的性能还是会不可避免地降低。在本文中,我们开发DRIM平台,利用DRAM作为计算存储器,并将其转换为一个基本的处理单元。DRIM使用DRAM子阵列的模拟操作,并基于一种新的双行激活机制,对诸如读出放大器的外围电路进行适度的改变,将其提升以实现存储在同一位线中的操作数之间的逐位X(N)OR操作。模拟结果表明,DRIM在执行批量逐位X(N)OR运算时,平均吞吐量分别比CPU和GPU高出71倍和8.4倍。此外,DRIM优于最近的DRAM处理平台,性能提高了3.7倍。
2019-04-11 cs.AR
RAPIDx: High-performance ReRAM Processing in-Memory Accelerator for Sequence Alignment
基因组序列比对是许多生物学应用的核心。测序技术的进步产生了大量的数据,使得序列比对成为生物信息学分析的关键瓶颈。现有的用于对准的硬件加速器受到有限的片上存储器、昂贵的数据移动和不佳优化的对准算法的影响。他们无法同时处理测序机产生的大量数据。在本文中,我们提出了一个基于ReRAM的加速器,RAPIDx,使用内存处理(PIM)进行序列比对。RAPIDx通过软硬件协同设计实现了卓越的效率和性能。首先,我们提出了一种适用于PIM架构的自适应带状并行对齐算法。与原始的基于动态规划的对准相比,所提出的算法显著地降低了所需的复杂度、数据位宽度和存储器占用,而代价是可以忽略不计的精度降低。然后,我们提出了有效的PIM架构,实现所提出的算法。RAPIDx中的数据流实现了四级并行,我们在ReRAM中设计了一个原位对齐计算流程,与我们之前的PIM设计RAPID相比,提供了$5.5$ - $9.7\times$效率和吞吐量的改进。所提出的RAPIDx是可重新配置的,作为一个协处理器集成到现有的基因组分析管道,以提高序列比对或编辑距离计算。在短读段比对方面,RAPIDx提供的$131.1\times$和$46.8\times$吞吐量分别优于最先进的CPU和GPU库。与用于长读比对的ASIC加速器相比,RAPIDx的性能要高出$1.8$ - $2.9\times$。
2023-01-25 cs.AR
Towards Efficient LUT-based PIM: A Scalable and Low-Power Approach for Modern Workloads
本文提出基于LUT的PuM架构Lama,利用DRAM mat级并行性减少激活命令开销,支持8位运算且面积开销仅2.47%,并进一步提出LamaAccel加速器,在性能和能效上显著超越现有PuM架构、CPU、TPU和GPU。
2025-02-04 cs.AR
Benchmarking Memory-Centric Computing Systems: Analysis of Real Processing-in-Memory Hardware
本文全面分析了首个公开可用的真实UPMEM存内计算(PIM)架构,结合DRAM阵列与DPUs核心,为软硬件设计者提供关键见解与优化建议。
2023-04-03 cs.AR cs.DC cs.PF
CHIME: A Case for Efficient Long-Context Attention-FC Disaggregated Inference with DIMM-PIM
Shanghai Jiao Tong University(上海交通大学)
CHIME是首个集成DIMM-PIM的AFD系统,通过无气泡流水线等技术解决同步问题,实现最高5.15倍于HBM-PIM方案的LLM推理加速。
2026-08-10 cs.AR cs.LG
pLUTo: Enabling Massively Parallel Computation in DRAM via Lookup Tables
提出pLUTo,一种基于DRAM的存内处理架构,利用查找表实现大规模并行计算,平均比CPU和GPU快713倍和1.2倍,能耗降低1855倍和39.5倍。
2025-01-23 cs.AR cs.DC
SparseP: Towards Efficient Sparse Matrix Vector Multiplication on Real Processing-In-Memory Systems
一些制造商已经开始将近银行内存处理(PIM)架构商业化。近库PIM架构将简单的内核放置在DRAM库附近,通过降低数据访问成本,可以在并行应用中显著提高性能和能耗。真正的PIM系统可以提供高水平的并行性、大的聚合内存带宽和低的内存访问延迟,从而很好地适合于加速广泛使用的、内存受限的稀疏矩阵向量乘法(SpMV)内核。本文提供了第一个全面的分析,SpMV在现实世界的PIM架构,并提出了SparseP,第一个SpMV库真正的PIM架构。我们做出了三个重要贡献。首先,我们实现了各种各样的软件策略的SpMV多线程PIM核心和一个单一的多线程PIM核心的计算限制的特点。其次,我们设计了不同的负载均衡方案,并设计了两种类型的数据分区技术,以在数千个PIM内核上执行SpMV:(1)一维分区内核,仅使用PIM内核执行完整的SpMV计算,以及(2)二维分区内核,以努力在计算和数据传输成本之间取得平衡。第三,我们比较了SpMV在具有2528个PIM核心的真实PIM系统上的执行与最先进的CPU和GPU系统,以研究各种设备的性能和能效。SparseP软件包为实际PIM系统提供了25个SpMV内核,支持四种最广泛使用的压缩矩阵格式和广泛的数据类型。我们广泛的评估为软件设计人员和硬件架构师提供了新的见解和建议,以有效地加速实际PIM系统上的SpMV。
2022-05-23 cs.AR cs.DC cs.PF
Towards Efficient Sparse Matrix Vector Multiplication on Real Processing-In-Memory Systems
一些制造商已经开始将近银行内存处理(PIM)架构商业化。近库PIM架构将简单的内核放置在DRAM库附近,通过降低数据访问成本,可以在并行应用中显著提高性能和能耗。真正的PIM系统可以提供高水平的并行性、大的聚合内存带宽和低的内存访问延迟,从而很好地适合于加速广泛使用的、内存受限的稀疏矩阵向量乘法(SpMV)内核。本文提供了第一个全面的分析,SpMV在现实世界的PIM架构,并提出了SparseP,第一个SpMV库真正的PIM架构。我们做出了两个重要贡献。首先,我们设计了高效的SpMV算法,以加速当前和未来的PIM系统中的SpMV内核,同时覆盖各种稀疏矩阵与不同的稀疏模式。其次,我们提供了第一个全面的分析SpMV上一个真正的PIM架构。具体来说,我们进行严格的实验分析SPMV内核的UPMEM PIM系统,第一个公开的真实世界的PIM架构。我们广泛的评估为软件设计人员和硬件架构师提供了新的见解和建议,以有效地加速实际PIM系统上的SpMV内核。有关我们对SpMV PIM执行、结果、见解和开源SparseP软件包[26]的全面表征的更多信息,我们请读者参阅论文的完整版本[3,4]。SparseP软件包可在www.example.com上公开免费获得。
2022-04-02 cs.AR cs.DC cs.PF
Duplex: A Device for Large Language Models with Mixture of Experts, Grouped Query Attention, and Continuous Batching
Seoul National University(首尔国立大学);Samsung Electronics(三星电子)
针对大型语言模型中MoE和注意力层因连续批处理导致的低算术强度和频繁DRAM访问问题,提出Duplex设备,集成高Op/B的xPU与低Op/B的Logic-PIM,根据各层Op/B动态选择处理器并提出专家与注意力协同处理以最大化利用硬件。
2024-09-02 cs.AR cs.LG
Methodologies, Workloads, and Tools for Processing-in-Memory: Enabling the Adoption of Data-Centric Architectures
现代应用中数据的日益普及和不断增长的规模已经导致传统的以处理器为中心的计算系统中的高计算成本。在存储器设备之间移动大量数据(例如,DRAM)和计算元件(例如,在现代系统中,跨带宽受限的内存通道的CPU、GPU(图形处理器)可以消耗超过60%的总能量。为了降低这些成本,内存处理(PIM)范式将计算移动到更靠近数据所在的位置,减少(在某些情况下消除)在内存和处理器之间移动数据的需要。PIM有两种主要方法:(1)近存储器处理(PnM),其中PIM逻辑被添加到与存储器相同的管芯或3D堆叠存储器的逻辑层;以及(2)使用存储器处理(PuM),其使用存储单元的操作原理来执行计算。来自学术界和工业界的许多作品已经展示了PnM和PuM对于来自不同领域的各种工作负载的好处。然而,在商业系统中完全采用PIM仍然是非常具有挑战性的,这是由于缺乏跨计算机体系结构栈的PIM体系结构的工具和系统支持,所述计算机体系结构栈包括:(i)针对PIM体系结构的工作负载表征方法和基准测试套件;(ii)可以促进使用底层PIM原语的复杂操作和算法的实现的框架;(iii)编译器支持和针对PIM架构的编译器优化;(iv)对PIM感知虚拟内存、存储管理、数据分配和数据映射的操作系统支持;以及(v)高效的数据一致性和一致性机制。我们在这项工作中的目标是为PnM和PuM架构提供工具和系统支持,旨在简化PIM在当前和未来系统中的采用。
2022-05-31 cs.AR cs.DC cs.PF
New Tools, Programming Models, and System Support for Processing-in-Memory Architectures
本论文面向 DRAM 内存内处理架构,提出 DAMOV 数据移动基准、MIMDRAM 可编程基板、Proteus 低延迟硬件框架和 DaPPA 编程框架,以降低 PIM 采用门槛并提升性能与可编程性。
2025-08-27 cs.AR cs.DC
YAVIN: A Unified Architecture for Secure Edge Processing in Memory
Syracuse University(雪城大学);Brown University(布朗大学)
针对边缘计算中多租户安全执行及内存处理的挑战,提出将TEE扩展至内存的YAVIN架构,实现后量子密码与认证加密的PIM协同设计,在量化LLM执行时获超20倍加速且开销极低。
2026-08-14 cs.AR
CIDAN: Computing in DRAM with\\Artificial Neurons
许多应用,如图形处理、密码学、数据库、生物信息学等,涉及对大位向量的布尔函数的重复求值。执行存储器中的处理(PIM)的存储器中架构是针对这样的应用定制的。本文描述了一种不同的架构,称为CIDAN的内存计算,实现了3倍的性能提高和2倍的能源改善的一组代表性的算法在最先进的内存架构。CIDAN使用了一种新的基本处理元件,称为TLPE,它包括一个阈值逻辑门(TLG)(也称为人工神经元或感知器)。在TLPE中实现TLG相当于一个多输入、边沿触发的触发器,它计算其输入的阈值函数子集。通过使用逻辑信号启用/禁用与阈值函数相关联的权重的子集,在每个周期上选择特定阈值函数。除了TLG之外,TLPE还通过一系列TLG评估来实现一些非阈值功能。TLPE的等效CMOS实现需要更高的面积和功率。CIDAN具有与DRAM集成的TLPE阵列,以允许在大位向量上快速评估其功能集合中的任何一个。运行几个常见的内存中的应用程序在图形处理和密码学的结果。
2021-11-30 cs.AR
Accelerating Triangle Counting with Real Processing-in-Memory Systems
ETH Zürich(苏黎世联邦理工学院);NVIDIA Research(英伟达研究院);University of Padova(帕多瓦大学)
本文提出一种利用UPMEM架构的三角形计数算法,通过顶点着色技术减少PIM核心间的通信开销,并采用Reservoir采样和Misra-Gries摘要加速高阶节点和图边的处理,从而在动态图中超越传统CPU实现。
2026-03-20 cs.AR cs.DC
JSPIM: A Skew-Aware PIM Accelerator for High-Performance Databases Join and Select Operations
JSPIM 通过算法-硬件协同设计加速数据库的 hash join 与 select 查询,利用 subarray 级并行和 rank 级处理缓解数据 skew,相比 DuckDB 实现了最高 1000 倍的查询加速和 2.5 倍的整体吞吐量提升。
2025-08-11 cs.AR cs.DB cs.PF
A Survey of Resource Management for Processing-in-Memory and Near-Memory Processing Architectures
由于新兴的深度学习和大数据应用涉及大量数据,与数据移动相关的操作已迅速成为瓶颈。以数据为中心的计算(DCC),由内存处理(PIM)和近内存处理(NMP)范式实现,旨在通过将计算更接近数据来加速这些类型的应用程序。在过去的几年里,研究人员提出了各种存储器架构,使DCC系统,如逻辑层的3D堆叠存储器或电荷共享为基础的逐位操作的DRAM。然而,特定于应用的存储器访问模式、功率和热问题、存储器技术限制以及不一致的性能增益使DCC系统中的计算卸载复杂化。因此,设计用于计算卸载的智能资源管理技术对于利用这种新范式所提供的潜力至关重要。在这篇文章中,我们调查的主要趋势,在管理PIM和NMP为基础的DCC系统,并提供了一个审查景观的资源管理技术采用的系统设计人员为这样的系统。此外,我们还讨论了DCC管理未来的挑战和机遇。
2020-09-21 cs.AR
Block-Wise Mixed-Precision Quantization: Enabling High Efficiency for Practical ReRAM-based DNN Accelerators
针对ReRAM存内计算并行度受限问题,本文提出算法-架构协同框架BWQ,通过块级混合精度量化和精度感知权重映射,实现平均6.08倍加速和17.47倍节能。
2023-10-27 cs.AR
GradPIM: A Practical Processing-in-DRAM Architecture for Gradient Descent
Seoul National University(首尔国立大学);Samsung Electronics(三星电子);Yonsei University(延世大学)
在本文中,我们提出了GradPIM,一个内存处理架构,加速深度神经网络训练的参数更新。作为在不久的将来可能实现的内存处理技术之一,我们提出了一个增量的,简单的架构设计,不侵犯现有的内存协议。扩展DDR4 SDRAM以利用存储体组并行性,使得我们在内存处理(PIM)模块中的操作设计在硬件成本和性能方面是有效的。我们的实验结果表明,所提出的架构可以提高DNN训练的性能,并大大降低内存带宽的要求,而只构成了最小量的协议和DRAM区域的开销。
2021-02-15 cs.AR cs.DC cs.LG
AHASD: Asynchronous Heterogeneous Architecture for LLM Adaptive Drafting Speculative Decoding on Mobile Devices
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所处理器国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
AHASD提出一种异步异构架构,通过任务级DLM-TLM解耦和熵历史感知草案控制,提升移动设备上LLM自适应草案推测解码的吞吐量和能效。
2026-04-30 cs.AI cs.AR
DCC: Data-Centric Compilation of Machine Learning Kernels for Processing-In-Memory Architectures
University of Toronto(多伦多大学);Vector Institute(向量研究所);Barcelona Supercomputing Center(巴塞罗那超级计算中心);ETH Zürich(苏黎世联邦理工学院);Nvidia(英伟达);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
针对PIM系统中数据重排与计算代码优化相互依赖的问题,提出数据驱动的编译器DCC,通过统一调优联合优化数据重排与计算代码,在HBM-PIM和AttAcc PIM上分别实现平均2.21倍和3.92倍的加速。
2026-09-01 cs.AR cs.DC cs.LG
PhD Forum: Efficient Privacy-Preserving Processing via Memory-Centric Computing
针对隐私保护计算中CPU-DRAM数据移动开销大的问题,提出基于内存处理(PIM)硬件的四层框架,通过在内存中引入DPU实现计算与数据就近处理,显著提升性能。
2024-09-25 cs.AR cs.CR cs.DC
Efficient Sparse Processing-in-Memory Architecture (ESPIM) for Machine Learning Inference
本文提出 ESPIM 稀疏存内处理架构,通过细粒度交错、SDDS、索引/数值解耦预取和简化交换结构,解决非结构化稀疏推理的不规则与负载不均衡问题。
2024-04-06 cs.AR
Just-in-time Quantization with Processing-In-Memory for Efficient ML Training
针对机器学习训练中多精度权重副本占用大量内存的问题,提出基于存内计算的即时量化方案,仅存高精度权重并按需实时生成低精度版本,以2.4%以内的吞吐量损失换取最高24%的内存容量节省,提升训练效率。
2023-11-08 cs.AR cs.DC
Revisiting Main Memory-Based Covert and Side Channel Attacks in the Context of Processing-in-Memory
本研究提出利用存内计算架构特性的IMPACT时序攻击方法,构建的隐蔽信道吞吐量远超现有水平,还可低错误率泄露受害应用隐私信息,代码已开源。
2025-06-12 cs.AR cs.CR
NOM: Network-On-Memory for Inter-Bank Data Transfer in Highly-Banked Memories
数据复制是许多程序和操作系统服务中广泛使用的存储器操作。在传统的计算机中,数据复制通常由两个单独的读写事务来执行,这两个事务在DRAM芯片和处理器芯片之间来回传递数据。一些现有机制提出通过使用DRAM芯片中的共享内部总线来直接复制DRAM芯片内的数据来避免这种不必要的数据移动(例如,两个DRAM存储体之间)。虽然这些方法与传统技术相比表现出优越的性能,但是跨不同DRAM库的数据复制仍然比在同一DRAM库内的数据复制慢得多。因此,这些技术对于新兴的3D堆叠存储器(例如,HMC和HBM),其包含跨多个存储器控制器的数百个DRAM组。在本文中,我们提出了内存网络(NoM),一个轻量级的银行间数据通信计划,使直接数据复制跨两个存储体的三维堆叠存储器。NoM采用基于TDM的电路交换设计,其中电路设置由存储器控制器完成。与最先进的方法相比,NoM实现了多个DRAM存储体之间的快速数据复制和并发数据传输操作。我们的评估表明,与基线传统3D堆叠DRAM架构和最先进的技术相比,NoM将数据密集型工作负载的性能平均提高了3.8倍和75%。
2020-04-21 cs.AR
HiRA: Hidden Row Activation for Reducing Refresh Latency of Off-the-Shelf DRAM Chips
DRAM是现代主存储器系统的构建块。DRAM单元必须定期刷新以防止数据丢失。刷新操作会干扰内存访问,从而降低系统性能。随着DRAM芯片密度随着技术节点缩放而增加,刷新操作也增加,因为:1)芯片中的DRAM行的数量增加;以及2)DRAM单元需要额外的刷新操作以减轻由RowHammer引起的位故障,RowHammer是随着技术节点缩放而变得更糟的故障机制。因此,以低性能开销实现刷新操作至关重要。为此,我们提出了一个新的操作,隐藏行激活(HiRA),和HiRA内存控制器(HiRA-MC)。HiRA通过在访问或刷新同一存储体中的另一行的同时刷新一行来隐藏刷新操作的延迟。与以前的作品不同,HiRA实现了这种并行性,而无需对现成的DRAM芯片进行任何修改。为此,它利用了新的观察结果,即如果行连接到不同的电荷恢复电路,则可以在没有数据丢失的情况下激活同一存储体中的两行。我们的实验表明,56%的真正现成的DRAM芯片,HiRA可以可靠地并行DRAM行的刷新操作与刷新或激活的任何32%的行在同一银行。通过这样做,HiRA将两次刷新操作的总体延迟降低了51.4%。HiRA-MC修改存储器请求调度器以在刷新操作可以与存储器访问或另一刷新同时执行时执行HiRA。我们的系统级评估表明,HiRA-MC将系统性能提高了12.6%和3.73倍,因为它减少了由于定期刷新和RowHammer保护刷新(预防性刷新)而导…
2022-09-21 cs.AR cs.CR