On Consistency for Bulk-Bitwise Processing-in-Memory
内存中处理(PIM)架构允许软件显式启动内存中的计算。这有效地使PIM操作成为与标准存储器操作(例如,加载、存储)。对于软件正确性,具有用于PIM操作与其他PIM操作和其他存储器操作的排序规则是至关重要的,即,考虑PIM操作的一致性模型是至关重要的。据我们所知,很少注意PIM操作的一致性已在现有的作品。在本文中,我们专注于一个特定的PIM方法,命名为批量位PIM。在批量逐位PIM中,直接执行大的逐位操作并将其存储在存储器阵列中。我们表明,以前的解决方案的相关主题,保持一致性的批量位PIM已经打破了主机本地一致性模型,并防止任何保证的正确性。作为一个解决方案,我们提出并评估了四个一致性模型批量逐位PIM,从严格到放松。我们的设计还保持PIM和主机处理器之间的一致性。使用YCSB短距离扫描基准测试和TPC-H查询,通过gem 5仿真评估所提出的设计的性能,表明保证正确性的运行时间开销最多为$6\%$,并且在许多情况下运行时间甚至得到改善。本设计的硬件开销小于$0.22\%$。
2022-12-07 cs.AR
IANUS: Integrated Accelerator based on NPU-PIM Unified Memory System
本文提出IANUS集成加速器,通过NPU与PIM统一内存系统及PIM访问调度机制,在GPT-2上相比A100 GPU和最先进加速器分别实现6.2倍和3.2倍性能提升。
2024-10-19 cs.AR
DL-PIM: Improving Data Locality in Processing-in-Memory Systems
Amazon(亚马逊);Simon Fraser University(西蒙菲莎大学)
DL-PIM通过动态检测数据移动开销并主动迁移数据至本地保留区,利用分布式间接查找表与自适应机制,在HMC和HBM上分别降低54%和50%的内存延迟,提升数据局部性与系统性能。
2025-10-09 cs.AR
PIM-QAT: Neural Network Quantization for Processing-In-Memory (PIM) Systems
Northeastern University(东北大学);Rice Univeristy(莱斯大学);Snap Inc.(Snap公司)
内存处理(PIM)是一种越来越多地被研究的神经形态硬件,它承诺为深度学习推理提供能量和吞吐量方面的改进。利用存储器内部的大规模并行和高效模拟计算,PIM绕过了传统数字硬件中数据移动的瓶颈。然而,需要额外的量化步骤(即,PIM量化)来将模拟计算结果转换到数字域,由于硬件约束,额外的量化步骤通常具有有限的分辨率。同时,由于模/数接口的不完善,PIM量化中普遍存在非理想效应,进一步影响了推理精度。在本文中,我们提出了一种方法来训练量化网络,将PIM量化,这是无处不在的所有PIM系统。具体来说,我们提出了一个PIM量化感知训练(PIM-QAT)算法,并通过分析训练动态,以促进训练收敛在向后和向前传播过程中引入重新缩放技术。我们还提出了两种技术,即批量归一化(BN)校准和调整精度训练,以抑制非理想的线性和随机热噪声在真正的PIM芯片的不利影响。我们的方法进行了验证,在三个主流的PIM分解方案,并在一个原型芯片上的物理。与直接在PIM系统上部署常规训练的量化模型相比,该方法没有考虑到这种额外的量化步骤,因此失败,我们的方法提供了显着的改进。它还在PIM系统上实现了与数字硬件上的传统量化模型相当的推理精度,跨CIFAR 10和CIFAR 100数据集,使用各种网络深度用于最流行的网络拓扑。
2022-09-18 cs.AI cs.AR cs.CV
NicePIM: Design Space Exploration for Processing-In-Memory DNN Accelerators with 3D-Stacked-DRAM
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
针对DRAM-PIM加速器,提出NicePIM设计空间探索框架,通过PIM-Tuner、PIM-Mapper和Data-Scheduler优化硬件配置与DNN映射,平均降低延迟37%和能耗28%。
2023-05-30 cs.AR cs.LG
FAT-PIM: Low-Cost Error Detection for Processing-In-Memory
内存处理(PIM)加速器是一种很有前途的架构,可以在各种应用中提供大规模并行和高效率。这种架构可以即时提供对大量数据的超快操作,从而在数据密集型工作负载中实现实时性能。例如,基于电阻式存储器(ReRAM)的PIM架构因其固有的点积计算能力而广为人知。虽然这种架构的性能至关重要,但可靠性和准确性也很重要,特别是在关键任务实时系统中。不幸的是,PIM体系结构在保证无错误操作方面具有基本限制。结果,当前方法必须付出高的实现成本或性能损失来实现PIM加速器中的可靠执行。在本文中,我们对基于ReRAM的PIM架构的可靠性限制进行了基本观察。因此,我们提出了一种新的解决方案-容错PIM或FAT-PIM,可以提高这种系统的可靠性显着在低成本。我们的评估表明,我们可以提高容错显着只有4.9%的性能成本和3.9%的存储开销。
2022-07-25 cs.AR
PIMSYN: Synthesizing Processing-in-memory CNN Accelerators
本文提出自动综合框架 PIMSYN,将 CNN 应用转换为 PIM 加速器执行工作流与硬件结构,并通过架构探索优化设计,显著提升能效。
2024-02-28 cs.AR
PIMID: A Full-System Simulator with Intricacy and Diversity for Processing-in-Memory
RIKEN Center for Computational Science(理化学研究所计算科学中心);Keio University(庆应义塾大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Oak Ridge National Laboratory(橡树岭国家实验室)
研究内存处理设计空间,提出全系统模拟器PIMID,支持共享内存和消息传递模型,能在多种内存技术上运行,可放置处理元素、扫描相关参数并定价内存网络,通过协同模拟给出时间和能量分解,揭示多种内存处理特性及PIMID插件接口优势。
2026-09-10 cs.AR
DDC-PIM: Efficient Algorithm/Architecture Co-design for Doubling Data Capacity of SRAM-based Processing-In-Memory
Beihang University(北京航空航天大学);Xidian University(西安电子科技大学);Peking University(北京大学)
针对SRAM存内计算容量受限问题,提出算法/架构协同设计DDC-PIM,通过滤波器级互补相关算法与6T单元互补状态存储实现数据容量翻倍,在MobileNetV2和EfficientNet-B0上分别获得2.84倍和2.69倍加速且精度损失可忽略。
2023-10-31 cs.AR cs.LG
ThRIve: Thermally Robust CNN Inference via Low-Rank Adaptation in Heterogeneous PIM Architectures
Washington State University(华盛顿州立大学)
研究针对基于非易失性内存的PIM架构存在热噪声影响推理准确性的问题,提出ThRIve方法,利用低秩自适应实现热鲁棒推理,在异构PIM架构上实验,准确率与SRAM相当,且降低了能量延迟积。
2026-07-21 cs.AR cs.ET cs.LG
Annotated PIM Bibliography
本文提供了一个涵盖PIM技术全时间范围的注释文献目录,旨在补充即将发表的文章。
2026-01-13 cs.AR
Understanding Bulk-Bitwise Processing In-Memory Through Database Analytics
本文构建基于忆阻状态逻辑的PIMDB系统,以关系数据库分析为负载评估批量位PIM,证明其可显著减少内存读取、提升查询性能并降低能耗。
2023-09-26 cs.AR cs.ET
Generalized Ping-Pong: Off-Chip Memory Bandwidth Centric Pipelining Strategy for Processing-In-Memory Accelerators
针对大型DNN模型下存内计算片外带宽利用率低的问题,提出广义乒乓流水线策略,通过均匀分配活动时间并充分利用片外带宽,在SRAM PIM架构上实现最高7.71倍加速并开源设计。
2024-11-20 cs.AR
PIMCOMP: An End-to-End DNN Compiler for Processing-In-Memory Accelerators
本文提出端到端DNN编译器PIMCOMP,通过抽象可配置模板与多级优化框架,解决PIM加速器部署中的资源利用与数据流调度问题,显著提升多架构下的吞吐量、延迟与能效。
2024-11-14 cs.AR
PIMSIM-NN: An ISA-based Simulation Framework for Processing-in-Memory Accelerators
针对存内计算加速器性能评估需求,本文提出 PIMSIM-NN,通过专用 ISA、编译器与周期精确仿真器解耦软硬件,并以事件驱动方式支持硬件并行性。
2024-02-28 cs.AR
Shared-PIM: Enabling Concurrent Computation and Data Flow for Faster Processing-in-DRAM
Shared-PIM通过在DRAM内存库中策略性分配行并利用内存外设,实现同一内存库内并发计算与数据传输,相比LISA降低数据移动延迟和能耗,集成到pLUTo后显著提升矩阵乘法、多项式乘法、数值传输及图处理任务性能,面积开销仅7.16%。
2025-05-07 cs.AR
AME-PIM: Can Memory be Your Next Tensor Accelerator?
University of Bologna(博洛尼亚大学);Samsung Electronics(三星电子)
本文探讨HBM-PIM能否作为ISA级矩阵加速的后端,提出基于PEP的执行模型,支持端到端执行元素操作、GEMV和GEMM,减少主机参与和芯片外传输。
2026-04-30 cs.AR
PIM-GPT: A Hybrid Process-in-Memory Accelerator for Autoregressive Transformers
针对GPT类自回归Transformer推理的内存受限瓶颈,提出基于DRAM存内计算与ASIC协同的PIM-GPT加速器,通过软硬件协同优化实现了远超CPU、GPU的推理速度与能效。
2024-04-14 cs.AR
A New MRAM-based Process In-Memory Accelerator for Efficient Neural Network Training with Floating Point Precision
Rice University(莱斯大学)
现代深度神经网络(DNN)的卓越性能往往伴随着高昂的训练成本,这限制了DNN创新的快速发展,并引发了各种环境问题。为了减少训练的主要数据移动成本,内存中进程(PIM)已经成为一种很有前途的解决方案,因为它消除了访问DNN权重的需求。然而,现有技术的PIM DNN训练加速器采用具有有限精度的模拟/混合信号计算或者基于支持有限逻辑功能的存储器技术的数字计算,因此需要复杂的过程来实现浮点计算。在本文中,我们提出了一个自旋轨道力矩磁随机存取存储器(SOT-MRAM)的数字PIM加速器,支持浮点精度。具体而言,这款新的加速器具有创新的(1)SOT-MRAM单元,(2)全加法设计,以及(3)浮点计算。实验结果表明,所提出的SOT-MRAM PIM的DNN训练加速器可以实现3.3 $\times$,1.8 $\times$,和2.5 $\times$方面的能量,延迟和面积的改善,分别与最先进的PIM为基础的DNN训练加速器。
2020-05-12 cs.AR cs.DC cs.ET
Modeling and Simulation Frameworks for Processing-in-Memory Architectures
Shahid Beheshti University(沙希德贝赫什提大学);Sungkyunkwan University(成均馆大学)
本文综述了PIM仿真的方法与工具,分类讨论了不同抽象层次和评估指标下的仿真器,并探讨了PIM研究中的基准套件和开放挑战。
2025-11-26 cs.AR cs.ET
LazyPIM: Efficient Support for Cache Coherence in Processing-in-Memory Architectures
内存中处理(PIM)架构最近越来越流行,因为3D堆栈内存中可用的高内部带宽提供了更大的激励来将一些计算移动到内存的逻辑层中。为了保持程序正确性,在存储器中执行的程序部分必须与在处理器内继续执行的程序部分保持一致。不幸的是,PIM架构不能使用传统的方法来缓存一致性,由于高芯片外的流量消耗的一致性消息,这,我们在这项工作中说明,可以撤消PIM执行的好处,许多数据密集型应用程序。我们提出了LazyPIM,一个新的硬件缓存一致性机制专门为PIM设计。用于PIM中的一致性的先前方法不适合于在处理器和PIM逻辑之间共享大量数据的应用。LazyPIM使用推测性缓存一致性和压缩一致性签名的组合,以极大地降低保持PIM与处理器一致性的开销,即使存在大量共享。我们发现,LazyPIM将一系列数据密集型PIM应用的平均性能提高了19.6%,将片外流量减少了30.9%,并将能耗降低了18.0%,而不是PIM一致性的最佳先前方法。
2017-06-10 cs.AR
EPIM: Efficient Processing-In-Memory Accelerators based on Epitome
Tsinghua University(清华大学);UC Berkeley(加州大学伯克利分校);ByteDance(字节跳动)
针对PIM加速器片上内存受限问题,提出基于轻量级类卷积神经算子Epitome的EPIM方案,通过软硬件协同优化大幅减小硬件面积,在ImageNet上准确率表现优异,超越现有PIM剪枝方法。
2024-04-17 cs.AR cs.LG
Collaborative Acceleration for FFT on Commercial Processing-In-Memory Architectures
本文针对商用存内计算架构加速FFT效果不佳的问题,提出PIM与GPU协同加速方案及软硬件优化,使性能和數據移动分别提升最高1.38倍和2.76倍。
2023-08-08 cs.AR cs.DC
SparseP: Towards Efficient Sparse Matrix Vector Multiplication on Real Processing-In-Memory Systems
一些制造商已经开始将近银行内存处理(PIM)架构商业化。近库PIM架构将简单的内核放置在DRAM库附近,通过降低数据访问成本,可以在并行应用中显著提高性能和能耗。真正的PIM系统可以提供高水平的并行性、大的聚合内存带宽和低的内存访问延迟,从而很好地适合于加速广泛使用的、内存受限的稀疏矩阵向量乘法(SpMV)内核。本文提供了第一个全面的分析,SpMV在现实世界的PIM架构,并提出了SparseP,第一个SpMV库真正的PIM架构。我们做出了三个重要贡献。首先,我们实现了各种各样的软件策略的SpMV多线程PIM核心和一个单一的多线程PIM核心的计算限制的特点。其次,我们设计了不同的负载均衡方案,并设计了两种类型的数据分区技术,以在数千个PIM内核上执行SpMV:(1)一维分区内核,仅使用PIM内核执行完整的SpMV计算,以及(2)二维分区内核,以努力在计算和数据传输成本之间取得平衡。第三,我们比较了SpMV在具有2528个PIM核心的真实PIM系统上的执行与最先进的CPU和GPU系统,以研究各种设备的性能和能效。SparseP软件包为实际PIM系统提供了25个SpMV内核,支持四种最广泛使用的压缩矩阵格式和广泛的数据类型。我们广泛的评估为软件设计人员和硬件架构师提供了新的见解和建议,以有效地加速实际PIM系统上的SpMV。
2022-05-23 cs.AR cs.DC cs.PF
Inclusive-PIM: Hardware-Software Co-design for Broad Acceleration on Commercial PIM Architectures
本文提出 Inclusive-PIM 硬件-软件协同设计方案,通过 PIM 适宜性测试和软硬件优化,将商用 PIM 架构的平均加速比从 1.12 倍提升至 2.49 倍,从而扩大其对跨领域原语的加速能力。
2024-01-17 cs.AR
OPIMA: Optical Processing-In-Memory for Convolutional Neural Network Acceleration
Colorado State University(科罗拉多州立大学)
针对传统冯·诺依曼架构和DRAM基存内计算的瓶颈,提出构建于光学主内存内的OPIMA加速器,利用内存并行性和光学计算加速卷积神经网络,性能和能效显著优于现有方案。
2024-07-11 cs.AR cs.ET cs.LG
ALPHA-PIM: Analysis of Linear Algebraic Processing for High-Performance Graph Applications on a Real Processing-In-Memory System
Simon Fraser University(西蒙菲莎大学);ETH Zürich(苏黎世联邦理工学院);University of Toronto(多伦多大学);NVIDIA(英伟达);American University of Beirut(贝鲁特美国大学)
本研究探讨了在真实PIM系统中优化图算法性能,通过数据分区策略和硬件改进提升计算效率。
2026-02-09 cs.AR cs.DC
Rethinking Unified Memory for NPU-PIM Systems: Dual-View Memory for Dynamic Inference of LLM
Institute of Computing Technology Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对NPU-PIM系统现有统一内存无法适配LLM动态推理导致的带宽浪费问题,提出双视图内存方案PFM,可将端到端吞吐量提升最高达2.32倍。
2026-08-10 cs.AR
PIMphony: Overcoming Bandwidth and Capacity Inefficiency in PIM-based Long-Context LLM Inference System
PIMphony通过三种协同设计技术解决基于PIM的长上下文LLM推理系统的带宽和容量低效问题,显著提升吞吐量和效率。
2025-12-25 cs.AI cs.AR
A$^3$PIM: An Automated, Analytic and Accurate Processing-in-Memory Offloader
本文提出 A³PIM,利用静态代码分析综合评估跨段数据移动与内存访问模式,以自动识别适合 PIM 的代码段,并在 GAP、PrIM 等工作负载上取得显著加速。
2024-02-23 cs.AR cs.PF
Methodologies, Workloads, and Tools for Processing-in-Memory: Enabling the Adoption of Data-Centric Architectures
现代应用中数据的日益普及和不断增长的规模已经导致传统的以处理器为中心的计算系统中的高计算成本。在存储器设备之间移动大量数据(例如,DRAM)和计算元件(例如,在现代系统中,跨带宽受限的内存通道的CPU、GPU(图形处理器)可以消耗超过60%的总能量。为了降低这些成本,内存处理(PIM)范式将计算移动到更靠近数据所在的位置,减少(在某些情况下消除)在内存和处理器之间移动数据的需要。PIM有两种主要方法:(1)近存储器处理(PnM),其中PIM逻辑被添加到与存储器相同的管芯或3D堆叠存储器的逻辑层;以及(2)使用存储器处理(PuM),其使用存储单元的操作原理来执行计算。来自学术界和工业界的许多作品已经展示了PnM和PuM对于来自不同领域的各种工作负载的好处。然而,在商业系统中完全采用PIM仍然是非常具有挑战性的,这是由于缺乏跨计算机体系结构栈的PIM体系结构的工具和系统支持,所述计算机体系结构栈包括:(i)针对PIM体系结构的工作负载表征方法和基准测试套件;(ii)可以促进使用底层PIM原语的复杂操作和算法的实现的框架;(iii)编译器支持和针对PIM架构的编译器优化;(iv)对PIM感知虚拟内存、存储管理、数据分配和数据映射的操作系统支持;以及(v)高效的数据一致性和一致性机制。我们在这项工作中的目标是为PnM和PuM架构提供工具和系统支持,旨在简化PIM在当前和未来系统中的采用。
2022-05-31 cs.AR cs.DC cs.PF
PIMDAL: Mitigating the Memory Bottleneck in Data Analytics using a Real Processing-in-Memory System
本文提出PIMDAL库,在真实UPMEM存内计算系统上实现四大数据库算子,克服硬件限制,在五个TPC-H查询上平均性能达高端CPU的3.9倍,有效缓解数据分析中的内存瓶颈。
2025-04-02 cs.AR cs.DB cs.DC
SAL-PIM: A Subarray-level Processing-in-Memory Architecture with LUT-based Linear Interpolation for Transformer-based Text Generation
针对基于Transformer的文本生成任务内存瓶颈问题,提出子阵列级存内计算架构SAL-PIM,通过优化数据映射、基于LUT的线性插值等设计实现端到端加速,在GPT-2 medium模型上相较服务器级GPU最高获4.72倍加速。
2024-01-30 cs.AR
PIMfused: Near-Bank DRAM-PIM with Fused-layer Dataflow for CNN Data Transfer Optimization
针对近存储体DRAM-PIM加速CNN时跨存储体数据传输受限问题,提出软硬件协同设计PIMfused,通过融合层数据流打破层间依赖,优化数据传输,在4存储体PIMcore下相比基线实现内存周期、能耗和面积的显著优化。
2025-11-11 cs.AR
Pimba: A Processing-in-Memory Acceleration for Post-Transformer Large Language Model Serving
Uppsala University(乌普萨拉大学);Georgia Institute of Technology(佐治亚理工学院)
针对统一服务Transformer与后Transformer LLMs的内存带宽瓶颈,提出存内处理加速器Pimba,利用双bank共享的SPU和基于MX量化的SPE高效执行状态更新与注意力操作,相比GPU系统显著提升吞吐量。
2025-09-16 cs.AR cs.LG
CrossNAS: A Cross-Layer Neural Architecture Search Framework for PIM Systems
University of South Carolina(南卡罗来纳大学)
CrossNAS提出面向模拟存内计算系统的跨层神经架构搜索框架,首次结合单路径权重共享与进化搜索,在精度和能效上超越已有方法且搜索时间不增加。
2025-05-28 cs.AR cs.ET cs.LG
The Bitlet Model: A Parameterized Analytical Model to Compare PIM and CPU Systems
如今,数据密集型应用程序越来越受欢迎,随着这一趋势,基于内存处理(PIM)的系统受到更多关注,并且变得更加相关。本文描述了一种称为Bitlet的分析建模工具,可以使用它来以参数化的方式估计基于PIM的系统的性能和功率/能量,从而评估工作负载对PIM的亲和力,而不是传统的计算。该工具主要揭示了PIM计算复杂性(通过PIM执行计算所需的周期)、PIM所用的内存量、系统内存带宽和数据传输大小之间的有趣权衡。尽管简单,但该模型在应用于现实生活中的例子时揭示了新的见解。该模型被证明为几个合成的例子,然后应用于探索不同的参数对两个系统的影响- IMAGING和FloatPIM。在此基础上,总结了PIM及其与CPU结合的一些见解.
2021-07-21 cs.AR
Towards Efficient Sparse Matrix Vector Multiplication on Real Processing-In-Memory Systems
一些制造商已经开始将近银行内存处理(PIM)架构商业化。近库PIM架构将简单的内核放置在DRAM库附近,通过降低数据访问成本,可以在并行应用中显著提高性能和能耗。真正的PIM系统可以提供高水平的并行性、大的聚合内存带宽和低的内存访问延迟,从而很好地适合于加速广泛使用的、内存受限的稀疏矩阵向量乘法(SpMV)内核。本文提供了第一个全面的分析,SpMV在现实世界的PIM架构,并提出了SparseP,第一个SpMV库真正的PIM架构。我们做出了两个重要贡献。首先,我们设计了高效的SpMV算法,以加速当前和未来的PIM系统中的SpMV内核,同时覆盖各种稀疏矩阵与不同的稀疏模式。其次,我们提供了第一个全面的分析SpMV上一个真正的PIM架构。具体来说,我们进行严格的实验分析SPMV内核的UPMEM PIM系统,第一个公开的真实世界的PIM架构。我们广泛的评估为软件设计人员和硬件架构师提供了新的见解和建议,以有效地加速实际PIM系统上的SpMV内核。有关我们对SpMV PIM执行、结果、见解和开源SparseP软件包[26]的全面表征的更多信息,我们请读者参阅论文的完整版本[3,4]。SparseP软件包可在www.example.com上公开免费获得。
2022-04-02 cs.AR cs.DC cs.PF
Performance Analysis of Digital Processing-in-Memory through a Case Study on Convolutional-Neural-Network Acceleration
Technion – Israel Institute of Technology(以色列理工学院)
本文通过理论分析和与GPU的定量对比,系统评估数字PIM架构在CNN加速中的性能,揭示其局限性并指导未来应用加速。
2026-06-19 cs.AR
ProactivePIM: Accelerating Weight-Sharing Embedding Layer with PIM for Scalable Recommendation System
ProactivePIM通过PIM技术加速权重共享算法,提升推荐系统性能。
2025-11-25 cs.AI cs.AR
FPGA Processor In Memory Architectures (PIMs): Overlay or Overhaul ?
本文对比 FPGA 上的定制 PIM 架构与 PIM 覆盖层,提出 PiCaSO,并证明其在延迟和 BRAM 利用率上的优势及反哺定制设计的改进。
2023-08-07 cs.AR
PIM-AI: A Novel Architecture for High-Efficiency LLM Inference
UPMEM(UPMEM公司);Grenoble(格勒诺布尔)
针对LLM推理的计算与内存需求挑战,本文提出无需修改内存控制器或PHY的DDR5/LPDDR5 PIM架构PIM-AI,通过模拟器验证其在云场景降低3年TCO达6.94倍、移动场景提升能效与查询性能,为LLM部署提供高效方案。
2024-11-26 cs.AI cs.AR cs.DC
PIM-Enclave: Bringing Confidential Computation Inside Memory
本文提出PIM-Enclave软硬件协同设计,利用存内计算加速机密计算,在提供抗侧信道攻击的安全计算卸载的同时,保持极低的性能开销。
2021-11-05 cs.AR cs.CR
PyPIM: Integrating Digital Processing-in-Memory from Microarchitectural Design to Python Tensors
本文提出 PyPIM,通过微架构与 ISA 设计、Python 开发库和 PIM 驱动程序,实现数字忆阻器存内计算从 Python 张量运算到微操作的端到端集成,显著简化 PIM 应用开发。
2024-09-28 cs.AR
Accelerating Neural Network Inference with Processing-in-DRAM: From the Edge to the Cloud
ETH Zürich(苏黎世联邦理工学院);Google(谷歌)
神经网络(NN)的重要性和复杂性都在增长。神经网络的性能(和能量效率)可以受到计算或存储器资源的限制。内存处理(PIM)范式,其中计算被放置在内存阵列附近或内部,是一个可行的解决方案,以加速内存限制的神经网络。然而,PIM架构在形式上不同,其中不同的PIM方法导致不同的权衡。我们的目标是分析,讨论和对比基于DRAM的PIM架构的NN性能和能源效率。为此,我们分析了三种最先进的PIM架构:(1)UPMEM,它将处理器和DRAM阵列集成到单个2D芯片中;(2)Mensa,一种为边缘设备量身定制的基于3D堆栈的PIM架构;(3)SIMDRAM,它使用DRAM的模拟原理来执行位串行操作。我们的分析表明,PIM极大地有利于内存受限的NN:(1)当GPU需要内存超额订阅时,UPMEM提供了高端GPU的23倍性能一般矩阵向量乘法内核;(2)对于24个Google边缘NN模型,Mensa将能源效率和吞吐量提高了3.0倍和3.1倍于Google Edge TPU;(3)对于三个二进制神经网络,SIMDRAM的性能比CPU/GPU高16.7倍/1.4倍。我们的结论是,理想的PIM架构NN模型取决于模型的独特属性,由于固有的架构设计的选择。
2023-03-27 cs.AR cs.DC cs.LG
An Experimental Evaluation of Machine Learning Training on a Real Processing-in-Memory System
ETH Zürich(苏黎世联邦理工学院);UPMEM
本研究在真实通用PIM系统上评估ML训练,实现并比较多种经典算法,证明PIM能大幅加速内存受限工作负载,为未来内存计算提供指导。
2023-09-05 cs.AI cs.AR cs.DC
SimplePIM: A Software Framework for Productive and Efficient Processing-in-Memory
针对真实PIM硬件编程难度大的问题,提出SimplePIM软件框架,通过迭代器调用和通信原语简化开发,在UPMEM系统上验证可大幅减少代码量并提升或保持应用性能。
2023-10-03 cs.AR cs.DC cs.SE
CompAir: Synergizing Complementary PIMs and In-Transit NoC Computation for Efficient LLM Acceleration
Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科技大学);University of Macau(澳门大学)
针对LLM推理的存储墙与现有PIM架构的局限性,提出混合DRAM-PIM与SRAM-PIM的CompAir架构及支持在途计算的CompAir-NoC,在吞吐量相当下实现3.52倍能耗降低。
2025-09-17 cs.AR
A Workload and Programming Ease Driven Perspective of Processing-in-Memory
许多现代和新兴的应用程序必须处理越来越大的数据量。不幸的是,流行的计算范例并没有被设计为有效地处理这样的大规模数据:在内存子系统和CPU之间移动这些数据的能量和性能成本现在占了计算的总成本的主导地位。这迫使系统架构师和设计师从根本上重新思考如何设计计算机。内存处理(PIM)是一种计算范例,通过将计算引入数据来避免大多数数据移动成本。现代存储器系统中的新机会使得能够在存储器子系统内执行不同程度的处理的架构成为可能。然而,构建PIM架构必须解决许多实际的系统级问题,包括使工作负载和程序员能够轻松地利用PIM。本文研究了实现PIM架构的实际构建和广泛采用的三个关键领域。首先,我们描述了我们在系统地识别PIM在实际应用中的机会方面的工作,并量化了流行的新兴应用的潜在收益(例如,机器学习、数据分析、基因组分析)。其次,我们的目标是解决几个关键问题,这些程序的PIM架构。第三,我们描述了广泛采用PIM仍然面临的挑战。
2019-07-26 cs.AR cs.DC
PIM-DRAM: Accelerating Machine Learning Workloads using Processing in Commodity DRAM
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
深度神经网络(DNN)已经改变了机器学习的领域,并且被广泛部署在涉及图像、视频、语音和自然语言处理的许多应用中。DNN日益增长的计算需求已经通过图形处理单元(GPU)和专用加速器得到了广泛的解决。然而,随着模型大小的增长,这些冯·诺依曼架构需要非常高的内存带宽来保持处理元件被利用,因为大部分数据驻留在主内存中。内存中的处理已被提出作为ML工作负载的内存墙瓶颈的一个有前途的解决方案。在这项工作中,我们提出了一种新的基于DRAM的内存处理(PIM)乘法原语,结合内部存储库累积,以加速ML工作负载中的矩阵向量运算。所提出的乘法原语增加了< 1%的面积开销,并且不需要DRAM外围设备的任何改变。因此,所提出的乘法可以很容易地在商品DRAM芯片中采用。随后,我们设计了一个基于DRAM的PIM架构,数据映射方案和在DRAM中执行DNN的流程。在AlexNet、VGG 16和ResNet 18等网络上进行的系统评估表明,所提出的架构、映射和数据流可以在NVIDIA Titan Xp GPU上提供高达19.5倍的加速,这凸显了克服未来几代DNN硬件内存瓶颈的必要性。
2021-08-16 cs.AI cs.AR cs.LG
PIM-Opt: Demystifying Distributed Optimization Algorithms on a Real-World Processing-In-Memory System
ETH Zurich(苏黎世联邦理工学院);NVIDIA(英伟达公司);Wuhan University(武汉大学);University of Chicago(芝加哥大学)
本文在真实UPMEM存内计算系统上实现并评估了多种分布式SGD算法,发现PIM在受内存限制的ML训练中是CPU/GPU的可行替代方案,但需算法-硬件协同设计且扩展性存在非线性限制。
2024-09-27 cs.AI cs.AR cs.DC
HPIM: Heterogeneous Processing-In-Memory-based Accelerator for Large Language Models Inference
Beihang University(北京航空航天大学);Shandong Laboratory of ASIC and Intelligent Instruments in Qingdao, Beihang University(青岛山东大学实验室(ASIC与智能仪器))
针对大语言模型推理挑战,提出HPIM,用软硬件协同设计,将工作负载依特性分至SRAM-PIM和HBM-PIM子系统,引入耦合管道策略,显著优于现有加速器。
2026-07-07 cs.AR
DCC: Data-Centric Compilation of Machine Learning Kernels for Processing-In-Memory Architectures
University of Toronto(多伦多大学);Vector Institute(向量研究所);Barcelona Supercomputing Center(巴塞罗那超级计算中心);ETH Zürich(苏黎世联邦理工学院);Nvidia(英伟达);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
针对PIM系统中数据重排与计算代码优化相互依赖的问题,提出数据驱动的编译器DCC,通过统一调优联合优化数据重排与计算代码,在HBM-PIM和AttAcc PIM上分别实现平均2.21倍和3.92倍的加速。
2026-09-01 cs.AR cs.DC cs.LG
CHIME: A Case for Efficient Long-Context Attention-FC Disaggregated Inference with DIMM-PIM
Shanghai Jiao Tong University(上海交通大学)
CHIME是首个集成DIMM-PIM的AFD系统,通过无气泡流水线等技术解决同步问题,实现最高5.15倍于HBM-PIM方案的LLM推理加速。
2026-08-10 cs.AR cs.LG