基于 STT-RAM 的分层存内计算
STT-RAM-based Hierarchical In-Memory Computing
AI总结：
本文探索基于STT-RAM的分层存内计算，通过在存储与缓存层级引入处理单元并结合易失性与非易失性STT-RAM，分析不同工作负载下的权衡，发现特定负载下PiC优于PiM。
摘要：
存内计算有望通过直接在存储器内部执行计算来克服计算机系统中的冯·诺依曼瓶颈。先前的研究建议使用自旋转移矩 RAM (STT-RAM) 进行存内计算，因为其具有非易失性、低漏电功耗、高密度、耐久性和商业可行性。本文探索了分层存内计算，即在存储器层次结构的不同层级中增加处理元素以优化工作负载的执行。本文研究了使用非易失性 STT-RAM 的存内处理 (PiM) 和使用放宽保持时间的易失性 STT-RAM 的缓存内处理 (PiC)，这有助于缓解 STT-RAM 的写入延迟和能耗开销。我们分析了各种工作负载下 PiC 与数据移动相关的权衡和开销，以及 PiM 使用 STT-RAM 的写入开销。我们考察了工作负载特征，如计算密集型和具有有限指令级并行性的 CPU 依赖型工作负载，及其对 PiC/PiM 权衡的影响。使用这些工作负载，我们评估了在不同缓存层次结构级别上 STT-RAM 与 SRAM 的计算能力，并探索了具有不同保持时间的异构 STT-RAM 缓存架构在 PiC 和基于 CPU 的计算中的潜力。我们的实验表明，对于特定工作负载，基于 STT-RAM 的 PiC 相比 PiM 具有显著优势。最后，我们描述了分层存内计算架构中的开放研究问题，以进一步增强这一范式。
英文摘要：
In-memory computing promises to overcome the von Neumann bottleneck in computer systems by performing computations directly within the memory. Previous research has suggested using Spin-Transfer Torque RAM (STT-RAM) for in-memory computing due to its non-volatility, low leakage power, high density, endurance, and commercial viability. This paper explores hierarchical in-memory computing, where different levels of the memory hierarchy are augmented with processing elements to optimize workload execution. The paper investigates processing in memory (PiM) using non-volatile STT-RAM and processing in cache (PiC) using volatile STT-RAM with relaxed retention, which helps mitigate STT-RAM's write latency and energy overheads. We analyze tradeoffs and overheads associated with data movement for PiC versus write overheads for PiM using STT-RAMs for various workloads. We examine workload characteristics, such as computational intensity and CPU-dependent workloads with limited instruction-level parallelism, and their impact on PiC/PiM tradeoffs. Using these workloads, we evaluate computing in STT-RAM versus SRAM at different cache hierarchy levels and explore the potential of heterogeneous STT-RAM cache architectures with various retention times for PiC and CPU-based computing. Our experiments reveal significant advantages of STT-RAM-based PiC over PiM for specific workloads. Finally, we describe open research problems in hierarchical in-memory computing architectures to further enhance this paradigm.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
