L2C2: Last-Level Compressed-Cache NVM and a Procedure to Forecast Performance and Lifetime
几种新兴的非易失性(NV)存储器技术正在崛起,成为构建末级缓存(LLC)的有趣替代方案。与SRAM存储器相比,它们的优点是更高的密度和更低的静态功耗,但写入操作会磨损位单元,最终失去存储容量。在这种情况下,本文提出了一种新的LLC组织,旨在延长NV数据阵列的寿命和详细预测这种NV-LLC在其生命周期的容量和性能的过程。从方法论的角度来看,虽然不同的方法被用于在文献中分析的NV-LLC的退化,他们都不允许详细研究其时间演变。从这个意义上说,这项工作提出了一种结合详细模拟和预测的预测程序,可以准确分析不同缓存控制策略和机制(替换、磨损均衡、压缩等)的影响关注指标的时间演变,例如NV-LLC或系统IPC的有效容量。我们还介绍了L2 C2,LLC设计的NV存储器技术,结合了容错,压缩和内部写入磨损平衡的第一次实施。压缩不是用来存储更多数据块和提高命中率,而是用来降低写入速率和延长缓存支持接近峰值性能的生存期。与在面积、延迟和能耗方面没有压缩的基准NV-LLC相比,它具有负担得起的硬件开销,并且取决于制造过程中的可变性,将50%的有效容量降级的时间增加多达6-37倍。
2022-06-08 cs.AR
System measurement of Intel AEP Optane DIMM
近年来,内存墙已成为计算机系统的一个巨大性能瓶颈。为了克服这个问题,非易失性主存储器(NVMM)技术已经被广泛讨论,以提供更大的主存储器容量。去年,英特尔发布了AEP Optane DIMM,它提供了数百GB的容量,作为传统DRAM内存的有希望的替代品。但由于AEP的大多数关键参数并不对用户开放,因此有必要了解它们,因为它们将指导NVMM进一步研究的方向。在本文中,我们专注于测量性能和架构特点的AEP DIMM。同时,本文还对DRAM-AEP混合存储系统的重要组成部分DRAM Cache的设计进行了探讨。因此,我们估计的写延迟的AEP DIMM尚未被准确测量。同时,我们也发现目前DRAM快取的设计参数,例如标签组织、快取关联性以及集合索引映射。所有这些特性都是首次发表在学术论文上,这对未来的NVMM优化有很大的帮助。
2020-09-30 cs.AR
Towards Efficient Flash Caches with Emerging NVMe Flexible Data Placement SSDs
本文研究在 CacheLib 中利用 NVMe FDP SSD 按数据生命周期放置缓存数据,证明其可将近乎理想地把写入放大降至约1,并降低碳排放与功耗。
2025-02-21 cs.AR cs.DB cs.ET
LLC Intra-set Write Balancing
本文针对 NVM 末级缓存的写耐久性问题,提出基于采样的组内路阻塞与写重定向技术,利用历史结构和 PC-Table 动态调整阻塞策略,实现写流量均衡并提升存储单元寿命。
2024-10-20 cs.AR
DeepNVM++: Cross-Layer Modeling and Optimization Framework of Non-Volatile Memories for Deep Learning
Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
非易失性存储器(NVM)技术(诸如自旋转移矩磁性随机存取存储器(STT-MRAM)和自旋轨道矩磁性随机存取存储器(SOT-MRAM))由于其非易失性、更高的单元密度和可缩放性特征而与常规SRAM相比具有显著的优点。虽然以前的工作已经研究了NVM对通用应用程序的几种架构影响,但在这项工作中,我们提出了DeepNVM++,这是一个框架,通过结合技术特定的电路级模型和各种DL工作负载的实际内存行为,来表征,建模和分析GPU架构中基于NVM的缓存,用于深度学习(DL)应用程序。我们提出了等容量和等面积的性能和能量分析系统的最后一级缓存依赖于传统的SRAM和新兴的STT-MRAM和SOT-MRAM技术。在等容量情况下,与传统SRAM相比,STT-MRAM和SOT-MRAM分别提供高达3.8倍和4.7倍的能量延迟乘积(EDP)减少以及2.4倍和2.8倍的面积减少。在等面积假设下,与SRAM相比,STT-MRAM和SOT-MRAM分别提供高达2倍和2.3倍的EDP减少,并容纳2.3倍和3.3倍的缓存容量。我们还进行了可扩展性分析,并表明,STT-MRAM和SOT-MRAM实现的数量级EDP减少相比,SRAM的大缓存容量。我们全面的跨层框架在STT-/SOT-MRAM技术上得到了演示,可用于DL应用中GPU末级缓存的任何NVM技术的表征、建模和分析。
2020-12-08 cs.AR cs.LG
Tvarak: Software-managed hardware offload for DAX NVM storage redundancy
Tvarak有效地实现了直接存取(DAX)NVM存储的系统级冗余。生产存储系统通过系统校验和和跨设备奇偶校验来补充设备级ECC(涵盖介质错误)。该系统级冗余使得能够检测由于设备固件错误(例如,从错误的物理位置读取数据)。对NVM的直接访问惩罚了系统级冗余的仅软件实现,迫使在缺乏数据保护或显著的性能损失之间进行选择。将系统级冗余的更新和验证卸载到Tvarak(与末级高速缓存位于同一位置的硬件控制器)能够有效地保护数据免受存储器控制器和NVM DIMM固件中的此类错误的影响。对七个数据密集型应用进行的基于仿真的评估显示了Tvarak的性能和能效。例如,Tvarak只将Redis的set性能降低了3%,而最先进的纯软件方法则降低了50%。
2019-08-26 cs.AR cs.OS
Efficient Deep Learning Using Non-Volatile Memory Technology
Carnegie Mellon University(卡内基梅隆大学);Apple Inc.(苹果公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
嵌入式机器学习(ML)系统现在已经成为部署ML服务任务的主导平台,并且预计将成为训练ML模型的同等重要性。随之而来的挑战是在严格的内存约束下进行整体高效部署,特别是低功耗和高吞吐量的实现。在此上下文中,与常规SRAM相比,诸如STT-MRAM和SOT-MRAM的非易失性存储器(NVM)技术由于其非易失性、更高的单元密度和可缩放性特征而具有显著的优点。虽然之前的工作已经研究了NVM对通用应用的几种架构影响,但在这项工作中,我们提出了DeepNVM++,这是一个综合框架,通过结合特定技术的电路级模型和各种深度学习工作负载的实际内存行为,来表征,建模和分析GPU架构中基于NVM的缓存,用于深度学习(DL)应用。DeepNVM++依赖于使用传统SRAM和新兴STT-MRAM和SOT-MRAM技术实现的最后一级缓存的等容量和等面积性能和能量模型。在等容量情况下,与传统SRAM相比,STT-MRAM和SOT-MRAM分别提供高达3.8倍和4.7倍的能量延迟乘积(EDP)减少以及2.4倍和2.8倍的面积减少。在等面积假设下,与SRAM相比,STT-MRAM和SOT-MRAM分别提供高达2.2倍和2.4倍的EDP减少,并容纳2.3倍和3.3倍的缓存容量。我们还进行了可扩展性分析,并表明,STT-MRAM和SOT-MRAM实现的数量级EDP减少相比,SRAM的大缓存容量。DeepNVM++在STT-…
2022-06-27 cs.AR cs.LG
Predict and Write: Using K-Means Clustering to Extend the Lifetime of NVM Storage
UC Santa Cruz(加州大学圣克鲁兹分校)
非易失性存储器(NVM)技术遭受有限的写入耐久性。为了应对这一挑战,我们提出了预测和写入(PNW),一个K/V存储,使用基于集群的机器学习方法来延长NVM的生命周期。PNW通过确定更新值应该写入的最佳存储器位置来减少PUT/UPDATE操作的位翻转次数。PNW利用K/V-store的间接级别,根据其值自由选择任何给定写入的目标内存位置。PNW将NVM地址组织在动态地址池中,该动态地址池通过它们所引用的数据值的相似性而聚集。我们表明,通过选择正确的目标存储器位置为一个给定的PUT/UPDATE操作,总位翻转和高速缓存行的数量可以减少高达85%和56%的最先进的。
2020-11-04 cs.AR cs.DB cs.LG
Memory Hierarchy Design for Caching Middleware in the Age of NVM
本文将 NVM 时代缓存层次结构配置建模为多选择背包问题,利用线性规划松弛高效逼近最优解,并在键值存储和主机端缓存场景中证明低故障率、频繁更新时数据分层优于复制。
2025-06-05 cs.AR cs.DB cs.DS
Memos: Revisiting Hybrid Memory Management in Modern Operating System
混合DRAM/NVM体系结构的出现对操作系统中现有的存储管理机制提出了挑战。在本文中,我们介绍了备忘录,它可以调度整个存储层次结构,包括高速缓存,通道,主存储器包括DRAM和NVM的同时存储资源。在我们新设计的内核级监控模块和页面迁移引擎的支持下,memos可以根据在线存储模式、当前资源利用率和存储介质的特性,动态地优化数据在存储层次结构上的放置。我们的实验结果表明,备忘录可以实现高的内存利用率,对系统吞吐量的19.1%和服务质量的23.6%的平均贡献。此外,memo可以将NVM侧存储器延迟降低3~ 83.3%,能耗降低25.1~ 99%,并显著提高NVM寿命(平均提高40倍)。
2017-03-22 cs.AR cs.OS
A Low-Cost Reliable Racetrack Cache Based on Data Compression
Shahid Beheshti University(沙希德·贝赫什蒂大学)
本文提出基于数据压缩的低成本可靠赛车道缓存方案,利用值局部性减少存储开销,提升缓存可靠性与性能。
2025-12-01 cs.AR cs.ET
Modeling and Simulating Emerging Memory Technologies: A Tutorial
本教程通过四个案例研究展示了一个用于新兴非易失性存储器(NVM)架构探索与软硬件协同设计的开源仿真工具链,覆盖混合主存与缓存、存内计算和磨损均衡等系统设计领域。
2025-03-10 cs.AR
Efficient Page Migration in Hybrid Memory Systems
Indian Institute of Technology Ropar(印度技术研究所罗帕尔分校)
本文提出Duon方法,通过直接在TLB和页表中存储更新的映射信息,消除页面迁移带来的性能损耗,提升混合内存系统的IPC性能3.87%。
2026-04-21 cs.AR
A Cycle-level Unified DRAM Cache Controller Model for 3DXPoint Memory Systems in gem5
为了适应当今应用的不断增长的存储器占用空间,CPU供应商已经采用了大型DRAM高速缓存,其由大型非易失性存储器(如Intel Optane(例如,Intel的Cascade Lake)。现有的计算机体系结构模拟器不提供对使用DRAM设备作为非易失性主存储器的高速缓存的系统的建模和评估的支持。在这项工作中,我们提出了一个周期级的DRAM高速缓存模型,它是与gem 5集成。该模型利用了gem 5内存设备模型的灵活性和完整的系统支持,可以探索许多不同的DRAM缓存设计。我们通过几个案例研究探索DRAM高速缓存控制器的设计空间,包括调度策略的影响,所需的缓冲,结合不同的内存技术(例如,HBM,DDR3/4/5,3DXPoint,High latency)作为高速缓存和主存,以及DRAM高速缓存由NVM主存支持时的损耗均衡效果。我们还在全系统模拟中使用真实工作负载进行实验,以验证所提出的模型,并显示这些工作负载对DRAM缓存大小的敏感性。
2023-03-23 cs.AR cs.PF
Persistence and Synchronization: Friends or Foes?
新兴的非易失性存储器(NVM)技术承诺具有加载/存储接口的存储器速度字节可寻址持久存储。然而,编程应用程序以直接操纵NVM数据是复杂且容易出错的。应用程序通常使用隐藏硬件底层细节的库,并提供事务编程模型来实现崩溃一致性。此外,应用程序在并发执行期间继续期望正确性,这通过使用同步来实现。为了实现这一目标,应用程序寻求众所周知的ACID保证。然而,实现这一点为事务系统的设计人员提供了一系列选择,可以根据目标硬件功能和工作负载特性组合多种低级技术。在本文中,我们提供了一个全面的评估现有的崩溃一致性和同步方法相结合,实现高性能和正确的NVM事务系统的影响。我们考虑不同的硬件特性,在硬件事务内存(HTM)和持久性域(瞬态或持久性缓存)的边界的支持。通过表征持久事务系统的属性,我们可以更好地了解不同实现的权衡,并达到更好的设计选择,提供ACID保证。我们使用具有英特尔Optane DC持久内存的真实硬件和模拟来评估硬件事务内存的持久版本、软件事务内存的持久版本以及撤销/重做日志记录。通过我们的实证研究,我们显示了两个主要因素,影响成本的支持持久性事务系统:持久性域(暂时或永久缓存)和应用程序的特性,如事务的大小和并行性。
2020-12-26 cs.AR cs.DC
I/O Transit Caching for PMem-based Block Device
针对基于PMem的块设备中BTT因缺设备内缓存性能不佳、传统DRAM I/O暂存缓存易满引发停顿的问题,提出采用I/O过渡缓存的Caiti算法,通过多核主动回写、满缓存条件旁路缓解停顿,最高将BTT性能提升3.6倍且保留块级写入原子性。
2024-03-10 cs.AR cs.ET cs.OS
ORCA: A Network and Architecture Co-design for Offloading us-scale Datacenter Applications
针对数据中心应用的“数据中心税”和“杀手微秒”问题,已经提出了包括基于智能NIC的解决方案在内的各种解决方案。尽管如此,它们经常遭受通过网络和/或PCIe链路的通信的高开销。为了解决当前解决方案的局限性,本文提出了ORCA,一个整体的网络和架构协同设计解决方案,利用当前的RDMA和新兴的高速缓存一致性片外互连技术。具体地说,ORCA由四个硬件和软件组件组成:(1)由单侧RDMA写和高速缓存一致性存储器写管理的机器间和机器内通信的统一抽象;(2)由缓存一致性辅助的向加速器的请求的有效通知;(3)直接处理由NIC接收的请求的高速缓存一致性加速器架构;以及(4)用于现代服务器存储器系统的自适应设备到主机数据传输,该现代服务器存储器系统包括利用CPU和PCIe中的最新技术特征的DRAM和NVM。我们原型ORCA与商业系统和评估三个流行的数据中心应用程序:内存中的键值存储,链复制的分布式事务系统,和深度学习推荐模型推理。评估表明,ORCA提供了比当前最先进的解决方案低30.1~69.1%的延迟,高达2.5倍的吞吐量和3倍的能效。
2022-10-17 cs.AR cs.DC cs.NI
Predictive Multi-Tier Memory Management for KV Cache in Large-Scale GPU Inference
Independent Researcher(独立研究者)
本文提出了一种统一系统,解决KV缓存管理中的三个问题:统一的缓存大小计算、多层级内存架构以及反应性驱逐策略。通过六层内存层次结构和贝叶斯重用预测器,实现更高的缓存命中率和吞吐量提升。
2026-08-10 cs.AI cs.AR cs.DC
A Secure and Persistent Memory System for Non-volatile Memory
在非易失性存储器中,保证持久数据的安全性和正确性是最基本的。然而,在现有的工作中,安全性和持久性问题通常是独立研究的。为了同时实现数据安全性和持久性,简单地将现有的持久性方案与内存加密相结合是低效的,这是由于崩溃不一致性和显著的性能下降。为了解决安全性和持久性之间的矛盾,提出了一种安全持久存储系统SecPM,它由计数器缓存写通(CWT)方案和局部感知计数器写减少(CWR)方案组成.具体来说,SecPM利用CWT方案通过确保数据及其计数器在数据刷新完成之前是持久的来保证崩溃一致性,并且利用CWR方案通过利用计数器存储、日志和数据写入的空间局部性来提高系统性能。我们在gem 5中使用NVMain实现了SecPM,并使用五种广泛使用的工作负载对其进行了评估。大量的实验结果表明,SecPM通过使用CWR方案减少了多达一半的写请求,并将事务执行速度提高了1.3-2.0倍,并且在大事务中实现了接近未加密持久存储系统的性能。
2019-01-03 cs.AR cs.CR cs.DC