SAWL:A Self-adaptive Wear-leveling NVM Scheme for High Performance Storage Systems
为了满足高性能计算（HPC）对大存储容量、高吞吐量和节能等方面的需求，非易失性存储器（NVM）以其高密度、待机功耗接近于零、字节可寻址和非易失性等显著特点得到了广泛的研究。在高性能计算系统中，多层单元（MLC）技术被用来显著地提高器件密度和降低成本，然而这导致了比单层单元（SLC）对应物更弱的耐久性。虽然耗损均衡技术可以缓解MLC的这一弱点，但由于在一些单元真正磨损之前不能实现均匀的写入分布，因此对基于MLC的NVM的改进变得非常有限。为了解决这个问题，我们提出了一种自适应磨损均衡（SAWL）方案的MLC为基础的NVM。SAWL背后的想法是动态调整磨损均衡粒度，并平衡整个内存单元的写入，从而在生命周期和缓存命中率之间实现适当的权衡。此外，为了减小地址映射表的大小，SAWL在小的片上高速缓存中维护一些最近访问的映射。实验结果表明，SAWL显着提高NVM的寿命和性能的HPC系统，与国家的最先进的计划。
2019-05-08 cs.AR
System measurement of Intel AEP Optane DIMM
近年来，内存墙已成为计算机系统的一个巨大性能瓶颈。为了克服这个问题，非易失性主存储器（NVMM）技术已经被广泛讨论，以提供更大的主存储器容量。去年，英特尔发布了AEP Optane DIMM，它提供了数百GB的容量，作为传统DRAM内存的有希望的替代品。但由于AEP的大多数关键参数并不对用户开放，因此有必要了解它们，因为它们将指导NVMM进一步研究的方向。在本文中，我们专注于测量性能和架构特点的AEP DIMM。同时，本文还对DRAM-AEP混合存储系统的重要组成部分DRAM Cache的设计进行了探讨。因此，我们估计的写延迟的AEP DIMM尚未被准确测量。同时，我们也发现目前DRAM快取的设计参数，例如标签组织、快取关联性以及集合索引映射。所有这些特性都是首次发表在学术论文上，这对未来的NVMM优化有很大的帮助。
2020-09-30 cs.AR
LLC Intra-set Write Balancing
本文针对 NVM 末级缓存的写耐久性问题，提出基于采样的组内路阻塞与写重定向技术，利用历史结构和 PC-Table 动态调整阻塞策略，实现写流量均衡并提升存储单元寿命。
2024-10-20 cs.AR
DeepNVM++: Cross-Layer Modeling and Optimization Framework of Non-Volatile Memories for Deep Learning
Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
非易失性存储器（NVM）技术（诸如自旋转移矩磁性随机存取存储器（STT-MRAM）和自旋轨道矩磁性随机存取存储器（SOT-MRAM））由于其非易失性、更高的单元密度和可缩放性特征而与常规SRAM相比具有显著的优点。虽然以前的工作已经研究了NVM对通用应用程序的几种架构影响，但在这项工作中，我们提出了DeepNVM++，这是一个框架，通过结合技术特定的电路级模型和各种DL工作负载的实际内存行为，来表征，建模和分析GPU架构中基于NVM的缓存，用于深度学习（DL）应用程序。我们提出了等容量和等面积的性能和能量分析系统的最后一级缓存依赖于传统的SRAM和新兴的STT-MRAM和SOT-MRAM技术。在等容量情况下，与传统SRAM相比，STT-MRAM和SOT-MRAM分别提供高达3.8倍和4.7倍的能量延迟乘积（EDP）减少以及2.4倍和2.8倍的面积减少。在等面积假设下，与SRAM相比，STT-MRAM和SOT-MRAM分别提供高达2倍和2.3倍的EDP减少，并容纳2.3倍和3.3倍的缓存容量。我们还进行了可扩展性分析，并表明，STT-MRAM和SOT-MRAM实现的数量级EDP减少相比，SRAM的大缓存容量。我们全面的跨层框架在STT-/SOT-MRAM技术上得到了演示，可用于DL应用中GPU末级缓存的任何NVM技术的表征、建模和分析。
2020-12-08 cs.AR cs.LG
Tvarak: Software-managed hardware offload for DAX NVM storage redundancy
Tvarak有效地实现了直接存取（DAX）NVM存储的系统级冗余。生产存储系统通过系统校验和和跨设备奇偶校验来补充设备级ECC（涵盖介质错误）。该系统级冗余使得能够检测由于设备固件错误（例如，从错误的物理位置读取数据）。对NVM的直接访问惩罚了系统级冗余的仅软件实现，迫使在缺乏数据保护或显著的性能损失之间进行选择。将系统级冗余的更新和验证卸载到Tvarak（与末级高速缓存位于同一位置的硬件控制器）能够有效地保护数据免受存储器控制器和NVM DIMM固件中的此类错误的影响。对七个数据密集型应用进行的基于仿真的评估显示了Tvarak的性能和能效。例如，Tvarak只将Redis的set性能降低了3%，而最先进的纯软件方法则降低了50%。
2019-08-26 cs.AR cs.OS
Efficient Deep Learning Using Non-Volatile Memory Technology
Carnegie Mellon University（卡内基梅隆大学）；Apple Inc.（苹果公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
嵌入式机器学习（ML）系统现在已经成为部署ML服务任务的主导平台，并且预计将成为训练ML模型的同等重要性。随之而来的挑战是在严格的内存约束下进行整体高效部署，特别是低功耗和高吞吐量的实现。在此上下文中，与常规SRAM相比，诸如STT-MRAM和SOT-MRAM的非易失性存储器（NVM）技术由于其非易失性、更高的单元密度和可缩放性特征而具有显著的优点。虽然之前的工作已经研究了NVM对通用应用的几种架构影响，但在这项工作中，我们提出了DeepNVM++，这是一个综合框架，通过结合特定技术的电路级模型和各种深度学习工作负载的实际内存行为，来表征，建模和分析GPU架构中基于NVM的缓存，用于深度学习（DL）应用。DeepNVM++依赖于使用传统SRAM和新兴STT-MRAM和SOT-MRAM技术实现的最后一级缓存的等容量和等面积性能和能量模型。在等容量情况下，与传统SRAM相比，STT-MRAM和SOT-MRAM分别提供高达3.8倍和4.7倍的能量延迟乘积（EDP）减少以及2.4倍和2.8倍的面积减少。在等面积假设下，与SRAM相比，STT-MRAM和SOT-MRAM分别提供高达2.2倍和2.4倍的EDP减少，并容纳2.3倍和3.3倍的缓存容量。我们还进行了可扩展性分析，并表明，STT-MRAM和SOT-MRAM实现的数量级EDP减少相比，SRAM的大缓存容量。DeepNVM++在STT-…
2022-06-27 cs.AR cs.LG
Predict and Write: Using K-Means Clustering to Extend the Lifetime of NVM Storage
UC Santa Cruz（加州大学圣克鲁兹分校）
非易失性存储器（NVM）技术遭受有限的写入耐久性。为了应对这一挑战，我们提出了预测和写入（PNW），一个K/V存储，使用基于集群的机器学习方法来延长NVM的生命周期。PNW通过确定更新值应该写入的最佳存储器位置来减少PUT/UPDATE操作的位翻转次数。PNW利用K/V-store的间接级别，根据其值自由选择任何给定写入的目标内存位置。PNW将NVM地址组织在动态地址池中，该动态地址池通过它们所引用的数据值的相似性而聚集。我们表明，通过选择正确的目标存储器位置为一个给定的PUT/UPDATE操作，总位翻转和高速缓存行的数量可以减少高达85%和56%的最先进的。
2020-11-04 cs.AR cs.DB cs.LG
Memory Hierarchy Design for Caching Middleware in the Age of NVM
本文将 NVM 时代缓存层次结构配置建模为多选择背包问题，利用线性规划松弛高效逼近最优解，并在键值存储和主机端缓存场景中证明低故障率、频繁更新时数据分层优于复制。
2025-06-05 cs.AR cs.DB cs.DS
Memos: Revisiting Hybrid Memory Management in Modern Operating System
混合DRAM/NVM体系结构的出现对操作系统中现有的存储管理机制提出了挑战。在本文中，我们介绍了备忘录，它可以调度整个存储层次结构，包括高速缓存，通道，主存储器包括DRAM和NVM的同时存储资源。在我们新设计的内核级监控模块和页面迁移引擎的支持下，memos可以根据在线存储模式、当前资源利用率和存储介质的特性，动态地优化数据在存储层次结构上的放置。我们的实验结果表明，备忘录可以实现高的内存利用率，对系统吞吐量的19.1%和服务质量的23.6%的平均贡献。此外，memo可以将NVM侧存储器延迟降低3~ 83.3%，能耗降低25.1~ 99%，并显著提高NVM寿命（平均提高40倍）。
2017-03-22 cs.AR cs.OS
Exploiting Decompression Latency for Covert Channels in Inter-Line-Compressed LLCs
针对 XOR 缓存中解压缩延迟不对称性，提出隐蔽信道攻击，利用压缩状态编码比特，实现 2.9 Mbps 带宽，较 Prime+Probe 提升 13.1 倍。
2026-09-24 cs.AR
A Low-Cost Reliable Racetrack Cache Based on Data Compression
Shahid Beheshti University（沙希德·贝赫什蒂大学）
本文提出基于数据压缩的低成本可靠赛车道缓存方案，利用值局部性减少存储开销，提升缓存可靠性与性能。
2025-12-01 cs.AR cs.ET
Modeling and Simulating Emerging Memory Technologies: A Tutorial
本教程通过四个案例研究展示了一个用于新兴非易失性存储器（NVM）架构探索与软硬件协同设计的开源仿真工具链，覆盖混合主存与缓存、存内计算和磨损均衡等系统设计领域。
2025-03-10 cs.AR
A Cycle-level Unified DRAM Cache Controller Model for 3DXPoint Memory Systems in gem5
为了适应当今应用的不断增长的存储器占用空间，CPU供应商已经采用了大型DRAM高速缓存，其由大型非易失性存储器（如Intel Optane（例如，Intel的Cascade Lake）。现有的计算机体系结构模拟器不提供对使用DRAM设备作为非易失性主存储器的高速缓存的系统的建模和评估的支持。在这项工作中，我们提出了一个周期级的DRAM高速缓存模型，它是与gem 5集成。该模型利用了gem 5内存设备模型的灵活性和完整的系统支持，可以探索许多不同的DRAM缓存设计。我们通过几个案例研究探索DRAM高速缓存控制器的设计空间，包括调度策略的影响，所需的缓冲，结合不同的内存技术（例如，HBM，DDR3/4/5，3DXPoint，High latency）作为高速缓存和主存，以及DRAM高速缓存由NVM主存支持时的损耗均衡效果。我们还在全系统模拟中使用真实工作负载进行实验，以验证所提出的模型，并显示这些工作负载对DRAM缓存大小的敏感性。
2023-03-23 cs.AR cs.PF
Persistence and Synchronization: Friends or Foes?
新兴的非易失性存储器（NVM）技术承诺具有加载/存储接口的存储器速度字节可寻址持久存储。然而，编程应用程序以直接操纵NVM数据是复杂且容易出错的。应用程序通常使用隐藏硬件底层细节的库，并提供事务编程模型来实现崩溃一致性。此外，应用程序在并发执行期间继续期望正确性，这通过使用同步来实现。为了实现这一目标，应用程序寻求众所周知的ACID保证。然而，实现这一点为事务系统的设计人员提供了一系列选择，可以根据目标硬件功能和工作负载特性组合多种低级技术。在本文中，我们提供了一个全面的评估现有的崩溃一致性和同步方法相结合，实现高性能和正确的NVM事务系统的影响。我们考虑不同的硬件特性，在硬件事务内存（HTM）和持久性域（瞬态或持久性缓存）的边界的支持。通过表征持久事务系统的属性，我们可以更好地了解不同实现的权衡，并达到更好的设计选择，提供ACID保证。我们使用具有英特尔Optane DC持久内存的真实硬件和模拟来评估硬件事务内存的持久版本、软件事务内存的持久版本以及撤销/重做日志记录。通过我们的实证研究，我们显示了两个主要因素，影响成本的支持持久性事务系统：持久性域（暂时或永久缓存）和应用程序的特性，如事务的大小和并行性。
2020-12-26 cs.AR cs.DC
Touché: Towards Ideal and Efficient Cache Compression By Mitigating Tag Area Overheads
压缩被看作是一种简单的技术，以增加有效的缓存容量。不幸的是，压缩技术要么招致标记区域开销，要么将数据放置限制为仅包括相邻的压缩高速缓存块以减轻标记区域开销。理想情况下，我们应该能够放置任意压缩的缓存块，而没有任何放置限制和标记区域开销。本文提出了Touché，一个框架，使存储多个任意压缩的缓存块在一个物理缓存行没有任何标签区开销。Touché框架由三个部分组成。第一个组件称为“签名”（SIGN）引擎，它从压缩块的标记地址创建缩短的签名。因此，SIGN引擎可以在每个标签条目中存储多个签名。在高速缓存访问时，仅当存在签名匹配时才访问物理高速缓存行（这具有可忽略的误报概率）。第二个组件称为“标记地址数据”（TADA）机制，用于存储带有数据的完整标记地址。TADA使Touché能够通过确保实际标签地址可用于比较来检测误报签名匹配。第三个组件称为“超级块标记”（SMARK）机制，在标记条目中使用唯一标记来指示来自同一高速缓存行中的相邻物理地址的压缩高速缓存块的出现。Touché完全基于硬件，与未压缩的基线相比，平均加速率为12%（理想情况下为13%）。
2019-09-02 cs.AR cs.DC cs.PF
Practical Data Compression for Modern Memory Hierarchies
在这篇论文中，我们描述了一种新的，实用的方法来集成基于硬件的数据压缩的存储层次结构，包括片上缓存，主存储器，片上和片外互连。这种新方法快速，简单，有效地节省了存储空间。我们的方法中的一个关键见解是，访问时间（包括解压缩延迟）是现代存储层次结构的关键。通过将廉价的硬件支持与适度的操作系统支持相结合，我们的整体压缩方法在整个存储层次结构中实现了性能和能源效率的大幅提高。利用这种新的方法，我们在这篇论文中做出了几个主要贡献。首先，我们提出了一种新的压缩算法，Base-Delta-Immediate Compression（BDI），它可以以很低的压缩/解压缩延迟实现高压缩比。BDI利用许多缓存行中存在的值的现有低动态范围，使用Base+Delta编码将它们压缩到更小的大小。其次，我们观察到缓存块的压缩大小可以指示其重用。我们使用这个观察开发一个新的缓存插入策略的压缩缓存，基于大小的插入策略（SIP），它使用的压缩块的大小作为度量之一，以预测其潜在的未来重用。第三，我们提出了一个新的主存压缩框架，线性压缩页面（LCP），显着降低了支持主存压缩的复杂性和功耗成本。我们证明，任何压缩算法都可以适应LCP的要求，LCP可以有效地与现有的高速缓存压缩设计，避免额外的压缩/解压缩。
2016-09-07 cs.AR cs.OS
VeriCache: Turning Lossy KV Cache into Lossless LLM Inference
University of Chicago（芝加哥大学）；Tensormesh Inc.（Tensormesh公司）；Samsung Semiconductor（三星半导体）；Microsoft Research（微软研究院）
本文提出VeriCache框架，通过利用压缩的KV缓存生成token并验证其与完整KV缓存的一致性，实现了与完整KV缓存解码相同输出的同时保持高解码吞吐量。
2026-05-17 cs.AR cs.LG
LazyPIM: Efficient Support for Cache Coherence in Processing-in-Memory Architectures
内存中处理（PIM）架构最近越来越流行，因为3D堆栈内存中可用的高内部带宽提供了更大的激励来将一些计算移动到内存的逻辑层中。为了保持程序正确性，在存储器中执行的程序部分必须与在处理器内继续执行的程序部分保持一致。不幸的是，PIM架构不能使用传统的方法来缓存一致性，由于高芯片外的流量消耗的一致性消息，这，我们在这项工作中说明，可以撤消PIM执行的好处，许多数据密集型应用程序。我们提出了LazyPIM，一个新的硬件缓存一致性机制专门为PIM设计。用于PIM中的一致性的先前方法不适合于在处理器和PIM逻辑之间共享大量数据的应用。LazyPIM使用推测性缓存一致性和压缩一致性签名的组合，以极大地降低保持PIM与处理器一致性的开销，即使存在大量共享。我们发现，LazyPIM将一系列数据密集型PIM应用的平均性能提高了19.6%，将片外流量减少了30.9%，并将能耗降低了18.0%，而不是PIM一致性的最佳先前方法。
2017-06-10 cs.AR
I/O Transit Caching for PMem-based Block Device
针对基于PMem的块设备中BTT因缺设备内缓存性能不佳、传统DRAM I/O暂存缓存易满引发停顿的问题，提出采用I/O过渡缓存的Caiti算法，通过多核主动回写、满缓存条件旁路缓解停顿，最高将BTT性能提升3.6倍且保留块级写入原子性。
2024-03-10 cs.AR cs.ET cs.OS
ORCA: A Network and Architecture Co-design for Offloading us-scale Datacenter Applications
针对数据中心应用的“数据中心税”和“杀手微秒”问题，已经提出了包括基于智能NIC的解决方案在内的各种解决方案。尽管如此，它们经常遭受通过网络和/或PCIe链路的通信的高开销。为了解决当前解决方案的局限性，本文提出了ORCA，一个整体的网络和架构协同设计解决方案，利用当前的RDMA和新兴的高速缓存一致性片外互连技术。具体地说，ORCA由四个硬件和软件组件组成：（1）由单侧RDMA写和高速缓存一致性存储器写管理的机器间和机器内通信的统一抽象;（2）由缓存一致性辅助的向加速器的请求的有效通知;（3）直接处理由NIC接收的请求的高速缓存一致性加速器架构;以及（4）用于现代服务器存储器系统的自适应设备到主机数据传输，该现代服务器存储器系统包括利用CPU和PCIe中的最新技术特征的DRAM和NVM。我们原型ORCA与商业系统和评估三个流行的数据中心应用程序：内存中的键值存储，链复制的分布式事务系统，和深度学习推荐模型推理。评估表明，ORCA提供了比当前最先进的解决方案低30.1~69.1%的延迟，高达2.5倍的吞吐量和3倍的能效。
2022-10-17 cs.AR cs.DC cs.NI
Predictive Multi-Tier Memory Management for KV Cache in Large-Scale GPU Inference
Independent Researcher（独立研究者）
本文提出了一种统一系统，解决KV缓存管理中的三个问题：统一的缓存大小计算、多层级内存架构以及反应性驱逐策略。通过六层内存层次结构和贝叶斯重用预测器，实现更高的缓存命中率和吞吐量提升。
2026-08-10 cs.AI cs.AR cs.DC
Squeezing the Cache, Preserving the Truth: Monotonic Equipotential Allocation with Geodesia-KV
University of Bari Aldo Moro（巴里阿尔多·莫罗大学）
本文提出Geodesia-KV无训练KV缓存策略，通过单调等势分配等技术实现高效KV缓存压缩，在多数据集上优于基线方法，可在单GPU上生成1M token上下文并节省大量VRAM。
2026-08-26 cs.AR cs.CL
A Secure and Persistent Memory System for Non-volatile Memory
在非易失性存储器中，保证持久数据的安全性和正确性是最基本的。然而，在现有的工作中，安全性和持久性问题通常是独立研究的。为了同时实现数据安全性和持久性，简单地将现有的持久性方案与内存加密相结合是低效的，这是由于崩溃不一致性和显著的性能下降。为了解决安全性和持久性之间的矛盾，提出了一种安全持久存储系统SecPM，它由计数器缓存写通（CWT）方案和局部感知计数器写减少（CWR）方案组成.具体来说，SecPM利用CWT方案通过确保数据及其计数器在数据刷新完成之前是持久的来保证崩溃一致性，并且利用CWR方案通过利用计数器存储、日志和数据写入的空间局部性来提高系统性能。我们在gem 5中使用NVMain实现了SecPM，并使用五种广泛使用的工作负载对其进行了评估。大量的实验结果表明，SecPM通过使用CWR方案减少了多达一半的写请求，并将事务执行速度提高了1.3-2.0倍，并且在大事务中实现了接近未加密持久存储系统的性能。
2019-01-03 cs.AR cs.CR cs.DC
