Die-Stacked DRAM: Memory, Cache, or MemCache?
堆叠式动态随机存取存储器(DRAM)是满足多核处理器日益增长的内存带宽需求的一种有前途的解决方案。制造技术已经使得能够在有源管芯上堆叠数千兆字节的DRAM模块,从而提供与常规的基于DIMM的DDR存储器相比高数量级的带宽。然而,由于其有限的容量,管芯堆叠DRAM无法容纳现代大数据应用的整个数据集。因此,先前的提议将其用作相当大的存储器侧缓存或作为软件可见的主存储器的一部分。缓存设计可以适应应用程序的动态变化,但遭受标签存储/延迟/带宽开销。另一方面,存储器设计消除了对标记的需要,并且因此提供了对数据的有效访问,但是由于其静态性质而不能捕获应用的动态行为。在这项工作中,我们提出了一种情况下使用的管芯堆叠DRAM部分作为主存储器,部分作为缓存。我们观察到,在现代大数据应用程序中,存在许多具有大量访问的热页面。基于这一观察,我们建议使用一部分管芯堆叠DRAM作为主存储器来托管热页,从而能够在没有标签检查开销的情况下为来自高带宽DRAM的大量访问提供服务,并将DRAM的其余部分作为高速缓存来管理,用于捕获应用程序的动态行为。在该提议中,软件过程预处理应用程序并确定热页,然后要求OS将它们映射到裸片堆叠DRAM的存储器部分。裸片堆叠式DRAM的高速缓存部分由硬件管理,高速缓存芯片外存储器中分配的数据。
2018-09-24 cs.AR
Exploring DRAM Cache Prefetching for Pooled Memory
针对内存池化带来的访问延迟升高问题,提出将FAM子页块预取到本地DRAM缓存的系统,结合两种优化方案缓解带宽争用,经多基准测试验证可有效提升IPC。
2024-06-20 cs.AR
FIGARO: Improving System Performance via Fine-Grained In-DRAM Data Relocation and Caching
DRAM主存储器由于高访问延迟而成为许多应用的性能瓶颈。DRAM内缓存通过使用DRAM的小而快的区域来增加常规延迟DRAM来减轻这种延迟,这些区域用作DRAM的常规延迟区域中保存的数据的缓存。虽然有效的DRAM内高速缓存可以允许从快速DRAM区域服务大部分存储器请求,但是延迟节省通常受到用于将数据的副本重新定位到快速区域中和从快速区域重新定位出来的低效机制的阻碍。现有的DRAM内高速缓存具有两个低效率的来源:(1)数据重定位粒度是DRAM的整个多字节行;以及(2)因为重定位延迟随着慢区域与快区域之间的物理距离而增加,所以多个快区域在慢区域之间物理地交织以减少重定位延迟,从而导致增加的硬件面积和制造复杂性。我们提出了一个新的基板,FIGARO,使用现有的共享全局缓冲区的DRAM银行内的子阵列之间提供支持,在一个单一的高速缓存块的粒度跨子阵列的DRAM数据重新定位。FIGARO在DRAM组内具有与距离无关的延迟,并且避免了对DRAM的复杂修改。使用FIGARO,我们设计了一个细粒度的DRAM缓存称为FIGCache。FIGCache的关键思想是在DRAM的指定区域中仅缓存不同DRAM行的小的、频繁访问的部分。通过只缓存每行中预期在不久的将来会被访问的部分,我们可以将更多频繁访问的数据打包到FIGCache中,并且可以从DRAM中的额外行命中中受益。我们的评估表明,FIGCache将使用…
2020-09-17 cs.AR
Banshee: Bandwidth-Efficient DRAM Caching Via Software/Hardware Cooperation
将DRAM与处理器放置在同一封装上能够实现比常规封装外DRAM高几倍的内存带宽。然而,封装内DRAM的延迟并不比封装外DRAM的延迟低。封装内DRAM的一个有前途的用途是作为一个大的高速缓存。不幸的是,大多数先前的DRAM高速缓存设计主要针对命中延迟进行优化,并且不将片外带宽效率视为第一类设计约束。因此,正如我们在本文中所示,这些设计是次优的封装DRAM使用。我们提出了一种新的DRAM缓存设计,女妖,优化封装和封装外DRAM的带宽效率,而不会降低访问延迟。关键思想是消除封装内DRAM带宽开销,由于昂贵的标签访问通过虚拟内存机制,并纳入一个带宽感知的基于频率的更换策略,偏向于减少不必要的流量到封装外DRAM。我们广泛的评估表明,Banshee提供了显着的性能改善和交通减少国家的最先进的延迟优化的DRAM缓存设计。
2017-04-10 cs.AR
TicToc: Enabling Bandwidth-Efficient DRAM Caching for both Hits and Misses in Hybrid Memory Systems
本文研究了混合DRAM + 3D-XPoint存储器的带宽效率DRAM缓存。3D-XPoint正在成为DRAM的可行替代品,因为它支持高容量和非易失性主存储器系统;然而,3D-XPoint的读取速度慢4- 8倍,写入速度更差。因此,在3D-XPoint之前的有效DRAM缓存对于实现高容量、低延迟和高写入带宽存储器非常重要。DRAM缓存设计有两种主要方法:(1)内部标签缓存行(TIC)组织,通过将标签存储在每条线旁边,以便一次访问既获得标签又获得数据,来优化命中,以及(2)外部标签缓存行(TOC)组织,通过将来自多个数据线的标签存储在一起,以优化未命中,以便一次标签访问获得多个数据线的信息。理想情况下,我们希望TIC具有低命中延迟,TOC具有低未命中带宽。为此,我们提出了TicToc,一个提供TIC和TOC的组织,以获得两者的命中和错过的好处。然而,我们发现,单纯地将两者结合起来实际上比TIC执行得更差,因为需要支付带宽来维护两个元数据。这项工作的主要贡献是开发架构技术,以减少维护TIC和TOC元数据的带宽。我们发现大部分的带宽成本是由于维护TOC脏位。我们提出了DRAM缓存脏位,它携带DRAM缓存脏信息的最后一级缓存,修剪重复的脏位检查已知的脏线。然后,我们提出了先发制人的脏标记,它预测哪些行将被写入,并在安装时主动标记脏位,以摊销初始脏位更新。我们对具有3D-XPoint内存的4…
2019-07-04 cs.AR
TDRAM: Tag-enhanced DRAM for Efficient Caching
提出TDRAM,一种专为缓存设计的新型DRAM微架构,通过在HBM3芯片上集成标签阵列实现快速并行访问与片内比较,优化命中与缺失延迟,显著提升性能并降低能耗。
2024-04-22 cs.AR
A Memory Controller with Row Buffer Locality Awareness for Hybrid Memory Systems
非易失性存储器(NVM)是一类有前途的可扩展存储器技术,可以在相同的成本点上提供比DRAM更高的容量。遗憾的是,NVM的访问延迟和能量通常高于DRAM,而NVM的耐久性较低。许多DRAM-NVM混合存储器系统使用DRAM作为NVM的高速缓存,以实现DRAM的低访问延迟、低能量和高耐久性,同时利用NVM的大容量。混合存储器系统的一个关键问题是在DRAM中缓存什么数据,以最好地利用每种技术的优点,同时尽可能避免每种技术的缺点。我们提出了一种新的存储器控制器的设计,提高混合存储器的性能和能源效率。我们观察到DRAM和NVM组都采用行缓冲器,行缓冲器充当最近访问的存储器行的高速缓存。作为行缓冲器命中的访问在DRAM和NVM两者中引起类似的延迟(和能量消耗),而作为行缓冲器未命中的访问在NVM中比在DRAM中引起更长的延迟(和更高的能量消耗)。为了利用这一点,我们设计了一个策略,高速缓存频繁地在NVM行缓冲区到DRAM中的未命中的重复使用的数据。我们的策略跟踪NVM中最近使用的行的行缓冲器未命中计数,并在DRAM中缓存预测将引起频繁的行缓冲器未命中的行。我们提出的政策还考虑到高写延迟的NVM,除了行缓冲区的地方,更有可能的地方写密集的页面在DRAM中,而不是NVM。
2018-04-30 cs.AR
TLB and Pagewalk Performance in Multicore Architectures with Large Die-Stacked DRAM Cache
在这项工作中,我们研究的开销的虚拟到物理地址转换的处理器架构,如x86-64,实现分页的虚拟内存使用的基数树,在硬件中行走。翻译后备缓冲区对系统性能至关重要,特别是当应用程序需要更大的内存占用和采用虚拟化时;然而,TLB未命中的成本可能导致多次内存访问以检索翻译。已经引入了对超页的体系结构支持以增加TLB命中,但是受到操作系统查找连续内存的能力的限制。许多先前的研究已经提出了TLB设计,以降低未命中率和减少页面遍历开销,但是,这些研究已经建模的行为分析。此外,为了避免大内存工作负载和虚拟化的分页开销,直接段使用段寄存器映射进程线性虚拟地址空间的一部分,尽管需要一些应用程序和操作系统修改。最近发展的裸片堆叠DRAM技术承诺了高带宽和大的最后一级高速缓存,在100字节的数量级,更接近处理器。对于这样大的缓存,可以在不引起TLB故障的情况下访问的数据量-TLB的范围是不够的。TLB位于数据访问的关键路线上,并且引起昂贵的页面遍历可能会阻碍系统性能,特别是当正在访问的数据是LLC中的缓存命中时。因此,我们有兴趣探索新的地址转换机制,相称的堆叠DRAM的大小和延迟。通过使用基于QEMU的MARSSx 86全系统模拟器精确模拟多个多级地址转换结构,我们使用多编程和多线程工作负载结合大型LLC对TLB进行了详细研究。
2020-02-03 cs.AR
Simple DRAM and Virtual Memory Abstractions to Enable Highly Efficient Memory Systems
在大多数现代系统中,存储器子系统在各种资源处以多个不同粒度被管理和访问。我们观察到,这样的多粒度管理的内存子系统中的显着的低效率的结果。具体地,我们观察到1)页面粒度虚拟内存不必要地触发大内存操作,以及2)现有的高速缓存行粒度内存接口对于执行批量数据操作和表现出差的空间局部性的操作是低效的。为了解决这些问题,本文提出了一系列的技术。首先,我们提出了页面覆盖,一个框架增强了现有的虚拟内存框架的能力,以跟踪一个新版本的一个子集的高速缓存行在每个虚拟页面。我们表明,这种扩展是强大的,通过展示它的好处在一些应用程序。其次,我们表明,DRAM可用于执行更复杂的操作,而不仅仅是存储数据。我们提出了行克隆,一种机制来执行批量数据复制和初始化完全内部的DRAM,和伙伴RAM,一种机制来执行批量逐位操作使用DRAM。这两种技术都实现了相应操作效率的数量级改进。第三,我们提出了聚集分散DRAM,一种技术,利用DRAM组织有效地收集/分散值与2的权力跨越访问模式。对于这些访问模式,GS-DRAM实现了接近理想的带宽和缓存利用率,而不会增加从内存中获取数据的延迟。最后,我们提出了脏块索引,一种新的跟踪脏块的方法。除了提高批量数据一致性的效率外,DBI还有几个应用,包括高性能内存调度、高效缓存查找旁路和支持异构ECC。
2016-05-20 cs.AR
MAC: a novel systematically multilevel cache replacement policy for PCM memory
近年来,多核系统的快速发展和数据密集型应用的增加对内存提出了更高的要求。传统的DRAM存储器可以通过减小存储单元的特征尺寸来增加其容量。现在DRAM的进一步扩展面临着巨大的挑战,并且DRAM的频繁刷新操作会带来大量的能量消耗。相变存储器(PCM)作为一种新兴的存储技术,很有希望成为主存储器。它以其低功耗、高密度和非易失性等优点而受到广泛关注,但其持久性有限,写入延迟相对较长。针对写操作问题,通过优化缓存替换策略来保护脏缓存块是一种有效的方法。在本文中,我们构建了一个系统的多级结构,并在此基础上提出了一种新的缓存替换策略称为MAC。MAC可以有效地减少PCM存储器的写流量,且硬件开销较低。我们在GEM5上进行了仿真实验,以评估MAC和其他相关工作的性能。结果表明,MAC在不增加程序执行时间的情况下,最大限度地减少了写操作量(平均为25.12%)。
2016-06-10 cs.AR cs.DC
Writes Hurt: Lessons in Cache Design for Optane NVRAM
英特尔OptaneTM DC持久内存驻留在内存总线上,访问延迟接近DRAM。采用它的一个途径是使用它来代替持久性存储;另一个途径是使用它作为DRAM的更便宜和更密集的扩展。为了实现后一个目标,我们提出了一个易失性Optane NVRAM缓存的设计,作为MongoDB底层存储引擎中的一个组件。在我们的设计中的主要创新是一个新的缓存准入政策。我们发现,在Optane NVRAM上,以其有限的写入吞吐量而闻名,写入的存在不成比例地影响读取的吞吐量,比DRAM上的影响更大。因此,不加区别地接纳新数据(并因此生成写入)的接纳策略严重限制了数据检索的速率,并导致缓存整体性能极差。我们设计了一个准入政策,平衡的准入率与使用动态观察到的工作负载的特性的查找率。我们的实现在所有情况下都优于OpenCAS(一种现成的基于Optane的块缓存),并且在数据库大小超过可用NVRAM的情况下优于Intel Memory Mode。我们的缓存是从其余的存储引擎解耦,并使用通用指标来指导其准入政策,因此我们的设计可以很容易地在其他系统中采用。
2022-05-24 cs.AR cs.DB
System measurement of Intel AEP Optane DIMM
近年来,内存墙已成为计算机系统的一个巨大性能瓶颈。为了克服这个问题,非易失性主存储器(NVMM)技术已经被广泛讨论,以提供更大的主存储器容量。去年,英特尔发布了AEP Optane DIMM,它提供了数百GB的容量,作为传统DRAM内存的有希望的替代品。但由于AEP的大多数关键参数并不对用户开放,因此有必要了解它们,因为它们将指导NVMM进一步研究的方向。在本文中,我们专注于测量性能和架构特点的AEP DIMM。同时,本文还对DRAM-AEP混合存储系统的重要组成部分DRAM Cache的设计进行了探讨。因此,我们估计的写延迟的AEP DIMM尚未被准确测量。同时,我们也发现目前DRAM快取的设计参数,例如标签组织、快取关联性以及集合索引映射。所有这些特性都是首次发表在学术论文上,这对未来的NVMM优化有很大的帮助。
2020-09-30 cs.AR
KVNAND: Efficient On-Device Large Language Model Inference Using DRAM-Free In-Flash Computing
KVNAND通过无DRAM闪存计算实现高效设备端大语言模型推理,解决KV缓存存储问题,提升性能并减少资源消耗。
2025-12-03 cs.AI cs.AR cs.ET
Bridging LLM Serving and CXL-SSDs with Chunk-Aware KV Cache Management
Sogang University(西江大学);Samsung Electronics Co.(三星电子公司);ETRI(韩国电子通信研究院)
提出LM-CXD,一种针对LLM前缀缓存优化的CXL-SSD,通过块感知KV缓存管理、窗口预取和逐层流水线,显著降低TTFT,接近本地DRAM性能。
2026-09-24 cs.AI cs.AR cs.ET
Sectored DRAM: A Practical Energy-Efficient and High-Performance Fine-Grained DRAM Architecture
本文提出Sectored DRAM架构,通过细粒度数据传输和分区行激活降低DRAM能耗并提升性能,能耗最多降低33%、性能最多提升36%,芯片面积开销仅1.7%。
2024-06-09 cs.AR
NVMM cache design: Logging vs. Paging
针对NVMM兼具字节可寻址性与持久性的特性,该研究构建了页式NVPages和日志式NVLog两种NVMM缓存机制,量化对比了二者的优劣,为充分发挥NVMM潜力的缓存设计提供参考。
2023-05-03 cs.AR cs.OS
MigrantStore: Leveraging Virtual Memory in DRAM-PCM Memory Architecture
随着DRAM规模的即将放缓,相变存储器(PCM)正在成为主存储器技术的主要替代品。虽然PCM由于各种技术特定的优点而实现了低能耗,但PCM比DRAM慢得多(特别是写入),并且在磨损之前可以承受更少的写入。以前的工作建议使用一个大的,基于DRAM的硬件缓存来吸收写入,并提供更快的访问。然而,由于无效的缓存块被驱逐之前,足够的访问次数,硬件缓存招致显着的开销在能源和带宽,两个关键,但在现代多核稀缺的资源。由于使用硬件检测和删除这种无效的缓存将导致额外的硬件成本和复杂性,我们利用操作系统虚拟内存支持这一目的。我们提出了一个DRAM PCM混合存储器架构,操作系统迁移页面的需求从PCM到DRAM。我们将内存中的DRAM部分称为MigrantStore,它包含两个概念。首先,为了减少无效迁移的能量、带宽和磨损开销,我们提出了迁移滞后。其次,为了减少良好的替换策略的软件开销,我们提出了最近访问的页面ID(RAPid)缓冲区,一个硬件缓冲区来跟踪最近访问的MigrantStore页面的地址。
2015-04-16 cs.AR
Characterizing the impact of last-level cache replacement policies on big-data workloads
Barcelona Supercomputing Center(巴塞罗那超级计算中心)
本研究针对图处理工作负载因内存访问不规则导致的高等待时间问题,分析其带来的挑战并评估了相关缓存替换策略对末级缓存与主存性能差距的缓解作用。
2023-05-11 cs.AR cs.DS
A4: Microarchitecture-Aware LLC Management for Datacenter Servers with Emerging I/O Devices
本研究发现英特尔至强CPU中两类由新兴高带宽I/O设备引发的未被识别LLC争用问题,提出微架构感知的运行时LLC管理框架A4,可有效缓解多类争用,将高优先级延迟敏感负载性能提升51%且不明显影响低优先级负载。
2025-06-12 cs.AR
Design Guidelines for High-Performance SCM Hierarchies
随着新兴的存储级存储器(SCM)接近商业化,有证据表明,它将提供备受期待的高密度和访问时间只有几个因素的DRAM。然而,内存驻留服务的延迟敏感特性使得SCM在服务器中的无缝集成成问题。在本文中,我们问的问题,如何最好地引入SCM的服务器,以提高整体性能/成本比现有的DRAM的唯一架构。我们首先表明,即使是最乐观的延迟预测SCM,较高的内存访问延迟的结果在禁止性能下降。然而,我们发现,部署一个中等大小的高带宽的3D堆叠DRAM高速缓存的性能,主要是一个SCM的内存系统的竞争力。存储器驻留服务所展现的高度空间局部性不仅简化了DRAM高速缓存的基于页面的设计,而且还使得能够摊销增加的SCM访问延迟并减轻SCM的读/写延迟差异。我们确定了一组存储层次结构的设计参数,在存储系统的性能和成本中起着关键作用,结合SCM技术和3D堆叠DRAM高速缓存。然后,我们介绍了一种方法,以推动这些设计参数下的目标性能/成本目标的配置。最后,我们使用我们的方法来得出具体的结果,为特定的SCM技术。与PCM作为一个案例研究,我们表明,一个两个比特/单元技术的性能/成本的甜蜜点,降低了40%的存储器子系统的成本,同时保持性能在3%的最佳性能的DRAM仅系统,而单级和三级细胞组织是不切实际的使用作为存储器的替代品。
2019-03-07 cs.AR
Energy-efficient Non Uniform Last Level Caches for Chip-multiprocessors Based on Compression
随着技术规模的扩大,片上多处理器(CMP)中的高速缓存系统的大小已显着增加,以有效地存储和处理大量的数据,在未来的应用程序,并减少内核和片外存储器访问之间的差距。对于未来的CMP架构,LLC的3D堆叠最近已经被引入作为一种新的方法来应对2D集成和存储器墙的性能挑战。然而,SRAM LLC的3D设计使得热问题更加严重。因此,由于密集集成,它比2D中的常规SRAM高速缓存架构引起更多的泄漏能耗。在本文中,我们提出了两种不同的架构,利用数据压缩,以减少在3D集成电路中的LLC和互连的能量。
2022-01-03 cs.AR
Towards Efficient Flash Caches with Emerging NVMe Flexible Data Placement SSDs
本文研究在 CacheLib 中利用 NVMe FDP SSD 按数据生命周期放置缓存数据,证明其可将近乎理想地把写入放大降至约1,并降低碳排放与功耗。
2025-02-21 cs.AR cs.DB cs.ET
Hardware-Software Co-design for 3D-DRAM-based LLM Serving Accelerator
Peking University(北京大学);Xi’an UniIC Semiconductors(西安联芯集成电路);Houmo AI(厚墨智能);HKUST(香港科技大学)
Helios通过软硬件协同设计,优化LLM服务加速器的动态KV缓存管理和分布式内存抽象,实现3.25倍加速和3.36倍能效提升。
2026-03-05 cs.AR
LLMET: Enabling Cross-Layer Evaluation of Emerging M3D Memories for Energy-Efficient LLM Serving
Georgia Institute of Technology(佐治亚理工学院);Samsung Semiconductor Inc.(三星半导体公司)
本研究开发跨层仿真框架LLMET,通过实验证实采用M3D技术扩展片上缓存可显著降低不同平台及场景下LLM服务的预填充、解码阶段能耗,为高能效LLM服务系统提供新方案。
2026-07-30 cs.AI cs.AR cs.ET
EasyDRAM: An FPGA-based Infrastructure for Fast and Accurate End-to-End Evaluation of Emerging DRAM Techniques
EasyDRAM是一个基于FPGA的框架,通过支持C++高级语言和创新的时间缩放技术,实现快速准确的DRAM技术端到端评估,克服了硬件描述语言门槛和频率差异挑战。
2025-06-23 cs.AR
BARD: Reducing Write Latency of DDR5 Memory by Exploiting Bank-Parallelism
Georgia Institute of Technology(佐治亚理工学院)
BARD通过修改缓存替换策略提高DDR5内存写入的银行并行性,从而减少写入延迟并提升性能。
2025-12-20 cs.AR
Accelerating LLM Inference via Dynamic KV Cache Placement in Heterogeneous Memory System
Rensselaer Polytechnic Institute(拉特格斯理工学院);IBM T.J. Watson Research Center(IBM 沃森研究中心)
本文针对LLM推理中KV缓存导致的内存带宽瓶颈,在HBM与DRAM构成的异构内存系统中,首次对动态KV缓存放置问题进行数学建模并推导出理论上限,揭示了运行时优化的巨大空间。
2025-09-15 cs.AI cs.AR cs.PF
Extending Memory Capacity in Consumer Devices with Emerging Non-Volatile Memory: An Experimental Study
本文首次在真实 Chromebook 上实验分析使用 Intel Optane SSD 作为 DRAM 交换空间扩展主存容量的性能与能耗,并与双倍 DRAM 基线及 NAND 闪存交换空间系统对比。
2023-09-19 cs.AR cs.PF
ORAP: Optimized Row Access Prefetching for Rowhammer-mitigated Memory
Texas A&M University(德克萨斯农工大学);AheadComputing(阿赫德计算公司);Arm Texas A&M University(安谋德州农工大学)
ORAP通过优化行访问预取减少DRAM激活率,提升性能并降低能耗。
2026-02-13 cs.AR
CMD: A Cache-assisted GPU Memory Deduplication Architecture
针对GPU片外访问的性能瓶颈,本文提出缓存辅助的GPU内存去重架构CMD,通过三类设计减少不同类型的片外访问,有效降低访问量与能耗,显著提升性能。
2024-08-18 cs.AR
Pickle: Precise, Flexible Cross-Core Last-level Cache Data Prefetching for Irregular Memory Accesses
University of California, Davis(加州大学戴维斯分校);AMD Research & Advanced Development(AMD研究与先进开发部)
针对图形分析等不规则内存访问问题,提出Pickle这种软件定义、硬件管理的末级缓存预取器,通过执行预取内核提前带数据入缓存,经实验评估,相比无预取基线及现有技术有显著加速效果且降低内存流量开销。
2026-07-09 cs.AR
I/O Transit Caching for PMem-based Block Device
针对基于PMem的块设备中BTT因缺设备内缓存性能不佳、传统DRAM I/O暂存缓存易满引发停顿的问题,提出采用I/O过渡缓存的Caiti算法,通过多核主动回写、满缓存条件旁路缓解停顿,最高将BTT性能提升3.6倍且保留块级写入原子性。
2024-03-10 cs.AR cs.ET cs.OS
Taming Process Variations in CNFET for Efficient Last Level Cache Design
碳纳米管场效应晶体管(CNFET)因其更高的速度和能效而成为CMOS晶体管的一种有前途的替代品,这使得该技术特别适合于构建耗能的末级缓存(LLC)。然而,在CNFET的工艺变化(PV)所造成的不完美的制造导致大的时序变化和最坏情况下的时序显着限制LLC的操作速度。特别是,我们观察到基于CNFET的缓存延迟分布与LLC布局密切相关。针对CNT生长方向分别与缓存路径方向和缓存组方向对齐的两种典型LLC布局,我们提出了可变感知组对齐(VASA)缓存和可变感知路径对齐(VAWA)缓存,并结合相应的缓存优化(如数据重排和页面映射),实现了对常用数据的低延迟缓存。实验结果表明,在两种不同的CNFET版图上,优化后的LLC与基线设计相比,平均访问延迟分别降低了32%和45%,整体性能分别提高了6%和9%,能耗分别降低了4%和8%.此外,在统一模型中考虑了架构引起的延迟变化和PV引起的延迟变化,我们扩展了基于CNFET的NUCA的VAWA和VASA缓存设计,与简单的变化感知NUCA相比,所提出的NUCA实现了显着的性能改进和节能。
2021-08-11 cs.AR cs.ET
ICGMM: CXL-enabled Memory Expansion with Intelligent Caching Using Gaussian Mixture Model
本文提出 ICGMM,利用高斯混合模型在 FPGA 硬件上直接优化 CXL 内存扩展中的缓存与逐出策略,相比 LRU 和 LSTM 方法显著降低缓存未命中率与访问延迟,且硬件资源开销更少。
2024-08-10 cs.AR cs.ET cs.SY
Tiered-Latency DRAM: Enabling Low-Latency Main Memory at Low Cost
本文总结了在HPCA 2013上发表的分层延迟DRAM(TL-DRAM)的思想,并探讨了这项工作的意义和未来的潜力。DRAM的容量和每比特成本在历史上已经缩放以满足日益庞大和复杂的计算机系统的需要。然而,DRAM延迟几乎保持不变,使得存储器延迟成为当今系统中的性能瓶颈。我们观察到,高访问延迟不是DRAM固有的,而是为了降低每位成本而做出的权衡。为了减轻DRAM感测结构的高面积开销,商品DRAM通过称为DRAM的导线将许多DRAM单元连接到每个感测放大器。这些位线由于其长的长度而具有高寄生电容,并且该寄生电容是DRAM延迟的主要来源。专用的低延迟DRAM使用具有较少单元的较短位线,但由于较大的读出放大器面积开销而具有较高的每位成本。为了实现低延迟和低每位成本,我们引入了分层延迟DRAM(TL-DRAM)。在TL-DRAM中,每个长DRAM被隔离晶体管分成两个较短的段,允许以短DRAM的延迟访问两个段中的一个,而不会导致每比特的高成本。我们提出的机制,使用低延迟段作为硬件管理或软件管理的缓存。我们的评估表明,我们提出的机制提高了单核和多编程工作负载的性能和能源效率。分层延迟DRAM启发了其他几项减少DRAM延迟的工作,几乎没有架构修改。
2018-05-04 cs.AR
Mitigating the Latency-Area Tradeoffs for DRAM Design with Coarse-Grained Monolithic 3D (M3D) Integration
多年来,由于DRAM行业以成本为中心的心态,DRAM延迟并未与其密度成比例地扩展。先前的工作表明,这个缺点可以通过减少DRAM访问路径的临界长度来克服。然而,这样做降低了DRAM面积效率,加剧了DRAM设计的延迟面积权衡。在本文中,我们表明,重组DRAM单元阵列使用新兴的单片3D(M3 D)集成技术可以减轻这些基本的延迟面积权衡。根据PARSEC基准测试的评估结果,与传统的2D DDR4 DRAM相比,我们设计的M3 D DRAM单元阵列组织可以减少高达9.56%的延迟,减少高达4.96%的功耗,减少高达21.21%的能量延迟积(EDP),减少高达14%的DRAM芯片面积。
2020-08-26 cs.AR
Mixture of Cache-Conditional Experts for Efficient Mobile Device Inference
Contextual AI;Qualcomm AI Research
针对内存受限移动设备上MoE部署的挑战,提出缓存感知路由策略利用专家重用提升缓存局部性,在语言建模、MMLU和GSM8K基准上实现2倍加速,且无需训练。
2025-06-24 cs.AI cs.AR cs.LG
Page Tables: Keeping them Flat and Hot (Cached)
由于内存容量已经超过了TLB的覆盖范围,大型数据应用程序会遭受频繁的页表遍历。我们调查两个互补的技术来解决这个成本:减少所需的访问次数和减少每次访问的延迟。第一种方法是通过机会主义地“扁平化”页表来实现的:将两级传统的4KB页表节点合并为单个2 MB节点,从而减少了表的深度和搜索它所需的间接寻址的数量。第二个是通过偏置高速缓存替换算法来实现的,以在高TLB未命中率期间保留页表条目,因为这些周期也经历高数据未命中率,并且因此更可能受益于高速缓存中具有较小的页表而不是遭受增加的数据高速缓存未命中。我们评估这些方法的本地和虚拟化系统,并在一系列现实的内存碎片的情况下,描述我们的内核实现和硬件设计所需的有限的变化,识别和解决与自引用页表和内核内存分配的挑战,并比较结果跨服务器和移动系统使用学术和工业模拟器的鲁棒性。我们发现,扁平化确实减少了页面遍历所需的访问次数(到1.0),但由于页面遍历缓存(已经1.5次访问),其性能影响(+2.3%)很小。优先缓存有更大的效果(+6.8%),组合提高性能+9.2%。扁平化在虚拟化系统上更有效(4.4到2.8次访问,性能提高7.1%),这是由于2D页面遍历。通过结合这两种技术,我们展示了最先进的+14.0%的性能增益和-8.7%的动态缓存能量和-4.7%的动态DRAM能量,用于非常简单的硬件和软件更改的虚拟化执行。
2021-09-02 cs.AR
Performance Characterizations and Usage Guidelines of Samsung CXL Memory Module Hybrid Prototype
针对数据密集型工作负载,本文首次公开表征了三星CMM-H(CXL内存模块混合)FPGA原型,验证其基于NAND闪存的内存设备可运行多种应用,并提供使用指南以优化性能。
2025-03-27 cs.AR
Amber: Enabling Precise Full-System Simulation with Detailed Modeling of All SSD Resources
SSD成为现代存储层次结构中的主要存储组件,SSD研究要求通过将SSD子系统集成到全系统环境中来探索未来基于仿真的研究。然而,在全系统仿真下对SSD进行建模存在一些挑战; SSD由其自己的完整系统和架构组成,这些系统和架构采用所有必要的硬件,例如CPU,DRAM和互连网络。使用硬件组件,SSD还需要具有多个设备控制器,内部缓存和软件模块,这些模块需要广泛的存储接口和协议。这些SSD硬件和软件都是在全系统环境下体现存储子系统所必需的,可以与主机系统并行运行。在这项工作中,我们引入了一个新的SSD模拟框架,SimpleSSD 2.0,即琥珀色,嵌入式CPU内核,DRAM和各种闪存技术(在SSD)的模型,并通过启用数据传输仿真在整个系统模拟环境下运行。Amber还包括完整的固件堆栈,包括DRAM缓存逻辑、闪存固件(如FTL和HIL),并通过修改流行的完整系统模拟器的所有功能和时序CPU模型(gem 5)的主机DMA引擎和系统总线来遵守各种标准协议。该模拟器可以捕捉各种操作系统和硬件平台下嵌入式内核、DRAM、固件和闪存的动态性能和功耗细节。使用Amber,我们通过模拟不同类型的完整系统(如移动设备和通用计算机)来描述几个系统级挑战,并通过比较被动存储和主动存储架构来提供全面的分析。
2018-11-05 cs.AR
Understanding the Security Benefits and Overheads of Emerging Industry Solutions to DRAM Read Disturbance
本文首次系统分析 DDR5 新兴的 PRAC 读干扰缓解机制,揭示其安全配置阈值、性能开销及可被对抗访问模式利用的可用性风险,并开源 Ramulator 2.0 实现。
2024-08-08 cs.AR cs.CR
A Low-Cost Reliable Racetrack Cache Based on Data Compression
Shahid Beheshti University(沙希德·贝赫什蒂大学)
本文提出基于数据压缩的低成本可靠赛车道缓存方案,利用值局部性减少存储开销,提升缓存可靠性与性能。
2025-12-01 cs.AR cs.ET
Ramulator 2.1: A Composable Memory System Simulator for Modern DRAM Systems
ETH Zürich(苏黎世联邦理工学院)
Ramulator 2.1 大幅改进了模拟器,支持现代DRAM标准(HBM3/4、LPDDR5/6、GDDR7),引入基于Python的建模接口和双向代码生成框架,并提供了全面的测试与验证基础设施。
2026-06-15 cs.AR
Supporting Superpages and Lightweight Page Migration in Hybrid Memory Systems
超页长期以来一直被用于减轻大型内存系统中的地址转换开销。然而,超页通常排除轻量页迁移,轻量页迁移对于由DRAM和非易失性存储器(NVM)组成的混合存储器系统中的性能和能量效率至关重要。在本文中,我们提出了一种名为\textit{Rainbow}的新型存储管理机制,以弥合超级页面和轻量级页面迁移之间的根本冲突。\textit{Rainbow}以超页粒度管理NVM,并使用DRAM来高速缓存每个超页中的频繁访问(热)小页。相应地,\textit{Rainbow}利用拆分的TLB来支持不同的页面大小。通过引入有效的热页识别机制和新颖的NVM到DRAM地址重映射机制,\textit{Rainbow}支持轻量级页迁移,同时不分裂超页。实验结果表明,与不支持超页的最新内存迁移策略相比,Rainbow可以将应用程序的TLB未命中率降低99.8%,并将应用程序性能(IPC)提高2.9倍(平均43.0%)。
2018-06-03 cs.AR
L2C2: Last-Level Compressed-Cache NVM and a Procedure to Forecast Performance and Lifetime
几种新兴的非易失性(NV)存储器技术正在崛起,成为构建末级缓存(LLC)的有趣替代方案。与SRAM存储器相比,它们的优点是更高的密度和更低的静态功耗,但写入操作会磨损位单元,最终失去存储容量。在这种情况下,本文提出了一种新的LLC组织,旨在延长NV数据阵列的寿命和详细预测这种NV-LLC在其生命周期的容量和性能的过程。从方法论的角度来看,虽然不同的方法被用于在文献中分析的NV-LLC的退化,他们都不允许详细研究其时间演变。从这个意义上说,这项工作提出了一种结合详细模拟和预测的预测程序,可以准确分析不同缓存控制策略和机制(替换、磨损均衡、压缩等)的影响关注指标的时间演变,例如NV-LLC或系统IPC的有效容量。我们还介绍了L2 C2,LLC设计的NV存储器技术,结合了容错,压缩和内部写入磨损平衡的第一次实施。压缩不是用来存储更多数据块和提高命中率,而是用来降低写入速率和延长缓存支持接近峰值性能的生存期。与在面积、延迟和能耗方面没有压缩的基准NV-LLC相比,它具有负担得起的硬件开销,并且取决于制造过程中的可变性,将50%的有效容量降级的时间增加多达6-37倍。
2022-06-08 cs.AR
Enabling the Adoption of Processing-in-Memory: Challenges, Mechanisms, Future Research Directions
多年来,DRAM技术的扩展性差,导致基于DRAM的主存越来越成为一个更大的系统瓶颈。瓶颈的一个主要原因是存储在DRAM中的数据必须在任何计算发生之前通过引脚有限的内存通道移动到CPU。这需要很高的延迟和能量开销,并且数据通常不能从CPU中的缓存中受益,从而难以分摊开销。现代3D堆叠DRAM架构包括逻辑层,其中计算逻辑可以集成在同一芯片内的DRAM单元阵列的多层之下。架构师可以利用逻辑层来执行内存处理(PIM)或近数据处理。在PIM架构中,DRAM内的逻辑层可以访问3D堆叠DRAM内可用的高内部带宽(其远大于DRAM和CPU之间可用的带宽)。因此,PIM架构可以有效地释放宝贵的存储器通道带宽,同时降低系统能耗。当我们将计算逻辑添加到DRAM时,会出现许多重要的问题。特别地,该逻辑不具有对现代应用执行所必需的公共CPU结构的低延迟访问,诸如虚拟内存和缓存一致性机制。为了便于PIM的广泛采用,我们希望保持传统的虚拟内存抽象和共享内存编程模型。这需要高效的机制,可以为DRAM中的逻辑提供对CPU结构的访问,而不必频繁地与CPU通信。为此,我们提出并评估两个通用的解决方案,最大限度地减少不必要的片外通信PIM架构。我们发现,这两种机制提高了许多重要的内存密集型应用程序的性能和能耗。
2018-02-01 cs.AR
Monarch: A Durable Polymorphic Memory For Data Intensive Applications
3D裸片堆叠经常被提出来构建大规模的基于DRAM的高速缓存。不幸的是,DRAM的功耗和性能开销限制了高带宽存储器的效率。此外,DRAM正面临着严重的可扩展性挑战,这使得替代技术更具吸引力。本文探讨君主,电阻3D堆叠存储器的基础上,一种新的可重构交叉点阵列称为XAM。XAM阵列能够在随机存取和内容寻址模式之间切换,这使得Monarch能够(i)更好地利用封装内带宽,(ii)满足各种应用的随机存取存储器和关联搜索要求。此外,Monarch控制器确保电阻堆的目标寿命。我们对一组并行内存密集型应用程序的模拟结果表明,Monarch的性能平均比理想的DRAM缓存高1.21倍。对于内存中的哈希表和字符串匹配工作负载,Monarch将性能提高到传统高带宽内存的12倍。
2021-08-19 cs.AR cs.SY eess.SY
3D MPSoC with On-Chip Cache Support -- Design and Exploitation
本研究提出支持片上缓存的 3D MPSoC 设计,采用 NoC 与交叉开关混合通信架构及 UMA/NORMA 双层模型,并利用 PCRAM 和 MRAM 优化性能,通过 Gem5 模拟验证其可扩展性。
2025-04-28 cs.AR
Emerging memory technologies at room/cryogenic temperature
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了在室温和极低温环境下,为应对传统技术限制而发展出的新型内存技术,探讨了SRAM、DRAM、RRAM、MRAM等内存技术的原理、性能及未来应用前景。
2026-05-21 cs.AR
LMB: Augmenting PCIe Devices with CXL-Linked Memory Buffer
本文提出LMB,一种利用CXL内存扩展器解决PCIe设备板载DRAM短缺的可扩展方案,通过低延迟CXL补充设备内存且对性能影响极小。
2024-06-04 cs.AR
Workload-Aware DRAM Error Prediction using Machine Learning
技术的积极扩展可能有助于满足对更高存储容量和密度的日益增长的需求,但也使DRAM单元更容易出错。这样的现实引发了人们对DRAM行为建模的极大兴趣,以便提前预测错误或调整DRAM电路参数以实现能效和可靠性之间更好的权衡。现有的建模工作可能已经研究了使用定制FPGA设置的少数操作参数和温度对DRAM可靠性的影响,但是他们忽略了只能在真实系统上系统地研究的特定于工作负载的特性的综合影响。在本文中,我们提出了我们的工作负载相关的DRAM错误行为的研究结果,在一个真正的服务器考虑各种操作参数,如刷新率,电压和温度。我们发现,单比特和多比特错误的速率可能会因工作负载而变化8倍,这表明程序固有的特性会显著影响DRAM的可靠性。基于这一观察,我们从各种计算密集型、缓存和分析基准中提取了249个特征,如内存访问率、缓存未命中率、内存重用时间和数据熵。我们应用几种监督学习方法,建立了72个服务器级DRAM芯片的DRAM错误行为模型,使用内存操作参数和提取的程序固有特征。我们的研究结果表明,通过适当选择程序功能和监督学习方法,可以预测特定DRAM模块的单位和多位错误率,平均错误率小于10.5%,而传统工作负载未知错误模型的估计误差为2.9倍。
2020-03-17 cs.AR cs.DC
Modeling and Simulating Emerging Memory Technologies: A Tutorial
本教程通过四个案例研究展示了一个用于新兴非易失性存储器(NVM)架构探索与软硬件协同设计的开源仿真工具链,覆盖混合主存与缓存、存内计算和磨损均衡等系统设计领域。
2025-03-10 cs.AR
On the Off-chip Memory Latency of Real-Time Systems: Is DDR DRAM Really the Best Option?
在多核实时的【形】系统中,访问共享存储器时的可预测执行时间是一个严格的要求。大量现有工作都集中在双数据率动态随机存取存储器(DDR DRAM)的分析上,或重新设计其存储器以提供可预测的存储器行为。在本文中,我们表明,DDR DRAM的建设遭受与实现这种可预测性的固有限制。这些限制导致1)高度可变的访问延迟,其基于各种因素(诸如来自先前访问的访问模式和存储器状态)而波动,以及2)过度悲观的延迟界限。结果,DDR DRAM可能不适合于要求具有严格时序约束的严格可预测性能的某些实时的【形】系统。针对这些系统,我们提出了一种替代的片外存储器解决方案,是基于新兴的减少延迟DRAM(RLDRAM)协议,并提出了一个可预测的内存控制器(RLDC)管理访问此内存。与最先进的可预测DDR控制器相比,所提出的解决方案提供了高达11倍的时间可变性和6.4倍的最坏情况下的内存延迟减少。
2018-10-16 cs.AR
Architecting Non-Volatile Main Memory to Guard Against Persistence-based Attacks
基于DRAM的主存储器及其相关组件越来越多地占计算生态系统内应用性能瓶颈和功率预算需求的很大一部分。为了缓解与DRAM相关联的存储密度和功率限制的问题,系统架构师正在研究替代非易失性存储器技术,例如相变存储器(PCM),以替代DRAM存储器或与DRAM存储器一起使用。虽然这种替代存储器类型提供了克服DRAM相关问题的许多承诺,但由于即使在断电后存储器数据的持久性,它们也对用户构成了重大的安全威胁。在本文中,我们研究智能机制,以掩盖掉电后留在非易失性存储器中的数据。特别是,我们分析了使用单一的加密算法与差分加密的应用程序阶段的安全需求的基础上的效果。我们还探讨了混合主存储器,有一个DRAM缓冲区高速缓存加上PCM主存储器上的加密效果。我们的机制考虑到有限的写入耐久性问题与几个非易失性存储器技术,包括PCM,并避免任何额外的写入超出最初发出的应用程序。我们使用Gem5模拟器和SPEC 2006应用程序进行评估,并显示我们所提出的设计的性能和功耗开销。
2019-02-09 cs.AR cs.CR