Enabling Efficient Dynamic Resizing of Large DRAM Caches via A Hardware Consistent Hashing Mechanism
已经提出将裸片堆叠式DRAM用作具有数百或数千兆字节容量的大型、高带宽、末级高速缓冲存储器。然而,并非所有工作负载(或阶段)都可以有效地利用这么多缓存空间。不幸的是,未使用(或未充分使用)的高速缓存由于外围电路中的泄漏和周期性DRAM刷新而继续消耗功率。动态调整可用的DRAM缓存容量可以在很大程度上消除这种能量开销。然而,当前提出的DRAM高速缓存组织为动态高速缓存缓存管理引入了新的挑战。该组织不同于传统的SRAM高速缓存组织,因为它将整个高速缓存集及其标签放置在单个存储体中,以减少片上面积和功耗开销。因此,对DRAM高速缓存进行重映射需要将集合从断电的存储体重映射到活动存储体。在本文中,我们提出CRUNCH(缓存调整使用本地一致性哈希),硬件数据重新映射方案的启发一致性哈希,最初提出的算法,以统一和动态地分布互联网流量在不断变化的人口的Web服务器。CRUNCH提供了将数据从断电的银行单独重新映射到活动银行的负载平衡重新映射,而不需要重新映射所有银行的数据集,这与实现负载均衡的天真方案不同。CRUNCH仅重新映射掉电存储体的集合,因此它以低存储体上电/掉电转换延迟实现这种负载均衡。CRUNCH将良好的负载均衡和低转换延迟相结合,为实现高效的DRAM高速缓存存储提供了基础。
2016-02-01 cs.AR
A Cache Reconfiguration Approach for Saving Leakage and Refresh Energy in Embedded DRAM Caches
近年来,大型末级高速缓存(LLC)的大小和泄漏能耗已经增加。为了解决这个问题,已经考虑了具有较低泄漏能量消耗的嵌入式DRAM(eDRAM)高速缓存;然而,eDRAM高速缓存以刷新能量的形式消耗大量的能量。在本文中,我们提出了一种技术,用于节省泄漏和刷新能量eDRAM缓存。我们使用动态缓存重新配置的方法来智能地关闭缓存的一部分,以节省泄漏能量和刷新只有效的数据的活动(即不关闭)缓存,以节省刷新能量。我们评估我们的技术使用x86-64模拟器和SPEC 2006基准,并将其与最近提出的技术,以节省刷新能源,命名为Refrint。实验表明,我们的技术提供了更好的性能和能源效率比Refrint。使用我们的技术,对于2 MB LLC和40微秒的eDRAM刷新周期,与eDRAM基线(定期刷新所有高速缓存行)相比,平均节能22.8%。
2013-09-26 cs.AR
CacheFit: The Rising Cost of Cache Replacement and Constraint-Driven Redesign of Last-Level Cache Replacement Policies
North Carolina State University(北卡罗来纳州立大学)
CacheFit是首个将电路级成本纳入搜索目标的LLC替换策略设计循环,应用于MPPPB和SHiP++后,生成的Fit-MPPPB和Fit-SHiP++可大幅降低硬件成本,同时保持或优化性能。
2026-10-09 cs.AR cs.PF
Die-Stacked DRAM: Memory, Cache, or MemCache?
堆叠式动态随机存取存储器(DRAM)是满足多核处理器日益增长的内存带宽需求的一种有前途的解决方案。制造技术已经使得能够在有源管芯上堆叠数千兆字节的DRAM模块,从而提供与常规的基于DIMM的DDR存储器相比高数量级的带宽。然而,由于其有限的容量,管芯堆叠DRAM无法容纳现代大数据应用的整个数据集。因此,先前的提议将其用作相当大的存储器侧缓存或作为软件可见的主存储器的一部分。缓存设计可以适应应用程序的动态变化,但遭受标签存储/延迟/带宽开销。另一方面,存储器设计消除了对标记的需要,并且因此提供了对数据的有效访问,但是由于其静态性质而不能捕获应用的动态行为。在这项工作中,我们提出了一种情况下使用的管芯堆叠DRAM部分作为主存储器,部分作为缓存。我们观察到,在现代大数据应用程序中,存在许多具有大量访问的热页面。基于这一观察,我们建议使用一部分管芯堆叠DRAM作为主存储器来托管热页,从而能够在没有标签检查开销的情况下为来自高带宽DRAM的大量访问提供服务,并将DRAM的其余部分作为高速缓存来管理,用于捕获应用程序的动态行为。在该提议中,软件过程预处理应用程序并确定热页,然后要求OS将它们映射到裸片堆叠DRAM的存储器部分。裸片堆叠式DRAM的高速缓存部分由硬件管理,高速缓存芯片外存储器中分配的数据。
2018-09-24 cs.AR
Exploring DRAM Cache Prefetching for Pooled Memory
针对内存池化带来的访问延迟升高问题,提出将FAM子页块预取到本地DRAM缓存的系统,结合两种优化方案缓解带宽争用,经多基准测试验证可有效提升IPC。
2024-06-20 cs.AR
Chameleon Cache: Approximating Fully Associative Caches with Random Replacement to Prevent Contention-Based Cache Attacks
最近,诸如CEASER-S的随机偏斜缓存(RSC)受到了很多关注,以防御基于竞争的缓存侧通道。通过随机化和有规律地改变地址到高速缓存集的映射,这些技术被设计为混淆存储器访问模式的泄漏。然而,新的攻击技术,例如,Prime+Prune+Probe很快证明了RSC的局限性,因为它们允许攻击者更快地了解哪些地址在缓存中竞争,并使用此信息来规避随机化。为了保持侧信道弹性,RSC必须更频繁地改变随机映射,这对性能和实现复杂性有不利影响。这项工作的目的是使基于随机化的方法更强大,以减少重新键控率,并提出变色龙缓存。Chameleon Cache通过牺牲缓存(VC)扩展了RSC,以将RSC中的争用与用户观察到的回收分离。VC允许Chameleon Cache额外使用RSC提供的多个映射来将地址转换为缓存集索引:当缓存行在其映射之一下从RSC驱逐到VC时,VC通过使用不同的映射自动将此驱逐行重新插入RSC。因此,先前RSC集争用的影响被隐藏,并且Chameleon Cache表现出类似于具有随机替换的完全关联缓存的侧通道阻力和驱逐模式。我们表明,变色龙缓存的性能开销< 1%,并强调,VC更一般地有助于增加侧沟道电阻和重新键控间隔的随机缓存。
2022-09-29 cs.AR cs.CR
Characterizing the impact of last-level cache replacement policies on big-data workloads
Barcelona Supercomputing Center(巴塞罗那超级计算中心)
本研究针对图处理工作负载因内存访问不规则导致的高等待时间问题,分析其带来的挑战并评估了相关缓存替换策略对末级缓存与主存性能差距的缓解作用。
2023-05-11 cs.AR cs.DS
Adaptive Cache Pollution Control for Large Language Model Inference Workloads Using Temporal CNN-Based Prediction and Priority-Aware Replacement
University of Electronic Science and Technology of China(电子科技大学);Flinders University(弗林德斯大学);Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校西贝尔计算与数据科学学院)
本文提出基于时间卷积网络的自适应缓存污染控制机制,通过预测和优先级替换策略优化LLM推理性能。
2025-12-16 cs.AR cs.PF
MAC: a novel systematically multilevel cache replacement policy for PCM memory
近年来,多核系统的快速发展和数据密集型应用的增加对内存提出了更高的要求。传统的DRAM存储器可以通过减小存储单元的特征尺寸来增加其容量。现在DRAM的进一步扩展面临着巨大的挑战,并且DRAM的频繁刷新操作会带来大量的能量消耗。相变存储器(PCM)作为一种新兴的存储技术,很有希望成为主存储器。它以其低功耗、高密度和非易失性等优点而受到广泛关注,但其持久性有限,写入延迟相对较长。针对写操作问题,通过优化缓存替换策略来保护脏缓存块是一种有效的方法。在本文中,我们构建了一个系统的多级结构,并在此基础上提出了一种新的缓存替换策略称为MAC。MAC可以有效地减少PCM存储器的写流量,且硬件开销较低。我们在GEM5上进行了仿真实验,以评估MAC和其他相关工作的性能。结果表明,MAC在不增加程序执行时间的情况下,最大限度地减少了写操作量(平均为25.12%)。
2016-06-10 cs.AR cs.DC
FIGARO: Improving System Performance via Fine-Grained In-DRAM Data Relocation and Caching
DRAM主存储器由于高访问延迟而成为许多应用的性能瓶颈。DRAM内缓存通过使用DRAM的小而快的区域来增加常规延迟DRAM来减轻这种延迟,这些区域用作DRAM的常规延迟区域中保存的数据的缓存。虽然有效的DRAM内高速缓存可以允许从快速DRAM区域服务大部分存储器请求,但是延迟节省通常受到用于将数据的副本重新定位到快速区域中和从快速区域重新定位出来的低效机制的阻碍。现有的DRAM内高速缓存具有两个低效率的来源:(1)数据重定位粒度是DRAM的整个多字节行;以及(2)因为重定位延迟随着慢区域与快区域之间的物理距离而增加,所以多个快区域在慢区域之间物理地交织以减少重定位延迟,从而导致增加的硬件面积和制造复杂性。我们提出了一个新的基板,FIGARO,使用现有的共享全局缓冲区的DRAM银行内的子阵列之间提供支持,在一个单一的高速缓存块的粒度跨子阵列的DRAM数据重新定位。FIGARO在DRAM组内具有与距离无关的延迟,并且避免了对DRAM的复杂修改。使用FIGARO,我们设计了一个细粒度的DRAM缓存称为FIGCache。FIGCache的关键思想是在DRAM的指定区域中仅缓存不同DRAM行的小的、频繁访问的部分。通过只缓存每行中预期在不久的将来会被访问的部分,我们可以将更多频繁访问的数据打包到FIGCache中,并且可以从DRAM中的额外行命中中受益。我们的评估表明,FIGCache将使用…
2020-09-17 cs.AR
Reuse-Aware Cache Partitioning Framework for Data-Sharing Multicore Systems
多核处理器可以提高性能,但由于高速缓存等共享资源的干扰,它们可能会造成不可预测性。缓存分区用于通过隔离每个线程之间的共享缓存来减少干扰,从而减轻最坏情况执行时间(WCET)估计。但是,它确实禁止在不同内核上运行的并行线程之间传输数据。在本文中,我们提出了(SRCP)分区缓存的缓存替换机制,是知道跨线程的数据共享,防止共享数据被复制跨分区和频繁使用的数据被逐出缓存。我们的技术优于TA-DRRIP和EHC,这是现有的最先进的缓存替换算法,缓存命中率和LRU(最近最少使用)缓存替换策略的性能分别为13.34%和10.4%。
2022-01-17 cs.AR cs.DC
Banshee: Bandwidth-Efficient DRAM Caching Via Software/Hardware Cooperation
将DRAM与处理器放置在同一封装上能够实现比常规封装外DRAM高几倍的内存带宽。然而,封装内DRAM的延迟并不比封装外DRAM的延迟低。封装内DRAM的一个有前途的用途是作为一个大的高速缓存。不幸的是,大多数先前的DRAM高速缓存设计主要针对命中延迟进行优化,并且不将片外带宽效率视为第一类设计约束。因此,正如我们在本文中所示,这些设计是次优的封装DRAM使用。我们提出了一种新的DRAM缓存设计,女妖,优化封装和封装外DRAM的带宽效率,而不会降低访问延迟。关键思想是消除封装内DRAM带宽开销,由于昂贵的标签访问通过虚拟内存机制,并纳入一个带宽感知的基于频率的更换策略,偏向于减少不必要的流量到封装外DRAM。我们广泛的评估表明,Banshee提供了显着的性能改善和交通减少国家的最先进的延迟优化的DRAM缓存设计。
2017-04-10 cs.AR
HermiCache: Enclave-Aware Cache Replacement for Trusted Execution Environments
ENSTA(法国国立高等先进技术学校);Université Bretagne-Sud(南布列塔尼大学)
针对TEE缓存侧信道攻击,提出围栏感知缓存替换策略HermiCache,在RISC-V CVA6内核实现,面积开销仅6%,提供细粒度确定性保护。
2026-09-11 cs.AR cs.CR
TicToc: Enabling Bandwidth-Efficient DRAM Caching for both Hits and Misses in Hybrid Memory Systems
本文研究了混合DRAM + 3D-XPoint存储器的带宽效率DRAM缓存。3D-XPoint正在成为DRAM的可行替代品,因为它支持高容量和非易失性主存储器系统;然而,3D-XPoint的读取速度慢4- 8倍,写入速度更差。因此,在3D-XPoint之前的有效DRAM缓存对于实现高容量、低延迟和高写入带宽存储器非常重要。DRAM缓存设计有两种主要方法:(1)内部标签缓存行(TIC)组织,通过将标签存储在每条线旁边,以便一次访问既获得标签又获得数据,来优化命中,以及(2)外部标签缓存行(TOC)组织,通过将来自多个数据线的标签存储在一起,以优化未命中,以便一次标签访问获得多个数据线的信息。理想情况下,我们希望TIC具有低命中延迟,TOC具有低未命中带宽。为此,我们提出了TicToc,一个提供TIC和TOC的组织,以获得两者的命中和错过的好处。然而,我们发现,单纯地将两者结合起来实际上比TIC执行得更差,因为需要支付带宽来维护两个元数据。这项工作的主要贡献是开发架构技术,以减少维护TIC和TOC元数据的带宽。我们发现大部分的带宽成本是由于维护TOC脏位。我们提出了DRAM缓存脏位,它携带DRAM缓存脏信息的最后一级缓存,修剪重复的脏位检查已知的脏线。然后,我们提出了先发制人的脏标记,它预测哪些行将被写入,并在安装时主动标记脏位,以摊销初始脏位更新。我们对具有3D-XPoint内存的4…
2019-07-04 cs.AR
On the complexity of cache analysis for different replacement policies
现代处理器使用高速缓存:“命中”高速缓存的内存访问会提前返回,而“未命中”则需要更多时间。给定程序中的内存访问,缓存分析包括决定该访问是否总是命中,总是未命中,或者是命中或未命中,这取决于执行。这样的分析是非常重要的边界的最坏情况下的执行时间的安全关键的实时programmes.There存在多个可能的政策驱逐旧数据从高速缓存时,新的数据被带到,和不同的政策,虽然显然类似的目标和性能,可能是非常不同的从分析的角度来看。在本文中,我们将从复杂性理论的角度探讨这些差异。具体来说,我们表明,在常见的替换政策,LRU(最近最少使用)是唯一一个其分析是NP完全的,而其他政策的分析问题是PSPACE完全的。
2019-09-23 cs.AR cs.CC cs.PL
An Imitation Learning Approach for Cache Replacement
Stanford University(斯坦福大学);Google Research(谷歌研究院)
程序执行速度关键取决于增加缓存命中,因为缓存命中比未命中快几个数量级。为了增加缓存命中,我们专注于缓存替换的问题:选择插入一个新的行后驱逐的缓存行。这是具有挑战性的,因为它需要提前规划,目前还没有已知的实际解决方案。因此,当前的替换策略通常采用为特定的常见访问模式设计的策略,而这些策略在更多样化和复杂的访问模式上失败。相比之下,我们提出了一个模仿学习的方法来自动学习缓存访问模式,利用Belady的,一个预言机的政策,计算出最佳的驱逐决定,未来的缓存访问。虽然直接应用Belady的是不可行的,因为未来是未知的,我们训练的政策条件下,只有过去的访问,准确地接近Belady的,甚至在不同的和复杂的访问模式,并呼吁这种方法鹦鹉。在对13个内存最密集的SPEC应用程序进行评估时,Parrot将缓存未命中率提高了20%。此外,在大规模Web搜索基准测试中,Parrot将缓存命中率提高了61%。我们发布了一个健身房环境,以促进这一领域的研究,因为数据是丰富的,进一步的进步可能会产生重大的现实影响。
2020-07-09 cs.AR cs.LG stat.ML
CacheMind: From Miss Rates to Why -- Natural-Language, Trace-Grounded Reasoning for Cache Replacement
North Carolina State University(北卡罗来纳州立大学)
CacheMind通过自然语言和跟踪数据推理提升缓存替换性能,实现高准确率和实际应用效果。
2026-02-12 cs.AI cs.AR cs.LG
A Cycle-level Unified DRAM Cache Controller Model for 3DXPoint Memory Systems in gem5
为了适应当今应用的不断增长的存储器占用空间,CPU供应商已经采用了大型DRAM高速缓存,其由大型非易失性存储器(如Intel Optane(例如,Intel的Cascade Lake)。现有的计算机体系结构模拟器不提供对使用DRAM设备作为非易失性主存储器的高速缓存的系统的建模和评估的支持。在这项工作中,我们提出了一个周期级的DRAM高速缓存模型,它是与gem 5集成。该模型利用了gem 5内存设备模型的灵活性和完整的系统支持,可以探索许多不同的DRAM缓存设计。我们通过几个案例研究探索DRAM高速缓存控制器的设计空间,包括调度策略的影响,所需的缓冲,结合不同的内存技术(例如,HBM,DDR3/4/5,3DXPoint,High latency)作为高速缓存和主存,以及DRAM高速缓存由NVM主存支持时的损耗均衡效果。我们还在全系统模拟中使用真实工作负载进行实验,以验证所提出的模型,并显示这些工作负载对DRAM缓存大小的敏感性。
2023-03-23 cs.AR cs.PF
Enabling Design Space Exploration of DRAM Caches in Emerging Memory Systems
随着应用程序对内存容量和性能需求的不断增长,CPU厂商开始在单个系统中部署异构内存系统,或者通过拆分来部署异构内存系统。例如,像英特尔的Knights Landing和Sapphire Rapids这样的系统可以配置为使用高带宽内存作为主内存的缓存。虽然有大量的研究调查DRAM缓存的设计,有很少的研究调查DRAM缓存从整个系统的角度来看,因为没有一个合适的模型提供给社区,以准确地研究大规模系统与DRAM缓存在一个周期的水平。在这项工作中,我们描述了一个新的周期级DRAM高速缓存模型的gem 5模拟器,可用于异构和分散的系统。我们相信,这种模式使社区能够为支持DRAM缓存的下一代存储器系统进行设计空间探索。
2023-03-23 cs.AR cs.PF
CACHEFORGE: LLM-Guided End-to-End Generative Cache Replacement Policy for Performance and Hardware Efficiency
North Carolina State University(北卡罗来纳州立大学)
CACHEFORGE通过将大语言模型嵌入硬件感知循环,端到端生成并演化缓存替换策略,在SPEC CPU2006上显著提升命中率与IPC,超越现有基线。
2026-11-11 cs.AI cs.AR cs.LG
TDRAM: Tag-enhanced DRAM for Efficient Caching
提出TDRAM,一种专为缓存设计的新型DRAM微架构,通过在HBM3芯片上集成标签阵列实现快速并行访问与片内比较,优化命中与缺失延迟,显著提升性能并降低能耗。
2024-04-22 cs.AR
Reuse Cache for Heterogeneous CPU-GPU Systems
通常观察到,对于芯片多处理器(CMP),共享末级高速缓存(SLLC)中的活线的比例非常小。这可以使用基于提升的替换策略来解决,例如重新引用间隔预测(RRIP)而不是LRU,死块预测器或基于重用的缓存分配方案。在GPU系统中,使用各种高速缓存旁路技术来缓解类似的LLC问题。这些问题在异构CPU-GPU系统中更加严重,因为这两个处理器具有不同的数据访问模式和频率。GPU通常处理流数据,但与CPU相比,有更多的线程访问内存。因此,大多数传统的高速缓存替换和分配策略被证明是无效的,这是由于GPU应用中的高速缓存访问数量更高,导致GPU高速缓存行的分配更高,尽管它们的重用最小。在这项工作中,我们实现了重用缓存方法的异构CPU-GPU系统。重用缓存是一个解耦的标签/数据SLLC,旨在仅存储被访问多次的数据。这种设计是基于这样的观察,即LLC中的大部分高速缓存行被存储,但在被替换之前不会被重用。我们发现,重用缓存实现的IPC收益的0.5%内的静态分区的LLC,同时减少了平均40%的LLC的面积成本。
2021-07-28 cs.AR
Fast Modeling L2 Cache Reuse Distance Histograms Using Combined Locality Information from Software Traces
为了缓解CPU和主存之间的性能差距,多级缓存体系结构被广泛应用于现代处理器中。因此,在设计空间探索(DSE)的早期阶段,对下游缓存的行为进行建模成为处理器性能评估的一个关键部分。本文提出了一种快速、准确的二级缓存重用距离直方图模型,可用于预测一级缓存使用LRU替换策略、二级缓存使用LRU/随机替换策略的多级缓存架构的行为。我们使用了L1重用距离直方图和两个新提出的度量,即可扩展表和Hit-RDH,描述了更详细的信息的软件跟踪作为输入。对于给定的L1高速缓存配置,分析结果可以重新用于L2高速缓存的不同配置。我们的模型的输出是L2缓存重用距离直方图,在此基础上,L2缓存未命中率可以评估。我们将L2缓存未命中率与从SPEC CPU 2006中选择的15个基准测试和从SPEC CPU 2017中选择的9个基准测试的gem 5周期精确模拟结果进行了比较。平均绝对误差小于5%,而对于四个L2缓存候选者,每个L2配置的评估时间可以加快近30倍。
2020-01-06 cs.AR
A Memory Controller with Row Buffer Locality Awareness for Hybrid Memory Systems
非易失性存储器(NVM)是一类有前途的可扩展存储器技术,可以在相同的成本点上提供比DRAM更高的容量。遗憾的是,NVM的访问延迟和能量通常高于DRAM,而NVM的耐久性较低。许多DRAM-NVM混合存储器系统使用DRAM作为NVM的高速缓存,以实现DRAM的低访问延迟、低能量和高耐久性,同时利用NVM的大容量。混合存储器系统的一个关键问题是在DRAM中缓存什么数据,以最好地利用每种技术的优点,同时尽可能避免每种技术的缺点。我们提出了一种新的存储器控制器的设计,提高混合存储器的性能和能源效率。我们观察到DRAM和NVM组都采用行缓冲器,行缓冲器充当最近访问的存储器行的高速缓存。作为行缓冲器命中的访问在DRAM和NVM两者中引起类似的延迟(和能量消耗),而作为行缓冲器未命中的访问在NVM中比在DRAM中引起更长的延迟(和更高的能量消耗)。为了利用这一点,我们设计了一个策略,高速缓存频繁地在NVM行缓冲区到DRAM中的未命中的重复使用的数据。我们的策略跟踪NVM中最近使用的行的行缓冲器未命中计数,并在DRAM中缓存预测将引起频繁的行缓冲器未命中的行。我们提出的政策还考虑到高写延迟的NVM,除了行缓冲区的地方,更有可能的地方写密集的页面在DRAM中,而不是NVM。
2018-04-30 cs.AR
Inter-Set Correlation-Aware Replacement Policy for Energy Efficient RTM-based Caches
Shahid Beheshti University(沙希德·贝赫什提大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
研究针对基于RTM缓存因串行访问致移位开销大的问题,提出集间相关性感知的数据放置和替换方案,通过智能分组相关块减少移位开销与缓存能耗,经模拟验证效果显著且扩展性强。
2026-07-21 cs.AR cs.ET
TLB and Pagewalk Performance in Multicore Architectures with Large Die-Stacked DRAM Cache
在这项工作中,我们研究的开销的虚拟到物理地址转换的处理器架构,如x86-64,实现分页的虚拟内存使用的基数树,在硬件中行走。翻译后备缓冲区对系统性能至关重要,特别是当应用程序需要更大的内存占用和采用虚拟化时;然而,TLB未命中的成本可能导致多次内存访问以检索翻译。已经引入了对超页的体系结构支持以增加TLB命中,但是受到操作系统查找连续内存的能力的限制。许多先前的研究已经提出了TLB设计,以降低未命中率和减少页面遍历开销,但是,这些研究已经建模的行为分析。此外,为了避免大内存工作负载和虚拟化的分页开销,直接段使用段寄存器映射进程线性虚拟地址空间的一部分,尽管需要一些应用程序和操作系统修改。最近发展的裸片堆叠DRAM技术承诺了高带宽和大的最后一级高速缓存,在100字节的数量级,更接近处理器。对于这样大的缓存,可以在不引起TLB故障的情况下访问的数据量-TLB的范围是不够的。TLB位于数据访问的关键路线上,并且引起昂贵的页面遍历可能会阻碍系统性能,特别是当正在访问的数据是LLC中的缓存命中时。因此,我们有兴趣探索新的地址转换机制,相称的堆叠DRAM的大小和延迟。通过使用基于QEMU的MARSSx 86全系统模拟器精确模拟多个多级地址转换结构,我们使用多编程和多线程工作负载结合大型LLC对TLB进行了详细研究。
2020-02-03 cs.AR
Making Belady-Inspired Replacement Policies More Effective Using Expected Hit Count
内存密集型工作负载处理大量数据,这些数据无法被现代处理器的末级缓存(LLC)捕获。因此,处理器会遇到频繁的片外未命中,因此,失去了显着的性能潜力。减少芯片外未命中的数量的一种方法是通过在LLC中使用行为良好的替换策略。现有的处理器采用最近最少使用(LRU)策略的变体来确定用于替换的牺牲品。不幸的是,有一个很大的差距,LRU提供和Belady的MIN,这是最佳的更换政策。Belady的MIN需要选择具有最长重用距离的受害者,因此,由于需要知道未来,因此是不可行的。因此,受Belady启发的替换策略使用Belady的MIN来导出一个指标,以帮助他们选择替换的受害者。在这项工作中,我们表明,在相当多的情况下,在最先进的贝拉迪启发的替换政策中使用的指标在挑选受害者时并不具有决定性,因此,该政策必须依赖于标准度量(例如,近因或频率)来挑选受害者,这是低效的。我们观察到,存在很强的相关性,在同一区域的内存中的缓存块的命中计数时,Belady的MIN是替换策略。利用这一观察,我们提出了一个预期的命中计数指标的内存区域,并使用它来改善受害者选择机制的Belady启发的替换政策时,主要指标是不决定性的。我们的建议提供了一个5.2\%的性能提高基线LRU和优于鹰眼,这是最先进的更换政策。
2018-08-15 cs.AR
Simple DRAM and Virtual Memory Abstractions to Enable Highly Efficient Memory Systems
在大多数现代系统中,存储器子系统在各种资源处以多个不同粒度被管理和访问。我们观察到,这样的多粒度管理的内存子系统中的显着的低效率的结果。具体地,我们观察到1)页面粒度虚拟内存不必要地触发大内存操作,以及2)现有的高速缓存行粒度内存接口对于执行批量数据操作和表现出差的空间局部性的操作是低效的。为了解决这些问题,本文提出了一系列的技术。首先,我们提出了页面覆盖,一个框架增强了现有的虚拟内存框架的能力,以跟踪一个新版本的一个子集的高速缓存行在每个虚拟页面。我们表明,这种扩展是强大的,通过展示它的好处在一些应用程序。其次,我们表明,DRAM可用于执行更复杂的操作,而不仅仅是存储数据。我们提出了行克隆,一种机制来执行批量数据复制和初始化完全内部的DRAM,和伙伴RAM,一种机制来执行批量逐位操作使用DRAM。这两种技术都实现了相应操作效率的数量级改进。第三,我们提出了聚集分散DRAM,一种技术,利用DRAM组织有效地收集/分散值与2的权力跨越访问模式。对于这些访问模式,GS-DRAM实现了接近理想的带宽和缓存利用率,而不会增加从内存中获取数据的延迟。最后,我们提出了脏块索引,一种新的跟踪脏块的方法。除了提高批量数据一致性的效率外,DBI还有几个应用,包括高性能内存调度、高效缓存查找旁路和支持异构ECC。
2016-05-20 cs.AR
AWRP: Adaptive Weight Ranking Policy for Improving Cache Performance
由于计算机内存和处理器之间的性能差异很大,因此虚拟内存管理对系统性能起着至关重要的作用。高速缓冲存储器是一种快速存储器,用于补偿存储器和处理器之间的速度差异。本文提出了一种自适应替换策略,该策略具有开销小、性能好、易于实现等优点。仿真结果表明,该算法的性能优于最近最少使用算法(LRU)、先进先出算法(FIFO)和自适应时钟替换算法(CAR)。
2011-07-25 cs.AR cs.PF
The complexity gap in the static analysis of cache accesses grows if procedure calls are added
高速缓存访问的静态分析包括正确地预测哪些访问是命中或未命中。虽然有很好的精确和近似分析的缓存实现最近最少使用(LRU)的替换策略,这样的分析是很难找到其他替换策略。一个理论上的解释是:对于一个适当的设置的分析控制流图,缓存分析是PSPACE完全的所有常见的替换策略(FIFO,PLRU,NMRU),除了LRU,它只是NP完全的。在本文中,我们表明,如果过程调用添加到控制流,那么差距扩大:分析仍然是NP完全的LRU,但成为EXPTIME完全的其他三个政策。为此,我们改进了早期的结果的复杂性,可达性问题的布尔程序与过程调用。此外,对于LRU策略,我们推导出一个回溯算法,以及使用它作为最后的手段后,其他分析都未能得出结论的方法。
2022-01-31 cs.AR cs.CC cs.FL
System measurement of Intel AEP Optane DIMM
近年来,内存墙已成为计算机系统的一个巨大性能瓶颈。为了克服这个问题,非易失性主存储器(NVMM)技术已经被广泛讨论,以提供更大的主存储器容量。去年,英特尔发布了AEP Optane DIMM,它提供了数百GB的容量,作为传统DRAM内存的有希望的替代品。但由于AEP的大多数关键参数并不对用户开放,因此有必要了解它们,因为它们将指导NVMM进一步研究的方向。在本文中,我们专注于测量性能和架构特点的AEP DIMM。同时,本文还对DRAM-AEP混合存储系统的重要组成部分DRAM Cache的设计进行了探讨。因此,我们估计的写延迟的AEP DIMM尚未被准确测量。同时,我们也发现目前DRAM快取的设计参数,例如标签组织、快取关联性以及集合索引映射。所有这些特性都是首次发表在学术论文上,这对未来的NVMM优化有很大的帮助。
2020-09-30 cs.AR
Abusing Cache Line Dirty States to Leak Information in Commercial Processors
高速缓存已被用于构建各种类型的隐蔽和侧通道来泄漏信息。大多数现有的高速缓存通道利用高速缓存命中和高速缓存未命中之间的定时差。然而,我们引入了一个新的和更广泛的分类缓存隐蔽通道攻击:命中+未命中,命中+命中,和未命中+未命中。我们强调,在不同的状态下,高速缓存线的高速缓存未命中可能有更显着的时间差,这些可以被用作定时通道。基于这种分类,我们提出了一种新的稳定和隐形的Miss+Miss缓存通道。写回高速缓存广泛部署在现代处理器中。本文详细介绍了一种方法,在该方法中,可以使用替换延迟差异来构建基于时间的通道(称为WB通道),以泄漏回写缓存中的信息。发送方对高速缓存行的任何修改都将其设置为脏状态,并且接收方可以通过测量替换该高速缓存集的延迟来观察这一点。我们还演示了如何利用缓存集中不同数量的脏缓存行,以提高传输带宽的符号编码多个位。商业系统中WB信道的峰值传输带宽可以在发送器和接收器之间没有共享存储器的超线程设置中每个高速缓存集在1300和4400 kbps之间变化。与大多数现有的高速缓存通道(其总是针对特定的存储器地址)相比,新的WB通道关注于高速缓存组和高速缓存线状态,使得通道难以被核心上的其他进程干扰,并且它们仍然可以使用随机替换策略在高速缓存中工作。我们还从缓存加载数量和缓存未命中率的角度分析了WB通道的隐蔽性。我们讨论和评估可能的防御措施。最后讨论了各种形式的侧信道攻击。
2022-04-26 cs.AR cs.CR
Writes Hurt: Lessons in Cache Design for Optane NVRAM
英特尔OptaneTM DC持久内存驻留在内存总线上,访问延迟接近DRAM。采用它的一个途径是使用它来代替持久性存储;另一个途径是使用它作为DRAM的更便宜和更密集的扩展。为了实现后一个目标,我们提出了一个易失性Optane NVRAM缓存的设计,作为MongoDB底层存储引擎中的一个组件。在我们的设计中的主要创新是一个新的缓存准入政策。我们发现,在Optane NVRAM上,以其有限的写入吞吐量而闻名,写入的存在不成比例地影响读取的吞吐量,比DRAM上的影响更大。因此,不加区别地接纳新数据(并因此生成写入)的接纳策略严重限制了数据检索的速率,并导致缓存整体性能极差。我们设计了一个准入政策,平衡的准入率与使用动态观察到的工作负载的特性的查找率。我们的实现在所有情况下都优于OpenCAS(一种现成的基于Optane的块缓存),并且在数据库大小超过可用NVRAM的情况下优于Intel Memory Mode。我们的缓存是从其余的存储引擎解耦,并使用通用指标来指导其准入政策,因此我们的设计可以很容易地在其他系统中采用。
2022-05-24 cs.AR cs.DB
Reuse Distance-based Copy-backs of Clean Cache Lines to Lower-level Caches
缓存在缩小CPU和主存之间的性能差距方面起着至关重要的作用。现代多核CPU通常采用多级缓存层次结构,通过该结构,最近和频繁使用的数据被维护在每个核的本地私有缓存中,而所有核共享最后一级缓存(LLC)。对于包含性高速缓存,在较高级别高速缓存中替换的干净高速缓存行不一定被复制回较低级别,因为包含性意味着它们存在于较低级别中。对于当今被Intel、AMD和ARM广泛使用的独占和非包含高速缓存,不加区别地将所有或不将替换的干净高速缓存行复制回较低级别不会违反独占性和非包含性定义。我们已经进行了定量研究,并发现,复制回所有或没有干净的高速缓存线,以较低级别的高速缓存的排他缓存需要次优的性能。其原因是,只有一部分缓存线将被重用,而其他人变成死在长期运行。这种观察促使我们选择性地将一些干净的高速缓存行复制回独占或非独占高速缓存架构中的LLC。我们重新讨论了高速缓存线的重用距离的概念。简而言之,具有较短重用距离的干净高速缓存行被复制回较低级别高速缓存,因为它可能在不久的将来被重新引用,而具有长得多的重用距离的高速缓存行将被丢弃或发送到存储器,如果它们是脏的。我们已经实施和评估了我们的建议与非易失性(STT-MRAM)有限责任公司。使用gem 5和SPEC CPU 2017基准测试的实验结果表明,平均而言,我们的建议比最近最少使用(LRU)替换策略(为STT-MRAM LLC复制所有干净的高速缓存行…
2021-05-30 cs.AR
NVMM cache design: Logging vs. Paging
针对NVMM兼具字节可寻址性与持久性的特性,该研究构建了页式NVPages和日志式NVLog两种NVMM缓存机制,量化对比了二者的优劣,为充分发挥NVMM潜力的缓存设计提供参考。
2023-05-03 cs.AR cs.OS
KVNAND: Efficient On-Device Large Language Model Inference Using DRAM-Free In-Flash Computing
KVNAND通过无DRAM闪存计算实现高效设备端大语言模型推理,解决KV缓存存储问题,提升性能并减少资源消耗。
2025-12-03 cs.AI cs.AR cs.ET
Hardware-Software Co-design for 3D-DRAM-based LLM Serving Accelerator
Peking University(北京大学);Xi’an UniIC Semiconductors(西安联芯集成电路);Houmo AI(厚墨智能);HKUST(香港科技大学)
Helios通过软硬件协同设计,优化LLM服务加速器的动态KV缓存管理和分布式内存抽象,实现3.25倍加速和3.36倍能效提升。
2026-03-05 cs.AR
Bridging LLM Serving and CXL-SSDs with Chunk-Aware KV Cache Management
Sogang University(西江大学);Samsung Electronics Co.(三星电子公司);ETRI(韩国电子通信研究院)
提出LM-CXD,一种针对LLM前缀缓存优化的CXL-SSD,通过块感知KV缓存管理、窗口预取和逐层流水线,显著降低TTFT,接近本地DRAM性能。
2026-09-24 cs.AI cs.AR cs.ET
CHiRP: Control-Flow History Reuse Prediction
Computer Science and Engineering Texas A&M University(德克萨斯农工大学计算机科学系);Intel Labs(英特尔实验室)
本文提出面向TLB的预测性替换策略CHiRP,利用控制流历史签名降低缺失率,在1024条目L2 TLB上平均减少28.21%的MPKI,优于现有策略。
2026-10-07 cs.AR
Improving the Representativeness of Simulation Intervals for the Cache Memory System
针对现有仿真区间未充分考虑缓存行为易致性能评估偏差的问题,提出基于末级缓存活动的仿真策略,在仿真时间基本不变的前提下提升缓存行为代表性与评估公平性。
2024-02-01 cs.AR
BackCache: Mitigating Contention-Based Cache Timing Attacks by Hiding Cache Line Evictions
本文提出软硬件协同设计 BackCache,利用全相联备份缓存隐藏 L1 数据缓存行驱逐,并结合 RURP 与动态备份缓存缩放机制缓解缓存计时攻击,理论分析和 gem5 评估表明其安全有效且性能开销较低。
2024-06-12 cs.AR cs.CR
MIRAGE: Mitigating Conflict-Based Cache Attacks with a Practical Fully-Associative Design
共享处理器高速缓存易受基于冲突的侧信道攻击的攻击,其中攻击者可以通过使用高速缓存集冲突驱逐受害者高速缓存行来监视受害者的访问模式。最近的缓解措施提出了地址到高速缓存行的随机映射,以混淆集合冲突的位置。然而,这些都是脆弱的新的攻击,发现冲突的地址集,尽管这样的缓解,因为这些设计选择驱逐候选人从一个小的一组冲突线。本文介绍了幻影,一个实用的设计为一个完全关联的高速缓存,其中驱逐候选人是随机选择的所有行驻留在高速缓存,是免疫设置冲突。在大型共享高速缓存(包含数万个高速缓存行)中实现这种设计的关键挑战是高速缓存查找的复杂性,因为幼稚的设计可能需要搜索所有驻留行。Mirage实现了完全关联性,同时通过解耦放置和替换来保留实际的集合关联查找,使用基于指针的从标记存储到数据存储的间接,允许新安装的地址全局驱逐任何随机驻留行的数据。为了消除集合冲突,Mirage在倾斜关联标记存储设计中提供额外的无效标记,其中可以在没有集合冲突的情况下安装行,以及负载感知倾斜选择策略,该策略保证具有无效标记的集合的可用性。我们的分析表明,Mirage在整个系统生命周期内提供了全关联缓存的全局驱逐属性(违反全关联性,即集合冲突,在10^4到10^17年内发生不到一次),从而提供了对任何驱逐集合发现和任何潜在的基于冲突的攻击的原则性防御。与非安全缓存相比,Mirage的速度较慢(2%),存储空间增加17 - 20%。
2021-03-24 cs.AR cs.CR
ICGMM: CXL-enabled Memory Expansion with Intelligent Caching Using Gaussian Mixture Model
本文提出 ICGMM,利用高斯混合模型在 FPGA 硬件上直接优化 CXL 内存扩展中的缓存与逐出策略,相比 LRU 和 LSTM 方法显著降低缓存未命中率与访问延迟,且硬件资源开销更少。
2024-08-10 cs.AR cs.ET cs.SY