Exploiting Decompression Latency for Covert Channels in Inter-Line-Compressed LLCs
针对 XOR 缓存中解压缩延迟不对称性，提出隐蔽信道攻击，利用压缩状态编码比特，实现 2.9 Mbps 带宽，较 Prime+Probe 提升 13.1 倍。
2026-09-24 cs.AR
FIGARO: Improving System Performance via Fine-Grained In-DRAM Data Relocation and Caching
DRAM主存储器由于高访问延迟而成为许多应用的性能瓶颈。DRAM内缓存通过使用DRAM的小而快的区域来增加常规延迟DRAM来减轻这种延迟，这些区域用作DRAM的常规延迟区域中保存的数据的缓存。虽然有效的DRAM内高速缓存可以允许从快速DRAM区域服务大部分存储器请求，但是延迟节省通常受到用于将数据的副本重新定位到快速区域中和从快速区域重新定位出来的低效机制的阻碍。现有的DRAM内高速缓存具有两个低效率的来源：（1）数据重定位粒度是DRAM的整个多字节行;以及（2）因为重定位延迟随着慢区域与快区域之间的物理距离而增加，所以多个快区域在慢区域之间物理地交织以减少重定位延迟，从而导致增加的硬件面积和制造复杂性。我们提出了一个新的基板，FIGARO，使用现有的共享全局缓冲区的DRAM银行内的子阵列之间提供支持，在一个单一的高速缓存块的粒度跨子阵列的DRAM数据重新定位。FIGARO在DRAM组内具有与距离无关的延迟，并且避免了对DRAM的复杂修改。使用FIGARO，我们设计了一个细粒度的DRAM缓存称为FIGCache。FIGCache的关键思想是在DRAM的指定区域中仅缓存不同DRAM行的小的、频繁访问的部分。通过只缓存每行中预期在不久的将来会被访问的部分，我们可以将更多频繁访问的数据打包到FIGCache中，并且可以从DRAM中的额外行命中中受益。我们的评估表明，FIGCache将使用…
2020-09-17 cs.AR
A Technique for Write-endurance aware Management of Resistive RAM Last Level Caches
由于SRAM器件的高速缓存大小和大泄漏消耗的增加，常规SRAM高速缓存对处理器功耗有显著贡献。最近，研究人员已经使用非易失性存储器设备来设计高速缓存，因为它们提供高密度、相当的读取延迟和低泄漏功耗。然而，它们的高写入延迟可能会增加执行时间，从而增加泄漏能耗。而且，由于它们的写入耐久性小，所以传统的节能技术可能进一步加剧写入变化的问题，从而减少它们的寿命。在本文中，我们提出了一种非易失性缓存的缓存节能技术，它也试图提高他们的生命周期，使写均匀分布到缓存。我们的技术使用动态缓存重新配置来调整缓存大小，以满足程序的要求，并关闭剩余的缓存，以节省能源。使用x86-64模拟器，SPEC 2006基准和连续RAM LLC（最后一级缓存）进行的微体系结构模拟表明，在8 MB的基线缓存，我们的技术节省了17.55%的内存子系统（最后一级缓存+主内存）的能量，并提高了1.33倍的寿命。在相同的连续RAM基线上，没有高速缓存重新配置的类似面积的SRAM导致186.13%的能量损失。
2014-04-30 cs.AR
Exploring DRAM Cache Prefetching for Pooled Memory
针对内存池化带来的访问延迟升高问题，提出将FAM子页块预取到本地DRAM缓存的系统，结合两种优化方案缓解带宽争用，经多基准测试验证可有效提升IPC。
2024-06-20 cs.AR
Holistic Management of the GPGPU Memory Hierarchy to Manage Warp-level Latency Tolerance
在现代GPU架构中，线程束中的所有线程都以锁步方式执行相同的指令。对于内存指令，这可能会导致内存发散：一些线程的内存请求被提前服务，而剩余的请求则会导致长时间的延迟。这种发散会使线程束停止，因为它无法执行下一条指令，直到来自当前指令的所有请求完成。在这项工作中，我们提出了三个新的观察。首先，GPGPU线程束在共享缓存中表现出异构的内存发散行为：一些线程束的大部分请求在缓存中命中，而其他线程束的大部分请求未命中。其次，线程束在长时间的执行中保持相同的发散行为。第三，进入共享缓存的请求可能导致数百个周期的排队延迟，加剧了内存发散的影响。我们提出了一组技术，统称为内存发散校正（MeDiC），减少内存发散和缓存排队的负面性能影响。MeDiC在15个不同的GPGPU应用程序中通过最先进的GPU缓存管理机制提供了21.8%的平均加速和20.1%的能效。
2018-04-30 cs.AR
Taming Process Variations in CNFET for Efficient Last Level Cache Design
碳纳米管场效应晶体管（CNFET）因其更高的速度和能效而成为CMOS晶体管的一种有前途的替代品，这使得该技术特别适合于构建耗能的末级缓存（LLC）。然而，在CNFET的工艺变化（PV）所造成的不完美的制造导致大的时序变化和最坏情况下的时序显着限制LLC的操作速度。特别是，我们观察到基于CNFET的缓存延迟分布与LLC布局密切相关。针对CNT生长方向分别与缓存路径方向和缓存组方向对齐的两种典型LLC布局，我们提出了可变感知组对齐（VASA）缓存和可变感知路径对齐（VAWA）缓存，并结合相应的缓存优化（如数据重排和页面映射），实现了对常用数据的低延迟缓存。实验结果表明，在两种不同的CNFET版图上，优化后的LLC与基线设计相比，平均访问延迟分别降低了32%和45%，整体性能分别提高了6%和9%，能耗分别降低了4%和8%.此外，在统一模型中考虑了架构引起的延迟变化和PV引起的延迟变化，我们扩展了基于CNFET的NUCA的VAWA和VASA缓存设计，与简单的变化感知NUCA相比，所提出的NUCA实现了显着的性能改进和节能。
2021-08-11 cs.AR cs.ET
Mitigating Read-disturbance Errors in STT-RAM Caches by Using Data Compression
由于其高密度和接近SRAM的读取延迟，自旋转移力矩RAM（STT-RAM）被认为是用于设计大型末级高速缓存（LLC）的最有前途的新兴存储器技术之一。然而，在深亚微米区域，STT-RAM显示读取干扰错误（RDE），从而读取操作可能会修改存储的数据值，这对STT-RAM缓存的性能和可靠性提出了严重的威胁。在本文中，我们提出了一种技术，名为SHIELD，以减轻RDE STT-RAM LLC。SHIELD使用数据压缩来减少从STT-RAM块读取操作的数量，以避免RDE，并减少在写入和恢复操作期间写入缓存的位数。实验结果表明，SHIELD提供了显着的性能和能源效率的改善。SHIELD比之前的两种RDE缓解技术消耗更少的能量，即高电流恢复所需的读取（HCRR，也称为读取后恢复）和低电流长延迟读取（LCLL），甚至是理想的无RDE STT-RAM缓存。
2017-11-18 cs.AR
Banshee: Bandwidth-Efficient DRAM Caching Via Software/Hardware Cooperation
将DRAM与处理器放置在同一封装上能够实现比常规封装外DRAM高几倍的内存带宽。然而，封装内DRAM的延迟并不比封装外DRAM的延迟低。封装内DRAM的一个有前途的用途是作为一个大的高速缓存。不幸的是，大多数先前的DRAM高速缓存设计主要针对命中延迟进行优化，并且不将片外带宽效率视为第一类设计约束。因此，正如我们在本文中所示，这些设计是次优的封装DRAM使用。我们提出了一种新的DRAM缓存设计，女妖，优化封装和封装外DRAM的带宽效率，而不会降低访问延迟。关键思想是消除封装内DRAM带宽开销，由于昂贵的标签访问通过虚拟内存机制，并纳入一个带宽感知的基于频率的更换策略，偏向于减少不必要的流量到封装外DRAM。我们广泛的评估表明，Banshee提供了显着的性能改善和交通减少国家的最先进的延迟优化的DRAM缓存设计。
2017-04-10 cs.AR
AgileWatts: An Energy-Efficient CPU Core Idle-State Architecture for Latency-Sensitive Server Applications
AgileWatts通过电源门控、上下文保留、缓存睡眠模式和ADPLL等创新，大幅降低延迟敏感型服务器应用在深度空闲状态下的能耗，同时保持极低性能损失。
2025-02-25 cs.AR
Hermes: Accelerating Long-Latency Load Requests via Perceptron-Based Off-Chip Load Prediction
ETH Zürich（苏黎世联邦理工学院）；Intel Processor Architecture Research Lab（英特尔处理器架构研究实验室）；LIRMM, Univ. Montpellier, CNRS（蒙彼利埃大学LIRMM实验室，CNRS）
提出Hermes技术，利用感知器预测片外负载请求，投机性地直接从主存获取数据，同时并行访问缓存层次，从而消除片外负载关键路径上的片上缓存访问延迟，显著提升处理器性能。
2026-06-05 cs.AR cs.LG
DCI: A Coordinated Allocation and Filling Workload-Aware Dual-Cache Allocation GNN Inference Acceleration System
针对GNN推理中数据加载冗余、传输低效及预处理时间长等问题，提出负载感知双缓存分配系统DCI，通过预采样阶段分配缓存与轻量级填充算法优化加载，实现显著端到端推理加速并大幅降低预处理时间。
2025-03-03 cs.AR
Reducing Solid-State Drive Read Latency by Optimizing Read-Retry
具有高级多级单元技术的3D NAND闪存提供高存储密度，但是由于大量的读取重试操作而遭受显著的性能降级。虽然读重试机制对于确保现代NAND闪存的可靠性是必不可少的，但是它可以通过引入利用调整的读参考电压值再次读取目标页的多个重试步骤来显著增加SSD的读延迟。通过对160个真实3D NAND闪存芯片的读取机制和严格表征的详细分析，我们发现了通过利用现代NAND闪存SSD中广泛采用的两个先进功能来减少读取重试延迟的新机会：1）CACHE READ命令和2）强大的ECC引擎。首先，我们可以使用高级CACHE READ命令来减少读取重试延迟，该命令允许NAND闪存芯片以流水线方式执行连续读取。其次，在最后的重试步骤中存在大的ECC能力裕度，其可用于减少芯片级读取延迟。基于我们的新发现，我们开发了两种新的技术，有效地减少读重试延迟：1）流水线读缓冲器（PR $^2$）和2）自适应读缓冲器（AR $^2$）。PR $^2$通过使用CACHE READ命令对连续重试步骤进行流水线处理，减少了读重试操作的延迟。AR $^2$可根据决定ECC能力裕度的当前工作条件动态减少芯片级读取延迟，从而缩短每个重试步骤的延迟。我们使用十二个真实世界的工作负载进行的评估表明，我们的建议将SSD的响应时间提高了31.5%（平均17%），超过了最先进的基线，只需对SSD控制器进行很小的更改。
2021-03-25 cs.AR
Non-Monotonic Latency in Apple MPS Decoding: KV Cache Interactions and Execution Regimes
Independent Researcher（独立研究者）
研究发现Apple MPS后端在解码过程中出现非单调延迟现象，通过多个模型验证延迟突增与缓存交互的关系，揭示硬件执行模式对长上下文推理的影响。
2026-05-14 cs.AR cs.CL cs.LG
Enabling High-Capacity, Latency-Tolerant, and Highly-Concurrent GPU Register Files via Software/Hardware Cooperation
图形处理单元（GPU）采用大型寄存器文件来容纳所有活动线程并加速上下文切换。不幸的是，寄存器文件是未来GPU的可扩展性瓶颈，这是由于长访问延迟、高功耗和大硅面积供应。先前的工作提出了分层寄存器文件，以减少寄存器文件的功耗，通过缓存寄存器在一个较小的寄存器文件缓存。不幸的是，由于寄存器堆高速缓存中的低命中率，这种方法并没有改善寄存器访问延迟。在本文中，我们提出了延迟容忍寄存器文件（LTRF）架构，以实现低延迟的两级分层结构，同时保持低功耗。我们观察到，编译时间间隔分析使我们能够将GPU程序执行划分为间隔，并准确估计每个间隔内的线程束聚合寄存器工作集。LTRF的关键思想是在软件控制下，在每个时间间隔的开始，将估计的寄存器工作集从主寄存器堆预取到寄存器堆缓存，并将预取延迟与其他线程束的执行重叠。我们观察到，寄存器库冲突，而预取寄存器可以大大降低LTRF的有效性。因此，我们设计了一个编译时寄存器重新编号技术，以减少寄存器库冲突的可能性。我们的实验结果表明，LTRF能够实现高容量但长延迟的主GPU寄存器文件，为各种优化铺平了道路。作为一个优化示例，我们使用新兴的高密度高延迟内存技术实现了主寄存器文件，实现了8倍的容量，并将整体GPU性能提高了34%。
2020-10-19 cs.AR
Predictable Sharing of Last-level Cache Partitions for Multi-core Safety-critical Systems
末级缓存（LLC）分区是一种在多核安全关键系统中，当核访问共享LLC时提供时间隔离和低最坏情况延迟（WCL）界限的技术。高速缓存分区的典型方法涉及将单独的分区分配给不同的核。对这种方法的一个主要批评是它对高速缓存存储的利用率很低。如今集成大量内核的趋势加剧了这个问题，因此我们不得不考虑使用共享LLC分区来进行有效部署。这项工作提出了一种方法，在多个核心之间共享LLC分区，同时能够提供低WCL界限。
2022-04-04 cs.AR
Choreographer: A Full-System Framework for Fine-Grained Tasks in Cache Hierarchies
本文提出Choreographer仿真框架，通过集成详细的gem5硬件栈和Linux软件栈，实现对缓存层次结构中细粒度加速器的整体系统级评估，并在预取器和快速排序加速器案例中验证了其性能优化能力。
2025-10-30 cs.AR
A Survey of Novel Cache Hierarchy Designs for High Workloads
传统的管芯上三级缓存层次结构设计非常常用，但也容易出现延迟，尤其是在2级（L2）缓存处。我们讨论了三种不同的方法来改进这种设计，以获得更好的性能。性能对于具有高工作负载的系统尤其重要。第一种方法建议完全消除L2，同时提出一种新的预取技术，第二种方法建议增加L2的大小，而最后一种方法主张实现光缓存。在仔细考虑了每种方法的性能增益和优缺点之后，我们发现最后一种方法是三种方法中最好的。
2021-01-24 cs.AR
The Fallacy of Independent Ceilings: Characterizing Coupled Load-Branch Stall Interaction
AMD（超威半导体）；University of Rhode Island（罗德岛大学）
本文提出共生停顿延迟（SSL）概念，通过联合加速比协同（JSS）和共生停顿机会（SSO）量化分支与缓存的耦合交互，构建了评估孤立上限是否低估联合性能的测量框架。
2026-08-13 cs.AR cs.PF
RevaMp3D: Architecting the Processor Core and Cache Hierarchy for Systems with Monolithically-Integrated Logic and Memory
ETH Zurich（苏黎世联邦理工学院）；MangoBoost；University of Toronto（多伦多大学）；POSTECH（浦项科技大学）
RevaMp3D通过移除共享缓存、优化流水结构、利用M3D内存等方法，提升处理器性能并降低能耗。
2026-08-18 cs.AR cs.DC
Latency Based Tiling
基于延迟的平铺通过三角循环测量未命中率缩放来近似确定缓存大小，从而在保持快速编译的同时最大化局部性，并在Rust中实现硬件无关、内存安全的平铺策略。
2025-09-26 cs.AR cs.PF cs.PL
Read-Tuned STT-RAM and eDRAM Cache Hierarchies for Throughput and Energy Enhancement
随着片上高速缓存存储层次结构的容量和复杂度的增加，最后一级高速缓存（LLC）对频繁重复的关键负载的服务成本已成为一个主要问题。如果没有独立的指令要执行，则处理器在等待访问存储在LLC中的高速缓存块中的数据时可能会停顿相当长的时间间隔。为了提供加速服务的关键负载请求从LLC，这项工作集中在利用额外的容量，取代基于SRAM的L2自旋转移扭矩随机存取存储器（STT-RAM），以适应频繁访问的高速缓存块在独占读取模式，有利于减少整体读取服务时间。我们提出的技术分区L2缓存到两个STT-RAM的安排，具有不同的写性能和数据保留时间。保留放松的STT-RAM阵列被用来有效地处理常规的L2高速缓存请求，而L2中的高保留STT-RAM阵列被选择用于通过引起用于数据保留的可忽略的能量消耗来维持来自LLC的重复读取访问的高速缓存块。我们的实验结果表明，所提出的技术可以降低平均L2读未命中率的51.4%，平均增加11.7%的IPC在PARSEC基准套件，同时显着降低总L2的能源消耗相比，传统的基于SRAM的L2设计。
2016-08-06 cs.AR cs.ET
CacheFit: The Rising Cost of Cache Replacement and Constraint-Driven Redesign of Last-Level Cache Replacement Policies
North Carolina State University（北卡罗来纳州立大学）
CacheFit是首个将电路级成本纳入搜索目标的LLC替换策略设计循环，应用于MPPPB和SHiP++后，生成的Fit-MPPPB和Fit-SHiP++可大幅降低硬件成本，同时保持或优化性能。
2026-10-09 cs.AR cs.PF
LQoCo: Learning to Optimize Cache Capacity Overloading in Storage Systems
Huawei Data Storage and Machine Vision Product Line（华为数据存储与机器视觉产品线）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；MIRA Lab, USTC（中国科学技术大学MIRA实验室）
缓存在存储系统中起着维持高性能和稳定性能（即高吞吐量、低尾延迟和吞吐量抖动）的重要作用。现有的基于规则的缓存管理方法，加上工程师的手动配置，不能满足不断增长的需求，随着时间的变化的工作负载和复杂的存储系统，导致频繁的缓存过载。在本文中，我们首次提出了一种轻量级的学习为基础的缓存带宽控制技术，称为\LQoCo，它可以自适应地控制缓存带宽，从而有效地防止缓存过载存储系统。在真实系统上进行的大量不同负载的实验表明，LQoCo具有较强的适应性和快速学习能力，能够适应不同的负载，有效地控制缓存带宽，从而显著提高存储性能（例如，将吞吐量增加10 - 20%，并将吞吐量抖动和尾部延迟分别减少2 - 6倍和1.5 - 4倍，与两种代表性的基于规则的方法相比）。
2022-03-21 cs.AI cs.AR cs.SY
SCART: Predicting STT-RAM Cache Retention Times Using Machine Learning
本文提出SCART模型，利用机器学习基于易获取的SRAM统计信息预测STT-RAM缓存的保持时间，以最小化探索开销并优化延迟与能耗，实验显示其能显著降低延迟、能耗及探索开销。
2024-07-28 cs.AR cs.CY
Reducing Solid-State Drive Read Latency by Optimizing Read-Retry (Extended Abstract)
具有高级多级单元技术的3D NAND闪存提供高存储密度，但是由于大量的读取重试操作而遭受显著的性能降级。虽然读重试机制对于确保现代NAND闪存的可靠性是必不可少的，但是它可以通过引入利用调整的读参考电压值再次读取目标页的多个重试步骤来显著增加SSD的读延迟。通过对160个真实3D NAND闪存芯片的读取机制和严格表征的详细分析，我们发现了通过利用现代NAND闪存SSD中广泛采用的两个先进功能来减少读取重试延迟的新机会：1）CACHE READ命令和2）强大的ECC引擎。首先，我们可以使用高级CACHE READ命令来减少读取重试延迟，该命令允许NAND闪存芯片以流水线方式执行连续读取。其次，在最后的重试步骤中存在大的ECC能力裕度，其可用于减少芯片级读取延迟。基于我们的新发现，我们开发了两种新的技术，有效地减少了读重试延迟：1）流水线读缓存（PR $^2$）和2）自适应读缓存（AR $^2$）。PR $^2$通过使用CACHE READ命令对连续重试步骤进行流水线处理，减少了读重试操作的延迟。AR $^2$可根据决定ECC能力裕度的当前工作条件动态减少芯片级读取延迟，从而缩短每个重试步骤的延迟。我们使用十二个真实世界的工作负载进行的评估表明，我们的建议将SSD的响应时间提高了31.5%（平均17%），超过了最先进的基线，只需对SSD控制器进行很小的更改。
2021-03-12 cs.AR cs.DC
HALLS: An Energy-Efficient Highly Adaptable Last Level STT-RAM Cache for Multicore Systems
自旋转移力矩RAM（STT-RAM）由于其非易失性、低泄漏功率、高密度和快速读取速度而被广泛认为是存储层次结构中SRAM的有前途的替代品。STT-RAM的小特征尺寸对于通常消耗大面积硅管芯的末级高速缓存（LLC）是特别期望的。然而，长的写入延迟和高的写入能量仍然是在CPU高速缓存中实现STT-RAM的挑战。一种越来越流行的解决这一挑战的方法涉及通过放宽STT-RAM的数据保留时间来权衡非易失性以降低写入速度和写入能量。然而，为了最大限度地提高节能潜力，高速缓存配置，包括STT-RAM的保留时间，必须动态地适应执行应用程序的可变内存需求。在本文中，我们提出了一个高度适应性的最后一级STT-RAM缓存（HALLS），允许LLC的配置和保留时间，以适应应用程序的运行时执行要求。我们还提出了低开销的运行时调整算法，以动态地确定最佳（最低能量）的缓存配置和保留时间执行应用程序。与之前的工作相比，HALLS在四核系统中降低了60.57%的平均能耗，同时引入了边际延迟开销。
2019-05-18 cs.AR cs.DC cs.ET
Non-Uniform L2 Cache Latency Across the Streaming Multiprocessors of an NVIDIA L40
Bahçeşehir University（巴切希尔大学）
通过探测发现 NVIDIA L40 的 L2 缓存命中延迟在 142 个 SM 间变化达 52%，建立加性模型解释 87% 方差，并利用该物理指纹实现内核自定位和设备区分。
2026-06-23 cs.AR cs.CR
