Sectored DRAM: A Practical Energy-Efficient and High-Performance Fine-Grained DRAM Architecture
本文提出Sectored DRAM架构，通过细粒度数据传输和分区行激活降低DRAM能耗并提升性能，能耗最多降低33%、性能最多提升36%，芯片面积开销仅1.7%。
2024-06-09 cs.AR
Integrating DRAM Power-Down Modes in gem5 and Quantifying their Impact
在各种应用中，DRAM是整个系统功耗的重要贡献者，与片上存储器访问相比，DRAM每比特访问能量高出三个数量级。为了提高功率效率，DRAM技术结合了多种掉电模式，每种模式在可实现的功率节省与由于进入和退出延迟要求而导致的性能影响之间具有不同的权衡。这些低功耗模式以及进入和退出控制的准确建模对于分析具有不同存储器访问特性的控制器配置和工作负载之间的权衡至关重要。为了解决这个问题，我们将掉电模式集成到开源模拟器gem 5中的DRAM控制器模型中。这是第一个公开提供的具有DRAM掉电模式的全系统模拟器，为研究社区提供了一个用于广泛用例的DRAM功耗分析工具。我们验证的掉电功能与扫描测试，触发定义的内存访问特性。我们进一步评估模型与真正的HPC工作负载，说明低功耗功能集成到一个完整的系统模拟器的价值。
2018-03-20 cs.AR
HERMES: High-Performance RISC-V Memory Hierarchy for ML Workloads
针对机器学习工作负载的内存性能瓶颈，研究提出面向RISC-V架构的HERMES内存层次结构，集成带深度学习加速器专用通路的共享L3缓存与细粒度一致性协议，经仿真验证可为低延迟可扩展ML内存操作提供设计参考。
2025-03-24 cs.AR cs.PF
On Design Principles for Efficient Heterogeneous DRAM-PIM-GPU Systems
IBM Research（IBM 研究院）
该研究针对异构DRAM-PIM-GPU系统，通过系统评估OPT、Mamba2系列模型，揭示了三项设计原则，为内存加速LLM系统架构设计提供了指导。
2026-08-06 cs.AR cs.ET
Characterizing the impact of last-level cache replacement policies on big-data workloads
本研究针对图处理工作负载因内存访问不规则导致的高等待时间问题，分析其带来的挑战并评估了相关缓存替换策略对末级缓存与主存性能差距的缓解作用。
2023-05-11 cs.AR cs.DS
Per-Bank Memory Bandwidth Regulation for Predictable and Performant Real-Time System
The University of Kansas（堪萨斯大学）
本文提出基于银行的内存带宽调节方法，通过分析DRAM的银行级并行性，改进实时系统的性能和可预测性，实验表明该方法在对抗性银行竞争中提升了5.74倍的吞吐量。
2026-03-27 cs.AR
Understanding the Power Consumption of Modern High Bandwidth Memory: Experimental Analysis and Modeling Using Real HBM2 DRAM Chips
ETH Zurich（苏黎世联邦理工学院）；New York University（纽约大学）
本文通过真实HBM2芯片实验表征，揭示其功耗关键特性，设计高功耗访问模式，开发的HBM功耗模型预测精度远超现有模型，可用于HBM系统设计与验证。
2026-10-14 cs.AR cs.PF
Rank-Aware Dynamic Migrations and Adaptive Demotions for DRAM Power Management
现代DRAM架构允许在各个存储器列上的多个低功率状态，以用于高级功率管理。许多先前的研究已经利用了低功率状态的降级来节省能量。然而，大多数降级方案是在有限数量的预先选择的低功率状态上静态地执行的，并且对于不同的工作负载和存储器架构是次优的。更糟糕的是，空闲周期对于有效的功率状态转换来说通常太短，特别是对于存储器密集型应用。功率状态转换的错误决策会导致显著的能量和延迟损失。在本文中，我们提出了一种新的内存系统设计命名为RAMZzz与排名意识的节能优化，包括动态页面迁移和自适应降级。具体来说，我们组的页面具有类似的访问本地到相同的排名与动态页面迁移。等级有其热性：热等级保持忙碌以获得高利用率，而冷等级可以具有更长的空闲时间以进行功率状态转换。我们进一步发展自适应状态降级，考虑所有低功耗状态的每个等级和预测模型，以估计状态之间的断电超时。我们实验比较我们的算法与其他节能政策与周期准确的模拟。基准负载的实验表明，RAMZzz实现了显着改善能源延迟2和能源消耗比其他节能技术。
2014-09-19 cs.AR cs.OS cs.PF
Using ECC DRAM to Adaptively Increase Memory Capacity
现代DRAM模块通常配备有硬件纠错功能，特别是对于部署在大规模数据中心的DRAM，因为工艺技术扩展增加了这些设备对错误的敏感性。为了提供快速错误检测和校正，将纠错码（ECC）放置在DRAM模块中的附加DRAM芯片上。这个额外的芯片将DRAM模块的原始容量扩展了12.5%，但应用程序无法使用任何额外的容量，因为它专门用于为所有数据提供可靠性。实际上，有许多应用不需要针对其所有数据区域的这种强可靠性（例如，一些用户批处理作业在公共云上执行），并且可以替代地受益于使用额外的DRAM容量来存储额外的数据。我们在这项工作中的目标是提供额外的容量内的ECC DRAM模块的应用程序时，他们不需要高可靠性的纠错。在本文中，我们提出了容量和可靠性自适应存储器（CREAM），一种硬件机制，适用于错误校正DRAM模块，提供多级错误保护，并提供使用较弱的保护应用程序节省的容量。对于不需要强纠错的内存区域，我们要么不提供ECC保护，要么使用多位奇偶校验提供错误检测。我们评估了几种布局安排ECC DRAM中的数据在这些减少保护模式，考虑到各种权衡利用额外的芯片。我们的实验表明，CREAM提供的增加容量提高了23.0%的内存缓存工作负载的性能，并通过37.3%的商业Web搜索工作负载执行生产查询跟踪。此外，CREAM可以增加DRAM内的库级并行性，从而进一步提高性能。
2017-06-28 cs.AR
Memory Controller Design Under Cloud Workloads
这项工作研究了最先进的内存控制器设计在执行横向扩展工作负载时的行为。它考虑了内存调度技术，内存页管理策略，内存通道的数量，以及所使用的地址映射方案。实验测量表明：1）~最近提出的几种内存调度策略并不适合这些横向扩展工作负载。2）~相对简单的先准备先来先服务（FR-FCFS）策略表现一贯更好，以及3）~对于大多数研究的工作负载，更简单的先来先服务调度策略在FR-FCFS的1%以内。4）~增加存储器通道的数量提供了可以忽略不计的性能益处，例如，4通道与1通道相比，性能平均提高1.7%。5）大约77 - 90%的DRAM行激活在关闭之前仅被访问一次。这些观察结果可以指导未来针对横向扩展工作负载的存储器控制器的开发和优化。
2016-11-30 cs.AR
Reducing DRAM Access Latency by Exploiting DRAM Leakage Characteristics and Common Access Patterns
基于DRAM的存储器是造成系统性能瓶颈的关键因素，因为处理器速度大大超过DRAM延迟。在这篇论文中，我们开发了一种低成本的机制，称为ChargeCache，它可以更快地访问DRAM中最近访问的行，而不需要修改DRAM芯片。我们的机制是基于一个关键的观察，最近访问的行有更多的电荷，因此以下访问同一行可以更快地执行。为了利用这一观察结果，我们建议在内存控制器中的表中跟踪最近访问的行的地址。如果稍后的DRAM请求在该表中命中，则存储器控制器使用较低的定时参数，从而导致减少的DRAM延迟。在指定的持续时间之后，从表中删除行地址，以确保不会以较低的延迟访问泄漏过多电荷的行。我们评估了各种工作负载上的ChargeCache，并表明它为单核和多核系统提供了显着的性能和能源优势。
2016-09-23 cs.AR
Hardware-Software Co-design for 3D-DRAM-based LLM Serving Accelerator
Peking University（北京大学）；Xi’an UniIC Semiconductors（西安联芯集成电路）；Houmo AI（厚墨智能）；HKUST（香港科技大学）
Helios通过软硬件协同设计，优化LLM服务加速器的动态KV缓存管理和分布式内存抽象，实现3.25倍加速和3.36倍能效提升。
2026-03-05 cs.AR
DEER: Deep Runahead for Instruction Prefetching on Modern Mobile Workloads
针对移动负载前端停顿问题，提出软硬件协同设计的指令预取器DEER，通过profile分析提取元数据并利用硬件机制实现深度预取，显著降低L2指令缺失率并提升性能，同时大幅减少片上存储需求。
2025-04-29 cs.AR cs.PF
A gem5-based Simulation Framework for Computing-in-DRAM
TU Dresden（德累斯顿工业大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Paderborn University, Germany（帕德博恩大学）
针对计算型 DRAM 缺乏全应用仿真工具的问题，提出基于最新 gem5 的 gem5-CIMD 框架，扩展指令集至十六种 CIM 操作，实现子阵列感知映射与刷新建模，并公开源码。
2026-10-07 cs.AR cs.ET
Bandwidth-Effective DRAM Cache for GPUs with Storage-Class Memory
针对GPU内存容量限制，提出利用SCM和DRAM缓存，通过SCM感知旁路策略、可配置标签缓存和AMIL组织等优化，实现最高12.5倍性能提升和89.3%能耗降低。
2024-03-14 cs.AR
AccelForge: Comprehensive Modeling and Co-Design Framework for AI Accelerators
MIT（麻省理工学院）；NVIDIA（英伟达）
AccelForge是一个统一的AI加速器建模与协同设计框架，通过可组合模型、快速映射器和高性能Python实现，显著提升评估速度与易用性。
2026-09-11 cs.AR
Taming the Tail: NoI Topology Synthesis for Mixed DL Workloads on Chiplet-Based Accelerators
Indraprastha Institute of Information Technology Delhi（印度普拉斯塔信息技术学院德里）；Washington State University（华盛顿州立大学）；Microsoft Research（微软研究院）
针对异构芯粒加速器中内存突发传输导致NoI尾部延迟超标问题，提出干扰得分量化争用影响，构建多目标优化的PARL拓扑生成器，可在保持竞争力的平均吞吐量的同时将最坏情况减速降至1.2倍，满足SLA要求。
2025-10-28 cs.AI cs.AR cs.LG
TLB and Pagewalk Performance in Multicore Architectures with Large Die-Stacked DRAM Cache
在这项工作中，我们研究的开销的虚拟到物理地址转换的处理器架构，如x86-64，实现分页的虚拟内存使用的基数树，在硬件中行走。翻译后备缓冲区对系统性能至关重要，特别是当应用程序需要更大的内存占用和采用虚拟化时;然而，TLB未命中的成本可能导致多次内存访问以检索翻译。已经引入了对超页的体系结构支持以增加TLB命中，但是受到操作系统查找连续内存的能力的限制。许多先前的研究已经提出了TLB设计，以降低未命中率和减少页面遍历开销，但是，这些研究已经建模的行为分析。此外，为了避免大内存工作负载和虚拟化的分页开销，直接段使用段寄存器映射进程线性虚拟地址空间的一部分，尽管需要一些应用程序和操作系统修改。最近发展的裸片堆叠DRAM技术承诺了高带宽和大的最后一级高速缓存，在100字节的数量级，更接近处理器。对于这样大的缓存，可以在不引起TLB故障的情况下访问的数据量-TLB的范围是不够的。TLB位于数据访问的关键路线上，并且引起昂贵的页面遍历可能会阻碍系统性能，特别是当正在访问的数据是LLC中的缓存命中时。因此，我们有兴趣探索新的地址转换机制，相称的堆叠DRAM的大小和延迟。通过使用基于QEMU的MARSSx 86全系统模拟器精确模拟多个多级地址转换结构，我们使用多编程和多线程工作负载结合大型LLC对TLB进行了详细研究。
2020-02-03 cs.AR
Exploiting Row-Level Temporal Locality in DRAM to Reduce the Memory Access Latency
本文总结了发表在HPCA 2016 [51]上的ChargeCache的想法，并研究了这项工作的意义和未来的潜力。DRAM延迟仍然是系统性能的关键瓶颈。在这项工作中，我们开发了一种低成本的机制，称为ChargeCache，它可以更快地访问DRAM中最近访问的行，而无需修改DRAM芯片。我们的机制是基于一个关键的观察，最近访问的行有更多的电荷，因此以下访问同一行可以更快地执行。为了利用这一观察结果，我们建议在内存控制器中的表中跟踪最近访问的行的地址。如果稍后的DRAM请求在该表中命中，则存储器控制器使用较低的定时参数，从而导致减少的DRAM延迟。在指定的持续时间之后，从表中删除行地址，以确保不会以较低的延迟访问泄漏过多电荷的行。我们评估了各种工作负载上的ChargeCache，并表明它为单核和多核系统提供了显着的性能和能源优势。
2018-05-08 cs.AR
Towards Efficient LUT-based PIM: A Scalable and Low-Power Approach for Modern Workloads
本文提出基于LUT的PuM架构Lama，利用DRAM mat级并行性减少激活命令开销，支持8位运算且面积开销仅2.47%，并进一步提出LamaAccel加速器，在性能和能效上显著超越现有PuM架构、CPU、TPU和GPU。
2025-02-04 cs.AR
Prefetcher-based DRAM Architecture
处理器技术的进步使处理数据密集型工作负载变得容易，但限制主内存的进步造成了性能瓶颈。在DRAM中，随着单元密度的增加，DRAM访问延迟得到了改善，并且每位成本降低。但是DRAM数据传送率仍然落后于当前一代处理器的处理速度。由于基于硬件的内存改进一直在以较慢的速度进行，为了应对高端处理器，预测技术，替换策略等架构级改进是主要主题。在最近的研究领域中，数据预测是一个热门话题，因为正确的预测可以通过使用数据访问趋势和行为预先预测数据来减少多余的存储器访问量，从而提高性能。虽然预测技术已经在大多数计算机体系结构中实现，但我们建议在DRAM级体系结构（如TL-DRAM和CROW）中实现数据预测。这两种方法都将DRAM分配到不同的部分，这些部分包含更快的较小部分和包含大量数据但相对较慢的较大部分。我们希望在这些存储器部分之间使用数据预测，以将预测的数据传输到更快的部分，从而通过减少存储器访问时间来提高整体性能。
2021-05-21 cs.AR
Tiered-Latency DRAM: Enabling Low-Latency Main Memory at Low Cost
本文总结了在HPCA 2013上发表的分层延迟DRAM（TL-DRAM）的思想，并探讨了这项工作的意义和未来的潜力。DRAM的容量和每比特成本在历史上已经缩放以满足日益庞大和复杂的计算机系统的需要。然而，DRAM延迟几乎保持不变，使得存储器延迟成为当今系统中的性能瓶颈。我们观察到，高访问延迟不是DRAM固有的，而是为了降低每位成本而做出的权衡。为了减轻DRAM感测结构的高面积开销，商品DRAM通过称为DRAM的导线将许多DRAM单元连接到每个感测放大器。这些位线由于其长的长度而具有高寄生电容，并且该寄生电容是DRAM延迟的主要来源。专用的低延迟DRAM使用具有较少单元的较短位线，但由于较大的读出放大器面积开销而具有较高的每位成本。为了实现低延迟和低每位成本，我们引入了分层延迟DRAM（TL-DRAM）。在TL-DRAM中，每个长DRAM被隔离晶体管分成两个较短的段，允许以短DRAM的延迟访问两个段中的一个，而不会导致每比特的高成本。我们提出的机制，使用低延迟段作为硬件管理或软件管理的缓存。我们的评估表明，我们提出的机制提高了单核和多编程工作负载的性能和能源效率。分层延迟DRAM启发了其他几项减少DRAM延迟的工作，几乎没有架构修改。
2018-05-04 cs.AR
Voltron: Understanding and Exploiting the Voltage-Latency-Reliability Trade-Offs in Modern DRAM Chips to Improve Energy Efficiency
本文总结了我们在SIGMETRICS 2017上发表的关于现代DRAM芯片降压操作的实验表征和分析工作，并探讨了这项工作的意义和未来潜力。我们采取全面的方法来理解和利用现代DRAM的延迟和可靠性特性，当DRAM电源电压低于DRAM标准规定的标称电压水平时。我们对三大DRAM供应商最近生产的124个真正的DDR3L（低压）DRAM芯片进行了实验研究。我们发现，降低电源电压低于一定的点引入数据中的位错误，我们全面表征这些错误的行为。我们发现，这些错误可以通过增加三个主要的DRAM操作（激活，恢复和预充电）的延迟来避免。我们进行详细的DRAM电路模拟验证和解释我们的实验结果。我们还描述了降低电源电压和错误位置，存储的数据模式，DRAM温度和数据保持之间的各种关系。基于我们的观察，我们提出了一种新的DRAM能量降低机制，称为Voltron。Voltron的关键思想是使用性能模型来确定我们可以在不引入错误和不超过用户指定的性能损失阈值的情况下降低多少电源电压。我们的评估表明，Voltron将平均DRAM和系统能耗分别降低了10.5%和7.3%，同时将平均系统性能损失限制在仅1.8%，适用于各种内存密集型四核工作负载。我们还表明，Voltron显着优于以前的动态电压和频率缩放机制的DRAM。
2018-05-08 cs.AR
Benchmarking Memory-Centric Computing Systems: Analysis of Real Processing-in-Memory Hardware
本文全面分析了首个公开可用的真实UPMEM存内计算（PIM）架构，结合DRAM阵列与DPUs核心，为软硬件设计者提供关键见解与优化建议。
2023-04-03 cs.AR cs.DC cs.PF
TDRAM: Tag-enhanced DRAM for Efficient Caching
提出TDRAM，一种专为缓存设计的新型DRAM微架构，通过在HBM3芯片上集成标签阵列实现快速并行访问与片内比较，优化命中与缺失延迟，显著提升性能并降低能耗。
2024-04-22 cs.AR
Understanding Reduced-Voltage Operation in Modern DRAM Chips: Characterization, Analysis, and Mechanisms
DRAM的能量消耗是现代计算系统中的关键问题。制造工艺技术的改进允许DRAM供应商保守地降低DRAM电源电压，这减少了DRAM的一些能耗。我们希望更积极地降低DRAM电源电压，以进一步降低能耗。积极的电源电压降低需要彻底了解电压缩放对DRAM访问延迟和DRAM可靠性的影响。在本文中，我们采取全面的方法来理解和利用现代DRAM的延迟和可靠性特性时，电源电压低于DRAM标准规定的标称电压水平。使用基于FPGA的测试平台，我们进行了实验研究的124个真正的DDR3L（低压）DRAM芯片最近生产的三个主要的DRAM供应商。我们发现，降低电源电压低于一定的点引入数据中的位错误，我们全面表征这些错误的行为。我们发现，这些错误可以通过增加三个主要的DRAM操作（激活，恢复和预充电）的延迟来避免。我们进行详细的DRAM电路模拟验证和解释我们的实验结果。我们还描述了降低电源电压和错误位置，存储的数据模式，DRAM温度和数据保持之间的各种关系。基于我们的观察，我们提出了一种新的DRAM能量降低机制，称为Voltron。Voltron的关键思想是使用性能模型来确定我们可以在不引入错误和不超过用户指定的性能损失阈值的情况下降低多少电源电压。Voltron将平均系统能耗降低了7.3%，同时将各种工作负载的平均系统性能损失限制在仅1.8%。
2017-05-29 cs.AR
Understanding and Exploiting Design-Induced Latency Variation in Modern DRAM Chips
已经表明，在现代DRAM芯片内的单元之间存在变化。我们凭经验证明了一种新的形式的变化，存在于一个真正的DRAM芯片，在DRAM芯片中的不同组件的设计和放置引起的。我们的目标是了解设计引起的变化，存在于真实的，国家的最先进的DRAM芯片，利用它来开发低成本的机制，可以动态地找到和使用最低的延迟，在可靠地操作DRAM芯片，从而提高整体系统性能，同时确保可靠的系统操作。为此，我们首先通过实验证明和分析设计引起的变化，在现代DRAM设备的测试和表征96个DIBRATES（768 DRAM芯片）。我们的表征识别DRAM区域，容易出错，如果在较低的延迟操作，并发现其位置在给定的DRAM芯片代的一致性，由于设计引起的变化。基于我们广泛的实验分析，我们开发了两种机制，可靠地减少DRAM延迟。首先，DIVA分析使用运行时分析来动态地识别不引入故障的最低DRAM延迟。DIVA分析利用设计引起的变化，并定期分析脆弱的区域，以低成本确定最低的DRAM延迟。我们的第二个机制，DIVA洗牌，洗牌数据，使存储在脆弱的地区的值被映射到多个纠错码（ECC）码字。结合在一起，我们的两种机制将读/写延迟降低了40.0%/60.5%，这意味着在各种工作负载下，整体系统性能提高了14.7%/13.7%/13.8%（在2-/4-/8核系统中），同时确保了可靠的操作。
2017-05-15 cs.AR
PIM-MMU: A Memory Management Unit for Accelerating Data Transfers in Commercial PIM Systems
针对 UPMEM 商用 PIM 系统中 DRAM-PIM 数据传输瓶颈，提出软硬件协同的 PIM-MMU，将传输吞吐与能效均提升 4.1 倍，并实现 2.2 倍端到端加速。
2024-09-10 cs.AR
Enabling Efficient Dynamic Resizing of Large DRAM Caches via A Hardware Consistent Hashing Mechanism
已经提出将裸片堆叠式DRAM用作具有数百或数千兆字节容量的大型、高带宽、末级高速缓冲存储器。然而，并非所有工作负载（或阶段）都可以有效地利用这么多缓存空间。不幸的是，未使用（或未充分使用）的高速缓存由于外围电路中的泄漏和周期性DRAM刷新而继续消耗功率。动态调整可用的DRAM缓存容量可以在很大程度上消除这种能量开销。然而，当前提出的DRAM高速缓存组织为动态高速缓存缓存管理引入了新的挑战。该组织不同于传统的SRAM高速缓存组织，因为它将整个高速缓存集及其标签放置在单个存储体中，以减少片上面积和功耗开销。因此，对DRAM高速缓存进行重映射需要将集合从断电的存储体重映射到活动存储体。在本文中，我们提出CRUNCH（缓存调整使用本地一致性哈希），硬件数据重新映射方案的启发一致性哈希，最初提出的算法，以统一和动态地分布互联网流量在不断变化的人口的Web服务器。CRUNCH提供了将数据从断电的银行单独重新映射到活动银行的负载平衡重新映射，而不需要重新映射所有银行的数据集，这与实现负载均衡的天真方案不同。CRUNCH仅重新映射掉电存储体的集合，因此它以低存储体上电/掉电转换延迟实现这种负载均衡。CRUNCH将良好的负载均衡和低转换延迟相结合，为实现高效的DRAM高速缓存存储提供了基础。
2016-02-01 cs.AR
NOM: Network-On-Memory for Inter-Bank Data Transfer in Highly-Banked Memories
数据复制是许多程序和操作系统服务中广泛使用的存储器操作。在传统的计算机中，数据复制通常由两个单独的读写事务来执行，这两个事务在DRAM芯片和处理器芯片之间来回传递数据。一些现有机制提出通过使用DRAM芯片中的共享内部总线来直接复制DRAM芯片内的数据来避免这种不必要的数据移动（例如，两个DRAM存储体之间）。虽然这些方法与传统技术相比表现出优越的性能，但是跨不同DRAM库的数据复制仍然比在同一DRAM库内的数据复制慢得多。因此，这些技术对于新兴的3D堆叠存储器（例如，HMC和HBM），其包含跨多个存储器控制器的数百个DRAM组。在本文中，我们提出了内存网络（NoM），一个轻量级的银行间数据通信计划，使直接数据复制跨两个存储体的三维堆叠存储器。NoM采用基于TDM的电路交换设计，其中电路设置由存储器控制器完成。与最先进的方法相比，NoM实现了多个DRAM存储体之间的快速数据复制和并发数据传输操作。我们的评估表明，与基线传统3D堆叠DRAM架构和最先进的技术相比，NoM将数据密集型工作负载的性能平均提高了3.8倍和75%。
2020-04-21 cs.AR
Architectural Impact on Performance of In-memory Data Analytics: Apache Spark Case Study
虽然集群计算框架正在不断发展以提供实时数据分析功能，但Apache Spark已经成为大数据分析的最前沿，成为批量和流数据处理的统一框架。然而，最近的研究在内存中的数据分析的微架构表征仅限于批处理工作负载。我们使用双套接字服务器上的硬件性能计数器比较Apache Spark中批处理和流处理工作负载的微架构性能。在我们的评估实验中，我们已经发现，批处理是流处理工作负载具有类似的微架构特征，并受到频繁的数据访问DRAM的延迟。对于数据访问，我们发现同时多线程可以有效地隐藏数据延迟。我们还观察到，（i）NUMA节点上的数据局部性可以平均提高10%的性能，（ii）禁用下一行L1-D预取器可以减少高达14%的执行时间，（iii）多个小执行器可以提供高达36%的加速比。
2016-04-28 cs.AR cs.DC cs.PF
pLUTo: Enabling Massively Parallel Computation in DRAM via Lookup Tables
提出pLUTo，一种基于DRAM的存内处理架构，利用查找表实现大规模并行计算，平均比CPU和GPU快713倍和1.2倍，能耗降低1855倍和39.5倍。
2025-01-23 cs.AR cs.DC
Exploiting the DRAM Microarchitecture to Increase Memory-Level Parallelism
本文总结了2012年ISCA上发表的DRAM子阵级并行化（SALP）思想，并分析了该工作的意义和未来潜力。现代DRAM具有多个存储体以并行地服务多个存储器请求。然而，当两个请求进入同一个存储体时，它们必须被串行地服务，从而加剧了片上存储器的高延迟。增加更多的银行到系统中，以减轻这个问题会导致高系统成本。我们在这项工作中的目标是以低成本的方式实现增加银行数量的好处。为此，我们提出了三个新的机制，SALP-1，SALP-2，和MASA（激活子阵列的数量），以减少不同的请求，去同一银行的序列化。我们的机制所利用的关键观察是，现代DRAM银行实现为子阵列的集合，这些子阵列在很大程度上独立运行，同时共享很少的全局外围结构。我们提出的三种机制通过重叠多个请求的银行访问延迟的不同组件来减轻银行序列化的负面影响，这些请求去往同一银行内的不同子阵列。SALP-1不需要改变现有的DRAM结构，只需要重新解释一些现有的DRAM时序参数。SALP-2和MASA只需要对DRAM外围结构进行适度的更改（< 0.15%的面积开销），这比DRAM核心的设计约束要少得多。我们的评估表明，SALP-1、SALP-2和MASA显著提高了单核系统（7%/13%/17%）和多核系统（15%/16%/20%）的性能，平均在各种工作负载下。我们还表明，我们的机制可以结合应用程序感知的内存请求调度在多核系统中，以进一步提高性能和…
2018-05-04 cs.AR
Methodologies, Workloads, and Tools for Processing-in-Memory: Enabling the Adoption of Data-Centric Architectures
现代应用中数据的日益普及和不断增长的规模已经导致传统的以处理器为中心的计算系统中的高计算成本。在存储器设备之间移动大量数据（例如，DRAM）和计算元件（例如，在现代系统中，跨带宽受限的内存通道的CPU、GPU（图形处理器）可以消耗超过60%的总能量。为了降低这些成本，内存处理（PIM）范式将计算移动到更靠近数据所在的位置，减少（在某些情况下消除）在内存和处理器之间移动数据的需要。PIM有两种主要方法：（1）近存储器处理（PnM），其中PIM逻辑被添加到与存储器相同的管芯或3D堆叠存储器的逻辑层;以及（2）使用存储器处理（PuM），其使用存储单元的操作原理来执行计算。来自学术界和工业界的许多作品已经展示了PnM和PuM对于来自不同领域的各种工作负载的好处。然而，在商业系统中完全采用PIM仍然是非常具有挑战性的，这是由于缺乏跨计算机体系结构栈的PIM体系结构的工具和系统支持，所述计算机体系结构栈包括：（i）针对PIM体系结构的工作负载表征方法和基准测试套件;（ii）可以促进使用底层PIM原语的复杂操作和算法的实现的框架;（iii）编译器支持和针对PIM架构的编译器优化;（iv）对PIM感知虚拟内存、存储管理、数据分配和数据映射的操作系统支持;以及（v）高效的数据一致性和一致性机制。我们在这项工作中的目标是为PnM和PuM架构提供工具和系统支持，旨在简化PIM在当前和未来系统中的采用。
2022-05-31 cs.AR cs.DC cs.PF
DR-STRaNGe: End-to-End System Design for DRAM-based True Random Number Generators
随机数生成是包括密码算法、科学模拟和工业测试工具在内的各种关键应用中的重要任务。真随机数发生器（TRNG）通过对物理熵源进行采样来产生真正的随机数据，该物理熵源通常需要定制硬件并且具有长延迟。为了在商品设备上实现高带宽和低延迟的TRNG，最近的工作提出了使用DRAM作为熵源的TRNG。虽然先前的工作展示了有前途的DRAM为基础的TRNG，这样的机制到真实系统的集成带来了挑战。我们确定了在当前系统中使用基于DRAM的TRNG的三个挑战：（1）由于RNG和存储器控制器中的常规存储器操作之间的干扰（即，RNG干扰），（2）该RNG干扰可以通过不公平地优先化密集使用随机数的应用（即，RNG应用），以及（3）由于高RNG延迟，RNG应用可能经历显著的减速。我们提出了DR-STRaNGe，一个端到端的系统设计的DRAM为基础的TRNG，（1）减少RNG的干扰，通过分离RNG请求从常规的请求在内存控制器，（2）提高了系统的公平性与RNG感知内存请求调度器，（3）隐藏大TRNG延迟使用一个新的DRAM空闲预测，准确地识别空闲DRAM周期的随机数缓冲机制。我们评估DR-STRaNGe使用一组186多程序工作负载。与RNG无关基线系统相比，DR-STRaNGe将非RNG和RNG应用的平均性能分别提高了17.9%和25.1%。DR-STRaNGe将系统公平性平均提高了32.1%，并将平均能耗降低了21%…
2022-06-06 cs.AR
SoMa: Identifying, Exploring, and Understanding the DRAM Communication Scheduling Space for DNN Accelerators
SoMa提出了一种以张量为中心的表示法和端到端调度框架，用于识别、探索和理解DNN加速器的DRAM通信调度空间，相比SOTA框架平均提升2.11倍性能并降低37.3%能耗。
2025-01-22 cs.AR
Monarch: A Durable Polymorphic Memory For Data Intensive Applications
3D裸片堆叠经常被提出来构建大规模的基于DRAM的高速缓存。不幸的是，DRAM的功耗和性能开销限制了高带宽存储器的效率。此外，DRAM正面临着严重的可扩展性挑战，这使得替代技术更具吸引力。本文探讨君主，电阻3D堆叠存储器的基础上，一种新的可重构交叉点阵列称为XAM。XAM阵列能够在随机存取和内容寻址模式之间切换，这使得Monarch能够（i）更好地利用封装内带宽，（ii）满足各种应用的随机存取存储器和关联搜索要求。此外，Monarch控制器确保电阻堆的目标寿命。我们对一组并行内存密集型应用程序的模拟结果表明，Monarch的性能平均比理想的DRAM缓存高1.21倍。对于内存中的哈希表和字符串匹配工作负载，Monarch将性能提高到传统高带宽内存的12倍。
2021-08-19 cs.AR cs.SY eess.SY
Managing Hybrid Main Memories with a Page-Utility Driven Performance Model
已经提出了由动态随机存取存储器（DRAM）和非易失性存储器（NVM）组成的混合存储器系统，以利用NVM的容量优势和DRAM的延迟和动态能量优势。这种系统的一个重要问题是如何在DRAM和NVM之间放置数据以提高系统性能。在本文中，我们设计的第一种机制，称为UBM（基于页实用程序的混合存储管理），系统地估计系统的性能优势，将页面放置在DRAM与NVM，并使用此估计来指导数据的位置。UBM的估计方法由两个主要部分组成。首先，它估计如果被访问的页面被放置在DRAM中，应用程序的停顿时间可以减少多少。为此，UBM综合考虑访问频率、行缓冲区位置和内存级并行性（MLP）来估计应用程序的停滞时间减少。其次，UBM估计每个应用程序的停滞时间减少对整体系统性能的贡献。基于这种估计方法，UBM可以确定并放置DRAM中最关键的数据，以直接优化系统性能。实验结果表明，对于SPEC CPU 2006和Yahoo Cloud Serving Benchmark（YCSB）套件中的大量数据密集型工作负载，与三种最先进的机制中的最佳机制相比，UBM平均将系统性能提高了14%（最高可达39%）。
2015-07-13 cs.AR
Refresh Triggered Computation: Improving the Energy Efficiency of Convolutional Neural Network Accelerators
为了在能量受限的嵌入式系统中采用卷积神经网络（CNN），CNN实现的高能量效率是至关重要的。最近的许多研究提出了具有自定义计算单元的CNN加速器架构，该架构试图通过最小化来自基于DRAM的主存储器的数据传输来提高CNN的能效和性能。然而，在这些架构中，平均而言，DRAM仍然占系统总能耗的一半。DRAM的高能耗的一个关键因素是刷新开销，据估计，刷新开销消耗DRAM总能量的40%。在本文中，我们提出了一种新的机制，刷新触发计算（RTC），利用CNN应用程序的内存访问模式，以减少刷新操作的数量。我们提出了三种RTC设计（最小RTC，中期RTC，和全RTC），其中每一个都需要一个不同级别的侵略性定制的DRAM子系统。我们所有的设计都有很小的开销。即使是最激进的RTC设计（即，全RTC）在16 Gb DRAM芯片中仅施加0.18%的面积开销，并且对于更密集的芯片可以具有更少的开销。我们对六个知名CNN的实验评估表明，RTC分别将最不积极和最积极的RTC实现的平均DRAM能耗降低了24.4%和61.3%。除了CNN之外，我们还在其他领域的三个工作负载上评估了我们的RTC机制。我们表明，RTC节省31.9%和16.9%的DRAM能源的人脸识别和贝叶斯置信传播神经网络（BCPNN），分别。我们相信RTC可以应用于其他应用程序，其内存访问模式在足够长的时间内保持可预测性。
2020-10-07 cs.AR
Self-Managing DRAM: A Low-Cost Framework for Enabling Autonomous and Efficient in-DRAM Operations
提出自管理DRAM（SMD）架构，将维护操作控制从内存控制器移至芯片内部，通过单一接口修改实现自主维护与延迟重叠，平均加速4.1%，低成本且开源。
2025-08-06 cs.AR cs.CR
Five-Minute Rule 40 Years Later: A First-Principles Revisit for Modern Memory Hierarchy
ScaleFlux（聚辰半导体）；NVIDIA（英伟达）；Stanford University（斯坦福大学）
本文基于首次原理重审五分钟规则，整合主机成本、DRAM带宽/容量和SSD性能成本物理模型，提出考虑约束和工作负载的框架，展示现代AI平台中DRAM与闪存缓存阈值从分钟缩至几秒，揭示NAND闪存作为活跃数据层的研究空间，并引入MQSim-Next仿真器和两个案例研究。
2026-05-08 cs.AR
HAPPY: Hybrid Address-based Page Policy in DRAMs
存储器控制器已经使用静态页面关闭策略来决定在已经访问了行之后，行是应该保持打开（打开页面策略）还是应该立即关闭（关闭页面策略）。对特定访问的适当选择可以减少平均内存延迟。但是，由于应用程序访问模式在运行时间发生变化，因此静态页面策略不能保证提供最佳执行时间。混合页面策略已经被研究作为覆盖这些动态场景的一种手段，现在已经在最先进的处理器中实现。混合页面策略通过监视行命中/冲突的访问模式并预测未来的行为，在应用程序运行时在打开页面和关闭页面策略之间切换。不幸的是，随着DRAM存储器的大小增加，对存储器访问模式的细粒度跟踪和分析不再实用。我们提出了一个紧凑的存储器地址为基础的编码技术，可以提高或保持DRAM页关闭预测器的性能，同时减少硬件开销相比，国家的最先进的技术。作为案例研究，我们将我们的技术HAPPY与最先进的监视器、英特尔至强X5650采用的英特尔自适应打开页面策略预测器以及传统的混合页面策略相集成。我们评估他们在70内存密集型的工作负载混合组成的单线程和多线程应用程序。实验结果表明，使用应用于英特尔自适应页面关闭策略的HAPPY编码，对于评估的64 GB内存，可以将硬件开销减少5倍（对于512 GB内存，最多可减少40倍），同时保持预测精度。
2015-09-12 cs.AR
An Analytical Model for Performance and Lifetime Estimation of Hybrid DRAM-NVM Main Memories
NVM具有有前途的优点（例如，更低的空闲功率、更高的密度）。然而，NVM也有缺点（例如，有限的耐力）。因此，系统架构师正在研究混合DRAM-NVM主存储器，以实现NVM的优点，同时尽可能避免缺点。不幸的是，由于存在非常不同类型的NVM及其快速变化的特性，混合存储器设计空间非常大且复杂。因此，基于混合存储器的计算平台的性能和寿命的优化以及使用传统仿真方法对其进行的实验评估可能非常耗时，有时甚至不切实际。因此，有必要开发一种快速灵活的分析模型来估计混合存储器在各种工作负载下的性能和寿命。本文提出了一种基于马尔可夫决策过程的混合存储器分析模型。所提出的模型估计的命中率和寿命为各种配置的DRAM-NVM混合主存储器。我们的模型还提供了准确的估计的数据迁移策略的混合内存命中率的影响，在混合内存的性能和寿命的最重要的因素之一。这样的分析模型可以帮助设计者调整混合存储器配置以改善性能和/或寿命。我们提出了几个优化，使我们的模型更有效，同时保持其准确性。我们的实验评估表明，所提出的模型（a）准确地预测的混合存储器命中率的平均误差为4.61%的商品服务器上，（b）准确地估计的NVM寿命的平均误差为2.93%，（c）是平均4倍的速度比传统的最先进的混合存储器的仿真平台。
2019-03-24 cs.AR
Ramulator 2.1: A Composable Memory System Simulator for Modern DRAM Systems
ETH Zürich（苏黎世联邦理工学院）
Ramulator 2.1 大幅改进了模拟器，支持现代DRAM标准（HBM3/4、LPDDR5/6、GDDR7），引入基于Python的建模接口和双向代码生成框架，并提供了全面的测试与验证基础设施。
2026-06-15 cs.AR
Towards Memory Specialization: A Case for Long-Term and Short-Term RAM
本文提出内存专业化范式，引入长期RAM（LtRAM）和短期RAM（StRAM）两类新内存，通过非层级优化利用应用访问模式，以应对SRAM/DRAM停止扩展带来的成本问题，并探索器件技术与研究挑战。
2025-08-05 cs.AR cs.ET
MEDEM: Multi-Engine DL Accelerator Design Methodology
Chalmers University of Technology and University of Gothenburg（查尔姆斯理工大学和哥德堡大学）
MEDEM提出多引擎深度学习加速器系统化设计方法，通过引擎抽象与协同设计高效搜索指数级设计空间，在多种资源预算下实现EDP最高4.84倍、吞吐量1.59倍的提升。
2026-09-30 cs.AR cs.DC cs.PF
Simultaneous Multi Layer Access: A High Bandwidth and Low Cost 3D-Stacked Memory Interface
有限的内存带宽是现代系统中的关键瓶颈。3D堆叠DRAM通过利用更宽的硅通孔（TSV）通道来实现更高的带宽，但由于DRAM的内部带宽有限，今天的系统无法完全利用它们。DRAM同时从单元阵列读取整行到行缓冲器，但只能通过被称为全局位线的有限且昂贵的一组导线将数据的一部分从行缓冲器传送到外围IO电路。在存在较宽的存储器通道的情况下，主要瓶颈变成通过这些全局位线的有限的数据传输容量。我们在这项工作中的目标是在3D堆叠DRAM中实现更高的带宽，而不会增加增加更多全局位线的成本。相反，我们通过同时访问层来利用已经存在于多个DRAM层中的其他空闲资源，例如全局位线。我们的架构，同时多层访问（SMLA），通过聚合多个层的内部带宽和以更高的IO频率传输可用数据来提供更高的带宽。为了实现SMLA，通过相同的IO TSV从多个层同时传输数据需要层之间的协调以避免通道冲突。我们首先研究协调静态分区，我们称之为专用IO，分配组TSV的每一层。然后，我们提供了一个简单但复杂的机制，称为级联IO，它可以通过对IO进行时间复用来同时访问每一层。通过在与层数成比例的频率下工作，SMLA提供了更高的带宽（对于四层堆叠的DRAM为4X）。我们的评估表明，SMLA提供了显着的性能改善和能源减少（55%/18%，平均为多编程的工作负载，分别）在一个基线的3D堆叠DRAM具有非常低的面积开销。
2015-06-10 cs.AR
Flexible-Latency DRAM: Understanding and Exploiting Latency Variation in Modern DRAM Chips
本文总结了我们在SIGMETRICS 2016上发表的关于现代DRAM芯片中延迟变化和延迟-可靠性权衡的实验表征和分析工作的关键结果，并探讨了这项工作的意义和未来潜力。这项工作的目标是（i）实验性地表征和理解DRAM芯片内这三种基本DRAM操作的单元之间的延迟变化，以及（ii）开发新的机制，利用我们对延迟变化的理解来可靠地提高性能。为此，我们对来自三家主要供应商的240款DRAM芯片进行了全面的分析，并对DRAM中的延迟变化进行了六项主要的新观察。值得注意的是，我们发现：（i）对于三个操作中的每一个，跨单元存在大的延迟变化;（ii）变化特性表现出显著的空间局部性：较慢的单元聚集在DRAM芯片的某些区域中;以及（iii）当每个操作的延迟减少时，三个基本操作表现出不同的可靠性特性。基于我们的观察，我们提出了双延迟DRAM（FLY-DRAM），一种利用DRAM芯片内DRAM单元之间的延迟变化来提高系统性能的机制。FLY-DRAM的关键思想是利用DRAM中较慢单元的空间局部性，并以减少的延迟访问较快的DRAM区域以进行基本操作。我们的评估表明，在模拟的8核系统中，FLY-DRAM平均将三家不同供应商的真实DRAM芯片的性能提高了13.3%、17.6%和19.5%。
2018-05-08 cs.AR
Pickle: Precise, Flexible Cross-Core Last-level Cache Data Prefetching for Irregular Memory Accesses
University of California, Davis（加州大学戴维斯分校）；AMD Research & Advanced Development（AMD研究与先进开发部）
针对图形分析等不规则内存访问问题，提出Pickle这种软件定义、硬件管理的末级缓存预取器，通过执行预取内核提前带数据入缓存，经实验评估，相比无预取基线及现有技术有显著加速效果且降低内存流量开销。
2026-07-09 cs.AR
Search-in-Memory (SiM): Reliable, Versatile, and Efficient Data Matching in SSD's NAND Flash Memory Chip for Data Indexing Acceleration
本文提出Search-in-Memory（SiM）芯片，通过在NAND闪存芯片内直接执行数据过滤和按位并行匹配，利用灵活的SIMD命令接口卸载索引搜索，实现写密集型工作负载高达9倍加速和45%能耗节省。
2024-08-02 cs.AR
Per-Row Activation Counting on Real Hardware: Demystifying Performance Overheads
首次在真实机器上评估DRAM读取干扰缓解方法PRAC的性能，发现其实际开销远低于模拟器预测，并证明关闭页面策略能有效隐藏时序延长带来的影响。
2025-11-01 cs.AR cs.CR
Exploiting Inter- and Intra-Memory Asymmetries for Data Mapping in Hybrid Tiered-Memories
现代计算系统正在采用由DRAM和非易失性存储器（NVM）组成的混合存储器，以组合两种存储器技术的最佳特性，从而实现低延迟、高可靠性和高密度。DRAM-NVM混合存储器的一个突出特征是其NVM访问延迟比DRAM访问延迟高得多。我们称之为记忆间不对称。我们观察到，寄生组件上的一个长的DRAM和NVM中的高延迟的主要来源，并在NVM中，这影响其可靠性的高电压操作的一个重要因素。我们提出了一个架构的变化，在DRAM和NVM中的每个长存储器被分成两个部分的隔离晶体管。一个段可以以比另一个段更低的延迟和工作电压被访问。通过引入层，我们使每个存储器类型内的非均匀访问（我们称之为内存内不对称），导致性能和可靠性的DRAM-NVM混合存储器的权衡。我们以三种方式扩展现有的NVM-DRAM操作系统。首先，我们利用内存间和内存内的不对称性来分配和迁移DRAM和NVM层之间的内存页面。其次，我们通过预测程序中新引用的内存页面的访问强度并在初始分配期间将其放置到匹配层来改进操作系统的页面分配决策。这最大限度地减少了程序执行期间的页面迁移，降低了性能开销。第三，我们提出了一个解决方案，在同一内存的层之间迁移页面，而不通过内存通道传输数据，最大限度地减少通道占用，提高性能。我们的整体方法，我们称之为MNEME，启用和利用DRAM-NVM混合分层存储器中的不对称性，提高了单核和多编程工作负载的性能和可靠性。
2020-05-10 cs.AR cs.OS
Demystifying DRAM Read Disturbance: Bridging the Gap Between Experimental Characterization and Device-Level Modeling of RowHammer and RowPress Phenomena
ETH Zurich（苏黎世联邦理工学院）；East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）
本研究弥合了RowHammer与RowPress的实验表征与器件级建模的差距，通过TCAD仿真更新了器件级错误机制，为DRAM读干扰的表征与缓解提供了基础。
2026-07-31 cs.AR cs.CR
Compiling Semi-Ring Dynamic Programming to Tier-Aware 3D-DRAM Processing-in-Memory
University of California San Diego（加州大学圣地亚哥分校）
针对3D-DRAM存内计算，提出GenMLIR编译器，将半环动态规划自动映射为层级感知的PIM代码，相比无编译支持和标准仿射编译器分别快达5.8/16.7倍和1.2-1.4倍，且代码量大幅减少。
2026-10-08 cs.AR
