Mitigating the Latency-Area Tradeoffs for DRAM Design with Coarse-Grained Monolithic 3D (M3D) Integration
多年来，由于DRAM行业以成本为中心的心态，DRAM延迟并未与其密度成比例地扩展。先前的工作表明，这个缺点可以通过减少DRAM访问路径的临界长度来克服。然而，这样做降低了DRAM面积效率，加剧了DRAM设计的延迟面积权衡。在本文中，我们表明，重组DRAM单元阵列使用新兴的单片3D（M3 D）集成技术可以减轻这些基本的延迟面积权衡。根据PARSEC基准测试的评估结果，与传统的2D DDR4 DRAM相比，我们设计的M3 D DRAM单元阵列组织可以减少高达9.56%的延迟，减少高达4.96%的功耗，减少高达21.21%的能量延迟积（EDP），减少高达14%的DRAM芯片面积。
2020-08-26 cs.AR
Reducing DRAM Access Latency by Exploiting DRAM Leakage Characteristics and Common Access Patterns
基于DRAM的存储器是造成系统性能瓶颈的关键因素，因为处理器速度大大超过DRAM延迟。在这篇论文中，我们开发了一种低成本的机制，称为ChargeCache，它可以更快地访问DRAM中最近访问的行，而不需要修改DRAM芯片。我们的机制是基于一个关键的观察，最近访问的行有更多的电荷，因此以下访问同一行可以更快地执行。为了利用这一观察结果，我们建议在内存控制器中的表中跟踪最近访问的行的地址。如果稍后的DRAM请求在该表中命中，则存储器控制器使用较低的定时参数，从而导致减少的DRAM延迟。在指定的持续时间之后，从表中删除行地址，以确保不会以较低的延迟访问泄漏过多电荷的行。我们评估了各种工作负载上的ChargeCache，并表明它为单核和多核系统提供了显着的性能和能源优势。
2016-09-23 cs.AR
Adaptive-Latency DRAM (AL-DRAM)
本文总结了自适应延迟DRAM（AL-DRAM）的思想，该思想发表在HPCA 2015上。AL-DRAM的关键目标是利用DRAM时序参数中内置的额外裕度来减少DRAM延迟。关键的观察结果是，时序参数由最坏情况下的温度和最坏情况下的DRAM单元决定，这两者都导致少量的电荷存储，因此访问延迟高。因此，可以通过使时序参数适应当前操作温度和正在访问的当前DIMM来减少延迟。使用基于FPGA的测试平台，我们的工作首先表征了来自三个主要制造商的115个DRAM模块的额外余量。实验结果表明，它是可能的，以最小/最大的17.3%/54.8%，在55 ℃，同时保持可靠的操作，减少四个最关键的定时参数。AL-DRAM基于其当前操作条件在用于每个DRAM模块的多个不同定时参数之间自适应地选择。AL-DRAM不需要对DRAM芯片或其接口进行任何更改;它只需要内存控制器指定和支持多个不同的时序参数。真实系统评估表明，AL-DRAM将内存密集型工作负载的性能平均提高了14%，而不会引入任何错误。
2016-03-28 cs.AR
Stratum: System-Hardware Co-Design with Tiered Monolithic 3D-Stackable DRAM for Efficient MoE Serving
University of California, San Diego（加州大学圣地亚哥分校）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Illinois Institute of Technology（伊利诺伊理工学院）
Stratum通过系统-硬件协同设计，结合Mono3D DRAM、近内存处理与GPU加速，并利用主题预测的专家使用引导数据分层，实现MoE服务中高达8.29倍解码吞吐量和7.66倍能效提升。
2025-10-06 cs.AR cs.ET cs.LG
Understanding and Improving the Latency of DRAM-Based Memory Systems
在过去的二十年中，主存的存储容量和访问带宽分别提高了128倍和20倍。这些改进主要是由于DRAM（动态随机存取存储器）的持续技术扩展，DRAM一直被用作主存储器的物理基板。与容量和带宽形成鲜明对比的是，DRAM延迟几乎保持不变，在同一时间段内仅减少了1.3倍。因此，长DRAM延迟仍然是现代系统中的关键性能瓶颈。核心数量的增加，以及越来越多的数据密集型和延迟关键型应用程序的出现，进一步强调了提供低延迟内存访问的重要性。在这篇论文中，我们确定了三个主要的问题，有助于显着长延迟的DRAM访问。为了解决这些问题，我们提出了一系列新的技术。我们的新技术显著提高了系统性能和能源效率。我们还研究了现代DRAM芯片中电源电压和延迟之间的关键关系，并开发了利用这种电压-延迟权衡来提高能效的新机制。本文的主要结论是，增加DRAM架构简单，低成本的功能，并开发一个更好的理解制造DRAM芯片一起导致显着的存储延迟减少以及能源效率的提高。我们希望并相信，本文提出的架构技术以及对实际商品DRAM芯片的详细实验数据和观察将能够开发其他新机制，以提高未来存储系统的性能、能效或可靠性。
2017-12-22 cs.AR
Understanding and Exploiting Design-Induced Latency Variation in Modern DRAM Chips
已经表明，在现代DRAM芯片内的单元之间存在变化。我们凭经验证明了一种新的形式的变化，存在于一个真正的DRAM芯片，在DRAM芯片中的不同组件的设计和放置引起的。我们的目标是了解设计引起的变化，存在于真实的，国家的最先进的DRAM芯片，利用它来开发低成本的机制，可以动态地找到和使用最低的延迟，在可靠地操作DRAM芯片，从而提高整体系统性能，同时确保可靠的系统操作。为此，我们首先通过实验证明和分析设计引起的变化，在现代DRAM设备的测试和表征96个DIBRATES（768 DRAM芯片）。我们的表征识别DRAM区域，容易出错，如果在较低的延迟操作，并发现其位置在给定的DRAM芯片代的一致性，由于设计引起的变化。基于我们广泛的实验分析，我们开发了两种机制，可靠地减少DRAM延迟。首先，DIVA分析使用运行时分析来动态地识别不引入故障的最低DRAM延迟。DIVA分析利用设计引起的变化，并定期分析脆弱的区域，以低成本确定最低的DRAM延迟。我们的第二个机制，DIVA洗牌，洗牌数据，使存储在脆弱的地区的值被映射到多个纠错码（ECC）码字。结合在一起，我们的两种机制将读/写延迟降低了40.0%/60.5%，这意味着在各种工作负载下，整体系统性能提高了14.7%/13.7%/13.8%（在2-/4-/8核系统中），同时确保了可靠的操作。
2017-05-15 cs.AR
AGNI: In-Situ, Iso-Latency Stochastic-to-Binary Number Conversion for In-DRAM Deep Learning
近年来，基于DRAM的存储器中处理（PIM）加速器领域的研究活动迅速增加，其中通过最小程度地改变DRAM外围设备的固有结构来利用DRAM的模拟计算能力以加速各种以数据为中心的应用。还报道了几种用于卷积神经网络（CNN）的基于DRAM的PIM加速器。其中，利用DRAM内随机算术的加速器在处理延迟和吞吐量方面显示出多方面的改进，这是由于随机算术将乘法转换为简单的逐位逻辑AND运算的能力。然而，使用DRAM中的随机算法进行CNN加速需要频繁的随机数到二进制数的转换。为此，现有技术采用基于全加器或基于串行计数器的DRAM内电路。这些电路消耗大面积并且引起长延迟。它们的DRAM内实现还需要对DRAM外围设备进行大量修改，这大大减少了在这些加速器中使用随机算法的好处。为了解决这些缺点，本文提出了一种新的基板在DRAM随机到二进制数转换称为AGNI。AGNI使用传输晶体管、电容器、编码器和电荷泵对DRAM外围设备进行了微小的修改，并将读出放大器重新用作电压比较器，以实现不同大小的输入统计操作数的原位二进制转换。
2023-02-12 cs.AR
FIGARO: Improving System Performance via Fine-Grained In-DRAM Data Relocation and Caching
DRAM主存储器由于高访问延迟而成为许多应用的性能瓶颈。DRAM内缓存通过使用DRAM的小而快的区域来增加常规延迟DRAM来减轻这种延迟，这些区域用作DRAM的常规延迟区域中保存的数据的缓存。虽然有效的DRAM内高速缓存可以允许从快速DRAM区域服务大部分存储器请求，但是延迟节省通常受到用于将数据的副本重新定位到快速区域中和从快速区域重新定位出来的低效机制的阻碍。现有的DRAM内高速缓存具有两个低效率的来源：（1）数据重定位粒度是DRAM的整个多字节行;以及（2）因为重定位延迟随着慢区域与快区域之间的物理距离而增加，所以多个快区域在慢区域之间物理地交织以减少重定位延迟，从而导致增加的硬件面积和制造复杂性。我们提出了一个新的基板，FIGARO，使用现有的共享全局缓冲区的DRAM银行内的子阵列之间提供支持，在一个单一的高速缓存块的粒度跨子阵列的DRAM数据重新定位。FIGARO在DRAM组内具有与距离无关的延迟，并且避免了对DRAM的复杂修改。使用FIGARO，我们设计了一个细粒度的DRAM缓存称为FIGCache。FIGCache的关键思想是在DRAM的指定区域中仅缓存不同DRAM行的小的、频繁访问的部分。通过只缓存每行中预期在不久的将来会被访问的部分，我们可以将更多频繁访问的数据打包到FIGCache中，并且可以从DRAM中的额外行命中中受益。我们的评估表明，FIGCache将使用…
2020-09-17 cs.AR
Exploiting Row-Level Temporal Locality in DRAM to Reduce the Memory Access Latency
本文总结了发表在HPCA 2016 [51]上的ChargeCache的想法，并研究了这项工作的意义和未来的潜力。DRAM延迟仍然是系统性能的关键瓶颈。在这项工作中，我们开发了一种低成本的机制，称为ChargeCache，它可以更快地访问DRAM中最近访问的行，而无需修改DRAM芯片。我们的机制是基于一个关键的观察，最近访问的行有更多的电荷，因此以下访问同一行可以更快地执行。为了利用这一观察结果，我们建议在内存控制器中的表中跟踪最近访问的行的地址。如果稍后的DRAM请求在该表中命中，则存储器控制器使用较低的定时参数，从而导致减少的DRAM延迟。在指定的持续时间之后，从表中删除行地址，以确保不会以较低的延迟访问泄漏过多电荷的行。我们评估了各种工作负载上的ChargeCache，并表明它为单核和多核系统提供了显着的性能和能源优势。
2018-05-08 cs.AR
On the Off-chip Memory Latency of Real-Time Systems: Is DDR DRAM Really the Best Option?
在多核实时的【形】系统中，访问共享存储器时的可预测执行时间是一个严格的要求。大量现有工作都集中在双数据率动态随机存取存储器（DDR DRAM）的分析上，或重新设计其存储器以提供可预测的存储器行为。在本文中，我们表明，DDR DRAM的建设遭受与实现这种可预测性的固有限制。这些限制导致1）高度可变的访问延迟，其基于各种因素（诸如来自先前访问的访问模式和存储器状态）而波动，以及2）过度悲观的延迟界限。结果，DDR DRAM可能不适合于要求具有严格时序约束的严格可预测性能的某些实时的【形】系统。针对这些系统，我们提出了一种替代的片外存储器解决方案，是基于新兴的减少延迟DRAM（RLDRAM）协议，并提出了一个可预测的内存控制器（RLDC）管理访问此内存。与最先进的可预测DDR控制器相比，所提出的解决方案提供了高达11倍的时间可变性和6.4倍的最坏情况下的内存延迟减少。
2018-10-16 cs.AR
Banshee: Bandwidth-Efficient DRAM Caching Via Software/Hardware Cooperation
将DRAM与处理器放置在同一封装上能够实现比常规封装外DRAM高几倍的内存带宽。然而，封装内DRAM的延迟并不比封装外DRAM的延迟低。封装内DRAM的一个有前途的用途是作为一个大的高速缓存。不幸的是，大多数先前的DRAM高速缓存设计主要针对命中延迟进行优化，并且不将片外带宽效率视为第一类设计约束。因此，正如我们在本文中所示，这些设计是次优的封装DRAM使用。我们提出了一种新的DRAM缓存设计，女妖，优化封装和封装外DRAM的带宽效率，而不会降低访问延迟。关键思想是消除封装内DRAM带宽开销，由于昂贵的标签访问通过虚拟内存机制，并纳入一个带宽感知的基于频率的更换策略，偏向于减少不必要的流量到封装外DRAM。我们广泛的评估表明，Banshee提供了显着的性能改善和交通减少国家的最先进的延迟优化的DRAM缓存设计。
2017-04-10 cs.AR
D-RaNGe: Using Commodity DRAM Devices to Generate True Random Numbers with Low Latency and High Throughput
我们提出了一种新的DRAM为基础的真随机数发生器（TRNG），利用DRAM单元作为熵源。其关键思想是故意违反DRAM访问时序参数，并使用由此产生的错误作为随机性的来源。我们的技术专门降低DRAM行激活延迟（时序参数tRCD）低于DRAM推荐的规格，诱导读取错误，或激活失败，表现出真正的随机行为。然后，我们聚合来自多个小区的结果数据，以获得能够以低延迟提供高吞吐量的随机数的TRNG。为了证明我们的TRNG设计使用商品DRAM芯片是可行的，我们严格描述了来自三家主要DRAM制造商的282个最先进的LPDDR 4器件的激活故障行为。我们使用来自相同制造商的四个额外的DDR3 DRAM设备来验证我们的观察结果。我们的研究结果表明，每个设备中的许多单元产生随机数据，这些数据在时间和温度变化中保持稳健。我们使用我们的观察开发D-RanGe，一种方法，用于从商品DRAM设备中提取真正的随机数，具有高吞吐量和低延迟，故意违反读访问定时参数。我们使用常用的NIST随机性统计测试套件来评估我们的TRNG的质量，并发现D-RaNGe：1）成功通过每个测试，2）生成真正的随机数，吞吐量比以前最高吞吐量的基于DRAM的TRNG高出两个数量级。
2018-12-25 cs.AR
Gemini: Reducing DRAM Cache Hit Latency by Hybrid Mappings
芯片堆叠DRAM缓存越来越多地被提倡，以弥合片上缓存和主存之间的性能差距。提高DRAM缓存命中率和降低缓存命中延迟是至关重要的。根据数据映射策略，现有的DRAM缓存设计分为两类：组关联和直接映射，实现任意一种。在本文中，我们提出了一个部分直接映射的裸片堆叠DRAM高速缓存，以实现这两个目标，同时称为双子座，这是出于以下观察：应用统一的映射策略，不同的块不能实现高缓存命中率和低命中延迟的映射结构。Gemini Cache将数据分为前导块和后续块，并分别采用静态映射和动态映射将它们放置在一个统一的集相联结构中。Gemini还设计了一个替换策略来平衡不同块的未命中惩罚和新近度，并提供了策略来减轻由于块类型转换而导致的缓存抖动。实验结果表明，Gemini缓存可以显着缩小命中延迟的差距，直接映射缓存的平均从1.75倍到1.22倍，并可以达到与集关联缓存相当的命中率。与最先进的基线相比，增强的Loh-Hill缓存，Gemini分别将IPC提高了20%。
2018-06-03 cs.AR
Voltron: Understanding and Exploiting the Voltage-Latency-Reliability Trade-Offs in Modern DRAM Chips to Improve Energy Efficiency
本文总结了我们在SIGMETRICS 2017上发表的关于现代DRAM芯片降压操作的实验表征和分析工作，并探讨了这项工作的意义和未来潜力。我们采取全面的方法来理解和利用现代DRAM的延迟和可靠性特性，当DRAM电源电压低于DRAM标准规定的标称电压水平时。我们对三大DRAM供应商最近生产的124个真正的DDR3L（低压）DRAM芯片进行了实验研究。我们发现，降低电源电压低于一定的点引入数据中的位错误，我们全面表征这些错误的行为。我们发现，这些错误可以通过增加三个主要的DRAM操作（激活，恢复和预充电）的延迟来避免。我们进行详细的DRAM电路模拟验证和解释我们的实验结果。我们还描述了降低电源电压和错误位置，存储的数据模式，DRAM温度和数据保持之间的各种关系。基于我们的观察，我们提出了一种新的DRAM能量降低机制，称为Voltron。Voltron的关键思想是使用性能模型来确定我们可以在不引入错误和不超过用户指定的性能损失阈值的情况下降低多少电源电压。我们的评估表明，Voltron将平均DRAM和系统能耗分别降低了10.5%和7.3%，同时将平均系统性能损失限制在仅1.8%，适用于各种内存密集型四核工作负载。我们还表明，Voltron显着优于以前的动态电压和频率缩放机制的DRAM。
2018-05-08 cs.AR
FaTRQ: Tiered Residual Quantization for LLM Vector Search in Far-Memory-Aware ANNS Systems
San Diego State University（圣地亚哥州立大学）
FaTRQ通过分层残差量化和自定义加速器，提升ANNS系统的存储效率和吞吐量。
2026-01-15 cs.AR cs.IR cs.LG
LISA: Increasing Internal Connectivity in DRAM for Fast Data Movement and Low Latency
本文总结了HPCA 2016上发表的低成本互联子阵（LISA）的想法，并探讨了这项工作的意义和未来潜力。当代系统通过将数据从DRAM传输到处理器，然后跨窄的片外通道返回到DRAM，来低效地执行批量数据移动。使用这种窄通道导致高延迟和能量消耗。先前的工作提出通过利用现有的宽的内部DRAM带宽进行批量数据移动来避免这些高成本，但是DRAM内的线的有限连接允许仅在单个DRAM子阵列内的快速数据移动。每个子阵列的大小只有几兆字节，极大地限制了DRAM中快速批量数据移动的范围。HPCA 2016论文提出了一种新的DRAM基板，即低成本互连子阵列（LISA），其目标是以低成本在大范围内存中实现快速有效的数据移动。LISA在相邻子阵列之间增加了低成本连接。通过使用这些连接来互连相邻子阵列的现有内部导线（位线），LISA能够在多个子阵列之间进行宽带宽数据传输，而DRAM面积开销很小（仅为0.8%）。作为DRAM基板，LISA用途广泛，可实现各种新应用。我们详细描述和评估三个这样的应用程序：（1）快速子阵列间批量数据复制，（2）在DRAM缓存使用DRAM架构，其行具有异构的访问延迟，和（3）通过链接多个预充电单元在一起加速DRAM预充电。我们的广泛评估表明，LISA的三个应用程序中的每一个都显着提高了各种工作负载和系统配置的性能和内存能效。
2018-05-08 cs.AR
Architectural and System Implications of CXL-enabled Tiered Memory
针对CXL分层内存的延迟和性能异构问题，提出动态内存请求控制机制MIKU，优先DDR请求并尽力服务CXL请求，实验表明可显著提升系统效率。
2025-03-26 cs.AR cs.ET
BARD: Reducing Write Latency of DDR5 Memory by Exploiting Bank-Parallelism
Georgia Institute of Technology（佐治亚理工学院）
BARD通过修改缓存替换策略提高DDR5内存写入的银行并行性，从而减少写入延迟并提升性能。
2025-12-20 cs.AR
Exploring DRAM Cache Prefetching for Pooled Memory
针对内存池化带来的访问延迟升高问题，提出将FAM子页块预取到本地DRAM缓存的系统，结合两种优化方案缓解带宽争用，经多基准测试验证可有效提升IPC。
2024-06-20 cs.AR
Understanding Reduced-Voltage Operation in Modern DRAM Chips: Characterization, Analysis, and Mechanisms
DRAM的能量消耗是现代计算系统中的关键问题。制造工艺技术的改进允许DRAM供应商保守地降低DRAM电源电压，这减少了DRAM的一些能耗。我们希望更积极地降低DRAM电源电压，以进一步降低能耗。积极的电源电压降低需要彻底了解电压缩放对DRAM访问延迟和DRAM可靠性的影响。在本文中，我们采取全面的方法来理解和利用现代DRAM的延迟和可靠性特性时，电源电压低于DRAM标准规定的标称电压水平。使用基于FPGA的测试平台，我们进行了实验研究的124个真正的DDR3L（低压）DRAM芯片最近生产的三个主要的DRAM供应商。我们发现，降低电源电压低于一定的点引入数据中的位错误，我们全面表征这些错误的行为。我们发现，这些错误可以通过增加三个主要的DRAM操作（激活，恢复和预充电）的延迟来避免。我们进行详细的DRAM电路模拟验证和解释我们的实验结果。我们还描述了降低电源电压和错误位置，存储的数据模式，DRAM温度和数据保持之间的各种关系。基于我们的观察，我们提出了一种新的DRAM能量降低机制，称为Voltron。Voltron的关键思想是使用性能模型来确定我们可以在不引入错误和不超过用户指定的性能损失阈值的情况下降低多少电源电压。Voltron将平均系统能耗降低了7.3%，同时将各种工作负载的平均系统性能损失限制在仅1.8%。
2017-05-29 cs.AR
Understanding RowHammer Under Reduced Refresh Latency: Experimental Analysis of Real DRAM Chips and Implications on Future Solutions
本文基于388个真实DDR4芯片实验分析刷新延迟与RowHammer的关系，提出PaCRAM以部分电荷恢复降低五种现有缓解机制的性能、能耗和面积开销。
2025-02-17 cs.AR cs.CR
DRMap: A Generic DRAM Data Mapping Policy for Energy-Efficient Processing of Convolutional Neural Networks
Technische Universität Wien（维也纳工业大学）
许多卷积神经网络（CNN）加速器面临着性能和能效挑战，这对于嵌入式实现至关重要，因为DRAM访问延迟和能耗很高。最近，一些DRAM架构已经被提出来利用子阵列级并行来减少访问延迟。为此，我们提出了一种设计空间探索方法来研究不同的DRAM架构上的不同映射策略的延迟和能量，并确定帕累托最优的设计选择。结果表明，能量有效的DRAM访问可以通过映射策略，有序的优先级，以最大限度地提高行缓冲器的命中，银行和子阵列级的并行性。
2020-04-21 cs.AR cs.LG
DR-STRaNGe: End-to-End System Design for DRAM-based True Random Number Generators
随机数生成是包括密码算法、科学模拟和工业测试工具在内的各种关键应用中的重要任务。真随机数发生器（TRNG）通过对物理熵源进行采样来产生真正的随机数据，该物理熵源通常需要定制硬件并且具有长延迟。为了在商品设备上实现高带宽和低延迟的TRNG，最近的工作提出了使用DRAM作为熵源的TRNG。虽然先前的工作展示了有前途的DRAM为基础的TRNG，这样的机制到真实系统的集成带来了挑战。我们确定了在当前系统中使用基于DRAM的TRNG的三个挑战：（1）由于RNG和存储器控制器中的常规存储器操作之间的干扰（即，RNG干扰），（2）该RNG干扰可以通过不公平地优先化密集使用随机数的应用（即，RNG应用），以及（3）由于高RNG延迟，RNG应用可能经历显著的减速。我们提出了DR-STRaNGe，一个端到端的系统设计的DRAM为基础的TRNG，（1）减少RNG的干扰，通过分离RNG请求从常规的请求在内存控制器，（2）提高了系统的公平性与RNG感知内存请求调度器，（3）隐藏大TRNG延迟使用一个新的DRAM空闲预测，准确地识别空闲DRAM周期的随机数缓冲机制。我们评估DR-STRaNGe使用一组186多程序工作负载。与RNG无关基线系统相比，DR-STRaNGe将非RNG和RNG应用的平均性能分别提高了17.9%和25.1%。DR-STRaNGe将系统公平性平均提高了32.1%，并将平均能耗降低了21%…
2022-06-06 cs.AR
Design Guidelines for High-Performance SCM Hierarchies
随着新兴的存储级存储器（SCM）接近商业化，有证据表明，它将提供备受期待的高密度和访问时间只有几个因素的DRAM。然而，内存驻留服务的延迟敏感特性使得SCM在服务器中的无缝集成成问题。在本文中，我们问的问题，如何最好地引入SCM的服务器，以提高整体性能/成本比现有的DRAM的唯一架构。我们首先表明，即使是最乐观的延迟预测SCM，较高的内存访问延迟的结果在禁止性能下降。然而，我们发现，部署一个中等大小的高带宽的3D堆叠DRAM高速缓存的性能，主要是一个SCM的内存系统的竞争力。存储器驻留服务所展现的高度空间局部性不仅简化了DRAM高速缓存的基于页面的设计，而且还使得能够摊销增加的SCM访问延迟并减轻SCM的读/写延迟差异。我们确定了一组存储层次结构的设计参数，在存储系统的性能和成本中起着关键作用，结合SCM技术和3D堆叠DRAM高速缓存。然后，我们介绍了一种方法，以推动这些设计参数下的目标性能/成本目标的配置。最后，我们使用我们的方法来得出具体的结果，为特定的SCM技术。与PCM作为一个案例研究，我们表明，一个两个比特/单元技术的性能/成本的甜蜜点，降低了40%的存储器子系统的成本，同时保持性能在3%的最佳性能的DRAM仅系统，而单级和三级细胞组织是不切实际的使用作为存储器的替代品。
2019-03-07 cs.AR
Adaptive Multi-Objective Tiered Storage Configuration for KV Cache in LLM Service
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
Kareto通过自适应资源管理优化LLM服务中的KV缓存配置，提升吞吐量、降低延迟和成本。
2026-02-25 cs.AR cs.DC
HiRA: Hidden Row Activation for Reducing Refresh Latency of Off-the-Shelf DRAM Chips
DRAM是现代主存储器系统的构建块。DRAM单元必须定期刷新以防止数据丢失。刷新操作会干扰内存访问，从而降低系统性能。随着DRAM芯片密度随着技术节点缩放而增加，刷新操作也增加，因为：1）芯片中的DRAM行的数量增加;以及2）DRAM单元需要额外的刷新操作以减轻由RowHammer引起的位故障，RowHammer是随着技术节点缩放而变得更糟的故障机制。因此，以低性能开销实现刷新操作至关重要。为此，我们提出了一个新的操作，隐藏行激活（HiRA），和HiRA内存控制器（HiRA-MC）。HiRA通过在访问或刷新同一存储体中的另一行的同时刷新一行来隐藏刷新操作的延迟。与以前的作品不同，HiRA实现了这种并行性，而无需对现成的DRAM芯片进行任何修改。为此，它利用了新的观察结果，即如果行连接到不同的电荷恢复电路，则可以在没有数据丢失的情况下激活同一存储体中的两行。我们的实验表明，56%的真正现成的DRAM芯片，HiRA可以可靠地并行DRAM行的刷新操作与刷新或激活的任何32%的行在同一银行。通过这样做，HiRA将两次刷新操作的总体延迟降低了51.4%。HiRA-MC修改存储器请求调度器以在刷新操作可以与存储器访问或另一刷新同时执行时执行HiRA。我们的系统级评估表明，HiRA-MC将系统性能提高了12.6%和3.73倍，因为它减少了由于定期刷新和RowHammer保护刷新（预防性刷新）而导…
2022-09-21 cs.AR cs.CR
Shared-PIM: Enabling Concurrent Computation and Data Flow for Faster Processing-in-DRAM
Shared-PIM通过在DRAM内存库中策略性分配行并利用内存外设，实现同一内存库内并发计算与数据传输，相比LISA降低数据移动延迟和能耗，集成到pLUTo后显著提升矩阵乘法、多项式乘法、数值传输及图处理任务性能，面积开销仅7.16%。
2025-05-07 cs.AR
A Memory Controller with Row Buffer Locality Awareness for Hybrid Memory Systems
非易失性存储器（NVM）是一类有前途的可扩展存储器技术，可以在相同的成本点上提供比DRAM更高的容量。遗憾的是，NVM的访问延迟和能量通常高于DRAM，而NVM的耐久性较低。许多DRAM-NVM混合存储器系统使用DRAM作为NVM的高速缓存，以实现DRAM的低访问延迟、低能量和高耐久性，同时利用NVM的大容量。混合存储器系统的一个关键问题是在DRAM中缓存什么数据，以最好地利用每种技术的优点，同时尽可能避免每种技术的缺点。我们提出了一种新的存储器控制器的设计，提高混合存储器的性能和能源效率。我们观察到DRAM和NVM组都采用行缓冲器，行缓冲器充当最近访问的存储器行的高速缓存。作为行缓冲器命中的访问在DRAM和NVM两者中引起类似的延迟（和能量消耗），而作为行缓冲器未命中的访问在NVM中比在DRAM中引起更长的延迟（和更高的能量消耗）。为了利用这一点，我们设计了一个策略，高速缓存频繁地在NVM行缓冲区到DRAM中的未命中的重复使用的数据。我们的策略跟踪NVM中最近使用的行的行缓冲器未命中计数，并在DRAM中缓存预测将引起频繁的行缓冲器未命中的行。我们提出的政策还考虑到高写延迟的NVM，除了行缓冲区的地方，更有可能的地方写密集的页面在DRAM中，而不是NVM。
2018-04-30 cs.AR
Proteus: Enabling High-Performance Processing-Using-DRAM with Dynamic Bit-Precision, Adaptive Data Representation, and Flexible Arithmetic
针对现有DRAM内处理（PUD）存在的静态数据表示效率低、仅支持吞吐量导向执行、高精度运算延迟高三大问题，提出硬件框架Proteus，通过动态位精度调整、跨阵列并发运算和自适应数据表示与算法，有效降低PUD运算延迟与能耗。
2025-06-12 cs.AR cs.DC
TicToc: Enabling Bandwidth-Efficient DRAM Caching for both Hits and Misses in Hybrid Memory Systems
本文研究了混合DRAM + 3D-XPoint存储器的带宽效率DRAM缓存。3D-XPoint正在成为DRAM的可行替代品，因为它支持高容量和非易失性主存储器系统;然而，3D-XPoint的读取速度慢4- 8倍，写入速度更差。因此，在3D-XPoint之前的有效DRAM缓存对于实现高容量、低延迟和高写入带宽存储器非常重要。DRAM缓存设计有两种主要方法：（1）内部标签缓存行（TIC）组织，通过将标签存储在每条线旁边，以便一次访问既获得标签又获得数据，来优化命中，以及（2）外部标签缓存行（TOC）组织，通过将来自多个数据线的标签存储在一起，以优化未命中，以便一次标签访问获得多个数据线的信息。理想情况下，我们希望TIC具有低命中延迟，TOC具有低未命中带宽。为此，我们提出了TicToc，一个提供TIC和TOC的组织，以获得两者的命中和错过的好处。然而，我们发现，单纯地将两者结合起来实际上比TIC执行得更差，因为需要支付带宽来维护两个元数据。这项工作的主要贡献是开发架构技术，以减少维护TIC和TOC元数据的带宽。我们发现大部分的带宽成本是由于维护TOC脏位。我们提出了DRAM缓存脏位，它携带DRAM缓存脏信息的最后一级缓存，修剪重复的脏位检查已知的脏线。然后，我们提出了先发制人的脏标记，它预测哪些行将被写入，并在安装时主动标记脏位，以摊销初始脏位更新。我们对具有3D-XPoint内存的4…
2019-07-04 cs.AR
Enabling the Adoption of Processing-in-Memory: Challenges, Mechanisms, Future Research Directions
多年来，DRAM技术的扩展性差，导致基于DRAM的主存越来越成为一个更大的系统瓶颈。瓶颈的一个主要原因是存储在DRAM中的数据必须在任何计算发生之前通过引脚有限的内存通道移动到CPU。这需要很高的延迟和能量开销，并且数据通常不能从CPU中的缓存中受益，从而难以分摊开销。现代3D堆叠DRAM架构包括逻辑层，其中计算逻辑可以集成在同一芯片内的DRAM单元阵列的多层之下。架构师可以利用逻辑层来执行内存处理（PIM）或近数据处理。在PIM架构中，DRAM内的逻辑层可以访问3D堆叠DRAM内可用的高内部带宽（其远大于DRAM和CPU之间可用的带宽）。因此，PIM架构可以有效地释放宝贵的存储器通道带宽，同时降低系统能耗。当我们将计算逻辑添加到DRAM时，会出现许多重要的问题。特别地，该逻辑不具有对现代应用执行所必需的公共CPU结构的低延迟访问，诸如虚拟内存和缓存一致性机制。为了便于PIM的广泛采用，我们希望保持传统的虚拟内存抽象和共享内存编程模型。这需要高效的机制，可以为DRAM中的逻辑提供对CPU结构的访问，而不必频繁地与CPU通信。为此，我们提出并评估两个通用的解决方案，最大限度地减少不必要的片外通信PIM架构。我们发现，这两种机制提高了许多重要的内存密集型应用程序的性能和能耗。
2018-02-01 cs.AR
EdgeDRNN: Recurrent Neural Network Accelerator for Edge Inference
低延迟、低功耗便携式循环神经网络（RNN）加速器为物联网、机器人和人机交互等实时应用提供强大的推理能力。我们提出了一种基于门控循环单元（GRU）的轻量级RNN加速器，称为EdgeDRNN，它针对批量大小为1的低延迟边缘RNN推理进行了优化。EdgeDRNN采用了受脉冲神经网络启发的Delta网络算法来利用RNN的时间稀疏性。权重存储在便宜的DRAM中，这使得EdgeDRNN能够在最便宜的FPGA上计算大型多层RNN。稀疏更新将DRAM权重存储器访问减少多达10倍，并且可以动态地改变增量以在延迟和准确性之间进行权衡。EdgeDRNN在大约0.5ms内更新500万个参数的2层GRU-RNN。它实现了与92 W Nvidia 1080 GPU相当的延迟。它在延迟方面比NVIDIA Jetson Nano、Jetson TX 2和Intel Neural Compute Stick 2高出5倍。对于批量大小为1的情况，EdgeDRNN实现了20.2GOp/s的平均有效吞吐量和比商业边缘AI平台高出4倍以上的墙壁插头功率效率。
2020-12-25 cs.AR
HTM-EAR: Importance-Preserving Tiered Memory with Hybrid Routing under Saturation
HTM-EAR通过混合路由和重要性感知淘汰，在内存饱和条件下有效管理事实，保持查询精度并控制历史遗忘。
2026-02-27 cs.AI cs.AR cs.LG
Self-Managing DRAM: A Low-Cost Framework for Enabling Autonomous and Efficient in-DRAM Operations
提出自管理DRAM（SMD）架构，将维护操作控制从内存控制器移至芯片内部，通过单一接口修改实现自主维护与延迟重叠，平均加速4.1%，低成本且开源。
2025-08-06 cs.AR cs.CR
PENDRAM: Enabling High-Performance and Energy-Efficient Processing of Deep Neural Networks through a Generalized DRAM Data Mapping Policy
New York University（纽约大学）
PENDRAM提出一种广义DRAM数据映射策略及设计空间探索方法，通过优化CNN加速器的DRAM访问延迟与能耗，实现高性能高能效的嵌入式AI推理加速。
2024-08-05 cs.AI cs.AR cs.LG
VAR-DRAM: Variation-Aware Framework for Efficient Dynamic Random Access Memory Design
动态随机存取存储器（DRAM）是主存储器设备的事实上的选择，由于其成本效益。与SRAM相比，它提供了更大的容量和更高的带宽，但比后者慢。随着每一代人的过去，DRAM的密度越来越大。其副作用之一是标称参数的偏差：工艺、电压和温度。DRAM通常被认为是系统的瓶颈，因为它在性能与容量之间进行权衡。由于这种固有的限制，进一步偏离标称规格是不希望的。在本文中，我们调查的影响，在传统的DRAM设备的性能，可靠性和能源需求方面的变化。基于这项研究，我们建立了一个变化感知框架，称为VAR-DRAM，针对现代DRAM设备。它通过考虑变化来提供增强的电源管理。VAR-DRAM确保程序的更快执行，因为它在内部将数据从受变化影响的单元重新映射到正常单元，并确保数据保存。在广泛的实验中，我们发现VAR-DRAM实现了高达48.8%的峰值节能，DDR4存储器的平均节能率为29.54%，同时与受变化影响的设备相比，DRAM的访问延迟提高了7.4%。
2022-01-18 cs.AR
Accelerating Bulk Bit-Wise X(N)OR Operation in Processing-in-DRAM Platform
随着冯诺依曼计算架构努力解决当今计算和内存密集型大数据分析任务，内存处理（PIM）平台正在获得越来越多的关注。通过这种方式，DRAM架构中的处理通过显著降低数据传输能量和延迟而取得了显著的成功。然而，当处理寻求批量逐位X（N）OR或加法运算的更复杂的应用时，尽管利用了最大的内部DRAM带宽和存储器内并行性，这种系统的性能还是会不可避免地降低。在本文中，我们开发DRIM平台，利用DRAM作为计算存储器，并将其转换为一个基本的处理单元。DRIM使用DRAM子阵列的模拟操作，并基于一种新的双行激活机制，对诸如读出放大器的外围电路进行适度的改变，将其提升以实现存储在同一位线中的操作数之间的逐位X（N）OR操作。模拟结果表明，DRIM在执行批量逐位X（N）OR运算时，平均吞吐量分别比CPU和GPU高出71倍和8.4倍。此外，DRIM优于最近的DRAM处理平台，性能提高了3.7倍。
2019-04-11 cs.AR
LMB: Augmenting PCIe Devices with CXL-Linked Memory Buffer
本文提出LMB，一种利用CXL内存扩展器解决PCIe设备板载DRAM短缺的可扩展方案，通过低延迟CXL补充设备内存且对性能影响极小。
2024-06-04 cs.AR
RCW-CIM: A Digital CIM-based LLM Accelerator with Read-Compute/Write
National Yang Ming Chiao Tung University（国立阳明交通大学）；Industrial Technology Research Institute（工业技术研究院）
本文提出RCW-CIM架构，通过减少权重更新延迟和非线性操作融合，实现LLM加速，使Llama2-7B模型解码延迟降低21.59%，并提升能效。
2026-04-30 cs.AR
LaKe: An Energy Efficient, Low Latency, Accelerated Key-Value Store
键值存储是一种流行的云计算应用类型。键值存储应用程序的性能已被证明对数据中心内的负载非常敏感，特别是对延迟非常敏感。随着数据中心内的负载增加，在不超过主机的处理能力和机架的功率预算的情况下维持键值存储应用的性能变得越来越困难。在本文中，我们提出了Lake：一个低延迟，高能效的键值存储设计的云应用程序。LaKe是一个模块化设计，结合了多核和缓存分层，无论是在硬件和软件。LaKe实现了全线速吞吐量，同时保持了1.1us的延迟和比现有基于硬件的memcached设计更好的能效。使用我们的设计的模块化，我们研究权衡使用片上存储器，SRAM和DRAM的加速设计，并为未来的架构提供见解。
2018-05-29 cs.AR
Prefetcher-based DRAM Architecture
处理器技术的进步使处理数据密集型工作负载变得容易，但限制主内存的进步造成了性能瓶颈。在DRAM中，随着单元密度的增加，DRAM访问延迟得到了改善，并且每位成本降低。但是DRAM数据传送率仍然落后于当前一代处理器的处理速度。由于基于硬件的内存改进一直在以较慢的速度进行，为了应对高端处理器，预测技术，替换策略等架构级改进是主要主题。在最近的研究领域中，数据预测是一个热门话题，因为正确的预测可以通过使用数据访问趋势和行为预先预测数据来减少多余的存储器访问量，从而提高性能。虽然预测技术已经在大多数计算机体系结构中实现，但我们建议在DRAM级体系结构（如TL-DRAM和CROW）中实现数据预测。这两种方法都将DRAM分配到不同的部分，这些部分包含更快的较小部分和包含大量数据但相对较慢的较大部分。我们希望在这些存储器部分之间使用数据预测，以将预测的数据传输到更快的部分，从而通过减少存储器访问时间来提高整体性能。
2021-05-21 cs.AR
FPGA-based Emulation and Device-Side Management for CXL-based Memory Tiering Systems
School of Computer Science, Peking University（北京大学计算机学院）
针对CXL异构内存分层系统在评估与硬件管理上的挑战，本文提出基于FPGA的仿真平台HeteroBox及设备侧硬件管理方案HeteroMem，实现对CPU透明的数据迁移，性能提升5.1%至16.2%。
2025-11-04 cs.AR
Addressing multiple bit/symbol errors in DRAM subsystem
随着DRAM技术继续朝着更小的特征尺寸和增加的密度发展，DRAM子系统中的故障变得更加严重。当前的服务器大多使用基于CHIPKILL的方案来容忍每个DRAM节拍高达一个/两个符号错误。由于多个数据总线和芯片中的故障而产生的多符号错误可能不会被这些方案检测到。在本文中，我们介绍了单符号校正多符号检测（SSCMSD）-一种新的错误处理方案，以纠正单符号错误和检测多符号错误。我们的方案利用哈希结合纠错码（ECC），以避免沉默的数据损坏（SDC）。SSCMSD还可以增强检测地址位中的错误的能力。我们采用32位CRC和Reed-Solomon码来实现基于x4的DDRx系统的SSCMSD。我们的仿真结果表明，该方案有效地防止SDC在存在多个符号错误。我们的新颖设计使我们能够在不引入额外读取延迟的情况下实现这一点。此外，我们需要每列19个芯片（存储开销为18.75%），76条数据总线线和存储器控制器处的附加散列逻辑。
2020-02-22 cs.AR
CXDVirt: Low Latency Kernel Module Based CXL-SSD Emulation
Sogang University（西江大学）；ETRI（韩国电子通信研究院）
提出CXDVirt内核模块仿真器，移除虚拟机开销，通过devdax和自定义缺页路径模拟CXL-SSD双峰延迟，降低未命中延迟1.4-1.6倍，支持策略研究。
2026-10-08 cs.AR cs.ET cs.PF
The Processing Using Memory Paradigm:In-DRAM Bulk Copy, Initialization, Bitwise AND and OR
在现有系统中，芯片外存储器接口允许存储器控制器仅执行读取或写入操作。因此，要执行任何操作，处理器必须首先读取源数据，然后在执行操作后将结果写回内存。对于处理大量数据的操作，这种方法会消耗很高的延迟、带宽和能源。几项工作已经提出了通过在更靠近主内存芯片的地方添加少量计算逻辑来处理内存附近数据的技术。在这篇文章中，我们描述了两种技术，最近的作品，采取这种方法在内存中处理进一步利用主内存技术的底层操作来执行更复杂的任务。首先，我们描述RowClone，一种利用DRAM技术完全在主存内执行批量复制和初始化操作的机制。然后，我们描述了一个互补的工作，使用DRAM执行批量逐位AND和OR操作内的主存储器。这两种技术显著提高了各自操作的性能和能源效率。
2016-10-30 cs.AR
Design Methodologies for Reliable and Energy-efficient PCM Systems
相变存储器（PCM）是一种可扩展且低延迟的非易失性存储器（NVM）技术，其已被提出用作存储类存储器（SCM），提供类似于DRAM的低访问延迟，并且通常接近或超过SSD的容量。PCM的多层次特性也使其在神经形态系统中的采用，以建立高密度的突触存储。我们调查和描述PCM系统的两个重要瓶颈。首先，写入PCM单元比读取其内容引起显著更高的延迟和能量损失。其次，PCM的高工作电压影响其可靠工作。在这项工作中，我们提出了解决瓶颈的方法，提高性能，可靠性，能源消耗和PCM系统的可持续性。
2020-11-27 cs.AR
System-Technology Co-Optimization of Bitline Routing and Bonding Pathways in Monolithic 3D DRAM Architectures
Georgia Institute of Technology（佐治亚理工学院）
本文针对3D DRAM布线和键合限制导致的密度扩展问题，提出基于TCAD和SPICE仿真优化位线结构，实现2.6Gb/mm²的高密度和60%的读写能耗降低。
2026-03-12 cs.AR
SoftMC: Practical DRAM Characterization Using an FPGA-Based Infrastructure
本文总结了发表在HPCA 2017上的SoftMC DRAM表征基础设施，并探讨了这项工作的意义和未来潜力。SoftMC（Soft Memory Controller）是第一个公开的DRAM测试基础设施，可以灵活有效地测试DRAM芯片，软件和硬件开发人员都可以访问。SoftMC是一个基于FPGA的测试平台，可以控制和测试为常用的DDR（双数据率）接口设计的存储器模块。SoftMC有两个关键属性：（i）它提供了彻底控制存储器行为或使用DDR命令实现各种机制的灵活性;（ii）它易于使用，因为它为用户提供了简单直观的高级编程接口，完全隐藏了FPGA的低级细节。我们展示了SoftMC的能力，灵活性和编程的易用性与两个示例用例。首先，我们实施一个测试，其特征在于DRAM单元的保持时间。其次，我们表明，预期的延迟减少两个最近提出的机制，这依赖于访问最近刷新或最近访问的DRAM单元比其他DRAM单元更快，是不可观察的，在现有的DRAM芯片。SoftMC平台的各种版本已经使我们的许多其他DRAM特性研究成为可能。我们讨论了SoftMC的其他几个用例，包括能够表征新兴的非易失性内存模块，遵守DDR标准。我们希望我们的SoftMC开源版本填补了公共实验内存测试基础设施的空白，并激发内存系统设计的新研究，想法和方法。
2018-05-08 cs.AR
Die-Stacked DRAM: Memory, Cache, or MemCache?
堆叠式动态随机存取存储器（DRAM）是满足多核处理器日益增长的内存带宽需求的一种有前途的解决方案。制造技术已经使得能够在有源管芯上堆叠数千兆字节的DRAM模块，从而提供与常规的基于DIMM的DDR存储器相比高数量级的带宽。然而，由于其有限的容量，管芯堆叠DRAM无法容纳现代大数据应用的整个数据集。因此，先前的提议将其用作相当大的存储器侧缓存或作为软件可见的主存储器的一部分。缓存设计可以适应应用程序的动态变化，但遭受标签存储/延迟/带宽开销。另一方面，存储器设计消除了对标记的需要，并且因此提供了对数据的有效访问，但是由于其静态性质而不能捕获应用的动态行为。在这项工作中，我们提出了一种情况下使用的管芯堆叠DRAM部分作为主存储器，部分作为缓存。我们观察到，在现代大数据应用程序中，存在许多具有大量访问的热页面。基于这一观察，我们建议使用一部分管芯堆叠DRAM作为主存储器来托管热页，从而能够在没有标签检查开销的情况下为来自高带宽DRAM的大量访问提供服务，并将DRAM的其余部分作为高速缓存来管理，用于捕获应用程序的动态行为。在该提议中，软件过程预处理应用程序并确定热页，然后要求OS将它们映射到裸片堆叠DRAM的存储器部分。裸片堆叠式DRAM的高速缓存部分由硬件管理，高速缓存芯片外存储器中分配的数据。
2018-09-24 cs.AR
Simple DRAM and Virtual Memory Abstractions to Enable Highly Efficient Memory Systems
在大多数现代系统中，存储器子系统在各种资源处以多个不同粒度被管理和访问。我们观察到，这样的多粒度管理的内存子系统中的显着的低效率的结果。具体地，我们观察到1）页面粒度虚拟内存不必要地触发大内存操作，以及2）现有的高速缓存行粒度内存接口对于执行批量数据操作和表现出差的空间局部性的操作是低效的。为了解决这些问题，本文提出了一系列的技术。首先，我们提出了页面覆盖，一个框架增强了现有的虚拟内存框架的能力，以跟踪一个新版本的一个子集的高速缓存行在每个虚拟页面。我们表明，这种扩展是强大的，通过展示它的好处在一些应用程序。其次，我们表明，DRAM可用于执行更复杂的操作，而不仅仅是存储数据。我们提出了行克隆，一种机制来执行批量数据复制和初始化完全内部的DRAM，和伙伴RAM，一种机制来执行批量逐位操作使用DRAM。这两种技术都实现了相应操作效率的数量级改进。第三，我们提出了聚集分散DRAM，一种技术，利用DRAM组织有效地收集/分散值与2的权力跨越访问模式。对于这些访问模式，GS-DRAM实现了接近理想的带宽和缓存利用率，而不会增加从内存中获取数据的延迟。最后，我们提出了脏块索引，一种新的跟踪脏块的方法。除了提高批量数据一致性的效率外，DBI还有几个应用，包括高性能内存调度、高效缓存查找旁路和支持异构ECC。
2016-05-20 cs.AR
System measurement of Intel AEP Optane DIMM
近年来，内存墙已成为计算机系统的一个巨大性能瓶颈。为了克服这个问题，非易失性主存储器（NVMM）技术已经被广泛讨论，以提供更大的主存储器容量。去年，英特尔发布了AEP Optane DIMM，它提供了数百GB的容量，作为传统DRAM内存的有希望的替代品。但由于AEP的大多数关键参数并不对用户开放，因此有必要了解它们，因为它们将指导NVMM进一步研究的方向。在本文中，我们专注于测量性能和架构特点的AEP DIMM。同时，本文还对DRAM-AEP混合存储系统的重要组成部分DRAM Cache的设计进行了探讨。因此，我们估计的写延迟的AEP DIMM尚未被准确测量。同时，我们也发现目前DRAM快取的设计参数，例如标签组织、快取关联性以及集合索引映射。所有这些特性都是首次发表在学术论文上，这对未来的NVMM优化有很大的帮助。
2020-09-30 cs.AR
PiDRAM: An FPGA-based Framework for End-to-end Evaluation of Processing-in-DRAM Techniques
基于DRAM的主存储器在几乎所有的计算系统中作为主要部件使用。克服主存瓶颈的一种方法是将计算移动到内存附近，这种范式称为内存处理（PiM）。最近的PiM技术提供了一种有前途的方式来提高现有和未来系统的性能和能源效率，而无需额外的DRAM硬件成本。我们开发了DRAM处理（PiDRAM）框架，这是第一个灵活的端到端开源框架，可以使用真正的DRAM芯片进行系统集成研究和真正的PiM技术评估。我们在基于FPGA的平台（Xilinx ZC 706）上演示了PiDRAM的原型，该平台实现了开源RISC-V系统（Rocket Chip）。为了展示PiDRAM的灵活性和易用性，我们实现了两种PiM技术：（1）RowClone，一种DRAM内的复制和初始化机制（使用ComputeDRAM提出的命令序列），以及（2）D-RaNGe，一种基于DRAM激活延迟故障的DRAM内真随机数生成器。我们对RowClone的端到端评估显示，复制的速度提高了14.6倍，CPU复制的初始化操作提高了12.6倍（即，常规的MEMCPY）和初始化（即，常规的Calloc）操作。我们的D-RaNGe实现提供了高吞吐量的真随机数，达到8.30 Mb/s的吞吐量。在PiDRAM提供的Verilog和C++基础上，实现所需的硬件和软件组件，实现RowClone端到端需要198（565）行Verilog（C++）代码，实现D-RaN…
2022-06-01 cs.AR
Exploiting the DRAM Microarchitecture to Increase Memory-Level Parallelism
本文总结了2012年ISCA上发表的DRAM子阵级并行化（SALP）思想，并分析了该工作的意义和未来潜力。现代DRAM具有多个存储体以并行地服务多个存储器请求。然而，当两个请求进入同一个存储体时，它们必须被串行地服务，从而加剧了片上存储器的高延迟。增加更多的银行到系统中，以减轻这个问题会导致高系统成本。我们在这项工作中的目标是以低成本的方式实现增加银行数量的好处。为此，我们提出了三个新的机制，SALP-1，SALP-2，和MASA（激活子阵列的数量），以减少不同的请求，去同一银行的序列化。我们的机制所利用的关键观察是，现代DRAM银行实现为子阵列的集合，这些子阵列在很大程度上独立运行，同时共享很少的全局外围结构。我们提出的三种机制通过重叠多个请求的银行访问延迟的不同组件来减轻银行序列化的负面影响，这些请求去往同一银行内的不同子阵列。SALP-1不需要改变现有的DRAM结构，只需要重新解释一些现有的DRAM时序参数。SALP-2和MASA只需要对DRAM外围结构进行适度的更改（< 0.15%的面积开销），这比DRAM核心的设计约束要少得多。我们的评估表明，SALP-1、SALP-2和MASA显著提高了单核系统（7%/13%/17%）和多核系统（15%/16%/20%）的性能，平均在各种工作负载下。我们还表明，我们的机制可以结合应用程序感知的内存请求调度在多核系统中，以进一步提高性能和…
2018-05-04 cs.AR
Performance Characterizations and Usage Guidelines of Samsung CXL Memory Module Hybrid Prototype
针对数据密集型工作负载，本文首次公开表征了三星CMM-H（CXL内存模块混合）FPGA原型，验证其基于NAND闪存的内存设备可运行多种应用，并提供使用指南以优化性能。
2025-03-27 cs.AR
