Exploiting Inter- and Intra-Memory Asymmetries for Data Mapping in Hybrid Tiered-Memories
现代计算系统正在采用由DRAM和非易失性存储器(NVM)组成的混合存储器,以组合两种存储器技术的最佳特性,从而实现低延迟、高可靠性和高密度。DRAM-NVM混合存储器的一个突出特征是其NVM访问延迟比DRAM访问延迟高得多。我们称之为记忆间不对称。我们观察到,寄生组件上的一个长的DRAM和NVM中的高延迟的主要来源,并在NVM中,这影响其可靠性的高电压操作的一个重要因素。我们提出了一个架构的变化,在DRAM和NVM中的每个长存储器被分成两个部分的隔离晶体管。一个段可以以比另一个段更低的延迟和工作电压被访问。通过引入层,我们使每个存储器类型内的非均匀访问(我们称之为内存内不对称),导致性能和可靠性的DRAM-NVM混合存储器的权衡。我们以三种方式扩展现有的NVM-DRAM操作系统。首先,我们利用内存间和内存内的不对称性来分配和迁移DRAM和NVM层之间的内存页面。其次,我们通过预测程序中新引用的内存页面的访问强度并在初始分配期间将其放置到匹配层来改进操作系统的页面分配决策。这最大限度地减少了程序执行期间的页面迁移,降低了性能开销。第三,我们提出了一个解决方案,在同一内存的层之间迁移页面,而不通过内存通道传输数据,最大限度地减少通道占用,提高性能。我们的整体方法,我们称之为MNEME,启用和利用DRAM-NVM混合分层存储器中的不对称性,提高了单核和多编程工作负载的性能和可靠性。
2020-05-10 cs.AR cs.OS
Piezoelectric Strain FET (PeFET) based Non-Volatile Memories
本文提出基于压电/铁电材料与2D-TMD耦合的PeFET非易失性存储器,通过极化翻转写入和动态带隙调制读取,并给出多种架构,显著降低面积与读写能耗。
2022-04-05 cs.AR cs.ET
System measurement of Intel AEP Optane DIMM
近年来,内存墙已成为计算机系统的一个巨大性能瓶颈。为了克服这个问题,非易失性主存储器(NVMM)技术已经被广泛讨论,以提供更大的主存储器容量。去年,英特尔发布了AEP Optane DIMM,它提供了数百GB的容量,作为传统DRAM内存的有希望的替代品。但由于AEP的大多数关键参数并不对用户开放,因此有必要了解它们,因为它们将指导NVMM进一步研究的方向。在本文中,我们专注于测量性能和架构特点的AEP DIMM。同时,本文还对DRAM-AEP混合存储系统的重要组成部分DRAM Cache的设计进行了探讨。因此,我们估计的写延迟的AEP DIMM尚未被准确测量。同时,我们也发现目前DRAM快取的设计参数,例如标签组织、快取关联性以及集合索引映射。所有这些特性都是首次发表在学术论文上,这对未来的NVMM优化有很大的帮助。
2020-09-30 cs.AR
CRAFT: Criticality-Aware Fault-Tolerance Enhancement Techniques for Emerging Memories-Based Deep Neural Networks
深度神经网络(DNN)已经成为计算机视觉和自然语言处理应用的最有效的编程范例。随着DNN的快速发展,用于在边缘设备上部署基于DNN的应用的高效硬件架构已经得到了广泛的研究。新兴的非易失性存储器(NVM)具有更好的可扩展性,非易失性和良好的读取性能,被认为是部署DNN的有希望的候选者。然而,尽管有这样的前景,新兴的NVM经常遭受可靠性问题,如固定故障,这会降低芯片产量/存储器寿命,并严重影响DNN的准确性。固定单元可以被读取但不能被重新编程,因此,NVM中的固定故障可能会或可能不会导致错误,这取决于要存储的数据。通过减少由固定故障引起的错误数量,可以增强基于DNN的系统的可靠性。本文提出了CRAFT,即,关键性感知容错增强技术,用于增强基于NVM的DNN在存在固定故障时的可靠性。数据块重映射技术用于减少固定故障对DNN准确性的影响。此外,通过对各种DNN执行比特级关键性分析,可以识别网络参数中可能显著影响准确性的关键比特位置。基于这种分析,我们提出了一种编码方法,有效地交换的关键位的位置与非关键位时,更多的错误(由于固定故障)存在于关键位。
2023-02-08 cs.AR cs.NE
Supporting Superpages and Lightweight Page Migration in Hybrid Memory Systems
超页长期以来一直被用于减轻大型内存系统中的地址转换开销。然而,超页通常排除轻量页迁移,轻量页迁移对于由DRAM和非易失性存储器(NVM)组成的混合存储器系统中的性能和能量效率至关重要。在本文中,我们提出了一种名为\textit{Rainbow}的新型存储管理机制,以弥合超级页面和轻量级页面迁移之间的根本冲突。\textit{Rainbow}以超页粒度管理NVM,并使用DRAM来高速缓存每个超页中的频繁访问(热)小页。相应地,\textit{Rainbow}利用拆分的TLB来支持不同的页面大小。通过引入有效的热页识别机制和新颖的NVM到DRAM地址重映射机制,\textit{Rainbow}支持轻量级页迁移,同时不分裂超页。实验结果表明,与不支持超页的最新内存迁移策略相比,Rainbow可以将应用程序的TLB未命中率降低99.8%,并将应用程序性能(IPC)提高2.9倍(平均43.0%)。
2018-06-03 cs.AR
DeepNVM++: Cross-Layer Modeling and Optimization Framework of Non-Volatile Memories for Deep Learning
Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
非易失性存储器(NVM)技术(诸如自旋转移矩磁性随机存取存储器(STT-MRAM)和自旋轨道矩磁性随机存取存储器(SOT-MRAM))由于其非易失性、更高的单元密度和可缩放性特征而与常规SRAM相比具有显著的优点。虽然以前的工作已经研究了NVM对通用应用程序的几种架构影响,但在这项工作中,我们提出了DeepNVM++,这是一个框架,通过结合技术特定的电路级模型和各种DL工作负载的实际内存行为,来表征,建模和分析GPU架构中基于NVM的缓存,用于深度学习(DL)应用程序。我们提出了等容量和等面积的性能和能量分析系统的最后一级缓存依赖于传统的SRAM和新兴的STT-MRAM和SOT-MRAM技术。在等容量情况下,与传统SRAM相比,STT-MRAM和SOT-MRAM分别提供高达3.8倍和4.7倍的能量延迟乘积(EDP)减少以及2.4倍和2.8倍的面积减少。在等面积假设下,与SRAM相比,STT-MRAM和SOT-MRAM分别提供高达2倍和2.3倍的EDP减少,并容纳2.3倍和3.3倍的缓存容量。我们还进行了可扩展性分析,并表明,STT-MRAM和SOT-MRAM实现的数量级EDP减少相比,SRAM的大缓存容量。我们全面的跨层框架在STT-/SOT-MRAM技术上得到了演示,可用于DL应用中GPU末级缓存的任何NVM技术的表征、建模和分析。
2020-12-08 cs.AR cs.LG
Extending Memory Capacity in Consumer Devices with Emerging Non-Volatile Memory: An Experimental Study
本文首次在真实 Chromebook 上实验分析使用 Intel Optane SSD 作为 DRAM 交换空间扩展主存容量的性能与能耗,并与双倍 DRAM 基线及 NAND 闪存交换空间系统对比。
2023-09-19 cs.AR cs.PF
Hardware Memory Management for Future Mobile Hybrid Memory Systems
针对移动应用内存需求增长和DRAM局限,提出硬件加速内存管理器HMMU,统一管理DRAM与NVM,通过数据放置与迁移策略降低延迟和NVM写入,实验显示能耗降低39%,性能仅降12%。
2020-04-12 cs.AR cs.OS
Memos: Revisiting Hybrid Memory Management in Modern Operating System
混合DRAM/NVM体系结构的出现对操作系统中现有的存储管理机制提出了挑战。在本文中,我们介绍了备忘录,它可以调度整个存储层次结构,包括高速缓存,通道,主存储器包括DRAM和NVM的同时存储资源。在我们新设计的内核级监控模块和页面迁移引擎的支持下,memos可以根据在线存储模式、当前资源利用率和存储介质的特性,动态地优化数据在存储层次结构上的放置。我们的实验结果表明,备忘录可以实现高的内存利用率,对系统吞吐量的19.1%和服务质量的23.6%的平均贡献。此外,memo可以将NVM侧存储器延迟降低3~ 83.3%,能耗降低25.1~ 99%,并显著提高NVM寿命(平均提高40倍)。
2017-03-22 cs.AR cs.OS
Optimizing Placement of Heap Memory Objects in Energy-Constrained Hybrid Memory Systems
主存储器(DRAM)显著影响整个服务器系统的功率和能量利用。非易失性存储器(NVM)装置(例如相变存储器和自旋转移力矩RAM)是主存储器的合适候选者以减少能量消耗。但与DRAM不同的是,NVM访问延迟比DRAM高,NVM写入比DRAM写入操作对能量更敏感。因此,已经提出了采用DRAM和NVM的混合主存储器系统(HMMS),以减少主存储器的总体能量消耗,同时优化NVM的性能。本文提出了eMap,一个最佳的堆内存对象放置规划器在HMMS。eMap考虑了应用程序级的对象级访问模式和能耗,并为每个对象提供理想的放置策略,以提高性能和能源利用率。eMap配备了两个模块,eMPlan和eMDyn。具体而言,eMPlan是一个静态布局规划器,它为内存对象提供一次布局策略,以满足能量预算,而eMDyn是一个运行时布局规划器,考虑在运行时期间能量限制约束的变化,并通过考虑访问模式以及在能量和性能方面的迁移成本来洗牌内存对象。评估表明,我们提出的解决方案满足能量限制约束和性能。我们比较我们的方法与最先进的内存对象分类和分配(MOCA)框架。我们的广泛评估表明,我们提出的解决方案,eMPlan符合能源约束,成本降低4.17倍,并在相同的性能下减少能源消耗高达14%。eMDyn还满足性能和能量要求,同时考虑时间和能量方面的迁移成本。
2020-06-23 cs.AR cs.ET cs.OS
NOM: Network-On-Memory for Inter-Bank Data Transfer in Highly-Banked Memories
数据复制是许多程序和操作系统服务中广泛使用的存储器操作。在传统的计算机中,数据复制通常由两个单独的读写事务来执行,这两个事务在DRAM芯片和处理器芯片之间来回传递数据。一些现有机制提出通过使用DRAM芯片中的共享内部总线来直接复制DRAM芯片内的数据来避免这种不必要的数据移动(例如,两个DRAM存储体之间)。虽然这些方法与传统技术相比表现出优越的性能,但是跨不同DRAM库的数据复制仍然比在同一DRAM库内的数据复制慢得多。因此,这些技术对于新兴的3D堆叠存储器(例如,HMC和HBM),其包含跨多个存储器控制器的数百个DRAM组。在本文中,我们提出了内存网络(NoM),一个轻量级的银行间数据通信计划,使直接数据复制跨两个存储体的三维堆叠存储器。NoM采用基于TDM的电路交换设计,其中电路设置由存储器控制器完成。与最先进的方法相比,NoM实现了多个DRAM存储体之间的快速数据复制和并发数据传输操作。我们的评估表明,与基线传统3D堆叠DRAM架构和最先进的技术相比,NoM将数据密集型工作负载的性能平均提高了3.8倍和75%。
2020-04-21 cs.AR
LRMP: Layer Replication with Mixed Precision for Spatial In-memory DNN Accelerators
针对基于 NVM 的空间型存内 DNN 加速器中层处理时间不均与面积受限问题,LRMP 结合强化学习和整数线性规划联合搜索层复制与混合精度量化方案,在等精度下显著降低延迟并提升吞吐量。
2023-12-05 cs.AR
Modeling and Simulating Emerging Memory Technologies: A Tutorial
本教程通过四个案例研究展示了一个用于新兴非易失性存储器(NVM)架构探索与软硬件协同设计的开源仿真工具链,覆盖混合主存与缓存、存内计算和磨损均衡等系统设计领域。
2025-03-10 cs.AR
FPGA-based Hyrbid Memory Emulation System
针对混合内存系统设计探索中仿真速度慢的问题,提出基于FPGA的仿真平台,利用硬IP ARM处理器加速,相比Gem5实现9280倍仿真加速。
2020-11-09 cs.AR
Efficient Similarity-aware Compression to Reduce Bit-writes in Non-Volatile Main Memory for Image-based Applications
图像位图在内存应用中得到了广泛的应用,它消耗了大量的存储空间和能量。与传统DRAM相比,非易失性存储器(NVM)由于在容量和功率节省方面的显著特征而适合于位图存储。然而,与读取相比,NVM在写入中遭受更高的延迟和能量消耗。虽然在对NVM的写访问中实时压缩数据减少了NVM中的位写入,但是由于数据的不规则数据模式和变化,现有的精确或近似压缩方案对于位图的数据显示出有限的性能改进。我们观察到,包含位图的数据显示像素级的相似性,由于在相邻像素的类似内容。通过利用像素级的相似性,我们提出了SimCom,一个有效的相似性感知的压缩方案在硬件层,压缩数据的每个写访问的飞行。SimCom背后的想法是将连续的相似单词压缩成具有游程的基本单词对。借助图像的领域知识,SimCom自适应地选择合适的压缩模式,以实现图像质量和存储性能之间的有效平衡。我们使用NVMain在GEM 5上实现了SimCom,并使用真实工作负载评估了性能。我们的研究结果表明,SimCom减少33.0%,34.8%的写延迟,并节省28.3%,29.0%的能源比国家的最先进的FPC和BDI与轻微的质量损失为3%。
2019-05-07 cs.AR cs.PF
On the Off-chip Memory Latency of Real-Time Systems: Is DDR DRAM Really the Best Option?
在多核实时的【形】系统中,访问共享存储器时的可预测执行时间是一个严格的要求。大量现有工作都集中在双数据率动态随机存取存储器(DDR DRAM)的分析上,或重新设计其存储器以提供可预测的存储器行为。在本文中,我们表明,DDR DRAM的建设遭受与实现这种可预测性的固有限制。这些限制导致1)高度可变的访问延迟,其基于各种因素(诸如来自先前访问的访问模式和存储器状态)而波动,以及2)过度悲观的延迟界限。结果,DDR DRAM可能不适合于要求具有严格时序约束的严格可预测性能的某些实时的【形】系统。针对这些系统,我们提出了一种替代的片外存储器解决方案,是基于新兴的减少延迟DRAM(RLDRAM)协议,并提出了一个可预测的内存控制器(RLDC)管理访问此内存。与最先进的可预测DDR控制器相比,所提出的解决方案提供了高达11倍的时间可变性和6.4倍的最坏情况下的内存延迟减少。
2018-10-16 cs.AR
Virtual Coset Coding for Encrypted Non-Volatile Memories with Multi-Level Cells
PCM是用于分层存储器系统中的DRAM主存储器的流行的后备存储器。PCM具有不对称的访问能量;写入支配读取。MLC不对称性可以变化一个数量级。已经开发了许多方案来利用数据中0和1的非对称模式来减少写入能量。由于内存是非易失性的,因此可以通过物理攻击或跨系统重启周期恢复数据。为了保护存储在PCM中的信息免受这些攻击,需要加密。不幸的是,大多数加密算法都会对数据中的0和1进行加密,从而有效地消除了任何模式,并对利用数据偏差和相似性来降低写入能量的方案产生了负面影响。在本文中,我们介绍了虚拟陪集编码(VCC)作为一种独立于工作负载的方法,减少了昂贵的符号转换存储加密数据。VCC基于两个想法。首先,使用具有随机陪集候选者的陪集编码,可以有效地减少写入加密数据时代价高昂的比特/符号转换的频率。第二,可以使用随机子串的小集合来实现与大量随机陪集候选相同的编码效率,但是以低得多的编码/解码成本。此外,我们还演示了如何利用VCC来降低能耗,并结合故障缓解和容错,以大幅增加受限制的NVM(如PCM)的寿命。我们评估VCC的设计,并证明它可以实现在片上只有一个名义面积开销。VCC在保持相同性能的同时,将动态能量降低了22-28%。使用我们的多目标优化方法,与最先进的存储器相比,寿命至少提高了36%,与未编码的存储器相比,寿命至少提高了50%,同时保持了其节能和系统性能。
2021-12-03 cs.AR
DRAMA: Commodity DRAM based Content Addressable Memory
DRAMA利用商品DRAM实现CAM、TCAM及近似搜索功能,通过位串行比较和非标准时序实现AND/OR操作,在细菌DNA分类中性能提升3.6倍、功耗降低19.6倍。
2023-12-24 cs.AR
A Cycle-level Unified DRAM Cache Controller Model for 3DXPoint Memory Systems in gem5
为了适应当今应用的不断增长的存储器占用空间,CPU供应商已经采用了大型DRAM高速缓存,其由大型非易失性存储器(如Intel Optane(例如,Intel的Cascade Lake)。现有的计算机体系结构模拟器不提供对使用DRAM设备作为非易失性主存储器的高速缓存的系统的建模和评估的支持。在这项工作中,我们提出了一个周期级的DRAM高速缓存模型,它是与gem 5集成。该模型利用了gem 5内存设备模型的灵活性和完整的系统支持,可以探索许多不同的DRAM缓存设计。我们通过几个案例研究探索DRAM高速缓存控制器的设计空间,包括调度策略的影响,所需的缓冲,结合不同的内存技术(例如,HBM,DDR3/4/5,3DXPoint,High latency)作为高速缓存和主存,以及DRAM高速缓存由NVM主存支持时的损耗均衡效果。我们还在全系统模拟中使用真实工作负载进行实验,以验证所提出的模型,并显示这些工作负载对DRAM缓存大小的敏感性。
2023-03-23 cs.AR cs.PF
X-Former: In-Memory Acceleration of Transformers
Purdue University(普渡大学)
由于注意力机制,Transformers在各种各样的自然语言处理(NLP)任务中取得了巨大的成功,该注意力机制为序列中的每个单词分配相对于其他单词的重要性分数。然而,这些模型非常大,往往达到数千亿个参数,因此需要大量的DRAM访问。因此,传统的深度神经网络(DNN)加速器(如GPU和TPU)在有效处理Transformers方面面临限制。基于非易失性存储器的存储器内加速器有望成为这一挑战的有效解决方案,因为它们提供高存储密度,同时在存储器阵列内执行大规模并行矩阵向量乘法。然而,注意力得分计算经常用于Transformers(与CNN和RNN不同),需要矩阵向量乘法(MVM),其中两个操作数针对每个输入动态变化。结果,传统的基于NVM的加速器在用于Transformers时招致高的写入延迟和写入能量,并且还遭受大多数NVM技术的低耐久性。为了解决这些挑战,我们提出了X-Former,一种混合内存硬件加速器,由NVM和CMOS处理元件组成,有效地执行Transformer工作负载。为了提高X-Former的硬件利用率,我们还提出了一种序列块并行算法,它重叠了两个处理单元的计算,减少了执行时间。在几个基准测试中,我们发现X-Former在延迟和能量方面比NVIDIA GeForce GTX 1060 GPU提高了85倍和7.5倍,在延迟和能量方面比最先进的内存中NVM加速器提高了10.7…
2023-03-13 cs.AR cs.LG
Memory Hierarchy Design for Caching Middleware in the Age of NVM
本文将 NVM 时代缓存层次结构配置建模为多选择背包问题,利用线性规划松弛高效逼近最优解,并在键值存储和主机端缓存场景中证明低故障率、频繁更新时数据分层优于复制。
2025-06-05 cs.AR cs.DB cs.DS
Efficient Page Migration in Hybrid Memory Systems
Indian Institute of Technology Ropar(印度技术研究所罗帕尔分校)
本文提出Duon方法,通过直接在TLB和页表中存储更新的映射信息,消除页面迁移带来的性能损耗,提升混合内存系统的IPC性能3.87%。
2026-04-21 cs.AR
VAR-DRAM: Variation-Aware Framework for Efficient Dynamic Random Access Memory Design
动态随机存取存储器(DRAM)是主存储器设备的事实上的选择,由于其成本效益。与SRAM相比,它提供了更大的容量和更高的带宽,但比后者慢。随着每一代人的过去,DRAM的密度越来越大。其副作用之一是标称参数的偏差:工艺、电压和温度。DRAM通常被认为是系统的瓶颈,因为它在性能与容量之间进行权衡。由于这种固有的限制,进一步偏离标称规格是不希望的。在本文中,我们调查的影响,在传统的DRAM设备的性能,可靠性和能源需求方面的变化。基于这项研究,我们建立了一个变化感知框架,称为VAR-DRAM,针对现代DRAM设备。它通过考虑变化来提供增强的电源管理。VAR-DRAM确保程序的更快执行,因为它在内部将数据从受变化影响的单元重新映射到正常单元,并确保数据保存。在广泛的实验中,我们发现VAR-DRAM实现了高达48.8%的峰值节能,DDR4存储器的平均节能率为29.54%,同时与受变化影响的设备相比,DRAM的访问延迟提高了7.4%。
2022-01-18 cs.AR
Exploration and Analysis of Combinations of Hamming Codes in 32-bit Memories
针对空间应用32位存储器的ECC选型问题,本文评估Ham(31,26)、Ham(15,11)、Ham(7,4)及其组合在1至4次位翻转下的纠错表现,发现Ham(31,26)单错纠正率最高。
2023-07-13 cs.AR
Understanding the Interactions of Workloads and DRAM Types: A Comprehensive Experimental Study
理解现代应用程序与由DRAM芯片组成的主存储器之间的复杂交互变得越来越困难。制造商现在正在销售和提出许多不同类型的DRAM,其中每种DRAM类型满足不同的需求(例如,高吞吐量、低功率、高存储密度)。与此同时,流行和新兴工作负载的内存访问模式正在迅速分化,因为这些应用程序以非常不同的方式操纵较大的数据集。因此,DRAM-工作负载组合行为目前通常难以直观地确定,这可能会阻碍硬件和软件中的内存优化。在这项工作中,我们确定了重要的工作负载家族,以及流行的DRAM芯片类型,并严格分析了组合的DRAM-工作负载行为。为此,我们进行了全面的实验研究9种不同的DRAM类型和115个现代应用程序和多程序工作负载之间的相互作用。我们从我们的特征中得出12个关键的观察结果,部分原因是我们开发了新的指标,这些指标考虑到了由于硬件设计导致的内存请求之间的争用。值得注意的是,我们发现:(1)较新的DRAM类型,诸如DDR4和HMC,由于更高的访问延迟,并且在HMC的情况下,对局部性的利用较差,通常不优于较旧的类型,诸如DDR3;(2)没有单一的DRAM类型可以满足异构系统的所有组件(例如,GDDR5在多媒体加速方面显著优于其他存储器,而HMC在网络加速方面显著优于其他存储器);以及(3)仍然强烈需要降低DRAM延迟,但不幸的是,商品DRAM的当前设计趋势是朝向更高的延迟以获得其他益处。我们希望我们确定的趋势可…
2019-10-18 cs.AR cs.PF
The Future of Memory: Limits and Opportunities
Stanford University(斯坦福大学)
本文提出将大型共享内存拆分为与计算单元紧密耦合的小型切片,利用2.5D/3D集成构建计算-内存节点,以降低访问成本并提升带宽和能效。
2025-09-23 cs.AR
Monarch: A Durable Polymorphic Memory For Data Intensive Applications
3D裸片堆叠经常被提出来构建大规模的基于DRAM的高速缓存。不幸的是,DRAM的功耗和性能开销限制了高带宽存储器的效率。此外,DRAM正面临着严重的可扩展性挑战,这使得替代技术更具吸引力。本文探讨君主,电阻3D堆叠存储器的基础上,一种新的可重构交叉点阵列称为XAM。XAM阵列能够在随机存取和内容寻址模式之间切换,这使得Monarch能够(i)更好地利用封装内带宽,(ii)满足各种应用的随机存取存储器和关联搜索要求。此外,Monarch控制器确保电阻堆的目标寿命。我们对一组并行内存密集型应用程序的模拟结果表明,Monarch的性能平均比理想的DRAM缓存高1.21倍。对于内存中的哈希表和字符串匹配工作负载,Monarch将性能提高到传统高带宽内存的12倍。
2021-08-19 cs.AR cs.SY eess.SY
Die-Stacked DRAM: Memory, Cache, or MemCache?
堆叠式动态随机存取存储器(DRAM)是满足多核处理器日益增长的内存带宽需求的一种有前途的解决方案。制造技术已经使得能够在有源管芯上堆叠数千兆字节的DRAM模块,从而提供与常规的基于DIMM的DDR存储器相比高数量级的带宽。然而,由于其有限的容量,管芯堆叠DRAM无法容纳现代大数据应用的整个数据集。因此,先前的提议将其用作相当大的存储器侧缓存或作为软件可见的主存储器的一部分。缓存设计可以适应应用程序的动态变化,但遭受标签存储/延迟/带宽开销。另一方面,存储器设计消除了对标记的需要,并且因此提供了对数据的有效访问,但是由于其静态性质而不能捕获应用的动态行为。在这项工作中,我们提出了一种情况下使用的管芯堆叠DRAM部分作为主存储器,部分作为缓存。我们观察到,在现代大数据应用程序中,存在许多具有大量访问的热页面。基于这一观察,我们建议使用一部分管芯堆叠DRAM作为主存储器来托管热页,从而能够在没有标签检查开销的情况下为来自高带宽DRAM的大量访问提供服务,并将DRAM的其余部分作为高速缓存来管理,用于捕获应用程序的动态行为。在该提议中,软件过程预处理应用程序并确定热页,然后要求OS将它们映射到裸片堆叠DRAM的存储器部分。裸片堆叠式DRAM的高速缓存部分由硬件管理,高速缓存芯片外存储器中分配的数据。
2018-09-24 cs.AR
The Preliminary Evaluation of a Hypervisor-based Virtualization Mechanism for Intel Optane DC Persistent Memory Module
非易失性存储器(NVM)技术,可以以与DRAM相同的方式访问,被认为是扩展主存储器容量不可或缺的。英特尔Optane DCPMM是一款期待已久的产品,它可以大幅增加主内存容量。然而,DRAM和DCPMM之间存在很大的性能差距。在我们的实验中,DCPMM的读/写延迟分别比DRAM高400%和407%。读写带宽分别为DRAM的37%和8%。主存中的这种性能差距给研究人员提出了新的挑战,我们需要一种新的系统软件技术来支持新兴的混合存储器架构。在本文中,我们提出了RAMinate,一个基于虚拟机管理程序的混合存储系统的虚拟化机制,和一个关键技术,以解决在主存系统的性能差距。它在存储管理方面提供了极大的灵活性,并通过动态优化内存映射来最大限度地提高虚拟机(VM)的性能。通过实验,我们证实,即使虚拟机的RAM中只有1%的DRAM,虚拟机的性能下降也会通过内存映射优化得到显著缓解。在虚拟机中完成Linux内核构建所用的时间为557秒,仅比100% DRAM情况增加了13%(即,495秒)。当优化机制被禁用时,经过的时间增加到624秒(即,从100%DRAM情况增加26%)。
2019-07-28 cs.AR cs.OS cs.PF
TicToc: Enabling Bandwidth-Efficient DRAM Caching for both Hits and Misses in Hybrid Memory Systems
本文研究了混合DRAM + 3D-XPoint存储器的带宽效率DRAM缓存。3D-XPoint正在成为DRAM的可行替代品,因为它支持高容量和非易失性主存储器系统;然而,3D-XPoint的读取速度慢4- 8倍,写入速度更差。因此,在3D-XPoint之前的有效DRAM缓存对于实现高容量、低延迟和高写入带宽存储器非常重要。DRAM缓存设计有两种主要方法:(1)内部标签缓存行(TIC)组织,通过将标签存储在每条线旁边,以便一次访问既获得标签又获得数据,来优化命中,以及(2)外部标签缓存行(TOC)组织,通过将来自多个数据线的标签存储在一起,以优化未命中,以便一次标签访问获得多个数据线的信息。理想情况下,我们希望TIC具有低命中延迟,TOC具有低未命中带宽。为此,我们提出了TicToc,一个提供TIC和TOC的组织,以获得两者的命中和错过的好处。然而,我们发现,单纯地将两者结合起来实际上比TIC执行得更差,因为需要支付带宽来维护两个元数据。这项工作的主要贡献是开发架构技术,以减少维护TIC和TOC元数据的带宽。我们发现大部分的带宽成本是由于维护TOC脏位。我们提出了DRAM缓存脏位,它携带DRAM缓存脏信息的最后一级缓存,修剪重复的脏位检查已知的脏线。然后,我们提出了先发制人的脏标记,它预测哪些行将被写入,并在安装时主动标记脏位,以摊销初始脏位更新。我们对具有3D-XPoint内存的4…
2019-07-04 cs.AR
SoftWear: Software-Only In-Memory Wear-Leveling for Non-Volatile Main Memory
在过去几年中,字节可寻址非易失性存储器(NVM)的几种新兴技术已经被认为取代DRAM作为计算机系统中的主存储器。与DRAM相比,NVM技术如相变存储器(PCM)或铁电RAM(FeRAM)的写耐久性较低的缺点已经在文献中得到解决。作为一种解决方案,已经提出了存储器内损耗均衡技术,其旨在平衡所有存储单元上的损耗水平以实现增加的存储器寿命。通常,为了应用文献中提出的这种先进的老化感知损耗均衡技术,将额外的特殊硬件引入存储器系统中以提供关于单元年龄的必要信息,从而实现老化感知损耗均衡决策。本文提出了基于普通CPU特性的纯软件老化感知耗损均衡,并且不依赖于来自存储器子系统的任何额外硬件支持。具体来说,我们利用存储管理单元(MMU),性能计数器,和中断近似的内存写入计数作为老化指标。虽然纯软件方法可能会导致稍微差一点的损耗均衡,但它适用于常见的硬件。我们通过统计采样近似当前单元年龄并通过MMU执行物理内存重映射来实现页面级粗粒度磨损均衡。这种方法会导致内存页内的内存使用模式不一致。因此,我们进一步提出了一个细粒度的磨损平衡在C / C++编译软件的堆栈区域。通过应用这两种损耗均衡技术,我们实现了理想存储器寿命的最高$78.43\%$,与没有任何损耗均衡的寿命相比,这是超过$900$的一个因子的寿命改进。
2020-04-08 cs.AR cs.OS
Compute-in-Memory based Neural Network Accelerators for Safety-Critical Systems: Worst-Case Scenarios and Protections
University of Notre Dame(圣母大学)
该研究针对存内计算DNN加速器受NVM器件变化影响的最坏情况性能问题,提出A-TRICE最坏情况感知训练方法,将最坏情况准确率最高提升33%。
2023-12-11 cs.AR cs.LG
Demystifying the Characteristics of 3D-Stacked Memories: A Case Study for Hybrid Memory Cube
三维(3D)堆叠技术能够实现DRAM和逻辑管芯的集成,提供高带宽和低能耗。这项技术还使新的内存设计能够执行传统上与内存无关的任务。一种实用的3D堆叠存储器是混合存储器立方体(HMC),其在小面积中提供显著的访问带宽和低功耗。虽然有几项研究利用了HMC的新架构,但其在延迟和带宽方面的特性或其与温度和功耗的相关性尚未得到充分研究。本文是第一次,据我们所知,HMC在真实环境中使用AC-510加速器的热行为的特征,并确定温度作为一个新的限制,这个国家的最先进的设计空间。此外,除了带宽的研究,我们解构的因素,有助于延迟,并揭示其来源的高负载和低负载访问。本文的结果表明,基本的行为和性能瓶颈,为未来的探索分组交换和三维堆叠存储器。
2017-10-03 cs.AR cs.ET
SecDDR: Enabling Low-Cost Secure Memories by Protecting the DDR Interface
SecDDR面向DDRx直接连接内存提出低成本重放攻击保护方案,通过在ECC芯片DRAM裸片上放置有限安全逻辑,避免内存侧数据认证且不改变DDR协议,实现接近仅加密内存的性能并显著优于完整性树和认证通道。
2023-10-27 cs.AR cs.CR
An Experimental Analysis of RowHammer in HBM2 DRAM Chips
本文通过实验刻画了真实HBM2 DRAM芯片的RowHammer脆弱性,发现不同3D堆叠通道、行位置和未公开刷新触发防御对RH特性有显著影响,为未来攻击与防御提供依据。
2023-05-29 cs.AR cs.CR
Achieving Multi-Port Memory Performance on Single-Port Memory with Coding Techniques
如今,许多性能关键系统必须依赖于性能增强,例如多端口存储器,以跟上对存储器访问容量的不断增长的需求。然而,现有的多端口存储器设计的大面积覆盖区和复杂性限制了它们的适用性。本文探讨了一个编码理论框架来解决这个问题。特别是,本文介绍了一个框架,编码数据跨越多个单端口存储体,以{ \em算法}实现多端口存储器的功能。本文提出了三种代码设计,与现有的基于复制的多端口存储器仿真相比,具有显着减少的存储开销。为了进一步提高性能,我们还展示了一种内存控制器设计,该设计利用跨编码存储体的冗余来更有效地调度跨多个内核发送的读写请求。在此基础上,以DRAM迹线为指导,探讨了{ \em动态编码}技术,以提高基于编码的存储器设计的效率。然后,我们显示出显着的性能改善关键字的读取和写入延迟在建议的编码内存设计相比,传统的未编码的内存设计。
2020-01-27 cs.AR
On the Optimal Refresh Power Allocation for Energy-Efficient Memories
刷新是动态随机存取存储器(DRAM)中防止数据丢失的重要操作。然而,频繁的刷新操作会导致相当大的功耗并降低系统性能。刷新功率成本在高容量存储设备和电池供电的边缘/移动应用中尤其重要。在本文中,我们提出了一个原则性的方法来优化刷新功率分配。给定一个模型的位出错率依赖于功率,我们制定了一个凸优化问题,以最小化字均方误差的刷新功率约束,因此,我们可以保证所获得的刷新功率分配的最优。此外,我们提供了一个整数规划问题,以优化离散刷新间隔分配。对于一个8位访问的字,数值结果表明,优化的非均匀刷新间隔降低了29%的刷新功率在50 dB的峰值信噪比相比,均匀分配。
2019-07-18 cs.AR cs.IT eess.SP
COMET: A Cross-Layer Optimized Optical Phase Change Main Memory Architecture
本文提出COMET,首个跨层优化的光学相变主存架构,通过硅光子与PCM结合,解决串扰、光损耗等问题,实现7.1倍带宽提升、15.1倍EPB降低和3倍延迟降低。
2023-11-14 cs.AR cs.DC
Automated Pre-Silicon Verification of High-Speed DDR5 and LPDDR5/6 Memory Controllers: Closed-Loop Timing, Mode Register, and PHY Synchronization in UVM
Google LLC(谷歌有限责任公司);Google IT Services India Pvt. Ltd.(谷歌印度信息技术服务私人有限公司)
本文提出一种自动化预硅验证框架,通过解析JEDEC参数、MR-RAL跟踪和动态PHY初始化,实现DDR5/LPDDR5/6内存控制器的闭环配置与随机化测试,消除设置开销并防止协议违规。
2026-10-08 cs.AR
SmartSAGE: Training Large-scale Graph Neural Networks using In-Storage Processing Architectures
KAIST(韩国科学技术院)
图神经网络(GNN)可以通过学习每个对象的表示(即,图形节点)和不同对象之间的关系(即,连接节点的边),在各种基于图形的任务中实现最先进的性能。尽管这些算法具有优势,但在生产环境中使用这些算法面临着几个挑战,因为图节点和边的数量达到数十亿到数千亿的规模,需要大量的存储空间用于训练。不幸的是,最先进的ML框架采用内存处理模型,这大大阻碍了ML从业者的生产力,因为它要求整个工作集适应DRAM容量。在这项工作中,我们首先对最先进的大规模GNN训练算法GraphSAGE进行了详细的描述。基于表征,然后我们探索了利用容量优化的NVM SSD存储内存饥饿的GNN数据的可行性,这使得大规模GNN训练超出了主存储器大小的限制。然而,鉴于DRAM和SSD之间的巨大性能差距,盲目地利用SSD作为DRAM的直接替代品会导致显著的性能损失。因此,我们开发SmartSAGE,我们的软件/硬件协同设计的基础上存储处理(ISP)架构。我们的工作表明,基于ISP的大规模GNN训练系统可以实现高容量存储和高性能,为ML从业者提供了训练大型GNN数据集的机会,而不会受到主存大小的物理限制。
2022-05-10 cs.AI cs.AR cs.LG
CAMA: Energy and Memory Efficient Automata Processing in Content-Addressable Memories
加速有限自动机处理对于推进模式匹配、数据采掘、生物信息学、入侵检测和机器学习中的实时分析至关重要。最近利用SRAM和DRAM的内存中自动机加速器已经显示出比传统数字设计令人兴奋的改进。然而,所有SOTA设计所使用的状态转换的位向量表示仅在处理最坏情况的完全随机模式时是最佳的,而在运行大多数真实世界的基准测试时会浪费大量的内存和能量。我们提出了CAMA,内容可寻址存储器(CAM)启用自动机加速器处理同质非确定性有限自动机(NFA)。一个完全不同的状态表示方案,以及共同设计的新电路和数据编码方案,大大降低了能源,内存和芯片面积最现实的NFA。本文对CAMA进行了全面优化,主要贡献如下:(1)采用16 × 256的8管(8 T)CAM阵列进行状态匹配,取代SOTA设计中的256 × 256的6 T SRAM阵列或两个16 × 256的6 T SRAM组;(2)提出了一种新的编码方案,能够在8 T SRAM中进行内容搜索,并适应不同的应用;(3)可重新配置和可扩展的架构,在所有测试基准上提高效率,而不会失去对与SOTA设计兼容的任何NFA的支持;(4)优化框架,自动选择编码方案并将给定的NFA映射到所提出的硬件。两个版本的CAMA,一个优化的能量(CAMA-E)和其他的吞吐量(CAMA-T),在28纳米CMOS工艺,并在21个真实世界和合成基准进行了全面评估。CAMA-E的能量比CA、2-…
2021-12-01 cs.AR cs.FL
RowHammer: A Retrospective
这篇回顾性论文描述了动态随机存取存储器(DRAM)中的RowHammer问题,该问题最初由Kim等人在ISCA 2014会议~ \cite{rowhammer-isca2014}上介绍。RowHammer是一个电路级故障机制如何导致实际和广泛的系统安全漏洞的主要(也许是第一个)例子。重复访问现代DRAM芯片中的行会导致物理相邻行中一致可预测位位置处的位翻转。RowHammer是由称为{ \em DRAM干扰错误}的硬件故障机制引起的,这是缩放存储器技术中电路级单元间干扰的表现。Google Project Zero的研究人员在2015年证明,这种硬件故障机制可以被用户级程序有效地利用,以获得真实系统上的内核权限。许多其他后续作品展示了利用RowHammer的其他实际攻击。在本文中,我们全面调查了基于RowHammer的攻击的科学文献以及防止RowHammer的缓解技术。我们还讨论了DRAM和其他类型的存储器中可能潜伏的其他相关漏洞,例如,NAND闪存或相变存储器,随着存储器技术扩展到更高的密度,它们可能潜在地威胁安全系统的基础。最后,我们描述并倡导一种原则性的方法来进行内存可靠性和安全性研究,使我们能够更好地预测和预防此类漏洞。
2019-04-22 cs.AR cs.CR
Unraveling codes: fast, robust, beyond-bound error correction for DRAM
本文提出解缠里德-所罗门码,结合交织码的速度与全块码的鲁棒性,实现DRAM超越界限的快速可靠纠错。
2024-05-27 cs.AR cs.IT math.IT