Virtual Coset Coding for Encrypted Non-Volatile Memories with Multi-Level Cells
PCM是用于分层存储器系统中的DRAM主存储器的流行的后备存储器。PCM具有不对称的访问能量;写入支配读取。MLC不对称性可以变化一个数量级。已经开发了许多方案来利用数据中0和1的非对称模式来减少写入能量。由于内存是非易失性的,因此可以通过物理攻击或跨系统重启周期恢复数据。为了保护存储在PCM中的信息免受这些攻击,需要加密。不幸的是,大多数加密算法都会对数据中的0和1进行加密,从而有效地消除了任何模式,并对利用数据偏差和相似性来降低写入能量的方案产生了负面影响。在本文中,我们介绍了虚拟陪集编码(VCC)作为一种独立于工作负载的方法,减少了昂贵的符号转换存储加密数据。VCC基于两个想法。首先,使用具有随机陪集候选者的陪集编码,可以有效地减少写入加密数据时代价高昂的比特/符号转换的频率。第二,可以使用随机子串的小集合来实现与大量随机陪集候选相同的编码效率,但是以低得多的编码/解码成本。此外,我们还演示了如何利用VCC来降低能耗,并结合故障缓解和容错,以大幅增加受限制的NVM(如PCM)的寿命。我们评估VCC的设计,并证明它可以实现在片上只有一个名义面积开销。VCC在保持相同性能的同时,将动态能量降低了22-28%。使用我们的多目标优化方法,与最先进的存储器相比,寿命至少提高了36%,与未编码的存储器相比,寿命至少提高了50%,同时保持了其节能和系统性能。
2021-12-03 cs.AR
Special Session: Sustainable Deployment of Deep Neural Networks on Non-Volatile Compute-in-Memory Accelerators
针对非易失性存内计算加速器因器件变异导致DNN推理性能下降的问题,本文提出基于负反馈理论的负优化训练机制及定向变分前向训练方法,实现鲁棒部署并减少对高成本写验证操作的依赖。
2025-08-17 cs.AR
An 8-bit In Resistive Memory Computing Core with Regulated Passive Neuron and Bit Line Weight Mapping
人工智能(AI)和物联网(IoT)的快速发展增加了对低功耗和相对高处理速度设备的边缘计算的需求。基于电阻式非易失性存储器(NVM)的内存计算(CIM)方案在降低人工智能计算功耗方面显示出巨大的潜力。然而,非易失性存储器的设备不一致性可能显著地降低神经网络的性能。在本文中,我们提出了一个低功耗的电阻式RAM(RRAM)的CIM核,不仅实现了高的计算效率,但也大大提高了鲁棒性的位线调节器和位线权重映射算法。仿真结果表明,我们提出的8位CIM核的功耗仅为3.61mW(256*256)。CIM核心的SFDR和SNDR分别达到59.13 dB和46.13 dB。在ImageNet Large Scale Visual Recognition Competition 2012(ILSVRC 2012)中,AlexNet和VGG16在8位模式下的前1位准确率分别提高了2.46%和3.47%。
2020-08-26 cs.AR
A Method for Hiding the Increased Non-Volatile Cache Read Latency
工作负载对内存需求的增加给末级缓存(LLC)带来了很大的压力。不幸的是,由于底层SRAM技术的面积和功率要求,增加LLC的容量的机会有限。有趣的是,新兴的非易失性存储器(NVM)技术由于其更高的面积密度而有望成为LLC的SRAM的可行替代品。然而,NVM具有显著更高的读取和写入延迟,这抵消了它们的面积密度优势。尽管研究人员已经提出了容忍NVM增加的写入延迟的方法,但很少强调减少关键的NVM读取延迟。为了解决这个问题,本文提出了Cloak。Cloak利用LLC中页级的数据重用来隐藏NVM读取延迟。具体地,在对页面的某些L1 TLB未命中时,Cloak将属于该页面的LLC驻留数据从LLC NVM阵列传输到一组小SRAM页面缓冲器,这些小SRAM页面缓冲器将服务于对该页面的后续请求。此外,为了实现页面的行到页面缓冲器的高带宽、低延迟传输,Cloak使用LLC布局,该布局加速从页面发现LLC驻留的高速缓存行。我们对Cloak进行了14个工作负载的4核处理器的全系统模拟。我们发现,平均而言,Cloak的性能比SRAM LLC高出23.8%,比仅支持NVM的LLC高出8.9% --在这两种情况下,额外的面积可以忽略不计。此外,斗篷的ED^2分别比这些设计低39.9%和17.5%。
2021-12-20 cs.AR
A 256kb 9T Near-Threshold SRAM With 1k Cells per Bit-Line and Enhanced Write and Read Operations
本文提出了一种新的9 T SRAM单元,它具有良好的写能力,同时提高了读稳定性。仿真结果表明,在90 nm CMOS工艺下,在300 mV电源电压下,该设计比传统的6 T SRAM单元读路径的读SNM(RSNM)和Ion/Ioff分别提高了219%和113%。所提出的设计使我们能够将SRAM的最小工作电压(VDD min)降低到350 mV,而传统的6 T SRAM在低于725 mV的电源电压下无法成功地以可接受的故障率工作。我们还比较了我们的设计与其他三个SRAM单元从最近的文献。为了验证所提出的设计,一个256 kb的SRAM设计使用新的9 T和传统的6 T SRAM单元。操作在其最小可能的VDD,所提出的设计降低了写和读功率每次操作的92%,和93%,分别比传统的竞争对手。与传统的6 T SRAM单元相比,该SRAM单元的面积增加了83%。然而,由于9 T单元的读取路径的大Ion/Ioff,我们能够在256 kb SRAM块的每列中放置1 k单元,从而与传统的6 T相比,可以在更多单元之间共享每列的写入和读取电路。因此,与6 T SRAM相比,基于新9 T单元的256 kb SRAM的面积开销降低到37%。
2019-01-03 cs.AR
A Study on Performance and Power Efficiency of Dense Non-Volatile Caches in Multi-Core Systems
在本文中,我们提出了一种新的高速缓存设计的多级单元自旋转移力矩RAM(MLC STTRAM)的基础上,可以动态地适应设置容量和关联有效地使用MLC STTRAM的全部潜力。我们利用MLC存储方案的非对称性来构建具有异构性能的高速缓存行,即,一半的高速缓存行是读友好的,而另一半是写友好的。此外,我们建议在未充分利用的集合中机会性地停用方法,以将MLC转换为单级单元(SLC)模式,该模式具有整体更好的性能和寿命。我们的最终目标是建立一个缓存架构,结合MLC的容量优势和SLC的性能/能源优势。我们的实验表明,冲突未命中总数的43%,27%的内存访问延迟,12%的系统性能,和26%的LLC访问能量的改善,缓存寿命略有下降(约7%)相比,SLC缓存。
2017-04-17 cs.AR
Retention-Aware RISC-V ISA Extension and Memory Controller on FPGA for MLC NVM
German University in Cairo(开罗德国大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Ubitium GmbH(Ubitium有限公司)
该研究提出面向FPGA的MLC NVM内存控制器架构与RISC-V指令扩展,通过平衡写入速度和数据保留时间优化MLC NVM写入,实验显示其可降低硬件开销并提升性能。
2026-08-10 cs.AR
NVMExplorer: A Framework for Cross-Stack Comparisons of Embedded Non-Volatile Memories
对于数据密集型应用,对DRAM的重复的片外存储器访问提高了操作功率,并且SRAM技术缩放和泄漏功率限制了嵌入式存储器的效率。未来的片上存储将需要更高的密度和能效,而新兴的嵌入式非易失性存储器(eNVM)技术正在积极扩展,为满足这一需求提供了许多潜在的候选技术。每个技术建议提出了不同的权衡密度,读,写,和可靠性的特点,我们提出了一个全面的框架,导航和量化这些设计权衡现实的系统约束和应用程序级的影响。这项工作评估了一系列应用程序和系统上下文的基于eNVM的存储,包括边缘上的机器学习、图形分析和通用缓存层次结构,此外还描述了一组免费提供的工具(http://nvmexplorer.seas.harvard.edu/),供应用程序专家、系统设计人员和设备专家更好地理解、比较和量化下一代嵌入式内存解决方案。
2022-01-12 cs.AR cs.ET
Predict and Write: Using K-Means Clustering to Extend the Lifetime of NVM Storage
UC Santa Cruz(加州大学圣克鲁兹分校)
非易失性存储器(NVM)技术遭受有限的写入耐久性。为了应对这一挑战,我们提出了预测和写入(PNW),一个K/V存储,使用基于集群的机器学习方法来延长NVM的生命周期。PNW通过确定更新值应该写入的最佳存储器位置来减少PUT/UPDATE操作的位翻转次数。PNW利用K/V-store的间接级别,根据其值自由选择任何给定写入的目标内存位置。PNW将NVM地址组织在动态地址池中,该动态地址池通过它们所引用的数据值的相似性而聚集。我们表明,通过选择正确的目标存储器位置为一个给定的PUT/UPDATE操作,总位翻转和高速缓存行的数量可以减少高达85%和56%的最先进的。
2020-11-04 cs.AR cs.DB cs.LG
SoftWear: Software-Only In-Memory Wear-Leveling for Non-Volatile Main Memory
在过去几年中,字节可寻址非易失性存储器(NVM)的几种新兴技术已经被认为取代DRAM作为计算机系统中的主存储器。与DRAM相比,NVM技术如相变存储器(PCM)或铁电RAM(FeRAM)的写耐久性较低的缺点已经在文献中得到解决。作为一种解决方案,已经提出了存储器内损耗均衡技术,其旨在平衡所有存储单元上的损耗水平以实现增加的存储器寿命。通常,为了应用文献中提出的这种先进的老化感知损耗均衡技术,将额外的特殊硬件引入存储器系统中以提供关于单元年龄的必要信息,从而实现老化感知损耗均衡决策。本文提出了基于普通CPU特性的纯软件老化感知耗损均衡,并且不依赖于来自存储器子系统的任何额外硬件支持。具体来说,我们利用存储管理单元(MMU),性能计数器,和中断近似的内存写入计数作为老化指标。虽然纯软件方法可能会导致稍微差一点的损耗均衡,但它适用于常见的硬件。我们通过统计采样近似当前单元年龄并通过MMU执行物理内存重映射来实现页面级粗粒度磨损均衡。这种方法会导致内存页内的内存使用模式不一致。因此,我们进一步提出了一个细粒度的磨损平衡在C / C++编译软件的堆栈区域。通过应用这两种损耗均衡技术,我们实现了理想存储器寿命的最高$78.43\%$,与没有任何损耗均衡的寿命相比,这是超过$900$的一个因子的寿命改进。
2020-04-08 cs.AR cs.OS
NORM: An FPGA-based Non-volatile Memory Emulation Framework for Intermittent Computing
间歇式计算系统仅依靠在其微小能量储存器(通常是电容器)中积累的收集能量来运行。间歇性设备在其电容器中没有能量时由于电源故障而死亡,并且在所收集的能量足以为其硬件组件供电时再次启动。由于计算状态的频繁丢失,电源故障阻止了计算的向前进展。为了解决这个问题,间歇计算系统包括具有高写入耐久性的内置快速非易失性存储器,以存储尽管频繁的电源故障也持续存在的信息。然而,设计工具的缺乏使得这些系统的快速原型化变得困难。尽管FPGA是持续供电架构的快速原型和行为验证的常见平台,但它们并不针对间歇性计算系统的原型。本文介绍了一个新的基于FPGA的框架,命名为NORM(非易失性存储器仿真器),模拟和验证任何间歇性计算系统,利用快速非易失性存储器的行为。我们的评估表明,NORM可以用来模拟和验证基于FeRAM的瞬态供电的硬件架构成功。
2022-02-16 cs.AR cs.ET cs.SY
LLC Intra-set Write Balancing
本文针对 NVM 末级缓存的写耐久性问题,提出基于采样的组内路阻塞与写重定向技术,利用历史结构和 PC-Table 动态调整阻塞策略,实现写流量均衡并提升存储单元寿命。
2024-10-20 cs.AR
Enabling Fine-Grain Restricted Coset Coding Through Word-Level Compression for PCM
相变存储器(PCM)最近已经作为满足计算机系统中对大容量存储器的快速增长的需求的有前景的技术出现,以取代受物理限制阻碍的DRAM。多级单元(MLC)PCM提供高密度和低每字节制造成本。然而,尽管有许多优点,例如可缩放性和低泄漏,但用于编程中间状态的能量显著大于编程单级单元PCM。在本文中,我们研究的编码技术,以减少写入能量的MLC PCM时,编码粒度低于典型的高速缓存线的大小。我们观察到,由于辅助编码位,以小粒度编码数据块以减少写入能量实际上增加了写入能量。我们减轻这种不利影响1)设计合适的码字映射,使用较少的辅助位和2)提出了一种新的字级压缩(WLC),压缩超过91%的存储器行,并提供足够的空间来存储辅助数据使用一种新的限制陪集编码应用在小数据块粒度。实验结果表明,在16位的数据粒度,所提出的编码减少了39%的写能量,平均而言,与领先的编码方法写能量减少。此外,它将耐久性提高了20%,并且比领先的方法更可靠。硬件综合评估表明,所提出的编码可以实现在芯片上只有一个名义面积开销。
2017-11-23 cs.AR
Optimizing the Write Fidelity of MRAMs
磁性随机存取存储器(MRAM)由于其高密度、非易失性和高耐久性而成为一种有前途的存储器技术。然而,实现高存储器保真度会导致显著的写入能量成本,这对于MRAM的大规模部署来说应该减少。在本文中,我们制定了一个优化问题,最大限度地提高存储器的保真度给定的能量约束,并提出了一个双凸优化方法来解决它的基本思想是分配非均匀的写脉冲取决于每个比特位置的重要性。我们考虑的保真度措施是最小均方误差(MSE),我们提出了一个迭代注水算法。虽然迭代算法不能保证全局最优,但我们可以选择一个适当的起点,以指数方式降低MSE并保证快速收敛。对于一个8位访问的字,所提出的算法减少了21倍的MSE。
2020-01-11 cs.AR cs.ET cs.IT
Optimizing Write Fidelity of MRAMs via Iterative Water-filling Algorithm
磁性随机存取存储器(MRAM)由于其高密度、非易失性和高耐久性而成为一种有前途的存储器技术。然而,实现高存储器保真度会导致显著的写入能量成本,这对于MRAM的大规模部署来说应该减少。在本文中,我们制定了一个\emph{biconvex}优化问题,以优化写入保真度给定的能量和延迟约束。其基本思想是根据每个位位置的重要性来分配非均匀的写入脉冲。我们考虑的保真度度量是均方误差(MSE),为此我们通过\emph{alternating convex search (ACS)}优化写入脉冲。利用Karush-Kuhn-Tucker(KKT)条件,推导出解析解,并利用解析解提出了一种\emph{iterative water-filling-type}算法.因此,建议的迭代注水算法是计算效率比原来的ACS,而他们的解决方案是相同的。虽然原始ACS和建议的迭代注水算法不保证全局最优性,所提出的算法得到的MSE是可比的MSE由复杂的全局非线性规划求解器。此外,我们证明了所提出的算法可以降低MSE指数的每字的比特数。对于一个8位访问的字,所提出的算法减少了21倍的MSE。假设深度神经网络的模型参数存储在MRAM中,我们还评估了MNIST数据集分类的算法。数值结果表明,优化的写脉冲可以实现\SI{40}{\%}写能量减少给定的分类精度。
2021-12-06 cs.AR cs.ET cs.IT
Architecting Optically-Controlled Phase Change Memory
相变存储器(PCM)是主存储器的有吸引力的候选者,因为它提供非易失性和零泄漏功率,同时与DRAM相比提供更高的单元密度、更长的数据保持时间和更高的容量缩放。在PCM中,数据以相变材料的结晶或非晶状态存储。然而,与DRAM相比,典型的电控PCM(EPCM)遭受更长的写入等待时间和更高的写入能量以及有限的多级单元(MLC)容量。这些挑战限制了在具有EPCM的计算系统上运行的数据密集型应用程序的性能。最近,研究人员展示了光控PCM(OPCM)单元,支持5位/单元,而EPCM中为2位/单元。这些OPCM单元可以直接使用在高带宽密度硅光子链路中复用的光信号进行访问。OPCM中较高的MLC容量和使用光信号的直接单元访问使读/写吞吐量增加,每次访问的能量低于EPCM。然而,由于使用光信号的直接单元访问,OPCM系统不能使用传统的存储器架构来设计。我们需要一个完整的重新设计的内存架构,是量身定制的OPCM技术的属性。本文提出了一个统一的网络和主存储器系统称为COSMOS的设计,结合OPCM和硅光子链路,以实现高的存储器吞吐量。COSMOS由具有新颖的读写访问协议的分层多组OPCM阵列组成,并使用电-光-电(E-O-E)控制单元与处理器接口。我们对一个包含处理器和COSMOS的2.5D集成系统的评估表明,与EPCM系统相比,平均加速比为2.14倍。与EPCM相比,COSMOS的每比特读能耗低3.8倍…
2021-07-24 cs.AR
Harnessing Ferro-Valleytricity in Penta-Layer Rhombohedral Graphene for Memory and Compute
本文利用五层菱方石墨烯的电可调铁谷电性,提出无需选择器的非易失性存储器阵列架构,实现每单元写约6 nW、读约2.3 nW的超低功耗,并在不修改外围电路的情况下实现多数逻辑存内计算,为超密集低温存储与计算提供新路径。
2024-08-02 cond-mat.mes-hall cs.AR
Efficient Placement and Migration Policies for an STT-RAM based Hybrid L1 Cache for Intermittently Powered Systems
本文提出一种基于SRAM和STT-RAM的混合L1 Cache架构的高效放置与迁移策略,通过减少STT-RAM写入次数和优化关键块备份策略,显著提升了间歇供电系统的性能并降低了能耗和备份时间。
2023-02-14 cs.AR
Aging-Aware Request Scheduling for Non-Volatile Main Memory
现代计算系统正在采用非易失性存储器(NVM)来实现高容量和低成本的主存储器。NVM的升高的操作电压加速了每个存储体的外围电路中的CMOS晶体管的老化。激进的设备扩展会增加功率密度和温度,这进一步加速老化,对基于NVM的主存储器的可靠运行提出挑战。我们提出了HEBE,一种架构技术,以减轻基于NVM的主存储器的电路老化相关的问题。Hebe建立在三个贡献之上。首先,我们提出了一个新的分析模型,可以动态跟踪老化的外围电路的每个存储体的基础上银行的利用率。其次,我们开发了一个智能内存请求调度器,它在运行时间利用该老化模型,仅当其老化超过临界阈值时才减轻存储体外围电路的压力。第三,我们引入隔离晶体管来解耦在不同电压下操作的外围电路的部分,允许解耦的逻辑块独立地经历长延迟的去应力操作并且脱离存储器读取和写入访问的关键路线,从而提高性能。我们使用SPEC CPU 2017 Benchmark套件中的工作负载评估HEBE。我们的研究结果表明,HEBE显着提高了基于NVM的主存的性能和寿命。
2020-11-30 cs.AR cs.ET
Writes Hurt: Lessons in Cache Design for Optane NVRAM
英特尔OptaneTM DC持久内存驻留在内存总线上,访问延迟接近DRAM。采用它的一个途径是使用它来代替持久性存储;另一个途径是使用它作为DRAM的更便宜和更密集的扩展。为了实现后一个目标,我们提出了一个易失性Optane NVRAM缓存的设计,作为MongoDB底层存储引擎中的一个组件。在我们的设计中的主要创新是一个新的缓存准入政策。我们发现,在Optane NVRAM上,以其有限的写入吞吐量而闻名,写入的存在不成比例地影响读取的吞吐量,比DRAM上的影响更大。因此,不加区别地接纳新数据(并因此生成写入)的接纳策略严重限制了数据检索的速率,并导致缓存整体性能极差。我们设计了一个准入政策,平衡的准入率与使用动态观察到的工作负载的特性的查找率。我们的实现在所有情况下都优于OpenCAS(一种现成的基于Optane的块缓存),并且在数据库大小超过可用NVRAM的情况下优于Intel Memory Mode。我们的缓存是从其余的存储引擎解耦,并使用通用指标来指导其准入政策,因此我们的设计可以很容易地在其他系统中采用。
2022-05-24 cs.AR cs.DB
The Processing Using Memory Paradigm:In-DRAM Bulk Copy, Initialization, Bitwise AND and OR
在现有系统中,芯片外存储器接口允许存储器控制器仅执行读取或写入操作。因此,要执行任何操作,处理器必须首先读取源数据,然后在执行操作后将结果写回内存。对于处理大量数据的操作,这种方法会消耗很高的延迟、带宽和能源。几项工作已经提出了通过在更靠近主内存芯片的地方添加少量计算逻辑来处理内存附近数据的技术。在这篇文章中,我们描述了两种技术,最近的作品,采取这种方法在内存中处理进一步利用主内存技术的底层操作来执行更复杂的任务。首先,我们描述RowClone,一种利用DRAM技术完全在主存内执行批量复制和初始化操作的机制。然后,我们描述了一个互补的工作,使用DRAM执行批量逐位AND和OR操作内的主存储器。这两种技术显著提高了各自操作的性能和能源效率。
2016-10-30 cs.AR
Egalitarian ORAM: Wear-Leveling for ORAM
本文针对 ORAM 在 NVM 上造成写放大和非均匀写入、使寿命降至基线 1% 的问题,提出 Egalitarian ORAM 以通过磨损均衡支持安全内存访问。
2023-04-19 cs.AR
Energy Saving Techniques for Phase Change Memory (PCM)
近年来,计算系统的能量消耗已经增加,并且该能量的大部分消耗在主存储器中。为此,研究人员已经提出使用非易失性存储器,例如相变存储器(PCM),其具有低读取延迟和功率;以及几乎为零的泄漏功率。然而,PCM的写入等待时间和功率非常高,并且这连同PCM的有限写入耐久性在实现PCM的广泛采用方面提出了重大挑战。为了解决这个问题,已经提出了几种架构级技术。在本报告中,我们回顾了几种管理PCM功耗的技术。我们还根据这些技术的特征对其进行分类,以提供对它们的见解。这项工作的目的是鼓励研究人员提出更好的技术来提高基于PCM的主存储器的能源效率。
2013-09-15 cs.AR
U-SWIM: Universal Selective Write-Verify for Computing-in-Memory Neural Accelerators
University of Notre Dame(圣母大学)
本文提出U-SWIM方法,利用二阶导数和一次前反向传播精准识别需写验证的权重,在保持DNN精度的同时实现最高10倍编程加速。
2023-12-11 cs.AR cs.LG
EHAP-ORAM: Efficient Hardware-Assisted Persistent ORAM System for Non-volatile Memory
不经意RAM(ORAM)是一种可证明安全的原语,用于防止存储器总线上的访问模式泄漏。它作为可信片上组件和不可信外部存储器系统之间的中间层,将原始存储器访问模式调制成不可区分的存储器序列。通过随机重新映射数据块和访问冗余块,ORAM通过混淆防止访问模式泄漏。虽然有许多先前的工作集中在提高传统的基于DRAM的存储器系统上的ORAM的性能,但当存储器技术转向使用非易失性存储器(NVM)时,关于如何有效地支持ORAM的崩溃一致性的新挑战出现。在这项工作中,我们提出了EHAP-ORAM,研究如何持久化ORAM建设与基于NVM的内存系统。我们首先分析了持久化ORAM系统的设计需求,并讨论了为数据和ORAM元数据保持崩溃一致性和原子性的必要性。接下来,我们将讨论持久ORAM系统设计中的一些挑战,并针对这些挑战提出一些解决方案。然后,我们提出了改进的片上ORAM控制器架构。在改进片上ORAM控制器硬件架构的基础上,提出了不同的持久化协议,以保证ORAM系统的崩溃一致性,并满足PosMap元数据在可信/不可信片外NVM中持久化时的安全性。所提出的架构和持久化协议的步骤,最大限度地减少了开销和泄漏过程中的写回。最后,我们比较了我们的持久ORAM与系统没有崩溃一致性支持,表明在非递归和递归的情况下,EHAP-ORAM只会带来3.36%和3.65%的性能开销。结果表明,EHAP-ORAM可以支持有效的崩溃…
2022-12-31 cs.AR
Efficient Reprogramming of Memristive Crossbars for DNNs: Weight Sorting and Bit Stucking
Harvard University(哈佛大学)
本文提出通过权重排序和位卡滞技术减少忆阻交叉阵列重编程次数,在ImageNet-1K上实现ResNet-50和ViT-Base分别3.7倍和21倍的重编程减少,且精度损失在1%以内。
2024-10-29 cs.AI cs.AR cs.ET