MigrantStore: Leveraging Virtual Memory in DRAM-PCM Memory Architecture
随着DRAM规模的即将放缓,相变存储器(PCM)正在成为主存储器技术的主要替代品。虽然PCM由于各种技术特定的优点而实现了低能耗,但PCM比DRAM慢得多(特别是写入),并且在磨损之前可以承受更少的写入。以前的工作建议使用一个大的,基于DRAM的硬件缓存来吸收写入,并提供更快的访问。然而,由于无效的缓存块被驱逐之前,足够的访问次数,硬件缓存招致显着的开销在能源和带宽,两个关键,但在现代多核稀缺的资源。由于使用硬件检测和删除这种无效的缓存将导致额外的硬件成本和复杂性,我们利用操作系统虚拟内存支持这一目的。我们提出了一个DRAM PCM混合存储器架构,操作系统迁移页面的需求从PCM到DRAM。我们将内存中的DRAM部分称为MigrantStore,它包含两个概念。首先,为了减少无效迁移的能量、带宽和磨损开销,我们提出了迁移滞后。其次,为了减少良好的替换策略的软件开销,我们提出了最近访问的页面ID(RAPid)缓冲区,一个硬件缓冲区来跟踪最近访问的MigrantStore页面的地址。
2015-04-16 cs.AR
The Cost of Software-Based Memory Management Without Virtual Memory
三十多年来,虚拟内存一直是标准的硬件功能。以增加硬件复杂性为代价,它简化了软件,并保证了托管进程之间的强大隔离。然而,在现代计算系统中,虚拟内存的成本已显著增加。对于大型内存工作负载、虚拟化环境、数据中心计算和具有多个DMA设备的芯片,虚拟内存可能会降低性能并增加功耗。因此,我们探讨了构建应用程序和操作系统而不依赖于硬件支持的地址转换的影响。首先,我们调查的影响,删除抽象的大型连续内存段。我们的实验表明,开销,以消除这种依赖是令人惊讶的小真实程序。我们希望这个小开销能够降低地址转换的复杂性和能源使用。事实上,在某些情况下,避免地址转换甚至可以提高性能。
2020-09-14 cs.AR cs.PL
CVA6-VMRT: A Modular Approach Towards Time-Predictable Virtual Memory in a 64-bit Application Class RISC-V Processor
本文提出CVA6-VMRT扩展,通过动态分区TLB和混合缓存/便笺存储器实现虚拟内存访问的时间可预测性,在虚拟化场景下将关键客户机执行时间确定性提升94%,仅增加4%面积开销且无时序损失。
2025-04-08 cs.AR
Using Virtual Addresses with Communication Channels
而对于单处理器和SMP机器,内存是可分配的数量,对于由大量并行计算单元组成的机器,每个都有自己的本地内存,可分配的数量是单个计算单元。在虚拟地址管理用于保持存储器一致性并允许分配实际可用的物理存储器之外的存储器的情况下,虚拟通信信道引用可以用于使计算单元在分配和交换期间保持连接。
2013-02-11 cs.AR cs.DC
Utopia: Fast and Efficient Address Translation via Hybrid Restrictive & Flexible Virtual-to-Physical Address Mappings
针对传统虚拟内存地址转换开销高的问题,提出混合地址映射方案Utopia,通过限制性与灵活内存段结合,在单核系统中较基线提升24%性能,优于现有最优方案。
2023-10-06 cs.AR
Evaluating IOMMU-Based Shared Virtual Addressing for RISC-V Embedded Heterogeneous SoCs
本研究针对嵌入式异构SoC中加速器物理寻址带来的内存开销问题,评估了基于IOMMU的共享虚拟寻址在RISC-V架构系统中的性能,验证了末级缓存可大幅降低地址转换开销,证明该方案适用于此类系统。
2025-02-24 cs.AR
AraOS: Analyzing the Impact of Virtual Memory Management on Vector Unit Performance
针对开源RVV处理器在Linux系统中性能数据缺失的问题,该研究为Ara2向量处理器添加OS支持并集成到Cheshire SoC,评估虚拟内存开销,发现16+TLB条目时开销低于3.5%,且2通道AraOS在RiVEC基准测试中峰值平均速度比纯标量快3.2倍。
2025-04-14 cs.AR
Relaxed virtual memory in Armv8-A (extended version)
虚拟内存是一种强制执行安全边界的基本机制,但其松弛内存并发语义以前没有被详细研究。管理虚拟内存的并发系统代码完全是非正式的,操作系统和虚拟机管理程序验证必须做出主要的简化假设。我们探索宽松的虚拟内存语义在Armv 8-A架构的设计空间,以支持未来的系统软件验证。在与Arm的讨论中,我们确定了许多设计问题;开发了一个测试套件,包括来自Google正在开发的pKVM生产管理程序的用例;用公理式并发模型划分设计空间;证明在简单的稳定配置下,我们的架构模型可以折叠到以前的“用户”模型;开发工具来计算与完整的Armv 8-A ISA语义集成的模型中允许的行为;开发一个硬件测试设备这列出了一些主要问题,在宽松的虚拟内存把这些安全关键系统的现象到域的编程语言语义和验证与基础架构语义。本文是ESOP 2022中一篇论文的扩展版本,在正文中有额外的解释和示例,附录详细介绍了我们的石蕊测试,模型,证明和测试结果。
2022-03-01 cs.AR cs.OS cs.PL
Enabling Large-Reach TLBs for High-Throughput Processors by Exploiting Memory Subregion Contiguity
加速器(如GPU)已成为满足未来性能需求的趋势,并且越来越多地采用在CPU和GPU之间共享相同的虚拟内存空间以简化编程。然而,作为虚拟内存关键技术的地址转换,正逐渐成为制约GPU性能的瓶颈。在GPU中,由于SIMT执行模型,单个TLB未命中可能会使数百个线程停止,从而显著降低性能。通过实际系统分析,我们观察到操作系统显示出先进的连续性(例如,数百个连续页面),并且具有高级连续性的更大的存储器区域倾向于随着工作集的增加而被分配。利用观察结果,我们提出了MESC来提高GPU的翻译效率。MESC的关键思想是将虚拟内存空间中的每个大页面帧(2MB大小)划分为具有固定大小的内存子区域(即,64个4KB页面),并将子区域和大页面帧的邻接信息存储在L2PTE中。使用MESC,多达512个页面的地址转换可以合并到单个TLB条目中,而不需要改变存储器分配策略(即,请求分页)和对大页面的支持。在实验结果中,MESC实现了77.2%的性能提高和76.4%的动态翻译能量减少敏感的工作负载。
2021-10-16 cs.AR
Enabling Virtual Memory Research on RISC-V with a Configurable TLB Hierarchy for the Rocket Chip Generator
Rocket Chip Generator使用一系列参数化处理器组件来生产基于RISC-V的SoC。它是一个强大的工具,可以产生各种各样的处理器设计,从微型嵌入式处理器到复杂的多核系统。在本文中,我们扩展了火箭芯片生成器的存储管理单元的功能,特别是TLB层次结构。TLB在性能方面是必不可少的,因为它们减轻了频繁的页表遍历的开销,但是由于它们的大小和/或关联性,可能损害处理器的关键路线。在原始的Rocket Chip实现中,L1指令/数据TLB是完全关联的,而共享的L2 TLB是直接映射的。我们解除这些限制,设计和实现可配置的,集关联L1和L2 TLB模板,可以创建任何组织从直接映射到全关联,以实现所需的性能和资源利用率,特别是对于较大的TLB。我们评估不同的TLB配置和目前的性能,面积和频率的结果,我们的设计使用基准测试从SPEC 2006套件的Xilinx ZCU 102 FPGA。
2020-09-16 cs.AR
Virtual Memory Partitioning for Enhancing Application Performance in Mobile Platforms
最近,由于应用商店的引入,智能移动设备上运行的软件量正在逐渐增加。应用商店是一种用于应用软件的数字分发平台,其作为智能手机或平板电脑上的操作系统的组件提供。移动设备具有有限的内存容量,并且与服务器和桌面系统不同,由于其移动性,它们没有可以扩展内存容量的内存插槽。低内存杀手(LMK)和内存不足杀手(OOMK)是移动系统中广泛使用的存储管理解决方案。当可用物理内存不足时,它们会强制终止应用程序。此外,在强制终止之前,内存不足会导致系统崩溃和碎片化,从而降低应用程序的性能。虽然现有的页面回收机制旨在保护可用内存,但由于颠簸,它可能会严重降低用户响应能力。因此,存储管理仍然很重要,尤其是在具有小存储容量的移动设备中。提出了一种新的内存划分技术,解决了LMK和OOMK对现有应用程序生存周期的影响。它在操作系统级提供了一个完全隔离的虚拟内存节点。评估结果表明,所提出的方法提高了应用程序的执行时间在内存不足的情况下,与以前的研究方法相比。
2021-01-21 cs.AR cs.OS cs.PF
Performance Enhancement of Routers in Networks-on-Chip Using Dynamic Virtual Channels Allocation
本研究提出一种新的路由器架构,以改善虚拟通道的动态分配效能。建议的路由器的设计,以减少硬件的复杂性,并提高功耗和面积消耗,同时。在新结构的路由器中,所有的控制组件已实现内部的分配器路由器模块顺序。这优化了控制组件之间的通信,并消除了模块化通信的大部分硬件过载。消除额外的通信也降低了硬件复杂性。为了在实际的硬件资源中显示所提出的设计的有效性,所提出的路由器已实现到一个现场可编程门阵列(FPGA)。由于片上网络(NoC)的实现需要一定的芯片面积,所提出的方法也能够减少硬件资源的需求。在该方法中,FPGA的内部存储器用于实现控制单元。这种内存速度更快,可以用于特定的模式。FPGA存储器的使用节省了硬件资源,并允许基于FPGA的NoC的实现。
2014-12-09 cs.AR
TLB and Pagewalk Performance in Multicore Architectures with Large Die-Stacked DRAM Cache
在这项工作中,我们研究的开销的虚拟到物理地址转换的处理器架构,如x86-64,实现分页的虚拟内存使用的基数树,在硬件中行走。翻译后备缓冲区对系统性能至关重要,特别是当应用程序需要更大的内存占用和采用虚拟化时;然而,TLB未命中的成本可能导致多次内存访问以检索翻译。已经引入了对超页的体系结构支持以增加TLB命中,但是受到操作系统查找连续内存的能力的限制。许多先前的研究已经提出了TLB设计,以降低未命中率和减少页面遍历开销,但是,这些研究已经建模的行为分析。此外,为了避免大内存工作负载和虚拟化的分页开销,直接段使用段寄存器映射进程线性虚拟地址空间的一部分,尽管需要一些应用程序和操作系统修改。最近发展的裸片堆叠DRAM技术承诺了高带宽和大的最后一级高速缓存,在100字节的数量级,更接近处理器。对于这样大的缓存,可以在不引起TLB故障的情况下访问的数据量-TLB的范围是不够的。TLB位于数据访问的关键路线上,并且引起昂贵的页面遍历可能会阻碍系统性能,特别是当正在访问的数据是LLC中的缓存命中时。因此,我们有兴趣探索新的地址转换机制,相称的堆叠DRAM的大小和延迟。通过使用基于QEMU的MARSSx 86全系统模拟器精确模拟多个多级地址转换结构,我们使用多编程和多线程工作负载结合大型LLC对TLB进行了详细研究。
2020-02-03 cs.AR
Condensation-Net: Memory-Efficient Network Architecture with Cross-Channel Pooling Layers and Virtual Feature Maps
Canon Information Technology (Beijing) Co., Ltd.(佳能信息技术(北京)有限公司);Canon Inc.(佳能公司)
“轻量级卷积神经网络“是嵌入式视觉领域的一个重要研究课题。为了在资源有限的硬件平台上实现图像识别任务,有必要减少存储器大小和计算成本。本文的贡献如下。首先,我们提出了一种算法来处理一个特定的网络架构(凝聚网),而不增加最大内存存储的特征映射。通过在将特征图存储到内存中之前计算跨通道池化的结果,虚拟特征图的架构节省了26.5%的内存带宽。其次,我们表明,跨通道池可以提高目标检测任务的准确性,如人脸检测,因为它增加了过滤器权重的数量。与Tiny-YOLOv 2相比,当误报率为0.1时,量化网络的精度提高了2.0%,全精度网络的精度提高了1.5%。最后,分析结果表明,所提出的硬件架构支持跨通道池的开销可以忽略不计。支持Condensation-Net的额外内存成本是总大小的0.2%,而额外的门数仅为总大小的1.0%。
2021-04-29 cs.AR cs.CV
Virtual Coset Coding for Encrypted Non-Volatile Memories with Multi-Level Cells
PCM是用于分层存储器系统中的DRAM主存储器的流行的后备存储器。PCM具有不对称的访问能量;写入支配读取。MLC不对称性可以变化一个数量级。已经开发了许多方案来利用数据中0和1的非对称模式来减少写入能量。由于内存是非易失性的,因此可以通过物理攻击或跨系统重启周期恢复数据。为了保护存储在PCM中的信息免受这些攻击,需要加密。不幸的是,大多数加密算法都会对数据中的0和1进行加密,从而有效地消除了任何模式,并对利用数据偏差和相似性来降低写入能量的方案产生了负面影响。在本文中,我们介绍了虚拟陪集编码(VCC)作为一种独立于工作负载的方法,减少了昂贵的符号转换存储加密数据。VCC基于两个想法。首先,使用具有随机陪集候选者的陪集编码,可以有效地减少写入加密数据时代价高昂的比特/符号转换的频率。第二,可以使用随机子串的小集合来实现与大量随机陪集候选相同的编码效率,但是以低得多的编码/解码成本。此外,我们还演示了如何利用VCC来降低能耗,并结合故障缓解和容错,以大幅增加受限制的NVM(如PCM)的寿命。我们评估VCC的设计,并证明它可以实现在片上只有一个名义面积开销。VCC在保持相同性能的同时,将动态能量降低了22-28%。使用我们的多目标优化方法,与最先进的存储器相比,寿命至少提高了36%,与未编码的存储器相比,寿命至少提高了50%,同时保持了其节能和系统性能。
2021-12-03 cs.AR
Data-Centric and Data-Aware Frameworks for Fundamentally Efficient Data Handling in Modern Computing Systems
现代和新兴应用程序使用和生成的输入和/或中间数据的规模呈爆炸式增长。不幸的是,现代计算系统不能有效地处理大量数据。主要概念和组成部分(例如,虚拟内存系统)和主要执行模型(例如,以处理器为中心的执行模型)在设计时没有考虑到现代应用程序压倒性的数据需求。因此,在当今的系统中,访问、移动和处理大量数据面临着重要的挑战,这使得数据成为此类系统中的头等大事以及主要的性能和能源瓶颈。本文研究了现代计算系统在处理现代应用程序的数据需求时效率低下的根本原因,并旨在从根本上解决这些效率低下的问题,重点是两个方向。首先,我们设计了SIMDRAM,一个端到端的处理使用DRAM的框架,有助于广泛采用的处理使用DRAM,一个以数据为中心的计算范式,提高了系统的整体性能和效率,当计算大量的数据时,通过最大限度地减少数据移动的成本,并使计算数据驻留的地方。其次,我们介绍了虚拟块接口(VBI),一种新的虚拟内存框架,1)消除了传统的虚拟内存框架在处理现代应用程序中的高内存需求时的低效率,2)从底层开始构建,以理解,传达和利用数据属性,为性能和效率的提高创造机会。
2021-09-13 cs.AR
Scalable and Efficient Virtual Memory Sharing in Heterogeneous SoCs with TLB Prefetching and MMU-Aware DMA Engine
共享虚拟内存(SVM)是异构片上系统(SoC)中的关键技术,它将通用主处理器与众核加速器相结合,既可实现可编程性,又可避免数据重复。然而,当翻译后备缓冲器(TLB)条目丢失时,SVM会带来显著的运行时间开销。此外,允许DMA突发传输写入SVM传统上需要缓冲器来吸收TLB中未命中的传输。这些缓冲区必须为最大突发大小过度配置,浪费宝贵的片上存储器,并且一旦满了就停止所有SVM访问,从而阻碍并行加速器的可扩展性。在这项工作中,我们提出了我们的SVM解决方案,避免了大多数TLB未命中与预取,支持并行突发DMA传输,而无需额外的缓冲区,并可以扩展与工作负载和并行处理器的数量。我们的解决方案是基于三个新的概念:为了最大限度地减少TLB未命中率,TLB是由编译器生成的预取帮助线程,使用运行时信息发出及时的预取主动填充。为了减少TLB未命中的延迟,未命中由可变数量的并行未命中处理辅助线程来处理。为了支持并行突发DMA传输到SVM无需额外的缓冲区,我们添加轻量级的硬件标准DMA引擎检测和反应TLB的失误。与现有技术相比,我们的工作将内存密集型内核的加速器性能分别提高了4倍和60%,用于不规则和规则的内存访问模式。
2018-08-29 cs.AR cs.DC
Near-Memory Address Translation
存储器和逻辑集成在同一芯片上正变得越来越具有成本效益,从而创造了将数据密集型功能卸载到放置在内存芯片内的处理单元的机会。将存储器侧处理单元(MPU)引入到传统系统中面临着虚拟内存作为第一个大的阻碍:如果没有对地址转换的有效硬件支持,MPU的适用性非常有限。不幸的是,传统的翻译机制无法提供快速翻译,因为当代存储器超过了TLB的范围,使得昂贵的页面遍历变得常见。在本文中,我们是第一个表明,历史上重要的灵活性,任何虚拟页面映射到任何页面框架是不必要的,在今天的服务器。我们发现,虽然限制虚拟到物理映射的关联性不会带来任何损失,但如果与MPU内存中的仔细数据放置相结合,则可以打破解译然后获取序列化,从而允许翻译和数据获取独立并行进行。我们提出了分布式倒排页表(DIPTA),一个近内存结构,其中最小的内存分区保持其数据共享的翻译信息,确保翻译完成与数据提取。DIPTA完全消除了翻译的性能开销,与使用4KB和1GB页面的传统翻译相比,分别实现了高达3.81倍和2.13倍的加速。
2017-08-21 cs.AR cs.OS
Topology-Aware Virtualization over Inter-Core Connected Neural Processing Units
针对核间互联NPU资源利用率低的问题,提出首个整合路由虚拟化、内存虚拟化与尽力而为拓扑映射的vNPU方案,实现最高2倍性能提升且硬件成本仅2%。
2025-06-13 cs.AR cs.DC
Handling of Memory Page Faults during Virtual-Address RDMA
UNIVERSITY OF CRETE(克里特大学)
本研究提出了一种集成DMA引擎的页面错误处理机制,通过硬件软件协同解决RDMA中页面错误问题,提高性能并减少能耗。
2025-11-26 cs.AR cs.DC
SPARTA: A Divide and Conquer Approach to Address Translation for Accelerators
虚拟内存(VM)对于硬件加速器的可用性和可编程性至关重要。不幸的是,高效地实现加速器VM是具有挑战性的,因为面积和功率限制使得难以采用通用CPU中使用的大型多级TLB。最近的研究建议提倡对虚拟地址到物理地址映射的许多限制,以便减小TLB大小或增加其范围。然而,这样的限制是没有吸引力的,因为它们放弃了传统VM的许多原始优点,例如请求分页和写时复制。我们提出了SPARTA,一个分而治之的方法来解决地址翻译。SPARTA将地址转换分为加速器端和内存端。加速器端转换硬件由一个仅覆盖加速器缓存层次结构(如果有的话)的小型TLB组成,而主内存访问的转换由共享内存端TLB执行。在存储器侧执行存储器访问的转换允许SPARTA将数据获取与转换重叠,并避免复制加速器之间共享的数据的TLB条目。为了进一步提高内存端翻译的性能和效率,SPARTA对内存空间进行逻辑分区,将翻译委托给小型高效的每分区翻译硬件。我们对索引遍历加速器的评估表明,SPARTA几乎消除了翻译开销,平均减少了30倍以上(高达47倍),性能提高了57%。与此同时,SPARTA只需要最少的加速器端转换硬件,减少了系统中TLB条目的总数,随着内存大小适度扩展,并保留了所有关键的VM功能。
2020-01-20 cs.AR cs.OS
Virtuoso: Enabling Fast and Accurate Virtual Memory Research via an Imitation-based Operating System Simulation Methodology
针对虚拟内存研究模拟工具精度不足或速度慢的问题,提出基于模仿操作系统内核的Virtuoso框架,集成多模拟器,实现高精度快速评估,IPC精度提升21%。
2025-03-27 cs.AR cs.OS
Oreo: Protecting ASLR Against Microarchitectural Attacks (Extended Version)
针对微架构侧信道可泄露ASLR密钥的问题,提出软硬件协同设计的Oreo方案,通过内存映射接口在地址转换前移除虚拟地址随机比特以隐藏信息,对用户程序透明且开销低,已在Linux+gem5环境原型验证。
2024-12-10 cs.AR cs.CR
IOMMU Support for Virtual-Address Remote DMA in an ARMv8 environment
University of Crete(克里特大学)
本研究通过ARMv8环境中的IOMMU支持实现了虚拟地址远程DMA的高效管理,验证了SMMU在多节点系统中的正确性。
2025-11-26 cs.AR cs.DC