Tardis 2.0: Optimized Time Traveling Coherence for Relaxed Consistency Models
缓存一致性可伸缩性是共享存储器系统中的一个大挑战。由于缓存失效的存储和流量开销，传统协议不能扩展。Tardis是最近提出的一致性协议，它使用逻辑时间戳消除了缓存失效，并实现了出色的可扩展性。然而，最初的Tardis协议仅支持顺序一致性（SC）内存模型，限制了其适用性。由于更新消息，Tardis在一些基准测试中也会产生额外的网络流量，并且当程序使用spinning在线程之间进行通信时，性能不佳。在本文中，我们解决了Tardis协议的这些缺点，并使其更加实用。具体来说，我们讨论了架构，内存系统和协议的变化，以实现TSO一致性模型在Tardis上，并证明修改后的协议满足TSO。我们还描述了部分存储顺序（PSO）和发布一致性（RC）的修改。最后，我们提出了更好的租赁政策和处理程序旋转的优化。在一组基准测试中，优化的Tardis在性能、存储和网络流量指标方面改进了全映射目录协议，同时更易于实现。
2016-07-27 cs.AR
Using Virtual Addresses with Communication Channels
而对于单处理器和SMP机器，内存是可分配的数量，对于由大量并行计算单元组成的机器，每个都有自己的本地内存，可分配的数量是单个计算单元。在虚拟地址管理用于保持存储器一致性并允许分配实际可用的物理存储器之外的存储器的情况下，虚拟通信信道引用可以用于使计算单元在分配和交换期间保持连接。
2013-02-11 cs.AR cs.DC
Evaluating Cache Coherent Shared Virtual Memory for Heterogeneous Multicore Chips
工业的趋势是朝向异构多核处理器（HMC），包括具有CPU的芯片和诸如GPU的并行线程面向吞吐量的处理器（MTTOP）。尽管当前同构芯片将核与高速缓存一致共享虚拟内存（CCSVM）紧密耦合，但这不是任何当前HMC所使用的通信范例。在本文中，我们提出了一个CCSVM设计的CPU/MTTOP芯片，以及扩展的pthreads编程模型，称为xthreads，编程这个HMC。我们的目标是评估与CCSVM紧密耦合的异构核的潜在性能优势。
2013-10-29 cs.AR
DeACT: Architecture-Aware Virtual Memory Support for Fabric Attached Memory Systems
数据的指数增长已经驱动技术提供商开发新的协议，例如高速缓存一致性互连和存储器语义结构，以帮助用户和设施利用存储器技术的进步来满足这些不断增长的存储器和存储需求。使用这些新协议，结构附接存储器（FAM）可以直接附接到系统互连，并且可以容易地与各种处理元件（PE）集成。此外，支持FAM的系统可以顺利升级，并允许多个PE使用定义良好的协议共享FAM内存池。在PE之间共享FAM允许有效的数据共享，提高存储器利用率，通过允许来自多个供应商的不同PE和存储器模块的灵活集成来降低成本，并且使得升级系统更容易。FAM的一个有前途的用例是在高性能计算（HPC）系统中，其中存储器的未充分利用是一个主要挑战。然而，在HPC系统中采用FAM带来了新的挑战。除了成本、灵活性和效率之外，需要重新考虑的一个特殊问题是虚拟内存对安全性和性能的支持。为了解决这些挑战，本文提出了解耦访问控制和地址转换（DeACT），一种新的虚拟内存实现，支持HPC系统配备FAM。与最先进的两级翻译方法相比，DeACT在不影响安全性的情况下实现了高达4.59倍（平均1.8倍）的加速。
2020-08-01 cs.AR
UVMBench: A Comprehensive Benchmark Suite for Researching Unified Virtual Memory in GPUs
最近在GPU中引入的统一虚拟内存（UVM）提供了一种新的编程模型，该模型允许GPU和CPU共享相同的虚拟内存空间，这将复杂的存储管理从程序员转移到GPU驱动程序/硬件，并且即使在内存超额使用时也能够执行内核。同时，由于跟踪和数据迁移以及对页错误和页表遍历的特殊处理，UVM也可能产生相当大的性能开销。由于UVM吸引了研究界的极大关注，以开发创新的解决方案，这些问题，在本文中，我们提出了一个全面的UVM基准套件命名为UVMBench，以促进未来的研究这一重要课题。建议的UVMBench由32个代表性的基准从广泛的应用领域。该套件还具有统一的编程实现和不同的内存访问模式的基准，从而允许全面的评估和比较与当前的最先进的一组实验已经进行了真实的GPU上，以验证和分析基准套件的行为在各种情况下。
2020-10-20 cs.AR
Simple DRAM and Virtual Memory Abstractions to Enable Highly Efficient Memory Systems
在大多数现代系统中，存储器子系统在各种资源处以多个不同粒度被管理和访问。我们观察到，这样的多粒度管理的内存子系统中的显着的低效率的结果。具体地，我们观察到1）页面粒度虚拟内存不必要地触发大内存操作，以及2）现有的高速缓存行粒度内存接口对于执行批量数据操作和表现出差的空间局部性的操作是低效的。为了解决这些问题，本文提出了一系列的技术。首先，我们提出了页面覆盖，一个框架增强了现有的虚拟内存框架的能力，以跟踪一个新版本的一个子集的高速缓存行在每个虚拟页面。我们表明，这种扩展是强大的，通过展示它的好处在一些应用程序。其次，我们表明，DRAM可用于执行更复杂的操作，而不仅仅是存储数据。我们提出了行克隆，一种机制来执行批量数据复制和初始化完全内部的DRAM，和伙伴RAM，一种机制来执行批量逐位操作使用DRAM。这两种技术都实现了相应操作效率的数量级改进。第三，我们提出了聚集分散DRAM，一种技术，利用DRAM组织有效地收集/分散值与2的权力跨越访问模式。对于这些访问模式，GS-DRAM实现了接近理想的带宽和缓存利用率，而不会增加从内存中获取数据的延迟。最后，我们提出了脏块索引，一种新的跟踪脏块的方法。除了提高批量数据一致性的效率外，DBI还有几个应用，包括高性能内存调度、高效缓存查找旁路和支持异构ECC。
2016-05-20 cs.AR
Relaxed exception semantics for Arm-A (extended version)
本文探讨了在宽松内存设置下Arm-A架构的异常精确性问题，澄清了跨异常边界的宽松行为与外部中止语义，开发了公理模型、执行工具和测试库，并探索了软件生成中断的宽松语义建模。
2024-12-19 cs.AR cs.PL
MigrantStore: Leveraging Virtual Memory in DRAM-PCM Memory Architecture
随着DRAM规模的即将放缓，相变存储器（PCM）正在成为主存储器技术的主要替代品。虽然PCM由于各种技术特定的优点而实现了低能耗，但PCM比DRAM慢得多（特别是写入），并且在磨损之前可以承受更少的写入。以前的工作建议使用一个大的，基于DRAM的硬件缓存来吸收写入，并提供更快的访问。然而，由于无效的缓存块被驱逐之前，足够的访问次数，硬件缓存招致显着的开销在能源和带宽，两个关键，但在现代多核稀缺的资源。由于使用硬件检测和删除这种无效的缓存将导致额外的硬件成本和复杂性，我们利用操作系统虚拟内存支持这一目的。我们提出了一个DRAM PCM混合存储器架构，操作系统迁移页面的需求从PCM到DRAM。我们将内存中的DRAM部分称为MigrantStore，它包含两个概念。首先，为了减少无效迁移的能量、带宽和磨损开销，我们提出了迁移滞后。其次，为了减少良好的替换策略的软件开销，我们提出了最近访问的页面ID（RAPid）缓冲区，一个硬件缓冲区来跟踪最近访问的MigrantStore页面的地址。
2015-04-16 cs.AR
CVA6-VMRT: A Modular Approach Towards Time-Predictable Virtual Memory in a 64-bit Application Class RISC-V Processor
本文提出CVA6-VMRT扩展，通过动态分区TLB和混合缓存/便笺存储器实现虚拟内存访问的时间可预测性，在虚拟化场景下将关键客户机执行时间确定性提升94%，仅增加4%面积开销且无时序损失。
2025-04-08 cs.AR
Near-Memory Address Translation
存储器和逻辑集成在同一芯片上正变得越来越具有成本效益，从而创造了将数据密集型功能卸载到放置在内存芯片内的处理单元的机会。将存储器侧处理单元（MPU）引入到传统系统中面临着虚拟内存作为第一个大的阻碍：如果没有对地址转换的有效硬件支持，MPU的适用性非常有限。不幸的是，传统的翻译机制无法提供快速翻译，因为当代存储器超过了TLB的范围，使得昂贵的页面遍历变得常见。在本文中，我们是第一个表明，历史上重要的灵活性，任何虚拟页面映射到任何页面框架是不必要的，在今天的服务器。我们发现，虽然限制虚拟到物理映射的关联性不会带来任何损失，但如果与MPU内存中的仔细数据放置相结合，则可以打破解译然后获取序列化，从而允许翻译和数据获取独立并行进行。我们提出了分布式倒排页表（DIPTA），一个近内存结构，其中最小的内存分区保持其数据共享的翻译信息，确保翻译完成与数据提取。DIPTA完全消除了翻译的性能开销，与使用4KB和1GB页面的传统翻译相比，分别实现了高达3.81倍和2.13倍的加速。
2017-08-21 cs.AR cs.OS
DeMM: A Decoupled Matrix Multiplication Engine Supporting Relaxed Structured Sparsity
本文提出解耦矩阵乘法引擎 DeMM，通过将存储与乘加单元分离并支持 N:128、N:256 等松弛结构化稀疏模式，显著降低了稀疏深度学习模型推理延迟。
2024-01-16 cs.AR
Utopia: Fast and Efficient Address Translation via Hybrid Restrictive & Flexible Virtual-to-Physical Address Mappings
针对传统虚拟内存地址转换开销高的问题，提出混合地址映射方案Utopia，通过限制性与灵活内存段结合，在单核系统中较基线提升24%性能，优于现有最优方案。
2023-10-06 cs.AR
Evaluating IOMMU-Based Shared Virtual Addressing for RISC-V Embedded Heterogeneous SoCs
本研究针对嵌入式异构SoC中加速器物理寻址带来的内存开销问题，评估了基于IOMMU的共享虚拟寻址在RISC-V架构系统中的性能，验证了末级缓存可大幅降低地址转换开销，证明该方案适用于此类系统。
2025-02-24 cs.AR
Condensation-Net: Memory-Efficient Network Architecture with Cross-Channel Pooling Layers and Virtual Feature Maps
Canon Information Technology (Beijing) Co., Ltd.（佳能信息技术（北京）有限公司）；Canon Inc.（佳能公司）
“轻量级卷积神经网络“是嵌入式视觉领域的一个重要研究课题。为了在资源有限的硬件平台上实现图像识别任务，有必要减少存储器大小和计算成本。本文的贡献如下。首先，我们提出了一种算法来处理一个特定的网络架构（凝聚网），而不增加最大内存存储的特征映射。通过在将特征图存储到内存中之前计算跨通道池化的结果，虚拟特征图的架构节省了26.5%的内存带宽。其次，我们表明，跨通道池可以提高目标检测任务的准确性，如人脸检测，因为它增加了过滤器权重的数量。与Tiny-YOLOv 2相比，当误报率为0.1时，量化网络的精度提高了2.0%，全精度网络的精度提高了1.5%。最后，分析结果表明，所提出的硬件架构支持跨通道池的开销可以忽略不计。支持Condensation-Net的额外内存成本是总大小的0.2%，而额外的门数仅为总大小的1.0%。
2021-04-29 cs.AR cs.CV
AraOS: Analyzing the Impact of Virtual Memory Management on Vector Unit Performance
针对开源RVV处理器在Linux系统中性能数据缺失的问题，该研究为Ara2向量处理器添加OS支持并集成到Cheshire SoC，评估虚拟内存开销，发现16+TLB条目时开销低于3.5%，且2通道AraOS在RiVEC基准测试中峰值平均速度比纯标量快3.2倍。
2025-04-14 cs.AR
Scalable and Efficient Virtual Memory Sharing in Heterogeneous SoCs with TLB Prefetching and MMU-Aware DMA Engine
共享虚拟内存（SVM）是异构片上系统（SoC）中的关键技术，它将通用主处理器与众核加速器相结合，既可实现可编程性，又可避免数据重复。然而，当翻译后备缓冲器（TLB）条目丢失时，SVM会带来显著的运行时间开销。此外，允许DMA突发传输写入SVM传统上需要缓冲器来吸收TLB中未命中的传输。这些缓冲区必须为最大突发大小过度配置，浪费宝贵的片上存储器，并且一旦满了就停止所有SVM访问，从而阻碍并行加速器的可扩展性。在这项工作中，我们提出了我们的SVM解决方案，避免了大多数TLB未命中与预取，支持并行突发DMA传输，而无需额外的缓冲区，并可以扩展与工作负载和并行处理器的数量。我们的解决方案是基于三个新的概念：为了最大限度地减少TLB未命中率，TLB是由编译器生成的预取帮助线程，使用运行时信息发出及时的预取主动填充。为了减少TLB未命中的延迟，未命中由可变数量的并行未命中处理辅助线程来处理。为了支持并行突发DMA传输到SVM无需额外的缓冲区，我们添加轻量级的硬件标准DMA引擎检测和反应TLB的失误。与现有技术相比，我们的工作将内存密集型内核的加速器性能分别提高了4倍和60%，用于不规则和规则的内存访问模式。
2018-08-29 cs.AR cs.DC
Enabling Large-Reach TLBs for High-Throughput Processors by Exploiting Memory Subregion Contiguity
加速器（如GPU）已成为满足未来性能需求的趋势，并且越来越多地采用在CPU和GPU之间共享相同的虚拟内存空间以简化编程。然而，作为虚拟内存关键技术的地址转换，正逐渐成为制约GPU性能的瓶颈。在GPU中，由于SIMT执行模型，单个TLB未命中可能会使数百个线程停止，从而显著降低性能。通过实际系统分析，我们观察到操作系统显示出先进的连续性（例如，数百个连续页面），并且具有高级连续性的更大的存储器区域倾向于随着工作集的增加而被分配。利用观察结果，我们提出了MESC来提高GPU的翻译效率。MESC的关键思想是将虚拟内存空间中的每个大页面帧（2MB大小）划分为具有固定大小的内存子区域（即，64个4KB页面），并将子区域和大页面帧的邻接信息存储在L2PTE中。使用MESC，多达512个页面的地址转换可以合并到单个TLB条目中，而不需要改变存储器分配策略（即，请求分页）和对大页面的支持。在实验结果中，MESC实现了77.2%的性能提高和76.4%的动态翻译能量减少敏感的工作负载。
2021-10-16 cs.AR
Enabling Virtual Memory Research on RISC-V with a Configurable TLB Hierarchy for the Rocket Chip Generator
Rocket Chip Generator使用一系列参数化处理器组件来生产基于RISC-V的SoC。它是一个强大的工具，可以产生各种各样的处理器设计，从微型嵌入式处理器到复杂的多核系统。在本文中，我们扩展了火箭芯片生成器的存储管理单元的功能，特别是TLB层次结构。TLB在性能方面是必不可少的，因为它们减轻了频繁的页表遍历的开销，但是由于它们的大小和/或关联性，可能损害处理器的关键路线。在原始的Rocket Chip实现中，L1指令/数据TLB是完全关联的，而共享的L2 TLB是直接映射的。我们解除这些限制，设计和实现可配置的，集关联L1和L2 TLB模板，可以创建任何组织从直接映射到全关联，以实现所需的性能和资源利用率，特别是对于较大的TLB。我们评估不同的TLB配置和目前的性能，面积和频率的结果，我们的设计使用基准测试从SPEC 2006套件的Xilinx ZCU 102 FPGA。
2020-09-16 cs.AR
Performance Enhancement of Routers in Networks-on-Chip Using Dynamic Virtual Channels Allocation
本研究提出一种新的路由器架构，以改善虚拟通道的动态分配效能。建议的路由器的设计，以减少硬件的复杂性，并提高功耗和面积消耗，同时。在新结构的路由器中，所有的控制组件已实现内部的分配器路由器模块顺序。这优化了控制组件之间的通信，并消除了模块化通信的大部分硬件过载。消除额外的通信也降低了硬件复杂性。为了在实际的硬件资源中显示所提出的设计的有效性，所提出的路由器已实现到一个现场可编程门阵列（FPGA）。由于片上网络（NoC）的实现需要一定的芯片面积，所提出的方法也能够减少硬件资源的需求。在该方法中，FPGA的内部存储器用于实现控制单元。这种内存速度更快，可以用于特定的模式。FPGA存储器的使用节省了硬件资源，并允许基于FPGA的NoC的实现。
2014-12-09 cs.AR
TLB and Pagewalk Performance in Multicore Architectures with Large Die-Stacked DRAM Cache
在这项工作中，我们研究的开销的虚拟到物理地址转换的处理器架构，如x86-64，实现分页的虚拟内存使用的基数树，在硬件中行走。翻译后备缓冲区对系统性能至关重要，特别是当应用程序需要更大的内存占用和采用虚拟化时;然而，TLB未命中的成本可能导致多次内存访问以检索翻译。已经引入了对超页的体系结构支持以增加TLB命中，但是受到操作系统查找连续内存的能力的限制。许多先前的研究已经提出了TLB设计，以降低未命中率和减少页面遍历开销，但是，这些研究已经建模的行为分析。此外，为了避免大内存工作负载和虚拟化的分页开销，直接段使用段寄存器映射进程线性虚拟地址空间的一部分，尽管需要一些应用程序和操作系统修改。最近发展的裸片堆叠DRAM技术承诺了高带宽和大的最后一级高速缓存，在100字节的数量级，更接近处理器。对于这样大的缓存，可以在不引起TLB故障的情况下访问的数据量-TLB的范围是不够的。TLB位于数据访问的关键路线上，并且引起昂贵的页面遍历可能会阻碍系统性能，特别是当正在访问的数据是LLC中的缓存命中时。因此，我们有兴趣探索新的地址转换机制，相称的堆叠DRAM的大小和延迟。通过使用基于QEMU的MARSSx 86全系统模拟器精确模拟多个多级地址转换结构，我们使用多编程和多线程工作负载结合大型LLC对TLB进行了详细研究。
2020-02-03 cs.AR
Virtual Coset Coding for Encrypted Non-Volatile Memories with Multi-Level Cells
PCM是用于分层存储器系统中的DRAM主存储器的流行的后备存储器。PCM具有不对称的访问能量;写入支配读取。MLC不对称性可以变化一个数量级。已经开发了许多方案来利用数据中0和1的非对称模式来减少写入能量。由于内存是非易失性的，因此可以通过物理攻击或跨系统重启周期恢复数据。为了保护存储在PCM中的信息免受这些攻击，需要加密。不幸的是，大多数加密算法都会对数据中的0和1进行加密，从而有效地消除了任何模式，并对利用数据偏差和相似性来降低写入能量的方案产生了负面影响。在本文中，我们介绍了虚拟陪集编码（VCC）作为一种独立于工作负载的方法，减少了昂贵的符号转换存储加密数据。VCC基于两个想法。首先，使用具有随机陪集候选者的陪集编码，可以有效地减少写入加密数据时代价高昂的比特/符号转换的频率。第二，可以使用随机子串的小集合来实现与大量随机陪集候选相同的编码效率，但是以低得多的编码/解码成本。此外，我们还演示了如何利用VCC来降低能耗，并结合故障缓解和容错，以大幅增加受限制的NVM（如PCM）的寿命。我们评估VCC的设计，并证明它可以实现在片上只有一个名义面积开销。VCC在保持相同性能的同时，将动态能量降低了22-28%。使用我们的多目标优化方法，与最先进的存储器相比，寿命至少提高了36%，与未编码的存储器相比，寿命至少提高了50%，同时保持了其节能和系统性能。
2021-12-03 cs.AR
Handling of Memory Page Faults during Virtual-Address RDMA
UNIVERSITY OF CRETE（克里特大学）
本研究提出了一种集成DMA引擎的页面错误处理机制，通过硬件软件协同解决RDMA中页面错误问题，提高性能并减少能耗。
2025-11-26 cs.AR cs.DC
