3D Cache Hierarchy Optimization
3D集成有可能提高片上多处理器（CMP）的可扩展性和性能。提出了一种优化3D CMP缓存层次结构的解析解。它允许将高速缓存层级最优地划分为3D硅层，以及在受限的面积和功率预算下在高速缓存层级之间最优地分配面积。通过将多线程数据共享对私有缓存未命中率的影响纳入优化框架进行扩展。提出了一个分析模型的高速缓存访问时间作为高速缓存大小和3D分区的数量的函数，并使用CACTI模拟验证。
2013-11-07 cs.AR
Latency optimized Deep Neural Networks (DNNs): An Artificial Intelligence approach at the Edge using Multiprocessor System on Chip (MPSoC)
German Research Center for Artificial Intelligence（德国人工智能研究中心）；University of Kaiserslautern（凯泽斯劳滕大学）
本研究探讨了基于FPGA和Xilinx MPSoC的嵌入式边缘计算方案，通过混合系统架构结合深度学习可编程引擎作为硬件加速器，实现低延迟、功耗优化的移动智能系统。
2024-07-16 cs.AI cs.AR
Classifying Application Phases in Asymmetric Chip Multiprocessors
为了提高异构多核处理器的性能，降低其功耗，本文研究了程序执行阶段的检测能力。程序执行间隔已被分类在不同的阶段，根据其吞吐量和利用率的核心。在单核处理器和多核处理器上研究了实现相位检测技术的结果。为了最小化剖析开销，提出了一种动态调整剖析间隔的算法。它基于程序的行为，并将分析开销减少了三倍以上。结果是通过在给定的处理器上执行多处理器基准测试获得的。为了清楚地显示程序阶段，吞吐量和执行间隔的利用率在散点图上呈现。固定和可变的时间间隔的结果。
2010-01-13 cs.AR cs.DC cs.PF
Evaluating Cache Coherent Shared Virtual Memory for Heterogeneous Multicore Chips
工业的趋势是朝向异构多核处理器（HMC），包括具有CPU的芯片和诸如GPU的并行线程面向吞吐量的处理器（MTTOP）。尽管当前同构芯片将核与高速缓存一致共享虚拟内存（CCSVM）紧密耦合，但这不是任何当前HMC所使用的通信范例。在本文中，我们提出了一个CCSVM设计的CPU/MTTOP芯片，以及扩展的pthreads编程模型，称为xthreads，编程这个HMC。我们的目标是评估与CCSVM紧密耦合的异构核的潜在性能优势。
2013-10-29 cs.AR
On-Chip Mechanisms to Reduce Effective Memory Access Latency
本论文开发的硬件可以自动减少单核和多核系统中访问内存的有效延迟。为了实现这一点，论文表明，所有的末级缓存未命中可以分为两类：相关的缓存未命中和独立的缓存未命中。独立缓存未命中具有生成片上可用的存储器访问地址所需的所有源数据，而相关缓存未命中依赖于位于片外的数据。本文提出了通过将产生存储器访问地址的依赖链迁移到存储器控制器执行来加速依赖高速缓存未命中。独立缓存未命中使用一种新的模式加速运行前执行，只执行过滤的依赖链。通过这些机制，本文证明了一组高内存强度的工作负载上的四核处理器的性能提高了62%，有效的内存访问延迟降低了19%。
2016-09-01 cs.AR
TRISHUL: A Single-pass Optimal Two-level Inclusive Data Cache Hierarchy Selection Process for Real-time MPSoCs
Hierarchy发现的方法分析所有可能的高速缓存层次结构设置的实时的应用程序的执行时间，以找到应用程序特定的最佳两级包容性数据高速缓存层次结构，以减少成本，空间和能源消耗，同时满足实时的多处理器片上系统的时间期限。这些类似蛮力的方法可能需要数年才能完成。或者，存储器访问跟踪驱动的粗略估计方法可以通过损害结果的准确性来快速找到高速缓存层级。在本文中，我们首次提出了一种快速准确的跟踪驱动方法，以找到最佳的实时的应用程序特定的两级包容性数据缓存层次结构。我们提出的方法TRISHUL预测最佳的缓存层次结构的性能，然后利用这些信息来快速找到最佳的缓存层次结构。TRISHUL可以建议一个高速缓存层次结构，它具有高达128倍的小尺寸，高达7倍的速度相比，建议的最先进的原始跟踪驱动的两级包容性高速缓存层次结构选择方法的应用程序跟踪分析。
2015-08-31 cs.AR
Compositional Memory Systems for Multimedia Communicating Tasks
传统的高速缓存模型不适合实时并行处理，因为任务可能以不可预测的方式将彼此的数据从高速缓存中清除。通过这种方式，系统不是组合的，因此整体性能难以预测，并且新任务的集成成本高昂。本文提出了一种新的方法，对系统的组合性？的性能，使不同的存储层次结构优化可能的多媒体通信任务时，运行在嵌入式多处理器架构。该方法是基于一个高速缓存分配策略，分配集的统一高速缓存专门任务和通信缓冲区。我们还分析制定的问题，并描述了一种方法来计算缓存分区比优化吞吐量和功耗。当应用到多处理器与存储层次结构，我们的技术也提供了性能增益。与共享缓存的情况相比，对于由两个jpeg解码器和一个边缘检测算法组成的应用程序，未命中率减少了5倍，对于mpeg2解码器，未命中率减少了6.5倍。
2007-10-25 cs.AR cs.MM
FUSE: Fusing STT-MRAM into GPUs to Alleviate Off-Chip Memory Access Overheads
在这项工作中，我们提出了FUSE，一种新的GPU高速缓存系统，集成自旋转移力矩磁性随机存取存储器（STT-MRAM）到片上L1 D缓存。FUSE可以最大限度地减少GPU多处理器互连网络上的传出内存访问次数，从而大大提高GPU的大规模计算并行性水平。具体而言，FUSE通过提取GPU运行时信息来预测GPU存储器访问的读取级别，并将一次写入多次读取（WORM）数据块放置到STT-MRAM中，同时在L1 D缓存中的SRAM的一小部分上容纳多次写入数据块。为了进一步减少片外存储器访问，FUSE还允许通过近似与有限数量的标签比较器和I/O外设的关联性，将WORM数据块分配到STT-MRAM中的任何位置。我们的评估结果表明，与传统的GPU缓存相比，我们提出的异构缓存减少了32%的互连网络中传出内存引用的数量，从而提高了217%的整体性能，降低了53%的能源成本。
2019-03-09 cs.AR
Neat: Low-Complexity, Efficient On-Chip Cache Coherence
缓存一致性协议，如MESI，使用写入器发起的无效具有高复杂度，有时具有较差的性能和能量使用，特别是在假共享。这样的协议需要大量的瞬时状态、共享目录和对核到核通信的支持，同时也遭受错误共享的影响。MESI的写入器发起的无效的替代方案是自无效，其实现比MESI更低的复杂性，但增加了高性能成本或依赖于程序员注释或特定的数据访问模式。提出了一种低复杂度、高效的缓存一致性协议Neat。Neat使用自失效，从而避免了MESI的瞬态、目录和核心到核心通信需求。Neat使用新的机制，有效地避免了许多不必要的自失效。评估表明，Neat是简单的，具有较低的验证复杂度比MESI协议。Neat不仅优于最先进的自失效协议，而且其性能和能耗与MESI相当，并且在错误共享下优于MESI。
2021-07-24 cs.AR
3D MPSoC with On-Chip Cache Support -- Design and Exploitation
本研究提出支持片上缓存的 3D MPSoC 设计，采用 NoC 与交叉开关混合通信架构及 UMA/NORMA 双层模型，并利用 PCRAM 和 MRAM 优化性能，通过 Gem5 模拟验证其可扩展性。
2025-04-28 cs.AR
Phase-Priority based Directory Coherence for Multicore Processor
随着单个芯片中的核数量的增加，一致性协议的典型实现增加了显著的硬件和复杂性开销。此外，CMP系统的性能取决于数据访问延迟，而数据访问延迟受一致性协议和片上互连的影响很大。本文提出了PPB（Phase-Priority Based）缓存一致性协议，它是对现代目录一致性协议的一种优化。我们利用观察到的瞬态发生在目录一致性协议，导致一些不必要的瞬态和停滞。PPB缓存一致性协议实现了一致性事务，并引入了阶段消息的思想.此阶段被视为消息的优先级。此外，我们还在片上网络中增加了新的基于优先级的仲裁器，以支持PPB缓存一致性协议。该机制在片上网络中可以支持有效的缓存访问，从而提高片上网络的效率。我们使用SPLASH-2基准测试的执行驱动的全系统模拟器的分析表明，PPB缓存一致性优于基于MESI的目录，不必要的瞬态和失速的数量减少了24%。它还报告了7.4%的加速。该策略的其他优点是减少了微片的延迟，并显着降低了片上网络的能量消耗。
2013-05-14 cs.AR
Non-Uniform L2 Cache Latency Across the Streaming Multiprocessors of an NVIDIA L40
Bahçeşehir University（巴切希尔大学）
通过探测发现 NVIDIA L40 的 L2 缓存命中延迟在 142 个 SM 间变化达 52%，建立加性模型解释 87% 方差，并利用该物理指纹实现内核自定位和设备区分。
2026-06-23 cs.AR cs.CR
Reuse Cache for Heterogeneous CPU-GPU Systems
通常观察到，对于芯片多处理器（CMP），共享末级高速缓存（SLLC）中的活线的比例非常小。这可以使用基于提升的替换策略来解决，例如重新引用间隔预测（RRIP）而不是LRU，死块预测器或基于重用的缓存分配方案。在GPU系统中，使用各种高速缓存旁路技术来缓解类似的LLC问题。这些问题在异构CPU-GPU系统中更加严重，因为这两个处理器具有不同的数据访问模式和频率。GPU通常处理流数据，但与CPU相比，有更多的线程访问内存。因此，大多数传统的高速缓存替换和分配策略被证明是无效的，这是由于GPU应用中的高速缓存访问数量更高，导致GPU高速缓存行的分配更高，尽管它们的重用最小。在这项工作中，我们实现了重用缓存方法的异构CPU-GPU系统。重用缓存是一个解耦的标签/数据SLLC，旨在仅存储被访问多次的数据。这种设计是基于这样的观察，即LLC中的大部分高速缓存行被存储，但在被替换之前不会被重用。我们发现，重用缓存实现的IPC收益的0.5%内的静态分区的LLC，同时减少了平均40%的LLC的面积成本。
2021-07-28 cs.AR
ROBIN: Incremental Oblique Interleaved ECC for Reliability Improvement in STT-MRAM Caches
Sharif University of Technology（谢里夫理工大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
ROBIN通过高效ECC配置显著提升STT-MRAM缓存的可靠性，减少缓存错误率超过28倍。
2026-01-01 cs.AR
Hardware Trojan Threats to Cache Coherence in Modern 2.5D Chiplet Systems
随着工业向基于芯片的设计发展，硬件木马的插入对这些系统的安全性构成了重大威胁。这些系统在很大程度上依赖于高速缓存一致性来进行一致性数据通信，这使得一致性成为一个有吸引力的目标。重要的是，与之前的工作不同，它只关注恶意数据包修改，利用一致性的特洛伊木马攻击可以修改内存中从未被触及的数据，并且不属于包含特洛伊木马的小芯片。此外，特洛伊木马甚至不需要在受害者和存储器控制器之间物理地攻击受害者的存储器事务。在这里，我们探讨了基于芯片的系统中可能存在的基本攻击向量，并提供了一个能够直接修改内存中受害者数据的特洛伊木马实现示例。这项工作的目的是强调有必要制定机制，可以保护和确保一致性计划免受这些形式的攻击。
2022-09-30 cs.AR cs.CR
Locality-Aware Process Scheduling for Embedded MPSoCs
在基于嵌入式多处理器片上系统（MPSoC）的系统中利用片上高速缓存从性能和功耗两个方面来看都是至关重要的。虽然大多数以优化缓存行为为目标的先前工作都是在硬件和编译级别执行的，但操作系统（OS）也可以发挥主要作用，因为它可以看到跨应用程序的全局访问模式信息。提出了一种基于数据重用的缓存敏感操作系统进程调度策略。建议的调度实现两个互补的方法。首先，如果可能的话，不共享任何数据的进程被调度在不同的核心上。其次，不能同时执行（由于依赖性）但彼此共享数据的进程被映射到同一处理器核心，以便它们共享缓存内容。我们的实验结果使用这种新的数据局部性感知的操作系统调度策略是有前途的，并显示出显着的改善任务完成时间。
2007-10-25 cs.AR
CMD: A Cache-assisted GPU Memory Deduplication Architecture
针对GPU片外访问的性能瓶颈，本文提出缓存辅助的GPU内存去重架构CMD，通过三类设计减少不同类型的片外访问，有效降低访问量与能耗，显著提升性能。
2024-08-18 cs.AR
Enabling Atomic Durability for Persistent Memory with Transiently Persistent CPU Cache
持久性内存（persistent memory，python）产品将持久性域提升到内存级别。Intel最近引入了eADR特性，该特性保证在断电时刷新CPU缓存中缓冲的数据，从而使CPU缓存成为一个临时持久域。研究人员已经探索了如何为应用程序的内部数据启用原子持久性。在本文中，我们利用eADR支持的CPU缓存来做到这一点。修改后的缓存行在写回pencil之前是pencil内数据的自然重做日志副本。但是，由于缓存替换或崩溃时的eADR而导致的回写会覆盖原始副本。我们相应地开发了Hercules，一个用于事务级原子持久性的硬件日志设计，支持组件安装在CPU高速缓存，内存控制器（MC）和pencil中。当事务提交时，Hercules将其数据留在缓存行中进行片上提交。对于在提交之前被驱逐的缓存行，Hercules要求MC将它们重定向并持久化到内存日志条目中，并在提交事务时将它们提交到片外。Hercules仅在运行时为缓存替换延迟执行python写入。在崩溃时，Hercules将活动事务的元数据和数据保存到pencil中以进行恢复。实验表明，通过使用CPU缓存进行缓冲和日志记录，Hercules产生了更高的吞吐量，并且比最先进的设计少得多的python写入。
2022-10-31 cs.AR
C2P-Cache: Scalable GPU L1 Cache Sharing via Concurrent Candidate Pruning
National University of Defense Technology（国防科技大学）
该研究提出C2P-Cache，通过将GPU L1远程命中搜索转化为轻量级过滤-确认流程，减少冗余L2访问，使GPU IPC最高提升49.7%，平均提升23.5%。
2026-08-04 cs.AR
STOMP: A Tool for Evaluation of Scheduling Policies in Heterogeneous Multi-Processors
近年来，异构芯片多处理器的激增达到了前所未有的水平。传统的同构平台在实现高性能超低功耗计算方面表现出了根本的局限性，特别是在具有实时执行期限或关键性约束的应用领域。通过将正确的通用核心和硬件加速器组合在一起，以及适当的芯片互连和存储器技术，异构芯片多处理器已成为一种有效的高性能和低功耗计算替代方案。异构架构的挑战之一涉及跨芯片中的各种选项的应用任务（进程、线程）的高效调度。因此，关键是要提供工具，使早期的原型和评估的新的调度策略的异构平台。在本文中，我们提出了STOMP（调度技术优化在异构多处理器），一个模拟器的快速实施和评估的任务调度策略在多核/多处理器系统中的一个方便的接口，以简单的方式“插入”新的调度策略。STOMP的彻底验证表现出较小的相对误差相比，在稳态分析过程中的封闭形式的等效模型。
2020-07-28 cs.AR cs.DC
Hermes: Accelerating Long-Latency Load Requests via Perceptron-Based Off-Chip Load Prediction
ETH Zürich（苏黎世联邦理工学院）；Intel Processor Architecture Research Lab（英特尔处理器架构研究实验室）；LIRMM, Univ. Montpellier, CNRS（蒙彼利埃大学LIRMM实验室，CNRS）
提出Hermes技术，利用感知器预测片外负载请求，投机性地直接从主存获取数据，同时并行访问缓存层次，从而消除片外负载关键路径上的片上缓存访问延迟，显著提升处理器性能。
2026-06-05 cs.AR cs.LG
The Effect of Temperature on Amdahl Law in 3D Multicore Era
从Amdahl定律的角度研究了温度对3D片上多处理器性能和可扩展性的影响。我们发现，3D CMP可能会达到其热极限之前，达到其最大功率。我们表明，高水平的并行性可能会导致高峰值温度，即使在小规模的3D CMP，从而限制了3D CMP的可扩展性，并要求不同的，存内计算架构。
2017-05-20 cs.AR
Interface-Aware KV Cache Quantization for Dense On-Chip NVM in Long-Context LLM Decoding
University of Notre Dame（圣母大学）
针对长上下文LLM解码中KV缓存的内存瓶颈，提出与NVM接口协同设计的量化方案，通过固定码本和低元数据开销，在保持准确性的同时显著降低读取能量。
2026-09-09 cs.AI cs.AR
Sphynx: A Shared Instruction Cache Exporatory Study
Sphynx项目是一项探索性研究，旨在发现可以做些什么来改善大规模并行机的独立指令缓存中的指令的繁重复制，其中单个程序在所有核心上执行。虽然只有许多核心（少于50个）的机器可能不会有任何问题复制每个核心的指令，但随着我们接近可以在一个芯片上放置数千个核心的时代，指令复制的开销可能会变得不可接受的大。我们相信，当机器被配置为所有线程都从同一组指令发出时，大量的共享应该是可能的。我们提出了一种技术，允许共享一个指令高速缓存之间的一些独立的处理器内核，允许线程间共享和重用的指令存储器。虽然我们没有测试案例来证明可以实现的潜在性能增益，但共享的潜力减少了芯片上指令存储所需的芯片面积。
2014-12-03 cs.AR
A Ring Router Microarchitecture for NoCs
片上网络（NoC）已经成为片上多处理器设计中连接大量处理核的流行选择。在传统的NoC设计中，路由器中的大部分区域被缓冲器和交叉开关占据。这两个组件也消耗了路由器的大部分功率。NoC的许多研究都是基于传统的路由器微体系结构。我们提出了一种新的路由器微架构，把路由器本身作为一个小型网络的环形拓扑结构。它消除了传统设计中的大型交叉开关。此外，网络延迟也大大减少。仿真和电路综合表明，所提出的微架构可以减少延迟53%，面积和功耗分别为34%和27%，与传统的设计相比。
2020-07-05 cs.AR
Prophet: A Speculative Multi-threading Execution Model with Architectural Support Based on CMP
推测多线程（SpMT）是一种开发片上多处理器（CMP）硬件潜力的方法。它是一种主要依靠软硬件协同设计的线程级推测（TLS）模型。本文研究了通用程序的推测线程级并行性，提出了一个推测多线程执行模型Prophet。基于CMP设计了Prophet执行模型的体系结构支持。在Prophet中，通过预计算切片（p-slice）预测线程间的数据依赖，以减少RAW违规。该算法利用Prophet多版本Cache系统和体系结构支持下的线程状态控制机制对推测数据进行缓存，并采用基于监听总线的缓存一致性协议检测数据依赖违反。基于模拟的评估表明，先知系统可以实现显着的加速通用程序。
2014-12-10 cs.AR
LazyPIM: Efficient Support for Cache Coherence in Processing-in-Memory Architectures
内存中处理（PIM）架构最近越来越流行，因为3D堆栈内存中可用的高内部带宽提供了更大的激励来将一些计算移动到内存的逻辑层中。为了保持程序正确性，在存储器中执行的程序部分必须与在处理器内继续执行的程序部分保持一致。不幸的是，PIM架构不能使用传统的方法来缓存一致性，由于高芯片外的流量消耗的一致性消息，这，我们在这项工作中说明，可以撤消PIM执行的好处，许多数据密集型应用程序。我们提出了LazyPIM，一个新的硬件缓存一致性机制专门为PIM设计。用于PIM中的一致性的先前方法不适合于在处理器和PIM逻辑之间共享大量数据的应用。LazyPIM使用推测性缓存一致性和压缩一致性签名的组合，以极大地降低保持PIM与处理器一致性的开销，即使存在大量共享。我们发现，LazyPIM将一系列数据密集型PIM应用的平均性能提高了19.6%，将片外流量减少了30.9%，并将能耗降低了18.0%，而不是PIM一致性的最佳先前方法。
2017-06-10 cs.AR
MeshKV: A Network-on-Chip KV Cache Fabric for Scalable Transformer Decoding Accelerators
University of California, Los Angeles（加州大学洛杉矶分校）；Columbia University（哥伦比亚大学）
MeshKV提出一种基于轻量级NoC的KV缓存结构，通过条带化、多播和流水线重叠技术，在FPGA上实现最高58%的互连流量削减和2.1倍带宽利用率提升。
2026-09-18 cs.AI cs.AR
HyGain: High Performance, Energy-Efficient Hybrid Gain Cell based Cache Hierarchy
在本文中，我们提出了一个“全栈”的解决方案，设计高容量和低延迟的片上高速缓存层次结构的硬件设计栈的电路级开始。首先，我们提出了一种新颖的增益单元（GC）的设计使用FDSOI。GC具有几个理想的特性，包括与传统的6 T SRAM相比，存储密度高约50%，动态能量低约50%，即使在考虑外围电路开销之后。我们还利用背栅偏置将保留时间提高到1.12 ms（约为eDRAM的60倍），结合交错刷新等优化，使其成为构建各级片上缓存的理想候选者。我们表明，与6 T SRAM相比，对于给定的面积预算，基于GC的缓存平均为单编程和多编程工作负载分别提供29%和36%的IPC增加，包括SPEC CPU 2017在内的当代工作负载。我们还观察到，单编程和多编程工作负载的动态节能分别为42%和34%。我们利用所提出的GC的固有属性，包括解耦的读和写位线设计优化，以节省预充电能量和建筑GC缓存具有更好的能量和性能特性。最后，为了利用所有世界中最好的东西，我们将GC与STT-RAM结合起来创建混合层次结构。我们表明，在L1和L2的GC缓存的混合层次结构，和GC和STT-RAM之间的LLC分裂，启用非对称写入优化，能够提供54%的好处，在能量延迟产品（EDP）相比，全SRAM设计，和13%相比，全GC缓存层次结构，平均跨多编程的工作负载。
2021-10-06 cs.AR
Fused-Tiled Layers: Minimizing Data Movement on RISC-V SoCs with Software-Managed Caches
本文提出Fused-Tiled Layers算法，通过在RISC-V异构SoC上实现分块层间自动融合，减少片外与片上数据移动，为ViT的MLP阶段带来高达60.1%的运行时减少。
2025-03-21 cs.AR
Data Conversion in Area-Constrained Applications: the Wireless Network-on-Chip Case
片上网络（NoC）是目前互连片上系统（SoC）或片上多处理器（CMP）的不同组件的首选范例。然而，随着集成度的不断提高，目前的NoC面临着显著的可扩展性限制，并促使人们研究新的互连技术。其中，无线芯片内通信由于其低延迟广播和架构灵活性而受到严格审查。到目前为止，该想法的实用性已经从RF前端和网络接口的角度进行了研究，而很少或根本没有关注另一个重要组件：数据转换器。本文旨在填补这一空白，全面分析该场景的要求以及模数转换器（ADC）的当前性能和成本趋势。基于Murmann的数据，我们证明了ADC不会成为实现无线芯片内通信的障碍，尽管目前的设计不能完全满足其需求。
2019-06-12 cs.AR cs.ET
Machine Learning-Driven Intelligent Memory System Design: From On-Chip Caches to Storage
本文提出利用轻量级机器学习方法设计内存系统，通过三种ML引导的架构策略提升性能与效率，优于传统人工设计策略。
2026-03-15 cs.AI cs.AR cs.DC
Electromagnetic fault injection against a System-on-Chip, toward new micro-architectural fault models
电磁故障注入（EMFI）是一种用于干扰芯片行为以削弱其安全性的公知技术。这些攻击大多在简单的微控制器上完成。在这些目标上，故障影响相对简单和容易理解。在现代片上系统（SoC）上开发EMFI，当今无处不在的快速复杂芯片，需要了解此类故障的影响。在本文中，我们提出了一个实验设置和取证过程中创建可利用的故障，并评估其对SoC微架构的影响。在我们的目标SoC（BCM 2837）上，观察到的行为与对微控制器进行最先进的故障注入攻击所获得的行为完全不同。SoC子系统（L1高速缓存、L2高速缓存、存储管理单元（MMU））可以单独作为目标，从而产生新的故障模型。我们还强调了故障影响的差异，有和没有操作系统（OS）。这表明了软件层在故障开发中的重要性。通过这项工作，我们证明了SoC的复杂性和速度并不能保护它们免受硬件故障攻击。为了结束我们的工作，我们介绍了对策，以保护SoC的高速缓存和MMU对EMFI攻击的基础上披露的故障的影响。
2019-10-25 cs.AR cs.CR
LLMET: Enabling Cross-Layer Evaluation of Emerging M3D Memories for Energy-Efficient LLM Serving
Georgia Institute of Technology（佐治亚理工学院）；Samsung Semiconductor Inc.（三星半导体公司）
本研究开发跨层仿真框架LLMET，通过实验证实采用M3D技术扩展片上缓存可显著降低不同平台及场景下LLM服务的预填充、解码阶段能耗，为高能效LLM服务系统提供新方案。
2026-07-30 cs.AI cs.AR cs.ET
Harvesting L2 Caches in Server Processors
我们对现代处理器进行了三个观察：（1）LLC容量越来越大（高达1GB）;（2）核心数量正在增加（高达128个核心），在芯片上积累了更大量的私有L2缓存容量;（3）尽管付出了许多努力，云中的整体处理器利用率仍然非常低，留下许多大型私有缓存未使用。为了更好地利用这些强大的处理器，我们建议打开一个逻辑路径LLC驱逐到未使用的私有缓存。换句话说，我们不是将LLC驱逐写回慢速和繁忙的主存，而是将其中一些仍然有效的LLC驱逐发送到空闲的L2缓存，以避免不必要的长时间和昂贵的主存。我们的计划需要应用程序的重要性（面向用户与后台），并考虑到系统负载，为每个应用程序提供一个公平的共享空闲资源。我们的研究结果表明，我们可以提高系统性能高达2倍（几何平均值为10%）的单应用程序运行。此外，对于面向用户和后台作业的混合，我们的方案将面向用户的任务的P99延迟提高了32%（几何平均值为15%），后台作业的IPC提高了50%（几何平均值为10%）。
2023-02-27 cs.AR
An Open-Source Platform for High-Performance Non-Coherent On-Chip Communication
片上通信基础设施是现代片上系统（SoC）的核心组件，并且随着核的数量、组件的异构性以及片上和片外带宽的持续增长，其继续获得重要性。对片上网络的数十年研究使高速缓存一致性共享内存多处理器成为可能。然而，满足异构多核和加速器丰富的SoC的需求的通信结构是一个不太成熟的研究领域，这些SoC不是或只是部分一致的。在这项工作中，我们提出了一个模块化的，拓扑不可知的，高性能的片上通信平台。该平台包括用于构建和链接具有可定制带宽和并发属性的子网的组件，并遵循最先进的行业标准协议。我们讨论了我们的模块的微架构权衡和时序/面积特性，并表明它们可以组成以构建高带宽（例如，2.5 GHz和1024位数据宽度）端到端片上通信结构（不仅是网络交换机，而且还有DMA引擎和内存控制器），具有高度并发性。我们设计并实现了一个最先进的ML训练加速器，其中我们的通信结构可扩展到一个芯片上的1024个核心，提供32 TB/s的横截面带宽，任何两个核心之间的往返延迟仅为24 ns。
2021-11-11 cs.AR cs.DC
Practical Data Compression for Modern Memory Hierarchies
在这篇论文中，我们描述了一种新的，实用的方法来集成基于硬件的数据压缩的存储层次结构，包括片上缓存，主存储器，片上和片外互连。这种新方法快速，简单，有效地节省了存储空间。我们的方法中的一个关键见解是，访问时间（包括解压缩延迟）是现代存储层次结构的关键。通过将廉价的硬件支持与适度的操作系统支持相结合，我们的整体压缩方法在整个存储层次结构中实现了性能和能源效率的大幅提高。利用这种新的方法，我们在这篇论文中做出了几个主要贡献。首先，我们提出了一种新的压缩算法，Base-Delta-Immediate Compression（BDI），它可以以很低的压缩/解压缩延迟实现高压缩比。BDI利用许多缓存行中存在的值的现有低动态范围，使用Base+Delta编码将它们压缩到更小的大小。其次，我们观察到缓存块的压缩大小可以指示其重用。我们使用这个观察开发一个新的缓存插入策略的压缩缓存，基于大小的插入策略（SIP），它使用的压缩块的大小作为度量之一，以预测其潜在的未来重用。第三，我们提出了一个新的主存压缩框架，线性压缩页面（LCP），显着降低了支持主存压缩的复杂性和功耗成本。我们证明，任何压缩算法都可以适应LCP的要求，LCP可以有效地与现有的高速缓存压缩设计，避免额外的压缩/解压缩。
2016-09-07 cs.AR cs.OS
Sectored DRAM: A Practical Energy-Efficient and High-Performance Fine-Grained DRAM Architecture
本文提出Sectored DRAM架构，通过细粒度数据传输和分区行激活降低DRAM能耗并提升性能，能耗最多降低33%、性能最多提升36%，芯片面积开销仅1.7%。
2024-06-09 cs.AR
Titanus: Enabling KV Cache Pruning and Quantization On-the-Fly for LLM Acceleration
提出软硬件协同设计Titanus，通过级联剪枝-量化及非零KV缓存传输，显著提升LLM加速的能效与吞吐量。
2025-05-23 cs.AR
Search-in-Memory (SiM): Reliable, Versatile, and Efficient Data Matching in SSD's NAND Flash Memory Chip for Data Indexing Acceleration
本文提出Search-in-Memory（SiM）芯片，通过在NAND闪存芯片内直接执行数据过滤和按位并行匹配，利用灵活的SIMD命令接口卸载索引搜索，实现写密集型工作负载高达9倍加速和45%能耗节省。
2024-08-02 cs.AR
Rhea: a Framework for Fast Design and Validation of RTL Cache-Coherent Memory Subsystems
Politecnico di Milano（米兰理工大学）
Rhea框架通过结合Verilator和gem5的联合仿真，实现了对RTL缓存一致内存子系统的高效设计与验证，具有较高的仿真保真度和可扩展性。
2026-03-09 cs.AR
Efficient On-Chip Multicast Routing based on Dynamic Partition Merging
片上网络（NoC）已经成为片上多处理器（CMP）和众核系统的主流通信基础设施。常用的并行应用程序和新兴的基于机器学习的应用程序涉及大量的集体通信模式。在CMP应用中，多播被广泛用于多线程程序和协议中，用于屏障/时钟同步和缓存一致性。多播路由对CMP系统的性能起着重要的作用。现有的基于划分的组播路由算法都采用静态的目的集划分策略，缺乏全局路径优化的观点。提出了一种基于动态分区合并的多播路由算法。该算法通过比较不同分区合并方案的路由代价，选择代价较低的合并分区，动态地将组播目标集划分为多个分区。仿真结果表明，该算法优于现有的基于路径的路由算法。在PARSEC基准负载测试中，与现有的多路径路由算法相比，该算法的平均分组延迟和功耗分别提高了23%和14%.
2021-08-01 cs.AR cs.DC cs.NI
Forecasting lifetime and performance of a novel NVM last-level cache with compression
非易失性存储器（NVM）技术是构建片上末级缓存（LLC）的有趣替代方案。与SRAM存储器相比，它们的优点是更高的密度和更低的静态功耗，但每次写入操作都会轻微磨损位单元，甚至会失去其存储容量。在这种情况下，本文提出了一种新的NV-LLC组织利用数据压缩。数据压缩减小了块的大小，并且与损耗均衡机制一起，可以延迟这种NV-LLC的降级。此外，由于写入磨损而减少容量，因此数据压缩使得降级的高速缓存帧能够分配压缩大小足够的块。从方法论的角度来看，虽然不同的方法被用于在文献中分析的NV-LLC的退化，他们都不允许详细研究其时间演变。从这个意义上说，这项工作提出了一个预测程序，结合详细的模拟和预测，使不同的缓存内容机制（替换，磨损均衡，压缩等）的准确分析。关注指标的时间演变，例如NV-LLC或系统IPC的有效容量。与没有压缩的基准NV-LLC相比，所提出的NV-LLC组织在面积、延迟和能耗方面具有较小的增加成本，并且使NV-LLC达到50%有效容量所需的时间增加了6倍以上。
2022-04-07 cs.AR
TRAPTI: Time-Resolved Analysis for SRAM Banking and Power Gating Optimization in Embedded Transformer Inference
Brno University of Technology（布尔诺理工大学）
针对嵌入式硬件中变换器网络在面积、延迟和能耗约束下的部署问题，TRAPTI通过时序分析和模拟仿真，优化SRAM银行化与电源门控策略，降低内存占用并提升效率。
2026-04-08 cs.AR
Die-Stacked DRAM: Memory, Cache, or MemCache?
堆叠式动态随机存取存储器（DRAM）是满足多核处理器日益增长的内存带宽需求的一种有前途的解决方案。制造技术已经使得能够在有源管芯上堆叠数千兆字节的DRAM模块，从而提供与常规的基于DIMM的DDR存储器相比高数量级的带宽。然而，由于其有限的容量，管芯堆叠DRAM无法容纳现代大数据应用的整个数据集。因此，先前的提议将其用作相当大的存储器侧缓存或作为软件可见的主存储器的一部分。缓存设计可以适应应用程序的动态变化，但遭受标签存储/延迟/带宽开销。另一方面，存储器设计消除了对标记的需要，并且因此提供了对数据的有效访问，但是由于其静态性质而不能捕获应用的动态行为。在这项工作中，我们提出了一种情况下使用的管芯堆叠DRAM部分作为主存储器，部分作为缓存。我们观察到，在现代大数据应用程序中，存在许多具有大量访问的热页面。基于这一观察，我们建议使用一部分管芯堆叠DRAM作为主存储器来托管热页，从而能够在没有标签检查开销的情况下为来自高带宽DRAM的大量访问提供服务，并将DRAM的其余部分作为高速缓存来管理，用于捕获应用程序的动态行为。在该提议中，软件过程预处理应用程序并确定热页，然后要求OS将它们映射到裸片堆叠DRAM的存储器部分。裸片堆叠式DRAM的高速缓存部分由硬件管理，高速缓存芯片外存储器中分配的数据。
2018-09-24 cs.AR
Banshee: Bandwidth-Efficient DRAM Caching Via Software/Hardware Cooperation
将DRAM与处理器放置在同一封装上能够实现比常规封装外DRAM高几倍的内存带宽。然而，封装内DRAM的延迟并不比封装外DRAM的延迟低。封装内DRAM的一个有前途的用途是作为一个大的高速缓存。不幸的是，大多数先前的DRAM高速缓存设计主要针对命中延迟进行优化，并且不将片外带宽效率视为第一类设计约束。因此，正如我们在本文中所示，这些设计是次优的封装DRAM使用。我们提出了一种新的DRAM缓存设计，女妖，优化封装和封装外DRAM的带宽效率，而不会降低访问延迟。关键思想是消除封装内DRAM带宽开销，由于昂贵的标签访问通过虚拟内存机制，并纳入一个带宽感知的基于频率的更换策略，偏向于减少不必要的流量到封装外DRAM。我们广泛的评估表明，Banshee提供了显着的性能改善和交通减少国家的最先进的延迟优化的DRAM缓存设计。
2017-04-10 cs.AR
A comprehensive study on ILP acceleration accounting for sparsity, area, energy, data movement using near-memory architecture
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出SPARK加速器，通过近缓存稀疏性感知计算和重用模式，在稀疏整数线性规划上实现高达15倍性能提升和152倍能耗降低。
2026-06-20 cs.AR
Triangel: A High-Performance, Accurate, Timely On-Chip Temporal Prefetcher
本文提出片上时间预取器Triangel，通过基于采样的新方法扩展Triage，在处理长期模式时提升积极性和及时性，避免不准确预取，实现26.4%加速且仅增10%内存流量。
2024-06-15 cs.AR
Reimagining Memory Access for LLM Inference: Compression-Aware Memory Controller Design
本文提出一种压缩感知的内存控制器设计，通过无损压缩权重和KV缓存及动态量化，显著减少LLM推理的内存占用和带宽，实验显示权重和KV缓存占用分别降低25.2%和46.9%。
2025-04-21 cs.AR
Learning Cache Coherence Traffic for NoC Routing Design
本文提出一种由缓存一致性流量分析器（CCTA）指导的缓存一致性感知路由方法，并集成拓扑选择，在NoC设计中实现了最高10.52%延迟降低、55.51%执行加速和49.02%能耗节省。
2025-06-03 cs.AR cs.NI
Slice-and-Forge: Making Better Use of Caches for Graph Convolutional Network Accelerators
Yonsei University（延世大学）；Samsung Electronics（三星电子）；Seoul National University（首尔国立大学）
图卷积网络（GCN）正变得越来越流行，因为它们可以处理各种各样的数据格式，而这些格式是之前的深度神经网络无法轻松支持的。设计GCN硬件加速器的一个关键挑战是其数据访问模式的巨大规模和随机性，这大大降低了有限的片上缓存的有效性。为了通过减少不规则的数据访问来提高缓存的有效性，以前的研究通常采用传统图处理应用中使用的顶点分片技术。虽然这些方法在提高缓存效率方面是有效的，但它们通常对平铺配置敏感，其中最佳设置严重依赖于目标输入数据集。此外，现有的解决方案需要通过试错法进行手动调整，或者依赖于次优的分析模型。在本文中，我们提出了切片和锻造（SnF），一个有效的硬件加速器GCN大大提高了有限的片上缓存的有效性。SnF选择了一种名为特征切片的平铺策略，该策略将特征拆分为垂直切片，并在执行的最外层循环中处理它们。这种特定的选择导致在多轮上对不规则图形数据重复相同的计算模式。利用这样的重复，SnF动态地调整其瓦片大小。我们的实验结果表明，SnF可以实现1.73倍更高的性能在几何相比，以前的工作多引擎设置，和1.46倍更高的性能在几何在小规模的设置，而不需要离线分析。
2023-01-24 cs.AR cs.DC cs.LG
Read-Tuned STT-RAM and eDRAM Cache Hierarchies for Throughput and Energy Enhancement
随着片上高速缓存存储层次结构的容量和复杂度的增加，最后一级高速缓存（LLC）对频繁重复的关键负载的服务成本已成为一个主要问题。如果没有独立的指令要执行，则处理器在等待访问存储在LLC中的高速缓存块中的数据时可能会停顿相当长的时间间隔。为了提供加速服务的关键负载请求从LLC，这项工作集中在利用额外的容量，取代基于SRAM的L2自旋转移扭矩随机存取存储器（STT-RAM），以适应频繁访问的高速缓存块在独占读取模式，有利于减少整体读取服务时间。我们提出的技术分区L2缓存到两个STT-RAM的安排，具有不同的写性能和数据保留时间。保留放松的STT-RAM阵列被用来有效地处理常规的L2高速缓存请求，而L2中的高保留STT-RAM阵列被选择用于通过引起用于数据保留的可忽略的能量消耗来维持来自LLC的重复读取访问的高速缓存块。我们的实验结果表明，所提出的技术可以降低平均L2读未命中率的51.4%，平均增加11.7%的IPC在PARSEC基准套件，同时显着降低总L2的能源消耗相比，传统的基于SRAM的L2设计。
2016-08-06 cs.AR cs.ET
SkyByte: Architecting an Efficient Memory-Semantic CXL-based SSD with OS and Hardware Co-design
针对CXL-SSD访问延迟高、粒度不匹配导致性能差的问题，提出SkyByte架构，通过OS与硬件协同设计优化上下文切换、缓存结构与页迁移，实现性能与I/O效率的大幅提升。
2025-01-18 cs.AR
From Buffers to Registers: Unlocking Fine-Grained FlashAttention with Hybrid-Bonded 3D NPU Co-Design
SKLP, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（科学技术信息研究所、中国科学院、北京）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学、北京）
本文提出3D-Flow架构和3D-FlashAttention方法，通过混合键合3D堆叠空间加速器实现细粒度FlashAttention，降低能耗并提升速度。
2026-02-11 cs.AI cs.AR
