PiDRAM: A Holistic End-to-end FPGA-based Framework for Processing-in-DRAM
PiDRAM是首个支持真实PuM技术系统集成与评估的端到端FPGA框架,在RISC-V系统上实现DRAM内复制、初始化及真随机数生成,分别提升性能12.6倍和14.6倍。
2023-09-04 cs.AR
NicePIM: Design Space Exploration for Processing-In-Memory DNN Accelerators with 3D-Stacked-DRAM
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
针对DRAM-PIM加速器,提出NicePIM设计空间探索框架,通过PIM-Tuner、PIM-Mapper和Data-Scheduler优化硬件配置与DNN映射,平均降低延迟37%和能耗28%。
2023-05-30 cs.AR cs.LG
Using ECC DRAM to Adaptively Increase Memory Capacity
现代DRAM模块通常配备有硬件纠错功能,特别是对于部署在大规模数据中心的DRAM,因为工艺技术扩展增加了这些设备对错误的敏感性。为了提供快速错误检测和校正,将纠错码(ECC)放置在DRAM模块中的附加DRAM芯片上。这个额外的芯片将DRAM模块的原始容量扩展了12.5%,但应用程序无法使用任何额外的容量,因为它专门用于为所有数据提供可靠性。实际上,有许多应用不需要针对其所有数据区域的这种强可靠性(例如,一些用户批处理作业在公共云上执行),并且可以替代地受益于使用额外的DRAM容量来存储额外的数据。我们在这项工作中的目标是提供额外的容量内的ECC DRAM模块的应用程序时,他们不需要高可靠性的纠错。在本文中,我们提出了容量和可靠性自适应存储器(CREAM),一种硬件机制,适用于错误校正DRAM模块,提供多级错误保护,并提供使用较弱的保护应用程序节省的容量。对于不需要强纠错的内存区域,我们要么不提供ECC保护,要么使用多位奇偶校验提供错误检测。我们评估了几种布局安排ECC DRAM中的数据在这些减少保护模式,考虑到各种权衡利用额外的芯片。我们的实验表明,CREAM提供的增加容量提高了23.0%的内存缓存工作负载的性能,并通过37.3%的商业Web搜索工作负载执行生产查询跟踪。此外,CREAM可以增加DRAM内的库级并行性,从而进一步提高性能。
2017-06-28 cs.AR
Hardware-Software Co-design for 3D-DRAM-based LLM Serving Accelerator
Peking University(北京大学);Xi’an UniIC Semiconductors(西安联芯集成电路);Houmo AI(厚墨智能);HKUST(香港科技大学)
Helios通过软硬件协同设计,优化LLM服务加速器的动态KV缓存管理和分布式内存抽象,实现3.25倍加速和3.36倍能效提升。
2026-03-05 cs.AR
EasyDRAM: An FPGA-based Infrastructure for Fast and Accurate End-to-End Evaluation of Emerging DRAM Techniques
EasyDRAM是一个基于FPGA的框架,通过支持C++高级语言和创新的时间缩放技术,实现快速准确的DRAM技术端到端评估,克服了硬件描述语言门槛和频率差异挑战。
2025-06-23 cs.AR
ORAP: Optimized Row Access Prefetching for Rowhammer-mitigated Memory
Texas A&M University(德克萨斯农工大学);AheadComputing(阿赫德计算公司);Arm Texas A&M University(安谋德州农工大学)
ORAP通过优化行访问预取减少DRAM激活率,提升性能并降低能耗。
2026-02-13 cs.AR
Amber: Enabling Precise Full-System Simulation with Detailed Modeling of All SSD Resources
SSD成为现代存储层次结构中的主要存储组件,SSD研究要求通过将SSD子系统集成到全系统环境中来探索未来基于仿真的研究。然而,在全系统仿真下对SSD进行建模存在一些挑战; SSD由其自己的完整系统和架构组成,这些系统和架构采用所有必要的硬件,例如CPU,DRAM和互连网络。使用硬件组件,SSD还需要具有多个设备控制器,内部缓存和软件模块,这些模块需要广泛的存储接口和协议。这些SSD硬件和软件都是在全系统环境下体现存储子系统所必需的,可以与主机系统并行运行。在这项工作中,我们引入了一个新的SSD模拟框架,SimpleSSD 2.0,即琥珀色,嵌入式CPU内核,DRAM和各种闪存技术(在SSD)的模型,并通过启用数据传输仿真在整个系统模拟环境下运行。Amber还包括完整的固件堆栈,包括DRAM缓存逻辑、闪存固件(如FTL和HIL),并通过修改流行的完整系统模拟器的所有功能和时序CPU模型(gem 5)的主机DMA引擎和系统总线来遵守各种标准协议。该模拟器可以捕捉各种操作系统和硬件平台下嵌入式内核、DRAM、固件和闪存的动态性能和功耗细节。使用Amber,我们通过模拟不同类型的完整系统(如移动设备和通用计算机)来描述几个系统级挑战,并通过比较被动存储和主动存储架构来提供全面的分析。
2018-11-05 cs.AR
Stratum: System-Hardware Co-Design with Tiered Monolithic 3D-Stackable DRAM for Efficient MoE Serving
University of California, San Diego(加州大学圣地亚哥分校);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Illinois Institute of Technology(伊利诺伊理工学院)
Stratum通过系统-硬件协同设计,结合Mono3D DRAM、近内存处理与GPU加速,并利用主题预测的专家使用引导数据分层,实现MoE服务中高达8.29倍解码吞吐量和7.66倍能效提升。
2025-10-06 cs.AR cs.ET cs.LG
Understanding the Interactions of Workloads and DRAM Types: A Comprehensive Experimental Study
理解现代应用程序与由DRAM芯片组成的主存储器之间的复杂交互变得越来越困难。制造商现在正在销售和提出许多不同类型的DRAM,其中每种DRAM类型满足不同的需求(例如,高吞吐量、低功率、高存储密度)。与此同时,流行和新兴工作负载的内存访问模式正在迅速分化,因为这些应用程序以非常不同的方式操纵较大的数据集。因此,DRAM-工作负载组合行为目前通常难以直观地确定,这可能会阻碍硬件和软件中的内存优化。在这项工作中,我们确定了重要的工作负载家族,以及流行的DRAM芯片类型,并严格分析了组合的DRAM-工作负载行为。为此,我们进行了全面的实验研究9种不同的DRAM类型和115个现代应用程序和多程序工作负载之间的相互作用。我们从我们的特征中得出12个关键的观察结果,部分原因是我们开发了新的指标,这些指标考虑到了由于硬件设计导致的内存请求之间的争用。值得注意的是,我们发现:(1)较新的DRAM类型,诸如DDR4和HMC,由于更高的访问延迟,并且在HMC的情况下,对局部性的利用较差,通常不优于较旧的类型,诸如DDR3;(2)没有单一的DRAM类型可以满足异构系统的所有组件(例如,GDDR5在多媒体加速方面显著优于其他存储器,而HMC在网络加速方面显著优于其他存储器);以及(3)仍然强烈需要降低DRAM延迟,但不幸的是,商品DRAM的当前设计趋势是朝向更高的延迟以获得其他益处。我们希望我们确定的趋势可…
2019-10-18 cs.AR cs.PF
Hardware Memory Management for Future Mobile Hybrid Memory Systems
针对移动应用内存需求增长和DRAM局限,提出硬件加速内存管理器HMMU,统一管理DRAM与NVM,通过数据放置与迁移策略降低延迟和NVM写入,实验显示能耗降低39%,性能仅降12%。
2020-04-12 cs.AR cs.OS
An Energy-Efficient Accelerator Architecture with Serial Accumulation Dataflow for Deep CNNs
近年来,卷积神经网络(CNN)在许多视觉任务中表现出出色的准确性。然而,当在便携式设备和嵌入式系统上部署CNN时,大量的参数和计算导致处理时间长和电池寿命低。设计CNN硬件加速器的一个重要因素是有效地将卷积计算映射到硬件资源上。此外,为了节省电池寿命并降低能耗,减少DRAM访问的次数至关重要,因为与硬件中的其他操作相比,DRAM消耗的能量要多几个数量级。在本文中,我们提出了一种节能的架构,最大限度地利用其计算单元的卷积运算,同时需要低数量的DRAM访问。实现结果表明,所提出的架构执行一个图像识别任务,使用VGGNet模型的延迟为393 ms,只有251.5 MB的DRAM访问。
2020-02-15 cs.AR eess.SP
Per-Row Activation Counting on Real Hardware: Demystifying Performance Overheads
Seoul National University(首尔大学)
首次在真实机器上评估DRAM读取干扰缓解方法PRAC的性能,发现其实际开销远低于模拟器预测,并证明关闭页面策略能有效隐藏时序延长带来的影响。
2025-11-01 cs.AR cs.CR
Prefetcher-based DRAM Architecture
处理器技术的进步使处理数据密集型工作负载变得容易,但限制主内存的进步造成了性能瓶颈。在DRAM中,随着单元密度的增加,DRAM访问延迟得到了改善,并且每位成本降低。但是DRAM数据传送率仍然落后于当前一代处理器的处理速度。由于基于硬件的内存改进一直在以较慢的速度进行,为了应对高端处理器,预测技术,替换策略等架构级改进是主要主题。在最近的研究领域中,数据预测是一个热门话题,因为正确的预测可以通过使用数据访问趋势和行为预先预测数据来减少多余的存储器访问量,从而提高性能。虽然预测技术已经在大多数计算机体系结构中实现,但我们建议在DRAM级体系结构(如TL-DRAM和CROW)中实现数据预测。这两种方法都将DRAM分配到不同的部分,这些部分包含更快的较小部分和包含大量数据但相对较慢的较大部分。我们希望在这些存储器部分之间使用数据预测,以将预测的数据传输到更快的部分,从而通过减少存储器访问时间来提高整体性能。
2021-05-21 cs.AR
Accelerating GNN Training through Locality-aware Dropout and Merge
针对GNN训练中不规则连通性导致的DRAM访问低效问题,提出基于硬件的LiGNN方案,通过局部性感知的特征dropout和DRAM行级内存访问合并技术,在不损失精度的前提下显著提升训练速度并降低内存开销。
2025-06-26 cs.AR
Special Session: Reliability Analysis for ML/AI Hardware
人工智能(AI)和机器学习(ML)在当今的应用中变得越来越普遍,例如自动驾驶汽车、医疗保健、航空航天、网络安全和许多关键应用。确保底层AI/ML硬件的可靠性和鲁棒性成为我们的首要任务。在本文中,我们探索和评估不同AI/ML硬件的可靠性。第一部分概述了可靠性问题,在商业脉动阵列为基础的ML加速器的故障产生的DRAM中的设备级非理想的存在。接下来,我们量化了AI加速器的乘法和累加(MAC)块的MSB和LSB逻辑锥中的电路级故障对AI/ML精度的影响。最后,我们提出了两个关键的可靠性问题-电路老化和耐久性在新兴的神经形态硬件平台,并提出了我们的系统级方法来减轻它们。
2021-03-30 cs.AR
FIGARO: Improving System Performance via Fine-Grained In-DRAM Data Relocation and Caching
DRAM主存储器由于高访问延迟而成为许多应用的性能瓶颈。DRAM内缓存通过使用DRAM的小而快的区域来增加常规延迟DRAM来减轻这种延迟,这些区域用作DRAM的常规延迟区域中保存的数据的缓存。虽然有效的DRAM内高速缓存可以允许从快速DRAM区域服务大部分存储器请求,但是延迟节省通常受到用于将数据的副本重新定位到快速区域中和从快速区域重新定位出来的低效机制的阻碍。现有的DRAM内高速缓存具有两个低效率的来源:(1)数据重定位粒度是DRAM的整个多字节行;以及(2)因为重定位延迟随着慢区域与快区域之间的物理距离而增加,所以多个快区域在慢区域之间物理地交织以减少重定位延迟,从而导致增加的硬件面积和制造复杂性。我们提出了一个新的基板,FIGARO,使用现有的共享全局缓冲区的DRAM银行内的子阵列之间提供支持,在一个单一的高速缓存块的粒度跨子阵列的DRAM数据重新定位。FIGARO在DRAM组内具有与距离无关的延迟,并且避免了对DRAM的复杂修改。使用FIGARO,我们设计了一个细粒度的DRAM缓存称为FIGCache。FIGCache的关键思想是在DRAM的指定区域中仅缓存不同DRAM行的小的、频繁访问的部分。通过只缓存每行中预期在不久的将来会被访问的部分,我们可以将更多频繁访问的数据打包到FIGCache中,并且可以从DRAM中的额外行命中中受益。我们的评估表明,FIGCache将使用…
2020-09-17 cs.AR
Bit-Exact ECC Recovery (BEER): Determining DRAM On-Die ECC Functions by Exploiting DRAM Data Retention Characteristics
单单元DRAM出错率的增加促使DRAM制造商采用片上纠错编码(ECC),其完全在DRAM芯片内操作以提高工厂产量。片上ECC功能及其对DRAM可靠性的影响被认为是商业机密,因此只有制造商确切地知道片上ECC如何改变外部可见的可靠性特性。因此,管芯上ECC妨碍第三方DRAM客户(例如,测试工程师、实验研究人员),他们通常根据这些特性设计、测试和验证系统。为了让第三方深入了解片上ECC在纠错期间如何准确地转换DRAM错误模式,我们引入了位精确ECC恢复(BEER),这是一种用于确定完整DRAM片上ECC功能的新方法(即,其奇偶校验矩阵)而无需硬件工具、关于DRAM芯片或管芯上ECC机制的先决知识、或对ECC元数据的访问(例如,错误校正子、奇偶校验信息)。BEER利用了关键的洞察力,即通过精心制作的测试模式非侵入性地诱导数据保留错误,揭示了特定ECC函数特有的行为。我们使用BEER来识别来自三家主要DRAM制造商的80个具有片上ECC的真实LPDDR4 DRAM芯片的ECC功能。我们评估BEER的正确性,在模拟和一个真实的系统上的性能,以表明BEER是有效的和实用的广泛的芯片上的ECC功能。为了证明BEER的价值,我们提出并讨论了第三方可以使用BEER来改进其设计和测试实践的几种方法。作为一个具体的例子,我们介绍和评估BEEP,第一个错误分析方法,使用已知的芯片上的ECC功能,以恢复的数…
2020-09-17 cs.AR
Die-Stacked DRAM: Memory, Cache, or MemCache?
堆叠式动态随机存取存储器(DRAM)是满足多核处理器日益增长的内存带宽需求的一种有前途的解决方案。制造技术已经使得能够在有源管芯上堆叠数千兆字节的DRAM模块,从而提供与常规的基于DIMM的DDR存储器相比高数量级的带宽。然而,由于其有限的容量,管芯堆叠DRAM无法容纳现代大数据应用的整个数据集。因此,先前的提议将其用作相当大的存储器侧缓存或作为软件可见的主存储器的一部分。缓存设计可以适应应用程序的动态变化,但遭受标签存储/延迟/带宽开销。另一方面,存储器设计消除了对标记的需要,并且因此提供了对数据的有效访问,但是由于其静态性质而不能捕获应用的动态行为。在这项工作中,我们提出了一种情况下使用的管芯堆叠DRAM部分作为主存储器,部分作为缓存。我们观察到,在现代大数据应用程序中,存在许多具有大量访问的热页面。基于这一观察,我们建议使用一部分管芯堆叠DRAM作为主存储器来托管热页,从而能够在没有标签检查开销的情况下为来自高带宽DRAM的大量访问提供服务,并将DRAM的其余部分作为高速缓存来管理,用于捕获应用程序的动态行为。在该提议中,软件过程预处理应用程序并确定热页,然后要求OS将它们映射到裸片堆叠DRAM的存储器部分。裸片堆叠式DRAM的高速缓存部分由硬件管理,高速缓存芯片外存储器中分配的数据。
2018-09-24 cs.AR
"Test, Build, Deploy" -- A CI/CD Framework for Open-Source Hardware Designs
School of Computing;Information Sciences Willamette University Oregon, United States of America 0000-0003-1354-7200;Information Sciences Willamette University Oregon, United States of America 0009-0008-9913-3140
本文提出将CI/CD方法应用于开源硬件设计,通过规格挖掘自动生成规格,并展示Myrtha工具作为证明概念的云基规格生成器。
2025-06-10 cs.AR
A Full-Stack Performance Evaluation Infrastructure for 3D-DRAM-based LLM Accelerators
Peking University(北京大学);Xi’an UniIC Semiconductors(西安联芯半导体);Houmo AI(厚墨智能);HKUST(香港科技大学)
本文提出ATLAS框架,通过统一抽象支持任意LLM推理场景,验证其在真实硅片上的高精度模拟性能,为3D-DRAM内存系统和加速器微架构设计提供指导。
2026-04-09 cs.AR
PIMfused: Near-Bank DRAM-PIM with Fused-layer Dataflow for CNN Data Transfer Optimization
针对近存储体DRAM-PIM加速CNN时跨存储体数据传输受限问题,提出软硬件协同设计PIMfused,通过融合层数据流打破层间依赖,优化数据传输,在4存储体PIMcore下相比基线实现内存周期、能耗和面积的显著优化。
2025-11-11 cs.AR
PIM-MMU: A Memory Management Unit for Accelerating Data Transfers in Commercial PIM Systems
针对 UPMEM 商用 PIM 系统中 DRAM-PIM 数据传输瓶颈,提出软硬件协同的 PIM-MMU,将传输吞吐与能效均提升 4.1 倍,并实现 2.2 倍端到端加速。
2024-09-10 cs.AR
DR-STRaNGe: End-to-End System Design for DRAM-based True Random Number Generators
随机数生成是包括密码算法、科学模拟和工业测试工具在内的各种关键应用中的重要任务。真随机数发生器(TRNG)通过对物理熵源进行采样来产生真正的随机数据,该物理熵源通常需要定制硬件并且具有长延迟。为了在商品设备上实现高带宽和低延迟的TRNG,最近的工作提出了使用DRAM作为熵源的TRNG。虽然先前的工作展示了有前途的DRAM为基础的TRNG,这样的机制到真实系统的集成带来了挑战。我们确定了在当前系统中使用基于DRAM的TRNG的三个挑战:(1)由于RNG和存储器控制器中的常规存储器操作之间的干扰(即,RNG干扰),(2)该RNG干扰可以通过不公平地优先化密集使用随机数的应用(即,RNG应用),以及(3)由于高RNG延迟,RNG应用可能经历显著的减速。我们提出了DR-STRaNGe,一个端到端的系统设计的DRAM为基础的TRNG,(1)减少RNG的干扰,通过分离RNG请求从常规的请求在内存控制器,(2)提高了系统的公平性与RNG感知内存请求调度器,(3)隐藏大TRNG延迟使用一个新的DRAM空闲预测,准确地识别空闲DRAM周期的随机数缓冲机制。我们评估DR-STRaNGe使用一组186多程序工作负载。与RNG无关基线系统相比,DR-STRaNGe将非RNG和RNG应用的平均性能分别提高了17.9%和25.1%。DR-STRaNGe将系统公平性平均提高了32.1%,并将平均能耗降低了21%…
2022-06-06 cs.AR
TLB and Pagewalk Performance in Multicore Architectures with Large Die-Stacked DRAM Cache
在这项工作中,我们研究的开销的虚拟到物理地址转换的处理器架构,如x86-64,实现分页的虚拟内存使用的基数树,在硬件中行走。翻译后备缓冲区对系统性能至关重要,特别是当应用程序需要更大的内存占用和采用虚拟化时;然而,TLB未命中的成本可能导致多次内存访问以检索翻译。已经引入了对超页的体系结构支持以增加TLB命中,但是受到操作系统查找连续内存的能力的限制。许多先前的研究已经提出了TLB设计,以降低未命中率和减少页面遍历开销,但是,这些研究已经建模的行为分析。此外,为了避免大内存工作负载和虚拟化的分页开销,直接段使用段寄存器映射进程线性虚拟地址空间的一部分,尽管需要一些应用程序和操作系统修改。最近发展的裸片堆叠DRAM技术承诺了高带宽和大的最后一级高速缓存,在100字节的数量级,更接近处理器。对于这样大的缓存,可以在不引起TLB故障的情况下访问的数据量-TLB的范围是不够的。TLB位于数据访问的关键路线上,并且引起昂贵的页面遍历可能会阻碍系统性能,特别是当正在访问的数据是LLC中的缓存命中时。因此,我们有兴趣探索新的地址转换机制,相称的堆叠DRAM的大小和延迟。通过使用基于QEMU的MARSSx 86全系统模拟器精确模拟多个多级地址转换结构,我们使用多编程和多线程工作负载结合大型LLC对TLB进行了详细研究。
2020-02-03 cs.AR
Kraken: An Efficient Engine with a Uniform Dataflow for Deep Neural Networks
深度神经网络(DNN)已经成功地应用于众多应用中,具有显著的性能。由于这种性能是以显著的计算成本来实现的,因此一些嵌入式应用需要用于DNN的快速高效的硬件加速器。先前提出的专用集成电路(ASIC)架构努力利用数百个处理元件(PE)的阵列,并使用需要复杂PE架构的多个ASIC来减少耗电的DRAM访问。这些会消耗大量面积,并降低最大时钟频率。本文介绍了Kraken架构,该架构通过硬件友好的统一卷积层优化处理任何DNN的卷积层,全连接层和矩阵乘积。这使得权重、输入和输出的数据重用最大化,并具有基本PE设计和动态重新配置。Kraken采用65 nm CMOS技术在400 MHz下实现,在7.3 mm 2内封装672个PE,峰值性能为537.6 Gops。Kraken分别以336.6,17.5和64.2帧/秒的速度处理AlexNet,VGG-16和ResNet-50的卷积层,因此在整体性能效率,DRAM访问,算术强度和吞吐量方面优于最先进的ASIC架构,Gops/mm 2增加5.8倍,Gops/W增加1.6倍。
2021-12-06 cs.AR
Sense: Model Hardware Co-design for Accelerating Sparse CNN on Systolic Array
稀疏性是卷积神经网络(CNN)的固有属性,值得CNN加速器利用,但额外的处理伴随着硬件开销,导致许多架构只能获得很少的利润。同时,脉动阵列以其高时空局部性和低硬件开销在CNN加速方面越来越具有竞争力。然而,稀疏性的不规则性会导致刚性收缩压下的工作负载不平衡,从而导致性能下降。因此,本文提出了一种基于系统阵列的架构(称为Sense),通过模型-硬件协同设计进行稀疏CNN加速,实现了大幅性能提升。为了平衡处理单元阵列(PE)的输入特征映射(IFM)和权重负载,采用通道聚类方法收集近似稀疏度的IFM进行阵列计算,并共同设计了一种负载平衡权重修剪方法,使每个内核的稀疏度保持在一定值,同时精度损失很小,提高了PE利用率和整体性能。此外,采用自适应数据流配置,根据IFM的存储比例和权重确定计算策略,与Swallow相比,降低了1.17 - 1.8倍的DRAM访问,进一步降低了系统能耗。整个设计在200 MHz的ZynqZCU 102上实现,并在AlexNet,VGG-16,ResNet-50和GoogleNet上分别以471-,34-,53-和191-image/s的速度执行。与基于稀疏收缩阵列的加速器Swallow、FESA和SPOTS相比,Sense在这些CNN上分别实现了1x-2.25x、1.95x-2.5x和1.17x-2.37x的性能提升,且开销合理。
2022-09-23 cs.AR
Manticore: Hardware-Accelerated RTL Simulation with Static Bulk-Synchronous Parallelism
Manticore是一种利用静态批量同步并行模型加速RTL仿真的并行计算机,通过编译器调度消除同步开销,其225核FPGA实现优于最先进的RTL仿真器。
2023-10-20 cs.AR
SkyByte: Architecting an Efficient Memory-Semantic CXL-based SSD with OS and Hardware Co-design
针对CXL-SSD访问延迟高、粒度不匹配导致性能差的问题,提出SkyByte架构,通过OS与硬件协同设计优化上下文切换、缓存结构与页迁移,实现性能与I/O效率的大幅提升。
2025-01-18 cs.AR
CXL-ClusterSim: Modeling CXL-based Disaggregated Memory Cluster for Pooling and Sharing using gem5 and SST
University of California, Davis(加利福尼亚大学戴维斯分校)
提出CXL-ClusterSim框架,结合gem5和SST模拟器,实现CXL解聚内存系统的全系统建模与性能评估。
2026-05-26 cs.AR
New Tools, Programming Models, and System Support for Processing-in-Memory Architectures
本论文面向 DRAM 内存内处理架构,提出 DAMOV 数据移动基准、MIMDRAM 可编程基板、Proteus 低延迟硬件框架和 DaPPA 编程框架,以降低 PIM 采用门槛并提升性能与可编程性。
2025-08-27 cs.AR cs.DC
GradPIM: A Practical Processing-in-DRAM Architecture for Gradient Descent
Seoul National University(首尔国立大学);Samsung Electronics(三星电子);Yonsei University(延世大学)
在本文中,我们提出了GradPIM,一个内存处理架构,加速深度神经网络训练的参数更新。作为在不久的将来可能实现的内存处理技术之一,我们提出了一个增量的,简单的架构设计,不侵犯现有的内存协议。扩展DDR4 SDRAM以利用存储体组并行性,使得我们在内存处理(PIM)模块中的操作设计在硬件成本和性能方面是有效的。我们的实验结果表明,所提出的架构可以提高DNN训练的性能,并大大降低内存带宽的要求,而只构成了最小量的协议和DRAM区域的开销。
2021-02-15 cs.AR cs.DC cs.LG
PIM-DRAM: Accelerating Machine Learning Workloads using Processing in Commodity DRAM
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
深度神经网络(DNN)已经改变了机器学习的领域,并且被广泛部署在涉及图像、视频、语音和自然语言处理的许多应用中。DNN日益增长的计算需求已经通过图形处理单元(GPU)和专用加速器得到了广泛的解决。然而,随着模型大小的增长,这些冯·诺依曼架构需要非常高的内存带宽来保持处理元件被利用,因为大部分数据驻留在主内存中。内存中的处理已被提出作为ML工作负载的内存墙瓶颈的一个有前途的解决方案。在这项工作中,我们提出了一种新的基于DRAM的内存处理(PIM)乘法原语,结合内部存储库累积,以加速ML工作负载中的矩阵向量运算。所提出的乘法原语增加了< 1%的面积开销,并且不需要DRAM外围设备的任何改变。因此,所提出的乘法可以很容易地在商品DRAM芯片中采用。随后,我们设计了一个基于DRAM的PIM架构,数据映射方案和在DRAM中执行DNN的流程。在AlexNet、VGG 16和ResNet 18等网络上进行的系统评估表明,所提出的架构、映射和数据流可以在NVIDIA Titan Xp GPU上提供高达19.5倍的加速,这凸显了克服未来几代DNN硬件内存瓶颈的必要性。
2021-08-16 cs.AI cs.AR cs.LG
Memory-Centric Computing: Recent Advances in Processing-in-DRAM
本文综述了以内存为中心的计算中DRAM内处理的最新进展,涵盖轻量级芯片修改、商用DRAM批量按位计算实验验证以及改善访问粒度与效率的新设计,旨在释放DRAM内处理的潜力。
2024-12-26 cs.AR cs.DC
Twin-Load: Building a Scalable Memory System over the Non-Scalable Interface
商用内存接口难以扩展内存容量以满足现代多核和大数据系统的需求。DRAM设备密度和最大设备数量受到技术、封装和信号完整性问题的限制,这些问题限制了总存储器容量。同步DRAM协议要求在固定的延迟内返回数据,并且因此通过商用DDRx接口的存储器扩展方法不能支持可扩展拓扑。当前的扩展方法要么使用慢速PCIe接口,要么需要对存储器接口进行昂贵的更改,这限制了商业上的可采用性。在这里,我们提出了双负载,一个轻量级的异步内存访问机制的同步DDRx接口。双加载使用两个特殊的加载来完成对扩展存储器的一个访问请求,第一个作为对DRAM系统的预取命令,第二个异步地获得所需的数据。双负载不需要在处理器方面的硬件变化,只有轻微的软件修改。我们模拟这个系统的原型,以证明我们的方法的可行性。双负载具有与NUMA扩展内存相当的性能,并且在几个数量级上优于基于页面交换PCIe的系统。因此,双负载可以在商品平台上即时增加容量,但更重要的是,我们的架构为设计新颖,高效,可扩展,具有成本效益的内存子系统提供了机会。
2015-05-13 cs.AR
DeepStack: Facilitating Co-Design Exploration of 3D DRAM-Stacked Accelerators for Distributed LLM Inference
Imperial College London(帝国理工学院);Peking University(北京大学);Tile-AI
DeepStack通过高效模型和工具实现分布式3D堆叠AI系统的早期设计空间探索,利用双阶段网络抽象和计算通信重叠技术,提升性能模拟效率,并揭示批量大小对架构设计的根本影响。
2026-09-14 cs.AR cs.DC
ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks
ARTEMIS是一种混合模拟-随机存内DRAM加速器,通过最小化DRAM改动并利用新型电容器支持随机计算和模拟累加,在加速Transformer时相比GPU、TPU等实现至少3.0倍速度提升和1.9倍能效改善。
2024-07-17 cs.AR cs.LG
ATRIA: A Bit-Parallel Stochastic Arithmetic Based Accelerator for In-DRAM CNN Processing
University of Kentucky(肯塔基大学)
随着卷积神经网络(CNN)在与机器学习和人工智能(AI)相关的现实世界应用中的快速增长,最近已经提出了用于CNN推理和训练的几种硬件加速器设计。在本文中,我们提出了ATRIA,一种新的基于比特位的随机算法的In-DRAM加速器,用于CNN的节能和高速推理。ATRIA在DRAM单元阵列中采用轻量级修改来实现基于位并行随机算术的DRAM内部乘法累加(MAC)操作的加速。ATRIA通过仅在五个连续的存储器操作周期中执行16个MAC操作,显著改善了处理CNN推断的延迟、吞吐量和效率。我们在ATRIA上映射了四个基准CNN的推理任务,以将其性能与之前工作中的五个最先进的DRAM内CNN加速器进行比较。我们的分析结果表明,ATRIA在CNN推理准确性方面仅下降了3.5%,并且与先前工作中性能最好的DRAM内加速器相比,每秒帧数(FPS)和效率(FPS/W/mm 2)仍然提高了3.2倍。
2021-05-26 cs.AI cs.AR cs.LG
Digital Neuron: A Hardware Inference Accelerator for Convolutional Deep Neural Networks
我们提出了一个数字神经元,这是一个硬件推理加速器,用于嵌入式系统的卷积深度神经网络,具有整数输入和整数权重。该算法的主要思想是通过桶形移位器和并行加法器对输入特征向量和权值向量进行点积运算,从而减小电路面积和功耗。减少的面积允许更多的计算引擎被安装在推理加速器上,从而导致与现有的HW加速器相比的高吞吐量。我们验证了与32位浮点计算相比,整数与3个部分子整数的乘法不会导致推理精度的显著损失。所提出的数字神经元可以在一个时钟内执行800次MAC操作,用于卷积和全连接计算。本文提出了一种方案,重用的输入,重量,和输出的所有层,以减少DRAM访问。此外,本文提出了一种可配置的架构,可以提供卷积神经网络的自适应特性的推理。以瓦特为单位的数字神经元的吞吐量达到754.7 GMACs/W。
2019-02-07 cs.AR eess.SP
CAMEL: Co-Designing AI Models and Embedded DRAMs for Efficient On-Device Learning
New York University(纽约大学);Harvard University(哈佛大学)
提出CAMEL系统,通过算法与硬件协同设计,利用eDRAM存储和可逆DNN架构,实现高效设备端训练,显著降低内存使用和能耗,并提升训练速度。
2023-12-22 cs.AR cs.LG cs.NE
SLIM: A Heterogeneous Accelerator for Edge Inference of Sparse Large Language Model via Adaptive Thresholding
提出SLIM算法-硬件协同设计,通过自适应阈值化算法利用LLM稀疏性并结合NSP与PIM异构架构,大幅减少数据移动与能耗,在边缘设备上实现了显著的吞吐量和能效提升。
2025-07-12 cs.AR cs.DC
Proteus: Enabling High-Performance Processing-Using-DRAM with Dynamic Bit-Precision, Adaptive Data Representation, and Flexible Arithmetic
针对现有DRAM内处理(PUD)存在的静态数据表示效率低、仅支持吞吐量导向执行、高精度运算延迟高三大问题,提出硬件框架Proteus,通过动态位精度调整、跨阵列并发运算和自适应数据表示与算法,有效降低PUD运算延迟与能耗。
2025-06-12 cs.AR cs.DC
Sphinx: A Secure Architecture Based on Binary Code Diversification and Execution Obfuscation
Sphinx,一个用于二进制代码和运行时混淆的软硬件协同设计架构。Sphinx架构使用二进制代码多样化和自可重构处理元素来维护应用程序功能,同时对攻击者混淆二进制代码和架构状态。这种方法极大地降低了攻击者利用从一个部署获得的信息攻击另一个部署的能力。我们的研究结果表明,Sphinx是能够解耦程序的执行时间,电源和内存和I/O活动从它的功能。它也是实用的,因为系统(软件和硬件)的开销是最小的。
2018-02-12 cs.AR cs.CR
PENDRAM: Enabling High-Performance and Energy-Efficient Processing of Deep Neural Networks through a Generalized DRAM Data Mapping Policy
New York University(纽约大学)
PENDRAM提出一种广义DRAM数据映射策略及设计空间探索方法,通过优化CNN加速器的DRAM访问延迟与能耗,实现高性能高能效的嵌入式AI推理加速。
2024-08-05 cs.AI cs.AR cs.LG
PhD Forum: Efficient Privacy-Preserving Processing via Memory-Centric Computing
针对隐私保护计算中CPU-DRAM数据移动开销大的问题,提出基于内存处理(PIM)硬件的四层框架,通过在内存中引入DPU实现计算与数据就近处理,显著提升性能。
2024-09-25 cs.AR cs.CR cs.DC
MIMDRAM: An End-to-End Processing-Using-DRAM System for High-Throughput, Energy-Efficient and Programmer-Transparent Multiple-Instruction Multiple-Data Processing
本文提出软硬件协同设计的MIMDRAM系统,利用细粒度DRAM在子阵列内支持MIMD执行,以提升PUD的灵活性、吞吐、能效和可编程透明性。
2024-03-03 cs.AR cs.DC
Salca: A Sparsity-Aware Hardware Accelerator for Efficient Long-Context Attention Decoding
Fudan University(复旦大学)
本文提出Salca,通过软硬件协同设计,解决长上下文注意力解码中的计算与内存瓶颈,实现3.82倍速度提升和74.19倍能效提升。
2026-04-27 cs.AI cs.AR
Benchmarking Memory-Centric Computing Systems: Analysis of Real Processing-in-Memory Hardware
本文全面分析了首个公开可用的真实UPMEM存内计算(PIM)架构,结合DRAM阵列与DPUs核心,为软硬件设计者提供关键见解与优化建议。
2023-04-03 cs.AR cs.DC cs.PF
Speeding-up Logic Design and Refining Hardware EDA Flow by Exploring Chinese Character based Graphical Representation
电子设计自动化(EDA)技术对计算机硬件设计产生了深刻的影响,特别是在超大规模集成(VLSI)电路领域。特别是,FPGA,ASIC和SOC应用的普及已经急剧增加,由于发达的EDA工具链。几十年来,提高EDA工具的功能性、效率、准确性和智能性不仅是学术界的研究热点,也是业界的尝试目标。本文从一个新的角度对当前主流的EDA工作流程和设计方法进行了回顾,旨在缩短EDA设计周期,大大简化逻辑设计负担。具体而言,有三个主要贡献。首先,提出了一个用于表示逻辑抽象语法树的基于汉字的表示系统(CCRS)。其次,采用寄存器传输级(RTL)符号描述技术代替传统的基于文本的编程方法。最后,讨论了基于CCRS的EDA精细化设计流程。基于图形化非纯英文的EDA流程可以降低设计成本和复杂度。作为这一新领域的基础性尝试,可以肯定的是,后续的大量工作将促进相关EDA技术的发展。
2020-04-15 cs.AR cs.PL
SoK: Rowhammer on Commodity Operating Systems
本文系统化梳理了基于DRAM的商用系统中的Rowhammer攻击与防御,提出统一分析框架以刻画现有攻击、揭示新攻击向量,并分类归纳软件与生产级防御策略及其局限。
2024-05-01 cs.AR cs.CR
Exploring the Efficiency of 3D-Stacked AI Chip Architecture for LLM Inference with VOXEL
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出Voxel框架,用于探索3D堆叠AI芯片在LLM推理中的效率,分析计算范式、映射策略及硬件架构的影响,揭示效率取决于多因素协同及映射设计。
2026-09-15 cs.AR cs.DC
A Hardware Evaluation Framework for Large Language Model Inference
Princeton University(普林斯顿大学)
提出 LLMCompass 硬件评估框架,通过自动映射调度和面积成本模型快速准确评估 LLM 推理硬件,并据此发现相比 A100 性能/成本最高提升 3.41 倍的设计。
2023-12-05 cs.AR cs.DC cs.LG
Parameterized Hardware Design with Latency-Abstract Interfaces
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Cornell University(康奈尔大学)
本文提出延迟抽象接口,通过参数化HDL实现时间适应性,确保设计在接口变化时仍具高效性能。
2026-01-25 cs.AR cs.PL
ConfuciuX: Autonomous Hardware Resource Assignment for DNN Accelerators using Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
DNN加速器通过在DNN计算期间利用激活/权重/输出的重用来提供效率,以减少从DRAM到芯片的数据移动。复用被加速器的流水线捕获。虽然在探索和比较各种硬件方面已经有了重要的先前工作,但是用于分配片上硬件资源的策略(即,计算和存储器),其可以优化性能/能量,同时满足感兴趣的DNN的面积/功率的平台约束。平衡计算和内存的设计空间选择组合爆炸,正如我们在这项工作中所展示的那样(例如,运行\mobilenet的选择多达O(10^(72)),这使得通过穷举搜索进行手动调优是不可行的。考虑到不同的DNN和层类型表现出不同的重用量,也很难提出一个特定的启发式方法。在本文中,我们提出了一个自主的策略,称为孔子X找到优化的硬件资源分配为给定的模型和低风格。ConfuciuX利用强化学习方法REINFORCE来指导搜索过程,利用训练循环中详细的硬件性能成本模型来估计奖励。我们还增加了RL的方法与遗传算法进一步微调。与其他技术(如贝叶斯优化,遗传算法,模拟退火和其他RL方法)相比,ConfuciuX在训练中表现出最高的样本效率。它收敛到优化的硬件配置比其他技术快4.7到24倍。
2020-09-04 cs.AR cs.LG eess.SP
Deterministic Memory Abstraction and Supporting Multicore System Architecture
多核处理器的时间可预测性差一直是实时系统社区的一个长期挑战。在本文中,我们提出了一个案例,一个基本的问题,防止有效的和可预测的实时计算多核是缺乏一个适当的内存抽象来表达内存的关键性,它跨越系统的各个层:应用程序,操作系统和硬件。因此,我们提出了一个新的整体资源管理方法驱动的一个新的内存抽象,我们称之为确定性内存。确定性内存的关键特征是平台-操作系统和硬件-保证最坏情况下的内存访问时间小且有严格限制。相比之下,我们称传统的内存抽象为尽力而为的内存,其中只有高度悲观的最坏情况下的界限可以实现。我们建议利用这两个抽象,以实现高的时间可预测性,但不会显着牺牲性能。我们提出了确定性的内存感知的操作系统和体系结构的设计,包括操作系统级的页面分配器,硬件级缓存,和DRAM控制器的设计。我们在Linux和gem 5模拟器上实现了所提出的操作系统和架构扩展。我们的评估结果,使用一组合成和现实世界的基准,证明了我们的方法的可行性和有效性。
2018-04-19 cs.AR cs.OS cs.PF