On the Off-chip Memory Latency of Real-Time Systems: Is DDR DRAM Really the Best Option?
在多核实时的【形】系统中,访问共享存储器时的可预测执行时间是一个严格的要求。大量现有工作都集中在双数据率动态随机存取存储器(DDR DRAM)的分析上,或重新设计其存储器以提供可预测的存储器行为。在本文中,我们表明,DDR DRAM的建设遭受与实现这种可预测性的固有限制。这些限制导致1)高度可变的访问延迟,其基于各种因素(诸如来自先前访问的访问模式和存储器状态)而波动,以及2)过度悲观的延迟界限。结果,DDR DRAM可能不适合于要求具有严格时序约束的严格可预测性能的某些实时的【形】系统。针对这些系统,我们提出了一种替代的片外存储器解决方案,是基于新兴的减少延迟DRAM(RLDRAM)协议,并提出了一个可预测的内存控制器(RLDC)管理访问此内存。与最先进的可预测DDR控制器相比,所提出的解决方案提供了高达11倍的时间可变性和6.4倍的最坏情况下的内存延迟减少。
2018-10-16 cs.AR
relOBI: A Reliable Low-latency Interconnect for Tightly-Coupled On-chip Communication
ETH Zurich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
本文提出relOBI,一种OBI扩展,通过结合TMR和ECC保护提升片上互连抗辐射可靠性,实验显示单故障脆弱性降至零且面积开销低于现有方案。
2025-10-13 cs.AR
Adaptive-Latency DRAM: Reducing DRAM Latency by Exploiting Timing Margins
本文总结了HPCA 2015上发表的自适应延迟DRAM(AL-DRAM)的想法,并探讨了这项工作的意义和未来潜力。AL-DRAM是一种基于DRAM模块和操作温度,通过利用内置于DRAM时序参数中的额外裕度来优化DRAM延迟的机制。DRAM制造商为时序参数提供了较大的裕度,作为对两种最坏情况的准备。首先,由于工艺差异,一些异常的DRAM芯片比其他芯片慢得多。其次,芯片在较高温度下变得较慢。定时参数裕度确保了慢异常值芯片在最坏情况温度下可靠地操作,并且因此导致高访问延迟。使用基于FPGA的DRAM测试平台,我们的工作首先表征了来自三个主要制造商的115个DRAM模块的额外裕度。实验结果表明,它是可能的,以最小/最大的17.3%/54.8%,在55 ℃,同时保持可靠的操作,减少四个最关键的定时参数。AL-DRAM使用这些观察来基于模块的当前操作条件自适应地为每个DRAM模块选择可靠的DRAM定时参数。AL-DRAM不需要对DRAM芯片或其接口进行任何更改;它只需要内存控制器指定和支持多个不同的时序参数。我们的真实系统评估表明,AL-DRAM将内存密集型工作负载的性能平均提高了14%,而不会引入任何错误。我们的表征和提出的技术启发了其他几个工作分析和/或利用DRAM芯片内的延迟和性能变化的不同来源。
2018-05-04 cs.AR
A Quality-of-Service Mechanism for Interconnection Networks in System-on-Chips
随着摩尔定律不断推动构建日益复杂的片上系统(SoC)的能力,实现性能目标正在成为完成设计的关键挑战。特别地,系统互连必须有效地服务于具有广泛的服务质量(QoS)要求的各种数据流。然而,用于诸如大规模网络的芯片外互连的已知解决方案不一定适用于芯片上环境。片上互连的延迟和存储器约束与大规模互连有很大不同。提出了一种新的片上互连仲裁方案。我们展示了如何将此方案分布在一个芯片上的高速实现。我们比较的仲裁方案与其他已知的互连仲裁方案的性能。现有的方案通常主要集中在一些发起者的低服务延迟上,或者可替代地集中在其他发起者的保证带宽递送上。我们的计划允许一些发起人的服务延迟被权衡顺利对其他发起人的抖动范围,同时仍然提供带宽保证。该方案是一个子集的QoS控制,可在SonicsMX?(SMX)产品
2007-10-25 cs.AR
Hermes: Accelerating Long-Latency Load Requests via Perceptron-Based Off-Chip Load Prediction
ETH Zürich(苏黎世联邦理工学院);Intel Processor Architecture Research Lab(英特尔处理器架构研究实验室);LIRMM, Univ. Montpellier, CNRS(蒙彼利埃大学LIRMM实验室,CNRS)
提出Hermes技术,利用感知器预测片外负载请求,投机性地直接从主存获取数据,同时并行访问缓存层次,从而消除片外负载关键路径上的片上缓存访问延迟,显著提升处理器性能。
2026-06-05 cs.AR cs.LG
Voltron: Understanding and Exploiting the Voltage-Latency-Reliability Trade-Offs in Modern DRAM Chips to Improve Energy Efficiency
本文总结了我们在SIGMETRICS 2017上发表的关于现代DRAM芯片降压操作的实验表征和分析工作,并探讨了这项工作的意义和未来潜力。我们采取全面的方法来理解和利用现代DRAM的延迟和可靠性特性,当DRAM电源电压低于DRAM标准规定的标称电压水平时。我们对三大DRAM供应商最近生产的124个真正的DDR3L(低压)DRAM芯片进行了实验研究。我们发现,降低电源电压低于一定的点引入数据中的位错误,我们全面表征这些错误的行为。我们发现,这些错误可以通过增加三个主要的DRAM操作(激活,恢复和预充电)的延迟来避免。我们进行详细的DRAM电路模拟验证和解释我们的实验结果。我们还描述了降低电源电压和错误位置,存储的数据模式,DRAM温度和数据保持之间的各种关系。基于我们的观察,我们提出了一种新的DRAM能量降低机制,称为Voltron。Voltron的关键思想是使用性能模型来确定我们可以在不引入错误和不超过用户指定的性能损失阈值的情况下降低多少电源电压。我们的评估表明,Voltron将平均DRAM和系统能耗分别降低了10.5%和7.3%,同时将平均系统性能损失限制在仅1.8%,适用于各种内存密集型四核工作负载。我们还表明,Voltron显着优于以前的动态电压和频率缩放机制的DRAM。
2018-05-08 cs.AR
Reducing Solid-State Drive Read Latency by Optimizing Read-Retry
具有高级多级单元技术的3D NAND闪存提供高存储密度,但是由于大量的读取重试操作而遭受显著的性能降级。虽然读重试机制对于确保现代NAND闪存的可靠性是必不可少的,但是它可以通过引入利用调整的读参考电压值再次读取目标页的多个重试步骤来显著增加SSD的读延迟。通过对160个真实3D NAND闪存芯片的读取机制和严格表征的详细分析,我们发现了通过利用现代NAND闪存SSD中广泛采用的两个先进功能来减少读取重试延迟的新机会:1)CACHE READ命令和2)强大的ECC引擎。首先,我们可以使用高级CACHE READ命令来减少读取重试延迟,该命令允许NAND闪存芯片以流水线方式执行连续读取。其次,在最后的重试步骤中存在大的ECC能力裕度,其可用于减少芯片级读取延迟。基于我们的新发现,我们开发了两种新的技术,有效地减少读重试延迟:1)流水线读缓冲器(PR $^2$)和2)自适应读缓冲器(AR $^2$)。PR $^2$通过使用CACHE READ命令对连续重试步骤进行流水线处理,减少了读重试操作的延迟。AR $^2$可根据决定ECC能力裕度的当前工作条件动态减少芯片级读取延迟,从而缩短每个重试步骤的延迟。我们使用十二个真实世界的工作负载进行的评估表明,我们的建议将SSD的响应时间提高了31.5%(平均17%),超过了最先进的基线,只需对SSD控制器进行很小的更改。
2021-03-25 cs.AR
Understanding and Improving the Latency of DRAM-Based Memory Systems
在过去的二十年中,主存的存储容量和访问带宽分别提高了128倍和20倍。这些改进主要是由于DRAM(动态随机存取存储器)的持续技术扩展,DRAM一直被用作主存储器的物理基板。与容量和带宽形成鲜明对比的是,DRAM延迟几乎保持不变,在同一时间段内仅减少了1.3倍。因此,长DRAM延迟仍然是现代系统中的关键性能瓶颈。核心数量的增加,以及越来越多的数据密集型和延迟关键型应用程序的出现,进一步强调了提供低延迟内存访问的重要性。在这篇论文中,我们确定了三个主要的问题,有助于显着长延迟的DRAM访问。为了解决这些问题,我们提出了一系列新的技术。我们的新技术显著提高了系统性能和能源效率。我们还研究了现代DRAM芯片中电源电压和延迟之间的关键关系,并开发了利用这种电压-延迟权衡来提高能效的新机制。本文的主要结论是,增加DRAM架构简单,低成本的功能,并开发一个更好的理解制造DRAM芯片一起导致显着的存储延迟减少以及能源效率的提高。我们希望并相信,本文提出的架构技术以及对实际商品DRAM芯片的详细实验数据和观察将能够开发其他新机制,以提高未来存储系统的性能、能效或可靠性。
2017-12-22 cs.AR
Architectural Implications of Neural Network Inference for High Data-Rate, Low-Latency Scientific Applications
UC San Diego(加州大学圣迭戈分校);Fermi National Accelerator Laboratory(费米国家加速器实验室)
该研究指出高数据率、低延迟科学应用要求神经网络参数全部存储在芯片上,并常需定制或可重构逻辑,极端情况下需定制芯片以满足严格约束。
2024-03-13 cs.AR cs.LG
Closed-Loop Neural Prostheses with On-Chip Intelligence: A Review and A Low-Latency Machine Learning Model for Brain State Detection
闭环方法在系统神经科学和治疗性刺激中的应用为我们彻底改变对大脑的理解和开发新的神经调节疗法以恢复失去的功能带来了巨大的希望。能够进行多通道神经记录、现场信号处理、快速症状检测和闭环刺激的神经假体对于实现这种新型治疗至关重要。然而,现有的闭环神经调节设备过于简单,缺乏足够的片上处理和智能。在本文中,我们首先讨论了商业和研究闭环神经调节设备的大脑疾病。接下来,我们将回顾具有片上机器学习的最先进的神经假体,重点关注专用集成电路(ASIC)。系统要求,性能和硬件比较,设计权衡,和硬件优化技术进行了讨论。为了便于公平的比较和指导设计选择各种片上分类器,我们提出了一个新的能源面积(E-A)的效率指数的优点,评估硬件的效率和多通道的可扩展性。最后,我们提出了几种技术,以提高基于树的片上分类器的关键设计指标,无论是在集成方法和斜结构的上下文中。
2021-09-13 cs.AR eess.SP
EONSim: An NPU Simulator for On-Chip Memory and Embedding Vector Operations
本文提出EONSim模拟器,统一建模矩阵与嵌入向量操作,支持多种片上存储管理策略,并在TPUv6e上验证了高精度。
2025-11-10 cs.AR
FUSE: Fusing STT-MRAM into GPUs to Alleviate Off-Chip Memory Access Overheads
在这项工作中,我们提出了FUSE,一种新的GPU高速缓存系统,集成自旋转移力矩磁性随机存取存储器(STT-MRAM)到片上L1 D缓存。FUSE可以最大限度地减少GPU多处理器互连网络上的传出内存访问次数,从而大大提高GPU的大规模计算并行性水平。具体而言,FUSE通过提取GPU运行时信息来预测GPU存储器访问的读取级别,并将一次写入多次读取(WORM)数据块放置到STT-MRAM中,同时在L1 D缓存中的SRAM的一小部分上容纳多次写入数据块。为了进一步减少片外存储器访问,FUSE还允许通过近似与有限数量的标签比较器和I/O外设的关联性,将WORM数据块分配到STT-MRAM中的任何位置。我们的评估结果表明,与传统的GPU缓存相比,我们提出的异构缓存减少了32%的互连网络中传出内存引用的数量,从而提高了217%的整体性能,降低了53%的能源成本。
2019-03-09 cs.AR
HiRA: Hidden Row Activation for Reducing Refresh Latency of Off-the-Shelf DRAM Chips
DRAM是现代主存储器系统的构建块。DRAM单元必须定期刷新以防止数据丢失。刷新操作会干扰内存访问,从而降低系统性能。随着DRAM芯片密度随着技术节点缩放而增加,刷新操作也增加,因为:1)芯片中的DRAM行的数量增加;以及2)DRAM单元需要额外的刷新操作以减轻由RowHammer引起的位故障,RowHammer是随着技术节点缩放而变得更糟的故障机制。因此,以低性能开销实现刷新操作至关重要。为此,我们提出了一个新的操作,隐藏行激活(HiRA),和HiRA内存控制器(HiRA-MC)。HiRA通过在访问或刷新同一存储体中的另一行的同时刷新一行来隐藏刷新操作的延迟。与以前的作品不同,HiRA实现了这种并行性,而无需对现成的DRAM芯片进行任何修改。为此,它利用了新的观察结果,即如果行连接到不同的电荷恢复电路,则可以在没有数据丢失的情况下激活同一存储体中的两行。我们的实验表明,56%的真正现成的DRAM芯片,HiRA可以可靠地并行DRAM行的刷新操作与刷新或激活的任何32%的行在同一银行。通过这样做,HiRA将两次刷新操作的总体延迟降低了51.4%。HiRA-MC修改存储器请求调度器以在刷新操作可以与存储器访问或另一刷新同时执行时执行HiRA。我们的系统级评估表明,HiRA-MC将系统性能提高了12.6%和3.73倍,因为它减少了由于定期刷新和RowHammer保护刷新(预防性刷新)而导…
2022-09-21 cs.AR cs.CR
Understanding RowHammer Under Reduced Refresh Latency: Experimental Analysis of Real DRAM Chips and Implications on Future Solutions
本文基于388个真实DDR4芯片实验分析刷新延迟与RowHammer的关系,提出PaCRAM以部分电荷恢复降低五种现有缓解机制的性能、能耗和面积开销。
2025-02-17 cs.AR cs.CR
On-Package Memory with Universal Chiplet Interconnect Express (UCIe): A Low Power, High Bandwidth, Low Latency and Low Cost Approach
Intel Corporation(英特尔公司);AMD Corporation(超威半导体公司)
针对AI等应用的内存墙问题,提出通过UCIe增强内存语义,复用LPDDR6/HBM或原生UCIe的DRAM,实现高带宽密度、低延迟、低功耗和低成本的片上封装内存方案。
2025-10-07 cs.AR cs.DC
Reducing DRAM Access Latency by Exploiting DRAM Leakage Characteristics and Common Access Patterns
基于DRAM的存储器是造成系统性能瓶颈的关键因素,因为处理器速度大大超过DRAM延迟。在这篇论文中,我们开发了一种低成本的机制,称为ChargeCache,它可以更快地访问DRAM中最近访问的行,而不需要修改DRAM芯片。我们的机制是基于一个关键的观察,最近访问的行有更多的电荷,因此以下访问同一行可以更快地执行。为了利用这一观察结果,我们建议在内存控制器中的表中跟踪最近访问的行的地址。如果稍后的DRAM请求在该表中命中,则存储器控制器使用较低的定时参数,从而导致减少的DRAM延迟。在指定的持续时间之后,从表中删除行地址,以确保不会以较低的延迟访问泄漏过多电荷的行。我们评估了各种工作负载上的ChargeCache,并表明它为单核和多核系统提供了显着的性能和能源优势。
2016-09-23 cs.AR
Reducing Solid-State Drive Read Latency by Optimizing Read-Retry (Extended Abstract)
具有高级多级单元技术的3D NAND闪存提供高存储密度,但是由于大量的读取重试操作而遭受显著的性能降级。虽然读重试机制对于确保现代NAND闪存的可靠性是必不可少的,但是它可以通过引入利用调整的读参考电压值再次读取目标页的多个重试步骤来显著增加SSD的读延迟。通过对160个真实3D NAND闪存芯片的读取机制和严格表征的详细分析,我们发现了通过利用现代NAND闪存SSD中广泛采用的两个先进功能来减少读取重试延迟的新机会:1)CACHE READ命令和2)强大的ECC引擎。首先,我们可以使用高级CACHE READ命令来减少读取重试延迟,该命令允许NAND闪存芯片以流水线方式执行连续读取。其次,在最后的重试步骤中存在大的ECC能力裕度,其可用于减少芯片级读取延迟。基于我们的新发现,我们开发了两种新的技术,有效地减少了读重试延迟:1)流水线读缓存(PR $^2$)和2)自适应读缓存(AR $^2$)。PR $^2$通过使用CACHE READ命令对连续重试步骤进行流水线处理,减少了读重试操作的延迟。AR $^2$可根据决定ECC能力裕度的当前工作条件动态减少芯片级读取延迟,从而缩短每个重试步骤的延迟。我们使用十二个真实世界的工作负载进行的评估表明,我们的建议将SSD的响应时间提高了31.5%(平均17%),超过了最先进的基线,只需对SSD控制器进行很小的更改。
2021-03-12 cs.AR cs.DC
Latency optimized Deep Neural Networks (DNNs): An Artificial Intelligence approach at the Edge using Multiprocessor System on Chip (MPSoC)
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学)
本研究探讨了基于FPGA和Xilinx MPSoC的嵌入式边缘计算方案,通过混合系统架构结合深度学习可编程引擎作为硬件加速器,实现低延迟、功耗优化的移动智能系统。
2024-07-16 cs.AI cs.AR
AMMA: A Multi-Chiplet Memory-Centric Architecture for Low-Latency 1M Context Attention Serving
University of California, San Diego(加州大学圣迭戈分校);Columbia University(哥伦比亚大学);Yonsei University(延世大学);NVIDIA(NVIDIA公司);Samsung Semiconductor, Inc.(三星半导体公司)
AMMA是一种面向低延迟1M上下文注意力服务的多芯片片内存架构,通过提高内存带宽和优化并行计算方案,显著降低注意力延迟和能耗。
2026-11-02 cs.AI cs.AR cs.DC
MOCAP: Wafer-Scale-Chip-Oriented Memory-Orchestrated Chunked Pipelining Framework for Prefill-Only LLM Inference
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出MOCAP框架,通过内存平衡KV重分配和延迟平衡分块划分,解决晶圆级芯片上长上下文预填充中的内存和延迟不平衡问题,显著降低端到端延迟并提高吞吐量。
2026-06-23 cs.AR
Exploiting Nanoelectronic Properties of Memory Chips for Prevention of IC Counterfeiting
Indian Institute of Technology Delhi(印度理工学院德里分校)
本研究提出一种非挥发性记忆体晶片防伪的方法。特别是,我们实验证明了一种通用的方法,用于检测(i)集成电路(IC)的起源,(ii)回收或使用的NVM芯片,和(iii)在芯片中使用的位置(地址)的识别。我们提出的方法检查商业现货(COTS)NVM芯片的延迟和可变性签名。所提出的技术需要低周期(~100)预处理,并利用机器学习(ML)算法。我们观察到不同的趋势,在不同的NVM技术从不同的供应商循环的延迟(扇区擦除或页面写入)的演变。ML辅助方法用于检测IC制造商,在由包括6个不同制造商(9种芯片)的3种不同NVM技术组成的准备好的测试数据集上获得95.1%的准确度。
2022-09-09 cs.AR cs.CR cs.LG
Exploiting Row-Level Temporal Locality in DRAM to Reduce the Memory Access Latency
本文总结了发表在HPCA 2016 [51]上的ChargeCache的想法,并研究了这项工作的意义和未来的潜力。DRAM延迟仍然是系统性能的关键瓶颈。在这项工作中,我们开发了一种低成本的机制,称为ChargeCache,它可以更快地访问DRAM中最近访问的行,而无需修改DRAM芯片。我们的机制是基于一个关键的观察,最近访问的行有更多的电荷,因此以下访问同一行可以更快地执行。为了利用这一观察结果,我们建议在内存控制器中的表中跟踪最近访问的行的地址。如果稍后的DRAM请求在该表中命中,则存储器控制器使用较低的定时参数,从而导致减少的DRAM延迟。在指定的持续时间之后,从表中删除行地址,以确保不会以较低的延迟访问泄漏过多电荷的行。我们评估了各种工作负载上的ChargeCache,并表明它为单核和多核系统提供了显着的性能和能源优势。
2018-05-08 cs.AR
Reuse Kernels or Activations? A Flexible Dataflow for Low-latency Spectral CNN Acceleration
本文针对谱域CNN的核爆炸问题,提出灵活数据流与调度算法,在FPGA上实现低延迟加速,减少42%数据传输,VGG16推理延迟降至9毫秒。
2023-10-17 cs.AR eess.SP
Understanding Reduced-Voltage Operation in Modern DRAM Chips: Characterization, Analysis, and Mechanisms
DRAM的能量消耗是现代计算系统中的关键问题。制造工艺技术的改进允许DRAM供应商保守地降低DRAM电源电压,这减少了DRAM的一些能耗。我们希望更积极地降低DRAM电源电压,以进一步降低能耗。积极的电源电压降低需要彻底了解电压缩放对DRAM访问延迟和DRAM可靠性的影响。在本文中,我们采取全面的方法来理解和利用现代DRAM的延迟和可靠性特性时,电源电压低于DRAM标准规定的标称电压水平。使用基于FPGA的测试平台,我们进行了实验研究的124个真正的DDR3L(低压)DRAM芯片最近生产的三个主要的DRAM供应商。我们发现,降低电源电压低于一定的点引入数据中的位错误,我们全面表征这些错误的行为。我们发现,这些错误可以通过增加三个主要的DRAM操作(激活,恢复和预充电)的延迟来避免。我们进行详细的DRAM电路模拟验证和解释我们的实验结果。我们还描述了降低电源电压和错误位置,存储的数据模式,DRAM温度和数据保持之间的各种关系。基于我们的观察,我们提出了一种新的DRAM能量降低机制,称为Voltron。Voltron的关键思想是使用性能模型来确定我们可以在不引入错误和不超过用户指定的性能损失阈值的情况下降低多少电源电压。Voltron将平均系统能耗降低了7.3%,同时将各种工作负载的平均系统性能损失限制在仅1.8%。
2017-05-29 cs.AR
3DLS: A 3D Logic-Stacked Architecture for Disaggregated LLM Serving
KAIST(韩国科学技术院)
针对预填-解码分离与张量并行中KV缓存传输和TP集合共享互连导致的关键路径争用问题,提出3D逻辑堆叠架构3DLS,通过垂直互连分离流量,提升吞吐量达1.49倍,降低端到端延迟60.2%。
2026-07-03 cs.AR
HyNoC: A Hybrid Circuit-Switch/Wormhole Network-on-Chip for Distributed VLIW Computing on FPGA
研究针对FPGA上基于VLIW处理器核心的分布式计算系统,提出HyNoC架构,结合电路交换路径建立与虫洞数据传输,采用源路由,介绍其设计原理等,通过Verilator协同仿真展示优势,RTL实现开源。
2026-07-07 cs.AR cs.DC
Energy-Efficient Wireless Interconnection Framework for Multichip Systems with In-package Memory Stacks
具有存储器堆栈和各种处理芯片的多芯片系统是基于平台的设计(例如服务器和嵌入式系统)的核心。要充分利用这些集成多芯片系统的优势,需要一个无缝的、可扩展的封装内互连框架。然而,最先进的芯片间通信需要长的有线信道,这增加了能耗和延迟,同时降低了数据带宽。在这里,我们提出了一个节能,无缝无线互连网络的多芯片系统的设计。我们证明与周期精确的模拟,这样的设计降低了能耗和延迟,同时增加了带宽相比,现代多芯片集成系统。
2017-09-21 cs.AR
Reducing DRAM Latency at Low Cost by Exploiting Heterogeneity
在现代系统中,基于DRAM的主存储器比处理器慢得多。因此,处理器花费很长时间等待从主存储器访问数据,使得长的主存储器访问延迟成为实现高系统性能的最关键瓶颈之一。不幸的是,DRAM的延迟在过去十年中几乎保持不变。这主要是因为DRAM已针对每位成本而不是访问延迟进行了优化。因此,DRAM延迟并没有随着技术扩展而减少,并且仍然是现代和未来系统中的重要性能瓶颈。本论文主要从三个方面来研究低成本低延迟DRAM存储系统。首先,基于DRAM中的长位线是DRAM延迟的主要来源之一的观察,我们提出了一种新的DRAM架构,分层延迟DRAM(TL-DRAM),它使用隔离晶体管将长位线分成两个较短的段,允许一个段以减少延迟的方式访问。其次,我们提出了一个细粒度的DRAM延迟减少机制,自适应延迟DRAM,它优化了DRAM延迟为共同的操作条件,为个别DRAM模块。第三,我们提出了一种新的技术,架构变化感知DRAM(AVA-DRAM),以低成本降低DRAM延迟,通过分析和识别DRAM中固有的较慢的区域,动态地确定最低的延迟DRAM可以在不引起故障的情况下运行。本论文通过使用具有详细DRAM模型的电路级仿真和基于FPGA的真实DRAM模块剖析来详细分析DRAM延迟。我们的延迟分析表明,我们的低延迟DRAM机制能够显著降低延迟,从而大幅提高系统性能和能效。
2016-04-27 cs.AR
A Traffic-Aware Medium Access Control Mechanism for Energy-Efficient Wireless Network-on-Chip Architectures
无线互连已经成为解决传统片上网络(NoC)中有线路径上的多跳通信的挑战的节能解决方案。然而,为了确保这种新型互连技术的全部好处,需要设计简单,公平和高效的媒体访问控制(MAC)机制,以授权访问片上无线通信信道。此外,为了适应来自在多核环境上运行的应用的变化的业务需求,MAC机制应该动态地调整无线接口(WI)的传输时隙。传输时隙中的这种动态调整将导致提高无线NoC(WiNoC)中的无线介质的利用率。在本文中,我们提出了两个动态MAC机制的设计,调整传输时隙的WI预测的流量需求的基础上,并允许部分数据包传输。通过系统级仿真,我们证明了流量感知MAC机制是更节能的,以及能够维持更高的数据带宽在WiNoCs。
2018-09-04 cs.AR cs.NI
3D MPSoC with On-Chip Cache Support -- Design and Exploitation
本研究提出支持片上缓存的 3D MPSoC 设计,采用 NoC 与交叉开关混合通信架构及 UMA/NORMA 双层模型,并利用 PCRAM 和 MRAM 优化性能,通过 Gem5 模拟验证其可扩展性。
2025-04-28 cs.AR
FEATHER: A Reconfigurable Accelerator with Data Reordering Support for Low-Cost On-Chip Dataflow Switching
Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
FEATHER通过Nest空间数组和BIRRD多阶段缩减网络实现灵活的数据重排,支持无缝切换最优数据流,提升推理延迟和能效。
2024-05-21 cs.AR
Venice: Improving Solid-State Drive Parallelism at Low Cost via Conflict-Free Accesses
针对SSD控制器与存储芯片间路径冲突限制并行性的问题,提出Venice机制,通过低成本互连网络增加路径多样性,结合路径预留与全自适应路由,平均性能提升2.65倍,能耗降低61%。
2023-05-12 cs.AR
Cache Hierarchy Optimization
功耗、片外内存带宽、芯片面积和片上网络(NoC)容量是限制片上多处理器(CMP)可扩展性的主要芯片资源。在此基础上,提出了一种基于资源约束的CMP缓存层次结构优化和区域优化分配的解析解。通过将数据共享对缓存未命中率的影响纳入优化框架进行扩展。提出了一个高速缓存访问时间作为高速缓存大小的函数的分析模型,并使用CACTI仿真进行了验证。
2017-05-20 cs.AR
Taming the Tail: NoI Topology Synthesis for Mixed DL Workloads on Chiplet-Based Accelerators
Indraprastha Institute of Information Technology Delhi(印度普拉斯塔信息技术学院德里);Washington State University(华盛顿州立大学);Microsoft Research(微软研究院)
针对异构芯粒加速器中内存突发传输导致NoI尾部延迟超标问题,提出干扰得分量化争用影响,构建多目标优化的PARL拓扑生成器,可在保持竞争力的平均吞吐量的同时将最坏情况减速降至1.2倍,满足SLA要求。
2025-10-28 cs.AI cs.AR cs.LG
ROMANet: Fine-Grained Reuse-Driven Off-Chip Memory Access Management and Data Organization for Deep Neural Network Accelerators
Technische Universität Wien(维也纳工业大学);Institute of Computer Engineering(计算机工程研究所)
实现高能效对于深度学习的嵌入式实现至关重要。多项研究表明,基于DRAM的片外存储器访问是深度神经网络(DNN)加速器中最耗能的操作之一,从而限制了设计在最大潜力下实现效率增益。DRAM访问能量根据所需的访问次数以及每次访问消耗的能量而变化。因此,寻找最小DRAM存取能量的解决方案是一个重要的优化问题。为此,我们提出了ROMANet的方法,旨在减少内存访问的次数,通过搜索适当的数据分区和调度网络的每一层使用的设计空间探索,基于知识的可用的片上存储器和数据重用因素。此外,ROMANet还旨在通过利用DRAM多存储体突发特征来提高每次访问的能量来减少DRAM行缓冲器冲突和未命中的数量。除了提供能源的好处,我们提出的DRAM数据映射还导致增加有效的DRAM吞吐量,这是有用的延迟约束的情况。我们的实验结果表明,ROMANet节省了12%的AlexNet,36%的VGG-16,和46%的MobileNet的DRAM访问能量,同时也提高了10%的DRAM吞吐量相比,国家的最先进的。
2020-08-02 cs.AR cs.DC cs.LG
ScaleDisturb: Exploiting Temporal Asymmetry to Amplify Read Disturbance in Modern DRAM Chips
ETH Zürich(苏黎世联邦理工学院);CISPA(萨姆·霍伊泽尔计算机安全与隐私中心);Inria Paris(法国国家信息与自动化研究所巴黎分部)
提出一种新的DRAM访问模式ScaleDisturb,通过不对称延长两个攻击行的打开时间放大读干扰,在更少的行激活次数下引发比特翻转,并降低攻击难度。
2026-06-05 cs.AR cs.CR
Ultrafast On-Chip Online Learning via Spline Locality in Kolmogorov-Arnold Networks
MIT(麻省理工学院)
针对量子计算和核聚变控制等高频系统对亚微秒级在线学习的需求,提出利用Kolmogorov-Arnold网络的B样条局部性实现稀疏更新和固定点量化鲁棒性,在FPGA上实现比MLP更高效、更具表达力的超快在线学习。
2026-06-23 cs.AR cs.LG cs.SY
Accelerating Precise End-to-End Simulation: Latency-Sensitive Many-core System Modeling
ETH Zurich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
本文提出了一种快速且精确的端到端建模方法,用于对延迟敏感的多核架构进行仿真,通过抽象非必要硬件细节,实现高精度仿真并提升效率,适用于大规模多核系统。
2026-05-08 cs.AR cs.DC
Darwin3: A large-scale neuromorphic chip with a Novel ISA and On-Chip Learning
本文提出大规模神经形态芯片Darwin3,采用新型指令集架构和片上学习,支持235万神经元,通过连接压缩显著提升代码密度和内存效率,并在准确性和延迟上达到领先水平。
2023-12-29 cs.AR cs.NE
MEADOW: Memory-efficient Dataflow and Data Packing for Low Power Edge LLMs
IIT Roorkie(鲁基印度理工学院);IBM Research - Yorktown Heights(IBM 约克敦高地研究院)
本文提出 MEADOW 框架,利用 TPHS 数据流和无损权重打包减少低功耗边缘 FPGA 上 LLM 的片外访问,显著降低解码、预填及端到端延迟。
2025-02-14 cs.AI cs.AR cs.LG
An Open-Source Platform for High-Performance Non-Coherent On-Chip Communication
片上通信基础设施是现代片上系统(SoC)的核心组件,并且随着核的数量、组件的异构性以及片上和片外带宽的持续增长,其继续获得重要性。对片上网络的数十年研究使高速缓存一致性共享内存多处理器成为可能。然而,满足异构多核和加速器丰富的SoC的需求的通信结构是一个不太成熟的研究领域,这些SoC不是或只是部分一致的。在这项工作中,我们提出了一个模块化的,拓扑不可知的,高性能的片上通信平台。该平台包括用于构建和链接具有可定制带宽和并发属性的子网的组件,并遵循最先进的行业标准协议。我们讨论了我们的模块的微架构权衡和时序/面积特性,并表明它们可以组成以构建高带宽(例如,2.5 GHz和1024位数据宽度)端到端片上通信结构(不仅是网络交换机,而且还有DMA引擎和内存控制器),具有高度并发性。我们设计并实现了一个最先进的ML训练加速器,其中我们的通信结构可扩展到一个芯片上的1024个核心,提供32 TB/s的横截面带宽,任何两个核心之间的往返延迟仅为24 ns。
2021-11-11 cs.AR cs.DC
Combined Scheduling, Memory Allocation and Tensor Replacement for Minimizing Off-Chip Data Accesses of DNN Accelerators
Princeton University(普林斯顿大学)
本文提出COSMA框架,通过联合优化算子调度、内存分配和张量替换,以ILP求解最小化DNN加速器片外数据访问,并设计分治启发式扩展至神经架构搜索生成的复杂DNN,平均减少84%-85%的数据访问。
2023-11-30 cs.AR cs.LG
Layer-specific Optimization for Mixed Data Flow with Mixed Precision in FPGA Design for CNN-based Object Detectors
卷积神经网络(CNN)需要密集的计算和频繁的存储器访问,这导致了低的处理速度和大的功耗。虽然CNN中不同层的特性通常非常不同,但是先前的硬件设计已经为它们采用了共同的优化方案。本文提出了一种层特定的设计,采用不同的组织,优化不同的层。所提出的设计采用了两个特定于层的优化:特定于层的混合数据流和特定于层的混合精度。混合数据流旨在最小化片外访问,同时要求FPGA器件的最小片上存储器(BRAM)资源。混合精度量化是为了实现无损精度和积极的模型压缩,从而进一步减少芯片外访问。贝叶斯优化方法用于为每个层选择最佳稀疏度,从而在精度和压缩之间实现最佳权衡。这种混合方案允许将整个网络模型存储在FPGA的BRAM中,以积极减少片外访问,从而实现显著的性能增强。与全精度网络相比,模型大小减少了22.66-28.93倍,VOC,COCO和ImageNet数据集的准确性下降可以忽略不计。此外,混合低功耗和混合精度的组合显着优于以前的作品在吞吐量,片外访问,和片内存储器的要求。
2020-09-03 cs.AR cs.CV cs.DC
CapStore: Energy-Efficient Design and Management of the On-Chip Memory for CapsuleNet Inference Accelerators
Vienna University of Technology(维也纳工业大学);Sharif University of Technology(谢里夫理工大学)
深度神经网络(DNN)已被确立为用于高级机器学习应用的最先进算法。最近,与DNN相比,CapsuleNets由于其多维胶囊而提高了泛化能力。然而,它们对计算和内存的要求很高,这使得节能推理成为一项具有挑战性的任务。在本文中,我们进行了广泛的分析,以证明他们的主要限制,由于激烈的内存访问和大的片上存储器的要求。为了实现高效的CaspuleNet推理加速器,我们提出了一个专门的片上存储层次结构,最大限度地减少片外存储器访问,同时有效地将数据馈送到加速器。我们分析了每个内存组件的架构的片上存储器的要求。通过利用这种分析,我们提出了一种方法来探索不同的片上存储器设计和电源门控技术,以进一步降低能耗,这取决于在不同的操作的CapsuleNet的利用率。与最先进的存储器设计相比,我们的存储器设计可以显著降低片上存储器的能耗,最高可达86%。由于存储器元件的功耗是CapsuleNet加速器功耗击穿的主要原因,正如我们在分析中所展示的那样,所提出的存储器设计可以有效地降低整个CapsuleNet加速器架构的总体能耗。
2019-04-12 cs.AR cs.LG
ShortcutFusion: From Tensorflow to FPGA-based accelerator with reuse-aware memory allocation for shortcut data
残差块是最近最先进的CNN(如EfficientNet或EfficientDet)中非常常见的组件。在ResNet 152中,XML数据占特征地图访问的近40%[8]。以前的DNN编译器、加速器大多忽略了快捷方式的数据优化。本文介绍了ShortcutFusion,基于FPGA的加速器的优化工具,具有重用意识的静态内存分配的快捷数据,最大限度地提高片上数据重用给定的资源约束。从TensorFlow DNN模型中,所提出的设计为一组节点生成指令集,这些节点为每个残留块使用优化的数据重用。在Xilinx KCU 1500 FPGA卡上实现的加速器设计比NVIDIA RTX 2080 Ti快2.8倍,能效高9.9倍,输入尺寸为256 x256。.与基线的结果相比,在基线中,权重、输入和输出每层都从片外存储器访问一次,ShortcutFusion将RetinaNet、Yolov 3、ResNet 152和EfficientNet的DRAM访问减少了47.8-84.8%。考虑到与ShortcutMining [8]类似的缓冲区大小,它也在硬件中挖掘快捷方式数据,所提出的工作将特征映射的片外访问减少了5.27倍,同时从片外存储器访问权重仅一次。
2022-02-13 cs.AR cs.DC
GOBO: Quantizing Attention-Based NLP Models for Low Latency and Energy Efficient Inference
University of Toronto(多伦多大学)
基于注意力的模型在各种自然语言理解任务中取得了显著的成功。然而,高效的执行仍然是一个挑战,这些模型是内存限制,由于其大量的参数。我们提出了GOBO,模型量化技术,压缩的绝大多数(通常为99.9%)的32位浮点参数的最先进的BERT模型及其变种到3位,同时保持其准确性。与其他量化方法不同,GOBO不需要微调或重新训练来补偿量化误差。我们提出了两个实际的硬件应用GOBO。在第一个GOBO减少了内存存储和交通,并因此推理延迟和能源消耗。这种GOBO内存压缩机制与许多架构兼容;我们使用TPU,Eyeriss和使用Tensor Core类单元的架构来演示它。其次,我们提出了一个共同设计的硬件架构,也减少了计算。独特的是,GOBO架构即使在计算期间也保持了3b中的大部分权重,这一特性:(1)使处理元件面积有效,允许我们在每单位面积上封装更多的计算能力,(2)用加法取代大多数乘法累加,以及(3)通过放大片上存储器容量来减少片外流量。
2020-09-27 cs.AR cs.LG stat.ML
Scale up your In-Memory Accelerator: Leveraging Wireless-on-Chip Communication for AIMC-based CNN Inference
模拟存内计算(AIMC)正在成为异构计算的一种颠覆性范例,与传统的矩阵向量乘法数字信号处理架构相比,它有可能提供数量级更高的峰值性能和效率。然而,为了在实际应用中维持这种吞吐量,AIMC瓦片必须以非常高的带宽和低延迟提供数据;这对片上通信基础设施造成了前所未有的压力,这成为系统的性能和效率瓶颈。在这种情况下,新兴的片上无线通信范例的性能和可塑性提供了所需的突破,以在大型AIMC设备中的大规模片上通信。这项工作提出了一种具有瓦片间无线通信的多瓦片AIMC架构,该架构集成了多个异构计算集群,嵌入了并行RISC-V内核和AIMC瓦片的混合。我们进行了广泛的设计空间探索所提出的架构,并讨论了利用新兴的片上通信技术,如无线收发器在毫米波和太赫兹波段的好处。
2022-06-03 cs.AR cs.SY eess.SY