CXLMemUring: A Hardware Software Co-design Paradigm for Asynchronous and Flexible Parallel CXL Memory Pool Access
UC Santa Cruz(加州大学圣克鲁兹分校);University of Connecticut(康涅狄格大学);Pacific Northwest National Lab(太平洋西北国家实验室)
针对CXL内存延迟问题,提出硬件软件协同设计方法,通过编译器识别异步区域并在CXL Type 2 FPGA加速器上执行,实现1.59倍平均加速。
2026-06-23 cs.AR
FlexSpIM: An Event-Based Digital Compute-In-Memory Accelerator with Flexible Operand Resolution and Layer-Wise Hybrid Stationarity
Delft University of Technology(代尔夫特理工大学);KU Leuven(荷语鲁汶大学)
FlexSpIM是一种数字存内计算加速器,通过支持任意操作数分辨率和层间混合驻留数据流,在IBM DVS手势数据集上实现95.8%准确率,并降低45%能耗和52%延迟。
2026-09-09 cs.AR
HBFlex: A Flexible Memory System for Bridging Fine-Grained LLM States and Coarse-Grained HBF Parallel Execution
Peking University(北京大学);HKUST(香港科技大学);Alibaba Group(阿里巴巴集团)
针对LLM全HBF内存服务中KV读写与回收的挑战,提出HBFlex系统,通过平衡放置、聚合写回及生命周期引导回收,实现吞吐量较FlashAccel提升1.58倍、较H3提升3.30倍。
2026-09-17 cs.AR
Flexible Support for Fast Parallel Commutative Updates
私有化数据是增加共享内存多线程程序中并行性的一种有用策略。独立核可以独立地计算共享数据的副本,在计算结束时组合它们的结果。然而,私有化的常规方法依赖于针对重复状态的显式静态或动态存储器分配,从而增加存储器占用和对高速缓存资源的争用,特别是在共享高速缓存中。在这项工作中,我们描述了CCache,按需私有化的交换操作操作的数据系统。CCache获得了私有化的好处,而不会增加内存占用或缓存占用。CCache中的每个核心动态地私有化可交换操作的数据,对副本进行操作。核心会定期或在计算结束时将其值与内存中的值合并,当所有核心合并后,内存中的副本将包含最新值。我们描述了一个低复杂度的架构实现CCache,扩展了传统的多核,以支持按需私有化,而不使用额外的内存私有副本。我们在几个高价值的应用程序上评估了CCache,包括随机访问键值存储,聚类,广度优先搜索和图排名,显示加速高达3.2倍。
2017-09-26 cs.AR cs.DC
Pickle: Precise, Flexible Cross-Core Last-level Cache Data Prefetching for Irregular Memory Accesses
University of California, Davis(加州大学戴维斯分校);AMD Research & Advanced Development(AMD研究与先进开发部)
针对图形分析等不规则内存访问问题,提出Pickle这种软件定义、硬件管理的末级缓存预取器,通过执行预取内核提前带数据入缓存,经实验评估,相比无预取基线及现有技术有显著加速效果且降低内存流量开销。
2026-07-09 cs.AR
FlexSA: Flexible Systolic Array Architecture for Efficient Pruned DNN Model Training
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
现代深度学习模型具有高内存和计算成本。为了使它们快速和节省内存,通常使用结构化模型修剪。我们发现,修剪模型使用一个共同的训练加速器与大型脉动阵列是非常低效的性能。为了使脉动阵列有效的修剪和训练,我们提出了FlexSA,一个灵活的脉动阵列架构。FlexSA动态地重新配置脉动阵列结构,并提供多种亚脉动操作模式,这些模式专为不同大小和形状的张量的节能和内存带宽高效处理而设计。我们还提出了一个编译启发式平铺矩阵乘法和累加操作的培训工作量,以最好地利用FlexSA的资源。根据我们的评估,与具有大型脉动阵列的传统训练加速器相比,具有所提出的编译启发式的FlexSA将修剪和训练现代CNN模型的计算资源利用率提高了37%。FlexSA还将片上数据重用提高了1.7倍,与原始脉动阵列拆分相比节省了28%的能量。
2020-04-27 cs.AR cs.LG
A 16 nm 1.60TOPS/W High Utilization DNN Accelerator with 3D Spatial Data Reuse and Efficient Shared Memory Access
KU Leuven(荷语鲁汶大学)
Voltra芯片采用3D空间数据重用和高效共享内存访问技术,实现16纳米工艺下1.60TOPS/W的高能效DNN加速器,适用于多种AI工作负载。
2026-02-11 cs.AR
FERMI-ML: A Flexible and Resource-Efficient Memory-In-Situ SRAM Macro for TinyML acceleration
Indian Institute of Technology Indore-453552, India(印度理工学院印度分校)
FERMI-ML是一种灵活高效的内存内SRAM宏,用于支持TinyML的混合精度计算和查找操作,实现高能效和低功耗的AIoT推理。
2025-11-16 cs.AR cs.ET cs.LG
An Event-Based Digital Compute-In-Memory Accelerator with Flexible Operand Resolution and Layer-Wise Weight/Output Stationarity
Delft University of Technology(代尔夫特理工大学);KU Leuven(鲁汶大学);Prophesee(Prophesee公司)
针对现有脉冲神经网络存内计算加速器灵活性不足的问题,提出支持任意操作数分辨率、采用统一存储与混合驻存数据流的数字CIM宏单元,能效提升显著且分类精度达当前最优。
2024-10-30 cs.AI cs.AR
Accelerating LLM Inference with Flexible N:M Sparsity via A Fully Digital Compute-in-Memory Accelerator
Georgia Institute of Technology(佐治亚理工学院);Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
针对固定N:M稀疏性限制LLM表达力的问题,提出FLOW方法灵活选择逐层N:M值,并设计FlexCiM数字存内计算架构以低开销支持多样稀疏模式,实现最高36%准确率提升及1.75倍延迟和1.5倍能耗降低。
2025-04-19 cs.AI cs.AR cs.LG
A Heterogeneous In-Memory Computing Cluster For Flexible End-to-End Inference of Real-World Deep Neural Networks
University of Bologna(博洛尼亚大学);IBM Research Europe(IBM欧洲研究院);ETH Zurich(苏黎世联邦理工学院)
在小型电池受限的物联网设备上部署现代TinyML任务需要高计算能效。使用非易失性存储器(NVM)的模拟存内计算(IMC)承诺在深度神经网络(DNN)推理中的主要效率改进,并且用作DNN权重的片上存储器存储。然而,IMC的功能灵活性限制及其对性能、能量和面积效率的影响在系统级还没有完全理解。为了实现实际的端到端物联网应用,IMC阵列必须封装在异构可编程系统中,这带来了新的系统级挑战,我们的目标是在这项工作中解决这些挑战。我们提出了一个异构的紧耦合集群架构集成8个RISC-V内核,一个存内计算加速器(IMA),和数字加速器。我们在高度异构的工作负载上对系统进行基准测试,例如MobileNetV 2的瓶颈层,与高度优化的核心并行执行相比,性能提高了11.5倍,能效提高了9.5倍。此外,我们探索了完整的移动级DNN(MobileNetV 2)在IMC阵列资源方面的端到端推理的要求,通过将我们的异构架构扩展到多阵列加速器。我们的研究结果表明,我们的解决方案,在MobileNetV 2的端到端的推理,是一个数量级优于现有的可编程架构和两个数量级优于国家的最先进的异构解决方案集成存内计算模拟核心的执行延迟。
2022-01-04 cs.AR cs.DC cs.LG
Terracotta: Enabling the Adoption of New DRAM Techniques via a Flexible DRAM Interface and Memory Controller
ETH Zürich(苏黎世联邦理工学院);CISPA(CISPA亥姆霍兹信息安全中心);New York University(纽约大学)
Terracotta通过可编程内存控制器和自定义命令扩展,利用DRAM技术间的相似性构建原语,实现多种DRAM技术而无需重复修改接口,保留>96%性能,开销极低。
2026-10-07 cs.AR cs.CR cs.DC
Domino: A Tailored Network-on-Chip Architecture to Enable Highly Localized Inter- and Intra-Memory DNN Computing
快速增长的深度神经网络(DNN)的计算复杂度不断增加,这要求新的计算范例来克服传统冯·诺依曼计算架构中的存储器墙。内存计算(Computing-In-Memory,CIM)体系结构是加速神经网络计算的一种有效方法。然而,在常规设计中,CIM阵列之间的数据移动可能仍然主导总功耗。本文提出了一种灵活的CIM处理器架构Domino,使流计算和本地数据访问,以显着减少数据移动的能量。同时,Domino在片上网络(NoC)中采用定制的分布式指令调度来实现存储器间的计算和映射灵活性。对主流CNN模型的评估表明,Domino在几种最先进的CIM加速器上实现了1.15到9.49 $\times$的能效,并将吞吐量提高了1.57到12.96 $\times$。
2021-07-18 cs.AR
MemPool: A Scalable Manycore Architecture with a Low-Latency Shared L1 Memory
本文提出MemPool,一种具有256个核心的可扩展众核架构,通过设计低延迟PE到L1存储器互连、优化指令路径和强大DMA引擎,实现了数百个PE的共享L1集群扩展,在600 MHz下达到229 GOPS性能且执行停顿低于2%。
2023-11-28 cs.AR
PipeOrgan: Efficient Inter-operation Pipelining with Flexible Spatial Organization and Interconnects
本文提出 PipeOrgan,一种面向 DNN 加速器的灵活空间数据组织策略,通过支持可变流水线深度与粒度并改进网格拓扑,在 XR-bench 上实现 1.95 倍性能提升。
2024-05-02 cs.AR
PID-Comm: A Fast and Flexible Collective Communication Framework for Commodity Processing-in-DIMM Devices
针对存内DIMM中PE间通信开销大、现有方案灵活性与性能不足的问题,本文提出PID-Comm框架,通过多维超立方体抽象定义8种集合通信模式并优化实现,在16块UPMEM DIMM上实现最高4.20倍的性能提升。
2024-04-13 cs.AR cs.DC
Combinatorics and Geometry for the Many-ported, Distributed and Shared Memory Architecture
基于片上共享存储器的众核SoC架构是许多应用领域中灵活且可编程的解决方案的首选。然而,许多移植存储器的发展正变得越来越具有挑战性,因为我们接近摩尔定律的尽头,而系统需求需要更大的共享存储器和更多的访问端口。内存不能再简单地设计,以尽量减少单个事务的访问时间,但必须考虑到在SoC上的功能。在本文中,我们研究了一个常见的大内存使用的SoC,内存被用作存储大型缓冲区,然后移动的时间调度处理。我们合并了两个方面的许多移植的存储器设计,组合分析的互连,和几何分析的关键路线,扩展两者显示,在这种情况下,SoC的性能显著受益于一个层次化,分布式和分级架构与低基数开关和分形随机化的存储体寻址,以及明智的和几何感知的应用程序的加速。结果表明,新的架构支持20%的吞吐量提高20%,延迟降低20%,互连面积减少30%,在大约相同的功耗。我们展示了这种架构的灵活性和可扩展性的硅从物理设计的角度来看,通过布局的设计。该架构使实现流程更加简单,可以很好地处理物理上不规则的端口访问和内存主导布局,这是实际设计中常见的问题。
2020-10-16 cs.AR
PSCNN: A 885.86 TOPS/W Programmable SRAM-based Computing-In-Memory Processor for Keyword Spotting
National Yang Ming Chiao Tung University(阳明交通大学)
内存计算(Computing-in-Memory,CIM)由于其大规模并行性和低功耗的特点,近年来受到了广泛关注。然而,目前的CIM设计受到小CIM宏的大面积开销和模型执行的可编程性差的影响。本文提出了一种可编程CIM处理器,它具有单个大尺寸CIM宏而不是多个较小的CIM宏,用于功率有效的计算和灵活的指令集,以简单的方式支持各种二进制1-D卷积神经网络(CNN)模型。此外,该架构采用池化回写方法来支持融合或独立的卷积/池化操作,以减少35.9%的延迟,采用TSMC 28 nm工艺制造的设计实现了150.8 GOPS的吞吐量和885.86 TOPS/在执行我们的二进制关键字定位模型时,10 MHz时的功耗效率为10 W,与以前的设计相比,它具有更高的功耗效率和灵活性。
2022-05-02 cs.AR cs.LG eess.AS
MELOPPR: Software/Hardware Co-design for Memory-efficient Low-latency Personalized PageRank
个性化PageRank(PPR)是一种从源节点评估周围节点重要性的图算法。PPR广泛应用于社交网络相关的应用,如推荐系统,需要实时响应(延迟),以获得更好的用户体验。现有的工作要么集中在算法优化,以提高精度,而忽略了硬件实现或集中在分布式全局图形处理的大规模系统,以提高吞吐量,而不是响应时间。在边缘设备上使用紧凑的内存预算优化低延迟本地PPR算法仍然未被探索。在这项工作中,我们提出了一个内存高效,低延迟的PPR解决方案,即MeLoPPR,大大降低了内存需求和延迟和精度之间的灵活权衡。MeLoPPR由阶段分解和线性分解组成,利用节点得分的稀疏性:通过阶段分解和线性分解,MeLoPPR将大图上的计算分解为一组更小的子图,大大节省了计算内存;通过稀疏性利用,MeLoPPR选择对精度贡献最大的子图,减少所需的计算量。此外,通过软件/硬件协同设计,我们提出了一个硬件实现的混合CPU和FPGA加速平台,进一步加快子图计算。我们评估建议MeLoPPR内存受限的设备,包括个人笔记本电脑和Xilinx Kintex-7 KC 705 FPGA使用六个真实世界的图形。首先,MeLoPPR在CPU上节省了1.5倍至13.4倍的内存,在FPGA上节省了73倍至8699倍的内存。其次,MeLoPPR允许在精度和执行时间之间灵活权衡:当精度为80%时,CPU上的加速比高达15倍,FPGA上的加速比高达707倍…
2021-04-13 cs.AR cs.DC
ChewBaccaNN: A Flexible 223 TOPS/W BNN Accelerator
二进制神经网络使智能物联网设备成为可能,因为它们显著降低了所需的内存占用和计算复杂性,同时保持了高网络性能和灵活性。本文介绍了ChewBaccaNN,一个0.7 mm $^2$大小的二进制卷积神经网络(CNN)加速器,采用GlobalFoundries 22 nm技术设计。通过利用高效的数据重用、数据缓冲、基于锁存器的存储器和电压缩放,实现了241 GOPS的吞吐量,同时在使用高达7 x7内核的二进制CNN进行推理时,在0.4V/154 MHz下仅消耗1.1 mW,从而实现了223 TOPS/W的峰值核心能效。ChewBaccaNN的灵活性允许运行比其他加速器更广泛的二进制CNN,大大提高了TOPS/W度量所能捕获的精度-能量权衡。事实上,它可以以86.8%的准确度执行CIFAR-10推理,仅需1.3 $μJ$,因此超过了准确度,同时与最高效和更大的内存模拟处理设备相比,能源成本降低了2.8倍,同时保持了在需要时运行更大CNN以获得更高准确度的灵活性。它还运行在1000类ILSVRC数据集上训练的二进制ResNet-18,并将能源效率提高了4.4倍。此外,它还可以对使用8基Group-Net训练的二进制化ResNet-18进行推理,以仅3.0 mJ/帧的速度实现67.5%的Top-1准确度-与全精度ResNet-18相比,准确度仅下降1.8%。
2021-02-26 cs.AR eess.SP