SRAM Based Digital Custom Compute Engine for Improved Area Efficiency of AI Hardware
Indian Institute of Technology Indore(印度印多尔理工学院)
本文提出一种利用10T SRAM单元实现基于XNOR的存内计算架构,通过集成全加器减少路由复杂度,提升AI硬件面积效率。
2026-05-15 cs.AR
Bit Parallel 6T SRAM In-memory Computing with Reconfigurable Bit-Precision
提出了一种基于6 T SRAM单元的位并行存内计算(IMC)结构,以支持多种位精度可重构的计算。在所提出的技术中,位线计算是由BL升压电路,这可以减少BL计算延迟的短WL执行。通过在每个近存储器电路之间执行进位传播,还通过具有低延迟的迭代操作来实现位并行复杂计算。此外,还支持基于进位传播大小的可重配置位精度。我们的128 KB在/近存储器计算架构已实现使用28 nm CMOS工艺,它可以实现2.25GHz的时钟频率在1.0V的5.2%的面积开销。该结构的并行加法和乘法运算分别达到0.68、8.09 TOPS/W。此外,所提出的工作还支持宽范围的电源电压,从0.6V到1.1V。
2020-08-03 cs.AR
OPTIMA: Design-Space Exploration of Discharge-Based In-SRAM Computing: Quantifying Energy-Accuracy Trade-Offs
本文提出OPTIMA建模框架,用于分析6T-SRAM存内计算中的位线放电和功耗,实现快速设计空间探索,优化出低能耗乘法器,并在量化DNN中验证了其能量-精度权衡。
2024-11-11 cs.AR cs.PF
DAISM: Digital Approximate In-SRAM Multiplier-based Accelerator for DNN Training and Inference
Keio University(庆应义塾大学);RIKEN Center for Computational Science(理化学研究所计算科学研究中心)
本文提出DAISM架构,通过在传统SRAM中实现数字近似乘法器并利用多字线激活进行位并行计算,显著提升DNN训练与推理的面积效率。
2024-01-18 cs.AR cs.LG
GEM3D CIM General Purpose Matrix Computation Using 3D Integrated SRAM eDRAM Hybrid Compute In Memory on Memory Architecture
University of Wisconsin Madison(威斯康星大学麦迪逊分校)
本文提出一种基于3D集成SRAM-eDRAM混合计算存内架构的GEM3D CIM,实现通用矩阵运算的高效计算,兼顾延迟、能效和计算密度,拓展了存内计算的应用范围。
2026-04-15 cs.AR
Accuracy-Configurable Floating-Point Multiplier Design for SRAM-Based Compute-in-Memory
Nanjing University of Science and Technology(南京理工大学)
针对SRAM存内计算中浮点运算的高开销问题,提出一种基于尾数分割的近似浮点乘法器,实现面积和功耗大幅降低且精度损失可忽略。
2026-06-07 cs.AR
SRAM-Based Compute-in-Memory Accelerator for Linear-decay Spiking Neural Networks
本文提出一种基于SRAM的计算在内存加速器,通过线性衰减近似替代指数衰减,提升SNN的能效和计算效率。
2026-03-13 cs.AI cs.AR cs.NE
Towards Efficient SRAM-PIM Architecture Design by Exploiting Unstructured Bit-Level Sparsity
针对传统SRAM-PIM架构难以利用神经网络非结构化比特级稀疏性的问题,提出DB-PIM算法-架构协同设计框架,通过二进块稀疏模式、定制PIM宏单元等实现最高7.69倍加速与83.43%能耗节省。
2024-04-15 cs.AR
MARS: Multi-macro Architecture SRAM CIM-Based Accelerator with Co-designed Compressed Neural Networks
National Tsing Hua University(台湾清华大学);Information and Communication Labs, Industrial Technology Research Institute(工业技术研究院资讯与通讯研究所)
卷积神经网络(CNN)在深度学习应用中起着关键作用。然而,CNN的大量存储开销和大量计算成本在硬件加速器中是有问题的。内存计算(CIM)体系结构在有效计算大规模矩阵向量乘法方面表现出巨大的潜力。然而,密集的乘法和累加(MAC)操作执行的交叉阵列和有限的能力的CIM宏仍然是瓶颈,进一步提高能源效率和吞吐量。为了减少计算量,网络修剪和量化是两种广泛研究的压缩方法,以缩小模型的大小。然而,大多数模型压缩算法只能在基于数字的CNN加速器中实现。为了在基于静态随机存取存储器(SRAM)CIM的加速器中实现,模型压缩算法必须考虑CIM宏的硬件限制,例如可以同时导通的字线和位线的数量,以及如何将权重映射到SRAM CIM宏。在这项研究中,提出了一种软件和硬件协同设计的方法来设计一个SRAM的基于CIM的CNN加速器和SRAM的CIM感知模型压缩算法。为了减少批量归一化(BN)对MAC的高精度要求,提出了一种将BN融合到权值中的量化算法。此外,为了减少网络参数的数量,稀疏算法,考虑了CIM架构的建议。最后,MARS,基于CIM的CNN加速器,可以利用多个SRAM CIM宏作为处理单元,并支持稀疏神经网络,提出。
2021-05-25 cs.AR cs.ET cs.LG
YOLoC: DeploY Large-Scale Neural Network by ROM-based Computing-in-Memory using ResiduaL Branch on a Chip
内存计算(Computing-in-Memory,CiM)是一种很有前途的技术,可以通过缓解内存瓶颈来实现数据密集型矩阵向量乘法(MVM)的高能效。不幸的是,由于有限的SRAM容量,现有的基于SRAM的CiM需要从DRAM中重新加载大规模网络中的权重。这种不期望的事实显着削弱了能源效率。这项工作首次提出了ROM计算的概念、设计和优化,以实现更高的片上存储器容量,从而减少DRAM访问和降低能耗。此外,为了支持具有不同权重的不同计算场景,还提出了权重微调技术,即残差分支(ReBranch)。ReBranch将ROM-CiM与辅助SRAM-CiM相结合,实现了高通用性。YOLoC是一个基于ReBranch-assisted ROM-CiM的目标检测框架。在28 nm CMOS中具有相同面积的情况下,与完全基于SRAM的CiM相比,几个数据集的YOLoC显示出显著的能效提高,YOLO(Darknet-19)提高了14.8倍,ResNet-18提高了4.8倍,延迟开销<8%,几乎没有平均精度(mAP)损失(-0.5% ~ +0.2%)。
2022-06-01 cs.AR
PICO-RAM: A PVT-Insensitive Analog Compute-In-Memory SRAM Macro with In-Situ Multi-Bit Charge Computing and 6T Thin-Cell-Compatible Layout
本文提出PICO-RAM,一种PVT不敏感的模拟存内计算SRAM宏,采用电荷域位并行计算和6T薄单元兼容布局,实现高密度存储与高鲁棒性。
2024-07-03 cs.AR cs.ET
SAIL: SRAM-Accelerated LLM Inference System with Lookup-Table-based GEMV
本文提出 SAIL,通过 SRAM 存内 LUT-GEMV、模式感知优化和内存内类型转换,以 2% 硬件开销支持任意精度 CPU LLM 推理,并显著提升速度与成本效率。
2025-09-30 cs.AR
System and Design Technology Co-optimization of SOT-MRAM for High-Performance AI Accelerator Memory System
针对AI加速器内存受限问题,提出基于DTCO定制SOT-MRAM的高容量高带宽片上存储系统,在CV和NLP训练基准上分别实现8倍能效和9倍/4.5倍延迟改善,面积仅为SRAM的一半。
2023-11-14 cs.AR
In-memory Implementation of On-chip Trainable and Scalable ANN for AI/ML Applications
National Institute of Technology, Patna(巴特那国家技术学院);Indian Institute of Technology Patna(印度理工学院巴特那分校)
传统的基于冯·诺依曼架构的处理器在能量和吞吐量方面变得低效,因为它们涉及单独的处理和存储单元,也称为~ \textit{memory wall}。当需要在处理单元和存储单元之间进行大规模并行和频繁的数据移动以用于实现许多智能应用的人工神经网络(ANN)的实时实现时,存储器墙问题进一步加剧。解决内存墙问题的最有前途的方法之一是在内存核本身内部执行计算,这提高了内存带宽和能量效率,以进行大量计算。本文提出了一种支持人工智能(AI)和机器学习(ML)应用的ANN内存计算架构。所提出的架构利用深在存储器架构的基础上,标准的六个晶体管(6 T)的静态随机存取存储器(SRAM)的核心实现的多层感知器。我们的新的片上训练和推理存储器架构,降低了能源成本,并通过同时访问每个预充电周期的SRAM阵列的多行,消除了频繁的数据访问,提高了吞吐量。所提出的架构实现了反向传播,这是在网络训练过程中使用新提出的不同的构建块,如权重更新,模拟乘法,误差计算,有符号的模数转换,和其他必要的信号控制单元的关键。所提出的架构进行了训练和测试的IRIS数据集,表现出$\approx46\times$更节能的每MAC(乘和累积)操作相比,早期的分类。
2020-05-19 cs.AR cs.LG cs.NE
LUNA-CIM: Lookup Table based Programmable Neural Processing in Memory
本文提出LUNA-CIM,一种基于查找表的分而治之存内计算方法,通过分解高精度乘法降低面积开销约3.7倍,能耗占比低于0.1%,显著提升能效与面积利用率。
2023-11-17 cs.AR cs.ET
Res-DPU: Resource-shared Digital Processing-in-memory Unit for Edge-AI Workloads
针对边缘AI数字存内计算单元计算密度低的问题,提出资源共享型Res-DPU单元,通过精简位单元、加法树及迭代近似乘法方法,显著降低晶体管数与功耗,提升了宏单元的能效与可扩展性。
2025-10-22 cs.AR cs.ET eess.IV
Mitigating the Bandwidth Wall via Data-Streaming System-Accelerator Co-Design
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);HES-SO University of Applied Sciences and Arts Western Switzerland(瑞士西部应用科学大学)
本文提出一种统一的系统-加速器协同设计方法,通过分页数据流和计算与传输的显式重叠优化Transformer推理,实现端到端性能提升,展示了在多种数据类型和系统配置下的高效能表现。
2026-03-19 cs.AR
Sparse Systolic Tensor Array for Efficient CNN Hardware Acceleration
Arm ML Research Lab(安谋机器学习研究实验室)
移动设备上的卷积神经网络(CNN)推理需要低精度(INT 8)通用矩阵乘法(GEMM)的高效硬件加速。利用数据稀疏性是进一步加速用于CNN推理的GEMM的常见方法,并且特别地,结构稀疏性具有可预测的负载均衡和非常低的索引开销的优点。在本文中,我们解决了一个关键的架构挑战与结构稀疏性:如何提供支持的范围内的稀疏性水平,同时保持高利用率的硬件。我们描述了一个时间展开制定的可变密度约束块(VDBB)稀疏,允许每个块的非零元素的可配置数量,在不断利用。然后,我们描述了一个脉动阵列微架构,实现了这一计划,有两个数据重用优化。首先,我们通过增加每个PE的MAC数量来增加操作数和部分乘积的重用。其次,我们引入了一种新的方法,将IM 2COL变换移动到硬件中,这使我们能够在操作数被数据路径消耗之前实现3倍的数据带宽扩展,从而降低SRAM功耗。权重稀疏、激活稀疏和数据重用的优化都是相互关联的,因此最优组合并不明显。因此,我们进行设计空间评估,以找到帕累托最优的设计特性。最终的设计在16 nm下实现了16.8 TOPS/W,具有适度的50%模型稀疏度,并且在87.5%下模型稀疏度高达55.7TOPS/W。以及成功地证明了可变DBB技术,这一结果显着优于先前报道的稀疏CNN加速器。
2020-10-12 cs.AR cs.LG
Efficiency-driven Hardware Optimization for Adversarially Robust Neural Networks
Yale University(耶鲁大学)
随着物联网(IoT)时代对嵌入式设备智能化需求的不断增长,深度神经网络(DNN)的安全硬件实现已变得势在必行。我们将专注于如何通过效率驱动的硬件优化来解决DNN的对抗鲁棒性。由于内存(特别是点积运算)是DNN的关键能耗组件,因此过去的硬件方法都集中在优化内存上。一种这样的方法是具有混合6 T-8 T SRAM单元的近似数字CMOS存储器,该混合6 T-8 T SRAM单元使得能够实现电源电压(VDD)缩放,从而产生低功率操作,而不会由于在6 T单元中引起的读/写故障而显著影响性能。在本文中,我们展示了混合6 T-8 T存储器的6 T单元中的比特错误如何最小化DNN中的对抗性扰动。从本质上讲,我们发现,对于不同的配置的8 T-6 T的比率和scaledpronunciation操作,在混合存储器架构中产生的噪声是在特定的限制范围内绑定。这种硬件噪声可能会干扰DNN中对抗攻击的创建,从而产生鲁棒性。另一种存储器优化方法涉及使用模拟忆阻交叉开关,其以低能量和面积要求高效地执行矩阵向量乘法(MVMs)。然而,交叉开关通常存在固有的非理想性,这会导致执行MVMs时出现错误,从而导致DNN的准确性下降。我们将展示通过交叉开关非理想性表现出来的固有硬件变化如何在没有任何额外优化的情况下对映射的DNN产生对抗性鲁棒性。
2021-05-09 cs.AR cs.LG
ThRIve: Thermally Robust CNN Inference via Low-Rank Adaptation in Heterogeneous PIM Architectures
Washington State University(华盛顿州立大学)
研究针对基于非易失性内存的PIM架构存在热噪声影响推理准确性的问题,提出ThRIve方法,利用低秩自适应实现热鲁棒推理,在异构PIM架构上实验,准确率与SRAM相当,且降低了能量延迟积。
2026-07-21 cs.AR cs.ET cs.LG
Hardware-Software Co-Design for Accelerating Transformer Inference Leveraging Compute-in-Memory
本文提出软硬件协同的 CIM 加速器 HASTILY,通过 UCLM、细粒度流水线和多核并行策略加速 Transformer 的 softmax 与注意力推理,显著提升 BERT 的吞吐量和能效。
2025-02-17 cs.AR
FPGA Implementation of Convolutional Neural Network for Real-Time Handwriting Recognition
本文提出了一种基于Altera DE1 FPGA的实时手写识别设备,设计了32位浮点RISC处理器并实现了LC、全连接NN和类LeNet CNN三种机器学习架构,优化了性能、兼容性与资源使用。
2023-06-26 cs.AR cs.CV cs.LG