A 137.5 TOPS/W SRAM Compute-in-Memory Macro with 9-b Memory Cell-Embedded ADCs and Signal Margin Enhancement Techniques for AI Edge Applications
本研究提出一款面向AI边缘应用的高精度SRAM存算一体宏单元,通过单元嵌入式9位ADC、时间调制乘累加架构及两种信号裕度增强技术,实现高线性度、高能效与高计算精度的存内运算。
2023-07-19 cs.AR cs.NE eess.SP
A 51.3 TOPS/W, 134.4 GOPS In-memory Binary Image Filtering in 65nm CMOS
神经形态视觉传感器(NVS)可以实现节能,因为它们的事件驱动,利用来自固定摄像机的视频流中的时间冗余。然而,噪声驱动的事件导致对象识别处理器的错误触发。图像去噪操作需要内存密集型处理,导致能量和延迟的瓶颈。在本文中,我们提出了内存滤波(IMF),一个6 TSRAM内存计算为基础的图像去噪事件为基础的二进制图像(EBBI)框架从NVS。提出了一种用于图像去噪的非重叠中值滤波器。一个内存计算框架,使硬件实现NOMF利用固有的读干扰现象的6 T-SRAM。为了证明该算法的节能和有效性,我们在65 nm CMOS工艺制造的建议架构。与全数字实现相比,IMF在使用DAVIS传感器的视频记录进行测试时,可实现> 70倍的节能和> 3倍的处理时间缩短,并实现134.4 GOPS的峰值吞吐量。此外,NOMF的峰值能量效率为51.3 TOPS/W,与最先进的内存处理器相当。我们还表明,通过NOMF获得的图像的准确性提供了相当的准确性,在跟踪和分类应用程序相比,通过传统的中值滤波获得的图像。
2021-07-29 cs.AR cs.ET eess.IV
A 33.6-136.2 TOPS/W Nonlinear Analog Computing-In-Memory Macro for Multi-bit LSTM Accelerator in 65 nm CMOS
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本文提出一种65纳米CMOS工艺的LSTM加速器,通过非线性在内存计算宏单元实现高能效的多比特权重操作,提升系统能效和面积效率。
2025-12-06 cs.AR
A 3 TOPS/W RISC-V Parallel Cluster for Inference of Fine-Grain Mixed-Precision Quantized Neural Networks
本文提出了一种基于 RISC-V 的软硬件栈 Flex-V 及其八核紧耦合集群,通过融合混合精度点积指令与 CSR 编码实现高效的 QNN 推理,在 22nm 工艺下达到 3.26 TOPS/W 能效,并显著提升了真实任务的执行速度。
2023-07-03 cs.AR
A 16 nm 1.60TOPS/W High Utilization DNN Accelerator with 3D Spatial Data Reuse and Efficient Shared Memory Access
KU Leuven(荷语鲁汶大学)
Voltra芯片采用3D空间数据重用和高效共享内存访问技术,实现16纳米工艺下1.60TOPS/W的高能效DNN加速器,适用于多种AI工作负载。
2026-02-11 cs.AR
TiM-DNN: Ternary in-Memory accelerator for Deep Neural Networks
Purdue University(普渡大学)
使用较低的精度已经成为优化复杂深度神经网络(DNN)的计算和存储需求的流行技术。在追求更低精度的过程中,最近的研究表明,三元DNN(通过带符号的三元值表示权重和激活)代表了一个有希望的最佳点,在复杂任务中实现了接近全精度网络的精度。我们提出了TiM-DNN,一种专门设计用于执行三进制DNN的可编程内存加速器。TiM-DNN支持各种三进制表示,包括未加权{-1,0,1}、对称加权{-a,0,a}和非对称加权{-a,0,b}三进制系统。TiM-DNN的构建块是TiM瓦片-专用存储器阵列,可以通过一次访问执行大规模并行有符号三进制向量矩阵乘法。TiM瓦片又由三进制处理单元(TPC)组成,TPC是用作三进制存储单元和有符号三进制乘法单元的位单元。我们评估了TiM-DNN在32 nm技术中的实现,使用SPICE模拟和RTL合成校准的架构模拟器。我们在一套最先进的DNN基准测试中评估TiM-DNN,包括深度卷积和递归神经网络。TiM-DNN的32瓦片实例实现了114 TOP/s的峰值性能,消耗0.9W功率,占用1.96mm2芯片面积,与NVIDIA Tesla V100 GPU相比,TOPS/W和TOPS/mm 2分别提高了300倍和388倍。与专用DNN加速器相比,TiM-DNN在TOPS/W和TOPS/mm 2方面分别实现了55 - 240倍和160 - 291倍的改进。最后,当与用于三进…
2020-05-05 cs.AR cs.CV cs.ET
SMART Paths for Latency Reduction in ReRAM Processing-In-Memory Architecture for CNN Inference
本文提出了一种基于ReRAM的PIM(processing-in-memory)结构,用于快速高效的CNN(卷积神经网络)推理。对于整体架构,我们使用基本的硬件层次结构,如节点,瓦片,核心和子阵列。最重要的是,我们设计了层内流水线,层间流水线,和批流水线,以利用并行的架构,并增加整体吞吐量的输入图像流的推理。我们还优化了片上网络(network-on-chip)路由器的性能,减少跳数使用SMART(单周期多跳异步重复遍历)流量控制。最后,我们针对大规模数据集ImageNet在VGG(A-E)中对不同CNN层进行了权重复制实验。在我们的模拟中,我们实现了40.4027 TOPS(每秒兆操作)的最佳情况下的性能,这相当于超过1029 FPS(每秒帧)。我们还实现了3.5914 TOPS/W(每秒每瓦兆操作数)的最佳情况下的能源效率。此外,与具有基本流水线的基线架构相比,具有积极流水线和权重复制的架构可以实现14倍的加速比,并且与基线相比,SMART流控制在该架构中实现了1.08倍的加速比。最后,我们还评估了智能流量控制的性能,使用合成流量。
2020-04-10 cs.AR
ChewBaccaNN: A Flexible 223 TOPS/W BNN Accelerator
二进制神经网络使智能物联网设备成为可能,因为它们显著降低了所需的内存占用和计算复杂性,同时保持了高网络性能和灵活性。本文介绍了ChewBaccaNN,一个0.7 mm $^2$大小的二进制卷积神经网络(CNN)加速器,采用GlobalFoundries 22 nm技术设计。通过利用高效的数据重用、数据缓冲、基于锁存器的存储器和电压缩放,实现了241 GOPS的吞吐量,同时在使用高达7 x7内核的二进制CNN进行推理时,在0.4V/154 MHz下仅消耗1.1 mW,从而实现了223 TOPS/W的峰值核心能效。ChewBaccaNN的灵活性允许运行比其他加速器更广泛的二进制CNN,大大提高了TOPS/W度量所能捕获的精度-能量权衡。事实上,它可以以86.8%的准确度执行CIFAR-10推理,仅需1.3 $μJ$,因此超过了准确度,同时与最高效和更大的内存模拟处理设备相比,能源成本降低了2.8倍,同时保持了在需要时运行更大CNN以获得更高准确度的灵活性。它还运行在1000类ILSVRC数据集上训练的二进制ResNet-18,并将能源效率提高了4.4倍。此外,它还可以对使用8基Group-Net训练的二进制化ResNet-18进行推理,以仅3.0 mJ/帧的速度实现67.5%的Top-1准确度-与全精度ResNet-18相比,准确度仅下降1.8%。
2021-02-26 cs.AR eess.SP
3D-TrIM: A Memory-Efficient Spatial Computing Architecture for Convolution Workloads
针对卷积加速器内存访问开销问题,提出3D-TrIM架构,通过影子寄存器和共享移位寄存器提升面积与能效,在22nm工艺下实现4.47 TOPS/mm²和4.54 TOPS/W,性能较TrIM提升3.37倍。
2025-02-26 cs.AR
A PVT-Resilient Subthreshold SRAM-Based In-Memory Computing Accelerator with In-Situ Regulation for Energy-Efficient Spiking Neural Networks
Institute of Electronics, National Yang Ming Chiao Tung University(国立阳明交通大学电子研究所)
本文提出一种子阈值 SRAM 基内存计算加速器,通过在 situ 电流传感器和分布式电压调节器,实现高能效的脉冲神经网络处理,提升能效和抗变异性。
2026-05-01 cs.AR
A 185 TOPS/W/mm2 Bayesian Inference Engine with 640 aJ Write-Free FeFET GRNG for Uncertainty-Aware Aerial Search and Rescue
University of Notre Dame du Lac(圣母大学);GlobalFoundries Fab1(格芯Fab1工厂)
提出一种基于FeFET的贝叶斯推理引擎,通过无写入中心极限定理高斯随机数生成器实现高效不确定性采样,在CIM宏中达到185 TOPS/W/mm²能效,用于空中搜索与救援任务。
2026-07-03 cs.AR
YOCO: A Hybrid In-Memory Computing Architecture with 8-bit Sub-PetaOps/W In-Situ Multiply Arithmetic for Large-Scale AI
The Hong Kong University of Science and Technology(香港科技大学);University of Science and Technology of China(中国科学技术大学)
本文提出名为YOCO的混合存算一体AI加速器架构,通过8位原位乘法、ReRAM-SRAM混合存储及适配的注意力计算流,大幅提升了CNN与transformer模型的推理能效与吞吐量。
2025-06-11 cs.AI cs.AR
Bit Parallel 6T SRAM In-memory Computing with Reconfigurable Bit-Precision
提出了一种基于6 T SRAM单元的位并行存内计算(IMC)结构,以支持多种位精度可重构的计算。在所提出的技术中,位线计算是由BL升压电路,这可以减少BL计算延迟的短WL执行。通过在每个近存储器电路之间执行进位传播,还通过具有低延迟的迭代操作来实现位并行复杂计算。此外,还支持基于进位传播大小的可重配置位精度。我们的128 KB在/近存储器计算架构已实现使用28 nm CMOS工艺,它可以实现2.25GHz的时钟频率在1.0V的5.2%的面积开销。该结构的并行加法和乘法运算分别达到0.68、8.09 TOPS/W。此外,所提出的工作还支持宽范围的电源电压,从0.6V到1.1V。
2020-08-03 cs.AR
Lookup Table-based Multiplication-free All-digital DNN Accelerator Featuring Self-Synchronous Pipeline Accumulation
提出一种基于MADDNESS的全数字DNN加速器,采用自同步流水线累加,实现紧凑、节能且PVT不敏感的计算,能效和面积效率分别提升2.5倍和5倍。
2025-06-20 cs.AR
AnalogNets: ML-HW Co-Design of Noise-robust TinyML Models and Always-On Analog Compute-in-Memory Accelerator
Arm Research(Arm研究院);IBM Research(IBM研究院);ETH Zürich(苏黎世联邦理工学院)
物联网应用中始终在线的TinyML感知任务需要非常高的能效。使用非易失性存储器(NVM)的模拟内存计算(CiM)承诺高效率,并且还提供自包含的片上模型存储。然而,模拟CiM引入了新的实际考虑因素,包括电导漂移、读/写噪声、固定模数(ADC)转换器增益等。必须解决这些额外的限制,以实现可以在模拟CiM上部署的模型,并具有可接受的精度损失。这项工作描述了$\textit{AnalogNets}$:TinyML模型的流行始终在线的应用程序的关键字发现(KWS)和视觉唤醒词(VWW)。该模型架构是专门为模拟CiM设计的,我们详细介绍了一种全面的训练方法,以保持在面对模拟非理想的准确性,并在推理时低精度数据转换器。我们还描述了AON-CiM,一个可编程的,最小面积的相变存储器(PCM)的模拟CiM加速器,与一个新的层串行的方法,以消除与全流水线设计相关的复杂互连的成本。我们在校准的模拟器以及真实硬件上评估了AnalogNets,发现KWS/VWW的PCM漂移(8位)24小时后,精度下降仅限于0.8 $\%$ /1.2 $\%$。在14 nm AON-CiM加速器上运行的模拟网络在使用8位激活时分别为KWS/VWW工作负载展示了8.58/4.37 TOPS/W,并在使用$4$位激活时增加到57.39/25.69 TOPS/W。
2021-11-10 cs.AR cs.ET cs.LG
A Low Power In-Memory Multiplication andAccumulation Array with Modified Radix-4 Inputand Canonical Signed Digit Weights
处理单元和存储单元之间的大量数据传输一直是现代冯-纽曼计算系统的主要瓶颈,特别是在用于人工智能(AI)任务时。内存计算(CIM)在降低延迟和功耗方面显示出巨大的潜力。然而,传统的模拟CIM方案遭受可靠性问题,这可能会显着退化的计算精度。最近,已经提出了具有数字化输入数据和权重的CIM方案以用于高可靠性计算。然而,数字存储器和输入数据的特性没有被充分利用。本文提出了一种新的低功耗CIM方案,通过在输入端使用修改的基4(M-RD 4)布斯算法和修改的规范有符号数字(M-CSD)的网络权重,以进一步降低功耗。仿真结果表明,M-Rd 4和M-CSD在LeNet和AlexNet上分别使$1\times1$的比例降低了78.5%和80.2%,计算效率平均提高了41.6%.定点8位时的计算功耗为60.68 TOPS/s/W。
2021-01-07 cs.AR
A Time-domain Analog Weighted-sum Calculation Model for Extremely Low Power VLSI Implementation of Multi-layer Neural Networks
提出了一种基于积分激发型发放神经元模型的时域模拟加权和计算模型。该计算模型适用于多层前馈网络,每层网络分别进行正负权值加权求和,求和结果不进行减法运算直接送入下一层网络。我们还提出了超大规模集成(VLSI)电路来实现所提出的模型。与传统的模拟电压或电流模式电路不同,时域模拟电路在对电容器的充电/放电过程中使用瞬态操作。由于该电路可以在没有运算放大器的情况下设计,因此它们可以以极低的功耗工作。然而,它们必须使用G $\rm Ω$量级的非常高电阻的器件。我们设计了一个概念验证(CMOSVLSI)芯片,以验证具有相同权重的加权和运算,并使用250 nm制造技术通过布局后电路模拟对其进行评估。利用MOS晶体管的亚阈值工作区实现了高阻工作。仿真结果表明,该算法的加权和计算能量效率为290 TOPS/W,比现有的数字AI处理器高出一个数量级以上,尽管该芯片的最小互连宽度比现有数字AI处理器的最小互连宽度大几倍。如果使用最先进的VLSI技术来实现所提出的模型,则超过1,000 TOPS/W的能量效率将是可能的。对于实际应用,开发新兴的模拟存储器件,如铁电栅场效应晶体管是必要的。
2018-10-16 cs.AR cs.ET
Hardware-Software Co-Design for Accelerating Transformer Inference Leveraging Compute-in-Memory
本文提出软硬件协同的 CIM 加速器 HASTILY,通过 UCLM、细粒度流水线和多核并行策略加速 Transformer 的 softmax 与注意力推理,显著提升 BERT 的吞吐量和能效。
2025-02-17 cs.AR
Overmind NSA: A Unified Neuro-Symbolic Computing Architecture with Approximate Nonlinear Activations and Preemptive Memory Bypass
University of California, Riverside(加州大学河滨分校)
本文提出Overmind架构,通过Padé近似、抢先记忆绕过和软件栈优化,解决神经符号计算中的计算瓶颈,实现高能效和吞吐量。
2026-04-17 cs.AR
CADC: Crossbar-Aware Dendritic Convolution for Efficient In-memory Computing
City University of Hong Kong(香港城市大学)
CADC通过在交叉bar计算中嵌入非线性树突函数,显著提高psums稀疏性,减少计算开销并提升能效。
2025-11-27 cs.AR
FusionCIM: Accelerating LLM Inference with Fusion-Driven Computing-in-Memory Architecture
AI Chip Center for Emerging Smart Systems (ACCESS), InnoHK(新兴智能系统人工智能芯片中心(ACCESS),创新香港);The Hong Kong University of Science and Technology(香港科技大学);Huazhong University of Science and Technology(华中科技大学)
本文提出FusionCIM架构,通过融合驱动的计算存内架构提升LLM推理效率,核心方法包括混合CIM流水线、QO静态数据流和模式感知在线softmax机制,实现3.86倍能效提升和1.98倍加速。
2026-04-28 cs.AR
FERMI-ML: A Flexible and Resource-Efficient Memory-In-Situ SRAM Macro for TinyML acceleration
Indian Institute of Technology Indore-453552, India(印度理工学院印度分校)
FERMI-ML是一种灵活高效的内存内SRAM宏,用于支持TinyML的混合精度计算和查找操作,实现高能效和低功耗的AIoT推理。
2025-11-16 cs.AR cs.ET cs.LG
A Microprocessor implemented in 65nm CMOS with Configurable and Bit-scalable Accelerator for Programmable In-memory Computing
Princeton University(普林斯顿大学)
本文介绍了一种可编程的内存计算处理器,在65纳米CMOS工艺证明。对于以数据为中心的工作负载,例如深度神经网络,在使用当今的计算架构实现时,数据移动通常占主导地位。这激发了空间架构的发展,其中数据存储和计算硬件的布置是分布式的,并与计算数据流显式对齐,最明显的是对于矩阵向量乘法。存内计算是一种空间架构,其中处理元件对应于密集位单元,提供本地存储和计算,通常采用模拟操作。虽然这提高了高能效和高吞吐量的潜力,但模拟操作的鲁棒性、规模和可编程性受到极大限制。本文介绍了一个590 kb的内存计算加速器集成在一个可编程处理器架构,利用最近的方法,电荷域存内计算。该架构采用与嵌入式CPU紧密耦合的方法,通过加速器接口实现标准处理器内存空间的集成。此外,近存储器计算数据路径通过位并行/位串行(BP/BS)方案既能够在本地实现各种计算,以解决跨应用所需的操作,又能够实现矩阵/输入向量元素的位精度可扩展性。芯片测量显示,在VDD为1.2/0.85V时,能量效率为152/297 1b-TOPS/W,吞吐量为4.7/1.9 1b-TOPS(与矩阵/输入向量元素精度线性缩放)。具有1-b/4-b权重和激活的CIFAR-10分类的神经网络演示在176/23 fps下消耗5.3/105.2 $μ$ J/图像,其准确度在数字/软件实现的水平(89.3/92.4 $\%$准确度)。
2018-11-09 cs.AI cs.AR cs.CV
RCW-CIM: A Digital CIM-based LLM Accelerator with Read-Compute/Write
National Yang Ming Chiao Tung University(国立阳明交通大学);Industrial Technology Research Institute(工业技术研究院)
本文提出RCW-CIM架构,通过减少权重更新延迟和非线性操作融合,实现LLM加速,使Llama2-7B模型解码延迟降低21.59%,并提升能效。
2026-04-30 cs.AR
In-Datacenter Performance Analysis of a Tensor Processing Unit
Google, Inc.(谷歌公司)
许多架构师认为,成本-能源-性能的主要改进现在必须来自特定领域的硬件。本文评估了自2015年以来部署在计算机中心的自定义ASIC-称为张量处理单元(TPU)-加速神经网络(NN)的推理阶段。TPU的核心是一个65,536 8位MAC矩阵乘法单元,可提供92 TeraOps/秒(TOPS)的峰值吞吐量和一个大型(28 MiB)软件管理片内存储器。TPU的确定性执行模型比CPU和GPU的时变优化(缓存、乱序执行、多线程、多处理、预取等)更好地匹配NN应用程序的99百分位响应时间要求。这有助于平均吞吐量超过保证的延迟。缺乏这些功能有助于解释为什么尽管有无数的MAC和大内存,TPU却相对较小且功耗较低。我们将TPU与服务器级Intel Haswell CPU和Nvidia K80 GPU进行了比较,它们是部署在相同处理器中的同时代产品。我们的工作负载是在高级TensorFlow框架中编写的,使用生产NN应用程序(MLP,CNN和LSTM),这些应用程序代表了我们分析中心95%的NN推理需求。尽管某些应用的利用率较低,但TPU的平均速度比其当代GPU或CPU快约15 - 30倍,TOPS/W高约30 - 80倍。此外,在TPU中使用GPU的GDDR5内存将使TOPS达到三倍,并将TOPS/Watt提高到GPU的近70倍和CPU的200倍。
2017-04-16 cs.AR cs.LG cs.NE
CIMR-V: An End-to-End SRAM-based CIM Accelerator with RISC-V for AI Edge Device
本文提出CIMR-V,一种集成RISC-V的端到端SRAM基CIM加速器,通过层融合、流水线和权重融合降低延迟,实现高能效AI边缘推理。
2025-03-28 cs.AR
A Back-End-Of-Line Compatible, Ferroelectric Analog Non-Volatile Memory
本文提出一种基于WOx电极和HfZrO4铁电层的低热预算模拟非易失性存储器,兼容BEOL与CMOS工艺,具备低变异、高ON/OFF比和良好线性度,适用于神经网络推理。
2023-09-21 cs.AR
A BEOL Compatible, 2-Terminals, Ferroelectric Analog Non-Volatile Memory
本文提出一种基于WOx电极和铁电HfZrO₄层的BEOL兼容两端模拟非易失性存储器,具备低热预算、低变异性和良好线性度,适用于神经网络推理。
2023-09-21 cs.AR
Modeling Analog-Digital-Converter Energy and Area for Compute-In-Memory Accelerator Design
本研究针对模拟存算一体加速器中ADC能耗与面积占比高、架构决策影响大的问题,提出一种仅基于架构属性、抽象电路细节的开源架构级模型,可快速估算ADC能耗与面积,支撑存算一体加速器的设计空间探索。
2024-05-14 cs.AR
Gradient descent-based programming of analog in-memory computing cores
本文提出用合成随机输入数据通过梯度下降直接最小化MVM误差来编程模拟存内计算核心,相比传统逐单元编程显著降低误差,无需高分辨率ADC,并将PCM核心上ResNet-9的推理精度提升1.26%。
2023-05-26 cs.AR
MaxEVA: Maximizing the Efficiency of Matrix Multiplication on Versal AI Engine
提出MaxEVA框架,通过利用Versal AIE架构特性并多角度解决性能瓶颈,高效映射矩阵乘法,实现高达5.44 TFLOPs(fp32)和77.01 TOPs(int8)吞吐量,能效最高124.16 GFLOPs/W,较最先进方法吞吐量提升2.19倍。
2023-11-14 cs.AR
NL-DPE: An Analog In-memory Non-Linear Dot Product Engine for Efficient CNN and LLM Inference
Technion - Israel Institute of Technology(以色列理工学院);University of Pittsburgh(匹兹堡大学)
针对基于RRAM的IMC加速器的三大局限,提出NL-DPE模拟内存内非线性点积引擎,通过ACAM实现模拟域非线性运算并消除ADC,结合NAF优化权重映射误差,为CNN和LLM推理提供高效加速。
2025-11-17 cs.AR
DS-CIM: Digital Stochastic Computing-In-Memory Featuring Accurate OR-Accumulation via Sample Region Remapping for Edge AI Models
The Hong Kong University of Science and Technology(香港科学与技术大学);South China University of Technology(华南理工大学);MoE Engineering Research Center of Design and Technology Co-Optimization of IC(MoE设计与技术协同优化集成电路工程研究中心);Westlake University(西湖大学)
DS-CIM通过样本区域重映射实现高精度和高效率的边缘AI模型计算,适用于INT8 ResNet18和FP8 LLaMA-7B模型。
2026-01-10 cs.AR cs.LG
Res-DPU: Resource-shared Digital Processing-in-memory Unit for Edge-AI Workloads
针对边缘AI数字存内计算单元计算密度低的问题,提出资源共享型Res-DPU单元,通过精简位单元、加法树及迭代近似乘法方法,显著降低晶体管数与功耗,提升了宏单元的能效与可扩展性。
2025-10-22 cs.AR cs.ET eess.IV
NVM-in-Cache: Repurposing Commodity 6T SRAM Cache into NVM Analog Processing-in-Memory Engine using a Novel Compute-on-Powerline Scheme
本文提出一种将商用6T SRAM缓存重新利用为NVM类比处理-in-内存引擎的架构,通过新型计算-电源线方案实现高吞吐量和存储密度。
2025-12-27 cs.AR cs.SY eess.IV
SKYLIGHT: A Scalable Hundred-Channel 3D Photonic In-Memory Tensor Core Architecture for Real-time AI Inference
Rensselaer Polytechnic Institute(伦斯勒理工学院);Arizona State University(亚利桑那州立大学);Air Force Research Laboratory(空军研究实验室)
SKYLIGHT是一种可扩展的百通道3D光子存内张量核心架构,通过创新设计实现高效实时AI推理,具备高能效和鲁棒性。
2026-03-07 cs.AR cs.ET
A Python Framework for SPICE Circuit Simulation of In-Memory Analog Computing Circuits
随着人们越来越关注基于忆阻的存储器内模拟计算(IMAC)架构作为用于数据密集型应用的高能耗计算机系统的替代方案,能够探索其器件级和电路级设计空间的工具可以显著地促进该领域的研究和开发。因此,在本文中,我们开发的IMAC-SIM卡,一个电路级仿真器的设计空间探索和多目标优化的IMAC架构。IMAC-Sim是一个基于Python的仿真框架,它根据用户选择的各种器件和电路级超参数创建IMAC电路的SPICE网表,并使用用户指定的数据集自动评估开发电路的精度,功耗和延迟。IMAC-Sim模拟IMAC架构中的互连寄生电阻和电容,并配备了水平和垂直分区技术,以克服这些可靠性挑战。在这个摘要中,我们进行控制实验,展示一些重要的功能的IMAC-Sim。
2022-10-02 cs.AR
Modeling and Analysis of Analog Non-Volatile Devices for Compute-In-Memory Applications
本文提出一种基于物理器件模型的存算一体神经网络仿真工具,支持硬件与电路约束,可估算面积、功耗及精度,助力存算硬件适配的神经网络优化。
2023-05-01 cs.AR
ALPINE: Analog In-Memory Acceleration with Tight Processor Integration for Deep Learning
模拟存内计算(AIMC)核相对于数字逻辑(例如,CPU)。AIMC加速了矩阵向量乘法,这在这些应用程序的运行时占主导地位。然而,以AIMC为中心的平台缺乏通用系统的灵活性,因为它们通常具有硬编码的数据流,并且只能支持有限的处理功能集。为了弥补这种灵活性的差距,我们提出了一种新的系统架构,紧密集成模拟存内计算加速器到多核CPU的通用系统。我们开发了一个功能强大的基于gem 5的完整系统级仿真框架到gem 5-X模拟器,ALPINE,它可以深入表征所提出的架构。ALPINE允许模拟整个计算机体系结构栈,从主要硬件组件到它们与Linux OS的交互。在ALPINE中,我们定义了一个自定义ISA扩展和一个软件库,以方便部署推理模型。我们展示并分析了不同神经网络类型的各种映射,并展示了与支持SIMD的ARM CPU实现相比,卷积神经网络、多层感知器和递归神经网络的性能/能量增益高达20.5倍/20.8倍。
2022-12-13 cs.AR
eIQ Neutron: Redefining Edge-AI Inference with Integrated NPU and Compiler Innovations
NXP Semiconductors(恩智浦半导体公司);Politecnico di Torino(托里尼诺理工学院)
本文提出集成于商用旗舰MPU的eIQ Neutron高效NPU及协同设计的编译器,通过数据驱动架构与约束编程优化计算与数据移动,在同等资源下实现1.8倍平均加速,重新定义了边缘AI推理性能。
2025-09-17 cs.AI cs.AR cs.LG
Selective KV Cache Protection for Noise-Resilient LLM Inference on Analog Compute-In-Memory Systems
Beihang University(北京航空航天大学);The University of Hong Kong(香港大学);University of Science and Technology of China(中国科学技术大学);Peking University(北京大学)
针对模拟存算一体系统上LLM推理的KV缓存易受硬件噪声影响的问题,本文首次开展相关系统研究,提出分层token保护策略,大幅降低噪声下的困惑度并提升编程行利用率。
2026-08-20 cs.AR
HCiM: ADC-Less Hybrid Analog-Digital Compute in Memory Accelerator for Deep Learning Workloads
针对模拟CiM加速器中ADC带来的高功耗与面积开销问题,提出无ADC的混合模数加速器HCiM,结合模拟交叉阵列与数字CiM阵列处理缩放因子,实现最高28%的能耗降低。
2024-03-20 cs.AR
An Analog and Digital Hybrid Attention Accelerator for Transformers with Charge-based In-memory Computing
University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对Transformer自注意力计算复杂度高、内存访问频繁的问题,提出一款65nm工艺的模数混合注意力加速器,通过模拟存内计算核心实时剪枝75%低得分令牌、数字核心处理剩余令牌保证精度,实现了高能效与高面积效率。
2024-09-20 cs.AR cs.LG
OpenGeMM: A High-Utilization GeMM Accelerator Generator with Lightweight RISC-V Control and Tight Memory Coupling
KU Leuven(鲁汶大学);INESC-ID;Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学)
深度神经网络(DNN)由于其计算和数据密集型的性质,在部署在资源受限的极端边缘设备上时面临重大挑战。虽然为特定应用场景量身定制的独立加速器存在控制不灵活和可编程性有限的问题,但与RISC-V CPU相结合的通用硬件加速平台可以实现高可重用性和灵活性,但通常以系统级效率和低利用率为代价。为了填补这一空白,我们提出了OpenGeMM,一个开源的加速平台,共同展示了高效率和利用率,以及易于配置和可编程性。OpenGeMM包含一个参数化的Chisel编码GeMM加速器,一个轻量级的RISC-V处理器和一个紧密耦合的多组暂存器。GeMM内核利用率和系统效率通过三种机制来提高:配置预加载、带输出缓冲的输入预取和可编程跨存储器访问。实验结果表明,OpenGeMM可以在不同的CNN和Transformer工作负载中始终实现81.89%到99.34%的硬件利用率。与SotA开源Gemmini加速器相比,OpenGeMM在各种GeMM工作负载上的归一化吞吐量上实现了3.58倍至16.40倍的加速,同时实现了4.68 TOPS/W的系统效率。
2024-11-21 cs.AI cs.AR
MF-Net: Compute-In-Memory SRAM for Multibit Precision Inference using Memory-immersed Data Conversion and Multiplication-free Operators
我们提出了一种用于深度神经网络(DNN)的内存计算推理的协同设计方法。我们使用基于ell_1范数的无乘法函数逼近器以及自适应处理阵列和计算流程。使用该方法,我们克服了SRAM内DNN处理的当前技术中的许多缺陷,诸如在每个操作SRAM行/列处需要数模转换器(DAC)、需要高精度模数转换器(ADC)、对多位精度权重的有限支持以及有限的向量规模并行性。我们的自适应实现可无缝扩展到多位精度权重,不需要DAC,并且可以轻松扩展到更高的向量规模并行性。我们还提出了一种SRAM浸没式逐次逼近型ADC(SA-ADC),利用SRAM阵列位线的寄生电容作为容性DAC。由于SA-ADC的主要面积开销来自其容性DAC,因此通过利用SRAM阵列的固有寄生,我们的方法允许SRAM内SA-ADC的低面积实现。我们的8 $\times$ 62 SRAM宏需要一个5位ADC,在45 nm CMOS工艺下实现了$\sim$ 105 tera/s/W(TOPS/W)的运算速度,并具有8位输入/权重处理能力。
2021-01-29 cs.AR cs.SY eess.SY
An Analog Neural Network Computing Engine using CMOS-Compatible Charge-Trap-Transistor (CTT)
University of California, Los Angeles(加州大学洛杉矶分校);University of California, Irvine(加州大学欧文分校);National Chiao Tung University(国立交通大学);Kneron, Inc(Kneron公司)
提出了一种基于CMOS兼容电荷陷阱晶体管(CTT)的模拟神经网络计算引擎。CTT器件用作模拟乘法器。与数字乘法器相比,基于CTT的模拟乘法器显示出显著的面积和功耗降低。建议的计算引擎是由一个可扩展的CTT乘法器阵列和节能的模拟-数字接口。通过实现顺序模拟结构(SAF),引擎混合信号接口得到简化,并且无论阵列大小如何,硬件开销都保持不变。一个概念验证的784 × 784 CTT计算引擎采用台积电28 nm CMOS工艺实现,占用0.68mm2。在500 MHz时钟频率下,模拟性能达到76.8 TOPS(8位),功耗为14.8 mW。作为一个例子,我们利用这个计算引擎来解决一个经典的模式识别问题-分类MNIST数据库上的手写数字,并获得了性能与最先进的全连接神经网络使用8位定点分辨率。
2018-08-09 cs.AR cs.ET cs.LG
AnalogSAGE: Self-evolving Analog Design Multi-Agents with Stratified Memory and Grounded Experience
Northeastern University(东北大学);Kansas State University(堪萨斯州立大学)
AnalogSAGE通过分层记忆和基础经验提升模拟设计自动化可靠性与自主性
2025-12-27 cs.AR cs.LG
A Reconfigurable Time-Domain In-Memory Computing Macro using FeFET-Based CAM with Multilevel Delay Calibration in 28 nm CMOS
Andrew and Erna Viterbi Faculty of Electrical and Computer Engineering, Technion - Israel Institute of Technology(安德鲁和埃尔纳·维特比电气与计算机工程学院,以色列理工学院);GlobalFoundries Fab1 LLC and Co. KG(格罗方德Fab1有限责任公司及合伙公司)
本文提出了一种基于FeFET的可重构时域在内存计算宏器件,通过多级延迟校准实现亚纳秒级MAC分辨率,达到2000倍的性能提升,展示了高能效的在内存计算加速器的可行性。
2026-02-09 cs.AR cs.ET
Kernel Approximation using Analog In-Memory Computing
IBM Research Europe(IBM欧洲研究院)
本文提出一种适用于模拟内存计算架构的核函数近似方法,利用IBM HERMES芯片在硬件上实现,在保持高精度的同时提升能效和降低功耗。
2024-11-05 cs.AR cs.LG
Analog, In-memory Compute Architectures for Artificial Intelligence
本文分析了数字和模拟存内计算架构对能效的基本限制,并将其性能与单指令、单数据(标量)机器进行了比较,特别是在机器推理的上下文中。分析的重点是效率如何与要执行的计算的大小、算术强度和位精度成比例。它表明,模拟,存内计算架构可以接近任意高的能源效率的问题的大小和处理器的大小规模。
2023-01-13 cs.AR cs.NE physics.optics
Reliability-Aware Deployment of DNNs on In-Memory Analog Computing Architectures
University of South Carolina(南卡罗来纳大学)
传统的存内计算(IMC)架构由用于加速矩阵向量乘法(MVM)的模拟忆阻交叉开关和用于实现深度神经网络(DNN)中的非线性向量(NLV)运算的数字功能单元组成。然而,这些设计需要高耗能的信号转换单元,其可以消耗系统总功率的95%以上。另一方面,内存模拟计算(IMAC)电路通过在模拟域中实现MVM和NLV操作,消除了对信号转换器的需要,从而显著节省了能源。然而,它们更容易受到诸如互连寄生和噪声等可靠性挑战的影响。在这里,我们介绍了一种实用的方法,将DNN中的大型矩阵部署到多个较小的IMAC子阵列上,以减轻噪声和寄生效应的影响,同时将计算保持在模拟域中。
2022-10-02 cs.AR cs.ET cs.LG
PICO-RAM: A PVT-Insensitive Analog Compute-In-Memory SRAM Macro with In-Situ Multi-Bit Charge Computing and 6T Thin-Cell-Compatible Layout
本文提出PICO-RAM,一种PVT不敏感的模拟存内计算SRAM宏,采用电荷域位并行计算和6T薄单元兼容布局,实现高密度存储与高鲁棒性。
2024-07-03 cs.AR cs.ET
PACiM: A Sparsity-Centric Hybrid Compute-in-Memory Architecture via Probabilistic Approximation
Keio University(庆应义塾大学);The University of Tokyo(东京大学)
本文提出概率近似计算方法PAC及稀疏中心架构PACiM,通过将MAC向量计算简化为标量计算并消除LSB传输,在保持高精度的同时显著降低功耗和数据访问。
2024-08-29 cs.AR cs.LG
AnalogNAS-Bench: A NAS Benchmark for Analog In-Memory Computing
Ecole Nationale Supérieure d’Informatique(国立信息学院);Laboratoire de Méthodes de Conception des Systèmes(系统设计方法实验室);IBM Research Europe(IBM欧洲研究院)
AnalogNAS-Bench是首个面向模拟内存计算的NAS基准,揭示了标准量化不足、鲁棒架构更宽且有分支、跳跃连接抗时间漂移等关键发现。
2025-06-23 cs.AR cs.LG