Multiscale Co-Design Analysis of Energy, Latency, Area, and Accuracy of a ReRAM Analog Neural Training Accelerator
神经网络是自然语言处理和模式识别的一种越来越有吸引力的算法。具有> 50 M参数的深度网络是通过现代GPU集群以<50 pJ/op的速度运行而实现的,最近,生产加速器能够在板级上以<5 pJ/op的速度运行。然而,随着CMOS规模的放缓,将需要新的范例来实现下几个数量级的性能功耗比增益。使用模拟电阻式存储器(ReRAM)交叉开关在加速器中执行关键矩阵运算是一个有吸引力的选择。这项工作提出了一个详细的设计,使用最先进的14/16 nm PDK的模拟交叉开关电路块的设计,以处理三个关键的内核所需的训练和推理的神经网络。给出了详细的电路和器件级能量、延迟、面积和精度分析,并与使用标准数字ReRAM和SRAM操作的相关设计进行了比较。模拟加速器与仅利用数字ReRAM的类似块相比具有270倍的能量和540倍的延迟优势,并且每个乘法和累加(MAC)仅需要11 fJ。与基于SRAM的加速器相比,能量提高了430倍,延迟提高了34倍。尽管模拟加速器中的训练精度降低,但提出了几种改进方法。与此加速器块的类似仅数字版本相比,可能的收益表明,继续优化模拟电阻式存储器是有价值的。对训练加速器的电路和器件进行了详细的分析,为进一步的体系结构级研究奠定了基础。
2018-02-17 cs.AR cs.NE
Leveraging Residue Number System for Designing High-Precision Analog Deep Neural Network Accelerators
Boston University(波士顿大学);Harvard University(哈佛大学);Lightmatter
针对模拟DNN加速器中高精度数据转换器成本高的问题,提出利用剩余数系(RNS)组合低精度运算实现高精度,还采用冗余RNS实现容错,可大幅降低数据转换器能耗。
2023-06-15 cs.AR cs.ET cs.LG
A Time-Encoded Analog Photonic Interposer for Energy-EfficientIntegration of Analog Vision Sensors and Analog Accelerators
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Case Western Reserve University(凯斯西储大学)
本研究提出时间编码模拟光子中介层,通过ATC转换模拟信号为时间间隔传输,实现模拟视觉传感器与加速器的高能效集成,在VWW数据集上EDP提升2.04倍,泛化性能优异。
2026-09-04 cs.AR
HCiM: ADC-Less Hybrid Analog-Digital Compute in Memory Accelerator for Deep Learning Workloads
针对模拟CiM加速器中ADC带来的高功耗与面积开销问题,提出无ADC的混合模数加速器HCiM,结合模拟交叉阵列与数字CiM阵列处理缩放因子,实现最高28%的能耗降低。
2024-03-20 cs.AR
AnalogNets: ML-HW Co-Design of Noise-robust TinyML Models and Always-On Analog Compute-in-Memory Accelerator
Arm Research(Arm研究院);IBM Research(IBM研究院);ETH Zürich(苏黎世联邦理工学院)
物联网应用中始终在线的TinyML感知任务需要非常高的能效。使用非易失性存储器(NVM)的模拟内存计算(CiM)承诺高效率,并且还提供自包含的片上模型存储。然而,模拟CiM引入了新的实际考虑因素,包括电导漂移、读/写噪声、固定模数(ADC)转换器增益等。必须解决这些额外的限制,以实现可以在模拟CiM上部署的模型,并具有可接受的精度损失。这项工作描述了$\textit{AnalogNets}$:TinyML模型的流行始终在线的应用程序的关键字发现(KWS)和视觉唤醒词(VWW)。该模型架构是专门为模拟CiM设计的,我们详细介绍了一种全面的训练方法,以保持在面对模拟非理想的准确性,并在推理时低精度数据转换器。我们还描述了AON-CiM,一个可编程的,最小面积的相变存储器(PCM)的模拟CiM加速器,与一个新的层串行的方法,以消除与全流水线设计相关的复杂互连的成本。我们在校准的模拟器以及真实硬件上评估了AnalogNets,发现KWS/VWW的PCM漂移(8位)24小时后,精度下降仅限于0.8 $\%$ /1.2 $\%$。在14 nm AON-CiM加速器上运行的模拟网络在使用8位激活时分别为KWS/VWW工作负载展示了8.58/4.37 TOPS/W,并在使用$4$位激活时增加到57.39/25.69 TOPS/W。
2021-11-10 cs.AR cs.ET cs.LG
RAELLA: Reforming the Arithmetic for Efficient, Low-Resolution, and Low-Loss Analog PIM: No Retraining Required!
RAELLA架构通过权重编码、自适应切片和输入动态切片降低模拟值分辨率,从而在无需重新训练DNN的情况下使用低分辨率ADC,实现高效低损耗模拟PIM推理。
2023-04-17 cs.AR
Scaling Analog Photonic Accelerators for Byte-Size, Integer General Matrix Multiply (GEMM) Kernels
本文提出可扩展光子GEMM加速器SPOGA,通过零差光信号模拟求和与换能中位置加权等技术,突破4位操作数限制,支持字节大小整数GEMM内核,在吞吐量、能效和面积效率上显著超越现有光子方案。
2024-07-08 cs.AR cs.ET cs.PF
AID: Accuracy Improvement of Analog Discharge-Based in-SRAM Multiplication Accelerator
本文提出了一种新的电路(A/D),以提高使用标准6 T-SRAM的节能内存乘法器的精度。现有技术的基于放电的SRAM内乘法加速器由于存取晶体管的二次性质而遭受其位线(BL,BLB)中的非线性行为,这导致差的信噪比(SNR)。为了实现线性的BLB电压,我们提出了一种新的根函数技术的存取晶体管的栅极,结果在平均10.77 dB SNR的精度提高相比,最先进的放电为基础的拓扑结构。我们的分析方法和电路模拟在65 nm CMOS工艺验证,所提出的技术消耗0.523 pJ每次计算(乘法,累加,和预置)从电源电压为1V,这是51.18%,低于其他国家的最先进的技术。我们已经对4x 4乘法运算进行了广泛的基于蒙特卡罗的模拟,并且我们的新技术对于最坏情况下的不正确输出情况呈现出小于0.086的标准差。
2022-04-15 cs.AR
Heterogeneous Mapping for Analog In-Memory Computing Accelerators: A Unified Workflow
IBM Research – Zurich(IBM 苏黎世研究中心)
本文提出一个统一的四阶段工作流,用于将DNN工作负载分区到模拟内存计算加速器中的模拟和数字资源上,并通过GPT-2案例展示了投影级映射和选择性数字执行的重要性。
2026-06-01 cs.AR cs.ET
IMAGINE: An 8-to-1b 22nm FD-SOI Compute-In-Memory CNN Accelerator With an End-to-End Analog Charge-Based 0.15-8POPS/W Macro Featuring Distribution-Aware Data Reshaping
Delft University of Technology(代尔夫特理工大学);UCLouvain(鲁汶大学)
IMAGINE 提出一款 22nm FD-SOI 的 1-8b 存内计算 CNN 加速器,通过输入串行权重并行累加、通道拆分与 ADC 内模拟批归一化实现自适应摆幅和分布感知数据重塑,能效最高达 0.15-8POPS/W,超越以往电荷域设计 3-5 倍。
2024-12-27 cs.AI cs.AR
ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks
ARTEMIS是一种混合模拟-随机存内DRAM加速器,通过最小化DRAM改动并利用新型电容器支持随机计算和模拟累加,在加速Transformer时相比GPU、TPU等实现至少3.0倍速度提升和1.9倍能效改善。
2024-07-17 cs.AR cs.LG
An Analog and Digital Hybrid Attention Accelerator for Transformers with Charge-based In-memory Computing
University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对Transformer自注意力计算复杂度高、内存访问频繁的问题,提出一款65nm工艺的模数混合注意力加速器,通过模拟存内计算核心实时剪枝75%低得分令牌、数字核心处理剩余令牌保证精度,实现了高能效与高面积效率。
2024-09-20 cs.AR cs.LG
A 33.6-136.2 TOPS/W Nonlinear Analog Computing-In-Memory Macro for Multi-bit LSTM Accelerator in 65 nm CMOS
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本文提出一种65纳米CMOS工艺的LSTM加速器,通过非线性在内存计算宏单元实现高能效的多比特权重操作,提升系统能效和面积效率。
2025-12-06 cs.AR
RACE-AIMC: Selective Inference for Heterogeneous Analog In-Memory Accelerators at the Edge
WD Research(西部数据研究机构)
RACE-AIMC框架为边缘端异构模拟内存内加速器,通过离线选最优加速器并计算错误上界、在线轻量检查的方式,在保证准确率的同时降低了能耗。
2026-09-04 cs.AR cs.ET cs.LG
TIMELY: Pushing Data Movements and Interfaces in PIM Accelerators Towards Local and in Time Domain
Rice University(莱斯大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Stanford University(斯坦福大学)
基于电阻式随机存取存储器(ReRAM)的存储器中处理(R $^2$ PIM)加速器在弥合物联网设备的受限资源与卷积/深度神经网络(CNN/DNN)的高昂能量成本之间的差距方面显示出希望。具体而言,R $^2$ PIM加速器通过消除重量运动的成本并通过ReRAM的高密度提高计算密度来提高能源效率。然而,能量效率仍然受到输入和部分和(Psum)移动的主要能量成本以及数模(D/A)和模数(A/D)接口的成本的限制。在这项工作中,我们确定了R $^2$ PIM加速器中的三个节能机会:模拟数据局部性,时域接口和输入访问减少,并提出了一种创新的R $^2$ PIM加速器TIMELY,其中有三个关键贡献:(1)TIMELY在ReRAM交叉杆内采用模拟本地缓冲器(ALB),以大大增强数据局部性,最大限度地减少输入和Psum移动的能量开销;(2)分别采用时域接口(TDI)和ALB,大大降低了每次D/A(和A/D)转换的能量和转换的总次数;(3)提出了一种一次性输入读取(O $^2$ IR)映射方法,进一步降低了输入访问的能量和D/A转换的次数。使用超过10个CNN/DNN模型和各种芯片配置进行的评估表明,TIMELY在能效方面优于基准R $^2$ PIM加速器PRIME一个数量级,同时保持更好的计算密度(高达31.2 $\times$)和吞吐量(高达736.6 $\times$)。此外,进行全面的研…
2020-05-03 cs.AR cs.ET cs.LG
On the Convergence Theory of Pipeline Gradient-based Analog In-memory Training
Cornell University(康奈尔大学);IBM Research(IBM研究院);Rensselaer Polytechnic Institute(拉特格斯理工学院)
本文研究了异步管道并行在类比在内存计算硬件上进行多层深度神经网络训练的收敛性,证明了Analog-SGD-AP在迭代复杂度上与数字SGD和同步管道SGD相当。
2026-04-26 cs.AR cs.LG math.OC
Neural-PIM: Efficient Processing-In-Memory with Neural Approximation of Peripherals
Washington University in St. Louis(圣路易斯华盛顿大学);Shanghai Jiao Tong University(上海交通大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
内存处理(PIM)架构在加速众多深度学习任务方面表现出巨大的潜力。特别地,电阻式随机存取存储器(RRAM)设备提供了一种有前途的硬件基板,以构建PIM加速器,因为它们能够实现高效的原位矢量矩阵乘法(VMM)。然而,现有的PIM加速器遭受频繁和能量密集型模数(A/D)转换,严重限制了它们的性能。本文提出了一种新的PIM架构,通过使用模拟累积和神经近似外围电路最大限度地减少所需的A/D转换,有效地加速深度学习任务。我们首先描述了现有的PIM加速器所采用的不同的PLL,在此基础上,提出了一种新的PLL,通过在最终量化之前将移位和加法(S+A)操作扩展到模拟域来显著减少VMM所需的A/D转换。然后,我们利用神经近似方法设计模拟累加电路(S+A)和量化电路(ADC)与RRAM交叉阵列在一个高效的方式。最后,我们应用它们构建了一个基于RAM的PIM加速器(即,\textbf{Neural-PIM})对所提出的模拟电路进行仿真,并对其系统级性能进行评估。对不同基准的评估表明,与最先进的基于RRAM的PIM加速器相比,Neural-PIM可以将能效提高5.36倍(1.73倍),并将吞吐量提高3.43倍(1.59倍),而不会损失准确性,即,ISAAC(CASCADE).
2022-01-30 cs.AR cs.ET cs.LG
SCONNA: A Stochastic Computing Based Optical Accelerator for Ultra-Fast, Energy-Efficient Inference of Integer-Quantized CNNs
University of Kentucky(肯塔基大学)
CNN推理任务的加速使用通常被转换为矢量点积(VDP)运算的卷积运算。已经提出了几种基于光子微谐振器(MRR)的硬件架构来加速整数量化的CNN,与它们的电子对应物相比具有显著更高的吞吐量和能量效率。然而,现有的基于光子MRR的模拟加速器在可实现的输入/权重精度和VDP操作大小之间表现出非常强的权衡,这严重限制了它们对于4比特和更高的量化输入/权重精度的可实现的VDP操作大小。受限的VDP操作大小最终抑制了计算吞吐量,从而严重降低了可实现的性能优势。为了解决这个缺点,我们首次提出了随机计算和基于MRR的CNN加速器的合并。为了利用随机计算固有的精度灵活性,我们发明了一种基于MRR的光学随机乘法器(OSM)。我们采用多个OSM的级联方式使用密集波分复用,打造一种新的基于随机计算的光学神经网络加速器(SCONNA)。SCONNA实现了显着的高吞吐量和能源效率,以加速高精度量化CNN的推理。我们在8位输入/权重精度下对四个现代CNN的推理进行的评估表明,SCONNA在每秒帧数(FPS)、FPS/W和FPS/W/mm 2方面分别提供了高达66.5倍、90倍和91倍的改进,平均比先前工作中的两个基于光子MRR的模拟CNN加速器高,对于大型CNN,Top-1精度下降仅高达0.4%,对于小型CNN,则高达1.5%。我们开发了一个事务级、事件驱动的基于Python的模拟器,用于评估SCONNA和其他…
2023-02-14 cs.AI cs.AR cs.ET
Lookup Table-based Multiplication-free All-digital DNN Accelerator Featuring Self-Synchronous Pipeline Accumulation
提出一种基于MADDNESS的全数字DNN加速器,采用自同步流水线累加,实现紧凑、节能且PVT不敏感的计算,能效和面积效率分别提升2.5倍和5倍。
2025-06-20 cs.AR
AnalogNAS: A Neural Network Design Framework for Accurate Inference with Analog In-Memory Computing
Univ. Polytechnique Hauts-de-France(上法兰西理工大学);IBM Research Europe(IBM欧洲研究院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);IBM Research Almaden(IBM阿尔马登研究中心)
本文提出AnalogNAS框架,针对模拟存内计算(IMC)加速器自动设计深度神经网络,在多种TinyML任务及64核PCM芯片实验中实现了比SOTA模型更高的准确率和部署效率。
2023-05-17 cs.AR cs.CV cs.LG
PUMA: A Programmable Ultra-efficient Memristor-based Accelerator for Machine Learning Inference
忆阻器交叉开关是能够执行模拟矩阵向量乘法的电路,克服了数字逻辑的基本能量效率限制。它们已被证明是有效的专用加速器有限的一组神经网络应用。我们提出了基于可编程超高效忆阻器的加速器(Programmable Ultra-efficient Memristor-based Accelerator,简称MERA),它通过通用执行单元增强了忆阻器交叉开关,从而能够加速各种机器学习(ML)推理工作负载。通过专用指令集架构(ISA)公开的微架构技术保留了存内计算和模拟电路的效率,而不影响可编程性。我们还介绍了将高级代码翻译为CAXA ISA的CAXA编译器。编译器对计算图进行分区,并优化指令调度和寄存器分配,以生成用于大型复杂工作负载的代码,从而在数千个空间核上运行。我们已经开发了一个详细的架构模拟器,该模拟器结合了CNOAA组件的功能、时序和功耗模型,以评估性能和能耗。在1GHz下运行的MATA加速器可以分别达到$577~GOPS/s/mm^2$和$837~GOPS/s/W$的面积和功率效率。我们对图像识别、机器翻译和语言建模(5 M-800 M突触)等多种ML应用程序的评估表明,与最先进的GPU相比,MGA在推理方面实现了高达$2,446\times$能量和$66\times$延迟的改善。与特定于应用的基于忆阻器的加速器相比,在类似的推理延迟和增加的可编程性下,CHTA产生小的能量开销。
2019-01-30 cs.AR cs.ET
Mirage: An RNS-Based Photonic Accelerator for DNN Training
Boston University(波士顿大学);Lightmatter(莱特马特公司)
本文提出基于余数数制 RNS 的光子加速器 Mirage,通过模拟域模运算微架构与数据流,在保证 FP32 级训练精度的同时显著提升速度、能效并降低功耗。
2024-05-24 cs.AI cs.AR cs.LG
ReSAFT: An Efficient Stuck-at Fault-Tolerant Scheme for ReRAM-based Process-in-Memory Accelerators
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工学院))
针对模拟ReRAM存内计算加速器的固定故障问题,提出基于冗余硬件与故障感知映射的容错方案,通过多目标优化确定冗余配置,恢复推理精度约22.39%,MTTF提升约61倍。
2026-10-08 cs.AR
Noisy Machines: Understanding Noisy Neural Networks and Enhancing Robustness to Analog Hardware Errors Using Distillation
Arm Research(Arm研究院);Arizona State University(亚利桑那州立大学)
深度学习的成功引发了人们对计算机硬件设计的兴趣,以更好地满足神经网络推理的高要求。特别地,基于电子、光学或光子器件,模拟计算硬件已经被特别地用于加速神经网络,这可以很好地实现比传统数字电子器件更低的功耗。然而,这些提出的模拟加速器受到其物理组件产生的固有噪声的影响,这使得在深度神经网络上实现高精度具有挑战性。因此,为了在模拟加速器上成功部署,必须能够训练深度神经网络,使其对网络权重中的随机连续噪声具有鲁棒性,这在机器学习中是一个新的挑战。在本文中,我们提出了噪声神经网络的理解。我们概述了一个嘈杂的神经网络如何降低学习能力的结果,其输入和输出之间的互信息的损失。为了解决这个问题,我们建议在训练过程中使用知识蒸馏结合噪声注入来实现更具噪声鲁棒性的网络,这在不同的网络和数据集(包括ImageNet)上进行了实验验证。与之前的最佳尝试相比,我们的方法实现的模型具有高达两倍的噪声容限,这是使模拟硬件适用于深度学习的重要一步。
2020-01-14 cs.AI cs.AR cs.LG
MENAGE: Mixed-Signal Event-Driven Neuromorphic Accelerator for Edge Applications
本文提出面向边缘应用的混合信号神经形态加速器MENAGE,通过引入虚拟神经元、基于内存的事件控制和ILP映射方法,在CIFAR10-DVS上实现了12.1 TOPS/W的高能效。
2024-10-10 cs.AR
A Microprocessor implemented in 65nm CMOS with Configurable and Bit-scalable Accelerator for Programmable In-memory Computing
Princeton University(普林斯顿大学)
本文介绍了一种可编程的内存计算处理器,在65纳米CMOS工艺证明。对于以数据为中心的工作负载,例如深度神经网络,在使用当今的计算架构实现时,数据移动通常占主导地位。这激发了空间架构的发展,其中数据存储和计算硬件的布置是分布式的,并与计算数据流显式对齐,最明显的是对于矩阵向量乘法。存内计算是一种空间架构,其中处理元件对应于密集位单元,提供本地存储和计算,通常采用模拟操作。虽然这提高了高能效和高吞吐量的潜力,但模拟操作的鲁棒性、规模和可编程性受到极大限制。本文介绍了一个590 kb的内存计算加速器集成在一个可编程处理器架构,利用最近的方法,电荷域存内计算。该架构采用与嵌入式CPU紧密耦合的方法,通过加速器接口实现标准处理器内存空间的集成。此外,近存储器计算数据路径通过位并行/位串行(BP/BS)方案既能够在本地实现各种计算,以解决跨应用所需的操作,又能够实现矩阵/输入向量元素的位精度可扩展性。芯片测量显示,在VDD为1.2/0.85V时,能量效率为152/297 1b-TOPS/W,吞吐量为4.7/1.9 1b-TOPS(与矩阵/输入向量元素精度线性缩放)。具有1-b/4-b权重和激活的CIFAR-10分类的神经网络演示在176/23 fps下消耗5.3/105.2 $μ$ J/图像,其准确度在数字/软件实现的水平(89.3/92.4 $\%$准确度)。
2018-11-09 cs.AI cs.AR cs.CV
NL-DPE: An Analog In-memory Non-Linear Dot Product Engine for Efficient CNN and LLM Inference
Technion - Israel Institute of Technology(以色列理工学院);University of Pittsburgh(匹兹堡大学)
针对基于RRAM的IMC加速器的三大局限,提出NL-DPE模拟内存内非线性点积引擎,通过ACAM实现模拟域非线性运算并消除ADC,结合NAF优化权重映射误差,为CNN和LLM推理提供高效加速。
2025-11-17 cs.AR
Algorithm-hardware co-design for Energy-Efficient A/D conversion in ReRAM-based accelerators
针对基于ReRAM的加速器中ADC功耗占比过高的问题,提出算法-硬件协同设计方法,通过识别冗余采样位、区间差异化量化及轻量SAR-ADC架构,实现1.6~2.3倍ADC功耗降低且保留算法灵活性。
2024-03-08 cs.AR
RACE-IT: A Reconfigurable Analog Computing Engine for In-Memory Transformer Acceleration
Artificial Intelligence Research Lab (AIRL), Hewlett Packard Labs, USA(人工智能研究实验室(AIRL)、惠普实验室,美国);Technion - Israel Institute of Technology, Haifa, Israel(技术ion-以色列理工学院,海法,以色列)
本文提出RACE-IT,一种基于可重构模拟计算引擎的内存中Transformer加速器,通过增强ACAM支持所有核心操作,相比GPU和现有IMC加速器性能提升453倍和15倍,能耗降低354倍和122倍。
2025-08-06 cs.AR cs.ET cs.LG
Architecture-Level Modeling of Photonic Deep Neural Network Accelerators
针对光子DNN加速器全系统能耗评估缺乏工具的问题,提出利用CiM建模工具实现光子系统架构级建模的方法,开发开源模型验证了跨域转换与DRAM的高能耗占比,并通过优化将能效提升最高3倍。
2024-05-14 cs.AR cs.ET
Towards Exact Gradient-based Training on Analog In-memory Computing
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心)
针对模拟内存计算中SGD训练因器件非对称更新无法精确收敛的问题,本文构建理论基础并证明Tiki-Taka算法可精确收敛,消除渐近误差,仿真验证了分析正确性。
2024-06-18 cs.AR cs.LG math.OC
A Comparative Analysis of Microrings Based Incoherent Photonic GEMM Accelerators
University of Kentucky(肯塔基大学)
本文分析了基于微环谐振器的光子GEMM加速器中四种信号操纵顺序(MASW、ASMW和SMWA)对性能的影响,发现SMWA组织在吞吐量、能效和面积-能效上均显著优于其他方案。
2024-02-16 cs.AR cs.ET cs.LG
A Time-domain Analog Weighted-sum Calculation Model for Extremely Low Power VLSI Implementation of Multi-layer Neural Networks
提出了一种基于积分激发型发放神经元模型的时域模拟加权和计算模型。该计算模型适用于多层前馈网络,每层网络分别进行正负权值加权求和,求和结果不进行减法运算直接送入下一层网络。我们还提出了超大规模集成(VLSI)电路来实现所提出的模型。与传统的模拟电压或电流模式电路不同,时域模拟电路在对电容器的充电/放电过程中使用瞬态操作。由于该电路可以在没有运算放大器的情况下设计,因此它们可以以极低的功耗工作。然而,它们必须使用G $\rm Ω$量级的非常高电阻的器件。我们设计了一个概念验证(CMOSVLSI)芯片,以验证具有相同权重的加权和运算,并使用250 nm制造技术通过布局后电路模拟对其进行评估。利用MOS晶体管的亚阈值工作区实现了高阻工作。仿真结果表明,该算法的加权和计算能量效率为290 TOPS/W,比现有的数字AI处理器高出一个数量级以上,尽管该芯片的最小互连宽度比现有数字AI处理器的最小互连宽度大几倍。如果使用最先进的VLSI技术来实现所提出的模型,则超过1,000 TOPS/W的能量效率将是可能的。对于实际应用,开发新兴的模拟存储器件,如铁电栅场效应晶体管是必要的。
2018-10-16 cs.AR cs.ET
You Only Charge Once 2.0 : A End-to-End Analog Computing-in-Memory Architecture with Reconfigurable Switched Capacitors
The Hong Kong University of Science and Technology(香港科技大学);AI Chip Center for Emerging Smart Systems (ACCESS), InnoHK, Hong Kong(香港创新署新兴智能系统芯片中心);Huazhong University of Science and Technology(华中科技大学);Shenzhen University of Advanced Technology(深圳先进技术研究院)
该研究提出Charge-CIM架构,以开关电容电荷重分配为统一基底,解决ACiM的ADC墙问题,在DNN基准上实现ADC能耗大降91.7%,能效提升2.7倍、吞吐量提升2.0倍。
2026-08-12 cs.AR
ARAS: An Adaptive Low-Cost ReRAM-Based Accelerator for DNNs
ARAS提出一种自适应低成本ReRAM加速器,通过智能调度、计算与权重写入重叠以及权重重编码增强层间相似性来减少写入能量,在常用DNN上相比基线PUM加速器实现最高2.2倍加速和45%节能。
2024-10-23 cs.AR
A New MRAM-based Process In-Memory Accelerator for Efficient Neural Network Training with Floating Point Precision
Rice University(莱斯大学)
现代深度神经网络(DNN)的卓越性能往往伴随着高昂的训练成本,这限制了DNN创新的快速发展,并引发了各种环境问题。为了减少训练的主要数据移动成本,内存中进程(PIM)已经成为一种很有前途的解决方案,因为它消除了访问DNN权重的需求。然而,现有技术的PIM DNN训练加速器采用具有有限精度的模拟/混合信号计算或者基于支持有限逻辑功能的存储器技术的数字计算,因此需要复杂的过程来实现浮点计算。在本文中,我们提出了一个自旋轨道力矩磁随机存取存储器(SOT-MRAM)的数字PIM加速器,支持浮点精度。具体而言,这款新的加速器具有创新的(1)SOT-MRAM单元,(2)全加法设计,以及(3)浮点计算。实验结果表明,所提出的SOT-MRAM PIM的DNN训练加速器可以实现3.3 $\times$,1.8 $\times$,和2.5 $\times$方面的能量,延迟和面积的改善,分别与最先进的PIM为基础的DNN训练加速器。
2020-05-12 cs.AR cs.DC cs.ET
A Low-Dissipation and Scalable GEMM Accelerator with Silicon Nitride Photonics
针对基于SOI的MRR光子GEMM加速器散射损耗高和双光子吸收导致性能受限的问题,提出基于氮化硅的SiNPhAR架构,显著提升了并行度、吞吐量和能效。
2024-02-16 cs.AR cs.ET cs.PF
VARA: A Voltage-Aware ReRAM-Based Accelerator for Energy-Efficient Computing
SKLP, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出电压感知型RRAM加速器VARA,通过电压感知训练算法提升激活稀疏性、共零激活重排方案实现交叉阵列级计算跳过,可大幅降低系统能耗并提升能效,且精度损失极小。
2026-10-16 cs.AR
ReDy: A Novel ReRAM-centric Dynamic Quantization Approach for Energy-efficient CNN Inference
针对 ReRAM 模数转换能耗瓶颈,提出面向 ReRAM 的动态量化加速器 ReDy,利用激活值位串行处理与分组统计分布进行即时量化,在可忽略精度损失下实现 13% 能耗节省。
2023-06-28 cs.AR
StoX-Net: Stochastic Processing of Partial Sums for Efficient In-Memory Computing DNN Accelerators
Iowa State University of Science and Technology(爱荷华州立科技大学)
针对存内计算中ADC开销大的瓶颈,提出基于自旋轨道矩磁隧道结概率开关的阵列级部分和随机处理方案,消除ADC并提升能效与面积效率,配合量化感知训练和非均匀采样长度转换,在CIFAR-10上实现高达16倍能效、8倍延迟和10倍面积改进,同时保持接近软件精度。
2024-11-08 cs.AI cs.AR cs.ET
MDTransformer: A Hardware-Software Co-Design of Mode-Division Photonic Transformer Accelerator with Inverse-Designed Coherent Crossbar
New York University (NYU) Abu Dhabi(纽约大学阿布扎比分校)
研究针对光子变压器加速器因有源移相器组件导致的问题,提出MDTransformer软硬件协同设计。利用模分光学数据流等执行复杂矩阵运算,形成紧凑光子张量核。实验表明其在不同工作负载下相比现有技术有面积、功耗、能源节省及延迟相当等优势,为高性能节能变压器系统提供方案。
2026-07-29 cs.AI cs.AR cs.DC
LiteCON: An All-Photonic Neuromorphic Accelerator for Energy-efficient Deep Learning (Preprint)
University of California, San Diego(加州大学圣地亚哥分校)
深度学习在当今的数据密集型时代非常普遍。特别地,卷积神经网络(CNN)正被广泛用于各种领域以获得优异的精度。然而,在传统的CPU和GPU上计算深度CNN会带来一些性能和能源陷阱。基于ASIC、FPGA和连续存储器器件的几种新方法最近已经被证明具有很好的效果。它们中的大多数只针对深度学习的推理(测试)阶段。设计一个既能训练又能推理的成熟的深度学习加速器的尝试非常有限。这是由于训练阶段的高度计算和内存密集型。在本文中,我们提出了LiteCON,一种新型的模拟光子学CNN加速器。LiteCON使用基于硅微磁盘的卷积、基于忆阻器的存储器和密集波分复用技术来实现节能和超快的深度学习。我们使用商业CAD框架(IPKISS)在包括LeNet和VGG-Net在内的深度学习基准模型上评估LiteCON。与最先进的技术相比,LiteCON将CNN的吞吐量、能效和计算效率分别提高了32倍、37倍和5倍,而精度下降微不足道。
2022-06-28 cs.AR cs.ET cs.LG
An Algorithm-Hardware Co-design Framework to Overcome Imperfections of Mixed-signal DNN Accelerators
近年来,基于存储器中处理(PIM)的混合信号设计已被提出作为具有超高吞吐量的能量和面积有效的解决方案,以加速DNN计算。然而,PIM设计对诸如噪声、重量和电导变化之类的缺陷敏感,这些缺陷实质上降低了DNN精度。为了解决这个问题,我们提出了一种新的算法硬件协同设计框架,以下简称为HybridAC,同时避免由于不完善的精度下降,提高面积利用率,并减少数据移动和能量耗散。我们得到一个数据移动感知的权重选择方法,不需要重新训练,以保持其原有的性能。它计算一小部分的结果与少量的变化敏感的权重使用一个强大的数字加速器,而主要的计算是在模拟PIM单元。这是第一个工作,不仅提供了一个变化鲁棒的架构,但也大大提高了现有设计的面积,功率和能源。HybridAC适合通过降低ADC精度、外围电路和混合量化来利用前述权重选择方法,以优化设计。我们的综合实验表明,即使存在高达50%的变化,HybridAC也可以将不同DNN在不同数据集上的准确性下降从60 - 90%(无保护)降低到1 - 2%。除了提供更健壮的计算,与ISAAC(SRE)相比,HybridAC将执行时间、能量、面积、功率、面积效率和功率效率分别提高了26%(14%)、52%(40%)、28%(28%)、57%(45%)、43%(5倍)和81%(3.9倍
2022-08-29 cs.AR
SCATTER: Algorithm-Circuit Co-Sparse Photonic Accelerator with Thermal-Tolerant, Power-Efficient In-situ Light Redistribution
Arizona State University(亚利桑那州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出SCATTER算法-电路联合稀疏光子加速器,结合原位光再分配、功率门控与串扰感知稀疏训练,在保持精度的同时实现511倍面积缩减和12.4倍功耗节省。
2024-07-07 cs.AR cs.ET cs.LG
ChewBaccaNN: A Flexible 223 TOPS/W BNN Accelerator
二进制神经网络使智能物联网设备成为可能,因为它们显著降低了所需的内存占用和计算复杂性,同时保持了高网络性能和灵活性。本文介绍了ChewBaccaNN,一个0.7 mm $^2$大小的二进制卷积神经网络(CNN)加速器,采用GlobalFoundries 22 nm技术设计。通过利用高效的数据重用、数据缓冲、基于锁存器的存储器和电压缩放,实现了241 GOPS的吞吐量,同时在使用高达7 x7内核的二进制CNN进行推理时,在0.4V/154 MHz下仅消耗1.1 mW,从而实现了223 TOPS/W的峰值核心能效。ChewBaccaNN的灵活性允许运行比其他加速器更广泛的二进制CNN,大大提高了TOPS/W度量所能捕获的精度-能量权衡。事实上,它可以以86.8%的准确度执行CIFAR-10推理,仅需1.3 $μJ$,因此超过了准确度,同时与最高效和更大的内存模拟处理设备相比,能源成本降低了2.8倍,同时保持了在需要时运行更大CNN以获得更高准确度的灵活性。它还运行在1000类ILSVRC数据集上训练的二进制ResNet-18,并将能源效率提高了4.4倍。此外,它还可以对使用8基Group-Net训练的二进制化ResNet-18进行推理,以仅3.0 mJ/帧的速度实现67.5%的Top-1准确度-与全精度ResNet-18相比,准确度仅下降1.8%。
2021-02-26 cs.AR eess.SP
AGNI: In-Situ, Iso-Latency Stochastic-to-Binary Number Conversion for In-DRAM Deep Learning
近年来,基于DRAM的存储器中处理(PIM)加速器领域的研究活动迅速增加,其中通过最小程度地改变DRAM外围设备的固有结构来利用DRAM的模拟计算能力以加速各种以数据为中心的应用。还报道了几种用于卷积神经网络(CNN)的基于DRAM的PIM加速器。其中,利用DRAM内随机算术的加速器在处理延迟和吞吐量方面显示出多方面的改进,这是由于随机算术将乘法转换为简单的逐位逻辑AND运算的能力。然而,使用DRAM中的随机算法进行CNN加速需要频繁的随机数到二进制数的转换。为此,现有技术采用基于全加器或基于串行计数器的DRAM内电路。这些电路消耗大面积并且引起长延迟。它们的DRAM内实现还需要对DRAM外围设备进行大量修改,这大大减少了在这些加速器中使用随机算法的好处。为了解决这些缺点,本文提出了一种新的基板在DRAM随机到二进制数转换称为AGNI。AGNI使用传输晶体管、电容器、编码器和电荷泵对DRAM外围设备进行了微小的修改,并将读出放大器重新用作电压比较器,以实现不同大小的输入统计操作数的原位二进制转换。
2023-02-12 cs.AR
Fuse and Mix: MACAM-Enabled Analog Activation for Energy-Efficient Neural Acceleration
模拟计算已被认为是一个有前途的低功耗替代数字对应的神经网络加速。然而,传统的模拟计算主要是以混合信号的方式。繁琐的模拟/数字(A/D)转换成本极大地限制了整个系统的能效。在这项工作中,我们设计了一个有效的模拟激活单元与磁性隧道结(MTJ)为基础的模拟内容可寻址存储器(MACAM),同时实现非线性激活和A/D转换融合的方式。为了弥补新生的,因此目前有限的MACAM表示能力,我们建议将我们的模拟激活单元与数字激活混合。一个完全差分框架,SuperMixer,开发搜索优化的激活工作负载分配,适应各种激活能量约束。我们所提出的方法的有效性进行了评估硅光子加速器。与标准激活实现相比,我们的混合激活系统与搜索分配可以达到竞争力的准确性与$>$ 60%的A/D转换和激活节能。
2022-08-17 cs.AR cs.ET
Block-Wise Mixed-Precision Quantization: Enabling High Efficiency for Practical ReRAM-based DNN Accelerators
针对ReRAM存内计算并行度受限问题,本文提出算法-架构协同框架BWQ,通过块级混合精度量化和精度感知权重映射,实现平均6.08倍加速和17.47倍节能。
2023-10-27 cs.AR
Resource-Efficient and Robust Inference of Deep and Bayesian Neural Networks on Embedded and Analog Computing Platforms
Ruprecht–Karls-University Heidelberg(海德堡大学)
本研究通过算法-硬件协同设计,从模型压缩、含噪训练、近似概率推理及概率光子计算等方向,实现了嵌入式与模拟平台上深度和贝叶斯神经网络的高效鲁棒推理,为可信节能机器学习系统奠基。
2025-10-28 cs.AR cs.LG cs.NE
Scale up your In-Memory Accelerator: Leveraging Wireless-on-Chip Communication for AIMC-based CNN Inference
模拟存内计算(AIMC)正在成为异构计算的一种颠覆性范例,与传统的矩阵向量乘法数字信号处理架构相比,它有可能提供数量级更高的峰值性能和效率。然而,为了在实际应用中维持这种吞吐量,AIMC瓦片必须以非常高的带宽和低延迟提供数据;这对片上通信基础设施造成了前所未有的压力,这成为系统的性能和效率瓶颈。在这种情况下,新兴的片上无线通信范例的性能和可塑性提供了所需的突破,以在大型AIMC设备中的大规模片上通信。这项工作提出了一种具有瓦片间无线通信的多瓦片AIMC架构,该架构集成了多个异构计算集群,嵌入了并行RISC-V内核和AIMC瓦片的混合。我们进行了广泛的设计空间探索所提出的架构,并讨论了利用新兴的片上通信技术,如无线收发器在毫米波和太赫兹波段的好处。
2022-06-03 cs.AR cs.SY eess.SY
Sustainable Transformer Neural Network Acceleration with Stochastic Photonic Computing
Colorado State University(科罗拉多州立大学);University of Kentucky(肯塔基大学)
本文提出ASTRA,首个利用随机计算的硅光加速器,通过光学随机乘法器和同频积累实现高效动态张量计算,实验显示在速度和能耗方面优于现有方案,展现高效可扩展的Transformer推理潜力。
2026-04-10 cs.AR cs.LG
Benchmarking and modeling of analog and digital SRAM in-memory computing architectures
本文通过综述现有架构、建立能量与吞吐量成本模型并在多种存内计算架构上调度工作负载,对模拟与数字SRAM存内计算进行公平基准评测,为工作负载-硬件协同设计提供指导。
2023-05-25 cs.AR eess.IV eess.SP
PulseDL-II: A System-on-Chip Neural Network Accelerator for Timing and Energy Extraction of Nuclear Detector Signals
Tsinghua University(清华大学);Central China Normal University(华中师范大学)
配备高速数字化仪的前端电子设备正在被用于未来的核探测器。最近的文献表明,深度学习模型,特别是一维卷积神经网络,在处理来自核探测器的数字信号时很有前途。仿真和实验表明,令人满意的精度和额外的好处,神经网络在这方面。然而,具体的硬件加速这种模式的在线操作仍然需要研究。在这项工作中,我们介绍PulseDL-Ⅱ,片上系统(SoC),专门设计的事件功能(时间,能量等)的应用。通过深度学习提取脉冲。基于以前的版本,PulseDL-II将RISC CPU纳入系统结构,以实现更好的功能灵活性和完整性。SoC中的神经网络加速器采用三级(运算单元、处理单元、神经网络)分层结构,便于数字设计的参数优化。此外,我们设计了一种与深度学习框架兼容的量化方案(例如,TensorFlow)。我们验证了正确的操作PulseDL-II的现场可编程门阵列(FPGA)单独和实验设置,包括一个直接数字合成(DDS)和模数转换器(ADC)。该系统在信噪比为47.4 dB时,时间分辨率为60 ps,能量分辨率为0.40%。
2023-02-09 cs.AR cs.LG physics.ins-det
ALPINE: Analog In-Memory Acceleration with Tight Processor Integration for Deep Learning
模拟存内计算(AIMC)核相对于数字逻辑(例如,CPU)。AIMC加速了矩阵向量乘法,这在这些应用程序的运行时占主导地位。然而,以AIMC为中心的平台缺乏通用系统的灵活性,因为它们通常具有硬编码的数据流,并且只能支持有限的处理功能集。为了弥补这种灵活性的差距,我们提出了一种新的系统架构,紧密集成模拟存内计算加速器到多核CPU的通用系统。我们开发了一个功能强大的基于gem 5的完整系统级仿真框架到gem 5-X模拟器,ALPINE,它可以深入表征所提出的架构。ALPINE允许模拟整个计算机体系结构栈,从主要硬件组件到它们与Linux OS的交互。在ALPINE中,我们定义了一个自定义ISA扩展和一个软件库,以方便部署推理模型。我们展示并分析了不同神经网络类型的各种映射,并展示了与支持SIMD的ARM CPU实现相比,卷积神经网络、多层感知器和递归神经网络的性能/能量增益高达20.5倍/20.8倍。
2022-12-13 cs.AR