HYPERLOCK: In-Memory Hyperdimensional Encryption in Memristor Crossbar Array
University of Toronto(多伦多大学);York University(约克大学)
提出了一种基于忆阻交叉开关阵列、二进制超向量和神经网络的新型密码体系结构。利用忆阻器交叉开关的随机性和不可克隆性以及二进制超向量和神经网络的容错性,使得忆阻器交叉开关仿真算法的实现成为可能。我们证明,随着二进制超向量的维数的增加,可以有效地控制忆阻器电路中的非理想性。在受控交叉开关非理想性的精细水平,来自忆阻器电路的噪声可以用于加密数据,同时可由神经网络充分解释以用于解密。我们将我们的算法应用于图像加密的概念证明,并以100%的解密精度,尽管交叉噪声的文本加密/解密。我们的工作显示了使用忆阻器交叉杆作为密码学的不可克隆随机编码器单元的潜力和可行性,其现有的功能作为矢量矩阵乘法加速设备。
2022-01-27 cs.CR cs.ET cs.LG
Semi-Trained Memristive Crossbar Computing Engine with In-Situ Learning Accelerator
设备上的智能最近受到了极大的关注,因为它提供了本地数据处理和低功耗。在这项研究中,提出了一种用于集成在交叉结构中的阈值电流忆阻器的器件上训练电路。此外,映射到完全训练和半训练交叉的突触权重的替代方法进行了研究。在半训练交叉开关中,忆阻器的受限子集被调谐,并且忆阻器的剩余子集不被编程。与完全编程的交叉开关相比,这转化为最佳的资源利用率和功耗。半训练交叉结构适用于广泛的一类神经网络。使用极端学习机进行系统级验证,用于二项式和多项式分类。当在IBM 65 nm节点中实现时,单个4x 4层网络的总功率估计为~ 42.16uW,面积估计为26.48um x 22.35um。
2018-08-22 cs.ET
A Fast Method for Steady-State Memristor Crossbar Array Circuit Simulation
在这项工作中,我们提出了一种有效的预处理技术,以加速大规模忆阻器交叉阵列(MCA)的稳态模拟。我们利用结构规律的MCA开发一个特制的预处理,可以有效地利用张量积和块矩阵求逆进行评估。数值实验表明,所提出的技术相比,主流预条件的有效性。
2021-09-15 cs.AR cs.ET
Algorithm-Hardware Co-Optimization of the Memristor-Based Framework for Solving SOCP and Homogeneous QCQP Problems
用忆阻器器件构造的忆阻器交叉开关具有改变和记忆其忆阻器元件中的每个忆阻器元件的状态的独特能力。它还具有其他非常理想的功能,如高密度,低功耗操作和出色的可扩展性。因此,忆阻器交叉开关技术可以潜在地用于开发低复杂度和高可扩展性的解决方案框架,用于解决大量的凸优化问题,其涉及广泛的矩阵运算并且在多个学科中具有关键应用。本文,作为朝着这个方向的第一次尝试,提出了一种新的忆阻器交叉杆为基础的框架,解决两个重要的凸优化问题,即,二阶锥规划(SOCP)和齐次二次约束二次规划(QCQP)问题。本文采用交替方向乘子法(ADMM)。它将SOCP和齐次QCQP问题分解为涉及线性系统求解的子问题,这些子问题可以使用忆阻交叉开关以O(1)时间复杂度有效地解决。该算法是一个迭代过程,迭代一个常数的次数。因此,解决SOCP和齐次QCQP问题的算法具有伪O(N)复杂度,与最先进的软件求解器(O(N^3.5)- O(N^4))相比,这是一个显著的降低。
2018-02-02 cs.ET
Memristor Crossbars with 4.5 Terabits-per-Inch-Square Density and Two Nanometer Dimension
忆阻器是下一代非易失性随机存取存储器和仿生计算系统的一个有前途的构建块。将忆阻器组织成高密度交叉阵列虽然具有挑战性,但对于满足这些应用的不断增长的高容量和低能耗需求至关重要,特别是在大数据时代。在这里,我们构造具有高达4.5太比特每平方英寸的单层密度的忆阻器交叉条,比最先进的64层三级单元NAND闪存技术密度大一个数量级。交叉杆中的忆阻器的尺寸为2 $\times$ 2 nm $^2$,能够用数十纳安的电流进行切换。极其小的工作设备的密集封装的忆阻器交叉条为高密度信息存储和处理提供了功率高效的解决方案。
2018-05-27 cond-mat.mes-hall cond-mat.mtrl-sci cs.ET
Current-mode Memristor Crossbars for Neuromemristive Systems
受电流模式设计优势的启发,这篇简短的文章探讨了通过电流模式忆阻器交叉开关电路在神经忆阻系统中实现权重矩阵。在推导出电流模式设计中的权重的范围和分布的理论结果后,它表明,任何基于电压模式交叉杆的权重矩阵可以被映射到电流模式交叉杆,如果电压模式权重被仔细界定。然后,一个修改的梯度下降规则推导出的电流模式设计,可以用来执行反向传播训练。MNIST数据集上的行为模拟表明,电压和电流模式设计都能够实现类似的精度,并具有类似的缺陷容限。然而,对训练后的权重分布的分析表明,电流模式和电压模式设计可能使用不同的特征表示。
2017-07-17 cs.ET stat.ML
Experimental Validation of Memristor-Aided Logic Using 1T1R TaOx RRAM Crossbar Array
本文通过1T1R TaOx RRAM交叉阵列实验验证MAGIC逻辑的OR和NOT门,发现能耗主要由初始化主导,占比85%,执行和读取分别占14.8%和0.2%。
2023-10-16 cs.ET
Implementation of fast ICA using memristor crossbar arrays for blind image source separations
Birla Institute of Technology and Science (BITS) Pilani(比尔拉科学技术学院(BITS)皮拉尼分校)
独立分量分析是一种无监督学习方法,用于从多变量信号或数据矩阵中计算独立分量。基于权重矩阵与多变量数据矩阵的相乘来评估IC。本研究提出一种新颖的忆阻器交叉阵列,以实现ACY ICA和Fast ICA的盲声源分离。数据输入以脉宽调制电压的形式施加到交叉阵列,并且所实现的神经网络的权重存储在忆阻器中。来自忆阻器列的输出电荷用于计算权重更新,其通过保持高于忆阻器设置/重置电压的电压来执行。为了展示其潜在的应用,提出的忆阻器交叉阵列的快速ICA架构用于图像声源分离问题。实验结果表明,该方法能有效地分离图像源,与传统的ACY ICA算法和Fast ICA算法相比,图像的对比度得到了提高,结构相似度提高了67.27%.
2022-08-07 cs.ET cs.LG
Training and Operation of an Integrated Neuromorphic Network Based on Metal-Oxide Memristors
尽管半导体集成电路技术取得了巨大的进步,但人类大脑皮层的极端复杂性使得用相当数量的设备实现神经形态网络具有非常大的挑战性。最有前景的候选者之一是基于混合CMOS/忆阻器电路的所谓CrossNet,它可以提供相当的复杂性,同时运行速度更快,功耗可管理。在这些电路中,通常的CMOS堆栈增加了一个或几个交叉层,每个交叉点处都有可调的两端忆阻器。最近,在制造这种忆阻交叉开关及其与CMOS电路的集成的技术的改进方面有了重大进展,包括其垂直集成的首次演示。另外,已经有几个离散忆阻器作为神经形态网络的人工突触的演示。最近,这种实验扩展到相变忆阻器件的交叉阵列。然而,这种器件的调整需要在每个交叉点处增加一个晶体管,因此它们的缩放前景不如金属氧化物忆阻器令人印象深刻,金属氧化物忆阻器的非线性I-V曲线可以实现无晶体管操作。在这里,我们报告的第一个实验实施的无晶体管的金属氧化物忆阻器交叉开关与设备的可变性降低到足以证明一个简单的集成神经网络,单层感知器的成功操作。该网络可以使用粗粒度的各种增量规则算法进行原位训练,以将3x 3像素的黑/白图像完美地分类为3类。我们相信,这一演示是实现更大,更复杂的忆阻神经形态网络的重要一步。
2014-12-01 cs.ET
TMS-Crossbars with Tactile Sensing
触觉感知的第一阶段是使用触觉传感器的数据采集,并且感测到的数据被传输到中央单元用于类脑计算。忆阻交叉杆被提议用作类脑计算中的突触,但是在传感器水平上的设备智能在文献中没有被研究。我们提出了晶体管忆阻器传感器(TMS)交叉杆的概念,包括传感器忆阻器交叉杆阵列配置在神经网络架构的输入层。提出了TMS交叉阵列的2种可能的单元配置:1晶体管1忆阻器1传感器(1 T1 M1 S)和2晶体管1忆阻器1传感器(2 T1 M1 S)。我们在基于模拟神经网络的盲文字符识别系统的实际设计中验证了所提出的TMS-crossbar。采用FLX-A501力传感器、TiO $_2$忆阻器和低功耗22 nm高k CMOS晶体管的等效电路,通过SPICE仿真验证了所提出的设计。所提出的模拟类脑计算系统提出了一种可扩展的解决方案,并有可能编码125个符号,与其他盲文字符识别系统相比,在文献中具有良好的精度。的TMS交叉阵列的模拟实现的好处是证实与二进制同行相比的精度,面积和功耗要求的结果。
2021-11-14 cs.ET cs.NE
Long short-term memory networks in memristor crossbars
最近在具有长短期记忆(LSTM)单元的循环深度神经网络方面的突破,导致了人工智能的重大进展。然而,具有显著增加的复杂性和大量参数的最先进的LSTM模型具有由有限的存储器容量和数据通信带宽导致的计算能力瓶颈。在这里,我们通过实验证明了LSTM可以用忆阻器交叉开关实现,它具有小的电路占用空间来存储大量参数和存内计算能力,可以绕过“冯诺依曼校验”。我们通过解决回归和分类中的实际问题来说明我们的系统的能力,这表明忆阻器LSTM是一种有前途的边缘推理的低功耗和低延迟硬件平台。
2018-05-30 cs.ET physics.app-ph
Fully CMOS-compatible passive TiO2-based memristor crossbars for in-memory computing
脑启发计算和神经形态硬件是有前途的方法,提供了巨大的潜力,以克服基于传统冯诺依曼架构的当前计算范式所面临的限制。在这方面,由于忆阻器交叉杆阵列本机执行存内计算和神经网络实现所需的基本突触操作的能力,对开发忆阻器交叉杆阵列的兴趣已经增加。为了获得最佳效率,基于交叉开关的电路需要与工业CMOS技术的制造工艺和材料兼容。在这里,我们报告了一个完整的CMOS兼容的制造工艺的TiO 2基无源忆阻器的交叉杆与700 nm宽的电极。我们成功地显示了底部电极制造的一个MEMS工艺,从而优化的地形和表面粗糙度低至1.1纳米。DC扫描和电压脉冲编程产生与突触样多电平开关相关的统计结果。研究了周期间和器械间的变异性。使用200 ns的电压脉冲序列的电导的animplantable编程表明,由于周期到周期的再现性,所制造的存储器具有至少3位的多级容量。
2021-12-08 cs.ET physics.app-ph
Fast IDS Computing System Method and its Memristor Crossbar-based Hardware Implementation
主动学习方法是受人脑处理复杂信息能力的启发而发展起来的一种软计算方法。ALM本质上是一种自适应模糊学习方法,它对具有多个单输入单输出(SISO)子系统的多输入单输出(MISO)系统建模。该方法的主要处理引擎是墨水滴扩散算子(IDS),它能从数据中提取有用的特征,无需复杂的计算,并具有稳定性和收敛性。尽管ALM在分类、聚类和建模等应用中表现出色,但高效的硬件实现仍然是一个具有挑战性的问题。需要大量的存储器来存储IDS平面的信息以及IDS计算系统的高计算成本是ALM变得更流行的两个主要障碍。本文基于入侵检测系统的思想,提出了一种新的学习方法,但采用了一种新的方法,消除了入侵检测系统运算符的计算成本。与传统的方法不同,我们提出的方法发现功能来描述IDS平面,从而在很大程度上消除了对大量内存的需求。窄路径和传播,这是两个主要的功能,在推理引擎中使用的应用层组播,然后提取IDS平面的内存使用量和功耗最小。我们提出的算法与忆阻器交叉开关实现完全兼容,这导致所需忆阻器的数量显著减少(从O(n^2)到O(3n))。算法简单,速度快,适合于实时处理,低成本和小的实现是至关重要的应用。在聚类和函数逼近中的应用表明了该算法的有效性。
2016-02-22 cs.ET
A Memristor-Based Optimization Framework for AI Applications
忆阻器作为构建新一代计算系统的无处不在的设备级组件最近受到了极大的关注。这些器件具有非易失性、低功耗、高密度和良好的可扩展性等特点。控制和修改忆阻器两端的偏置电压的能力使它们成为执行矩阵向量乘法和求解线性方程组的有希望的候选者。在这篇文章中,我们讨论了如何将交叉阵列中的忆阻器网络用于有效地解决优化和机器学习问题。我们介绍了一种新的忆阻器为基础的优化框架,结合了忆阻器交叉的计算优点的运营商分裂方法,交替方向乘法器(ADMM)的优点。在这里,ADMM有助于将复杂的优化问题分解为涉及线性方程组求解的子问题。通过将其应用于线性规划,二次规划和稀疏优化,该框架的能力。除了ADMM之外,还讨论了使用忆阻器交叉杆的用于特征值/特征向量计算的定制功率迭代(PI)方法的实现。基于忆阻器的PI方法可以进一步应用于主成分分析(PCA)。忆阻器交叉杆的使用产生了显着的计算速度,因此,我们相信,有可能推进人工智能(AI)中的优化和机器学习研究。
2017-10-18 cs.ET stat.ML
4K-Memristor Analog-Grade Passive Crossbar Circuit
无源模拟级忆阻交叉开关的优越密度可以使得能够将大的突触权重矩阵直接存储在专用神经形态芯片上,从而避免昂贵的芯片外通信。为了确保在类脑计算电路中有效地使用这种交叉,交叉点器件的电流-电压特性的变化必须基本上低于具有选择晶体管的存储单元的电流-电压特性的变化。显然,这一要求解释了为什么使用被动交叉杆的神经形态系统原型的演示如此之少。在这里,我们报告了一个64x64无源金属氧化物忆阻器交叉开关电路与~99%的器件成品率,基于一个代工兼容的制造工艺,具有蚀刻图案化和低温预算,有利于垂直集成。我们的器件实现了约26%的开关电压变化,足以编程4K像素灰度图案,平均调谐误差小于4%。通过实验证明MNIST模式分类的保真度接近这种大小的网络的软件建模极限,输入非原位计算的突触权重的平均误差为~1%,进一步验证了模拟特性。我们相信,我们的工作是一个显着的改进,国家的最先进的无源交叉开关存储器的复杂性和模拟性能。
2019-06-27 cs.ET cs.NE physics.app-ph
Tiny but Accurate: A Pruned, Quantized and Optimized Memristor Crossbar Framework for Ultra Efficient DNN Implementation
Northeastern University(东北大学);University of Connecticut(康涅狄格大学);George Mason University(乔治梅森大学);Florida International University(佛罗里达国际大学)
最先进的DNN结构涉及密集的计算和高内存存储。为了缓解这些挑战,忆阻器交叉阵列已经成为DNN应用的内在合适的矩阵计算和低功耗加速框架。然而,忆阻器交叉阵列架构上的极端模型压缩的高精度解决方案仍在等待解开。在本文中,我们提出了一种基于忆阻器的DNN框架,该框架通过结合交替方向乘法器(ADMM)算法将结构化权重修剪和量化相结合,以获得更好的修剪和量化性能。我们还发现了ADMM解决方案的非最优权修剪和未使用的数据路径结构化修剪模型。受这些发现的启发,我们设计了一个软硬件协同优化框架,其中包含第一个提出的网络净化和未使用的路径删除算法,目标是在ADMM步骤之后对结构化修剪模型进行后处理。通过将忆阻器硬件约束纳入我们的整个框架,我们在最先进的神经网络结构上实现了极高的压缩比,同时精度损失最小。对于量化结构化修剪模型,我们的框架在将权重量化为8位忆阻器权重表示后几乎没有精度损失。我们在匿名链接https://bit.ly/2VnMUy0上分享我们的模型。
2019-08-27 cs.AR cs.ET cs.LG
Scaling Limits of Memristor-Based Routers for Asynchronous Neuromorphic Systems
本研究探讨忆阻交叉阵列作为异步SNN硬件中路由通道的扩展极限,通过理论建模、22nm FDSOI电路仿真及4K-ReRAM芯片实验,确定了IR压降和漏电问题导致的功能界限,为多核异步神经形态系统的忆阻路由器设计提供指导。
2023-12-21 cs.ET cs.NE
XCRYPT: Accelerating Lattice Based Cryptography with Memristor Crossbar Arrays
本文提出了一个加速格为基础的后量子密码学(PQC)与忆阻器为基础的交叉开关的情况下,这些固有的容错算法是一个很好的适合噪声模拟MAC操作交叉开关。我们比较了不同的NIST第三轮基于网格的PQC候选者,并确定SABER不仅是在传统系统上执行时的领跑者,而且还可以通过交叉杆加速。SABER是一种基于模LWR的方法,它通过舍入执行模多项式乘法。我们将SABER中的多项式乘法映射到交叉杆上,并表明与最近的硬件提案相比,模拟点积可以产生$1.7-32.5\times$性能和能效的改善。这个初始设计结合了多个最先进的作品中的创新-SABER中的算法和ISAAC(用于深度神经网络加速)中提出的忆阻加速原理。然后,我们确定在这个初始设计的瓶颈,并引入几个额外的技术,以提高其效率。这些技术是协同的,特别是受益于SABER的2的幂模运算。首先,我们表明,在SABER中使用的一些软件技术,在CPU平台上是有效的,是没有帮助的基于纵横的加速器。依靠更简单的算法,通过$1.3-3.6\times$进一步提高了我们的效率。其次,我们利用SABER的计算特性,交错交叉开关中的运算,并共享几个可变精度ADC,从而实现高达$1.8\times$的更高效率。第三,为了进一步降低ADC的压力,我们提出了一种简单的模拟移位和相加技术,这导致了$1.3-6.3\times$效率的提高。总体而言,我们的设计实现了$3-15\…
2023-01-31 cs.AR cs.CR cs.ET
Endurance-Aware Mapping of Spiking Neural Networks to Neuromorphic Hardware
类脑计算系统采用忆阻器来实现高密度和低功率突触存储,作为硬件中的交叉阵列。这些系统在执行脉冲神经网络(SNN)时是能量高效的。我们观察到忆阻交叉开关中的长位线和字线是产生电流不对称的寄生电压降的主要来源。通过电路模拟,我们显示了显着的耐力变化,结果从这种不对称性。因此,如果临界忆阻器(具有较低耐久性的忆阻器)被过度利用,则它们可能导致交叉杆的寿命减少。我们提出了eSpine,这是一种新的技术,通过在映射机器学习工作负载时将每个交叉杆内的耐久性变化结合起来来提高寿命,确保具有较高激活的突触始终在具有较高耐久性的忆阻器上实现,反之亦然。eSpine分为两个步骤。首先,它使用Kernighan-Lin Graph Partitioning算法将工作负载划分为神经元和突触的集群,其中每个集群可以适合交叉开关。其次,它使用粒子群优化(PSO)的实例来将集群映射到瓦片,其中通过分析它们在工作负载内的激活来执行集群的突触到交叉杆的忆阻器的放置。我们评估eSpine的最先进的神经形态硬件模型与相变存储器(PCM)为基础的忆阻器。使用10个SNN工作负载,我们证明了有效寿命的显着改善。
2021-03-09 cs.AR cs.ET cs.NE
Efficient Reprogramming of Memristive Crossbars for DNNs: Weight Sorting and Bit Stucking
Harvard University(哈佛大学)
本文提出通过权重排序和位卡滞技术减少忆阻交叉阵列重编程次数,在ImageNet-1K上实现ResNet-50和ViT-Base分别3.7倍和21倍的重编程减少,且精度损失在1%以内。
2024-10-29 cs.AI cs.AR cs.ET
OpenMENA: An Open-Source Memristor Interfacing and Compute Board for Neuromorphic Edge-AI Applications
College of Science and Engineering(科学与工程学院)
本文提出开源忆阻器存内加速系统OpenMENA,集成可复现硬件接口、固件软件栈及VIPI权重编程与芯片在环微调方法,并在数字识别和机器人避障任务中验证了从权重迁移到片上学习的完整流程。
2025-11-03 cs.AI cs.ET
PUMA: A Programmable Ultra-efficient Memristor-based Accelerator for Machine Learning Inference
忆阻器交叉开关是能够执行模拟矩阵向量乘法的电路,克服了数字逻辑的基本能量效率限制。它们已被证明是有效的专用加速器有限的一组神经网络应用。我们提出了基于可编程超高效忆阻器的加速器(Programmable Ultra-efficient Memristor-based Accelerator,简称MERA),它通过通用执行单元增强了忆阻器交叉开关,从而能够加速各种机器学习(ML)推理工作负载。通过专用指令集架构(ISA)公开的微架构技术保留了存内计算和模拟电路的效率,而不影响可编程性。我们还介绍了将高级代码翻译为CAXA ISA的CAXA编译器。编译器对计算图进行分区,并优化指令调度和寄存器分配,以生成用于大型复杂工作负载的代码,从而在数千个空间核上运行。我们已经开发了一个详细的架构模拟器,该模拟器结合了CNOAA组件的功能、时序和功耗模型,以评估性能和能耗。在1GHz下运行的MATA加速器可以分别达到$577~GOPS/s/mm^2$和$837~GOPS/s/W$的面积和功率效率。我们对图像识别、机器翻译和语言建模(5 M-800 M突触)等多种ML应用程序的评估表明,与最先进的GPU相比,MGA在推理方面实现了高达$2,446\times$能量和$66\times$延迟的改善。与特定于应用的基于忆阻器的加速器相比,在类似的推理延迟和增加的可编程性下,CHTA产生小的能量开销。
2019-01-30 cs.AR cs.ET
Advancing Memristive Analog Neuromorphic Networks: Increasing Complexity, and Coping with Imperfect Hardware Components
我们通过实验证明了4 × 4二进制图像分为4类,使用3层混合信号神经形态网络(“MLP感知器”),基于两个无源20 × 20忆阻交叉阵列,板集成离散CMOS组件。该网络具有10个隐藏层和4个输出层模拟CMOS神经元和428个金属氧化物忆阻器,即几乎比任何先前报道的功能忆阻器电路复杂一个数量级。此外,该分类器的推理操作完全在集成硬件中执行。为了处理更大的交叉阵列,我们已经开发了一种半自动的方法来形成和测试,并比较了几种忆阻器训练方案,以应对这些设备的不完美行为,以及模拟CMOS神经元的可变性。所提出的计划的有效性进行了实验验证,使用实施的网络,此外,通过建模的操作一个更大的网络,300个隐藏层神经元,在MNIST基准。最后,我们提出了一个简单的修改实现忆阻器为基础的矢量矩阵乘法器,使其在更宽的温度范围内的操作。
2016-11-10 cs.ET cs.NE
Efficient and Fault-Tolerant Memristive Neural Networks with In-Situ Training
提出一种单忆阻器突触的多层忆阻神经网络及 O(1) 原位训练算法,在三个数据集上实现高准确率,并验证其对故障、非线性和器件偏差的鲁棒性。
2025-07-27 cs.ET
An All-Memristor Deep Spiking Neural Computing System: A Step Towards Realizing the Low Power,Stochastic Brain
深度“模拟人工神经网络”(ANN)以非常高的精度执行复杂的分类问题。然而,它们依赖于巨大的功率来执行计算,掩盖了准确性的好处。另一方面,生物大脑比这些网络强大得多,消耗的能量也少了几个数量级,这表明我们存在一些概念上的不匹配。考虑到生物神经元使用能量高效的尖峰序列进行通信,并且行为是不确定的,将这些效应纳入深度人工神经网络可能会使我们朝着更现实的神经元迈出几步。在这项工作中,我们提出了如何利用纳米级电阻器件的固有随机性来模拟尖峰神经元的功能,该神经元可以被纳入深度随机脉冲神经网络(SNN)。在算法层面上,我们提出了如何修改训练,以将ANN转换为SNN,同时支持这些设备提供的随机激活函数。我们设计电路架构,将随机忆阻神经元与执行突触权重功能的忆阻交叉杆结合在一起。我们测试了所提出的用于图像分类的全忆阻器深度随机SNN,并且在结合电路和设备相关的非理想性之后,观察到ANN基线的准确度仅下降约1%。我们见证了该网络对某些变化的鲁棒性,并且消耗的能量比CMOS对应物少约6.4倍。
2018-04-13 cs.ET
MemSE: Fast MSE Prediction for Noisy Memristor-Based DNN Accelerators
Polytechnique Montreal(蒙特利尔综合理工学院);IMT Atlantique(大西洋国立高等矿业电信学校);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
忆阻器使得能够在存储器中计算矩阵向量乘法(MVM),并且因此在高度提高深度神经网络(DNN)推理加速器的能量效率方面显示出巨大的潜力。然而,忆阻器中的计算受到硬件非理想性的影响,并且受到可能对系统性能产生负面影响的不同噪声源的影响。在这项工作中,我们从理论上分析了DNN的均方误差,使用忆阻器交叉杆计算MVM。我们考虑了量化噪声(由于需要减小DNN模型大小)和编程噪声(由于在编程忆阻值期间的可变性)。对预训练的DNN模型的模拟展示了分析预测的准确性。此外,所提出的方法是几乎两个数量级的速度比蒙特卡洛模拟,从而使它有可能优化的实施参数,以实现最小的误差为给定的功率约束。
2022-05-03 cs.ET cs.LG cs.NE