X-Fault: Impact of Faults on Binary Neural Networks in Memristor-Crossbar Arrays with Logic-in-Memory Computation
基于忆阻器的交叉开关阵列代表了一种有前途的新兴存储器技术,通过提供高密度并实现存储器中计算(CIM)范例来取代传统存储器。虽然模拟计算提供了最佳性能,但非理想性和ADC/DAC转换限制了基于忆阻器的CIM。逻辑存储器(LIM)是CIM的另一种形式,其中忆阻器以二进制方式用于实现逻辑门。由于二进制神经网络(BNN)使用二进制逻辑门作为主要操作,因此它们可以受益于二进制操作的大规模并行执行以及对忆阻器的变化的更好的弹性。虽然传统的神经网络已被彻底研究,故障对忆阻器为基础的BNN的影响仍然不清楚。因此,我们分析了故障对BNN的基于忆阻器的交叉开关阵列中的逻辑门的影响。我们提出了一个模拟框架,模拟不同的传统故障,研究忆阻交叉阵列上的BNN的准确性损失。此外,我们根据加速AI应用的鲁棒性和可行性比较了不同的逻辑家族。
2022-04-04 cs.ET
Leveraging Voltage-Controlled Magnetic Anisotropy to Solve Sneak Path Issues in Crossbar Arrays
针对交叉阵列中的写入潜行路径问题,提出基于磁隧道结和电压控制磁各向异性效应的自旋电子器件设计,并给出保持磁化轨迹鲁棒性的工作电压条件,以提升写入能效与网络准确率。
2023-02-23 cs.ET
Energy-Efficient Implementation of Generative Adversarial Networks on Passive RRAM Crossbar Arrays
生成算法(如GANs)正处于无监督学习和大规模人工数据生成领域的下一场革命的风口浪尖。然而,GAN中的判别式和生成式网络的对抗(竞争)共同训练使得它们的计算密集型,并阻碍了它们在资源受限的物联网边缘设备上的部署。此外,在训练期间,判别网络和生成网络之间的频繁数据传输显著降低了von-Neumann GAN加速器(例如基于GPU和FPGA的加速器)的效率。因此,迫切需要开发用于GANs的超紧凑且节能的硬件加速器。为此,在这项工作中,我们建议利用无源RRAM交叉阵列来执行全连接GAN的关键操作:(a)生成器网络的真正随机噪声生成,(b)在前向传递和反向传播期间具有前所未有的能量效率的向量乘矩阵乘法,以及(C)使用硬件友好的曼哈顿规则进行原位对抗训练。我们的广泛的分析,利用实验校准的现象学模型无源RRAM交叉阵列揭示了一个不可预见的权衡之间的准确性和能量消耗,而训练的GAN网络与不同的噪声输入的发生器。此外,我们的研究结果表明,空间和时间的变化和真正的随机噪声,这是不可取的存储器应用,提高能量效率的GAN实现无源RRAM交叉阵列,而不会降低其准确性。
2022-04-19 cs.ET
A Device Non-Ideality Resilient Approach for Mapping Neural Networks to Crossbar Arrays
我们提出了一种技术独立的方法,称为相邻连接矩阵(ACM),有效地映射到非负交叉阵列的符号权重矩阵。与相同硬件开销的映射方法相比,当使用5位精度或更低的crossbar阵列进行训练时,使用ACM可以将ResNet-20与CIFAR-10数据集的训练精度提高高达20%。与使用两个元素来表示权重的策略相比,ACM实现了相当的训练精度,同时还分别提供了2.3倍和7倍的面积和读取能量减少。ACM还具有温和的正则化效应,可以提高交叉阵列中的推理精度,而无需任何重新训练或昂贵的设备/变化感知训练。
2020-04-01 cs.ET eess.SP
A Fast Method for Steady-State Memristor Crossbar Array Circuit Simulation
在这项工作中,我们提出了一种有效的预处理技术,以加速大规模忆阻器交叉阵列(MCA)的稳态模拟。我们利用结构规律的MCA开发一个特制的预处理,可以有效地利用张量积和块矩阵求逆进行评估。数值实验表明,所提出的技术相比,主流预条件的有效性。
2021-09-15 cs.AR cs.ET
WAGONN: Weight Bit Agglomeration in Crossbar Arrays for Reduced Impact of Interconnect Resistance on DNN Inference Accuracy
Purdue University(普渡大学)
针对交叉条阵列中互连电阻对IMC鲁棒性的影响,提出SWANN技术通过权重洗牌提升ResNet-20/CIFAR-10精度至83.5%,并与其他技术协同提升性能,硬件开销低。
2024-09-18 cs.AR cs.ET
Adaptive Non-Uniform Compressive Sensing using SOT-MRAM Multibit Crossbar Arrays
压缩感测(CS)方法被应用于将自旋轨道扭矩磁性随机存取存储器(SOT-MRAM)设备的固有计算能力用于IoT应用,其中,在感测环境快速变化的同时,寿命能量、设备面积和制造成本受到高度约束。在这篇手稿中,我们提出了自适应压缩采样通过多位交叉阵列(ACMCA)的方法来智能地产生CS测量矩阵使用多位SOT-MRAM交叉阵列。SPICE电路和MATLAB算法的仿真结果表明,ACMCA减少重建时间平均归一化均方误差(TNMSE)平均5dB,同时提供高达160 $μ$ m $^2$面积减少相比,在文献中提出的类似的以前的设计,而在产生的CS测量矩阵的能量消耗的可忽略不计的增加。
2019-12-02 cs.ET eess.SP
Accurate Emulation of Memristive Crossbar Arrays for In-Memory Computing
存内计算是新兴的非冯·诺依曼计算范例,其中通过利用存储器设备的物理属性在存储器中执行某些计算任务。诸如相变存储器(PCM)之类的忆阻器件(其中根据它们的电导水平来存储信息)特别适合于存内计算。特别地,忆阻器件在以交叉开关配置组织时可以用于通过利用基尔霍夫电路定律来执行矩阵-向量乘法运算。为了探索这种存内计算核在诸如深度学习的应用中以及用于系统级架构探索的可行性,非常期望开发捕获忆阻器件的关键物理属性的精确硬件仿真器。在这里,我们提出了一个这样的PCM仿真器,并通过实验验证它使用的PCM原型芯片的测量。此外,我们提出了一个应用程序的仿真器的神经网络推理,我们的仿真器可以捕捉到约400,000 PCM设备的电导演变非常好。
2020-04-07 cs.ET
Methodology for Realizing VMM with Binary RRAM Arrays: Experimental Demonstration of Binarized-ADALINE Using OxRAM Crossbar
提出了一种在电阻存储器阵列上实现向量矩阵乘法的有效硬件映射方法。使用建议的VMM计算技术,我们实验证明了二进制ADALINE(自适应线性)分类器上的OxRAM交叉开关。使用具有Ni/3-nm HfO 2/7 nm Al掺杂的TiO 2/TiN器件叠层的8 × 8 OxRAM交叉杆。在UCI癌症数据集上非原位执行二值化ADALINE分类器的权重训练。后权重生成的OxRAM阵列仔细编程二进制权重状态使用建议的权重映射技术在定制的测试台。我们的VMM供电二进制ADALINE网络实现了78%的模拟和67%的实验中的分类准确率。实验精度下降主要是由于交叉开关固有的潜路径问题和RRAM器件编程的可变性。
2020-06-10 cs.ET cs.NE
Experimental Validation of Memristor-Aided Logic Using 1T1R TaOx RRAM Crossbar Array
本文通过1T1R TaOx RRAM交叉阵列实验验证MAGIC逻辑的OR和NOT门,发现能耗主要由初始化主导,占比85%,执行和读取分别占14.8%和0.2%。
2023-10-16 cs.ET
HYPERLOCK: In-Memory Hyperdimensional Encryption in Memristor Crossbar Array
University of Toronto(多伦多大学);York University(约克大学)
提出了一种基于忆阻交叉开关阵列、二进制超向量和神经网络的新型密码体系结构。利用忆阻器交叉开关的随机性和不可克隆性以及二进制超向量和神经网络的容错性,使得忆阻器交叉开关仿真算法的实现成为可能。我们证明,随着二进制超向量的维数的增加,可以有效地控制忆阻器电路中的非理想性。在受控交叉开关非理想性的精细水平,来自忆阻器电路的噪声可以用于加密数据,同时可由神经网络充分解释以用于解密。我们将我们的算法应用于图像加密的概念证明,并以100%的解密精度,尽管交叉噪声的文本加密/解密。我们的工作显示了使用忆阻器交叉杆作为密码学的不可克隆随机编码器单元的潜力和可行性,其现有的功能作为矢量矩阵乘法加速设备。
2022-01-27 cs.CR cs.ET cs.LG
Si microring resonator crossbar array for on-chip inference and training of optical neural network
深度学习是各个领域中最先进的技术之一。面对现有电子学平台的局限性,基于Si可编程光子集成电路(PIC)的光学神经网络(ONNs)作为一种新颖的基于光域矩阵向量乘法(MVM)的深度学习方案受到了广泛关注。然而,大多数提出的用于ONN的Si可编程PIC具有几个缺点,例如低可扩展性、高功耗和缺乏用于训练的框架。为了解决这些问题,我们提出了一个微波谐振器(MRR)交叉阵列作为硅可编程PIC的ONN。在这篇文章中,我们提出了一个完全集成的4 ${\rm \times}$ 4 MRR交叉阵列的原型,并演示了一个简单的MVM和分类任务。此外,我们提出了片上反向传播使用转置矩阵操作的MRR交叉阵列,使片上训练的ONN。所提出的ONN方案可以为推理和训练任务中的应用建立可扩展的、功率高效的深度学习加速器。
2021-06-28 cs.ET physics.optics
A Complementary Resistive Switch-based Crossbar Array Adder
基于氧化还原的电阻开关器件(ReRAM)是适用于纳米级存储器应用的一类新兴的非易失性存储器元件。在逻辑运算方面,建议将ReRAM器件用作可编程互连、大规模查找表或用于顺序逻辑运算。然而,在没有附加的选择器器件的情况下,这些方法不适用于大规模纳米交叉条存储器阵列,由于最小的面积消耗,大规模纳米交叉条存储器阵列是ReRAM器件的优选架构。为了克服这个问题的顺序逻辑方法,我们最近推出了一个新的概念,这是适合于无源交叉阵列使用互补电阻开关(CRS)。CRS单元提供两个高电阻存储状态,并且因此有效地避免了寄生电流。然而,到目前为止,基于CRS的存储器中逻辑方法仅被示出为能够使用单个CRS单元来执行基本布尔逻辑运算。在本文中,我们介绍了两个多位加法器计划使用CRS为基础的逻辑内存的方法。我们证明的概念,通过SPICE模拟使用动态忆阻器件模型的ReRAM单元。最后,我们展示了我们的新加法器概念的优势,在步数和设备的数量相比,最近发表的加法器的方法,它适用于传统的ReRAM为基础的时序逻辑概念Borghetti等人介绍。
2015-02-27 cs.ET
Implementation of fast ICA using memristor crossbar arrays for blind image source separations
Birla Institute of Technology and Science (BITS) Pilani(比尔拉科学技术学院(BITS)皮拉尼分校)
独立分量分析是一种无监督学习方法,用于从多变量信号或数据矩阵中计算独立分量。基于权重矩阵与多变量数据矩阵的相乘来评估IC。本研究提出一种新颖的忆阻器交叉阵列,以实现ACY ICA和Fast ICA的盲声源分离。数据输入以脉宽调制电压的形式施加到交叉阵列,并且所实现的神经网络的权重存储在忆阻器中。来自忆阻器列的输出电荷用于计算权重更新,其通过保持高于忆阻器设置/重置电压的电压来执行。为了展示其潜在的应用,提出的忆阻器交叉阵列的快速ICA架构用于图像声源分离问题。实验结果表明,该方法能有效地分离图像源,与传统的ACY ICA算法和Fast ICA算法相比,图像的对比度得到了提高,结构相似度提高了67.27%.
2022-08-07 cs.ET cs.LG
Efficient Reinforcement Learning On Passive RRAM Crossbar Array
针对传统数字硬件实现强化学习功耗高、有源RRAM交叉阵列方案耐久性不足的问题,本研究通过算法-硬件协同设计,首次在无源RRAM交叉阵列上实现蒙特卡洛强化学习,在面积上较现有方案优5个数量级以上且鲁棒性更强。
2024-07-11 cs.ET
Update Disturbance-Resilient Analog ReRAM Crossbar Arrays for In-Memory Deep Learning Accelerators
IBM Research Europe-Zurich(IBM欧洲苏黎世研究中心)
本研究针对模拟ReRAM交叉阵列内存内训练的权重更新干扰难题,开发了350nm工艺的抗干扰ReRAM器件,验证了其在内存深度学习加速器全并行权重更新中的应用潜力。
2026-08-27 cs.ET
Performance Analysis of DNA Crossbar Arrays for High-Density Memory Storage Applications
本文提出电可读DNA-ROM交叉阵列架构,并通过Monte Carlo模拟分析阵列尺寸与互连线电阻对误码率及图像存储性能的影响,验证其低功耗高密度存储可行性。
2023-04-06 cs.ET physics.app-ph physics.bio-ph
TMS-Crossbars with Tactile Sensing
触觉感知的第一阶段是使用触觉传感器的数据采集,并且感测到的数据被传输到中央单元用于类脑计算。忆阻交叉杆被提议用作类脑计算中的突触,但是在传感器水平上的设备智能在文献中没有被研究。我们提出了晶体管忆阻器传感器(TMS)交叉杆的概念,包括传感器忆阻器交叉杆阵列配置在神经网络架构的输入层。提出了TMS交叉阵列的2种可能的单元配置:1晶体管1忆阻器1传感器(1 T1 M1 S)和2晶体管1忆阻器1传感器(2 T1 M1 S)。我们在基于模拟神经网络的盲文字符识别系统的实际设计中验证了所提出的TMS-crossbar。采用FLX-A501力传感器、TiO $_2$忆阻器和低功耗22 nm高k CMOS晶体管的等效电路,通过SPICE仿真验证了所提出的设计。所提出的模拟类脑计算系统提出了一种可扩展的解决方案,并有可能编码125个符号,与其他盲文字符识别系统相比,在文献中具有良好的精度。的TMS交叉阵列的模拟实现的好处是证实与二进制同行相比的精度,面积和功耗要求的结果。
2021-11-14 cs.ET cs.NE
XNOR-VSH: A Valley-Spin Hall Effect-based Compact and Energy-Efficient Synaptic Crossbar Array for Binary Neural Networks
提出基于单层二硒化钨VSH效应的XNOR-VSH单位元存内计算阵列,以单单元编码有符号权重,实现低延迟、低能耗且面积更小的BNN点积计算。
2023-06-08 cs.ET
MaD: Mapping and debugging framework for implementing deep neural network onto a neuromorphic chip with crossbar array of synapses
神经形态系统或用于类脑计算的专用硬件随着对用于突触的不同设备材料的研究的进展而变得流行,特别是在交叉结构以及特定于或兼容于神经形态硬件的算法中。因此,将任何深度神经网络自动映射到具有突触交叉阵列和高效调试框架的神经形态芯片上是非常必要的。这里,映射被定义为将一部分深神经网络层部署到神经形态核心上,并在神经元群体之间生成连接列表以指定神经形态芯片上的各种神经形态核心之间的连接。验证是在推理期间在神经形态芯片上执行的计算的验证。该框架一起成为映射和映射(MaD)框架。MaD框架在使用上相当通用,因为它是一个Python包装器,可以与几乎所有神经形态芯片的模拟器工具集成。本文详细说明了MaD框架,考虑到一些优化,同时映射到一个单一的neuromorphic核心。MNIST和CIFAR-10数据集上的分类任务被认为是MaD框架的测试用例实现。
2019-01-01 cs.ET cs.NE
Training large-scale ANNs on simulated resistive crossbar arrays
IBM Research AI(IBM人工智能研究院);TJ Watson Research Center(托马斯·J·沃森研究中心)
使用模拟电阻交叉开关阵列加速人工神经网络(ANN)的训练是一个很有前途的想法。虽然这个概念已经在非常小的ANN和玩具数据集(如MNIST)上得到了验证,但更现实的ANN和数据集尚未得到解决。然而,可以预期的是,器件材料和硬件设计约束,例如噪声计算、器件材料的有限数量的电阻状态、饱和重量和激活范围以及模数转换器的有限精度,将对最先进的ANN的成功训练造成重大挑战。通过使用模拟硬件感知的ANN训练模拟,我们在这里探索了一些简单的算法补偿措施,以应对模拟噪声和有限的权重和输出范围和分辨率,显着提高模拟训练性能的RPU阵列上的中型到大型ANN。
2019-06-06 cs.ET cs.LG cs.NE
Technology Aware Training in Memristive Neuromorphic Systems based on non-ideal Synaptic Crossbars
使用神经形态系统的机器学习领域的进展为神经网络的硬件实现的可能性的广泛研究铺平了道路。已经探索了各种忆阻技术,例如基于氧化物的器件、自旋电子学和相变材料,以快速和能量有效的方式实现神经形态系统的核心功能单元,即突触网络和神经元功能。然而,突触阵列的交叉杆实现中的各种非理想性会显著降低神经网络的性能,并因此对可行的交叉杆大小施加限制。在这项工作中,我们建立了交叉开关实现中出现的各种非理想性的数学模型,如源极电阻,神经元电阻和芯片到芯片的器件变化,并分析了它们对全连接网络(FCN)和卷积神经网络(CNN)的分类精度的影响与标准训练算法训练。我们发现,在理想条件下训练的网络在相关非理想范围的非理想交叉杆上实现时,可以遭受高达59.84%的FCN和62.4%的CNN的准确性下降。这严重限制了横杆的尺寸。作为解决方案,我们提出了一种技术感知的训练算法,它结合了标准训练算法中的非理想性的数学模型。我们证明,我们提出的方法实现了显着恢复的测试精度在1.9%的理想精度的FCN和CNN的1.5%。我们进一步表明,我们提出的训练算法可以潜在地允许使用大小为784 $\times$ 500的用于FCN和4096 $\times$ 512的用于CNN的显著更大的交叉开关阵列,并且在准确性方面具有较小或没有折衷
2017-11-24 cs.ET
Hardware Security Primitives using Passive RRAM Crossbar Array: Novel TRNG and PUF Designs
随着电子产品的快速发展,这些设备的安全和隐私方面非常重要。在安全系统的设计中,物理不可克隆函数(PUF)和真随机数发生器(TRNG)是安全应用的关键硬件安全原语。提出了一种基于RRAM交叉开关结构的PUF和TRNG的实现方法。首先,提出了基于回写和50%开关概率脉冲的RRAM交叉开关中TRNG的两种实现技术。建议的TRNG的随机性使用NIST测试套件进行评估。接下来,提出了在RRAM交叉开关中实现PUF的架构。从TRNG使用用于PUF的初始熵源,并且收集质询-响应对(CRP)。拟议的PUF利用设备变化和潜路径电流来产生独特的CRP。我们证明,通过大量的实验,可靠性为100%,唯一性为47.78%,均匀性为49.79%,位混叠为48.57%,无需任何后处理技术。最后,设计与文献进行比较,以评估其执行效率,这显然是优于国家的最先进的。
2022-11-07 cs.AR cs.CR cs.ET
SEMULATOR: Emulating the Dynamics of Crossbar Array-based Analog Neural System with Regression Neural Networks
Pohang University of Science and Technology(浦项科技大学)
由于深度神经网络需要大量的计算和存储器,因此使用新兴存储器设备的模拟计算是边缘设备数字计算的有前途的替代方案。然而,由于模拟计算系统的仿真时间越来越长,它还没有被探索。为了克服这个问题,开发了解析近似的仿真器,但是这些模型是不准确的,并且缩小了乘法累加运算(MAC)的外围电路的选择。在这个意义上,我们提出了一种方法,SEMULATOR(模拟模拟计算模块的模拟器),它使用深度神经网络来模拟基于纵横制的模拟计算系统的行为。与建议的神经架构,我们的实验和理论表明,它模拟了一个MAC单元的神经计算。此外,与SPICE等电路仿真器相比,仿真时间大大缩短。
2021-01-19 cs.ET cs.LG cs.NE
Symmetric silicon microring resonator optical crossbar array for accelerated inference and training in deep learning
提出一种对称结构的硅微环谐振器光交叉阵列,实现简单的片上反向传播,从而加速深度学习的推理与训练,并在SOI平台上验证了其在分类与CNN任务中的有效性。
2024-06-01 cs.ET physics.optics
Online Soft Error Tolerance in ReRAM Crossbars for Deep Learning Accelerators
针对ReRAM交叉阵列因非理想因素导致PIM加速器精度下降问题,提出基于测试输入向量和ECCs的在线软错误检测校正方法,在MNIST和CIFAR-10数据集上实现近无故障精度且开销更低。
2024-12-04 cs.AR cs.ET
Fuzzy Membership Function Implementation with Memristor
神经模糊系统是一种类似于人类对自然界不精确数据进行操作和决策的网络。本文提出了实现的基本模块的神经模糊系统的隶属函数(MF),实现为一个模拟电子硬件。忆阻交叉阵列被用作建议MF模拟电路的架构。忆阻交叉开关电路的主要优点是与另一模拟替代方案相比的尺寸、能量效率和容错。采用忆阻器的MS模型进行交叉SPICE仿真,结果证实了所提出电路的性能和突出优点。
2018-05-17 cs.ET
XCRYPT: Accelerating Lattice Based Cryptography with Memristor Crossbar Arrays
本文提出了一个加速格为基础的后量子密码学(PQC)与忆阻器为基础的交叉开关的情况下,这些固有的容错算法是一个很好的适合噪声模拟MAC操作交叉开关。我们比较了不同的NIST第三轮基于网格的PQC候选者,并确定SABER不仅是在传统系统上执行时的领跑者,而且还可以通过交叉杆加速。SABER是一种基于模LWR的方法,它通过舍入执行模多项式乘法。我们将SABER中的多项式乘法映射到交叉杆上,并表明与最近的硬件提案相比,模拟点积可以产生$1.7-32.5\times$性能和能效的改善。这个初始设计结合了多个最先进的作品中的创新-SABER中的算法和ISAAC(用于深度神经网络加速)中提出的忆阻加速原理。然后,我们确定在这个初始设计的瓶颈,并引入几个额外的技术,以提高其效率。这些技术是协同的,特别是受益于SABER的2的幂模运算。首先,我们表明,在SABER中使用的一些软件技术,在CPU平台上是有效的,是没有帮助的基于纵横的加速器。依靠更简单的算法,通过$1.3-3.6\times$进一步提高了我们的效率。其次,我们利用SABER的计算特性,交错交叉开关中的运算,并共享几个可变精度ADC,从而实现高达$1.8\times$的更高效率。第三,为了进一步降低ADC的压力,我们提出了一种简单的模拟移位和相加技术,这导致了$1.3-6.3\times$效率的提高。总体而言,我们的设计实现了$3-15\…
2023-01-31 cs.AR cs.CR cs.ET
COMPASS: A Compiler Framework for Resource-Constrained Crossbar-Array Based In-Memory Deep Learning Accelerators
Seoul National University(首尔大学)
针对基于交叉阵列的内存中加速器因网络规模增大面临的片上存储不足问题,提出编译器框架COMPASS,通过最优层划分算法优化多指标,实现更高吞吐量和能效。
2025-01-12 cs.AR cs.DC cs.ET
Multibit neural inference in a N-ary crossbar architecture
Institute of Condensed Matter and Nanosciences, Université catholique de Louvain(凝聚态与纳米科学研究所,卢万大学)
本文提出了一种N进制交叉bar架构的仿真框架,通过模拟4x4的4状态磁隧道结阵列实现了XOR和MNIST分类任务,提升了神经网络推断精度,并研究了权重量化对性能的影响。
2026-07-17 cs.AI cs.AR cs.ET
Mapping Spiking Neural Networks to Heterogeneous Crossbar Architectures using Integer Linear Programming
本文提出基于整数线性规划的映射方法,支持异构忆阻器交叉阵列架构,通过建模神经元轴突相互作用优化SNN映射,在显著降低面积消耗和路由数量的同时大幅减少求解时间。
2025-03-03 cs.ET
Comparative Evaluation of Memory Technologies for Synaptic Crossbar Arrays- Part 2: Design Knobs and DNN Accuracy Trends
Purdue University(普渡大学)
本文分析了不同内存技术在7nm节点下的性能,探讨了设计变量对DNN精度的影响,并发现FeFET在大数组中表现最佳,ReRAM在高位切片和复杂数据集上与FeFET性能相当。
2024-08-11 cs.ET cs.LG
Cryogenic Characterization of Ferroelectric Non-volatile Capacitors
Georgia Institute of Technology(佐治亚理工学院);GlobalFoundries Fab1 LLC & Company KG(GlobalFoundries Fab1有限责任公司及合伙公司)
本研究通过极低温下对铁电非易失电容进行表征,提升电容交叉bar阵列在低温下的ENOB,实现更高效的内存计算
2025-10-28 cs.ET
Integrated Security Mechanisms for Weight Protection in Memristive Crossbar Arrays
针对忆阻器交叉阵列存储权重易被恶意提取的安全问题,提出密钥置换器和水印保护列两种集成安全机制,可在低硬件开销下实现权重保护与所有权验证。
2025-10-01 cs.AR cs.CR cs.ET
Field-Programmable Crossbar Array (FPCA) for Reconfigurable Computing
几十年来,根据摩尔定律,CMOS晶体管的缩放直接推动了电子技术的进步。然而,CMOS缩放和经典的计算机体系结构都正在接近基本和实用的极限,而基于新兴设备(例如阻性随机存取存储器(RRAM)设备)的新计算体系结构预计将维持计算能力的指数级增长。在这里,我们提出了一种新的内存为中心的,可重新配置的,通用的计算平台,能够处理爆炸性的数据量在一个快速和节能的方式。所提出的计算架构基于统一的、物理的、电阻性的、以存储器为中心的结构,该结构可以被最佳地重新配置并用于以大规模并行方法执行不同的计算和数据存储任务。通过动态地分配用于存储、算术和包括类脑计算任务的模拟计算的基本计算结构,可以定制系统以基于数据流实现最大能量效率。
2017-07-20 cs.AR cs.ET cs.NE
Comparative Evaluation of Memory Technologies for Synaptic Crossbar Arrays -- Part I: Robustness-driven Device-Circuit Co-Design and System Implications
针对突触交叉阵列存内计算的器件选型问题,本文对四种存储技术开展鲁棒性导向的器件-电路协同优化与对比评估,明确了FeFET技术在DNN推理精度与工艺偏差耐受方面的优势。
2024-08-13 cs.ET
Highly-Secure Physically Unclonable Cryptographic Primitives Using Nonlinear Conductance and Analog State Tuning in Memristive Crossbar Arrays
快速扩展的硬件固有安全原语旨在解决信息技术时代大规模互联世界的重大安全挑战。这种原语的主要思想是在电子硬件中采用实例特定的过程引起的变化作为加密数据的源。在新兴技术中,忆阻器件由于其操作中的潜在随机性而为安全应用提供了独特的机会。在这里,我们报告了一个强大的,密集的,和可重构的物理不可克隆功能原语的基础上的三维无源金属氧化物忆阻交叉开关电路的原型,通过积极利用工艺引起的变化,在设备的非线性I-V和模拟调谐。我们首先表征安全基元的基本构建块的安全指标的基础上,与单片集成的10 × 10 250纳米半间距忆阻交叉开关电路的两层堆栈。实验结果表明,在总共约697,000个64位响应中的6,000个随机样本上测量的平均均匀性和扩散性接近理想的50%,两个指标的标准偏差为5%。通过重新调整同一交叉杆内交叉点器件的电导,在较小样本上评估的唯一性也接近理想的50% +/-1%,而在+/-20%电源变化下,在30天窗口内测量的最小位出错率(即可靠性的倒数)为~ 1.5% +/-1%。然后,我们利用基本块的多个实例来展示具有10位隐藏挑战生成的物理不可克隆功能原语,该挑战生成编码超过10^19个挑战响应对,并且具有可比的均匀性、扩散性和位出错率。
2016-11-23 cond-mat.other cs.CR cs.ET
Analog Neural Computing with Super-resolution Memristor Crossbars
忆阻器交叉杆阵列用于广泛的存储器内和类脑计算应用中。然而,忆阻器装置遭受导致导电状态的可变性的非理想性,使得随着装置老化将其编程为期望的模拟电导值极其困难。理论上,忆阻器可以是具有记忆特性的非线性可编程模拟电阻器,其可以采取无限电阻状态。在实践中,这种忆阻器很难制造,并且在交叉开关中,它被限制在有限的一组稳定电导值。交叉开关中的节点可用的电导水平的数量被定义为交叉开关的分辨率。本文提出了一种提高分辨率的技术,通过构建具有多个忆阻器的节点的超分辨率忆阻器交叉开关来生成唯一电导值的r-单纯序列。电导值的范围和数量越宽,交叉杆的分辨率就越高。这在构建模拟神经网络(ANN)层时特别有用,这被证明是在实现神经形态计算中形成神经网络层的首选方法之一。
2021-05-10 cs.AI cs.ET
On Resistive Memories: One Step Row Readout Technique and Sensing Circuitry
基于晶体管的存储器正迅速接近其每单位面积的最大密度。电阻交叉阵列由于开关器件的小尺寸而能够实现更密集的存储器。然而,由于这些存储器的电阻性质,它们遭受使读出过程复杂化的电流潜路径。在本文中,我们提出了一种行读出技术与电路,可用于读取{选择器无}电阻交叉存储器。高吞吐量的读写技术是克服内存墙瓶颈问题和实现近内存计算的关键。所提出的技术可以在一个周期内读取整行密集交叉阵列,与以前公布的技术不同。对读出电路的要求进行了讨论,并在建议的电路满足。此外,推导出读取阵列时所消耗的功率的近似表达式。一个数字的优点的定义和使用的比较所提出的方法与现有的阅读技术。最后,定量分析了偏置失配对阵列尺寸的影响。
2019-03-04 cs.AR cs.ET
Scaling Limits of Memristor-Based Routers for Asynchronous Neuromorphic Systems
本研究探讨忆阻交叉阵列作为异步SNN硬件中路由通道的扩展极限,通过理论建模、22nm FDSOI电路仿真及4K-ReRAM芯片实验,确定了IR压降和漏电问题导致的功能界限,为多核异步神经形态系统的忆阻路由器设计提供指导。
2023-12-21 cs.ET cs.NE
Mitigate Parasitic Resistance in Resistive Crossbar-based Convolutional Neural Networks
传统计算硬件在大规模卷积神经网络(CNN)应用中经常遇到片上存储瓶颈。基于电阻交叉开关的计算以其独特的存内计算特性,作为解决冯诺依曼体系结构中存储瓶颈问题的一种很有前途的方法,引起了研究者的关注。然而,交叉开关中的寄生电阻使其行为偏离理想的加权求和操作。在大规模实现中,必须仔细考虑和减轻寄生电阻的影响,以确保电路的功能。在这项工作中,我们在考虑寄生电阻的情况下在电阻交叉开关电路上实现并仿真了CNN。此外,我们进行了一个新的映射方案,高利用率的交叉阵列卷积,和减轻算法,以减轻寄生电阻在CNN应用。该缓解算法考虑了寄生电阻以及每层的数据/内核模式,以最大限度地减少CNN的基于交叉的卷积中的计算误差。我们通过在MNIST上实现4层CNN和在CIFAR-10上实现ResNet(20,32和56)来演示所提出的方法。仿真结果表明,所提出的方法可以很好地抑制交叉杆中的寄生电阻。使用我们的方法,交叉开关上的现代CNN可以通过6位ADC和DAC实现保持理想的(软件)级别分类精度。
2019-12-17 cs.ET cs.NE
Deep Neural Network Optimized to Resistive Memory with Nonlinear Current-Voltage Characteristics
人工神经网络计算依赖于密集的向量矩阵乘法。最近,新兴的非易失性存储器(NVM)交叉阵列显示出以高能量效率实现这种操作的可行性,因此有许多关于有效地利用新兴的NVM交叉阵列作为模拟矢量矩阵乘法器的工作。然而,它的非线性I-V特性限制了关键的设计参数,如读取电压和重量范围,导致大量的精度损失。在本文中,而不是一个给定的神经网络优化硬件参数,我们提出了一种方法,重建一个神经网络本身优化电阻存储器交叉阵列。为了验证所提出方法的有效性,我们使用MNIST和CIFAR-10数据集,使用两种不同的电阻式随机存取存储器(RRAM)模型,对各种神经网络进行了仿真。仿真结果表明,当突触器件具有非线性I-V特性时,我们提出的神经网络比传统的神经网络产生更高的推理精度。
2017-03-30 cs.ET cs.NE
RESPARC: A Reconfigurable and Energy-Efficient Architecture with Memristive Crossbars for Deep Spiking Neural Networks
使用后CMOS技术的类脑计算由于其解决冯-诺依曼计算系统中的存储器和功率瓶颈的有前途的能力而获得极大的普及。在本文中,我们提出了一种可重构和节能的架构,内置于忆阻交叉阵列(MCA)的深度脉冲神经网络(SNN)。先前的工作主要集中在交叉开关上SNN的设备和电路实现上。CNOARC通过提出一个完整的SNN加速系统及其后续分析来推进这一点。EMARC利用MCA的能量效率进行内积计算,并实现了分层可重构设计,以可扩展的方式将数据流模式纳入SNN。我们在不同SNN上评估了所提出的架构,复杂度范围从2k-230 k神经元和1.2M-5.5M突触。在这些网络上的仿真结果表明,与基线数字CMOS架构相比,对于多层感知器(深度卷积网络),CAMARC实现了500倍(15倍)的能效和300倍(60倍)的吞吐量。此外,MARC是一种技术感知架构,它将给定的SNN拓扑映射到给定交叉开关技术的最优化MCA大小。
2017-02-20 cs.ET cs.NE
Fully CMOS-compatible passive TiO2-based memristor crossbars for in-memory computing
脑启发计算和神经形态硬件是有前途的方法,提供了巨大的潜力,以克服基于传统冯诺依曼架构的当前计算范式所面临的限制。在这方面,由于忆阻器交叉杆阵列本机执行存内计算和神经网络实现所需的基本突触操作的能力,对开发忆阻器交叉杆阵列的兴趣已经增加。为了获得最佳效率,基于交叉开关的电路需要与工业CMOS技术的制造工艺和材料兼容。在这里,我们报告了一个完整的CMOS兼容的制造工艺的TiO 2基无源忆阻器的交叉杆与700 nm宽的电极。我们成功地显示了底部电极制造的一个MEMS工艺,从而优化的地形和表面粗糙度低至1.1纳米。DC扫描和电压脉冲编程产生与突触样多电平开关相关的统计结果。研究了周期间和器械间的变异性。使用200 ns的电压脉冲序列的电导的animplantable编程表明,由于周期到周期的再现性,所制造的存储器具有至少3位的多级容量。
2021-12-08 cs.ET physics.app-ph
Implementation of Multilayer Perceptron Network with Highly Uniform Passive Memristive Crossbar Circuits
神经计算领域的进展取决于使用比传统微处理器更有效的硬件。最近的工作表明,混合信号集成忆阻电路,特别是它们的无源('0 T1 R')品种,可以显着提高神经形态网络的性能,远远落后于它们的数字同行。然而,主要的障碍是相对不成熟的忆阻器技术,因此迄今为止仅展示了有限的功能。在这里,我们通过实验演示了一个隐藏层感知器分类器完全在混合信号集成硬件中的操作,该硬件由两个无源20 x20金属氧化物忆阻交叉阵列组成,与分立CMOS元件集成在一起。所展示的多层感知器网络,其复杂性几乎是以前报道的基于被动忆阻电路的功能神经形态分类器的10倍,当使用非原位训练方法时,在模拟中获得的3%内实现分类保真度。忆阻器制造技术的改进,特别是降低其I-V特性的变化,促进了成功的演示。
2017-12-04 cs.ET physics.app-ph
RxNN: A Framework for Evaluating Deep Neural Networks on Resistive Crossbars
Purdue University(普渡大学);Penn State University(宾夕法尼亚州立大学)
利用非易失性存储器设备设计的电阻式交叉开关已经成为深度神经网络(DNN)硬件的有前途的构建块,这是由于它们能够压缩和有效地实现向量矩阵乘法(VMM),即DNN中的主要计算内核。然而,电阻交叉开关面临的一个关键挑战是,它们受到一系列器件和电路级非理想性的影响,例如互连寄生效应、外围电路、潜路径和工艺变化。这些非理想性会导致VMM中的错误,最终降低DNN的准确性。因此,研究crossbar非理想性对大规模DNN准确性的影响至关重要。然而,这是具有挑战性的,因为现有的器件和电路模型太慢,无法用于应用级评估。我们提出了RxNN,这是一个快速准确的仿真框架,用于评估电阻交叉系统上的大规模DNN。RxNN将每个DNN层中涉及的计算拆分并映射到crossbar操作中,并使用快速Crossbar模型(FCM)对其进行评估,该模型可以准确捕获由于crossbar非理想性而产生的错误,同时比电路模拟快四到五个数量级。FCM使用三个阶段对基于交叉杆的VMM操作进行建模-输入和输出外围电路(DAC和ADC)的非线性模型,以及核心交叉杆阵列的等效非理想电导矩阵。我们通过扩展Caffe机器学习框架来实现RxNN,并使用它来评估为ImageNet Challenge开发的一套六个大规模DNN。我们的实验表明,电阻交叉非理想性会导致这些大规模DNN的精度显著下降(9.6%-32%)。据我们所知,这项工作是第一次定…
2020-06-02 cs.CV cs.ET cs.LG
On-Chip Error-triggered Learning of Multi-layer Memristive Spiking Neural Networks
类脑计算的最新突破表明,局部形式的梯度下降学习与脉冲神经网络(SNN)和突触可塑性是兼容的。虽然SNN可以使用神经形态VLSI可扩展地实现,但仍然缺少可以使用梯度下降原位学习的架构。在本文中,我们提出了一种具有在线三进制权重更新的局部、基于梯度、错误触发的学习算法。该算法使在线训练的多层SNN与忆阻神经形态硬件表现出较小的损失的性能相比,与最先进的。我们还提出了一个硬件架构的忆阻交叉阵列的基础上执行所需的向量矩阵乘法。必要的外围电路,包括突触前,突触后和写电路所需的在线培训,已被设计在亚阈值制度的标准180纳米CMOS工艺的节能。
2020-11-21 cs.ET cs.NE
A tunable and versatile 28nm FD-SOI crossbar output circuit for low power analog SNN inference with eNVM synapses
本文提出一种28nm FD-SOI模拟SNN交叉开关输出电路协同设计方法,集成可调电流衰减器与漏积分发放神经元,支持多种eNVM突触,并通过仿真与实验数据评估神经元扇入能力。
2023-05-25 cs.ET cs.SY eess.SY
TraNNsformer: Neural network transformation for memristive crossbar based neuromorphic system design
使用基于后互补金属氧化物半导体(CMOS)技术的忆阻交叉阵列(MCA)实现神经形态系统已经成为实现神经网络的低功耗加速的有前景的解决方案。然而,最近的趋势是设计深度神经网络(DNN)来实现类似人类的认知能力,这对神经形态系统的可扩展设计提出了重大挑战(由于计算/存储需求的增加)。网络修剪[7]是一种强大的技术,可以删除冗余连接,以设计最佳连接(最大稀疏)DNN。然而,这样的修剪技术引起与交叉开关结构不相干的不规则连接。最终,他们生产的DNN具有非常低效的硬件实现(在面积和能量方面)。在这项工作中,我们提出了TraNNsformer -一个集成的训练框架,可以转换DNN,使其能够在基于MCA的系统上有效实现。TraNNsformer首先修剪连接矩阵,同时用剩余的连接形成集群。随后,它重新训练网络以微调连接并加强集群。这是迭代完成的,以将原始连接转换为最佳修剪和最大聚类映射。在没有精度损失的情况下,TraNNsformer相对于原始网络减少了28% - 55%(49% - 67%)的面积(能源)消耗。与网络修剪相比,TraNNsformer节省了28% - 49%(15% - 29%)的面积(能源)。此外,TraNNsformer是一个技术感知框架,允许将给定的DNN映射到忆阻技术允许的任何MCA大小,以实现可靠的操作。
2018-03-04 cs.ET cs.NE
NAX: Co-Designing Neural Network and Hardware Architecture for Memristive Xbar based Computing Systems
Purdue University(普渡大学);Microsoft Corporation(微软公司)
使用忆阻交叉阵列(MCA)的存内计算(IMC)硬件越来越受欢迎,以加速深度神经网络(DNN),因为它解决了与von-Neumann架构相关联的“存储墙”问题。映射到这样的硬件的DNN的硬件效率(能量、延迟和面积)以及应用准确性(考虑设备和电路非理想性)共同取决于网络参数(诸如内核大小、深度等)和硬件架构参数(诸如交叉开关大小)。然而,网络和硬件参数两者的共同优化呈现了具有挑战性的搜索空间,其包括映射到变化的交叉开关尺寸的不同内核尺寸。为此,我们提出了NAX --一种高效的神经架构搜索引擎,它共同设计了基于神经网络和IMC的硬件架构。NAX探索上述搜索空间,以确定每个DNN层的内核和相应的交叉开关大小,从而实现硬件效率和应用准确性之间的最佳权衡。NAX的结果表明,网络在不同的网络层上具有异构的交叉开关大小,并在考虑交叉开关的非理想性的情况下实现了最佳的硬件效率和准确性。在CIFAR-10和Tiny ImageNet上,与基线ResNet-20和ResNet-18模型相比,我们的模型分别实现了0.8%,0.2%的准确性和17%,4%的EDAP(能量延迟面积积)。
2021-06-23 cs.AI cs.AR cs.ET
Training and Operation of an Integrated Neuromorphic Network Based on Metal-Oxide Memristors
尽管半导体集成电路技术取得了巨大的进步,但人类大脑皮层的极端复杂性使得用相当数量的设备实现神经形态网络具有非常大的挑战性。最有前景的候选者之一是基于混合CMOS/忆阻器电路的所谓CrossNet,它可以提供相当的复杂性,同时运行速度更快,功耗可管理。在这些电路中,通常的CMOS堆栈增加了一个或几个交叉层,每个交叉点处都有可调的两端忆阻器。最近,在制造这种忆阻交叉开关及其与CMOS电路的集成的技术的改进方面有了重大进展,包括其垂直集成的首次演示。另外,已经有几个离散忆阻器作为神经形态网络的人工突触的演示。最近,这种实验扩展到相变忆阻器件的交叉阵列。然而,这种器件的调整需要在每个交叉点处增加一个晶体管,因此它们的缩放前景不如金属氧化物忆阻器令人印象深刻,金属氧化物忆阻器的非线性I-V曲线可以实现无晶体管操作。在这里,我们报告的第一个实验实施的无晶体管的金属氧化物忆阻器交叉开关与设备的可变性降低到足以证明一个简单的集成神经网络,单层感知器的成功操作。该网络可以使用粗粒度的各种增量规则算法进行原位训练,以将3x 3像素的黑/白图像完美地分类为3类。我们相信,这一演示是实现更大,更复杂的忆阻神经形态网络的重要一步。
2014-12-01 cs.ET
Breaking Barriers: Maximizing Array Utilization for Compute In-Memory Fabrics
内存计算(CIM)是一种很有前途的技术,它可以最大限度地减少数据传输,这是大多数数据密集型应用程序的主要性能瓶颈和能源成本。这在加速机器学习应用的神经网络中得到了广泛的采用。利用具有诸如密集电阻随机存取存储器(RRAM)或相变随机存取存储器(PCRAM)之类的新兴非易失性存储器(eNVM)的交叉开关架构,可以实现各种形式的神经网络以大大降低功率并增加片上存储器容量。然而,内存计算在电路和设备层面都面临着自身的局限性。虽然使用交叉开关架构的存储器内计算可以大大减少数据传输,但这些大型固定权重矩阵的刚性性质丧失了传统CMOS和SRAM设计的灵活性。在这项工作中,我们探讨了不同的同步障碍,发生从CIM的约束。此外,我们提出了一个新的分配算法和数据流的基础上输入数据分布,以最大限度地提高利用率和性能的计算在内存为基础的设计。我们证明了一个7.47 $\times$的性能提高了一个天真的分配方法的CIM加速器上ResNet18。
2020-08-15 cs.AR cs.ET
Endurance-Aware Mapping of Spiking Neural Networks to Neuromorphic Hardware
类脑计算系统采用忆阻器来实现高密度和低功率突触存储,作为硬件中的交叉阵列。这些系统在执行脉冲神经网络(SNN)时是能量高效的。我们观察到忆阻交叉开关中的长位线和字线是产生电流不对称的寄生电压降的主要来源。通过电路模拟,我们显示了显着的耐力变化,结果从这种不对称性。因此,如果临界忆阻器(具有较低耐久性的忆阻器)被过度利用,则它们可能导致交叉杆的寿命减少。我们提出了eSpine,这是一种新的技术,通过在映射机器学习工作负载时将每个交叉杆内的耐久性变化结合起来来提高寿命,确保具有较高激活的突触始终在具有较高耐久性的忆阻器上实现,反之亦然。eSpine分为两个步骤。首先,它使用Kernighan-Lin Graph Partitioning算法将工作负载划分为神经元和突触的集群,其中每个集群可以适合交叉开关。其次,它使用粒子群优化(PSO)的实例来将集群映射到瓦片,其中通过分析它们在工作负载内的激活来执行集群的突触到交叉杆的忆阻器的放置。我们评估eSpine的最先进的神经形态硬件模型与相变存储器(PCM)为基础的忆阻器。使用10个SNN工作负载,我们证明了有效寿命的显着改善。
2021-03-09 cs.AR cs.ET cs.NE
Binary Weighted Memristive Analog Deep Neural Network for Near-Sensor Edge Processing
Nazarbayev University(纳扎尔巴耶夫大学)
忆阻交叉开关旨在实现模拟加权神经网络,然而,由于忆阻器件的有限切换状态,这种交叉开关阵列的现实实现是不可能的。在这项工作中,我们提出了一个模拟深度神经网络的设计与二进制权重更新通过反向传播算法使用二进制状态忆阻器件。我们表明,这样的网络可以成功地用于图像处理任务,并具有较低的功耗和小的片上面积与数字同行相比的优势。建议的网络基准MNIST手写数字识别达到约90%的准确率。
2018-08-02 cs.AI cs.ET cs.NE