On-chip learning for domain wall synapse based Fully Connected Neural Network
自旋电子器件被认为是实现神经形态系统或硬件神经网络的有前途的候选者,预计在某些数据分类和回归任务中,它们比其他现有的计算系统表现得更好。在本文中,我们设计了一个前馈全连接神经网络(FCNN),使用自旋轨道力矩驱动的畴壁器件作为突触和基于晶体管的模拟电路作为神经元,没有隐藏层。还使用晶体管设计了反馈电路,其在每次迭代时使用随机梯度下降(SGD)方法计算训练网络所需的突触的权重的变化。随后,它将写入电流脉冲发送到基于畴壁的突触设备,该突触设备移动畴壁并更新突触的权重。通过微磁模拟,模拟电路模拟和数值求解FCNN训练方程的组合,我们证明了“片上”训练的设计FCNN在MNIST数据库的手写数字本文。我们报告了训练和测试的准确性,突触设备中用于训练的能量消耗以及FCNN硬件实现可能限制其测试准确性的问题。
2018-11-25 cs.ET cs.NE physics.app-ph
sBSNN: Stochastic-Bits Enabled Binary Spiking Neural Network with On-Chip Learning for Energy Efficient Neuromorphic Computing at the Edge
在这项工作中,我们提出了随机二进制脉冲神经网络(sBSNN)的随机脉冲神经元和二进制突触(随机只在训练过程中),计算概率与一位精度的功率效率和内存压缩的类脑计算。我们提出了一种节能的实现所提出的sBSNN使用“随机位”作为核心计算原语,以实现随机神经元和突触,这是在90纳米CMOS工艺制造,实现高效的片上训练和推理的图像识别任务。测量的数据表明,“随机位”可以被编程为模仿尖峰神经元,以及用于训练二进制突触权重的随机尖峰定时依赖可塑性(或sSTDP)规则,而无需昂贵的随机数生成器。我们的研究结果表明,与全精度(32位)SNN相比,所提出的sBSNN实现提供了高达32倍的神经元和突触记忆压缩的可能性,并且对于双层全连接SNN,能量效率为89.49 TOPS/W。
2020-02-25 cs.AR cs.ET
A CMOL-Like Memristor-CMOS Neuromorphic Chip-Core Demonstrating Stochastic Binary STDP
纳米级忆阻器的出现带来了能够构建CMOL(CMOS/纳米线/分子)型超密集存储器内计算电路架构的希望。在CMOL中,纳米级忆阻器将在纳米线的交叉处制造。CMOL概念可以通过在CMOS上制造低密度神经元并将大量模拟突触连接与在顶部后制造的纳米线和纳米尺度忆阻器织物一起用于神经形态硬件。然而,技术问题阻碍了目前可用的可靠的商业单片CMOS忆阻器技术的这种发展。一方面,每个忆阻器需要串联的MOS选择器晶体管以保证大阵列中的形成和编程操作。这导致复合MOS-忆阻器突触(称为1 T1 R),其在纳米线交叉处不再是突触。另一方面,忆阻器还不能构成具有渐进学习的大规模模拟权重突触的高度可靠、稳定的模拟存储器。在这里,我们展示了一种伪CMOL单片芯片核心,它通过以下方式规避了上述两个技术问题:(a)利用类似CMOL的几何芯片布局技术来提高密度,尽管存在1 T1 R限制;以及(b)利用二进制权重随机尖峰定时相关可塑性(STDP)学习规则,该规则利用了所使用的忆阻器的更可靠的二进制存储能力。实验结果提供了一个脉冲神经网络(SNN)的CMOL核心,64个输入神经元,64个输出神经元,和4096个1 T1 R突触,制造在130纳米CMOS与200纳米大小的Ti/HfOx/TiN忆阻器的顶部。CMOL核心使用查询驱动的事件读出,这允许忆阻器可变性不敏感的计算。
2022-09-13 cs.ET cs.SY eess.IV
Supervised Learning in Spiking Neural Networks with Phase-Change Memory Synapses
脉冲神经网络(SNN)是一种人工计算模型,它的灵感来自于大脑在时域中自然编码和处理信息的能力。增加的时间维度被认为使它们比传统的人工神经网络在计算上更有效,尽管它们的全部计算能力还有待探索。最近,基于非易失性存储器交叉阵列的计算存储器架构已经显示出在人工神经网络和脉冲神经网络中实现并行计算的巨大前景。在这项工作中,我们首次通过实验证明了使用纳米级和随机相变突触实现高性能事件驱动的原位监督学习系统的可行性。我们的SNN被训练来识别在时域中使用尖峰编码的字母的音频信号,并在精确的时刻生成尖峰序列来表示其对应图像的像素强度。此外,通过捕获设备实验行为的统计模型,我们研究了用于提高基于计算内存的系统的训练和推理性能的架构和系统级解决方案。将监督SNN的计算潜力与计算内存的并行计算能力相结合,这项工作为下一代高效的大脑启发系统铺平了道路。
2019-05-28 cs.ET cs.NE
Thermal-Aware Compilation of Spiking Neural Networks to Neuromorphic Hardware
类脑计算的硬件实现可以显著提高用脉冲神经网络(SNN)实现的机器学习任务的性能和能量效率,使得这些硬件平台特别适合于嵌入式系统和其他能量受限的环境。我们观察到,当通过其突触元件传播尖峰时,硬件的交叉开关中的长位线和字线产生显著的电流变化,突触元件通常设计有非易失性存储器(NVM)。这样的电流变化在硬件的每个交叉杆内创建热梯度,这取决于机器学习工作负载以及工作负载的神经元和突触到这些交叉杆的映射。\mr{This thermal gradient becomes significant at scaled technology nodes and it increases the leakage power in the hardware leading to an increase in the energy consumption.}我们提出了一种新的技术,将基于SNN的机器学习工作负载的神经元和突触映射到神经形态硬件。我们做了两个新的贡献。首先,我们制定了一个详细的热模型的神经形态硬件中的交叉杆纳入工作负载的依赖性,其中每个基于NVM的突触细胞的温度计算考虑其相邻细胞的热贡献。其次,我们将这个热模型的映射神经元和突触的SNN为基础的工作负载使用爬山启发式。其目的是减少交叉杆中的热梯度。我们使用最先进的神经形态硬件的10个机器学习工作负载来评估我们的神经元和突触映射技术。我们证明…
2020-12-17 cs.DC cs.ET cs.NE
A differential memristive synapse circuit for on-line learning in neuromorphic computing systems
在类脑计算架构中利用忆阻器件的基于尖峰的学习通常使用需要来自突触前和突触后节点的重叠脉冲的学习电路。这对在网络中传输的脉冲的长度以及网络的吞吐量施加了严格的约束。此外,这些电路中的大多数不会将流过忆阻器件的电流与刺激目标神经元的电流解耦。当使用具有高电导值的器件时,这可能是一个问题,因为所产生的电流很大。在本文中,我们提出了一种新的电路,通过使用一种新的差分方案的基础上的吉尔伯特归一化电路,从一个用于刺激突触后神经元的忆阻器件产生的电流。我们展示了该电路如何用于减少忆阻器件中的可变性的影响,以及它如何非常适合于不需要重叠的突触前和突触后脉冲的基于尖峰的学习机制。我们证明了建议的突触电路与SPICE模拟的功能,并验证其学习性能与高层次的行为网络模拟使用随机梯度下降学习规则在两个分类任务。
2017-09-16 cs.ET
Biological plausibility and stochasticity in scalable VO2 active memristor neurons
人工神经元和突触的神经形态网络可以解决计算困难的问题,其能量效率是冯·诺依曼架构无法达到的。对于图像处理,硅神经形态处理器在能量效率方面大大优于图形处理单元(GPU),但它们提供的芯片级吞吐量要低得多。硅处理器的性能效率困境可能无法通过互补金属氧化物半导体(CMOS)场效应晶体管的摩尔定律缩放来克服。可缩放的和仿生的主动忆阻器神经元和被动忆阻器突触形成了无晶体管神经网络的自给自足的基础。然而,以往的忆阻器神经元的演示只显示了简单的积分和发射(I&F)行为,并没有揭示生物神经元丰富的动力学和计算复杂性。在这里,我们表明,神经元与纳米级二氧化钒有源忆阻器具有所有三类的兴奋性和大多数已知的生物神经元动力学,本质上是随机的。有了有利的尺寸和功率缩放,有一条通往全忆阻器神经形态皮层计算机的道路。
2018-09-20 cs.ET physics.app-ph
A memristive deep belief neural network based on silicon synapses
针对传统忆阻器良率低、电导态有限的问题,研究人员用CMOS工艺制备硅浮栅忆阻突触,构建忆阻深度置信神经网络,在MNIST数据集上实现97.05%的识别准确率,能效远高于GPU。
2023-07-21 cond-mat.dis-nn cond-mat.mtrl-sci cs.ET
From Clean Room to Machine Room: Commissioning of the First-Generation BrainScaleS Wafer-Scale Neuromorphic System
第一代BrainScaleS,也称为BrainScaleS-1,是一种用于模拟大规模尖峰神经元网络的神经形态系统。遵循“物理建模”原则,其VLSI电路旨在模拟生物实例的动态:模拟电路实现神经元和突触,其时间常数来自其电子组件的内在属性。它在连续时间内运行,与生物状态相比,动力学通常匹配10000的加速因子。容错设计允许它实现晶圆级集成,尽管不可避免的模拟变化和组件故障。在本文中,我们介绍了BrainScaleS-1晶圆模块的调试过程,简要描述了系统的物理组件,说明了组装过程中采取的步骤和操作措施。此外,我们反思了系统的开发过程和经验教训,并通过模拟晶圆级同步点火链来演示其功能,迄今为止,最大的尖峰网络仿真使用模拟组件和单个突触运行。
2023-03-22 cs.ET cs.NE
Magnetic Tunnel Junction Mimics Stochastic Cortical Spiking Neurons
大脑启发的计算架构试图模仿在人类大脑中的神经元和突触中执行的计算,以实现其在学习和认知任务中的效率。在这项工作中,我们证明了映射的概率尖峰性质的锥体神经元在皮层的随机开关行为的磁隧道结中存在的热噪声。我们目前的结果来说明基于这种概率神经元的神经形态系统的效率,在存在侧抑制和稳态的模式识别任务。这样的随机MTJ神经元还可以潜在地提供到置信网络中的概率计算元件的直接映射以用于执行再生任务。
2017-12-19 cs.ET
Memristor-based Synaptic Sampling Machines
Nazarbayev University(纳扎尔巴耶夫大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
突触采样机(Synaptic Sampling Machine,SSM)是一种考虑突触生物学不可靠性的神经网络模型。提出了一种以突触采样单元(SSC)为基本随机单元,采用忆阻-CMOS交叉结构实现SSM神经网络的电路设计。物联网时代边缘计算设备的增加,推动了对数据处理和计算硬件加速的需求。对处理速度和实时实现的可能性的计算考虑推动了突触采样算法,该算法在硬件实现的软件上表现出有希望的结果。
2018-08-02 cs.AI cs.ET
A neuromorphic systems approach to in-memory computing with non-ideal memristive devices: From mitigation to exploitation
忆阻器件代表了用于构建神经形态电子系统的有前途的技术。除了它们的紧凑性和非易失性特征之外,它们的特征在于计算相关的物理性质,例如状态依赖性、非线性电导变化以及它们的开关阈值和电导值的内在可变性,这使得它们成为用于模拟真实突触的生物物理学的理想设备。在本文中,我们提出了一个脉冲神经网络架构,支持使用忆阻器件作为突触元件,并提出了混合信号模拟-数字接口电路,减轻其电导值的变化的影响,并利用其在开关阈值的变化,实现随机学习。通过使用在互补推挽机制中配置并与电流模式归一化器电路接口的忆阻器件对来减轻器件可变性的影响。随机学习机制是通过将突触权重的期望变化映射到从忆阻器件的固有随机行为导出的相应切换概率来获得的。我们展示了CMOS电路的特点,并提出了一个标准的神经网络手写数字分类基准的MNIST数据集的基础上的架构。我们使用行为级脉冲神经网络模拟评估在此基准上提出的方法的性能,显示由电流模式归一化器电路产生的电导变化的减少的效果,以及作为每个突触中使用的忆阻器件的数量的函数的性能的增加。
2018-07-13 cs.ET
Endurance-Aware Mapping of Spiking Neural Networks to Neuromorphic Hardware
类脑计算系统采用忆阻器来实现高密度和低功率突触存储,作为硬件中的交叉阵列。这些系统在执行脉冲神经网络(SNN)时是能量高效的。我们观察到忆阻交叉开关中的长位线和字线是产生电流不对称的寄生电压降的主要来源。通过电路模拟,我们显示了显着的耐力变化,结果从这种不对称性。因此,如果临界忆阻器(具有较低耐久性的忆阻器)被过度利用,则它们可能导致交叉杆的寿命减少。我们提出了eSpine,这是一种新的技术,通过在映射机器学习工作负载时将每个交叉杆内的耐久性变化结合起来来提高寿命,确保具有较高激活的突触始终在具有较高耐久性的忆阻器上实现,反之亦然。eSpine分为两个步骤。首先,它使用Kernighan-Lin Graph Partitioning算法将工作负载划分为神经元和突触的集群,其中每个集群可以适合交叉开关。其次,它使用粒子群优化(PSO)的实例来将集群映射到瓦片,其中通过分析它们在工作负载内的激活来执行集群的突触到交叉杆的忆阻器的放置。我们评估eSpine的最先进的神经形态硬件模型与相变存储器(PCM)为基础的忆阻器。使用10个SNN工作负载,我们证明了有效寿命的显着改善。
2021-03-09 cs.AR cs.ET cs.NE
Bayesian Inference on Binary Spiking Networks Leveraging Nanoscale Device Stochasticity
King's College London(伦敦国王学院)
针对传统贝叶斯神经网络硬件实现资源消耗大的问题,提出基于相变存储器的二进制突触BNN硬件架构,通过独立权重与噪声平面利用器件固有随机性采样,性能与8位定点方案相当且核心晶体管数省9倍以上。
2023-02-02 cs.AR cs.ET cs.LG
A caloritronics-based Mott neuristor
机器学习模仿生物神经网络的基本特征,以有效地执行模式识别等任务。这主要是在软件层面上实现的,目前正在努力用硬件组件来模拟神经元和突触,这种方法被称为类脑计算。基于CMOS的电路已被用于此目的,但它们是不可扩展的,限制了设备密度,并激发了对神经形态材料的搜索。虽然电阻开关的最新进展提供了一个路径,以模拟突触在10 nm的规模,一个可扩展的神经元analogue尚未被发现。在这里,我们展示了如何热传递可以用来模仿神经元功能的莫特nanodevices。我们使用电流尖峰产生的焦耳热来触发偏置VO2纳米间隙中的绝缘体到金属的转变。我们表明,热动力学允许实现的基本神经元功能:活动,泄漏积分和消防,波动性和速率编码。通过使用局部温度作为内部变量,我们避免了外部电容的需要,这减少了几个数量级的神经电阻的大小。这种方法可以使神经形态硬件充分利用忆阻突触的快速发展,从而允许更密集和复杂的神经网络。更一般地说,我们表明,散热并不总是一个不良的影响:它可以执行计算任务,如果适当的工程。
2019-03-04 cs.ET physics.app-ph
Integrated Artificial Neurons from Metal Halide Perovskites
针对人工神经元现有实现的局限,本文演示了一种基于卤化物钙钛矿半导体的完全片上人工神经元,其展现随机泄漏积分发放行为且能耗低于生物神经元,可与钙钛矿人工突触集成构建高能效神经网络。
2024-11-29 cond-mat.mtrl-sci cs.ET cs.NE
A versatile circuit for emulating active biological dendrites applied to sound localisation and neuron imitation
The Alan Turing Institute(阿兰·图灵研究所)
针对神经网络高功耗问题,提出一种模拟主动生物树突的通用电路,能实现增益、延迟和积分,成功应用于声源定位并发现可构建爆发式神经元,为仅由树突电路构建神经网络提供了潜力。
2023-10-25 cs.AI cs.ET cs.NE
Stochasticity Invariance Control in Pr$_{1-x}$Ca$_x$MnO$_3$ RRAM to enable Large-Scale Stochastic Recurrent Neural Networks
新兴的非易失性存储器已经被提出用于从缓解冯-诺依曼瓶颈到神经形态应用的广泛应用。具体地,基于Pr $_{1-x}$ Ca $_x$ MnO $_3$(PCMO)的可扩展RRAM表现出模拟开关,已经被证明为整合神经元、模拟突触和压控振荡器。最近,忆阻器的固有随机性已经被提出用于玻尔兹曼机的有效硬件实现。然而,随着问题规模的扩大,神经元的数量会增加,并且需要在多次迭代中严格控制随机分布。这需要对随机性进行参数控制。在这里,我们描述的随机集PCMO随机存储器。我们确定设置时间分布取决于设备的内部状态(即,电阻)以及外部输入(即,电压脉冲)。这需要在同一设备中融合诸如随机切换以及确定性状态控制之类的矛盾属性。与“随机无处不在”的记忆电阻器不同,在PCMO RRAM中,我们利用(i)负极性中的随机Set和(ii)正极性中的确定性模拟Reset来证明100倍减少的Set时间分布漂移。分析了对玻尔兹曼机性能的影响,与“固定外部输入随机性”相反,“状态监测随机性”可以解决20倍大的问题。状态监控还可以消除设备间的差异对分发的影响,从而提供10倍的性能提升。除了物理的见解,这项研究建立了使用PCMO RRAM的随机循环神经网络可靠地在许多迭代的实验随机性。
2021-11-02 cs.ET cs.SY eess.SY
Machine Learning Approach for Device-Circuit Co-Optimization of Stochastic-Memristive-Device-Based Boltzmann Machine
玻尔兹曼机的有效“温度”可以动态“冷却”,提供了一个随机神经网络实现模拟退火,这是一个重要的元启发式解决组合或全局优化问题,在机器智能和运筹学的广泛应用。然而,具有“冷却”能力的玻尔兹曼随机元件的硬件实现从未在单个半导体器件内实现。在这里,我们展示了一个新的忆阻器件的概念,基于二维材料异质结构,使这个关键的随机元素在玻尔兹曼机。模拟退火中的动态冷却效应可以通过具有S形阈值分布的静电偏置在该多端忆阻器件中仿真。我们还表明,基于机器学习的方法是有效的基于模拟退火的随机忆阻器器件的玻尔兹曼机的器件-电路协同设计。可调随机忆阻器的实验演示与基于随机忆阻器的神经网络电路的基于机器学习的设备电路协同优化方法相结合,为随机神经网络的高效硬件实现开辟了一条道路,并应用于广泛的电子领域和计算学科。
2019-05-14 cs.ET
An Efficient and Accurate Memristive Memory for Array-based Spiking Neural Networks
本文提出一种基于限流的3T1R忆阻存储器设计,解决忆阻突触编程不可靠问题,较1T1R设计优化READ电流约19倍、节能约9倍,并降低工艺变化影响,适用于脉冲神经网络。
2023-09-06 cs.ET cs.NE
Convolutional Neural Networks with Radio-Frequency Spintronic Nano-Devices
卷积神经网络在现代信号处理和机器视觉中是最先进和普遍存在的。如今,基于新兴纳米器件的硬件解决方案旨在降低这些网络的功耗。自旋电子学器件由于其提供的各种神经和突触功能而有希望用于信息处理。然而,由于它们的低OFF/ON比,使用自旋电子存储器的交叉阵列在单步的中执行卷积所需的所有乘法将导致潜路径电流。在这里,我们提出了一个架构,突触通信具有频率选择性,防止串扰所造成的潜路径电流。我们首先演示了如何一个链的自旋电子谐振器可以作为突触,并通过顺序整流编码连续的输入组的射频信号进行卷积。我们表明,一个并行的实施是可能的自旋电子谐振器的多个链,以避免存储在内存中的中间计算步骤。我们提出了两种不同的空间安排这些链。对于每一个,我们解释了如何同时调整许多人工突触,利用特定于卷积的突触权重共享。我们展示了如何使用自旋电子振荡器作为人工微波神经元在卷积层之间传输信息。最后,我们模拟这些射频谐振器和自旋电子振荡器的网络来解决MNIST手写数字数据集,并获得与软件卷积神经网络相当的结果。由于它可以在纳米器件的单步的中完全并行地运行卷积神经网络,因此本文提出的架构对于需要机器视觉的嵌入式应用(如自动驾驶)很有前途。
2021-11-09 cond-mat.dis-nn cs.ET physics.app-ph