MaD: Mapping and debugging framework for implementing deep neural network onto a neuromorphic chip with crossbar array of synapses
神经形态系统或用于类脑计算的专用硬件随着对用于突触的不同设备材料的研究的进展而变得流行,特别是在交叉结构以及特定于或兼容于神经形态硬件的算法中。因此,将任何深度神经网络自动映射到具有突触交叉阵列和高效调试框架的神经形态芯片上是非常必要的。这里,映射被定义为将一部分深神经网络层部署到神经形态核心上,并在神经元群体之间生成连接列表以指定神经形态芯片上的各种神经形态核心之间的连接。验证是在推理期间在神经形态芯片上执行的计算的验证。该框架一起成为映射和映射(MaD)框架。MaD框架在使用上相当通用,因为它是一个Python包装器,可以与几乎所有神经形态芯片的模拟器工具集成。本文详细说明了MaD框架,考虑到一些优化,同时映射到一个单一的neuromorphic核心。MNIST和CIFAR-10数据集上的分类任务被认为是MaD框架的测试用例实现。
2019-01-01 cs.ET cs.NE
Sequence learning in a spiking neuronal network with memristive synapses
大脑启发计算提出了一套算法原则,有望推动人工智能的发展。它们赋予系统自学习能力、高效的能源使用和高存储容量。大脑计算的核心概念是序列学习和预测。这种形式的计算对于我们几乎所有的日常任务都是必不可少的,例如运动生成,感知和语言。了解大脑如何执行这样的计算不仅对推进神经科学很重要,而且还为新技术的大脑启发应用铺平了道路。先前开发的序列预测和召回的脉冲神经网络实现通过局部的、生物启发的可塑性规则以无监督的方式学习复杂的高阶序列。一种新兴的硬件类型,有希望有效地运行这种类型的算法是神经形态硬件。它模拟大脑处理信息的方式,并将神经元和突触直接映射到物理基底上。忆阻器件已被确定为神经形态硬件中的潜在突触元件。特别地,氧化还原诱导的电阻式随机存取存储器(ReRAM)器件在许多方面都很突出。它们允许可扩展性,节能和快速,并且可以实现生物可塑性规则。在这项工作中,我们研究了使用ReRAM设备作为序列学习模型中生物突触替代品的可行性。我们使用神经模拟器NEST实现并模拟了包括ReRAM可塑性的模型。我们研究了不同设备属性对序列学习模型性能特征的影响,并证明了不同开关比,电导分辨率,设备变异性和突触故障的弹性。
2022-11-29 cs.ET cs.NE
Thermal-Aware Compilation of Spiking Neural Networks to Neuromorphic Hardware
类脑计算的硬件实现可以显著提高用脉冲神经网络(SNN)实现的机器学习任务的性能和能量效率,使得这些硬件平台特别适合于嵌入式系统和其他能量受限的环境。我们观察到,当通过其突触元件传播尖峰时,硬件的交叉开关中的长位线和字线产生显著的电流变化,突触元件通常设计有非易失性存储器(NVM)。这样的电流变化在硬件的每个交叉杆内创建热梯度,这取决于机器学习工作负载以及工作负载的神经元和突触到这些交叉杆的映射。\mr{This thermal gradient becomes significant at scaled technology nodes and it increases the leakage power in the hardware leading to an increase in the energy consumption.}我们提出了一种新的技术,将基于SNN的机器学习工作负载的神经元和突触映射到神经形态硬件。我们做了两个新的贡献。首先,我们制定了一个详细的热模型的神经形态硬件中的交叉杆纳入工作负载的依赖性,其中每个基于NVM的突触细胞的温度计算考虑其相邻细胞的热贡献。其次,我们将这个热模型的映射神经元和突触的SNN为基础的工作负载使用爬山启发式。其目的是减少交叉杆中的热梯度。我们使用最先进的神经形态硬件的10个机器学习工作负载来评估我们的神经元和突触映射技术。我们证明…
2020-12-17 cs.DC cs.ET cs.NE
Programmable Superconducting Optoelectronic Single-Photon Synapses with Integrated Multi-State Memory
本研究针对神经形态硬件的突触权重存储需求,研发出集成多态存储器的可编程超导光电单光子突触,具备单光子灵敏度、400+状态、低编程能耗等特性,为大规模脉冲网络加速器硬件平台奠定基础。
2023-11-10 cs.ET cs.NE physics.app-ph
Run-time Mapping of Spiking Neural Networks to Neuromorphic Hardware
在本文中,我们提出了一种设计方法来分区和映射的神经元和突触的在线学习SNN为基础的应用程序在{运行时间}的神经形态架构。我们的设计方法分为两个步骤-步骤1是一个逐层贪婪的方法,将SNN划分为神经元和突触的集群,并结合神经形态架构的约束,步骤2是一个爬山优化算法,最大限度地减少集群之间的总尖峰通信,提高架构的共享互连的能耗。我们进行实验,以评估我们的算法使用合成和现实SNN为基础的应用程序的可行性。我们证明,我们的算法减少了SNN映射时间平均780倍相比,一个国家的最先进的设计时基于SNN分区的方法,只有6.25%的解决方案的质量较低。
2020-06-11 cs.ET cs.NE
On-chip learning for domain wall synapse based Fully Connected Neural Network
自旋电子器件被认为是实现神经形态系统或硬件神经网络的有前途的候选者,预计在某些数据分类和回归任务中,它们比其他现有的计算系统表现得更好。在本文中,我们设计了一个前馈全连接神经网络(FCNN),使用自旋轨道力矩驱动的畴壁器件作为突触和基于晶体管的模拟电路作为神经元,没有隐藏层。还使用晶体管设计了反馈电路,其在每次迭代时使用随机梯度下降(SGD)方法计算训练网络所需的突触的权重的变化。随后,它将写入电流脉冲发送到基于畴壁的突触设备,该突触设备移动畴壁并更新突触的权重。通过微磁模拟,模拟电路模拟和数值求解FCNN训练方程的组合,我们证明了“片上”训练的设计FCNN在MNIST数据库的手写数字本文。我们报告了训练和测试的准确性,突触设备中用于训练的能量消耗以及FCNN硬件实现可能限制其测试准确性的问题。
2018-11-25 cs.ET cs.NE physics.app-ph
Machine learning using magnetic stochastic synapses
University of Sheffield(谢菲尔德大学)
人工神经网络令人印象深刻的性能是以高能耗和CO $_2$排放为代价的。非传统的计算架构,磁系统作为候选者,有潜力作为替代能源高效的硬件,但仍然面临挑战,如随机行为,在实施。在这里,我们提出了一种方法,利用传统上有害的随机效应在纳米线的磁畴壁运动。我们展示了功能性二元随机突触以及梯度学习规则,该规则允许它们的训练适用于一系列随机系统。该规则,利用神经元输出分布的均值和方差,发现突触随机性和能量效率之间的权衡取决于每个突触的测量的数量。对于单次测量,该规则导致具有最小随机性的二进制突触,牺牲了鲁棒性的潜在性能。对于多次测量,突触分布是广泛的,近似于表现更好的连续突触。这种观察使我们能够根据所需的性能和设备的运行速度和能源成本来选择设计原则。我们在物理硬件上验证了性能,表明它与标准神经网络相当。
2023-03-03 cond-mat.mes-hall cs.ET cs.LG
Demonstration of Superconducting Optoelectronic Single-Photon Synapses
National Institute of Standards and Technology(美国国家标准与技术研究院);University of Colorado Boulder(科罗拉多大学博尔德分校)
超导光电硬件正在被探索作为一条通往具有前所未有的复杂性和计算能力的人工尖峰神经网络的道路。这种硬件结合了集成光子组件,用于少光子,光速通信,超导电路用于快速,节能计算。超导和光子器件的单片集成对于该技术的规模化是必要的。本文首次将超导纳米线单光子探测器与约瑟夫森结单片集成,实现了超导光电突触。我们提出的电路,执行模拟加权和时间泄漏整合的单光子突触前信号。突触加权是在电子域中实现的,这样就可以保持二进制的单光子通信。最近突触活动的记录以电流的形式存储在超导回路中。树突和神经元的非线性与约瑟夫森电路的第二阶段实施。该硬件具有很大的设计灵活性,所展示的突触时间常数跨越四个数量级(数百纳秒至毫秒)。突触响应于超过10 MHz的突触前尖峰速率,并且在考虑冷却之前,每个突触事件消耗大约33 aJ的动态功率。除了神经形态硬件之外,这些电路还为实现用于各种成像、传感和量子通信应用的大规模单光子探测器阵列引入了新的途径。
2022-04-20 cond-mat.supr-con cs.AI cs.NE
Training a Probabilistic Graphical Model with Resistive Switching Electronic Synapses
当前深度学习和数据采掘的大规模实现需要数千个处理器、大量的片外存储器,并且消耗千兆焦耳的能量。新兴的存储器技术,如纳米级双端子电阻开关存储器器件提供了一种紧凑、可扩展和低功耗的替代方案,允许在细粒度分布式并行架构中进行片上协同定位处理和存储。在这里,我们报告了第一次使用阻变存储器器件来实现和训练受限玻尔兹曼机(RBM),这是一种生成概率图形模型,作为深度网络中无监督学习的关键组件。我们实验证明了一个45突触RBM实现90电阻开关相变存储器(PCM)的元素与生物启发的变体的对比发散(CD)算法训练,实现赫布和反赫布的权重更新。与未经训练的情况相比,电阻式PCM设备在经过30个时期训练的缺失像素图案完成任务中显示出出错率的两倍到十倍的降低。测量的编程能耗为6.1 nJ每历元的电阻开关PCM设备,一个因素的约150倍,低于传统的处理器存储器系统。我们分析和讨论的学习性能上的周期到周期的变化,以及在PCM模拟存储器设备的渐进的水平的数量的依赖。
2016-10-10 cs.DC cs.ET cs.NE
Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses
尖峰循环神经网络(RNN)是一种很有前途的工具,用于解决各种复杂的认知和运动任务,由于其丰富的时间动态和稀疏处理。然而,在专用的神经形态硬件上训练尖峰RNN仍然是一个开放的挑战。这主要是由于缺乏本地的,硬件友好的学习机制,可以解决时间信用分配问题,并确保稳定的网络动态,即使在权重分辨率是有限的。如果人们诉诸于使用忆阻器件进行存内计算来解决冯-诺依曼瓶颈问题,则这些挑战将进一步加剧,代价是尖峰RNN的计算和工作存储器两者的可变性大幅增加。为了解决这些挑战,并使在线学习忆阻神经形态RNN,我们提出了一个模拟框架的基础上,准确和全面的相变存储器(PCM)设备模型的差分架构交叉阵列。我们训练一个尖峰RNN,其权重在所提出的仿真框架中进行仿真,使用最近提出的电子道具学习规则。虽然e-prop局部近似理想的突触更新,但由于实质上的PCM非理想性,难以在忆阻衬底上实现更新。我们比较了几种广泛适用的权重更新方案,这些方案主要旨在应对这些设备的非理想性,并证明了累积梯度可以在忆阻衬底上在线有效地训练尖峰RNN。
2021-09-25 cs.ET cs.NE
Endurance-Aware Mapping of Spiking Neural Networks to Neuromorphic Hardware
类脑计算系统采用忆阻器来实现高密度和低功率突触存储,作为硬件中的交叉阵列。这些系统在执行脉冲神经网络(SNN)时是能量高效的。我们观察到忆阻交叉开关中的长位线和字线是产生电流不对称的寄生电压降的主要来源。通过电路模拟,我们显示了显着的耐力变化,结果从这种不对称性。因此,如果临界忆阻器(具有较低耐久性的忆阻器)被过度利用,则它们可能导致交叉杆的寿命减少。我们提出了eSpine,这是一种新的技术,通过在映射机器学习工作负载时将每个交叉杆内的耐久性变化结合起来来提高寿命,确保具有较高激活的突触始终在具有较高耐久性的忆阻器上实现,反之亦然。eSpine分为两个步骤。首先,它使用Kernighan-Lin Graph Partitioning算法将工作负载划分为神经元和突触的集群,其中每个集群可以适合交叉开关。其次,它使用粒子群优化(PSO)的实例来将集群映射到瓦片,其中通过分析它们在工作负载内的激活来执行集群的突触到交叉杆的忆阻器的放置。我们评估eSpine的最先进的神经形态硬件模型与相变存储器(PCM)为基础的忆阻器。使用10个SNN工作负载,我们证明了有效寿命的显着改善。
2021-03-09 cs.AR cs.ET cs.NE
Dendritic-Inspired Processing Enables Bio-Plausible STDP in Compound Binary Synapses
大脑启发的学习机制,例如尖峰定时依赖可塑性(STDP),在脉冲神经网络中实现敏捷和快速的动态适应能力。当结合具有超低功耗和高密度集成能力的新兴纳米级电阻性非易失性存储器(NVM)器件时,脉冲神经网络硬件将以非常小的形状因子导致能量消耗的几个数量级的减少,并且潜在地预示着自主学习机器。然而,实际的存储器设备已经被证明是固有的二进制随机切换,从而阻碍了实现理想的STDP与连续的模拟值。在这项工作中,除了新颖的CMOS神经元电路,提出了一个树枝状的灵感处理架构。尖峰衰减和延迟的利用将二进制NVM的传统上不期望的随机行为转换为实现生物学上合理的STDP学习的有用杠杆。因此,这项工作铺平了一条道路,采用实用的二进制新兴NVM设备的脑启发类脑计算。
2018-01-09 cs.ET cs.NE
Neuromorphic Hebbian learning with magnetic tunnel junction synapses
本文提出利用MTJ的二元电阻状态保证推理精度、并利用随机STT切换实现无监督赫布学习的神经形态网络,实验验证其STDP学习能力并在MNIST上取得有竞争力的准确率。
2023-08-21 cs.NE
A Hardware-Aware Open-Source Framework for Design Space Exploration of Mixed-Signal Spiking Neural Networks
Lockheed Martin(洛克希德·马丁)
该研究针对边缘节能神经形态计算,提出开源硬件感知仿真框架用于混合信号SNN设计空间探索,支持多种模型与突触,纳入器件非线性优化参数,经基准测试报告多指标,助力跨层探索与配置确定。
2026-07-14 cs.NE eess.SP
Unsupervised Competitive Hardware Learning Rule for Spintronic Clustering Architecture
我们提出了一个新的自旋电子计算架构内的无监督聚类的硬件学习规则。所提出的方法利用畴壁磁隧道结器件的三端结构来建立反馈回路,该反馈回路用于当这些器件用作类脑计算架构中的突触时对它们进行训练。
2020-03-24 cs.ET cs.NE physics.app-ph
SupraSNN: Exploiting Synapse-Level Parallelism in Spiking Neural Network Accelerators through Co-Optimized Mapping and Scheduling
University of Tehran(德黑兰大学)
受超标量架构启发,提出硬件-软件协同设计框架SupraSNN,通过物理解耦突触和神经元计算实现突触级并行,结合分区与启发式调度优化映射,在FPGA上实现低延迟和高能效。
2026-06-12 cs.AR cs.DC cs.NE
On-chip learning in a conventional silicon MOSFET based Analog Hardware Neural Network
基于交叉阵列的模拟硬件神经网络(NN)中的片上学习与在传统计算机上训练NN相比在速度和能量方面具有主要优势。然而,迄今为止,模拟硬件NN的提议和实现主要涉及非易失性存储器(NVM)设备,如电阻式随机存取存储器(RRAM)、相变存储器(PCM)、自旋电子设备或浮栅晶体管作为突触。与传统的硅基CMOS芯片不同,基于RRAM、PCM或自旋电子器件的制造系统需要内部实验室设施,不能通过商业代工厂完成。浮栅晶体管需要大的电压脉冲来进行权重更新,这使得这种系统中的片上学习能量效率低下。本文提出并实现了通过SPICE模拟片上学习的模拟硬件NN只使用传统的硅基MOSFET(没有任何浮栅)作为突触,因为他们很容易制造。我们首先使用SPICE电路模拟器对我们的单晶体管突触的突触特性进行建模,并将其与实验获得的晶体管的电流-电压特性进行基准测试。接下来,我们使用这种晶体管突触设计全连接神经网络(FCNN)交叉阵列。我们还设计了用于神经元和突触权重更新计算的模拟外围电路,这是片上学习所需的,同样使用传统晶体管。在SPICE仿真器上对整个系统进行仿真,在标准Fisher's Iris数据集上获得了较高的训练和测试精度,该数据集广泛用于机器学习。我们还比较了我们的晶体管为基础的实现模拟硬件NN的速度和能量性能与一些以前的实现NN与NVM设备,并表现出相当的性能片上学习。
2019-07-01 cs.NE cs.SY eess.SY
A CMOS Spiking Neuron for Brain-Inspired Neural Networks with Resistive Synapses and In-Situ Learning
纳米电阻存储器有望为大规模神经形态系统的电子突触密集整合提供动力。为了实现这种大脑启发的计算芯片,需要一种紧凑的CMOS尖峰神经元,其在驱动大量电阻性突触的同时执行原位学习和计算。本文提出了一种新型的漏积分激发神经元设计,该设计实现了电流积分和突触驱动的双模操作,使用单个运算放大器,并实现了交叉电阻突触的原位学习。该设计采用0.18 $μ$ m CMOS工艺实现。测量显示神经元驱动一千个电阻性突触的能力,并展示了原位联想学习。神经元电路占据0.01 mm $^2$的小面积,并且具有9.3 pJ $/$锋电位$/$突触的能量效率。
2015-11-24 cs.NE
Spatiotemporal Pattern Recognition in Single Mixed-Signal VLSI Neurons with Heterogeneous Dynamic Synapses
Luleå University of Technology(吕勒奥理工大学)
混合信号神经形态处理器具有类似大脑的组织和设备物理特性,为传统深度学习和计算的不可持续发展提供了一种超低功耗的替代方案。然而,实现这种神经形态硬件的潜力需要有效地利用其异构的模拟神经突触电路与用于稀疏的基于尖峰定时的编码和处理的神经计算方法。在这里,我们研究使用平衡的兴奋-抑制性双突触侧连接作为一种资源有效的机制,用于实现丘脑皮质启发的时空相关器(STC)神经网络,而不使用专用的延迟机制。我们提出了硬件在环实验与DYNAP-SE神经形态处理器,在STC网络与每列四个横向传入连接的异质性巧合检测神经元的感受野映射随机输入采样。此外,我们演示了这样的神经元是如何调整到检测一个特定的时空特征的离散地址重新编程的模拟突触电路。的双突触连接的能量耗散是一个数量级低于每个横向连接(0.65 nJ与9.6 nJ的尖峰)比以前的基于延迟的硬件实现的STC。
2022-08-04 cs.AI cs.NE
Demonstrating Hybrid Learning in a Flexible Neuromorphic Hardware System
我们提出了一种新的方法来学习和可塑性的neuromorphic硬件系统的结果:使可实现的学习机制的灵活性,同时保持高效率与neuromorphic实现,我们结合了通用处理器与全定制的模拟元件。该处理器与完全并行的神经形态系统并行操作,该神经形态系统由连接到模拟连续时间神经元电路的突触阵列组成。新颖的模拟相关传感器电路并行且实时地处理每个突触的尖峰事件。处理器使用该预处理来计算新的权重,可能使用遵循其程序的附加信息。因此,可以在软件中定义学习规则,从而提供很大程度的灵活性。突触实现相关检测,面向尖峰定时依赖可塑性(STDP)作为中央计算原语在模拟域。与生物时间尺度相比,以1000的加速因子操作,我们测量从几十到几百微秒的时间常数。我们分析了多个芯片的变异性,并使用乘法STDP规则演示了学习。我们的结论是,所提出的方法将使灵活和有效的学习作为神经科学研究和技术应用的平台。
2016-10-13 cond-mat.dis-nn cs.NE q-bio.NC
A case for multiple and parallel RRAMs as synaptic model for training SNNs
为了能够在脉冲神经网络硬件中密集集成模型突触,正在考虑各种纳米级器件。这样的设备,除了表现出尖峰时间相关的可塑性(STDP)之外,还需要高度可扩展,具有大的耐久性,并且需要低能量用于状态之间的转换。在这项工作中,我们首先介绍和经验确定两个新的规范SNN中的突触:每个突触的电导水平和最大学习率的数量。据我们所知,没有RRAM符合后一种规格。作为一种解决方案,我们建议使用多个PCMO-RRAM在突触内并行。在突触读取时,同时读取所有PCMO-RRAM,并且对于每个突触电导变化事件,仅针对从集合中随机挑选的一个RRAM启动电导STDP的机制。其次,为了验证我们的解决方案,我们实验证明了PCMO-RRAM电导的STDP,然后表明,由于大的学习率,单个PCMO-RRAM无法在SNN的训练中建模突触。正如预期的那样,随着更多的PCMO-RRAM被添加到突触,网络训练得到了改善。第四,我们讨论了电路的要求,实现这样的计划,得出结论,要求是在范围内。因此,我们的工作提出了可训练SNN中突触设备的规范,指出了最先进的突触竞争者的缺点,并提供了一种解决方案来满足规范,并讨论了实现该解决方案的外围电路。
2018-03-13 cs.ET cs.NE
Integrating programmable plasticity in experiment descriptions for analog neuromorphic hardware
针对BrainScaleS-2混合可塑性实验中网络拓扑、协议与可塑性算法描述割裂的问题,提出统一高级实验描述语言及集成框架。
2024-12-04 cs.NE
MorphIC: A 65-nm 738k-Synapse/mm$^2$ Quad-Core Binary-Weight Digital Neuromorphic Processor with Stochastic Spike-Driven Online Learning
神经网络加速器领域的最近趋势研究权重量化作为增加硬件设备的资源和功率效率的手段。由于完整的片上权重存储对于避免片外存储器访问的高能量成本是必要的,因此对于权重存储的存储器减少要求被推向使用二进制权重,当使用量化感知训练技术时,二进制权重被证明在许多应用上具有有限的准确度降低。并行地,脉冲神经网络(SNN)架构被探索以在处理稀疏的基于事件的数据流时进一步降低功率,而片上基于尖峰的在线学习出现为在训练阶段期间功率和资源受限的应用的关键特征。然而,设计功率和面积高效的脉冲神经网络仍然需要开发特定的技术,以便在不损害突触密度的情况下利用二进制权重的片上在线学习。在这项工作中,我们展示了MorphIC,一个四核二进制权重数字神经形态处理器嵌入随机版本的尖峰驱动的突触可塑性(S-SDSP)学习规则和分层路由结构的大规模芯片互连。MorphIC SNN处理器在65 nm CMOS中为2.86 mm $^2$的有源硅面积嵌入了总共2k个泄漏积分激发(LIF)神经元和超过200万个塑性突触,实现了738 k个突触/mm $^2$的高密度。与先前提出的SNN相比,MorphIC在MNIST分类任务的面积精度权衡方面表现出数量级的改进,同时在能量精度权衡方面没有任何损失。
2019-07-16 cs.ET cs.NE
A simple and efficient SNN and its performance & robustness evaluation method to enable hardware implementation
脉冲神经网络(SNN)与类脑计算关系更密切,并激发了硬件实现。这是通过在标准分类问题上提供高性能的小型网络实现的。在文献中,典型的SNN在网络结构、权值更新规则和学习算法方面是深度和复杂的。这使得它们很难转化为硬件。在本文中,我们首先开发了一个简单的2层网络的软件,比较与现有技术的四个不同的标准数据集的SNN,并提高了效率。例如,对于Fisher Iris分类问题,它使用较低数量的神经元(3x)、突触(3.5x)和时期用于训练(30x)。高效的网络是基于有效的群体编码和突触神经元协同设计。其次,我们开发了一种计算效率(15000 x)和准确(相关性为0.98)的方法来评估网络的性能,而无需标准的识别测试。第三,我们表明,该方法产生的鲁棒性度量,可用于评估噪声容限。
2016-12-07 cs.NE
Hardware-Friendly Synaptic Orders and Timescales in Liquid State Machines for Speech Classification
Indian Institute of Technology, Bombay(孟买印度理工学院);Aalto University(阿尔托大学)
液体状态机是具有随机库连接性和仿生神经元和突触模型的大脑启发的尖峰神经网络(SNN)。水库计算网络被提出作为深度神经网络的替代方案来解决时间分类问题。先前的研究表明,二阶(双指数)突触波形是至关重要的实现高精度的TI-46口语数字识别。长时间范围(ms)仿生突触波形的建议是一个挑战,紧凑和功率高效的神经形态硬件。在这项工作中,我们分析了突触阶数的作用,即:δ(单个时间步长的高输出),0(具有有限脉冲宽度的矩形),1(指数下降)和2阶(指数上升和下降)和突触时标对水库输出响应和更全面的参数扫描下的TI-46口语数字分类准确性。我们发现最佳的操作点是相关的最佳范围内的尖峰活动的水库。此外,所提出的0阶突触与生物学上合理的2阶突触表现相当。这对于电路设计者来说是相当大的放松,因为突触是SNN的存储器内实现中最丰富的组件。电路的好处,为模拟和混合信号实现0阶突触强调展示2-3个数量级的节省面积和功耗,消除运算放大器和数模转换器电路。这对一个完整的神经网络实现有重大影响,重点是外围限制和算法简化,以克服它们。
2021-04-29 cs.NE cs.SD eess.AS
Bruno: Backpropagation Running Undersampled for Novel device Optimization
Zernike Institute for Advanced Materials(泽尼克先进材料研究所);Groningen Cognitive Systems and Materials Center (CogniGron)(格罗宁根认知系统与材料中心);University of Groningen(格罗宁根大学)
BRUNO是一种针对硬件突触和神经元的自下而上训练算法,通过考虑物理设备特性提升神经网络效率。
2026-01-13 cs.AI cs.NE
Training of Quantized Deep Neural Networks using a Magnetic Tunnel Junction-Based Synapse
Technion - Israel Institute of Technology(以色列理工学院)
量化神经网络(QNN)作为深度神经网络的计算复杂性和存储强度的解决方案正在被积极研究。这引发了开发算法的努力,这些算法支持使用量化的权重和激活值进行推理和训练,而不会牺牲准确性。最近的一个例子是用于三进制(TNN)和二进制(BNN)神经网络随机训练的GXNOR框架。在本文中,我们将展示如何使用磁性隧道结(MTJ)器件来支持QNN训练。我们介绍了一种新的硬件突触电路,使用MTJ的随机行为,以支持的更新。所提出的电路能够处理QNN训练的近记忆(PNM),从而减少数据移动。我们在MNIST、SVHN和CIFAR 10数据集上模拟了基于MTJ的TNN随机训练,分别达到了98.61%、93.99%和82.71%的准确率(与GXNOR算法相比,下降不到1%)。我们评估了突触阵列的性能潜力,并表明所提出的突触电路可以原位训练三元网络,前馈18.3TOPs/W和3 TOPs/W的权重更新。
2022-05-29 cs.AR cs.ET cs.LG
A Hardware Friendly Unsupervised Memristive Neural Network with Weight Sharing Mechanism
忆阻神经网络(Memristive Neural Networks,MNN)是近年来研究的热点,它利用忆阻器作为神经元或突触。然而,大多数忆阻器与主流集成电路技术不兼容,并且它们在大规模下的稳定性不是很好。本文介绍了一种硬件友好的MNN电路,该电路利用数字集成电路实现忆阻特性。通过该方法,实现了发放时间依赖可塑性(STDP)和无监督学习。提出了一种权值共享机制,以弥补网络规模和硬件资源的不足。实验结果表明,该算法在保持较高识别精度和速度的同时,显著节省了硬件资源。此外,网络资源的增长速度比网络规模的增长速度要慢,这表明我们的方法在实现大规模神经形态网络方面具有潜力。
2019-01-01 cs.ET cs.NE
An On-chip Trainable and Clock-less Spiking Neural Network with 1R Memristive Synapses
脉冲神经网络(SNN)正在被探索,试图模仿大脑的能力,学习和识别在低功耗。具有高度可扩展的电阻性RAM或RRAM阵列的纵横架构在外围用作突触权重和神经元驱动器是SNN的有吸引力的选择。识别(类似于读取突触权重)需要跨RRAM施加小幅度偏置以使电导变化最小化。学习(类似于写入或更新突触权重)需要大幅度偏置脉冲来产生电导变化。与生物学类似,同时和异步地执行读取和写入的矛盾偏差幅度要求是一个重大挑战。文献中提出的解决方案依赖于基于时钟的读和写操作的时分复用,或者当与写重合时忽略读的近似。在这项工作中,我们克服了这一挑战,并提出了一种无时钟的方法,其中读取和写入在不同的频域中进行。这使得学习和识别同时在SNN上。我们在SPICE电路模拟器中通过转换两层前馈Iris分类SNN来验证我们的方案,以证明软件等效性能。系统性能不会受到实际RRAM中电导的电压依赖性的不利影响,尽管偏离线性。总的来说,我们的方法可以直接在硬件中实现生物SNN算法。
2017-11-03 cs.ET cs.NE
Evolving Unipolar Memristor Spiking Neural Networks
类脑计算-硬件中的类脑计算-通常需要无数CMOS尖峰神经元通过密集的纳米级塑料突触网互连。忆阻器由于其状态性和低功耗实现的潜力而经常被引用为强突触候选者。到目前为止,大量的研究集中在双极忆阻器突触上,它能够增加权重的变化,并且可以在赫布学习方案下提供自适应自组织。在本文中,我们考虑单极忆阻器突触-一个设备能够非赫布之间切换只有两个状态(导电和电阻)通过应用一个合适的输入电压-并讨论其适用于神经形态系统。一个自适应的进化过程是用来自主地找到高度适合的网络配置。对两个机器人任务的实验表明,单极忆阻器网络比双极忆阻器网络和包含恒定非塑性连接的网络更快地发展任务解决控制器,同时执行至少100%。
2015-09-01 cs.NE
A Unified Platform to Evaluate STDP Learning Rule and Synapse Model using Pattern Recognition in a Spiking Neural Network
Indian Institute of Technology Gandhinagar(印度理工学院甘地纳加尔分校)
该研究构建统一平台,在两层 SNN 的五类 MNIST 分类中评估多种忆阻器突触模型与 STDP 规则,验证非线性硬件突触仍可取得较高精度且更轻量。
2025-06-24 cs.NE
Inference with Artificial Neural Networks on Analog Neuromorphic Hardware
神经形态BrainScaleS-2 ASIC包括混合信号神经元和突触电路以及两个多功能数字微处理器。该系统主要用于模拟尖峰脉冲神经网络,也可用于人工神经网络的矢量矩阵乘法和累加模式。模拟乘法在突触电路中进行,而结果在神经元的膜电容器上累积。作为一种模拟的存内计算设备,它保证了高能效。然而,固定模式噪声和试验间变化要求实现的网络应对一定程度的扰动。输入值的数字分辨率(5位)、矩阵权重(6位)和所得神经元激活(8位)强加了进一步的限制。在本文中,我们讨论了BrainScaleS-2作为模拟推理加速器,并提出了校准和优化策略,突出了硬件在环训练的优势。在其他基准测试中,我们使用二维卷积和两个密集层对MNIST手写数字数据集进行分类。我们达到了98.0%的测试准确率,与软件中评估的相同网络的性能非常匹配。
2020-07-01 cs.NE
Quantized Non-Volatile Nanomagnetic Synapse based Autoencoder for Efficient Unsupervised Network Anomaly Detection
Virginia Commonwealth University(弗吉尼亚联邦大学)
针对边缘设备实现自编码器异常检测的硬件资源限制问题,提出基于铁磁赛道磁畴壁突触的5态量化自编码器,通过硬件感知训练提升性能并减少权重更新,推动节能边缘实时检测处理器发展。
2023-09-12 cond-mat.mes-hall cs.LG cs.NE
An Adiabatic Capacitive Artificial Neuron with RRAM-based Threshold Detection for Energy-Efficient Neuromorphic Computing
在追求低功耗的过程中,基于忆阻和忆容的人工神经网络(ANN)两者的生物启发计算已经成为类脑计算的硬件实现的日益关注的主题。更进一步,要求使用绝热计算的再生电容性神经网络提供了一条通往甚至更低能耗的诱人途径,特别是当与“memimpedace”元件结合时。在这里,我们提出了一个人工神经元具有绝热突触电容器产生膜电位的神经元胞体;后者通过动态锁存比较器与电阻随机存取存储器(RRAM)设备增强实现。我们最初的4位绝热电容神经元概念验证示例显示了90%的突触节能。在4个突触/体细胞中,我们已经看到了整体35%的能量减少。此外,工艺和温度对4位绝热突触的影响示出了在100摄氏度下跨拐角的30%的最大能量变化,而没有任何功能损失。最后,我们的绝热方法的ANN的功效被测试为512和1024突触/神经元的最坏和最好的情况下的突触负载条件和可变均衡电容的量化均衡电容和最佳功率时钟频率与负载的范围(即活跃突触的百分比)之间的预期权衡。
2022-06-18 cs.NE
In-Hardware Learning of Multilayer Spiking Neural Networks on a Neuromorphic Processor
虽然在机器学习中广泛使用,但反向传播不能直接应用于SNN训练,并且在模拟生物神经元和突触的神经形态处理器上不可行。这项工作提出了一种基于尖峰的反向传播算法与生物合理的本地更新规则,并适应它,以适应在神经形态硬件的约束。该算法在Intel Loihi芯片上实现,实现了移动应用中多层SNN的低功耗硬件监督在线学习。我们在MNIST,Fashion-MNIST,CIFAR-10和MSTAR数据集上测试了这种实现,具有良好的性能和能源效率,并证明了增量在线学习的可能性。
2021-05-08 cs.DC cs.ET cs.NE
Personalized Spiking Neural Networks with Ferroelectric Synapses for EEG Signal Processing
Integrated Systems Laboratory, Department of Information Technology and Electrical Engineering, ETH Zürich(集成系统实验室,信息科技与电气工程系,苏黎世联邦理工学院)
本文提出利用铁电突触实现个性化EEG信号处理,通过设备感知训练和权重迁移策略,在资源受限平台实现高效自适应SNN解码。
2026-01-05 cs.AI cs.ET cs.LG
Dynamic Reliability Management in Neuromorphic Computing
类脑计算系统使用非易失性存储器(NVM)来实现高密度和低能量的突触存储。操作NVM所需的升高的电压和电流导致硬件中每个神经元和突触电路中基于CMOS的晶体管老化,使晶体管的参数偏离其标称值。积极的设备扩展增加了功率密度和温度,这加速了老化,对神经形态系统的可靠运行提出了挑战。现有的面向可靠性的技术以固定的间隔周期性地对硬件中的所有神经元和突触电路进行去应力,假设最坏情况的操作条件,而没有实际跟踪它们在运行时间的老化。为了减轻这些电路的压力,必须中断正常操作,这在尖峰生成和传播中引入了延迟,从而影响尖峰间间隔并因此影响性能,例如,精度我们提出了一种新的架构技术,以减轻老化相关的可靠性问题,在neuromorphic系统,通过设计一个智能的运行时管理器(NCRTM),它动态destresses神经元和突触电路在响应短期老化的CMOS晶体管在执行机器学习工作负载,以满足可靠性目标。NCRTM仅在绝对必要时才对这些电路进行减压,否则通过将减压操作安排在关键路线之外来降低性能影响。我们在神经形态硬件上使用最先进的机器学习工作负载评估NCRTM。我们的研究结果表明,NCRTM显着提高了神经形态硬件的可靠性,对性能的边际影响。
2021-05-05 cs.AR cs.NE
Scaled Hippocampus-inspired Neural Networks on Neuromorphic Memristive Hardware
George Washington University(乔治华盛顿大学);George Mason University(乔治梅森大学)
受海马CA3区启发的脉冲神经网络,通过四管齐下目标函数缩小规模,在忆阻器硬件上实现生物现实静息态动力学,展示新兴硬件上生物现实算法的潜力。
2026-09-16 cs.ET cs.NE
Compiling Spiking Neural Networks to Neuromorphic Hardware
使用基于尖峰的计算模型实现的机器学习应用,例如,脉冲神经网络(SNN)在神经形态硬件上运行时具有很大的降低能耗的潜力。然而,编译SNN并将其映射到硬件是具有挑战性的,特别是当硬件的计算和存储资源(即交叉开关)需要在SNN的神经元和突触之间共享时。我们提出了一种方法来分析和编译SNN上的资源受限的神经形态硬件,提供保证的关键性能指标,如执行时间和吞吐量。我们的方法做出了以下三个关键贡献。首先,我们提出了一种贪婪的技术来划分SNN成神经元和突触的集群,使得每个集群可以适合交叉开关的资源。其次,我们利用丰富的语义和表现力的同步数据流图(SDFG)表示集群SNN和分析其性能使用Max-Plus代数,考虑可用的计算和存储容量,缓冲区大小和通信带宽。第三,我们提出了一个自定时的执行为基础的快速技术,编译和承认基于SNN的应用程序的神经形态硬件在运行时,动态适应硬件上的可用资源。我们评估我们的方法与标准的SNN为基础的应用程序,并证明了显着的性能改善相比,目前的做法。
2020-05-12 cs.AR cs.DC cs.NE
Efficient supervised learning in networks with binary synapses
最近的实验研究表明,由神经元活动引起的突触变化是少数稳定状态之间的离散跳跃。在离散突触系统中学习是一个计算困难的问题。在这里,我们研究了一个神经生物学合理的在线学习算法,来自信念传播算法。我们表明,它表现得非常好,在一个模型神经元与二进制突触,和有限数量的“隐藏”状态每个突触,学习一个随机分类任务。这样的系统能够学习接近理论极限的多个关联,在系统大小上是次线性的。据我们所知,这是第一个在线算法,能够有效地实现有限数量的模式学习每个二进制突触。此外,我们表明,性能是最佳的有限数量的隐藏状态变得非常小的稀疏编码。该算法类似于标准的“感知器”学习算法,具有仅在当前呈现的模式“勉强正确”时发生的突触转换的附加规则。在这种情况下,突触变化仅是元塑性的(隐藏状态的变化而不是实际突触状态的变化),使突触稳定在其当前状态。最后,我们证明了一个系统有两个可见的状态和K个隐藏的状态是更强大的噪声比一个系统与K个可见的状态。我们认为这个规则足够简单,可以很容易地通过神经生物学系统或硬件实现。
2007-07-09 cond-mat.stat-mech cs.NE q-bio.NC
Stochastic Synapses Enable Efficient Brain-Inspired Learning Machines
最近的研究表明,突触的不可靠性是一个强大的和足够的机制,诱导在皮层观察到的随机性。在这里,我们介绍突触采样机,一类神经网络模型,使用突触随机性作为蒙特卡洛采样和无监督学习的手段。类似于玻尔兹曼机的原始公式,这些模型可以被视为Hopfield网络的随机对应物,但其中随机性是由连接上的随机掩码引起的。突触随机性扮演着双重角色,一个有效的采样机制,以及学习过程中的正则化器,类似于DropConnect。局部突触可塑性规则实现了事件驱动形式的对比发散,使生成模型的学习在线的方式。突触采样机使用离散时间的人工单元(如Hopfield网络)或连续时间的漏积分和激发神经元表现同样出色。学习的表示是非常稀疏和鲁棒的位精度和突触修剪的减少:删除超过75%的最弱的连接,然后粗略的重新学习,导致基准分类任务的性能损失可以忽略不计。基于尖峰神经元的突触采样机优于现有的基于尖峰的无监督学习器,同时可能在功率和复杂性方面提供实质性的优势,因此是有前途的模型,用于在大脑启发的硬件中进行在线学习。
2016-12-15 cs.NE
High-Accuracy Inference in Neuromorphic Circuits using Hardware-Aware Training
基于SRAM或新型非易失性存储器(NVMs)的利用突触权重元素的神经形态乘法和累加(MAC)电路为神经网络的高效硬件表示提供了一种有前途的方法。NVM密度和鲁棒性要求表明,离线训练是“边缘”设备的正确选择,因为对突触精度的要求要不那么严格。然而,使用理想的数学权重和激活的离线训练在应用于非理想硬件时可能导致推理准确性的显著损失。诸如权重和激活的多位量化、权重的非线性、NVM元件的有限最大/最小比率以及正权重分量和负权重分量的不对称性的非理想性都导致降级的推断准确性。在这项工作中,它表明,非理想的多层感知器(MLP)架构,使用低位宽的权重和激活,可以训练的推理精度损失可以忽略不计,相对于他们的浮点训练的同行,使用建议的离线,连续可微的硬件感知训练算法。所提出的算法适用于广泛的硬件模型,并且只使用标准的神经网络训练方法。该算法被证明在MNIST和EMNIST数据集,使用标准的MLP。
2018-09-13 cs.ET cs.NE
Neural Sampling Machine with Stochastic Synapse allows Brain-like Learning and Inference
University of Notre Dame(圣母大学);University of California Irvine(加州大学欧文分校)
许多现实世界的关键任务应用程序需要从噪声数据中持续在线学习,并在定义的置信水平下进行实时决策。概率模型和随机神经网络可以显式地处理数据中的不确定性,并允许动态自适应学习,但它们在低功耗基板上的实现仍然是一个挑战。在这里,我们介绍了一种新的硬件结构,实现了一类新的随机NN称为神经采样机,利用突触连接的随机性近似贝叶斯推断。利用新兴材料和器件中原子水平上的固有非线性和随机性,使我们能够捕获生物突触中分子水平上的突触随机性。我们实验证明在硅片上的混合随机突触配对的铁电场效应晶体管为基础的模拟重量细胞与两端随机选择器元件。这样的随机突触可以集成在用于存储器中计算的完善的交叉杆阵列架构内。我们的实验表明,绝缘体和金属状态之间的选择器元件的固有的随机切换引入了一个乘性的随机噪声NSM的突触内的样品的FeFET的电导状态,无论是在学习和推理。我们执行网络级模拟,以突出由NSM的随机突触引入的显著的自动权重归一化功能,该功能为持续在线学习铺平了道路,而无需任何离线批量归一化。我们还展示了贝叶斯推理能力的随机突触在推理模式,从而占数据的不确定性。我们在标准图像分类任务上报告了98.25%的准确率,以及旋转样本中数据不确定性的估计。
2021-02-20 cond-mat.dis-nn cond-mat.mes-hall cs.LG
Voltage-Driven Domain-Wall Motion based Neuro-Synaptic Devices for Dynamic On-line Learning
传统的冯-诺依曼计算模型在过去的几十年里取得了显著的成就。然而,当与生物系统相比时,它们未能为某些基本任务(如图像和语音识别)提供所需的效率。因此,从生物系统的线索,新的计算范式正在探索有效的硬件实现的识别/分类任务。这种神经形态系统的基本构件是神经元和突触。为此,我们提出了一个漏积分火(LIF)神经元和一个可编程的非易失性突触利用域壁运动诱导的磁电效应。由于铁磁畴壁(FM-DW)和下面的铁电畴壁(FE-DW)之间的强弹性钉扎,在施加电压脉冲时,FM-DW被FE-DW拖曳。FE材料是绝缘体的事实允许纯电压驱动的FM-DW运动,这反过来又可用于模拟生物尖峰神经元和突触的行为。所提出的器件的电压驱动性质允许能量高效的操作。已经开发了一个基于微磁模拟的详细设备到系统级仿真框架,以分析所提出的神经突触设备的可行性。我们还表明,所提出的设备的节能电压控制的行为,使他们适合动态的在线和终身学习的脉冲神经网络(SNN)。
2017-11-23 cs.ET cs.NE
RRAM based neuromorphic algorithms
本提交文件是一份关于基于RRAM的神经形态算法的报告。这份报告基本上给出了一个概述的算法上实现的神经形态硬件与交叉阵列的RRAM突触。本报告主要讲述了关于深度神经网络到尖峰神经网络转换的工作及其意义。
2019-01-12 cs.ET cs.NE q-bio.NC
CMOS-based area-and-power-efficient neuron and synapse circuits for time-domain analog spiking neural networks
针对传统模拟神经电路动态范围受限、能耗与面积较大的问题,提出由漏电流驱动、反相器比较器发放的时域神经元/突触结构,并经65 nm CMOS芯片验证毫秒级通信与储备计算学习能力。
2023-02-02 cs.NE
An Efficient Software-Hardware Design Framework for Spiking Neural Network Systems
脉冲神经网络(SNN)是模仿大脑自然行为的第三代神经网络(NN)。通过基于二进制输入/输出的处理,SNN提供更低的复杂度、更高的密度和更低的功耗。这项工作提出了一个有效的软件-硬件设计框架开发SNN系统的硬件。此外,本文还提出了一种基于分组交换通信方式的低成本神经突触核的设计方案。评估结果表明,大小为784:1200:1200:10的ANN到SNN的转换方法对MNIST的准确率为99%,而无监督的STDP在大小为784:400的情况下的准确率为89%。256个神经元和65 k个突触的设计也在ASIC 45 nm技术中实现,面积成本为0.205 $m m^2$。
2020-03-22 cs.NE
Waves and symbols in neuromorphic hardware: from analog signal processing to digital computing on the same computational substrate
受皮层微电路启发,提出用循环脉冲神经网络在同一神经形态基底上实现模拟信号处理与数字计算的无缝切换,并通过硬件实验验证其稳健性。
2025-02-27 cs.NE
Multi-Level Resistive Synapses for On-Chip Neural Networks: A Physics-Based Design of a Memristive Crossbar Fabric with Quasi-Continuous Conductance States
提出基于离子输运物理的忆阻突触模型,实现准连续电导态,并构建1T1R交叉阵列,通过模拟域原位学习支持大规模语言模型,效率远超传统CMOS。
2026-06-23 cond-mat.mes-hall cs.AR cs.ET
Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning
类脑计算和脉冲神经网络(SNN)模仿生物系统的行为,并且由于其以高能量效率执行认知任务的潜力而引起人们的兴趣。然而,一些因素,如时间动力学和尖峰时间证明是至关重要的信息处理,但往往被忽视的现有工作,限制了类脑计算的性能和应用。一方面,由于缺乏有效的SNN训练算法,很难利用时间神经动力学。许多现有算法仍然以统计方式处理神经元激活。另一方面,利用时间神经动力学也对硬件设计提出了挑战。突触表现出时间动态性,充当保存历史信息的记忆单元,但通常被简化为与重量的连接。大多数现有模型将突触激活集成在一些存储介质中以表示膜电位,并在神经元发出尖峰后建立膜电位的硬重置。这样做是为了硬件的简单性,只需要一个“清除”信号来擦除存储介质,但会破坏存储在神经元中的时间信息。在这项工作中,我们推导出一个有效的训练算法的泄漏集成和消防神经元,这是能够训练SNN学习复杂的时空模式。我们在两个复杂的数据集上实现了具有竞争力的准确性。我们还通过一个新的时间模式联想任务证明了我们的模型的优势。与此算法的协同设计,我们已经开发了一个CMOS电路实现的忆阻器为基础的神经元和突触网络,保留关键的神经动力学,降低了复杂性。这种电路实现的神经元模型进行了模拟,以证明它的能力,以适应阈值的时间尖峰模式。
2021-05-07 cs.AR cs.NE
Improving Inference Lifetime of Neuromorphic Systems via Intelligent Synapse Mapping
非易失性存储器(NVM),如电阻式RAM(RRAM),用于神经形态系统中,以实现高密度和低功耗的模拟突触权重。不幸的是,RRAM单元可以在读取其内容一定次数后切换其状态。这种行为挑战了在神经形态系统上实现机器学习推理的完整性和程序一次读取多次的哲学,影响了服务质量(QoS)。高温和频繁使用可以显著缩短RRAM单元在绝对需要重新编程之前可以可靠读取的次数。我们提出了一个架构的解决方案,以延长基于RRAM的neuromorphic系统的读耐力。我们做出了两个重要贡献。首先,我们将RRAM单元的读耐受性公式化为编程突触权重及其在机器学习工作负载内的激活的函数。其次,我们提出了一个智能的工作负载映射策略,结合耐力配方放置的突触的机器学习模型到RRAM单元的硬件。目标是延长推断寿命,推断寿命定义为在训练的权重需要在系统的RRAM单元上重新编程之前,模型可以用于生成输出(推断)的次数。我们评估我们的架构解决方案与机器学习工作负载上的一个基于RRAM的神经形态系统的周期准确的模拟器。我们的研究结果表明,推理寿命显着增加,只有最小的性能影响。
2021-06-16 cs.AR cs.NE
STDP Based Pruning of Connections and Weight Quantization in Spiking Neural Networks for Energy Efficient Recognition
具有大量权重和变化的权重分布的脉冲神经网络(SNN)可能难以在新兴的存内计算硬件中实现,这是由于交叉开关尺寸(实现点积)的限制、非CMOS器件中的电导水平的受限数量以及功率预算。我们提出了一个稀疏的SNN拓扑结构,修剪非关键连接,以减少网络的大小和剩余的关键突触的权重量化,以适应有限的电导水平。修剪基于幂律权重依赖尖峰定时依赖可塑性(STDP)模型;保留具有高尖峰相关性的前神经元和后神经元之间的突触,而修剪具有低相关性或不相关尖峰活动的突触。保留的连接的权重被量化为电导水平的可用数量。修剪非关键连接和量化关键突触的权重的过程在训练期间以规则的间隔执行。我们在MNIST数据集和Caltech-101数据集的图像子集上评估了我们的稀疏和量化网络。压缩拓扑在MNIST(Caltech-101)数据集上实现了90.1%(91.6%)的分类准确率,能量和面积分别提高了3.1倍(2.2倍)和4倍(2.6倍)。压缩拓扑是能量和面积有效的,同时保持2层全连接SNN拓扑的相同分类精度。
2017-10-12 cs.NE
Hardware-friendly Neural Network Architecture for Neuromorphic Computing
神经网络体系结构的硬件-软件协同优化正在成为研究的主流,特别是由于商业神经形态芯片(如IBM Truemorth和Intel Loihi)的出现。考虑到硬件限制,特定神经网络架构的开发与神经形态硬件的设计同步进行,将对完整的系统级应用产生巨大影响。在本文中,我们研究了各种神经网络架构,并提出了一个是硬件友好的神经形态硬件与交叉阵列的突触。考虑到硬件的限制,我们演示了如何可以设计的神经形态硬件,以最大限度地提高分类精度的训练网络架构,同时,我们选择了一个神经网络架构,以最大限度地利用神经形态核心。我们还提出了一个框架映射到一个神经形态芯片的神经网络命名为映射和映射(MaD)框架。MaD框架被设计为通用的,因为它是一个Python包装器,原则上可以与任何神经形态芯片的模拟器工具集成。
2019-04-03 cs.NE
A High Throughput Generative Vector Autoregression Model for Stochastic Synapses
通过模仿大脑的突触连接和可塑性,新兴的电子纳米器件提供了新的机会,作为神经形态系统的构建模块。基于新兴器件的计算架构的大规模仿真的一个挑战是准确地捕获器件响应、滞后、噪声和时域中以及不同器件参数之间的协方差结构。我们解决这个挑战与突触阵列的高吞吐量生成模型,是基于最近可用的类型的电阻存储单元的电气测量数据。我们将这个真实世界的数据映射到一个向量自回归随机过程,以准确地再现设备参数和它们的互相关结构。虽然与测量数据非常匹配,但我们的模型仍然非常快;我们为CPU和GPU提供了并行实现,并展示了超过10亿个单元的阵列大小和每秒超过1亿次权重更新的吞吐量,高于30帧/秒4K视频流的像素速率。
2022-05-10 cond-mat.mes-hall cs.NE stat.ML