Neuromorphic Hebbian learning with magnetic tunnel junction synapses
本文提出利用MTJ的二元电阻状态保证推理精度、并利用随机STT切换实现无监督赫布学习的神经形态网络,实验验证其STDP学习能力并在MNIST上取得有竞争力的准确率。
2023-08-21 cs.NE
MorphIC: A 65-nm 738k-Synapse/mm$^2$ Quad-Core Binary-Weight Digital Neuromorphic Processor with Stochastic Spike-Driven Online Learning
神经网络加速器领域的最近趋势研究权重量化作为增加硬件设备的资源和功率效率的手段。由于完整的片上权重存储对于避免片外存储器访问的高能量成本是必要的,因此对于权重存储的存储器减少要求被推向使用二进制权重,当使用量化感知训练技术时,二进制权重被证明在许多应用上具有有限的准确度降低。并行地,脉冲神经网络(SNN)架构被探索以在处理稀疏的基于事件的数据流时进一步降低功率,而片上基于尖峰的在线学习出现为在训练阶段期间功率和资源受限的应用的关键特征。然而,设计功率和面积高效的脉冲神经网络仍然需要开发特定的技术,以便在不损害突触密度的情况下利用二进制权重的片上在线学习。在这项工作中,我们展示了MorphIC,一个四核二进制权重数字神经形态处理器嵌入随机版本的尖峰驱动的突触可塑性(S-SDSP)学习规则和分层路由结构的大规模芯片互连。MorphIC SNN处理器在65 nm CMOS中为2.86 mm $^2$的有源硅面积嵌入了总共2k个泄漏积分激发(LIF)神经元和超过200万个塑性突触,实现了738 k个突触/mm $^2$的高密度。与先前提出的SNN相比,MorphIC在MNIST分类任务的面积精度权衡方面表现出数量级的改进,同时在能量精度权衡方面没有任何损失。
2019-07-16 cs.ET cs.NE
Quantized Non-Volatile Nanomagnetic Synapse based Autoencoder for Efficient Unsupervised Network Anomaly Detection
Virginia Commonwealth University(弗吉尼亚联邦大学)
针对边缘设备实现自编码器异常检测的硬件资源限制问题,提出基于铁磁赛道磁畴壁突触的5态量化自编码器,通过硬件感知训练提升性能并减少权重更新,推动节能边缘实时检测处理器发展。
2023-09-12 cond-mat.mes-hall cs.LG cs.NE
Variational mean-field theory for training restricted Boltzmann machines with binary synapses
Sun Yat-sen University(中山大学)
只需要原始数据的无监督学习不仅是大脑皮层的基本功能,也是下一代人工神经网络的基础。然而,一个统一的理论框架来处理感觉输入,突触和神经活动在一起仍然缺乏。计算障碍源于突触的离散性以及学习这三个基本要素之间的复杂相互作用。在这里,我们提出了一个变分平均场理论,其中突触权重的分布被认为是。然后,无监督学习可以分解为两个相互交织的步骤:最大化步骤被执行为数据对数似然的下限的梯度上升,其中通过更新变分参数来确定突触权重分布,并且在等效或对偶神经网络上执行期望步骤作为消息传递过程,所述等效或对偶神经网络的参数由权重的变化参数指定分布因此,我们的框架提供了关于数据(或感觉输入),突触和神经活动如何相互作用的见解,以实现在感觉输入中提取统计特征的目标。这种变分框架在限制玻尔兹曼机与种植突触权重和手写数字学习中得到验证。
2020-08-18 cond-mat.dis-nn cs.LG cs.NE
NeoHebbian Synapses to Accelerate Online Training of Neuromorphic Hardware
针对神经形态系统先进学习规则对复杂突触器件的需求,提出并验证基于ReRAM的neoHebbian突触,通过双状态变量实现高效在线训练,经仿真证实其能稳健支持快速、紧凑且节能的先进学习规则实现。
2024-11-27 cs.ET cs.NE
Optimal Learning with Excitatory and Inhibitory synapses
描述权结构和输入/输出统计之间的关系是理解神经电路计算能力的基础。在这项工作中,我研究的问题,存储之间的关联存在的相关性模拟信号,使用统计力学的方法。我的特点是典型的学习性能的随机输入和输出过程的功率谱。我发现,最佳的突触重量配置达到0.5的能力,任何分数的兴奋性抑制的重量,并有一个特殊的突触分布与沉默突触的有限部分。我进一步提供了典型的学习成绩和主成分分析在单一情况下之间的联系。这些结果可能会揭示大脑回路的突触轮廓,如小脑结构,被认为参与处理时间依赖性信号和执行在线预测。
2020-05-25 cond-mat.dis-nn cs.NE q-bio.NC
Symphony from Synapses: Neocortex as a Universal Dynamical Systems Modeller using Hierarchical Temporal Memory
HTM Theory Group(HTM理论组)
大脑的逆向工程被证明是困难的,也许是不可能的。虽然许多人认为这只是时间和精力的问题,但不同的方法可能会有所帮助。在这里,我们描述了一个非常简单的想法,它解释了大脑的力量以及它的结构,利用复杂的动力学,而不是抽象它。正如图灵机是一台在符号世界中运行的通用数字计算机一样,我们提出大脑是一个通用动力系统建模器,自下而上进化(自身使用相互连接的嵌套网络,自组织动力系统),在动力系统的世界中繁荣发展。应用数学的最新进展为抽象动力系统相互作用时会发生什么提供了令人吃惊的证据。描述系统A的关键潜在信息可以被系统B从非常简单的信号中提取出来,并且信号可以被一个系统用来控制和操纵其他系统。利用这些事实,我们展示了新皮层的一个区域如何利用其动态来内在地“计算”外部和内部世界。基于现有的“静态”皮质计算模型(Hawkins的分层时间记忆- HTM),我们描述了如何将新皮质区域视为一个组件网络,这些组件共同形成一个动态系统建模模块,通过感觉和运动通路连接到外部世界,并形成大脑中更大的动态网络的一部分。动态HTM的经验建模和模拟可以通过简单的扩展和现有开源软件的组合来实现。我们列出了一些相关项目。
2015-12-16 cs.AI cs.NE q-bio.NC
Training of Quantized Deep Neural Networks using a Magnetic Tunnel Junction-Based Synapse
Technion - Israel Institute of Technology(以色列理工学院)
量化神经网络(QNN)作为深度神经网络的计算复杂性和存储强度的解决方案正在被积极研究。这引发了开发算法的努力,这些算法支持使用量化的权重和激活值进行推理和训练,而不会牺牲准确性。最近的一个例子是用于三进制(TNN)和二进制(BNN)神经网络随机训练的GXNOR框架。在本文中,我们将展示如何使用磁性隧道结(MTJ)器件来支持QNN训练。我们介绍了一种新的硬件突触电路,使用MTJ的随机行为,以支持的更新。所提出的电路能够处理QNN训练的近记忆(PNM),从而减少数据移动。我们在MNIST、SVHN和CIFAR 10数据集上模拟了基于MTJ的TNN随机训练,分别达到了98.61%、93.99%和82.71%的准确率(与GXNOR算法相比,下降不到1%)。我们评估了突触阵列的性能潜力,并表明所提出的突触电路可以原位训练三元网络,前馈18.3TOPs/W和3 TOPs/W的权重更新。
2022-05-29 cs.AR cs.ET cs.LG
STDP Based Pruning of Connections and Weight Quantization in Spiking Neural Networks for Energy Efficient Recognition
具有大量权重和变化的权重分布的脉冲神经网络(SNN)可能难以在新兴的存内计算硬件中实现,这是由于交叉开关尺寸(实现点积)的限制、非CMOS器件中的电导水平的受限数量以及功率预算。我们提出了一个稀疏的SNN拓扑结构,修剪非关键连接,以减少网络的大小和剩余的关键突触的权重量化,以适应有限的电导水平。修剪基于幂律权重依赖尖峰定时依赖可塑性(STDP)模型;保留具有高尖峰相关性的前神经元和后神经元之间的突触,而修剪具有低相关性或不相关尖峰活动的突触。保留的连接的权重被量化为电导水平的可用数量。修剪非关键连接和量化关键突触的权重的过程在训练期间以规则的间隔执行。我们在MNIST数据集和Caltech-101数据集的图像子集上评估了我们的稀疏和量化网络。压缩拓扑在MNIST(Caltech-101)数据集上实现了90.1%(91.6%)的分类准确率,能量和面积分别提高了3.1倍(2.2倍)和4倍(2.6倍)。压缩拓扑是能量和面积有效的,同时保持2层全连接SNN拓扑的相同分类精度。
2017-10-12 cs.NE
Neuromorphic Online Learning for Spatiotemporal Patterns with a Forward-only Timeline
Syracuse University(雪城大学)
针对传统BPTT训练SNNs内存与计算成本高、现有在线算法模型简化导致性能差的问题,提出适配带指数衰减突触和软复位LIF神经元的SOLSA在线学习算法,兼具低内存与高精度优势。
2023-07-21 cs.LG cs.NE
Neural Sampling Machine with Stochastic Synapse allows Brain-like Learning and Inference
University of Notre Dame(圣母大学);University of California Irvine(加州大学欧文分校)
许多现实世界的关键任务应用程序需要从噪声数据中持续在线学习,并在定义的置信水平下进行实时决策。概率模型和随机神经网络可以显式地处理数据中的不确定性,并允许动态自适应学习,但它们在低功耗基板上的实现仍然是一个挑战。在这里,我们介绍了一种新的硬件结构,实现了一类新的随机NN称为神经采样机,利用突触连接的随机性近似贝叶斯推断。利用新兴材料和器件中原子水平上的固有非线性和随机性,使我们能够捕获生物突触中分子水平上的突触随机性。我们实验证明在硅片上的混合随机突触配对的铁电场效应晶体管为基础的模拟重量细胞与两端随机选择器元件。这样的随机突触可以集成在用于存储器中计算的完善的交叉杆阵列架构内。我们的实验表明,绝缘体和金属状态之间的选择器元件的固有的随机切换引入了一个乘性的随机噪声NSM的突触内的样品的FeFET的电导状态,无论是在学习和推理。我们执行网络级模拟,以突出由NSM的随机突触引入的显著的自动权重归一化功能,该功能为持续在线学习铺平了道路,而无需任何离线批量归一化。我们还展示了贝叶斯推理能力的随机突触在推理模式,从而占数据的不确定性。我们在标准图像分类任务上报告了98.25%的准确率,以及旋转样本中数据不确定性的估计。
2021-02-20 cond-mat.dis-nn cond-mat.mes-hall cs.LG
Personalized Spiking Neural Networks with Ferroelectric Synapses for EEG Signal Processing
Integrated Systems Laboratory, Department of Information Technology and Electrical Engineering, ETH Zürich(集成系统实验室,信息科技与电气工程系,苏黎世联邦理工学院)
本文提出利用铁电突触实现个性化EEG信号处理,通过设备感知训练和权重迁移策略,在资源受限平台实现高效自适应SNN解码。
2026-01-05 cs.AI cs.ET cs.LG
On-chip learning for domain wall synapse based Fully Connected Neural Network
自旋电子器件被认为是实现神经形态系统或硬件神经网络的有前途的候选者,预计在某些数据分类和回归任务中,它们比其他现有的计算系统表现得更好。在本文中,我们设计了一个前馈全连接神经网络(FCNN),使用自旋轨道力矩驱动的畴壁器件作为突触和基于晶体管的模拟电路作为神经元,没有隐藏层。还使用晶体管设计了反馈电路,其在每次迭代时使用随机梯度下降(SGD)方法计算训练网络所需的突触的权重的变化。随后,它将写入电流脉冲发送到基于畴壁的突触设备,该突触设备移动畴壁并更新突触的权重。通过微磁模拟,模拟电路模拟和数值求解FCNN训练方程的组合,我们证明了“片上”训练的设计FCNN在MNIST数据库的手写数字本文。我们报告了训练和测试的准确性,突触设备中用于训练的能量消耗以及FCNN硬件实现可能限制其测试准确性的问题。
2018-11-25 cs.ET cs.NE physics.app-ph
Layer-wise synapse optimization for implementing neural networks on general neuromorphic architectures
深度人工神经网络(ANN)可以表示各种复杂函数。然而,在冯·诺依曼计算系统中实现人工神经网络,由于CPU和内存之间产生的瓶颈,会导致高能耗。在神经形态系统上的实现可能有助于减少能量需求。传统的人工神经网络必须转换为等效的脉冲神经网络(SNN),以便部署在神经形态芯片上。本文提出了一种实现这种翻译的方法。我们通过在每一层形成最小平方误差近似问题,将ANN权重逐层映射到SNN突触。然后可以针对ANN激活函数和SNN神经元的给定选择找到突触权重的最优集合。使用适当的约束求解器,我们可以生成与数字,模拟或混合芯片架构兼容的SNN。我们提出了一个最佳的节点修剪方法,允许SNN层的大小由设计者设置。为了说明这个过程,我们将三个ANN(包括一个卷积网络)转换为SNN。在这三种情况下,都使用了一个简单的线性规划求解器。实验结果表明,所得到的网络保持与原人工神经网络的协议和评价任务的优异性能。网络的大小也有所减少,任务性能几乎没有损失。
2018-02-20 cs.NE
Using noise to probe recurrent neural network structure and prune synapses
大脑中的许多网络连接稀疏,大脑在发育和学习过程中消除了突触。大脑如何决定哪些突触要修剪?在递归网络中,确定两个神经元之间突触的重要性是一个困难的计算问题,这取决于两个神经元所扮演的角色以及它们之间所有可能的信息流路径。噪音在神经系统中无处不在,通常被认为是一种需要克服的刺激物。在这里,我们认为噪音可以在突触修剪中发挥作用,使大脑能够探测网络结构并确定哪些突触是多余的。我们构建了一个简单的、局部的、无监督的可塑性规则,该规则仅使用突触权重和邻近神经元的噪声驱动协方差来加强或修剪突触。对于一个子集的线性和整流线性网络,我们证明了这一规则保留了原始矩阵的频谱,从而保持网络动态,即使当修剪突触的分数渐近接近1。可塑性规则在生物学上是合理的,并可能表明噪声在神经计算中的新作用。
2021-07-16 cs.NE q-bio.NC
Synaptic Dynamics Realize First-order Adaptive Learning and Weight Symmetry
University of California at Santa Barbara(加州大学圣巴巴拉分校)
基于自适应的一阶自适应优化方法,如Adam优化器,在人工网络的训练中很流行,取得了最先进的结果。这项工作试图回答的问题,它是否是可行的生物神经系统,采用这样的优化方法。为此,我们展示了一个实现的亚当优化器使用生物学上合理的机制突触。所提出的学习规则具有明确的生物学对应性,在时间上连续运行,并实现了与亚当相当的性能。此外,我们提出了一种新的方法,灵感来自神经科学中观察到的突触的易感性,以规避反向传播(BP)中的重量传输问题的生物难以置信。该方法只利用局部信息,不需要单独的训练阶段,建立并保持了前向和后向信号路径的权值对称性,适用于提出的生物学上合理的Adam学习规则。这些机制可能揭示生物突触动力学促进学习的方式。
2022-12-01 cs.AI cs.NE
D-Score: A Synapse-Inspired Approach for Filter Pruning
INTHESMART Co., Ltd.(INTHESMART株式会社);Seoul National University College of Medicine(首尔大学医学院);Seoul National University Graduate School(首尔大学研究生院);XAIMED
本研究受突触系统神经递质机制启发,提出D-Score滤波器剪枝方法,通过分别评估滤波器正负权重的独立重要性排序并剪枝低影响滤波器,在CIFAR-10和ImageNet上实现了无显著准确率下降的大幅模型压缩。
2023-08-08 cs.LG cs.NE
Reconstructing Neural Parameters and Synapses of arbitrary interconnected Neurons from their Simulated Spiking Activity
为了理解神经回路的行为,我们有一个先决条件,即我们有一个描述这个回路的动力系统模型。该模型由几个参数决定,不仅包括突触权重,还包括每个神经元的参数。现有的工作主要集中在突触权重或神经元参数。在本文中,我们提出了一种算法来重建所有参数,包括突触的尖峰神经元模型的权重。该模型以尤金·M. Izhikevich(Izhikevich 2007)由两个微分方程组成,涵盖了不同类型的皮层神经元。它结合了Hodgkin-Huxley型动力学的动力学性质和高计算效率。所提出的算法使用相应的膜电位的模型的重建的记录,并由两个主要组成部分。第一部分是一个基于秩的遗传算法(GA),它是用来找到模型的神经参数。第二种方法是最小均方方法,该方法通过最小化每个时间步长的计算和测量的膜电位之间的平方误差来计算所有互连神经元的突触权重。在准备重建的神经参数和突触的权重,从实际测量的膜电位,有前途的结果的基础上产生的随机参数化Izhikevich模型的模拟数据。该方法不仅收敛于神经元参数的全局最小值,而且能够高精度地逼近神经元的突触权值。
2016-08-22 cs.NE q-bio.NC
Improving Inference Lifetime of Neuromorphic Systems via Intelligent Synapse Mapping
非易失性存储器(NVM),如电阻式RAM(RRAM),用于神经形态系统中,以实现高密度和低功耗的模拟突触权重。不幸的是,RRAM单元可以在读取其内容一定次数后切换其状态。这种行为挑战了在神经形态系统上实现机器学习推理的完整性和程序一次读取多次的哲学,影响了服务质量(QoS)。高温和频繁使用可以显著缩短RRAM单元在绝对需要重新编程之前可以可靠读取的次数。我们提出了一个架构的解决方案,以延长基于RRAM的neuromorphic系统的读耐力。我们做出了两个重要贡献。首先,我们将RRAM单元的读耐受性公式化为编程突触权重及其在机器学习工作负载内的激活的函数。其次,我们提出了一个智能的工作负载映射策略,结合耐力配方放置的突触的机器学习模型到RRAM单元的硬件。目标是延长推断寿命,推断寿命定义为在训练的权重需要在系统的RRAM单元上重新编程之前,模型可以用于生成输出(推断)的次数。我们评估我们的架构解决方案与机器学习工作负载上的一个基于RRAM的神经形态系统的周期准确的模拟器。我们的研究结果表明,推理寿命显着增加,只有最小的性能影响。
2021-06-16 cs.AR cs.NE
Multiple-Step Quantized Triplet STDP Implemented with Memristive Synapse
针对生物神经突触变化表征需求,提出基于忆阻突触的多步量化三元组STDP混合信号电路方案,采用脉宽编码权重调制信号提升鲁棒性,经仿真验证并与算法结果对比评估性能。
2023-08-28 cs.NE cs.SY eess.SY
An On-chip Trainable and Clock-less Spiking Neural Network with 1R Memristive Synapses
脉冲神经网络(SNN)正在被探索,试图模仿大脑的能力,学习和识别在低功耗。具有高度可扩展的电阻性RAM或RRAM阵列的纵横架构在外围用作突触权重和神经元驱动器是SNN的有吸引力的选择。识别(类似于读取突触权重)需要跨RRAM施加小幅度偏置以使电导变化最小化。学习(类似于写入或更新突触权重)需要大幅度偏置脉冲来产生电导变化。与生物学类似,同时和异步地执行读取和写入的矛盾偏差幅度要求是一个重大挑战。文献中提出的解决方案依赖于基于时钟的读和写操作的时分复用,或者当与写重合时忽略读的近似。在这项工作中,我们克服了这一挑战,并提出了一种无时钟的方法,其中读取和写入在不同的频域中进行。这使得学习和识别同时在SNN上。我们在SPICE电路模拟器中通过转换两层前馈Iris分类SNN来验证我们的方案,以证明软件等效性能。系统性能不会受到实际RRAM中电导的电压依赖性的不利影响,尽管偏离线性。总的来说,我们的方法可以直接在硬件中实现生物SNN算法。
2017-11-03 cs.ET cs.NE
Multi-Level Resistive Synapses for On-Chip Neural Networks: A Physics-Based Design of a Memristive Crossbar Fabric with Quasi-Continuous Conductance States
提出基于离子输运物理的忆阻突触模型,实现准连续电导态,并构建1T1R交叉阵列,通过模拟域原位学习支持大规模语言模型,效率远超传统CMOS。
2026-06-23 cond-mat.mes-hall cs.AR cs.ET
Organic log-domain integrator synapse
突触在记忆、学习和认知中起着至关重要的作用。它们的主要功能包括将突触前电压尖峰转换为突触后电流,以及缩放输入信号。已经提出了几种受大脑启发的架构来模拟生物突触的行为。虽然这些对于探索神经系统的特性是有用的,但是制造具有生物学上合理的时间常数和可调增益的生物相容性和柔性电路的挑战仍然存在。在这里,一个物理上灵活的有机对数域积分器突触电路,以解决这一挑战。特别是,该电路是使用有机基材料制造的,这些材料是电活性的,提供灵活性和生物相容性,以及生物学上合理的时间常数(在学习神经代码和编码时空模式中至关重要)。使用10 nF的突触电容器,弯曲前和弯曲过程中的时间常数分别达到126 ms和221 ms。柔性突触电路的特点是弯曲之前和弯曲过程中,随后的加权电压,突触电容,和差异的突触前信号的时间常数的影响的研究。
2022-03-23 cs.NE eess.SP
Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses
尖峰循环神经网络(RNN)是一种很有前途的工具,用于解决各种复杂的认知和运动任务,由于其丰富的时间动态和稀疏处理。然而,在专用的神经形态硬件上训练尖峰RNN仍然是一个开放的挑战。这主要是由于缺乏本地的,硬件友好的学习机制,可以解决时间信用分配问题,并确保稳定的网络动态,即使在权重分辨率是有限的。如果人们诉诸于使用忆阻器件进行存内计算来解决冯-诺依曼瓶颈问题,则这些挑战将进一步加剧,代价是尖峰RNN的计算和工作存储器两者的可变性大幅增加。为了解决这些挑战,并使在线学习忆阻神经形态RNN,我们提出了一个模拟框架的基础上,准确和全面的相变存储器(PCM)设备模型的差分架构交叉阵列。我们训练一个尖峰RNN,其权重在所提出的仿真框架中进行仿真,使用最近提出的电子道具学习规则。虽然e-prop局部近似理想的突触更新,但由于实质上的PCM非理想性,难以在忆阻衬底上实现更新。我们比较了几种广泛适用的权重更新方案,这些方案主要旨在应对这些设备的非理想性,并证明了累积梯度可以在忆阻衬底上在线有效地训练尖峰RNN。
2021-09-25 cs.ET cs.NE
Sketch of a novel approach to a neural model
Carl Correns Foundation for Mathematical Biology(数学生物学卡尔·科伦斯基金会)
本文提出一种以神经元为中心的模型,强调细胞内信号选择和突触可塑性,挑战传统突触中心模型,强调神经元自身内存和信号过滤,为神经模型提供新视角。
2026-11-02 cond-mat.dis-nn cs.AI cs.NE
Evolving Unipolar Memristor Spiking Neural Networks
类脑计算-硬件中的类脑计算-通常需要无数CMOS尖峰神经元通过密集的纳米级塑料突触网互连。忆阻器由于其状态性和低功耗实现的潜力而经常被引用为强突触候选者。到目前为止,大量的研究集中在双极忆阻器突触上,它能够增加权重的变化,并且可以在赫布学习方案下提供自适应自组织。在本文中,我们考虑单极忆阻器突触-一个设备能够非赫布之间切换只有两个状态(导电和电阻)通过应用一个合适的输入电压-并讨论其适用于神经形态系统。一个自适应的进化过程是用来自主地找到高度适合的网络配置。对两个机器人任务的实验表明,单极忆阻器网络比双极忆阻器网络和包含恒定非塑性连接的网络更快地发展任务解决控制器,同时执行至少100%。
2015-09-01 cs.NE
Using Connectome Features to Constrain Echo State Networks
The University of Western Ontario(西安大略大学)
我们报告了一个改进传统的回声状态网络(ESN)在三个基准混沌时间序列预测任务,单独使用果蝇连接体数据。我们还研究了关键连接体衍生的结构特征对预测性能的影响-独特地桥接神经生物学结构和机器学习功能;并发现增加全局平均聚类系数和修改权重的位置-通过排列它们的突触-突触伙伴-可以导致模型方差增加和(在某些情况下)性能下降。在所有我们认为四个拓扑点修改的connectome-derived ESN水库(空模型):即,我们改变网络的稀疏性,重新绘制非零权重从一个均匀的分布,置换非零权重的位置,并增加网络的全球平均聚类系数。我们通过对Mackey-Glass 17(MG-17),Lorenz和Rossler混沌时间序列的大小变体进行时间序列预测实验,将四个ESN模型类和空模型与传统的ESN进行比较;表示每个模型的性能和训练验证试验的方差。
2023-02-10 cs.LG cs.NE
Supervised Learning in Spiking Neural Networks with Phase-Change Memory Synapses
脉冲神经网络(SNN)是一种人工计算模型,它的灵感来自于大脑在时域中自然编码和处理信息的能力。增加的时间维度被认为使它们比传统的人工神经网络在计算上更有效,尽管它们的全部计算能力还有待探索。最近,基于非易失性存储器交叉阵列的计算存储器架构已经显示出在人工神经网络和脉冲神经网络中实现并行计算的巨大前景。在这项工作中,我们首次通过实验证明了使用纳米级和随机相变突触实现高性能事件驱动的原位监督学习系统的可行性。我们的SNN被训练来识别在时域中使用尖峰编码的字母的音频信号,并在精确的时刻生成尖峰序列来表示其对应图像的像素强度。此外,通过捕获设备实验行为的统计模型,我们研究了用于提高基于计算内存的系统的训练和推理性能的架构和系统级解决方案。将监督SNN的计算潜力与计算内存的并行计算能力相结合,这项工作为下一代高效的大脑启发系统铺平了道路。
2019-05-28 cs.ET cs.NE
Exploring Gain-Doped-Waveguide-Synapse for Neuromorphic Applications: A Pulsed Pump-Signal Approach
针对传统技术在神经形态处理器灵活性、可扩展性和能效上的限制,本研究开创性提出波导上掺杂增益层突触结合脉冲泵浦-信号机制,实现非线性脉冲变换与类脑尖峰响应,支持短期记忆等关键特性,提升神经形态计算性能。
2025-07-08 cs.NE physics.optics
Triplet Spike Time Dependent Plasticity: A floating-gate Implementation
突触在神经网络的学习过程中起着重要的作用,根据突触前和突触后锋电位出现的时间差来改变突触强度的学习规则被称为锋电位时间依赖可塑性(Spike Time Dependent Plasticity,STDP)。最常用的规则基于一个前尖峰和一个后尖峰之间的时间差来假定体重变化,因此被称为双峰STDP(DSTDP)。然而,D-STDP不能重现许多生物实验的结果;最近提出了一种三重态STDP(T-STDP),它将三重峰视为基本单位来解释这些观察结果。本文介绍了一种紧凑的实现突触使用单浮栅(FG)晶体管,可以存储在一个非易失性的方式的权重,并证明了三重STDP(T-STDP)的学习规则,根据三重峰修改漏极电压。我们描述了一个数学过程,以获得T-STDP的FG设备的控制电压,并显示在台积电0.35微米CMOS工艺制造的FG突触的测量结果,以支持理论。漏极电压波形发生器电路的可能的VLSI实现与模拟结果。
2015-12-29 cs.NE
Bruno: Backpropagation Running Undersampled for Novel device Optimization
Zernike Institute for Advanced Materials(泽尼克先进材料研究所);Groningen Cognitive Systems and Materials Center (CogniGron)(格罗宁根认知系统与材料中心);University of Groningen(格罗宁根大学)
BRUNO是一种针对硬件突触和神经元的自下而上训练算法,通过考虑物理设备特性提升神经网络效率。
2026-01-13 cs.AI cs.NE
Synaptic Activation and Dual Liquid Dynamics for Interpretable Bio-Inspired Models
Cyber-Physical Systems Research Unit(网络物理系统研究单元);Vienna University of Technology (TU Wien)(维也纳技术大学)
本文提出了一种统一框架,通过结合突触激活与双流体动力学,提升生物启发模型的可解释性和准确性,应用于车道保持控制任务。
2026-02-13 cs.AI cs.LG cs.NE
CMOS-based area-and-power-efficient neuron and synapse circuits for time-domain analog spiking neural networks
针对传统模拟神经电路动态范围受限、能耗与面积较大的问题,提出由漏电流驱动、反相器比较器发放的时域神经元/突触结构,并经65 nm CMOS芯片验证毫秒级通信与储备计算学习能力。
2023-02-02 cs.NE
Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning
类脑计算和脉冲神经网络(SNN)模仿生物系统的行为,并且由于其以高能量效率执行认知任务的潜力而引起人们的兴趣。然而,一些因素,如时间动力学和尖峰时间证明是至关重要的信息处理,但往往被忽视的现有工作,限制了类脑计算的性能和应用。一方面,由于缺乏有效的SNN训练算法,很难利用时间神经动力学。许多现有算法仍然以统计方式处理神经元激活。另一方面,利用时间神经动力学也对硬件设计提出了挑战。突触表现出时间动态性,充当保存历史信息的记忆单元,但通常被简化为与重量的连接。大多数现有模型将突触激活集成在一些存储介质中以表示膜电位,并在神经元发出尖峰后建立膜电位的硬重置。这样做是为了硬件的简单性,只需要一个“清除”信号来擦除存储介质,但会破坏存储在神经元中的时间信息。在这项工作中,我们推导出一个有效的训练算法的泄漏集成和消防神经元,这是能够训练SNN学习复杂的时空模式。我们在两个复杂的数据集上实现了具有竞争力的准确性。我们还通过一个新的时间模式联想任务证明了我们的模型的优势。与此算法的协同设计,我们已经开发了一个CMOS电路实现的忆阻器为基础的神经元和突触网络,保留关键的神经动力学,降低了复杂性。这种电路实现的神经元模型进行了模拟,以证明它的能力,以适应阈值的时间尖峰模式。
2021-05-07 cs.AR cs.NE
Hybrid Synaptic Structure for Spiking Neural Network Realization
本文提出基于RSFQ的紧凑JJ-Synapse突触,可为JJ-Soma提供正负加权输入,具备数十吉赫兹高速、低CMOS数个数量级功耗及商用Nb工艺可制造性,并完成设计、制造与部分测试。
2023-11-13 cond-mat.supr-con cs.AR cs.NE
A Synapse-Threshold Synergistic Learning Approach for Spiking Neural Networks
University of Electronic Science and Technology of China(电子科技大学);Sichuan Provincial People’s Hospital(四川省人民医院);Chinese Academy of Medical Sciences(中国医学科学院);Zhengzhou University(郑州大学)
本研究提出一种在脉冲神经网络中同时训练突触权重和脉冲阈值的突触-阈值协同学习方法(STL-SNNs),在多种数据集上表现优异,具备鲁棒性和低能耗,并能通过联合决策框架进一步提升性能。
2023-04-03 cs.AI cs.NE q-bio.NC
Learning Delays Through Gradients and Structure: Emergence of Spatiotemporal Patterns in Spiking Neural Networks
本文提出结合逐突触延迟学习(DCLS)与动态剪枝(DEEP R和RigL)的脉冲神经网络,在原始海德堡数字基准上验证了延迟学习与剪枝结合的有效性,并发现训练后时空模式得以保留,为神经形态计算奠定基础。
2024-11-08 cs.NE
A Fully Memristive Spiking Neural Network with Unsupervised Learning
University of Michigan(密歇根大学);University of Western Australia(西澳大学)
我们提出了一个完全忆阻的脉冲神经网络(MSNN)的物理可实现的忆阻神经元和忆阻突触实现无监督的尖峰时间依赖可塑性(STDP)的学习规则。该系统是完全忆阻的,因为神经元和突触动力学都可以通过使用忆阻器来实现。该神经元使用SPICE级忆阻集成和激发(MIF)模型实现,该模型由实现不同去极化、超极化和复极化电压波形所需的最少数量的电路元件组成。所提出的MSNN唯一地实现STDP学习,通过使用来自突触上的电压波形变化的忆阻突触中的累积权重变化,所述电压波形变化在训练过程中由突触前和突触后尖峰电压信号引起。两种类型的MSNN架构进行了研究:1)一个生物合理的记忆检索系统,和2)多类分类系统。我们的电路仿真结果验证了MSNN的无监督学习的有效性,通过复制生物记忆检索机制,并实现了97.5%的准确率在4-模式识别问题在一个大规模的歧视MSNN。
2022-03-10 cs.AI cs.ET cs.NE
Evolving Spiking Networks with Variable Resistive Memories
类脑计算是一种需要自适应学习机制的类脑信息处理范式。脉冲神经进化系统用于此目的;可塑性电阻存储器被实现为脉冲神经网络中的突触。进化设计过程利用参数自适应,并允许拓扑结构和突触权重以自主方式为每个网络进化。可变电阻存储器是这项研究的重点;每个突触都有自己的电导曲线,可以修改设备的塑性行为,并可能在进化过程中发生变化。这些可变电阻网络上的噪声机器人动态奖励的情况下,对两个静态电阻存储器和一个系统只包含标准连接进行评估。结果表明,额外的行为自由度自由度的网络纳入可变电阻记忆使他们能够胜过比较突触类型。
2015-05-17 cs.NE
A Max-Sum algorithm for training discrete neural networks
Politecnico di Torino(都灵理工大学);Human Genetics Foundation(人类遗传学基金会);Collegio Carlo Alberto(卡洛·阿尔贝托学院)
我们提出了一个有效的学习算法的问题,训练神经网络的离散突触,一个著名的硬(NP完全)离散优化问题。该算法是所谓的最大和(MS)算法的变体。特别是,我们展示了如何,有界整数权重与$q$不同的状态和独立的凹先验分布(如$l_{1}$正则化),该算法的时间复杂度可以扩展为$O\left(N\log N\right)$每个节点更新,从而把它与替代方案,如置信传播(BP),而不诉诸近似。有两种特殊情况特别令人感兴趣:二元突触$W\in\{-1,1\}$和具有$l_{0}$正则化的三元突触$W\in\{-1,0,1\}$。我们提出的算法在二进制感知器学习问题上表现得和BP一样好,并且可能更适合于解决完全连接的两层网络上的问题,因为使用MS方法自然地打破了两层网络中固有的对称性。
2015-08-13 cond-mat.dis-nn cs.LG cs.NE
Leveraging Non-Equilibrium ECRAM Dynamics for Short-Term Plasticity in Neuromorphic Circuits
Rochester Institute of Technology(罗切斯特理工学院)
本文提出一种跨层设备-电路-系统协同设计框架,利用ECRAM的非平衡离子动态实现神经形态电路中的短期可塑性,通过延迟反馈漏电积分与放电(LIF)神经元架构实现活动依赖性电导调制,展现突触增强和内在兴奋性调节功能。
2026-05-11 cs.NE eess.SP
A Digital Neuromorphic Architecture Efficiently Facilitating Complex Synaptic Response Functions Applied to Liquid State Machines
神经网络中的信息表示为神经元之间的加权连接或突触。当输入乘以神经网络权重时,由于神经网络的主要计算瓶颈是向量-矩阵乘法,因此这造成了问题。传统的处理架构不太适合模拟神经网络,通常需要大量的能量和时间。此外,生物神经网络中的突触不是二元连接,而是表现出非线性响应函数,因为神经递质在神经元之间发射和扩散。受神经科学原理的启发,我们提出了一种数字神经形态架构,尖峰时间处理单元(STPU),能够模拟任意复杂的突触反应功能,而不需要额外的硬件组件。我们考虑的范例尖峰神经元的时间编码的信息,而不是非尖峰率编码的神经元中使用的大多数神经网络。在这个范例中,我们研究液体状态机应用于语音识别,并显示如何与时间动态映射到STPU的液体状态机,展示了灵活性和效率的STPU的实例化神经算法。
2017-03-21 cs.NE q-bio.NC stat.ML
Learning Precise Spike Train to Spike Train Transformations in Multilayer Feedforward Neuronal Networks
我们推导出一个突触权重更新规则,用于学习时间上精确的尖峰训练到尖峰训练转换的多层前馈网络的尖峰神经元。该框架的目的是无缝地将误差反向传播推广到确定性尖峰神经元设置,严格基于尖峰定时,并避免调用与尖峰速率或尖峰概率模型有关的概念。推导是建立在两个创新。首先,提出了一种误差泛函,该泛函将网络的输出神经元发出的尖峰训练与期望的尖峰训练通过它们对虚拟突触后神经元的推定影响进行比较。该公式回避了尖峰对齐的需要,并导致所有感兴趣的量的封闭形式的解决方案。其次,将权重虚拟分配给尖峰而不是突触使得能够对输出的各个尖峰时间和突触权重以及网络中的所有中间神经元进行扰动分析,这产生了相对于所述实体的误差泛函的梯度。学习通过利用这些量的梯度下降机制进行。仿真实验证明了所提出的学习框架的有效性。这些实验还强调了兴奋性和抑制性神经元上突触之间的不对称性。
2016-01-08 cs.NE
On-chip learning in a conventional silicon MOSFET based Analog Hardware Neural Network
基于交叉阵列的模拟硬件神经网络(NN)中的片上学习与在传统计算机上训练NN相比在速度和能量方面具有主要优势。然而,迄今为止,模拟硬件NN的提议和实现主要涉及非易失性存储器(NVM)设备,如电阻式随机存取存储器(RRAM)、相变存储器(PCM)、自旋电子设备或浮栅晶体管作为突触。与传统的硅基CMOS芯片不同,基于RRAM、PCM或自旋电子器件的制造系统需要内部实验室设施,不能通过商业代工厂完成。浮栅晶体管需要大的电压脉冲来进行权重更新,这使得这种系统中的片上学习能量效率低下。本文提出并实现了通过SPICE模拟片上学习的模拟硬件NN只使用传统的硅基MOSFET(没有任何浮栅)作为突触,因为他们很容易制造。我们首先使用SPICE电路模拟器对我们的单晶体管突触的突触特性进行建模,并将其与实验获得的晶体管的电流-电压特性进行基准测试。接下来,我们使用这种晶体管突触设计全连接神经网络(FCNN)交叉阵列。我们还设计了用于神经元和突触权重更新计算的模拟外围电路,这是片上学习所需的,同样使用传统晶体管。在SPICE仿真器上对整个系统进行仿真,在标准Fisher's Iris数据集上获得了较高的训练和测试精度,该数据集广泛用于机器学习。我们还比较了我们的晶体管为基础的实现模拟硬件NN的速度和能量性能与一些以前的实现NN与NVM设备,并表现出相当的性能片上学习。
2019-07-01 cs.NE cs.SY eess.SY
Integrating Temporal Information to Spatial Information in a Neural Circuit
在本文中,我们考虑的确定性尖峰神经元网络,在离散时间同步发射,这样的脉冲神经网络的灵感来自网络的神经元和突触发生在大脑中。我们认为,在这样的网络中,时间信息转换为空间信息的问题,这是一个重要的任务,是由实际的大脑。具体来说,我们定义了两个问题:“第一个连续尖峰计数(FCSC)”和“总尖峰计数(TSC)”,模型尖峰和速率编码方面的时间信息转换为空间信息分别。假设$T$的时间输入信号的长度上界,我们设计了两个网络来解决这两个问题,每个网络使用$O(\log T)$神经元并在时间上终止于$1$。我们还证明了,没有网络少于$T$神经元,解决任何一个问题的时间$0$。
2020-06-15 cs.DC cs.NE
Bio-Inspired Neuron Synapse Optimization for Adaptive Learning and Smart Decision-Making
Department of Computer Science and Engineering, Adamas University(亚当斯大学计算机科学与工程系)
本文提出受神经机制启发的元启发式算法 NSO,通过基于适应度的突触权重更新、自适应剪枝及全局局部双重引导,在 CEC 2014 基准测试中收敛速度、鲁棒性和可扩展性均优于 HOA 等算法。
2025-10-28 cs.NE
Equilibrium Propagation with Continual Weight Updates
Centre de Nanosciences et de Nanotechnologies, Université Paris-Saclay(巴黎萨克雷大学纳米科学与纳米技术中心);Unité Mixte de Physique, CNRS, Thales, Université Paris-Saclay(巴黎萨克雷大学、法国国家科学研究中心、泰雷兹集团联合物理单位);Mila, Université de Montréal(蒙特利尔大学米拉研究所);Canadian Institute for Advanced Research(加拿大高等研究院)
平衡传播(EP)是一种学习算法,它通过计算与时间反向传播(BPTT)密切匹配的梯度,但具有空间局部的学习规则,从而将机器学习和神经科学联系起来。给定输入$x$和相关的目标$y$,EP在两个阶段中进行:在第一阶段中,神经元自由地朝向第一稳态演化;在第二阶段中,输出神经元被轻推朝向$y$,直到它们达到第二稳态。然而,在EP的现有实现中,学习规则在时间上不是本地的:权重更新在第二阶段的动态已经收敛之后执行,并且需要物理上不再可用的第一阶段的信息。在这项工作中,我们提出了一个名为连续平衡传播(C-EP)的EP版本,其中神经元和突触动力学在整个第二阶段同时发生,因此权重更新在时间上变得局部。这样的学习规则在空间和时间上都是本地的,这开启了EP的极其节能的硬件实现的可能性。我们从理论上证明,只要学习率足够小,在第二阶段的每个时间步长,神经元和突触的动力学遵循BPTT给出的损失梯度(定理1)。我们在MNIST上演示了C-EP的训练,并将C-EP推广到神经元通过非对称连接连接的神经网络。我们通过实验表明,网络更新越遵循BPTT的梯度,它在训练方面的表现就越好。这些结果使EP更接近生物学,更好地遵守硬件约束,同时保持其与反向传播的密切联系。
2020-04-29 cs.LG cs.NE stat.ML
Energy-based General Sequential Episodic Memory Networks at the Adiabatic Limit
广义联想记忆模型(GAMM)有一个恒定的状态依赖的能量表面,导致输出动态固定点,检索单个记忆的记忆,可以异步预加载的集合。我们引入了一类新的一般序列情景记忆模型(GSEMM),在绝热极限下,该模型表现出随时间变化的能量面,导致一系列Meta稳态,这些亚稳态是序列情景记忆。动态能量表面通过新引入的非对称突触来实现,该突触在网络的隐藏层中具有信号传播延迟。我们研究的理论和经验性质的两个记忆模型从GSEMM类,不同的激活函数。LISEM在特征层中具有非线性,而DSEM在隐藏层中具有非线性。原则上,DSEM的存储容量随着网络中神经元的数量呈指数增长。我们引入了一个基于能量最小化原理的突触学习规则,并证明它可以在线学习单个记忆及其顺序关系。该规则类似于赫布学习算法和尖峰定时依赖可塑性(STDP),其描述神经元之间的突触改变强度的条件。因此,GSEMM将情景记忆的静态和动态特性结合在一个单一的理论框架下,并将神经科学、机器学习和人工智能联系在一起。
2022-12-11 cs.NE
Learning compositional functions via multiplicative weight updates
Caltech(加州理工学院);NVIDIA(英伟达)
组合性是生物和人工神经网络的基本结构特征。通过梯度下降学习组合函数会产生众所周知的问题,如梯度消失和爆炸,这使得仔细的学习率调整对于现实世界的应用至关重要。本文证明了乘性权更新满足一个适合于合成函数的下降引理。基于这个引理,我们得出夫人-亚当优化器的乘法版本-并表明,它可以训练最先进的神经网络架构,而无需学习率调整。我们进一步表明,夫人是很容易适应训练原生压缩神经网络表示他们的权重在对数系统。最后,我们得出结论,乘法权重更新和生物学中突触的最新发现之间的联系。
2021-01-08 cs.LG cs.NA cs.NE
Learning efficient backprojections across cortical hierarchies in real time
University of Bern(伯尔尼大学);University of Sussex(萨塞克斯大学)
针对皮层学习模型的信用分配问题,提出符合生物合理性的无相位对齐学习PAL方法,利用天然噪声、局部信息和持续可塑性实现多层高效误差传播,在分类任务上性能优于随机突触反馈方法。
2024-02-02 cs.LG cs.NE q-bio.NC
Scalability and Optimization Strategies for GPU Enhanced Neural Networks (GeNN)
脉冲神经网络的模拟传统上是在高性能超级计算机或大规模集群上完成的。GeNN(GPU Enhanced Neural Network)利用神经网络计算算法的并行特性,提供了一个模拟环境,该环境采用基于代码生成的方法在通用NVIDIA GPU上执行。GeNN允许用户通过指定不同阶段的神经元群体、它们的突触连接密度和单个神经元的模型来设计和模拟神经网络。在这份报告中,我们描述了如何根据用户定义的网络的配置来缩放突触权重,以确保足够的尖峰和后续的有效学习。我们还讨论了GPU计算的优化策略:突触连接的稀疏表示和基于占用的块大小确定。
2014-12-01 cs.DC cs.NE q-bio.NC
Spike-based alignment learning solves the weight transport problem
Department of Physiology, Bern University(伯尔尼大学生理学系);Neural Computation Unit, Okinawa Institute of Science and Technology(冲绳科学技术大学院大学神经计算单元)
本文提出基于尖峰的对齐学习方法,利用尖峰时间统计消除有效互惠连接间的不对称性,提升spiking网络在权重传输问题中的性能。
2026-04-08 cs.ET cs.LG cs.NE
Hardware-Friendly Synaptic Orders and Timescales in Liquid State Machines for Speech Classification
Indian Institute of Technology, Bombay(孟买印度理工学院);Aalto University(阿尔托大学)
液体状态机是具有随机库连接性和仿生神经元和突触模型的大脑启发的尖峰神经网络(SNN)。水库计算网络被提出作为深度神经网络的替代方案来解决时间分类问题。先前的研究表明,二阶(双指数)突触波形是至关重要的实现高精度的TI-46口语数字识别。长时间范围(ms)仿生突触波形的建议是一个挑战,紧凑和功率高效的神经形态硬件。在这项工作中,我们分析了突触阶数的作用,即:δ(单个时间步长的高输出),0(具有有限脉冲宽度的矩形),1(指数下降)和2阶(指数上升和下降)和突触时标对水库输出响应和更全面的参数扫描下的TI-46口语数字分类准确性。我们发现最佳的操作点是相关的最佳范围内的尖峰活动的水库。此外,所提出的0阶突触与生物学上合理的2阶突触表现相当。这对于电路设计者来说是相当大的放松,因为突触是SNN的存储器内实现中最丰富的组件。电路的好处,为模拟和混合信号实现0阶突触强调展示2-3个数量级的节省面积和功耗,消除运算放大器和数模转换器电路。这对一个完整的神经网络实现有重大影响,重点是外围限制和算法简化,以克服它们。
2021-04-29 cs.NE cs.SD eess.AS
Demonstrating Hybrid Learning in a Flexible Neuromorphic Hardware System
我们提出了一种新的方法来学习和可塑性的neuromorphic硬件系统的结果:使可实现的学习机制的灵活性,同时保持高效率与neuromorphic实现,我们结合了通用处理器与全定制的模拟元件。该处理器与完全并行的神经形态系统并行操作,该神经形态系统由连接到模拟连续时间神经元电路的突触阵列组成。新颖的模拟相关传感器电路并行且实时地处理每个突触的尖峰事件。处理器使用该预处理来计算新的权重,可能使用遵循其程序的附加信息。因此,可以在软件中定义学习规则,从而提供很大程度的灵活性。突触实现相关检测,面向尖峰定时依赖可塑性(STDP)作为中央计算原语在模拟域。与生物时间尺度相比,以1000的加速因子操作,我们测量从几十到几百微秒的时间常数。我们分析了多个芯片的变异性,并使用乘法STDP规则演示了学习。我们的结论是,所提出的方法将使灵活和有效的学习作为神经科学研究和技术应用的平台。
2016-10-13 cond-mat.dis-nn cs.NE q-bio.NC