On-Chip Error-triggered Learning of Multi-layer Memristive Spiking Neural Networks
类脑计算的最新突破表明，局部形式的梯度下降学习与脉冲神经网络（SNN）和突触可塑性是兼容的。虽然SNN可以使用神经形态VLSI可扩展地实现，但仍然缺少可以使用梯度下降原位学习的架构。在本文中，我们提出了一种具有在线三进制权重更新的局部、基于梯度、错误触发的学习算法。该算法使在线训练的多层SNN与忆阻神经形态硬件表现出较小的损失的性能相比，与最先进的。我们还提出了一个硬件架构的忆阻交叉阵列的基础上执行所需的向量矩阵乘法。必要的外围电路，包括突触前，突触后和写电路所需的在线培训，已被设计在亚阈值制度的标准180纳米CMOS工艺的节能。
2020-11-21 cs.ET cs.NE
Unsupervised Spiking Neural Network Model of Prefrontal Cortex to study Task Switching with Synaptic deficiency
Oklahoma State University（俄克拉荷马州立大学）；University of Central Oklahoma（中央俄克拉荷马大学）
本研究构建了基于无监督STDP学习规则的脉冲神经网络模型以模拟前额叶皮层，探究任务切换机制，并通过停用突触通路模拟损伤状态，在FMNIST数据集上验证了模型在模式识别与生物逼真度间的平衡。
2023-05-23 cs.AI cs.LG cs.NE
SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments
Technische Universität Wien (TU Wien)（维也纳工业大学）；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）
脉冲神经网络（SNN）由于其生物可扩展性而具有高效无监督和持续学习能力的潜力，但其复杂性仍然构成了一个严峻的研究挑战，以使其能够在资源受限的场景（如嵌入式系统，IoT边缘等）中进行节能设计。我们提出了SpikeDyn，一个全面的框架，能源效率的SNN与持续和无监督学习能力，在动态环境中，为训练和推理阶段。它是通过以下多种不同的机制实现的：1）通过用直接侧向抑制代替抑制性神经元来减少神经元操作; 2）记忆和能量受限的SNN模型搜索算法，其采用分析模型来估计不同候选SNN模型的记忆足迹和能量消耗，并选择帕累托最优SNN模型;以及3）轻量级的连续和无监督学习算法，其采用自适应学习率、自适应膜阈值电位、权重衰减以及虚假更新的减少。我们的实验结果表明，对于一个有400个兴奋性神经元的网络，我们的SpikeDyn减少了平均51%的训练能耗和37%的推理能耗，与最先进的。由于改进的学习算法，SpikeDyn提供了平均。与最先进的技术相比，对最近学习的任务进行分类的准确率提高了21%，对以前学习的任务的平均准确率提高了8%。
2021-02-28 cs.AI cs.AR cs.LG
Brain-Inspired Spiking Neural Network for Online Unsupervised Time Series Prediction
Georgia Institute of Technology（佐治亚理工学院）
本文提出CLURSNN模型，结合STDP、随机延迟嵌入和基于Wasserstein距离的拓扑数据分析，实现能量与数据高效的在线无监督时间序列预测，并在Lorenz63系统上优于现有DNN方法。
2023-05-31 cs.AI cs.LG cs.NE
Gradient-based Neuromorphic Learning on Dynamical RRAM Arrays
University of Michigan（密歇根大学）
提出了一种采用梯度学习方法来训练完全忆阻的脉冲神经网络的方法--MEMprop。我们的方法利用固有的设备动态触发自然产生的电压尖峰。由忆阻动力学发射的这些尖峰本质上是模拟的，并且因此是完全可微分的，这消除了对在脉冲神经网络（SNN）文献中流行的替代梯度方法的需要。忆阻神经网络通常将忆阻器集成为映射离线训练的网络的突触，或者以其他方式依赖于关联学习机制来训练忆阻神经元的网络。相反，我们直接在忆阻神经元和突触的模拟SPICE模型上应用时间反向传播（BPTT）训练算法。我们的实现是完全忆阻的，因为突触权重和尖峰神经元都集成在电阻RAM（RRAM）阵列上，而不需要额外的电路来实现尖峰动态，例如，模数转换器（ADC）或阈值比较器。因此，高阶电物理效应被充分利用，以在运行时间使用忆阻神经元的状态驱动动力学。通过向非近似的基于梯度的学习，我们获得了高度竞争力的准确性之间先前报道的轻量级密集完全MSNN在几个基准。
2022-06-26 cs.AI cs.AR cs.ET
A Robust Learning Rule for Soft-Bounded Memristive Synapses Competitive with Supervised Learning in Standard Spiking Neural Networks
Groningen Cognitive Systems and Materials Center（格罗宁根认知系统与材料中心）；University of Groningen（格罗宁根大学）
忆阻器件是一类电路元件，作为未来脑启发计算的构建块显示出很大的希望。在理论神经科学中，有一种很有影响力的观点认为大脑是一个功能计算装置：给定输入信号，大脑应用一个功能，以产生新的内部状态和运动输出。因此，能够近似函数是未来大脑研究的基础，也是获得更高效计算机器的基础。在这项工作中，我们采用了一种新的监督学习算法-基于控制掺杂铒钛酸锶忆阻突触-学习非平凡的多维函数。通过在脉冲神经网络模拟器Nengo中实现我们的方法，我们表明我们至少能够匹配使用理想的线性突触时获得的性能，并且-这样做-这种忆阻器件可以用作计算基底，以实现更高效的大脑启发计算。
2022-04-12 cs.ET cs.LG cs.NE
The principle of weight divergence facilitation for unsupervised pattern recognition in spiking neural networks
Computing Center（计算中心）；Far Eastern Branch（远东分部）；Russian Academy of Sciences（俄罗斯科学院）
信号处理任务和生物神经元之间的相似之处导致对输入信号识别的自组织优化原理的理解。在本文中，我们将讨论生物系统和技术系统之间的相似性。我们建议添加众所周知的STDP突触可塑性规则，以指导对与背景噪声和相关信号之间的最大差异相关联的状态的权重修改。我们使用的原则，物理约束的重量增长的基础上，这样的重量的修改控制。提出可塑性发育所需的生化“物质”的存在和产生限制了生物突触的直接修饰。在本文中，关于信噪比的信息控制这样的物质的产生和储存，并驱动神经元的突触压力朝向具有最佳信噪比的状态。我们考虑了几个不同的输入信号制度的实验，以了解所提出的方法的功能。
2021-07-31 cs.AI cs.LG cs.NE
A frugal Spiking Neural Network for unsupervised classification of continuous multivariate temporal data
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；INSERM（法国国家健康与医学研究院）；The University of Tokyo（东京大学）；University of Bordeaux（波尔多大学）
针对神经数据实时处理与低功耗需求，提出一种节俭的单层脉冲神经网络，结合STDP等可塑性规则，实现连续多变量时间模式的完全无监督识别与分类。
2024-08-08 cs.AI cs.LG cs.NE
Characterization of Generalizability of Spike Timing Dependent Plasticity trained Spiking Neural Networks
Georgia Institute of Technology（佐治亚理工学院）
脉冲神经网络（SNN）用脉冲定时依赖可塑性（STDP）训练，STDP是用于各种机器学习应用的神经启发的无监督学习方法。本文利用学习算法轨迹的Hausdorff维数研究了STDP学习过程的泛化性质。本文分析了STDP学习模型和相关超参数对SNN泛化性能的影响。分析是用来开发贝叶斯优化方法来优化超参数的STDP模型，以提高SNN的泛化性能。
2021-08-09 cs.AI cs.NE
RESPARC: A Reconfigurable and Energy-Efficient Architecture with Memristive Crossbars for Deep Spiking Neural Networks
使用后CMOS技术的类脑计算由于其解决冯-诺依曼计算系统中的存储器和功率瓶颈的有前途的能力而获得极大的普及。在本文中，我们提出了一种可重构和节能的架构，内置于忆阻交叉阵列（MCA）的深度脉冲神经网络（SNN）。先前的工作主要集中在交叉开关上SNN的设备和电路实现上。CNOARC通过提出一个完整的SNN加速系统及其后续分析来推进这一点。EMARC利用MCA的能量效率进行内积计算，并实现了分层可重构设计，以可扩展的方式将数据流模式纳入SNN。我们在不同SNN上评估了所提出的架构，复杂度范围从2k-230 k神经元和1.2M-5.5M突触。在这些网络上的仿真结果表明，与基线数字CMOS架构相比，对于多层感知器（深度卷积网络），CAMARC实现了500倍（15倍）的能效和300倍（60倍）的吞吐量。此外，MARC是一种技术感知架构，它将给定的SNN拓扑映射到给定交叉开关技术的最优化MCA大小。
2017-02-20 cs.ET cs.NE
Examining the Robustness of Spiking Neural Networks on Non-ideal Memristive Crossbars
脉冲神经网络（SNN）由于其异步、稀疏和二进制信息处理而成为人工神经网络（ANN）的低功耗替代方案。为了提高能量效率和吞吐量，SNN可以在忆阻交叉开关上实现，其中乘法和累加（MAC）操作使用新兴的非易失性存储器（NVM）设备在模拟域中实现。尽管SNN与忆阻交叉开关兼容，但很少有人关注固有交叉开关非理想性和随机性对SNN性能的影响。在本文中，我们进行了全面的分析，非理想交叉的SNN的鲁棒性。我们研究了通过学习算法训练的SNN，如代理梯度和ANN-SNN转换。我们的研究结果表明，跨多个时间步长的重复交叉计算会导致错误累积，导致SNN推理过程中的性能大幅下降。我们进一步表明，当部署在忆阻交叉杆上时，用较少数量的时间步长训练的SNN实现了更好的准确性。
2022-06-20 cs.NE
Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses
尖峰循环神经网络（RNN）是一种很有前途的工具，用于解决各种复杂的认知和运动任务，由于其丰富的时间动态和稀疏处理。然而，在专用的神经形态硬件上训练尖峰RNN仍然是一个开放的挑战。这主要是由于缺乏本地的，硬件友好的学习机制，可以解决时间信用分配问题，并确保稳定的网络动态，即使在权重分辨率是有限的。如果人们诉诸于使用忆阻器件进行存内计算来解决冯-诺依曼瓶颈问题，则这些挑战将进一步加剧，代价是尖峰RNN的计算和工作存储器两者的可变性大幅增加。为了解决这些挑战，并使在线学习忆阻神经形态RNN，我们提出了一个模拟框架的基础上，准确和全面的相变存储器（PCM）设备模型的差分架构交叉阵列。我们训练一个尖峰RNN，其权重在所提出的仿真框架中进行仿真，使用最近提出的电子道具学习规则。虽然e-prop局部近似理想的突触更新，但由于实质上的PCM非理想性，难以在忆阻衬底上实现更新。我们比较了几种广泛适用的权重更新方案，这些方案主要旨在应对这些设备的非理想性，并证明了累积梯度可以在忆阻衬底上在线有效地训练尖峰RNN。
2021-09-25 cs.ET cs.NE
Efficient Memristive Spiking Neural Networks Architecture with Supervised In-Situ STDP Method
Indian Statistical Institute（印度统计研究所）；Balasore Alloys Limited（巴拉索尔合金有限公司）
本文提出一种采用监督式原位STDP算法的忆阻SNN架构，无需外部控制硬件，经LTspice评估，在Iris、BCW数据集及5×3二值图像上实现高识别准确率与鲁棒性。
2026-09-01 cs.ET cs.NE
An Efficient and Accurate Memristive Memory for Array-based Spiking Neural Networks
本文提出一种基于限流的3T1R忆阻存储器设计，解决忆阻突触编程不可靠问题，较1T1R设计优化READ电流约19倍、节能约9倍，并降低工艺变化影响，适用于脉冲神经网络。
2023-09-06 cs.ET cs.NE
Semi-supervised learning combining backpropagation and STDP: STDP enhances learning by backpropagation with a small amount of labeled data in a spiking neural network
Tokyo Institute of Technology（东京工业大学）；Saitama University（埼玉大学）；JST, PREST（日本科学技术振兴机构 PREST）
提出了一种脉冲神经网络的半监督学习方法。所提出的方法包括监督学习的反向传播和随后的无监督学习的尖峰定时依赖可塑性（STDP），这是一个生物学上合理的学习规则。数值实验表明，当使用少量标记数据时，该方法在不需要额外标记的情况下提高了精度。现有的判别模型的半监督学习方法还没有实现这一特征。这是可能的，以实现事件驱动系统的学习方法。因此，它将是非常有效的实时问题，如果它是在神经形态硬件上实现。结果表明，STDP发挥了重要的作用，而不是自组织应用后，监督学习，这不同于以前的方法，使用STDP作为预训练解释为自组织。
2021-05-19 cs.AI cs.NE
Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural Networks and Its Mapping Relationship to Deep Neural Networks
IEEE Publication Technology Group（IEEE出版技术组）
脉冲神经网络（SNN）是一种基于脑的机器学习算法，具有生物相容性和无监督学习能力等优点。以前的工作已经表明，将人工神经网络（ANN）转换为SNN是实现SNN的实用且有效的方法。然而，缺乏训练非精度损失SNN的基本原理和理论基础。本文建立了线性泄漏-积分-激发模型（LIF）/SNN的生物学参数与ReLU-AN/深度神经网络（DNN）参数之间的精确数学映射。这种映射关系在一定条件下得到了解析证明，并通过模拟和实际数据实验得到了验证。它可以作为两类神经网络各自优点的潜在结合的理论基础。
2022-05-31 cs.AI cs.LG cs.NE
An On-chip Trainable and Clock-less Spiking Neural Network with 1R Memristive Synapses
脉冲神经网络（SNN）正在被探索，试图模仿大脑的能力，学习和识别在低功耗。具有高度可扩展的电阻性RAM或RRAM阵列的纵横架构在外围用作突触权重和神经元驱动器是SNN的有吸引力的选择。识别（类似于读取突触权重）需要跨RRAM施加小幅度偏置以使电导变化最小化。学习（类似于写入或更新突触权重）需要大幅度偏置脉冲来产生电导变化。与生物学类似，同时和异步地执行读取和写入的矛盾偏差幅度要求是一个重大挑战。文献中提出的解决方案依赖于基于时钟的读和写操作的时分复用，或者当与写重合时忽略读的近似。在这项工作中，我们克服了这一挑战，并提出了一种无时钟的方法，其中读取和写入在不同的频域中进行。这使得学习和识别同时在SNN上。我们在SPICE电路模拟器中通过转换两层前馈Iris分类SNN来验证我们的方案，以证明软件等效性能。系统性能不会受到实际RRAM中电导的电压依赖性的不利影响，尽管偏离线性。总的来说，我们的方法可以直接在硬件中实现生物SNN算法。
2017-11-03 cs.ET cs.NE
Sequence learning in a spiking neuronal network with memristive synapses
大脑启发计算提出了一套算法原则，有望推动人工智能的发展。它们赋予系统自学习能力、高效的能源使用和高存储容量。大脑计算的核心概念是序列学习和预测。这种形式的计算对于我们几乎所有的日常任务都是必不可少的，例如运动生成，感知和语言。了解大脑如何执行这样的计算不仅对推进神经科学很重要，而且还为新技术的大脑启发应用铺平了道路。先前开发的序列预测和召回的脉冲神经网络实现通过局部的、生物启发的可塑性规则以无监督的方式学习复杂的高阶序列。一种新兴的硬件类型，有希望有效地运行这种类型的算法是神经形态硬件。它模拟大脑处理信息的方式，并将神经元和突触直接映射到物理基底上。忆阻器件已被确定为神经形态硬件中的潜在突触元件。特别地，氧化还原诱导的电阻式随机存取存储器（ReRAM）器件在许多方面都很突出。它们允许可扩展性，节能和快速，并且可以实现生物可塑性规则。在这项工作中，我们研究了使用ReRAM设备作为序列学习模型中生物突触替代品的可行性。我们使用神经模拟器NEST实现并模拟了包括ReRAM可塑性的模型。我们研究了不同设备属性对序列学习模型性能特征的影响，并证明了不同开关比，电导分辨率，设备变异性和突触故障的弹性。
2022-11-29 cs.ET cs.NE
Convolutional Spike Timing Dependent Plasticity based Feature Learning in Spiking Neural Networks
Purdue University（普渡大学）
脑启发学习模型试图模仿构成人脑的神经元和突触中执行的皮层架构和计算，以实现其在认知任务中的效率。在这项工作中，我们提出了卷积尖峰时间依赖可塑性的特征学习与生物学上合理的泄漏集成和发射神经元的脉冲神经网络（SNN）。我们使用共享权重内核，这些内核被训练用于对输入模式的代表性特征进行编码，从而提高学习模型的稀疏性和鲁棒性。我们证明了所提出的无监督学习方法学习几个视觉类别的对象识别与较少的例子，并优于传统的全连接SNN架构，同时产生竞争力的准确性。此外，我们观察到，学习模型执行集外泛化，进一步使拟议的生物合理的框架，为未来的神经形态应用程序的可行和有效的架构。
2017-03-20 cs.AI cs.CV cs.NE
A Fully Spiking Hybrid Neural Network for Energy-Efficient Object Detection
Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种完全尖峰混合神经网络（FSHNN），用于在资源受限的平台中进行节能且鲁棒的目标检测。该网络架构基于卷积SNN，使用泄漏积分激发神经元模型。该模型结合了无监督尖峰时间相关可塑性（STDP）学习和反向传播（STBP）学习方法，并使用蒙特卡洛丢弃来估计不确定性误差。与基于DNN的对象检测器相比，FSHNN提供了更好的准确性，同时具有150倍的能效。当受到噪声输入数据和较少标记的训练数据时，它也优于这些对象检测器，具有较低的不确定性误差。
2021-07-24 cs.AI cs.CV eess.IV
Deep Learning in Spiking Neural Networks
University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）；Monash University（莫纳什大学）；Kharazmi University（哈拉齐米大学）；CNRS-Université de Toulouse 3（法国国家科学研究中心-图卢兹第三大学）
近年来，深度学习已经成为机器学习领域的一场革命，特别是对于计算机视觉。在该方法中，使用反向传播以监督方式训练深度（多层）人工神经网络（ANN）。需要大量的标记示例，但由此产生的分类精度确实令人印象深刻，有时甚至超过人类。人工神经网络中的神经元的特征在于单一的、静态的、连续值的激活。然而，生物神经元使用离散的尖峰来计算和传输信息，除了尖峰频率之外，尖峰时间也很重要。因此，脉冲神经网络（SNN）在生物学上比人工神经网络（ANN）更真实，如果人们想了解大脑是如何计算的，它可以说是唯一可行的选择。SNN也比ANN更硬件友好和节能，因此对技术有吸引力，特别是对于便携式设备。然而，训练深度SNN仍然是一个挑战。尖峰神经元的传递函数通常是不可微的，这妨碍了使用反向传播。在这里，我们回顾了最近的监督和无监督方法来训练深度SNN，并在准确性，计算成本和硬件友好性方面进行了比较。新出现的情况是，SNN在准确性方面仍然落后于ANN，但差距正在缩小，甚至可以在某些任务中消失，而SNN通常需要更少的操作。
2019-01-20 cs.AI cs.NE
A Hardware Friendly Unsupervised Memristive Neural Network with Weight Sharing Mechanism
忆阻神经网络（Memristive Neural Networks，MNN）是近年来研究的热点，它利用忆阻器作为神经元或突触。然而，大多数忆阻器与主流集成电路技术不兼容，并且它们在大规模下的稳定性不是很好。本文介绍了一种硬件友好的MNN电路，该电路利用数字集成电路实现忆阻特性。通过该方法，实现了发放时间依赖可塑性（STDP）和无监督学习。提出了一种权值共享机制，以弥补网络规模和硬件资源的不足。实验结果表明，该算法在保持较高识别精度和速度的同时，显著节省了硬件资源。此外，网络资源的增长速度比网络规模的增长速度要慢，这表明我们的方法在实现大规模神经形态网络方面具有潜力。
2019-01-01 cs.ET cs.NE
Designing Behaviour in Bio-inspired Robots Using Associative Topologies of Spiking-Neural-Networks
The Open University（开放大学）
本研究探讨了设计和控制的代理和机器人的行为，使用简单的电路的尖峰神经元和尖峰时间依赖可塑性（STDP）作为一种机制的联想和无监督学习。基于“奖励和惩罚”的经典条件反射，它表明，这些机器人学会了识别和避免障碍，以及识别和寻找奖励刺激。使用仿真和编程环境NetLogo，开发了Integrate and Fire模型的软件引擎，该软件引擎允许我们以离散时间步长监控所提出的神经网络中每个单个神经元、突触和尖峰的动态。这些脉冲神经网络（SNN）充当实验机器人的简单大脑。乐高Mindstorms机器人套件用于模拟代理的实施例。在本文中的拓扑积木，以及再现实验所需的神经参数。本文总结了由此产生的行为以及观察到的动态的神经电路。附件载有与NetLogo代码的互联网连接。
2015-09-24 cs.AI cs.NE cs.RO
Lattice Map Spiking Neural Networks (LM-SNNs) for Clustering and Classifying Image Data
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Memphis（孟菲斯大学）
在这项工作中，引入了脉冲神经网络（SNN）的晶格结构，结合SNN和自组织映射（SOM）的几个理想的属性。利用生物学激励的无监督学习规则来训练网络，以通过合作和竞争的兴奋-抑制相互作用来获得自组织的过滤器网格。几种抑制策略的开发和测试，如（i）逐渐增加的抑制水平在网络训练的过程中，和（ii）切换的抑制水平从低到高（两个级别）后，初始训练段。在标记阶段，由具有已知标签的数据生成的尖峰活动用于将神经元分配给数据类别，然后用于评估网络在一组测试数据上的分类能力。提出并比较了几种生物学上合理的评价规则，包括群体水平的置信度和$n$ -gram启发的方法。建议的自组织学习机制的有效性进行了测试，使用MNIST基准数据集，以及使用播放雅达利突破游戏产生的图像。
2019-06-04 cs.AI cs.LG cs.NE
Power efficient Spiking Neural Network Classifier based on memristive crossbar network for spike sorting application
Nanyang Technological University（南洋理工大学）
在本文中，作者提出了一个功率有效的计划，实现尖峰排序模块。锋电位分选是植入式生物医学系统神经信号采集领域的一个重要应用，其功能是将神经锋电位（N-spikes）正确映射到其起源的神经元。准确的分类是脑机接口（BMI）所需的后续系统提供更好性能的先决条件。尖峰分选器模块要满足的主要设计约束是具有良好精度的低功率。在N尖峰特征的片上和片外训练之间存在功耗方面的折衷。在前一种情况下，必须注意使计算单元功率高效，而在后一种情况下，无线传输的数据率应当被最小化以减少由于收发器而引起的功率消耗。在这项工作中，一个2步共享的训练计划，涉及一个K-均值排序器和一个脉冲神经网络（SNN）的详细说明片上训练和分类。此外，一个低功耗SNN分类器方案，使用忆阻交叉开关型架构进行比较，与全数字实现。前一种分类器的优点在于，由于SNN训练算法的鲁棒性，它是功率高效的，同时提供与数字实现相当的准确度，SNN训练算法对忆阻的变化具有良好的容限。
2018-02-25 cs.LG cs.NE
Online Detection of Vibration Anomalies Using Balanced Spiking Neural Networks
Institute of Neuroinformatics, University of Zurich and ETH Zurich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）；KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Hertfordshire（赫特福德大学）；Western Sydney University（西悉尼大学）
振动模式产生关于运行机器的健康状态的有价值的信息，这通常用于大型工业系统的预测性维护任务。然而，经典方法利用这些信息所需的开销（在尺寸、复杂性和功率预算方面）通常对于自动驾驶汽车、无人机或机器人等较小规模的应用来说是令人望而却步的。在这里，我们提出了一种神经形态的方法来执行振动分析，使用脉冲神经网络，可以应用于广泛的场景。我们提出了一个基于尖峰的端到端的管道，能够检测系统的异常振动数据，使用与模拟数字神经形态电路兼容的构建块。该流水线以在线无监督方式操作，并且依赖于耳蜗模型、反馈自适应和平衡的脉冲神经网络。我们表明，该方法实现了最先进的性能或更好的对两个公开的数据集。此外，我们展示了一个工作的概念验证上实现的异步神经形态处理器设备。这项工作是朝着设计和实现用于在线振动监测的自主低功耗边缘计算设备迈出的重要一步。
2021-06-01 cs.AI cs.LG cs.NE
Constrained plasticity reserve as a natural way to control frequency and weights in spiking neural networks
Russian Academy of Sciences（俄罗斯科学院）
生物神经元具有自适应性，并执行涉及冗余信息过滤的复杂计算。然而，大多数常见的神经细胞模型，包括生物学上合理的模型，如Hodgkin-Huxley或Izhikevich，在单细胞水平上不具有预测动力学。此外，突触可塑性或互连权重自适应的现代规则也没有为神经元适应不断变化的输入信号强度的能力提供基础。虽然天然神经元突触生长受到蛋白质供应和再循环的精确控制和限制，但权重校正规则（如广泛使用的STDP）在变化率和规模上有效地不受限制。本文介绍了神经元放电率稳态和重量变化之间的互连的新机制，通过STDP增长的抽象蛋白质储备的限制，由细胞内优化算法控制。我们展示了这些细胞动力学如何帮助神经元过滤掉强烈的噪声信号，以帮助神经元保持稳定的放电率。我们还研究了这种过滤不影响神经元在无监督模式下识别相关输入的能力。这种方法可以用于机器学习领域，以提高AI系统的鲁棒性。
2021-06-20 cs.AI cs.LG cs.NE
Synaptic Plasticity Models and Bio-Inspired Unsupervised Deep Learning: A Survey
ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
本文综述了受生物启发的突触可塑性模型及其在深度学习场景中的应用，探讨了其与脉冲神经网络的联系，指出生物启发深度学习是推动技术和理解智能的重要研究方向。
2023-07-30 cs.AI cs.CV cs.LG
Accuracy-Efficiency Trade-Offs in Spiking Neural Networks: A Lempel-Ziv Complexity Perspective on Learning Rules
本文探讨了脉冲神经网络中准确性和效率的权衡，通过Lempel-Ziv复杂性分析不同学习规则对分类性能和计算成本的影响，发现生物启发式规则在准确性和效率之间具有更好的平衡。
2026-03-01 cs.AI cs.LG q-bio.NC
A Memristive Synapse for Online STDP Learning and Inference in SNNs
Universitat Politècnica de Catalunya - BarcelonaTech (UPC)（加泰罗尼亚理工大学）
本文提出一种全模拟忆阻突触电路，实现SNN在线STDP学习，无需外部控制，仿真验证了电导适应与神经元特化。
2026-09-15 cs.AR cs.ET cs.NE
2D-Motion Detection using SNNs with Graphene-Insulator-Graphene Memristive Synapses
脉冲神经网络的事件驱动性质使它们在生物学上是合理的，并且比人工神经网络更节能。在这项工作中，我们演示了一个物体在二维视野中的运动检测。这里提出的网络架构在生物学上是合理的，并使用CMOS模拟泄漏积分和发射神经元和超低功耗多层RRAM突触。详细的晶体管级SPICE模拟表明，该结构可以准确可靠地检测到复杂的运动的目标在二维视野。
2021-11-30 cs.NE
Hardware design of LIF with Latency neuron model with memristive STDP synapses
本文介绍了一种神经形态系统的硬件实现。该系统由具有延迟的泄漏整合和激发（Leaky Integrate-and-Fire with Latency，LIFL）神经元和尖峰定时依赖可塑性（Spike-Timing Dependent Plasticity，STDP）突触组成。LIFL神经元模型允许编码比常见的Integrate-and-Fire模型更多的信息，通常考虑用于神经形态实现。在我们的系统中，LIFL神经元使用CMOS电路实现，而忆阻器用于STDP突触的实现。提供了整个电路的描述。最后，通过模拟由三个神经元和两个突触组成的基序来评估所提出的架构的能力。仿真结果证实了该系统的有效性，并适用于更复杂的脉冲神经网络的设计
2018-03-31 cs.ET cs.NE
Topology Optimization of Random Memristors for Input-Aware Dynamic SNN
the University of Hong Kong（香港大学）；ACCESS – AI Chip Center for Emerging Smart Systems, InnoHK Centers（ACCESS新兴智能系统AI芯片中心（InnoHK中心））；Institute of Microelectronics, Chinese Academy of Sciences（中国科学院微电子研究所）
本文提出PRIME框架，通过优化随机忆阻脉冲神经网络拓扑并采用输入感知动态早停策略，在保持性能的同时大幅提升能效并降低计算负载。
2024-07-26 cs.AI cs.ET cs.NE
Analysis on Effects of Fault Elements in Memristive Neuromorphic Systems
Kwangwoon University（光云大学）
本文通过改变故障比例、类型与位置，分析忆阻SNN神经形态系统中故障神经元及SA0/SA1故障突触的影响，揭示了四项关于脆弱性和性能变化的规律。
2023-12-08 cs.AI cs.ET cs.LG
Performance and Comparisons of STDP based and Non-STDP based Memristive Neural Networks on Hardware
随着忆阻器研究的不断深入，忆阻神经网络成为近年来的研究热点。由于忆阻器可以模拟尖峰时间依赖可塑性（STDP），基于STDP的记忆神经网络的研究迅速增加。然而，基于STDP的MNN虽然有着广泛的应用，如模式识别等，但其硬件结构相对复杂，处理速度较慢，阻碍了MNN的硬件实现。本文构造了一种基于非STDP的无监督MNN。通过与基于前馈和交叉开关两种常见结构的STDP方法的比较，非STDP结构的MNN不仅保持了STDP结构的MNN在模式识别中精度高、收敛速度快的优点，而且硬件资源少、处理速度快，具有更好的硬件性能。非STDP结构的MNN结合了忆阻特性和简单的机理，具有较好的硬件兼容性，为忆阻神经网络的工程应用提供了新的视角。
2019-12-08 cs.ET cs.NE
Multiple-Step Quantized Triplet STDP Implemented with Memristive Synapse
针对生物神经突触变化表征需求，提出基于忆阻突触的多步量化三元组STDP混合信号电路方案，采用脉宽编码权重调制信号提升鲁棒性，经仿真验证并与算法结果对比评估性能。
2023-08-28 cs.NE cs.SY eess.SY
Text Classification in Memristor-based Spiking Neural Networks
忆阻器是一种新兴的非易失性存储器件，在神经形态硬件设计中，特别是在脉冲神经网络（SNN）硬件实现中显示出了很好的潜力。基于忆阻器的SNN已经成功地应用于广泛的各种应用中，包括图像分类和模式识别。然而，在文本分类中实现基于忆阻器的SNN仍在探索中。其中一个主要原因是，由于缺乏有效的学习规则和忆阻器的非理想性，训练基于忆阻器的SNN用于文本分类是昂贵的。为了解决这些问题，并加快探索基于忆阻器的脉冲神经网络在文本分类应用的研究，我们开发了一个仿真框架与虚拟忆阻器阵列使用经验忆阻器模型。我们使用这个框架来演示IMDB电影评论数据集中的情感分析任务。我们采用两种方法来获得训练好的具有忆阻器模型的脉冲神经网络：1）通过将预先训练好的人工神经网络（ANN）转换为基于忆阻器的SNN，或者2）通过直接训练基于忆阻器的SNN。这两种方法可以应用于两种场景：离线分类和在线训练。我们实现了85.88%的分类准确率，通过将预训练的人工神经网络转换为基于忆阻器的SNN和84.86%，通过直接训练基于忆阻器的SNN，给定的基线训练准确率的等效人工神经网络是86.02%。我们的结论是，它是可能实现类似的分类精度在模拟从人工神经网络SNN和从非忆阻突触数据驱动的忆阻突触。我们还研究了全局参数，如尖峰训练长度，读噪声，和权重更新停止条件影响神经网络在这两种方法。
2022-07-31 cs.NE
Spiking neural networks with Hebbian plasticity for unsupervised representation learning
KTH Royal Institute of Technology（瑞典皇家理工学院）；Stockholm University（斯德哥尔摩大学）；Digital Futures（数字未来机构）
提出一种将BCPNN转换为脉冲神经网络的方法，利用Hebbian可塑性进行无监督表示学习，在MNIST和F-MNIST上性能接近非脉冲模型并具竞争力。
2023-05-10 cs.LG cs.NE
Heterogeneous Neuronal and Synaptic Dynamics for Spike-Efficient Unsupervised Learning: Theory and Design Principles
Georgia Institute of Technology（佐治亚理工学院）
本文从理论和设计原则两方面证明神经元与突触的异质性可降低循环脉冲网络脉冲活动并保持记忆容量，并通过贝叶斯优化设计HRSNN，在时间序列任务上实现脉冲高效无监督学习。
2023-08-05 cs.AI cs.NE
Scaled Hippocampus-inspired Neural Networks on Neuromorphic Memristive Hardware
George Washington University（乔治华盛顿大学）；George Mason University（乔治梅森大学）
受海马CA3区启发的脉冲神经网络，通过四管齐下目标函数缩小规模，在忆阻器硬件上实现生物现实静息态动力学，展示新兴硬件上生物现实算法的潜力。
2026-09-16 cs.ET cs.NE
Unsupervised Learning with Self-Organizing Spiking Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了一个系统，包括一个杂交的自组织映射（SOM）的属性与脉冲神经网络（SNN），保留了许多功能的SOM。网络以无监督的方式进行训练，通过神经元群体之间的兴奋-抑制相互作用来学习自组织的过滤器网格。我们开发并测试了各种抑制策略，例如随着神经元间距离的增长和两种不同的抑制水平。使用具有已知标签的示例来评估无监督学习算法的质量。提出并比较了几种生物学启发的分类工具，包括群体级置信度和使用spike motif算法的n-gram。使用最佳的参数选择，我们的方法产生的最先进的脉冲神经网络的改进。
2018-07-24 cs.LG cs.NE
A Spiking Neuron Synaptic Plasticity Model Optimized for Unsupervised Learning
脉冲神经网络（SNN）被认为是执行各种学习任务-无监督、有监督和强化学习-的前景基础。SNN中的学习是通过突触可塑性来实现的-这些规则通常取决于突触前和突触后神经元的活动来确定突触权重的动态。各种学习机制的多样性假设不同形式的突触可塑性对于例如无监督学习和监督学习可能是最有效的，因为在活神经元中观察到它展示出与基本尖峰定时依赖可塑性（STDP）模型的许多种类的偏差。在本文中，我们制定了具体的要求，可塑性规则施加的无监督学习问题，并构建了一个新的可塑性模型推广STDP和满足这些要求。这种可塑性模型作为主要的逻辑组成部分的新的监督学习算法称为SCoBUL（尖峰相关的无监督学习）在这项工作中提出。我们还提出了计算机模拟实验的结果，证实这些突触可塑性规则和算法SCoBUL的效率。
2021-11-12 cs.NE
Spiking Inception Module for Multi-layer Unsupervised Spiking Neural Networks
脉冲神经网络（SNN）作为一种大脑启发的方法，由于其产生超高能效硬件的潜力而引起人们的关注。基于尖峰时间依赖可塑性（STDP）的竞争学习是训练无监督SNN的一种流行方法。然而，以前通过这种方法训练的无监督SNN仅限于只有一个可学习层的浅层网络，并且与多层SNN相比无法获得令人满意的结果。1）受人工神经网络（ANN）文献中的Inception模块的启发，提出了Spiking Inception（Sp-Inception）模块。该模块通过基于STDP的竞争性学习进行培训，并在学习能力，学习效率和鲁棒性方面优于基线模块。2）我们提出了一个Pooling-Reshape-Activate（PRA）层来使Sp-Inception模块可堆叠。3）我们堆叠多个Sp-Inception模块来构建多层SNN。我们的算法在手写数字分类任务上的性能优于基线算法，并且在现有的无监督SNN中，在MNIST数据集上达到了最先进的结果。
2020-09-28 cs.LG cs.NE q-bio.NC
Bio-plausible Unsupervised Delay Learning for Extracting Temporal Features in Spiking Neural Networks
神经元之间传导延迟的可塑性在学习中起着重要作用。然而，大脑中这种调制的确切潜在机制仍然是一个悬而未决的问题。了解突触延迟的精确调整可以帮助我们开发有效的大脑启发的计算模型，提供与实验证据一致的见解。在本文中，我们提出了一个无监督的生物合理的学习规则调整突触延迟脉冲神经网络。然后，我们提供了一些数学证明，表明我们的学习规则赋予神经元学习重复时空模式的能力。此外，应用基于STDP的脉冲神经网络配备我们提出的延迟学习规则的随机点运动图的实验结果表明，所提出的延迟学习规则在提取时间特征的有效性。
2020-11-18 cs.NE q-bio.NC
Homogeneous Spiking Neuromorphic System for Real-World Pattern Recognition
Boise State University（博伊西州立大学）
结合CMOS模拟尖峰神经元和忆阻突触的神经形态芯片为脑启发计算提供了一个有前途的解决方案，因为它可以提供大规模的神经网络并行性和密度。以前的混合模拟CMOS-忆阻器方法需要大量的CMOS电路进行训练，因此消除了采用忆阻器突触所获得的大部分密度优势。此外，他们对突触前和突触后尖峰使用了不同的波形，这增加了不期望的电路开销。在这里，我们描述了一个硬件架构，可以具有大量的忆阻器突触学习现实世界的模式。我们提出了一个多功能的CMOS神经元，它结合了集成和发射行为，驱动无源忆阻器并在紧凑的电路模块中实现竞争性学习，并使忆阻器突触中的原位可塑性成为可能。我们演示了手写数字识别使用晶体管级电路模拟所提出的架构。由于所描述的神经形态架构是同质的，它实现了大规模节能大脑启发硅芯片的基本构建块，可能导致下一代认知计算。
2015-06-08 cs.AI cs.CV cs.ET
An Unsupervised STDP-based Spiking Neural Network Inspired By Biologically Plausible Learning Rules and Connections
本文提出融合自适应突触滤波、脉冲阈值、侧向抑制及STB-STDP的无监督SNN，在MNIST、FashionMNIST和CIFAR10上取得领先表现。
2023-04-22 cs.NE
Unsupervised Regenerative Learning of Hierarchical Features in Spiking Deep Networks for Object Recognition
我们提出了一种基于尖峰的无监督再生学习方案，使用生物学上真实的泄漏积分和激发神经元来训练尖峰深度网络（SpikeCNN）进行对象识别问题。训练方法基于自动编码器学习模型，其中使用编码器-解码器原理逐层训练分层网络。再生学习使用尖峰定时信息和固有的延迟来更新权重，并以无监督的方式学习每个卷积层的代表性级别。然后，从层次结构中的最后一层学习的特征被馈送到输出层。输出层通过显示标记的训练数据集的一部分来进行监督训练，并执行输入的整体分类。我们提出的方法在MNIST/CIFAR 10数据集上产生0.92%/29.84%的分类错误，这与最先进的结果相当。由于基于事件的编码，所提出的方法还在分层特征表示中引入了稀疏性，从而实现了计算高效的学习。
2016-02-03 cs.NE
S3TC: Spiking Separated Spatial and Temporal Convolutions with Unsupervised STDP-based Learning for Action Recognition
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文首次提出S3TC脉冲分离空间与时间卷积，结合无监督STDP学习，在降低视频分析参数量的同时提升动作识别性能，并在KTH、Weizmann和IXMAS数据集上优于脉冲3D卷积。
2023-09-22 cs.CV cs.NE
Unsupervised spiking feature learning for event-based pedestrian crossing detection: approaching supervised accuracy without labelled training data
本文提出无监督脉冲特征学习方法，在DVS-PedX基准上以90.3%准确率接近监督性能，表明标签代价小且弱点源于读出协议。
2026-09-29 cs.AI cs.CV cs.NE
PredNext: Explicit Cross-View Temporal Prediction for Unsupervised Learning in Spiking Neural Networks
Peking University（北京大学）；State Key Laboratory of Multimedia Information Processing Peking University（北京大学多媒体信息处理国家重点实验室）；Institute for Artificial Intelligence Peking University（北京大学人工智能研究院）
PredNext通过跨视图未来步预测和片段预测显式建模时间关系，提升脉冲神经网络在大规模时间视频数据中的无监督表示学习能力。
2026-03-30 cs.NE
A Deep Unsupervised Feature Learning Spiking Neural Network with Binarized Classification Layers for EMNIST Classification using SpykeFlow
Boise State University（博伊西州立大学）；University of Delaware（特拉华大学）
最终用户AI在大型服务器群上使用从用户收集的数据进行训练。随着对IOT设备的需求不断增长，需要能够以节能方式（在边缘）实现的深度学习方法。在这项工作中，我们使用脉冲神经网络来实现这一点。利用二进制激活的尖峰时间依赖可塑性（STDP）的无监督学习技术，从尖峰输入数据中提取特征。梯度下降（反向传播）仅用于输出层，以执行分类训练。与其他方法相比，平衡EMNIST数据集获得的准确性毫不逊色。我们还探讨了随机梯度下降（SGD）近似对网络学习能力的影响。
2020-10-28 cs.LG cs.NE eess.IV
Unsupervised AER Object Recognition Based on Multiscale Spatio-Temporal Features and Spiking Neurons
Zhejiang University（浙江大学）
提出了一种无监督的地址事件表示（AER）对象识别方法.所提出的方法包括一种新的多尺度时空特征（MuST）表示输入AER事件和一个脉冲神经网络（SNN）使用尖峰时间相关的可塑性（STDP）与MuST的对象识别。MuST提取了AER事件流的时空信息中所包含的特征，形成了一种信息丰富、结构紧凑的特征尖峰表示。我们不仅展示了MuST如何利用尖峰信号更有效地传达信息，而且还展示了它如何有利于使用SNN进行识别。识别过程以无监督的方式执行，不需要指定SNN的每个单个神经元的期望状态，因此可以灵活地应用于现实世界的识别任务。实验在五个AER数据集上进行，其中包括一个新的名为Gesture-DVS的数据集。大量的实验结果表明，该方法的有效性和优势。
2019-11-19 cs.CV cs.NE eess.IV
Making a Spiking Net Work: Robust brain-like unsupervised machine learning
University of Technology Sydney（悉尼科技大学）；Cuvos Pty. Ltd.（Cuvos私人有限公司）；Queensland University of Technology（昆士兰科技大学）
在过去的十年中，对人工智能（AI）的兴趣激增几乎完全是由人工神经网络（ANN）的进步推动的。虽然人工神经网络为许多以前难以解决的问题提供了最先进的性能，但使用全局梯度下降需要大量数据集和计算资源来进行训练，这可能会限制其在现实世界领域的可扩展性。脉冲神经网络（SNN）是ANN的替代方案，其使用更多类似大脑的人工神经元，并且可以使用局部无监督学习来快速发现输入数据中的稀疏可识别特征。然而，SNN与动态稳定性作斗争，并且未能与ANN的准确性相匹配。在这里，我们展示了SNN如何克服文献中已经确定的许多缺点，包括为动态“消失尖峰问题”提供原则性的解决方案，优于所有现有的浅层SNN，并与ANN的性能相当。它使用无标记数据的无监督学习，仅使用1/50的训练时期，（标记的数据仅用于简单的线性读出层）。这一结果使得SNN成为一种可行的新方法，用于快速，准确，高效，可解释和可重新部署的无标记数据机器学习。
2022-09-01 cs.AI cs.CV cs.LG
Spiking Two-Stream Methods with Unsupervised STDP-based Learning for Action Recognition
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；MR 9189 -- CRIStAL -- Centre de Recherche en Informatique, Signal et Automatique de Lille（里尔信息、信号与自动化研究中心（MR 9189 - CRIStAL））
本文提出基于无监督STDP学习规则的卷积脉冲神经网络双流方法用于动作识别，发现双流CSNN能用有限数据提取时空信息且空间与时间流互补，但时空流会导致冗余且不提升性能。
2023-06-23 cs.CV cs.NE
