Including STDP to eligibility propagation in multi-layer recurrent spiking neural networks
University of Groningen（格罗宁根大学）
与基于深度学习的方法相比，神经形态系统中的脉冲神经网络（SNN）更节能，但没有明确的竞争性学习算法用于训练这种SNN。资格传播（e-prop）提供了一种有效的和生物学上合理的方式，训练竞争力的经常SNN在低功耗的神经形态硬件。在这份报告中，以前的性能的e-prop的语音分类任务的再现，包括STDP样的行为的影响进行了分析。将STDP包括到ALIF神经元模型中提高了分类性能，但对于Izhikevich e-prop神经元来说情况并非如此。最后，发现在单层递归SNN中实现的e-prop始终优于多层变体。
2022-01-05 cs.LG cs.NE
Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks
CWI（CWI研究所）；Stichting IMEC Netherlands, Holst Centre（荷兰IMEC基金会荷尔斯特中心）；Univ of Amsterdam（阿姆斯特丹大学）；Rijksuniversiteit Groningen（格罗宁根大学）
受生物神经元更详细建模的启发，脉冲神经网络（SNN）已经被研究为更生物学上合理的和潜在的更强大的神经计算模型，并且还具有提取生物神经元能量效率的目的;然而，与经典人工神经网络（ANN）相比，这种网络的性能仍然不足。在这里，我们展示了一种新的代理梯度与可调和自适应尖峰神经元的递归网络相结合，如何在时域中具有挑战性的基准上为SNN提供最先进的技术，如语音和手势识别。这也超过了标准经典循环神经网络（RNN）的性能，并接近最好的现代ANN。由于这些SNN表现出稀疏尖峰，我们表明，与具有可比性能的RNN相比，它们理论上的计算效率高出一到三个数量级。总之，这将SNN定位为AI硬件实现的有吸引力的解决方案。
2021-03-12 cs.LG cs.NE
Phase State Space Models: Parallel, Surrogate-Free Training of Spiking Networks
Argonne National Laboratory（阿贡国家实验室）
该研究将状态空间模型适配到脉冲网络，对共振-发放神经网络提出新解释，实现了集成STFT、循环记忆和注意力特征的脉冲兼容网络，支持并行训练且保留生物真实特征。
2026-08-11 cs.NE
Enhancing Adaptive History Reserving by Spiking Convolutional Block Attention Module in Recurrent Neural Networks
针对卷积脉冲神经网络忽略时序特征的问题，提出嵌入SCBAM的循环脉冲神经网络模型，通过自适应调用时空历史信息消除冗余，在DVS128等数据集上以更少内存实现更高准确率。
2024-01-08 cs.NE
ReckOn: A 28nm Sub-mm2 Task-Agnostic Spiking Recurrent Neural Network Processor Enabling On-Chip Learning over Second-Long Timescales
自主边缘设备的强大现实部署需要片上适应用户、环境和任务引起的可变性。由于片上存储器的限制，以前的学习设备仅限于静态刺激，没有时间的内容。我们提出了一个0.45毫米$^2$尖峰RNN处理器，使任务无关的在线学习超过几秒钟，我们演示了导航，手势识别和关键字定位在0.8%的内存开销和<150- $μ$ W的训练功率预算。
2022-08-20 cs.AR cs.ET cs.NE
Spike-Train Level Backpropagation for Training Deep Recurrent Spiking Neural Networks
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
脉冲神经网络（SNN）很好地支持时空学习和节能的事件驱动硬件神经形态处理器。递归脉冲神经网络（RSNNs）是一类重要的神经网络，具有强大的计算能力。然而，RSNN的实际应用受到培训挑战的严重限制。生物启发的无监督学习在提高RSNN性能方面的能力有限。另一方面，现有的反向传播（BP）方法遭受高复杂性展开的时间，消失和爆炸梯度，以及近似分化的不连续尖峰活动时，应用到RSNN。为了能够在定义良好的损失函数下对RSNN进行监督训练，我们提出了一种新的用于训练深度RSNN的Spike-Train级别的反向传播（ST-RSBP）算法。建议的ST-RSBP直接计算的梯度率编码的损失函数定义在输出层的网络w.r.t可调参数。ST-RSBP的可扩展性是通过所提出的尖峰训练级计算来实现的，在此期间，SNN的时间效应在BP的前向和后向传递中被捕获。我们的ST-RSBP算法可以广泛应用于具有单个递归层的RSNN或具有多个前馈和递归层的深度RSNN。基于具有挑战性的语音和图像数据集，包括TI 46、N-TIDIGITS、Fashion-MNIST和MNIST，ST-RSBP能够训练RSNN，其精度超过当前最先进的SNN BP算法和传统的非尖峰深度学习模型。
2019-11-03 cs.LG cs.NE
Skip-Connected Self-Recurrent Spiking Neural Networks with Joint Intrinsic Parameter and Synaptic Weight Training
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
递归脉冲神经网络（RSNNs）作为一类重要的脉冲神经网络（SNNs），具有强大的计算能力，被广泛应用于音频、文本等序列数据的处理。然而，大多数RSNN都有两个问题。1.由于缺乏体系结构指导，经常采用随机递归连接，这并不能保证良好的性能。2. RSNN的训练通常具有挑战性，需要检查可实现的模型精度。为了解决这些问题，我们提出了一种新型的RSNN，称为跳跃连接自递归SNN（ScSr-SNN）。ScSr-SNN中的递归是通过向尖峰神经元添加自递归连接来以刻板的方式引入的，这实现了局部记忆。网络动态丰富的非相邻层之间的跳跃连接。ScSr-SNN由简化的自递归和跳跃连接构建，能够实现类似于更复杂的RSNN的递归行为，而由于网络的主要前馈性质，可以更直接地计算误差梯度。此外，我们提出了一种新的反向传播（BP）方法，称为反向传播内在可塑性（BIP），通过训练内在模型参数来进一步提高ScSr-SNN的性能。与根据神经元活动调整神经元的内在参数的标准内在可塑性规则不同，除了突触权重训练之外，所提出的BIP方法基于定义良好的全局损失函数的反向传播误差梯度来优化内在参数。基于具有挑战性的语音和神经形态语音数据集，包括TI46-Alpha，TI46-Digits和N-TIDIGITS，与通过最先进的BP方法训练的其他类型的RSNN相比，所提出的ScSr-SNN可以将性能提高高达2.55%。
2020-10-23 cs.LG cs.NE
Biologically Plausible Variational Policy Gradient with Spiking Recurrent Winner-Take-All Networks
University of Leeds（利兹大学）；Tsinghua University（清华大学）；Fujian Normal University（福建师范大学）
强化学习研究的一个方向是探索生物学上合理的模型和算法，以模拟生物智能并适应神经形态硬件。其中，奖赏调制的发放时间依赖可塑性（R-STDP）是一个新的分支，在能量效率方面具有很好的潜力。然而，目前的R-STDP方法依赖于局部学习规则的启发式设计，因此需要特定于任务的专家知识。本文考虑一个尖峰循环赢者通吃网络，提出了一种新的R-STDP方法-尖峰变分策略梯度（SVPG），其局部学习规则来自全局策略梯度，从而消除了启发式设计的需要.在MNIST分类实验和Gym InvertedPendulum实验中，我们的SVPG取得了良好的训练效果，并且对各种噪声的鲁棒性也比传统方法更好。
2022-10-21 cs.LG cs.NE q-bio.NC
Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing
Georgia Institute of Technology（佐治亚理工学院）
该研究整合三项开创性工作，通过在神经元和突触动力学中引入异质性，结合新型剪枝方法提升异质循环脉冲神经网络的分类性能、减少脉冲活动，为高能效边缘神经计算提供新思路。
2024-07-08 cs.AI cs.NE
DelRec: learning delays in recurrent spiking neural networks
CNRS UMR 5549（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；IPAL, CNRS IRL 2955（法国国家科学研究中心新加坡联合实验室）
DelRec是首个通过代理梯度学习联合优化循环脉冲神经网络的循环延迟与突触权重的方法，在混沌时间序列预测等任务上性能优于基线，还可降低网络内存占用与能耗，适用于生物电路建模和神经形态计算。
2026-09-01 cs.NE
Genetic Algorithmic Parameter Optimisation of a Recurrent Spiking Neural Network Model
神经网络是对人脑行为进行松散建模的复杂算法。它们在计算神经科学和人工智能中起着重要的作用。下一代神经网络模型是基于神经元的尖峰定时活动：脉冲神经网络（SNN）。然而，SNN中的模型参数难以搜索和优化。以前的研究，使用遗传算法（GA）优化SNN主要集中在简单的，前馈，或振荡网络，但没有太多的工作已经做了优化皮质类递归SNN。在这项工作中，我们研究了使用遗传算法来搜索递归SNN中的最佳参数，以达到目标神经元群体的放电率，例如在实验观察中。我们考虑了基于皮质柱的SNN，包括1000个Izhikevich尖峰神经元，用于计算效率和生物现实主义。探索的模型参数是神经元偏置输入电流。首先，我们找到了这个特定的SNN，目标人口平均发射活动的最佳参数值，算法的收敛约100代。然后，我们表明，GA的最佳人口规模在~16-20，而返回最佳适应值的交叉率为~0.95。总的来说，我们已经成功地证明了实施GA优化模型参数在一个经常性的皮质SNN的可行性。
2020-05-27 cs.NE q-bio.NC
Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses
尖峰循环神经网络（RNN）是一种很有前途的工具，用于解决各种复杂的认知和运动任务，由于其丰富的时间动态和稀疏处理。然而，在专用的神经形态硬件上训练尖峰RNN仍然是一个开放的挑战。这主要是由于缺乏本地的，硬件友好的学习机制，可以解决时间信用分配问题，并确保稳定的网络动态，即使在权重分辨率是有限的。如果人们诉诸于使用忆阻器件进行存内计算来解决冯-诺依曼瓶颈问题，则这些挑战将进一步加剧，代价是尖峰RNN的计算和工作存储器两者的可变性大幅增加。为了解决这些挑战，并使在线学习忆阻神经形态RNN，我们提出了一个模拟框架的基础上，准确和全面的相变存储器（PCM）设备模型的差分架构交叉阵列。我们训练一个尖峰RNN，其权重在所提出的仿真框架中进行仿真，使用最近提出的电子道具学习规则。虽然e-prop局部近似理想的突触更新，但由于实质上的PCM非理想性，难以在忆阻衬底上实现更新。我们比较了几种广泛适用的权重更新方案，这些方案主要旨在应对这些设备的非理想性，并证明了累积梯度可以在忆阻衬底上在线有效地训练尖峰RNN。
2021-09-25 cs.ET cs.NE
Information Bottleneck in Control Tasks with Recurrent Spiking Neural Networks
神经系统将来自环境的连续信息以离散尖峰的形式编码，然后解码这些信息以产生平滑的运动动作。了解尖峰信号如何整合、表示和处理信息以产生行为是神经科学中最大的挑战之一。信息论有潜力帮助我们应对这一挑战。对解决静态输入-输出任务的深度和前馈人工神经网络的信息分析导致了\emph{Information Bottleneck}原理的提出，该原理指出，更深层编码关于输入的更多相关但最少的信息。对具有周期性、尖峰脉冲和执行控制任务的网络的这种分析相对较少。在这里，我们提出了一个经常性的脉冲神经网络，演变为执行经典的极点平衡任务的互信息分析的结果。我们的研究结果表明，这些网络偏离\emph{Information Bottleneck}原则规定的前馈网络。
2017-06-06 cs.IT cs.NE math.IT
Composing Recurrent Spiking Neural Networks using Locally-Recurrent Motifs and Risk-Mitigating Architectural Optimization
针对现有循环脉冲神经网络架构缺乏系统性优化的问题，提出由稀疏连接循环基元层构成的可扩展架构和混合风险缓解架构搜索方法，通过生物启发的自修复机制降低优化风险，在多个数据集上实现了性能显著提升。
2023-09-16 cs.NE
Learning to Recognize Actions from Limited Training Examples Using a Recurrent Spiking Neural Model
School of Electrical & Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）；Intel Labs（英特尔实验室）
当今机器学习的一个基本挑战是构建一个可以从很少的例子中学习的模型。在这里，我们描述了一个基于水库的尖峰神经模型，用于学习识别具有有限数量的标记视频的动作。首先，我们提出了一种新的编码，灵感来自于微扫视如何影响视觉感知，从原始视频数据中提取尖峰信息，同时保留不同帧之间的时间相关性。使用这种编码，我们表明，水库概括其丰富的动态活动对签名动作/动作，使它能够从几个训练样本学习。我们在UCF-101数据集上评估了我们的方法。我们的实验表明，我们提出的水库分别达到81.3%/87%的Top-1/Top-5的准确率，在101类数据，而每个类只需要8个视频样本进行训练。我们的研究结果为动作识别建立了一个新的基准，从有限的视频例子尖峰神经模型，同时产生竞争的准确性相对于国家的最先进的非尖峰神经模型。
2017-10-19 cs.CV cs.NE
Energy-Efficient Implementation of Spiking Recurrent Cells on FPGA
本文提出一种基于FPGA的脉冲递归细胞（SRC）神经元加速器，通过数学简化去除昂贵算子并避免浮点运算，在保持丰富神经动力学的同时实现高能效，在MNIST数据集上达到96.31%准确率，并通过减少脉冲序列长度和量化权重进一步降低能耗。
2026-06-02 cs.NE
Conversion of Artificial Recurrent Neural Networks to Spiking Neural Networks for Low-power Neuromorphic Hardware
近年来，功耗低几个数量级的神经形态低功耗系统领域获得了显著的发展势头。然而，由于缺乏能够利用这种架构优势的算法，它们的广泛使用仍然受到阻碍。虽然表示学习算法的神经形态适应正在出现，但时间序列或可变长度输入的有效处理仍然很困难。循环神经网络（RNN）被广泛用于机器学习以解决各种序列学习任务。在这项工作中，我们提出了一种训练和约束方法，使机器学习（Elman）RNN映射到尖峰神经元的基底上，同时与当前和不久的将来的神经形态系统的能力兼容。这种“训练和约束”方法包括首先使用时间反向传播来训练RNN，然后离散化权重，最后通过将人工神经元的响应与尖峰神经元的响应相匹配来将它们转换为尖峰RNN。我们展示了我们的方法，通过映射一个自然语言处理任务（问题分类），在那里我们展示了整个映射过程的递归层的网络IBM的神经突触系统“TrueNorth”，一个尖峰为基础的数字神经形态硬件架构。TrueNorth对连接性、神经和突触参数施加了特定的约束。为了满足这些约束，需要将突触权重和神经活动离散化到16个级别，并将扇入限制为64个输入。我们发现，短的突触延迟足以在问题分类任务中实现RNN的动态（时间）方面。硬件约束模型在问题分类中实现了74%的准确性，同时在一个TrueNorth芯片上使用不到0.025%的内核，估计功耗约为17 uW。
2016-01-16 cs.NE
Learning spatiotemporal signals using a recurrent spiking network that discretizes time
学习产生时空序列是大脑必须解决的常见任务。大脑可以使用相同的神经基质来产生不同的顺序行为。大脑学习和编码这些任务的方式仍然未知，因为当前的计算模型通常不使用现实的生物学上合理的学习。在这里，我们提出了一个模型，其中兴奋性和抑制性生物物理神经元的尖峰递归网络驱动读出层：驱动递归网络的动态被训练来编码时间，然后通过读出神经元映射来编码另一个维度，例如空间或相位。不同的时空模式可以通过突触权重被学习和编码到遵循共同的赫布学习规则的读出神经元。我们证明，该模型能够学习时空动态的时间尺度上的行为相关的，我们表明，学习的序列是鲁棒性重放期间的自发活动的制度。
2019-12-19 cs.NE nlin.AO physics.bio-ph
GRSN: Gated Recurrent Spiking Neurons for POMDPs and MARL
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Computer Science, Zhejiang University of Technology（浙江工业大学计算机学院）
针对脉冲强化学习中多时间步仿真对应单步决策的时间不匹配问题，提出时间对齐范式TAP并引入门控循环脉冲神经元GRSN，以累积历史状态信息并增强记忆能力，在解决POMDPs和多智能体协作问题时性能媲美RNN且功耗降低约50%。
2024-04-24 cs.AI cs.LG cs.MA
Learning Feedforward and Recurrent Deterministic Spiking Neuron Network Feedback Controllers
我们解决的问题，学习反馈控制的控制器是一个网络构造的确定性尖峰神经元。与以前基于神经元尖峰速率模型的研究相比，这里的控制信号由网络输出神经元生成的尖峰的精确时间位置确定。我们正式建模的问题作为一个混合动力系统，包括一个闭环之间的植物和尖峰神经元网络。我们推导出一种新的突触权重更新规则，通过该规则，尖峰神经元网络控制器学习在所需的设定点保持过程变量。该控制器实现其学习目标的基础上访问工厂的过程变量和他们的衍生物相对于不断变化的控制信号，特别是，它不需要工厂的内部模型。我们证明了有效性的规则，将其应用到经典的控制问题的车杆（倒立摆）和模型的鱼运动。实验表明，所提出的控制器具有一个稳定的区域相比，传统的PID控制器，其轨迹不同的定性从PID控制器，并在许多情况下，控制器实现其目标，使用非常稀疏的脉冲序列输出。
2018-09-25 cs.NE q-bio.NC
Evolving Connectivity for Recurrent Spiking Neural Networks
本文提出演化连接性（EC）框架，将循环脉冲神经网络训练转化为对连接概率分布的搜索，利用自然演化策略实现无梯度、硬件友好的推理优化，在机器人运动任务中超越梯度训练的RSNN并取得两到三倍效率提升。
2023-05-28 cs.NE
Sleep-Based Homeostatic Regularization for Stabilizing Spike-Timing-Dependent Plasticity in Recurrent Spiking Neural Networks
本研究提出基于睡眠的神经元稳态正则化方法，通过周期性离线阶段稳定递归脉冲神经网络中的脉冲时间依赖可塑性学习。
2026-01-13 cs.NE stat.ML
SpikingGamma: Surrogate-Gradient Free and Temporally Precise Online Training of Spiking Neural Networks with Smoothed Delays
CWI（荷兰国家数学与计算机科学研究中心）；University of Lübeck（吕贝克大学）
SpikingGamma通过内部递归记忆结构和sigma-delta spike编码，实现无替代梯度的在线训练，支持细时间模式学习和高效硬件映射。
2026-02-02 cs.LG cs.NE
Spike-based computation using classical recurrent neural networks
Montefiore Institute, University of Liege（列日大学蒙泰菲奥雷研究所）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）
本文提出一种可微的脉冲循环单元Spiking Recurrent Cell，通过修改经典RNN动力学实现基于事件的通信，使普通反向传播可训练深度脉冲网络，并在MNIST等基准上取得与其他脉冲网络相当的性能。
2024-05-06 cs.LG cs.NE
Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training
Drexel University（德雷塞尔大学）
反馈驱动的递归脉冲神经网络（RSNN）是一种能够模拟动态系统的强大计算模型。然而，从读出到递归层的反馈回路的存在使学习机制不稳定并防止其收敛。在这里，我们提出了一个有监督的RSNN训练过程，其中第二个网络只在训练过程中引入，以提供目标动态的提示。所提出的训练过程包括为递归层和读出层生成目标（即，完整的RSNN系统）。它使用基于递归最小二乘的一阶和减少控制误差（FORCE）算法来适应每一层的活动。所提出的全FORCE训练过程减少了保持输出和目标之间的误差接近于零所需的修改量。这些修改控制反馈回路，从而使训练收敛。我们证明了改进的性能和噪声鲁棒性的建议全力训练过程模型8动态系统使用RSNNs与泄漏集成和消防（LIF）神经元和速率编码。对于能量高效的硬件实现，针对全FORCE训练过程实现替代的第一尖峰时间（TTFS）编码。与速率编码相比，采用TTFS编码的全FORCE生成的尖峰更少，有助于更快地收敛到目标动态。
2022-05-26 cs.AI cs.LG cs.NE
Quantized Context Based LIF Neurons for Recurrent Spiking Neural Networks in 45nm
University of California, Santa Barbara（加州大学圣巴巴拉分校）
本研究首次在45nm硬件上实现了基于上下文的循环脉冲神经网络，提出量化版CLIF神经元（qCLIF），通过软硬件协同设计在保持90%准确率的同时实现了高扩展性和面积效率。
2024-04-28 cs.AI cs.AR cs.CV
VOWEL: A Local Online Learning Rule for Recurrent Networks of Probabilistic Spiking Winner-Take-All Circuits
King’s College London（伦敦国王学院）
尖峰神经元网络和赢家通吃尖峰电路（WTA-SNN）可以检测编码在时空多值事件中的信息。这些通过感兴趣的事件的时间来描述，例如，点击，以及分配给每个事件的分类数值，例如，喜欢或不喜欢。其他用例包括从神经形态相机收集的数据中识别对象，这些相机在亮度变化足够大的时候为每个像素产生有符号位。现有的训练WTA-SNN的方案仅限于速率编码解决方案，因此只能检测空间模式。为任意WTA-SNN开发更通用的训练算法继承了训练（二进制）脉冲神经网络（SNN）的挑战。这些金额，最值得注意的是，阈值函数的不可微性，尖峰神经模型的经常性行为，以及在神经形态硬件中实现反向传播的困难。在本文中，我们开发了一个变分的WTA-SNN的在线本地训练规则，称为VOWEL，它只利用了可见电路的本地突触前和突触后信息，以及隐藏电路的额外公共奖励信号。该方法是基于概率广义线性神经模型，控制变量，变分正则化。在具有多值事件的真实世界神经形态数据集上的实验结果表明，WTA-SNN优于使用最先进方法训练的传统二进制SNN，特别是在计算资源有限的情况下。
2020-04-20 cs.LG cs.NE eess.SP
Scalable Learning in Structured Recurrent Spiking Neural Networks without Backpropagation
Department of Electrical and Computer Engineering（电气与计算机工程系）；Worcester Polytechnic Institute（沃斯特理工学院）
本文提出一种结构化多层递归SNN架构，通过局部密集递归层与稀疏小世界长程连接相结合，实现无需反向传播的监督学习，展示了稀疏全局通信和纯局部突触更新的高效学习方法。
2026-05-01 cs.AI cs.LG cs.NE
Predicting non-linear dynamics by stable local learning in a recurrent spiking neural network
本文提出了一种监督学习方案，用于循环脉冲神经网络中前馈和循环连接的权重学习，通过反馈误差和局部学习规则实现稳定学习，展示了线性、非线性及混沌动力学的学习能力。
2017-04-26 cs.LG cs.NE cs.SY
Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks
Georgia Institute of Technology（佐治亚理工学院）
本文提出用表示拓扑散度（RTD）度量递归脉冲神经网络（RSNN）的表示差异，通过前馈自编码器重构RSNN，发现异质性STDP学习产生独特表示，优于同质及监督方法。
2024-03-19 cs.AI cs.NE
Efficient Event-based Delay Learning in Spiking Neural Networks
本文提出了一种基于EventProp的SNNs延迟训练方法，可精确计算权重和延迟梯度，支持多脉冲且首次应用于循环SNNs，实验证明其能优化延迟提升分类准确率，且内存占用减半、速度最高快26倍。
2025-06-26 cs.NE
A Scalable Hybrid Training Approach for Recurrent Spiking Neural Networks
Institute of Machine Learning and Neural Computation, Graz University of Technology, Austria（机器学习与神经计算研究所，格拉茨技术大学）
针对循环脉冲神经网络现有训练方法的局限，提出结合并行化与近似在线前向学习的HYPR方法，实现高吞吐量在线学习与恒定内存消耗，大幅缩小与BPTT的性能差距。
2025-06-17 cs.AI cs.LG cs.NE
Long Short-Term Memory Spiking Networks and Their Applications
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
基于事件的神经形态系统的最新进展引起了人们对脉冲神经网络（SNN）的使用和发展的极大兴趣。然而，尖峰神经元的不可微性质使得SNN与传统的反向传播技术不兼容。尽管在训练传统深度神经网络（DNN）方面取得了重大进展，但对SNN的训练方法仍然知之甚少。在本文中，我们提出了一个新的框架来训练递归SNN。类似于递归神经网络（RNN）在DNN中学习时间序列模型的好处，我们开发了基于长短期记忆（LSTM）网络的SNN。我们展示了LSTM尖峰网络学习尖峰的时间和时间依赖性。我们还开发了一种基于LSTM的SNN的误差反向传播方法。在基于LSTM的SNN中开发的反向传播架构和方法使它们能够学习长期依赖关系，其结果与传统的LSTM相当。
2020-07-09 cs.LG cs.NE
Predictive Allostatic Organization in Recurrent and Spiking Agents Under Partial Observability
该研究在部分可观测的能量受限觅食任务中，证实循环与脉冲智能体可发展出预测性、能量敏感的内部状态，其性能优于基线，为预测性 allo-static 组织提供计算类比。
2026-08-14 cs.LG cs.NE
A wake-sleep algorithm for recurrent, spiking neural networks
我们调查最近提出的模型进行关系推理的皮质计算。它由几个相互连接的，结构上等效的群体泄漏整合和消防（LIF）神经元，这是训练在一个自组织的方式与尖峰定时依赖可塑性（STDP）。尽管其强大的学习动力学，该模型是容易受到一个典型的递归网络，使用基于相关性（赫布）的学习规则的问题：如果训练与高学习率，经常性的连接可能会导致强反馈回路的网络动态，这导致吸引子状态的出现。这导致可表示模式的数量大幅减少，网络的推理能力下降。作为解决方案，我们引入了一个概念上非常简单的“唤醒-睡眠”算法：在唤醒阶段，正常执行训练，而在睡眠阶段，网络从其生成模型中“做梦”样本，这些样本由随机输入引起。这个过程允许我们激活网络中的吸引子状态，然后可以通过反赫布机制有效地取消学习。该算法允许我们将学习率提高到10倍，同时避免聚类，这使得网络的学习速度提高了几倍。此外，对于低学习率，其中聚类不是问题，它提高了收敛速度并减少了最终的推理误差。
2017-03-18 cs.NE q-bio.NC
Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales for Pruning Recurrent SNN
Georgia Institute of Technology（佐治亚理工学院）
本文提出任务无关的Lyapunov噪声剪枝算法，利用神经元时间尺度异质性从随机初始化模型构建稳定稀疏异质循环脉冲神经网络，可适配多任务，相较传统剪枝方法提升了计算效率与预测性能。
2024-03-06 cs.AI cs.NE
Soliton-like Waves in a Two-Dimensional Recurrent Spiking Neural Network with Weighted Spike-Timing-Dependent Plasticity
本文构建了一个最小生物合理的脉冲神经元模型，通过加权STDP和归一化机制，在二维递归网络中自发产生稳定传播的耗散孤子波，其碰撞湮灭特性可用于编码相对相位和频率。
2026-06-23 cs.NE q-bio.NC
Coarse scale representation of spiking neural networks: backpropagation through spikes and application to neuromorphic hardware
Argonne National Laboratory（阿贡国家实验室）
在这项工作中，我们探讨了经常性的代表性泄漏整合和消防神经元的时间尺度等于他们的绝对不应期。我们的粗时间尺度近似获得使用的概率分布函数的尖峰到达，均匀分布在这个时间间隔。这导致了一种离散表示，它表现出与连续模型相同的动态特性，从而通过递归实现实现了高效的大规模模拟和反向传播。我们使用这种方法直接在Pytorch中探索深度脉冲神经网络的训练，包括卷积、全对全连接和最大池层。我们发现，递归模型在训练过程中仅使用4长的尖峰序列就可以获得很高的分类精度。我们还观察到一个很好的转移回泄漏集成和火灾神经元的连续实现。最后，我们将这种方法应用于一些标准控制问题，作为使用神经形态芯片探索强化学习的第一步。
2020-07-13 cs.ET cs.LG cs.NE
Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition
Idiap Research Institute（伊迪亚普研究所）
与产生密集和实值响应的传统人工神经元相比，生物启发的尖峰神经元传输稀疏和二进制信息，这也可以实现节能。最近的研究表明，脉冲神经网络可以像标准的递归神经网络一样使用代理梯度方法进行训练。它们在语音命令识别任务中显示出了有希望的结果。使用相同的技术，我们表明，他们是可扩展的大词汇量连续语音识别，在那里他们能够取代LSTM的编码器只有轻微的性能损失。这表明它们可能适用于更多涉及的序列到序列任务。此外，与其经常性的非尖峰对应物相比，它们对梯度爆炸问题具有鲁棒性，而无需使用门。
2023-02-16 cs.CL cs.LG cs.NE
IP$^{2}$-RSNN: Bi-level Intrinsic Plasticity Enables Learning-to-learn in Recurrent Spiking Neural Networks
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；School of Engineering, Westlake University（西湖大学工程学院）；School of Life Sciences, Westlake University（西湖大学生命科学学院）
本研究提出IP$^{2}$-RSNN，通过双层内在可塑性使递归脉冲神经网络实现学会学习，优于点神经元和自注意力模型，揭示内在可塑性在L2L中的计算优势。
2025-09-26 cs.LG cs.NE
Full Integer Arithmetic Online Training for Spiking Neural Networks
该研究提出一种纯整数混合精度在线训练算法，减少内存使用超60%，在MNIST和SHD数据集上达到与全精度相当的准确率，适用于卷积和循环脉冲神经网络，便于硬件部署。
2025-09-08 cs.NE
Brain-inspired Computational Modeling of Action Recognition with Recurrent Spiking Neural Networks Equipped with Reinforcement Delay Learning
针对动作识别模型生物合理性与性能难以兼顾的问题，提出融合强化延迟学习等生物机制的循环脉冲神经网络，在 DVS-128 Gesture 上超越既有类脑模型并媲美深度监督模型。
2024-06-17 cs.NE
SparseProp: Efficient Event-Based Simulation and Training of Sparse Recurrent Spiking Neural Networks
Zuckerman Mind Brain Behavior Institute, Columbia University（哥伦比亚大学祖克曼心智脑行为研究所）；Max Planck Institute for Dynamics and Self-Organization（马克斯·普朗克动力学与自组织研究所）；Göttingen Campus Institute for Dynamics of Biological Networks（哥廷根校区生物网络动力学研究所）
本文提出SparseProp，一种利用网络稀疏性的事件驱动算法，将脉冲神经网络模拟与训练的前向和反向计算成本从O(N)降至O(log(N))，实现百万LIF神经元网络的精确高效训练，加速超四个数量级。
2023-12-28 cs.AI cs.LG cs.NE
EAS-SNN: End-to-End Adaptive Sampling and Representation for Event-based Detection with Recurrent Spiking Neural Networks
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；State Key Laboratory of Brain-Machine Intelligence, Zhejiang University（浙江大学脑机智能国家重点实验室）
针对事件相机目标检测中自适应事件采样未解决的问题，提出基于循环脉冲神经网络的端到端自适应采样模块，并引入RPD和SAT缓解性能退化，在减少参数和时间步的同时显著提升了检测精度。
2024-08-24 cs.AI cs.CV cs.NE
Decoding finger velocity from cortical spike trains with recurrent spiking neural networks
Qiushi Academy for Advanced Studies, Zhejiang University（浙江大学求是高等研究院）；College of Biomedical Engineering and Instrument Science, Zhejiang University（浙江大学生物医学工程与仪器科学学院）；Friedrich Miescher Institute for Biomedical Research（弗里德里希·米歇尔生物医学研究所）；Faculty of Science, University of Basel（巴塞尔大学理学院）；China Nanhu Academy of Electronics and Information Technology (CNAEIT)（中国南湖电子信息技术研究院）
本文研究循环脉冲神经网络（RSNNs）在完全植入式脑机接口中从皮层脉冲序列解码手指速度的可行性，通过训练大型和微型RSNN模型，证明其在严格资源约束下优于现有SNN和ANN解码器，为超低功耗植入式BMI提供了有前景的解决方案。
2024-09-03 cs.HC cs.LG cs.NE
Von Economo neurons enable reliable social skill acquisition in recurrent spiking neural networks: a computational account with clinical predictions
University of the West of England（西英格兰大学）
该研究探讨了Von Economo神经元（VENs）在社交学习中的计算作用，通过训练包含VEN-like投射神经元的脉冲神经网络（VENCircuit），发现VENs的缺失显著影响学习能力，提出VENs作为学习支架的理论，并提出可验证的临床预测。
2026-05-17 cs.NE q-bio.NC
Hardware/Software Co-Design for Spike Based Recognition
Intelligent Systems Research Centre（智能系统研究中心）；University of Ulster（阿尔斯特大学）
基于递归发放神经元的实际应用由于其非平凡的学习算法而受到限制。尖峰神经元的时间性质更有利于硬件实现，其中信号可以以二进制形式表示，并且可以通过使用尖峰进行通信。这项工作探讨了可重构平台上的递归尖峰神经元实现的潜力及其在基于时间的应用中的适用性。研究了储备池计算的理论框架，并给出了相应的软硬件实现方法。在这个框架中，只训练读出神经元，这克服了在网络级训练的负担。这些递归神经网络被称为微电路，被视为皮质计算中的基本计算单元。本文研究了递归神经水库的潜力，并提出了一种新的硬件/软件的FPGA上实现的策略。该设计的实施和功能测试的背景下，语音识别应用程序。
2008-07-14 cs.AI cs.CE cs.NE
Smooth Exact Gradient Descent Learning in Spiking Neural Networks
本文针对脉冲神经网络中脉冲突变导致梯度下降困难的问题，提出基于连续变化脉冲动力学的精确梯度下降方法，支持脉冲的添加与移除，并在循环和深度等网络中验证了其有效性。
2025-01-28 cs.NE q-bio.NC
SQUAT: Stateful Quantization-Aware Training in Recurrent Spiking Neural Networks
UC Santa Cruz（加州大学圣克鲁兹分校）
本文提出面向脉冲神经网络有状态神经元的两种量化感知训练方案SQUAT，通过在放电阈值附近增加量化级别密度，并结合权重量化，在多个基准数据集上验证了其提升低精度SNN性能的有效性。
2024-04-15 cs.LG cs.NE
Predictive Coding as Stimulus Avoidance in Spiking Neural Networks
预测编码可以被认为是减少输入信号和自上而下预测之间的误差的函数。如果减少错误等同于减少来自环境的刺激的影响，则预测编码可以被视为通过预测来避免刺激。我们以前的研究表明，脉冲神经网络通过脉冲时间依赖的可塑性（STDP）产生刺激回避的行为和选择。在这项研究中，我们证明了具有随机结构的脉冲神经网络会自发地学习仅基于STDP来预测刺激的时间序列。
2019-11-21 cs.NE q-bio.NC
The Sparsity Ceiling: Where Spiking Networks Can and Cannot Trade Activity for Energy
Georgia Institute of Technology（佐治亚理工学院）
该研究揭示脉冲网络稀疏上限由任务类型决定，前馈感知可低至5%放电率，循环语言模型约50%，脉冲Transformer可至2%，并提出信息论边界解释该现象，明确神经形态硬件在事件驱动感知的优势。
2026-07-30 cs.LG cs.NE
Loss shaping enhances exact gradient learning with Eventprop in spiking neural networks
School of Engineering and Informatics, University of Sussex（萨塞克斯大学工程与信息学院）；Information & Communication Technologies, Imperial College London（伦敦帝国理工学院信息与通信技术系）
本文扩展Eventprop算法以支持更广泛的损失函数，结合数据增强、正则化和延迟线输入训练循环脉冲神经网络，在多个语音数据集上达到SOTA，且比代理梯度法快3倍、省4倍内存。
2025-01-31 cs.AI cs.LG cs.NE
Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time
CWI（荷兰数学与计算机科学研究院）；IMEC（比利时微电子研究中心）
大脑中尖峰神经元之间通信的事件驱动和稀疏性质为灵活和节能的AI带来了巨大的希望。学习算法的最新进展已经证明，与标准递归神经网络相比，尖峰神经元的递归网络可以被有效地训练以实现有竞争力的性能。尽管如此，由于这些学习算法使用时间误差反向传播（BPTT），它们遭受高存储器要求，训练缓慢，并且与在线学习不兼容。这将这些学习算法的应用限制在相对较小的网络和有限的时间序列长度。已经提出了具有较低计算和存储器复杂度的BPTT的在线近似（e-prop，OSTL），但在实践中也受到存储器限制，并且作为近似，不优于标准BPTT训练。在这里，我们展示了如何最近开发的替代BPTT，通过时间的前向传播（FPTT）可以应用于脉冲神经网络。与BPTT不同，FPTT试图最小化损失的持续动态正则化风险。因此，FPTT可以以在线方式计算，并且相对于序列长度具有固定的复杂度。当与一种新的动态尖峰神经元模型（Liquid-Time-Constant神经元）相结合时，我们证明了用FPTT训练的SNN优于在线BPTT近似，并且在时间分类任务上接近或超过离线BPTT准确性。因此，这种方法使得在长序列上以存储器友好的在线方式训练SNN并将SNN扩展到新颖且复杂的神经架构是可行的。
2022-11-11 cs.LG cs.NE
Brian2Loihi: An emulator for the neuromorphic chip Loihi using the spiking neural network simulator Brian
开发智能神经形态解决方案仍然是一项具有挑战性的工作。它需要对硬件的基本构建块有坚实的概念性理解。除此之外，可访问和用户友好的原型设计对于加快设计流程至关重要。我们开发了一个基于神经网络模拟器Brian的开源Loihi模拟器，它可以很容易地集成到现有的模拟工作流程中。我们展示了一个单一的神经元和一个循环连接的脉冲神经网络的软件中的无错Loihi仿真。片上学习也进行了审查和实施，合理的差异，由于随机舍入。这项工作提供了一个连贯的介绍Loihi的计算单元，并介绍了一个新的，易于使用的Loihi原型包，旨在帮助简化概念化和部署新的算法。
2021-09-25 cs.NE
