Spikingformer: A Key Foundation Model for Spiking Neural Networks
针对现有SNN骨干存在非脉冲计算、难以适配神经形态硬件的问题，本文提出融合MS残差连接与自注意力的脉冲Transformer骨干Spikingformer，在13个多类型数据集上验证了其性能，可作为高效通用SNN基础模型。
2025-11-13 cs.AI cs.NE
SpikingJET: Enhancing Fault Injection for Fully and Convolutional Spiking Neural Networks
Politecnico di Torino（都灵理工大学）
本文提出专用于全连接和卷积脉冲神经网络的故障注入器SpikingJET，通过向突触权重、神经元参数、内部状态和激活函数注入故障，系统评估SNNs对硬件故障的脆弱性与恢复能力，为提升神经网络驱动系统的可靠性提供支持。
2024-03-30 cs.AI cs.NE
Local learning through propagation delays in spiking neural networks
Oslo Metropolitan University（奥斯陆城市大学）；Norwegian University of Science and Technology（挪威科技大学）；Østfold University College（东福尔郡大学学院）
我们提出了一种新的局部学习规则的脉冲神经网络，其中尖峰传播时间经历活动依赖的可塑性。我们的可塑性规则调整突触前尖峰时间，以产生更强、更快的反应。输入通过延迟编码进行编码，输出通过匹配输出尖峰活动的类似模式进行解码。我们演示了使用这种方法在一个三层前馈网络的输入从数据库的手写数字。网络在训练后不断提高其分类准确性，并且使用这种方法进行训练还允许网络泛化到训练期间看不到的输入类。我们所提出的方法利用尖峰神经元的能力来支持许多不同的时间锁定序列的尖峰，其中每一个都可以被不同的输入激活。这里所示的概念验证证明了局部延迟学习在扩展脉冲神经网络的记忆容量和泛化能力方面的巨大潜力。
2022-10-27 cs.AI cs.LG cs.NE
Ensembles of Spiking Neural Networks
本文演示了如何构建脉冲神经网络的集成，产生最先进的结果，分别在MNIST，NMNIST和DVS手势数据集上实现98.71%，100.0%和99.09%的分类准确率。此外，这种性能是使用简化的个体模型实现的，其中集成包含的参数不到已发布参考模型的50%。我们提供全面的探索穗训练解释方法的效果，并推导出理论方法相结合的模型预测，这样的性能改进是保证扣球合奏。为此，我们将脉冲神经网络形式化为GLM预测器，确定其目标域的合适表示。此外，我们展示了我们的尖峰合奏的多样性可以使用歧义分解来衡量。这项工作展示了集成如何克服产生可以与传统深度神经网络竞争的单个SNN模型的挑战，并创建具有更少可训练参数和更小内存占用的系统，为低功耗边缘应用打开大门，例如在神经形态硬件上实现。
2021-09-06 cs.AI cs.NE
An Introductory Review of Spiking Neural Network and Artificial Neural Network: From Biological Intelligence to Artificial Intelligence
Tsinghua University（清华大学）；McGill University（麦吉尔大学）
本文综述了脉冲神经网络与人工神经网络，从生物神经元基础、模型、回路连接到学习机制与架构，旨在推动类脑智能和通用人工智能发展。
2022-04-09 cs.AI cs.NE
Advanced Computing and Related Applications Leveraging Brain-inspired Spiking Neural Networks
本文综述了脉冲神经网络在脑启发人工智能中的核心计算与应用，系统分析了五种神经元模型、五种网络拓扑结构及多类学习算法，并重点回顾了国内外类脑神经形态芯片的研究进展，为该领域新手提供学习概念与研究方向。
2023-09-08 cs.AI cs.NE
Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
本文提出多级发放（MLF）方法和脉冲休眠抑制残差网络（spiking DS-ResNet），以解决直接训练脉冲神经网络中的梯度消失与网络退化问题，从而以更少参数实现更深层SNNs的高性能。
2023-04-19 cs.AI cs.NE
Memory via Temporal Delays in weightless Spiking Neural Network
Tufts University（塔夫茨大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
神经科学界的一个共同观点是，记忆是由神经元之间的连接强度编码的。这种认知导致人工神经网络模型将连接权重作为调节学习的关键变量。在本文中，我们提出了一个原型的无重量脉冲神经网络，可以执行一个简单的分类任务。该网络中的记忆存储在神经元之间的时间中，而不是连接的强度，并且使用Hebbian Spike Timing Dependent Plasticity（STDP）进行训练，该训练调节连接的延迟。
2022-02-15 cs.AI cs.LG cs.NE
Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing
Georgia Institute of Technology（佐治亚理工学院）
该研究整合三项开创性工作，通过在神经元和突触动力学中引入异质性，结合新型剪枝方法提升异质循环脉冲神经网络的分类性能、减少脉冲活动，为高能效边缘神经计算提供新思路。
2024-07-08 cs.AI cs.NE
SPICEprop: Backpropagating Errors Through Memristive Spiking Neural Networks
University of Michigan（密歇根大学）
我们提出了一个完全忆阻脉冲神经网络（MSNN）的新型忆阻神经元训练通过时间（BPTT）的学习规则。梯度下降直接应用于使用模拟SPICE电路模型设计的忆阻集成激发（MIF）神经元，其产生不同的去极化、超极化和复极化电压波形。突触权重由BPTT使用MIF神经元模型的膜电位来训练，并且可以在忆阻交叉杆上处理。MIF神经元模型的自然尖峰动态是完全可微的，消除了对脉冲神经网络文献中普遍存在的梯度近似的需要。尽管直接在SPICE电路模型上训练增加了复杂性，但我们在MNIST测试数据集上实现了97.58%的准确率，在Fashion-MNIST测试数据集上实现了75.26%的准确率，这是所有完全MSNN中准确率最高的。
2022-03-10 cs.AI cs.ET cs.NE
SNN-PAR: Energy Efficient Pedestrian Attribute Recognition via Spiking Neural Networks
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）
针对行人属性识别能耗高的问题，提出基于脉冲神经网络的SNN-PAR框架，通过脉冲分词器、Transformer主干及知识蒸馏实现节能且准确的识别。
2024-10-10 cs.AI cs.CV cs.NE
Learning Internal Biological Neuron Parameters and Complexity-Based Encoding for Improved Spiking Neural Networks Performance
本研究提出了一种基于生物神经元参数和复杂度的SNN学习方法，通过优化内在动态提升分类准确率和效率。
2026-03-02 cs.AI cs.NE q-bio.NC
SpikingRTNH: Spiking Neural Network for 4D Radar Object Detection
KAIST（韩国科学技术院）；CCS Graduate School of Mobility（CCS移动研究生院）
提出首个用于4D雷达3D目标检测的脉冲神经网络SpikingRTNH，通过引入LIF神经元和生物自上而下推理机制，在保持检测性能的同时显著降低78%的能耗。
2025-01-31 cs.AI cs.CV cs.NE
From Cortical Synchronous Rhythm to Brain Inspired Learning Mechanism: An Oscillatory Spiking Neural Network with Time-Delayed Coordination
Department of Psychiatry & Department of Computer Science（精神病学系与计算机科学系）
本文提出一种脑启发学习机制，通过迭代的自下而上和自上而下交互，实现认知层面的神经同步，利用振荡同步实现高效信息处理。
2026-05-03 cs.AI cs.LG q-bio.NC
BadSNN: Backdoor Attacks on Spiking Neural Networks via Adversarial Spiking Neuron
Department of Electrical, Computer, and Biomedical Engineering（电气、计算机与生物医学工程系）
本文提出BadSNN，一种利用脉冲神经元超参数变化注入后门行为的新方法，通过优化触发器提升攻击性能并降低感知性，展示了在多种数据集和架构上的优越性能。
2026-04-30 cs.AI cs.CR
Spiking SiamFC++: Deep Spiking Neural Network for Object Tracking
CCCC First Highway Consultants Co., Ltd（中交第一公路勘察设计研究院有限公司）；Xidian University（西安电子科技大学）；Yongjiang laboratory（甬江实验室）
脉冲神经网络（SNN）是一种具有生物学合理性的神经网络模型，具有计算能力强、功耗低等优点。然而，深度SNN的训练仍然是一个开放的问题，这限制了深度SNN的实际应用。在这里，我们提出了一个名为Spiking SiamFC++的深度SNN架构，用于端到端直接训练的对象跟踪。具体而言，在时域上扩展AlexNet网络进行特征提取，并采用代理梯度函数实现深度SNN的直接监督训练。为了检查Spiking SiamFC++的性能，考虑了几个跟踪基准，包括OTB2013，OTB2015，VOT 2015，VOT 2016和UAV123。实验结果表明，与原SiamFC++相比，精度损失较小。与现有的基于SNN的目标跟踪器相比，与SiamSNN相比，所提出的Spiking SiamFC++的精确度（连续性）达到85.24%（64.37%），远高于SiamSNN所达到的52.78%（44.32%）。据我们所知，Spiking SiamFC++在基于SNN的目标跟踪方面的性能优于现有的最先进方法，这为SNN在目标跟踪领域的应用提供了一条新的途径。本文的工作将进一步推动SNN算法和神经形态芯片的发展。
2022-09-24 cs.AI cs.CV
Skip-Connected Self-Recurrent Spiking Neural Networks with Joint Intrinsic Parameter and Synaptic Weight Training
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
递归脉冲神经网络（RSNNs）作为一类重要的脉冲神经网络（SNNs），具有强大的计算能力，被广泛应用于音频、文本等序列数据的处理。然而，大多数RSNN都有两个问题。1.由于缺乏体系结构指导，经常采用随机递归连接，这并不能保证良好的性能。2. RSNN的训练通常具有挑战性，需要检查可实现的模型精度。为了解决这些问题，我们提出了一种新型的RSNN，称为跳跃连接自递归SNN（ScSr-SNN）。ScSr-SNN中的递归是通过向尖峰神经元添加自递归连接来以刻板的方式引入的，这实现了局部记忆。网络动态丰富的非相邻层之间的跳跃连接。ScSr-SNN由简化的自递归和跳跃连接构建，能够实现类似于更复杂的RSNN的递归行为，而由于网络的主要前馈性质，可以更直接地计算误差梯度。此外，我们提出了一种新的反向传播（BP）方法，称为反向传播内在可塑性（BIP），通过训练内在模型参数来进一步提高ScSr-SNN的性能。与根据神经元活动调整神经元的内在参数的标准内在可塑性规则不同，除了突触权重训练之外，所提出的BIP方法基于定义良好的全局损失函数的反向传播误差梯度来优化内在参数。基于具有挑战性的语音和神经形态语音数据集，包括TI46-Alpha，TI46-Digits和N-TIDIGITS，与通过最先进的BP方法训练的其他类型的RSNN相比，所提出的ScSr-SNN可以将性能提高高达2.55%。
2020-10-23 cs.LG cs.NE
Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks
CWI（荷兰国家数学与计算机科学研究所）；IMEC（比利时微电子研究中心）
受大脑启发的类脑计算作为边缘AI的范例的出现，正在激励人们寻找在这种硬件上运行的高性能和高效的脉冲神经网络。然而，与深度学习中的经典神经网络相比，当前的脉冲神经网络在引人注目的领域缺乏竞争力。在这里，对于顺序和流式任务，我们演示了一种新型的自适应尖峰递归神经网络（SRNN）与其他脉冲神经网络相比，如何能够实现最先进的性能，并且几乎达到或超过经典循环神经网络（RNN）的性能，同时表现出稀疏的活动。由此，我们计算出SRNN在更困难的任务上比经典RNN的能量提高了$>$ 100倍。为了实现这一目标，我们将标准和自适应多时间尺度尖峰神经元建模为自循环神经单元，并利用PyTorch深度学习框架中的代理梯度和自动微分来有效地实现时间反向传播，包括学习重要的尖峰神经元参数，以使我们的尖峰神经元适应任务。
2020-06-16 cs.LG cs.NE
Spiking neural networks with Hebbian plasticity for unsupervised representation learning
KTH Royal Institute of Technology（瑞典皇家理工学院）；Stockholm University（斯德哥尔摩大学）；Digital Futures（数字未来机构）
提出一种将BCPNN转换为脉冲神经网络的方法，利用Hebbian可塑性进行无监督表示学习，在MNIST和F-MNIST上性能接近非脉冲模型并具竞争力。
2023-05-10 cs.LG cs.NE
L4-Norm Weight Adjustments for Converted Spiking Neural Networks
Brigham Young University–Idaho（爱达荷州杨百翰大学）；Purdue University（普渡大学）
脉冲神经网络（SNN）由于其稀疏的、事件驱动的计算而被探索用于其潜在的能量效率益处。非尖峰人工神经网络通常使用反向传播用随机梯度下降来训练。脉冲神经网络中反向传播的真实梯度的计算受到脉冲神经元的不可微放电事件的阻碍。另一方面，使用近似梯度是有效的，但在许多时间步长上计算昂贵。因此，用于训练脉冲神经网络的一种常见技术是训练拓扑等效的非尖峰网络，然后将其转换为尖峰网络，用比例速率编码的泊松尖峰序列替换实值输入。转换后的SNN功能足够好，因为尖峰发放神经元的平均预激发膜电位与输入速率向量和神经元权重向量的点积成比例，类似于非尖峰发放网络的功能。然而，该转换仅考虑膜电位的平均值而不是时间方差。由于预激发膜电位的标准差与神经元权向量的L4范数成正比，为了提高转换后网络的分类精度，我们提出了一种基于L4范数的神经元权向量调整方法。
2021-11-17 cs.LG cs.NE
Spiking neural networks for nonlinear regression
脉冲神经网络通常也被称为第三代神经网络，与传统的第二代神经网络相比，它具有大幅减少内存和能耗的潜力。受到人类大脑无可争议的效率的启发，他们引入了时间和神经元稀疏性，这可以被下一代神经形态硬件所利用。为了打开通往工程应用的道路，我们在连续介质力学的背景下介绍这种令人兴奋的技术。然而，脉冲神经网络的性质对工程科学建模中经常出现的回归问题提出了挑战。为了克服这个问题，提出了一个使用脉冲神经网络的回归框架。特别是，一个网络拓扑解码二进制尖峰列车实数介绍，利用膜电位的尖峰神经元。由于这一贡献的目的是一个简洁的介绍这种新的方法，几种不同的尖峰神经架构，从简单的尖峰前馈到复杂的尖峰长短期记忆神经网络，推导。针对线性和非线性，历史相关的材料模型的回归进行了几个数值实验。与传统神经网络的直接比较表明，该框架是更有效的，同时保持精度和泛化能力。所有的代码都是公开的，以保证可重复性，并促进在这个新领域的持续改进。
2022-10-26 cs.LG cs.NE
Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation
Purdue University（普渡大学）；Nanoelectronics Research Laboratory（纳米电子学研究实验室）
脉冲神经网络（SNN）正在探索其潜在的能源效率，从稀疏，事件驱动的计算。许多最近的工作已经证明了有效的反向传播的深度脉冲神经网络（SNN）的梯度近似不连续的神经元尖峰或发射事件。这些替代梯度尖峰反向传播算法的有益副作用是，触发附加计算的尖峰现在可以在梯度计算中直接考虑。我们提出了一个明确的包括尖峰计数的损失函数，以及传统的错误损失，导致反向传播学习算法，以优化权重参数的准确性和尖峰稀疏。现有的过参数神经网络理论支持，存在许多具有有效等效精度的解状态。因此，在该多目标优化过程中，在训练期间对两个损失目标进行适当加权可以在不显著损失准确性的情况下提高尖峰稀疏性。此外，我们还探索了一种模拟退火启发的损失加权技术，随着训练时间的增加，增加稀疏性的权重。我们对Cifar-10数据集的初步结果显示，与仅针对准确性训练的等效SNN相比，具有等准确性的尖峰活动减少了70.1%，并且如果允许分类准确性降低1%的权衡，尖峰活动减少了73.3%。
2020-03-02 cs.LG cs.NE
Spiking Synaptic Penalty: Appropriate Penalty Term for Energy-Efficient Spiking Neural Networks
AISIN SOFTWARE（爱信软件）；Tokyo Research Center, AISIN（爱信东京研究中心）
本文提出一种在训练目标中直接加入脉冲活动惩罚项的方法，在不修改网络架构的前提下降低脉冲神经网络能耗，并通过图像分类实验验证其能缓解能量与准确率的权衡。
2023-02-03 cs.LG cs.NE
Spiking Neural Networks with Random Network Architecture
Soochow University（苏州大学）
本研究针对脉冲神经网络训练框架不统一、基础问题待解的现状，提出仅需训练部分权重、兼容经典训练方法的RanSNN架构，在保证性能的同时提升了训练效率，兼具通用性与稳定性。
2025-05-19 cs.LG cs.NE
DISTA: Denoising Spiking Transformer with intrinsic plasticity and spatiotemporal attention
提出DISTA去噪脉冲Transformer，结合内在可塑性与时空注意力，通过非线性去噪机制提升性能，在静态和神经形态数据集上达到最先进准确率。
2023-11-15 cs.NE
Energy-efficient Spiking Neural Network Equalization for IM/DD Systems with Optimized Neural Encoding
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
提出基于脉冲神经网络的IM/DD系统均衡器，通过优化神经编码在降低能耗的同时提升性能。
2023-12-20 cs.LG cs.NE eess.SP
Spiking GATs: Learning Graph Attentions via Spiking Neural Network
Anhui University（安徽大学）
图注意力网络（GATs）已被深入研究并广泛应用于图数据学习任务。现有的GAT一般采用自注意力机制来进行图边注意学习，需要昂贵的计算。众所周知，脉冲神经网络（SNN）可以通过将输入信号数据传输到离散的脉冲串中来执行廉价的计算，并且还可以返回稀疏的输出。受SNN优点的启发，在这项工作中，我们提出了一种新的图形尖峰注意力网络（GSAT）用于图形数据表示和学习。与现有GAT中的自注意力机制相比，GSAT采用了SNN模块结构，具有明显的节能性。此外，GSAT可以返回稀疏的注意力系数在自然，从而可以进行选择性的邻居，这使得GSAT执行鲁棒性w.r.t图边缘噪声的特征聚合。在多个数据集上的实验结果证明了GSAT模型的有效性、能量效率和鲁棒性。
2022-09-05 cs.LG cs.NE
A Comprehensive Review of Spiking Neural Networks: Interpretation, Optimization, Efficiency, and Best Practices
Rice University（莱斯大学）
生物神经网络继续激发神经网络性能的突破。然而，神经计算的一个关键领域尚未得到充分的重视和研究，这是生物学上合理的、节能的脉冲神经网络，其潜力对于低功耗、移动或其他硬件受限的设置特别有吸引力。我们提出了一个文献综述的解释，优化，效率和准确性的脉冲神经网络的最新发展。主要贡献包括识别、讨论和比较脉冲神经网络优化、能效和评估中的前沿方法，从第一原理开始，以便新从业者可以使用。
2023-03-21 cs.LG cs.NE eess.IV
IP$^{2}$-RSNN: Bi-level Intrinsic Plasticity Enables Learning-to-learn in Recurrent Spiking Neural Networks
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；School of Engineering, Westlake University（西湖大学工程学院）；School of Life Sciences, Westlake University（西湖大学生命科学学院）
本研究提出IP$^{2}$-RSNN，通过双层内在可塑性使递归脉冲神经网络实现学会学习，优于点神经元和自注意力模型，揭示内在可塑性在L2L中的计算优势。
2025-09-26 cs.LG cs.NE
The Heidelberg spiking datasets for the systematic evaluation of spiking neural networks
University of Heidelberg（海德堡大学）；Friedrich Miescher Institute for Biomedical Research（弗里德里希·米歇尔生物医学研究所）
脉冲神经网络是大脑中多功能和节能的信息处理的基础。虽然我们目前缺乏对这些网络如何计算的详细了解，但最近开发的优化技术使我们能够在计算机上实例化越来越复杂的功能性脉冲神经网络。这些方法有望构建更高效的非冯·诺依曼计算硬件，并将为解开大脑回路功能的探索提供新的前景。为了加速这些方法的发展，客观地比较它们的性能是必不可少的。然而，目前还没有广泛接受的手段来比较脉冲神经网络的计算性能。为了解决这个问题，我们引入了两个基于尖峰的分类数据集，广泛适用于基准测试脉冲神经网络的软件和神经形态硬件实现。为了实现这一点，我们开发了一个通用的音频到尖峰转换程序的灵感来自神经生理学。此外，我们将这种转换应用于现有的和新的语音数据集。后者是我们专门为这项研究创建的免费，高保真和单词级对齐的海德堡数字数据集。通过训练一系列常规和尖峰分类器，我们表明，利用这些数据集内的尖峰定时信息是获得良好分类精度的关键。这些结果为今后脉冲神经网络的性能比较提供了参考。
2020-10-23 cs.LG cs.NE q-bio.NC
S$^3$NN: Time Step Reduction of Spiking Surrogate Gradients for Training Energy Efficient Single-Step Spiking Neural Networks
AISIN SOFTWARE（爱信软件）；AISIN（爱信）
随着神经网络规模的增加，需要使它们能够以低计算成本和能量效率运行的技术。从这样的需求出发，已经提出了各种有效的神经网络范例，诸如脉冲神经网络（SNN）或二进制神经网络（BNN）。然而，它们具有棘手的缺点，例如降低的推理准确性和延迟。为了解决这些问题，我们提出了一个单步的【形】脉冲神经网络（S $^3$ NN），它是一个能量有效的神经网络，具有低计算成本和高精度。提出的S $^3$ NN通过尖峰信号作为SNN处理隐藏层之间的信息。然而，它没有时间维度，因此在BNN的训练和推理阶段没有延迟。因此，所提出的S $^3$ NN具有比需要时间序列处理的SNN更低的计算成本。然而，S $^3$ NN不能采用朴素的反向传播算法，由于不可微性的尖峰。我们推导出一个合适的神经元模型，通过减少代理梯度多时间步长SNN到一个单一的时间步长。我们的实验表明，所获得的替代梯度允许S $^3$ NN进行适当的训练。我们还表明，所提出的S $^3$ NN可以实现与全精度网络相当的精度，同时具有高能效。
2023-02-03 cs.LG cs.NE
MT-SNN: Spiking Neural Network that Enables Single-Tasking of Multiple Tasks
Virginia Commonwealth University（弗吉尼亚联邦大学）；Universidad de Córdoba（科尔多瓦大学）
在本文中，我们探讨的能力，脉冲神经网络在解决多任务分类问题，使用的方法，单任务的多个任务。我们设计并实现了一个多任务的脉冲神经网络（MT-SNN），可以学习两个或多个分类任务，同时执行一个任务的时间。要执行的任务是通过调制在这项工作中使用的泄漏集成和火灾神经元的放电阈值来选择的。该网络使用英特尔的Lava平台为Loihi 2神经形态芯片实现。对NMNIST数据的动态多任务分类进行了测试。结果表明，MT-SNN通过修改其动力学，即尖峰神经元的放电阈值，有效地学习多个任务。
2022-08-02 cs.LG cs.NE
Spiking Neural Network Decision Feedback Equalization for IM/DD Systems
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出带判决反馈结构的SNN均衡器，并在多参数IM/DD链路中验证其优于线性及ANN均衡器。
2023-04-27 cs.LG cs.NE eess.SP
Brain-inspired Graph Spiking Neural Networks for Commonsense Knowledge Representation and Reasoning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
人脑中的神经网络如何表征常识知识，并完成相关的推理任务，是神经科学、认知科学、心理学和人工智能的重要研究课题。传统的人工神经网络使用固定长度的向量来表示符号，虽然在某些特定任务中获得了不错的性能，但它仍然是一个缺乏可解释性的黑盒子，与人类感知世界的方式相去甚远。受神经科学中的祖母细胞假说的启发，本文研究了群体编码和尖峰时间依赖可塑性（STDP）机制如何被整合到脉冲神经网络的学习中，以及一个神经元群体如何通过引导不同神经元群体之间完成顺序放电来表示一个符号。不同社区的神经元群体共同构成了整个常识知识图谱，形成了一个巨图脉冲神经网络。此外，我们引入了奖励调制尖峰时间依赖可塑性（R-STDP）机制来模拟生物强化学习过程，并相应地完成相关的推理任务，实现了与图卷积人工神经网络相当的精度和更快的收敛速度。对于神经科学和认知科学领域，本文的工作为进一步探索人类大脑表征常识知识的方式提供了计算建模的基础。在人工智能领域，通过构造一种常识性的知识表示和推理出具有坚实生物相容性的脉冲神经网络，为实现更健壮、更可解释的神经网络指明了探索方向。
2022-07-11 cs.AI cs.LG cs.NE
Expressivity of Spiking Neural Networks
本研究比较脉冲神经网络与人工神经网络的表达能力，证明其能实现连续与不连续函数，并给出模拟多层ReLU网络的复杂度界限。
2024-03-15 cs.NE
Optimizing the energy consumption of spiking neural networks for neuromorphic applications
aiCTX AG（aiCTX公司）
在过去的几年中，脉冲神经网络已经被证明与常规卷积神经网络表现相当。几项工作已经提出了将预先训练的CNN转换为尖峰CNN而不显著牺牲性能的方法。我们首先证明了CNN的量化感知训练可以提高SNN的准确性。将CNN转换为尖峰CNN的好处之一是利用SNN的稀疏计算，从而以较低的能耗执行等效计算。在这里，我们提出了一个有效的优化策略，训练尖峰网络在较低的能量消耗，同时保持类似的准确性水平。我们展示了MNIST-DVS和CIFAR-10数据集上的结果。
2020-05-04 cs.LG cs.NE q-bio.NC
Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks
CWI（CWI研究所）；Stichting IMEC Netherlands, Holst Centre（荷兰IMEC基金会荷尔斯特中心）；Univ of Amsterdam（阿姆斯特丹大学）；Rijksuniversiteit Groningen（格罗宁根大学）
受生物神经元更详细建模的启发，脉冲神经网络（SNN）已经被研究为更生物学上合理的和潜在的更强大的神经计算模型，并且还具有提取生物神经元能量效率的目的;然而，与经典人工神经网络（ANN）相比，这种网络的性能仍然不足。在这里，我们展示了一种新的代理梯度与可调和自适应尖峰神经元的递归网络相结合，如何在时域中具有挑战性的基准上为SNN提供最先进的技术，如语音和手势识别。这也超过了标准经典循环神经网络（RNN）的性能，并接近最好的现代ANN。由于这些SNN表现出稀疏尖峰，我们表明，与具有可比性能的RNN相比，它们理论上的计算效率高出一到三个数量级。总之，这将SNN定位为AI硬件实现的有吸引力的解决方案。
2021-03-12 cs.LG cs.NE
Stable Learning Using Spiking Neural Networks Equipped With Affine Encoders and Decoders
University of Vienna（维也纳大学）；Faculty of Mathematics（数学系）
本研究提出仿射脉冲神经网络，通过正权重与仿射编解码器实现稳定学习，能逼近ReLU网络，且在基准测试中表现优异，深度不影响泛化。
2025-06-20 cs.LG cs.NE math.FA
Deep Convolutional Spiking Neural Networks for Image Classification
脉冲神经网络是人工神经网络在生物学上的类似物，人工神经网络通常用随机梯度下降来训练，而脉冲神经网络用脉冲时间依赖的可塑性来训练。训练深度卷积神经网络是一项内存和功率密集型工作。尖峰网络可能有助于减少电力使用。有大量的工具供人们选择来训练任何大小的人工神经网络，另一方面，所有可用的工具来模拟脉冲神经网络是面向计算神经科学应用，它们不适合于现实生活中的应用。在这项工作中，我们专注于使用Tensorflow实现尖峰CNN来检查网络的行为，并实证研究各种参数对学习能力的影响，还研究了尖峰CNN中的灾难性遗忘以及使用MNIST和N-MNIST数据集的R-STDP中的权重初始化问题。
2019-09-25 cs.NE
SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；School of Computer Science, Peking University（北京大学计算机学院）
针对脉冲神经网络中视觉Transformer缺乏合理缩放且局部特征提取受限的问题，提出双脉冲自注意力机制DSSA及SpikingResformer架构，在ImageNet上以更少参数和能耗实现79.40%的领先准确率。
2024-03-28 cs.CV cs.LG cs.NE
Unsupervised Learning with Self-Organizing Spiking Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了一个系统，包括一个杂交的自组织映射（SOM）的属性与脉冲神经网络（SNN），保留了许多功能的SOM。网络以无监督的方式进行训练，通过神经元群体之间的兴奋-抑制相互作用来学习自组织的过滤器网格。我们开发并测试了各种抑制策略，例如随着神经元间距离的增长和两种不同的抑制水平。使用具有已知标签的示例来评估无监督学习算法的质量。提出并比较了几种生物学启发的分类工具，包括群体级置信度和使用spike motif算法的n-gram。使用最佳的参数选择，我们的方法产生的最先进的脉冲神经网络的改进。
2018-07-24 cs.LG cs.NE
SpikingGamma: Surrogate-Gradient Free and Temporally Precise Online Training of Spiking Neural Networks with Smoothed Delays
CWI（荷兰国家数学与计算机科学研究中心）；University of Lübeck（吕贝克大学）
SpikingGamma通过内部递归记忆结构和sigma-delta spike编码，实现无替代梯度的在线训练，支持细时间模式学习和高效硬件映射。
2026-02-02 cs.LG cs.NE
Supervised learning based on temporal coding in spiking neural networks
梯度下降训练技术在训练模拟值人工神经网络（ANN）中非常成功。然而，由于尖峰生成的硬非线性和尖峰通信的离散性质，这样的训练技术不容易转移到尖峰网络。我们表明，在前馈尖峰网络，使用时间编码方案，其中信息被编码在尖峰时间，而不是尖峰率，网络的输入输出关系是可微的几乎无处不在。此外，这种关系是分段线性变量变换后。因此，训练ANN的方法直接进行这种尖峰网络的训练，正如我们在排列不变MNIST任务上训练时所示。与通常用于近似人工神经网络行为的基于速率的尖峰网络相比，我们提出的网络尖峰更稀疏，并且它们的行为不能直接由传统的人工神经网络近似。我们的研究结果突出了一种新的方法来控制与现实的时间动态尖峰网络的行为，打开了使用这些网络处理尖峰模式与复杂的时间信息的潜力。
2017-08-16 cs.LG cs.NE
Probabilistic spike propagation for FPGA implementation of spiking neural networks
IIT Madras（印度理工学院马德拉斯分校）
脉冲神经网络的评估需要获取大量的突触权重来更新突触后神经元。这限制了并行性并成为硬件的瓶颈。我们提出了一种基于权重概率解释的尖峰传播方法，从而减少了内存访问和更新。我们研究了在尖峰处理中引入随机性的影响，并在基准网络上表明，这可以在对识别精度影响最小的情况下完成。我们在Xilinx Zynq平台上为MNIST和CIFAR10数据集提供了一个架构和完全连接和卷积网络的准确性权衡。
2020-01-07 cs.LG cs.NE
Spiking Neural Networks -- Part I: Detecting Spatial Patterns
脉冲神经网络（SNN）是生物启发的机器学习模型，其建立在以事件驱动的在线方式处理二进制和稀疏脉冲信号的动态神经元模型上。SNN可以在类脑计算平台上实现，这些平台正在成为用于学习和推理的节能协处理器。这是一系列三篇论文中的第一篇，通过关注模型，算法和应用程序向工程师介绍SNN。在这第一篇论文中，我们首先介绍了用于传统人工神经网络（ANN）和SNN的神经模型。然后，我们回顾了SNN的学习算法和应用程序，旨在通过检测或生成速率编码的尖峰信号中的空间模式来模仿ANN的功能。我们专门讨论ANN到SNN的转换和神经采样。最后，我们通过实验验证了SNN检测和生成空间模式的能力。
2020-12-09 cs.LG cs.NE eess.SP
Spiking CenterNet: A Distillation-boosted Spiking Neural Network for Object Detection
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Fraunhofer IKS（弗劳恩霍夫认知系统研究所）；University of Bonn（波恩大学）
本文提出Spiking CenterNet，将脉冲神经网络CenterNet适配与M2U-Net解码器结合，用于事件数据目标检测，在GEN1数据集上以不到一半能耗显著超越已有方法，并首次在脉冲目标检测中引入知识蒸馏进一步提升性能。
2024-06-06 cs.CV cs.LG cs.NE
Computing with hardware neurons: spiking or classical? Perspectives of applied Spiking Neural Networks from the hardware side
虽然经典神经网络在机器学习领域占据领先地位，但尖峰神经形态系统引起了神经科学的关注和大型项目。脉冲神经网络被证明能够在应用任务中替代经典神经元网络。这项工作探讨了最近的硬件设计，重点是从能源效率方面为两种神经元类型的前景应用（如卷积神经网络），以分析是否有可能为尖峰神经形态硬件成长为更广泛的使用。我们的比较表明，尖峰硬件至少在相同的能源效率水平上，甚至在基本操作水平上高于非尖峰硬件。然而，在系统级别上，由于具有长系列尖峰的低效数据表示，尖峰系统被胜过并且消耗更多的能量。如果开发出最小化尖峰数量的尖峰驱动应用，则尖峰神经系统可以达到经典神经系统的能量效率水平。然而，在不久的将来，这两种类型的神经形态系统可能会受益于新兴的存储器技术，最大限度地减少两种神经元类型的计算和存储器的能耗。这将使基础设施和数据传输能源在系统层面占据主导地位。我们预计尖峰神经元有一些好处，这将允许实现更好的能量结果。然而，大量尖峰的问题仍然是尖峰硬件系统的主要瓶颈。
2016-04-06 cs.NE
Fast and Efficient Asynchronous Neural Computation with Adapting Spiking Neural Networks
生物神经元通过脉冲--尖峰脉冲--的稀疏交换进行交流。真正的尖峰神经元是如何产生强大的神经计算的，这是一个悬而未决的问题，这种强大的神经计算可以通过深度人工神经网络来实现，只使用很少的尖峰来进行通信。基于神经科学的最新研究成果，提出了一种基于自适应脉冲神经元的自适应脉冲神经网络。这些尖峰神经元使用异步脉冲Σ-Δ编码的形式在尖峰序列中有效地编码信息，同时稳态地优化它们的发射率。在所提出的尖峰神经元计算范例中，神经适应与突触可塑性紧密耦合，以确保下游神经元能够正确解码上游尖峰神经元。我们表明，这种类型的网络是固有的能够进行异步和事件驱动的神经计算，同时执行相同的相应的人工神经网络（ANN）。特别是，我们证明了这些自适应尖峰神经元可以替代由这些单元组成的标准前馈ANN中的ReLU神经元。我们证明，这也可以成功地应用于基于ReLU的深度卷积神经网络，用于对MNIST数据集进行分类。因此，ASNN优于当前的脉冲神经网络（SNN）实现，同时响应（高达）一个数量级更快，并且使用一个数量级更少的尖峰。此外，在帧连续分类的流媒体设置中，我们表明ASNN与相应的ANN相比需要更少的网络更新。
2016-09-07 cs.NE
Neuro-symbolic computing with spiking neural networks
European Space Agency (ESTEC)（欧洲航天局（ESTEC））；European Commission, Joint Research Centre (JRC)（欧盟委员会联合研究中心（JRC））；Siemens AG Technology（西门子股份公司技术部）
针对脉冲神经网络难以处理图数据与符号推理的问题，研究结合图嵌入与反向传播训练技术，提出可编码符号多关系信息的脉冲神经符号计算框架，适用于多类脉冲神经元且支持端到端训练。
2022-08-04 cs.LG cs.NE q-bio.NC
ChronoPlastic Spiking Neural Networks
时间可塑性脉冲神经网络通过动态调节突触衰减速率，实现自适应时间信用分配，提升长间隔时间依赖性学习能力。
2025-12-17 cs.LG cs.NE
Spiking Neural Network Equalization for IM/DD Optical Communication
针对IM/DD链路，设计了一种适用于电子神经形态硬件的脉冲神经网络（SNN）均衡器模型。SNN实现了与人工神经网络相同的误比特率，优于线性均衡。
2022-06-01 cs.NE eess.SP
Decomposing spiking neural networks with Graphical Neural Activity Threads
本文提出一种将脉冲神经网络活动分解为并行活动线程的分析技术，通过构建有向无环图追踪脉冲演化并提取名为 GNATs 的连通分量，为脉冲神经计算提供了适应时空分布动力学的新抽象。
2023-06-29 cs.NE q-bio.NC
Memory-enriched computation and learning in spiking neural networks through Hebbian plasticity
Graz University of Technology（格拉茨技术大学）；Silicon Austria Labs（奥地利硅谷实验室）
记忆是生物神经系统的一个关键组成部分，它能够在从数百毫秒到数年的巨大时间范围内保留信息。虽然赫布可塑性被认为在生物记忆中起着关键作用，但到目前为止，它主要是在模式完成和无监督学习的背景下进行分析的。在这里，我们建议，赫布可塑性是生物神经系统中的计算的基础。我们介绍了一种新的脉冲神经网络架构，丰富了赫布突触可塑性。我们表明，赫布丰富呈现脉冲神经网络令人惊讶的通用性方面的计算以及学习能力。它提高了他们的分布外泛化、一次性学习、跨模态生成联想、语言处理和基于奖励的学习能力。由于脉冲神经网络是节能神经形态硬件的基础，这也表明可以基于该原理构建强大的认知神经形态系统。
2022-05-23 cs.LG cs.NE q-bio.NC
Gradient Descent for Spiking Neural Networks
Salk Institute（索尔克研究所）
尽管大脑中的信息处理主要由产生称为尖峰的离散脉冲的动态神经元执行，但许多关于神经计算的研究都基于产生模拟输出的静态神经元的网络模型。由于缺乏有效的尖峰网络监督学习算法，阻碍了基于尖峰计算的研究。在这里，我们提出了一个梯度下降法优化尖峰网络模型，通过引入一个可微的制定尖峰网络，并推导出精确的梯度计算。为了演示，我们在两个动态任务上训练了循环尖峰网络：一个是需要优化快速（~毫秒）基于尖峰的交互以有效编码信息，另一个是在延长的持续时间（~秒）内延迟记忆XOR任务。结果表明，我们的方法确实优化了尖峰网络动态的时间尺度上的个人尖峰以及行为的时间尺度。总之，我们的研究结果提供了一个通用的监督学习算法的尖峰神经网络，从而推动了进一步的研究基于尖峰的计算。
2017-06-19 cs.LG cs.NE q-bio.NC
