Enhanced Temporal Processing in Spiking Neural Networks for Static Object Detection Using 3D Convolutions
为解决直接训练的SNN在静态目标检测中性能落后于ANN的问题，本文提出用3D卷积替代2D卷积并引入神经元时间信息循环机制，使SNN在COCO2017和VOC数据集上达到与ANN相当的检测性能。
2024-12-23 cs.AI cs.CV cs.NE
Revisiting Batch Normalization for Training Low-latency Deep Spiking Neural Networks from Scratch
Yale University（耶鲁大学）
脉冲神经网络（SNN）最近已经成为深度学习的替代方案，这是由于稀疏、异步和二进制事件（或脉冲）驱动的处理，可以在神经形态硬件上产生巨大的能效效益。然而，从头开始训练高精度和低延迟的SNN受到尖峰神经元的不可微性质的影响。为了解决SNN中的这个训练问题，我们重新审视了批量归一化，并提出了一种时间批量归一化通过时间（BNTT）技术。到目前为止，大多数先前的SNN工作都忽略了批量归一化，认为它对训练时间SNN无效。与以前的工作不同，我们提出的BNTT沿着时间轴的BNTT层的参数，以捕捉尖峰的时间动态。BNTT中随时间演变的可学习参数允许神经元通过不同的时间步长控制其尖峰速率，从而实现从头开始的低延迟和低能量训练。我们在CIFAR-10、CIFAR-100、Tiny-ImageNet和事件驱动的DVS-CIFAR 10数据集上进行了实验。BNTT允许我们从头开始训练深度SNN架构，这是第一次，在复杂的数据集上，只有25-30个时间步长。我们还提出了一个提前退出算法，使用BNTT中的参数分布，以减少在推理的延迟，进一步提高能源效率。
2021-11-10 cs.AI cs.CV cs.NE
mlx-snn: Spiking Neural Networks on Apple Silicon via MLX
mlx-snn是首个在Apple Silicon上原生实现的脉冲神经网络库，提供多种神经元模型和训练流程，实现高效SNN研究。
2026-03-03 cs.AI cs.LG cs.NE
Optimal ANN-SNN Conversion for Fast and Accurate Inference in Deep Spiking Neural Networks
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
脉冲神经网络（SNNs）作为一种基于生物启发的高效节能神经网络，受到了研究者和工业界的广泛关注。训练深度SNN的最有效方法是通过ANN-SNN转换。然而，转换通常遭受精度损失和推理时间长，这阻碍了SNN的实际应用。本文从理论上分析了ANN-SNN的转换，并给出了最优转换的充分条件。为了更好地关联ANN-SNN并获得更高的准确性，我们提出了速率规范层来取代源ANN训练中的ReLU激活函数，从而实现从训练的ANN到SNN的直接转换。此外，我们提出了一个最佳的拟合曲线来量化源ANN的激活值和目标SNN的实际发射率之间的拟合。我们表明，推理时间可以减少通过优化修改后的人工神经网络的拟合曲线的上限，以实现快速推理。我们的理论可以解释现有的快速推理工作，并得到更好的结果。实验结果表明，该方法实现了VGG-16，PreActResNet-18和更深的结构的近损耗的转换。而且，它可以达到8.6倍的速度下，0.265倍的能量消耗的典型方法的推理性能。该代码可在https://github.com/DingJianhao/OptSNNConvertion-RNL-RIL上获得。
2021-05-25 cs.AI cs.CV cs.LG
Improving Liver Disease Diagnosis with SNNDeep: A Custom Spiking Neural Network Using Diverse Learning Algorithms
Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）
本文提出SNNDeep，一种专为从CT特征二分类肝健康状态优化的脉冲神经网络，通过三种不同学习算法在不同架构上验证，展示了定制SNN在医疗影像中的优越性能。
2026-03-31 cs.AI cs.CV cs.NE
Spikingformer: A Key Foundation Model for Spiking Neural Networks
针对现有SNN骨干存在非脉冲计算、难以适配神经形态硬件的问题，本文提出融合MS残差连接与自注意力的脉冲Transformer骨干Spikingformer，在13个多类型数据集上验证了其性能，可作为高效通用SNN基础模型。
2025-11-13 cs.AI cs.NE
Spiking Deep Residual Network
Zhejiang University（浙江大学）
脉冲神经网络（SNN）由于其生物相容性而受到广泛关注。SNN理论上至少具有与传统人工神经网络（ANN）相同的计算能力。它们具有实现能源效率的潜力，同时保持与深度神经网络（DNN）相当的性能。然而，要训练一个很深的SNN仍然是一个很大的挑战。在本文中，我们提出了一种有效的方法来构建深度残差网络（ResNet）的尖峰版本。ResNet被认为是一种最先进的卷积神经网络（CNN）。我们采用将训练的ResNet转换为尖峰神经元网络的想法，称为尖峰ResNet（S-ResNet）。我们提出了一个捷径转换模型，以适当地缩放连续值激活，以匹配SNN中的放电率，以及一个补偿机制，以减少离散化引起的误差。实验结果表明，与最先进的SNN方法相比，所提出的Spiking ResNet在CIFAR-10，CIFAR-100和ImageNet 2012上实现了最佳性能。我们的工作是第一次构建深度超过40的SNN，其性能与大规模数据集上的ANN相当。
2020-06-03 cs.CV cs.LG cs.NE
Motif-topology and Reward-learning improved Spiking Neural Network for Efficient Multi-sensory Integration
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）；School of Information and Electronics, Beijing Institute of Technology（北京理工大学信息与电子学院）
在人工神经网络和脉冲神经网络中，网络结构和学习原理是形成复杂函数的关键。SNN被认为是新一代的人工神经网络，它包含了比ANN更多的生物特征，包括动态尖峰神经元，功能指定的结构和有效的学习范式。在本文中，我们提出了一个主题拓扑和奖励学习改进的SNN（MR-SNN），有效的多感觉整合。MR-SNN包含13种类型的3节点Motif拓扑结构，这些拓扑结构首先从独立的单感觉学习范例中提取，然后整合用于多感觉分类。实验结果表明，该方法比其他不使用Motifs的传统SNN具有更高的准确性和更强的鲁棒性。此外，所提出的奖励学习范式在生物学上是合理的，并且可以更好地解释由不一致的视觉和听觉感觉信号引起的认知麦格克效应。
2022-02-11 cs.AI cs.NE
Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
本文提出多级发放（MLF）方法和脉冲休眠抑制残差网络（spiking DS-ResNet），以解决直接训练脉冲神经网络中的梯度消失与网络退化问题，从而以更少参数实现更深层SNNs的高性能。
2023-04-19 cs.AI cs.NE
Pruning of Deep Spiking Neural Networks through Gradient Rewiring
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
脉冲神经网络（SNNs）由于其生物相容性和在神经形态芯片上的高能量效率而受到了广泛的重视。由于这些芯片通常是资源受限的，因此SNN的压缩在SNN的实际使用道路上至关重要。现有的大多数方法直接将人工神经网络（ANN）中的剪枝方法应用于SNN，忽略了ANN和SNN之间的差异，从而限制了剪枝后SNN的性能。此外，这些方法只适用于浅SNN。在本文中，受到神经系统中突触发生和突触消除的启发，我们提出了梯度重布线（Grad R），一种SNN连接和权重的联合学习算法，使我们能够无缝地优化网络结构而无需重新训练。我们的关键创新是将梯度重新定义为新的突触参数，通过充分利用连接修剪和再生之间的竞争，更好地探索网络结构。在MNIST和CIFAR-10数据集上的实验结果表明，该方法对SNN的性能损失最小。此外，它达到了$\sim$ 3.5%的准确性损失下前所未有的0.73%的连接，这表明显着的结构细化能力SNN。我们的工作表明，在深SNN中存在极高的冗余。我们的代码可在https://github.com/Yanqi-Chen/Gradient-Rewiring上获得。
2021-06-22 cs.AI cs.CV cs.LG
Backpropagation-free Spiking Neural Networks with the Forward-Forward Algorithm
Shahid Beheshti University（沙希德·贝赫什提大学）；University of Hertfordshire（赫特福德大学）
本研究提出基于前向-前向算法的尖峰神经网络训练框架，通过两次前向传播实现逐层局部学习，在静态和尖峰数据集上以轻量架构达到与反向传播训练相当的性能，并提升计算效率与神经形态硬件兼容性。
2025-05-27 cs.AI cs.LG cs.NE
Supervised learning in Spiking Neural Networks with Limited Precision: SNN/LP
针对脉冲神经网络提出了一种新的监督学习算法SNN/LP。该新颖算法对突触权重和突触延迟两者都使用有限的精度;在每种情况下为3位。另外，遗传算法用于监督训练。结果与以前发表的工作相当或更好。所得结果适用于大规模硬件神经网络的实现。其中一个经过训练的网络是在可编程硬件中实现的。
2014-07-01 cs.NE
SpikingJET: Enhancing Fault Injection for Fully and Convolutional Spiking Neural Networks
Politecnico di Torino（都灵理工大学）
本文提出专用于全连接和卷积脉冲神经网络的故障注入器SpikingJET，通过向突触权重、神经元参数、内部状态和激活函数注入故障，系统评估SNNs对硬件故障的脆弱性与恢复能力，为提升神经网络驱动系统的可靠性提供支持。
2024-03-30 cs.AI cs.NE
Enhancing the Performance of Transformer-based Spiking Neural Networks by SNN-optimized Downsampling with Precise Gradient Backpropagation
Peng Cheng Laboratory（鹏城实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Peking University（北京大学）
针对现有基于Transformer的SNN下采样模块导致的梯度反向传播不精确问题，提出SNN优化下采样方法CML，理论证明并实验验证其在多个数据集上显著提升了模型性能。
2023-05-19 cs.CV cs.NE
Noise-Robust Deep Spiking Neural Networks with Temporal Information
Seoul National University（首尔大学）；Institute of New Media and Communications, Seoul National University（首尔大学新媒体与通信研究所）；ASRI and Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔大学自动系统研究所及人工智能跨学科项目）
脉冲神经网络（SNN）是一种具有时间信息的能量高效神经网络。SNN在神经形态设备上显示出优越的效率，但这些设备对噪声敏感，这阻碍了它们在现实世界中的应用。有几项研究提高了噪声鲁棒性，但大多数研究既没有考虑深度SNN，也没有考虑时间信息。在本文中，我们研究了噪声对各种神经编码方法的深度SNN的影响，并提出了一种具有时间信息的噪声鲁棒性深度SNN。通过所提出的方法，我们已经实现了一个深度SNN，它对尖峰删除和抖动是有效和鲁棒的。
2021-04-22 cs.AI cs.LG cs.NE
Revisiting Reset Mechanisms in Spiking Neural Networks for Sequential Modeling: Specialized Discretization for Binary Activated RNN
University of Electronic Science and Technology of China（电子科技大学）
本文从二值激活RNN视角重新审视SNN序列建模中的重置机制，系统分析其必要性，并提出固定不应期SNN架构以解决长程建模与并行训练挑战。
2025-05-25 cs.AI cs.NE
Training Deep Spiking Neural Networks
Baltic Institute of Advanced Technology（波罗的海高级技术研究所）；SRI International（SRI国际）
与当前的模拟神经网络（ANN）相比，使用具有神经形态硬件的脑启发的脉冲神经网络（SNN）的计算可以提供数量级更高的能量效率。不幸的是，训练具有与最先进的ANN相同层数的SNN仍然是一个挑战。据我们所知，在这方面唯一成功的方法是人工神经网络的监督训练，然后将其转换为SNN。在这项工作中，我们直接训练深SNN使用反向传播与代理梯度，并发现，由于前馈SNN的隐式递归性质的爆炸或消失的梯度问题严重阻碍了他们的训练。我们表明，这个问题可以通过调整代理梯度函数来解决。我们还建议使用批量归一化从人工神经网络文献的SNN神经元的输入电流。使用这些改进，我们表明，是可能的训练SNN与ResNet50架构上CIFAR100和Imagenette对象识别数据集。与类似的ANN相比，训练的SNN在精度上落后，但是与通过从ANN转换获得的SNN（其需要大约1000个时间步）相比，需要几个数量级的更少的推理时间步（低至10）来达到良好的精度。
2020-06-08 cs.CV cs.NE
TS-SNN: Temporal Shift Module for Spiking Neural Networks
Zhejiang University（浙江大学）；Dalian University of Technology（大连理工大学）
本文提出TS-SNN，通过轻量级时序偏移模块在单时间步内整合过去、现在和未来的脉冲特征，以极低额外计算成本在多个基准上实现最先进性能并保持低能耗。
2025-07-11 cs.AI cs.NE
Spiking Neural Networks with Improved Inherent Recurrence Dynamics for Sequential Learning
具有泄漏整合和激发（LIF）神经元的脉冲神经网络（SNN）可以以事件驱动的方式操作，并且具有随时间保留信息的内部状态，从而为节能类脑计算提供机会，特别是在边缘设备上。然而，请注意，许多关于SNN的代表性工作并没有完全证明它们固有的递归（膜电位保留了关于过去的信息）对于顺序学习的有用性。大多数的工作都是通过速率编码对输入表示进行人工扩展来训练神经网络识别静态图像。我们证明了SNN可以训练用于顺序任务，并对LIF神经元网络进行了修改，使内部状态能够学习长序列，并使其固有的递归对消失梯度问题具有弹性。然后，我们开发了一个训练计划，训练建议SNNs与改进的固有递归动态。我们的训练方案允许尖峰神经元产生多位输出（与二进制尖峰相反），这有助于减轻尖峰神经元的激活函数的导数与用于克服尖峰神经元的不可微性的代理导数之间的失配。我们的实验结果表明，在TIMIT和LibriSpeech 100h数据集上提出的SNN架构产生的准确度与LSTM相当（分别在1.10%和0.36%以内），但参数比LSTM少2倍。与GRU相比，稀疏SNN输出还导致乘法运算节省10.13倍和11.14倍，GRU通常被认为是TIMIT和LibriSpeech 100h数据集上LSTM的轻量级替代方案。
2021-09-04 cs.AI cs.NE
Rethinking the role of normalization and residual blocks for spiking neural networks
Aisin（爱信）；AISIN SOFTWARE Co., Ltd.（爱信软件株式会社）
生物启发的脉冲神经网络（SNN）被广泛用于实现超低功耗。然而，由于隐藏层中尖峰神经元的过度激发，深SNN不容易训练。为了解决这个问题，我们提出了一种新的，但简单的归一化技术称为突触后电位归一化。该归一化从标准归一化中移除减法项，并使用第二原始矩而不是方差作为除法项。通过对突触后电位进行这种简单的标准化，可以控制尖峰放电，使训练能够适当地进行。实验结果表明，使用我们的归一化的SNN优于使用其他归一化的其他模型。此外，通过预激活剩余块，该模型可以训练超过100层，而无需其他专用于SNN的特殊技术。
2022-03-03 cs.AI cs.CV cs.LG
Improving Surrogate Gradient Learning in Spiking Neural Networks via Regularization and Normalization
脉冲神经网络（SNN）与深度学习中使用的经典网络不同：神经元使用称为尖峰的电脉冲进行通信，就像生物神经元一样。SNN对AI技术很有吸引力，因为它们可以在低功耗神经形态芯片上实现。然而，SNN通常保持比它们的模拟对应物更不准确。在这份报告中，我们研究了各种正则化和归一化技术，目的是改进SNN中的代理梯度学习。
2021-12-13 cs.NE
MT-SNN: Spiking Neural Network that Enables Single-Tasking of Multiple Tasks
Virginia Commonwealth University（弗吉尼亚联邦大学）；Universidad de Córdoba（科尔多瓦大学）
在本文中，我们探讨的能力，脉冲神经网络在解决多任务分类问题，使用的方法，单任务的多个任务。我们设计并实现了一个多任务的脉冲神经网络（MT-SNN），可以学习两个或多个分类任务，同时执行一个任务的时间。要执行的任务是通过调制在这项工作中使用的泄漏集成和火灾神经元的放电阈值来选择的。该网络使用英特尔的Lava平台为Loihi 2神经形态芯片实现。对NMNIST数据的动态多任务分类进行了测试。结果表明，MT-SNN通过修改其动力学，即尖峰神经元的放电阈值，有效地学习多个任务。
2022-08-02 cs.LG cs.NE
Spiking Neural Networks -- Part I: Detecting Spatial Patterns
脉冲神经网络（SNN）是生物启发的机器学习模型，其建立在以事件驱动的在线方式处理二进制和稀疏脉冲信号的动态神经元模型上。SNN可以在类脑计算平台上实现，这些平台正在成为用于学习和推理的节能协处理器。这是一系列三篇论文中的第一篇，通过关注模型，算法和应用程序向工程师介绍SNN。在这第一篇论文中，我们首先介绍了用于传统人工神经网络（ANN）和SNN的神经模型。然后，我们回顾了SNN的学习算法和应用程序，旨在通过检测或生成速率编码的尖峰信号中的空间模式来模仿ANN的功能。我们专门讨论ANN到SNN的转换和神经采样。最后，我们通过实验验证了SNN检测和生成空间模式的能力。
2020-12-09 cs.LG cs.NE eess.SP
Action Recognition Using Supervised Spiking Neural Networks
生物神经元使用尖峰以能量和计算高效的方式处理和学习时间动态输入。然而，由于尖峰神经元的激活函数的不可微性，将最先进的基于梯度的监督算法应用于脉冲神经网络（SNN）是一个挑战。采用替代梯度是克服这一挑战的主要解决方案之一。虽然SNN自然地工作在时间域中，但最近的研究集中于开发SNN来解决静态图像分类任务。在本文中，我们采用代理梯度下降学习算法识别12个人的手势记录的动态视觉传感器（DVS）相机。在测试数据上，该神经网络的识别准确率可达97.2%。
2020-01-11 cs.CV cs.NE
Spiking neural networks trained via proxy
Shahid Beheshti University（沙希德·贝赫什提大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；CNRS（法国国家科学研究中心）；Université Toulouse 3（图卢兹第三大学）
提出了一种新的学习算法，利用传统的人工神经网络（ANN）作为代理，训练脉冲神经网络（SNN）。我们分别将两个SNN和ANN网络耦合起来，它们分别由具有相同网络架构和共享突触权重的集成并激发（IF）和ReLU神经元组成。两个网络的前向传递是完全独立的。通过假设具有速率编码的IF神经元作为ReLU的近似，我们在代理ANN中反向传播SNN的误差以更新共享权重，只需将ANN的最终输出替换为SNN的输出。我们将所提出的代理学习应用于深度卷积SNN，并在Fashion-MNIST和Cifar 10的两个基准数据集上进行了评估，分类准确率分别为94.56%和93.11%。所提出的网络可以优于其他使用串联学习、替代梯度学习或从深度ANN转换而来的深度SNN。转换后的SNN需要很长的模拟时间才能达到合理的精度，而我们的代理学习可以用更短的模拟时间实现高效的SNN。所提出的方法的源代码可在https://github.com/SRKH/ProxyLearning上公开获取。
2022-07-30 cs.CV cs.NE
Memory-Efficient Reversible Spiking Neural Networks
State Key Laboratory of Industrial Control Technology, College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院工业控制技术国家重点实验室）；Key Laboratory of Collaborative sensing and autonomous unmanned systems of Zhejiang Province（浙江省协同感知与自主无人系统重点实验室）
针对脉冲神经网络训练时内存开销大、难以训练深层模型的问题，提出可逆脉冲神经网络架构，通过可逆脉冲模块重计算中间变量，在精度相当的情况下大幅降低内存消耗，为训练大深度SNN铺路。
2023-12-13 cs.CV cs.NE
Recent Advances and New Frontiers in Spiking Neural Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，脉冲神经网络（SNN）因其丰富的时空动态特性、多样的编码方式以及与神经元形态硬件自然匹配的事件驱动特性，在脑启发智能领域受到广泛关注。随着SNN的发展，受脑科学成果启发，以人工通用智能为目标的新兴研究领域--脑启发智能（brain-inspired intelligence）正在成为热门。本文回顾了SNN的最新进展，并从五个主要研究主题讨论了SNN的新前沿，包括基本要素（即，尖峰神经元模型、编码方法和拓扑结构）、神经形态数据集、优化算法、软件和硬件框架。我们希望我们的调查可以帮助研究人员更好地了解SNN，并激发新的工作来推进这一领域。
2022-10-15 cs.AI cs.NE
Long Short-Term Memory Spiking Networks and Their Applications
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
基于事件的神经形态系统的最新进展引起了人们对脉冲神经网络（SNN）的使用和发展的极大兴趣。然而，尖峰神经元的不可微性质使得SNN与传统的反向传播技术不兼容。尽管在训练传统深度神经网络（DNN）方面取得了重大进展，但对SNN的训练方法仍然知之甚少。在本文中，我们提出了一个新的框架来训练递归SNN。类似于递归神经网络（RNN）在DNN中学习时间序列模型的好处，我们开发了基于长短期记忆（LSTM）网络的SNN。我们展示了LSTM尖峰网络学习尖峰的时间和时间依赖性。我们还开发了一种基于LSTM的SNN的误差反向传播方法。在基于LSTM的SNN中开发的反向传播架构和方法使它们能够学习长期依赖关系，其结果与传统的LSTM相当。
2020-07-09 cs.LG cs.NE
Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks
脉冲神经网络（SNN）是由脉冲神经元组成的生物学启发的人工神经网络（ANN），用于处理异步离散信号。虽然在神经形态硬件上的功耗和推理速度更有效，但由于离散性，SNN通常难以直接从头开始训练尖峰。作为替代方案，许多努力已经致力于通过从ANN复制权重并调整SNN中神经元的尖峰阈值电位来将常规ANN转换为SNN。研究人员设计了新的SNN架构和转换算法来减少转换误差。然而，一个有效的转换应该解决SNN和ANN架构之间的差异与一个有效的近似\DSK{of}的损失函数，这是在该领域的缺失。在这项工作中，我们分析了转换误差递归减少逐层求和，并提出了一种新的战略管道，通过结合阈值平衡和软复位机制的权重转移到目标SNN。这种流水线使得转换后的SNN和传统的ANN之间几乎没有精度损失，只有典型SNN仿真时间的$\sim1/10$。我们的方法有希望植入到嵌入式平台上，更好地支持具有有限能量和内存的SNN。
2021-02-28 cs.NE stat.ML
Sparse Distributed Memory using Spiking Neural Networks on Nengo
我们提出了一个脉冲神经网络（SNN）的稀疏分布式存储器（SDM）的Nengo框架上实现的。我们的工作基于Furber等人在2004年的工作，使用N/M码实现SDM。作为SDM设计的一个组成部分，我们在Nengo上使用SNN实现了相关矩阵存储器（CMM）。我们的SNN实现在Nengo上使用Leaky Integrate and Fire（LIF）尖峰神经元模型。我们的目标是了解如何以及SNN为基础的SDM执行相比，传统的SDM。为此，我们在Nengo上模拟了传统的和基于SNN的SDM和CMM。我们观察到基于SNN的模型与传统模型的性能相似。为了评估不同SNN的性能，我们使用自适应LIF，尖峰整流线性单元和Izhikevich模型重复实验，并获得了类似的结果。我们的结论是，它确实是可行的，以开发某些类型的联想记忆使用尖峰神经元的记忆能力和其他功能是类似的性能没有SNN。最后，我们已经实现了一个应用程序，MNIST图像，编码的N-M代码，与他们的标签和存储在SNN为基础的SDM。
2021-12-03 cs.IR cs.NE
Constructing Deep Spiking Neural Networks from Artificial Neural Networks with Knowledge Distillation
Dalian University of Technology（大连理工大学）；University of Leeds（利兹大学）；Zhejiang University（浙江大学）
本文提出利用知识蒸馏以ANN为教师、SNN为学生的ANN-SNN联合训练方法，可高效构建深度脉冲网络，减少训练时间步并增强抗噪能力。
2023-04-17 cs.AI cs.NE
Spiking-Diffusion: Vector Quantized Discrete Diffusion Model with Spiking Neural Networks
Tsinghua University（清华大学）；Beijing Smartchip Microelectronics Technology Co., Ltd（北京智芯微电子科技有限公司）
本文提出Spiking-Diffusion模型，首次完全用脉冲神经网络构建向量量化离散扩散模型，通过VQ-SVAE和SDID实现图像生成，在多个数据集上显著降低FID并优于现有SNN生成模型。
2023-09-22 cs.CV cs.NE
Distilling Spikes: Knowledge Distillation in Spiking Neural Networks
Indian Institute of Technology Bombay（孟买印度理工学院）
与经典的人工神经网络（ANN）不同，脉冲神经网络（SNN）是一种节能计算架构，它交换尖峰以处理信息。因此，SNN更适合实际部署。然而，与ANN类似，SNN也受益于更深的架构，以获得更好的性能。此外，与深度ANN一样，SNN的存储器、计算和功率要求也随着模型大小而增加，并且模型压缩成为必要。知识蒸馏是一种模型压缩技术，它能够以最小的性能损失将大型机器学习模型的学习转移到较小的模型。在本文中，我们提出了技术知识蒸馏脉冲神经网络的任务图像分类。我们提出了从较大的SNN（也称为教师网络）提取尖峰到较小的SNN（也称为学生网络）的方法，同时最小限度地影响分类精度。我们在三个标准数据集上进行了详细的实验，同时提出了新的蒸馏方法和损失函数，证明了所提出的方法的有效性。我们还提出了一个多阶段的知识蒸馏技术SNN使用中间网络，以获得更高的性能，从学生网络。我们的方法有望为在资源受限的硬件平台上部署高性能的大型SNN模型开辟新的途径。
2020-05-01 cs.CV cs.NE
SNNAX -- Spiking Neural Networks in JAX
Peter-Grünberg Institute（彼得·格伦伯格研究所）；FZ Jülich（于利希研究中心）；RWTH Aachen（亚琛工业大学）
提出基于JAX的SNN模拟与训练框架SNNAX，兼具PyTorch的直观性与JAX的执行速度，支持灵活自动微分与即时编译，并通过多基准测试验证了其性能与易用性。
2025-01-27 cs.LG cs.NE
Reconstructing Spiking Neural Networks Using a Single Neuron with Autapses
Brain-Apparatus Communication Institute, University of Electronic Science and Technology of China（脑器通信研究院，电子科技大学）；School of Artificial Intelligence, Chongqing University of Education（人工智能学院，重庆教育学院）
本文提出时间延迟自突触SNN框架，通过单个漏电积分-放电神经元和原型学习策略，实现共振、多层感知机和卷积脉冲架构，减少神经元数量和状态内存，但增加时间延迟。
2026-03-25 cs.AI cs.NE
Spiking Diffusion Models
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Renmin University of China（中国人民大学）；North Carolina State University（北卡罗来纳州立大学）
本文提出脉冲扩散模型（SDMs），通过引入时间维度的脉冲机制和阈值引导策略，在大幅降低能耗的同时实现了高质量图像生成，并在大规模数据集上取得了优于以往SNN模型的性能。
2024-08-29 cs.CV cs.NE
Optimal ANN-SNN Conversion for High-accuracy and Ultra-low-latency Spiking Neural Networks
脉冲神经网络（SNN）以其低功耗、快速推理等特点在神经形态硬件上得到了广泛的关注。作为获得深度SNN的最有效方法，ANN-SNN转换在大规模数据集上取得了与ANN相当的性能。尽管如此，它需要很长的时间步长来匹配SNN的发射率到ANN的激活。因此，转换后的SNN遭受严重的性能退化问题与短的时间步长，这阻碍了SNN的实际应用。本文从理论上分析了ANN-SNN的转换误差，推导了SNN的激活函数估计。然后，我们提出了量化限幅地板移位激活函数来代替源神经网络中的ReLU激活函数，它可以更好地逼近SNN的激活函数。我们证明了SNN和ANN之间的预期转换误差为零，使我们能够实现高精度和超低延迟的SNN。我们在CIFAR-10/100和ImageNet数据集上评估了我们的方法，并表明它在准确性和时间步长方面都优于最先进的ANN-SNN和直接训练的SNN。据我们所知，这是第一次探索具有超低延迟（4个时间步长）的高性能ANN-SNN转换。代码可以在https：//github.com/putshua/SNN\_conversion\_QCFS上找到
2023-03-08 cs.NE
DPSNN: A Differentially Private Spiking Neural Network with Temporal Enhanced Pooling
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出差分隐私脉冲神经网络DPSNN，将差分隐私与SNN结合，并设计时间增强池化TEP方法以在强隐私保护下保持高性能。
2023-04-11 cs.AI cs.LG cs.NE
tinySNN: Towards Memory- and Energy-Efficient Spiking Neural Networks
Technische Universität Wien (TU Wien)（维也纳工业大学）；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）
较大的脉冲神经网络（SNN）模型通常是有利的，因为它们可以提供更高的准确性。然而，在资源和能量受限的嵌入式平台上采用这样的模型是低效的。为此，我们提出了一个tinySNN框架，该框架在训练和推理阶段优化了SNN处理的内存和能量需求，同时保持了高精度。该方法通过减少SNN运算量、提高学习质量、量化SNN参数和选择合适的SNN模型来实现。此外，我们的tinySNN量化不同的SNN参数（即，权重和神经元参数）以最大化压缩，同时探索量化方案、精度水平和舍入方案的不同组合以找到提供可接受精度的模型。实验结果表明，与基线网络相比，我们的tinySNN显着减少了SNN的内存占用和能耗，而没有准确性损失。因此，我们的tinySNN有效地压缩给定的SNN模型，以实现高精度的内存和能源效率的方式，从而使SNN的资源和能源受限的嵌入式应用程序的就业。
2022-06-17 cs.AI cs.AR cs.LG
KLIF: An optimized spiking neuron unit for tuning surrogate gradient slope and membrane potential
University of Canterbury（坎特伯雷大学）
脉冲神经网络（SNN）由于具有处理时间信息的能力、低功耗和较高的生物相容性而受到广泛关注。然而，它仍然是具有挑战性的开发高效和高性能的学习算法的SNN。像人工神经网络（ANN）到SNN的转换这样的方法可以将ANN转换为SNN，而性能损失很小，但是它需要长时间的模拟来近似速率编码。通过基于尖峰的反向传播（BP）（如代理梯度近似）直接训练SNN更灵活。然而，目前，SNN的性能与ANN相比并不具有竞争力。在本文中，我们提出了一种新的基于k的泄漏积分和消防（KLIF）神经元模型，以提高SNN的学习能力。与流行的Leaky Integrate-and-Fire（LIF）模型相比，KLIF增加了一个可学习的比例因子，以在训练期间动态更新替代梯度曲线的斜率和宽度，并结合了一个ReLU激活函数，该函数选择性地将膜电位传递到尖峰放电和重置。在静态MNIST、Fashion-MNIST、CIFAR-10数据集以及神经形态N-MNIST、CIFAR 10-DVS和DVS 128-Gesture数据集上评估了拟定的加标单元。实验表明，KLIF的性能比LIF好得多，而不引入额外的计算成本，并实现了最先进的性能在这些数据集上，很少的时间步长。此外，KLIF被认为比LIF更具生物学合理性。KLIF的良好性能可以使其完全取代LIF在SNN中的作用，用于各种任务。
2023-02-18 cs.CV cs.NE
Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural Networks and Its Mapping Relationship to Deep Neural Networks
IEEE Publication Technology Group（IEEE出版技术组）
脉冲神经网络（SNN）是一种基于脑的机器学习算法，具有生物相容性和无监督学习能力等优点。以前的工作已经表明，将人工神经网络（ANN）转换为SNN是实现SNN的实用且有效的方法。然而，缺乏训练非精度损失SNN的基本原理和理论基础。本文建立了线性泄漏-积分-激发模型（LIF）/SNN的生物学参数与ReLU-AN/深度神经网络（DNN）参数之间的精确数学映射。这种映射关系在一定条件下得到了解析证明，并通过模拟和实际数据实验得到了验证。它可以作为两类神经网络各自优点的潜在结合的理论基础。
2022-05-31 cs.AI cs.LG cs.NE
ESL-SNNs: An Evolutionary Structure Learning Strategy for Spiking Neural Networks
The College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Artificial Intelligence, Dalian University of Technology（大连理工大学人工智能学院）；School of Computing, University of Leeds（利兹大学计算学院）；Research Institute of Intelligent Computing, Zhejiang Lab（之江实验室智能计算研究院）
针对SNNs训练中的参数冗余问题，提出受大脑重连启发的ESL-SNNs框架，通过动态剪枝与再生实现从零开始的稀疏训练，并在DVS-Cifar10上以10%连接密度仅损失0.28%精度。
2023-06-06 cs.AI cs.NE
Inherent Adversarial Robustness of Deep Spiking Neural Networks: Effects of Discrete Input Encoding and Non-Linear Activations
Purdue University（普渡大学）；Yale University（耶鲁大学）
在最近对可信神经网络的探索中，我们提出了脉冲神经网络（SNN）作为对抗对抗攻击的固有鲁棒性的潜在候选者。在这项工作中，我们证明了SNN在基于梯度的攻击下的对抗准确性高于深度VGG和ResNet架构上的CIFAR数据集的非尖峰对应物，特别是在黑盒攻击场景中。我们把这种鲁棒性归因于SNN的两个基本特征，并分析了它们的影响。首先，我们展示了输入离散化引入的泊松编码器提高了对抗鲁棒性，减少了时间步长。其次，我们量化了泄漏-整合-火灾（LIF）神经元中泄漏率增加的对抗准确性。我们的研究结果表明，用LIF神经元和较小的时间步长训练的SNN比用IF（Integrate-Fire）神经元和较大的时间步长训练的SNN更鲁棒。此外，我们克服了在时域中创建基于梯度的对抗性输入的瓶颈，提出了一种从SNN制作攻击的技术
2020-07-23 cs.CV cs.NE
hxtorch.snn: Machine-learning-inspired Spiking Neural Network Modeling on BrainScaleS-2
神经形态系统需要用户友好的软件来支持实验的设计和优化。在这项工作中，我们提出了我们的开发一个基于机器学习的建模框架的BrainScaleS-2神经形态系统，以满足这一需求。这项工作代表了对以前工作的改进，以前的工作要么集中在BrainScaleS-2的矩阵乘法模式上，要么缺乏完全自动化。我们的框架名为hxtorch.snn，可以在PyTorch中实现脉冲神经网络的硬件在环训练，包括支持全自动硬件实验工作流程中的自动区分。此外，hxtorch.snn还有助于在硬件仿真和软件仿真之间进行无缝转换。我们展示了hxtorch.snn在使用阴阳数据集的分类任务上的能力，该数据集采用基于梯度的方法，具有替代梯度和来自BrainScaleS-2硬件系统的密集采样膜观察。
2022-12-23 cs.NE
Improving Robustness of ReRAM-based Spiking Neural Network Accelerator with Stochastic Spike-timing-dependent-plasticity
尖峰时间依赖可塑性（STDP）是一种无监督的脉冲神经网络（SNN）学习算法，它有望实现对人脑更深层次的理解和更强大的人工智能。虽然传统的计算系统无法有效地模拟SNN，但基于诸如ReRAM之类的设备的存储器中处理（PIM）可以用于设计快速且有效的基于STDP的SNN加速器，因为它与生物神经网络高度相似地操作。然而，这种设计的实际实现仍然受到输入噪声和器件变化的影响。在这项工作中，我们提出了一种新的随机STDP算法，使用尖峰频率信息来动态调整突触行为。该算法进行了测试，在模式识别任务与噪声输入，并显示精度提高确定性STDP。此外，我们表明，新算法可用于设计一个强大的基于ReRAM的SNN加速器，具有很强的弹性设备的变化。
2019-09-11 cs.ET cs.NE
Spiking Denoising Diffusion Probabilistic Models
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；North Carolina State University（北卡罗来纳州立大学）；Renmin University of China（中国人民大学）
本文提出脉冲去噪扩散概率模型SDDPM，通过纯脉冲U-Net架构在仅4个时间步内实现高效低能耗生成，在CIFAR-10和CelebA上显著超越现有SNN生成模型，并引入阈值引导策略进一步提升性能。
2023-12-05 cs.CV cs.NE
Towards Efficient Deployment of Hybrid SNNs on Neuromorphic and Edge AI Hardware
University of South Carolina（南卡罗来纳大学）
本研究构建SNN与ANN结合的混合模型，提出跨域累加器电路，将其分别部署在Loihi与Jetson Nano异构硬件上，验证其在多性能指标上优于两类基线模型。
2024-07-11 cs.AI cs.AR cs.CV
LaSNN: Layer-wise ANN-to-SNN Distillation for Effective and Efficient Training in Deep Spiking Neural Networks
Zhejiang University（浙江大学）；Zhejiang University School of Medicine（浙江大学医学院）；Affiliated Mental Health Center & Hangzhou Seventh People’s Hospital（附属精神卫生中心&杭州市第七人民医院）
本文提出分层ANN-to-SNN知识蒸馏框架LaSNN，通过注意力机制和分层蒸馏将ANN知识高效迁移到小规模SNN，在保持竞争精度的同时实现比转换SNN快20倍的推理速度。
2023-04-17 cs.AI cs.NE
Toward Robust Spiking Neural Network Against Adversarial Perturbation
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Drexel University（德雷塞尔大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Tsinghua University（清华大学）
随着脉冲神经网络越来越多地应用于对效率要求严格的实际应用中，其安全性问题引起了人们的广泛关注。目前，研究人员已经证明了SNN可以用对抗性示例进行攻击。如何建立一个健壮的自适应神经网络成为一个迫切的问题。近年来，许多研究将认证训练应用于人工神经网络（ANN），有望提高神经网络模型的鲁棒性。然而，由于SNN的不同神经元行为和输入格式，现有的认证不能直接转移到SNN。在这项工作中，我们首先设计了S-IBP和S-CROWN来处理SNN神经元建模中的非线性函数。然后，我们正式的数字和尖峰输入的边界。最后，我们证明了我们提出的鲁棒训练方法在不同数据集和模型架构中的效率。基于我们的实验，我们可以实现最大的$37.7\%$攻击错误减少与$3.7\%$原有的准确性损失。据我们所知，这是第一次对SNN的鲁棒训练进行分析。
2022-04-12 cs.AI cs.CR cs.LG
Examining the Robustness of Spiking Neural Networks on Non-ideal Memristive Crossbars
脉冲神经网络（SNN）由于其异步、稀疏和二进制信息处理而成为人工神经网络（ANN）的低功耗替代方案。为了提高能量效率和吞吐量，SNN可以在忆阻交叉开关上实现，其中乘法和累加（MAC）操作使用新兴的非易失性存储器（NVM）设备在模拟域中实现。尽管SNN与忆阻交叉开关兼容，但很少有人关注固有交叉开关非理想性和随机性对SNN性能的影响。在本文中，我们进行了全面的分析，非理想交叉的SNN的鲁棒性。我们研究了通过学习算法训练的SNN，如代理梯度和ANN-SNN转换。我们的研究结果表明，跨多个时间步长的重复交叉计算会导致错误累积，导致SNN推理过程中的性能大幅下降。我们进一步表明，当部署在忆阻交叉杆上时，用较少数量的时间步长训练的SNN实现了更好的准确性。
2022-06-20 cs.NE
Fully Spiking Variational Autoencoder
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
脉冲神经网络（SNN）由于其二进制和事件驱动的性质，可以在超高速和超低能耗的神经形态设备上运行。因此，SNN预计将有各种应用，包括作为在边缘设备上运行的生成模型，以创建高质量的图像。在这项研究中，我们建立了一个变分自编码器（VAE）与SNN，使图像生成。VAE以其在生成模型中的稳定性而闻名;最近，其质量有所提高。在vanilla VAE中，潜在空间被表示为正态分布，并且在采样中需要浮点计算。然而，这在SNN中是不可能的，因为所有特征都必须是二进制时间序列数据。因此，我们用自回归SNN模型构建了潜空间，并从其输出中随机抽取样本对潜变量进行采样。这允许潜变量遵循伯努利过程，并允许变分学习。因此，我们构建了完全尖峰变分自编码器，其中所有模块都是用SNN构建的。据我们所知，我们是第一个只使用SNN层构建VAE的公司。我们用几个数据集进行了实验，并证实它可以生成与传统ANN相比质量相同或更好的图像。代码可在https://github.com/kamata1729/FullySpikingVAE上获得
2021-12-14 cs.CV cs.LG cs.NE
Skip Connections in Spiking Neural Networks: An Analysis of Their Effect on Network Training
Univ. Polytechnique Hauts-de-France（上法兰西理工大学）；Belmihoub Abd El Rahmane High School（贝勒米胡布·阿卜杜勒·拉赫曼高中）；Ecole Nationale Supérieure d’Informatique（国家高等计算机学院）；Forschungszentrum Jülich（于利希研究中心）
脉冲神经网络（SNN）由于其潜在的能量效率和其在生物系统中建模脉冲行为的能力而作为传统人工神经网络（ANN）的有前途的替代方案而受到关注。然而，SNN的训练仍然是一个具有挑战性的问题，需要新的技术来提高其性能。在本文中，我们研究了跳跃连接对SNN的影响，并提出了一种超参数优化技术，使模型从ANN适应SNN。我们证明，优化跳过连接的位置、类型和数量可以通过加快收敛速度和增加网络中的信息流来显着提高SNN的准确性和效率。我们的研究结果显示，在CIFAR-10-DVS和DVS 128手势数据集上，多个最先进模型的适应性平均提高了8%。
2023-03-23 cs.CV cs.LG cs.NE
InfLoR-SNN: Reducing Information Loss for Spiking Neural Networks
Intelligent Science & Technology Academy of CASIC（中国航天科工集团智能科学技术研究院）；Chongqing University（重庆大学）
针对SNN硬重置与脉冲量化导致的信息损失，本文提出Soft Reset机制和膜电位整流器MPR，并在静态与动态数据集上验证了性能提升。
2023-08-18 cs.CV cs.NE
Run-time Mapping of Spiking Neural Networks to Neuromorphic Hardware
在本文中，我们提出了一种设计方法来分区和映射的神经元和突触的在线学习SNN为基础的应用程序在{运行时间}的神经形态架构。我们的设计方法分为两个步骤-步骤1是一个逐层贪婪的方法，将SNN划分为神经元和突触的集群，并结合神经形态架构的约束，步骤2是一个爬山优化算法，最大限度地减少集群之间的总尖峰通信，提高架构的共享互连的能耗。我们进行实验，以评估我们的算法使用合成和现实SNN为基础的应用程序的可行性。我们证明，我们的算法减少了SNN映射时间平均780倍相比，一个国家的最先进的设计时基于SNN分区的方法，只有6.25%的解决方案的质量较低。
2020-06-11 cs.ET cs.NE
