MT-SNN: Spiking Neural Network that Enables Single-Tasking of Multiple Tasks
Virginia Commonwealth University(弗吉尼亚联邦大学);Universidad de Córdoba(科尔多瓦大学)
在本文中,我们探讨的能力,脉冲神经网络在解决多任务分类问题,使用的方法,单任务的多个任务。我们设计并实现了一个多任务的脉冲神经网络(MT-SNN),可以学习两个或多个分类任务,同时执行一个任务的时间。要执行的任务是通过调制在这项工作中使用的泄漏集成和火灾神经元的放电阈值来选择的。该网络使用英特尔的Lava平台为Loihi 2神经形态芯片实现。对NMNIST数据的动态多任务分类进行了测试。结果表明,MT-SNN通过修改其动力学,即尖峰神经元的放电阈值,有效地学习多个任务。
2022-08-02 cs.LG cs.NE
Long Short-Term Memory Spiking Networks and Their Applications
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
基于事件的神经形态系统的最新进展引起了人们对脉冲神经网络(SNN)的使用和发展的极大兴趣。然而,尖峰神经元的不可微性质使得SNN与传统的反向传播技术不兼容。尽管在训练传统深度神经网络(DNN)方面取得了重大进展,但对SNN的训练方法仍然知之甚少。在本文中,我们提出了一个新的框架来训练递归SNN。类似于递归神经网络(RNN)在DNN中学习时间序列模型的好处,我们开发了基于长短期记忆(LSTM)网络的SNN。我们展示了LSTM尖峰网络学习尖峰的时间和时间依赖性。我们还开发了一种基于LSTM的SNN的误差反向传播方法。在基于LSTM的SNN中开发的反向传播架构和方法使它们能够学习长期依赖关系,其结果与传统的LSTM相当。
2020-07-09 cs.LG cs.NE
Optimized Potential Initialization for Low-latency Spiking Neural Networks
Peking University(北京大学)
脉冲神经网络(SNN)由于具有低功耗、生物相容性和对抗鲁棒性等特点而受到广泛关注。训练深度SNN的最有效方法是通过ANN到SNN的转换,这在深度网络结构和大规模数据集上产生了最佳性能。然而,在准确性和延迟之间存在权衡。为了达到原始ANN的高精度,需要很长的模拟时间来匹配尖峰神经元的放电率与模拟神经元的激活值,这阻碍了SNN的实际应用。在本文中,我们的目标是以极低的延迟(少于32个时间步)实现高性能的转换SNN。我们首先从理论上分析ANN到SNN的转换,并表明缩放阈值确实起到了与权重归一化类似的作用。我们没有以模型容量为代价引入促进ANN到SNN转换的约束条件,而是通过优化初始膜电位来减少每层中的转换损失。此外,我们证明了膜电位的最佳初始化可以实现预期的无误差ANN到SNN转换。我们在CIFAR-10,CIFAR-100和ImageNet数据集上评估了我们的算法,并使用更少的时间步长实现了最先进的准确性。例如,我们在CIFAR-10上以16个时间步长达到了93.38%的top-1准确度。此外,我们的方法可以应用到其他ANN-SNN转换方法,并显着提高性能时,时间步长很小。
2022-02-03 cs.CV cs.LG cs.NE
SNNAX -- Spiking Neural Networks in JAX
Peter-Grünberg Institute(彼得·格伦伯格研究所);FZ Jülich(于利希研究中心);RWTH Aachen(亚琛工业大学)
提出基于JAX的SNN模拟与训练框架SNNAX,兼具PyTorch的直观性与JAX的执行速度,支持灵活自动微分与即时编译,并通过多基准测试验证了其性能与易用性。
2025-01-27 cs.LG cs.NE
Spiking Neural Networks -- Part I: Detecting Spatial Patterns
脉冲神经网络(SNN)是生物启发的机器学习模型,其建立在以事件驱动的在线方式处理二进制和稀疏脉冲信号的动态神经元模型上。SNN可以在类脑计算平台上实现,这些平台正在成为用于学习和推理的节能协处理器。这是一系列三篇论文中的第一篇,通过关注模型,算法和应用程序向工程师介绍SNN。在这第一篇论文中,我们首先介绍了用于传统人工神经网络(ANN)和SNN的神经模型。然后,我们回顾了SNN的学习算法和应用程序,旨在通过检测或生成速率编码的尖峰信号中的空间模式来模仿ANN的功能。我们专门讨论ANN到SNN的转换和神经采样。最后,我们通过实验验证了SNN检测和生成空间模式的能力。
2020-12-09 cs.LG cs.NE eess.SP
SpikingGamma: Temporally Precise Online SNN Training Through Smoothed Temporal Delays
CWI(荷兰国家数学与计算机科学研究中心);University of Lübeck(吕贝克大学)
SpikingGamma通过内部递归记忆结构和sigma-delta spike编码,实现无替代梯度的在线训练,支持细时间模式学习和高效硬件映射。
2026-11-20 cs.LG cs.NE
Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning
Center for Brain-Inspired Computing Research (CBICR)(类脑计算研究中心);Tsinghua University(清华大学)
具有内在动力学的生物尖峰神经元是大脑在复杂环境中处理多模态信息的强大表征和学习能力的基础。尽管最近脉冲神经网络(SNN)在处理欧氏空间任务方面取得了巨大的进展,但利用SNN处理由图数据表示的非欧氏空间数据仍然具有挑战性,主要是由于缺乏有效的建模框架和有用的训练技术。在这里,我们提出了一个通用的基于尖峰的建模框架,可以直接训练SNN进行图学习。通过时空展开的尖峰数据流的节点功能,我们将图卷积过滤器尖峰动力学和形式化的协同学习范式。考虑到尖峰表示和尖峰动力学的独特特征,我们提出了一种适用于SNN的时空特征归一化(STFN)技术来加速收敛。我们将我们的方法实例化为两个尖峰图模型,包括图卷积SNN和图注意SNN,并在三个节点分类基准测试(包括Cora,Citeseer和Pubmed)上验证其性能。我们的模型可以实现与最先进的图神经网络(GNN)模型具有更低的计算成本相当的性能,表现出极大的好处,神经形态硬件上的执行,并促进神经形态应用程序在图形场景。
2021-06-30 cs.LG cs.NE
Spiking Brain Compression: Post-Training Second-order Compression for Spiking Neural Networks
School of Engineering Mathematics and Technology, University of Bristol, England(工程数学与技术学院,布里斯托大学,英格兰)
本文提出Spiking Brain Compression(SBC)框架,通过一次性后训练压缩提升脉冲神经网络的效率,实现比传统ANN基线更高的准确率。
2026-01-28 cs.LG cs.NE
Optimal ANN-SNN Conversion for Fast and Accurate Inference in Deep Spiking Neural Networks
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
脉冲神经网络(SNNs)作为一种基于生物启发的高效节能神经网络,受到了研究者和工业界的广泛关注。训练深度SNN的最有效方法是通过ANN-SNN转换。然而,转换通常遭受精度损失和推理时间长,这阻碍了SNN的实际应用。本文从理论上分析了ANN-SNN的转换,并给出了最优转换的充分条件。为了更好地关联ANN-SNN并获得更高的准确性,我们提出了速率规范层来取代源ANN训练中的ReLU激活函数,从而实现从训练的ANN到SNN的直接转换。此外,我们提出了一个最佳的拟合曲线来量化源ANN的激活值和目标SNN的实际发射率之间的拟合。我们表明,推理时间可以减少通过优化修改后的人工神经网络的拟合曲线的上限,以实现快速推理。我们的理论可以解释现有的快速推理工作,并得到更好的结果。实验结果表明,该方法实现了VGG-16,PreActResNet-18和更深的结构的近损耗的转换。而且,它可以达到8.6倍的速度下,0.265倍的能量消耗的典型方法的推理性能。该代码可在https://github.com/DingJianhao/OptSNNConvertion-RNL-RIL上获得。
2021-05-25 cs.AI cs.CV cs.LG
Enhancing the Performance of Transformer-based Spiking Neural Networks by SNN-optimized Downsampling with Precise Gradient Backpropagation
Peng Cheng Laboratory(鹏城实验室);Harbin Institute of Technology(哈尔滨工业大学);Peking University(北京大学)
针对现有基于Transformer的SNN下采样模块导致的梯度反向传播不精确问题,提出SNN优化下采样方法CML,理论证明并实验验证其在多个数据集上显著提升了模型性能。
2023-05-19 cs.CV cs.NE
Pruning of Deep Spiking Neural Networks through Gradient Rewiring
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
脉冲神经网络(SNNs)由于其生物相容性和在神经形态芯片上的高能量效率而受到了广泛的重视。由于这些芯片通常是资源受限的,因此SNN的压缩在SNN的实际使用道路上至关重要。现有的大多数方法直接将人工神经网络(ANN)中的剪枝方法应用于SNN,忽略了ANN和SNN之间的差异,从而限制了剪枝后SNN的性能。此外,这些方法只适用于浅SNN。在本文中,受到神经系统中突触发生和突触消除的启发,我们提出了梯度重布线(Grad R),一种SNN连接和权重的联合学习算法,使我们能够无缝地优化网络结构而无需重新训练。我们的关键创新是将梯度重新定义为新的突触参数,通过充分利用连接修剪和再生之间的竞争,更好地探索网络结构。在MNIST和CIFAR-10数据集上的实验结果表明,该方法对SNN的性能损失最小。此外,它达到了$\sim$ 3.5%的准确性损失下前所未有的0.73%的连接,这表明显着的结构细化能力SNN。我们的工作表明,在深SNN中存在极高的冗余。我们的代码可在https://github.com/Yanqi-Chen/Gradient-Rewiring上获得。
2021-06-22 cs.AI cs.CV cs.LG
mlx-snn: Spiking Neural Networks on Apple Silicon via MLX
mlx-snn是首个在Apple Silicon上原生实现的脉冲神经网络库,提供多种神经元模型和训练流程,实现高效SNN研究。
2026-03-03 cs.AI cs.LG cs.NE
Federated Learning with Spiking Neural Networks
Yale University(耶鲁大学)
随着神经网络在资源受限的嵌入式设备中得到广泛采用,对低功耗神经系统的需求日益增长。脉冲神经网络(SNN)正在成为传统人工神经网络(ANN)的能量高效替代方案,人工神经网络(ANN)已知是计算密集型的。从应用的角度来看,由于联邦学习涉及多个能源受限的设备,因此利用SNN提供的能源效率有很大的空间。尽管其重要性,但很少有人关注在像联邦学习这样的大规模分布式系统上训练SNN。在本文中,我们将SNN带到一个更现实的联邦学习场景中。具体来说,我们提出了一个联邦学习框架,用于SNN的分散和隐私保护训练。为了验证所提出的联邦学习框架,我们用CIFAR10和CIFAR100基准测试实验评估了SNN在联邦学习各个方面的优势。我们观察到,当数据分布在联邦中的大量客户端时,SNN在整体准确性方面优于ANN超过15%,同时提供高达5.3倍的能源效率。除了效率之外,我们还分析了所提出的联邦SNN框架对客户端,落伍者和梯度噪声之间的数据分布的敏感性,并与ANN进行了全面的比较。
2021-06-11 cs.CV cs.DC cs.LG
Training Deep Spiking Neural Networks
Baltic Institute of Advanced Technology(波罗的海高级技术研究所);SRI International(SRI国际)
与当前的模拟神经网络(ANN)相比,使用具有神经形态硬件的脑启发的脉冲神经网络(SNN)的计算可以提供数量级更高的能量效率。不幸的是,训练具有与最先进的ANN相同层数的SNN仍然是一个挑战。据我们所知,在这方面唯一成功的方法是人工神经网络的监督训练,然后将其转换为SNN。在这项工作中,我们直接训练深SNN使用反向传播与代理梯度,并发现,由于前馈SNN的隐式递归性质的爆炸或消失的梯度问题严重阻碍了他们的训练。我们表明,这个问题可以通过调整代理梯度函数来解决。我们还建议使用批量归一化从人工神经网络文献的SNN神经元的输入电流。使用这些改进,我们表明,是可能的训练SNN与ResNet50架构上CIFAR100和Imagenette对象识别数据集。与类似的ANN相比,训练的SNN在精度上落后,但是与通过从ANN转换获得的SNN(其需要大约1000个时间步)相比,需要几个数量级的更少的推理时间步(低至10)来达到良好的精度。
2020-06-08 cs.CV cs.NE
Strategy and Benchmark for Converting Deep Q-Networks to Event-Driven Spiking Neural Networks
University of Memphis(孟菲斯大学)
脉冲神经网络(SNN)对于在专用神经形态硬件上实现深度神经网络(DNN)的节能具有巨大潜力。最近的研究表明,与DNN相比,SNN在图像分类任务上具有竞争力的性能,包括CIFAR-10和ImageNet数据。目前的工作重点是将SNN与ATARI游戏中的深度强化学习结合使用,与图像分类相比,这涉及额外的复杂性。我们回顾了将DNN转换为SNN并将转换扩展到深度Q网络(DQN)的理论。我们提出了一个强大的表示的射击率,以减少在转换过程中的错误。此外,我们引入了一个新的指标来评估的转换过程中,通过比较的DQN和SNN,分别作出的决定。我们还分析了模拟时间和参数归一化如何影响转换SNN的性能。我们在17款表现最好的Atari游戏中获得了竞争力分数。据我们所知,我们的工作是第一个在多个Atari游戏上实现最先进性能的SNN。我们的工作作为一个基准的转换DQNs SNNs和铺平了道路,进一步研究解决强化学习任务SNNs。
2020-12-23 cs.LG cs.NE
R-SNN: An Analysis and Design Methodology for Robustifying Spiking Neural Networks against Adversarial Attacks through Noise Filters for Dynamic Vision Sensors
Technische Universität Wien(维也纳工业大学);Politecnico di Torino(都灵理工大学);New York University(纽约大学)
脉冲神经网络(SNN)旨在通过基于事件的动态视觉传感器(DVS)在神经形态芯片上实现时提供节能的学习能力。本文研究了SNN对基于DVS的系统的对抗攻击的鲁棒性,并提出了R-SNN,一种通过有效的DVS噪声滤波来鲁棒SNN的新方法。我们是第一个对DVS信号产生对抗攻击的公司(即,时空域中的事件帧),并在寻求防御对抗攻击时为DVS传感器应用噪声滤波器。我们的研究结果表明,噪声滤波器有效地防止SNN被愚弄。在我们的实验中,SNN在不同的对抗性威胁模型下对DVS-手势和NMNIST数据集的准确率超过90%。
2021-09-01 cs.CR cs.LG cs.NE
Locally Connected Spiking Neural Networks for Unsupervised Feature Learning
University of Massachusetts Amherst, College of Computer and Information Sciences(马萨诸塞大学阿默斯特分校计算机与信息科学学院);University of Memphis(孟菲斯大学)
近年来,脉冲神经网络(SNN)在完成各种机器学习任务方面取得了巨大的成功。我们介绍了一种学习图像特征的方法,\textit{locally connected layers}在SNN使用尖峰时间依赖可塑性(STDP)规则。在我们的方法中,子网络通过竞争性抑制相互作用来学习来自输入空间不同位置的特征。这些\textit{Locally-Connected SNNs}(LC-SNN)表现出生物神经元空间相互作用的关键拓扑特征。我们探索生物启发的n-gram分类方法,允许并行处理的图像空间的各种补丁。我们报告了简单的两层LC-SNN在两个图像数据集上的分类精度,这与最先进的性能相匹配,是迄今为止的第一个结果。LC-SNN具有快速收敛到数据集表示的优点,并且它们比其他具有无监督学习的SNN方法需要更少的可学习参数。鲁棒性测试表明,LC-SNN表现出优雅的性能下降,尽管随机删除大量的突触和神经元。
2019-04-12 cs.LG cs.NE
Backpropagation-free Spiking Neural Networks with the Forward-Forward Algorithm
Shahid Beheshti University(沙希德·贝赫什提大学);University of Hertfordshire(赫特福德大学)
本研究提出基于前向-前向算法的尖峰神经网络训练框架,通过两次前向传播实现逐层局部学习,在静态和尖峰数据集上以轻量架构达到与反向传播训练相当的性能,并提升计算效率与神经形态硬件兼容性。
2025-05-27 cs.AI cs.LG cs.NE
Action Recognition Using Supervised Spiking Neural Networks
生物神经元使用尖峰以能量和计算高效的方式处理和学习时间动态输入。然而,由于尖峰神经元的激活函数的不可微性,将最先进的基于梯度的监督算法应用于脉冲神经网络(SNN)是一个挑战。采用替代梯度是克服这一挑战的主要解决方案之一。虽然SNN自然地工作在时间域中,但最近的研究集中于开发SNN来解决静态图像分类任务。在本文中,我们采用代理梯度下降学习算法识别12个人的手势记录的动态视觉传感器(DVS)相机。在测试数据上,该神经网络的识别准确率可达97.2%。
2020-01-11 cs.CV cs.NE
Spiking neural networks trained via proxy
Shahid Beheshti University(沙希德·贝赫什提大学);Amirkabir University of Technology(阿米尔卡比尔理工大学);CNRS(法国国家科学研究中心);Université Toulouse 3(图卢兹第三大学)
提出了一种新的学习算法,利用传统的人工神经网络(ANN)作为代理,训练脉冲神经网络(SNN)。我们分别将两个SNN和ANN网络耦合起来,它们分别由具有相同网络架构和共享突触权重的集成并激发(IF)和ReLU神经元组成。两个网络的前向传递是完全独立的。通过假设具有速率编码的IF神经元作为ReLU的近似,我们在代理ANN中反向传播SNN的误差以更新共享权重,只需将ANN的最终输出替换为SNN的输出。我们将所提出的代理学习应用于深度卷积SNN,并在Fashion-MNIST和Cifar 10的两个基准数据集上进行了评估,分类准确率分别为94.56%和93.11%。所提出的网络可以优于其他使用串联学习、替代梯度学习或从深度ANN转换而来的深度SNN。转换后的SNN需要很长的模拟时间才能达到合理的精度,而我们的代理学习可以用更短的模拟时间实现高效的SNN。所提出的方法的源代码可在https://github.com/SRKH/ProxyLearning上公开获取。
2022-07-30 cs.CV cs.NE
Memory-Efficient Reversible Spiking Neural Networks
State Key Laboratory of Industrial Control Technology, College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院工业控制技术国家重点实验室);Key Laboratory of Collaborative sensing and autonomous unmanned systems of Zhejiang Province(浙江省协同感知与自主无人系统重点实验室)
针对脉冲神经网络训练时内存开销大、难以训练深层模型的问题,提出可逆脉冲神经网络架构,通过可逆脉冲模块重计算中间变量,在精度相当的情况下大幅降低内存消耗,为训练大深度SNN铺路。
2023-12-13 cs.CV cs.NE
Rethinking the role of normalization and residual blocks for spiking neural networks
Aisin(爱信);AISIN SOFTWARE Co., Ltd.(爱信软件株式会社)
生物启发的脉冲神经网络(SNN)被广泛用于实现超低功耗。然而,由于隐藏层中尖峰神经元的过度激发,深SNN不容易训练。为了解决这个问题,我们提出了一种新的,但简单的归一化技术称为突触后电位归一化。该归一化从标准归一化中移除减法项,并使用第二原始矩而不是方差作为除法项。通过对突触后电位进行这种简单的标准化,可以控制尖峰放电,使训练能够适当地进行。实验结果表明,使用我们的归一化的SNN优于使用其他归一化的其他模型。此外,通过预激活剩余块,该模型可以训练超过100层,而无需其他专用于SNN的特殊技术。
2022-03-03 cs.AI cs.CV cs.LG
Learning Long Sequences in Spiking Neural Networks
The University of Manchester(曼彻斯特大学)
本文首次系统研究了状态空间模型(SSMs)与脉冲神经网络(SNNs)在长程序列建模中的结合,提出基于SSM的SNNs在多项任务上优于Transformer和现有SNNs,并引入特征混合层提升准确率,为在神经形态硬件上部署大型模型奠定基础。
2023-12-14 cs.LG cs.NE
Supervised learning in Spiking Neural Networks with Limited Precision: SNN/LP
针对脉冲神经网络提出了一种新的监督学习算法SNN/LP。该新颖算法对突触权重和突触延迟两者都使用有限的精度;在每种情况下为3位。另外,遗传算法用于监督训练。结果与以前发表的工作相当或更好。所得结果适用于大规模硬件神经网络的实现。其中一个经过训练的网络是在可编程硬件中实现的。
2014-07-01 cs.NE
Noise-Robust Deep Spiking Neural Networks with Temporal Information
Seoul National University(首尔大学);Institute of New Media and Communications, Seoul National University(首尔大学新媒体与通信研究所);ASRI and Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔大学自动系统研究所及人工智能跨学科项目)
脉冲神经网络(SNN)是一种具有时间信息的能量高效神经网络。SNN在神经形态设备上显示出优越的效率,但这些设备对噪声敏感,这阻碍了它们在现实世界中的应用。有几项研究提高了噪声鲁棒性,但大多数研究既没有考虑深度SNN,也没有考虑时间信息。在本文中,我们研究了噪声对各种神经编码方法的深度SNN的影响,并提出了一种具有时间信息的噪声鲁棒性深度SNN。通过所提出的方法,我们已经实现了一个深度SNN,它对尖峰删除和抖动是有效和鲁棒的。
2021-04-22 cs.AI cs.LG cs.NE
Spiking Inception Module for Multi-layer Unsupervised Spiking Neural Networks
脉冲神经网络(SNN)作为一种大脑启发的方法,由于其产生超高能效硬件的潜力而引起人们的关注。基于尖峰时间依赖可塑性(STDP)的竞争学习是训练无监督SNN的一种流行方法。然而,以前通过这种方法训练的无监督SNN仅限于只有一个可学习层的浅层网络,并且与多层SNN相比无法获得令人满意的结果。1)受人工神经网络(ANN)文献中的Inception模块的启发,提出了Spiking Inception(Sp-Inception)模块。该模块通过基于STDP的竞争性学习进行培训,并在学习能力,学习效率和鲁棒性方面优于基线模块。2)我们提出了一个Pooling-Reshape-Activate(PRA)层来使Sp-Inception模块可堆叠。3)我们堆叠多个Sp-Inception模块来构建多层SNN。我们的算法在手写数字分类任务上的性能优于基线算法,并且在现有的无监督SNN中,在MNIST数据集上达到了最先进的结果。
2020-09-28 cs.LG cs.NE q-bio.NC
Including STDP to eligibility propagation in multi-layer recurrent spiking neural networks
University of Groningen(格罗宁根大学)
与基于深度学习的方法相比,神经形态系统中的脉冲神经网络(SNN)更节能,但没有明确的竞争性学习算法用于训练这种SNN。资格传播(e-prop)提供了一种有效的和生物学上合理的方式,训练竞争力的经常SNN在低功耗的神经形态硬件。在这份报告中,以前的性能的e-prop的语音分类任务的再现,包括STDP样的行为的影响进行了分析。将STDP包括到ALIF神经元模型中提高了分类性能,但对于Izhikevich e-prop神经元来说情况并非如此。最后,发现在单层递归SNN中实现的e-prop始终优于多层变体。
2022-01-05 cs.LG cs.NE
Spiking-Diffusion: Vector Quantized Discrete Diffusion Model with Spiking Neural Networks
Tsinghua University(清华大学);Beijing Smartchip Microelectronics Technology Co., Ltd(北京智芯微电子科技有限公司)
本文提出Spiking-Diffusion模型,首次完全用脉冲神经网络构建向量量化离散扩散模型,通过VQ-SVAE和SDID实现图像生成,在多个数据集上显著降低FID并优于现有SNN生成模型。
2023-09-22 cs.CV cs.NE
Distilling Spikes: Knowledge Distillation in Spiking Neural Networks
Indian Institute of Technology Bombay(孟买印度理工学院)
与经典的人工神经网络(ANN)不同,脉冲神经网络(SNN)是一种节能计算架构,它交换尖峰以处理信息。因此,SNN更适合实际部署。然而,与ANN类似,SNN也受益于更深的架构,以获得更好的性能。此外,与深度ANN一样,SNN的存储器、计算和功率要求也随着模型大小而增加,并且模型压缩成为必要。知识蒸馏是一种模型压缩技术,它能够以最小的性能损失将大型机器学习模型的学习转移到较小的模型。在本文中,我们提出了技术知识蒸馏脉冲神经网络的任务图像分类。我们提出了从较大的SNN(也称为教师网络)提取尖峰到较小的SNN(也称为学生网络)的方法,同时最小限度地影响分类精度。我们在三个标准数据集上进行了详细的实验,同时提出了新的蒸馏方法和损失函数,证明了所提出的方法的有效性。我们还提出了一个多阶段的知识蒸馏技术SNN使用中间网络,以获得更高的性能,从学生网络。我们的方法有望为在资源受限的硬件平台上部署高性能的大型SNN模型开辟新的途径。
2020-05-01 cs.CV cs.NE
Spiking Diffusion Models
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Renmin University of China(中国人民大学);North Carolina State University(北卡罗来纳州立大学)
本文提出脉冲扩散模型(SDMs),通过引入时间维度的脉冲机制和阈值引导策略,在大幅降低能耗的同时实现了高质量图像生成,并在大规模数据集上取得了优于以往SNN模型的性能。
2024-08-29 cs.CV cs.NE
SNN-PAR: Energy Efficient Pedestrian Attribute Recognition via Spiking Neural Networks
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院)
针对行人属性识别能耗高的问题,提出基于脉冲神经网络的SNN-PAR框架,通过脉冲分词器、Transformer主干及知识蒸馏实现节能且准确的识别。
2024-10-10 cs.AI cs.CV cs.NE
Real Spike: Learning Real-valued Spikes for Spiking Neural Networks
Intelligent Science & Technology Academy of CASIC(中国航天科工集团智能科学与技术研究院)
脑启发脉冲神经网络(SNN)由于其事件驱动和能量高效的特性,近年来受到越来越多的关注。在神经形态硬件上集成存储和计算范式使得SNN与深度神经网络(DNN)有很大不同。在本文中,我们认为SNN可能不会受益于权重共享机制,该机制可以有效地减少参数并提高DNN的推理效率,在某些硬件中,并假设具有非共享卷积核的SNN可以表现得更好。基于这一假设,提出了一种SNN训练-推理解耦方法Real Spike,该方法不仅在推理时同时使用非共享卷积核和二进制Spike,而且在训练时同时保持共享卷积核和实值Spike。SNN的这种解耦机制是通过重新参数化技术实现的。此外,基于训练-推理-解耦的思想,提出了一系列不同层次的Real Spike实现形式,这些实现形式在推理过程中共享卷积,并且对神经形态和非神经形态硬件平台都很友好。给出了一个理论证明,澄清了真正的Spike为基础的SNN网络是优于其香草对应。实验结果表明,所有不同的Real Spike版本可以一致地提高SNN的性能。此外,所提出的方法在非尖峰静态和神经形态数据集上都优于最先进的模型。
2022-10-13 cs.LG cs.NE
Improving Surrogate Gradient Learning in Spiking Neural Networks via Regularization and Normalization
脉冲神经网络(SNN)与深度学习中使用的经典网络不同:神经元使用称为尖峰的电脉冲进行通信,就像生物神经元一样。SNN对AI技术很有吸引力,因为它们可以在低功耗神经形态芯片上实现。然而,SNN通常保持比它们的模拟对应物更不准确。在这份报告中,我们研究了各种正则化和归一化技术,目的是改进SNN中的代理梯度学习。
2021-12-13 cs.NE
KLIF: An optimized spiking neuron unit for tuning surrogate gradient slope and membrane potential
University of Canterbury(坎特伯雷大学)
脉冲神经网络(SNN)由于具有处理时间信息的能力、低功耗和较高的生物相容性而受到广泛关注。然而,它仍然是具有挑战性的开发高效和高性能的学习算法的SNN。像人工神经网络(ANN)到SNN的转换这样的方法可以将ANN转换为SNN,而性能损失很小,但是它需要长时间的模拟来近似速率编码。通过基于尖峰的反向传播(BP)(如代理梯度近似)直接训练SNN更灵活。然而,目前,SNN的性能与ANN相比并不具有竞争力。在本文中,我们提出了一种新的基于k的泄漏积分和消防(KLIF)神经元模型,以提高SNN的学习能力。与流行的Leaky Integrate-and-Fire(LIF)模型相比,KLIF增加了一个可学习的比例因子,以在训练期间动态更新替代梯度曲线的斜率和宽度,并结合了一个ReLU激活函数,该函数选择性地将膜电位传递到尖峰放电和重置。在静态MNIST、Fashion-MNIST、CIFAR-10数据集以及神经形态N-MNIST、CIFAR 10-DVS和DVS 128-Gesture数据集上评估了拟定的加标单元。实验表明,KLIF的性能比LIF好得多,而不引入额外的计算成本,并实现了最先进的性能在这些数据集上,很少的时间步长。此外,KLIF被认为比LIF更具生物学合理性。KLIF的良好性能可以使其完全取代LIF在SNN中的作用,用于各种任务。
2023-02-18 cs.CV cs.NE
Spiking Neural Network inference on FPGAs with hls4ml
ISRC, Ulster University(ISRC、乌斯特大学)
本文扩展hls4ml工具,实现将PyTorch训练的脉冲神经网络(SNN)部署到FPGA固件上,在Heidelberg Spiking Digits数据集上达到约34μs的推理延迟。
2026-06-08 cs.LG cs.NE
Solving the Spike Feature Information Vanishing Problem in Spiking Deep Q Network with Potential Based Normalization
Research Center for Brain-inspired Intelligence, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所类脑智能研究中心);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心)
脑启发脉冲神经网络(SNN)已成功应用于许多模式识别领域。基于深度结构的神经网络在图像分类、目标检测等感知任务中取得了显著的效果。然而,深度SNN在强化学习(RL)任务中的应用仍然是一个有待探索的问题。虽然之前已经有关于SNN和RL结合的研究,但大多数都集中在使用浅网络或使用ANN-SNN转换方法来实现尖峰深度Q网络(SDQN)的机器人控制问题。在这项工作中,我们从数学上分析了SDQN中尖峰信号特征消失的问题,并提出了一种基于势层归一化(pbLN)的方法来直接训练尖峰深度Q网络。实验结果表明,与现有的ANN-SNN转换方法和其他SDQN算法相比,所提出的pbLN尖峰深度Q网络(PL-SDQN)在Atari游戏任务上取得了更好的性能.
2022-06-08 cs.AI cs.LG cs.NE
Uncovering the Representation of Spiking Neural Networks Trained with Surrogate Gradient
Yale University(耶鲁大学)
本文利用CKA比较替代梯度训练的SNN与ANN的表征,分析宽度、深度、残差连接、时间维度及输入影响,揭示SNN表征规律。
2023-04-25 cs.LG cs.NE
Inherent Adversarial Robustness of Deep Spiking Neural Networks: Effects of Discrete Input Encoding and Non-Linear Activations
Purdue University(普渡大学);Yale University(耶鲁大学)
在最近对可信神经网络的探索中,我们提出了脉冲神经网络(SNN)作为对抗对抗攻击的固有鲁棒性的潜在候选者。在这项工作中,我们证明了SNN在基于梯度的攻击下的对抗准确性高于深度VGG和ResNet架构上的CIFAR数据集的非尖峰对应物,特别是在黑盒攻击场景中。我们把这种鲁棒性归因于SNN的两个基本特征,并分析了它们的影响。首先,我们展示了输入离散化引入的泊松编码器提高了对抗鲁棒性,减少了时间步长。其次,我们量化了泄漏-整合-火灾(LIF)神经元中泄漏率增加的对抗准确性。我们的研究结果表明,用LIF神经元和较小的时间步长训练的SNN比用IF(Integrate-Fire)神经元和较大的时间步长训练的SNN更鲁棒。此外,我们克服了在时域中创建基于梯度的对抗性输入的瓶颈,提出了一种从SNN制作攻击的技术
2020-07-23 cs.CV cs.NE
Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks
CWI(CWI研究所);Stichting IMEC Netherlands, Holst Centre(荷兰IMEC基金会荷尔斯特中心);Univ of Amsterdam(阿姆斯特丹大学);Rijksuniversiteit Groningen(格罗宁根大学)
受生物神经元更详细建模的启发,脉冲神经网络(SNN)已经被研究为更生物学上合理的和潜在的更强大的神经计算模型,并且还具有提取生物神经元能量效率的目的;然而,与经典人工神经网络(ANN)相比,这种网络的性能仍然不足。在这里,我们展示了一种新的代理梯度与可调和自适应尖峰神经元的递归网络相结合,如何在时域中具有挑战性的基准上为SNN提供最先进的技术,如语音和手势识别。这也超过了标准经典循环神经网络(RNN)的性能,并接近最好的现代ANN。由于这些SNN表现出稀疏尖峰,我们表明,与具有可比性能的RNN相比,它们理论上的计算效率高出一到三个数量级。总之,这将SNN定位为AI硬件实现的有吸引力的解决方案。
2021-03-12 cs.LG cs.NE
Spiking GATs: Learning Graph Attentions via Spiking Neural Network
Anhui University(安徽大学)
图注意力网络(GATs)已被深入研究并广泛应用于图数据学习任务。现有的GAT一般采用自注意力机制来进行图边注意学习,需要昂贵的计算。众所周知,脉冲神经网络(SNN)可以通过将输入信号数据传输到离散的脉冲串中来执行廉价的计算,并且还可以返回稀疏的输出。受SNN优点的启发,在这项工作中,我们提出了一种新的图形尖峰注意力网络(GSAT)用于图形数据表示和学习。与现有GAT中的自注意力机制相比,GSAT采用了SNN模块结构,具有明显的节能性。此外,GSAT可以返回稀疏的注意力系数在自然,从而可以进行选择性的邻居,这使得GSAT执行鲁棒性w.r.t图边缘噪声的特征聚合。在多个数据集上的实验结果证明了GSAT模型的有效性、能量效率和鲁棒性。
2022-09-05 cs.LG cs.NE
A Time-to-first-spike Coding and Conversion Aware Training for Energy-Efficient Deep Spiking Neural Network Processor Design
Korea University(高丽大学)
在本文中,我们提出了一种节能的SNN架构,它可以无缝运行深度脉冲神经网络(SNN),提高准确性。首先,我们提出了一种转换感知训练(CAT),以减少ANN到SNN的转换损失,而无需硬件实现开销。在建议的CAT,激活函数开发模拟SNN神经网络训练过程中,有效地利用,以减少转换后的数据表示错误。基于CAT技术,我们还提出了一个时间到第一个尖峰编码,允许轻量级对数计算,利用尖峰时间信息。SNN处理器的设计,支持所提出的技术已实现使用28纳米CMOS工艺。当运行具有5位对数权重的VGG-16时,处理器分别实现了91.7%,67.9%和57.4%的前1精度,推理能量为486.7uJ,503.6uJ和1426 uJ,以处理CIFAR-10,CIFAR-100和Tiny-ImageNet。
2022-08-09 cs.LG cs.NE
Spiking Denoising Diffusion Probabilistic Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));North Carolina State University(北卡罗来纳州立大学);Renmin University of China(中国人民大学)
本文提出脉冲去噪扩散概率模型SDDPM,通过纯脉冲U-Net架构在仅4个时间步内实现高效低能耗生成,在CIFAR-10和CelebA上显著超越现有SNN生成模型,并引入阈值引导策略进一步提升性能。
2023-12-05 cs.CV cs.NE
Faster and Stronger: When ANN-SNN Conversion Meets Parallel Spiking Calculation
Peking University(北京大学);China Mobile Research Institute(中国移动研究院)
提出一种结合并行脉冲计算与ANN-SNN转换的新框架,建立数学映射并验证无损排序特性,配合误差校准实现超低延迟高效转换,性能显著。
2025-05-26 cs.AI cs.CV cs.NE
Spiking Synaptic Penalty: Appropriate Penalty Term for Energy-Efficient Spiking Neural Networks
AISIN SOFTWARE(爱信软件);Tokyo Research Center, AISIN(爱信东京研究中心)
本文提出一种在训练目标中直接加入脉冲活动惩罚项的方法,在不修改网络架构的前提下降低脉冲神经网络能耗,并通过图像分类实验验证其能缓解能量与准确率的权衡。
2023-02-03 cs.LG cs.NE
SpikeVoice: High-Quality Text-to-Speech Via Efficient Spiking Neural Network
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出SpikeVoice,首个基于脉冲神经网络的文本到语音合成模型,通过引入STSA机制解决“部分时间依赖”问题,在四种中英文数据集上以仅10.5%的ANN能耗取得与ANN相当的性能。
2024-07-17 cs.LG cs.NE
An Efficient Approach to Boosting Performance of Deep Spiking Network Training
Seoul National University(首尔国立大学);Stanford University(斯坦福大学)
如今,深度学习在机器学习领域占据主导地位,在各个应用领域具有最先进的性能。最近,脉冲神经网络(SNN)已经吸引了大量的关注,特别是由于它们的功率效率,这可能使我们能够实现适合实时/移动应用的低功耗深度学习引擎。然而,实现基于SNN的深度学习仍然具有挑战性,特别是通过误差反向传播对SNN进行基于梯度的训练。我们不能简单地传播错误,通过SNN在传统的方式,因为SNN的属性,处理离散数据的一系列的形式。因此,大多数以前的研究采用了一种变通方法,即首先训练传统的加权和深度神经网络,然后将学习权重映射到训练中的SNN,而不是直接训练SNN参数。为了消除这种解决方案,最近提出了一类新的SNN,称为深度尖峰网络(DSN),它可以通过随机梯度下降的误差反向传播直接训练(无需传统深度网络的映射)。在本文中,我们通过在各种条件下进行的各种实验表明,反向路径上的膜电位的初始化是DSN训练中的重要步骤。此外,我们提出了一种简单有效的方法,可以通过控制反向路径上的初始膜电位来改善DSN训练。在我们的实验中,采用所提出的方法可以提高DSN训练在收敛时间和准确性方面的性能。
2019-02-27 cs.LG cs.NE
InfLoR-SNN: Reducing Information Loss for Spiking Neural Networks
Intelligent Science & Technology Academy of CASIC(中国航天科工集团智能科学技术研究院);Chongqing University(重庆大学)
针对SNN硬重置与脉冲量化导致的信息损失,本文提出Soft Reset机制和膜电位整流器MPR,并在静态与动态数据集上验证了性能提升。
2023-08-18 cs.CV cs.NE
SPENSER: Towards a NeuroEvolutionary Approach for Convolutional Spiking Neural Networks
University of Coimbra(科英布拉大学)
本文提出SPENSER,一个基于DENSER的神经进化框架,用于自动生成卷积脉冲神经网络,在MNIST和Fashion-MNIST数据集上分别达到99.42%和91.65%的测试准确率。
2023-05-18 cs.LG cs.NE
DPSNN: A Differentially Private Spiking Neural Network with Temporal Enhanced Pooling
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出差分隐私脉冲神经网络DPSNN,将差分隐私与SNN结合,并设计时间增强池化TEP方法以在强隐私保护下保持高性能。
2023-04-11 cs.AI cs.LG cs.NE
DIET-SNN: Direct Input Encoding With Leakage and Threshold Optimization in Deep Spiking Neural Networks
Purdue University(普渡大学)
生物启发的脉冲神经网络(SNN),与异步二进制信号(或尖峰)随时间分布,可以潜在地导致更高的计算效率上的事件驱动的硬件。最先进的SNN遭受高推理延迟,这是由低效的输入编码和神经元参数的次优设置(激发阈值和膜泄漏)引起的。我们提出了DIET-SNN,这是一种低延迟的深度尖峰网络,使用梯度下降进行训练,以优化膜泄漏和触发阈值以及其他网络参数(权重)。SNN的每一层的膜泄漏和阈值通过端到端反向传播进行优化,以在减少延迟的情况下实现有竞争力的准确性。图像的模拟像素值直接应用于DIET-SNN的输入层,而无需转换为尖峰序列。第一卷积层被训练为将输入转换为尖峰,其中泄漏积分和激发(LIF)神经元对加权输入进行积分,并且当膜电位越过训练的激发阈值时生成输出尖峰。经过训练的膜泄漏控制输入信息的流动,并衰减不相关的输入,以增加网络的卷积层和密集层中的激活稀疏度。减少的延迟与高激活稀疏性相结合,大大提高了计算效率。我们在VGG和ResNet架构上对CIFAR和ImageNet数据集的图像分类任务进行了DIET-SNN评估。我们在ImageNet数据集上以5个时间步(推理延迟)实现了69%的前1准确率,计算能量比等效的标准ANN少12倍。此外,与其他最先进的SNN模型相比,DIET-SNN的推理速度快20- 500倍。
2020-12-02 cs.LG cs.NE stat.ML
Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks
脉冲神经网络(SNN)是由脉冲神经元组成的生物学启发的人工神经网络(ANN),用于处理异步离散信号。虽然在神经形态硬件上的功耗和推理速度更有效,但由于离散性,SNN通常难以直接从头开始训练尖峰。作为替代方案,许多努力已经致力于通过从ANN复制权重并调整SNN中神经元的尖峰阈值电位来将常规ANN转换为SNN。研究人员设计了新的SNN架构和转换算法来减少转换误差。然而,一个有效的转换应该解决SNN和ANN架构之间的差异与一个有效的近似\DSK{of}的损失函数,这是在该领域的缺失。在这项工作中,我们分析了转换误差递归减少逐层求和,并提出了一种新的战略管道,通过结合阈值平衡和软复位机制的权重转移到目标SNN。这种流水线使得转换后的SNN和传统的ANN之间几乎没有精度损失,只有典型SNN仿真时间的$\sim1/10$。我们的方法有希望植入到嵌入式平台上,更好地支持具有有限能量和内存的SNN。
2021-02-28 cs.NE stat.ML
Fast and Efficient Information Transmission with Burst Spikes in Deep Spiking Neural Networks
Seoul National University(首尔国立大学)
脉冲神经网络(SNN)由于其能量有效的计算能力而被认为是最有前途的人工神经网络之一。最近,将训练的深度神经网络转换为SNN已经提高了深度SNN的准确性。然而,大多数以前的研究都没有取得令人满意的结果,在推理速度和能源效率。在本文中,我们提出了一种快速和节能的信息传输方法与突发尖峰和混合神经编码方案在深SNN。实验结果表明,本文提出的方法可以提高推理能量效率,缩短推理延迟.
2019-02-10 cs.LG cs.NE q-bio.NC
Optimal ANN-SNN Conversion for High-accuracy and Ultra-low-latency Spiking Neural Networks
脉冲神经网络(SNN)以其低功耗、快速推理等特点在神经形态硬件上得到了广泛的关注。作为获得深度SNN的最有效方法,ANN-SNN转换在大规模数据集上取得了与ANN相当的性能。尽管如此,它需要很长的时间步长来匹配SNN的发射率到ANN的激活。因此,转换后的SNN遭受严重的性能退化问题与短的时间步长,这阻碍了SNN的实际应用。本文从理论上分析了ANN-SNN的转换误差,推导了SNN的激活函数估计。然后,我们提出了量化限幅地板移位激活函数来代替源神经网络中的ReLU激活函数,它可以更好地逼近SNN的激活函数。我们证明了SNN和ANN之间的预期转换误差为零,使我们能够实现高精度和超低延迟的SNN。我们在CIFAR-10/100和ImageNet数据集上评估了我们的方法,并表明它在准确性和时间步长方面都优于最先进的ANN-SNN和直接训练的SNN。据我们所知,这是第一次探索具有超低延迟(4个时间步长)的高性能ANN-SNN转换。代码可以在https://github.com/putshua/SNN\_conversion\_QCFS上找到
2023-03-08 cs.NE
Sparse Distributed Memory using Spiking Neural Networks on Nengo
我们提出了一个脉冲神经网络(SNN)的稀疏分布式存储器(SDM)的Nengo框架上实现的。我们的工作基于Furber等人在2004年的工作,使用N/M码实现SDM。作为SDM设计的一个组成部分,我们在Nengo上使用SNN实现了相关矩阵存储器(CMM)。我们的SNN实现在Nengo上使用Leaky Integrate and Fire(LIF)尖峰神经元模型。我们的目标是了解如何以及SNN为基础的SDM执行相比,传统的SDM。为此,我们在Nengo上模拟了传统的和基于SNN的SDM和CMM。我们观察到基于SNN的模型与传统模型的性能相似。为了评估不同SNN的性能,我们使用自适应LIF,尖峰整流线性单元和Izhikevich模型重复实验,并获得了类似的结果。我们的结论是,它确实是可行的,以开发某些类型的联想记忆使用尖峰神经元的记忆能力和其他功能是类似的性能没有SNN。最后,我们已经实现了一个应用程序,MNIST图像,编码的N-M代码,与他们的标签和存储在SNN为基础的SDM。
2021-12-03 cs.IR cs.NE