Spiking Vocos: An Energy-Efficient Neural Vocoder
Xi'an Jiaotong University(西安交通大学);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);Chinese Academy of Sciences(中国科学院)
提出基于Vocos框架的节能脉冲神经声码器Spiking Vocos,通过Spiking ConvNeXt模块、自架构蒸馏策略及时间偏移模块缓解信息瓶颈并弥合性能差距,在仅消耗14.7%能量的情况下实现与ANN模型相当的语音合成性能。
2025-09-16 cs.LG
SPACE: SPike-Aware Consistency Enhancement for Test-Time Adaptation in Spiking Neural Networks
Department of Electrical Engineering, City University of Hong Kong(香港城市大学电子工程系)
本文提出SPACE,首个面向SNNs的无源单实例测试时自适应方法,通过增强样本间脉冲特征一致性实现鲁棒适应,在CNN、Transformer和ConvLSTM上优于现有ANN方法且计算成本更低。
2025-09-19 cs.LG
SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks
Sun Yat-sen University(中山大学)
提出SNN2ANN框架,通过权重共享和脉冲映射单元在ANN分支上训练SNN,并设计自适应阈值调整算法,实现快速、内存高效的SNN训练,在多个基准数据集上达到与基于脉冲BP相当的精度。
2022-06-19 cs.CV cs.LG cs.NE
Spiking Neural Networks -- Part I: Detecting Spatial Patterns
脉冲神经网络(SNN)是生物启发的机器学习模型,其建立在以事件驱动的在线方式处理二进制和稀疏脉冲信号的动态神经元模型上。SNN可以在类脑计算平台上实现,这些平台正在成为用于学习和推理的节能协处理器。这是一系列三篇论文中的第一篇,通过关注模型,算法和应用程序向工程师介绍SNN。在这第一篇论文中,我们首先介绍了用于传统人工神经网络(ANN)和SNN的神经模型。然后,我们回顾了SNN的学习算法和应用程序,旨在通过检测或生成速率编码的尖峰信号中的空间模式来模仿ANN的功能。我们专门讨论ANN到SNN的转换和神经采样。最后,我们通过实验验证了SNN检测和生成空间模式的能力。
2020-12-09 cs.LG cs.NE eess.SP
Temporal Misalignment in ANN-SNN Conversion and Its Mitigation via Probabilistic Spiking Neurons
MBZUAI(穆罕默德·本·扎耶德人工智能大学);City University of Macau(澳门城市大学);Jilin University(吉林大学)
该研究发现ANN-SNN转换中的时间错位现象,提出生物合理的两阶段概率脉冲神经元方法,经多数据集多架构实验验证,取得SNN转换性能的当前最优结果。
2025-02-21 cs.AI cs.CV cs.LG
Accurate and Energy-Efficient Classification with Spiking Random Neural Network: Corrected and Expanded Version
Assiut University(艾斯尤特大学);Polish Academy of Sciences(波兰科学院);Imperial College London(帝国理工学院)
在过去的几年中,基于人工神经网络(ANN)的技术在与计算机视觉、音频识别和自然语言处理相关的大多数问题中占据了主导地位,从而导致全球所有领先技术公司的强烈工业采用。历史上推迟大规模采用ANN的主要障碍之一是与训练和测试(部署)它们相关的巨大计算和功耗成本。与此同时,类脑计算平台最近取得了显着的性能,以高吞吐量和非常低的功耗运行更逼真的脉冲神经网络,使其成为人工神经网络的自然替代品。在这里,我们建议使用随机神经网络(RNN),一个脉冲神经网络与理论和实践的吸引力属性,作为一个通用的分类器,可以匹配的分类能力的人工神经网络的一些任务,同时享受脉冲神经网络的所有功能。这在许多现实世界的分类数据集上得到了证明。
2019-06-01 cs.LG cs.NE stat.ML
Convolutional Spiking Neural Networks for Spatio-Temporal Feature Extraction
Amirkabir University of Technology(阿米卡比尔理工大学);Chalmers University of Technology(查尔姆斯理工大学)
脉冲神经网络(SNN)由于其基于事件的性质而可以用于低功耗和嵌入式系统(例如新兴的神经形态芯片)中。此外,与传统的人工神经网络(ANN)相比,它们具有计算成本低的优点,同时保留了ANN的属性。然而,卷积脉冲神经网络和其他类型的SNN的层中的时间编码还有待研究。在本文中,我们提供了深入了解时空特征提取的卷积SNN的实验设计,利用这一属性。浅层卷积SNN的性能优于最先进的时空特征提取器方法,例如C3 D、ConvLstm和类似网络。此外,我们提出了一种新的深度尖峰架构来解决现实世界的问题(特别是分类任务),与NMNIST(99.6%),DVS-CIFAR 10(69.2%)和DVS-Gesture(96.7%)以及UCF-101(42.1%)和HMDB-51(21.5%)数据集上的ANN方法相比,该架构具有更好的性能。还值得注意的是,训练过程是基于本文中解释的时空反向传播的变化来实现的。
2021-01-18 cs.CV cs.LG
FAS: Fast ANN-SNN Conversion for Spiking Large Language Models
Sichuan University(四川大学);Royal Melbourne Institute of Technology University(皇家墨尔本理工大学)
针对脉冲 LLM 训练与转换成本高、性能下降的问题,本文提出两阶段快速 ANN-SNN 转换方法 FAS,通过全参数微调和由粗到细校准实现更优精度、更低延迟与能耗。
2025-05-14 cs.AI cs.CL cs.LG
Hybrid Spiking Neural Network Fine-tuning for Hippocampus Segmentation
Ohio University(俄亥俄大学);University of Kentucky(肯塔基大学);Wright State University(莱特州立大学)
在过去的十年中,人工神经网络(ANN)取得了巨大的进步,部分原因是注释数据的可用性增加。然而,人工神经网络通常需要大量的功率和内存消耗才能发挥其全部潜力。脉冲神经网络(SNN)由于其稀疏性,最近已经成为ANN的低功耗替代方案。然而,SNN不像ANN那样容易训练。在这项工作中,我们提出了一种混合SNN训练计划,并将其应用于分割人类大脑皮层磁共振图像。我们的方法将ANN-SNN转换作为初始化步骤,并依赖于基于尖峰的反向传播来微调网络。与转换和直接训练方案相比,我们的方法在分割精度和训练效率方面都有优势。实验证明了该模型在实现设计目标方面的有效性。
2023-02-14 cs.AI cs.CV cs.LG
RMP-SNN: Residual Membrane Potential Neuron for Enabling Deeper High-Accuracy and Low-Latency Spiking Neural Network
Purdue University(普渡大学)
脉冲神经网络(SNN)作为第三代人工神经网络,能够实现低功耗的事件驱动数据分析,近年来引起了广泛的研究兴趣。图像识别任务的最佳性能SNN是通过将训练的模拟神经网络(ANN)(由整流线性单元(ReLU)组成)转换为由具有“适当”激发阈值的积分和激发神经元组成的SNN来获得的。与原始ANN提供的准确度相比,转换后的SNN通常会导致准确度损失,并且需要相当数量的推理时间步长来实现最佳准确度。我们发现,转换后的SNN的性能下降源于使用“硬复位”尖峰神经元,被驱动到固定的复位电位,一旦其膜电位超过点火阈值,导致信息丢失在SNN推理。我们提出了ANN-SNN转换使用“软复位”尖峰神经元模型,称为残余膜电位(RMP)尖峰神经元,它保留了“残余”膜电位高于阈值在点火时刻。我们使用RMP神经元在具有挑战性的数据集上证明了VGG-16,ResNet-20和ResNet-34 SNN的近无损ANN-SNN转换,包括CIFAR-10(93.63% top-1),CIFAR-100(70.93% top-1)和ImageNet(73.09% top-1准确度)。我们的研究结果还表明,RMP-SNN超越了转换后的SNN提供的最佳推理准确性,其中“硬复位”尖峰神经元在网络架构和数据集上使用的推理时间步长减少了2-8倍。
2020-04-01 cs.CV cs.LG cs.NE
ReSpike: Residual Frames-based Hybrid Spiking Neural Networks for Efficient Action Recognition
Yale University(耶鲁大学)
ReSpike提出ANN与SNN混合框架,将视频分解为关键帧和残差帧分别处理空间与时间信息,并引入多尺度交叉注意力融合特征,在多个动作识别基准上大幅超越SNN方法并实现更优的精度-能耗平衡。
2024-09-03 cs.CV cs.LG
Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks
CWI(CWI研究所);Stichting IMEC Netherlands, Holst Centre(荷兰IMEC基金会荷尔斯特中心);Univ of Amsterdam(阿姆斯特丹大学);Rijksuniversiteit Groningen(格罗宁根大学)
受生物神经元更详细建模的启发,脉冲神经网络(SNN)已经被研究为更生物学上合理的和潜在的更强大的神经计算模型,并且还具有提取生物神经元能量效率的目的;然而,与经典人工神经网络(ANN)相比,这种网络的性能仍然不足。在这里,我们展示了一种新的代理梯度与可调和自适应尖峰神经元的递归网络相结合,如何在时域中具有挑战性的基准上为SNN提供最先进的技术,如语音和手势识别。这也超过了标准经典循环神经网络(RNN)的性能,并接近最好的现代ANN。由于这些SNN表现出稀疏尖峰,我们表明,与具有可比性能的RNN相比,它们理论上的计算效率高出一到三个数量级。总之,这将SNN定位为AI硬件实现的有吸引力的解决方案。
2021-03-12 cs.LG cs.NE
Wearable-based Human Activity Recognition with Spatio-Temporal Spiking Neural Networks
Yale University(耶鲁大学)
我们研究了人类活动识别(HAR)任务,该任务根据可穿戴传感器的时间序列数据预测用户的日常活动。近年来,研究人员使用端到端的人工神经网络(ANN)来提取HAR中的特征并进行分类。然而,人工神经网络对可穿戴设备造成巨大的计算负担,并且缺乏时间特征提取。在这项工作中,我们利用脉冲神经网络(SNN)--一种受生物神经元启发的架构--来完成HAR任务。SNN允许时空提取特征,并享受低功耗计算与二进制尖峰。我们在三个带有SNN的HAR数据集上进行了广泛的实验,证明SNN在准确性方面与ANN不相上下,同时减少了高达94%的能耗。该代码可在https://github.com/Intelligent-Computing-Lab-Yale/SNN_HAR上公开获取
2022-11-14 cs.LG cs.NE eess.SP
Optimal ANN-SNN Conversion for Fast and Accurate Inference in Deep Spiking Neural Networks
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
脉冲神经网络(SNNs)作为一种基于生物启发的高效节能神经网络,受到了研究者和工业界的广泛关注。训练深度SNN的最有效方法是通过ANN-SNN转换。然而,转换通常遭受精度损失和推理时间长,这阻碍了SNN的实际应用。本文从理论上分析了ANN-SNN的转换,并给出了最优转换的充分条件。为了更好地关联ANN-SNN并获得更高的准确性,我们提出了速率规范层来取代源ANN训练中的ReLU激活函数,从而实现从训练的ANN到SNN的直接转换。此外,我们提出了一个最佳的拟合曲线来量化源ANN的激活值和目标SNN的实际发射率之间的拟合。我们表明,推理时间可以减少通过优化修改后的人工神经网络的拟合曲线的上限,以实现快速推理。我们的理论可以解释现有的快速推理工作,并得到更好的结果。实验结果表明,该方法实现了VGG-16,PreActResNet-18和更深的结构的近损耗的转换。而且,它可以达到8.6倍的速度下,0.265倍的能量消耗的典型方法的推理性能。该代码可在https://github.com/DingJianhao/OptSNNConvertion-RNL-RIL上获得。
2021-05-25 cs.AI cs.CV cs.LG
SPENSER: Towards a NeuroEvolutionary Approach for Convolutional Spiking Neural Networks
University of Coimbra(科英布拉大学)
本文提出SPENSER,一个基于DENSER的神经进化框架,用于自动生成卷积脉冲神经网络,在MNIST和Fashion-MNIST数据集上分别达到99.42%和91.65%的测试准确率。
2023-05-18 cs.LG cs.NE
Optimized Potential Initialization for Low-latency Spiking Neural Networks
Peking University(北京大学)
脉冲神经网络(SNN)由于具有低功耗、生物相容性和对抗鲁棒性等特点而受到广泛关注。训练深度SNN的最有效方法是通过ANN到SNN的转换,这在深度网络结构和大规模数据集上产生了最佳性能。然而,在准确性和延迟之间存在权衡。为了达到原始ANN的高精度,需要很长的模拟时间来匹配尖峰神经元的放电率与模拟神经元的激活值,这阻碍了SNN的实际应用。在本文中,我们的目标是以极低的延迟(少于32个时间步)实现高性能的转换SNN。我们首先从理论上分析ANN到SNN的转换,并表明缩放阈值确实起到了与权重归一化类似的作用。我们没有以模型容量为代价引入促进ANN到SNN转换的约束条件,而是通过优化初始膜电位来减少每层中的转换损失。此外,我们证明了膜电位的最佳初始化可以实现预期的无误差ANN到SNN转换。我们在CIFAR-10,CIFAR-100和ImageNet数据集上评估了我们的算法,并使用更少的时间步长实现了最先进的准确性。例如,我们在CIFAR-10上以16个时间步长达到了93.38%的top-1准确度。此外,我们的方法可以应用到其他ANN-SNN转换方法,并显着提高性能时,时间步长很小。
2022-02-03 cs.CV cs.LG cs.NE
Spiking Neural Network Decision Feedback Equalization for IM/DD Systems
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出带判决反馈结构的SNN均衡器,并在多参数IM/DD链路中验证其优于线性及ANN均衡器。
2023-04-27 cs.LG cs.NE eess.SP
DashNet: A Hybrid Artificial and Spiking Neural Network for High-speed Object Tracking
Tsinghua University(清华大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
面向计算机科学的人工神经网络(ANN)通过强大的特征提取和高精度的数据运算在各种场景中取得了巨大的成功。然而,众所周知,ANN通常遭受昂贵的处理资源和成本。相比之下,面向神经科学的脉冲神经网络(SNN)是有前途的能量有效的信息处理受益于事件驱动的尖峰活动,然而,他们还没有被证明在实际复杂的任务取得令人印象深刻的有效性。如何结合这两种模型族的优点是一个值得研究的问题。需要解决两个重大挑战:(1)缺乏包括面向ANN(帧)和面向SNN(尖峰)信号资源的基准数据集;(2)联合处理来自ANN的同步激活和来自SNN的事件驱动尖峰的困难。在这项工作中,我们提出了一种混合范式,命名为DashNet,以证明在单个模型中结合ANN和SNN的优势。建立了一个模拟器和基准数据集NFS-DAVIS,并设计了一个时间互补滤波器(TCF)和注意力模块来分别解决上述两个挑战。通过这种方式,DashNet在神经形态芯片上实现了破纪录的2083 FPS速度,并在NFS-DAVIS和PRED 18数据集上实现了最佳跟踪性能。据我们所知,DashNet是第一个可以在混合范式中集成和处理ANN和SNN的框架,它提供了一种新的解决方案,可以实现高速对象跟踪的有效性和效率。
2019-09-15 cs.CV cs.LG
Spiking Deep Residual Network
Zhejiang University(浙江大学)
脉冲神经网络(SNN)由于其生物相容性而受到广泛关注。SNN理论上至少具有与传统人工神经网络(ANN)相同的计算能力。它们具有实现能源效率的潜力,同时保持与深度神经网络(DNN)相当的性能。然而,要训练一个很深的SNN仍然是一个很大的挑战。在本文中,我们提出了一种有效的方法来构建深度残差网络(ResNet)的尖峰版本。ResNet被认为是一种最先进的卷积神经网络(CNN)。我们采用将训练的ResNet转换为尖峰神经元网络的想法,称为尖峰ResNet(S-ResNet)。我们提出了一个捷径转换模型,以适当地缩放连续值激活,以匹配SNN中的放电率,以及一个补偿机制,以减少离散化引起的误差。实验结果表明,与最先进的SNN方法相比,所提出的Spiking ResNet在CIFAR-10,CIFAR-100和ImageNet 2012上实现了最佳性能。我们的工作是第一次构建深度超过40的SNN,其性能与大规模数据集上的ANN相当。
2020-06-03 cs.CV cs.LG cs.NE
A Comprehensive Analysis on Adversarial Robustness of Spiking Neural Networks
Purdue University(普渡大学)
在这个机器学习模型的时代,它们的功能正受到对抗攻击的威胁。面对这种使人工神经网络健壮的斗争,找到一个能抵御这些攻击的模型是非常重要的。在这项工作中,我们第一次全面分析了更生物合理的网络,即脉冲神经网络(SNN)在最先进的对抗测试下的行为。针对不同类型的单步和多步FGSM(Fast Gradient Sign Method,快速梯度符号法)攻击,在白盒和黑盒两种设置下,利用CIFAR-10数据集对传统VGG-9人工神经网络和等效尖峰网络进行了准确性下降的比较研究。我们证明,SNN往往表现出更多的弹性相比,人工神经网络下的黑盒攻击的情况。此外,我们发现SNN的鲁棒性在很大程度上取决于相应的训练机制。我们观察到,在几个白盒和黑盒场景中,通过基于尖峰的反向传播训练的SNN比通过ANN到SNN转换规则获得的SNN更具有对抗性。最后,我们还提出了一个简单而有效的框架,用于从SNN中制作对抗攻击。我们的研究结果表明,按照我们提出的方法从SNN制作的攻击比从ANN制作的攻击要强大得多。
2019-05-07 cs.LG cs.NE eess.SP
Common-Mode Errors Limit Low-Timestep Deep Spiking Q-Networks
Peking University(北京大学)
针对低时间步深度脉冲Q网络性能退化问题,通过误差分解发现共模误差是主因,提出CMC-DSQN用辅助ANN补偿共模误差,在Atari和MiniAtar上显著提升性能。
2026-10-07 cs.LG cs.NE
Converting Artificial Neural Networks to Spiking Neural Networks via Parameter Calibration
University of Electronic Science and Technology of China(电子科技大学);Yale University(耶鲁大学);Harvard University(哈佛大学)
脉冲神经网络(SpikingNeuralNetwork,SNN)起源于生物学中的神经行为,被认为是下一代神经网络。传统上,SNN可以通过从预先训练的人工神经网络(ANN)转换来获得,通过用尖峰神经元替换非线性激活而不改变参数。在这项工作中,我们认为,简单地复制和粘贴ANN的权重到SNN不可避免地导致激活失配,特别是对于用批量归一化(BN)层训练的ANN。为了解决激活失配问题,我们首先通过将局部转换误差分解为限幅误差和地板误差来提供理论分析,然后使用二阶分析定量测量该误差如何在整个层中传播。受理论结果的启发,我们提出了一套逐层参数校准算法,该算法调整参数以最小化激活失配。在现代架构和大规模任务(包括ImageNet分类和MS COCO检测)上对所提出的算法进行了广泛的实验。我们证明,我们的方法可以处理SNN转换与批量归一化层,并有效地保持高精度,即使在32个时间步。例如,在转换VGG-16和BN层时,我们的校准算法可以将精度提高高达65%。
2022-05-06 cs.LG cs.NE
Keys to Accurate Feature Extraction Using Residual Spiking Neural Networks
University of Strathclyde(思克莱德大学);Air Force Research Laboratory(美国空军研究实验室)
脉冲神经网络(SNN)由于其时间处理能力和在神经形态硬件中的能量高效实现,已经成为传统人工神经网络(ANN)的有趣替代方案。然而,训练SNN所涉及的挑战限制了它们在准确性方面的性能,从而限制了它们的应用。因此,改进学习算法和神经结构以获得更准确的特征提取是SNN研究的当前优先事项之一。在本文中,我们提出了现代扣球体系结构的关键组成部分的研究。我们设计了一个成功的剩余网络架构的尖峰版本,并提供了一个深入的研究尖峰剩余连接的可能实现。这项研究表明,根据用例,最佳剩余连接实现可能会有所不同。此外,我们经验比较不同的技术在图像分类数据集从最佳性能的网络。我们的研究结果提供了一个最先进的SNN设计指南,它允许在尝试构建最佳视觉特征提取器时做出明智的选择。最后,我们的网络在CIFAR-10(94.14%)和CIFAR-100(74.65%)数据集中优于以前的SNN架构,并与DVS-CIFAR 10(72.98%)中的最新技术水平相匹配,参数比以前的最新技术水平少,并且不需要ANN-SNN转换。代码可在https://github.com/VicenteAlex/Spiking_ResNet获得
2022-06-23 cs.CV cs.LG
Combining Spiking Neural Network and Artificial Neural Network for Enhanced Image Classification
University of Tsukuba(筑波大学)
随着深度神经网络的不断创新,更接近生物大脑突触的脉冲神经网络(SNN)因其低功耗而引起关注。然而,对于连续数据值,它们必须采用编码过程将值转换为脉冲序列。因此,它们尚未超过直接处理此类值的人工神经网络(ANN)的性能。为此,我们将人工神经网络和SNN结合起来,构建了多功能的混合神经网络(HNN),以提高相关性能。为了使这种性能合格,MNIST和CIFAR-10图像数据集被用于各种分类任务,其中训练和编码方法发生了变化。此外,我们提出了同时和单独的方法来训练人工层和尖峰层,考虑到每种编码方法。我们发现,以牺牲尖峰层为代价增加人工层的数量可以提高HNN的性能。对于像MNIST这样简单的数据集,通过使用重复编码和单独学习很容易达到与ANN相同的性能。然而,对于更复杂的任务,发现使用高斯编码和同时学习来提高HNN的准确性,同时利用较少数量的人工层。
2021-02-28 cs.CV cs.LG cs.NE
Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics
Purdue University(普渡大学)
基于事件的相机最近表现出巨大的潜力,高速运动估计,由于他们的能力,捕捉时间丰富的信息异步。脉冲神经网络(SNN)具有神经启发的事件驱动处理,可以有效地处理这种异步数据,而泄漏积分和激发(LIF)等神经元模型可以跟踪输入中包含的典型定时信息。SNN通过在神经元记忆中保持动态状态来实现这一点,保留重要信息,同时随着时间的推移忘记冗余数据。因此,我们认为,与类似大小的模拟神经网络(ANN)相比,SNN将允许在顺序回归任务上具有更好的性能。然而,深SNN难以训练,这是由于在后面的层处消失的尖峰。为此,我们提出了一个自适应的全尖峰框架与可学习的神经元动力学,以减轻尖峰消失的问题。我们利用基于代理梯度的时间反向传播(BPTT)从头开始训练我们的深度SNN。我们验证了我们的方法的任务上的多车辆立体事件相机(MVSEC)数据集和DSEC-Flow数据集的光流估计。我们在这些数据集上的实验显示,与最先进的ANN相比,平均端点误差(AEE)平均降低了13%。我们还探索了几个缩小规模的模型,并观察到我们的SNN模型始终优于类似大小的ANN,AEE降低了10%-16%。这些结果证明了SNN对于较小模型的重要性及其在边缘的适用性。在效率方面,我们的SNN在网络参数(48.3倍)和计算能量(10.2倍)方面提供了大量节省,同时与最先进的ANN实现相比,EPE降低了约10%。
2023-03-14 cs.CV cs.LG
AutoST: Training-free Neural Architecture Search for Spiking Transformers
North Carolina State University(北卡罗来纳州立大学)
针对现有脉冲Transformer架构性能欠佳、手动设计耗时的问题,提出免训练NAS方法AutoST,以FLOPs为性能指标,可快速搜索高性能架构,在多数据集上表现优于现有SNN架构。
2023-12-14 cs.CV cs.LG cs.NE
LAS: Loss-less ANN-SNN Conversion for Fully Spike-Driven Large Language Models
Collage of Computer Science, Sichuan University(计算机科学学院,四川大学)
本文提出 LAS 无损 ANN-SNN 转换框架,通过新型神经元与脉冲等价 Transformer 组件构建全脉冲驱动 LLM,并在多个语言及视觉-语言模型上验证其无损性能。
2025-05-14 cs.CL cs.LG
A Time-to-first-spike Coding and Conversion Aware Training for Energy-Efficient Deep Spiking Neural Network Processor Design
Korea University(高丽大学)
在本文中,我们提出了一种节能的SNN架构,它可以无缝运行深度脉冲神经网络(SNN),提高准确性。首先,我们提出了一种转换感知训练(CAT),以减少ANN到SNN的转换损失,而无需硬件实现开销。在建议的CAT,激活函数开发模拟SNN神经网络训练过程中,有效地利用,以减少转换后的数据表示错误。基于CAT技术,我们还提出了一个时间到第一个尖峰编码,允许轻量级对数计算,利用尖峰时间信息。SNN处理器的设计,支持所提出的技术已实现使用28纳米CMOS工艺。当运行具有5位对数权重的VGG-16时,处理器分别实现了91.7%,67.9%和57.4%的前1精度,推理能量为486.7uJ,503.6uJ和1426 uJ,以处理CIFAR-10,CIFAR-100和Tiny-ImageNet。
2022-08-09 cs.LG cs.NE
A Spiking Neural Network for Image Segmentation
Applied Brain Research, Inc(应用大脑研究公司);Army Research Lab(陆军研究实验室);University of Waterloo(滑铁卢大学)
我们试图研究计算机视觉的类脑计算的可扩展性,目的是在降低功耗的同时复制计算机视觉任务的非神经形态性能。我们使用Nengo框架将深度人工神经网络(ANN)架构U-Net转换为脉冲神经网络(SNN)架构。基于速率和基于尖峰的模型都经过训练和优化,以实现基准性能和功率,使用由细胞显微镜图像组成的ISBI 2D EM分割数据集的修改版本。我们提出了一种分区方法来优化芯片间通信,以提高速度和能源效率时,部署多芯片网络的Loihi神经形态芯片。我们探讨了将Loihi神经元的放电率正则化以最小的精度损失和优化的能耗将ANN转换为SNN的优势。我们提出了一个基于百分位数的正则化损失函数来限制神经元的尖峰速率在期望的范围之间。SNN直接从相应的ANN转换而来,并使用相同数量的神经元和权重展示了与ANN类似的语义分割。然而,在英特尔Loihi神经形态芯片上实现的神经形态在在线运行时(一次一个图像)的能效比传统硬件(CPU、GPU)高出2倍以上。这些功率改进是在不牺牲网络的任务性能准确性的情况下实现的,并且所有权重(Loihi,CPU和GPU网络)都被量化为8位。
2021-06-16 cs.CV cs.LG cs.NE
Plug-and-Play Spiking Operators: Breaking the Nonlinearity Bottleneck in Spiking Transformers
IASM, Harbin Institute of Technology, China(哈尔滨工业大学人工智能研究所,中国);School of Artificial Intelligence, Jilin University, China(吉林大学人工智能学院,中国)
本文提出了一种插件式框架,通过将Transformer中的非线性运算分解为三个基本算子(除法、指数和ℓ2范数),并利用LIF神经元群体和轻量级位移缩放实现脉冲友好的近似,从而在不需微调的情况下支持常见的Transformer非线性运算。
2026-05-19 cs.AI cs.LG
Spiking Generative Adversarial Networks With a Neural Network Discriminator: Local Training, Bayesian Models, and Continual Meta-Learning
神经形态数据携带由尖峰编码的时空模式中的信息。因此,类脑计算中的中心问题是训练脉冲神经网络(SNN)以响应于给定的脉冲刺激来再现时空脉冲模式。大多数现有方法通过将每个输入分配给特定的期望输出尖峰序列来以确定性方式对SNN的输入-输出行为进行建模。相比之下,为了充分利用尖峰的时间编码能力,这项工作提出了训练SNN,以便匹配尖峰信号的分布,而不是单个尖峰信号。为此,本文介绍了一种新的混合体系结构,包括一个条件发生器,通过SNN实现,和一个神经网络,实现了一个传统的人工神经网络(ANN)。ANN的作用是在训练期间在遵循生成对抗网络(GANs)原理的对抗迭代学习策略中向SNN提供反馈。为了更好地捕捉多模态时空分布,所提出的方法-称为SpikeGAN -进一步扩展到支持贝叶斯学习的发电机的权重。最后,设置随时间变化的统计数据,提出了一个在线元学习变体的SpikeGAN。实验带来的优点,所提出的方法相比,现有的解决方案的基础上(静态)的信念网络和最大似然(或经验风险最小化)的见解。
2021-11-02 cs.LG cs.NE eess.SP
Solving the Spike Feature Information Vanishing Problem in Spiking Deep Q Network with Potential Based Normalization
Research Center for Brain-inspired Intelligence, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所类脑智能研究中心);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心)
脑启发脉冲神经网络(SNN)已成功应用于许多模式识别领域。基于深度结构的神经网络在图像分类、目标检测等感知任务中取得了显著的效果。然而,深度SNN在强化学习(RL)任务中的应用仍然是一个有待探索的问题。虽然之前已经有关于SNN和RL结合的研究,但大多数都集中在使用浅网络或使用ANN-SNN转换方法来实现尖峰深度Q网络(SDQN)的机器人控制问题。在这项工作中,我们从数学上分析了SDQN中尖峰信号特征消失的问题,并提出了一种基于势层归一化(pbLN)的方法来直接训练尖峰深度Q网络。实验结果表明,与现有的ANN-SNN转换方法和其他SDQN算法相比,所提出的pbLN尖峰深度Q网络(PL-SDQN)在Atari游戏任务上取得了更好的性能.
2022-06-08 cs.AI cs.LG cs.NE
Temporal Surrogate Back-propagation for Spiking Neural Networks
UC Santa Barbara(加州大学圣巴巴拉分校)
与人工神经网络(ANN)相比,脉冲神经网络(SNN)通常更节能,并且它们的工作方式与我们的大脑有很大的相似性。近年来,反向传播算法(BP)在人工神经网络的训练中显示出了强大的能力。然而,由于尖峰行为是不可微的,BP不能直接应用于SNN。尽管先前的工作展示了通过替代梯度或随机性在空间和时间方向上近似BP梯度的几种方法,但它们忽略了由每个步骤之间的重置机制引入的时间依赖性。在本文中,我们的目标是在理论上的完善和研究的影响,失踪项彻底。通过添加重置机制的时间依赖性,新算法对玩具数据集上的学习率调整更鲁棒,但在CIFAR-10等大型学习任务上没有表现出太大的改进。从经验上讲,缺少项的好处不值得额外的计算开销。在许多情况下,可以忽略缺失项。
2020-11-18 cs.LG cs.NE
High-performance deep spiking neural networks with 0.3 spikes per neuron
IBM Research Europe – Zurich(IBM欧洲研究院苏黎世分部);École polytechnique fédérale de Lausanne(洛桑联邦理工学院)
本文分析了TTFS网络的训练动力学,解决了梯度消失或爆炸问题,通过保证SNN与ANN训练轨迹等价的映射方法,训练出每神经元不到0.3个脉冲的深度SNN,在多个图像分类数据集上达到与ANN相同的性能,并适用于低延迟、抗噪声的硬件实现。
2023-11-20 cs.LG cs.NE
BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation
School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University, Shenzhen, China(电子工程学院,深圳研究生院,北京大学,深圳,中国);Peng Cheng Laboratory, Shenzhen, China(鹏城实验室,深圳,中国);Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学,深圳,中国)
BiSpikCLM是首个完全二进制脉冲MatMul-free因果语言模型,通过无Softmax脉冲注意力和脉冲感知对齐蒸馏实现高效训练,显著降低计算成本。
2026-04-14 cs.AI cs.LG cs.NE
Skip Connections in Spiking Neural Networks: An Analysis of Their Effect on Network Training
Univ. Polytechnique Hauts-de-France(上法兰西理工大学);Belmihoub Abd El Rahmane High School(贝勒米胡布·阿卜杜勒·拉赫曼高中);Ecole Nationale Supérieure d’Informatique(国家高等计算机学院);Forschungszentrum Jülich(于利希研究中心)
脉冲神经网络(SNN)由于其潜在的能量效率和其在生物系统中建模脉冲行为的能力而作为传统人工神经网络(ANN)的有前途的替代方案而受到关注。然而,SNN的训练仍然是一个具有挑战性的问题,需要新的技术来提高其性能。在本文中,我们研究了跳跃连接对SNN的影响,并提出了一种超参数优化技术,使模型从ANN适应SNN。我们证明,优化跳过连接的位置、类型和数量可以通过加快收敛速度和增加网络中的信息流来显着提高SNN的准确性和效率。我们的研究结果显示,在CIFAR-10-DVS和DVS 128手势数据集上,多个最先进模型的适应性平均提高了8%。
2023-03-23 cs.CV cs.LG cs.NE
Constructing Accurate and Efficient Deep Spiking Neural Networks with Double-threshold and Augmented Schemes
Tianjin University(天津大学);City University of Hong Kong(香港城市大学)
脉冲神经网络(SNN)被认为是克服当前挑战(例如人工神经网络(ANN)遇到的高功耗)的潜在候选者,然而在实际任务的识别精度方面,它们之间仍然存在差距。因此,最近引入了一种转换策略,通过将经过训练的ANN映射到SNN来弥合这一差距。然而,它仍然是不清楚的,在何种程度上获得SNN可以受益于从ANN的精度优势和高效率的尖峰为基础的计算范式。在本文中,我们提出了两个新的转换方法,即TerMapping和AugMapping。TerMapping是具有双阈值方案的典型阈值平衡方法的直接扩展,而AugMapping另外结合了一种新的增强尖峰方案,该方案采用尖峰系数来携带在一个时间步长发生的典型全或无尖峰的数量。我们基于MNIST,Fashion-MNIST和CIFAR 10数据集检查我们的方法的性能。实验结果表明,该方法能有效地提高转换后SNN的精度。更重要的是,与其他最先进的方法相比,所提出的AugMapping更有利于构建准确,快速和高效的深度SNN。因此,我们的研究提供了新的方法,进一步集成先进的技术在人工神经网络,以提高SNN的性能,这可能是非常有价值的应用开发与尖峰为基础的类脑计算。
2020-05-05 cs.LG cs.NE
Making a Spiking Net Work: Robust brain-like unsupervised machine learning
University of Technology Sydney(悉尼科技大学);Cuvos Pty. Ltd.(Cuvos私人有限公司);Queensland University of Technology(昆士兰科技大学)
在过去的十年中,对人工智能(AI)的兴趣激增几乎完全是由人工神经网络(ANN)的进步推动的。虽然人工神经网络为许多以前难以解决的问题提供了最先进的性能,但使用全局梯度下降需要大量数据集和计算资源来进行训练,这可能会限制其在现实世界领域的可扩展性。脉冲神经网络(SNN)是ANN的替代方案,其使用更多类似大脑的人工神经元,并且可以使用局部无监督学习来快速发现输入数据中的稀疏可识别特征。然而,SNN与动态稳定性作斗争,并且未能与ANN的准确性相匹配。在这里,我们展示了SNN如何克服文献中已经确定的许多缺点,包括为动态“消失尖峰问题”提供原则性的解决方案,优于所有现有的浅层SNN,并与ANN的性能相当。它使用无标记数据的无监督学习,仅使用1/50的训练时期,(标记的数据仅用于简单的线性读出层)。这一结果使得SNN成为一种可行的新方法,用于快速,准确,高效,可解释和可重新部署的无标记数据机器学习。
2022-09-01 cs.AI cs.CV cs.LG
Random Feature Spiking Neural Networks
School of Computation, Information and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑技术大学)
本文提出S-SWIM算法,通过随机特征方法改进SNNs训练,实现高效且可解释的端到端训练,提升时间序列预测精度。
2025-12-04 cs.LG cs.NE
Adversarially Robust Spiking Neural Networks Through Conversion
Graz University of Technology(格拉茨工业大学);Silicon Austria Labs(奥地利硅谷实验室)
针对脉冲神经网络(SNNs)对抗鲁棒性训练方法扩展性不足的问题,提出一种具有对抗鲁棒性的人工神经网络(ANN)到SNN转换算法,通过转换后微调优化阈值与权重,在多自适应攻击下实现了低延迟深度鲁棒SNN的可扩展最优性能。
2024-04-12 cs.AI cs.LG cs.NE
Sparse Spiking Gradient Descent
Imperial College London(帝国理工学院)
在类脑计算设备上仿真脉冲神经网络(SNN)由于其低能耗而受到越来越多的关注。最近的进展已经允许训练SNN到一个点,在准确性方面,它们开始与传统的人工神经网络(ANN)竞争,同时在神经形态硬件上运行时是节能的。然而,训练SNN的过程仍然基于最初为ANN开发的密集张量运算,其不利用SNN的时空稀疏性质。我们在这里提出了第一个稀疏SNN反向传播算法,它实现了与当前最先进的方法相同或更好的精度,同时速度更快,内存效率更高。我们展示了我们的方法在不同复杂度的真实数据集(Fashion-MNIST,Neuromophic-MNIST和Spiking Heidelberg Digits)上的有效性,在向后传递中实现了高达150倍的加速,并且内存效率提高了85%,而不会失去准确性。
2022-01-13 cs.ET cs.LG cs.NE
SpikeVoice: High-Quality Text-to-Speech Via Efficient Spiking Neural Network
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出SpikeVoice,首个基于脉冲神经网络的文本到语音合成模型,通过引入STSA机制解决“部分时间依赖”问题,在四种中英文数据集上以仅10.5%的ANN能耗取得与ANN相当的性能。
2024-07-17 cs.LG cs.NE
An Introduction to Probabilistic Spiking Neural Networks: Probabilistic Models, Learning Rules, and Applications
脉冲神经网络(SNN)是分布式可训练系统,其计算元件或神经元的特征在于内部模拟动力学以及数字和稀疏突触通信。突触尖峰输入的稀疏性和神经处理的对应的事件驱动性质可以通过节能硬件实现来利用,与传统的人工神经网络(ANN)相比,这可以提供显著的能量减少。训练算法的设计滞后于硬件实现。大多数现有的SNN训练算法都是针对生物相容性设计的,或者是通过速率编码从预训练的ANN转换而来的。本文通过关注概率信号处理方法来介绍SNN,该方法通过利用SNN独特的时间编码功能来直接导出学习规则。我们采用离散时间概率模型的网络尖峰神经元和监督和无监督学习规则的第一原则,通过变分推理。还提供了实例和开放的研究问题。
2019-11-27 cs.LG cs.NE eess.SP
Co-learning synaptic delays, weights and adaptation in spiking neural networks
IDLab, University of Antwerp - imec(安特卫普大学IDLab实验室——IMEC(校际微电子中心))
本文提出在脉冲神经网络中协同学习突触权重、神经元适应参数和突触传播延迟,通过引入神经元异质性和时间关联能力,在多个语音识别数据集上以更少参数超越了同等规模的人工神经网络和GRU。
2023-09-12 cs.AI cs.LG cs.NE
A Free Lunch in Generating Datasets: Building a VQG and VQA System with Attention and Humans in the Loop
Stanford University(斯坦福大学)
尽管大型数据集在训练人工智能系统方面很重要,但获取大型数据集仍然具有挑战性。例如,ImageNet数据集需要1400万个人类基本知识的标签,例如图像是否包含椅子。不幸的是,这些知识是如此简单,以至于对于人类注释者来说是乏味的,但也足够默契,以至于它们是必要的。然而,人类协作完成标记大量数据等任务的成本高、不一致且容易失败,而且这种方法无法解决结果数据集本质上是静态的问题。如果我们问人们他们想回答的问题,并收集他们的回答作为数据,会怎么样?这意味着我们可以以更低的成本收集数据,而扩展数据集将只是提出更多问题的问题。我们专注于视觉问答(VQA)的任务,并提出了一个系统,使用视觉问题生成(VQG)产生的问题,问他们的社交媒体用户,并收集他们的反应。我们提出了两个模型,然后可以解析干净的答案从嘈杂的人类反应显着优于我们的基线,最终将答案纳入视觉问答(VQA)数据集的目标。通过演示我们的系统如何以很少或没有成本的方式收集大量数据,我们设想类似的系统在未来用于提高其他任务的性能。
2020-08-28 cs.CL cs.CV cs.HC
Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation
Purdue University(普渡大学);Nanoelectronics Research Laboratory(纳米电子学研究实验室)
脉冲神经网络(SNN)正在探索其潜在的能源效率,从稀疏,事件驱动的计算。许多最近的工作已经证明了有效的反向传播的深度脉冲神经网络(SNN)的梯度近似不连续的神经元尖峰或发射事件。这些替代梯度尖峰反向传播算法的有益副作用是,触发附加计算的尖峰现在可以在梯度计算中直接考虑。我们提出了一个明确的包括尖峰计数的损失函数,以及传统的错误损失,导致反向传播学习算法,以优化权重参数的准确性和尖峰稀疏。现有的过参数神经网络理论支持,存在许多具有有效等效精度的解状态。因此,在该多目标优化过程中,在训练期间对两个损失目标进行适当加权可以在不显著损失准确性的情况下提高尖峰稀疏性。此外,我们还探索了一种模拟退火启发的损失加权技术,随着训练时间的增加,增加稀疏性的权重。我们对Cifar-10数据集的初步结果显示,与仅针对准确性训练的等效SNN相比,具有等准确性的尖峰活动减少了70.1%,并且如果允许分类准确性降低1%的权衡,尖峰活动减少了73.3%。
2020-03-02 cs.LG cs.NE
Low Latency Conversion of Artificial Neural Network Models to Rate-encoded Spiking Neural Networks
National University of Singapore(新加坡国立大学);Agency for Science, Technology and Research(新加坡科技研究局);Institute of High Performance Computing(高性能计算研究所)
脉冲神经网络(SNN)非常适合资源受限的应用,因为它们不需要昂贵的乘法器。在典型的速率编码SNN中,在全局固定的时间窗口内的一系列二进制尖峰被用于激发神经元。该时间窗口中的最大尖峰数量也是网络执行单个推理的延迟,并决定了模型的整体能效。本文的目的是减少这一点,同时保持准确性时,将人工神经网络转换为等效的SNN。国家的最先进的转换方案产生SNN的精度与人工神经网络相比,只有大的窗口大小。在本文中,我们首先了解从预先存在的ANN模型转换到标准速率编码的SNN模型时的信息损失。根据这些见解,我们提出了一套新技术,这些技术共同减轻了转换中丢失的信息,并实现了最先进的SNN精度以及非常低的延迟。我们的方法在MNIST数据集上实现了98.73%(1个时间步长)的Top-1 SNN准确度,在CIFAR-100数据集上实现了76.38%(8个时间步长),在CIFAR-10数据集上实现了93.71%(8个时间步长)。在ImageNet上,SNN的准确率为75.35%/79.16%,时间步长为100/200。
2022-10-27 cs.LG cs.NE
An Introduction to Spiking Neural Networks: Probabilistic Models, Learning Rules, and Applications
尖峰神经网络(SNN)是分布式可训练系统,其计算元件或神经元的特征在于内部模拟动态以及数字和稀疏突触通信。突触尖峰输入的稀疏性和神经处理的对应的事件驱动性质可以通过与常规人工神经网络(ANN)相比已经展示出显著能量降低的硬件实现来利用。大多数现有的SNN训练算法都是针对生物相容性设计的,或者是通过速率编码从预训练的ANN转换而来的。本文的目的是提供一个介绍SNN的概率信号处理方法,使学习规则的直接推导,利用SNN独特的时间编码能力。为此,本文采用网络尖峰神经元的离散时间概率模型,并利用变分推理从第一性原理推导出有监督和无监督学习规则。还提供了实例和开放的研究问题。
2019-10-20 cs.IT cs.LG cs.NE
Privacy in Federated Learning with Spiking Neural Networks
Centre for Secure Information Technologies (CSIT)(安全信息科技中心)
本文首次研究了SNN在联邦学习中的梯度泄露问题,发现其非可微性和替代梯度训练降低了隐私风险,凸显了神经形态计算的隐私保护潜力。
2025-11-26 cs.AI cs.DC cs.LG
SpikeGrad: An ANN-equivalent Computation Model for Implementing Backpropagation with Spikes
CEA, LIST(法国原子能与替代能源委员会 信息技术与系统实验室)
基于事件的神经形态系统通过对尖峰事件的低功耗稀疏和异步操作来取代密集矩阵上昂贵的浮点操作,从而有望降低深度学习任务的能耗。虽然这些系统可以使用反向传播算法的近似来训练得越来越好,但这些实现通常需要高精度的训练误差,因此与神经形态电路的典型通信基础设施不兼容。在这项工作中,我们分析了如何梯度可以离散成尖峰事件时,训练脉冲神经网络。为了加速我们的模拟,我们表明,使用一个特殊的实现的集成和消防神经元允许我们描述的累积激活和错误的脉冲神经网络在一个等效的人工神经网络,使我们能够大大加快训练相比,一个明确的模拟所有尖峰事件。通过这种方式,我们能够证明,即使对于深度网络,如果梯度被适当地重新缩放,梯度也可以被足够好地离散化。这种形式的基于尖峰的反向传播使我们能够在MNIST和CIFAR10数据集上实现与使用全精度梯度训练的最先进的脉冲神经网络相当或更好的精度。该算法,我们称之为SpikeGrad,是基于积累和比较操作,可以自然地利用稀疏性的梯度计算,这使得它成为一个有趣的选择尖峰神经形态系统与片上学习能力。
2019-06-03 cs.LG cs.NE
Time to Spike? Understanding the Representational Power of Spiking Neural Networks in Discrete Time
Department of Mathematics, Ludwig-Maximilians-Universität München, Germany(慕尼黑大学数学系);Munich Center for Machine Learning (MCML), Munich, Germany(慕尼黑机器学习中心);Institute of Robotics and Mechatronics, DLR-German Aerospace Center, Germany(德国航空航天中心机器人与机电研究所);Department of Physics and Technology, University of Tromsø, Tromsø, Norway(特罗姆瑟大学物理与技术系)
该研究针对离散时间LIF-SNNs理论基础不足的问题,证明其可实现多面体区域上的分段常数函数,量化了逼近连续函数的网络规模,分析了延迟与深度对输入空间划分的影响,并通过数值实验验证了理论结论。
2025-06-13 cs.LG cs.NE
STAER: Temporal Aligned Rehearsal for Continual Spiking Neural Network
University of Modena and Reggio Emilia(摩德纳和雷吉奥-艾米莉亚大学);AImageLab;NILab
STAER通过显式时间对齐和经验回放,提升持续学习中脉冲神经网络的性能,实现与传统ANNs的性能匹配并超越
2026-01-16 cs.AI cs.LG cs.NE
Towards Efficient Deployment of Hybrid SNNs on Neuromorphic and Edge AI Hardware
University of South Carolina(南卡罗来纳大学)
本研究构建SNN与ANN结合的混合模型,提出跨域累加器电路,将其分别部署在Loihi与Jetson Nano异构硬件上,验证其在多性能指标上优于两类基线模型。
2024-07-11 cs.AI cs.AR cs.CV
Spiking Neural Networks with Random Network Architecture
Soochow University(苏州大学)
本研究针对脉冲神经网络训练框架不统一、基础问题待解的现状,提出仅需训练部分权重、兼容经典训练方法的RanSNN架构,在保证性能的同时提升了训练效率,兼具通用性与稳定性。
2025-05-19 cs.LG cs.NE