Beyond Classification: Directly Training Spiking Neural Networks for Semantic Segmentation
Yale University(耶鲁大学)
脉冲神经网络(SNN)由于其稀疏、异步和二进制事件驱动的处理,最近成为人工神经网络(ANN)的低功耗替代方案。由于其能源效率,SNN很有可能被部署到现实世界中的资源受限系统,如自动驾驶汽车和无人机。然而,由于其不可微和复杂的神经元动力学,大多数以前的SNN优化方法已被限制在图像识别。在本文中,我们探讨SNN的应用超越分类和目前的语义分割网络配置与尖峰神经元。具体来说,我们首先研究了两种用于识别任务的代表性SNN优化技术(即,ANN-SNN转换和代理梯度学习)。我们观察到,当从ANN转换时,SNN由于特征的空间变化而遭受高延迟和低性能。因此,我们直接用代理梯度学习训练网络,从而比ANN-SNN转换具有更低的延迟和更高的性能。此外,我们重新设计了两个基本的ANN分割架构(即,SNN域的全卷积网络和DeepLab)。我们在两个公共的语义分割基准上进行实验,包括PASCAL VOC 2012数据集和DDD 17基于事件的数据集。除了显示SNNs的语义分割的可行性,我们表明,SNNs可以更强大和能源效率相比,他们的人工神经网络同行在这一领域。
2021-10-14 cs.CV
Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks?
University of Southern California(南加州大学)
脉冲神经网络(SNN)通过随时间分布的二进制脉冲进行操作,已经成为资源受限设备的有前途的能量高效ML范例。然而,当前最先进的(SOTA)SNN需要多个时间步长以获得可接受的推断准确性,从而增加尖峰活动,并因此增加能量消耗。SNN的SOTA训练策略涉及从非尖峰深度神经网络(DNN)的转换。在本文中,我们确定SOTA转换策略不能产生超低延迟,因为它们错误地假设DNN和SNN预激活值是均匀分布的。我们提出了一种新的训练算法,可以准确地捕获这些分布,最大限度地减少DNN和转换后的SNN之间的误差。由此产生的SNN具有超低延迟和高激活稀疏性,从而显著提高了计算效率。特别是,我们评估了我们的框架在几个VGG和ResNet架构上的CIFAR-10和CIFAR-100数据集的图像识别任务。我们在CIFAR-100数据集上仅用2个时间步长就获得了64.19%的top-1准确率,与iso-architecture标准DNN相比,计算能量降低了约159.2倍。与其他SOTA SNN模型相比,我们的模型执行推理的速度快2.5- 8倍(即,更少的时间)。
2021-12-22 cs.CV
Visual Explanations from Spiking Neural Networks using Interspike Intervals
Yale University(耶鲁大学)
脉冲神经网络(SNN)计算并与异步二进制时间事件通信,这可以导致神经形态硬件的显著节能。最近在训练SNN方面的算法努力已经在各种分类任务上显示出具有竞争力的性能。然而,用于分析和解释这种时间深SNN的内部尖峰行为的可视化工具尚未被探索。在本文中,我们提出了一个新的概念,生物合理的可视化SNN,称为尖峰激活地图(SAM)。建议的SAM规避了不可微的特点,尖峰神经元,消除了需要计算梯度,以获得视觉解释。相反,SAM通过在不同的时间步长上向前传播输入尖峰来计算时间可视化图。SAM通过突出显示具有短尖峰间期活动的神经元来产生与输入数据的每个时间步相对应的注意力图。有趣的是,在没有反向传播过程和类标签的情况下,SAM突出显示图像的区分区域,同时捕获细粒度细节。通过SAM,我们首次全面分析了内部尖峰在各种SNN训练配置中的工作方式,具体取决于优化类型、泄漏行为以及面对对抗性示例时的情况。
2021-03-26 cs.CV
RSC-SNN: Exploring the Trade-off Between Adversarial Robustness and Accuracy in Spiking Neural Networks via Randomized Smoothing Coding
Chongqing University(重庆大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Xi’an Jiaotong University(西安交通大学);Software Security Technology Company Ltd(软件安全技术有限公司)
本工作在理论上证明SNN的对抗鲁棒性源于Poisson coding,并提出随机平滑编码(RSC)方法分析准确性与鲁棒性的权衡,RSC-SNN在大规模ImageNet上取得了超越ANN的最先进鲁棒性结果。
2024-07-29 cs.CV
Robust Spiking Neural Networks Against Adversarial Attacks
University of Electronic Science and Technology of China(电子科技大学);Northumbria University(诺丁汉大学);Shenzhen Loop Area Institute(深圳河套学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出阈值保护优化方法,通过增加梯度稀疏性和引入噪声脉冲神经元,提升直接训练SNNs在对抗攻击下的鲁棒性。
2026-02-24 cs.CV
Deep activity propagation via weight initialization in spiking neural networks
TU Delft(代尔夫特理工大学)
针对深度脉冲神经网络训练中脉冲消失的难题,提出一种考虑量化操作的专用权重初始化方法,理论与实验验证其可实现无脉冲损失的深度活动传播,提升MNIST数据集上的训练精度与收敛速度,且对超参数变化鲁棒。
2025-05-20 cs.CV
2D versus 3D Convolutional Spiking Neural Networks Trained with Unsupervised STDP for Human Action Recognition
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
当前的技术进步已经突出了视频分析在计算机视觉领域中的重要性。然而,视频分析具有相当高的计算成本与传统的人工神经网络(ANN)。脉冲神经网络(SNN)是第三代处理脉冲形式信息的生物学模型。基于STDP(spike timing dependent plasticity)规则的SNN无监督学习有可能克服常规人工神经网络的一些瓶颈,但基于STDP的SNN仍不成熟,其性能远远落后于ANN。在这项工作中,我们研究了SNN的性能时,挑战与人类动作识别的任务,因为这个任务有许多实时应用在计算机视觉,如视频监控。在本文中,我们介绍了一个使用无监督STDP训练的多层3D卷积SNN模型。我们将该模型的性能与KTH和Weizmann数据集挑战时基于2D STDP的SNN的性能进行了比较。我们还比较了这些模型的单层和多层版本,以便对其性能进行准确评估。我们表明,基于STDP的卷积SNN可以使用3D内核学习运动模式,从而实现基于运动的视频识别。最后,我们证明了3D卷积优于基于STDP的SNN的2D卷积,特别是在处理长视频序列时。
2022-05-26 cs.CV
Temporal-Aware Spiking Transformer Hashing Based on 3D-DWT
Faculty of Electrical Engineering and Computer Science, Ningbo University(宁波大学电气工程与计算机科学学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出Spikinghash方法,利用3D-DWT解耦时空特征并结合SNN的二进制特性,设计动态软相似性损失提升检索性能,实现低能耗高效率的哈希学习。
2026-04-11 cs.CV
Temporal Contrastive Learning for Spiking Neural Networks
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
针对脉冲神经网络在短时间步下性能下降的问题,提出时域监督对比学习(TCL)及Siamese变体(STCL)框架,利用时域对比监督充分挖掘时间步间的相关性,在CIFAR等数据集上实现了低延迟与高性能的最先进表现。
2023-05-23 cs.CV
A dynamic vision sensor object recognition model based on trainable event-driven convolution and spiking attention mechanism
Hebei University of Technology(河北工业大学)
针对事件驱动卷积固定核导致特征提取不完整的问题,提出可训练事件驱动卷积与脉冲注意力机制,在MNIST-DVS和CIFAR10-DVS上优于基线,且对短事件流分类良好。
2024-09-19 cs.CV
On the second-order optimization for spiking neural networks
Centre for Secure Information Technologies(安全信息技术中心)
针对脉冲神经网络训练中尖锐损失景观与曲率信息利用不足的问题,提出二阶优化方法SpiKFAX,通过Kronecker因子近似Fisher信息矩阵,在多个架构与数据集上提升测试精度与训练稳定性。
2026-09-25 cs.CV cs.LG
Spyker: High-performance Library for Spiking Deep Neural Networks
University of Tehran(德黑兰大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM))
脉冲神经网络(SNN)由于其有前途的能力,最近已经被曝光。与前几代神经网络相比,SNN模拟具有更高生物相容性的大脑。用更少的样本学习和消耗更少的功率是这些网络的关键特征之一。然而,由于仿真工具的缓慢性和所提出的网络结构的不实用性,SNN的理论优势在实践中并没有被看到。在这项工作中,我们使用C++/CUDA从头开始实现一个名为Spyker的高性能库,其性能优于其前身。在这项工作中实现了几个SNN与不同的学习规则(尖峰时间依赖可塑性和强化学习)使用世爵,实现显着更好的运行时间,以证明该库在模拟大规模网络的实用性。据我们所知,还没有开发出这样的工具来使用模块化结构模拟具有高性能的大规模脉冲神经网络。此外,从世爵提取的代表刺激记录的电生理数据进行比较,以证明SNN在描述大脑功能的潜在神经机制的适用性。这个库的目的是朝着揭示使用SNN的大脑计算的真正潜力迈出重要的一步。
2023-01-31 cs.CV q-bio.NC
Enabling energy-Efficient object detection with surrogate gradient descent in spiking neural networks
Sun Yat-sen University(中山大学)
针对脉冲神经网络训练困难及缺乏目标检测解码策略的问题,提出电流均值解码方法并基于梯度替代构建SNN-YOLOv3模型,在PASCAL VOC上实现61.87% mAP,较SpikingYOLO提升近10%且能耗降低两个数量级。
2023-09-07 cs.AI cs.CV
Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics
Purdue University(普渡大学)
基于事件的相机最近表现出巨大的潜力,高速运动估计,由于他们的能力,捕捉时间丰富的信息异步。脉冲神经网络(SNN)具有神经启发的事件驱动处理,可以有效地处理这种异步数据,而泄漏积分和激发(LIF)等神经元模型可以跟踪输入中包含的典型定时信息。SNN通过在神经元记忆中保持动态状态来实现这一点,保留重要信息,同时随着时间的推移忘记冗余数据。因此,我们认为,与类似大小的模拟神经网络(ANN)相比,SNN将允许在顺序回归任务上具有更好的性能。然而,深SNN难以训练,这是由于在后面的层处消失的尖峰。为此,我们提出了一个自适应的全尖峰框架与可学习的神经元动力学,以减轻尖峰消失的问题。我们利用基于代理梯度的时间反向传播(BPTT)从头开始训练我们的深度SNN。我们验证了我们的方法的任务上的多车辆立体事件相机(MVSEC)数据集和DSEC-Flow数据集的光流估计。我们在这些数据集上的实验显示,与最先进的ANN相比,平均端点误差(AEE)平均降低了13%。我们还探索了几个缩小规模的模型,并观察到我们的SNN模型始终优于类似大小的ANN,AEE降低了10%-16%。这些结果证明了SNN对于较小模型的重要性及其在边缘的适用性。在效率方面,我们的SNN在网络参数(48.3倍)和计算能量(10.2倍)方面提供了大量节省,同时与最先进的ANN实现相比,EPE降低了约10%。
2023-03-14 cs.CV cs.LG
Pruning of Deep Spiking Neural Networks through Gradient Rewiring
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
脉冲神经网络(SNNs)由于其生物相容性和在神经形态芯片上的高能量效率而受到了广泛的重视。由于这些芯片通常是资源受限的,因此SNN的压缩在SNN的实际使用道路上至关重要。现有的大多数方法直接将人工神经网络(ANN)中的剪枝方法应用于SNN,忽略了ANN和SNN之间的差异,从而限制了剪枝后SNN的性能。此外,这些方法只适用于浅SNN。在本文中,受到神经系统中突触发生和突触消除的启发,我们提出了梯度重布线(Grad R),一种SNN连接和权重的联合学习算法,使我们能够无缝地优化网络结构而无需重新训练。我们的关键创新是将梯度重新定义为新的突触参数,通过充分利用连接修剪和再生之间的竞争,更好地探索网络结构。在MNIST和CIFAR-10数据集上的实验结果表明,该方法对SNN的性能损失最小。此外,它达到了$\sim$ 3.5%的准确性损失下前所未有的0.73%的连接,这表明显着的结构细化能力SNN。我们的工作表明,在深SNN中存在极高的冗余。我们的代码可在https://github.com/Yanqi-Chen/Gradient-Rewiring上获得。
2021-06-22 cs.AI cs.CV cs.LG
Spiking-YOLO: Spiking Neural Network for Energy-Efficient Object Detection
Seoul National University(首尔大学)
在过去的十年中,深度神经网络(DNN)在各种应用中表现出卓越的性能。当我们试图解决更高级的问题时,对计算和电力资源的需求日益增加已成为不可避免的。脉冲神经网络(SNN)作为第三代神经网络,由于其事件驱动和低功耗的特性,引起了人们的广泛关注。然而,SNN很难训练,主要是由于它们的复杂的神经元动力学和不可微的尖峰操作。此外,它们的应用局限于相对简单的任务,例如图像分类。在这项研究中,我们研究了SNN在一个更具挑战性的回归问题(即,目标检测)。通过我们的深入分析,我们介绍了两种新的方法:通道归一化和具有不平衡阈值的符号神经元,这两种方法都为深度SNN提供了快速准确的信息传输。因此,我们提出了第一个基于尖峰的目标检测模型,称为Spiking-YOLO。我们的实验表明,Spiking-YOLO在非平凡数据集PASCAL VOC和MS COCO上取得了与Tiny YOLO相当的显著结果(高达98%)。此外,神经形态芯片上的Spiking-YOLO消耗的能量比Tiny YOLO少约280倍,收敛速度比以前的SNN转换方法快2.3至4倍。
2019-11-24 cs.CV cs.LG stat.ML
Exploring Lottery Ticket Hypothesis in Spiking Neural Networks
Yale University(耶鲁大学)
脉冲神经网络(SNN)是最近出现的新一代低功耗深度神经网络,适合在低功耗移动/边缘设备上实现。由于这种设备具有有限的存储器存储,近年来已经广泛探索了SNN上的神经修剪。现有的SNN剪枝方法大多集中在浅层SNN(2~6层),而深层SNN(>16层)的剪枝方法则是最新的SNN剪枝方法,难以与现有SNN剪枝方法兼容。为了将修剪技术扩展到深度SNN,我们研究了彩票假设(LTH),该假设指出密集网络包含较小的子网(即,赢得门票),实现与密集网络相当的性能。我们对LTH的研究表明,获奖门票始终存在于各种数据集和架构的深度SNN中,提供高达97%的稀疏性,而不会造成巨大的性能下降。然而,当与SNN的多时间步长相结合时,LTH的迭代搜索过程带来了巨大的训练计算成本。为了减轻这种沉重的搜索成本,我们提出了早期(ET)票,我们发现重要的权重连接从一个较小的时间步数。所提出的ET票可以与用于找到获胜票的常见修剪技术(诸如迭代幅度修剪(IMP)和早鸟(EB)票)无缝地组合。我们的实验结果表明,建议的ET票减少了高达38%的搜索时间相比,IMP或EB方法。代码可以在Github上找到。
2022-07-20 cs.AI cs.CV
HIRE-SNN: Harnessing the Inherent Robustness of Energy-Efficient Deep Spiking Neural Networks by Training with Crafted Input Noise
University of Southern California(南加州大学)
低延迟深度脉冲神经网络(SNN)由于其在事件驱动神经形态硬件上提高能量效率的潜力而成为传统人工神经网络(ANN)的有前途的替代方案。然而,包括SNN在内的神经网络会受到各种对抗攻击的影响,并且必须经过训练才能在许多应用中保持对此类攻击的弹性。然而,由于与SNN相关联的过高的训练成本,在各种对抗攻击下对深度SNN的分析和优化在很大程度上被忽视了。在本文中,我们首先详细分析了低延迟SNN对流行的基于梯度的攻击,即快速梯度符号法(FGSM)和投影梯度下降(PGD)的固有鲁棒性。受此分析的启发,为了利用模型对这些攻击的鲁棒性,我们提出了一种SNN训练算法,该算法使用精心制作的输入噪声,并且不需要额外的训练时间。为了评估我们算法的优点,我们在CIFAR-10和CIFAR-100数据集上对VGG和ResNet的变体进行了广泛的实验。与标准训练的直接输入SNN相比,我们的训练模型在FGSM和PGD攻击生成的图像上分别提高了高达13.7%和10.1%的分类准确度,而干净图像的准确度损失可以忽略不计。我们的模型还优于在速率编码输入上训练的固有鲁棒SNN,在攻击生成的图像上具有改进或类似的分类性能,同时分别具有高达25倍和4.6倍的低延迟和计算能量。
2021-10-06 cs.AI cs.CV
Exploiting High Performance Spiking Neural Networks with Efficient Spiking Patterns
CASIA(中国科学院自动化研究所);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心);University of Chinese Academy of Sciences(中国科学院大学)
脉冲神经网络(SNN)利用离散的脉冲序列来传输信息,极大地模拟了大脑的信息传输过程。虽然这种二值化的表示形式极大地提高了SNN的能量效率和鲁棒性,但它也在SNN和基于实值的人工神经网络的性能之间留下了很大的差距。大脑中存在多种不同的锋电位模式,这些锋电位模式的动态协同极大地丰富了表征能力。受生物神经元锋电位模式的启发,引入动态Burst模式,从网络信息容量的角度出发,设计了一种能够在短时性能和动态时间性能之间进行权衡的LIFB神经元。LIFB神经元具有三种模式,静息、规则发放和爆发发放。神经元的突发密度可以自适应调整,这大大丰富了表征能力。我们还提出了一种解耦方法,可以将LIFB神经元有损解耦为等价的LIF神经元,这表明LIFB神经元可以有效地在神经形态硬件上实现。我们在静态数据集CIFAR 10、CIFAR 100和ImageNet上进行了实验,结果表明,我们大大提高了SNN的性能,同时显著降低了网络延迟。我们还在神经形态数据集DVS-CIFAR 10和NCALIBRAT 101上进行了实验,结果表明,我们用一个小的网络结构实现了最先进的技术。
2023-01-29 cs.CV cs.NE
Memory-Efficient Reversible Spiking Neural Networks
State Key Laboratory of Industrial Control Technology, College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院工业控制技术国家重点实验室);Key Laboratory of Collaborative sensing and autonomous unmanned systems of Zhejiang Province(浙江省协同感知与自主无人系统重点实验室)
针对脉冲神经网络训练时内存开销大、难以训练深层模型的问题,提出可逆脉冲神经网络架构,通过可逆脉冲模块重计算中间变量,在精度相当的情况下大幅降低内存消耗,为训练大深度SNN铺路。
2023-12-13 cs.CV cs.NE
PrivateSNN: Privacy-Preserving Spiking Neural Networks
Yale University(耶鲁大学)
我们如何才能将隐私和能源效率带到神经系统中?在本文中,我们提出了PrivateSNN,它的目的是建立低功耗的脉冲神经网络(SNN)从一个预先训练的人工神经网络模型,而不泄漏数据集中包含的敏感信息。在这里,我们解决了两种类型的泄漏问题:1)数据泄漏时造成的网络访问真实的训练数据在ANN-SNN转换过程中。2)当可以从网络参数重建与类相关的特征时,就会导致类泄漏。为了解决数据泄漏问题,我们从预训练的ANN生成合成图像,并使用生成的图像将ANN转换为SNN。然而,转换后的SNN仍然容易受到类泄漏的影响,因为权重参数相对于ANN参数具有相同(或缩放)的值。因此,我们通过使用基于时间尖峰的学习规则训练SNN来加密SNN权重。用时间数据更新权重参数使得SNN难以在空间域中解释。我们观察到,加密的PrivateSNN消除了数据和类泄漏问题,与标准ANN相比,性能略有下降(小于~2),能效显著提高(约55倍)。我们在包括CIFAR 10,CIFAR 100和TinyImageNet在内的各种数据集上进行了广泛的实验,突出了隐私保护SNN训练的重要性。
2022-05-21 cs.AI cs.CV
Time-Distributed Backdoor Attacks on Federated Spiking Learning
Radboud University(拉德堡德大学);Ikerlan Research Centre(伊克尔兰研究中心);Delft University of Technology(代尔夫特理工大学)
本研究针对联邦脉冲学习提出时间分布式后门攻击,通过跨时间和恶意设备分布触发器,实现高攻击成功率与隐蔽性,并揭示现有防御的不足。
2024-02-05 cs.CR cs.CV cs.NE
Skip Connections in Spiking Neural Networks: An Analysis of Their Effect on Network Training
Univ. Polytechnique Hauts-de-France(上法兰西理工大学);Belmihoub Abd El Rahmane High School(贝勒米胡布·阿卜杜勒·拉赫曼高中);Ecole Nationale Supérieure d’Informatique(国家高等计算机学院);Forschungszentrum Jülich(于利希研究中心)
脉冲神经网络(SNN)由于其潜在的能量效率和其在生物系统中建模脉冲行为的能力而作为传统人工神经网络(ANN)的有前途的替代方案而受到关注。然而,SNN的训练仍然是一个具有挑战性的问题,需要新的技术来提高其性能。在本文中,我们研究了跳跃连接对SNN的影响,并提出了一种超参数优化技术,使模型从ANN适应SNN。我们证明,优化跳过连接的位置、类型和数量可以通过加快收敛速度和增加网络中的信息流来显着提高SNN的准确性和效率。我们的研究结果显示,在CIFAR-10-DVS和DVS 128手势数据集上,多个最先进模型的适应性平均提高了8%。
2023-03-23 cs.CV cs.LG cs.NE
Rethinking the role of normalization and residual blocks for spiking neural networks
Aisin(爱信);AISIN SOFTWARE Co., Ltd.(爱信软件株式会社)
生物启发的脉冲神经网络(SNN)被广泛用于实现超低功耗。然而,由于隐藏层中尖峰神经元的过度激发,深SNN不容易训练。为了解决这个问题,我们提出了一种新的,但简单的归一化技术称为突触后电位归一化。该归一化从标准归一化中移除减法项,并使用第二原始矩而不是方差作为除法项。通过对突触后电位进行这种简单的标准化,可以控制尖峰放电,使训练能够适当地进行。实验结果表明,使用我们的归一化的SNN优于使用其他归一化的其他模型。此外,通过预激活剩余块,该模型可以训练超过100层,而无需其他专用于SNN的特殊技术。
2022-03-03 cs.AI cs.CV cs.LG
Federated Learning with Spiking Neural Networks
Yale University(耶鲁大学)
随着神经网络在资源受限的嵌入式设备中得到广泛采用,对低功耗神经系统的需求日益增长。脉冲神经网络(SNN)正在成为传统人工神经网络(ANN)的能量高效替代方案,人工神经网络(ANN)已知是计算密集型的。从应用的角度来看,由于联邦学习涉及多个能源受限的设备,因此利用SNN提供的能源效率有很大的空间。尽管其重要性,但很少有人关注在像联邦学习这样的大规模分布式系统上训练SNN。在本文中,我们将SNN带到一个更现实的联邦学习场景中。具体来说,我们提出了一个联邦学习框架,用于SNN的分散和隐私保护训练。为了验证所提出的联邦学习框架,我们用CIFAR10和CIFAR100基准测试实验评估了SNN在联邦学习各个方面的优势。我们观察到,当数据分布在联邦中的大量客户端时,SNN在整体准确性方面优于ANN超过15%,同时提供高达5.3倍的能源效率。除了效率之外,我们还分析了所提出的联邦SNN框架对客户端,落伍者和梯度噪声之间的数据分布的敏感性,并与ANN进行了全面的比较。
2021-06-11 cs.CV cs.DC cs.LG
Activation-wise Propagation: A One-Timestep Strategy for Spiking Neural Networks
AMP2通过动态传播膜电位提升SNN效率和准确性,适用于多种架构和任务。
2026-02-03 cs.CV cs.LG
SFOD: Spiking Fusion Object Detector
School of Microelectronics, Tianjin University(天津大学微电子学院)
本文提出脉冲融合目标检测器(SFOD),通过首次在事件相机的SNN中融合多尺度特征图,并优化解码策略与损失函数,在NCAR和GEN1数据集上实现了最先进的分类与检测性能。
2024-03-22 cs.AI cs.CV
KLIF: An optimized spiking neuron unit for tuning surrogate gradient slope and membrane potential
University of Canterbury(坎特伯雷大学)
脉冲神经网络(SNN)由于具有处理时间信息的能力、低功耗和较高的生物相容性而受到广泛关注。然而,它仍然是具有挑战性的开发高效和高性能的学习算法的SNN。像人工神经网络(ANN)到SNN的转换这样的方法可以将ANN转换为SNN,而性能损失很小,但是它需要长时间的模拟来近似速率编码。通过基于尖峰的反向传播(BP)(如代理梯度近似)直接训练SNN更灵活。然而,目前,SNN的性能与ANN相比并不具有竞争力。在本文中,我们提出了一种新的基于k的泄漏积分和消防(KLIF)神经元模型,以提高SNN的学习能力。与流行的Leaky Integrate-and-Fire(LIF)模型相比,KLIF增加了一个可学习的比例因子,以在训练期间动态更新替代梯度曲线的斜率和宽度,并结合了一个ReLU激活函数,该函数选择性地将膜电位传递到尖峰放电和重置。在静态MNIST、Fashion-MNIST、CIFAR-10数据集以及神经形态N-MNIST、CIFAR 10-DVS和DVS 128-Gesture数据集上评估了拟定的加标单元。实验表明,KLIF的性能比LIF好得多,而不引入额外的计算成本,并实现了最先进的性能在这些数据集上,很少的时间步长。此外,KLIF被认为比LIF更具生物学合理性。KLIF的良好性能可以使其完全取代LIF在SNN中的作用,用于各种任务。
2023-02-18 cs.CV cs.NE
Spiking-Diffusion: Vector Quantized Discrete Diffusion Model with Spiking Neural Networks
Tsinghua University(清华大学);Beijing Smartchip Microelectronics Technology Co., Ltd(北京智芯微电子科技有限公司)
本文提出Spiking-Diffusion模型,首次完全用脉冲神经网络构建向量量化离散扩散模型,通过VQ-SVAE和SDID实现图像生成,在多个数据集上显著降低FID并优于现有SNN生成模型。
2023-09-22 cs.CV cs.NE
SDiT: Spiking Diffusion Model with Transformer
ZJU-UIUC Institute, Zhejiang University(浙江大学ZJU-UIUC学院)
本文提出SDiT,用Transformer替代U-net构建脉冲神经网络扩散模型,在MNIST、Fashion-MNIST和CIFAR-10上以更低计算成本和更短采样时间实现高质量图像生成,为SNN生成模型研究提供经验基线。
2024-02-24 cs.AI cs.CV
Benchmarking Spiking Neural Network Learning Methods with Varying Locality
School of Electrical Engineering and Computer Science, The Pennsylvania State University(电气工程与计算机科学学院,宾夕法尼亚州立大学)
本研究对比了不同局部性的脉冲神经网络学习方法,探讨了显式循环对鲁棒性的增强作用,并评估了局部学习方法在对抗攻击下的表现。
2025-06-30 cs.AI cs.CV cs.LG
Autonomous Driving using Spiking Neural Networks on Dynamic Vision Sensor Data: A Case Study of Traffic Light Change Detection
Boston University(波士顿大学);University of Portsmouth(朴茨茅斯大学)
针对自动驾驶中卷积神经网络计算资源需求大、功耗高的问题,本文在CARLA模拟器的真实感驾驶场景中研究脉冲神经网络(SNNs)的应用,探索其在交通灯变化检测任务中的有效性与泛化性,为SNNs在真实车辆上的应用推进重要一步。
2025-02-11 cs.CV cs.NE cs.RO
Distilling Spikes: Knowledge Distillation in Spiking Neural Networks
Indian Institute of Technology Bombay(孟买印度理工学院)
与经典的人工神经网络(ANN)不同,脉冲神经网络(SNN)是一种节能计算架构,它交换尖峰以处理信息。因此,SNN更适合实际部署。然而,与ANN类似,SNN也受益于更深的架构,以获得更好的性能。此外,与深度ANN一样,SNN的存储器、计算和功率要求也随着模型大小而增加,并且模型压缩成为必要。知识蒸馏是一种模型压缩技术,它能够以最小的性能损失将大型机器学习模型的学习转移到较小的模型。在本文中,我们提出了技术知识蒸馏脉冲神经网络的任务图像分类。我们提出了从较大的SNN(也称为教师网络)提取尖峰到较小的SNN(也称为学生网络)的方法,同时最小限度地影响分类精度。我们在三个标准数据集上进行了详细的实验,同时提出了新的蒸馏方法和损失函数,证明了所提出的方法的有效性。我们还提出了一个多阶段的知识蒸馏技术SNN使用中间网络,以获得更高的性能,从学生网络。我们的方法有望为在资源受限的硬件平台上部署高性能的大型SNN模型开辟新的途径。
2020-05-01 cs.CV cs.NE
Spiking neural networks trained via proxy
Shahid Beheshti University(沙希德·贝赫什提大学);Amirkabir University of Technology(阿米尔卡比尔理工大学);CNRS(法国国家科学研究中心);Université Toulouse 3(图卢兹第三大学)
提出了一种新的学习算法,利用传统的人工神经网络(ANN)作为代理,训练脉冲神经网络(SNN)。我们分别将两个SNN和ANN网络耦合起来,它们分别由具有相同网络架构和共享突触权重的集成并激发(IF)和ReLU神经元组成。两个网络的前向传递是完全独立的。通过假设具有速率编码的IF神经元作为ReLU的近似,我们在代理ANN中反向传播SNN的误差以更新共享权重,只需将ANN的最终输出替换为SNN的输出。我们将所提出的代理学习应用于深度卷积SNN,并在Fashion-MNIST和Cifar 10的两个基准数据集上进行了评估,分类准确率分别为94.56%和93.11%。所提出的网络可以优于其他使用串联学习、替代梯度学习或从深度ANN转换而来的深度SNN。转换后的SNN需要很长的模拟时间才能达到合理的精度,而我们的代理学习可以用更短的模拟时间实现高效的SNN。所提出的方法的源代码可在https://github.com/SRKH/ProxyLearning上公开获取。
2022-07-30 cs.CV cs.NE
SiamSNN: Siamese Spiking Neural Networks for Energy-Efficient Object Tracking
Huazhong University of Science and Technology(华中科技大学);Henan University(河南大学)
近年来,作为第三代神经网络的脉冲神经网络(SNN)表现出了显著的节能计算能力,是高能耗深度神经网络(DNN)的一种很有前途的替代方案。与DNN相比,SNN在相对简单的任务和小数据集(如图像分类和MNIST/CIFAR)中取得了有竞争力的结果,而在复杂数据集上更具挑战性的视觉任务的研究很少。在本文中,我们专注于将深度SNN扩展到对象跟踪,这是一种具有嵌入式应用和节能要求的更高级视觉任务,并提出了一种基于尖峰的Siamese网络,称为SiamSNN。具体来说,我们提出了一种优化的混合相似性估计方法,利用时间信息的SNN,并引入了一种新的双状态编码方案,以优化输出尖峰列车的时间分布,以进一步改进。SiamSNN是第一个深度SNN跟踪器,在视觉对象跟踪基准测试OTB 2013/2015、VOT 2016/2018和GOT-10 k上实现了短延迟和低精度损失。此外,SiamSNN在Neuromorphic芯片TrueNorth上实现了显著的低能耗和实时性。
2021-06-19 cs.CV cs.NE
Enhanced Temporal Processing in Spiking Neural Networks for Static Object Detection Using 3D Convolutions
为解决直接训练的SNN在静态目标检测中性能落后于ANN的问题,本文提出用3D卷积替代2D卷积并引入神经元时间信息循环机制,使SNN在COCO2017和VOC数据集上达到与ANN相当的检测性能。
2024-12-23 cs.AI cs.CV cs.NE
Efficient Uncertainty Estimation in Spiking Neural Networks via MC-dropout
CWI(荷兰数学与计算机科学研究所);Rijksuniversiteit Groningen(格罗宁根大学);University of Amsterdam(阿姆斯特丹大学)
针对 SNNs 难以直接采用 ANN 不确定性估计方法的问题,本文利用其时间步机制提出高效 MC-dropout,在低训练与推理开销下实现高准确率和高质量不确定性估计。
2023-04-20 cs.AI cs.CV cs.LG
Inherent Redundancy in Spiking Neural Networks
Xi’an Jiaotong University(西安交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Peking University Health Science Center, Peking University(北京大学医学部);Huawei Technologies Co Ltd.(华为技术有限公司);Peng Cheng Laboratory(鹏城实验室)
针对脉冲神经网络因时空不变性产生的固有冗余与噪声脉冲问题,提出ASA模块自适应优化膜电位分布,在显著降低放电量的同时性能超过现有SNN基线。
2023-08-16 cs.CV cs.LG cs.NE
RMP-SNN: Residual Membrane Potential Neuron for Enabling Deeper High-Accuracy and Low-Latency Spiking Neural Network
Purdue University(普渡大学)
脉冲神经网络(SNN)作为第三代人工神经网络,能够实现低功耗的事件驱动数据分析,近年来引起了广泛的研究兴趣。图像识别任务的最佳性能SNN是通过将训练的模拟神经网络(ANN)(由整流线性单元(ReLU)组成)转换为由具有“适当”激发阈值的积分和激发神经元组成的SNN来获得的。与原始ANN提供的准确度相比,转换后的SNN通常会导致准确度损失,并且需要相当数量的推理时间步长来实现最佳准确度。我们发现,转换后的SNN的性能下降源于使用“硬复位”尖峰神经元,被驱动到固定的复位电位,一旦其膜电位超过点火阈值,导致信息丢失在SNN推理。我们提出了ANN-SNN转换使用“软复位”尖峰神经元模型,称为残余膜电位(RMP)尖峰神经元,它保留了“残余”膜电位高于阈值在点火时刻。我们使用RMP神经元在具有挑战性的数据集上证明了VGG-16,ResNet-20和ResNet-34 SNN的近无损ANN-SNN转换,包括CIFAR-10(93.63% top-1),CIFAR-100(70.93% top-1)和ImageNet(73.09% top-1准确度)。我们的研究结果还表明,RMP-SNN超越了转换后的SNN提供的最佳推理准确性,其中“硬复位”尖峰神经元在网络架构和数据集上使用的推理时间步长减少了2-8倍。
2020-04-01 cs.CV cs.LG cs.NE
FSTA-SNN:Frequency-based Spatial-Temporal Attention Module for Spiking Neural Networks
Zhejiang University-University of Illinois Urbana Champaign Institute(浙江大学-伊利诺伊大学厄巴纳-香槟分校研究院);The College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院)
本文分析SNN时空脉冲特性,提出基于频率的时空注意力模块FSTA以抑制冗余脉冲特征,在多个数据集上显著降低脉冲发放率并提升性能。
2025-02-05 cs.CV cs.LG cs.NE
Resource Constrained Model Compression via Minimax Optimization for Spiking Neural Networks
Peking University(北京大学);Kuaishou Technology(快手科技)
针对资源受限边缘设备上SNNs难以部署的问题,本文提出改进的端到端Minimax稀疏学习优化方法,并证明压缩与微调联合进行更优,在多个基准上取得SOTA性能。
2023-08-09 cs.AI cs.CV cs.MM
Revisiting Batch Normalization for Training Low-latency Deep Spiking Neural Networks from Scratch
Yale University(耶鲁大学)
脉冲神经网络(SNN)最近已经成为深度学习的替代方案,这是由于稀疏、异步和二进制事件(或脉冲)驱动的处理,可以在神经形态硬件上产生巨大的能效效益。然而,从头开始训练高精度和低延迟的SNN受到尖峰神经元的不可微性质的影响。为了解决SNN中的这个训练问题,我们重新审视了批量归一化,并提出了一种时间批量归一化通过时间(BNTT)技术。到目前为止,大多数先前的SNN工作都忽略了批量归一化,认为它对训练时间SNN无效。与以前的工作不同,我们提出的BNTT沿着时间轴的BNTT层的参数,以捕捉尖峰的时间动态。BNTT中随时间演变的可学习参数允许神经元通过不同的时间步长控制其尖峰速率,从而实现从头开始的低延迟和低能量训练。我们在CIFAR-10、CIFAR-100、Tiny-ImageNet和事件驱动的DVS-CIFAR 10数据集上进行了实验。BNTT允许我们从头开始训练深度SNN架构,这是第一次,在复杂的数据集上,只有25-30个时间步长。我们还提出了一个提前退出算法,使用BNTT中的参数分布,以减少在推理的延迟,进一步提高能源效率。
2021-11-10 cs.AI cs.CV cs.NE
Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking Neural Networks
Institute of Computing Technology, Chinese Academy of Science(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Laboratory(中关村实验室);Sensetime Research(商汤科技研究院)
本文受神经科学临界脑假说启发,提出基于特征信息熵的神经元临界性度量及剪枝-再生方法,在降低高达95.26%剪枝成本的同时超越现有SOTA性能。
2024-11-21 cs.AI cs.CV cs.LG
Towards Efficient Deployment of Hybrid SNNs on Neuromorphic and Edge AI Hardware
University of South Carolina(南卡罗来纳大学)
本研究构建SNN与ANN结合的混合模型,提出跨域累加器电路,将其分别部署在Loihi与Jetson Nano异构硬件上,验证其在多性能指标上优于两类基线模型。
2024-07-11 cs.AI cs.AR cs.CV