Unsupervised Visual Feature Learning with Spike-timing-dependent Plasticity: How Far are we from Traditional Feature Learning Approaches?
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);IMT Lille Douai(IMT里尔杜埃矿业电信学院)
脉冲神经网络(SNN)配备了延迟编码和脉冲定时相关可塑性规则,为解决标准计算机视觉方法的数据和能量瓶颈提供了一种替代方案:它们可以在没有监督的情况下学习视觉特征,并且可以通过超低功耗硬件架构实现。然而,它们在图像分类中的性能从未在最近的图像数据集上进行过评估。在本文中,我们比较SNN的自动编码器在三个视觉识别数据集,并扩展SNN的使用彩色图像。结果的分析有助于我们识别SNN的一些瓶颈:对中心/偏离中心编码的限制,特别是对于彩色图像,以及当前抑制机制的无效性。这些问题应该得到解决,以建立有效的SNN图像识别。
2019-04-05 cs.CV cs.NE
BrainTransformers: SNN-LLM
LumenScopeAI;Princeton International School of Mathematics and Science(普林斯顿数学与科学国际学校)
本研究介绍了BrainTransformers,一个创新的大语言模型(LLM)实现使用脉冲神经网络(SNN)。我们的主要贡献包括:(1)设计SNN兼容的Transformer组件,例如SNNMatmul、SNNSoftmax和SNNSiLU;(2)实现SiLU激活函数的SNN近似;以及(3)开发Synapsis模块来模拟突触可塑性。我们的30亿参数模型BrainTransformers-3B-Chat在各种基准测试中表现出了竞争力,包括MMLU(63.2),BBH(54.1),ARC-C(54.3)和GSM 8 K(76.3),同时可能提供更高的能源效率和生物相容性。该模型采用三阶段训练方法,包括SNN特异性神经元突触可塑性训练。这项研究为自然语言处理和类脑计算中的类脑AI系统开辟了新的途径。未来的工作将集中在硬件优化,开发专门的SNN微调工具,并探索节能计算环境中的实际应用。
2024-10-23 cs.CL cs.LG cs.NE
Context Gating in Spiking Neural Networks: Achieving Lifelong Learning through Integration of Local and Global Plasticity
受前额叶皮层上下文门控机制启发,提出由局部可塑性规则训练的脉冲神经网络CG-SNN,通过全局与局部可塑性的迭代训练保留多任务信息,有效克服灾难性遗忘,在终身学习中展现出良好的任务选择性与可扩展性。
2024-06-04 cs.HC cs.NE
BP-STDP: Approximating Backpropagation using Spike Timing Dependent Plasticity
训练脉冲神经网络(SNN)的问题是理解大脑内部计算的必要前提,这一领域仍处于起步阶段。先前的工作表明,多层SNN中的监督学习使生物启发网络能够通过分层特征获取来识别刺激模式。虽然梯度下降在多层(和深)SNN中显示出令人印象深刻的性能,但它通常被认为在生物学上不合理,并且在计算上也是昂贵的。本文提出了一种新的监督学习方法的基础上,基于事件的尖峰定时依赖可塑性(STDP)规则嵌入在一个网络的集成和消防(IF)神经元。所提出的时间局部学习规则遵循在每个时间步应用的反向传播权重变化更新。该方法具有精确的梯度下降和时间局部有效的STDP的优点。因此,这种方法能够解决一些关于大脑中发生的准确和有效计算的公开问题。XOR问题,虹膜数据,和MNIST数据集上的实验结果表明,建议的SNN执行传统的神经网络一样成功。我们的方法也可以与最先进的多层SNN相比。
2018-03-09 cs.NE
Improving Robustness of ReRAM-based Spiking Neural Network Accelerator with Stochastic Spike-timing-dependent-plasticity
尖峰时间依赖可塑性(STDP)是一种无监督的脉冲神经网络(SNN)学习算法,它有望实现对人脑更深层次的理解和更强大的人工智能。虽然传统的计算系统无法有效地模拟SNN,但基于诸如ReRAM之类的设备的存储器中处理(PIM)可以用于设计快速且有效的基于STDP的SNN加速器,因为它与生物神经网络高度相似地操作。然而,这种设计的实际实现仍然受到输入噪声和器件变化的影响。在这项工作中,我们提出了一种新的随机STDP算法,使用尖峰频率信息来动态调整突触行为。该算法进行了测试,在模式识别任务与噪声输入,并显示精度提高确定性STDP。此外,我们表明,新算法可用于设计一个强大的基于ReRAM的SNN加速器,具有很强的弹性设备的变化。
2019-09-11 cs.ET cs.NE
Controlled Forgetting: Targeted Stimulation and Dopaminergic Plasticity Modulation for Unsupervised Lifelong Learning in Spiking Neural Networks
Purdue University(普渡大学);Nanoelectronics Research Laboratory(纳米电子学研究实验室)
随机梯度下降要求从数据的均匀随机分布中抽取训练样本。对于必须从不受控制和未知环境中在线学习的已部署系统,输入样本的排序通常无法满足此标准,这使得终身学习成为一项艰巨的挑战。我们利用无监督尖峰时间依赖可塑性(STDP)学习规则的局部性,以脉冲神经网络(SNN)中的局部表示为目标,以适应新的信息,同时保护SNN的其余部分中的重要信息免受灾难性遗忘。在我们的受控遗忘网络(CFN)中,新信息触发刺激放电和异质调制可塑性,灵感来自生物多巴胺信号,导致与离群信息相关的神经元突触快速和孤立的适应。这种定位控制了遗忘过程,减少了学习新任务时旧任务的准确性下降。我们在MNIST数据集上的实验结果验证了CFN随着时间的推移从未知的、不断变化的环境中成功学习的能力,达到了95.36%的准确率,我们认为这是固定大小的单层SNN在完全不相交的MNIST数据集上实现的最佳无监督准确率。
2019-09-19 cs.LG cs.NE
A Spiking Neuron Synaptic Plasticity Model Optimized for Unsupervised Learning
脉冲神经网络(SNN)被认为是执行各种学习任务-无监督、有监督和强化学习-的前景基础。SNN中的学习是通过突触可塑性来实现的-这些规则通常取决于突触前和突触后神经元的活动来确定突触权重的动态。各种学习机制的多样性假设不同形式的突触可塑性对于例如无监督学习和监督学习可能是最有效的,因为在活神经元中观察到它展示出与基本尖峰定时依赖可塑性(STDP)模型的许多种类的偏差。在本文中,我们制定了具体的要求,可塑性规则施加的无监督学习问题,并构建了一个新的可塑性模型推广STDP和满足这些要求。这种可塑性模型作为主要的逻辑组成部分的新的监督学习算法称为SCoBUL(尖峰相关的无监督学习)在这项工作中提出。我们还提出了计算机模拟实验的结果,证实这些突触可塑性规则和算法SCoBUL的效率。
2021-11-12 cs.NE
A New Look at Spike-Timing-Dependent Plasticity Networks for Spatio-Temporal Feature Learning
imec(比利时微电子研究中心);KU Leuven(鲁汶大学);VUB(布鲁塞尔自由大学)
我们提出了新的理论基础,无监督尖峰定时依赖可塑性(STDP)学习脉冲神经网络(SNN)。与以往大多数工作中使用的经验参数搜索相比,我们为SNN和STDP参数调整提供了新的理论依据,大大减少了设计时间。使用我们的通用框架,我们提出了一类全局的,基于动作的和卷积SNN-STDP架构,用于从基于事件的相机中学习时空特征。我们在N-MNIST、CIFAR 10-DVS和IBM DVS 128手势数据集上评估了我们的方法,所有这些数据集都是用真实世界的事件相机采集的。使用我们的框架,我们报告了与传统的最先进的基于事件的特征描述符(CIFAR 10-DVS上+8.2%)相比,以及与最先进的基于STDP的系统(N-MNIST上+9.3%,IBM DVS 128 Gesture上+7.74%)相比,分类准确性的显着提高。我们的工作有助于神经形态边缘设备中的超低功耗学习,并朝着生物学上合理的,基于优化的皮质视觉理论。
2022-02-22 cs.CV cs.NE
Convolutional Spike Timing Dependent Plasticity based Feature Learning in Spiking Neural Networks
Purdue University(普渡大学)
脑启发学习模型试图模仿构成人脑的神经元和突触中执行的皮层架构和计算,以实现其在认知任务中的效率。在这项工作中,我们提出了卷积尖峰时间依赖可塑性的特征学习与生物学上合理的泄漏集成和发射神经元的脉冲神经网络(SNN)。我们使用共享权重内核,这些内核被训练用于对输入模式的代表性特征进行编码,从而提高学习模型的稀疏性和鲁棒性。我们证明了所提出的无监督学习方法学习几个视觉类别的对象识别与较少的例子,并优于传统的全连接SNN架构,同时产生竞争力的准确性。此外,我们观察到,学习模型执行集外泛化,进一步使拟议的生物合理的框架,为未来的神经形态应用程序的可行和有效的架构。
2017-03-20 cs.AI cs.CV cs.NE
A Cloud-Edge Framework for Energy-Efficient Event-Driven Control: An Integration of Online Supervised Learning, Spiking Neural Networks and Local Plasticity Rules
University of Oklahoma(俄克拉荷马大学)
本文提出一种云-边缘框架,在物理对象端部署基于SNN和局部可塑性规则的学习型控制器,通过事件驱动和阈值更新机制实现节能控制,在跟踪误差降低96%的同时能耗仅为传统方法的0.3%。
2024-04-12 cs.AI cs.LG cs.NE
A Spiking Neural Network Structure Implementing Reinforcement Learning
本文提出一种仅使用脉冲信号、易于在神经芯片上实现的脉冲神经网络结构来实现强化学习,并通过在仿真DVS摄像机视野中追踪混沌运动光点的任务验证了其有效性。
2023-09-22 cs.NE
A Biologically Plausible Supervised Learning Method for Spiking Neural Networks Using the Symmetric STDP Rule
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心)
脉冲神经网络(SNN)由于基于事件的计算而具有能量有效的潜力。然而,SNN的监督训练仍然是一个挑战,因为尖峰活动是不可区分的。以前的SNN训练方法通常可以分为两个基本类,即,反向传播类训练方法和基于可塑性的学习方法。前一种方法依赖于能量效率低的实值计算和非本地传输,这也是人工神经网络(ANN)所需的,而后者要么被认为是生物学上不可信的,要么表现出很差的性能。因此,SNN的生物学合理(bio-plausible)高性能监督学习(SL)方法仍然存在缺陷。在本文中,我们提出了一种新的生物合理的SNN模型的基础上对称尖峰定时依赖可塑性(sym-STDP)的规则,发现在神经科学的SL。通过将sym-STDP规则与生物合理的突触缩放和动态阈值的内在可塑性相结合,我们的SNN模型很好地实现了SL,并在基准识别任务(MNIST数据集)中取得了良好的性能。为了揭示SL模型的潜在机制,我们在训练后使用t分布随机邻居嵌入(t-SNE)方法可视化了基于层的活动和突触权重,并发现它们被很好地聚类,从而展示了出色的分类能力。此外,为了验证我们模型的鲁棒性,我们在另一个更真实的数据集(Fashion-MNIST)上进行了训练,该数据集也表现出了良好的性能。由于学习规则是生物合理的,并且纯粹基于局部尖峰事件,我们的模型可以很容易地应用于神经形态硬件的在线训练,并可能有助于理解SL信息处理在突触水平上的生物神经系统…
2019-10-06 cs.AI cs.LG cs.NE
Sleep-Based Homeostatic Regularization for Stabilizing Spike-Timing-Dependent Plasticity in Recurrent Spiking Neural Networks
本研究提出基于睡眠的神经元稳态正则化方法,通过周期性离线阶段稳定递归脉冲神经网络中的脉冲时间依赖可塑性学习。
2026-01-13 cs.NE stat.ML
Extending Spike-Timing Dependent Plasticity to Learning Synaptic Delays
State University of New York at Buffalo(纽约州立大学布法罗分校);Rochester Institute of Technology(罗切斯特理工学院)
本文提出一种扩展STDP的新学习规则,用于同时学习突触权重和延迟,在神经形态SNN分类任务中优于现有方法,并揭示突触效能与延迟的相互作用。
2025-06-17 cs.LG cs.NE
High-parallelism Inception-like Spiking Neural Networks for Unsupervised Feature Learning
Sun Yat-sen University(中山大学);The University of Sydney(悉尼大学)
脉冲神经网络(SNN)是受大脑启发的、事件驱动的机器学习算法,在生产超高能效硬件方面得到了广泛认可。在现有的神经网络中,基于突触可塑性的无监督神经网络,特别是尖峰时间依赖可塑性(STDP),被认为在模仿生物大脑的学习过程中具有很大的潜力。然而,现有的基于STDP的SNN在受限的学习能力和/或缓慢的学习速度方面具有限制。大多数基于STDP的SNN采用缓慢学习的全连接(FC)架构,并使用次优的基于投票的方案进行尖峰解码。在本文中,我们克服了这些局限性:1)设计了一个高并行网络结构,灵感来自于人工神经网络(ANN)的初始模块; 2)使用全民投票(VFA)解码层作为标准的基于投票的尖峰解码方案的替代,以减少尖峰解码中的信息损失,以及,3)提出了一种自适应复极(重置)机制,通过增强尖峰活动来加速SNN的学习。我们在两个已建立的基准数据集上的实验结果(MNIST/EMNIST)的结果表明,与广泛使用的FC架构和更先进的本地连接(LC)架构相比,我们的网络架构具有更出色的性能,并且我们的SNN与最先进的无监督SNN相比取得了有竞争力的结果(在MNIST/EMNISE数据集上的准确率为95.64%/80.11%),同时具有卓越的学习效率和对硬件损坏的鲁棒性。我们的SNN仅用数百次训练迭代就实现了很高的分类精度,大量突触或神经元的随机破坏只会导致微不足道的性能下降。
2021-03-09 cs.LG cs.NE q-bio.NC
Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer Spiking Neural Networks based on Spike-Timing-Dependent Plasticity
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局高性能计算研究所);National University of Singapore(新加坡国立大学)
针对脉冲神经网络训练难题,提出欲望反向传播算法,将输出误差转化为期望脉冲活动并融入STDP局部更新,实现全局误差最小化,在MNIST和Fashion-MNIST上分别取得98.41%和87.56%的准确率,且计算高效。
2023-10-17 cs.AI cs.ET cs.NE
Learning the Plasticity: Plasticity-Driven Learning Framework in Spiking Neural Networks
该研究提出脉冲神经网络的可塑性驱动学习框架PDLF,通过学习可塑性规则而非直接训练权重,提升AI系统工作记忆、多任务能力及动态环境适应性,推动神经科学与AI融合。
2024-02-01 cs.NE
A Memristive Synapse for Online STDP Learning and Inference in SNNs
Universitat Politècnica de Catalunya - BarcelonaTech (UPC)(加泰罗尼亚理工大学)
本文提出一种全模拟忆阻突触电路,实现SNN在线STDP学习,无需外部控制,仿真验证了电导适应与神经元特化。
2026-09-15 cs.AR cs.ET cs.NE
Building Supervision into Hebbian Plasticity through Spike Agreement
School of Data Science, IISER Thiruvananthapuram, India(数据科学学院,泰米尔纳德邦印度理工学院);School of Physics, IISER Thiruvananthapuram, India(物理学院,泰米尔纳德邦印度理工学院)
本文提出监督性尖峰一致性依赖可塑性,用于提升spiking神经网络的快速局部学习能力,通过群体一致性度量替代成对比较,实现高效监督学习。
2026-09-11 cs.LG cs.NE
CoLaNET -- A Spiking Neural Network with Columnar Layered Architecture for Classification
本文提出CoLaNET脉冲神经网络,采用柱状分层架构并结合反赫布与多巴胺调制局部可塑性规则,在基于模型的强化学习状态接近度评估任务中展示了高性能。
2025-03-12 cs.NE
Learning Precise Spike Timings with Eligibility Traces
University of Tübingen(蒂宾根大学)
最近在脉冲神经网络(SNN)领域的研究表明,SNN的递归变体,即长短期SNN(LSNN),可以通过误差梯度来训练,就像LSTM一样有效。底层学习方法(e-prop)是基于应用于泄漏积分和激发(LIF)神经元的资格迹的形式化。在这里,我们表明,所提出的方法不能完全展开尖峰时间依赖可塑性(STDP)。因此,这在原则上限制了SNN的固有优势,即开发依赖于精确相对尖峰定时的代码的潜力。我们表明,STDP感知的突触梯度自然出现在资格方程的e-prop时,推导出一个稍微复杂的尖峰神经元模型,在这里的例子的Izhikevich模型。我们还提出了一个简单的扩展LIF模型,提供类似的梯度。在一个简单的实验中,我们证明了STDP感知LIF神经元可以从基于e-prop的梯度信号中学习精确的尖峰定时。
2020-05-08 cs.LG cs.NE
Spike Agreement Dependent Plasticity: A scalable Bio-Inspired learning paradigm for Spiking Neural Networks
School of Data Science, Indian Institute of Science Education and Research, Thiruvananthapuram, India(数据科学学院,印度科学教育与研究学院,特里布文纳纳特帕尔姆,印度);School of Data Science, Indian Institute of Science Education(数据科学学院,印度科学教育与研究学院);School of Physics, Indian Institute of Science Education(物理学院,印度科学教育与研究学院)
本文提出脉冲一致性依赖可塑性(SADP),用群体级相关性度量替代精确脉冲对时序以推广STDP,实现线性时间复杂度和高效硬件部署,并在MNIST及Fashion-MNIST上结合样条核取得优于经典STDP的准确率与运行时间。
2025-08-22 cs.LG cs.NE
Fatiguing STDP: Learning from Spike-Timing Codes in the Presence of Rate Codes
IBM Research – Zurich(IBM苏黎世研究院)
脉冲神经网络(SNN)可以在无监督机器学习应用中发挥关键作用,凭借与从基于事件的信号的精细时间结构中学习相关的优势。然而,一些尖峰定时相关的强度SNN的尖峰定时相关的可塑性(STDP)规则的敏感性,输入尖峰率的阻碍,因为精细的时间相关性可能会被阻塞的发射率之间的粗糙的相关性。在这篇文章中,我们提出了一个尖峰时间依赖的学习规则,允许神经元学习的时间编码的信息,尽管存在率代码。我们的长期可塑性规则利用了短期突触疲劳动力学。我们分析表明,与传统的STDP规则相比,我们的疲劳STDP(FSTDP)有助于学习时间代码,我们推导出必要的条件来优化学习过程。我们展示了FSTDP在学习合成数据中不同速率过程之间的尖峰时间相关性方面的有效性。最后,我们使用FSTDP来检测来自美国的真实天气数据中的相关性,该算法使用包括相变忆阻器件的神经形态硬件平台。综上所述,我们的分析和演示表明,FSTDP铺平了道路,在现实世界中的应用程序中的SNN的尖峰为基础的优势的开发。
2017-06-17 cs.LG cs.NE stat.ML
Learning with Spike Synchrony in Spiking Neural Networks
School of Biomedical Engineering, The University of Sydney(悉尼大学生物医学工程学院);Department of Electrical and Computer Engineering, University of California, Santa Cruz(加州大学圣克鲁兹分校电气与计算机工程系)
针对脉冲神经网络现有可塑性规则未利用生物同步活动模式的问题,提出脉冲同步依赖可塑性(SSDP)方法,通过局部后优化调整突触权重,提升收敛稳定性与鲁棒性,为神经学习的同步计算原理提供新见解。
2025-08-25 cs.AI cs.NE
A Spiking Network that Learns to Extract Spike Signatures from Speech Signals
具有自适应突触的脉冲神经网络反映了生物神经网络的核心特性。语音识别作为一个涉及音频编码和动态学习的应用,为研究SNN功能提供了很好的测试问题。我们提出了一个简单的,新颖的,高效的非经常性SNN,学会将语音信号转换为尖峰训练签名。该签名与表示不同单词的其他语音信号的签名是可区分的,从而使得能够在仅使用尖峰神经元的设备中进行数字识别和区分。该方法使用一个小的,nonrecurrent SNN组成的Izhikevich神经元配备了尖峰时间依赖性可塑性(STDP)和生物现实的突触。这种方法引入了一种高效快速的网络,无需错误反馈训练,尽管它确实需要监督训练。新的模拟结果产生歧视性的尖峰训练模式的口语数字,其中高度相关的尖峰列车属于同一类别和低相关的模式属于不同的类别。建议SNN使用的极光语音数据集的一个子集,其中使用的口头数字识别任务进行评估。实验结果表明,该网络在准确率和复杂度方面表现良好。
2017-03-12 cs.NE
SpykeTorch: Efficient Simulation of Convolutional Spiking Neural Networks with at most one Spike per Neuron
深度卷积脉冲神经网络(SNN)在人工智能(AI)任务中的应用最近引起了人们的极大兴趣,因为SNN是硬件友好且节能的。与非尖峰对应物不同,大多数现有的SNN仿真框架对于大规模AI任务来说实际上不够有效。本文介绍了SpykeTorch,这是一个基于PyTorch的开源高速仿真框架。该框架模拟了卷积SNN,每个神经元最多有一个尖峰,并且采用了秩序编码方案。在学习规则方面,实现了尖峰时间依赖可塑性(STDP)和奖励调制STDP(R-STDP),但其他规则可以很容易地实现。除了上述属性,SpykeTorch是高度通用的,能够复制各种研究的结果。所提出的框架中的计算是基于张量的,完全由PyTorch函数完成,这反过来又带来了在CPU,GPU或多GPU平台上运行的即时优化能力。
2019-07-16 cs.NE q-bio.NC
Multi-Depth Temporal Fusion for Feedforward, Locally Trained Spiking Neural Networks
University of Padua(帕多瓦大学)
提出一种结合残差连接与多深度时间融合的脉冲神经网络,通过局部学习规则在多个视觉数据集上显著提升分类性能。
2026-10-01 cs.CV cs.LG cs.NE
File Classification Based on Spiking Neural Networks
本文提出了一种基于脉冲神经网络的大数据集文件分类系统。包含在键-值元数据对中的文件信息通过一种新的相关时间编码方案映射到输入到SNN的尖峰模式。输入尖峰模式之间的相关性由文件相似性度量确定。首先讨论使用尖峰时间依赖可塑性(STDP)的这种网络的无监督训练。然后,监督SNN训练被认为是通过误差信号的反向传播,该误差信号是通过将输出神经元处的尖峰模式与代表所需类别的目标模式进行比较而获得的。分类精度测量的各种公开可用的数据集与数以万计的元素,并与其他学习算法,包括逻辑回归和支持向量机。仿真结果表明,所提出的基于SNN的系统使用忆阻突触可以代表一个有效的替代经典的机器学习算法的推理任务,特别是在环境中的异步摄取的输入数据和有限的资源。
2020-04-08 cs.NE
An STDP-Based Supervised Learning Algorithm for Spiking Neural Networks
Tsinghua University(清华大学);Huawei Technology(华为技术有限公司)
与基于速率的人工神经网络相比,脉冲神经网络(SNN)为大脑提供了一个更合理的生物模型。但它们如何执行监督学习仍然是难以捉摸的。受到Bengio等人近期作品的启发,我们提出了一个监督学习算法的基础上尖峰定时依赖可塑性(STDP)的分层SNN的泄漏积分和消防(LIF)神经元。为突触前神经元设计了一个时间窗口,只有该窗口中的尖峰信号参与STDP更新过程。该模型是在MNIST数据集上训练的。分类精度的方法,多层感知器(MLP)的结构相似的标准反向传播算法训练。
2022-03-07 cs.AI cs.NE
Training a Hidden Markov Model with a Bayesian Spiking Neural Network
了解基于统计的信号处理机制如何与生物学机制(如神经网络)相结合是有一定意义的。本文探讨了一种新的混合方法分类段的顺序数据,如个人的口语作品。该方法结合了隐马尔可夫模型(HMM)和脉冲神经网络(SNN)。HMM由状态和转移组成,形成具有非自适应转移概率的固定骨干。然而,SNN实现了基于生物学的贝叶斯计算,该计算来自于尖峰时间依赖可塑性(STDP)学习规则。HMM的发射(观察)概率在SNN中表示,并使用STDP规则进行训练。每个具有相同架构的单独SNN与HMM的每个状态相关联。由于STDP训练,每个SNN实现期望最大化算法来学习一个HMM状态的发射概率。该模型进行了研究合成的尖峰训练数据,也对口语数据。初步结果表明,它的性能与其他生物动机的方法相比毫不逊色。由于该模型的独特性和最初的承诺,它值得进一步研究。它提供了一些关于大脑如何在神经回路中实现HMM的新想法。
2016-07-20 cs.NE
ITP-STDP: A Hardware-Efficient Intrinsic-Timing Power-of-Two Synaptic Learning Engine for On-Chip SNNs
School of Electrical and Electronic Engineering, The University of Sheffield(谢菲尔德大学电子与电气工程学院);Donghai Laboratory(东海实验室);Engineering Research Center of Oceanic Sensing Technologyand Equipment, Ministry of Education(教育部海洋传感技术与设备工程研究中心);State Key Laboratory of Ocean Sensing and Ocean College, Zhejiang University(浙江大学海洋传感与海洋学院国家重点实验室)
针对SNN训练中权重更新计算量大导致的硬件资源与能耗问题,提出基于内在时序二次幂的STDP算法(ITP-STDP)及其硬件架构,通过算法与硬件优化消除大部分计算开销,在FPGA和ASIC平台上实现能效和速度的显著提升。
2026-09-01 cs.AI cs.AR cs.NE
Minibatch Processing in Spiking Neural Networks
脉冲神经网络(SNN)是一种很有前途的候选生物启发和能量有效的计算。然而,它们的模拟是出了名的耗时,并且可能被视为开发具有潜在部署在神经形态硬件平台上的竞争性训练方法的瓶颈。为了解决这个问题,我们提供了一个小批处理的实现应用于基于时钟的SNN模拟,导致大幅增加的数据吞吐量。据我们所知,这是脉冲神经网络模拟器中小批处理的第一个通用实现,该模拟器与任意神经元和突触模型一起工作。我们展示了几乎恒定的时间缩放与批量大小的模拟设置(高达GPU内存限制),并展示了大批量大小在两个SNN应用程序域的有效性,导致$\approx$ 880倍和$\approx$ 24倍的挂钟时间分别减少。不同的参数减少技术,以产生不同的学习结果,在模拟的网络训练与尖峰时间依赖的可塑性。机器学习从业者和生物建模者都可以从这种方法所能实现的大幅减少的模拟时间和增加的迭代速度中受益。可以在https://github.com/djsaunde/snn-minibatch上找到本文中再现基准测试和实验结果的代码。
2019-09-05 cs.NE
Bio-Inspired Multi-Layer Spiking Neural Network Extracts Discriminative Features from Speech Signals
脉冲神经网络(SNN)由于其稀疏的、基于脉冲的编码方案而实现了功率高效的实现。本文开发了一种生物启发的SNN,使用无监督学习从语音信号中提取有区别的特征,随后可以用于分类器。该架构由一个尖峰卷积/池化层和一个用于特征发现的完全连接的尖峰层组成。泄漏、积分和激发(LIF)神经元的卷积层代表主要的声学特征。全连接层配备了概率尖峰定时依赖可塑性学习规则。这一层通过概率LIF神经元表示区分特征。为了评估学习到的特征的辨别能力,它们被用于隐马尔可夫模型(HMM)用于语音数字识别。实验结果表明,与流行的统计特征提取方法相比,性能超过96%。我们的研究结果提供了一个新的示范SNN的无监督特征采集。
2017-06-10 cs.NE cs.SD
Unsupervised AER Object Recognition Based on Multiscale Spatio-Temporal Features and Spiking Neurons
Zhejiang University(浙江大学)
提出了一种无监督的地址事件表示(AER)对象识别方法.所提出的方法包括一种新的多尺度时空特征(MuST)表示输入AER事件和一个脉冲神经网络(SNN)使用尖峰时间相关的可塑性(STDP)与MuST的对象识别。MuST提取了AER事件流的时空信息中所包含的特征,形成了一种信息丰富、结构紧凑的特征尖峰表示。我们不仅展示了MuST如何利用尖峰信号更有效地传达信息,而且还展示了它如何有利于使用SNN进行识别。识别过程以无监督的方式执行,不需要指定SNN的每个单个神经元的期望状态,因此可以灵活地应用于现实世界的识别任务。实验在五个AER数据集上进行,其中包括一个新的名为Gesture-DVS的数据集。大量的实验结果表明,该方法的有效性和优势。
2019-11-19 cs.CV cs.NE eess.IV
EMBER: Autonomous Cognitive Behaviour from Learned Spiking Neural Network Dynamics in a Hybrid LLM Architecture
Independent Researcher(独立研究者)
本文提出EMBER架构,通过学习的脉冲神经网络动态实现大语言模型与记忆之间的关系重组,利用STDP和奖励调节学习实现自主行为决策。
2026-04-14 cs.AI cs.NE
FSpiNN: An Optimization Framework for Memory- and Energy-Efficient Spiking Neural Networks
Technische Universität Wien (TU Wien)(维也纳工业大学);New York University Abu Dhabi (NYU AD)(纽约大学阿布扎比分校)
脉冲神经网络(SNN)由于其事件驱动的处理而受到关注,该处理在硬件平台中潜在地消耗低功率/能量计算,同时由于脉冲定时依赖可塑性(STDP)规则而提供无监督学习能力。然而,最先进的SNN需要占用大量内存才能实现高精度,因此很难部署在嵌入式系统上,例如电池供电的移动设备和物联网边缘节点。为此,我们提出了FSpiNN,一个优化框架,用于获得内存和能源效率的SNN的训练和推理处理,具有无监督学习能力,同时保持准确性。它通过以下方式实现:(1)减少神经元和STDP操作的计算需求,(2)提高基于STDP的学习的准确性,(3)通过定点量化压缩SNN,以及(4)在优化过程中纳入内存和能量需求。FSpiNN通过减少神经元操作的数量、基于STDP的突触权重更新和STDP复杂度来降低计算需求。为了提高学习的准确性,FSpiNN采用基于时间步长的突触权重更新,并自适应地确定STDP增强因子和有效抑制强度。实验结果表明,与最先进的工作相比,FSpiNN实现了7.5倍的内存节省,并在MNIST和Fashion MNIST数据集上将训练的能效平均提高了3.5倍,推理的能效平均提高了1.8倍,对于具有4900个兴奋性神经元的网络没有准确性损失,从而为边缘设备/嵌入式系统提供了节能的SNN。
2020-07-17 cs.LG cs.NE
Fusing Event-based Camera and Radar for SLAM Using Spiking Neural Networks with Continual STDP Learning
KU Leuven(鲁汶大学);imec(比利时微电子研究中心);Gent University(根特大学);VUB(布鲁塞尔自由大学)
这项工作提出了一种首创的SLAM架构,融合了基于事件的相机和调频连续波(FMCW)雷达,用于无人机导航。每个传感器都由生物启发的脉冲神经网络(SNN)处理,具有持续的尖峰定时依赖可塑性(STDP)学习,如在大脑中观察到的那样。与大多数基于学习的SLAM系统相比,其a)需要获取其中必须执行导航的环境的代表性数据集并且b)需要离线训练阶段,我们的方法不需要任何离线训练阶段,而是SNN经由STDP在运行中从输入数据连续学习特征。同时,SNN输出被用作环路闭合检测和地图校正的特征描述符。我们进行了大量的实验,以基准测试我们的系统对国家的最先进的RGB方法,我们证明了我们的DVS-雷达SLAM方法的鲁棒性在强烈的光照变化。
2022-10-09 cs.CV cs.NE cs.RO
From "What" to "When" -- a Spiking Neural Network Predicting Rare Events and Time to their Occurrence
本研究提出一种由LIF神经元构成的柱状分层脉冲神经网络,通过局部突触可塑性规则学习,可预测目标事件发生时间,在ATARI乒乓球奖励预测任务中精度优于决策树、CNN等方法,且具备硬件友好性。
2023-11-09 cs.NE
Efficient Memristive Spiking Neural Networks Architecture with Supervised In-Situ STDP Method
Indian Statistical Institute(印度统计研究所);Balasore Alloys Limited(巴拉索尔合金有限公司)
本文提出一种采用监督式原位STDP算法的忆阻SNN架构,无需外部控制硬件,经LTspice评估,在Iris、BCW数据集及5×3二值图像上实现高识别准确率与鲁棒性。
2026-09-01 cs.ET cs.NE
Synchrony-Gated Plasticity with Dopamine Modulation for Spiking Neural Networks
多巴胺调节的同步塑性通过同步度和损失敏感机制提升脉冲神经网络的准确率
2025-12-08 cs.NE
Topology Optimization of Random Memristors for Input-Aware Dynamic SNN
the University of Hong Kong(香港大学);ACCESS – AI Chip Center for Emerging Smart Systems, InnoHK Centers(ACCESS新兴智能系统AI芯片中心(InnoHK中心));Institute of Microelectronics, Chinese Academy of Sciences(中国科学院微电子研究所)
本文提出PRIME框架,通过优化随机忆阻脉冲神经网络拓扑并采用输入感知动态早停策略,在保持性能的同时大幅提升能效并降低计算负载。
2024-07-26 cs.AI cs.ET cs.NE
Supervised learning of spatial features with STDP and homeostasis using Spiking Neural Networks on SpiNNaker
Manchester Metropolitan University(曼彻斯特城市大学);The University of Manchester(曼彻斯特大学);Sheffield Hallam University(谢菲尔德哈勒姆大学)
本文提出一种基于STDP和稳态可塑性的SNN监督学习方法,用于识别空间模式,在SpiNNaker上实现,单模式识别准确率达100%,多模式识别受模式相似性影响,可应用于静态图像和网络流量分析。
2024-06-24 cs.AI cs.NE
MorphIC: A 65-nm 738k-Synapse/mm$^2$ Quad-Core Binary-Weight Digital Neuromorphic Processor with Stochastic Spike-Driven Online Learning
神经网络加速器领域的最近趋势研究权重量化作为增加硬件设备的资源和功率效率的手段。由于完整的片上权重存储对于避免片外存储器访问的高能量成本是必要的,因此对于权重存储的存储器减少要求被推向使用二进制权重,当使用量化感知训练技术时,二进制权重被证明在许多应用上具有有限的准确度降低。并行地,脉冲神经网络(SNN)架构被探索以在处理稀疏的基于事件的数据流时进一步降低功率,而片上基于尖峰的在线学习出现为在训练阶段期间功率和资源受限的应用的关键特征。然而,设计功率和面积高效的脉冲神经网络仍然需要开发特定的技术,以便在不损害突触密度的情况下利用二进制权重的片上在线学习。在这项工作中,我们展示了MorphIC,一个四核二进制权重数字神经形态处理器嵌入随机版本的尖峰驱动的突触可塑性(S-SDSP)学习规则和分层路由结构的大规模芯片互连。MorphIC SNN处理器在65 nm CMOS中为2.86 mm $^2$的有源硅面积嵌入了总共2k个泄漏积分激发(LIF)神经元和超过200万个塑性突触,实现了738 k个突触/mm $^2$的高密度。与先前提出的SNN相比,MorphIC在MNIST分类任务的面积精度权衡方面表现出数量级的改进,同时在能量精度权衡方面没有任何损失。
2019-07-16 cs.ET cs.NE
Representation Learning using Event-based STDP
虽然在传统神经网络框架内开发的表示学习方法相对成熟,但开发尖峰表示模型仍然是一个具有挑战性的问题。本文提出了一种基于事件的方法来训练前馈脉冲神经网络(SNN)层以提取视觉特征。该方法引入了一种新的尖峰定时相关的可塑性(STDP)的学习规则和阈值调整规则都来自一个矢量量化的目标函数的稀疏性约束。STDP规则是通过矢量量化标准的梯度获得的,该矢量量化标准被转换为基于尖峰的时空局部更新规则,该规则在泄漏的积分激发(LIF)神经元的尖峰网络中。该模型的独立性和稀疏性是通过阈值调整规则和在由WTA阈值尖峰神经元组成的表示层中实施抑制的softmax函数来实现的。这些机制共同实现了一种基于尖峰的竞争性学习形式。在MNIST和自然图像数据集上进行了两组实验。结果表明,稀疏尖峰视觉表示模型具有低重建损失与国家的最先进的视觉编码方法相媲美,但我们的规则是本地的时间和空间,因此在生物学上合理和硬件友好。
2018-03-09 cs.NE q-bio.NC