Multiplication-Free Parallelizable Spiking Neurons with Efficient Spatio-Temporal Dynamics
Peng Cheng Laboratory(鹏城实验室);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University(北京大学深圳研究生院电子与计算机工程学院);School of Computer Science, Peking University(北京大学计算机学院);Centre de Recherche Cerveau et Cognition (CERCO), UMR5549 CNRS–Université Toulouse 3(法国国家科学研究中心-图卢兹第三大学脑与认知研究中心);University of Chinese Academy of Sciences(中国科学院大学)
针对现有可并行脉冲神经元模型计算与内存成本高的问题,提出无乘法通道并行脉冲神经元,通过通道卷积、锯齿扩张和位移运算优化,在多数据集上性能优于SOTA且训练速度更快,为资源受限场景提供硬件友好方案。
2025-10-30 cs.NE
A thermodynamically consistent chemical spiking neuron capable of autonomous Hebbian learning
我们提出了一个完全自主的,化学反应的一致性,实现了一个尖峰神经元。这种化学神经元能够以赫布的方式学习输入模式。该系统可扩展到任意多个输入通道。我们展示了它在学习输入中的频率偏差以及不同输入通道之间的相关性方面的性能。时间相关性的有效计算需要高度非线性的激活函数。讨论了非线性激活函数的资源需求。除了化学上一致的CN模型,我们还提出了一个生物学上合理的版本,可以在合成生物学的背景下进行工程设计。
2020-09-28 cs.NE
FiTS: Interpretable Spiking Neurons via Frequency Selectivity and Temporal Shaping
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
FiTS通过将时间计算分解为频率选择性和时间塑造,改进了脉冲神经网络的时序建模,提升了简单前馈SNN在无回传和网络延迟下的性能,并提供了可解释的神经元层面频率和时间组织总结。
2026-11-04 cs.NE
Hyperdimensional Computing with Spiking-Phasor Neurons
向量符号架构(VSAs)是一个强大的框架,用于表示组合推理。它们适用于神经网络实现,使我们能够创建能够执行认知功能的神经网络,如空间推理、算术、符号绑定和逻辑。但是所涉及的向量可能相当大,因此另一个标签是超维(HD)计算。神经形态硬件的进步有望将神经网络的运行时间和能量足迹减少几个数量级。在本文中,我们扩展了一些开创性的工作,以运行VSA算法的尖峰神经元,可以有效地运行在神经形态硬件的基板上。
2023-02-28 cs.NE
Proposal for a Leaky-Integrate-Fire Spiking Neuron based on Magneto-Electric Switching of Ferro-magnets
人脑在执行分类任务时的效率吸引了对脑启发的类脑计算的相当大的研究兴趣。神经形态系统的硬件实现旨在通过神经元和突触权重的互连来模拟大脑中的计算。泄漏积分放电(LIF)模型被广泛用于模拟神经元动作电位的动力学。在这项工作中,我们提出了一个基于自旋的LIF尖峰神经元使用的铁磁体的磁电(ME)开关。跨ME氧化物的电压表现出典型的漏积分行为,这进而切换底层铁磁体。由于热噪声的影响,铁磁体表现出概率开关动力学,这让人想起生物神经元所表现出的随机性。与CMOS LIF神经元相比,ME开关机制的能量效率与铁磁体的固有非易失性相结合导致较低的能量消耗。为了研究LIF神经元在手写数字识别中的可行性,我们开发了一个设备到系统级的仿真框架
2016-09-29 cs.NE
BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and Balanced Excitatory-Inhibitory Neurons
脉冲神经网络(SNN)通过离散的脉冲信号传输信息,在处理时空信息方面表现良好。由于神经网络的不可微特性,设计性能良好的神经网络仍然存在困难。最近,由于梯度近似的提出,用反向传播训练的SNN表现出优越的性能。然而,在复杂任务上的性能与深度神经网络相比仍有很大差距。受脑内自发放电机制的启发,我们采用了一种自适应延迟的膜电位自反馈机制来调节放电的精确性。同时,我们采用平衡兴奋和抑制神经元的机制来动态控制发放神经元的输出。结合这两种机制,我们提出了一种具有自适应自反馈和平衡兴奋和抑制神经元的深度脉冲神经网络(BackEISNN)。在多个标准数据集上的实验结果表明,这两个模块不仅加快了网络的收敛速度,而且提高了精度。对于MNIST,FashionMNIST和N-MNIST数据集,我们的模型已经达到了最先进的性能。对于CIFAR 10数据集,我们的BackEISNN在与最先进的SNN竞争的相对较轻的结构上也获得了显着的性能。
2021-05-27 cs.NE
Populations of Spiking Neurons for Reservoir Computing: Closed Loop Control of a Compliant Quadruped
柔顺机器人可以比传统机器人更灵活,但它们的控制更复杂。然而,使用物理储备池计算框架,柔性体的动力学可以转变为优势。通过将传感器信号馈送到储存器并从储存器提取电机信号,闭环机器人控制是可能的。在这里,我们提出了一个新的框架,实现中央模式发生器与脉冲神经网络,以获得闭环机器人控制。使用FORCE学习范式,我们训练一个尖峰神经元群体的水库作为中央模式发生器。我们展示了学习预定义的步态模式,速度控制和步态过渡的一个模拟模型的顺应四足机器人。
2020-04-14 cs.NE
Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons
提出 Stochastic Parallelizable Spiking Neuron (SPSN),通过分离线性积分与非线性脉冲函数克服 LIF 神经元顺序训练限制,实现时间并行计算,在 SHD 数据集上训练速度提升最高达 4000 倍且性能优于 LIF 及非脉冲网络。
2023-06-22 cs.NE
Parallel Training in Spiking Neural Networks
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
本文提出了一种动态衰减脉冲神经元,通过去除重置机制实现并行训练,同时保持串行推断能力,提升了训练效率和通用性。
2026-02-01 cs.NE
Gibbs Sampling with Low-Power Spiking Digital Neurons
受限玻尔兹曼机和深度置信网络已经成功地用于各种各样的应用,包括图像分类和语音识别。这些算法中的推理和学习使用称为吉布斯采样的马尔可夫链蒙特卡罗过程。一个S形函数形成这个采样器的内核,它可以实现从发射统计的噪声集成和消防神经元上的神经形态VLSI基板。本文演示了这样的实现与随机泄漏和阈值属性的推理任务的数字尖峰神经元阵列,并提出了一些关键的性能指标,这样一个基于硬件的采样器在生成和歧视性的上下文中。
2015-03-27 cs.NE
A CMOS Spiking Neuron for Brain-Inspired Neural Networks with Resistive Synapses and In-Situ Learning
纳米电阻存储器有望为大规模神经形态系统的电子突触密集整合提供动力。为了实现这种大脑启发的计算芯片,需要一种紧凑的CMOS尖峰神经元,其在驱动大量电阻性突触的同时执行原位学习和计算。本文提出了一种新型的漏积分激发神经元设计,该设计实现了电流积分和突触驱动的双模操作,使用单个运算放大器,并实现了交叉电阻突触的原位学习。该设计采用0.18 $μ$ m CMOS工艺实现。测量显示神经元驱动一千个电阻性突触的能力,并展示了原位联想学习。神经元电路占据0.01 mm $^2$的小面积,并且具有9.3 pJ $/$锋电位$/$突触的能量效率。
2015-11-24 cs.NE
Community detection with spiking neural networks for neuromorphic hardware
我们目前的结果相关的性能的社区发现,其中包括事件驱动的计算算法。我们定义了一个映射,该映射将图G映射到尖峰神经元系统。使用具有抑制性和兴奋性突触连接两者的完全连接的尖峰发放神经元系统,可以将同一社区内的神经元的放电模式与不同社区中的神经元的放电模式区分开。在一个128个顶点的随机图和已知的社区结构,我们表明,通过使用二进制解码和汉明距离为基础的度量,可以确定个人社区的尖峰训练相似性。使用双极解码和有限速率阈值,我们验证了抑制连接防止尖峰模式的传播。
2017-11-20 cs.NE
Spiking Analog VLSI Neuron Assemblies as Constraint Satisfaction Problem Solvers
求解约束满足问题(CSP)是一项非常昂贵的计算任务。最近,有人提出,有效的随机求解器可以通过适当配置的脉冲神经网络执行马尔可夫链蒙特卡罗(MCMC)采样。在大规模并行、低功耗的神经形态硬件上运行这样的模型的可能性有很大的希望;然而,以前提出的网络是基于概率尖峰神经元的,因此依赖于随机数发生器或外部噪声源来实现必要的随机性,从而导致实现中的显著开销。在这里,我们将展示如何随机性可以实现确定性模型的集成和消防神经元使用亚阈值模拟电路,热噪声的影响。我们提出了一个有效的实现尖峰基于CSP求解器使用可重构的神经网络VLSI设备,和设备的固有噪声作为随机性的来源。为了说明整体概念,我们实现了一个通用的数独求解器基于我们的方法,并演示其操作。我们建立了神经元参数和系统动力学之间的联系,允许一个简单的温度控制机制。
2016-04-06 cs.NE
Spiking World Model with Multi-Compartment Neurons for Model-based Reinforcement Learning
该研究提出可非线性整合多树突信息的多隔室脉冲神经元,并构建 Spiking-WM,使 SNN 能用于基于模型的 DRL,在控制和长序列语音任务中表现优异。
2025-03-19 cs.NE
Improving Low-Latency Learning Performance in Spiking Neural Networks via a Change-Perceptive Dendrite-Soma-Axon Neuron
School of Information Engineering, Wuhan University of Technology(武汉理工大学信息工程学院)
本文提出了一种基于变化感知的树突-细胞体-轴突神经元模型,通过软重置策略和电位变化感知机制提升SNNs的低延迟学习性能。
2025-12-18 cs.NE
Learning Neuron Dynamics within Deep Spiking Neural Networks
Arizona State University(亚利桑那州立大学)
针对深度脉冲神经网络依赖简单神经元模型而性能受限的问题,本文提出可学习神经元模型(LNMs),通过低阶多项式参数化在训练中学习神经元动力学,在多个数据集上取得最先进性能。
2025-10-07 cs.NE
General Self-Prediction Enhancement for Spiking Neurons
Peking University(北京大学)
本研究提出了一种自预测增强的脉冲神经元方法,通过生成内部预测电流来提升SNNs的训练稳定性与准确性,同时符合生物原理。
2026-01-29 cs.NE
Controlling the latency in temporal coded spiking models for neuromorphic datasets
本研究针对神经形态数据集,提出通过分析控制延迟的延迟神经网络(DeNN)模型,在动态时间数据集上实证研究了其延迟-准确率权衡,解决了TTFS模型未测试时间数据集及延迟未知的问题。
2026-11-09 cs.NE
Neuroscience inspired scientific machine learning (Part-1): Variable spiking neuron for regression
Indian Institute of Technology Delhi(印度理工学院德里分校)
针对神经网络冗余信息传递导致功耗高的问题,本文提出一种融合LIF-SN与人工神经元的可变脉冲神经元(VSN),兼具间歇发放与连续激活特性,在低能耗下有效提升回归任务性能。
2023-11-15 cs.LG cs.NE
IzhiRISC-V -- a RISC-V-based Processor with Custom ISA Extension for Spiking Neuron Networks Processing with Izhikevich Neurons
KTH Royal Institute of Technology(皇家理工学院)
针对通用RISC-V处理器处理脉冲神经网络时因重复使用基本指令更新神经元导致能效优势被削弱的问题,提出IzhiRISC-V处理器,通过自定义神经形态ISA扩展及现有ALU的定制硬件扩展实现脉冲神经元更新,为构建大规模系统奠定基础。
2025-08-18 cs.AR cs.NE
Connecting Spiking Neurons to a Spiking Memristor Network Changes the Memristor Dynamics
忆阻器已被建议作为类脑计算元件。神经元的尖峰时间依赖可塑性和Hodgkin-Huxley模型都可以用忆阻器理论有效地建模。忆阻器的直流响应是电流尖峰。基于这三个事实,我们认为忆阻器可以很好地与神经元直接连接。在本文中,我们表明,连接一个尖峰的忆阻器网络的尖峰神经元细胞引起的忆阻器网络动力学的变化:消除忆阻器尖峰,我们表明,这是由于连接到水介质的影响,导致电流衰减率的变化与忆阻器状态的变化一致,提出更线性的$I-t$动力学,以及由于与尖峰发放神经元的相互作用而增加忆阻器尖峰发放速率。这表明神经元能够直接与忆阻器通信,而不需要计算机翻译。
2014-02-17 cs.ET cs.NE physics.bio-ph
Training Deep Spiking Auto-encoders without Bursting or Dying Neurons through Regularization
Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所)
脉冲神经网络是计算神经科学中下一代大脑模型的一种很有前途的方法。此外,与经典的人工神经网络相比,它们可以通过在专门的神经形态硬件中实现快速计算来作为AI的节能部署。然而,训练深度脉冲神经网络,特别是以无监督的方式,是具有挑战性的,并且脉冲模型的性能受到死亡或爆裂神经元的显著阻碍。在这里,我们将基于膜电位的反向传播的端到端学习应用于具有多个可训练层的泄漏积分和激发神经元的尖峰卷积自动编码器。我们提出了生物启发的正则化方法来控制潜在表示中的尖峰密度。在实验中,我们表明,对膜电位和尖峰输出应用正则化成功地避免了死亡和爆裂神经元,并显着降低了尖峰自动编码器的重建误差。在MNIST数据集上训练正则化网络产生的图像重建质量与非尖峰基线模型(确定性和变分自动编码器)相当,并表明对早期方法的改进。重要的是,我们表明,与变分自动编码器不同,尖峰潜在表示显示与图像类相关的结构。
2021-09-22 cs.LG cs.NE
Izhikevich-Inspired Optoelectronic Neurons with Excitatory and Inhibitory Inputs for Energy-Efficient Photonic Spiking Neural Networks
我们设计,原型,并实验证明,第一次我们所知的,光电尖峰神经元的灵感来自Izhikevich模型,将兴奋性和抑制性的光学尖峰输入和相应地产生光学尖峰输出。光电神经元由三个晶体管作为电尖峰电路,一个垂直腔表面发射激光器(VCSEL)的光学尖峰输出,和两个光电探测器的兴奋性和抑制性的光学尖峰输入。电容器和电阻器的额外包含完成了Izhikevich启发的光电神经元,其接收来自其他光电神经元的兴奋性和抑制性光尖峰作为输入。我们在Verilog-A中开发了一个详细的光电神经元模型,并模拟了具有兴奋性输入和抑制性输入信号的各种情况下的电路级操作。实验结果与模拟结果非常相似,并证明了兴奋性输入如何触发光学尖峰输出,而抑制性输入如何抑制输出。利用模拟的神经元模型,我们使用全连接(FC)和卷积神经网络(CNN)进行了模拟。使用MNIST手写数字识别的仿真结果表明,无监督学习的准确率为90%,监督的改进FC神经网络的准确率为97%。我们进一步利用量子阻抗转换设计了纳米级光电神经元,其中200 aJ/尖峰输入可以触发具有10 fJ/尖峰的片上纳米激光器的输出。纳米级神经元可以支持约80的扇出或克服19 dB的额外光损耗,同时在神经网络中以10 GSpikes/秒的速度运行,与Loihi和NeuroGrid等最先进的电神经形态硬件相比,这相当于100倍的吞吐量和1000倍的能效改进。
2021-05-03 cs.NE physics.optics
Spiking Deep Networks with LIF Neurons
Centre for Theoretical Neuroscience(理论神经科学中心);University of Waterloo(滑铁卢大学)
我们使用Leaky Integrate-and-Fire(LIF)神经元训练尖峰深度网络,并在CIFAR-10和MNIST数据集上实现了尖峰网络的最新结果。这表明,生物学上合理的尖峰脉冲LIF神经元可以集成到深度网络中,可以像其他尖峰脉冲模型(例如整合和激发)一样执行。我们通过软化LIF响应函数来实现这一结果,使得其导数保持有界,并通过使用噪声训练网络来提供对尖峰引入的可变性的鲁棒性。我们的方法是通用的,可以应用于其他神经元类型,包括现代神经形态硬件上使用的。我们的工作为现代图像分类模型带来了更多的生物现实主义,希望这些模型可以告知大脑如何执行这项艰巨的任务。它还提供了训练深度网络在神经形态硬件上运行的新方法,目的是为机器人应用提供快速,节能的图像分类。
2015-10-29 cs.LG cs.NE
GLIF: A Unified Gated Leaky Integrate-and-Fire Neuron for Spiking Neural Networks
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
脉冲神经网络(SNN)已经被研究了几十年,以结合其生物相容性并利用其有前途的能量效率。在现有的SNN中,通常采用泄漏积分和激发(LIF)模型来制定尖峰神经元,并演变成具有不同生物学特征的许多变体。然而,大多数基于LIF的神经元在不同的神经元行为中仅支持单一的生物学特征,限制了它们的表达能力和神经元动力学多样性。在本文中,我们提出了一个统一的尖峰神经元GLIF,融合不同的生物特征在不同的神经元行为,扩大了尖峰神经元的表示空间。在GLIF中,用于确定融合生物特征比例的门控因子在训练期间是可学习的。结合所有可学习的膜相关参数,我们的方法可以使尖峰神经元不同,不断变化,从而增加尖峰神经元的异质性和适应性。在各种数据集上的大量实验表明,与其他SNN相比,我们的方法通过简单地将其神经元配方改为GLIF来获得更好的性能。特别是,我们用GLIF训练了一个尖峰ResNet-19,并在CIFAR-100上用六个时间步长实现了$77.35\%$ top-1精度,这已经推进了最先进的技术水平。代码可在\url{https://github.com/Ikarosy/Gated-LIF}上获得。
2023-02-13 cs.AI cs.CV cs.NE
Training of spiking neural networks based on information theoretic costs
脉冲神经网络是一种神经元之间通过脉冲进行通信的人工神经网络。尖峰是由其到达时间表征的相同布尔事件。尖峰神经元具有内部动力学,并且响应于输入的历史,而不是仅响应于当前输入。由于这些特性,脉冲神经网络具有丰富的内在能力来处理时空数据。然而,由于尖峰是不连续的“是或否”事件,因此将传统的训练过程(例如梯度下降)应用于尖峰神经元并非微不足道。在这篇论文中,我们提出使用随机尖峰神经元模型,其中尖峰输出的概率是参数的连续函数。我们制定了几个学习任务的最小化某些信息理论的成本函数,使用尖峰输出概率分布。我们开发了一个广义的随机尖峰神经元和一个新的尖峰神经元模型,允许灵活地处理丰富的时空数据的描述。我们为以下任务制定和推导学习规则:- 检测时空模式作为负对数似然的最小化的监督学习任务,神经元输出的稳定性(熵)-一种无监督学习任务,以熵的最小化来增加神经元输出的稳定性-控制代理的强化学习任务,作为神经元输出的滤波后的样本的调制优化。我们测试了衍生的学习规则在几个实验中,如时空模式检测,时空数据存储和召回与自联想记忆,结合监督和无监督学习,以加快学习过程,简单的虚拟代理在不断变化的环境中的自适应控制。
2016-02-15 cs.NE q-bio.NC
Sub-threshold CMOS Spiking Neuron Circuit Design for Navigation Inspired by C. elegans Chemotaxis
我们展示了一个脉冲神经网络的导航动机的趋化网络的秀丽隐杆线虫。我们的网络使用有关跟踪变量浓度的时间梯度的信息来做出导航决策。梯度信息是通过模拟C.优雅仿真结果表明,我们的模型是能够觅食和跟踪的目标设定点在非常嘈杂的环境。我们开发了一个VLSI实现的主要梯度检测器神经元,它可以与标准的比较器电路集成,开发一个强大的电路导航和轮廓跟踪。
2014-10-29 cs.NE q-bio.NC
Counting to Ten with Two Fingers: Compressed Counting with Spiking Neurons
我们认为测量时间的任务与概率阈值门实现生物启发尖峰神经元。在脉冲神经网络的模型中,网络以离散的轮次进化,其中在每一轮中,神经元响应于足够高的膜电位而以脉冲方式发射。这种电位是由相邻神经元在前一轮放电时产生的尖峰信号诱导的,这些尖峰信号可能具有兴奋或抑制作用。我们首先考虑一个确定性的神经定时器的实现,并表明,$Θ(\log t)$(确定性)阈值门是足够的和必要的。这就提出了一个问题,即随机性是否可以用来减少神经元的数量。我们通过考虑具有尖峰神经元的神经计时器来肯定地回答这个问题,其中神经元$y$被要求以至少$1-δ$的概率激发$t$连续轮,并且对于某些输入参数$δ\in (0,1)$,应该以$1-δ$的概率在最多$2t$轮之后停止激发。我们的关键结果是一个神经计时器与$O(\log\log 1/δ)$尖峰神经元的建设。有趣的是,这种构造只使用一个尖峰神经元,而其余的神经元可以是确定性阈值门。我们补充这个建设与匹配的下限的$Ω(\min\{\log\log 1/δ, \log t\})$神经元。这在脉冲神经网络的设置中提供了确定性和随机化构造之间的第一个分离。最后,我们证明了有用的压缩计数网络同步神经网络。
2019-08-26 cs.DC cs.DS cs.NE
Parallel Spiking Neurons with High Efficiency and Ability to Learn Long-term Dependencies
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Shanghai Jiao Tong University(上海交通大学);Centre de Recherche Cerveau et Cognition (CERCO), UMR5549 CNRS - Univ. Toulouse 3(大脑与认知研究中心(CERCO),CNRS-图卢兹第三大学联合实验室)
针对普通脉冲神经元难以学习长期依赖且只能串行模拟的问题,提出并行脉冲神经元(PSN)及其变体,通过移除重置机制实现动力学并行化,在效率和准确率上取得显著优势。
2024-01-09 cs.CV cs.NE
Pendulum Model of Spiking Neurons
本研究提出基于阻尼受驱摆动力学的生物启发式脉冲神经元模型,具备二阶非线性动力学特性,支持时序敏感计算,扩展至STDP规则的多神经元层,给出代码与神经形态硬件部署方案,为能效神经计算系统提供基础。
2025-07-29 cs.NE q-bio.NC
A CMOS Spiking Neuron for Dense Memristor-Synapse Connectivity for Brain-Inspired Computing
密集集成CMOS尖峰神经元和纳米级忆阻器突触的神经形态系统开辟了一条新的脑启发计算途径。现有的硅神经元已经塑造了神经生物物理动力学,但与忆阻器突触不兼容,或者使用额外的训练电路,从而消除了使用忆阻器获得的大部分密度优势,或者能量效率低下。在这里,我们描述了一种新的CMOS尖峰泄漏积分和消防神经元电路。建立在具有单个运算放大器的可重构架构上,所描述的神经元容纳大量忆阻器突触,并且使得能够以优化的功耗进行在线尖峰定时依赖可塑性(STDP)学习。180 nm CMOS设计的仿真结果显示,在10,000个标称忆阻为1MΩ的忆阻器突触中实现STDP学习时,功率效率指标为97%,积分输入尖峰时的电流消耗仅为13μA。因此,所描述的CMOS神经元有助于大规模脑启发神经形态系统的通用构建块。
2015-06-08 cs.ET cs.NE
A First-Order Non-Homogeneous Markov Model for the Response of Spiking Neurons Stimulated by Small Phase-Continuous Signals
我们提出了一个一阶非齐次马尔可夫模型的连续刺激的尖峰神经元的interspike-interval密度。该模型允许的条件interspike-interval密度和固定interspike-interval密度被表示为两个单独的功能,其中之一只描述了神经元的特性,而另一个只描述了信号特性的产品。这允许在底层神经元模型未知或未很好确定时使用该模型来预测响应。该近似特别清楚地表明,信号自相关和互相关作为尖峰间期密度的自然特征而出现,并且对于小信号和中等噪声特别清楚。我们表明,该模型简化了尖峰神经元互相关系统的设计,并描述了一个四神经元互抑制网络,产生两个输入信号的互相关输出。
2008-07-09 cs.NE q-bio.NC
Improving Spiking Neural Network Accuracy Using Time-based Neurons
由于在von-Neumann架构上运行深度学习模型的功耗降低的根本限制,基于使用模拟神经元的低功耗脉冲神经网络的类脑计算系统的研究受到关注。为了集成大量的神经元,神经元需要被设计为占据小的面积,但是随着技术的缩小,模拟神经元难以缩放,并且它们遭受减小的电压净空/动态范围和电路非线性。鉴于此,本文首先对现有的基于电流镜的电压域神经元的非线性行为进行了建模,并在28 nm工艺中设计,并显示SNN推理精度会因神经元的非线性影响而严重下降。然后,为了缓解这个问题,我们提出了一种新的神经元,它在时域中处理传入的尖峰,并大大提高了线性度,从而提高了推理精度相比,现有的电压域神经元。在MNIST数据集上测试,所提出的神经元的推理出错率与理想神经元的推理错误率相差不到0.1%。
2022-03-02 cs.NE eess.SP
A theoretical basis for efficient computations with noisy spiking neurons
大脑中的神经元网络应用-与我们当前一代计算机硬件中的处理器不同-基于事件的处理策略,其中神经元稀疏地发出短脉冲(尖峰)以在特定时间点发出事件发生的信号。这种基于尖峰的计算有望比传统的时钟控制处理方案实质上更省电。然而,事实证明,设计能够进行高要求计算的尖峰神经元网络是非常困难的。我们在这里提出了一个新的理论框架,组织计算的尖峰神经元网络。特别是,我们表明,一个合适的设计,使他们能够解决硬约束满足问题的规划优化和验证逻辑推理的域。基本的设计原则采用噪声作为计算资源。然而,尖峰的时间(而不仅仅是尖峰率)在最终的计算中起着至关重要的作用。此外,可以证明旅行商问题的一个令人惊讶的计算优势的尖峰神经元网络相比,传统的人工神经网络和吉布斯采样。这种优势的识别一直是一个众所周知的开放问题。
2014-12-18 cs.NE q-bio.NC
Energy-Efficient High-Accuracy Spiking Neural Network Inference Using Time-Domain Neurons
由于在流行的冯·诺依曼架构上实现人工神经网络的局限性,最近的研究提出了基于脉冲神经网络(SNN)的神经形态系统,以降低功耗和计算成本。然而,基于电流镜或运算放大器的传统模拟电压域积分激发(I&F)神经元电路造成了诸如非线性或高功耗之类的严重问题,从而降低了SNN的推理精度或能量效率。为了同时实现高能量效率和高精度,本文提出了一种低功耗高线性时域I&F神经元电路。在28 nm CMOS工艺中设计和仿真,所提出的神经元导致超过4.3倍的低出错率的MNIST推理比传统的电流镜为基础的神经元。此外,所提出的神经元电路的功耗被模拟为每个神经元0.230uW,这是数量级低于现有的电压域神经元。
2022-04-10 cs.NE eess.SP
Learning Feedforward and Recurrent Deterministic Spiking Neuron Network Feedback Controllers
我们解决的问题,学习反馈控制的控制器是一个网络构造的确定性尖峰神经元。与以前基于神经元尖峰速率模型的研究相比,这里的控制信号由网络输出神经元生成的尖峰的精确时间位置确定。我们正式建模的问题作为一个混合动力系统,包括一个闭环之间的植物和尖峰神经元网络。我们推导出一种新的突触权重更新规则,通过该规则,尖峰神经元网络控制器学习在所需的设定点保持过程变量。该控制器实现其学习目标的基础上访问工厂的过程变量和他们的衍生物相对于不断变化的控制信号,特别是,它不需要工厂的内部模型。我们证明了有效性的规则,将其应用到经典的控制问题的车杆(倒立摆)和模型的鱼运动。实验表明,所提出的控制器具有一个稳定的区域相比,传统的PID控制器,其轨迹不同的定性从PID控制器,并在许多情况下,控制器实现其目标,使用非常稀疏的脉冲序列输出。
2018-09-25 cs.NE q-bio.NC
Event-Driven Tactile Learning with Location Spiking Neurons
Northwestern University(西北大学)
触觉对于各种日常任务至关重要。基于事件的触觉传感器和脉冲神经网络的新进展推动了事件驱动触觉学习的研究。然而,SNN使能的事件驱动的触觉学习仍然处于起步阶段,由于现有的尖峰神经元的有限的代表性能力和数据的高时空复杂性。在本文中,以提高现有的尖峰神经元的代表能力,我们提出了一种新的神经元模型称为“位置尖峰神经元”,它使我们能够以一种新的方式提取基于事件的数据的特征。此外,基于经典的时间尖峰响应模型(TSRM),我们开发了一个特定的位置尖峰神经元模型-位置尖峰响应模型(LSRM),作为SNN的一个新的构建块。此外,我们提出了一个混合模型,它结合了SNN与TSRM神经元和SNN与LSRM神经元捕捉复杂的时空依赖性的数据。大量的实验证明了我们的模型比其他事件驱动的触觉学习的作品有显着的改进,并显示了我们的模型和位置尖峰神经元的优越的能量效率,这可能会释放它们在神经形态硬件上的潜力。
2022-07-23 cs.AI cs.LG cs.NE
All-optical neuromorphic binary convolution with a spiking VCSEL neuron for image gradient magnitudes
首次提出并实验证明了光子尖峰垂直腔面发射激光器(VCSEL)神经元的全光二元卷积。从数字图像中提取并使用矩形脉冲进行时间编码的光学输入被注入VCSEL神经元中,VCSEL神经元以发射的快速(<100 ps长)尖峰的数量提供卷积结果。实验和数值结果表明,二进制卷积成功地实现了一个单一的尖峰VCSEL神经元和全光学二进制卷积可以用来计算图像梯度幅度检测边缘特征和分离源图像中的垂直和水平分量。我们还表明,这种全光尖峰二进制卷积系统是强大的噪声,可以与高分辨率图像。此外,所提出的系统提供了重要的优势,如超快的速度,高能效和简单的硬件实现,突出了尖峰光子VCSEL神经元的高速神经形态图像处理系统和未来的光子尖峰卷积神经网络的潜力。
2020-11-09 cs.NE physics.app-ph physics.optics
Signed Spiking Neuron Enabled by an Orthogonal-Easy-Axis Magnetic Tunnel Junction
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出一种基于正交易轴磁隧道结的紧凑型有符号脉冲神经元,通过自由层和钉扎层的正交易轴实现双极性脉冲生成,并映射磁矩动力学到有符号LIF膜电位演化,在CIFAR-10和CIFAR10-DVS上分别达到91.06%和77.40%的准确率。
2026-06-02 cs.AI cs.NE
A Practical Guide to Tuning Spiking Neuronal Dynamics for Computational Neuroscience and NeuroAI Research
Department of Computer Science, Rochester Institute of Technology(罗切斯特理工学院计算机系)
本研究针对计算神经科学与神经AI研究,探究脉冲神经网络的调优方法,重点分析LIF和RAF神经元的相关要素及SNN的其他设计要素对神经元动力学的影响。
2026-08-18 cs.NE q-bio.NC
An On-Chip Trainable Neuron Circuit for SFQ-Based Spiking Neural Networks
本研究提出一种面向基于SFQ的脉冲神经网络的片上可训练神经元电路,可通过调节阈值适配不同应用脉冲速率,经MIT LL SFQ5ee工艺优化,16输入下参数裕度超25%、吞吐量达3GHz,具备灵活可扩展特性。
2023-10-11 cond-mat.supr-con cs.NE
Ultra-Low Energy and High Speed LIF Neuron using Silicon Bipolar Impact Ionization MOSFET for Spiking Neural Networks
硅双极碰撞电离MOSFET由于浮体中寄生BJT的存在,为实现漏集成触发(LIF)神经元提供了可能。在这项工作中,我们提出了一种L形栅双极碰撞电离MOS(L-BIMOS),具有降低的击穿电压($V_{B}$ = 1.68 V),并展示了基于寄生BJT的正反馈机制的LIF神经元的功能。使用二维TCAD模拟,我们表明,提出的L-BIMOS具有低阈值电压(0.2V),并且对于L-BIMOS,发射单个尖峰所需的最小能量被计算为0.18pJ,这使得所提出的器件$194\times$比PD-SOI MOSFET硅神经元更节能(MOSFET硅神经元)和比基于模拟/数字电路的常规神经元高$5\times10^{3}$倍的能量效率。此外,当漏极偏置在$V_{DG}$ = 2.0 V时,所提出的L-BIMOS硅神经元表现出GHz范围内的尖峰频率。
2019-09-02 cond-mat.mes-hall cs.NE
Racing to Learn: Statistical Inference and Learning in a Single Spiking Neuron with Adaptive Kernels
本文介绍了突触树突核自适应神经元(SKAN),一个简单的尖峰神经元模型,进行统计推断和时空尖峰模式的无监督学习。SKAN是第一个提出的神经元模型,研究动态突触树突内核的影响,并证明他们的计算能力,即使在单个神经元的规模。定义神经元的规则集很简单,没有复杂的数学运算,如归一化,取幂甚至乘法。SKAN的功能来自简单的加法和二元过程的实时交互。与生物神经元一样,SKAN对信号和参数噪声具有鲁棒性,并且可以在其操作中利用两者。在网络规模上,神经元相互竞争,最快的神经元有效地隐藏了其学习的模式。对噪声的鲁棒性,高速和简单的构建块不仅使SKAN在计算神经科学中成为一个有趣的神经元模型,而且使其成为数字和模拟神经形态系统中实现的理想选择,这通过在现场可编程门阵列(FPGA)中的实现来证明。
2014-11-15 cs.NE q-bio.NC
Pattern recognition using spiking antiferromagnetic neurons
本研究利用反铁磁(AFM)神经元和SPAN算法构建人工神经网络,在不到一微秒的时间内实现了高精度、低功耗(皮焦耳级)的符号模式识别。
2024-07-30 cs.NE physics.comp-ph
Deep Spiking Neural Networks with Resonate-and-Fire Neurons
Microsoft EGDC(微软埃及游戏开发中心);U Barcelona(巴塞罗那大学)
在这项工作中,我们探索了一种新的脉冲神经网络(SNN)公式与共振和火灾(RAF)神经元(Izhikevich,2001)训练梯度下降通过反向传播。RAF-SNN虽然在生物学上更合理,但在不同的网络配置中,使用类似或更少的参数,实现了与机器学习文献中的传统模型相当或更高的性能。引人注目的是,RAF-SNN证明了在静态和动态条件下对测试/训练时引起的噪声的鲁棒性。与MNIST上的CNN相比,我们在测试时显示出比N(0,0.2)诱导噪声高25%的绝对准确度。与N-MNIST上的LSTM相比,我们在训练时显示出70%的绝对准确率和20%的诱导噪声。
2021-09-16 cs.LG cs.NE
Improving Performance of Spike-based Deep Q-Learning using Ternary Neurons
Electrical and Computer Engineering Department(电气与计算机工程系)
该研究针对深度Q学习中原有三值脉冲神经元性能逊于二值模型的问题,提出新型三值脉冲神经元缓解梯度估计偏差,构建DSQN网络,在7款Atari游戏上验证其性能优于二值模型,可用于机载自主决策。
2026-08-13 cs.LG cs.NE cs.SY
Exploiting High Performance Spiking Neural Networks with Efficient Spiking Patterns
CASIA(中国科学院自动化研究所);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心);University of Chinese Academy of Sciences(中国科学院大学)
脉冲神经网络(SNN)利用离散的脉冲序列来传输信息,极大地模拟了大脑的信息传输过程。虽然这种二值化的表示形式极大地提高了SNN的能量效率和鲁棒性,但它也在SNN和基于实值的人工神经网络的性能之间留下了很大的差距。大脑中存在多种不同的锋电位模式,这些锋电位模式的动态协同极大地丰富了表征能力。受生物神经元锋电位模式的启发,引入动态Burst模式,从网络信息容量的角度出发,设计了一种能够在短时性能和动态时间性能之间进行权衡的LIFB神经元。LIFB神经元具有三种模式,静息、规则发放和爆发发放。神经元的突发密度可以自适应调整,这大大丰富了表征能力。我们还提出了一种解耦方法,可以将LIFB神经元有损解耦为等价的LIF神经元,这表明LIFB神经元可以有效地在神经形态硬件上实现。我们在静态数据集CIFAR 10、CIFAR 100和ImageNet上进行了实验,结果表明,我们大大提高了SNN的性能,同时显著降低了网络延迟。我们还在神经形态数据集DVS-CIFAR 10和NCALIBRAT 101上进行了实验,结果表明,我们用一个小的网络结构实现了最先进的技术。
2023-01-29 cs.CV cs.NE
Multi-compartment Neuron and Population Encoding Powered Spiking Neural Network for Deep Distributional Reinforcement Learning
Brain-inspired Cognitive Intelligence Lab, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所类脑认知智能实验室);Center for Long-term Artificial Intelligence(长期人工智能中心);University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Chinese Academy of Sciences(中国科学院脑认知与脑智能技术重点实验室)
本文提出一种基于多区室神经元模型与群体编码的脉冲神经网络深度分布式强化学习算法,在Atari游戏中超越传统FQF及Spiking-FQF,并降低功耗。
2025-02-25 cs.AI cs.NE
Normalisation of Weights and Firing Rates in Spiking Neural Networks with Spike-Timing-Dependent Plasticity
保持稀疏激发的能力对于神经网络中的信息编码至关重要。此外,尖峰稳态对于具有变化的权重和神经元数量的脉冲神经网络至关重要。我们讨论了一系列的网络稳定的方法,灵感来自稳态突触可塑性机制在大脑中报告。这些包括权重缩放,以及作为网络尖峰活动函数的权重变化。我们测试了所有神经元和神经元类型的权重总和的归一化。我们研究了这种方法如何影响射击率和性能的时间序列数据的聚类移动的几何形状的形式。我们发现,神经元类型特定的归一化是防止脉冲神经网络中权重漂移的一种很有前途的方法,从而实现更长的训练周期。它可以适用于具有架构可塑性的网络。
2019-09-30 cs.NE q-bio.NC
Interfacing spiking VCSEL-neurons with silicon photonics weight banks towards integrated neuromorphic photonic systems
本研究实验验证了尖峰VCSEL神经元与硅光子微环权重库的两种互联配置,分别实现亚纳秒尖峰幅度加权和热调谐发放率编码,证明了两类器件集成用于神经形态光子系统的可行性。
2023-05-01 cs.NE physics.app-ph physics.optics
Single-Entity Spiking Neuron Models: Survey
Innopolis University(伊诺波利斯大学)
本文对生物合理神经系统数学建模的不同方法进行综述,基于模型特征分类,考虑多种模拟物,研究神经元等组件,因方法普遍性和创新观点进行选择,以提升所呈现信息的相关性。
2026-07-09 cs.NE q-bio.NC
RMP-SNN: Residual Membrane Potential Neuron for Enabling Deeper High-Accuracy and Low-Latency Spiking Neural Network
Purdue University(普渡大学)
脉冲神经网络(SNN)作为第三代人工神经网络,能够实现低功耗的事件驱动数据分析,近年来引起了广泛的研究兴趣。图像识别任务的最佳性能SNN是通过将训练的模拟神经网络(ANN)(由整流线性单元(ReLU)组成)转换为由具有“适当”激发阈值的积分和激发神经元组成的SNN来获得的。与原始ANN提供的准确度相比,转换后的SNN通常会导致准确度损失,并且需要相当数量的推理时间步长来实现最佳准确度。我们发现,转换后的SNN的性能下降源于使用“硬复位”尖峰神经元,被驱动到固定的复位电位,一旦其膜电位超过点火阈值,导致信息丢失在SNN推理。我们提出了ANN-SNN转换使用“软复位”尖峰神经元模型,称为残余膜电位(RMP)尖峰神经元,它保留了“残余”膜电位高于阈值在点火时刻。我们使用RMP神经元在具有挑战性的数据集上证明了VGG-16,ResNet-20和ResNet-34 SNN的近无损ANN-SNN转换,包括CIFAR-10(93.63% top-1),CIFAR-100(70.93% top-1)和ImageNet(73.09% top-1准确度)。我们的研究结果还表明,RMP-SNN超越了转换后的SNN提供的最佳推理准确性,其中“硬复位”尖峰神经元在网络架构和数据集上使用的推理时间步长减少了2-8倍。
2020-04-01 cs.CV cs.LG cs.NE
Boost Event-Driven Tactile Learning with Location Spiking Neurons
触觉感知对于各种日常任务至关重要。而事件驱动触觉传感器和脉冲神经网络(SNNs)的最新进展又推动了相关领域的研究。然而,SNN使能的事件驱动的触觉学习仍然处于起步阶段,由于现有的尖峰神经元的有限的表示能力和事件驱动的触觉数据的高时空复杂性。在本文中,以提高现有的尖峰神经元的表示能力,我们提出了一种新的神经元模型称为“位置尖峰神经元”,它使我们能够提取特征的事件为基础的数据在一个新的方式。具体地说,我们在经典的时间峰电位反应模型(TSRM)的基础上,发展了位置峰电位反应模型(LSRM)。此外,在最常用的时间泄漏积分触发(TLIF)模型的基础上,我们开发了位置泄漏积分触发(LLIF)模型。此外,为了证明我们提出的神经元的表示有效性,并捕捉事件驱动的触觉数据中复杂的时空依赖关系,我们利用位置尖峰神经元提出了两个混合模型的事件驱动的触觉学习。具体而言,第一混合模型将全连接SNN与TSRM神经元和全连接SNN与LSRM神经元相结合。第二种混合模型融合了TLIF神经元和空间脉冲图神经网络以及LLIF神经元和时间脉冲图神经网络。大量的实验表明,我们的模型的显着改善了国家的最先进的方法对事件驱动的触觉学习。此外,与相应的人工神经网络(ANN)相比,我们的SNN模型是10倍到100倍的能量效率,这表明我们的模型具有优越的能量效率,并可能为基于尖峰的学习社区和神经形态工程带来新的机会。
2022-12-19 cs.AI cs.LG cs.NE
Decoding Spiking Mechanism with Dynamic Learning on Neuron Population
Shanghai Jiao Tong University(上海交通大学)
认知神经科学的一个主要关注点是解码显性神经脉冲序列观察结果并推断神经回路下的潜在表征。然而,传统的方法需要对网络结构有很强的先验知识,很难满足对真实锋电位数据的要求。在这里,我们提出了一种新的神经网络的方法,称为神经元激活网络,提取神经信息显式地从单个试验神经元群体脉冲序列。我们提出的方法包括一个时空的学习过程中的感觉环境和人口图的消息传递机制,其次是神经元激活过程中的递归方式。我们的模型旨在重建神经元信息,同时推断神经元尖峰状态的表示。我们将我们的模型应用于视网膜神经节细胞,实验结果表明,我们的模型具有更强大的能力,在产生神经尖峰序列与高保真度比国家的最先进的方法,以及更有表现力,并有潜力揭示潜在的尖峰机制。源代码将与最终论文一起发布。
2019-11-21 cs.LG cs.NE q-bio.NC