Neural Sampling by Irregular Gating Inhibition of Spiking Neurons and Attractor Networks
理论神经科学的一个悠久传统是将大脑中的感觉处理视为推断不完美感觉输入的最大一致解释的过程。最近，它已被证明，伽玛带抑制可以使神经吸引子网络近似执行这样的采样机制。在本文中，我们提出了一种新的神经网络模型的基础上不规则的门控抑制，分析显示它如何实现一个蒙特卡洛马尔可夫链（MCMC）采样器，并描述了它如何可以用来模拟网络的神经吸引以及单尖峰神经元。最后，我们将展示如何将此模型应用于尖峰神经元产生一个新的假定机制，可用于实现随机突触权重在生物神经网络和神经形态硬件。
2017-09-01 q-bio.NC
Stochastic dynamics of a finite-size spiking neural network
我们提出了一个简单的马尔可夫模型的尖峰神经动力学，可以解析求解的随机动力学特征的有限大小的尖峰神经网络。我们给出了封闭形式的估计的平衡分布，平均速率，方差和自相关函数的网络活动。该模型适用于任何网络，其中网络中神经元的激发概率仅取决于在前一个时间段中激发的神经元的数量。具有统计上均匀的连接性和不太长的膜和突触时间常数的网络可以满足这些条件。我们的模型完全考虑了网络的大小和放电活动的相关性。它还允许我们研究网络动力学如何偏离平均场理论。我们表明，该模型和解决方案是适用于尖峰神经网络在生物制药合理的参数制度。
2007-01-26 q-bio.NC
Generalized activity equations for spiking neural network dynamics
在揭示尖峰神经网络的计算能力方面已经取得了很大的进展。然而，与速率神经元相比，尖峰神经元的模拟成本总是更高，因为时间尺度的固有差异-尖峰持续时间比尖峰间时间短得多，而尖峰间时间比任何学习时间尺度都短得多。在数值分析中，这是一个经典的刚性问题。尖峰神经元也更难以分析研究。使尖峰网络更易于处理的一种可能方法是用一些关于尖峰相关性的信息来增强平均场活动模型。例如，这样的广义活动模型可以自洽地携带关于尖峰速率和尖峰之间的相关性的信息。在这里，我们将展示如何通过构建网络的完整正式概率描述，然后围绕一个小参数（如网络中神经元数量的倒数）展开来实现这一点。系统的平均场理论给出了类速率描述。微扰展开中的一阶项保持跟踪协方差。
2013-10-30 q-bio.NC
The Heidelberg spiking datasets for the systematic evaluation of spiking neural networks
University of Heidelberg（海德堡大学）；Friedrich Miescher Institute for Biomedical Research（弗里德里希·米歇尔生物医学研究所）
脉冲神经网络是大脑中多功能和节能的信息处理的基础。虽然我们目前缺乏对这些网络如何计算的详细了解，但最近开发的优化技术使我们能够在计算机上实例化越来越复杂的功能性脉冲神经网络。这些方法有望构建更高效的非冯·诺依曼计算硬件，并将为解开大脑回路功能的探索提供新的前景。为了加速这些方法的发展，客观地比较它们的性能是必不可少的。然而，目前还没有广泛接受的手段来比较脉冲神经网络的计算性能。为了解决这个问题，我们引入了两个基于尖峰的分类数据集，广泛适用于基准测试脉冲神经网络的软件和神经形态硬件实现。为了实现这一点，我们开发了一个通用的音频到尖峰转换程序的灵感来自神经生理学。此外，我们将这种转换应用于现有的和新的语音数据集。后者是我们专门为这项研究创建的免费，高保真和单词级对齐的海德堡数字数据集。通过训练一系列常规和尖峰分类器，我们表明，利用这些数据集内的尖峰定时信息是获得良好分类精度的关键。这些结果为今后脉冲神经网络的性能比较提供了参考。
2020-10-23 cs.LG cs.NE q-bio.NC
Pattern Separation in a Spiking Neural Network of Hippocampus Robust to Imbalanced Excitation/Inhibition
齿状回的有效模式分离在海马的信息存储中起着重要作用。目前的知识的结构和功能的海马，内嗅皮层和齿状回，在图案分离被纳入我们的模型。一个三层前馈尖峰神经网络的灵感来自啮齿动物海马，配备了简化的突触和分子机制。本研究的目的是使一个尖峰神经网络能够在由不同水平的刺激或网络损伤引起的兴奋/抑制比不平衡的情况下进行模式分离。本工作提出了一个新的理论，在齿状回神经元的突触和连接的损害，导致不平衡的兴奋-抑制活动的神经元的鲁棒性的细胞机制。这种尖峰神经网络使用简化的分子和细胞假设机制，并证明了在不同水平的刺激下信息的有效存储，并且可以在认知机器人中实现。
2018-08-01 q-bio.NC
Unsupervised Image Classification Through Time-Multiplexed Photonic Multi-Layer Spiking Convolutional Neural Network
我们提出了一个深度光子尖峰卷积神经网络的结果，基于两部分VCSEL，针对图像分类。训练是基于无监督的尖峰时间依赖可塑性，而神经元时间复用和超快响应被利用，以减少90%的物理神经元计数
2020-09-16 eess.IV q-bio.NC
Predictive Coding as Stimulus Avoidance in Spiking Neural Networks
预测编码可以被认为是减少输入信号和自上而下预测之间的误差的函数。如果减少错误等同于减少来自环境的刺激的影响，则预测编码可以被视为通过预测来避免刺激。我们以前的研究表明，脉冲神经网络通过脉冲时间依赖的可塑性（STDP）产生刺激回避的行为和选择。在这项研究中，我们证明了具有随机结构的脉冲神经网络会自发地学习仅基于STDP来预测刺激的时间序列。
2019-11-21 cs.NE q-bio.NC
Effects of Neural Heterogeneity on Spiking Neural Network Dynamics
大脑是由相互作用的神经元组成的复杂网络，这些神经元在其生理和尖峰特性方面表现出相当大的异质性。神经异质性如何影响宏观神经动力学，以及它如何促进神经动力学功能？在这封信中，我们解决这些问题，通过研究异质Izhikevich神经元网络的宏观动力学。我们推导出这些网络的平均场方程，并研究Izhikevich神经元尖峰阈值的异质性如何影响新兴的宏观动力学。我们的研究结果表明，抑制种群的异质性水平控制耦合兴奋性和抑制性神经元系统的共振和滞后特性。因此，神经异质性可以作为一种手段，以控制动态库的介观脑回路。
2022-06-17 nlin.AO q-bio.NC
Accurate Detection of Spiking Motifs by Learning Heterogeneous Delays of a Spiking Neural Network
本文逆向光栅图生成模型，提出结合时间卷积的可微逻辑回归脉冲模式检测方法，并通过监督学习在合成SUA数据中准确恢复脉冲模式。
2023-09-25 q-bio.NC
Event-Based Backpropagation can compute Exact Gradients for Spiking Neural Networks
尖峰神经网络使用离散尖峰将模拟计算与基于事件的通信相结合。虽然深度学习的令人印象深刻的进步是通过使用反向传播算法训练非尖峰人工神经网络实现的，但将该算法应用于尖峰网络之前受到离散尖峰事件和不连续性的存在的阻碍。第一次，这项工作推导出反向传播算法的连续时间尖峰神经网络和一般的损失函数，通过应用伴随方法与适当的偏导数跳跃，允许反向传播通过离散尖峰事件没有近似。该算法EventProp在尖峰时间反向传播错误，以便以基于事件的时间和空间稀疏方式计算精确梯度。我们使用通过EventProp计算的梯度，使用尖峰时间或基于电压的损失函数在阴阳和MNIST数据集上训练网络，并报告竞争性能。我们的工作支持基于梯度的学习算法在尖峰神经网络的严格研究，并提供了他们在新的大脑启发的硬件实现的见解。
2021-05-31 cs.NE q-bio.NC
Normalisation of Weights and Firing Rates in Spiking Neural Networks with Spike-Timing-Dependent Plasticity
保持稀疏激发的能力对于神经网络中的信息编码至关重要。此外，尖峰稳态对于具有变化的权重和神经元数量的脉冲神经网络至关重要。我们讨论了一系列的网络稳定的方法，灵感来自稳态突触可塑性机制在大脑中报告。这些包括权重缩放，以及作为网络尖峰活动函数的权重变化。我们测试了所有神经元和神经元类型的权重总和的归一化。我们研究了这种方法如何影响射击率和性能的时间序列数据的聚类移动的几何形状的形式。我们发现，神经元类型特定的归一化是防止脉冲神经网络中权重漂移的一种很有前途的方法，从而实现更长的训练周期。它可以适用于具有架构可塑性的网络。
2019-09-30 cs.NE q-bio.NC
Optimizing the energy consumption of spiking neural networks for neuromorphic applications
aiCTX AG（aiCTX公司）
在过去的几年中，脉冲神经网络已经被证明与常规卷积神经网络表现相当。几项工作已经提出了将预先训练的CNN转换为尖峰CNN而不显著牺牲性能的方法。我们首先证明了CNN的量化感知训练可以提高SNN的准确性。将CNN转换为尖峰CNN的好处之一是利用SNN的稀疏计算，从而以较低的能耗执行等效计算。在这里，我们提出了一个有效的优化策略，训练尖峰网络在较低的能量消耗，同时保持类似的准确性水平。我们展示了MNIST-DVS和CIFAR-10数据集上的结果。
2020-05-04 cs.LG cs.NE q-bio.NC
A Spiking Neural Network with Local Learning Rules Derived From Nonnegative Similarity Matching
新的理论方法的出现将加速脉冲神经网络算法的设计和分析。在这种方法的尝试中，我们提供了一个原则性的推导尖峰算法的无监督学习，从非负的相似性匹配成本函数。由此产生的网络由整合和消防单位和表现出本地学习规则，使其生物合理，也适合神经形态硬件。我们在模拟中表明，该算法可以执行稀疏特征提取和流形学习，这两个任务可以制定为非负相似性匹配问题。
2019-02-18 cs.NE q-bio.NC
Gradient learning in spiking neural networks by dynamic perturbation of conductances
我们提出了一种方法来估计目标函数相对于尖峰神经网络的突触权重的梯度。该方法通过测量响应于神经元的膜电导的动态扰动的目标函数中的波动来工作。它与具有动态突触的基于电导的模型神经元的递归网络兼容。该方法可以被解释为一个生物学上合理的突触学习规则，如果动态扰动是由一类特殊的“神经”突触产生的随机脉冲序列从外部源驱动。
2006-01-19 q-bio.NC
BindsNET: A machine learning-oriented spiking neural networks library in Python
脉冲神经网络仿真软件的开发是实现神经系统建模和生物启发算法开发的关键组成部分。现有的软件框架支持广泛的神经功能、软件抽象级别和硬件设备，但通常不适合快速原型化或应用于机器学习领域中的问题。在本文中，我们描述了一个新的Python包，用于模拟脉冲神经网络，特别是面向机器学习和强化学习。我们的软件名为BindsNET，可以快速构建和模拟尖峰网络，并具有用户友好，简洁的语法。BindsNET构建在PyTorch深度神经网络库之上，为大型尖峰网络提供快速的CPU和GPU计算。可以调整BindsNET框架以满足其他现有计算和硬件环境的需求，例如，TensorFlow。我们还提供了OpenAI gym库的接口，允许在强化学习问题上训练和评估尖峰网络。我们认为，该软件包有利于使用尖峰网络进行大规模的机器学习实验，并展示了一些简单的例子，我们设想如何在实践中使用BindsNET。BindsNET代码可在www.example.com上获取
2018-12-10 cs.NE q-bio.NC
Smooth Exact Gradient Descent Learning in Spiking Neural Networks
本文针对脉冲神经网络中脉冲突变导致梯度下降困难的问题，提出基于连续变化脉冲动力学的精确梯度下降方法，支持脉冲的添加与移除，并在循环和深度等网络中验证了其有效性。
2025-01-28 cs.NE q-bio.NC
Using Firing-Rate Dynamics to Train Recurrent Networks of Spiking Model Neurons
递归神经网络是理解和建模计算和神经元群体表示的强大工具。连续变量或“速率”模型网络已被分析和广泛应用于这些目的。然而，神经元激发动作电位，并且尖峰的离散性质是神经回路动力学的重要特征。尽管取得了重大进展，但训练循环连接的尖峰神经网络仍然是一个挑战。我们提出了一个训练循环连接的尖峰网络自主生成动态模式，产生复杂的时间输出的基础上集成网络输入，并模拟生理数据的过程。我们的程序利用一个连续变量网络来识别训练尖峰模型神经元的输入的目标。令人惊讶的是，我们能够构建尖峰网络，重复连续变量网络执行的任务，而神经元的数量只有相对较小的扩展。我们的方法为“发射率”模型的重要性和适当使用提供了一种新颖的观点，并且它是构建模型尖峰网络的有用方法，可用于解决有关神经系统中表示和计算的重要问题。
2016-01-28 q-bio.NC
Stimulus sensitivity of a spiking neural network model
最近的一些论文将复杂系统的临界性与它们的最大信息处理能力联系起来。在本文中，我们考虑高维点过程，称为年龄相关的Hawkes过程，已被用来模拟尖峰神经网络。使用平均场近似，网络对刺激的响应计算，我们提供了一个概念的刺激灵敏度。似乎在亚临界状态下达到最大灵敏度，但对于一系列生物学相关参数几乎是关键的。
2017-11-14 math.PR q-bio.NC
Elucidating the theoretical underpinnings of surrogate gradient learning in spiking neural networks
该研究探讨了脉冲神经网络中替代梯度的理论基础，证明其与随机自动微分和神经元逃逸噪声函数的关系，并证实其在随机多层网络中的有效性。
2024-11-17 cs.NE q-bio.NC
Integration of continuous-time dynamics in a spiking neural network simulator
当代神经网络动力学建模方法主要考虑两类模型：生物接地尖峰神经元和功能启发的基于速率的单元。这里提出的统一仿真框架支持两种多尺度建模方法的结合，通过尖峰网络仿真对平均场方法进行定量验证，以及通过使用相同的仿真代码和相同的网络模型规范来增加两种模型类的可靠性。虽然最有效的尖峰模拟依赖于离散事件的通信，但速率模型需要神经元之间的时间连续交互。利用的概念相似性，包括间隙连接尖峰网络模拟，我们到达一个参考实现的瞬时和延迟之间的相互作用，基于速率的模型在尖峰网络模拟器。速率动态与一般连接和通信基础设施的分离确保了框架的灵活性。我们进一步证明了广泛的适用性的框架，考虑各种例子从文献中，从随机网络到神经场模型。该研究为联合仿真中基于速率的模型和尖峰效应模型之间的相互作用提供了前提。
2016-10-31 q-bio.NC q-bio.QM
Training of spiking neural networks based on information theoretic costs
脉冲神经网络是一种神经元之间通过脉冲进行通信的人工神经网络。尖峰是由其到达时间表征的相同布尔事件。尖峰神经元具有内部动力学，并且响应于输入的历史，而不是仅响应于当前输入。由于这些特性，脉冲神经网络具有丰富的内在能力来处理时空数据。然而，由于尖峰是不连续的“是或否”事件，因此将传统的训练过程（例如梯度下降）应用于尖峰神经元并非微不足道。在这篇论文中，我们提出使用随机尖峰神经元模型，其中尖峰输出的概率是参数的连续函数。我们制定了几个学习任务的最小化某些信息理论的成本函数，使用尖峰输出概率分布。我们开发了一个广义的随机尖峰神经元和一个新的尖峰神经元模型，允许灵活地处理丰富的时空数据的描述。我们为以下任务制定和推导学习规则：- 检测时空模式作为负对数似然的最小化的监督学习任务，神经元输出的稳定性（熵）-一种无监督学习任务，以熵的最小化来增加神经元输出的稳定性-控制代理的强化学习任务，作为神经元输出的滤波后的样本的调制优化。我们测试了衍生的学习规则在几个实验中，如时空模式检测，时空数据存储和召回与自联想记忆，结合监督和无监督学习，以加快学习过程，简单的虚拟代理在不断变化的环境中的自适应控制。
2016-02-15 cs.NE q-bio.NC
Neuro-symbolic computing with spiking neural networks
European Space Agency (ESTEC)（欧洲航天局（ESTEC））；European Commission, Joint Research Centre (JRC)（欧盟委员会联合研究中心（JRC））；Siemens AG Technology（西门子股份公司技术部）
针对脉冲神经网络难以处理图数据与符号推理的问题，研究结合图嵌入与反向传播训练技术，提出可编码符号多关系信息的脉冲神经符号计算框架，适用于多类脉冲神经元且支持端到端训练。
2022-08-04 cs.LG cs.NE q-bio.NC
Gradient Descent for Spiking Neural Networks
Salk Institute（索尔克研究所）
尽管大脑中的信息处理主要由产生称为尖峰的离散脉冲的动态神经元执行，但许多关于神经计算的研究都基于产生模拟输出的静态神经元的网络模型。由于缺乏有效的尖峰网络监督学习算法，阻碍了基于尖峰计算的研究。在这里，我们提出了一个梯度下降法优化尖峰网络模型，通过引入一个可微的制定尖峰网络，并推导出精确的梯度计算。为了演示，我们在两个动态任务上训练了循环尖峰网络：一个是需要优化快速（~毫秒）基于尖峰的交互以有效编码信息，另一个是在延长的持续时间（~秒）内延迟记忆XOR任务。结果表明，我们的方法确实优化了尖峰网络动态的时间尺度上的个人尖峰以及行为的时间尺度。总之，我们的研究结果提供了一个通用的监督学习算法的尖峰神经网络，从而推动了进一步的研究基于尖峰的计算。
2017-06-19 cs.LG cs.NE q-bio.NC
Supervised Learning of Logical Operations in Layered Spiking Neural Networks with Spike Train Encoding
很少有用于脉冲神经网络的监督训练的算法存在，可以处理多个尖峰的模式，并且它们的计算特性在很大程度上是未探索的。我们在一组模拟中证明了ReSuMe学习算法可以成功地应用于分层神经网络。输入和输出模式被编码为多个精确定时的尖峰的尖峰序列，并且网络学习将输入序列转换为目标输出序列。这是通过将ReSuMe学习算法与下游神经元连接的乘法缩放相结合来完成的。我们特别指出，具有一个隐藏层的分层网络可以学习基本的逻辑运算，包括异或，而没有隐藏层的网络不能，反映了速率神经元分层网络的类似结果。虽然脉冲神经网络中的监督学习还不适合技术目的，但探索脉冲神经网络的计算特性可以促进我们对如何使用脉冲序列进行计算的理解。
2011-12-01 cs.NE q-bio.NC
SuperSpike: Supervised learning in multi-layer spiking neural networks
Stanford University（斯坦福大学）；University of Oxford（牛津大学）
大脑中的绝大多数计算都是由尖峰神经网络执行的。尽管这种尖峰无处不在，但我们目前缺乏对生物尖峰神经回路如何在体内学习和计算的理解，以及我们如何在计算机模拟的人工尖峰电路中实例化这种能力。在这里，我们重新审视时间编码多层尖峰神经网络的监督学习问题。首先，通过使用代理梯度的方法，我们推导出SuperSpike，一个非线性的基于电压的三因素学习规则，能够训练多层网络的确定性集成和消防神经元进行非线性计算的时空尖峰模式。其次，最近的结果反馈对齐的启发，我们比较我们的学习规则的性能在不同的信用分配策略下传播输出错误的隐藏单元。具体来说，我们测试均匀，对称和随机反馈，发现简单的任务可以解决任何类型的反馈，而更复杂的任务需要对称反馈。总之，我们的研究结果打开了一扇大门，以获得更好的科学理解的学习和计算尖峰神经网络，通过提高我们的能力，训练他们解决非线性问题，涉及不同的时空尖峰时间模式之间的转换。
2017-10-14 cs.LG cs.NE q-bio.NC
Exact computation of the Maximum Entropy Potential of spiking neural networks models
了解刺激和突触连接如何影响神经网络中尖峰模式的统计是计算神经科学的一个中心问题。最大熵方法已被成功地用于表征同时记录的发放神经元对刺激的统计响应。但是，尽管在预测方面表现良好，拟合参数并不能解释所观察到的相关性的根本机制原因。另一方面，发放神经元的数学模型（神经模拟模型）提供了刺激、网络结构和发放模式之间的条件概率映射。在本文中，我们建立了一个精确的神经模拟和最大熵模型之间的解析映射。
2014-05-14 physics.bio-ph q-bio.NC
Bio-plausible Unsupervised Delay Learning for Extracting Temporal Features in Spiking Neural Networks
神经元之间传导延迟的可塑性在学习中起着重要作用。然而，大脑中这种调制的确切潜在机制仍然是一个悬而未决的问题。了解突触延迟的精确调整可以帮助我们开发有效的大脑启发的计算模型，提供与实验证据一致的见解。在本文中，我们提出了一个无监督的生物合理的学习规则调整突触延迟脉冲神经网络。然后，我们提供了一些数学证明，表明我们的学习规则赋予神经元学习重复时空模式的能力。此外，应用基于STDP的脉冲神经网络配备我们提出的延迟学习规则的随机点运动图的实验结果表明，所提出的延迟学习规则在提取时间特征的有效性。
2020-11-18 cs.NE q-bio.NC
Probabilistic Inference of Binary Markov Random Fields in Spiking Neural Networks through Mean-field Approximation
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；University of Leicester（莱斯特大学）
最近的研究表明，人类大脑的认知过程被实现为概率推理，并且可以进一步通过概率图形模型（如马尔可夫随机场）进行建模。然而，目前还不清楚概率推理如何通过大脑中的尖峰神经元网络来实现。以往的研究试图通过置信传播算法和重新参数化将二进制马尔可夫随机场的推理方程与脉冲神经网络的动力学方程联系起来，但它们只适用于有限网络结构的马尔可夫随机场。本文提出了一种脉冲神经网络模型，可以实现任意二进制马尔可夫随机场的推理。具体地说，我们设计了一个尖峰循环神经网络，并证明了其神经元动力学在数学上等价于马尔可夫随机场的推理过程，采用平均场理论。此外，我们的平均场方法统一了以前的工作。理论分析和实验结果以及图像去噪的应用表明，我们提出的尖峰神经网络可以得到与平均场推理相当的结果。
2020-03-12 cs.LG q-bio.NC stat.ML
Memory-enriched computation and learning in spiking neural networks through Hebbian plasticity
Graz University of Technology（格拉茨技术大学）；Silicon Austria Labs（奥地利硅谷实验室）
记忆是生物神经系统的一个关键组成部分，它能够在从数百毫秒到数年的巨大时间范围内保留信息。虽然赫布可塑性被认为在生物记忆中起着关键作用，但到目前为止，它主要是在模式完成和无监督学习的背景下进行分析的。在这里，我们建议，赫布可塑性是生物神经系统中的计算的基础。我们介绍了一种新的脉冲神经网络架构，丰富了赫布突触可塑性。我们表明，赫布丰富呈现脉冲神经网络令人惊讶的通用性方面的计算以及学习能力。它提高了他们的分布外泛化、一次性学习、跨模态生成联想、语言处理和基于奖励的学习能力。由于脉冲神经网络是节能神经形态硬件的基础，这也表明可以基于该原理构建强大的认知神经形态系统。
2022-05-23 cs.LG cs.NE q-bio.NC
Stochasticity and Robustness in Spiking Neural Networks
人工神经网络通常需要精确的权重来操作，尽管它们起源于生物系统，而生物系统可能是高度可变和嘈杂的。然而，当实现利用模拟“突触”设备来编码权重的人工网络时，对这些值可以被编码的准确度和精度施加了固有的限制。在这项工作中，我们研究了不准确的突触对尖峰神经元和脉冲神经网络的影响。从数学分析的积分和火灾（IF）神经元，包括不同的非理想（如泄漏和通道噪声），我们证明，噪声可以用来使IF神经元的行为更强大的突触不准确性。然后，我们训练尖峰网络，利用IF神经元与无噪声和泄漏，并通过实验证实，噪声网络更强大。最后，我们表明，一个嘈杂的网络可以容忍预期的不准确性时，氧化铌为基础的电阻随机存取存储器用于编码突触权重。
2019-06-06 cs.NE q-bio.NC
A Faster Approach to Spiking Deep Convolutional Neural Networks
University of Tehran（德黑兰大学）
脉冲神经网络（SNN）比当前的深度神经网络具有更接近大脑的动力学。它们的低功耗和样本效率使这些网络很有趣。最近，已经提出了几种深度卷积脉冲神经网络。这些网络旨在增加生物可扩展性，同时创建可应用于机器学习任务的强大工具。在这里，我们建议一个网络结构的基础上，以前的工作，以提高网络的运行时间和准确性。对网络的改进包括将训练迭代减少到只有一次，有效地使用主成分分析（PCA）降维，权重量化，分类的定时输出以及更好的超参数调整。此外，预处理步骤被改变为允许处理彩色图像，而不是仅处理黑白图像，以提高精度。所提出的结构细分了运行时间，并引入了一种有效的深度卷积SNN方法。
2022-10-31 cs.CV q-bio.NC
Supervised Learning in Multilayer Spiking Neural Networks
本文介绍了一种多层脉冲神经网络的监督学习算法。这里提出的算法克服了现有学习算法的一些局限性，因为它可以应用于发射多个尖峰的神经元，并且它原则上可以应用于任何可线性化的神经元模型。该算法成功地应用于各种基准，如XOR问题和虹膜数据集，以及复杂的分类问题。仿真还显示了这种监督学习算法的灵活性，该算法允许对尖峰定时模式进行不同的编码，包括精确的尖峰序列编码。
2012-02-10 cs.NE q-bio.NC
Fast and Efficient Information Transmission with Burst Spikes in Deep Spiking Neural Networks
Seoul National University（首尔国立大学）
脉冲神经网络（SNN）由于其能量有效的计算能力而被认为是最有前途的人工神经网络之一。最近，将训练的深度神经网络转换为SNN已经提高了深度SNN的准确性。然而，大多数以前的研究都没有取得令人满意的结果，在推理速度和能源效率。在本文中，我们提出了一种快速和节能的信息传输方法与突发尖峰和混合神经编码方案在深SNN。实验结果表明，本文提出的方法可以提高推理能量效率，缩短推理延迟.
2019-02-10 cs.LG cs.NE q-bio.NC
Identifying Mirror Symmetry Density with Delay in Spiking Neural Networks
George Washington University（乔治华盛顿大学）；Nanyang Technological University（南洋理工大学）
快速识别对称和反对称的能力是智能的一个基本属性。对称性感知是人类视觉中的一个中心过程，可能是人类3D可视化的关键。虽然以前的工作在理解神经元的对称性感知集中在神经元作为一个积分器，在这里，我们展示了如何的尖峰神经元的重合检测属性可以用来揭示空间数据中的对称密度。我们开发了一种方法，用于同步识别尖峰的人工神经网络，使分层和反馈的网络。我们展示了一种用于构建能够识别数据集之间的对称密度的网络的方法，并展示了在现场可编程门阵列中的8x8泄漏集成和发射对称检测器的数字逻辑实现。我们的研究结果表明，尖峰神经网络的效率可以用来快速识别空间数据的对称性，在图像处理，三维计算机视觉和机器人技术的应用。
2017-08-25 cs.CV q-bio.NC
Bifurcation Spiking Neural Network
脉冲神经网络（SNNs）因其在建模时变信号方面的巨大潜力而受到广泛关注。发放神经元的放电率由控制率决定，而控制率是预先人工确定的，因此，放电率是否足以对实际时间序列建模依赖于运气。虽然要求具有自适应的控制速率，但这是一个不平凡的任务，因为在训练过程中学习的控制速率和连接权重通常是纠缠在一起的。在本文中，我们表明，发放率有关的尖峰生成函数的本征值。受此启发，通过使尖峰生成函数具有自适应的特征值，而不是参数控制率，我们开发了分叉脉冲神经网络（BSNN），它具有自适应的发射率和控制率的设置是不敏感的。实验验证了BSNN在广泛的任务上的有效性，表明BSNN实现了优于现有SNN的性能，并且对控制率的设置具有鲁棒性。
2021-06-25 cs.NE q-bio.NC
Spiking Inception Module for Multi-layer Unsupervised Spiking Neural Networks
脉冲神经网络（SNN）作为一种大脑启发的方法，由于其产生超高能效硬件的潜力而引起人们的关注。基于尖峰时间依赖可塑性（STDP）的竞争学习是训练无监督SNN的一种流行方法。然而，以前通过这种方法训练的无监督SNN仅限于只有一个可学习层的浅层网络，并且与多层SNN相比无法获得令人满意的结果。1）受人工神经网络（ANN）文献中的Inception模块的启发，提出了Spiking Inception（Sp-Inception）模块。该模块通过基于STDP的竞争性学习进行培训，并在学习能力，学习效率和鲁棒性方面优于基线模块。2）我们提出了一个Pooling-Reshape-Activate（PRA）层来使Sp-Inception模块可堆叠。3）我们堆叠多个Sp-Inception模块来构建多层SNN。我们的算法在手写数字分类任务上的性能优于基线算法，并且在现有的无监督SNN中，在MNIST数据集上达到了最先进的结果。
2020-09-28 cs.LG cs.NE q-bio.NC
A Spike in Performance: Training Hybrid-Spiking Neural Networks with Quantized Activation Functions
Applied Brain Research Inc.（应用脑研究公司）；University of Waterloo（滑铁卢大学）
机器学习社区对神经网络的能量效率越来越感兴趣。脉冲神经网络（SNN）是一种有前途的节能计算方法，因为其激活水平被量化为时间稀疏的一位值（即，“尖峰”事件），其另外将重量-活动乘积的总和转换成重量的简单相加（每个尖峰一个重量）。然而，在将非尖峰网络转换为SNN时保持最先进（SotA）精度的目标仍然是一个难以捉摸的挑战，主要是由于尖峰只有一位精度。采用信号处理的工具，我们铸造的神经激活函数的量化器与时间扩散的误差，然后训练网络，同时顺利地插入之间的非尖峰和尖峰制度。我们将这种技术应用于Legendre Memory Unit（LMU），以获得混合SNN在准确性方面优于SotA递归架构（包括LSTM，GRU和NRU）的第一个已知示例，同时将活动平均减少到最多3.74位，每个权重乘以1.26个有效位。我们将讨论这些方法如何显著提高神经网络的能量效率。
2021-03-01 cs.LG q-bio.NC stat.ML
From Cortical Synchronous Rhythm to Brain Inspired Learning Mechanism: An Oscillatory Spiking Neural Network with Time-Delayed Coordination
Department of Psychiatry & Department of Computer Science（精神病学系与计算机科学系）
本文提出一种脑启发学习机制，通过迭代的自下而上和自上而下交互，实现认知层面的神经同步，利用振荡同步实现高效信息处理。
2026-05-03 cs.AI cs.LG q-bio.NC
Local learning through propagation delays in spiking neural networks
Oslo Metropolitan University（奥斯陆城市大学）；Norwegian University of Science and Technology（挪威科技大学）；Østfold University College（东福尔郡大学学院）
我们提出了一种新的局部学习规则的脉冲神经网络，其中尖峰传播时间经历活动依赖的可塑性。我们的可塑性规则调整突触前尖峰时间，以产生更强、更快的反应。输入通过延迟编码进行编码，输出通过匹配输出尖峰活动的类似模式进行解码。我们演示了使用这种方法在一个三层前馈网络的输入从数据库的手写数字。网络在训练后不断提高其分类准确性，并且使用这种方法进行训练还允许网络泛化到训练期间看不到的输入类。我们所提出的方法利用尖峰神经元的能力来支持许多不同的时间锁定序列的尖峰，其中每一个都可以被不同的输入激活。这里所示的概念验证证明了局部延迟学习在扩展脉冲神经网络的记忆容量和泛化能力方面的巨大潜力。
2022-10-27 cs.AI cs.LG cs.NE
Brain-inspired Graph Spiking Neural Networks for Commonsense Knowledge Representation and Reasoning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
人脑中的神经网络如何表征常识知识，并完成相关的推理任务，是神经科学、认知科学、心理学和人工智能的重要研究课题。传统的人工神经网络使用固定长度的向量来表示符号，虽然在某些特定任务中获得了不错的性能，但它仍然是一个缺乏可解释性的黑盒子，与人类感知世界的方式相去甚远。受神经科学中的祖母细胞假说的启发，本文研究了群体编码和尖峰时间依赖可塑性（STDP）机制如何被整合到脉冲神经网络的学习中，以及一个神经元群体如何通过引导不同神经元群体之间完成顺序放电来表示一个符号。不同社区的神经元群体共同构成了整个常识知识图谱，形成了一个巨图脉冲神经网络。此外，我们引入了奖励调制尖峰时间依赖可塑性（R-STDP）机制来模拟生物强化学习过程，并相应地完成相关的推理任务，实现了与图卷积人工神经网络相当的精度和更快的收敛速度。对于神经科学和认知科学领域，本文的工作为进一步探索人类大脑表征常识知识的方式提供了计算建模的基础。在人工智能领域，通过构造一种常识性的知识表示和推理出具有坚实生物相容性的脉冲神经网络，为实现更健壮、更可解释的神经网络指明了探索方向。
2022-07-11 cs.AI cs.LG cs.NE
Memory via Temporal Delays in weightless Spiking Neural Network
Tufts University（塔夫茨大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
神经科学界的一个共同观点是，记忆是由神经元之间的连接强度编码的。这种认知导致人工神经网络模型将连接权重作为调节学习的关键变量。在本文中，我们提出了一个原型的无重量脉冲神经网络，可以执行一个简单的分类任务。该网络中的记忆存储在神经元之间的时间中，而不是连接的强度，并且使用Hebbian Spike Timing Dependent Plasticity（STDP）进行训练，该训练调节连接的延迟。
2022-02-15 cs.AI cs.LG cs.NE
Neural coordination can be enhanced by occasional interruption of normal firing patterns: A self-optimizing spiking neural network model
传统Hopfield网络的状态空间通常表现出许多不同的吸引子，其中只有一小部分吸引子以全局最优的方式满足神经元之间的约束。最近的研究表明，将赫布学习与正常神经状态的偶尔改变相结合，可以通过自组织扩大最佳吸引域来避免这个问题。然而，到目前为止，还不清楚这种自我优化过程在多大程度上也适用于真实的大脑。在这里，我们证明了它可以转移到更生物合理的神经网络，通过实现一个自优化的尖峰神经网络模型。此外，通过使用这种尖峰神经网络来模拟具有Hebbian学习的Hopfield网络，我们试图在基于速率的神经系统和基于时间编码的神经系统之间建立联系。虽然需要进一步的工作，使这个模型更现实，它已经表明，自我优化过程的功效是独立于传统的Hopfield网络的简化假设。我们还讨论了自然和文化的过程，可能是负责偶尔改变神经放电模式在实际的大脑
2014-09-01 cs.NE nlin.AO q-bio.NC
