Firing Rate Dynamics in Recurrent Spiking Neural Networks with Intrinsic and Network Heterogeneity
神经属性的异质性最近得到了很多关注，并越来越多地被认为是神经处理中的一个重要特征。尽管它的重要性，这一生理特征在传统上被忽视的理论研究皮层神经网络。因此，关于尖峰神经网络中细胞和回路异质性的后果仍然有很多未知数。特别是，结合网络或突触异质性和内在异质性尚未被系统地考虑，尽管事实上，这两个是已知的存在，并可能有显着的作用，在神经网络动力学。在一个典型的循环发放神经网络模型中，我们研究了这两种形式的异质性如何导致兴奋性放电率的不同分布。为了分析这些类型的异质性如何影响网络，我们采用了降维方法，该方法依赖于蒙特卡罗模拟和概率密度函数方程的组合。我们发现，内在的和网络的异质性之间的关系有很强的影响的整体水平的异质性的放电率。具体来说，这种关系可能导致放电率异质性的放大或衰减，这些影响取决于递归网络是异步放电还是有节奏放电。这些观察与上述的减少方法，并进一步简单的分析描述，基于这种降维方法的开发。最后的分析描述提供了紧凑和描述性的公式，内在和网络异质性之间的关系如何决定在各种设置的发射率异质性动态。
2016-11-21 q-bio.NC
Learning recurrent dynamics in spiking networks
Laboratory of Biological Modeling, NIDDK/NIH（美国国立糖尿病、消化系统疾病和肾病研究所（NIDDK）/美国国立卫生研究院（NIH）生物建模实验室）
参与学习和执行任务的神经元的尖峰活动表现出复杂的时空动态。虽然递归网络模型的输出可以学习执行各种任务，但学习后出现的递归动态的可能范围仍然未知。在这里，我们表明，修改经常性的连接与递归最小二乘算法提供了足够的灵活性，突触和尖峰速率动态尖峰网络产生广泛的时空活动。我们应用该训练方法来学习任意的放电模式，稳定平衡网络的不规则尖峰活动，并再现参与运动规划和运动的皮层神经元的异质尖峰速率模式。我们确定了成功学习的充分条件，描述了两种类型的学习错误，并评估了网络容量。我们的研究结果表明，突触耦合的周期性尖峰网络具有巨大的计算能力，可以支持大脑中的各种活动模式。
2018-08-18 cs.AI cs.LG cs.NE
Recurrent Interactions in Spiking Networks with Arbitrary Topology
群体活动的随机网络的兴奋性和抑制性泄漏整合和火灾（LIF）神经元已被广泛研究。特别是，在稀疏连接的网络中，出现了一种具有低放电率和低成对相关性的异步活动状态。我们应用线性响应理论来评估详细的网络结构对神经元动力学的影响。事实证明，由直接和间接网络连接引起的成对相关性可以与直接线性相互作用矩阵相关。此外，我们研究了神经元模型的特性的影响。解释重置为自我抑制，我们研究其影响，通过单神经元活动的频谱，对网络的自相关函数和整体相关水平。神经元模型也影响相互作用核的形式，从而影响依赖于时间的相关函数。我们最终发现，一个线性不稳定的网络与Erdens-Rényi拓扑结构一致的全球过渡到一个高度相关的网络状态。我们的工作表明，经常性的相互作用有深刻的影响，脉冲序列统计，并提供了工具，研究特定的网络拓扑结构的影响。
2012-03-22 q-bio.NC
Parallelized Hierarchical Connectome: A Spatiotemporal Recurrent Framework for Spiking State-Space Models
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出了一种并行化层次连接组（PHC）框架，将仅时间的State-Space Models（SSMs）升级为时空递归网络，通过整合神经物理先验知识，实现了更高效的模型训练和应用。
2026-05-20 q-bio.NC
Genetic Algorithmic Parameter Optimisation of a Recurrent Spiking Neural Network Model
神经网络是对人脑行为进行松散建模的复杂算法。它们在计算神经科学和人工智能中起着重要的作用。下一代神经网络模型是基于神经元的尖峰定时活动：脉冲神经网络（SNN）。然而，SNN中的模型参数难以搜索和优化。以前的研究，使用遗传算法（GA）优化SNN主要集中在简单的，前馈，或振荡网络，但没有太多的工作已经做了优化皮质类递归SNN。在这项工作中，我们研究了使用遗传算法来搜索递归SNN中的最佳参数，以达到目标神经元群体的放电率，例如在实验观察中。我们考虑了基于皮质柱的SNN，包括1000个Izhikevich尖峰神经元，用于计算效率和生物现实主义。探索的模型参数是神经元偏置输入电流。首先，我们找到了这个特定的SNN，目标人口平均发射活动的最佳参数值，算法的收敛约100代。然后，我们表明，GA的最佳人口规模在~16-20，而返回最佳适应值的交叉率为~0.95。总的来说，我们已经成功地证明了实施GA优化模型参数在一个经常性的皮质SNN的可行性。
2020-05-27 cs.NE q-bio.NC
Biologically Plausible Variational Policy Gradient with Spiking Recurrent Winner-Take-All Networks
University of Leeds（利兹大学）；Tsinghua University（清华大学）；Fujian Normal University（福建师范大学）
强化学习研究的一个方向是探索生物学上合理的模型和算法，以模拟生物智能并适应神经形态硬件。其中，奖赏调制的发放时间依赖可塑性（R-STDP）是一个新的分支，在能量效率方面具有很好的潜力。然而，目前的R-STDP方法依赖于局部学习规则的启发式设计，因此需要特定于任务的专家知识。本文考虑一个尖峰循环赢者通吃网络，提出了一种新的R-STDP方法-尖峰变分策略梯度（SVPG），其局部学习规则来自全局策略梯度，从而消除了启发式设计的需要.在MNIST分类实验和Gym InvertedPendulum实验中，我们的SVPG取得了良好的训练效果，并且对各种噪声的鲁棒性也比传统方法更好。
2022-10-21 cs.LG cs.NE q-bio.NC
Information Bottleneck in Control Tasks with Recurrent Spiking Neural Networks
神经系统将来自环境的连续信息以离散尖峰的形式编码，然后解码这些信息以产生平滑的运动动作。了解尖峰信号如何整合、表示和处理信息以产生行为是神经科学中最大的挑战之一。信息论有潜力帮助我们应对这一挑战。对解决静态输入-输出任务的深度和前馈人工神经网络的信息分析导致了\emph{Information Bottleneck}原理的提出，该原理指出，更深层编码关于输入的更多相关但最少的信息。对具有周期性、尖峰脉冲和执行控制任务的网络的这种分析相对较少。在这里，我们提出了一个经常性的脉冲神经网络，演变为执行经典的极点平衡任务的互信息分析的结果。我们的研究结果表明，这些网络偏离\emph{Information Bottleneck}原则规定的前馈网络。
2017-06-06 cs.IT cs.NE math.IT
Learning Feedforward and Recurrent Deterministic Spiking Neuron Network Feedback Controllers
我们解决的问题，学习反馈控制的控制器是一个网络构造的确定性尖峰神经元。与以前基于神经元尖峰速率模型的研究相比，这里的控制信号由网络输出神经元生成的尖峰的精确时间位置确定。我们正式建模的问题作为一个混合动力系统，包括一个闭环之间的植物和尖峰神经元网络。我们推导出一种新的突触权重更新规则，通过该规则，尖峰神经元网络控制器学习在所需的设定点保持过程变量。该控制器实现其学习目标的基础上访问工厂的过程变量和他们的衍生物相对于不断变化的控制信号，特别是，它不需要工厂的内部模型。我们证明了有效性的规则，将其应用到经典的控制问题的车杆（倒立摆）和模型的鱼运动。实验表明，所提出的控制器具有一个稳定的区域相比，传统的PID控制器，其轨迹不同的定性从PID控制器，并在许多情况下，控制器实现其目标，使用非常稀疏的脉冲序列输出。
2018-09-25 cs.NE q-bio.NC
Learning spatiotemporal signals using a recurrent spiking network that discretizes time
学习产生时空序列是大脑必须解决的常见任务。大脑可以使用相同的神经基质来产生不同的顺序行为。大脑学习和编码这些任务的方式仍然未知，因为当前的计算模型通常不使用现实的生物学上合理的学习。在这里，我们提出了一个模型，其中兴奋性和抑制性生物物理神经元的尖峰递归网络驱动读出层：驱动递归网络的动态被训练来编码时间，然后通过读出神经元映射来编码另一个维度，例如空间或相位。不同的时空模式可以通过突触权重被学习和编码到遵循共同的赫布学习规则的读出神经元。我们证明，该模型能够学习时空动态的时间尺度上的行为相关的，我们表明，学习的序列是鲁棒性重放期间的自发活动的制度。
2019-12-19 cs.NE nlin.AO physics.bio-ph
Learning arbitrary dynamics in efficient, balanced spiking networks using local plasticity rules
了解递归神经回路如何学习实现动力系统是神经科学的一个基本挑战。信用分配问题，即确定每个突触对网络全局输出误差的局部贡献，是推导生物学上合理的局部学习规则的主要障碍。此外，实现这些任务的尖峰循环网络在神经元和尖峰的数量方面不应该是非常昂贵的，因为它们通常是从速率模型中调整而来的。最后，这些网络应该对噪声和神经死亡具有鲁棒性，以便在面对这种自然发生的扰动时维持这些表示。我们解决这个问题的融合理论的有效，平衡尖峰网络（EBN）与非线性自适应控制理论。通过将其自身的误差反馈到网络中来确保局部学习规则，从而产生仅依赖于突触前输入和突触后反馈的突触可塑性规则。网络的尖峰效率和鲁棒性是通过保持紧密的兴奋/抑制平衡来保证的，确保每个尖峰代表全局输出误差的局部投影并最小化损失函数。由此产生的网络可以学习实现复杂的动力学与非常少量的神经元和尖峰，表现出相同的脉冲序列的变化，实验观察，是非常强大的噪声和神经元的损失。
2017-08-05 q-bio.NC
Fitting a recurrent dynamical neural network to neural spiking data: Tackling with the sigmoidal gain function issues
这是最近关于大脑感觉系统信息编码模型研究的继续。来自感觉神经元的数据可作为不具有幅度信息的离散尖峰定时获得。在模拟中，这些是从数据生成器模型生成的，该模型与正在估计的模型有一定的差异。所考虑的模型比用作数据生成器的模型简单，因为它没有S形增益函数参数。这种选择是基于最近一项研究的建议，该研究指出，将增益函数包括到估计算法中会增加诸如参数混淆之类的问题，这会导致性能下降问题，例如不同刺激配置的方差变化增加或不可预测。为了解决这个问题，我们考虑一个更通用的模型，没有S形增益函数估计。与第一项研究一样，我们将傅立叶级数刺激应用于数据生成器和估计网络。为了测试所提出的方案的性能，我们重复了不同的样本大小，刺激分量计数，幅度和基频的模拟。估计的平均值以表格形式呈现，统计分析结果以图形形式呈现。此外，由于我们没有任何真实的参数数据（对于估计的模型），我们比较了数据发生器和估计模型对不同刺激的放电率响应。结果表明，两种模型的响应几乎相同。
2018-07-26 q-bio.NC
Towards biologically plausible Dreaming and Planning in recurrent spiking networks
INFN（意大利国家核物理研究所）；Istiuto Superiore di Sanità（意大利高等卫生研究院）
针对强化学习数据需求高且世界模型方法生物学合理性不足的问题，提出由智能体和模型组成的双模块循环脉冲网络，通过在线做梦或规划显著提升学习，并便于神经形态硬件实现。
2023-06-08 cs.LG q-bio.NC
Gradient learning in spiking neural networks by dynamic perturbation of conductances
我们提出了一种方法来估计目标函数相对于尖峰神经网络的突触权重的梯度。该方法通过测量响应于神经元的膜电导的动态扰动的目标函数中的波动来工作。它与具有动态突触的基于电导的模型神经元的递归网络兼容。该方法可以被解释为一个生物学上合理的突触学习规则，如果动态扰动是由一类特殊的“神经”突触产生的随机脉冲序列从外部源驱动。
2006-01-19 q-bio.NC
Quantized Context Based LIF Neurons for Recurrent Spiking Neural Networks in 45nm
University of California, Santa Barbara（加州大学圣巴巴拉分校）
本研究首次在45nm硬件上实现了基于上下文的循环脉冲神经网络，提出量化版CLIF神经元（qCLIF），通过软硬件协同设计在保持90%准确率的同时实现了高扩展性和面积效率。
2024-04-28 cs.AI cs.AR cs.CV
Emergent rate-based dynamics in duplicate-free populations of spiking neurons
本文证明无重复尖峰神经网络可近似递归神经网络，揭示了大型SNN中速率动力学涌现的普遍机制。
2024-11-07 q-bio.NC
Predicting non-linear dynamics by stable local learning in a recurrent spiking neural network
本文提出了一种监督学习方案，用于循环脉冲神经网络中前馈和循环连接的权重学习，通过反馈误差和局部学习规则实现稳定学习，展示了线性、非线性及混沌动力学的学习能力。
2017-04-26 cs.LG cs.NE cs.SY
A wake-sleep algorithm for recurrent, spiking neural networks
我们调查最近提出的模型进行关系推理的皮质计算。它由几个相互连接的，结构上等效的群体泄漏整合和消防（LIF）神经元，这是训练在一个自组织的方式与尖峰定时依赖可塑性（STDP）。尽管其强大的学习动力学，该模型是容易受到一个典型的递归网络，使用基于相关性（赫布）的学习规则的问题：如果训练与高学习率，经常性的连接可能会导致强反馈回路的网络动态，这导致吸引子状态的出现。这导致可表示模式的数量大幅减少，网络的推理能力下降。作为解决方案，我们引入了一个概念上非常简单的“唤醒-睡眠”算法：在唤醒阶段，正常执行训练，而在睡眠阶段，网络从其生成模型中“做梦”样本，这些样本由随机输入引起。这个过程允许我们激活网络中的吸引子状态，然后可以通过反赫布机制有效地取消学习。该算法允许我们将学习率提高到10倍，同时避免聚类，这使得网络的学习速度提高了几倍。此外，对于低学习率，其中聚类不是问题，它提高了收敛速度并减少了最终的推理误差。
2017-03-18 cs.NE q-bio.NC
Soliton-like Waves in a Two-Dimensional Recurrent Spiking Neural Network with Weighted Spike-Timing-Dependent Plasticity
本文构建了一个最小生物合理的脉冲神经元模型，通过加权STDP和归一化机制，在二维递归网络中自发产生稳定传播的耗散孤子波，其碰撞湮灭特性可用于编码相对相位和频率。
2026-06-23 cs.NE q-bio.NC
Reconstruction of recurrent synaptic connectivity of thousands of neurons from simulated spiking activity
神经元网络的动力学和功能是由它们的突触连接决定的。然而，目前的实验方法来分析突触网络结构的细胞水平上，只覆盖一小部分的功能神经元回路，通常没有同时记录的神经元尖峰活动。在这里，我们提出了一种方法，从数以千计的并行脉冲序列记录的大型递归神经元网络的重建。我们采用最大似然估计的广义线性模型的尖峰活动在连续时间。对于该模型，点过程似然是凹的，使得可以通过梯度上升获得参数的全局最优。以前的方法，包括那些相同的类，不允许经常性网络的数量级被重建，由于高昂的计算成本和数值不稳定性。我们描述了一个最小的模型，是优化的大型网络和通用计算集群上的并行化数值优化的一个有效的计划。对于1000个神经元的模拟平衡随机网络，在理想条件下，突触连接恢复的误分类错误率小于1%。我们表明，错误率仍然很低，在一系列的例子情况下，逐步不太理想的条件下。最后，我们成功地重建了一个隐藏的synfire链，嵌入在一个随机的网络，这需要聚类的网络连接，以揭示synfire组的连接。我们的研究结果表明，如何突触连接可能被推断出大规模的并行脉冲序列记录。
2015-06-07 q-bio.NC q-bio.QM stat.ML
URCHIN: A Horizontal Spiking Language Model for Data-Constrained Pretraining
National Yang Ming Chiao Tung University（国立阳明交通大学）
URCHIN提出一种基于水平脉冲神经网络的语言模型，采用Dale定律连接组和SSM/RSNN双实现，在BabyLM挑战中实现生物合理、高效且可直接部署的预训练。
2026-09-15 cs.CL q-bio.NC
Von Economo neurons enable reliable social skill acquisition in recurrent spiking neural networks: a computational account with clinical predictions
University of the West of England（西英格兰大学）
该研究探讨了Von Economo神经元（VENs）在社交学习中的计算作用，通过训练包含VEN-like投射神经元的脉冲神经网络（VENCircuit），发现VENs的缺失显著影响学习能力，提出VENs作为学习支架的理论，并提出可验证的临床预测。
2026-05-17 cs.NE q-bio.NC
Propagation of spiking moments in linear Hawkes networks
Universitat Pompeu Fabra（庞培法布拉大学）；Institute of Neuroinformatics and Neuroscience Center Zurich, University of Zurich/ETH Zurich（苏黎世大学/苏黎世联邦理工学院苏黎世神经信息学与神经科学中心）；University of Bern（伯尔尼大学）
本文给出了线性Hawkes过程循环连通网络中尖峰活动高阶矩的精确数学表达式。它扩展了以前的研究，探讨了由确定性强度函数驱动的（线性）霍克斯网络的情况下，由外部输入（率函数或脉冲序列）与任意相关结构的刺激的情况下。我们的方法描述了时空滤波引起的传入和经常性的连接（与任意的突触反应内核），使用运营商的输入时刻。这种代数观点提供了关于网络成分如何塑造矩和累积量的输入-输出映射的直觉。我们还表明，使用数值模拟，我们的研究结果适用于神经元与自我抑制实施的耐火性，提供相应的负反馈，每个神经元只轻微改变其平均放电概率。
2019-12-16 cs.LG q-bio.NC
Predictive Coding Light+: learning to predict visual sequences with spike timing-dependent plasticity and synaptic delays
Université Clermont Auvergne, Clermont Auvergne INP, CNRS, Institut Pascal（克莱蒙奥弗涅大学，克莱蒙奥弗涅国立理工学院，法国国家科学研究中心，帕斯卡尔研究所）；Orange Labs（橙色实验室）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；Goethe University Frankfurt, Institute of Computer Science（法兰克福歌德大学，计算机科学学院）
本文提出预测编码轻量版，通过突触时序依赖可塑性和突触延迟学习视觉序列处理，重现视觉皮层序列学习经典发现，并在挑战性手势识别任务中学习填补缺失输入。
2026-05-12 q-bio.NC
SparseProp: Efficient Event-Based Simulation and Training of Sparse Recurrent Spiking Neural Networks
Zuckerman Mind Brain Behavior Institute, Columbia University（哥伦比亚大学祖克曼心智脑行为研究所）；Max Planck Institute for Dynamics and Self-Organization（马克斯·普朗克动力学与自组织研究所）；Göttingen Campus Institute for Dynamics of Biological Networks（哥廷根校区生物网络动力学研究所）
本文提出SparseProp，一种利用网络稀疏性的事件驱动算法，将脉冲神经网络模拟与训练的前向和反向计算成本从O(N)降至O(log(N))，实现百万LIF神经元网络的精确高效训练，加速超四个数量级。
2023-12-28 cs.AI cs.LG cs.NE
Decoding finger velocity from cortical spike trains with recurrent spiking neural networks
Qiushi Academy for Advanced Studies, Zhejiang University（浙江大学求是高等研究院）；College of Biomedical Engineering and Instrument Science, Zhejiang University（浙江大学生物医学工程与仪器科学学院）；Friedrich Miescher Institute for Biomedical Research（弗里德里希·米歇尔生物医学研究所）；Faculty of Science, University of Basel（巴塞尔大学理学院）；China Nanhu Academy of Electronics and Information Technology (CNAEIT)（中国南湖电子信息技术研究院）
本文研究循环脉冲神经网络（RSNNs）在完全植入式脑机接口中从皮层脉冲序列解码手指速度的可行性，通过训练大型和微型RSNN模型，证明其在严格资源约束下优于现有SNN和ANN解码器，为超低功耗植入式BMI提供了有前景的解决方案。
2024-09-03 cs.HC cs.LG cs.NE
Mean-Field Analysis of Orientation Selectivity in Inhibition-Dominated Networks of Spiking Neurons
初级视觉皮层中出现方向选择性的潜在机制备受争议。在这里，我们研究了抑制主导的随机循环网络对方向选择性的贡献，以及更广泛地对感觉处理的贡献。通过模拟和分析大规模发放神经元网络，我们研究了这些网络中方向选择性的调谐放大和对比度不变性。特别是，我们将展示如何选择性衰减的共模和放大的调制分量发生在这些网络中。基线的选择性衰减，这是由连接矩阵的特殊特征值，去除非特异性，冗余的信号分量，并确保在不同的对比度的选择性的不变性。调制的选择性放大（其由网络的操作状态控制并且取决于耦合的强度）放大信息信号分量并且因此增加信噪比。在这里，我们执行一个平均场分析，占这个过程。
2014-06-01 q-bio.NC
Revisiting chaos in stimulus-driven spiking networks: signal encoding and discrimination
高度连接的递归神经网络通常会产生混沌动力学，这意味着它们的精确活动对小扰动很敏感。这种网络如何编码时间刺激流的后果是什么？一方面，混沌是随机性的一个强大来源，这表明刺激的微小变化将被内在产生的可变性所掩盖。另一方面，最近的工作表明，尖峰网络中发生的混沌类型可能具有令人惊讶的低维结构，这表明可能存在精确解决精细刺激特征的“空间”。在这里，我们表明，强烈的混沌网络产生模式尖峰，可靠地编码时间依赖的刺激：使用解码器敏感的尖峰时间上的时间尺度为10毫秒，可以很容易地区分非常相似的输入的反应。此外，递归还可以在整个混沌网络中分配信号，这样一小群细胞就可以对到达其他地方的信号的大量信息进行编码。结论是，在递归网络中存在强混沌并不妨碍精确的刺激编码。
2016-04-26 nlin.CD q-bio.NC
The effect of heterogeneity on decorrelation mechanisms in spiking neural networks: a neuromorphic-hardware study
高级脑功能，如记忆，分类或推理，可以通过简化模型神经元的递归网络来实现。模拟神经形态硬件构成了用于在技术应用和神经科学研究中实现这种神经计算架构的快速且节能的基底。神经网络的功能性能通常严重依赖于神经活动中的相关性水平。在有限网络中，由于共享的突触前输入，相关性通常是不可避免的。最近的理论研究表明，生物神经网络中大量存在的抑制性反馈可以主动抑制这些共享输入相关性，从而使神经元几乎独立地放电。对于尖峰神经元的网络，抑制反馈的去相关效应到目前为止已经明确地证明了只有线性亚阈值动力学的同质神经元网络。然而，理论表明，这种效应是一种普遍现象，存在于任何具有足够抑制反馈的系统中，与网络结构或神经元和突触特性的细节无关。在这里，我们研究网络异质性的影响，在稀疏的，随机网络的抑制性神经元与非线性，基于电导的突触的相关性。模拟神经形态硬件系统Spikey上的这些网络的仿真，使我们能够测试的效率去相关抑制反馈中存在的硬件特定的异质性。硬件基板的可配置性使我们能够以系统的方式调节异质性的程度。我们选择性地研究了共享输入和循环连接对膜电位和脉冲序列相关性的影响。我们的结果证实...
2016-06-09 q-bio.NC
Smooth Exact Gradient Descent Learning in Spiking Neural Networks
本文针对脉冲神经网络中脉冲突变导致梯度下降困难的问题，提出基于连续变化脉冲动力学的精确梯度下降方法，支持脉冲的添加与移除，并在循环和深度等网络中验证了其有效性。
2025-01-28 cs.NE q-bio.NC
Spike Timing Dependent Competitive Learning in Recurrent Self Organizing Pulsed Neural Networks Case Study: Phoneme and Word Recognition
National Engineering School of Tunis（突尼斯国立工程学院）；Université Tunis El Manar（突尼斯艾尔马纳尔大学）
突触可塑性似乎是神经网络动力学的一个重要方面。它是关于突触的生理变化，其结果类似于突触权重值的变化。信息编码基于单个尖峰事件的精确定时，其基于突触前和突触后尖峰的相对定时、单个神经元内的局部突触竞争以及经由横向连接的全局竞争。为了对时间序列进行分类，本文提出了如何使用局部赫布学习，尖峰时间依赖可塑性的无监督竞争学习，保持自组织映射的尖峰神经元。事实上，我们提出了三种变体的自组织映射（SOM）与尖峰时间依赖的Hebbian学习规则，泄漏积分神经元（LIN），尖峰_SOM和经常性尖峰_SOM（RSSOM）模型。所提出的SOM变体的案例研究是连续语音和说话人独立的音素分类和单词识别。
2012-09-24 cs.AI cs.CV q-bio.NC
Trial matching: capturing variability with data-constrained spiking neural networks
本文提出用数据约束的大规模递归脉冲神经网络结合最优传输方法，匹配神经活动与行为的逐试验变异性，实现逼真皮层活动生成和下颌运动预测，并发现任务无关运动这一意外变异性模式。
2023-12-01 q-bio.NC
Mesoscopic population equations for spiking neural networks with synaptic short-term plasticity
粗粒度的生物神经网络的微观模型，以获得神经活动的介观模型是迈向多尺度模型的重要一步。在这里，我们扩展了最近的理论介观种群动力学与静态突触的情况下，动态突触表现出短期可塑性（STP）。在假设尖峰到达突触有泊松统计，我们推导出解析随机平均场动力学进行Tsodyks-Markram STP的有限大小的人口之间的有效突触耦合。新的平均场方程既考虑了有限数量的突触，又考虑了神经递质释放概率与可用突触资源分数之间的相关性。与Monte Carlo模拟的微观模型的比较表明，在前馈和经常性网络的介观平均场模型准确地再现随机实现的总突触输入到突触后神经元和帐户之间的随机开关向上和向下的状态，以及人口尖峰。扩展介观人口理论的尖峰神经网络与STP可能是有用的系统减少详细的生物物理模型的皮质微电路的有效和数学上易于处理的平均场模型。
2018-12-21 q-bio.NC
Learning universal computations with spikes
作为高等动物信息处理的神经生物学基础，尖峰神经网络必须能够学习各种复杂的计算，包括对输入产生适当的、可能延迟的反应，以及自我维持地产生复杂的活动模式，例如~用于运动。许多这样的计算需要预先构建内在世界模型。在这里，我们展示了尖峰神经网络如何解决这些不同的任务。首先，我们得到的限制下，类尖峰神经网络借给自己的强大的通用计算基板。该网络包含树突或突触的非线性，并有一个约束的连接。然后，我们将这些网络与输出或循环连接的学习规则相结合。我们表明，这允许学习，甚至困难的基准任务，如所需的低维混沌动力学或内存依赖的计算的自我维持的一代。此外，我们还展示了尖峰网络如何构建外部世界系统的模型，并使用获得的知识来控制它们。
2016-06-29 q-bio.NC
When do Correlations Increase with Firing Rate?
神经科学的一个中心问题是了解嘈杂的放电模式如何用于传递信息。由于神经尖峰是嘈杂的，尖峰模式通常通过成对相关性来量化，或者两个细胞将同时尖峰的概率，高于和超过它们的基线放电率。在实验中经常观察到的一个现象是，相关性可以随着发射率而系统地增加。理论研究已经确定，刺激依赖的相关性随着放电率的增加可以对信息编码产生有益的影响;然而，我们仍然不完全了解什么电路机制会产生这种相关性-放电率关系。在这里，我们研究了基于电导的突触的循环耦合兴奋抑制尖峰网络中的成对相关性和放电率之间的关系。我们发现，与较强的兴奋性耦合，成对的相关性和放电率之间出现了正相关关系。为了解释这些发现，我们使用线性响应理论来预测完整的相关矩阵，并根据图形图案来分解相关性。然后，我们使用这种分解来解释为什么相关性与放电率的协变-以前在相关输入驱动的前馈网络中解释的关系-出现在一些递归网络中，而不是在其他网络中。此外，当相关性与放电率协变时，这种关系反映在相关矩阵的低秩结构中。
2017-01-26 q-bio.NC
Self-organization of microcircuits in networks of neurons with plastic synapses
与简单的随机网络模型相比，皮层网络的突触连接具有某些布线图案的过度表达。这种结构的形成，部分是由突触可塑性，促进或抑制神经元之间的连接，这取决于他们的尖峰活动。通常，理论研究集中在前馈输入如何驱动可塑性以创建这种网络结构。我们研究了循环网络中自组织结构的互补性情景，其中尖峰时间依赖的可塑性由自发动力学驱动。我们开发了一个自洽的理论，描述了网络结构的演变相结合的快速尖峰协方差与突触权重动态的快-慢理论。通过网络动力学的有限尺寸扩展，我们得到了一组低维的非线性微分方程的两个突触连接图案的演变。有了这个理论在手，我们探讨了可塑性规则的形式如何驱动皮层网络中微电路的演变。当增强和抑制处于近似平衡时，突触动力学依赖于加权发散、收敛和链基序的频率。对于加法，赫布STDP，这些基序相互作用在突触动力学中产生不稳定性，从而促进或抑制初始网络结构。我们的工作提供了一个一致的理论框架，研究如何在循环网络的尖峰活动与突触可塑性相互作用，以确定网络结构。
2014-12-20 q-bio.NC
Target spiking patterns enable efficient and biologically plausible learning for complex temporal tasks
人类大脑中的周期性尖峰神经网络（RSNN）学习在能量消耗方面非常有效地执行广泛的感知、认知和运动任务，并且需要很少的示例。这激发了对RSNN的生物启发学习规则的搜索，以提高我们对大脑计算和人工智能效率的理解。已经提出了一些尖峰模型和学习规则，但它仍然是一个挑战，设计RSNN的学习依赖于生物学上合理的机制，并能够解决复杂的时间任务。在本文中，我们从一个简单的数学原理，即网络解决特定任务的可能性最大化，推导出一个突触局部的学习规则。我们提出了一种新的基于目标的学习方案，其中来自似然最大化的学习规则被用来模仿一个特定的尖峰模式，编码的解决方案，以复杂的时间任务。这种方法使得学习非常快速和精确，优于RSNN的最新算法。我们证明了我们的模型的能力，以解决几个问题，如学习多维轨迹和解决经典的时间XOR基准。最后，我们表明，在线近似的梯度上升，除了保证在时间和空间上的完整局部性，允许学习后，很少介绍的目标输出。我们的模型可以应用于不同类型的生物神经元。解析导出的可塑性学习规则是特定于每个神经元模型的，并且可以产生用于实验验证的理论预测。
2021-03-19 q-bio.NC
Hybrid Spiking Neural Networks for Low-Power Intra-Cortical Brain-Machine Interfaces
Karlsruhe Institute of Technology, Karlsruhe, Germany（卡尔斯鲁厄理工大学）；FZI Research Center for Information Technology, Karlsruhe, Germany（弗劳恩霍夫信息与通信技术研究中心）；Infineon Technologies, Dresden, Germany（英飞凌科技）
本研究提出混合脉冲神经网络用于无线皮层内脑机接口的嵌入式神经解码，在保持低功耗的同时实现高精度运动速度预测，超越现有基线模型。
2024-09-26 cs.AI cs.LG q-bio.NC
Neurogenesis and multiple plasticity mechanisms enhance associative memory retrieval in a spiking network model of the hippocampus
海马CA 3对长期联想记忆的形成至关重要。它有一个严重的经常性连接，记忆被认为是存储在CA 3的记忆痕迹。然而，尽管它对记忆存储和检索的重要性，迄今为止，CA 3的尖峰网络模型规模相对较小，并且仅作为概念验证模型存在。具体来说，齿状回的神经发生如何影响CA 3的记忆编码和提取没有在这样的尖峰模型中研究。我们的工作是第一个开发一个生物学上合理的尖峰神经网络模型海马记忆编码和检索，至少一个数量级的神经元比以前的模型。这也是首次研究神经发生对CA 3记忆编码和提取的影响。使用这样的模型，我们首先表明，最近开发的可塑性模型是至关重要的良好的编码和检索。接下来，我们将展示如何神经特性相关的神经发生和神经元死亡增强存储和检索的联想记忆在CA 3。特别是，我们表明，没有神经发生，越来越多的CA 3神经元被招募的每一个新的记忆刺激，导致相应的增加，抑制和记忆检索差，因为更多的记忆被编码。另一方面，神经发生维持每次刺激招募的CA 3神经元的数量，并且能够检索最近的记忆，同时忘记旧的记忆。我们的模型表明，结构可塑性（由神经发生和细胞凋亡提供）是需要在海马记忆编码和检索时，网络过载;突触可塑性本身是不够的。上述结果是在不同塑性模型和网络参数下进行的详尽研究中得到的。
2017-04-25 q-bio.NC
Gradient Descent for Spiking Neural Networks
Salk Institute（索尔克研究所）
尽管大脑中的信息处理主要由产生称为尖峰的离散脉冲的动态神经元执行，但许多关于神经计算的研究都基于产生模拟输出的静态神经元的网络模型。由于缺乏有效的尖峰网络监督学习算法，阻碍了基于尖峰计算的研究。在这里，我们提出了一个梯度下降法优化尖峰网络模型，通过引入一个可微的制定尖峰网络，并推导出精确的梯度计算。为了演示，我们在两个动态任务上训练了循环尖峰网络：一个是需要优化快速（~毫秒）基于尖峰的交互以有效编码信息，另一个是在延长的持续时间（~秒）内延迟记忆XOR任务。结果表明，我们的方法确实优化了尖峰网络动态的时间尺度上的个人尖峰以及行为的时间尺度。总之，我们的研究结果提供了一个通用的监督学习算法的尖峰神经网络，从而推动了进一步的研究基于尖峰的计算。
2017-06-19 cs.LG cs.NE q-bio.NC
Attractor networks and memory replay of phase coded spike patterns
我们分析了一个循环神经网络的存储和检索能力的发放整合和消防神经元。在该模型中，我们区分学习模式，在此期间，突触连接根据尖峰定时依赖可塑性（STDP）规则变化，和回忆模式，其中连接强度没有更多的塑料。我们的研究结果表明，网络存储和回忆周期性相位编码模式的能力，少量的神经元已被刺激。自我维持的动态选择性地给出与存储的模式之一匹配的振荡尖峰活动，这取决于网络的初始化。
2012-10-25 q-bio.NC
Fitting of dynamic recurrent neural network models to sensory stimulus-response data
我们提出了一个理论研究，旨在模型拟合的感觉神经元。传统的神经网络训练方法由于缺乏连续数据而不适用于此问题。虽然刺激可以被认为是一个平滑的时间依赖变量，相关的响应将是一组神经尖峰定时（大致上是连续动作电位峰值的时刻），没有振幅信息。一个循环神经网络模型可以通过使用最大似然估计方法来拟合这样的刺激-响应数据对，其中似然函数是从神经尖峰的泊松统计导出的。递归动态神经元网络模型的普适逼近特性使我们能够描述具有任意数目神经元的实际感觉神经网络的兴奋-抑制特性。刺激数据由具有固定振幅和频率但随机激发相位的相位余弦傅立叶级数生成。应用各种振幅值、刺激分量大小和样本大小，以检查刺激对识别过程的影响。结果以表格形式列于本文末尾。
2017-09-26 q-bio.NC
Firing rate homeostasis counteracts changes in stability of recurrent neural networks caused by synapse loss in Alzheimer's disease
阿尔茨海默氏症患者认知功能的损害与突触丧失明显相关。然而，这种相关性的机制知之甚少。在这里，我们研究如何在稀疏连接的随机网络的尖峰兴奋性和抑制性神经元的兴奋性突触的损失改变其动力学特性。除了对网络活动统计的影响外，我们发现兴奋性神经元上兴奋性突触的丧失使网络动态向稳定状态转变。对时变输入的小扰动的灵敏度的降低可以被认为是计算能力降低的指示。网络性能的完全恢复可以通过放电率稳态来实现，这里通过放大剩余的兴奋性-兴奋性突触来实现。通过分析线性化网络动力学的稳定性，我们解释了稳态如何同时保持网络的发射率和对小扰动的敏感性。
2019-09-03 q-bio.NC
Unifying and generalizing models of neural dynamics during decision-making
系统和计算神经科学中的一个悬而未决的问题是神经回路如何为决策积累证据。将决策理论的模型与神经活动拟合有助于回答这个问题，但目前的方法限制了我们可以拟合神经数据的这些模型的数量。在这里，我们提出了一个统一的框架，在决策任务的神经活动建模。该框架包括典型的漂移扩散模型，并使扩展，如多维离散，可变和崩溃的边界，和离散跳跃。我们的框架是基于约束的参数经常性的状态空间模型，我们引入了一个可扩展的变分拉普拉斯-EM推理算法。我们应用的建模方法，从猴子顶叶皮层记录在两个决策任务的尖峰反应。我们发现，一个二维的累加器更好地捕捉到一组顶叶神经元比一个单一的累加器模型的试验平均响应。接下来，我们在随机点运动任务期间确定了LIP神经元响应的可变下限。
2020-01-13 q-bio.NC stat.ML
Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks
Idiap Research Institute（伊迪亚普研究所）
提出一种受生理学启发的可扩展语音识别架构，通过端到端梯度下降训练使脉冲神经网络产生神经振荡，并揭示了反馈机制在调节神经活动以提升识别性能中的关键作用。
2024-09-02 cs.CL q-bio.NC
Probabilistic Inference of Binary Markov Random Fields in Spiking Neural Networks through Mean-field Approximation
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；University of Leicester（莱斯特大学）
最近的研究表明，人类大脑的认知过程被实现为概率推理，并且可以进一步通过概率图形模型（如马尔可夫随机场）进行建模。然而，目前还不清楚概率推理如何通过大脑中的尖峰神经元网络来实现。以往的研究试图通过置信传播算法和重新参数化将二进制马尔可夫随机场的推理方程与脉冲神经网络的动力学方程联系起来，但它们只适用于有限网络结构的马尔可夫随机场。本文提出了一种脉冲神经网络模型，可以实现任意二进制马尔可夫随机场的推理。具体地说，我们设计了一个尖峰循环神经网络，并证明了其神经元动力学在数学上等价于马尔可夫随机场的推理过程，采用平均场理论。此外，我们的平均场方法统一了以前的工作。理论分析和实验结果以及图像去噪的应用表明，我们提出的尖峰神经网络可以得到与平均场推理相当的结果。
2020-03-12 cs.LG q-bio.NC stat.ML
Spiking representation learning for associative memories
本文提出一种受新皮层柱状结构启发的SNN，利用Hebbian与结构可塑性及稀疏Poisson神经元，实现无监督表征学习和联想记忆，并验证模式补全等吸引子记忆特性。
2024-12-05 cs.NE q-bio.NC
Stochastic inference with deterministic spiking neurons
在体内观察到的新皮层回路的看似随机的瞬态动力学已被假设为代表正在进行的随机推理的签名。另一方面，体外神经元对各种类型的刺激表现出高度确定性的反应。我们表明，嵌入在尖峰噪声环境中的确定性泄漏集成和消防神经元的合奏可以达到正确的发射统计，以便从一个定义明确的目标分布采样。我们提供了一个分析推导的激活函数的单细胞水平上，对于经常性的网络，我们研究收敛到平稳的计算机模拟和演示基于样本的贝叶斯推断在一个混合的图形模型。这在确定性神经元模型和网络层面上的功能随机动力学之间建立了严格的联系。
2013-11-13 cond-mat.dis-nn cs.NE physics.bio-ph
A Spike in Performance: Training Hybrid-Spiking Neural Networks with Quantized Activation Functions
Applied Brain Research Inc.（应用脑研究公司）；University of Waterloo（滑铁卢大学）
机器学习社区对神经网络的能量效率越来越感兴趣。脉冲神经网络（SNN）是一种有前途的节能计算方法，因为其激活水平被量化为时间稀疏的一位值（即，“尖峰”事件），其另外将重量-活动乘积的总和转换成重量的简单相加（每个尖峰一个重量）。然而，在将非尖峰网络转换为SNN时保持最先进（SotA）精度的目标仍然是一个难以捉摸的挑战，主要是由于尖峰只有一位精度。采用信号处理的工具，我们铸造的神经激活函数的量化器与时间扩散的误差，然后训练网络，同时顺利地插入之间的非尖峰和尖峰制度。我们将这种技术应用于Legendre Memory Unit（LMU），以获得混合SNN在准确性方面优于SotA递归架构（包括LSTM，GRU和NRU）的第一个已知示例，同时将活动平均减少到最多3.74位，每个权重乘以1.26个有效位。我们将讨论这些方法如何显著提高神经网络的能量效率。
2021-03-01 cs.LG q-bio.NC stat.ML
Regime Mapping of Oscillatory States in Balanced Spiking Networks with Multiple Time Scales
Graduate Institute of Networking and Multimedia, National Taiwan University（台湾大学网际多媒体研究所）；Graduate Institute of Vehicle Engineering, National Changhua University of Education（国立彰化师范大学车辆工程研究所）
研究通过系统分析突触衰减、传导延迟和突触可塑性率如何共同塑造递归泄漏积分-微分网络中的振荡状态，揭示了参数对振荡区域和频谱显著性的影响。
2026-04-06 cs.NE q-bio.NC
Multi-Objective Optimisation of Cortical Spiking Neural Networks With Genetic Algorithms
脉冲神经网络（SNN）通过神经元的全或无脉冲活动进行通信。然而，将大量的SNN模型参数拟合到观察到的神经活动模式，例如在生物实验中，仍然是一个挑战。以前的工作，使用遗传算法（GA）优化一个特定的高效SNN模型，使用Izhikevich神经元模型，仅限于一个单一的参数和目标。这项工作应用了一种称为非支配排序GA（NSGA-III）的GA版本，以证明对同一SNN执行多目标优化的可行性，重点是搜索网络连接参数，以实现兴奋性和抑制性神经元类型的目标放电率，包括不同的网络连接稀疏性。我们表明，NSGA-III可以很容易地优化各种射击率。值得注意的是，当兴奋性神经元的放电率高于或等于抑制性神经元的放电率时，误差较小。此外，当连接稀疏性被认为是一个参数进行优化，最佳的解决方案需要稀疏的网络连接。我们还发现，兴奋性神经元的放电率低于抑制性神经元，误差一般较大。总的来说，我们已经成功地证明了对经常性和稀疏SNN的网络参数实施多目标GA优化的可行性。
2021-05-14 cs.NE q-bio.NC
Linking structure and activity in nonlinear spiking networks
最近的实验进展产生了大量关于神经连接和神经活动的数据。为了充分利用这两个新兴的数据集，我们需要一个将它们联系起来的框架，揭示集体神经活动是如何从神经连接结构和内在神经动力学中产生的。这个{ \it结构驱动活动}的问题已经引起了计算神经科学的极大兴趣。现有的用于在尖峰网络中关联活动和结构的方法依赖于围绕中心操作点线性化活动，因此无法捕获作为神经信息处理的标志的个体神经元的非线性响应。在这里，我们克服了这一限制，并提出了一个新的非线性尖峰神经元网络的连通性和活动之间的关系，通过开发一个图形波动扩展统计场理论的基础上。我们明确地展示了循环网络结构如何产生成对和高阶相关活动，以及非线性如何影响网络的尖峰活动。我们的发现为研究单神经元非线性（包括不同细胞类型的非线性）如何与连接性结合以塑造群体活动和功能开辟了新的途径。
2020-02-25 q-bio.NC q-bio.QM
Fitting summary statistics of neural data with a differentiable spiking network simulator
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
将网络模型拟合到神经活动是神经科学中的重要工具。一种流行的方法是用概率性周期性尖峰网络对大脑区域进行建模，该网络的参数最大化记录活动的可能性。虽然这是广泛使用的，我们表明，由此产生的模型不会产生现实的神经活动。为了纠正这一点，我们建议增加对数似然与衡量模拟和记录的活动之间的差异的条款。这种差异是通过神经科学中常用的汇总统计来定义的，并且优化是有效的，因为它依赖于通过随机模拟的尖峰序列的反向传播。我们从理论上分析了这种方法，并实证表明，它产生更现实的活动统计。我们发现，它改进了其他拟合算法的尖峰网络模型，如GLM（广义线性模型），通常不依赖于反向传播。这种新的拟合算法还可以考虑隐藏的神经元，这是众所周知的困难，我们表明，当试图从尖峰记录推断网络连接时，它可能是至关重要的。
2021-11-14 cs.LG q-bio.NC stat.ML
Event-Driven Contrastive Divergence for Spiking Neuromorphic Systems
受限玻尔兹曼机（RBM）和深度信念网络已被证明在各种应用中有效地执行，例如降维，特征学习和分类。它们在模拟大规模尖峰神经元网络的神经形态硬件平台上的实现可以从可扩展性、功耗和与环境的实时接口的角度具有显著的优势。然而，传统的RBM架构和常用的训练算法（称为对比发散（CD））是基于离散更新和精确运算，不直接映射到动态神经基板。在这里，我们提出了一个事件驱动的变化CD训练的RBM构建与整合和消防（I&F）神经元，这是由现有的和不久的将来的神经形态硬件平台的限制。我们的策略是基于神经采样，这使我们能够合成一个脉冲神经网络，从目标玻尔兹曼分布的样本。网络的循环活动取代了CD算法的离散步骤，而尖峰时间依赖可塑性（STDP）以在线异步方式进行权重更新。我们通过训练由具有STDP突触的泄漏I&F神经元组成的RBM来学习MNIST手写数字数据集的生成模型，并通过在识别，生成和提示集成任务中对其进行测试来证明我们的方法。我们的研究结果有助于机器学习驱动的方法，用于合成能够执行实用的高级别功能的尖峰神经元网络。
2013-12-09 cs.NE q-bio.NC
Stochastic Dynamics of Large-Scale Motif-Embedded Spiking Neuronal Networks
Toronto Metropolitan University（多伦多都会大学）；St. Michael’s Hospital, Unity Health Toronto（圣迈克尔医院，联合健康多伦多）；Florida State University（佛罗里达州立大学）
本研究通过对比模体嵌入与对照网络，发现局部模体结构和全局枢纽对随机尖峰网络的相干动力学具有互补贡献，且 SF 拓扑优势依赖于枢纽完整性。
2026-10-02 math.DS q-bio.NC
