Biologically-inspired neuronal adaptation improves learning in neural networks
Canadian Centre for Behavioural Neuroscience, University of Lethbridge（莱斯布里奇大学加拿大行为神经科学中心）
由于人类在许多任务上的表现仍然优于人工神经网络，因此从大脑中汲取灵感可能有助于改进当前的机器学习算法。对比赫布学习（CHL）和平衡传播（EP）是生物学上合理的算法，仅使用局部信息（不显式计算梯度）更新权重，并且仍然实现与传统反向传播相当的性能。在这项研究中，我们增强了CHL和EP与调整适应，灵感来自神经元中观察到的适应效应，其中神经元对给定刺激的反应在短时间后调整。我们将这种自适应功能添加到在MNIST和CIFAR-10上训练的多层感知器和卷积神经网络中。令人惊讶的是，适应改善了这些网络的性能。我们讨论了这一想法的生物学灵感，并调查为什么神经元适应可能是一个重要的大脑机制，以提高学习的稳定性和准确性。
2022-04-08 cs.AI cs.LG cs.NE
Single Biological Neurons as Temporally Precise Spatio-Temporal Pattern Recognizers
Hebrew University（希伯来大学）
该博士论文提出单神经元是时间精确的复杂时空模式识别器，并通过生物可解释学习规则、可微深度网络类比及脉冲网络扩展论证其计算与系统意义。
2023-09-26 cs.LG cs.NE q-bio.NC
Exploring Biological Neuronal Correlations with Quantum Generative Models
QuTech（QuTech研究所）；Kavli Institute of Nanoscience（卡夫利纳米科学研究所）；Delft University of Technology（代尔夫特理工大学）
针对经典神经元活动建模参数多、可解释性差的问题，本研究提出量子生成模型框架，可生成捕捉生物神经元时空相关性的合成数据，以更少参数实现可靠结果，为神经科学研究提供新工具。
2024-09-13 cs.LG cs.NE q-bio.NC
Characterizing Self-Developing Biological Neural Networks: A First Step Towards their Application To Computing Systems
碳纳米管通常被视为硅晶体管的唯一替代技术。虽然它们是最有可能的短期办法，但也应研究其他长期办法。虽然将生物神经元作为替代组件乍一看似乎荒谬，但CMOS-神经元接口的最新进展表明这一方向可能并非不切实际;此外，已知生物神经元能够自组装成能够执行复杂信息处理任务的非常大的网络，这尚未通过其他新兴技术实现。在生物神经元之上设计计算系统的第一步是构建自组装生物神经网络的抽象模型，就像计算机架构师操纵晶体管和电路的抽象模型一样。在这篇文章中，我们提出了生物神经网络结构的第一个模型。我们提供的经验证据表明，该模型匹配的生物神经网络中发现的活的有机体，并表现出小世界的图形结构特性，常见于许多大型和自组织系统，包括生物神经网络。更重要的是，我们提取的简单的本地规则和特点，这些网络的增长，使潜在的大，但现实的生物神经网络的发展，将需要复杂的信息处理/计算任务。基于这个模型，未来的工作将针对理解这种网络的演化和学习特性，以及如何使用它们来构建计算系统。
2005-05-10 cs.AR cs.NE nlin.AO
Biologically-Inspired Spatial Neural Networks
Jagiellonian University（雅盖隆大学）
我们介绍了生物启发的人工神经网络组成的神经元，另外其特征在于空间位置。为了模拟生物系统的特性，我们在二维空间中添加了惩罚长连接和神经元邻近的成本。我们的实验表明，在网络执行两个不同任务的情况下，神经元自然会分裂成簇，每个簇负责处理不同的任务。这种行为不仅对应于生物系统，而且还允许进一步洞察可解释性或持续学习。
2019-10-07 cs.LG cs.NE stat.ML
Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis
Akin LABS（Akin实验室）
大多数经典（非尖峰）神经网络模型忽略了内部神经元动力学，并将神经元视为简单的输入积分器。然而，生物神经元有一个由复杂动力学控制的内部状态，它在学习、适应和整体网络活动和行为中起着至关重要的作用。本文提出了膜电位和激活阈值稳态（MPATH）神经元模型，它结合了几个生物启发的机制，有效地模拟内部神经元动力学与一个单一的参数类似的生物神经元的膜时间常数。该模型允许神经元保持一种形式的动态平衡，自动调节它们的活动时，波动的输入。MPATH模型的一个结果是，它给神经元注入了时间感，而没有经常性的连接，为依赖于神经元活动的时间方面的建模过程铺平了道路。实验表明，该模型的能力，以适应和不断学习其输入。
2021-06-09 cs.CV cs.NE
Learning Internal Biological Neuron Parameters and Complexity-Based Encoding for Improved Spiking Neural Networks Performance
本研究提出了一种基于生物神经元参数和复杂度的SNN学习方法，通过优化内在动态提升分类准确率和效率。
2026-03-02 cs.AI cs.NE q-bio.NC
Space as Time Through Neuron Position Learning
Sussex AI, University of Sussex（萨塞克斯大学）；Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院电气与电子工程系）；MRC Cognition and Brain Sciences Unit, University of Cambridge（剑桥大学MRC认知与脑科学单元）
通过神经元位置学习实现空间与时间的内在耦合，为神经网络的机制可解释性、生物启发建模和高效实现提供新途径。
2026-01-26 cs.NE
A versatile circuit for emulating active biological dendrites applied to sound localisation and neuron imitation
The Alan Turing Institute（阿兰·图灵研究所）
针对神经网络高功耗问题，提出一种模拟主动生物树突的通用电路，能实现增益、延迟和积分，成功应用于声源定位并发现可构建爆发式神经元，为仅由树突电路构建神经网络提供了潜力。
2023-10-25 cs.AI cs.ET cs.NE
A Brain-Inspired Gating Mechanism Unlocks Robust Computation in Spiking Neural Networks
该研究针对传统脉冲神经网络因神经元模型简化导致鲁棒性不足的问题，提出动态门控神经元DGN，通过动态电导实现自适应噪声抑制，在抗噪任务和时间基准测试中表现更优，为鲁棒脉冲计算提供了理论与实证支持。
2025-09-03 cs.NE
Biologically Realistic Dynamics for Nonlinear Classification in CMOS+X Neurons
Oakland University（奥克兰大学）
研究通过CMOS+X神经元实现紧凑高效非线性计算，揭示阈值激活、响应延迟和绝对折射等特性对非线性行为的支持作用。
2026-04-03 cond-mat.other cs.NE physics.app-ph
From Neurons to Computation: Biological Reservoir Computing for Pattern Recognition
Institute of information science and technologies (CNR-ISTI)（信息科学与技术研究所）；Institute of biophysics (CNR-IBF)（生物物理学研究所）
本文提出一种利用培养神经元作为储层基底、通过MEA记录神经活动的生物储层计算范式，实验验证其可有效完成模式识别任务，为神经形态与生物混合计算开辟新途径。
2025-08-04 cs.AI cs.CV cs.NE
Dive into the Power of Neuronal Heterogeneity
本文通过进化策略优化脉冲神经网络中的异质性神经元，证明神经元异质性可提升长序列任务性能，膜时间常数分布与生物实验相似，为设计生物合理性神经网络提供新思路。
2023-10-13 cs.NE
Artificial neural networks in action for an automated cell-type classification of biological neural networks
识别不同的神经元细胞类型对于理解它们对大脑功能的贡献至关重要。然而，神经元的自动和可靠分类仍然是一个挑战，主要是因为它们的生物复杂性。典型的方法包括费力且昂贵的免疫组织化学分析，而最近已经提出了基于细胞特征的特征提取算法。前者依赖于分子标记物，这些标记物通常在许多细胞类型中表达，而后者则面临类似的问题：发现每个类别的独特特征已被证明同样具有挑战性。此外，这两种方法都很耗时，需要大量的人为干预。在这项工作中，我们建立了第一个自动化的细胞类型分类方法，该方法依赖于神经元的活动，而不是分子或细胞特征。我们在真实世界的数据集上测试了我们的方法，该数据集包括四种神经元类型的原始钙活动信号。我们比较了三种不同的深度学习模型的性能，并证明了我们的方法可以以前所未有的准确度实现神经元细胞类型的自动分类。
2020-09-28 cs.NE q-bio.NC
Rich dynamics caused by known biological brain network features resulting in stateful networks
Lund University（隆德大学）
哺乳动物的大脑可以包含密集和稀疏的网络连接结构，包括兴奋性和抑制性神经元，但没有任何明确定义的输出层。神经元具有时间常数，这意味着集成网络结构具有状态记忆。网络结构包含不同条件下神经元之间复杂的相互作用，这取决于网络的内部状态。内部状态可以定义为网络中所有单个神经元的活动分布。因此，神经元/网络的状态成为如何在网络内表示信息的定义因素。在这项研究中，我们构建了一个完全连接（密集/稀疏编码策略）的递归网络，由兴奋性和抑制性神经元组成，由不同频率的伪随机输入驱动。在这项研究中，我们评估了丰富网络状态动力学的神经元的不同特定内在参数的影响，例如初始神经元活动，与阈值神经元和传导延迟相结合的抑制量。通过量化每个给定输入的网络内神经元之间相互作用的变化来评估影响。我们发现，这种影响在稀疏连接的网络中比在密集连接的网络中更深刻。然而，密集连接的网络也可以利用神经元之间相互作用的动态变化，因为给定的输入可以诱导多种不同的网络状态。
2021-06-03 cs.AI cs.NE q-bio.NC
Deep Connectomics Networks: Neural Network Architectures Inspired by Neuronal Networks
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；UnifyID AI Labs（UnifyID人工智能实验室）
神经元间网络拓扑结构与认知之间的相互作用已被连接组学研究者和网络科学家深入研究，这对于理解生物神经网络的显著功效至关重要。奇怪的是，复兴神经网络的深度学习革命并没有太多关注拓扑方面。深度神经网络（DNN）的架构在拓扑意义上与其生物学对应物并不相似。我们通过将深度连接组学网络（DCN）的初步结果作为DNN与现实世界神经元网络启发的拓扑结构来弥合这一差距。我们展示了由DCN获得的高分类精度，DCN的架构受到C. Elegans和小鼠视觉皮层。
2019-12-19 cs.LG cs.NE stat.ML
Planning with Biological Neurons and Synapses
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；I3S（I3S研究所）；Columbia University（哥伦比亚大学）；Gran Sasso Science Institute（格兰萨索科学研究所）
我们重新审视规划问题的块的世界，我们实现了一个已知的启发式的任务。重要的是，我们的实现在生物学上是合理的，因为它完全通过神经元的尖峰信号来实现。尽管在过去的50年里，区块世界已经取得了很大的成就，但我们相信这是同类算法中的第一个。输入是对块堆叠的初始集合以及目标集合进行编码的符号序列，并且输出是诸如“将堆叠1中的顶部块放在桌子上”的运动命令序列。该程序是用Assembly Calculus编写的，这是一个最近提出的计算框架，旨在通过弥合神经活动和认知功能之间的差距来模拟大脑中的计算。它的基本对象是神经元的集合（神经元的稳定集合，其同时放电表示主体正在思考对象，概念，单词等），它的命令包括project和merge，它的执行模型基于广泛接受的神经科学原则。这个框架中的程序基本上建立了一个神经元和突触的动力系统，最终以很高的概率完成任务。这项工作的目的是建立经验，合理的大型程序在大会演算可以正确和可靠地执行，而现实的-如果理想化-更高的认知功能，如规划在块的世界，可以成功地实现这样的程序。
2021-12-16 cs.AI cs.NE
aSTDP: A More Biologically Plausible Learning
生物神经网络中的发放时间依赖可塑性在生物学习过程中具有重要作用。另一方面，人工神经网络使用不同的方式来学习，例如反向传播或对比赫布学习。在这项工作中，我们介绍了近似STDP，一个新的神经网络学习框架更类似于生物学习过程。它只使用STDP规则进行有监督和无监督学习，每个神经元分布式学习模式，不需要全局损失或其他监督信息。我们还使用数值方法来近似每个神经元的导数，以便更好地使用SDTP学习，并使用导数为神经元设置目标，以加速训练和测试过程。该框架可以在一个模型中进行预测或生成模式，而无需额外的配置。最后，我们在MNIST数据集上验证了我们的分类和生成任务的框架。
2022-05-22 cs.CV cs.NE
Towards Multicellular Biological Deep Neural Nets Based on Transcriptional Regulation
建立在合成基因网络上的人工神经元具有从复杂的细胞决策到生物反应器调节的潜在应用。此外，由于自然系统的高信息吞吐量，它提供了一个有趣的候选人基于生物的超级计算和模拟模拟传统上棘手的问题。在本文中，我们提出了一个架构，用于构建多细胞神经网络和可编程非线性系统。我们设计了一个基于基因调节网络的人工神经元，并优化了其模块化动态。使用基因表达模型，我们模拟其从多个输入执行任意线性分类的能力。最后，我们构建了一个两层的神经网络来展示可扩展性和非线性决策边界，并讨论了未来的方向，利用不受控制的神经元在计算任务。
2020-01-30 cs.ET cs.NE q-bio.MN
SIT: A Bionic and Non-Linear Neuron for Spiking Neural Network
University of Electronic Science and Technology of China（电子科技大学）
脉冲神经网络（SNN）由于其处理时间信息的能力和低功耗而引起了研究人员的兴趣。然而，目前最先进的方法限制了它们的生物相容性和性能，因为它们的神经元通常建立在简单的泄漏-积分-激发（LIF）模型上。由于动态复杂度高，现代神经元模型很少在SNN实践中实现。在这项研究中，我们采用相平面分析（PPA）技术，经常使用的神经动力学领域的技术，整合最近的神经元模型，即Izhikevich神经元。基于神经科学进展的发现，Izhikevich神经元模型在生物学上是合理的，同时保持与LIF神经元相当的计算成本。通过使用所采用的PPA，我们已经完成了将用修改后的Izhikevich模型构建的神经元用于SNN实践，称为标准化Izhikevich Tonic（SIT）神经元。对于性能，我们评估了建议的技术，用于图像分类任务，在自建的LIF和SIT组成的SNN，命名为混合神经网络（HNN）的静态MNIST，Fashion-MNIST，CIFAR-10数据集和神经形态N-MNIST，CIFAR 10-DVS，和DVS 128手势数据集。实验结果表明，所提出的方法达到了相当的准确性，同时表现出更多的生物现实的行为，几乎所有的测试数据集，证明了这种新的策略在弥合神经动力学和SNN实践之间的差距的效率。
2022-04-01 cs.CV cs.NE
Evolving spiking neuron cellular automata and networks to emulate in vitro neuronal activity
神经启发的模型和系统在非传统计算中具有巨大的应用潜力。通常，生物神经元的机制在模拟或物理系统中被建模或模仿，以试图利用大脑的一些计算能力。然而，在神经系统中起作用的生物机制是复杂的，难以捕捉和设计;因此，转向数据驱动的方法将神经行为的特征转移到人工基质上会更简单。在本研究中，我们使用了进化算法（EA），以产生尖峰神经系统，模仿生物神经元在体外的行为模式。这种方法的目的是开发一种方法，生产能够表现出复杂的行为，可能适合用作计算基板的模型。我们的模型能够产生一定程度的网络范围内的同步，并显示出一系列行为，这取决于用于其进化的目标数据，这些数据来自一系列神经元培养密度和成熟度。表现最好的模型的基因组表明，模型中连接的兴奋性和密度在决定所产生活动的复杂性方面起着重要作用。
2021-10-15 cs.NE q-bio.NC
GLIF: A Unified Gated Leaky Integrate-and-Fire Neuron for Spiking Neural Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
脉冲神经网络（SNN）已经被研究了几十年，以结合其生物相容性并利用其有前途的能量效率。在现有的SNN中，通常采用泄漏积分和激发（LIF）模型来制定尖峰神经元，并演变成具有不同生物学特征的许多变体。然而，大多数基于LIF的神经元在不同的神经元行为中仅支持单一的生物学特征，限制了它们的表达能力和神经元动力学多样性。在本文中，我们提出了一个统一的尖峰神经元GLIF，融合不同的生物特征在不同的神经元行为，扩大了尖峰神经元的表示空间。在GLIF中，用于确定融合生物特征比例的门控因子在训练期间是可学习的。结合所有可学习的膜相关参数，我们的方法可以使尖峰神经元不同，不断变化，从而增加尖峰神经元的异质性和适应性。在各种数据集上的大量实验表明，与其他SNN相比，我们的方法通过简单地将其神经元配方改为GLIF来获得更好的性能。特别是，我们用GLIF训练了一个尖峰ResNet-19，并在CIFAR-100上用六个时间步长实现了$77.35\%$ top-1精度，这已经推进了最先进的技术水平。代码可在\url{https://github.com/Ikarosy/Gated-LIF}上获得。
2023-02-13 cs.AI cs.CV cs.NE
Biologically-Plausible Topology Improved Spiking Actor Network for Efficient Deep Reinforcement Learning
本文提出BPT-SAN，通过引入生物合理的层内连接和树突非线性建模，提升脉冲神经网络在深度强化学习中的决策效率与表达能力。
2024-03-29 cs.NE q-bio.NC
A bio-inspired bistable recurrent cell allows for long-lasting memory
University of Liège（列日大学）
递归神经网络（RNN）在各种需要记忆的任务中提供了最先进的性能。这些性能通常可以通过门控递归单元（GRU）和长短期记忆（LSTM）等门控递归单元来实现。标准门控单元共享一层内部状态以在网络级存储信息，并且长期记忆由网络范围的递归连接权重形成。另一方面，生物神经元能够通过称为双稳态的过程在细胞水平上保持信息任意长的时间。通过双稳态，细胞可以根据自己的过去状态和输入稳定到不同的稳态，这允许在神经元状态中持久存储过去信息。在这项工作中，我们从生物神经元双稳态中获得灵感，在细胞水平上嵌入具有持久记忆的RNN。这导致引入了一种新的生物学启发的递归细胞，该细胞被证明可以大大提高RNN在时间序列上的性能，这些时间序列需要非常长的记忆，尽管只使用细胞连接（所有递归连接都是从神经元到它们自己，即神经元状态不受其他神经元状态的影响）。此外，为这种细胞配备反复的神经调节允许将它们与标准GRU细胞联系起来，朝着GRU的生物可接受性迈出了一步。
2020-06-09 cs.LG cs.NE
Ternary Spiking Neural Networks Enhanced by Complemented Neurons and Membrane Potential Aggregation
School of Sports Engineering, Beijing Sport University（北京体育大学体育工程学院）；School of Mathematics, Statistics and Mechanics, Beijing University of Technology（北京工业大学数学、统计与力学学院）
本文提出补全三进制脉冲神经元和时间膜电位正则化方法，以提升三进制脉冲神经网络的生物合理性与信息处理能力。
2026-01-22 cs.NE
Disentanglement with Biological Constraints: A Theory of Functional Cell Types
Stanford（斯坦福大学）；Oxford（牛津大学）；UCL（伦敦大学学院）
该研究从数学上证明神经元的非负性和能量效率等生物学约束能促进解耦表示，在多种任务和架构中有效，并解释了大脑细胞类型划分及表示纠缠的机制。
2026-10-20 cs.LG cs.NE q-bio.NC
Towards NeuroAI: Introducing Neuronal Diversity into Artificial Neural Networks
The Chinese University of Hong Kong（香港中文大学）；Southeast University（东南大学）；Cornell University（康奈尔大学）
纵观历史，人工智能特别是人工神经网络的发展一直是开放的，并不断受到对大脑日益加深的理解的启发，比如神经认知机的启发，它是卷积神经网络的开创性工作。根据新兴领域NeuroAI的动机，大量的神经科学知识可以通过赋予网络更强大的功能来帮助催化下一代AI。正如我们所知，人类大脑有许多形态和功能不同的神经元，而人工神经网络几乎完全建立在一个单一的神经元类型。在人类大脑中，神经元的多样性是各种生物智能行为的一个使能因素。由于人工网络是人类大脑的缩影，因此引入神经元多样性对于解决人工网络的基本问题（如效率、可解释性和记忆）应该是有价值的。在本书中，我们首先讨论了生物神经元多样性的分类以及生物神经元中信息传递和处理的特征。然后，我们回顾了人工网络设计新的神经元的研究。接下来，我们将讨论神经元多样性可以为人工网络带来什么好处，以及在几个重要领域的示例性应用。最后，我们讨论了神经元多样性的挑战和未来方向，以探索NeuroAI的潜力。
2023-03-11 cs.AI cs.ET cs.LG
Virtual Electrode Recording Tool for EXtracellular potentials (VERTEX): Comparing multi-electrode recordings from simulated and biological mammalian cortical tissue
Newcastle University（纽卡斯尔大学）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；University of York（约克大学）
用细胞外电极采样的局部场电位（LFP）经常被用作群体神经元活动的量度。然而，将这种测量与潜在的神经元行为和连接性相关联是不平凡的。为了帮助研究这一联系，我们开发了细胞外电位虚拟电极记录工具（VERTEX）。我们首先确定了一个简化的神经元模型，保留了新皮层神经元细胞外电位的空间和频率滤波特性。然后，我们开发了VERTEX作为一个易于使用的Matlab工具，用于模拟来自大群体（>100 000个神经元）的LFP。一个基于VERTEX的模拟成功地再现了功能的LFPs从体外多电极阵列记录猕猴新皮层组织。我们的模型，虚拟电极放置在3D的任何地方，允许直接比较与体外记录设置。我们设想VERTEX将刺激实验学家、临床医生和计算神经科学家使用模型来理解健康和疾病中测量的大脑动力学的机制。
2014-09-18 cs.AI cs.NE q-bio.NC
PMSN: A Parallel Multi-compartment Spiking Neuron for Multi-scale Temporal Processing
The Hong Kong Polytechnic University（香港理工大学）；University of Electronic Science and Technology of China（电子科技大学）
研究针对脉冲神经网络多尺度时间处理不足问题，提出并行多房室脉冲神经元模型PMSN，通过整合子结构模拟生物神经元，引入并行化技术，实验表明其在时间处理能力和训练速度上优于现有模型，在神经形态硬件上可部署。
2026-07-21 cs.NE
Linear-Nonlinear-Poisson Neuron Networks Perform Bayesian Inference On Boltzmann Machines
The Ohio State University（俄亥俄州立大学）
深度学习和经典连接主义观点中的一个猜想是，生物大脑实现了某些类型的深度网络作为其后端。然而，据我们所知，尚未建立详细的对应关系，如果我们想在神经科学和机器学习之间架起桥梁，这一点很重要。最近的研究强调了线性-非线性-泊松（Linear-Nonlinear-Poisson，LNP）神经元模型的生物相容性。我们表明，神经合理的设置，整个网络是能够代表任何玻尔兹曼机和执行半随机贝叶斯推理算法之间的吉布斯采样和变分推理。
2013-01-27 cs.AI cs.NE q-bio.NC
Single-Entity Spiking Neuron Models: Survey
Innopolis University（伊诺波利斯大学）
本文对生物合理神经系统数学建模的不同方法进行综述，基于模型特征分类，考虑多种模拟物，研究神经元等组件，因方法普遍性和创新观点进行选择，以提升所呈现信息的相关性。
2026-07-09 cs.NE q-bio.NC
General Self-Prediction Enhancement for Spiking Neurons
Peking University（北京大学）
本研究提出了一种自预测增强的脉冲神经元方法，通过生成内部预测电流来提升SNNs的训练稳定性与准确性，同时符合生物原理。
2026-01-29 cs.NE
Spiking Deep Networks with LIF Neurons
Centre for Theoretical Neuroscience（理论神经科学中心）；University of Waterloo（滑铁卢大学）
我们使用Leaky Integrate-and-Fire（LIF）神经元训练尖峰深度网络，并在CIFAR-10和MNIST数据集上实现了尖峰网络的最新结果。这表明，生物学上合理的尖峰脉冲LIF神经元可以集成到深度网络中，可以像其他尖峰脉冲模型（例如整合和激发）一样执行。我们通过软化LIF响应函数来实现这一结果，使得其导数保持有界，并通过使用噪声训练网络来提供对尖峰引入的可变性的鲁棒性。我们的方法是通用的，可以应用于其他神经元类型，包括现代神经形态硬件上使用的。我们的工作为现代图像分类模型带来了更多的生物现实主义，希望这些模型可以告知大脑如何执行这项艰巨的任务。它还提供了训练深度网络在神经形态硬件上运行的新方法，目的是为机器人应用提供快速，节能的图像分类。
2015-10-29 cs.LG cs.NE
A biologically plausible neural network for multi-channel Canonical Correlation Analysis
皮质锥体神经元从多个不同的神经元群体接收输入，并将这些输入整合到单独的树突隔室中。我们探讨了皮质微电路实现典型相关分析（CCA）的可能性，CCA是一种无监督学习方法，将输入投影到一个共同的子空间上，以最大限度地提高投影之间的相关性。为此，我们寻求一个多通道CCA算法，可以实现在一个生物学上合理的神经网络。对于生物相容性，我们要求网络在在线设置中运行，并且其突触更新规则是本地的。从一个新的CCA目标函数，我们推导出一个在线优化算法，其优化步骤可以实现在一个单层神经网络与多房室神经元和本地非赫布学习规则。我们还得到了我们的在线CCA算法与自适应输出秩和输出白化的扩展。有趣的是，该延伸映射到一个神经网络上，其神经结构和突触更新类似于在皮质锥体神经元中实验观察到的神经回路和突触可塑性。
2021-03-26 cs.NE q-bio.NC stat.ML
The Fast Lane Hypothesis: Von Economo Neurons Implement a Biological Speed-Accuracy Tradeoff
School of Computing and Creative Technologies, University of the West of England, Bristol, UK（西英格兰大学计算与创意技术学院，布里斯托尔，英国）
本文提出von Economo神经元通过稀疏快速投射路径实现生物速度-准确性权衡，通过模拟社会辨别任务验证其在不同病理条件下对决策速度的影响。
2026-07-30 cs.AI cs.NE q-bio.NC
Influence of the learning method in the performance of feedforward neural networks when the activity of neurons is modified
提出了一种对前馈神经网络中的任意神经元进行不同处理的方法。该算法已经实现了两个非常不同的学习方法：一个标准的反向传播（BP）过程和进化算法。首先，我们已经证明了EA训练方法比BP收敛得更快，并且给出了更准确的结果。然后，我们做了一个全面的分析，关闭不同的神经元组合后的训练阶段的影响。我们证明，EA是更强大的BP比所有的情况下，研究。即使在两个隐藏神经元丢失的情况下，EA训练仍然能够给出良好的平均结果。这种差异意味着我们在研究修剪或冗余效应时必须非常小心，因为失去神经元时的网络性能强烈依赖于训练方法。此外，各个输入的影响也将取决于训练算法。由于EA在单元丢失时保持了良好的分类性能，因此该方法可以很好地模拟生物学习系统，因为它们必须对缺陷的神经元性能具有鲁棒性。虽然生物系统比本文中所示的模拟复杂得多，但我们提出，可以将此处所示的智能训练策略视为防止一定数量神经元丢失的第一保护。
2014-04-21 cs.NE
Multi-compartment Neuron and Population Encoding Powered Spiking Neural Network for Deep Distributional Reinforcement Learning
Brain-inspired Cognitive Intelligence Lab, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所类脑认知智能实验室）；Center for Long-term Artificial Intelligence（长期人工智能中心）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Chinese Academy of Sciences（中国科学院脑认知与脑智能技术重点实验室）
本文提出一种基于多区室神经元模型与群体编码的脉冲神经网络深度分布式强化学习算法，在Atari游戏中超越传统FQF及Spiking-FQF，并降低功耗。
2025-02-25 cs.AI cs.NE
Finite Meta-Dynamic Neurons in Spiking Neural Networks for Spatio-temporal Learning
脉冲神经网络（SNN）融合了更多的生物学上合理的结构和学习原理，因此在弥合人工和自然神经网络之间的差距方面发挥着关键作用。棘波是描述膜电位阈值以上基于事件的放电和阈值以下动态计算的稀疏信号，它为信息表示和计算提供了一种统一有效的方法。受生物网络中有限数量的Meta神经元集成在一起以实现各种认知功能的启发，我们提出并构建了元动态神经元（MDN）来改进SNN，以便在时空学习过程中更好地进行网络泛化。MDN设计有基本的神经元动力学，包含膜电位的一阶和二阶动力学，包括由一些超参数支持的空间和时间Meta类型。MDN首先从空间（MNIST）和时间（TIDigits）数据集生成，然后扩展到各种其他不同的时空任务（包括Fashion-MNIST，NETtalk，Cifar-10，TIMIT和N-MNIST）。与其他SOTA SNN算法相比，达到了相当的精度，并且使用MDN的SNN也比不使用MDN的SNN实现了更好的泛化能力。
2020-10-07 cs.NE
Growing Artificial Neural Networks for Control: the Role of Neuronal Diversity
IT University Copenhagen（哥本哈根信息技术大学）
本研究针对生长式人工神经网络中神经元多样性与优化稳定性的矛盾，基于神经发育程序引入神经元内在状态和侧抑制两种机制，在复杂运动任务中取得了与现有编码方式相当的效果。
2024-05-14 cs.AI cs.NE
Learning by Stimulation Avoidance: A Principle to Control Spiking Neural Networks Dynamics
The University of Tokyo（东京大学）
基于真实神经元网络的学习，以及扩展生物启发的神经网络模型，还没有找到导致广泛应用的通用学习规则。在本文中，我们认为存在一个原则，允许引导生物启发的神经网络的动态。使用精心定时的外部刺激，网络可以被驱动到期望的动态状态。我们把这个原则称为“刺激回避学习”（LSA）。我们通过模拟证明，在人工网络中导致LSA的最小充分条件也足以重现类似于Shahaf和Marom [1]在生物神经元中获得的学习结果。我们在一个简化的网络中研究了该机制的基本动力学，并演示了它如何扩展到100个神经元的网络。我们表明，LSA具有更高的解释力比现有的假设的生物神经网络外部模拟的反应，并可以用作一个具体的应用程序的学习规则：学习的墙壁避免模拟机器人。人工神经网络的流行主要是针对具有生物学无关动力学的神经元的无实体模型：据作者所知，这是第一个通过纯赫布学习证明随机尖峰网络的感觉运动学习的工作。
2019-02-18 cs.AI cs.LG cs.NE
Deep learning incorporating biologically-inspired neural dynamics
神经网络已经成为人工智能的关键技术，并为几个机器学习任务的突破做出了贡献，这主要归功于应用于人工神经网络（ANN）的深度学习的进步。与此同时，脉冲神经网络（SNN），结合生物学上可行的尖峰神经元有很大的希望，因为他们丰富的时间动态和高功率效率。然而，SNN的发展与ANN的发展是分开进行的，这有效地限制了深度学习研究见解的采用。在这里，我们展示了另一种观点的尖峰神经元，铸造它作为一个特定的人工神经网络结构称为尖峰神经元单元（SNU），和一个软SNU（sSNU）的变种，概括其动态到一个新的循环人工神经网络单元。SNU将生物启发的SNN与ANN连接起来，并提供了一种在深度学习架构中无缝包含尖峰神经元的方法。此外，SNU还可以对通过时间反向传播训练的SNN进行高效的内存加速，并通过硬件在环实现。我们将SNU应用于从手写数字识别，语言建模到音乐预测的任务。我们获得的准确性与最先进的人工神经网络相当或更好，并且我们使用52，800个相变存储器设备实验验证了基于内存的SNN实现音乐预测任务的有效性。本文介绍的新一代神经单元将生物启发的神经动力学纳入深度学习。此外，他们提供了一个系统的方法来训练类脑计算硬件。因此，它们为SNN在实际应用中的广泛采用开辟了新的途径。
2019-05-19 cs.NE
A Hebbian/Anti-Hebbian Network Derived from Online Non-Negative Matrix Factorization Can Cluster and Discover Sparse Features
尽管我们对神经元的生物物理特性有广泛的了解，但还没有普遍接受的神经元功能的算法理论。在这里，我们探讨的假设，单层神经网络进行在线对称非负矩阵分解（SNMF）的相似性矩阵的流数据。通过从SNMF成本函数开始，我们推导出一种在线算法，该算法可以由具有局部学习规则的生物学上合理的网络来实现。我们证明，这样的网络执行软聚类的数据，以及稀疏特征发现。衍生的算法复制了许多已知的方面的感觉解剖和生物物理特性的神经元，包括单极性质的神经元活动和突触的权重，本地突触可塑性规则和累积神经元活动的学习率的依赖性。因此，我们朝着神经元功能的算法理论迈出了一步，这将有助于大规模神经电路模拟和生物启发的人工智能。
2015-03-02 cs.NE q-bio.NC stat.ML
A Deep 2-Dimensional Dynamical Spiking Neuronal Network for Temporal Encoding trained with STDP
University of Maryland（马里兰大学）
众所周知，大脑是一个高度复杂的异步动力学系统，高度定制以编码时间信息。然而，最近的深度学习方法没有利用这种时间编码。脉冲神经网络（SNN）可以使用生物学上真实的学习机制来训练，并且可以具有生物学上相关的神经元激活规则。这种类型的网络也基本上是围绕通过时间衰减的电压更新来接受时间信息而构建的，这是当前速率编码网络难以处理的一种输入。在这里，我们表明，一个大的，深层的SNN与动态的，混沌的活动模仿哺乳动物皮层与生物启发的学习规则，如STDP，是能够编码信息的时间数据。我们认为，网络权重中固有的随机性允许神经元形成对STDP自组织后输入的时间数据进行编码的组。我们的目标是表明，输入刺激的精确定时是在分层网络中形成同步神经组的关键。我们用网络熵作为信息传递的度量来分析网络。我们希望同时解决两个问题：为人工智能创建人工时间神经系统，以及解决大脑中的编码机制。
2020-09-01 cs.AI cs.CV cs.NE
Fault-Tolerant Neural Networks from Biological Error Correction Codes
Center for Theoretical Physics, Massachusetts Institute of Technology（麻省理工学院理论物理中心）；Department of Physics, Massachusetts Institute of Technology（麻省理工学院物理系）；Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电气工程与计算机科学系）
本研究利用哺乳动物皮层网格细胞中的生物纠错码，构建通用容错神经网络，在神经元故障率低于阈值时实现可靠计算，并发现生物神经元满足该条件，揭示了皮层可靠计算的机制。
2024-02-09 cs.LG cs.NE q-bio.NC
Online computation of sparse representations of time varying stimuli using a biologically motivated neural network
自然刺激是高度冗余的，具有显著的空间和时间相关性。虽然稀疏编码已被提出作为神经系统编码感官刺激的有效策略，但其潜在机制仍然没有得到很好的理解。大多数以前的方法通过稀疏表示字典本身对神经动力学进行建模，并离线计算表示系数。在现实中，面对不断变化的刺激的挑战，神经元必须以在线方式动态计算稀疏表示。在这里，我们描述了一个泄漏的线性化Bregman迭代（LLBI）算法计算时变稀疏表示使用的泄漏整流神经元的生物动机的网络。与以往的动态稀疏编码相比，LLBI利用了刺激的时间相关性，在表示误差和稀疏系数时间演化的平滑性方面表现出更好的性能。
2012-10-13 cs.NE q-bio.NC
A Normative Theory of Adaptive Dimensionality Reduction in Neural Networks
为了理解这个世界，我们的大脑必须分析由我们的感觉器官传输的高维数据集。因为这种分析从降维开始，所以对早期感觉处理进行建模需要生物学上合理的在线降维算法。最近，我们得出这样的算法，称为相似性匹配，从多维尺度（MDS）的目标函数。然而，在现有的算法中，输出维度的数量是由输出神经元的数量先验地设置的，并且不能改变。由于感官输入中的信息维度的数量是可变的，因此需要自适应降维。在这里，我们推导出生物学上合理的降维算法，该算法将输出维度的数量调整到输入协方差矩阵的特征谱。我们制定了三个目标函数，在离线设置中，通过输入数据集到其主子空间上的投影进行优化，该子空间由输出协方差矩阵的特征值缩放。进而，输出特征值被计算为输入协方差矩阵的i）软阈值特征值，ii）硬阈值特征值，iii）均衡阈值特征值。在在线设置中，我们推导出三个相应的自适应算法，并将它们映射到具有生物学合理的局部学习规则的网络中的神经元活动的动态上。值得注意的是，在最后两个网络中，神经元被分为两类，我们将其识别为生物回路中的主神经元和中间神经元。
2016-01-26 cs.NE q-bio.NC
An Introductory Review of Spiking Neural Network and Artificial Neural Network: From Biological Intelligence to Artificial Intelligence
Tsinghua University（清华大学）；McGill University（麦吉尔大学）
本文综述了脉冲神经网络与人工神经网络，从生物神经元基础、模型、回路连接到学习机制与架构，旨在推动类脑智能和通用人工智能发展。
2022-04-09 cs.AI cs.NE
Biologically-Informed Excitatory and Inhibitory Balance for Robust Spiking Neural Network Training
本研究发现低初始发放率和多样抑制性脉冲模式等关键因素能提升脉冲网络训练能力，证实80:20兴奋性与抑制性平衡可增强网络在低活动和高噪声环境下的鲁棒性。
2024-04-24 cs.ET cs.NE
MSTDP: A More Biologically Plausible Learning
在大脑中观察到的尖峰时间依赖性可塑性（STDP）已被证明在生物学习中具有重要意义。另一方面，人工神经网络使用不同的方式来学习，例如反向传播或对比赫布学习。在这项工作中，我们提出了一个新的框架称为mstdp，学习几乎相同的方式生物学习使用，它只使用STDP规则的监督和无监督学习和不需要一个全局损失或其他监督信息。该框架的工作方式类似于自动编码器，使每个输入神经元也成为输出神经元。它可以在一个模型中进行预测或生成模式，而无需额外的配置。我们还带来了一种新的使用动量的迭代推理方法，使框架更有效，可用于训练和测试阶段。最后，我们在MNIST数据集上验证了我们的分类和生成任务的框架。
2021-06-09 cs.LG cs.NE q-bio.NC
Deep Learning: a new definition of artificial neuron with double weight
Northwestern University（西北大学）
深度学习是基于学习数据表示的更广泛的机器学习方法家族的子集。这些模型受到人类生物神经系统的启发，即使生物大脑的结构和功能特性存在各种差异。深度学习模型的基本组成部分是神经元，其可以被认为是接收输入并产生输出的函数，该输出是通过激活函数馈送的输入的加权和。几年来，人们提出了几种神经元模型，这些模型都是基于可学习的参数（称为权重）。在本文中，我们提出了一种新型的人工神经元，双权神经元，其特征在于额外的可学习的权重，导致一个更复杂和准确的系统。我们在MNIST数据集上测试了由双权重神经元组成的前馈和卷积神经网络，并在CIFAR-10数据集上测试了卷积网络。对于MNIST，我们发现一个$\approx 4\%$和$\approx 1\%$改进的分类精度，分别相比，一个标准的前馈和卷积神经网络建立了相同的超参数集。对于CIFAR-10，我们发现一个$\approx 12\%$改进的分类精度。因此，我们可以得出结论，这种新型的人工神经元可以被认为是一个有价值的替代常见的。
2019-05-20 cs.LG cs.NE stat.ML
Perforated Backpropagation: A Neuroscience Inspired Extension to Artificial Neural Networks
University of Southern California（南加州大学）；Perforated AI Inc.（穿孔人工智能公司）
该研究提出受生物树突启发的穿孔反向传播算法，将其应用于PyTorch网络，可提升准确率并实现无精度损失的模型压缩。
2026-09-01 cs.LG cs.NE q-bio.NC
Neural Autopoiesis: Organizing Self-Boundary by Stimulus Avoidance in Biological and Artificial Neural Networks
生物体必须积极地维持自己，以便继续存在。自创生是生物体研究中的一个关键概念，生物体的边界不是静态的，而是由系统本身动态调节的。为了研究自我边界的自主调节，我们使用生物和人工神经网络来研究神经对环境变化的稳态响应。先前的研究表明，具体的培养神经网络和脉冲神经网络与尖峰时间依赖可塑性（STDP）学习的行动，因为他们避免来自外部的刺激。在本文中，作为我们使用具身培养神经元的实验的结果，我们发现还有第二个属性允许网络避免刺激：如果代理不能学习动作以避免外部刺激，它往往会减少刺激诱发的尖峰，好像忽略不可解释的输入。我们还表明，这样的行为是再现脉冲神经网络与非对称STDP。我们认为，这些性质被视为自我和非自我的自主调节的网络，其中一个可识别的神经元被视为自我，和一个不可识别的神经元被视为非自我。最后，我们通过提出刺激回避原则来介绍神经自生成。
2020-01-27 cs.NE q-bio.NC
MSAT: Biologically Inspired Multi-Stage Adaptive Threshold for Conversion of Spiking Neural Networks
Institute of Automation, Chinese Academy of Sciences (CAS)（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
脉冲神经网络（SNN）由于其脉冲稀疏性，能够以较低的功耗进行推理。ANN-SNN转换是通过转换经过良好训练的人工神经网络（ANN）来实现深度SNN的有效方法。然而，现有的方法通常使用恒定的阈值进行转换，这阻止了神经元快速地将尖峰传递到更深层，并导致高的时间延迟。此外，对于不同输入的相同响应可能导致信息传输期间的信息丢失。受生物模型机制的启发，我们提出了一种多级自适应阈值（MSAT）。具体而言，对于每个神经元，动态阈值随放电历史和输入特性而变化，并且与平均膜电位正相关，与去极化速率负相关。对膜电位和输入的自适应允许及时调整阈值以更快地发射尖峰并传递更多信息。此外，我们分析了在早期时间步长中普遍存在的失活神经元的尖峰误差，并相应地提出尖峰置信度作为正确传递尖峰的神经元的置信度的度量。我们使用这样的尖峰信心在早期的时间步骤，以确定是否引发尖峰，以减轻这个错误。结合所提出的方法，我们研究了非平凡数据集CIFAR-10，CIFAR-100和ImageNet的性能。我们还分别在IDBM和Google语音命令数据集上进行了情感分类和语音识别实验。实验表明，近无损和较低的延迟ANN-SNN转换。据我们所知，这是第一次为转换的SNN构建生物启发的多阶段自适应阈值，其性能与最先进的方法相当，同时提高了能源效率。
2023-03-23 cs.LG cs.NE
POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons
National Tsing Hua University（清华大学）
人类大脑作为一个生物处理系统的内部运作在很大程度上仍然是一个谜。受人脑功能的启发，并基于对其他物种（如果蝇）中简单神经网络系统的分析，类脑计算系统引起了人们的极大兴趣。在细胞水平的连接组学研究中，我们可以识别生物神经网络的特征，即种群，它不仅构成网络中循环的全连接，而且构成每个神经元中的一个外部刺激和自连接。脉冲神经网络依靠网络中脉冲传输和输入数据的低数据带宽，实现了低延迟、低功耗的设计。在这项研究中，我们提出了一个可配置的人口为基础的数字尖峰神经形态处理器在180纳米工艺技术与两个可配置的层次人口。此外，处理器中的这些神经元可以被配置为新颖的模型，整数二次积分和激发神经元模型，其包含无符号的8位膜电位值。处理器可以实时实现智能决策。此外，所提出的方法使仿生神经形态系统和各种低功耗，低延迟的推理处理应用的发展。
2022-01-19 cs.AI cs.NE
