A Biologically Plausible Learning Rule for Perceptual Systems of organisms that Maximize Mutual Information
人们普遍认为，有机体的感知系统是针对其所处环境的特性而优化的。这一原理的一个具体实例被称为Infomax原理，它认为早期感知处理的目的是最大化神经编码和传入感觉信号之间的互信息。在这篇文章中，我们提出了一种方法来实现这一原则，准确地与本地，尖峰为基础，连续时间的学习规则。
2021-10-05 cs.AI cs.NE q-bio.NC
Randomized co-training: from cortical neurons to machine learning and back again
ETH Zurich（苏黎世联邦理工学院）
尽管它的大小和复杂性，人类大脑皮层表现出惊人的解剖结构，这表明可能有简单的元算法底层皮层学习和计算。我们希望这样的元算法会引起人们的兴趣，因为它们需要快速，可扩展和有效地运行，几乎没有专门的假设。本文关注的是一个具体的问题：神经元如何使用大量未标记的数据来加速从奖励系统提供的相对罕见的标签中学习？作为部分答案，我们提出随机协同训练作为满足上述要求的生物学上合理的元算法。作为证据，我们描述了一个生物启发的算法，相关的Nystrom视图（XNV），实现了最先进的性能在半监督学习，和草图工作正在进行中的神经元实现。
2013-10-24 cs.LG q-bio.NC stat.ML
Biologically plausible single-layer networks for nonnegative independent component analysis
神经科学中的一个重要问题是了解大脑如何从未知来源的混合物中提取相关信号，即，执行盲源分离。为了模拟大脑如何执行这项任务，我们寻求一个生物学上合理的单层神经网络实现的盲源分离算法。为了达到生物学上的可兼容性，我们要求网络满足神经元回路的以下三个基本性质：（i）网络在在线环境中运行;（ii）突触学习规则是局部的;（iii）神经元输出是非负的。最接近的是Pehlevan等人的工作。[神经计算，29，2925- 2954（2017）]，它考虑了非负独立分量分析（NICA），这是盲源分离的一种特殊情况，假设混合物是不相关的非负源的线性组合。他们推导出一种具有生物学上合理的2层网络实现的算法。在这项工作中，我们通过推导出2个NICA算法来改进他们的结果，每个算法都具有生物学上合理的单层网络实现。第一个算法映射到一个网络上，该网络具有由中间神经元介导的间接横向连接。第二种算法映射到具有直接横向连接和多房室输出神经元的网络上。
2022-03-04 cs.NE eess.SP q-bio.NC
A More Biologically Plausible Local Learning Rule for ANNs
反向传播算法经常因其生物相容性而受到争议。然而，已经提出了用于神经结构的各种学习方法，以寻找更生物学上合理的学习。他们中的大多数都试图解决“重量传输问题”，并试图通过一些替代方法在架构中向后传播错误。在这项工作中，我们研究了一个略有不同的方法，只使用本地信息，捕捉尖峰定时信息，没有传播的错误。建议的学习规则是来自于尖峰时间依赖可塑性和神经元联想的概念。对具有两个隐藏层的MNIST和IRIS数据集的二进制分类进行的初步评估显示出与反向传播相当的性能。与通过交叉熵损失的反向传播学习的模型相比，使用这种方法学习的模型还显示出对FGSM攻击具有更好的对抗鲁棒性的可能性。学习的局部性为网络中的大规模分布式并行学习提供了可能性。最后，所提出的方法是一种更具生物学意义的方法，可能有助于理解生物神经元如何学习不同的抽象。
2020-11-24 cs.NE q-bio.NC
Backprop Diffusion is Biologically Plausible
University of Siena（锡耶纳大学）
反向传播算法依赖于使用神经模型的抽象，该模型摆脱了时间的概念，因为输入即时映射到输出。在本文中，我们声称这种忽略时间的抽象，以及在喂养训练集时发生的突然输入变化，实际上是为什么在一些论文中，Backprop生物相容性被认为是一个可解释的问题的原因。我们表明，只要一个深前馈网络与神经元的时间延迟响应，反向传播权重更新原来是一个生物合理的扩散过程的基本方程的基础上向前向后波。我们还表明，这样的过程很好地近似了相对于网络深度不太快的输入的梯度。这些评论在一定程度上揭示了反向传播方程背后的扩散过程，并使我们将相应的算法解释为更一般的扩散过程的退化，这种扩散过程也发生在具有循环连接的神经网络中。
2020-06-17 cs.LG cs.NE q-bio.NC
Can Biologically Plausible Temporal Credit Assignment Rules Match BPTT for Neural Similarity? E-prop as an Example
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Altera（Altera公司）
本文以 e-prop 为例，结合 Procrustes 分析表明，在任务准确率匹配时，生物学合理的时间信用分配规则可取得与 BPTT 相当的神经相似性，且架构和初始条件影响更显著。
2025-06-07 cs.AI cs.NE q-bio.NC
Beyond accuracy: generalization properties of bio-plausible temporal credit assignment rules
University of Washington（华盛顿大学）；Allen Institute for Brain Science（艾伦脑科学研究所）；McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Montreal Neurological Institute（蒙特利尔神经学研究所）；Université de Montréal（蒙特利尔大学）
为了揭示大脑是如何学习的，正在进行的工作寻求梯度下降算法在生物学上合理的近似，用于训练递归神经网络（RNN）。然而，除了任务的准确性，目前还不清楚这些学习规则是否会收敛到比非生物学上合理的对应物表现出不同水平的泛化能力的解决方案。利用基于损失景观曲率的深度学习理论的结果，我们问：生物学上合理的梯度近似如何影响泛化？我们首先证明，与更紧密地遵循真实梯度的机器学习相比，用于训练RNN的最先进的生物学上合理的学习规则表现出更差和更可变的泛化性能。接下来，我们验证了这种泛化性能与损失景观曲率显着相关，我们表明，生物合理的学习规则往往接近突触权重空间中的高曲率区域。利用动力系统的工具，我们推导出理论参数，并提出一个定理来解释这种现象。这预测了我们的数值结果，并解释了为什么生物学上合理的规则会导致更差和更多变的泛化属性。最后，我们提出了大脑可以用来减轻这种影响的潜在补救措施。据我们所知，我们的分析是第一个确定人工和生物学上合理的学习规则之间存在这种泛化差距的原因，这可以帮助指导未来对大脑如何学习泛化解决方案的研究。
2023-01-14 cs.AI cs.NE q-bio.NC
Meta-Learning Biologically Plausible Plasticity Rules with Random Feedback Pathways
University of Notre Dame（圣母大学）
反向传播被广泛用于训练人工神经网络，但其与大脑中突触可塑性的关系尚不清楚。一些反向传播的生物模型依赖于与前馈连接对称的反馈投影，但实验并不能证实这种对称的反向连接的存在。随机反馈对齐提供了一种替代模型，其中错误通过固定的随机向后连接向后传播。这种方法成功地训练了浅层模型，但学习速度很慢，并且在更深层的模型或在线学习中表现不佳。在这项研究中，我们开发了一种元学习方法来发现可解释的，生物学上合理的可塑性规则，这些规则可以提高固定随机反馈连接的在线学习性能。由此产生的可塑性规则显示了在低数据状态下深度模型的改进在线训练。我们的研究结果突出了元学习发现有效的，可解释的学习规则，满足生物约束的潜力。
2023-02-07 cs.LG cs.NE q-bio.NC
The Architecture of a Biologically Plausible Language Organ
Columbia University（哥伦比亚大学）
本文提出一个由神经元、突触等构成的生物合理性语言器官，通过Hebbian可塑性学习名词和动词，无需反向传播，解释了婴儿大脑语言习得机制。
2023-06-27 cs.CL q-bio.NC
Biologically Plausible Variational Policy Gradient with Spiking Recurrent Winner-Take-All Networks
University of Leeds（利兹大学）；Tsinghua University（清华大学）；Fujian Normal University（福建师范大学）
强化学习研究的一个方向是探索生物学上合理的模型和算法，以模拟生物智能并适应神经形态硬件。其中，奖赏调制的发放时间依赖可塑性（R-STDP）是一个新的分支，在能量效率方面具有很好的潜力。然而，目前的R-STDP方法依赖于局部学习规则的启发式设计，因此需要特定于任务的专家知识。本文考虑一个尖峰循环赢者通吃网络，提出了一种新的R-STDP方法-尖峰变分策略梯度（SVPG），其局部学习规则来自全局策略梯度，从而消除了启发式设计的需要.在MNIST分类实验和Gym InvertedPendulum实验中，我们的SVPG取得了良好的训练效果，并且对各种噪声的鲁棒性也比传统方法更好。
2022-10-21 cs.LG cs.NE q-bio.NC
A biologically plausible neural network for local supervision in cortical microcircuits
Flatiron Institute（弗莱提伦研究所）；Rutgers University（罗格斯大学）；NYU Medical Center（纽约大学医学中心）
反向传播算法是训练人工神经网络的宝贵工具;然而，由于权重共享要求，它不能提供合理的大脑功能模型。在这里，在一个两层网络的上下文中，我们推导出一个用于训练神经网络的算法，该算法通过不需要显式的误差计算和反向传播来避免这个问题。此外，我们的算法映射到一个神经网络，它与皮层的连接结构和学习规则非常相似。我们发现，我们的算法凭经验执行了一些数据集上的反向传播。
2020-11-30 cs.LG cs.NE q-bio.NC
One-shot learning of paired association navigation with biologically plausible schemas
National University of Singapore（新加坡国立大学）；Harvard University（哈佛大学）；Agency for Science, Technology and Research（科技研究局）
本文提出由生物学合理神经网络实现的图式智能体，结合路径积分、一次性联想记忆、向量导航及 actor-critic 与工作记忆门控，解释并预测啮齿动物配对联想导航行为。
2026-10-21 cs.NE q-bio.NC
Biologically-plausible backpropagation through arbitrary timespans via local neuromodulators
通过基于反向传播的梯度下降来调整关键参数的递归神经网络模型的巨大成功激发了人们对生物神经网络如何解决相应的突触信用分配问题的思考。然而，到目前为止，对于生物网络如何通过时间实现必要的反向传播，生物突触网络信号架构的限制得到了广泛认可，几乎没有达成一致。在这里，我们建议，局部神经调质，如神经肽的突触外扩散可能提供一个有效的模式，倒传播躺在生物相容性的界限内。超越现有的基于时间截断的梯度近似，我们的近似基于梯度的更新规则，ModProp，通过任意的时间步长传播信用信息。ModProp表明，调制信号可以通过因果、时不变和突触类型特定的滤波器抽头卷积它们的资格迹线来作用于接收细胞。我们对ModProp学习的数学分析，以及对基准时间任务的模拟结果，证明了ModProp比现有的生物学上合理的时间信用分配规则的优势。这些结果表明，在一个较长的时间范围内，信号信贷信息相关的经常性相互作用的潜在神经元机制。最后，我们得到了一个模拟实现的ModProp，可以作为一个低复杂性和因果替代反向传播通过时间。
2023-01-14 cs.NE q-bio.NC
A Normative and Biologically Plausible Algorithm for Independent Component Analysis
Flatiron Institute（弗拉特研究所）；NYU Medical Center（纽约大学医学中心）；Rutgers University（罗格斯大学）
大脑毫不费力地解决了盲声源分离（BSS）问题，但它使用的算法仍然难以捉摸。在信号处理中，线性盲源分离问题通常采用独立分量分析（ICA）来解决。作为生物回路的模型，ICA神经网络（NN）必须至少满足以下要求：1。该算法必须在在线设置中运行，其中数据样本一次一个地流式传输，并且NN在不将任何重要部分的数据存储在内存中的情况下实时计算源。2.突触权重更新是局部的，即，它仅取决于突触附近存在的生物物理变量。在这里，我们提出了一个新的ICA的目标函数，从中我们得到一个生物上合理的NN，包括神经结构和突触学习规则。有趣的是，我们的算法依赖于通过输出神经元的总活动来调节突触可塑性。在大脑中，这可以通过神经调质、细胞外钙、局部场电位或一氧化氮来实现。
2021-11-17 cs.AI cs.NE q-bio.NC
Biologically-Plausible Topology Improved Spiking Actor Network for Efficient Deep Reinforcement Learning
本文提出BPT-SAN，通过引入生物合理的层内连接和树突非线性建模，提升脉冲神经网络在深度强化学习中的决策效率与表达能力。
2024-03-29 cs.NE q-bio.NC
Kickback cuts Backprop's red-tape: Biologically plausible credit assignment in neural networks
Victoria University of Wellington（惠灵顿维多利亚大学）；ETH Zurich（苏黎世联邦理工学院）
误差反向传播算法是人工神经网络中一种非常有效的信用分配算法。然而，Backprop下的权重更新依赖于冗长的递归计算，需要单独的输出和错误消息-生物神经元不共享的功能，可能是不必要的。在本文中，我们重新Backprop和信用分配问题。我们首先分解Backprop到一个相互作用的学习算法的集合，提供这些子算法的性能上的遗憾界限，并分解Backprop的错误信号。利用这些结果，我们推导出一个新的信用分配算法的非参数回归，Kickback，这是显着比Backprop简单。最后，我们提供了一个充分的条件Kickback遵循误差梯度，并显示Kickback匹配Backprop的性能在现实世界的回归基准。
2014-11-23 cs.LG cs.NE q-bio.NC
A Hebbian/Anti-Hebbian Neural Network for Linear Subspace Learning: A Derivation from Multidimensional Scaling of Streaming Data
早期感觉处理的神经网络模型通常减少流输入数据的维度。这样的网络学习主子空间，在主成分分析（PCA）的意义上，通过调整突触权重根据活动相关的学习规则。当从原则成本函数导出时，这些规则是非局部的，因此在生物学上是不可信的。与此同时，生物学上合理的本地规则已被假定，而不是来自一个原则性的成本函数。在这里，为了弥合这一差距，我们通过最小化原则成本函数，推导出一个在流数据上进行子空间学习的生物学上合理的网络。在偏离以前的工作，其中成本量化的表示，或重建，错误，我们采用了多维尺度（MDS）的成本函数流数据。由此产生的算法只依赖于生物学上合理的赫布和反赫布的本地学习规则。在随机设置中，突触权重收敛到将输入数据投影到主子空间上的稳态。如果数据由非平稳分布生成，则网络可以跟踪主子空间。因此，我们的结果使一个算法理论的神经计算的一步。
2015-03-02 cs.NE q-bio.NC stat.ML
Texture Recognition Using a Biologically Plausible Spiking Phase-Locked Loop Model for Spike Train Frequency Decomposition
本文提出一种生物合理的脉冲锁相环模型，通过频率分解解码纹理，并在MST数据集上提升最先进性能。
2024-03-12 q-bio.NC
Duality Principle and Biologically Plausible Learning: Connecting the Representer Theorem and Hebbian Learning
Flatiron Institute（熨斗研究院）；Rutgers University（罗格斯大学）；NYU Langone Medical Center（纽约大学朗格尼医学中心）
本文以 Similarity Matching 的对偶思想为基础，论证 Representer theorem 可作为分析正则化监督学习中神经架构及 Hebbian 更新规则的统一视角。
2023-08-02 cs.AI cs.NE q-bio.NC
Anticipated Synchronization in a Biologically Plausible Model of Neuronal Motifs
两个完全相同的自主动力系统耦合在一个主从配置可以表现出预期的同步（AS），如果从也收到延迟负自反馈。最近，AS被证明发生在简化的神经元模型的系统中，需要神经元膜电位与其延迟值的耦合。然而，这种偶联没有明显的生物学相关性。在这里，我们提出了一个典型的神经元微电路与标准的化学突触，延迟抑制是由一个中间神经元。在这种生物学上合理的情况下，从延迟同步（DS）到AS的平滑过渡通常发生在抑制性突触电导增加时。当模型参数在生理范围内变化时，这种现象是鲁棒的。由于DS-AS过渡相当于突触前和突触后尖峰时间的反转，我们的结果可能对尖峰时间依赖可塑性模型产生影响。
2011-09-09 physics.bio-ph physics.comp-ph q-bio.NC
A Biologically Plausible Supervised Learning Method for Spiking Neural Networks Using the Symmetric STDP Rule
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
脉冲神经网络（SNN）由于基于事件的计算而具有能量有效的潜力。然而，SNN的监督训练仍然是一个挑战，因为尖峰活动是不可区分的。以前的SNN训练方法通常可以分为两个基本类，即，反向传播类训练方法和基于可塑性的学习方法。前一种方法依赖于能量效率低的实值计算和非本地传输，这也是人工神经网络（ANN）所需的，而后者要么被认为是生物学上不可信的，要么表现出很差的性能。因此，SNN的生物学合理（bio-plausible）高性能监督学习（SL）方法仍然存在缺陷。在本文中，我们提出了一种新的生物合理的SNN模型的基础上对称尖峰定时依赖可塑性（sym-STDP）的规则，发现在神经科学的SL。通过将sym-STDP规则与生物合理的突触缩放和动态阈值的内在可塑性相结合，我们的SNN模型很好地实现了SL，并在基准识别任务（MNIST数据集）中取得了良好的性能。为了揭示SL模型的潜在机制，我们在训练后使用t分布随机邻居嵌入（t-SNE）方法可视化了基于层的活动和突触权重，并发现它们被很好地聚类，从而展示了出色的分类能力。此外，为了验证我们模型的鲁棒性，我们在另一个更真实的数据集（Fashion-MNIST）上进行了训练，该数据集也表现出了良好的性能。由于学习规则是生物合理的，并且纯粹基于局部尖峰事件，我们的模型可以很容易地应用于神经形态硬件的在线训练，并可能有助于理解SL信息处理在突触水平上的生物神经系统…
2019-10-06 cs.AI cs.LG cs.NE
A Biologically Plausible Audio-Visual Integration Model for Continual Learning
Communication University of China（中国传媒大学）；State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室）
灾难性遗忘问题已经有30多年的历史了，至今还没有完全解决。由于人类大脑具有进行持续终身学习的天然能力，因此从大脑学习可以提供解决这个问题的方法。在本文中，我们提出了一个新的生物合理的视听整合模型（AVIM）的基础上的假设，在学习过程中的听觉和视觉感知信息的整合是至关重要的形成概念，使持续学习成为可能。具体来说，我们使用多室Hodgkin-Huxley神经元来构建模型，并采用基于钙的突触标记和捕获作为模型的学习规则。此外，我们定义了一个新的持续学习范式来模拟人脑中可能的持续学习过程。然后，我们在这个新的范式下测试我们的模型。实验结果表明，与OWM、iCaRL和GEM等先进的学习方法相比，该方法具有最佳的持续学习性能.此外，它可以在学习过程中生成对象的稳定表示。这些结果支持我们的假设，概念形成是必不可少的持续终身学习，并建议拟议的AVIM是一个可能的概念形成机制。
2021-07-20 cs.AI cs.NE q-bio.NC
Biologically Plausible Training Mechanisms for Self-Supervised Learning in Deep Networks
University of Chicago（芝加哥大学）；Department of Statistics（统计系）
我们为深度网络中的自监督学习（SSL）开发了生物学上合理的训练机制。具体地，通过生物学合理训练，我们意味着（i）权重的所有更新都基于突触前单元的当前活动和当前活动，或者从突触后单元的短期记忆中检索的活动，包括在最顶层的误差计算层，（ii）避免了诸如归一化、内积和除法的复杂计算，（iii）单元之间的不对称连接，（iv）大多数学习是以无监督的方式进行的。具有对比度损失的SSL满足第三个条件，因为它不需要标记的数据，并且它对观察到的对象扰动引入了鲁棒性，这在对象或观察者在3D中移动时自然发生，并且随着时间的推移具有可变的照明。我们提出了一个对比铰链为基础的损失，其错误涉及简单的本地计算满足（ii），而不是在文献中采用的标准对比损失，这并不容易借给自己在网络架构中实现，由于复杂的计算，涉及比率和内积。此外，我们表明，学习可以进行两个更合理的替代反向传播，满足条件（i）和（ii）。第一种是差分目标传播（DTP），第二种是逐层学习（LL），其中每一层直接连接到计算损失误差的层。这两种方法都代表了反向传播的对称权重问题的替代方案。通过使用SSL和DTP，LL训练卷积神经网络（CNN），我们发现我们提出的框架实现了与学习嵌入的标准BP学习下游线性分类器评估相当的性能。
2022-02-01 cs.LG cs.NE q-bio.NC
Ghost Units Yield Biologically Plausible Backprop in Deep Neural Networks
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Universite de Montreal（蒙特利尔大学）；Institute of Neuroinformatics（神经信息学研究所）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；University of Bern（伯尔尼大学）
在过去的几年里，深度学习已经改变了人工智能研究，并在各种困难的任务中取得了令人印象深刻的表现。然而，目前还不清楚大脑如何能够像深度神经网络中的反向传播一样有效地在许多领域执行信用分配。在本文中，我们介绍了一个模型，依赖于一个新的作用，神经元抑制机制，被称为鬼单位。通过在没有目标信号被提供给顶层时消除来自上层的反馈，重影单元使得网络能够反向传播错误并在深层结构中进行有效的信用分配。在考虑单室神经元并且需要很少的生物假设的情况下，它能够近似误差梯度并在分类任务上实现良好的性能。误差反向传播通过网络的循环动力学发生，并归功于生物学上合理的局部学习规则。特别是，它不需要单独的前馈和反馈电路。研究了取消反馈的不同机制，从长期过程的连接完全重复到反馈活动的在线复制。这个减少系统结合了基本要素，有一个工作的生物抽象模拟反向传播与一个简单的配方和相关结果的证明。因此，这个模型是理解学习和记忆是如何在皮层多层结构中实现的一个步骤，但它也提出了有趣的神经形态硬件的观点。
2019-11-15 cs.LG q-bio.NC stat.ML
Synaptic balancing: a biologically plausible local learning rule that provably increases neural network noise robustness without sacrificing task performance
我们引入了一种新的，生物学上合理的局部学习规则，可证明增加了神经动力学的鲁棒性，噪声在非线性递归神经网络具有均匀的非线性。我们的学习规则实现了更高的噪声鲁棒性，而不牺牲任务的性能，也不需要任何特定任务的知识。可塑性动力学--一个在网络权重上运行的可积动力系统--保持了多个守恒量，最值得注意的是网络从输入到输出轨迹的整个时间映射。我们的学习规则的结果是每个神经元的传入和传出突触之间的突触平衡。这种突触平衡规则与实验观察到的异突触可塑性的许多已知方面是一致的，而且使新的实验可检验的预测有关的可塑性在传入和传出突触的个别神经元。总的来说，这项工作提供了一种新颖的，实用的局部学习规则，完全保留了整体网络功能，并在这样做时，提供了新的概念之间的桥梁异突触可塑性的神经生物学，正则化噪声鲁棒网络的工程，和数学的可积Lax动力系统。
2021-07-18 q-bio.NC
BioGrad: Biologically Plausible Gradient-Based Learning for Spiking Neural Networks
Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）
脉冲神经网络（SNN）正在为人工智能问题提供节能、大规模并行和低延迟的解决方案，这得益于新兴的神经形态芯片。为了利用这些计算优势，SNN需要通过学习算法进行训练，这些算法遵循大脑启发的神经形态学原则，即基于事件的，本地的和在线的计算。然而，最先进的SNN训练算法基于不遵循上述原则的反向传播。由于其有限的生物相容性，反向传播应用于SNN需要非局部反馈路径来传输连续值误差，并依赖于未来时间步长的梯度。对反向传播引入生物学上合理的修改有助于克服其几个局限性，但限制了反向传播的近似程度，这阻碍了其性能。我们提出了一个生物学上合理的基于梯度的学习算法SNN，在功能上相当于backprop，同时坚持所有三个神经形态的原则。我们引入了具有局部资格迹线的多隔室尖峰神经元来计算学习所需的梯度，并引入了周期性的“睡眠”阶段来进一步改进对反向传播的近似，在此期间，局部Hebbian规则将反馈和前馈权重对齐。我们的方法在MNIST（98.13%）和基于事件的N-MNIST（97.59%）数据集上实现了与多层全连接SNN的反向传播相同的性能水平。我们将我们的学习算法部署在Intel的Loihi上，对MNIST的1个隐藏层网络进行训练，获得了93.32%的测试准确率，而每个训练样本的能耗比GPU上的BioGrad低400倍。我们的工作表明，最优学习在类脑计算中是可行的，进一步追求其生物可接受性可以更好地捕捉这…
2021-10-27 cs.LG cs.NE q-bio.NC
A differential Hebbian framework for biologically-plausible motor control
在本文中，我们探讨了一个神经控制架构，这是生物学上合理的，并能够完全自主学习。它由反馈控制器组成，这些控制器通过选择应该驱动它们的误差来学习实现期望的状态。这种选择通过一系列微分赫布学习规则来进行，这些规则通过与环境的相互作用，可以学习控制系统，其中误差单调地响应于控制信号。接下来，我们展示了在更一般的情况下，神经强化学习可以与反馈控制器相结合，以减少控制信号非单调产生的误差。使用反馈控制可以降低强化学习问题的复杂性，因为只有一个期望值必须学习，控制器处理如何达到它的细节。这使得要学习的函数更简单，可能允许学习更复杂的动作。我们使用简单的例子来说明我们的方法，并讨论它如何可以扩展到分层架构。
2022-02-02 nlin.AO q-bio.NC
Biologically Plausible Sequence Learning with Spiking Neural Networks
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Chulalongkorn University（朱拉隆功大学）；Awecom, Inc（奥威康公司）；University of California, Berkeley（加州大学伯克利分校）
受McCulloch和Pitts在1943年提出的神经活动离散时间模型的启发，我们提出了一种新的连续时间模型，McCulloch-Pitts网络（MPN），用于脉冲神经网络的序列学习。我们的模型具有局部学习规则，使得突触权重更新仅取决于突触直接访问的信息。通过利用二进制神经元之间的连接的不对称性，我们表明，MPN可以被训练为鲁棒地记忆多个时空模式的二进制向量，概括了对称Hopfield网络记忆静态空间模式的能力。此外，我们还证明了该模型可以有效地学习二进制图片序列以及实验神经尖峰训练数据的生成模型。我们的学习规则是一致的尖峰定时依赖可塑性（STDP），从而提供了一个理论基础的系统设计的生物启发网络与大而强大的远程序列存储容量。
2019-11-25 cond-mat.dis-nn cs.LG cs.NE
Efficient multi-scale representation of visual objects using a biologically plausible spike-latency code and winner-take-all inhibition
深度神经网络在物体识别等关键视觉挑战方面已经超越了人类的表现，但需要大量的能量、计算和内存。相比之下，尖峰神经网络（SNN）有潜力提高物体识别系统的效率和生物相容性。在这里，我们提出了一个SNN模型，使用尖峰潜伏期编码和赢家通吃抑制（WTA-I），有效地表示视觉刺激，使用多尺度并行处理。模仿早期视觉皮层中的神经元响应特性，用三种不同的空间频率（SF）通道对图像进行预处理，然后将它们馈送到一层尖峰神经元，其突触权重使用尖峰时间依赖可塑性（STDP）更新。我们研究了不同的SF波段和WTA-I方案下所代表的对象的质量如何变化。我们证明，200个尖峰神经元的网络调谐到三个SF可以有效地表示对象，每个神经元只有15个尖峰。研究如何在SNN中使用生物学上合理的学习规则来实现核心对象识别，不仅可以加深我们对大脑的理解，还可以带来新颖高效的人工视觉系统。
2022-11-30 q-bio.NC
Target spiking patterns enable efficient and biologically plausible learning for complex temporal tasks
人类大脑中的周期性尖峰神经网络（RSNN）学习在能量消耗方面非常有效地执行广泛的感知、认知和运动任务，并且需要很少的示例。这激发了对RSNN的生物启发学习规则的搜索，以提高我们对大脑计算和人工智能效率的理解。已经提出了一些尖峰模型和学习规则，但它仍然是一个挑战，设计RSNN的学习依赖于生物学上合理的机制，并能够解决复杂的时间任务。在本文中，我们从一个简单的数学原理，即网络解决特定任务的可能性最大化，推导出一个突触局部的学习规则。我们提出了一种新的基于目标的学习方案，其中来自似然最大化的学习规则被用来模仿一个特定的尖峰模式，编码的解决方案，以复杂的时间任务。这种方法使得学习非常快速和精确，优于RSNN的最新算法。我们证明了我们的模型的能力，以解决几个问题，如学习多维轨迹和解决经典的时间XOR基准。最后，我们表明，在线近似的梯度上升，除了保证在时间和空间上的完整局部性，允许学习后，很少介绍的目标输出。我们的模型可以应用于不同类型的生物神经元。解析导出的可塑性学习规则是特定于每个神经元模型的，并且可以产生用于实验验证的理论预测。
2021-03-19 q-bio.NC
Towards Biologically Plausible Convolutional Networks
Gatsby Unit, UCL（伦敦大学学院盖茨比单元）；DeepMind；CoMPLEX, UCL（伦敦大学学院CoMPLEX）
卷积网络在深度学习中无处不在。它们对图像特别有用，因为它们减少了参数的数量，减少了训练时间，并提高了准确性。然而，作为大脑的模型，它们存在严重的问题，因为它们需要权重共享-这是真正的神经元根本无法做到的。因此，虽然大脑中的神经元可以局部连接（卷积网络的特征之一），但它们不能是卷积的。然而，局部连接但非卷积网络的性能明显低于卷积网络。这对于使用卷积网络来解释视觉系统活动的研究来说是很麻烦的。在这里，我们研究了权重共享的可行替代方案，其目标是相同的正则化原则，即使池中的每个神经元对相同的输入做出相似的反应。最自然的方法是向网络显示同一图像的多个翻译，类似于动物视觉中的扫视。然而，这种方法需要许多转换，并且不能消除性能差距。相反，我们建议将横向连接添加到本地连接的网络，并允许通过赫布可塑性学习。这需要网络偶尔暂停，以进行类似睡眠的“权重共享”阶段。这种方法使本地连接的网络能够在ImageNet上实现接近卷积的性能，并提高了它们对腹侧流数据的拟合度，从而支持卷积网络作为视觉流的模型。
2022-01-15 cs.LG cs.NE q-bio.NC
A temporal neural network model for object recognition using a biologically plausible decision making layer
Shahid Rajaee Teacher Training University（沙希德·拉贾伊师范大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））
大脑可以将不同的物体识别为它以前经历过的物体。识别精度和处理时间取决于任务属性，如观看条件，噪声水平等，识别精度可以很好地解释不同的模型。然而，很少有人注意到处理时间，而且那些处理时间的处理时间在生物学上是不合理的。通过提取时间上的特征，并利用一种累积定界决策模型，提出了一种兼顾识别时间和识别精度的目标识别模型。为了在时间上提取支持可能的刺激类别的信息特征，修改了称为尖峰HMAX的分层尖峰神经网络。在模型的决策部分，提取的信息使用累加器单元随时间累加。一旦任何一个输入类别达到一个阈值，即判定界，就确定输入类别。结果表明，该模型不仅遵循人类的准确性在心理物理学任务比经典的尖峰HMAX模型，但它预测人类的反应时间在每个选择。结果提供了足够的证据，时间表示的功能是信息，因为它们可以提高一个生物合理的决策者随着时间的推移的准确性。这也符合决策研究中众所周知的速度准确性权衡的想法。
2018-11-22 cs.CV q-bio.NC
A nonlinear hidden layer enables actor-critic agents to learn multiple paired association navigation
National University of Singapore（新加坡国立大学）；The N.1 Institute for Health, National University of Singapore（新加坡国立大学健康研究所）；Faculty of Engineering, National University of Singapore（新加坡国立大学工程学院）；Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局信息通信研究所）；Department of Psychology, National University of Singapore（新加坡国立大学心理学系）；Institute of Molecular and Cell Biology, A*STAR（A*STAR分子与细胞生物学研究所）；Yong Loo Lin School of Medicine, National University of Singapore（新加坡国立大学杨潞龄医学院）；Life Sciences Institute, National University of Singapore（新加坡国立大学生命科学学院）
导航到多个线索奖励位置已越来越多地用于研究啮齿动物的学习。虽然深度强化学习代理已被证明能够学习任务，但它们在生物学上并不合理。生物学上合理的经典演员-评论家代理已被证明可以学习导航到单一奖励位置，但哪些生物学上合理的代理能够学习多个线索奖励位置任务仍不清楚。在这项计算研究中，我们展示了经典代理的版本，这些代理学习导航到单个奖励位置，并适应奖励位置位移，但无法学习多个配对关联导航。该限制被克服的代理，其中放置细胞和线索信息首先处理的前馈非线性隐藏层与突触的演员和评论家受到时间差误差调制的可塑性。当前馈层被一个递归的水库网络代替时，可以获得更快的学习。
2021-07-16 cs.NE q-bio.NC
A Biologically Plausible Dense Associative Memory with Exponential Capacity
Gatsby Computational Neuroscience Unit（加蒂斯计算神经科学单元）；University College London（伦敦大学学院）；IBM Research（IBM研究）
本文提出了一种具有指数容量的生物合理密集联想记忆网络，通过引入阈值非线性实现分布式表示，从而提高存储容量和鲁棒性。
2026-03-09 q-bio.NC
Biologically plausible solutions for spiking networks with efficient coding
理解神经网络的动力学是如何被它们执行的计算所塑造的是神经科学中的一个基本问题。最近，高效编码的框架提出了一个理论，如何尖峰神经网络可以计算低维刺激信号与高效率。有效的尖峰网络是基于与尖峰信息编码相关的损失函数的时间依赖性最小化。然而，为了了解大脑中生物网络的功能和动力学，数学模型必须受到生物学的影响，并遵守与生物网络相同的约束。目前，有效编码的尖峰网络模型已被扩展到包括一些生物相容性的特征，例如具有兴奋性和抑制性神经元的架构。然而，有效编码理论的生物现实主义仍然局限于简单的情况下，不包括单个神经元和网络特性，已知是生物电路中的关键。在这里，我们重新审视了尖峰有效编码的理论，以开发更接近生物电路的尖峰神经网络。也就是说，我们找到了一个生物学上合理的尖峰模型，实现了有效的编码的情况下，一个广义的泄漏集成和消防网络的兴奋性和抑制性单位，配备了快速和缓慢的突触电流，局部稳态电流，如尖峰触发的适应，超极化激活的反弹电流，异构发射阈值和重置，异构突触后电位，和结构化，低秩连接。我们展示了E-E连接矩阵的复杂性如何影响网络响应。
2022-10-24 physics.bio-ph q-bio.NC
Neural Computation Without Slots: Steps Towards Biologically Plausible Memory and Attention in Natural and Artificial Intelligence
本文以现代 Hopfield 网络为基础，提出 K-winner MHN 等扩展方法，用稀疏神经元集合替代槽位存储，在持续学习中提升旧记忆保持，并模拟语言模型基于槽位的长序列存储与误差反向传播功能，从而探索生物学合理机制如何支持类人智能计算。
2025-11-06 cs.NE q-bio.NC
Joint encoding of "what" and "when" predictions through error-modulated plasticity in biologically-plausible spiking networks
International Research Center for Neurointelligence (WPI-IRCN), UTIAS, The University of Tokyo（国际神经智能研究中心（WPI-IRCN），UTIAS，东京大学）
该研究通过生物合理脉冲网络中的误差调节可塑性，展示了如何联合编码'what'和'when'预测，实现灵活的预测认知。
2026-02-26 q-bio.NC
Constrained Predictive Coding as a Biologically Plausible Model of the Cortical Hierarchy
预测编码已经成为神经计算的一个有影响力的规范模型，具有许多扩展和应用。因此，人们已经投入了大量的努力来将PC忠实地映射到皮层上，但仍有一些问题尚未解决或存在争议。特别是，当前的实现通常涉及单独的值和误差神经元，并且需要跨不同大脑区域的对称前向和后向权重。这些特征尚未得到实验证实。在这项工作中，我们表明，PC框架中的线性政权可以修改，忠实地映射到皮层层次结构的方式与经验观察兼容。通过对隐藏层神经活动采用解开启发的约束，我们推导出PC目标的上限。该上限的优化导致算法显示出与原始目标相同的性能，并映射到生物学上合理的网络。这个网络的单元可以被解释为具有非赫布学习规则的多房室神经元，与最近的实验结果非常相似。存在先前的模型，也捕捉这些功能，但他们是现象学的，而我们的工作是一个规范的推导。我们得到的网络不涉及一对一的连接或信号复用，这是现象学模型所需要的，表明这些特征对于皮层的学习是不必要的。在简化的线性情况下，我们的算法的规范性使我们能够证明框架的有趣特性，并分析理解我们的网络组件的计算作用。我们的网络的参数具有自然的解释，作为锥体神经元的多房室模型中的生理量，提供了PC和在皮层中进行的实验测量之间的具体联系。
2023-03-04 q-bio.NC
Effective Connectivity from Single Trial fMRI Data by Sampling Biologically Plausible Models
大脑中因果网络结构的估计是理解认知信息过程的基础。然而，对认知背后的动态过程的了解仅限于对隐藏的神经元活动的间接测量，例如通过功能磁共振成像数据。因此，估计底层过程的网络结构是具有挑战性的。在这篇文章中，我们嵌入一个自适应的重要性采样器称为自适应路径积分平滑（APIS）到期望最大化算法，以获得因果连接的点估计。我们证明了合成数据，这个过程中发现不仅正确的网络结构，但也从随机初始化的连接矩阵的有效连接的方向。此外-在文献中相互矛盾的索赔的动机-我们研究的影响，神经元的时间尺度上的BOLD信号的变化的灵敏度的连接和连接的最大似然解决方案。最后，我们提出两个警告：首先，如果数据是由快速神经元过程产生的，则在慢动力学假设下的连接估计可能会非常有偏差。其次，时间尺度越快，BOLD信号对节点的传入连接的变化就越不敏感。因此，使用现实的神经动力学时间尺度的连接估计需要极高质量的数据，在许多实际数据集似乎是不可行的。
2018-03-15 physics.data-an q-bio.NC
Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry
Gatsby Computational Neuroscience Unit, UCL（伦敦大学学院盖茨比计算神经科学单元）；KUIS AI Center, Koc University（科奇大学KUIS人工智能中心）；EEE Department, Koc University（科奇大学电气与电子工程系）；John A. Paulson School of Engineering & Applied Sciences and Center for Brain Science, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院及脑科学中心）；Kempner Institute for the Study of Natural and Artificial Intelligence（肯普纳自然与人工智能研究所）
本文提出相关信息最大化作为生物神经网络信号传播的替代规范方法，解决了传统神经网络和反向传播算法的生物合理性问题，并提供了一种无权重对称性的解决方案。
2026-03-26 cs.IT cs.LG cs.NE
Towards biologically plausible Dreaming and Planning in recurrent spiking networks
INFN（意大利国家核物理研究所）；Istiuto Superiore di Sanità（意大利高等卫生研究院）
针对强化学习数据需求高且世界模型方法生物学合理性不足的问题，提出由智能体和模型组成的双模块循环脉冲网络，通过在线做梦或规划显著提升学习，并便于神经形态硬件实现。
2023-06-08 cs.LG q-bio.NC
Feedforward Initialization for Fast Inference of Deep Generative Networks is biologically plausible
Université de Montréal（蒙特利尔大学）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Bern（伯尔尼大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们考虑深层多层生成模型，如玻尔兹曼机或Hopfield网，其中计算（实现推理）是递归和随机的，但递归不是为了模拟序列结构，只是为了执行计算。我们发现条件下，一个简单的前馈计算是一个非常好的初始化推理，后的输入设备被钳位到观察值。这意味着在前馈初始化之后，递归网络非常接近网络动力学的不动点，其中能量梯度为0。主要条件是连续的层形成良好的自动编码器，或者更一般地说，单元中的不同输入组（特别是，一方面是自下而上的输入，另一方面是自上而下的输入）彼此一致，从而对输入的总加权和产生相同的贡献。在生物学术语中，这将对应于使每个树突分支正确地预测来自所有树突分支的聚合输入，即，体细胞潜能这与预测一致，即训练到树突分支（诸如锥体细胞的顶端树突和基底树突的那些）中的突触权重以最小化当目标是体细胞活动时由树突分支产生的预测误差。虽然以前的工作已经展示了如何在预测性递归模型中实现快速负相推理（当模型被打开时），但这一贡献有助于在这种递归神经模型中实现快速正相推理（当目标输出被钳制时）。
2016-06-28 cs.LG cs.NE q-bio.NC
A Bio-Plausible Visual Neural Network for Locust-Inspired Collision Perception
School of Mathematics and Information Science, Guangzhou University（广州大学数学与信息科学学院）
针对现有蝗虫碰撞感知模型生物似然性和鲁棒性不足，提出一种融合各向同性采样、群体投票和泄漏积分发放动力学的生物似然神经网络，在多种场景下提升鲁棒性并保持高效。
2026-09-10 cs.NE q-bio.NC
A data-informed mean-field approach to mapping of cortical parameter landscapes
由于维数灾难的存在，限制控制皮质动力学的许多生物学参数在计算上和概念上都是困难的。本文通过提出（1）一种新的数据信息平均场（MF）方法来有效地映射网络模型的参数空间;以及（2）一种用于研究参数空间的组织原则，可以从这些高维数据中提取生物学上有意义的关系。我们使用猕猴初级视觉皮层的大规模网络模型来说明这些想法。在10-20个模型参数中，我们确定了7个约束特别差的参数，并使用（1）中的MF算法来发现该7 D参数立方体中的放电率轮廓。定义一个“生物合理”的区域，包括参数，表现出自发的兴奋性和抑制性放电率与实验值兼容，我们发现，这个区域是一个稍微加厚余维1子流形。这一发现的一个含义是，虽然合理的制度依赖于参数敏感，他们也是强大的和灵活的，当参数变化时，提供适当的补偿。我们的组织原则概念化的参数依赖性是集中在某些二维参数平面，管理侧抑制：相交这些平面与生物学上合理的区域导致非常简单的几何结构，当适当的缩放，有一个通用的字符独立的交叉点。除了阐明似然区域的几何形状外，这种不变性还表明了有用的近似比例关系。我们的研究提供了，第一次，一个完整的表征的一组所有生物合理的参数，详细的皮质模型，这是遥不可及的，由于参数空间的高维性。
2021-11-02 q-bio.NC
A Similarity-preserving Neural Network Trained on Transformed Images Recapitulates Salient Features of the Fly Motion Detection Circuit
Flatiron Institute（熨斗研究所）；Rutgers University（罗格斯大学）；NYU Langone Medical Center（纽约大学朗格尼医学中心）
从数据中学习检测与内容无关的转换是生物和人工智能的核心问题之一。这种问题的一个例子是视觉运动检测器从成对的连续视频帧的无监督学习。Rao和Ruderman通过最小化图像重建误差来学习无穷小变换算子（李群生成器）来解决这个问题。不幸的是，很难将他们的模型映射到具有局部学习规则的生物学上合理的神经网络（NN）上。在这里，我们提出了一个生物学上合理的运动检测模型。我们也采用了变换算子的方法，但不是重建误差最小化，而是从保持相似性的目标函数开始。一个优化这样一个目标函数的在线算法自然地映射到一个具有生物学合理学习规则的NN上。经过训练的NN概括了飞行中经过充分研究的运动检测器的主要特征。特别是，它与实验观察一致，即局部运动检测器结合了至少三个相邻像素的信息，这与著名的哈森斯坦-赖哈特模型相矛盾。
2021-02-10 cs.AI cs.NE q-bio.NC
A Normative Theory of Adaptive Dimensionality Reduction in Neural Networks
为了理解这个世界，我们的大脑必须分析由我们的感觉器官传输的高维数据集。因为这种分析从降维开始，所以对早期感觉处理进行建模需要生物学上合理的在线降维算法。最近，我们得出这样的算法，称为相似性匹配，从多维尺度（MDS）的目标函数。然而，在现有的算法中，输出维度的数量是由输出神经元的数量先验地设置的，并且不能改变。由于感官输入中的信息维度的数量是可变的，因此需要自适应降维。在这里，我们推导出生物学上合理的降维算法，该算法将输出维度的数量调整到输入协方差矩阵的特征谱。我们制定了三个目标函数，在离线设置中，通过输入数据集到其主子空间上的投影进行优化，该子空间由输出协方差矩阵的特征值缩放。进而，输出特征值被计算为输入协方差矩阵的i）软阈值特征值，ii）硬阈值特征值，iii）均衡阈值特征值。在在线设置中，我们推导出三个相应的自适应算法，并将它们映射到具有生物学合理的局部学习规则的网络中的神经元活动的动态上。值得注意的是，在最后两个网络中，神经元被分为两类，我们将其识别为生物回路中的主神经元和中间神经元。
2016-01-26 cs.NE q-bio.NC
Unlocking the Potential of Similarity Matching: Scalability, Supervision and Pre-training
Flatiron Institute（熨斗研究所）；Rutgers University（罗格斯大学）
针对BP算法的生物合理性与在线学习局限，本文基于相似度匹配框架，提出PyTorch实现的卷积非负SM、局部有监督SM目标，并验证了其在LeNet等架构预训练中的特征评估效果。
2023-08-02 cs.AI cs.LG cs.NE
Biologically Plausible Online Principal Component Analysis Without Recurrent Neural Dynamics
学习执行主成分分析（PCA）和使用严格的局部学习规则的相关任务的人工神经网络先前已经基于相似性匹配的原理导出：相似的输入对应该映射到相似的输出对。然而，这些网络（以及类似网络）的操作需要定点迭代来确定与给定输入对应的输出，这意味着动态必须在比输入变化更快的时间尺度上操作。此外，在这些快速动态过程中，此类网络通常“禁用”学习，仅在解决定点迭代后才更新突触权重。在这里，我们推导出一个基于PCA的降维网络，避免了这种快速的定点迭代。我们的方法的关键新颖性是修改的相似性匹配目标，以鼓励突触权重矩阵的近对角性。然后，我们使用泰勒级数近似近似来近似地求逆这个矩阵，取代之前的快速迭代。在离线设置中，我们的算法对应于一个动态系统，我们严格分析其稳定性。在在线设置中（即，与随机梯度），我们将我们的算法映射到一个熟悉的神经网络结构，并给出数值结果表明，我们的方法收敛在一个有竞争力的速度。我们的在线算法的每次迭代的计算复杂度是线性的总自由度，这在某种意义上是最优的。
2018-11-03 math.DS q-bio.NC stat.CO
Neuroscience-inspired online unsupervised learning algorithms
尽管目前流行的深度学习网络在某些任务上实现了前所未有的性能，但人类大脑仍然垄断了一般智能。基于这一点和深度学习网络的生物学不可信性，我们开发了一系列用于无监督学习的生物学上合理的人工神经网络（NN）。我们的方法是基于优化原则的目标函数，包含一个术语，匹配成对的相似性输出的输入，因此名称相似性为基础。这种基于相似性的目标函数的基于一致性的在线优化可以通过具有生物学上合理的局部学习规则的NN来实现。基于相似性的成本函数和相关的NN解决了无监督学习任务，如线性降维，稀疏和/或非负特征提取，盲非负源分离，聚类和流形学习。
2019-09-06 cs.NE q-bio.NC
Blind nonnegative source separation using biological neural networks
盲源分离，即从混合信号中提取独立源，是人工信号和自然信号处理的重要问题。在这里，我们解决这个问题的一个特殊情况下，当源（但不是混合矩阵）是已知的非负的，例如，由于源的物理性质。我们寻找这个问题的解决方案，可以使用生物学上合理的神经网络来实现。具体来说，我们考虑在线设置，其中数据集被流式传输到神经网络。我们的方法的新颖之处在于，我们制定了盲非负源分离的相似性匹配问题，并从相似性匹配的目标派生神经网络。重要的是，我们网络中的突触权重是根据生物学上合理的局部学习规则更新的。
2017-06-01 cs.NE q-bio.NC
Formation of Artificial Neural Assemblies by Biologically Plausible Inhibition Mechanisms
Federal University of Rio Grande do Sul（南里奥格兰德联邦大学）；University of Exeter（埃克塞特大学）；University of Sheffield（谢菲尔德大学）
本文提出E%-winners-take-all机制，结合皮层区域中兴奋性与抑制性神经元比例，改进了Assembly Calculus模型，使网络自身动态决定神经元集合大小并提升刺激恢复率。
2026-04-14 q-bio.NC
Biological learning in key-value memory networks
在神经科学中，经典的Hopfield网络是标准的生物学上合理的长期记忆模型，依赖于赫布可塑性的存储和吸引子动力学的回忆。相比之下，机器学习中的记忆增强神经网络通常使用键值机制来在单个步骤中存储和读出记忆。与传统变体相比，这种增强的网络实现了令人印象深刻的记忆壮举，但它们的生物相关性尚不清楚。我们提出了一个基本的键值记忆，存储输入使用生物学上合理的三因素可塑性规则的组合。当网络参数被元学习时，相同的规则被恢复。我们的网络在自联想记忆任务上的表现与经典的Hopfield网络不相上下，并且可以自然地扩展到连续回忆，异联想记忆和序列学习。我们的研究结果表明，一个令人信服的替代经典的Hopfield网络作为生物长期记忆的模型。
2021-10-26 cs.NE q-bio.NC
Bio-plausible Unsupervised Delay Learning for Extracting Temporal Features in Spiking Neural Networks
神经元之间传导延迟的可塑性在学习中起着重要作用。然而，大脑中这种调制的确切潜在机制仍然是一个悬而未决的问题。了解突触延迟的精确调整可以帮助我们开发有效的大脑启发的计算模型，提供与实验证据一致的见解。在本文中，我们提出了一个无监督的生物合理的学习规则调整突触延迟脉冲神经网络。然后，我们提供了一些数学证明，表明我们的学习规则赋予神经元学习重复时空模式的能力。此外，应用基于STDP的脉冲神经网络配备我们提出的延迟学习规则的随机点运动图的实验结果表明，所提出的延迟学习规则在提取时间特征的有效性。
2020-11-18 cs.NE q-bio.NC
Contrastive Similarity Matching for Supervised Learning
Harvard University（哈佛大学）
我们提出了一种新的生物学上合理的解决方案，信用分配问题的动机观察腹侧视觉通路和训练的深层神经网络。在这两种情况下，同一类别中的对象的表示逐渐变得更加相似，而属于不同类别的对象变得不那么相似。我们利用这一观察结果来激发深度网络中特定于层的学习目标：每一层的目标是学习一个在前一层和后一层之间插值的代表性相似性矩阵。我们制定了这个想法，使用对比相似性匹配的目标函数，并从它派生出深神经网络与前馈，横向和反馈连接，神经元表现出生物合理的赫布和反赫布可塑性。对比相似性匹配可以被解释为一种基于能量的学习算法，但在如何构造对比函数方面与其他算法有显著差异。
2020-12-06 cs.LG q-bio.NC stat.ML
