Memory-enriched computation and learning in spiking neural networks through Hebbian plasticity
Graz University of Technology（格拉茨技术大学）；Silicon Austria Labs（奥地利硅谷实验室）
记忆是生物神经系统的一个关键组成部分，它能够在从数百毫秒到数年的巨大时间范围内保留信息。虽然赫布可塑性被认为在生物记忆中起着关键作用，但到目前为止，它主要是在模式完成和无监督学习的背景下进行分析的。在这里，我们建议，赫布可塑性是生物神经系统中的计算的基础。我们介绍了一种新的脉冲神经网络架构，丰富了赫布突触可塑性。我们表明，赫布丰富呈现脉冲神经网络令人惊讶的通用性方面的计算以及学习能力。它提高了他们的分布外泛化、一次性学习、跨模态生成联想、语言处理和基于奖励的学习能力。由于脉冲神经网络是节能神经形态硬件的基础，这也表明可以基于该原理构建强大的认知神经形态系统。
2022-05-23 cs.LG cs.NE q-bio.NC
Enabling Robust In-Context Memory and Rapid Task Adaptation in Transformers with Hebbian and Gradient-Based Plasticity
St Paul’s School（圣保罗学校）
本文在仅解码器Transformer中引入赫布型与基于梯度的快速权重可塑性模块，发现赫布规则在小样本泛化上更强，梯度更新擅长长时程信用分配，并揭示了可塑性有效的边界条件。
2025-11-04 cs.AI cs.LG cs.NE
Building Supervision into Hebbian Plasticity through Spike Agreement
School of Data Science, IISER Thiruvananthapuram, India（数据科学学院，泰米尔纳德邦印度理工学院）；School of Physics, IISER Thiruvananthapuram, India（物理学院，泰米尔纳德邦印度理工学院）
本文提出监督性尖峰一致性依赖可塑性，用于提升spiking神经网络的快速局部学习能力，通过群体一致性度量替代成对比较，实现高效监督学习。
2026-09-11 cs.LG cs.NE
Learning to learn with backpropagation of Hebbian plasticity
The Neurosciences Institute（神经科学研究所）
赫布可塑性是一个强大的原则，允许生物大脑从他们的一生经验中学习。相比之下，用反向传播训练的人工神经网络通常具有固定的连接权重，一旦训练完成就不会改变。虽然最近的方法可以赋予神经网络长期记忆，但赫布可塑性目前不适合梯度下降。在这里，我们推导出解析表达式的活动梯度神经网络与赫布塑料连接。使用这些表达式，我们可以使用反向传播来训练连接的基线权重，还可以训练它们的可塑性。因此，网络“学习如何学习”，以解决手头的问题：经过训练的网络在其生命周期内自动对不可预测的环境特征进行快速学习，扩大了可解决问题的范围。我们在各种在线学习任务上测试了该算法，包括模式完成，一次性学习和反向学习。该算法成功地学习如何从一次性指令中学习相关关联，并微调可塑性的时间动态，以允许响应于变化的环境参数进行持续学习。我们的结论是，反向传播的赫布可塑性提供了一个强大的模型，终身学习。
2016-10-19 cs.AI cs.LG cs.NE
Towards deep learning with spiking neurons in energy based models with contrastive Hebbian plasticity
École Normale Supérieure（巴黎高等师范学院）
在机器学习中，多层神经网络（深度学习）中的误差反向传播在监督和强化学习任务中取得了令人印象深刻的成功。然而，作为大脑学习的模型，深度学习一直被认为是不可信的，因为它的基本形式依赖于非局部可塑性规则。为了克服这个问题，提出了基于能量的局部对比赫布学习模型，并在一个分类任务与率神经元网络进行了测试。我们扩展了这项工作，通过实现和测试这样一个模型与泄漏集成和火灾神经元网络。初步结果表明，它是可能的学习一个非线性回归任务与隐藏层，尖峰神经元和局部突触可塑性规则。
2016-12-09 cs.LG cs.NE q-bio.NC
Rethinking Hebbian Principle: Low-Dimensional Structural Projection for Unsupervised Learning
School of Computer Science and Engineering, UESTC（UESTC计算机科学与工程学院）；Glasgow College, UESTC（UESTC格拉斯哥学院）；School of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；State Key Lab of Brain-Machine Intelligence, Zhejiang University, China（浙江大学脑机智能国家重点实验室）
针对传统赫布学习应用于机器学习时存在的连接更新无约束、缺乏反馈调节等问题，提出融合正交约束与结构信息保留的SPHeRe无监督学习方法，在多基准任务上取得同类方法最优性能，验证了生物启发学习规则的潜力。
2025-10-22 cs.LG
Hebbian fast plasticity and working memory
本文综述了以快速赫布突触可塑性取代持续活动假说作为工作记忆底层机制的理论与模型，并追溯其起源与发展。
2023-04-13 cs.NE q-bio.NC
Meta-learning three-factor plasticity rules for structured credit assignment with sparse feedback
本文提出元学习三因素可塑性规则，用于递归网络在稀疏反馈下的结构化信用分配学习。
2025-12-11 cond-mat.dis-nn cs.LG physics.bio-ph
Hebbian and Gradient-based Plasticity Enables Robust Memory and Rapid Learning in RNNs
Tsinghua University（清华大学）
从正在进行的经验中快速学习和用灵活的记忆系统记住过去的事件是生物智能的两个核心能力。虽然潜在的神经机制尚未完全理解，但各种证据支持突触可塑性在记忆形成和快速学习中起着关键作用。受这些结果的启发，我们为递归神经网络（RNN）配备了可塑性规则，使它们能够根据持续的经验调整参数。除了传统的局部Hebbian可塑性，我们提出了一个全球性的，基于梯度的可塑性规则，它允许模型朝着自己确定的目标发展。我们的模型在顺序和联想记忆任务上显示出有希望的结果，说明了它们稳健地形成和保留记忆的能力。同时，这些模型可以处理许多具有挑战性的少样本学习问题。在同一框架下比较不同的可塑性规则表明，赫布可塑性非常适合几个记忆和联想学习任务，但是，它优于基于梯度的可塑性的Few-Shot回归任务，需要模型来推断底层映射。代码可在https://github.com/yuvenduan/PlasticRNNs上获得。
2023-02-07 cs.AI cs.NE
Augmenting Supervised Learning by Meta-learning Unsupervised Local Rules
University of Pennsylvania（宾夕法尼亚大学）
大脑执行无监督学习和（可能）同时的监督学习。这就提出了一个问题，即监督和无监督方法的混合是否会产生更好的学习。受Hebbian学习规则的丰富空间的启发，我们开始直接学习关于局部信息的无监督学习规则，该规则最好地增强了监督信号。我们提出了Hebbian增强训练算法（HAT），用于将基于梯度的学习与突触前活动，突触后活动和当前权重的无监督规则相结合。我们测试了HAT对一个简单问题（Fashion-MNIST）的影响，并发现其性能始终高于单独的监督学习。这一发现提供了经验证据，表明对突触活动的无监督学习提供了可用于增强基于梯度的方法的强信号。我们进一步发现，元学习的更新规则是一个随时间变化的函数;因此，很难确定一个可解释的Hebbian更新规则，以帮助训练。我们发现，元学习器最终退化成一个非赫布规则，保留重要的权重，以免干扰学习器的收敛。
2021-03-17 cs.AI cs.LG
Meta-Learning Biologically Plausible Plasticity Rules with Random Feedback Pathways
University of Notre Dame（圣母大学）
反向传播被广泛用于训练人工神经网络，但其与大脑中突触可塑性的关系尚不清楚。一些反向传播的生物模型依赖于与前馈连接对称的反馈投影，但实验并不能证实这种对称的反向连接的存在。随机反馈对齐提供了一种替代模型，其中错误通过固定的随机向后连接向后传播。这种方法成功地训练了浅层模型，但学习速度很慢，并且在更深层的模型或在线学习中表现不佳。在这项研究中，我们开发了一种元学习方法来发现可解释的，生物学上合理的可塑性规则，这些规则可以提高固定随机反馈连接的在线学习性能。由此产生的可塑性规则显示了在低数据状态下深度模型的改进在线训练。我们的研究结果突出了元学习发现有效的，可解释的学习规则，满足生物约束的潜力。
2023-02-07 cs.LG cs.NE q-bio.NC
SNAP: Stopping Catastrophic Forgetting in Hebbian Learning with Sigmoidal Neuronal Adaptive Plasticity
McGill University（麦吉尔大学）
本文提出SNAP方法，通过S型权重增长模拟生物长时程增强，使权重在达到较大或较小值后巩固稳定，从而在赫布学习中完全防止灾难性遗忘。
2024-10-20 cs.AI cs.LG cs.NE
Strong anti-Hebbian plasticity alters the convexity of network attractor landscapes
本文通过形式化分析证明，从Hebbian到反Hebbian学习的转变会引发叉形分岔，破坏网络吸引子景观的凸性，导致多个稳定平衡点，且慢学习率影响更大，为可编码的目标函数类型提供见解。
2023-12-22 cs.NE cs.SY eess.SY
A correlation game for unsupervised learning yields computational interpretations of Hebbian excitation, anti-Hebbian inhibition, and synapse elimination
从实验研究中，我们对生物突触的可塑性有了很多了解。赫布可塑性由突触前和突触后神经元的相关活动驱动。汇聚到同一个神经元上的突触通常表现得好像它们在竞争一个固定的资源;一些在竞争中幸存下来，而另一些则被淘汰。为了提供这些方面的突触可塑性的计算解释，我们制定无监督学习作为一个零和游戏之间的赫布兴奋和反赫布抑制的神经网络模型。这个游戏形式化了一种直觉，即赫布激励试图最大化神经元与其输入的相关性，而反赫布抑制试图使神经元彼此去相关。我们还包括一个模型的突触竞争，这使得一个神经元，以消除所有的连接，除了那些从它的最强相关的输入。通过实证研究，我们表明，这有利于学习的感官功能，类似的部分对象。
2017-04-03 cs.NE q-bio.NC
Normative framework for deriving neural networks with multi-compartmental neurons and non-Hebbian plasticity
本文统一并推广了相似性匹配方法，从更复杂的无监督和自监督计算目标推导在线算法，成功映射出具有多房室神经元和非Hebbian可塑性的神经网络，为理解大脑结构提供了规范性框架。
2023-08-03 cs.NE q-bio.NC stat.ML
Neuron-centric Hebbian Learning
University of Trento（特伦托大学）
本文提出以神经元为中心的赫布学习模型NcHL，将可塑性参数从突触级转为神经元级，参数从5W降至5N，在机器人运动任务中性能与ABCD规则相当且参数减少约97倍，实现可扩展可塑性。
2024-04-16 cs.AI cs.LG cs.NE
Activity-Dependent Plasticity in Morphogenetically-Grown Recurrent Networks
National University of Kyiv-Mohyla Academy（基輔-莫希拉學院國立大學）
研究形态发生生长递归网络中Hebbian与反Hebbian可塑性的作用，发现反Hebbian可塑性显著优于Hebbian，且协同进化独立发现该模式，表明反Hebbian优势对小递归网络具有普适性。
2026-06-16 cs.NE
Structured and Deep Similarity Matching via Structured and Deep Hebbian Networks
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
突触可塑性被广泛认为是大脑神经网络学习的机制。一个核心问题是，只能访问有关网络的本地信息的突触如何仍然能够以有效的方式集体组织并执行电路范围的学习。在单层和全对全连接的神经网络中，局部可塑性已被证明可以在一类成本函数上实现基于梯度的学习，这些成本函数包含一个将输出的相似性与输入的相似性对齐的项。对于具有其他架构的网络是否存在这样的成本函数尚不清楚。在本文中，我们介绍了结构化和深度相似性匹配成本函数，并展示了如何通过具有局部学习规则的神经网络以基于梯度的方式优化它们。这些网络将Földiak的Hebbian/Anti-Hebbian网络扩展到深层架构和结构化的前馈，横向和反馈连接。信用分配问题的解决优雅的双重学习目标的分解突触特定的本地目标。模拟表明，我们的网络学习有意义的特征。
2019-12-04 cs.LG cs.NE
Theory of coupled neuronal-synaptic dynamics
本文通过动态平均场理论系统研究神经元与突触耦合动力学，揭示Hebbian和反Hebbian可塑性对网络活动、时间尺度及混沌特性的影响，并提出可冻结混沌相作为工作记忆的新机制。
2024-01-10 cond-mat.dis-nn cs.NE q-bio.NC
Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Public Health, Peking University（北京大学公共卫生学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Peng Cheng Laboratory（鹏城实验室）
针对脉冲神经网络的灾难性遗忘问题，提出基于侧向连接和赫布学习的正交投影方法，通过提取主子空间保护旧知识，在多种监督训练下实现接近零遗忘并优于现有方法。
2024-02-19 cs.AI cs.LG cs.NE
Hebbian Attractor Networks for Robot Locomotion
Laboratory of Intelligent Systems, EPFL（智能系统实验室，洛桑联邦理工学院）
本文提出Hebbian吸引子网络（HAN），通过局部权重更新归一化诱导出吸引子动态，探讨了Hebbian更新频率和激活平均对权重动态和控制性能的影响，展示了其在高维四足运动中的应用。
2026-03-23 cs.NE
PC-SNN: Predictive Coding-based Local Hebbian Plasticity Learning in Spiking Neural Networks
Sun Yat-Sen University (Shenzhen Campus)（中山大学（深圳校区））；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；City University of Hong Kong（香港城市大学）；The University of South Dakota（南达科他大学）；Lingnan University（岭南大学）
PC-SNN通过整合预测编码与脉冲神经网络，实现生物合理的局部赫布学习，无需反向传播，提升SNN训练的可扩展性和生物合理性。
2026-02-07 cs.NE
Evolving Plasticity for Autonomous Learning under Changing Environmental Conditions
生物神经网络学习的一个基本方面是可塑性，它允许它们在生命周期中修改它们的配置。赫布学习是一种基于神经元局部相互作用的人工神经网络（ANN）可塑性建模的生物学合理机制。然而，从局部赫布可塑性规则中出现的连贯的全局学习行为还没有得到很好的理解。这项工作的目标是发现可解释的本地赫布学习规则，可以提供自主的全球学习。为了实现这一点，我们使用一个离散表示编码的学习规则在有限的搜索空间。然后，这些规则被用于基于神经元的局部相互作用来执行突触变化。我们采用遗传算法来优化这些规则，使学习两个独立的任务（觅食和捕食者的情况下）在线终身学习设置。由此产生的演化规则收敛到一组定义良好的可解释类型中，并进行了深入的讨论。值得注意的是，这些规则的性能，同时在学习任务期间调整ANN，与爬山等离线学习方法相当。
2020-12-07 cs.NE
Learning in Spiking Neural Networks with a Calcium-based Hebbian Rule for Spike-timing-dependent Plasticity
University of Groningen（格罗宁根大学）
本文提出一种基于钙痕迹的Hebbian局部学习规则，统一建模脉冲时间与发放率对突触可塑性的影响，并在MNIST上验证其能通过相关脉冲活动调节学习率，证明二者在脉冲神经网络连接塑造中具有互补作用。
2025-04-09 cs.AI cs.NE
Continual Learning with Hebbian Plasticity in Sparse and Predictive Coding Networks: A Survey and Perspective
本综述探讨了基于赫布可塑性的稀疏与预测编码网络在神经形态持续学习中的应用，旨在解决非独立同分布数据流导致的灾难性遗忘问题，并展望了未来研究方向。
2024-11-17 cs.NE
Unsupervised learning by a nonlinear network with Hebbian excitatory and anti-Hebbian inhibitory neurons
本文介绍了一种基于速率的非线性神经网络，其中兴奋性（E）神经元接受来自感觉性（S）神经元的前馈兴奋，并通过抑制性（I）中间神经元介导的双突触通路相互抑制。基于相关性的双突触抑制可塑性用于不完全地去关联E神经元活动，推动E神经元学习不同的感觉特征。可塑性方程还包含“额外”的条款，促进兴奋性突触之间的竞争收敛到同一突触后神经元和抑制性突触从同一突触前神经元发散。可以调整S $\to$ E连接之间的竞争参数，以使学习的特征看起来更像“部分”或“整体”。“I-E连接之间的竞争参数可以调整，以设置E神经元活动的典型去相关性和稀疏性。无监督学习的数值模拟表明，相对较少的I神经元就足以实现良好的去相关，增加I神经元的数量可以使去相关更加完整。作为学习的结果，对活跃的E神经元的兴奋性和抑制性输入大致平衡。
2018-12-30 cs.NE q-bio.NC
Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks
本文提出融合皮层柱、赫布突触与结构可塑性等机制的前馈BCPNN模型，用于无监督表征学习，并在图像、QSAR和恶意软件检测基准上取得与MLP及先进类脑网络相当的性能。
2025-01-09 cs.NE q-bio.NC
RECAP: Local Hebbian Prototype Learning as a Self-Organizing Readout for Reservoir Dynamics
International Research Center for Neurointelligence (IRCN)（国际神经智能研究所以）
RECAP通过局部赫布学习机制，结合自组织原型读出，实现鲁棒的图像分类，避免误差反向传播，适用于在线更新。
2026-02-25 cs.AI cs.CV cs.LG
Voltage-Dependent Synaptic Plasticity (VDSP): Unsupervised probabilistic Hebbian plasticity rule based on neurons membrane potential
Institut Interdisciplinaire d’Innovation Technologique (3IT), Université de Sherbrooke（舍布鲁克大学跨学科技术创新研究所（3IT））；Laboratoire Nanotechnologies Nanosystèmes (LN2) – CNRS UMI-3463, Université de Sherbrooke（舍布鲁克大学纳米技术与纳米系统实验室（LN2）——法国国家科学研究中心联合国际研究单位3463）；Institute of Electronics, Microelectronics and Nanotechnology (IEMN), Université de Lille（里尔大学电子、微电子与纳米技术研究所（IEMN））；Aix Marseille Univ（艾克斯-马赛大学）；Université de Toulon（土伦大学）；CNRS（法国国家科学研究中心）；IM2NP（材料、微电子与纳米科学普罗旺斯研究所（IM2NP））；National Research Council Canada（加拿大国家研究委员会）；University of Waterloo Collaboration Centre（滑铁卢大学合作中心）；Université Paris-Saclay（巴黎萨克雷大学）；Centre de Nanosciences et de Nanotechnologies（纳米科学与纳米技术中心）
这项研究提出了电压依赖性突触可塑性（VDSP），一种新的大脑启发的无监督局部学习规则的神经形态硬件上的Hebb的可塑性机制的在线实施。所提出的VDSP学习规则更新的突触电导的突触后神经元的尖峰上，这减少了两个因素的更新的数量相对于标准的尖峰定时依赖可塑性（STDP）。这种更新取决于突触前神经元的膜电位，其作为神经元实现的一部分是容易获得的，因此不需要额外的存储器来存储。此外，更新还在突触权重上进行正则化，并防止重复刺激时权重的爆炸或消失。进行严格的数学分析，得出VDSP和STDP之间的等效性。为了验证VDSP的系统级性能，我们训练了一个单层的脉冲神经网络（SNN）的手写数字识别。我们报告85.01 $ \pm $ 0.76%（平均$ \pm $ S.D.）MNIST数据集上100个输出神经元网络的准确性。当缩放网络大小时，性能得到改善（对于400个输出神经元，89.93 $ \pm $ 0.41%，对于500个神经元，90.56 $ \pm $ 0.27），这验证了所提出的学习规则对于空间模式识别任务的适用性。今后的工作将考虑更复杂的任务。有趣的是，学习规则比STDP更好地适应输入信号的频率，并且不需要手动调整超参数
2022-10-22 cs.AI cs.NE
Learning with Delayed Synaptic Plasticity
生物神经网络的可塑性允许它们通过改变它们的配置来执行学习和优化它们的行为。受生物学的启发，可塑性可以在人工神经网络中通过使用Hebbian学习规则来建模，即基于神经元激活和强化信号更新突触的规则。然而，当强化信号在每个网络输出之后不能立即用于关联有助于接收强化信号的神经元激活时，就会出现远端奖励问题。在这项工作中，我们扩展了赫布可塑性规则，允许学习远端奖励的情况下。我们建议使用神经元激活跟踪（NAT），以提供额外的数据存储在每个突触，以保持跟踪的神经元的激活。延迟强化信号在每次发作后相对于前一次发作期间的网络性能提供。我们采用遗传算法来进化延迟突触可塑性（DSP）规则，并根据NAT和延迟强化信号执行突触更新。我们比较DSP与一个类似的爬山算法，不包括域知识介绍的NAT，并表明，DSP规则执行的突触更新表现出更有效的训练性能相对于HC算法。
2019-04-17 cs.NE
Superconducting Optoelectronic Neurons III: Synaptic Plasticity
作为动态地重新配置超导光电回路神经元的突触权重的手段，超导通量存储回路电感耦合到神经元的突触电流偏置。标准通量存储单元用于实现二进制突触，并且能够存储许多通量量子的回路用于制定多稳态突触。电路被设计为实现监督学习，其中电流脉冲增加或去除回路中的通量以加强或削弱突触权重。设计电路与数百个中间突触之间的最小和最大强度的权重。实现无监督学习的电路通过Hebbian和anti-Hebbian学习规则使用两个光子加强和两个光子削弱突触权重来建模，并且提出了控制学习率的技术。执行短期可塑性，稳态可塑性，和元可塑性环路神经元进行了讨论。
2018-07-03 cs.ET cs.NE
Hebbian Memory-Augmented Recurrent Networks: Engram Neurons in Deep Learning
Department of Computer Science University of Wisconsin-Whitewater（计算机科学系 威斯康星大学-惠蒂沃特）
受生物神经印迹机制启发，提出融入赫布可塑性显式记忆与稀疏注意力检索的ENN循环架构，性能与经典RNN类模型相当，且可解释性显著提升。
2025-07-29 cs.AI cs.IR cs.LG
Hebbian learning with gradients: Hebbian convolutional neural networks with modern deep learning frameworks
深度学习网络通常使用非生物学习方法。相比之下，基于生物学上更合理的学习（如Hebbian学习）的网络表现出相对较差的性能和实施困难。在这里，我们展示了分层卷积神经网络中的赫布学习可以用现代深度学习框架来实现，通过使用特定的损失，其梯度恰好产生所需的赫布更新。我们提供的表达式的梯度精确地实现了一个普通的赫布规则（dw ~= xy），Grossberg的龄规则（dw ~= y（x-w）），和Oja的规则（dw ~= y（x-yw））。作为一个应用，我们构建了用于对象识别的Hebbian卷积多层网络。我们观察到，这种网络的高层倾向于学习大而简单的特征（类似于Gabor的滤波器和斑点），这解释了之前报道的连续层解码性能下降的原因。为了对抗这种趋势，我们引入了干预措施（具有稀疏可塑性的密集激活，修剪层之间的连接），这会导致更稀疏的学习特征，大幅提高性能，并允许信息在连续的层中增加。我们假设，更先进的技术（动态刺激，跟踪学习，反馈连接等），再加上现代深度学习框架提供的大规模计算提升，可以大大提高多层Hebbian网络的性能和生物相关性。
2021-11-01 cs.NE
Personality Requires Struggle: Three Regimes of the Baldwin Effect in Neuroevolved Chess Agents
Independent Researcher（独立研究员）
研究探讨了在进化过程中，终身学习是否能扩展而非压缩行为多样性。通过测试棋局代理的神经模块和Hebbian学习，发现行为方差在进化过程中先压缩后扩展，产生可重复的行为特征。
2026-04-04 cs.AI cs.NE
SoftHebb: Bayesian Inference in Unsupervised Hebbian Soft Winner-Take-All Networks
Huawei Technologies（华为技术有限公司）；Huawei Technologies Zurich Research Center（华为技术苏黎世研究中心）；Huawei Technologies Russia（华为技术俄罗斯公司）；ACS Lab（ACS实验室）
SoftHebb提出了一种无监督的类赫布软WTA网络学习算法，通过维持贝叶斯生成模型最小化交叉熵，在收敛速度和对抗鲁棒性上优于反向传播，为类脑硬件加速提供了新思路。
2022-11-12 cs.AI cs.CV cs.LG
Why do similarity matching objectives lead to Hebbian/anti-Hebbian networks?
利用赫布和反赫布可塑性对无监督学习的神经网络的自组织建模在神经科学中有着悠久的历史。然而，单层网络的这种局部学习规则，从原则性的优化目标的推导成为可能，直到最近，与相似性匹配目标的引入。如何解释相似性匹配目标在使用局部学习规则导出神经网络中的成功？在这里，使用降维作为一个例子，我们介绍了几个变量替换，照亮相似性匹配的成功。我们表明，完整的网络目标可以分别为每个突触使用本地学习规则在离线和在线设置进行优化。我们正式的赫布和反赫布规则之间的竞争，制定一个最小最大优化问题的长期存在的直觉。我们引入了一个新的降维目标使用分数矩阵指数。为了说明我们的方法的一般性，我们将其应用到一个新的配方结合白化降维。我们确认数值的网络与原则性目标的学习规则比启发式学习规则的表现更好。
2017-07-11 cs.NE q-bio.NC
Spike-Timing-Dependent Plasticity for Bernoulli Message Passing
Electrical Engineering Department, TU Eindhoven, Netherlands（埃因霍温理工大学电子工程系，荷兰）；Lazy Dynamics B.V., Eindhoven, Netherlands（埃因霍温荷兰Lazy Dynamics公司）
本文提出了一种基于伯努利信息传递的脉冲神经网络，利用脉冲时间依赖可塑性进行训练，实现了对贝叶斯推断的模拟，并展示了其在信号传输中的应用。
2025-12-19 cs.LG cs.NE q-bio.NC
From Biological Synapses to Intelligent Robots
Strasbourg University（斯特拉斯堡大学）
这篇综述探讨了生物启发学习作为智能机器人控制和传感技术的基础上的具体例子模型。赫布突触学习被讨论为机器学习和智能的功能相关模型，如在无脊椎动物和脊椎动物的高度可塑性生物神经网络的示例的基础上所解释的。它的自适应学习和控制的潜力，没有监督，功能复杂性的产生，和控制架构的基础上自组织提出。基于兴奋性和抑制性神经机制的无先验知识的学习解释了生存或任务相关表征被强化或抑制的过程。无监督生物学习的基本机制驱动突触可塑性和适应性，以在具有不同复杂程度的活体大脑中实现行为成功。这里收集的见解指向Hebbian模型作为智能机器人和传感器系统的选择解决方案。关键词：赫布学习，突触可塑性，神经网络，自组织，脑，强化，感觉处理，机器人控制
2022-02-25 cs.NE cs.RO
A Hebbian/Anti-Hebbian Network Derived from Online Non-Negative Matrix Factorization Can Cluster and Discover Sparse Features
尽管我们对神经元的生物物理特性有广泛的了解，但还没有普遍接受的神经元功能的算法理论。在这里，我们探讨的假设，单层神经网络进行在线对称非负矩阵分解（SNMF）的相似性矩阵的流数据。通过从SNMF成本函数开始，我们推导出一种在线算法，该算法可以由具有局部学习规则的生物学上合理的网络来实现。我们证明，这样的网络执行软聚类的数据，以及稀疏特征发现。衍生的算法复制了许多已知的方面的感觉解剖和生物物理特性的神经元，包括单极性质的神经元活动和突触的权重，本地突触可塑性规则和累积神经元活动的学习率的依赖性。因此，我们朝着神经元功能的算法理论迈出了一步，这将有助于大规模神经电路模拟和生物启发的人工智能。
2015-03-02 cs.NE q-bio.NC stat.ML
Active Inference in Hebbian Learning Networks
imec（比利时微电子研究中心）；KU Leuven（荷语鲁汶大学）；University of California at San Diego（加州大学圣地亚哥分校）；VERSES Research Lab（VERSES研究实验室）
本研究提出基于Hebbian可塑性网络的主动推断方法，在Mountain Car环境中优于Q-learning，且无需重放缓冲区，为设计能学习环境动态的AIF网络提供新思路。
2023-06-22 cs.AI cs.NE
Testing the Genomic Bottleneck Hypothesis in Hebbian Meta-Learning
Hebbian元学习最近显示出解决困难的强化学习问题的希望，允许代理在一定程度上适应环境的变化。然而，由于这些方法中的每个突触都可以学习非常特定的学习规则，因此推广到非常不同的情况的能力可能会降低。我们假设通过“基因组瓶颈”限制赫布学习规则的数量可以作为正则化器，从而更好地概括环境的变化。我们通过将Hebbian学习规则的数量与突触的数量解耦并系统地改变Hebbian学习规则的数量来测试这一假设。本文的结果表明，同时学习Hebbian学习规则及其分配给突触是一个困难的优化问题，导致在测试环境中性能不佳。然而，与我们平行的研究发现，通过将相似的规则聚类在一起，确实可以减少学习规则的数量。因此，如何最好地实现“基因组瓶颈”算法是一个重要的研究方向，值得进一步研究。
2021-06-23 cs.NE
Covariance Plasticity and Regulated Criticality
我们建议，一个基于赫布协方差可塑性的调节机制可能会导致大脑在临界状态附近运行。我们分析了这种调节对具有兴奋性和抑制性神经元以及两个群体内部和之间均匀连接性的网络动态的影响。我们表明，在广泛的条件下，系统收敛到一个临界状态，躺在参数空间中的三个区域的共同边界，这些对应于三种行为模式：高活性，低活性，振荡。
2002-02-20 cs.AI cs.NE nlin.AO
Metalearning with Hebbian Fast Weights
Microsoft Research（微软研究院）
我们统一了最近的神经元方法一次性学习与旧的联想记忆模型的元学习的想法。我们的模型联合学习来表示数据，并将类标签绑定到Single Shot中的表示。它通过SGD跨任务学习的慢速权重构建表示，而通过Hebbian学习规则构建的快速权重为每个新任务实现一次性绑定。在Omniglot，Mini-ImageNet和Penn Treebank一次性学习基准测试中，我们的模型实现了最先进的结果。
2018-07-12 cs.AI cs.LG cs.NE
Sleep-Based Homeostatic Regularization for Stabilizing Spike-Timing-Dependent Plasticity in Recurrent Spiking Neural Networks
本研究提出基于睡眠的神经元稳态正则化方法，通过周期性离线阶段稳定递归脉冲神经网络中的脉冲时间依赖可塑性学习。
2026-01-13 cs.NE stat.ML
Hebbian Synaptic Modifications in Spiking Neurons that Learn
Research School of Information Sciences and Engineering（信息科学与工程研究学院）；Australian National University（澳大利亚国立大学）
在本文中，我们推导出一个新的模型的突触可塑性，基于最近的算法强化学习（其中代理试图学习适当的行动，以最大限度地提高其长期平均奖励）。我们表明，这些直接的强化学习算法也给多个代理的强化学习问题的局部最优性能，没有任何明确的代理之间的通信。通过将尖峰神经元网络视为试图最大化奖励信号的长期平均值的代理的集合，我们推导出与Hebb假设定性相似的突触更新规则。这个规则只需要简单的计算，例如加法和漏积分，并且只涉及突触附近可用的量。此外，它导致突触连接强度，使长期平均奖励的局部最优值。强化学习范式足够广泛，可以涵盖许多由大脑解决的学习问题。我们举例说明，与模拟，该方法是有效的简单的模式分类和运动学习任务。
2019-11-17 cs.LG cs.NE stat.ML
Extending Spike-Timing Dependent Plasticity to Learning Synaptic Delays
State University of New York at Buffalo（纽约州立大学布法罗分校）；Rochester Institute of Technology（罗切斯特理工学院）
本文提出一种扩展STDP的新学习规则，用于同时学习突触权重和延迟，在神经形态SNN分类任务中优于现有方法，并揭示突触效能与延迟的相互作用。
2025-06-17 cs.LG cs.NE
Spike-based alignment learning solves the weight transport problem
Department of Physiology, Bern University（伯尔尼大学生理学系）；Neural Computation Unit, Okinawa Institute of Science and Technology（冲绳科学技术大学院大学神经计算单元）
本文提出基于尖峰的对齐学习方法，利用尖峰时间统计消除有效互惠连接间的不对称性，提升spiking网络在权重传输问题中的性能。
2026-04-08 cs.ET cs.LG cs.NE
A simple normative network approximates local non-Hebbian learning in the cortex
Flatiron Institute（弗莱迪龙研究所）；Rutgers University（罗格斯大学）；NYU Medical Center（纽约大学医学中心）
为了指导行为，大脑从感觉器官传输的高维数据中提取相关特征。神经科学实验表明，皮层神经元对感觉输入的处理受到提供上下文和任务相关信息的指导信号的调制。在这里，采用规范的方法，我们将这些指导性信号建模为指导前馈数据投影的监督输入。在数学上，我们从降秩回归（RRR）的目标函数，其中包括降秩（最小）均方误差（RRMSE）和典型相关分析（CCA）的家庭，并推导出新的离线和在线优化算法，我们称之为生物RRR。在线算法可以由神经网络实现，其突触学习规则类似于在皮层中观察到的钙平台电位依赖性可塑性。我们详细介绍了如何，在我们的模型中，钙平台电位可以被解释为一个反向传播的误差信号。我们证明，尽管完全依赖于生物学上合理的本地学习规则，我们的算法与现有的RRMSE和CCA的实现竞争力。
2020-10-23 cs.LG cs.NE q-bio.NC
A Hebbian/Anti-Hebbian Network for Online Sparse Dictionary Learning Derived from Symmetric Matrix Factorization
Olshausen和Field（OF）提出，初级视觉皮层（V1）中的神经计算可以部分地通过稀疏字典学习来建模。通过最小化正则化表示误差，他们推导出一种在线算法，该算法从与生理实验一致的自然图像集合中学习Gabor滤波器感受野。虽然OF算法可以映射到单层神经网络中的动态和突触可塑性，但导出的学习规则是非局部的-突触权重更新取决于神经元的活动，而不仅仅是突触前和突触后的神经元-因此在生物学上是不可信的。在这里，为了克服这个问题，我们从一个新的成本函数-输入的相似性矩阵的对称因式分解的正则化错误中获得稀疏字典学习。我们的算法映射到一个神经网络的相同架构的OF，但只使用生物合理的本地学习规则。当在自然图像上训练时，我们的网络学习Gabor滤波器感受野，并再现OF网络中硬连接的突触权重之间的相关性。因此，在线对称矩阵分解可以作为神经计算的算法理论。
2015-11-30 cs.NE q-bio.NC stat.ML
Backpropamine: training self-modifying neural networks with differentiable neuromodulated plasticity
动物大脑中令人印象深刻的终身学习主要是通过突触连接的可塑性变化实现的。重要的是，这些变化不是被动的，而是由神经调节主动控制的，而神经调节本身也受大脑控制。由此产生的大脑自我修改能力在学习和适应中起着重要作用，并且是生物强化学习的主要基础。在这里，我们第一次表明，人工神经网络与这种神经调制的可塑性，可以训练与梯度下降。扩展以前的工作可微赫布可塑性，我们提出了一个可微的神经调制的可塑性。我们发现，神经调制可塑性提高了神经网络在强化学习和监督学习任务上的性能。在一项任务中，具有数百万个参数的神经调制LSTM在基准语言建模任务（控制参数数量）上优于标准LSTM。我们的结论是，可区分的可塑性神经调制提供了一个强大的新框架，训练神经网络。
2020-02-24 cs.NE
Neuromorphic Hebbian learning with magnetic tunnel junction synapses
本文提出利用MTJ的二元电阻状态保证推理精度、并利用随机STT切换实现无监督赫布学习的神经形态网络，实验验证其STDP学习能力并在MNIST上取得有竞争力的准确率。
2023-08-21 cs.NE
Logarithmic distributions prove that intrinsic learning is Hebbian
在本文中，我们提出了数据的对数正态分布的发放率，突触重量和内在兴奋性（增益）的神经元在不同的大脑区域，如听觉或视觉皮层，海马，小脑，纹状体，中脑核。我们发现，在检查的所有大脑区域，速率、权重和增益的重尾分布（特别是对数正态分布）具有显着的一致性。强递归和前馈连接（皮质与纹状体和小脑），神经递质（GABA（纹状体）或谷氨酸（皮质））或激活水平（皮质低，浦肯野细胞和中脑核高）之间的差异与此特征无关。在所分析的所有情况下，权重和收益的对数尺度分布似乎是一种普遍的功能特性。然后，我们创建了一个通用神经模型来研究创建和维护对数正态分布的自适应学习规则。我们最终证明，不仅权重，而且内在收益，需要有强大的赫布学习，以产生和维持实验证明的分布。这为长期存在的关于内在兴奋性表现出的可塑性类型的问题提供了解决方案。
2017-12-13 cs.NE q-bio.NC
Allee Synaptic Plasticity and Memory
本文提出基于Allee的非线性可塑性模型，通过权重稳定机制和时间依赖性动力学扩展，解决了现有模型噪声敏感和权重无限增长问题，提升了记忆保持与模式检索的容量和可靠性。
2025-08-11 cs.NE math.DS q-bio.NC
Local plasticity rules can learn deep representations using self-supervised contrastive predictions
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
人们对大脑中的学习知之甚少，尊重生物学约束但产生深层层次表示的学习规则仍然是未知的。在这里，我们提出了一个学习规则，它的灵感来自神经科学和自我监督深度学习的最新进展。学习使简单的层特定损失函数最小化，并且不需要在层内或层之间反向传播误差信号。相反，权重更新遵循局部赫布学习规则，该规则仅取决于突触前和突触后神经元活动、预测性树突输入和广泛传播的调制因子，这些调制因子对于大群神经元是相同的。学习规则使用扫视（即注视方向的快速转移）将对比预测学习应用于因果生物环境。我们发现，用这种自我监督和局部规则训练的网络可以构建图像、语音和视频的深层层次表示。
2021-10-25 cs.AI cs.AR cs.CV
