Constraints on Hebbian and STDP learned weights of a spiking neuron
University of Kent（肯特大学）
我们从数学上分析了Hebbian和STDP学习规则应用于具有权重归一化的尖峰神经元的权重约束。在纯Hebbian学习的情况下，我们发现归一化权重等于权重的提升概率，直到取决于学习率的校正项，并且通常很小。对于STDP算法可以导出类似的关系，其中归一化的权重值反映权重的提升和降级概率之间的差异。这些关系实际上是有用的，因为它们允许检查Hebbian和STDP算法的收敛性。另一个应用是新颖性检测。我们使用MNIST数据集证明了这一点。
2020-12-14 cs.AI cs.LG cs.NE
Spike-based alignment learning solves the weight transport problem
Department of Physiology, Bern University（伯尔尼大学生理学系）；Neural Computation Unit, Okinawa Institute of Science and Technology（冲绳科学技术大学院大学神经计算单元）
本文提出基于尖峰的对齐学习方法，利用尖峰时间统计消除有效互惠连接间的不对称性，提升spiking网络在权重传输问题中的性能。
2026-04-08 cs.ET cs.LG cs.NE
Deep learning with asymmetric connections and Hebbian updates
University of Chicago（芝加哥大学）
我们表明，可以使用Hebbian更新来训练深度网络，在具有挑战性的图像数据集上产生与普通反向传播相似的性能。为了克服层之间的连接中不切实际的对称性，隐含在反向传播中，反馈权重与前馈权重分开。反馈权重也使用本地规则更新，与前馈权重相同-权重仅基于其连接的单元的活动的乘积更新。固定反馈权重Lillicrap等。al（2016）的性能随着网络深度的增加而迅速下降。如果前馈和反馈权重初始化为相同的值，如Zipser和Rumelhart（1990）所提出的，它们在整个训练过程中保持不变，从而精确地实现反向传播。我们表明，即使权重以不同的方式随机初始化，并且算法不再执行反向传播，性能在具有挑战性的数据集上也是相当的。我们还提出了一个成本函数，其导数可以表示为最后一层上的局部Hebbian更新。卷积层在空间上使用绑定权重进行更新，这在生物学上是不合理的。我们表明，与卷积层所暗示的连接性相对应的未绑定层（也称为局部连接层）也可以实现类似的性能，但权重是单独解开和更新的。在线性的情况下，我们从理论上表明，误差收敛到零的反馈权重的更新加速。
2019-03-12 cs.LG cs.NE q-bio.NC
Enabling Robust In-Context Memory and Rapid Task Adaptation in Transformers with Hebbian and Gradient-Based Plasticity
St Paul’s School（圣保罗学校）
本文在仅解码器Transformer中引入赫布型与基于梯度的快速权重可塑性模块，发现赫布规则在小样本泛化上更强，梯度更新擅长长时程信用分配，并揭示了可塑性有效的边界条件。
2025-11-04 cs.AI cs.LG cs.NE
Convergence and Alignment of Gradient Descent with Random Backpropagation Weights
Yale University（耶鲁大学）
带反向传播的随机梯度下降是人工神经网络的主力。人们早就认识到，反向传播算法在生物学上并不合理。从根本上说，它是一个非局部过程-更新一个神经元的突触权重需要下游神经元的突触权重或感受野的知识。这限制了人工神经网络作为理解大脑信息处理的生物学原理的工具的使用。Lillicrap等人（2016）提出了一种生物学上更合理的“反馈对齐”算法，该算法使用随机和固定的反向传播权重，并显示出有希望的模拟。在本文中，我们研究了反馈对准过程的数学性质，通过分析收敛性和对准下的平方误差损失的两层网络。在过参数化设置中，我们证明了误差以指数方式快速收敛到零，并且为了使参数与随机反向传播权重对齐，正则化是必要的。模拟给出了与此分析是一致的，并提出进一步的概括。这些结果有助于我们理解生物学上合理的算法如何以不同于Hebbian学习的方式进行权重学习，其性能与完整的非局部反向传播算法相当。
2021-12-23 cs.LG stat.ML
A Hebbian/Anti-Hebbian Neural Network for Linear Subspace Learning: A Derivation from Multidimensional Scaling of Streaming Data
早期感觉处理的神经网络模型通常减少流输入数据的维度。这样的网络学习主子空间，在主成分分析（PCA）的意义上，通过调整突触权重根据活动相关的学习规则。当从原则成本函数导出时，这些规则是非局部的，因此在生物学上是不可信的。与此同时，生物学上合理的本地规则已被假定，而不是来自一个原则性的成本函数。在这里，为了弥合这一差距，我们通过最小化原则成本函数，推导出一个在流数据上进行子空间学习的生物学上合理的网络。在偏离以前的工作，其中成本量化的表示，或重建，错误，我们采用了多维尺度（MDS）的成本函数流数据。由此产生的算法只依赖于生物学上合理的赫布和反赫布的本地学习规则。在随机设置中，突触权重收敛到将输入数据投影到主子空间上的稳态。如果数据由非平稳分布生成，则网络可以跟踪主子空间。因此，我们的结果使一个算法理论的神经计算的一步。
2015-03-02 cs.NE q-bio.NC stat.ML
Hebbian Attractor Networks for Robot Locomotion
Laboratory of Intelligent Systems, EPFL（智能系统实验室，洛桑联邦理工学院）
本文提出Hebbian吸引子网络（HAN），通过局部权重更新归一化诱导出吸引子动态，探讨了Hebbian更新频率和激活平均对权重动态和控制性能的影响，展示了其在高维四足运动中的应用。
2026-03-23 cs.NE
Local Minima of a Quadratic Binary Functional with a Quasi-Hebbian Connection Matrix
讨论了依赖于二元变量的二次泛函的局部极小问题。一个任意的连接矩阵可以以准赫布展开的形式表示，其中每个模式都有自己的权重。对于这样的矩阵，统计物理方法允许人们导出描述泛函的局部极小值的方程。详细讨论了只有一个权重与其他权重不同的模型。在这种情况下，方程可以解析地求解。得到了重构能量景观的权重临界值。所得结果得到了计算机模拟的证实。
2010-12-22 cond-mat.dis-nn cs.NE
Local Minima of a Quadratic Binary Functional with Quasi-Hebbian Connection Matrix
讨论了依赖于二元变量的二次泛函的局部极小问题。一个任意的连接矩阵可以以准赫布展开的形式表示，其中每个模式都有自己的权重。对于这样的矩阵，统计物理方法允许人们导出描述泛函的局部极小值的方程。详细讨论了只有一个权重与其他权重不同的模型。在这种情况下，上述方程可以解析求解。所得结果得到了计算机模拟的证实。
2010-05-24 cond-mat.dis-nn cs.NE
A Hebbian/Anti-Hebbian Network for Online Sparse Dictionary Learning Derived from Symmetric Matrix Factorization
Olshausen和Field（OF）提出，初级视觉皮层（V1）中的神经计算可以部分地通过稀疏字典学习来建模。通过最小化正则化表示误差，他们推导出一种在线算法，该算法从与生理实验一致的自然图像集合中学习Gabor滤波器感受野。虽然OF算法可以映射到单层神经网络中的动态和突触可塑性，但导出的学习规则是非局部的-突触权重更新取决于神经元的活动，而不仅仅是突触前和突触后的神经元-因此在生物学上是不可信的。在这里，为了克服这个问题，我们从一个新的成本函数-输入的相似性矩阵的对称因式分解的正则化错误中获得稀疏字典学习。我们的算法映射到一个神经网络的相同架构的OF，但只使用生物合理的本地学习规则。当在自然图像上训练时，我们的网络学习Gabor滤波器感受野，并再现OF网络中硬连接的突触权重之间的相关性。因此，在线对称矩阵分解可以作为神经计算的算法理论。
2015-11-30 cs.NE q-bio.NC stat.ML
Meta-Learning through Hebbian Plasticity in Random Networks
IT University of Copenhagen（哥本哈根信息技术大学）
终身学习和适应性是生物制剂的两个定义方面。现代强化学习（RL）方法在解决复杂任务方面取得了显着进展，但一旦训练结束，找到的解决方案通常是静态的，无法适应新的信息或扰动。虽然生物大脑如何从经验中有效地学习和适应仍然没有完全理解，但人们认为突触可塑性在这一过程中起着重要作用。受这种生物学机制的启发，我们提出了一种搜索方法，而不是直接优化神经网络的权重参数，只搜索突触特定的赫布学习规则，使网络在代理的生命周期内不断自组织其权重。我们展示了我们的方法在几个强化学习任务与不同的感觉方式和超过450 K可训练的可塑性参数。我们发现，从完全随机的权重开始，所发现的赫布规则使智能体能够在动态的2D像素环境中导航;同样，它们允许模拟的3D四足机器人学习如何行走，同时适应训练过程中没有看到的形态学损伤，并且在不到100个时间步的情况下没有任何明确的奖励或错误信号。代码可在https://github.com/enajx/HebbianMetaLearning上获得。
2022-04-19 cs.LG cs.NE
Global stability of a Hebbian/anti-Hebbian network for principal subspace learning
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
本文研究了Hebbian/anti-Hebbian网络在主子空间学习中的全局稳定性，证明了突触动态在两个阶段的演化特性。
2026-01-19 cs.NE math.DS q-bio.NC
Neuromorphic Hebbian learning with magnetic tunnel junction synapses
本文提出利用MTJ的二元电阻状态保证推理精度、并利用随机STT切换实现无监督赫布学习的神经形态网络，实验验证其STDP学习能力并在MNIST上取得有竞争力的准确率。
2023-08-21 cs.NE
Logarithmic distributions prove that intrinsic learning is Hebbian
在本文中，我们提出了数据的对数正态分布的发放率，突触重量和内在兴奋性（增益）的神经元在不同的大脑区域，如听觉或视觉皮层，海马，小脑，纹状体，中脑核。我们发现，在检查的所有大脑区域，速率、权重和增益的重尾分布（特别是对数正态分布）具有显着的一致性。强递归和前馈连接（皮质与纹状体和小脑），神经递质（GABA（纹状体）或谷氨酸（皮质））或激活水平（皮质低，浦肯野细胞和中脑核高）之间的差异与此特征无关。在所分析的所有情况下，权重和收益的对数尺度分布似乎是一种普遍的功能特性。然后，我们创建了一个通用神经模型来研究创建和维护对数正态分布的自适应学习规则。我们最终证明，不仅权重，而且内在收益，需要有强大的赫布学习，以产生和维持实验证明的分布。这为长期存在的关于内在兴奋性表现出的可塑性类型的问题提供了解决方案。
2017-12-13 cs.NE q-bio.NC
Hebbian Continual Representation Learning
Polish Academy of Sciences（波兰科学院）；Institute of Computer Science（计算机科学研究所）；Jagiellonian University（雅盖隆大学）
持续学习旨在将机器学习带入一个更现实的场景，在这个场景中，任务是按顺序学习的，i.i.d.假设没有被保留。虽然这种设置对于生物系统来说是自然的，但对于人工神经网络等机器学习模型来说，它被证明是非常困难的。为了减少这种性能差距，我们调查的问题是否生物启发赫布学习是有用的，以应对不断的挑战。特别是，我们强调了一个现实的，往往被忽视的无监督设置，学习者必须建立表示没有任何监督。通过将稀疏神经网络与Hebbian学习原理相结合，我们建立了一个简单而有效的替代方案（HebbCL），以通过梯度下降训练的典型神经网络模型。由于Hebbian学习，网络具有易于解释的权重，这在安全或医疗保健等关键应用中可能是必不可少的。我们证明了HebbCL在应用于MNIST和Omniglot数据集的无监督学习设置中的有效性。我们还适应算法的监督的情况下，在类增量学习，并取得了可喜的成果。
2022-06-28 cs.LG cs.NE
Rethinking Deep Learning: Non-backpropagation and Non-optimization Machine Learning Approach Using Hebbian Neural Networks
Ehime University Graduate School of Science and Technology（爱媛大学大学院科学技术研究科）
本文提出一种基于赫布学习、不使用反向传播和优化方法的神经网络方法，通过基于范数的认知机制在MNIST上达到约75%准确率，证明其无需目标函数和大规模数据集即可识别手写字符，为模拟生物神经系统和实现强人工智能提供新思路。
2024-12-27 cs.LG cs.NE
Enabling Continual Learning with Differentiable Hebbian Plasticity
University of Guelph（圭尔夫大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Uber AI
持续学习是在保护先前获得的知识的同时顺序地学习新任务或知识的问题。然而，灾难性遗忘对执行这种学习过程的神经网络提出了巨大的挑战。因此，部署在现实世界中的神经网络经常在数据分布是非平稳的（概念漂移）、不平衡的或不总是完全可用的情况下挣扎，即，罕见的边缘病例我们提出了一个微分赫布巩固模型，它是由一个微分赫布可塑性（DHP）Softmax层，增加了一个快速学习的塑料组件（压缩情景记忆）的固定（缓慢变化）参数的Softmax输出层，使学习表示保留更长的时间尺度。我们证明了我们的方法的灵活性，通过整合众所周知的特定任务的突触巩固方法，惩罚的变化，缓慢的权重是重要的每个目标任务。我们在Permuted MNIST、Split MNIST和Vision Datasets Mixture基准上评估了我们的方法，并介绍了Permuted MNIST的一个不平衡变体--一个结合了类别不平衡和概念漂移挑战的数据集。我们提出的模型不需要额外的超参数，并通过减少遗忘来优于可比基线。
2020-06-30 cs.LG cs.NE stat.ML
Generating functionals for computational intelligence: the Fisher information as an objective function for self-limiting Hebbian learning rules
生成泛函可以引导动力系统的演化，并构成处理与计算智能相关的神经网络复杂性的可能途径。我们提出并探索了一个新的目标函数，它允许获得传入突触权重的可塑性规则。自适应规则是赫布的，自限性的，并导致从最小化的Fisher信息相对于突触通量。我们进行了一系列的模拟，检查在各种情况下的新的学习规则的行为。突触权重的向量与输入活动的主方向对齐，无论何时出现。当有两个或两个以上的主方向时，进行线性判别;具有双峰发射率分布的方向，其特征在于负过剩峰度，是优选的。我们发现强大的性能和完整的稳态适应的突触权重结果作为一个副产品的突触通量最小化。这种自限制行为允许在任意持续时间内进行稳定的在线学习。当输入活动的统计数据在模拟的某个点发生变化时，神经元会获得新的信息，然而，这显示出一种明显的弹性，可以忘记以前获得的知识。当从随机抽取的突触权重开始时，学习是快速的，而当突触权重已经完全适应时，学习则慢得多。
2014-10-02 cond-mat.dis-nn cs.NE q-bio.NC
Optimization theory of Hebbian/anti-Hebbian networks for PCA and whitening
在分析感觉器官传递的信息时，我们的大脑面临着类似于统计信号处理所解决的挑战。这表明在线信号处理算法的生物学上合理的实现可以模拟神经计算。在这里，我们专注于主成分分析（PCA）和白化的信号处理，最大限度地提高信息传输中存在的噪声等主力。我们采用的相似性匹配框架，最近开发的主子空间提取，但修改现有的目标函数，增加了一个解相关项。从修改后的目标函数，我们推导出在线PCA和白化算法，这是可实现的神经网络与本地学习规则，即突触权重更新，只依赖于前和突触后神经元的活动。我们的理论提供了一个神经计算的原则模型，并做出了可测试的预测，如未充分利用的神经元的脱落。
2015-11-30 cs.NE q-bio.NC
Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning
Argonne National Laboratory（阿贡国家实验室）
从输入数据流中持续学习而不发生灾难性遗忘的能力对于设计智能系统至关重要。许多现有的持续学习方法依赖于随机梯度下降及其变体。然而，这些算法必须实现各种策略，例如存储器缓冲器或重放，以克服随机梯度下降方法在稳定性、贪婪和短期记忆方面的众所周知的缺点。为此，我们开发了一个生物启发的轻量级神经网络架构，它结合了本地学习和神经调节，使输入处理数据流和在线学习。接下来，我们解决的挑战，是不知道的任务，提前实现转移元学习：使用贝叶斯优化，探索设计空间跨越多个本地学习规则和他们的超参数，我们确定高性能的配置在经典的单任务在线学习，我们将它们转移到持续学习任务与任务相似性的考虑。我们证明了我们的方法在单一任务和持续学习设置的有效性。对于单任务学习设置，我们在MNIST，Fashion MNIST和CIFAR-10数据集上展示了优于其他本地学习方法的性能。使用高性能的配置元在单任务学习设置，我们实现了优越的持续学习性能分裂MNIST，和分裂CIFAR-10数据相比，其他内存受限的学习方法，并匹配的最先进的内存密集型重放为基础的方法。
2021-03-13 cs.LG stat.ML
Bio-Inspired Artificial Neural Networks based on Predictive Coding
Microelectronics Department (EEMCS Faculty)（微电子系（EEMCS学院））；Delft University of Technology（代尔夫特理工大学）
该研究以教程形式介绍具备生物合理性的预测编码（PC），阐述其数学基础、推导及与BP、卡尔曼滤波器的关联，提供PyTorch实现示例，为人工神经网络训练提供生物启发的替代方案。
2025-08-12 cs.LG stat.ML
Curl Descent: Non-Gradient Learning Dynamics with Sign-Diverse Plasticity
Département d’Études Cognitives（认知研究系）；Edmond and Lily Safra Center for Brain Sciences（埃德蒙与莉莉·萨弗脑科学中心）；École normale supérieure - PSL（巴黎高等师范学院-PSL）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文探讨了生物神经网络学习过程中可能存在的非梯度'旋度'组件，通过分析抑制-兴奋连接网络和Hebbian/反Hebbian可塑性，发现非梯度动态在优化损失函数时的作用，揭示了特定架构支持鲁棒学习的机制。
2026-04-28 cs.LG
Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Public Health, Peking University（北京大学公共卫生学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Peng Cheng Laboratory（鹏城实验室）
针对脉冲神经网络的灾难性遗忘问题，提出基于侧向连接和赫布学习的正交投影方法，通过提取主子空间保护旧知识，在多种监督训练下实现接近零遗忘并优于现有方法。
2024-02-19 cs.AI cs.LG cs.NE
A Neural Network for Semi-Supervised Learning on Manifolds
Neuroscience Institute, NYU Langone Medical Center（纽约大学朗格尼医学中心神经科学研究所）；Flatiron Institute, Simons Foundation（西蒙斯基金会熨斗研究所）；Rutgers University（罗格斯大学）
半监督学习算法通常构造数据点的加权图来表示流形。然而，显式的图形表示是有问题的神经网络运行在在线设置。在这里，我们提出了一个前馈神经网络能够半监督学习流形上，而不使用显式的图形表示。我们的算法使用的渠道，代表地方的歧管，使通道之间的相关性表示歧管结构。建议的神经网络有两层。第一层学习在输入数据中构建低维流形的表示，如最近在[8]中提出的。第二个学习使用偶尔的监督和数据的流形表示的相似性来对数据进行分类。承载用于第二层的标签信息的信道被假定为在大部分时间是“静默的”。这两层的学习都是赫布式的，这使得我们的网络设计在生物学上是合理的。我们实验证明了半监督学习对非平凡流形的影响。
2019-08-21 cs.LG stat.ML
Logic Learning in Hopfield Networks
在逻辑编程中，神经元的突触权重可以通过使用Hebbian学习或Wan Abdullah的方法来计算。换句话说，对于对应于一些相应程序子句的支配事件的赫布学习等价于对于相同的相应程序子句使用万阿卜杜拉方法的学习。在本文中，我们将通过计算机模拟实验评估这两种类型的学习之间的等效性。
2008-04-25 cs.LO cs.NE
Self-adaptive node-based PCA encodings
Innopolis University（因诺波利斯大学）
在本文中，我们提出了一种算法，简单的Hebbian PCA，并证明它是能够计算的主成分分析（PCA）在一个分布式的方式跨越节点。它通过删除层内权重简化了现有的网络结构，基本上将需要训练的权重数量减少了一半。
2017-06-16 cs.LG cs.NE cs.SE
Why Evolve When You Can Adapt? Post-Evolution Adaptation of Genetic Memory for On-the-Fly Control
School of Engineering and Physical Sciences, Heriot-Watt University Dubai（工程与物理科学学院，惠顿大学迪拜分校）；School of Mathematical and Computer Sciences, Heriot-Watt University Dubai（数学与计算机科学学院，惠顿大学迪拜分校）
本文提出一种将遗传算法与在线Hebbian可塑性结合的零样本适应机制，使机器人控制器在运行时动态调整突触权重，无需额外训练，并在T型迷宫任务中验证了其应对环境变化的能力。
2025-08-05 cs.NE cs.RO
Hebbian Deep Learning Without Feedback
Huawei Zurich Research Center（华为苏黎世研究中心）；Huawei ACS Lab（华为ACS实验室）
基于软胜者全得网络的赫布学习理论，提出无需反馈信号的多层SoftHebb算法，在保持高生物兼容性与效率的同时提升了深度学习的准确率。
2023-08-02 cs.LG cs.NE q-bio.NC
Sleep-Based Homeostatic Regularization for Stabilizing Spike-Timing-Dependent Plasticity in Recurrent Spiking Neural Networks
本研究提出基于睡眠的神经元稳态正则化方法，通过周期性离线阶段稳定递归脉冲神经网络中的脉冲时间依赖可塑性学习。
2026-01-13 cs.NE stat.ML
The Influence of Learning Rule on Representation Dynamics in Wide Neural Networks
School of Engineering and Applied Science（工程与应用科学学院）；Harvard University（哈佛大学）
本文通过动态平均场理论分析无限宽网络在不同学习规则下的有效神经正切核演化，揭示GD、FA、DFA、Hebb和GLN在惰性与丰富区域中的特征学习差异，并发现FA初始化相关性越低反而特征学习越多的反直觉现象。
2023-05-25 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Emerging NeoHebbian Dynamics in Forward-Forward Learning: Implications for Neuromorphic Computing
DeustoTech, University of Deusto（德乌斯托大学德乌斯托技术中心）；TECNALIA, Basque Research & Technology Alliance (BRTA)（泰克纳利亚，巴斯克研究与技术联盟（BRTA））；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
本研究发现采用平方欧几里得范数作为优度函数的前向-前向算法等价于新赫布学习规则，通过模拟网络与脉冲神经网络的对比实验验证了二者准确率和潜在分布相似，为神经形态计算应用提供了依据。
2024-06-24 cs.AI cs.NE
Meta Learning Backpropagation And Improving It
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；University of Lugano (USI)（卢加诺大学）；SUPSI（瑞士意大利语区高等专业学院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
对于利用神经网络（NN）的元学习，已经提出了许多概念，例如，学习重新编程快速权重、赫布可塑性、学习学习规则和Meta循环NN的NN。我们的变量共享元学习（VSML）统一了上述内容，并证明了NN中简单的权重共享和稀疏性足以以可重用的方式表达强大的学习算法（LA）。VSML的一个简单实现，其中神经网络的权重被微小的LSTM取代，允许仅通过在前向模式下运行来实现反向传播LA。它甚至可以Meta学习不同于在线反向传播的新LA，并推广到Meta训练分布之外的数据集，而无需显式梯度计算。内省表明，我们的Meta学习LA通过快速联想学习的方式，是从质量上不同于梯度下降。
2022-03-13 cs.AI cs.LG cs.NE
Neuro-Inspired Deep Neural Networks with Sparse, Strong Activations
University of California Santa Barbara（加州大学圣巴巴拉分校）
虽然深度神经网络（DNN）的端到端训练在越来越多的应用中产生了最先进的性能，但它并不能提供对所提取特征的洞察或控制。我们在这里报告了一种有前途的神经启发方法，用于具有更稀疏和更强激活的DNN。我们使用标准的随机梯度训练，用逐层成本补充端到端的判别成本函数，促进高度活跃的神经元的Hebbian（“一起发射”，“一起连接”）更新，以及剩余神经元的反Hebbian更新。我们使用分裂的激活规范化（使用强输出抑制弱输出），以及神经元权重的隐式$\ell_2$规范化，而不是批量规范化。在CIFAR-10上进行的标准图像分类任务的实验表明，相对于基线端到端训练架构，我们提出的架构（a）导致更稀疏的激活（在准确性上只有轻微的妥协），（b）对噪声表现出更强的鲁棒性（没有在噪声数据上进行训练），（c）对对抗性扰动表现出更强的鲁棒性（没有对抗性训练）。
2022-07-08 cs.LG cs.NE
The dynamic interplay between in-context and in-weight learning in humans and neural networks
Department of Computer Science（计算机科学系）；Department of Cognitive and Psychological Sciences（认知与心理学系）；Brown University（布朗大学）
该研究揭示神经网络中涌现的上下文学习（ICL）与原生权重内学习（IWL）的动态相互作用，可解释人类学习的二元现象，为双加工理论与认知灵活性提供新视角。
2025-09-04 cs.LG cs.NE q-bio.NC
Allee Synaptic Plasticity and Memory
本文提出基于Allee的非线性可塑性模型，通过权重稳定机制和时间依赖性动力学扩展，解决了现有模型噪声敏感和权重无限增长问题，提升了记忆保持与模式检索的容量和可靠性。
2025-08-11 cs.NE math.DS q-bio.NC
Extending Spike-Timing Dependent Plasticity to Learning Synaptic Delays
State University of New York at Buffalo（纽约州立大学布法罗分校）；Rochester Institute of Technology（罗切斯特理工学院）
本文提出一种扩展STDP的新学习规则，用于同时学习突触权重和延迟，在神经形态SNN分类任务中优于现有方法，并揭示突触效能与延迟的相互作用。
2025-06-17 cs.LG cs.NE
One-shot learning of paired association navigation with biologically plausible schemas
National University of Singapore（新加坡国立大学）；Harvard University（哈佛大学）；Agency for Science, Technology and Research（科技研究局）
本文提出由生物学合理神经网络实现的图式智能体，结合路径积分、一次性联想记忆、向量导航及 actor-critic 与工作记忆门控，解释并预测啮齿动物配对联想导航行为。
2026-10-21 cs.NE q-bio.NC
