Global stability of a Hebbian/anti-Hebbian network for principal subspace learning
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
本文研究了Hebbian/anti-Hebbian网络在主子空间学习中的全局稳定性，证明了突触动态在两个阶段的演化特性。
2026-01-19 cs.NE math.DS q-bio.NC
Strong anti-Hebbian plasticity alters the convexity of network attractor landscapes
本文通过形式化分析证明，从Hebbian到反Hebbian学习的转变会引发叉形分岔，破坏网络吸引子景观的凸性，导致多个稳定平衡点，且慢学习率影响更大，为可编码的目标函数类型提供见解。
2023-12-22 cs.NE cs.SY eess.SY
Effects of Hebbian learning on the dynamics and structure of random networks with inhibitory and excitatory neurons
本文的目的是研究随机递归神经网络的生物连接，即稀疏连接和单独的群体的兴奋性和抑制性神经元的赫布学习的影响。我们进一步认为，神经元动力学可能发生在一个（更短）的时间尺度比突触可塑性，并考虑被动遗忘的学习规则的可能性。我们表明，这种赫布学习的应用导致网络动态和结构的急剧变化。特别地，学习规则收缩权矩阵的范数，并产生动力学复杂度和熵的快速衰减。换句话说，网络被赫布学习重新连接成一种新的突触结构，这种结构是在神经元之间逐渐建立的相关性的基础上随着学习而出现的。我们还观察到，在这个新兴结构中，最强的突触组织成一个小世界网络。权重矩阵谱半径衰减的第二个影响在于雅可比矩阵的谱半径的快速收缩。这驱动系统通过“混沌边缘”，在那里对输入模式的灵敏度最大。总之，这种情况是显着预测的理论论据来自动力系统和图论。
2007-06-18 q-bio.NC
Training recurrent neural networks with sparse, delayed rewards for flexible decision tasks
混沌状态下的循环神经网络表现出复杂的动力学，让人想起行为任务期间的高水平皮层活动。然而，这种网络的现有训练方法要么在生物学上是不可信的，要么需要实时连续的误差信号来指导学习过程。这与大多数行为任务相反，行为任务只提供时间稀疏，延迟的奖励。在这里，我们表明，一个生物合理的奖励调制的赫布学习算法，以前用于前馈模型的鸟鸣学习，可以训练经常性的网络仅基于延迟，相位奖励信号在每次试验结束。该方法不需要专门的反馈或读出网络：整个网络的连通性是学习的，网络输出是从一个任意选择的网络单元读取的。我们使用这种方法成功地训练一个网络上的延迟不匹配样本任务（这需要记忆，灵活的协会，和非线性混合选择性）。使用解码技术，我们表明，由此产生的网络表现出动态编码的任务相关的信息，与神经编码的各种任务功能波动很大的过程中的审判。此外，网络活动在响应时间内从刺激特定的表征转移到响应特定的表征，这与行为动物在类似任务中的神经记录一致。我们的结论是，循环神经网络，奖励调制的赫布学习训练，提供了一个合理的模型，在学习和灵活的协会性能的皮质动力学。
2015-12-08 q-bio.NC
A wake-sleep algorithm for recurrent, spiking neural networks
我们调查最近提出的模型进行关系推理的皮质计算。它由几个相互连接的，结构上等效的群体泄漏整合和消防（LIF）神经元，这是训练在一个自组织的方式与尖峰定时依赖可塑性（STDP）。尽管其强大的学习动力学，该模型是容易受到一个典型的递归网络，使用基于相关性（赫布）的学习规则的问题：如果训练与高学习率，经常性的连接可能会导致强反馈回路的网络动态，这导致吸引子状态的出现。这导致可表示模式的数量大幅减少，网络的推理能力下降。作为解决方案，我们引入了一个概念上非常简单的“唤醒-睡眠”算法：在唤醒阶段，正常执行训练，而在睡眠阶段，网络从其生成模型中“做梦”样本，这些样本由随机输入引起。这个过程允许我们激活网络中的吸引子状态，然后可以通过反赫布机制有效地取消学习。该算法允许我们将学习率提高到10倍，同时避免聚类，这使得网络的学习速度提高了几倍。此外，对于低学习率，其中聚类不是问题，它提高了收敛速度并减少了最终的推理误差。
2017-03-18 cs.NE q-bio.NC
Spike Timing Dependent Competitive Learning in Recurrent Self Organizing Pulsed Neural Networks Case Study: Phoneme and Word Recognition
National Engineering School of Tunis（突尼斯国立工程学院）；Université Tunis El Manar（突尼斯艾尔马纳尔大学）
突触可塑性似乎是神经网络动力学的一个重要方面。它是关于突触的生理变化，其结果类似于突触权重值的变化。信息编码基于单个尖峰事件的精确定时，其基于突触前和突触后尖峰的相对定时、单个神经元内的局部突触竞争以及经由横向连接的全局竞争。为了对时间序列进行分类，本文提出了如何使用局部赫布学习，尖峰时间依赖可塑性的无监督竞争学习，保持自组织映射的尖峰神经元。事实上，我们提出了三种变体的自组织映射（SOM）与尖峰时间依赖的Hebbian学习规则，泄漏积分神经元（LIN），尖峰_SOM和经常性尖峰_SOM（RSSOM）模型。所提出的SOM变体的案例研究是连续语音和说话人独立的音素分类和单词识别。
2012-09-24 cs.AI cs.CV q-bio.NC
Comparing Information-Theoretic Measures of Complexity in Boltzmann Machines
在过去的三十年里，许多复杂性的理论度量被提出来帮助理解复杂系统。在这项工作中，我们第一次将这些措施放在一个公平的竞争环境中，探讨它们之间的质的相似性和差异，以及它们的缺点。具体来说，使用具有均匀分布权重的玻尔兹曼机架构（一种完全连接的递归神经网络）作为我们的研究模型，我们在数值上测量复杂性如何随网络动态和网络参数而变化。我们应用这样一个信息理论的复杂性措施的扩展，以了解增量赫布学习Hopfield网络，一个完全经常性的自联想记忆的架构模型。在赫布学习过程中，随着网络试图学习越来越多的模式，总的信息流反映了复杂性的自然上升趋势。
2017-07-30 cs.IT cs.NE math.IT
Spectrum of non-Hermitian deep-Hebbian neural networks
具有周期性非对称耦合的神经网络对于理解情景记忆如何在大脑中编码非常重要。在这里，我们将宽突触整合窗口的实验观察整合到我们的连续时间动力学序列检索模型中。通过推导神经动力学中雅可比矩阵的随机矩阵理论，对具有非正态神经元相互作用的模型进行了理论研究。该光谱具有几个明显的特征，如破坏原点的旋转对称性，以及在光谱边界内出现嵌套空洞。因此，谱密度在复平面中高度不均匀地分布。随机矩阵理论也预言了向混沌的转变。特别是，混沌的边缘为记忆的顺序检索提供了计算优势。我们的工作提供了对任意时间延迟的时滞相关性的系统研究，因此可以启发未来对广泛的一类记忆模型的研究，甚至是对生物时间序列的大数据分析。
2023-01-16 cond-mat.dis-nn cond-mat.stat-mech math-ph
Theory of coupled neuronal-synaptic dynamics
本文通过动态平均场理论系统研究神经元与突触耦合动力学，揭示Hebbian和反Hebbian可塑性对网络活动、时间尺度及混沌特性的影响，并提出可冻结混沌相作为工作记忆的新机制。
2024-01-10 cond-mat.dis-nn cs.NE q-bio.NC
Learning spatiotemporal signals using a recurrent spiking network that discretizes time
学习产生时空序列是大脑必须解决的常见任务。大脑可以使用相同的神经基质来产生不同的顺序行为。大脑学习和编码这些任务的方式仍然未知，因为当前的计算模型通常不使用现实的生物学上合理的学习。在这里，我们提出了一个模型，其中兴奋性和抑制性生物物理神经元的尖峰递归网络驱动读出层：驱动递归网络的动态被训练来编码时间，然后通过读出神经元映射来编码另一个维度，例如空间或相位。不同的时空模式可以通过突触权重被学习和编码到遵循共同的赫布学习规则的读出神经元。我们证明，该模型能够学习时空动态的时间尺度上的行为相关的，我们表明，学习的序列是鲁棒性重放期间的自发活动的制度。
2019-12-19 cs.NE nlin.AO physics.bio-ph
Statistical physics of learning in high-dimensional chaotic systems
本文以高维混沌系统为范式模型，研究Hebbian驱动对混沌程度的调控以及FORCE算法训练系统重现周期函数的能力，并通过动力学平均场理论在热力学极限下给出精确分析。
2023-09-25 cond-mat.dis-nn q-bio.NC
Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks
本文提出融合皮层柱、赫布突触与结构可塑性等机制的前馈BCPNN模型，用于无监督表征学习，并在图像、QSAR和恶意软件检测基准上取得与MLP及先进类脑网络相当的性能。
2025-01-09 cs.NE q-bio.NC
A geometrical analysis of global stability in trained feedback networks
递归神经网络由于其实现复杂计算的能力而在神经科学和机器学习的背景下被广泛研究。虽然在过去的几年里，在设计有效的学习算法方面取得了实质性的进展，但仍然缺乏对训练的递归网络的充分理解。具体来说，允许计算从底层经常性动态中出现的机制在很大程度上是未知的。在这里，我们专注于一个简单的，但未充分探索的计算设置：一个反馈架构训练相关联的静态输出到一个静态输入。作为一个出发点，我们推导出一个近似的分析描述的全球动态训练网络，假设不相关的连接权重的反馈和随机散装。由此产生的平均场理论表明，该任务承认几类解决方案，这意味着不同的稳定性。不同类别的特征在于相对于输入向量的读出的几何布置，定义在由网络人口跨越的高维空间。我们发现这种近似理论方法可以用来理解标准训练技术如何在有限大小的反馈网络中实现输入-输出任务。特别是，我们的简化描述捕获了目标解的局部和全局稳定性，从而预测了训练性能。
2019-01-18 q-bio.NC
Neural network design for J function approximation in dynamic programming
本文表明，一种新型的人工神经网络（ANN）-同步递归网络（SRN）-可以，如果适当的训练，解决一个困难的函数逼近问题，传统的人工神经网络-无论是前馈或Hebbian -不能。这个问题，广义迷宫导航的问题，是典型的问题，出现在建设真正的智能控制系统使用神经网络。(Such Werbos在K.Pribram，Brain and Values，Erlbaum 1998中的章节中讨论了系统。本文提供了其他类型的递归网络和替代训练技术的一般性综述，包括错误批评训练设计的流程图，这是解释大脑如何实时适应时滞递归系统的唯一合理方法。测试的C代码被附加。与第一次测试的反向传播一样，这里的训练速度很慢，但在使用这种类型的网络获得更多经验后，有办法做得更好。
1998-06-03 adap-org nlin.AO q-bio.NC
Meta-learning three-factor plasticity rules for structured credit assignment with sparse feedback
本文提出元学习三因素可塑性规则，用于递归网络在稀疏反馈下的结构化信用分配学习。
2025-12-11 cond-mat.dis-nn cs.LG physics.bio-ph
Prospective Coding and Path Integration Emerge as Equilibrium Solutions of Self-Organizing Neural Networks with Firing-Rate Adaptation
Universidad de Buenos Aires, Facultad de Ciencias Exactas y Naturales（布宜诺斯艾利斯大学，理学院）；Leloir Institute—IIBBA/CONICET（莱洛尔研究所—IIBBA/CONICET）
本文提出理论框架，揭示连续吸引子连接及其计算特性如何通过赫布可塑性、发放率适应和全局抑制自组织产生，并展示前瞻动态和路径整合作为网络自然涌现的属性。
2026-10-30 cond-mat.dis-nn nlin.AO q-bio.NC
Memory as an Energy Landscape---Hopfield
McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑科学研究所）；The NSF AI Institute for Artificial Intelligence and Fundamental Interactions (IAIFI), Massachusetts Institute of Technology（麻省理工学院美国国家科学基金会人工智能基础相互作用研究所）
本章将Hopfield网络重构为记忆的物理理论，推导其能量函数等核心内容，关联容量主张，评估其局限与开放问题，固定种子数值实验揭示相关机制。
2026-09-03 cond-mat.dis-nn cs.NE nlin.AO
Linking connectivity, dynamics and computations in low-rank recurrent neural networks
大规模的神经记录已经确定，感官刺激转化为运动输出依赖于低维动力学在人口水平，而个别神经元表现出复杂的选择性。理解混合分布式表征的低维计算如何从皮层网络的递归连接和输入结构中产生是一个重大挑战。在这里，我们研究了一类循环网络模型，其中的连通性是一个随机部分和一个最小的，低维结构的总和。我们表明，在此类网络中，动力学是低维的，并且可以使用几何方法直接从连通性推断。我们利用这种理解来确定实现特定计算所需的最小连接，并发现动态范围和计算能力随着连接结构的维数迅速增加。这个框架产生可测试的实验预测的连接，低维动力学和记录的神经元的计算功能之间的关系。
2018-08-28 q-bio.NC
Self-organization of microcircuits in networks of neurons with plastic synapses
与简单的随机网络模型相比，皮层网络的突触连接具有某些布线图案的过度表达。这种结构的形成，部分是由突触可塑性，促进或抑制神经元之间的连接，这取决于他们的尖峰活动。通常，理论研究集中在前馈输入如何驱动可塑性以创建这种网络结构。我们研究了循环网络中自组织结构的互补性情景，其中尖峰时间依赖的可塑性由自发动力学驱动。我们开发了一个自洽的理论，描述了网络结构的演变相结合的快速尖峰协方差与突触权重动态的快-慢理论。通过网络动力学的有限尺寸扩展，我们得到了一组低维的非线性微分方程的两个突触连接图案的演变。有了这个理论在手，我们探讨了可塑性规则的形式如何驱动皮层网络中微电路的演变。当增强和抑制处于近似平衡时，突触动力学依赖于加权发散、收敛和链基序的频率。对于加法，赫布STDP，这些基序相互作用在突触动力学中产生不稳定性，从而促进或抑制初始网络结构。我们的工作提供了一个一致的理论框架，研究如何在循环网络的尖峰活动与突触可塑性相互作用，以确定网络结构。
2014-12-20 q-bio.NC
Aligned and oblique dynamics in recurrent neural networks
本文利用循环神经网络从几何角度揭示训练可产生对齐与斜交两种动力学机制，并证明斜交机制由循环网络的动力学稳定性决定，具有更强的噪声抑制和扰动鲁棒性，为解释神经活动提供了新视角。
2024-08-02 q-bio.NC
Conformal Isometry of Lie Group Representation in Recurrent Network of Grid Cells
UCLA（加州大学洛杉矶分校）；Google Research（谷歌研究院）；UT Southwestern Medical Center（德克萨斯大学西南医学中心）；UT Austin（德克萨斯大学奥斯汀分校）
哺乳动物大脑内侧内嗅皮层（MEC）中网格细胞群的活动形成了动物自我位置的矢量表示。已经提出了递归神经网络，通过基于动物的速度输入更新神经活动向量来解释网格细胞的属性。在这样做时，网格单元系统有效地执行路径集成。在本文中，我们调查的代数，几何和拓扑性质的网格细胞使用经常性的网络模型。在代数上，我们研究了李群和李代数的递归变换作为自运动的表示。几何上，我们研究李群表示的共形等距，其中神经空间中的活动向量的局部位移与2D物理空间中的代理的局部位移成比例。拓扑上，紧交换李群表示自动导致环面拓扑通常假设和观察神经科学。然后，我们专注于一个简单的非线性经常性模型的基础上的连续吸引神经网络的网格细胞。我们的数值实验表明，共形等距导致六边形周期图案的网格单元的响应和我们的模型是能够准确的路径积分。代码可在\url{https://github.com/DehongXu/grid-cell-rnn}上获得。
2022-11-07 cs.LG q-bio.NC stat.ML
KerCNNs: biologically inspired lateral connections for classification of corrupted images
Università di Bologna（博洛尼亚大学）；CAMS Center of Mathematical Analysis, CNRS-EHESS（CAMS数学分析中心，法国国家科学研究中心-社会科学高等研究院）
卷积神经网络（CNN）代表了许多计算机视觉任务的最新技术水平。虽然它们的层次组织和局部特征提取受到灵长类视觉系统结构的启发，但这种结构中缺乏横向连接，这将它们的分析与生物对象处理区分开来。近年来，用卷积类型的递归横向连接来丰富CNN的想法已经以没有几何约束的学习递归内核的形式付诸实践。在目前的工作中，我们引入了生物学上合理的横向内核编码的概念之间的相关性的前馈滤波器的CNN：在每一层，相关的内核作为一个过渡内核的激活空间。横向内核定义的过滤器，从而提供了一个参数自由的方法来评估的基础上的前馈结构的水平连接的几何形状。然后，我们在与全局形状分析和模式完成相关的泛化任务上测试这种新架构，我们称之为KerCNN：一旦经过训练用于执行基本图像分类，网络将在损坏的测试图像上进行评估。检查的图像扰动的目的是破坏识别的图像通过本地功能，因此需要整合的上下文信息-这在生物视觉是至关重要的横向连接。我们的KerCNN比CNN和递归CNN更稳定，从而验证了这种生物启发的方法，可以在具有挑战性的条件下加强对象识别。
2019-10-18 cs.CV eess.IV q-bio.NC
