Optimizing working memory with heterogeneity of recurrent cortical excitation
参数工作记忆的神经相关性是神经元放电率的刺激特异性升高，其在刺激去除后持续很长时间。具有局部兴奋和广泛抑制的网络模型支持持久的神经活动，将网络结构和参数化工作记忆联系起来。皮层神经元接收噪声输入波动，这导致持续的活动在网络中扩散，随着时间的推移降低记忆。我们探讨了支持参数化工作记忆的皮层结构如何影响持久性神经活动的扩散。通过研究尖峰网络和简化的势阱模型，我们发现空间异质性兴奋性耦合稳定了离散数量的持续状态，减少了持续活动在网络上的扩散。然而，异质耦合也粗粒刺激表征空间，限制了参数工作记忆的容量。由于粗粒化和扩散的折衷，使初始和回忆的刺激之间的信息传递是优化在一个固定的网络异质性的存储错误。对于足够长的延迟时间，吸引子的最佳数量小于可能的刺激的数量，这表明记忆网络可以低估刺激空间以优化性能。我们的研究结果清楚地表明了网络结构和随机波动对参数记忆存储的影响。
2013-10-14 q-bio.NC
Interpretation of Correlated Neural Variability from Models of Feed-Forward and Recurrent Circuits
神经元群体对感觉刺激的重复呈现的响应的相关变化是普遍观察到的现象。这种相关性已被研究得非常详细，无论是在其机械的起源和他们的影响，刺激歧视和人口的表现代码。特别地，递归神经网络模型已被用于理解神经活动中相关性的起源（或缺乏）。在这里，我们应用一个模型的递归连接的随机神经元来解释相关性，发现在一个人口的神经元记录从小鼠听觉皮层。我们研究了相关性的刺激依赖性上的经常性连接的后果，并将其与相关性变化的替代来源（如相关增益波动和前馈架构中的共同输入）进行比较。我们发现，具有随机有效连接的递归网络模型以自然的方式再现了观察到的统计数据，例如数据中噪声和信号相关性之间的关系。在该模型中，我们可以直接分析网络参数之间的关系，相关性，以及如何根据人口活动来区分刺激对。这样，我们就可以把电路参数与信息处理联系起来。
2017-02-06 q-bio.NC
Feedback promotes efficient-coding while attenuating bias in recurrent neural networks
研究通过三层ctRNN比较有偏与无偏刺激训练，发现非均匀概率促进高效编码，而反馈通路可抑制偏差并保护低概率刺激表征。
2025-09-27 q-bio.NC
Soft-wired long-term memory in a natural recurrent neuronal network
神经元网络为生物体提供了处理信息的能力。它们还具有丰富的周期性连接，这会产生强烈的反馈，决定它们的动态并赋予它们褪色的（短期）记忆。另一方面，复发在长期记忆中的作用仍不清楚。在这里，我们使用蛔虫C的神经元网络。elegans的研究表明，生物体中的循环结构可以在不依赖特定硬连线模块的情况下表现出长期记忆。遗传算法显示，实验观察到的蠕虫的神经元网络的动态表现出最大的复杂性（如排列熵测量）。在这种复杂的状态下，系统对时变刺激的重复呈现的反应揭示了一种一致的行为，可以被解释为软连线的长期记忆。
2020-04-01 cond-mat.dis-nn nlin.CD physics.bio-ph
Lyapunov spectra of chaotic recurrent neural networks
大脑通过大型神经网络的集体动态来处理信息。集体混沌被认为是大脑皮层回路中观察到的复杂动态的基础，并决定了传入信息流的影响和处理。在耗散系统中，混沌动力学发生在降维相空间的一个子集上，并由稳定、中性和不稳定流形的复杂缠结组织起来。这种相空间结构的关键拓扑不变量，如吸引子维数和Kolmogorov-Sinai熵至今仍然难以捉摸。本文计算了循环神经网络的完全李雅普诺夫谱。我们发现，在这些网络中的混沌是广泛的大小不变的李雅普诺夫谱和吸引子维数远小于相空间维数的数量为特征。我们发现，附近的混沌，非常激烈的混乱，离散时间动态，随机矩阵理论提供了分析近似的完整的李雅普诺夫谱。我们发现，一个广义的时间反转对称的网络动力学诱导的点对称的李雅普诺夫谱让人想起混沌哈密顿系统的辛结构。波动输入降低了熵率和吸引子维数。对于训练的递归网络，我们发现，李雅普诺夫谱分析提供了一个量化的误差传播和稳定性实现。我们的方法适用于系统的任意连接，我们描述了一套全面的控制的准确性和收敛性的李雅普诺夫指数。我们的结果为表征循环神经网络的复杂动力学和相应的混沌吸引子的几何结构开辟了一条新的途径。他们还强调了李雅普诺夫谱分析作为递归网络机器学习应用的诊断的潜力。
2020-06-03 nlin.CD q-bio.NC
Distribution of Orientation Selectivity in Recurrent Networks of Spiking Neurons with Different Random Topologies
初级视觉皮层中的神经元或多或少地对用于刺激的光条的取向具有选择性。事实上，在所有物种中都报道了个别等级的取向选择性的广泛分布。出现广泛分布的一个可能原因是刺激被处理的循环网络。在这里，我们计算随机连接的模型网络，配备了不同的空间模式的连接方向选择性的分布。我们发现，对于各种各样的连接模式，基于发射率的线性理论准确地近似于尖峰神经元网络的直接数值模拟的结果。在具有更符合生物学现实结构的网络中，距离相关的连通性并不影响我们的线性分析，只要线性化的动力学以及由此产生的均匀异步不规则活动状态保持稳定。我们的结论是，刺激处理的线性机制确实是负责出现的方向选择性和它的分布在经常性网络与功能异质性突触连接。
2014-11-08 q-bio.NC
Chaos-guided Input Structuring for Improved Learning in Recurrent Neural Networks
解剖学研究表明，大脑会重新格式化输入信息，以产生可靠的响应来执行计算。然而，目前还不清楚神经回路如何编码复杂的时空模式。我们发现，神经动力学的强烈影响的相位之间的对齐的输入和自发的混沌活动。沿主导混沌投影的输入结构导致混沌轨迹成为稳定通道（或吸引子），从而提高递归网络的计算能力。使用平均场分析，我们得到的影响，输入结构的整体稳定性的吸引子形成。我们的研究结果表明，输入对齐决定了内在噪声抑制的程度，因此，改变吸引子状态的稳定性，从而控制网络的推理能力。
2018-02-18 cs.NE physics.bio-ph q-bio.NC
Suppression of chaos in a partially driven recurrent neural network
本文通过解析推导条件最大Lyapunov指数，研究部分驱动RNN中输入神经元比例与输入强度对混沌动力学的影响，揭示临界比例由自发混沌强度唯一决定。
2024-01-24 cond-mat.dis-nn nlin.CD q-bio.NC
Discrete signaling mediates chaotic regularization in recurrent neural networks
The Hebrew University（希伯来大学）；Jülich Research Centre（于利希研究中心）；University College London（伦敦大学学院）；EPFL（洛桑联邦理工学院）；INFN Gruppo Collegato di Parma（帕尔马INFN协作组）；RWTH Aachen University（亚琛工业大学）
通过结合核方法和动态平均场理论，揭示了混沌动力学如何在递归神经网络中引入局部粗糙度并保持全局平滑性，从而作为内在正则化器增强泛化能力，并解释了混沌网络如何维持平滑的群体编码。
2026-06-03 cond-mat.dis-nn q-bio.NC
Synchronous chaos and broad band gamma rhythm in a minimal multi-layer model of primary visual cortex
视觉诱导的神经元活动在V1显示一个显着的γ-波段组件，这是调制的刺激属性。有人认为，同步振荡有助于这些伽马带活动[...]然而，即使当观察到振荡时，它们也在非常少的周期内经历时间去相关。这在以前的伽马振荡网络建模中并不容易解释。我们在这里认为，皮质层之间的相互作用可以负责这种快速去相关。我们研究了一个V1超柱模型，嵌入了对皮层多层结构的简化描述。当刺激对比度较低时，诱导的活动只有弱同步性，并且网络瞬时共振而不产生集体振荡。另一方面，当对比度高时，诱导的活动经历同步振荡，具有表示同步混沌状态的不规则时空结构。因此，人口活动经历快速的时间去相关，伴随着快速阻尼的振荡LFPs自相关图和LFPs功率谱的峰值展宽。[...]最后，我们认为，在我们的模型中出现同步混沌的机制实际上是非常普遍的。它源于这样一个事实，即由局部延迟抑制引起的伽马振荡在与足够强的激发耦合时倾向于发展混沌。
2011-12-17 cond-mat.dis-nn q-bio.NC
Transient chaotic dimensionality expansion by recurrent networks
大脑中的神经元通过尖峰信号进行通信，尖峰信号是时间和值上的离散事件。功能网络模型通常采用由模拟信号连续耦合的速率单元。这两种形式的信号传递是否意味着质的区别？我们开发了一个统一的平均场论的大型随机网络表明，一阶和二阶统计率和二进制网络实际上是相同的，如果率神经元接收适量的噪声。然而，他们对当前刺激的反应可能完全不同。我们通过研究附近的状态轨迹如何随时间演变来量化这些差异，询问动态在多大程度上是混沌的。两种模型中的混沌被发现是质的不同。在二进制网络中，我们发现一个网络的大小依赖的过渡到混沌和混沌子流形，其维数随时间的刻板扩大，而匹配的统计率网络是非混沌的。混沌二进制网络中的非线性扩展有助于水库计算中的分类，并且在每个神经元的单个激活内达到最佳性能;我们在尖峰网络中也展示了一种快速计算机制。这一机制的推广延伸到率网络在各自的混沌制度。
2021-07-19 cond-mat.dis-nn q-bio.NC
Slow Transition to Low-Dimensional Chaos in Heavy-Tailed Recurrent Neural Networks
Allen Institute（艾伦研究所）；Princeton University（普林斯顿大学）
该研究针对重尾突触权重的循环神经网络，通过有限尺寸分析发现其混沌转变更缓慢但吸引子维数更低，揭示了混沌边缘鲁棒性与神经活动丰富度的生物学权衡，并提供了有限尺寸重尾神经回路动力学的分析框架。
2025-10-24 cs.NE physics.bio-ph q-bio.NC
A propensity criterion for networking in an array of coupled chaotic systems
我们研究的相互同步的一个一维链的混沌相同的对象在存在的刺激施加到第一个网站。我们首先描述的本地元素的特点，然后一个全球性的非平凡的行为出现的过程。网络的倾向标准，包括在一个本地化的混沌区域，它显示出高灵敏度的外部刺激的吸引子内的共存，和一个稳定的岛屿，它提供了一个可靠的耦合信号链中的邻居。基于这一标准，我们比较同宿混沌，最近在激光器中探索，并证明是典型的一个单一的神经元，与洛伦兹混沌。
2003-07-09 nlin.CD nlin.PS q-bio.NC
Multi-scale variability in neuronal competition
我们研究是否一个单一的生物物理皮层电路模型可以解释尖峰和感知的变化。我们认为知觉竞争，这提供了一个窗口，内在的神经处理，因为在某些脑区的神经活动相关的交替感知，而不是恒定的模糊刺激。尖峰变化的流行理论是一种称为平衡状态的混沌吸引子;然而，感知变化的来源是一个悬而未决的问题。我们提出了一个动力学模型与混沌吸引子，解释尖峰和感知的变化，并坚持广泛的严格的实验约束。该模型对尖峰和感知变异性如何随着刺激的变化而变化进行了定量预测。
2018-11-16 q-bio.NC
Modeling of Self-sustained Neuron Population without External Stimulus
Middle East Technical University（中东理工大学）；Başkent University（巴肯特大学）
研究发现，具有突触可塑性和内在随机性的Hodgkin-Huxley神经元网络可在短暂刺激后维持自主活动，其特征为稀疏、不规则的放电模式。
2026-04-15 cs.NE q-bio.NC
Dynamical Entropy Production in Spiking Neuron Networks in the Balanced State
我们证明了确定性广泛的混乱在大型稀疏网络的theta神经元的平衡状态的动力学。分析是基于数值精确计算的全谱的李雅普诺夫指数，熵产生率和吸引子维数。广泛的混沌被发现在抑制性网络，并变得更加激烈时，兴奋人口。我们发现一个惊人的高熵产生率，将限制信息表示在皮层尖峰模式的即时刺激反应。
2010-12-10 cond-mat.dis-nn nlin.CD q-bio.NC
Chaotic hopping between attractors in neural networks
我们提出了一个神经生物学启发的随机元胞自动机，其状态随时间在对应于一系列存储模式的吸引子之间跳跃。随着模型参数的变化，跳跃从规则到混沌。由此产生的不规则行为，模仿注意力的状态，其中一个系统表现出很大的适应性变化的刺激，是一个结果，在模型的短时间突触前噪声，诱导突触抑制。我们讨论的结果，从平均场分析和蒙特卡罗模拟。
2006-04-16 q-bio.NC
Activity-dependent stochastic resonance in recurrent neuronal networks
我们使用局部神经元回路的生物物理模型来研究突触可塑性对检测弱感觉刺激的影响。具有快速塑性耦合的网络表现出与随机共振一致的行为。增加一个额外的慢耦合，占异步释放的神经递质的结果在定性不同的性质的信号检测，也导致出现短暂的刺激后双稳态。我们的研究结果提出了可检验的假设，关于局部神经元回路的自组织和动力学。
2008-06-10 q-bio.NC q-bio.PE
Predictable Mean-Field Chaos in Random Recurrent Neural Networks
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文证明在解析非线性且傅里叶衰减足够快的随机循环网络中，平均场轨迹的过去唯一决定其未来，从而将平均场理论从系综描述转化为单个轨迹的条件预测理论，并引入Krylov增长刻画预测复杂度。
2026-08-18 cond-mat.dis-nn q-bio.NC
Intrinsic adaptation in autonomous recurrent neural networks
大规模递归神经网络一方面对输入刺激做出响应，另一方面在没有感官输入的情况下自主活动。刺激和信息处理在很大程度上取决于正在进行的神经活动的动态状态的感受质。这种默认的神经活动可以在时间和空间上动态地构造，显示出规则的、同步的、突发的或混乱的活动模式。研究了非突触可塑性对循环神经网络默认动力学状态的影响。考虑的非突触自适应作用于内在神经参数，如阈值和增益，并由信息熵的优化驱动。我们观察到，在存在的内在适应过程中，三个不同的和全球吸引的动力学制度，定期同步，整体混乱和间歇性突发制度。间歇爆发制度的特点是定期流动的间隔，这是相当不敏感的外部刺激，interseeded由混沌爆发，敏感地响应输入信号。我们讨论这些发现的背景下，自组织信息处理和关键的大脑动力学。
2011-10-14 cond-mat.dis-nn nlin.AO nlin.CD
Input correlations impede suppression of chaos and learning in balanced rate networks
Zuckerman Mind, Brain, Behavior Institute, Columbia University（哥伦比亚大学祖克曼心智、大脑与行为研究所）；The Abdus Salam International Centre for Theoretical Physics（阿卜杜勒·萨拉姆国际理论物理中心）；Institute of Genetics, University of Bonn（波恩大学遗传学研究所）
神经回路表现出复杂的活动模式，既有自发的，也有由外部刺激引起的。神经回路中的信息编码和学习取决于时变刺激对自发网络活动的控制程度。我们表明，在平衡状态下的发射率网络，外部控制的经常性动态，即，内部产生的混沌可变性的抑制强烈地依赖于输入中的相关性。平衡网络的一个独特之处在于，由于共同的外部输入被递归反馈动态地抵消，因此，通过每个神经元的独立输入比通过共同输入更容易抑制混沌。为了研究这一现象，我们开发了一个非平稳动态平均场理论，确定如何活动统计和最大李雅普诺夫指数依赖于频率和振幅的输入，经常性耦合强度，和网络的大小，共同和独立的输入。我们还表明，不相关的输入有利于学习平衡网络。
2022-01-24 cond-mat.dis-nn cs.LG nlin.CD
Coding with transient trajectories in recurrent neural networks
在刺激之后，神经反应通常在稳定到稳态之前随时间和跨神经元强烈变化。虽然经典的群体编码理论忽略了时间维度，但最近的研究认为，瞬态活动的轨迹可以特别提供有关刺激身份的信息，并且可以通过动态形成计算的基础。然而，动力学机制需要产生一个人口代码的基础上瞬态轨迹尚未完全阐明。在这里，我们研究瞬态编码在一个广泛的类别的高维线性网络的递归连接的单位。我们首先回顾了一个众所周知的结果，导致两类网络之间的区别：网络中的所有输入导致弱，衰减瞬态，和网络中的特定输入引起强烈放大的瞬态响应，并映射到正交输出状态在动态。这两类简单的区分的基础上的频谱的对称部分的连接矩阵。对于第二类网络，这是一个子类的非正常网络，我们提供了一个程序来识别瞬时放大的输入和相应的读出。我们首先将这些结果应用于标准随机连接和两个人口网络。然后，我们构建最小的低秩网络，这些网络鲁棒地实现将特定输入映射到特定输出状态的轨迹。最后，我们证明了所获得的网络的容量与它们的大小成比例地增加。
2019-07-04 q-bio.NC
Statistical physics of learning in high-dimensional chaotic systems
本文以高维混沌系统为范式模型，研究Hebbian驱动对混沌程度的调控以及FORCE算法训练系统重现周期函数的能力，并通过动力学平均场理论在热力学极限下给出精确分析。
2023-09-25 cond-mat.dis-nn q-bio.NC
Dynamical Phases and Resonance Phenomena in Information-Processing Recurrent Neural Networks
循环神经网络（RNN）是一种复杂的动态系统，能够在没有任何驱动输入的情况下持续活动。自由运行的RNN的长期行为，由周期性，混沌和固定点吸引子描述，由神经连接权重的统计数据控制，例如非零连接的密度$d$，或兴奋性和抑制性连接之间的平衡$b$。然而，出于信息处理的目的，RNN需要接收外部输入信号，并且不清楚哪个动态机制对于这种信息输入是最佳的。我们使用的平均相关性$C$和瞬时输入向量和下一个系统状态向量之间的互信息$I$作为信息输入的定量措施，并分析其依赖于网络的平衡和密度。值得注意的是，这两个得到的相图$C(b,d)$和$I(b,d)$是高度一致的，指出了动力系统和复杂系统的信息处理方法之间的联系。信息进口是最大的不是在“混沌边缘”，这是最适合于计算，但令人惊讶的是，在低密度的混沌政权和混沌和固定点政权之间的边界。此外，我们发现了一种全新类型的共振现象，称为“输入共振”（IR），其中信息输入显示出最大值，即对RNN及其输入之间的耦合强度的峰值依赖性。IR补充了递归共振（RR），其中连续系统状态的相关性和互信息对于添加到系统的一定幅度的噪声达到峰值。IR和RR都可以用来优化人工神经网络中的信息处理，也可能在生物神经系统中发挥关键作用。
2021-08-05 nlin.CD physics.bio-ph q-bio.NC
Kinetic energy in random recurrent neural networks
Sun Yat-sen University（中山大学）；Guangdong Provincial Key Laboratory of Magnetoelectric Physics and Devices, Sun Yat-sen University（中山大学磁电物理与器件广东省重点实验室）
本文通过动态平均场理论和数值模拟，研究随机递归神经网络中动能从零到正值的连续转变及其在混沌临界点附近的立方标度行为，并揭示混沌动力学与不稳定不动点的几何关系。
2026-06-02 cond-mat.stat-mech nlin.CD q-bio.NC
Real time unsupervised learning of visual stimuli in neuromorphic VLSI systems
神经形态芯片将神经系统中的计算原理体现在微电子设备中。在这一领域，重要的是要确定计算原语，理论和实验表明，通用的和可重用的认知元素。一个这样的元素是由经常性网络中的吸引子动力学提供的。点吸引子是动态的平衡状态（直到波动），由网络的突触结构决定;吸引力的“盆地”包括所有初始状态，导致放松时给定的吸引子，因此使吸引子动态适合于实现强大的联想记忆。初始网络状态由刺激决定，松弛到吸引子状态实现了对相应记忆原型模式的检索。在以前的工作中，我们证明了神经形态的尖峰神经元和适当选择的，固定的突触支持吸引子动力学的经常性网络。在这里，我们专注于学习：激活芯片上的突触可塑性，并使用理论驱动的策略选择网络参数，我们表明，自主学习，重复呈现简单的视觉刺激，形状支持刺激选择性吸引子的突触连接。联想记忆在芯片上发展，作为耦合刺激驱动的神经活动和随后的突触动力学的结果，学习和检索阶段之间没有人为的分离。
2015-06-17 cs.NE q-bio.NC
Structured chaos shapes spike-response noise entropy in balanced neural networks
稀疏耦合的兴奋性和抑制性细胞的大型网络遍布整个大脑。这些网络的一个显著特征是它们是混沌的。这种混乱是如何在神经代码中表现出来的？具体来说，这种网络响应输入信号产生的尖峰模式有多可变？为了回答这个问题，我们推导出一个边界的熵的多细胞尖峰模式分布在大型经常性网络的尖峰神经元响应波动的输入。分析是基于随机动力系统理论的结果，并辅以详细的数值模拟。我们发现，尖峰模式熵是一个数量级低于从单细胞外推。尽管随着网络规模的增长，网络耦合变得越来越稀疏--这种现象取决于“广泛的混沌”，正如以前在没有刺激驱动的平衡网络中发现的那样。此外，我们还展示了尖峰模式熵是如何由输入的时间特征控制的。我们的发现提供了对神经网络如何在固有混沌动力学存在的情况下编码刺激的深入了解。
2014-02-22 math.DS nlin.CD physics.bio-ph
Covariance Spectrum in Nonlinear Recurrent Neural Networks: A Near-Critical Effective Connection Strength Throughout Chaos
Institute of Neuroscience, Center for Excellence in Brain Science and Intelligence Technology, State Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心神经科学研究所）；The Hong Kong University of Science and Technology（香港科技大学）
本研究在非线性递归神经网络中推导协方差谱，发现其由线性理论方程描述但需替换为有效递归连接强度，该参数在混沌中保持近临界值，为脑临界性提供无需精细调谐的机制解释。
2026-09-09 nlin.CD q-bio.NC
How Chaotic is the Balanced State?
在广泛的条件下，尖峰神经元的大型稀疏回路表现出高度不规则活动的平衡状态。它同样发生在接受兴奋性外部输入和复发性抑制的稀疏连接随机网络中，以及混合复发性抑制和兴奋的网络中。在这里，我们分析研究了有限网络中的这种不规则动态，跟踪所有单个尖峰时间和单个神经元的身份。对于延迟，纯抑制的相互作用，我们表明，不规则的动力学不是混乱的，但实际上是稳定的。此外，我们证明，经过长时间的瞬态动力学收敛到周期轨道，这些动力系统的每个通用周期轨道是稳定的。我们研究了集体不规则的动态增加突触反应的时间尺度，并在迭代取代抑制兴奋性相互作用。然而，对于小的和中等的时间尺度以及少数兴奋性相互作用，动力学保持稳定，有一个平稳过渡到混沌，如果突触反应变得足够慢（即使在纯粹的抑制网络）或兴奋性相互作用的数量变得太大。这些结果表明，混沌和稳定的动力学同样能够产生不规则的神经元活动。更一般地说，混沌显然不是必不可少的产生高度不规则的平衡活动，我们认为，一种机制不同的混沌和随机性显着有助于不规则的活动在皮层电路。
2013-08-15 cond-mat.dis-nn physics.bio-ph q-bio.NC
New hallmarks of criticality in recurrent neural networks
对大脑动力学和功能的严格理解需要在多个层次的组织之间建立一个概念上的桥梁，包括神经尖峰和网络级的群体活动。越来越多的证据表明，大脑皮层的神经网络处于临界状态。在这种网络状态附近操作如何影响神经元尖峰的可变性在很大程度上是未知的。在这里，我们表明，在一个计算模型中，两个普遍的功能，皮层单神经元活动，不规则尖峰和刺激发作时的反应变异性下降，都是紧急的特性，经常性的网络附近的临界操作。重要的是，我们的工作揭示了尖峰的不规则性与神经元的输入连接数量之间的关系，即，入度在临界时最大化。我们的研究结果建立了临界性作为一个统一的原则，为单神经元尖峰的变化和集体行为的循环回路在大脑皮层。
2016-10-08 q-bio.NC
Theory of gating in recurrent neural networks
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；CUNY（纽约市立大学）
循环神经网络（RNN）是一种强大的动态模型，广泛应用于机器学习（ML）和神经科学。之前的理论工作主要集中在具有加性相互作用的RNN上。然而，门控-即乘法-相互作用在真实神经元中无处不在，也是ML中性能最好的RNN的核心特征。在这里，我们表明，门控提供了灵活的控制集体动力学的两个显着特征：i）时间尺度和ii）维度。门控制时间尺度导致一个新的，边缘稳定的状态，其中网络作为一个灵活的积分器。与以前的方法不同，门控允许这个重要的功能，而无需参数微调或特殊的对称性。门还提供了一种灵活的、依赖于上下文的机制来重置记忆轨迹，从而补充了记忆功能。调制维度的门可以诱导一种新的、不连续的混沌过渡，其中输入将稳定系统推向强混沌活动，与输入的典型稳定效果相反。在这种过渡中，与加性RNN不同，临界点的扩散（拓扑复杂性）与混沌动力学的出现（动力学复杂性）解耦。丰富的动力学在相图中进行了总结，从而为ML从业者提供了一个原则性参数初始化选择的地图。
2021-12-01 cond-mat.dis-nn cond-mat.stat-mech cs.LG
The principles of adaptation in organisms and machines II: Thermodynamics of the Bayesian brain
本文从贝叶斯推断的角度回顾了生物体如何通过神经网络的动力学来学习和认识世界，并介绍了一种关于神经活动熵定律如何描述这种动力学的观点，我们称之为贝叶斯大脑热力学。贝叶斯脑假说将神经元的刺激诱发活动视为基于生物体所拥有的外部世界的生成模型构建贝叶斯后验分布的行为。仔细观察早期感觉皮层的刺激诱发活动，发现前馈连接最初介导刺激反应，随后由来自循环连接的输入调制。重要的是，不是最初的反应，但延迟调制表达动物的认知状态，如对刺激的意识和注意力。使用一个简单的生成模型的尖峰神经元群体，我们再现刺激诱发的动态与延迟反馈调制的贝叶斯推断的过程，集成的刺激证据和先验知识与时间延迟。然后，我们介绍了一个热力学的观点，这个过程的基础上的法律熵的神经活动。这种观点阐明了贝叶斯推断的过程作为最近提出的信息理论引擎（神经引擎，热力学中热机的模拟），它允许我们量化延迟调制中表达的感知能力的熵。
2020-06-23 q-bio.NC stat.ML
Fitting a recurrent dynamical neural network to neural spiking data: Tackling with the sigmoidal gain function issues
这是最近关于大脑感觉系统信息编码模型研究的继续。来自感觉神经元的数据可作为不具有幅度信息的离散尖峰定时获得。在模拟中，这些是从数据生成器模型生成的，该模型与正在估计的模型有一定的差异。所考虑的模型比用作数据生成器的模型简单，因为它没有S形增益函数参数。这种选择是基于最近一项研究的建议，该研究指出，将增益函数包括到估计算法中会增加诸如参数混淆之类的问题，这会导致性能下降问题，例如不同刺激配置的方差变化增加或不可预测。为了解决这个问题，我们考虑一个更通用的模型，没有S形增益函数估计。与第一项研究一样，我们将傅立叶级数刺激应用于数据生成器和估计网络。为了测试所提出的方案的性能，我们重复了不同的样本大小，刺激分量计数，幅度和基频的模拟。估计的平均值以表格形式呈现，统计分析结果以图形形式呈现。此外，由于我们没有任何真实的参数数据（对于估计的模型），我们比较了数据发生器和估计模型对不同刺激的放电率响应。结果表明，两种模型的响应几乎相同。
2018-07-26 q-bio.NC
Recurrent infomax generates cell assemblies, avalanches, and simple cell-like selectivity
通过进化，动物获得了中枢神经系统（CNS），中枢神经系统是提高动物对各种环境的适应性的极其有效的信息处理装置。有人提出，信息最大化的过程（infomax），最大限度地提高信息传输从输入到输出的前馈网络，可以提供一个解释的刺激选择性的神经元在CNS。然而，CNSs不仅包含前馈，而且还包含递归突触连接，并且对这种递归网络中随时间推移的信息保留知之甚少。在这里，我们提出了一种基于infomax的递归网络学习算法，我们称之为“递归infomax”（RI）。RI最大化信息保留，从而最小化网络中的信息丢失。我们发现，在外部输入的信息，从自然场景的照片到一个基于RI的模型的循环网络的结果在外观的Gabor样的选择性非常类似于存在于简单的细胞的初级视觉皮层（V1）。更重要的是，我们发现，没有外部输入，这个网络表现出细胞组装样和synfire链样自发活动和一个关键的神经元雪崩。RI提供了一个简单的框架来解释在体内和体外神经元网络中观察到的各种现象，它应该从信息论的角度对多神经元活性和可塑性的实验结果提供一种新的理解。
2008-01-13 cond-mat.dis-nn q-bio.NC
Oscillatory dynamics in complex recurrent neural networks
针对大脑静息态多频段自发振荡的产生机制尚不明确的问题，本研究证明中心兴奋-周边抑制循环神经网络的复值输入等价于实值循环与前馈网络组合，可产生振荡特征，并通过仿真验证了猜想。
2021-08-10 q-bio.NC q-bio.QM
Many Attractors, Long Chaotic Transients, and Failure in Small-World Networks of Excitable Neurons
我们通过数值和分析方法研究了循环耦合可兴奋神经元的小世界网络中出现的动力学状态。这些动力学在很大程度上取决于远程连接或“捷径”的分数和神经元相互作用的延迟。持续的活动出现在“捷径”的一小部分，而向失败的过渡发生在“捷径”密度的临界值。持续的活动由多个稳定的周期性吸引子组成，其数量至少是网络中神经元数量的顺序。对于足够长的延迟，网络活动在高的“捷径”密度表现出非常长的混沌瞬态故障时间平均在许多网络配置遵循拉伸指数。我们展示了如何出现这种功能形式的整体平均活动，如果每个网络实现有一个特征的故障时间是指数分布的。
2007-01-28 cond-mat.dis-nn nlin.CD physics.bio-ph
Time-dependent maximum entropy model for populations of retinal ganglion cells
逆伊辛模型在计算神经科学中用于推断大型神经元群体同步活动的概率分布。该方法允许找到具有单神经元偏置和成对相互作用的玻尔兹曼分布，其最大化熵并再现所记录的神经元活动的经验统计。在这里，我们将这种策略应用于大量不同类型的视网膜输出神经元（神经节细胞），这些神经元受到多种视觉刺激的刺激，并具有自己的统计数据。视网膜输出神经元的活动由上游神经元的输入和递归连接驱动。我们首先应用标准的逆伊辛模型的方法，并表明，它占系统的集体行为时，输入的视觉刺激具有短距离的空间相关性，但不为远程的。这是因为具有长距离空间相关性的刺激使长距离神经元的活动同步。这种效应不能用成对相互作用来解释，因此也不能用成对伊辛模型来解释。为了解决这个问题，我们应用先前提出的框架，其中包括在单个神经元的偏见时间依赖模型神经元是如何驱动的时间刺激。由于这一增加，刺激效应被考虑到的偏见，和成对的相互作用允许在人口活动中的网络效应的特征和再现的视网膜架构中的经常性功能连接的结构。我们发现，视网膜结构分裂成弱相互作用的神经元组成的亚群。总的来说，这个时间框架修复了标准的，静态的，逆伊辛模型的问题，并占系统的集体行为，刺激与短期或长期的相关性。
2022-07-26 q-bio.NC
Mean-field theory of rich oscillatory dynamics in low-rank recurrent networks with activity-dependent adaptation
Massachusetts Institute of Technology（麻省理工学院）
本研究通过动力平均场理论，揭示了低秩随机递归网络中适应强度驱动四种振荡状态（静态相干态、噪声维持振荡、随机切换和全局极限环）的机制，并阐明了混沌与Hopf分岔的相互作用。
2026-06-29 q-bio.NC
Triple Configuration of Brain Networks Based on Recurrent Neural Networks: The Synergistic Effects of Exogenous Stimuli, Task Demands, and Spontaneous Activity
School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）
本文提出利用循环神经网络建模 resting-state EEG 数据，揭示由外源和内源因素驱动的脑网络三重配置，发现顶叶网络在支持多种配置模式中的关键作用，以及不同刺激模态下前顶叶和后顶叶区域的功能特化。
2026-04-26 q-bio.NC
How 'Neural' is a Neural Foundation Model?
University of Tübingen（蒂宾根大学）；Department of Computer Science, Yale（耶鲁大学计算机科学系）；Department of Biomedical Engineering, Yale（耶鲁大学生物医学工程系）；Wu Tsai Institute, Yale（耶鲁大学吴氏研究所）；The Kempner Institute for Natural and Artificial Intelligence, Harvard University（哈佛大学肯普纳自然与人工智能研究所）
研究通过分析神经基础模型中神经元的时序响应模式，揭示了模型不同处理阶段的表征结构差异，并提出改进设计以更贴近生物系统。
2026-01-29 q-bio.NC
Mean Field description of and propagation of chaos in recurrent multipopulation networks of Hodgkin-Huxley and Fitzhugh-Nagumo neurons
我们推导出的平均场方程所产生的相互作用尖峰神经元的网络的限制，神经元的数量趋于无穷大。神经元属于固定数量的种群，可以用Hodgkin-Huxley模型或其简化版本Fitzhugh-Nagumo模型来表示。神经元之间的突触要么是电的，要么是化学的。假设网络完全连接。最大电导随机变化。在所有的神经元的初始条件是独立的，从同一个法律，只取决于他们所属的人口的条件下，我们证明了混沌现象的传播发生，即在平均场极限，任何有限数量的神经元成为独立的，在每个人口，有相同的概率分布。这个概率分布是一组隐式方程的解，或者是类似于McKean-Vlasov方程的非线性随机微分方程，或者是类似于McKean-Vlasov-Fokker- Planck方程的非局部偏微分方程。我们证明了这些方程的适定性，即解的存在性和唯一性。我们还显示了一些初步的数值实验的结果表明，平均场方程是一个很好的表示的平均活动的有限大小的网络，即使是适度的大小。这些实验还表明，McKean-Vlasov-Fokker- Planck方程可能是理解平均场动力学的好方法，例如，分叉分析
2011-10-19 math.PR q-bio.NC
Harnessing and modulating chaos to sample from neural generative models
本研究展示了神经混沌在使大脑学习并从生成模型中采样方面的功能性作用，通过构建结合经典神经混沌模型与规范生成建模架构或基于能量的神经记忆模型的架构，实现了生物学上合理的采样率控制。
2024-09-26 cs.NE nlin.CD q-bio.NC
How single neuron properties shape chaotic dynamics and signal transmission in random neural networks
虽然大多数随机连接网络的模型假设节点具有简单的动态特性，但现实高度连接网络中的节点，如大脑中的神经元，在多个时间尺度上表现出内在的动态特性。我们分析了节点（如单个神经元）的动态特性和经常性连接如何相互作用，以塑造大型随机连接网络中的有效动态。一种新的动力学平均场论的强连接网络的多维速率单元表明，在混沌阶段的网络活动的功率谱出现从单个单元的频率响应函数的非线性锐化。对于具有强适应性的二维速率单元的情况，我们发现网络呈现出“共振混沌”状态，其特征在于鲁棒的窄带随机振荡。随机振荡的相干性在混沌开始时最大，它们的相关时间尺度与单个单元的适应时间尺度有关。令人惊讶的是，共振频率可以预测从孤立的单元的属性，即使在适应参数的异质性的存在下。在这些内部产生的混沌波动的存在下，弱，低频信号的传输被强烈增强的自适应，而信号传输不受影响的非混沌政权的自适应。我们的理论框架可以应用于其他机制在单节点的水平，如突触过滤，不应或尖峰同步。这些结果推进了我们对单个单元的动力学和循环连接之间的相互作用的理解，这是描述大脑中生物现实网络模型的基本步骤，或者更一般地说，其他物理或人造复杂动力学单元的网络。
2019-02-28 cond-mat.dis-nn q-bio.NC
Manifold Transform by Recurrent Cortical Circuit Enhances Robust Encoding of Familiar Stimuli
本研究通过早期视觉皮层循环回路模型，发现BCM赫布学习塑造的循环计算可重现熟悉刺激的神经稀疏化，并变换反应流形以增强抗噪鲁棒性和刺激辨别，获初步生理证据支持。
2024-08-20 q-bio.NC
Training recurrent neural networks with sparse, delayed rewards for flexible decision tasks
混沌状态下的循环神经网络表现出复杂的动力学，让人想起行为任务期间的高水平皮层活动。然而，这种网络的现有训练方法要么在生物学上是不可信的，要么需要实时连续的误差信号来指导学习过程。这与大多数行为任务相反，行为任务只提供时间稀疏，延迟的奖励。在这里，我们表明，一个生物合理的奖励调制的赫布学习算法，以前用于前馈模型的鸟鸣学习，可以训练经常性的网络仅基于延迟，相位奖励信号在每次试验结束。该方法不需要专门的反馈或读出网络：整个网络的连通性是学习的，网络输出是从一个任意选择的网络单元读取的。我们使用这种方法成功地训练一个网络上的延迟不匹配样本任务（这需要记忆，灵活的协会，和非线性混合选择性）。使用解码技术，我们表明，由此产生的网络表现出动态编码的任务相关的信息，与神经编码的各种任务功能波动很大的过程中的审判。此外，网络活动在响应时间内从刺激特定的表征转移到响应特定的表征，这与行为动物在类似任务中的神经记录一致。我们的结论是，循环神经网络，奖励调制的赫布学习训练，提供了一个合理的模型，在学习和灵活的协会性能的皮质动力学。
2015-12-08 q-bio.NC
The Butterfly Effect in Primary Visual Cortex
探索和建立具有电生理特性和高计算效率的人工神经网络是计算机视觉领域的热门课题。受初级视觉皮层工作机制的启发，脉冲耦合神经网络（PCNN）具有同步振荡、不应期和指数衰减等特性。然而，电生理学证据表明，神经元表现出高度复杂的非线性动力学时，外部周期性信号的刺激。这种混沌现象，也被称为“蝴蝶效应”，不能用所有的PCNN模型来解释。在这项工作中，我们分析的主要障碍，阻止PCNN模型模仿真实的初级视觉皮层。我们认为神经元的兴奋是一个随机过程。然后，我们提出了一种新的神经网络，称为连续耦合神经网络（CCNN）。理论分析表明，CCNN的动态行为不同于PCNN。数值结果表明，CCNN模型在直流刺激下表现出周期行为，在交流刺激下表现出混沌行为，这与真实神经元的结果一致。分析了CCNN模型的图像和视频处理机制。图像分割的实验结果表明，CCNN模型具有更好的性能比最先进的视觉皮层神经网络模型。
2022-07-23 cs.NE q-bio.NC
Discontinuous transition to chaos in a canonical random neural network
该研究推广 SCS 随机递归神经网络，证明奇数饱和传递函数在原点斜率为局部极小值时，混沌会经吸引子–排斥子折叠不连续突发，且初始 Lyapunov 指数非零。
2024-07-03 nlin.CD q-bio.NC
Efficiency and robustness partition the solution space for memory in recurrent networks
Harvard University（哈佛大学）；Kempner Institute for the Study of Natural and Artificial Intelligence（肯普纳自然与人工智能研究所）；John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Center for Brain Science（脑科学中心）
本研究通过最小刺激回忆任务，系统揭示权重效率、活动效率与噪声鲁棒性如何塑造循环网络记忆解空间，并据此解释前运动皮层的错位编码现象。
2026-10-06 q-bio.NC
Solution of a chaotic neural network at fixed connectivity
Center for Theoretical Neuroscience, Zuckerman Institute, Columbia University（哥伦比亚大学祖克曼研究所理论神经科学中心）
研究通过非平均方法计算大规模非线性递归神经网络的矩和响应函数，首次在1/√N展开中获得一般强度相关函数的非平凡项，验证了Shen和Hu的猜想，建立了突触连接性、自发活动相关性和网络响应之间的分析联系。
2026-06-29 cond-mat.dis-nn q-bio.NC
Multi-tasking via baseline control in recurrent neural networks
该研究利用随机耦合循环神经网络中的储备池计算表明，基线输入电流调制可诱发混沌增强、滞后和遍历性破缺，并让网络无需优化耦合即可执行多任务。
2023-06-04 physics.bio-ph q-bio.NC
From Chaos to Coherence: Effects of High-Order Synaptic Correlations on Neural Dynamics
该研究针对高阶皮层连接结构与网络动力学关联理论缺失的问题，发现突触连接的三阶及以上循环相关性可抑制混沌、促进振荡或固定活动，且该相变与连接矩阵特征值支撑集尖点形成相关，还建立了活动维度与网络结构的关联。
2025-09-03 cond-mat.dis-nn physics.bio-ph q-bio.NC
Inferring brain plasticity rule under long-term stimulation with structured recurrent dynamics
Southern University of Science and Technology（南方科技大学）；Center for Neurocognition and Social Behavior, Institute of Artificial Intelligence, SUAT（深圳大学人工智能学院神经认知与社会行为中心）；Shenzhen Loop Area Institute（深圳河套学院）
STEER框架通过双时间尺度模型揭示长期刺激下脑回路重组的动态规律，提供可解释的可塑性规则推断方法。
2026-02-27 q-bio.NC
Neural wave interference and intrinsic tuning in distributed excitatory-inhibitory networks
我们开发了一个模型的皮质计算，实现皮质电路的关键功能，并能够描述在空间分布的刺激皮质位置之间的神经信号的传播。该模型是基于典型的神经回路，包括兴奋性和抑制性细胞通过相互连接，与经常性反馈相互作用。典型电路被用作分布式网络中的节点，节点之间具有最近邻耦合。我们发现，这个系统的特点是由内在的空间频率偏好。优选频率的值取决于细胞之间的兴奋性和抑制性连接的相对权重。这种兴奋和抑制的平衡随着刺激对比度的增加而改变，这就是为什么预测固有空间频率以由刺激时间频率确定的方式随着对比度而改变。网络偏好的动态与警觉猕猴皮层区MT的特性一致。
2018-10-20 q-bio.NC
Predictive coding in balanced neural networks with noise, chaos and delays
生物神经网络面临着一项艰巨的任务：面对单个神经元内在的随机性、不精确的突触连接性和不可忽略的突触传输延迟，进行可靠的计算。对抗这种生物异质性的常见方法涉及对$N$神经元的大冗余网络进行平均，导致编码错误，其经典地减少为$1/\sqrt{N}$。最近的工作证明了一种新的机制，周期性尖峰网络可以有效地编码动态刺激，实现了超经典的缩放，其中编码错误减少为$1/N$。这种特定的机制涉及两个关键思想：预测编码，以及强前馈输入和强循环反馈之间的紧平衡或抵消。然而，平衡预测编码的功效及其对噪声、突触权重异质性和通信延迟的鲁棒性的理论原理仍然知之甚少。为了发现这样的原则，我们引入了一个易于分析的平衡预测编码模型，其中的平衡程度和权重混乱的程度可以分离，不像以前的平衡网络模型，我们开发了一个平均场理论的编码精度。总的来说，我们的工作提供并解决了一个通用的理论框架，用于解剖神经噪声，突触紊乱，混沌，突触延迟和平衡对预测神经代码保真度的差异贡献，揭示了平衡在实现超经典缩放中发挥的根本作用，并统一了理论神经科学中以前不同的模型。
2020-06-25 cond-mat.dis-nn q-bio.NC stat.ML
