Activity-dependent stochastic resonance in recurrent neuronal networks
我们使用局部神经元回路的生物物理模型来研究突触可塑性对检测弱感觉刺激的影响。具有快速塑性耦合的网络表现出与随机共振一致的行为。增加一个额外的慢耦合,占异步释放的神经递质的结果在定性不同的性质的信号检测,也导致出现短暂的刺激后双稳态。我们的研究结果提出了可检验的假设,关于局部神经元回路的自组织和动力学。
2008-06-10 q-bio.NC q-bio.PE
Self-sustained activity, bursts, and variability in recurrent networks
目前的文献一致认为,异步不规则尖峰活动的稳定状态需要(i)10 000个或更多神经元的大型网络和(ii)外部背景活动或起搏神经元。然而早在1963年,格里菲斯就证明了简单阈值元素的网络可以以中等速率持续活跃。在这里,我们扩展了格里菲斯的工作,并证明了稀疏网络的集成和消防神经元假设稳定状态的自我维持的异步和不规则的发射没有外部输入或起搏器神经元。这些状态可以通过对一小部分神经元的短暂脉冲或短时间的不规则输入来鲁棒地诱导,并持续几分钟。自我维持的活动状态出现时,一小部分的突触是强大到足以显着影响神经元的放电概率,与最近提出的长尾分布的突触权重。在自我维持的活动中,每个神经元都表现出高度不规则的放电模式,类似于实验观察到的活动。此外,峰间期分布揭示了神经元在高放电率和低放电率的离散状态之间切换。我们发现,即使在只有1000个神经元的小网络中,自我维持的活动状态也可以存在。我们研究了多达10万个神经元的网络。最后,我们讨论了自我维持活动的学习,记忆和信号传播的影响。
2013-11-06 q-bio.NC
Triple Configuration of Brain Networks Based on Recurrent Neural Networks: The Synergistic Effects of Exogenous Stimuli, Task Demands, and Spontaneous Activity
School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院)
本文提出利用循环神经网络建模 resting-state EEG 数据,揭示由外源和内源因素驱动的脑网络三重配置,发现顶叶网络在支持多种配置模式中的关键作用,以及不同刺激模态下前顶叶和后顶叶区域的功能特化。
2026-04-26 q-bio.NC
Stimulus-Dependent Suppression of Chaos in Recurrent Neural Networks
神经元活动是由神经回路自发产生的持续放电和外部刺激驱动的反应之间的相互作用引起的。使用平均场分析,我们问一个神经网络,内在地产生混沌模式的活动可以保持敏感的外部输入。我们发现,输入不仅驱动网络的反应,他们还积极抑制正在进行的活动,最终导致一个相变,其中混沌被完全消除。在相变的临界输入强度是刺激频率的非单调函数,揭示了一个“共振”频率,在该频率下,即使自发活动的功率谱在零处达到峰值并呈指数下降,输入在抑制混沌方面也是最有效的。我们的分析预测是,神经反应的方差应该在与许多感觉系统操作的范围相匹配的频率处被最强烈地抑制。
2010-08-02 cond-mat.dis-nn nlin.CD physics.bio-ph
Efficiency and robustness partition the solution space for memory in recurrent networks
Harvard University(哈佛大学);Kempner Institute for the Study of Natural and Artificial Intelligence(肯普纳自然与人工智能研究所);John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院);Center for Brain Science(脑科学中心)
本研究通过最小刺激回忆任务,系统揭示权重效率、活动效率与噪声鲁棒性如何塑造循环网络记忆解空间,并据此解释前运动皮层的错位编码现象。
2026-10-06 q-bio.NC
Recurrent infomax generates cell assemblies, avalanches, and simple cell-like selectivity
通过进化,动物获得了中枢神经系统(CNS),中枢神经系统是提高动物对各种环境的适应性的极其有效的信息处理装置。有人提出,信息最大化的过程(infomax),最大限度地提高信息传输从输入到输出的前馈网络,可以提供一个解释的刺激选择性的神经元在CNS。然而,CNSs不仅包含前馈,而且还包含递归突触连接,并且对这种递归网络中随时间推移的信息保留知之甚少。在这里,我们提出了一种基于infomax的递归网络学习算法,我们称之为“递归infomax”(RI)。RI最大化信息保留,从而最小化网络中的信息丢失。我们发现,在外部输入的信息,从自然场景的照片到一个基于RI的模型的循环网络的结果在外观的Gabor样的选择性非常类似于存在于简单的细胞的初级视觉皮层(V1)。更重要的是,我们发现,没有外部输入,这个网络表现出细胞组装样和synfire链样自发活动和一个关键的神经元雪崩。RI提供了一个简单的框架来解释在体内和体外神经元网络中观察到的各种现象,它应该从信息论的角度对多神经元活性和可塑性的实验结果提供一种新的理解。
2008-01-13 cond-mat.dis-nn q-bio.NC
Repeated sequential learning increases memory capacity via effective decorrelation in a recurrent neural network
神经系统中的记忆是在外部输入下通过神经和学习动力学的相互作用而形成的。通过在神经网络中引入一个简单的局部学习规则,我们发现通过连续重复输入-输出映射的学习步骤,记忆容量大大增加。这种增强的起源归因于连接中的伪逆相关的产生。这与自发活动的出现有关,自发活动间歇性地表现出与嵌入记忆相对应的神经模式。记忆的稳定化是通过在每个输入的应用下从自发活动的明显分叉来实现的。
2019-06-22 cs.NE nlin.AO q-bio.NC
Recurrent neural network models for working memory of continuous variables: activity manifolds, connectivity patterns, and dynamic codes
许多日常活动和心理物理学实验都涉及在工作记忆中保存多个项目。当项取连续值时(例如,方向、对比度、长度、响度),它们必须存储在适当尺寸的连续结构中。我们通过训练循环网络来报告两个先前显示的刺激方向,研究这种结构如何在神经回路中表示。我们发现这两个方向的活动流形类似于Clifford环面。虽然克利福德和标准环面(圆环面的表面)在拓扑上是等价的,但它们在功能上有重要的区别。克利福德环面平等地对待这两个方向,并将它们保持在正交的子空间中,这是任务所要求的,而标准环面则不是。我们发现和表征的连接模式,支持克利福德环面。此外,除了通过持续活动存储信息的吸引子之外,我们的网络还使用动态代码,其中单元改变其调谐以防止新的感官输入干扰先前存储的输入。我们认为,这样的动态代码通常需要多个输入通过共享连接进入一个内存系统。最后,我们将我们的框架应用到人类心理物理学实验中,受试者报告了两个记住的方向。通过改变RNN的训练条件,我们测试并支持这样一个假设,即人类行为是神经噪声和依赖于两个方向之间的顺序关系的更稳定和行为相关的记忆的产物。这表明RNN中合适的归纳偏差对于揭示人类大脑如何实现工作记忆非常重要。总之,这些结果提供了对一类视觉解码任务背后的神经计算的理解,将人类行为的尺度与突触连接联系起来。
2021-12-18 cs.NE q-bio.NC q-bio.QM
How strong are correlations in strongly recurrent neuronal networks?
神经网络中活动的互相关性通常用于表征其动力学状态以及其解剖和功能组织。然而,这些后者的网络功能如何影响的时空结构的相关性在经常性的网络还没有完全理解。在这里,我们开发了一个通用的理论,从动态的强经常性网络组成的几个种群的二进制神经元的相关神经元活动的出现。我们将这一理论应用于神经元之间的连接取决于解剖或功能距离的情况。我们建立的建筑条件下,系统解决到一个动态的状态,相关性强,高度鲁棒性和空间调制。我们表明,这种强相关性出现,如果网络表现出有效的前馈结构。我们建立了这种前馈结构如何决定相关性随网络大小和连通性程度而变化的方式。在缺乏有效前馈结构的网络中,相关性非常小,并且仅微弱地依赖于每个神经元的连接数量。我们的工作显示了强相关性如何与复发网络中高度不规则的活动相一致,这是中枢神经系统中神经元动力学的两个关键特征。
2018-03-01 cond-mat.dis-nn nlin.CD physics.bio-ph
Interactions between Intrinsic and Stimulus-Evoked Activity in Recurrent Neural Networks
试验间变异性是神经反应的一个基本特征,但其来源是一个积极辩论的主题。响应变异性(Mast和Victor,1991; Arieli等人,1995 & 1996; Anderson等人,2000 & 2001; Kenet等人,2003; Petersen等人,2003 a和b; Fiser,Chiu和Weliky,2004; MacLean等人,2005; Yuste等人,2005; Vincent等人,2007)通常被视为随机噪声,由其他大脑区域或正在研究的电路内的随机过程产生。我们把这种变异性的来源称为外部的,以强调这种形式的噪声与刺激驱动的活动的独立性。可变性也可以由对刺激产生反应的相同网络动态在内部产生。我们如何区分反应变异性的外部和内部来源?在这里,我们表明,内部来源的可变性与刺激诱导的活动非线性相互作用,这种相互作用产生了抑制噪声的诱发状态。这为实验观察提供了理论基础和潜在机制,在许多脑区,刺激引起神经元变异性的显著抑制(Werner和Mountcastle,1963; Fortier,Smith和Kalaska,1993; Anderson等人,2000; Friedrich和Laurent,2004; Churchland等人,2006; Finn,Priebe和Ferster,2007; Mitchell,Sundberg和Reynolds,2007; Church…
2010-08-02 cond-mat.dis-nn nlin.CD physics.bio-ph
Intrinsic adaptation in autonomous recurrent neural networks
大规模递归神经网络一方面对输入刺激做出响应,另一方面在没有感官输入的情况下自主活动。刺激和信息处理在很大程度上取决于正在进行的神经活动的动态状态的感受质。这种默认的神经活动可以在时间和空间上动态地构造,显示出规则的、同步的、突发的或混乱的活动模式。研究了非突触可塑性对循环神经网络默认动力学状态的影响。考虑的非突触自适应作用于内在神经参数,如阈值和增益,并由信息熵的优化驱动。我们观察到,在存在的内在适应过程中,三个不同的和全球吸引的动力学制度,定期同步,整体混乱和间歇性突发制度。间歇爆发制度的特点是定期流动的间隔,这是相当不敏感的外部刺激,interseeded由混沌爆发,敏感地响应输入信号。我们讨论这些发现的背景下,自组织信息处理和关键的大脑动力学。
2011-10-14 cond-mat.dis-nn nlin.AO nlin.CD
Probing the relationship between linear dynamical systems and low-rank recurrent neural network models
大量的工作表明,神经元群体在行为过程中表现出低维动力学。然而,有各种不同的方法来建模低维神经元群体活动。一种方法涉及潜在的线性动力系统(LDS)模型,其中人口活动是由低维的潜在变量与线性动力学的投影。第二种方法涉及低秩递归神经网络(RNN),其中种群活动直接来自过去活动的低维投影。虽然这两种建模方法有很强的相似性,但它们出现在不同的环境中,并且往往具有不同的应用领域。在这里,我们研究潜在LDS模型和线性低秩RNN之间的精确关系。什么时候可以将一个模型类转换为另一个模型类,反之亦然?我们证明了潜在LDS模型只能在特定的极限情况下转换为RNN,这是由于潜在LDS模型的非马尔可夫特性。相反,我们证明了线性RNN可以映射到LDS模型上,其潜在维度至多是RNN秩的两倍。
2021-10-19 q-bio.NC
The correlation structure of local cortical networks intrinsically results from recurrent dynamics
长期以来,神经元对在短时间间隔内的动作电位的共同出现是已知的。这样的同步事件可以出现时间锁定到动物的行为,并且理论上的考虑也主张同步的功能作用。早期的理论工作试图解释神经元由于共享输入而传递共同波动的相关活动。然而,这高估了相关性。最近,皮层网络的经常性连接被证明是观察到的低基线相关性的原因。有两种不同的解释:一种认为,兴奋性和抑制性群体活动密切关注网络的外部输入,因此它们对一对细胞的影响相互抵消。另一种解释依赖于负的经常性反馈来抑制种群活动的波动,相当于小的相关性。在生物神经元网络中,人们期望外部输入和重现两者都影响相关的活动。目前的工作扩展了相关性的理论框架,包括两个贡献,并解释了它们的质的差异。此外,研究表明,快速跟踪和经常性反馈的论点是不等价的,只有后者正确预测的细胞类型的具体相关性。
2013-09-13 q-bio.NC
Cell-type-specific synaptic motifs generate coupled mean-variability dynamics in recurrent neural networks
Center for Quantitative Biology, Academy for Advanced Interdisciplinary Studies, Peking University(北京大学前沿交叉学科研究院定量生物学中心);School of Physics, Peking University(北京大学物理学院);Center for Bioinformatics, National Laboratory of Protein Engineering and Plant Genetic Engineering, School of Life Sciences and Center for Quantitative Biology, Academy for Advanced Interdisciplinary Studies,Peking University(北京大学生命科学学院、前沿交叉学科研究院定量生物学中心及蛋白质工程与植物基因工程国家重点实验室生物信息中心);CNRS, LJAD and Institute NeuroMod, Université Côte d’Azur(法国蔚蓝海岸大学神经调节研究所、LJAD及法国国家科学研究中心)
通过构建包含多种细胞类型和非线性响应的随机循环神经网络,推导出多群体平均场方程,揭示链状基序如何整合微观波动影响介观群体动力学,并应用于小鼠初级视觉皮层的异质性活动逆向工程。
2026-08-28 cond-mat.dis-nn cs.NE q-bio.NC
Linear equivalence of nonlinear recurrent neural networks
Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University(哈佛大学生物与人工智能研究所)
研究非线性递归神经网络在随机耦合下的活动结构,通过双站点腔方法推导出协方差矩阵的线性等价假设,并通过模拟验证其神经科学意义。
2026-11-11 cond-mat.dis-nn q-bio.NC
Mean-field theory of rich oscillatory dynamics in low-rank recurrent networks with activity-dependent adaptation
Massachusetts Institute of Technology(麻省理工学院)
本研究通过动力平均场理论,揭示了低秩随机递归网络中适应强度驱动四种振荡状态(静态相干态、噪声维持振荡、随机切换和全局极限环)的机制,并阐明了混沌与Hopf分岔的相互作用。
2026-06-29 q-bio.NC
New hallmarks of criticality in recurrent neural networks
对大脑动力学和功能的严格理解需要在多个层次的组织之间建立一个概念上的桥梁,包括神经尖峰和网络级的群体活动。越来越多的证据表明,大脑皮层的神经网络处于临界状态。在这种网络状态附近操作如何影响神经元尖峰的可变性在很大程度上是未知的。在这里,我们表明,在一个计算模型中,两个普遍的功能,皮层单神经元活动,不规则尖峰和刺激发作时的反应变异性下降,都是紧急的特性,经常性的网络附近的临界操作。重要的是,我们的工作揭示了尖峰的不规则性与神经元的输入连接数量之间的关系,即,入度在临界时最大化。我们的研究结果建立了临界性作为一个统一的原则,为单神经元尖峰的变化和集体行为的循环回路在大脑皮层。
2016-10-08 q-bio.NC
Semantic learning in autonomously active recurrent neural networks
人脑是自主活动的,其特征在于即使在没有外部感觉刺激的情况下也会存在的自我维持的神经活动。在这里,我们研究自主活动的递归神经网络和外部感官刺激的自我维持的活动之间的相互关系。外部刺激的涌入与自主和持续的大脑动力学内部产生的模式之间没有先验的语义关系。那么问题就来了,内部和外部动态过程之间的语义相关性是何时以及如何习得和建立起来的?我们研究这个问题的瞬态动力学的范式内的神经活动在循环神经网络,即一个自治的神经活动的特点是由一个无限的时间序列的瞬态稳定的吸引子状态。我们建议,外部刺激将是相关的敏感期,{ \it即}过渡期之间的一个瞬态和随后的半稳定吸引子。每当刺激定性地影响内部动态时,无监督地生成扩散学习信号。为了测试,我们已经提出了相应的酒吧和条纹问题的模型系统的刺激。我们发现,该系统执行非线性独立分量分析本身,是连续和自主的活动。这种涌现的认知能力是由神经动力学的一个普遍原理--神经集合之间的竞争--产生的。
2009-03-11 q-bio.NC
Spatio-temporal Dynamics of Intrinsic Networks in Functional Magnetic Imaging Data Using Recurrent Neural Networks
我们介绍了一种新的递归神经网络(RNN)的方法来解释通过功能磁共振成像(fMRI)观察到的大脑网络的时间动态和依赖性。我们的方法直接参数化的时间动态通过经常性的连接,它可以用来制定盲声源分离的条件(而不是边际)的独立性假设,我们称之为RNN-ICA。这种提法使我们能够可视化的时间动态的一阶(活动)和二阶(定向连接)的信息在大脑网络中被广泛研究,在静态意义上,但没有很好地表征动态。RNN-ICA直接从任务和静息状态fMRI中的RNN的循环状态预测动态。我们的研究结果表明,任务相关的和组区分定向连接。
2018-08-27 cs.NE q-bio.NC
Recurrent Interactions in Spiking Networks with Arbitrary Topology
群体活动的随机网络的兴奋性和抑制性泄漏整合和火灾(LIF)神经元已被广泛研究。特别是,在稀疏连接的网络中,出现了一种具有低放电率和低成对相关性的异步活动状态。我们应用线性响应理论来评估详细的网络结构对神经元动力学的影响。事实证明,由直接和间接网络连接引起的成对相关性可以与直接线性相互作用矩阵相关。此外,我们研究了神经元模型的特性的影响。解释重置为自我抑制,我们研究其影响,通过单神经元活动的频谱,对网络的自相关函数和整体相关水平。神经元模型也影响相互作用核的形式,从而影响依赖于时间的相关函数。我们最终发现,一个线性不稳定的网络与Erdens-Rényi拓扑结构一致的全球过渡到一个高度相关的网络状态。我们的工作表明,经常性的相互作用有深刻的影响,脉冲序列统计,并提供了工具,研究特定的网络拓扑结构的影响。
2012-03-22 q-bio.NC
Category decoding of visual stimuli from human brain activity using a bidirectional recurrent neural network to simulate bidirectional information flows in human visual cortices
近年来,随着深度网络计算的快速发展,基于功能磁共振成像(fMRI)的视觉编码和解码已经取得了许多成果。尽管深度网络和人类视觉的分层表示相似,但视觉信息分别基于自下而上和自上而下的方式从初级视觉皮层流向高级视觉皮层,反之亦然。受双向信息流的启发,我们提出了一种基于双向循环神经网络(BRNN)的方法来解码fMRI数据中的类别。BRNN模块的前向和后向分别采用自底向上和自顶向下的方式。该方法将每个视觉皮层区域(V1、V2、V3、V4和LO)的选定体素作为输入BRNN模块的序列中的一个节点,并结合BRNN模块的输出与后续的全连接层解码类别。这种新的方法可以有效地利用人类视觉皮层中的分层信息表示和双向信息流。实验结果表明,该方法提高了三层类别解码的准确率,隐含地验证了人类视觉表征的层次性和双向性。比较分析表明,人类视觉皮层的类别表征具有层次性、分布性、互补性和相关性。
2019-03-19 q-bio.NC
Optimizing working memory with heterogeneity of recurrent cortical excitation
参数工作记忆的神经相关性是神经元放电率的刺激特异性升高,其在刺激去除后持续很长时间。具有局部兴奋和广泛抑制的网络模型支持持久的神经活动,将网络结构和参数化工作记忆联系起来。皮层神经元接收噪声输入波动,这导致持续的活动在网络中扩散,随着时间的推移降低记忆。我们探讨了支持参数化工作记忆的皮层结构如何影响持久性神经活动的扩散。通过研究尖峰网络和简化的势阱模型,我们发现空间异质性兴奋性耦合稳定了离散数量的持续状态,减少了持续活动在网络上的扩散。然而,异质耦合也粗粒刺激表征空间,限制了参数工作记忆的容量。由于粗粒化和扩散的折衷,使初始和回忆的刺激之间的信息传递是优化在一个固定的网络异质性的存储错误。对于足够长的延迟时间,吸引子的最佳数量小于可能的刺激的数量,这表明记忆网络可以低估刺激空间以优化性能。我们的研究结果清楚地表明了网络结构和随机波动对参数记忆存储的影响。
2013-10-14 q-bio.NC
Instability to a heterogeneous oscillatory state in randomly connected recurrent networks with delayed interactions
振荡动力学在生物网络中普遍存在。在低维系统中,振荡的可能来源已经被很好地理解,但在高维网络中还没有被充分探索。在这里,我们研究随机耦合速率单元组成的大型网络。我们确定了一种新的类型的分歧,其中的线性稳定矩阵的特征值谱的连续部分在非零频率的不稳定线交叉。当相互作用被延迟和部分反对称时,会发生这种分叉,并导致一种非均匀的振荡状态,在这种状态下,振荡在单个单元的活动中是明显的,但不是在总体平均水平上。
2016-09-12 cond-mat.dis-nn q-bio.NC
A Step Towards Uncovering The Structure of Multistable Neural Networks
我们研究了递归神经网络内的连通性如何决定和决定于网络活动的多稳态解。为了获得分析的易处理性,我们让神经激活是一个非光滑的海维赛德阶跃函数。这种非线性将相空间划分为具有不同但线性动力学的区域。在每个区域中,要么存在稳定的平衡状态,要么网络活动流向区域外。稳态通过它们对突触权重矩阵的半正性约束来识别。这些限制可以通过它们对符号或连接强度的影响来区分。推导并证明了网络拓扑、符号稳定性、权矩阵分解、模式完备性和模式耦合性的精确结果。我们的工作可能为更复杂的递归神经网络的多稳定性奠定基础。
2023-03-07 cond-mat.dis-nn cs.NE math.DS
Representation learning for neural population activity with Neural Data Transformers
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
针对循环神经网络建模神经群体动力学需顺序处理、速度慢的问题,提出非循环的Neural Data Transformer,建模效果媲美顶尖循环模型,推理速度快6倍以上,证明无需显式动力学模型也可建模神经群体自治动力学。
2021-08-02 cs.LG q-bio.NC
Reconstruction of recurrent synaptic connectivity of thousands of neurons from simulated spiking activity
神经元网络的动力学和功能是由它们的突触连接决定的。然而,目前的实验方法来分析突触网络结构的细胞水平上,只覆盖一小部分的功能神经元回路,通常没有同时记录的神经元尖峰活动。在这里,我们提出了一种方法,从数以千计的并行脉冲序列记录的大型递归神经元网络的重建。我们采用最大似然估计的广义线性模型的尖峰活动在连续时间。对于该模型,点过程似然是凹的,使得可以通过梯度上升获得参数的全局最优。以前的方法,包括那些相同的类,不允许经常性网络的数量级被重建,由于高昂的计算成本和数值不稳定性。我们描述了一个最小的模型,是优化的大型网络和通用计算集群上的并行化数值优化的一个有效的计划。对于1000个神经元的模拟平衡随机网络,在理想条件下,突触连接恢复的误分类错误率小于1%。我们表明,错误率仍然很低,在一系列的例子情况下,逐步不太理想的条件下。最后,我们成功地重建了一个隐藏的synfire链,嵌入在一个随机的网络,这需要聚类的网络连接,以揭示synfire组的连接。我们的研究结果表明,如何突触连接可能被推断出大规模的并行脉冲序列记录。
2015-06-07 q-bio.NC q-bio.QM stat.ML
Interpretation of Correlated Neural Variability from Models of Feed-Forward and Recurrent Circuits
神经元群体对感觉刺激的重复呈现的响应的相关变化是普遍观察到的现象。这种相关性已被研究得非常详细,无论是在其机械的起源和他们的影响,刺激歧视和人口的表现代码。特别地,递归神经网络模型已被用于理解神经活动中相关性的起源(或缺乏)。在这里,我们应用一个模型的递归连接的随机神经元来解释相关性,发现在一个人口的神经元记录从小鼠听觉皮层。我们研究了相关性的刺激依赖性上的经常性连接的后果,并将其与相关性变化的替代来源(如相关增益波动和前馈架构中的共同输入)进行比较。我们发现,具有随机有效连接的递归网络模型以自然的方式再现了观察到的统计数据,例如数据中噪声和信号相关性之间的关系。在该模型中,我们可以直接分析网络参数之间的关系,相关性,以及如何根据人口活动来区分刺激对。这样,我们就可以把电路参数与信息处理联系起来。
2017-02-06 q-bio.NC
Conformal Isometry of Lie Group Representation in Recurrent Network of Grid Cells
UCLA(加州大学洛杉矶分校);Google Research(谷歌研究院);UT Southwestern Medical Center(德克萨斯大学西南医学中心);UT Austin(德克萨斯大学奥斯汀分校)
哺乳动物大脑内侧内嗅皮层(MEC)中网格细胞群的活动形成了动物自我位置的矢量表示。已经提出了递归神经网络,通过基于动物的速度输入更新神经活动向量来解释网格细胞的属性。在这样做时,网格单元系统有效地执行路径集成。在本文中,我们调查的代数,几何和拓扑性质的网格细胞使用经常性的网络模型。在代数上,我们研究了李群和李代数的递归变换作为自运动的表示。几何上,我们研究李群表示的共形等距,其中神经空间中的活动向量的局部位移与2D物理空间中的代理的局部位移成比例。拓扑上,紧交换李群表示自动导致环面拓扑通常假设和观察神经科学。然后,我们专注于一个简单的非线性经常性模型的基础上的连续吸引神经网络的网格细胞。我们的数值实验表明,共形等距导致六边形周期图案的网格单元的响应和我们的模型是能够准确的路径积分。代码可在\url{https://github.com/DehongXu/grid-cell-rnn}上获得。
2022-11-07 cs.LG q-bio.NC stat.ML
Simultaneous embedding of multiple attractor manifolds in a recurrent neural network using constrained gradient optimization
本文提出通过约束梯度优化调整突触权重,以最小化能量景观粗糙度损失函数,从而在单个RNN中同时嵌入多个连续吸引子流形时显著抑制有害干扰并提升状态稳定性,且不牺牲存储容量。
2023-10-28 cond-mat.dis-nn q-bio.NC
Complexity without chaos: Plasticity within random recurrent networks generates robust timing and motor control
人们普遍认为,循环神经回路的复杂动力学特性对大脑功能有着根本性的贡献。由于两个主要原因,在理解和利用递归动力学的计算能力方面进展缓慢:非线性递归网络通常表现出混沌行为,并且大多数已知的学习规则在递归网络中不能以鲁棒的方式工作。在这里,我们通过演示如何通过监督学习规则调整最初表现出混沌动力学的随机递归网络(RRN)来解决这两个问题,以生成局部稳定的神经活动模式,这些模式既复杂又对噪声具有鲁棒性。其结果是一种新的神经网络制度,表现出瞬态稳定和混沌轨迹。我们进一步表明,经常性的学习规则显着增加的能力RRN产生复杂的时空运动模式,并占最近的实验数据显示,减少神经变异性刺激发作。
2012-10-07 cond-mat.dis-nn nlin.CD q-bio.NC
Oscillatory dynamics in complex recurrent neural networks
针对大脑静息态多频段自发振荡的产生机制尚不明确的问题,本研究证明中心兴奋-周边抑制循环神经网络的复值输入等价于实值循环与前馈网络组合,可产生振荡特征,并通过仿真验证了猜想。
2021-08-10 q-bio.NC q-bio.QM
Locking of correlated neural activity to ongoing oscillations
在皮层活动的介观信号中普遍观察到群体范围的振荡。在这些网络状态中,全局振荡周期调节神经元的放电倾向。神经元的同步激活被假设为大脑中信号处理信息的单独通道。因此,一个突出的问题是,振荡是否以及如何与尖峰同步相互作用,以及这些通道在多大程度上可以被认为是分开的。实验确实表明,相关尖峰与静态放电率共同调制,并且也紧紧锁定在β振荡的相位上。虽然在前馈网络中相关性对平均速率的依赖性是很好理解的,但仍然不清楚相关性为什么以及通过什么机制紧密锁定到振荡周期。我们在这里证明,这种相关的激活对神经元定性地解释了随机驱动的随机网络。我们确定的协方差依赖于驱动周期性刺激的机制。平均场理论结合线性响应理论给出了二元递归随机网络的循环平稳平均活动和两两零时滞协方差的封闭表达式。两种不同的机制导致时变协方差:单个神经元敏感性的调制(通过外部输入和网络反馈)和单个单元活动的时变方差。对于某些参数,有效抑制的经常性反馈导致共振协方差,即使平均活动显示非共振行为。我们的分析结果开放的问题,时间调制的同步活动的定量分析。
2017-07-03 cond-mat.dis-nn q-bio.NC
Contrasting the effects of adaptation and synaptic filtering on the timescales of dynamics in recurrent networks
神经活动表现出的时间尺度范围很广,可以比单个神经元的膜时间常数大几倍。人们提出了两种机制来解释这一难题。一种可能性是,大的时间尺度是由基于正反馈的网络机制产生的,但这一假设需要对突触连接进行微调。第二种可能性是神经动力学中的大时间尺度是从潜在的生物物理过程的大时间尺度继承的,两个突出的候选者是自适应离子电流和突触传递。然而,这些过程的时间尺度如何影响网络动态的时间尺度还没有得到充分的探讨。为了解决这个问题,我们分析了随机连接的兴奋性和抑制性单位与额外的自由度,对应于适应或突触过滤的大型网络。我们确定了系统的不动点,它们对扰动的稳定性和相应的动力学时标。此外,我们应用动力学平均场理论来研究波动状态下的活动的时间统计,并研究适应和突触时标如何从单个单元转移到整个群体。我们的总体发现是,单个神经元中的突触过滤和适应在网络水平上具有非常不同的效果。出乎意料的是,宏观网络动力学并没有继承自适应电流中存在的大时间尺度。相反,网络活动的时间尺度与突触过滤器的时间常数成比例地增加。总而言之,我们的研究表明,不同的生物物理过程的时间尺度对网络水平有不同的影响,因此单个神经元内的缓慢过程不一定会导致大型递归神经网络的缓慢活动。
2019-03-25 q-bio.NC
Balanced networks of spiking neurons with spatially dependent recurrent connections
具有平衡的循环兴奋和抑制的模型神经元网络产生不规则和异步的尖峰活动。我们扩展了平衡网络的分析,包括已知的连接概率对神经元之间的空间分离的依赖性。在连续极限,我们得出稳定的,平衡的放电率的解决方案需要外部输入的空间分布比经常性的兴奋,这反过来又必须比或等于经常性的抑制更广泛。对于有限大小的网络,我们调查的模式形成动力学时产生的平衡条件不满足。平衡网络的时空动力学对复杂系统的统计力学提出了新的挑战。
2013-11-15 q-bio.NC
Aligned and oblique dynamics in recurrent neural networks
本文利用循环神经网络从几何角度揭示训练可产生对齐与斜交两种动力学机制,并证明斜交机制由循环网络的动力学稳定性决定,具有更强的噪声抑制和扰动鲁棒性,为解释神经活动提供了新视角。
2024-08-02 q-bio.NC
Sufficient conditions for offline reactivation in recurrent neural networks
Mila – Quebec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能 chair);CIFAR Learning in Machines & Brains(CIFAR机器与大脑学习)
本研究提出数学框架,证明噪声循环网络在任务优化下自然产生去噪动力学,从而在无输入时重激活在线状态,并通过两个神经科学任务验证。
2025-05-22 cs.LG cs.NE q-bio.NC
Input correlations impede suppression of chaos and learning in balanced rate networks
Zuckerman Mind, Brain, Behavior Institute, Columbia University(哥伦比亚大学祖克曼心智、大脑与行为研究所);The Abdus Salam International Centre for Theoretical Physics(阿卜杜勒·萨拉姆国际理论物理中心);Institute of Genetics, University of Bonn(波恩大学遗传学研究所)
神经回路表现出复杂的活动模式,既有自发的,也有由外部刺激引起的。神经回路中的信息编码和学习取决于时变刺激对自发网络活动的控制程度。我们表明,在平衡状态下的发射率网络,外部控制的经常性动态,即,内部产生的混沌可变性的抑制强烈地依赖于输入中的相关性。平衡网络的一个独特之处在于,由于共同的外部输入被递归反馈动态地抵消,因此,通过每个神经元的独立输入比通过共同输入更容易抑制混沌。为了研究这一现象,我们开发了一个非平稳动态平均场理论,确定如何活动统计和最大李雅普诺夫指数依赖于频率和振幅的输入,经常性耦合强度,和网络的大小,共同和独立的输入。我们还表明,不相关的输入有利于学习平衡网络。
2022-01-24 cond-mat.dis-nn cs.LG nlin.CD
Chaos-guided Input Structuring for Improved Learning in Recurrent Neural Networks
解剖学研究表明,大脑会重新格式化输入信息,以产生可靠的响应来执行计算。然而,目前还不清楚神经回路如何编码复杂的时空模式。我们发现,神经动力学的强烈影响的相位之间的对齐的输入和自发的混沌活动。沿主导混沌投影的输入结构导致混沌轨迹成为稳定通道(或吸引子),从而提高递归网络的计算能力。使用平均场分析,我们得到的影响,输入结构的整体稳定性的吸引子形成。我们的研究结果表明,输入对齐决定了内在噪声抑制的程度,因此,改变吸引子状态的稳定性,从而控制网络的推理能力。
2018-02-18 cs.NE physics.bio-ph q-bio.NC
Training recurrent neural networks with sparse, delayed rewards for flexible decision tasks
混沌状态下的循环神经网络表现出复杂的动力学,让人想起行为任务期间的高水平皮层活动。然而,这种网络的现有训练方法要么在生物学上是不可信的,要么需要实时连续的误差信号来指导学习过程。这与大多数行为任务相反,行为任务只提供时间稀疏,延迟的奖励。在这里,我们表明,一个生物合理的奖励调制的赫布学习算法,以前用于前馈模型的鸟鸣学习,可以训练经常性的网络仅基于延迟,相位奖励信号在每次试验结束。该方法不需要专门的反馈或读出网络:整个网络的连通性是学习的,网络输出是从一个任意选择的网络单元读取的。我们使用这种方法成功地训练一个网络上的延迟不匹配样本任务(这需要记忆,灵活的协会,和非线性混合选择性)。使用解码技术,我们表明,由此产生的网络表现出动态编码的任务相关的信息,与神经编码的各种任务功能波动很大的过程中的审判。此外,网络活动在响应时间内从刺激特定的表征转移到响应特定的表征,这与行为动物在类似任务中的神经记录一致。我们的结论是,循环神经网络,奖励调制的赫布学习训练,提供了一个合理的模型,在学习和灵活的协会性能的皮质动力学。
2015-12-08 q-bio.NC
Phase codes emerge in recurrent neural networks optimized for modular arithmetic
Princeton Neuroscience Institute(普林斯顿神经科学研究所);Princeton University(普林斯顿大学)
研究发现,在无振荡偏置的条件下,RNNs可通过任务优化自然产生相位码解,并揭示了RNNs在模运算任务中存在多种不同动态机制的解。
2025-11-30 cs.AI cs.NE q-bio.NC
Bio-Inspired, Task-Free Continual Learning through Activity Regularization
Institute of Neuroinformatics, University of Zürich and ETH Zürich(苏黎世大学与苏黎世联邦理工学院神经信息学研究所);AI Center, ETH Zürich(苏黎世联邦理工学院人工智能中心)
连续学习多个任务而不忘记的能力是生物大脑的一项关键技能,而它代表了深度学习领域的一个重大挑战。为了避免灾难性遗忘,已经设计了各种持续学习(CL)方法。然而,这些通常需要离散的任务边界。这一要求在生物学上似乎是不可信的,并且经常限制CL方法在现实世界中的应用,因为现实世界中的任务并不总是很好地定义的。在这里,我们从神经科学中获得灵感,稀疏的,非重叠的神经元表征被认为可以防止灾难性遗忘。在大脑中,我们认为,这些稀疏表示应该选择前馈(刺激特定)以及自上而下(上下文特定)的信息的基础上。为了实现这样的选择性稀疏,我们使用一种生物合理的形式的分层信用分配称为深度反馈控制(DFC),并将其与赢家通吃稀疏机制。除了稀疏性之外,我们还在每一层中引入了横向递归连接,以进一步保护先前学习的表示。我们在分裂MNIST计算机视觉基准测试上评估了新的稀疏递归版本的DFC,并表明只有稀疏性和层内递归连接的组合才能提高CL相对于标准反向传播的性能。我们的方法实现了类似的性能,众所周知的CL方法,如弹性权重合并和突触智能,而不需要有关任务边界的信息。总的来说,我们展示了采用大脑的计算原理来获得新的,无任务的学习算法CL的想法。
2022-12-08 cs.CV cs.NE q-bio.NC
Slow Transition to Low-Dimensional Chaos in Heavy-Tailed Recurrent Neural Networks
Allen Institute(艾伦研究所);Princeton University(普林斯顿大学)
该研究针对重尾突触权重的循环神经网络,通过有限尺寸分析发现其混沌转变更缓慢但吸引子维数更低,揭示了混沌边缘鲁棒性与神经活动丰富度的生物学权衡,并提供了有限尺寸重尾神经回路动力学的分析框架。
2025-10-24 cs.NE physics.bio-ph q-bio.NC
ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks
University of Bern(伯尔尼大学);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Catlab Engineering GmbH(Catlab工程有限公司)
ELiSe利用皮层网络支架和树突区室,通过局部无相位突触可塑性高效学习复杂序列,在鸟类鸣唱模拟中展现灵活性和鲁棒性。
2026-09-29 cs.AI cs.NE q-bio.NC
Emergence of functional and structural properties of the head direction system by optimization of recurrent neural networks
Columbia University(哥伦比亚大学)
最近的研究表明,目标驱动的神经网络训练可以用来模拟大脑中的神经活动。虽然人工神经网络中的神经元的响应特性与大脑中的神经元的响应特性具有相似性,但网络架构通常被限制为不同。在这里,我们问一个神经网络是否可以恢复神经表征,如果架构是无约束和优化的,神经回路的解剖特性。我们证明了这一点,在一个系统中的连接和功能组织的特点,即头部方向电路的啮齿动物和果蝇。我们训练循环神经网络(RNN)通过角速度的积分来估计头部方向。我们发现,在头部方向系统中观察到的两类不同的神经元,罗盘神经元和移位神经元,在人工神经网络中自然出现,作为训练的结果。此外,连接分析和计算机神经生理学揭示了人工网络和头部方向系统之间的结构和机制相似性。总的来说,我们的研究结果表明,在目标驱动的任务中优化RNN可以概括生物回路的结构和功能,这表明人工神经网络可以用于在神经活动和解剖组织水平上研究大脑。
2020-05-17 cs.LG cs.NE q-bio.NC
Nonlinear analysis of EEG complexity in episode and remission phase of recurrent depression
长期以来,人们一直在寻找重度抑郁症(MDD)、其阶段和形式的生物标志物。研究表明,皮层电活动(EEG)的复杂性措施可能是这个角色的候选人。目的:研究Higuchi分形维数(HFD)和样本熵(SampEn)测量的脑电活动复杂性在健康受试者、抑郁症缓解期和发作期患者之间是否存在差异,以及这些变化在大脑半球和皮层区域之间是否存在差异。本文记录了26例复发性抑郁症患者和20例年龄、性别相匹配的健康对照者的闭眼静息状态脑电图。通过运行HFD和SampEn算法的内部开发程序分析无伪影EEG时期。与健康受试者相比,抑郁患者具有更高的HFD和SampEn复杂性。令人惊讶的是,缓解期患者的复杂性甚至高于发作期患者。与对照组相比,额叶和中央顶叶区域的复杂性有所改变。抑郁症的两个阶段的额叶和顶叶区域的复杂性不同。SampEn在某些皮层区域表现出比HFD更高的灵敏度。EEG的复杂性测量区分三组。需要进一步的研究来确定这些措施是否有可能帮助临床上做出与抑郁症相关的决定。
2018-11-11 q-bio.NC
Data-Driven Reduced Modeling of Recurrent Neural Networks
ETH Zurich(苏黎世联邦理工学院);Institute for Mechanical Systems, ETH Zurich(苏黎世联邦理工学院机械系统研究所);University of Zurich(苏黎世大学);Institute of Neuroinformatics, University of Zurich & ETH Zurich(苏黎世大学与苏黎世联邦理工学院神经信息学研究所);Neuroscience Center Zurich, University of Zurich & ETH Zurich(苏黎世大学与苏黎世联邦理工学院苏黎世神经科学中心)
本研究利用数据驱动方法识别循环神经网络中的谱子流形,实现降阶建模,并精确定义线和环吸引子,以解释决策和工作记忆的神经计算机制。
2025-10-15 math.DS q-bio.NC
Recurrent network dynamics explain the time course of perceptual grouping in natural scenes
Netherlands Institute for Neuroscience(荷兰神经科学研究所);Brown University(布朗大学);Carney Institute for Brain Science, Brown University(布朗大学卡尼脑科学研究所);Centrum Wiskunde & Informatica(数学与计算机科学中心);University of Amsterdam(阿姆斯特丹大学);Sorbonne Université(索邦大学);Institut National de la Santé et de la Recherche Médicale(国家健康与医学研究院);Centre National de la Recherche Scientifique(法国国家科学研究中心);Institut de la Vision(视觉研究所);VU University(自由大学);Academic University Medical Center(学术医学中心)
本文提出一个受大脑启发的循环神经网络框架,通过局部边界信号和自上而下反馈解释自然场景中的知觉分组,其动力学预测了人类反应时间,连接了皮层动力学与人类视觉。
2026-10-06 q-bio.NC
Prospective Coding and Path Integration Emerge as Equilibrium Solutions of Self-Organizing Neural Networks with Firing-Rate Adaptation
Universidad de Buenos Aires, Facultad de Ciencias Exactas y Naturales(布宜诺斯艾利斯大学,理学院);Leloir Institute—IIBBA/CONICET(莱洛尔研究所—IIBBA/CONICET)
本文提出理论框架,揭示连续吸引子连接及其计算特性如何通过赫布可塑性、发放率适应和全局抑制自组织产生,并展示前瞻动态和路径整合作为网络自然涌现的属性。
2026-10-30 cond-mat.dis-nn nlin.AO q-bio.NC
Recurrent Network Models Of Sequence Generation And Memory
神经元的顺序激活是包括工作记忆和决策在内的各种行为过程中网络活动的共同特征。以前的序列和记忆网络模型强调专门的架构,其中一个原则性的机制是预先连接到它们的连接。在这里,我们证明,从随机连接和修改一小部分的连接,一个很大程度上无序的递归网络可以产生序列和有效地实现工作记忆。我们使用这个过程,称为部分网络内训练(PINning),在虚拟记忆引导的二选一强迫选择任务期间,对来自后顶叶皮层的细胞分辨率成像数据进行建模和匹配。对连接性的分析表明,序列通过经常性突触相互作用和外部输入之间的合作而传播,而不是通过前馈或不对称连接。总之,我们的研究结果表明,神经序列可能是通过从大部分非结构化的网络架构中学习而产生的。
2016-03-14 cond-mat.dis-nn physics.bio-ph q-bio.NC
On the dynamics of convolutional recurrent neural networks near their critical point
Rockefeller University(洛克菲勒大学);University of Oxford(牛津大学)
本文解析研究了临界点附近单层卷积循环网络的动力学,揭示输出经压缩非线性依赖输入、弛豫时间与传播长度呈幂律发散,并给出稳态解及背景值对衰减和传播的影响。
2024-05-22 cond-mat.stat-mech cs.LG q-bio.NC
Kinetic energy in random recurrent neural networks
Sun Yat-sen University(中山大学);Guangdong Provincial Key Laboratory of Magnetoelectric Physics and Devices, Sun Yat-sen University(中山大学磁电物理与器件广东省重点实验室)
本文通过动态平均场理论和数值模拟,研究随机递归神经网络中动能从零到正值的连续转变及其在混沌临界点附近的立方标度行为,并揭示混沌动力学与不稳定不动点的几何关系。
2026-06-02 cond-mat.stat-mech nlin.CD q-bio.NC
Decorrelation by recurrent inhibition in heterogeneous neural circuits
神经元的活动是相关的,这种相关性影响大脑处理信息的方式。我们通过分析一个具有强烈异质相互作用的网络模型来研究相关性的神经回路机制:兴奋性输入驱动神经活动的波动,抑制性反馈抵消了这种波动。特别是,兴奋性输入倾向于关联神经元,而抑制性反馈减少相关性。我们证明,异质性的突触连接是必要的这种抑制的相关性。我们计算统计平均无序的突触相互作用,我们将我们的研究结果应用到一个简单的线性模型和一个更现实的尖峰网络模型。我们发现,在零时滞时,相关性是正的,并且大小为K^{-1/2},其中K是与神经元的连接数。在较长的时间尺度上,相关性的量级较小,为K^{-1}阶,这意味着相关性的抑制发生得很快,在K^{-1/2}的时间尺度上。小幅度的相关性同意定性与大脑皮层和基底神经节的生理测量。该模型可用于研究由复发性抑制主导的大脑区域的相关性,例如纹状体和苍白球。
2012-11-30 math-ph math.MP q-bio.NC
Intrinsically-generated fluctuating activity in excitatory-inhibitory networks
非线性单元的递归网络根据其突触连接的结构显示出各种动态机制。一个特别值得注意的现象是,在确定性但随机连接的速率单元网络中出现了强烈波动的混沌活动。这种内在产生的波动如何出现在更现实的尖峰神经元网络中,一直是一个长期存在的问题。为了简化速率网络和尖峰网络之间的比较,最近的工作研究了随机连接的速率网络的动力学机制,该网络具有分离的兴奋性和抑制性种群,并且放电率被限制为正。这些工作导出了描述波动动力学的一般动力学平均场(DMF)方程,但仅在纯抑制网络的情况下求解这些方程。使用一个简化的兴奋-抑制架构,其中DMF方程更容易处理,在这里,我们表明,激励的存在定性修改波动的活动相比,纯粹的抑制网络。在激励的存在下,内在产生的波动引起的平均放电率的强烈增加,这是一种在纯抑制网络中弱得多的现象。此外,兴奋诱导两种不同的波动制度:对于中度的整体耦合,经常性抑制足以稳定波动,强耦合,发射率稳定仅由上限施加的活动,即使抑制比兴奋。这些结果扩展到更一般的网络架构,并对接收模仿尖峰活动的噪声输入的网络进行评级。最后,我们表明,签名的第二个动力学制度出现在网络的集成和消防神经元。
2017-05-09 q-bio.NC
Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data
University Clinic Tübingen(图宾根大学医院);International Max Planck Research School for Intelligent Systems(国际马克斯·普朗克智能系统研究学院)
递归神经网络(RNN)是大脑功能的流行模型。典型的训练策略是调整它们的输入-输出行为,使其与感兴趣的生物回路相匹配。尽管这种策略确保了生物和人工网络执行相同的计算任务,但它并不能保证它们的内部活动动态匹配。这表明,经过训练的RNN最终可能会使用不同的内部计算机制来执行任务,这将使它们成为生物回路的次优模型。在这项工作中,我们引入了一种新的训练策略,该策略不仅允许学习RNN的输入输出行为,还允许学习其内部网络动态,基于稀疏神经记录。我们通过训练RNN来测试所提出的方法,以同时再现生理启发神经模型的内部动态和输出信号。具体地说,该模型产生的多相肌肉样活动模式,通常在执行达到运动的基础上,同时观察到的运动皮层中的振荡激活模式。值得注意的是,我们表明,即使在训练算法依赖于从生物网络中采样的一小部分神经元的活动时,内部动态的再现也是成功的。此外,我们还证明了用这种方法训练RNN可以显着提高其泛化性能。总的来说,我们的研究结果表明,所提出的方法适用于构建功能强大的RNN模型,该模型可以从稀疏的神经记录中自动捕获感兴趣的生物回路的重要计算特性。
2020-05-05 cs.LG cs.NE q-bio.NC