Recurrent Network Models Of Sequence Generation And Memory
神经元的顺序激活是包括工作记忆和决策在内的各种行为过程中网络活动的共同特征。以前的序列和记忆网络模型强调专门的架构，其中一个原则性的机制是预先连接到它们的连接。在这里，我们证明，从随机连接和修改一小部分的连接，一个很大程度上无序的递归网络可以产生序列和有效地实现工作记忆。我们使用这个过程，称为部分网络内训练（PINning），在虚拟记忆引导的二选一强迫选择任务期间，对来自后顶叶皮层的细胞分辨率成像数据进行建模和匹配。对连接性的分析表明，序列通过经常性突触相互作用和外部输入之间的合作而传播，而不是通过前馈或不对称连接。总之，我们的研究结果表明，神经序列可能是通过从大部分非结构化的网络架构中学习而产生的。
2016-03-14 cond-mat.dis-nn physics.bio-ph q-bio.NC
Shaping manifolds in equivariant recurrent neural networks
Laboratoire de Neurosciences Cognitives et Computationnelles, INSERM U960, École Normale Supérieure - PSL Research University（认知与计算神经科学实验室，INSERM U960，巴黎高等师范学院-PSL研究大学）；SISSA - Theoretical and Scientific Data Science（的里雅斯特国际高等研究院-理论与科学数据科学）
本文针对循环网络连接性与吸引子几何形状关系的一般原则缺失问题，利用群表示理论形式化两者关系，推广经典环模型至等变RNN并简化为低秩模型，揭示参数依赖的流形共存与稳定性规律。
2025-11-13 q-bio.NC
Recurrent neural network models for working memory of continuous variables: activity manifolds, connectivity patterns, and dynamic codes
许多日常活动和心理物理学实验都涉及在工作记忆中保存多个项目。当项取连续值时（例如，方向、对比度、长度、响度），它们必须存储在适当尺寸的连续结构中。我们通过训练循环网络来报告两个先前显示的刺激方向，研究这种结构如何在神经回路中表示。我们发现这两个方向的活动流形类似于Clifford环面。虽然克利福德和标准环面（圆环面的表面）在拓扑上是等价的，但它们在功能上有重要的区别。克利福德环面平等地对待这两个方向，并将它们保持在正交的子空间中，这是任务所要求的，而标准环面则不是。我们发现和表征的连接模式，支持克利福德环面。此外，除了通过持续活动存储信息的吸引子之外，我们的网络还使用动态代码，其中单元改变其调谐以防止新的感官输入干扰先前存储的输入。我们认为，这样的动态代码通常需要多个输入通过共享连接进入一个内存系统。最后，我们将我们的框架应用到人类心理物理学实验中，受试者报告了两个记住的方向。通过改变RNN的训练条件，我们测试并支持这样一个假设，即人类行为是神经噪声和依赖于两个方向之间的顺序关系的更稳定和行为相关的记忆的产物。这表明RNN中合适的归纳偏差对于揭示人类大脑如何实现工作记忆非常重要。总之，这些结果提供了对一类视觉解码任务背后的神经计算的理解，将人类行为的尺度与突触连接联系起来。
2021-12-18 cs.NE q-bio.NC q-bio.QM
Reconstruction of recurrent synaptic connectivity of thousands of neurons from simulated spiking activity
神经元网络的动力学和功能是由它们的突触连接决定的。然而，目前的实验方法来分析突触网络结构的细胞水平上，只覆盖一小部分的功能神经元回路，通常没有同时记录的神经元尖峰活动。在这里，我们提出了一种方法，从数以千计的并行脉冲序列记录的大型递归神经元网络的重建。我们采用最大似然估计的广义线性模型的尖峰活动在连续时间。对于该模型，点过程似然是凹的，使得可以通过梯度上升获得参数的全局最优。以前的方法，包括那些相同的类，不允许经常性网络的数量级被重建，由于高昂的计算成本和数值不稳定性。我们描述了一个最小的模型，是优化的大型网络和通用计算集群上的并行化数值优化的一个有效的计划。对于1000个神经元的模拟平衡随机网络，在理想条件下，突触连接恢复的误分类错误率小于1%。我们表明，错误率仍然很低，在一系列的例子情况下，逐步不太理想的条件下。最后，我们成功地重建了一个隐藏的synfire链，嵌入在一个随机的网络，这需要聚类的网络连接，以揭示synfire组的连接。我们的研究结果表明，如何突触连接可能被推断出大规模的并行脉冲序列记录。
2015-06-07 q-bio.NC q-bio.QM stat.ML
Macroscopic Fluctuations Emerge in Balanced Networks with Incomplete Recurrent Alignment
具有随机连接的强耦合神经元网络表现出混沌的异步波动。在以前的工作中，我们表明，当赋予一个额外的低秩连接组成的正交向量的外积，这些网络产生大规模的相干波动。虽然这是一个惊人的现象，但其结果取决于对低秩结构的微调选择。在这里，我们通过将兴奋-抑制平衡理论推广到具有任意低秩结构的网络来扩展这项工作，并表明低维可变性本质上是通过我们所谓的不完全经常性对齐来出现的。我们说，一个低秩连接结构表现出不完全对齐，如果它的行空间不包含在它的列空间。在不完全对齐的情况下，递归连通性可以分解为子空间递归分量和有效前馈分量。我们发现，高维，微观波动传播通过有效的前馈组件到一个低维子空间，在那里他们是动态平衡的宏观波动。我们从生物学上提出了合理的例子，从兴奋抑制网络和网络的异质度分布。最后，我们定义的对齐矩阵之间的重叠左，右奇异向量的结构化连接，并表明，对齐矩阵的奇异值决定的宏观变化的幅度，而其奇异向量决定的结构。我们的工作表明，宏观波动可以出现在一般的强耦合网络与低秩结构。此外，通过将兴奋-抑制平衡推广到任意的低秩结构，我们的工作可以在任何具有强相互作用单元的环境中找到相关性，无论是在生物网络、社会网络还是技术网络中。
2021-03-11 nlin.CD q-bio.NC
Dynamics of random recurrent networks with correlated low-rank structure
大脑中给定的神经网络涉及许多不同的任务。这意味着，当考虑特定任务时，网络的连通性包含与任务相关的组件和可以被认为是随机的另一个组件。理解结构化和随机成分之间的相互作用，以及它们对网络动态和功能的影响是一个重要的开放问题。最近的研究解决了随机和结构化连接的共存，但认为这两个部分是不相关的。这种约束限制了动态性，并使随机连接不起作用。训练网络以执行特定任务的算法通常会生成结构和随机连通性之间的相关性。在这里，我们研究具有相关结构和随机分量的非线性网络，假设结构具有低秩。我们开发了一个分析框架，以建立精确的效果的相关性的特征值谱的联合连接。我们发现，频谱由大量和多个离群点，其位置是由我们的理论预测。利用平均场理论，我们表明，这些离群值直接决定了系统的不动点和它们的稳定性。总之，我们的分析阐明了相关性如何允许结构化和随机连接，以协同扩展网络可用的计算范围。
2019-12-23 q-bio.NC
Associative properties of structural plasticity based on firing rate homeostasis in recurrent neuronal networks
基于相关性的赫布可塑性被认为在发育和学习过程中塑造神经元的连接，而稳态可塑性将稳定网络活动。在这里，我们调查另一个，新的方面，这种二分法：赫布的关联属性也出现作为一个网络效应的可塑性规则的基础上，在神经元水平上的稳态原则？为了解决这个问题，我们模拟了一个经常性的网络泄漏集成和消防神经元，其中兴奋性连接受到结构可塑性规则的基础上放电率稳态。我们发现，一个亚组的神经元发展更强的组内连接的结果，接受更强的外部刺激。在一个实验记录良好的情况下，我们表明，功能特定的连接，类似于在啮齿动物视觉皮层中观察到的，可以出现这样的可塑性规则。由刺激引发的依赖于经验的结构变化是持久的，只有当神经元再次暴露于非特异性外部输入时才会缓慢衰减。
2018-02-24 q-bio.NC
Recurrent Multigraph Integrator Network for Predicting the Evolution of Population-Driven Brain Connectivity Templates
BASIRA Lab（巴希拉实验室）；Istanbul Technical University（伊斯坦布尔理工大学）
学习如何从大脑多重图的群体中估计连接大脑模板（CBT），其中每个图（例如，功能）量化了感兴趣的大脑区域（ROI）之间的特定关系，允许确定个体之间共享的独特连接模式。具体地，CBT被视为一组高度异构图的整体表示，并且理想地满足中心性（即，到群体中所有图的最小距离）和判别性（即，区分健康人群和紊乱人群）标准。到目前为止，现有的工作仅限于整合和融合在一个单一的时间点获得的大脑多图人口。在本文中，我们前所未有地解决了这个问题：给定一个基线多重图人群，我们能否学习如何在后续时间点整合和预测其CBT表示？解决这个问题对于预测健康和疾病人群的共同变化至关重要。为了填补这一空白，我们提出了递归多图积分器网络（ReMI-Net），这是第一个图递归神经网络，它可以推断输入群体t1的基线CBT，并预测其随时间的纵向演变（ti> t1）。我们的ReMI-Net由具有图卷积层的递归神经块组成，使用跨节点消息传递来首先学习每个CBT节点的隐藏状态嵌入（即，感兴趣的脑区域），然后预测其在连续时间点的演变。此外，我们设计了一种新的时间依赖性损失来规范CBT随时间的演化轨迹，并进一步引入循环递归和可学习的归一化层，以从时间依赖性隐藏状态嵌入生成中心良好的CBT。最后，我们从学习的隐藏状态图表示中推导出CBT邻接矩阵。
2021-10-06 cs.CV cs.LG q-bio.NC
Context-dependent representation in recurrent neural networks
为了评估非线性随机神经网络的短期记忆性能，我们引入了一种度量来量化神经表示对过去上下文的依赖性。我们研究这一措施的数值和理论上使用随机神经网络的平均场论，显示存在一个最佳水平的突触权重异质性。我们进一步调查的网络拓扑结构的影响，特别是相互突触连接的对称性，这种措施的上下文依赖性，揭示了考虑非线性和连接结构之间的相互作用的重要性。
2016-03-07 cond-mat.dis-nn q-bio.NC
Effect of dilution in asymmetric recurrent neural networks
我们用数值模拟的方法研究了由N个二元神经元组成的同步离散时间确定性循环神经网络的极限行为，它是网络稀释度和不对称度的函数。网络稀释测量连接的神经元对的比例，网络不对称测量底层连接矩阵不对称的程度。对于每个给定的神经网络，我们研究所有不同初始条件的动态演化，从而在不施加任何学习规则的情况下表征完整的动态景观。由于确定性动力学，每个轨迹收敛到一个吸引子，它可以是一个不动点或极限环。这些吸引子形成了神经网络所有可能的极限行为的集合。对于每个网络，我们确定收敛时间，极限环的长度，吸引子的数量和吸引子盆的大小。我们发现，有两个网络结构，最大限度地提高了可能的极限行为的数量。第一种最优网络结构是全连通的、对称的。相反，第二个最佳的网络结构是高度稀疏和不对称的。后一种最佳情况与在不同生物神经元回路中观察到的情况相似。这些观察使我们假设，独立于任何给定的学习模型，一个高效和有效的生物网络，存储了许多接近其最大容量的极限行为，往往会发展出一个类似于我们发现的最优网络之一的连接结构。
2018-05-10 cond-mat.dis-nn cs.NE q-bio.NC
Mean-field theory of rich oscillatory dynamics in low-rank recurrent networks with activity-dependent adaptation
Massachusetts Institute of Technology（麻省理工学院）
本研究通过动力平均场理论，揭示了低秩随机递归网络中适应强度驱动四种振荡状态（静态相干态、噪声维持振荡、随机切换和全局极限环）的机制，并阐明了混沌与Hopf分岔的相互作用。
2026-06-29 q-bio.NC
Hebbian learning of recurrent connections: a geometrical perspective
我们展示了一个具有可修改的经常性连接的Hopfield网络如何通过缓慢的Hebbian学习来提取输入空间的底层几何。首先，我们使用一个慢/快的分析，以获得一个平均的系统，其动态来自能量函数，因此总是收敛到平衡点。平衡反映了输入的相关结构，一个全局对象只通过局部经常性的相互作用提取。其次，我们使用数值方法来说明学习如何提取输入的隐藏几何结构。事实上，多维缩放方法可以将最终的连接矩阵投影到高维空间中的距离矩阵上，神经元在该空间中的空间位置被标记。由此产生的网络结构大致是卷积的。投影的残差定义了在该过程中最小化的连接的非卷积部分。最后，我们展示了如何限制神经元生活的空间的尺寸产生类似于皮层地图的模式。我们激励这使用基于线长最小化的能源效率参数。最后，我们展示了这种方法是如何导致初级视觉皮层中眼优势或方向列的出现的。此外，我们还确定了非卷积（或长距离）连接是不完整的，并且在方向学习的情况下是共同对齐的。
2011-02-01 nlin.AO q-bio.NC
Distinct inhibitory connectivity motifs trigger distinct forms of anticipation in the retinal network
本研究通过计算模拟发现，视网膜中前馈抑制和递归反馈抑制两种连接基序分别通过减法与除法机制实现运动预期，且前者预测随速度单调递减，后者存在最优速度。
2025-08-04 q-bio.NC
How strong are correlations in strongly recurrent neuronal networks?
神经网络中活动的互相关性通常用于表征其动力学状态以及其解剖和功能组织。然而，这些后者的网络功能如何影响的时空结构的相关性在经常性的网络还没有完全理解。在这里，我们开发了一个通用的理论，从动态的强经常性网络组成的几个种群的二进制神经元的相关神经元活动的出现。我们将这一理论应用于神经元之间的连接取决于解剖或功能距离的情况。我们建立的建筑条件下，系统解决到一个动态的状态，相关性强，高度鲁棒性和空间调制。我们表明，这种强相关性出现，如果网络表现出有效的前馈结构。我们建立了这种前馈结构如何决定相关性随网络大小和连通性程度而变化的方式。在缺乏有效前馈结构的网络中，相关性非常小，并且仅微弱地依赖于每个神经元的连接数量。我们的工作显示了强相关性如何与复发网络中高度不规则的活动相一致，这是中枢神经系统中神经元动力学的两个关键特征。
2018-03-01 cond-mat.dis-nn nlin.CD physics.bio-ph
Shaping dynamics with multiple populations in low-rank recurrent networks
一个新兴的范式提出，神经计算可以在动力系统的水平上理解，这些动力系统控制集体神经活动的低维轨迹。然而，网络的连通性结构如何决定涌现动力系统仍有待澄清。在这里，我们考虑一类新型模型，即高斯混合低秩回归网络，其中连接矩阵的秩和统计定义的种群数量是独立的超参数。我们表明，由此产生的集体动力学形成一个动力系统，其中的排名设置的维度和人口结构形状的动态。特别是，集体动力学可以用相互作用的潜变量的简化有效电路来描述。虽然有一个单一的，全球人口强烈限制可能的动态，我们证明，如果人口的数量足够大，一个秩R网络可以近似任何R维动力系统。
2020-11-17 q-bio.NC
full-FORCE: A Target-Based Method for Training Recurrent Networks
Department of Neuroscience（神经科学系）；Zuckerman Institute（Zuckerman研究所）；Columbia University（哥伦比亚大学）；Department of Physiology and Cellular Biophysics（生理学与细胞生物物理学系）；Columbia University College of Physicians and Surgeons（哥伦比亚大学医学与外科学院）；Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Lewis-Sigler Institute for Integrative Genomics（整合基因组学研究所）
本文提出一种基于目标的循环网络训练方法，通过引入第二网络提供目标动态，实现更高效的任务处理，具有更少的神经元和更高的噪声鲁棒性。
2017-10-09 cs.LG cs.NE q-bio.NC
Solution of a chaotic neural network at fixed connectivity
Center for Theoretical Neuroscience, Zuckerman Institute, Columbia University（哥伦比亚大学祖克曼研究所理论神经科学中心）
研究通过非平均方法计算大规模非线性递归神经网络的矩和响应函数，首次在1/√N展开中获得一般强度相关函数的非平凡项，验证了Shen和Hu的猜想，建立了突触连接性、自发活动相关性和网络响应之间的分析联系。
2026-06-29 cond-mat.dis-nn q-bio.NC
Identification of temporal transition of functional states using recurrent neural networks from functional MRI
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）
Dynamic functional connectivity analysis provides valuable information for understanding brain functional activity underlying different cognitive processes. Besides sliding window based approaches, a variety of methods have been developed to automatically split the entire functional MRI scan into segments by detecting change points of functional signals to facilitate better characterization of temporally dynamic functional connectivity patterns. However, these methods are based on certain assumptions for the functional signals, such as Gaussian distribution, which are not necessarily suitable …
2018-09-14 cs.CV q-bio.NC
The interplay between randomness and structure during learning in RNNs
在低维任务上训练的递归神经网络（RNN）已被广泛用于功能生物网络的建模。然而，通过学习找到的解决方案和初始连接的效果并没有得到很好的理解。在这里，我们研究了在神经科学文献的启发下，使用梯度下降对不同任务进行训练的RNN。我们发现，经常性的连接的变化可以描述低秩矩阵，尽管学习算法的无约束性质。为了确定低秩结构的起源，我们转向一个易于分析的设置：在简化的任务上训练线性RNN。我们展示了低维任务结构如何导致连接的低秩变化。这种低秩结构使我们能够解释和量化在随机初始连接存在下的加速学习现象。总而言之，我们的研究从学习过程和由此产生的网络结构两个方面为理解经过训练的RNN开辟了一个新的视角。
2021-05-13 q-bio.NC
Simultaneous embedding of multiple attractor manifolds in a recurrent neural network using constrained gradient optimization
本文提出通过约束梯度优化调整突触权重，以最小化能量景观粗糙度损失函数，从而在单个RNN中同时嵌入多个连续吸引子流形时显著抑制有害干扰并提升状态稳定性，且不牺牲存储容量。
2023-10-28 cond-mat.dis-nn q-bio.NC
A Factorized Low-Rank RNN Framework for Uncovering Independent Neural Latent Dynamics and Connectivity
University of California, San Diego（加州大学圣迭戈分校）
提出FacRNN框架，通过组间独立假设和部分相关惩罚，在低秩循环神经网络中实现潜在动力学的解耦与可解释性提升。
2026-06-02 cs.CE cs.LG q-bio.NC
Dynamic Mean Field Theories for Nonlinear Noise in Recurrent Neuronal Networks
University of Chicago（芝加哥大学）
本文提出了一种动态均值场理论，用于分析递归神经网络中非线性噪声的影响，通过高斯等效过程和对数正态矩闭合方法，提高了强波动 regime 下的分析精度。
2026-01-21 math.DS q-bio.NC
Repeated sequential learning increases memory capacity via effective decorrelation in a recurrent neural network
神经系统中的记忆是在外部输入下通过神经和学习动力学的相互作用而形成的。通过在神经网络中引入一个简单的局部学习规则，我们发现通过连续重复输入-输出映射的学习步骤，记忆容量大大增加。这种增强的起源归因于连接中的伪逆相关的产生。这与自发活动的出现有关，自发活动间歇性地表现出与嵌入记忆相对应的神经模式。记忆的稳定化是通过在每个输入的应用下从自发活动的明显分叉来实现的。
2019-06-22 cs.NE nlin.AO q-bio.NC
SENDER: SEmi-Nonlinear Deep Efficient Reconstructor for Extraction Canonical, Meta, and Sub Functional Connectivity in the Human Brain
Augusta University（奥古斯塔大学）；James Madison University（詹姆斯·麦迪逊大学）
深度线性和非线性学习方法已经成为重要的机器学习方法，用于研究分层特征，例如通过功能磁共振信号在人脑中的功能连接;然而，存在三个主要缺点：1）。对于深度线性学习方法，虽然所识别的功能连接层次很容易解释，但揭示更多层次的功能连接是具有挑战性的; 2）。对于深度非线性学习方法，虽然非全连接架构降低了神经网络结构的复杂性，这些结构易于优化且不易于过拟合，但功能连接层次结构难以解释; 3）。重要的是，深度线性/非线性方法具有挑战性，即使在浅层中也能检测Meta和子功能连接性; 4）。像大多数传统的深度非线性方法，如深度神经网络，超参数必须手动调整，这是耗时的。因此，在这项工作中，我们提出了一种新的深度混合学习方法，称为SEmi-Nonlinear Deep Efficient Reconstruction（SENDER），以克服上述缺点：1）。SENDER利用多层堆叠结构的线性学习方法来检测正则函数连通性; 2）. SENDER实现了一个非完全连接的架构，用于非线性学习方法，以揭示通过浅层和深层的元功能连接; 3）。SENDER结合所提出的背景组件来提取子功能连接; 4）. SENDER采用一种新的降秩算子实现超参数的自动调整。为了进一步验证的有效性，我们比较了SENDER与四个同行的方法，使用真正的功能磁共振成像数据的人脑。
2022-09-12 cs.LG eess.IV q-bio.NC
Emergence of functional and structural properties of the head direction system by optimization of recurrent neural networks
Columbia University（哥伦比亚大学）
最近的研究表明，目标驱动的神经网络训练可以用来模拟大脑中的神经活动。虽然人工神经网络中的神经元的响应特性与大脑中的神经元的响应特性具有相似性，但网络架构通常被限制为不同。在这里，我们问一个神经网络是否可以恢复神经表征，如果架构是无约束和优化的，神经回路的解剖特性。我们证明了这一点，在一个系统中的连接和功能组织的特点，即头部方向电路的啮齿动物和果蝇。我们训练循环神经网络（RNN）通过角速度的积分来估计头部方向。我们发现，在头部方向系统中观察到的两类不同的神经元，罗盘神经元和移位神经元，在人工神经网络中自然出现，作为训练的结果。此外，连接分析和计算机神经生理学揭示了人工网络和头部方向系统之间的结构和机制相似性。总的来说，我们的研究结果表明，在目标驱动的任务中优化RNN可以概括生物回路的结构和功能，这表明人工神经网络可以用于在神经活动和解剖组织水平上研究大脑。
2020-05-17 cs.LG cs.NE q-bio.NC
Learning recurrent dynamics in spiking networks
Laboratory of Biological Modeling, NIDDK/NIH（美国国立糖尿病、消化系统疾病和肾病研究所（NIDDK）/美国国立卫生研究院（NIH）生物建模实验室）
参与学习和执行任务的神经元的尖峰活动表现出复杂的时空动态。虽然递归网络模型的输出可以学习执行各种任务，但学习后出现的递归动态的可能范围仍然未知。在这里，我们表明，修改经常性的连接与递归最小二乘算法提供了足够的灵活性，突触和尖峰速率动态尖峰网络产生广泛的时空活动。我们应用该训练方法来学习任意的放电模式，稳定平衡网络的不规则尖峰活动，并再现参与运动规划和运动的皮层神经元的异质尖峰速率模式。我们确定了成功学习的充分条件，描述了两种类型的学习错误，并评估了网络容量。我们的研究结果表明，突触耦合的周期性尖峰网络具有巨大的计算能力，可以支持大脑中的各种活动模式。
2018-08-18 cs.AI cs.LG cs.NE
Prospective Coding and Path Integration Emerge as Equilibrium Solutions of Self-Organizing Neural Networks with Firing-Rate Adaptation
Universidad de Buenos Aires, Facultad de Ciencias Exactas y Naturales（布宜诺斯艾利斯大学，理学院）；Leloir Institute—IIBBA/CONICET（莱洛尔研究所—IIBBA/CONICET）
本文提出理论框架，揭示连续吸引子连接及其计算特性如何通过赫布可塑性、发放率适应和全局抑制自组织产生，并展示前瞻动态和路径整合作为网络自然涌现的属性。
2026-10-30 cond-mat.dis-nn nlin.AO q-bio.NC
Characterizing variability in nonlinear recurrent neuronal networks
在这篇文章中，我们开发了半解析技术来获得由速率变量描述的非线性神经元随机网络的完整相关结构。在假设成对的膜电位是共同高斯-他们往往是在大型网络-我们获得确定性方程的时间演变的平均放电率和噪声协方差矩阵，可以直接解决给定的网络连接。我们还获得了尖峰计数统计，如Fano因子和成对相关性，假设双随机动作电位发射。重要的是，我们的理论不需要波动很小，并且适用于几个生物动机，凸单神经元非线性。
2016-10-10 q-bio.NC q-bio.QM
Statistics of correlations in nonlinear recurrent neural networks
Instituto Balseiro, UNCuyo and CNEA（巴尔塞罗研究所，门多萨国立大学和阿根廷原子能委员会）；Centro Atómico Bariloche and CONICET（巴里洛切原子能中心和阿根廷国家科学研究委员会）
本研究推导了非线性递归神经网络在大神经元数极限下的相关性统计量精确表达式，包含1/N修正，扩展了线性网络结果，涵盖广泛非线性激活函数，揭示网络耦合控制的标度行为，并提出新的自洽方程以处理有色噪声。
2026-08-03 cond-mat.dis-nn cs.NE hep-th
Quantitative relations among causality measures with applications to nonlinear pulse-output network reconstruction
网络的因果连通性通常被推断以理解网络功能。可以说，推断出的因果连接依赖于因果关系的措施之一适用，它可能不同于网络的基础结构连接。然而，因果连接的解释仍然有待充分澄清，特别是，因果连接如何依赖于因果关系的措施，以及因果连接如何与结构连接。在这里，我们专注于非线性网络与脉冲信号作为测量输出，$e.g.$，神经网络与尖峰输出，并解决上述问题的基础上，四个密集使用的因果关系的措施，$i.e.$，时间延迟相关性，时间延迟互信息，格兰杰因果关系，转移熵。我们从理论上展示了这些因果关系的措施是如何相互关联时，适用于脉冲信号。以模拟的Hodgkin-Huxley神经网络和真实的小鼠脑网络为例，进一步验证了四种因果关系测度之间的定量关系，并证明了四种测度中的任何一种所推断的因果连接性都能很好地与底层网络的结构连接性相吻合，从而建立了因果连接性与结构连接性之间的直接联系。我们强调，网络的结构连接可以成对地重建，而不需要网络中所有其他节点的全局信息，从而规避维数灾难。该框架为脉冲输出网络重构提供了一种实用有效的方法。
2021-10-17 q-bio.NC
Identifying structural design principles shaping the computational abilities of recurrent neural networks
Weizmann Institute of Science（魏茨曼科学研究所）
通过训练大量网络计算布尔函数，发现局部2-和3-循环显著增强计算能力，并识别出少量结构统计量可准确预测性能。
2026-06-24 cs.NE q-bio.NC
Linear equivalence of nonlinear recurrent neural networks
Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学生物与人工智能研究所）
研究非线性递归神经网络在随机耦合下的活动结构，通过双站点腔方法推导出协方差矩阵的线性等价假设，并通过模拟验证其神经科学意义。
2026-11-11 cond-mat.dis-nn q-bio.NC
From the statistics of connectivity to the statistics of spike times in neuronal networks
理解神经回路的一个重要步骤是将它们的结构和动力学联系起来。一般来说，这种关系几乎可以任意复杂。然而，最近的理论工作已经开始确定神经回路中集体尖峰活动背后的一些广泛原则。首先，网络连接的局部特征在预测网络活动的全局统计数据方面可以非常有效。第二个是，对于具有兴奋-抑制平衡的大型网络的重要情况，相关尖峰持续存在或消失取决于经常性和前馈连接的空间尺度。最后，我们展示了这些想法以及可塑性规则如何帮助关闭网络结构和活动统计之间的循环。
2017-03-09 q-bio.NC
Overcoming the Curse of Dimensionality: Structural Connectivity Reconstruction via Pairwise Information Flow in Nonlinear Networks
Shanghai Jiao Tong University（上海交通大学）
本文提出通过成对时间延迟信息流恢复非线性网络结构连接性，克服维度诅咒，提供一种无需高维条件的通用方法，验证了其在不同系统中的有效性。
2026-05-06 q-bio.NC
Bayesian recurrent state space model for rs-fMRI
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
我们提出了一个层次贝叶斯递归状态空间模型，用于建模静息状态fMRI数据中的开关网络连接。我们的模型使我们能够发现各种疾病的共享网络模式。我们评估我们的方法在ADNI2数据集上，通过推断与轻度认知障碍（MCI）个体的神经回路改变相对应的潜在状态模式。除了在健康和MCI个体之间共享的状态之外，我们还发现了主要在MCI个体中观察到的潜在状态。我们的模型在ADNI2数据集上的表现优于当前最先进的深度学习方法。
2020-11-14 cs.LG q-bio.NC stat.ML
Exploring weight initialization, diversity of solutions, and degradation in recurrent neural networks trained for temporal and decision-making tasks
本研究训练小型全连接RNN执行时变刺激下的时间与流量控制任务，发现不同网络可通过不同底层动力学解决同一任务，并揭示了性能随网络规模、时长及损伤的优雅退化规律，同时开发了任务参数化框架以量化模型并辅助建模大脑皮层生物反应。
2023-06-28 cs.NE q-bio.NC
Covariance Spectrum in Nonlinear Recurrent Neural Networks: A Near-Critical Effective Connection Strength Throughout Chaos
Institute of Neuroscience, Center for Excellence in Brain Science and Intelligence Technology, State Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心神经科学研究所）；The Hong Kong University of Science and Technology（香港科技大学）
本研究在非线性递归神经网络中推导协方差谱，发现其由线性理论方程描述但需替换为有效递归连接强度，该参数在混沌中保持近临界值，为脑临界性提供无需精细调谐的机制解释。
2026-09-09 nlin.CD q-bio.NC
Active filtering: a predictive function of recurrent circuits of sensory cortex
该研究综述证据表明，感觉皮层的局部循环连接是感觉记忆的载体，其通过主动过滤编码自然感觉输入结构，兼具预测加工与记忆的功能。
2025-01-17 q-bio.NC
Brief technical note on linearizing recurrent neural networks (RNNs) before vs after the pointwise nonlinearity
University of Edinburgh（爱丁堡大学）；Ecole Normale Superieure - PSL Research University（巴黎高等师范学院-PSL研究大学）；INSERM（法国国家健康与医学研究院）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）；Princeton University（普林斯顿大学）
该技术笔记比较了循环神经网络在逐点非线性前后的线性化，揭示了两者及其动力学矩阵特征向量间的关系，并指出特定上下文相关效应仅在activity动力学线性化中显现。
2023-09-07 cs.LG q-bio.NC
Nonlinear computations in spiking neural networks through multiplicative synapses
大脑通过其复杂的尖峰神经元网络有效地执行非线性计算，但如何做到这一点仍然难以捉摸。虽然非线性计算可以在尖峰神经网络中成功实现，但这需要监督训练，并且由此产生的连接性可能难以解释。相比之下，线性动力系统形式的任何计算所需的连接性都可以通过尖峰编码网络（SCN）框架直接导出和理解。这些网络也具有生物学上真实的活动模式，并且对细胞死亡非常强大。在这里，我们扩展了SCN框架，直接实现任何多项式动力系统，而不需要训练。这导致网络需要混合突触类型（快速，慢速和乘法），我们称之为乘法尖峰编码网络（mSCN）。使用mSCN，我们演示了如何直接导出几个非线性动力系统所需的连接。我们还展示了如何进行高阶多项式与耦合网络，只使用成对乘法突触，并提供预期数量的连接每种突触类型。总的来说，我们的工作展示了一种新的方法，用于在尖峰神经网络中实现非线性计算，同时保持标准SCN的吸引力特征（鲁棒性，现实的活动模式和可解释的连接性）。最后，我们讨论了我们的方法的生物相容性，以及如何高精度和鲁棒性的方法可能是感兴趣的神经形态计算。
2021-11-22 cs.NE q-bio.NC
Shaping the distribution of neural responses with interneurons in a recurrent circuit model
本研究提出一种基于最优传输目标的规范性循环回路计算模型，通过调整中间神经元连接性与激活函数动态塑造神经响应分布，在自然图像冗余降低任务中验证了其有效减少神经响应统计依赖的作用。
2025-01-17 q-bio.NC
State dependent computation using coupled recurrent networks
虽然可能的行为状态之间的条件分支是智能行为的标志，但对支持这种处理的神经元机制知之甚少。在解决这个问题的一个步骤中，我们通过理论分析和模拟演示了如何丰富的互联神经元网络，如在新皮层的表层观察到的，可以嵌入可靠的强大的有限状态机。我们展示了如何通过耦合两个经常性网络来非常简单地创建包含多个状态的多稳定神经元网络，这两个网络的突触权重已被配置为软赢家通吃（sWTA）性能。这两个sWTA具有简单的，同质的局部经常性连接，除了它们之间的一小部分经常性交叉连接，这是用来嵌入所需的状态。映射之间的这种耦合允许网络继续表达当前状态，即使在提取该状态的输入被撤回之后。此外，少量的“过渡神经元”实现嵌入状态之间的必要的输入驱动的转换。我们提供了简单的规则来系统地设计和构造这种神经元状态机。我们的发现的意义在于，它提供了一种方法，通过这种方法，大脑皮层可以构建支持广泛复杂处理的网络，只需将小的专门化应用于同一类神经元回路。
2008-09-24 cs.NE q-bio.NC
Neuronal correlations shape the scaling behavior of memory capacity and nonlinear computational capability of reservoir recurrent neural networks
Graduate School of Informatics, Kyoto University（京都大学信息科学研究生院）
本文研究储层递归神经网络中神经元相关性如何决定记忆容量次线性标度及非线性计算能力的顺序增长，为可扩展储层计算设计提供理论基础。
2025-08-14 cond-mat.dis-nn cs.LG q-bio.NC
Lattice-Based Pruning of Recurrent Neural Networks via Poset Modeling: A Corrected Theory and a Matched-Sparsity Evaluation
Center for Creative Cognition, SR University（SR大学创造性认知中心）
提出基于偏序集建模的RNN格剪枝框架，通过识别不可约交元保留关键连接，在MNIST上实现98%以上准确率与高稀疏性的平衡，优于传统幅度剪枝。
2026-11-02 cs.LG q-bio.NC
Local Dynamics in Trained Recurrent Neural Networks
学习一项任务会引起神经回路的连接变化，从而改变它们的动力学。为了阐明任务相关的神经动力学，我们研究训练的循环神经网络。我们开发了一个平均场理论水库计算网络训练有多个固定点吸引。我们的主要结果是，网络的输出在吸引子附近的动力学是由一个低阶线性常微分方程。可以评估所得ODE的稳定性，预测训练成功或失败。因此，当涉及到学习吸引子时，整流线性（RLU）网络和S形非线性网络具有完全不同的特性。此外，一个特征时间常数，这仍然是有限的混沌的边缘，提供了一个解释的网络的输出鲁棒性的存在的内部神经动力学的变化。最后，该理论预测了网络响应中的状态依赖频率选择性。
2016-07-13 q-bio.NC
Bayesian reconstruction of memories stored in neural networks from their connectivity
大型神经回路的全面突触接线图的出现创造了连接组学领域，并产生了一些开放的研究问题。其中一个问题是，在给定突触连接矩阵的情况下，是否有可能重建存储在递归神经元网络中的信息。在这里，我们通过确定在特定的吸引子网络模型中何时解决这样的推理问题在理论上是可能的，并通过提供一个实用的算法来解决这个问题。该算法建立在统计物理学的思想，执行近似贝叶斯推断，并服从精确分析。我们研究了它的性能在三种不同的模型，比较该算法的标准算法，如PCA，并探讨从突触连接重建存储的模式的局限性。
2022-08-29 cond-mat.stat-mech q-bio.NC stat.ML
Geometric framework to predict structure from function in neural networks
生物和人工网络中的神经计算依赖于许多输入的非线性求和。神经元之间突触权重的结构连接矩阵是整个网络功能的关键决定因素，但神经网络结构和功能之间的定量联系是复杂和微妙的。例如，许多网络可以产生类似的功能反应，同一个网络可以根据上下文的不同而发挥不同的功能。是否需要某些突触连接模式来生成特定的网络级计算在很大程度上是未知的。在这里，我们介绍了一个几何框架，用于识别阈值线性神经元的递归网络中的稳态响应所需的突触连接。假设指定的响应模式的数量不超过输入突触的数量，我们分析计算所有前馈和递归连接矩阵的解决方案空间，可以从网络输入生成指定的响应。考虑噪声的一般化进一步揭示，随着允许误差的增加，解空间几何形状可以经历拓扑转变，这可以提供对神经科学和机器学习的洞察。我们最终使用这种几何特征来获得保证神经元之间的非零突触的确定性条件。因此，我们的理论框架可以应用于神经活动数据，使严格的解剖预测，一般遵循的模型架构。
2022-06-30 cond-mat.dis-nn physics.bio-ph q-bio.NC
The correlation structure of local cortical networks intrinsically results from recurrent dynamics
长期以来，神经元对在短时间间隔内的动作电位的共同出现是已知的。这样的同步事件可以出现时间锁定到动物的行为，并且理论上的考虑也主张同步的功能作用。早期的理论工作试图解释神经元由于共享输入而传递共同波动的相关活动。然而，这高估了相关性。最近，皮层网络的经常性连接被证明是观察到的低基线相关性的原因。有两种不同的解释：一种认为，兴奋性和抑制性群体活动密切关注网络的外部输入，因此它们对一对细胞的影响相互抵消。另一种解释依赖于负的经常性反馈来抑制种群活动的波动，相当于小的相关性。在生物神经元网络中，人们期望外部输入和重现两者都影响相关的活动。目前的工作扩展了相关性的理论框架，包括两个贡献，并解释了它们的质的差异。此外，研究表明，快速跟踪和经常性反馈的论点是不等价的，只有后者正确预测的细胞类型的具体相关性。
2013-09-13 q-bio.NC
Dynamics of learning to integrate in linear recurrent neural networks
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·保尔森工程与应用科学学院）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；Department of Physics, Harvard University（哈佛大学物理系）；Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学肯普纳自然与人工智能研究所）；Society of Fellows, Harvard University（哈佛大学学者协会）
通过理论分析线性RNN学习白噪声整合的动力学，揭示慢特征通过梯度下降习得的机制，并推广到阻尼振荡滤波器。
2026-06-08 cond-mat.dis-nn q-bio.NC stat.ML
Association-sensory spatiotemporal hierarchy and functional gradient-regularised recurrent neural network with implications for schizophrenia
University of Cambridge（剑桥大学）
本研究利用fMRI梯度分析和梯度正则化RNN，揭示精神分裂症中感觉-联合层级压缩与神经计算稳定性下降的机制关联。
2025-11-04 cs.LG q-bio.NC
Topological Origin of the Diversity of Timescales in Recurrent Neural Circuits
Padova Neuroscience Center, University of Padova（帕多瓦神经科学中心，帕多瓦大学）；Institute of Neuroscience, Departments of Biology, Mathematics & Physics, University of Oregon（俄勒冈大学生物学、数学与物理学系神经科学研究所）；Department of Physics and Astronomy “Galileo Galilei”, University of Padova（帕多瓦大学“伽利略·伽利莱”物理与天文学系）；INFN, Padova Division（意大利国家核物理研究所，帕多瓦分部）
研究揭示了循环神经回路中时间尺度多样性的拓扑起源，通过分析连接异质性与神经动力学的关系，发现枢纽神经元在多重处理中的作用。
2026-03-04 q-bio.NC
Nonlinear analysis of EEG complexity in episode and remission phase of recurrent depression
长期以来，人们一直在寻找重度抑郁症（MDD）、其阶段和形式的生物标志物。研究表明，皮层电活动（EEG）的复杂性措施可能是这个角色的候选人。目的：研究Higuchi分形维数（HFD）和样本熵（SampEn）测量的脑电活动复杂性在健康受试者、抑郁症缓解期和发作期患者之间是否存在差异，以及这些变化在大脑半球和皮层区域之间是否存在差异。本文记录了26例复发性抑郁症患者和20例年龄、性别相匹配的健康对照者的闭眼静息状态脑电图。通过运行HFD和SampEn算法的内部开发程序分析无伪影EEG时期。与健康受试者相比，抑郁患者具有更高的HFD和SampEn复杂性。令人惊讶的是，缓解期患者的复杂性甚至高于发作期患者。与对照组相比，额叶和中央顶叶区域的复杂性有所改变。抑郁症的两个阶段的额叶和顶叶区域的复杂性不同。SampEn在某些皮层区域表现出比HFD更高的灵敏度。EEG的复杂性测量区分三组。需要进一步的研究来确定这些措施是否有可能帮助临床上做出与抑郁症相关的决定。
2018-11-11 q-bio.NC
How random connectivity shapes the fluctuating dynamics of finite-size neural populations
Institute of Mathematics, Technical University Berlin（柏林工业大学数学研究所）；Bernstein Center for Computational Neuroscience Berlin（柏林伯恩斯坦计算神经科学中心）；Institut de Biologie de l'ENS, Ecole normale supérieure, PSL University, CNRS（巴黎高等师范学院生物学研究所，法兰西公学院，PSL大学，法国国家科学研究中心）
该研究提出了一种介观模型，用于分析随机连接对有限大小神经群体波动动态的影响，揭示了连接杂散性和有限网络大小对非线性动力学的调控作用。
2025-12-08 q-bio.NC
Modeling the dynamics of human brain activity with recurrent neural networks
编码模型用于预测大脑对感官刺激的反应，目的是阐明感官信息在大脑中的表现方式。编码模型通常包括刺激到特征的非线性变换（特征模型）和特征到响应的线性变换（响应模型）。虽然在开发更好的特征模型方面做了大量工作，但开发更好的响应模型的工作相当有限。在这里，我们研究递归神经网络模型可以在多大程度上使用其内部记忆的任意特征序列的非线性处理，预测功能磁共振成像测量的特征诱发反应序列。我们表明，所提出的递归神经网络模型可以通过准确估计驱动血流动力学反应的长期依赖性，显着优于已建立的反应模型。这一结果为模拟大脑对感官刺激的动态反应打开了一扇新的窗户。
2016-06-09 q-bio.NC
