Feedback promotes efficient-coding while attenuating bias in recurrent neural networks
研究通过三层ctRNN比较有偏与无偏刺激训练，发现非均匀概率促进高效编码，而反馈通路可抑制偏差并保护低概率刺激表征。
2025-09-27 q-bio.NC
Ideomotor feedback control in a recurrent neural network
提出了一种控制未知环境的神经网络结构。它基于一个随机连接的循环神经网络，感知和动作同时从该网络中读取并反馈。有两种并行学习规则实现了一种认知控制：（i）感知是沿着网络应该可靠地预测其传入刺激的原则学习的;（ii）动作是沿着网络的预测应该匹配目标时间序列的原则学习的。神经网络在其环境中的一致性行为是这两个原则之间相互作用的结果。数值模拟显示了有前途的性能的方法，它可以变成一个本地的，因此“生物合理”，算法。
2015-01-18 nlin.AO q-bio.NC
Predictive coding feedback results in perceived illusory contours in a recurrent neural network
CerCO（脑与认知研究中心）；CNRS（法国国家科学研究中心）；ANITI（人工智能与自然智能研究所）
现代前馈卷积神经网络（CNN）现在可以在超人水平上解决一些计算机视觉任务。然而，这些网络只能粗略地模仿人类的视觉感知。与人类视觉的一个区别是，它们似乎不会像人类一样感知虚幻的轮廓（例如Kanizsa广场）。来自视觉皮层的生理学证据表明，对虚幻轮廓的感知可能涉及反馈连接。循环反馈神经网络会像人类一样感知虚幻的轮廓吗？在这项工作中，我们为深度前馈卷积网络配备了大脑启发的循环动力学。该网络首先在自然图像数据集上使用无监督重建目标进行预训练，以将其暴露于自然对象轮廓统计。然后，添加了一个分类决策层，并对模型进行了形式辨别任务的微调：正方形与随机定向的诱导物形状（没有虚幻的轮廓）。最后，该模型进行了测试与陌生的“虚幻轮廓”的配置：诱导形状的方向，以形成一个虚幻的正方形。与前馈基线相比，迭代“预测编码”反馈导致更多虚幻的轮廓被归类为物理正方形。错觉轮廓的感知在模型产生的图像重建的亮度曲线中是可测量的，这表明模型真的“看到”了错觉。消融研究表明，自然图像预训练和反馈纠错都是至关重要的错觉的知觉。最后，我们在更深层次的网络（VGG）中验证了我们的结论：添加相同的预测编码反馈动力学再次导致虚幻轮廓的感知。
2021-06-16 cs.CV q-bio.NC
Information in a recurrent Retina-V1 network with realistic noise, feedback and nonlinearities
Universitat de València（瓦伦西亚大学）
本文首次结合通用循环网络、精确噪声和可靠信息度量，研究早期视觉中信息流的定量估计，揭示反馈在信息处理和网络稳定性中的作用。
2026-10-14 q-bio.NC
A geometrical analysis of global stability in trained feedback networks
递归神经网络由于其实现复杂计算的能力而在神经科学和机器学习的背景下被广泛研究。虽然在过去的几年里，在设计有效的学习算法方面取得了实质性的进展，但仍然缺乏对训练的递归网络的充分理解。具体来说，允许计算从底层经常性动态中出现的机制在很大程度上是未知的。在这里，我们专注于一个简单的，但未充分探索的计算设置：一个反馈架构训练相关联的静态输出到一个静态输入。作为一个出发点，我们推导出一个近似的分析描述的全球动态训练网络，假设不相关的连接权重的反馈和随机散装。由此产生的平均场理论表明，该任务承认几类解决方案，这意味着不同的稳定性。不同类别的特征在于相对于输入向量的读出的几何布置，定义在由网络人口跨越的高维空间。我们发现这种近似理论方法可以用来理解标准训练技术如何在有限大小的反馈网络中实现输入-输出任务。特别是，我们的简化描述捕获了目标解的局部和全局稳定性，从而预测了训练性能。
2019-01-18 q-bio.NC
Interactions between Intrinsic and Stimulus-Evoked Activity in Recurrent Neural Networks
试验间变异性是神经反应的一个基本特征，但其来源是一个积极辩论的主题。响应变异性（Mast和Victor，1991; Arieli等人，1995 & 1996; Anderson等人，2000 & 2001; Kenet等人，2003; Petersen等人，2003 a和b; Fiser，Chiu和Weliky，2004; MacLean等人，2005; Yuste等人，2005; Vincent等人，2007）通常被视为随机噪声，由其他大脑区域或正在研究的电路内的随机过程产生。我们把这种变异性的来源称为外部的，以强调这种形式的噪声与刺激驱动的活动的独立性。可变性也可以由对刺激产生反应的相同网络动态在内部产生。我们如何区分反应变异性的外部和内部来源？在这里，我们表明，内部来源的可变性与刺激诱导的活动非线性相互作用，这种相互作用产生了抑制噪声的诱发状态。这为实验观察提供了理论基础和潜在机制，在许多脑区，刺激引起神经元变异性的显著抑制（Werner和Mountcastle，1963; Fortier，Smith和Kalaska，1993; Anderson等人，2000; Friedrich和Laurent，2004; Churchland等人，2006; Finn，Priebe和Ferster，2007; Mitchell，Sundberg和Reynolds，2007; Church…
2010-08-02 cond-mat.dis-nn nlin.CD physics.bio-ph
Empirical scaling laws in balanced networks with conductance-based synapses
Babson College（巴布森学院）；Boston University（波士顿大学）；University of Notre Dame（圣母大学）
研究通过计算机模拟显示，基于电导的突触和尖峰时间相关性结合可产生更真实的膜电位变异性，证明更真实的建模假设能提升动态真实性。
2026-05-12 q-bio.NC
The correlation structure of local cortical networks intrinsically results from recurrent dynamics
长期以来，神经元对在短时间间隔内的动作电位的共同出现是已知的。这样的同步事件可以出现时间锁定到动物的行为，并且理论上的考虑也主张同步的功能作用。早期的理论工作试图解释神经元由于共享输入而传递共同波动的相关活动。然而，这高估了相关性。最近，皮层网络的经常性连接被证明是观察到的低基线相关性的原因。有两种不同的解释：一种认为，兴奋性和抑制性群体活动密切关注网络的外部输入，因此它们对一对细胞的影响相互抵消。另一种解释依赖于负的经常性反馈来抑制种群活动的波动，相当于小的相关性。在生物神经元网络中，人们期望外部输入和重现两者都影响相关的活动。目前的工作扩展了相关性的理论框架，包括两个贡献，并解释了它们的质的差异。此外，研究表明，快速跟踪和经常性反馈的论点是不等价的，只有后者正确预测的细胞类型的具体相关性。
2013-09-13 q-bio.NC
Learning Feedforward and Recurrent Deterministic Spiking Neuron Network Feedback Controllers
我们解决的问题，学习反馈控制的控制器是一个网络构造的确定性尖峰神经元。与以前基于神经元尖峰速率模型的研究相比，这里的控制信号由网络输出神经元生成的尖峰的精确时间位置确定。我们正式建模的问题作为一个混合动力系统，包括一个闭环之间的植物和尖峰神经元网络。我们推导出一种新的突触权重更新规则，通过该规则，尖峰神经元网络控制器学习在所需的设定点保持过程变量。该控制器实现其学习目标的基础上访问工厂的过程变量和他们的衍生物相对于不断变化的控制信号，特别是，它不需要工厂的内部模型。我们证明了有效性的规则，将其应用到经典的控制问题的车杆（倒立摆）和模型的鱼运动。实验表明，所提出的控制器具有一个稳定的区域相比，传统的PID控制器，其轨迹不同的定性从PID控制器，并在许多情况下，控制器实现其目标，使用非常稀疏的脉冲序列输出。
2018-09-25 cs.NE q-bio.NC
The implications of perception as probabilistic inference for correlated neural variability during behavior
本文讨论了当今系统神经科学面临的两个主要挑战：理解a）感觉区域之间的皮层反馈和b）相关变异性的性质和功能。从旧的想法知觉概率推理开始，我们展示了如何使用知识的心理物理任务，使易于测试的预测反馈信号对早期感觉表征的影响。将我们的框架应用到研究得很好的两种选择强迫选择任务范式，我们可以解释多个经验发现，这些发现很难用传统的感觉加工前馈模型来解释，包括神经反应相关性的任务依赖性，以及选择概率和心理物理内核的不同时间过程。我们的模型做出了一些新的预测，重要的是，它表征了相关可变性的一个组成部分，它代表了与任务相关的信息，而不是降低性能的噪声。它还展示了一个规范的方式来整合感官和认知组件到生理上可测试的数学模型的知觉决策。
2015-11-19 q-bio.NC
Positive Feedback and Synchronized Bursts in Neuronal Cultures
具有复杂结构的同步爆发（SB）在神经元培养中是常见的。虽然SB的起源还不清楚，但它们的信息处理能力已经被研究。在这里，我们调查这些SB在多电极阵列系统的文化的属性。我们发现，这些SBs的结构与文化的不同发展阶段有关。一个基于短期突触可塑性、反复连接和神经递质的星形胶质细胞再循环的模型已经被成功地开发出来，以理解这些结构。从这个模型得到的相图显示，网络表现出SB是在振荡状态，由于足够大的正反馈提供突触促进和经常性连接。在这个模型中，SB的结构是内在突触相互作用的结果，而不是存储在网络中的信息。
2016-11-16 q-bio.NC
Symmetry Perception by Deep Networks: Inadequacy of Feed-Forward Architectures and Improvements with Recurrent Connections
Massachusetts Institute of Technology（麻省理工学院）；Buckingham Browne & Nichols School（白金汉布朗与尼科尔斯学校）；Fujitsu Limited（富士通有限公司）
对称性在自然界中无处不在，许多物种的视觉系统都能感知到，因为它有助于检测我们环境中具有生态重要性的物体类别。对称感知需要对图像区域之间的长距离空间依赖关系进行抽象，其潜在的神经机制仍然难以捉摸。在本文中，我们评估了深度神经网络（DNN）架构从示例中学习对称感知的任务。我们证明了前馈DNN在对象识别任务上擅长模拟人类表现，无法获得对称性的一般概念。即使DNN的架构是为了捕获长距离的空间依赖性，例如通过“扩张”卷积和最近引入的“Transformers”设计，情况也是如此。相比之下，我们发现，经常性的架构是能够学习感知对称性分解成一系列的本地操作，这是可重用的新的图像的长期空间依赖关系。这些结果表明，经常性连接可能在人工系统的对称性感知中发挥重要作用，也可能在生物系统中发挥重要作用。
2022-01-22 cs.CV cs.LG q-bio.NC
Training recurrent neural networks with sparse, delayed rewards for flexible decision tasks
混沌状态下的循环神经网络表现出复杂的动力学，让人想起行为任务期间的高水平皮层活动。然而，这种网络的现有训练方法要么在生物学上是不可信的，要么需要实时连续的误差信号来指导学习过程。这与大多数行为任务相反，行为任务只提供时间稀疏，延迟的奖励。在这里，我们表明，一个生物合理的奖励调制的赫布学习算法，以前用于前馈模型的鸟鸣学习，可以训练经常性的网络仅基于延迟，相位奖励信号在每次试验结束。该方法不需要专门的反馈或读出网络：整个网络的连通性是学习的，网络输出是从一个任意选择的网络单元读取的。我们使用这种方法成功地训练一个网络上的延迟不匹配样本任务（这需要记忆，灵活的协会，和非线性混合选择性）。使用解码技术，我们表明，由此产生的网络表现出动态编码的任务相关的信息，与神经编码的各种任务功能波动很大的过程中的审判。此外，网络活动在响应时间内从刺激特定的表征转移到响应特定的表征，这与行为动物在类似任务中的神经记录一致。我们的结论是，循环神经网络，奖励调制的赫布学习训练，提供了一个合理的模型，在学习和灵活的协会性能的皮质动力学。
2015-12-08 q-bio.NC
Cell-type-specific synaptic motifs generate coupled mean-variability dynamics in recurrent neural networks
Center for Quantitative Biology, Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院定量生物学中心）；School of Physics, Peking University（北京大学物理学院）；Center for Bioinformatics, National Laboratory of Protein Engineering and Plant Genetic Engineering, School of Life Sciences and Center for Quantitative Biology, Academy for Advanced Interdisciplinary Studies,Peking University（北京大学生命科学学院、前沿交叉学科研究院定量生物学中心及蛋白质工程与植物基因工程国家重点实验室生物信息中心）；CNRS, LJAD and Institute NeuroMod, Université Côte d’Azur（法国蔚蓝海岸大学神经调节研究所、LJAD及法国国家科学研究中心）
通过构建包含多种细胞类型和非线性响应的随机循环神经网络，推导出多群体平均场方程，揭示链状基序如何整合微观波动影响介观群体动力学，并应用于小鼠初级视觉皮层的异质性活动逆向工程。
2026-08-28 cond-mat.dis-nn cs.NE q-bio.NC
Which Neural Network Architecture matches Human Behavior in Artificial Grammar Learning?
近年来，人工神经网络在几个领域取得了接近或优于人类的性能：以前属于人类特权的任务，如语言处理，在最先进的模型中有了显着的改进。这种技术推动的一个好处是便于比较不同的神经网络和人类的表现，以加深我们对人类认知的理解。在这里，我们研究哪种神经网络架构（前馈与递归）与人工语法学习中的人类行为相匹配，人工语法学习是语言习得的一个重要方面。先前的实验研究证明，人工语法可以在很少接触的情况下被人类主体学习，并且通常没有明确的基本规则知识。我们在人类以及前馈和递归网络中测试了四种具有不同复杂度的语法。我们的研究结果表明，这两种架构都可以在与人类相同数量的训练序列后“学习”（通过错误反向传播）语法，但递归网络的表现比前馈网络更接近人类，无论语法复杂度如何。此外，类似于视觉处理，其中前馈和递归架构与无意识和有意识的过程有关，我们的研究结果表明，外显学习最好由递归架构建模，而前馈网络更好地捕捉内隐学习中涉及的动态。
2019-02-13 cs.HC q-bio.NC
Local Dynamics in Trained Recurrent Neural Networks
学习一项任务会引起神经回路的连接变化，从而改变它们的动力学。为了阐明任务相关的神经动力学，我们研究训练的循环神经网络。我们开发了一个平均场理论水库计算网络训练有多个固定点吸引。我们的主要结果是，网络的输出在吸引子附近的动力学是由一个低阶线性常微分方程。可以评估所得ODE的稳定性，预测训练成功或失败。因此，当涉及到学习吸引子时，整流线性（RLU）网络和S形非线性网络具有完全不同的特性。此外，一个特征时间常数，这仍然是有限的混沌的边缘，提供了一个解释的网络的输出鲁棒性的存在的内部神经动力学的变化。最后，该理论预测了网络响应中的状态依赖频率选择性。
2016-07-13 q-bio.NC
Sensory robustness through top-down feedback and neural stochasticity in recurrent vision models
Hertie Institute for Clinical Brain Research, University of Tübingen（图宾根大学赫蒂临床脑研究所）；University of Tübingen（图宾根大学）；Center for Bionic Intelligence Tübingen Stuttgart (BITS)（图宾根-斯图加特仿生智能中心）；Institute of Cognitive Sciences and Technologies, National Research Council（国家研究委员会认知科学与技术研究所）；Institute of Neurology, University College London（伦敦大学学院神经病学研究所）；German Center for Mental Health (DZPG)（德国心理健康中心）
本研究通过训练带有自上而下反馈和随机神经变异性的卷积循环神经网络，发现反馈与 dropout 结合能显著提升模型的速度-准确率权衡及鲁棒性，揭示了神经随机性与自上而下反馈在弹性感知编码中的双重稳定机制。
2025-08-09 cs.CV cs.LG q-bio.NC
Recurrent infomax generates cell assemblies, avalanches, and simple cell-like selectivity
通过进化，动物获得了中枢神经系统（CNS），中枢神经系统是提高动物对各种环境的适应性的极其有效的信息处理装置。有人提出，信息最大化的过程（infomax），最大限度地提高信息传输从输入到输出的前馈网络，可以提供一个解释的刺激选择性的神经元在CNS。然而，CNSs不仅包含前馈，而且还包含递归突触连接，并且对这种递归网络中随时间推移的信息保留知之甚少。在这里，我们提出了一种基于infomax的递归网络学习算法，我们称之为“递归infomax”（RI）。RI最大化信息保留，从而最小化网络中的信息丢失。我们发现，在外部输入的信息，从自然场景的照片到一个基于RI的模型的循环网络的结果在外观的Gabor样的选择性非常类似于存在于简单的细胞的初级视觉皮层（V1）。更重要的是，我们发现，没有外部输入，这个网络表现出细胞组装样和synfire链样自发活动和一个关键的神经元雪崩。RI提供了一个简单的框架来解释在体内和体外神经元网络中观察到的各种现象，它应该从信息论的角度对多神经元活性和可塑性的实验结果提供一种新的理解。
2008-01-13 cond-mat.dis-nn q-bio.NC
A neural network model for timing control with reinforcement
当可能性的空间是无限的时候，人类和动物是如何进行试错学习的？在以前的研究中，我们使用了一个间隔定时生产任务，并发现了一个更新策略，其中代理调整的行为和神经元的噪音探索。在实验中，人类受试者主动产生一系列定时运动输出。我们发现，顺序电机时序变化在两个时间尺度：长期相关的目标间隔，由于记忆漂移和短期调整的时间变异性，根据反馈。我们之前已经描述了这些功能的时间变化与增广高斯过程，称为奖励敏感高斯过程（RSGP）。在这里，我们提供了一个机械模型，并通过借用递归神经网络的架构来模拟这个过程。虽然经常性连接提供了运动计时的长期序列相关性，但为了促进奖励驱动的短期变化，我们在网络连接中引入了奖励依赖性变异性，这是受到大脑突触传递的随机性的启发。我们的模型能够递归地生成一个输出序列，将内部变异和外部强化的贝叶斯框架。我们证明了该模型可以学习人类行为的关键特征。与其他神经网络模型不同的是，该模型可以估计与每个结果相关的不确定性，从而更好地将可调整的任务相关变异性与无法解释的变异性区分开来。所提出的人工神经网络模型与神经系统中的信息处理机制并行，可以扩展连续状态控制中的脑启发强化学习框架。
2022-05-09 q-bio.NC
Toward Practical Equilibrium Propagation: Brain-inspired Recurrent Neural Network with Feedback Regulation and Residual Connections
School of Microelectronics University of Science and Technology of China（微电子学院 中国科学技术大学）
本文提出一种受大脑启发的反馈调节残差循环神经网络（FRE-RNN），通过减少谱半径加速收敛，显著降低计算成本，性能与反向传播相当，同时缓解深度RNN中梯度消失问题。
2026-05-07 cs.AI cs.LG cs.NE
Macroscopic Fluctuations Emerge in Balanced Networks with Incomplete Recurrent Alignment
具有随机连接的强耦合神经元网络表现出混沌的异步波动。在以前的工作中，我们表明，当赋予一个额外的低秩连接组成的正交向量的外积，这些网络产生大规模的相干波动。虽然这是一个惊人的现象，但其结果取决于对低秩结构的微调选择。在这里，我们通过将兴奋-抑制平衡理论推广到具有任意低秩结构的网络来扩展这项工作，并表明低维可变性本质上是通过我们所谓的不完全经常性对齐来出现的。我们说，一个低秩连接结构表现出不完全对齐，如果它的行空间不包含在它的列空间。在不完全对齐的情况下，递归连通性可以分解为子空间递归分量和有效前馈分量。我们发现，高维，微观波动传播通过有效的前馈组件到一个低维子空间，在那里他们是动态平衡的宏观波动。我们从生物学上提出了合理的例子，从兴奋抑制网络和网络的异质度分布。最后，我们定义的对齐矩阵之间的重叠左，右奇异向量的结构化连接，并表明，对齐矩阵的奇异值决定的宏观变化的幅度，而其奇异向量决定的结构。我们的工作表明，宏观波动可以出现在一般的强耦合网络与低秩结构。此外，通过将兴奋-抑制平衡推广到任意的低秩结构，我们的工作可以在任何具有强相互作用单元的环境中找到相关性，无论是在生物网络、社会网络还是技术网络中。
2021-03-11 nlin.CD q-bio.NC
How strong are correlations in strongly recurrent neuronal networks?
神经网络中活动的互相关性通常用于表征其动力学状态以及其解剖和功能组织。然而，这些后者的网络功能如何影响的时空结构的相关性在经常性的网络还没有完全理解。在这里，我们开发了一个通用的理论，从动态的强经常性网络组成的几个种群的二进制神经元的相关神经元活动的出现。我们将这一理论应用于神经元之间的连接取决于解剖或功能距离的情况。我们建立的建筑条件下，系统解决到一个动态的状态，相关性强，高度鲁棒性和空间调制。我们表明，这种强相关性出现，如果网络表现出有效的前馈结构。我们建立了这种前馈结构如何决定相关性随网络大小和连通性程度而变化的方式。在缺乏有效前馈结构的网络中，相关性非常小，并且仅微弱地依赖于每个神经元的连接数量。我们的工作显示了强相关性如何与复发网络中高度不规则的活动相一致，这是中枢神经系统中神经元动力学的两个关键特征。
2018-03-01 cond-mat.dis-nn nlin.CD physics.bio-ph
Task-Driven Convolutional Recurrent Models of the Visual System
Stanford University（斯坦福大学）；McGovern Institute for Brain Research, MIT（麻省理工学院麦戈文脑研究所）；MIT（麻省理工学院）；KU Leuven（鲁汶大学）；Google Brain, Google, Inc.（谷歌公司谷歌大脑）；Wu Tsai Neurosciences Institute（吴蔡神经科学研究所）
前馈卷积神经网络（CNN）目前是ImageNet等对象分类任务的最新技术。此外，它们是灵长类动物大脑视觉系统中神经元时间平均反应的定量准确模型。然而，生物视觉系统有两个普遍存在的结构特征，这两个特征与典型的CNN不同：皮质区域内的局部复发，以及从下游区域到上游区域的远程反馈。在这里，我们探讨了递归在提高分类性能中的作用。我们发现，标准形式的递归（vanilla RNN和LSTM）在ImageNet任务的深度CNN中表现不佳。相比之下，包含两个结构特征（旁路和门控）的新型细胞能够大幅提高任务准确性。我们将这些设计原则扩展到数千个模型架构的自动搜索中，这些架构识别出了对对象识别有用的新的局部递归细胞和远程反馈连接。此外，这些任务优化的ConvRNN比前馈网络更好地匹配了灵长类视觉系统中神经活动的动态，这表明大脑的循环连接在执行困难的视觉行为中发挥了作用。
2018-10-27 cs.AI cs.CV cs.LG
A no-go theorem for one-layer feedforward networks
人们经常假设，大脑中反复出现的连接的一个关键作用是限制可能的反应模式，从而塑造神经代码。这意味着神经代码的存在，不能仅仅产生于前馈处理。我们开始在单层前馈网络的背景下寻找这样的代码，并确定了一大类组合代码，这些代码确实不能单独由前馈架构来塑造。然而，这些代码是难以区分的代码，在噪声的存在下，共享相同的最大活动模式的集合。当我们将组合神经代码的概念粗糙化以仅跟踪最大模式时，我们发现了令人惊讶的结果，即所有此类代码实际上都可以通过单层前馈网络实现。这表明，递归或多层前馈架构对于塑造神经代码的（粗糙）组合特征是不必要的。特别是，它是不可能的，以推断一个计算的作用，经常性的连接，从神经反应模式的组合。我们的证明使用经典组合拓扑学的数学工具，如神经引理和逆神经的存在性。我们的主要结果的一个意想不到的推论是，任何规定的（有限）同伦类型可以实现从一些欧几里德空间的正正交删除一个多面体。
2013-10-14 math.CO math.GT q-bio.NC
Meta-learning three-factor plasticity rules for structured credit assignment with sparse feedback
本文提出元学习三因素可塑性规则，用于递归网络在稀疏反馈下的结构化信用分配学习。
2025-12-11 cond-mat.dis-nn cs.LG physics.bio-ph
Complexity without chaos: Plasticity within random recurrent networks generates robust timing and motor control
人们普遍认为，循环神经回路的复杂动力学特性对大脑功能有着根本性的贡献。由于两个主要原因，在理解和利用递归动力学的计算能力方面进展缓慢：非线性递归网络通常表现出混沌行为，并且大多数已知的学习规则在递归网络中不能以鲁棒的方式工作。在这里，我们通过演示如何通过监督学习规则调整最初表现出混沌动力学的随机递归网络（RRN）来解决这两个问题，以生成局部稳定的神经活动模式，这些模式既复杂又对噪声具有鲁棒性。其结果是一种新的神经网络制度，表现出瞬态稳定和混沌轨迹。我们进一步表明，经常性的学习规则显着增加的能力RRN产生复杂的时空运动模式，并占最近的实验数据显示，减少神经变异性刺激发作。
2012-10-07 cond-mat.dis-nn nlin.CD q-bio.NC
Feedforward Initialization for Fast Inference of Deep Generative Networks is biologically plausible
Université de Montréal（蒙特利尔大学）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Bern（伯尔尼大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们考虑深层多层生成模型，如玻尔兹曼机或Hopfield网，其中计算（实现推理）是递归和随机的，但递归不是为了模拟序列结构，只是为了执行计算。我们发现条件下，一个简单的前馈计算是一个非常好的初始化推理，后的输入设备被钳位到观察值。这意味着在前馈初始化之后，递归网络非常接近网络动力学的不动点，其中能量梯度为0。主要条件是连续的层形成良好的自动编码器，或者更一般地说，单元中的不同输入组（特别是，一方面是自下而上的输入，另一方面是自上而下的输入）彼此一致，从而对输入的总加权和产生相同的贡献。在生物学术语中，这将对应于使每个树突分支正确地预测来自所有树突分支的聚合输入，即，体细胞潜能这与预测一致，即训练到树突分支（诸如锥体细胞的顶端树突和基底树突的那些）中的突触权重以最小化当目标是体细胞活动时由树突分支产生的预测误差。虽然以前的工作已经展示了如何在预测性递归模型中实现快速负相推理（当模型被打开时），但这一贡献有助于在这种递归神经模型中实现快速正相推理（当目标输出被钳制时）。
2016-06-28 cs.LG cs.NE q-bio.NC
Information Bottleneck in Control Tasks with Recurrent Spiking Neural Networks
神经系统将来自环境的连续信息以离散尖峰的形式编码，然后解码这些信息以产生平滑的运动动作。了解尖峰信号如何整合、表示和处理信息以产生行为是神经科学中最大的挑战之一。信息论有潜力帮助我们应对这一挑战。对解决静态输入-输出任务的深度和前馈人工神经网络的信息分析导致了\emph{Information Bottleneck}原理的提出，该原理指出，更深层编码关于输入的更多相关但最少的信息。对具有周期性、尖峰脉冲和执行控制任务的网络的这种分析相对较少。在这里，我们提出了一个经常性的脉冲神经网络，演变为执行经典的极点平衡任务的互信息分析的结果。我们的研究结果表明，这些网络偏离\emph{Information Bottleneck}原则规定的前馈网络。
2017-06-06 cs.IT cs.NE math.IT
Going in circles is the way forward: the role of recurrence in visual inference
Zuckerman Mind Brain Behavior Institute, Columbia University（哥伦比亚大学扎克曼心脑行为研究所）；Columbia University（哥伦比亚大学）
生物视觉系统具有丰富的递归连接。相比之下，用于视觉识别的最先进的神经网络模型严重或完全依赖于前馈计算。任何有限时间递归神经网络（RNN）都可以沿着时间展开，以产生等效的前馈神经网络（FNN）。这一重要见解表明，计算神经科学家可能不需要进行递归计算，而计算机视觉工程师如果构建递归模型，可能会将自己限制在FNN的特殊情况下。在这里，我们认为，相反，FNN是RNN的一个特例，计算神经科学家和工程师应该利用递归来理解大脑和机器如何（1）实现更大更灵活的计算深度，（2）将复杂的计算压缩到有限的硬件中，（3）通过期望和注意力将先验和优先级整合到视觉推理中，（4）利用其数据中的顺序依赖性以进行更好的推断和预测，以及（5）利用迭代计算的能力。
2020-11-16 cs.CV q-bio.NC
Decorrelation by recurrent inhibition in heterogeneous neural circuits
神经元的活动是相关的，这种相关性影响大脑处理信息的方式。我们通过分析一个具有强烈异质相互作用的网络模型来研究相关性的神经回路机制：兴奋性输入驱动神经活动的波动，抑制性反馈抵消了这种波动。特别是，兴奋性输入倾向于关联神经元，而抑制性反馈减少相关性。我们证明，异质性的突触连接是必要的这种抑制的相关性。我们计算统计平均无序的突触相互作用，我们将我们的研究结果应用到一个简单的线性模型和一个更现实的尖峰网络模型。我们发现，在零时滞时，相关性是正的，并且大小为K^{-1/2}，其中K是与神经元的连接数。在较长的时间尺度上，相关性的量级较小，为K^{-1}阶，这意味着相关性的抑制发生得很快，在K^{-1/2}的时间尺度上。小幅度的相关性同意定性与大脑皮层和基底神经节的生理测量。该模型可用于研究由复发性抑制主导的大脑区域的相关性，例如纹状体和苍白球。
2012-11-30 math-ph math.MP q-bio.NC
Predicting non-linear dynamics by stable local learning in a recurrent spiking neural network
本文提出了一种监督学习方案，用于循环脉冲神经网络中前馈和循环连接的权重学习，通过反馈误差和局部学习规则实现稳定学习，展示了线性、非线性及混沌动力学的学习能力。
2017-04-26 cs.LG cs.NE cs.SY
Measuring and Controlling Solution Degeneracy across Task-Trained Recurrent Neural Networks
Harvard University（哈佛大学）；Harvard Medical School（哈佛医学院）；Kempner Institute（凯普纳研究所）；EPFL（苏黎世联邦理工学院）
本研究开发了统一框架，量化和控制任务训练RNN中的解退化，揭示任务复杂性和网络规模对解退化的影响。
2025-11-20 cs.IT cs.LG cs.NE
