Active filtering: a predictive function of recurrent circuits of sensory cortex
该研究综述证据表明,感觉皮层的局部循环连接是感觉记忆的载体,其通过主动过滤编码自然感觉输入结构,兼具预测加工与记忆的功能。
2025-01-17 q-bio.NC
Firing Rate Dynamics in Recurrent Spiking Neural Networks with Intrinsic and Network Heterogeneity
神经属性的异质性最近得到了很多关注,并越来越多地被认为是神经处理中的一个重要特征。尽管它的重要性,这一生理特征在传统上被忽视的理论研究皮层神经网络。因此,关于尖峰神经网络中细胞和回路异质性的后果仍然有很多未知数。特别是,结合网络或突触异质性和内在异质性尚未被系统地考虑,尽管事实上,这两个是已知的存在,并可能有显着的作用,在神经网络动力学。在一个典型的循环发放神经网络模型中,我们研究了这两种形式的异质性如何导致兴奋性放电率的不同分布。为了分析这些类型的异质性如何影响网络,我们采用了降维方法,该方法依赖于蒙特卡罗模拟和概率密度函数方程的组合。我们发现,内在的和网络的异质性之间的关系有很强的影响的整体水平的异质性的放电率。具体来说,这种关系可能导致放电率异质性的放大或衰减,这些影响取决于递归网络是异步放电还是有节奏放电。这些观察与上述的减少方法,并进一步简单的分析描述,基于这种降维方法的开发。最后的分析描述提供了紧凑和描述性的公式,内在和网络异质性之间的关系如何决定在各种设置的发射率异质性动态。
2016-11-21 q-bio.NC
Incorporating Visual Cortical Lateral Connection Properties into CNN: Recurrent Activation and Excitatory-Inhibitory Separation
Dept. of Computer Science and Engineering Texas A&M University, College Station Texas, USA(计算机科学与工程系德克萨斯A&M大学,学院站得克萨斯州,美国)
本文提出在CNN中引入视觉皮层侧向连接,通过权重共享的循环激活和兴奋-抑制分离损失函数,提升分类准确率并使模型涌现出类似生物视觉系统的激活与连接特性。
2025-09-18 cs.AI cs.CV q-bio.NC
Harnessing cortical geometry, wiring, and function as inductive biases for recurrent neural networks
Neuromatch Academy, Neuromatch, Inc., USA(Neuromatch学院,Neuromatch公司,美国);McGovern Institute for Brain Research, Massachusetts Institute of Technology (MIT)(麦戈文脑科学研究所,麻省理工学院(MIT))
本研究利用MICrONS项目数据,通过神经元空间坐标、解剖连接和功能关系初始化循环权重并施加空间约束,构建生物基础循环神经网络,在认知决策任务中优于基线模型,并发展出低熵、模块化和小世界组织。
2026-06-16 cs.AI cs.LG cs.NE
Are cortical microcircuits optimized for information flux? -- A simulation-based reverse engineering study
Friedrich-Alexander-University Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡大学);University Hospital Mannheim, University Heidelberg(海德堡大学曼海姆大学医院);University Hospital Erlangen(埃尔朗根大学医院);BGU Ludwigshafen(路德维希港创伤中心)
研究通过模拟分析皮层微柱结构,发现嵌入网络通过产生有效偏置和随机波动增强核心动态的信息流,为生物神经电路功能解释和人工递归系统设计提供新见解。
2026-05-14 q-bio.NC
An Analytically Solvable Model of Firing Rate Heterogeneity in Balanced State Networks
针对皮层回路放电率分布缺乏数学可处理性的问题,基于 Gauss-Rice 神经元模型提出一种可精确计算放电率分布的平衡态皮层回路模型,支持多群体与多突触受体,为理解单神经元及突触特性对放电率分布的影响奠定基础。
2024-12-19 q-bio.NC
Training recurrent neural networks with sparse, delayed rewards for flexible decision tasks
混沌状态下的循环神经网络表现出复杂的动力学,让人想起行为任务期间的高水平皮层活动。然而,这种网络的现有训练方法要么在生物学上是不可信的,要么需要实时连续的误差信号来指导学习过程。这与大多数行为任务相反,行为任务只提供时间稀疏,延迟的奖励。在这里,我们表明,一个生物合理的奖励调制的赫布学习算法,以前用于前馈模型的鸟鸣学习,可以训练经常性的网络仅基于延迟,相位奖励信号在每次试验结束。该方法不需要专门的反馈或读出网络:整个网络的连通性是学习的,网络输出是从一个任意选择的网络单元读取的。我们使用这种方法成功地训练一个网络上的延迟不匹配样本任务(这需要记忆,灵活的协会,和非线性混合选择性)。使用解码技术,我们表明,由此产生的网络表现出动态编码的任务相关的信息,与神经编码的各种任务功能波动很大的过程中的审判。此外,网络活动在响应时间内从刺激特定的表征转移到响应特定的表征,这与行为动物在类似任务中的神经记录一致。我们的结论是,循环神经网络,奖励调制的赫布学习训练,提供了一个合理的模型,在学习和灵活的协会性能的皮质动力学。
2015-12-08 q-bio.NC
Cortico-cerebellar modularity as an architectural inductive bias for efficient temporal learning
Imperial College London(帝国理工学院)
研究通过在RNN中引入小脑启发的前馈模块,验证了皮层-小脑模组在提升时间学习效率中的作用,发现该架构在多种任务中表现更优。
2026-05-11 q-bio.NC
Neuronal heterogeneity modulates phase-synchronization between unidirectionally coupled populations with excitation-inhibition balance
一些实验和模型强调了神经元异质性在大脑动力学和功能中的重要性。然而,这种细胞间的多样性如何影响皮层计算、同步和神经元通信仍在争论之中。以前的研究集中在一个神经元群体的神经元异质性的影响。在这里,我们特别感兴趣的神经元变异性的影响,两个人口之间的相位关系,这可能与不同的皮层通信假说。最近的研究表明,两个单向连接的神经元群体可以表现出预期的同步(AS),其特征在于负相位滞后。这种现象已经在非人类灵长类动物和人类EEG的电生理数据在视觉辨别认知任务。在实验中,单向耦合可以通过格兰杰因果关系来评估,并且可以伴随着皮质区之间的正或负相位差。在这里,我们提出了一个模型的两个耦合的人口中的神经元的异质性可以确定发送者和接收者之间的动力学关系,并可以重现在实验中报道的相位关系。取决于表征神经元放电模式的参数的分布,该系统可以表现出AS和通常的延迟同步制度(DS,具有正相位)以及AS和DS之间的零滞后同步制度和相位双稳态。此外,我们表明,我们的网络可以呈现多样性,在他们的相位关系保持兴奋抑制平衡。
2021-03-02 physics.bio-ph q-bio.NC
Is cortical criticality unique?
有迹象表明,为了优化神经计算,神经网络-包括大脑-在临界状态下运行。然而,以前的方法使用了不同的临界指纹,留下了一个悬而未决的问题,即它们是否指的是一个独特的临界点,或者是否可能有几个。使用一个经常性的尖峰神经网络作为模型,我们证明了雪崩临界不一定位于混沌的动力学边缘,因此,不同的指纹表明不同的现象与尚未澄清的关系。
2016-09-29 nlin.CD q-bio.NC
Decoding finger velocity from cortical spike trains with recurrent spiking neural networks
Qiushi Academy for Advanced Studies, Zhejiang University(浙江大学求是高等研究院);College of Biomedical Engineering and Instrument Science, Zhejiang University(浙江大学生物医学工程与仪器科学学院);Friedrich Miescher Institute for Biomedical Research(弗里德里希·米歇尔生物医学研究所);Faculty of Science, University of Basel(巴塞尔大学理学院);China Nanhu Academy of Electronics and Information Technology (CNAEIT)(中国南湖电子信息技术研究院)
本文研究循环脉冲神经网络(RSNNs)在完全植入式脑机接口中从皮层脉冲序列解码手指速度的可行性,通过训练大型和微型RSNN模型,证明其在严格资源约束下优于现有SNN和ANN解码器,为超低功耗植入式BMI提供了有前景的解决方案。
2024-09-03 cs.HC cs.LG cs.NE
Multi-tasking via baseline control in recurrent neural networks
该研究利用随机耦合循环神经网络中的储备池计算表明,基线输入电流调制可诱发混沌增强、滞后和遍历性破缺,并让网络无需优化耦合即可执行多任务。
2023-06-04 physics.bio-ph q-bio.NC
Recurrent network dynamics explain the time course of perceptual grouping in natural scenes
Netherlands Institute for Neuroscience(荷兰神经科学研究所);Brown University(布朗大学);Carney Institute for Brain Science, Brown University(布朗大学卡尼脑科学研究所);Centrum Wiskunde & Informatica(数学与计算机科学中心);University of Amsterdam(阿姆斯特丹大学);Sorbonne Université(索邦大学);Institut National de la Santé et de la Recherche Médicale(国家健康与医学研究院);Centre National de la Recherche Scientifique(法国国家科学研究中心);Institut de la Vision(视觉研究所);VU University(自由大学);Academic University Medical Center(学术医学中心)
本文提出一个受大脑启发的循环神经网络框架,通过局部边界信号和自上而下反馈解释自然场景中的知觉分组,其动力学预测了人类反应时间,连接了皮层动力学与人类视觉。
2026-10-06 q-bio.NC
Neural wave interference and intrinsic tuning in distributed excitatory-inhibitory networks
我们开发了一个模型的皮质计算,实现皮质电路的关键功能,并能够描述在空间分布的刺激皮质位置之间的神经信号的传播。该模型是基于典型的神经回路,包括兴奋性和抑制性细胞通过相互连接,与经常性反馈相互作用。典型电路被用作分布式网络中的节点,节点之间具有最近邻耦合。我们发现,这个系统的特点是由内在的空间频率偏好。优选频率的值取决于细胞之间的兴奋性和抑制性连接的相对权重。这种兴奋和抑制的平衡随着刺激对比度的增加而改变,这就是为什么预测固有空间频率以由刺激时间频率确定的方式随着对比度而改变。网络偏好的动态与警觉猕猴皮层区MT的特性一致。
2018-10-20 q-bio.NC
Cortical Circuits from Scratch: A Metaplastic Architecture for the Emergence of Lognormal Firing Rates and Realistic Topology
我们目前对神经可塑性的理解描绘了一幅复杂的相互关联的系统的图景,这些系统由塑造皮层结构的相关过程组成,从而产生一个有效的信息处理系统。事实上,这些过程的合作是与强大的,稳定的,适应性强的网络活动和突触拓扑结构的特征。然而,在模型中结合这些机制的作用已被证明是非常困难的,迄今为止,没有一个模型能够在没有显著的手动调整的情况下做到这一点。除非有这样一个模型能够成功地将这些机制结合起来,形成一个具有现实特征的稳定回路,否则我们在(更现实的)动态网络中研究神经可塑性的能力,以及可能获得这些特征和机制赋予生物网络的任何回报的能力都会受到阻碍。我们介绍了一个模型,它结合了五个已知的可塑性机制,作用于网络,以及一个独特的化生机制,作用于其他可塑性机制,产生一个神经回路模型,这是稳定的,能够广泛地再现许多特征的皮层网络。MANA(化生性人工神经结构)代表了第一个模型,因为它能够从零初始状态(没有突触连接或神经元分化)自组织皮质网络的现实,非随机特征。与SORN(自组织循环网络)等模型一样,MANA代表了在网络层面上对大脑进行逆向工程的进一步进展。
2018-03-30 q-bio.NC
Brief wide-field photostimuli evoke and modulate oscillatory reverberating activity in cortical networks
利用光遗传学技术操纵细胞组装体是推进神经科学和神经工程的关键。在体内应用中,光刺激通常广泛地同时处理细胞群体,导致前馈和在复发性微电路中的回响响应。前者由下游靶点的直接激活引起,并且易于解释。后者是反馈连通性的结果,可以反映各种时间尺度和复杂的动力学性质。我们研究了体外皮层网络的宽场光刺激,采用基底集成微电极阵列和长期培养的神经元网络。我们的特点是短暂的光脉冲的影响,同时限制表达的通道视紫红质的主要神经元。我们诱发了强大的混响响应,在生理伽马频率范围内振荡,并发现这样的频率可以可靠地操纵,改变光脉冲的持续时间,而不是它的强度。通过药理学、数学建模和细胞内记录,我们得出结论,伽马振荡可能在体内从兴奋-抑制相互作用中出现,并且出乎意料地,光刺激短暂地促进兴奋性突触传递。在体外模型(dys)的功能性皮层微电路和细胞组装体的体内操作的相关性,我们给出了第一次证据的网络水平的后果,改变突触生理学的光遗传学
2016-04-07 q-bio.NC
New hallmarks of criticality in recurrent neural networks
对大脑动力学和功能的严格理解需要在多个层次的组织之间建立一个概念上的桥梁,包括神经尖峰和网络级的群体活动。越来越多的证据表明,大脑皮层的神经网络处于临界状态。在这种网络状态附近操作如何影响神经元尖峰的可变性在很大程度上是未知的。在这里,我们表明,在一个计算模型中,两个普遍的功能,皮层单神经元活动,不规则尖峰和刺激发作时的反应变异性下降,都是紧急的特性,经常性的网络附近的临界操作。重要的是,我们的工作揭示了尖峰的不规则性与神经元的输入连接数量之间的关系,即,入度在临界时最大化。我们的研究结果建立了临界性作为一个统一的原则,为单神经元尖峰的变化和集体行为的循环回路在大脑皮层。
2016-10-08 q-bio.NC
Encoding Sensory and Motor Patterns as Time-Invariant Trajectories in Recurrent Neural Networks
大脑处理和存储的大部分信息本质上都是时间性的--例如,一个口语单词或一个手写签名,是由它在时间上如何展开来定义的。然而,目前还不清楚神经回路如何编码复杂的时变模式。我们表明,通过调整循环神经网络(RNN)的权重,它可以识别然后转录口语数字。该模型阐明了皮层网络中的神经动力学如何解决三个基本挑战:第一,将多个随时间变化的感觉和运动模式编码为稳定的神经轨迹;第二,概括相关的空间特征;第三,识别以不同速度播放的相同刺激-我们表明,这种时间不变性的出现是因为递归动力学产生具有适当调制角速度的神经轨迹。我们的研究结果共同产生了可测试的预测,即递归网络如何使用不同的机制来概括复杂时变刺激的相关空间和时间特征。
2017-08-13 q-bio.NC
Topological Origin of the Diversity of Timescales in Recurrent Neural Circuits
Padova Neuroscience Center, University of Padova(帕多瓦神经科学中心,帕多瓦大学);Institute of Neuroscience, Departments of Biology, Mathematics & Physics, University of Oregon(俄勒冈大学生物学、数学与物理学系神经科学研究所);Department of Physics and Astronomy “Galileo Galilei”, University of Padova(帕多瓦大学“伽利略·伽利莱”物理与天文学系);INFN, Padova Division(意大利国家核物理研究所,帕多瓦分部)
研究揭示了循环神经回路中时间尺度多样性的拓扑起源,通过分析连接异质性与神经动力学的关系,发现枢纽神经元在多重处理中的作用。
2026-03-04 q-bio.NC
Genetic Algorithmic Parameter Optimisation of a Recurrent Spiking Neural Network Model
神经网络是对人脑行为进行松散建模的复杂算法。它们在计算神经科学和人工智能中起着重要的作用。下一代神经网络模型是基于神经元的尖峰定时活动:脉冲神经网络(SNN)。然而,SNN中的模型参数难以搜索和优化。以前的研究,使用遗传算法(GA)优化SNN主要集中在简单的,前馈,或振荡网络,但没有太多的工作已经做了优化皮质类递归SNN。在这项工作中,我们研究了使用遗传算法来搜索递归SNN中的最佳参数,以达到目标神经元群体的放电率,例如在实验观察中。我们考虑了基于皮质柱的SNN,包括1000个Izhikevich尖峰神经元,用于计算效率和生物现实主义。探索的模型参数是神经元偏置输入电流。首先,我们找到了这个特定的SNN,目标人口平均发射活动的最佳参数值,算法的收敛约100代。然后,我们表明,GA的最佳人口规模在~16-20,而返回最佳适应值的交叉率为~0.95。总的来说,我们已经成功地证明了实施GA优化模型参数在一个经常性的皮质SNN的可行性。
2020-05-27 cs.NE q-bio.NC
Linking connectivity, dynamics and computations in low-rank recurrent neural networks
大规模的神经记录已经确定,感官刺激转化为运动输出依赖于低维动力学在人口水平,而个别神经元表现出复杂的选择性。理解混合分布式表征的低维计算如何从皮层网络的递归连接和输入结构中产生是一个重大挑战。在这里,我们研究了一类循环网络模型,其中的连通性是一个随机部分和一个最小的,低维结构的总和。我们表明,在此类网络中,动力学是低维的,并且可以使用几何方法直接从连通性推断。我们利用这种理解来确定实现特定计算所需的最小连接,并发现动态范围和计算能力随着连接结构的维数迅速增加。这个框架产生可测试的实验预测的连接,低维动力学和记录的神经元的计算功能之间的关系。
2018-08-28 q-bio.NC
Discrete signaling mediates chaotic regularization in recurrent neural networks
The Hebrew University(希伯来大学);Jülich Research Centre(于利希研究中心);University College London(伦敦大学学院);EPFL(洛桑联邦理工学院);INFN Gruppo Collegato di Parma(帕尔马INFN协作组);RWTH Aachen University(亚琛工业大学)
通过结合核方法和动态平均场理论,揭示了混沌动力学如何在递归神经网络中引入局部粗糙度并保持全局平滑性,从而作为内在正则化器增强泛化能力,并解释了混沌网络如何维持平滑的群体编码。
2026-06-03 cond-mat.dis-nn q-bio.NC
Hybrid Spiking Neural Networks for Low-Power Intra-Cortical Brain-Machine Interfaces
Karlsruhe Institute of Technology, Karlsruhe, Germany(卡尔斯鲁厄理工大学);FZI Research Center for Information Technology, Karlsruhe, Germany(弗劳恩霍夫信息与通信技术研究中心);Infineon Technologies, Dresden, Germany(英飞凌科技)
本研究提出混合脉冲神经网络用于无线皮层内脑机接口的嵌入式神经解码,在保持低功耗的同时实现高精度运动速度预测,超越现有基线模型。
2024-09-26 cs.AI cs.LG q-bio.NC
Dynamics of multi-stable states during ongoing and evoked cortical activity
单个试验分析合奏活动在警觉的动物表明,皮层电路动态演变通过时间序列的亚稳态。亚稳性已被研究其在感觉编码,记忆和决策中的潜在作用。然而,人们对负责其起源的网络机制知之甚少。通常假设状态序列的开始是由外部刺激触发的。在这里,我们表明,状态序列也可以观察到在没有明显的感官刺激。对警觉大鼠味觉皮层多电极记录的分析揭示了持续的状态序列,其中单个神经元自发地在不同状态下获得几个放电率。这种单神经元多稳定性代表了对现有尖峰网络模型的挑战,其中通常每个神经元至多是双稳定的。我们提出了一个经常性的尖峰网络模型,占两个自发产生的状态序列和多稳定性的单神经元放电率。每个状态都是由具有增强的簇内连接的神经簇的激活引起的,每个簇中的放电率取决于活跃簇的数量。模拟表明,模型集合活动在不同状态之间跳跃,再现了数据中观察到的持续动态。当探测外部刺激时,该模型预测了单神经元多稳态到双稳态的淬灭和逐个试验变异性的减少。这两个预测都在数据中得到了证实。总之,这些结果提供了一个理论框架,捕捉正在进行的和诱发的网络动态在一个单一的机制模型。
2016-03-22 q-bio.NC
The role of inhibitory neuronal variability in modulating phase diversity between coupled networks
本研究探索抑制性神经元变异性对两个皮质区域间相位关系多样性的调节作用,发现其可扩大零滞后同步和双稳态区域、调节DS到AS的转变,为远距离脑区通讯机制及双稳态感知关联提供新见解。
2024-11-29 physics.bio-ph q-bio.NC
Adaptive compressed sensing - a new class of self-organizing coding models for neuroscience
稀疏编码网络利用无监督学习来最大化编码效率,已经成功地再现了初级视觉皮层\cite{AN:OlshausenField96}中发现的响应特性。然而,传统的稀疏编码模型要求编码电路能够以一对一的方式对感觉数据进行完全采样,这一要求不被来自丘脑-皮层投影的实验数据所支持。为了减轻这些严格的布线要求,我们提出了一个稀疏编码网络,通过引入压缩感知的框架中的突触学习。我们证明,新的模型进化生物现实的空间平滑的感受野,尽管事实上,前馈连接subsamples输入,从而学习依赖于贫困和扭曲的帐户的原始视觉数据。此外,我们证明,该模型可以形成一个一般的计划皮质通信:它可以形成有意义的表示在一个次要的感觉区,它接收输入从主要的感觉区通过“压缩”皮质-皮质投影。最后,我们证明了我们的模型属于一类新的稀疏编码算法,其中经常性的连接是必不可少的形成空间感受野。
2011-05-24 q-bio.NC
Trial matching: capturing variability with data-constrained spiking neural networks
本文提出用数据约束的大规模递归脉冲神经网络结合最优传输方法,匹配神经活动与行为的逐试验变异性,实现逼真皮层活动生成和下颌运动预测,并发现任务无关运动这一意外变异性模式。
2023-12-01 q-bio.NC
Emergent Computations in Trained Artificial Neural Networks and Real Brains
Universidad Autónoma de Madrid(马德里自治大学);Sano - Centre for Computational Personalised Medicine(Sano计算个性化医学中心)
突触可塑性使大脑皮层回路能够学习新的任务并适应不断变化的环境。大脑皮层回路是如何利用可塑性来获得决策或工作记忆等功能的?神经元以复杂的方式连接,形成循环的神经网络,学习改变了它们连接的强度。此外,神经元发出短暂的离散电信号进行通信。在这里,我们描述了如何在神经科学实验室中训练动物的任务中训练递归神经网络,以及如何在训练好的网络中出现计算。令人惊讶的是,人工网络和真正的大脑可以使用类似的计算策略。
2022-12-13 cs.AI cs.NE q-bio.NC
Gap junction plasticity as a mechanism to regulate network-wide oscillations
皮质振荡被认为参与许多认知功能和过程。已经提出了几种机制来调节振荡。一个突出但研究不足的机制是间隙连接耦合。缝隙连接普遍存在于皮层GABA能中间神经元之间。此外,最近的实验表明,它们的强度可以以活动依赖的方式进行修改,类似于化学突触。我们假设,活动依赖的间隙连接可塑性作为一种机制,以调节振荡的皮层。我们开发了一个计算模型的间隙连接可塑性在一个经常性的皮层网络。我们发现,间隙连接可塑性可以作为一个稳态振荡机制,通过保持两个网络状态之间的紧密平衡:异步不规则活动和同步振荡。这种稳态机制允许神经元组件之间通过两种不同的机制进行鲁棒通信:瞬时振荡和频率调制。这意味着间隙连接可塑性在皮层信息传递中的直接功能作用。
2017-07-07 q-bio.NC
Causal Spike Timing Dependent Plasticity Prevents Assembly Fusion in Recurrent Networks
该研究通过数值模拟与平均场理论发现,循环网络中因果型STDP规则可抵消共享神经元的对称相关性,使成员高度重叠的神经元集群维持功能独立,而非因果STDP在重叠超阈值时会引发集群融合,为分布式表征机制提供了理论依据。
2025-01-16 q-bio.NC
Guiding synchrony through random networks
稀疏随机网络包含可被视为稀释前馈网络的结构。皮质电路的建模表明,前馈结构,如果强烈明显的嵌入随机网络相比,使可靠的信号传输传播本地化(子网络)同步。然而,这种假设的突出性在局部皮层回路中没有实验观察到。在这里,我们表明,在最近的单神经元实验中发现的非线性树突相互作用,自然使引导同步传播已经在随机循环神经网络表现出轻度增强,生物学上合理的子结构。
2013-08-15 cond-mat.dis-nn physics.bio-ph q-bio.NC
Multimodal Recurrent Ensembles for Predicting Brain Responses to Naturalistic Movies (Algonauts 2025)
Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);TU Dresden(德累斯顿技术大学);School for Embedded and Composite AI (SECAI)(嵌入式与复合人工智能学院);Center for Scalable Data Analytics & AI (ScaDS.AI)(可扩展数据与人工智能中心)
本研究提出分层多模态循环集成模型,整合多模态时序信息预测大脑对自然电影的fMRI反应,在Algonauts 2025挑战赛中获季军,为多模态脑编码研究提供了可扩展基线。
2025-10-29 cs.CV cs.LG q-bio.NC
The Neuroscience of Transformers
University of Osnabrück(奥斯纳布吕克大学);University Medical Center Hamburg-Eppendorf(汉堡-埃彭多夫大学医学中心);Erasmus MC(伊拉斯姆斯大学医学中心)
本文探讨变换器网络如何类比大脑皮层微电路结构,提出变换器操作与皮层分层特征的映射关系,为研究皮层功能提供新视角。
2026-03-16 q-bio.NC q-bio.SC q-bio.TO
Mechanisms underlying the response of mouse cortical networks to optogenetic manipulation
本文通过解析计算与数值模拟,研究小鼠运动皮层和桶状皮层中PV神经元光刺激引发的矛盾响应,发现双群体模型无法解释该现象,而三或四抑制性群体模型可解释不同皮层的实验数据,并揭示矛盾效应要求循环兴奋不能过强。
2024-09-02 cond-mat.dis-nn q-bio.NC
The effect of heterogeneity on decorrelation mechanisms in spiking neural networks: a neuromorphic-hardware study
高级脑功能,如记忆,分类或推理,可以通过简化模型神经元的递归网络来实现。模拟神经形态硬件构成了用于在技术应用和神经科学研究中实现这种神经计算架构的快速且节能的基底。神经网络的功能性能通常严重依赖于神经活动中的相关性水平。在有限网络中,由于共享的突触前输入,相关性通常是不可避免的。最近的理论研究表明,生物神经网络中大量存在的抑制性反馈可以主动抑制这些共享输入相关性,从而使神经元几乎独立地放电。对于尖峰神经元的网络,抑制反馈的去相关效应到目前为止已经明确地证明了只有线性亚阈值动力学的同质神经元网络。然而,理论表明,这种效应是一种普遍现象,存在于任何具有足够抑制反馈的系统中,与网络结构或神经元和突触特性的细节无关。在这里,我们研究网络异质性的影响,在稀疏的,随机网络的抑制性神经元与非线性,基于电导的突触的相关性。模拟神经形态硬件系统Spikey上的这些网络的仿真,使我们能够测试的效率去相关抑制反馈中存在的硬件特定的异质性。硬件基板的可配置性使我们能够以系统的方式调节异质性的程度。我们选择性地研究了共享输入和循环连接对膜电位和脉冲序列相关性的影响。我们的结果证实...
2016-06-09 q-bio.NC
A Unified Cortical Circuit Model with Divisive Normalization and Self-Excitation for Robust Representation and Memory Maintenance
Qiyuan Laborotary(启元实验室);Beijing Normal University(北京师范大学)
本文提出一个结合分裂归一化与自激发的统一皮层回路模型,在单个微回路中同时实现抗噪声鲁棒编码、工作记忆维持和近似贝叶斯推断,并通过RDK与pWCST任务验证其有效性。
2025-08-18 cs.AI cs.NE q-bio.NC
Probability-Invariant Random Walk Learning on Gyral Folding-Based Cortical Similarity Networks for Alzheimer's and Lewy Body Dementia Diagnosis
Department of Computer Science and Engineering, University of Texas at Arlington, United States(德克萨斯理工大学计算机科学与工程系);School of Computing, University of Georgia, United States(佐治亚大学计算机学院);Department of Psychiatry, University of Cambridge, United Kingdom(剑桥大学精神病学系);Sheffield Institute for Translational Neuroscience, University of Sheffield, United Kingdom(谢菲尔德大学转化神经科学研究所)
本文提出基于皮层相似性网络的概率不变随机游走学习方法,用于AD和LBD的诊断,通过保留排列不变性提升模型鲁棒性。
2026-02-23 cs.AI cs.CV q-bio.NC
Learning recurrent dynamics in spiking networks
Laboratory of Biological Modeling, NIDDK/NIH(美国国立糖尿病、消化系统疾病和肾病研究所(NIDDK)/美国国立卫生研究院(NIH)生物建模实验室)
参与学习和执行任务的神经元的尖峰活动表现出复杂的时空动态。虽然递归网络模型的输出可以学习执行各种任务,但学习后出现的递归动态的可能范围仍然未知。在这里,我们表明,修改经常性的连接与递归最小二乘算法提供了足够的灵活性,突触和尖峰速率动态尖峰网络产生广泛的时空活动。我们应用该训练方法来学习任意的放电模式,稳定平衡网络的不规则尖峰活动,并再现参与运动规划和运动的皮层神经元的异质尖峰速率模式。我们确定了成功学习的充分条件,描述了两种类型的学习错误,并评估了网络容量。我们的研究结果表明,突触耦合的周期性尖峰网络具有巨大的计算能力,可以支持大脑中的各种活动模式。
2018-08-18 cs.AI cs.LG cs.NE
Unconditional stability of a recurrent neural circuit implementing divisive normalization
Courant Institute of Mathematical Sciences, NYU(纽约大学柯朗数学科学研究所);Department of Psychology, NYU(纽约大学心理学系);Center for Neural Science, NYU(纽约大学神经科学研究中心)
本研究将动态除法归一化与具备生物学合理性的递归皮层回路模型ORGaNICs的稳定性关联,证明其特定条件下的无条件局部稳定性,推导能量函数,验证其可无梯度裁剪训练且在分类和序列任务上表现优异。
2025-01-15 cs.AI cs.LG math.DS
Multi-Objective Optimisation of Cortical Spiking Neural Networks With Genetic Algorithms
脉冲神经网络(SNN)通过神经元的全或无脉冲活动进行通信。然而,将大量的SNN模型参数拟合到观察到的神经活动模式,例如在生物实验中,仍然是一个挑战。以前的工作,使用遗传算法(GA)优化一个特定的高效SNN模型,使用Izhikevich神经元模型,仅限于一个单一的参数和目标。这项工作应用了一种称为非支配排序GA(NSGA-III)的GA版本,以证明对同一SNN执行多目标优化的可行性,重点是搜索网络连接参数,以实现兴奋性和抑制性神经元类型的目标放电率,包括不同的网络连接稀疏性。我们表明,NSGA-III可以很容易地优化各种射击率。值得注意的是,当兴奋性神经元的放电率高于或等于抑制性神经元的放电率时,误差较小。此外,当连接稀疏性被认为是一个参数进行优化,最佳的解决方案需要稀疏的网络连接。我们还发现,兴奋性神经元的放电率低于抑制性神经元,误差一般较大。总的来说,我们已经成功地证明了对经常性和稀疏SNN的网络参数实施多目标GA优化的可行性。
2021-05-14 cs.NE q-bio.NC
Expectation-induced modulation of metastable activity underlies faster coding of sensory stimuli
感官刺激可以更快地识别时,他们的预期。这种现象依赖于预期影响皮层对感觉信息的处理。然而,几乎没有什么是已知的机制负责的预期对感觉网络的影响。在这里,我们报告了一种新的计算机制,其基础是在警觉大鼠的味觉皮层(GC)中观察到的预期依赖性编码加速。我们使用一个经常性的尖峰网络模型与集群架构捕捉皮质活动的基本特征,包括味觉刺激前后在GC中观察到的亚稳态活动。依靠网络理论和计算机模拟,我们提出,期望发挥其功能,通过调制内在产生的动态之前的味道传递。我们的模型,其预测在实验数据中得到证实,演示了内在亚稳态活动的调制如何塑造感觉编码和介导认知过程,如相关事件的预期。总之,这些结果提供了一个生物学上合理的理论的期望和归因于一个新的功能作用,内在产生的,亚稳态活动。
2018-11-02 q-bio.NC
Stimulus-to-Stimulus Learning in RNNs with Cortical Inductive Biases
California Institute of Technology(加州理工学院)
本文提出一个利用皮层表征与架构归纳偏置的RNN模型,实现刺激替代学习,生成广泛条件作用现象,无需参数微调,凸显多房室神经元处理的重要性。
2024-09-20 cs.LG cs.NE q-bio.NC
Long-term memory stabilized by noise-induced rehearsal
尽管突触强度的寿命很短,但皮层网络可以保持数十年的记忆。神经网络能在不稳定的突触中存储持久的记忆吗?在这里,我们研究随机噪声对存储在吸引子神经网络的突触中的记忆的稳定性的影响。该模型包括持续的尖峰时间依赖可塑性(STDP)。我们表明,某些类的STDP规则可以导致存储在网络中的记忆模式的稳定。这种稳定性是由噪声引起的排练造成的。我们发现,非结构化的神经噪声,通过经常性的网络权重后,进行时间相关性的所有记忆模式的印记。在某些条件下,STDP与这些相关性相结合,可以导致所有现有模式的强化,即使是那些从未明确访问过的模式。因此,非结构化神经噪声可以稳定突触连接的现有结构。我们的研究结果可能提供功能的原因,高度不规则的尖峰显示皮层神经元和系统记忆巩固模型提供的理由。因此,我们提出不规则的神经活动是帮助皮层网络维持稳定连接的特征。
2012-05-31 cond-mat.dis-nn q-bio.NC
Mapping Whisper Representations to Human ECoG Responses with Interpretable Time-Resolved Neural Encoding
University of Rome Tor Vergata(罗马托尔维加塔大学);Tether Evo;A.A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital(麻省总医院 A.A. 马丁诺斯生物医学成像中心)
通过时间分辨神经编码器结合语音嵌入与循环时间模型及软注意力,研究Whisper内部表示如何预测颅内ECoG响应,发现中间层与神经活动对应最强,且高分辨率ECoG受益于时间结构化建模。
2026-06-01 cs.HC q-bio.NC
Simultaneously Determining Regional Heterogeneity and Connection Directionality from Neural Activity and Symmetric Connection
本研究提出新型神经环路重建框架,可从神经活动与对称连接同时估计节点异质性和非对称连接,经猕猴数据与模型验证,揭示了兴奋-抑制网络的功能等价性及连接重建的局限性与标度原理。
2025-10-05 physics.bio-ph q-bio.NC
Emergent Bio-Functional Similarities in a Cortical-Spike-Train-Decoding Spiking Neural Network Facilitate Predictions of Neural Computation
Qiushi Academy for Advanced Studies, Zhejiang University(浙江大学求是高等研究院);College of Biomedical Engineering and Instrument Science, Zhejiang University(浙江大学生物医学工程与仪器科学学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);China Nanhu Academy of Electronics and Information Technology (CNAEIT)(中国电子科技南湖研究院)
尽管目标驱动的发放神经网络(SNN)具有更好的生物可识别性,但它在生物脉冲序列方面并没有达到适用的性能,而且与传统的人工神经网络相比,SNN的生物功能相似性很小。在这项研究中,我们提出了motorSRNN,一个经常性的SNN拓扑启发灵长类动物的神经运动回路。通过采用motorSRNN在解码脉冲序列从初级运动皮层的猴子,我们取得了很好的平衡之间的分类精度和能量消耗。motorSRNN通过捕获和培养更多的余弦调谐(运动皮层神经元的基本属性)与输入进行通信,并在训练期间保持稳定。在我们的猴子中也观察到这种训练诱导的培养和余弦调谐的持续性。此外,motorSRNN在单神经元、群体和电路水平上产生了额外的生物功能相似性,证明了生物真实性。因此,对motorSRNN的消融研究表明,长期稳定的反馈突触有助于运动皮层的训练诱导培养。除了这些新的发现和预测,我们还提供了一个新的框架来构建真实的神经计算模型。
2023-03-14 cs.AI q-bio.NC
Prominent characteristics of recurrent neuronal networks are robust against low synaptic weight resolution
神经元网络模型在相关空间尺度上的自然密度、异质连接性的表示仍然是计算神经科学和神经形态计算的一个挑战。特别是,在大脑规模的网络模拟中,大量突触所带来的记忆需求构成了一个主要障碍。限制突触权重的数字分辨率似乎是减少内存和计算负载的自然策略。在这项研究中,我们研究了有限的突触权重分辨率对类似于局部皮层电路的经常性尖峰神经元网络动态的影响,并制定了策略,以最大限度地减少与高分辨率突触权重的网络动态的偏差。我们模仿有限的突触权重分辨率的效果,通过从离散分布的权重取代正态分布的突触权重,并比较所得到的统计特征的发射率,尖峰序列的不规则性,和相关系数与参考解决方案。我们表明,一个天真的离散化的突触权重一般会导致失真的尖峰脉冲序列的统计。只有当权重被离散化,使得总突触输入电流的均值和方差被保留时,本研究中考虑的网络类型的放电统计才不受影响。对于具有足够异质入度的网络,即使所有突触权重被权重分布的平均值替换,也可以保留激发统计。我们的结论是,即使是简单的网络与非塑性神经元和突触,突触权重的离散化可能会导致放电统计的实质性偏差,除非离散化是小心执行,并通过严格的验证过程的指导。
2021-05-11 q-bio.NC
Variable Synaptic Strengths Controls the Firing Rate Distribution in Feedforward Neural Networks
已知放电率统计的异质性对神经编码具有严重后果。最近的实验记录在弱电鱼表明,分布宽度的浅锥体细胞放电率(审判和时间平均)在electrosensory侧线叶(ELL)取决于刺激,网络输入可以介导的变化,在整个人口的放电率分布。我们以前开发的理论方法来了解两个属性(突触和内在异质性)如何相互作用,并改变了群体的整合和消防神经元与随机经常性耦合的放电率分布。受我们实验数据的启发,我们将这些理论结果扩展到延迟前馈尖峰网络,该网络定性地捕获在体内记录中观察到的发射率异质性的变化。我们展示了异质性的神经属性如何改变放电率的异质性,占各种感官刺激的效果。该模型预测的有效网络连接的强度是如何与内在的异质性,在这种延迟前馈网络:前馈输入的强度是正相关的兴奋性(尖峰的阈值)与低发射率的异质性和负相关的兴奋性与高发射率的异质性。我们还展示了我们的理论如何用于预测有效的神经结构。我们证明,神经属性不以简单的方式相互作用,而是在一个复杂的刺激依赖的方式来控制神经异质性,并讨论它如何最终塑造人口代码。
2017-08-11 q-bio.NC
Context-dependent representation in recurrent neural networks
为了评估非线性随机神经网络的短期记忆性能,我们引入了一种度量来量化神经表示对过去上下文的依赖性。我们研究这一措施的数值和理论上使用随机神经网络的平均场论,显示存在一个最佳水平的突触权重异质性。我们进一步调查的网络拓扑结构的影响,特别是相互突触连接的对称性,这种措施的上下文依赖性,揭示了考虑非线性和连接结构之间的相互作用的重要性。
2016-03-07 cond-mat.dis-nn q-bio.NC
Neural Heterogeneity Enables Adaptive Encoding of Time Sequences
该研究基于鱼类丘脑神经元的神经疲劳机制,建立含细胞异质性的贝叶斯时序表征理论,发现异质性是编码间隔序列的必要条件,可为循环网络的时空信息高效存储回忆提供支持。
2025-05-20 q-bio.NC
Hebbian learning of recurrent connections: a geometrical perspective
我们展示了一个具有可修改的经常性连接的Hopfield网络如何通过缓慢的Hebbian学习来提取输入空间的底层几何。首先,我们使用一个慢/快的分析,以获得一个平均的系统,其动态来自能量函数,因此总是收敛到平衡点。平衡反映了输入的相关结构,一个全局对象只通过局部经常性的相互作用提取。其次,我们使用数值方法来说明学习如何提取输入的隐藏几何结构。事实上,多维缩放方法可以将最终的连接矩阵投影到高维空间中的距离矩阵上,神经元在该空间中的空间位置被标记。由此产生的网络结构大致是卷积的。投影的残差定义了在该过程中最小化的连接的非卷积部分。最后,我们展示了如何限制神经元生活的空间的尺寸产生类似于皮层地图的模式。我们激励这使用基于线长最小化的能源效率参数。最后,我们展示了这种方法是如何导致初级视觉皮层中眼优势或方向列的出现的。此外,我们还确定了非卷积(或长距离)连接是不完整的,并且在方向学习的情况下是共同对齐的。
2011-02-01 nlin.AO q-bio.NC
Embedding of Low-Dimensional Sensory Dynamics in Recurrent Networks: Implications for the Geometry of Neural Representation
University of Washington School of Medicine(华盛顿大学医学院);Purdue University Fort Wayne(普渡大学韦恩堡分校);University of Washington(华盛顿大学)
研究探讨了低维感觉动态如何在循环网络中形成嵌入结构,并揭示了预测性能对表征几何的约束作用。
2026-08-03 cs.LG q-bio.NC
A wake-sleep algorithm for recurrent, spiking neural networks
我们调查最近提出的模型进行关系推理的皮质计算。它由几个相互连接的,结构上等效的群体泄漏整合和消防(LIF)神经元,这是训练在一个自组织的方式与尖峰定时依赖可塑性(STDP)。尽管其强大的学习动力学,该模型是容易受到一个典型的递归网络,使用基于相关性(赫布)的学习规则的问题:如果训练与高学习率,经常性的连接可能会导致强反馈回路的网络动态,这导致吸引子状态的出现。这导致可表示模式的数量大幅减少,网络的推理能力下降。作为解决方案,我们引入了一个概念上非常简单的“唤醒-睡眠”算法:在唤醒阶段,正常执行训练,而在睡眠阶段,网络从其生成模型中“做梦”样本,这些样本由随机输入引起。这个过程允许我们激活网络中的吸引子状态,然后可以通过反赫布机制有效地取消学习。该算法允许我们将学习率提高到10倍,同时避免聚类,这使得网络的学习速度提高了几倍。此外,对于低学习率,其中聚类不是问题,它提高了收敛速度并减少了最终的推理误差。
2017-03-18 cs.NE q-bio.NC
Lyapunov spectra of chaotic recurrent neural networks
大脑通过大型神经网络的集体动态来处理信息。集体混沌被认为是大脑皮层回路中观察到的复杂动态的基础,并决定了传入信息流的影响和处理。在耗散系统中,混沌动力学发生在降维相空间的一个子集上,并由稳定、中性和不稳定流形的复杂缠结组织起来。这种相空间结构的关键拓扑不变量,如吸引子维数和Kolmogorov-Sinai熵至今仍然难以捉摸。本文计算了循环神经网络的完全李雅普诺夫谱。我们发现,在这些网络中的混沌是广泛的大小不变的李雅普诺夫谱和吸引子维数远小于相空间维数的数量为特征。我们发现,附近的混沌,非常激烈的混乱,离散时间动态,随机矩阵理论提供了分析近似的完整的李雅普诺夫谱。我们发现,一个广义的时间反转对称的网络动力学诱导的点对称的李雅普诺夫谱让人想起混沌哈密顿系统的辛结构。波动输入降低了熵率和吸引子维数。对于训练的递归网络,我们发现,李雅普诺夫谱分析提供了一个量化的误差传播和稳定性实现。我们的方法适用于系统的任意连接,我们描述了一套全面的控制的准确性和收敛性的李雅普诺夫指数。我们的结果为表征循环神经网络的复杂动力学和相应的混沌吸引子的几何结构开辟了一条新的途径。他们还强调了李雅普诺夫谱分析作为递归网络机器学习应用的诊断的潜力。
2020-06-03 nlin.CD q-bio.NC