Interpreting Encoding and Decoding Models
编码和解码模型广泛用于系统、认知和计算神经科学,以理解大脑活动数据。然而,对其结果的解释需要谨慎。解码模型可以帮助揭示特定信息是否以解码器可以利用的格式存在于大脑区域中。编码模型对表征空间做出了全面的预测。在感觉系统的背景下,编码模型使我们能够测试和比较大脑计算模型,从而直接约束计算理论。编码和解码模型通常包括拟合的线性模型分量。有时,拟合线性组合的权重被解释为在编码模型中反映不同感觉特征对表示的贡献,或者在解码模型中反映不同测量的大脑响应对解码特征的贡献。当预测变量或其噪声分量相关时,以及当先验(或惩罚)用于正则化拟合时,这样的解释可能是有问题的。编码和解码模型的泛化性能进行评估。正确的解释取决于模型实现的泛化水平(例如,对相同刺激的新反应测量,对来自相同人群的新刺激,或对来自不同人群的刺激)。单个模型的显著解码或编码性能(在任何一般性水平下)不为理论提供强约束。许多模型必须进行测试和比较,以进行分析,推动理论进步。
2019-04-26 q-bio.NC
Visual Semantic Decoding of Electrocorticography from Video Stimuli using End-to-End Deep Learning
The University of Melbourne(墨尔本大学);Bionics Institute(仿生研究所);The University of Osaka(大阪大学)
研究利用端到端深度学习框架对视频刺激的脑电信号进行视觉语义解码,在每个视觉类别训练样本少的情况下评估多种方法,分析最佳方法依赖的信息,所选系统有良好性能且模型行为可解释,与神经科学知识相符。
2026-07-22 cs.LG q-bio.NC
Using persistent homology to reveal hidden information in neural data
我们提出了一种方法,基于持久的同源性,揭示神经元活动的先验未知协变量的拓扑性质。我们的输入数据包括一组感兴趣的神经元的脉冲序列测量值、控制神经元活动的已知刺激的候选列表以及整个实验过程中动物的相应状态。使用一个广义线性模型的神经元活动和简单的假设的影响,外部刺激,我们推断出任何贡献所观察到的脉冲序列的候选刺激。持续的同源性,然后揭示有用的信息,任何进一步的,未知的,协变量。
2015-10-22 math.AT q-bio.NC
Anatomical Pattern Analysis for decoding visual stimuli in human brains
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
背景:在神经科学和机器学习中,一个普遍的未回答的问题是计算机是否可以解码人脑的模式。多体素模式分析(MVPA)是解决这一问题的关键工具。然而,在以前的MVPA方法中存在两个挑战,这包括减少提取的特征中的稀疏性和噪声以及提高预测性能。方法:在克服上述挑战,本文提出了解剖模式分析(APA)解码的视觉刺激在人脑中。该框架开发了一种新的解剖特征提取方法和一种新的不平衡AdaBoost算法进行二进制分类。此外,它利用纠错输出码(ECOC)方法进行多类预测。APA可以自动检测每个类别的视觉刺激的活动区域。此外,它使我们能够结合同质数据集应用高级分类。结果和结论:对4个视觉类别(单词、辅音、物体和杂乱照片)的实验研究表明,该方法比现有方法具有更好的性能。
2017-10-05 cs.CV q-bio.NC stat.ML
Nonlinear decoding of a complex movie from the mammalian retina
视网膜回路将光的时空模式转换成神经节细胞的尖峰活动,神经节细胞向大脑提供唯一的视觉输入。最近的进展导致了视网膜活动和刺激编码的大神经元群体的详细表征。解码的逆问题,其中刺激是从尖峰重建,已经收到较少的关注,特别是对于复杂的输入电影,应该重建“像素的像素”。我们记录了大约一百个神经元从一个密集的补丁在大鼠视网膜和解码电影的多个小光盘执行相互避免随机运动。我们构建了非线性(内核化)解码器,其显著优于线性解码结果,主要是由于它们能够可靠地分离由局部波动光信号驱动的神经响应和由自发或网络活动驱动的局部恒定光下的响应。这种改善关键取决于精确的,非泊松的时间结构的个别脉冲序列,这起源于尖峰历史依赖的神经反应。我们的研究结果提出了一个一般的范例,其中下游神经回路可以区分自发和刺激驱动的活动的基础上,内在的传入脉冲序列的高阶统计结构。
2016-05-11 q-bio.NC
Particle-filtering approaches for nonlinear Bayesian decoding of neuronal spike trains
可以同时记录的神经元数量每七年翻一番。记录的神经元数量的不断增加为解决新问题和从记录中提取更高维度的刺激提供了可能性。将神经脉冲序列建模为点过程,从脉冲序列中提取动态信号的任务通常设置在非线性滤波理论的上下文中。依赖于重要性权重的粒子滤波方法是用数值方法解决滤波任务的通用算法,但当问题维数很高时表现出严重的缺点:它们被称为“维数灾难”(COD),即特定性能所需的粒子数量与可观察的维度呈指数关系。本文首先简要回顾了连续时间点过程滤波理论。基于这一理论,我们调查分析和数值的原因,COD加权粒子滤波方法:类似于粒子滤波与连续时间的观察,COD与点过程的观察是由于有效粒子数的衰减,效果是更强的可观察的维数增加时。鉴于未加权粒子滤波方法在克服连续时间观测的COD方面的成功,我们引入了一种用于点过程观测的未加权粒子滤波器,基于尖峰的神经粒子滤波器(sNPF),并表明随着维数的增加,它表现出类似的有利缩放。此外,我们从最大似然法学习中推导出sNPF参数的规则。最后,我们采用了一个简单的解码任务来说明的sNPF的能力,并强调我们的推理和学习算法的一个可能的未来应用。
2018-04-25 q-bio.NC
Synaptic Time-Dependent Plasticity Leads to Efficient Coding of Predictions
突触后锋电位的潜伏期减少是突触时间依赖可塑性的一个众所周知的效应。我们扩大这一概念的长突触后脉冲序列,表明,对于一个固定的输入脉冲序列,STDP减少突触后尖峰的数量,并集中剩余的。然后,我们研究了这种现象在编码方面的后果,发现这种机制通过增加信噪比和降低频繁刺激的代谢成本来改善神经编码。最后,我们举例说明,突触后潜伏期的减少可以导致预测的出现。
2019-07-25 q-bio.NC
Accurate reconstruction of image stimuli from human fMRI based on the decoding model with capsule network architecture
National Digital Switching System Engineering and Technological Research Center(国家数字交换系统工程技术研究中心)
在神经科学中,设计了各种计算模型来回答神经元如何编码感觉刺激的开放性问题,反过来,如何从神经元活动中解码感觉刺激。特别是随着深度网络计算的快速发展,功能磁共振成像(fMRI)研究取得了许多重大成果。然而,与从视觉皮层的活动中解码方向、位置和物体类别的目标相比,从人类fMRI中准确地重建图像刺激仍然是一个具有挑战性的工作。本文提出了一种基于CapsNet结构的视觉重建(CNAVR)方法,用于图像刺激的重建。胶囊是指包含一组神经元,以执行更好的组织的特征结构和表示,灵感来自于灵长类动物的皮质微柱结构,包括数百个神经元。CapsNet中的高级胶囊特征包含了图像刺激的语义类别、方向、位置等多种特征,我们利用这些特征在人类功能磁共振成像和图像刺激之间架起了桥梁。首先利用CapsNet对图像刺激到高级胶囊特征的非线性映射进行训练,然后以端到端的方式再次对高级胶囊特征到图像刺激的非线性映射进行训练。在通过编码性能估计每个体素的可用性以完成体素的选择之后,我们再次训练从降维fMRI数据到高级胶囊特征的非线性映射。最后,我们可以预测高层次的功能磁共振成像数据的胶囊功能,并重建图像刺激与CapsNet。我们评估了建议的CNAVR方法的手写数字图像的数据集上,超过约10%的准确性比所有现有的国家的最先进的方法的结构相似性指数(SSIM)。
2018-01-02 cs.AI cs.CV q-bio.NC
Decoding visual stimuli in human brain by using Anatomical Pattern Analysis on fMRI images
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
在神经科学和机器学习中,一个普遍的悬而未决的问题是计算机是否可以解码人脑的模式。多体素模式分析(MVPA)是解决这一问题的关键工具。然而,在以往的MVPA方法,这是两个挑战,其中包括减少稀疏性和噪声提取的特征和提高预测性能。在克服上述挑战,本文提出了解剖模式分析(APA)解码视觉刺激在人脑中。该框架开发了一种新的解剖特征提取方法和一种新的不平衡AdaBoost算法进行二进制分类。此外,它利用纠错输出码(ECOC)方法进行多类预测。APA可以自动检测每个类别的视觉刺激的活动区域。此外,它使我们能够结合同质数据集应用高级分类。对4个视觉类别(单词、辅音、物体和杂乱照片)的实验研究表明,该方法比现有方法具有更好的性能。
2016-09-04 cs.LG q-bio.NC stat.ML
Semantic Brain Decoding: from fMRI to conceptually similar image reconstruction of visual stimuli
University of Rome, Tor Vergata(罗马第二大学);Istituto di Bioimmagini e Fisiologia Molecolare, CNR(意大利国家研究委员会生物成像与分子生理学研究所);Martinos Center for Biomedical Imaging(马丁诺斯生物医学成像中心);MGH(麻省总医院);Harvard Medical School(哈佛医学院)
大脑解码是计算神经科学的一个领域,它使用可测量的大脑活动来推断心理状态或感知输入的内部表征。因此,我们提出了一种新的方法,大脑解码,也依赖于语义和上下文的相似性。我们采用自然图像视觉的fMRI数据集,并创建一个深度学习解码管道,灵感来自人类视觉中自下而上和自上而下的过程。我们训练了一个线性的脑-特征模型,将fMRI活动特征映射到视觉刺激特征上,假设大脑将视觉信息投射到一个空间上,该空间与预先训练的卷积神经网络的最后一个卷积层所表示的潜在空间同胚,该网络通常收集各种语义特征,这些语义特征总结并突出概念之间的相似性和差异性。这些功能,然后在潜在的空间中使用最近邻策略进行分类,其结果被用来调节生成潜空间扩散模型,以创建新的图像。仅从功能磁共振成像数据,我们产生的视觉刺激,匹配原始内容非常好的语义水平上的重建,超越了在以前的文献中的艺术状态。我们评估我们的工作,并获得良好的效果,使用定量语义度量(Wu-Palmer相似性度量WordNet词典,平均值为0.57),并进行了人类评价实验,导致正确的评价,根据人类标准的多样性在评估图像相似性,在超过80%的测试集。
2023-03-22 cs.CV q-bio.NC
Brain-aligning of semantic vectors improves neural decoding of visual stimuli
University of Osaka(大阪大学);Osaka University Hospital(大阪大学医院);Juntendo University(顺天堂大学);Nara Medical University(奈良县立医科大学)
语义向量对齐通过改进神经表示结构,提升视觉刺激的解码准确性。
2025-12-02 cs.AI q-bio.NC
Deep learning approaches for neural decoding: from CNNs to LSTMs and spikes to fMRI
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学)
直接从神经信号解码行为、感知或认知状态在脑机接口研究中有应用,也对系统神经科学有影响。在过去的十年中,深度学习已经成为从语音识别到图像分割的许多机器学习任务中最先进的方法。深度网络在其他领域的成功引发了神经科学应用的新浪潮。在这篇文章中,我们回顾了神经解码的深度学习方法。我们描述的架构用于提取有用的功能,从神经记录模式,从尖峰到EEG。此外,我们还将探讨如何利用深度学习来预测常见的输出,包括运动、语音和视觉,重点是如何将预先训练的深度网络作为声学语音或图像等复杂解码目标的先验知识。深度学习已被证明是一种有用的工具,可以在各种任务中提高神经解码的准确性和灵活性,我们指出了未来科学发展的领域。
2020-05-19 cs.LG q-bio.NC
Spikebench: An open benchmark for spike train time-series classification
现代性能良好的神经解码方法基于机器学习模型,例如决策树集成和深度神经网络。可以用于从神经脉冲序列(其本质上是时间序列数据)学习的广泛算法导致需要用于神经解码的多样且具有挑战性的基准,类似于计算机视觉和自然语言处理领域中的基准。在这项工作中,我们提出了一个脉冲序列分类基准,开放访问的神经活动数据集的基础上,包括几个学习任务,如刺激类型分类,动物的行为状态预测,神经元类型识别。我们证明了一种基于手工制作的时间序列特征工程的方法建立了一个强大的基线,其性能与最先进的基于深度学习的神经解码模型不相上下。我们发布的代码允许重现报告的结果。
2023-01-27 q-bio.NC stat.AP
A hidden Markov model for decoding and the analysis of replay in spike trains
我们提出了一个隐马尔可夫模型,该模型描述了动物位置的变化与单个位置细胞神经元动作电位锋电位序列的不同活动水平相关。该模型采用了粗粒度的位置,我们发现这是一个更简约的描述系统比其他模型。我们使用一个序贯蒙特卡罗算法贝叶斯推断的模型参数,包括状态空间维度,我们解释如何估计位置从穗训练观察(解码)。在高时间分辨率和小神经元样本量的条件下,我们获得了比其他方法更高的精度。我们还提出了一种新的,基于模型的方法来研究重放:表达的穗训练活动相关的行为在时间的静止或睡眠,被认为是不可或缺的长期记忆的巩固。我们演示了我们如何可以检测的时间,信息内容和压缩率的重放事件在模拟和真实的海马数据记录从大鼠在两个不同的环境中,并验证检测到的重放事件的时间和尖波/涟漪的局部场电位之间的相关性。
2014-12-19 q-bio.NC stat.AP
The power ratio and the interval map: spiking models and extracellular data
我们描述了一种新的,计算简单的方法来分析由外部刺激驱动的神经元脉冲序列的动力学。我们的方法的目标是测试简单的尖峰生成模型对细胞外记录的神经元响应的预测。通过一个新的统计称为功率比,我们区分两大类反应:(1)反应,可以完全由一个可变的发射率,(例如,调制泊松和伽马脉冲序列);以及(2)仅点火率变化不足以表征响应动态的响应(例如,泄漏的积分和激发脉冲序列以及具有长绝对不应期的泊松脉冲序列)。我们发现,猫视网膜神经节,猫外侧膝状体核,猕猴初级视觉皮层的许多视觉神经元的反应属于第二类,这意味着模式的尖峰时间可以携带重要的信息,视觉刺激。我们的研究结果还表明,X型视网膜神经节细胞的脉冲序列,特别是,是非常相似的脉冲序列所产生的泄漏集成和火灾模型添加剂,刺激无关的噪声,可以代表背景突触活动。
1998-11-01 q-bio.NC q-bio.QM
On the Relation between Encoding and Decoding of Neuronal Spikes
神经编码是一个研究领域,涉及感觉信息如何在大脑中由神经元网络表示。外部刺激和神经反应之间的联系可以从两个平行的角度来研究。第一,神经编码是指从刺激到反应的映射,主要集中在理解神经元如何对各种刺激做出反应,以及构建准确描述刺激-反应关系的模型。另一方面,神经解码是指从反应到刺激的反向映射,其中的挑战是从刺激引起的尖峰重建刺激。由于神经元响应是随机的,不存在刺激到神经反应的一对一映射,导致神经编码的两个观点之间的不匹配。在这里,我们使用这两个角度来调查的问题是什么频率编码,在一个简单的设置一个单一的固定刺激参数和一个单一的固定脉冲序列表示的更新过程。我们表明,当率码定义的编码,即,刺激参数被映射到平均激发速率上,由尖峰计数或采样平均值给出的速率解码器并不总是有效地解码速率代码,但是当考虑到脉冲序列内的相关性时,可以提高读取某些速率代码的效率。
2012-03-06 q-bio.NC stat.AP
Using spike train distances to identify the most discriminative neuronal subpopulation
背景:多个神经元的棘波序列可以根据总和群体(SP)或标记线(LL)假设进行分析。对外部刺激的反应是由神经元群体作为一个整体产生的,或者单个神经元具有自己的编码能力。针对群体上的单个汇集的尖峰序列或针对每个神经元单独估计的SPIKE距离可以用于量化这些响应。新方法:对于SP的情况下,我们比较三种算法,搜索最具歧视性的亚群在所有的刺激对。对于LL的情况下,我们引入了一种新的算法,结合神经元,单独分离不同的刺激对最好的。结果:SP的最佳方法是在所有可能的亚群上进行强力搜索。但是,它只适用于小群体。对于更现实的设置,模拟退火明显优于梯度算法,仅增加有限的计算负荷。我们的新LL方法可以处理非常复杂的编码场景,尽管它的计算容易。与现有方法的比较:脉冲串距离已被扩展到SP和LL编码之间的神经种群插值分析。这包括参数化区分不同神经元中被激发的尖峰的重要性。然而,这些方法只考虑整个人口。对亚群的明确关注使我们的算法是互补的。结论:神经群体的编码可能性是广泛的。SP和LL情况是我们的算法提供正确识别结果的两个极端。
2018-09-14 physics.data-an q-bio.NC
Supervised Learning with First-to-Spike Decoding in Multilayer Spiking Neural Networks
University of Surrey(萨里大学);University of Applied Sciences Stralsund(施特拉尔松德应用技术大学)
实验研究支持大脑中基于尖峰的神经元信息处理的概念,神经回路表现出广泛的基于时间的编码策略,以快速有效地表示感官刺激。因此,将期望应用基于尖峰的计算来应对现实世界的挑战,并且特别地将这样的理论转移到用于低功率嵌入式应用的神经形态系统。出于这一动机,我们提出了一种新的监督学习方法,可以训练多层脉冲神经网络解决分类问题的基础上快速,第一次到尖峰解码策略。所提出的学习规则支持由随机隐藏神经元发射的多个尖峰,并且依赖于由确定性输出层生成的第一尖峰响应而稳定。除此之外,我们还探索了几种不同的,基于尖峰的编码策略,以形成所呈现的输入数据的紧凑表示。我们展示了应用于几个基准数据集,包括MNIST的学习规则的分类性能。学习规则能够从数据中概括,并且即使在使用包含很少输入和隐藏层神经元的约束网络架构时也是成功的。此外,我们强调了一种新的编码策略,称为“扫描线编码”,可以将图像数据转换成紧凑的时空模式,用于后续的网络处理。设计受约束但优化的网络结构并执行输入降维对神经形态应用有很强的影响。
2020-08-16 cs.LG cs.NE q-bio.NC
An uncertainty principle for neural coding: Conjugate representations of position and velocity are mapped onto firing rates and co-firing rates of neural spike trains
海马系统包含的神经群编码动物的位置和速度,因为它通过空间导航。在这里,我们表明,这样的人群可以嵌入两个代码在其尖峰列车:一个发射率代码(R)传达的细胞内的尖峰时间间隔,和共同发射率代码(R ')传达的细胞间的尖峰时间间隔。这两个代码表现为彼此的共轭,遵守物理学中的不确定性原理的模拟:R中传递的信息以R '中的信息为代价,反之亦然。当尖峰序列编码一对共辄变量(诸如位置和速度)时,这种权衡的例外发生,其不竞争R和R '上的容量。为了说明这一点,我们描述了两种生物启发的方法,用于解码R和R ',分别称为西格玛和西格玛-卡解码。头部方向(HD)和网格细胞的模拟表明,如果发射率调整位置(但不是速度),那么位置是由西格玛解码恢复,而速度是由西格玛-卡解码恢复。相反,θ调制的“速度细胞”之间的振荡干扰的模拟表明,如果共激发率针对位置(而不是速度)进行调谐,则通过sigma-chi解码恢复位置,而通过sigma解码恢复速度。在这两个极端之间,关于这两个变量的信息可以分布在两个通道上,并由两个解码器部分恢复。这些结果表明,具有不同的空间和时间调谐特性的神经元(例如速度与网格细胞)可能不会编码不同的信息,而是以不同的方式在R和R '上分布类似的位置和速度信息。
2019-12-23 cs.NE q-bio.NC
neuro2voc: Decoding Vocalizations from Neural Activity
University of Zurich(苏黎世大学)
针对神经尖峰序列解码运动输出的挑战,本硕士项目研究从Neuropixels侵入性记录解码斑胸草雀发声的方法,通过XGBoost+SHAP、GPT2标记+Mamba2、对比学习-VAE框架取得成果,为稀疏神经数据处理和复杂运动输出解码奠定基础。
2025-02-02 cs.LG eess.AS q-bio.NC
Reconstruction of Natural Visual Scenes from Neural Spikes with Deep Neural Networks
National Engineering Laboratory for Video Technology, School of Electronics Engineering and Computer Science, Peking University(北京大学电子信息工程学院视频技术国家工程实验室);Peng Cheng Laboratory(鹏城实验室);Centre for Systems Neuroscience, Department of Neuroscience, Psychology and Behaviour, University of Leicester(莱斯特大学神经科学、心理学与行为学系系统神经科学中心)
神经编码是系统神经科学中理解大脑如何处理环境刺激的核心问题之一,也是设计脑机接口算法的基石,其中对输入刺激的解码是提高物理设备性能的重要要求。传统上,研究人员一直专注于功能磁共振成像(fMRI)数据作为解码视觉场景的感兴趣的神经信号。然而,我们的视觉感知在一个快速的时间尺度毫秒的事件称为神经尖峰。很少有研究解码使用尖峰。在这里,我们实现了这一目标,开发了一种新的解码框架的基础上,深神经网络,命名为尖峰图像解码器(SID),重建自然的视觉场景,包括静态图像和动态视频,从实验记录的尖峰的视网膜神经节细胞的人口。SID是一个端到端的解码器,一端作为神经尖峰,另一端作为图像,可以直接训练,以便以高度准确的方式从尖峰重建视觉场景。与现有的fMRI解码模型相比,我们的SID在视觉刺激的重建上也表现出色。此外,借助尖峰编码器,我们表明,SID可以推广到任意的视觉场景,通过使用图像数据集的MNIST,CIFAR10,和CIFAR100。此外,通过预先训练的SID,可以解码任何动态视频,以实现通过尖峰对视觉场景的实时编码和解码。总而言之,我们的研究结果揭示了人工视觉系统的神经形态计算,如基于事件的视觉相机和视觉神经假体。
2020-01-28 cs.LG q-bio.NC stat.ML
Multi-Region Neural Representation: A novel model for decoding visual stimuli in human brains
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
多变量模式(MVP)分类具有巨大的潜力解码视觉刺激在人类大脑中采用基于任务的功能磁共振成像数据集。MVP技术面临着广泛的挑战,即降低噪声和稀疏性,定义有效的感兴趣区域(ROI),可视化结果以及大脑研究的成本。为了克服这些挑战,本文提出了一种新的神经表征模型,它可以自动检测每个视觉刺激的活动区域,然后利用这些解剖区域进行可视化和分析的功能活动。因此,该模型为神经科学家提供了一个机会来问这个问题:刺激对每个检测到的区域的影响是什么,而不仅仅是研究手动选择的ROI中体素的波动。此外,我们的方法引入了分析大脑图像的快照,而不是使用整个fMRI时间序列来降低稀疏性。在此基础上,提出了一种新的高斯平滑方法,用于在感兴趣区水平上去除体素噪声。所提出的方法使我们能够结合不同的fMRI数据集,以减少大脑研究的成本。对4个视觉类别(单词,辅音,物体和无意义的照片)的实验研究证实,所提出的方法实现了优于国家的最先进的方法的性能。
2016-12-26 cs.LG q-bio.NC stat.ML
Emergent Bio-Functional Similarities in a Cortical-Spike-Train-Decoding Spiking Neural Network Facilitate Predictions of Neural Computation
Qiushi Academy for Advanced Studies, Zhejiang University(浙江大学求是高等研究院);College of Biomedical Engineering and Instrument Science, Zhejiang University(浙江大学生物医学工程与仪器科学学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);China Nanhu Academy of Electronics and Information Technology (CNAEIT)(中国电子科技南湖研究院)
尽管目标驱动的发放神经网络(SNN)具有更好的生物可识别性,但它在生物脉冲序列方面并没有达到适用的性能,而且与传统的人工神经网络相比,SNN的生物功能相似性很小。在这项研究中,我们提出了motorSRNN,一个经常性的SNN拓扑启发灵长类动物的神经运动回路。通过采用motorSRNN在解码脉冲序列从初级运动皮层的猴子,我们取得了很好的平衡之间的分类精度和能量消耗。motorSRNN通过捕获和培养更多的余弦调谐(运动皮层神经元的基本属性)与输入进行通信,并在训练期间保持稳定。在我们的猴子中也观察到这种训练诱导的培养和余弦调谐的持续性。此外,motorSRNN在单神经元、群体和电路水平上产生了额外的生物功能相似性,证明了生物真实性。因此,对motorSRNN的消融研究表明,长期稳定的反馈突触有助于运动皮层的训练诱导培养。除了这些新的发现和预测,我们还提供了一个新的框架来构建真实的神经计算模型。
2023-03-14 cs.AI q-bio.NC
Bayesian Time-Series Classifier for Decoding Simple Visual Stimuli from Intracranial Neural Activity
Isfahan University of Technology(伊斯法罕理工大学);Worcester Polytechnic Institute(伍斯特理工学院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
针对颅内神经数据有限且具随机性的问题,提出可解释的贝叶斯时间序列分类器BTsC,用于解码视觉颜色刺激,并在4名患者数据上达到75.55%的平均准确率。
2023-07-28 cs.LG eess.SP q-bio.NC
Exact computation of the Maximum Entropy Potential of spiking neural networks models
了解刺激和突触连接如何影响神经网络中尖峰模式的统计是计算神经科学的一个中心问题。最大熵方法已被成功地用于表征同时记录的发放神经元对刺激的统计响应。但是,尽管在预测方面表现良好,拟合参数并不能解释所观察到的相关性的根本机制原因。另一方面,发放神经元的数学模型(神经模拟模型)提供了刺激、网络结构和发放模式之间的条件概率映射。在本文中,我们建立了一个精确的神经模拟和最大熵模型之间的解析映射。
2014-05-14 physics.bio-ph q-bio.NC
Neural spikes as rare events
UCL Institute of Ophthalmology, University College London(伦敦大学学院眼科研究所);Department of Physics, Blackett Laboratory, Imperial College London(帝国理工学院物理系布莱克特实验室)
该研究结合小鼠视听整合任务、M2高密度电生理记录与分支过程模拟,揭示次级运动皮层在多感觉决策中的作用,并支持神经活动的时间编码理论。
2026-09-30 cond-mat.stat-mech q-bio.NC
Deep adversarial neural decoding
Radboud University(拉德堡德大学)
在这里,我们提出了一种新的方法,通过结合概率推理和深度学习来解决从大脑反应中重建感知刺激的问题。我们的方法首先用最大后验估计反转从潜在特征到大脑响应的线性变换,然后用卷积神经网络的对抗训练反转从感知刺激到潜在特征的非线性变换。我们用功能性磁共振成像实验测试了我们的方法,并表明它可以从大脑激活中生成最先进的感知面部重建。
2017-06-15 cs.LG q-bio.NC stat.ML
Towards the Next Generation of Retinal Neuroprosthesis: Visual Computation with Spikes
神经假体作为一种精密医疗设备,其目的是以闭环方式操纵大脑神经元信号,同时接收来自环境的刺激并控制我们大脑/身体的某个部分。就视觉而言,大脑可以在毫秒间隔内处理输入的信息。视网膜计算视觉场景,然后将其输出作为神经元尖峰发送到皮层进行进一步计算。因此,视网膜神经假体感兴趣的神经元信号是尖峰。神经假体中的闭环计算包括两个阶段:将刺激编码为神经元信号和将其解码为刺激。在这里,我们回顾了一些最近的进展,视觉计算模型,使用尖峰分析自然场景,包括静态图像和动态电影。我们假设,为了更好地理解视网膜中的计算原理,人们需要视网膜的超回路视图,其中应考虑视网膜的皮质神经元网络中揭示的不同功能网络模体。视网膜的不同构建块,包括细胞类型和突触连接的多样性,化学突触或电突触(间隙连接),使视网膜成为理想的神经元网络,以适应人工智能中开发的用于编码/解码视觉场景建模的计算技术。总之,我们需要一个系统的视觉计算与尖峰的方法来推进下一代的视网膜神经假体作为一个人工视觉系统。
2020-01-13 q-bio.NC
An Integral Equation Approach to the Dynamics of L2-3 Cortical Neurons
神经元群体如何在其群体放电率中编码时间依赖性刺激?为了解决这个问题,我认为准更新方程和基于事件的扩展,最近提出的两个理论近似,并测试这些对周围刺激时间直方图从L2-3锥体细胞在体外。通过梯度下降优化参数,以在给定电流输入的情况下最佳匹配点火率输出。拟合方法可以估计通常通过细胞内记录或单个脉冲序列获得的单神经元参数。我发现,准更新理论预测的适应射击率有很好的精度,但不是基于事件的扩展。准更新预测在质量上等同于最先进的尖峰时间预测方法,并且这样做而不诉诸于单独的尖峰时间或膜电位响应。
2013-12-03 q-bio.NC
Experimental Comparison of Hardware-Amenable Spike Detection Algorithms for iBMIs
本文提出了一种基于实验的比较绝对阈值(AT)和非线性能量算子(NEO)的棘波检测算法在皮层内脑机接口(iBMIs)。结果表明,解码性能的平均增加约。猴A在6天内记录的28次治疗中为5%,当使用NEO over AT时,猴子B在8天内记录了35次会话,其中2%。据我们所知,这是有史以来第一次报道的比较尖峰检测算法的iBMI实验框架涉及两只猴子。基于先前在模拟研究中报告的改进所支持的实验设置中观察到的改进,我们主张从最先进的尖峰检测技术- AT切换到NEO。
2018-12-12 q-bio.NC
Efficient multi-scale representation of visual objects using a biologically plausible spike-latency code and winner-take-all inhibition
深度神经网络在物体识别等关键视觉挑战方面已经超越了人类的表现,但需要大量的能量、计算和内存。相比之下,尖峰神经网络(SNN)有潜力提高物体识别系统的效率和生物相容性。在这里,我们提出了一个SNN模型,使用尖峰潜伏期编码和赢家通吃抑制(WTA-I),有效地表示视觉刺激,使用多尺度并行处理。模仿早期视觉皮层中的神经元响应特性,用三种不同的空间频率(SF)通道对图像进行预处理,然后将它们馈送到一层尖峰神经元,其突触权重使用尖峰时间依赖可塑性(STDP)更新。我们研究了不同的SF波段和WTA-I方案下所代表的对象的质量如何变化。我们证明,200个尖峰神经元的网络调谐到三个SF可以有效地表示对象,每个神经元只有15个尖峰。研究如何在SNN中使用生物学上合理的学习规则来实现核心对象识别,不仅可以加深我们对大脑的理解,还可以带来新颖高效的人工视觉系统。
2022-11-30 q-bio.NC
Encoding and Decoding Temporal Signals with Spiking Bandpass Wavelets
Technical University of Denmark(丹麦技术大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出了一种基于小波框架的脉冲编码方法,通过量化带宽和重构误差界,实现时序信号的高效编码与解码,适用于ECG和音频数据集。
2026-10-05 cs.NE eess.SP q-bio.NC
Full-dimensional characterisation of time-warped spike-time stimulus-response distribution geometries
本文研究神经脉冲时间表示的全维几何,提出大型细胞集群的精确脉冲模式在试次间存在时间扭曲,并表明扭曲程度依赖单次试次的皮层背景活动水平。
2024-01-22 q-bio.NC
R&B -- Rhythm and Brain: Cross-subject Decoding of Music from Human Brain Activity
Department of Biomedicine and Prevention University of Rome Tor Vergata(生物医学与预防系罗马大学托尔维加塔分校);A.A. Martinos Center for Biomedical Imaging Harvard Medical School/MGH, Boston (US)(A.A. Martinos生物医学成像中心哈佛医学院/马萨诸塞总医院,波士顿(美国))
研究通过fMRI数据解码音乐,利用CLAP模型和voxel编码模型,实现跨被试音乐识别,提升音乐感知与情绪的神经基础理解。
2024-06-21 cs.AI cs.SD eess.AS
Decoding Spiking Mechanism with Dynamic Learning on Neuron Population
Shanghai Jiao Tong University(上海交通大学)
认知神经科学的一个主要关注点是解码显性神经脉冲序列观察结果并推断神经回路下的潜在表征。然而,传统的方法需要对网络结构有很强的先验知识,很难满足对真实锋电位数据的要求。在这里,我们提出了一种新的神经网络的方法,称为神经元激活网络,提取神经信息显式地从单个试验神经元群体脉冲序列。我们提出的方法包括一个时空的学习过程中的感觉环境和人口图的消息传递机制,其次是神经元激活过程中的递归方式。我们的模型旨在重建神经元信息,同时推断神经元尖峰状态的表示。我们将我们的模型应用于视网膜神经节细胞,实验结果表明,我们的模型具有更强大的能力,在产生神经尖峰序列与高保真度比国家的最先进的方法,以及更有表现力,并有潜力揭示潜在的尖峰机制。源代码将与最终论文一起发布。
2019-11-21 cs.LG cs.NE q-bio.NC
EEG-based Decoding of Selective Visual Attention in Superimposed Videos
KU Leuven, Department of Neurosciences, Research Group ExpORL(荷语鲁汶大学神经科学系ExpORL研究组)
本研究提出基于EEG的自由观看范式,通过刺激信息解码器从叠加视频中解码选择性视觉注意,发现EEG对自然运动的反应受注意调节且与眼动数据互补,首次探索了自然视频场景下的该问题。
2025-04-14 eess.SP q-bio.NC
Adaptive SpikeDeep-Classifier: Self-organizing and self-supervised machine learning algorithm for online spike sorting
Ruhr-West University of Applied Science(鲁尔-西应用科学大学);University hospital Knappschaftskrankenhaus Bochum GmbH(波鸿矿工医院有限公司大学医院);Ruhr-University Bochum(鲁尔大学波鸿)
提出自适应在线spike排序算法Ada-SpikeDeepClassifier,通过通道选择、背景活动拒绝和自适应分类处理密集微电极数据,在多个数据集上优于现有算法,适合神经形态芯片硬件实现。
2023-03-30 cs.AI cs.IT cs.LG
Impact of triplet correlations on neural population codes
尖峰活动的哪些统计特征对刺激在神经元群体中的编码方式很重要?大量的工作已经探索了单个细胞的放电率和细胞对尖峰的相关性如何影响编码。但是,关于高阶相关性(描述了三胞胎和更大的细胞集合中同时放电)如何影响编码的刺激信息,人们知之甚少。在这里,我们迈出了缩小这一差距的第一步。我们在小(~10个细胞)神经元群体中改变三联体相关性,同时保持单细胞和成对统计固定在典型报告值。对于每个值的三重相关性,我们估计的性能的神经元群体上的两个刺激的歧视任务。我们确定了一种主要的方式,这种三重相关性可以强烈增强编码:如果三重相关性不同的两个刺激,他们扭曲的反应分布的两个刺激除了彼此,分开他们,使他们更容易区分。当两种刺激都引起类似的三联体相关性时,这种编码益处不会发生。这些结果表明,高阶相关性可能对群体编码有很强的影响。最后,我们计算有多少样本是必要的,以准确地测量这种类型的尖峰相关性,在实验中提供必要的记录时间的估计。
2014-12-01 q-bio.NC
Multi-View Broad Learning System for Primate Oculomotor Decision Decoding
Huazhong University of Science and Technology(华中科技大学);Johns Hopkins University School of Medicine(约翰斯·霍普金斯大学医学院);Stanford University(斯坦福大学);Johns Hopkins University(约翰斯·霍普金斯大学)
多视图学习通过利用多视图数据来提高学习性能:从多个源收集的数据,或从同一数据源提取的特征集。这种方法适用于灵长类动物大脑状态解码使用皮层神经信号。这是因为同时记录的神经信号的互补成分,局部场电位(LFP)和动作电位(尖峰),可以被视为两个视图。本文将最近提出的宽神经网络体系结构宽学习系统(BLS)从单视图学习扩展到多视图学习,并验证了其在从内侧额叶LFPs和棘波解码猴子的眼球决策中的性能。我们证明了非人灵长类动物的内侧额叶LFPs和尖峰确实包含有关眼动决策的互补信息,并且所提出的多视图BLS是比几种经典和最先进的单视图和多视图学习方法更有效的解码眼动决策的方法。
2020-07-02 cs.AI cs.LG q-bio.NC
STN: a new tensor network method to identify stimulus category from brain activity pattern
Peking University(北京大学);Meta Inc.(元宇宙公司);Beijing Normal University(北京师范大学)
神经解码仍然是神经计算科学中的一个挑战和热点。近年来,许多研究表明,脑网络模式包含着丰富的时空结构信息,代表着大脑在外界刺激下的激活信息。因此,从脑网络中解码刺激的研究受到了广泛的关注。传统的方法直接从常用的机器学习方法中提取脑网络特征,然后将这些特征输入到分类器中,实现对外部刺激的解码。然而,该方法不能有效地提取隐藏在大脑网络中的多维结构信息。张量研究表明,张量分解模型可以充分挖掘多维结构数据中独特的时空结构特征。本研究提出了一种基于张量分解思想和刺激类别约束信息的刺激约束张量脑模型。该模型在真实的神经影像数据集(MEG和fMRI)上进行了验证。实验结果表明,在两种模态数据集上,与其他方法相比,该模型的精度矩阵分别提高了11.06%和18.46%。这些结果表明,在提取判别特征方面,特别是在解码含有语义信息的目标刺激时,基于语义模型的判别特征提取方法具有优越性。
2022-11-23 cs.AI cs.CV q-bio.NC
Decoding finger velocity from cortical spike trains with recurrent spiking neural networks
Qiushi Academy for Advanced Studies, Zhejiang University(浙江大学求是高等研究院);College of Biomedical Engineering and Instrument Science, Zhejiang University(浙江大学生物医学工程与仪器科学学院);Friedrich Miescher Institute for Biomedical Research(弗里德里希·米歇尔生物医学研究所);Faculty of Science, University of Basel(巴塞尔大学理学院);China Nanhu Academy of Electronics and Information Technology (CNAEIT)(中国南湖电子信息技术研究院)
本文研究循环脉冲神经网络(RSNNs)在完全植入式脑机接口中从皮层脉冲序列解码手指速度的可行性,通过训练大型和微型RSNN模型,证明其在严格资源约束下优于现有SNN和ANN解码器,为超低功耗植入式BMI提供了有前景的解决方案。
2024-09-03 cs.HC cs.LG cs.NE
Retinal adaptation and invariance to changes in higher-order stimulus statistics
视网膜中的适应被认为是将自然光信号编码为发送到大脑的尖峰序列的优化。然而,自适应也需要计算成本:自适应代码本质上是模糊的,因为输出符号不能简单地映射回刺激,而不知道编码神经元的自适应状态。因此,重要的是要了解输入中的哪些统计变化会引起适应性反应,哪些不会引起适应性反应,并询问适应性潜在限制的原因。我们测量了虎蝾螈视网膜神经节细胞的反应,以控制变化的第二(对比度),第三(偏斜)和第四(峰度)时刻的光强度分布的空间均匀的时间独立的刺激。刺激的偏斜度和峰度被选择为覆盖在自然场景中观察到的范围。我们通过研究二维线性-非线性模型来量化神经节细胞的适应性,该模型能够很好地捕捉所有刺激的视网膜编码特性。我们发现,视网膜神经节细胞适应对比度,但表现出显着的高阶统计量的变化不变的行为。最后,通过理论分析LN型模型中的最优编码,我们证明了神经编码可以保持高的信息速率,而无需动态适应,尽管刺激偏斜和峰度发生变化。
2012-01-17 q-bio.NC
Leveraging unlabelled data for generalizable neural population decoding
研究利用未标记数据进行可泛化神经群体解码的问题,提出MOJO训练框架,联合自监督学习与监督学习目标,在多数据集上评估,结果显示该框架能提升性能、产生更具可解释性表示且可推广到其他神经模态。
2026-07-16 cs.LG q-bio.NC
Decoding Predictive Inference in Visual Language Processing via Spatiotemporal Neural Coherence
Department of Physics(物理系);Carnegie-Mellon University(卡内基梅隆大学);Department of Linguistics(语言学系);University of Salzburg(萨尔茨堡大学);Purdue University(普渡大学);University of Alabama(阿拉巴马大学);Department of Communicative Disorders(沟通障碍系)
本研究通过时空神经一致性方法解码聋人手语使用者在动态视觉语言处理中的预测推断,揭示了语言理解中左侧半球和前额低频相干性的重要性,并展示了经验驱动的感知生成模型的多模态探测方法。
2025-12-24 cs.CL q-bio.NC
Testing the Odds of Inherent versus Observed Over-dispersion in Neural Spike Counts Odds of Inherent versus Observed Over-dispersion
在神经元的感受野中重复呈现相同的视觉刺激可能在每次试验中引起不同的尖峰模式。概率方法对于理解这种差异在神经活动中的功能作用至关重要。在这种情况下,泊松过程是试验间变异性的最常见模型。对于泊松过程,尖峰计数的方差被约束为等于均值,而与测量的持续时间无关。许多研究表明,这种关系通常并不成立。具体而言,大多数电生理记录显示出“过度分散”效应:反应表现出比单独泊松过程预期的更多的试验间变异性。负二项分布模型是一个特别适合于量化过度分散的模型。这个模型被广泛研究和使用,但直到最近才被应用于神经科学。在本文中,我们解决三个主要问题。首先,我们描述了如何负二项分布提供了一个模型,易于占过度分散的尖峰计数。其次,我们通过提出一个统计检验来量化该模型对任何神经生理数据的重要性,该检验量化了过度分散可能是由于有限的重复次数(试验)造成的几率。我们将此测试应用于沿视觉通路的三个神经生理学测试。最后,我们比较了该模型的性能的泊松模型上的人口解码任务。我们表明,解码精度提高时占过色散,特别是在调谐过色散的假设下。
2016-11-14 q-bio.NC
Implicit Behavioral Decoding from Next-Step Spike Forecasts at Population Scale
Department of Electrical and Computer Engineering, University of California, Santa Cruz, CA, USA(加州大学圣克ruz分校电气与计算机工程系);UC Santa Cruz Genomics Institute, University of California, Santa Cruz, CA, USA(加州大学圣克ruz分校基因组研究所);Department of Biomolecular Engineering, University of California, Santa Cruz, CA, USA(加州大学圣克ruz分校生物分子工程系);Department of Applied Mathematics, University of California, Santa Cruz, CA, USA(加州大学圣克ruz分校应用数学系);Department of Computer Science and Engineering, University of California, Santa Cruz, CA, USA(加州大学圣克ruz分校计算机科学与工程系)
本文提出利用单个Mamba预测器在一次前向传递中实现神经群体活动预测和动物行为状态解码,通过轻量级线性头在匹配时间上下文中优于原始尖峰计数解码,验证了在Steinmetz视觉辨别基准上的有效性。
2026-05-13 cs.LG q-bio.NC
Spike-based causal inference for weight alignment
University of Toronto Scarborough(多伦多大学士嘉堡校区);University of Toronto(多伦多大学);University of Pennsylvania(宾夕法尼亚大学);Mila(米拉研究所);McGill University(麦吉尔大学);Canadian Institute for Advanced Research(加拿大高级研究所)
在用梯度下降训练的人工神经网络中,用于处理刺激的权重也在反向传递期间用于计算梯度。对于真实的大脑来近似梯度,梯度信息必须单独传播,使得一组突触权重用于处理,另一组用于向后传递。这就产生了所谓的生物学习模型的“权重传输问题”,其中用于计算梯度的后向权重需要反映用于处理刺激的前向权重。这个权重传输问题被认为是如此困难,以至于生物学习的流行建议假设向后权重是简单随机的,就像反馈对齐算法一样。然而,这种随机权重似乎并不适用于大型网络。在这里,我们将展示如何在尖峰系统中引入的不连续性可以导致这个问题的解决方案。由此产生的算法是一个特殊的情况下,估计用于因果推理计量经济学,回归不连续设计。我们的经验表明,该算法迅速使向后的权重近似的向前的权重。随着后向权重变得正确,这提高了Fashion-MNIST,SVHN,CIFAR-10和VOC等任务的反馈对齐的学习性能。我们的研究结果表明,一个简单的学习规则在尖峰网络可以让神经元产生正确的向后连接,从而解决了重量运输问题。
2020-02-02 cs.LG q-bio.NC
Decoding moral judgement from text: a pilot study
Brandenburg University of Technology Cottbus–Senftenberg(科特布斯-森夫滕贝格勃兰登堡工业大学)
本研究探索利用被动式脑机接口、情感启动和道德主体归因,从文本刺激诱发的脑反应中解码道德判断,为神经自适应交互和更符合人类的LLM提供基础。
2024-05-28 cs.CL cs.HC q-bio.NC
Decoding dynamic brain patterns from evoked responses: A tutorial on multivariate pattern analysis applied to time-series neuroimaging data
多变量模式分析(MVPA)或大脑解码方法已成为分析功能磁共振成像数据的标准做法。虽然解码方法已被广泛应用于脑计算接口(BCI),这些方法只是最近才被应用到时间序列神经成像数据,如MEG和EEG,以解决认知神经科学的实验问题。在一个教程式的审查,我们描述了一个广泛的选择,通知未来的时间序列解码研究从认知神经科学的角度。使用示例MEG数据,我们说明了解码分析管道中的不同选项对实验结果的影响,其目的是随着时间的推移从动态大脑激活模式"解码"不同的感知刺激或认知状态。我们表明,在两个预处理(例如,降维、二次采样、试验平均)和解码(例如,分类器选择、交叉验证设计)阶段的分析可以显著地影响结果。除了标准的解码,我们描述扩展MVPA随时间变化的神经影像数据,包括代表性的相似性分析,时间概括,分类器权重图的解释。最后,我们概述了重要的注意事项,在设计和解释的时间序列解码实验。
2016-09-30 q-bio.NC
Temporal Conditioning Spiking Latent Variable Models of the Neural Response to Natural Visual Scenes
College of Computer Science and Technology(计算机科学与技术学院);Zhejiang University(浙江大学);Zhejiang University of Technology(浙江工业大学)
本文提出时间条件尖峰潜变量模型(TeCoS-LVM),利用尖峰神经元直接匹配记录序列,通过时间条件操作自适应处理时间依赖,以更真实地模拟神经响应并泛化至长时间尺度。
2023-12-20 cs.CV cs.LG cs.NE
Structured chaos shapes spike-response noise entropy in balanced neural networks
稀疏耦合的兴奋性和抑制性细胞的大型网络遍布整个大脑。这些网络的一个显著特征是它们是混沌的。这种混乱是如何在神经代码中表现出来的?具体来说,这种网络响应输入信号产生的尖峰模式有多可变?为了回答这个问题,我们推导出一个边界的熵的多细胞尖峰模式分布在大型经常性网络的尖峰神经元响应波动的输入。分析是基于随机动力系统理论的结果,并辅以详细的数值模拟。我们发现,尖峰模式熵是一个数量级低于从单细胞外推。尽管随着网络规模的增长,网络耦合变得越来越稀疏--这种现象取决于“广泛的混沌”,正如以前在没有刺激驱动的平衡网络中发现的那样。此外,我们还展示了尖峰模式熵是如何由输入的时间特征控制的。我们的发现提供了对神经网络如何在固有混沌动力学存在的情况下编码刺激的深入了解。
2014-02-22 math.DS nlin.CD physics.bio-ph
Long-Range Feedback Spiking Network Captures Dynamic and Static Representations of the Visual Cortex under Movie Stimuli
针对现有深度神经网络难以适配自然电影刺激视觉表征研究的问题,提出融合长程反馈与脉冲机制的LoRaFB-SNet,搭配TSRSA方法验证其在小鼠视觉皮层动静态表征拟合上优于现有模型,助力视觉系统电影加工机制研究。
2024-11-01 cs.NE q-bio.NC
Inter-individual and inter-site neural code conversion without shared stimuli
本文提出一种无需共享刺激的神经代码转换方法,通过优化刺激内容差异并结合DNN层次特征,实现跨个体、跨站点的脑活动转换与高质量视觉重建。
2024-08-01 cs.HC q-bio.NC
The Repeated-Stimulus Confound in Electroencephalography
Hamilton Institute, Maynooth University(马尼穆希大学哈密尔顿研究所);Department of Computer Science, Maynooth University(马尼穆希大学计算机科学系);Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃洛姆家族电气与计算机工程学院)
该研究揭示神经解码领域的重复刺激混杂问题,指出16篇相关研究准确率被高估4.46%-7.42%,且该方法可被用于支撑伪科学论断。
2025-08-01 cs.CV q-bio.NC