Spatial Tactile Brain-Computer Interface Paradigm Applying Vibration Stimuli to Large Areas of User's Back
我们的目标是通过创建脑-机接口(BCI)来增强肌萎缩侧索硬化症(ALS)患者的沟通能力,该脑-机接口可以仅使用大脑活动来控制计算机或其他设备。作为一种方法,我们使用基于振动刺激的刺激驱动的BCI,通过游戏垫传递到用户的背部。我们确定P300反应,从大脑活动的数据,在振动刺激。根据EEG中记录的P300反应对用户的意图进行分类。心理物理实验和在线脑机接口实验结果表明,该方法能够对P300反应进行准确分类,证明了该方法的有效性。
2014-04-16 cs.HC q-bio.NC
Modeling the dynamics of human brain activity with recurrent neural networks
编码模型用于预测大脑对感官刺激的反应,目的是阐明感官信息在大脑中的表现方式。编码模型通常包括刺激到特征的非线性变换(特征模型)和特征到响应的线性变换(响应模型)。虽然在开发更好的特征模型方面做了大量工作,但开发更好的响应模型的工作相当有限。在这里,我们研究递归神经网络模型可以在多大程度上使用其内部记忆的任意特征序列的非线性处理,预测功能磁共振成像测量的特征诱发反应序列。我们表明,所提出的递归神经网络模型可以通过准确估计驱动血流动力学反应的长期依赖性,显着优于已建立的反应模型。这一结果为模拟大脑对感官刺激的动态反应打开了一扇新的窗户。
2016-06-09 q-bio.NC
Brain representation of perceptual stimuli at different levels of awareness
这篇文章质疑了一个普遍的假设,即在任何情况下都无法进入个人意识的意义上,大脑的表征将永远保持无意识。这意味着大脑产生的知识的一部分永远被排除在意识之外,因此,无法与外部世界交流。这种观点忽略了人类大脑可能有能力通过上下文敏感的适应性学习在给定时刻及时产生无意识知识内容的元表征的可能性,并且有点难以与实验结果相一致,实验结果表明最初的阈下目标可以被意识到,或者突破到超阈水平的处理,当它们被嵌入在适当的感知对象上下文(相关性条件)中时。神经网络架构的特定属性受到灵长类动物皮层功能组织的启发,能够解释人类大脑如何产生这种感知学习。在意识之外处理的信号或知识可以通过大规模并行神经网络架构中自下而上和自上而下的信号交换的自适应共振来提供给意识;换句话说,基于时间域和记忆内容域中统计上显著的信号匹配。
2022-02-22 q-bio.NC
Phase Entrainment by Periodic Stimuli In Silico: A Quantitative Study
我们提出了一个定量研究的相位夹带周期性视觉刺激的生物启发神经网络。目的是了解神经元种群动力学,其基础是外部刺激引起的脑振荡的相位夹带,其用于神经系统疾病的治疗性处理,例如帕金森震颤。然而,这种夹带的神经动力学基础还没有完全理解。有节奏的感觉刺激是研究大脑相位同步的一种方法。最近的一项实验研究报告了稳态视觉诱发电位(SSVEP)中脑振荡的相位夹带,SSVEP是与周期性刺激相对应的头皮脑电图。我们模拟了SSVEP样信号对应于周期性脉冲输入到我们的硅片模型。我们使用锁相值,归一化香农熵和条件概率作为同步指标,以显示在神经元群体的相位同步。我们的实验表明,相位同步消失与输入脉冲间的间隔抖动,这将不会是这种情况下,如果输出信号是叠加的响应不同的输入信号。因此,相位同步意味着周期性输入对网络响应的夹带。总体而言,我们的研究表明,使用经过实验工作验证的生物启发计算机模型来理解脑夹带作为特定神经系统疾病的治疗方法并做出可测试的预测是合理的。
2021-11-15 q-bio.NC
Fingerprints of data compression in EEG sequences
传统上,大脑通过将概率模型分配给刺激序列来压缩数据。与此猜想相关的一个重要问题是大脑使用哪类模型来执行其压缩任务。我们通过引入一个新的统计模型选择程序来解决这个问题,该程序旨在研究大脑执行数据压缩的方式。我们的程序使用上下文树模型来表示刺激序列和一个新的投影方法聚类EEG段。起点是一个实验协议,其中记录EEG数据,而参与者暴露于由随机链产生的听觉刺激。本文的结论是,使用两种不同的上下文树模型产生的刺激序列与两种不同算法产生的EEG片段进行仿真研究。
2020-08-25 q-bio.NC
Perceptual similarity of visual patterns predicts the similarity of their dynamic neural activation patterns measured with MEG
知觉相似性是一种认知判断,它代表了整个视觉皮层复杂级联的分层处理的最后阶段。以前的研究表明,粗尺度的功能磁共振成像激活模式的相似性和视觉刺激的感知相似性之间的对应关系,这表明,视觉对象,似乎类似也共享类似的潜在模式的神经激活。在这里,我们探讨了人类大脑的随时间变化的视觉模式和感知相似性的行为判断表示之间的时间关系。视觉刺激是由相同的感知单元(定向伽柏贴片)构建的抽象模式,因此每个模式都有一个独特的整体形式或感知“完形”。视觉刺激是可解码的诱发神经激活模式与脑磁图(MEG)测量,然而,刺激不同的相似性,其神经表征估计的差异,在解码。早期刺激发作后(从50毫秒),模型的基础上retinotopic组织预测的视觉刺激的表征相似性。在80 ms时视网膜视学模型和神经数据之间的峰值相关性之后,神经表征迅速发展,使得视网膜视学不再提供大脑对刺激的时变表征的充分说明。总体而言,大脑表征的最强预测器是基于人类对感知相似性的判断的模型,该模型达到了与由“噪声上限”定义的神经数据的最大相关性的极限。我们的研究结果表明,大规模的大脑激活模式包含一个神经签名的感知完形的复合视觉功能,并表现出很强的对应关系的感知和复杂的大脑活动模式。
2016-02-10 q-bio.NC
The neural dynamics underlying prioritisation of task-relevant information
人类大脑会优先处理相关的感官信息来执行不同的任务。增强任务相关信息需要灵活分配注意力资源,但这在大脑中是如何运作的仍然是一个谜。我们研究了在同一地点和同一时间呈现多个刺激的情况下,注意机制是如何运作的。在两个实验中,参与者对同时呈现并相互叠加的不同类型的视觉刺激进行了具有挑战性的双背任务。使用脑电图和多变量解码,我们分析了注意力对每个刺激的神经反应的影响。全脑神经反应包含了相当多的信息都有人照顾和无人照顾的刺激,即使他们同时提出,并表示在重叠的感受野。正如预期的那样,注意力增加了神经反应中包含的刺激相关信息的可解码性,但这种效果在较小尺寸的刺激中更早地表现出来。我们的研究结果表明,在快速变化的显示器的刺激的早期神经反应包含显着的信息的感官环境,但也调制的方式依赖于相关刺激的感知特性的注意。本研究的刺激、代码和数据可以在https://osf.io/7zhwp/上找到。
2021-02-19 q-bio.NC
Predicting brain evoked response to external stimuli from temporal correlations of spontaneous activity
自发性和受激性脑活动之间的关系是理解脑功能的一个基本问题。在非平衡涨落耗散关系的背景下,从理论和实验两方面研究了这个问题。我们考虑随机粗粒度的Wilson-Cowan模型的线性噪声近似和比较分析结果的实验数据从脑磁图(MEG)的人脑。自发活动的自相关函数的短时间行为的特征在于双指数衰减,具有两个特征时间,相差两个数量级。相反,响应函数表现出一个单一的指数衰减与视觉刺激下的诱发活动的实验数据。结果表明,大脑对弱的外部刺激的反应,可以预测从自发活动的观察,并铺平了道路,在不同的外部扰动下的大脑反应的对照实验。
2020-09-04 cond-mat.dis-nn cond-mat.stat-mech q-bio.NC
Inter-individual and inter-site neural code conversion without shared stimuli
本文提出一种无需共享刺激的神经代码转换方法,通过优化刺激内容差异并结合DNN层次特征,实现跨个体、跨站点的脑活动转换与高质量视觉重建。
2024-08-01 cs.HC q-bio.NC
Music to My Ears: Neural modularity and flexibility differ in response to real-world music stimuli
音乐听音涉及许多同时进行的神经操作,包括听觉处理、工作记忆、时间序列、音高跟踪、预期、奖赏和情绪,因此,全脑分析将有助于对音乐认知的全面研究。在这里,我们量化了全脑活动,而参与者听各种音乐和语音听觉片段使用两个网络措施,这是基于复杂系统理论:模块化,衡量大脑区域在社区中相互作用的程度,和灵活性,衡量大脑区域切换它们所属的社区的速度。在一项音乐和大脑连接研究中,这是一项更大的音乐聆听和中风恢复临床研究的一部分,健康参与者在听自选音乐时进行了fMRI,他们对这些音乐感到积极的情感依恋,以及文化上熟悉的音乐(J.S.巴赫),文化上不熟悉的音乐(中世纪日本的雅乐宫廷音乐),以及几段演讲摘录。在不同类型的听觉片段中,尤其是在不熟悉的音乐中,全脑网络之间存在明显的差异。在自选和巴赫曲目中,参与者的全脑网络表现出与网络灵活性显著协调的模块化组织。同时,当雅乐音乐响起时,大脑网络模块化和灵活性之间的这种关系基本上消失了。此外,虽然听自选曲时听觉皮层的灵活性与听巴赫曲时相当,但听雅乐曲时听觉皮层的灵活性更高。结果表明,全脑活动的模块化和灵活性措施有可能导致对真实世界歌曲的音乐感知过程中发生的复杂神经功能的新见解。
2022-01-17 q-bio.NC
Anatomical Pattern Analysis for decoding visual stimuli in human brains
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
背景:在神经科学和机器学习中,一个普遍的未回答的问题是计算机是否可以解码人脑的模式。多体素模式分析(MVPA)是解决这一问题的关键工具。然而,在以前的MVPA方法中存在两个挑战,这包括减少提取的特征中的稀疏性和噪声以及提高预测性能。方法:在克服上述挑战,本文提出了解剖模式分析(APA)解码的视觉刺激在人脑中。该框架开发了一种新的解剖特征提取方法和一种新的不平衡AdaBoost算法进行二进制分类。此外,它利用纠错输出码(ECOC)方法进行多类预测。APA可以自动检测每个类别的视觉刺激的活动区域。此外,它使我们能够结合同质数据集应用高级分类。结果和结论:对4个视觉类别(单词、辅音、物体和杂乱照片)的实验研究表明,该方法比现有方法具有更好的性能。
2017-10-05 cs.CV q-bio.NC stat.ML
Blindfold learning of an accurate neural metric
大脑无法直接接触到物理刺激,只能接触到感觉器官中诱发的尖峰活动。目前还不清楚大脑如何根据这些嘈杂的、相关的反应之间的差异来构建它对世界的表征。在这里,我们展示了如何建立一个距离图的反应,从视网膜神经节细胞的群体活动的结构,允许从视网膜反应的不同的视觉刺激的准确歧视。我们引入时间限制玻尔兹曼机来学习种群活动的时空结构,并使用该模型来定义脉冲序列之间的距离。我们表明,这种度量优于现有的神经距离在歧视对刺激,几乎没有区别。所提出的方法提供了一种通用的和生物学上合理的方式来学习关联类似的刺激,根据他们的尖峰反应,没有这些刺激的任何其他知识。
2017-10-13 q-bio.NC
Brain Treebank: Large-scale intracranial recordings from naturalistic language stimuli
Brain Treebank是最大规模的颅内电生理记录数据集,记录了10名受试者观看好莱坞电影时的神经响应,并包含对齐多模态特征的通用依存句法树库,旨在桥接语言学概念、感知与神经表征。
2024-11-13 q-bio.NC
Semantic Brain Decoding: from fMRI to conceptually similar image reconstruction of visual stimuli
University of Rome, Tor Vergata(罗马第二大学);Istituto di Bioimmagini e Fisiologia Molecolare, CNR(意大利国家研究委员会生物成像与分子生理学研究所);Martinos Center for Biomedical Imaging(马丁诺斯生物医学成像中心);MGH(麻省总医院);Harvard Medical School(哈佛医学院)
大脑解码是计算神经科学的一个领域,它使用可测量的大脑活动来推断心理状态或感知输入的内部表征。因此,我们提出了一种新的方法,大脑解码,也依赖于语义和上下文的相似性。我们采用自然图像视觉的fMRI数据集,并创建一个深度学习解码管道,灵感来自人类视觉中自下而上和自上而下的过程。我们训练了一个线性的脑-特征模型,将fMRI活动特征映射到视觉刺激特征上,假设大脑将视觉信息投射到一个空间上,该空间与预先训练的卷积神经网络的最后一个卷积层所表示的潜在空间同胚,该网络通常收集各种语义特征,这些语义特征总结并突出概念之间的相似性和差异性。这些功能,然后在潜在的空间中使用最近邻策略进行分类,其结果被用来调节生成潜空间扩散模型,以创建新的图像。仅从功能磁共振成像数据,我们产生的视觉刺激,匹配原始内容非常好的语义水平上的重建,超越了在以前的文献中的艺术状态。我们评估我们的工作,并获得良好的效果,使用定量语义度量(Wu-Palmer相似性度量WordNet词典,平均值为0.57),并进行了人类评价实验,导致正确的评价,根据人类标准的多样性在评估图像相似性,在超过80%的测试集。
2023-03-22 cs.CV q-bio.NC
Decoding visual stimuli in human brain by using Anatomical Pattern Analysis on fMRI images
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
在神经科学和机器学习中,一个普遍的悬而未决的问题是计算机是否可以解码人脑的模式。多体素模式分析(MVPA)是解决这一问题的关键工具。然而,在以往的MVPA方法,这是两个挑战,其中包括减少稀疏性和噪声提取的特征和提高预测性能。在克服上述挑战,本文提出了解剖模式分析(APA)解码视觉刺激在人脑中。该框架开发了一种新的解剖特征提取方法和一种新的不平衡AdaBoost算法进行二进制分类。此外,它利用纠错输出码(ECOC)方法进行多类预测。APA可以自动检测每个类别的视觉刺激的活动区域。此外,它使我们能够结合同质数据集应用高级分类。对4个视觉类别(单词、辅音、物体和杂乱照片)的实验研究表明,该方法比现有方法具有更好的性能。
2016-09-04 cs.LG q-bio.NC stat.ML
Reanimating Images using Neural Representations of Dynamic Stimuli
Carnegie Mellon University(卡内基梅隆大学)
本文提出 BrainNRDS 方法,利用视频扩散模型解耦静态图像与运动生成,从 fMRI 脑活动解码物体级光流并实现视频重活动与完整视频解码,证明视频编码器优于图像模型,为生物启发视觉系统提供新思路。
2025-03-25 cs.AI cs.CV q-bio.NC
Brain-aligning of semantic vectors improves neural decoding of visual stimuli
University of Osaka(大阪大学);Osaka University Hospital(大阪大学医院);Juntendo University(顺天堂大学);Nara Medical University(奈良县立医科大学)
语义向量对齐通过改进神经表示结构,提升视觉刺激的解码准确性。
2025-12-02 cs.AI q-bio.NC
Category decoding of visual stimuli from human brain activity using a bidirectional recurrent neural network to simulate bidirectional information flows in human visual cortices
近年来,随着深度网络计算的快速发展,基于功能磁共振成像(fMRI)的视觉编码和解码已经取得了许多成果。尽管深度网络和人类视觉的分层表示相似,但视觉信息分别基于自下而上和自上而下的方式从初级视觉皮层流向高级视觉皮层,反之亦然。受双向信息流的启发,我们提出了一种基于双向循环神经网络(BRNN)的方法来解码fMRI数据中的类别。BRNN模块的前向和后向分别采用自底向上和自顶向下的方式。该方法将每个视觉皮层区域(V1、V2、V3、V4和LO)的选定体素作为输入BRNN模块的序列中的一个节点,并结合BRNN模块的输出与后续的全连接层解码类别。这种新的方法可以有效地利用人类视觉皮层中的分层信息表示和双向信息流。实验结果表明,该方法提高了三层类别解码的准确率,隐含地验证了人类视觉表征的层次性和双向性。比较分析表明,人类视觉皮层的类别表征具有层次性、分布性、互补性和相关性。
2019-03-19 q-bio.NC
Context tree selection for functional data
人们一再强调,大脑从刺激中检索统计学意义上的信息。在这里,我们提出了一个新的统计方法,允许解决这个猜想。这种方法是基于一类新的随机过程驱动的链与记忆的可变长度。它导致了一种新的实验方案,其中将随机链产生的听觉刺激序列呈现给志愿者,同时从他们的头皮记录脑电(EEG)数据。介绍了一种新的函数型数据统计模型选择方法,并证明了该方法的一致性。应用到使用我们的实验协议收集的EEG数据样本,它产生的结果支持的猜想,大脑有效地识别链的结构产生的序列的刺激。
2018-01-11 q-bio.NC
Multi-Region Neural Representation: A novel model for decoding visual stimuli in human brains
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
多变量模式(MVP)分类具有巨大的潜力解码视觉刺激在人类大脑中采用基于任务的功能磁共振成像数据集。MVP技术面临着广泛的挑战,即降低噪声和稀疏性,定义有效的感兴趣区域(ROI),可视化结果以及大脑研究的成本。为了克服这些挑战,本文提出了一种新的神经表征模型,它可以自动检测每个视觉刺激的活动区域,然后利用这些解剖区域进行可视化和分析的功能活动。因此,该模型为神经科学家提供了一个机会来问这个问题:刺激对每个检测到的区域的影响是什么,而不仅仅是研究手动选择的ROI中体素的波动。此外,我们的方法引入了分析大脑图像的快照,而不是使用整个fMRI时间序列来降低稀疏性。在此基础上,提出了一种新的高斯平滑方法,用于在感兴趣区水平上去除体素噪声。所提出的方法使我们能够结合不同的fMRI数据集,以减少大脑研究的成本。对4个视觉类别(单词,辅音,物体和无意义的照片)的实验研究证实,所提出的方法实现了优于国家的最先进的方法的性能。
2016-12-26 cs.LG q-bio.NC stat.ML
STN: a new tensor network method to identify stimulus category from brain activity pattern
Peking University(北京大学);Meta Inc.(元宇宙公司);Beijing Normal University(北京师范大学)
神经解码仍然是神经计算科学中的一个挑战和热点。近年来,许多研究表明,脑网络模式包含着丰富的时空结构信息,代表着大脑在外界刺激下的激活信息。因此,从脑网络中解码刺激的研究受到了广泛的关注。传统的方法直接从常用的机器学习方法中提取脑网络特征,然后将这些特征输入到分类器中,实现对外部刺激的解码。然而,该方法不能有效地提取隐藏在大脑网络中的多维结构信息。张量研究表明,张量分解模型可以充分挖掘多维结构数据中独特的时空结构特征。本研究提出了一种基于张量分解思想和刺激类别约束信息的刺激约束张量脑模型。该模型在真实的神经影像数据集(MEG和fMRI)上进行了验证。实验结果表明,在两种模态数据集上,与其他方法相比,该模型的精度矩阵分别提高了11.06%和18.46%。这些结果表明,在提取判别特征方面,特别是在解码含有语义信息的目标刺激时,基于语义模型的判别特征提取方法具有优越性。
2022-11-23 cs.AI cs.CV q-bio.NC
Semantic vector space models predict neural responses to complex visual stimuli
编码模型的目标是预测神经对自然刺激的反应,目的是阐明感觉信息在大脑中是如何表达的。这种预测是通过用合适的特征空间表示刺激并使用该特征空间线性预测观察到的神经反应来实现的。在这里,我们调查在何种程度上语义向量空间模型可以用来预测复杂的视觉刺激的神经反应。我们发现,这些模型提供了很好的预测下游视觉区域的神经反应,显着改善了基于Gabor小波金字塔的低级别控制模型。概述的方法提供了一种新的方式来建模和映射跨皮层的高级语义表示。
2015-10-15 q-bio.NC
NeuroVolve: Evolving personalized visual stimuli toward user-defined brain response targets
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技);Weill Cornell Medicine(韦尔医学院)
NeuroVolve通过可编程神经目标生成视觉刺激,揭示大脑区域间的协同与对抗性调节关系,实现脑引导的图像编辑与首选刺激生成的统一。
2026-11-03 cs.CV q-bio.NC
Network Dynamics of Emotional Processing: A Structural Balance Theory Approach
该研究运用结构平衡理论分析138名健康右利手参与者的fMRI数据,发现情绪加工(尤其恐惧刺激响应)时脑网络平衡三元组减少、不平衡三元组增加,枢纽节点减少,揭示了大脑情绪加工的网络动态适应机制。
2024-12-12 q-bio.NC
Multi-command Tactile and Auditory Brain Computer Interface based on Head Position Stimulation
我们研究在何种程度上传递到受试者的头部的振动触觉刺激可以作为一个平台,脑机接口(BCI)的范例。六个头部位置被用来唤起组合的体感和听觉(通过骨传导效应)的大脑反应,以定义一个多模态的触觉和听觉脑计算机接口(taBCI)。受试者进行在线taBCI的实验结果,使用适度快速的刺激间间隔(ISI)的刺激,验证taBCI范式,而通过信息传输率的案例研究的概念的可行性被照亮。
2013-05-12 cs.HC q-bio.NC
Neuron-Glial Interactions
虽然落后于经典的计算神经科学,理论和计算方法开始出现,以表征神经元-胶质细胞相互作用的不同方面。本章旨在提供有关哺乳动物大脑中神经元-神经胶质相互作用的基本知识,利用专注于健康大脑中此类相互作用的结构(解剖学)和功能(生理学)的计算研究。虽然我们对大脑中神经元-胶质细胞相互作用的需要的理解仍处于起步阶段,主要是基于等待实验验证的预测,但从控制理论中借用的简单的一般建模参数被引入以支持在传统的基于神经元的建模范式中包括这种相互作用的重要性。
2020-01-19 q-bio.NC
Interpreting Encoding and Decoding Models
编码和解码模型广泛用于系统、认知和计算神经科学,以理解大脑活动数据。然而,对其结果的解释需要谨慎。解码模型可以帮助揭示特定信息是否以解码器可以利用的格式存在于大脑区域中。编码模型对表征空间做出了全面的预测。在感觉系统的背景下,编码模型使我们能够测试和比较大脑计算模型,从而直接约束计算理论。编码和解码模型通常包括拟合的线性模型分量。有时,拟合线性组合的权重被解释为在编码模型中反映不同感觉特征对表示的贡献,或者在解码模型中反映不同测量的大脑响应对解码特征的贡献。当预测变量或其噪声分量相关时,以及当先验(或惩罚)用于正则化拟合时,这样的解释可能是有问题的。编码和解码模型的泛化性能进行评估。正确的解释取决于模型实现的泛化水平(例如,对相同刺激的新反应测量,对来自相同人群的新刺激,或对来自不同人群的刺激)。单个模型的显著解码或编码性能(在任何一般性水平下)不为理论提供强约束。许多模型必须进行测试和比较,以进行分析,推动理论进步。
2019-04-26 q-bio.NC
The N400 for Brain Computer Interfacing: complexities and opportunities
N400是一种事件相关电位,是对概念上有意义的刺激的反应。例如,它对句子中不一致的词的反应比对一致的词的反应更消极,对主要词后面的不相关词的反应比相关词的反应更消极。这种对与个体的心理背景相关的刺激的语义内容的敏感性使其成为脑机接口感兴趣的信号。鉴于这种潜力,值得注意的是,利用N400的BCI文献是有限的。我们确定了三个现有的应用领域:(1)利用面部的语义处理来提高矩阵拼写性能,(2)检测意识障碍患者的语言处理,以及(3)使用语义刺激来探测用户的想法。从这些应用领域的研究,我们说明,N400可以成功地利用BCI的目的,但信噪比是一个限制因素,信号强度也有很大的不同科目。此外,我们将研究结果放在一般N400文献的背景下,注意到开放性问题并确定进一步研究的机会。
2019-08-28 q-bio.NC
Multi-modal brain encoding models for multi-modal stimuli
Technische Universität Berlin(柏林技术大学);Rice Univ(莱斯大学);Univ of Bonn(波恩大学);Spector Inc(Spector公司);Microsoft(微软);IIIT Hyderabad(海得拉巴国家理工学院)
本研究利用跨模态和联合预训练的多模态模型,探究其预测观看电影时fMRI脑活动的准确性,发现多模态模型在视觉和语言区域对齐更好,且跨模态模型主要依赖视频,联合预训练模型依赖视频和音频,为理解大脑多模态处理提供动机。
2025-05-26 cs.AI cs.CL cs.LG
Adaptive Stimulus Selection in ERP-Based Brain-Computer Interfaces by Maximizing Expected Discrimination Gain
脑机接口(BCI)可以为患有严重神经肌肉限制的个体提供另一种通信方式。基于P300的BCI拼写器依赖于诱发和检测脑电图(EEG)数据中的瞬时事件相关电位(ERP),以响应用户关注一系列非目标刺激中很少出现的目标刺激。然而,在大多数P300拼写器实现中,要呈现的刺激是从有限的选项集合中随机选择的,并且刺激选择和呈现不是基于先前的用户数据来优化的。在这项工作中,我们提出了一个数据驱动的方法,刺激选择的基础上预期的歧视增益度量。数据驱动的方法基于先前观察到的刺激响应来选择刺激,目的是选择一组刺激,这组刺激将提供关于用户的预期目标角色的最多信息。我们的方法结合了由于实时BCI实施的生理和系统约束的知识。模拟进行比较,我们的刺激选择方法的行列范式,传统的刺激选择方法的P300拼写。模拟结果表明,我们的自适应刺激选择方法有可能显着提高性能从传统的方法:高达34%的准确性和43%的平均数量的刺激介绍减少拼写字符在72个字符的网格。此外,我们的贪婪的刺激选择方法提供了灵活性,以适应设计约束。
2017-07-03 cs.HC q-bio.NC
MindSimulator: Exploring Brain Concept Localization via Synthetic FMRI
Tongji University(同济大学)
MindSimulator提出一种数据驱动方法,利用生成技术合成大脑活动记录以学习条件概率分布,成功定位并验证了多个概念选择性区域,为神经科学研究提供了新的探索途径和先验假设。
2025-03-04 cs.AI q-bio.NC
A Novel Framework for Visual Motion Imagery Classification Using 3D Virtual BCI Platform
本研究利用3D脑机接口(BCI)训练平台刺激被试进行视觉运动表象和视知觉训练。我们测量了被试在感知和想象刺激时的脑区激活和α-波段功率活动。在此基础上,分别在视觉刺激和视觉运动表象两个阶段将其分为4类。结果表明,枕区参与视知觉和视觉运动表象,在视觉运动表象时,枕区α波功率增加,在视觉运动刺激时,枕区α波功率降低。与视觉运动表象和运动表象的成绩相比,视觉运动表象的成绩显著高于运动表象。使用一个相对于休息的方法以及大脑激活的分析来证明视觉相关的脑电波信号是有意义的,并且结果是显著的。
2020-02-04 cs.HC q-bio.NC
Task-conditioned probing of instruction-tuned multimodal LLMs: Region-specific brain alignment patterns under naturalistic stimuli
Technische Universität Berlin(柏林技术大学);Rice University(Rice 大学);AWS AI Labs, Amazon(Amazon 人工智能实验室);IIT Delhi(德里理工学院);University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Spector Inc(Spector 公司);IIIT-Hyderabad(海得拉巴理工学院);Microsoft(微软)
本研究探讨了指令调制多模态大语言模型在自然主义刺激下的大脑对齐模式,通过比较不同模型在视频和音频任务中的表现,揭示了指令调制对模型表示能力的影响。
2026-05-19 cs.AI cs.CL cs.CV
Multi-command Tactile Brain Computer Interface: A Feasibility Study
该研究探讨了触觉刺激传递到BCI-幼稚受试者的十个手指的程度,可以作为一个平台,脑机接口(BCI),可用于互动应用程序,如机器人车辆操作。十个指尖用于唤起体感大脑反应,从而定义了触觉脑机接口(tBCI)。受试者进行在线(实时)tBCI的实验结果,使用刺激与适度快速的刺激间间隔(ISI),提供了验证的tBCI原型,而通过信息传输率通过案例研究获得的概念的可行性照亮。
2013-05-19 cs.HC q-bio.NC
Non-classicality in mental states : an experimental study with ambiguous audio (music) stimuli
本文试图解决这样一个问题,即当人脑以听觉刺激的形式与外界环境相互作用时,现有的物理或数学理论是否足以理解人脑的复杂性。已有研究报告指出,在视觉刺激中引入模糊性会导致无法用经典解释的效应。研究了听觉刺激中的模糊性是否可以引入任何非模糊性,人类大脑中的经典效应。在正常受试者中进行了简单的实验,他们听了一个模糊的听觉信号,并回答了一个问题"是“或”否“。测试结果表明,经典的全概率公式在这种情况下不成立。结果是有趣的,并表明有一个明确的非经典的心理状态在感知模糊的音频刺激。
2016-03-18 math.PR q-bio.NC quant-ph
Expert2Coder: Capturing Divergent Brain Regions Using Mixture of Regression Experts
International Institute of Information Technology(国际信息技术研究所)
使用语言编码模型的fMRI语义类别理解试图学习将刺激与相应的大脑激活相关联的前向映射。最先进的编码模型使用单个全局模型(线性或非线性)来预测给定刺激的大脑激活。然而,在这些方法中的关键假设是,先验不同的大脑区域以相同的方式对所有刺激作出反应,也就是说,没有模块化或专业化假设的任何区域。这违背了模块化理论,许多认知神经科学研究表明,大脑中存在功能专门化的区域。在本文中,我们通过将相似的区域聚类在一起来实现这一点,对于每个聚类,我们使用线性专家模型的混合来学习不同的线性回归模型。这里的关键思想是,每个线性专家都捕捉到了相似大脑区域的行为。给定一个新的刺激,所提出的模型的效用是双重的(i)预测大脑激活作为多个线性专家的激活的加权线性组合和(ii)学习对应于不同的大脑区域的多个专家。我们认为,每个专家捕捉活动模式相关的一个特定区域的利益(ROI)在人类大脑。这项研究有助于理解大脑区域在不同刺激下被激活。重要的是,我们认为回归专家混合(MoRE)框架成功地结合了大脑功能组织的两个原则,即专业化和整合。实验的fMRI数据从范例1 [1],其中参与者查看语言刺激表明,所提出的MoRE模型具有更好的预测精度相比,传统的模型。
2020-05-29 cs.CL cs.LG q-bio.NC
Music of Brain and Music on Brain: A Novel EEG Sonification approach
Jadavpur University(贾达普大学)
我们能听到大脑的声音吗?有没有什么技术可以让我们听到来自大脑不同脑叶的神经电脉冲?所有这些问题的答案都是肯定的。在本文中,我们提出了一种新的方法,我们可以用声音的脑电图(EEG)数据记录在休息状态下,以及在一个最简单的声刺激的影响下-一个tanpura无人机。tanpura drone具有非常简单但非常复杂的声学特征,通常用于在音乐表演期间创建氛围。因此,对于这个试点项目,我们选择研究简单的声学刺激(tanpura drone)和超声EEG数据之间的相关性。到目前为止,还没有研究处理生物信号与其声学对应物之间的直接相关性以及该相关性如何在不同类型的刺激的影响下变化。这是同类研究中的第一个,它弥合了这一差距,并使用称为多重分形去趋势交叉相关分析(MFDXA)的强大数学显微镜寻找音乐信号和EEG数据之间的直接相关性。为此,我们采取了EEG数据的10名参与者在2分钟的“休息状态”(即白噪声)和2分钟的“tanpura无人机”(音乐刺激)听条件。然后,对不同电极的脑电信号进行超声处理,并采用MFDXA技术评估紫癜信号与脑电信号之间的相关程度(或互相关系数)。在实验过程中,不同叶的γx的变化也提供了重要的有趣的新信息。只有音乐刺激有能力参与大脑的几个区域,这与其他刺激(只参与特定领域)明显不同。
2017-12-22 cs.SD eess.AS physics.data-an
R&B -- Rhythm and Brain: Cross-subject Decoding of Music from Human Brain Activity
Department of Biomedicine and Prevention University of Rome Tor Vergata(生物医学与预防系罗马大学托尔维加塔分校);A.A. Martinos Center for Biomedical Imaging Harvard Medical School/MGH, Boston (US)(A.A. Martinos生物医学成像中心哈佛医学院/马萨诸塞总医院,波士顿(美国))
研究通过fMRI数据解码音乐,利用CLAP模型和voxel编码模型,实现跨被试音乐识别,提升音乐感知与情绪的神经基础理解。
2024-06-21 cs.AI cs.SD eess.AS
Multicommand Tactile Brain Computer Interface based on Fingertips or Head Stimulation
本文介绍了一个计算神经科学的研究结果进行测试,以引起触觉脑机接口(hBCI)范例中使用的体感脑反应的受试者的指尖和头部区域的振动触觉刺激。我们提出了初步的和非常令人鼓舞的结果,与主题进行在线hBCI接口实验,范围从40%到90%,非常快的刺激间隔(ISI)为250毫秒。所呈现的结果证实了我们的假设,即hBCI范例概念是有效的,它允许快速刺激呈现,以实现令人满意的信息传输率的新型BCI。
2013-01-25 cs.HC q-bio.NC
Domain Adaptation-Enhanced Searchlight: Enabling classification of brain states from visual perception to mental imagery
University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU));Basque Center for Cognition, Brain and Language (BCBL)(巴斯克认知、大脑与语言中心);Ikerbasque, Basque Foundation for Science(伊克尔巴斯克基金会(巴斯克科学基金会))
本研究提出基于领域自适应(DA)增强的探照灯分析方法,利用18名受试者fMRI数据训练模型预测想象刺激,显著提升了二分类和多分类的表象预测性能,并成功识别出视觉皮层和额顶皮层等高度分布的脑区。
2025-01-27 cs.LG q-bio.NC
Semantic learning in autonomously active recurrent neural networks
人脑是自主活动的,其特征在于即使在没有外部感觉刺激的情况下也会存在的自我维持的神经活动。在这里,我们研究自主活动的递归神经网络和外部感官刺激的自我维持的活动之间的相互关系。外部刺激的涌入与自主和持续的大脑动力学内部产生的模式之间没有先验的语义关系。那么问题就来了,内部和外部动态过程之间的语义相关性是何时以及如何习得和建立起来的?我们研究这个问题的瞬态动力学的范式内的神经活动在循环神经网络,即一个自治的神经活动的特点是由一个无限的时间序列的瞬态稳定的吸引子状态。我们建议,外部刺激将是相关的敏感期,{ \it即}过渡期之间的一个瞬态和随后的半稳定吸引子。每当刺激定性地影响内部动态时,无监督地生成扩散学习信号。为了测试,我们已经提出了相应的酒吧和条纹问题的模型系统的刺激。我们发现,该系统执行非线性独立分量分析本身,是连续和自主的活动。这种涌现的认知能力是由神经动力学的一个普遍原理--神经集合之间的竞争--产生的。
2009-03-11 q-bio.NC
Mind Reader: Reconstructing complex images from brain activities
UC Santa Barbara(加州大学圣巴巴拉分校)
了解大脑如何编码外部刺激以及如何从测量的大脑活动中解码这些刺激是神经科学中长期存在的挑战性问题。本文主要研究从功能磁共振成像(fMRI)信号中重建复杂的图像刺激。不同于以往的作品,重建图像与单一的对象或简单的形状,我们的工作旨在重建图像刺激,丰富的语义,更接近日常场景,并可以揭示更多的观点。然而,fMRI数据集的数据稀缺是将最先进的深度学习模型应用于这个问题的主要障碍。我们发现,将一个额外的文本模态是有益的重建问题相比,直接翻译大脑信号的图像。因此,在我们的方法中涉及的模态是:(i)体素水平的fMRI信号,(ii)观察到的图像,触发大脑信号,和(iii)图像的文本描述。为了进一步解决数据稀缺问题,我们利用了在大规模数据集上预先训练的对齐视觉语言潜在空间。我们没有从头开始训练模型来寻找三种模态共享的潜在空间,而是将fMRI信号编码到这个预先对齐的潜在空间中。然后,在这个空间中的嵌入的条件下,我们重建图像的生成模型。从我们的管道重建的图像平衡了自然度和保真度:它们是照片般逼真的,并且很好地捕捉了地面真实图像内容。
2022-09-30 cs.CV cs.HC cs.LG
A Multimodal Sequence-to-Sequence Model for Cross-Subject Prediction of Brain Responses to Naturalistic Stimuli
Data Science Institute University of Chicago(芝加哥大学数据科学研究所);Department of Psychology, Neuroscience Institute University of Chicago(芝加哥大学心理学系、神经科学研究所)
本文提出多模态 Seq2Seq Transformer,融合视觉、听觉、语言特征与历史脑状态,自回归预测自然电影诱发的全脑 fMRI 响应,并在分布内外数据上验证有效。
2026-10-06 cs.CV q-bio.NC
NeuroWorld: A Latent Brain World Model for Stimulus-Conditioned Human Brain Dynamics
National University of Singapore(新加坡国立大学);Yong Loo Lin School of Medicine, National University of Singapore(新加坡国立大学杨潞龄医学院);Department of Medicine, Yong Loo Lin School of Medicine, National University of Singapore(新加坡国立大学杨潞龄医学院医学系);Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系);Stanford University(斯坦福大学);Department of Psychology, Stanford University(斯坦福大学心理学系)
研究针对现有脑编码模型的时间约束缺陷,提出首个脑世界模型NeuroWorld,通过两阶段方法在三个fMRI基准上实现了更优的脑活动多步预测性能,为脑活动因果预测提供了新框架。
2026-08-04 q-bio.NC
The brain as a trigger system
在HEP中与实时事件选择相关的问题与人类视觉系统所面临的问题之间存在显著的相似性。事实上,为了生存,视觉系统需要从大量的信息流中快速提取外部世界最重要的元素。视觉刺激的快速和可靠的检测对于触发对情绪刺激的自主反应、启动适应性行为以及定向到潜在的有趣/危险刺激是必不可少的。视觉处理的速度可达20 ms,约为动作电位基本信息交换持续时间的20倍。大脑处理视觉信息的能力受到神经元活动的内在能量成本的限制,以及头骨大小的生态限制,需要在早期阶段通过创建相关信息的紧凑摘要(所谓的“原始草图”)来进行强大的数据简化,以通过进一步的处理来处理。这与以合理的货币成本和实际设备尺寸提供快速数据简化的实验HEP的问题非常相似。由于HEP物理学家和实践视觉科学家的共同努力,我们最近提出,不仅问题相似,而且两种情况下采用的解决方案也具有很强的相似性,它们的平行研究实际上可以相互启发。将视觉系统建模为触发处理器会导致更深入的理解,甚至对其功能进行非常具体的预测。相反,从这种新的视觉方法中获得的见解可以为增强人工视觉系统和HEP触发系统的能力带来新的想法。
2014-10-19 q-bio.NC
Neuroprobe: Evaluating Intracranial Brain Responses to Naturalistic Stimuli
MIT CSAIL, CBMM(MIT CSAIL,CBMM);MIT McGovern Institute(MIT McGovern研究所);Caltech(加州理工学院);Columbia University(哥伦比亚大学);ETH Zurich(苏黎世联邦理工学院)
Neuroprobe通过高分辨率颅内EEG数据研究多模态语言处理,提供评估框架比较不同模型架构,揭示语言处理在大脑中的时间与空间动态。
2026-05-10 cs.LG q-bio.NC
Novel Virtual Moving Sound-based Spatial Auditory Brain-Computer Interface Paradigm
本文报告了一项研究,其中一个新的虚拟移动的声音为基础的空间听觉脑机接口(BCI)的范例开发。经典的听觉BCI依赖于空间静态刺激,当受试者具有非均匀的空间听觉感知特性时,这些刺激通常是无聊的并且难以感知。移动声音的概念提出和测试的文件允许创建一个P300的古怪范式的必要的目标和非目标的听觉刺激,这是更有趣,更容易区分。我们提出了一份报告,我们的研究7名健康受试者,这证明了移动的声音刺激的概念,一种新的BCI的可用性。我们比较在线BCI分类结果在静态和移动的声音范例产生类似的准确性结果。受试者偏好报告表明,所提出的移动声音协议更舒适,更容易与在线BCI区分。
2013-08-14 cs.HC q-bio.NC
A large dataset of human EEG responses to short naturalistic videos for studying dynamic visual event processing
Freie Universität Berlin(柏林自由大学);Charité – Universitätsmedizin Berlin(柏林夏里特医科大学);Humboldt-Universität zu Berlin(柏林洪堡大学);University of Amsterdam(阿姆斯特丹大学)
本文推出EEG Moments Dataset(EMD),含6名受试者观看1102段短自然视频的EEG与眼动数据,结合BMD可开展动态视觉事件大脑响应的时空解析研究,并公开数据及教程供使用。
2026-09-02 q-bio.NC
Transformation of stimulus correlations by the retina
感觉神经元反应中的冗余和相关性似乎浪费了神经资源,但可以携带有关结构化刺激的线索,并可能帮助大脑纠正反应错误。为了评估视网膜如何协商这种权衡,我们测量了神经节细胞群体的同时反应,这些神经节细胞群体呈现出在相关结构上差异很大的自然和人工刺激。我们发现,视网膜输出的成对相关性在具有广泛不同的时空相关性的刺激(包括白噪声和自然电影)之间保持相似。同时,纯粹的空间相关性往往会增加视网膜反应的相关性。对更多相关刺激的反应,神经节细胞具有更快的时间内核,并且往往具有更强的周围环境。单个细胞的这些特性,以及与神经节细胞输入的有效对比度变化相反的增益变化,在很大程度上解释了感受野测量可能的刺激之间的成对相关性的相似性。
2013-07-02 q-bio.NC
Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals
Microsoft Research Asia(微软亚洲研究院)
针对EEG噪声大、时序动态且难解码的问题,本文提出NeuroImagen流水线,通过多层级感知信息解码和潜在扩散模型,从便携脑电信号重建高分辨率视觉刺激图像。
2023-08-16 cs.AI cs.CV cs.MM
Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects
Facebook AI Research(Facebook人工智能研究院);Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能委员会);École normale supérieure(巴黎高等师范学院);PSL University(巴黎文理研究大学);CNRS(法国国家科学研究中心)
一种流行的方法来分解语言的神经基础,包括在不同的个体之间,大脑对不同刺激的反应(例如,正常的语音与混乱的单词,句子或段落)。虽然成功,这种“无模型”的方法需要收购一个大的和昂贵的神经成像数据集。在这里,我们表明,基于模型的方法可以达到相同的结果暴露于自然刺激的主题。我们利用最近发现的深度语言模型和人类大脑之间的相似性来计算i)大脑对常规语音的反应和ii)由修改的刺激(例如,混乱的单词,句子或段落)引起的深度语言模型的激活之间的映射。我们基于模型的方法成功地复制了Lerner等人(2011)的开创性研究,该研究通过比较7名受试者听7分钟常规和杂乱叙述的功能磁共振成像(fMRI)来揭示语言区域的层次结构。我们进一步将这些结果扩展并精确到305个人听了4.1小时的叙述故事的大脑信号。总的来说,这项研究为有效和灵活地分析语言的大脑基础铺平了道路。
2021-10-12 cs.AI cs.CL cs.LG
Deep adversarial neural decoding
Radboud University(拉德堡德大学)
在这里,我们提出了一种新的方法,通过结合概率推理和深度学习来解决从大脑反应中重建感知刺激的问题。我们的方法首先用最大后验估计反转从潜在特征到大脑响应的线性变换,然后用卷积神经网络的对抗训练反转从感知刺激到潜在特征的非线性变换。我们用功能性磁共振成像实验测试了我们的方法,并表明它可以从大脑激活中生成最先进的感知面部重建。
2017-06-15 cs.LG q-bio.NC stat.ML
The network architecture of value learning
价值观引导行为。有了刺激值和行为后果的知识,可以选择最大化预期奖励的行为。先前的工作已经确定了几个大脑结构,这些结构对于表示刺激及其值至关重要。然而,目前还不清楚这些结构如何相互作用,并与大脑的其他区域,以支持动态获取价值相关的知识。在这里,我们使用网络神经科学的方法来研究如何BOLD功能网络的变化作为20个健康的人类受试者学习的价值观的新的视觉刺激在连续四天的过程中。我们发现,随着学习的进展,视觉,额叶和扣带皮层区域之间的联系变得越来越强,这些变化主要局限于网络的颞叶核心。这些结果表明,功能网络动态跟踪价值判断的行为改善,网络社区之间的相互作用形成了学习的预测生物标志物。
2016-07-14 q-bio.NC
Neural dSCA: demixing multimodal interaction among brain areas during naturalistic experiments
University of Tokyo(东京大学);University of Oxford(牛津大学);ATR(国际电气通信基础技术研究所);AIST(产业技术综合研究所)
神经元群体之间的多区域相互作用是我们日常生活中大脑处理丰富感觉信息的基础。最近的神经科学和神经影像学研究越来越多地使用自然主义刺激和实验设计来识别大脑中的这种现实感觉计算。然而,用于具有降维的跨区域相互作用分析的现有方法(诸如降秩回归和典型相关分析)在自然主义设置中具有有限的适用性和可解释性,因为它们通常不适当地将神经相互作用“分层”成与不同类型的任务参数或刺激特征(例如,视频或音频)。在本文中,我们开发了一种新的跨区域交互分析方法,该方法使用丰富的任务或刺激参数来揭示不同神经元群体共享信息的方式和类型。建议的神经分层共享成分分析结合了现有的降维方法与一个实际的神经网络实现的功能分析的方差与潜变量,从而有效地分层连续和多模态刺激的非线性效应。我们还提出了一个简化的替代线性效应和单峰刺激的假设下。为了证明我们的方法,我们分析了两个参与者观看电影和舞蹈动作的自然视频的人类神经成像数据集。结果表明,我们的方法提供了新的见解,在大脑中的多区域的相互作用,在自然的感觉输入,这是不能被传统技术捕获。
2021-06-05 cs.AI cs.LG q-bio.NC