Reconstructing Visual Stimulus Images from EEG Signals Based on Deep Visual Representation Model
针对fMRI成本高、难普及的问题，本文构建视觉刺激与EEG数据集，并提出由残差中残差密集块编码器和深度神经网络解码器组成的DVRM，实现从EEG信号生成高相似、逼真的重建图像。
2024-03-11 cs.CV eess.IV q-bio.NC
Toward improving the visual stimulus meaning for increasing the P300 detection
P300拼写器是一个众所周知的脑机接口范例，已经使用了二十多年。提出了一种新的P300拼写器范例（XP300）。它包括几个特点：（i）项目没有通过使用行和列来强化，（ii）视觉刺激的顺序是伪随机的，（iii）在每个项目上添加视觉反馈以增加刺激意义，这是主要的新颖性。XP300已经在10名健康受试者身上进行了复制拼写模式的测试，只有8个传感器。并与经典的P300范式（CP300）进行了比较。在五次重复中，XP 300和CP 300的平均识别率分别为85.25%和77.25%。通过比较ROC（受试者工作特征）曲线的AUC（曲线下面积），XP 300的单次试验检测率显著更高。XP 300的平均AUC为0.86，CP 300为0.80。更重要的是，XP 300也被认为比CP 300更方便和用户友好，因此能够允许更长的会话。
2016-12-12 cs.HC q-bio.NC
A second-order orientation-contrast stimulus for population-receptive-field-based retinotopic mapping
视野或视网膜定位图是功能磁共振成像中最常用的范例之一。它使用由整个视野呈现的位置变化的高亮度对比度视觉模式引起的活动来确定皮层视觉区的空间组织。虽然使用高亮度对比度的优点是它倾向于驱动宽范围的神经元群体-从而导致高信噪比BOLD响应-但这也可能是一个限制，特别是对于试图从BOLD响应中挤出更多信息的方法，例如群体感受野（pRF）映射。在这种情况下，对神经元子集进行更有选择性的刺激-尽管信号减少-可以更好地表征pRF特性。在这里，我们使用了二阶刺激的基础上的局部差异的方向纹理-我们称之为方向对比度-进行视网膜定位映射。在我们的实验中，参与者观看了由前景（一条）和背景组成的Gabor贴片阵列。这些只能区分的基础上，在补丁方向的差异。在我们的分析中，我们比较了使用这种新的方向对比度为基础的视网膜检查（OCR），使用经典的亮度对比度为基础的视网膜检查（LCR）获得的pRF属性。具体而言，在高阶皮层视觉区，如LO，我们的新方法导致非平凡的减少估计人口感受野大小约30%。我们讨论了如何OCR -通过限制感受野散射和减少BOLD位移-可能导致更准确的pRF定位以及。我们的结论是，使用我们的方法，有可能选择性地针对特定的神经元群体，开辟了使用pRF建模来解剖不同视觉区域中更明确定义的神经元群体的响应特性的方法。
2017-07-10 q-bio.NC
Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Brain's Ventral Visual Pathway
汇聚的证据表明，哺乳动物腹侧视觉通路编码越来越复杂的刺激功能在下游地区。使用深度卷积神经网络，我们现在可以定量地证明，在人类大脑的腹侧通路中，确实存在特征复杂性的明确梯度。我们的方法还允许刺激功能的复杂性不断增加，以映射到整个人类大脑，提供了一个自动化的方法来探测如何表示映射到整个皮层片。最后，它表明，深度卷积神经网络允许在人类大脑中的表示解码在以前无法达到的准确度，提供了一个更敏感的窗口进入人类大脑。
2014-11-24 q-bio.NC
New Approach for Designing cVEP BCI Stimuli Based on Superposition of Edge Responses
本研究的目的是开发一种新的方法来设计刺激序列cVEP脑机接口的基础上的行为和属性的实际EEG响应的视觉系统编码的视觉刺激的实验研究，这样的训练时间减少，目标的可能数量增加。来自8个枕骨部位的EEG以每通道2000个样本/秒记录，响应于在具有60 Hz刷新率的计算机监视器上呈现的视觉刺激。通过160次信号平均获得长视觉刺激脉冲的起始和偏移EEG响应。这些边缘响应被用来预测任意刺激序列使用叠加原理的EEG响应。一个BCI拼写器，它利用由这一原则产生的目标模板也实现和测试。结果发现，某些短刺激模式可以准确地预测叠加原理。与将叠加原理应用于常规m序列和随机生成的序列时相比，通过这些最佳模式的组合构建的BCI序列产生更高的准确度（95.9%）和ITR（57.2 bpm）。BCI应用程序的训练时间仅涉及边缘响应的采集，并且不到4分钟，并且可能有大量的序列。这是第一个研究中，cVEP BCI序列的设计基于通过观察几个刺激模式的实际大脑反应获得的约束。
2020-04-02 q-bio.NC
Representing stimulus motion with waves in adaptive neural fields
本文提出自适应神经场行波模型，通过微扰得到波响应函数，刻画行波对持续运动刺激与间歇闪光刺激的夹带机制，为视觉运动感知提供理论解释。
2023-12-11 nlin.PS q-bio.NC
Optimized two-stage AI-based Neural Decoding for Enhanced Visual Stimulus Reconstruction from fMRI Data
Department of Electronics, Information, and Bioengineering, Politecnico di Milano（电子、信息与生物工程系，米兰理工大学）；Università di Pavia（帕维亚大学）
本研究提出一种非线性深度网络优化fMRI潜在空间表示与维度，结合两阶段生成式AI提升视觉刺激重建效果，在自然场景数据集上结构相似度和语义质量均优于现有岭线性模型方法，并验证了两阶段各自的作用。
2024-12-17 cs.CV cs.LG eess.IV
A Semi-Parametric Model for Decision Making in High-Dimensional Sensory Discrimination Tasks
心理测量功能通常表征沿着单一刺激维度的二元感觉决策。然而，现实生活中的感官任务沿着更大范围的维度（例如，视觉刺激的颜色、对比度和亮度）变化。表征高维感觉空间的方法要么需要对这些额外的上下文维度进行强参数假设，要么无法利用经典心理测量曲线的已知属性。我们克服了这两个限制，通过引入一个半参数模型的感官歧视，适用于传统的心理物理模型沿刺激强度维度，但把高斯过程（GP）先验的参数，这些模型相对于其余的尺寸。通过将GP的灵活性与参数心理物理学的深入文献相结合，我们的半参数模型在合成和真实世界高维心理物理学数据集上的数据比基线少得多的情况下实现了良好的性能。此外，我们在贝叶斯主动学习环境中表现出很强的性能，并提出了一种新的半参数模型的主动学习范式。
2023-02-02 q-bio.NC
Visual Motion Onset Brain-computer Interface
本文提出了两个新的视觉运动起始刺激为基础的脑机接口（vmoBCI）的研究。两个设置比较传入和传出到计算机屏幕中心的运动模式。在线vmoBCI实验进行了一个古怪的事件相关电位（ERP）的范例，允许在EEG脑电波的“aha反应”解码。随后的逐步线性判别分析分类（swLDA）的分类精度比较进行了讨论的基础上两个刺激间间隔（ISI）设置为700和150毫秒在两个在线vmoBCI应用程序与六个和八个命令设置。基于700 ms和150 ms两种设置以及不同数量的ERP反应平均场景，证实了不同ISI的分类精度无显著差异的研究假设。关于显示中心视觉运动模式的传出允许更快的接口，因此它们被推荐为更适合于需要视觉BCI的无眼动。
2016-09-30 q-bio.NC
Relational Dynamics in Perception: Impacts on trial-to-trial variation
我们表明，审判到审判的变化，而不是呈现一个固定的刺激对比度时，在一个受试者的判断波动相匹配的刺激对比度的波动，在一个微弱的视觉刺激的感官检测显着减少。这种波动的衰减不涉及受试者心理测量功能的变化。这一结果与将这种感觉检测任务中的试验间差异解释为一种高级元认知控制过程相一致，该过程探索了我们的大脑非常习惯的东西：主体-客体关系动态。
2011-02-07 q-bio.NC
Human-in-the-Loop Optimization for Deep Stimulus Encoding in Visual Prostheses
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Sorbonne Université（索邦大学）；Quinten Health；Inserm（法国国家健康与医学研究院）
本文提出结合深度编码器网络与优先贝叶斯优化的人机协同方法，通过少量成对比较快速学习个性化视觉假体刺激编码，显著提升恢复视觉质量并具备鲁棒性。
2023-10-27 cs.AI cs.CV cs.HC
A spatiotemporal style transfer algorithm for dynamic visual stimulus generation
University of Tübingen（图宾根大学）；German Center for Mental Health (DZPG)（德国心理健康中心）
针对视觉研究中动态视觉刺激生成方法稀缺的问题，提出基于双流深度网络的时空风格迁移算法，可生成匹配自然视频层激活的同功刺激，为视觉科学研究提供通用工具。
2024-03-07 cs.AI cs.CV cs.LG
Geometrical Optical Illusion via Sub-Riemannian Geodesics in the Roto-Translation Group
我们提出了一个神经数学模型的几何视错觉（GOIs），一类错觉现象，包括在一个不匹配的几何特性的视觉刺激和其相关的视知觉。它们发生在视觉区域V1/V2中，其功能结构在Citti和Sarti以前的作品中被建模为配备子黎曼（SR）度量的李群。在这里，我们扩展了他们的模型，提出负责皮层连接的度量是由简单细胞对视觉刺激的模拟神经生理反应调制的，因此提供了一个考虑到视觉刺激存在的更具生物学合理性的模型。在我们的模型中illuminating轮廓被描述为测地线在新的度量。该模型是通过数值模拟，我们通过SR快速推进计算测地线证实。
2020-02-19 math.DG q-bio.NC
A large dataset of human EEG responses to short naturalistic videos for studying dynamic visual event processing
Freie Universität Berlin（柏林自由大学）；Charité – Universitätsmedizin Berlin（柏林夏里特医科大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）；University of Amsterdam（阿姆斯特丹大学）
本文推出EEG Moments Dataset（EMD），含6名受试者观看1102段短自然视频的EEG与眼动数据，结合BMD可开展动态视觉事件大脑响应的时空解析研究，并公开数据及教程供使用。
2026-09-02 q-bio.NC
Stimulus Motion Perception Studies Imply Specific Neural Computations in Human Visual Stabilization
Montana State University, Dept of Electrical and Computer Engineering（蒙塔那州立大学电气与计算机工程系）；University of California, Berkeley, Herbert Wertheim School of Optometry and Vision Science（加州大学伯克利分校赫伯特·韦特海姆视觉科学与眼科学学院）
通过分析人类注视时眼球的微小抖动，发现视觉稳定机制比相机稳定或简单进化方案更复杂，提出了基于视网膜信号特定操作的功能模型和可能的神经回路实现。
2026-07-03 cs.CV q-bio.NC
Neural coding of a natural stimulus ensemble: Uncovering information at sub-millisecond resolution
我们对感觉世界的认识是由神经元以离散的、相同的脉冲序列编码的，这些脉冲被称为动作电位或尖峰。关于这些尖峰的精确时间与大脑功能的相关程度一直存在争议。我们重新审视这个问题，使用苍蝇视觉系统的运动敏感神经元作为测试用例。新的实验方法使我们能够提供更接近自然的视觉刺激，与苍蝇在自由飞行中遇到的刺激相比，杂技飞行，新的数学方法使我们能够得出关于神经反应的信息内容的更可靠的结论，即使可能的反应集非常大。我们发现，大量的视觉信息表示的细节的脉冲序列在毫秒和亚毫秒精度，即使感觉输入有一个相关时间为~ 60毫秒;不同的模式的尖峰定时代表不同的运动轨迹，和绝对定时的尖峰点，这些轨迹的特定功能，具有高精度。在这些自然条件下，系统继续以更高的光子通量传输更多的信息，即使单个光感受器每秒计数超过一百万个光子，并消除刺激中的冗余以生成更有效的神经代码。
2006-12-29 q-bio.NC q-bio.QM
Motion clouds: model-based stimulus synthesis of natural-like random textures for the study of motion perception
选择一组合适的刺激对于表征感觉系统对特定功能维度的反应至关重要，例如视觉场景运动后的眼球运动。在这里，我们描述了一个框架，以生成具有受控信息内容的随机纹理电影，即，运动云。这些刺激定义使用生成模型，是基于控制实验参数化。我们表明，运动云对应于密集混合的本地化移动光栅与随机位置。它们的全局包络类似于具有对应于视网膜滑移的近似全场平移的类似自然的刺激。我们描述了这些刺激的数学构造，并提出了一个基于Python的开源实现。使用这个框架的例子显示。我们还提出了扩展到其他形式，如彩色视觉，触摸和听觉。
2012-08-31 q-bio.NC
Gamma-Band Correlations in Primary Visual Cortex
利用神经场理论定量分析了到达初级视觉皮层（V1）的刺激诱发的γ波段（30 - 70 Hz）振荡的二维时空相关特性，并通过依赖于方向偏好（OP）的斑片连接进行调制。在不同的激励和测量条件下，相关函数的解析推导。预测再现了一系列已发表的实验结果，包括存在两点振荡时间互相关与神经元之间的零时滞与类似的OP，神经元的空间分离的相关性的强度的影响，和不同的刺激方向的影响。
2018-11-20 physics.bio-ph q-bio.NC
Recording from two neurons: second order stimulus reconstruction from spike trains and population coding
我们研究了重建的视觉刺激从脉冲序列，同时记录从两个H1神经元位于小叶板的苍蝇大头蝇。苍蝇认为两种类型的刺激，相应的旋转和平移位移。如果重建的刺激要用Volterra级数表示，并且要考虑尖峰之间的相关性，那么一阶展开是不够的，我们至少要进行二阶展开。在这种情况下，必须操纵高阶相关函数，其大小可能变得过大。因此，我们开发了一个高斯型表示的四阶相关函数，它的工作非常好的情况下，苍蝇。使用这种类高斯表示的重建与使用实验相关函数的重建非常相似。旋转刺激重建的二阶内核的整体贡献-测量卡方平均在整个实验-只有约8%的一阶贡献。然而，如果我们引入一个依赖于瞬时的卡方来衡量二阶内核在特殊事件中的贡献，我们观察到高达100%的改善。正如所料，对于平移刺激，重建是相当差的。类高斯表示在具有大量神经元的群体编码中可能是有价值的辅助。
2009-09-28 q-bio.NC
Guiding the surgical gesture using an electro-tactile stimulus array on the tongue: A feasibility study
在传统的“开放式”手术中，医生必须照顾病人，与其他临床医生互动，并检查几个监测设备。如今，计算机辅助手术提出在手术室中集成3D摄像机，以帮助外科医生进行微创手术穿刺。摄像机定位针头，计算机引导外科医生朝向颅内临床定义的目标。采用可视化系统（屏幕）为外科医生提供关于针的颅内位置的间接视觉空间信息。目前的工作建议使用另一种感官模态来引导外科医生，从而保持视觉模态完全专用于手术手势。为此，利用使用Bach-y-Rita的“舌头显示单元”（TDU）的感觉替代范例来向外科医生提供位置工具的信息。TDU设备由在舌头表面上传输电触觉信息的6x6电极矩阵组成。其基本思想在于传输关于针运动相对于预先计划的“最佳”轨迹的偏差的信息。我们提出了一个实验，评估的指导有效性，在TDU的指导下，在一个通常的视觉引导系统下证明的性能。
2007-03-27 physics.med-ph q-bio.NC
Stimulus-dependent correlations in threshold-crossing spiking neurons
我们认为一个阈值交叉尖峰过程作为一个简单的模型内的神经元群体的活动。假设这些神经元由高斯统计的共同波动输入驱动，我们评估了具有不同阈值的成对模型神经元中的脉冲序列的互相关。这种相关函数在时间上往往是不对称的，表明具有较低阈值的神经元优先于具有较高阈值的神经元，即使它们的输入相同。这些结果之间的关系和尖峰统计在其他模型的神经活动进行了探讨。特别是，我们比较我们的模型与一个集成和消防模型，其中膜电压重置后，每个尖峰。尖峰交叉相关的定性性质，出现从阈值交叉模型，是类似的突发事件中的集成和消防模型。这对于广义的整合和激发模型尤其如此，在该模型中，尖峰往往以观察到的突发方式发生，例如，在由快速波动的视觉刺激驱动的视网膜神经节细胞中。因此，阈值交叉模型提供了一个简单的，易于分析的描述事件发生在这些神经元。
2009-02-12 q-bio.NC
Receptive-field-constrained stimulus optimization for human early and intermediate visual cortex
Carnegie Mellon University（卡内基梅隆大学）；University of Hong Kong（香港大学）
针对早期和中间视觉皮层小感受野的挑战，提出RF-DiVE和RF-GO两种受pRF约束的MEI生成框架，在V1-hV4区域生成结构一致的MEI，其预测响应优于自然图像，实现数据驱动的特征选择性表征。
2026-09-30 cs.LG q-bio.NC
Dynamic Computerized Tumbling-E Testing for Temporal Reliability of Human Sequential Perceptual Decisions
University of Calgary（卡尔加里大学）
通过计算机化Tumbling-E任务收集人类试次级数据，包括反应时间、超时率和自适应阶梯行为，建立时间解析的感知决策基准，为与人工智能比较提供人类基线。
2026-06-23 q-bio.NC
Modeling Dynamic Neural Activity by combining Naturalistic Video Stimuli and Stimulus-independent Latent Factors
针对现有动态神经编码模型无法同时建模潜状态与完整神经元响应分布的不足，提出结合视频刺激与刺激无关潜变量的概率预测模型，在小鼠V1神经响应数据上验证了其性能优势与无监督习得潜变量的生物学意义。
2025-11-17 cs.AI q-bio.NC
Real time unsupervised learning of visual stimuli in neuromorphic VLSI systems
神经形态芯片将神经系统中的计算原理体现在微电子设备中。在这一领域，重要的是要确定计算原语，理论和实验表明，通用的和可重用的认知元素。一个这样的元素是由经常性网络中的吸引子动力学提供的。点吸引子是动态的平衡状态（直到波动），由网络的突触结构决定;吸引力的“盆地”包括所有初始状态，导致放松时给定的吸引子，因此使吸引子动态适合于实现强大的联想记忆。初始网络状态由刺激决定，松弛到吸引子状态实现了对相应记忆原型模式的检索。在以前的工作中，我们证明了神经形态的尖峰神经元和适当选择的，固定的突触支持吸引子动力学的经常性网络。在这里，我们专注于学习：激活芯片上的突触可塑性，并使用理论驱动的策略选择网络参数，我们表明，自主学习，重复呈现简单的视觉刺激，形状支持刺激选择性吸引子的突触连接。联想记忆在芯片上发展，作为耦合刺激驱动的神经活动和随后的突触动力学的结果，学习和检索阶段之间没有人为的分离。
2015-06-17 cs.NE q-bio.NC
Learning to make external sensory stimulus predictions using internal correlations in populations of neurons
为了弥补感官处理延迟，视觉系统必须做出预测，以确保及时和适当的行为。最近的研究发现，从视网膜开始，在视觉处理的早期，神经元群体中存在关于刺激的预测信息。然而，为了利用这些信息，下游细胞必须能够从视网膜神经节细胞的尖峰活动中读出预测信息。在这里，我们调查是否下游细胞可以学习有效的编码的预测信息在其输入中的其他指导性信号的情况下，从输入本身的相关性。我们模拟由蝾螈视网膜中记录的尖峰活动驱动的学习。我们将下游细胞建模为接收一小组加权输入的二进制神经元，并量化二进制神经元中的活动与未来输入之间的预测信息。在训练期间，输入权重根据尖峰时间相关的学习规则而变化。我们的特点下学习的读数尖峰时间依赖的学习规则，发现，虽然不动点的学习动力学与绝对的最佳读数，他们传达了几乎所有的信息传达的最佳读数。此外，我们发现，学习感知器传输的位置和速度信息的移动酒吧刺激几乎有效的最佳感知器。我们的结论是，预测信息是，原则上，可读的下游神经元的角度在没有其他输入，因此表明，自下而上的预测可能在感觉处理中发挥重要作用。
2017-06-26 q-bio.NC
Coverage, Continuity and Visual Cortical Architecture
许多哺乳动物的初级视觉皮层包含了视觉空间的连续表征，并叠加了大致重复的非周期性方位偏好图。最近发现，方位偏好图（OPMs）服从统计规律，这显然是不变性的物种之间广泛分离的真兽类进化。在这里，我们研究是否最突出的模型之一，优化皮质地图，弹性网络（EN）模型，可以重现这种常见的设计。EN模型生成的表示，最佳的贸易刺激空间覆盖和地图的连续性。虽然这个模型已被用于许多研究，没有分析结果的精确布局的预测OPM已获得迄今为止。我们提出了一种数学方法来分析计算EN模型预测的皮质表示，用于刺激位置和方向的联合映射。我们发现，在所有以前研究的制度，预测的OPM布局是完美的周期性。通过EN参数空间的无偏搜索确定了一个新的制度的非周期性的OPM的风车密度低于实验中发现的。在一个极端的限制，非周期性的OPM定量类似实验观察出现。这些布局的稳定性来自于强的非局部相互作用，而不是覆盖连续性妥协。我们的研究结果表明，优化模型的刺激表示占主导地位的非局部抑制性相互作用原则上能够正确预测常见的OPM设计。他们质疑视觉皮层特征表征可以用覆盖连续性妥协来解释。
2011-12-04 physics.bio-ph q-bio.NC
Fractal features of dark, maintained, and driven neural discharges in the cat visual system
我们采用了一些统计措施来表征猫视网膜神经节细胞（RGC）和他们的目标外侧膝状体核（LGN）神经元在各种刺激条件下的神经放电活动，我们开发了一种新的措施来检查尖峰列车对之间的分形活动的相关性。在没有刺激的情况下（即，在黑暗中），RGC和LGN放电表现出类似的特性。向眼睛呈现恒定、均匀的亮度减少了RGC维持放电中的分形波动，但增强了目标LGN放电中的分形波动，使得成对的神经活动不再彼此镜像。一个漂移光栅刺激产生RGC和LGN驱动的尖峰列车类似的字符中观察到的维持放电，有两个显着的区别：动作电位沿时间轴重组，使它们只发生在某些阶段的刺激波形，分形活动被抑制。在均匀亮度和漂移光栅刺激条件下（但不是在黑暗中），LGN细胞对的放电在长时间尺度上高度相关;相反，RGCs的放电几乎彼此不相关。这表明，在LGN的动作电位活动受到一个共同的分形调制，而RGC不受。
1999-10-18 physics.bio-ph q-bio.NC q-bio.QM
Strong, but not weak, noise correlations are beneficial for population coding
本文通过视网膜记录和理论建模证明，强噪声相关性即使与信号相关性方向一致也有益于群体编码，并揭示其有助于高维刺激细粒度细节的编码。
2025-07-02 q-bio.NC
Decomposing stimulus-specific sensory neural information via diffusion models
Institut de la Vision, INSERM, CNRS Sorbonne Université（视觉研究所，INSERM，CNRS，索邦大学）；Laboratoire des Systèmes Perceptifs Sorbonne University & École Normale Supérieure - PSL（感知系统实验室，索邦大学与巴黎高等师范学院-PSL）
针对感觉编码中互信息逐刺激分解这一不适定问题，研究者提出三大公理并推导出符合准则的可处理分解方法，借助扩散模型实现高效估计，可量化刺激及特征对神经编码信息的贡献，为神经表征研究提供可扩展可解释工具。
2025-10-22 q-bio.NC stat.ML
Feedback promotes efficient-coding while attenuating bias in recurrent neural networks
研究通过三层ctRNN比较有偏与无偏刺激训练，发现非均匀概率促进高效编码，而反馈通路可抑制偏差并保护低概率刺激表征。
2025-09-27 q-bio.NC
Modeling geometric-optical illusions: A variational approach
视觉扭曲的感知长度，角度，或形式，通常被称为“几何光学错觉”（GOI）。在本文中，我们专注于一类GOIs的直线段（“目标”刺激）的失真是由一个阵列的非相交的曲线元素（“上下文”刺激）。假设在一个向量场表示的上下文中的局部目标上下文的相互作用，我们建议建模的感知失真的目标作为一个最小化问题的变分法的解决方案。我们讨论的解决方案和再现的感知失真的几种类型的上下文的各自形式的属性。此外，我们绘制了GOIs和黎曼几何的互动模型之间的连接：上下文刺激被理解为扰动的视觉场的几何形状，从自然产生的错觉失真。该方法是说明从心理物理实验的数据与九个科目和六个不同的情况。
2013-04-22 math.CA q-bio.NC
Semantic vector space models predict neural responses to complex visual stimuli
编码模型的目标是预测神经对自然刺激的反应，目的是阐明感觉信息在大脑中是如何表达的。这种预测是通过用合适的特征空间表示刺激并使用该特征空间线性预测观察到的神经反应来实现的。在这里，我们调查在何种程度上语义向量空间模型可以用来预测复杂的视觉刺激的神经反应。我们发现，这些模型提供了很好的预测下游视觉区域的神经反应，显着改善了基于Gabor小波金字塔的低级别控制模型。概述的方法提供了一种新的方式来建模和映射跨皮层的高级语义表示。
2015-10-15 q-bio.NC
Sparse Functional Identification of Complex Cells from Spike Times and the Decoding of Visual Stimuli
我们研究了复杂细胞的稀疏功能识别和复杂细胞集合编码的视觉刺激的解码。时间和空间-时间刺激的重建算法被制定为秩最小化问题，其显著减少了解码所需的采样测量（尖峰）的数量。我们还建立了稀疏解码和功能识别之间的对偶性，并提供了识别低秩树突刺激处理器的算法。对偶性使我们能够有效地评估我们的功能识别算法，通过重建新的刺激在输入空间。最后，我们证明了我们的识别算法大大优于广义二次模型，非线性输入模型和广泛使用的尖峰触发协方差算法。
2017-06-19 q-bio.NC
Raccoons vs Demons: multiclass labeled P300 dataset
Neiry；MIPT（莫斯科物理技术学院）；MSU（莫斯科国立大学）
我们发布了在虚拟现实（VR）游戏《浣熊与魔鬼》（RvD）中进行的视觉P300脑机接口数据集。数据包含到达标签，包含有关刺激选择的信息，使我们能够在每个刺激预测阶段估计模型的置信度。数据和实验代码可在https://gitlab.com/impulse-neiry_public/raccoons-vs-demons上获取
2020-05-11 cs.HC cs.LG q-bio.NC
Cross-attention encoding models reveal dynamic spatiotemporal routing across human higher visual cortex
Carnegie Mellon University（卡内基梅隆大学）
本研究提出基于交叉注意力的视频编码模型，通过逐脑区动态路由V-JEPA-2特征，提升fMRI预测并揭示高级视觉皮层中刺激依赖的时空注意力机制。
2026-09-30 cs.AI cs.LG q-bio.NC
Provoking Predetermined Aperiodic Patterns in Human Brainwaves
在目前的工作中，健康的人类参与者的脑电图记录进行研究的夹带的脑波使用各种刺激。首先，使用两种不同的刺激形式的周期性听觉和视觉信号的脑波的周期性夹带进行了研究。夹带与周期性的视觉刺激是一致的，而听觉夹带是不确定的。因此，一个光（视觉）刺激，其中两个频率同时呈现给受试者被用来进一步探索人类脑电波的双频夹带。随后，探索了作为非周期性刺激的结果的脑电波的演变，其中观察到对预定非周期性模式的夹带。这些结果表明，非周期性夹带可用作引导修改脑电波的工具。这可能会在癫痫抑制和生物反馈等过程中找到可能的应用。
2019-01-03 physics.bio-ph q-bio.NC
How behavioral constraints may determine optimal sensory representations
神经元的感觉触发活动通常以调谐曲线来表征，调谐曲线将神经元的平均响应描述为表征物理刺激的参数的函数。是什么决定了神经元群体中调谐曲线的形状？先前的理论研究和相关实验表明，感觉神经元的许多反应特征对于编码刺激相关信息是最佳的。然而，这个概念并不能解释通常观察到的两种一般类型的调谐配置文件：单峰和单调。在这里，我量化的一组调谐曲线的功效，根据可能的下游电机的反应，可以从它们构建。在这个意义上最佳的曲线可以具有单调或非单调的轮廓，其中单调曲线的比例和最佳调谐曲线宽度取决于目标下游函数的一般性质。这种依赖性解释了视觉细胞对双眼视差敏感的有趣特征，以及蝙蝠神经元对回声延迟的调谐。数值结果表明，最佳的感官调谐曲线的形状不仅由刺激统计和信号噪声特性，但也根据其对下游神经回路的影响，并最终对行为。
2006-12-18 q-bio.NC
Impact of correlated neural activity on decision making performance
来自环境的刺激引导行为并告知决策，这些刺激被编码在神经元群体的放电率中。然而，群体中的每个神经元并不独立地发放：发放事件在细胞之间是相关的。这种明显的冗余在多大程度上影响了决策的准确性，以及优化决策所需的计算？我们探讨这些问题的两个说明性的模型之间的相关性细胞。每个模型在成对细胞水平上在统计学上是相同的，但在描述较大细胞组的同时活动的高阶统计量上不同。我们发现，存在的相关性可以减少一个理想的决策者所获得的性能或大或小的程度上，这取决于高阶相互作用的性质。此外，虽然这种最佳性能在某些情况下可以通过标准的积分定界操作获得，但在其他情况下，它需要对传入尖峰进行非线性计算。总的来说，我们的结论是，给定水平的成对相关性-即使仅限于相同的神经元群体-可能并不总是表明冗余，降低决策性能。
2012-07-21 q-bio.NC
Maximally informative dimensions: Analyzing neural responses to natural signals
我们提出了一种方法，将允许对自然刺激，这是非高斯和表现出很强的相关性的神经反应进行严格的统计分析。我们想到了一个模型，在这个模型中，神经元对高维刺激空间中的少量刺激维度具有选择性，但在这个子空间内，响应可以是任意非线性的。现有的分析方法是基于刺激和响应之间的关联函数，但这些方法只能保证在高斯刺激集成的情况下工作。作为替代关联函数，我们最大限度地提高神经反应和低维子空间上的刺激的投影之间的互信息。该过程可以通过增加该子空间的维数来迭代地完成。那些允许恢复尖峰和完整的未投射刺激之间的所有信息的维度描述了相关的子空间。如果相关子空间的维数确实很小，即使在完全自然的刺激条件下，也可以映射出神经元的输入-输出函数。这些想法在模拟模型视觉神经元对自然场景的反应中得到了说明。
2002-08-14 physics.bio-ph physics.data-an q-bio.NC
Analyzing neural responses to natural signals: Maximally informative dimensions
我们提出了一种方法，允许一个严格的统计分析的神经反应，自然刺激是非高斯和表现出很强的相关性。我们想到了一个模型，其中神经元对高维刺激空间中的少量刺激维度具有选择性，但在该子空间内，响应可以是任意非线性的。现有的分析方法是基于刺激和响应之间的关联函数，但这些方法只能保证在高斯刺激集成的情况下工作。作为替代关联函数，我们最大限度地提高神经反应和低维子空间上的刺激的投影之间的互信息。该过程可以通过增加该子空间的维数来迭代地完成。那些允许恢复尖峰和完整的未投射刺激之间的所有信息的维度描述了相关的子空间。如果相关子空间的维数确实很小，即使在完全自然的刺激条件下，映射神经元的输入-输出函数也是可行的。这些想法在模拟模型视觉和听觉神经元对自然场景和声音的反应中得到了说明。
2003-09-19 physics.bio-ph physics.data-an q-bio.NC
Multi-Region Neural Representation: A novel model for decoding visual stimuli in human brains
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
多变量模式（MVP）分类具有巨大的潜力解码视觉刺激在人类大脑中采用基于任务的功能磁共振成像数据集。MVP技术面临着广泛的挑战，即降低噪声和稀疏性，定义有效的感兴趣区域（ROI），可视化结果以及大脑研究的成本。为了克服这些挑战，本文提出了一种新的神经表征模型，它可以自动检测每个视觉刺激的活动区域，然后利用这些解剖区域进行可视化和分析的功能活动。因此，该模型为神经科学家提供了一个机会来问这个问题：刺激对每个检测到的区域的影响是什么，而不仅仅是研究手动选择的ROI中体素的波动。此外，我们的方法引入了分析大脑图像的快照，而不是使用整个fMRI时间序列来降低稀疏性。在此基础上，提出了一种新的高斯平滑方法，用于在感兴趣区水平上去除体素噪声。所提出的方法使我们能够结合不同的fMRI数据集，以减少大脑研究的成本。对4个视觉类别（单词，辅音，物体和无意义的照片）的实验研究证实，所提出的方法实现了优于国家的最先进的方法的性能。
2016-12-26 cs.LG q-bio.NC stat.ML
How to find decision makers in neural circuits?
神经回路经常面临将刺激分类为离散组并基于此类分类做出决策的问题。这些回路的神经元可以根据它们与刺激或反应的不同特征的相关性来区分，这允许定义感觉或运动神经元类型。在这项研究中，我们定义了第三类神经元，这是负责决策。我们建议两种描述的单位的贡献决策：第一，作为一个空间衍生的神经活动和决定之间的相关性;第二，作为一个给定的神经元的响应的可变性的影响。这两个定义被证明是等效的，当他们可以比较。我们还提出了一个实验策略，以确定决策的贡献，它使用随时间变化的随机电流的电刺激。
2004-01-05 q-bio.MN q-bio.NC
Functional gradients through the cortex, multisensory integration and scaling laws in brain dynamics
在脑加工中多感觉效应和跨通道效应研究日益增多的背景下，对Justo Gonzalo（1910-1986）提出的与中枢综合征（由顶枕皮层单侧损伤引起，与视觉、触觉和听觉投射区等距离）有关的人脑功能模型进行了评述。该综合征的特点是双边，对称和多感觉参与，并通过功能性抑郁症的动态影响依赖于神经质量的损失和相关的神经兴奋性的生理规律。倒置或倾斜的视觉以及触觉和听觉倒置，在最小刺激下，表现为不完全整合的阶段，在更高的刺激或多感觉整合的促进下几乎得到纠正。该综合征揭示了大脑动力学的各个方面，表明皮层的功能连续性和统一性。提出了一种功能梯度方案，其中皮层的特异性以连续变化分布。这种综合征被解释为系统的神经兴奋性的规模减少，不同的感觉质量受到影响异速生长根据缩放定律。提出了从低级感觉功能到高级感觉功能的连续性。通过增加刺激或通过多感觉促进的感觉增长被发现近似遵循幂律，这将反映生物神经网络的基本规律。我们将分析局限于视觉系统。
2008-08-07 q-bio.NC q-bio.QM
Aligned with LLM: a new multi-modal training paradigm for encoding fMRI activity in visual cortex
PLA Strategic Support Force Information Engineering University（中国人民解放军战略支援部队信息工程大学）
本文提出一种与LLM对齐的新多模态训练范式，通过miniGPT4生成图像描述并用CLIP进行图文特征对齐，显著提升了视觉皮层fMRI活动编码模型LLM-VEM的精度与性能。
2024-01-08 cs.CV q-bio.NC
Decoding Dynamic Visual Experience from Calcium Imaging via Cell-Pattern-Aware Pretraining
Interdisciplinary Program in Artificial Intelligence（人工智能跨学科项目）；Seoul National University（首尔国立大学）；NSF AI Institute for Artificial and Natural Intelligence (ARNI)（国家科学基金会人工智能与自然智能研究院）；Columbia University（哥伦比亚大学）；Mila (Quebec AI Institute)（蒙特利尔人工智能研究所）；Dept. of Neurology & Neurosurgery（神经病学与神经外科系）；McGill University（麦吉尔大学）；Montreal Neurological Institute, McGill University（麦吉尔大学蒙特利尔神经科学研究所）；School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Learning in Machines and Brains Program, CIFAR（机器与大脑学习计划，CIFAR）；Department of Psychology（心理学系）；Department of Brain and Cognitive Sciences（脑与认知科学系）
本文提出POYO-CAP方法，通过预训练提升神经解码鲁棒性，实验证明其在Allen脑观察数据集上比从头训练有12-13%的提升，并实现模型规模的平稳扩展。
2026-05-08 cs.LG q-bio.NC
Brain-aligning of semantic vectors improves neural decoding of visual stimuli
University of Osaka（大阪大学）；Osaka University Hospital（大阪大学医院）；Juntendo University（顺天堂大学）；Nara Medical University（奈良县立医科大学）
语义向量对齐通过改进神经表示结构，提升视觉刺激的解码准确性。
2025-12-02 cs.AI q-bio.NC
Autoencoding sensory substitution
School of Science（理学院）
数千万人失明，而且人数还在不断增加。视觉到听觉的感觉替代（SS）包括一系列廉价的通用解决方案，通过声音传递视觉信息来帮助视力受损者。所需的党卫军培训是漫长的：需要几个月的努力才能达到实际的适应水平。训练过程繁琐的原因有两个：拉长的替代音频信号和忽视人类听觉系统的压缩特性。为了克服这些障碍，我们开发了一类新的SS方法，通过训练深度递归自编码器进行图像到声音的转换。我们成功地在不同的数据集上训练了深度学习模型，以执行视觉到听觉刺激的转换。通过限制视觉空间，我们证明了缩短的替代音频信号的可行性，同时提出了一些机制，如计算听力模型的整合，以最佳方式传达替代刺激中的视觉特征作为感知可辨别的听觉成分。我们在两个不同的案例中测试了我们的方法。在第一个实验中，作者被蒙住眼睛5天，同时进行手姿势辨别的SS训练。第二个实验评估了向桌子上的物体移动的准确性。在这两个测试案例中，经过几个小时的训练后，都达到了高于偶然水平的准确性。我们新颖的SS架构拓宽了为视障人士设计的康复方法的视野。对所提出的模型的进一步改进将加速盲人的康复，并因此更广泛地适应SS设备。
2019-07-14 cs.CV cs.LG cs.SD
Reproducing sensory induced hallucinations via neural fields
本文提出了一种理论框架，用于再现由几何视觉幻觉样刺激驱动的初级视觉皮层模式，从而复现如MacKay效应和Billock-Tsou体验等新的心理物理结果。
2022-07-08 cs.CV math.AP q-bio.NC
Most discriminative stimuli for functional cell type clustering
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）；Max Planck Institute for Dynamics and Self-Organization（马克斯·普朗克动力学与自组织研究所）
提出基于优化和深度预测模型的聚类方法，利用最具判别性刺激在多种视觉系统中无偏识别功能细胞类型，实现快速可解释的细胞类型分配。
2024-03-14 cs.AI cs.LG q-bio.NC
