Predictive coding feedback results in perceived illusory contours in a recurrent neural network
CerCO(脑与认知研究中心);CNRS(法国国家科学研究中心);ANITI(人工智能与自然智能研究所)
现代前馈卷积神经网络(CNN)现在可以在超人水平上解决一些计算机视觉任务。然而,这些网络只能粗略地模仿人类的视觉感知。与人类视觉的一个区别是,它们似乎不会像人类一样感知虚幻的轮廓(例如Kanizsa广场)。来自视觉皮层的生理学证据表明,对虚幻轮廓的感知可能涉及反馈连接。循环反馈神经网络会像人类一样感知虚幻的轮廓吗?在这项工作中,我们为深度前馈卷积网络配备了大脑启发的循环动力学。该网络首先在自然图像数据集上使用无监督重建目标进行预训练,以将其暴露于自然对象轮廓统计。然后,添加了一个分类决策层,并对模型进行了形式辨别任务的微调:正方形与随机定向的诱导物形状(没有虚幻的轮廓)。最后,该模型进行了测试与陌生的“虚幻轮廓”的配置:诱导形状的方向,以形成一个虚幻的正方形。与前馈基线相比,迭代“预测编码”反馈导致更多虚幻的轮廓被归类为物理正方形。错觉轮廓的感知在模型产生的图像重建的亮度曲线中是可测量的,这表明模型真的“看到”了错觉。消融研究表明,自然图像预训练和反馈纠错都是至关重要的错觉的知觉。最后,我们在更深层次的网络(VGG)中验证了我们的结论:添加相同的预测编码反馈动力学再次导致虚幻轮廓的感知。
2021-06-16 cs.CV q-bio.NC
A Bioplausible Model for the Expanding Hole Illusion: Insights into Retinal Processing and Illusory Motion
本研究针对扩张洞错觉的神经机制不明问题,提出基于DoG滤波与经典感受野的视网膜加工计算模型,发现对比度依赖侧抑制等是错觉成因,为动态视错觉研究提供新框架。
2025-01-15 cs.NE eess.IV q-bio.NC
Visual illusions via neural dynamics: Wilson-Cowan-type models and the efficient representation principle
在这项工作中,我们的目的是再现阈上感知现象,特别是视觉错觉,威尔逊-考恩型模型的神经元动力学。我们已经发现,这确实是可能的,但复制视错觉的能力与神经活动方程是否符合有效表征原理有关。我们的第一个贡献是表明,威尔逊-考恩方程可以重现一些亮度和方向依赖的错觉,后一种类型的错觉需要神经元动力学方程明确考虑的方向,正如预期的那样。然后,我们正式证明,不可能有一个能量泛函,威尔逊-考恩方程最小化,但轻微的修改,使他们变分,并产生一个模型,是符合有效的表示原则。最后,我们表明,这个新的模型提供了一个更好的再现比原来的威尔逊-考恩制定的视错觉。
2019-12-27 q-bio.NC
ImageNet-trained deep neural network exhibits illusion-like response to the Scintillating Grid
Harvard University(哈佛大学);Weizmann Institute of Science(魏茨曼科学研究所)
用于计算机视觉的深度神经网络(DNN)模型现在能够进行人类级别的对象识别。因此,DNN和人类视觉的性能和脆弱性的相似性非常有趣。在这里,我们描述了VGG-19 DNN对闪烁网格视错觉图像的响应,其中白点被感知为部分黑色。我们观察到闪烁网格中VGG-19代表性相异性和点白度之间的预期单调关系存在显著偏差。也就是说,点白度的线性增加导致非线性增加,然后显着地减少(非单调性)代表性相异性。在控制图像中,主要是单调的代表性相异性和点白度之间的关系进行观察。此外,对应于最大代表性相异性(即非单调相异性的开始)的点白度水平与对应于人类观察者的错觉感知的开始的点白度水平紧密匹配。因此,DNN中的非单调响应是人类错觉感知的潜在模型相关性。
2019-08-05 cs.CV cs.LG eess.IV
Visual illusion due to the interaction of flickering and acoustic vibrotactile signals
我们研究了机械振动触觉信号在声学范围内的闪烁图像的视觉感知的影响。这些图像在CRT屏幕上以约75 Hz的间歇性显示,没有外部扰动,被认为是恒定和稳定的。然而,如果与受控的声学振动一起呈现,则会感知到错觉。图像似乎从屏幕中漂浮出来,而房间的其他部分仍然被正常感知。给予受试者的声音信号频率很低(低于100 Hz),振幅很低(几乎听不见)。刺激通过使用连接到扬声器的塑料棒直接接触受试者的下巴来传输。描述了错觉的本质,并给出了一个基本的理论模型。
2012-11-27 q-bio.NC
Geometrical Optical Illusion via Sub-Riemannian Geodesics in the Roto-Translation Group
我们提出了一个神经数学模型的几何视错觉(GOIs),一类错觉现象,包括在一个不匹配的几何特性的视觉刺激和其相关的视知觉。它们发生在视觉区域V1/V2中,其功能结构在Citti和Sarti以前的作品中被建模为配备子黎曼(SR)度量的李群。在这里,我们扩展了他们的模型,提出负责皮层连接的度量是由简单细胞对视觉刺激的模拟神经生理反应调制的,因此提供了一个考虑到视觉刺激存在的更具生物学合理性的模型。在我们的模型中illuminating轮廓被描述为测地线在新的度量。该模型是通过数值模拟,我们通过SR快速推进计算测地线证实。
2020-02-19 math.DG q-bio.NC
A cortical-inspired geometry for contour perception and motion integration
在本文中,我们开发了一个几何模型的功能架构处理的时空视觉刺激。该模型源于视觉皮层中的方向和速度选择细胞的感受野线性动力学的性质,其可以嵌入到几何形状的定义中,其中点之间的连接由5D流形的切触结构驱动。然后,我们计算的随机内核的近似的两个福克普朗克算子的几何形状,并实现它们作为促进模式内的神经种群活动模型,以重现一些心理生理学的发现有关的感知轮廓的运动和轨迹的点在文献中发现。
2013-05-03 math.AP math.SG q-bio.NC
A deep active inference model of the rubber-hand illusion
Department of Artificial Intelligence Donders Insitute for Brain, Cognition;Behaviour Montessorilaan 3, 6525 HR Nijmegen, the Netherlands
理解感知和行动如何处理感觉运动冲突,如橡胶手错觉(RHI),对于理解身体如何适应不确定的情况至关重要。最近的结果表明,在人类的RHI不仅产生的变化,在感知手臂的位置,但也会导致不自主的力量。在这里,我们描述了一个深度主动推理代理在虚拟环境中,我们受到的RHI,这是能够解释这些结果。我们表明,我们的模型,处理视觉高维输入,产生类似的感知和力量模式,在人类中发现的。
2020-12-22 cs.AI q-bio.NC
Information Synergy in the Anticipatory Dynamics of a Retina
视觉感知常常伴随着幻觉,而幻觉的物理起源还没有得到很好的理解。随机光强度$x(t)$编码成具有在时间$t$的放电率$r(t)$的尖峰在牛蛙视网膜的实验中被研究以理解预期的机制。$r$和组合态$\{x,\dot x\}$之间的互信息的部分信息分解被发现是一致的编码形式:$r(t) \sim (1-λ)x(t) + λ\dot x(t) τ_0$与$λ$是一个系统相关的参数和$τ_0$一个常数。这种形式的$r(t)$表明视网膜能够基于$x$和$\dot x$之间的协同信息生成进行预测。我们的研究结果表明,在视网膜感知过程中,像这里研究的预期这样的错觉可能源于视网膜网络中提取的信息的重组。
2021-03-16 nlin.AO physics.bio-ph q-bio.NC
Model Cortical Association Fields Account for the Time Course and Dependence on Target Complexity of Human Contour Perception
初级视觉皮层的横向连接能解释人类轮廓检测的时间依赖性和内在任务难度吗?为了回答这个问题,我们创建了一个合成图像集,该图像集可以防止仅依赖于低级视觉特征或高级上下文来检测目标对象。渲染的图像由分布在随机旋转片段(杂波)组中的平滑变化的、全局对齐的轮廓片段(变形虫)组成。通过人类阿米巴检测的时间过程和准确性进行了测量,使用两个替代的强制选择协议与自我报告的信心和可变的图像呈现时间(20-200毫秒),然后通过优化的图像掩模,以中断视觉处理。测得的心理功能,以及拟合的S形函数的指数时间常数为30-91毫秒,根据变形虫的复杂性。心理物理学实验的关键方面占了计算网络模型,在该模型中,方向选择性元素的retinotopic阵列的模拟响应调制的皮质关联字段,表示为乘法内核计算的目标和干扰图像之间的成对边缘统计的差异。比较实验和计算结果表明,每次迭代的横向相互作用需要至少37.5毫秒的皮层处理时间。我们的研究结果提供的证据表明,在早期视觉区的方向选择元素之间的皮质关联字段可以占重要的时间和任务依赖方面的心理曲线表征人类轮廓感知,其余的差异假设产生的影响,更高的皮层区域。
2011-07-20 q-bio.NC
Inconsistent illusory motion in predictive coding deep neural networks
为什么我们会在一些静态图像中感知到虚幻的运动?已经提出了几个帐户的基础上,眼球运动,响应延迟到不同的图像元素,或图像模式和运动能量检测器之间的相互作用。最近,据报道,基于预测编码原理的递归深度神经网络(DNN)PredNet可以重现“旋转蛇”错觉,这表明预测编码在错觉运动中的作用。我们复制了这一发现,然后使用一系列的“在硅片上的心理物理学”实验,以检查是否PredNet的行为与人类观察者一致的简化变体的错觉刺激。我们还通过探测网络中的内部单元来测量对旋转蛇模式的各个元素的响应延迟。预训练的PredNet模型预测了旋转蛇刺激的所有子组件的错觉运动,与人类观察者一致。然而,我们没有发现简单的反应延迟的内部单位,发现在生理数据。PredNet模型的梯度运动检测是基于对比度,而不是亮度,因为它是在人类的感知。最后,我们在10个相同的PredNet上测试了错觉的鲁棒性,这些PredNet是在相同的视频数据上训练的;我们发现网络再现错觉和预测错觉简化变体的运动的能力存在很大差异。此外,与人类观察者不同的是,没有一个网络预测到模式的灰度变体的虚幻运动。即使DNN成功地再现了人类视觉的某些特质,更详细的调查也可以揭示人类与网络之间以及同一网络的不同实例之间的不一致性。从不同初始化训练的PredNets中旋转蛇错觉的不一致性表明,预测编码并不能可靠地导致类似人类的错觉运动。
2023-02-21 q-bio.NC
Biased perception leads to biased action: Validating a Bayesian model of interception
我们测试了视觉感知的偏差是否以及如何影响运动动作。为此,我们设计了一个拦截任务,其中受试者必须指出一个移动的物体,其轨迹被遮挡,将到达目标区域的时间。受试者根据物体在给定起点的初始运动的简短显示做出判断。基于已知的错觉,慢对比度的刺激似乎比高对比度的移动速度慢,我们预测,如果知觉直接影响运动动作科目将显示延迟的拦截时间为低对比度的对象。为了提供一个更定量的预测,我们开发了一个贝叶斯模型的完整的感觉运动拦截任务。使用拟合参数的先验和可能性的视觉速度从以前的研究中,我们不仅能够预测预期的拦截时间,但也响应变异性的精确特性。心理物理实验证实了模型的预测。受试者时间反应的个体差异可以通过视觉速度知觉先验的个体差异来解释。综上所述,我们的行为和模型结果表明,感知偏差会向下游渗透,并导致完全可预测的行动偏差。
2014-03-08 q-bio.NC
Stroboscopic motion reversals in delay-coupled neural fields
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出延迟耦合神经场模型,揭示延迟神经相互作用如何导致视觉闪烁现象中的运动反转。
2026-01-27 math.DS nlin.PS q-bio.NC
Visual Perception, Quantity of Information Function and the Concept of the Quantity of Information Continuous Splines
本研究从信息论视角探究视觉感知机制,提出信息量连续样条概念以实现离散数据的形状可视化,还发现恒定信息量的平面曲线并证明相关条件,为视觉感知研究提供新数学工具。
2025-02-03 cs.GR q-bio.NC
Measuring and modeling the perception of natural and unconstrained gaze in humans and machines
人类非常善于解释周围其他人的注视方向。这种技能是参与联合视觉注意力能力的核心,这对建立社会互动至关重要。在逼真的场景中,当人类可以自由移动头部和眼睛时,他们在确定他人的注视方向时有多准确?潜在的感知过程的信息来源是什么?由于现实生活中视觉输入的复杂性,这些问题从经验和计算的角度提出了挑战。在这里,我们经验性地测量人类在逼真的场景中感知他人注视方向的准确性,并通过计算研究这种认知能力的信息来源和表征。我们表明,人类在面对面的条件下比记录的条件下表现更好,这种优势是不是由于输入动态的可用性。我们进一步表明,当只有眼睛区域而不是整个脸可见时,人类仍然表现良好。我们开发了一个计算模型,它复制了人类的表现模式,包括发现眼睛区域包含自己的,所需的信息,估计头部的方向和凝视的方向。与大脑中特定任务面部区域的神经生理学研究结果一致,学习的计算表征再现了感知效果,例如Wollaston错觉,当训练来估计凝视方向时,但当训练来识别物体或面部时则不然。
2016-11-29 cs.AI cs.CV cs.LG
A neural network trained to predict future video frames mimics critical properties of biological neuronal responses and perception
Harvard University(哈佛大学);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);IBM Research(IBM研究院)
虽然深度神经网络从神经科学中获得了松散的灵感,但如何认真对待人工深度网络和生物神经元系统之间的类比仍然是一个悬而未决的问题。有趣的是,最近的研究表明,在大规模图像识别任务上训练的深度卷积神经网络(CNN)可以作为预测视觉皮层神经元对视觉刺激的反应的非常好的模型,这表明人工和生物神经网络之间的类比可能不仅仅是表面的。然而,尽管CNN捕捉到了皮层神经元平均响应的关键特性,但它们无法解释这些神经元的其他特性。一方面,CNN通常需要大量的标记输入数据进行训练。相比之下,我们自己的大脑很少有机会获得这种监督,所以在CNN和大脑之间的表征相似的程度上,这种相似性必须通过不同的训练路径产生。此外,视觉皮层中的神经元甚至对静态输入也产生复杂的时变响应,并且它们动态地调整自己以适应视觉环境中的时间延迟。我们认为,这些差异是大脑和深层网络中执行的计算之间根本差异的线索。为了开始缩小差距,在这里我们研究了前面描述的递归生成网络的新兴特性,该网络经过训练,可以以自我监督的方式预测未来的视频帧。值得注意的是,该模型能够捕捉到在视觉皮层中观察到的各种看似不同的现象,从单个单元响应动态到复杂的感知运动错觉。这些结果表明,递归预测神经网络模型和大脑之间存在潜在的深层联系,为丰富这两个领域提供了新的线索。
2018-05-30 cs.CV cs.LG q-bio.NC