Towards Energy Efficient Mobile Eye Tracking for AR Glasses through Optical Sensor Technology
Eberhard Karls Universität Tübingen(图宾根大学);Robert Bosch GmbH(罗伯特·博世有限公司);University of Tübingen(图宾根大学)
在推出智能手机和智能手表之后,AR眼镜被认为是可穿戴设备领域的下一个突破口。虽然从智能手机到智能手表的过渡主要基于现有的显示技术,但AR眼镜的显示技术提出了一个技术挑战。许多显示技术,例如视网膜投影仪,都是基于用户瞳孔位置对显示器的连续自适应控制。此外,头戴式系统需要调整和扩展已建立的交互概念,以向用户提供沉浸式体验。眼动追踪是帮助AR眼镜通过优化的显示技术和基于凝视的交互概念实现突破的关键技术。现有的眼动跟踪技术,如VOG,不符合AR眼镜的要求,特别是在功耗、鲁棒性和可集成性方面。为了进一步克服这些局限性,推动AR眼镜的移动眼动跟踪,本文研究了基于激光的新型眼动跟踪传感器技术。本论文为AR眼镜的节能移动眼动跟踪做出了重大的科学进步。
2022-12-06 cs.CV cs.HC eess.IV
Mask-off: Synthesizing Face Images in the Presence of Head-mounted Displays
University of Kentucky(肯塔基大学);North Carolina Central University(北卡罗来纳中央大学)
盔装显示器(HMD)是增强现实系统的重要组成部分。然而,由于上面部区域被设备严重遮挡,在诸如电信和多玩家视频游戏的应用中,用户体验可能受到影响。在本文中,我们首先提出了一种新的实验装置,由两个近红外(NIR)相机指向眼睛区域和一个可见光RGB相机捕捉可见人脸区域。本文的主要目的是基于这些摄像机拍摄到的图像,合成真实感的人脸图像。为此,我们提出了一个新的合成框架,其中包含四个模块:三维头部重建,人脸对齐和跟踪,人脸合成,眼睛合成。在人脸合成中,我们提出了一种新的算法,该算法可以鲁棒地对齐和跟踪个性化的3D头部模型,给出了一个严重被HMD遮挡的人脸。在眼睛合成中,为了生成准确的眼睛运动和动态皱纹变化的眼睛区域周围,我们提出了另一种新的算法来着色的近红外眼睛图像,并进一步消除由着色引起的“红眼”效应。实验结果表明,无论是硬件设置还是系统框架,都能很好地合成视频序列中的真实人脸图像。
2016-10-27 cs.CV
Deep Eyes: Binocular Depth-from-Focus on Focal Stack Pairs
DGene Inc.(DGene 公司);ShanghaiTech University(上海科技大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
人类视觉系统依赖于双目立体提示和单目聚焦提示来获得有效的3D感知。在计算机视觉中,这两个问题传统上在单独的轨道中解决。在本文中,我们提出了一个统一的基于学习的技术,同时使用这两种类型的线索进行深度推理。具体来说,我们使用一对焦点堆栈作为输入来模拟人类的感知。我们首先构建一个全面的焦点堆栈训练数据集,由深度引导光场渲染合成。然后,我们构建了三个单独的网络:一个焦点网从一个单一的焦点堆栈中提取深度,一个EDoF-Net从焦点堆栈中获得扩展景深(EDoF)图像,和一个立体网进行立体匹配。我们展示了如何将它们集成到一个统一的BDfF-Net中,以获得高质量的深度图。综合实验表明,我们的方法优于国家的最先进的准确性和速度,有效地模仿人类视觉系统。
2020-08-10 cs.CV
MIDAS: Deep learning human action intention prediction from natural eye movement patterns
Imperial College London(帝国理工学院);Data Science Institute(数据科学研究所)
长期以来,眼动一直被研究为进入人类大脑的注意力机制的窗口,并作为新颖风格的人机界面。然而,并不是我们所注视的一切都是我们想要与之交互的东西;这被称为注视界面的迈达斯触摸问题。为了克服Midas Touch问题,目前的界面倾向于不依赖于自然凝视线索,而是使用停留时间或凝视手势。在这里,我们提出了一个完全数据驱动的方法来解码人类的意图对象操作任务的基础上,完全自然的凝视线索。我们运行数据汇集实验,其中16名参与者被赋予操作和检查任务,在他们面前的桌子上的各种对象上执行。受试者的眼球运动是使用可穿戴的眼动仪记录的,该眼动仪允许参与者自由地移动他们的头部并注视场景。我们使用我们的语义中心凹,一个卷积神经网络模型来获得场景中的对象及其与每帧注视轨迹的关系。然后,我们评估数据,并研究几种方法来模拟意图预测的分类任务。我们的评估表明,意图预测是不是一个天真的结果的数据,而是依赖于非线性的时间处理的凝视线索。我们将任务建模为时间序列分类问题,并设计了一个双向长短期记忆(LSTM)网络架构来解码意图。我们的研究结果表明,我们可以解码人类的运动意图纯粹从自然的凝视线索和对象的相对位置,与$91.9\%$的准确性。我们的工作证明了自然凝视作为人机交互的零UI界面的可行性,即,用户将仅需要自然地行动,并且不需要与界面本身交互或偏离他们的自然眼睛运动模式。
2022-01-22 cs.CV cs.HC cs.LG
Neural Distortion Fields for Spatial Calibration of Wide Field-of-View Near-Eye Displays
The University of Tokyo(东京大学);Tokyo Institute of Technology(东京工业大学)
提出了一种适用于具有复杂图像畸变的宽视场近眼显示器的空间校正方法。NED中的图像失真会破坏虚拟对象的真实性并导致疾病。为了在NED中实现无失真图像,有必要在视点和显示图像之间建立逐像素的对应关系。设计紧凑和宽FoV NED需要复杂的光学设计。在这样的设计中,所显示的图像受到视注视而定的非线性几何失真的影响,其中显式几何模型可能难以表示或计算密集以优化。为了解决这些问题,我们提出了神经失真场(NDF),一个完全连接的深度神经网络,隐式地表示在空间中复杂扭曲的显示表面。NDF将空间位置和注视方向作为输入,并输出显示像素坐标及其在输入注视方向上感知的强度。我们从一个新的视点,通过查询点的光线从视点和计算一个加权和投影输出显示坐标到图像中的失真地图。实验表明,NDF校准增强现实NED与90 $^{\circ}$ FoV约3.23像素(5.8弧分)的中值误差,仅使用8个训练视点。此外,我们证实NDF比非线性多项式拟合更准确地校准,特别是在FoV中心周围。
2022-10-22 cs.CV cs.HC eess.IV
Eye Contact Correction using Deep Neural Networks
Intel Corporation(英特尔公司)
在典型的视频会议设置中,很难在通话期间保持目光接触,因为它需要看着摄像头而不是显示器。我们提出了一个眼神接触校正模型,恢复眼神接触,而不管相机和显示器的相对位置。与以前的解决方案不同,我们的模型将视线从任意方向重定向到中心,而不需要重定向角度或相机/显示器/用户几何形状作为输入。我们使用一个深度卷积神经网络,它输入一个单目图像,并产生一个矢量场和一个亮度图来校正注视。我们训练这个模型在一个大的合成生成的逼真的图像与完美的标签的双向方式。学习的模型是一个强大的目光接触校正器,它也预测输入凝视隐含在没有额外的成本。我们的系统主要旨在提高视频会议体验的质量。因此,我们使用一套控制机制来防止令人毛骨悚然的结果,并确保流畅自然的视频会议体验。整个目光接触校正系统在商用CPU上实时端到端运行,不需要任何专用硬件,使我们的解决方案适用于各种设备。
2019-12-26 cs.CV cs.MM
Eye-Tracking as a Tool to Quantify the Effects of CAD Display on Radiologists' Interpretation of Chest Radiographs
Jichi Medical University(自治医科大学);Medical AI Promotion Institute Co., Ltd.(医疗AI推进研究所股份有限公司);Osaka Metropolitan University(大阪公立大学)
本研究利用眼动追踪量化并发边界框显示对放射科医生胸片判读的影响,发现其延长判读时间、增加注视路径,但缩短病灶发现时间,验证了该方法可行性。
2025-10-23 cs.CV eess.IV
Towards Occlusion-Aware Multifocal Displays
Carnegie Mellon University(卡内基梅隆大学);Technion(以色列理工学院)
人类视觉系统使用许多线索来进行深度感知,包括视差、调节、运动视差和遮挡。虚拟现实显示器有责任满足这些提示以提供沉浸式用户体验。多焦显示是满足调节线索的经典方法之一,它将虚拟内容放置在多个焦平面上,每个焦平面位于不同的深度。然而,靠近眼睛的焦平面上的内容不会遮挡更远的那些内容;这使遮挡线索恶化,并且由于散焦模糊的泄漏而降低了深度不连续处的对比度。本文使闭塞意识多焦点显示器使用一种新的Conetrance运营商,提供了一个额外的自由度-倾斜的光锥发射在显示面板的每个像素。我们表明,对于具有相对简单的遮挡配置的场景,倾斜光锥提供与物理遮挡相同的效果。我们证明,ConeXtreme可以很容易地实现的相位空间光调制器。使用实验室原型,我们展示了结果,证明存在的闭塞线索和增加的对比度的显示在深度边缘。
2020-05-02 cs.CV eess.IV physics.optics
Pupil-Adaptive 3D Holography Beyond Coherent Depth-of-Field
Shandong University(山东大学);Peking University(北京大学);State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出瞳孔自适应3D全息显示框架,通过根据观察者瞳孔状态动态调整感受野来改变全息投影景深,从而弥合相干全息显示与真实世界非相干光离焦效果之间的差距,并在仿真和原型实验中验证其优于现有方法至少5 dB。
2024-08-17 cs.CV physics.optics
Gaze2Segment: A Pilot Study for Integrating Eye-Tracking Technology into Medical Image Segmentation
University of Central Florida(中佛罗里达大学);National Institutes of Health(美国国立卫生研究院);Soochow University(苏州大学)
本研究介绍了一种名为Gaze2Segment的新型系统,该系统集成了生物和计算机视觉技术,以支持放射科医生的自动图像分割任务的阅读体验。在肺部CT扫描的诊断评估期间,放射科医师的凝视信息被用于创建视觉注意力图。然后将该图与从灰度CT图像中提取的计算机衍生的显著性图相结合。视觉注意力图被用作用于粗略地指示感兴趣对象的位置的输入。另一方面,通过计算机获得的显著性信息,我们的目标是找到感兴趣对象的前景和背景线索。在最后一步,这些线索被用来启动一个基于种子的划定过程。建议的Gaze2Segment分割精度被发现是86%与骰子相似系数和1.45毫米与Hausdorff距离。据我们所知,Gaze2Segment是第一个将眼动追踪技术真正集成到医学图像分割任务中的产品,无需任何进一步的用户交互。
2016-08-10 cs.AI cs.CV
Unsupervised uncertainty estimation using spatiotemporal cues in video saliency detection
College of Engineering(工程学院)
在本文中,我们解决的问题,量化的计算显着性的视频,这可以用来提高基于显着性的视频处理,使更可靠的性能和风险评估这样的处理的可靠性。我们的做法是双重的。首先,我们探讨显着性图和眼睛注视图的空间相关性。然后,我们学习时空相关性,定义一个可靠的显着图。我们首先研究了来自公共数据集的时空眼睛注视数据,并研究了人类视觉注意力的一个共同特征,该特征决定了像素与其直接相邻像素之间的显着性相关性。基于这项研究,我们然后开发了一种算法,估计一个像素的不确定性地图,反映了我们的信心,在相关的计算显着性地图有关像素的显着性,其邻居的显着性。为了估计这种不确定性,我们测量显着图中像素与其局部邻域的发散。此外,我们提出了一个系统的程序来评估的估计性能,明确计算不确定性地面真相作为一个给定的显着性图和眼睛固定的人类受试者的函数。在我们的实验中,我们探索时空视频信号中的局部性和邻域的多种定义。此外,我们研究我们提出的算法的参数和视频的内容之间的关系。该算法是无监督的,使其更适合于推广到大多数自然视频。此外,它在计算上是高效的,并且对于特定视频内容的定制是灵活的。实验结果表明,该算法比现有的不确定性估计方法准确率提高了63%,具有较高的效率和灵活性,在实际应用中具有更好的实用性.
2019-01-06 cs.CV
BirdSLAM: Monocular Multibody SLAM in Bird's-Eye View
IIIT Hyderabad(海得拉巴国际信息技术学院);TCS Innovation Labs(塔塔咨询服务公司创新实验室)
在本文中,我们提出了BirdSLAM,一种新颖的同时定位与地图构建(SLAM)系统,用于仅配备单目摄像头的自动驾驶平台的挑战性场景。BirdSLAM通过使用正交(鸟瞰)视图作为执行定位和映射的配置空间来解决其他单目SLAM系统所面临的挑战(例如单目重建中的尺度模糊性、动态对象定位和特征表示中的不确定性)。通过仅假设自我摄像头在地面上方的高度,BirdSLAM利用单视图计量线索来准确定位鸟瞰视图中的自我车辆和所有其他交通参与者。我们证明,我们的系统优于以前的工作,严格使用更多的信息,并通过消融分析突出每个设计决策的相关性。
2020-11-15 cs.AI cs.CV cs.LG
Eye Semantic Segmentation with a Lightweight Model
Chonnam National University(全南国立大学)
在本文中,我们提出了一种多类眼睛分割方法,可以运行的实时推理的硬件限制。我们的方法包括三个主要阶段:从输入中获取灰度图像,用深度网络分割三个不同的眼睛区域,并用启发式过滤器去除不正确的区域。我们的模型基于编解码器的结构,其关键是使用深度卷积运算来降低计算量。我们在OpenEDS上进行实验,OpenEDS是由具有两个同步眼睛面对相机的盔装显示器捕获的眼睛图像的大规模数据集。我们使用大小为0.4 MB的模型实现了94.85%的平均交集(mIoU)。源代码可在https://github.com/th2l/Eye_VR_Segmentation上获得
2019-11-04 cs.CV eess.IV
Rotational Motion-Induced Error Compensation for Phase-Shifting Profilometry-Based Eye Reconstruction
Department of Mechanical Engineering, Yonsei University(延世大学机械工程系);Meta Reality Labs(Meta现实实验室)
针对相移轮廓术在眼部重建中因眼旋转产生的误差问题,提出基于特定用户三维眼模型估计眼旋转,补偿相机像素失配和相移误差,并引入区域优化策略,实验证明可提高重建精度,为高精度眼动追踪奠定基础。
2026-07-17 cs.CV
Investigating Natural Image Pleasantness Recognition using Deep Features and Eye Tracking for Loosely Controlled Human-computer Interaction
Aalto University(阿尔托大学);University of Oulu(奥卢大学)
本文通过使用深度卷积神经网络和负担得起的眼动仪来重新审视自然图像愉悦度的识别。存在几种识别图像愉悦性的方法:(1)计算机视觉,和(2)心理物理信号。对于自然图像,计算机视觉方法并不像抽象绘画那样成功,并且落后于眼动等心理物理信号。尽管结果更好,但眼睛运动的可扩展性受到传感器成本的不利影响。虽然引入负担得起的传感器,通过使传感器更容易访问,有助于可扩展性问题,这样的传感器在一个松散的控制人机交互设置的应用程序尚未研究情感图像标记。另一方面,近年来,深度卷积神经网络显著提高了基于视觉的技术的性能。为了研究情感图像标记的现状,我们(1)使用负担得起的眼动仪引入新的眼动数据集,(2)研究使用深度神经网络进行愉快识别,(3)研究深度特征和眼动之间的差距。为了达到这些目的,我们在一个控制较少的设置中记录眼球运动,类似于日常的人机交互。我们从眼动、视觉特征及其组合来评估特征。我们的研究结果表明:(1)在较少限制的设置下,从眼动中识别自然图像的愉快是困难的,以前使用的技术容易失败,(2)视觉类别是预测愉快的强有力线索,由于它们与情绪的相关性,有必要仔细研究这种现象。后一个发现是值得警惕的,因为一些深度学习方法可能适合类别偏见。
2017-04-07 cs.CV
A Survey of Calibration Methods for Optical See-Through Head-Mounted Displays
Coburg University(科堡大学);Keio University(庆应义塾大学);Marxent Labs LLC;Mississippi State University(密西西比州立大学)
光学透视盔装显示器(OST HMD)是用于增强现实的主要输出介质,由于面向消费者的模型(诸如Microsoft Hololens)的不断发布,增强现实在公众中的普及和使用已经显著增长。与虚拟现实头戴式设备不同,OST HMD固有地支持将计算机生成的图形直接添加到用户的眼睛与他们的物理世界视图之间的光路中。与大多数增强和虚拟现实系统一样,OST HMD的物理位置通常由外部或嵌入式6自由度跟踪系统确定。然而,为了适当地渲染被感知为与物理环境空间对准的虚拟对象,还需要精确地测量用户的眼睛在跟踪系统的坐标系内的位置。20多年来,研究人员提出了各种校准方法来确定所需的眼睛位置。然而,迄今为止,还没有对这些程序及其要求进行全面审查。因此,本文调查的OST HMD的校准方法的领域。具体而言,它提供了深入了解校准技术的基础知识,并概述了手动和自动方法,以及评估方法和指标。最后,它还确定了未来研究的机会。%,并因此确定其在3D空间中的位置。
2017-09-13 cs.CV cs.HC
There is More than Meets the Eye: Self-Supervised Multi-Object Detection and Tracking with Sound by Distilling Multimodal Knowledge
University of Freiburg(弗莱堡大学)
物体固有的声音属性可以提供有价值的线索来学习用于目标检测和跟踪的丰富表示。此外,可以利用视频中视听事件的共现,通过仅监视环境中的声音来定位图像场中的对象。到目前为止,这仅在相机是静态的并且用于单个目标检测的场景中是可行的。此外,这些方法的鲁棒性受到限制,因为它们主要依赖于对照明和天气变化非常敏感的RGB图像。在这项工作中,我们提出了一种新的自监督MM-DistillNet框架,该框架由多个教师组成,这些教师利用包括RGB,深度和热图像在内的多种形式,同时利用互补线索并将知识提取到单个音频学生网络中。我们提出了新的MTA损失函数,有利于蒸馏的信息,从多模态教师在自我监督的方式。此外,我们提出了一种新的自我监督的借口任务的音频学生,使我们能够不依赖于劳动密集型的手动注释。我们引入了一个大规模的多模态数据集,其中包含超过113,000个RGB,深度,热量和音频模态的时间同步帧。大量的实验表明,我们的方法优于最先进的方法,同时能够在推理过程中甚至在移动时仅使用声音来检测多个对象。
2021-03-01 cs.CV cs.LG cs.RO
MagicEyes: A Large Scale Eye Gaze Estimation Dataset for Mixed Reality
Magic Leap Inc, USA(Magic Leap公司,美国(注:此处“USA”为国家信息,按要求不加入,仅保留机构名“Magic Leap Inc”))
随着虚拟和混合现实(XR)设备的出现,眼动追踪在计算机视觉界受到了极大的关注。眼睛注视估计是XR中的一个关键组成部分-实现节能渲染,多焦点显示以及与内容的有效交互。在头戴式XR设备中,眼睛离轴成像,以避免阻挡视野。这导致推断眼睛相关量的挑战增加,同时提供了开发准确和稳健的基于学习的方法的机会。为此,我们提出了MagicEyes,这是第一个使用真正的MR设备收集的大规模眼睛数据集,具有全面的地面真实标记。MagicEyes包括具有人类标记的地面实况的$80,000$图像的$587$受试者和具有凝视目标标签的超$800,000$图像。我们评估了MagicEyes上的几种最先进的方法,并提出了一种新的多任务EyeNet模型,该模型旨在检测角膜,闪光和瞳孔以及在单次向前传递中的眼睛分割。
2020-03-18 cs.CV cs.HC cs.LG
Monocular Depth Perception Enhancement Based on Joint Shading/Contrast Model and Motion Parallax (JSM)
Faurecia Irystec Inc.(Faurecia Irystec公司)
本文提出了一种新的JSM框架,用于增强单目深度感知,显著提高了深度体积感知和深度范围感知,该框架不仅适用于传统2D显示设备,也可用于3D显示设备,因为它能补充双目深度线索。
2026-05-17 cs.CV cs.GR
Image based Eye Gaze Tracking and its Applications
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
眼动在感知世界中起着至关重要的作用。眼睛注视可以给出用户关注点的直接指示,这在改善人机交互中是有用的。以非侵入方式进行注视估计可以使人机交互更加自然。眼动追踪可用于多种应用,例如疲劳检测、生物特征认证、疾病诊断、活动识别、警觉水平估计、视情况注视显示、人机交互等。尽管眼动跟踪技术已经存在了几十年,但在消费者应用中还没有发现太多用途。主要原因是眼动追踪硬件成本高,缺乏消费级应用。在这项工作中,我们试图解决这两个问题。在这项工作的第一部分,基于图像的算法开发的视线跟踪,其中包括一个新的两阶段虹膜中心定位算法。我们已经开发了一种新的算法,它的作品在具有挑战性的条件下,如运动模糊,闪烁,和不同的照明水平。还开发了使用卷积神经网络的人独立的注视方向分类框架,其消除了对用户特定校准的要求。在这项工作的第二部分,我们已经开发了两个应用程序,可以受益于眼动追踪数据。提出了一种基于眼动参数的生物特征识别方法。活动识别的框架,使用从头戴式眼动仪的凝视数据也被开发出来。从凝视数据,自我运动,和视觉特征的信息被集成到分类的活动。
2019-07-09 cs.CV
OpenEDS: Open Eye Dataset
University College London(伦敦大学学院);Facebook Reality Labs(Facebook现实实验室);Google via Adecco(Google通过Adecco)
我们提出了一个大规模的数据集,OpenEDS:开放的眼睛数据集,使用虚拟现实(VR)的盔装显示器安装有两个同步的眼睛面对相机在帧速率为200 Hz的受控照明下捕获的眼睛图像。该数据集是根据从152个个体参与者收集的眼睛区域的视频捕获来编译的,并且被分成四个子集:(i)具有关键眼睛区域的像素级注释的12,759个图像:虹膜、瞳孔和巩膜(ii)252,690个未标记的眼睛图像,(iii)91个,来自随机选择的持续时间为1.5秒的视频序列的200帧,以及(iv)从152个参与者中的143个子集收集的眼睛区域的角膜地形图编译的143对左右点云数据。已经在OpenEDS上评估了用于瞳孔、虹膜、巩膜和背景的语义分割任务的基线实验,其中平均相交率(mIoU)为98.3%。我们预计OpenEDS将为眼动追踪社区以及更广泛的机器学习和计算机视觉社区的研究人员创造机会,以推进VR应用的眼动追踪状态。该数据集可在https://research.fb.com/programs/openeds-challenge上下载
2019-05-17 cs.CV cs.LG eess.IV
Lifting Multi-View Detection and Tracking to the Bird's Eye View
Technical University of Munich(慕尼黑工业大学)
本文提出一种多视角聚合架构,结合外观与运动线索,将检测与跟踪提升至鸟瞰视角,在行人(Wildtrack、MultiviewX)和路边感知(Synthehicle)数据集上达到最先进性能。
2024-03-19 cs.CV
Real-Time Under-Display Cameras Image Restoration and HDR on Mobile Devices
University of Würzburg(维尔茨堡大学);Couger Inc.(Couger公司)
提出一种轻量级深度学习模型,在商用智能手机上实现实时FHD屏下摄像头图像恢复与HDR,兼顾高质量与高效率,并从产品视角提供首个性能与运行时基准对比。
2022-11-25 cs.CV eess.IV
Exploring the Feasibility of Deep Learning Techniques for Accurate Gender Classification from Eye Images
Duhok Polytechnic University(杜胡克理工大学);University of Zakho(扎霍大学)
本研究提出一种先进的CNN模型,利用眼部周围区域彩色图像进行性别分类,在CVBL和(Female and Male)数据集上分别达到99%和96%的准确率,验证了该方法的有效性及实际应用潜力。
2025-08-07 cs.AI cs.CV cs.LG
Realtime Dynamic Gaze Target Tracking and Depth-Level Estimation
Ford Motor Company(福特汽车公司)
本文针对动态透明显示器上的实时注视监测问题,提出基于树的动态注视目标跟踪算法和多流自注意力深度层级估计架构,并在真实眼动数据集及SoC上验证了系统的实时性、精度与可扩展性。
2024-06-09 cs.AI cs.CV cs.HC
Seeing eye-to-eye? A comparison of object recognition performance in humans and deep convolutional neural networks under image manipulation
University of Salzburg(萨尔茨堡大学)
在相当长的一段时间里,深度卷积神经网络(DCNN)在对象识别方面已经达到了人类的基准性能。因此,计算神经科学和机器学习领域已经开始将许多相似性和差异归因于人工视觉和生物视觉。本研究旨在ImageNet数据集上分类学习范例中人类和前馈神经网络之间视觉核心对象识别性能的行为比较。为此,人类参与者(n = 65)在在线实验中与不同的前馈DCNN竞争。设计的方法基于七种不同猴子类别的典型学习过程,包括使用自然示例的训练和验证阶段,以及使用新颖的,无经验的形状和颜色操作的测试阶段。准确性分析显示,人类不仅在所有条件下都优于DCNN,而且对形状和最明显的颜色变化表现出更大的鲁棒性。此外,对行为模式的精确检查通过揭示各组之间的独立分类错误来突出这些发现。所获得的结果表明,人类对比强烈,人工前馈架构,当涉及到视觉核心对象识别的操纵图像。在一般情况下,这些研究结果是符合越来越多的文献,提示对复发作为一个关键因素,足够的泛化能力。
2020-12-13 cs.CV cs.LG eess.IV